JP2006115457A - マルチメディア編集情報をマルチメディアビットストリームに埋め込むシステムおよびその方法 - Google Patents

マルチメディア編集情報をマルチメディアビットストリームに埋め込むシステムおよびその方法 Download PDF

Info

Publication number
JP2006115457A
JP2006115457A JP2005136155A JP2005136155A JP2006115457A JP 2006115457 A JP2006115457 A JP 2006115457A JP 2005136155 A JP2005136155 A JP 2005136155A JP 2005136155 A JP2005136155 A JP 2005136155A JP 2006115457 A JP2006115457 A JP 2006115457A
Authority
JP
Japan
Prior art keywords
multimedia
bitstream
editing information
information
editing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005136155A
Other languages
English (en)
Inventor
Jau Hsiung Huang
肇 雄 黄
Ho-Chao Huang
鶴 超 黄
Chen Hsiu Huang
振 修 黄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CyberLink Corp
Original Assignee
CyberLink Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CyberLink Corp filed Critical CyberLink Corp
Publication of JP2006115457A publication Critical patent/JP2006115457A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892—Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client

Abstract

【課題】 マルチメディア編集情報をマルチメディアビットストリームに埋め込むシステムおよびその方法と、マルチメディア編集情報をマルチメディアビットストリームから抽出するシステムおよびその方法とを提供する。
【解決手段】 マルチメディアビットストリーム中にあるマルチメディアコンテンツの編集に有用なマルチメディア信号の特性のために、マルチメディアビットストリームを解析するステップと、マルチメディアコンテンツの編集に有用なマルチメディア信号の特性に基づいてマルチメディア編集情報を生成するステップと、マルチメディア編集情報をマルチメディアビットストリームへ埋め込んでハイブリッドマルチメディアデータストリームを生成するステップとを含む。
【選択図】 図１

Description

本発明は、マルチメディアビットストリームを処理するシステムおよびその方法に関し、特にマルチメディア編集情報をマルチメディアビットストリームに埋め込むシステムおよびその方法と、マルチメディア編集情報をマルチメディアビットストリームから抽出するシステムおよびその方法とに関する。
マルチメディアコンテンツの処理、解析および編集は、かつて、専門的なスタジオにより行われる作業と思われていた。しかしながら、オーディオおよびビデオの編集に使用される計算用ハードウェアおよび技術の発展は、専門家でない人たちにもその道を開いた。
例えば、家庭用ムービーは、パーソナルカムコーダを使用して記録されてから、処理、編集または長期保存のためにパーソナルコンピュータへ転送される。デジタルカムコーダは、例えば、オーディオ、ビデオおよび家庭用ムービーに関連するその他の情報を、デジタル形式により、テープ、コンピュータメモリや大容量記憶媒体などに記録する。家庭用ムービーは、任意数のインタフェースを使用してパーソナルコンピュータへ転送され、マルチメディアファイルなどのデジタルストリームとして、例えば、ＭＰＥＧ−１、ＭＰＥＧ−２またはＤＶなど、多数の共通フォーマット中に記憶される。
多くの場合、家庭用ムービーの生マルチメディアコンテンツ（raw multimedia content）は、視聴者を楽しませて洗練されたように見せるための編集が必要であった。また、家庭用ビデオクリップが鑑賞される頻度は、ビデオクリップの長さとたいてい関連性があった。つまり、ビデオの時間が短いほど、ビューアがそのコンテンツに興味を示す時間は長くなり、繰返されて鑑賞される確率が高まった。ビデオクリップは、５分以下であることが理想的であり、１時間を超えるクリップが再び完全に鑑賞されることはほとんどなかった。また、視聴者は、一般に筋書き、吹き替えおよび音楽がないビデオに対してはほとんど興味を示さなかった。そのため、時には、長い生ビデオ映像（raw video footage）を、短くて興味のわく内容に編集する必要があった。そして、この編集工程には、ビデオに関する筋書き、吹き替えおよび音楽を加えることが含まれていた。
今日、多くの消費者は、ＤＶ（デジタルビデオ）規格などのデジタルキャプチャ装置を購買することができるようになった。しかし、多くの消費者にとって、ビデオの撮影は面白く、時には楽しく感じたが、ビデオを楽しく鑑賞できるプログラムに編集する作業は面倒で非常に時間のかかる作業であった。また、アマチュアおよびその他家庭ユーザが使用するソフトウェアツールは、一般にとても限定されていた。編集プロセスは、編集を行うマルチメディアの解析または処理に必要なアルゴリズムが複雑なために、遅くなった。また、マルチメディアビットストリームは、比較的大きく複雑であった。
従来のマルチメディア編集ソフトウェアは、マニュアル編集に使用するツールをユーザに提供していたが、それらのツールは、一般にとても複雑で大量の時間がかかり、習得も困難であった。そのため、従来のマルチメディア編集の他に、人間による相互作用が最小で生ビデオ映像を編集する、自動的にビデオを編集する技術が商業化されている。例えば、そのシステムとしては、ｍｕｖｅｅ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｐｔｅ社のＡｕｔｏＰｒｏｄｕｃｅｒ（登録商標）がある。自動編集ソフトウェアは、例えば、ユーザにより提供されたパラメータ、生ビデオ（マルチメディアビットストリームで提供）および音楽に基づいて完成あるいはほとんど完成された映像プレゼンテーションを行う。自動編集ソフトウェアは、そこに含まれているマルチメディアコンテンツの様々な特性のために、ユーザにより提供された生ビデオ映像およびオーディオファイルを解析する。マルチメディアコンテンツの特性を示すこの解析結果は、生映像の編集に使用されて、製作されたマルチメディアプレゼンテーションを生成する。
従来技術または自動編集を使用しても、マルチメディア編集の解析は、事前処理またはマルチメディアビットストリームに行われた解析を考慮せずに、一般に無関係に行われる。そのため、マルチメディア編集に有用なマルチメディアビットストリーム特性の後続の解析では、事前に行われた解析が考慮されずに、マルチメディアビットストリームが再び完全に解析された。また、マルチメディアビットストリームが、マルチメディアビットストリームの圧縮準備などその他の目的のために解析されるときにも、事前のマルチメディア編集解析は考慮されずに解析が再び行われた。これは、マルチメディア編集情報を判断する際に、同じタイプの解析（移動検知など）が行われるときにも同様であった。
また、マルチメディアビットストリームが、一般に行われるように、他のユーザへ転送されたり、異なるソフトウェアにより解析されたりした場合にも、事前の解析から得られた情報は失われてしまった。そのため、すでに行われたマルチメディアビットストリームの解析を再び行わなければならなかった。この繰返して行われるマルチメディアビットストリームの再解析には時間が非常にかかり、コンピューティング資源および人的資源が浪費された。
本発明の目的は、マルチメディア編集情報をマルチメディアビットストリームに埋め込むシステムおよびその方法と、マルチメディア編集情報をマルチメディアビットストリームから抽出するシステムおよびその方法とを提供することにある。
一つの実施形態は、マルチメディアビットストリームの処理方法である。本方法は、マルチメディアビットストリーム中にあるマルチメディアコンテンツの編集に有用なマルチメディア信号の特性のために、マルチメディアビットストリームを解析するステップと、マルチメディアコンテンツの編集に有用なマルチメディア信号の特性に基づいてマルチメディア編集情報を生成するステップと、マルチメディア編集情報をマルチメディアビットストリームへ埋め込んでハイブリッドマルチメディアデータストリームを生成するステップとを含む。
もう一つの実施形態は、マルチメディアビットストリームの処理方法である。本方法は、マルチメディア編集情報をマルチメディアビットストリーム中に埋め込むステップを含み、そのマルチメディア編集情報は、マルチメディアビットストリーム中のマルチメディアコンテンツの編集に有用なマルチメディア信号の特性を示す。
もう一つの実施形態は、マルチメディアビットストリームを処理するためのコンピュータプログラムを有するコンピュータ可読媒体である。このコンピュータ可読媒体は、マルチメディア編集情報をマルチメディアビットストリーム中に埋め込むためのコードセグメントを含み、そのマルチメディア編集情報は、マルチメディアビットストリーム中のマルチメディアコンテンツの編集に有用なマルチメディア信号の特性を示す。
もう一つの実施形態は、マルチメディアビットストリームの処理システムである。このシステムは、マルチメディア編集情報をマルチメディアビットストリーム中に埋め込むための実行可能モジュールを含み、そのマルチメディア編集情報は、マルチメディアビットストリーム中のマルチメディアコンテンツの編集に有用なマルチメディア信号の特性を示す。
まだもう一つの実施形態は、マルチメディアビットストリームの処理システムである。このシステムは、マルチメディアビットストリームから、マルチメディア編集情報を抽出するように構成された実行可能モジュールを含み、そのマルチメディアビットストリームは、マルチメディア信号を示すマルチメディアコンテンツと、そこに埋め込まれたマルチメディア編集情報である。
まだもう一つの実施形態は、マルチメディアビットストリームの処理システムである。このシステムは、マルチメディアビットストリームから、マルチメディアビットストリームの事前の解析から判断される情報を抽出する実行可能モジュールを備える。また、このシステムは、事前の解析から抽出された情報を使用して、マルチメディア編集情報を判断する実行可能モジュールをさらに備える。そして、このシステムは、マルチメディアビットストリーム中に、マルチメディア編集情報を埋め込む実行可能モジュールをさらに備える。
当該技術に習熟した者であるならば、付属した図面および詳細な説明から、他のシステム、方法、特性および／または特長も理解することができる。そのような追加のシステム、方法、特性および／または特長もこの説明の中に含まれるべきであり、本発明の特許請求の範囲に含まれるべきである。
本発明は、マルチメディア編集情報をマルチメディアビットストリームに埋め込むシステムおよびその方法と、マルチメディア編集情報をマルチメディアビットストリームから抽出するシステムおよびその方法を実施形態として説明される。
マルチメディア編集情報とは、一般に実行可能モジュールに使用されてマルチメディアビットストリームを編集する情報をいう。例えば、オーディオコンテンツおよび／またはビデオコンテンツを有するマルチメディアビットストリームは、実行可能モジュールが使用してマルチメディアコンテンツを編集する情報を提供する任意数のアルゴリズムにより解析される。他の実施形態では、ユーザは、ユーザインタフェースまたはファイルを介してマルチメディア編集情報を提供する。
マルチメディアビットストリームは、例えば、任意数の種類のファイル、データストリーム、またはオーディオ、ビデオ、データ、テキスト、画像などの任意の組合せで示されるデジタル放送である。例えば、マルチメディアストリームは、ＭＰＥＧ−１ビットストリーム、ＭＰＥＧ−２ビットストリーム、ＭＰＥＧ−４ビットストリーム、Ｈ２６４ビットストリーム、３ＧＰＰビットストリーム、３ＧＰＰ−２ビットストリーム、標準精細度ビデオ(SD-Video)ビットストリーム、高精細度ビデオ
(HD-Video)ビットストリーム、ＤＶＤマルチメディアビットストリーム、ＶＣＤ（ビデオコンパクトディスク）マルチメディアビットストリーム、ＨＤ−ＤＶＤ（High-Definition Digital Versatile Disc）マルチメディアビットストリーム、ＤＴＶ／ＨＤＴＶ（Digital Television Video/High-definition Digital Television）マルチメディアビットストリーム、ＡＶＩビットストリーム、ＤＶ（デジタルビデオ）ビットストリーム、ＱＴ（クイックタイム）ファイル、ＷＭＡ（ウィンドウズ（登録商標）メディアオーディオ）ビットストリーム、ＷＭＶ（ウィンドウズ（登録商標）メディアビデオ）ビットストリーム、ＡＳＦ（アドバンストシステムフォーマット）ビットストリームのフォーマットかその他一般に普及している任意数のデジタルマルチメディアフォーマット等の形式を受け入れる。上記したデータストリームは単なる例であって、このシステムには最も広い意味において、あらゆる種類のマルチメディアビットストリームが含まれる。
マルチメディア処理システムのある一定の方面によると、図１は、マルチメディア編集情報をマルチメディアビットストリームに埋め込んだり、マルチメディア編集情報をマルチメディアビットストリームから抽出したりするシステムを示す模式図である。このシステムは、例えば、ディスプレイ１４およびキイボードやマウスなどのユーザ入力装置１６を有するコンピュータシステム１２を含む。
ビデオカメラ１８は、電気ケーブル２０または無線接続を介してコンピュータシステム１２に接続される。ビデオカメラ１８は、例えば、マルチメディアコンテンツを様々なデジタルフォーマットで記録するデジタルカムコーダである。本実施形態において、電気ケーブル２０は、これだけに限定されるわけではないが、ＩＥＥＥ１３９４ハイ・パフォーマンス・シリアル・バス（IEEE-1394 High Performance Serial Bus）（ファイヤワイヤ）、ユニバーサルシリアルバス（ＵＳＢ）、直列接続または並列接続である任意数の一般のコンピュータ・インターフェース・ケーブルである。本実施形態において、デジタルマルチメディアストリームは、電気ケーブル２０によりビデオカメラ１８からコンピュータシステム１２へ転送される。
コンピュータシステム１２は、例えば、ネットワーク２２上に、しかしながら、例えばＬＡＮ（ローカルエリアネットワーク）やＷＡＮ（ワイドエリアネットワーク）に限定されるわけではなく、ノードを形成させる。この構成において、マルチメディアビットストリームは、ネットワーク２２により、リモートサーバ２４からコンピュータシステム１２へ転送される。リモートサーバ２４とコンピュータシステム１２との間の接続は、ＣＡＴ―５、ファイヤワイヤまたは無線接続などの任意数の標準ネットワークインタフェースである。コンピュータシステム１２は、マルチメディアビットストリームがその上に符号化されている光ディスク３０を受けて読取る光ドライブ２８をさらに含んでもよい。
他の実施形態では、マルチメディアビットストリームは、どちらもコンピュータシステム１２に電性接続されているブレイクアウトボックスであるか拡張カードに組合わされたものであるマルチメディア入力装置３２を使用して、コンピュータシステム１２にダウンロードされてもよい。
マルチメディア入力装置３２は、マルチメディア信号、しかしながら、これだけに限定されるわけではなく、例えば、ＲＣＡジャック、マイクジャック、Ｓ／ＰＤＩＦ（ソニー/フィリップス デジタル インタフェース）接続、光接続、同軸ケーブルおよびＳ−ビデオ接続等、を受信するための、様々な標準デジタルまたはアナログの入力接続を含む。マルチメディア入力装置３２は、アナログマルチメディアストリームからデジタルマルチメディアストリームへ変換するためのアナログデジタル変換装置を含む。本実施形態のマルチメディア入力装置３２は、コンピュータシステム１２に外部接続されたブレイクアウトボックスであり、このブレイクアウトボックスは、多数の方法により、例えば、ファイヤワイヤ、ＵＳＢ、直列接続または並列接続などで、電性接続される。しかしながら、これらの方法に限られない。
コンピュータシステム１２は、多数の実行可能モジュールを保存するためのメモリ３４を含む。他の実施形態では、マルチメディア取得モジュール３６、マルチメディア解析モジュール３８、マルチメディア再生モジュール３９、マルチメディア編集モジュール４０およびマルチメディア処理モジュール４１のいずれかが保存される。メモリ３４には、例えば、マルチメディア取得モジュール３６、マルチメディア解析モジュール３８、マルチメディア再生モジュール３９、マルチメディア編集モジュール４０およびマルチメディア処理モジュール４１のサブモジュールなど、その他多数のモジュールが含まれる。
一般に、マルチメディア取得モジュール３６は、マルチメディアビットストリームを取得するために機能する。マルチメディア取得モジュール３６は、ソースに合わせて、多数の方法によりマルチメディアビットストリームを取得する。例えば、マルチメディア取得モジュール３６は、ビデオカメラ１８、光ディスク２８、リモートサーバ２４または大容量記憶装置４８（図２に示す）からコンピュータシステム１２へ転送されるマルチメディアビットストリームを調整する。マルチメディア取得モジュール３６は、さらにマルチメディア解析モジュール３８、マルチメディア再生モジュール３９、マルチメディア編集モジュール４０およびマルチメディア処理モジュール４１などの実行可能モジュールへマルチメディアビットストリームを提供する。
マルチメディア解析モジュール３８は、マルチメディアビットストリーム中のオーディオコンテンツおよびビデオコンテンツの解析機能を行い、マルチメディア編集に使用される情報を判断する。マルチメディア編集モジュール４０は、マルチメディア編集に使用される情報に基づく多数のマルチメディア編集作業を行う。同様に、マルチメディア処理モジュール４１は、マルチメディア編集に使用される情報に基づいてマルチメディアビットストリームへマルチメディア処理作業を行う。従って、マルチメディア再生モジュール３９、マルチメディア編集モジュール４０およびマルチメディア処理モジュール４１は、マルチメディア解析モジュール３８により提供されたマルチメディア編集情報に基づいてマルチメディアビットストリームを操作する。
他の実施形態においては、マルチメディア取得モジュール３６、マルチメディア解析モジュール３８、マルチメディア再生モジュール３９、マルチメディア編集モジュール４０およびマルチメディア処理モジュール４１が、各モジュールにより個別に行われる作業をまとめて行う一つのモジュールに組合わされてもよい。従って、ここで述べられているモジュールまたはサブモジュールは、独立したモジュールに限定されるわけではなく、実際には、全てのモジュールをお互い別々に操作することもできるし、一つのモジュールへ簡易に組合せることができるようにしてもよい。また、ここで述べられているシステムおよび方法を行うためには、それぞれのモジュールは必要要素ではないと理解されるべきである。
他の実施形態において、ユーザは、ユーザ入力装置１６およびディスプレイ１４中のグラフィカルユーザインタフェース（ＧＵＩ）を介して、マルチメディア取得モジュール３６、マルチメディア解析モジュール３８、マルチメディア再生モジュール３９、マルチメディア編集モジュール４０およびマルチメディア処理モジュール４１を操作したり制御したりしてもよい。
実行可能モジュールは、例えば、マルチメディア取得モジュール３６、マルチメディア解析モジュール３８、マルチメディア再生モジュール３９、マルチメディア編集モジュール４０、マルチメディア処理モジュール４１など、および任意のサブモジュールと、論理関数を実行するための実行可能命令の順序付きリストを含む。実行可能モジュールがソフトウェア中で実行されるとき、注意しなければならないことは、このシステムが、コンピュータ関連システムまたは方法に使用されるための任意のコンピュータ可読媒体に保存されて、あるいは、コンピュータ関連システムまたは方法に関連するコンピュータ可読媒体に保存される。本実施形態において、コンピュータ可読媒体は、電子、磁気、光学または他の物理デバイスや装置であって、これは、コンピュータ関連システムまたは方法に使用されるコンピュータプログラムを有する或いは保存することができて、或いはコンピュータ関連システムまたは方法に関連するコンピュータプログラムを有する或いは保存することができる。実行可能モジュールは、あらゆるコンピュータ可読媒体中において実施することができ、コンピュータベースシステム、プロセッサを含むシステム、または命令実行システム、装置またはデバイスから命令を取出してその命令を実行することのできるその他のシステムなどの命令実行システム、装置またはデバイスによるか、命令実行システム、装置またはデバイスに関連して使用される。
本明細書において、コンピュータ可読媒体とは、実質的に、命令実行システム、装置またはデバイスに使用されるプログラムを保存、通信、伝播または転送することができて、或いは命令実行システム、装置またはデバイスに関連するプログラムを、記憶、通信、伝播または転送することができるものである。コンピュータ可読媒体は、これだけに限定されるわけではないが、例えば、電子、磁気、光学、電磁気、赤外線または半導体システム、装置、デバイスまたは伝播媒体でもよい。コンピュータ可読媒体のさらに詳しい例（非網羅的リスト）としては、一つ以上のワイヤを有する電気的接続（電子）、携帯式コンピュータディスク（磁気）、ランダムアクセスメモリ（ＲＡＭ）（電子）、リードオンリーメモリ（ＲＯＭ）（電子）、消去可能プログラマブルＲＯＭ（ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリ）（電子）、光ファイバ（光学）および携帯式ＣＤ−ＲＯＭ（光学）が含まれる。ここで注意しなければならないことは、コンピュータ可読媒体は、紙またはプログラムの印刷に適当なその他の媒体でもよく、そのプログラムは、例えば、紙またはその他の媒体を光走査により電子的にキャプチャした後に、コンパイルして解釈されるか、必要なときに適当な方式により処理されてからコンピュータメモリ中に記憶される。
図２は、コンピュータシステム１２上で実行されるマルチメディア取得モジュール３６、マルチメディア解析モジュール３８、マルチメディア再生モジュール３９、マルチメディア編集モジュール４０およびマルチメディア処理モジュール４１のを示すブロック図である。一般に、コンピュータシステム１２は、様々な有線および／または無線のコンピューティング装置を含み、たとえば、デスクトップコンピュータ、携帯式コンピュータ、専用サーバコンピュータ、マルチプロセッサコンピューティング装置、携帯電話、パーソナルデジタルアシスタント（ＰＤＡ）、手持ち式または手書き入力式のコンピュータ、埋め込みアプライアンスなど。特定の配列によらず、コンピュータシステム１２には、例えば、メモリ３４、処理装置４２、多数の入出力インタフェース４４、ネットワークインタフェース装置４６および大容量記憶装置４８が含まれ、それら各装置はデータバス５０により接続されている。
処理装置４２は、オーダメイド仕様または市販のプロセッサ、中央処理装置（ＣＰＵ）またはコンピュータシステム１２に関連する数種のプロセッサのうちの補助プロセッサ、半導体ベースのマイクロプロセッサ（マイクロチップ形式による）、マイクロプロセッサ、一つ以上の特定用途向け集積回路（ＡＳＩＣｓ）、適切に構成された複数のデジタルロジックゲートおよび個々または様々に組合されてコンピューティングシステムの全体の操作を調整するその他よく知られた個々の素子を備える電気的構成、を含む。
メモリ３４は、揮発性メモリ素子（ランダムアクセスメモリ（例えば、ＤＲＡＭおよびＳＲＡＭなどのＲＡＭなど）と不揮発性メモリ素子（例えば、ＲＯＭ、ハードドライブ、テープ、ＣＤＲＯＭなど）との組合せから選択された一つを含む。メモリ３４は、一般にネイティブオペレーティングシステム５２、一つ以上のネイティブアプリケーション、エミュレーションシステムまたは様々なオペレーティングシステムおよび／またはエミュレートされたハードウェアプラットフォーム、エミュレートされたオペレーティングシステムなどのエミュレートされたアプリケーションを含む。例えば、アプリケーションは、マルチメディア取得モジュール３６、マルチメディア解析モジュール３８、マルチメディア再生モジュール３９、マルチメディア編集モジュール４０およびマルチメディア処理モジュール４１のいずれかを含むアプリケーション特定ソフトウェア５４を含む。当該技術に習熟した者なら分かるように、メモリ３４には、説明を簡単にするために省略されたその他の構成要素を一般に含むことができ、それは一般には含まれる。
入出力インタフェース４４は、データの入力および出力に使用される任意数のインタフェースを提供する。例えば、コンピュータシステム１２は、パソコンを含み、これらの構成要素は、キイボードやマウスであるユーザ入力装置１６と相互作用する。コンピュータシステム１２は、手持ち式装置（ＰＤＡ、携帯電話など）を含み、これらの構成要素は、機能キー、ボタン、タッチ感応スクリーンまたはスタイリストなどで相互作用する。ディスプレイ１４は、例えば、パーソナルコンピュータのコンピュータモニターやプラズマスクリーンまたは手持ち装置の液晶表示装置（ＬＣＤ）を含む。
図２に示すように、ネットワークインタフェース装置４６は、ネットワーク２２によりデータの送信および／または受信を行うために使用される様々な構成要素を含む。例を挙げると、ネットワークインタフェース装置４６は、例えば、変調器／復調器（モデムなど）、無線（無線周波数など）トランシーバ、電話インタフェース、ブリッジ、ルータ、ネットワークカードなどと、入力および出力により通信することのできる装置を含む。
図３は、マルチメディアビットストリームに埋め込まれたマルチメディア編集情報を判断するシステムを実施形態として、説明する。一つの実施形態において、マルチメディア解析モジュール３８は、入力としてマルチメディアストリーム５８を受信して、マルチメディアビットストリーム５８を解析して、マルチメディアビットストリームの編集に有用なマルチメディアストリームの特性を判断する。その解析は、マルチメディアビットストリーム５８中のオーディオコンテンツ、ビデオコンテンツのいずれか一方または両方に基づいて行われる。
例えば、編集する際には、ビデオのより面白い部分を示すマルチメディアコンテンツの様々な特性を判断することが有用である。それらの部分は、編集プロセスする際に、ビデオへ組入れるユーザのためや、その部分を製品へ組入れる自動編集ソフトウェアのためや、ビデオサムネイルに使用されるマルチメディアコンテンツの特定部分を判断するためにフラグが挿入される。
ビデオサムネイルは、ビデオの一部に関連することがあって、及びマルチメディアコンテンツの特定部分のコンテンツを、ビジュアル方式で示すために使用される。例えば、ビデオサムネイルは、ユーザが編集ムービーに挿入する特定のムービークリップを選択することを助けるために表示される。ビデオサムネイルは、編集に使用される以外に、ＤＶＤメニュー中のビデオクリップの表示が含まれるその他様々な目的に使用される。ビデオサムネイルは、例えば、一つのピクチャであるか、ループビデオの一部分であることが好ましい。ビデオの面白い部分を検知する解析を使用することにより、ビデオサムネイルに使用されるビデオの一部は自動的に判断される。
マルチメディア編集情報の判断の解析は、オーディオ特性の検知（歓声、スピーチ、音楽、雑音、静けさ或いは音量の検知）、ビデオコンテンツ複雑度の検知、ビデオ中の移動量の検知、ビデオ中のパンの検知、ビデオ中のシーンチェンジの検知、ビデオ中のコマーシャルコンテンツの検知、ビデオ設定（娯楽または記念）の検知、ビデオの異質性の検知、ビデオ中のズームの検知、光のフラッシュ（カメラフラッシュ、花火、シーン間の明るさ変化など）の検知、ビデオ中の顔の検知、ビデオセグメントの輝度の検知、ビデオセグメントの色変化の検知、特定のシーンが重要なシーンとして（手動または自動で）選択されたかどうかの検知などを含むが、しかしながら、これだけに限定されるわけではない。
生ビデオ映像を有するマルチメディアビットストリームに関する編集情報以外に、補助オーディオコンテンツ（例えば、吹き替え、バックグランドミュージックなど）がマルチメディアビットストリームへ加えられると、補助オーディオコンテンツは、同様の特性を有するビデオと同期させるために使用される情報のために解析される。この補助オーディオコンテンツは、例えば、ＷＡＶ、ＭＰ３またはＷＭＡビットストリームなどそれ自体の補助オーディオマルチメディアビットストリームである。例えば、補助オーディオの解析には、これだけに限定されるわけではないが、オーディオ特性の判断（歓声、スピーチ、音楽、雑音、静けさ、テンポ或いは音量の検知）、オーディオ帯域幅の検知、オーディオ波形が各フレームにおいてゼロ軸を越える回数の検知、周波数スペクトルの重心の検知、周波数スペクトルの標準偏差の検知が含まれる。
上述した様々な解析は、自動的にマルチメディア編集情報を提供するための単なる例であり、マルチメディア編集情報をマルチメディアビットストリーム中へ埋め込むシステムおよび方法は、使用される特定タイプの解析にのみ限定されるわけではない。
使用される各解析は、ビットストリームを編集する実行可能モジュールに有用なマルチメディアビットストリームの特性を示すマルチメディア編集情報を提供する。例えば、特性は、ビデオセグメントに関連するオーディオ中の歓声の表示、ビデオセグメントに関連するオーディオ中のスピーチの表示、ビデオセグメントに関連するオーディオ中の音楽の表示、ビデオセグメントに関連するオーディオ中のノイズの表示、ビデオセグメントに関連するオーディオ中の静けさの表示、ビデオセグメントに関連するオーディオの音声の表示、ビデオコンテンツの複雑度、ビデオセグメントに関連する移動レベル、ビデオ中のシーンチェンジまたはコマーシャルコンテンツの（直接的または本質的な）位置、ビデオセグメントのパンの表示、ビデオセグメント中のズームの表示、ビデオセグメント中の顔または皮膚の表示、ビデオセグメント中の輝度の表示、ビデオセグメントの色変化の表示、ビデオセグメントの重要度の表示、ビデオセグメント中の光フラッシュの表示、ビデオセグメント中の明るさの表示を含むが、しかしながら、これだけに限定されるわけではない。マルチメディア編集情報は、様々な形式で実施することができ、ここで述べられているシステムおよび方法は、特定の形式または説明に限定されるわけではない。
また、マルチメディア編集情報は、ビデオコンテンツまたはオーディオコンテンツの二つの部分の間の特性変化（例えば、ビデオ中で検知された移動の増減、明るさの増減、顔の数の増減）により示される。
マルチメディア編集情報は、補助オーディオコンテンツの解析結果も含む。例えば、マルチメディア編集情報には、これだけに限定されるわけではないが、オーディオ中の歓声の表示、オーディオ中のスピーチの表示、オーディオ中の音楽の表示、オーディオ中のノイズの表示、オーディオ中の静けさの表示、オーディオの音量レベルの表示、オーディオ帯域幅の表示、オーディオ波形が各フレームにおいてゼロ軸を越える回数の表示、オーディオコンテンツの周波数スペクトルの重心の表示、周波数スペクトルの標準偏差の表示が含まれる。この情報は、生ビデオコンテンツを有するマルチメディアビットストリーム中に埋め込まれてもよい。また、補助オーディオコンテンツがそれ自体の補助オーディオマルチメディアビットストリーム中に埋め込まれている場合、マルチメディア編集情報は、補助オーディオマルチメディアビットストリーム中に埋め込まれてもよい。
本実施形態のマルチメディア解析モジュール３８は、自動アルゴリズムを使用するマルチメディア編集に有用な情報を判断するビットストリームを解析しているが、他の実施形態のマルチメディア編集情報は、コンテンツプロバイダまたはマルチメディアコンテンツのビューアにより提供されてもよい。例えば、マルチメディア解析モジュール３８またはマルチメディア再生モジュール３９などの実行可能モジュールは、ディスプレイ１４（図１）中のグラフィカルユーザインタフェースをビデオコンテンツのビューアへ提供するように構成されてもよい。グラフィカルユーザインタフェースを介して、ユーザは、コマーシャルコンテンツ、高度なアクションまたは編集を行う実行可能モジュールに使用されるその他のインジケータに対応するビデオコンテンツ中の特定の開始位置および終了位置を（マウス、キイボードまたはリモートコントロールを介して）示してもよい。
例えば、編集モジュールが自動編集を使用する場合、所望するビデオ出力の種類を示すようにユーザに求められ、このプロフィール情報もまたマルチメディアビットストリーム中に埋め込まれる。プロフィールの使用により、ユーザは生映像コンテンツ特性およびユーザの好みによりビデオをカスタマイズすることができる。例えば、この好みには、順次か非順次、リズミ感のあるビデオかリズミ感の少ないビデオにするなどの設定が含まれる。シーケンシャルプロフィールが使用されると、撮影のタイムシーケンスは保存される。また、非シーケンシャルプロフィールが使用されると、撮影の元の順序は変化する。リズミ感のあるプロフィールが選択されると、音楽のテンポ／リズム（バックグランドミュージックなど）が良く保存されるが、撮影は少なく示される。リズム感の少ないプロフィールが選択されると、ビデオの音楽のテンポ／リズムは、リズム感のあるプロフィールを使用したときよりもはっきりしなくなり、撮影は比較的多く示される。
他の実施形態に、マルチメディア編集情報は、例えば、マルチメディアビットストリーム中に埋め込まれていたり、個々のファイル、信号またはビットストリーム中に提供されたりしてもよい。この情報は、マルチメディア編集情報がビットストリームの解析により判断される時に、実行可能モジュールにより使用されるために復号化されたり抽出されたりしてもよい。
他の実施形態は、マルチメディア編集情報の自動検知とマニュアル表示の組合せを使用する。例えば、上述の例によると、マルチメディア解析モジュール３８は、ビデオコンテンツを解析して、編集機能を行う実行可能モジュールにより使用される、シーンチェンジ、高度なアクションの場所またはその他のインジケータに最善の予測を行う。この最善の予測は、人間が読解可能なフォーマットにフォーマットされて、マニュアルによる検証のためにＧＵＩで表示され、ユーザにより調整される。このマルチメディア編集情報は、続いて実行可能モジュールへ送信される。そのため、マルチメディア編集情報は、任意数の方法により取得することができ、マルチメディア編集情報をマルチメディアビットストリーム中へ埋め込んだり、マルチメディア編集情報をマルチメディアビットストリームから抽出したりする例が数種類だけ提供されているが、それら特定方法だけに限定されるわけではない。
マルチメディア編集情報が判断されると、その情報は、マルチメディア編集モジュール４０などの実行可能モジュールにより使用されて、マルチメディアコンテンツを編集する。また、マルチメディアビットストリームの編集方法に関する情報は、マルチメディア解析モジュール３８またはその他の解析モジュールによりマルチメディアビットストリーム中へ埋め込まれる。
マルチメディア編集情報は、特に、マルチメディア編集を行う実行可能モジュールによる使用のために判断されるが、この情報は任意数のマルチメディア操作作業にも使用することができると理解されるべきである。
クローズドキャプションおよびタイトル情報などの情報は、マルチメディアビットストリームの特定フォーマットにより、様々な方法でマルチメディアビットストリーム中へ埋め込まれてもよい。マルチメディア編集情報も同様の方法で埋め込まれて、マルチメディア編集情報を埋め込むシステムおよび方法は、マルチメディアファイルのフォーマットにより変えることができる。
図３は、ＭＰＥＧ−２フォーマット中のマルチメディアストリーム５８を例に説明する。ＩＳＯ−１３８１８−１として知られるＭＰＥＧ規格は、マルチメディアコンテンツの多重ストリームを一つのストリームへ多重化することができる。例えば、ビデオストリーム６４、オーディオストリーム６６およびプライベートデータストリーム６８それぞれは、マルチメディアストリーム５８中に混在することができる。
ビデオストリーム６４、オーディオストリーム６６およびプライベートデータストリーム６８は、エレメンタリストリームとして知られる。ＭＰＥＧ規格は、多重エレメンタリビデオ、オーディオまたはデータのストリームを多重化して同じマルチメディアストリーム５８へ組合せることができる。そのため、例えば、マルチメディアストリーム５８は、英語の第一オーディオストリームとスペイン語の第二オーディオストリームとを含むことができる。多重ビデオストリームも同様に使用される。例えば、第一ビデオストリームは、一方のカメラ角度からの画像を示し、第二ビデオストリームは、他方のカメラ角度からの画像を示す。時には単にデータストリームとして知られるプライベートデータストリーム６８は、いかなる一タイプのデータのみに限定されるわけではない。プライベートデータストリーム６８は、例えば、マルチメディアストリーム５８の識別を提供するかクローズドキャプション装置により復号化されるデータを含む。
マルチメディア解析モジュール３８が、オーディオ、ビデオおよびデータのストリームそれぞれを別々に処理するために、逆多重化システムであるＤＥＭＵＸ７０を提供し、マルチメディアストリーム５８からのエレメンタリストリームを逆多重化したり分離したりする。ここで、マルチメディアストリーム５８はＤＥＭＵＸ７０へパスされ、ビデオストリーム６４、オーディオストリーム６６およびプライベートデータストリーム６８が生成されてマルチメディア解析モジュール３８へ出力される。
マルチメディア解析モジュール３８は、マルチメディアビットストリームを解析してマルチメディア編集情報を判断する。例えば、上述したように、ビットストリーム中のビデオコンテンツおよび／またはオーディオコンテンツが解析されて、マルチメディア編集情報を判断する。オーディオストリーム、ビデオストリームのいずれか一方または両方を解析する以外に、マルチメディア解析モジュール３８はプライベートデータストリーム６８を読んで解析して、マルチメディア編集情報を判断する。例えば、データビットストリーム６８がクローズドキャプションテキストを含んでいる場合、このテキストは解析されてマルチメディア編集情報を判断する。
また、マルチメディア解析モジュール３８は、マルチメディア編集情報がオーディオ、ビデオまたはデータビットストリーム中（例えば、プライベートデータストリーム６８中にある）に既に埋め込まれているかどうかを判断する。例えば、マルチメディア編集情報が事前に埋め込まれていて、マルチメディア解析モジュール３８が、このマルチメディア編集情報を直接に抽出することにより、マルチメディアビットストリームの更なる解析が完全にスキップされるか実質的に減らされるように構成されてもよい。
マルチメディア解析モジュール３８は、チャックサムまたはその他の識別情報などのエラーチェック特性を含み、特定バージョンに対応するデータストリーム中に埋め込まれた情報が、信頼できる情報であるか、そして／または有効マルチメディア編集情報が含まれているかを判断する。
マルチメディア解析モジュール３８がマルチメディアストリーム５８を解析すると、マルチメディア解析モジュール３８は、マルチメディア編集データ７２を出力する。本実施形態において、マルチメディア編集データ７２は、オーディオ、ビデオおよび／またはデータビットストリームの解析から判断されるマルチメディア編集情報を示す。マルチメディア編集データ７２は、所定のフォーマットにより示され、マルチメディア再生モジュール３９、マルチメディア編集モジュール４０またはマルチメディア処理モジュール４１などの他のモジュールにより直接に使用される。
図３に示すように、マルチメディア編集データ７２は、符号化モジュール７４を通過して、マルチメディア編集データ７２のフォーマットが様々な規格のフォーマットに適合するビットストリームに変換される。他の実施形態において、符号化モジュール７４は、分離された単体のモジュールとして操作されずに、マルチメディア解析モジュール３８中に組入れられてもよい。
多くの場合、符号化モジュール７４は、マルチメディア編集データ７２を、特定のマルチメディア規格（ＭＰＥＧ−２、ＡＶＩなど）に必要なものに適合する規格化されたデータストリームへ変換することが望ましい。本実施形態において、マルチメディア編集データ７２の所定フォーマットは、ＭＰＥＧ−２ビットストリームに適合しているとは認められていない。そのため、符号化モジュール７４を使用して、マルチメディア編集データ７２をパケット化エレメンタリストリーム（ＰＥＳ）パケットからなるＰＥＳであるフォーマットされたマルチメディア編集データストリーム７６など、ＭＰＥＧに準拠するエレメンタリストリームへ変換する。このように、マルチメディア編集データ７２で示されるマルチメディア編集情報は、マルチメディア編集データストリーム７６中へフォーマットされる。
図４は、マルチメディア編集データストリーム７６を、ハイブリッドマルチメディアストリームへ合成または多重化するシステムを示す。多重化モジュールであるＭＵＸ７８は、図３に示す符号化モジュール７４から出力されたマルチメディア編集データストリーム７６の他にも、ビデオストリーム６４、オーディオストリーム６６、プライベートデータストリーム６８の入力を受信する。ＭＵＸ７８は、ストリーム６４、６６、６８、７６を一つのハイブリッドマルチメディアストリーム８０へ、多重化、符号化または合成する。
ハイブリッドマルチメディアストリーム８０は、ハードドライブ、フロッピー（登録商標）ドライブ、光ドライブ、光媒体、テープなどの多種類の大容量記憶システムにファイルとして記憶される。または、そのファイルは、ネットワークを介して、ハイブリッドマルチメディアストリーム８０を操作するように構成されたモジュールを有するリモートホストへ伝送される。例えば、コンピュータシステム１２中に設けられたマルチメディア編集モジュール４０は、接続された大容量記憶装置４８からのハイブリッドマルチメディアストリーム８０を読むことができる。
図４が示す実施形態のデータストリーム６８、７６は、独立したデータストリームであるが、他の実施形態において、データストリーム６８、７６中のデータは、一つのストリーム中へ符号化されてもよい。例えば、ＭＵＸ７８またはＭＵＸ７８のその他の回路かソフトウェアアップストリームは、プライベートデータストリーム６８およびフォーマットされたマルチメディア編集データストリーム７６を一つのデータストリームへ合成する。そのため、例えば、タイトル情報データ、クローズドキャプションデータおよびマルチメディア編集データは、同一のエレメンタリストリーム中に混在される。また、図４が示す実施形態においては別々のものとなっているが、そのシステムは、例えば、これだけに限定されるわけではないが、マルチメディア解析モジュール３８、再生モジュール３９、マルチメディア編集モジュール４０またはマルチメディア処理モジュール４１といったその他の実行可能モジュールの一部として含まれてもよい。
ここで定義するように、ハイブリッドマルチメディアストリーム８０には、マルチメディア編集情報を示すデータと同様にマルチメディア信号を示すデータが含まれる。マルチメディア信号には、ビデオ信号および／またはオーディオ信号が含まれる。ハイブリッドマルチメディアストリーム８０には、例えば、プライベートデータストリーム６８など他種類のエレメンタリデータストリームがさらに含まれてもよい。図４には、ビデオストリーム６４、オーディオストリーム６６、プライベートデータストリーム６８およびフォーマットされたマルチメディア編集データストリーム７６の四つ全てが示されているが、他の実施形態では、ハイブリッドデータストリーム８０には、例えば、フォーマットされたマルチメディア編集データストリーム７６と、ビデオストリーム６４および／またはオーディオストリーム６６だけが含まれていてもよい。
ハイブリッドマルチメディアストリーム８０には、複数のオーディオデータブロック８２、ビデオデータブロック８４、プライベートデータブロック８６およびマルチメディア編集データブロック８８が交互に含まれる。オーディオデータブロック８２は、オーディオストリーム６６からのデータを示し、ビデオデータブロック８４は、ビデオストリーム６４からのデータを示す。同様に、プライベートデータブロック８６は、プライベートデータストリーム６８からのデータを示す一方、マルチメディア編集データブロック８８は、フォーマットされたマルチメディア編集データストリーム７６からのデータを示す。
オーディオデータブロック８２、ビデオデータブロック８４、プライベートデータブロック８６およびマルチメディア編集データブロック８８は、任意のフォーマットに符号化され、特定規格（ＭＰＥＧ−２、ＭＰＥＧ−４など）にのみ限定される。例えば、ブロックは任意のシーケンスであり、各ブロックはサイズが異なる。そして、例えば、プライベートデータブロック８６またはマルチメディア編集データブロック８８は、ハイブリッドマルチメディアストリーム８０の始め、終わり又は全体に断続的に設けられてもよい。
図４に示されるように、マルチメディア編集データブロック８８は、ハイブリッドマルチメディアストリーム８０中に埋め込まれる。マルチメディア編集データブロック８８は、これだけに限定されるわけではないが、例えば、ヘッダーフィールド９０、タグＩＤフィールド９２、長さフィールド９４およびデータフィールド９６を含む。マルチメディア編集データブロック８８は、特定のマルチメディアフォーマットのトランスポートパケット中にさらに閉じ込められる。例えば、マルチメディア編集データブロック８８は、ＭＰＥＧ−２規格により定義されるパケット化エレメンタリストリーム（ＰＥＳ）パケット中に閉じ込められる。
ヘッダーフィールド９０は、マルチメディア編集データブロック８８からの情報を復号化および抽出するのに有用なサブフィールドを含む。サブフィールドには、これだけに限定されるわけではないが、特殊ＩＤサブフィールド９８、バージョンサブフィールド１００、データサブフィールドの長さ１０２、タグＩＤサブフィールドのアドレス１０４、長さサブフィールドのアドレス１０６およびデータサブフィールドのアドレス１０８が含まれてもよい。ヘッダーフィールド９０の情報は、応用および分野により変えてもよく、ここで述べられているものは可能なフォーマットの一例である。
特殊ＩＤサブフィールド９８は識別情報を示し、復号器が使用して、解析属性データブロック８８を、タイトル情報など特定データストリーム中に記憶される、その他の種類のデータではなく、ブロック含有解析属性データとして認識する。バージョンサブフィールド１００には、マルチメディア編集データブロック８８中に閉じ込められるデータのフォーマットバージョンを判断するために復号器が使用する情報も含まれている。データサブフィールドの長さ１０２は、データフィールド９６の全長を示す。例えば、データサブフィールドの長さ１０２は、データフィールド９６が１０２４バイトの全長を有することを示す。タグＩＤサブフィールドのアドレス１０４は、解析属性データブロック８８中におけるタグＩＤフィールド９２の位置を示す。データ長さサブフィールドのアドレス１０６は、解析属性データブロック８８中における長さフィールド９４の位置を示す。データサブフィールドのアドレス１０８は、データブロック中におけるデータフィールド９６の位置を示す。例えば、タグＩＤサブフィールドのアドレス１０４、データ長さサブフィールドのアドレス１０６およびデータサブフィールドのアドレス１０８それぞれには、特定のメモリ位置を示す１６進数または所定のメモリ位置からのオフセットが含まれていてもよい。
タグＩＤフィールド９２は、識別タグをマルチメディア編集情報データとして識別する。例えば、タグＩＤフィールド９２は、タグ１に相当する移動、タグ２に相当するシーンチェンジ１開始位置、タグ３に相当するシーンチェンジ１終了位置およびタグ４に相当するズームフラグを識別するデータを含む。マルチメディア編集識別子およびそれらのタグは、上述したものだけに限定されるわけではなく、埋め込まれているマルチメディア編集情報の種類により変えることができる。また、識別子およびタグは、特定の順番に限定されない。識別子およびそれらの識別タグは、例えば、復号されてデータフィールド９６中のマルチメディア編集情報を識別することのできる連続した任意の数字または文字でもよい。
データフィールド９６は、実際のマルチメディア編集データおよび各タグがタグＩＤフィールド中に定義される関連タグを含む。例えば、本実施形態において、ズームフラグに対応するデータは順次サーチされて見つけられるか、データフィールド９６中で関連タグ４をサーチして見つけられる。
一実施形態において、特定タグとデータフィールド９６中の関連データとのサーチを助けるために、マルチメディア編集データブロック８８には、データフィールド９６中の特定タグに関連するマルチメディア編集情報データの長さ（ビット数など）を含むデータフィールドの長さ９４が含まれる。
図５は、マルチメディア編集情報をマルチメディアビットストリーム中に埋め込んだり、マルチメディア編集情報をマルチメディアビットストリームから抽出したりする、もう一つの実施形態におけるシステムを示すブロック図である。本実施形態は、マルチメディアストリームをエレメンタリストリームへ逆多重化または分離する、ここではＤＥＭＵＸ１１０であるデマルチプレクサ、マルチメディア編集モジュール４０、マルチメディア編集情報を判断するマルチメディア解析モジュール３８、特定のマルチメディア規格（ＭＰＥＧ−２など）からのデータをマルチメディア編集モジュール４０が識別できるフォーマットへ変換する復号化モジュール１１２、データを特定のマルチメディア規格に準拠するビットストリームへ変換する符号化モジュール１１４、ビデオストリーム６４’、オーディオストリーム６６’、プライベートデータストリーム６８’およびフォーマットされたマルチメディア編集データストリーム７６’それぞれをハイブリッドマルチメディアストリーム８０’へ多重化または合成するＭＵＸ１１６を含む。
マルチメディア解析モジュール３８は、図３に関連して説明されているように実質的に操作されるように構成される。図５に示すように、他の実施形態において、マルチメディア解析モジュール３８は、他の実行可能モジュール中に組入れることもできる。例えば、図５に示すように、マルチメディア解析モジュール３８は、マルチメディア編集モジュール４０中に組入れることもできる。
一般に、マルチメディア編集モジュール４０は、マルチメディアビットストリーム中に埋め込まれたマルチメディア編集情報に基づいて、マルチメディア編集作業を部分的に行う。上述したように、マルチメディア編集に使用される情報の一例は、ビデオ中のコマーシャルコンテンツの位置である。そのため、ビデオコンテンツの編集工程において、ユーザは、マルチメディア編集モジュールに命令して自動的にマルチメディアコンテンツ中のコマーシャルコンテンツを検知して、映像編集の編成を助ける。例えば、マルチメディア編集モジュール４０は、コマーシャルに対応したマルチメディアコンテンツの一部を削除するか、コマーシャルコンテンツを、他のオーディオコンテンツおよび／またはビデオコンテンツに代替するように構成される。マルチメディア編集モジュールは、マルチメディアビットストリームを、コマーシャル位置により定義される個々のビットストリームへ分離する。コマーシャル位置は、マルチメディアビットストリーム中へ既に埋め込まれているため、この情報は抽出されて編集工程に使用され、この作業のためにマルチメディアビットストリームを再解析する必要はない。
マルチメディアビットストリーム中に埋め込まれるマルチメディア編集情報の他の例としては、ビデオ部分中の移動量がある。例えば、移動が大きいほど、マルチメディアコンテンツ中のイベントはより重要であるか面白いことを示す。つまり、移動情報を使用することにより、移動の特定レベルに合致するビデオのセグメントに基づいてマルチメディアコンテンツを自動的に編集することができる。例えば、編集モジュールは、他部分よりも望ましくなるように、特定の閾値を越えるか下回る移動レベルを有するビデオコンテンツの部分をマークするように構成される。
編集ソフトウェアは、マルチメディア編集情報に基づいて、面白いか面白くないとフラグが挿入されたマルチメディアの一部の生映像を示すように構成される。上で説明したように、ビデオセグメントの提示には、より面白いビデオコンテンツの部分をループするように構成されたビデオのサムネイルの表示が含まれる。ビデオのサムネイルのうちより重要であると判断されたビデオの一部をビューアが見られるように、最終的に製作されたマルチメディアプレゼンテーション中に含まれる生映像の一部を（ドラッグ・アンド・ドロップなどにより）、ユーザはより容易に選択できるようにしてもよい。
従って、マルチメディア編集モジュール４０は、他のマルチメディア編集作業中において、マルチメディア解析モジュール３８から判断されたマルチメディア編集情報を読んで、このマルチメディア編集情報に基づいてマルチメディア編集作業を行うように構成されてもよい。
マルチメディア編集は作業時間が短いほど良く、マルチメディア編集情報を判断するマルチメディアビットストリームを解析するマルチメディア解析モジュール３８は、延長時間がない方が好ましい。また、マルチメディア編集情報が一度判断され、この情報が再び必要になった場合、マルチメディアビットストリームは再解析されないことが好ましい。そして、マルチメディア編集情報は、マルチメディアビットストリーム中に埋め込まれて、マルチメディア編集モジュール４１（またはその他の実行可能モジュール）により実質的に抽出されるため、複雑な解析は必要なくなるか実質的に減らすことができる。
マルチメディア編集モジュール４０以外に、これだけに限定されるわけではないが、マルチメディア再生モジュール３９、マルチメディア処理モジュール４１などその他の実行可能モジュールも、マルチメディア編集情報を使用してマルチメディアビットストリームを操作する。これらのモジュールも、マルチメディア編集情報をマルチメディアビットストリームへ埋め込んだり、マルチメディア編集情報をマルチメディアビットストリームから抽出したりするように構成される。
一般に、マルチメディア処理モジュール４１は、マルチメディアビットストリーム中のビデオの圧縮、フィルタまたはカラー調整などのマルチメディア処理作業を行う。処理モジュール４１は、マルチメディア編集情報に基づいてマルチメディアファイルを部分的に操作してもよい。例えば、ユーザは、マルチメディアビットストリームのビデオコンテンツおよび／またはオーディオコンテンツを圧縮することによりマルチメディアビットストリームを操作する。マルチメディア処理モジュール４１は、ビデオ中のシーンチェンジ或いは他のオーディオおよび／またはビデオの特性を示すマルチメディア編集情報を使用して、マルチメディアビットストリームの圧縮を助ける。例えば、圧縮が増加されると、ビデオコンテンツおよびオーディオコンテンツの再生の品質が下がるため、あるシーンは他のシーンよりも圧縮されることが好ましいことがあった。同様に、多くの圧縮アルゴリズムは、良好な再生品質である移動または複雑が少ないビデオ部分を圧縮するため、マルチメディア処理モジュール４１は、移動または複雑がより多いビデオ部分よりも、少ない移動度または複雑度を有するビデオ部分が圧縮されるように構成される。
もう一つの実施形態では、マルチメディア再生モジュール３９は、マルチメディアビットストリームのビデオコンテンツおよび／またはオーディコンテンツを再生するために使用される。マルチメディア再生モジュール３９は、マルチメディアビットストリームから抽出されたマルチメディア編集情報を使用して、マルチメディアビットストリームの再生を操作する。例えば、再生モジュール３９は、マルチメディア編集情報中に含まれているシーンチェンジの位置を使用して、自動チャプターまたはスキップポイントを提供するように構成される。
マルチメディア再生モジュール３９、マルチメディア編集モジュール４０およびマルチメディア処理モジュール４１などの実行可能モジュールは、マルチメディアビットストリームおよび／またはビデオコンテンツおよび／またはオーディオコンテンツの編集または処理に関連する情報を解析することにより取得された情報が埋め込まれるように構成される。例えば、マルチメディア処理モジュール４１は、これだけに限定されるわけではないが、マルチメディアビットストリームの圧縮、オーディオビットストリームの音量の正常化、ビデオビットストリームのコントラストまたは明るさのレベルの変化、ビデオビットストリームの色飽和の変化、ビットストリームの再生の加速または減速、ビデオコンテンツの増強またはぼかしなどの処理ステップを行う。また、処理作業を行うとき、マルチメディア処理モジュール４１、またはその他の実行可能モジュールは、マルチメディアビットストリームを解析してもよい。マルチメディア処理解析の結果は、以後の解析におけるマルチメディア編集にとって有用である。例えば、マルチメディアビットストリームにおいてコマーシャルコンテンツの位置を判断するために、マルチメディアビットストリームに移動解析を行ってもよい。この移動解析の結果は、ビットストリーム中にも埋め込まれる。従って、移動検知解析の結果は、以後のマルチメディア編集情報を判断するときに、マルチメディアビットストリームを繰返して解析することを減らすために、マルチメディア解析モジュール３８により後で抽出される。
また、図５では、ＤＥＭＵＸ１１０、ＭＵＸ１１６、復号化モジュール１１２および符号化モジュール１１４は、個々のモジュールとして示されているが、これらのモジュールは、マルチメジュール編集モジュール４０中に組合せることもできると理解されるべきである。また、図３および図４に示すように、マルチメディアストリーム８０は、様々なマルチメディアフォーマットであり、図示されていない様々な前処理ステップが行われる。例えば、マルチメディアストリームは、第１のフォーマットにおいてキャプチャされてから、他のフォーマットへ変換され、それはビデオデータおよび／またはオーディオデータの圧縮を含んでもよい。
他の実施形態において、デマルチプレクサ、ＤＥＭＵＸ１１０は、ハイブリッドマルチメディアストリーム８０を、ビデオストリーム６４、オーディオストリーム６６、プライベートデータストリーム６８およびフォーマットされたマルチメディア編集データストリーム７６などの個々のエレメンタリストリームへ分離してもよい。複数のマルチメディア編集データブロック８８を含むマルチメディア編集データストリーム７６は、復号化モジュール１１２を通過する。復号化モジュール１１２は、マルチメディア編集データブロック８８中に記憶されたデータを復号化し、データをフォーマットし、ビデオストリーム６４および／またはオーディオストリーム６６中のオーディオまたはビデオを編集するデータ中のマルチメディア編集情報を使用するマルチメディア編集モジュール４０へデータをパスするように構成されてもよい。
マルチメディア編集モジュール４０は、要求してマルチメディア解析モジュール３８からマルチメディア編集情報を受信する。しかし、他の実施形態では、マルチメディア編集モジュール４０は、そこに埋め込まれたマルチメディア編集情報のために、マルチメディアビットストリームを直接にチェックするように構成されてもよい。
マルチメディア編集情報がマルチメディアビットストリーム中に埋め込まれていなかったり、マルチメディア編集情報が更新されなければならなかったり、異なるマルチメディア編集情報がマルチメディア編集モジュール４０により必要となったときに、図３の実施形態が示すように、適当なマルチメディア編集情報が提供されるようにマルチメディア解析モジュール３８は構成される。
一度マルチメディア編集情報が、マルチメディア解析モジュール３８により提供されるか、マルチメディアビットストリームから抽出されると、マルチメディア編集モジュール４０は、マルチメディア編集情報に基づいてマルチメディアコンテンツを編集する。
図５に示されるマルチメディアストリーム８０は、図４のＭＵＸ７８から出力されるマルチメディアストリーム８０と同じフォーマットである。そのため、実施形態のマルチメディアストリーム８０には、複数のオーディオデータブロック８２、ビデオデータブロック８４、プライベートデータブロック８６、そしてマルチメディア編集データブロック８８が交互に含まれる。
実際には、実行可能モジュールを使用して、マルチメディア編集データブロック８８をフォーマットされたマルチメディア編集データストリーム７６に復号化する。例えば、復号化モジュール１１２は、ヘッダーフィールド９０中の特殊ＩＤサブフィールド９８を読んで、特定のデータブロックが、マルチメディア編集情報を実際に含んでいるかどうかを判断する。もし含んでいる場合、復号化モジュール１１２は、バージョンサブフィールド１００を見て、マルチメディア編集データブロック８８のバージョンが分かるかどうかを判断するため、データフィールド９６中に記憶されたマルチメディアデータを復号化することができる。復号化モジュール１１２が、マルチメディアデータを復号化できると判断した場合、復号化モジュール１１２は、タグＩＤサブフィールドのアドレス１０４、データ長さアドレス１０６およびデータサブフィールドのアドレス１０８のコンテンツを調べて、タグＩＤフィールド９２、データ長さフィールド９４およびデータフィールド９６の開始アドレスをそれぞれ判断する。
復号化モジュール１１２は、次にタグＩＤフィールド９２の開始アドレスへジャンプし、タグＩＤフィールド９２中の各タグおよびそれらの関連値を解析するために、編集情報の関連タグを判断する。ある場合において、復号化モジュール１１２は、移動およびズームフラグ情報など、データフィールド９６中に記憶された全情報のサブセットのみに興味がある。この実施形態において、復号化モジュール１１２は、タグ１およびタグ４が移動およびズームフラグの情報に対応するとモジュールが判断されるまで、タグＩＤフィールド９２を解析する。
復号化モジュール１１２は、続いてデータフィールドの長さ９４の開始アドレスへジャンプする。復号化モジュール１１２は、データフィールドの長さ９４のコンテンツを読み、情報を探すため各タグに関連するマルチメディア編集情報の長さを判断する。この実施形態において、復号化モジュール１１２は、タグ１およびタグ４に関連するマルチメディア編集情報データの長さを判断する。例えば、データフィールドの長さ９４は、３２バイトの長さを有するタグ１に関連するデータと、６４バイトの長さを有するタグ２に関連するデータとを示すデータを含む。
復号化モジュール１１２は、次にデータフィールド９６の開始へジャンプして、マルチメディア編集情報に関連する開始を示すタグ1またはタグ４を見つけるまで、そこに含まれるデータの解析を行う。
タグから始めて、タグに関連する編集情報の長さから判断されるオフセットアドレスまで読む復号化モジュール１１２は、読んで関連するマルチメディア編集情報をメモリ中へ一時的に記憶する。実行可能モジュールは、各タグに関連するマルチメディア編集情報を読むステップを繰返して、残りのタグが見つかるまでデータフィールド９６の解析を続ける。
復号化されたマルチメディア編集データ７２の結果は、復号化モジュール１１２から所定のフォーマットで出力される。マルチメディア編集データ７２中のマルチメディア編集情報は、続いてマルチメディアビットストリームの操作に使用されるためにマルチメディア編集モジュール４０中へパスされる。
マルチメディア解析モジュール３８は、様々なマルチメディア操作作業に有用なマルチメディアビットストリームの解析を行う。そのため、この解析はマルチメディアの編集に有用なマルチメディアビットストリームの特性を示す情報を提供するが、その解析は他の操作作業にとっても有用となる。そのため、様々な解析からの情報は、図３および図４に関連して説明されたのと同様の方式により、記憶されて符号化され、マルチメディアストリーム８０へ返される。このマルチメディア操作に有用な情報は、例えば、プライベートデータストリーム６８’またはマルチメディア編集データストリーム７６’へ符号化され、ハイブリッドマルチメディアストリーム８０’中へ埋め込まれる。ハイブリッドマルチメディアストリーム８０’は、次に復号化されて、マルチメディアストリーム８０’からマルチメディア操作情報を抽出するように構成された任意の実行可能モジュールにより後続使用される。例えば、マルチメディア再生または処理モジュールは、マルチメディアビットストリームの再生または処理に有用なこの解析を見つける。
一度マルチメディア編集情報が、マルチメディアストリーム中に埋め込まれると、マルチメディア編集情報を判断するオーディオコンテンツおよび／またはビデオコンテンツを再解析する量は減少されるか無くなる。例えば、個々のファイル中に記憶させずに、マルチメディア編集情報をビットストリーム中へ埋め込むことにより、マルチメディア編集情報は、ビットストリームから分離されることがなくなる。従って、マルチメディアビットストリームが、さらなる操作のために他のコンピュータへパスされても、その情報は依然抽出に利用することができる。また、マルチメディア編集情報をビットストリーム自体に埋め込むことにより、後続のマルチメディア操作ステップ中におけるマルチメディアビットストリームの再解析を大幅に減少させることができる。例えば、マルチメディアビットストリームを再解析することなく、以前に解析された結果をビットストリームから抽出することができる。
図６は、マルチメディア編集情報をマルチメディアストリーム中へ埋め込む方法を示す流れ図である。ステップ１１８において、マルチメディアファイルが、例えば、マルチメディア取得モジュールにより準備される。マルチメディアビットストリームは、例えば、大容量記憶装置４８、リモートサーバ２４、メモリ３４または光ディスク３０（図１）からのビットストリームを取得することにより提供される。マルチメディア編集情報をマルチメディアビットストリーム中に埋め込んだり、マルチメディア編集情報をマルチメディアビットストリームから抽出したりするシステムおよび方法には、ビットストリームを提供するステップが必要ないと理解されるべきである。
ＤＶファイルなどのマルチメディアファイルは大きすぎるために、マルチメディアストリームは圧縮された方が良い場合があった。そのため、判断ブロック１２０において、マルチメディア情報を圧縮する必要があるかどうかが判断された。もし圧縮が必要な場合（イエスの場合）、ステップ１２２において、当該技術に習熟した者ならよく分かる技術を使用して、マルチメディア情報を（例えば、マルチメディア処理モジュールなどにより）圧縮し、新しいフォーマットへ変換された。例えば、ＤＶファイルを圧縮してＭＰＥＧ−２へ変換したり、既にＭＰＥＧ−２フォーマット中にあるビットストリームをさらに圧縮したりした。
圧縮ステップ１２２において、マルチメディア編集情報を生成するマルチメディアビットストリームの解析を行う。例えば、マルチメディア圧縮の解析には、移動予測が含まれる。また、マルチメディア圧縮に必要なもの以外の解析も、圧縮ステップ１２２において行われる。圧縮ステップ１２２（および／またはその他の解析から得られた情報結果）において行われた解析から得られたマルチメディア編集情報の結果は、圧縮されたマルチメディアストリーム中に埋め込まれる。
図６が示す流れ図において、続いて、圧縮が行われないか（ノーの場合）、ビットストリームがステップ１２２において既に圧縮された後の場合、ステップ１２４において、マルチメディアコンテンツを解析してマルチメディア編集情報を判断する。
ステップ１２６において、マルチメディア編集情報は、実行可能モジュールによりマルチメディアビットストリームを操作するために使用される。例えば、マルチメディア処理、再生または編集モジュールは、マルチメディア編集情報を使用してビットストリームを操作する。ステップ１２８において、マルチメディア編集情報は、少なくとも一つのデータブロックへフォーマットされる。ステップ１３０において、マルチメディア編集情報を示すデータは、例えば、ビデオ、オーディオおよび／またはデータと多重化して、マルチメディアストリーム中へ埋め込まれる。このデータストリームは、ステップ１３２において、マルチメディア編集情報とビデオデータおよび／またはオーディオデータなどのマルチメディアコンテンツとの両方を含むハイブリッドデータストリームとして出力される。
図７は、マルチメディア編集情報がそこに埋め込まれたハイブリッドマルチメディアストリームを使用するマルチメディア編集モジュール４０またはその他の実行可能モジュールを利用するシステムを示す流れ図である。ステップ１４０において、マルチメディア編集情報を含むハイブリッドマルチメディアストリームであるか、マルチメディア編集情報を含むハイブリッドマルチメディアストリームでないマルチメディアストリームが準備される。次に、マルチメディアビットストリームは、例えば、大容量記憶装置４８、リモートサーバ２４、メモリ３４または光ディスク３０（図１）からのビットストリームを取得することにより準備される。マルチメディア編集情報をマルチメディアビットストリーム中に埋め込んだり、マルチメディア編集情報をマルチメディアビットストリームから抽出したりするシステムおよびその方法は、ビットストリームを提供するステップが必要ないと理解されるべきである。
そして、判断ブロック１４２において、提供されたマルチメディアストリーム中にマルチメディア編集情報がすでに埋め込まれているかどうかを判断する。このステップには、マルチメディアストリームの伸長化、復号化および／または逆多重化がさらに含まれている。
少なくともいくらかのマルチメディア編集情報がマルチメディアストリーム中に埋め込まれている状態において（判断ブロック１４２がイエスの場合）、マルチメディア編集情報はステップ１４４において抽出され、判断ブロック１４６において、埋め込まれているマルチメディア編集情報が、マルチメディア編集モジュールに必要な全てのマルチメディア編集情報を示しているかを判断する。この判断は、ハイブリッドマルチメディアストリーム中のマルチメディアデータブロックのヘッダー情報を解析することにより達成されるか、マルチメディア編集情報自体を解析するだけで達成することができる。
マルチメディア編集モジュールに必要な全てのマルチメディア編集情報がデータストリーム中に埋め込まれている場合（判断ブロック１４６がイエスの場合）、マルチメディア編集モジュールは、続いて、マルチメディア編集情報を抽出して受信し、マルチメディアビットストリームの操作に使用する。例えば、マルチメディア編集モジュールは、自動的にマルチメディアビットストリームを編集するか、マルチメディア編集情報を使用してマルチメディアビットストリームを手動で編集するビデオサムネイルおよびシーンスプリット情報などのツールを提供する。
しかしながら、実行可能モジュールに必要なマルチメディア編集情報が、ハイブリッドストリーム中に埋め込まれていない場合（判断ブロック１４６がノーの場合）、マルチメディアストリームは、ステップ１４８において解析され、追加のマルチメディア編集情報を判断する。例えば、ある情況において、マルチメディアビットストリーム中のマルチメディア編集情報は、サブジェクトマルチメディアビットストリームの一部のみに付属する。そのため、マルチメディア編集情報の以前に解析されていない部分のある追加解析は、完了されなければならなかった。マルチメディア編集モジュールは、ハイブリッドストリームから抽出されたマルチメディア編集情報と、ステップ１４８において、マルチメディアストリームの解析から発見されたマルチメディア編集情報との両方を使用して、オーディオコンテンツおよび／またはビデオコンテンツが操作されるように構成される。
マルチメディアストリーム中に埋め込まれた有用なマルチメディア編集情報がない情況とは反対に、ステップ１４８において、不足している情報だけが判断される。したがって、マルチメディア編集情報のマルチメディアコンテンツを解析するステップ１４８は、以前に行われた解析を全て含む全解析が行われるよりも複雑でなく時間もかからない可能性がある。
もし判断ブロック１４２において、マルチメディア編集情報がマルチメディアビットストリーム中に埋め込まれていないと示す場合（ノーの場合）、マルチメディア解析モジュールは、マルチメディアビットストリームを解析してマルチメディア編集情報を判断する。マルチメディア編集モジュールまたはその他の実行可能モジュールは、マルチメディアコンテンツを操作するためにマルチメディア編集情報を使用する。そして、ステップ１５０において、マルチメディア編集情報およびマルチメディア編集情報を検知するために行うマルチメディアビットストリーム解析に関連するあらゆる情報は、マルチメディアビットストリーム中に埋め込まれる。マルチメディア編集情報を埋め込む他に、マルチメディアビットストリームが、例えば、その他の修正や処理ステップにより修正される場合、マルチメディアビットストリームが修正された方法に関連する情報が、マルチメディアビットストリーム中に埋め込まれてもよい。
マルチメディア編集情報が、マルチメディアストリーム中に埋め込まれている場合、その情報は抽出されて、これだけに限定されるわけではないが、例えば、マルチメディアデータストリームからの情報を抽出するように構成されたマルチメディア再生モジュール、マルチメディア処理モジュールまたはマルチメディア編集モジュールなどの任意の実行可能モジュールにより使用される。
本実施形態では、独立したユーザ定義のデータストリームをマルチメディアビットストリームに多重化することにより、マルチメディア編集情報をマルチメディアビットストリームへ埋め込んでいるが、他の実施形態においては、他の方法によりマルチメディア編集情報を埋め込んでもよい。また、ハイブリッドストリームのフォーマットや、ハイブリッドストリームを形成するマルチメディア処理情報を埋め込むために使用される工程は、これらの実施形態だけに限定されるわけではない。
例えば、他の実施形態では、マルチメディア編集情報は、ビデオ情報および／またはオーディオ情報と同じビットストリーム中へ直接に埋め込まれてもよい。例えば、ＭＰＥＧ規格に準拠するフォーマットなどのマルチメディアフォーマットは、ユーザデータとしても知られるユーザ定義のデータをビデオおよび／またはオーディオのビットストリーム中に組入れてもよい。ユーザデータは、どんなバイナリデータをも含み、ビデオ情報またはオーディオ情報に関連させる必要はない。そのため、このユーザデータは、少なくとも一部がマルチメディア編集情報に対応している。このマルチメディア編集情報に対応しているユーザデータは、特定のマルチメディアフォーマットにより定義されるようにビットストリーム中に埋め込まれる。同様に、マルチメディア編集情報が抽出されて、後続のマルチメディアの処理、編集または解析において使用される。
また、他の実施形態において、マルチメディア編集情報は、ユーザ定義のデータがマルチメディアストリーム中へ特に埋め込まないようにしたマルチメディアストリーム中へ埋め込める。例えば、認知できるオーディオおよび／またはビデオのコンテンツを変化させることなくビットのパターンをマルチメディアビットストリームへ加えることができる。これらビットは、どんなバイナリデータを含んでもよく、ビデオ情報またはオーディオ情報に関連させる必要はない。例えば、これらの技術は、著作権情報を認識するデジタル透かしをマルチメディアビットストリーム中に埋め込むときに使用される。従って、同様の技術を使用することにより、マルチメディア編集情報はこれらマルチメディアストリーム中へ埋め込むことができる。ビットストリーム中で検知される、例えば、デジタル透かしなどと似た技術を使用して、マルチメディアビットストリームからマルチメディア編集情報を抽出する。このマルチメディア編集情報は、例えば、処理または編集によるマルチメディアビットストリームの操作に使用される。
上述の実施形態は、マルチメディア編集情報をマルチメディアビットストリーム中へ埋め込むことが可能な方法を示した複数の例である。同様に、上述の実施形態には、単にハイブリッドビットストリーム中へ埋め込まれたマルチメディア編集情報をどのように抽出して使用するかという例が含まれている。そのため、ここで強調しておかなければならないこととして、上述の実施形態には変更や修正されたものも含まれるということである。それら全ての変更や修正は、この開示された範囲内に含まれており、特許請求の範囲により保護されるべきである。
本発明の一実施形態によるマルチメディア編集情報をマルチメディアビットストリームに埋め込むシステムと、マルチメディア編集情報をマルチメディアビットストリームから抽出するシステムとを示す模式図である。 マルチメディア処理情報をマルチメディアビットストリームに埋め込んだり、マルチメディア編集情報をマルチメディアビットストリームから抽出したりする実行可能モジュールを含む図１のコンピュータシステムを示すブロック図である。 本発明の一実施形態によるマルチメディアビットストリームに埋め込まれたマルチメディア編集情報を判断するシステムを示すブロック図である。 本発明の一実施形態によるマルチメディア編集情報をマルチメディアビットストリームに埋め込むシステムを示す模式図である。 本発明の一実施形態によるマルチメディア編集情報をマルチメディアビットストリームから抽出するシステムと、マルチメディア編集情報をマルチメディアビットストリームに埋め込むシステムとを示すブロック図である。 本発明の一実施形態によるマルチメディア編集情報をマルチメディアビットストリームに埋め込む方法を示す流れ図である。 本発明のもう一つの実施形態によるマルチメディア編集情報をマルチメディアビットストリームに埋め込む方法と、マルチメディア編集情報をマルチメディアビットストリームから抽出する方法とを示す流れ図である。
符号の説明
１２ コンピュータシステム
１４ ディスプレイ
１６ ユーザ入力装置
１８ ビデオカメラ
２０ 電気ケーブル
２２ ネットワーク
２４ リモートサーバ
２８ 光ドライブ
３０ 光ディスク
３２ マルチメディア入力装置
３４ メモリ
３６ マルチメディア取得モジュール
３８ マルチメディア解析モジュール
３９ マルチメディア再生モジュール
４０ マルチメディア編集モジュール
４１ マルチメディア処理モジュール
４２ 処理装置
４４ 入出力インタフェース
４６ ネットワークインタフェース装置
４８ 大容量記憶装置
５０ データバス
５２ ネイティブオペレーティングシステム
５４ アプリケーション特定ソフトウェア
５８ マルチメディアビットストリーム
６４、６４’ ビデオストリーム
６６、６６’ オーディオストリーム
６８、６８’ プライベートデータストリーム
７０、１１０ ＤＥＭＵＸ
７２ マルチメディア編集データ
７４ 符号化モジュール
７６、７６’ マルチメディア編集データストリーム
７８、１１６ ＭＵＸ
８０、８０’ ハイブリッドマルチメディアストリーム
８２ オーディオデータブロック
８４ ビデオデータブロック
８６ プライベートデータブロック
８８ マルチメディア編集データブロック
９０ ヘッダーフィールド
９２ タグＩＤフィールド
９４ 長さフィールド
９６ データフィールド
９８ 特殊ＩＤサブフィールド
１００ バージョンサブフィールド
１０２ データサブフィールドの長さ
１０４ タグＩＤサブフィールドのアドレス
１０６ 長さサブフィールドのアドレス
１０８ データサブフィールドのアドレス
１１２ 復号化モジュール
１１４ 符号化モジュール
１２０、１４２、１４６ 判断ブロック

Claims (37)

  1. マルチメディアビットストリーム中にあるマルチメディアコンテンツの編集に有用なマルチメディア信号の特性のために、前記マルチメディアビットストリームを解析するステップと、
    前記マルチメディアコンテンツの編集に有用な前記マルチメディア信号の特性に基づいて、マルチメディア編集情報を生成するステップと、
    前記マルチメディア編集情報を前記マルチメディアビットストリームへ埋め込んで、ハイブリッドマルチメディアデータストリームを生成するステップと、
    を含むことを特徴とするマルチメディアビットストリームの処理方法。
  2. 前記マルチメディアビットストリームを準備するステップをさらに含むことを特徴とする請求項１記載のマルチメディアビットストリームの処理方法。
  3. 前記マルチメディアビットストリームから前記マルチメディア編集情報を抽出するステップと、
    抽出された前記マルチメディア編集情報に基づいて、前記マルチメディアビットストリームを操作するステップと、
    をさらに含むことを特徴とする請求項１記載のマルチメディアビットストリームの処理方法。
  4. 前記操作するステップは、
    抽出された前記マルチメディア編集情報に基づいて、前記マルチメディアビットストリームを編集することを含むことを特徴とする請求項３記載のマルチメディアビットストリームの処理方法。
  5. マルチメディアビットストリーム中のマルチメディアコンテンツの編集に有用なマルチメディア信号の特性を示すマルチメディア編集情報を、前記マルチメディアビットストリーム中に埋め込むことを特徴とするマルチメディアビットストリームの処理方法。
  6. 前記マルチメディアビットストリームを準備するステップをさらに含むことを特徴とする請求項５記載のマルチメディアビットストリームの処理方法。
  7. 前記マルチメディアビットストリームを解析して、前記マルチメディア信号の特性を判断するステップと、
    前記ビットストリームから前記マルチメディア編集情報を抽出するステップと、
    前記マルチメディア編集情報を受信するステップと
    のうちの少なくとも一つを含むマルチメディア編集情報の判断を含むことを特徴とする請求項５記載のマルチメディアビットストリームの処理方法。
  8. 前記マルチメディア編集情報を、少なくとも一つの情報データブロック中へフォーマットするステップを含むマルチメディアビットストリームの処理方法であって、
    前記マルチメディア編集情報を埋め込むステップが、複数のマルチメディアデータブロックへ少なくとも一つの前記情報データブロックを埋め込んでハイブリッドマルチメディアデータストリームを生成することをさらに含むことを特徴とする請求項７記載のマルチメディアビットストリームの処理方法。
  9. 前記マルチメディア編集情報を埋め込むステップは、
    前記マルチメディアビットストリーム中にオーディオコンテンツの特性を示す情報を埋め込むことと、
    前記マルチメディアビットストリーム中にビデオコンテンツの特性を示す情報を埋め込むことと、
    補助マルチメディアビットストリーム中へオーディオコンテンツの特性を示す情報を埋め込むことと
    のうちの少なくとも一つを含むことを特徴とする請求項５記載のマルチメディアビットストリームの処理方法。
  10. 前記マルチメディアビットストリームの編集に有用なオーディオコンテンツの特性のために、補助マルチメディアビットストリーム中のオーディオコンテンツを解析するステップと、
    前記補助マルチメディアビットストリーム中にオーディオコンテンツの特性を示す情報を埋め込むステップと、
    をさらに含むことを特徴とする請求項５記載のマルチメディアビットストリームの処理方法。
  11. 前記マルチメディアビットストリームから前記マルチメディア編集情報を抽出するステップと、
    抽出された前記マルチメディア編集情報に基づいて、前記マルチメディアビットストリームを操作するステップと、
    をさらに含むことを特徴とする請求項５記載のマルチメディアビットストリームの処理方法。
  12. 前記操作するステップは、
    抽出された前記マルチメディア編集情報に基づいて、前記マルチメディアビットストリームを編集することを含むことを特徴とする請求項１１記載のマルチメディアビットストリームの処理方法。
  13. 前記マルチメディアビットストリーム中に前記マルチメディア編集情報を埋め込むステップは、
    前記マルチメディア編集情報を示すビットを、前記マルチメディア信号を示すコンテンツと多重化することと、
    前記マルチメディアビットストリーム中に前記マルチメディア編集情報を示すビットを直接に埋め込むことと、
    認知できるマルチメディアコンテンツを変化させずに、前記マルチメディアビットストリーム中に前記マルチメディア編集情報を示すビットのパターンを埋め込むことと
    のうちの少なくとも一つを含むことを特徴とする請求項５記載のマルチメディアビットストリームの処理方法。
  14. 前記マルチメディアビットストリームの事前の解析から判断された情報を、前記マルチメディアビットストリームから抽出するステップと、
    抽出された前記情報を解析して、前記マルチメディア編集情報を判断するステップと、
    をさらに含むことを特徴とする請求項５記載のマルチメディアビットストリームの処理方法。
  15. 前記マルチメディアビットストリームに、埋め込まれた前記マルチメディア編集情報が含まれているかどうかを検知するステップをさらに含むことを特徴とする請求項５記載のマルチメディアビットストリームの処理方法。
  16. 前記マルチメディアビットストリーム中の前記マルチメディア編集情報を識別するステップと、
    前記マルチメディアビットストリームの操作に、追加のマルチメディア編集情報が必要かどうかを判断し、前記追加のマルチメディア編集情報が前記マルチメディアビットストリームに必要と判断するときに、前記追加のマルチメディア編集情報を取得するステップと、
    をさらに含むことを特徴とする請求項１５記載のマルチメディアビットストリームの処理方法。
  17. 前記追加のマルチメディア編集情報を取得するときに、前記マルチメディアビットストリーム中に前記追加のマルチメディア編集情報を埋め込むことを特徴とする請求項１６記載のマルチメディアビットストリームの処理方法。
  18. 前記マルチメディアビットストリーム中に埋め込まれた前記マルチメディア編集情報を識別するステップと、
    前記マルチメディアビットストリームの操作に追加のマルチメディア編集情報が必要かどうかを判断するステップとをさらに含むマルチメディアビットストリームの処理方法であって、
    前記追加のマルチメディア編集情報が、前記マルチメディアビットストリームの操作に必要ないときに、埋め込まれた前記マルチメディア編集情報を抽出することを特徴とする請求項１５記載のマルチメディアビットストリームの処理方法。
  19. 前記マルチメディアビットストリームが、埋め込まれた前記マルチメディア編集情報を含んでいないと検知するときに、前記マルチメディア編集情報を判断するマルチメディアビットストリームの処理方法であって、
    前記マルチメディア編集情報を埋め込むステップには、前記マルチメディア編集情報の判断からの結果である前記マルチメディア編集情報を埋め込むことが含まれることを特徴とする請求項１５記載のマルチメディアビットストリームの処理方法。
  20. 前記マルチメディアビットストリームが、埋め込まれた前記マルチメディア編集情報を含んでいることを検知したときに、前記マルチメディアビットストリームから埋め込まれた前記マルチメディア編集情報を抽出することを特徴とする請求項１５記載のマルチメディアビットストリームの処理方法。
  21. マルチメディアビットストリーム中のマルチメディアコンテンツの編集に有用なマルチメディア信号の特性を示すマルチメディア編集情報を、前記マルチメディアビットストリーム中に埋め込むコードセグメントを含むことを特徴とするマルチメディアビットストリームを処理するコンピュータプログラムを有するコンピュータ可読媒体。
  22. 前記マルチメディアビットストリームを準備するコードセグメントをさらに含むことを特徴とする請求項２１記載のマルチメディアビットストリームを処理するコンピュータプログラムを有するコンピュータ可読媒体。
  23. 前記マルチメディア編集情報を判断するコードセグメントと、
    前記マルチメディア編集情報を、少なくとも一つの情報データブロックへフォーマットするコードセグメントとをさらに含むマルチメディアビットストリームを処理するコンピュータプログラムを有するコンピュータ可読媒体であって、
    前記マルチメディア編集情報を埋め込むコードセグメントが、少なくとも一つの前記情報データブロックを、複数のマルチメディアデータブロックへ埋め込んで、ハイブリッドマルチメディアデータストリームを生成することをさらに含むことを特徴とする請求項２１記載のマルチメディアビットストリームを処理するコンピュータプログラムを有するコンピュータ可読媒体。
  24. 前記マルチメディアビットストリームから、前記マルチメディア編集情報を抽出するコードセグメントと、
    抽出された前記マルチメディア編集情報に基づいて、前記マルチメディアビットストリームを操作するコードセグメントと、
    をさらに有することを特徴とする請求項２１記載のマルチメディアビットストリームを処理するコンピュータプログラムを有するコンピュータ可読媒体。
  25. 前記マルチメディアビットストリームに、埋め込まれたマルチメディア編集情報が含まれているかどうかを検知するコードセグメントがさらに含まれていることを特徴とする請求項２１記載のマルチメディアビットストリームを処理するコンピュータプログラムを有するコンピュータ可読媒体。
  26. 前記マルチメディアビットストリームが埋め込まれた前記マルチメディア編集情報を含むかどうかを検知して、前記マルチメディアビットストリームが、埋め込まれた前記マルチメディア編集情報を含むことを検知したときに、前記マルチメディアビットストリームから、埋め込まれた前記マルチメディア編集情報を抽出するコードセグメントをさらに有することを特徴とする請求項２５記載のマルチメディアビットストリームを処理するコンピュータプログラムを有するコンピュータ可読媒体。
  27. マルチメディアビットストリーム中のマルチメディアコンテンツの編集に有用なマルチメディア信号の特性を示すマルチメディア編集情報を、前記マルチメディアビットストリーム中に埋め込む実行可能モジュールを備えることを特徴とするマルチメディアビットストリームの処理システム。
  28. 前記マルチメディア編集情報を判断する実行可能モジュールをさらに含むマルチメディアビットストリームの処理システムであって、前記実行可能モジュールは、
    前記マルチメディアビットストリームを解析して、前記マルチメディア信号の特性を判断するステップと、
    前記マルチメディアビットストリームから、前記マルチメディア編集情報を抽出するステップと、
    ユーザから前記マルチメディア編集情報を受信するステップと
    のうちの一つにより前記マルチメディア編集情報を判断することを特徴とする請求項２７記載のマルチメディアビットストリームの処理システム。
  29. 前記マルチメディアビットストリームから、前記マルチメディア編集情報を抽出する実行可能モジュールと、
    抽出された前記マルチメディア編集情報を使用して、前記マルチメディアビットストリームを操作するように構成された実行可能モジュールと、
    をさらに備えることを特徴とする請求項２７記載のマルチメディアビットストリームの処理システム。
  30. ハイブリッドマルチメディアビットストリームからの前記マルチメディア編集情報を有するデータストリームを分離するデマルチプレクサをさらに備えることを特徴とする請求項２７記載のマルチメディアビットストリームの処理システム。
  31. 前記マルチメディア編集情報を有するデータストリームを、前記マルチメディアビットストリームに組合せてハイブリッドマルチメディアビットストリームを形成するマルチプレクサをさらに備えることを特徴とする請求項２７記載のマルチメディアビットストリームの処理システム。
  32. マルチメディア信号を示すマルチメディアコンテンツと、そこに埋め込まれたマルチメディア編集情報とを有するマルチメディアビットストリームから、前記マルチメディア編集情報を抽出するように構成された実行可能モジュールを備えることを特徴とするマルチメディアビットストリームの処理システム。
  33. 前記マルチメディア編集情報を抽出するように構成された実行可能モジュールへ、前記マルチメディアビットストリームを提供するように構成された実行可能モジュールをさらに備えることを特徴とする請求項３２記載のマルチメディアビットストリームの処理システム。
  34. 追加のマルチメディア編集情報を判断する実行可能モジュールをさらに含むマルチメディアビットストリームの処理システムであって、前記実行可能モジュールは、
    前記マルチメディアビットストリームを解析して、前記マルチメディア信号の特性を判断するステップと、
    前記マルチメディア編集情報を受信するステップと
    のうちの一つにより前記追加のマルチメディア編集情報を判断することを特徴とする請求項３２記載のマルチメディアビットストリームの処理システム。
  35. 前記マルチメディアビットストリーム中に、抽出された前記マルチメディア編集情報と前記追加のマルチメディア編集情報とを埋め込むように構成された実行可能モジュールをさらに備えることを特徴とする請求項３４記載のマルチメディアビットストリームの処理システム。
  36. 前記マルチメディア編集情報を使用して、前記マルチメディアビットストリーム中の前記マルチメディアコンテンツを操作するように構成されたマルチメディア操作モジュールをさらに備えることを特徴とする請求項３２記載のマルチメディアビットストリームの処理システム。
  37. マルチメディアビットストリームから、マルチメディアビットストリームの事前の解析から判断される情報を抽出する実行可能モジュールと、
    前記事前の解析から抽出された情報を使用して、マルチメディア編集情報を判断する実行可能モジュールと、
    前記マルチメディアビットストリーム中に、前記マルチメディア編集情報を埋め込む実行可能モジュールと、
    を備えることを特徴とするマルチメディアビットストリームの処理システム。
JP2005136155A 2004-10-12 2005-05-09 マルチメディア編集情報をマルチメディアビットストリームに埋め込むシステムおよびその方法 Pending JP2006115457A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US10/962,637 US20060078288A1 (en) 2004-10-12 2004-10-12 System and method for embedding multimedia editing information in a multimedia bitstream

Publications (1)

Publication Number Publication Date
JP2006115457A true JP2006115457A (ja) 2006-04-27

Family

ID=35559334

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005136155A Pending JP2006115457A (ja) 2004-10-12 2005-05-09 マルチメディア編集情報をマルチメディアビットストリームに埋め込むシステムおよびその方法

Country Status (3)

Country Link
US (1) US20060078288A1 (ja)
EP (1) EP1648172A1 (ja)
JP (1) JP2006115457A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007325052A (ja) * 2006-06-02 2007-12-13 Fujifilm Corp 動画撮影システム及びビデオカメラ
KR101279178B1 (ko) 2010-02-16 2013-06-27 이두한 멀티미디어파일 재생방법 및 멀티미디어 재생기기

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6766946B2 (en) * 1997-10-16 2004-07-27 Dentsu, Inc. System for granting permission of user's personal information to third party
US9420021B2 (en) * 2004-12-13 2016-08-16 Nokia Technologies Oy Media device and method of enhancing use of media device
JP2007189473A (ja) * 2006-01-13 2007-07-26 Hitachi Ltd 動画再生装置
US20100257187A1 (en) * 2007-12-11 2010-10-07 Koninklijke Philips Electronics N.V. Method of annotating a recording of at least one media signal
US7966393B2 (en) * 2008-02-18 2011-06-21 Clear Channel Management Services, Inc. System and method for media stream monitoring
US8503862B2 (en) * 2008-06-12 2013-08-06 Cyberlink Corp. Systems and methods for identifying scenes in a video to be edited and for performing playback
US20100161779A1 (en) * 2008-12-24 2010-06-24 Verizon Services Organization Inc System and method for providing quality-referenced multimedia
US20110142420A1 (en) * 2009-01-23 2011-06-16 Matthew Benjamin Singer Computer device, method, and graphical user interface for automating the digital tranformation, enhancement, and editing of personal and professional videos
US8737815B2 (en) * 2009-01-23 2014-05-27 The Talk Market, Inc. Computer device, method, and graphical user interface for automating the digital transformation, enhancement, and editing of personal and professional videos
EP2234400A1 (en) * 2009-03-23 2010-09-29 Sony Corporation Method and device for providing a multimedia content stream embedding processing information for the content
US9473813B2 (en) * 2009-12-31 2016-10-18 Infosys Limited System and method for providing immersive surround environment for enhanced content experience
US8910046B2 (en) 2010-07-15 2014-12-09 Apple Inc. Media-editing application with anchored timeline
US8954477B2 (en) 2011-01-28 2015-02-10 Apple Inc. Data structures for a media-editing application
US9997196B2 (en) 2011-02-16 2018-06-12 Apple Inc. Retiming media presentations
US9026909B2 (en) 2011-02-16 2015-05-05 Apple Inc. Keyword list view
US11747972B2 (en) 2011-02-16 2023-09-05 Apple Inc. Media-editing application with novel editing tools
US9536564B2 (en) 2011-09-20 2017-01-03 Apple Inc. Role-facilitated editing operations
US20130073960A1 (en) 2011-09-20 2013-03-21 Aaron M. Eppolito Audio meters and parameter controls
US9596386B2 (en) 2012-07-24 2017-03-14 Oladas, Inc. Media synchronization
KR101537665B1 (ko) * 2013-02-26 2015-07-20 주식회사 알티캐스트 콘텐츠 재생 방법 및 장치
US9330101B2 (en) * 2013-12-18 2016-05-03 Microsoft Technology Licensing, Llc Using constraints on media file formats to improve performance
GB201402879D0 (en) * 2014-02-18 2014-04-02 Zero360 Inc Display Control
WO2016098458A1 (ja) * 2014-12-15 2016-06-23 ソニー株式会社 情報処理方法、映像処理装置及びプログラム
US10121517B1 (en) 2018-03-16 2018-11-06 Videolicious, Inc. Systems and methods for generating audio or video presentation heat maps

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06133305A (ja) * 1992-09-07 1994-05-13 Fujitsu Ltd 画像データ符号化方法、その方法を用いた画像データ符号化装置、画像データ復元方法、その方法を用いた画像データ復元装置、シーン変化検出方法、その方法を用いたシーン変化検出装置、シーン変化記録装置、及び画像データのシーン変化記録・再生装置
JPH09261648A (ja) * 1996-03-21 1997-10-03 Fujitsu Ltd シーンチェンジ検出装置
WO2001006688A1 (en) * 1999-07-14 2001-01-25 Matsushita Electric Industrial Co., Ltd. Apparatus for providing information, information receiver and storage medium
JP2001357008A (ja) * 2000-06-14 2001-12-26 Mitsubishi Electric Corp コンテンツ検索配信装置およびコンテンツ検索配信方法
JP2002502158A (ja) * 1998-01-21 2002-01-22 サーノフ コーポレイション 符号化システムを改善するために付随情報を使用する装置及び方法
WO2003088668A1 (fr) * 2002-04-12 2003-10-23 Mitsubishi Denki Kabushiki Kaisha Dispositif et procede de transmission de contenu video, dispositif de stockage de contenu video, dispositif et procede de reproduction de contenu video, dispositif de generation de metadonnees, et procede de gestion de contenu video
JP2004508777A (ja) * 2000-09-06 2004-03-18 ソニー・ユナイテッド・キングダム・リミテッド ビデオマテリアルとデータの結合

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040059918A1 (en) * 2000-12-15 2004-03-25 Changsheng Xu Method and system of digital watermarking for compressed audio

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06133305A (ja) * 1992-09-07 1994-05-13 Fujitsu Ltd 画像データ符号化方法、その方法を用いた画像データ符号化装置、画像データ復元方法、その方法を用いた画像データ復元装置、シーン変化検出方法、その方法を用いたシーン変化検出装置、シーン変化記録装置、及び画像データのシーン変化記録・再生装置
JPH09261648A (ja) * 1996-03-21 1997-10-03 Fujitsu Ltd シーンチェンジ検出装置
JP2002502158A (ja) * 1998-01-21 2002-01-22 サーノフ コーポレイション 符号化システムを改善するために付随情報を使用する装置及び方法
WO2001006688A1 (en) * 1999-07-14 2001-01-25 Matsushita Electric Industrial Co., Ltd. Apparatus for providing information, information receiver and storage medium
JP2001357008A (ja) * 2000-06-14 2001-12-26 Mitsubishi Electric Corp コンテンツ検索配信装置およびコンテンツ検索配信方法
JP2004508777A (ja) * 2000-09-06 2004-03-18 ソニー・ユナイテッド・キングダム・リミテッド ビデオマテリアルとデータの結合
WO2003088668A1 (fr) * 2002-04-12 2003-10-23 Mitsubishi Denki Kabushiki Kaisha Dispositif et procede de transmission de contenu video, dispositif de stockage de contenu video, dispositif et procede de reproduction de contenu video, dispositif de generation de metadonnees, et procede de gestion de contenu video

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007325052A (ja) * 2006-06-02 2007-12-13 Fujifilm Corp 動画撮影システム及びビデオカメラ
KR101279178B1 (ko) 2010-02-16 2013-06-27 이두한 멀티미디어파일 재생방법 및 멀티미디어 재생기기

Also Published As

Publication number Publication date
EP1648172A1 (en) 2006-04-19
US20060078288A1 (en) 2006-04-13

Similar Documents

Publication Publication Date Title
JP2006115457A (ja) マルチメディア編集情報をマルチメディアビットストリームに埋め込むシステムおよびその方法
JP2006081146A (ja) シーンチェンジ情報をビデオビットストリーム中に埋め込むシステムおよびその方法
JP2006014282A (ja) マルチメディア処理情報をマルチメディアビットストリームに埋め込むシステムおよびその方法
US7706663B2 (en) Apparatus and method for embedding content information in a video bit stream
JP5588022B2 (ja) 表示サブシステムにビデオデータを提供する方法、およびシステム
JP4270379B2 (ja) デジタル情報の効率的な伝送および再生
US8094997B2 (en) Systems and method for embedding scene processing information in a multimedia source using an importance value
US20060059509A1 (en) System and method for embedding commercial information in a video bitstream
US20030068087A1 (en) System and method for generating a character thumbnail sequence
JP4379491B2 (ja) 顔データ記録装置、再生装置、撮像装置、画像再生システム、顔データ記録方法およびプログラム
US20100226620A1 (en) Method For Incorporating A Soundtrack Into An Edited Video-With-Audio Recording And An Audio Tag
TW201626369A (zh) 資訊處理裝置，資訊記錄媒體，及資訊處理方法，以及程式
JP4712812B2 (ja) 記録再生装置
US20050276572A1 (en) Providing audio-visual content
US10566027B2 (en) Information processing apparatus and information processing method
JP2006340066A (ja) 動画像符号化装置、動画像符号化方法及び記録再生方法
JP6500895B2 (ja) 情報処理装置、情報生成装置、情報記録媒体、および情報処理方法、並びにプログラム
US20060056506A1 (en) System and method for embedding multimedia compression information in a multimedia bitstream
US20060080591A1 (en) Apparatus and method for automated temporal compression of multimedia content
JP2009089350A (ja) ネットワーク基盤のカスタマイズコンテンツを提供するためのユーザ装置及びその方法並びに著作装置及びその方法
JPWO2017199743A1 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
US11122252B2 (en) Image processing device, display device, information recording medium, image processing method, and program for virtual reality content
JP2010086615A (ja) 多重化装置およびプログラムおよび多重化方法
JP4462290B2 (ja) コンテンツ管理情報記録装置、コンテンツ再生装置、コンテンツ再生システム、撮像装置、コンテンツ管理情報記録方法およびプログラム
JP2015153441A (ja) 情報処理装置、情報記録装置、情報記録媒体、および情報処理方法、並びにプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070731

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071030

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080812