JP2005293431A - マルチメディアデータ統合装置、マルチメディアデータ統合方法およびマルチメディアデータ統合プログラム - Google Patents

マルチメディアデータ統合装置、マルチメディアデータ統合方法およびマルチメディアデータ統合プログラム Download PDF

Info

Publication number
JP2005293431A
JP2005293431A JP2004110479A JP2004110479A JP2005293431A JP 2005293431 A JP2005293431 A JP 2005293431A JP 2004110479 A JP2004110479 A JP 2004110479A JP 2004110479 A JP2004110479 A JP 2004110479A JP 2005293431 A JP2005293431 A JP 2005293431A
Authority
JP
Japan
Prior art keywords
multimedia data
video
processing
integrated
format
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004110479A
Other languages
English (en)
Other versions
JP4549717B2 (ja
Inventor
Sotaro Kaneko
宗太郎 金子
Kimihiko Kazui
君彦 数井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2004110479A priority Critical patent/JP4549717B2/ja
Priority to US10/937,254 priority patent/US7451160B2/en
Publication of JP2005293431A publication Critical patent/JP2005293431A/ja
Application granted granted Critical
Publication of JP4549717B2 publication Critical patent/JP4549717B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/23805—Controlling the feeding rate to the network, e.g. by controlling the video pump
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H04N21/2225—Local VOD servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23608—Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17318—Direct or substantially direct transmission and handling of requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17336—Handling of requests in head-ends
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99941—Database schema or data structure
    • Y10S707/99944—Object-oriented database structure
    • Y10S707/99945—Object-oriented database structure processing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99941—Database schema or data structure
    • Y10S707/99948—Application of database or data structure, e.g. distributed, multimedia, or image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Multi Processors (AREA)
  • Computer And Data Communications (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】複数の映像蓄積サーバに蓄積された映像を統合してデータ形式が異なる統合映像を作成する処理を高速化すること。
【解決手段】統合サーバ１００の処理分担比率算出部１２１が統合サーバ１００と各映像蓄積サーバとの間での画像形式変換処理の最適な処理分担比率を算出し、処理分担比率算出部１２１により算出された処理分担比率に基づいて統合サーバ１００の画像形式変換処理部１２２と各映像蓄積サーバの画像形式変換処理部が画像形式変換処理を分散して行う。
【選択図】 図４

Description

この発明は、マルチメディアデータを蓄積する複数のマルチメディアデータ蓄積装置からマルチメディアデータを受信し、受信した複数のマルチメディアデータを統合してマルチメディアデータ蓄積装置に蓄積されたデータ形式とは異なるデータ形式の統合マルチメディアデータを作成するマルチメディアデータ統合装置、マルチメディアデータ統合方法およびマルチメディアデータ統合プログラムに関し、特に、統合マルチメディアデータの作成処理を適切に分散することにより処理時間を短縮することができるマルチメディアデータ統合装置、マルチメディアデータ統合方法およびマルチメディアデータ統合プログラムに関するものである。
近年、インターネットによるネットワーク環境やマルチメディア技術の発展により、多様なシステムが実現されている。その中に、マルチメディアデータの一種である映像をユーザーの端末に配信するための映像配信システムがある。
映像配信システムの例としては、遠隔映像配信システム（設置されたカメラにより撮影された映像を符号化し、ネットワーク伝送を経由することにより視聴端末に配信するシステム）、モバイル映像配信システム（携帯電話をはじめとする携帯端末に対して映像を配信するシステム）などが挙げられる。
さらに今後は、これらのシステムを組み合わせることにより、さらに高次のサービスを提供することが考えられる。具体的には、広域環境に多数配置したカメラにより撮影した複数地点の映像を、地域ごとに配置した映像蓄積サーバに蓄え、要求時に複数地点の映像から携帯端末向けの映像を一つの映像として再構成して配信するシステムであり、これにより時間・場所を問わず広域の映像を瞬時に取得することが可能となる。
このようなシステムは、地域の活性化を目的とした映像による情報発信や、防災の早期予防対策等の観点において有望なシステムであるが、このシステムを実現するには以下の要素技術が必要になってくる。
まず、携帯端末向けに映像を配信する場合には、映像蓄積サーバで管理される蓄積映像について、携帯端末で参照可能なデータ形式に変換する必要がある。例えば、携帯電話は一般的なパーソナルコンピュータと比べ、画像データとして扱うことが可能なデータサイズが小さく、符号化方式も異なっているため、高品位な画質で保存されている蓄積映像を携帯端末で再生するためには、符号化形式等を変換する必要がある。
また、広域環境下において複数箇所に蓄積された映像を統合して配信可能な状態にするには、配信可能な映像を作成する統合サーバと、対象映像を管理する映像蓄積サーバとの間でネットワーク伝送を介して適切に連携処理を行うシステムが必要となる。
具体的には、対象映像を管理する異なる複数の映像蓄積サーバに対して統合サーバが蓄積映像の一部を要求し、その依頼に応じて複数の映像蓄積サーバが統合に必要な映像をネットワーク伝送するシステムが必要となる。
また、システムの処理効率を上げるためには、ネットワーク上での映像伝送を効率化する必要があり、統合に要する映像をネットワーク伝送する場合に、映像全体を統合サーバに伝送して統合サーバで対象とする時間区間を取り出すのではなく、ネットワーク伝送前にあらかじめ映像蓄積サーバで時間区間を取り出し、該当部分だけを伝送することが行われている（例えば、特願２００３−１８５３０４参照。）。
しかしながら、従来の方式では、携帯端末向けの映像を再生成するのに時間を要するため、配信を要求してから実際に配信を開始するまでに大きな遅延が生じてしまうという問題がある。よって、携帯端末向けの映像を再生成するまでの処理時間を短縮する必要があり、そのためには、システムを構成する各サーバの計算資源を効率的に利用する必要がある。すなわち、システムを構成する各サーバで適切な分散処理を行う必要がある。
ここで、携帯端末向けの映像を生成するまでに必要な処理は、映像の切り出し、復号化、解像度縮小、再符号化、統合である。映像の切り出しは、例えば数時間の映像からなるファイルの中から10秒分というように、一部の映像を時間区間で切り出す。復号化は、符号化された蓄積映像を復号する。解像度縮小は、復号化した映像に対して演算処理を行い、解像度を配信対象の携帯端末に合わせて縮小する。再符号化は、解像度縮小を行った映像を配信対象の端末の対応形式に再符号化する。最後に統合により、複数地点の映像を一つの映像としてまとめ、対象端末が再生処理可能なファイル形式にする。
この処理過程における特徴は、映像の切り出し、統合と比較して、復号化、解像度縮小、再符号化の部分が計算量が多いことである。また、複数地点からの映像を統合する場合には、対象となる映像蓄積サーバが複数となり、これらの個々の処理を処理単位として考えると、再符号化までの処理が映像蓄積サーバの数だけ行われることになる。
すなわち、従来の方式では、統合対象となる複数地点の蓄積映像すべてに対して、復号化、解像度縮小、再符号化という計算量が多い処理を統合サーバ側で行っているため、この部分が全体の処理のボトルネックとなっている。
一方、各蓄積映像サーバにおいて行われる処理が映像の切り出しのみであるため、映像を切り出した後、統合サーバ側が計算量の多い処理を行っている間に映像蓄積サーバは何の処理も行わない。これは、映像を切り出した後の映像蓄積サーバの計算資源が活用されていないということを意味する。
そこで、統合サーバに対して対象映像の時間区間を伝送する前に、あらかじめ映像蓄積サーバで映像の切り出し、復号化、解像度縮小、再符号化までの処理を行い、統合サーバでは統合処理のみを行う方式が考えられる。このように、計算量の多い処理である復号化、解像度縮小、再符号化の処理を各映像蓄積サーバで行うことにより、統合サーバのみで行っていた処理が分散されるため、従来の方式と比較して計算資源を有効に使い、ある程度の処理時間の短縮を見込むことができる。
しかしこの方式は、全体の処理時間が、最も遅い映像蓄積サーバの処理時間に依存し、他地点に比べて処理時間を要する映像蓄積サーバに起因する遅延増大を抑えられないという問題が存在する。また一方で、統合サーバで行うべき処理は統合処理のみとなるため、従来の方式とは逆に統合サーバの計算資源が有効活用されていないという問題も生じる。
この発明は、上述した従来技術による問題点を解消するためになされたものであり、統合映像などの統合マルチメディアデータの作成処理を適切に分散することにより処理時間を短縮することができるマルチメディアデータ統合装置、マルチメディアデータ統合方法およびマルチメディアデータ統合プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するため、本発明は、マルチメディアデータを蓄積する複数のマルチメディアデータ蓄積装置からマルチメディアデータを受信し、該受信した複数のマルチメディアデータを統合してマルチメディアデータ蓄積装置に蓄積されたデータ形式とは異なるデータ形式の統合マルチメディアデータを作成するマルチメディアデータ統合装置であって、各マルチメディアデータ蓄積装置に蓄積されたマルチメディアデータのうち統合マルチメディアデータの作成に使用されるマルチメディアデータを前記異なるデータ形式に変換する変換処理を各マルチメディアデータ蓄積装置とマルチメディアデータ統合装置とで分担して行う処理分担比率を算出する処理分担比率算出手段と、前記処理分担比率算出手段により算出された処理分担比率を各マルチメディアデータ蓄積装置に送信する処理分担比率送信手段と、前記処理分担比率送信手段により送信された処理分担比率に基づいて各マルチメディアデータ蓄積装置により部分的に変換処理がおこなわれたマルチメディアデータを受信するデータ受信手段と、前記データ受信手段により受信されたマルチメディアデータのうち変換処理が行われていないマルチメディアデータのデータ形式の変換処理を行う変換処理手段と、前記データ受信手段により受信されたマルチメディアデータのうち各マルチメディアデータ蓄積装置により変換処理が行われたマルチメディアデータと前記変換処理手段により変換処理が行われたマルチメディアデータとを統合して前記統合マルチメディアデータを作成する統合手段と、を備えたことを特徴とする。
また、本発明は、マルチメディアデータを蓄積する複数のマルチメディアデータ蓄積装置からマルチメディアデータを受信し、該受信した複数のマルチメディアデータを統合してマルチメディアデータ蓄積装置に蓄積されたデータ形式とは異なるデータ形式の統合マルチメディアデータを作成するマルチメディアデータ統合装置のマルチメディアデータ統合方法であって、各マルチメディアデータ蓄積装置に蓄積されたマルチメディアデータのうち統合マルチメディアデータの作成に使用されるマルチメディアデータを前記異なるデータ形式に変換する変換処理を各マルチメディアデータ蓄積装置とマルチメディアデータ統合装置とで分担して行う処理分担比率を算出する処理分担比率算出工程と、前記処理分担比率算出工程により算出された処理分担比率を各マルチメディアデータ蓄積装置に送信する処理分担比率送信工程と、前記処理分担比率送信工程により送信された処理分担比率に基づいて各マルチメディアデータ蓄積装置により部分的に変換処理がおこなわれたマルチメディアデータを受信するデータ受信工程と、前記データ受信工程により受信されたマルチメディアデータのうち変換処理が行われていないマルチメディアデータのデータ形式の変換処理を行う変換処理工程と、前記データ受信工程により受信されたマルチメディアデータのうち各マルチメディアデータ蓄積装置により変換処理が行われたマルチメディアデータと前記変換処理工程により変換処理が行われたマルチメディアデータとを統合して前記統合マルチメディアデータを作成する統合工程と、を含んだことを特徴とする。
また、本発明は、マルチメディアデータを蓄積する複数のマルチメディアデータ蓄積装置からマルチメディアデータを受信し、該受信した複数のマルチメディアデータを統合してマルチメディアデータ蓄積装置に蓄積されたデータ形式とは異なるデータ形式の統合マルチメディアデータを作成するマルチメディアデータ統合プログラムであって、各マルチメディアデータ蓄積装置に蓄積されたマルチメディアデータのうち統合マルチメディアデータの作成に使用されるマルチメディアデータを前記異なるデータ形式に変換する変換処理を各マルチメディアデータ蓄積装置とマルチメディアデータ統合装置とで分担して行う処理分担比率を算出する処理分担比率算出手順と、前記処理分担比率算出手順により算出された処理分担比率を各マルチメディアデータ蓄積装置に送信する処理分担比率送信手順と、前記処理分担比率送信手順により送信された処理分担比率に基づいて各マルチメディアデータ蓄積装置により部分的に変換処理がおこなわれたマルチメディアデータを受信するデータ受信手順と、前記データ受信手順により受信されたマルチメディアデータのうち変換処理が行われていないマルチメディアデータのデータ形式の変換処理を行う変換処理手順と、前記データ受信手順により受信されたマルチメディアデータのうち各マルチメディアデータ蓄積装置により変換処理が行われたマルチメディアデータと前記変換処理手順により変換処理が行われたマルチメディアデータとを統合して前記統合マルチメディアデータを作成する統合手順と、をコンピュータに実行させることを特徴とする。
かかる発明によれば、各マルチメディアデータ蓄積装置に蓄積されたマルチメディアデータのうち統合マルチメディアデータの作成に使用されるマルチメディアデータを蓄積されたデータ形式とは異なるデータ形式に変換する変換処理を各マルチメディアデータ蓄積装置とマルチメディアデータ統合装置とで分担して行う処理分担比率を算出し、算出した処理分担比率を各マルチメディアデータ蓄積装置に送信し、送信した処理分担比率に基づいて各マルチメディアデータ蓄積装置により部分的に変換処理がおこなわれたマルチメディアデータを受信し、受信したマルチメディアデータのうち変換処理が行われていないマルチメディアデータのデータ形式の変換処理を行い、受信したマルチメディアデータのうち各マルチメディアデータ蓄積装置により変換処理が行われたマルチメディアデータと変換処理を行ったマルチメディアデータとを統合して統合マルチメディアデータを作成するよう構成したので、統合マルチメディアデータの作成処理を適切に分散することができる。
本発明によれば、統合マルチメディアデータの作成処理を適切に分散するので、処理時間を短縮することができるという効果を奏する。
以下に添付図面を参照して、この発明に係るマルチメディアデータ統合装置、マルチメディアデータ統合方法およびマルチメディアデータ統合プログラムの好適な実施例を詳細に説明する。なお、本実施例では、「映像」には音声を含むものとし、音声を含まない映像を特に意味する場合には「画像」と記載することとする。
まず、本実施例に係る統合映像配信システムのシステム構成について説明する。図１は、本実施例に係る統合映像配信システムのシステム構成を示す図である。同図に示すように、この統合映像配信システムは、分散マルチメディア処理システムであり、統合サーバ１００と、１台以上のｍ台からなる映像蓄積サーバ２００1〜２００mとから構成されており、このシステムは映像要求端末１０から利用することが可能である。
映像要求端末１０と統合サーバ１００はインターネット２０にて接続され、統合サーバ１００と映像蓄積サーバ２００1〜２００mは専用ネットワーク３０にて接続されている。また、映像蓄積サーバ２００1〜２００mと統合サーバ１００は、共にメモリやハードディスクを持ち、プログラムの実行が可能なサーバであり、専用ネットワーク３０経由で情報の送受信が可能である。
この統合映像配信システムは、映像要求端末１０からの映像要求を統合サーバ１００が受信すると、その内容に基づいて各映像蓄積サーバ２００1〜２００mに蓄積された映像の一部を要求し、その結果を統合サーバ１００で一つの時間的に連続した映像として結合して生成し、映像要求端末１０に映像の生成を通知して配信を行うシステムである。
なお、ここでは説明の便宜上、１台の映像要求端末１０のみを示したが、この統合映像配信システムは多数の映像要求端末１０から使用することができる。また、映像要求端末１０としては、パソコン、携帯電話、ＰＤＡ，車載通信機器など情報処理機能を備えた各種情報端末を用いることができる。
ここで、図２を用いて蓄積映像の統合について説明する。同図に示すように、映像蓄積サーバ２００1〜２００mは監視カメラなどを用いて記録された時刻情報を持つ映像を、符号化した映像ファイルとしてハードディスクに保存している。
これらの映像ファイルは、数分〜数時間の記録映像で一つのファイルとなり、ある時刻におけるカメラの映像をファイルの先頭における記録開始時刻と要求された映像の時刻情報に基づいて映像ファイルを一意に特定し、要求された映像を映像ファイルから部分的に取得することが可能となっている。
統合サーバ１００は、部分的に取得した各映像蓄積サーバからの映像を順序に従って時間的に連続した一つの映像としてまとめあげる。例えば、３台の映像蓄積サーバから１０秒ずつの映像を受け取った場合、統合映像の０〜１０秒は、映像蓄積サーバ２００1の映像から、１０〜２０秒は、映像蓄積サーバ２００2の映像から、２０〜３０秒は、映像蓄積サーバ２００3の映像からなる映像となる。
また、映像の統合を行い、配信要求端末１０に配信可能な状態として映像を用意するに当たっては、映像を構成する画像と音声を、配信要求端末１０が再生可能な形式に変換する必要がある。
この変換を実行するには、配信要求端末１０がサポートする符号化方式、情報量（ビットレート）、画像解像度等の情報が必要である。また、画像、音声の符号化だけでなく、それらの符号化情報を取り扱うためのファイル形式も変換する必要がある。ここで、複数の蓄積映像に対して変換処理を施し、一つの映像として統合して再生成するまでに必要な変換統合処理を図３に示す。
同図に示すように、この変換統合処理では、映像蓄積サーバ２００1〜２００mから配信要求端末１０により要求された映像の時間区間を切り出し、画像と音声の分離（デマックス）を行う。
そして、画像に対しては復号化、解像度縮小、再符号化といった画像形式変換処理を行い、音声に対しては音声形式変換処理を行う。最後に、変換処理が行われた処理済画像および処理済音声を統合し、ファイル化して映像要求端末向け映像を生成する。
次に、本実施例に係る統合サーバ１００の構成について説明する。図４は、本実施例に係る統合サーバ１００の構成を示す機能構成図である。同図に示すように、この統合サーバ１００は、ネットワークＩ／Ｆ１１１と、配信要求受付部１１２と、Ｗｅｂインターフェース生成部１１３と、映像生成全体制御部１１４と、パラメータ解析部１１５と、フォーマット生成部１１６と、フォーマット蓄積部１１７と、映像蓄積サーバ通信部１１８と、処理可否判定部１１９と、処理パラメータ蓄積部１２０と、処理分担比率算出部１２１と、画像形式変換処理部１２２と、統合処理部１２３とを有する。
ネットワークＩ／Ｆ１１１は、インターネット２０を介して配信要求端末１０と通信する処理部であり、配信要求端末１０から映像配信要求を受信し、配信要求端末１０へ統合映像を送信する。また、このネットワークＩ／Ｆ１１１は、専用ネットワーク３０を介して映像蓄積サーバ２００1〜２００mと通信し、映像蓄積サーバ２００1〜２００mから映像データなどを受信する。
配信要求受付部１１２は、ネットワークＩ／Ｆ１１１を介して配信要求端末１０から映像配信要求を受け付ける処理部であり、映像配信要求を受け付けると映像を指定するためのポータルページを配信要求端末１０へ送信する。また、この配信要求受付部１１２は、統合サーバ１００によって生成された統合画像を配信要求端末１０へ送信する。
Ｗｅｂインターフェース生成部１１３は、配信要求受付部１１２が配信要求端末１０へ送信するポータルページを生成する処理部である。図５は、Ｗｅｂインターフェース生成部１１３が生成するポータルページの一例を示す図である。
同図に示すように、このポータルページインターフェースでは、利用者は最大４箇所の映像を時間長を指定して選択することができる。また、その映像が記録された時刻を指定して映像を取得することができる。ここでは、利用者は、３箇所の映像を各１０秒ずつ、記録映像のうち最新の情報を取得するように要求している。
映像生成全体制御部１１４は、統合サーバ１００全体の制御をおこなう処理部であり、具体的には、機能部間の制御の移動や機能部と記憶部の間のデータの受け渡しなどをおこなう。
パラメータ解析部１１５は、ポータルページインターフェースを用いて利用者が指定した取得映像に関する要求パラメータを解析する処理部であり、解析した結果をフォーマット生成部１１６に渡す。
フォーマット生成部１１６は、パラメータ解析部１１５により解析された要求パラメータに基づいて、統合映像のフォーマットを指定する映像統合フォーマットと映像蓄積サーバ２００1〜２００mに映像を要求する場合に使用する要求映像時刻フォーマットとを生成する処理部である。
また、このフォーマット生成部１１６は、統合サーバ１００と映像蓄積サーバ２００1〜２００mとの間の画像形式変換処理の処理分担比率が算出された後、映像蓄積サーバ２００1〜２００mに変換処理を要求する場合に、処理分担比率の通知に使用する処理分担比率通知フォーマットを含む変換処理リクエスト情報を生成する。
このフォーマット生成部１１６は、フォーマットを生成する際には、フォーマットの雛形をフォーマット蓄積部１１７から取得する。また、このフォーマット生成部１１６は、配信要求端末１０が要求する映像の符号化方式などを指定する映像形式指定フォーマットをフォーマット蓄積部１１７から取得する。
フォーマット蓄積部１１７は、映像統合フォーマット、要求映像時刻フォーマットおよび処理分担比率通知フォーマットの雛型ならびに映像形式指定フォーマットを記憶する記憶部である。これらのデータフォーマットには、いずれもＸＭＬ形式が用いられている。
図６は、映像統合フォーマットの一例を示す図である。この映像統合フォーマットは、最終的に生成する映像の内容を表している。同図において、clip要素が本フォーマットの最上位を表す。par要素は、「並列」を意味し、par要素の内部における最上位の各要素が同時に再生されるように映像を再構成する必要があることを意味している。また、次に続く二つのseq要素の内容が同時に再生されるように映像が再構成されることになる。
seq要素は、「逐次」を意味し、seq要素の内部における最上位の各要素を記述順に、逐次的に再生するように映像を再構成することを意味している。図６においては、video要素を三つ内包したseq要素があり、video要素の再生内容を記述順に三つ繋げて再生することを意味する。audio要素三つを内包したseq要素も同様である。
video要素、audio要素はそれぞれ取得するべき画像、音声を表している。この中においてsrc属性の値は、ＵＲＬで表記され、映像蓄積サーバの位置とその蓄積映像に対するアクセスを受け付けるための階層を表す。clip-begin、clip-end属性の値は時刻表記により、映像蓄積サーバに保持した記録映像における要求映像の開始時刻と終了時刻を示す。
図６の最初のvideo要素における表記では、サーバ「serv1.dmp.org」の「id1」階層でアクセスを受け付けている映像に対して、2004年4月1日の午前10時00分00秒から、同日の午前10時00分10秒までの記録映像を要求していることになる。これらの説明から図６の例は、３箇所のカメラの映像を各１０秒ずつ取得して逐次的に再生させることにより３０秒の映像とし、その画像と音声を同期させて再生するような映像を再構成しようとしていることがわかる。
図７は、要求映像時刻フォーマットの一例を示す図である。この要求映像時刻フォーマットは、映像統合フォーマットの部分要素であり各映像蓄積サーバに対して要求する映像や音声の情報を表している。各要素と属性の内容は、図６の映像統合フォーマットと同様である。
図８は、映像形式指定フォーマットの一例を示す図である。この映像形式指定フォーマットは、配信要求端末１０が要求する映像の符号化方式をはじめとする情報を表している。codectype要素が本フォーマットの最上位を表す。video要素は、配信要求端末１０が要求する画像形式を示す。
その中におけるcodec属性の値は、画像の符号化方式を示す。res属性の値は、解像度を示す。ＱＣＩＦとは176x144の解像度を示す。fps属性の値は、画像のフレームレートを示す。bps属性の値は画像のビットレート（情報量）を示す。
audio要素は、配信要求端末１０が要求する音声方式を示す。その中におけるcodec属性の値は、音声の符号化方式を示し、「amr nb」は、第三世代移動体通信(３Ｇ)で利用され、標準化団体の３ＧＰＰ(3rd Generation Partnership Project)が策定を行った音声コーデックＡＭＲ−ＮＢ(Adaptive Multi-Rate Narrow Band)の指定である。bps属性の値は、音声のビットレートを示す。
図９は、処理分担比率通知フォーマットの一例を示す図である。同図において、getoriginalvideo要素のlength属性の値は、未処理映像のまま統合サーバ１００が受け取る映像長をミリ秒(ｍｓ)単位で記述したものである。
なお、変換処理リクエスト情報には、処理分担比率通知フォーマット以外に要求映像時刻フォーマットおよび映像形式指定フォーマットも含まれる。また、映像蓄積サーバ２００1〜２００m側から画像／音声データをネットワーク伝送するために必要な接続を、変換要求のネットワーク接続とは別に確立する必要があるため、必要なポート番号の情報なども変換処理リクエスト情報に含まれる。
映像蓄積サーバ通信部１１８は、映像蓄積サーバ２００1〜２００mと通信する処理部であり、映像蓄積サーバ２００1〜２００mに要求映像時刻フォーマットおよび映像形式指定フォーマットなどを送信し、映像蓄積サーバ２００1〜２００mから映像データなどを受信する。この映像蓄積サーバ通信部１１８は、映像生成全体制御部１１４が生成するスレッドである。
処理可否判定部１１９は、配信要求端末１０から要求された映像を生成できるか否かを判定する処理部である。この処理可否判定部１１９は、例えば、配信要求端末１０から要求された時刻の映像が取得できない場合には、配信要求端末１０にその旨をＨＴＭＬページとして通知する。
処理パラメータ蓄積部１２０は、統合サーバ１００の処理能力を表わす統合サーバ処理パラメータフォーマットを記憶する記憶部である。統合サーバ処理パラメータフォーマットは、処理分担比率の算出を行うために統合サーバ１００が保持する情報である。
図１０は、統合サーバ処理パラメータフォーマットの一例を示す図である。同図において、integrateserverprofile要素が本フォーマットの最上位を表す。coefficient要素は、統合サーバ１００における蓄積映像に対する処理の能力を表し、network要素は、統合サーバ１００と映像蓄積サーバ２００1〜２００m間の専用ネットワーク３０に関する情報を表す。なお、各要素中の各属性の値は、後の処理分担比率の算出の説明の際に適宜説明する。
処理分担比率算出部１２１は、統合サーバ１００と映像蓄積サーバ２００1〜２００mとの間で画像形式変換処理を分担して行う処理分担比率を算出する処理部である。この処理分担比率算出部１２１が、統合サーバ１００と映像蓄積サーバ２００1〜２００mとの間での画像形式変換処理の適切な処理分担比率を算出することによって、画像形式変換処理の処理速度を向上することができ変換処理全体の処理速度を向上することができる。なお、本実施例では、音声形式の変換処理は映像蓄積サーバ２００1〜２００mだけで行うものとする。また、処理分担比率の算出の詳細については後述する。
画像形式変換処理部１２２は、処理分担比率算出部１２１により算出された分担比率に基づいて映像蓄積サーバ２００1〜２００mから送られてくる未変換画像の画像形式変換処理を行う処理部である。
統合処理部１２３は、映像蓄積サーバ通信部１１８によって受信された変換処理済画像および変換処理済音声ならびに画像形式変換処理部１２２によって画像形式が変換された画像を統合し、統合映像を生成する処理部である。
次に、本実施例に係る映像蓄積サーバ２００1〜２００mの構成について説明する。なお、これらの映像蓄積サーバ２００1〜２００mはいずれも同様の構成を有するので、ここでは映像蓄積サーバ２００1を例にとって説明する。
図１１は、本実施例に係る映像蓄積サーバ２００1の構成を示す機能構成図である。同図に示すように、この映像蓄積サーバ２００1は、ネットワークＩ／Ｆ２０１と、パラメータ要求受付部２０２と、フォーマット解析部２０３と、映像ファイル検索部２０４と、映像蓄積部２０５と、処理パラメータ蓄積部２０６と、フォーマット生成部２０７と、フォーマット蓄積部２０８と、変換要求受付部２０９と、時間切り出し画像音声分離部２１０と、画像形式変換処理部２１１と、音声形式変換処理部２１２とを有する。
ネットワークＩ／Ｆ２０１は、専用ネットワーク３０を介して統合サーバ１００と通信する処理部であり、統合サーバ１００から映像送信要求などを受信し、統合サーバ１００に映像データなどを送信する。
パラメータ要求受付部２０２は、統合サーバ１００から送られてくる要求映像時刻フォーマットと映像形式指定フォーマットをネットワークＩ／Ｆ２０１を介して受け付け、フォーマット解析部２０３に渡す処理部である。
フォーマット解析部２０３は、パラメータ要求受付部２０２から要求映像時刻フォーマットと映像形式指定フォーマットを受け取り、受け取ったフォーマットを解析する処理部である。
映像ファイル検索部２０４は、フォーマット解析部２０３の解析に基づいて、統合サーバ１００が要求する映像を映像蓄積部２０５から検索する処理部である。
映像蓄積部２０５は、統合映像配信システムの映像データを蓄積する記憶部である。この映像蓄積部２０５に記憶された映像データから利用者により指定された映像データが切り出されて統合サーバ１００に送信される。
処理パラメータ蓄積部２０６は、映像蓄積サーバ２００1の処理能力に関する情報を記憶した記憶部である。なお、この処理パラメータ蓄積部２０６は、図９に示した統合サーバ処理パラメータフォーマットと同形式のデータを記憶する。
フォーマット生成部２０７は、統合サーバ１００から送信された要求映像時刻フォーマットに応答するための処理パラメータレスポンスフォーマットを生成する処理部である。図１２は、処理パラメータレスポンスフォーマットの一例を示す図である。この処理パラメータレスポンスフォーマットは、統合サーバ１００に対する処理パラメータの調査結果を表している。
status要素が本フォーマットの最上位を表す。search要素は、映像ファイルの検索結果を示す。その中のresult属性の値は、映像ファイルが存在したかどうかを示す。videosrc要素は、蓄積映像サーバ２００1における蓄積映像の情報を示し、coefficient要素は、映像蓄積サーバ２００1における蓄積映像に対する処理の能力を表す。各要素中の各属性の値は、後の処理分担比率の算出について説明する際に適宜説明する。
フォーマット蓄積部２０８は、処理パラメータレスポンスフォーマットの雛型を記憶する記憶部である。フォーマット生成部２０７は、このフォーマット蓄積部２０８に記憶された雛型を用いて処理パラメータレスポンスフォーマットを作成する。
変換要求受付部２０９は、統合サーバ１００から送られてくる変換処理リクエスト情報を受け付け、要求された映像データに対して映像形式指定フォーマットで指定された変換処理を行って統合サーバ１００に送信する処理部である。
すなわち、この変換要求受付部２０９は、フォーマット解析部２０３を用いて変換処理リクエスト情報を解析し、要求された映像ファイルを時間切り出し画像音声分離部２１０を用いて映像蓄積部２０５から映像を取得して画像と音声を分離する。そして、画像形式変換処理部２１１および音声形式変換処理部２１２を用いて変換処理を行う。
ここで、変換処理を開始する際は、映像蓄積サーバ２００1から変換処理リクエストのポート番号情報を基にして、画像／音声データを伝送するためのネットワーク接続を統合サーバ１００の映像蓄積サーバ通信部１１８と新規に確立して、伝送を開始する。
このとき、データ伝送に用いるデータ構造は図１３のようになる。図１３に示すように、送信可能な状態になったデータから順次そのサイズと種別IDを付加して統合サーバ１００に送信する。ただし、伝送データの送信順は決まっている。最初に統合サーバ１００が変換処理を行う未処理画像、次に処理済音声、最後に映像蓄積サーバ１００側で変換処理が行われた処理済画像である。
未処理画像の送信中は、処理済音声の送信は待機する。すべてのデータ伝送が終了したことを映像蓄積サーバ２００1から統合サーバ１００に通知するため、最終データにはサイズの部分に「０」が入れられる。
時間切り出し画像音声分離部２１０は、変換要求受付部２０９の指示にしたがって、変換処理リクエスト情報で指定された映像を映像蓄積部２０５から切り出し、切り出した映像の画像と音声を分離する処理部である。
画像形式変換処理部２１１は、時間切り出し画像音声分離部２１０によって分離された画像のうち処理分担比率によって指定された後半部分の画像の画像形式変換処理を行う処理部である。
音声形式変換処理部２１２は、時間切り出し画像音声分離部２１０によって映像から分離された音声の音声形式変換処理を行う処理部である。この音声形式変換処理部２１２は、全ての音声の変換処理を行う。
次に、本実施例に係る統合映像配信システムの処理手順について説明する。図１４は、本実施例に係る統合映像配信システムの処理手順を示すフローチャートである。なお、図１４においては、左から映像要求端末１０、統合サーバ１００、映像蓄積サーバ２００1〜２００mと区分けを行い、どの部分で処理フローにおける各ステップの処理を行っているかを示す。区分けをまたがっている処理ステップは、互いのサーバもしくは端末による連携処理であり、その際にはなんらかのネットワーク伝送が発生していることになる。
図１４に示すように、この統合映像配信システムは、映像要求端末１０からの配信要求を統合サーバ１００が受け付け（ステップＳ１０１）、統合サーバ１００が映像蓄積サーバ２００1〜２００mから必要な情報を入手して画像形式変換処理の処理分担比率を算出する（ステップＳ１０２）。
そして、算出した処理分担比率に基づいて統合サーバ１００と映像蓄積サーバ２００1〜２００mが映像の変換を分担して行い、統合サーバ１００が映像全体を統合して統合映像を生成し（ステップＳ１０３）、映像要求端末１０に処理結果を通知する（ステップＳ１０４）。
このように、この統合映像配信システムでは、統合サーバ１００が画像データ形式変換処理の処理分担比率を算出し、算出した処理分担比率に基づいて統合サーバ１００と映像蓄積サーバ２００1〜２００mが映像の変換を分担して行うことによって、映像形式変換処理を効率良く行うことができる。
次に、図１４に示した各処理ステップの詳細について説明する。まず、ステップＳ１０１の配信要求の受付処理について説明する。この配信要求の受付処理は、統合サーバ１００がネットワークＩ／Ｆ１１１を介して配信要求端末１０からアクセスを受け付け、Ｗｅｂ経由でインターフェースを提供することにより、配信要求端末１０が要求する映像についての情報を取得するステップである。図１５は、配信要求の受付処理の処理手順を示すフローチャートである。
同図に示すように、まず、映像要求端末１０が、インターネット２０を介して統合サーバ１００に対して映像配信のポータルページを要求する（ステップＳ２０１）。すると、統合サーバ１００の配信要求受付部１１２が要求を受信し（ステップＳ２０２）、Ｗｅｂインターフェース生成部１１３により生成したポータルページをレスポンスとして送信する（ステップＳ２０３〜ステップＳ２０４）。
そして、映像要求端末１０は取得したポータルページのインターフェースを用いて図５に示したようにパラメータを選択して決定し（ステップＳ２０５〜ステップＳ２０６）、結果を送信する（ステップＳ２０７）。
すると、統合サーバ１００の配信要求受付部１１２は、配信要求端末１０からの結果を受信し、配信要求受付処理を終了する（ステップＳ２０８）。なお、後に処理結果の通知ステップで示すように、最終的には映像要求端末１０で表示可能な統合映像が、統合サーバ１００から配信要求端末１０に送信される。
次に、図１４に示したステップＳ１０２の処理分担比率の算出処理について説明する。このステップにおいて統合サーバ１００は、実際に映像の取得や変換統合処理を実行する前に、映像取得対象の各映像蓄積サーバから必要な情報を取得し、各サーバで行う適当な処理の比率を事前に算出する。そしてこのことにより効率的な処理を実現し、映像再生成に要する時間の短縮を実現している。
図１６は、処理分担比率の算出処理の処理手順を示すフローチャートである。なお、図１６における映像蓄積サーバ２００1〜２００mは複数存在することに注意が必要である。同図に示すように、まず、統合サーバ１００の映像生成全体制御部１１４は配信要求受付部１１２を介して、配信要求端末１０からの取得映像に関する要求パラメータを取得する（ステップＳ３０１）。
そして、パラメータ解析部１１５とフォーマット生成部１１６により要求パラメータを基に映像統合フォーマット（図６）と要求映像時刻フォーマット（図７）を生成する（ステップＳ３０２）。また、フォーマット蓄積部１１７から映像形式指定フォーマット（図８）を取得する。
そして、統合サーバ１００の映像生成全体制御部１１４が、映像蓄積サーバ通信部１１８を映像蓄積サーバの数ｍだけスレッドとして生成し、各映像蓄積サーバ通信部１１８が映像蓄積サーバ２００1〜２００mに対してネットワーク接続を確立する。
そして、各映像蓄積サーバ通信部１１８が、処理分担比率の算出パラメータを取得するために、先に生成した要求映像時刻フォーマットと映像形式指定フォーマットをパラメータリクエスト情報として映像蓄積サーバ２００1〜２００mに対して送信する（ステップＳ３０３）。
すると、ネットワークＩ／Ｆ２０１を介して要求映像時刻フォーマットと映像形式指定フォーマットを受信した映像蓄積サーバ２００1〜２００mのパラメータ要求受付部２０２は、受信したフォーマットをフォーマット解析部２０３で解析する（ステップＳ３０４）。
そして、映像ファイル検索部２０４にて映像蓄積部２０５にアクセスし、対象となる時間を含む要求映像区間の存在を確認する（ステップＳ３０５）。そして、受信した映像形式指定フォーマットに対応する自サーバの処理能力を処理パラメータ蓄積部２０６から取得し、その後、フォーマット生成部２０７にてフォーマット蓄積部２０８から取得したフォーマットを基にして、統合サーバ１００にレスポンスするための処理パラメータレスポンスフォーマット（図１２）を生成し（ステップＳ３０６）、統合サーバ１００へ送信する（ステップＳ３０７）。
すると、統合サーバ１００の映像蓄積サーバ通信部１１８は、処理パラメータレスポンスフォーマットを受信し（ステップＳ３０８）、各映像蓄積サーバ通信部１１８の受信結果を映像生成全体制御部１１４で一度とりまとめる（ステップＳ３０９）。
そして、統合サーバ１００の処理可否判定部１１９において処理可能性の判定を行う（ステップＳ３１０〜ステップＳ３１１）。例えば、配信要求端末１０から要求された時刻の映像が取得できない場合をはじめとして、処理できない内容であると判明した場合は、全体の処理を終了して配信要求端末１０にその結果をＨＴＭＬページとして通知する（ステップＳ３１２）。
一方、処理可能性の確認ステップにおいて処理可能と判断した場合は、自統合サーバ１００の処理パラメータを処理パラメータ蓄積部１２０から定められたフォーマット（図１０）にて取得する（ステップＳ３１３）。
そして、取得した映像蓄積サーバ２００1〜２００mからの処理パラメータレスポンスフォーマットからパラメータ解析部１１５を通して得られる蓄積映像サーバ２００1〜２００mの処理パラメータと併せて、処理分担比率算出部１２１にて処理分担比率の算出を行う（ステップＳ３１４）。
このように、処理分担比率算出部１２１が映像蓄積サーバ２００1〜２００mから取得した処理パラメータレスポンスフォーマットおよび自統合サーバ１００の処理パラメータに基づいて処理分担比率を算出することによって、映像形式変換処理を効率良く分散処理することができる。
ここで、映像蓄積サーバ２００1〜２００mと統合サーバ１００における処理分担比率の算出について詳細に説明する。図１７は、映像蓄積サーバ２００1〜２００mと統合サーバ１００における処理分担を説明するための説明図である。
同図に示すように、映像蓄積サーバ２００1〜２００mは変換要求受付部２０９で実際の処理を受け付けた後、統合サーバ１００からの要求映像区間を時間切り出し画像音声分離部２１０で切り出して画像と音声を分離する際にこの一つの画像区間を分割し、一方の復号化〜再符号化の処理を映像蓄積サーバ２００1〜２００mの画像形式変換処理部２１１で行い、もう一方の復号化〜再符号化までの処理を統合サーバ１００側の画像形式変換処理部１２２で行うものである。
なお、音声の変換はすべて映像蓄積サーバ２００1〜２００m側の音声変換処理部２１２で行う。またこのことより、分割した画像のうち、前半部分は未処理画像の状態で統合サーバ１００に送信し、統合サーバ１００側で形式変換処理を行い、後半部分はあらかじめ映像蓄積サーバ２００1〜２００mで形式変換処理を行った後、処理済画像の状態で統合サーバ１００に送信を行うことになる。
そして、変換処理された画像と音声は統合サーバ１００の統合処理部１２３で統合される。ここで、それぞれの場所で形式変換が行われた画像は、図１８のように再構成される。すなわち、切り出された映像のうちの画像は１点で分割され、前半の画像は統合サーバ１００で変換され、後半の画像は映像蓄積サーバ２００1〜２００mで変換され時間軸で結合されて連続した一つの画像が作成される。
また、処理分担比率の算出とは図１８の中で示されるように、各映像蓄積サーバにおける画像の処理分割点を、取得した処理パラメータを基に、すべての処理に要する時間が最も短くなるように適切に決定することを表す。
次に、処理分担比率の算出手法について説明する。これまでのステップで与えられるパラメータと、これにより求めるべきパラメータは図１９のようになる。以下、各パラメータについて説明する。
統合対象蓄積サーバ数ｍは、何台の映像蓄積サーバの映像を統合するかを表わす。例えば、ｍ＝３のときは、３ヶ所の映像蓄積サーバから映像を取得し、時間順に結合することによって一つの映像とすることを意味する。このパラメータは、図６に示した映像統合フォーマットにおけるvideo要素の総数である。
統合順映像蓄積サーバ番号ｎ(１≦ｎ≦ｍ)は、ｍヶ所からなる映像蓄積サーバの中の一つの映像蓄積サーバの番号、もしくは映像の番号を示す。また、ｎの値により、統合結果の映像の再生順が決定される。
例えば、ｍ＝３のとき、統合時に再生順序となるように映像蓄積サーバは統合順映像蓄積サーバ番号として１〜３の値が与えられ、対象の映像蓄積サーバに依存するパラメータは以後Ｘ(n)の形式で表す。このパラメータは、図６に示した映像統合フォーマットにおけるvideo要素及びaudio要素において、これらの要素が出現した順番である。
変換前画像ビットレートＶbit(n)は、映像蓄積サーバにて蓄積されている画像形式の情報量を示す。各映像蓄積サーバにて蓄積している画像形式の情報量は異なるため、ｎに依存する。これは、図１２に示した処理パラメータレスポンスフォーマットおけるvideosrc要素内のbps属性の値である。
変換後画像ビットレートＶ'bit(n)は、配信要求端末１０への配信時の映像の情報量を示す。例えば、配信要求端末１０は機能の制限により、情報量の上限が定められているため、必要に応じて蓄積された映像から情報量の削減を行う。これは、図８に示した映像形式指定フォーマットにおけるvideo要素内のbps属性の値である。
変換後音声ビットレートＡ'bit(n)は、映像蓄積サーバにて蓄積されている映像の音声を映像蓄積サーバで変換した後の、音声の情報量を示す。音声変換処理は、統合サーバ１００では行わず、各映像蓄積サーバのみで行う。
この音声変換処理では、変換後画像ビットレートと同じく、配信要求端末１０の再生形式を満たすために、音声の形式変換時に情報量の削減を行う。これは、図８に示した映像形式指定フォーマットにおけるaudio要素内のbps属性の値である。
変換前画像フレームレートＦrate(n)は、変換前の画像のフレームレート（１秒間当たりに表示する画像の枚数）を示す。これは、図１２に示した処理パラメータレスポンスフォーマットにおけるvideosrc要素内のfps属性の値である。
demux係数Ｃdemux(n)は、統合順映像蓄積サーバ番号ｎにおけるデマックス処理に要する時間と再生時間を比で表したものである。ここで、デマックス処理とは画像と音声が納められている単一のファイルから、画像部分と音声部分を分離して取り出す処理を示す。
例えば、Ｃdemux(3)=0.1のとき、統合順映像蓄積サーバ番号が「３」の対象ファイルに対して、再生長１０秒の映像をデマックスするのに１秒要することを表す。これは、図１２に示した処理パタメータレスポンスフォーマットにおけるcoefficient要素内のdemux属性の値である。
画像変換処理係数Ｃvideo(n)は、統合順映像蓄積サーバ番号ｎにおける画像変換処理に要する時間と再生時間を比で表したものである。画像変換処理とは、各映像蓄積サーバにおける画像形式の復号化、配信要求端末１０の解像度への変換、配信要求端末１０に対応した画像形式の再符号化の処理を合わせたものを表す。
例えば、Ｃvideo(2)=0.5のとき、統合順映像蓄積サーバ番号が「２」の対象画像に対して、再生長１０秒の画像を変換するのに５秒要することを表す。これは、図１２に示した処理パタメータレスポンスフォーマットにおけるcoefficient要素内のvideo属性の値である。
音声変換処理係数Ｃaudio(n)は、統合順映像蓄積サーバ番号ｎにおける音声変換処理に要する時間と再生時間を比で表したものである。音声変換処理とは、サンプリング周波数や量子化ビット数の変換、再生方式の変換処理を表す。
例えば、Ｃaudio(1)=0.3のとき、統合順映像蓄積サーバ番号が「１」の対象音声に対して、再生長１０秒の音声を変換するのに３秒要することを表す。これは、図１２に示した処理パタメータレスポンスフォーマットにおけるcoefficient要素内のaudio属性の値である。
統合処理係数Ｃintegrate(n)は、統合順映像蓄積サーバ番号ｎにおける統合処理に要する時間と再生時間を比で表したものである。ここで、統合処理とは、複数の画像や音声を再生順に、配信要求端末１０が取得、表示することが可能なファイル形式にまとめる処理を表す。
例えば、Ｃintegrate(3) =0.25のとき、統合順映像蓄積サーバ番号が「３」の対象映像に対して、再生長１０秒の統合映像を生成するのに２．５秒要することを表す。これは、図１０に示した統合サーバ処理パラメータフォーマットにおけるcoefficient要素内のintegrate属性の値である。
全要求映像長Ｌall(n)は、統合順映像蓄積サーバ番号ｎに対して、配信要求端末１０から要求された再生映像長を示す。これは、図６に示した映像統合フォーマットもしくは図７に示した要求映像時刻フォーマットにおけるvideo要素内のclip-begin属性とclip-end属性の値の差である。
統合サーバ処理映像長ＬI(n)は、統合順映像蓄積サーバ番号ｎに対して、配信要求端末１０から要求された再生映像長のうち、統合サーバ１００側で画像変換処理を行う再生映像長を示す。これが今回求める、値が未知のパラメータである。
画像変換処理係数ＣvideoIは、統合サーバ１００における画像変換処理に要する時間と再生時間を比で表したものである。例えば、ＣvideoI=0.4のとき、各映像蓄積サーバから引き受けた画像に対して、再生長１０秒の画像を変換するのに４秒要することを表す。これは、図１０に示した統合サーバ処理パラメータフォーマットにおけるcoefficient要素内のvideo属性の値である。
実効ネットワーク帯域Ｎは、統合サーバにおけるネットワークの単位時間当たりに通信可能な情報量を、映像蓄積サーバの数で割ったものである。これにより、各映像蓄積サーバは帯域Ｎで統合サーバ１００と通信できることを示している。これは、図１０に示した統合サーバ処理パラメータフォーマットにおけるnetwork要素内のbandwidth属性の値である。
これらのパラメータと、図２０に示す式（１）から式（７）を用いて、統合対象蓄積サーバ数ｍにおける統合サーバ処理映像長ＬI(n)(１≦ｎ≦ｍ)を決定する。式（１）から式（７）は、実際に行われる各処理の実行手順をモデル化して数式で表したものである。
なお、本実施例のモデル化においては、いくつか留意すべき点がある。一つは、並行処理の存在である。例えば、映像蓄積サーバ２００1〜２００mにおいては、ある時刻には画像／音声分離の処理と音声形式変換処理、画像形式変換処理が並行して行われている。
また、全体を見ると、各映像蓄積サーバで行われる処理は互いに依存関係がないため、完全に独立した並行処理である。また、ネットワーク伝送処理とＣＰＵ、メモリを使用する計算処理も並行して処理が行われる。
一方では、未処理画像送信、処理済音声送信、処理済画像送信は同時には行われない。この場合は、前段の処理が終了するまで後段の処理は待合の関係となる。例えば、未処理画像を送信している間は、送信可能な処理済音声データが既に存在していても送信は行われず、未処理画像の送信終了後に送信開始となる。
また、処理の待合には前段の処理が終了しない場合だけではなく、処理に必要なデータが揃うまで待つという場合がある。例えば、画像と音声が同期するように統合処理を行うためには、画像と音声の部分要素を相互に挿入する必要があるため、開始部分の処理済画像だけでなく処理済音声が必要となり、最初の処理済音声が届くまで処理を開始することができない。
ただし、依存関係における処理については、データの伝送は最小単位で行われるため、最初の処理に必要なデータが揃えば処理を開始し、ストリーム的に処理をすることが可能である。例えば、画像と音声の分離のステップにおいては、対象区間におけるすべての画像と音声の分離を待つことなく、分離された画像や音声は次の処理に渡される。
また、映像蓄積サーバ２００1〜２００mからデータが送信される時刻と、統合サーバ１００がそのデータを受信する時刻は同一であるとする。すなわち、ネットワーク伝送による通信の遅延は発生しないものと仮定している。各式においては、これらのことが考慮されている。以下、各式について説明する。
式（１）に示される統合サーバ全処理累計時間ＴI(n)は、統合サーバ１００において、全処理の開始時を「０」としたときの、統合順映像蓄積サーバ番号ｎに対する統合処理の終了までに要する時間である。
ＴI(n)は、並行して行われる三つの処理の処理時間である映像蓄積サーバ処理時間ＴS(n)、統合サーバ画像変換処理時間ＴIconvV(n)または統合サーバ統合処理累計時間Ｔintegrate(n)のいずれかであり、より遅い処理に要する時間と等しくなる。
なぜならば、映像蓄積サーバ２００1〜２００mと統合サーバ１００は並列処理を行っているため、基本的には、どちらかの処理の遅い時間、すなわち映像蓄積サーバ処理時間ＴS(n)または統合サーバ画像変換処理時間ＴIconvV(n)のいずれかになる。ここで、統合処理も並列に行われているため、統合サーバ１００での最後のデータについての統合処理は無視できるものとしている。ただし、映像蓄積サーバ２００nの画像データと音声データは全て揃っていて、統合処理だけを行う必要がある場合もあるので、その場合には、統合サーバ統合処理累計時間Ｔintegrate(n)となる。
式（２）に示される映像蓄積サーバ処理時間ＴS(n)は、統合順映像蓄積サーバ番号ｎの映像蓄積サーバ２００nにおいて、全処理の開始時を「０」としたときの、映像蓄積サーバ２００n側で行われるすべての処理と、すべての処理結果のデータ伝送が終了するまでの時間である。
ＴS(n)は、音声データの変換処理およびそのデータの送信に要する時間ＴSaudio(n)と映像蓄積サーバ２００n側における処理済画像の送信に要する時間ＴSsendV(n)との和からなる時間、または、映像蓄積サーバ２００n側における画像変換処理に要する時間ＴSconvV(n)のいずれかであり、より遅い処理に要する時間と等しくなる。
ここで、前者が大きい場合とは、音声変換処理により多くの時間がかかる場合であり、この場合には、音声データ送信後、処理済画像データを送信する必要があるので、処理済画像の送信に要する時間ＴSsendV(n)が加えられている。一方、後者が大きい場合とは、画像変換処理により多くの時間がかかる場合であり、この場合には、画像変換を行いながら処理済画像データを送信するので、処理済画像の送信に要する時間ＴSsendV(n)は加える必要がない。
式（３）に示される統合サーバ画像変換処理時間ＴIconvV(n)は、処理の開始時を「０」としたときの、統合サーバ１００側での統合順映像蓄積サーバ番号ｎに対する画像変換処理が終了するまでの時間である。
ＴIconvV(n)は、統合順映像蓄積サーバ番号が「n-1」までの対象画像に対する統合サーバ１００側での画像変換処理に要した時間ＴIconvV(n-1)と、統合順映像蓄積サーバ番号ｎの対象画像に対する統合サーバ１００側での画像変換処理に要する時間ＬI(n)・ＣvideoIの和である。
式（４）に示される統合サーバ統合処理累計時間Ｔintegrate(n)は、統合サーバ１００において、統合順映像蓄積サーバ番号ｎの映像に対して全処理の開始時を「０」としたときの、統合処理部分の終了までに要する時間である。これは、統合処理の開始後にデータの待合はないと仮定して算出される。
Ｔintegrate(n)は、統合順映像蓄積サーバ番号ｎの対象画像、音声情報に対しての統合処理が開始できる時刻と、それに要する時間Ｌall(n)・Ｃintegrate(n)の和である。ここで、処理が開始できる時刻とは、統合順映像蓄積サーバ番号が「n-1」までの対象画像、音声情報に対しての統合処理に要した時間ＴI(n-1)、または、統合サーバ１００側で画像変換処理を行う再生映像長部分についてのデマックスがすべて終了し、最後のデータが送信されるまでに要した時間（ＬI(n)・Ｃdemux(n)＋Ｖbit(n)／（Ｆrate(n)・Ｎ））のいずれかであり、より遅い処理に要する時間と等しくなる。
式（５）に示される映像蓄積サーバ音声変換処理時間ＴSaudio(n)は、統合順映像蓄積サーバ番号ｎの映像蓄積サーバ２００nにおいて、音声変換処理とその処理済音声データの送信に要する時間である。
ＴSaudio(n)は、統合順映像蓄積サーバ番号ｎにおける、対象部分の音声の変換に要する時間Ｌall(n)・Ｃaudio(n)、または、対象部分のデマックスを行った後のデータ送信に要する時間（ＬI(n)・Ｃdemux(n)＋Ｖbit(n)／（Ｆrate(n)・Ｎ）＋Ｌall(n)・Ａ'bit(n)／Ｎ）のいずれかであり、より遅い処理に要する時間と等しくなる。すなわち、音声変換処理時間が大きい場合か、または、デマックス後に変換前画像データと変換後音声データを送信する時間が大きい場合かのいずれかである。
式（６）に示される映像蓄積サーバ処理画像伝送時間ＴSsendV(n)は、統合順映像蓄積サーバ番号ｎにおける映像蓄積サーバ２００nにおいて、画像変換処理を行ったデータを統合サーバ１００に伝送するために要する時間を示す。
ＴSsendV(n)は、映像蓄積サーバ２００nにおいて、画像変換処理済データのデータ量（Ｌall(n)−ＬI(n)）・Ｖ'bit(n)を実効ネットワーク帯域Ｎで割った値である。
式（７）で示される映像蓄積サーバ画像変換処理時間ＴSconvV(n)は、映像蓄積サーバ２００n側における画像変換処理に要する時間である。ＴSconvV(n)は、統合順映像蓄積サーバ番号ｎにおける映像蓄積サーバ２００n側処理の画像変換処理の開始時刻ＬI(n)・Ｃdemux(n)と、処理する画像の変換処理に要する時間（Ｌall(n)−ＬI(n)）・Ｃvideo(n)の和で示す。ここで、映像蓄積サーバ２００n側処理の画像変換処理の開始時刻とは対象画像の映像蓄積サーバ２００n側処理のデマックス開始時刻である。
このとき、すべての処理に要する時間は、ｆ(ＬI(1)・・・ＬI(m))=ＴI(m)とすることができる。よって、最適な処理分担処理比率を算出することとは、MIN(ＴI(m))を満たすようなパラメータＬI(1)・・・ＬI(m)を決定する問題とすることができる。これは、上記で与えたパラメータと式により、共役勾配法などの反復法を利用して求めることができる。
以下、具体的に各パラメータの値が決まっている例を示す。統合対象蓄積サーバ数が「３」の場合、ＴI(3)の値を小さくするようなＬI(1)、ＬI(2)、ＬI(3)の値を求めることになる。また、例を分かりやすくするために、単位があるパラメータについてはそれも示す。
各パラメータの値は以下のとおりである。
統合対象蓄積サーバ数：ｍ＝３
変換前画像ビットレート(bps)：Ｖbit(1)＝Ｖbit(2)＝Ｖbit(3)＝384000
変換後画像ビットレート(bps)：Ｖ'bit(1)＝Ｖ'bit(2)＝Ｖ'bit(3)＝64000
変換後音声ビットレート(bps)：Ａ'bit(1)＝Ａ'bit(2)＝Ａ'bit(3)＝8000
変換前画像フレームレート(fps)：Ｆrate(1)＝Ｆrate(2)＝Ｆrate(3)＝15
demux係数：Ｃdemux(1)＝Ｃdemux(2)＝Ｃdemux(3)＝0.1
画像変換処理係数：Ｃvideo(1)＝Ｃvideo(2)＝Ｃvideo(3)＝0.33
音声変換処理係数：Ｃaudio(1)＝Ｃaudio(2)＝Ｃaudio(3)＝0.23
統合処理係数：Ｃintegrate(1)＝Ｃintegrate(2)＝Ｃintegrate(3)＝0.01
全要求映像長(ｍｓ)：Ｌall(1)＝Ｌall(2)＝Ｌall(3)＝10000
統合サーバ処理映像長(ｍｓ)：ＬI(1)、ＬI(2)、ＬI(3) いずれも未知数
画像変換処理係数：ＣvideoI=0.33
実効ネットワーク帯域(bps)：Ｎ＝20000000
また、単位については、次の通りとなる。
bps：ネットワーク帯域もしくは動画像において、１秒間に転送できるビット量(bits per second)
fps：動画像において、１秒間に表示する画像の枚数(frame per second)
ｍｓ：ミリ秒(millisecond)
これらのパラメータを式(1)〜(7)に代入すると、以下の式(a)〜(f)が得られる。
ＴI(3)＝MAX(ＴS(3)，0.33ＬI(1)＋0.33ＬI(2)＋0.33ＬI(3)，MAX(ＴI(2)，0.1ＬI(3))＋100) ・・・(a)
ＴS(3)＝MAX(MAX(2300，0.1ＬI(3)＋4)＋32−0.0032ＬI(3)，−0.23ＬI(3)＋3300) ・・・(b)
ＴI(2)＝MAX(ＴS(2)，0.33ＬI(1)＋0.33ＬI(2)，MAX(ＴI(1)，0.1ＬI(2))＋100) ・・・(c)
ＴS(2)＝MAX(MAX(2300，0.1ＬI(2)＋4)＋32−0.0032ＬI(2)，−0.23ＬI(2)＋3300) ・・・(d)
ＴI(1)＝MAX(ＴS(1)，0.33ＬI(1)，0.1ＬI(1)＋100) ・・・ (e)
ＴS(1)＝MAX(MAX(2300，0.1ＬI(1)＋4)＋32−0.0032ＬI(1)，−0.23ＬI(1)＋3300) ・・・(f)
さらに、式(a)に対して、(b)〜(f)を順次代入すると、ＴI(3)とＬI(1)〜ＬI(3)が定まっていない多項式となる。また、制約条件0≦ＬI(n)≦10000 (1≦n≦3)が存在する。このとき統合サーバ１００ですべての画像変換処理を行う場合、すなわちＬI(1)＝ＬI(2)＝ＬI(3)＝10000のときはＴI(3)=9900となる。また、あらかじめ映像蓄積サーバ側ですべての映像変換処理を行った場合、すなわちＬI(1)＝ＬI(2)＝ＬI(3)＝0のときはＴI(3)=3500となる。
これに対して、本方式ではＴI(3)を最小化するようなＬI(1)〜ＬI(3)を共役勾配法などの反復法を用いて算出する。例えば、初期値として、ＬI(1)＝ＬI(2)＝ＬI(3)＝0を与えて共役勾配法による反復計算を行うと、ＴI(3)=2771のときに、ＬI(1)＝3362、ＬI(2)＝2734、ＬI(3)＝2301という値を求めることができる。
これは、先に示した統合サーバ１００ですべての画像変換処理を行う場合や、あらかじめ映像蓄積サーバ２００1〜２００3側ですべての画像変換処理を行った場合と比較して、総処理時間が短縮されていることが分かると同時に、そのような処理分担比率を算出することが可能であることを示している。
各映像蓄積サーバの処理能力が同等で、要求映像長が同じであるにもかかわらず、処理分担比率が異なるのは、再生順に映像を統合する必要があるために処理の優先度が異っていることを示しており、ここに算出された値と実際の処理内容の一致を見ることができる。
別の例として、他のパラメータは変えずに、各映像蓄積サーバに対する全要求映像長を変える例として、Ｌall(1)＝15000、Ｌall(2)＝10000、Ｌall(3)＝5000と各映像蓄積サーバに対して異なる映像長を要求した場合を考える。
このとき、ＬI(1)＝15000、ＬI(2)＝10000、ＬI(3)＝5000のように統合サーバ１００ですべての画像変換処理を行う場合は、先の例と同じくＴI(3)=9900と算出される。また、あらかじめ映像蓄積サーバ２００1〜２００3側ですべての画像変換処理を行った場合、すなわちＬI(1)＝ＬI(2)＝ＬI(3)＝0のときはＴI(3)=5100となる。
これに対し、先の例と同じく初期値としてＬI(1)＝ＬI(2)＝ＬI(3)＝0を与えて共役勾配法を用いると、ＴI(3)=3614のときに、ＬI(1)＝10498、ＬI(2)＝0、ＬI(3)＝0という値を求めることができる。
以上のように、本実施例に係る統合サーバ１００は、与えられた要求映像長や処理パラメータの値に応じた、処理分担比率を算出することが可能である。
次に、図１４に示したステップＳ１０３の変換、統合処理について説明する。このステップは、算出した処理分担比率を利用して、映像蓄積サーバ２００1〜２００mに変換処理要求を行い、実際に変換統合処理を行うステップである。
図２１は、変換、統合処理の処理手順を示すフローチャートである。同図に示すように、まず、統合サーバ１００のパラメータ解析部１１５とフォーマット生成部１１６で、変換処理リクエスト情報を生成する（ステップＳ４０１）。
ここで、変換処理リクエスト情報には、先の処理パラメータ取得のステップで利用した要求映像時刻フォーマット、映像形式指定フォーマットの他に、算出した処理分担比率の情報を含めた処理分担比率通知フォーマット（図９）が含まれる。図９に示した処理分担比率通知フォーマットにおけるgetoriginalvideo要素のlength属性の値は、未処理画像のまま統合サーバ１００が受け取る映像長をｍｓ単位で記述したものである。
また、さらには映像蓄積サーバ２００1〜２００m側から画像／音声データをネットワーク伝送するために必要な接続を、変換要求のネットワーク接続とは別に確立する必要があるため、必要なポート番号の情報も含めておく。以上の情報を、映像蓄積サーバ通信部１１８を通じて各映像蓄積サーバに送信する（ステップＳ４０２）。
そして、各映像蓄積サーバの変換要求受付部２０９が変換処理リクエスト情報を受信し（ステップＳ４０３）、フォーマット解析部２０３にて各種変換処理パラメータを解析して取得する（ステップＳ４０４）。
そして、今度は実際に指定された映像ファイルを映像蓄積部２０５から取得し（ステップＳ４０５）、統合サーバ１００と分担して変換処理を行い、統合サーバ１００が統合処理を行う（ステップＳ４０６）。
次に、図１４に示したステップＳ１０４の処理結果の通知処理について説明する。このステップは、生成した配信要求端末１０向け映像についての情報を通知し、配信要求端末１０に対して配信処理を行うステップである。
図２２は、処理結果の通知処理の処理手順を示すフローチャートである。同図に示すように、まず、生成した配信要求端末向け映像を配信要求端末１０からアクセス可能にするために、統合サーバ１００のＷｅｂインターフェース生成部１１３にて、配信要求端末向け映像へのファイルのリンクを含むＨＴＭＬページである変換結果レスポンスページを生成し（ステップＳ５０１）、そのページを配信要求端末１０へ送信する（ステップＳ５０２）。
そして、配信要求端末１０は送信されたページを受信し（ステップＳ５０３）、そのリンク先の配信要求端末向け映像へのリクエストを送信する（ステップＳ５０４）。最後に、リクエストを受け付けた統合サーバ１００は、配信映像を送信し（ステップＳ５０５〜ステップＳ５０６）、配信要求端末１０はその映像を取得して再生を行う（ステップＳ５０７〜ステップＳ５０８）。
次に、本実施例に係る統合サーバ１００として動作するコンピュータシステムについて説明する。図２３は、本実施例に係る統合サーバ１００として動作するコンピュータシステムを示す図である。すなわち、図４に示した統合サーバ１００の各機能部は、図２３に示すコンピュータシステムで実行される映像統合プログラムとして動作する。
図２３に示すように、このコンピュータシステム３００は、本体部３０１と、本体部３０１からの指示により表示画面３０２ａに情報を表示するディスプレイ３０２と、このコンピュータシステム３００に種々の情報を入力するためのキーボード３０３と、ディスプレイ３０２の表示画面３０２ａ上の任意の位置を指定するマウス３０４と、ＬＡＮ３０６または広域エリアネットワーク（ＷＡＮ）に接続するＬＡＮインターフェースと、公衆回線３０７に接続するモデムとを有する。
ここで、ＬＡＮ３０６は、他のコンピュータシステム（ＰＣ）３１１、サーバ３１２、プリンタ３１３に加えて、図１に示したインターネット２０や専用ネットワーク３０などとコンピュータシステム３００とを接続している。
また、図２４は、図２３に示した本体部３０１の構成を示す機能ブロック図である。同図に示すように、この本体部３０１は、ＣＰＵ３２１と、ＲＡＭ３２２と、ＲＯＭ３２３と、ハードディスクドライブ（ＨＤＤ）３２４と、ＣＤ−ＲＯＭドライブ３２５と、ＦＤドライブ３２６と、Ｉ／Ｏインターフェース３２７と、ＬＡＮインターフェース３２８と、モデム３２９とを有する。
そして、このコンピュータシステム３００において実行される映像統合プログラムは、フロッピィディスク（ＦＤ）３０８、ＣＤ−ＲＯＭ３０９、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの可搬型記憶媒体に記憶され、これらの記憶媒体から読み出されてコンピュータシステム３００にインストールされる。
あるいは、この映像統合プログラムは、ＬＡＮインターフェース３２８を介して接続されたサーバ３１２のデータベース、他のコンピュータシステム（ＰＣ）３１１のデータベースなどに記憶され、これらのデータベースから読み出されてコンピュータシステム３００にインストールされる。
そして、インストールされた映像統合プログラムは、ＨＤＤ３２４に記憶され、ＲＡＭ３２２、ＲＯＭ３２３などを利用してＣＰＵ３２１により実行される。
上述してきたように、本実施例では、統合サーバ１００の処理分担比率算出部１２１が統合サーバ１００と各映像蓄積サーバとの間での画像形式変換処理の最適な処理分担比率を算出し、処理分担比率算出部１２１により算出された処理分担比率に基づいて統合サーバ１００の画像形式変換処理部１２２と各映像蓄積サーバの画像形式変換処理部２１１が画像形式変換処理を分散して行うこととしたので、画像形式変換処理を高速に行い、統合映像を高速に生成することができる。
なお、本実施例では、統合サーバ１００と映像蓄積サーバ２００1〜２００mが専用ネットワーク３０によって接続され、統合サーバ１００と映像要求端末１０がインターネット２０によって接続される場合について説明したが、本発明はこれに限定されるものではなく、例えば、一部の映像蓄積サーバが統合サーバ１００と他のネットワークで接続されるなど他のネットワーク構成の場合にも同様に適用することができる。
（付記１）マルチメディアデータを蓄積する複数のマルチメディアデータ蓄積装置からマルチメディアデータを受信し、該受信した複数のマルチメディアデータを統合してマルチメディアデータ蓄積装置に蓄積されたデータ形式とは異なるデータ形式の統合マルチメディアデータを作成するマルチメディアデータ統合装置であって、
各マルチメディアデータ蓄積装置に蓄積されたマルチメディアデータのうち統合マルチメディアデータの作成に使用されるマルチメディアデータを前記異なるデータ形式に変換する変換処理を各マルチメディアデータ蓄積装置とマルチメディアデータ統合装置とで分担して行う処理分担比率を算出する処理分担比率算出手段と、
前記処理分担比率算出手段により算出された処理分担比率を各マルチメディアデータ蓄積装置に送信する処理分担比率送信手段と、
前記処理分担比率送信手段により送信された処理分担比率に基づいて各マルチメディアデータ蓄積装置により部分的に変換処理がおこなわれたマルチメディアデータを受信するデータ受信手段と、
前記データ受信手段により受信されたマルチメディアデータのうち変換処理が行われていないマルチメディアデータのデータ形式の変換処理を行う変換処理手段と、
前記データ受信手段により受信されたマルチメディアデータのうち各マルチメディアデータ蓄積装置により変換処理が行われたマルチメディアデータと前記変換処理手段により変換処理が行われたマルチメディアデータとを統合して前記統合マルチメディアデータを作成する統合手段と、
を備えたことを特徴とするマルチメディアデータ統合装置。
（付記２）前記処理分担比率算出手段は、マルチメディアデータ統合装置および各マルチメディア蓄積装置の計算能力に基づいて統合マルチメディアデータの作成に要する時間が最小となるように前記処理分担比率を算出することを特徴とする付記１に記載のマルチメディアデータ統合装置。
（付記３）前記複数のマルチメディアデータ蓄積装置およびマルチメディアデータ統合装置はネットワークで接続され、
前記処理分担比率算出手段は、マルチメディアデータ統合装置および各マルチメディアデータ蓄積装置の計算能力に加えて前記ネットワークのネットワーク帯域および各マルチメディア蓄積装置に蓄積されたデータ形式に基づいて前記処理分担比率を算出することを特徴とする付記２に記載のマルチメディアデータ統合装置。
（付記４）前記処理分担比率算出手段は、共役勾配法を用いて前記処理分担比率を算出することを特徴とする付記２または３に記載のマルチメディアデータ統合装置。
（付記５）各マルチメディアデータ蓄積装置から計算能力を取得する計算能力取得手段をさらに備え、
前記処理分担比率算出手段は、前記計算能力取得手段により取得された計算能力を用いて前記処理分担比率を算出することを特徴とする付記２または３に記載のマルチメディアデータ統合装置。
（付記６）各マルチメディアデータ蓄積装置とマルチメディアデータ統合装置とで分担して行う変換処理は画像のデータ形式の変換処理であり、
前記処理分担比率算出手段は、画像のデータ形式の変換処理について各マルチメディアデータ蓄積装置で行われる変換処理とマルチメディアデータ統合装置で行われる変換処理の比率を前記処理分担比率として算出することを特徴とする付記１、２または３に記載のマルチメディアデータ統合装置。
（付記７）前記マルチメディアデータは映像データであり、
前記処理分担比率算出手段は、各マルチメディアデータ蓄積装置で変換処理が行われる映像の再生時間とマルチメディアデータ統合装置で変換処理が行われる映像の再生時間との比率を前記処理分担比率として算出することを特徴とする付記１、２または３に記載のマルチメディアデータ統合装置。
（付記８）前記データ受信手段は、変換処理が行われたデータであるか否かを識別するフラグをマルチメディアデータとともに受信し、
前記変換手段は、前記データ受信手段により受信されたフラグに基づいてマルチメディアデータのデータ形式の変換処理を行うことを特徴とする付記１、２または３に記載のマルチメディアデータ統合装置。
（付記９）マルチメディアデータを蓄積する複数のマルチメディアデータ蓄積装置からマルチメディアデータを受信し、該受信した複数のマルチメディアデータを統合してマルチメディアデータ蓄積装置に蓄積されたデータ形式とは異なるデータ形式の統合マルチメディアデータを作成するマルチメディアデータ統合装置のマルチメディアデータ統合方法であって、
各マルチメディアデータ蓄積装置に蓄積されたマルチメディアデータのうち統合マルチメディアデータの作成に使用されるマルチメディアデータを前記異なるデータ形式に変換する変換処理を各マルチメディアデータ蓄積装置とマルチメディアデータ統合装置とで分担して行う処理分担比率を算出する処理分担比率算出工程と、
前記処理分担比率算出工程により算出された処理分担比率を各マルチメディアデータ蓄積装置に送信する処理分担比率送信工程と、
前記処理分担比率送信工程により送信された処理分担比率に基づいて各マルチメディアデータ蓄積装置により部分的に変換処理がおこなわれたマルチメディアデータを受信するデータ受信工程と、
前記データ受信工程により受信されたマルチメディアデータのうち変換処理が行われていないマルチメディアデータのデータ形式の変換処理を行う変換処理工程と、
前記データ受信工程により受信されたマルチメディアデータのうち各マルチメディアデータ蓄積装置により変換処理が行われたマルチメディアデータと前記変換処理工程により変換処理が行われたマルチメディアデータとを統合して前記統合マルチメディアデータを作成する統合工程と、
を含んだことを特徴とするマルチメディアデータ統合方法。
（付記１０）マルチメディアデータを蓄積する複数のマルチメディアデータ蓄積装置からマルチメディアデータを受信し、該受信した複数のマルチメディアデータを統合してマルチメディアデータ蓄積装置に蓄積されたデータ形式とは異なるデータ形式の統合マルチメディアデータを作成するマルチメディアデータ統合プログラムであって、
各マルチメディアデータ蓄積装置に蓄積されたマルチメディアデータのうち統合マルチメディアデータの作成に使用されるマルチメディアデータを前記異なるデータ形式に変換する変換処理を各マルチメディアデータ蓄積装置とマルチメディアデータ統合装置とで分担して行う処理分担比率を算出する処理分担比率算出手順と、
前記処理分担比率算出手順により算出された処理分担比率を各マルチメディアデータ蓄積装置に送信する処理分担比率送信手順と、
前記処理分担比率送信手順により送信された処理分担比率に基づいて各マルチメディアデータ蓄積装置により部分的に変換処理がおこなわれたマルチメディアデータを受信するデータ受信手順と、
前記データ受信手順により受信されたマルチメディアデータのうち変換処理が行われていないマルチメディアデータのデータ形式の変換処理を行う変換処理手順と、
前記データ受信手順により受信されたマルチメディアデータのうち各マルチメディアデータ蓄積装置により変換処理が行われたマルチメディアデータと前記変換処理手順により変換処理が行われたマルチメディアデータとを統合して前記統合マルチメディアデータを作成する統合手順と、
をコンピュータに実行させることを特徴とするマルチメディアデータ統合プログラム。
以上のように、本発明に係るマルチメディアデータ統合装置、マルチメディアデータ統合方法およびマルチメディアデータ統合プログラムは、映像配信システムに有用であり、特に、複数の映像から映像形式が異なる映像を生成して配信する映像配信システムに適している。
本実施例に係る統合映像配信システムのシステム構成を示す図である。 蓄積映像の統合を説明するための説明図である。 蓄積映像から統合映像への変換統合処理を説明するための説明図である。 本実施例に係る統合サーバの構成を示す機能構成図である。 Ｗｅｂインターフェース生成部が生成するポータルページの一例を示す図である。 映像統合フォーマットの一例を示す図である。 要求映像時刻フォーマットの一例を示す図である。 映像形式指定フォーマットの一例を示す図である。 処理分担比率通知フォーマットの一例を示す図である。 統合サーバ処理パラメータフォーマットの一例を示す図である。 本実施例に係る映像蓄積サーバの構成を示す機能構成図である。 処理パラメータレスポンスフォーマットの一例を示す図である。 伝送データフォーマットの一例を示す図である。 本実施例に係る統合映像配信システムの処理手順を示すフローチャートである。 配信要求の受付処理の処理手順を示すフローチャートである。 処理分担比率の算出処理の処理手順を示すフローチャートである。 映像蓄積サーバと統合サーバにおける処理分担を説明するための説明図である。 映像時間分割による処理分担を説明するための説明図である。 処理分担比率算出パラメータ一覧を示す図である。 処理分担比率算出式を示す図である。 変換、統合処理の処理手順を示すフローチャートである。 処理結果の通知処理の処理手順を示すフローチャートである。 本実施例に係る統合サーバとして動作するコンピュータシステムを示す図である。 図２３に示した本体部の構成を示す機能ブロック図である。
符号の説明
１０ 映像要求端末
２０ インターネット
３０ 専用ネットワーク
１００ 統合サーバ
１１１ ネットワークＩ／Ｆ
１１２ 配信要求受付部
１１３ Ｗｅｂインターフェース生成部
１１４ 映像生成全体制御部
１１５ パラメータ解析部
１１６ フォーマット生成部
１１７ フォーマット蓄積部
１１８ 映像蓄積サーバ通信部
１１９ 処理可否判定部
１２０ 処理パラメータ蓄積部
１２１ 処理分担比率算出部
１２２ 画像形式変換処理部
１２３ 統合処理部
２００1〜２００m 映像蓄積サーバ
２０１ ネットワークＩ／Ｆ
２０２ パラメータ要求受付部
２０３ フォーマット解析部
２０４ 映像ファイル検索部
２０５ 映像蓄積部
２０６ 処理パラメータ蓄積部
２０７ フォーマット生成部
２０８ フォーマット蓄積部
２０９ 変換要求受付部
２１０ 時間切り出し画像音声分離部
２１１ 画像形式変換処理部
２１２ 音声形式変換処理部
３００，３１１ コンピュータシステム
３０１ 本体部
３０２ ディスプレイ
３０２ａ 表示画面
３０３ キーボード
３０４ マウス
３０６ ＬＡＮ
３０７ 公衆回線
３０８ フロッピィディスク
３０９ ＣＤ−ＲＯＭ
３１２ サーバ
３１３ プリンタ
３２１ ＣＰＵ
３２２ ＲＡＭ
３２３ ＲＯＭ
３２４ ハードディスクドライブ
３２５ ＣＤ−ＲＯＭドライブ
３２６ フロッピィディスクドライブ
３２７ Ｉ／Ｏインターフェース
３２８ ＬＡＮインターフェース
３２９ モデム

Claims (5)

  1. マルチメディアデータを蓄積する複数のマルチメディアデータ蓄積装置からマルチメディアデータを受信し、該受信した複数のマルチメディアデータを統合してマルチメディアデータ蓄積装置に蓄積されたデータ形式とは異なるデータ形式の統合マルチメディアデータを作成するマルチメディアデータ統合装置であって、
    各マルチメディアデータ蓄積装置に蓄積されたマルチメディアデータのうち統合マルチメディアデータの作成に使用されるマルチメディアデータを前記異なるデータ形式に変換する変換処理を各マルチメディアデータ蓄積装置とマルチメディアデータ統合装置とで分担して行う処理分担比率を算出する処理分担比率算出手段と、
    前記処理分担比率算出手段により算出された処理分担比率を各マルチメディアデータ蓄積装置に送信する処理分担比率送信手段と、
    前記処理分担比率送信手段により送信された処理分担比率に基づいて各マルチメディアデータ蓄積装置により部分的に変換処理がおこなわれたマルチメディアデータを受信するデータ受信手段と、
    前記データ受信手段により受信されたマルチメディアデータのうち変換処理が行われていないマルチメディアデータのデータ形式の変換処理を行う変換処理手段と、
    前記データ受信手段により受信されたマルチメディアデータのうち各マルチメディアデータ蓄積装置により変換処理が行われたマルチメディアデータと前記変換処理手段により変換処理が行われたマルチメディアデータとを統合して前記統合マルチメディアデータを作成する統合手段と、
    を備えたことを特徴とするマルチメディアデータ統合装置。
  2. 前記処理分担比率算出手段は、マルチメディアデータ統合装置および各マルチメディア蓄積装置の計算能力に基づいて統合マルチメディアデータの作成に要する時間が最小となるように前記処理分担比率を算出することを特徴とする請求項１に記載のマルチメディアデータ統合装置。
  3. 前記複数のマルチメディアデータ蓄積装置およびマルチメディアデータ統合装置はネットワークで接続され、
    前記処理分担比率算出手段は、マルチメディアデータ統合装置および各マルチメディアデータ蓄積装置の計算能力に加えて前記ネットワークのネットワーク帯域および各マルチメディア蓄積装置に蓄積されたデータ形式に基づいて前記処理分担比率を算出することを特徴とする請求項２に記載のマルチメディアデータ統合装置。
  4. マルチメディアデータを蓄積する複数のマルチメディアデータ蓄積装置からマルチメディアデータを受信し、該受信した複数のマルチメディアデータを統合してマルチメディアデータ蓄積装置に蓄積されたデータ形式とは異なるデータ形式の統合マルチメディアデータを作成するマルチメディアデータ統合装置のマルチメディアデータ統合方法であって、
    各マルチメディアデータ蓄積装置に蓄積されたマルチメディアデータのうち統合マルチメディアデータの作成に使用されるマルチメディアデータを前記異なるデータ形式に変換する変換処理を各マルチメディアデータ蓄積装置とマルチメディアデータ統合装置とで分担して行う処理分担比率を算出する処理分担比率算出工程と、
    前記処理分担比率算出工程により算出された処理分担比率を各マルチメディアデータ蓄積装置に送信する処理分担比率送信工程と、
    前記処理分担比率送信工程により送信された処理分担比率に基づいて各マルチメディアデータ蓄積装置により部分的に変換処理がおこなわれたマルチメディアデータを受信するデータ受信工程と、
    前記データ受信工程により受信されたマルチメディアデータのうち変換処理が行われていないマルチメディアデータのデータ形式の変換処理を行う変換処理工程と、
    前記データ受信工程により受信されたマルチメディアデータのうち各マルチメディアデータ蓄積装置により変換処理が行われたマルチメディアデータと前記変換処理工程により変換処理が行われたマルチメディアデータとを統合して前記統合マルチメディアデータを作成する統合工程と、
    を含んだことを特徴とするマルチメディアデータ統合方法。
  5. マルチメディアデータを蓄積する複数のマルチメディアデータ蓄積装置からマルチメディアデータを受信し、該受信した複数のマルチメディアデータを統合してマルチメディアデータ蓄積装置に蓄積されたデータ形式とは異なるデータ形式の統合マルチメディアデータを作成するマルチメディアデータ統合プログラムであって、
    各マルチメディアデータ蓄積装置に蓄積されたマルチメディアデータのうち統合マルチメディアデータの作成に使用されるマルチメディアデータを前記異なるデータ形式に変換する変換処理を各マルチメディアデータ蓄積装置とマルチメディアデータ統合装置とで分担して行う処理分担比率を算出する処理分担比率算出手順と、
    前記処理分担比率算出手順により算出された処理分担比率を各マルチメディアデータ蓄積装置に送信する処理分担比率送信手順と、
    前記処理分担比率送信手順により送信された処理分担比率に基づいて各マルチメディアデータ蓄積装置により部分的に変換処理がおこなわれたマルチメディアデータを受信するデータ受信手順と、
    前記データ受信手順により受信されたマルチメディアデータのうち変換処理が行われていないマルチメディアデータのデータ形式の変換処理を行う変換処理手順と、
    前記データ受信手順により受信されたマルチメディアデータのうち各マルチメディアデータ蓄積装置により変換処理が行われたマルチメディアデータと前記変換処理手順により変換処理が行われたマルチメディアデータとを統合して前記統合マルチメディアデータを作成する統合手順と、
    をコンピュータに実行させることを特徴とするマルチメディアデータ統合プログラム。
JP2004110479A 2004-04-02 2004-04-02 マルチメディアデータ統合装置、マルチメディアデータ統合方法およびマルチメディアデータ統合プログラム Expired - Fee Related JP4549717B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004110479A JP4549717B2 (ja) 2004-04-02 2004-04-02 マルチメディアデータ統合装置、マルチメディアデータ統合方法およびマルチメディアデータ統合プログラム
US10/937,254 US7451160B2 (en) 2004-04-02 2004-09-10 Method and apparatus for integrating multimedia data, and computer product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004110479A JP4549717B2 (ja) 2004-04-02 2004-04-02 マルチメディアデータ統合装置、マルチメディアデータ統合方法およびマルチメディアデータ統合プログラム

Publications (2)

Publication Number Publication Date
JP2005293431A true JP2005293431A (ja) 2005-10-20
JP4549717B2 JP4549717B2 (ja) 2010-09-22

Family

ID=35055634

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004110479A Expired - Fee Related JP4549717B2 (ja) 2004-04-02 2004-04-02 マルチメディアデータ統合装置、マルチメディアデータ統合方法およびマルチメディアデータ統合プログラム

Country Status (2)

Country Link
US (1) US7451160B2 (ja)
JP (1) JP4549717B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009118424A (ja) * 2007-11-09 2009-05-28 Canon Inc 転送元描画装置、転送先描画装置及び情報処理方法
JP2021153218A (ja) * 2020-03-24 2021-09-30 大日本印刷株式会社 動画作成システム、動画作成装置、ドローンおよびプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1851644A4 (en) * 2005-02-12 2010-10-06 Teresis Media Man Inc METHOD AND DEVICE FOR SUPPORTING THE MANUFACTURE OF MEDIA WORKS AND SIMILAR
US8135222B2 (en) * 2009-08-20 2012-03-13 Xerox Corporation Generation of video content from image sets
US10284433B2 (en) * 2015-06-25 2019-05-07 International Business Machines Corporation Data synchronization using redundancy detection

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08174956A (ja) * 1994-12-22 1996-07-09 Canon Inc 印刷装置及びその制御方法及び印刷システム
JP2002251610A (ja) * 2001-02-26 2002-09-06 Matsushita Electric Ind Co Ltd 並列画像処理装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6965569B1 (en) * 1995-09-18 2005-11-15 Net2Phone, Inc. Flexible scalable file conversion system and method
JP4116286B2 (ja) 2001-12-13 2008-07-09 株式会社不二工機 レシーバドライヤ

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08174956A (ja) * 1994-12-22 1996-07-09 Canon Inc 印刷装置及びその制御方法及び印刷システム
JP2002251610A (ja) * 2001-02-26 2002-09-06 Matsushita Electric Ind Co Ltd 並列画像処理装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009118424A (ja) * 2007-11-09 2009-05-28 Canon Inc 転送元描画装置、転送先描画装置及び情報処理方法
JP2021153218A (ja) * 2020-03-24 2021-09-30 大日本印刷株式会社 動画作成システム、動画作成装置、ドローンおよびプログラム
JP7505219B2 (ja) 2020-03-24 2024-06-25 大日本印刷株式会社 動画作成システム、動画作成装置、およびプログラム

Also Published As

Publication number Publication date
JP4549717B2 (ja) 2010-09-22
US7451160B2 (en) 2008-11-11
US20050223033A1 (en) 2005-10-06

Similar Documents

Publication Publication Date Title
JP7103402B2 (ja) 情報処理装置および情報処理方法
JP6981257B2 (ja) 情報処理装置および情報処理方法
JP6570646B2 (ja) オーディオビデオファイルのライブストリーミング方法、システム及びサーバー
KR101484900B1 (ko) 코덱이 적용된 프레임 크기로의 오디오 분할
JP2003114845A (ja) メディア変換方法およびメディア変換装置
JP6642427B2 (ja) 情報処理装置および方法
US20030122862A1 (en) Data processing apparatus, data processing server, data processing system, method of controlling data processing apparatus, method of controlling data processing server, computer program, and computer readable storage medium
US20060140591A1 (en) Systems and methods for load balancing audio/video streams
WO2005086009A1 (ja) メディア配信装置及びメディア受信装置
JP4598627B2 (ja) コンテンツ編集装置及びその再生装置
JP2003153254A (ja) データ処理装置及びデータ処理方法、並びにプログラム、記憶媒体
JP4549717B2 (ja) マルチメディアデータ統合装置、マルチメディアデータ統合方法およびマルチメディアデータ統合プログラム
JP2008153886A (ja) 複合コンテンツファイルの編集方法および装置並びに再生装置
WO2018142946A1 (ja) 情報処理装置および方法
WO2013005478A1 (ja) コンテンツ配信システム、コンテンツ配置決定装置、コンテンツ配置決定方法およびプログラム
JP4315914B2 (ja) 画像再生装置及び画像再生方法
KR101272876B1 (ko) 미디어 스트리밍 서버와 이 서버의 미디어 데이터 관리 방법
JP4691173B2 (ja) 画像再生装置及び画像再生方法
CN111869225A (zh) 信息处理装置、信息处理装置及程序
CN111837401A (zh) 信息处理设备、信息处理设备和程序
JP2005176094A (ja) データ処理装置及びデータ処理方法、並びにプログラム、記憶媒体
JP2008172629A (ja) コンテンツ統合サーバ
JP2024542586A (ja) 適応型ストリーミングパラメータ化のための拡張可能要求シグナリング
JP5557070B2 (ja) 送信装置及び方法、並びに受信装置及び方法
JP2008219589A (ja) メディア多重データの同期蓄積再生方法および装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070315

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100706

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100707

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130716

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees