JP2008270968A - 画像処理システム、画像処理装置、画像処理方法、およびプログラム - Google Patents

画像処理システム、画像処理装置、画像処理方法、およびプログラム Download PDF

Info

Publication number
JP2008270968A
JP2008270968A JP2007108346A JP2007108346A JP2008270968A JP 2008270968 A JP2008270968 A JP 2008270968A JP 2007108346 A JP2007108346 A JP 2007108346A JP 2007108346 A JP2007108346 A JP 2007108346A JP 2008270968 A JP2008270968 A JP 2008270968A
Authority
JP
Japan
Prior art keywords
streaming
image data
image
servers
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007108346A
Other languages
English (en)
Other versions
JP4325697B2 (ja
Inventor
Fumitada Honma
文規 本間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007108346A priority Critical patent/JP4325697B2/ja
Priority to US12/051,205 priority patent/US20080263220A1/en
Priority to CN2008100922174A priority patent/CN101291432B/zh
Publication of JP2008270968A publication Critical patent/JP2008270968A/ja
Application granted granted Critical
Publication of JP4325697B2 publication Critical patent/JP4325697B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/167—Systems rendering the television signal unintelligible and subsequently intelligible
    • H04N7/1675—Providing digital key or authorisation information for generation or regeneration of the scrambling sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4408—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video stream encryption, e.g. re-encrypting a decrypted video stream for redistribution in a home network

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】高画質の映像が再現されるように、ストリーミング配信する。
【解決手段】クライアント機器１５とストリーミングデータを送信するための通信接続が確立されているサーバ１３は、外部AV機器１１からのAVデータのうち、クライアント機器１５から送信されたエンコードパラメータに対応する領域の画像データを圧縮符号化し、ストリーミングデータを生成し、ネットワーク１４を介してクライアント機器１５に送信する。クライアント機器１５は、ストリーミングデータを受信するための通信接続が確立されているサーバ１３の数に応じて、その各サーバ１３にエンコードさせる領域を決定し、その領域を示すエンコードパラメータを、そのサーバ１３に送信する。クライアント機器１５は、サーバ１３から送信されてきたストリーミングデータを受信してデコードするとともに、その結果得られた画像を統合して表示する。本発明は、サーバに適用することができる。
【選択図】図１

Description

本発明は、画像処理システム、画像処理装置、画像処理方法、およびプログラムに関し、特に、ストリーミング配信を受けるクライアント機器での高画質な映像の再現を可能にした画像処理システム、画像処理装置、画像処理方法、およびプログラムに関する。
近年、ネットワークの高速化やPC（パーソナルコンピュータ）等の一般家庭への急速な普及により、VOD（ビデオ・オン・デマンド）等のリクエスト型の情報提供サービスが広く実用化されている。とりわけ、画像を再現する画像データの断片をパケットとし、そのパケットの集合をストリームとして送信し、受信端末側にて画像データ全体をダウンロードすることなく順次再生するストリーミングと呼ばれる技術が脚光を浴びている。
このようなストリーミングを利用して、ユーザが所有するHDD(Hard disk drive)等の外部AV機器から出力される映像や音声等のコンテンツを、インターネット、ワイヤレスLAN（Local Area Network）等のネットワークを介して、ユーザが使用するPC、携帯ゲーム機、携帯電話等の端末装置（以下、クライアント機器と称する）に配信するストリーミング配信システムが開発されている。このストリーミング配信システムを利用すれば、ユーザは、外部AV機器とクライアント機器の設置位置に関係なく、クライアント機器で、外部AV機器から出力されたコンテンツを視聴することができる。
このストリーミング配信システムでは、外部AV機器と、ネットワークを介してクライアント機器とに接続されるストリーミングサーバが設けられている。このストリーミングサーバは、外部AV機器から供給されたコンテンツを、例えばMPEG（Moving Picture Experts Group）等の規格に基づいてエンコードするとともに、AES(Advanced Encryption Standard)等の暗号化手段による暗号化やデジタルパケット化を行い、ストリーミングデータを生成する。ストリーミングサーバは、このようにして生成したストリーミングデータを、ネットワークを介してクライアント機器に送信する。
クライアント機器は、ネットワークを介してストリーミングサーバから送信されてきたストリーミングデータを受信し、受信したストリーミングデータを、クライアント機器に搭載されたアプリケーション等の表示に従って、データのデコードを行い、クライアント機器上で再生する。
ストリーミングサーバ側でストリーミングサーバ自身の負荷率を計測し、その負荷率の情報をクライアント機器に送出することにより、ストリーミングサーバの負荷や、負荷のスケジュールを把握する方法なども開発されている（特許文献１）。
特開２００１−９４９５９号公報
ところでこのようなストリーミング配信システムでは、配信される映像や音声のデータの画質や音質は回線速度に比例する。
このため、回線速度が限られている場合において画質や音質をあげるためには、より効率の高い、例えばAVC（Advanced Video Coding）等の圧縮符号化を用いる必要があるが、このような圧縮符号化を行うためには、ストリーミングサーバやクライアント機器は、高度な演算を可能にするハードウェアが要求となる。
しかしながら、クライアント機器については、PC等のハイスペック化に伴い高性能の機器が利用される一方、組み込み機器であるストリーミングサーバについては、クライアント機器のスペックに対応しないものが利用されることが考えられ、このような場合、クライアント機器において、その機能を十分生かすことができない場合がある。
例えばクライアント機器が、1080×720画素のハイビジョン映像の画像処理が可能であっても、ストリーミングサーバが、高圧縮符号化を行うことができない場合、結局、ストリーミングサーバからは、それ以下の圧縮符号化が施された画像データがクライアント機器に送信されるので、クライアント機器において、ハイビジョン映像が再現されない。
本発明は、このような状況に鑑みてなされたものであり、複数台のストリーミングサーバを用いて並行画像処理を行うことにより、ストリーミングサーバで処理可能が画質よりも高画質な画像をクライアント機器で再現することができるようにするものである。
本発明の一側面の画像処理システムは、複数のサーバと、前記複数のサーバからストリーミング配信されてきた画像を統合して表示する画像処理装置からなる画像処理システムにおいて、前記複数のサーバのそれぞれは、画像データを入力する入力手段と、前記画像処理装置から送信されてきた領域情報を受信する領域情報受信手段と、前記入力手段により入力された前記画像データの中の、前記領域情報受信手段により受信された前記領域情報に応じた領域の画像データをエンコードするエンコード手段と、前記エンコード手段によりエンコードされた前記画像データを、前記画像処理装置にストリーミング配信する配信手段とを備え、前記画像処理装置は、前記複数のサーバ毎の前記領域情報を、前記サーバの数に応じて生成する生成手段と、前記生成手段により生成された前記領域情報を、それぞれ所定の前記サーバに送信する送信手段と、前記複数のサーバにより配信されてきた前記画像データを受信する画像データ受信手段と、前記画像データ受信手段により受信された前記画像データをデコードするデコード手段と、前記デコード手段によるデコード処理の結果得られた画像を統合して表示する表示手段とを備えることを特徴とする。
本発明の一側面の画像処理システムにおいては、複数のサーバと、前記複数のサーバからストリーミング配信されてきた画像を統合して表示する画像処理装置からなる画像処理システムにおいて、前記複数のサーバのそれぞれで、画像データが入力され、前記画像処理装置から送信されてきた領域情報が受信され、入力された前記画像データの中の、受信された前記領域情報に応じた領域の画像データがエンコードされ、エンコードされた前記画像データが、前記画像処理装置にストリーミング配信され、前記画像処理装置で、前記複数のサーバ毎の前記領域情報が、前記サーバの数に応じて生成され、生成された前記領域情報が、それぞれ所定の前記サーバに送信され、前記複数のサーバにより配信されてきた前記画像データが受信され、受信された前記画像データがデコードされ、デコード処理の結果得られた画像が統合されて表示される。
本発明の第１の側面の画像処理装置は、複数のサーバからストリーミング配信されてきた画像を統合して表示する画像処理装置において、前記複数のサーバのそれぞれにエンコードさせる、ストリーミング対象画像の領域を示す領域情報を生成する生成手段と、前記生成手段により生成された前記領域情報を、それぞれ所定の前記サーバに送信する送信手段と、前記複数のサーバにより配信されてきた、前記領域情報に応じてエンコードされた前記ストリーミング対象画像の所定の領域の画像データを受信する受信手段と、前記受信手段により受信された前記画像データをデコードするデコード手段と、前記デコード手段によるデコード処理の結果得られた画像を統合して表示する表示手段とを備える。
本発明の第１の側面の画像処理方法は、複数のサーバからストリーミング配信されてきた画像を統合して表示する画像処理装置の画像処理方法において、前記複数のサーバのそれぞれにエンコードさせる、ストリーミング対象画像の領域を示す領域情報を生成する生成ステップと、前記生成ステップの処理で生成された前記領域情報を、それぞれ所定の前記サーバに送信する送信ステップと、前記複数のサーバにより配信されてきた、前記領域情報に応じてエンコードされた前記ストリーミング対象画像の所定の領域の画像データを受信する受信ステップと、前記受信ステップの処理で受信された前記画像データをデコードするデコードステップと、前記デコードステップでのデコード処理の結果得られた画像を統合して表示する表示ステップとを含む。
本発明の第１の側面のプログラムは、複数のサーバからストリーミング配信されてきた画像を統合して表示する画像処理をコンピュータに実行させるプログラムにおいて、前記複数のサーバのそれぞれにエンコードさせる、ストリーミング対象画像の領域を示す領域情報を生成する生成ステップと、前記生成ステップの処理で生成された前記領域情報を、それぞれ所定の前記サーバに送信する送信ステップと、前記複数のサーバにより配信されてきた、前記領域情報に応じてエンコードされた前記ストリーミング対象画像の所定の領域の画像データを受信する受信ステップと、前記受信ステップの処理で受信された前記画像データをデコードするデコードステップと、前記デコードステップでのデコード処理の結果得られた画像を統合して表示する表示ステップとを含む画像処理をコンピュータに実行させる。
本発明の第１の側面の画像処理装置、画像処理方法、またはプログラムにおいては、前記複数のサーバのそれぞれにエンコードさせる、ストリーミング対象画像の領域を示す領域情報が生成され、生成された前記領域情報が、それぞれ所定の前記サーバに送信され、前記複数のサーバにより配信されてきた、前記ストリーミング対象画像の前記領域情報に対応する領域の画像データが受信され、受信された前記画像データがデコードされ、デコード処理の結果得られた画像が統合して表示される。
本発明の第２の側面の画像処理装置は、ストリーミング配信されてきた複数の画像を統合して表示する端末装置にそれぞれストリーミング対象画像の所定の領域の画像データをストリーミング配信する複数の画像処理装置において、前記複数の画像処理装置のそれぞれは、ストリーミング対象画像の画像データを入力する入力手段と、前記端末装置から送信されてきた領域情報を受信する領域情報受信手段と、前記入力手段により入力された前記ストリーミング対象画像の画像データの、前記領域情報受信手段により受信された前記領域情報に応じた領域の画像データをエンコードするエンコード手段と、前記エンコード手段によりエンコードされた前記画像データを、前記端末装置にストリーミング配信する配信手段とを備える。
本発明の第２の側面の画像処理方法は、ストリーミング配信されてきた複数の画像を統合して表示する端末装置にそれぞれストリーミング対象画像の所定の領域の画像データをストリーミング配信する複数の画像処理装置の画像処理方法において、ストリーミング対象画像の画像データを入力する入力ステップと、前記端末装置から送信されてきた領域情報を受信する領域情報受信ステップと、前記入力ステップの処理で入力された前記ストリーミング対象画像の画像データの、前記領域情報受信ステップの処理で受信された前記領域情報に応じた領域の画像データをエンコードするエンコードステップと、前記エンコードステップの処理でエンコードされた前記画像データを、前記端末装置にストリーミング配信する配信ステップとを含む。
本発明の第２の側面のプログラムは、ストリーミング配信されてきた複数の画像を統合して表示する端末装置にそれぞれストリーミング対象画像の所定の領域の画像データをストリーミング配信する画像処理をコンピュータに実行させるプログラムにおいて、ストリーミング対象画像の画像データを入力する入力ステップと、前記端末装置から送信されてきた領域情報を受信する領域情報受信ステップと、前記入力ステップの処理で入力された前記ストリーミング対象画像の画像データの、前記領域情報受信ステップの処理で受信された前記領域情報に応じた領域の画像データをエンコードするエンコードステップと、前記エンコードステップの処理でエンコードされた前記画像データを、前記端末装置にストリーミング配信する配信ステップとを含む。
本発明の第２の側面の画像処理装置、画像処理方法、またはプログラムにおいては、ストリーミング対象画像の画像データが入力され、前記端末装置から送信されてきた領域情報が受信され、入力された前記ストリーミング対象画像の画像データの、受信された前記領域情報に応じた領域の画像データがエンコードされ、エンコードされた前記画像データが、前記端末装置にストリーミング配信される。
本発明の一側面によれば、高画質な映像の再現ができるように、ストリーミング配信を受けることができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の一側面の画像処理システムは、
複数のサーバ（例えば、図１のストリーミングサーバ１３−１乃至１３−４）と、前記複数のサーバからストリーミング配信されてきた画像を統合して表示する画像処理装置（例えば、図１のクライアント機器１５）からなる画像処理システムにおいて、
前記複数のサーバのそれぞれは、
画像データを入力する入力手段（例えば、図２の入力部２１）と、
前記画像処理装置から送信されてきた領域情報を受信する領域情報受信手段（例えば、図２の通信I/F２３）と、
前記入力手段により入力された前記画像データの中の、前記領域情報受信手段により受信された前記領域情報に応じた領域の画像データをエンコードするエンコード手段（例えば、図２の画像処理部２２）と、
前記エンコード手段によりエンコードされた前記画像データを、前記画像処理装置にストリーミング配信する配信手段（例えば、図２の通信I/F２３）と
を備え、
前記画像処理装置は、
前記複数のサーバ毎の前記領域情報を、前記サーバの数に応じて生成する生成手段（例えば、図３の制御部３５）と、
前記生成手段により生成された前記領域情報を、それぞれ所定の前記サーバに送信する送信手段（例えば、図３の通信I/F３１）と、
前記複数のサーバにより配信されてきた前記画像データを受信する画像データ受信手段（例えば、図３の通信I/F３１）と、
前記画像データ受信手段により受信された前記画像データをデコードするデコード手段（例えば、図３の画像処理部３２）と、
前記デコード手段によるデコード処理の結果得られた画像を統合して表示する表示手段（例えば、図３の表示制御部３３）と
を備えることを特徴とする。
本発明の第１の側面の画像処理装置は、
複数のサーバからストリーミング配信されてきた画像を統合して表示する画像処理装置において、
前記複数のサーバのそれぞれにエンコードさせる、ストリーミング対象画像の領域を示す領域情報を生成する生成手段（例えば、図３の制御部３５）と、
前記生成手段により生成された前記領域情報を、それぞれ所定の前記サーバに送信する送信手段（例えば、図３の通信I/F３１）と、
前記複数のサーバにより配信されてきた、前記領域情報に応じてエンコードされた前記ストリーミング対象画像の所定の領域の画像データを受信する受信手段（例えば、図３の通信I/F３１）と、
前記受信手段により受信された前記画像データをデコードするデコード手段（例えば、図３の画像処理部３２）と、
前記デコード手段によるデコード処理の結果得られた画像を統合して表示する表示手段（例えば、図３の表示制御部３３）と
を備える。
本発明の第１の側面の画像処理方法、またはプログラムは、
複数のサーバからストリーミング配信されてきた画像を統合して表示する画像処理装置の画像処理方法において、または複数のサーバからストリーミング配信されてきた画像を統合して表示する画像処理をコンピュータに実行させるプログラムにおいて、
前記複数のサーバのそれぞれにエンコードさせる、ストリーミング対象画像の領域を示す領域情報を生成する生成ステップ（例えば、図５のステップＳ３０）と、
前記生成ステップの処理で生成された前記領域情報を、それぞれ所定の前記サーバに送信する送信ステップ（例えば、図５のステップＳ３０）と、
前記複数のサーバにより配信されてきた、前記領域情報に応じてエンコードされた前記ストリーミング対象画像の所定の領域の画像データを受信する受信ステップ（例えば、図５のステップＳ２４）と、
前記受信ステップの処理で受信された前記画像データをデコードするデコードステップ（例えば、図５のステップＳ２５）と、
前記デコードステップでのデコード処理の結果得られた画像を統合して表示する表示ステップ（例えば、図５のステップＳ２６）と
を含む。
本発明の第２の側面の画像処理装置は、
ストリーミング配信されてきた複数の画像を統合して表示する端末装置にそれぞれストリーミング対象画像の所定の領域の画像データをストリーミング配信する複数の画像処理装置において、
前記複数の画像処理装置のそれぞれは、
ストリーミング対象画像の画像データを入力する入力手段（例えば、図２の入力部２１）と、
前記端末装置から送信されてきた領域情報を受信する領域情報受信手段（例えば、図２の通信I/F２３）と、
前記入力手段により入力された前記ストリーミング対象画像の画像データの、前記領域情報受信手段により受信された前記領域情報に応じた領域の画像データをエンコードするエンコード手段（例えば、図２の画像処理部２２）と、
前記エンコード手段によりエンコードされた前記画像データを、前記端末装置にストリーミング配信する配信手段（例えば、図２の通信I/F２３）と
を備える。
本発明の第１の側面の画像処理方法、またはプログラムは、
ストリーミング配信されてきた複数の画像を統合して表示する端末装置にそれぞれストリーミング対象画像の所定の領域の画像データをストリーミング配信する複数の画像処理装置の画像処理方法において、またはストリーミング配信されてきた複数の画像を統合して表示する端末装置にそれぞれストリーミング対象画像の所定の領域の画像データをストリーミング配信する画像処理をコンピュータに実行させるプログラムにおいて、
ストリーミング対象画像の画像データを入力する入力ステップ（例えば、図２の入力部２１の処理）と、
前記端末装置から送信されてきた領域情報を受信する領域情報受信ステップ（例えば、図４のステップＳ３またはステップＳ８）と、
前記入力ステップの処理で入力された前記ストリーミング対象画像の画像データの、前記領域情報受信ステップの処理で受信された前記領域情報に応じた領域の画像データをエンコードするエンコードステップ（例えば、図４のステップＳ６）と、
前記エンコードステップの処理でエンコードされた前記画像データを、前記端末装置にストリーミング配信する配信ステップ（例えば、図４のステップＳ７）と
を含む。
図１は、本発明を適用したストリーミング配信システムの構成例を示している。
外部AV機器１１は、HDDレコーダ等であって、映像や音声のコンテンツデータのAV信号を、例えばコンポジット信号などのAVケーブル１２を介して、４台のストリーミングサーバ１３−１乃至１３−４に出力する。
AVケーブル１２は、分岐され、外部AV機器１１から出力されたAV信号が、４台のストリーミングサーバ１３−１乃至１３−４に共通に入力されるようになされている。
４台のストリーミングサーバ１３−１乃至１３−４（以下、個々に区別する必要がない場合、単に、ストリーミングサーバ１３と称する）は、AVケーブル１２を介して外部AV機器１１に接続されるとともに、例えばインターネットやワイヤレスLAN等のネットワーク１４に、クライアント機器１５とストリーミングデータを送信するための通信接続を確立することができるように接続されている。
ストリーミングサーバ１３は、AVケーブル１２を介して送信されてきた外部AV機器１１からのAV信号を受信する。
クライアント機器１５とストリーミングデータを送信するための通信接続が確立されたストリーミングサーバ１３は、受信したAV信号に対応する例えば１フレーム分の画像データ（すなわちストリーミング対象の画像データ）のうち、クライアント機器１５から送信されたエンコードパラメータに対応する領域の画像データを、例えばMPEG等の規格に基づいてエンコードするとともに、AES等の暗号化手段による暗号化やデジタルパケット化を行って、ストリーミングデータを生成する。ストリーミングサーバ１３は、このようにして生成したストリーミングデータを、ネットワーク１４を介してクライアント機器１５に送信する。
クライアント機器１５は、ストリーミングサーバ１３とストリーミングデータを受信するための通信接続を確立することができるように、ネットワーク１４に接続されている。
クライアント機器１５は、ストリーミングデータを受信するための通信接続が確立されているストリーミングサーバ１３の数に応じて、その各ストリーミングサーバ１３に、エンコードさせるストリーミング対象画像の領域を決定し、その領域を示すエンコードパラメータを、そのストリーミングサーバ１３に送信する。
クライアント機器１５は、ストリーミングデータを受信するための通信接続が確立されている各ストリーミングサーバ１３から送信されてきたストリーミングデータのそれぞれを受信し、クライアント機器１５に搭載されたアプリケーション等の表示に従って、そのストリーミングデータのそれぞれのデコード等を行うとともに、その結果得られた画像を統合して表示する。
図２は、ストリーミングサーバ１３の画像処理に係る部分の構成例を示している。
入力部２１は、AVケーブル１２に接続され、外部AV機器１１から出力されたAV信号を入力し、デジタル信号に変換して画像処理部２２に供給する。
画像処理部２２は、入力部２１から供給されたAVデータ（例えば、１フレーム分の画像データ）のうち、制御部２４から入力されたクライアント機器１５から送信されてきたエンコードパラメータに対応する領域の画像データを、MPEG等の規格に基づいてエンコードするとともに、AES等の暗号化手段による暗号化やデジタルパケット化を行い、その結果得られたストリーミングデータを、通信I/F２３に供給する。
通信I/F２３は、ネットワーク１４に、クライアント機器１５とストリーミングデータを送信するための通信接続を確立することができるように接続され、その通信接続が確立されたクライアント機器１５から送信されてきたエンコードパラメータを受信し、制御部２４に供給する。通信I/F２３はまた、画像処理部２２から供給されたストリーミングデータを、ネットワーク１４を介して、ストリーミングデータを送信するための通信接続が確立されたクライアント機器１５に送信する。
制御部２４は、CPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）等で構成され、各部を制御する。
図３は、クライアント機器１５の画像処理に係る部分の構成例を示している。
通信I/F３１は、ストリーミングサーバ１３とストリーミングデータを受信するための通信接続を確立することができるように、ネットワーク１４に接続され、制御部３５から供給された、エンコードパラメータを、そのストリーミングサーバ１３に送信する。通信I/F３１はまた、ネットワーク１４を介してストリーミングサーバ１３から送信されてきたストリーミングデータを受信し、画像処理部３２に供給する。
画像処理部３２は、ストリーミングデータを受信するための通信接続が確立されているストリーミングサーバ１３の数に応じて、ストリーミングデータを受信するための通信接続が確立されている各ストリーミングサーバ１３にエンコードさせる領域を決定し、その領域を示すエンコードパラメータを、通信I/F３１に供給する。
なお以下において、ストリーミングデータを送信するための通信接続およびストリーミングデータを受信するための通信接続を、個々に区別する必要がない場合、ストリーミング配信接続と称する。
画像処理部３２はまた、通信I/F部３１から供給されたストリーミングサーバ１３から送信されてきたストリーミングデータの暗号を復号してデコードし、その結果得られた画像を統合して、表示制御部３３に供給する。
表示制御部３３は、画像処理部３２から供給された画像データに対応する画像を、表示部３４に表示させる。
制御部３５は、CPU、ROM、RAM等で構成され、各部を制御する。
次に、ストリーミングサーバ１３の動作を、図４のフローチャートを参照して説明する。
ステップＳ１において、ストリーミングサーバ１３の制御部２４は、通信I/F２３により、クライアント機器１５から送信されたストリーミング配信接続の要求が受信されるまで待機し、その要求が受信されたとき、ステップＳ２に進み、通信I/F２３を制御して、認証処理等の所定の処理をクライアント機器１５と協同して実行させ、その結果に基づいてクライアント機器１５とのストリーミング配信接続を確立させる。
クライアント機器１５とのストリーミング配信接続が確立されると、ステップＳ３において、ストリーミングサーバ１３の通信I/F２３は、クライアント機器１５から送信されたエンコードパラメータを受信して制御部２４に供給する。
ステップＳ４において、制御部２４は、通信I/F２３から供給されたエンコードパラメータを画像処理部２２に設定し、ステップＳ５およびステップＳ６において、エンコード処理を実行させる。
すなわち画像処理部２２は、ステップＳ５において、入力部２１から供給された１フレーム分の画像データの、設定されたエンコードパラメータに応じた領域の画像データを読み込み、ステップＳ６において、読み込んだ画像データを、MPEG等の規格に基づいてエンコードするとともに、AES等の暗号化手段による暗号化やデジタルパケット化を行う。
ステップＳ７において、画像処理部２２は、上述した画像処理の結果得られたストリーミングデータを、通信I/F２３に供給し、通信I/F２３は、画像処理部２２から供給されたストリーミングデータを、ネットワーク１４を介して、クライアント機器１５に送信する。
ステップＳ８において、制御部２４は、通信I/F２３により、エンコードパラメータが新たに受信されたか否かを判定し、受信されていないと判定した場合、すなわち先に受信されたエンコードパラメータによるストリーミングが継続している場合、ステップＳ９において、通信I/F２３により、ストリーミング配信接続の切断要求が受信されたか否かを判定し、受信されていないと判定した場合、ステップＳ５に戻り、それ以降の処理を同様に実行する。すなわち先に受信されたエンコードパラメータによるストリーミングが継続して実行される。
ステップＳ８で、エンコードパラメータが受信されたと判定された場合、ステップＳ４に戻り、新たに受信されたエンコードパラメータが画像処理部２２に設定され、ステップＳ５以降の処理が同様に実行される。
ステップＳ９で、ストリーミング配信接続の切断要求が受信されたと判定された場合、ステップＳ１０において、制御部２４は、通信I/F２３を制御して、ステップＳ２で確立したストリーミング配信接続を切断させ、ストリーミング処理を終了させる。
次に、クライアント機器１５の画像処理を、図５のフローチャートを参照して説明する。
クライアント機器１５の図示せぬ操作部がユーザに操作されて、ストリーミング開始の指令が制御部３５に入力されると、ステップＳ２１において、制御部３５は、既にストリーミング配信接続が確立しているストリーミングサーバ１３が存在するか否かを判定し、まだ存在しないと判定した場合、処理を、ステップＳ２２に進める。
ステップＳ２２において、制御部３５は、ストリーミングデータを再生するためのアプリケーションプログラムの１つのスレッドを起動し、通信I/F３１を制御して、認証処理等の所定の処理を所定の１個のストリーミングサーバ１３と協同して実行させ、その結果に基づいてそのストリーミングサーバ１３とのストリーミング配信接続を確立させる。
なお以下において制御部３５が実行する処理は、起動されたスレッドによって実行される。
次に、ステップＳ２３において、制御部３５は、再生用ウインドウのサイズを、例えば表示部３４の画面サイズとするとともに、通信I/F３１を制御して、ストリーミング対象画像の全領域を示すエンコードパラメータを、ステップＳ２２でストリーミング配信接続が確立されたストリーミングサーバ１３に送信させる。
ステップＳ２４において、通信I/F３１は、ストリーミング配信接続が確立されたストリーミングサーバ１３から送信されてきたストリーミングデータを受信し、画像処理部３２に供給する。
ステップＳ２５において、制御部３５は、画像処理部３２を制御して、通信I/F３１から供給されたストリーミングデータに対する復号処理、デコード処理を行わせる。
次に、ステップＳ２６において、制御部３５は、表示制御部３３を制御して、デコードされた画像を再生用ウインドウ（いまの場合、表示部３４の画面全体）に表示させる。
ステップＳ２７において、制御部３５は、図示せぬ操作部が操作されてストリーミングサーバ１３の追加接続が要求されたか否かを判定し、要求されていないと判定した場合、ステップＳ２８において、ストリーミング終了の指令が入力されたか否かを判定する。
ステップＳ２８で、ストリーミング終了の指令が入力されていないと判定された場合、ステップＳ２４に戻り、それ以降の処理が同様に行われる。
このようにストリーミング開始時に、ストリーミング配信接続が確立しているストリーミングサーバ１３が存在しない場合、所定の１個のストリーミングサーバ１３とストリーミング配信接続が確立され、そのストリーミングサーバ１３から送信されてきたストリーミングデータに対応する画像が表示される。
この場合、ストリーミング対象画像はその１個のストリーミングサーバ１３によりエンコード等されるが、ストリーミングサーバ１３は、処理可能な画素数に応じて、ストリーミング対象画像を間引きしてエンコード等の処理を実行し、ストリーミングデータを生成する。
ステップＳ２７で、ストリーミングサーバ１３の追加接続が要求されたと判定された場合、処理は、ステップＳ２９に進む。
クライアント機器１５の表示部３４には、例えば図６に示すような、ストリーミング配信接続を確立するストリーミングサーバ１３を選択できる操作画面が表示されるようになされており、その操作画面上の所定のストリーミングサーバ１３の表示をポインタで選択したり、ドラック＆ドロップして選択することで、追加接続するストリーミングサーバ１３を指定することができる。
なお図６の例において影が付されているストリーミングサーバ１３の表示は、その表示のストリーミングサーバ１３とのストリーミング配信接続が既に確立されていることを表している。
図５に戻りステップＳ２９において、制御部３５は、再生用スレッドを追加起動して、通信I/F３１を制御し、認証処理等の所定の処理を追加接続が要求されたストリーミングサーバ１３と協同して実行させ、その結果に基づいてそのストリーミングサーバ１３とのストリーミング配信接続を確立させる。
ステップＳ２９で、追加接続の要求に応じてストリーミング配信接続が確立されたとき、またはステップＳ２１で、既にストリーミング配信接続が確立しているストリーミングサーバ１３が存在すると判定されたとき、処理は、ステップＳ３０に進み、制御部３５は、いまストリーミング配信接続が確立しているストリーミングサーバ１３の数等に応じて、そのストリーミングサーバ１３にエンコードさせるストリーミング対象画像の領域を決定し、その領域を示すエンコードパラメータを生成する。制御部３５は、通信I/F３１を制御して、生成したエンコードパラメータを、いまストリーミング配信接続が確立されているストリーミングサーバ１３に送信させる。
例えば、図７に示すように、ストリーミングサーバ１３に供給される外部AV機器１１からのAV信号に対応する画像の画サイズ（すなわちストリーミング対象画像の全領域）がＸ×Ｙである場合において、２個のストリーミングサーバ１３−１，１３−２との間でストリーミング配信接続が確立しているとき、ストリーミングサーバ１３−１にエンコードさせる領域は、（０，０）を始点とし、（Ｘ／２，Ｙ）を終点とする領域とされて、その領域を示すエンコードパラメータがストリーミングサーバ１３−１に送信される。またストリーミングサーバ１３−２にエンコードさせる領域は、（Ｘ／２，０）を始点とし、（Ｘ，Ｙ）を終点とする領域とされて、その領域を示すエンコードパラメータがストリーミングサーバ１３−２に送信される。
なおエンコードさせる領域は、ストリーミングサーバ１３のエンコード処理能力等によって決定されるが、縦方向に均等に領域を分割するようにする場合、Ｍ個のストリーミングサーバ１３とストリーミング配信接続が確立されているとき、ｍ個目のストリーミングサーバ１３にエンコードさせる領域は、一般的には、図８に示すように、（Ｘ×（ｍ−１）／Ｍ，０）を始点とし、（Ｘ×ｍ／Ｍ，Ｙ）と終点とする領域となる。
図５に戻りステップＳ３１において、制御部３５は、いまストリーミング配信接続が確立しているストリーミングサーバ１３の数に応じて、各スレッドによる再生用ウインドウのサイズを決定する。この再生用ウインドウも、エンコードさせる領域と同様に、ストリーミング配信接続が確立しているストリーミングサーバ１３の数に応じて、表示部３４の再生用ウインドウが分割される。
その後ステップＳ２４に戻りそれ以降の処理が実行される。すなわちストリーミング配信接続が確立された各ストリーミングサーバ１３から送信されてきたストリーミングデータが受信される（ステップＳ２４）。
受信された各ストリーミングデータが復号、デコードされる。（ステップＳ２５）。
デコード等の結果得られた各画像が割り当てられた再生ウインドウに表示される（ステップＳ２６）。
このようにストリーミング配信接続が確立しているストリーミングサーバ１３の数に応じて、各ストリーミングサーバ１３にエンコードさせる領域を決定し、ストリーミングサーバ１３にストリーミング対象画像の一部をエンコードさせ、エンコードされたその領域の画像データに対応する画像を統合して表示するようにしたので、ストリーミングサーバ１３のそれぞれの画像処理能力がクライアント機器１５より劣る場合であっても、クライアント機器１５の画像処理能力に対応した高画質の画像を表示させることができる。
例えばストリーミング対象画像がハイビジョン映像に対応する画像（1080×720画素の画像）であって、クライアント機器１５がハイビジョン映像表示可能な画像処理能力を有している場合、ストリーミングサーバ１３の画像処理能力の上限が、400×300画素の画像に対する処理であるとき、７個のストリーミングサーバ１３を用意し、それらにストリーミング対象画像の所定の領域をエンコードさせれば、クライアント機器１５でハイビジョン映像を再現することができる。
またこのようにストリーミングサーバ１３を追加接続することができ、ストリーミングサーバ１３にエンコードさせる領域は、その数に応じて狭めるようにしたので、例えば中古品等の画像処理能力が劣るストリーミングサーバ１３を購入し随時追加接続することで、ユーザは、ハイスペックのストリーミングサーバ１３を購入しなくても高画質の映像をクライアント機器１５で視聴することができる。
ステップＳ２８で、ストリーミング終了の指令が入力されたと判定された場合、ステップＳ３２に進み、制御部３５は、通信I/F３１を制御して、ストリーミング配信接続の切断の要求を、ストリーミング配信接続が確立しているストリーミングサーバ１３に送信させ、ストリーミング配信接続を切断させる。その後処理は終了する。
なお以上においては、ストリーミングサーバ１３が４個の場合を例として説明したが、クライアント機器１５およびストリーミングサーバ１３の性能に応じて、他の数のストリーミングサーバ１３を利用することができる。
また各ストリーミングサーバ１３は、同じ時刻を示す時計を有しており、上述したストリーミングサーバ１３の動作は、各ストリーミングサーバ１３が同期して実行するようになされている。
図９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記憶部２０８、ネットワークインタフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５およびバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
本発明を適用したストリーミング配信システムの構成例を示している。 図１のストリーミングサーバ１３の構成例を示すブロック図である。 図１のクライアント機器１５の構成例を示すブロック図である。 ストリーミングサーバ１３の動作を説明するフローチャートである。 クライアント機器１５の動作を説明するフローチャートである。 クライアント機器１５におけるストリーミングサーバ１３の追加接続のための操作画面の例を示す図である。 ストリーミングサーバ１３でエンコードされる領域を説明する図である。 ストリーミングサーバ１３でエンコードされる領域を説明する他の図である。 パーソナルコンピュータの構成例を示すブロック図である。
符号の説明
１１ 外部AV機器， １３ ストリーミングサーバ， １４ ネットワーク， １５ クライアント機器， ２１ 入力部， ２２ 画像処理部， ２３ 通信I/F， ２４ 制御部， ３１ 通信I/F， ３２ 画像処理部， ３３ 表示制御部， ３４ 表示部， ３５ 制御部

Claims (7)

  1. 複数のサーバと、前記複数のサーバからストリーミング配信されてきた画像を統合して表示する画像処理装置からなる画像処理システムにおいて、
    前記複数のサーバのそれぞれは、
    画像データを入力する入力手段と、
    前記画像処理装置から送信されてきた領域情報を受信する領域情報受信手段と、
    前記入力手段により入力された前記画像データの中の、前記領域情報受信手段により受信された前記領域情報に応じた領域の画像データをエンコードするエンコード手段と、
    前記エンコード手段によりエンコードされた前記画像データを、前記画像処理装置にストリーミング配信する配信手段と
    を備え、
    前記画像処理装置は、
    前記複数のサーバ毎の前記領域情報を、前記サーバの数に応じて生成する生成手段と、
    前記生成手段により生成された前記領域情報を、それぞれ所定の前記サーバに送信する送信手段と、
    前記複数のサーバにより配信されてきた前記画像データを受信する画像データ受信手段と、
    前記画像データ受信手段により受信された前記画像データをデコードするデコード手段と、
    前記デコード手段によるデコード処理の結果得られた画像を統合して表示する表示手段と
    を備えることを特徴とする画像処理システム。
  2. 複数のサーバからストリーミング配信されてきた画像を統合して表示する画像処理装置において、
    前記複数のサーバのそれぞれにエンコードさせる、ストリーミング対象画像の領域を示す領域情報を生成する生成手段と、
    前記生成手段により生成された前記領域情報を、それぞれ所定の前記サーバに送信する送信手段と、
    前記複数のサーバにより配信されてきた、前記領域情報に応じてエンコードされた前記ストリーミング対象画像の所定の領域の画像データを受信する受信手段と、
    前記受信手段により受信された前記画像データをデコードするデコード手段と、
    前記デコード手段によるデコード処理の結果得られた画像を統合して表示する表示手段と
    を備える画像処理装置。
  3. 複数のサーバからストリーミング配信されてきた画像を統合して表示する画像処理装置の画像処理方法において、
    前記複数のサーバのそれぞれにエンコードさせる、ストリーミング対象画像の領域を示す領域情報を生成する生成ステップと、
    前記生成ステップの処理で生成された前記領域情報を、それぞれ所定の前記サーバに送信する送信ステップと、
    前記複数のサーバにより配信されてきた、前記領域情報に応じてエンコードされた前記ストリーミング対象画像の所定の領域の画像データを受信する受信ステップと、
    前記受信ステップの処理で受信された前記画像データをデコードするデコードステップと、
    前記デコードステップでのデコード処理の結果得られた画像を統合して表示する表示ステップと
    を含む画像処理方法。
  4. 複数のサーバからストリーミング配信されてきた画像を統合して表示する画像処理をコンピュータに実行させるプログラムにおいて、
    前記複数のサーバのそれぞれにエンコードさせる、ストリーミング対象画像の領域を示す領域情報を生成する生成ステップと、
    前記生成ステップの処理で生成された前記領域情報を、それぞれ所定の前記サーバに送信する送信ステップと、
    前記複数のサーバにより配信されてきた、前記領域情報に応じてエンコードされた前記ストリーミング対象画像の所定の領域の画像データを受信する受信ステップと、
    前記受信ステップの処理で受信された前記画像データをデコードするデコードステップと、
    前記デコードステップでのデコード処理の結果得られた画像を統合して表示する表示ステップと
    を含む画像処理をコンピュータに実行させるプログラム。
  5. ストリーミング配信されてきた複数の画像を統合して表示する端末装置にそれぞれストリーミング対象画像の所定の領域の画像データをストリーミング配信する複数の画像処理装置において、
    前記複数の画像処理装置のそれぞれは、
    ストリーミング対象画像の画像データを入力する入力手段と、
    前記端末装置から送信されてきた領域情報を受信する領域情報受信手段と、
    前記入力手段により入力された前記ストリーミング対象画像の画像データの、前記領域情報受信手段により受信された前記領域情報に応じた領域の画像データをエンコードするエンコード手段と、
    前記エンコード手段によりエンコードされた前記画像データを、前記端末装置にストリーミング配信する配信手段と
    を備える画像処理装置。
  6. ストリーミング配信されてきた複数の画像を統合して表示する端末装置にそれぞれストリーミング対象画像の所定の領域の画像データをストリーミング配信する複数の画像処理装置の画像処理方法において、
    ストリーミング対象画像の画像データを入力する入力ステップと、
    前記端末装置から送信されてきた領域情報を受信する領域情報受信ステップと、
    前記入力ステップの処理で入力された前記ストリーミング対象画像の画像データの、前記領域情報受信ステップの処理で受信された前記領域情報に応じた領域の画像データをエンコードするエンコードステップと、
    前記エンコードステップの処理でエンコードされた前記画像データを、前記端末装置にストリーミング配信する配信ステップと
    を含む画像処理方法。
  7. ストリーミング配信されてきた複数の画像を統合して表示する端末装置にそれぞれストリーミング対象画像の所定の領域の画像データをストリーミング配信する画像処理をコンピュータに実行させるプログラムにおいて、
    ストリーミング対象画像の画像データを入力する入力ステップと、
    前記端末装置から送信されてきた領域情報を受信する領域情報受信ステップと、
    前記入力ステップの処理で入力された前記ストリーミング対象画像の画像データの、前記領域情報受信ステップの処理で受信された前記領域情報に応じた領域の画像データをエンコードするエンコードステップと、
    前記エンコードステップの処理でエンコードされた前記画像データを、前記端末装置にストリーミング配信する配信ステップと
    を含む画像処理をコンピュータに実行させるプログラム。
JP2007108346A 2007-04-17 2007-04-17 画像処理システム、画像処理装置、画像処理方法、およびプログラム Expired - Fee Related JP4325697B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007108346A JP4325697B2 (ja) 2007-04-17 2007-04-17 画像処理システム、画像処理装置、画像処理方法、およびプログラム
US12/051,205 US20080263220A1 (en) 2007-04-17 2008-03-19 Image processing system, image processing apparatus, image processing method, and program
CN2008100922174A CN101291432B (zh) 2007-04-17 2008-04-17 图像处理系统、图像处理设备及图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007108346A JP4325697B2 (ja) 2007-04-17 2007-04-17 画像処理システム、画像処理装置、画像処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2008270968A true JP2008270968A (ja) 2008-11-06
JP4325697B2 JP4325697B2 (ja) 2009-09-02

Family

ID=39873354

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007108346A Expired - Fee Related JP4325697B2 (ja) 2007-04-17 2007-04-17 画像処理システム、画像処理装置、画像処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US20080263220A1 (ja)
JP (1) JP4325697B2 (ja)
CN (1) CN101291432B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5163233B2 (ja) * 2008-03-31 2013-03-13 富士通株式会社 情報処理装置、プログラム、方法、処理回路及び通信システム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3653569B2 (ja) * 1997-01-30 2005-05-25 マイクロソフト コーポレーション ビデオをオン・デマンドでレンダリングするｖｃｒに似た機能
US7814208B2 (en) * 2000-04-11 2010-10-12 Science Applications International Corporation System and method for projecting content beyond firewalls
IES20010610A2 (en) * 2001-03-08 2002-09-18 Richmount Computers Ltd Reset facility for redundant processor using a fibre channel loop
US7548984B2 (en) * 2002-05-27 2009-06-16 Panasonic Corporation Stream distribution system, stream server device, cache server device, stream record/playback device, related methods and computer programs
US20040111526A1 (en) * 2002-12-10 2004-06-10 Baldwin James Armand Compositing MPEG video streams for combined image display
JP2006525693A (ja) * 2003-02-13 2006-11-09 ノキア コーポレイション マルチメディア・ストリーミングにおけるクライアント速度機能のシグナリング方法
US7075541B2 (en) * 2003-08-18 2006-07-11 Nvidia Corporation Adaptive load balancing in a multi-processor graphics processing system
US8085273B2 (en) * 2003-11-19 2011-12-27 Lucid Information Technology, Ltd Multi-mode parallel graphics rendering system employing real-time automatic scene profiling and mode control
JP2005244931A (ja) * 2004-01-26 2005-09-08 Seiko Epson Corp マルチ画面映像再生システム
JP4977950B2 (ja) * 2004-02-04 2012-07-18 セイコーエプソン株式会社 マルチ画面映像再生システム、映像再生方法及び表示装置
US7587454B2 (en) * 2004-12-08 2009-09-08 Nice Systems Ltd. Video streaming parameter optimization and QoS
US7558870B2 (en) * 2005-02-22 2009-07-07 Alcatel Lucent Multimedia content delivery system
US7472197B2 (en) * 2005-10-31 2008-12-30 Ut Starcom, Inc. Method and apparatus for automatic switching of multicast/unicast live TV streaming in a TV-over-IP environment
CN1859561B (zh) * 2005-11-01 2010-05-12 华为技术有限公司 流媒体点播系统及方法
US7623131B1 (en) * 2005-12-16 2009-11-24 Nvidia Corporation Graphics processing systems with multiple processors connected in a ring topology
US7561163B1 (en) * 2005-12-16 2009-07-14 Nvidia Corporation Detecting connection topology in a multi-processor graphics system
US20070260546A1 (en) * 2006-05-03 2007-11-08 Batalden Glenn D Apparatus and Method for Serving Digital Content Across Multiple Network Elements
CN101663640A (zh) * 2007-06-27 2010-03-03 国际商业机器公司 提供合成显示的系统和方法

Also Published As

Publication number Publication date
CN101291432A (zh) 2008-10-22
CN101291432B (zh) 2011-03-30
JP4325697B2 (ja) 2009-09-02
US20080263220A1 (en) 2008-10-23

Similar Documents

Publication Publication Date Title
JP7284906B2 (ja) メディアコンテンツの配信および再生
US20220263885A1 (en) Adaptive media streaming method and apparatus according to decoding performance
US10567809B2 (en) Selective media playing method and apparatus according to live streaming and recorded streaming
US10250664B2 (en) Placeshifting live encoded video faster than real time
TWI565310B (zh) 無線通訊系統中的視訊流送
US9665336B2 (en) Direct streaming for wireless display
US10979785B2 (en) Media playback apparatus and method for synchronously reproducing video and audio on a web browser
US20140137168A1 (en) Transmitting apparatus, control method for transmitting apparatus, control program, and recording medium
CN104769952A (zh) 无线媒体流系统
IL220482A (en) Deaf hearing with codec frame dimensions - held
KR20130138263A (ko) 케이블 텔레비전 시스템을 이용하는 비디오 장치들 간의 디지털 비디오의 스트리밍
JPWO2014057896A1 (ja) コンテンツ再生装置
JP2009021901A (ja) 画像送信装置、画像送信方法、受信装置および画像送信システム
KR101821123B1 (ko) 웹브라우저 상에서 미디어 스트림을 재생하는 방법 및 장치
JP2013106344A (ja) ディジタル・メディア・サーバからディジタル・メディア・レンダラにビデオ・コンテンツを出力する方法、及び関連したメディア共有システム
KR101821124B1 (ko) 웹브라우저 상에서 미디어 스트림을 재생하는 방법 및 장치
JPWO2014010445A1 (ja) コンテンツ送信装置、コンテンツ再生装置、コンテンツ配信システム、コンテンツ送信装置の制御方法、コンテンツ再生装置の制御方法、データ構造、制御プログラムおよび記録媒体
US9218848B1 (en) Restructuring video streams to support random access playback
WO2016199609A1 (ja) 情報処理装置および情報処理方法
JP2010028232A (ja) 通信制御装置および通信制御方法
JP4325697B2 (ja) 画像処理システム、画像処理装置、画像処理方法、およびプログラム
JP2012137900A (ja) 映像出力システム、映像出力方法及びサーバ装置
CN101237564A (zh) 数字型无线监视系统和方法
JP2006285586A (ja) コンテンツ配信システム、コンテンツ配信装置、コンテンツ配信プログラムおよびコンピュータプログラム
WO2020050058A1 (ja) コンテンツ配信システムおよびコンテンツ配信方法、並びにプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090519

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090601

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120619

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120619

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120619

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130619

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees