JP2009021901A - 画像送信装置、画像送信方法、受信装置および画像送信システム - Google Patents

画像送信装置、画像送信方法、受信装置および画像送信システム Download PDF

Info

Publication number
JP2009021901A
JP2009021901A JP2007183988A JP2007183988A JP2009021901A JP 2009021901 A JP2009021901 A JP 2009021901A JP 2007183988 A JP2007183988 A JP 2007183988A JP 2007183988 A JP2007183988 A JP 2007183988A JP 2009021901 A JP2009021901 A JP 2009021901A
Authority
JP
Japan
Prior art keywords
image
image frame
information
tile
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007183988A
Other languages
English (en)
Other versions
JP5326234B2 (ja
Inventor
Eizaburo Itakura
英三郎 板倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007183988A priority Critical patent/JP5326234B2/ja
Priority to TW97125098A priority patent/TWI428020B/zh
Priority to EP20080252306 priority patent/EP2019553A3/en
Priority to KR20080065965A priority patent/KR20090007220A/ko
Priority to US12/218,000 priority patent/US20090016622A1/en
Priority to CN2008101307469A priority patent/CN101345865B/zh
Publication of JP2009021901A publication Critical patent/JP2009021901A/ja
Application granted granted Critical
Publication of JP5326234B2 publication Critical patent/JP5326234B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】受信側で選択領域の画像表示を容易に行えるようにする。
【解決手段】選択情報受信部１４６は、クライアント端末１２０から送信されてくるタイル選択情報を受信してタイル選択部１４７に供給する。タイル選択部１４７は、タイル選択情報に基づいてタイルを選択する。情報処理部１４４には、符号化部１４２で符号化されて得られたコードストリーム、あるいは、ＨＤＤ１１８から読み出されたコードストリームが供給される。情報処理部１４４は、コードストリームに含まれる複数のタイルの符号化データから、領域選択部１４７で選択されたタイルの符号化データを取り出すと共に、この選択された各タイルの構成情報を含むヘッダを作成し、新たなコードストリームを生成する。パケット送信部１４５は、情報処理部１４４で生成された新たなコードストリームをパケット化して、クライアント端末１２０に送信する。
【選択図】図２

Description

この発明は、画像送信装置、画像送信方法、受信装置および画像送信システムに関する。詳しくは、この発明は、画像フレームを分割して得られた複数の領域の符号化データと、各領域の構成情報を含むヘッダとからなる画像フレーム情報を取り扱うものにあって、選択領域の符号化データを取り出すと共に各選択領域の構成情報を含むヘッダを作成して新たな画像フレーム情報を生成し、当該新たな画像フレーム情報を受信側に送信することにより、受信側で選択領域の画像表示を容易に行えるようにした画像送信装置等に係るものである。
画像配信システムは、サーバ（画像配信装置）およびクライアント端末（受信装置）がネットワークを介して接続された構成となっている。このような画像配信システムにおいて、受信側で画像フレームの一部だけを表示したい場合、従来は、以下のような方法により表示していた。
すなわち、（１）受信側で、完全な１フレームを構成するためのすべてのデータを受信して復号化した上で、表示したい画像フレームの一部だけを切り出して表示を行っていた。あるいは、（２）サーバ側で、蓄積データの場合であれば完全な１フレームを復号化した後、受信側が要求する画像フレームの一部を切り出して再符号化して受信側に送信し、受信側にて復号化して表示していた。
（１）の方法では、受信側で必要とする帯域以上のネットワーク帯域が伝送に使用され、また、受信側においても必要以上の復号化処理を行うこととなり、ソフトウェア処理であればＣＰＵを多く消費し、またハードウェア処理では消費電力を多く消費する。また、（２）の方法では、サーバ側にて一度符号化されたデータを復号化後、再符号化する必要があり、サーバが多数のクライアント端末から異なる画像の選択伝送要求を受けた場合に、再符号化のために多くのＣＰＵやハードウェア処理のための資源が必要となる。いずれの方法においても、クライアント端末が必要とする領域を処理する以上の資源が浪費される問題があった。
特許文献１には、ＪＰＥＧ２０００のタイルを活用し、送信側から受信側に、画像フレームの一部を切り出して送る、画像配信システムが記載されている。
特開２００３−１７９９０４号公報
特許文献１に記載される画像配信システムにおいては、送信側から受信側に、視点映像およびその周辺部を含む任意の数のタイルよりなる画像が配信され、受信側では、各タイルを復号化した後、視点に対応する範囲の表示画像が再構成されて表示される。すなわち、特許文献１に記載される画像配信システムでは、送信側から受信側に配信されるタイル画像はそのまま表示されるものではなく、受信側では表示画像を再構成する処理が必要となる。
この発明の目的は、受信側で選択領域の画像表示を容易に行えるようにすることにある。
この発明の概念は、
画像フレームを分割して得られた複数の領域の符号化データと、各領域の構成情報を含むヘッダとからなる画像フレーム情報に基づいて画像送信を行う画像送信装置であって、
単一の画像フレームあるいは複数の異なる画像フレームの上記複数の領域からひとつまたは複数の領域を選択する領域選択部と、
上記単一の画像フレームあるいは複数の異なる画像フレームの上記画像フレーム情報に含まれる複数の領域の符号化データから上記領域選択部で選択された領域の符号化データを取り出すと共に、上記領域選択部で選択された各領域の構成情報を含むヘッダを作成し、新たな画像フレーム情報を生成する情報処理部と、
上記情報処理部で生成された画像フレーム情報を、受信側に送信する送信部と
を備えることを特徴とする画像送信装置にある。
この発明においては、画像フレームを分割して得られた複数の領域の符号化データと、各領域の構成情報を含むヘッダとからなる画像フレーム情報に基づいて画像送信が行われる。例えば、画像送信装置は、入力画像フレームを複数の領域に分割して符号化して上述の画像フレーム情報を得る符号化部、さらには、この画像フレーム情報を蓄積する蓄積部をさらに備えるようにされてもよい。この場合、符号化部では、例えば、ＪＰＥＧ(Joint Photographic Experts Group)２０００方式の符号化が行われる。
領域選択部により、単一の画像フレームあるいは複数の異なる画像フレームの複数の領域から、ひとつまたは複数の領域が選択される。この場合、例えば、受信側から送信されてくる領域選択情報に基づいて、領域の選択が行われる。情報処理部では、単一の画像フレームあるいは複数の異なる画像フレームの画像フレーム情報に含まれる複数の領域の符号化データから、選択領域の符号化データが取り出されると共に、選択された各領域の構成情報を含むヘッダが作成され、新たな画像フレーム情報が生成される。そして、送信部により、この新たな画像フレーム情報が受信側に送信される。
このように、受信側には、選択領域の符号化データに、当該選択された各領域の構成情報を含むヘッダが付加されてなる、新たな画像フレーム情報が送られる。そのため、受信側では、ヘッダに含まれる構成情報に基づいて、選択領域の画像表示を容易に行うことができる。
この発明によれば、画像フレームを分割して得られた複数の領域の符号化データと、各領域の構成情報を含むヘッダとからなる画像フレーム情報に基づいて画像送信を行うものにあって、選択領域の符号化データを取り出すと共に、各選択領域の構成情報を含むヘッダを作成して新たな画像フレーム情報を生成し、当該画像フレーム情報を受信側に送信するものであり、受信側で選択領域の画像表示を容易に行うことができる。
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としての画像配信システム１００の構成例を示している。
画像配信システム１００は、サーバ１１０と、クライアント端末１２０とを備えている。クライアント端末１２０は、ネットワーク１３０を介してサーバ１１０に接続されている。ここで、サーバ１１０は画像送信装置を構成し、クライアント端末１２０は受信装置を構成している。
サーバ１１０は、ＣＰＵ（CentralProcessing Unit）１１１と、メモリ１１２と、ディスクコントローラ１１３と、画像入力コントローラ１１４と、符号化部１１５と、通信コントローラ１１６とを有し、これらはバス１１７に接続されている。
ＣＰＵ１１１は、サーバ１１０の全体の動作を制御する。メモリ１１２には、ＲＯＭ(Read Only Memory)およびＲＡＭ(Random AccessMemory)が含まれている。ＲＯＭは、ＣＰＵ１１１の動作を制御するための制御プログラム等を格納している。ＲＡＭは、ＣＰＵ１１１のワーキングエリア等として機能する。ＣＰＵ１１１は、ＲＯＭに格納されている制御プログラムを必要に応じて読み出し、読み出した制御プログラムをＲＡＭに転送して展開する。そして、このＣＰＵ１１１は、ＲＡＭに展開された制御プログラムを読み出して実行することで、サーバ１１０の各部を制御する。
ディスクコントローラ１１３は、ＣＰＵ１１１からの指示に対応して、外付けのハードディスクドライブ（ＨＤＤ：Hard Disk Drive）１１８を制御する。なお、ハードディスクドライブ１１８は、サーバ１１０に内蔵された構成であってもよい。このハードディスクドライブ１１８は、蓄積部を構成している。
画像入力コントローラ１１４は、ＣＰＵ１１１からの指示に対応して、デジタルカメラ、ＶＴＲ(Video Tape Recorder)等から、画像フレームを取り込む。符号化部１１５は、画像入力コントローラ１１４で取り込まれる画像フレームをＪＰＥＧ２０００で圧縮符号化する。すなわち、符号化部１１５は、画像フレームを複数のタイル（矩形領域）に分割して、タイル単位で独立して復号可能な符号化を行う。
符号化部１１５から出力される符号化された画像データ、つまり、コードストリームは、画像フレーム情報を構成する。この画像フレーム情報は、画像フレームを分割して得られた複数のタイルの符号化データと、各タイルの構成情報を含むヘッダとからなっている。ここで、各タイルの構成情報とは、各タイルの大きさ、リファレンスグリッドに対する配置位置等の情報である。
ここで、コードストリームの構造を説明する。図３（ａ）は、ＪＰＥＧ２０００のコードストリームの構造を示している。コードストリームは、先頭に位置するメインヘッダ、タイルパートを構成する単位の先頭に位置するタイルパートヘッダ、符号化データのビットストリーム、コードストリームの終りを示すＥＯＣ(End of Code Stream)で構成される。図示していないが、タイルパートヘッダおよびビットストリームの部分は、タイルの個数だけ、繰り返し存在する。
図３（ｂ）は、タイルパートヘッダの構造を示している。タイルパートヘッダは、タイルパートの先頭を示す、ＳＯＴ（Start of Tile-part）と、オプション扱いのマーカセグメント、そして、現在のタイルパートに対応したビットストリームデータの先頭を示すＳＯＤ(Start of Data)のマーカコードで構成されている。なお、ＳＯＤは、タイルパートヘッダの後尾位置をも示している。
次に、コードストリームを構成するメインヘッダの構造を説明する。メインヘッダは、図４（ｂ）に示すように、ＳＯＣ(Start of Code Stream)と、それに続くイメージとタイルサイズを示すＳＩＺ(Image and tile size)マーカセグメントで構成されている。ＳＩＺマーカセグメントは、ＳＩＺ，Ｌsiz，Ｒsiz，Ｘsiz，Ｙsiz，ＸＯsiz，ＹＯsiz，ＸＴsiz，ＹＴsiz，ＸＴＯsiz，ＹＴＯsiz，Ｃsiz，Ｓsiz0，Ｓsiz1，Ｓsiz2等で構成されている。なお、図４（ａ）は、図３（ａ）と同様に、ＪＰＥＧ２０００のコードストリームの構造を示している。
ＳＩＺはマーカセグメントを示すマーカコードで0xFF51の固定値を取る。Ｌsizはマーカセグメントのバイト長を示す。Ｒsizはデコーダのプロファイル指定を示す。以下Ｘは水平方向のサイズの値、Ｙは垂直方向のサイズを示し、Ｘsiz，Ｙsizはリファレンスグリッドのサイズ、ＸＯsizはリファレンスグリッドの原点から画像の左端への水平オフセットサイズ、ＹＯsizはリファレンスグリッドの原点から画像の上端への垂直オフセットサイズ、ＸＴsizはタイルの水平サイズ、ＹＴsizはタイルの垂直サイズ、ＸＴＯsizはリファレンスグリッドの原点から先頭タイルの左端までの水平オフセットサイズを、ＹＴＯsizはリファレンスグリッドの原点から先頭タイルの上端までの垂直オフセットサイズを示す。また、Ｃsizは画像中のコンポーネント数を示し、Ｓsiz(i)はｉ番目のコンポーネントのビット深度と符号を示す。
図６は、リファレンスグリッド、画像領域、およびタイルと、各サイズとの対応関係を示している。なお、図示の例では、画像領域がＴ０〜Ｔ15で示される１６個のタイルで分割されている。
次に、タイルパートヘッダのＳＯＴマーカセグメントの構造を説明する。ＳＯＴマーカセグメントは、図５（ｂ）に示すように、ＳＯＴ，Ｌsot，Ｉsot，Ｐsot，ＴＰsot，ＴＮsotで構成されている。なお、図５（ａ）は、図３（ｂ）と同様に、タイルパートヘッダの構造を示している。
ＳＯＴはマーカコードであり、0xFF90の固定値を取る。Ｌｓｏｔはマーカセグメント長を示す。Ｉsotは０番から始まり、ラスタ順に付けられたタイル番号を示す。ＰsotはタイルパートのＳＯＴマーカセグメントの先頭バイトからそのタイルパートの後尾までのバイト長を示す。ＴＰsotはタイルパート番号であり、タイルパートを復号するために必要な順番を特定し、０から始まる。ＴＮsotはあるタイルに存在するタイルパート数を示す。上述のタイル番号Ｉsotはタイルの位置を示す番号であり、タイル番号を変更することで、復号側で所望の位置に復号した画像を表示することを可能となる。
図１に戻って、符号化部１１４で得られる符号化された画像データは、メモリ１１２を経由してＣＰＵ１１１に送られる。なお、画像データに対する圧縮符号化を、ＣＰＵ１１１においてソフトウェア処理を行う構成であってよい。この場合、符号化部１１５は不要であり、画像入力コントローラ１１４で取り込まれる画像フレームは直接ＣＰＵ１１１に供給されて符号化される。
通信コントローラ１１６は、ネットワーク１３０とのインタフェースを取る。ＣＰＵ１１１は、符号化された画像データをクライアント端末１２０に送信する際、当該画像データを通信フォーマット、例えばＲＴＰ(Real-time Transport Protocol)フォーマットに変換し、通信コントローラ１１６を介して、ＵＤＰ(User Datagram Protocol)/ＩＰ(InternetProtocol)プロトコルでネットワーク１３０に送出する。
クライアント端末１２０は、ＣＰＵ１２１と、メモリ１２２と、入力デバイスコントローラ１２３と、グラフィックコントローラ１２４と、復号化部１２５と、通信コントローラ１２６とを有し、これらはバス１２７に接続されている。
ＣＰＵ１２１は、クライアント端末１２０の全体の動作を制御する。メモリ１２２には、ＲＯＭおよびＲＡＭが含まれている。ＲＯＭは、ＣＰＵ１２１の動作を制御するための制御プログラム等を格納している。ＲＡＭは、ＣＰＵ１２１のワーキングエリア等として機能する。ＣＰＵ１２１は、ＲＯＭに格納されている制御プログラムを必要に応じて読み出し、読み出した制御プログラムをＲＡＭに転送して展開する。そして、このＣＰＵ１２１は、ＲＡＭに展開された制御プログラムを読み出して実行することで、クライアント端末１２０の各部を制御する。
入力デバイスコントローラ１２３は、外付けの入力装置１２８をバス１２７に接続する。入力装置１２８は、例えば、マウス、キーボード、リモートコントローラ等である。グラフィックコントローラ１２４は、外付けの表示装置１２９、例えばＬＣＤ(Liquid Crystal Display)、ＰＤＰ(Plasma DisplayPanel)等を制御する。
通信コントローラ１２６は、ネットワーク１３０とのインタフェースを取る。復号化部１２５は、サーバ１１０から送られてくる符号化された画像データを復号化する。
図１に示す画像配信システム１００のサーバ１１０は、図２に示すように、画像入力部１４１、符号化部１４２、蓄積処理部１４３、情報処理部１４４、パケット送信部１４５、選択情報受信部１４６、およびタイル選択部１４７の機能ブロックを有している。
画像入力部１４１は、デジタルカメラ、ＶＴＲ(Video Tape Recorder)等から、画像フレームを取り込む。符号化部１４２は、画像入力部１４１で取り込まれる画像フレームをＪＰＥＧ２０００方式で符号化して、符号化された画像データであるコードストリーム（画像フレーム情報）を得る。
蓄積処理部１４３は、符号化部１４２で得られるコードストリームを、蓄積に適したフォーマットに変換して、ＨＤＤ１１８に供給する。また、蓄積処理部１４３は、ＨＤＤ１１８から読み出されるコードストリームを元のフォーマットに変換して、情報処理部１４４に供給する。
選択情報受信部１４６は、クライアント端末１２０から送信されてくるタイル選択情報を受信してタイル選択部１４７に供給する。このタイル選択部１４７は、タイル選択情報に基づいてタイルを選択し、その選択情報を情報処理部１４４に供給する。
情報処理部１４４には、符号化部１４２で符号化されて得られたコードストリーム、あるいは、ＨＤＤ１１８から読み出されたコードストリームが供給される。情報処理部１４４は、コードストリームに含まれる複数のタイルの符号化データから、領域選択部１４７で選択されたタイルの符号化データを取り出すと共に、この選択された各タイルの構成情報を含むヘッダを作成し、新たなコードストリームを生成する。
情報処理部１４４は、生成した新たなコードストリームをパケット送信部１４５に供給する。パケット送信部１４５は、コードストリームをパケット化して、クライアント端末１２０に送信する。
また、図１に示す画像配信システム１００のクライアント端末１２０は、図２に示すように、パケット受信部１５１、復号化部１５２、領域表示画像処理部１５３、画像出力部１５４、選択処理部１５５、および選択情報送信部１５６の機能ブロックを有している。
パケット受信部１５１は、サーバ１１０から送られてくるコードストリームのパケットを受信し、コードストリームを再構成して、復号化部１５２に供給する。復号化部１５２は、コードストリームをＪＰＥＧ２０００方式で復号化し、各タイルの画像データを得ると共に、コードストリームのヘッダから各タイルの構成情報を得る。
領域表示画像処理部１５３は、復号化部１５２で得られる各タイルの画像データおよび構成情報に基づいて、各タイルの画像を構成情報で示された位置に表示するように画像フレームを構成する。画像出力部１５４は、領域表示画像処理部１５３で構成された画像フレームを表示装置１２９に出力し、この表示装置１２９に当該画像フレームの画像を表示させる。
選択処理部１５５は、入力装置１２８からのユーザの選択操作により、上述したサーバ１１０のタイル選択部１４７でタイルを選択するためのタイル選択情報を出力する。ここで、ユーザは、選択方法として、ユーザがタイルを選択（指定）する第１の選択方法と、サーバ１１０側にタイル選択を任せる第２の選択方法のいずれかを選ぶことができる。
ユーザは、第１の選択方法を選ぶとき、入力装置１２８を操作して、ひとつまたは複数のタイルを選択する。この場合、ユーザは、表示装置１２９にタイル選択用の全体が見えるよう構成された画面、例えば縮小されて全体を映す画面が表示された状態で、入力装置１２８を操作して、タイルを選択する。例えば、所望のタイルを選択する際、ユーザは、カーソルを所望のタイルに移動して個々に指定するか、あるいはタイル選択用の全画面上の所望のタイルに対応した範囲を設定して、包括的に指定する。なお、上述していないが、タイル選択用の全画面を表示するための画像データは、サーバ１１０からクライアント端末１２０に送信されてくる。
このように、ユーザが第１の選択方法を選ぶとき、選択処理部１５５が出力するタイル選択情報には、第１の選択方法が選択されたことを示す情報と、ユーザがどのタイルを選択したかを示す情報が含まれる。また、ユーザが第２の選択方法を選ぶとき、選択処理部１５５が出力するタイル選択情報には、第２の選択方法が選択されたことを示す情報が含まれる。
選択情報送信部１５６は、選択処理部１５５が出力するタイル選択情報を、サーバ１１０に送る。上述せずも、サーバ１１０のタイル選択部１４７は、選択情報受信部１４６で受信されたタイル選択情報が第１の選択方法に係るものであるとき、当該タイル選択情報に含まれるどのタイルを選択したかを示す情報（タイル指定情報）に基づいてタイルを選択する。
また、サーバ１１０のタイル選択部１４７は、選択情報受信部１４６で受信されたタイル選択情報が第２の選択方法に係るものであるとき、クライアント端末１２０の表示可能領域等を考慮して、所定数のタイルを選択する。なお、クライアント端末１２０の表示可能領域等の情報を含む端末能力の情報は、例えば、後述するように、クライアント端末１２０がサーバ１１０に接続される際に、クライアント端末１２０からサーバ１１０に送信される。
次に、図１、図２に示す画像配信システム１００におけるサーバ１１０とクライアント端末１２０の処理シーケンスを、図７を参照して説明する。
まず、クライアント端末１２０は、サーバ１１０に、サーバ接続要求を送信する（SEQ-1）。サーバ１１０は、接続が可能であれば、クライアント端末１２０に、サーバ接続応答を送信する（SEQ-2）。
次に、クライアント端末１２０は、端末能力、例えば、表示可能領域や処理可能なフレームレート等を、サーバ１１０に通知する（SEQ-3）。サーバ１１０はクライアント端末１２０の能力を解釈し、クライアント端末１２０に、端末能力応答を送信する（SEQ-4）。
サーバ１１０は、クライアント端末１２０の能力に合わせて、例えば、空間解像度をクライアント端末１２０の表示可能領域に合わせる処理を行う。サーバ１１０は、接続要求後の最初には、クライアント端末１２０に、タイル選択用の全画面を表示するための画像データ（選択用画像データ）を送信する（SEQ-5）。これにより、クライアント端末１２０側の表示装置１２９には、タイル選択用の全画面の表示が行われる。
次に、クライアント端末１２０は、サーバ１１０に、タイル選択情報を通知する（SEQ-6）。この場合、クライアント端末１２０側では、上述したように、第１の選択方法、あるいは第２の選択方法を選択する。ユーザが第１の選択方法を選ぶとき、タイル選択情報には、第１の選択方法が選択されたことを示す情報と、ユーザがどのタイルを選択したかを示す情報が含まれる。また、ユーザが第２の選択方法を選ぶとき、タイル選択情報には、第２の選択方法が選択されたことを示す情報が含まれる。
サーバ１１０は、クライアント端末１２０から通知されたタイル選択情報に基づいて、所定のタイルを選択し、新たなコードストリーム（部分領域データ）を生成して、クライアント端末１２０に送信する（SEQ-7）。この場合、サーバ１１０は、選択されたタイルの符号化データを取り出すと共に、この選択された各タイルの構成情報を含むヘッダ（メインヘッダ、タイルパートヘッダ）を作成し、クライアント端末１２０で選択されたタイルの画像表示を可能とするための、新たなコードストリームを生成する。
クライアント端末１２０は、サーバ１１０から送られてくる新たなコードストリーム（部分領域データ）を復号化して、表示装置１２９に、選択されたタイルの画像を、ヘッダに含まれる各タイルの構成情報に基づいて表示する。
なお、ユーザが他のタイルを新たに選択する場合には、クライアント端末１２０からサーバ１１０に新たなタイル選択情報が通知され（SEQ-8）、それに対応して、サーバ１１０からクライアント端末１２０に、新たなタイル選択に基づいたコードストリーム（部分領域データ）が送られてくる（SEQ-9）。以下、ユーザが他のタイルを新たに選択する毎に、クライアント端末１２０およびサーバ１１０において、同様の動作が繰り返し行われる。
また、ユーザが視聴をやめる際には、クライアント端末１２０は、サーバ１１０に、終了要求を送信し（SEQ-10）、これに対して、サーバ１１０は、クライアント端末１２０に、終了応答を送信（SEQ-11）し、配信動作を終了する。
次に、図２に示す画像配信システム１００のサーバ１１０を構成する情報処理部１４４の処理動作についてさらに説明する。
図８は、処理前のコードストリームにおけるタイル構成例を示している。ここでは、説明を簡単にするため、リファレンスグリッドと画像領域とが重なっているものとし、リファレンスグリッド（画像領域）のサイズ(Ｘsiz，Ｙsiz)は（767<300>，495<1F0>）である。また、タイルのサイズ（ＸＴsiz，ＹＴsiz）は（200<C8>，200(C8>）であり、画像領域がＴ０〜Ｔ11の１２個のタイルで分割されている。なお、画像領域のリファレンスグリッドに対するオフセットサイズ（ＸＯsiz，ＹＯsiz）は（０，０）である。さらに、タイルのリファレンスグリッドに対するオフセットサイズ（ＸＴＯsiz，ＹＴＯsiz）も（０，０）である。
図８に示すタイル構成例において、タイルＴ２のみが選択された場合、情報処理部１４４では、当該タイルＴ２の符号化データを取り出すと共に、当該タイルの構成情報を含むヘッダ（メインヘッダ、タイルパートヘッダ）を作成して、当該タイルの画像を表示するための新たなコードストリームが生成される。
図９は、クライアント端末１２０側の表示装置１２９における表示例を示している。この場合、情報処理部１４４において、リファレンスグリッドのサイズ(Ｘsiz，Ｙsiz)を（600，200）に変更し、画像領域のリファレンスグリッドに対するオフセットサイズ（ＸＯsiz，ＹＯsiz）を（400，０）に変更すればよい。また、図１０は、クライアント端末１２０側の表示装置１２９における他の表示例を示している。この場合、情報処理部１４４において、リファレンスグリッドのサイズ(Ｘsiz，Ｙsiz)を（200，200）に変更し、タイル番号Ｉsotを０に変更すればよい。
図１１は、図８に示すタイル構成例におけるマーカセグメント（処理前のマーカセグメント）の値、すなわちメインヘッダのＳＯＣ，ＳＩＺ，Ｌsiz，Ｒsiz，Ｘsiz，Ｙsiz，ＸＯsiz，ＹＯsiz，ＸＴsiz，ＹＴsiz，ＸＴＯsiz，ＹＴＯsiz，Ｃsiz，Ｓsiz0，Ｓsiz1，Ｓsiz2の値と、タイルＴ２に対応したタイルパートヘッダＳＯＴ，Ｌsot，Ｉsot，Ｐsot,ＴＰsot，ＴＮsotの値を示している。なお、図１１では各値を１６進数で表しているが、以下の図１２〜図１４においても同様に各値を１６進数で表している。
サーバ１１０の情報処理部１４４では、クライアント端末１２０側で、選択された任意のタイル番号のタイルの画像を任意の位置に表示するため、マーカセグメントの値の変更が行われる。図１２は、変更対象となる部分を、ハッチングを付して示している。すなわち、リファレンスグリッドのサイズ(Ｘsiz，Ｙsiz)、画像領域のリファレンスグリッドに対するオフセットサイズ(ＸＯsiz，ＹＯsiz)、タイルのサイズ(ＸＴsiz，ＹＴsiz)、タイルのリファレンスグリッドに対するオフセットサイズ(ＸＴＯsiz，ＹＴＯsiz)およびタイル番号Ｉsotが、変更対象となる。
図１３は、タイルＴ２の画像を、クライアント端末１２０側の表示装置１２９に、図９に示すように表示させる場合における、マーカセグメントの変更例を示している。この場合、リファレンスグリッドのサイズ(Ｘsiz，Ｙsiz)は（600<258>，200<C8>）に変更され、画像領域のリファレンスグリッドに対するオフセットサイズ（ＸＯsiz，ＹＯsiz）は（400<190>，０）に変更されている。この場合、タイル番号Ｉsotは２のままとされるので、タイルＴ２の位置に表示できる。
図１４は、タイルＴ２の画像を、クライアント端末１２０側の表示装置１２９に、図１０に示すように表示させる場合における、マーカセグメントの変更例を示している。この場合、リファレンスグリッドのサイズ(Ｘsiz，Ｙsiz)は（200<C8>，200<C8>）に変更され、タイル番号Ｉsotは０に変更されている。この場合、タイル番号Ｉsotは０に変更されるので、タイルＴ０の位置に表示できる。
図１５は、上述の図８と同様の、処理前のコードストリームにおけるタイル構成例を示している。この構成例において、タイルＴ１，Ｔ２，Ｔ５，Ｔ６が選択された場合、情報処理部１４４では、当該タイルＴ１，Ｔ２，Ｔ５，Ｔ６の符号化データを取り出すと共に、当該タイルの構成情報を含むヘッダ（メインヘッダ、タイルパートヘッダ）を作成して、当該タイルの画像を表示するための新たなコードストリームが生成される。
図１６は、クライアント端末１２０側の表示装置１２９における表示例を示している。この場合、情報処理部１４４において、リファレンスグリッドのサイズ(Ｘsiz，Ｙsiz)を（400，400）に変更し、タイルＴ１，Ｔ２，Ｔ５，Ｔ６のタイル番号Ｉsotをそれぞれ０，１，２，３に変更すればよい。
なお、図１５の例では隣接したタイルが選択されているが、図１７（ａ）に示すように、隣接していないタイルが選択される場合にあっても、図１７（ｂ）に示すように、クライアント端末１２０側では隣接させて表示させることができる。
また、上述では、情報処理部１４４で、同一のコードストリームから選択タイルの符号化データが取り出されるように説明しているが、複数のコードストリームに係るタイルが選択され、情報処理部１４４では当該複数のコードストリームから選択タイルの符号化データを取り出して処理することもできる。
上述したように、図１、図２に示す画像配信システム１００においては、サーバ１１０の情報処理部１４４では、処理前のコードストリームに含まれる複数のタイルの符号化データから、タイル選択部１４７で選択されたタイルの符号化データが取り出されると共に、この選択された各タイルの構成情報（マーカセグメント）を含むヘッダが作成され、新たなコードストリームが生成される。そして、この新たなコードストリームが、クライアント端末１２０に送信される。そのため、クライアント端末１２０側では、ヘッダに含まれる構成情報に基づいて、選択されたタイルの画像を、表示装置１２９の所望位置に容易に表示できる。つまり、クライアント端末１２０側では、表示画像を再構成する処理が不要となる。
また、図１、図２に示す画像配信システム１００においては、クライアント端末１２０側の表示装置１２９の表示可能領域が狭い場合には、選択するタイルを表示可能なサイズ以下とすることで、必要となる画像領域だけをサーバ１１０からクライアント端末１２０に送信し、クライアント端末１２０側の表示装置１２９に効率的に表示できる。
なお、上述実施の形態においては、サーバ１１０の情報処理部１４４で生成される新たなコードストリームに含まれるタイル数が、処理前のコードストリームに含まれるタイル数より少ないものを示したが、例えば、複数のコードストリームからタイルを選択する場合には、新たなコードストリームに含まれるタイル数が、処理前のひとつのコードストリームに含まれるタイル数よりも多くなることも考えられる。
また、上述の実施の形態においては、この発明をＪＰＥＧ２０００で符号化されるものを示したが、符号化方式としては、ＪＰＥＧ２０００フォーマットのように、複数のタイル（領域）で一つの画像フレームを構成し、符号化された１フレームのデータが独立したタイル単位の集合と、タイルの構成を記述する識別子とで構成される方式であればよい。
また、上述実施の形態においては、この発明をサーバ１１０およびクライアント端末１２０を備える画像配信システム１００に適用したものであるが、テレビ電話、あるいはテレビ会議システム等の双方向コミュニケーションシステム等にも同様に適用できることは勿論である。
この発明は、受信側で選択領域の画像表示を容易に行えるものであり、例えば、サーバ、クライアント端末からなる画像配信システム、テレビ電話、テレビ会議システム等の双方向コミュニケーションシステム等に適用できる。
この発明の実施の形態としての画像配信システムの構成例を示すブロック図である。 この発明の実施の形態としての画像配信システムの構成例を示す機能ブロック図である。 ＪＰＥＧ２０００コードストリーム構造とタイルパートヘッダの構造を示す図である。 ＪＰＥＧ２０００コードストリーム構造とメインヘッダの構造を示す図である。 タイルパートヘッダの構造とＳＯＴマーカセグメントの構造を示す図である。 リファレンスグリッド、画像領域、およびタイルと、各サイズとの対応関係を示す図である。 サーバ・クライアント端末の処理シーケンスを説明するためのシーケンス図である。 処理前の画像フレームのタイル構成例と、タイル選択の一例を示す図である。 クライアント端末の表示装置における表示例を示す図である。 クライアント端末の表示装置における他の表示例を示す図である。 図８の処理前の画像フレームのタイル構成例におけるマーカセグメントの値を示す図である。 選択された任意のタイル番号のタイルの画像を任意の位置に表示する際に、マーカセグメントの変更対象となる部分を示す図である。 クライアント端末側の表示装置に、図９に示すように表示させる場合における、マーカセグメントの変更例を示す図である。 クライアント端末側の表示装置に、図１０に示すように表示させる場合における、マーカセグメントの変更例を示す図である。 処理前の画像フレームのタイル構成例と、タイル選択の他の例を示す図である。 クライアント端末の表示装置における表示例を示す図である。 タイル選択例とクライアント端末側表示例を示す図である。
符号の説明
１００・・・画像配信システム、１１０・・・サーバ、１１１・・・ＣＰＵ、１１２・・・メモリ、１１３・・・ディスクコントローラ、１１４・・・画像入力コントローラ、１１５・・・符号化部、１１６・・・通信コントローラ、１１７・・・バス、１１８・・・ハードディスクドライブ、１２０・・・クライアント端末、１２１・・・ＣＰＵ、１２２・・・メモリ、１２３・・・入力デバイスコントローラ、１２４・・・グラフィックコントローラ、１２５・・・復号化部、１２６・・・通信コントローラ、１２７・・・バス、１２８・・・入力装置、１２９・・・表示装置、１３０・・・ネットワーク、１４１・・・画像入力部、１４２・・・符号化部、１４３・・・蓄積処理部、１４４・・・情報処理部、１４５・・・パケット通信部、１４６・・・選択情報受信部、１４７・・・タイル選択部、１５１・・・パケット受信部、１５２・・・復号化部、１５３・・・領域表示画像処理部、１５４・・・画像出力部、１５５・・・選択処理部、１５６・・・選択情報送信部

Claims (7)

  1. 画像フレームを分割して得られた複数の領域の符号化データと、各領域の構成情報を含むヘッダとからなる画像フレーム情報に基づいて画像送信を行う画像送信装置であって、
    単一の画像フレームあるいは複数の異なる画像フレームの上記複数の領域からひとつまたは複数の領域を選択する領域選択部と、
    上記単一の画像フレームあるいは複数の異なる画像フレームの上記画像フレーム情報に含まれる複数の領域の符号化データから上記領域選択部で選択された領域の符号化データを取り出すと共に、上記領域選択部で選択された各領域の構成情報を含むヘッダを作成し、新たな画像フレーム情報を生成する情報処理部と、
    上記情報処理部で生成された画像フレーム情報を、受信側に送信する送信部と
    を備えることを特徴とする画像送信装置。
  2. 入力画像フレームを複数の領域に分割して符号化し、上記画像フレーム情報を得る符号化部をさらに備える
    ことを特徴とする請求項１に記載の画像送信装置。
  3. 上記符号化部で得られる画像フレーム情報を蓄積する蓄積部をさらに備える
    ことを特徴とする請求項２に記載の画像送信装置。
  4. 上記領域選択部は、上記受信側から送信されてくる、単一の画像フレームあるいは複数の異なる画像フレームの上記複数の領域の中からひとつまたは複数の領域を指定する領域選択情報に基づいて、領域を選択する
    ことを特徴とする請求項１に記載の画像送信装置。
  5. 画像フレームを分割して得られた複数の領域の符号化データと、各領域の構成情報を含むヘッダとからなる画像フレーム情報に基づいて画像送信を行う画像送信装置における画像送信方法であって、
    単一の画像フレームあるいは複数の異なる画像フレームの上記複数の領域からひとつまたは複数の領域を選択する領域選択ステップと、
    上記単一の画像フレームあるいは複数の異なる画像フレームの上記画像フレーム情報に含まれる複数の領域の符号化データから上記領域選択ステップで選択された領域の符号化データを取り出すと共に、上記領域選択ステップで選択された各領域の構成情報を含むヘッダを作成し、新たな画像フレーム情報を生成する情報処理ステップと、
    上記情報処理ステップで生成された画像フレーム情報を、受信側に送信する送信ステップと
    を備えることを特徴とする画像送信方法。
  6. 画像フレームを分割して得られた複数の領域の符号化データと各領域の構成情報を含むヘッダとからなる画像フレーム情報に基づいて画像送信を行う画像送信装置にネットワークを介して接続される受信装置であって、
    単一の画像フレームあるいは複数の異なる画像フレームの上記複数の領域の中からひとつまたは複数の領域を指定する領域選択情報を上記画像送信装置に送信する送信部と、
    上記画像送信装置から送信されてくる、上記単一の画像フレームあるいは複数の異なる画像フレームの上記画像フレーム情報に含まれる複数の領域の符号化データから上記領域選択情報で指定された各領域の符号化データが取り出されると共に、上記領域選択情報で指定された各領域の構成情報を含むヘッダが作成されることで得られた新たな画像フレーム情報を受信する受信部と、
    上記受信部で受信された画像フレーム情報に基づいて、上記領域選択情報で指定された各領域の画像を表示装置に表示する表示部と
    を備えることを特徴とする受信装置。
  7. 画像フレームを分割して得られた複数の領域の符号化データと、各領域の構成情報を含むヘッダとからなる画像フレーム情報に基づいて画像送信を行う画像送信装置と、該画像送信装置にネットワークを介して接続された受信装置とを備える画像送信システムであって、
    上記画像送信装置は、
    単一の画像フレームあるいは複数の異なる画像フレームの上記複数の領域からひとつまたは複数の領域を選択する領域選択部と、
    上記単一の画像フレームあるいは複数の異なる画像フレームの上記画像フレーム情報に含まれる複数の領域の符号化データから上記領域選択部で選択された領域の符号化データを取り出すと共に、上記領域選択部で選択された各領域の構成情報を含むヘッダを作成し、新たな画像フレーム情報を生成する情報処理部と、
    上記情報処理部で生成された画像フレーム情報を、上記受信装置に送信する送信部とを有する
    ことを特徴とする画像送信システム。
JP2007183988A 2007-07-13 2007-07-13 画像送信装置、画像送信方法および画像送信システム Expired - Fee Related JP5326234B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2007183988A JP5326234B2 (ja) 2007-07-13 2007-07-13 画像送信装置、画像送信方法および画像送信システム
TW97125098A TWI428020B (zh) 2007-07-13 2008-07-03 影像傳輸設備、影像傳輸方法、接收設備、及影像傳輸系統
EP20080252306 EP2019553A3 (en) 2007-07-13 2008-07-04 Image transmitting apparatus, image transmitting method, receiving apparatus, and image transmitting system
KR20080065965A KR20090007220A (ko) 2007-07-13 2008-07-08 화상 송신 장치, 화상 송신 방법, 수신 장치 및 화상 송신시스템
US12/218,000 US20090016622A1 (en) 2007-07-13 2008-07-10 Image transmitting apparatus, image transmitting method, receiving apparatus, and image transmitting system
CN2008101307469A CN101345865B (zh) 2007-07-13 2008-07-14 图像发送装置、图像发送方法、接收装置及图像发送系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007183988A JP5326234B2 (ja) 2007-07-13 2007-07-13 画像送信装置、画像送信方法および画像送信システム

Publications (2)

Publication Number Publication Date
JP2009021901A true JP2009021901A (ja) 2009-01-29
JP5326234B2 JP5326234B2 (ja) 2013-10-30

Family

ID=39869986

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007183988A Expired - Fee Related JP5326234B2 (ja) 2007-07-13 2007-07-13 画像送信装置、画像送信方法および画像送信システム

Country Status (6)

Country Link
US (1) US20090016622A1 (ja)
EP (1) EP2019553A3 (ja)
JP (1) JP5326234B2 (ja)
KR (1) KR20090007220A (ja)
CN (1) CN101345865B (ja)
TW (1) TWI428020B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017184258A (ja) * 2013-07-15 2017-10-05 ソニー株式会社 インタラクティビティのための動き制約タイルセットｓｅｉメッセージの拡張

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090022412A1 (en) * 2007-07-20 2009-01-22 Sanyo Electric Co., Ltd. Image processing apparatus and image pickup apparatus using the same
US8335996B2 (en) * 2008-04-10 2012-12-18 Perceptive Pixel Inc. Methods of interfacing with multi-input devices and multi-input display systems employing interfacing techniques
US20110085023A1 (en) * 2009-10-13 2011-04-14 Samir Hulyalkar Method And System For Communicating 3D Video Via A Wireless Communication Link
GB2481613A (en) * 2010-06-30 2012-01-04 Skype Ltd Updating regions of shared images using a server that records image status
GB2481612A (en) 2010-06-30 2012-01-04 Skype Ltd Updating image regions in a shared image system
US9824622B1 (en) * 2011-01-31 2017-11-21 Hewlett-Packard Development Company, L.P. Determining a geometric position of a display screen within an array of coupled display screens
US9264471B2 (en) 2011-06-22 2016-02-16 Google Technology Holdings LLC Method and apparatus for segmenting media content
WO2013077236A1 (en) * 2011-11-21 2013-05-30 Canon Kabushiki Kaisha Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and storage medium
CN102779503B (zh) * 2012-07-17 2015-07-29 深圳市文鼎创数据科技有限公司 通过显示屏输出信息的方法、装置及终端
KR101661436B1 (ko) * 2012-09-29 2016-09-29 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 인코딩 및 디코딩 방법, 장치 및 시스템
CN103049238A (zh) * 2012-12-14 2013-04-17 广东威创视讯科技股份有限公司 影像数据传输方法及装置
US9948935B2 (en) * 2014-01-30 2018-04-17 Panasonic Corporation Image decoding apparatus, image transmission apparatus, image processing system, image decoding method, and image transmission method using range information
CN103825912A (zh) * 2014-03-24 2014-05-28 联想(北京)有限公司 一种数据传输方法、电子设备及服务器
JP6493403B2 (ja) * 2014-06-30 2019-04-03 ソニー株式会社 ファイル生成装置および方法、並びにコンテンツ再生装置および方法
GB2530751A (en) * 2014-09-30 2016-04-06 Sony Corp Video data encoding and decoding
CN111337133B (zh) * 2020-03-02 2021-08-03 浙江大华技术股份有限公司 红外数据的生成方法及装置、解析方法及装置
CN112583821A (zh) * 2020-12-09 2021-03-30 威创集团股份有限公司 显示方法、显示系统、电子设备和计算机可读存储介质
CN113179205B (zh) * 2021-03-31 2023-04-18 维沃移动通信有限公司 图像分享方法、装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006191159A (ja) * 2004-12-28 2006-07-20 Canon Inc 画像処理方法及び画像処理装置
JP2006295386A (ja) * 2005-04-07 2006-10-26 Ricoh Co Ltd 画像送信方法、画像送信プログラム、記録媒体及び画像送信装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6898323B2 (en) * 2001-02-15 2005-05-24 Ricoh Company, Ltd. Memory usage scheme for performing wavelet processing
US7581027B2 (en) * 2001-06-27 2009-08-25 Ricoh Co., Ltd. JPEG 2000 for efficent imaging in a client/server environment
JP3951695B2 (ja) * 2001-12-11 2007-08-01 ソニー株式会社 画像配信システムおよび方法、画像配信装置および方法、画像受信装置および方法、記録媒体、並びにプログラム
US7734824B2 (en) * 2002-10-18 2010-06-08 Ricoh Co., Ltd. Transport of reversible and unreversible embedded wavelets
JP3988990B2 (ja) * 2002-08-27 2007-10-10 株式会社リコー 符号変換装置、符号変換方法、プログラム及び記録媒体
JP3938534B2 (ja) * 2002-09-19 2007-06-27 株式会社リコー 画像処理装置及び方法、画像形成装置、並びにプログラム
JP2004186871A (ja) * 2002-12-02 2004-07-02 Ricoh Co Ltd 画像処理装置、撮像装置、プログラム及び記憶媒体
JP4128438B2 (ja) * 2002-12-13 2008-07-30 株式会社リコー 画像処理装置、プログラム、記憶媒体及び画像編集方法
US7116833B2 (en) * 2002-12-23 2006-10-03 Eastman Kodak Company Method of transmitting selected regions of interest of digital video data at selected resolutions
JP2004236299A (ja) * 2003-01-07 2004-08-19 Ricoh Co Ltd 画像処理装置、画像形成装置、画像処理方法、プログラム及び記憶媒体
US7149370B2 (en) * 2003-03-07 2006-12-12 Nokia Corporation Method and device for image surfing
JP4416611B2 (ja) * 2003-10-01 2010-02-17 キヤノン株式会社 画像処理方法、画像処理装置
JP4812071B2 (ja) * 2004-01-16 2011-11-09 株式会社リコー 画像処理装置、画像処理方法、プログラム及び情報記録媒体
AU2005236997B2 (en) * 2004-04-23 2010-04-29 Hitoshi Kiya Moving picture data encoding method, decoding method, terminal device for executing them, and bi-directional interactive system
US7657056B2 (en) * 2004-06-05 2010-02-02 Samsung Electronics Co., Ltd. Apparatus for identifying a photographer of an image
US7720295B2 (en) * 2004-06-29 2010-05-18 Sanyo Electric Co., Ltd. Method and apparatus for coding images with different image qualities for each region thereof, and method and apparatus capable of decoding the images by adjusting the image quality
FR2872972A1 (fr) * 2004-07-08 2006-01-13 Canon Kk Procede et dispositif de transmission video entre un serveur et un client
US7738710B2 (en) * 2004-08-02 2010-06-15 Electronics For Imaging, Inc. Methods and apparatus for communicating and displaying compressed image data
JP2006086579A (ja) * 2004-09-14 2006-03-30 Ricoh Co Ltd 画像処理装置、プログラム、及び記憶媒体
JP4603446B2 (ja) * 2004-09-29 2010-12-22 株式会社リコー 画像処理装置、画像処理方法および画像処理プログラム
JP4371982B2 (ja) * 2004-11-08 2009-11-25 キヤノン株式会社 画像処理装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
JP4618676B2 (ja) * 2005-04-28 2011-01-26 株式会社リコー 構造化文書符号の転送方法、画像処理システム、サーバ装置、プログラム及び情報記録媒体
EP1999719B1 (en) * 2006-03-29 2018-11-21 Casio Computer Co., Ltd. Server apparatus of computer system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006191159A (ja) * 2004-12-28 2006-07-20 Canon Inc 画像処理方法及び画像処理装置
JP2006295386A (ja) * 2005-04-07 2006-10-26 Ricoh Co Ltd 画像送信方法、画像送信プログラム、記録媒体及び画像送信装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017184258A (ja) * 2013-07-15 2017-10-05 ソニー株式会社 インタラクティビティのための動き制約タイルセットｓｅｉメッセージの拡張
US10368078B2 (en) 2013-07-15 2019-07-30 Sony Corporation Extensions of motion-constrained tile sets SEI message for interactivity
US10841592B2 (en) 2013-07-15 2020-11-17 Sony Corporation Extensions of motion-constrained tile sets sei message for interactivity
US11553190B2 (en) 2013-07-15 2023-01-10 Sony Corporation Extensions of motion-constrained tile sets SEI message for interactivity

Also Published As

Publication number Publication date
CN101345865A (zh) 2009-01-14
JP5326234B2 (ja) 2013-10-30
EP2019553A3 (en) 2009-04-29
TWI428020B (zh) 2014-02-21
EP2019553A2 (en) 2009-01-28
KR20090007220A (ko) 2009-01-16
CN101345865B (zh) 2012-10-10
TW200917845A (en) 2009-04-16
US20090016622A1 (en) 2009-01-15

Similar Documents

Publication Publication Date Title
JP5326234B2 (ja) 画像送信装置、画像送信方法および画像送信システム
US11120677B2 (en) Transcoding mixing and distribution system and method for a video security system
JP5089658B2 (ja) 送信装置及び送信方法
US9693080B2 (en) Distribution control system, distribution control method, and computer-readable storage medium
US20150208103A1 (en) System and Method for Enabling User Control of Live Video Stream(s)
US9894391B2 (en) Distribution management apparatus, distribution method, and program
MXPA01000893A (es) Acceso remoto a computadora.
TW200948088A (en) System and method for virtual 3D graphics acceleration and streaming multiple different video streams
US10666903B1 (en) Combining encoded video streams
US20160044079A1 (en) Distribution control system, distribution control method, and computer-readable storage medium
KR20080082759A (ko) 네트워크를 통한 가상 스튜디오 구현 시스템 및 그 방법
US9596435B2 (en) Distribution control apparatus, distribution control method, and computer program product
US9226003B2 (en) Method for transmitting video signals from an application on a server over an IP network to a client device
US20180109585A1 (en) Information processing apparatus and information processing method
US11005908B1 (en) Supporting high efficiency video coding with HTTP live streaming
JP2005045666A (ja) トランスコーダ
CN113938632B (zh) 网络视频录像机级联方法、录像机及存储介质
JP4325697B2 (ja) 画像処理システム、画像処理装置、画像処理方法、およびプログラム
JP2014506036A (ja) ビデオストリーム表示のシステムおよびプロトコル
WO2020050058A1 (ja) コンテンツ配信システムおよびコンテンツ配信方法、並びにプログラム
JP6431301B2 (ja) 動画処理装置、方法、コンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100309

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120903

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130408

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130708

R151 Written notification of patent or utility model registration

Ref document number: 5326234

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees