JP2005051564A - Image distribution method and image distribution system - Google Patents
Image distribution method and image distribution system Download PDFInfo
- Publication number
- JP2005051564A JP2005051564A JP2003282201A JP2003282201A JP2005051564A JP 2005051564 A JP2005051564 A JP 2005051564A JP 2003282201 A JP2003282201 A JP 2003282201A JP 2003282201 A JP2003282201 A JP 2003282201A JP 2005051564 A JP2005051564 A JP 2005051564A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image information
- distribution
- display memory
- distribution system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は画像配信方法及び画像配信システムに係り、特に、動画圧縮処理した情報を配信する画像配信方法及び画像配信システムに関するものである。 The present invention relates to an image distribution method and an image distribution system, and more particularly to an image distribution method and an image distribution system for distributing information subjected to moving image compression processing.
近年、動画像や音声などを含む複数のオブジェクトを含むマルチメディアデータをＭＰＥＧ−４フォーマットに変換して単一のデータストリームとして伝送する手法が使用されている。 In recent years, a technique has been used in which multimedia data including a plurality of objects including moving images and sounds is converted into an MPEG-4 format and transmitted as a single data stream.
このデータストリームとして配信されるデータには、動画、静止画、音声等のデータであるエレメンタリストリーム（Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）と、画像、音声、テキスト等の各オブジェクトの組み合わせがツリー構造で表現されたシーン記述情報と、エレメンタリストリームとシーン記述情報を関連付けるオブジェクト・ディスクリプタ（Ｏｂｊｅｃｔ Ｄｅｓｃｒｉｐｔｏｒ）等が含まれている。ここで、上記エレメンタリストリームとして配信される動画、静止画、音声等の情報としては、カメラから取込まれたライブ映像や、サーバに蓄積されている録画映像等が挙げられる。 The data distributed as the data stream includes a scene in which a combination of an elementary stream (Elementary Stream) that is data such as a moving image, a still image, and audio, and each object such as an image, audio, and text is expressed in a tree structure. Description information, an object descriptor (Object Descriptor) and the like for associating elementary streams and scene description information are included. Here, examples of information such as a moving image, a still image, and audio distributed as the elementary stream include live video captured from a camera and recorded video stored in a server.
例えば、カメラから取込まれたライブ映像を、エレメンタリストリームとして配信する場合には、カメラから取込まれた画像情報が、フレームバッファ（圧縮処理される情報を一時的に保持するバッファ）に送られ、このフレームバッファに送られた情報が順次圧縮処理された後、エレメンタリストリームとして配信される。又、サーバに蓄積されている録画映像を、エレメンタリストリームとして配信する場合には、録画映像内の画像情報が、フレームバッファに送られ、このフレームバッファに送られた情報が順次圧縮処理された後、エレメンタリストリームとして配信される。つまり、画像をエレメンタリストリームとして配信する場合には、画像を出力する装置や蓄積した装置から供給される情報を、順次圧縮処理して配信していた。 For example, when a live video captured from a camera is distributed as an elementary stream, the image information captured from the camera is sent to a frame buffer (a buffer that temporarily stores information to be compressed). After the information sent to the frame buffer is sequentially compressed, it is distributed as an elementary stream. When the recorded video stored in the server is distributed as an elementary stream, the image information in the recorded video is sent to the frame buffer, and the information sent to the frame buffer is sequentially compressed. Later, it is distributed as an elementary stream. That is, when an image is distributed as an elementary stream, information supplied from a device that outputs the image or an accumulated device is sequentially compressed and distributed.
従って、講演会等の会場で、プロジェクタ装置等を用いて大画面表示された画像を配信する場合には、その画像をカメラで取込み、取込んだデータをエレメンタリストリームとして配信することが多かった。しかしながら、プロジェクタ装置等を用いて大画面表示された画像をカメラで取込んだ場合、画像が劣化する等の問題があった。 Therefore, when delivering an image displayed on a large screen using a projector device or the like at a venue such as a lecture, the image is often captured by a camera and the captured data is often distributed as an elementary stream. . However, when an image displayed on a large screen using a projector device or the like is captured by a camera, there is a problem that the image deteriorates.
上述したプロジェクタ装置等を用いて大画面表示された画像は、コンピュータの画面を拡大表示したものであることが多いので、コンピュータの画面に表示されている情報を、上記エレメンタリストリームとして配信することができれば、画像が劣化する等の問題は解決する。 Since an image displayed on a large screen using the projector device described above is often an enlarged display of a computer screen, the information displayed on the computer screen is distributed as the elementary stream. If this is possible, problems such as image degradation will be solved.
又、アプリケーションソフトの操作説明等をするときに、操作中の画面表示を直接配信することができれば、離れた場所にいる受講者に対して操作説明等を行なうときに非常に便利になる。 Further, if the screen display during operation can be directly distributed when explaining the operation of the application software, it becomes very convenient when explaining the operation to a student at a remote place.
そこで本発明は、配信側に画面表示されている画像を、直接エレメンタリストリームとして配信できるようにして、受信側に配信側とほぼ同一の画面を表示させるようにした画像配信方法及び画像配信システムを提供することを目的とする。 Accordingly, the present invention provides an image distribution method and an image distribution system that enable an image displayed on the distribution side to be directly distributed as an elementary stream and display a substantially same screen as the distribution side on the reception side. The purpose is to provide.
本発明に係る目的は、配信側が、配信側装置内の表示用メモリに格納されている画像情報を連続的に取出し、
取出した前記画像情報を動画圧縮処理して配信し、
受信側が、動画圧縮処理されている前記画像情報を受信し、
受信した前記画像情報を再生し、
再生した前記画像情報を、受信側装置内の表示用メモリに格納することを特徴とする画像配信方法によって達成される。
An object according to the present invention is that a distribution side continuously extracts image information stored in a display memory in a distribution side device,
The extracted image information is compressed and distributed as a video,
The receiving side receives the image information that has undergone video compression processing,
Play the received image information,
The reproduced image information is stored in a display memory in the receiving-side apparatus.
又、本発明によれば、前記配信側装置内の表示用メモリから画像情報を取出す時間間隔と、
前記受信側装置内の表示用メモリに画像情報を格納する時間間隔とがほぼ同一であることが好ましい。つまり、配信側と受信側の表示画面がほぼ同一の周期で更新されることが好ましい。
Further, according to the present invention, a time interval for retrieving image information from the display memory in the distribution side device,
It is preferable that the time interval for storing the image information in the display memory in the receiving apparatus is substantially the same. That is, it is preferable that the display screens on the distribution side and the reception side are updated at substantially the same cycle.
又、本発明によれば、前記配信側装置内の表示用メモリから画像情報を取出す時間間隔が、任意設定可能なことが好ましい。つまり、表示する画像の変化速度に応じて、表示画面を更新する周期を適宜設定できるようにすることが好ましい。 In addition, according to the present invention, it is preferable that the time interval for extracting image information from the display memory in the distribution side device can be arbitrarily set. That is, it is preferable that the cycle for updating the display screen can be appropriately set according to the change speed of the image to be displayed.
又、本発明によれば、前記動画圧縮処理が、ＭＰＥＧ−４フォーマットの動画圧縮処理であることが好ましい。 According to the present invention, it is preferable that the moving image compression process is an MPEG-4 format moving image compression process.
本発明に係る目的は、配信側装置内の表示用メモリに格納されている画像情報を連続的にフレームバッファに複写する複写手段と、
前記フレームバッファに複写された画像情報を動画圧縮処理する圧縮手段と、
動画圧縮処理された前記画像情報を配信する配信手段とを備えた配信側と、
動画圧縮処理された前記画像情報を受信する受信手段と、
受信した前記画像情報を再生する再生手段と
再生した前記画像情報を受信側装置内の表示用メモリに書込む書込み手段とを備えた受信側とで構成されていることを特徴とする画像配信システムによって達成される。
An object of the present invention is to provide copying means for continuously copying image information stored in a display memory in a distribution side device to a frame buffer;
Compression means for moving image compression processing of image information copied to the frame buffer;
A distribution side including distribution means for distributing the image information subjected to the video compression process;
Receiving means for receiving the image information subjected to the video compression process;
An image distribution system comprising: a receiving unit including a reproducing unit that reproduces the received image information; and a writing unit that writes the reproduced image information into a display memory in the receiving side device. Achieved by:
又、本発明によれば、前記配信側装置内の表示用メモリに格納されている画像情報をフレームバッファに複写する時間間隔と、再生した前記画像情報を前記受信側装置内の表示用メモリに書込む時間間隔とがほぼ同一であることが好ましい。つまり、配信側と受信側の表示画面がほぼ同一の周期で更新されることが好ましい。 Further, according to the present invention, the time interval for copying the image information stored in the display memory in the distribution side device to the frame buffer and the reproduced image information in the display memory in the reception side device. It is preferable that the writing time interval is substantially the same. That is, it is preferable that the display screens on the distribution side and the reception side are updated at substantially the same cycle.
又、本発明によれば、前記配信側装置内の表示用メモリに格納されている画像情報をフレームバッファに複写する時間間隔が、任意設定可能なことが好ましい。つまり、表示する画像の変化速度に応じて、表示画面を更新する周期を適宜設定できるようにすることが好ましい。 Further, according to the present invention, it is preferable that the time interval for copying the image information stored in the display memory in the distribution side device to the frame buffer can be arbitrarily set. That is, it is preferable that the cycle for updating the display screen can be appropriately set according to the change speed of the image to be displayed.
又、本発明によれば、前記動画圧縮処理が、ＭＰＥＧ−４フォーマットの動画圧縮処理であることが好ましい。 According to the present invention, it is preferable that the moving image compression process is an MPEG-4 format moving image compression process.
本発明に係る画像配信方法及び画像配信システムにおいては、配信側に画面表示されている画像を、直接エレメンタリストリームとして配信できるようにしたので、受信側に配信側とほぼ同一の画面を表示させることができる。又、配信側の画面に表示されている画像に対応した画像情報を順次圧縮処理して配信しているので、配信側で動作するアプリケーションソフトであれば、アプリケーションソフトに限定されることなく表示された画像を配信することができる。 In the image distribution method and the image distribution system according to the present invention, the image displayed on the distribution side can be directly distributed as an elementary stream, so that the reception side displays almost the same screen as the distribution side. be able to. Also, since the image information corresponding to the image displayed on the distribution screen is sequentially compressed and distributed, any application software that operates on the distribution side can be displayed without being limited to the application software. Images can be distributed.
従って、本発明に係る画像配信方法及び画像配信システムは、遠隔地からのプレゼンテーション、教育、講演等の多種多用な利用形態において有効な画像配信方法及び画像配信システムを提供することができる。 Therefore, the image distribution method and the image distribution system according to the present invention can provide an image distribution method and an image distribution system that are effective in various usage forms such as a remote presentation, education, and lecture.
本発明に係る画像配信方法及び画像配信システムでは、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−４システム（ＩＳＯ／ＩＥＣ１４４９６−１）で定義されている情報（後述するエレメンタリストリーム、シーン記述情報及びオブジェクト・ディスクリプタ等により構成される情報）をサーバ（配信側）からクライアント（受信側）に配信している。 In the image distribution method and the image distribution system according to the present invention, information (elementary stream, scene description information, and object descriptor described later) defined in the MPEG (Moving Picture Experts Group) -4 system (ISO / IEC 14496-1) is used. Etc.) is distributed from the server (distribution side) to the client (reception side).
ここで、配信されるＭＰＥＧ−４の情報には、画像、音声、静止画等の情報であるエレメンタリストリーム（Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）と、画像、音声、テキスト等の各オブジェクトの組み合わせがツリー構造で表現されたシーン記述情報が含まれている。又、このエレメンタリストリームとシーン記述情報はオブジェクト・ディスクリプタ（Ｏｂｊｅｃｔ Ｄｅｓｃｒｉｐｔｏｒ）という情報によって関連付けされている。 Here, in the MPEG-4 information to be distributed, a combination of elementary streams (Elementary Stream), which is information such as images, sounds, and still images, and objects such as images, sounds, and texts is expressed in a tree structure. Included scene description information. Further, the elementary stream and the scene description information are associated with each other by information called an object descriptor (Object Descriptor).
この関連付けのため、シーン記述情報では、各オブジェクトにオブジェクト・ディスクリプタＩＤが割り当てられるており、このオブジェクト・ディスクリプタＩＤにより対応するオブジェクト・ディスクリプタが識別される。更に、オブジェクト・ディスクリプタには各エレメンタリストリームとの関連付け情報が記述されているエレメンタリストリーム・ディスクリプタがあり、このエレメンタリストリーム・ディスクリプタにはエレメンタリストリームＩＤが記述されており、このエレメンタリストリームＩＤにより各エレメンタリストリームが識別される。 For this association, in the scene description information, an object descriptor ID is assigned to each object, and the corresponding object descriptor is identified by this object descriptor ID. Further, the object descriptor includes an elementary stream descriptor in which association information with each elementary stream is described, and the elementary stream ID is described in the elementary stream descriptor, and this elementary stream is described. Each elementary stream is identified by the ID.
又、上記ツリー構造で表現されたシーン記述情報において、その要素（ツリー構造の分岐点）はノードと呼ばれ、各ノードには、それに対応した各オブジェクトの時間的、空間的な相互関係や属性（光源、形状、材質、色および座標等）が記述され、各ノードの特性はフィールドと呼ばれるデータにより決定される。又、ツリー構造で表現されたシーン記述情報では、上位ノードの属性が下位ノードに継承されたり、下位ノードがグループ化されたりする。
［画像配信方法及び画像配信システムの説明］
次に、本発明に係る画像配信方法及び画像配信システムについて図面を参照して説明する。図１は、本発明に係る画像配信システムの概要を示す概略図である。図１の配信側１０は、配信側１０の画面に表示されている情報をストーリミング配信するサーバ等の装置であり、受信側３０は、配信側１０が配信する情報を受信して、その情報を利用するクライアント側の端末装置等である。
In the scene description information expressed in the above tree structure, the element (branch point of the tree structure) is called a node, and each node has a temporal and spatial correlation and attribute of each object corresponding to the element. (Light source, shape, material, color, coordinates, etc.) are described, and the characteristics of each node are determined by data called fields. In the scene description information expressed in a tree structure, the attributes of the upper node are inherited by the lower node, or the lower nodes are grouped.
[Description of Image Distribution Method and Image Distribution System]
Next, an image distribution method and an image distribution system according to the present invention will be described with reference to the drawings. FIG. 1 is a schematic diagram showing an outline of an image distribution system according to the present invention. The distribution side 10 in FIG. 1 is a device such as a server that distributes the information displayed on the screen of the distribution side 10, and the reception side 30 receives the information distributed by the distribution side 10 and receives the information. Is a client-side terminal device that uses.
図１に示した画像配信システムでは、配信側１０は、ＶＲＡＭ１１に格納されている画像情報をＭＰＥＧ−４処理部２０のフレームバッファ２１に一定の時間間隔で複写する。ここで、ＶＲＡＭ１１は配信側１０の画面に表示する画像情報が格納されている表示用メモリであり、フレームバッファ２１は圧縮処理される画像情報を受取るためのバッファである。ＭＰＥＧ−４処理部２０では、画像バッファに複写された画像情報を、ＭＰＥＧ−４フォーマットの情報に圧縮処理した後、エレメンタリーストリームとして配信する。尚、本発明に係るコンテンツ配信方法及びコンテンツ配信システムは、ＭＰＥＧ−４フォーマット以外の圧縮処理を用いた場合にも、同様に実施することができる。 In the image distribution system shown in FIG. 1, the distribution side 10 copies the image information stored in the VRAM 11 to the frame buffer 21 of the MPEG-4 processing unit 20 at regular time intervals. Here, the VRAM 11 is a display memory in which image information to be displayed on the screen of the distribution side 10 is stored, and the frame buffer 21 is a buffer for receiving image information to be compressed. The MPEG-4 processing unit 20 compresses the image information copied to the image buffer into MPEG-4 format information, and distributes it as an elementary stream. Note that the content distribution method and the content distribution system according to the present invention can be similarly implemented even when a compression process other than the MPEG-4 format is used.
一方、受信側３０は、配信側１０が配信するエレメンタリーストリームを受信バッファ４１で受信して、ＭＰＥＧ−４フォーマットの情報を再生するプレーヤー４０により再生し、再生した画像情報をＶＲＡＭ３１に書込み画面表示を行なう。ここで、ＶＲＡＭ３１は配信側３０の画面に表示する画像情報が格納されている表示用メモリである。 On the other hand, the reception side 30 receives the elementary stream distributed by the distribution side 10 by the reception buffer 41, reproduces it by the player 40 that reproduces information in the MPEG-4 format, writes the reproduced image information in the VRAM 31, and displays the screen. To do. Here, the VRAM 31 is a display memory in which image information to be displayed on the screen of the distribution side 30 is stored.
つまり、図１に示した画像配信システムでは、配信側１０のＶＲＡＭ１１に格納されている画像情報とほぼ同一のデータが、配信側３０のＶＲＡＭ３１に書込まれるため、配信側１０と受信側３０の画面にほぼ同一の画像が表示される。ここで、配信側１０と受信側３０の画面の解像度が異なる場合には、画像情報に対して伸縮処理を行なってもよい。尚、表示用メモリ（ＶＲＡＭ１１、ＶＲＡＭ３１）には、通常、ＲＧＢ方式（赤、緑、青の３原色をもとに画像を表示する方式）で画像情報が格納されている。従って、配信側１０でＭＰＥＧ−４フォーマットの情報に圧縮処理される画像情報や、受信側３０で再生される画像情報もＲＧＢ方式になっている。 That is, in the image distribution system shown in FIG. 1, almost the same data as the image information stored in the VRAM 11 on the distribution side 10 is written in the VRAM 31 on the distribution side 30. An almost identical image is displayed on the screen. Here, when the screen resolutions of the distribution side 10 and the reception side 30 are different, the expansion / contraction process may be performed on the image information. Note that the display memory (VRAM 11 and VRAM 31) normally stores image information in the RGB format (method for displaying an image based on the three primary colors of red, green, and blue). Therefore, the image information that is compressed into information in the MPEG-4 format on the distribution side 10 and the image information that is reproduced on the reception side 30 are also in RGB format.
次に、配信側１０のＶＲＡＭ１１に格納された画像情報を圧縮処理し、エレメンタリーストリームとして配信するまでの過程を図２を参照して説明する。図２は、配信側１０における圧縮処理の過程を示すフローチャートである。図２に示したように、ＶＲＡＭ１１に格納されている画像情報が、フレームバッファに複写されると、その画像情報は動き予測、ＤＣＴ変換（離散コサイン変換）、量子化、可変長符号化等の処理を経て、エレメンタリーストリームとして配信される。以下、これらの処理をステップ毎に説明する。
ステップ１０：
ＶＲＡＭ１１に格納されている画像情報を一定の時間間隔で、フレームバッファに複写する。ここで、複写を行なう時間間隔は、配信側の画面表示が変化する速度を考慮して適宜設定する。つまり、画面表示の変化する速度が遅い場合や、画面表示を速く変化させる必要がない場合には、複写を行なう時間間隔を長くし、画面表示の変化する速度が速い場合や、画面表示を速く変化させる必要がある場合には、複写を行なう時間間隔を短くする。尚、画面表示の変化速度に対応できる時間間隔以上に、複写を行なう時間間隔を短くしてもよいが、配信される情報量が増加するため配信経路のネットワークにかかる負担が増加する。
ステップ１１：
フレーム（画像）間の動きベクトル（方向性と差分値）を予測する動き予測を行なう。この動き予測では、順方向予測（現フレームから次のフレームを予測）、逆方向予測（現フレームから前のフレームを予測）及び双方向予測が行なわれる。
ステップ１２：
画像を８×８画素の正方形のブロックに分け、このブロック単位でＤＣＴ変換（離散コサイン変換）を行なう。このＤＣＴ変換では、画像イメージを「空間的な周波数（精彩な画像は周波数が高く、一様な画像は周波数が低い）」として捉えて、各画素をそれぞれの周波数に対応した値に変換する。
ステップ１３：
ＤＣＴ変換で各画素に付与した画素値を、周波数別の量子化幅で量子化（除算して余りを切り捨てる近似処理）する。
ステップ１４：
各ブロック内の１番左上の画素の画素値と、他の６３画素の画素値を個別に符号化する。この処理では、出現頻度の大きい符号が、占有幅の狭い代替符号（より短いコード）に置換えられる。ここで、１番左上の画素については、各ブロック間の画素値の差分が符号化され、他の６３画素については、そのブロック内を走査することにより列に並べ替えて符号化される。
ステップ１５：
動き予測、ＤＣＴ変換（離散コサイン変換）、量子化、可変長符号化の処理を経た画像情報を、エレメンタリーストリームとして配信する。
Next, a process from compression processing of image information stored in the VRAM 11 on the distribution side 10 to distribution as an elementary stream will be described with reference to FIG. FIG. 2 is a flowchart showing the process of compression processing on the distribution side 10. As shown in FIG. 2, when the image information stored in the VRAM 11 is copied to the frame buffer, the image information is subjected to motion prediction, DCT transform (discrete cosine transform), quantization, variable length coding, and the like. After processing, it is distributed as an elementary stream. Hereinafter, these processes will be described step by step.
Step 10:
The image information stored in the VRAM 11 is copied to the frame buffer at regular time intervals. Here, the time interval for copying is appropriately set in consideration of the speed at which the screen display on the distribution side changes. In other words, if the speed at which the screen display changes is slow, or if it is not necessary to change the screen display quickly, the time interval for copying is lengthened, and the speed at which the screen display changes is fast, or the screen display is fast. If it is necessary to change, the time interval for copying is shortened. Although the time interval for copying may be shorter than the time interval that can correspond to the change speed of the screen display, the amount of information to be distributed increases, so the burden on the network of the distribution route increases.
Step 11:
Motion prediction is performed to predict motion vectors (direction and difference values) between frames (images). In this motion prediction, forward prediction (predicting the next frame from the current frame), backward prediction (predicting the previous frame from the current frame), and bidirectional prediction are performed.
Step 12:
The image is divided into square blocks of 8 × 8 pixels, and DCT transform (discrete cosine transform) is performed on a block basis. In this DCT conversion, an image is regarded as a “spatial frequency (a fine image has a high frequency and a uniform image has a low frequency)”, and each pixel is converted into a value corresponding to each frequency.
Step 13:
The pixel value given to each pixel by DCT conversion is quantized by the quantization width for each frequency (approximation process by dividing and discarding the remainder).
Step 14:
The pixel value of the top left pixel in each block and the pixel values of the other 63 pixels are individually encoded. In this process, a code having a high appearance frequency is replaced with a substitute code (a shorter code) having a small occupation width. Here, the pixel value difference between each block is encoded for the upper left pixel, and the other 63 pixels are encoded by being rearranged into a column by scanning the block.
Step 15:
Image information that has undergone motion prediction, DCT transform (discrete cosine transform), quantization, and variable length coding is distributed as an elementary stream.
次に、図１に示した受信側３０の受信バッファ４１で受信した画像情報（エレメンタリーストリーム）を再生して画面表示するまで過程を、図３を参照して説明する。図３は、受信側３０における再生処理の過程を示すフローチャートである。図３に示したように、受信バッファ４１で受信した画像情報は、可変長復号化、逆量子化、逆ＤＣＴ変換、動き補償等の処理を経て、画面上に画像として出力される。以下、これらの処理をステップ毎に説明する。
ステップ２０：
配信側からのエレメンタリーストリームを受信して、以下の再生処理を開始する。この際、以下の再生処理は、配信側１０のＶＲＡＭ１１に格納されている画像情報を、フレームバッファに複写する時間間隔とほぼ同一の時間間隔で処理を開始する。このように処理を開始することにより、配信側１０の画面に表示される画像と、受信側３０の画面に表示される画像との同期をとることができる。
ステップ２１：
可変長符号化の処理で代替符号に置換えられているコードを、固定長の符号に復号する。
ステップ２２：
量子化されている符号に、周波数別の量子化幅を乗算する逆量子化を行なう。
ステップ２３：
空間的な周波数に変換されている画素値を画像イメージに逆ＤＣＴ変換する。
ステップ２４：
前フレームとの差分情報から現フレームを生成する。
ステップ２５：
再生した画像情報を、ＶＲＡＭ３１に複写することにより、受信側３０の画面に、再生した画像情報に基づく画像を表示する。
Next, a process until the image information (elementary stream) received by the reception buffer 41 of the reception side 30 shown in FIG. 1 is reproduced and displayed on the screen will be described with reference to FIG. FIG. 3 is a flowchart showing the process of reproduction processing on the receiving side 30. As shown in FIG. 3, the image information received by the reception buffer 41 is output as an image on the screen through processes such as variable length decoding, inverse quantization, inverse DCT transform, and motion compensation. Hereinafter, these processes will be described step by step.
Step 20:
The elementary stream from the distribution side is received and the following playback process is started. At this time, the following reproduction process starts at substantially the same time interval as the time interval for copying the image information stored in the VRAM 11 on the distribution side 10 to the frame buffer. By starting the process in this way, the image displayed on the screen of the distribution side 10 and the image displayed on the screen of the reception side 30 can be synchronized.
Step 21:
The code replaced with the alternative code in the variable length coding process is decoded into a fixed length code.
Step 22:
Inverse quantization is performed by multiplying the quantized code by the quantization width for each frequency.
Step 23:
A pixel value converted to a spatial frequency is inversely DCT converted into an image.
Step 24:
The current frame is generated from the difference information from the previous frame.
Step 25:
By copying the reproduced image information to the VRAM 31, an image based on the reproduced image information is displayed on the screen of the receiving side 30.
以上のような処理により、配信側１０と受信側３０の画面にほぼ同一の画像が表示される。尚、この画像配信システムでは、配信側１０の画面に表示されている画像に対応した画像情報を順次圧縮処理して配信しているので、配信側１０で動作するアプリケーションソフト（例えば、テキスト編集ソフト、画像編集ソフト、データベースソフト、ＣＡＤソフト、表計算ソフト等）であれば、アプリケーションソフトに限定されることなく表示された画像を配信することができる。 Through the processing as described above, substantially the same image is displayed on the screens of the distribution side 10 and the reception side 30. In this image distribution system, image information corresponding to images displayed on the screen of the distribution side 10 is sequentially compressed and distributed, so application software (for example, text editing software) that operates on the distribution side 10 is distributed. Image editing software, database software, CAD software, spreadsheet software, etc.), the displayed image can be distributed without being limited to application software.
従って、図４に示したように配信側５０の装置でプレゼンテーションの資料を表示させた場合には、受信側５１、５２にも同一の資料が表示される。又、アプリケーションソフトの操作説明を行なう場合に、配信側５０で、順を追ってアプリケーションソフトを操作していけば、操作によって遷移していく画面表示が、受信側５１、５２にも表示される。 Therefore, when the presentation material is displayed on the distribution side 50 device as shown in FIG. 4, the same material is also displayed on the reception side 51, 52. Further, when explaining the operation of the application software, if the distribution side 50 operates the application software step by step, the screen display that is changed by the operation is also displayed on the reception side 51 and 52.
尚、以上の説明では、ＭＰＥＧ−４フォーマットの動画圧縮処理を用いた実施の形態について説明したが、本発明に用いられる動画圧縮処理は、ＭＰＥＧ−４フォーマットの動画圧縮処理に限定されるものではない。つまり、本発明に用いられる動画圧縮処理は、配信側の表示メモリ（ＶＲＡＭ）に格納されている画像情報を、受信側の表示メモリ（ＶＲＡＭ）に連続的に転送することが可能な動画圧縮処理であればよい。 In the above description, the embodiment using the MPEG-4 format moving image compression processing has been described. However, the moving image compression processing used in the present invention is not limited to the MPEG-4 format moving image compression processing. Absent. In other words, the moving image compression process used in the present invention is a moving image compression process capable of continuously transferring image information stored in the display memory (VRAM) on the distribution side to the display memory (VRAM) on the reception side. If it is.
１０ 配信側
１１、３１ ＶＲＡＭ
２０ ＭＰＥＧ−４処理部
２１ フレームバッファ
３０ 受信側
４０ プレーヤー
４１ 受信バッファ
５０ 配信側画面
５１、５２ 受信側画面
10 Distribution side 11, 31 VRAM
20 MPEG-4 processing unit 21 Frame buffer 30 Reception side 40 Player 41 Reception buffer 50 Distribution side screen 51, 52 Reception side screen
Claims (8)
取出した前記画像情報を動画圧縮処理して配信し、
受信側が、動画圧縮処理されている前記画像情報を受信し、
受信した前記画像情報を再生し、
再生した前記画像情報を、受信側装置内の表示用メモリに格納することを特徴とする画像配信方法。 The distribution side continuously extracts the image information stored in the display memory in the distribution side device,
The extracted image information is compressed and distributed as a video,
The receiving side receives the image information that has undergone video compression processing,
Play the received image information,
An image distribution method, wherein the reproduced image information is stored in a display memory in a receiving apparatus.
前記受信側装置内の表示用メモリに画像情報を格納する時間間隔とがほぼ同一であることを特徴とする請求項１記載の画像配信方法。 A time interval for retrieving image information from a display memory in the distribution side device;
2. The image distribution method according to claim 1, wherein a time interval for storing the image information in the display memory in the receiving apparatus is substantially the same.
前記フレームバッファに複写された画像情報を動画圧縮処理する圧縮手段と、
動画圧縮処理された前記画像情報を配信する配信手段とを備えた配信側と、
動画圧縮処理された前記画像情報を受信する受信手段と、
受信した前記画像情報を再生する再生手段と
再生した前記画像情報を受信側装置内の表示用メモリに書込む書込み手段とを備えた受信側とで構成されていることを特徴とする画像配信システム。 Copying means for continuously copying the image information stored in the display memory in the distribution side device to the frame buffer;
Compression means for moving image compression processing of image information copied to the frame buffer;
A distribution side including distribution means for distributing the image information subjected to the video compression process;
Receiving means for receiving the image information subjected to the video compression process;
An image distribution system comprising: a receiving unit including a reproducing unit that reproduces the received image information; and a writing unit that writes the reproduced image information into a display memory in the receiving side device. .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003282201A JP2005051564A (en) | 2003-07-29 | 2003-07-29 | Image distribution method and image distribution system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003282201A JP2005051564A (en) | 2003-07-29 | 2003-07-29 | Image distribution method and image distribution system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005051564A true JP2005051564A (en) | 2005-02-24 |
Family
ID=34267480
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003282201A Withdrawn JP2005051564A (en) | 2003-07-29 | 2003-07-29 | Image distribution method and image distribution system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2005051564A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008541503A (en) * | 2005-04-30 | 2008-11-20 | グアンドンウエイチュアンシシンカジグフンヨーシエンゴンス | Remote display processing method based on server / client structure |
-
2003
- 2003-07-29 JP JP2003282201A patent/JP2005051564A/en not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008541503A (en) * | 2005-04-30 | 2008-11-20 | グアンドンウエイチュアンシシンカジグフンヨーシエンゴンス | Remote display processing method based on server / client structure |
| JP4748219B2 (en) * | 2005-04-30 | 2011-08-17 | グアンドンウエイチュアンシシンカジグフンヨーシエンゴンス | Remote display processing method based on server / client structure |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7953315B2 (en) | Adaptive video processing circuitry and player using sub-frame metadata | |
| US6989868B2 (en) | Method of converting format of encoded video data and apparatus therefor | |
| KR100906957B1 (en) | Adaptive video processing using sub-frame metadata | |
| JP4576783B2 (en) | Data processing method and data processing apparatus | |
| KR100836667B1 (en) | Simultaneous video and sub-frame metadata capture system | |
| US20080007650A1 (en) | Processing of removable media that stores full frame video & sub-frame metadata | |
| EP0905976A1 (en) | Method of processing, transmitting and receiving dynamic image data and apparatus therefor | |
| US9020042B2 (en) | Audio/video speedup system and method in a server-client streaming architecture | |
| US20070268406A1 (en) | Video processing system that generates sub-frame metadata | |
| KR20000069258A (en) | Encoded stream splicing device and method, and an encoded stream generating device and method | |
| JPH1075436A (en) | System and method for setting index between trick reproduction stream and usual reproduction stream in video distribution system | |
| JP2008530856A (en) | Digital intermediate (DI) processing and distribution using scalable compression in video post-production | |
| JP2008500752A (en) | Adaptive decoding of video data | |
| WO2020013567A1 (en) | Method and device for processing content | |
| JP2006254366A (en) | Image processing apparatus, camera system, video system, network data system, and image processing method | |
| JP2000102007A (en) | Multi-media information synthesizer and compressed video signal generator | |
| JP2003111048A (en) | Server and program for contents reproduction | |
| JP2006197238A (en) | Remote presentation system, image distribution apparatus, image distribution method, and program | |
| CN100587793C (en) | Method for processing video frequency, circuit and system | |
| US6973131B2 (en) | Decoding apparatus, decoding method, decoding processing program and computer-readable storage medium having decoding processing program codes stored therein | |
| JPH11331843A (en) | Method and device for generating unlimitedly selected picture view from large picture | |
| JP2005051564A (en) | Image distribution method and image distribution system | |
| JP3325464B2 (en) | Moving image processing device | |
| CN109862385B (en) | Live broadcast method and device, computer readable storage medium and terminal equipment | |
| JP2006129190A (en) | Image distribution system, image distributing device, and image distributing method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060718 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20070806 |