JP2005341076A - Image communication system, communication conference system, hierarchical encoder, server device, image communication method, image communication program, and image communication program recording medium - Google Patents
Image communication system, communication conference system, hierarchical encoder, server device, image communication method, image communication program, and image communication program recording medium Download PDFInfo
- Publication number
- JP2005341076A JP2005341076A JP2004155421A JP2004155421A JP2005341076A JP 2005341076 A JP2005341076 A JP 2005341076A JP 2004155421 A JP2004155421 A JP 2004155421A JP 2004155421 A JP2004155421 A JP 2004155421A JP 2005341076 A JP2005341076 A JP 2005341076A
- Authority
- JP
- Japan
- Prior art keywords
- encoded data
- bit rate
- data
- image
- hierarchically
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は,階層符号化データを用いた画像通信技術に係わり,特に多地点テレビ会議などの画像通信システムにおいて,ある指定されたビットレートのもとで特定の画像領域の部分の画質を簡易に向上させることができるようにした画像通信技術に関するものである。 The present invention relates to an image communication technique using hierarchically encoded data, and in particular, in an image communication system such as a multipoint video conference, the image quality of a specific image area portion can be easily simplified under a specified bit rate. The present invention relates to an image communication technique that can be improved.
従来の多地点通信会議システムとしては,例えば下記の特許文献1「多地点会議制御装置」,特許文献2「画像符号化方式及びその画像符号化方式を用いた多地点間テレビ会議方式」,特許文献3「多地点間テレビ会議装置」等に記載されたものが知られている。
As conventional multipoint communication conference systems, for example, the following
一般にこれらの多地点通信会議システムでは,個人画像から興味のある領域の一部を切り出し,その部分を高精細に視聴することができなかった。 In general, in these multipoint communication conference systems, it is impossible to cut out a part of an area of interest from a personal image and view that part with high definition.
画像通信におけるスケーラブルな符号化方式としては,例えば下記の非特許文献1に記載されているようなMPEG−4・FGS(Fine Granularity Scalable) 符号化方式が知られている。このような階層符号化の目的は,伝送帯域の変動があった場合に,拡張レイヤを適応的にカットして,画像の途切れをなくすための機能を実現することである。また,一つのソースにて複数のビットストリームを取り出せるという,いわゆる One Source Multi-use を実現するものである。
多地点テレビ会議などの通信会議システムにおいて,あるクライアントAが,他のクライアントBの個人画像の特定の領域部分だけを高精細に視聴したいと思った場合でも,従来方式では,サーバ装置とクライアント端末間で送受信される符号化データが,通常,一定のデータ量になるように符号化されているため,特定の領域部分だけを高精細に表示させることはできなかった。 In a communication conference system such as a multipoint video conference, even when a client A wants to view only a specific area portion of a personal image of another client B with high definition, in the conventional method, a server device and a client terminal Since the encoded data transmitted / received between them is usually encoded so as to have a certain amount of data, it was not possible to display only a specific area portion with high definition.
受信側のクライアント端末で,クライアントが見たい特定の領域部分を高精細に表示することができるようにする方法として考えられるのは,データ量が少ない通常の符号化データストリームと,データ量が多い高精細版の符号化データストリームの2本のストリームデータを,サーバ装置が,常時クライアント端末から受信し,受信側のクライアント端末からの要求によって,通常のストリームデータを高精細版のストリームデータに切り替える方法である。しかし,この方法では,通常のストリームデータから高精細版のストリームデータに切り替えたときにデータ量が大幅に増加するため,帯域幅に制限があるときに,その帯域幅の中でストリームデータを円滑に送信することができないという問題がある。 As a method for enabling the client terminal on the receiving side to display a specific area portion desired by the client in high definition, a normal encoded data stream with a small amount of data and a large amount of data are considered. The server device always receives two stream data of the encoded data stream of the high definition version from the client terminal, and switches the normal stream data to the high definition version of the stream data in response to a request from the client terminal on the receiving side. Is the method. However, this method greatly increases the amount of data when switching from normal stream data to high-definition version stream data. Therefore, when the bandwidth is limited, stream data is smoothed within that bandwidth. There is a problem that cannot be sent to.
この問題は,基本レイヤビットストリームと拡張レイヤビットストリームとからなる階層符号化方式による符号化データとして,各クライアント端末に画像データを配信する場合にも同様に発生する。すなわち,基本レイヤビットストリームと拡張レイヤビットストリームのすべてのレイヤの符号化データを各クライアント端末に配信した場合には,データ量が増大化するため,ネットワークによる伝送能力やクライアント端末の通信処理能力で対応することができなくなるという問題がある。 This problem also occurs when image data is distributed to each client terminal as encoded data based on a hierarchical encoding method composed of a base layer bit stream and an enhancement layer bit stream. In other words, when the encoded data of all layers of the base layer bit stream and the enhancement layer bit stream is distributed to each client terminal, the amount of data increases, so the transmission capacity by the network and the communication processing capacity of the client terminal There is a problem that it becomes impossible to cope.
本発明は上記問題点の解決を図り,通信会議システム等において階層符号化方式により符号化された映像をリアルタイムに受信し表示する装置が,ある制限されたビットレートのもとで,すなわち少ない符号化データ量で画像の特定の部分だけを高精細に表示することができるようにすることを目的とする。 The present invention has been made to solve the above-mentioned problems, and an apparatus for receiving and displaying a video encoded by a hierarchical encoding method in a teleconferencing system or the like in real time has a limited bit rate, that is, a small code. It is an object of the present invention to display only a specific portion of an image with high definition by using a digitized data amount.
上記課題を解決するため,本発明は,基本レイヤビットストリームと拡張レイヤビットストリームとからなる階層符号化されたデータの通信を行う画像通信システムにおいて,前記データのビットレートを指示するビットレート指示手段と,送信対象となる前記階層符号化されたデータのデータ量が,前記ビットレート指示手段により指示されたビットレートに見合うデータ量になるように,階層符号化されたデータのうち,拡張レイヤビットストリームの下位プレーンの符号化データから上位プレーンの符号化データ,次に基本レイヤの符号化データの順番で,符号化データを切り捨てるコード変換を行うことにより,ビットレートの調整を行うビットレートトランスコード手段と,送信される階層符号化されたデータを復号した画像の特定部分の領域を,他の部分よりも高精細に表示させることを指示する画質向上領域指示手段と,前記画質向上領域指示手段により高精細に表示させる特定部分の領域の指示があった場合に,前記ビットレートトランスコード手段によるビットレートの調整前に,送信対象となる前記階層符号化されたデータの拡張レイヤビットストリームのうち,前記特定部分の領域以外の領域に相当する符号化データのデータ量を削減するコード変換を行う拡張レイヤ領域トランスコード手段とを備えることを特徴とする。 In order to solve the above problems, the present invention provides a bit rate indicating means for indicating a bit rate of the data in an image communication system that performs communication of hierarchically encoded data including a base layer bit stream and an enhancement layer bit stream. And the enhancement layer bits of the hierarchically encoded data so that the data amount of the hierarchically encoded data to be transmitted is a data amount that matches the bit rate specified by the bit rate indicating means. Bit rate transcoding that adjusts the bit rate by performing code conversion that truncates the encoded data in the order of the encoded data of the lower plane of the stream, the encoded data of the upper plane, and then the encoded data of the base layer And the characteristics of the decoded image of the hierarchically encoded data to be transmitted. When there is an image quality improvement area instruction means for instructing to display a partial area with higher definition than the other parts, and a specific portion area to be displayed with high definition by the image quality improvement area instruction means, Before the bit rate adjustment by the bit rate transcoding means, the amount of encoded data corresponding to an area other than the specific part of the enhancement layer bit stream of the hierarchically encoded data to be transmitted And an enhancement layer region transcoding means for performing code conversion for reducing the amount of data.
また,前記階層符号化されたデータは,拡張レイヤの解像度が基本レイヤの解像度のn倍(ただしn>1)の解像度を持つデータであることを特徴とする。 The hierarchically encoded data is data in which the resolution of the enhancement layer is n times (where n> 1) the resolution of the base layer.
図1は,本発明の概要を説明するための図である。本発明は,テレビ会議システムなどの画像通信システムにおいて,所定のビットレート(帯域幅)のもとで,指定された特定の領域(以下,ROI(Region Of Interest)選択領域という)を高精細に表示することを,階層符号化方式における拡張レイヤビットストリームを操作することにより実現するものである。 FIG. 1 is a diagram for explaining the outline of the present invention. According to the present invention, in a video communication system such as a video conference system, a specified specific region (hereinafter referred to as ROI (Region Of Interest) selection region) is defined with high definition under a predetermined bit rate (bandwidth). The display is realized by manipulating the enhancement layer bit stream in the hierarchical coding system.
スケーラブルな符号化が可能な階層符号化方式では,入力映像を基本レイヤ符号化部と拡張レイヤ符号化部とによって符号化し,符号化データをそれぞれ基本レイヤビットストリーム11,拡張レイヤビットストリーム12として出力する。拡張レイヤビットストリーム12は,通常,図1(A)に示すように複数のビットプレーン(レイヤ)P1〜Pkの可変長符号化データVLCからなる。
In the hierarchical encoding method capable of scalable encoding, the input video is encoded by the base layer encoding unit and the enhancement layer encoding unit, and the encoded data is output as the base
ビットレートトランスコード部16は,受信側の装置から指示されたビットレートによる転送可能ビット量に応じて,拡張レイヤビットストリーム12の下位側のビットプレーンをカットすることにより,送信するビットストリームのビット量を,指示されたビットレートで送ることができるように調整する処理を行うものである。
The bit
一般に拡張レイヤビットストリーム12のデータ量は,基本レイヤビットストリーム11のデータ量よりも多くなる。図1(A)に示す例では,指示されたビットレートによる転送可能ビット量から,基本レイヤビットストリーム11と拡張レイヤビットストリーム12のうち最上位レイヤのビットプレーンP1の符号化データだけを送信している。ビットレートによっては,拡張レイヤビットストリーム12をまったく送らない場合もあり,また基本レイヤビットストリーム11におけるBピクチャ,さらにPピクチャをカットする場合もある。もちろん,拡張レイヤビットストリーム12として送信するビットプレーン数が多ければ多いほど,受信側の装置において符号化データを復号した画像は,高精細に表示されることになる。
In general, the data amount of the enhancement
本発明は,例えば図1(B)に示すように,受信側の装置において表示された表示画像40において,ある特定の領域を高精細に見たいというユーザの希望により,ユーザがROI指示部23によってROI選択領域41を指定した場合,送信側の装置では,そのROI情報を受け取り,拡張レイヤ領域トランスコード部15が拡張レイヤビットストリーム12の符号化データを次のように加工する。すなわち,拡張レイヤビットストリーム12の可変長符号化データVLCのうち,ROI選択領域41以外の部分をすべて“0”のコードに置き換える。ROI選択領域41に含まれる部分の可変長符号化データVLCは,元の値のままとする。
In the present invention, for example, as shown in FIG. 1 (B), the user desires to view a specific area with high definition in a
このようにROI選択領域41以外の部分の可変長符号化データVLCをすべて“0”コードにすれば,各ビットプレーンP1〜Pkのデータ量は大幅に削減されることになる。したがって,ビットレートトランスコード部16では,図1(A)と同一のビットレートのもとで,図1(B)に示すように,拡張レイヤビットストリーム12の多くのビットプレーン(例えばP1〜Pj)の符号化データを,送信することができるようになる。
If all the variable length encoded data VLC other than the
受信側の装置がこのビットストリームを復号して表示した場合,表示画像40におけるROI選択領域41以外の部分は,基本レイヤビットストリーム11の復号画像として見ることができ,ROI選択領域41の部分については,さらにビットプレーンP1〜Pjの符号化データを用いた高精細な画像として見ることができることになる。
When the receiving side apparatus decodes and displays this bit stream, the part other than the
本発明によれば,階層符号化方式により符号化された画像を受信する装置が,同一ビットレートのもとで,画像の特定の部分だけを高精細に表示することができるようになる。特に,複数の個人画像を表示するようなテレビ会議システムにおいて,帯域幅に制限があるような場合に,特定の個人画像の特定の領域を高精細に切り換えて表示することができるようになり,会議資料の高精細な表示などにより会議を円滑に進行させることができるようになる。 According to the present invention, an apparatus that receives an image encoded by a hierarchical encoding method can display only a specific portion of an image with high definition at the same bit rate. In particular, in a video conference system that displays multiple personal images, when the bandwidth is limited, a specific area of a specific personal image can be switched in high definition and displayed. The meeting can be smoothly advanced by high-definition display of meeting materials.
以下,図面を用いて本発明の実施の形態を説明する。図2は,本発明を適用した4者間の通信会議システムの例を示している。各クライアント端末2A〜2Dは,それぞれ自端末で撮影した映像を階層符号化方式により符号化してビットストリームを生成し,上りセッションにてサーバ装置1にアップロードする。サーバ装置1は,テレビ会議を制御する多地点接続装置(MCU:Multipoint Connection Unit)であり,サーバ装置1では,各クライアント端末2A〜2Dから要求のあったデータ量だけを切り出して,個々のクライアント端末2A〜2Dに,基本レイヤビットストリームと拡張レイヤビットストリームからなる階層符号化されたデータを配信する。
Embodiments of the present invention will be described below with reference to the drawings. FIG. 2 shows an example of a communication conference system between four parties to which the present invention is applied. Each of the
図3は,サーバ装置とクライアント端末の構成例を示している。クライアント端末については,説明を分かりやすくするために,自画像をサーバ装置1にアップロードするクライアント端末(送信側)2と,サーバ装置1からスケーラブルビットストリームを受信して復号し,画像を表示するクライアント端末(受信側)2’とを分けて書いてある。実際には,各クライアント端末は,送信側と受信側の両方の機能を持つ。
FIG. 3 shows a configuration example of the server device and the client terminal. For easy understanding of the client terminal, a client terminal (transmission side) 2 that uploads the self-portrait to the
サーバ装置1は,各クライアント端末2からのスケーラブルビットストリーム(基本レイヤビットストリーム11と拡張レイヤビットストリーム12)を受信する受信バッファ10と,クライアント端末(受信側)2’からROI情報を受信するROI情報受信部13と,ROIの有無によってデータの流れを切り換えるROI切換え部14と,拡張レイヤ領域トランスコード部15と,ビットレートトランスコード部16と,スケーラブルビットストリームを各クライアント端末(受信側)2’に送信するための送信バッファ17と,クライアント端末(受信側)2’から指示されたビットレート情報を受信するビットレート受信部18と,受信したビットレートをビットレートトランスコード部16へ伝達するビットレート指示部19とを備える。
The
クライアント端末(送信側)2は,映像を入力するカメラ20と,カメラ20から入力した映像を階層符号化する階層符号化部21と,階層符号化部21により符号化したスケーラブルビットストリームを送信するための送信バッファ22とを備える。
The client terminal (transmission side) 2 transmits a
また,クライアント端末(受信側)2’は,ユーザからROI選択領域の指示を入力するROI指示部23と,指示されたROI情報をサーバ装置1へ送信するROI情報送信部24と,サーバ装置1からスケーラブルビットストリームを受信するための受信バッファ25と,受信したスケーラブルビットストリームを復号する階層復号部26と,復号画像を表示するディスプレイ等の表示部27と,自装置で受信を希望するデータ量のビットレート情報をサーバ装置1へ送信するビットレート送信部28とを備える。
Further, the client terminal (reception side) 2 ′ includes an
図3に示す例では,クライアント端末(受信側)2’がROI選択領域を指定しているが,サーバ装置1がROI選択領域を指定してもよい。例えば,テレビ会議において特定のクライアントが発話した場合に,複数のクライアントの画像の中で,発話したクライアントの画像の顔部分の領域を,画像認識により自動的にROI選択領域とするようなこともできる。
In the example shown in FIG. 3, the client terminal (reception side) 2 'designates the ROI selection area, but the
クライアント端末(受信側)2’においてデータを受信するときのビットレートは,例えばビットレートもしくは受信するビットストリームのデータ量を入力するためのスライダーバーを表示部27に表示し,ユーザに指定させてもよいし,クライアント端末(受信側)2’が規定値もしくは通信状況に応じて自動的に決定してもよい。また,データを受信するときのビットレートをクライアント端末(受信側)2’が指定するのではなく,ネットワークの状況などに応じてネットワーク上の装置またはサーバ装置1が指定するようにしてもよい。
For the bit rate when data is received at the client terminal (reception side) 2 ′, for example, a slider bar for inputting the bit rate or the amount of data of the bit stream to be received is displayed on the
クライアント端末(送信側)2は,スケーラブルビットストリームを送信しているが,非スケーラブル符号化データを送信するクライアント端末が存在してもよい。 The client terminal (transmission side) 2 transmits a scalable bit stream, but there may be a client terminal that transmits non-scalable encoded data.
サーバ装置1には,複数のクライアント端末からスケーラブルデータもしくは非スケーラブルデータが上がってくる(上りの符号化データ)。各クライアント端末は,これらのデータを,クライアント指定もしくはサーバ装置1が自動的に判断した任意のビットレートおよびROI情報によって目的とする符号化データにトランスコードしたものを受信する。
The
以下では,クライアントAが他のクライアントBの画像領域をROI選択領域として指定し,またそのデータの受信ビットレートをサーバ装置1に対して指定した場合の動作を説明する。クライアントA(図3ではクライアント端末(受信側)2’のクライアント)は,受信している複数のクライアントの画像うち,特定のクライアントB(図3ではクライアント端末(送信側)2のクライアント)を選択し,クライアントBの符号化データの受信ビットレートとROI情報を,それぞれビットレート送信部28とROI情報送信部24によってサーバ装置1に通知する。サーバ装置1は,ビットレート受信部18およびROI情報受信部13にて,それぞれ受信ビットレートおよびROI情報をクライアントAのクライアント端末(受信側)2’から受ける。
Hereinafter, an operation when the client A designates the image area of another client B as the ROI selection area and designates the reception bit rate of the data to the
ROI情報は,ROI指定があるかないかの情報,およびROI指定がある場合に,そのROI選択領域の位置およびサイズを示す領域情報である。この領域情報は,領域が矩形の場合,例えば左上隅の座標と右下隅の座標の座標情報のようなものでよい。また,領域が任意形状の場合,例えばマクロブロックごとに,ROI選択領域に属するマクロブロックの位置を“1”,ROI選択領域に属さないマクロブロックの位置を“0”に設定したビットマップデータのようなものでもよい。 The ROI information is information indicating whether or not there is ROI designation, and area information indicating the position and size of the ROI selection area when there is ROI designation. When the area is rectangular, the area information may be, for example, coordinate information of the coordinates of the upper left corner and the coordinates of the lower right corner. Also, if the area has an arbitrary shape, for example, for each macroblock, bitmap data in which the position of a macroblock belonging to the ROI selection area is set to “1” and the position of a macroblock not belonging to the ROI selection area is set to “0”. Something like that.
サーバ装置1は,受信したビットレート情報とROI情報とに基づいて,拡張レイヤ領域トランスコード部15およびビットレートトランスコード部16によるトランスコード処理を行う。
The
クライアントAからクライアントBの画像についてのROIの指示があった場合,指定されたクライアントBの拡張レイヤビットストリーム12を,ROI切換え部14を介して拡張レイヤ領域トランスコード部15へ送る。拡張レイヤ領域トランスコード部15では,クライアントBの拡張レイヤビットストリーム12の中で,ROI選択領域に入らないマクロブロックの可変長符号化データを“0”というコードに置き換えてビットレートトランスコード部16へ出力する。ROI選択領域に入る部分の可変長符号化データはそのまま出力する。
When there is an ROI instruction for the image of client B from client A, the enhancement
ビットレートトランスコード部16は,受信バッファ10から基本レイヤビットストリーム11を入力し,また拡張レイヤ領域トランスコード部15からトランスコードした拡張レイヤビットストリーム12を入力し,またビットレート指示部19からビットレート指示情報を入力する。ビットレートトランスコード部16は,入力されたビットストリームにおいて,ビットレート指示部19により指示された任意のビットレートになるまで,送信するビットストリームのデータ量を削減するため,拡張レイヤの下位側のビットプレーンから順番に符号化データに“0”を入れる。拡張レイヤのデータがなくなった場合には,基本レイヤのBピクチャから“0”とし,次にPピクチャ,Iピクチャの順に符号化データを“0”とする。ビットレートトランスコード部16にてトランスコードされたクライアントBのビットストリームは,送信バッファ17に送られ,送信バッファ17からクライアントAのクライアント端末(受信側)2’へ送信される。
The bit
一方,ROIの指示がない場合,すなわち,クライアントAがクライアントBの画像に対して,ROIの指定を行わず,ビットレートの指定(必須)のみを行った場合には,受信バッファ10中のクライアントBの基本レイヤビットストリーム11および拡張レイヤビットストリーム12は,直接,ビットレートトランスコード部16へ送られ,ビットレートトランスコード部16でビットレート指示部19により指定されたビットレートに相当するデータ量に調整され,送信バッファ17を介して,クライアントAのクライアント端末(受信側)2’へ送信される。
On the other hand, when there is no ROI instruction, that is, when the client A does not specify the ROI for the image of the client B but only specifies the bit rate (required), the client in the
図4は,拡張レイヤ領域トランスコード部15の処理を説明するフローチャートである。拡張レイヤにMPEG−4のFGS(Fine Granularity Scalable) 符号化を用いるものとする。FGS符号化の場合,拡張レイヤのビットストリームは,基本的にマクロブロック単位の可変長符号化データVLCから構成される。よって,ROI選択領域に相当しないマクロブロックの可変長符号化データVLCをすべて“0”に置き換えることで,トランスコードができる。すなわち,この個々の可変長符号化データVLCがROIの領域であるなら,VLCに何も操作せず,ROI以外の領域であるなら,VLCを“0”のコードに置き換える。
FIG. 4 is a flowchart for explaining the processing of the enhancement layer
すなわち,拡張レイヤビットストリーム12の各マクロブロックごとに,図4に示す処理を実行する。f番目のフレームのl番目のレイヤのm個目のマクロブロックにおけるVLC符号を,VLCf (l,m)とし,f番目のフレームのm個目のマクロブロックにおける選択領域情報を,Rf (m)とする。なお,このm個目のマクロブロックがROI選択領域内であれば,Rf (m)=1であり,ROI選択領域外であれば,Rf (m)=0と定義されているものとする。
That is, the process shown in FIG. 4 is executed for each macroblock of the
ステップS1では,現在処理しているm個目のマクロブロックのRf (m)が0かどうかを判定する。0でない場合には,そのマクロブロックのVLCf (l,m)を,VLC符号としてそのまま出力する。Rf (m)が0の場合,ステップS2においてVLCf (l,m)を“0”のコードに置き換えて出力する。ステップS3では,変換後の拡張レイヤビットストリーム12を再構成してビットレートトランスコード部16へ出力する。このビットストリームの再構成は,VLCf (l,m)が“0”のコードを圧縮する処理であり,きわめて簡単なコード変換処理で実現することができる。
In step S1, it is determined whether R f (m) of the m-th macroblock currently processed is 0. If it is not 0, VLC f (l, m) of the macroblock is output as it is as a VLC code. If R f (m) is 0, VLC f (l, m) is replaced with a code of “0” and output in step S2. In step S3, the converted enhancement
図5は,ビットレートトランスコード部16の処理を説明するフローチャートである。本実施の形態で扱う拡張レイヤビットストリーム12のデータ形式は,図5(A)に示すように,1フレーム分の可変長符号化データ(VLC)の前に,FGSのVOP(Video Object Plane)スタートコードビットSc が付加された形式になっている。
FIG. 5 is a flowchart for explaining the processing of the bit
クライアントから指示されたビットレートをBc [bit per sec ],直前のGOVのフレームレートf[frames per sec]とする。まず,ステップS10では,Bc をfで割る(Bv =Bc /f)ことにより,1フレーム当たりのビット量Bv を計算する。 The bit rate instructed by the client is B c [bit per sec], and the frame rate f [frames per sec] of the previous GOV is assumed. First, in step S10, the bit amount B v per frame is calculated by dividing B c by f (B v = B c / f).
次に,ステップS11では,ビット量をカウントするためのビットカウント値を“0”に初期化する。ステップS12では,拡張レイヤビットストリーム12の先頭から順番にビットデータを取り出して解析する。取り出したビットデータがFGSのVOPスタートコードビットSc であれば(ステップS13),ステップS11へ戻り,再度,ビットカウント値を“0”に初期化してカウントを続ける。
In step S11, a bit count value for counting the bit amount is initialized to “0”. In step S12, bit data is extracted and analyzed in order from the beginning of the
FGSのVOPスタートコードビットSc でなければ,ビットカウント値がBv を超えるか(ステップS15),次のFGSのVOPスタートコードビットSc が現れるまで(ステップS13),ビットカウント値をカウントアップし,符号化ビットをカウントする。ビットカウント値が1フレーム当たりのビット量Bv を超えたら,ステップS16へ進み,そのフレームの残りのデータ(VLC),すなわち次のFGSのVOPスタートコードビットSc が現れるまでのデータをすべて“0”というコードにする。以上の処理を一連の拡張レイヤビットストリーム12について繰り返す。
Otherwise VOP start code bits S c of FGS, whether the bit count is greater than B v (step S15), and until a VOP start code bits S c of the next FGS (step S13), and increments the bit counter value And count the coded bits. When the bit count value exceeds the amount of bits B v per frame, the process proceeds to step S16, the remaining data of the frame (VLC), ie, all data until a VOP start code bits S c of the next FGS " The code is “0”. The above processing is repeated for a series of
ビットレートトランスコード部16は,以上の処理をGOV(Iピクチャから次のIピクチャまでのデータ)ごとに行うことによって,クライアントが指定したビットレートとなるように,送信するビットストリームのビット量を調整することができる。
The bit
図6〜図8は,図3に示すクライアント端末(送信側)2における階層符号化部21の構成例を示す。いずれもMPEG−4 ASP/FGS符号化方式による基本レイヤと拡張レイヤからなる階層符号化を行うものである。図6および図7は,基本レイヤと拡張レイヤとが同じ解像度を持つ場合の階層符号化方式を示しており,一般に知られているものである。図8は,従来の階層符号化方式を本実施の形態のために改良したものであり,拡張レイヤが基本レイヤの2倍の解像度を持つ階層符号化を行うものである。なお,図6〜図8では,図をわかりやすくするために動き検出部および動き補償部については図示を省略している。 6 to 8 show configuration examples of the hierarchical encoding unit 21 in the client terminal (transmission side) 2 shown in FIG. In either case, hierarchical encoding consisting of a base layer and an enhancement layer by the MPEG-4 ASP / FGS encoding method is performed. FIG. 6 and FIG. 7 show a hierarchical encoding method when the base layer and the enhancement layer have the same resolution, and are generally known. FIG. 8 shows an improvement of the conventional hierarchical encoding method for this embodiment, in which the enhancement layer performs hierarchical encoding with twice the resolution of the base layer. 6 to 8, the motion detection unit and the motion compensation unit are not shown for easy understanding of the drawings.
まず,図6の階層符号化方式について説明する。基本レイヤの符号化では,デジタル化された入力映像211が入力されると,減算器212により入力映像211と動き補償された予測画像との差分が算出される。DCT部213は,この差分信号を離散コサイン変換し,結果のDCT係数を出力する。量子化部214は,そのDCT係数を量子化し,量子化結果を可変長符号化部215と,逆量子化部216へ出力する。可変長符号化部215は,量子化されたDCT係数を可変長符号化し,基本レイヤビットストリームを生成する。逆量子化部216は,量子化されたDCT係数を逆量子化し,逆DCT部217は,さらにそれを逆離散コサイン変換して,予測画像に用いるための復号画像を生成する。
First, the hierarchical encoding method of FIG. 6 will be described. In the encoding of the base layer, when the digitized
拡張レイヤの符号化では,逆量子化部216と逆DCT部217とによってローカルデコードされた基本レイヤの復号画像と,入力映像211との差分画像を減算器218によって算出し,それをDCT部219によって離散コサイン変換する。ビットプレーン展開部220は,DCT係数をそのままビットプレーン展開し,選択的拡張処理部(SE:Selective Enhancement )221は,可変長符号化する前のビットプレーン展開されたDCT係数の符号化優先順位の変更を行う。可変長符号化部222は,その結果を可変長符号化し,拡張レイヤビットストリームを生成する。
In the enhancement layer coding, a
図7に示す構成による階層符号化部による符号化は,次のように入力映像231の階層符号化を行う。基本レイヤの符号化は,図6と同様であり,減算器232,DCT部233,量子化部234,可変長符号化部235,逆量子化部236および逆DCT部237によって,基本レイヤビットストリームの生成と,次の予測符号化のための復号画像の生成を行う。
The encoding by the hierarchical encoding unit having the configuration shown in FIG. 7 performs hierarchical encoding of the
拡張レイヤの符号化では,基本レイヤにおけるDCT部233によるDCT変換直後のDCT係数と,量子化部234による量子化,逆量子化部236による逆量子化した後のDCT係数との差分を,減算器238によって直接的に計算する。このDCT係数の差分をビットプレーン展開部239によってビットプレーン展開する。選択的拡張処理部(SE)240は,可変長符号化する前のビットプレーン展開された差分DCT係数の符号化優先順位の変更を行い,可変長符号化部241は,その結果を可変長符号化して拡張レイヤビットストリームを生成する。この方法によっても,FGS符号化シンタックスに則ったビットストリームを生成することができ,図6の方法よりも処理を高速化することができる。
In the enhancement layer encoding, the difference between the DCT coefficient immediately after the DCT transform by the
図8に示す構成の階層符号化部による符号化では,拡張レイヤが基本レイヤの2倍の解像度を持つように階層符号化する。図6に示す階層符号化部との違いは,入力映像251を,例えば1/2というような所定の縮小率に応じて縮小する画像縮小部252が,予測画像との差分を算出する減算器253の前に設けられていること,および拡張レイヤの符号化の際に,縮小された基本レイヤの復号画像を元のサイズに拡大する画像拡大部259が,逆DCT部258と減算器260との間に設けられていることである。
In the encoding by the hierarchical encoding unit configured as shown in FIG. 8, hierarchical encoding is performed so that the enhancement layer has a resolution twice that of the base layer. A difference from the hierarchical encoding unit shown in FIG. 6 is that an
画像縮小部252は,図8(B)に示すように,入力映像251の1フレームの縦横の画素数を例えば半分に縮小し,その縮小画像251aを基本レイヤの符号化に用いる。拡張レイヤの符号化では,縮小画像251aを符号化してそれをローカルデコードしたものを,画像拡大部259によって元の入力映像251の画像サイズに拡大し,その拡大した復号画像251bと入力映像251との差分を算出して符号化する。すなわち,図8に示す方式の階層符号化では,入力映像251を例えば半分の解像度にしたものを基本レイヤの符号化に用いる。拡張レイヤの符号化では,基本レイヤの単純拡大画像と,入力映像251の原画像との差分を符号化する。
As shown in FIG. 8B, the
図8の階層符号化方式により階層符号化されたビットストリームを復号するクライアント端末(受信側)2’では,階層復号部26において,基本レイヤの復号画像を2倍に拡大し,拡張レイヤの復号データと重ね合わせる。
In the client terminal (reception side) 2 ′ that decodes the bit stream that has been hierarchically encoded by the hierarchical encoding method of FIG. 8, the
図8に示す階層符号化方式を用いることの利点は,基本レイヤビットストリーム11のデータ量を大きく削減することができることである。この結果,同一のビットレートで符号化ビットストリームを送信する場合に,基本レイヤビットストリーム11のデータ量が少なくなる分だけ,拡張レイヤビットストリーム12のデータ量を増加させることができるようになる。基本レイヤだけの復号画像の表示では,解像度が半分になるため画質が劣化するが,拡張レイヤを用いて階層復号された結果の解像度は,実質的に拡張レイヤの解像度によって決まるため,基本レイヤの解像度を半分にしたことによる影響は少ない。
The advantage of using the hierarchical coding scheme shown in FIG. 8 is that the data amount of the
図9は,本実施の形態における選択的画質向上(ROI)の様子を図式化したものである。図9(A)は,基本レイヤと拡張レイヤの解像度が同じ場合の様子を示しており,図9(B)は,基本レイヤと拡張レイヤの解像度が異なり,拡張レイヤの解像度が基本レイヤの2倍の解像度の場合の様子を示している。すなわち,図9(A)は,図6または図7に示す階層符号化方式によって生成されたビットストリームを用いる場合,図9(B)は,図8に示す階層符号化方式によって生成されたビットストリームを用いる場合の例である。 FIG. 9 is a schematic diagram showing the state of selective image quality improvement (ROI) in the present embodiment. FIG. 9A shows a state where the resolution of the base layer and the enhancement layer is the same. FIG. 9B shows that the resolution of the base layer and the enhancement layer is different, and the resolution of the enhancement layer is 2 of the basic layer. The situation in the case of double resolution is shown. 9A uses the bitstream generated by the hierarchical encoding scheme shown in FIG. 6 or FIG. 7, and FIG. 9B shows the bits generated by the hierarchical encoding scheme shown in FIG. This is an example of using a stream.
例えば,クライアント端末(受信側)2’において,図9(A1)に示すようなクライアントの画像を見ているユーザが,ポインティングデバイス等によりROI選択領域41を指定すると,その部分の拡張レイヤのデータがサーバ装置1から多く送信され,図9(A2)のように,選択された領域が他の部分よりも高精細に表示される。表示方法として,全体の表示の中で一部だけを高精細に表示する方法以外に,図9(A3)に示すように,領域の一部だけを切り出して,高精細に表示する方法を用いることもできる。
For example, when a user viewing a client image as shown in FIG. 9A1 at the client terminal (reception side) 2 ′ designates the
次に,拡張レイヤの解像度が基本レイヤの2倍の解像度で階層符号化されている場合の例を,図9(B)に従って説明する。ユーザがROI選択領域41を指定していない状態では,例えば図9(B1)に示すような基本レイヤのみの復号画像が表示されているものとする。図9(B1)のクライアント画像を見ているユーザが,ポインティングデバイス等によりROI選択領域41を指定すると,拡張レイヤを含めた階層復号により,図9(B2)のように,選択された領域が高精細に表示される。このとき全体の解像度は,拡張レイヤの解像度になる。なお,図9(B3)に示すように,高精細化された領域だけをクリップして表示するような方法を用いることもできる。
Next, an example in which the resolution of the enhancement layer is hierarchically encoded at twice the resolution of the base layer will be described with reference to FIG. In a state where the user does not designate the
以上のサーバ装置1およびクライアント端末2,2’が行う処理は,ハードウェアやファームウェアによって実現することができるだけでなく,コンピュータとソフトウェアプログラムとによっても実現することができ,そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも,ネットワークを通して提供することも可能である。
The processes performed by the
1 サーバ装置
2,2’ クライアント端末
10 受信バッファ
11 基本レイヤビットストリーム
12 拡張レイヤビットストリーム
13 ROI情報受信部
14 ROI切換え部
15 拡張レイヤ領域トランスコード部
16 ビットレートトランスコード部
17 送信バッファ
18 ビットレート受信部
19 ビットレート指示部
20 カメラ
21 階層符号化部
22 送信バッファ
23 ROI指示部
24 ROI情報送信部
25 受信バッファ
26 階層復号部
27 表示部
28 ビットレート送信部
40 表示画像
41 ROI選択領域
DESCRIPTION OF
Claims (11)
前記データのビットレートを指示するビットレート指示手段と,
送信対象となる前記階層符号化されたデータのデータ量が,前記ビットレート指示手段により指示されたビットレートに見合うデータ量になるように,階層符号化されたデータのうち,拡張レイヤビットストリームの下位プレーンの符号化データから上位プレーンの符号化データ,次に基本レイヤの符号化データの順番で,符号化データを切り捨てるコード変換を行うことにより,ビットレートの調整を行うビットレートトランスコード手段と,
送信される階層符号化されたデータを復号した画像の特定部分の領域を,他の部分よりも高精細に表示させることを指示する画質向上領域指示手段と,
前記画質向上領域指示手段により高精細に表示させる特定部分の領域の指示があった場合に,前記ビットレートトランスコード手段によるビットレートの調整前に,送信対象となる前記階層符号化されたデータの拡張レイヤビットストリームのうち,前記特定部分の領域以外の領域に相当する符号化データのデータ量を削減するコード変換を行う拡張レイヤ領域トランスコード手段とを備える
ことを特徴とする画像通信システム。 In an image communication system for performing communication of hierarchically encoded data composed of a base layer bit stream and an enhancement layer bit stream,
Bit rate indicating means for indicating the bit rate of the data;
Among the layer-encoded data, the enhancement layer bit stream is set so that the data amount of the layer-encoded data to be transmitted corresponds to the data amount corresponding to the bit rate specified by the bit rate indicating means. Bit rate transcoding means for adjusting the bit rate by performing code conversion for truncating the encoded data in the order of the encoded data of the lower plane, the encoded data of the upper plane, and then the encoded data of the base layer ,
An image quality improvement region indicating means for instructing to display a region of a specific portion of an image obtained by decoding the hierarchically encoded data to be transmitted with higher definition than other portions;
When there is an instruction of a specific part area to be displayed in high definition by the image quality improvement area instruction means, before the bit rate adjustment by the bit rate transcoding means, the hierarchically encoded data to be transmitted An image communication system, comprising: an extension layer region transcoding unit that performs code conversion to reduce a data amount of encoded data corresponding to a region other than the region of the specific portion in the enhancement layer bitstream.
前記階層符号化されたデータは,拡張レイヤの解像度が基本レイヤの解像度のn倍(ただしn>1)の解像度を持つデータである
ことを特徴とする画像通信システム。 The image communication system according to claim 1,
The hierarchical communication data is an image communication system characterized in that the resolution of the enhancement layer is data having a resolution n times (where n> 1) the resolution of the base layer.
前記各クライアント端末は,
自端末における入力映像を階層符号化する手段と,
階層符号化されたデータを前記サーバ装置へ送信する手段と,
前記サーバ装置から階層符号化されたデータを受信する手段と,
受信した階層符号化されたデータを階層復号する手段と,
階層復号した画像を表示する手段と,
自端末が受信するデータのビットレートを前記サーバ装置へ通知する手段と,
前記階層符号化されたデータを復号した画像の特定部分の領域を,他の部分よりも高精細に表示させることを指示する画質向上領域指示情報を前記サーバ装置へ送信する手段とを備え,
前記サーバ装置は,
前記各クライアント端末への送信対象となる前記階層符号化されたデータのデータ量が,前記クライアント端末から通知されたビットレートに見合うデータ量になるように,階層符号化されたデータのうち,拡張レイヤビットストリームの下位プレーンの符号化データから上位プレーンの符号化データ,次に基本レイヤの符号化データの順番で,符号化データを切り捨てるコード変換を行うことにより,ビットレートの調整を行うビットレートトランスコード手段と,
前記クライアント端末から画質向上領域指示情報を受信した場合に,前記ビットレートトランスコード手段によるビットレートの調整前に,送信対象となる前記階層符号化されたデータの拡張レイヤビットストリームのうち,前記特定部分の領域以外の領域に相当する符号化データのデータ量を削減するコード変換を行う拡張レイヤ領域トランスコード手段とを備える
ことを特徴とする通信会議システム。 Hierarchically encoded data comprising a base layer bit stream and an enhancement layer bit stream, comprising a plurality of client terminals and a server device connected to the client terminals via a network and controlling communication between the client terminals A teleconferencing system for video conferencing using
Each of the client terminals is
Means for hierarchically encoding input video at the terminal;
Means for transmitting the hierarchically encoded data to the server device;
Means for receiving hierarchically encoded data from the server device;
Means for hierarchically decoding received hierarchically encoded data;
Means for displaying the hierarchically decoded image;
Means for notifying the server device of the bit rate of data received by the terminal;
Means for transmitting to the server device image quality improvement region instruction information for instructing to display a region of a specific portion of an image obtained by decoding the hierarchically encoded data at a higher definition than other portions;
The server device
Of the hierarchically encoded data, an extension is made so that the data amount of the hierarchically encoded data to be transmitted to each client terminal is a data amount suitable for the bit rate notified from the client terminal. Bit rate that adjusts the bit rate by performing code conversion that truncates the encoded data in the order of the encoded data of the lower plane of the layer bitstream to the encoded data of the upper plane and then the encoded data of the base layer Transcoding means;
When the image quality improvement region instruction information is received from the client terminal, before the bit rate is adjusted by the bit rate transcoding means, the specific layer of the enhancement layer bit stream of the hierarchically encoded data to be transmitted is specified. A communication conference system, comprising: an extension layer region transcoding unit that performs code conversion to reduce a data amount of encoded data corresponding to a region other than a partial region.
前記各クライアント端末は,
自端末における入力映像を階層符号化する手段と,
階層符号化されたデータを前記サーバ装置へ送信する手段と,
前記サーバ装置から階層符号化されたデータを受信する手段と,
受信した階層符号化されたデータを階層復号する手段と,
階層復号した画像を表示する手段と,
自端末が受信するデータのビットレートを前記サーバ装置へ通知する手段とを備え,
前記サーバ装置は,
前記各クライアント端末への送信対象となる前記階層符号化されたデータのデータ量が,前記クライアント端末から通知されたビットレートに見合うデータ量になるように,階層符号化されたデータのうち,拡張レイヤビットストリームの下位プレーンの符号化データから上位プレーンの符号化データ,次に基本レイヤの符号化データの順番で,符号化データを切り捨てるコード変換を行うことにより,ビットレートの調整を行うビットレートトランスコード手段と,
前記階層符号化されたデータを前記クライアント端末にて復号した画像の特定部分の領域を,他の部分よりも高精細に表示させることを指示する画質向上領域指示手段と,
前記画質向上領域指示手段により高精細に表示させる特定部分の領域の指示があった場合に,前記ビットレートトランスコード手段によるビットレートの調整前に,送信対象となる前記階層符号化されたデータの拡張レイヤビットストリームのうち,前記特定部分の領域以外の領域に相当する符号化データのデータ量を削減するコード変換を行う拡張レイヤ領域トランスコード手段とを備える
ことを特徴とする通信会議システム。 Hierarchically encoded data comprising a base layer bit stream and an enhancement layer bit stream, comprising a plurality of client terminals and a server device connected to the client terminals via a network and controlling communication between the client terminals A teleconferencing system for video conferencing using
Each of the client terminals is
Means for hierarchically encoding input video at the terminal;
Means for transmitting the hierarchically encoded data to the server device;
Means for receiving hierarchically encoded data from the server device;
Means for hierarchically decoding received hierarchically encoded data;
Means for displaying the hierarchically decoded image;
Means for notifying the server device of the bit rate of data received by the terminal,
The server device
Of the hierarchically encoded data, an extension is made so that the data amount of the hierarchically encoded data to be transmitted to each client terminal is a data amount suitable for the bit rate notified from the client terminal. Bit rate that adjusts the bit rate by performing code conversion that truncates the encoded data in the order of the encoded data of the lower plane of the layer bitstream to the encoded data of the upper plane and then the encoded data of the base layer Transcoding means;
An image quality improvement region instruction means for instructing to display a region of a specific portion of an image obtained by decoding the hierarchically encoded data at the client terminal in a higher definition than other portions;
When there is an instruction of a specific part area to be displayed in high definition by the image quality improvement area instruction means, before the bit rate adjustment by the bit rate transcoding means, the hierarchically encoded data to be transmitted A communication conferencing system comprising: an extension layer region transcoding unit that performs code conversion to reduce a data amount of encoded data corresponding to a region other than the region of the specific portion of the enhancement layer bitstream.
前記クライアント端末が受信するデータのビットレートを前記サーバ装置へ通知する手段を持つ代わりに,ネットワーク上の装置または前記サーバ装置が,各クライアント端末に対して送信するデータのビットレートを決定し,前記ビットレートトランスコード手段に通知する手段を持つ
ことを特徴とする通信会議システム。 In the communication conference system according to claim 3 or 4,
Instead of having a means for notifying the server device of the bit rate of data received by the client terminal, the device on the network or the server device determines the bit rate of data to be transmitted to each client terminal, and A communication conference system comprising means for notifying a bit rate transcoding means.
入力映像を1/n(ただしn>1)に縮小する画像縮小手段と,
前記画像縮小手段によって縮小した画像を符号化し,基本レイヤビットストリームを生成する基本レイヤ符号化手段と,
前記基本レイヤ符号化手段によって符号化したデータを復号した画像を,n倍に拡大する画像拡大手段と,
入力映像と前記画像拡大手段によって拡大した画像とを用いて,拡張レイヤビットストリームを生成する拡張レイヤ符号化手段とから構成される
ことを特徴とする階層符号化装置。 A hierarchical encoding device used by a client terminal of a communication conference system according to claim 3, claim 4 or claim 5,
Image reduction means for reducing the input video to 1 / n (where n>1);
Base layer encoding means for encoding the image reduced by the image reduction means and generating a base layer bitstream;
An image enlarging means for enlarging an image obtained by decoding the data encoded by the base layer encoding means by n times;
A hierarchical coding apparatus comprising: an enhancement layer encoding means for generating an enhancement layer bitstream using an input video and an image enlarged by the image enlargement means.
前記クライアント端末への送信対象となる前記階層符号化されたデータのデータ量が,前記クライアント端末に対して指定されたビットレートに見合うデータ量になるように,階層符号化されたデータのうち,拡張レイヤビットストリームの下位プレーンの符号化データから上位プレーンの符号化データ,次に基本レイヤの符号化データの順番で,符号化データを切り捨てるコード変換を行うことにより,ビットレートの調整を行うビットレートトランスコード手段と,
送信される階層符号化されたデータを前記クライアント端末にて復号した画像の特定部分の領域を,他の部分よりも高精細に表示させることを指示する画質向上領域指示情報に基づき,前記ビットレートトランスコード手段によるビットレートの調整前に,送信対象となる前記階層符号化されたデータの拡張レイヤビットストリームのうち,前記特定部分の領域以外の領域に相当する符号化データのデータ量を削減するコード変換を行う拡張レイヤ領域トランスコード手段とを備える
ことを特徴とするサーバ装置。 A server device that is connected to a plurality of client terminals performing a video conference via a network and controls a video conference using hierarchically encoded data including a base layer bit stream and an enhancement layer bit stream,
Of the hierarchically encoded data, the data amount of the hierarchically encoded data to be transmitted to the client terminal is a data amount that matches the bit rate specified for the client terminal, Bit that adjusts the bit rate by performing code conversion that truncates the encoded data in the order of the encoded data of the lower plane of the enhancement layer bitstream, the encoded data of the upper plane, and then the encoded data of the base layer Rate transcoding means;
The bit rate based on the image quality improvement region indication information that instructs to display the region of the specific portion of the image obtained by decoding the hierarchically encoded data to be transmitted at the client terminal in a higher definition than the other portion. Before the bit rate is adjusted by the transcoding means, the amount of encoded data corresponding to an area other than the specific part of the enhancement layer bit stream of the hierarchically encoded data to be transmitted is reduced. A server apparatus comprising: an enhancement layer area transcoding unit that performs code conversion.
前記データのビットレートを指示するビットレート指示過程と,
送信対象となる前記階層符号化されたデータのデータ量が,前記ビットレート指示過程において指示されたビットレートに見合うデータ量になるように,階層符号化されたデータのうち,拡張レイヤビットストリームの下位プレーンの符号化データから上位プレーンの符号化データ,次に基本レイヤの符号化データの順番で,符号化データを切り捨てるコード変換を行うことにより,ビットレートの調整を行うビットレートトランスコード過程と,
送信される階層符号化されたデータを復号した画像の特定部分の領域を,他の部分よりも高精細に表示させることを指示する画質向上領域指示過程と,
前記画質向上領域指示過程により高精細に表示させる特定部分の領域の指示があった場合に,前記ビットレートトランスコード過程によるビットレートの調整前に,送信対象となる前記階層符号化されたデータの拡張レイヤビットストリームのうち,前記特定部分の領域以外の領域に相当する符号化データのデータ量を削減するコード変換を行う拡張レイヤ領域トランスコード過程とを有する
ことを特徴とする画像通信方法。 An image communication method in an image communication system for performing communication of hierarchically encoded data composed of a base layer bit stream and an enhancement layer bit stream,
A bit rate indicating process for indicating the bit rate of the data;
Of the layer-encoded data, the enhancement layer bitstream of the layer-encoded data is set so that the data amount of the layer-encoded data to be transmitted is a data amount corresponding to the bit rate indicated in the bit rate indication process. A bit rate transcoding process for adjusting the bit rate by performing code conversion for truncating the encoded data in the order of the encoded data of the lower plane, the encoded data of the upper plane, and then the encoded data of the base layer. ,
An image quality improvement region indicating process for instructing to display a region of a specific portion of an image obtained by decoding the hierarchically encoded data to be transmitted with higher definition than other portions;
When there is an instruction of a specific part area to be displayed in high definition by the image quality improvement area instruction process, before the bit rate adjustment by the bit rate transcoding process, the hierarchically encoded data to be transmitted An image communication method comprising: an enhancement layer region transcoding process for performing code conversion for reducing a data amount of encoded data corresponding to a region other than the region of the specific portion of the enhancement layer bitstream.
前記階層符号化されたデータは,拡張レイヤの解像度が基本レイヤの解像度のn倍(ただしn>1)の解像度を持つデータである
ことを特徴とする画像通信方法。 The image communication method according to claim 8,
2. The image communication method according to claim 1, wherein the hierarchically encoded data is data whose resolution of the enhancement layer is n times (where n> 1) that of the base layer.
前記クライアント端末への送信対象となる前記階層符号化されたデータのデータ量が,前記クライアント端末に対して指定されたビットレートに見合うデータ量になるように,階層符号化されたデータのうち,拡張レイヤビットストリームの下位プレーンの符号化データから上位プレーンの符号化データ,次に基本レイヤの符号化データの順番で,符号化データを切り捨てるコード変換を行うことにより,ビットレートの調整を行うビットレートトランスコード手段と,
送信される階層符号化されたデータを前記クライアント端末にて復号した画像の特定部分の領域を,他の部分よりも高精細に表示させることを指示する画質向上領域指示情報に基づき,前記ビットレートトランスコード手段によるビットレートの調整前に,送信対象となる前記階層符号化されたデータの拡張レイヤビットストリームのうち,前記特定部分の領域以外の領域に相当する符号化データのデータ量を削減するコード変換を行う拡張レイヤ領域トランスコード手段として,
前記コンピュータを機能させるための画像通信プログラム。 To be executed by a computer of a server device that is connected to a plurality of client terminals performing a video conference via a network and controls a video conference using hierarchically encoded data composed of a base layer bit stream and an enhancement layer bit stream An image communication program of
Of the hierarchically encoded data, the data amount of the hierarchically encoded data to be transmitted to the client terminal is a data amount that matches the bit rate specified for the client terminal, Bit that adjusts the bit rate by performing code conversion that truncates the encoded data in the order of the encoded data of the lower plane of the enhancement layer bitstream, the encoded data of the upper plane, and then the encoded data of the base layer Rate transcoding means;
The bit rate based on the image quality improvement region indication information that instructs to display the region of the specific portion of the image obtained by decoding the hierarchically encoded data to be transmitted at the client terminal in a higher definition than the other portion. Before the bit rate is adjusted by the transcoding means, the amount of encoded data corresponding to an area other than the specific part of the enhancement layer bit stream of the hierarchically encoded data to be transmitted is reduced. As an extension layer area transcoding means for code conversion,
An image communication program for causing the computer to function.
前記クライアント端末への送信対象となる前記階層符号化されたデータのデータ量が,前記クライアント端末に対して指定されたビットレートに見合うデータ量になるように,階層符号化されたデータのうち,拡張レイヤビットストリームの下位プレーンの符号化データから上位プレーンの符号化データ,次に基本レイヤの符号化データの順番で,符号化データを切り捨てるコード変換を行うことにより,ビットレートの調整を行うビットレートトランスコード手段と,
送信される階層符号化されたデータを前記クライアント端末にて復号した画像の特定部分の領域を,他の部分よりも高精細に表示させることを指示する画質向上領域指示情報に基づき,前記ビットレートトランスコード手段によるビットレートの調整前に,送信対象となる前記階層符号化されたデータの拡張レイヤビットストリームのうち,前記特定部分の領域以外の領域に相当する符号化データのデータ量を削減するコード変換を行う拡張レイヤ領域トランスコード手段として,
前記コンピュータを機能させるためのプログラムを記録した
ことを特徴とする画像通信プログラム記録媒体。 To be executed by a computer of a server device that is connected to a plurality of client terminals performing a video conference via a network and controls a video conference using hierarchically encoded data composed of a base layer bit stream and an enhancement layer bit stream A computer-readable recording medium recording the image communication program of
Of the hierarchically encoded data, the data amount of the hierarchically encoded data to be transmitted to the client terminal is a data amount that matches the bit rate specified for the client terminal, Bit that adjusts the bit rate by performing code conversion that truncates the encoded data in the order of the encoded data of the lower plane of the enhancement layer bitstream, the encoded data of the upper plane, and then the encoded data of the base layer Rate transcoding means;
The bit rate based on the image quality improvement region indication information that instructs to display the region of the specific portion of the image obtained by decoding the hierarchically encoded data to be transmitted at the client terminal in a higher definition than the other portion. Before the bit rate is adjusted by the transcoding means, the amount of encoded data corresponding to an area other than the specific part of the enhancement layer bit stream of the hierarchically encoded data to be transmitted is reduced. As an extension layer area transcoding means for code conversion,
An image communication program recording medium, wherein a program for causing the computer to function is recorded.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004155421A JP3936708B2 (en) | 2004-05-26 | 2004-05-26 | Image communication system, communication conference system, hierarchical encoding device, server device, image communication method, image communication program, and image communication program recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004155421A JP3936708B2 (en) | 2004-05-26 | 2004-05-26 | Image communication system, communication conference system, hierarchical encoding device, server device, image communication method, image communication program, and image communication program recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005341076A true JP2005341076A (en) | 2005-12-08 |
JP3936708B2 JP3936708B2 (en) | 2007-06-27 |
Family
ID=35494151
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004155421A Expired - Lifetime JP3936708B2 (en) | 2004-05-26 | 2004-05-26 | Image communication system, communication conference system, hierarchical encoding device, server device, image communication method, image communication program, and image communication program recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3936708B2 (en) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008131321A (en) * | 2006-11-21 | 2008-06-05 | Nippon Telegr & Teleph Corp <Ntt> | Video transmission method, video transmission program and computer readable recording medium with the program recorded thereon |
WO2009035012A1 (en) * | 2007-09-10 | 2009-03-19 | Fujifilm Corporation | Image processing apparatus, image processing method, and program |
JP2010503280A (en) * | 2006-08-29 | 2010-01-28 | マイクロソフト コーポレーション | Visual composition management technology for multimedia audio conferencing |
US8036476B2 (en) | 2006-10-18 | 2011-10-11 | Realtek Semiconductor Corp. | Image encoding/decoding device and method thereof with data blocks in a determined order |
JP2013048356A (en) * | 2011-08-29 | 2013-03-07 | Ricoh Co Ltd | Tv conference system, video distribution apparatus and data processing method |
JP2014514883A (en) * | 2011-05-11 | 2014-06-19 | アルカテル−ルーセント | Method for dynamically adapting video image parameters to facilitate subsequent applications |
JP2016504812A (en) * | 2012-11-20 | 2016-02-12 | アルカテル−ルーセント | Method for sending a video stream |
JP2016105593A (en) * | 2014-11-26 | 2016-06-09 | ソニー株式会社 | Live selective adaptive bandwidth |
CN106254952A (en) * | 2015-06-09 | 2016-12-21 | 维布络有限公司 | video quality dynamic control method and device |
JP2017022529A (en) * | 2015-07-09 | 2017-01-26 | キヤノン株式会社 | Communication system, communication device, communication method, and program |
EP3116222A4 (en) * | 2014-03-05 | 2017-02-22 | Ricoh Company, Limited | Data transmission system, terminal device, program, and method |
JP2017098898A (en) * | 2015-11-27 | 2017-06-01 | キヤノン株式会社 | Image encoding device, control method of the same, program, and storage medium |
US10771745B2 (en) | 2016-08-23 | 2020-09-08 | Nec Corporation | Image processing apparatus, image processing method, and storage medium having program stored therein |
JP2022532065A (en) * | 2019-12-30 | 2022-07-13 | テンセント・アメリカ・エルエルシー | Methods, computer systems, and computer programs for alignment between layers in a coded video stream. |
WO2023106259A1 (en) * | 2021-12-06 | 2023-06-15 | 日本放送協会 | Delivery device and receiving device |
Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5335313A (en) * | 1976-09-13 | 1978-04-01 | Nippon Telegr & Teleph Corp <Ntt> | Picture image communication system |
JPH0216887A (en) * | 1988-07-04 | 1990-01-19 | Nippon Telegr & Teleph Corp <Ntt> | Picture encodor |
JPH0669811A (en) * | 1992-08-21 | 1994-03-11 | Oki Electric Ind Co Ltd | Encoding circuit and decoding circuit |
JPH06319134A (en) * | 1993-05-07 | 1994-11-15 | Oki Electric Ind Co Ltd | Picture communication system |
JPH0746553A (en) * | 1993-07-30 | 1995-02-14 | Canon Inc | Picture communication equipment and system therefor |
JPH07288806A (en) * | 1994-04-20 | 1995-10-31 | Hitachi Ltd | Moving image communication system |
JPH08149434A (en) * | 1994-11-18 | 1996-06-07 | Casio Comput Co Ltd | Video telephone system |
JPH0998434A (en) * | 1995-09-29 | 1997-04-08 | Toshiba Corp | Image encoding device and image decoding device |
JPH10271499A (en) * | 1997-03-26 | 1998-10-09 | Sanyo Electric Co Ltd | Image processing method using image area, image processing unit using the method and image processing system |
JPH10271515A (en) * | 1997-03-26 | 1998-10-09 | Sanyo Electric Co Ltd | Noticed area tracing method, noticed area tracing device using the method and image coding method |
JPH10304334A (en) * | 1997-04-25 | 1998-11-13 | Canon Inc | Communication method and device, transmission device and reception device, communication system and recording medium |
JPH10304335A (en) * | 1997-04-28 | 1998-11-13 | Fujitsu Ltd | Information transmission device |
JPH11187371A (en) * | 1997-12-24 | 1999-07-09 | Kyocera Corp | Real-time image transmitting system in video telephone system |
JP2000152234A (en) * | 1998-11-16 | 2000-05-30 | Canon Inc | Processor and method for data processing, and data processing system |
JP2000358232A (en) * | 1999-06-15 | 2000-12-26 | Toshiba Corp | Vod system |
JP2001069502A (en) * | 1999-08-25 | 2001-03-16 | Toshiba Corp | Video image transmission terminal and video image reception terminal |
JP2002084524A (en) * | 2000-09-06 | 2002-03-22 | Nippon Telegr & Teleph Corp <Ntt> | Method for receiving, encoding, recording and transmitting video, sound or data broadcasting and broadcast recording/reproducing server device. |
JP2003174645A (en) * | 2001-11-30 | 2003-06-20 | Inst For Information Industry | Method for transforming video image by wavelet transform processing |
JP2004023732A (en) * | 2002-06-20 | 2004-01-22 | Matsushita Electric Ind Co Ltd | Data transmitting device, data receiving device, data transmitting method and data receiving method |
-
2004
- 2004-05-26 JP JP2004155421A patent/JP3936708B2/en not_active Expired - Lifetime
Patent Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5335313A (en) * | 1976-09-13 | 1978-04-01 | Nippon Telegr & Teleph Corp <Ntt> | Picture image communication system |
JPH0216887A (en) * | 1988-07-04 | 1990-01-19 | Nippon Telegr & Teleph Corp <Ntt> | Picture encodor |
JPH0669811A (en) * | 1992-08-21 | 1994-03-11 | Oki Electric Ind Co Ltd | Encoding circuit and decoding circuit |
JPH06319134A (en) * | 1993-05-07 | 1994-11-15 | Oki Electric Ind Co Ltd | Picture communication system |
JPH0746553A (en) * | 1993-07-30 | 1995-02-14 | Canon Inc | Picture communication equipment and system therefor |
JPH07288806A (en) * | 1994-04-20 | 1995-10-31 | Hitachi Ltd | Moving image communication system |
JPH08149434A (en) * | 1994-11-18 | 1996-06-07 | Casio Comput Co Ltd | Video telephone system |
JPH0998434A (en) * | 1995-09-29 | 1997-04-08 | Toshiba Corp | Image encoding device and image decoding device |
JPH10271499A (en) * | 1997-03-26 | 1998-10-09 | Sanyo Electric Co Ltd | Image processing method using image area, image processing unit using the method and image processing system |
JPH10271515A (en) * | 1997-03-26 | 1998-10-09 | Sanyo Electric Co Ltd | Noticed area tracing method, noticed area tracing device using the method and image coding method |
JPH10304334A (en) * | 1997-04-25 | 1998-11-13 | Canon Inc | Communication method and device, transmission device and reception device, communication system and recording medium |
JPH10304335A (en) * | 1997-04-28 | 1998-11-13 | Fujitsu Ltd | Information transmission device |
JPH11187371A (en) * | 1997-12-24 | 1999-07-09 | Kyocera Corp | Real-time image transmitting system in video telephone system |
JP2000152234A (en) * | 1998-11-16 | 2000-05-30 | Canon Inc | Processor and method for data processing, and data processing system |
JP2000358232A (en) * | 1999-06-15 | 2000-12-26 | Toshiba Corp | Vod system |
JP2001069502A (en) * | 1999-08-25 | 2001-03-16 | Toshiba Corp | Video image transmission terminal and video image reception terminal |
JP2002084524A (en) * | 2000-09-06 | 2002-03-22 | Nippon Telegr & Teleph Corp <Ntt> | Method for receiving, encoding, recording and transmitting video, sound or data broadcasting and broadcast recording/reproducing server device. |
JP2003174645A (en) * | 2001-11-30 | 2003-06-20 | Inst For Information Industry | Method for transforming video image by wavelet transform processing |
JP2004023732A (en) * | 2002-06-20 | 2004-01-22 | Matsushita Electric Ind Co Ltd | Data transmitting device, data receiving device, data transmitting method and data receiving method |
Non-Patent Citations (4)
Title |
---|
FERNANDO PEREIRA, TOURADJ EBRAHIMI, THE MPEG-4 BOOK, JPN4006012343, 10 July 2002 (2002-07-10), pages 330 - 343, ISSN: 0000756402 * |
FERNANDO PEREIRA, TOURADJ EBRAHIMI, THE MPEG-4 BOOK, JPNX007014042, 10 July 2002 (2002-07-10), pages 330 - 343, ISSN: 0000830294 * |
三木弼一編著, 多彩な映像、音声を自在に符号化する MPEG−4のすべて, JPN4006012342, 30 September 1998 (1998-09-30), pages 254 - 260, ISSN: 0000756403 * |
三木弼一編著, 多彩な映像、音声を自在に符号化する MPEG−4のすべて, JPNX007014043, 30 September 1998 (1998-09-30), pages 254 - 260, ISSN: 0000830295 * |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9635314B2 (en) | 2006-08-29 | 2017-04-25 | Microsoft Technology Licensing, Llc | Techniques for managing visual compositions for a multimedia conference call |
JP2010503280A (en) * | 2006-08-29 | 2010-01-28 | マイクロソフト コーポレーション | Visual composition management technology for multimedia audio conferencing |
US8773494B2 (en) | 2006-08-29 | 2014-07-08 | Microsoft Corporation | Techniques for managing visual compositions for a multimedia conference call |
US10187608B2 (en) | 2006-08-29 | 2019-01-22 | Microsoft Technology Licensing, Llc | Techniques for managing visual compositions for a multimedia conference call |
US8036476B2 (en) | 2006-10-18 | 2011-10-11 | Realtek Semiconductor Corp. | Image encoding/decoding device and method thereof with data blocks in a determined order |
JP2008131321A (en) * | 2006-11-21 | 2008-06-05 | Nippon Telegr & Teleph Corp <Ntt> | Video transmission method, video transmission program and computer readable recording medium with the program recorded thereon |
WO2009035012A1 (en) * | 2007-09-10 | 2009-03-19 | Fujifilm Corporation | Image processing apparatus, image processing method, and program |
US8498483B2 (en) | 2007-09-10 | 2013-07-30 | Fujifilm Corporation | Image processing apparatus, image processing method, and computer readable medium |
JP2014514883A (en) * | 2011-05-11 | 2014-06-19 | アルカテル−ルーセント | Method for dynamically adapting video image parameters to facilitate subsequent applications |
JP2013048356A (en) * | 2011-08-29 | 2013-03-07 | Ricoh Co Ltd | Tv conference system, video distribution apparatus and data processing method |
JP2016504812A (en) * | 2012-11-20 | 2016-02-12 | アルカテル−ルーセント | Method for sending a video stream |
US10250652B2 (en) | 2014-03-05 | 2019-04-02 | Ricoh Company, Limited | Data transmission system, terminal device, program, and method |
EP3116222A4 (en) * | 2014-03-05 | 2017-02-22 | Ricoh Company, Limited | Data transmission system, terminal device, program, and method |
CN106464837A (en) * | 2014-03-05 | 2017-02-22 | 株式会社理光 | Data transmission system, terminal device, program, and method |
JP2016105593A (en) * | 2014-11-26 | 2016-06-09 | ソニー株式会社 | Live selective adaptive bandwidth |
US9554085B2 (en) * | 2015-06-09 | 2017-01-24 | Wipro Limited | Method and device for dynamically controlling quality of a video |
CN106254952A (en) * | 2015-06-09 | 2016-12-21 | 维布络有限公司 | video quality dynamic control method and device |
CN106254952B (en) * | 2015-06-09 | 2020-03-10 | 维布络有限公司 | Video quality dynamic control method and device |
JP2017022529A (en) * | 2015-07-09 | 2017-01-26 | キヤノン株式会社 | Communication system, communication device, communication method, and program |
JP2017098898A (en) * | 2015-11-27 | 2017-06-01 | キヤノン株式会社 | Image encoding device, control method of the same, program, and storage medium |
US10771745B2 (en) | 2016-08-23 | 2020-09-08 | Nec Corporation | Image processing apparatus, image processing method, and storage medium having program stored therein |
JP2022532065A (en) * | 2019-12-30 | 2022-07-13 | テンセント・アメリカ・エルエルシー | Methods, computer systems, and computer programs for alignment between layers in a coded video stream. |
JP7223169B2 (en) | 2019-12-30 | 2023-02-15 | テンセント・アメリカ・エルエルシー | Method, computer system, and computer program for alignment between layers in encoded video streams |
WO2023106259A1 (en) * | 2021-12-06 | 2023-06-15 | 日本放送協会 | Delivery device and receiving device |
Also Published As
Publication number | Publication date |
---|---|
JP3936708B2 (en) | 2007-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7164728B2 (en) | Signaling for reference image resampling | |
KR100440953B1 (en) | Method for transcoding of image compressed bit stream | |
JP5089658B2 (en) | Transmitting apparatus and transmitting method | |
JP3936708B2 (en) | Image communication system, communication conference system, hierarchical encoding device, server device, image communication method, image communication program, and image communication program recording medium | |
US20070285500A1 (en) | Method and Apparatus for Video Mixing | |
US20030023982A1 (en) | Scalable video encoding/storage/distribution/decoding for symmetrical multiple video processors | |
JP2006087125A (en) | Method of encoding sequence of video frames, encoded bit stream, method of decoding image or sequence of images, use including transmission or reception of data, method of transmitting data, coding and/or decoding apparatus, computer program, system, and computer readable storage medium | |
WO2001091467A1 (en) | Method and device for encoding image | |
JP2005524304A (en) | Method and apparatus for displaying quantizer parameters in a video coding system | |
TW200400767A (en) | Method and apparatus for transcoding compressed video bitstreams | |
JP2022514513A (en) | Split tiles and sub-images | |
JP3936707B2 (en) | Scalable communication conference system, server device, scalable communication conference method, scalable communication conference control method, scalable communication conference control program, and program recording medium thereof | |
CN116018782A (en) | Method and apparatus for audio mixing | |
JP2007507927A (en) | System and method combining advanced data partitioning and efficient space-time-SNR scalability video coding and streaming fine granularity scalability | |
US20060120454A1 (en) | Method and apparatus for encoding/decoding video signal using motion vectors of pictures in base layer | |
EP1227684A2 (en) | Encoding of video signals | |
JPH10178639A (en) | Image codec part and image data encoding method | |
EP2372922A1 (en) | System and method for transcoding between scalable and non-scalable video codecs | |
US20080008241A1 (en) | Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer | |
US20070242747A1 (en) | Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer | |
US11711492B2 (en) | Signaling of the RTCP viewport feedback for immersive teleconferencing and telepresence for remote terminals | |
JP2005045666A (en) | Transcoder | |
JPH09214965A (en) | Method and device for encoding moving image | |
CN114514745B (en) | Video signal transmitting method, video signal transmitting device, computer equipment and storage medium | |
CN118235398A (en) | System and method for cross-component geometry/wedge partition derivation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060725 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060925 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060925 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070320 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070323 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3936708 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110330 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110330 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120330 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130330 Year of fee payment: 6 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |