JP2013048356A - Tv conference system, video distribution apparatus and data processing method - Google Patents
Tv conference system, video distribution apparatus and data processing method Download PDFInfo
- Publication number
- JP2013048356A JP2013048356A JP2011185990A JP2011185990A JP2013048356A JP 2013048356 A JP2013048356 A JP 2013048356A JP 2011185990 A JP2011185990 A JP 2011185990A JP 2011185990 A JP2011185990 A JP 2011185990A JP 2013048356 A JP2013048356 A JP 2013048356A
- Authority
- JP
- Japan
- Prior art keywords
- video
- layer
- data
- encoded data
- hierarchy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims 3
- 238000001514 detection method Methods 0.000 claims description 15
- 206010048669 Terminal state Diseases 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 abstract description 9
- 238000005516 engineering process Methods 0.000 abstract description 8
- 230000005540 biological transmission Effects 0.000 description 18
- 238000000034 method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 238000007796 conventional method Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Images
Abstract
Description
本発明は、ネットワークによりリアルタイムで映像データや音声データを送受信するＴＶ会議システムに関し、特に端末と端末間とを中継する映像配信装置が行う配信映像の品質調整技術に関するものである。 The present invention relates to a TV conference system that transmits and receives video data and audio data in real time via a network, and more particularly to a quality adjustment technique for distribution video performed by a video distribution apparatus that relays between terminals.
ＴＶ会議システムにおいては、映像データと音声データとをリアルタイムに送受信するため、使用するネットワークの品質が保証されていない場合には、十分な性能を発揮できないことがある。そこで、端末と端末間の通信を中継する映像配信装置は通信パケットの損失や通信遅延時間などの情報を交換し、使用しているネットワークの状態を検知する。この検知したネットワークの状態に合わせて、端末が送受信する映像の解像度、フレームレートやＳＮＲ（画質）を調整するという制御技術が考えられている。
これに対し、スケーラブル映像符号化技術を用いて送信先である各端末とネットワークの状態に合わせて映像データ量を映像配信装置で調節する技術が既に知られている。
In the video conference system, video data and audio data are transmitted and received in real time, so that sufficient performance may not be achieved if the quality of the network to be used is not guaranteed. Therefore, a video distribution device that relays communication between terminals exchanges information such as communication packet loss and communication delay time, and detects the state of the network being used. A control technique is considered in which the resolution, frame rate, and SNR (image quality) of video transmitted and received by the terminal are adjusted in accordance with the detected network state.
On the other hand, a technique is already known in which a video distribution apparatus adjusts the amount of video data in accordance with the state of each terminal as a transmission destination and the network using a scalable video coding technique.
ここで、従来のＴＶ会議システムについて説明する。図５は、従来のＴＶ会議システムにおける端末と映像配信装置の構成を示す図である。図５は従来のＨ．２６４／ＳＶＣ（スケーラブル映像符号化）を用いたＴＶ会議システムにおける端末と端末間を中継する映像配信装置の構成を表している。
ＴＶ会議システム１００は、各拠点Ａ、Ｂに夫々設置されて、映像データ等の送受信を行う端末１１０（１１０ａ、１１０ｂ）と、ＴＶ会議をしている際の自拠点の映像を撮影するカメラ１２１（１２１ａ、１２１ｂ）と、ＴＶ会議をしている他拠点の映像を表示するディスプレイ１２３（１２３ａ、１２３ｂ）と、夫々の端末１１０ａと１１０ｂを中継する映像配信装置１３０と、を備えている。
端末１１０は、映像データをＨ．２６４／ＳＶＣ方式にて圧縮符号化するＨ．２６４／ＳＶＣエンコーダー１１１と、Ｈ．２６４／ＳＶＣ方式にて圧縮符号化された映像データを復号化するＨ．２６４／ＳＶＣデコーダー１１３と、を備えている。端末１１０は、映像配信装置１３０との間で映像データ等の通信を行う。
カメラ１２１は、ＴＶ会議をしている際の映像を撮影する装置である。ディスプレイ１２３は他拠点の映像を表示する装置である。カメラ１２１とディスプレイ１２３は、夫々端末１１０に接続されている。
映像配信装置１３０は、映像データの中継と送信データ量の調整を行う装置であり、ネットワーク状態・受信端末状態検知部１３１と、映像データのレイヤー切出部１３３（１３３ａ、１３３ｂ）と、を備えている。
Here, a conventional TV conference system will be described. FIG. 5 is a diagram showing a configuration of a terminal and a video distribution apparatus in a conventional TV conference system. FIG. 2 illustrates a configuration of a video distribution device that relays between terminals in a TV conference system using H.264 / SVC (Scalable Video Coding).
The
The terminal 110 transmits the video data to H.264. H.264 / SVC compression coding. H.264 / SVC encoder 111; H.264 that decodes video data compression-encoded in the H.264 / SVC format. H.264 / SVC decoder 113. The terminal 110 performs communication such as video data with the
The camera 121 is a device that captures video during a video conference. The display 123 is a device that displays an image of another site. The camera 121 and the display 123 are connected to the terminal 110, respectively.
The
以上のように構成されたＴＶ会議システム１００の動作について、端末１１０ａから端末１１０ｂに映像データが送信される場合の例により説明する。
端末１１０ａのＨ．２６４／ＳＶＣエンコーダー１１１ａは、カメラ１２１ａで撮影された自拠点の映像をスケーラブル圧縮符号化し、映像配信装置１３０に送信する。ここでＨ．２６４／ＳＶＣを用いた映像符号化では、空間（解像度）、時間（フレームレート）、画質（ＳＮＲ）の情報を粗い情報から細かい情報へと階層化（レイヤー化）して符号化することにより、解像度、フレームレート、ＳＮＲのスケーラビリティを実現することが知られている。以降、各レイヤーはそれぞれ、空間レイヤー（解像度）、時間レイヤー（フレームレート）、画質レイヤー（ＳＮＲ）と表現する。
映像配信装置１３０は端末１１０ｂと通信を行い、ネットワーク状態・受信端末状態検知部１３１にて、受信側端末との間のネットワークＮの状態（使用可能な通信帯域、パケット損失率など）と受信側の端末１１０ｂの状態（処理性能、現在の稼働率など）を検知し、検知した結果に応じて、端末１１０ａから受信した映像データの調整をする。この調整の際にはレイヤー切出部１３３ａを用いて、受信した映像データからレイヤーを切り出し、受信側端末である端末１１０ｂに送信する。
端末１１０ｂは、映像配信装置１３０から受信した映像データをＨ．２６４／ＳＶＣデコーダー１１３ｂによって復号化し、ディスプレイ１２３ｂに表示する。
これを拠点Ａと拠点Ｂとの間で双方向に行うことにより、互いの映像を送受信する。
The operation of the
H. of
The
The
By performing this bi-directionally between the base A and the base B, images of each other are transmitted and received.
図６は、従来のＴＶ会議システムにおける映像データの処理フロー図である。従来のＨ．２６４／ＳＶＣを用いたＴＶ会議システムにおいて、映像データは以下のように処理される。なお、端末１１０ａを送信側端末とし、端末１１０ｂを受信側端末として説明する。
（ステップＳ１０１）送信側端末１１０ａはカメラ１２１ａにて撮影した映像を、Ｈ．２６４／ＳＶＣエンコーダー１１１ａにて圧縮符号化する。
（ステップＳ１０２）送信側端末１１０ａは、圧縮符号化された映像データを映像配信装置１３０に送信する。
（ステップＳ１０３）映像配信装置１３０は、送信側端末１１０ａから映像データを受信する。
（ステップＳ１０４）ネットワーク状態・受信端末状態検知部１３１は、受信側端末１１０ｂの状態、ネットワークＮの状態から送信可能なデータ量を検知する。
（ステップＳ１０５）レイヤー切出部１３３ａは、受信した映像データのレイヤーを切り出し、ステップＳ１０４で検知した送信可能なデータ量に調整する。
（ステップＳ１０６）映像配信装置１３０は、受信側端末１１０ｂに映像データを送信する。
（ステップＳ１０７）受信側端末１１０ｂは映像配信装置１３０から映像データを受信する。
（ステップＳ１０８）Ｈ．２６４／ＳＶＣデコーダー１１３ｂは、受信した映像データをＨ．２６４／ＳＶＣ方式にて復号化する。
（ステップＳ１０９）受信側端末１１０ｂは、復号化した映像データをディスプレイ１２３ｂに表示する。
以上のようなステップでＴＶ会議の映像配信を実施している。
FIG. 6 is a processing flow diagram of video data in a conventional TV conference system. Conventional H.264. In a TV conference system using H.264 / SVC, video data is processed as follows. In addition, the
(Step S101) The transmission-
(Step S <b> 102) The
(Step S103) The
(Step S104) The network state / receiving terminal
(Step S105) The layer cutout unit 133a cuts out the layer of the received video data and adjusts it to the transmittable data amount detected in step S104.
(Step S106) The
(Step S <b> 107) The
(Step S <b> 108) The H.264 /
(Step S109) The
The video conference video distribution is carried out through the above steps.
上記と同様の技術として特許文献１には、音声品質の劣化や遅延を抑える目的で、映像音声制御装置がネットワークの状態や各クライアントのＣＰＵの状態の変化によって、クライアントまたは各映像配信装置に対してビットレート、フレームレート、解像度およびフレーム間引きの少なくとも１つを含む映像の品質を調整するように制御する構成が開示されている。
As a technique similar to the above,
しかしながら従来の制御技術では、映像の種類に関係なく、ネットワークの状態や端末の状態に基づいて、映像配信装置が送信する映像データの解像度、フレームレート、ＳＮＲを調節する。従って、解像度が重要な映像であっても解像度を下げて、またフレームレートが重要ではないにもかかわらずフレームレートはそのままにして送信されるといったような、映像コンテンツに対して最適ではない調整が行われるという問題があった。
たとえば、図５、６に示したＴＶ会議システムにおいては、レイヤー切り出しによる映像データ量の調整の際に、その映像データの種類を考慮してないため、映像コンテンツに対して最適ではない調整が行われるという問題がある。上記問題は、特許文献１においても、解決されていない。
本発明は、上述の事情に鑑みてなされたものであり、階層的に符号化された映像データの特徴を用いて実行される送信データ調整による帯域制御技術と、送信する映像の種類を検知する画像認識技術を組み合わせ、端末間を中継する映像配信装置にて処理を行うことにより、端末の構成を変えずに、映像の種類にとって最適な解像度、フレームレート、ＳＮＲで映像データを送信することを目的とする。
However, in the conventional control technique, the resolution, frame rate, and SNR of video data transmitted by the video distribution apparatus are adjusted based on the state of the network and the state of the terminal regardless of the type of video. Therefore, adjustments that are not optimal for video content, such as lowering the resolution even when the video is important and transmitting without changing the frame rate even though the frame rate is not important. There was a problem of being done.
For example, in the video conference system shown in FIGS. 5 and 6, when adjusting the amount of video data by layer extraction, the type of video data is not taken into consideration, and therefore, adjustment that is not optimal for video content is performed. There is a problem of being. The above problem is not solved even in
The present invention has been made in view of the above-described circumstances, and detects a type of video to be transmitted and a bandwidth control technique based on transmission data adjustment executed using the characteristics of hierarchically encoded video data. By combining image recognition technology and processing in a video distribution device that relays between terminals, video data can be transmitted at the optimal resolution, frame rate, and SNR for the type of video without changing the terminal configuration. Objective.
上記の課題を解決するために、本発明に係るＴＶ会議システムは、映像データを符号化して複数の階層が含まれる符号化データを生成する映像端末と、該映像端末から受信した前記符号化データに含まれる階層の少なくとも一部分を復号化する部分的復号化手段と、該部分的復号化手段により復号化された映像データの映像の種類を判別する映像種類判別手段と、該映像種類判別手段による判別結果に基づいて、前記符号化データに含まれる階層の中で優先させる階層を指定する優先階層指定手段と、該優先階層指定手段により指定された階層を優先的に残しながら、前記符号化データに含まれる階層の一部分を取り除いた調整符号化データを生成する階層切出手段と、を備え、該階層切出手段により生成された前記調整符号化データを配信する映像配信装置と、が接続されていることを特徴とする。 In order to solve the above problems, a video conference system according to the present invention includes a video terminal that encodes video data to generate encoded data including a plurality of layers, and the encoded data received from the video terminal. A partial decoding unit that decodes at least a part of the hierarchy included in the video, a video type determination unit that determines a video type of video data decoded by the partial decoding unit, and a video type determination unit Based on the determination result, priority layer specifying means for specifying a priority layer among the layers included in the encoded data, and the encoded data while preferentially leaving the layer specified by the priority layer specifying means And a layer cutout unit for generating adjusted encoded data from which a part of the layer included in is removed, and distributes the adjusted encoded data generated by the layer cutout unit A video distribution device that is characterized in that is connected.
本発明によれば、階層的に符号化された映像データの特徴を用いて実行される送信データ調整による帯域制御技術と、送信する映像の種類を検知する画像認識技術を組み合わせ、端末間を中継する映像配信装置にて処理を行うことにより、端末の構成を変えずに、映像の種類にとって最適な解像度、フレームレート、ＳＮＲで映像データを送信することができる。 According to the present invention, a band control technique based on transmission data adjustment executed using the characteristics of hierarchically encoded video data and an image recognition technique for detecting the type of video to be transmitted are combined and relayed between terminals. By performing the processing in the video distribution apparatus, the video data can be transmitted at the resolution, frame rate, and SNR that are optimal for the type of video without changing the configuration of the terminal.
本発明の実施の形態を説明する。本発明は、ＴＶ会議システムのようなリアルタイムで映像を送受信するシステムにおいて、端末や端末間を中継する映像配信装置が行う送信映像の調整に際して、以下の特徴を有する。
要するに、端末は従来通りの構成でスケーラブルにエンコードされた映像データを、端末間を中継する映像配信装置に送信する。映像配信装置ではスケーラブルにエンコードされた映像データのうち空間レイヤーの低解像度側のレイヤーをデコードし、デコードされた映像から映像の種類を検知する。映像配信装置は検知された映像の種類から現在の映像コンテンツにとって解像度、フレームレート、又は画質のいずれが重要かを判断する。映像配信装置は従来通りの方法で各受信端末のネットワーク状態を検知しており、送信可能な帯域に合わせて映像データ量を調整するが、上記の判断結果に応じて解像度、フレームレート、画質を優先的に残してデータ量を調整し、各端末に送信することが特徴になっている。
上記記載の本発明の特徴について、以下、図面を用いて詳細に解説する。
An embodiment of the present invention will be described. The present invention has the following characteristics when adjusting transmission video performed by a terminal or a video distribution device that relays between terminals in a system that transmits and receives video in real time such as a TV conference system.
In short, the terminal transmits the video data that is scalable and encoded in the conventional configuration to the video distribution device that relays between the terminals. The video distribution device decodes the low-resolution layer of the spatial layer in the scalable encoded video data, and detects the type of video from the decoded video. The video distribution apparatus determines from the detected video type whether the resolution, frame rate, or image quality is important for the current video content. The video distribution device detects the network status of each receiving terminal using the conventional method, and adjusts the video data amount according to the transmittable bandwidth. However, the resolution, frame rate, and image quality are adjusted according to the above judgment results. It is characterized in that it is left preferentially and the amount of data is adjusted and transmitted to each terminal.
The features of the present invention described above will be described in detail below with reference to the drawings.
図１は、本発明の１実施形態に係るＴＶ会議システムを示した概略構成図である。ＴＶ会議システム１は、各拠点Ａ、Ｂに夫々設置されて、映像データ等の送受信を行う端末１０（１０ａ、１０ｂ）と、ＴＶ会議をしている際の自拠点の映像を撮影するカメラ２１（２１ａ、２１ｂ）と、ＴＶ会議をしている他拠点の映像を表示するディスプレイ２３（２３ａ、２３ｂ）と、夫々の端末１０ａ、１０ｂを中継する映像配信装置３０と、を備えている。また、各端末１０ａ、１０ｂと映像配信装置３０は、互いにネットワークＮを介して接続されている。
以下の説明において拠点Ａの装置と拠点Ｂの装置を区別しないときは、「端末１０」のようにアルファベットの小文字符号を省略して記載する。
FIG. 1 is a schematic configuration diagram showing a video conference system according to an embodiment of the present invention. The
In the following description, when the device at the site A and the device at the site B are not distinguished, the lower case alphabetic characters are omitted as in “terminal 10”.
図２は、本発明の１実施形態に係るＴＶ会議システムの端末と映像配信装置の具体的な内容を示した概略構成図である。図２では、本発明のＴＶ会議システムにおける端末と端末間を中継する映像配信装置の構成を表している。この構成の特徴は、図５に示した従来の構成に加え、映像配信装置に従来周知のＨ．２６４／ＳＶＣデコーダー３５、映像種類判別部３７と優先レイヤー指定部３９を備えていることである。
図２に示すように、拠点Ａ、Ｂに夫々設置された端末は従来と同様の構成（図５参照）を有している。すなわち、端末１０は、映像データをＨ．２６４／ＳＶＣ方式にて圧縮符号化するＨ．２６４／ＳＶＣエンコーダー１１（符号化手段）と、Ｈ．２６４／ＳＶＣ方式にて圧縮符号化された映像データを復号化するＨ．２６４／ＳＶＣデコーダー１３（復号化手段）と、を備えている。端末１０は、映像配信装置３０との間で映像データ等の通信を行う。カメラ２１は、ＴＶ会議をしている際の映像を撮影する装置である。ディスプレイ２３は他拠点の映像を表示する装置である。カメラ２１とディスプレイ２３は、夫々端末１０に接続されている。
端末１０のＨ．２６４／ＳＶＣエンコーダー１１は、カメラ２１で撮影された自拠点の映像をスケーラブル圧縮符号化してスケーラブル符号化データを生成し、映像配信装置３０に送信する。ここでＨ．２６４／ＳＶＣを用いた映像符号化では、空間（解像度）、時間（フレームレート）、画質（ＳＮＲ）の情報を粗い情報から細かい情報へと階層化（レイヤー化）して符号化することにより、解像度、フレームレート、ＳＮＲのスケーラビリティを実現することが知られている。なお、「レイヤー」と「階層」は同義である。以降、各レイヤーはそれぞれ、空間レイヤー（解像度）、時間レイヤー（フレームレート）、画質レイヤー（ＳＮＲ）と表現する。
FIG. 2 is a schematic configuration diagram showing specific contents of the terminal and the video distribution device of the video conference system according to the embodiment of the present invention. FIG. 2 shows the configuration of a video distribution apparatus that relays between terminals in the TV conference system of the present invention. This configuration is characterized by the H.264 known in the art in addition to the conventional configuration shown in FIG. H.264 / SVC decoder 35, video type discrimination unit 37, and priority layer designation unit 39.
As shown in FIG. 2, the terminals installed at bases A and B have the same configuration as the conventional one (see FIG. 5). That is, the terminal 10 converts the video data to H.264. H.264 / SVC compression coding. H.264 / SVC encoder 11 (encoding means); H.264 that decodes video data compression-encoded in the H.264 / SVC format. H.264 / SVC decoder 13 (decoding means). The terminal 10 communicates video data and the like with the
H. of
映像配信装置３０は、映像データの中継と送信データ量の調整を行う装置であり、従来と同様の構成として、ネットワーク状態・受信端末状態検知部３１と、映像データのレイヤー切出部３３（３３ａ、３３ｂ：階層切出手段）と、を備えている。さらに、映像配信装置３０は、Ｈ．２６４／ＳＶＣデコーダー３５（３５ａ、３５ｂ：部分的復号化手段）と、映像種類判別部３７（３７ａ、３７ｂ）と優先レイヤー指定部３９（３９ａ、３９ｂ：優先階層指定手段）とを備えている。
ネットワーク状態・受信端末状態検知部３１は、受信側となる端末１０と通信を行い、受信側端末との間に介在するネットワークＮの状態（使用可能な通信帯域、パケット損失率など）と受信側の端末１０の状態（処理性能、現在の稼働率など）を検知し、受信側の端末１０に対して送信することができるデータ量を算出する。
Ｈ．２６４／ＳＶＣデコーダー３５は、端末１０から受信したスケーラブル符号化データを受信し、空間レイヤーの下層側レイヤー（低解像度側のレイヤー）のみを復号化して低解像度の映像データを得る。処理の詳細については後述する。映像種類判別部３７は、この低解像度の映像データから、映像の種類を判別する。優先レイヤー指定部３９は、判別された映像の種類に基づいて、映像データのうち空間レイヤー、時間レイヤー、画質レイヤーのいずれを優先させるかを指定する。
レイヤー切出部３３は、ネットワーク状態・受信端末状態検知部３１により算出された送信データ量と、優先レイヤー指定部３９により指定された優先レイヤーとに基づいて、送信側の端末１０から受信したスケーラブル符号化データに含まれるレイヤーの一部分を取り除いて、データ量が調整された調整符号化データを生成する。そして、受信側の端末１０に送信する。
The
The network state / reception terminal
H. The H.264 / SVC decoder 35 receives the scalable encoded data received from the terminal 10 and decodes only the lower layer (low resolution side layer) of the spatial layer to obtain low resolution video data. Details of the processing will be described later. The video type discriminating unit 37 discriminates the video type from the low resolution video data. The priority layer designation unit 39 designates which of the spatial layer, the time layer, and the image quality layer is given priority among the video data based on the determined video type.
The layer cutout unit 33 receives the scalable data received from the transmission-
Ｈ．２６４／ＳＶＣデコーダー３５によるスケーラブル符号化データの復号化について説明する。スケーラブル符号化とは、信号を粗い情報から細かい情報へと階層的に符号化する技術の総称である。圧縮符号化されたデータがスケーラブルであるとは、復号したときの画像の品質を再符号化することなく、向上させたり、低下させたりすることが可能であることを意味する。スケーラブル符号化された映像データでは、解像度の階層として空間レイヤー、フレームレートの階層として時間レイヤー、画質として画質レイヤーというふうに、それぞれ複数の階層を持つ。この複数の階層のうち、どの階層まで復号するかによって、映像の品質を向上させたり、低下させたりすることが可能である。図３は、本発明の１実施形態に係る符号化映像データを示す模式図である。図３には、例として空間レイヤー３階層、画質レイヤー３階層の符号化映像データの場合を示している。
端末１０から送信されたスケーラブル符号化データ４０を映像配信装置３０が受信した後、Ｈ．２６４／ＳＶＣデコーダー３５はスケーラブル符号化データ４０の復号化を行う。ここで、Ｈ．２６４／ＳＶＣデコーダー３５は、スケーラブル符号化データ４０に含まれるレイヤーの少なくとも一部分を復号化する。「一部分を復号化する」とは、映像種類判別部３７において正確に映像データの種類を判別可能な情報が得られる程度に、幾つかのレイヤーを復号化するということである。具体的には、Ｈ．２６４／ＳＶＣデコーダー３５は、スケーラブル符号化データ４０に含まれる空間レイヤーの最下層レイヤーに含まれる映像データを復号化する。なお、正確に映像データの種類を判別するにあたって一定の画質が必要であることから、Ｈ．２６４／ＳＶＣデコーダー３５は、最下層の空間レイヤーにある全ての画質レイヤーを復号化する。
H. Decoding of scalable encoded data by the H.264 / SVC decoder 35 will be described. Scalable encoding is a general term for techniques for hierarchically encoding a signal from coarse information to fine information. The fact that the compression-encoded data is scalable means that it is possible to improve or decrease the quality of the decoded image without re-encoding. Scalable-coded video data has a plurality of layers such as a spatial layer as a resolution layer, a time layer as a frame rate layer, and an image quality layer as image quality. The quality of the video can be improved or decreased depending on which of the multiple layers is decoded. FIG. 3 is a schematic diagram showing encoded video data according to an embodiment of the present invention. FIG. 3 shows, as an example, the case of encoded video data of a
After the
映像種類判別部３７は、復号化された映像データを用いて映像の種類の判別を行う。この結果に応じて優先レイヤー指定部３９が、解像度、画質、又はフレームレートのいずれが映像にとって重要であるものかを特定する。映像種類の判別結果の一例として、
（Ａ１）映像種類判別部３７において、映像の大きさが必要であると判定された時には、優先レイヤー指定部３９で解像度を優先するように指定する。
（Ａ２）映像種類判別部３７において、映像に文字情報など精密なものが映っていると判定された時には、優先レイヤー指定部３９で画質を優先するように指定する。
（Ａ３）映像種類判別部３７において、映像内に動き（変化）が多い時には、優先レイヤー指定部３９でフレームレートを優先するように指定する。
が挙げられる。そして優先レイヤー指定部３９は、レイヤー切出部３３に優先するべきレイヤー（優先レイヤー）を切り出さないように指示を行う。すなわち、
The video type discriminating unit 37 discriminates the video type using the decoded video data. Based on the result, the priority layer designating unit 39 specifies which one of resolution, image quality, and frame rate is important for the video. As an example of the video type discrimination result,
(A1) When the video type determining unit 37 determines that the size of the video is necessary, the priority layer specifying unit 39 specifies that the resolution is prioritized.
(A2) When the video type discriminating unit 37 determines that precise information such as character information is shown in the video, the priority layer designating unit 39 designates the image quality to be prioritized.
(A3) In the video type discriminating unit 37, when there are many movements (changes) in the video, the priority layer specifying unit 39 specifies that the frame rate is given priority.
Is mentioned. Then, the priority layer designating unit 39 instructs the layer cutout unit 33 not to cut out a layer (priority layer) to be prioritized. That is,
（Ｂ１）解像度を優先させる場合、優先レイヤー指定部３９は「解像度レイヤーを切り出さない」という指示をレイヤー切出部３３に行う。
（Ｂ２）画質を優先させる場合、優先レイヤー指定部３９は「画質レイヤーを切り出さない」という指示をレイヤー切出部３３に行う。
（Ｂ３）フレームレートを優先させる場合、優先レイヤー指定部３９は「時間レイヤーを切り出さない」という指示をレイヤー切出部３３に行う。
優先レイヤー指定部３９によって指定された優先レイヤーと、ネットワーク状態・受信端末状態検知部３１によって検知された送信可能データ量とに基づいて、レイヤー切出部３３はレイヤーの切り出しによる送信データ量調整を行う。すなわち、レイヤー切出部３３は、スケーラブル符号化データに含まれるレイヤーのうち、指定された優先レイヤー以外のレイヤーを取り除くことにより、送信データ量の調整を行う。
なお、映像種類判別部３７では、非特許文献１に記載されたような既存の顔検出技術などの画像認識技術を用いて、撮影した映像データの種類を判別する。例えば、顔認識技術を用いて、顔が認識されれば、映像内に人物がいると判断できるため、動きのある映像だということが分かる。このときには、優先レイヤー指定部３９は、フレームレートが重要であると判断し、優先的に時間レイヤーを残すようにレイヤー切出部３３に指示する。逆に、顔が検出されなければ、ＴＶ会議の場合、フレームレートよりも解像度、又は画質の方が重要であると判断し、優先的に空間、又は画質レイヤーを残すようにレイヤー切出部３３に指示する。なお、上記方式により映像データの種類を判別する場合、１フレーム分の映像データ（画像データ）があれば、映像種類の判別が可能である。
(B1) When giving priority to the resolution, the priority layer specifying unit 39 instructs the layer cutting unit 33 to “do not cut out the resolution layer”.
(B2) When giving priority to the image quality, the priority layer specifying unit 39 instructs the layer cutting unit 33 to “do not cut out the image quality layer”.
(B3) When giving priority to the frame rate, the priority layer specifying unit 39 instructs the layer cutting unit 33 to “do not cut out the time layer”.
Based on the priority layer specified by the priority layer specification unit 39 and the transmittable data amount detected by the network state / receiving terminal
The video type discriminating unit 37 discriminates the type of captured video data using an image recognition technology such as the existing face detection technology described in
上述のＴＶ会議システムにおける処理の流れについて説明する。図４は、本発明の１実施形態に係るＴＶ会議システムにおける映像データの処理フロー図である。図示するフローは、映像種類判別部３７において人物検出技術を用いて映像種類を判別する場合の処理フローである。以下、説明の簡略化のため、端末１０ａを送信端末とし、端末１０ｂを受信端末として説明する。もちろん実際には、各端末１０ａ、１０ｂが夫々送受信端末として機能し、また、３つ以上の端末１０が映像配信装置３０に接続されていても構わない。
（ステップＳ１）送信側端末１０ａでは、カメラ２１ａにて撮影した映像データを、Ｈ．２６４／ＳＶＣエンコーダー１１ａがスケーラブル圧縮符号化してスケーラブル符号化データを生成する。
（ステップＳ２）送信側端末１０ａは、スケーラブル符号化データを映像配信装置３０に送信する。
（ステップＳ３）映像配信装置３０は、送信側端末１０ａからスケーラブル符号化データを受信する。
（ステップＳ４）ネットワーク状態・受信端末状態検知部３１は、受信側端末１０ｂの状態、ネットワークＮの状態（使用可能な通信帯域、パケット損失率など）から送信可能なデータ量を算出する。
（ステップＳ５）Ｈ．２６４／ＳＶＣデコーダー３５は、スケーラブル符号化データの最下位の解像度レイヤーのみを復号化する。
（ステップＳ６）映像種類判別部３７は、部分的に復号化された映像データを基に映像内に人がいるかどうかを判別する。
A process flow in the above-described TV conference system will be described. FIG. 4 is a processing flow diagram of video data in the video conference system according to the embodiment of the present invention. The illustrated flow is a processing flow when the video type discriminating unit 37 discriminates the video type using the person detection technique. Hereinafter, for simplification of description, the
(Step S1) In the
(Step S <b> 2) The
(Step S3) The
(Step S4) The network state / receiving terminal
(Step S5) The H.264 / SVC decoder 35 decodes only the lowest resolution layer of the scalable encoded data.
(Step S6) The video type discriminating unit 37 discriminates whether or not there is a person in the video based on the partially decoded video data.
（ステップＳ７）映像種類判別部３７にて人が検知された場合（ステップＳ６にてＹｅｓ）、優先レイヤー指定部３９は、時間レイヤーを優先的に残すようにレイヤー切出部３３に指示する。
（ステップＳ８）レイヤー切出部３３は、時間レイヤーを優先的に残しつつ、他のレイヤーを切り出すことにより、ネットワーク状態・受信端末状態検知部３１（ステップＳ４）にて算出されたデータ量に調節した調整符号化データを生成する。
（ステップＳ９）映像種類判別部３７にて人が検知されなかった場合（ステップＳ６にてＮｏ）、優先レイヤー指定部３９は、空間レイヤーを優先的に残すようにレイヤー切出部３３に指示する。
（ステップＳ１０）レイヤー切出部３３は、空間レイヤーを優先的に残しつつ、他のレイヤーを切り出すことにより、ネットワーク状態・受信端末状態検知部３１（ステップＳ４）にて算出されたデータ量に調節した調整符号化データを生成する。
（ステップＳ１１）映像配信装置３０は受信側端末１０ｂに調整符号化データを送信する。
（ステップＳ１２）受信側端末１０ｂは映像配信装置３０から調整符号化データを受信する。
（ステップＳ１３）Ｈ．２６４／ＳＶＣデコーダー１３ｂは、調整符号化データを復号化して映像データを得る。
（ステップＳ１４）復号化された映像データをディスプレイ２３ｂに表示する。
(Step S7) When a person is detected by the video type determination unit 37 (Yes in Step S6), the priority layer designation unit 39 instructs the layer cutout unit 33 to preferentially leave the time layer.
(Step S8) The layer cutout unit 33 adjusts the data amount calculated by the network state / receiving terminal state detection unit 31 (step S4) by cutting out other layers while preferentially leaving the time layer. Adjusted encoded data is generated.
(Step S9) When no person is detected by the video type discriminating unit 37 (No in Step S6), the priority layer designating unit 39 instructs the layer cutout unit 33 to preferentially leave the spatial layer. .
(Step S10) The layer cutout unit 33 adjusts the data amount calculated by the network state / receiving terminal state detection unit 31 (step S4) by cutting out other layers while preferentially leaving the spatial layer. Adjusted encoded data is generated.
(Step S11) The
(Step S <b> 12) The receiving terminal 10 b receives the adjustment encoded data from the
(Step S13) The H.264 /
(Step S14) The decoded video data is displayed on the
本発明においては、以上の処理ステップでＴＶ会議の映像配信を実施できる。
この実施例では、映像内の人物を認識する画像認識技術を用いて、映像種類判別部３７にて映像の種類を検知しているが、撮影する状況、目的に合わせて他の画像認識技術に組み替えることで、映像種類判別部３７において様々な映像の種類を検知することが可能である。
このような構成において映像配信装置は、ネットワークの状態だけではなく撮影した映像の種類を考慮して送信データ量を調整するので、撮影している映像の目的に合った最適な映像データの調整を行うことができる。端末側のＨ．２６４／ＳＶＣエンコーダーは、映像の種類に合わせてエンコードパラメータの調整を行う必要がなく、送信可能な範囲で高品質に映像を符号化しておけばよい上に、端末の構成は従来と同様で済むため、従来の端末を継続的に利用しても今回の発明の効果を得られる。また、演算能力の高い映像配信装置側に最適にデータ量の調整を行う処理を任せることができるので、端末コストを少なくできる利点もある。
In the present invention, video distribution of a TV conference can be performed through the above processing steps.
In this embodiment, the type of video is detected by the video type discriminating unit 37 using the image recognition technology for recognizing a person in the video, but other image recognition technologies can be used according to the shooting situation and purpose. By rearranging, it is possible to detect various video types in the video type determination unit 37.
In such a configuration, the video distribution apparatus adjusts the amount of transmission data in consideration of not only the network state but also the type of video that has been shot, so the video data that is optimal for the purpose of the video being shot can be adjusted. It can be carried out. H. on the terminal side. The H.264 / SVC encoder does not need to adjust the encoding parameter according to the type of video, and it is only necessary to encode the video with high quality within the transmittable range, and the terminal configuration is the same as the conventional one. Therefore, even if the conventional terminal is continuously used, the effect of the present invention can be obtained. In addition, since the processing for optimally adjusting the data amount can be entrusted to the video distribution apparatus having a high calculation capability, there is an advantage that the terminal cost can be reduced.
このように本発明においては、端末は従来通りの構成でスケーラブルにエンコードされた映像データを、端末間を中継する映像配信装置に送信する。映像配信装置ではスケーラブルにエンコードされた映像データのうち、空間レイヤーの低解度側のいくつかのレイヤーのみをデコードし、デコードされた映像から映像の種類を検知する。映像配信装置は検知された映像の種類から現在の映像コンテンツにとって解像度とフレームレートのどちらが重要かを判断する。映像配信装置は従来通りの方法で各受信端末のネットワーク状態を検知しており、送信可能な帯域に合わせて、映像データ量を調整するが、このときに映像の種類に応じて解像度、フレームレート、ＳＮＲのいずれかを優先的に残してデータ量に調整し、各端末に送信する。
従って、本発明によれば、スケーラブルに符号化された映像データの特徴を用いて実行される送信データ調整によるネットワーク帯域制御技術と、送信する映像の種類を検知する画像認識技術を組み合わせ、端末間を中継する映像配信装置にて処理を行うことにより、端末の構成を変えずに、映像の種類にとって最適な解像度、フレームレート、ＳＮＲで映像データを送信することができる。
As described above, in the present invention, the terminal transmits the video data that is scalable and encoded in the conventional configuration to the video distribution device that relays between the terminals. The video distribution apparatus decodes only a few layers on the low resolution side of the spatial layer out of the scalable encoded video data, and detects the type of video from the decoded video. The video distribution device determines whether the resolution or the frame rate is important for the current video content from the type of the detected video. The video distribution device detects the network status of each receiving terminal using the conventional method, and adjusts the video data volume according to the transmittable bandwidth. At this time, the resolution and frame rate are adjusted according to the video type. , SNR is preferentially left to be adjusted to the data amount and transmitted to each terminal.
Therefore, according to the present invention, a network bandwidth control technique based on transmission data adjustment executed using features of scalable encoded video data and an image recognition technique for detecting the type of video to be transmitted are combined. By performing the processing in the video distribution device that relays the video data, it is possible to transmit the video data at the resolution, frame rate, and SNR that are optimal for the type of video without changing the configuration of the terminal.
１…ＴＶ会議システム、１０…端末、１１…Ｈ．２６４／ＳＶＣエンコーダー、１３…Ｈ．２６４／ＳＶＣデコーダー、２１…カメラ、２３…ディスプレイ、３０…映像配信装置、３１…ネットワーク状態・受信端末状態検知部、３３…レイヤー切出部、３５…Ｈ．２６４／ＳＶＣデコーダー、３７…映像種類判別部、３９…優先レイヤー指定部、４０…スケーラブル符号化データ、１００…ＴＶ会議システム、１１０…端末、１２１…カメラ、１２３…ディスプレイ、１３０…映像配信装置、１３１…ネットワーク状態・受信端末状態検知部、１３３…レイヤー切出部 1 ... TV conference system, 10 ... terminal, 11 ... H. H.264 / SVC encoder, 13. H.264 / SVC decoder, 21 ... camera, 23 ... display, 30 ... video distribution device, 31 ... network status / receiving terminal status detection unit, 33 ... layer extraction unit, 35 ... H. H.264 / SVC decoder, 37 ... Video type determination unit, 39 ... Priority layer designation unit, 40 ... Scalable encoded data, 100 ... TV conference system, 110 ... Terminal, 121 ... Camera, 123 ... Display, 130 ... Video distribution device, 131: Network state / receiving terminal state detection unit, 133 ... Layer extraction unit
Claims (7)
該映像端末から受信した前記符号化データに含まれる階層の少なくとも一部分を復号化する部分的復号化手段と、該部分的復号化手段により復号化された映像データの映像の種類を判別する映像種類判別手段と、該映像種類判別手段による判別結果に基づいて、前記符号化データに含まれる階層の中で優先させる階層を指定する優先階層指定手段と、該優先階層指定手段により指定された階層を優先的に残しながら、前記符号化データに含まれる階層の一部分を取り除いた調整符号化データを生成する階層切出手段と、を備え、該階層切出手段により生成された前記調整符号化データを配信する映像配信装置と、
が接続されていることを特徴とするＴＶ会議システム。 A video terminal that encodes video data to generate encoded data including a plurality of layers;
Partial decoding means for decoding at least a part of the hierarchy included in the encoded data received from the video terminal, and video type for determining the video type of the video data decoded by the partial decoding means Based on a determination result by the video type determination unit, a determination unit, a priority layer specification unit for specifying a layer to be given priority among the layers included in the encoded data, and a layer specified by the priority layer specification unit Layer extraction means for generating adjusted encoded data in which a part of the hierarchy included in the encoded data is removed while preferentially remaining, and the adjusted encoded data generated by the hierarchy extraction means A video distribution device for distribution;
Is connected to a video conference system.
前記階層切出手段は、前記ネットワーク状態検知手段により算出された前記送信可能データ量に応じてデータ量を調整した調整符号化データを生成することを特徴とする請求項１に記載のＴＶ会議システム。 The video distribution device includes network state detection means for detecting a state of a network interposed between the video terminals and calculating a transmittable data amount suitable for the network state.
2. The video conference system according to claim 1, wherein the hierarchy cutout unit generates adjusted encoded data in which the data amount is adjusted according to the transmittable data amount calculated by the network state detection unit. .
前記階層切出手段は、前記受信端末状態検知手段により算出された前記送信可能データ量に応じてデータ量を調整した調整符号化データを生成することを特徴とする請求項１又は２に記載のＴＶ会議システム。 The video distribution device includes a reception terminal state detection unit that detects a state of a video terminal that receives the adjustment encoded data and calculates a transmittable data amount that matches the state of the video terminal,
The layer extraction unit generates adjusted encoded data in which the data amount is adjusted according to the transmittable data amount calculated by the receiving terminal state detection unit. TV conference system.
前記映像端末から受信した符号化データに含まれる階層の少なくとも一部分を復号化する部分的復号化ステップと、
該部分的復号化ステップにより復号化された映像データの映像の種類を判別する映像種類判別ステップと、
該映像種類判別ステップによる判別結果に基づいて前記符号化データに含まれる階層の中で優先させる階層を指定する優先階層指定ステップと、
該優先階層指定ステップにより指定された階層を優先的に残しながら前記符号化データに含まれる階層の一部分を取り除いた調整符号化データを生成する階層切出ステップと、
を有することを特徴とするデータ処理方法。 A data processing method for processing encoded data transmitted from a video terminal in a state including a plurality of layers by a video distribution device,
A partial decoding step of decoding at least a part of a layer included in encoded data received from the video terminal;
A video type determination step for determining a video type of the video data decoded by the partial decoding step;
A priority layer designation step for designating a layer to be prioritized among the layers included in the encoded data based on the determination result of the video type determination step;
A layer cut-out step for generating adjusted encoded data in which a part of the layer included in the encoded data is removed while preferentially leaving the layer specified in the priority layer specifying step;
A data processing method characterized by comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011185990A JP5891654B2 (en) | 2011-08-29 | 2011-08-29 | TV conference system, video distribution apparatus, and data processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011185990A JP5891654B2 (en) | 2011-08-29 | 2011-08-29 | TV conference system, video distribution apparatus, and data processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013048356A true JP2013048356A (en) | 2013-03-07 |
| JP5891654B2 JP5891654B2 (en) | 2016-03-23 |
Family
ID=48011115
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011185990A Expired - Fee Related JP5891654B2 (en) | 2011-08-29 | 2011-08-29 | TV conference system, video distribution apparatus, and data processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5891654B2 (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015053597A1 (en) * | 2013-10-12 | 2015-04-16 | 삼성전자 주식회사 | Method and apparatus for encoding multilayer video, and method and apparatus for decoding multilayer video |
| JP2016178356A (en) * | 2015-03-18 | 2016-10-06 | 株式会社リコー | Communication device, communication system, reception control method and program |
| JP6152998B1 (en) * | 2016-09-29 | 2017-06-28 | パナソニックＩｐマネジメント株式会社 | Video conferencing equipment |
| JP2018207337A (en) * | 2017-06-06 | 2018-12-27 | パナソニックＩｐマネジメント株式会社 | Television conference device |
| CN109982023A (en) * | 2017-12-28 | 2019-07-05 | 成都鼎桥通信技术有限公司 | A kind of method for adjusting resolution in video session |
| CN110855905A (en) * | 2019-11-29 | 2020-02-28 | 联想(北京)有限公司 | Video processing method and device and electronic equipment |
| EP3035689B1 (en) * | 2013-09-03 | 2021-05-19 | Sony Corporation | Transmission apparatus, relay apparatus and reception apparatus |
| CN113242452A (en) * | 2021-06-15 | 2021-08-10 | 中国人民解放军91388部队 | Video display method, device, system, equipment and storage medium |
| CN113660175A (en) * | 2021-08-04 | 2021-11-16 | 国网青海省电力公司信息通信公司 | Communication data processing method and device, storage medium and processor |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0654322A (en) * | 1992-07-28 | 1994-02-25 | Fujitsu Ltd | System for controlling picture data adaption in tv conference using multi-spot controller |
| JPH07245754A (en) * | 1994-03-07 | 1995-09-19 | Matsushita Electric Ind Co Ltd | Video conference terminal equipment |
| JP2001516546A (en) * | 1997-12-31 | 2001-09-25 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | A group-based control scheme for video compression |
| JP2005341076A (en) * | 2004-05-26 | 2005-12-08 | Nippon Telegr & Teleph Corp <Ntt> | Image communication system, communication conference system, hierarchical encoder, server device, image communication method, image communication program, and image communication program recording medium |
| JP2006155178A (en) * | 2004-11-29 | 2006-06-15 | Sony Corp | Content communication system, communication apparatus and method, and program |
| JP2010503280A (en) * | 2006-08-29 | 2010-01-28 | マイクロソフト コーポレーション | Visual composition management technology for multimedia audio conferencing |
| JP2012134874A (en) * | 2010-12-22 | 2012-07-12 | Ricoh Co Ltd | Tv conference system |
-
2011
- 2011-08-29 JP JP2011185990A patent/JP5891654B2/en not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0654322A (en) * | 1992-07-28 | 1994-02-25 | Fujitsu Ltd | System for controlling picture data adaption in tv conference using multi-spot controller |
| JPH07245754A (en) * | 1994-03-07 | 1995-09-19 | Matsushita Electric Ind Co Ltd | Video conference terminal equipment |
| JP2001516546A (en) * | 1997-12-31 | 2001-09-25 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | A group-based control scheme for video compression |
| JP2005341076A (en) * | 2004-05-26 | 2005-12-08 | Nippon Telegr & Teleph Corp <Ntt> | Image communication system, communication conference system, hierarchical encoder, server device, image communication method, image communication program, and image communication program recording medium |
| JP2006155178A (en) * | 2004-11-29 | 2006-06-15 | Sony Corp | Content communication system, communication apparatus and method, and program |
| JP2010503280A (en) * | 2006-08-29 | 2010-01-28 | マイクロソフト コーポレーション | Visual composition management technology for multimedia audio conferencing |
| JP2012134874A (en) * | 2010-12-22 | 2012-07-12 | Ricoh Co Ltd | Tv conference system |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3035689B1 (en) * | 2013-09-03 | 2021-05-19 | Sony Corporation | Transmission apparatus, relay apparatus and reception apparatus |
| WO2015053597A1 (en) * | 2013-10-12 | 2015-04-16 | 삼성전자 주식회사 | Method and apparatus for encoding multilayer video, and method and apparatus for decoding multilayer video |
| US10230967B2 (en) | 2013-10-12 | 2019-03-12 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding multilayer video, and method and apparatus for decoding multilayer video |
| JP2016178356A (en) * | 2015-03-18 | 2016-10-06 | 株式会社リコー | Communication device, communication system, reception control method and program |
| JP6152998B1 (en) * | 2016-09-29 | 2017-06-28 | パナソニックＩｐマネジメント株式会社 | Video conferencing equipment |
| JP2018056822A (en) * | 2016-09-29 | 2018-04-05 | パナソニックＩｐマネジメント株式会社 | Television conference device |
| JP2018207337A (en) * | 2017-06-06 | 2018-12-27 | パナソニックＩｐマネジメント株式会社 | Television conference device |
| CN109982023A (en) * | 2017-12-28 | 2019-07-05 | 成都鼎桥通信技术有限公司 | A kind of method for adjusting resolution in video session |
| CN109982023B (en) * | 2017-12-28 | 2020-11-13 | 成都鼎桥通信技术有限公司 | Resolution adjustment method in video session |
| CN110855905A (en) * | 2019-11-29 | 2020-02-28 | 联想(北京)有限公司 | Video processing method and device and electronic equipment |
| CN113242452A (en) * | 2021-06-15 | 2021-08-10 | 中国人民解放军91388部队 | Video display method, device, system, equipment and storage medium |
| CN113660175A (en) * | 2021-08-04 | 2021-11-16 | 国网青海省电力公司信息通信公司 | Communication data processing method and device, storage medium and processor |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5891654B2 (en) | 2016-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5891654B2 (en) | TV conference system, video distribution apparatus, and data processing method | |
| JP5811641B2 (en) | TV conference system, video transmission method, and video transmission apparatus | |
| KR101557504B1 (en) | Method for transmitting adapted channel condition apparatus using the method and providing system | |
| US11190570B2 (en) | Video encoding using starve mode | |
| US11489938B2 (en) | Method and system for providing media content to a client | |
| US8218657B2 (en) | System and method for automatic adjustment of streaming video bit rate | |
| JP4661373B2 (en) | Transmission device and transmission program for controlling discard of specific media data | |
| US8934728B2 (en) | Image display system, image composing and re-encoding apparatus, image display apparatus, method of displaying image, and computer-readable storage medium having stored therein image composing and re-encoding program | |
| US8760490B2 (en) | Techniques for a rate-adaptive video conference bridge | |
| KR101920646B1 (en) | Apparatus and method of streaming progressive video data based vision recognition | |
| CN111988560B (en) | Method and apparatus for encoding and streaming video sequences over multiple network connections | |
| CN108540745B (en) | High-definition double-stream video transmission method, transmitting end, receiving end and transmission system | |
| JP4408811B2 (en) | Stream server | |
| JP2009207084A (en) | Transmitter, transmitting program, receiving device, and receiving program | |
| JP2014192565A (en) | Video processing device, video processing method, and computer program | |
| US11197044B2 (en) | Communication apparatus, media distribution system, media distribution method, and non-transitory computer readable medium | |
| CN107124603A (en) | A kind of multi-view point video adaptive transmission method based on caching | |
| CN109451293B (en) | Self-adaptive stereoscopic video transmission system and method | |
| JP2008131321A (en) | Video transmission method, video transmission program and computer readable recording medium with the program recorded thereon | |
| JP5740969B2 (en) | TV conference system | |
| US20110164676A1 (en) | Distribution server, distribution system, method, and program | |
| KR20090125556A (en) | Method, apparatus and system for coding video data | |
| JPWO2014196113A1 (en) | Time-series data encoding apparatus, method and program, and time-series data re-encoding apparatus, method and program | |
| JP2018537885A (en) | Method and system for flow rate adjustment in a content-controlled streaming network | |
| KR101514128B1 (en) | Apparatus and method for providing contents |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140711 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150414 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150421 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150616 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160126 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160208 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5891654 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |