JP2018011169A - 通信装置、通信システム、通信方法およびプログラム - Google Patents

通信装置、通信システム、通信方法およびプログラム Download PDF

Info

Publication number
JP2018011169A
JP2018011169A JP2016138301A JP2016138301A JP2018011169A JP 2018011169 A JP2018011169 A JP 2018011169A JP 2016138301 A JP2016138301 A JP 2016138301A JP 2016138301 A JP2016138301 A JP 2016138301A JP 2018011169 A JP2018011169 A JP 2018011169A
Authority
JP
Japan
Prior art keywords
communication
environment information
content data
terminal
communication device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016138301A
Other languages
English (en)
Inventor
翔 永峯
Sho Nagamine
翔 永峯
拓也 今井
Takuya Imai
拓也 今井
健一郎 森田
Kenichiro Morita
健一郎 森田
惇平 三神
Jumpei Mikami
惇平 三神
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2016138301A priority Critical patent/JP2018011169A/ja
Priority to US15/645,329 priority patent/US20180020227A1/en
Publication of JP2018011169A publication Critical patent/JP2018011169A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/65Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164Feedback from the receiver or from the transmission channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164Feedback from the receiver or from the transmission channel
    • H04N19/166Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems

Abstract

【課題】スケーラブル符号化を用い、通信ネットワークの状況に応じたコンテンツの品質の変動を低減すること。
【解決手段】スケーラブル符号化を用いて符号化されたコンテンツデータを他の通信装置に送信する通信装置が、前記他の通信装置の通信環境を示す環境情報を取得する取得部と、前記環境情報に基づいて、前記スケーラブル符号化のレイヤ数を決定する決定部と、前記決定したレイヤ数で、コンテンツデータを符号化する符号化部と、前記符号化されたコンテンツデータを送信する送信部と、を備える。
【選択図】図7

Description

本発明は、通信装置、通信システム、通信方法およびプログラムに関する。
インターネット等の通信ネットワークを介して遠隔地との間で、テレビ会議(ビデオ会議)を行う会議システムが普及している。
インターネット等の通信ネットワークを介してテレビ会議を行う場合、テレビ会議における映像や音声等のコンテンツの品質が、通信ネットワークの状況に応じて変動する場合がある。
特許文献1には、送信側からデータを受信中の受信側の通信環境が変更されると、変更された通信環境を示す情報を送信側に伝送し、送信側から、当該通信環境に応じたデータ伝送速度でデータを受信する技術が開示されている。
しかし、従来の技術では、送信側で、複数のストリームを生成する階層符号化を行い、受信側では受信するストリーム数に応じ異なる品質のコンテンツを再現するSVC(Scalable Video Coding)等のスケーラブル符号化における課題については考慮されていない。
そこで、スケーラブル符号化を用い、通信ネットワークの状況に応じたコンテンツの品質の変動を低減する技術を提供することを目的とする。
スケーラブル符号化を用いて符号化されたコンテンツデータを他の通信装置に送信する通信装置が、前記他の通信装置の通信環境を示す環境情報を取得する取得部と、前記環境情報に基づいて、前記スケーラブル符号化のレイヤ数を決定する決定部と、前記決定したレイヤ数で、コンテンツデータを符号化する符号化部と、前記符号化されたコンテンツデータを送信する送信部と、を備える。
開示の技術によれば、スケーラブル符号化を用い、通信ネットワークの状況に応じたコンテンツの品質の変動を低減することができる。
実施形態のテレビ会議システムの概略構成図である。 実施形態のテレビ会議システムにおける通信の概要を示す概念図である。 映像データの符号化の方式を説明する図である。 端末のハードウェア構成の一例を示すブロック図である。 中継サーバのハードウェア構成の一例を示すブロック図である。 端末の機能的な構成の一例を示すブロック図である。 テレビ会議システムの処理の一例を示すシーケンス図である。 環境情報の一例を示す図である。 送信側環境情報の一例を示す図である。 符号化の設定を決定する処理の一例を示すフローチャートである。
以下に添付図面を参照して、この発明に係る通信装置、通信システム、通信方法およびプログラムの実施形態を詳細に説明する。以下では、本発明を適用した通信システムの一例として、複数のテレビ会議端末(「通信装置」に相当)間で映像データおよび音声データを送受信して複数拠点での遠隔会議を実現するテレビ会議システム(「ビデオ会議システム」ともいう。)を例示する。このテレビ会議システムでは、一のテレビ会議端末で撮像された映像データを、スケーラブル映像符号化(SVC,Scalable Video Coding)(「スケーラブル符号化」の一例)を用いて符号化(以下で適宜「スケーラブルに符号化」とも称する)する。そして他のテレビ会議端末に送信し、他のテレビ会議端末にてこの符号化データを復号して再生出力する。ただし、本発明が適用可能な通信システムはこの例に限らない。本発明は、複数の通信装置の間でスケーラブルに符号化された符号化データを送受信する各種の通信システム、および、この通信システムで用いられる各種の通信端末に対して、広く適用可能である。
図1は、本実施形態のテレビ会議システム1の概略構成図であり、図2は、本実施形態のテレビ会議システム1における通信の概要を示す概念図である。また、図3は、本実施形態における映像データの符号化の方式を説明する概念図である。
本実施形態のテレビ会議システム1は、図1に示すように、各拠点に設置された複数のテレビ会議端末(以下、単に「端末」という。)10およびディスプレイ11と、複数の中継サーバ30と、管理サーバ40と、プログラム提供サーバ50と、メンテナンスサーバ60と、を備える。
ディスプレイ11は、有線または無線により端末10に接続されている。なお、ディスプレイ11は、端末10と一体化された構成であってもよい。
端末10および中継サーバ30は、例えば、LAN(Local Area Network)のノードとしてルータに接続される。ルータは、データ伝送の経路選択を行うネットワーク機器であり、図1に示す例では、LAN2a内のルータ70aと、LAN2b内のルータ70bと、LAN2c内のルータ70cと、LAN2d内のルータ70dと、ルータ70aおよびルータ70bと専用回線2eで接続されてインターネット2iに繋がるルータ70eと、ルータ70cおよびルータ70dと専用回線2fで接続されてインターネット2iに繋がるルータ70fとを例示している。
なお、LAN2aおよびLAN2bは地域X内の別の場所に構築され、LAN2cおよびLAN2dは地域Y内の別の場所に構築されていることを想定している。例えば、地域Xは日本、地域Yはアメリカ合衆国であり、LAN2aは東京の事業所内で構築され、LAN2bは大阪の事業所内で構築され、LAN2cはニューヨークの事業所内で構築され、LAN2dはワシントンD.C.の事業所内で構築されている。本実施形態では、LAN2a、LAN2b、専用回線2e、インターネット2i、専用回線2f、LAN2c、およびLAN2dによって、通信ネットワーク2が構築されている。この通信ネットワーク2には、有線だけでなく、WiFi(Wireless Fidelity)やBluetooth(登録商標)などの無線による通信が行われる箇所が含まれていてもよい。
本実施形態のテレビ会議システム1では、複数の端末10間で中継サーバ30を介した映像データおよび音声データの送受信を行う。この際、図2に示すように、複数の端末10間には、管理サーバ40を介して、各種の管理情報を送受信するための管理情報用セッションSeiが確立される。また、複数の端末10間には、中継サーバ30を介して、映像データおよび音声データの送受信を行うためのデータ用セッションSedが確立される。ここで、特に、データ用セッションSedで送受信される映像データは、スケーラブルに符号化された符号化データであり、例えば、高品質映像の符号化データ、中品質映像の符号化データ、低品質映像の符号化データが、それぞれ別々のチャンネル(レイヤ)で送受信される。
映像データをスケーラブルに符号化する標準の符号化フォーマットとして、例えば、H.264/SVC(H.264/AVC Annex G)符号化フォーマットが知られている。H.264/SVC符号化フォーマットでは、映像データを階層構造のデータに変換し、品質が異なる複数の映像データの集合として符号化して、それぞれの品質の映像データに対応する符号化データを複数のチャンネルで送受信することができる。本実施形態では、このH.264/SVC符号化フォーマットを利用して映像データを符号化した符号化データを、複数の端末10間で送受信するものとする。
図3は、映像データの符号化の方式を説明する図である。本実施形態のテレビ会議システム1では、レイヤ数が3と決定された場合、例えば図3(A)に示すように、映像データをベースレイヤと拡張レイヤ(下層/上層)を持つ階層構造のデータに変換する。そして、ベースレイヤのみの映像データを低品質の映像データとし、ベースレイヤと下層の拡張レイヤとからなる映像データを中品質の映像データとし、ベースレイヤと下層の拡張レイヤと上層の拡張レイヤとからなる映像データを高品質の映像データとする。そして、それぞれの品質の映像データを符号化して3つのチャンネルで伝送する。
レイヤ数が2と決定された場合、例えば図3(B)に示すように、映像データをベースレイヤと拡張レイヤを持つ階層構造のデータに変換する。そして、ベースレイヤのみの映像データを低品質の映像データとし、ベースレイヤと拡張レイヤとからなる映像データを高品質の映像データとする。そして、それぞれの品質の映像データを符号化して2つのチャンネルで伝送する。
レイヤ数が1と決定された場合、例えば図3(C)に示すように、映像データをベースレイヤのみのデータに変換する。そして、ベースレイヤのみの映像データを高品質の映像データとし、符号化して1つのチャンネルで伝送する。
図3(A)に示すように、3つのチャンネルで伝送する場合、受信側の通信環境の変動が比較的大きい場合でも、少なくともベースレイヤの低品質の映像データは受信し再生できる。
図3(C)に示すように、1つのチャンネルで伝送する場合、受信側の通信環境の変動が比較的少ない場合であれば、図3(A)に示すように3つのチャンネルで伝送する場合と比較して、より高品質の画像を受信させることができる。これは、映像データを、ベースレイヤと下層の拡張レイヤと上層の拡張レイヤのように、複数のレイヤにスケーラブルに符号化した場合、オーバヘッドが生じるためである。
したがって、スケーラブルに符号化するレイヤの数を多くするほど、通信環境の変動により対応できるようになるものの、全てのレイヤのデータに基づいて復号化した際の映像データの品質は低下する。
中継サーバ30は、複数の端末10間における映像データおよび音声データの伝送を中継するコンピュータである。中継サーバ30が中継する映像データは、上述したように、例えば上述のH.264/SVC符号化フォーマットでスケーラブルに符号化された符号化データである。中継サーバ30は、映像データの送信側の端末10から、スケーラブルに符号化されたすべての品質の符号化データを複数チャンネルで受信し、受信側の端末10のネットワーク状況や映像の表示解像度などに応じて、必要な品質に対応するチャンネルを選択してそのチャンネルの符号化データのみを受信側の端末10に送信する。
管理サーバ40は、本実施形態のテレビ会議システム1の全体を管理するコンピュータである。例えば、管理サーバ40は、登録された各端末10の状態管理、中継サーバ30の状態管理、端末10を使用するユーザのログイン管理、複数の端末10間で確立されたデータ用セッションSedの管理などを行う。
プログラム提供サーバ50は、各種のプログラムを端末10、中継サーバ30、管理サーバ40、メンテナンスサーバ60などに提供するコンピュータである。
メンテナンスサーバ60は、端末10、中継サーバ30、管理サーバ40、およびプログラム提供サーバ50のうちの少なくとも1つの維持、管理、または保守を行うためのコンピュータである。
次に、本実施形態のテレビ会議システム1における端末10、中継サーバ30、管理サーバ40、プログラム提供サーバ50、およびメンテナンスサーバ60のハードウェア構成について説明する。図4は、端末10のハードウェア構成の一例を示し、図5は、中継サーバ30のハードウェア構成の一例を示している。なお、管理サーバ40、プログラム提供サーバ50、およびメンテナンスサーバ60は、中継サーバ30と同様のハードウェア構成を採用できるため、図示を省略する。
端末10は、図4に示すように、端末10全体の動作を制御するCPU(Central Processing Unit)101、IPL(Initial Program Loader)等のCPU101の駆動に用いられるプログラムを記憶したROM(Read Only Memory)102、CPU101のワークエリアとして使用されるRAM(Random Access Memory)103、端末用プログラム、画像データ、及び音声データ等の各種データを記憶するフラッシュメモリ104、CPU101の制御に従ってフラッシュメモリ104に対する各種データの読み出しや書き込みを制御するSSD(Solid State Drive)105、フラッシュメモリ等の記録メディア106に対するデータの読み出しや書き込み(記憶)を制御するメディアドライブ107、通信相手となる他の端末10を選択する場合などに操作される操作ボタン108、端末10の電源のオン/オフを切り換えるための電源スイッチ109、通信ネットワーク2を利用してデータ伝送をするためのネットワークI/F(Interface)111を備えている。
また、端末10は、CPU101の制御に従って被写体を撮像して画像データを得る内蔵型のカメラ112、このカメラ112の駆動を制御する撮像素子I/F113、音声を入力する内蔵型のマイク114、音声を出力する内蔵型のスピーカ115、CPU101の制御に従ってマイク114及びスピーカ115との間で音声信号の入出力を処理する音声入出力I/F116、CPU101の制御に従ってディスプレイ11に表示映像のデータを伝送するディスプレイI/F117、各種の外部機器を接続するための外部機器接続I/F118、端末10の各種機能の異常を知らせるアラームランプ119、および上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスライン110を備えている。
なお、カメラ112、マイク114、スピーカ115は、必ずしも端末10に内蔵されている必要はなく、外付けされる構成であってもよい。また、ディスプレイ11は、端末10に内蔵された構成であってもよい。また、ディスプレイ11は、液晶パネル等の表示装置を想定するが、これに限らず、プロジェクタ等の投影装置であってもよい。図4に示す端末10のハードウェア構成はあくまで一例であり、上記以外の他のハードウェアが追加されていてもよい。
上述したプログラム提供サーバ50から提供される端末用プログラムは、例えばフラッシュメモリ104に格納され、CPU101の制御によりRAM103上に読み出されて実行される。なお、端末用プログラムを格納するメモリは不揮発性メモリであればよく、フラッシュメモリ104に限らず、EEPROM(Electrically Erasable and Programmable ROM)等を用いてもよい。また、端末用プログラムは、インストール可能な形式または実行可能な形式のファイルによって、コンピュータで読み取り可能な記録メディア106等の記録媒体に記録されて提供されるようにしてもよい。また、端末用プログラムは、ROM102等に予め格納された組み込みプログラムとして提供されるようにしてもよい。
中継サーバ30は、図5に示すように、中継サーバ30全体の動作を制御するCPU201、IPL等のCPU201の駆動に用いられるプログラムを記憶したROM202、CPU201のワークエリアとして使用されるRAM203、中継サーバ用プログラム等の各種データを記憶するHD(Hard Disk)204、CPU201の制御に従ってHD204に対する各種データの読み出しまたは書き込みを制御するHDD(HD Drive)205、フラッシュメモリ等の記録メディア206に対するデータの読み出しや書き込み(記憶)を制御するメディアドライブ207、各種情報を表示するディスプレイ208、通信ネットワーク2を利用してデータ伝送をするためのネットワークI/F209、キーボード211、マウス212、着脱可能な記録媒体の一例としてのCD−ROM(Compact Disc Read Only Memory)213に対する各種データの読み出しまたは書き込みを制御するCD−ROMドライブ214、および上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスライン210を備えている。
上述したプログラム提供サーバ50から提供される中継サーバ用プログラムは、例えばHD204に格納され、CPU201の制御によりRAM203上に読み出されて実行される。また、中継サーバ用プログラムは、インストール可能な形式または実行可能な形式のファイルによって、記録メディア206やCD−ROM213等のコンピュータで読み取り可能な記録媒体に記録されて提供されるようにしてもよい。また、中継サーバ用プログラムは、ROM202等に予め格納された組み込みプログラムとして提供されるようにしてもよい。
管理サーバ40は、図5に示した中継サーバ30と同様のハードウェア構成を採用できる。ただし、HD204には、プログラム提供サーバ50から提供される管理サーバ用プログラムが記録されている。この場合も、管理サーバ用プログラムは、インストール可能な形式または実行可能な形式のファイルによって、記録メディア206やCD−ROM213等のコンピュータで読み取り可能な記録媒体に記録されて提供されるようにしてもよい。また、管理サーバ用プログラムは、ROM202等に予め格納された組み込みプログラムとして提供されるようにしてもよい。
なお、着脱可能な記録媒体の他の例としては、CD−R(Compact Disc Recordable)、DVD(Digital Versatile Disk)、ブルーレイディスク等のコンピュータで読み取り可能な記録媒体が挙げられる。上述した各種のプログラムは、これらの記録媒体に記録されて提供されるようにしてもよい。
次に、端末10の機能構成について説明する。図6は、端末10の機能的な構成の一例を示すブロック図である。端末10は、図6に示すように、送受信部12、操作入力受付部13、撮像部14、音声入力部15、音声出力部16、符号化部17、復号化部18、表示映像生成部19、表示制御部20、記憶・読出処理部21、揮発性記憶部22、不揮発性記憶部23、取得部24、決定部26、及び通知部27を備える。
送受信部12は、通信ネットワーク2を介して、他の端末10、中継サーバ30、管理サーバ40等との間で各種データ(または情報)の送受信を行う。送受信部12は、例えば、図4に示したネットワークI/F111およびCPU101によって実現される。
操作入力受付部13は、端末10を使用するユーザによる各種の入力操作を受け付ける。操作入力受付部13は、例えば、図4に示した操作ボタン108、電源スイッチ109、およびCPU101によって実現される。
撮像部14は、端末10が設置されている拠点の映像を撮影して映像データを出力する。撮像部14は、例えば、図4に示したカメラ112、撮像素子I/F113、およびCPU101によって実現される。
音声入力部15は、端末10が設置されている拠点の音声を入力して音声データを出力する。音声入力部15は、例えば、図4に示したマイク114、音声入出力I/F116、およびCPU101によって実現される。
音声出力部16は、音声データを再生出力する。音声出力部16は、例えば、図4に示したスピーカ115、音声入出力I/F116、およびCPU101によって実現される。
符号化部17は、撮像部14から出力される映像データや、音声入力部15から出力される音声データを符号化して、符号化データを生成する。符号化部17は、特に映像データの符号化については、H.264/SVC符号化フォーマットに従って映像データをスケーラブルに符号化する。また、符号化部17は、映像データをスケーラブルに符号化する際の設定(例えば、符号化するデータのレイヤ構成の設定)を、後述の決定部26からの設定信号に応じて変更可能に構成されている。符号化部17は、例えば、図4に示したCPU101が、上述した端末用プログラムに含まれる符号化/復号化プログラム(映像・音声コーデック)を実行することにより実現される。
復号化部18は、他の端末10から中継サーバ30を介して送信された符号化データを復号し、符号化前の映像データや音声データを出力する。復号化部18は、例えば、図4に示したCPU101が上述した端末用プログラムに含まれる符号化/復号化プログラム(映像・音声コーデック)を実行することにより実現される。
表示映像生成部19は、復号化部18で復号された映像データを用いて、ディスプレイ11に表示させる(再生出力する)表示映像を生成する。例えば、表示映像生成部19は、復号化部18で復号された映像データが複数の拠点の複数の端末10から送信された映像データを含む場合、予め定められたレイアウトの設定、あるいはユーザにより指定されたレイアウトの設定に従って、それぞれの映像データを1画面内に含む表示映像を生成する。
表示映像生成部19は、例えば、図4に示したCPU101が、上述した端末用プログラムに含まれる表示映像生成プログラムを実行することにより実現される。
表示制御部20は、表示映像生成部19によって生成された表示映像をディスプレイ11に表示させる(再生出力する)ための制御を行う。表示制御部20は、例えば、図4に示したディスプレイI/F117およびCPU101によって実現される。
記憶・読出処理部21は、揮発性記憶部22や不揮発性記憶部23に対して各種データを記憶したり、読み出したりする処理を行う。記憶・読出処理部21は、例えば、図4に示したSSD105およびCPU101によって実現される。揮発性記憶部22は、例えば、図4に示したRAM103によって実現される。不揮発性記憶部23は、例えば、図4に示したフラッシュメモリ104によって実現される。
取得部25は、端末10、及び他の端末10での受信に係る通信環境を示す環境情報121を取得する。また、取得部25は、端末10からの送信に係る通信環境を示す送信側環境情報122を取得する。
取得部25は、例えば、図4に示したCPU101が、上述した端末用プログラムに含まれるプログラムを実行することにより実現される。
決定部26は、取得部25により取得された環境情報121、及び送信側環境情報122に基づいて、スケーラブル符号化のレイヤ数を決定する。
決定部26は、例えば、図4に示したCPU101が、上述した端末用プログラムに含まれるプログラムを実行することにより実現される。
通知部27は、端末10の通信環境を示す環境情報121を、他の端末10に通知する。
通知部27は、例えば、図4に示したCPU101が、上述した端末用プログラムに含まれるプログラムを実行することにより実現される。
<処理>
次に、図7を参照し、テレビ会議システム1の処理について説明する。図7は、テレビ会議システム1の処理の一例を示すシーケンス図である。以下では、テレビ会議を行う2つの端末10を、それぞれ端末10A、10Bと称する。
ステップS101において、端末10Bの取得部25は、端末10Bでの受信に係る通信環境を示す環境情報121を取得する。
図8は、環境情報121の一例を示す図である。環境情報121には、接続方法、通信プロトコル、受信帯域、及びパケットロス率の情報が含まれる。
接続方法は、現在接続している通信網が、有線か無線かを示す情報である。有線は、ルータなどの通信機器と端末10Bがケーブルで接続している場合である。無線は、ルータなどの通信機器と端末Bが無線の電波を介して接続している場合である。通信状況の変動は、無線の場合の方が有線の場合の方よりも発生しやすい。
通信プロトコルは、コンテンツデータを受信する際のプロトコルを示す情報である。通信プロトコルには、例えばUDP(User Datagram Protocol)やTCP(Transmission Control Protocol)が含まれる。UDP、通信の即時性を求める場合等に使用されるプロトコルであり、TCPは、通信の信頼性を求める場合等に使用されるプロトコルである。
テレビ会議において、映像等のコンテンツデータを送受信する場合、UDPが用いられる場合が多い。しかし、例えば、セキュリティ上の理由により、企業のネットワークにおいてUDPの通信が許可されていない場合等は、TCPを用いる場合がある。この場合、パケットロスにより送信側から再送が発生すると、トラフィックが一層混雑する場合があるため、通信状況の変動は、TCPの方がUDPよりも起きやすい。
受信帯域は、受信可能な帯域を示す情報である。受信帯域は、例えば、実際の通信結果における、映像、音声、データ等の各種別に応じた受信帯域の合計値である。または、受信帯域は、実際の通信結果における、映像の受信帯域でもよい。あるい、所定期間内の最大の通信速度を、受信帯域としてもよい。
パケットロス率は、例えば、実際の通信結果における、映像、音声、データ等のパケットに対する応答率に基づいて算出する。なお、パケットロス率は、公知の方法で算出してもよい。
続いて、端末10Bの通知部27は、端末10Bの環境情報121を、端末10Aに通知する(ステップS102)。
続いて、端末10Aの取得部25は、端末10Bから受信した環境情報121を取得する(ステップS103)。
続いて、端末10Aの取得部25は、端末10Aからの送信に係る通信環境を示す送信側環境情報122を取得する(ステップS104)。
図9は、送信側環境情報122の一例を示す図である。送信側環境情報122には、接続方法、通信プロトコル、及び送信帯域の情報が含まれる。
接続方法は、現在接続している通信網が、有線か無線かを示す情報である。有線は、ルータなどの通信機器と端末10Aがケーブルで接続している場合である。無線は、ルータなどの通信機器と端末10Aが無線の電波を介して接続している場合である。通信状況の変動は、無線の場合の方が有線の場合の方よりも発生しやすい。
通信プロトコルは、コンテンツデータを送信する際のプロトコルを示す情報である。通信プロトコルには、例えばUDP(User Datagram Protocol)やTCP(Transmission Control Protocol)が含まれる。UDP、通信の即時性を求める場合等に使用されるプロトコルであり、TCPは、通信の信頼性を求める場合等に使用されるプロトコルである。
端末10Bの環境情報121における通信プロトコルと、端末10Aの送信側環境情報122における通信プロトコルが異なる場合は、例えば中継サーバ30等で通信プロトコルを変換している。
送信帯域は、送信可能な帯域を示す情報である。送信帯域は、例えば、実際の通信結果における、映像、音声、データ等の各種別に応じた送信帯域の合計値である。または、送信帯域は、実際の通信結果における、映像の送信帯域でもよい。あるいは、所定期間内の最大の通信速度を、送信帯域としてもよい。
端末10Bの環境情報121における受信帯域と、端末10Aの送信側環境情報122における送信帯域が異なる場合は、例えば中継サーバ30等が、受信側の端末10に応じて、チャンネルの符号化データのみを受信側の端末10に中継していることが考えられる。
続いて、端末10Aの決定部26は、端末10Bの環境情報121と、端末10Aの送信側環境情報122に基づき、符号化の設定を決定する(ステップS105)。
続いて、端末10Aの符号化部17は、決定した符号化の設定により、映像を符号化する(ステップS106)。
続いて、端末10Aの送受信部12は、符号化した映像を、中継サーバ30を介して端末10Bに送信する(ステップS107)。
続いて、端末10Bの送受信部12は、符号化された映像を受信する(ステップS108)。
なお、端末10Bについても、端末10Aと同様の処理を行い、符号化の設定を決定してもよい。
≪符号化設定決定≫
次に、図10を参照し、ステップS105の、符号化の設定を決定する処理について説明する。図10は、符号化の設定を決定する処理の一例を示すフローチャートである。
なお、符号化の設定を決定する処理を行う際、SVCのレイヤ数は「1」に初期化されているものとする。
ステップS201において、端末10Aの決定部26は、端末10Bの環境情報121における受信帯域と、端末10Aの送信側環境情報122における送信帯域とで、どちらが小さいか判定する。
端末10Bの環境情報121における受信帯域の方が小さい場合(ステップS201で「受信帯域」)、端末10Aの決定部26は、送信ビットレートを当該受信帯域の値に設定し(ステップS202)、ステップS204の処理に進む。
端末10Aの送信側環境情報122における送信帯域の方が小さい場合(ステップS201で「送信帯域」)、端末10Aの決定部26は、送信ビットレートを当該送信帯域の値に設定する(ステップS203)。
続いて、端末10Aの決定部26は、端末10Bの環境情報121におけるパケットロス率を判定する(ステップS204)。
当該パケットロス率が第1の閾値(例えば1%)未満の場合(ステップS204で「第1の閾値未満」)、ステップS207の処理に進む。
当該パケットロス率が第1の閾値以上かつ第1の閾値より大きい第2の閾値(例えば5%)未満の場合(ステップS204で「第1の閾値以上、第2の閾値未満」)、端末10Aの決定部26は、SVCのレイヤ数を1つ増加させ(ステップS205)、ステップS207の処理に進む。
当該パケットロス率が第2の閾値以上の場合(ステップS204で「第2の閾値以上」)、端末10Aの決定部26は、SVCのレイヤ数を2つ増加させる(ステップS206)。
続いて、端末10Aの決定部26は、端末10Bの環境情報121における接続方法、及び端末10Aの送信側環境情報122における接続方法の少なくとも一方が「無線」であるか判定する(ステップS207)。
接続方法の両方が「無線」でない場合(ステップS207でNO)、ステップS210の処理に進む。
接続方法の少なくとも一方が「無線」である場合(ステップS207でYES)、端末10Aの決定部26は、ステップS203で設定したビットレートが、所定値(例えば1MBps)以上であるか否か判定する(ステップS208)。
設定したビットレートが、所定値以上である場合(ステップS208でYES)、ステップS210の処理に進む。
設定したビットレートが、所定値以上でない場合(ステップS208でNO)、端末10Aの決定部26は、SVCのレイヤ数を1つ増加させる(ステップS209)。これは、設定したビットレートが所定値以上でない場合、通信品質が高くないと推定できるためである。
続いて、端末10Aの決定部26は、端末10Bの環境情報121における通信プロトコル、及び端末10Aの送信側環境情報122における通信プロトコルの少なくとも一方が「TCP」であるか判定する(ステップS210)。
通信プロトコルの両方が「TCP」でない場合(ステップS210でNO)、ステップS212の処理に進む。
通信プロトコルの少なくとも一方が「TCP」である場合(ステップS210でYES)、端末10Aの決定部26は、ステップS203で設定したビットレートが、所定値(例えば1MBps)以上であるか否か判定する(ステップS211)。
設定したビットレートが、所定値以上である場合(ステップS211でYES)、ステップS213の処理に進む。
設定したビットレートが、所定値以上でない場合(ステップS211でNO)、端末10Aの決定部26は、SVCのレイヤ数を1つ増加させる(ステップS212)。
続いて、端末10Aの決定部26は、SVCのレイヤ数が上限値(例えば3)よりも大きいか否かを判定する(ステップS213)。
SVCのレイヤ数が上限値よりも大きくない場合(ステップS213でNO)、処理を終了する。
SVCのレイヤ数が上限値よりも大きい場合(ステップS213でYES)、端末10Aの決定部26は、SVCのレイヤ数に、上限値の値を設定し(ステップS214)、処理を終了する。
以上、具体的な例を挙げながら詳細に説明したように、本実施形態のテレビ会議システム1によれば、受信側の端末10が、通信環境を示す環境情報を、映像の送信元である送信側の端末10に通知する。そして、送信側の端末10は、受信側の端末10から通知された環境情報に基づいて、受信側の端末10に対して送信するスケーラブル符号化のレイヤ数を決定する。これにより、通信ネットワークの状況に応じたコンテンツの品質の変動を低減することができる。
以上、本発明の具体的な実施形態について説明したが、本発明は、上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で様々な変形や変更を加えて具体化することができる。つまり、上述した実施形態で説明したテレビ会議システム1や端末10などの具体的な構成や動作はあくまで一例であり、用途や目的に応じて様々な変形が可能である。
例えば、上述した実施形態では、取得部25や決定部26を端末10が備えているが、この取得部25や決定部26の機能の一部または全部を、例えば管理サーバ40などの他の装置が備えるように構成してもよい。
また、上述した実施形態では、映像データをスケーラブルに符号化して端末10間で送受信するものとしているが、映像データとともに、あるいは映像データに代えて、音声データをスケーラブルに符号化して端末10間で送受信するようにしてもよい。この場合、音声データの品質としては、例えば、音声におけるサンプリング周波数や、音声におけるビット長などが挙げられる。
また、上述した実施形態では、本発明を適用した通信システムの一例としてテレビ会議システム1を例示したが、これに限られるものではない。本発明は、例えば、端末間で双方向に音声データを送受信するIP(Internet Protocol)電話等の電話システムや、管理センタの端末から自動車に搭載されたカーナビゲーション装置に対して地図データやルート情報などを配信するカーナビゲーションシステム等、各種の通信システムに対して有効に適用可能である。
また、上述した実施形態では、本発明を適用した通信装置の一例としてテレビ会議端末(端末)10を例示したが、これに限られるものではない。本発明は、各種データをスケーラブルに符号化して送信する機能と、スケーラブルに符号化された符号化データを復号して再生する機能とを有する通信装置であれば、例えばPCやタブレット端末、スマートフォン、電子黒板、自動車に搭載されるカーナビゲーション装置等の各種の通信装置に対して有効に適用可能である。
1 テレビ会議システム(「通信システム」の一例)
10 端末(「通信装置」の一例)
12 送受信部(「送信部」、「受信部」の一例)
121 環境情報
122 送信側環境情報
17 符号化部
25 取得部
26 決定部
27 通知部
30 中継サーバ
特開2013−066188号公報

Claims (8)

  1. スケーラブル符号化を用いて符号化されたコンテンツデータを他の通信装置に送信する通信装置であって、
    前記他の通信装置の通信環境を示す環境情報を取得する取得部と、
    前記環境情報に基づいて、前記スケーラブル符号化のレイヤ数を決定する決定部と、
    前記決定したレイヤ数で、コンテンツデータを符号化する符号化部と、
    前記符号化されたコンテンツデータを送信する送信部と、
    を備えることを特徴とする通信装置。
  2. 前記スケーラブル符号化はSVC(Scalable Video Coding)であり、
    前記コンテンツデータは映像である
    ことを特徴とする請求項1記載の通信装置。
  3. 前記環境情報は、受信帯域、パケットロス率、通信網との間の接続方法、またはコンテンツデータを受信するプロトコルの情報を含む
    ことを特徴とする請求項1または2記載の通信装置。
  4. 前記取得部は、前記通信装置の通信環境を示す送信側環境情報を取得し、
    前記決定部は、前記環境情報、及び送信側環境情報に基づいて、前記スケーラブル符号化のレイヤ数を決定する
    ことを特徴とする請求項1乃至3のいずれか一項に記載の通信装置。
  5. 前記送信側環境情報は、送信帯域、通信網との間の接続方法、またはコンテンツデータを送信するプロトコルの情報を含む
    ことを特徴とする請求項4記載の通信装置。
  6. 第1の通信装置、第2の通信装置、及び中継サーバを含む通信システムであって、
    前記第1の通信装置は、
    前記第2の通信装置の通信環境を示す環境情報を取得する取得部と、
    前記環境情報に基づいて、スケーラブル符号化のレイヤ数を決定する決定部と、
    前記決定したレイヤ数で、スケーラブル符号化を用いてコンテンツデータを符号化する符号化部と、
    前記符号化されたコンテンツデータを送信する送信部と、
    を備え、
    前記第2の通信装置は、
    前記環境情報を、前記第1の通信装置に通知する通知部と、
    前記符号化されたコンテンツデータを受信する受信部と、
    を備え、
    前記中継サーバは、
    前記符号化されたコンテンツデータの各レイヤに応じて、前記第2の通信装置への中継処理を制御する
    ことを特徴とする通信システム。
  7. コンピュータが、
    他の通信装置の通信環境を示す環境情報を取得するステップと、
    前記環境情報に基づいて、スケーラブル符号化のレイヤ数を決定するステップと、
    前記決定したレイヤ数で、スケーラブル符号化を用いてコンテンツデータを符号化するステップと、
    前記符号化されたコンテンツデータを送信するステップと、
    を実行することを特徴とする通信方法。
  8. コンピュータに、
    他の通信装置の通信環境を示す環境情報を取得するステップと、
    前記環境情報に基づいて、スケーラブル符号化のレイヤ数を決定するステップと、
    前記決定したレイヤ数で、スケーラブル符号化を用いてコンテンツデータを符号化するステップと、
    前記符号化されたコンテンツデータを送信するステップと、
    を実行させることを特徴とするプログラム。
JP2016138301A 2016-07-13 2016-07-13 通信装置、通信システム、通信方法およびプログラム Pending JP2018011169A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016138301A JP2018011169A (ja) 2016-07-13 2016-07-13 通信装置、通信システム、通信方法およびプログラム
US15/645,329 US20180020227A1 (en) 2016-07-13 2017-07-10 Communication apparatus, communication system, communication method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016138301A JP2018011169A (ja) 2016-07-13 2016-07-13 通信装置、通信システム、通信方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2018011169A true JP2018011169A (ja) 2018-01-18

Family

ID=60941458

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016138301A Pending JP2018011169A (ja) 2016-07-13 2016-07-13 通信装置、通信システム、通信方法およびプログラム

Country Status (2)

Country Link
US (1) US20180020227A1 (ja)
JP (1) JP2018011169A (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003308277A (ja) * 2002-04-17 2003-10-31 Sony Corp 端末装置、データ送信装置、データ送受信システム及びデータ送受信方法
JP2005333358A (ja) * 2004-05-19 2005-12-02 Ntt Communications Kk 画像通信装置、その処理方法及びクライアント装置並びにプログラム
JP2010503280A (ja) * 2006-08-29 2010-01-28 マイクロソフト コーポレーション マルチメディア音声会議向け視覚的構成の管理技術
JP2011216986A (ja) * 2010-03-31 2011-10-27 Yamaha Corp 映像送信システム、送信装置及び中継装置
US20120259950A1 (en) * 2009-12-21 2012-10-11 Koninklijke Kpn N.V. Content Distribution System
WO2015129319A1 (ja) * 2014-02-26 2015-09-03 株式会社リコー 通信装置、通信システム、通信制御方法およびプログラム
JP2015192230A (ja) * 2014-03-27 2015-11-02 沖電気工業株式会社 会議システム、会議サーバ、会議方法及び会議プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003308277A (ja) * 2002-04-17 2003-10-31 Sony Corp 端末装置、データ送信装置、データ送受信システム及びデータ送受信方法
JP2005333358A (ja) * 2004-05-19 2005-12-02 Ntt Communications Kk 画像通信装置、その処理方法及びクライアント装置並びにプログラム
JP2010503280A (ja) * 2006-08-29 2010-01-28 マイクロソフト コーポレーション マルチメディア音声会議向け視覚的構成の管理技術
US20120259950A1 (en) * 2009-12-21 2012-10-11 Koninklijke Kpn N.V. Content Distribution System
JP2013515417A (ja) * 2009-12-21 2013-05-02 コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ コンテンツ配信システム
JP2011216986A (ja) * 2010-03-31 2011-10-27 Yamaha Corp 映像送信システム、送信装置及び中継装置
WO2015129319A1 (ja) * 2014-02-26 2015-09-03 株式会社リコー 通信装置、通信システム、通信制御方法およびプログラム
JP2015192230A (ja) * 2014-03-27 2015-11-02 沖電気工業株式会社 会議システム、会議サーバ、会議方法及び会議プログラム

Also Published As

Publication number Publication date
US20180020227A1 (en) 2018-01-18

Similar Documents

Publication Publication Date Title
JP6432595B2 (ja) 通信装置、通信システム、通信制御方法およびプログラム
JP6349997B2 (ja) 通信装置、通信システム、通信制御方法およびプログラム
US10547652B2 (en) Communication control device, communication system, and communication control method
US9288328B2 (en) Communication terminal and non-transitory computer readable medium storing program
JP2015195474A (ja) 映像符号化データ送信装置、映像符号化データ送信方法、映像符号化データ受信装置、及び映像符号化データ送受信システム
WO2021057697A1 (zh) 视频编解码方法和装置、存储介质及电子装置
JP2012094950A (ja) 送信装置、送信方法および通信システム
KR102050417B1 (ko) 네트워크 시스템 및 방법
JP2016178356A (ja) 通信装置、通信システム、受信制御方法およびプログラム
JP6193569B2 (ja) 受信装置、受信方法、及びプログラム、撮像装置、撮像方法、及びプログラム、送信装置、送信方法、及びプログラム
JP2014086850A (ja) 映像コンテンツ配信装置
JP2018011169A (ja) 通信装置、通信システム、通信方法およびプログラム
JP6903964B2 (ja) 端末、プログラム、データ送信方法
WO2011142312A1 (ja) リモート型携帯通信システム、サーバ装置及びリモート型携帯通信システム制御方法
JP7124483B2 (ja) 通信端末、データ送信方法、プログラム
JP6922267B2 (ja) 端末、プログラム、データ送信方法
JP2015073154A (ja) データ伝送システム、データ伝送プログラム及びデータ伝送方法
JP6213420B2 (ja) 通信装置、通信システム、通信方法およびプログラム
JP2021153284A (ja) 伝送システム、伝送端末およびプログラム
US9900800B2 (en) Communication apparatus, communication system, communication method, and recording medium
JP4509889B2 (ja) 送受信装置及びそれを用いた監視システム
JP2019080269A (ja) 映像伝送装置
JP2012178672A (ja) 中継装置、多拠点テレビ会議システム
JP2006332880A (ja) 情報受信装置、情報送信装置及び情報送受信システム
JP2004288044A (ja) 通信端末装置およびネットワークノード装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190417

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191226

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200623