JP2013021633A - 多地点接続装置、映像音声端末、通信システム、及び信号処理方法 - Google Patents
多地点接続装置、映像音声端末、通信システム、及び信号処理方法 Download PDFInfo
- Publication number
- JP2013021633A JP2013021633A JP2011155690A JP2011155690A JP2013021633A JP 2013021633 A JP2013021633 A JP 2013021633A JP 2011155690 A JP2011155690 A JP 2011155690A JP 2011155690 A JP2011155690 A JP 2011155690A JP 2013021633 A JP2013021633 A JP 2013021633A
- Authority
- JP
- Japan
- Prior art keywords
- video
- audio
- signal
- information
- volume
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004891 communication Methods 0.000 title claims description 36
- 238000003672 processing method Methods 0.000 title claims description 11
- 230000005236 sound signal Effects 0.000 claims abstract description 209
- 239000002131 composite material Substances 0.000 claims abstract description 24
- 230000005540 biological transmission Effects 0.000 claims abstract description 23
- 230000015572 biosynthetic process Effects 0.000 claims description 23
- 238000003786 synthesis reaction Methods 0.000 claims description 23
- 230000002194 synthesizing effect Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 14
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 7
- 238000000034 method Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 17
- 239000000284 extract Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- NDAUXUAQIAJITI-UHFFFAOYSA-N albuterol Chemical compound CC(C)(C)NCC(O)C1=CC=C(O)C(CO)=C1 NDAUXUAQIAJITI-UHFFFAOYSA-N 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/152—Multipoint control units therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
- H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
- H04L12/1827—Network arrangements for conference optimisation or adaptation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
- H04M3/567—Multimedia conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
- H04M2201/38—Displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
- H04M2201/50—Telephonic communication in combination with video communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
- H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
- H04M3/569—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants using the instant speaker's algorithm
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
【解決手段】多地点接続装置200は、映像音声端末100から映像音声信号を受信する映像音声信号受信手段201と、映像音声信号から音量値を計算する音量値計算手段205と、音量値から音量を示す音量表示画像を生成する音量表示画像生成手段207と、映像音声端末に表示される映像の配置情報を示すレイアウト設定情報を受信するレイアウト設定情報受信手段209と、レイアウト設定情報に基づいて、映像音声信号と音量表示画像とを合成して合成映像音声信号を生成する合成映像音声信号生成手段211と、映像音声信号を映像音声端末に送信する送信手段215と、を備える。
【選択図】図2
Description
ビデオ会議システムには、自分の声が相手側に適切な音量で届いているか否かを判別しにくく、話していて心理的に不安になってしまうという課題がある。この課題の解決法として、画面上に自分の声量を示すメータなどを表示する方法がある。
例えば特許文献1には、他地点に設置された相手側端末から送信された相手側端末のスピーカ音量(出力音声の音量レベル)情報を、自地点の端末である自分側端末にて受信して画面上に表示し、合わせて自分側端末のマイクロフォン音量(入力音声の音量レベル)とスピーカ音量も画面上に同時に表示する構成が開示されている。
特許文献2には、相手側端末のスピーカ音量設定情報を自分側端末に送信する構成が開示されている。
また、相手側端末のスピーカ音量や自分側端末のマイクロフォン音量は、自地点から相手側の地点に送信される音声に関する情報である。このような情報だけでなく、自分側端末のスピーカ音量や相手側端末のマイクロフォン音量といった相手側の地点から自地点に送信される音声に関する情報も同時に表示すれば、自分側のスピーカ音声の聞こえ具合と、相手側の音声に係る音量表示との対応から、自分側の音声に係る音量表示を見ながらの発話音量レベルの調節がやりやすくなる。さらに障害発生時に原因を特定する際の参考情報として使用できるというメリットがある。
本発明は、上述の事情に鑑みてなされたものであり、3地点以上の遠隔地を接続して行われる多地点間会議であっても、各映像音声端末にて各地点のマイクロフォン音量を別々に表示することが可能となる多地点接続装置、映像音声端末、通信システム及び、信号処理方法を提供することを目的とする。
第二の発明は、複数の映像音声端末が接続される多地点接続装置であって、前記各映像音声端末から出力された映像音声信号を受信する映像音声信号受信手段と、前記映像音声信号から音量値を計算する音量値計算手段と、前記映像音声端末に表示される映像の配置情報を示すレイアウト設定情報を受信するレイアウト設定情報受信手段と、前記映像音声信号、前記音量値、及び前記レイアウト設定情報から合成情報信号を生成する合成情報信号生成手段と、前記合成情報信号を前記映像音声端末に送信する送信手段と、を備えることを特徴とする。
第四の発明は、多地点接続装置と1つ以上の映像音声端末とが通信ネットワークを介して接続される通信システムであって、前記多地点接続装置は、前記各映像音声端末から出力された映像音声信号を受信する映像音声信号受信手段と、前記映像音声信号から音量値を計算する音量値計算手段と、前記映像音声端末に表示される映像の配置情報を示すレイアウト設定情報を受信するレイアウト設定情報受信手段と、前記映像音声信号、前記音量値、及び前記レイアウト設定情報から合成情報信号を生成する合成情報信号生成手段と、前記合成情報信号を前記映像音声端末に送信する送信手段と、を備え、前記映像音声端末は、前記合成情報信号を受信する合成情報信号受信手段と、前記合成情報信号に含まれる音量値とレイアウト設定情報とから音量を示す音量表示画像を生成する音量表示画像生成手段と、前記合成情報信号に含まれる映像音声信号に前記音量表示画像を合成する映像音声合成手段と、を備えることを特徴とする。
第六の発明は、複数の映像音声端末から送信される映像音声信号を多地点接続装置で処理する信号処理方法であって、映像音声信号受信手段が、前記各映像音声端末から出力された映像音声信号を受信する映像音声信号受信ステップと、音量値計算手段が、前記映像音声信号から音量値を計算する音量値計算ステップと、レイアウト設定情報受信手段が、前記映像音声端末に表示される映像の配置情報を示すレイアウト設定情報を受信するレイアウト設定情報受信ステップと、合成情報信号生成手段が、前記映像音声信号、前記音量値、及び前記レイアウト設定情報から合成情報信号を生成する合成情報信号生成ステップと、送信手段が前記合成情報信号を前記映像音声端末に送信する送信ステップと、を備えることを特徴とする。
本発明の第一の実施形態について図1及び図2に基づいて説明する。図1は、本発明が適用される通信システムの全体構成図である。図2は、第一の実施形態に係る通信システムの構成を示すブロック図である。本実施形態においては、多地点接続装置が、合成映像音声信号生成手段の前に音量値計算手段を備えている点に特徴がある。
図示する多地点接続装置200には、n個(nは2以上の任意の数)の映像音声端末100−1〜100−nが接続されている。図1に示すように、各映像音声端末100は、各地点の映像を撮影するカメラ(撮影手段)、会議中の音声の入力を受け付けるとともに音声を電気信号に変換するマイク(音声入力手段)、及び、各地点からの映像等を表示するディスプレイやプロジェクタ(表示手段)等を有している。図2には、映像音声端末100−1〜100−n−1が映像及び音声を送信する送信端末として機能し、映像音声端末100−nが映像音声端末100−1〜100−n−1から送信された映像及び音声を受信する受信端末として機能する場合について示されている。
多地点接続装置200は、映像音声信号受信手段201、復号手段203、音量値計算手段205、音量表示画像生成手段207、レイアウト設定情報受信手段209、合成映像音声信号生成手段211、符号化手段213、及び送信手段215を備える。
復号手段203は、映像音声信号受信手段201にて受信した各圧縮された映像音声信号を復号する。ここで、復号手段の一例について説明する。図3は、一実施形態に係る復号手段の内部構成を示すブロック図である。復号手段203は、数種類の符号化方式に対応できるよう図3に示すような構成になっていてもよい。
復号手段203は、判定手段221と、復号方式選択手段223と、複数の単方式復号手段225a〜225c・・・を有する単方式復号手段群227と、を備えている。判定手段221は圧縮された映像音声信号の符号化方式を判定し、判定結果を復号方式選択手段223に出力する。復号方式選択手段223は、判定手段221から出力される判定結果にもとづき、単方式復号手段225a〜225c・・・の中から選択した1の単方式復号手段に、圧縮された映像音声信号を出力する。選択された単方式復号手段は、入力された圧縮された映像音声信号を復号し、映像音声信号を出力する。
例えば、音声信号をs(t)、単位時間をΔtとして、音声信号s(t)が時間の経過と共に図4のように推移する場合について考えると、最大振幅値を用いる場合の音量値volmaxは、以下の式で計算できる。
音量表示画像生成手段207(図2)は、音量値計算手段205から出力された音量値情報をもとに、音量を表す画像である音量表示画像を生成する。図5(a)、(b)は、一実施形態に係る音量表示画像生成手段にて生成される音量表示画像の図である。
また、図5(b)において音量表示画像233は、縦一列に整列した複数の長方形235aから構成される音量表示領域235(長方形列)と、音量を示す色付きの長方形237と、から構成されている。各長方形235aは所定の下地色にて表示される。また、長方形237は、音量表示領域235のうちの一部の長方形235aを下地色とは異なる色で塗りつぶしたものである。(b)において音量は長方形237の個数で表示される。すなわち、音量表示領域235のうち、音量値に応じた数の長方形235aの色を変化させることにより、音量を表現する。例えば、(b−2)に示すように、音量最小時に長方形237の数はゼロとなる。また(b−3)に示すように、音量最大時には、音量表示領域235の全ての長方形235aが長方形237となる。
なお、音量が視覚的に認識可能な画像であれば、図5に挙げた例以外のものでもよい。例えば、長方形以外の四角形、楕円、円、三角形など他の形態でもよい。
(a)の表示画面241は、画面全体を占める領域241Aと、領域241A上に重ねて表示され且つ領域241Aよりも小さい領域241Bと、からなるレイアウトの例である。領域241Aには、ある一地点の映像が表示され、領域241Bには他の地点の映像が表示される。(a)において領域241Bは、領域241Aの右下の部分に重ねて表示されているが、領域241Bの表示位置はこれに限定されるものではない。同様のレイアウトとして例えば、領域241Bが左下、左上、または右上に配置されていても良い。
また、(b)の表示画面243は、画面を横に2分割した左側の領域243Cと、右側の領域243Dと、からなるレイアウトの例である。領域243Cには、ある一地点の映像が表示され、領域243Dには他の地点の映像が表示される。同様のレイアウトとして、表示する映像の縦横比を保つため、各領域243C、243Dの上下部分をカットしたものも挙げられる。
もちろん、映像レイアウトには、図6(a)、(b)に挙げた例以外のものを用いてもよい。
例えば(a)に示す合成映像は、図6(b)のレイアウトに対応したレイアウト設定情報を受信し、図5(a)のような音量表示画像を用いた場合の例である。表示画面243の各領域243C、243Dの下方に、音量表示画像231が表示されている。
符号化手段213(図2)は、合成映像音声信号生成手段211から出力された合成映像音声信号を符号化して、データサイズを圧縮する。
送信手段215は、符号化手段213により圧縮された合成映像音声信号を映像音声端末100−nへと送信する。
映像音声端末100−nは、受信した合成映像音声信号をもとに図7(a)又は(b)のように合成された映像を、ディスプレイやプロジェクタなどの表示手段に出力する。なお、実際には映像音声端末100−1〜100−n−1も各映像音声端末100からの映像音声信号を受信するため、レイアウト設定情報受信手段209、合成映像音声信号生成手段211、符号化手段213、送信手段215の入出力はn個の信号となる。
まず、レイアウト設定情報の処理に関する動作について(a)に基づいて説明する。レイアウト設定情報送信手段300は、多地点接続装置200にレイアウト設定情報を送信する(ステップS1)。多地点接続装置200のレイアウト設定情報受信手段209は、レイアウト設定情報を受信し(ステップS2)、記憶手段(不図示)に記憶する(ステップS3)。
映像音声端末100−1〜100−nは、多地点接続装置200に対して圧縮された映像音声信号を送信する(ステップS11、S12)。
多地点接続装置200の映像音声信号受信手段201は、映像音声端末100−1〜100−nからn個の圧縮された映像音声信号を受信する(ステップS13)。復号手段203は、圧縮された映像音声信号からのn個の圧縮された映像音声信号を復号する(ステップS14)。音量値計算手段205は、復号手段203にて復号されたn個の映像音声信号からn個の音量値を計算する(ステップS15)。音量表示画像生成手段207は、音量値計算手段205から出力されたn個の音量値情報からn個の音量表示画像を生成する(ステップS16)。合成映像音声信号生成手段211は、図8(a)のステップS3にて保存したレイアウト設定情報を取り出し、n個の映像音声信号とn個の音量表示画像を合成する(ステップS17)。符号化手段213は、合成映像音声信号生成手段211にて合成された合成映像音声信号を符号化する(ステップS18)。送信手段215は、符号化手段213により生成された圧縮合成映像音声信号を映像音声端末100−nに対して送信する(ステップS19)。
映像音声端末100−nは、圧縮合成映像音声信号を受信して(ステップS20)、復号し(ステップS21)、得られた圧縮された映像音声信号を表示手段に表示する(ステップS22)。
また、音量値を計算する際に最大振幅を利用することで、音量値として適切な値を用いることが出来る。また、音量値を計算する際に実効値を利用することで扱いやすい値を音量値として用いることが出来る。また、音量値を正規化及び量子化して利用することで音量を直感的で分かりやすく表示することが出来る。
なお、本実施形態においては説明を分かりやすくするため、映像音声端末100−nの受信動作についてのみ述べた。しかし、実際には映像音声端末100−1〜100−n−1も映像音声信号を受信しており、上述した処理と同様の処理が行われる。
本発明の第二の実施形態について図9に基づいて説明する。図9は、第二の実施形態に係る通信システムの構成を示すブロック図である。本実施形態においては、音量表示画像の生成と、生成された音量表示画像と映像音声の合成と、を映像音声端末にて行う点に特徴がある。
通信システム2の多地点接続装置250には、n個(nは2以上の任意の数)の映像音声端末110−1〜110−nが接続されている。図9には、映像音声端末110−nで各映像音声端末110−1〜110−n−1からの映像音声を受信する場合について示してある。なお、映像音声端末110−1〜110−n−1については、第一の実施形態と同一構成の端末を用いても構わない。
多地点接続装置250は、映像音声信号受信手段201、復号手段203、音量値計算手段205、合成情報信号生成手段251、符号化手段253、レイアウト設定情報受信手段209、及び送信手段255を備える。ここで、映像音声信号受信手段201、復号手段203、音量値計算手段205、レイアウト設定情報受信手段209は、それぞれ第一の実施形態の多地点接続装置200中にある各手段と同様であるため、第一の実施形態と同一の符号を付してその説明を省略する。
符号化手段253(図9)は、合成情報信号生成手段251の出力した合成情報信号を符号化して、データサイズを圧縮する。
送信手段255は、符号化手段253により圧縮された合成情報信号を映像音声端末110−nへと送信する。
合成情報信号受信手段111は、多地点接続装置250から送信された圧縮合成情報信号を受信する。
復号手段113は、圧縮されている合成情報信号を復号する。
音量表示画像生成手段115は、合成情報信号に埋め込まれた音量値情報とレイアウト設定情報をもとに、音量を示す音量表示画像を含む表示画面を生成する。図11(a)、(b)は、一実施形態に係る音量表示画像生成手段によって合成される画像の図である。
例えば、(a)に示す合成画像は、図5(a)のような音量表示方法と図6(b)に対応したレイアウト設定情報から生成される画像の例である。表示画面121の下方には、端末番号1、2に対応する映像音声端末の音量を示す音量表示画像231がそれぞれ表示される。
同様に、例えば(b)に示す合成画像は、図5(b)のような音量表示方法と図6(a)に対応したレイアウト設定情報から生成される画像の例である。表示画面123の左右端部下方には、端末番号1、2に対応する映像音声端末の音量を示す音量表示画像233がそれぞれ表示される。
もちろん、音量値と表示画像、レイアウト設定情報と表示位置が対応していれば、図11に挙げた例以外の映像を合成によって得てもよい。
映像音声端末110−nは、合成した映像音声信号をもとに図7のような映像をディスプレイやプロジェクタなどの表示手段に出力する。
映像音声端末110−1〜110−nは、多地点接続装置250に対して圧縮された映像音声信号を送信する(ステップS11、S12)。
多地点接続装置250では、ステップS13からステップS15までの処理を行う。
多地点接続装置250の合成情報信号生成手段251は、図8(a)のステップS3にて保存したレイアウト設定情報を取り出して、レイアウト設定情報をもとにn個の映像音声信号を合成する(ステップS31)。さらに、レイアウト設定情報と音量値情報とを含む付加情報を、合成された映像音声信号に埋め込み、合成情報信号を生成する(ステップS32)。
映像音声端末110−nの合成情報信号受信手段111は、圧縮合成情報信号を受信する(ステップS20’)。復号手段113は、圧縮合成情報信号を復号する(ステップS21’)。音量表示画像生成手段115は、復号された合成情報信号に埋め込まれている音量値情報とレイアウト設定情報をもとに、音量表示画像を生成する(ステップS33)。映像音声合成手段117は、合成情報信号と音量表示画像を合成する(ステップS34)。得られた映像音声を表示手段に表示する(ステップS22’)。
また、多地点接続装置の合成情報信号生成手段が、レイアウト設定情報及び音量値を含む付加情報を映像音声信号内に埋め込んで合成情報信号を生成し、合成情報信号を映像音声端末に送信するので、元の映像音声信号のデータサイズを大きくすることなく、音量値及びレイアウト設定情報の送受信を行うことができる。
また、第一の実施形態では映像音声端末の構成に関わらず、各映像音声端末において同様の映像を得られるが、映像音声端末に独自の音量表示手段があった場合などに、音量表示の多重化が起こることになってしまう。一方、第二の実施形態では映像音声端末に音量表示画像生成手段と映像音声合成手段とを備えたため、そのような事態は発生しない。
第二の実施形態の変形である第三の実施形態について説明する。第二の実施形態に係る通信システム2(図9)においては、音量値情報とレイアウト設定情報を映像音声端末に送信するために、合成情報信号に音量値情報とレイアウト設定情報からなる付加情報を埋め込んだ。これとは異なり、埋め込みを行わずに、合成映像音声を第一のチャネル、付加情報を第二のチャネルとして映像音声端末に送信するようにしてもよい。図13は、第三の実施形態に係る通信システムの構成を示すブロック図である。第一及び第二の実施形態と同一の構成には同一の符号を付してその説明を省略する。
通信システム3の多地点接続装置260において、合成情報信号生成手段251は、付加情報生成手段261と合成映像音声信号生成手段263の2つを有している。付加情報生成手段261は、音量値とレイアウト設定情報から図10のようなデータ構造の付加情報を生成する。合成映像音声信号生成手段263は、レイアウト設定情報に基づいて、各映像音声端末130の映像音声信号を合成した合成映像音声信号を出力する。なお、本実施形態の合成情報信号生成手段251から出力される付加情報と合成映像音声信号とを合わせて合成情報信号と呼ぶ。
送信手段255は付加情報送信手段269と合成映像音声信号送信手段277とを備えている。付加情報送信手段269は圧縮付加情報を送信し、合成映像音声信号送信手段277は圧縮合成映像音声信号を送信する。
映像音声端末130−nの合成情報信号受信手段111は付加情報受信手段131と合成映像音声信号受信手段133とを備える。付加情報受信手段131は、圧縮付加情報を受信し、合成映像音声信号受信手段133は、圧縮合成映像音声信号を受信する。
復号手段113は、付加情報復号手段135と合成映像音声信号復号手段137と、を備えている。付加情報復号手段135は圧縮付加情報を復号し、合成映像音声信号復号手段137は、圧縮合成映像音声信号を復号する。
映像音声端末130−1〜130−nは、多地点接続装置260に対して圧縮された映像音声信号を送信する(ステップS11、S12)。
多地点接続装置260では、ステップS13からステップS15までの処理を行う。
多地点接続装置260の第一のチャネルでは、映像音声信号の処理を行う。合成映像音声信号生成手段263は、図8(a)のステップS3にて保存したレイアウト設定情報を取り出して、レイアウト設定情報をもとにn個の映像音声信号を合成する(ステップS41)。合成映像音声信号符号化手段267は、合成映像音声信号生成手段263にて合成された合成映像音声信号を符号化する(ステップS42)。合成映像音声信号送信手段271は、合成映像音声信号符号化手段267にて符号化された圧縮合成映像音声信号を映像音声端末130−nに対して送信する(ステップS43)。
映像音声端末130−nの第一のチャネルでは、映像音声信号の処理を行う。合成映像音声信号受信手段133は、圧縮合成映像音声信号を受信する(ステップS47)。合成映像音声信号復号手段137は、圧縮合成映像音声信号を復号する(ステップS48)。
映像音声合成手段117は、合成映像音声信号復号手段137にて復号された合成映像音声信号と、音量表示画像生成手段115にて生成された音量表示画像とを合成する(ステップS34’)。そして得られた映像音声信号を表示手段に表示する(ステップS22”)。
また、第一の実施形態では映像音声端末の構成に関わらず同様の映像を得られるが、映像音声端末に独自の音量表示手段があった場合などに、音量表示の多重化が起こることになってしまう。一方、第二の実施形態では映像音声端末に映像音声端末に音量表示画像生成手段と映像音声合成手段とを備えたため、そのような事態は発生しない。
Claims (18)
- 複数の映像音声端末が接続された多地点接続装置であって、
前記各映像音声端末から出力された映像音声信号を受信する映像音声信号受信手段と、
前記映像音声信号から音量値を計算する音量値計算手段と、
前記音量値計算手段により計算された音量値に基づいて音量を示す音量表示画像を生成する音量表示画像生成手段と、
前記映像音声端末に表示される映像の配置情報を示すレイアウト設定情報を受信するレイアウト設定情報受信手段と、
前記レイアウト設定情報に基づいて、前記映像音声信号と前記音量表示画像とを合成して合成映像音声信号を生成する合成映像音声信号生成手段と、
前記合成映像音声信号を前記映像音声端末に送信する送信手段と、を備えることを特徴とする多地点接続装置。 - 複数の映像音声端末が接続される多地点接続装置であって、
前記各映像音声端末から出力された映像音声信号を受信する映像音声信号受信手段と、
前記映像音声信号から音量値を計算する音量値計算手段と、
前記映像音声端末に表示される映像の配置情報を示すレイアウト設定情報を受信するレイアウト設定情報受信手段と、
前記映像音声信号、前記音量値、及び前記レイアウト設定情報から合成情報信号を生成する合成情報信号生成手段と、
前記合成情報信号を前記映像音声端末に送信する送信手段と、を備えることを特徴とする多地点接続装置。 - 請求項2に記載の多地点接続装置に接続される映像音声端末であって、
前記合成情報信号を受信する合成情報信号受信手段と、
前記合成情報信号に含まれる音量値とレイアウト設定情報とから音量を示す音量表示画像を生成する音量表示画像生成手段と、
前記合成情報信号に含まれる映像音声信号に前記音量表示画像を合成する映像音声合成手段と、を備えることを特徴とする映像音声端末。 - 多地点接続装置と1つ以上の映像音声端末とが通信ネットワークを介して接続される通信システムであって、
前記多地点接続装置は、
前記各映像音声端末から出力された映像音声信号を受信する映像音声信号受信手段と、
前記映像音声信号から音量値を計算する音量値計算手段と、
前記映像音声端末に表示される映像の配置情報を示すレイアウト設定情報を受信するレイアウト設定情報受信手段と、
前記映像音声信号、前記音量値、及び前記レイアウト設定情報から合成情報信号を生成する合成情報信号生成手段と、
前記合成情報信号を前記映像音声端末に送信する送信手段と、を備え、
前記映像音声端末は、
前記合成情報信号を受信する合成情報信号受信手段と、
前記合成情報信号に含まれる音量値とレイアウト設定情報とから音量を示す音量表示画像を生成する音量表示画像生成手段と、
前記合成情報信号に含まれる映像音声信号に前記音量表示画像を合成する映像音声合成手段と、を備えることを特徴とする通信システム。 - 前記音量値は、単位時間あたりの音声信号の最大振幅値であることを特徴とする請求項1又は2に記載の多地点接続装置。
- 前記音量値は、単位時間あたりの音声信号の最大振幅値であることを特徴とする請求項3に記載の映像音声端末。
- 前記音量値は、単位時間あたりの音声信号の最大振幅値であることを特徴とする請求項4に記載の通信システム。
- 前記音量値は、単位時間あたりの音声信号の実効値であることを特徴とする請求項1又は2に記載の多地点接続装置。
- 前記音量値は、単位時間あたりの音声信号の実効値であることを特徴とする請求項3に記載の映像音声端末。
- 前記音量値は、単位時間あたりの音声信号の実効値であることを特徴とする請求項4に記載の通信システム。
- 前記合成情報信号は、前記レイアウト設定情報と前記音量値を前記映像音声信号内に埋め込んだ信号であることを特徴とする請求項2に記載の多地点接続装置。
- 前記合成情報信号は、前記レイアウト設定情報と前記音量値を前記映像音声信号内に埋め込んだ信号であることを特徴とする請求項4、7、又は10に記載の通信システム。
- 前記合成情報信号は、前記レイアウト設定情報に基づいて前記映像音声信号が合成された合成映像音声信号と、前記レイアウト設定情報と前記音量値により構成された付加情報と、を含み、
前記合成情報信号生成手段は、前記合成映像音声信号を第一のチャネルとして出力し、前記付加情報を第二のチャネルとして出力し、
前記送信手段は前記音声映像端末に対して、前記合成映像音声信号を第一のチャネルとして送信し、前記付加情報を第二のチャネルとして送信することを特徴とする請求項2に記載の多地点接続装置。 - 前記合成情報信号は、前記レイアウト設定情報に基づいて前記映像音声信号が合成された合成映像音声信号と、前記レイアウト設定情報と前記音量値により構成された付加情報と、を含み、
前記合成情報信号受信手段は、前記合成映像音声信号を第一のチャネルにて受信し、前記付加情報を第二のチャネルにて受信し、
前記音量表示画像生成手段は、前記付加情報から音量を示す音量表示画像を生成し、
前記映像音声合成手段は、前記合成映像音声信号に前記音量表示画像を合成することを特徴とする、請求項3、6、又は9に記載の映像音声端末。 - 前記合成情報信号は、前記レイアウト設定情報に基づいて前記映像音声信号が合成された合成映像音声信号と、前記レイアウト設定情報と前記音量値により構成された付加情報と、を含み、
前記合成情報信号生成手段は、前記合成映像音声信号を第一のチャネルとして出力し、前記付加情報を第二のチャネルとして出力し、
前記送信手段は前記音声映像端末に対して、前記合成映像音声信号を第一のチャネルとして送信し、前記付加情報を第二のチャネルとして送信し、
前記合成情報信号受信手段は、前記合成映像音声信号を第一のチャネルにて受信し、前記付加情報を第二のチャネルにて受信し、
前記音量表示画像生成手段は、前記付加情報から音量を示す音量表示画像を生成し、
前記映像音声合成手段は、前記合成映像音声信号に前記音量表示画像を合成することを特徴とする請求項4、7、又は10に記載の通信システム。 - 複数の映像音声端末から送信される映像音声信号を多地点接続装で処理する信号処理方法であって、
映像音声信号受信手段が、前記各映像音声端末から送信される前記映像音声信号を夫々受信する映像音声信号受信ステップと、
音量値計算手段が、映像音声信号受信ステップにて受信された前記映像音声信号から音量値を計算する音量計算ステップと、
音量表示画像生成手段が、音量計算ステップにて計算された前記音量値から音量を示す音量表示画像を生成する音量表示画像生成ステップと、
レイアウト設定情報受信手段が、前記映像音声端末に表示される映像の配置情報を示すレイアウト設定情報を受信するレイアウト設定情報受信ステップと、
合成映像音声信号生成手段が、前記レイアウト設定情報に基づいて、前記映像音声信号と前記音量表示画像とを合成して合成映像音声信号を生成する合成映像音声信号生成ステップと、
合成映像音声信号生成ステップにて合成された前記合成映像音声信号を前記映像音声端末に送信する送信ステップと、を有することを特徴とする信号処理方法。 - 複数の映像音声端末から送信される映像音声信号を多地点接続装置で処理する信号処理方法であって、
映像音声信号受信手段が、前記各映像音声端末から出力された映像音声信号を受信する映像音声信号受信ステップと、
音量値計算手段が、前記映像音声信号から音量値を計算する音量値計算ステップと、
レイアウト設定情報受信手段が、前記映像音声端末に表示される映像の配置情報を示すレイアウト設定情報を受信するレイアウト設定情報受信ステップと、
合成情報信号生成手段が、前記映像音声信号、前記音量値、及び前記レイアウト設定情報から合成情報信号を生成する合成情報信号生成ステップと、
送信手段が前記合成情報信号を前記映像音声端末に送信する送信ステップと、を備えることを特徴とする信号処理方法。 - 多地点接続装置から送信される合成情報信号を前記多地点接続装置に接続された映像音声端末で処理する信号処理方法であって、
合成情報信号受信手段が、前記合成情報信号を受信する合成情報信号受信ステップと、
音量表示画像生成手段が、前記合成情報信号に含まれる音量値とレイアウト設定情報とから音量を示す音量表示画像を生成する音量表示画像生成手段ステップと、
映像音声合成手段が、前記合成情報信号に含まれる映像音声信号に前記音量表示画像を合成する映像音声合成ステップと、を備えることを特徴とする信号処理方法。
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011155690A JP5817276B2 (ja) | 2011-07-14 | 2011-07-14 | 多地点接続装置、映像音声端末、通信システム、及び信号処理方法 |
AU2012281463A AU2012281463B2 (en) | 2011-07-14 | 2012-07-10 | Multipoint connection apparatus and communication system |
EP12810881.8A EP2732622B8 (en) | 2011-07-14 | 2012-07-10 | Multipoint connection apparatus and communication system |
CN201280034315.7A CN103703766A (zh) | 2011-07-14 | 2012-07-10 | 多点连接装置和通信系统 |
US14/131,142 US9392224B2 (en) | 2011-07-14 | 2012-07-10 | Multipoint connection apparatus and communication system |
CA2841096A CA2841096C (en) | 2011-07-14 | 2012-07-10 | Multipoint connection apparatus and communication system |
PCT/JP2012/068039 WO2013008941A1 (en) | 2011-07-14 | 2012-07-10 | Multipoint connection apparatus and communication system |
KR1020137033755A KR101561371B1 (ko) | 2011-07-14 | 2012-07-10 | 다지점 접속 장치 및 통신 시스템 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011155690A JP5817276B2 (ja) | 2011-07-14 | 2011-07-14 | 多地点接続装置、映像音声端末、通信システム、及び信号処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013021633A true JP2013021633A (ja) | 2013-01-31 |
JP5817276B2 JP5817276B2 (ja) | 2015-11-18 |
Family
ID=47506216
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011155690A Expired - Fee Related JP5817276B2 (ja) | 2011-07-14 | 2011-07-14 | 多地点接続装置、映像音声端末、通信システム、及び信号処理方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US9392224B2 (ja) |
EP (1) | EP2732622B8 (ja) |
JP (1) | JP5817276B2 (ja) |
KR (1) | KR101561371B1 (ja) |
CN (1) | CN103703766A (ja) |
AU (1) | AU2012281463B2 (ja) |
CA (1) | CA2841096C (ja) |
WO (1) | WO2013008941A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014195229A (ja) * | 2013-03-29 | 2014-10-09 | Brother Ind Ltd | サーバ装置プログラム、サーバ装置及び通信装置プログラム |
CN105592286B (zh) * | 2014-10-22 | 2019-03-01 | 阿里巴巴集团控股有限公司 | 即时通信界面信息处理方法及装置 |
US9794685B2 (en) | 2015-01-23 | 2017-10-17 | Ricoh Company, Ltd. | Video audio recording system, video audio recording device, and video audio recording method |
CN108182097B (zh) * | 2016-12-08 | 2021-07-30 | 武汉斗鱼网络科技有限公司 | 一种音量条的实现方法及装置 |
CN108182047B (zh) * | 2016-12-08 | 2020-10-16 | 武汉斗鱼网络科技有限公司 | 一种音量信息的显示方法及装置 |
US10516852B2 (en) | 2018-05-16 | 2019-12-24 | Cisco Technology, Inc. | Multiple simultaneous framing alternatives using speaker tracking |
CN110636329A (zh) * | 2018-06-22 | 2019-12-31 | 视联动力信息技术股份有限公司 | 一种音频数据的处理方法和装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH099229A (ja) * | 1995-06-15 | 1997-01-10 | Oki Electric Ind Co Ltd | 多地点間会議装置 |
JP2007013764A (ja) * | 2005-07-01 | 2007-01-18 | Nippon Telegr & Teleph Corp <Ntt> | 映像音声配信システムおよび方法およびプログラム |
JP2007036400A (ja) * | 2005-07-22 | 2007-02-08 | Pioneer Electronic Corp | 電子会議システムおよびその会議端末 |
JP2009065336A (ja) * | 2007-09-05 | 2009-03-26 | Hitachi Communication Technologies Ltd | テレビ会議システム |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3085317B2 (ja) | 1991-05-07 | 2000-09-04 | 株式会社リコー | 電話装置 |
GB2284968A (en) * | 1993-12-18 | 1995-06-21 | Ibm | Audio conferencing system |
JP3449772B2 (ja) | 1994-02-15 | 2003-09-22 | 沖電気工業株式会社 | 多地点間会議装置 |
JP2004186870A (ja) | 2002-12-02 | 2004-07-02 | Nippon Telegr & Teleph Corp <Ntt> | テレビ会議方法、利用者端末装置の処理方法、利用者端末装置、プログラム及び記録媒体 |
JP4308555B2 (ja) * | 2003-03-10 | 2009-08-05 | パナソニック株式会社 | 受信装置および情報閲覧方法 |
US7499969B1 (en) * | 2004-06-25 | 2009-03-03 | Apple Inc. | User interface for multiway audio conferencing |
US7949117B2 (en) * | 2005-04-28 | 2011-05-24 | Apple Inc. | Heterogeneous video conferencing |
US7864209B2 (en) * | 2005-04-28 | 2011-01-04 | Apple Inc. | Audio processing in a multi-participant conference |
US7899170B2 (en) * | 2005-04-28 | 2011-03-01 | Apple Inc. | Multi-participant conference setup |
US20060248210A1 (en) | 2005-05-02 | 2006-11-02 | Lifesize Communications, Inc. | Controlling video display mode in a video conferencing system |
US8487956B2 (en) * | 2005-11-29 | 2013-07-16 | Kyocera Corporation | Communication terminal, system and display method to adaptively update a displayed image |
US7768543B2 (en) | 2006-03-09 | 2010-08-03 | Citrix Online, Llc | System and method for dynamically altering videoconference bit rates and layout based on participant activity |
JP2008085677A (ja) * | 2006-09-27 | 2008-04-10 | Toshiba Corp | 情報制御装置、情報合成装置及びプログラム |
JP2008096746A (ja) * | 2006-10-12 | 2008-04-24 | Canon Inc | 表示制御装置、表示装置、及びマルチディスプレイシステム |
KR100847147B1 (ko) | 2007-04-18 | 2008-07-18 | 한국전자통신연구원 | 화상회의 제어 방법 및 그 장치 |
KR101414603B1 (ko) | 2007-05-07 | 2014-07-03 | 엘지전자 주식회사 | 다자간 통화방법 및 이를 구현할 수 있는 통신단말기 |
AU2009257627B2 (en) * | 2008-06-09 | 2014-05-01 | Vidyo, Inc. | Improved view layout management in scalable video and audio communication systems |
JP2010103853A (ja) | 2008-10-24 | 2010-05-06 | Panasonic Corp | 音量監視装置及び音量監視方法 |
JP5857674B2 (ja) | 2010-12-22 | 2016-02-10 | 株式会社リコー | 画像処理装置、及び画像処理システム |
-
2011
- 2011-07-14 JP JP2011155690A patent/JP5817276B2/ja not_active Expired - Fee Related
-
2012
- 2012-07-10 US US14/131,142 patent/US9392224B2/en not_active Expired - Fee Related
- 2012-07-10 EP EP12810881.8A patent/EP2732622B8/en active Active
- 2012-07-10 WO PCT/JP2012/068039 patent/WO2013008941A1/en active Application Filing
- 2012-07-10 CA CA2841096A patent/CA2841096C/en not_active Expired - Fee Related
- 2012-07-10 CN CN201280034315.7A patent/CN103703766A/zh active Pending
- 2012-07-10 KR KR1020137033755A patent/KR101561371B1/ko not_active IP Right Cessation
- 2012-07-10 AU AU2012281463A patent/AU2012281463B2/en not_active Ceased
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH099229A (ja) * | 1995-06-15 | 1997-01-10 | Oki Electric Ind Co Ltd | 多地点間会議装置 |
JP2007013764A (ja) * | 2005-07-01 | 2007-01-18 | Nippon Telegr & Teleph Corp <Ntt> | 映像音声配信システムおよび方法およびプログラム |
JP2007036400A (ja) * | 2005-07-22 | 2007-02-08 | Pioneer Electronic Corp | 電子会議システムおよびその会議端末 |
JP2009065336A (ja) * | 2007-09-05 | 2009-03-26 | Hitachi Communication Technologies Ltd | テレビ会議システム |
Also Published As
Publication number | Publication date |
---|---|
EP2732622A4 (en) | 2014-12-24 |
EP2732622B8 (en) | 2021-03-24 |
CA2841096A1 (en) | 2013-01-17 |
CA2841096C (en) | 2017-01-17 |
EP2732622A1 (en) | 2014-05-21 |
WO2013008941A1 (en) | 2013-01-17 |
EP2732622B1 (en) | 2021-01-06 |
KR101561371B1 (ko) | 2015-10-26 |
CN103703766A (zh) | 2014-04-02 |
US20140139611A1 (en) | 2014-05-22 |
AU2012281463A1 (en) | 2014-01-30 |
AU2012281463B2 (en) | 2015-11-05 |
JP5817276B2 (ja) | 2015-11-18 |
US9392224B2 (en) | 2016-07-12 |
KR20140012755A (ko) | 2014-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5817276B2 (ja) | 多地点接続装置、映像音声端末、通信システム、及び信号処理方法 | |
TWI602437B (zh) | 視訊與音訊處理裝置及其視訊會議系統 | |
US20100039498A1 (en) | Caption display method, video communication system and device | |
US20050208962A1 (en) | Mobile phone, multimedia chatting system and method thereof | |
EP2566194A1 (en) | Method and device for processing audio in video communication | |
US9497390B2 (en) | Video processing method, apparatus, and system | |
US20050243810A1 (en) | Video conference data transmission device and data transmission method adapted for small display of mobile terminals | |
JP2018056719A (ja) | テレビ会議装置 | |
US9749542B2 (en) | Decoder and monitor system | |
WO2012028018A1 (zh) | 分布式视频处理方法及视频会议系统 | |
US20050021620A1 (en) | Web data conferencing system and method with full motion interactive video | |
JP2008288974A (ja) | ビデオ会議システム及びビデオ会議装置 | |
JP2010157906A (ja) | 映像表示装置 | |
CN114531564A (zh) | 处理方法及电子设备 | |
JP4452218B2 (ja) | グループ形成装置、端末機、連絡システムおよびグループ形成プログラム | |
JP2013046319A (ja) | 画像処理装置及び、画像処理方法 | |
JP2006339869A (ja) | 映像信号と音響信号の統合装置 | |
JP5540492B2 (ja) | 通信装置、効果音出力制御プログラム及び効果音出力制御方法 | |
WO2012155761A1 (zh) | 一种可视电话动态相框实现方法及移动终端 | |
KR102260653B1 (ko) | 3d 영상 제공을 위한 영상 생성 시스템 | |
JPWO2007122907A1 (ja) | 画像コーデック装置 | |
JP2000224659A (ja) | 携帯型電話機、テレビ電話用拡張ユニットおよびテレビ電話システム | |
JP4175232B2 (ja) | テレビ電話システム及びテレビ電話装置 | |
JPH1028259A (ja) | 通信装置 | |
JP2016189505A (ja) | ビデオ会議システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140610 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150623 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150807 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150901 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150914 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5817276 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |