JP2000175170A - 多地点テレビ会議システム及びその通信方法 - Google Patents
多地点テレビ会議システム及びその通信方法Info
- Publication number
- JP2000175170A JP2000175170A JP10346027A JP34602798A JP2000175170A JP 2000175170 A JP2000175170 A JP 2000175170A JP 10346027 A JP10346027 A JP 10346027A JP 34602798 A JP34602798 A JP 34602798A JP 2000175170 A JP2000175170 A JP 2000175170A
- Authority
- JP
- Japan
- Prior art keywords
- image
- speaker
- signal
- conference
- volume
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/152—Multipoint control units therefor
Abstract
(57)【要約】
【課題】 書類をめくる音などの雑音に反応することな
く話者を特定するテレビ会議システムを提供することを
目的とする。 【解決手段】 複数の各地点に配置した会議端末６ａ〜
６ｃと、会議端末６ａ〜６ｃを介して入力した各地点の
音響信号及び画像信号を処理して会議端末６ａ〜６ｃに
分配する多地点制御装置７とを備える多地点テレビ会議
システムであって、多地点制御装置７は、受信した音響
信号の音量の大小を検出する音量検出手段７２と、受信
した各地点の画像信号から画像を抽出してその画像の動
きにより会議参加者の口の動きの大小を検出する画像認
識手段７４と、音量検出手段７２から出力される音量信
号と画像認識手段７４から出力される口の動き信号とか
ら話者判定を行う話者判定手段７５と、を備えており、
話者判定手段７５の判定結果をもとに画像制御信号を生
成する制御手段７３を備える。
く話者を特定するテレビ会議システムを提供することを
目的とする。 【解決手段】 複数の各地点に配置した会議端末６ａ〜
６ｃと、会議端末６ａ〜６ｃを介して入力した各地点の
音響信号及び画像信号を処理して会議端末６ａ〜６ｃに
分配する多地点制御装置７とを備える多地点テレビ会議
システムであって、多地点制御装置７は、受信した音響
信号の音量の大小を検出する音量検出手段７２と、受信
した各地点の画像信号から画像を抽出してその画像の動
きにより会議参加者の口の動きの大小を検出する画像認
識手段７４と、音量検出手段７２から出力される音量信
号と画像認識手段７４から出力される口の動き信号とか
ら話者判定を行う話者判定手段７５と、を備えており、
話者判定手段７５の判定結果をもとに画像制御信号を生
成する制御手段７３を備える。
Description
【０００１】
【発明の属する技術分野】この発明は、複数の各地点に
配置した各会議端末と、各会議端末を介して入力した各
地点の音響信号を合成して各会議端末に分配すると共
に、各会議端末を介して入力した各地点の画像信号を切
替信号に応じて切り替えて各会議端末に分配する多地点
制御装置とを備える多地点テレビ会議システムに関す
る。
配置した各会議端末と、各会議端末を介して入力した各
地点の音響信号を合成して各会議端末に分配すると共
に、各会議端末を介して入力した各地点の画像信号を切
替信号に応じて切り替えて各会議端末に分配する多地点
制御装置とを備える多地点テレビ会議システムに関す
る。
【０００２】
【従来の技術】従来、多地点テレビ会議システムは、１
つの多地点制御装置（Ｍultipoint Ｃontrol Ｕnit；以
下、ＭＣＵと称する）と、複数の会議端末とから構成さ
れている。テレビ会議の会議参加者が割り当てられた会
議端末を介して発言をすると、音声などからなる音響信
号となってＭＣＵへ送信される。
つの多地点制御装置（Ｍultipoint Ｃontrol Ｕnit；以
下、ＭＣＵと称する）と、複数の会議端末とから構成さ
れている。テレビ会議の会議参加者が割り当てられた会
議端末を介して発言をすると、音声などからなる音響信
号となってＭＣＵへ送信される。
【０００３】各会議端末は、音響信号及び画像信号の送
受伝達機能及び画像の表示機能、音響出力機能を備えて
いる。ＭＣＵは、各会議端末から送信される音響信号を
他の会議端末からの音響信号と合成して各会議端末側へ
分配する。また、ＭＣＵは、各会議端末から画像信号が
送られてくると、１つの会議端末の画像信号を選択す
る、又は２つ以上の会議端末の画像信号を合成して会議
端末側へ分配して表示させる。
受伝達機能及び画像の表示機能、音響出力機能を備えて
いる。ＭＣＵは、各会議端末から送信される音響信号を
他の会議端末からの音響信号と合成して各会議端末側へ
分配する。また、ＭＣＵは、各会議端末から画像信号が
送られてくると、１つの会議端末の画像信号を選択す
る、又は２つ以上の会議端末の画像信号を合成して会議
端末側へ分配して表示させる。
【０００４】従来のテレビ会議システムについて図４を
参照して説明する。図４は従来のテレビ会議システムの
システム構成を示したもので、複数の会議端末１６ａ〜
１６ｃとＭＣＵ１７とを備えている。なお、以下に示す
テレビ会議システムは、たとえば、各会議端末１６ａ〜
１６ｃに１人ずつ係わり、３人で会議を行う場合を想定
して説明する。
参照して説明する。図４は従来のテレビ会議システムの
システム構成を示したもので、複数の会議端末１６ａ〜
１６ｃとＭＣＵ１７とを備えている。なお、以下に示す
テレビ会議システムは、たとえば、各会議端末１６ａ〜
１６ｃに１人ずつ係わり、３人で会議を行う場合を想定
して説明する。
【０００５】会議端末１６ａ〜１６ｃは、各々の地点
（Ａ）〜（Ｃ）の画像信号及び音響信号を伝送信号に変
換し通信配線１６７１ａ〜１６７１ｃを介してＭＣＵ１
７に送信する。ＭＣＵ１７では後述するように画像信号
及び音響信号を処理して会議端末１６ａ〜１６ｃに分配
する。
（Ａ）〜（Ｃ）の画像信号及び音響信号を伝送信号に変
換し通信配線１６７１ａ〜１６７１ｃを介してＭＣＵ１
７に送信する。ＭＣＵ１７では後述するように画像信号
及び音響信号を処理して会議端末１６ａ〜１６ｃに分配
する。
【０００６】ＭＣＵ１７は、回線インタフェース部１７
１と、音響処理部１７２、制御部１７３、画像処理部１
７４、話者判定処理部１７５を備えている。
１と、音響処理部１７２、制御部１７３、画像処理部１
７４、話者判定処理部１７５を備えている。
【０００７】回線インタフェース部１７１は、複数の会
議端末１６ａ〜１６ｃと接続され、画像信号及び音響信
号を転送信号の形態で送受信する。また、音響処理部１
７２及び画像処理部１７４とも、各々接続配線７１７２
及び７１７４を介して接続されている。
議端末１６ａ〜１６ｃと接続され、画像信号及び音響信
号を転送信号の形態で送受信する。また、音響処理部１
７２及び画像処理部１７４とも、各々接続配線７１７２
及び７１７４を介して接続されている。
【０００８】音響処理部１７２では入力される各々の会
議端末１６ａ〜１６ｃの音響信号を復号化して、接続配
線７２７５を介して話者判定処理部１７５に出力する。
話者判定処理部１７５では、入力される音響信号から話
者を判定し、話者情報として接続配線７５７３を介して
制御部１７３へ出力する。ここで、話者とは、発声して
いる会議参加者が属する端末のうちの少なくとも１つを
意味する。
議端末１６ａ〜１６ｃの音響信号を復号化して、接続配
線７２７５を介して話者判定処理部１７５に出力する。
話者判定処理部１７５では、入力される音響信号から話
者を判定し、話者情報として接続配線７５７３を介して
制御部１７３へ出力する。ここで、話者とは、発声して
いる会議参加者が属する端末のうちの少なくとも１つを
意味する。
【０００９】制御部１７３では、入力される話者情報か
ら画像切替処理、画像合成処理をするための画像制御信
号を生成して、接続配線７３７４を介して画像処理部１
７４へ出力する。画像処理部１７４には、画像制御信号
のほかに回線インタフェース部１７１から接続配線７１
７４を介して各会議端末の画像信号も入力される。これ
らの画像信号は、画像制御信号によって画像切替処理、
画像合成処理などがなされ、処理された画像信号は符号
化され、接続配線７１７４を介して回線インタフェース
部１７１へ出力される。
ら画像切替処理、画像合成処理をするための画像制御信
号を生成して、接続配線７３７４を介して画像処理部１
７４へ出力する。画像処理部１７４には、画像制御信号
のほかに回線インタフェース部１７１から接続配線７１
７４を介して各会議端末の画像信号も入力される。これ
らの画像信号は、画像制御信号によって画像切替処理、
画像合成処理などがなされ、処理された画像信号は符号
化され、接続配線７１７４を介して回線インタフェース
部１７１へ出力される。
【００１０】また、音響処理部１７２では会議端末１６
ａ〜１６ｃの音響信号をミキシングして符号化した後、
回線インタフェース部７１へ出力する。回線インタフェ
ース部７１では処理された各々の音響信号及び画像信号
を多重化し、接続配線１６７１ａ〜１６７１ｃを介して
すべての会議端末１６ａ〜１６ｃへ分配する。
ａ〜１６ｃの音響信号をミキシングして符号化した後、
回線インタフェース部７１へ出力する。回線インタフェ
ース部７１では処理された各々の音響信号及び画像信号
を多重化し、接続配線１６７１ａ〜１６７１ｃを介して
すべての会議端末１６ａ〜１６ｃへ分配する。
【００１１】ここで、話者判定処理部１７５の内部構成
について図５を参照して説明する。図５に示すように、
話者判定処理部１７５には、接続配線１１０ａ〜１１０
ｃを介して音響処理部１７２から出力される音響信号を
入力する音量検出部１７５ａ〜１７５ｃが備えられてい
る。音量検出部１７５ａ〜１７５ｃは、音響信号から音
量を検出しあらかじめ記憶しているしきい値と比較し、
比較値を接続配線７１１４ａ〜７１１４ｃを介して話者
判定情報として話者判定部１４へ送信する。
について図５を参照して説明する。図５に示すように、
話者判定処理部１７５には、接続配線１１０ａ〜１１０
ｃを介して音響処理部１７２から出力される音響信号を
入力する音量検出部１７５ａ〜１７５ｃが備えられてい
る。音量検出部１７５ａ〜１７５ｃは、音響信号から音
量を検出しあらかじめ記憶しているしきい値と比較し、
比較値を接続配線７１１４ａ〜７１１４ｃを介して話者
判定情報として話者判定部１４へ送信する。
【００１２】ここで、検出された音量としきい値とを比
較して、音量がしきい値以上である場合にはその音響信
号源の会議端末を話者であると判定し、しきい値未満で
ある場合にはその音響信号源の会議端末を話者でないと
判定する。
較して、音量がしきい値以上である場合にはその音響信
号源の会議端末を話者であると判定し、しきい値未満で
ある場合にはその音響信号源の会議端末を話者でないと
判定する。
【００１３】ただし、複数の会議端末が話者と判定され
た場合には、話者判定部１４は話者判定情報に基づき音
量がしきい値以上である時間がもっとも長い端末以外の
端末を非話者と処理する。以上のような判定及び処理の
結果が、接続配線７５７３を介して話者情報として制御
部１７３へ出力される。
た場合には、話者判定部１４は話者判定情報に基づき音
量がしきい値以上である時間がもっとも長い端末以外の
端末を非話者と処理する。以上のような判定及び処理の
結果が、接続配線７５７３を介して話者情報として制御
部１７３へ出力される。
【００１４】
【発明が解決しようとする課題】しかし、上記のような
従来のテレビ会議システムは、話者判定情報を会議端末
から送信される音響信号から検出する構成としている。
一般に、音響信号には、会議参加者の音声のほか、書類
をめくる音、机をたたく音および息による風切り音等の
雑音が含まれている。また、たとえば会議を周囲に人が
いる場所で行った場合には、会議端末の付近にいる会議
参加者以外の者の音声が音響信号に含まれる場合があ
り、この場合には、会議参加者以外の者の音声は雑音と
なる。
従来のテレビ会議システムは、話者判定情報を会議端末
から送信される音響信号から検出する構成としている。
一般に、音響信号には、会議参加者の音声のほか、書類
をめくる音、机をたたく音および息による風切り音等の
雑音が含まれている。また、たとえば会議を周囲に人が
いる場所で行った場合には、会議端末の付近にいる会議
参加者以外の者の音声が音響信号に含まれる場合があ
り、この場合には、会議参加者以外の者の音声は雑音と
なる。
【００１５】そのため、音響信号から検出した話者判定
信号にも雑音が含まれている。したがって、話者判定信
号から発言者が係わる端末を正確に判定することは困難
である。
信号にも雑音が含まれている。したがって、話者判定信
号から発言者が係わる端末を正確に判定することは困難
である。
【００１６】また、発言者の係わる会議端末を誤って特
定すると、テレビ会議システムを具合よく運営できな
い。
定すると、テレビ会議システムを具合よく運営できな
い。
【００１７】そこで、上記の課題を解決するために、こ
の発明は、書類をめくる音などの雑音の影響を受けにく
くして、発言者の属する端末を正確に特定するテレビ会
議システムを提供することを目的とする。
の発明は、書類をめくる音などの雑音の影響を受けにく
くして、発言者の属する端末を正確に特定するテレビ会
議システムを提供することを目的とする。
【００１８】
【課題を解決するための手段】上記の課題を解決するた
めにこの発明は、複数の各地点に配置した各会議端末
と、前記各会議端末を介して入力した前記各地点の音響
信号を合成して前記各会議端末に分配すると共に、前記
各会議端末を介して入力した前記各地点の画像信号を画
像制御信号に従って前記各会議端末に分配する多地点制
御装置とを備える多地点テレビ会議システムであって、
前記多地点制御装置は、受信した前記各地点の音響信号
の音量の大小を検出する音量検出手段と、受信した前記
各地点の画像信号から画像を抽出してその画像の動きに
より前記会議参加者の口の動きの大小を検出する画像認
識手段と、前記音量検出手段から出力される音量信号と
前記画像認識手段から出力される口の動き信号とに基づ
き話者判定を行う話者判定手段と、を備えており、さら
に、前記話者判定手段の判定結果をもとに前記画像制御
信号を生成する制御手段を備えることを特徴とする。
めにこの発明は、複数の各地点に配置した各会議端末
と、前記各会議端末を介して入力した前記各地点の音響
信号を合成して前記各会議端末に分配すると共に、前記
各会議端末を介して入力した前記各地点の画像信号を画
像制御信号に従って前記各会議端末に分配する多地点制
御装置とを備える多地点テレビ会議システムであって、
前記多地点制御装置は、受信した前記各地点の音響信号
の音量の大小を検出する音量検出手段と、受信した前記
各地点の画像信号から画像を抽出してその画像の動きに
より前記会議参加者の口の動きの大小を検出する画像認
識手段と、前記音量検出手段から出力される音量信号と
前記画像認識手段から出力される口の動き信号とに基づ
き話者判定を行う話者判定手段と、を備えており、さら
に、前記話者判定手段の判定結果をもとに前記画像制御
信号を生成する制御手段を備えることを特徴とする。
【００１９】
【発明の実施の形態】以下、この発明の実施の形態につ
いて図面を参照して説明する。図１はテレビ会議システ
ムのシステム構成を示したもので、複数の会議端末６ａ
〜６ｃとＭＣＵ７とを備えている。
いて図面を参照して説明する。図１はテレビ会議システ
ムのシステム構成を示したもので、複数の会議端末６ａ
〜６ｃとＭＣＵ７とを備えている。
【００２０】会議端末６ａ〜６ｃは、各々の地点（Ａ）
〜（Ｃ）の画像信号及び音響信号を多重化して伝送信号
に変換して通信配線６７１ａ〜６７１ｃを介してＭＣＵ
７に送信する。ＭＣＵ７は、後述するように画像信号及
び音響信号に所定の処理を施して、会議端末６ａ〜６ｃ
に分配する。
〜（Ｃ）の画像信号及び音響信号を多重化して伝送信号
に変換して通信配線６７１ａ〜６７１ｃを介してＭＣＵ
７に送信する。ＭＣＵ７は、後述するように画像信号及
び音響信号に所定の処理を施して、会議端末６ａ〜６ｃ
に分配する。
【００２１】ＭＣＵ７は、回線インタフェース部７１
と、音響処理部７２、制御部７３、画像処理部７４、話
者判定処理部７５を備えている。
と、音響処理部７２、制御部７３、画像処理部７４、話
者判定処理部７５を備えている。
【００２２】回線インタフェース部７１は、複数の会議
端末６ａ〜６ｃと接続され、画像信号及び音響信号を伝
送信号の形態で送受信する。さらに、回線インタフェー
ス部７１は、音響処理部７２及び画像処理部７４と各々
接続配線７１７２及び７１７４を介して接続されてお
り、複数の会議端末６ａ〜６ｃから受信する伝送信号
を、画像信号及び音響信号に変換し、音響処理部７２及
び画像処理部７４へ出力する。
端末６ａ〜６ｃと接続され、画像信号及び音響信号を伝
送信号の形態で送受信する。さらに、回線インタフェー
ス部７１は、音響処理部７２及び画像処理部７４と各々
接続配線７１７２及び７１７４を介して接続されてお
り、複数の会議端末６ａ〜６ｃから受信する伝送信号
を、画像信号及び音響信号に変換し、音響処理部７２及
び画像処理部７４へ出力する。
【００２３】音響処理部７２は、入力される各々の会議
端末６ａ〜６ｃの音響信号を復号化して、接続配線７２
７５を介して、話者判定処理部７５に出力する。また、
画像処理部７４は、入力される各々の会議端末６ａ〜６
ｃの画像信号を復号化して、接続配線７４７５を介し
て、話者判定処理部７５に出力する。話者判定処理部７
５は、入力される画像信号及び音響信号から後述のよう
に話者判定を行い、その結果を話者情報として接続配線
７５７３を介して制御部７３へ出力する。
端末６ａ〜６ｃの音響信号を復号化して、接続配線７２
７５を介して、話者判定処理部７５に出力する。また、
画像処理部７４は、入力される各々の会議端末６ａ〜６
ｃの画像信号を復号化して、接続配線７４７５を介し
て、話者判定処理部７５に出力する。話者判定処理部７
５は、入力される画像信号及び音響信号から後述のよう
に話者判定を行い、その結果を話者情報として接続配線
７５７３を介して制御部７３へ出力する。
【００２４】ここで、話者とは、発声している会議参加
者が属する端末のうちの少なくとも１つを意味する。
者が属する端末のうちの少なくとも１つを意味する。
【００２５】制御部７３は、入力される話者情報から画
像切替処理、画像合成処理をするための画像制御信号を
生成して、接続配線７３７４を介して画像処理部７４へ
出力する。
像切替処理、画像合成処理をするための画像制御信号を
生成して、接続配線７３７４を介して画像処理部７４へ
出力する。
【００２６】画像処理部７４は、画像信号に画像制御信
号によって画像切替処理や画像合成処理などを施し、処
理した画像信号を符号化して、接続配線７１７４を介し
て、回線インタフェース部７１に出力する。
号によって画像切替処理や画像合成処理などを施し、処
理した画像信号を符号化して、接続配線７１７４を介し
て、回線インタフェース部７１に出力する。
【００２７】また、音響処理部７２は、会議端末６ａ〜
６ｃからの音響信号をミキシングして、さらに、たとえ
ばハウリング防止のために、ミキシング処理をした後の
音響信号の中から各送信先について当該送信先の会議端
末から受信した音響信号を抜き取る処理を施して、符号
化した後に回線インタフェース部７１へ出力する。回線
インタフェース部７１は、処理された各々の音響信号及
び画像信号を多重化し、接続配線６７１を介してすべて
の会議端末６ａ〜６ｃへ分配する（特開平１０−７５３
１０号公報）。
６ｃからの音響信号をミキシングして、さらに、たとえ
ばハウリング防止のために、ミキシング処理をした後の
音響信号の中から各送信先について当該送信先の会議端
末から受信した音響信号を抜き取る処理を施して、符号
化した後に回線インタフェース部７１へ出力する。回線
インタフェース部７１は、処理された各々の音響信号及
び画像信号を多重化し、接続配線６７１を介してすべて
の会議端末６ａ〜６ｃへ分配する（特開平１０−７５３
１０号公報）。
【００２８】つづいて、話者判定処理部７５について図
２を用いて説明する。図２は話者判定処理部７５の内部
構成図であり、話者検出部５ａ〜５ｃと話者判定部４と
を備える。話者検出部５ａ〜５ｃは、上記のように、接
続配線７２７５ａ〜７２７５ｃを介して音響信号を入力
し、接続配線７４７５ａ〜７４７５ｃを介して画像信号
を入力する。
２を用いて説明する。図２は話者判定処理部７５の内部
構成図であり、話者検出部５ａ〜５ｃと話者判定部４と
を備える。話者検出部５ａ〜５ｃは、上記のように、接
続配線７２７５ａ〜７２７５ｃを介して音響信号を入力
し、接続配線７４７５ａ〜７４７５ｃを介して画像信号
を入力する。
【００２９】そして、後述するように、音響信号の電力
値を検出し、また、画像信号から会議参加者の口唇部分
を抽出して、唇の開閉動作の変化を検出する。そして、
各々の検出結果を接続配線５４ａ〜５４ｃを介して、話
者判定情報として話者判定部４へ出力する。話者判定部
４は、接続配線５４ａ〜５４ｃから入力される話者判定
情報から後述のようにして話者判定を行い、その結果を
接続配線７５７３を介して、話者情報として制御部７３
へ出力する。
値を検出し、また、画像信号から会議参加者の口唇部分
を抽出して、唇の開閉動作の変化を検出する。そして、
各々の検出結果を接続配線５４ａ〜５４ｃを介して、話
者判定情報として話者判定部４へ出力する。話者判定部
４は、接続配線５４ａ〜５４ｃから入力される話者判定
情報から後述のようにして話者判定を行い、その結果を
接続配線７５７３を介して、話者情報として制御部７３
へ出力する。
【００３０】つぎに、話者検出部５（５ａ〜５ｃ）につ
いて図３を用いて説明する。図３は話者検出部５の内部
構成図であり、音量検出部１と画像認識部２と話者判定
情報生成部３とを備える。なお、接続配線７２７５（７
２７５ａ〜７２７５ｃ）を介して音量検出部１に入力さ
れる音響信号と接続配線７４７５（７４７５ａ〜７４７
５ｃ）を介して画像認識部２に入力される画像信号とは
一対となっており、これらの信号は、同一の会議端末６
（６ａ〜６ｃ）から出力されたものである。
いて図３を用いて説明する。図３は話者検出部５の内部
構成図であり、音量検出部１と画像認識部２と話者判定
情報生成部３とを備える。なお、接続配線７２７５（７
２７５ａ〜７２７５ｃ）を介して音量検出部１に入力さ
れる音響信号と接続配線７４７５（７４７５ａ〜７４７
５ｃ）を介して画像認識部２に入力される画像信号とは
一対となっており、これらの信号は、同一の会議端末６
（６ａ〜６ｃ）から出力されたものである。
【００３１】音量検出部１は、接続配線７２７５を介し
て音響処理部７２から音響信号を入力し、「音響信号に
よる話者判定情報」を、接続配線１３を介して話者判定
情報生成部３へ出力する。「音響信号による話者判定情
報」は、たとえば、音響信号の一定時間内の平均電力値
をあらかじめ定められた、しきい値と比較して得ること
ができる。具体的には、あらかじめ音量検出部１に、し
きい値を記憶しておき、しきい値と入力される音響信号
の平均電力値とを比較し、音響信号がしきい値以上であ
るか（有音）、しきい値未満であるか（無音）のいずれ
かであるかを検出する。
て音響処理部７２から音響信号を入力し、「音響信号に
よる話者判定情報」を、接続配線１３を介して話者判定
情報生成部３へ出力する。「音響信号による話者判定情
報」は、たとえば、音響信号の一定時間内の平均電力値
をあらかじめ定められた、しきい値と比較して得ること
ができる。具体的には、あらかじめ音量検出部１に、し
きい値を記憶しておき、しきい値と入力される音響信号
の平均電力値とを比較し、音響信号がしきい値以上であ
るか（有音）、しきい値未満であるか（無音）のいずれ
かであるかを検出する。
【００３２】また、「音響信号による話者判定情報」
は、以下のような手法によって得ることもできる。たと
えば、音量検出部１に入力される音響信号を、図示しな
いサンプリング回路でサンプリングして、サンプリング
値とあらかじめ記憶しているしきい値とから、自己相関
係数や線形予測係数などのパラメータを一定期間で算出
し、算出したパラメータとしきい値とを比較して、音響
信号が有音、無音のいずれかであるかを判定する（特開
平６−８３３９１号公報）。
は、以下のような手法によって得ることもできる。たと
えば、音量検出部１に入力される音響信号を、図示しな
いサンプリング回路でサンプリングして、サンプリング
値とあらかじめ記憶しているしきい値とから、自己相関
係数や線形予測係数などのパラメータを一定期間で算出
し、算出したパラメータとしきい値とを比較して、音響
信号が有音、無音のいずれかであるかを判定する（特開
平６−８３３９１号公報）。
【００３３】上記のような手法により取得した「音響信
号による話者判定情報」は、接続配線１３を介して話者
判定情報生成部３へ出力される。
号による話者判定情報」は、接続配線１３を介して話者
判定情報生成部３へ出力される。
【００３４】画像認識部２は、接続配線７４７５を介し
て画像処理部７４から画像信号を入力し、画像信号から
会議参加者の少なくとも口唇部分を特定して、たとえ
ば、口唇部分の開閉動作に伴う形状の変化量を抽出す
る。そして、画像認識部２は、唇の形状の変化量が、あ
らかじめ設定したしきい値以上である（変化あり）か否
（変化なし）かを検出し、この検出結果を「画像信号に
よる話者判定情報」として、接続配線２３を介して話者
判定情報生成部３へ出力する。
て画像処理部７４から画像信号を入力し、画像信号から
会議参加者の少なくとも口唇部分を特定して、たとえ
ば、口唇部分の開閉動作に伴う形状の変化量を抽出す
る。そして、画像認識部２は、唇の形状の変化量が、あ
らかじめ設定したしきい値以上である（変化あり）か否
（変化なし）かを検出し、この検出結果を「画像信号に
よる話者判定情報」として、接続配線２３を介して話者
判定情報生成部３へ出力する。
【００３５】口唇部分の形状の変化の有無は、たとえ
ば、以下のように推定することができる。唇の形状を楕
円と近似して、画像信号から口唇部分の濃淡情報を抽出
する。それから唇の縦方向の開口度を抽出して、その時
間的変化を波形として取り出す。波形は、ウェーブレッ
ト変換して、その結果から音声区間を検出する。音声区
間では、唇の動きが頻繁で局所的な周波数が比較的高い
といった性質があるため、この性質をウェーブレット解
析結果から抽出する（特開平６−３０１３９３号公
報）。
ば、以下のように推定することができる。唇の形状を楕
円と近似して、画像信号から口唇部分の濃淡情報を抽出
する。それから唇の縦方向の開口度を抽出して、その時
間的変化を波形として取り出す。波形は、ウェーブレッ
ト変換して、その結果から音声区間を検出する。音声区
間では、唇の動きが頻繁で局所的な周波数が比較的高い
といった性質があるため、この性質をウェーブレット解
析結果から抽出する（特開平６−３０１３９３号公
報）。
【００３６】話者判定情報生成部３は、接続配線１３を
介して入力する「音響信号による話者判定情報」と接続
配線２３を介して入力する「画像信号による話者判定情
報」との両方の話者判定情報から、話者判定をするため
の最終的な話者判定情報を生成し、接続配線５４を介し
て話者判定部４へ出力する。
介して入力する「音響信号による話者判定情報」と接続
配線２３を介して入力する「画像信号による話者判定情
報」との両方の話者判定情報から、話者判定をするため
の最終的な話者判定情報を生成し、接続配線５４を介し
て話者判定部４へ出力する。
【００３７】ここで、最終的話者判定情報は、たとえ
ば、つぎのようにして生成される。すなわち、「音響信
号による話者判定情報」が有音で、かつ、「画像信号に
よる話者判定情報」が口唇部分の形状が変化ありの場合
のみ、話者検出と判定する。それ以外の場合には、話者
非検出と判定したものである。
ば、つぎのようにして生成される。すなわち、「音響信
号による話者判定情報」が有音で、かつ、「画像信号に
よる話者判定情報」が口唇部分の形状が変化ありの場合
のみ、話者検出と判定する。それ以外の場合には、話者
非検出と判定したものである。
【００３８】以上のようにして、各話者検出部５ａ〜５
ｃにおいて対応する会議端末６ａ〜６ｃについての最終
的話者判定情報を生成し、これを接続配線５４ａ〜５４
ｃを介して、話者判定部４に入力する。話者判定部４で
は、各話者検出部５ａ〜５ｃから入力される話者判定情
報について、一定時間ごとに該判定情報が「話者検出」
である時間を計測する。
ｃにおいて対応する会議端末６ａ〜６ｃについての最終
的話者判定情報を生成し、これを接続配線５４ａ〜５４
ｃを介して、話者判定部４に入力する。話者判定部４で
は、各話者検出部５ａ〜５ｃから入力される話者判定情
報について、一定時間ごとに該判定情報が「話者検出」
である時間を計測する。
【００３９】そして、その「話者検出」の継続時間がも
っとも長い話者判定情報にかかる会議端末のみを話者と
判定して、この判定結果を接続配線７５７３を介して話
者情報として制御部７３へ出力する。
っとも長い話者判定情報にかかる会議端末のみを話者と
判定して、この判定結果を接続配線７５７３を介して話
者情報として制御部７３へ出力する。
【００４０】制御部７３では、上述のように入力される
話者情報に基づいて、所望の画像切替処理（話者と判定
された端末のみの画像信号を回線インタフェース部７１
へと出力させる）や画像合成処理（話者と判定された端
末の画像を拡大して他の端末の画像と共に合成した画像
信号を回線インタフェース部７１へと出力させる）をす
るための画像制御信号を生成し、これを画像処理部７４
へと出力する。
話者情報に基づいて、所望の画像切替処理（話者と判定
された端末のみの画像信号を回線インタフェース部７１
へと出力させる）や画像合成処理（話者と判定された端
末の画像を拡大して他の端末の画像と共に合成した画像
信号を回線インタフェース部７１へと出力させる）をす
るための画像制御信号を生成し、これを画像処理部７４
へと出力する。
【００４１】上述のように、この実施形態は、「音響信
号による話者判定情報」のみから話者を判定するのでは
なく、「音響信号による話者判定情報」と「画像信号に
よる話者判定情報」との両方に基づき話者を判定するの
で、書類をめくる音などの雑音があっても話者判定に与
える悪影響は少なく、テレビ会議を円滑に運営すること
ができる。
号による話者判定情報」のみから話者を判定するのでは
なく、「音響信号による話者判定情報」と「画像信号に
よる話者判定情報」との両方に基づき話者を判定するの
で、書類をめくる音などの雑音があっても話者判定に与
える悪影響は少なく、テレビ会議を円滑に運営すること
ができる。
【００４２】なお、この実施形態では、会議端末を
（Ａ）〜（Ｃ）の３地点で示したが、会議端末の数は３
地点に限定されず、これ以上の会議端末数を備える多地
点のテレビ会議システムにも適応してもよい。
（Ａ）〜（Ｃ）の３地点で示したが、会議端末の数は３
地点に限定されず、これ以上の会議端末数を備える多地
点のテレビ会議システムにも適応してもよい。
【００４３】また、上記の実施形態では、話者判定部４
において、１つの会議端末のみを話者と判定している
が、計測時間内において、所定の割合以上の時間にわた
って話者判定情報が「話者検出」である会議端末が２以
上ある場合は、話者検出部７５の話者検出手段５ａ〜５
ｃにおいて、あらかじめ設定している優先順位に従って
その会議端末を話者と判定するようにしてもよい。この
場合、制御部７３から画像処理部７４へ出力される画像
制御信号は、話者と判定されたすべての端末の画像を均
等な扱いで合成するようなものとすることができる。
において、１つの会議端末のみを話者と判定している
が、計測時間内において、所定の割合以上の時間にわた
って話者判定情報が「話者検出」である会議端末が２以
上ある場合は、話者検出部７５の話者検出手段５ａ〜５
ｃにおいて、あらかじめ設定している優先順位に従って
その会議端末を話者と判定するようにしてもよい。この
場合、制御部７３から画像処理部７４へ出力される画像
制御信号は、話者と判定されたすべての端末の画像を均
等な扱いで合成するようなものとすることができる。
【００４４】
【発明の効果】この発明の多地点テレビ会議システムに
よると、システムを構成する多地点制御装置で、音響信
号の音量と画像信号から画像の変化とを検出し、検出し
た音量と検出した画像の変化量とから話者を判定する。
したがって、音響信号に会議参加者の音声のほかに書類
をめくる音や会議参加者以外の音声などの雑音が含まれ
ている場合であっても、画像信号から会議参加者が発言
しているか否かを取得することができるため、話者の判
定を行うことができる。これにより、誤った画像切替が
行われることによってテレビ会議を妨げるようなことが
なくなる。
よると、システムを構成する多地点制御装置で、音響信
号の音量と画像信号から画像の変化とを検出し、検出し
た音量と検出した画像の変化量とから話者を判定する。
したがって、音響信号に会議参加者の音声のほかに書類
をめくる音や会議参加者以外の音声などの雑音が含まれ
ている場合であっても、画像信号から会議参加者が発言
しているか否かを取得することができるため、話者の判
定を行うことができる。これにより、誤った画像切替が
行われることによってテレビ会議を妨げるようなことが
なくなる。
【図１】この実施形態のテレビ会話システムのシステム
構成図である。
構成図である。
【図２】図１の話者判定処理部の内部構成図である。
【図３】図２の話者検出部の内部構成図である。
【図４】従来技術のテレビ会話システムのシステム構成
図である。
図である。
【図５】図４の話者判定処理部の内部構成図である。
１、７２ａ〜７２ｃ 音量検出部 ２ 画像認識部 ３ 話者判定情報生成部 ４、１４ 話者判定部 ５ 話者検出部 ６、１６ 会議端末 ７、１７ 多地点制御装置（ＭＣＵ） ７１，１７１ 回線インタフェース ７２，１７２ 音響処理部 ７３，１７３ 制御部 ７４，１７４ 画像処理部 ７５，１７５ 話者判定処理部
Claims (6)
- 【請求項１】 複数の各地点に配置した各会議端末と、
前記各会議端末を介して入力した前記各地点の音響信号
を合成して前記各会議端末に分配すると共に、前記各会
議端末を介して入力した前記各地点の画像信号を画像制
御信号に従って前記各会議端末に分配する多地点制御装
置とを備える多地点テレビ会議システムであって、 前記多地点制御装置は、 受信した前記各地点の音響信号の音量の大小を検出する
音量検出手段と、 受信した前記各地点の画像信号から画像を抽出してその
画像の動きにより前記会議参加者の口の動きの大小を検
出する画像認識手段と、 前記音量検出手段から出力される音量信号と前記画像認
識手段から出力される口の動き信号とに基づき話者判定
を行う話者判定手段と、を備えており、 さらに、前記話者判定手段の判定結果をもとに前記画像
制御信号を生成する制御手段を備えることを特徴とする
多地点テレビ会議システム。 - 【請求項２】 前記音量検出手段は、前記音量を抽出し
て、その音量とあらかじめ定めた第１のしきい値とを比
較する手段であることを特徴とする請求項１に記載の多
地点テレビ会議システム。 - 【請求項３】 前記画像認識手段は、前記画像信号から
前記会議参加者の唇を含む画像を抽出して、その唇の形
状の変化量とあらかじめ定めた第２のしきい値とを比較
する手段であることを特徴とする請求項１に記載の多地
点テレビ会議システム。 - 【請求項４】 前記話者判定手段は、各地点に関して前
記音量検出手段によって抽出された音量が前記第１のし
きい値以上の音量であって、かつ、前記画像検出手段に
よって抽出された唇の形状の変化量が前記第２のしきい
値以上である場合に、前記会議参加者が発声しているこ
とを検出する話者判定情報生成部を有することを特徴と
する請求項１に記載の多地点テレビ会議システム。 - 【請求項５】 前記話者判定手段は、前記複数の地点に
ついて前記話者判定情報生成部から出力される話者検出
信号に基づいて、前記会議参加者が発声している地点の
会議端末のうちの１つを話者と判定する話者判定部を有
することを特徴とする請求項４に記載の多地点テレビ会
議システム。 - 【請求項６】 前記音量検出手段は、前記音響信号をサ
ンプリングする手段と、あらかじめ記憶した第３のしき
い値から自己相関係数或いは線形予測係数を所定の一定
区間ごとに算出する算出手段とからなることを特徴とす
る請求項１に記載の多地点テレビ会議システム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10346027A JP2000175170A (ja) | 1998-12-04 | 1998-12-04 | 多地点テレビ会議システム及びその通信方法 |
| US09/452,786 US6369846B1 (en) | 1998-12-04 | 1999-12-02 | Multipoint television conference system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10346027A JP2000175170A (ja) | 1998-12-04 | 1998-12-04 | 多地点テレビ会議システム及びその通信方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000175170A true JP2000175170A (ja) | 2000-06-23 |
Family
ID=18380646
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10346027A Pending JP2000175170A (ja) | 1998-12-04 | 1998-12-04 | 多地点テレビ会議システム及びその通信方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6369846B1 (ja) |
| JP (1) | JP2000175170A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009098975A1 (ja) | 2008-02-04 | 2009-08-13 | Nec Corporation | 音声ミキシング装置および方法ならびに多地点会議サーバ |
| WO2009098974A1 (ja) | 2008-02-04 | 2009-08-13 | Nec Corporation | 音声ミキシング装置および方法ならびに多地点会議サーバ |
| JP2011087074A (ja) * | 2009-10-14 | 2011-04-28 | Lenovo Singapore Pte Ltd | 遠隔会話システムの出力制御装置、その方法、およびコンピュータが実行可能なプログラム |
| WO2020065706A1 (ja) * | 2018-09-25 | 2020-04-02 | 三菱電機株式会社 | 情報処理装置及び情報処理方法 |
| CN113157243A (zh) * | 2021-05-08 | 2021-07-23 | 广州市奥威亚电子科技有限公司 | 操作触发方法、装置、电子设备及存储介质 |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7081915B1 (en) * | 1998-06-17 | 2006-07-25 | Intel Corporation | Control of video conferencing using activity detection |
| JP3818054B2 (ja) * | 2000-12-08 | 2006-09-06 | 日本電気株式会社 | 多地点ビデオ会議制御装置、音声切替え方法、およびそのプログラムを記録した記録媒体 |
| US20030058805A1 (en) * | 2001-09-24 | 2003-03-27 | Teleware Inc. | Multi-media communication management system with enhanced video conference services |
| JP2004304560A (ja) * | 2003-03-31 | 2004-10-28 | Fujitsu Ltd | 電子装置 |
| JP2005020520A (ja) * | 2003-06-27 | 2005-01-20 | Brother Ind Ltd | テレビ会議システム |
| GB2404297B (en) * | 2003-07-24 | 2007-12-05 | Hewlett Packard Development Co | Editing multiple camera outputs |
| US20050228673A1 (en) * | 2004-03-30 | 2005-10-13 | Nefian Ara V | Techniques for separating and evaluating audio and video source data |
| JP2007094544A (ja) * | 2005-09-27 | 2007-04-12 | Fuji Xerox Co Ltd | 情報検索システム |
| WO2007063922A1 (ja) * | 2005-11-29 | 2007-06-07 | Kyocera Corporation | 通信端末および通信システム、並びに通信端末の表示方法 |
| JP2008259106A (ja) * | 2007-04-09 | 2008-10-23 | Nec Access Technica Ltd | 映像音声送信システムおよび送信機、並びに、映像音声送信方法 |
| AU2008202703B2 (en) * | 2007-06-20 | 2012-03-08 | Mcomms Design Pty Ltd | Apparatus and method for providing multimedia content |
| US8269817B2 (en) * | 2008-07-16 | 2012-09-18 | Cisco Technology, Inc. | Floor control in multi-point conference systems |
| JP2010124034A (ja) * | 2008-11-17 | 2010-06-03 | Hoya Corp | 撮像装置 |
| US8619963B2 (en) * | 2009-11-06 | 2013-12-31 | Freescale Semiconductor, Inc. | Conference call system, method, and computer program product |
| US8681203B1 (en) | 2012-08-20 | 2014-03-25 | Google Inc. | Automatic mute control for video conferencing |
| US20150088515A1 (en) * | 2013-09-25 | 2015-03-26 | Lenovo (Singapore) Pte. Ltd. | Primary speaker identification from audio and video data |
| TWI564791B (zh) * | 2015-05-19 | 2017-01-01 | 卡訊電子股份有限公司 | 播音控制系統、方法、電腦程式產品及電腦可讀取紀錄媒體 |
| US11152006B2 (en) * | 2018-05-07 | 2021-10-19 | Microsoft Technology Licensing, Llc | Voice identification enrollment |
| CN111753769A (zh) * | 2020-06-29 | 2020-10-09 | 歌尔科技有限公司 | 终端音频采集控制方法、电子设备及可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62209985A (ja) * | 1986-03-11 | 1987-09-16 | Toshiba Corp | テレビ会議装置 |
| JPH05244587A (ja) * | 1992-02-26 | 1993-09-21 | Mitsubishi Electric Corp | テレビ会議用カメラ制御装置 |
| JPH0683391A (ja) * | 1992-09-04 | 1994-03-25 | Matsushita Electric Ind Co Ltd | テレビ会議用発言音声検出装置 |
| JPH08317363A (ja) * | 1995-05-15 | 1996-11-29 | Sharp Corp | 画像伝送装置 |
| JPH09322136A (ja) * | 1996-05-29 | 1997-12-12 | Sharp Corp | 画像伝送装置 |
| JPH10145763A (ja) * | 1996-11-15 | 1998-05-29 | Mitsubishi Electric Corp | 会議システム |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06301393A (ja) | 1993-04-13 | 1994-10-28 | Matsushita Electric Ind Co Ltd | 音声区間検出装置及び音声認識装置 |
| JPH07162827A (ja) | 1993-12-06 | 1995-06-23 | Hitachi Ltd | 多地点通信方法および通信端末 |
| JP2827932B2 (ja) | 1994-11-25 | 1998-11-25 | 日本電気株式会社 | 多地点テレビ会議における合成画面表示制御方式 |
| JPH1075310A (ja) | 1996-08-29 | 1998-03-17 | Nec Corp | 多地点テレビ会議システム |
| JPH10145764A (ja) | 1996-11-05 | 1998-05-29 | Fujitsu Ltd | 話者検出方法および多地点テレビ会議装置 |
-
1998
- 1998-12-04 JP JP10346027A patent/JP2000175170A/ja active Pending
-
1999
- 1999-12-02 US US09/452,786 patent/US6369846B1/en not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62209985A (ja) * | 1986-03-11 | 1987-09-16 | Toshiba Corp | テレビ会議装置 |
| JPH05244587A (ja) * | 1992-02-26 | 1993-09-21 | Mitsubishi Electric Corp | テレビ会議用カメラ制御装置 |
| JPH0683391A (ja) * | 1992-09-04 | 1994-03-25 | Matsushita Electric Ind Co Ltd | テレビ会議用発言音声検出装置 |
| JPH08317363A (ja) * | 1995-05-15 | 1996-11-29 | Sharp Corp | 画像伝送装置 |
| JPH09322136A (ja) * | 1996-05-29 | 1997-12-12 | Sharp Corp | 画像伝送装置 |
| JPH10145763A (ja) * | 1996-11-15 | 1998-05-29 | Mitsubishi Electric Corp | 会議システム |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009098975A1 (ja) | 2008-02-04 | 2009-08-13 | Nec Corporation | 音声ミキシング装置および方法ならびに多地点会議サーバ |
| WO2009098974A1 (ja) | 2008-02-04 | 2009-08-13 | Nec Corporation | 音声ミキシング装置および方法ならびに多地点会議サーバ |
| US8489216B2 (en) | 2008-02-04 | 2013-07-16 | Nec Corporation | Sound mixing apparatus and method and multipoint conference server |
| US8509460B2 (en) | 2008-02-04 | 2013-08-13 | Nec Corporation | Sound mixing apparatus and method and multipoint conference server |
| JP2011087074A (ja) * | 2009-10-14 | 2011-04-28 | Lenovo Singapore Pte Ltd | 遠隔会話システムの出力制御装置、その方法、およびコンピュータが実行可能なプログラム |
| WO2020065706A1 (ja) * | 2018-09-25 | 2020-04-02 | 三菱電機株式会社 | 情報処理装置及び情報処理方法 |
| JPWO2020065706A1 (ja) * | 2018-09-25 | 2021-04-30 | 三菱電機株式会社 | 情報処理装置及び情報処理方法 |
| JP7026812B2 (ja) | 2018-09-25 | 2022-02-28 | 三菱電機株式会社 | 情報処理装置及び情報処理方法 |
| CN113157243A (zh) * | 2021-05-08 | 2021-07-23 | 广州市奥威亚电子科技有限公司 | 操作触发方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US6369846B1 (en) | 2002-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2000175170A (ja) | 多地点テレビ会議システム及びその通信方法 | |
| US7684982B2 (en) | Noise reduction and audio-visual speech activity detection | |
| US5978756A (en) | Encoding audio signals using precomputed silence | |
| US5991277A (en) | Primary transmission site switching in a multipoint videoconference environment based on human voice | |
| US7012901B2 (en) | Devices, software and methods for generating aggregate comfort noise in teleconferencing over VoIP networks | |
| JPH06332492A (ja) | 音声検出方法および検出装置 | |
| US5890109A (en) | Re-initializing adaptive parameters for encoding audio signals | |
| CN102160359A (zh) | 控制系统的方法和信号处理系统 | |
| JP2000338987A (ja) | 発話開始監視装置、話者同定装置、音声入力システム、および話者同定システム、並びに通信システム | |
| KR20080064557A (ko) | 음성 신호의 명료도를 향상시키는 장치 및 방법 | |
| US11405584B1 (en) | Smart audio muting in a videoconferencing system | |
| US6959095B2 (en) | Method and apparatus for providing multiple output channels in a microphone | |
| WO2022253003A1 (zh) | 语音增强方法及相关设备 | |
| CN115482830A (zh) | 语音增强方法及相关设备 | |
| JPH0792988A (ja) | 音声検出装置と映像切り替え装置 | |
| JP3818054B2 (ja) | 多地点ビデオ会議制御装置、音声切替え方法、およびそのプログラムを記録した記録媒体 | |
| US20110125497A1 (en) | Method and System for Voice Activity Detection | |
| US20030088622A1 (en) | Efficient and robust adaptive algorithm for silence detection in real-time conferencing | |
| US20060106603A1 (en) | Method and apparatus to improve speaker intelligibility in competitive talking conditions | |
| JP2002297199A (ja) | 合成音声判別方法と装置及び音声合成装置 | |
| US20220189498A1 (en) | Signal processing device, signal processing method, and program | |
| JP2900987B2 (ja) | 無音圧縮音声符号化復号化装置 | |
| JP2007086592A (ja) | 音声出力装置および音声出力方法 | |
| JP2006304125A (ja) | 音声信号補正装置および音声信号補正方法 | |
| CN112530411B (zh) | 一种实时分角色转录方法、设备和系统 |