JP2002135642A - 音声翻訳システム - Google Patents
音声翻訳システムInfo
- Publication number
- JP2002135642A JP2002135642A JP2000324063A JP2000324063A JP2002135642A JP 2002135642 A JP2002135642 A JP 2002135642A JP 2000324063 A JP2000324063 A JP 2000324063A JP 2000324063 A JP2000324063 A JP 2000324063A JP 2002135642 A JP2002135642 A JP 2002135642A
- Authority
- JP
- Japan
- Prior art keywords
- speech
- speaker
- voice
- imaging
- translation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
(57)【要約】
【課題】 発話者の方向を推定し、ＣＣＤカメラなどの
撮像手段の撮像方向を発話者に向け、発話者の映像を見
ながら発話者の発話内容の翻訳された音声を聞くことが
できる音声翻訳システムを提供する。 【解決手段】 マイクロホンアレー１０を用いて発話者
の方向を方向推定部１３により推定し、その方向にビー
ムフォーミング部１４によりマイクロホンアレー１０の
指向性を制御して音声を受音する。同時に、回転機構制
御部３２により発話者の方向にＣＣＤカメラ３０の撮像
方向を制御し発話者の画像を抽出してＣＲＴディスプレ
イ３４に表示する。次に、受音した音声を音声認識部１
６により音声認識を行い、音声認識結果に対して音声翻
訳部１７により音声翻訳を行い、音声翻訳結果を音声合
成部１８により音声合成して、音声結果の音声信号をス
ピーカ２０から出力する。これにより、発話者の画像と
発話音声の翻訳された合成音声を遠隔地でリアルタイム
に出力して視聴できる。
撮像手段の撮像方向を発話者に向け、発話者の映像を見
ながら発話者の発話内容の翻訳された音声を聞くことが
できる音声翻訳システムを提供する。 【解決手段】 マイクロホンアレー１０を用いて発話者
の方向を方向推定部１３により推定し、その方向にビー
ムフォーミング部１４によりマイクロホンアレー１０の
指向性を制御して音声を受音する。同時に、回転機構制
御部３２により発話者の方向にＣＣＤカメラ３０の撮像
方向を制御し発話者の画像を抽出してＣＲＴディスプレ
イ３４に表示する。次に、受音した音声を音声認識部１
６により音声認識を行い、音声認識結果に対して音声翻
訳部１７により音声翻訳を行い、音声翻訳結果を音声合
成部１８により音声合成して、音声結果の音声信号をス
ピーカ２０から出力する。これにより、発話者の画像と
発話音声の翻訳された合成音声を遠隔地でリアルタイム
に出力して視聴できる。
Description
【０００１】
【発明の属する技術分野】本発明は、マイクロホンアレ
ー及び撮像手段を備えた音声翻訳システムに関する。
ー及び撮像手段を備えた音声翻訳システムに関する。
【０００２】
【従来の技術】テレビ会議システムや音声による機器の
制御において、発話者から離れた位置にあるマイクロホ
ンで発話者の音声を高音質に受音することは極めて重要
である。そこで発話者から離れた位置にあるマイクロホ
ンでも発話者の音声を高音質に受音する方法としてマイ
クロホンアレーが注目されている。しかし、マイクロホ
ンアレーを用いて高音質に発話者の音声を受音するため
には、発話者の方向又は位置を推定することが必要とな
る。
制御において、発話者から離れた位置にあるマイクロホ
ンで発話者の音声を高音質に受音することは極めて重要
である。そこで発話者から離れた位置にあるマイクロホ
ンでも発話者の音声を高音質に受音する方法としてマイ
クロホンアレーが注目されている。しかし、マイクロホ
ンアレーを用いて高音質に発話者の音声を受音するため
には、発話者の方向又は位置を推定することが必要とな
る。
【０００３】
【発明が解決しようとする課題】しかしながら、これま
での方向又は位置推定に関する研究では、音源位置を推
定（例えば、従来技術文献１「安部正人，“多数センサ
による音源推定”，音響学会論文誌，Ｖｏｌ．５１，Ｎ
ｏ．５，ｐｐ．３８４−３８９，１９９５年」など参
照。）することは多数試みられているが、話者の方向や
位置を推定することは困難であった。従って、テレビ会
議システムにおいて、発話者に対して、自動的に発話者
を撮像するＣＣＤカメラの撮像方向を方向付けることは
難しいという問題点があった。また、音声翻訳システム
と、話者を撮像する撮像システムとはそれぞれ単独で存
在するが、組み合わせられたシステムは存在しなかっ
た。
での方向又は位置推定に関する研究では、音源位置を推
定（例えば、従来技術文献１「安部正人，“多数センサ
による音源推定”，音響学会論文誌，Ｖｏｌ．５１，Ｎ
ｏ．５，ｐｐ．３８４−３８９，１９９５年」など参
照。）することは多数試みられているが、話者の方向や
位置を推定することは困難であった。従って、テレビ会
議システムにおいて、発話者に対して、自動的に発話者
を撮像するＣＣＤカメラの撮像方向を方向付けることは
難しいという問題点があった。また、音声翻訳システム
と、話者を撮像する撮像システムとはそれぞれ単独で存
在するが、組み合わせられたシステムは存在しなかっ
た。
【０００４】本発明の目的は以上の問題点を解決し、発
話者の方向を推定し、ＣＣＤカメラなどの撮像手段の撮
像方向を自動的に発話者に向け、発話者の映像を見なが
ら発話者の発話内容の翻訳を聞くことができる音声翻訳
システムを提供することにある。
話者の方向を推定し、ＣＣＤカメラなどの撮像手段の撮
像方向を自動的に発話者に向け、発話者の映像を見なが
ら発話者の発話内容の翻訳を聞くことができる音声翻訳
システムを提供することにある。
【０００５】
【課題を解決するための手段】本発明に係る音声翻訳シ
ステムは、発話者が発話する音声を受信する複数のマイ
クロホンを所定の間隔で並置してなるマイクロホンアレ
ーと、上記各マイクロホンから出力される電気信号に基
づいて上記マイクロホンアレーで受信される音声を発話
する発話者の方位角を推定する推定手段と、上記推定手
段により推定された発話者の方位角の方向に対応するビ
ーム信号を生成するビームフォーミング手段と、上記ビ
ームフォーミング手段によって生成されたビーム信号に
対して音声認識を行って音声認識結果を出力する音声認
識手段と、上記音声認識結果に対して音声翻訳を行って
異なる言語の翻訳文の文字列情報を出力する音声翻訳手
段と、上記翻訳文の文字列情報に対して音声合成を行っ
て音声合成結果の音声信号を出力する音声合成手段と、
上記発話者を撮像して映像信号を出力する撮像手段と、
上記推定手段により推定された発話者の方位角の方向に
基づいて、当該発話者の方位角の方向に上記撮像手段の
撮像方向を向ける方向制御手段とを備えたことを特徴と
する。
ステムは、発話者が発話する音声を受信する複数のマイ
クロホンを所定の間隔で並置してなるマイクロホンアレ
ーと、上記各マイクロホンから出力される電気信号に基
づいて上記マイクロホンアレーで受信される音声を発話
する発話者の方位角を推定する推定手段と、上記推定手
段により推定された発話者の方位角の方向に対応するビ
ーム信号を生成するビームフォーミング手段と、上記ビ
ームフォーミング手段によって生成されたビーム信号に
対して音声認識を行って音声認識結果を出力する音声認
識手段と、上記音声認識結果に対して音声翻訳を行って
異なる言語の翻訳文の文字列情報を出力する音声翻訳手
段と、上記翻訳文の文字列情報に対して音声合成を行っ
て音声合成結果の音声信号を出力する音声合成手段と、
上記発話者を撮像して映像信号を出力する撮像手段と、
上記推定手段により推定された発話者の方位角の方向に
基づいて、当該発話者の方位角の方向に上記撮像手段の
撮像方向を向ける方向制御手段とを備えたことを特徴と
する。
【０００６】
【発明の実施の形態】以下、図面を参照して本発明に係
る実施形態について説明する。
る実施形態について説明する。
【０００７】図１は、本発明に係る一実施形態である音
声翻訳システムの構成を示すブロック図である。この実
施形態に係る音声翻訳システムは、特に、マイクロホン
アレー１０とＣＣＤカメラ３０を備え、方向推定部１３
と、ビームフォーミング部１４と、回転機構制御部３２
とをさらに備えたことを特徴としている。すなわち、本
実施形態では、マイクロホンアレー１０を用いて発話者
の方向を方向推定部１３により推定し、その方向にビー
ムフォーミング部１４によりマイクロホンアレー１０の
指向性を制御して高音質に音声を受音する。同時に、回
転機構制御部３２により発話者の方向にＣＣＤカメラ３
０の撮像方向を制御し発話者の画像を抽出してＣＲＴデ
ィスプレイ３４に表示する。次に、高音質で受音した音
声を音声認識部１６により音声認識を行い、音声認識結
果に対して音声翻訳部１７により音声翻訳を行い、音声
翻訳結果を音声合成部１８により音声合成して、音声結
果の音声信号をスピーカ２０から出力する。これによ
り、発話者の画像と、発話音声の翻訳された合成音声を
遠隔地でリアルタイムに出力して視聴できる。
声翻訳システムの構成を示すブロック図である。この実
施形態に係る音声翻訳システムは、特に、マイクロホン
アレー１０とＣＣＤカメラ３０を備え、方向推定部１３
と、ビームフォーミング部１４と、回転機構制御部３２
とをさらに備えたことを特徴としている。すなわち、本
実施形態では、マイクロホンアレー１０を用いて発話者
の方向を方向推定部１３により推定し、その方向にビー
ムフォーミング部１４によりマイクロホンアレー１０の
指向性を制御して高音質に音声を受音する。同時に、回
転機構制御部３２により発話者の方向にＣＣＤカメラ３
０の撮像方向を制御し発話者の画像を抽出してＣＲＴデ
ィスプレイ３４に表示する。次に、高音質で受音した音
声を音声認識部１６により音声認識を行い、音声認識結
果に対して音声翻訳部１７により音声翻訳を行い、音声
翻訳結果を音声合成部１８により音声合成して、音声結
果の音声信号をスピーカ２０から出力する。これによ
り、発話者の画像と、発話音声の翻訳された合成音声を
遠隔地でリアルタイムに出力して視聴できる。
【０００８】以下、図１を参照して、本実施形態に係る
音声翻訳システムについて説明する。図１において、マ
イクロホンアレー１０は、複数のマイクロホン１１を所
定の間隔で１直線上に並置して構成され、各マイクロホ
ン１１は入力される発話者の音声を受信した後、それぞ
れ音声信号である電気信号に変換してＡ／Ｄ変換器１２
に出力する。次いで、Ａ／Ｄ変換器１２は、各マイクロ
ホン１１から出力される電気信号を所定のサンプリング
周波数でディジタルデータ信号にＡ／Ｄ変換して方向推
定部１３及びビームフォーミング部１４に出力する。
音声翻訳システムについて説明する。図１において、マ
イクロホンアレー１０は、複数のマイクロホン１１を所
定の間隔で１直線上に並置して構成され、各マイクロホ
ン１１は入力される発話者の音声を受信した後、それぞ
れ音声信号である電気信号に変換してＡ／Ｄ変換器１２
に出力する。次いで、Ａ／Ｄ変換器１２は、各マイクロ
ホン１１から出力される電気信号を所定のサンプリング
周波数でディジタルデータ信号にＡ／Ｄ変換して方向推
定部１３及びビームフォーミング部１４に出力する。
【０００９】方向推定部１３は、入力されるディジタル
データ信号のうち所定のしきい値レベル以上の信号を計
算対象とし、例えば公知の白色化相互相関法（以下、Ｃ
ＳＰ法という。）（例えば、従来技術文献２「T. Nishi
ura et al., "Localizationof Multiple Sound Sources
Based on a CSP Analysis with a Microphone Array",
Proceedings of ICASSP2000, pp.1053-1056, 2000」参
照。）を用いて、複数のディジタルデータ信号のＣＳＰ
係数及び到来時間差（ＤＯＡ：Delay of Arrivals）を
推定する。具体的には、以下の数１に示すように、複数
のディジタルデータ信号をフーリエ変換して振幅で正規
化を行った後、位相差を計算し、逆フーリエ変換を行っ
てＣＳＰ係数を計算する。次いで、ＣＳＰ係数の大きく
なる時間差（相関の強い時間差）τを計算することによ
り、到来時間差の推定を行うことができる。ここで、音
源が１つしか存在しないときは、音源方向を推定すると
きは、数１及び数２により時間差τを計算した後、数３
を用いて方位角θを推定する。推定された方位角θは方
向推定部１３からビームフォーミング部１４及び回転機
構制御部３２に出力される。なお、以下の式では、マイ
クロホンｉ，ｊで信号ｓi（ｎ），ｓj（ｎ）を受信した
ものとし、ｃは音速、ｄはマイクロホン間隔、Ｆｓはサ
ンプリング周波数である。
データ信号のうち所定のしきい値レベル以上の信号を計
算対象とし、例えば公知の白色化相互相関法（以下、Ｃ
ＳＰ法という。）（例えば、従来技術文献２「T. Nishi
ura et al., "Localizationof Multiple Sound Sources
Based on a CSP Analysis with a Microphone Array",
Proceedings of ICASSP2000, pp.1053-1056, 2000」参
照。）を用いて、複数のディジタルデータ信号のＣＳＰ
係数及び到来時間差（ＤＯＡ：Delay of Arrivals）を
推定する。具体的には、以下の数１に示すように、複数
のディジタルデータ信号をフーリエ変換して振幅で正規
化を行った後、位相差を計算し、逆フーリエ変換を行っ
てＣＳＰ係数を計算する。次いで、ＣＳＰ係数の大きく
なる時間差（相関の強い時間差）τを計算することによ
り、到来時間差の推定を行うことができる。ここで、音
源が１つしか存在しないときは、音源方向を推定すると
きは、数１及び数２により時間差τを計算した後、数３
を用いて方位角θを推定する。推定された方位角θは方
向推定部１３からビームフォーミング部１４及び回転機
構制御部３２に出力される。なお、以下の式では、マイ
クロホンｉ，ｊで信号ｓi（ｎ），ｓj（ｎ）を受信した
ものとし、ｃは音速、ｄはマイクロホン間隔、Ｆｓはサ
ンプリング周波数である。
【００１０】
【数１】ＣＳＰi,j（ｋ）＝ＤＦＴ−１［（ＤＦＴ［ｓi
（ｎ）］ＤＦＴ［ｓj（ｎ）］*）／（｜ＤＦＴ［ｓ
i（ｎ）］｜｜ＤＦＴ［ｓj（ｎ）］｜）］
（ｎ）］ＤＦＴ［ｓj（ｎ）］*）／（｜ＤＦＴ［ｓ
i（ｎ）］｜｜ＤＦＴ［ｓj（ｎ）］｜）］
【数２】τ＝ａｒｇｍａｘ（ＣＳＰij（ｋ））
【数３】θ＝ｃｏｓ-1（ｃ・τ／（Ｆｓ・ｄ））
【００１１】また、音源が複数存在する場合においても
公知の方法により同様に方位角θを計算でき、この場
合、複数の方位角θの情報がビームフォーミング部１４
に出力され、ビームフォーミング部１４は複数のビーム
信号を生成する。なお、方向推定においては、ＣＳＰ法
を用いているが、本発明はこれに限らず、ＣＳＰ係数の
加算法とビームフォーミングを用いた複数音源方向のク
ラスタリングを組み合わせた改善法、ビームフォーミン
グによる音源推定法、ＭＵＳＩＣ法による音源方向推定
法や、最小分散法による音源方向推定法などの公知の方
法を用いてもよい。また、本実施形態においては、方向
推定のみを行っているが、マイクロホンアレー１０を２
組備え、互いに並置された２組のマイクロホンアレー１
０を用いて２本のビームの交差点を音源の位置として特
定するように構成してもよい。
公知の方法により同様に方位角θを計算でき、この場
合、複数の方位角θの情報がビームフォーミング部１４
に出力され、ビームフォーミング部１４は複数のビーム
信号を生成する。なお、方向推定においては、ＣＳＰ法
を用いているが、本発明はこれに限らず、ＣＳＰ係数の
加算法とビームフォーミングを用いた複数音源方向のク
ラスタリングを組み合わせた改善法、ビームフォーミン
グによる音源推定法、ＭＵＳＩＣ法による音源方向推定
法や、最小分散法による音源方向推定法などの公知の方
法を用いてもよい。また、本実施形態においては、方向
推定のみを行っているが、マイクロホンアレー１０を２
組備え、互いに並置された２組のマイクロホンアレー１
０を用いて２本のビームの交差点を音源の位置として特
定するように構成してもよい。
【００１２】一方、発話者の顔などを撮像するためのＣ
ＣＤカメラ３０が鉛直方向の軸を中心として回転可能に
支持され、当該ＣＣＤカメラ３０は、例えばステッピン
グモータを備えて構成されてなる回転機構部３１により
回転される。ここで、回転制御部３２は、方向推定部１
３から出力される発話者の方位角に基づいて、ＣＣＤカ
メラ３０が現在発話している発話者の顔などを撮像する
ように、すなわち、ＣＣＤカメラ３０の撮像方向を自動
的に上記推定された方位角に向けるように回転機構部３
１を制御する。ＣＣＤカメラ３０により撮像された発話
者の画像信号は、映像信号処理部３３において増幅など
の画像処理がなされた後、当該画像信号の画像がＣＲＴ
ディスプレイ３４に表示される。
ＣＤカメラ３０が鉛直方向の軸を中心として回転可能に
支持され、当該ＣＣＤカメラ３０は、例えばステッピン
グモータを備えて構成されてなる回転機構部３１により
回転される。ここで、回転制御部３２は、方向推定部１
３から出力される発話者の方位角に基づいて、ＣＣＤカ
メラ３０が現在発話している発話者の顔などを撮像する
ように、すなわち、ＣＣＤカメラ３０の撮像方向を自動
的に上記推定された方位角に向けるように回転機構部３
１を制御する。ＣＣＤカメラ３０により撮像された発話
者の画像信号は、映像信号処理部３３において増幅など
の画像処理がなされた後、当該画像信号の画像がＣＲＴ
ディスプレイ３４に表示される。
【００１３】また、ビームフォーミング部１４は、方向
推定部１３からの方位角情報に基づいて重み係数を計算
する制御部と、互いに縦続接続された複数の遅延線と、
各遅延線のタップからの信号を上記重み係数で乗算する
乗算器と、各乗算器からの出力信号を加算する加算器と
を備えて構成され、いわゆるトランスバーサルフィルタ
回路又は遅延和アレー回路と呼ばれる回路である。ビー
ムフォーミング部１４は、Ａ／Ｄ変換器１２から出力さ
れる各ディジタルデータ信号と、方位角情報に基づい
て、方向推定部１３で推定された少なくとも１つの方位
角における少なくとも１つのビーム信号を生成して特徴
抽出部１５に出力する。次いで、特徴抽出部１５は、入
力される少なくとも１つのビーム信号に基づいて、例え
ば１６次のメルケプストラム係数と、１６次のΔメルケ
プストラム係数と、１次のΔパワーとを含む特徴ベクト
ルを抽出して音声認識部１６に出力する。
推定部１３からの方位角情報に基づいて重み係数を計算
する制御部と、互いに縦続接続された複数の遅延線と、
各遅延線のタップからの信号を上記重み係数で乗算する
乗算器と、各乗算器からの出力信号を加算する加算器と
を備えて構成され、いわゆるトランスバーサルフィルタ
回路又は遅延和アレー回路と呼ばれる回路である。ビー
ムフォーミング部１４は、Ａ／Ｄ変換器１２から出力さ
れる各ディジタルデータ信号と、方位角情報に基づい
て、方向推定部１３で推定された少なくとも１つの方位
角における少なくとも１つのビーム信号を生成して特徴
抽出部１５に出力する。次いで、特徴抽出部１５は、入
力される少なくとも１つのビーム信号に基づいて、例え
ば１６次のメルケプストラム係数と、１６次のΔメルケ
プストラム係数と、１次のΔパワーとを含む特徴ベクト
ルを抽出して音声認識部１６に出力する。
【００１４】本実施形態では、音声認識部１６における
音声認識処理のために、不特定話者の音素ベースの単語
ＨＭＭが予め公知の方法で生成されて、音素ベース単語
ＨＭＭメモリ２１に格納されている。また、音声翻訳部
１７における、例えば英語から日本語への音声翻訳処理
のために、英語と日本語の音声翻訳用対訳用例が予め公
知の方法で生成されて、音声翻訳対訳用例メモリ２２に
格納されている。
音声認識処理のために、不特定話者の音素ベースの単語
ＨＭＭが予め公知の方法で生成されて、音素ベース単語
ＨＭＭメモリ２１に格納されている。また、音声翻訳部
１７における、例えば英語から日本語への音声翻訳処理
のために、英語と日本語の音声翻訳用対訳用例が予め公
知の方法で生成されて、音声翻訳対訳用例メモリ２２に
格納されている。
【００１５】さらに、音声認識部１６は、特許出願人所
有の公知の音声認識装置であり、特徴抽出部１５から順
次出力される特徴ベクトルに基づいて、音素ベース単語
ＨＭＭメモリ５１内の単語ＨＭＭを用いて尤度を計算し
て最尤基準により音声認識を行い、音声認識結果の文字
列を出力する。次いで、音声翻訳部１７は、例えば従来
技術文献３「Reaves et al.,"ATR-MATRIX: A Speech Tr
anslation System between English and Japanese", 情
報処理学会論文集, Vol. 2, pp.87-88, 1999」において
開示された公知の音声翻訳装置であり、音声翻訳対訳用
例メモリ２２内の音声翻訳用対訳用例を参照して、音声
認識部１６から出力される音声認識結果の文字列に対し
て音声翻訳を行って異なる言語の翻訳文の文字列を生成
して音声合成部１８に出力する。さらに、音声合成部１
８は、例えば従来技術文献４「Nick Campbell, "音声合
成ＣＨＡＴＲのしくみ", 電子情報通信学会研究報告, v
ol. 98, no. 423, pp.47-54, 1998」において開示され
た公知の音節セグメント結合型の音声合成装置であり、
音声翻訳部１７から出力される翻訳文の文字列情報に対
して音声合成処理を行って音声合成結果の音声信号を、
低周波増幅器１９を介してスピーカ２０に出力すること
により、スピーカ２０から発話者の発話音声を所定の言
語に翻訳された音声が出力される。
有の公知の音声認識装置であり、特徴抽出部１５から順
次出力される特徴ベクトルに基づいて、音素ベース単語
ＨＭＭメモリ５１内の単語ＨＭＭを用いて尤度を計算し
て最尤基準により音声認識を行い、音声認識結果の文字
列を出力する。次いで、音声翻訳部１７は、例えば従来
技術文献３「Reaves et al.,"ATR-MATRIX: A Speech Tr
anslation System between English and Japanese", 情
報処理学会論文集, Vol. 2, pp.87-88, 1999」において
開示された公知の音声翻訳装置であり、音声翻訳対訳用
例メモリ２２内の音声翻訳用対訳用例を参照して、音声
認識部１６から出力される音声認識結果の文字列に対し
て音声翻訳を行って異なる言語の翻訳文の文字列を生成
して音声合成部１８に出力する。さらに、音声合成部１
８は、例えば従来技術文献４「Nick Campbell, "音声合
成ＣＨＡＴＲのしくみ", 電子情報通信学会研究報告, v
ol. 98, no. 423, pp.47-54, 1998」において開示され
た公知の音節セグメント結合型の音声合成装置であり、
音声翻訳部１７から出力される翻訳文の文字列情報に対
して音声合成処理を行って音声合成結果の音声信号を、
低周波増幅器１９を介してスピーカ２０に出力すること
により、スピーカ２０から発話者の発話音声を所定の言
語に翻訳された音声が出力される。
【００１６】以上の実施形態において、方向推定部１３
と、ビームフォーミング部１４と、特徴抽出部１５と、
音声認識部１６と、音声翻訳部１７と、音声合成部１８
と、回転機構制御部３２とは、例えばディジタル計算機
などのコンピュータで構成され、また、音素ベース単語
ＨＭＭメモリ２１と、音声翻訳対訳用例メモリ２２と
は、例えばハードディスクメモリなどの記憶装置で構成
される。
と、ビームフォーミング部１４と、特徴抽出部１５と、
音声認識部１６と、音声翻訳部１７と、音声合成部１８
と、回転機構制御部３２とは、例えばディジタル計算機
などのコンピュータで構成され、また、音素ベース単語
ＨＭＭメモリ２１と、音声翻訳対訳用例メモリ２２と
は、例えばハードディスクメモリなどの記憶装置で構成
される。
【００１７】以上説明したように、本実施形態に係る音
声翻訳システムによれば、方向推定部１３により発話者
の方向を推定することにより、音声認識率を従来技術に
比較して向上させることができる。また、音声認識部１
６に加えて音声翻訳部１７及び音声合成部１８を備えた
ので、発話者の音声の翻訳された音声合成信号を生成し
て出力できる。さらに、方向推定部１３に加えて、ＣＣ
Ｄカメラ３０、回転機構部３１及び回転機構制御部３２
を備えたので、ＣＣＤカメラ３０が現在発話している発
話者の顔などを撮像するように、すなわち、ＣＣＤカメ
ラ３０の撮像方向を上記推定された方位角に向けるよう
に回転機構部３１を制御し、ＣＣＤカメラ３０により撮
像された発話者の画像をＣＲＴディスプレイ３４に表示
できる。以上の構成により、発話者の画像と、発話音声
の翻訳された合成音声を同時にかつリアルタイムに出力
することができ、臨場感あふれる状態で発話者の画像と
発話音声の翻訳された合成音声を視聴できる。
声翻訳システムによれば、方向推定部１３により発話者
の方向を推定することにより、音声認識率を従来技術に
比較して向上させることができる。また、音声認識部１
６に加えて音声翻訳部１７及び音声合成部１８を備えた
ので、発話者の音声の翻訳された音声合成信号を生成し
て出力できる。さらに、方向推定部１３に加えて、ＣＣ
Ｄカメラ３０、回転機構部３１及び回転機構制御部３２
を備えたので、ＣＣＤカメラ３０が現在発話している発
話者の顔などを撮像するように、すなわち、ＣＣＤカメ
ラ３０の撮像方向を上記推定された方位角に向けるよう
に回転機構部３１を制御し、ＣＣＤカメラ３０により撮
像された発話者の画像をＣＲＴディスプレイ３４に表示
できる。以上の構成により、発話者の画像と、発話音声
の翻訳された合成音声を同時にかつリアルタイムに出力
することができ、臨場感あふれる状態で発話者の画像と
発話音声の翻訳された合成音声を視聴できる。
【００１８】以上の実施形態において、低周波増幅器１
９の後に、低周波の音声信号を伝送する送信機、通信回
線を介して遠隔地の受信機で音声信号を受信してもよ
く、この場合、遠隔地のスピーカ２０で発話者の翻訳さ
れた音声を聞くことができる。また、映像信号処理部３
３の後に、映像信号を伝送する送信機、通信回線を介し
て遠隔地の受信機で映像信号を受信してもよく、この場
合、遠隔地のＣＲＴディスプレイ３４で発話者の顔など
の映像を見ることができる。ここで、音声信号と映像信
号の伝送は同時に行われる。以上の構成により、遠隔地
で発話者を見ると同時に、当該発話者の翻訳された音声
を聞くことができる。
９の後に、低周波の音声信号を伝送する送信機、通信回
線を介して遠隔地の受信機で音声信号を受信してもよ
く、この場合、遠隔地のスピーカ２０で発話者の翻訳さ
れた音声を聞くことができる。また、映像信号処理部３
３の後に、映像信号を伝送する送信機、通信回線を介し
て遠隔地の受信機で映像信号を受信してもよく、この場
合、遠隔地のＣＲＴディスプレイ３４で発話者の顔など
の映像を見ることができる。ここで、音声信号と映像信
号の伝送は同時に行われる。以上の構成により、遠隔地
で発話者を見ると同時に、当該発話者の翻訳された音声
を聞くことができる。
【００１９】
【発明の効果】以上詳述したように本発明によれば、マ
イクロホンアレーと撮像手段に加えて、方向推定手段
と、ビームフォーミング手段と、撮像手段のための回転
機構の制御手段とをさらに備えたので、発話者の画像
と、発話音声の翻訳された合成音声を同時にかつリアル
タイムに出力することができ、翻訳した音声に同期して
元言語ではあるが発話者の映像が写し出されることによ
って、臨場感あふれる状態で発話者の画像と発話音声の
翻訳された合成音声を視聴できる。
イクロホンアレーと撮像手段に加えて、方向推定手段
と、ビームフォーミング手段と、撮像手段のための回転
機構の制御手段とをさらに備えたので、発話者の画像
と、発話音声の翻訳された合成音声を同時にかつリアル
タイムに出力することができ、翻訳した音声に同期して
元言語ではあるが発話者の映像が写し出されることによ
って、臨場感あふれる状態で発話者の画像と発話音声の
翻訳された合成音声を視聴できる。
【図１】 本発明に係る一実施形態である音声翻訳シス
テムの構成を示すブロック図である。
テムの構成を示すブロック図である。
１０…マイクロホンアレー、 １１…マイクロホン、 １２…Ａ／Ｄ変換器、 １３…方向推定部、 １４…ビームフォーミング部、 １５…特徴抽出部、 １６…音声認識部、 １７…音声翻訳部、 １８…音声合成部、 １９…低周波増幅器、 ２０…スピーカ、 ２１…音素ベース単語ＨＭＭメモリ、 ２２…音声翻訳対訳用例メモリ、 ３０…ＣＣＤカメラ、 ３１…回転機構部、 ３２…回転機構制御部、 ３３…映像信号処理部、 ３４…ＣＲＴディスプレイ。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/15 ６３０ Ｇ１０Ｌ 3/00 ５１１ ５Ｊ０８３ // Ｇ０１Ｓ 3/802 ５５１Ｃ (72)発明者 ライナー・グルーン 京都府相楽郡精華町光台二丁目２番地２ 株式会社エイ・ティ・アール音声言語通信 研究所内 (72)発明者 松井 知子 京都府相楽郡精華町光台二丁目２番地２ 株式会社エイ・ティ・アール音声言語通信 研究所内 (72)発明者 中村 哲 京都府相楽郡精華町光台二丁目２番地２ 株式会社エイ・ティ・アール音声言語通信 研究所内 Ｆターム(参考） 5B091 CB12 CB32 CD03 CD15 5C022 AB63 5C064 AA06 AB04 AC09 AC13 AD03 AD13 5D015 AA01 AA05 BB01 DD02 KK01 KK04 LL06 LL12 5D045 AB03 5J083 AA05 AD17 BC01
Claims (1)
- 【請求項１】 発話者が発話する音声を受信する複数の
マイクロホンを所定の間隔で並置してなるマイクロホン
アレーと、 上記各マイクロホンから出力される電気信号に基づいて
上記マイクロホンアレーで受信される音声を発話する発
話者の方位角を推定する推定手段と、 上記推定手段により推定された発話者の方位角の方向に
対応するビーム信号を生成するビームフォーミング手段
と、 上記ビームフォーミング手段によって生成されたビーム
信号に対して音声認識を行って音声認識結果を出力する
音声認識手段と、 上記音声認識結果に対して音声翻訳を行って異なる言語
の翻訳文の文字列情報を出力する音声翻訳手段と、 上記翻訳文の文字列情報に対して音声合成を行って音声
合成結果の音声信号を出力する音声合成手段と、 上記発話者を撮像して映像信号を出力する撮像手段と、 上記推定手段により推定された発話者の方位角の方向に
基づいて、当該発話者の方位角の方向に上記撮像手段の
撮像方向を向ける方向制御手段とを備えたことを特徴と
する音声翻訳システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000324063A JP2002135642A (ja) | 2000-10-24 | 2000-10-24 | 音声翻訳システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000324063A JP2002135642A (ja) | 2000-10-24 | 2000-10-24 | 音声翻訳システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002135642A true JP2002135642A (ja) | 2002-05-10 |
Family
ID=18801651
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000324063A Pending JP2002135642A (ja) | 2000-10-24 | 2000-10-24 | 音声翻訳システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002135642A (ja) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005148301A (ja) * | 2003-11-13 | 2005-06-09 | Sony Corp | 音声処理装置と音声処理方法 |
| JP2006194959A (ja) * | 2005-01-11 | 2006-07-27 | Sony Corp | 音声検出装置、自動撮像装置、および音声検出方法 |
| JP2006194700A (ja) * | 2005-01-12 | 2006-07-27 | Hiroshima Industrial Promotion Organization | 音源方向推定システム、音源方向推定方法及び音源方向推定プログラム |
| JP2010021854A (ja) * | 2008-07-11 | 2010-01-28 | Internatl Business Mach Corp <Ibm> | 音源の位置検出方法及びシステム |
| JP2010026361A (ja) * | 2008-07-23 | 2010-02-04 | Internatl Business Mach Corp <Ibm> | 音声収集方法、システム及びプログラム |
| JP2012211768A (ja) * | 2011-03-30 | 2012-11-01 | Advanced Telecommunication Research Institute International | 音源定位装置 |
| US8363119B2 (en) | 2007-05-10 | 2013-01-29 | Huawei Technologies Co., Ltd. | System and method for controlling an image collecting device to carry out a target location |
| US9132331B2 (en) | 2010-03-19 | 2015-09-15 | Nike, Inc. | Microphone array and method of use |
| JP2015173502A (ja) * | 2011-02-23 | 2015-10-01 | クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ | 空間的選択音声拡張のためのシステム、方法、装置、およびコンピュータ可読媒体 |
| WO2017035768A1 (zh) * | 2015-09-01 | 2017-03-09 | 涂悦 | 一种基于视觉唤醒的语音控制方法 |
| JP2017067666A (ja) * | 2015-09-30 | 2017-04-06 | パナソニックＩｐマネジメント株式会社 | 物体検出装置、物体検出システム、及び物体検出方法 |
| US10880643B2 (en) | 2018-09-27 | 2020-12-29 | Fujitsu Limited | Sound-source-direction determining apparatus, sound-source-direction determining method, and storage medium |
| CN113312985A (zh) * | 2021-05-10 | 2021-08-27 | 中国地质大学（武汉） | 一种视听双模态的360度全方位说话人定位方法 |
| JP2021533423A (ja) * | 2018-11-30 | 2021-12-02 | ▲騰▼▲訊▼科技（深▲セン▼）有限公司 | オーディオ認識方法、ターゲットオーディオを位置決める方法、それらの装置、およびデバイスとコンピュータプログラム |
| JP7429107B2 (ja) | 2019-03-25 | 2024-02-07 | パナソニックホールディングス株式会社 | 音声翻訳装置、音声翻訳方法及びそのプログラム |
-
2000
- 2000-10-24 JP JP2000324063A patent/JP2002135642A/ja active Pending
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005148301A (ja) * | 2003-11-13 | 2005-06-09 | Sony Corp | 音声処理装置と音声処理方法 |
| JP2006194959A (ja) * | 2005-01-11 | 2006-07-27 | Sony Corp | 音声検出装置、自動撮像装置、および音声検出方法 |
| JP2006194700A (ja) * | 2005-01-12 | 2006-07-27 | Hiroshima Industrial Promotion Organization | 音源方向推定システム、音源方向推定方法及び音源方向推定プログラム |
| US8363119B2 (en) | 2007-05-10 | 2013-01-29 | Huawei Technologies Co., Ltd. | System and method for controlling an image collecting device to carry out a target location |
| JP2010021854A (ja) * | 2008-07-11 | 2010-01-28 | Internatl Business Mach Corp <Ibm> | 音源の位置検出方法及びシステム |
| JP2010026361A (ja) * | 2008-07-23 | 2010-02-04 | Internatl Business Mach Corp <Ibm> | 音声収集方法、システム及びプログラム |
| US9132331B2 (en) | 2010-03-19 | 2015-09-15 | Nike, Inc. | Microphone array and method of use |
| JP2015173502A (ja) * | 2011-02-23 | 2015-10-01 | クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ | 空間的選択音声拡張のためのシステム、方法、装置、およびコンピュータ可読媒体 |
| JP2012211768A (ja) * | 2011-03-30 | 2012-11-01 | Advanced Telecommunication Research Institute International | 音源定位装置 |
| WO2017035768A1 (zh) * | 2015-09-01 | 2017-03-09 | 涂悦 | 一种基于视觉唤醒的语音控制方法 |
| JP2017067666A (ja) * | 2015-09-30 | 2017-04-06 | パナソニックＩｐマネジメント株式会社 | 物体検出装置、物体検出システム、及び物体検出方法 |
| WO2017056380A1 (ja) * | 2015-09-30 | 2017-04-06 | パナソニックＩｐマネジメント株式会社 | 物体検出装置、物体検出システム、及び物体検出方法 |
| US10880643B2 (en) | 2018-09-27 | 2020-12-29 | Fujitsu Limited | Sound-source-direction determining apparatus, sound-source-direction determining method, and storage medium |
| JP2021533423A (ja) * | 2018-11-30 | 2021-12-02 | ▲騰▼▲訊▼科技（深▲セン▼）有限公司 | オーディオ認識方法、ターゲットオーディオを位置決める方法、それらの装置、およびデバイスとコンピュータプログラム |
| JP7158806B2 (ja) | 2018-11-30 | 2022-10-24 | ▲騰▼▲訊▼科技（深▲セン▼）有限公司 | オーディオ認識方法、ターゲットオーディオを位置決める方法、それらの装置、およびデバイスとコンピュータプログラム |
| US11967316B2 (en) | 2018-11-30 | 2024-04-23 | Tencent Technology (Shenzhen) Company Limited | Audio recognition method, method, apparatus for positioning target audio, and device |
| JP7429107B2 (ja) | 2019-03-25 | 2024-02-07 | パナソニックホールディングス株式会社 | 音声翻訳装置、音声翻訳方法及びそのプログラム |
| CN113312985A (zh) * | 2021-05-10 | 2021-08-27 | 中国地质大学（武汉） | 一种视听双模态的360度全方位说话人定位方法 |
| CN113312985B (zh) * | 2021-05-10 | 2023-05-26 | 中国地质大学（武汉） | 一种视听双模态的360度全方位说话人定位方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108369811B (zh) | 分布式音频捕获和混合 | |
| JP2002135642A (ja) | 音声翻訳システム | |
| US9864745B2 (en) | Universal language translator | |
| EP2984852B1 (en) | Method and apparatus for recording spatial audio | |
| EP2446642B1 (en) | Method and apparatus for processing audio signals | |
| US20110096915A1 (en) | Audio spatialization for conference calls with multiple and moving talkers | |
| Donley et al. | Easycom: An augmented reality dataset to support algorithms for easy communication in noisy environments | |
| JP3537962B2 (ja) | 音声収集装置及び音声収集方法 | |
| CN110858476B (zh) | 一种基于麦克风阵列的声音采集方法及装置 | |
| CN110349582B (zh) | 显示装置与远场语音处理电路 | |
| CN113203988B (zh) | 声源定位方法及装置 | |
| US20230260525A1 (en) | Transform ambisonic coefficients using an adaptive network for preserving spatial direction | |
| CN110169082B (zh) | 用于组合音频信号输出的方法和装置、及计算机可读介质 | |
| KR101976937B1 (ko) | 마이크로폰 어레이를 이용한 회의록 자동작성장치 | |
| CN111429916B (zh) | 一种声音信号记录系统 | |
| JP7400364B2 (ja) | 音声認識システム及び情報処理方法 | |
| WO2023056905A1 (zh) | 声源定位方法、装置及设备 | |
| JP2001313992A (ja) | 収音装置および収音方法 | |
| JP2022062874A (ja) | 話者予測方法、話者予測装置、およびコミュニケーションシステム | |
| Pasha et al. | A survey on ad hoc signal processing: Applications, challenges and state-of-the-art techniques | |
| WO2021206679A1 (en) | Audio-visual multi-speacer speech separation | |
| JP3518579B2 (ja) | 発言者追随型場内拡声装置と音声入力方法 | |
| CN114762039A (zh) | 一种会议数据处理方法及相关设备 | |
| Lin et al. | Description of the caip speech corpus. | |
| Nishiura et al. | Automatic Steering Of Microphone Array And Video Camera Toward Multi-Lingual Tele-Conference Through Speech-To-Speech Translation. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040831 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040914 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050412 |