JP2006148816A - 中継制御装置、多地点間会議システム及び多地点間会議方法 - Google Patents
中継制御装置、多地点間会議システム及び多地点間会議方法 Download PDFInfo
- Publication number
- JP2006148816A JP2006148816A JP2004339565A JP2004339565A JP2006148816A JP 2006148816 A JP2006148816 A JP 2006148816A JP 2004339565 A JP2004339565 A JP 2004339565A JP 2004339565 A JP2004339565 A JP 2004339565A JP 2006148816 A JP2006148816 A JP 2006148816A
- Authority
- JP
- Japan
- Prior art keywords
- volume
- terminal
- multipoint conference
- command
- voice data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
- H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
- Telephone Function (AREA)
Abstract
【課題】 容易な調節により端末からの声を適切な音量で受信し、調節状況を確認する。
【解決手段】 多地点間会議に参加している複数の端末102−1〜102−nを中継、制御する中継制御装置101内に設けられたDTMF信号抽出命令解読部203−1〜203−nにおいて、端末102−1〜102−nから送信された音声データからDTMF信号を抽出し、抽出されたDTMF信号による命令を解読し、解読された命令にしたがって、ミキサ204−1〜204−nにおいてDTMF信号が抽出された音声データの音量を調節し、調節した状況を通知する。これにより、自端末もしくは他の端末の音声データの音量を端末102−1〜102−nからそれぞれ調節することができ、その調節された音量調節状況について端末102−1〜102−n上で確認することができる。
【選択図】図2
【解決手段】 多地点間会議に参加している複数の端末102−1〜102−nを中継、制御する中継制御装置101内に設けられたDTMF信号抽出命令解読部203−1〜203−nにおいて、端末102−1〜102−nから送信された音声データからDTMF信号を抽出し、抽出されたDTMF信号による命令を解読し、解読された命令にしたがって、ミキサ204−1〜204−nにおいてDTMF信号が抽出された音声データの音量を調節し、調節した状況を通知する。これにより、自端末もしくは他の端末の音声データの音量を端末102−1〜102−nからそれぞれ調節することができ、その調節された音量調節状況について端末102−1〜102−n上で確認することができる。
【選択図】図2
Description
本発明は、多地点に存在し、無線または有線によって接続された複数の端末間にて行う多地点間会議に用いられる中継制御装置、多地点間会議システム及び多地点間会議方法に関する。
近年、ADSLや光などによるネットワークの高速化に伴い、ネットワークを経由し、パケット化された画像や音声の符号化データを通信するVoIP(Voice over IP)やTVoIP(TV over IP)と呼ばれる技術を使用した双方向通信システム及び会議システムが急速に普及してきている。それに伴い、複数の端末が接続されて構成される多地点間会議システムについては、専用端末が必要であった従来のシステムから、パソコンを端末として用いたシステムへ移行されつつある。
また、第三世代携帯電話では、回線交換(CS)方式でのTV電話をサポートしている端末があり、これらの携帯電話端末とIPネットワークに接続するTVoIPクライアントとを接続するゲートウェイも存在している。これらを用いて、多地点間会議システムに携帯電話端末を使用する動きがある。
多地点間会議システムにおいては、各端末の音量調節が重要課題であり、その音量を調節する方法が考えられている(例えば、特許文献1,2参照。)。
これらの文献に記載された多地点間会議装置は、多地点間会議システムにおいて、会議参加者が、他の会議参加者の声を任意の音量に調節して聞くことができるものであり、自端末以外の他の端末の音声を端末毎に任意の音量に調節する手段と、その音量を調節する情報を多地点間会議制御装置に通知する手段とを有している。また、多地点間会議制御装置は、各端末に音声信号を出力する際、各端末から受信した音量を調節する情報に基づいて、それ以外の端末から受信した音声信号の音量を調節し、各端末に送信する。
また、任意の端末からそれ以外の端末に対して、DTMF(Dial Tone Multi Frequency)信号を使用して、送信される音量を調節する指示を行い、指示された端末において指示された音量で音声を送信する方法も考えられている(例えば、特許文献3,4参照。)。
特開平5−48747号公報
特開平10−136101号公報
特開平9−191220号公報
特開2002−368866号公報
しかしながら、特許文献1,2に記載された方法については、多地点間会議に参加する各端末に、特別に音量調節信号を生成する機能あるいは装置を設けなければならないという問題点がある。
また、特許文献3,4に記載された方法については、各端末にDTMF信号を検出する機能の追加が必要となり、さらに自端末から送信する音量については、自端末自身では調節できないといった問題点がある。
また、上述した音量調節方法では、調節された音量調節状況が、各端末において認識されないため、例えば、自端末がミュート状態に設定されているにもかかわらず、それに気づかず発言してしまい、その発言内容が他の端末に届かないといった問題点がある。
本発明は、上述したような従来の技術が有する問題点を鑑みてなされたものであって、多地点間会議において容易な調節により各端末から適切な音量で話すことができ、また、各端末からの音声を適切な音量で聞くことができ、さらに、その音量調節状況を端末上で確認することができる中継制御装置、多地点間会議システム及び多地点間会議方法を提供することを目的とする。
上記目的を達成するために本発明は、
多地点間会議に参加する複数の端末を互いに接続して音声データの中継及び制御を行う中継制御装置であって、
前記端末から送信された音声データからDTMF信号を抽出するDTMF信号抽出手段と、
前記DTMF信号抽出手段によって抽出されたDTMF信号による命令を解読する命令解読手段と、
前記命令解読手段によって解読された命令に基づいて、前記端末の音声データの音量を調節する音量制御手段とを有する。
多地点間会議に参加する複数の端末を互いに接続して音声データの中継及び制御を行う中継制御装置であって、
前記端末から送信された音声データからDTMF信号を抽出するDTMF信号抽出手段と、
前記DTMF信号抽出手段によって抽出されたDTMF信号による命令を解読する命令解読手段と、
前記命令解読手段によって解読された命令に基づいて、前記端末の音声データの音量を調節する音量制御手段とを有する。
また、前記音量制御手段は、音声データからDTMF信号が抽出された端末以外の多地点間会議に参加する少なくとも1つの端末が出力する音声データのうち、DTMF信号が抽出された端末の音声データの音量を調節することを特徴とする。
また、多地点間会議に参加する複数の端末を互いに接続して音声データの中継及び制御を行う中継制御装置であって、
前記端末から送信された音声データから音声を検出し、該音声が検出されなかった場合に、音量を調節する命令を出力する音声検出手段と、
前記音声検出手段によって出力された命令に基づいて、前記端末の音声データの音量を調節する音量制御手段とを有する。
前記端末から送信された音声データから音声を検出し、該音声が検出されなかった場合に、音量を調節する命令を出力する音声検出手段と、
前記音声検出手段によって出力された命令に基づいて、前記端末の音声データの音量を調節する音量制御手段とを有する。
また、前記音量制御手段は、音声データの検出が行われた端末以外の多地点間会議に参加する少なくとも1つの端末が出力する音声データのうち、音声データの検出が行われた端末の音声データの音量を調節することを特徴とする。
また、多地点間会議に参加する複数の端末を互いに接続して音声データの中継及び制御を行う中継制御装置であって、
前記端末から送信された音声データから命令を認識する音声認識手段と、
前記音声認識手段によって認識された命令に基づいて、前記端末の音声データの音量を調節する音量制御手段とを有する。
前記端末から送信された音声データから命令を認識する音声認識手段と、
前記音声認識手段によって認識された命令に基づいて、前記端末の音声データの音量を調節する音量制御手段とを有する。
また、前記音量制御手段は、音声データから命令を認識された端末以外の多地点間会議に参加する少なくとも1つの端末が出力する音声データのうち、音声データから命令を認識された端末の音声データの音量を調節することを特徴とする。
また、多地点間会議に参加する複数の端末を互いに接続して音声データの中継及び制御を行う中継制御装置であって、
前記端末からの音声データの音量を検出し、前に検出された音声データの音量との差分を計算し、該計算の結果に基づいて音量を調節する命令を出力する音量変化検出手段と、
前記音量変化検出手段によって出力された命令に基づいて、前記端末の音声データの音量を調節する音量制御手段とを有する。
前記端末からの音声データの音量を検出し、前に検出された音声データの音量との差分を計算し、該計算の結果に基づいて音量を調節する命令を出力する音量変化検出手段と、
前記音量変化検出手段によって出力された命令に基づいて、前記端末の音声データの音量を調節する音量制御手段とを有する。
また、前記音量制御手段は、音声データの音量を検出し、前に検出された音声データの音量との差分を計算された端末以外の多地点間会議に参加する少なくとも1つの端末が出力する音声データのうち、音声データの音量を検出し、前に検出された音声データの音量との差分を計算された端末の音声データの音量を調節することを特徴とする。
また、前記音量制御手段によって音量を調節する時間を制限するタイマを有することを特徴とする。
また、前記命令解読手段によって解読された命令を、音量調節状況として前記端末に通知する音量調節状況通知手段を有することを特徴とする。
また、前記音声検出手段によって出力された命令を、音量調節状況として前記端末に通知する音量調節状況通知手段を有することを特徴とする。
また、前記音声認識手段によって認識された命令を、音量調節状況として前記端末に通知する音量調節状況通知手段を有することを特徴とする。
また、前記音量変化検出手段によって出力された命令を、音量調節状況として前記端末に通知する音量調節状況通知手段を有することを特徴とする。
また、前記音量調節状況通知手段は、音声により音量調節状況を通知することを特徴とする。
また、前記音量調節状況通知手段は、映像により音量調節状況を通知することを特徴とする。
また、多地点間会議に参加する複数の端末と、該複数の端末を互いに接続して音声データの中継及び制御を行う中継制御装置とを少なくとも有してなる多地点間会議システムであって、
前記中継制御装置は、
前記端末から送信された音声データからDTMF信号を抽出するDTMF信号抽出手段と、
前記DTMF信号抽出手段によって抽出されたDTMF信号による命令を解読する命令解読手段と、
前記命令解読手段によって解読された命令に基づいて、前記端末の音声データの音量を調節する音量制御手段とを有する。
前記中継制御装置は、
前記端末から送信された音声データからDTMF信号を抽出するDTMF信号抽出手段と、
前記DTMF信号抽出手段によって抽出されたDTMF信号による命令を解読する命令解読手段と、
前記命令解読手段によって解読された命令に基づいて、前記端末の音声データの音量を調節する音量制御手段とを有する。
また、前記音量制御手段は、音声データからDTMF信号が抽出された端末以外の多地点間会議に参加する少なくとも1つの端末が出力する音声データのうち、音声データからDTMF信号が抽出された端末の音声データの音量を調節することを特徴とする。
また、多地点間会議に参加する複数の端末と、該複数の端末を互いに接続して音声データの中継及び制御を行う中継制御装置とを少なくとも有してなる多地点間会議システムであって、
前記中継制御装置は、
前記端末から送信された音声データから音声を検出し、該音声が検出されなかった場合に、音量を調節する命令を出力する音声検出手段と、
前記音声検出手段によって出力された命令に基づいて、前記端末の音声データの音量を調節する音量制御手段とを有する。
前記中継制御装置は、
前記端末から送信された音声データから音声を検出し、該音声が検出されなかった場合に、音量を調節する命令を出力する音声検出手段と、
前記音声検出手段によって出力された命令に基づいて、前記端末の音声データの音量を調節する音量制御手段とを有する。
また、前記音量制御手段は、音声データの検出が行われた端末以外の多地点間会議に参加する少なくとも1つの端末が出力する音声データのうち、音声データの検出が行われた端末の音声データの音量を調節することを特徴とする。
また、多地点間会議に参加する複数の端末と、該複数の端末を互いに接続して音声データの中継及び制御を行う中継制御装置とを少なくとも有してなる多地点間会議システムであって、
前記中継制御装置は、
前記端末から送信された音声データから命令を認識する音声認識手段と、
前記音声認識手段によって認識された命令に基づいて、前記端末の音声データの音量を調節する音量制御手段とを有する。
前記中継制御装置は、
前記端末から送信された音声データから命令を認識する音声認識手段と、
前記音声認識手段によって認識された命令に基づいて、前記端末の音声データの音量を調節する音量制御手段とを有する。
また、前記音量制御手段は、音声データから命令を認識された端末以外の多地点間会議に参加する少なくとも1つの端末が出力する音声データのうち、音声データから命令を認識された端末の音声データの音量を調節することを特徴とする。
また、地点間会議に参加する複数の端末と、該複数の端末を互いに接続して音声データの中継及び制御を行う中継制御装置とを少なくとも有してなる多地点間会議システムであって、
前記中継制御装置は、
前記端末からの音声データの音量を検出し、前に検出された音声データの音量との差分を計算し、該計算の結果に基づいて音量を調節する命令を出力する音量変化検出手段と、
前記音量変化検出手段によって出力された命令に基づいて、前記端末の音声データの音量を調節する音量制御手段とを有する。
前記中継制御装置は、
前記端末からの音声データの音量を検出し、前に検出された音声データの音量との差分を計算し、該計算の結果に基づいて音量を調節する命令を出力する音量変化検出手段と、
前記音量変化検出手段によって出力された命令に基づいて、前記端末の音声データの音量を調節する音量制御手段とを有する。
また、前記音量制御手段は、音声データの音量を検出し、前に検出された音声データの音量との差分を計算された端末以外の多地点間会議に参加する少なくとも1つの端末が出力する音声データのうち、音声データの音量を検出し、前に検出された音声データの音量との差分を計算された端末の音声データの音量を調節することを特徴とする。
また、前記中継制御装置は、前記音量制御手段によって音量を調節する時間を制限するタイマを有することを特徴とする。
また、前記中継制御装置は、前記命令解読手段によって解読された命令を、音量調節状況として前記端末に通知する音量調節状況通知手段と有することを特徴とする。
また、前記中継制御装置は、前記音声検出手段によって出力された命令を、音量調節状況として前記端末に通知する音量調節状況通知手段と有することを特徴とする。
また、前記中継制御装置は、前記音声認識手段によって認識された命令を、音量調節状況として前記端末に通知する音量調節状況通知手段と有することを特徴とする。
また、前記中継制御装置は、前記音量変化検出手段によって出力された命令を、音量調節状況として前記端末に通知する音量調節状況通知手段と有することを特徴とする。
また、前記音量調節状況通知手段は、音声により音量調節状況を通知することを特徴とする。
また、前記音量調節状況通知手段は、映像により音量調節状況を通知することを特徴とする。
また、多地点間会議に参加する複数の端末と接続された中継制御装置にて、前記端末が送信する音声データを中継する多地点間会議方法であって、
前記端末から送信された音声データを受信し、該音声データからDTMF信号を抽出する処理と、
前記抽出されたDTMF信号による命令を解読する処理と、
前記解読された命令に基づいて、前記端末の音声データの音量を調節する処理とを有する。
前記端末から送信された音声データを受信し、該音声データからDTMF信号を抽出する処理と、
前記抽出されたDTMF信号による命令を解読する処理と、
前記解読された命令に基づいて、前記端末の音声データの音量を調節する処理とを有する。
また、音声データからDTMF信号が抽出された端末以外の多地点間会議に参加する少なくとも1つの端末が出力する音声データのうち、音声データからDTMF信号が抽出された端末の音声データの音量を調節することを特徴とする。
また、多地点間会議に参加する複数の端末と接続された中継制御装置にて、前記端末が送信する音声データを中継する多地点間会議方法であって、
前記端末から送信された音声データから音声を検出し、該音声が検出されなかった場合に、音量を調節する命令を出力する処理と、
前記出力された命令に基づいて、前記端末の音声データの音量を調節する処理とを有する。
前記端末から送信された音声データから音声を検出し、該音声が検出されなかった場合に、音量を調節する命令を出力する処理と、
前記出力された命令に基づいて、前記端末の音声データの音量を調節する処理とを有する。
また、音声データの検出が行われた端末以外の多地点間会議に参加する少なくとも1つの端末が出力する音声データのうち、音声データの検出が行われた端末の音声データの音量を調節することを特徴とする。
また、多地点間会議に参加する複数の端末と接続された中継制御装置にて、前記端末が送信する音声データを中継する多地点間会議方法であって、
前記端末から送信された音声データから命令を認識する処理と、
前記認識された命令に基づいて、前記端末の音声データの音量を調節する処理とを有する。
前記端末から送信された音声データから命令を認識する処理と、
前記認識された命令に基づいて、前記端末の音声データの音量を調節する処理とを有する。
また、音声データから命令を認識された端末以外の多地点間会議に参加する少なくとも1つの端末が出力する音声データのうち、音声データから命令を認識された端末の音声データの音量を調節することを特徴とする。
また、多地点間会議に参加する複数の端末と接続された中継制御装置にて、前記端末が送信する音声データを中継する多地点間会議方法であって、
前記端末からの音声データの音量を検出し、前に検出された音声データの音量との差分を計算し、該計算の結果に基づいて音量を調節する命令を出力する処理と、
前記出力された命令に基づいて、前記端末の音声データの音量を調節する処理とを有する。
前記端末からの音声データの音量を検出し、前に検出された音声データの音量との差分を計算し、該計算の結果に基づいて音量を調節する命令を出力する処理と、
前記出力された命令に基づいて、前記端末の音声データの音量を調節する処理とを有する。
また、前記音量制御手段は、音声データの音量を検出し、前に検出された音声データの音量との差分を計算された端末以外の多地点間会議に参加する少なくとも1つの端末が出力する音声データのうち、音声データの音量を検出し、前に検出された音声データの音量との差分を計算された端末の音声データの音量を調節することを特徴とする。
また、音量を調節する時間を制限する処理を有することを特徴とする。
また、前記命令を、音声調節状況として前記端末に通知する処理を有することを特徴とする。
また、前記音量調節状況を音声により通知することを特徴とする。
また、前記音量調節状況を映像により通知することを特徴とする。
上記のように構成された本発明においては、多地点間会議に参加する複数の端末を互いに接続して音声データの中継及び制御を行う中継制御装置において、端末から送信された音声データの中からDTMF信号が抽出され、抽出されたDTMF信号による命令が解読され、解読された命令にしたがって音声データの音量が調節される。
このように、多地点間会議に参加する端末の音声データの音量を端末に特別な機能を追加することなく調節することができる。
以上説明したように本発明においては、中継制御装置において端末から送信された音声データの中からDTMF信号を抽出し、抽出されたDTMF信号による命令を解読し、解読された命令にしたがって音声データの音量を調節する構成としたため、多地点間会議において容易な調節により各端末から適切な音量で話すことができ、また、各端末からの音声を適切な音量で聞くことができる。
以下に、本発明の実施の形態について図面を参照して説明する。
(第1の実施の形態)
図1は、本発明の多地点間会議システムの実施の一形態を示す図である。
図1は、本発明の多地点間会議システムの実施の一形態を示す図である。
本形態は図1に示すように、中継制御装置101と、中継制御装置101を介して接続された複数の端末102−1〜102−nとから構成されており、各端末102−1〜102−nは多地点間会議システムを利用した多地点間会議に参加可能となっている。
図2は、図1に示した多地点間会議システムにおける中継制御装置101の第1の実施の形態を示す図である。
図2に示すように本形態における中継制御装置101は、端末102−1〜102−nから音声ストリーム信号をそれぞれ受信して出力する受信部201−1〜201−nと、受信部201−1〜201−nから出力された音声ストリーム信号を内部で処理するための内部入力信号にデコードして出力するデコーダ202−1〜202−nと、デコーダ202−1〜202−nから出力された内部入力信号からDTMF信号を抽出し、内部入力信号をDTMF信号と音声データに分け、検出されたDTMF信号を解読し、解読された命令信号を出力するDTMF信号抽出命令解読部203−1〜203−nと、DTMF信号抽出命令解読部203−1〜203−nから出力された命令信号に基づいて各端末の音声データの音量を調節し、調整された音量の音声データを内部出力信号として出力するミキサ204−1〜204−nと、ミキサ204−1〜204−nから出力された内部出力信号を音声ストリーム信号に変換して出力するエンコーダ205−1〜205−nと、エンコーダ205−1〜205−nから出力された音声ストリーム信号が入力され、端末102−1〜102−nへ送信する送信部206−1〜206−nと、これらを制御する制御部207とから構成されている。
図3は、図2に示した中継制御装置101におけるDTMF信号抽出命令解読部203−1の構成を示す図である。
図3に示すようにDTMF信号抽出命令解読部203−1は、デコーダ202−1から出力された内部入力信号からDTMF信号を検出し、DTMF信号と音声データとを分けて出力するDTMF信号抽出部301と、DTMF信号抽出部301から出力されたDTMF信号の命令を解読して命令信号を出力する命令解読部302とから構成されている。なお、DTMF信号抽出命令解読部203−2〜203−nについても同様の構成とする。
図4は、図2に示した中継制御装置101におけるミキサ204−1の構成を示す図である。なお、ミキサ204−2〜204−nについても同様の構成とする。
図4に示すようにミキサ204−1は、図2に示した中継制御装置101のDTMF信号抽出命令解読部203−1〜203−nからそれぞれ出力された命令信号により、各端末の音声データの音量を調節して出力する命令処理部401−1〜401−nと、命令処理部401−1〜401−nから出力された各音声データを合成して内部出力信号として出力する合成部402とから構成されている。
図5は、図4に示した命令処理部401−1の構成を示す図である。なお、命令処理部401−2〜401−nについても同様の構成とする。
図5に示すように命令処理部401−1は、DTMF信号抽出命令解読部203−1〜203−nからそれぞれ出力された命令信号及びDTMF信号抽出命令解読部203−1から出力された音声データが入力され、入力された命令信号と制御部207との指示により、入力された音声データを無音データや別のデータに置換するストリーム置換部501と、入力された命令信号と制御部207との指示により、入力された音声データの音量を調節する音量制御部502とから構成されている。
ここで、別のデータとは、例えば白色雑音やBGM等のデータを表す。
以下に、上記のように構成された多地点間会議システムの第1の実施の形態における多地点間会議方法について説明する。
図6は、図1〜5に示した多地点間会議システムにおける多地点間会議方法を説明するためのフローチャートである。
まず、多地点間会議に参加している端末102−1から、他の端末102−2〜102−nの音量を調節するためのDTMF信号が音声ストリームに重畳されて送信される(ステップS1)。なお、端末102−1〜102−nのどのキーを押すと、どの端末102−1〜102−nからの音量をどのように調節できるかが、予めシステム全体で決められており、制御部207内に設定されている。
端末102−1から送信された音声ストリーム信号は、中継制御装置101の受信部201−1にて受信される(ステップS2)。受信された音声ストリーム信号はデコーダ202−1へ出力され、デコーダ202−1において、内部で処理するための内部入力信号にデコードされる(ステップS3)。
デコードされた内部入力信号は、デコーダ202−1からDTMF信号抽出命令解読部203−1へ出力され、DTMF信号抽出命令解読部203−1に入力された内部入力信号は、DTMF信号抽出命令解読部203−1内のDTMF信号抽出部301において、通常の音声データかDTMF信号かが判断される(ステップS4)。
DTMF信号抽出部301においてDTMF信号であると判断された信号は、命令解読部302へ出力され、命令解読部302において、制御部207に予め設定された内容に基づいて命令が解読され(ステップS5)、解読された内容が命令信号としてミキサ204−1〜204−nへ出力される。一方、DTMF信号抽出部301において音声と判断された音声データも、ミキサ204−1〜204−nへ出力される。なお、他の端末102−2〜102−nから送信された音声データについても、ステップS2〜S5と同様の処理が行われ、ミキサ204−1〜204−nへ出力される。
ミキサ204−1へ出力された命令信号及び各音声データは、ミキサ204−1内の各命令処理部401−1〜401−nに入力され、それぞれ命令信号に基づいて、その音声データが無音データや別のデータへストリーム置換されるデータか、入力された音声データの音量調節用のデータかが判断される(ステップS6)。
ストリーム置換されるデータであると判断された場合、ストリーム置換部501において、音声データが無音データや別のデータへストリーム置換され、合成部402へ出力される(ステップS7)。また、音量調節用のデータと判断された場合は、入力された音声データの音量が命令信号により調節され、合成部402へ出力される(ステップS8)。
また、他の端末102−2〜102−nからそれぞれ送信された命令信号については、ステップS6〜S8と同様の処理が行われることにより、他の端末102−2〜102−nから送信された命令信号に基づいて、各音声データは無音データや別のデータへストリーム置換され、または、音量が調節され、合成部402へ出力される。
上述したストリーム置換されたデータと、音量が調節された音声データとが、合成部402において内部出力信号として合成され(ステップS9)、エンコーダ205−1へ出力される。
エンコーダ205−1において、内部出力信号は再び音声ストリーム信号にエンコードされ(ステップS10)、送信部206−1へ出力される。
送信部206−1に入力された音声ストリーム信号は、端末102−1に送信され(ステップS11)、端末102−1にて受信される(ステップS12)。
なお、DTMF信号検出命令処理部203−2〜203−nについても、DTMF信号検出命令処理部203−1と同様の処理を行い、また、ミキサ204−2〜204−nについても、ミキサ204−1と同様の処理を行う。
(第2の実施の形態)
第1の実施の形態に示したもののように、端末からDTMF信号を送信して音量を調節するのではなく、端末からの音声データに音声が検出されない場合に、音声データに対して所定の処理を行うことも考えられる。
第1の実施の形態に示したもののように、端末からDTMF信号を送信して音量を調節するのではなく、端末からの音声データに音声が検出されない場合に、音声データに対して所定の処理を行うことも考えられる。
図7は、図1に示した多地点間会議システムにおける中継制御装置101の第2の実施の形態を示す図である。
図7に示すように、本形態における中継制御装置101は、図2に示した中継制御装置101におけるDTMF信号検出命令処理部203−1〜203−nが音声検出処理部703−1〜703−nに置き換わったものである。
図8は、図7に示した音声検出処理部703−1の構成を示す図である。なお、音声検出処理部703−2〜703−nについても同様の構成とする。
図8に示すように音声検出処理部703−1は、入力された内部入力信号に音声データがあるかどうかが判断される音声検出部801から構成されている。
以下に、上記のように構成された多地点間会議システムの第2の実施の形態における多地点間会議方法について説明する。
図9は、図1に示した多地点間会議システムに図7及び図8に示した中継制御装置101を用いた場合における多地点間会議方法を説明するためのフローチャートである。
まず、多地点間会議に参加している端末102−1から音声ストリームが送信される(ステップS21)。
端末102−1から送信された音声ストリーム信号は、中継制御装置101の受信部201−1にて受信される(ステップS22)。受信された音声ストリーム信号はデコーダ202−1へ出力され、デコーダ202−1において、内部で処理するための内部入力信号にデコードされる(ステップS23)。
デコードされた内部入力信号は、デコーダ202−1から音声検出処理部703−1へ出力され、音声検出処理部703−1に入力された内部入力信号は、音声検出処理部703−1内の音声検出部801において、音声の検出処理が行われる(ステップS24)。
音声検出部801において音声が検出された場合は、音声としてミキサ204−1〜204−nへ出力される。また、音声が検出されなかった場合は、制御部207に予め設定された命令が音声検出部801から命令信号としてミキサ204−1〜204−nへ出力される(ステップS25)。
なお、他の端末102−2〜102−nから送信された音声データについても、ステップS22〜S25と同様の処理が行われ、ミキサ204−1〜204−nへ出力される。
ミキサ204−1へ出力された命令信号及び各音声データは、ミキサ204−1内の各命令処理部401−1〜401−nに入力され、それぞれ命令信号に基づいて、その音声データが無音データや別のデータへストリーム置換されるデータか、入力された音声データの音量調節用のデータかが判断される(ステップS26)。
ストリーム置換されるデータであると判断された場合、ストリーム置換部501において、音声データが無音データや別のデータへストリーム置換され、合成部402へ出力される(ステップS27)。また、音量調節用のデータと判断された場合は、入力された音声データの音量が命令信号により調節され、合成部402へ出力される(ステップS28)。
また、他の端末102−2〜102−nからそれぞれ送信された命令信号については、ステップS26〜S28と同様の処理が行われることにより、他の端末102−2〜102−nから送信された命令信号に基づいて、各音声データは無音データや別のデータへストリーム置換され、または、音量が調節され、合成部402へ出力される。
上述したストリーム置換されたデータと、音量が調節された音声データとが、合成部402において内部出力信号として合成され(ステップS29)、エンコーダ205−1へ出力される。
エンコーダ205−1において、内部出力信号は再び音声ストリーム信号にエンコードされ(ステップS30)、送信部206−1へ出力される。
送信部206−1に入力された音声ストリーム信号は、端末102−1に送信され(ステップS31)、端末102−1にて受信される(ステップS32)。
なお、音声検出処理部703−2〜703−nについても、音声検出処理部703−1と同様の処理を行い、また、ミキサ204−2〜204−nについても、ミキサ204−1と同様の処理を行う。
(第3の実施の形態)
第1の実施の形態に示したもののように、端末からDTMF信号を送信して音量を調節するのではなく、端末からの特定の音声データにより指示を行い、音声データの音量を調節することも考えられる。
第1の実施の形態に示したもののように、端末からDTMF信号を送信して音量を調節するのではなく、端末からの特定の音声データにより指示を行い、音声データの音量を調節することも考えられる。
図10は、図1に示した多地点間会議システムにおける中継制御装置101の第3の実施の形態を示す図である。
図10に示すように、本形態における中継制御装置101は、図2に示した中継制御装置101におけるDTMF信号検出命令処理部203−1〜203−nが音声認識命令解読部1003−1〜1003−nに置き換わったものである。
図11は、図10に示した音声認識命令解読部1003−1の構成を示す図である。なお、音声認識命令解読部1003−2〜1003−nについても同様の構成とする。
図11に示すように音声認識命令解読部1003−1は、入力された内部入力信号の音声を認識し、特定の音声について命令信号に変換する音声認識部1101から構成されている。
以下に、上記のように構成された多地点間会議システムの第3の実施の形態における多地点間会議方法について説明する。
図12は、図1に示した多地点間会議システムに図10及び図11に示した中継制御装置101を用いた場合における多地点間会議方法を説明するためのフローチャートである。
まず、多地点間会議に参加している端末102−1から音声ストリームが送信される(ステップS41)。
端末102−1から送信された音声ストリーム信号は、中継制御装置101の受信部201−1にて受信される(ステップS42)。受信された音声ストリーム信号はデコーダ202−1へ出力され、デコーダ202−1において、内部で処理するための内部入力信号にデコードされる(ステップS43)。
デコードされた内部入力信号は、デコーダ202−1から音声認識命令処理部1003−1へ出力され、音声認識命令処理部1003−1に入力された内部入力信号は、音声認識命令処理部1003−1内の音声認識部1101において、音声データの認識が行われる(ステップS44)。音声認識については、制御部207に予め命令として設定されている音声が認識された場合、命令信号に変換され、ミキサ204−1〜204−nへ出力される(ステップS45)。例えば、「小さく」という音声が認識された場合、音量を小さくする命令に変換されて出力される。
また、音声認識部1101において命令信号に変換されなかった音声データについてもミキサ204−1〜204−nへ出力される。
なお、他の端末102−2〜102−nから送信された音声データについても、ステップS42〜S45と同様の処理が行われ、ミキサ204−1〜204−nへ出力される。
ミキサ204−1へ出力された命令信号及び各音声データは、ミキサ204−1内の各命令処理部401−1〜401−nに入力され、それぞれ命令信号に基づいて、その音声データが無音データや別のデータへストリーム置換されるデータか、入力された音声データの音量調節用のデータかが判断される(ステップS46)。
ストリーム置換されるデータであると判断された場合、ストリーム置換部501において、音声データが無音データや別のデータへストリーム置換され、合成部402へ出力される(ステップS47)。また、音量調節用のデータと判断された場合は、入力された音声データの音量が命令信号により調節され、合成部402へ出力される(ステップS48)。
また、他の端末102−2〜102−nからそれぞれ送信された命令信号については、ステップS46〜S48と同様の処理が行われることにより、他の端末102−2〜102−nから送信された命令信号に基づいて、各音声データは無音データや別のデータへストリーム置換され、または、音量が調節され、合成部402へ出力される。
上述したストリーム置換されたデータと、音量が調節された音声データとが、合成部402において内部出力信号として合成され(ステップS49)、エンコーダ205−1へ出力される。
エンコーダ205−1において、内部出力信号は再び音声ストリーム信号にエンコードされ(ステップS50)、送信部206−1へ出力される。
送信部206−1に入力された音声ストリーム信号は、端末102−1に送信され(ステップS51)、端末102−1にて受信される(ステップS52)。
なお、音声認識命令解読部1003−2〜1003−nについても、音声認識命令解読部1003−1と同様の処理を行い、また、ミキサ204−2〜204−nについても、ミキサ204−1と同様の処理を行う。
(第4の実施の形態)
第1の実施の形態に示したもののように、端末からDTMF信号を送信して音量を調節するのではなく、端末からの音量の変化量に基づいて、自動的に音声データの音量を調節することも考えられる。
第1の実施の形態に示したもののように、端末からDTMF信号を送信して音量を調節するのではなく、端末からの音量の変化量に基づいて、自動的に音声データの音量を調節することも考えられる。
図13は、図1に示した多地点間会議システムにおける中継制御装置101の第4の実施の形態を示す図である。
図13に示すように、本形態における中継制御装置101は、図2に示した中継制御装置101におけるDTMF信号検出命令処理部203−1〜203−nが音量検出処理部1303−1〜1303−nに置き換わったものである。
図14は、図13に示した音量検出処理部1303−1の構成を示す図である。なお、音量検出処理部1303−2〜1303−nについても同様の構成とする。
図14に示すように音量検出処理部1303−1は、入力された内部入力信号の音声データの音量を検出し、前の音声データの音量との差分を計算し、その計算の結果に基づいて音声データの音量の調節を行う命令を出力する音量変化検出部1401から構成されている。
以下に、上記のように構成された多地点間会議システムの第4の実施の形態における多地点間会議方法について説明する。
図15は、図1に示した多地点間会議システムに図13及び図14に示した中継制御装置101を用いた場合における多地点間会議方法を説明するためのフローチャートである。
まず、多地点間会議に参加している端末102−1から音声ストリームが送信される(ステップS61)。
端末102−1から送信された音声ストリーム信号は、中継制御装置101の受信部201−1にて受信される(ステップS62)。受信された音声ストリーム信号はデコーダ202−1へ出力され、デコーダ202−1において、内部で処理するための内部入力信号にデコードされる(ステップS63)。
デコードされた内部入力信号は、デコーダ202−1から音量検出処理部1303−1へ出力され、音量検出処理部1303−1に入力された内部入力信号は、音量検出処理部1303−1内の音量変化検出部1401において、音量が検出され、前の音声データの音量との差分が計算され、計算された差分値が制御部207に予め設定されている条件を満たしているか判断される(ステップS64)。
音量変化検出部1401において検出された差分値が、制御部207に予め設定されている条件を満たしていると判断された場合、その条件に基づき変換された命令信号と、音声データとがミキサ204−1〜204−nへ出力される。
また、音量変化検出部1401において検出された差分値が、制御部207に予め設定されている条件を満たしていないと判断された音声データについてもミキサ204−1〜204−nへ出力される。
なお、他の端末102−2〜102−nから送信された音声データについても、ステップS62〜S64と同様の処理が行われ、ミキサ204−1〜204−nへ出力される。
ミキサ204−1へ出力された命令信号及び各音声データは、ミキサ204−1内の各命令処理部401−1〜401−nに入力され、それぞれ命令信号に基づいて、その音声データが無音データや別のデータへストリーム置換されるデータか、入力された音声データの音量調節用のデータかが判断される(ステップS65)。
ストリーム置換されるデータであると判断された場合、ストリーム置換部501において、音声データが無音データや別のデータへストリーム置換され、合成部402へ出力される(ステップS66)。また、音量調節用のデータと判断された場合は、入力された音声データの音量が命令信号により調節され、合成部402へ出力される(ステップS67)。
また、条件を満たしていないと判断された音声データについては、音量が調節されずに合成部402へ出力される。
また、他の端末102−2〜102−nからそれぞれ送信された命令信号については、ステップS65〜S67と同様の処理が行われることにより、他の端末102−2〜102−nから送信された命令信号に基づいて、各音声データは無音データや別のデータへストリーム置換され、または、音量が調節され、合成部402へ出力される。
上述したストリーム置換されたデータ、音量が調節された音声データ、及び条件を満たしていないと判断されたために音量が調節されなかった音声データが、合成部402において内部出力信号として合成され(ステップS68)、エンコーダ205−1へ出力される。
エンコーダ205−1において、内部出力信号は再び音声ストリーム信号にエンコードされ(ステップS69)、送信部206−1へ出力される。
送信部206−1に入力された音声ストリーム信号は、端末102−1に送信され(ステップS70)、端末102−1にて受信される(ステップS71)。
なお、音量検出処理部1303−2〜1303−nについても、音量検出処理部1303−1と同様の処理を行い、また、ミキサ204−2〜204−nについても、ミキサ204−1と同様の処理を行う。
(第5の実施の形態)
第1の実施の形態に示したものに、音量を調節する時間を制限する構成を付加することも考えられる。
第1の実施の形態に示したものに、音量を調節する時間を制限する構成を付加することも考えられる。
図16は、図1に示した多地点間会議システムにおける中継制御装置101の第5の実施の形態を示す図である。
図16に示すように、本形態における中継制御装置101は、図2に示したものに対して、制御部207に音量を制御するためのタイマ1602が接続されている点が異なるものである。
以下に、上記のように構成された多地点間会議システムの第5の実施の形態における多地点間会議方法について説明する。
図17は、図1に示した多地点間会議システムに図16に示した中継制御装置101を用いた場合における多地点間会議方法を説明するためのフローチャートである。
まず、多地点間会議に参加している端末102−1から、他の端末102−2〜102−nの音量を調節するためのDTMF信号が音声ストリームに重畳されて送信される(ステップS81)。ここで、端末102−1〜102−nのどのキーを押すと、どの端末102−1〜102−nからの音量をどのように調節できるかが、予めシステム全体で決められており、制御部207内に設定されている。
端末102−1から送信された音声ストリーム信号は、中継制御装置101の受信部201−1にて受信される(ステップS82)。受信された音声ストリーム信号はデコーダ202−1へ出力され、デコーダ202−1において、内部で処理するための内部入力信号にデコードされる(ステップS83)。
デコードされた内部入力信号は、デコーダ202−1からDTMF信号抽出命令解読部203−1へ出力され、DTMF信号抽出命令解読部203−1に入力された内部入力信号は、DTMF信号抽出命令解読部203−1内のDTMF信号抽出部301において、通常の音声データかDTMF信号かが判断される(ステップS84)。
DTMF信号抽出部301においてDTMF信号であると判断された信号は、命令解読部302へ出力され、命令解読部302において、制御部207に予め設定された内容に基づいて命令が解読され(ステップS85)、解読された内容が命令信号としてミキサ204−1〜204−nへ出力される。一方、DTMF信号抽出部301において音声と判断された音声データも、ミキサ204−1〜204−nへ出力される。なお、他の端末102−2〜102−nから送信された音声データについても、ステップS82〜S85と同様の処理が行われ、ミキサ204−1〜204−nへ出力される。
ミキサ204−1へ出力された命令信号及び各音声データは、ミキサ204−1内の命令処理部401−1〜401−nに入力される。
次に、入力された命令信号に基づいた命令が、実行される時間内にあるかどうかを判断するタイマ1602が起動中かどうか判断される(ステップS86)。起動中でない場合、制御部207によってタイマ1602が起動される(ステップS87)。
タイマ1602が起動中である場合、その命令が予め決められた命令実行可能時間内であるかどうかが判断され(ステップS88)、時間外であると判断された場合は、タイマ1602が停止され、入力された音声データはそのまま合成部402へ出力される(ステップS89)。
また、ステップS88において、時間内であると判断された場合は、それぞれ命令信号に基づいて、その音声データが無音データや別のデータへストリーム置換されるデータか、入力された音声データの音量調節用のデータかが判断される(ステップS90)。
ストリーム置換されるデータであると判断された場合、ストリーム置換部501において、音声データが無音データや別のデータへストリーム置換され、合成部402へ出力される(ステップS91)。また、音量調節用のデータと判断された場合は、入力された音声データの音量が命令信号により調節され、合成部402へ出力される(ステップS92)。
また、他の端末102−2〜102−nからそれぞれ送信された命令信号については、ステップS90〜S92と同様の処理が行われることにより、他の端末102−2〜102−nから送信された命令信号に基づいて、各音声データは無音データや別のデータへストリーム置換され、または、音量が調節され、合成部402へ出力される。
上述したストリーム置換されたデータ、音量が調節された音声データ、及びステップS88において時間外と判断されてそのまま出力された音声データが、合成部402において内部出力信号として合成され(ステップS93)、エンコーダ205−1へ出力される。
エンコーダ205−1において、内部出力信号は再び音声ストリーム信号にエンコードされ(ステップS94)、送信部206−1へ出力される。
送信部206−1に入力された音声ストリーム信号は、端末102−1に送信され(ステップS95)、端末102−1にて受信される(ステップS96)。
なお、DTMF信号検出命令処理部203−2〜203−nについても、DTMF信号検出命令処理部203−1と同様の処理を行い、また、ミキサ204−2〜204−nについても、ミキサ204−1と同様の処理を行う。
また、本形態において示したタイマ1602を、上述した第1〜4の実施の形態にて示した中継制御装置101に適用することも考えられる。
(第6の実施の形態)
第1の実施の形態に示したものに、音量を調節した状況を端末に通知する構成を付加することも考えられる。
第1の実施の形態に示したものに、音量を調節した状況を端末に通知する構成を付加することも考えられる。
図18は、図1及び図2に示した多地点間会議システムの中継制御装置101の第6の実施の形態におけるミキサ204−1の構成を示す図である。ここでは、音声調節状況の通知方法として音声信号に重畳して送信する例を示している。また、ミキサ204−2〜204−nについても同様の構成とする。
図18に示すように本形態におけるミキサ204−1は、図2に示した中継制御装置101のDTMF信号抽出命令解読部203−1〜203−nからそれぞれ出力された命令信号により、各音声データの音量を調節して出力する命令処理部401−1〜401−nと、DTMF信号抽出命令解読部203−1〜203−nからそれぞれ出力された命令信号が入力され、入力された命令信号を、端末102−1に対して音声調節状況を通知するために図2に示した中継制御装置101の制御部207に予め設定された形式の音声調節状況信号に変換して出力する音量調節状況通知手段である命令信号通知部1801と、命令処理部401−1〜401−nから出力された音声データと命令信号通知部1801から出力された音声調節状況信号とを合成して内部出力信号として出力する合成部402とから構成されている。
以下に、上記のように構成された多地点間会議システムの第6の実施の形態における多地点間会議方法について説明する。
図19は、図1及び図2に示した多地点間会議システムに図18に示したミキサ204−1を用いた場合における多地点間会議方法を説明するためのフローチャートである。
まず、多地点間会議に参加している端末102−1から、他の端末102−2〜102−nの音量を調節するためのDTMF信号が音声ストリームに重畳されて送信される(ステップS101)。ここで、端末102−1〜102−nのどのキーを押すと、どの端末102−1〜102−nからの音量をどのように調節できるかが、予めシステム全体で決められており、制御部207内に設定されている。
端末102−1から送信された音声ストリーム信号は、中継制御装置101の受信部201−1にて受信される(ステップS102)。受信された音声ストリーム信号はデコーダ202−1へ出力され、デコーダ202−1において、内部で処理するための内部入力信号にデコードされる(ステップS103)。
デコードされた内部入力信号は、デコーダ202−1からDTMF信号抽出命令解読部203−1へ出力され、DTMF信号抽出命令解読部203−1に入力された内部入力信号は、DTMF信号抽出命令解読部203−1内のDTMF信号抽出部301において、通常の音声データかDTMF信号かが判断される(ステップS104)。
DTMF信号抽出部301においてDTMF信号であると判断された信号は、命令解読部302へ出力され、命令解読部302において、制御部207に予め設定された内容に基づいて命令が解読され(ステップS105)、解読された内容が命令信号としてミキサ204−1〜204−nへ出力される。一方、DTMF信号抽出部301において音声と判断された音声データも、ミキサ204−1〜204−nへ出力される。なお、他の端末102−2〜102−nから送信された命令データ及び音声データについても、ステップS102〜S105と同様の処理が行われ、ミキサ204−1〜204−nへ出力される。
ミキサ204−1へ出力された各命令信号及び各音声データは、ミキサ204−1内の各命令処理部401−1〜401−nに入力され、それぞれ命令信号に基づいて、その音声データが無音データや別のデータへストリーム置換されるデータか、入力された音声データの音量調節用のデータかが判断される(ステップS106)。
また、各命令信号については、ミキサ204−1内の命令信号通知部1801に入力され、命令信号通知部1801において各命令信号に基づいて行った音量調節状況を端末102−1に通知するための形式に変換され、音声調節状況信号として合成部402へ出力される(ステップS107)。
また、ステップS106において、ストリーム置換されるデータであると判断された場合、ストリーム置換部501において、音声データが無音データや別のデータへストリーム置換され、合成部402へ出力される(ステップS108)。また、音量調節用のデータと判断された場合は、入力された音声データの音量が命令信号により調節され、合成部402へ出力される(ステップS109)。
また、他の端末102−2〜102−nからそれぞれ送信された命令信号については、ステップS106,S108,S109と同様の処理が行われることにより、他の端末102−2〜102−nから送信された命令信号に基づいて、各音声データは無音データや別のデータへストリーム置換され、または、音量が調節され、合成部402へ出力される。
上述した音声調節状況信号、ストリーム置換されたデータ、及び音量が調節された音声データが、合成部402において内部出力信号として合成され(ステップS110)、エンコーダ205−1へ出力される。
エンコーダ205−1において、内部出力信号は再び音声ストリーム信号にエンコードされ(ステップS111)、送信部206−1へ出力される。
送信部206−1に入力された音声ストリーム信号は、端末102−1に送信され(ステップS112)、端末102−1にて受信される(ステップS113)。
なお、DTMF信号検出命令処理部203−2〜203−nについても、DTMF信号検出命令処理部203−1と同様の処理を行い、また、ミキサ204−2〜204−nについても、ミキサ204−1と同様の処理を行う。
以下に、ステップS107において説明した音量調節状況の通知方法について、詳細に説明する。
上述した例では、現在の音量調節状況が端末102−1へ音声によって通知される例を示した。例えば、端末102−1がミュート状態に設定されている場合に、命令信号通知部1801においてミュート状態という命令信号がピッという音等の特定の音へ変換され、合成部402において通常の音声データに合成されて送信されることにより、現在の音量調節状況を端末102−1に通知することができる。特定の音でなくても、音楽が合成されて通知されるものでも良い。
また、数種類の音や音楽を使用することにより、端末102−1の音量調節状況だけでなく、端末102−1によって設定された他の端末102−2〜102−nの音量調節状況や、他の端末102−2〜102−nによって設定された自端末102−1の音量調節状況が通知されることも可能である。
音声による音量調節状況の通知では、通知する音量調節状況の数が多い場合、識別が容易ではなくなるため、映像による通知を行うことも考えられる。
例えば、端末102−1〜102−nに映像ストリーム機能が具備されている場合、端末102−1〜102−nのそれぞれの音量調節状況が、アイコン、文字列や記号等が画面の一部に表示されることにより通知が行われる。アイコン、文字列や記号等は、半透明の表示でも良い。
また、ある閾値が設定されることにより、音量が閾値よりも大きな場合は画面の一部を明るくしたり、音量が閾値よりも小さな場合は画面の一部を暗くしたりといった輝度の変化による通知も考えられる。
映像による通知は、音声による通知に比べて、多くの情報を表示できるため、自端末102−1からの設定による音量調節状況のほかに、他の端末102−2〜102−nからの設定による音量調節状況についても通知が可能となる。そのため、各端末102−1〜102−nにおいて認識が音声による通知に比べて容易となる。
図20は、図2に示した中継制御装置101における制御部207において、音量調節状況の通知方法を判断する処理を説明するフローチャートである。
制御部207において、音量調節状況を各端末102−1〜102−nへ通知する通知方法が判断される(ステップS121)。制御部207における判断基準は、通知対象の端末や接続されている端末の数等によって判断するプログラムを制御部207に予め格納しておき、そのプログラムに基づいて行うものでも良いし、各端末102−1〜102−nから予め申請された通知方法が制御部207に設定されており、その設定内容に基づいて行うものでも良い。
制御部207において、音声通知であると判断された場合は、音量調節状況が音声によって通知され(ステップS122)、映像通知であると判断された場合は、音量調節状況が映像によって通知される(ステップS123)。
また、音声による通知と映像による通知が共存することも考えられる。
また、本形態にて説明したミキサ204−1を、第1〜5の実施の形態に示した中継制御装置101にも適用できることは言うまでもない。
なお、上述した第1〜6の実施の形態において説明した多地点間会議方法では、端末102−1から他の端末102−2〜102−nの音量を調節する処理を示したが、例えば、端末102−2から端末102−1,102−3〜102−nといったように、お互いの端末からの設定が可能である。また、端末102−1〜102−nから、自端末または他の端末へ出力する音量を調節することも可能である。
101 中継制御装置
102−1〜102−n 端末
201−1〜201−n 受信部
202−1〜202−n デコーダ
203−1〜203−n DTMF信号抽出命令解読部
204−1〜204−n ミキサ
205−1〜205−n エンコーダ
206−1〜206−n 送信部
207 制御部
301 DTMF信号抽出部
302 命令解読部
401−1〜401−n 命令処理部
402 合成部
501 ストリーム置換部
502 音量制御部
801 音声検出部
903−1〜903−n 音声認識命令解読部
1101 音声認識部
1303−1〜1303−n 音量検出処理部
1401 音量変化検出部
1602 タイマ
1801 命令信号通知部
102−1〜102−n 端末
201−1〜201−n 受信部
202−1〜202−n デコーダ
203−1〜203−n DTMF信号抽出命令解読部
204−1〜204−n ミキサ
205−1〜205−n エンコーダ
206−1〜206−n 送信部
207 制御部
301 DTMF信号抽出部
302 命令解読部
401−1〜401−n 命令処理部
402 合成部
501 ストリーム置換部
502 音量制御部
801 音声検出部
903−1〜903−n 音声認識命令解読部
1101 音声認識部
1303−1〜1303−n 音量検出処理部
1401 音量変化検出部
1602 タイマ
1801 命令信号通知部
Claims (42)
- 多地点間会議に参加する複数の端末を互いに接続して音声データの中継及び制御を行う中継制御装置であって、
前記端末から送信された音声データからDTMF信号を抽出するDTMF信号抽出手段と、
前記DTMF信号抽出手段によって抽出されたDTMF信号による命令を解読する命令解読手段と、
前記命令解読手段によって解読された命令に基づいて、前記端末の音声データの音量を調節する音量制御手段とを有する中継制御装置。 - 請求項1に記載した中継制御装置において、
前記音量制御手段は、音声データからDTMF信号が抽出された端末以外の多地点間会議に参加する少なくとも1つの端末が出力する音声データのうち、DTMF信号が抽出された端末の音声データの音量を調節することを特徴とする中継制御装置。 - 多地点間会議に参加する複数の端末を互いに接続して音声データの中継及び制御を行う中継制御装置であって、
前記端末から送信された音声データから音声を検出し、該音声が検出されなかった場合に、音量を調節する命令を出力する音声検出手段と、
前記音声検出手段によって出力された命令に基づいて、前記端末の音声データの音量を調節する音量制御手段とを有する中継制御装置。 - 請求項3に記載した中継制御装置において、
前記音量制御手段は、音声データの検出が行われた端末以外の多地点間会議に参加する少なくとも1つの端末が出力する音声データのうち、音声データの検出が行われた端末の音声データの音量を調節することを特徴とする中継制御装置。 - 多地点間会議に参加する複数の端末を互いに接続して音声データの中継及び制御を行う中継制御装置であって、
前記端末から送信された音声データから命令を認識する音声認識手段と、
前記音声認識手段によって認識された命令に基づいて、前記端末の音声データの音量を調節する音量制御手段とを有する中継制御装置。 - 請求項5に記載した中継制御装置において、
前記音量制御手段は、音声データから命令を認識された端末以外の多地点間会議に参加する少なくとも1つの端末が出力する音声データのうち、音声データから命令を認識された端末の音声データの音量を調節することを特徴とする中継制御装置。 - 多地点間会議に参加する複数の端末を互いに接続して音声データの中継及び制御を行う中継制御装置であって、
前記端末からの音声データの音量を検出し、前に検出された音声データの音量との差分を計算し、該計算の結果に基づいて音量を調節する命令を出力する音量変化検出手段と、
前記音量変化検出手段によって出力された命令に基づいて、前記端末の音声データの音量を調節する音量制御手段とを有する中継制御装置。 - 請求項7に記載した中継制御装置において、
前記音量制御手段は、音声データの音量を検出し、前に検出された音声データの音量との差分を計算された端末以外の多地点間会議に参加する少なくとも1つの端末が出力する音声データのうち、音声データの音量を検出し、前に検出された音声データの音量との差分を計算された端末の音声データの音量を調節することを特徴とする中継制御装置。 - 請求項1乃至8のいずれか1項に記載の中継制御装置において、
前記音量制御手段によって音量を調節する時間を制限するタイマを有することを特徴とする中継制御装置。 - 請求項1または請求項2に記載の中継制御装置において、
前記命令解読手段によって解読された命令を、音量調節状況として前記端末に通知する音量調節状況通知手段を有することを特徴とする中継制御装置。 - 請求項3または請求項4に記載の中継制御装置において、
前記音声検出手段によって出力された命令を、音量調節状況として前記端末に通知する音量調節状況通知手段を有することを特徴とする中継制御装置。 - 請求項5または請求項6に記載の中継制御装置において、
前記音声認識手段によって認識された命令を、音量調節状況として前記端末に通知する音量調節状況通知手段を有することを特徴とする中継制御装置。 - 請求項7または請求項8に記載の中継制御装置において、
前記音量変化検出手段によって出力された命令を、音量調節状況として前記端末に通知する音量調節状況通知手段を有することを特徴とする中継制御装置。 - 請求項10乃至13のいずれか1項に記載の中継制御装置において、
前記音量調節状況通知手段は、音声により音量調節状況を通知することを特徴とする中継制御装置。 - 請求項10乃至13のいずれか1項に記載の中継制御装置において、
前記音量調節状況通知手段は、映像により音量調節状況を通知することを特徴とする中継制御装置。 - 多地点間会議に参加する複数の端末と、該複数の端末を互いに接続して音声データの中継及び制御を行う中継制御装置とを少なくとも有してなる多地点間会議システムであって、
前記中継制御装置は、
前記端末から送信された音声データからDTMF信号を抽出するDTMF信号抽出手段と、
前記DTMF信号抽出手段によって抽出されたDTMF信号による命令を解読する命令解読手段と、
前記命令解読手段によって解読された命令に基づいて、前記端末の音声データの音量を調節する音量制御手段とを有する多地点間会議システム。 - 請求項16に記載した多地点間会議システムにおいて、
前記音量制御手段は、音声データからDTMF信号が抽出された端末以外の多地点間会議に参加する少なくとも1つの端末が出力する音声データのうち、音声データからDTMF信号が抽出された端末の音声データの音量を調節することを特徴とする多地点間会議システム。 - 多地点間会議に参加する複数の端末と、該複数の端末を互いに接続して音声データの中継及び制御を行う中継制御装置とを少なくとも有してなる多地点間会議システムであって、
前記中継制御装置は、
前記端末から送信された音声データから音声を検出し、該音声が検出されなかった場合に、音量を調節する命令を出力する音声検出手段と、
前記音声検出手段によって出力された命令に基づいて、前記端末の音声データの音量を調節する音量制御手段とを有する多地点間会議システム。 - 請求項18に記載した多地点間会議システムにおいて、
前記音量制御手段は、音声データの検出が行われた端末以外の多地点間会議に参加する少なくとも1つの端末が出力する音声データのうち、音声データの検出が行われた端末の音声データの音量を調節することを特徴とする多地点間会議システム。 - 多地点間会議に参加する複数の端末と、該複数の端末を互いに接続して音声データの中継及び制御を行う中継制御装置とを少なくとも有してなる多地点間会議システムであって、
前記中継制御装置は、
前記端末から送信された音声データから命令を認識する音声認識手段と、
前記音声認識手段によって認識された命令に基づいて、前記端末の音声データの音量を調節する音量制御手段とを有する多地点間会議システム。 - 請求項20に記載した多地点間会議システムにおいて、
前記音量制御手段は、音声データから命令を認識された端末以外の多地点間会議に参加する少なくとも1つの端末が出力する音声データのうち、音声データから命令を認識された端末の音声データの音量を調節することを特徴とする多地点間会議システム。 - 多地点間会議に参加する複数の端末と、該複数の端末を互いに接続して音声データの中継及び制御を行う中継制御装置とを少なくとも有してなる多地点間会議システムであって、
前記中継制御装置は、
前記端末からの音声データの音量を検出し、前に検出された音声データの音量との差分を計算し、該計算の結果に基づいて音量を調節する命令を出力する音量変化検出手段と、
前記音量変化検出手段によって出力された命令に基づいて、前記端末の音声データの音量を調節する音量制御手段とを有する多地点間会議システム。 - 請求項22に記載した多地点間会議システムにおいて、
前記音量制御手段は、音声データの音量を検出し、前に検出された音声データの音量との差分を計算された端末以外の多地点間会議に参加する少なくとも1つの端末が出力する音声データのうち、音声データの音量を検出し、前に検出された音声データの音量との差分を計算された端末の音声データの音量を調節することを特徴とする多地点間会議システム。 - 請求項16乃至23のいずれか1項に記載の多地点間会議システムにおいて、
前記中継制御装置は、前記音量制御手段によって音量を調節する時間を制限するタイマを有することを特徴とする多地点間会議システム。 - 請求項16または請求項17に記載の多地点間会議システムにおいて、
前記中継制御装置は、前記命令解読手段によって解読された命令を、音量調節状況として前記端末に通知する音量調節状況通知手段と有することを特徴とする多地点間会議システム。 - 請求項18または請求項19に記載の多地点間会議システムにおいて、
前記中継制御装置は、前記音声検出手段によって出力された命令を、音量調節状況として前記端末に通知する音量調節状況通知手段と有することを特徴とする多地点間会議システム。 - 請求項20または請求項21に記載の多地点間会議システムにおいて、
前記中継制御装置は、前記音声認識手段によって認識された命令を、音量調節状況として前記端末に通知する音量調節状況通知手段と有することを特徴とする多地点間会議システム。 - 請求項22または請求項23に記載の多地点間会議システムにおいて、
前記中継制御装置は、前記音量変化検出手段によって出力された命令を、音量調節状況として前記端末に通知する音量調節状況通知手段と有することを特徴とする多地点間会議システム。 - 請求項25乃至28のいずれか1項に記載の多地点間会議システムにおいて、
前記音量調節状況通知手段は、音声により音量調節状況を通知することを特徴とする多地点間会議システム。 - 請求項25乃至28のいずれか1項に記載の多地点間会議システムにおいて、
前記音量調節状況通知手段は、映像により音量調節状況を通知することを特徴とする多地点間会議システム。 - 多地点間会議に参加する複数の端末と接続された中継制御装置にて、前記端末が送信する音声データを中継する多地点間会議方法であって、
前記端末から送信された音声データを受信し、該音声データからDTMF信号を抽出する処理と、
前記抽出されたDTMF信号による命令を解読する処理と、
前記解読された命令に基づいて、前記端末の音声データの音量を調節する処理とを有する多地点間会議方法。 - 請求項31に記載した多地点間会議方法において、
音声データからDTMF信号が抽出された端末以外の多地点間会議に参加する少なくとも1つの端末が出力する音声データのうち、音声データからDTMF信号が抽出された端末の音声データの音量を調節することを特徴とする多地点間会議方法。 - 多地点間会議に参加する複数の端末と接続された中継制御装置にて、前記端末が送信する音声データを中継する多地点間会議方法であって、
前記端末から送信された音声データから音声を検出し、該音声が検出されなかった場合に、音量を調節する命令を出力する処理と、
前記出力された命令に基づいて、前記端末の音声データの音量を調節する処理とを有する多地点間会議方法。 - 請求項33に記載した多地点間会議方法において、
音声データの検出が行われた端末以外の多地点間会議に参加する少なくとも1つの端末が出力する音声データのうち、音声データの検出が行われた端末の音声データの音量を調節することを特徴とする多地点間会議方法。 - 多地点間会議に参加する複数の端末と接続された中継制御装置にて、前記端末が送信する音声データを中継する多地点間会議方法であって、
前記端末から送信された音声データから命令を認識する処理と、
前記認識された命令に基づいて、前記端末の音声データの音量を調節する処理とを有する多地点間会議方法。 - 請求項35に記載した多地点間会議方法において、
音声データから命令を認識された端末以外の多地点間会議に参加する少なくとも1つの端末が出力する音声データのうち、音声データから命令を認識された端末の音声データの音量を調節することを特徴とする多地点間会議方法。 - 多地点間会議に参加する複数の端末と接続された中継制御装置にて、前記端末が送信する音声データを中継する多地点間会議方法であって、
前記端末からの音声データの音量を検出し、前に検出された音声データの音量との差分を計算し、該計算の結果に基づいて音量を調節する命令を出力する処理と、
前記出力された命令に基づいて、前記端末の音声データの音量を調節する処理とを有する多地点間会議方法。 - 請求項37に記載した多地点間会議方法において、
前記音量制御手段は、音声データの音量を検出し、前に検出された音声データの音量との差分を計算された端末以外の多地点間会議に参加する少なくとも1つの端末が出力する音声データのうち、音声データの音量を検出し、前に検出された音声データの音量との差分を計算された端末の音声データの音量を調節することを特徴とする多地点間会議方法。 - 請求項31乃至38のいずれか1項に記載の多地点間会議方法において、
音量を調節する時間を制限する処理を有することを特徴とする多地点間会議方法。 - 請求項31乃至38のいずれか1項に記載の多地点間会議方法において、
前記命令を、音声調節状況として前記端末に通知する処理を有することを特徴とする多地点間会議方法。 - 請求項40に記載の多地点間会議方法において、
前記音量調節状況を音声により通知することを特徴とする多地点間会議方法。 - 請求項40に記載の多地点間会議方法において、
前記音量調節状況を映像により通知することを特徴とする多地点間会議方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004339565A JP2006148816A (ja) | 2004-11-24 | 2004-11-24 | 中継制御装置、多地点間会議システム及び多地点間会議方法 |
US11/270,183 US20060109803A1 (en) | 2004-11-24 | 2005-11-09 | Easy volume adjustment for communication terminal in multipoint conference |
EP05024920A EP1662766A1 (en) | 2004-11-24 | 2005-11-15 | Easy volume adjustment for communication terminal in multipoint conference |
KR1020050110724A KR20060058013A (ko) | 2004-11-24 | 2005-11-18 | 다지점 회의에서의 통신 단말기의 용이한 음량 조절 |
CNA2005101150539A CN1780393A (zh) | 2004-11-24 | 2005-11-23 | 多点会议中通信终端的容易的音量调节 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004339565A JP2006148816A (ja) | 2004-11-24 | 2004-11-24 | 中継制御装置、多地点間会議システム及び多地点間会議方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006148816A true JP2006148816A (ja) | 2006-06-08 |
Family
ID=35709287
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004339565A Abandoned JP2006148816A (ja) | 2004-11-24 | 2004-11-24 | 中継制御装置、多地点間会議システム及び多地点間会議方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20060109803A1 (ja) |
EP (1) | EP1662766A1 (ja) |
JP (1) | JP2006148816A (ja) |
KR (1) | KR20060058013A (ja) |
CN (1) | CN1780393A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010056634A (ja) * | 2008-08-26 | 2010-03-11 | Oki Electric Ind Co Ltd | 電話通信システム、並びに、音声データ処理装置、プログラム及び方法 |
WO2018139409A1 (ja) * | 2017-01-27 | 2018-08-02 | 日本電気株式会社 | 無線端末、サーバ、無線端末の通信方法、記録媒体 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080146290A1 (en) * | 2006-12-18 | 2008-06-19 | Motorola, Inc. | Changing a mute state of a voice call from a bluetooth headset |
CN101067927B (zh) * | 2007-04-19 | 2010-11-10 | 北京中星微电子有限公司 | 音量调整方法及装置 |
US9564148B2 (en) | 2010-05-18 | 2017-02-07 | Sprint Communications Company L.P. | Isolation and modification of audio streams of a mixed signal in a wireless communication device |
GB2492103B (en) * | 2011-06-21 | 2018-05-23 | Metaswitch Networks Ltd | Multi party teleconference methods and systems |
US9118767B1 (en) | 2013-03-28 | 2015-08-25 | Sprint Communications Company L.P. | Communication device audio control to combine incoming audio and select outgoing audio destinations |
CN103402034A (zh) * | 2013-07-24 | 2013-11-20 | 佳都新太科技股份有限公司 | 一种利用2g语音信道实现电话会议实时控制的方法 |
CN105282478A (zh) * | 2014-05-30 | 2016-01-27 | 三亚中兴软件有限责任公司 | 音量调节方法及装置、多点控制单元 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0548747A (ja) | 1991-08-14 | 1993-02-26 | Mitsubishi Electric Corp | 多地点間会議装置 |
US5533112A (en) * | 1994-03-31 | 1996-07-02 | Intel Corporation | Volume control in digital teleconferencing |
JPH09191220A (ja) | 1996-01-10 | 1997-07-22 | Sharp Corp | 通信端末装置 |
JPH10136101A (ja) | 1996-10-28 | 1998-05-22 | Nec Corp | テレビ会議システム |
US6415253B1 (en) * | 1998-02-20 | 2002-07-02 | Meta-C Corporation | Method and apparatus for enhancing noise-corrupted speech |
US20010014857A1 (en) * | 1998-08-14 | 2001-08-16 | Zifei Peter Wang | A voice activity detector for packet voice network |
US7423983B1 (en) * | 1999-09-20 | 2008-09-09 | Broadcom Corporation | Voice and data exchange over a packet based network |
US6501739B1 (en) * | 2000-05-25 | 2002-12-31 | Remoteability, Inc. | Participant-controlled conference calling system |
WO2002063828A1 (en) * | 2001-02-06 | 2002-08-15 | Polycom Israel Ltd. | Control unit for multipoint multimedia/audio conference |
JP2002368866A (ja) | 2001-06-05 | 2002-12-20 | Nec Miyagi Ltd | 音声会議システムの送話レベル調整方法 |
US7203643B2 (en) * | 2001-06-14 | 2007-04-10 | Qualcomm Incorporated | Method and apparatus for transmitting speech activity in distributed voice recognition systems |
FI112016B (fi) * | 2001-12-20 | 2003-10-15 | Nokia Corp | Konferenssipuhelujärjestely |
US7020257B2 (en) * | 2002-04-17 | 2006-03-28 | Texas Instruments Incorporated | Voice activity identiftication for speaker tracking in a packet based conferencing system with distributed processing |
US7065198B2 (en) * | 2002-10-23 | 2006-06-20 | International Business Machines Corporation | System and method for volume control management in a personal telephony recorder |
-
2004
- 2004-11-24 JP JP2004339565A patent/JP2006148816A/ja not_active Abandoned
-
2005
- 2005-11-09 US US11/270,183 patent/US20060109803A1/en not_active Abandoned
- 2005-11-15 EP EP05024920A patent/EP1662766A1/en not_active Withdrawn
- 2005-11-18 KR KR1020050110724A patent/KR20060058013A/ko not_active Application Discontinuation
- 2005-11-23 CN CNA2005101150539A patent/CN1780393A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010056634A (ja) * | 2008-08-26 | 2010-03-11 | Oki Electric Ind Co Ltd | 電話通信システム、並びに、音声データ処理装置、プログラム及び方法 |
WO2018139409A1 (ja) * | 2017-01-27 | 2018-08-02 | 日本電気株式会社 | 無線端末、サーバ、無線端末の通信方法、記録媒体 |
JPWO2018139409A1 (ja) * | 2017-01-27 | 2019-11-14 | 日本電気株式会社 | 無線端末、サーバ、無線端末の通信方法、プログラム |
US11393448B2 (en) | 2017-01-27 | 2022-07-19 | Nec Corporation | Wireless terminal, server, communications method for wireless terminal, and recording medium for further enhancing voice synthesis in a mobile communication system |
Also Published As
Publication number | Publication date |
---|---|
US20060109803A1 (en) | 2006-05-25 |
KR20060058013A (ko) | 2006-05-29 |
EP1662766A1 (en) | 2006-05-31 |
CN1780393A (zh) | 2006-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230245661A1 (en) | Video conference captioning | |
JP6179834B1 (ja) | テレビ会議装置 | |
KR100827802B1 (ko) | 휴대 단말기의 화상 통화 장치 및 화상 통화 송수신방법 | |
KR20060058013A (ko) | 다지점 회의에서의 통신 단말기의 용이한 음량 조절 | |
EP2490426B1 (en) | Method, apparatus and system for implementing audio mixing | |
WO2008141539A1 (fr) | Procédé d'affichage de légendes, système et appareil de communication vidéo | |
US8019102B2 (en) | Acoustic adjustment device and acoustic adjustment method | |
JP2004304601A (ja) | Tv電話装置、tv電話装置のデータ送受信方法 | |
US20060079271A1 (en) | Stereo terminal and method for voice calling using the stereo terminal | |
JP2005094696A (ja) | テレビ電話装置 | |
US8484039B2 (en) | Apparatus for efficiently mixing narrowband and wideband voice data and a method therefor | |
JP2002218424A (ja) | 映像表示制御装置 | |
JP2007096555A (ja) | 音声会議システム、端末装置及びそれに用いる話者優先レベル制御方法並びにそのプログラム | |
JP2008227693A (ja) | 話者映像表示制御システム、話者映像表示制御方法、話者映像表示制御プログラム、通信端末及び多地点テレビ会議システム | |
KR20040075441A (ko) | 음성 출력의 스위칭이 가능한 이동통신 단말기와 그에따른 동시 서비스 이용시의 음성 처리 방법 | |
KR101334015B1 (ko) | 다자간 화상 통화시 화자 구분 기능을 구비한 휴대용단말기 및 다자간 화상 통화시 화자 구분 방법 | |
JP2002084518A (ja) | オブジェクト選択式情報通信方法及びその装置 | |
JP2004343566A (ja) | 移動電話端末及びプログラム | |
JP2010109609A (ja) | 通信装置、効果音出力制御プログラム及び効果音出力制御方法 | |
JP2011049959A (ja) | インターホンシステム | |
KR20090054178A (ko) | 다자간 화상 통화시 음성 처리 방법 및 이를 수행하는휴대용 단말기 | |
JPH09149395A (ja) | 通信装置 | |
JP5723166B2 (ja) | 無線通信システム | |
JP2006211000A (ja) | テレビ電話装置 | |
JPH0746565A (ja) | 通信システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070911 |
|
A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20091225 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100113 |