JP2015177476A - Information processing apparatus, information processing system and program - Google Patents
Information processing apparatus, information processing system and program Download PDFInfo
- Publication number
- JP2015177476A JP2015177476A JP2014054221A JP2014054221A JP2015177476A JP 2015177476 A JP2015177476 A JP 2015177476A JP 2014054221 A JP2014054221 A JP 2014054221A JP 2014054221 A JP2014054221 A JP 2014054221A JP 2015177476 A JP2015177476 A JP 2015177476A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- sound signal
- microphone
- transmission terminal
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Telephone Function (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
Description
本発明は、情報処理装置、情報処理システムおよびプログラムに関する。 The present invention relates to an information processing apparatus, an information processing system, and a program.
ビデオ会議等における会話等の音を集音するマイクロフォンおよび他の拠点で集音された音を出力するスピーカを備えたビデオ会議端末等の情報処理装置は、マイクロフォンで集音した会話の音（以下、会話音と言う）の信号を他の拠点のビデオ会議端末等の外部機器に送信する場合、マイクロフォンにより集音した会話音に含まれるエコーを消すためのエコーキャンセラー、会話音に含まれるノイズを消すノイズキャンセラー、会話音に含まれるノイズを低減するノイズサプレッサー、マイクロフォンやスピーカの音量を自動的に調整するオートゲインコントロールなどの様々な処理を、マイクロフォンにより集音した音に加える。 An information processing apparatus such as a video conference terminal equipped with a microphone that collects sounds such as conversations in video conferences and a speaker that outputs sounds collected at other sites is used to collect conversation sounds (hereinafter referred to as microphones). If you send a signal to the external device such as a video conference terminal at another site, the echo canceller for canceling the echo contained in the conversation sound collected by the microphone, the noise contained in the conversation sound Various processes such as a noise canceller to turn off, a noise suppressor to reduce the noise contained in the conversation sound, and auto gain control to automatically adjust the volume of the microphone and speaker are added to the sound collected by the microphone.
しかしながら、エコーキャンセラー等の音響処理機能は、ビデオ会議等における発話者の音声を伝えることには適しているが、例えば、ある機器の故障時の騒音や故障の前兆を示す音などを伝える場合には、当該機器から発せられる音を消してしまったり、当該音の音量を下げてしまったりするため、伝えたい音を消してしまうことがある。 However, acoustic processing functions such as an echo canceller are suitable for transmitting the voice of a speaker in a video conference or the like. For example, when transmitting noise at the time of failure of a device or sound indicating a sign of failure, etc. May turn off the sound emitted from the device, or lower the volume of the sound, thus turning off the desired sound.
本発明は、上記に鑑みてなされたものであって、第１拠点のマイクロフォンから出力された音信号を、第２拠点の外部機器に出力する場合に、通常の音響処理等の第１処理が実行された音信号とともに当該第１処理により除かれる音の信号も当該外部機器に出力することができる情報処理装置、情報処理システムおよびプログラムを提供することを目的とする。 The present invention has been made in view of the above, and when a sound signal output from a microphone at a first site is output to an external device at a second site, a first process such as normal acoustic processing is performed. An object of the present invention is to provide an information processing apparatus, an information processing system, and a program that can output a sound signal that is removed by the first process together with the executed sound signal to the external device.
上述した課題を解決し、目的を達成するために、本発明は、第１拠点に設置された第１マイクロフォンと、第１マイクロフォンから出力された第１音信号から、第１所定音以外の音の信号を除く第１処理を実行する第１処理部と、第２音信号が入力され、当該第２音信号と第１処理が実行された第１音信号とをミキシングして第２拠点に設置された外部機器に出力するミキシング部と、を備えた情報処理装置である。 In order to solve the above-described problems and achieve the object, the present invention provides a sound other than the first predetermined sound from the first microphone installed at the first site and the first sound signal output from the first microphone. The first processing unit that executes the first process excluding the first signal, and the second sound signal is input, and the second sound signal and the first sound signal that has been subjected to the first process are mixed to the second base. An information processing apparatus including a mixing unit that outputs to an installed external device.
本発明によれば、第１拠点のマイクロフォンから出力された音信号を、第２拠点の外部機器に出力する場合に、通常の音響処理等の第１処理が実行された音信号とともに当該第１処理により除かれる音の信号も当該外部機器に出力することができる、という効果を奏する。 According to the present invention, when the sound signal output from the microphone at the first site is output to the external device at the second site, the first signal is output together with the sound signal on which the first processing such as normal acoustic processing is performed. There is an effect that the sound signal removed by the processing can also be output to the external device.
以下に添付図面を参照して、情報処理装置、情報処理システムおよびプログラムの実施の形態を詳細に説明する。 Hereinafter, embodiments of an information processing apparatus, an information processing system, and a program will be described in detail with reference to the accompanying drawings.
（第１の実施の形態）
図１は、第１の実施の形態にかかる情報処理システムの構成を示す図である。本実施の形態にかかる情報処理システムは、図１に示すように、複数の伝送端末１０（１０ａａ，１０ａｂ，１０ａｃ，１０ｂａ，１０ｂｂ，１０ｂｃ，１０ｃａ，１０ｃｂ，１０ｃｃ，１０ｄａ，１０ｄｂ，１０ｄｃ．．．）と、各伝送端末１０用のディスプレイ１２０（１２０ａａ，１２０ａｂ，１２０ａｃ，１２０ｂａ，１２０ｂｂ，１２０ｂｃ，１２０ｃａ，１２０ｃｂ，１２０ｃｃ，１２０ｄａ，１２０ｄｂ，１２０ｄｃ．．．）と、複数の中継装置３０（３０ａ，３０ｂ，３０ｃ，３０ｄ）と、情報処理システムにおける通信を監視する伝送管理システムとしての伝送管理装置５０と、情報処理システムが有する各装置へプログラムを提供するプログラム提供システムとしてのプログラム提供装置９０と、情報処理システム全体のメンテナンス（例えば、通信ネットワーク２の異常の検出など）を行うメンテナンスシステムとしてのメンテナンス装置１００と、を備えている。
(First embodiment)
FIG. 1 is a diagram illustrating a configuration of an information processing system according to the first embodiment. 1, the information processing system according to the present embodiment includes a plurality of transmission terminals 10 (10aa, 10ab, 10ac, 10ba, 10bb, 10bc, 10ca, 10cb, 10cc, 10da, 10db, 10dc,. ), A display 120 (120aa, 120ab, 120ac, 120ba, 120bb, 120bc, 120ca, 120cb, 120cc, 120da, 120db, 120dc ...) for each transmission terminal 10, and a plurality of relay devices 30 (30a, 30b) , 30c, 30d), a
伝送端末１０は、例えばスマートフォンやタブレット型端末や携帯電話、会議の専用端末等の情報処理装置により構成され、当該伝送端末１０が設置された拠点での撮像により得られた画像データや当該拠点で集音された音の音データ等のコンテンツデータを、他の拠点に設置された伝送端末１０と送受信する。具体的には、伝送端末１０は、伝送管理装置５０を介して、通信相手となる伝送端末１０との間で各種の管理情報を送受信して通信を確立することにより、中継装置３０を介して、通信相手の伝送端末１０とコンテンツデータを送受信する。また、本実施の形態では、伝送端末１０は、画像データをコンテンツデータとして他の伝送端末１０と送受信する場合、Ｈ．２６４／ＳＶＣ（Scalable Video Coding）の映像符号化標準規格に従って符号化された画像データを、他の伝送端末１０との間で送受信する。そして、伝送端末１０は、受信した画像データ（コンテンツデータ）を、当該伝送端末１０用のディスプレイ１２０に表示させる。また、伝送端末１０は、受信した音データ（コンテンツデータ）を、当該伝送端末１０のスピーカ１１５（図２参照）から出力させる。
The transmission terminal 10 is configured by an information processing device such as a smartphone, a tablet-type terminal, a mobile phone, a conference dedicated terminal, and the like, and image data obtained by imaging at the base where the transmission terminal 10 is installed or the base Content data such as sound data of the collected sound is transmitted to and received from the transmission terminal 10 installed at another base. Specifically, the transmission terminal 10 transmits / receives various management information to / from the transmission terminal 10 that is a communication partner via the
中継装置３０は、複数の伝送端末１０の間で送受信されるコンテンツデータの中継を行う。伝送管理装置５０は、伝送端末１０におけるコンテンツデータの送受信状態の監視、コンテンツデータの送信元および送信先等の宛先を示す宛先リストの記憶、中継装置３０におけるコンテンツデータの中継状態の監視等、通信ネットワーク２におけるコンテンツデータの伝送状況を一元的に監視している。
The relay device 30 relays content data transmitted / received between the plurality of transmission terminals 10. The
複数のルータ７０（７０ａ，７０ｂ，７０ｃ，７０ｄ，７０ａｂ，７０ｃｄ）は、伝送端末１０間で送受信されるコンテンツデータの最適な経路を選択して、ＬＡＮ（Local Area Network）２ａ，２ｂ，２ｃ，２ｄを介して接続された伝送端末１０から送信されたコンテンツデータを他のネットワークに接続された伝送端末１０へ転送する。 A plurality of routers 70 (70a, 70b, 70c, 70d, 70ab, 70cd) select an optimum route for content data transmitted / received between the transmission terminals 10, and LANs (Local Area Networks) 2a, 2b, 2c, The content data transmitted from the transmission terminal 10 connected via 2d is transferred to the transmission terminal 10 connected to another network.
プログラム提供装置９０は、伝送端末１０がオンラインである場合に当該伝送端末１０において各種機能を実現させるためのプログラムである伝送端末制御プログラムが記憶された図示しないＨＤＤ（Hard Disk Drive）を備え、伝送端末制御プログラムを伝送端末１０へ送信可能である。また、プログラム提供装置９０は、中継装置３０において各種機能を実現させるためのプログラム（以下、中継装置用プログラムと言う）がＨＤＤに記憶され、中継装置用プログラムを中継装置３０へ送信可能である。また、プログラム提供装置９０は、伝送管理装置５０において各種機能を実現させるためのプログラム（以下、伝送管理プログラムと言う）がＨＤＤに記憶され、伝送管理プログラムを伝送管理装置５０へ送信可能である。さらに、プログラム提供装置９０は、メンテナンス装置１００において各種機能を実現させるためのプログラムがＨＤＤに記憶され、当該プログラムをメンテナンス装置１００へ送信可能である。
The
伝送端末１０ａａ，１０ａｂ，１０ａｃとルータ７０ａとは、ＬＡＮ２ａを介して接続され、コンテンツデータをやりとり可能である。また、伝送端末１０ｂａ，１０ｂｂ，１０ｂｃとルータ７０ｂとは、ＬＡＮ２ｂを介して接続され、コンテンツデータをやりとり可能である。
The transmission terminals 10aa, 10ab, 10ac and the router 70a are connected via the
ＬＡＮ２ａおよびＬＡＮ２ｂは、所定の地域Ａ内に設けられ、ルータ７０ａｂが含まれる専用線２ａｂによって接続されている。ここで、地域Ａは、例えば、日本であり、ＬＡＮ２ａは東京の事業所内に設けられ、ＬＡＮ２ｂは大阪の事業所内に設けられている。
The
また、伝送端末１０ｃａ，１０ｃｂ，１０ｃｃとルータ７０ｃとは、ＬＡＮ２ｃを介して接続され、コンテンツデータを送受信可能である。さらに、伝送端末１０ｄａ，１０ｄｂ，１０ｄｃとルータ７０ｄとは、ＬＡＮ２ｄを介して接続され、コンテンツデータを送受信可能である。
The transmission terminals 10ca, 10cb, 10cc and the router 70c are connected via the
ＬＡＮ２ｃおよびＬＡＮ２ｄは、所定の地域Ｂ内に設けられ、ルータ７０ｃｄが含まれる専用線２ｃｄによって接続されている。ここで、地域Ｂは、例えば、アメリカ合衆国であり、ＬＡＮ２ｃはニューヨークの事業所内に設けられ、ＬＡＮ２ｄはワシントンＤ．Ｃ．の事業所内に設けられている。地域Ａおよび地域Ｂは、それぞれルータ７０ａｂ，７０ｃｄからインターネット２ｉを介して相互に通信可能に接続されている。
The
中継装置３０、伝送管理装置５０およびプログラム提供装置９０は、インターネット２ｉを介して、各伝送端末１０と接続されている。ここで、中継装置３０、伝送管理装置５０およびプログラム提供装置９０は、地域Ａまたは地域Ｂに設置されていても良いし、これ以外の地域に設置されていても良い。
The relay device 30, the
本実施の形態では、ＬＡＮ２ａ，２ｂ，２ｃ，２ｄ、専用線２ａｂ，２ｃｄ、インターネット２ｉ等によって、有線回線の通信ネットワーク２を形成しているが、これに限定するものではなく、通信ネットワーク２は、有線回線だけでなく、ＷｉＦｉ（Wireless Fidelity）やＢｌｕｅｔｏｏｔｈ（登録商標）等の無線回線を一部に含んでいても良い。
In the present embodiment, the
また、図１において、伝送端末１０、中継装置３０、伝送管理装置５０、ルータ７０、プログラム提供装置９０およびメンテナンス装置１００の下に記載された４組の数字は、一般的なＩＰｖ４におけるＩＰアドレスを簡易的に示している。例えば、伝送端末１０ａａのＩＰアドレスは「１．２．１．３」である。本実施の形態では、情報処理システムが、ＩＰｖ４をインターネットプロトコルとして用いた例について説明するが、これに限定するものではなく、ＩＰｖ６等をインターネットプロトコルとして用いても良い。
In FIG. 1, four sets of numbers described below the transmission terminal 10, the relay device 30, the
さらに、伝送端末１０は、複数の事業所間でのビデオ会議や、同じ事業所内の異なる部屋間でのビデオ会議だけでなく、同じ部屋内でのビデオ会議や、屋外と屋内または屋外と屋外でのビデオ会議で使われてもよい。各伝送端末１０が屋外で使われる場合には、携帯電話伝送網等の無線による伝送が行われる。 Furthermore, the transmission terminal 10 is not only a video conference between a plurality of business establishments, a video conference between different rooms in the same business establishment, a video conference in the same room, and outdoor and indoor or outdoor and outdoor. May be used in video conferences. When each transmission terminal 10 is used outdoors, wireless transmission such as a cellular phone transmission network is performed.
図２は、第１の実施の形態にかかる情報処理システムが有する伝送端末のハードウェア構成を示すブロック図である。本実施の形態では、伝送端末１０は、図２に示すように、伝送端末１０全体の動作を制御するＣＰＵ（Central Processing Unit）１０１と、ＩＰＬ（Initial Program Loader）等のＣＰＵ１０１の駆動に用いられるプログラムや、通信ネットワーク２を介してプログラム提供装置９０から通常の伝送端末制御プログラムを取得して実行可能なＯＳ（Operating System）を記憶するＲＯＭ（Read Only Memory）１０２と、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ（Random Access Memory）１０３と、フラッシュメモリ等で構成されコンテンツデータ（画像データ，音データ）等の各種データを記憶可能な記憶部１０４と、コンテンツデータ等の各種データの送信先となる伝送端末１０の選択等の伝送端末１０の操作に用いられる操作部１０８と、通信ネットワーク２を利用して各種データを送受信するためのネットワークＩ／Ｆ１１１と、を備えている。
FIG. 2 is a block diagram illustrating a hardware configuration of a transmission terminal included in the information processing system according to the first embodiment. In the present embodiment, the transmission terminal 10 is used for driving a CPU (Central Processing Unit) 101 that controls the operation of the entire transmission terminal 10 and a CPU 101 such as an IPL (Initial Program Loader), as shown in FIG. Used as a work area for the CPU 101 and a ROM (Read Only Memory) 102 for storing an OS (Operating System) that can be executed by acquiring a normal transmission terminal control program from the
また、伝送端末１０は、図２に示すように、ＣＰＵ１０１の制御に従って被写体を撮像して画像データを得る内蔵型のカメラ１１２と、当該カメラ１１２による撮像を制御する撮像素子Ｉ／Ｆ１１３と、伝送端末１０が設置された拠点の音を集音して当該音の信号を出力する内蔵型の集音装置としてのマイクロフォン１１４と、他の拠点に設置された伝送端末１０から受信したコンテンツデータ（音データ）に基づく音を出力するための内蔵型のスピーカ１１５と、ＣＰＵ１０１の制御に従って、マイクロフォン１１４から出力された音の信号をデジタル化した音データへの変換およびスピーカ１１５への音データに基づく音の出力等を行う音声入出力Ｉ／Ｆ１１６と、ＣＰＵ１０１の制御に従って、外付けのディスプレイ１２０へ画像データに基づく画像を表示させるディスプレイＩ／Ｆ１１７と、伝送端末１０が有する上記の各構成要素を電気的に接続するアドレスバスやデータバス等のバスライン１１０と、を備えている。
Further, as shown in FIG. 2, the transmission terminal 10 includes a built-in camera 112 that captures an image of a subject under the control of the CPU 101 to obtain image data, an imaging element I /
ディプレイ１２０は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）ディスプレイ等により構成され、他の拠点に設置された伝送端末１０から受信したコンテンツデータ（画像データ）に基づく画像や伝送端末１０の操作用のアイコン等を表示可能な表示部の一例である。また、ディスプレイ１２０は、ケーブル１２０ｃを介してディスプレイＩ／Ｆ１１７に接続されている。ケーブル１２０ｃは、アナログＲＧＢ（ＶＧＡ）信号用のケーブルであっても良いし、コンポーネントビデオ用のケーブルであっても良いし、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）やＤＶＩ（Digital Video Interactive）信号用のケーブルであっても良い。
The
カメラ１１２は、光を集束させるためのレンズと、当該レンズにより集束された光を電荷に変換して被写体の像を電子化した画像データを出力する固体撮像素子と、を有している。ここで、固体撮像素子は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）またはＣＣＤ（Charge Coupled Device）等により構成される。 The camera 112 has a lens for focusing light, and a solid-state image sensor that outputs image data obtained by converting the light focused by the lens into electric charge and digitizing an object image. Here, the solid-state imaging device is configured by a CMOS (Complementary Metal Oxide Semiconductor), a CCD (Charge Coupled Device), or the like.
次に、図３を用いて、本実施の形態にかかる情報処理システムが有する伝送端末１０による音データの送信処理について簡単に説明する。図３は、第１の実施の形態にかかる情報処理システムが有する伝送端末による音データの送信処理を説明するための図である。 Next, sound data transmission processing by the transmission terminal 10 included in the information processing system according to the present embodiment will be briefly described with reference to FIG. FIG. 3 is a diagram for explaining sound data transmission processing by the transmission terminal included in the information processing system according to the first embodiment.
異なる拠点に設置された伝送端末１０間（例えば、伝送端末１０ａｃと伝送端末１０ｃｃとの間）でコンテンツデータを送受信することによってビデオ会議等を行う場合に、ビデオ会議等におけるコミュニケーションが進むに従って、当該コミュニケーションに参加する通話者の音声の音データだけでなく、各種機器の駆動音や各種機器の不具合を示すノイズなどの音の音データも送受信する必要性が生じることがある。しかしながら、従来のビデオ会議等においては、通話者の音声以外の音は、不要な音として当該音の除く処理が行われていたため、通話者の音声以外の音を、ビデオ会議等を行う拠点間において送受信することができなかった。 When a video conference or the like is performed by transmitting and receiving content data between the transmission terminals 10 installed at different bases (for example, between the transmission terminal 10ac and the transmission terminal 10cc), as the communication in the video conference or the like progresses, It may be necessary to transmit / receive not only the sound data of the voice of the caller participating in the communication, but also the sound data of sounds such as driving sounds of various devices and noise indicating malfunctions of the various devices. However, in conventional video conferences and the like, sound other than the voice of the caller is processed as an unnecessary sound, so that the sound other than the voice of the caller is transmitted between the bases performing the video conference or the like. Could not be sent or received.
そこで、本実施の形態にかかる情報処理システムにおいては、図３に示すように、伝送端末１０ａｃと伝送端末１０ｃｃとの間で音データを送受信することによってビデオ会議等を行う場合に、伝送端末１０ａｃに入力された音（例えば、ビデオ会議等に参加する通話者の音声、伝送端末１０ａｃが設置された拠点に存在する各種機器のノイズ、伝送端末１０ａｃが設置された拠点で発生した突発的な大きな音、伝送端末１０ａｃが設置された拠点において発生した聞かせたいノイズなど）のうち、ビデオ会議等に参加する通話者の音声に加えて、伝送端末１０ａｃが設置された拠点において発生した聞かせたいノイズを含む音の音声データを、通信相手である伝送端末１０ｃｃに送信可能とする。 Therefore, in the information processing system according to the present embodiment, as shown in FIG. 3, when a video conference or the like is performed by transmitting and receiving sound data between the transmission terminal 10ac and the transmission terminal 10cc, the transmission terminal 10ac is used. (For example, voice of a caller participating in a video conference, noise of various devices existing at the base where the transmission terminal 10ac is installed, sudden loud noise generated at the base where the transmission terminal 10ac is installed) Sound, noise to be heard at the base where the transmission terminal 10ac is installed, etc.) and noise to be heard at the base where the transmission terminal 10ac is installed The sound data of the included sound can be transmitted to the transmission terminal 10cc which is the communication partner.
次に、図４を用いて、本実施の形態にかかる情報処理システムが有する伝送端末１０における音データの送信処理の詳細について説明する。図４は、第１の実施の形態にかかる情報処理システムが有する伝送端末の機能的構成を示す図である。以下の説明では、異なる拠点に設置された伝送端末１０ａｃと伝送端末１０ｃｃとの間でコンテンツデータを送受信する場合における伝送端末１０ａｃの音データの送信処理について説明するが、他の伝送端末１０においても同様にして音データの送信処理が行われる。 Next, the details of the sound data transmission process in the transmission terminal 10 included in the information processing system according to the present embodiment will be described with reference to FIG. FIG. 4 is a diagram illustrating a functional configuration of the transmission terminal included in the information processing system according to the first embodiment. In the following description, sound data transmission processing of the transmission terminal 10ac when transmitting / receiving content data between the transmission terminal 10ac and the transmission terminal 10cc installed at different bases will be described. Similarly, sound data transmission processing is performed.
本実施の形態では、伝送端末１０ａｃ（情報処理装置の一例）の音声入出力Ｉ／Ｆ１１６は、音響処理部１１６ａと、ミキシング部１１６ｂと、データ入力部１１６ｃと、を備える。音響処理部１１６ａ（第１処理部の一例）は、マイクロフォン１１４（第１マイクロフォンの一例）から出力された音信号（以下、第１音信号と言う）から、第１所定音（本実施の形態では、ビデオ会議等に参加する通話者の音声）以外の音（例えば、伝送端末１０ａｃのマイクロフォン１１４が設置された拠点（第１拠点の一例）の各種機器のノイズや当該拠点において発生した突発的な音など）の信号を除く音響処理（第１処理の一例）を実行する。ここで、第１所定音は、伝送端末１０ａｃのユーザが任意に設定可能である。また、本実施の形態では、第１所定音を音声としているが、これに限定するものではなく、音声以外の音（例えば、各種機器のノイズなど）を第１所定音としても良い。
In the present embodiment, the voice input / output I /
本実施の形態では、音響処理部１１６ａは、マイクロフォン１１４から出力された音信号に基づく音（言い換えると、マイクロフォン１１４により集音した音）に含まれるエコーを除くエコー除去、マイクロフォン１１４により集音した音に含まれるノイズを除くノイズキャンセル、マイクロフォン１１４により集音した音に含まれるノイズを軽減するノイズサプレッサー、マイクロフォン１１４により集音した音に含まれるノイズの音量を調整するオートゲインコントロールなどの音響処理を実行する。これにより、音響処理部１１６ａは、マイクロフォン１１４から出力された第１音信号から、第１所定音以外の音の信号を除く。本実施の形態では、音響処理部１１６ａにより実行される音響処理には、第１音信号から第１所定音以外の音を除く処理に加えて、第１音信号に含まれる第１所定音以外の音を軽減する処理を含む。
In the present embodiment, the
データ入力部１１６ｃは、伝送端末１０ａｃが設置された拠点とは異なる他の拠点においてビデオ会議等に参加する通話者に聞かせたいノイズ等の音の音信号（以下、第２音信号という）を後述するミキシング部１１６ｂに入力する。本実施の形態では、データ入力部１１６ｃは、聞かせたいノイズ等の音の第２音信号をデジタル化した音データを、後述するミキシング部１１６ｂに入力する。
The data input unit 116c transmits a sound signal of noise or the like (hereinafter referred to as a second sound signal) desired to be heard by a caller participating in a video conference or the like at another site different from the site where the transmission terminal 10ac is installed. To the
ここで、第２音信号の音データは、記憶部１０４等に予め記憶されている音データ（例えば、ある機器の故障時の騒音や故障の前兆となる音など聞かせたいノイズの音データ）であっても良いし、マイクロフォン１１４と同じ拠点に設置された他のマイクロフォンから出力された音信号をデジタル化した音データであっても良い。
Here, the sound data of the second sound signal is sound data stored in advance in the
ミキシング部１１６ｂは、データ入力部１１６ｃから音データが入力され、当該入力された音データに基づく音の信号（第２音信号）と、音響処理部１１６ａにより音響処理が実行された第１音信号とをミキシングした信号を、伝送端末１０ａｃが設置された拠点とは異なる拠点（第２拠点）に設置された伝送端末１０ｃｃ（外部機器の一例）に出力する。本実施の形態では、ミキシング部１１６ｂは、第１音信号と第２音信号とをミキシングした信号をデジタル化した音データを生成し、生成した音データを、通信ネットワーク２を介して伝送端末１０ｃｃに出力（送信）する。
The
このように第１の実施の形態にかかる情報処理システムの伝送端末１０によれば、ある拠点の伝送端末１０のマイクロフォン１１４により集音した第１所定音とともに、当該第１所定音以外の伝えたい音を、他の拠点の伝送端末１０に出力する場合に、ある拠点の伝送端末１０のマイクロフォン１１４から出力された第１所定音の音信号に対して音響処理を実行して不要なノイズを除去しても、当該第１所定音以外の伝えたい音も当該他の拠点の伝送端末１０に出力することができるので、音響処理を実行して不要なノイズを除去した第１所定音の音質を保ちつつ、当該第１所定音以外の伝えたい音を他の拠点の伝送端末１０に出力することができる。
As described above, according to the transmission terminal 10 of the information processing system according to the first embodiment, it is desired to convey a sound other than the first predetermined sound together with the first predetermined sound collected by the
（第２の実施の形態）
本実施の形態は、ある拠点に設置された伝送端末が、複数のマイクロフォンを有し、一方のマイクロフォンから出力された第１所定音の第１音信号と、他方のマイクロフォンから出力された第２所定音の第２音信号とをミキシングして他の拠点に設置された伝送端末に出力する例である。以下の説明では、第１の実施の形態と異なる箇所について説明する。
(Second Embodiment)
In this embodiment, a transmission terminal installed at a certain base has a plurality of microphones, the first sound signal of the first predetermined sound output from one microphone, and the second sound output from the other microphone. It is an example which mixes with the 2nd sound signal of a predetermined sound, and outputs it to the transmission terminal installed in the other base. In the following description, a different part from 1st Embodiment is demonstrated.
図５は、第２の実施の形態にかかる情報処理システムが有する伝送端末の機能的構成を示す図である。本実施の形態では、伝送端末５００は、図５に示すように、マイクロフォン１１４と同じ拠点に設置されたマイクロフォン５０２（第２マイクロフォンの一例）を有する点において第１の実施の形態と異なる。
FIG. 5 is a diagram illustrating a functional configuration of a transmission terminal included in the information processing system according to the second embodiment. In the present embodiment, as shown in FIG. 5,
また、本実施の形態では、音声入出力Ｉ／Ｆ５０１は、マイクロフォン１１４から出力された第１音信号に対して音響処理を実行する第１音響処理部５０１ａおよびマイクロフォン５０２から出力された音信号に対して音響処理を実行する第２音響処理部５０１ｂを有する点において第１の実施の形態と異なる。
In the present embodiment, the voice input / output I /
第１音響処理部５０１ａは、第１の実施の形態と同様に、マイクロフォン１１４から出力された第１音信号に対して音響処理を実行する。さらに、本実施の形態では、第１音響処理部５０１ａは、マイクロフォン１１４から出力された第１音信号に対して、後述する第２音響処理部５０１ｂにより音響処理を実行した音信号を差し引く減算処理を実行する。これにより、マイクロフォン１１４から出力された第１音信号に基づく音から、第１所定音以外の他の音をより高精度に除くことができるので、第１音信号に基づく音の音質を向上させることができる。
The first
第２音響処理部５０１ｂ（第２処理部の一例）は、マイクロフォン５０２から出力された音信号に対して、第１所定音とは異なる第２所定音（本実施の形態では、ある機器の故障時の騒音や故障の前兆となる音など聞かせたいノイズなど）以外の音の信号を除く音響処理（第２処理の一例）を実行する。ここで、第２所定音は、伝送端末５００のユーザが任意に設定可能である。また、本実施の形態では、第２所定音をノイズとしているが、これに限定するものではなく、ノイズ以外の音（例えば、突発的な音など）を第２所定音としても良い。
The second
本実施の形態では、第２音響処理部５０１ｂは、マイクロフォン５０２から出力された音信号に基づく音（言い換えると、マイクロフォン５０２により集音した音）に含まれるエコーを除くエコー除去、マイクロフォン１１４により集音した音に含まれるノイズ（聞かせたいノイズ以外のノイズ）を除くノイズキャンセル、マイクロフォン１１４により集音した音に含まれるノイズ（聞かせたいノイズ以外のノイズ）を軽減するノイズサプレッサー、マイクロフォン１１４により集音した音に含まれるノイズ（聞かせたいノイズ以外のノイズ）の音量を調整するオートゲインコントロールなどの音響処理を実行する。これにより、第２音響処理部５０１ｂは、マイクロフォン５０２から出力された音信号から、第２所定音以外の音の信号を除く。本実施の形態では、第２音響処理部５０１ｂにより実行される音響処理には、音信号から第２所定音以外の音を除く処理に加えて、音信号に含まれる第２所定音以外の音を軽減する処理を含む。
In the present embodiment, the second
さらに、本実施の形態では、第２音響処理部５０１ｂは、マイクロフォン５０２から出力された音信号に対して、第１音響処理部５０１ａにより音響処理を実行した第１音信号を差し引く減算処理を実行する。これにより、マイクロフォン５０２から出力された音信号に基づく音から、第２所定音以外の他の音をより高精度に除くことができるので、マイクロフォン５０２から出力された音信号に基づく音の音質を向上させることができる。
Furthermore, in the present embodiment, the second
本実施の形態では、ミキシング部１１６ｂは、第２音響処理部５０１ｂにより音響処理を実行した音信号を第２音信号として、第１音響処理部５０１ａにより音響処理を実行した第１音信号とミキシングする。
In the present embodiment, the
本実施の形態では、ミキシング部１１６ｂは、第２音響処理部５０１ｂにより音響処理を実行した音信号を第２音信号として、第１音信号とミキシングしているが、第２音響処理部５０１ｂにより音響処理を実行せず、マイクロフォン５０２から出力された音信号を第２音信号として、第１音信号とミキシングしても良い。
In the present embodiment, the
ただし、マイクロフォン１１４とマイクロフォン５０２とが近接して設けられている場合には、マイクロフォン１１４およびマイクロフォン５０２から同じ音の音信号が出力される可能性が高いため、マイクロフォン５０２から出力された音信号（第２音信号）から、第１音信号を差し引く減算処理を実行することにより、マイクロフォン５０２により集音する本来伝えたい音のみを他の拠点の伝送端末５００に出力することができる。
However, when the
次に、図６を用いて、本実施の形態にかかる情報処理システムが有する伝送端末５００による音響処理についてより具体的に説明する。図６は、第２の実施の形態にかかる情報処理システムが有する伝送端末における音響処理を説明するための図である。
Next, the acoustic processing by the
マイクロフォン１１４とマイクロフォン５０２とが近い位置に設けられている場合、マイクロフォン１１４から出力される第１音信号には、第１所定音（本実施の形態では、音声）以外の音（マイクロフォン５０２により集音すべき音）の信号が含まれる可能性が高い。一方で、マイクロフォン５０２から出力される音信号（第２音信号）には、第２所定音（本実施の形態では、聞かせたいノイズ）以外の音（マイクロフォン１１４により集音すべき音である第１所定音）の信号が含まれる可能性が高い。
When the
そのため、マイクロフォン１１４から出力される第１音信号からは、マイクロフォン５０２により集音されるべき音の信号である第２音信号を除く必要がある。また、マイクロフォン５０２から出力される音信号（第２音信号）からは、マイクロフォン１１４により集音されるべき音の信号である第１音信号を除く必要がある。
Therefore, it is necessary to exclude the second sound signal that is a sound signal to be collected by the
そこで、本実施の形態では、第１音響処理部５０１ａは、マイクロフォン１１４から出力された第１音信号から、マイクロフォン５０２から出力された音信号に基づく音に含まれかつ当該音より大きい音を、第１所定音として特定する。そして、第１音響処理部５０１ａは、第１音信号から、特定した第１所定音以外の音を差し引く減算処理を実行する。これにより、マイクロフォン１１４から出力された第１音信号に基づく音から、第２所定音をより高精度に除くことができるので、第１音信号に基づく音の音質を向上させることができる。
Therefore, in the present embodiment, the first
また、第２音響処理部５０１ｂは、マイクロフォン５０２から出力された音信号から、マイクロフォン１１４から出力された第１音信号に基づく音に含まれかつ当該音よりも大きい音を第２所定音として特定する。つまり、マイクロフォン５０２から出力された音信号に対して、第１所定音とは異なる第２所定音（本実施の形態では、ある機器の故障時の騒音や故障の前兆となる音など聞かせたいノイズなど）以外の音の信号を除く音響処理（第２処理の一例）を実行する。そして、第２音響処理部５０１ｂは、マイクロフォン５０２から出力された音信号に基づく音（言い換えると、マイクロフォン５０２により集音した音）に含まれるエコーを除くエコー除去などの音響処理を実行する。これにより、第２音響処理部５０１ｂは、マイクロフォン５０２から出力された音信号から、第２所定音以外の音の信号を除く（所謂、減算処理）。本実施の形態では、第２音響処理部５０１ｂにより実行される音響処理には、音信号から第２所定音以外の音を除く処理に加えて、音信号に含まれる第２所定音以外の音を軽減する処理も含む。つまり、第２音響処理部５０１ｂは、マイクロフォン５０２から出力された音信号から、特定した第２所定音以外の音を差し引く減算処理を実行する。これにより、マイクロフォン５０２から出力された音信号に基づく音から、第１所定音をより高精度に除くことができるので、マイクロフォン５０２から出力された音信号に基づく音の音質を向上させることができる。
In addition, the second
このように第２の実施の形態にかかる伝送端末５００によれば、当該伝送端末５００が設置された拠点のマイクロフォン１１４により集音した第１所定音とともに、当該拠点における第１所定音以外の伝えたい音を、他の拠点の伝送端末１０に出力する場合に、マイクロフォン１１４から出力された第１所定音の音信号に対して音響処理を実行して不要なノイズを除去しても、当該第１所定音以外の伝えたい音も当該他の拠点の伝送端末１０に出力することができるので、音響処理を実行して不要なノイズを除去した第１所定音の音質を保ちつつ、当該第１所定音以外の伝えたい音を他の拠点の伝送端末１０に出力することができる。
As described above, according to the
本実施の形態は、本発明の範囲を限定するものではなく、情報処理システムが有する上位機器（例えば、伝送管理装置など）が、音響処理部１１６ａ（第１音響処理部５０１ａ）と、第２音響処理部５０１ｂと、ミキシング部１１６ｂとを備えていても良いし、伝送端末１０（５００）が、音響処理部１１６ａ（第１音響処理部５０１ａ）と、第２音響処理部５０１ｂと、ミキシング部１１６ｂとを備えていても良い。また、情報処理システムが複数の上位機器を有していても良く、どの上位機器に上述した音響処理部１１６ａ（第１音響処理部５０１ａ）と、第２音響処理部５０１ｂと、ミキシング部１１６ｂとを備えさせても良い。さらに、本実施の形態で説明する伝送端末と上位機器とが接続された情報処理システムのシステム構成は一例であり、用途や目的に応じて様々なシステム構成例があることは言うまでもない。
The present embodiment does not limit the scope of the present invention. The host device (for example, the transmission management device) included in the information processing system is connected to the
また、本実施の形態では、音声入出力Ｉ／Ｆ１１６（５０１）が、音響処理部１１６ａ（第１音響処理部５０１ａ）と、第２音響処理部５０１ｂと、ミキシング部１１６ｂとを備えているが、伝送端末１０，５００において、ＣＰＵ１０１がＲＯＭ１０２に記憶されたプログラムを実行することにより、音響処理部１１６ａ（第１音響処理部５０１ａ）と、第２音響処理部５０１ｂと、ミキシング部１１６ｂとを実現しても良い。
In the present embodiment, the voice input / output I / F 116 (501) includes an
さらに、本実施の形態の伝送端末１０，５００で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供しても良い。 Furthermore, the program executed in the transmission terminal 10,500 of the present embodiment is a file in an installable format or an executable format, and is a CD-ROM, flexible disk (FD), CD-R, DVD (Digital Versatile Disk). And the like may be recorded on a computer-readable recording medium.
また、本実施の形態の伝送端末１０，５００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施の形態の伝送端末１０，５００で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
Further, the program executed by the
１０，５００ 伝送端末（情報処理装置または外部機器の一例）
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 記憶部
１０８ 操作部
１１０ バスライン
１１１ ネットワークＩ／Ｆ
１１２ カメラ
１１３ 撮像素子Ｉ／Ｆ
１１４，５０２ マイクロフォン（第１マイクロフォン、第２マイクロフォンの一例）
１１５ スピーカ
１１６，５０１ 音声入出力Ｉ／Ｆ
１１６ａ 音響処理部（第１処理部の一例）
１１６ｂ ミキシング部
１１６ｃ データ入力部
１１７ ディスプレイＩ／Ｆ
５０１ａ 第１音響処理部（第１処理部の一例）
５０１ｂ 第２音響処理部（第２処理部の一例）
10,500 transmission terminal (an example of an information processing device or an external device)
101 CPU
102 ROM
103 RAM
112
114,502 microphone (an example of a first microphone and a second microphone)
115 Speaker 116,501 Audio input / output I / F
116a Acoustic processing unit (an example of a first processing unit)
116b Mixing unit 116c Data input unit 117 Display I / F
501a First acoustic processing unit (an example of a first processing unit)
501b Second acoustic processing unit (an example of a second processing unit)
Claims (5)
前記第１マイクロフォンから出力された第１音信号から、第１所定音以外の音の信号を除く第１処理を実行する第１処理部と、
第２音信号が入力され、当該第２音信号と前記第１処理が実行された前記第１音信号とをミキシングして第２拠点に設置された外部機器に出力するミキシング部と、
を備えた情報処理装置。 A first microphone installed at the first base;
A first processing unit that performs a first process of removing a sound signal other than the first predetermined sound from the first sound signal output from the first microphone;
A mixing unit that receives a second sound signal, mixes the second sound signal and the first sound signal on which the first processing has been performed, and outputs the mixed sound signal to an external device installed at a second location;
An information processing apparatus comprising:
前記第２マイクロフォンから出力された音信号から、前記第１所定音とは異なる第２所定音以外の音の信号を除く第２処理を実行する第２処理部と、を備え、
前記ミキシング部は、前記第２音信号として、前記第２処理部によって前記第２処理が実行された音信号が入力される請求項１に記載の情報処理装置。 A second microphone installed at the first site;
A second processing unit that performs a second process of removing a signal of a sound other than the second predetermined sound different from the first predetermined sound from the sound signal output from the second microphone;
The information processing apparatus according to claim 1, wherein the mixing unit receives a sound signal obtained by performing the second process by the second processing unit as the second sound signal.
前記第２所定音は、前記第１音信号に基づく音に含まれかつ当該音より大きい音である請求項２に記載の情報処理装置。 The first predetermined sound is a sound that is included in a sound based on a sound signal output from the second microphone and is larger than the sound,
The information processing apparatus according to claim 2, wherein the second predetermined sound is included in a sound based on the first sound signal and is larger than the sound.
第２音信号が入力され、当該第２音信号と前記第１処理が実行された前記第１音信号とをミキシングして第２拠点に設置された外部機器に出力するミキシング部と、
を備えた情報処理システム。 A first processing unit that executes a first process of removing a sound signal other than the first predetermined sound from the first sound signal output from the first microphone installed at the first base;
A mixing unit that receives a second sound signal, mixes the second sound signal and the first sound signal on which the first processing has been performed, and outputs the mixed sound signal to an external device installed at a second location;
Information processing system with
第１拠点に設置された第１マイクロフォンから出力された第１音信号から、第１所定音以外の音の信号を除く第１処理を実行する第１処理部と、
第２音信号が入力され、当該第２音信号と前記第１処理が実行された前記第１音信号とをミキシングして第２拠点に設置された外部機器に出力するミキシング部と、
として機能させるためのプログラム。 Computer
A first processing unit that executes a first process of removing a sound signal other than the first predetermined sound from the first sound signal output from the first microphone installed at the first base;
A mixing unit that receives a second sound signal, mixes the second sound signal and the first sound signal on which the first processing has been performed, and outputs the mixed sound signal to an external device installed at a second location;
Program to function as.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014054221A JP2015177476A (en) | 2014-03-17 | 2014-03-17 | Information processing apparatus, information processing system and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014054221A JP2015177476A (en) | 2014-03-17 | 2014-03-17 | Information processing apparatus, information processing system and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015177476A true JP2015177476A (en) | 2015-10-05 |
Family
ID=54256197
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014054221A Pending JP2015177476A (en) | 2014-03-17 | 2014-03-17 | Information processing apparatus, information processing system and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2015177476A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019083494A (en) * | 2017-10-31 | 2019-05-30 | キヤノンマーケティングジャパン株式会社 | Web conference system and control method therefor, and program |
-
2014
- 2014-03-17 JP JP2014054221A patent/JP2015177476A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019083494A (en) * | 2017-10-31 | 2019-05-30 | キヤノンマーケティングジャパン株式会社 | Web conference system and control method therefor, and program |
| JP7132478B2 (en) | 2017-10-31 | 2022-09-07 | キヤノンマーケティングジャパン株式会社 | WEB CONFERENCE SYSTEM, CONTROL METHOD AND PROGRAM THEREOF |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8379076B2 (en) | System and method for displaying a multipoint videoconference | |
| US9509953B2 (en) | Media detection and packet distribution in a multipoint conference | |
| JP6079174B2 (en) | Communication management system, communication system, program, and maintenance system | |
| JP6263843B2 (en) | Communication management system, communication management method, and program | |
| US9094524B2 (en) | Enhancing conferencing user experience via components | |
| EP3149935B1 (en) | Transmission control system, transmission system, relay device selecting method, computer program product | |
| JP6330354B2 (en) | Communication management system, communication management method, and program | |
| EP3133807A2 (en) | Apparatus, system, and method of controlling display image, and carrier means | |
| JP6634686B2 (en) | Information processing apparatus, program, communication platform determination method, transmission system | |
| JP2022133291A (en) | Transmission management device | |
| JP2017034312A (en) | Communication device, communication system, and program | |
| JP2016163222A (en) | Communication system, communication method, relay device, and program | |
| JP6638768B2 (en) | Communication system and communication method | |
| JP2020061763A5 (en) | ||
| JP2015177476A (en) | Information processing apparatus, information processing system and program | |
| JP6182935B2 (en) | Communication management system, communication management method, program, and communication system | |
| JP2018191301A5 (en) | ||
| JP2019050572A (en) | Communication management system, communication system, program, and maintenance system | |
| JP6500366B2 (en) | Management device, terminal device, transmission system, transmission method and program | |
| JP2017126985A5 (en) | ||
| JP2010124232A (en) | Conference system and conference method | |
| JP2017168903A (en) | Information processing apparatus, conference system, and method for controlling information processing apparatus | |
| JP5907304B2 (en) | Communication management system, communication system, communication management method, and program | |
| JP6500326B2 (en) | Management system, management method and program | |
| JP6443532B2 (en) | COMMUNICATION SYSTEM, COMMUNICATION METHOD, AND PROGRAM |