JP2008271157A - Sound enhancement device and control program - Google Patents
Sound enhancement device and control program Download PDFInfo
- Publication number
- JP2008271157A JP2008271157A JP2007111066A JP2007111066A JP2008271157A JP 2008271157 A JP2008271157 A JP 2008271157A JP 2007111066 A JP2007111066 A JP 2007111066A JP 2007111066 A JP2007111066 A JP 2007111066A JP 2008271157 A JP2008271157 A JP 2008271157A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- image
- input means
- voice
- speech
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Studio Devices (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
Abstract
Description
本発明は、撮影装置及び音声入力装置を利用する音声強調装置及び制御プログラムに関する。 The present invention relates to a voice enhancement device and a control program using a photographing device and a voice input device.
従来より、1つのキーワードの音声認識によって確実に、目的音到来方向にマイクロホンアレイの指向性を設定する指向性設定装置が知られている(例えば、特許文献1)。この指向性設定装置では、音源の定位は人の発話音声に基づいて実行されている。
しかしながら、機械が発する音のように周囲の雑音との区別が難しい音を強調する場合には、上記指向性設定装置のように、音声信号のみから音源を定位する方法は必ずしも有効ではなかった。このため、工場で稼働する機械の異音を強調して採取する場合には、従来のマイクロホンアレイ制御における音源定位を前提とした超指向性の形成は機能しない。 However, when emphasizing sounds that are difficult to distinguish from ambient noise such as sounds emitted by a machine, a method of localizing a sound source only from an audio signal as in the directivity setting device is not always effective. For this reason, in the case of collecting with emphasis on the abnormal sound of a machine operating in a factory, the formation of superdirectivity on the premise of sound source localization in conventional microphone array control does not function.
本発明は、このような事情に鑑みてなされたものであり、その目的は、雑音に取り囲まれた環境内でも、目的音声の強調を行うことが可能な音声強調装置及び制御プログラムを提供することにある。 The present invention has been made in view of such circumstances, and an object thereof is to provide a speech enhancement device and a control program capable of enhancing a target speech even in an environment surrounded by noise. It is in.
上記目的を達成するため、請求項1の音声強調装置は、音源となる対象物を含む画像を撮影する撮影手段と、複数の集音素子を有し、当該対象物が発する音声を入力する音声入力手段と、操作者が指示する位置を入力する位置入力手段と、前記撮影手段で撮影された画像を表示し同時に当該画像に重畳して前記位置入力手段によって入力された位置を表示する画像表示手段と、前記位置入力手段によって示された画像上の位置を前記音声入力手段に対する方向に変換する変換手段と、前記変換された方向に前記音声入力手段の超指向性を設定する設定手段とを備えることを特徴とする。
In order to achieve the above object, the speech enhancement apparatus according to
請求項2の音声強調装置は、請求項1に記載の音声強調装置において、前記設定手段は、一の集音素子の音声に対する他の集音素子の各々の音声の遅延量を算出し、当該他の集音素子の各々の音声に当該算出された遅延量を付加し、当該遅延量が付加された他の集音素子の各々の音声から前記一の集音素子の音声を減算して、雑音を抽出且つ除去することにより、前記変換された方向に前記音声入力手段の超指向性を設定することを特徴とする。
The speech enhancement apparatus according to
請求項3の音声強調装置は、請求項1又は2記載の音声強調装置において、前記撮影手段及び前記音声入力手段は、通信網を介して前記音声強調装置に接続されることを特徴とする。
The speech enhancement apparatus according to
請求項4の音声強調装置は、請求項1乃至3のいずれか1項に記載の音声強調装置において、前記設定された音声入力手段の超指向性に対応する音声を出力する音声出力手段を備えることを特徴とする。
The speech enhancement device according to
請求項5の音声強調装置は、請求項1又は2に記載の音声強調装置において、前記撮影手段で撮影された画像及び前記音声入力手段で入力された音声を記憶する記憶手段と、前記記憶手段に記憶された画像及び音声の再生を指示する再生指示手段とを備え、前記再生指示手段により前記記憶された画像及び前記記憶された音声の再生が指示された場合には、前記画像表示手段は、前記記憶された画像を表示し同時に当該画像に重畳して前記位置入力手段によって入力された位置を表示し、前記設定手段は、前記記憶された音声に対して前記変換された方向に前記音声入力手段の超指向性を設定することを特徴とする。
The speech enhancement device according to
請求項6の音声強調装置は、請求項5に記載の音声強調装置において、前記設定された音声入力手段の超指向性に対応する音声を出力する音声出力手段を備えることを特徴とする。 According to a sixth aspect of the present invention, there is provided the voice emphasizing apparatus according to the fifth aspect, further comprising voice output means for outputting voice corresponding to the superdirectivity of the set voice input means.
請求項7の制御プログラムは、音源となる対象物を含む画像を撮影する撮影手段、及び複数の集音素子を有し、当該対象物が発する音声を入力する音声入力手段に接続されるコンピュータを、操作者が指示する位置を入力する位置入力手段、前記撮影手段で撮影された画像を表示し同時に当該画像に重畳して前記位置入力手段によって入力された位置を表示する画像表示手段、前記位置入力手段によって示された画像上の位置を前記音声入力手段に対する方向に変換する変換手段、及び前記変換された方向に前記音声入力手段の超指向性を設定する設定手段として機能させることを特徴とする。 According to a seventh aspect of the present invention, there is provided a control program comprising: a photographing unit that captures an image including an object that is a sound source; and a computer that is connected to a voice input unit that inputs a sound emitted from the target object. A position input means for inputting a position designated by an operator, an image display means for displaying an image photographed by the photographing means and displaying the position inputted by the position input means while being superimposed on the image at the same time, the position And functioning as a conversion means for converting the position on the image indicated by the input means into a direction with respect to the voice input means, and a setting means for setting the superdirectivity of the voice input means in the converted direction. To do.
請求項1、7の発明によれば、雑音に取り囲まれた環境内でも、操作者が指示する位置に対応する目的音声の強調を行うことができる。 According to the first and seventh aspects of the present invention, the target speech corresponding to the position indicated by the operator can be emphasized even in an environment surrounded by noise.
請求項2の発明によれば、音声入力手段の超指向性を精度良く設定することができる。
According to the invention of
請求項3の発明によれば、通信網を介して入力された音声についても、操作者が指示する位置に対応する目的音声の強調を行うことができる。 According to the third aspect of the present invention, the target voice corresponding to the position indicated by the operator can be emphasized also for the voice input via the communication network.
請求項4の発明によれば、操作者が指示する位置に対応する目的音声を強調して出力することができる。
According to the invention of
請求項5の発明によれば、記憶手段に記憶された音声のうち、操作者が指示する位置に対応する目的音声の強調を行うことができる。 According to the fifth aspect of the present invention, it is possible to enhance the target voice corresponding to the position indicated by the operator among the voices stored in the storage means.
請求項6の発明によれば、記憶手段に記憶された音声のうち、操作者が指示する位置に対応する目的音声を強調して出力することができる。 According to the sixth aspect of the present invention, it is possible to emphasize and output the target voice corresponding to the position indicated by the operator among the voices stored in the storage means.
以下、本発明の実施の形態について、図面を参照して説明する。 Embodiments of the present invention will be described below with reference to the drawings.
(第1の実施の形態)
図1は、本発明の第1の実施の形態に係る音声強調装置の構成を示す図である。
(First embodiment)
FIG. 1 is a diagram showing the configuration of the speech enhancement apparatus according to the first embodiment of the present invention.
本発明の実施の形態に係る音声強調装置は、パーソナルコンピュータ(PC)1、対象物9を撮影するビデオカメラ2(撮影手段)、対象物9が発する音声を取得するマイクロホンアレイ3(音声出力手段)、及び音声を出力するスピーカ4(音声出力手段)を備えている。また、PC1は、音声を再生する再生部10(音声出力手段)と、装置全体を制御する制御部11(変換手段、設定手段)と、ビデオカメラ2からの映像及びマイクロホンアレイ3からの音声を受信すると共にマイクロホンアレイ3の超指向性を制御する制御コマンドをマイクロホンアレイ3に送信する送受信部12と、マウスやキーボードなどで構成される操作部13(位置入力手段、再生指示手段)と、制御プログラム、データ及び情報等を記憶する記憶部14(記憶手段)と、表示領域17及びユーザインターフェース(UI)16を表示する表示部15(画像表示手段)とを備えている。マイクロホンアレイ3は複数のマイクロホン素子を含む。
A speech enhancement apparatus according to an embodiment of the present invention includes a personal computer (PC) 1, a video camera 2 (photographing unit) that captures an
制御部11は、再生部10、送受信部12、操作部13、記憶部14、及び表示部15に接続されており、さらに送受信部12を介してビデオカメラ2及びマイクロホンアレイ3に接続されている。尚、PC1は、表示部15を備える一体型のパーソナルコンピュータで構成してもよい。
The
表示領域17には、ビデオカメラ2で撮影された撮影画像が表示される。また、表示領域17には、操作部13からの操作指示に従って動作するマウスカーソル18が表示されている。マウスカーソル18で位置が指定されると、後述するように、制御部11は、マイクロホンアレイ3の超指向性を当該指定された位置に設定する制御コマンドをマイクロホンアレイ3に対して送信する。
In the
図2は、PC1のハードウエア構成を示すブロック図である。
FIG. 2 is a block diagram showing a hardware configuration of the
PC1は、装置全体を制御するCPU21、制御プログラムを備えるROM22、ワーキングエリアとして機能するRAM23、各種の情報やプログラムを備えるハードディスクドライブ(HDD)24、マウス及びキーボード25、他のコンピュータと接続するためのネットワークインタフェース26、液晶モニタ又はCRTで構成されるディスプレイ27、及びビデオカメラ2及びマイクロホンアレイ3と接続するためのUSB(universal serial bus)インタフェース28を備えている。CPU21はシステムバス29を介してROM22、RAM23、ハードディスクドライブ(HDD)24、マウス及びキーボード25、ネットワークインタフェース26、ディスプレイ27及びUSBインタフェース28に接続されている。
The PC 1 is connected to a
制御部11は、制御プログラムに従って各種の処理を実行するCPU21に相当する。送受信部12は、ネットワークインタフェース26及びUSBインタフェース28に相当する。操作部13は、マウス及びキーボード25に相当し、記憶部14は、ハードディスクドライブ(HDD)24に相当する。表示部305は、ディスプレイ27に相当する。
The
図3は、図1のPC1で実行される処理を示すフローチャートである。
FIG. 3 is a flowchart showing processing executed by the
まず、制御部11は、送受信部12を介してビデオカメラ2から撮影画像を受信し、当該撮影画像を表示部15の表示領域17に表示させる(ステップS1)。このとき、表示領域17には、マウスカーソル18も撮影画像上に重ねて表示される。
First, the
次いで、制御部11は、送受信部12を介してマイクロホンアレイ3から音声を受信する(ステップS2)。
Next, the
次に、制御部11は、マウスカーソル18で位置が指定されたか否かを判別する(ステップS3)。具体的には、制御部11は、操作部13からダブルクリック等の位置指定コマンドを入力したか否かを判別する。
Next, the
ステップS3の判別の結果、NOの場合には、本処理を終了する。一方、YESの場合には、制御部11は、マウスカーソル18で指定された位置がマイクロホンアレイ3にとってどういう向きであるかを計算する、即ち、指定された位置に対するマイクロホンアレイ3の方向を計算する(ステップS4)。より具体的には、制御部11は、マウスカーソル18で指定された位置をマイクロホンアレイ3の方向に変換する計算を実行する。
If the result of determination in step S3 is NO, this process ends. On the other hand, in the case of YES, the
制御部11は、マイクロホンアレイ3の超指向性を当該計算された方向に設定するためのマイクロホン素子毎の音声の遅延量を計算する(ステップS5)。
The
制御部11は、マイクロホンアレイ3の超指向性を当該計算された方向に設定するための制御コマンド及び当該遅延量を、送受信部12を介してマイクロホンアレイ3に送信する(ステップS6)。これにより、制御部11は、マイクロホンアレイ3の超指向性を上記指定された位置に設定する。
The
制御部11は、例えば、2つのマイクロホン素子A、Bがある場合に、マイクロホン素子Aの音声に対するマイクロホン素子Bの音声の遅延量を設定する。そして、制御部11は、当該設定された遅延量をマイクロホン素子Bで取得された音声に付加して、マイクロホン素子A、Bの音声を同位相化する。マイクロホン素子Bの音声からマイクロホン素子Aの音声を減算することで、いわゆる雑音となる音声を抽出し、除去して、所望の音声(即ち指定された位置に対応する音声)を取得することができる。
For example, when there are two microphone elements A and B, the
制御部11は、マイクロホンアレイ3及び送受信部12を介して、対象物9から、指定された位置に対応する強調された音声を採取し、記憶部14に記憶して(ステップS7)、本処理を終了する。尚、記憶部14に記憶された音声は、制御部11により適宜読み出されて、再生部10及びスピーカ4を介して出力される。これにより、操作者が指示する位置に対応する目的音声を強調して出力することができる。
The
以上説明したように、本実施の形態によれば、ビデオカメラ2が音源となる対象物を含む画像を撮影し、マイクロホンアレイ3が複数のマイクロホン素子を有し、当該対象物が発する音声を入力し、操作部113が操作者が指示する位置を入力し、表示部15がビデオカメラ2で撮影された画像を表示し同時に当該画像に重畳して操作部113のマウスカーソル18によって入力された位置を表示し、制御部11がマウスカーソル18によって示された画像上の位置をマイクロホンアレイ3に対する方向に変換し、当該変換された方向にマイクロホンアレイ3の超指向性を設定するので、雑音に取り囲まれた環境内でも、操作者が指示する位置に対応する目的音声の強調を行うことができる。
As described above, according to the present embodiment, the
制御部11は、一のマイクロホン素子の音声に対する他のマイクロホン素子の各々の音声の遅延量を算出し、当該他のマイクロホン素子の各々の音声に当該算出された遅延量を付加し、当該遅延量が付加された他のマイクロホン素子の各々の音声から前記一のマイクロホン素子の音声を減算して、雑音を抽出且つ除去することにより、上記変換された方向にマイクロホンアレイ3の超指向性を設定するので、マイクロホンアレイ3の超指向性を精度良く設定することができる。
The
(第2の実施の形態)
本実施の形態は、ビデオカメラ2及びマイクロホンアレイ3が他のPCに接続され、ビデオカメラ2からの撮影画像及びマイクロホンアレイ3からの音声をネットワークを介して受信する点で、第1の実施の形態と異なる。
(Second Embodiment)
In the present embodiment, the
図4は、第2の実施の形態に係る音声強調装置の構成を示す図である。 FIG. 4 is a diagram illustrating the configuration of the speech enhancement apparatus according to the second embodiment.
同図に示すように、PC1はネットワーク6(通信網)を介してPC5に接続されている。また、PC5には、ビデオカメラ2及びマイクロホンアレイ3が接続されている。ビデオカメラ2の撮影画像及びマイクロホンアレイ3の音声はPC5及びネットワーク6を介してPC1に送信される。
As shown in the figure, the
図5は、PC1で実行される処理を示すフローチャートである。尚、図3の処理と同一の処理については、同一のステップ番号を付す。
FIG. 5 is a flowchart showing processing executed by the
まず、制御部11は、PC5、ネットワーク6及び送受信部12を介してビデオカメラ2から撮影画像を受信し、当該撮影画像を表示部15の表示領域17に表示させる(ステップS11)。このとき、表示領域17には、マウスカーソル18も撮影画像上に重ねて表示される。
First, the
次いで、制御部11は、PC5、ネットワーク6及び送受信部12を介してマイクロホンアレイ3から音声を受信する(ステップS12)。
Next, the
次に、制御部11は、マウスカーソル18で位置が指定されたか否かを判別する(ステップS3)。具体的には、制御部11は、操作部13からダブルクリック等の位置指定コマンドを入力したか否かを判別する。
Next, the
ステップS3の判別の結果、NOの場合には、本処理を終了する。一方、YESの場合には、制御部11は、マウスカーソル18で指定された位置がマイクロホンアレイ3にとってどういう向きであるかを計算する、即ち、指定された位置に対するマイクロホンアレイ3の方向を計算する(ステップS4)。より具体的には、制御部11は、マウスカーソル18で指定された位置をマイクロホンアレイ3の方向に変換する計算を実行する。
If the result of determination in step S3 is NO, this process ends. On the other hand, in the case of YES, the
制御部11は、マイクロホンアレイ3の超指向性を当該計算された方向に設定するためのマイクロホン素子毎の音声の遅延量を計算する(ステップS5)。
The
制御部11は、マイクロホンアレイ3の超指向性を当該計算された方向に設定するための制御コマンド及び当該遅延量を、PC5、ネットワーク6及び送受信部12を介してマイクロホンアレイ3に送信する(ステップS13)。これにより、制御部11は、マイクロホンアレイ3の超指向性を上記指定された位置に設定する。
The
制御部11は、例えば、2つのマイクロホン素子A、Bがある場合に、マイクロホン素子Aの音声に対するマイクロホン素子Bの音声の遅延量を設定する。そして、制御部11は、当該設定された遅延量をマイクロホン素子Bで取得された音声に付加して、マイクロホン素子A、Bの音声を同位相化する。マイクロホン素子Bの音声からマイクロホン素子Aの音声を減算することで、いわゆる雑音となる音声を抽出し、除去して、所望の音声(即ち指定された位置に対応する音声)を取得することができる。
For example, when there are two microphone elements A and B, the
制御部11は、マイクロホンアレイ3、PC5、ネットワーク6及び及び送受信部12を介して、対象物9から、指定された位置に対応する強調された音声を採取し、再生部10及びスピーカ4を介して出力して(ステップS14)、本処理を終了する。尚、ステップS16で強調された音声を記憶部14に記憶するようにしてもよい。
The
以上説明したように、本実施の形態によれば、ビデオカメラ2及びマイクロホンアレイ3がネットワーク6を介してPC1に接続されるので、ネットワークを介してリアルタイムで入力された音声についても、操作者が指示する位置に対応する目的音声の強調を行うことができる。
As described above, according to the present embodiment, the
また、制御部11は、マイクロホンアレイ3、PC5、ネットワーク6及び及び送受信部12を介して、対象物9から、指定された位置に対応する強調された音声を採取し、再生部10及びスピーカ4を介して出力するので、操作者が指示する位置に対応する目的音声を強調して出力することができる。
Further, the
(第3の実施の形態)
本実施の形態は、記憶部14に記憶された音声の中から、操作者が指示する位置に対応する目的音声の強調を行う点で、第1の実施の形態と異なる。
(Third embodiment)
This embodiment is different from the first embodiment in that the target voice corresponding to the position indicated by the operator is emphasized from the voices stored in the
本実施の形態における音声強調装置の構成は、上記図1の音声強調装置の構成と同一であるので、その説明は省略する。 Since the configuration of the speech enhancement apparatus in the present embodiment is the same as the configuration of the speech enhancement apparatus of FIG. 1, the description thereof is omitted.
図6は、PC1で実行される処理を示すフローチャートである。尚、図3の処理と同一の処理については、同一のステップ番号を付す。
FIG. 6 is a flowchart showing processing executed by the
まず、制御部11は、送受信部12を介してビデオカメラ2から撮影画像を受信すると共に送受信部12を介してマイクロホンアレイ3から音声を受信し、当該撮影画像及び当該音声を関連づけて記憶部14に記憶する(ステップS21)。この際、操作者は、撮影画像及び音声に、ファイル名などを付ける。
First, the
制御部11は、操作部13を介して、記憶部14に記憶された撮影画像及び音声の再生指示が入力されたか否かを判別する(ステップS22)。
The
ステップS22でNOの場合には、本処理を終了する。一方、ステップS22でYESの場合には、制御部11は、再生指示に対応する撮影画像を記憶部14から読み出し、当該撮影画像を表示部15の表示領域17に表示させる(ステップS23)。このとき、表示領域17には、マウスカーソル18も撮影画像上に重ねて表示される。
If NO in step S22, this process ends. On the other hand, if YES in step S22, the
次いで、制御部11は、再生指示に対応する音声を再生部10及びスピーカ4を介して出力する(ステップS24)。
Next, the
次に、制御部11は、マウスカーソル18で位置が指定されたか否かを判別する(ステップS3)。具体的には、制御部11は、操作部13からダブルクリック等の位置指定コマンドを入力したか否かを判別する。
Next, the
ステップS3の判別の結果、NOの場合には、本処理を終了する。一方、YESの場合には、制御部11は、マウスカーソル18で指定された位置がマイクロホンアレイ3にとってどういう向きであるかを計算する、即ち、指定された位置に対するマイクロホンアレイ3の方向を計算する(ステップS4)。より具体的には、制御部11は、マウスカーソル18で指定された位置をマイクロホンアレイ3の方向に変換する計算を実行する。
If the result of determination in step S3 is NO, this process ends. On the other hand, in the case of YES, the
制御部11は、マイクロホンアレイ3の超指向性を当該計算された方向に設定するためのマイクロホン素子毎の音声の遅延量を計算する(ステップS5)。
The
制御部11は、マイクロホンアレイ3の超指向性を当該計算された方向に設定するための制御コマンド及び当該遅延量を、再生中の音声に適用する(ステップS25)。これにより、制御部11は、マイクロホンアレイ3の超指向性を上記指定された位置に設定する。
The
制御部11は、例えば、2つのマイクロホン素子A、Bがある場合に、マイクロホン素子Aの音声に対するマイクロホン素子Bの音声の遅延量を設定する。そして、制御部11は、当該設定された遅延量をマイクロホン素子Bで取得された音声に付加して、マイクロホン素子A、Bの音声を同位相化する。マイクロホン素子Bの音声からマイクロホン素子Aの音声を減算することで、いわゆる雑音となる音声を抽出し、除去して、所望の音声(即ち指定された位置に対応する音声)を取得することができる。
For example, when there are two microphone elements A and B, the
制御部11は、対象物9から、指定された位置に対応する強調された音声を採取し、再生部10及びスピーカ4を介して出力して(ステップS26)、本処理を終了する。尚、ステップS16で強調された音声を記憶部14に記憶するようにしてもよい。
The
以上説明したように、本実施の形態によれば、記憶部14がビデオカメラ2で撮影された画像及びマイクロホンアレイ3で入力された音声を記憶し、操作部13が記憶部14に記憶された画像及び音声の再生指示を入力し、記憶された画像及び記憶された音声の再生が指示された場合には、表示部15は、記憶された画像を表示し同時に当該画像に重畳して操作部13のマウスカーソル18によって入力された位置を表示し、制御部11は、記憶された音声に対して変換(計算)された方向にマイクロホンアレイ3の超指向性を設定するので、記憶部14に記憶された音声のうち、操作者が指示する位置に対応する目的音声の強調を行うことができる。
As described above, according to the present embodiment, the
また、スピーカ4及び再生部10は、設定されたマイクロホンアレイ3の超指向性に対応する音声を出力するので、記憶部14に記憶された音声のうち、操作者が指示する位置に対応する目的音声を強調して出力することができる。
In addition, since the
PC1の機能を実現するためのソフトウェアのプログラムが記録されている記録媒体を、PC1に供給し、PC1のCPUが記憶媒体に格納されたプログラムを読み出し実行することによっても、上記実施の形態と同様の効果を奏する。プログラムを供給するための記憶媒体としては、例えば、CD−ROM、DVD、又はSDカードなどがある。
Similar to the above embodiment, a recording medium in which a software program for realizing the functions of the
また、PC1のCPUが、PC1の機能を実現するためのソフトウェアのプログラムを実行することによっても、上記実施の形態と同様の効果を奏する。
In addition, the same effect as that of the above-described embodiment can be obtained when the CPU of the
なお、本発明は、上述した実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内で種々変形して実施することが可能である。 Note that the present invention is not limited to the above-described embodiment, and can be implemented with various modifications without departing from the scope of the invention.
1 PC
2 ビデオカメラ(撮影手段)
3 マイクロホンアレイ(音声入力手段)
4 スピーカ(音声出力手段)
9 対象物
10 再生部(音声出力手段)
11 制御部(変換手段、設定手段)
12 送受信部
13 操作部(位置入力手段、再生指示手段)
14 記憶部(記憶手段)
15 表示部(画像表示手段)
1 PC
2 Video camera (photographing means)
3 Microphone array (voice input means)
4 Speaker (Audio output means)
9
11 Control unit (conversion means, setting means)
12 Transmission /
14 Storage unit (storage means)
15 Display unit (image display means)
Claims (7)
複数の集音素子を有し、当該対象物が発する音声を入力する音声入力手段と、
操作者が指示する位置を入力する位置入力手段と、
前記撮影手段で撮影された画像を表示し同時に当該画像に重畳して前記位置入力手段によって入力された位置を表示する画像表示手段と、
前記位置入力手段によって示された画像上の位置を前記音声入力手段に対する方向に変換する変換手段と、
前記変換された方向に前記音声入力手段の超指向性を設定する設定手段と
を備えることを特徴とする音声強調装置。 Photographing means for photographing an image including an object as a sound source;
A voice input means having a plurality of sound collecting elements and inputting a voice emitted from the object;
Position input means for inputting the position indicated by the operator;
An image display means for displaying an image photographed by the photographing means and simultaneously displaying the image inputted by the position input means by superimposing the image on the image;
Conversion means for converting the position on the image indicated by the position input means into a direction relative to the voice input means;
A speech enhancement apparatus comprising: setting means for setting superdirectivity of the speech input means in the converted direction.
前記記憶手段に記憶された画像及び音声の再生を指示する再生指示手段とを備え、
前記再生指示手段により前記記憶された画像及び前記記憶された音声の再生が指示された場合には、前記画像表示手段は、前記記憶された画像を表示し同時に当該画像に重畳して前記位置入力手段によって入力された位置を表示し、前記設定手段は、前記記憶された音声に対して前記変換された方向に前記音声入力手段の超指向性を設定することを特徴とする請求項1又は2に記載の音声強調装置。 Storage means for storing an image photographed by the photographing means and sound input by the sound input means;
Playback instruction means for instructing playback of the image and sound stored in the storage means,
When reproduction of the stored image and the stored sound is instructed by the reproduction instruction unit, the image display unit displays the stored image and simultaneously superimposes the image on the image to input the position. The position input by the means is displayed, and the setting means sets the superdirectivity of the voice input means in the converted direction with respect to the stored voice. The voice emphasis device described in 1.
操作者が指示する位置を入力する位置入力手段、
前記撮影手段で撮影された画像を表示し同時に当該画像に重畳して前記位置入力手段によって入力された位置を表示する画像表示手段、
前記位置入力手段によって示された画像上の位置を前記音声入力手段に対する方向に変換する変換手段、及び
前記変換された方向に前記音声入力手段の超指向性を設定する設定手段と
して機能させることを特徴とする制御プログラム。
A computer having a photographing means for photographing an image including an object to be a sound source, and a plurality of sound collecting elements, and connected to a sound input means for inputting sound emitted from the object,
Position input means for inputting the position indicated by the operator;
Image display means for displaying an image photographed by the photographing means and simultaneously displaying the image inputted by the position input means by superimposing the image on the image;
Functioning as conversion means for converting the position on the image indicated by the position input means into a direction with respect to the voice input means, and setting means for setting superdirectivity of the voice input means in the converted direction. A characteristic control program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007111066A JP2008271157A (en) | 2007-04-19 | 2007-04-19 | Sound enhancement device and control program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007111066A JP2008271157A (en) | 2007-04-19 | 2007-04-19 | Sound enhancement device and control program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008271157A true JP2008271157A (en) | 2008-11-06 |
Family
ID=40050084
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007111066A Pending JP2008271157A (en) | 2007-04-19 | 2007-04-19 | Sound enhancement device and control program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008271157A (en) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010145524A (en) * | 2008-12-16 | 2010-07-01 | Casio Hitachi Mobile Communications Co Ltd | Recording device, reproduction device, and program |
JP2010251916A (en) * | 2009-04-13 | 2010-11-04 | Nec Casio Mobile Communications Ltd | Sound data processing device and program |
JP2011188374A (en) * | 2010-03-10 | 2011-09-22 | Olympus Imaging Corp | Shooting apparatus |
WO2014103331A1 (en) * | 2012-12-27 | 2014-07-03 | パナソニック株式会社 | Sound processing system and sound processing method |
JP2015019371A (en) * | 2013-07-09 | 2015-01-29 | ノキア コーポレイション | Audio processing apparatus |
JP2015100125A (en) * | 2012-12-27 | 2015-05-28 | パナソニックIpマネジメント株式会社 | Audio processing system and audio processing method |
WO2015162645A1 (en) * | 2014-04-25 | 2015-10-29 | パナソニックIpマネジメント株式会社 | Audio processing apparatus, audio processing system, and audio processing method |
EP2958339A4 (en) * | 2013-02-15 | 2017-01-18 | Panasonic Intellectual Property Management Co., Ltd. | Directionality control system, calibration method, horizontal deviation angle computation method, and directionality control method |
JPWO2015151131A1 (en) * | 2014-03-31 | 2017-04-13 | パナソニックIpマネジメント株式会社 | Directivity control method, storage medium, and directivity control system |
JPWO2015170368A1 (en) * | 2014-05-09 | 2017-04-20 | パナソニックIpマネジメント株式会社 | Directivity control method, storage medium, and directivity control system |
WO2017208820A1 (en) * | 2016-05-30 | 2017-12-07 | ソニー株式会社 | Video sound processing device, video sound processing method, and program |
CN107491101A (en) * | 2017-09-14 | 2017-12-19 | 歌尔科技有限公司 | A kind of adjusting method, device and the electronic equipment of microphone array pickup angle |
JP2018023137A (en) * | 2017-09-12 | 2018-02-08 | パナソニックIpマネジメント株式会社 | Directivity controller, directivity control method, storage medium, and directivity control system |
US10182280B2 (en) | 2014-04-23 | 2019-01-15 | Panasonic Intellectual Property Management Co., Ltd. | Sound processing apparatus, sound processing system and sound processing method |
US10909384B2 (en) | 2015-07-14 | 2021-02-02 | Panasonic Intellectual Property Management Co., Ltd. | Monitoring system and monitoring method |
-
2007
- 2007-04-19 JP JP2007111066A patent/JP2008271157A/en active Pending
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010145524A (en) * | 2008-12-16 | 2010-07-01 | Casio Hitachi Mobile Communications Co Ltd | Recording device, reproduction device, and program |
JP2010251916A (en) * | 2009-04-13 | 2010-11-04 | Nec Casio Mobile Communications Ltd | Sound data processing device and program |
JP2011188374A (en) * | 2010-03-10 | 2011-09-22 | Olympus Imaging Corp | Shooting apparatus |
US8760552B2 (en) | 2010-03-10 | 2014-06-24 | Olympus Imaging Corp. | Shooting apparatus |
US9826211B2 (en) | 2012-12-27 | 2017-11-21 | Panasonic Intellectual Property Management Co., Ltd. | Sound processing system and processing method that emphasize sound from position designated in displayed video image |
US10244219B2 (en) | 2012-12-27 | 2019-03-26 | Panasonic Intellectual Property Management Co., Ltd. | Sound processing system and sound processing method that emphasize sound from position designated in displayed video image |
CN104904236B (en) * | 2012-12-27 | 2018-09-14 | 松下知识产权经营株式会社 | sound processing system and sound processing method |
JP2015100125A (en) * | 2012-12-27 | 2015-05-28 | パナソニックIpマネジメント株式会社 | Audio processing system and audio processing method |
JP2015118386A (en) * | 2012-12-27 | 2015-06-25 | パナソニックIpマネジメント株式会社 | Voice processing system and voice processing method |
JP2015122756A (en) * | 2012-12-27 | 2015-07-02 | パナソニックIpマネジメント株式会社 | Audio processing system and audio processing method |
CN104904236A (en) * | 2012-12-27 | 2015-09-09 | 松下知识产权经营株式会社 | Sound processing system and sound processing method |
US10536681B2 (en) | 2012-12-27 | 2020-01-14 | Panasonic Intellectual Property Management Co., Ltd. | Sound processing system and sound processing method that emphasize sound from position designated in displayed video image |
JP2014143678A (en) * | 2012-12-27 | 2014-08-07 | Panasonic Corp | Voice processing system and voice processing method |
WO2014103331A1 (en) * | 2012-12-27 | 2014-07-03 | パナソニック株式会社 | Sound processing system and sound processing method |
US10244162B2 (en) | 2013-02-15 | 2019-03-26 | Panasonic Intellectual Property Management Co., Ltd. | Directionality control system, calibration method, horizontal deviation angle computation method, and directionality control method |
US9860439B2 (en) | 2013-02-15 | 2018-01-02 | Panasonic Intellectual Property Management Co., Ltd. | Directionality control system, calibration method, horizontal deviation angle computation method, and directionality control method |
EP2958339A4 (en) * | 2013-02-15 | 2017-01-18 | Panasonic Intellectual Property Management Co., Ltd. | Directionality control system, calibration method, horizontal deviation angle computation method, and directionality control method |
US10080094B2 (en) | 2013-07-09 | 2018-09-18 | Nokia Technologies Oy | Audio processing apparatus |
US10142759B2 (en) | 2013-07-09 | 2018-11-27 | Nokia Technologies Oy | Method and apparatus for processing audio with determined trajectory |
JP2015019371A (en) * | 2013-07-09 | 2015-01-29 | ノキア コーポレイション | Audio processing apparatus |
JPWO2015151131A1 (en) * | 2014-03-31 | 2017-04-13 | パナソニックIpマネジメント株式会社 | Directivity control method, storage medium, and directivity control system |
US10182280B2 (en) | 2014-04-23 | 2019-01-15 | Panasonic Intellectual Property Management Co., Ltd. | Sound processing apparatus, sound processing system and sound processing method |
CN105474666B (en) * | 2014-04-25 | 2018-11-16 | 松下知识产权经营株式会社 | sound processing system and sound processing method |
JPWO2015162645A1 (en) * | 2014-04-25 | 2017-04-13 | パナソニックIpマネジメント株式会社 | Audio processing method, audio processing system, and storage medium |
WO2015162645A1 (en) * | 2014-04-25 | 2015-10-29 | パナソニックIpマネジメント株式会社 | Audio processing apparatus, audio processing system, and audio processing method |
JPWO2015170368A1 (en) * | 2014-05-09 | 2017-04-20 | パナソニックIpマネジメント株式会社 | Directivity control method, storage medium, and directivity control system |
US10909384B2 (en) | 2015-07-14 | 2021-02-02 | Panasonic Intellectual Property Management Co., Ltd. | Monitoring system and monitoring method |
WO2017208820A1 (en) * | 2016-05-30 | 2017-12-07 | ソニー株式会社 | Video sound processing device, video sound processing method, and program |
US11184579B2 (en) | 2016-05-30 | 2021-11-23 | Sony Corporation | Apparatus and method for video-audio processing, and program for separating an object sound corresponding to a selected video object |
US11902704B2 (en) | 2016-05-30 | 2024-02-13 | Sony Corporation | Apparatus and method for video-audio processing, and program for separating an object sound corresponding to a selected video object |
JP2018023137A (en) * | 2017-09-12 | 2018-02-08 | パナソニックIpマネジメント株式会社 | Directivity controller, directivity control method, storage medium, and directivity control system |
CN107491101A (en) * | 2017-09-14 | 2017-12-19 | 歌尔科技有限公司 | A kind of adjusting method, device and the electronic equipment of microphone array pickup angle |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008271157A (en) | Sound enhancement device and control program | |
JP6289121B2 (en) | Acoustic signal processing device, moving image photographing device, and control method thereof | |
JP5801026B2 (en) | Image sound processing apparatus and imaging apparatus | |
JP2013106298A (en) | Imaging controller, imaging control method, program for imaging control method, and imaging apparatus | |
KR101374353B1 (en) | Sound processing apparatus | |
WO2013024704A1 (en) | Image-processing device, method, and program | |
JP5764005B2 (en) | Playback apparatus and playback method | |
JP2009207522A (en) | Medical image treatment system | |
JP6852478B2 (en) | Communication terminal, communication program and communication method | |
JP2010166322A (en) | Video viewing apparatus, video play back control method, and recording/play back program | |
JP2018148436A (en) | Device, system, method, and program | |
JP2011254400A (en) | Image and voice recording device | |
WO2013008869A1 (en) | Electronic device and data generation method | |
JP2013183280A (en) | Information processing device, imaging device, and program | |
JP2000222417A (en) | Image filing device | |
JP4379742B2 (en) | REPRODUCTION DEVICE, REPRODUCTION METHOD, AND PROGRAM | |
JP2011120028A (en) | Sound reproducer and method for controlling the same | |
JP2006074732A (en) | Video signal processor and video signal processing method | |
KR101471602B1 (en) | Sound processing apparatus and sound processing method | |
JP2011120165A (en) | Imaging apparatus | |
JP2007079043A (en) | Information display apparatus and control method for the same | |
US20230187065A1 (en) | Information processing apparatus and control method | |
JP2009124350A (en) | Imaging device, its control method, and program | |
JP2016144137A (en) | Imaging device, imaging method, and program | |
JP6167483B2 (en) | Reproduction processing device, imaging device, and reproduction processing program |