JP2017022521A - Directivity control system and voice output control method - Google Patents
Directivity control system and voice output control method Download PDFInfo
- Publication number
- JP2017022521A JP2017022521A JP2015138014A JP2015138014A JP2017022521A JP 2017022521 A JP2017022521 A JP 2017022521A JP 2015138014 A JP2015138014 A JP 2015138014A JP 2015138014 A JP2015138014 A JP 2015138014A JP 2017022521 A JP2017022521 A JP 2017022521A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- unit
- output
- privacy protection
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
Description
本発明は、収音された音声の出力を制御する指向性制御システム及び音声出力制御方法に関する。 The present invention relates to a directivity control system and a sound output control method for controlling the output of collected sound.
従来、マイクアレイ装置から音声の収音位置に向かう指向方向に指向性を形成する指向性制御システムが知られている（例えば、特許文献１参照）。特許文献１の指向性制御システムは、指定された音声の収音位置が既定のプライバシー保護エリアの範囲内である場合に、マイクアレイ装置により収音された音声の音声データの出力を抑制する。
2. Description of the Related Art Conventionally, a directivity control system that forms directivity in a directivity direction from a microphone array device toward a sound collection position is known (see, for example, Patent Document 1). The directivity control system disclosed in
しかしながら、特許文献１の構成では、プライバシー保護エリアに近接する外側の位置が音声の収音位置に指定されてしまうと、プライバシー保護エリア内の音が外側に漏れて聞こえてしまい、会話の内容が他人に知られてしまう等、プライバシー保護エリア内にいる人物のプライバシー保護が不十分であるという課題があった。
However, in the configuration of
本発明は、上述した従来の課題を解決するために、プライバシー保護エリア内で人物により音声が発せられても、その人物が発した音声の内容が他人に知られることなく、人物のプライバシー保護の劣化を抑制する指向性制御システム及び音声出力制御方法を提供することを目的とする。 In order to solve the above-described conventional problems, the present invention can protect the privacy of a person without causing others to know the content of the voice emitted by the person even if the person makes a sound in the privacy protection area. An object is to provide a directivity control system and an audio output control method for suppressing deterioration.
本発明は、撮像エリアの映像を撮像可能な撮像部と、前記撮像エリアの音声を収音する収音部と、前記撮像部により撮像された前記撮像エリアの映像データを表示する表示部と、前記収音部により収音された前記撮像エリアの音声データを出力する音声出力部と、前記表示部に表示された前記撮像エリアの映像データに対して指定されたプライバシー保護エリアの位置情報を記憶する第１メモリと、前記収音部により収音された前記撮像エリアの音声データの音源を検出する第１検出部と、前記撮像エリアにおける人物の動きを検出する第２検出部と、前記第２検出部により前記人物の動きが検出され、かつ、前記第１検出部により検出された前記音源が前記プライバシー保護エリアの範囲内である場合に、前記収音部により収音された前記撮像エリアの音声データの前記音声出力部における出力を制御する出力制御部と、を備える、指向性制御システムを提供する。 The present invention includes an imaging unit capable of capturing an image of an imaging area, a sound collection unit that collects sound of the imaging area, a display unit that displays video data of the imaging area captured by the imaging unit, An audio output unit that outputs audio data of the imaging area picked up by the sound pickup unit, and location information of the privacy protection area designated for the video data of the imaging area displayed on the display unit are stored A first detection unit that detects a sound source of the audio data of the imaging area picked up by the sound pickup unit, a second detection unit that detects the movement of a person in the imaging area, and the first When the movement of the person is detected by two detection units and the sound source detected by the first detection unit is within the privacy protection area, the sound collected by the sound collection unit is collected. And an output control unit which controls the output at the audio output of the audio data of the image area, to provide a directional control system.
また、本発明は、撮像部及び収音部を有する指向性制御システムにおける音声出力制御方法であって、前記撮像部において、撮像エリアの映像を撮像し、前記収音部において、前記撮像エリアの音声を収音し、前記撮像エリアの映像データが表示された表示部に対して指定されたプライバシー保護エリアの位置情報をメモリに記憶し、前記収音部により収音された前記撮像エリアの音声データの音源を検出し、前記撮像エリアにおける人物の動きを検出し、前記人物の動きが検出され、かつ検出された前記音源が前記プライバシー保護エリアの範囲内である場合に、前記収音部により収音された前記撮像エリアの音声データの出力を制御する、音声出力制御方法を提供する。 The present invention is also an audio output control method in a directivity control system having an imaging unit and a sound collection unit, wherein the imaging unit captures an image of an imaging area, and the sound collection unit Audio is picked up, the location information of the privacy protection area designated for the display unit on which the video data of the image pickup area is displayed is stored in a memory, and the sound of the image pickup area picked up by the sound pickup unit When the sound source of the data is detected, the movement of the person in the imaging area is detected, the movement of the person is detected, and the detected sound source is within the range of the privacy protection area, the sound collection unit Provided is an audio output control method for controlling output of collected audio data of the imaging area.
本発明によれば、プライバシー保護エリア内で人物により音声が発せられても、その人物が発した音声の内容が他人に知られることなく、人物のプライバシー保護の劣化を抑制することができる。 ADVANTAGE OF THE INVENTION According to this invention, even if an audio | voice is uttered by a person in a privacy protection area, the content of the audio | voice which the person uttered is not known to others, but deterioration of a person's privacy protection can be suppressed.
以下、適宜図面を参照しながら、本発明に係る指向性制御システム及び音声出力制御方法を具体的に開示した各実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。 Hereinafter, each embodiment specifically disclosing the directivity control system and the audio output control method according to the present invention will be described in detail with reference to the drawings as appropriate. However, more detailed description than necessary may be omitted. For example, detailed descriptions of already well-known matters and repeated descriptions for substantially the same configuration may be omitted. This is to avoid the following description from becoming unnecessarily redundant and to facilitate understanding by those skilled in the art. The accompanying drawings and the following description are provided to enable those skilled in the art to fully understand the present disclosure, and are not intended to limit the subject matter described in the claims.
（第１の実施形態）
図１は、第１の実施形態の指向性制御システム１０の内部構成の一例を示すブロック図である。指向性制御システム１０は、カメラ装置ＣＡと、マイクアレイ装置ＭＡと、指向性制御装置３０とを含む構成である。カメラ装置ＣＡ、マイクアレイ装置ＭＡ及び指向性制御装置３０は、ネットワークＮＷを介して相互にデータ通信可能に接続されている。ネットワークＮＷは、有線ネットワーク（例えばイントラネット、インターネット）でもよいし、無線ネットワーク（例えば無線ＬＡＮ（Local Area Network））でもよい。
(First embodiment)
FIG. 1 is a block diagram illustrating an example of an internal configuration of a
撮像部の一例としてのカメラ装置ＣＡは、例えば室内の天井に設置された全方位カメラであり、自装置が設置された撮像空間（つまり、撮像エリア）を撮像可能な監視カメラとして機能する。なお、カメラ装置ＣＡは、全方位カメラに限られず、画角が固定された固定カメラでもよいし、パン・チルト・ズーム動作自在なＰＴＺ（Pan Tilt Zoom）カメラでもよい。 A camera device CA as an example of an imaging unit is an omnidirectional camera installed on, for example, an indoor ceiling, and functions as a monitoring camera capable of imaging an imaging space (that is, an imaging area) in which the device is installed. The camera apparatus CA is not limited to an omnidirectional camera, and may be a fixed camera with a fixed angle of view or a PTZ (Pan Tilt Zoom) camera capable of pan / tilt / zoom operations.
カメラ装置ＣＡは、映像を撮像した時刻（つまり、撮像時刻）を映像データと対応付けて記憶し、撮像時刻のデータを含む映像データを、ネットワークＮＷを介して指向性制御装置３０に送信する。
The camera device CA stores the time at which the video is captured (that is, the imaging time) in association with the video data, and transmits the video data including the imaging time data to the
収音部の一例としてのマイクアレイ装置ＭＡは、例えば室内の天井に設置された全方位マイクアレイ装置であり、自装置が設置された収音空間（収音エリア）における全方位（つまり、３６０度の方位）の音声を収音する。本実施形態では、撮像エリアと収音エリアは略同一である。マイクアレイ装置ＭＡは、中央に開口部が形成された筐体を有し、更に、この開口部の周囲に円周方向に沿って同心円状に配置された複数のマイクロホンユニットを有する。マイクロホンユニット（以下、単にマイクロホンと称する）には、例えば高音質小型エレクトレットコンデンサーマイクロホン（ＥＣＭ：Electret Condenser Microphone）が用いられる。 The microphone array device MA as an example of the sound collection unit is, for example, an omnidirectional microphone array device installed on a ceiling in a room, and is omnidirectional (that is, 360) in a sound collection space (sound collection area) where the device is installed. (Sound direction). In the present embodiment, the imaging area and the sound collection area are substantially the same. The microphone array apparatus MA has a housing having an opening formed at the center, and further has a plurality of microphone units arranged concentrically around the opening in the circumferential direction. For example, a high sound quality small electret condenser microphone (ECM) is used for a microphone unit (hereinafter simply referred to as a microphone).
マイクアレイ装置ＭＡは、収音した音声データを、収音した時刻（つまり、収音時刻）と対応付けて記憶するとともに、収音時刻のデータを含む音声データを、ネットワークＮＷを介して、指向性制御装置３０に送信する。
The microphone array device MA stores the collected sound data in association with the time of sound collection (that is, the sound collection time) and directs the sound data including the sound collection time data via the network NW. To the
指向性制御装置３０は、例えばマイクアレイ装置ＭＡ及びカメラ装置ＣＡが設置された室内の外に設置される据置型のＰＣ（Personal Computer）であり、マイクアレイ装置ＭＡで収音された全方位の音声に対し指向性を形成し、その指向方向の音声を強調する。また、指向性制御装置３０は、撮像エリア内の音源の位置（以下、「音声位置」ともいう）を検出して推定し、この推定された音源の位置がプライバシー保護エリアの範囲内である場合に所定のマスク処理を行う。マスク処理の詳細については後述する。なお、指向性制御装置３０は、ＰＣの代わりに、携帯電話機、タブレット端末、スマートフォン等の通信端末でもよい。
The
指向性制御装置３０は、通信部３１と、操作部３２と、信号処理部３３と、ディスプレイ装置３６と、スピーカ装置３７と、メモリ３８と、設定管理部３９とを少なくとも含む構成である。信号処理部３３は、音圧算出部３４及び出力制御部３５を含む。
The
位置情報設定部の一例としての設定管理部３９は、初期設定として、カメラ装置ＣＡで撮像された映像が表示されたディスプレイ装置３６に対し、ユーザによって指定されたプライバシー保護エリアの座標を、マイクアレイ装置ＭＡからプライバシー保護エリアに対応する音声エリアに向かう指向方向を示す座標に変換する。この変換処理では、設定管理部３９は、プライバシー保護エリアの指定に応じて、マイクアレイ装置ＭＡからプライバシー保護エリアに対応する音声エリアに向かう指向方向を示す座標（θＭＡｈ，θＭＡｖ）を算出する。この座標算出処理の詳細については、例えば特許文献１に記載されている。ここで、θＭＡｈはマイクアレイ装置ＭＡから音声位置に向かう指向方向の水平角を表し、θＭＡｖはマイクアレイ装置ＭＡから音声位置に向かう指向方向の垂直角を表す。音声位置は、操作部３２がディスプレイ装置３６に表示された映像データにおいてユーザの指又はスタイラスペンによって指定された指定位置に対応する実際の位置である。なお、この変換処理は、信号処理部３３により行われてもよい。
As an initial setting, the
また、設定管理部３９は、第１メモリの一例としてのメモリ３９ｚを有し、カメラ装置ＣＡで撮像された映像が表示されたディスプレイ装置３６に対しユーザによって指定されたプライバシー保護エリアの位置座標と、変換されたプライバシー保護エリアに対応する音声エリアに向かう指向方向を示す座標とをメモリ３９ｚに記憶する。
The
更に、設定管理部３９は、マイクアレイ装置ＭＡで収音された音声の音圧ｐと比較される音圧閾値ｓｈをメモリ３９ｚに設定する。ここで、音圧ｐは、マイクアレイ装置ＭＡで収音される音の大きさを表しており、スピーカ装置３７から出力される音の大きさを表す音量とは区別している。また、音圧閾値ｓｈは、例えばマイクアレイ装置ＭＡで収音されてスピーカ装置３７から出力される音声をユーザが聞き取れない、或いは、聞き取れても音声の内容が分からないような値に設定される。
Furthermore, the
通信部３１は、カメラ装置ＣＡが送信した撮像時刻のデータを含む映像データ、及びマイクアレイ装置ＭＡが送信した収音時刻のデータを含む音声データを受信して信号処理部３３に出力する。
The
操作部３２は、ユーザの入力操作の内容を信号処理部３３に通知するためのユーザインターフェース（ＵＩ：User Interface）であり、例えばマウス、キーボード等のポインティングデバイスで構成される。また、操作部３２は、例えばディスプレイ装置３６の画面に対応して配置され、ユーザの指やスタイラスペンによって入力操作が可能なタッチパネル又はタッチパッドを用いて構成されてもよい。
The
操作部３２は、ディスプレイ装置３６に表示されたカメラ装置ＣＡの映像データ（図４（Ａ）参照）の中で、ユーザがプライバシー保護を希望するエリアであるプライバシー保護エリアＰＲＡ（図中、点線枠）を指定し、指定されたプライバシー保護エリアの位置を表す座標データを取得して信号処理部３３に出力する。
The
メモリ３８は、例えばＲＡＭ（Random Access Memory）を用いて構成され、指向性制御装置３０が動作する際、プログラムメモリ、データメモリ、ワークメモリとして機能する。第２メモリの一例としてのメモリ３８は、マイクアレイ装置ＭＡで収音される音声の音声データを収音時刻とともに記憶する。信号処理部３３は、メモリ３８に記憶された音声データを用いて、マイクアレイ装置ＭＡで収音された音声がプライバシー保護エリア内で検出されたか否かを判定する。従って、マイクアレイ装置ＭＡで収音された音声の収音時間より若干遅れて（リアルタイムより僅かに遅れて）音声が再生される。この遅れ時間は、マイクアレイ装置ＭＡが音声を収音してから、その音声がプライバシー保護エリア内で検出されたものであるか否かを判定する処理に要する時間である。また、メモリ３８に音声データを一旦記憶しておくことで、後述するように、信号処理部３３は、プライバシー保護エリアＰＲＡからの音声が検出された時刻より所定時間前から収音されてメモリ３８に記憶された音声の出力を制御することも可能となる。このように、メモリ３８は音声データを一時的に記憶するバッファメモリとしても機能する。
The
信号処理部３３は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成され、指向性制御装置３０の各部の動作を全体的に統括するための制御処理、他の各部との間のデータの入出力処理、データの演算（計算）処理及びデータの記憶処理を行う。
The
第１検出部の一例としての信号処理部３３は、マイクアレイ装置ＭＡで音声が収音された場合、音源の方向がプライバシー保護エリアの範囲内であるか否かを判定する。この方法では、信号処理部３３は、例えば撮像エリアを複数のブロックに分割し、ブロック毎に音声の指向性を形成し、その指向方向に既定の閾値を超える音声があるか否かを判定し、撮像エリア内の音声位置を推定する。また、信号処理部３３が音声位置を推定する方法は、例えば『論文「マイクロホンアレーを用いたＣＳＰ法に基づく複数音源位置推定」西浦敬信等、電子情報通信学会論文誌Ｄ−１１ Ｖｏｌ．Ｊ８３−Ｄ−１１ Ｎｏ．８ ｐｐ．１７１３−１７２１ ２０００年８月』の文献に記載されている方法でもよい。
The
また、信号処理部３３は、マイクアレイ装置ＭＡが収音した音声データに対し、信号処理部３３がプライバシー保護エリア内の位置に指向性を形成する処理を行い、その指向方向に音声が検出されているか否かを判定する方法でもよい。この場合、信号処理部３３は、音声位置がプライバシー保護エリアの範囲内にあるか否かを判定できるが、プライバシー保護エリアの外側に音声位置があっても、その位置は特定されない。
In addition, the
信号処理部３３内の音圧算出部３４は、マイクアレイ装置ＭＡで収音される音声のうち、プライバシー保護エリアＰＲＡで収音された音声の音圧を計算する。
The
信号処理部３３内の出力制御部３５は、カメラ装置ＣＡ、マイクアレイ装置ＭＡ、ディスプレイ装置３６及びスピーカ装置３７の動作を制御し、カメラ装置ＣＡから送信された映像データをディスプレイ装置３６に出力させ、マイクアレイ装置ＭＡから送信された音声データをスピーカ装置３７に音声出力させる。出力制御部３５は、マイクアレイ装置ＭＡが収音して指向性制御装置３０に送信した音声データを用いて指向性の形成処理を行うことで、信号処理部３３により算出された収音方向の座標（θＭＡｈ，θＭＡｖ）に対応する指向方向に、音声データの指向性を形成する。
The
また、出力制御部３５は、算出された指向方向を示す座標データを基に、音声位置が予め指定されたプライバシー保護エリアＰＲＡ（図４（Ａ）参照）内に含まれるか否かを判定する。出力制御部３５は、プライバシー保護エリアＰＲＡ内に含まれると判定し、かつ、音圧算出部３４によって算出されたプライバシー保護エリアＰＲＡ内の音圧ｐが音圧閾値ｓｈを超えたと判定した場合、マイクアレイ装置ＭＡにより収音された音声の出力を制御する。例えば、出力制御部３５は、マイクアレイ装置ＭＡにより収音された音声に代えて、所定の代替音（例えば通称「ピー音」）を再生して出力する。ピー音は１ｋＨｚ等の正弦波（サイン波）を有する音声であり、その音声波形のデータは出力制御部３５内のメモリに予め登録されている。なお、代替音は「ピー音」に限るものではなく、メロディ音やノイズ音等であってもよいし、「ただいま音声をマスクしています」等のアナウンスでもよい。つまり、誰が発した声であるか、その声を発した人物の特定が困難になるように音声が出力されれば、音声の出力制御の方法は限定されない。
Further, the
表示部の一例としてのディスプレイ装置３６は、カメラ装置ＣＡが撮像した映像データを画面に表示する。
The
音声出力部の一例としてのスピーカ装置３７は、マイクアレイ装置ＭＡが収音した音声データ、又は信号処理部３３が指向方向（θＭＡｈ，θＭＡｖ）に指向性が形成されたマイクアレイ装置ＭＡが収音した音声データを音声出力する。なお、ディスプレイ装置３６及びスピーカ装置３７は、指向性制御装置３０とは別体の装置として構成されてもよい。
The
図２は、マイクアレイ装置ＭＡにより収音された音声に対して、特定の方向に指向性を形成する原理の一例の説明図である。指向性制御装置３０は、マイクアレイ装置ＭＡから送信された音声データを用いて、音声データの指向性制御処理によって各々のマイクロホンＭＡ１〜ＭＡｎにより収音された各音声データを加算し、マイクアレイ装置ＭＡの各マイクロホンＭＡ１〜ＭＡｎの位置から特定の方向への音声（音量レベル）を強調（増幅）するために、特定方向への指向性を形成した音声データを生成する。特定の方向とは、マイクアレイ装置ＭＡから操作部３２で指定された音声位置に向かう方向である。なお、マイクアレイ装置ＭＡによって収音される音声の指向性を形成するための音声データの指向性制御処理に関する技術は、例えば特開２０１４−１４３６７８号公報や特開２０１５−０２９２４１号公報（特許文献１）等に示されるように、公知の技術である。
FIG. 2 is an explanatory diagram of an example of the principle of forming directivity in a specific direction with respect to the sound collected by the microphone array apparatus MA. The
図２では、説明を分かり易くするため、マイクロホンは直線上に一次元配列としている。この場合、指向性は面内の二次元空間になるが、三次元空間で指向性を形成するためには、マイクロホンを二次元配列にして同様な処理方法を行えば良い。 In FIG. 2, the microphones are arranged in a one-dimensional array on a straight line for easy understanding. In this case, the directivity is an in-plane two-dimensional space, but in order to form the directivity in the three-dimensional space, a similar processing method may be performed by arranging the microphones in a two-dimensional array.
音源８０から発した音波は、マイクアレイ装置ＭＡに内蔵される各マイクロホンＭＡ１，ＭＡ２，ＭＡ３，〜，ＭＡ（ｎ−１），ＭＡｎに対し、ある一定の角度（入射角＝（９０−θ）［度］）で入射する。入射角θは、マイクアレイ装置ＭＡから音声位置に向かう指向方向の水平角θＭＡｈでも垂直角θＭＡｖでもよい。
The sound wave emitted from the
音源８０は、例えばマイクアレイ装置ＭＡが収音する収音方向に存在するカメラ装置ＣＡの被写体である人物の会話であり、マイクアレイ装置ＭＡの筐体２１の面上に対し、所定角度θの方向に存在する。また、各マイクロホンＭＡ１，ＭＡ２，ＭＡ３，…，ＭＡ（ｎ−１），ＭＡｎ間の間隔ｄは一定とする。
The
音源８０から発した音波は、最初にマイクロホンＭＡ１に到達して収音され、次にマイクロホンＭＡ２に到達して収音され、同様に次々に収音され、最後にマイクロホンＭＡｎに到達して収音される。
The sound wave emitted from the
マイクアレイ装置ＭＡは、各マイクロホンＭＡ１，ＭＡ２，ＭＡ３，…，ＭＡ（ｎ−１），ＭＡｎが収音したアナログの音声データを、Ａ／Ｄ変換器２４１，２４２，２４３，〜，２４（ｎ−１），２４ｎにおいてデジタルの音声データにＡＤ変換する。
The microphone array device MA converts analog audio data collected by the microphones MA1, MA2, MA3,..., MA (n−1), MAn into A /
更に、マイクアレイ装置ＭＡは、遅延器２５１，２５２，２５３，〜，２５（ｎ−１），２５ｎにおいて、各々のマイクロホンＭＡ１，ＭＡ２，ＭＡ３，…，ＭＡ（ｎ−１），ＭＡｎにおける到達時間差に対応する遅延時間を与えて全ての音波の位相をそろえた後、加算器２６において遅延処理後の音声データを加算する。これにより、マイクアレイ装置ＭＡは、各マイクロホンＭＡ１，ＭＡ２，ＭＡ３，…，ＭＡ（ｎ−１），ＭＡｎに、所定角度θの方向に音声データの指向性を形成する。
Further, the microphone array apparatus MA includes a difference in arrival time in each of the microphones MA1, MA2, MA3, ..., MA (n-1), MAn in the
このように、マイクアレイ装置ＭＡは、遅延器２５１，２５２，２５３，〜，２５（ｎ−１），２５ｎに設定される遅延時間Ｄ１，Ｄ２，Ｄ３，〜，Ｄｎ−１，Ｄｎを変更することで、収音した音声データの指向性を簡易に形成することができる。
Thus, the microphone array apparatus MA changes the delay times D1, D2, D3,..., Dn-1, Dn set in the
図３は、カメラ装置ＣＡの内部構成の一例を示すブロック図である。カメラ装置ＣＡは、ＣＰＵ４１、通信部４２、電源供給部４４、イメージエリアセンサ４５、メモリ４６及びネットワークコネクタ４７を有する。
FIG. 3 is a block diagram illustrating an example of the internal configuration of the camera apparatus CA. The camera device CA includes a
ＣＰＵ４１は、カメラ装置ＣＡの各部を統括的に制御する。また、ＣＰＵ４１は、イメージエリアセンサ４５で撮像された画像を基に、撮像エリアＳＡ内の人物の動きを検出する動き検出部４１ｚを有する。人物の動きを検出する方法としては、様々な公知技術がある。例えば、第２検出部の一例としての動き検出部４１ｚは、撮像された画像フレーム間の差分を演算し、この画像フレーム差分から得られる動き領域の中に、縦の長さ及び横の長さの比率が人物と想定される範囲内のものがある場合、その動き領域を人物の動きとして検出する。
CPU41 controls each part of camera apparatus CA centralizedly. In addition, the
イメージエリアセンサ４５は、撮像エリアＳＡを撮像して画像データを取得するものであり、ＣＭＯＳ（相補性金属酸化膜半導体）センサを有する。なお、ＣＭＯＳセンサの代わりに、ＣＣＤ（電荷結合素子）センサが用いられてもよい。
The
メモリ４６は、動作プログラムや設定値のデータが格納されたＲＯＭ、画像データやワークデータを記憶するＲＡＭ、及びカメラ装置ＣＡに挿抜自在に接続され、各種データが記憶されるメモリカードを有する。
The
通信部４２は、ネットワークコネクタ４７を介して接続されるネットワークＮＷとのデータ通信を制御するネットワークインタフェース（Ｉ／Ｆ）である。
The
電源供給部４４は、カメラ装置ＣＡの各部に直流電源を供給し、また、ネットワークコネクタ４７を介してネットワークＮＷに接続される機器に直流電源を供給する。ネットワークコネクタ４７は、画像データ等の通信データを伝送し、また、ネットワークケーブルを介して給電可能なコネクタである。
The
上記構成を有する指向性制御システム１０の動作を示す。
An operation of the
図４（Ａ）は、プライバシー保護エリアＰＲＡを指定する前の音声処理動作の一例を説明する図である。カメラ装置ＣＡによって撮像される撮像エリアＳＡは、応接スペース７１の内側である。応接スペース７１では、２人の人物ｐ１，ｐ２がそれぞれ椅子に７３、７４に腰かけた状態で向かい合って会話している。指向性制御装置３０のスピーカ装置３７からは、マイクアレイ装置ＭＡで収音された、人物ｐ１が発声した「Ｈｅｌｌｏ」の音声が出力されている。ユーザは、指向性制御装置３０のディスプレイ装置３６の画面に表示されたカメラ装置ＣＡの撮像映像に対し、指ＦＧで画面をなぞるようにプライバシー保護エリアＰＲＡを指定する。ここでは、人物ｐ２を囲むように、プライバシー保護エリアＰＲＡが指定される。なお、プライバシー保護エリアの指定は、これに限らず、範囲を表す位置座標をキーボードから直接入力し、又は映像に現れる特定の顔画像を認識し、その顔画像を囲む範囲に設定する等の画像処理によって行われてもよい。
FIG. 4A is a diagram for explaining an example of an audio processing operation before designating the privacy protection area PRA. The imaging area SA imaged by the camera device CA is inside the
図４（Ｂ）は、プライバシー保護エリアＰＲＡを指定した後の音声処理動作の一例を説明する図である。設定管理部３９が、ユーザによって指定されたプライバシー保護エリアＰＲＡの位置座標をメモリ３９ｚに保存すると、撮像エリアＳＡに対してプライバシー保護エリアＰＲＡが設定される。応接スペース７１では、人物ｐ１が「Ｈｅｌｌｏ」と発声し、人物ｐ２が「Ｔｈａｎｋｓ」と発声している。人物ｐ２はプライバシー保護エリアＰＲＡ内であるので、人物ｐ２が発声している期間、マイクアレイ装置ＭＡで収音される音声は、マスク処理され、スピーカ装置３７からは出力制御部３５によって再生された「ピー音」だけが出力される。
FIG. 4B is a diagram for explaining an example of the voice processing operation after the privacy protection area PRA is designated. When the
図５は、第１の実施形態の指向性制御装置３０の音声処理手順の一例を説明するフローチャートである。まず、指向性制御装置３０内の設定管理部３９は、初期設定を行う（Ｓ１）。この初期設定では、カメラ装置ＣＡで撮像された映像の映像データが表示されたディスプレイ装置３６に対し、ユーザが指ＦＧ或いはスタイラスペンで点線枠にて囲むようにプライバシー保護エリアＰＲＡ（図４（Ａ）参照）を指定する。
FIG. 5 is a flowchart illustrating an example of a voice processing procedure of the
設定管理部３９は、指定されたプライバシー保護エリアＰＲＡの座標を、マイクアレイ装置ＭＡからプライバシー保護エリアに対応する音声エリアに向かう指向方向を示す座標に変換する。更に、設定管理部３９は、マイクアレイ装置ＭＡで収音された音圧ｐと比較されるための音圧閾値ｓｈを設定する。音圧閾値ｓｈは、前述したように、マイクアレイ装置ＭＡで収音され、スピーカ装置３７から出力される音声をユーザが聞き取れない、或いは聞き取れてもその内容が分からないような値に設定される。
The
通信部３１は、マイクアレイ装置ＭＡから出力される音声データを受信して入力する（Ｓ２）。更に、通信部３１は、カメラ装置ＣＡから出力される画像データを受信して入力する（Ｓ３）。
The
信号処理部３３は、動き検出部４１ｚが画像データに対し画像処理を行った結果、人物の動きを検出したか否かを判別する（Ｓ４）。ここでは、指向性制御装置３０は、カメラ装置ＣＡから映像データを受信する際、画像データに対し画像処理を行った結果、得られた人物の動き情報を同時に受信する。この人物の動きの検出は、カメラ装置ＣＡが撮像した撮像エリアＳＡ内の全領域の画像に対して行われてもよいし、撮像エリアＳＡ内に設定されたプライバシー保護エリアＰＲＡ内の画像に対してだけ行われてもよい。また、ここでは、カメラ装置ＣＡ内の動き検出部４１ｚが画像データに対し画像処理を行って人物の動きを検出したが、指向性制御装置３０内の信号処理部３３がカメラ装置ＣＡから受信した映像データに含まれる画像データに対し画像処理を行い、人物の動きを検出するようにしてもよい。
The
人物の動きが検出されなかった場合、信号処理部３３の処理は、ステップＳ７に進む。一方、人物の動きが検出された場合、信号処理部３３は、マイクアレイ装置ＭＡで収音された音声データの音源がプライバシー保護エリアＰＲＡ内にあるか否かを判定する。プライバシー保護エリアＰＲＡ内にあると判定された場合、音圧算出部３４は、その音圧を計算する（Ｓ５）。ここで、マイクアレイ装置ＭＡで収音された音声データの音源がプライバシー保護エリアＰＲＡ内にあるか否かの判定は、前述したいずれかの方法で行われる。
If no movement of the person is detected, the processing of the
出力制御部３５は、音圧算出部３４によって計算された音圧ｐと、設定管理部３９内のメモリ３９ｚに記憶された音圧閾値ｓｈとを比較し、音圧ｐが音圧閾値ｓｈ以下であるか否かを判別する（Ｓ６）。音圧ｐが音圧閾値ｓｈ以下である場合、出力制御部３５は、マイクアレイ装置ＭＡで収音された音声をそのままスピーカ装置３７から出力させる（Ｓ７、図４（Ａ）参照）。この後、指向性制御装置３０の処理は、ステップＳ２に戻る。
The
一方、ステップＳ４で音圧ｐが音圧閾値ｓｈを超える場合、出力制御部３５は、マイクアレイ装置ＭＡで収音された音声データの代替音であるピー音（例えば１ｋＨｚの正弦波を有する音）のデータをスピーカ装置３７から出力させる（Ｓ８、図４（Ｂ）参照）。この後、指向性制御装置３０の処理は、ステップＳ２に戻る。
On the other hand, when the sound pressure p exceeds the sound pressure threshold sh in step S4, the
図６は、動き検出動作を説明する図である。図６では、カメラ装置ＣＡによって事務所の一角が映像として撮像される。ここでは、この事務所の一角は、プライバシー保護エリアＰＲＡに設定されている。また、説明を分かり易くするために、一例として、連続的に撮像される画像フレームのうち、１００フレーム毎に画像フレームを抽出し、これらの画像フレーム間の差分を演算する場合を示す。１００フレーム毎に画像フレームを抽出することで、たとえ人物の動きが遅くても、フレーム間差分により動き領域が検出し易くなる。なお、カメラ装置ＣＡで撮像される画像のフレームレートが低い場合には、例えばカメラ装置ＣＡが静止画を１秒ごとに１枚撮像するような場合には、隣接する画像フレーム間の差分を演算しても、人物の遅い動きによる動き領域は十分に検出される。図６に示す映像には、人物ｈｍ１が歩きながら携帯電話ｇｔを操作し、会話を行っているシーンが含まれる。 FIG. 6 is a diagram for explaining the motion detection operation. In FIG. 6, a corner of the office is captured as an image by the camera device CA. Here, one corner of this office is set in the privacy protection area PRA. In addition, in order to make the explanation easy to understand, as an example, a case where an image frame is extracted every 100 frames out of continuously captured image frames and a difference between these image frames is calculated is shown. By extracting an image frame every 100 frames, even if the movement of a person is slow, it becomes easy to detect a motion region by a difference between frames. When the frame rate of an image captured by the camera device CA is low, for example, when the camera device CA captures one still image per second, the difference between adjacent image frames is calculated. Even so, the motion region due to the slow motion of the person is sufficiently detected. The video illustrated in FIG. 6 includes a scene in which the person hm1 operates the mobile phone gt while walking and has a conversation.
画像フレームＧＺ１と画像フレームＧＺ２の間では、画像フレーム間で差分が生じず、人物の動きは検出されない。続く、画像フレームＧＺ２と画像フレームＧＺ３の間では、画像フレーム間に差分が有り、動き領域として人物ｈｍ１の動きが検出される。同様に、画像フレームＧＺ３と画像フレームＧＺ４の間、画像フレームＧＺ４と画像フレームＧＺ５の間、画像フレームＧＺ５と画像フレームＧＺ６の間でも、画像フレーム間で差分が有り、動き領域として人物ｈｍ１の動きが検出される。その後、再び、画像フレームＧＺ６と画像フレームＧＺ７の間では、画像フレーム間で差分が生じず、動き領域として人物の動きが検出されない。従って、人物ｈｍ１の動きが検出された、画像フレームＧＺ２〜ＧＺ６の区間では、人物ｈｍ１が発する音声の音圧が音圧閾値ｓｈを超えていると、人物ｈｍ１が発する音声はマスク処理される。 There is no difference between the image frames between the image frames GZ1 and GZ2, and no human motion is detected. Subsequently, there is a difference between the image frames GZ2 and GZ3, and the motion of the person hm1 is detected as a motion region. Similarly, there is a difference between the image frames between the image frame GZ3 and the image frame GZ4, between the image frame GZ4 and the image frame GZ5, and between the image frame GZ5 and the image frame GZ6. Detected. Thereafter, again, no difference occurs between the image frames GZ6 and GZ7, and the movement of the person is not detected as a motion region. Therefore, in the section of the image frames GZ2 to GZ6 where the movement of the person hm1 is detected, if the sound pressure of the sound emitted by the person hm1 exceeds the sound pressure threshold sh, the sound emitted by the person hm1 is masked.
図７は、カメラ装置ＣＡで撮像される撮像エリアＳＡに音源が存在しかつ人物の動きが無い場合の音声処理動作を説明する図である。この撮像エリアＳＡは、プライバシー保護エリアＰＲＡに設定された、エレベータＥＬの周辺である。エレベータＥＬの両側には、スピーカＳＰ及び固定電話機ＴＬが設置されている。この状況では、スピーカＳＰは音楽を出力し、また、固定電話機ＴＬが鳴動しているが、エレベータＥＬの周辺には、人物の動きが無いので、マイクアレイ装置ＭＡで収音された音声をマスク処理してスピーカ装置３７から出力させる制御は行われない。このように、撮像された画像フレーム間で人物の動きが検出されない場合、音声が検出されても人物が発した音声である可能性は低いので、音声を秘匿化する必要が無く、無用な処理を省くことができる。これにより、処理の軽減が図れる。
FIG. 7 is a diagram for explaining an audio processing operation when a sound source exists in the imaging area SA imaged by the camera device CA and there is no movement of a person. The imaging area SA is the vicinity of the elevator EL set in the privacy protection area PRA. A speaker SP and a fixed telephone TL are installed on both sides of the elevator EL. In this situation, the speaker SP outputs music and the fixed telephone TL is ringing, but since there is no movement of the person around the elevator EL, the sound collected by the microphone array apparatus MA is masked. Control for processing and outputting from the
図８は、図７と同様のカメラ装置ＣＡで撮像される撮像エリアＳＡに音源が存在しかつ人物の動きが有る場合の音声処理動作を説明する図である。この状況では、スピーカＳＰは音楽を出力し、また、固定電話機ＴＬが鳴動し、さらに、エレベータＥＬの前には、２人の人物ｈｍ２，ｈｍ３が会話しながら握手している。この場合、撮像された画像フレームに含まれる全ての音源から発せられる音声の音圧（総量又は平均値）が音圧閾値ｓｈを超えていると、マイクアレイ装置ＭＡで収音された音声をマスク処理してスピーカ装置３７から出力させる制御が行われる。
FIG. 8 is a diagram illustrating an audio processing operation when a sound source exists in the imaging area SA imaged by the camera apparatus CA similar to FIG. 7 and there is a person's movement. In this situation, the speaker SP outputs music, the fixed telephone TL rings, and two people hm2 and hm3 are shaking hands while talking before the elevator EL. In this case, if the sound pressure (total amount or average value) of sounds emitted from all sound sources included in the captured image frame exceeds the sound pressure threshold sh, the sound collected by the microphone array apparatus MA is masked. Control for processing and outputting from the
以上により、第１の実施形態の指向性制御システム１０では、カメラ装置ＣＡは、撮像エリアＳＡの映像を撮像する。マイクアレイ装置ＭＡは、撮像エリアＳＡの音声を収音する。ディスプレイ装置３６は、カメラ装置ＣＡにより撮像された撮像エリアＳＡの映像データを表示する。スピーカ装置３７は、マイクアレイ装置ＭＡにより収音された撮像エリアＳＡの音声を出力する。設定管理部３９は、ディスプレイ装置３６に表示された撮像エリアＳＡの映像データに対して指定されたプライバシー保護エリアＰＲＡの位置情報をメモリ３９ｚに記憶しておく。信号処理部３３は、マイクアレイ装置ＭＡにより収音された撮像エリアＳＡの音声の音源を検出する。カメラ装置ＣＡの動き検出部４１ｚは、撮像エリアＳＡにおける人物の動きを検出する。動き検出部４１ｚにより人物の動きが検出され、かつ、信号処理部３３により検出された音源がプライバシー保護エリアＰＲＡの範囲内である場合に、出力制御部３５は、マイクアレイ装置ＭＡにより収音され、スピーカ装置３７から出力される撮像エリアＳＡの音声を制御する。従って、マイクアレイ装置ＭＡで収音される音圧ｐが音圧閾値ｓｈを超えている間（期間）、代替音であるピー音がスピーカ装置３７から出力される。
As described above, in the
このように、カメラ装置ＣＡによって撮像された撮像エリアＳＡで人物の動きが検出され、かつ撮像エリアＳＡのうち、プライバシー保護エリアＰＲＡ内で発声があった場合、その期間、マイクアレイ装置ＭＡで収音された音声全体が代替音（「ピー音」）に変わるので、プライバシー保護エリアＰＲＡを含め、撮像エリアＳＡ内で発声した全ての音声の内容が分からなくなる。これにより、プライバシー保護エリア内で音声が発せられても、その内容が他人に知られることなく、プライバシー保護を向上できる。また、代替音である「ピー音」は、ＴＶ放送でもよく使われている音声であるので、これを聞いたユーザは、音声が秘匿化（マスク処理）されていることを容易に知ることができる。 As described above, when the movement of a person is detected in the imaging area SA imaged by the camera apparatus CA and the utterance is made in the privacy protection area PRA in the imaging area SA, the microphone array apparatus MA collects the voice during that period. Since the entire sound that has been sounded is changed to a substitute sound (“beep sound”), the contents of all the sound uttered in the imaging area SA including the privacy protection area PRA cannot be understood. Thereby, even if sound is emitted in the privacy protection area, the content can be improved without being known to others. In addition, “Peep”, which is an alternative sound, is a sound that is often used in TV broadcasting, so that a user who hears it can easily know that the sound is concealed (mask processing). it can.
また、撮像エリアで人物の動きが検出された場合に限って、マイクアレイ装置ＭＡで収音された音声がピー音に代わるので、人物が発した可能性が高い音声だけを秘匿化することができ、不必要な音声を秘匿化しなくて済む。 Further, only when a movement of a person is detected in the imaging area, the sound collected by the microphone array device MA is replaced by a beep sound, so that only the sound that is likely to be emitted by the person may be concealed. It is possible, and unnecessary voices need not be concealed.
これにより、プライバシー保護エリア内で人物により音声が発せられても、その人物が発した音声の内容が他人に知られることなく、人物のプライバシー保護の劣化を抑制することができる。 As a result, even if a voice is uttered by a person in the privacy protection area, the content of the voice uttered by the person is not known to other people, and deterioration of the privacy protection of the person can be suppressed.
また、マイクアレイ装置ＭＡにより収音された撮像エリアＳＡの音声の音圧ｐが音圧閾値ｓｈを超える場合、出力制御部３５は、スピーカ装置３７の出力をマスク処理により制御し、一方、マイクアレイ装置ＭＡにより収音された撮像エリアＳＡの音声の音圧が音圧閾値ｓｈを超えない場合、出力制御部３５は、スピーカ装置３７の出力に対しマスク処理による制御を行わない。
When the sound pressure p of the sound of the imaging area SA collected by the microphone array device MA exceeds the sound pressure threshold sh, the
これにより、プライバシー保護エリアＰＲＡの範囲内で音声が発せられても、その音圧が低い場合には、マスク処理により音声の出力を制御することなく、そのまま出力させることで、不要な処理を省くことができ、処理の負荷を軽減できる。 As a result, even if sound is emitted within the privacy protection area PRA, if the sound pressure is low, unnecessary processing is omitted by outputting the sound as it is without controlling the sound output by mask processing. Can reduce the processing load.
また、出力制御部３５は、マイクアレイ装置ＭＡにより収音された音声を代替音に代えてスピーカ装置３７から出力させる。撮像エリアＳＡ内の音声全体が代替音（ピー音）に変わるので、プライバシー保護エリアから外れた人物（図４では人物ｐ１）が発する音声から会話の内容を推測することも難しく、秘匿性が高まる。
Further, the
また、指向性制御装置３０内の設定管理部３９は、操作部３２からプライバシー保護エリアＰＲＡの指定操作を受け付けると、指定操作に応じた位置座標を指定されたプライバシー保護エリアの位置情報に設定する。例えば、カメラ装置ＣＡによって撮像される映像に対し、指ＦＧで画面をなぞるようにプライバシー保護エリアＰＲＡを指定することで、ユーザはプライバシー保護エリアを任意に設定できる。
When the
また、信号処理部３３は、マイクアレイ装置ＭＡにより収音された撮像エリアＳＡの音声を収音時刻とともにメモリ３８に記憶する。出力制御部３５は、信号処理部３３により検出された音源がプライバシー保護エリアＰＲＡの範囲内である場合に、音源が検出される所定時間前からメモリ３８に記憶された音声のスピーカ装置３７からの出力を制御する。
Further, the
このように、プライバシー保護エリアＰＲＡからの音声が検出される所定時間前から、音声出力が制御されるので、音声検出から代替音を出力するまでの処理に要する僅かな時間（例えば３秒程度の数秒間）、プライバシー保護エリア内の音声の冒頭部分（出だし部分）がマスク処理されることなく出力されることを防止できる。従って、音声の冒頭部分から内容が察せられることも回避される。この場合、一旦、収音した音声データをメモリに記憶した後に音声を再生する事後再生、或いはマイクアレイ装置ＭＡで収音される音声の収音時間より少し遅れて（リアルタイムよりディレイをかけて）音声を再生する場合に有効である。所定時間は、マイクアレイ装置ＭＡが音声を収音してから、その音声がプライバシー保護エリア内で検出されたものであるか否かを判定するまでに要する僅かな時間（例えば３秒程度の数秒間）である。 As described above, since the sound output is controlled from a predetermined time before the sound from the privacy protection area PRA is detected, a short time (for example, about 3 seconds) required from the sound detection to the output of the substitute sound. For several seconds, it is possible to prevent the beginning portion (starting portion) of the voice in the privacy protection area from being output without being masked. Accordingly, it is possible to avoid the content being perceived from the beginning of the voice. In this case, once the collected sound data is stored in the memory, the sound is played back after the playback, or the sound collection time of the sound collected by the microphone array device MA is slightly delayed (with a delay from real time). This is effective when playing back audio. The predetermined time is a short time (for example, a number of about 3 seconds) required for determining whether or not the voice is detected in the privacy protection area after the microphone array apparatus MA picks up the voice. Second).
また、撮像エリアＳＡで撮像された人物の動きが検出されない場合、指向性制御装置３０は、音声の出力を制御することなく、そのま音声を出力させるので、無用な処理を省くことができ、処理の軽減が図れる。
Further, when the movement of the person imaged in the imaging area SA is not detected, the
（第２の実施形態）
前述した第１の実施形態では、プライバシー保護エリアで音声が発せられた場合、撮像エリア内で検出された全ての音声の代替音としてピー音を出力する場合を示したが、第２の実施形態では、プライバシー保護エリアで音声が発せられた場合、全ての音声を消去（ミュート）して無音状態にする場合を示す。
(Second Embodiment)
In the first embodiment described above, when a sound is emitted in the privacy protection area, a case where a beep sound is output as a substitute sound for all the sounds detected in the imaging area has been described. Then, when the voice is emitted in the privacy protection area, the case where all the voices are erased (muted) to be in a silent state is shown.
第２の実施形態における指向性制御システムのハードウェア構成は、前述した第１の実施形態と同じであるので、同一の符号を用いることでその説明を省略する。 Since the hardware configuration of the directivity control system in the second embodiment is the same as that of the first embodiment described above, description thereof is omitted by using the same reference numerals.
図９（Ａ）は、プライバシー保護エリアＰＲＡを指定する前の音声処理動作の一例を説明する図である。図４（Ａ）と同様、撮像エリアＳＡの内側にある応接スペース７１では、２人の人物ｐ１，ｐ２がそれぞれ椅子に７３、７４に腰かけた状態で向かい合って会話している。指向性制御装置３０のスピーカ装置３７からは、人物ｐ１が発声した「Ｈｅｌｌｏ」の音声が出力されている。ユーザは、指向性制御装置３０のディスプレイ装置３６の画面に表示された、カメラ装置ＣＡによって撮像された映像に対し、指ＦＧ又はスタイラスペンで画面をなぞるようにプライバシー保護エリアＰＲＡを指定する。ここでは、人物ｐ２を囲むように、プライバシー保護エリアＰＲＡが指定される。
FIG. 9A is a diagram for explaining an example of the voice processing operation before designating the privacy protection area PRA. As in FIG. 4A, in the
図９（Ｂ）は、プライバシー保護エリアＰＲＡを指定した後の音声処理動作の一例を説明する図である。設定管理部３９が、ユーザによって指定されたプライバシー保護エリアＰＲＡの座標をメモリ３９ｚに保存すると、撮像エリアＳＡに対しプライバシー保護エリアＰＲＡが設定される。応接スペース７１では、人物ｐ１が「Ｈｅｌｌｏ」と発声し、人物ｐ２が「Ｔｈａｎｋｓ」と発声している。人物ｐ２はプライバシー保護エリアＰＲＡ内であるので、人物ｐ２が発声している期間、スピーカ装置３７からは、再生中の音声が中断されて無音となる。
FIG. 9B is a diagram for explaining an example of the voice processing operation after the privacy protection area PRA is designated. When the
図１０は、第２の実施形態の指向性制御装置３０の音声処理手順の一例を説明するフローチャートである。第１の実施形態における図５と同一のステップ処理については、同一のステップ番号を付すことにより、その説明を省略する。
FIG. 10 is a flowchart illustrating an example of a voice processing procedure of the
ステップＳ６で音圧ｐが音圧閾値ｓｈを超える場合、出力制御部３５は、スピーカ装置３７から何も音声を出力させない。つまり、指向性制御装置３０の処理は、そのままステップＳ２に戻る。
When the sound pressure p exceeds the sound pressure threshold sh in step S <b> 6, the
以上により、第２の実施形態の指向性制御システム１０では、プライバシー保護エリアＰＲＡ内で発声があった場合、その期間、マイクアレイ装置ＭＡで収音された撮像エリアＳＡ内の全ての音声の出力が遮断される。これにより、プライバシー保護エリアＰＲＡから発せられた音声も当然に聞こえなくなる（つまり、無音状態となる）。
As described above, in the
なお、音声出力を制限する際、無音にする代わりに、音圧を所定の音圧まで下げる、例えば１／１０に低減させてもよい。音圧を下げることで、プライバシー保護エリアＰＲＡ内から音声が僅かに聞こえても、何を話しているのかその内容を分からなくすることができる。従って、プライバシー保護エリアＰＲＡ内にいる人物のプライバシー保護を向上できるので、プライバシー保護エリアＰＲＡ内にいる人物のプライバシーの劣化を抑制可能となる。 Note that when limiting the sound output, instead of silence, the sound pressure may be lowered to a predetermined sound pressure, for example, 1/10. By lowering the sound pressure, it is possible to make it difficult to understand what is being spoken even if the sound is slightly heard from within the privacy protection area PRA. Accordingly, since the privacy protection of the person in the privacy protection area PRA can be improved, it is possible to suppress the deterioration of the privacy of the person in the privacy protection area PRA.
（各実施形態の変形例）
前述した各実施形態では、指向性制御装置がプライバシー保護エリアの位置情報（つまり、位置座標）を記憶し、検出された音声位置がプライバシー保護エリアに含まれる場合、代替音としてピー音を出力する、或いは無音化していた。各実施形態の変形例（以下、単に「変形例」という）では、指向性制御装置の代わりに、これらの処理をマイクアレイ装置が行う場合を示す。
(Modification of each embodiment)
In each of the embodiments described above, the directivity control device stores the position information (that is, position coordinates) of the privacy protection area, and outputs a beep sound as an alternative sound when the detected voice position is included in the privacy protection area. Or it was silenced. In the modified example of each embodiment (hereinafter simply referred to as “modified example”), a case is shown in which the microphone array device performs these processes instead of the directivity control device.
図１１は、各実施形態の変形例におけるマイクアレイ装置ＭＢの内部構成の一例を示すブロック図である。変形例のマイクアレイ装置ＭＢにおいて、前述した第１及び第２の実施形態におけるマイクアレイ装置ＭＡと同一の構成要素については同一の符号を用いることでその説明を省略する。 FIG. 11 is a block diagram illustrating an example of the internal configuration of the microphone array apparatus MB according to a modification of each embodiment. In the microphone array device MB of the modification, the same components as those in the microphone array device MA in the first and second embodiments described above are denoted by the same reference numerals, and the description thereof is omitted.
マイクアレイ装置ＭＢは、複数のマイクロホンＭＢ１、ＭＢ２、…、ＭＢｎ、アンプ２３１，２３２，…，２３ｎ、Ａ／Ｄ変換器２４１，２４２，２４３，…，２４ｎ、ＣＰＵ２５、符号化部２８及び通信部２９を有する。
The microphone array device MB includes a plurality of microphones MB1, MB2,..., MBn,
アンプ２３１，２３２，…，２３ｎは、複数のマイクロホンＭＢ１、ＭＢ２、…、ＭＢｎで収音した音声信号を増幅する。Ａ／Ｄ変換器２４１，２４２，２４３，…，２４ｎは、それぞれアンプ２３１，２３２，…，２３ｎによって増幅された音声信号をデジタル音声データに変換する。
The
ＣＰＵ２５は、複数のマイクロホンＭＢ１、ＭＢ２、…、ＭＢｎで収音し、Ａ／Ｄ変換器２４１，２４２，２４３，…，２４ｎによって変換された音声データを入力し、これらの音声データを基に、音声出力処理を行う。また、ＣＰＵ２５は、通信部２９を介して受信したプライバシー保護エリアＰＲＡの位置情報（つまり、位置座標）を内部メモリに記憶している。また、ＣＰＵ２５は、撮像エリアＳＡ内で発せられた音声の位置を検出し、検出された音声位置がプライバシー保護エリアＰＲＡ内の位置座標と一致した場合、マイクロホンＭＢ１，ＭＢ２，…，ＭＢｎで収音され、Ａ／Ｄ変換器２４１，２４２，２４３，…，２４ｎでそれぞれ変換された音声データの音声に対し、前述したようなマスク処理（「ピー音」の出力或いは無音化）を行う。
The
符号化部２８は、ＣＰＵ２５から出力される音声データを符号化し、ネットワークＮＷで伝送可能な音声パケットを生成する。通信部２９は、符号化部２８によって符号化された音声データを、ネットワークＮＷを介して指向性制御装置３０に送信し、また、ネットワークＮＷを介して指向性制御装置３０から送信されるプライバシー保護エリアＰＲＡの位置情報を受信し、また、ネットワークＮＷを介してカメラ装置ＣＡから送信される人物の動き情報を受信する。
The
以上により、変形例のマイクアレイ装置ＭＢは、収音した音声データを、収音した時刻（収音時刻）と対応付けて記憶するとともに、記憶した音声データ及び収音時刻のデータを、ネットワークＮＷを介して、指向性制御装置３０に送信する。また、マイクアレイ装置ＭＢは、カメラ装置ＣＡから受信した人物の動き情報を基に、人物の動きの有無を判定し、人物の動きが検出された場合、収音した音声データの音声位置がプライバシー保護エリアＰＲＡの位置情報と一致するか否かを判定し、プライバシー保護エリアＰＲＡに含まれる場合、代替音としてピー音を出力或いは無音化する。なお、代替音がこれに限られないことは前述した第１の実施形態と同様である。
As described above, the microphone array device MB according to the modified example stores the collected voice data in association with the collected time (sound collection time), and stores the stored voice data and the collected sound time data in the network NW. To the
ここでは、マイクアレイ装置ＭＢは、カメラ装置ＣＡから人物の動き情報を受信する場合を示したが、カメラ装置ＣＡから映像データを受信し、映像データに含まれる画像データに対し、画像処理を行って人物の動きを検出するようにしてもよい。 Here, the microphone array device MB has shown the case of receiving human motion information from the camera device CA. However, the microphone array device MB receives video data from the camera device CA and performs image processing on the image data included in the video data. Thus, the movement of a person may be detected.
また、変形例の指向性制御システムでは、マイクアレイ装置ＭＢからネットワークＮＷを介して送信される音声データは、マスク処理されているので、途中で盗聴されても情報が漏れることはなく、安全に音声データを送信できる。また、この場合、音声データには、マスク処理されていることを付属情報として、音声データのヘッダに付加してもよく、付加しておくことで音声データを受け取った側では、音声データがマスク処理されていることを即座に知ることができる。なお、付属情報には、時刻情報や位置情報等が含まれてもよい。 Further, in the modified directivity control system, the voice data transmitted from the microphone array device MB via the network NW is masked, so that information is not leaked even if it is intercepted on the way, and it is safe. Audio data can be transmitted. In this case, the audio data may be added to the header of the audio data as ancillary information as being masked, and the audio data is masked on the side receiving the audio data. You can know immediately that it is being processed. Note that the attached information may include time information, position information, and the like.
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。 While various embodiments have been described above with reference to the drawings, it goes without saying that the present invention is not limited to such examples. It will be apparent to those skilled in the art that various changes and modifications can be made within the scope of the claims, and these are naturally within the technical scope of the present invention. Understood.
例えば、上記各実施形態では、マイクアレイ装置で検出される音声の音声位置がプライバシー保護エリア内である場合、撮像エリアＳＡで検出された音声を必ずマスク処理（代替音、無音化等）していたが、ユーザによってはマスク処理しなくてもよい。例えば、指向性制御装置を操作するユーザが、一般ユーザである場合、マスク処理し、管理者等の権限のあるユーザである場合、マスク処理しないようにすることも可能である。いずれのユーザであるかは、例えば、指向性制御装置にログインする際のユーザＩＤ等によって判断可能である。 For example, in each of the above embodiments, when the sound position of the sound detected by the microphone array device is within the privacy protection area, the sound detected in the imaging area SA is always masked (alternative sound, silence, etc.). However, some users may not perform mask processing. For example, when the user who operates the directivity control device is a general user, it is possible to perform mask processing, and when the user is an authorized user such as an administrator, the mask processing may be disabled. Which user is the user can be determined by, for example, a user ID when logging in to the directivity control device.
また、出力制御部３５は、マイクアレイ装置ＭＡにより収音された音声の音声データに対してボイスチェンジ処理（加工処理）を施してもよい。ボイスチェンジ処理の一例として、出力制御部３５は、例えばマイクアレイ装置ＭＡにより収音された音声の音声データの周波数（ピッチ）の高低を大きく変化させる。つまり、スピーカ装置３７から出力される音声の周波数を音声の内容が分かりにくくなるような他の周波数に変更することで、プライバシー保護エリア内から聞こえる音声の内容を分からなくすることができる。従って、マイクアレイ装置ＭＡで収音された音声の内容を知ろうとしても難しくなる。このように、出力制御部３５は、マイクアレイ装置ＭＡにより収音された音声を加工処理してスピーカ装置３７から出力させることで、プライバシー保護エリアＰＲＡ内に存在する被写体（例えば人物）のプライバシーを効果的に保護することができる。
Further, the
更に、出力制御部３５は、ユーザの指又はスタイラスペンによって画面上で指定された指定位置に対応する音声位置がプライバシー保護エリアＰＲＡに含まれる旨を、画面上でユーザに対して明示的に通知してもよい。
Furthermore, the
また、第１、第２の実施形態では、カメラ装置ＣＡのＣＰＵ４１に内蔵された動き検出部４１ｚが人物の動きを検出していたが、カメラ装置ＣＡは撮像エリアＳＡを撮像し、撮像された映像データを指向性制御装置３０あるいはマイクアレイ装置ＭＡに送信するだけでもよい。この場合、指向性制御装置３０あるいはマイクアレイ装置ＭＡに備わる動き検出部が映像データを基に人物の動きを検出することになる。
In the first and second embodiments, the
本発明は、収音された音声を出力する際、プライバシー保護エリア内で音声が発せられても、その内容が他人に知られることなく、プライバシー保護を向上できる指向性制御システム及び音声出力制御方法として有用である。 The present invention relates to a directivity control system and an audio output control method capable of improving privacy protection without outputting the contents even if the audio is emitted in the privacy protection area when outputting the collected audio. Useful as.
１０ 指向性制御システム
２１ 筐体
２５，４１ ＣＰＵ
２６ 加算器
２８ 符号化部
２９，４２ 通信部
３０ 指向性制御装置
３１ 通信部
３２ 操作部
３３ 信号処理部
３４ 音圧算出部
３５ 出力制御部
３６ ディスプレイ装置
３７ スピーカ装置
３８，３９ｚ，４６ メモリ
３９ 設定管理部
４１ｚ 動き検出部
４４ 電源供給部
４５ イメージエリアセンサ
４７ ネットワークコネクタ
７１ 応接スペース
７３，７４ 椅子
８０ 音源
２３１，２３２，…，２３ｎ アンプ
２４１，２４２，２４３，…，２４ｎ Ａ／Ｄ変換器
２５１，２５２，２５３，…，２５ｎ 遅延器
ＣＡ カメラ装置
ＥＬ エレベータ
ＦＧ 指
ＧＺ１，ＧＺ２，…，ＧＺ７ 画像フレーム
ｇｔ 携帯電話
ＮＷ ネットワーク
ＭＡ，ＭＢ マイクアレイ装置
ＭＡ１，ＭＡ２，…，ＭＡｎ，ＭＢ１，ＭＢ２，…，ＭＢｎ マイクロホン
ＰＲＡ プライバシー保護エリア
ｐ１，ｐ２，ｈｍ１，ｈｍ２，ｈｍ３ 人物
ＳＡ 撮像エリア
ＳＰ スピーカ
ＴＬ 固定電話機
10 Directivity control system 21
26
Claims (9)
前記撮像エリアの音声を収音する収音部と、
前記撮像部により撮像された前記撮像エリアの映像データを表示する表示部と、
前記収音部により収音された前記撮像エリアの音声データを出力する音声出力部と、
前記表示部に表示された前記撮像エリアの映像データに対して指定されたプライバシー保護エリアの位置情報を記憶する第１メモリと、
前記収音部により収音された前記撮像エリアの音声データの音源を検出する第１検出部と、
前記撮像エリアにおける人物の動きを検出する第２検出部と、
前記第２検出部により前記人物の動きが検出され、かつ前記第１検出部により検出された前記音源が前記プライバシー保護エリアの範囲内である場合に、前記収音部により収音された前記撮像エリアの音声データの前記音声出力部における出力を制御する出力制御部と、を備える、
指向性制御システム。 An imaging unit capable of capturing an image of the imaging area;
A sound collection unit for collecting the sound of the imaging area;
A display unit for displaying video data of the imaging area captured by the imaging unit;
An audio output unit for outputting audio data of the imaging area collected by the sound collection unit;
A first memory for storing position information of a privacy protection area designated for video data of the imaging area displayed on the display unit;
A first detection unit that detects a sound source of audio data of the imaging area collected by the sound collection unit;
A second detector for detecting the movement of a person in the imaging area;
The imaging picked up by the sound pickup unit when the movement of the person is detected by the second detection unit and the sound source detected by the first detection unit is within the privacy protection area. An output control unit for controlling the output of the audio data of the area in the audio output unit,
Directional control system.
前記出力制御部は、前記第２検出部により前記人物の動きが検出され、かつ前記第１検出部により検出された前記音源が前記プライバシー保護エリアの範囲内である場合に、
前記収音部により収音された前記撮像エリアの音声データの音圧が閾値を超えると、前記音声出力部における出力を制御し、
前記収音部により収音された前記撮像エリアの音声データの音圧が閾値を超えるまでは、前記音声出力部における出力の制御を省略する、
指向性制御システム。 The directivity control system according to claim 1,
The output control unit, when the movement of the person is detected by the second detection unit and the sound source detected by the first detection unit is within the privacy protection area,
When the sound pressure of the sound data of the imaging area picked up by the sound pickup unit exceeds a threshold, the output in the sound output unit is controlled,
Until the sound pressure of the sound data of the imaging area picked up by the sound pickup unit exceeds a threshold, control of output in the sound output unit is omitted.
Directional control system.
前記出力制御部は、前記音声出力部における出力を制御する際、前記収音部により収音された音声データを所定の代替音のデータに代えて前記音声出力部から出力させる、
指向性制御システム。 The directivity control system according to claim 1,
The output control unit, when controlling the output in the sound output unit, to output the sound data collected by the sound collection unit from the sound output unit instead of data of a predetermined alternative sound,
Directional control system.
前記出力制御部は、前記音声出力部における出力を制御する際、前記収音部により収音された音声データの出力を制限する、
指向性制御システム。 The directivity control system according to claim 1,
The output control unit restricts the output of the voice data collected by the sound collection unit when controlling the output in the voice output unit,
Directional control system.
前記出力制御部は、前記音声出力部における出力を制御する際、前記収音部により収音された音声データを加工処理して出力させる、
指向性制御システム。 The directivity control system according to claim 1,
The output control unit, when controlling the output in the audio output unit, to process and output the audio data collected by the sound collection unit,
Directional control system.
前記表示部に対する前記プライバシー保護エリアの指定操作に応じて、指定された位置の座標を、前記プライバシー保護エリアの位置情報として設定する位置情報設定部、を更に備える、
指向性制御システム。 The directivity control system according to claim 1,
A position information setting unit that sets coordinates of a specified position as position information of the privacy protection area in response to a designation operation of the privacy protection area with respect to the display unit;
Directional control system.
前記収音部により収音された前記撮像エリアの音声データを収音時刻とともに記憶する第２メモリ、を更に備え、
前記出力制御部は、前記第２検出部により前記人物の動きが検出され、かつ前記第１検出部により検出された前記音源が前記プライバシー保護エリアの範囲内である場合に、前記音源が検出された時刻より所定時間前の収音に基づいて前記第２メモリに記憶された音声データの前記音声出力部における出力を制御する、
指向性制御システム。 The directivity control system according to claim 1,
A second memory for storing the sound data of the imaging area picked up by the sound pickup unit together with the sound pickup time;
The output control unit detects the sound source when the movement of the person is detected by the second detection unit and the sound source detected by the first detection unit is within the privacy protection area. Controlling the output of the audio data stored in the second memory in the audio output unit based on the sound collected a predetermined time before the specified time,
Directional control system.
前記出力制御部は、前記第２検出部により前記人物の動きが検出されなかった場合、前記収音部により収音された前記撮像エリアの音声データを前記音声出力部に出力させる、
指向性制御システム。 The directivity control system according to claim 1,
The output control unit causes the audio output unit to output audio data of the imaging area collected by the sound collection unit when the movement of the person is not detected by the second detection unit.
Directional control system.
前記撮像部において、撮像エリアの映像を撮像し、
前記収音部において、前記撮像エリアの音声を収音し、
前記撮像エリアの映像データが表示された表示部に対して指定されたプライバシー保護エリアの位置情報をメモリに記憶し、
前記収音部により収音された前記撮像エリアの音声データの音源を検出し、
前記撮像エリアにおける人物の動きを検出し、
前記人物の動きが検出され、かつ検出された前記音源が前記プライバシー保護エリアの範囲内である場合に、前記収音部により収音された前記撮像エリアの音声データの出力を制御する、
音声出力制御方法。 An audio output control method in a directivity control system having an imaging unit and a sound collection unit,
In the imaging unit, capture an image of the imaging area,
In the sound collection unit, the sound of the imaging area is collected,
Storing the location information of the privacy protection area designated for the display unit on which the video data of the imaging area is displayed in a memory;
Detecting a sound source of audio data of the imaging area collected by the sound collection unit,
Detecting the movement of a person in the imaging area;
When the movement of the person is detected and the detected sound source is within the range of the privacy protection area, the audio data output of the imaging area collected by the sound collection unit is controlled.
Audio output control method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015138014A JP6569853B2 (en) | 2015-07-09 | 2015-07-09 | Directivity control system and audio output control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015138014A JP6569853B2 (en) | 2015-07-09 | 2015-07-09 | Directivity control system and audio output control method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017022521A true JP2017022521A (en) | 2017-01-26 |
| JP6569853B2 JP6569853B2 (en) | 2019-09-04 |
Family
ID=57888370
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015138014A Active JP6569853B2 (en) | 2015-07-09 | 2015-07-09 | Directivity control system and audio output control method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6569853B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107995495A (en) * | 2017-11-23 | 2018-05-04 | 华中科技大学 | Video moving object trace tracking method and system under a kind of secret protection |
| CN115552519A (en) * | 2020-05-11 | 2022-12-30 | 三菱电机楼宇解决方案株式会社 | Sound source determination device, sound source determination method, and sound source determination program |
-
2015
- 2015-07-09 JP JP2015138014A patent/JP6569853B2/en active Active
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107995495A (en) * | 2017-11-23 | 2018-05-04 | 华中科技大学 | Video moving object trace tracking method and system under a kind of secret protection |
| CN115552519A (en) * | 2020-05-11 | 2022-12-30 | 三菱电机楼宇解决方案株式会社 | Sound source determination device, sound source determination method, and sound source determination program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6569853B2 (en) | 2019-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10497356B2 (en) | Directionality control system and sound output control method | |
| US20210158828A1 (en) | Audio processing device, image processing device, microphone array system, and audio processing method | |
| JP5581329B2 (en) | Conversation detection device, hearing aid, and conversation detection method | |
| JP5857674B2 (en) | Image processing apparatus and image processing system | |
| JP6289121B2 (en) | Acoustic signal processing device, moving image photographing device, and control method thereof | |
| JP6493860B2 (en) | Monitoring control system and monitoring control method | |
| CN103561367B (en) | By microphone array, undesirably noise is carried out the system and method for automatic mic mute | |
| JPWO2011158506A1 (en) | Hearing aid, signal processing method and program | |
| JP6447976B2 (en) | Directivity control system and audio output control method | |
| EP4064692A1 (en) | Smart audio muting in a videoconferencing system | |
| CN116324969A (en) | Hearing enhancement and wearable system with positioning feedback | |
| JP6569853B2 (en) | Directivity control system and audio output control method | |
| KR20150066883A (en) | Image processing method and device | |
| JP2011066668A (en) | Echo canceler, echo canceling method, and program of echo canceler | |
| WO2015151130A1 (en) | Sound processing apparatus, sound processing system, and sound processing method | |
| JP2007251355A (en) | Relaying apparatus for interactive system, interactive system, and interactive method | |
| JP2016219965A (en) | Directivity control system and speech output control method | |
| JP2016219966A (en) | Directivity control system and voice output control method | |
| EP3528509B9 (en) | Audio data arrangement | |
| JP2014216787A (en) | Conference terminal apparatus and amplification factor registration method | |
| JP2010122881A (en) | Terminal device | |
| JP2015056676A (en) | Sound processing device and program | |
| EP4075822B1 (en) | Microphone mute notification with voice activity detection | |
| JP2020053882A (en) | Communication device, communication program, and communication method | |
| TWI775119B (en) | Apparatus and method for noise filtration and non-transitory computer-readable storage medium associated therewith |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180413 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190614 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190625 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190723 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6569853 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |