JP2016219965A - 指向性制御システム及び音声出力制御方法 - Google Patents

Abstract

【課題】プライバシー保護エリア内で人物により音声が発せられても、その人物が発した音声の内容が他人に知られることなく、人物のプライバシー保護の劣化を抑制する。
【解決手段】カメラ装置ＣＡは、撮像エリアＳＡの映像を撮像する。マイクアレイ装置ＭＡは、撮像エリアＳＡの音声を収音する。操作部３２は、ディスプレイ装置３６に表示された映像に対するプライバシー保護エリアＰＲＡの指定を受け付ける。指向方向算出部３４は、マイクアレイ装置ＭＡから指定されたプライバシー保護エリアＰＲＡに対応する音声エリアに向かう指向方向を算出し、算出された指向方向に指向性を形成する。出力制御部３５は、マイクアレイ装置ＭＡにより収音された第１の音声の音声データと、プライバシー保護エリアＰＲＡに指向性が形成された第２の音声の音声データとを用いて、プライバシー保護エリアＰＲＡの音声の出力を制限する。
【選択図】図５

Description

本発明は、マイクアレイ装置により収音された音声の出力を制御する指向性制御システム及び音声出力制御方法に関する。

従来、マイクアレイ装置から音声の収音位置（つまり、音源の位置）に向かう指向方向に音声の指向性を形成する指向性制御システムが知られている（例えば、特許文献１参照）。この指向性制御システムは、指定された音声の収音位置（つまり、音源の位置）が既定のプライバシー保護エリアである場合、マイクアレイ装置により収音された音声の音声データの出力を抑制する。

特開２０１５−０２９２４１号公報

しかしながら、特許文献１の構成では、プライバシー保護エリアに近接する外側の位置を音声の収音位置に指定されてしまうと、プライバシー保護エリア内の音が外側に漏れて聞こえてしまい、会話の内容が他人に知られてしまう等、プライバシー保護エリア内にいる人物のプライバシー保護が不十分であるという課題があった。

本発明は、上述した従来の課題を解決するために、プライバシー保護エリア内で人物により音声が発せられても、その人物が発した音声の内容が他人に知られることなく、人物のプライバシー保護の劣化を抑制する指向性制御システム及び音声出力制御方法を提供することを目的とする。

本発明は、撮像エリアの映像を撮像する撮像部と、前記撮像エリアの音声を収音する収音部と、前記撮像部により撮像された映像データを表示する表示部と、前記映像データが表示された前記表示部に対する任意のエリア指定に応じて、指定された前記映像データの指定エリアに対応する音声エリア内の、前記収音部により収音された音声の出力を制限する制御部と、を備える、指向性制御システムである。

また、本発明は、撮像エリアの映像を撮像する撮像部と、前記撮像エリアの音声を収音する収音部と、前記撮像部により撮像された映像データを表示する表示部と、前記映像データが表示された前記表示部に対する任意のエリア指定に応じて、前記収音部から、指定された前記映像データの指定エリアに対応する音声エリアに向かう指向方向を算出する指向方向算出部と、前記指向方向算出部により算出された前記指向方向に、前記収音部により収音された音声の指向性を形成する制御部と、を備え、前記制御部は、前記収音部により収音された第１の音声の音声データと、前記エリア指定に応じて前記制御部により指向性が形成された第２の音声の音声データとを用いて、前記指定エリアの音声の出力を制限する、指向性制御システムを提供する。

また、本発明は、撮像部及び収音部を有する指向性制御システムにおける音声出力制御方法であって、前記撮像部において、撮像エリアの映像を撮像する処理と、前記収音部において、前記撮像エリアの音声を収音する処理と、表示部において、前記撮像部により撮像された映像データを表示する処理と、前記映像データが表示された前記表示部に対する任意のエリア指定に応じて、指定された前記映像データの指定エリア内の、前記収音部により収音された音声の出力を制限する処理と、を実行する、音声出力制御方法を提供する。

また、本発明は、撮像部及び収音部を有する指向性制御システムにおける音声出力制御方法であって、前記撮像部において、撮像エリアの映像を撮像する処理と、前記収音部において、前記撮像エリアの音声を収音する処理と、表示部において、前記撮像部により撮像された映像データを表示する処理と、前記映像データが表示された前記表示部に対する任意のエリア指定に応じて、前記収音部から、指定された前記映像データの指定エリアに対応する音声エリアに向かう指向方向を算出する処理と、算出された前記指向方向に、前記収音部により収音された音声の指向性を形成する処理と、前記収音部により収音された第１の音声の音声データと、前記エリア指定に応じて前記指向性が形成された第２の音声の音声データとを用いて、前記指定エリアの音声の出力を制限する処理と、を実行する、音声出力制御方法を提供する。

本発明によれば、プライバシー保護エリア内で人物により音声が発せられても、その人物が発した音声の内容が他人に知られることなく、人物のプライバシー保護の劣化を抑制できる。

本実施形態の指向性制御システムの内部構成の一例を示すブロック図 （Ａ）〜（Ｅ）マイクアレイ装置の外観の一例を示す図 マイクアレイ装置により収音された音声に対して所定の方向に指向性を形成する原理の一例の説明図 本実施形態の指向性制御システムの動作概要の一例の説明図 本実施形態の指向性制御装置の信号処理部における信号処理の一例の説明図 本実施形態の指向性制御装置の音声出力処理の動作手順の一例を説明するフローチャート 図６に続く音声出力処理の動作手順の一例を説明するフローチャート １つのプライバシー保護エリアを設定する操作の一例を示す図 複数のプライバシー保護エリアを設定する操作の一例を示す図 本実施形態の変形例のマイクアレイ装置の内部構成の一例を示すブロック図 （Ａ）音声データの波形とこの波形の逆位相の波形とを合成して得られる波形の一例を示す図、（Ｂ）ボイスチェンジ処理前後の波形の一例を示す図

以下、適宜図面を参照しながら、本発明に係る指向性制御システム及び音声出力制御方法を具体的に開示した実施形態（以下、「本実施形態」という）を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

図１は、本実施形態の指向性制御システム１０の内部構成の一例を示すブロック図である。図１に示す指向性制御システム１０は、カメラ装置ＣＡと、マイクアレイ装置ＭＡと、指向性制御装置３０と、レコーダ装置４０とを含む構成を有する。カメラ装置ＣＡ、マイクアレイ装置ＭＡ、指向性制御装置３０及びレコーダ装置４０は、ネットワークＮＷを介して相互にデータ通信可能に接続されている。ネットワークＮＷは、有線ネットワーク（例えばイントラネット、インターネット）でもよいし、無線ネットワーク（例えば無線ＬＡＮ（Local Area Network））でもよい。

撮像部の一例としてのカメラ装置ＣＡは、例えば室内の上方（図４参照）に設置された、画角が固定された固定カメラであり、自装置が設置された撮像エリアＳＡを撮像可能な監視カメラとして機能する。なお、カメラ装置ＣＡは、固定カメラに限らず、撮像エリアＳＡの全方位画像を撮像可能な全方位カメラ、パン・チルト・ズーム動作自在なＰＴＺ（Pan Tilt Zoom）カメラでもよい。カメラ装置ＣＡは、映像を撮像した時刻（つまり、撮像時刻）を映像データと対応付けて記憶し、ネットワークＮＷを介して指向性制御装置３０又はレコーダ装置４０に送信する。

収音部の一例としてのマイクアレイ装置ＭＡは、例えば室内の上方（図４参照）に設置された全方位マイクアレイ装置であり、自装置が設置された収音空間ＫＳにおける全方位の音声を収音する。ここでは、収音空間ＫＳは、撮像エリアＳＡを含む空間である。

マイクアレイ装置ＭＡは、後述するように、中央に開口部が形成された筐体、及びこの開口部の周囲に円周方向に沿って同心円状に配置された複数のマイクロホンを有する。マイクロホンには、例えば高音質小型エレクトレットコンデンサーマイクロホン（ＥＣＭ：Electret Condenser Microphone）が用いられる。

マイクアレイ装置ＭＡは、収音した音声データを、収音した時刻（つまり、収音時刻）と対応付けて記憶するとともに、記憶した音声データ及び収音時刻のデータを、ネットワークＮＷを介して、指向性制御装置３０又はレコーダ装置４０に送信する。

指向性制御装置３０は、例えばマイクアレイ装置ＭＡ及びカメラ装置ＣＡが設置された場所から離れた場所に設置される、据置型のＰＣ（Personal Computer）であり、マイクアレイ装置ＭＡで収音された全方位の音声に対し指向性を形成し、その指向方向の音声を強調し、プライバシー保護エリアから発せられる音声を抑制する等の音声出力処理を行う。音声出力処理の詳細については後述する。なお、指向性制御装置３０は、ＰＣの代わりに、携帯電話機、タブレット端末、スマートフォン等の通信端末でもよい。

指向性制御装置３０は、通信部３１と、操作部３２と、信号処理部３３と、ディスプレイ装置３６と、スピーカ装置３７と、メモリ３８とを少なくとも含む構成である。信号処理部３３は、少なくとも指向方向算出部３４及び出力制御部３５を含む。

通信部３１は、カメラ装置ＣＡが送信した撮像時刻を含む映像データ、及びマイクアレイ装置ＭＡが送信した収音時刻を含む音声データを受信して信号処理部３３に出力する。

操作部３２は、ユーザの入力操作の内容を信号処理部３３に通知するためのユーザインターフェース（ＵＩ：User Interface）であり、例えばマウス、キーボード等のポインティングデバイスで構成される。また、操作部３２は、例えばディスプレイ装置３６の画面に対応して配置され、ユーザの指やスタイラスペンによって入力操作が可能なタッチパネル又はタッチパッドを用いて構成されてもよい。

操作部３２は、ディスプレイ装置３６に表示されたカメラ装置ＣＡの映像データ（図４参照）の中で、ユーザがプライバシー保護を希望するエリアであるプライバシー保護エリアＰＲＡ（図中、点線枠）を指定すると、つまり、エリア指定すると、指定された指定エリアの一例としてのプライバシー保護エリアの位置を表す座標データを取得して信号処理部３３に出力する。

メモリ３８は、例えばＲＡＭ（Random Access Memory）を用いて構成され、指向性制御装置３０が動作する際、プログラムメモリ、データメモリ、ワークメモリとして機能する。メモリ３８は、マイクアレイ装置ＭＡで収音される音声の音声データを収音時刻とともに記憶する。信号処理部３３は、メモリ３８に記憶された音声データを用いて、後述する音声出力処理を行う。

従って、マイクアレイ装置ＭＡで収音される音声の収音時間より若干遅れて、言い換えると、リアルタイムに音声が収音されたタイミングより僅かに遅れて音声が再生される。この遅れ時間は、マイクアレイ装置ＭＡが音声を収音してから、その音声がプライバシー保護エリア内で収音された音声を抑圧する処理に要する時間である。また、メモリ３８に音声データを一旦記憶しておくことで、後述するように、信号処理部３３は、プライバシー保護エリアＰＲＡからの音声が検出される所定時間前より音声出力を制御することも可能となる。このように、メモリ３８は音声データを一時的に記憶するバッファメモリとしても機能する。

信号処理部３３は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成され、指向性制御装置３０の各部の動作を全体的に統括するための制御処理、他の各部との間のデータの入出力処理、データの演算（計算）処理及びデータの記憶処理を行う。

信号処理部３３内の指向方向算出部３４は、カメラ装置ＣＡで撮像された映像が表示されたディスプレイ装置３６に対してユーザによって指定されたプライバシー保護エリアの座標を、マイクアレイ装置ＭＡからプライバシー保護エリアに対応する音声エリアに向かう指向方向を示す座標に変換する。

この座標の変換処理では、指向方向算出部３４は、プライバシー保護エリアの指定に応じて、マイクアレイ装置ＭＡからプライバシー保護エリアに対応する音声エリアに向かう指向方向を示す座標（θｈ，θｖ）を算出する。この座標算出処理の詳細については、例えば上記特許文献１に記載されている。ここで、θｈはマイクアレイ装置ＭＡから音声位置に向かう指向方向の水平角を表し、θｖはマイクアレイ装置ＭＡから音声位置に向かう指向方向の垂直角を表す。音声位置は、操作部３２がディスプレイ装置３６に表示された映像データにおいてユーザの指又はスタイラスペンによって指定された指定位置に対応する実際の音源の位置である。

また、指向方向算出部３４は、カメラ装置ＣＡで撮像された映像が表示されたディスプレイ装置３６に対してユーザによって指定されたプライバシー保護エリアの座標、及び、プライバシー保護エリアに対応する音声エリアに向かう指向方向を示す座標をメモリ３８に記憶する。

信号処理部３３内の出力制御部３５は、カメラ装置ＣＡ、マイクアレイ装置ＭＡ、ディスプレイ装置３６及びスピーカ装置３７の動作を制御し、カメラ装置ＣＡから送信された映像データをディスプレイ装置３６に出力させ、マイクアレイ装置ＭＡから送信された音声データをスピーカ装置３７に音声出力させる。制御部の一例としての出力制御部３５は、マイクアレイ装置ＭＡが収音して指向性制御装置３０に送信した音声データを用いて指向性の形成処理を行うことで、信号処理部３３により算出された収音方向の座標（θｈ，θｖ）に対応する指向方向に、音声データの指向性を形成する。また、出力制御部３５は、マイクアレイ装置ＭＡで収音された音声を出力する際、プライバシー保護エリア内で収音された音声を抑圧する。この動作の詳細については後述する。

表示部の一例としてのディスプレイ装置３６は、カメラ装置ＣＡが撮像した映像データを画面に表示する。

音声出力部の一例としてのスピーカ装置３７は、マイクアレイ装置ＭＡが収音した音声データ、又は信号処理部３３が指向方向（θｈ，θｖ）に指向性が形成されたマイクアレイ装置ＭＡが収音した音声データを音声出力する。なお、ディスプレイ装置３６及びスピーカ装置３７は、指向性制御装置３０とは別体の装置として構成されてもよい。

レコーダ装置４０は、マイクアレイ装置ＭＡから送信されたパケットに含まれる音声データと、例えばカメラ装置ＣＡから送信された画像データとを対応付けて記憶する。

図２（Ａ）〜（Ｅ）は、マイクアレイ装置ＭＡの外観を示す図である。ここで、マイクアレイ装置ＭＡの外観について、図２（Ａ）〜（Ｅ）を参照して説明する。図２（Ａ）〜図２（Ｅ）は、マイクアレイ装置ＭＡで総称される、各マイクアレイ装置ＭＡｚ，ＭＡｙ，ＭＡｘ，ＭＡｗ，ＭＡｖの外観図である。各マイクアレイ装置ＭＡｚ，ＭＡｙ，ＭＡｘ，ＭＡｗ，ＭＡｖでは、外観及び複数のマイクロホンの配置が異なるが、各々のマイクアレイ装置の機能は同等である。

図２（Ａ）に示すマイクアレイ装置ＭＡｚは、円盤状の筐体２１ｚを有する。筐体２１ｚには、複数のマイクロホン２２，２３が同心円状に配置されている。具体的に、複数のマイクロホン２２が、筐体２１ｚと同一の中心を有する同心円状に且つ筐体２１ｚの外側に配置され、複数のマイクロホン２３が、筐体２１ｚと同一の中心を有する同心円状に且つ筐体２１ｚの内側に配置されている。各々のマイクロホン２２は、互いの間隔が広く、直径が大きく、低い音域に適した特性を有する。一方、各々のマイクロホン２３は、互いの間隔が狭く、直径が小さく、高い音域に適した特性を有する。

図２（Ｂ）に示すマイクアレイ装置ＭＡｙは、円盤状の筐体２１ｙを有する。筐体２１ｙには、複数のマイクロホン２２が、一様な間隔を隔てて縦方向と横方向の２方向に沿って直線上に配置され、縦方向の配列と横方向の配列とが筐体２１ｙの中心において交わっている。マイクアレイ装置ＭＡｙは、複数のマイクロホン２２が縦方向と横方向の２方向に直線的に配置されているので、音声データの指向性の形成処理の演算量を低減できる。なお、図２（Ｂ）に示すマイクアレイ装置ＭＡｙにおいて、縦方向又は横方向の１列だけに、複数のマイクロホン２２が配置されてもよい。

図２（Ｃ）に示すマイクアレイ装置ＭＡｘは、図２（Ａ）に示すマイクアレイ装置ＭＡｚに比べ、直径の小さい円盤状の筐体２１ｘを有する。筐体２１ｘには、複数のマイクロホン２２が、筐体２１ｘの円周方向に沿って一様な間隔を隔てて配置されている。図２（Ｃ）に示すマイクアレイ装置ＭＡｘは、各々のマイクロホン２２の間隔が短いので、高い音域に適した特性を有する。

図２（Ｄ）に示すマイクアレイ装置ＭＡｗは、筐体２１ｗの中心に所定の直径を有する開口部２１ａが形成されたドーナツ型形状又はリング型形状の筐体２１ｗを有する。本実施形態の指向性制御システム１０では、例えば図２（Ｄ）に示すマイクアレイ装置ＭＡｗが用いられる。筐体２１ｗでは、複数のマイクロホン２２が、筐体２１ｗの円周方向において、一様な間隔を隔てて同心円状に配置されている。

図２（Ｅ）に示すマイクアレイ装置ＭＡｖは、矩形状の筐体２１ｖを有する。筐体２１ｖには、複数のマイクロホン２２が、筐体２１ｖの外周方向に沿って一様な間隔を隔てて配置されている。図２（Ｅ）に示すマイクアレイ装置ＭＡｖでは、筐体２１ｖが矩形形状であるので、例えばコーナー又は壁面においてもマイクアレイ装置ＭＡｖの設置を簡易化できる。

なお、各マイクロホンは、無指向性マイクロホンでも良いし、双指向性マイクロホン、単一指向性マイクロホン、鋭指向性マイクロホン、超指向性マイクロホン（例えばガンマイク）又はこれらの組み合わせが用いられてもよい。

図３は、マイクアレイ装置ＭＡにより収音された音声に対して所定の方向に指向性を形成する原理の一例の説明図である。指向性制御装置３０は、マイクアレイ装置ＭＡから送信された音声データを用いて、音声データの指向性制御処理によって各々のマイクロホン２２１〜２２ｎにより収音された各音声データを加算し、マイクアレイ装置ＭＡの各マイクロホン２２１〜２２ｎの位置から特定方向への音声の音量レベルを強調、つまり、増幅するために、特定方向への指向性を形成した音声データを生成する。特定方向とは、マイクアレイ装置ＭＡから操作部３２で指定された音声位置に向かう方向である。なお、マイクアレイ装置ＭＡによって収音される音声の指向性を形成するための音声データの指向性制御処理に関する技術は、例えば特開２０１４−１４３６７８号公報や、特開２０１５−０２９２４１号公報（つまり、特許文献１）等に示されるように、公知の技術である。

図３では、説明を分かり易くするため、マイクロホンは直線上に一次元配列としている。この場合、指向性は面内の二次元空間になるが、三次元空間で指向性を形成するためには、マイクロホンを二次元配列にして同様な処理方法を行えば良い。

音源８０から発した音波は、マイクアレイ装置ＭＡに内蔵される各マイクロホン２２１，２２２，２２３，〜，２２（ｎ−１），２２ｎに対し、ある一定の角度（入射角＝（９０−θ）［度］）で入射する。入射角θは、マイクアレイ装置ＭＡから音声位置に向かう指向方向の水平角θｈでも垂直角θｖでもよい。

音源８０は、例えばマイクアレイ装置ＭＡが収音する収音方向に存在するカメラ装置ＣＡの被写体である人物の会話であり、マイクアレイ装置ＭＡの筐体２１の面上に対し、所定角度θの方向に存在する。また、各マイクロホン２２１，２２２，２２３，…，２２（ｎ−１），２２ｎ間の間隔ｄは一定とする。

音源８０から発した音波は、最初にマイクロホン２２１に到達して収音され、次にマイクロホン２２２に到達して収音され、同様に次々に収音され、最後にマイクロホン２２ｎに到達して収音される。

マイクアレイ装置ＭＡの各マイクロホン２２１，２２２，２２３，…，２２（ｎ−１），２２ｎが収音したアナログの音声データを、Ａ／Ｄ変換器２４１，２４２，２４３，〜，２４（ｎ−１），２４ｎがデジタルの音声データにＡＤ変換する。

更に、遅延器２５１，２５２，２５３，〜，２５（ｎ−１），２５ｎが、各々のマイクロホン２２１，２２２，２２３，…，２２（ｎ−１），２２ｎにおける到達時間差に対応する遅延時間を与えて全ての音波の位相を揃えた後、加算器２６が遅延処理後の音声データを加算し、加算後の音声データ２７を出力する。これにより、マイクアレイ装置ＭＡの各マイクロホン２２１，２２２，２２３，…，２２（ｎ−１），２２ｎで収音された音声データに、所定角度θの方向に指向性を形成することが可能となる。

このように、マイクアレイ装置ＭＡで収音された音声データに対し、遅延器２５１，２５２，２５３，〜，２５（ｎ−１），２５ｎに設定される遅延時間Ｄ１，Ｄ２，Ｄ３，〜，Ｄｎ−１，Ｄｎを変更することで、収音した音声データの指向性を簡易に形成することができる。

なお、マイクアレイ装置ＭＡで収音された音声データに対し、遅延器２５１，２５２，２５３，〜，２５（ｎ−１），２５ｎ及び加算器２６は、マイクアレイ装置ＭＡに内蔵され、マイクアレイ装置ＭＡからは、指向性が形成された音声データが出力させてもよいが、本実施形態では、遅延器２５１，２５２，２５３，〜，２５（ｎ−１），２５ｎ及び加算器２６は、指向性制御装置３０の信号処理部３３に備わる。従って、マイクアレイ装置ＭＡからは、単に撮像エリアで収音された無指向性の音声データが出力される。

上記構成を有する指向性制御システム１０の動作を示す。

始めに、指向性制御システム１０の動作概要について、図４を参照して説明する。図４は、本実施形態の指向性制御システム１０の動作概要の一例の説明図である。指向性制御システム１０が収音対象とする場所（例えば応接スペースを含む場所）には、カメラ装置ＣＡ及びマイクアレイ装置ＭＡが設置される。また、この場所から離れて、指向性制御装置３０及びレコーダ装置４０が置かれる。

カメラ装置ＣＡは、支柱８１に支持され、図４中の上方に設定された位置ＰＳ１から固有の画角の範囲内に映る被写体（撮像エリアＳＡ）を撮像するように設置される。図４では、撮像エリアＳＡは、２人の人物ｈｍ１，ｈｍ２がそれぞれ椅子７３，７４に腰かけて会話している応接スペース７１に設定されている。

マイクアレイ装置ＭＡは、支柱８２に支持され、図中上方に設定された位置ＰＳ２から撮像エリアＳＡを含む収音空間ＫＳで発せられる音声を収音するように設置される。マイクアレイ装置ＭＡは、収音空間ＫＳ内の音声を収音する。図４では、応接スペース７１内にいる２人の人物ｈｍ１，ｈｍ２がそれぞれ椅子７３，７４に腰かけて会話しており、マイクアレイ装置ＭＡは、一方の人物ｈｍ１が呼びかけた「Ｈｅｌｌｏ」の音声を収音し、他方の人物ｈｍ２が発声した「Ｔｈａｎｋｓ」の音声を収音している。

カメラ装置ＣＡが撮像した映像データは、指向性制御装置３０のディスプレイ装置３６に表示される。ディスプレイ装置３６に表示された映像の中から、ユーザの指ＦＧによりプライバシー保護エリアＰＲＡ（図中、破線枠）が指定されると、このプライバシー保護エリアＰＲＡの撮像位置に対応する音声位置を含む収音空間の、マイクアレイ装置ＭＡにより収音された音声の出力が指向性制御装置３０によって抑制される。ここでは、人物ｈｍ２が発声した「Ｔｈａｎｋｓ」の音声は消去（ミュート処理）され、スピーカ装置３７からは、人物ｈｍ１が発声した「Ｈｅｌｌｏ」の音声だけが再生される。

ユーザが指ＦＧでディスプレイ装置３６に表示された映像に対しプライバシー保護エリアＰＲＡを指定する場合、指向性制御装置３０は、この指定位置を表す座標データを用いて、マイクアレイ装置ＭＡの位置ＰＳ２から音声位置に向かう指向方向を示す座標（θｈ，θｖ）を算出する。更に、指向性制御装置３０は、この座標（θｈ，θｖ）の座標データを用いて、マイクアレイ装置ＭＡの位置ＰＳ２から音声位置に向かう指向方向に指向性を形成する。

プライバシー保護エリアＰＲＡに指向性が形成された場合、後述するように（図５参照）、プライバシー保護エリアＰＲＡ内で発せられた音声が、全体の音声から差し引かれて、スピーカ装置３７から再生された音声が出力される。従って、プライバシー保護エリアＰＲＡ内の人物ｈｍ２が発した音声はスピーカ装置３７から出力されない。

図５は、本実施形態の指向性制御装置３０の信号処理部３３における信号処理の一例の説明図である。マイクアレイ装置ＭＡの各マイクロホン２２１，２２２，…，２２ｎは、全体の音声信号として、無指向性の音声信号Ａ１を出力する。ユーザは、映像が表示されたディスプレイ装置３６上においてプライバシー保護エリアＰＲＡを任意に指定する。指向方向算出部３４は、指定されたプライバシー保護エリアＰＲＡの範囲内に対して音声の指向性を形成し、プライバシー保護エリアＰＲＡからの音声信号Ｂを抽出する。音声信号Ｂは、プライバシー保護エリアＰＲＡの音声が強調される指向特性を有する。

出力制御部３５は、全体の音声信号Ａ１からプライバシー保護エリア内の音声信号Ｂを適応的に差し引くことで、プライバシー保護エリアＰＲＡ内の音声信号Ｂが抑圧された、つまり、プライバシー保護エリアＰＲＡの外側の音声が強調された音声信号Ｃを出力する。

これにより、指向性制御装置３０は、プライバシー保護エリアＰＲＡからの音声信号を抑圧した音声信号Ｃを出力する。なお、全体の信号として、マイクアレイ装置ＭＡから出力される、無指向性の音声信号Ａ１を用いる代わりに、ユーザによって指定された特定の方向に、指向方向算出部３４が指向性を形成し、この指向方向の音声信号Ａ２を用いてもよい。

図６及び図７は、本実施形態の指向性制御装置３０の音声出力処理の動作手順の一例を説明するフローチャートである。指向性制御システム１０では、カメラ装置ＣＡは、常に撮像エリアＳＡを撮像している。また、マイクアレイ装置ＭＡは、撮像エリアＳＡを含む収音空間ＫＳで発せられる音声を収音する。マイクアレイＭＡで収音された音声の音声データは、カメラ装置ＣＡで撮像された映像データとともに、ネットワークＮＷを介してレコーダ装置４０に送信される。レコーダ装置４０は、音声データ及び映像データを記録する。また、マイクアレイＭＡで収音された音声の音声データは、指向性制御装置３０に送信される。指向性制御装置３０は、受信した音声データをメモリ３８に記憶する。

カメラ装置ＣＡによって撮像された映像がディスプレイ装置３６に表示された画面上で、ユーザが指ＦＧでプライバシー保護エリアＰＲＡを指定すると、操作部３２は、指定されたプライバシー保護エリアＰＲＡを受け付ける（Ｓ１）。プライバシー保護エリアＰＲＡの範囲は、任意の形状及び位置に指定可能である。例えば、プライバシー保護エリアＰＲＡの範囲は、矩形を表す対角点の座標（θｈｐ１，θｖｐ１），（θｈｐ２，θｖｐ２）で設定されてもよい。この場合、２点の座標値を入力するだけであるので、操作部３２としてキーボードによる入力が可能である。また、プライバシー保護エリアＰＲＡの範囲は、図４に示すような楕円形、矩形或いは任意の閉曲線に設定されてもよい。操作部３２によって指定されたプライバシー保護エリアＰＲＡの範囲はメモリ３８に記憶される。プライバシー保護エリアＰＲＡの設定のし方については後述する。

指向方向算出部３４は、無指向状態で収音された音声信号Ａ１に対し、プライバシー保護エリアＰＲＡ内に指向性を形成する（Ｓ２）。指向方向算出部３４は、プライバシー保護エリアＰＲＡに指向性が形成された音声信号Ｂを抽出する（Ｓ３）。

信号処理部３３は、スピーカ装置３７から出力される音声を強調するためのユーザによる位置指定があったか否かを判別する（Ｓ４）。ユーザによる位置指定があった場合（Ｓ４、ＹＥＳ）、つまり、音声の指向性が形成されるためのユーザによる位置指定があった場合、指向方向算出部３４は、指定された位置に対応する指向方向（θｈ，θｖ）を取得又は算出する（Ｓ５）。

指向方向算出部３４は、無指向状態で収音された音声信号Ａ１に対し、指向方向（θｈ，θｖ）に指向性を形成する（Ｓ６）。指向方向算出部３４は、指向方向（θｈ，θｖ）に指向性が形成された音声信号Ａ２を抽出する（Ｓ７）。

出力制御部３５は、指向方向（θｈ，θｖ）に指向性が形成された音声信号Ａ２から、プライバシー保護エリアＰＲＡに指向性が形成された音声信号Ｂを差し引く（減算）処理を行い、音声信号Ｂを抑圧する（Ｓ８）。出力制御部３５は、プライバシー保護エリアＰＲＡ内の音声信号Ｂが抑圧された音声信号Ｃを出力する（Ｓ９）。この後、指向性制御装置３０は、図６及び図７に示す音声出力処理の動作を終了する。

一方、ステップＳ４でユーザによる位置指定が無かった場合（Ｓ４、ＮＯ）、つまり、音声の指向性が形成されるためのユーザによる位置指定が無かった場合、信号処理部３３は、レコーダ装置４０又はメモリ３８に記憶された、無指向状態で収音された音声信号Ａ１を取得する（Ｓ１０）。ステップＳ８の処理と同様、出力制御部３５は、無指向状態の音声信号Ａ１から、プライバシー保護エリアＰＲＡに指向性が形成された音声信号Ｂを差し引く（減算）処理を行い、音声信号Ｂを抑圧する（Ｓ１０）。出力制御部３５は、ステップＳ９でプライバシー保護エリアＰＲＡの音声信号が抑圧された音声信号Ｃを出力する。この後、指向性制御装置３０は、図６及び図７に示す音声出力処理の動作を終了する。

図８は、１つのプライバシー保護エリアＰＲＡを設定する操作の一例を示す図である。ディスプレイ装置３６及び操作部３２は、前述したように、タッチパネルで構成される。ユーザは、指ＦＧ又はスタイラスペンを用いて、ディスプレイ装置３６の画面に表示された人物ｈｍ２を楕円形に囲むように、プライバシー保護エリアＰＲＡを指定する。従って、人物ｈｍ２を囲む楕円形の範囲がプライバシー保護エリアＰＲＡに設定される。この場合、スピーカ装置３７からは、人物ｈｍ２が発した音声は出力されない。なお、図中、ディスプレイ装置３６の画面に表示された、「Ｈｅｌｌｏ」、「…」の吹き出しは、便宜的に描かれているだけで、実際には表示されないが、指向性制御装置３０により表示されるようにしてもよい。

図９は、複数（例えば２つ）のプライバシー保護エリアＰＲＡ１、ＰＲＡ２を設定する操作の一例を示す図である。カメラ装置ＣＡで撮像され、ディスプレイ装置３６の画面に表示された映像には、新たに３人目の人物ｈｍ３が登場している。ユーザは、指ＦＧ又はスタイラスペンを用いて、ディスプレイ装置３６の画面に表示された人物ｈｍ１，ｈｍ２をそれぞれ楕円形に囲むように、プライバシー保護エリアＰＲＡ１，ＰＲＡ２を指定する。従って、人物ｈｍ１を囲む楕円形の範囲がプライバシー保護エリアＰＲＡ１に設定され、人物ｈｍ２を囲む楕円形の範囲がプライバシー保護エリアＰＲＡ２に設定される。この場合、スピーカ装置３７からは、人物ｈｍ１と人物ｈｍ２の双方が発した音声は出力されない。３人目の人物ｈｍ３は、プライバシー保護エリアの範囲外であるので、スピーカ装置３７からは、人物ｈｍ３が発声した「Ｂｙｅ」の音声だけが出力される。なお、図中、ディスプレイ装置３６の画面に表示された、「…」，「Ｂｙｅ」，「…」の吹き出しは、便宜的に描かれているだけで、実際には表示されないが、指向性制御装置３０により表示されるようにしてもよい。

なお、本実施形態では、複数のプライバシー保護エリアＰＲＡ１，ＰＲＡ２に対し、同じような方法で音声出力を抑圧する場合を示したが、プライバシー保護エリア毎に異なる方法で音声出力を抑圧してもよい。例えば、プライバシー保護エリアＰＲＡ１内の音声に対しては、前述したように減算処理を行うことで、音声の内容を分からなくし、プライバシー保護エリアＰＲＡ１内の音声に対しては、ボイスチェンジ処理を行うことで、音声の内容を分からなくしてもよい。

以上により、本実施形態の指向性制御システム１０では、カメラ装置ＣＡは、撮像エリアＳＡの映像を撮像する。マイクアレイ装置ＭＡは、撮像エリアＳＡの音声を収音する。ディスプレイ装置３６は、カメラ装置ＣＡにより撮像された映像を表示する。操作部３２は、ディスプレイ装置３６に表示された映像に対するプライバシー保護エリアＰＲＡの指定を受け付ける。指向方向算出部３４は、マイクアレイ装置ＭＡから、指定されたプライバシー保護エリアＰＲＡに対応する音声エリアに向かう指向方向を算出し、算出された指向方向に、マイクアレイ装置ＭＡにより収音された音声に対して指向性を形成する。出力制御部３５は、マイクアレイ装置ＭＡにより収音された第１の音声の音声データと、プライバシー保護エリアＰＲＡに指向性が形成された第２の音声の音声データとを用いて、プライバシー保護エリアＰＲＡの音声の出力を制限する。また、出力制御部３５は、マイクアレイ装置ＭＡにより収音された第１の音声の音声データを用いて、映像データが表示されたディスプレイ装置３６に対する任意のプライバシー保護エリアＰＲＡの指定に応じて、指定された映像データのプライバシー保護エリアＰＲＡに対応する音声エリア内の、マイクアレイ装置ＭＡにより収音された音声の出力を制限してもよい。例えば、出力制御部３５は、プライバシー保護エリアＰＲＡの指定があると、プライバシー保護エリアＰＲＡの座標を操作部３２から取得する。また、メモリ３８は、例えば音声出力を制限するための既定のプライバシー保護エリアの座標又はその範囲と実際に操作部３２において指定されたプライバシー保護エリアＰＲＡの座標又はその範囲との対応関係の一例を示すテーブルを記憶しているとする。この場合、出力制御部３５は、操作部３２から取得した座標又はその範囲が既定のプライバシー保護エリアの座標又はその範囲に含まれる場合に、マイクアレイ装置ＭＡにより収音された第１の音声の音声データを用いて抑圧処理することで、音声の出力を制限する。なお、この音声の出力の制限には、後述するように、音声の音量レベルの抑圧処理に限らず、例えばミュート処理、マスキング処理又はボイスチェンジ処理でもよい。

これにより、指向性制御システム１０は、プライバシー保護エリア内で人物により音声が発せられても、その人物が発した内容が他人に知られることなく、人物のプライバシー保護の劣化を抑制できる。また、指向性制御システム１０は、プライバシー保護エリアの外側で収音された音声を出力する場合でも、プライバシー保護エリア内の音が漏れ出ることは無くなる。

また、マイクアレイ装置ＭＡにより収音された第１の音声は無指向性の音声であり、出力制御部３５は、無指向性の音声の音声データから、プライバシー保護エリアＰＲＡに指向性が形成された第２の音声の音声データを差し引くことで、プライバシー保護エリアＰＲＡの音声の出力を制限する。これにより、全体の音声を聞く場合にプライバシー保護エリア内の音が紛れることがなく、プライバシーが保護される。

また、マイクアレイ装置ＭＡにより収音された第１の音声は、特定の方向に指向性が形成された音声であり、出力制御部３５は、指向性が形成された音声の音声データから、プライバシー保護エリアＰＲＡに指向性が形成された第２の音声の音声データを差し引くことで、プライバシー保護エリアＰＲＡの音声の出力を制限する。これにより、特定の方向に指向性が形成された音声を聞く場合も、プライバシー保護エリア内の音が紛れることがなく、プライバシーが保護される。

また、操作部３２は、ディスプレイ装置３６に表示された映像に対し、１つ又は複数のプライバシー保護エリアＰＲＡ１，ＰＲＡ２の指定を受け付ける。これにより、秘匿化（マスク処理）したい箇所を任意に指定可能であり、操作性が向上する。

（本実施形態の変形例）
前述実施形態では、指向性制御装置３０がプライバシー保護エリア内の人物が発した音声の出力を制限していた。本実施形態の変形例では、指向性制御装置の代わりに、これらの処理をマイクアレイ装置が行う場合を示す。

図１０は、本実施形態の変形例のマイクアレイ装置ＭＢの内部構成の一例を示すブロック図である。本実施形態の変形例のマイクアレイ装置ＭＢにおいて、前述実施形態におけるマイクアレイ装置ＭＡと同一の構成要素については同一の符号を用いることでその説明を省略する。

マイクアレイ装置ＭＢは、複数のマイクロホン２２１、２２２、…、２２ｎ、アンプ２３１，２３２，…，２３ｎ、Ａ／Ｄ変換器２４１，２４２，２４３，…，２４ｎ、ＣＰＵ２５、符号化部２８及び通信部２９を有する。

アンプ２３１，２３２，…，２３ｎは、複数のマイクロホン２２１、２２２、…、２２ｎで収音した音声信号を増幅する。Ａ／Ｄ変換器２４１，２４２，２４３，…，２４ｎは、それぞれアンプ２３１，２３２，…，２３ｎによって増幅された音声信号をデジタル音声データに変換する。

ＣＰＵ２５は、複数のマイクロホン２２１、２２２、…、２２ｎで収音し、Ａ／Ｄ変換器２４１，２４２，２４３，…，２４ｎによって変換された音声データを入力し、これらの音声データを基に、音声出力処理を行う。また、ＣＰＵ２５は、通信部２９を介して受信したプライバシー保護エリアＰＲＡの位置情報（つまり、位置座標）を内部メモリに記憶している。また、ＣＰＵ２５は、複数のマイクロホン２２１、２２２、…、２２ｎで収音された音声信号Ａ（具体的には、指向性が形成された音声信号、或いは無指向状態で収音された音声信号）を取得し、この音声信号Ａから、プライバシー保護エリアＰＲＡに指向性が形成された音声信号Ｂを差し引く（減算）処理を行い、プライバシー保護エリアＰＲＡの音声信号が抑圧された音声信号Ｃを出力する（図５参照）。つまり、ＣＰＵ２５は、前述実施形態における指向方向算出部３４及び出力制御部３５の機能を有する。

符号化部２８は、ＣＰＵ２５から出力される音声データを符号化し、ネットワークＮＷで伝送可能な音声パケットを生成する。通信部２９は、符号化部２８によって符号化された音声データを、ネットワークＮＷを介して指向性制御装置３０に送信し、また、ネットワークＮＷを介して指向性制御装置３０から送信されるプライバシー保護エリアＰＲＡの位置情報を受信する。

このような構成有するマイクアレイ装置ＭＢは、収音した音声データを、収音した時刻（つまり、収音時刻）と対応付けて記憶するとともに、記憶した音声データ及び収音時刻のデータを、ネットワークＮＷを介して、指向性制御装置３０又はレコーダ装置４０に送信する。

以上により、本実施形態の変形例の指向性制御システム１０では、マイクアレイ装置ＭＢからネットワークＮＷを介して送信される音声データは、プライバシー保護エリア内で収音された音声が抑圧された音声データであるので、この音声データがマイクアレイ装置ＭＢから指向性制御装置３０に送信される途中で盗聴されても情報が漏れることはなく、マイクアレイ装置ＭＢは、安全に音声データを送信できる。また、この場合、音声データには、プライバシー保護エリア内の音声が抑圧されていることを付属情報として、音声データのヘッダに付加してもよく、付加しておくことで音声データを受け取った側では、音声データが一部秘匿化されていることを即座に知ることができる。

以上、図面を参照しながら実施形態及びその変形例について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上記本実施形態では、音声信号Ａ（Ａ１，Ａ２）からプライバシー保護エリア内で抽出した音声信号Ｂを差し引くことで、音声出力を制限していたが、これに限らず、例えば音声信号Ａに対しプライバシー保護エリアで発せられた音声信号Ｂを用いて重み付けを行う（例えば、音声信号Ｂに応じて値０〜値１の範囲の係数を乗算する）ことで、音声出力を制限してもよい。

また、音声出力を制限する方法として、ミュート処理を示したが、これに限らず、マスキング処理又はボイスチェンジ処理を行うようにしてもよい。図１１（Ａ）は、音声データの波形とこの波形の逆位相の波形とを合成して得られる波形の一例を示す図である。出力制御部３５は、マイクアレイ装置ＭＡにより収音された音声の音声信号波形ａの逆位相波形ｂを生成し、音声信号波形ａと音声信号波形の逆位相波形ｂとを合成処理（マスキング処理ともいう）することで、マイクアレイ装置ＭＡにより収音された音声、もしくはマイクアレイ装置ＭＡにより収音されて指向性が形成された音声の出力を抑制した音声信号波形ｃを得てもよい。

図１１（Ｂ）は、ボイスチェンジ処理前後の波形の一例を示す図である。出力制御部３５は、マイクアレイ装置ＭＡにより収音された、音声信号波形ｄを有する音声の音声データ、もしくはマイクアレイ装置ＭＡにより収音されて指向性が形成された音声の音声データに対し、ボイスチェンジ処理を施して音声信号波形ｅを得てもよい。出力制御部３５は、マイクアレイ装置ＭＡにより収音された音声の音声データ、もしくはマイクアレイ装置ＭＡにより収音されて指向性が形成された音声の音声データの波形のピッチを増大又は減少する。これにより、出力制御部３５は、プライバシー保護エリア内で発せられた音声が誰の声であるかを特定することが難しなり、また、音声の内容を分かりにくくすることができ、プライバシーを効果的に保護することができる。

本発明は、プライバシー保護エリア内で人物により音声が発せられても、その人物が発した音声の内容が他人に知られることなく、人物のプライバシー保護の劣化を抑制する指向性制御システム及び音声出力制御方法として有用である。

１０ 指向性制御システム
２１，２１ｚ，２１ｙ，２１ｘ，２１ｗ，２１ｖ 筐体
２１ａ 開口部
２２，２３，２２１，２２２，…，２２ｎ マイクロホン
２５ ＣＰＵ
２６ 加算器
２７ 加算後の音声データ
２８ 符号化部
２９ 通信部
３０ 指向性制御装置
３１ 通信部
３２ 操作部
３３ 信号処理部
３４ 指向方向算出部
３５ 出力制御部
３６ ディスプレイ装置
３７ スピーカ装置
３８ メモリ
４０ レコーダ装置
７１ 応接スペース
８０ 音源
２３１，２３２，…，２３ｎ アンプ
２４１，２４２，２４３，…，２４ｎ Ａ／Ｄ変換器
２５１，２５２，２５３，…，２５ｎ 遅延器
ａ，ｂ，ｃ，ｄ，ｅ 音声信号波形
ＣＡ カメラ装置
ｈｍ１，ｈｍ２，ｈｍ３ 人物
ＮＷ ネットワーク
ＭＡ，ＭＢ，ＭＡｖ，ＭＡｗ，ＭＡｘ，ＭＡｙ，ＭＡｚ マイクアレイ装置
ＰＳ１，ＰＳ２ 位置
ＰＲＡ，ＰＲＡ１，ＰＲＡ２ プライバシー保護エリア

Claims (7)

1. 撮像エリアの映像を撮像する撮像部と、
   前記撮像エリアの音声を収音する収音部と、
   前記撮像部により撮像された映像データを表示する表示部と、
   前記映像データが表示された前記表示部に対する任意のエリア指定に応じて、指定された前記映像データの指定エリアに対応する音声エリア内の、前記収音部により収音された音声の出力を制限する制御部と、を備える、
   指向性制御システム。
2. 撮像エリアの映像を撮像する撮像部と、
   前記撮像エリアの音声を収音する収音部と、
   前記撮像部により撮像された映像データを表示する表示部と、
   前記映像データが表示された前記表示部に対する任意のエリア指定に応じて、前記収音部から、指定された前記映像データの指定エリアに対応する音声エリアに向かう指向方向を算出する指向方向算出部と、
   前記指向方向算出部により算出された前記指向方向に、前記収音部により収音された音声の指向性を形成する制御部と、を備え、
   前記制御部は、前記収音部により収音された第１の音声の音声データと、前記エリア指定に応じて前記制御部により指向性が形成された第２の音声の音声データとを用いて、前記指定エリアの音声の出力を制限する、
   指向性制御システム。
3. 請求項２に記載の指向性制御システムであって、
   前記第１の音声は無指向性の音声であり、
   前記制御部は、前記無指向性の音声の音声データから、前記第２の音声の音声データを差し引くことで、前記指定エリアの音声の出力を制限する、
   指向性制御システム。
4. 請求項２に記載の指向性制御システムであって、
   前記第１の音声は、特定の方向に指向性が形成された音声であり、
   前記制御部は、前記指向性が形成された音声の音声データから、前記第２の音声の音声データを差し引くことで、前記指定エリアの音声の出力を制限する、
   指向性制御システム。
5. 請求項２に記載の指向性制御システムであって、
   前記映像データが表示された前記表示部に対し、１つ又は複数の前記エリア指定を受け付ける操作部、を更に備えた、
   指向性制御システム。
6. 撮像部及び収音部を有する指向性制御システムにおける音声出力制御方法であって、
   前記撮像部において、撮像エリアの映像を撮像する処理と、
   前記収音部において、前記撮像エリアの音声を収音する処理と、
   表示部において、前記撮像部により撮像された映像データを表示する処理と、
   前記映像データが表示された前記表示部に対する任意のエリア指定に応じて、指定された前記映像データの指定エリア内の、前記収音部により収音された音声の出力を制限する処理と、を実行する、
   音声出力制御方法。
7. 撮像部及び収音部を有する指向性制御システムにおける音声出力制御方法であって、
   前記撮像部において、撮像エリアの映像を撮像する処理と、
   前記収音部において、前記撮像エリアの音声を収音する処理と、
   表示部において、前記撮像部により撮像された映像データを表示する処理と、
   前記映像データが表示された前記表示部に対する任意のエリア指定に応じて、前記収音部から、指定された前記映像データの指定エリアに対応する音声エリアに向かう指向方向を算出する処理と、
   算出された前記指向方向に、前記収音部により収音された音声の指向性を形成する処理と、
   前記収音部により収音された第１の音声の音声データと、前記エリア指定に応じて前記指向性が形成された第２の音声の音声データとを用いて、前記指定エリアの音声の出力を制限する処理と、を実行する、
   音声出力制御方法。

Images