JP2019021966A - 収音装置および収音方法 - Google Patents

Abstract

【課題】収音対象の状態に応じて指向性を制御することが可能な収音装置および収音方法を提供する。【解決手段】利用者と対象物を結ぶ方向（光軸Ｏ、ｚ軸）と略直交する方向（ｘ軸）に隔てて配置され（ステレオ用位置差Ｄｓ）、利用者と対象物を結ぶ方向においても距離に差異をもたせて配置した（指向性用位置差Ｄｄ）ステレオマイク（２ｂＲ、２ｂＬ）と、ステレオマイク（２ｂＲ、２ｂＬ）からの音声信号の指向性を調整する指向性制御部を有する。【選択図】 図３

Description

本発明は、ステレオマイクを用いて収音する場合に、ノイズを簡単な構成で除去し、また音声収音の収音範囲を容易に制御するようにした収音装置および収音方法に関する。

外来音を収音する際に、ノイズが入ると聴き難いことから、外来音収集用の第１のマイクと、装置の機構音を収音用の第２のマイクを設け、第１のマイクからの音声信号を、第２のマイクからの音声信号で生成した機構オンキャンセル信号によって、ノイズを抑制する音声収音装置が知られている（特許文献１参照）。また、動画撮影時に、マイクで収音する場合に、音源の方向を向くように収音の指向性を制御するようにした音声収音装置も知られている（特許文献２参照）。

特開２０１３−１１０６２９号公報 特開２０１２−１２９８５４号公報

特許文献１に記載の収音装置では、ステレオで外来音を収音する場合には、ステレオ用の２本のマイクに加えて機構音収集用のマイクが必要となり、使用するマイクが多くなってしまう。また、特許文献２に記載の収音装置では、音源の方向が設定されている場合に指向性が切り替えられるだけであって、収音状態に応じて指向範囲を制御することについては記載がない。

本発明は、このような事情を鑑みてなされたものであり、収音対象の状態に応じて指向性を制御することが可能な収音装置および収音方法を提供することを目的とする。

上記目的を達成するため第１の発明に係る収音装置は、利用者と対象物を結ぶ方向と、略直交する方向に隔てて配置され、上記利用者と対象物を結ぶ方向においても距離に差異をもたせて配置したステレオマイクと、上記ステレオマイクからの音声信号の指向性を調整する指向性制御部と、を有する。

第２の発明に係る収音装置は、上記第１の発明において、モードを設定するモード設定部と、を有し、上記指向性制御部は、上記モードに応じて、環境音を収音する第１の収音特性と、対話者を主に収音する第２の収音特性に切り替える。

第３の発明に係る収音装置は、上記第１または第２の発明において、上記第１の収音特性は、前方の対象物に向けた指向性である。
第４の発明に係る収音装置は、上記第１または第２の発明において、上記第１の収音特性は、広範囲のステレオ収音である。

第５の発明に係る収音装置は、上記第１または第２の発明において、上記指向性制御部は、前方と後方からの音声の指向性を調整する。
第６の発明に係る収音装置は、上記第１または第２の発明において、上記指向性制御部は、上記前方の狭範囲を収音する第３の収音特性が可能である。

第７の発明に係る収音装置は、上記第１の発明において、上記指向性制御部は、上記ステレオマイクによって取得した上記使用者の音声が機器制御用のコマンドであるか否かを判定し、判定の結果、上記コマンドである場合には、上記コマンドに従って上記収音装置を制御する。

第８の発明に係る収音方法は、利用者と対象物を結ぶ方向と、略直交する方向に隔てて配置され、上記利用者と対象物を結ぶ方向においても距離に差異をもたせて配置したステレオマイクを有する収音装置の収音方法において、上記ステレオマイクからの２つの音声信号の位相差に応じて、収音の指向性を調整する。

本発明によれば、収音対象の状態に応じて指向範囲を制御することが可能な収音装置および収音方法を提供することができる。

本発明の一実施形態に係る収音装置の主として電気的構成を示すブロック図である。 本発明の一実施形態に係る収音装置で記録されるファイルの構造を示す図である。 本発明の一実施形態に係る収音装置が組み込まれたデジタルカメラの斜視図である。 本発明の一実施形態に係る収音装置の収音範囲を示す図である。 本発明の一実施形態に係る収音装置が組み込まれたデジタルカメラの変形例を示す側面図である。 本発明の一実施形態に係る収音装置における指向性制御回路を示すブロック図である。 本発明の一実施形態に係る収音装置における位相差補正回路における位相補正を説明する図である。 本発明の一実施形態に係る収音装置の使用状態を示す図である。 本発明の一実施形態に係る収音装置の動作を示すフローチャートである。 本発明の一実施形態に係る収音装置の動作を示すフローチャートである。 本発明を内視鏡に適用した収音装置の使用状態を示す図である。

以下、本発明の好ましい実施形態に係る収音装置は、種々の機器に適用可能であり、まず、本発明の、一実施形態としてカメラに適用した例について説明する。なお、このカメラは、通常カメラとして使用されるコンパクトカメラ、一眼カメラのみならず、スマートフォンやタブレットＰＣ等に内蔵されるカメラであってもよい。また、撮像部を有するカメラと制御部を有するスマートフォンの組み合わせのようなシステムであってもよい。

このカメラは、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタタイミングを決定する。レリーズ釦が操作されると、静止画の画像データが記録媒体に記録され、また動画釦が操作されると、動画の画像データが記録媒体に記録される。

また、このカメラには、撮影レンズの光軸方向と略直交する方向に２つのマイクが配置され、しかもそれぞれのマイクの光軸方向の位置はずれている（後述する図３、図５参照）。このため、２つのマイクからの音声信号は、通常のステレオマイクの特性に加え、カメラの前後方向（撮影レンズの光軸方向）に位相差がある。この位相差を利用して、収音の指向性（指向範囲）を変えることができ、また特定方向からの音声を利用してノイズを除去することができる。

図１は、本発明の一実施形態に係るカメラ１１の電気的構成を示すブロック図である。このカメラ１１は情報取得部１０と音声補助制御部２０から構成される。カメラ１１が両部１０、２０を有するように、一体に構成してもよく、また、情報取得部１０のみをカメラで構成し、音声補助制御部２０はスマートフォンにそれぞれ機能を担うようにしてもよい。後者の場合には情報取得部１０と音声補助制御部２０は無線または有線で通信を行えばよい。

収音部２は、複数マイク２ｂと特性音声抽出部２ｃを備える。複数マイク２ｂは、音声を音声信号に変換する。この変換された音声信号はデジタルデータに変換され、さらに種々の処理が施される。マイクの収音特性については、図２を用いて後述する。また複数マイク２ｂは、利用者と対象物を結ぶ方向と、略直交する方向に隔てて配置され、上記利用者と対象物を結ぶ方向においても上記利用者からの距離に差異をもたせて配置したステレオマイクとして機能する。複数マイク２ｂのそれぞれのマイクの配置については、図３および図５を用いて後述する。

特定音声抽出部２ｃは、有効距離設定部２ｄと指向性制御部２ｅを有する。後述するように制御部１内には、位相差補正部１ｄが設けられており、２つのマイクの音声信号の位相差を検出する。有効距離設定部２ｄは、収音する音源の有効距離を設定する。撮像部３内にズームを駆動する機構が設けられており、その焦点距離情報を検出して有効距離設定機能が動作する。ズームレンズを広角から望遠するに従って、マイクの感度が高くなるようにしている。

また、指向性制御部２ｅは、指向性制御回路を有し、音声信号の位相差に基づいて、収音範囲、すなわち指向性を制御する。指向性制御部２ｅは、ステレオマイクからの音声信号の指向性を調整する指向性制御部として機能する。指向性制御回路の詳しい構成については、図６を用いて後述する。

指向性制御部２ｅは、モードに応じて、環境音を収音する第１の収音特性と、対話者を主に収音する第２の収音特性に切り替える指向性制御部として機能する（例えば、図８（ａ）の第１の収音特性、図８（ｂ）の第２の収音特性、図９のＳ３、Ｓ５〜Ｓ９等参照）。第１の収音特性は、前方の対象物に向けた指向性である（例えば、図８（ａ）参照）。第１の収音特性は、広範囲のステレオ収音である（例えば、図８（ａ）参照）。指向性制御部２ｅは、前方と後方からの音声の指向性を調整する指向性制御部として機能する（例えば、図８（ｂ）、図９のＳ９参照）。

指向性制御部２ｅは、前方の狭範囲を収音する第３の収音特性が可能である指向性制御部として機能する（例えば、図８（ｃ）、図９のＳ９等参照）。指向性制御部２ｅは、ステレオマイクによって取得した使用者の音声が機器制御用のコマンドであるか否かを判定し、判定の結果、コマンドである場合には、コマンドに従って収音装置を制御する指向性制御部として機能する（例えば、図９のＳ１７、Ｓ１９等参照）。

撮像部３は、光学レンズ、撮像素子、撮像回路、レンズ駆動機構、レンズ駆動回路、絞り、絞り駆動機構、絞り駆動回路、シャッタ、シャッタ駆動機構、シャッタ駆動回路等、種々の部材、回路等を有する。レンズ駆動機構、絞り、シャッタ等は、適宜省略してもよい。撮像部は、光学レンズによって形成された像を撮像素子によって光電変換し、これによって取得した画像信号（画像データ）を制御部１に出力する。

圧縮部４は、静止画圧縮部４ａおよび動画圧縮部４ｂを有する。静止画圧縮部４ａは、制御部１から入力した静止画画像データを圧縮処理し、制御部１に出力する。動画圧縮部４ｂは、制御部１から入力した動画画像データを圧縮処理、制御部１に出力する。制御部１は、これらの圧縮した画像データを記録部２６に出力し、記録部２６はこれらの画像データを記録する。なお、圧縮部４は、圧縮処理以外にも、圧縮処理した画像データの伸張処理を行い、表示部８はこの伸張した画像データを用いて表示を行うようにしてもよい。

操作部５は、レリーズ釦、動画釦、モード設定ダイヤル、十字釦等、種々のカメラ操作部材を有し、また表示部８のタッチ状態を検出可能なタッチパネル等を有するようにしてもよい。更に、操作部５は、収音部２による収音がステレオ録音かモノラル録音の指定を行うスイッチ等も有する。操作部５は、各種操作部材の操作状態を検出し、検出結果を制御部１に出力する。スマートフォン等が情報取得部１０の機能を果たす場合には、スマートフォン等の機器の操作部材が、操作部５としての機能を担う。操作部５は、モードを設定するモード設定部として機能する。

時計部９は、計時機能やカレンダー機能を有し、計時結果やカレンダー情報を制御部１に出力する。これの情報は、音声や画像情報を記録する際等において使用される。

姿勢判定部７は、ジャイロ、角加速度センサ等のセンサを有し、カメラの姿勢を判定し、判定結果を制御部１に出力する。

表示部８は、ディスプレイを有し、このディスプレイに撮像部３によって取得した画像データに基づくライブビュー表示、記録部２６に記録された画像データに基づく再生表示、メニュー画面表示等、種々の表示を行う。ディスプレイとしては、カメラの背面に配置された背面表示ディスプレイ（図５、図８参照）や、接眼部を介して観察する電子ビューファインダ（ＥＶＦ）（図５参照）等があり、いずれか一方のみでも構わない。

制御部１は、ＣＰＵ（Central Processing Unit）、プログラムを記憶したメモリ、および周辺回路（ハードウエア回路）を含むＡＳＩＣ（Application Specific Integrated Circuit）で構成される。ＣＰＵは、メモリに記憶されたプログラムに従って、情報取得部１０および音声補助制御部２０内の各部を制御する。なお、音声補助制御部２０内の制御は、補助制御部２１を介して行う。

制御部１内には画像ファイル生成部１ｃと位相差補正部１ｄを有する。本実施形態においては、画像ファイル生成部１ｃはＣＰＵによってソフト的に実現され、位相差補正部１ｄは周辺回路によって実現される。なお、画像ファイル生成部１ｃを周辺回路によって、また位相差補正部１ｄをソフト的に実現するようにしてもよい。また、周辺回路は特定音声抽出部２ｃ、圧縮部４、姿勢判定部７の機能の一部または全部を実現するようにしてもよい。

画像ファイル生成部１ｃは、撮像部３によって取得された画像データと、収音部２によって取得された音声データ、およびその他の情報からなる画像ファイルを生成する。画像ファイルとしては、本実施形態としては、静止画画像ファイル、動画画像ファイルＡ、動画画像ファイルＢの３種類があり、画像ファイルの詳しい内容については、図２を用いて後述する。

位相差補正部１ｄは、位相差補正回路を有し、マイク２ｄの２つのマイクで収音した音声信号の位相差を検出し、位相差を補正する。この位相差補正部１ｄにおける位相差補正の仕方については、図７を用いて後述する。

音声補助制御部２０は、補助制御部２１、コマンド判定部２３、テキスト化部２５、記録部２６を有する。

コマンド判定部２３は、ユーザが口頭で機器に対して指示した内容を判定する。すなわち、複数マイク２ｂによって音声が取得される際に、収音方向（収音範囲）やゲインを調整することにより、ユーザの音声のみを抽出する。そして抽出された音声データを基に、記録部２６内のコマンド辞書２６ｂを参照して、ユーザが機器に対して行ったコマンドを判定する。例えば、機器がカメラの場合、ユーザが「ズーミング」と発声した場合、ユーザの声をテキストに変換でき、かつコマンド辞書２６ｂに掲載されていれば、これをコマンドとして認識する。

テキスト化部２５は、複数マイク２ｂによって取得された音声に基づく音声データをテキストに変換する。この変換にあたって、記録部２６に記録されているテキスト化辞書２６ａを参照しながら行う。

補助制御部２１は、ＣＰＵ（Central Processing Unit）、プログラムを記憶したメモリ、および周辺回路を含むＡＳＩＣ（Application Specific Integrated Circuit）で構成される。ＣＰＵは、メモリに記憶されたプログラムおよび制御部１からの指示に従って、音声補助制御部２０内の各部を制御する。

ドキュメント化部２１ｂは、テキスト化部２５において変換されたテキストと、記録部２６内に記憶されたフォーマット情報２６ｃを用いて、文書（ドキュメント）を作成する。ドキュメント化部２１ｂは、補助制御部２１内の周辺回路で実現してもよいが、ＣＰＵによってソフト的に実現する。

記録部２６は、電気的に書き換え可能な揮発性メモリおよび電気的に書き換え可能な不揮発性メモリを有する。この不揮発性メモリには、制御部１内の画像ファイル生成部１ｃによって生成された画像ファイルを記録する。また、不揮発性メモリには、テキスト化辞書２６ａ、コマンド辞書２６ｂ、フォーマット情報２６ｃ、および話者識別記録部２６ｄを有する。

テキスト化辞書２６ａは、前述したようにテキスト化部２５において音声データをテキストに変換する際に使用する辞書である。この辞書には、音声データのパターンに対応するテキストが記憶されている（図９のＳ１５参照）。この辞書によって、専門用語や略語、言語の特徴など、機器が使われる環境にもきめ細かく対応して音声をテキスト化しやすくなり、この辞書にないものは、不適当なテキスト化である等、文字化する時の精度を向上することができる。

コマンド辞書２６ｂは、前述したようにコマンド判定部２３において音声データの中でコマンドが含まれているか否かを判定する際に使用する辞書である。この辞書には、音声データのパターンに対応するコマンドが記憶されている（図９のＳ１７参照）。このような辞書をカスタマイズすれば、複雑な制御などにも対応した命令が可能となる。操作命令をテキスト化しやすくなり、この辞書にないものは、誤操作である等判断でき、制御する時の精度を向上することができる。

フォーマット情報２６ｃは、ドキュメント化部２１ｂにおいてドキュメントを作成する際の文書化のための情報を記憶する。定型的な文書を作成する際のパターンが記憶されているので、ドキュメント化部２１ｂはこのパターンに沿ってテキストを嵌め込むことによって文書を生成することができる。

話者識別記録部２６ｄは、話し手を識別するための情報を記憶する。話し手によって、音声データのパターン等に特徴があることから、この特徴を記憶しておき、画像ファイルを作成する際に、この話者識別記録部２６ｄに記録されている情報を用いて、話者を特定し話者名も記録する（図９のＳ２５参照）。

次に、図２を用いて、画像ファイル生成部１ｃで生成される画像ファイルについて説明する。前述したように、画像ファイルとしては、静止画画像ファイル３１、動画画像ファイルＡ３２、動画画像ファイルＢ３３の３種類が作成され、記録部２６に記録される。

静止画画像ファイル３１は、画像データ３１ａ、音声コマンド・コメント履歴３１ｂ、日付３１ｃを記録する領域を有する。静止画画像ファイル３１は、後述する図８（ｃ）のような静止画撮影を行った際に記録される。画像データ３１ａは、ユーザがレリーズ釦を操作した際に取得される静止画の画像データである。音声コマンド・コメント履歴３１ｂは、静止画撮影の際にユーザが発声した音声データ等である。日付３１ｃは、静止画を撮影した日時情報であり、時計部９からの情報に基づいて記録する。このような履歴を様々な処置の過程のエビデンス情報とすることができ、また、これを使った学習や誤動作防止が可能となる。

動画画像ファイルＡ３２は、画像データ３２ａ、対話音声データ３２ｂ、会話テロップ３２ｃ、日付３２ｄを記録する領域を有する。動画画像ファイルＡ３２は、後述する図８（ｂ）のような動画を撮影する際に作成される。画像データ３２ａは、ユーザが動画釦を操作して動画記録を開始してから、再度、動画釦を操作して動画記録を終了した時までの間、取得された動画の画像データである。

対話音声データ３２ｂは、親と子との間でなされた対話等、複数の人の間で交わされた対話を音声データとして記録する領域である。本実施形態においては、位相差を検出することにより、指向性を調整することができる。対話がなされている場合には、音源となる人物の方向に指向性を調整し、明瞭な音声を記録することができる。

会話テロップ３２ｃは、対話の音声をテキストにして記録する領域である。テキスト化部２５は、対話音声データ３２をテキストデータに変換することができ、この変換されたテキストデータを記録しておく。日付３２ｄは、動画を撮影した日時情報であり、撮影開始と終了の日時情報を、時計部９からの情報に基づいて記録する。

動画画像ファイルＢ３３は、画像データ３３ａ、Ｒ音声データ３３ｂ、Ｌ音声データ３３ｃ、日付３３ｄを記録する領域を有する。動画画像ファイルＢ３３は、後述する図８（ａ）のような動画を撮影する際に作成される。画像データ３３ａは、画像データ３２ａと同じく、ユーザが動画釦を操作して動画記録を開始してから、再度、動画釦を操作して動画記録を終了した時までの間、取得された動画の画像データである。

Ｒ音声３３ｂは、複数マイク２ｂの内の右側に配置されたマイクによって取得された音声データを記録する領域である。Ｌ音声３３ｃは、複数マイク２ｂの内の左側に配置されたマイクによって取得された音声データを記録する領域である。Ｒ音声データおよびＬ音声データにより、ステレオ音声データとなる。図３に示すように、２つのマイクの配置位置は、光軸方向でずれていることから、位相差が生じ、位相差補正部１ｄによって位相差が補正された音声データが記録される。

日付３３ｄは、日付３２ｄと同じく、動画を撮影した日時情報であり、撮影開始と終了の日時情報を、時計部９からの情報に基づいて記録する領域である。

次に、図３を用いて、複数マイク２ｂの配置位置について説明する。図３は、収音装置を備えたカメラ１１を示し、このカメラ１１の正面には撮影レンズ３ａが配置されている。またカメラ本体内部には、右側マイク２ｂＲと左側マイク２ｂＬが配置されている。右側マイク２ｂＲおよび左側マイク２ｂＬの収音範囲の中心線ＣＲとＣＬは、カメラの正面（前方、撮影レンズ３ａの光軸方向（ｚ軸）側からそれぞれ外側に４５度程度の方向）側を向いている。

収音範囲の中心線ＣＲと中心線ＣＬの間の距離は、すなわち、２つのマイク２ｂＲ、２ｂＬのｘ軸方向の距離は、ステレオ用位置差Ｄｓである。また、撮影レンズ３ａと直交し、右側マイク２ｂＲを通る平面と、左側マイク２ｂＬを通る平面との間の距離は、指向性用位置差Ｄｄである。

このように、複数マイク２ｂは、利用者と対象物を結ぶ方向（撮影レンズ３ａの光軸Ｏの方向、ｚ軸方向）と、略直交する方向（ｘ軸方向）に隔てて配置され、利用者と対象物を結ぶ方向（光軸Ｏ、ｚ軸方向）においても距離に差異をもたせて配置している。

図４は一般的なカメラに内蔵されている単一指向性マイクの指向特性を示す。背面方向から感度は落ちているが、マイク単体の性能では背面の音を完全に消すことはできないため不要な音を拾ってしまう。

次に、図５を用いて、複数マイク２ｂの配置の変形例について説明する。図３に示した一実施形態においては、２つのマイクをカメラの前方に向けて配置していた。それに対して、図５に示す変形例においては、２つのマイクをカメラの上方に向けて配置している。

カメラの正面側には、図３に示したカメラと同様、撮影レンズ３ａが設けられている。カメラの内部には、制御部１、収音部２の回路、撮像部３の回路等が設けられた回路５０が配置されている。

また、カメラ本体の背面には、表示部８としての背面パネル８ａが可動自在に配置されている。背面パネル８ａには、ライブビュー表示、記録済みの画像データに基づく再生画像、メニュー画面等の種々の画像が表示される。また、カメラの背面側上部に電子ビューファインダ（ＥＶＦ）８ｂが配置されている。ＥＶＦ８ｂは接眼部を介して、ライブビュー表示、記録済みの画像データに基づく再生画像、メニュー画面等の種々の画像を観察することができる。

カメラ本体の背面側であって、ＥＶＦ８ｂよりも更に上部には、動画釦５ｂが配置されている。動画釦５ｂを操作すると動画の撮影が開始され、更に操作すると動画の撮影が終了する。カメラ本体の上面には、レリーズ釦５ａが配置されている。レリーズ釦５ａを操作すると、静止画撮影がなされる。

また、カメラ本体の上面には、複数マイク２ｂの内の第１マイク２ｂＡと第２マイク２ｂＢが配置されている。第１マイク２ｂＡは収音範囲ＳＡＡを有し、第２マイク２ｂＢは収音範囲ＳＢＡを有する（図５（ａ）には、収音範囲が記載されていないが、図５（ｂ）の収音範囲と同じである）。また、第１マイク２ｂＡは弾性保持部２ｂＡｅによって保持され、第２マイク２ｂＢは弾性保持部２ｂＢｅによって保持されている。弾性保持部２ｂＡｅ、２ｂＢｅによってマイクを保持しているのは、ユーザの指の擦れ音が筐体を通しマイク２ｂＡ、２ｂＢに入るのを軽減させるためである。

図５は図示し易い一例であるが、図５においても図３と同様に、第１マイク２ｂＡと第２マイク２ｂＢは、カメラ１１の正面から見た際に、撮影レンズ３ａの光軸Ｏと直交する面において左右にステレオ用位置差Ｄｓだけ離れている。また、第１マイク２ｂＡと第２マイク２ｂＢは、撮影レンズ３ａの光軸Ｏ方向に、指向性用位置差Ｄｄだけ離れて配置されている。

図５（ａ）は、ユーザが動画を撮影する様子を示し、また図５（ｂ）はユーザが静止画を撮影する様子を示す。動画を撮影する際には、一般に、図５（ａ）に示すように、ユーザはカメラを把持し、背面パネル８ａで被写体を観察しながら、動画釦５ｂを操作する。このとき、ユーザの人指し指５２は筐体の前面を支え、また親指５３は動画釦５ｂを操作する。

また、静止画を撮影する際には、一般に、図５（ｂ）に示すように、ユーザはＥＶＦ８ｂで被写体を観察しながら、親指５３で筐体の背面を支え、人指し指５２でレリーズ釦５ａを操作する。

このように、図５に示すマイクの配置の変形例では、第１マイク２ｂＡと第２マイク２ｂＢは、位置がずれていることから、ステレオマイクとして機能し、また撮影レンズ３ｂの光軸方向にずれていることから、カメラの前後方向に位相差のある音声データを取得することができる。

次に、図６を用いて、収音部２の構成について説明する。収音部２は、複数マイク２ｂ、ＡＤ変換器４２、加算・乗算器４３を備えている。ステレオマイク２ｂは、主マイク４１ａと副マイク４１ｂとから構成され、図３または図５に示すような複数マイクの位置に配置される。

主マイク４１ａと副マイク４１ｂは、それぞれＡＤコンバータ４２ａ、４２ｂに接続され、音声信号がデジタル化される。すなわち、主マイク４１ａはＡＤコンバータ４２ａに、また副マイク４１ｂはＡＤコンバータ４２ｂに、それぞれ接続されデジタル音声データを出力する。ＡＤコンバータ４２の出力端は、加算・乗算器４３に接続され、主副の音声の差分が演算される。ここでは単純化のため２つのマイクで説明する。

すなわち、主マイク４１ａの音声データを出力するＡＤコンバータ４２ａは、加算器４３ａのマイナス側入力端と、加算器４３ｄのプラス側入力端に接続される。また、副マイク４１ｂの音声データを出力するＡＤコンバータ４２ｂは、加算器４３ａのプラス側入力端と、加算器４３ｄのマイナス側入力端に接続される。

加算器４３ａの出力は乗算器４３ｂの入力端に接続され、加算器４３ｄの出力端は乗算器４３ｅの入力端に、それぞれ接続される。乗算器４３ｂと乗算器４３ｅの制御端は、信号処理及び制御部１に接続され、乗算器４３ｂ、４３ｅのゲインを入力する。加算器４３ｅの入力端は、ＡＤコンバータ４２ａの出力端と乗算器４３ｂの出力端が接続される。加算器４３ｆの入力端は、ＡＤコンバータ４２ｂの出力端と、乗算器４３ｄの出力端が接続される。

加算・乗算器４３の出力端は、収音部２としての出力部であり、記録部２６に接続される。すなわち、加算器４３ｅの出力端と、加算器４３ｆの出力端は、それぞれ、右側音声データ、左側音声データを出力し、これらの出力端を介して各音声データは（ＩＣレコーダなら記録部、マイクなら通信部等）外部に出力される。また、ＡＤコンバータ４２ａ、４２ｂの出力も外部で確認できるようにしてある。

このように収音部２の一部は構成されており、マイクからの複数音声データの主副のバランスを制御し、音声の指向性を狭くしたり、広くしたり、指向性を変えたりすることができる。収音部２内の２つのマイク４１ａ、４１ｂによって入力した音声信号は、ＡＤコンバータ４２ａ、４２ｂによってデジタル音声データに変換され、加算器４３ａによって、（主マイクの音声データ）−（副マイクの音声データ）が演算され、加算器４３ｄによって、（副マイクの音声データ）−（主マイクの音声データ）が演算される。すなわち、加算器４３ａ、４３ｂによって、主副の音声データの差分が演算される。ここで、演算された差分は異なる位置に配置され、それによって使用者の声の伝達が異なる主副マイクの音の差異であり、例えば、この差異を減らすことにより主副のマイクの中央部位置の音を強調することができ、この加算演算はそのための前処理である。

加算器４３ａ、４３ｄで求められた差分は、それぞれ乗算器４３ｂ、４３ｄにおいて信号処理及び制御部１からのゲインに基づいて乗算し、この乗算結果を、加算器４３ｅ、４３ｆにおいて、主マイク側の音声データと副マイク側の音声データに、それぞれ加算する。なお、加算器４３ａ、４３ｄの出力がマイナスなので、実質的には減算することになる。このため、加算器４３ｅ、４３ｆから出力される左右の音声データは、左右の広がりを抑えた音声出力となる。ここで、乗算器４３ｂ、４３ｄにおけるゲインを大きくすれば、広がり感をなくすことができ、ゲインを小さくすれば広がり感を広げることができる。制御部１は、後述するステップＳ９のタイミングにおいて、乗算器４３ｂ、４３ｄに対してゲインを制御することにより、広がり感を変えることができる。

このように、本実施形態においては、一対の同じ性能のマイクを用いて、収音の範囲を広げたり、狭めたりすることができる。指向性が広い場合には雰囲気の豊かな環境音を豊富に取り入れることができ、また指向性が狭い場合には、さらに複数のマイクの差異の強調によって指向性の向きを変えて、特定の方向にフォーカスした音声を記録することができる。

次に、図７を用いて位相差制御部１ｄにおける位相差補正について説明する。図７（ａ）の左側のグラフは、正面から来た音声を複数マイク２ｂ内の右側マイク（Ｒｃｈ）２ｂＲと左側マイク（Ｌｃｈ）２ｂＬで変換した音声信号の時間的変化を示す。図３に示すように右側マイク２ｂＲと左側マイク２ｂＬは、ステレオ用位置差Ｄｓに加えて、撮影レンズ３ａの光軸Ｏ方向に指向性用位置差Ｄｄが設けて配置されている。このため、ＲｃｈとＬｃｈの音声信号には、位相差（＋ＰｈＦ）が生じてしまう。

そこで、正面から来た音声については、図７（ａ）の右側のグラフで示すように、位相差補正回路によって、位相差（＋ＰｈＦ）をキャンセルし、Ｒｃｈの音声信号とＬｃｈの音声信号を揃えるように音声処理を行う。

また、背面から来た音声についても、２つの音声信号に位相差（−ＰｈＦ）が生じてしまう。正面から来た音声については撮影対象であることから、明瞭に記録するが、一方、背面から来た音声については、撮影対象でない場合が多いことから、なるべく音量を小さくすることが望ましい。そこで、図７（ｂ）の右側のグラフで示すように、位相差補正回路によって、減衰処理を行う。但し、ユーザの音声コマンドを認識する場合には、減衰処理を行わない。

なお、正面からと背面からの音声信号の位相差の絶対値は、ＰｈＦであるが、正面と背面では、位相が逆転している。そのため、音声信号の位相差を見ることにより、音源の方向を検出することができ、また位相差を制御することにより、所望する方向、かつ所望の収音範囲の音声のみを抽出することが可能となる。背面方向からの音声を減衰させることにより、背面方向のノイズを減少させることができる。

次に、図８を用いて、本実施形態における収音装置の使用状態について説明する。図８（ａ）は、ユーザがカメラ１１によって運動会のように前方に広がる被写体を含む風景の動画が撮影している場合を示す。この場合には、図５（ａ）を用いて説明したように、ユーザは背面パネル８ａを見ながら撮影を行い、複数マイク２ｂによって、音の広がりを重視したステレオ録音を行う。収音範囲ＳＡＲ、ＳＡＬとしては、図８（ｄ）に示すように、前方のＲチャンネルおよびＬチャンネルの音声を重視し、周りの音はなるべく抑制する。

図８（ｂ）は、ユーザが、カメラ１１によって、子供と対話しながら子供の動画を撮影している場合を示す。この場合にも、ユーザは背面パネル８ａを見ながら撮影を行うが、複数マイク２ｂによる収音範囲は、図８（ａ）の場合とは異なる。すなわち、対話相手（被写体方向）の収音範囲ＳＡＦと、ユーザの方向の収音範囲ＳＡＢａの２方向のみを収音範囲とする。この場合、ユーザはマイクの近傍にあるのに対して、対話相手は遠方にあることから、図８（ｅ）に示すように、マイクの感度を異ならせる。すなわち、対話相手の方向の収音範囲ＳＡＦついてはゲインを大きくし、ユーザの方向の収音範囲ＳＡＢａについてはゲインを小さくする。

図８（ｃ）は、ユーザが、カメラ１１によって、鳥のような対象物を静止画で撮影する様子を示す。この場合には、ユーザは、図５（ｂ）を用いて説明したように、ＥＶＦ８ｂを観察しながら被写体の構図とシャッタタイミングを決める。静止画を撮影する場合の音声入力は、音声記録を行ってこれを再現することより、静止画撮影時のカメラ制御のためのコマンド入力や、撮影時の音声メモ等に力点が置かれる。また、音声の収音範囲は狭い範囲で十分なことが多い。

このように、本実施形態においては、撮影状況に応じて、収音範囲が異なる。この収音範囲は指向性制御部２ｅによって制御される。また背面からの音声を減衰させることにより、背面方向からのノイズを減少させることができる。

次に、図９および図１０に示すフローチャートを用いて、本実施形態に係る収音装置を有するカメラの動作について説明する。このフローは、制御部１内のＣＰＵがメモリに記憶されたプログラムに従って収音装置内の各部を制御することにより実現する。

図９に示すフローに入ると、まず撮影状況の判定を行う（Ｓ１）。ここでは、ライブビュー表示を開始する。ライブビュー表示は、撮像部３によって取得した画像データに基づいて、表示部８に動画で被写体を表示する。また、撮影状況の判定を行う。この判定は、カメラに設定された撮影モード、複数マイク２ｂによって取得した音声データに基づいて、周囲の状況を判定する。撮影モードとしては、プログラムモード、シャッタ速度優先モード等の撮影制御モードや、風景モード、人物モード等のシーン別の撮影モード等がある。

撮影状況を判定すると、次に、ステレオ録音か否かを判定する（Ｓ３）。ユーザは、操作部５を操作して、ステレオ録音またはモノラル録音のいずれかを設定するので、このステップでは、操作部５による設定状態に応じて判定する。

ステップＳ３における判定の結果、ステレオ録音の場合には、左右の位相差補正を行う（Ｓ５）。ステレオ録音の場合は、図８（ａ）を用いて説明たように、音の広がりを重視した動画を撮影する場合である。また、図７を用いて説明したように、撮影レンズ３ａの光軸Ｏの方向に指向性用位置差Ｄｄがあることにより、正面および背面から来た音声の内、Ｒｃｈ、Ｌｃｈに位相差が生じている。このステップでは、位相差補正部１ｄが位相差の補正を行う。

左右の位相差補正を行うと、左右のチャンネルとして仮記録する（Ｓ７）。ここでは、位相差補正された音声データを記録部２６に仮記録して、画像と同期して再生できるように後で本記録する（後述する図１０のＳ４１参照）。

一方、ステップＳ３における判定の結果、ステレオ録音でなかった場合には、収音方向切換やゲインアップを行う（Ｓ９）。この場合は、図８（ｂ）を用いて説明したように、対話しながら動画を撮影する場合であり、収音範囲を対話者と撮影者（ユーザ）の方向に絞り、また撮影者はカメラのすぐ近くにいることから対話者に比較してゲインを小さくし、対話者のゲインを大きくする。このように、撮影状況に応じて、収音範囲（方向）やゲインについて調整を行う。

続いて、音声判定が可能か否かを判定する（Ｓ１１）。収音部２で取得された音声データについて、音声認識ができ文字に変換できるか否かを判定する。音声認識ができ文字化できる場合には、後述するように、ユーザ等がカメラに向けって発したコマンドによってカメラを制御したり、また会話等をテキストに変換して記録することが可能となる。

ステップＳ１１における判定の結果、音声判定ができない場合には、警告表示を行う（Ｓ１３）。ここでは、表示部７等に音声を認識できないことを警告する。

ステップＳ１３において警告表示を行うと、またはステップＳ１１における判定の結果、音声判定が可能な場合には、文字化、ディスプレイ表示を行う（Ｓ１５）。音声判定できる場合には、テキスト化部２５が音声データを文字に変換できる。そこで、このステップでは、収音部２によって取得された音声データを文字に変換し、この変換した文字を表示部８に表示する。

続いて、音声が機器用コマンドか否かを判定する（Ｓ１７）。ステップＳ１５において文字に変換された音声の内容が、機器制御用のコマンドか否かを判定する（Ｓ１７）。機器としてカメラの場合には、コマンドとしては、例えば、「ズーミング」「絞り値」「シャッタ速度値」「アートフィルタ」「静止画撮影」「動画撮影開始・終了」等があり、また録音装置としては、「ボイスメモ」、「録音開始・終了」等がある。このステップでは、ステップＳ１５で取得したテキストについて、コマンド辞書２６ｂを参照して、音声が機器用コマンドか否かを判定する。

ステップＳ１７における判定の結果、音声が機器用コマンドの場合には、機器制御を行い、制御履歴を仮記録する（Ｓ１９）。ここでは、ステップＳ１７において検出された機器用のコマンドに基づいて、収音装置の備えられた機器の制御を行う。また、どんな制御を行ったかを記録部２６に仮記録しておく。

一方、ステップＳ１７における判定の結果、音声が機器用コマンドでない場合には、次に、音声が会話か否かを判定する（Ｓ２５）。音声データの特性を判定することにより、話者が２名以上おり、会話として成立しているか否かを判定する。なお、判定の際に話者識別記録部２６ｄに記録されている話者であるかどうかを参考にしてもよい。

ステップＳ２１における判定の結果、会話でない場合には、単独での文字として仮記録する（Ｓ２３）。ここでは、いわゆる独り言として仮記録する。ボイスメモとして活用してもよい。

一方、ステップＳ２１における判定の結果が会話の場合には、会話として仮記録する（Ｓ２５）。図８（ｂ）を用いて説明したような子供との会話のような状況である。ここでは、ステップＳ１５において変換されたテキストを会話として仮記録する。この場合、話者識別記録部２６ｄに記録されている話者であれば、発言者を特定してテキストを仮記録することができる。

ステップＳ７においてステレオ録音の仮記録を行うと、またはステップＳ１９において機器制御履歴の仮記録を行うと、またはステップＳ２３において単独での文字の仮記録を行うと、またはステップＳ２５において会話として仮記録を行うと、次に、操作部で機器操作を行う（Ｓ３１）。機器としてカメラの場合には、例えば、ズーミング操作、静止画撮影、動画撮影、絞り値変更、シャッタ速度値変更、アートフィルタの設定等、種々の機器操作を行ったか否かを判定する。

ステップＳ３１における判定の結果、機器操作がなされた場合には、機器制御を行う（Ｓ３３）。ここでは、操作部５において検出された操作状態に基づいて、機器の制御を行う。

ステップＳ３３において機器制御を行うと、またはステップＳ３１における判定の結果、操作部で機器操作を行っていない場合には、次に、動画撮影の開始か否かを判定する（Ｓ３５）。ユーザは動画撮影を開始する場合には、操作部５の内の動画釦を操作する。そこで、このステップでは、動画釦が操作されたか否かに基づいて判定する。

ステップＳ３５における判定の結果、動画撮影の開始の場合には、動画途中の音声対応情報を採用する（Ｓ３７）。動画を撮影中であっても、ステップＳ３９Ｎｏ→Ｓ１・・・Ｓ１７→Ｓ１９・・・、またはＳ３９Ｙｅｓ→Ｓ４１→Ｓ１・・・Ｓ１７→Ｓ１９・・・のルートで音声が制御機器用コマンドか否かを判定する。そこで、制御機器用コマンドと判定された場合には、このステップで音声コマンドに従って機器の制御を行う。

ステップＳ３７における処理を行うと、またはステップＳ３５における判定の結果、動画撮影が開始していない場合には、動画撮影の終了か、または静止画撮影かの判定を行う（Ｓ３９）。動画撮影を終了する場合には、ユーザが動画釦を再度操作すればよく、また静止画撮影を行う場合には、ユーザがレリーズ釦を操作すればよい。このステップでは、これらの操作がなされたか否かについて判定する。

ステップＳ３９における判定の結果、動画撮影終了、または静止画撮影の場合には、撮影画像と、仮記録情報を関連付けて記録する（Ｓ４１）。ここでは、画像ファイル生成部１ｃが、動画の画像データまたは静止画の画像データと、ステップＳ７、Ｓ１９、Ｓ２３、Ｓ２５等で仮記録された情報を関連付けて画像ファイル（図２参照）を生成する。

ステップＳ４１における処理を行うと、またはステップＳ３９における判定の結果、動画終了でもなく、また静止画撮影でもない場合には、ステップＳ１に戻り、前述の処理を繰り返す。

次に、図１１を用いて、本発明を内視鏡１００に適用した例について説明する。内視鏡１００には、送気送水操作用推知１２６、吸引操作用スイッチ１２７等、種々の操作部材が設けられている。また、レリーズ釦１０５ａが操作者の手前側に配置され、図示しない湾曲部を彎曲させるアングル操作部材と共に操作が可能である。

内視鏡１００の上部には複数マイク１０２ｂＡ、１０２ｂＢが距離差をもって配置されている。一般に操作者とレリーズ釦１０５ａを結ぶ方向に患者がいる位置関係となる。操作者とレリーズ釦を結ぶ方向に対して直交する面で左右方向に距離を離して複数マイク１０２ｂＡ、１０２ｂＢが配置され、さらに、操作者とレリーズ釦を結ぶ方向の前後に複数マイク１０２ｂＡ、１０２ｂＢが配置されている。このため、操作者と患者を結ぶラインの左右、および前後に複数マイク１０２ｂＡ、１０２ｂＢが距離をおいて配置される。そこで、両マイクの音声データの位相差に基づいて、音声の収音方向、収音範囲を適宜制御することが可能となる。

内視鏡１００で観察し、画像データを記録する際に、併せて複数マイク１０２ｂＡ、１０２ｂＢからの音声を記録することができる。この場合、図１〜図１０に示した技術を適用することにより、音声の収音方向、収音範囲を最適に調整することができる。例えば、内視鏡で患部を静止画撮影する場合、内視鏡で患部を観察しながら患者と対話する場合、および患部の全体を動画で撮影する場合等に応じて、収音範囲を切り替えるようにしてもよい。

以上説明したように、本実施形態においては、複数マイクを利用者と対象物を結ぶ方向と、略直交する方向に隔てて配置され、利用者と対象物を結ぶ方向においても距離に差異をもたせて配置している（図３、図５参照）。そして、ステレオマイクからの２つの音声信号の位相差に応じて、収音の指向性を調整している（図９のＳ９等参照）。このため、収音対象の状態に応じて指向性を制御することが可能である。また、ノイズが多い方向からの音声を減衰させれば、背面方向からのノイズを減少させることができる。

なお、本発明の一実施形態においては、収音装置を組み込んだ、若しくは収音装置と協働して動作する機器として、カメラや内視鏡の例を挙げて説明した。しかし、収音装置を組み込んだ、若しくは収音装置と協働して動作する機器としてはこれらの機器に限られない。

また、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもミラーレスカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラ、医療用カメラ、顕微鏡等の科学機器用のカメラ、自動車搭載用カメラ、監視用カメラでも構わない。

また、本発明の一実施形態においては、特定音声抽出部２ｃ、圧縮部４、姿勢判定部７、補助制御部２１、コマンド判定部２３、テキスト化部２５を制御部１とは別体の構成としたが、これらの全部または一部を、制御部１と一体の構成としても構わない。また、画像ファイル作成部１ｃおよび位相差補正部１ｄを制御部１内に設けたが、これらの全部または一部を制御部と別体の構成としても構わない。

画像ファイル作成部１ｃ、位相差補正部１ｄ、特性音声抽出部２ｃ、圧縮部４、姿勢判定部７、補助制御部２１、コマンド判定部２３、テキスト化部２５等は、ハードウエア回路で構成しても、ヴェリログ（Verilog）によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウエア構成でもよく、またＤＳＰ（Digital Signal Processor）等のソフトを利用したハードウエア構成を利用してもよい。これらは適宜組み合わせてもよいことは勿論である。

また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。

また、本発明の一実施形態においては、図３および図４のフローチャートを用いて、本実施形態における動作を説明したが、処理手順は、順番を変えてもよく、また、いずれかのステップを省略してもよく、ステップを追加してもよく、さらに各ステップ内における具体的な処理内容を変更してもよい。

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１・・・制御部、１ｃ・・・画像ファイル生成部、１ｄ・・・位相差補正部、２・・・収音部、２ｂ・・・複数マイク、２ｂＲ・・・右側マイク、２ｂＬ・・・左側マイク、２ｂＡ・・・第１マイク、２ｂＡｅ・・・弾性保持部、２ｂＢ・・・第２マイク、２ｂＢｅ・・・弾性保持部、２ｃ・・・特性音声抽出部、２ｄ・・・有効距離設定部、２ｅ・・・指向性制御部、３・・・撮像部、３ａ・・・撮影レンズ、４・・・圧縮部、４ａ・・・静止画圧縮部、４ｂ・・・動画圧縮部、５・・・操作部、５ａ・・・レリーズ釦、５ｂ・・・動画釦、７・・・姿勢判定部、８・・・表示部、８ａ・・・背面パネル、８ｂ・・・電子ビューファインダ（ＥＶＦ）、９・・・時計部、１０・・・情報取得部、１１・・・カメラ、２０・・・音声補助制御部、２１・・・補助制御部、２１ｂ・・・ドキュメント化部、２３・・・コマンド判定部、２５・・・テキスト化部、２６・・・記録部、２６ａ・・・テキスト化辞書、２６ｂ・・・コマンド辞書、２６ｃ・・・フォーマット情報部、２６ｄ・・・話者識別記録部、３１・・・静止画画像ファイル、３１ａ・・・画像データ、３１ｂ・・・音声コマンド・コメント履歴、３１ｃ・・・日付、３２・・・動画画像ファイルＡ、３２ａ・・・画像データ、３２ｂ・・・対話音声データ、３２ｃ・・・会話テロップ、３２ｄ・・・日付、３３・・・動画画像ファイルＢ、３３ａ・・・画像データ、３３ｂ・・・Ｒ音声、３３ｃ・・・Ｌ音声、３３ｄ・・・日付、４１ａ・・・主マイク、４１ｂ・・・副マイク、４２ａ・・・ＡＤコンバータ、４２ｂ・・・ＡＤコンバータ、４３ａ・・・加算器、４３ｂ・・・乗算器、４３ｃ・・・加算器、４３ｄ・・・乗算器、４３ｅ・・・加算器、４３ｆ・・・加算器、５０・・・回路、５２・・・人指し指、５３・・・親指

Claims (8)

1. 利用者と対象物を結ぶ方向と、略直交する方向に隔てて配置され、上記利用者と対象物を結ぶ方向においても距離に差異をもたせて配置したステレオマイクと、
   上記ステレオマイクからの音声信号の指向性を調整する指向性制御部と、
   を有することを特徴とする収音装置。
2. モードを設定するモード設定部と、
   を有し、
   上記指向性制御部は、上記モードに応じて、環境音を収音する第１の収音特性と、対話者を主に収音する第２の収音特性に切り替えることを特徴とする請求項１に記載の収音装置。
3. 上記第１の収音特性は、前方の対象物に向けた指向性であることを特徴とする請求項１または２に記載の収音装置。
4. 上記第１の収音特性は、広範囲のステレオ収音であることを特徴とする請求項１または２に記載の収音装置。
5. 上記指向性制御部は、前方と後方からの音声の指向性を調整することを特徴とする請求項１または２に記載の収音装置。
6. 上記指向性制御部は、上記前方の狭範囲を収音する第３の収音特性が可能であることを特徴とする請求項１または２に記載の収音装置。
7. 上記指向性制御部は、上記ステレオマイクによって取得した上記使用者の音声が機器制御用のコマンドであるか否かを判定し、判定の結果、上記コマンドである場合には、上記コマンドに従って上記収音装置を制御することを特徴とする請求項１に記載の収音装置。
8. 利用者と対象物を結ぶ方向と、略直交する方向に隔てて配置され、上記利用者と対象物を結ぶ方向においても距離に差異をもたせて配置したステレオマイクを有する収音装置の収音方法において、
   上記ステレオマイクからの２つの音声信号の位相差に応じて、収音の指向性を調整する、
   することを特徴とする収音方法。

Images