JP2011130134A - 撮像装置、撮像システム - Google Patents

Abstract

【課題】 ワイヤレスマイクを用いて撮影することができる撮像装置において、撮影された画像を再生するときに、視聴者に与える違和感を低減する。
【解決手段】 撮影画角内にワイヤレスマイクに対応する特定の被写体ががいるかいないかを推定し、推定結果に応じてワイヤレスマイクにより得られた音声信号のレベルを調整して、撮影された画像信号と共に記録する。
【選択図】 図１

Description

本発明は、撮像装置に関し、特に、着脱可能なマイクや、ワイヤレスマイク等の外部マイクにより得られた音声信号を処理することができる撮像装置に関する。また、撮像システムに関し、特に、着脱可能なマイクや、ワイヤレスマイク等の外部マイクと、音声信号を処理することができる撮像装置とからなる撮像システムに関する。

従来、撮像装置は、ワイヤレスマイクにより得られた音声信号を画像信号と共に記録していた。これらの撮像装置には、ワイヤレスマイクにより取得され送信された音声信号を受信し、その音声信号のレベルを処理して記録するものがあった。例えば、特許文献１では、被写体との距離をワイヤレスマイクからのワイヤレス通信の受信信号強度に基づいて推定し、ワイヤレスマイクから受信した音声信号のレベルを制御していた。

特開２００６−３１４０７８号公報

しかし、特許文献１では、単に、ワイヤレス通信の受信信号強度に基づいて、外部音声のレベルを制御していた。そのため、撮影画角内にワイヤレスマイクを装着した被写体がいない場合でも、ワイヤレスマイクの位置が移動すると音声信号のレベルが変動してしまうことがあった。

そのため、この様な撮像装置で記録した画像と音声を再生すると、撮影された映像にワイヤレスマイクを装着した被写体がいないにもかかわらず受信信号強度に応じて音声レベルが変動してしまい、視聴者に違和感を与えてしまうことになってしまう。

そこで、本発明は、ワイヤレスマイク等の外部マイクを使用して記録した画像と音声とを再生する際に、視聴者に与える違和感を低減させることができる撮像装置、撮像システムを提供することを目的とする。

本発明の撮像装置は、かかる目的を達成するために、集音装置から無線通信により送信された音声信号を受信する受信手段を有する撮像装置であって、前記集音装置と特定の被写体とを関連づけた情報を記憶する記憶手段と、所定の撮影画角内の光学像を撮像して画像信号を取得する撮像手段と、前記撮像手段の前記所定の撮影画角内に前記特定の被写体が入っているか否かを推定する推定手段と、前記推定手段の推定結果に応じて、前記受信手段により得られた前記音声信号のレベルを調整して出力する調整手段と、前記調整手段により出力された音声信号と、前記撮像手段により得られた画像信号とを関連づけて記録媒体に記録する記録手段とを有し、前記調整手段は、前記推定結果が、前記撮像手段の前記所定の撮影画角内に前記特定の被写体が入っていないことを示す推定結果のときは、前記撮像手段の前記所定の撮影画角内に前記特定の被写体が入ってることを示す推定結果ときよりも、音声信号を小さいレベルに調整して出力する構成とした。

本発明によれば、ワイヤレスマイク等の外部マイクを使用して記録する際に、撮影している画角内に外部マイクを装着した人物がいるか否かを推定する。そして、推定結果に応じて、外部マイクから受信した音声信号のレベルを制御するので、再生時に視聴者与える違和感を低減することができる。

撮像装置のブロック図である。 制御部１１４で行われる処理のフロー図である。 制御部１１４で決定される制御値について説明するための図である。 ペアリング情報を示す図である。

以下、図面を参照して本発明の実施例を詳細に説明する。

本実施例では外部マイク（外付マイク）と撮像装置からなる撮像システムの一例として、ワイヤレスマイクと、ワイヤレスマイクと通信可能な撮像装置を例にとって説明する。

図１は、実施例１の撮像装置１００およびワイヤレスマイク１５０の構成を示すブロック図である。本実施例のワイヤレスマイク１５０は、周囲の音声を集音（収音）して得られた音声信号を無線通信（ワイヤレス通信）で撮像装置１００に送信し、撮像装置１００はワイヤレスマイク１５０から送信された音声信号を受信する。本実施例では、ワイヤレスマイク１５０が１つである例について説明するが、ワイヤレスマイク１５０は何台であっても良い。

図１において、撮像部１０１は、撮影レンズにより取り込まれた被写体の光学像をＣＣＤセンサやＣＭＯＳセンサ等の撮像素子により画像信号に変換し、アナログデジタル変換をして、画像処理部１０２に送信する。画像処理部１０２は、入力されたデジタル画像信号に、設定値に基づいてホワイトバランスや色、明るさなどを調整する画質調整処理を行いメモリ１０３や後述の映像出力部１１０や表示制御部１１１、制御部１１４に送信する。

また、音声入力部１０４は、内蔵されたマイクまたは音声入力端子を介して接続された外部マイク等により、撮像装置１００の周辺の音声を集音（収音）し、アナログデジタル変換をして音声処理部１０５に送信する。音声処理部１０５は、入力されたデジタル音声信号のレベルの適正化処理、特定周波数の低減処理等の音声に関する処理を行いメモリ１０３や後述の音声出力部１０９に送信する。また、本実施例の撮像装置１００は、ワイヤレスマイク１５０から送信されたデジタル音声信号を後述の通信部１１６で受信している。そして、音声処理部１０５は、後述する「通信部１１６から入力されたデジタル音声信号のレベルの調整処理」を行い、メモリ１０３や後述の音声出力部１０９に送信する。また、本実施例の音声処理部１０５は、音声入力部１０２から入力されたデジタル音声信号と、通信部１１６から入力されたデジタル音声信号とを合成する合成処理をすることもできる。メモリ１０３は、画像処理部１０２、音声処理部１０５により得られた画像信号及び音声信号を一時的に記憶する。

符号化処理部１０６は、メモリ１０３に一時的に記憶された画像信号や音声信号を読み出して画像信号の符号化、音声信号の符号化などを行い、圧縮画像データ、圧縮音声データ等を生成し、記録再生部１０７に送信する。記録再生部１０７は、記録媒体１０８に対して、符号化処理部１０６で生成された圧縮画像データ、圧縮音声データ、その他撮影に関する制御データ等を記録する。ここで、記録媒体１０８は、圧縮画像データ、圧縮音声データ、等を記録することができれば、磁気ディスク、光学式ディスク、半導体メモリなどのあらゆる方式の記録媒体であってよく、複数の記録媒体であってもよい。

また、記録再生部１０７は、記録媒体１０８に記録された圧縮画像データ、圧縮音声データ、各種データ、プログラムを読み出す（再生する）。そして読出した圧縮画像データ、圧縮音声データを符号化処理部１０６に送信する。符号化処理部１０６は、圧縮画像データ、圧縮音声データを一時的にメモリ１０３に記憶させ、所定の手順で復号し、復号化した音声信号を音声出力部１０９へ、復号化した画像信号を映像出力部１１０や表示制御部１１１に送信する。

音声出力部１０９は、例えば音声出力端子からなり、接続されたイヤホンやスピーカなどから音声を出力させるために音声信号を送信する。また、音声出力部１０９は、撮像装置１００に内蔵され、音声信号にかかる音声を出力するスピーカであっても良い。映像出力部１１０は、例えば映像出力端子からなり、接続された外部ディスプレイ等に映像を表示させるために画像信号を送信する。また、音声出力部１０９、映像出力部１１０は、統合された１つの端子、例えばＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）（登録商標）端子のような端子であっても良い。また、表示制御部１１１は、符号化処理部１０６から送信された画像信号や画像処理部１０２から送信された画像信号にかかる映像や、撮像装置１００の操作をするための操作画面（メニュー画面）等を表示部１１２に表示させる。表示部１１２は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、電子ペーパー等の表示デバイスであれば何でも良い。

また、操作部１１３は、ボタンやダイヤルなどからなり、ユーザの操作に応じて、指示信号を制御部１１４に送信する。制御部１１４は、操作部から送信された指示信号に基づいて、撮像装置１００の各ブロックに制御信号を送信することで、各ブロックを制御するものある。操作部１１３は、例えば、電源ボタン、記録開始ボタン、メニュー表示ボタン、決定ボタン、カーソルキー、表示部１１２の任意の点を指定するためのポインティングデバイス、タッチパネル等からなる。また、制御部１１４は、各種処理（プログラム）を実行するための例えば、ＣＰＵ（ＭＰＵ）、メモリ（ＤＲＡＭ、ＳＲＡＭ）などからなる。

バス１１５は、各種データ、制御信号などを撮像装置１００の各ブロックに送るためのものである。

通信部１１６は、撮像装置１００と外部装置との間で通信を行うもので、例えば、音声信号、画像信号、圧縮音声データ、圧縮画像データなどのデータを送信したり受信したりする。また、撮影開始や終了コマンド等の、撮影にかかる制御信号や、その他の情報を送信したり受信したりする。通信部１１６は、例えば、赤外線通信モジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信モジュール、無線ＬＡＮ通信モジュール、ＷｉｒｅｌｅｓｓＵＳＢ等の無線通信モジュールである。また、通信部１１６は、ワイヤレスマイク１５０に備えられた後述の通信部１５２との通信をする際に、通信部１５２から送信された電波の受信信号強度、通信用光波の強度を測定し、制御部１１４に送信している。電波の受信信号の強度や通信用光波の強度など測定する方法は公知の技術であるためここでは説明を省略する。

また、ワイヤレスマイク１５０は、音声入力部１５１と、通信部１５２とからなる。

音声入力部１５１は、音声入力部１０４と同様に、内蔵されたマイク等により、ワイヤレスマイク１５０の周辺の音声を集音（収音）し、アナログデジタル変換をして、通信部１５２に送信する。

通信部１５２は、通信部１１６と同様に、ワイヤレスマイク１５０と外部装置との間で通信を行うもので、音声入力部１５１により得られた音声信号、音声信号、圧縮音声データなどのデータを送信する。また、撮影開始や終了、撮影にかかる制御信号や、その他の制御信号を受信したりする。通信部１５２は、例えば、赤外線通信モジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信モジュール、無線ＬＡＮ通信モジュール、ＷｉｒｅｌｅｓｓＵＳＢ等の無線通信モジュールである。

ここで、本実施例の撮像システムの通常の動作について説明する。

本実施例の撮像装置１００は、ユーザが操作部１１３の電源ボタンを操作すると、操作部１１３から制御部１１４に起動の指示が出される。この指示を受けて、制御部１１４は、不図示の電源供給部を制御して、撮像装置１００の各ブロックに対して電源を供給させる。

電源が供給されると、制御部１１４は、例えば、操作部１１３のモード切り換えスイッチが、例えば、撮影モード、再生モード等のどのモードであるかを操作部１１３からの指示信号により確認する。

撮影モードでは、撮像装置１００は撮影待機状態でユーザが操作部１１３の記録開始ボタンを操作することで、撮影を開始し、その間、圧縮画像データと圧縮音声データが、記録媒体１０８に記録される。そしてユーザが操作部１１３の撮影終了ボタンを操作することで、撮影を終了し、再び撮影待機状態になる。再生モードでは、ユーザが選択したファイルに関する圧縮画像データと圧縮音声データを記録媒体１０８から再生して音声出力部１０９から音声信号を出力し、表示部１１２に映像を表示させる。

また、本実施例の撮像装置１００は、起動後の任意のタイミングで、ワイヤレスマイク１５０との通信許可設定をすることができる。通信許可設定をすることで、撮像装置１００とワイヤレスマイク１５０は音声信号、圧縮音声データの送受信、撮影開始や終了、撮影にかかるの制御信号や、その他の制御信号を送受信ができるようになる。本実施例においては、例えば、撮像装置１００の操作部１１３のワイヤレスマイク設定ボタンが操作されてから所定時間以内にワイヤレスマイク１５０の不図示の設定ボタンが操作されることで、通信許可設定が完了する。また、このとき、撮像装置１００によって、ワイヤレスマイク１５０を装着する人（特定の被写体）を撮影しながらワイヤレスマイク１５０の設定ボタンが操作されると、ペアリング情報が生成される。ペアリング情報は、ワイヤレスマイク１５０と、ワイヤレスマイク１５０を装着する人（特定の被写体）との対応付けの情報であり、生成されたペアリング情報は、制御部１１４のメモリ（ＤＲＡＭ、ＳＲＡＭ）に記憶される。ペアリング情報は、例えば、図４に示すような形態で制御部１１４のメモリ（ＤＲＡＭ、ＳＲＡＭ）に記憶される。図４において、ペアリング情報４０１は、ワイヤレスマイク１５０に与えられた固有のマイクＩＤと、人（特定の被写体）との対応付けを示す情報である。ここで、マイクＩＤとは、ワイヤレスマイク１５０に固有の識別情報であって、ワイヤレスマイク１５０の通信部１５２から音声信号を送信する際に、音声信号と共に送信されるものである。通信許可設定の方法はこの方法に限られるものではない。

また、撮像装置１００の通信部１１６は、前述のマイクＩＤと、そのマイクＩＤと共に送信された音声信号とを受信して、音声処理部１０５に送信する。音声処理部１０５では、送信されたマイクＩＤに対応する音声信号毎に個別に、後述する「通信部１１６から入力されたデジタル音声信号のレベルの調整処理」を行い、メモリ１０３や音声出力部１０９に送信する。

まず、撮影モードについて説明する。撮影モードが設定されると前述のようにまず、撮影待機状態に設定される。撮影待機状態で、ユーザが操作部１１３の記録開始ボタンを操作することにより撮影開始の指示信号が送信されると、制御部１１４は、撮影開始の制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせるように制御する。

撮像部１０１は、撮影レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換し、画像処理部１０２に送信する。画像処理部１０２は、入力されたデジタル画像信号の画質調整処理（ホワイトバランスや色、明るさなど）を設定値に基づいて処理し、表示制御部１１１に送信する。表示制御部１１１は、受信した画像信号に関する映像を表示部１１２に表示させる。また、画像信号はメモリ１０３にも出力され、メモリ１０３に一時的に記憶される。

音声入力部１０４は、マイクにより得られたアナログ音声信号をデジタル変換し、得られたデジタル音声信号音声処理部１０５に送信する。音声処理部１０５は、入力されたデジタル音声信号のレベルの適正化処理、特定周波数の低減処理等をして音声信号を生成して、音声出力部１０９に送信する。また、音声信号はメモリ１０３に一時的に記憶される。

このとき、本実施例の撮像装置１００は、ワイヤレスマイク１５０から送信されたデジタル音声信号を通信部１１６が受信していれば、通信部１１６から音声処理部１０５にデジタル音声信号が送信される。そうすると、音声処理部１０５は、後述の「通信部１１６から入力されたデジタル音声信号のレベルの調整処理」等を行い音声出力部１０９やメモリ１０３に送信する。また、音声処理部１０５は、操作部１１３からのユーザの指示によって音声入力部１０４により得られた音声信号と通信部１１６から入力された音声信号とを合成してもよい。

そして、符号化処理部１０６は、メモリ１０３に一時的に記憶された画像信号や音声信号を読み出して所定の符号化を行い、圧縮画像データ、圧縮音声データ等を生成する。そして、制御部１１４は、これらの圧縮画像データ、圧縮音声データを合成し、データストリームを形成し、記録再生部１０７に出力する。記録再生部１０７は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体１０８に書き込んでいく。

以上の動作を撮影中は継続する。

そして、ユーザが操作部１１０の記録ボタンを操作することにより撮影終了の指示信号が制御部１１４に送信されると、制御部１１４は、撮影終了の制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせるように制御する。

画像処理部１０２、音声処理部１０５は、それぞれ画像信号、音声信号をメモリ１０３に送信するの停止する。そして、符号化処理部１０６は、メモリ１０３に記憶されている残りの画像信号と音声信号とを読出して所定の符号化を行い、圧縮画像データ、圧縮音声データ等を生成し、それが終わると動作を停止する。

制御部１１４は、これらの最後の圧縮画像データ、圧縮音声データを合成し、データストリームを形成し、記録再生部１０７に出力する。

記録再生部１０７は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体１０８に書き込んでいく。そして、データストリームの供給が停止したら、動画ファイルを完成させて、記録動作を停止させる。

制御部１０９は、記録動作が停止すると、撮影待機状態に移行させるように制御信号を撮像装置１００の各ブロックに送信して、撮影待機状態に戻る。

また、撮影待機状態では、制御部１１４は、撮像装置１００の各ブロックを以下のような動作をさせるように制御する。

画像処理部１０２は、画像信号を表示制御部１１１に送信し表示部１１２に画像信号に関する映像を表示させる。ユーザはこの様にして表示された画面を見ながら撮影の準備を行う。

音声処理部１０５は、音声信号を音声出力部１０９に送信する。また、ワイヤレスマイク１５０から送信されたデジタル音声信号を受信していれば、「通信部１１６から入力されたデジタル音声信号のレベルの調整処理」等を行い音声出力部１０９に送信する。また、音声処理部１０５は、音声入力部１０４により得られた音声信号と通信部１１６から入力された音声信号とを合成してもよい。

そして、得られた音声信号を音声出力部１０９に送信し、内蔵スピーカや接続されたスピーカまたはイヤホンから音声として出力させる。ユーザは、この様にして出力された音声を聞きながら操作部１１３の記録音量を決定するためのマニュアルボリュームの調整をすることもできる。

次に、再生モードでは、制御部１１４は、再生状態に移行させるように制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせる。

記録媒体１０８に記録された圧縮画像データと圧縮音声データとからなる動画ファイルを記録再生部１０７が読出して、読出された圧縮画像データ、圧縮音声データは、符号化処理部１０６に送る。符号化処理部１０６は、圧縮画像データ、圧縮音声データを一時的にメモリ１０３に記憶させ、所定の手順で復号し、復号化した音声信号を音声出力部１０９へ、復号化した画像信号を映像出力部１１０や表示制御部１１１に送信する。表示制御部１１１は、入力された画像信号にかかる映像を表示部１１２に表示させ、音声出力部１０９は、入力された音声信号にかかる音声を内蔵されたスピーカや、接続されたイヤホンやスピーカから出力する。

本実施例の撮像装置は以上のように、画像、音声の記録再生を行う。

ここで、音声処理部１０５において行われる、「通信部１１６から入力されたデジタル音声信号のレベルの調整処理」について図２、図３を用いて説明する。本実施例では、被写体が一人である場合（マイクＩＤ０００のワイヤレスマイクを使用しながら撮影する場合）について説明する。図２は、制御部１１４で実行される処理を示すフロー図であり、図３は、制御部１１４で決定される制御値について説明する為の図である。前述したように、撮影中でも、撮影待機状態でもこの処理は実行されてよい。すなわち、ワイヤレスマイク１５０から送信されたデジタル音声信号を受信している状態であれば、この処理は実行されてよいのである。

音声処理部１０５は、「通信部１１６から入力されたデジタル音声信号のレベルの調整処理」において、制御部１１４から入力された制御値に基づく倍率で通信部１１６から入力されたデジタル音声信号のレベルを調整する。その際、制御部１１４は、マイクＩＤ毎に、倍率を指定するための制御値を音声処理部１０５に送信する。

制御部１１４は、例えば、図２のような手順で制御値を設定する。

撮影モードが設定されると、制御部１１４は、撮影画角内にワイヤレスマイク１５０（マイクＩＤ０００）に対応する特定の被写体がいるか否かを推定する。そのために、本実施例では、例えば、画像処理部１０２から入力された画像信号を解析し、撮像された画像の中に、使用中のワイヤレスマイク（マイクＩＤ０００）に対応するＡさん顔画像４０２と相関性の画像が画像信号に含まれているかを検出する。（Ｓ２０１）。そして、顔画像４０２相関性の高い顔画像が検知された場合は（Ｓ２０１でＹｅｓ）は、撮影画角内にワイヤレスマイク１５０（マイクＩＤ０００）に対応する特定の被写体がいると推定する。そして、特定の被写体がいる場合に対応した制御値を音声処理部１０５に送信する（Ｓ２０２）。また、相関性の高い顔画像が検知されていない場合は（Ｓ２０１でＮｏ）は、撮影画角内にワイヤレスマイク１５０（マイクＩＤ０００）に対応する特定の被写体がいないと推定する。そして、特定の被写体がいない場合対応した制御値を音声処理部１０５に送信する（Ｓ２０３）。ここで送信される制御値は、図３に示すような関係である。そして、これらの動作は撮影モードが終了するまで継続される（Ｓ２０４）。

ここで、前述のように、本実施例の制御部１１４は撮影画角内にワイヤレスマイク１５０（マイクＩＤ０００）に対応する特定の被写体がいるか否かを推定するために、画像処理部１０２から入力された画像信号を解析している。そして、その画像信号内に使用中のワイヤレスマイク（マイクＩＤ０００）に対応する特定の被写体と相関性の高い画像が含まれているかを検出している。ここで、特定の人物の顔を判別（検出）する技術については、平均的な人の顔の輪郭、目、鼻、口等の位置に対するズレから特定の人物を判別（検出）する技術を代表として様々な技術があるためここでは説明を省略する。

ここで、図２のＳ２０２、Ｓ２０３で制御部１１４から音声処理部１０５に送信される制御値は図３（ａ）や（ｂ）に例示するような条件で決定される。

例えば、図３（ａ）の表３０１に示すように、撮影画角内に使用中のワイヤレスマイク１５０に対応する特定の被写体がいることに対応した制御値（Ｓ２０２）がある。この場合は、通信部１１６から入力されたデジタル音声信号のレベルを１倍に調整する制御値を送信する。また、撮影画角内に使用中のワイヤレスマイク１５０に対応する特定の被写体がいないことに対応した制御値（Ｓ２０３）がある。この場合は、通信部１１６から入力されたデジタル音声信号のレベルを０．３倍に調整する制御値送信する。

また、例えば、図３（ｂ）のように、撮影画角内に使用中のワイヤレスマイク１５０に対応する特定の被写体がいないことに対応した制御値（Ｓ２０３）としては、以下の制御値を送信する。通信部１１６から入力されたデジタル音声信号のレベルを０．３倍に調整する制御値を送信する（表３０２）。一方、表３０３のように、撮影画角内に使用中のワイヤレスマイク１５０に対応する特定の被写体がいることに対応した制御値としては以下の制御値を送信する。例えば、特定の被写体がいると推定されると、さらに、撮像部１０１におけるレンズのズーム倍率（ズーム位置）によって決定される制御値を音声処理部１０５に送信する。または、撮像部１０１における焦点位置としてのフォーカス位置によって決定される制御値を音声処理部１０５に送信する。または、撮影画角内にあるワイヤレスマイク１５０に対応する特定の被写体の顔の大きさ、画像に占める顔画像の割合によって決定される制御値を送信する。または、通信部１１６より入力された、通信部１５２から送信された電波の受信信号強度（電波強度）に基づく制御値を送信する。これらのうちズーム倍率、フォーカス位置、顔画像の割合、電波強度のうちどの値に基づいて制御値を決定するかは、ユーザにより選択できるようにしても良いし、どれか一つを優先的に使用するようにしても良い。

そして、音声処理部１０５はこれらの制御値に基づいて、通信部１１６から入力されたデジタル音声信号のレベルを調整して音声出力部１０９やメモリ１０３に送信するのである。

このように、本実施例では、制御部１１４からの制御信号によって、通信部１１６から入力されたデジタル音声信号のレベルを調整している。特に、制御部１１４が、撮影画角内にワイヤレスマイク１５０（マイクＩＤ０００）に対応した被写体がいるか否かを推定し、その推定結果に応じて、通信部１１６から入力されたデジタル音声信号のレベルの調整倍率を異ならせている。例えば、本実施例によれば、図の表３０１のように、制御部１１４が使用中のワイヤレスマイクに対応する特定の被写体の顔画像を検出している場合には、通信部１１６から入力されたデジタル音声信号のレベルは、１倍に調整される。一方、制御部１１４が使用中のワイヤレスマイクに対応する特定の被写体の顔画像を検出していない場合には０．３倍に調整される。また、表３０２、３０３のように、制御部１１４が使用中のワイヤレスマイクに対応する特定の被写体の顔画像を検出していない場合には０．３倍に調整される。そして、制御部１１４が使用中のワイヤレスマイクに対応する特定の被写体の顔画像を検出している場合、フォーカス位置または、ズーム倍率、ワイヤレスマイクからの電波強度、顔画像の面積などによって、１．２倍から０．５倍の範囲で可変に調整される。

このようにすることで、本実施例の撮像装置１００は、ワイヤレスマイク１５０を使用して撮影した画像と音声とを再生する際に、視聴者あたえる違和感を低減することができる。また、同様に、本実施例の撮像装置１００とワイヤレスマイク１５０とからなる撮像システムは、視聴者にあたえる違和感を低減することができる。

本実施例では、使用中のワイヤレスマイク１５０に対応する特定の被写体が、撮影画角内にいるかを推定するために、使用中のワイヤレスマイク１５０に対応する顔画像と相関性の高い画像がが撮影画像内に含まれるか否かを検出していた。そして、その検出結果に基づいて、使用中のワイヤレスマイク１５０に対応する特定の被写体が、撮影画角内にいるかを推定し、ワイヤレスマイク１５０からの音声信号のレベルを調整するための制御値を決定していた。しかし、通信部１１６がワイヤレスマイク１５０からの信号の到来方向を検出できる場合には、代わりに、検出された到来方向の画像が撮影可能か否かによって、ワイヤレスマイクに対応する特定の被写体が撮影画角内にいるか否かを推定してもよい。その場合には、通信部１１６により検出されたワイヤレスマイク１５０からの信号の到来方向が所定の範囲内（撮影画角内）であった場合には、ワイヤレスマイク１５０に対応する被写体が撮影画角内にいると推定する。また、通信部１１６により検出されたワイヤレスマイク１５０からの信号の到来方向が所定の範囲外（撮影画角外）であった場合には、ワイヤレスマイク１５０に対応する特定の被写体が撮影画角内にいると推定する。

また、本実施例では、使用中のワイヤレスマイクに対応する特定の被写体の顔画像を検出している場合、１．２倍から０．５倍の範囲で可変に調整される例について説明したが、この範囲に限られるものではない。

また、本実施例では、撮影画角内に使用中のワイヤレスマイク１５０に対応する特定の被写体がいない場合には０．３倍とする制御値を送信するようにしていた。しかし、０倍に調整する（ミュートさせる）制御値を送信するようにしてもよいし、０．２倍や０．１倍とする制御値を送信するようにしてもよい。また、倍率は一定値に固定するのが好適ではあるが、ユーザに違和感を与えない範囲で多少変動してもかまわない。

すなわち、撮影画角内に使用中のワイヤレスマイク１５０に対応する特定の被写体がいると推定される場合よりもいないと推定された場合の方が、小さい倍率で音声信号を調整するようにすればよいのである。この様な構成によっても、再生時に視聴者に与える違和感を低減することができる。

また、図３（ｂ）の例では、制御部１１４が撮影画角内に使用中のワイヤレスマイク１５０に対応する特定の被写体がいないと推定される場合には０．３倍に調整される例について説明した。しかし、これらの倍率以外であっても、制御部１１４が撮影画角内に使用中のワイヤレスマイク１５０に対応する特定の被写体がいると推定される場合よりも倍率が大きく変わらなければよい。例えば、０．３倍から０．５倍の間でズーム率に応じて可変としたり、１倍から１．１倍の間で可変としたりしてもよい。この様な構成によっても、撮影画角内に使用中のワイヤレスマイク１５０に対応する特定の被写体がいると推定される場合よりも、ズーム率に応じてワイヤレスマイク１５０にの音声のレベルが大きく変化しないので、再生時に視聴者に与える違和感を低減することができる。

また、本実施例では、ワイヤレスマイク１５０は、デジタル化した音声信号をそのまま撮像装置１００に送信するようにしていた。しかし、例えば、撮像装置１００は前述の制御値をワイヤレスマイク１５０に送信し、ワイヤレスマイク１５０は、音声処理部をさらに備え、その制御値に基づいて、音声信号のレベルを調整してから撮像装置１００に送信するようにしても良い。この様な構成によっても、再生時に視聴者に与える違和感を低減することができる。

また、さらに、ワイヤレスマイク１５０にメモリと符号化処理部を備え、音声入力部１５１により得られた音声信号を圧縮した圧縮音声データを撮像装置１００に送信しても良い。この場合は、撮像装置制御部１１４は、ワイヤレスマイクから受信した圧縮音声データと共に、圧縮音声データを再生する時にレベルを調整するための付加データを生成して記録しておく。そして、圧縮音声データの再生時に付加データに基づきワイヤレスマイクにより得られた音声のレベルを調整して出力する。この様な構成によっても、再生時に視聴者に与える違和感を低減することができるとともに、通信データ量を削減でき通信回線の負荷を低減することができる。

また、本実施例では、１つのワイヤレスマイクを使用する場合を例に取り、ワイヤレスマイク（マイクＩＤ０００）に対応する特定の被写体が撮影画角内にいるかいないかに応じてワイヤレスマイクにより得られた音声のレベルを調整する例について説明した。しかし、複数のワイヤレスマイクを使用可能とし、複数のワイヤレスマイク（例えば、マイクＩＤ０００、００１）から送信された音声信号のレベルを個別に調整するようにしてもよい。この場合も同様に、使用中のワイヤレスマイクそれぞれに対応する特定の被写体が、撮影画角内にいるかいないかを個別に推定し、推定結果に応じて個別に対応するマイクＩＤに対応するマイクにより得られた音声信号のレベルを調整するようにすればよい。

例えば、制御部１１４のメモリ（ＤＲＡＭ、ＳＲＡＭ）に、図４のペアリング情報４０１が記憶されている。このペアリング情報４０１では、マイクＩＤ０００にはＡさんの顔画像の情報、マイクＩＤ００１にはＢさんの顔画像の情報が関連づけている。図３（ａ）の例のような制御値を制御部１１４から音声処理部１０５に送信する場合について説明する。ＡさんもＢさんも撮影画角内にいると推定されるときは、マイクＩＤ０００、００１それぞれのワイヤレスマイクから受信した音声信号それぞれのレベルを１倍に調整するための制御値を送信する。また、Ａさんが撮影画角内にいないと推定され、Ｂさんは撮影画角内にいると推定されるときは、マイクＩＤ０００のワイヤレスマイクから受信した音声信号のレベルを０．３倍に調整するための制御値を送信する。一方、マイクＩＤ００１のワイヤレスマイクから受信した音声信号のレベルを１倍に調整するための制御値を送信する。逆にＢさんが撮影画角内にいないと推定され、Ａさんは撮影画角内にいると推定されるときは、マイクＩＤ０００のワイヤレスマイクから受信した音声信号のレベルを１倍に調整するための制御値を送信する。一方、マイクＩＤ００１のワイヤレスマイクから受信した音声信号のレベルを０．３倍に調整するための制御値を送信する。また、ＡさんもＢさんも撮影画角内にいないと推定されるときは、マイクＩＤ０００、００１それぞれのワイヤレスマイクから受信した音声信号それぞれのレベルを０．３倍に調整するための制御値を送信する。このように複数のワイヤレスマイクを使用する場合は個別に音声信号のレベルを調整するための制御値を送信するのである。また、図３（ａ）の例のような制御値を制御部１１４から音声処理部１０５に送信する場合には、撮影画角内にいないと推定された特定の被写体に対応するワイヤレスマイクにより得られた音声信号のレベルは０．３倍に増幅させる。一方、撮影画角内にいると推定された特定の被写体に対応するワイヤレスマイクにより得られた音声信号については、フォーカス位置または、ズーム倍率、ワイヤレスマイクからの電波強度、顔画像の面積などによって決定される倍率の制御値が送信される。また、ＡさんもＢさんも撮影画角にいると推定される場合であって、ワイヤレスマイクからの電波強度に応じて制御値を決定する場合には、それぞれのワイヤレスマイクからの電波強度に応じて、個別に制御値が決定される。また、顔画像の面積に応じて制御値を決定する場合であっても同様に個別に制御値を決定することになる。

この様に、複数のマイクを使用する場合であっても、複数のマイクそれぞれから得られた音声のレベルを、そのマイクに対応する特定の被写体が撮影画角内にいるかいないかに応じて、調整することができる。この様な構成によれば、再生時に撮影画角内にいない特定の被写体の音声についてのユーザに与える違和感を低減することができる。

また、本実施例においては、撮像装置について説明したが、ワイヤレスマイク等の外部マイクを使用して音声を取得できるとともに撮影画角内の画像信号を得ることができる装置であれば、撮像装置に限らず適用することができる。例えば、携帯電話等であってもよい。

Claims (16)

1. 集音装置から無線通信により送信された音声信号を受信する受信手段を有する撮像装置であって、
   前記集音装置と特定の被写体とを関連づけた情報を記憶する記憶手段と、
   所定の撮影画角内の光学像を撮像して画像信号を取得する撮像手段と、
   前記撮像手段の前記所定の撮影画角内に前記特定の被写体が入っているか否かを推定する推定手段と、
   前記推定手段の推定結果に応じて、前記受信手段により得られた前記音声信号のレベルを調整して出力する調整手段と、
   前記調整手段により出力された音声信号と、前記撮像手段により得られた画像信号とを関連づけて記録媒体に記録する記録手段とを有し、
   前記調整手段は、前記推定結果が、前記撮像手段の前記所定の撮影画角内に前記特定の被写体が入っていないことを示す推定結果のときは、前記撮像手段の前記所定の撮影画角内に前記特定の被写体が入ってることを示す推定結果ときよりも、音声信号を小さいレベルに調整して出力することを特徴とする撮像装置。
2. 集音装置から無線通信により送信された音声信号を受信する受信手段を有する撮像装置であって、
   前記集音装置と特定の被写体とを関連づけ情報を記憶する記憶手段と、
   所定の撮影画角内の光学像を撮像して画像信号を取得する撮像手段と、
   前記撮像手段の前記所定の撮影画角内に前記特定の被写体が入っているか否かを推定する推定手段と、
   前記推定手段の推定結果に応じて、前記受信手段により得られた前記音声信号のレベルを変動可能な倍率で調整して出力する調整手段と
   前記調整手段により出力された音声信号と、前記撮像手段により得られた画像信号とを関連づけて記録媒体に記録する記録手段とを有し、
   前記調整手段は、前記撮像手段の前記所定の撮影画角内に前記特定の被写体が入っていないことを示す推定結果のときの倍率の変動幅が、前記撮像手段の前記所定の撮影画角内に前記特定の被写体が入ってることを示す推定結果ときの倍率の変動幅よりも、小さくなるように調整して出力することを特徴とする撮像装置。
3. 前記推定手段は、前記撮像手段により得られた画像信号内に前記特定の被写体の顔画像に相関の高い画像が検出されているか否かによって、前記撮像手段の前記所定の撮影画角内に前記特定の被写体が入っているか否かを推定することを特徴とする請求項１または２記載の撮像装置。
4. 前記推定手段は、前記受信手段の受信した無線通信の信号の到来方向が前記撮像手段の前記所定の撮影画角内であるか否かによって、前記撮像手段の所定の画角内に撮影画角内に前記特定の被写体が入っているか否かを推定することを特徴とする請求項１または２記載の撮像装置。
5. 前記調整手段は、前記撮像手段の撮影画角内に人物が入ってることを示す推定結果のときは、前記撮像手段により得られた画像信号にかかる画像における前記特定の被写体の占める面積の割合に応じた倍率で前記音声信号のレベルを調整して出力することを特徴とする請求項１から４のいずれか１項記載の撮像装置。
6. 前記撮像手段は、指定されたズーム倍率で前記所定の撮影画角を拡大する拡大手段を有し、
   前記調整手段は、前記撮像手段の撮影画角内に人物が入ってることを示す推定結果のときは、前記撮像手段のズーム倍率に応じた倍率で前記音声信号のレベルを調整して出力することを特徴とする請求項１から４のいずれか１項記載の撮像装置。
7. 前記調整手段は、前記受信手段の受信した無線通信の信号の電波強度に応じた倍率で前記音声信号のレベルを調整して出力することを特徴とする請求項１から４のいずれか１項記載の撮像装置。
8. 前記受信手段は、複数の識別可能な集音装置により送信された複数の音声信号を受信し、
   前記記憶手段は、前記複数の集音装置と前記複数の集音装置それぞれに対応する特定の被写体の情報とを関連づけた情報を記憶し、
   前記推定手段は、前記撮像手段の前記所定の画角内に、前記複数の集音装置それぞれに対応する特定の被写体が入っているか否かを個別に推定し、
   前記調整手段は、前記推定結果に応じて、前記受信手段により送信された複数の音声信号のレベルを個別に調整して出力することを特徴とする請求項１から７のいずれか１項記載の撮像装置。
9. 集音装置と、撮像装置とからなるシステムであって、
   前記集音装置は、
   周囲の音声を集音して音声信号を得る集音手段と、
   前記集音手段により得られた音声信号を前記撮像装置に無線通信により送信する送信手段とからなり、
   前記撮像装置は、
   前記集音装置から無線通信により送信された音声信号を受信する受信手段と、
   前記集音装置と特定の被写体とを関連づけた情報を記憶する記憶手段と、
   所定の撮影画角内の光学像を撮像して画像信号を取得する撮像手段と、
   前記撮像手段の前記所定の撮影画角内に前記特定の被写体が入っているか否かを推定する推定手段とからなり、
   前記システムは、
   前記推定手段の推定結果に応じて、前記受信手段により得られた前記音声信号のレベルを調整して出力する調整手段とを有し、
   前記調整手段は、前記推定結果が、前記撮像手段の前記所定の撮影画角内に前記特定の被写体が入っていないことを示す推定結果のときは、前記撮像手段の前記所定の撮影画角内に前記特定の被写体が入ってることを示す推定結果ときよりも、音声信号を小さいレベルに調整して出力し、
   前記撮像装置は、前記調整手段により出力された音声信号と、前記撮像手段により得られた画像信号とを関連づけて記録媒体に記録することを特徴とする撮像システム。
10. 集音装置と、撮像装置とからなるシステムであって、
    前記集音装置は、
    周囲の音声を集音して音声信号を得る集音手段と、
    前記集音手段により得られた音声信号を前記撮像装置に無線通信により送信する送信手段とからなり、
    前記撮像装置は、
    前記集音装置から無線通信により送信された音声信号を受信する受信手段と、
    前記集音装置と特定の被写体とを関連づけた情報を記憶する記憶手段と、
    所定の撮影画角内の光学像を撮像して画像信号を取得する撮像手段と、
    前記撮像手段の前記所定の撮影画角内に前記特定の被写体が入っているか否かを推定する推定手段とからなり、
    前記システムは、
    前記推定手段の推定結果に応じて、前記取得手段により得られた前記音声信号のレベルを変動可能な倍率で増幅して出力する調整手段を有し、
    前記調整手段は、前記撮像手段の前記所定の撮影画角内に前記特定の被写体が入っていないことを示す推定結果のときの倍率の変動幅が、前記撮像手段の前記所定の撮影画角内に前記特定の被写体が入ってることを示す推定結果ときの倍率の変動幅よりも、小さくなるように調整して出力し、
    前記撮像装置は、前記調整手段により出力された音声信号と、前記撮像手段により得られた画像信号とを関連づけて記録媒体に記録することを特徴とする撮像システム。
11. 前記推定手段は、前記撮像手段により得られた画像信号内に前記特定の被写体の顔画像に相関の高い画像が検出されているか否かによって、前記撮像手段の前記所定の撮影画角内に前記特定の被写体が入っているか否かを推定することを特徴とする請求項９または１０記載の撮像システム。
12. 前記推定手段は、前記受信手段の受信した無線通信の信号の到来方向が前記撮像手段の前記所定の撮影画角内であるか否かによって、前記撮像手段の所定の画角内に撮影画角内に前記特定の被写体が入っているか否かを推定することを特徴とする請求項９または１０記載の撮像システム。
13. 前記調整手段は、前記撮像手段の撮影画角内に人物が入ってることを示す推定結果のときは、前記撮像手段により得られた画像信号にかかる画像における前記特定の被写体の占める面積の割合に応じた倍率で前記音声信号のレベルを調整して出力することを特徴とする請求項９から１２のいずれか１項記載の撮像システム。
14. 前記撮像手段は、指定されたズーム倍率で前記所定の撮影画角を拡大する拡大手段を有し、
    前記調整手段は、前記撮像手段の撮影画角内に人物が入ってることを示す推定結果のときは、前記撮像手段のズーム倍率に応じた倍率で前記音声信号のレベルを調整して出力することを特徴とする請求項９から１２のいずれか１項記載の撮像システム。
15. 前記調整手段は、前記受信手段の受信した無線通信の信号の電波強度に応じた倍率で前記音声信号のレベルを調整して出力することを特徴とすることを特徴とする請求項９から１２のいずれか１項記載の撮像システム。
16. 前記集音装置は、複数の識別可能な集音装置であり、
    前記受信手段は、複数の識別可能な集音装置により送信された複数の音声信号を受信し、
    前記記憶手段は、前記複数の集音装置と前記複数の集音装置それぞれに対応する特定の被写体の情報とを関連づけた情報を記憶し、
    前記推定手段は、前記撮像手段の前記所定の画角内に、前記複数の集音装置それぞれに対応する特定の被写体が入っているか否かを個別に推定し、
    前記調整手段は、前記推定結果に応じて、前記受信手段により送信された複数の音声信号のレベルを個別に調整して出力することを特徴とするる請求項９から１５のいずれか１項記載の撮像システム。

Images