JP2014200058A - 電子機器 - Google Patents

Abstract

【課題】本開示は、より臨場感が得られる音声記録を行う電子機器を提供することを目的とする。
【解決手段】本開示の電子機器は、被写体の像を撮像する撮像部と、被写体から自機器までの距離である被写体距離と一定の関係を有するパラメータを取得する取得部と、音声を集音し、音声データを生成する集音部と、被写体の像の拡大倍率を調節するズーミング部と、パラメータに応じて、拡大倍率の変化に対して、音声データが示す音声の大きさを変化させる度合いを変える音声処理部と、を備える。
【選択図】図１

Description

本開示は電子機器に関する。

特許文献１は、フレームにおける顔の位置が中央付近になくても、顔の人物の発声を集音できるようにする技術を記載している。具体的には、顔のサイズによりズーム指向角を制御する技術を記載している。

特開２０１０−２８３７０６号公報

本開示は、より臨場感が得られる音声記録を行う電子機器を提供することを目的とする。

上記課題を解決するために、本開示の電子機器は、被写体の像を撮像する撮像部と、被写体から自機器までの距離である被写体距離と一定の関係を有するパラメータを取得する取得部と、音声を集音し、音声データを生成する集音部と、被写体の像の拡大倍率を調節するズーミング部と、拡大倍率の変化に対して、音声データが示す音声の大きさを変化させる度合いを、パラメータに応じて変える音声処理部と、を備える。

また、本開示の電子機器は、被写体の像を撮像する撮像部と、被写体から自機器までの距離である被写体距離と一定の関係を有するパラメータを取得する取得部と、音声を集音し、音声データを生成する集音部と、集音部により生成された音声データに基づいて、被写体から発せられた音声を示す被写体音声データと、音声データが示す音声のうち被写体音声以外の音声を示す周囲音声データと、を生成する処理である音声生成処理、および取得部が取得したパラメータに応じて、被写体音声データと周囲音声データとの混合比率を変更する音声制御処理、を実行する音声処理部と、を備える。

本開示によれば、より臨場感が得られる音声記録を行う電子機器を提供できる。

図１は、実施の形態１に係るデジタルカメラ１００の電気的構成を示すブロック図である。 図２は、実施の形態１に係る音声処理に関する構成を示すブロック図である。 図３Ａは、実施の形態１に係る指向性合成に関する構成を示すブロック図である。 図３Ｂは、実施の形態１に係る指向性合成に関する構成を示すブロック図である。 図３Ｃは、実施の形態１に係る指向性合成に関する構成を示すブロック図である。 図４は、実施の形態１に係る音声処理動作を説明するためのフローチャートである。 図５Ａは、実施の形態１に係る焦点距離に対する強調度合変化の制御特性を説明するためのイメージ図である。 図５Ｂは、実施の形態１に係る焦点距離に対する強調度合変化の制御特性を説明するためのイメージ図である。 図６Ａは、他の実施の形態に係る焦点距離に対する強調度合変化の制御特性を説明するためのイメージ図である。 図６Ｂは、他の実施の形態に係る焦点距離に対する強調度合変化の制御特性を説明するためのイメージ図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施形態１）
実施の形態１について図面を用いて説明する。なお、実施の形態１では、収音装置を備えた電子機器である撮像装置として、デジタルカメラを例に挙げて説明する。以下の説明では、通常姿勢（以下、横撮り姿勢ともいう）の撮像装置を基準として、被写体に向かう方向を「前方」、被写体の反対に向かう方向を「後方」、被写体に正対した状態における右向きを「右方」、被写体に正対した状態における左向きを「左方」、と表現する。

実施の形態１のデジタルカメラ１００は、マイクロホン部１１１を備える。デジタルカメラ１００は、動画撮影時にマイクロホン部１１１により集音する。デジタルカメラ１００は、画像を記録すると共に音声を記録する。以下、デジタルカメラ１００の構成および動作を説明する。

〔１．構成〕
〔１−１．デジタルカメラ１００の構成〕
デジタルカメラ１００の構成について図１を用いて説明する。図１は、デジタルカメラ１００の電気的構成図である。デジタルカメラ１００は、画像入力系１４０、音声入力系１１０、制御系１１６、外部記憶媒体１６０、ＲＯＭ１７０、操作部１８０、表示部１９０、およびスピーカー１９５を備える。

デジタルカメラ１００は、外部から得られた情報に基づいて、画像データおよび音声データを生成する。画像データは、画像入力系１４０によって生成される。音声データは、音声入力系１１０によって生成される。ここで、生成された画像データおよび音声データは、各処理が施された後、メモリカード等の外部記憶媒体１６０に記録される。外部記憶媒体１６０に記録された画像データは、使用者による操作部１８０の操作を受け付けて、表示部１９０に表示される。外部記憶媒体１６０に記録された音声データは、使用者による操作部１８０の操作を受け付けて、スピーカー１９５から出力される。以下、図１に示す各部の詳細を説明する。

画像入力系１４０は、鏡筒１４１、レンズ制御部１４２、ＣＣＤイメージセンサ１４３、およびＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）１４４を備える。

鏡筒１４１は、複数のレンズを有する光学系である。鏡筒１４１は、レンズ制御部１４２から通知された制御信号に従って、被写体のフォーカス調節、画角調節、光量調節、および手ぶれ補正などを行い、被写体像を形成する。

ＣＣＤイメージセンサ１４３は、鏡筒１４１を通して形成された被写体像を撮像して、画像データを生成する。ＣＣＤイメージセンサ１４３は、デジタルカメラ１００が撮影モードにあるとき、一定時間ごとに新しいフレームの画像データを生成できる。

ＡＦＥ１４４は、ＣＣＤイメージセンサ１４３から読み出された画像データに対して、相関二重サンプリングによりノイズを抑圧する。また、ＡＦＥ１４４は、アナログゲインコントローラにより、ＣＣＤイメージセンサ１４３から読み出された画像データをＡ／Ｄコンバータの入力レンジ幅へ増幅する。ＡＦＥ１４４は、ＣＣＤイメージセンサ１４３から読み出された画像データに対して、ＡＤコンバータによりＡ／Ｄ変換を施す。その後、ＡＦＥ１４４は、画像データをデジタル画像・音声処理部１２０に出力する。

音声入力系１１０は、マイクロホン部１１１およびアナログ音声処理部１１５を備える。マイクロホン部１１１は、ステレオ集音用に２個のマイクロホン（無指向性マイクロホン２０１、無指向性マイクロホン２０２（図２参照））を有している。マイクロホン部１１１は、音響信号を各マイクロホンにより電気信号に変換して音声データを生成し、アナログ音声処理部１１５に出力する。アナログ音声処理部１１５は、生成した音声データをＡ／ＤコンバータによりＡ／Ｄ変換し、デジタル画像・音声処理部１２０に出力する。

制御系１１６は、デジタル画像・音声処理部１２０、ＲＡＭ１５０、およびコントローラ１３０を備える。デジタル画像・音声処理部１２０は、ＡＦＥ１４４から出力された画像データ、およびアナログ音声処理部１１５から出力された音声データに対して、各種の処理を施す。例えば、デジタル画像・音声処理部１２０は、コントローラ１３０からの指示に従って、画像データに対して、ガンマ補正、ホワイトバランス補正、傷補正、および符号化処理等を行う。また、デジタル画像・音声処理部１２０は、コントローラ１３０からの指示に従って、音声データに対する各種処理を行う。例えば、デジタル画像・音声処理部１２０は、マイクロホン部１１１の出力を演算処理して、指向性合成処理を行う。

ＲＡＭ１５０は、デジタル画像・音声処理部１２０およびコントローラ１３０のワークメモリとして機能する。ＲＡＭ１５０は、ＳＤＲＡＭやフラッシュメモリなどで実現できる。

コントローラ１３０は、デジタルカメラ１００全体の動作を統括制御する。コントローラ１３０およびデジタル画像・音声処理部１２０は、ハードワイヤードな電子回路で実現してもよいし、プログラムを実行するマイクロコンピュータなどで実現してもよい。また、コントローラ１３０およびデジタル画像・音声処理部１２０は、一体的に１つの半導体チップとして実現してもよい。

ＲＯＭ１７０は、コントローラ１３０が実行するためのプログラム、例えばオートフォーカス制御（ＡＦ制御）や自動露出制御（ＡＥ制御）などに関するプログラム、およびデジタルカメラ１００全体の動作を統括制御するためのプログラム等を、格納している。ＲＯＭ１７０は、コントローラ１３０の外部に、コントローラ１３０とは別体として存在している必要はない。ＲＯＭ１７０は、コントローラ１３０の内部に組み込まれていてもよい。

表示部１９０は、デジタルカメラ１００の背面に配置される。本実施の形態では、表示部１９０は、液晶ディスプレイである。表示部１９０は、デジタル画像・音声処理部１２０にて処理された画像データが示す画像を表示する。表示部１９０が表示する画像には、スルー画像および再生画像などがある。スルー画像は、ＣＣＤイメージセンサ１４３により一定時間ごとに連続的に生成されるフレームの画像である。デジタルカメラ１００が撮影モードに設定された状態において、静止画撮影を行っていない待機状態、または動画撮影状態にあるときに、デジタル画像・音声処理部１２０が、ＣＣＤイメージセンサ１４３により生成された画像データから、スルー画像を生成する。使用者は、表示部１９０に表示されるスルー画像を、参照することにより、被写体の構図を確認しながら被写体を撮影できる。

外部記憶媒体１６０は、内部にフラッシュメモリ等の不揮発性の記録部を備えた外部メモリである。外部記憶媒体１６０は、デジタルカメラ１００に対して着脱自在である。外部記憶媒体１６０がデジタルカメラ１００に装着されると、コントローラ１３０は、外部記憶媒体１６０へのデータの記録や、外部記憶媒体１６０に記録されたデータの読み込みを制御できる。外部記憶媒体１６０は、デジタル画像・音声処理部１２０で処理された画像データおよび音声データなどのデータを記録可能である。

操作部１８０は、デジタルカメラ１００の外装に配置される操作釦や操作ダイヤルなどの操作インターフェースの総称である。操作部１８０は、使用者による操作を受け付ける。操作部１８０は、例えば、レリーズ釦、モードダイヤル、十字釦などを、含んでいる。操作部１８０は、使用者による操作を受け付けると、コントローラ１３０に対して、種々の動作を指示する信号を、通知する。

スピーカー１９５は、外部記憶媒体に記録された動画像データに含まれる音声データが示す音声等を出力できる。

〔１−２．音声処理に関連する機能ブロックの構成〕
次に、デジタルカメラ１００における音声処理に関連する機能ブロックの構成について図２を用いて説明する。図２は、デジタルカメラ１００における音声処理に関連する機能ブロックを示すブロック図である。

デジタルカメラ１００における音声処理は、音声入力系１１０、および制御系１１６により実行される。音声入力系１１０は、無指向性マイクロホン２０１、および無指向性マイクロホン２０２という機能ブロックを含む。ここで、無指向性マイクロホン２０１、および無指向性マイクロホン２０２により実現される機能は、音声入力系１１０の中でも特に図１に示すマイクロホン部１１１により実現される。制御系１１６は、指向性合成手段Ｌｃｈ２０３、指向性合成手段Ｃｃｈ２０４、指向性合成手段Ｒｃｈ２０５、距離測定手段２０６、音量制御手段２０７、音量調整器２０８、音量調整器２０９、音量調整器２１０、加算器２１１、および加算器２１２という機能ブロックを含む。

ここで、指向性合成手段Ｌｃｈ２０３、指向性合成手段Ｃｃｈ２０４、および指向性合成手段Ｒｃｈ２０５により実現される機能は、制御系１１６の中でも特に図１に示すデジタル画像・音声処理部１２０により実現される。また、距離測定手段２０６、音量制御手段２０７、音量調整器２０８、音量調整器２０９、音量調整器２１０、加算器２１１、および加算器２１２により実現される機能は、制御系１１６の中でも特に図１に示すコントローラ１３０により実現される。なお、必ずしもこのような構成には限定されない。例えば、指向性合成手段Ｌｃｈ２０３〜加算器２１２により実現される機能をすべてデジタル画像・音声処理部１２０およびコントローラ１３０の何れか一方で実現してもよいし、別の割合で分担してもよい。

無指向性マイクロホン２０１は、集音した音声に基づいて生成した音声データを、指向性合成手段Ｌｃｈ２０３、指向性合成手段Ｃｃｈ２０４、指向性合成手段Ｒｃｈ２０５に出力する。同様に、無指向性マイクロホン２０２は、集音した音声に基づいて生成した音声データを、指向性合成手段Ｌｃｈ２０３、指向性合成手段Ｃｃｈ２０４、指向性合成手段Ｒｃｈ２０５に出力する。

指向性合成手段Ｌｃｈ２０３は、無指向性マイクロホン２０１および、無指向性マイクロホン２０２から出力された音声データに基づいて、左チャンネル（以下Ｌｃｈと称する）用の指向性合成処理を行う。指向性合成手段Ｌｃｈ２０３は、音声データの指向性合成処理結果を音量調整器２０８に出力する。

指向性合成手段Ｒｃｈ２０５は、無指向性マイクロホン２０１および、無指向性マイクロホン２０２から出力された音声データに基づいて、右チャンネル（以下Ｒｃｈと称する）用の指向性合成処理を行う。指向性合成手段Ｒｃｈ２０５は、音声データの指向性合成処理結果を音量調整器２１０に出力する。

指向性合成手段Ｃｃｈ２０４は、無指向性マイクロホン２０１および、無指向性マイクロホン２０２から出力された音声データに基づいて、センターチャンネル（以下Ｃｃｈと称する）用の指向性合成処理を行なう。指向性合成手段Ｃｃｈ２０４は、音声データの指向性合成処理結果を音量調整器２０９に出力する。

指向性合成手段Ｌｃｈ２０３、指向性合成手段Ｃｃｈ２０４、指向性合成手段Ｒｃｈ２０５における具体的な指向性合成処理の例については後述する。

音量調整器２０８は、指向性合成手段Ｌｃｈ２０３から出力された音声データに対して音量調整を行う。音量調整器２０８は、音量調整した結果を加算器２１１に出力する。音量調整器２０９は、指向性合成手段Ｃｃｈ２０４から出力された音声データに対して音量調整を行う。音量調整器２０９は、音量調整した結果を加算器２１１および、加算器２１２に出力する。音量調整器２１０は、指向性合成手段Ｒｃｈ２０５から出力された音声データに対して音量調整を行う。音量調整器２１０は、音量調整した結果を加算器２１２に出力する。

距離測定手段２０６は、被写体からデジタルカメラ１００までの距離である被写体距離を測定する。例えば、距離測定手段２０６は、顔検出機能により検出した被写体の顔の大きさにより、被写体からデジタルカメラ１００までの距離を推定できる。また、距離測定手段２０６は、被写体に合焦させた際の鏡筒１４１内のフォーカスレンズの位置、および予め記憶しているトラッキングカーブにより、被写体からデジタルカメラ１００までの距離を推定できる。距離測定手段２０６は、被写体までの距離の測定結果を音量制御手段２０７に出力する。

音量制御手段２０７は、距離測定手段２０６から取得した被写体までの距離の測定結果と、焦点距離の検出結果とに基づいて、音声の強調度合を決定する。音量制御手段２０７による音声の強調度合決定の詳細については後述する。

加算器２１１は、音量調整器２０８の出力および、音量調整器２０９の出力を加算して、Ｌｃｈ出力を行う。同様に、加算器２１２は、音量調整器２０９の出力および、音量調整器２１０の出力を加算してＲｃｈ出力を行う。

指向性合成手段Ｌｃｈ２０３、指向性合成手段Ｃｃｈ２０４、および指向性合成手段Ｒｃｈ２０５における具体的な指向性合成処理の例について、図３Ａ〜図３Ｃを用いて説明する。図３Ａ〜図３Ｃは、各指向性合成手段の構成を示すブロック図である。無指向性マイクロホン２０１および無指向性マイクロホン２０２は、左右方向に並んで配置される。無指向性マイクロホン２０１、および無指向性マイクロホン２０２により生成された音声データに対して、左方、右方のそれぞれに指向性を有するように指向性合成処理が施される。そして、指向性合成処理後の出力が、それぞれＬｃｈ出力、Ｒｃｈ出力となる。

図３Ａは、Ｌｃｈ出力を得るための指向性合成手段Ｌｃｈ２０３の指向性合成処理を説明するための模式図である。デジタルカメラ１００の右方から来る音は、先に右側の無指向性マイクロホン２０２に到達して、その後、時間τ後に、左側の無指向性マイクロホン２０１に到達する。このため、右側の無指向性マイクロホン２０２の出力をこの時間τだけ遅延させて、この結果を左側の無指向性マイクロホン２０１の出力から差し引くことによって、右方から来る音に対する出力は相殺される。遅延器１２０１は、時間τの遅延を、無指向性マイクロホン２０２の出力に与える。減算器１２０２は、マイクロホン２０１の出力から遅延器１２０１の出力を減算して、Ｌｃｈ出力を得る。以上の処理により、右方から来る音に対して感度が低いＬｃｈ出力が得られる。

図３Ｂは、Ｒｃｈ出力を得るための指向性合成手段Ｒｃｈ２０５の指向性合成処理を説明するための模式図である。左右が逆になっていること以外は、図３Ａと同様の処理である。すなわち、遅延器１２０３は、時間τの遅延を、無指向性マイクロホン２０１の出力に与える。減算器１２０４は、無指向性マイクロホン２０２の出力から遅延器１２０３の出力を減算して、Ｒｃｈ出力を得る。以上の処理により、左方から来る音に対して感度が低いＲｃｈ出力が得られる。

図３Ｃは、Ｃｃｈ出力を得るための指向性合成手段Ｃｃｈ２０４の指向性合成処理を説明するための模式図である。無指向性マイクロホン２０１、および無指向性マイクロホン２０２の出力の平均を取ることで、幾何学的に無指向性マイクロホン２０１、および無指向性マイクロホン２０２の中央に位置するＣｃｈ出力が得られる。増幅器１２０５は、無指向性マイクロホン２０１の出力を半分にする。増幅器１２０６は、無指向性マイクロホン２０２の出力を半分にする。加算器１２０７は、増幅器１２０５の出力と増幅器１２０６の出力とを足し合わせる。これにより、Ｃｃｈ出力が得られる。

以上説明したような指向性合成処理を実行することによって、Ｌｃｈ出力、Ｒｃｈ出力、およびＣｃｈ出力が得られる。これにより、デジタルカメラ１００は、撮影した対象である被写体に対応する音声を抽出できる。具体的には、デジタルカメラ１００は、Ｃｃｈ出力を被写体から発せられた被写体音声として抽出できる。また、デジタルカメラ１００は、Ｌｃｈ出力、およびＲｃｈ出力を被写体音声以外の音声である周囲音声として抽出できる。

〔１−３．用語の対応〕
ＣＣＤイメージセンサ１４３は撮像部の一例である。コントローラ１３０は取得部の一例である。マイクロホン部１１１は集音部の一例である。鏡筒１４１はズーミング部の一例である。デジタル画像・音声処理部１２０、およびコントローラ１３０からなる構成は音声処理部の一例である。

〔２．動作〕
デジタルカメラ１００の音声処理に関する動作について、図４を用いて説明する。図４は、デジタルカメラ１００の音声処理に関する動作を説明するためのフローチャートである。

デジタルカメラ１００が記録モードとなると、図４に示すフローがスタートする。ここで、記録モードとは、画像データ、および音声データを外部記憶媒体１６０に記録できるモードである。すなわち、記録モードは、実際に外部記憶媒体１６０に画像データ、および音声データが記録されている状態のときだけではなく、表示部１８０に被写体の画像が映し出され、画像データ、および音声データの記録指示を受け付けるまで待機している状態のときも含まれる。

まず、コントローラ１３０は、被写体距離に関連するパラメータを取得する（ステップＳ３０１）。例えば、コントローラ１３０は、被写体距離に関連するパラメータとして、被写体の顔の大きさに関する情報や、フォーカスレンズの位置に関する情報を取得する。被写体距離に関連するパラメータを取得すると、コントローラ１３０は、取得したパラメータに基づいて、音量変化関数を決定する（ステップＳ３０２）。ここで、音量変化関数とは、被写体距離に関連するパラメータ及び、拡大倍率の変化に対して、音声の大きさを変化させる度合いを示す二変数関数である。音量変化関数は二変数関数ではあるが、説明の便宜のため、被写体距離に関連するパラメータについては固定し、拡大倍率の変化に対する一変数関数かのように扱う。そして、被写体距離に関連するパラメータについては固定させ、拡大倍率の変化に対する一変数関数として扱うことを、音量変化関数を決定すると表現する。

音量変化関数について図５Ａ、図５Ｂを用いて説明する。図５Ａ、図５Ｂは、音量制御手段２０７が、焦点距離に基づいて、各チャンネルの音量をどのような関数により決定するかを説明するための制御特性図である。図５Ａは、被写体が近くにある場合に決定される音量変化関数を示す。図５Ｂは、被写体が遠くにある場合に決定される音量変化関数を示す。図５Ａ、図５Ｂの縦軸はＣｃｈ出力、Ｌｃｈ出力、Ｒｃｈ出力に対する音量の強調度合を示し、例えば０〜１の間の値をとる。図５Ａ、図５Ｂの横軸は、ワイド端からテレ端までの焦点距離を示す。図５Ａ、図５Ｂ中の点線は、Ｃｃｈに対する音量変化関数を示し、実線は、Ｌｃｈ・Ｒｃｈに対する音量変化関数を示す。図５Ａ、図５Ｂに示すように、二変数関数である音量変化関数は、デジタルカメラ１００と被写体との距離に応じてその交点Ｘの位置が上下に変化するようになっている。具体的には、交点Ｘの位置は、被写体距離が近いときは高くなるのに対し、被写体距離が遠いときは低くなるようになっている。交点Ｘの位置の変化は、被写体距離に応じて連続的に変化してもよいし、段階的に変化してもよい。

被写体が近くにあるとき、音量制御手段２０７は、図５Ａに示す音量変化関数に従って音量制御を行なう。この制御は、ワイド端からテレ端までズームを行なった際、区間（１）においては、周囲の音に相当するＬｃｈ、Ｒｃｈ用音声の音量の減少がゆるやかなのに対して、被写体の発生する音に相当するＣｃｈ用音声の音量の増加が急激になるようにしている。

区間（１）の焦点距離から、更にズーム倍率を上げていき、区間（２）においては、被写体の発生する音に相当するＣｃｈ用音声の音量の増加がゆるやかなのに対して、周囲の音に相当するＬｃｈ、Ｒｃｈ用音声の音量の減少が急激になるようにしている。

ここで、被写体距離が近い場合にこのような制御をする理由について説明する。拡大倍率を上げた画像は、カメラが被写体に近づいたような感じを視聴者に与える。そのため、被写体の音の大きさは一段と大きくなるはずである。また、デジタルカメラ１００の場所と被写体の場所との距離がそれほど離れていない場合、拡大倍率が変わっても、周囲の音の大きさにはあまり変化がないはずである。そこで、図５Ａの区間（１）に示すように、被写体の音を示すＣｃｈ用音声の音量を急激に増加させ、周囲の音を示すＬｃｈ、Ｒｃｈ用音声の音量を緩やかに減少させることとしている。一方、更に撮影者が被写体に近づくと、被写体の発する音がより際立ってくる。また、周囲の音はそれほど集音されないはずである。そこで、図５Ａの区間（２）に示すように、Ｃｃｈ用音声の大きさに関してはさらに増加させ、Ｌｃｈ、Ｒｃｈ用音声の大きさに関しては急激に減少させる。これにより、被写体用の音をより強調し、撮影者が被写体により接近したという印象を視聴者に与える。このように、デジタルカメラ１００から被写体までの距離が近く、焦点距離がワイド寄りである場合は、周囲音の音量変化を少なくすることで、より現実に近い臨場感のある感覚を視聴者に感じさせられる。

一方、被写体が遠くにあるとき、音量制御手段２０７は、図５Ｂに示す音量変化関数に従って音量制御を行なう。この制御は、ワイド端からテレ端までズームを行なった際、区間（１）においては、周囲の音に相当するＬｃｈ、Ｒｃｈ用音声の音量の減少が急激なのに対して、被写体の発生する音に相当するＣｃｈ用音声の音量の増加が緩やかになるようにしている。

区間（１）の焦点距離から、更に拡大倍率を上げていき、区間（２）に移行すると、被写体の発生する音に相当するＣｃｈ用音声の音量の増加が急激なのに対して、周囲の音に相当するＬｃｈ、Ｒｃｈ用音声の音量の減少が緩やかになるようにしている。

ここで、被写体距離が遠い場合にこのような制御をする理由について説明する。デジタルカメラ１００の場所と被写体の場所との距離が離れている場合は、拡大倍率が変わると周囲の音の聞こえ方が大きく変化する。具体的には元々そこにあった周囲音は急激に小さくなるはずである。更に被写体に近づくと、今度は被写体の発する音声データがどんどん大きくなってくるはずである。そこで、焦点距離がワイド寄りにある場合には、Ｌｃｈ、Ｒｃｈ用の音声の音量を急激に減少させ、焦点距離がテレ寄りにある場合には、Ｃｃｈ用の音声の音量を急激に増加させることとしている。これにより、撮影者が被写体に近づくためにより長い距離を移動したという感覚を視聴者に与えられる。

再度、図４の説明に戻る。図４のステップＳ３０２において、コントローラ１３０は、取得した被写体距離に基づいて、音量変化関数を決定する（ステップＳ３０２）。具体的には、コントローラ１３０は、被写体距離に基づいて、図５Ａ、図５Ｂにおける交点Ｘの位置を決定する。例えば、コントローラ１３０は、被写体距離が第１の距離よりも近いと判断すれば、図５Ａに示すように音量変化関数を決定する。また、コントローラ１３０は、被写体距離が第１の距離以上の距離である第２の距離よりも遠いと判断すれば、図５Ｂに示すように音量変化関数を決定する。言い換えると、Ｃｃｈ用の音量変化関数と、Ｌｃｈ、Ｒｃｈ用の音量変化関数とが決定された時点で、被写体音声データと周囲音声データとの拡大倍率毎の混合比率が決定されたといえる。

音量変化関数を決定すると、コントローラ１３０は、拡大倍率の検出を実行する（ステップＳ３０３）。例えば、焦点距離の検出を、コントローラ１３０は、鏡筒１４１内のズームレンズ位置に基づいて行ってもよい。

拡大倍率を検出すると、コントローラ１３０に含まれる音量制御手段２０７は、ステップＳ３０２で決定した音量変化関数と、ステップＳ３０３で検出した焦点距離とに基づき、周囲の発生する音声に対応するＬｃｈ、Ｒｃｈ用の音声データに掛け合わせる係数である強調度合い（ｚａ０）を決定する（ステップＳ３０４）。ｚａ０を決定すると、コントローラ１３０に含まれる音量制御手段２０７は、ステップＳ３０２で決定した音量変化関数と、ステップＳ３０３で検出した焦点距離とに基づき、被写体の発生する音声に対応するＣｃｈ用の音声データに掛け合わせる係数である強調度合い（ｚａ１）を決定する（ステップＳ３０５）。音量調整器２０８、音量調整器２０９、および音量調整器２１０は、音量制御手段２０７より与えられるｚａ０、ｚａ１に基づいて、音声の大きさを変化させる。

ｚａ１を決定し、音声の大きさを変化させると、コントローラ１３０は、記録モードが継続しているか否かを判別し（ステップＳ３０６）、継続している場合はステップＳ３０１に戻り、終了している場合は一連のシーケンスを終了する。

〔３．効果等〕
以上のように、実施の形態１にかかるデジタルカメラ１００は、ＣＣＤイメージセンサ１４３と、コントローラ１３０に含まれる距離測定手段２０６と、マイクロホン部１１１と、鏡筒１４１と、コントローラ１３０に含まれる音量制御手段２０７と、を備える。ＣＣＤイメージセンサ１４３は、被写体の像を撮像する。コントローラ１３０に含まれる距離測定手段２０６は、被写体から自機器までの距離である被写体距離と一定の関係を有する被写体の顔の大きさの情報等を取得する。マイクロホン部１１１は、音声を集音し、音声データを生成する。鏡筒１４１は、被写体の像の拡大倍率を調節する。コントローラ１３０に含まれる距離測定手段２０６は、拡大倍率の変化に対して、音声データが示す音声の大きさを変化させる度合いを被写体の顔の大きさの情報等に応じて変える。

つまり、デジタルカメラ１００は、Ｃｃｈ用音声、およびＬｃｈ、Ｒｃｈ用音声の音量の強調度合を決定するための音量変化関数を、被写体距離と一定の関係を有する被写体の顔の大きさの情報等に応じて決定する。これにより、デジタルカメラ１００は、被写体距離に応じて、より好ましい音量制御を実現できる。その結果、視聴者は、被写体までの距離に応じて、より臨場感のある音声を楽しむことができる。

また、実施の形態１にかかるデジタルカメラ１００において、マイクロホン部１１１は、生成した音声データに基づいて、左方向に指向性を有する左側音声データ、および右方向に指向性を有する右側音声データ、の少なくとも何れか一方を指向性音声データとして生成する。また、コントローラ１３０に含まれる距離測定手段２０６は、拡大倍率が上昇するのに応じて、指向性音声データが示す音の大きさを低下させる。そして、コントローラ１３０に含まれる距離測定手段２０６は、被写体の顔の画像の大きさの情報等が第１のパラメータを示す場合は、被写体の顔の画像の大きさの情報等が第１のパラメータよりも被写体距離が長い旨を示す第２のパラメータを示す場合よりも、緩やかに指向性音声データが示す音の大きさを変化させる。

これにより、デジタルカメラ１００は、被写体距離に応じて、より好ましい周囲音の変化を表した音量変化関数を決定できる。その結果、視聴者は、被写体までの距離に応じて、より臨場感のある音声を楽しむことができる。

また、実施の形態１にかかるデジタルカメラ１００は、ＣＣＤイメージセンサ１４３と、コントローラ１３０と、マイクロホン部１１１と、デジタル画像・音声処理部１２０およびコントローラ１３０からなる構成と、を備える。ＣＣＤイメージセンサ１４３は、被写体の像を撮像する。コントローラ１３０は、被写体から自機器までの距離である被写体距離と一定の関係を有する被写体の顔の大きさの情報等を取得する。マイクロホン部１１１は、音声を集音し、音声データを生成する。デジタル画像・音声処理部１２０およびコントローラ１３０からなる構成は、マイクロホン部１１１により生成された音声データに基づいて、被写体から発せられた音声を示す被写体音声データと、音声データが示す音声のうち被写体音声以外の音声を示す周囲音声データと、を生成する処理である音声生成処理、およびコントローラ１３０が取得した被写体の顔の大きさの情報等に応じて、被写体音声データと周囲音声データとの混合比率を変更する音声制御処理を実行する。

これにより、デジタルカメラ１００は、被写体距離に応じて、被写体音声と周囲音声との混合比率としてより好ましいものを決定できる。その結果、視聴者は、被写体までの距離に応じて、より臨場感のある音声を楽しむことができる。

また、実施の形態１にかかるデジタルカメラ１００は、さらに、被写体の像の拡大倍率を調節するレンズ制御部１４２をさらに備える。そして、音声制御処理は、コントローラ１３０が取得した被写体の顔の大きさ等の情報、およびレンズ制御部１４２により調節された拡大倍率に応じて、被写体音声データと周囲音声データとの混合比率を変更する処理である。

これにより、デジタルカメラ１００は、被写体距離、および拡大倍率に応じて、被写体音声と周囲音声との混合比率としてより好ましいものを決定できる。その結果、視聴者は、被写体までの距離、および拡大倍率に応じて、より臨場感のある音声を楽しむことができる。

また、実施の形態１にかかるデジタルカメラ１００においてマイクロホン部１１１は、生成した音声データに基づいて、左方向に指向性を有する左側音声を示す左側音声データ、および右方向に指向性を有する右側音声を示す右側音声データを少なくとも生成する。そして、周囲音声データは、左側音声データ、および右側音声データを含む。

これにより、デジタルカメラ１００は、より適切な音声データを周囲音声データとして用いられる。その結果、視聴者は、より臨場感のある音声を楽しむことができる。

（他の実施形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。

そこで、以下、他の実施の形態を例示する。

実施の形態１では、周囲の音に相当するＬｃｈ、Ｒｃｈ用音声の音量変化を切り替える点と、被写体の発生する音に相当するＣｃｈ用音声の音量変化を切り替える点とが、同一の焦点距離（点Ｘにおける焦点距離）である場合を例示した。しかしながら、必ずしもこれに限定されない。例えば、図６Ａ、図６Ｂに示すように、Ｌｃｈ、Ｒｃｈ用音声の音量変化を切り替える点と、Ｃｃｈ用音声の音量変化を切り替える点とを、異なる焦点距離にしてもよい。ここで、図６Ａ、図６Ｂは、音量制御手段２０７により選択される音量変化関数の他の例を示す制御特性図である。図６Ａは、被写体が近くにある場合の音量変化関数を示す図である。図６Ｂは、被写体が遠くにある場合の音量変化関数を示す図である。図６Ａ、図６Ｂにおいて、点線は、Ｃｃｈに対する音量変化関数を示す。一方、実線は、Ｌｃｈ、Ｒｃｈに対する音量変化関数を示す。

図６Ａ、図６Ｂに示すように、それぞれの音量変化関数の傾きの変化点Ｙ、Ｚは、被写体距離に応じて、図６Ａ、図６Ｂに示す座標上を上下左右に変化する。変化点Ｙは、被写体距離が近いときは、音量の強調度合いが高く、よりワイド側の位置に移動する。また、変化点Ｙは、被写体距離が遠いときは、音量の強調度合いが低く、よりテレ側の位置に移動する。一方、変化点Ｚは、被写体距離が近いときは、音量の強調度合いが高く、よりテレ側の位置に移動する。また、変化点Ｚは、被写体距離が遠いときは、音量の強調度合いが低く、よりワイド側の位置に移動する。

被写体が近くにあるとき、音量制御手段２０７は、図６Ａに示す音量変化関数に従って音量制御を行なう。この制御は、ワイド端からテレ端までズームを行なったとき、区間（１）においては、周囲の音に相当するＬｃｈ、Ｒｃｈ用音声の音量は、小さい変化量で徐々に減少する一方、被写体の発生する音声データに相当するＣｃｈ用音声の音量は、大きい変化量で急激に増加する。更にズーム倍率を上げていき、区間（２）に移行すると、Ｌｃｈ、Ｒｃｈ用音声の音量は、小さい変化量で徐々に減少し、Ｃｃｈ用音声の音量は、小さい変化量で徐々に増加する。これは、近い距離を移動しても、周囲の音声の音量は、それほど大きく変化しないことに対応させたものである。ここで更にズーム倍率を上げていき、区間（３）に移行すると、Ｃｃｈ用音声の音量は、小さい変化量で徐々に増加し、Ｌｃｈ、Ｒｃｈ用音声の音量は、大きい変化量で急激に減少する。このようにすることで、より現実に即した形で撮影者が被写体に接近した感覚を与える効果が得られる。

一方、被写体が遠くにあるとき、音量制御手段２０７は、図６Ｂに示す音量変化関数に従って音量制御を行なう。この制御は、ワイド端からテレ端までズームを行なったとき、区間（４）において、Ｃｃｈ用音声の音量は、少ない変化量で徐々に増加し、Ｌｃｈ、Ｒｃｈ用音声の音量は、大きい変化量で急激に減少する。更にズーム倍率を上げていき、区間（５）に移行すると、Ｌｃｈ、Ｒｃｈ用音声の音量は、小さい変化量で徐々に減少し、Ｃｃｈ用音声の音量は、小さい変化量で徐々に増加する。そして、更にズーム倍率を上げていき区間（６）に移行すると、Ｌｃｈ、Ｒｃｈ用音声の音量は、少ない変化量で徐々に減少し、Ｃｃｈ用音声の音量は、大きい変化量で急激に増加する。

このように構成することで、デジタルカメラ１００は、撮影者が被写体からも元の場所からも離れた所に居る、という感覚をより明解に視聴者に与えられる。即ち、元の場所からも被写体の場所からも離れているとき、カメラの位置が多少変わっても周囲の音の音量も被写体の音の音量もそれほど大きくは変化しない。従って、このように構成することにより、より現実に即した形で、撮影者が被写体に近づくためにより長い距離を移動したという感覚を与えられる。

また、実施の形態１において、２つの無指向性マイクロホン（２０１、２０２）を備えた。しかしながら、必ずしもこのような構成に限定されない。３個以上のマイクロフォンを用いて、５．１チャンネルサラウンドの集音を行う際にこの方法を用いてもよい。この場合には、Ｃｃｈの音声をＬｃｈ、Ｒｃｈに加算することなく、そのまま取り出せばよい。また、その際のリア側のチャンネル（ＳＬチャンネル、ＳＲチャンネル）の制御としては、フロント側チャンネルのＬｃｈ、Ｒｃｈに則して行えばよい。リア側のチャンネルの制御としては、ズームを行なうにあたって、フロント側チャンネルより早く音量を減衰させればなおよい。また、フロント側チャンネルの音声データをリア側チャンネルの音声データに適宜移動させ、テレ端では、元々のＳＬチャンネル、ＳＲチャンネルの音を消し、フロント側チャンネルの音声データであるＬｃｈ、Ｒｃｈの音のレベルを下げる形でＳＬチャンネル、ＳＲチャンネルから出力しても良い。その際、被写体までの距離に応じて移動の度合いを変えることで、より臨場感のある音声記録を行える。

また、図５Ａ、図５Ｂにおける点Ｘおよび、図６Ａ、図６Ｂにおける点Ｙ、Ｚが被写体距離に応じて音声データの強調度合いを変化させる幅は、デジタルカメラ１００の鏡筒１４１内の光学系により定義されるズーム倍率に応じて定まる。例えば、ズーム倍率が２０倍のときは、ズーム倍率が４倍のときよりも、図５Ａ、図５Ｂにおける点Ｘおよび、図６Ａ、図６Ｂにおける点Ｙ、Ｚが被写体距離に応じて音声データの強調度合いを変化させる幅が大きくなるように設定する。これにより、ズーム倍率が大きい光学系のとき、より被写体までの距離感を表現した音声の記録を実現できる。

また、実施の形態１では、非交換式の鏡筒１４１の場合で説明したが、交換式の鏡筒１４１を用いても構わない。このとき、デジタルカメラ１００は、図５Ａ、図５Ｂにおける点Ｘおよび、図６Ａ、図６Ｂにおける点Ｙ、Ｚが被写体距離に応じて音声データの強調度合いを変化させる幅を、装着された交換式の鏡筒１４１のズーム倍率に応じて、設定するようにすればよい。

また、実施の形態１において、図４、図５Ａ、図５Ｂで示した制御特性では、音量変化関数が直線的となるようにした。しかしながら、必ずしもこのような例に限定されない。例えば、音量変化関数が２次曲線となってもよい。また、実施の形態１において、音量変化関数は、テレ端、ワイド端で音声データの強調度合が０又は１となるようにしているが、必ずしもこのような例に限定されない。例えば、Ｌｃｈ、Ｒｃｈ用の音量変化関数はテレ端において０とならなくてもよい。特に、被写体距離が近い場合、撮影者が被写体に密着するほど近づいても周囲の音声は聴こえるので、テレ端においてもＬｃｈ、Ｒｃｈ用の音声データの強調度合いを０としなくてもよい。

また、実施の形態１においては、ズームの方式として、光学ズームの場合について説明したが、必ずしもこのような例に限定されない。例えば、ズームの方式が電子ズームであっても本開示の技術を適用できる。

また、上述したように、図５Ａ、図５Ｂにおける交点Ｘの位置の変化は、被写体距離に応じて連続的に変化させてもよい。この時、被写体距離の対数に比例するように交点Ｘの位置を変化させるとより大きな効果が得られる。被写体距離の対数を得る方法は、被写体距離を表すパラメータを２進数で表したときのビット数を用いることで簡易に実現できる。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

ここに開示される技術によれば、電子機器に搭載可能な収音装置を提供できるため、デジタルカメラ、ムービーカメラ、携帯電話、スマートフォン、ボイスレコーダなど、音声データの記録を行う機器にも適用できる。

１００ デジタルカメラ
１１０ 音声入力系
１１１ マイクロホン部
１１５ アナログ音声処理部
１１６ 制御系
１２０ デジタル画像・音声処理部
１３０ コントローラ
１４０ 画像入力系
１４１ 鏡筒
１４２ レンズ制御部
１４３ ＣＣＤイメージセンサ
１４４ ＡＦＥ
１５０ ＲＡＭ
１６０ 外部記憶媒体
１７０ ＲＯＭ
１８０ 操作部
１９０ 表示部
１９５ スピーカー
２０１ 無指向性マイクロホン
２０２ 無指向性マイクロホン
２０３ 指向性合成手段Ｌｃｈ
２０４ 指向性合成手段Ｃｃｈ
２０５ 指向性合成手段Ｒｃｈ
２０６ 距離測定手段
２０７ 音量制御手段
２０８ 音量調整器
２０９ 音量調整器
２１０ 音量調整器
２１１ 加算器
２１２ 加算器
１２０１ 遅延器
１２０２ 減算器
１２０３ 遅延器
１２０４ 減算器
１２０５ 増幅器
１２０６ 増幅器
１２０７ 減算器

Claims (5)

1. 被写体の像を撮像する撮像部と、
   前記被写体から自機器までの距離である被写体距離と一定の関係を有するパラメータを取得する取得部と、
   音声を集音し、音声データを生成する集音部と、
   前記被写体の像の拡大倍率を調節するズーミング部と、
   前記拡大倍率の変化に対して、前記音声データが示す音声の大きさを変化させる度合いを、前記パラメータに応じて変える音声処理部と、を備える、
   電子機器。
2. 前記集音部は、生成した前記音声データに基づいて、左方向に指向性を有する左側音声データ、および右方向に指向性を有する右側音声データ、の少なくとも何れか一方を指向性音声データとして生成し、
   前記音声処理部は、
   前記拡大倍率が上昇するのに応じて、前記指向性音声データが示す音の大きさを低下させ、
   前記パラメータが第１のパラメータを示す場合は、前記パラメータが前記第１のパラメータよりも前記被写体距離が長い旨を示す第２のパラメータを示す場合よりも、緩やかに前記指向性音声データが示す音の大きさを変化させる、
   請求項１に記載の電子機器。
3. 被写体の像を撮像する撮像部と、
   前記被写体から自機器までの距離である被写体距離と一定の関係を有するパラメータを取得する取得部と、
   音声を集音し、音声データを生成する集音部と、
   前記集音部により生成された音声データに基づいて、前記被写体から発せられた音声を示す被写体音声データと、前記音声データが示す音声のうち前記被写体音声以外の音声を示す周囲音声データと、を生成する処理である音声生成処理、および
   前記取得部が取得した前記パラメータに応じて、前記被写体音声データと前記周囲音声データとの混合比率を変更する音声制御処理、
   を実行する音声処理部と、を備える、
   電子機器。
4. 前記被写体の像の拡大倍率を調節するズーミング部をさらに備え、
   前記音声制御処理は、前記取得部が取得した前記パラメータ、および前記ズーミング部により調節された前記拡大倍率に応じて、前記被写体音声データと前記周囲音声データとの混合比率を変更する処理である、
   請求項３に記載の電子機器。
5. 前記集音部は、生成した前記音声データに基づいて、左方向に指向性を有する左側音声を示す左側音声データ、および右方向に指向性を有する右側音を示す右側音声データを少なくとも生成し、
   前記周囲音声データは、前記左側音声データ、および前記右側音声データを含む、
   請求項３又は４に記載の電子機器。

Images