JP2016009952A - 音声信号処理装置 - Google Patents

Abstract

【課題】違和感のないゲイン制御を行う。【解決手段】音声信号をデジタル信号に変換する変換部のゲインを切り替えるアンプ部と、変換部の出力の倍音成分が聞こえない帯域以下を通過させる第１のフィルタと、第１のフィルタの通過帯域以下の周波数を通過させる第２のフィルタと、第１のフィルタの出力と変換部の出力の一方を選択するスイッチと、スイッチの出力からアンプ部のゲインを制御するゲイン制御部と、ゲイン制御部の出力の高調波の折り返しノイズを低減する第３のフィルタと、第２のフィルタの出力が閾値を超えている場合に第１のフィルタの出力を選択させる制御手段とを備える。【選択図】図１

Description

本発明は、音声信号処理装置に関し、特にレベル制御に関する。

従来、音声信号処理装置として、撮像装置が知られている。これらの撮像装置においては、音声のレベルを制御するＡＧＣ回路が搭載されているものがほとんどであり、その中で特許文献１、２のように、ＡＧＣ制御対象の周波数は所定の周波数帯のみしている。

特開平０５−１９８０８９号公報 特開平０８−２９７９２３号公報

しかし、周波数の高い１０ＫＨｚ以上で大きな音が入力され音声が歪んだ場合、歪み成分も耳につきにくい２０ＫＨｚ以上の高い箇所で発生する。そのためこのような高い音声に対して歪まないような制御を行った場合、元音源に対して歪み成分が付着されるより、全体の感度変化が発生する方が、聴感上違和感が大きくなってしまうという課題があった。

そこで、本発明は、歪んでも聴感上違和感のない周波数帯域以上で音声が歪む場合はゲイン制御を行わず歪ませる処理のままとして、全体の感度を変えないように制御することで、このような解決することができる音声信号処理装置を提供することを目的とする。

本発明の音声信号処理装置は、かかる目的を達成するために、音声信号をデジタル化するデジタル変換部と、デジタル変換部のデータのゲインを切り替えるデジタルアンプ部と、デジタル変換部のデータの倍音成分が聞こえない帯域以下を通過させるＬＰＦ１と、ＬＰＦ１以下の周波数を通過させるＬＰＦ２と、ＬＰＦ１の出力データもしくはデジタル変換部のデータ出力のいずれかを判定部のデータにより切り替えるＳＷと、ＬＰＦ２のデータがある閾値を超えているか否かを判定する判定部と、ＳＷのデータからデジタルアンプ部のゲインを制御するゲイン制御部を有し、判定部がＬＰＦ２のデータが閾値を越えている場合はＬＰＦ１出力データによりゲイン制御部を動作させる音声処理装置を有する構成とした。

本発明によれば、音声データが歪んでも聴感上違和感のない周波数帯域以上で音声が歪む場合はゲイン制御を行わず歪ませる処理のままとし全体の感度を変えないように制御することで、違和感のないゲイン制御を行うことを可能とする。

音声信号処理装置のブロック図である。 音声処理部のブロック図である。 音声処理部のブロック図である。 音声信号の処理を示すフローチャートである。 音声信号の処理を示す制御フローチャートである。 音声信号の周波数特性を示す図である。 サンプリング周波数の切替選択画面を示す図である。 音質効果の切替選択画面を示す図である。

以下、図面を参照して本発明の実施例を詳細に説明するが、この発明は以下の実施の形態に限定されない。

図１、図２、図４、図６を用いて、音声信号をデジタル化するデジタル変換部と、デジタル変換部のデータのゲインを切り替えるデジタルアンプ部と、デジタル変換部のデータの倍音成分が聞こえない帯域以下を通過させるＬＰＦ１と、ＬＰＦ１以下の周波数を通過させるＬＰＦ２と、ＬＰＦ１の出力データもしくはデジタル変換部のデータ出力のいずれかを判定部のデータにより切り替えるＳＷと、ＬＰＦ２のデータがある閾値を超えているか否かを判定する判定部と、ＳＷのデータからデジタルアンプ部のゲインを制御するゲイン制御部を有し、判定部がＬＰＦ２のデータが閾値を越えている場合はＬＰＦ１出力データによりゲイン制御部を動作させる音声処理装置を有する音声信号処理装置について説明する。

図１は、実施例１の撮像装置１００の全体構成を示すブロック図である。図１において、１０１は、撮影レンズにより取り込まれた被写体の光学像をＣＣＤセンサやＣＭＯＳセンサ等の撮像素子により画像信号に変換し、アナログデジタル変換をして、画像処理部１０２に送信する撮像部。１０２は、入力されたデジタル画像信号に、設定値に基づいてホワイトバランスや色、明るさなどを調整する画質調整処理を行いメモリ１０５や後述の表示制御部１１１、制御部１１４に送信する画像処理部。

１０３は、内蔵されたマイクまたは音声入力端子を介して接続された外部マイク等により、撮像装置１００の周辺の音声を集音し、アナログデジタル変換をして音声処理部１０４に送信する音声入力部。１０４は、入力されたデジタル音声信号のレベルの適正化処理、特定周波数の低減処理等の音声に関する処理を行いメモリ１０５に送信する音声処理部。１０５は、画像処理部１０２、音声処理部１０４により得られた画像信号及び音声信号を一時的に記憶するメモリ。１０６は、メモリ１０５に一時的に記憶された画像信号や音声信号を読み出して画像信号の符号化、音声信号の符号化などを行い、圧縮画像データ、圧縮音声データ等を生成し、記録再生部１０７に送信する符号化処理部。

１０７は、符号化処理部１０６で生成された圧縮画像データ、圧縮音声データ、その他撮影に関する制御データ等を記録媒体１０８記録媒体に転送し記録制御を行ったり、記録媒体１０８に記録された圧縮画像データ、圧縮音声データ、各種データ、プログラムを読み出しする記録再生部。１０８は、記録再生部１０７からのデータを記録保存する記録媒体である。圧縮画像データ、圧縮音声データ、等を記録することができれば、磁気ディスク、光学式ディスク、半導体メモリなどのあらゆる方式の記録媒体であってよく、また複数の記録媒体であってもよい。

１１１は、符号化処理部１０６から送信された画像信号や画像処理部１０２から送信された画像信号にかかる映像や、撮像装置１００の操作をするための操作画面（メニュー画面）等を表示部１１２に表示させる表示制御部。１１２は、表示制御部からのデータを表示する表示部である。例えば、液晶ディスプレイ、有機ＥＬディスプレイ、電子ペーパー等の表示デバイスなどである。１１３は、ボタンやダイヤルなどからなり、ユーザの操作に応じて、指示信号を制御部１１４に送信する操作部。例えば、電源ボタン、記録開始ボタン、メニュー表示ボタン、決定ボタン、カーソルキー、表示部１１２の任意の点を指定するためのポインティングデバイス、タッチパネル等からなる。

１１４は、操作部から送信された指示信号に基づいて、撮像装置１００の各ブロックに制御信号を送信することで、各ブロックを制御する制御部。各種処理（プログラム）を実行するための例えば、ＣＰＵ（ＭＰＵ）、メモリ（ＤＲＡＭ、ＳＲＡＭ）などからなる。１１７は、各種データ、制御信号などを撮像装置１００の各ブロックに送るバスである。

ここで、本実施例の音声信号処理装置の通常の動作について説明する。本実施例の撮像装置１００は、ユーザが操作部１１３の電源ボタンを操作すると、操作部１１３から制御部１１４に起動の指示が出される。この指示を受けて、制御部１１４は、不図示の電源供給部を制御して、撮像装置１００の各ブロックに対して電源を供給させる。

電源が供給されると、制御部１１４は、例えば、操作部１１３のモード切り換えスイッチが、例えば、撮影モード、再生モード等のどのモードであるかを操作部１１３からの指示信号により確認する。撮影モードでは、撮像装置１００は撮影待機状態でユーザが操作部１１３の記録開始ボタンを操作することで、撮影を開始し、その間、圧縮画像データと圧縮音声データが、記録媒体１０８に記録される。そしてユーザが操作部１１３の撮影終了ボタンを操作することで、撮影を終了し、再び撮影待機状態になる。再生モードでは、ユーザが選択したファイルに関する圧縮画像データと圧縮音声データを記録媒体１０８から再生して表示部１１２に映像を表示させる。

まず、撮影モードについて説明する。撮影モードが設定されると前述のようにまず、撮影待機状態に設定される。撮影待機状態で、ユーザが操作部１１３の記録開始ボタンを操作することにより撮影開始の指示信号が送信されると、制御部１１４は、撮影開始の制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせるように制御する。

撮像部１０１は、撮影レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換し、画像処理部１０２に送信する。画像処理部１０２は、入力されたデジタル画像信号の画質調整処理（ホワイトバランスや色、明るさなど）を設定値に基づいて処理し、表示制御部１１１に送信する。表示制御部１１１は、受信した画像信号に関する映像を表示部１１２に表示させる。また、画像信号はメモリ１０５にも出力され、メモリ１０５に一時的に記憶される。

音声入力部１０３は、マイクにより得られたアナログ音声信号をデジタル変換し、得られたデジタル音声信号音声処理部１０４に送信する。音声処理部１０４は、入力されたデジタル音声信号のレベルの適正化処理、特定周波数の低減処理等をして音声信号を生成して、メモリ１０５に一時的に記憶される。

そして、符号化処理部１０６は、メモリ１０５に一時的に記憶された画像信号や音声信号を読み出して所定の符号化を行い、圧縮画像データ、圧縮音声データ等を生成する。そして、制御部１１４は、これらの圧縮画像データ、圧縮音声データを合成し、データストリームを形成し、記録再生部１０７に出力する。記録再生部１０７は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体１０８に書き込んでいく。

以上の動作を撮影中は継続する。そして、ユーザが操作部１１３の記録ボタンを操作することにより撮影終了の指示信号が制御部１１４に送信されると、制御部１１４は、撮影終了の制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせるように制御する。

画像処理部１０２、音声処理部１０４は、それぞれ画像信号、音声信号をメモリ１０５に送信するのを停止する。そして、符号化処理部１０６は、メモリ１０５に記憶されている残りの画像信号と音声信号とを読出して所定の符号化を行い、圧縮画像データ、圧縮音声データ等を生成し、それが終わると動作を停止する。

制御部１１４は、これらの最後の圧縮画像データ、圧縮音声データを合成し、データストリームを形成し、記録再生部１０７に出力する。

記録再生部１０７は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体１０８に書き込んでいく。そして、データストリームの供給が停止したら、動画ファイルを完成させて、記録動作を停止させる。

制御部１１４は、記録動作が停止すると、撮影待機状態に移行させるように制御信号を撮像装置１００の各ブロックに送信して、撮影待機状態に戻る。

また、撮影待機状態では、制御部１１４は、撮像装置１００の各ブロックを以下のような動作をさせるように制御する。画像処理部１０２は、画像信号を表示制御部１１１に送信し表示部１１２に画像信号に関する映像を表示させる。ユーザはこの様にして表示された画面を見ながら撮影の準備を行う。

次に、再生モードでは、制御部１１４は、再生状態に移行させるように制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせる。記録媒体１０８に記録された圧縮画像データと圧縮音声データとからなる動画ファイルを記録再生部１０７が読出して、読出された圧縮画像データ、圧縮音声データは、符号化処理部１０６に送る。符号化処理部１０６は、圧縮画像データ、圧縮音声データを一時的にメモリ１０５に記憶させ、所定の手順で復号し、復号化した画像信号を表示制御部１１１に送信する。表示制御部１１１は、入力された画像信号にかかる映像を表示部１１２に表示させる。

ここで、本実施例の音声信号処理装置の特徴的な動作について説明する。前述したように、本実施例の音声信号処理装置は、音声データが歪んでも聴感上違和感のない周波数帯域以上で音声が歪む場合はゲイン制御を行わず歪ませる処理のままとして、全体の感度を変えないように制御することができる。この動作について、図２のブロック図及び図４のフローチャート、図６の音声スペクトラム図を用いて、詳細に説明する。なお、図４のフローチャートは、本実施例の音声信号処理装置の制御部１１４で実行されるものである。

図２は、図１の音声処理部１０４のうち、本装置の特徴的な制御ブロックの図であり、図２の２０１は、音声入力部１０３の音声信号をデジタル化するデジタル変換部、２０２は、デジタル変換部２０１の信号のゲインを切り替えるデジタルアンプ部、２０３は、デジタル変換部２０１の信号のうち、倍音成分が聞こえない帯域以下を通過させるＬＰＦ１、２０４は、ＬＰＦ１以下の周波数を通過させるＬＰＦ２、２０５は、ＬＰＦ２のデータがある閾値を超えているか否かを判定する判定部、２０６は、ＬＰＦ１の出力データもしくはデジタル変換部のデータ出力のいずれかを判定部のデータにより切り替えるＳＷ、２０７は、ＳＷのデータからデジタルアンプ部のゲインを制御するゲイン制御部、２０８はデジタルアンプ部の出力に位置し、折り返し雑音を低減するＬＰＦ３である。

図６の３０１は、ＬＰＦ２低域が閾値以下となる音声データスペクトラムを表した図、３０２は、３０１の信号を後述する３０３のデジタルクリップレベルを超えないようにデジタルアンプ部２０２を制御した場合の出力波形を表した図、３０３は、デジタルアンプ部２０２の出力がデジタルクリップするレベル、３０４は、判定部２０５の結果が、低域多い音源と判断する閾値、３０５は、デジタルアンプ部２０２がある一定のゲインとなっている場合の出力波形であり、３０６は、３０５の波形がデジタルクリップしないように減衰させた波形である。

４０１は、ＬＰＦ２低域が閾値以上となる音声データスペクトラムを表した図、４０２は、４０１の信号を３０３デジタルクリップレベルを超えないようにデジタルアンプ部２０２を制御した場合の出力波形を表した図、４０３は、デジタルアンプ部２０２がある一定のゲインとなっている場合の出力波形であり、４０４は、４０３の波形がデジタルクリップしないように減衰させた波形である。５０１は、４０１の波形をデジタルクリップさせた波形を表した図であり、５０２は、４０３の波形をデジタルアンプ部２０２のゲイン制御を行わずにデジタルクリップさせた波形、５０３は、デジタルクリップし発生した高調波成分である。

以下図４を中心に説明を行う。図４のＳ１０１にて本信号処理をスタートさせる。Ｓ１０２にて２０４ＬＰＦ２の出力が図６の４０５のような閾値以上のレベルである場合、低域が多い音源と判断する。低域が多い音源の場合Ｓ１０３に進みＳＷ２０６をＬＰＦ１側に倒す。Ｓ１０４にて２０７ゲイン制御部の制御元信号がＬＰＦ１出力データとなるため、Ｓ１０５にて高域成分のゲイン制御が行われず、図６の５０２の波形のように低域のレベル変化を抑えた信号処理となる。Ｓ１０２にて２０４ＬＰＦ２の出力が図６の３０７のようにある閾値以下のレベルである場合、低域成分が小さいと判断しＳ１０６へ進む。Ｓ１０６では２０６ＳＷをデジタル変換部直後のデータを使用する側に倒す。Ｓ１０７にて、２０７ゲイン制御部の制御元信号がすべての音声データとなるため、Ｓ１０８にて高域の音声が入力された場合でもゲイン制御を行い図６の３０６のような出力波形となる。これにより、低域成分が少ない場合は高域音声のリニアリティーを重要視するモードに自動で切り替わる。

以上説明したように、本実施例の音声信号処理装置は、音声データが歪んでも聴感上違和感のない周波数帯域以上で音声が歪む場合はゲイン制御を行わず歪ませる処理のままとして、全体の感度を変えないように制御することができる。このような動作により、本実施例の音声信号処理装置は、違和感の少ないゲイン切替を行える効果を得ることができる。

なお、本実施例の説明では、Ｓ１０２で閾値を固定としているが、操作部を用いてユーザーに任意に切替を行えてもよい。このような構成にすることで、ユーザーの異なる聴覚特性に合わせることができ、より効果が高まる。

また、本実施例では、撮像装置を例にとって説明したが、本発明は、撮像装置に限られるものではない。本実施例のように音声を集音するものであれば、どのような装置であってもよい。たとえば、ボイスレコーダーや携帯電話、スマートフォン、パソコンであってもよい。

図３、図５、図７、図８を用いて、ユーザーが記録させる音声のサンプリング周波数を決定する操作部と、ユーザーが低域を優先するか否かを選択する操作部と、ユーザーが記録させる音声の操作部の情報と低域を優先するか否かの情報から各フィルタのカットオフ周波数を決定する制御部とを有し、記録されるサンプリング周波数の帯域内でデジタルアンプのゲイン制御おこなわれるようにＬＰＦ１とＬＰＦ２とＬＰＦ３のカットオフ周波数をサンプリング周波数に応じて切り替えまた、その制御自体をユーザーが選択できることを特徴とする音声記録装置について説明する。

図３は実施例２の装置の特徴となるブロック図、図５は実施例２の制御フローチャート、図７は実施例２のサンプリング周波数切替選択画面表示例はであり、６０１は３つの選択肢がある選択画面例で、６０２は選択肢である。図８は低域を優先するモードの選択画面例であり、７０１は選択画面表示例であり、７０２はＯＮするはＯＦＦするかの選択肢である。

以下図５を中心に説明を行う。図７の表示を元にユーザーがサンプリング周波数を切り替える操作をおこなった場合、もしくは図８の低域を優先するモードの選択を切り替えた場合に、図５のＳ２０１にて切替制御を開始する。Ｓ２０２にてユーザーにより選択されたサンプリング周波数情報を取得する。Ｓ２０３にてＬＰＦ３のカットオフ周波数をサンプリング周波数の１／２に設定する。Ｓ２０４にて、ＬＰＦ１のカットオフ周波数をサンプリング周波数の１／４に設定し、デジタルアンプ部２０２にて歪んだ２次高調波が記録されないようにする。Ｓ２０５にてユーザーが低域優先モードを選択している場合は、ＬＰＦ２のカットオフ周波数をＬＰＦ１のカットオフ周波数以下に設定し、図４のＳ１０１の制御に移行する。

Ｓ２０５で低域優先モードでない時、Ｓ２０６へ移行しＬＰＦ２のカットオフ周波数を０Ｈｚ（ＯＦＦ）にして、図４のＳ１０１の制御に移行する。

これにより、入力される音声ではなく音声データが歪んでも記録されない周波数帯域以上でレベル制御を行うため、従来の制御に対して全体の感度を変えないように制御することができる。このような動作により、本実施例の音声信号処理装置は、違和感の少ないゲイン切替を行える効果を得ることができる。

１００ 撮像装置、１０１ 撮像部、１０２ 画像処理部、１０３ 音声入力部、
１０４ 音声処理部、１０５ メモリ、１０６ 符号化処理部、１０７ 記録再生部、
１０８ 記録媒体

Claims (3)

1. アナログ音声信号をデジタル化するデジタル変換部と、
   前記デジタル変換部のデータのゲインを切り替えるデジタルアンプ部と、
   前記デジタル変換部のデータの倍音成分が聞こえない帯域以下を通過させる第１のフィルタと、
   前記第１のフィルタの通過帯域以下の周波数を通過させる第２のフィルタと、
   前記第２のフィルタのデータが閾値を超えているか否かを判定する判定部と、
   前記第１のフィルタの出力もしくは前記デジタル変換部の出力のいずれかを前記判定部の判定結果により切り替えるスイッチと、
   前記スイッチからのデータから前記デジタルアンプ部のゲインを制御するゲイン制御部と、
   ゲイン制御部の出力データの高調波歪みの折り返しノイズを低減する第３のフィルタと、
   前記判定部が、前記第２のフィルタのデータが閾値を越えていると判定した場合は前記第１のフィルタの出力データにより前記ゲイン制御部を動作させる制御手段とを備えることを特徴とする音声信号処理装置。
2. 音声のサンプリング周波数を決定する操作部と、操作部の情報から各フィルタのカットオフ周波数を決定する制御部を有し、前記第１のフィルタ、前記第２のフィルタ及び前記第３のフィルタのカットオフ周波数をサンプリング周波数に応じて切り替えることを特徴とする請求項１に記載の音声信号処理装置。
3. 前記サンプリング周波数の１／４を前記第１のフィルタのカットオフ周波数とすることを特徴とする請求項２に記載の音声信号処理装置。