JP2011199387A - データ処理装置、及び、データ処理方法 - Google Patents

データ処理装置、及び、データ処理方法 Download PDF

Info

Publication number
JP2011199387A
JP2011199387A JP2010061169A JP2010061169A JP2011199387A JP 2011199387 A JP2011199387 A JP 2011199387A JP 2010061169 A JP2010061169 A JP 2010061169A JP 2010061169 A JP2010061169 A JP 2010061169A JP 2011199387 A JP2011199387 A JP 2011199387A
Authority
JP
Japan
Prior art keywords
noise
information
motor
noise information
silence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2010061169A
Other languages
English (en)
Inventor
Kaoru Suwabe
薫 諏訪部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010061169A priority Critical patent/JP2011199387A/ja
Publication of JP2011199387A publication Critical patent/JP2011199387A/ja
Withdrawn legal-status Critical Current

Links

Images

Abstract

【課題】ノイズとしてのモータ音の低減に適切なノイズ情報を得る。
【解決手段】無音情報更新部73は、レンズを駆動するモータが動作しておらず、周囲が無音状態であるときの、マイクが出力する暗騒音のみの音声データの周波数データによって、暗騒音の情報である無音情報を記憶する無音情報記憶部74に記憶された無音情報を更新する。ノイズ情報更新部76は、無音情報が更新された直後に、モータが動作を開始した場合に、モータの動作の開始直後にマイクが出力する音声データの周波数データを、無音情報記憶部74に記憶された無音情報によって補正することにより、モータ音のみの周波数データを求め、その周波数データによって、ノイズ情報記憶部63のノイズ情報を更新する。本発明は、例えば、動画の撮影が可能なディジタルカメラ等に適用できる。
【選択図】図6

Description

本発明は、データ処理装置、及び、データ処理方法に関し、特に、例えば、ノイズの低減に適切なノイズ情報を得ることができるようにするデータ処理装置、及び、データ処理方法に関する。
図1は、従来のディジタルカメラの一例の構成を示すブロック図である。
なお、ディジタルカメラには、動画(画像、及び、音声)を撮影するビデオカメラや、静止画及び動画のいずれも撮影が可能なスチルカメラ等の、動画の撮影が可能なカメラが含まれる。
図1において、ディジタルカメラは、マイク11,A/D(Analog Digital)変換部12、音声コーデック部13、撮像部21、A/D変換部23、画像コーデック部24、及び、マルチプレクサ部31を有する。
マイク(マイクロフォン)11は、周囲の音を集音し、アナログの音声信号を出力する。マイク11が出力する音声信号は、A/D変換部12に供給される。
A/D変換部12は、マイク11からの音声信号をA/D変換し、その結果得られる、ディジタルの音声データを、音声コーデック部13に供給する。
音声コーデック部13は、例えば、MPEG(Moving Picture Experts Group)等の所定の圧縮方式で、A/D変換部12からの音声データを圧縮し、マルチプレクサ部31に供給する。
一方、撮像部21は、周囲の光を集光するレンズ22等の光学系と、例えば、CCD(Charged Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)イメージャ等の、図示せぬ光電変換素子とを含み、所定のフレームレートで画像を撮像し、アナログの画像信号を出力する。
撮像部21が出力する画像信号は、A/D変換部23に供給される。
A/D変換部23は、撮像部21からの画像信号をA/D変換し、その結果得られる、ディジタルの画像データを、画像コーデック部24に供給する。
画像コーデック部24は、例えば、MPEG等の所定の圧縮方式で、A/D変換部12からの画像データを圧縮し、マルチプレクサ部31に供給する。
マルチプレクサ部31は、音声コーデック部13からの音声データと、画像コーデック部24からの画像データとを多重化し、その結果得られる多重化データを格納したファイルを出力する。
マルチプレクサ部31が出力するファイルは、図示せぬ記録媒体に記録される。
以上のようなディジタルカメラのように、本体に、小型のマイクを内蔵するディジタル機器は、近年益々小型化されている。
このため、オートフォーカスや、ズームのために、レンズ22を駆動するモータ(図示せず)と、マイク11とが近接し、動画の記録(録画)時に、モータが発するモータ音を含む音が、マイク11から集音され、その結果、本来記録したい音とともに、モータ音が記録されることがある。
動画の記録時に記録されるノイズとしてのモータ音を低減する方法としては、マイク11で集音されるモータ音を低減する(マイク11でノイズが集音されないようにする)、いわゆるパッシブな方法がある。
パッシブな方法としては、マイク11が収納されたマイクユニットを、ディジタルカメラの筐体であるキャビネットからゴムダンパ等のインシュレータで浮かせる構造や、ゴムワイヤ等でマイクユニットを中空に浮かすような構造等の、モータの振動がマイクユニットに伝わることを抑制する構造(以下、振動抑制構造ともいう)を採用することで、キャビネットから伝わるモータの振動を吸収し、マイクユニットに伝わらないようにする方法がある。
しかしながら、振動抑制構造を採用しても、モータの振動のすべてを抑えることは困難であり、さらに、振動抑制構造は、コストダウンや小型化を阻害する要因となる。
また、マイク11が集音するモータ音(モータが原因で発する音)には、モータの振動がキャビネットを伝わりマイクユニットを振動させる振動ノイズと、モータの駆動音(騒音)が空気中を伝わり、マイク11に入力される音響ノイズとがある。
振動抑制構造によれば、モータの振動ノイズを抑制することはできるが、モータの音響ノイズを抑制することは困難である。
また、モータの音響ノイズは、伝達経路が複雑であることもあって、マイク11で集音されるノイズを低減するパッシブな方法では、十分に低減することは困難である。
そこで、動画の記録時に記録されるノイズとしてのモータ音を低減する方法として、マイク11が出力する音声データ(音声信号)から、その音声データに含まれるモータ音を低減する、いわゆるアクティブな方法がある。
アクティブな方法を採用したディジタルカメラとしては、ノイズとなるモータ音を、スペクトラルサブトラクション(spectral subtraction)法によるノイズ低減処理によって低減するディジタルカメラ(撮像装置)が提案されている(例えば、特許文献1を参照)。
図2は、ノイズ低減処理を行う従来のディジタルカメラの一例の構成を示すブロック図である。
なお、図中、図1の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
すなわち、図2のディジタルカメラは、モータ制御部41、ノイズ低減部42、及び、ノイズ情報記憶部43が新たに設けられている他は、図1のディジタルカメラと同様に構成されている。
モータ制御部41は、オートフォーカスや、ズームのために、レンズ22を駆動するモータ(図示せず)を駆動する制御を行う。
さらに、モータ制御部41は、モータが動作中か、又は、停止中かを表すモータ制御情報を、ノイズ低減部42に供給する。
ノイズ低減部42は、ノイズ情報記憶部43に記憶されたノイズ情報を用い、モータ制御部41からのモータ制御情報に基づいて、A/D変換部12から供給される音声データ(マイク11で集音された音声データ)のノイズとしてのモータ音を低減するノイズ低減処理を行う。
すなわち、ノイズ情報記憶部43には、ノイズとしてのモータ音の情報であるノイズ情報として、モータ音の周波数データ(スペクトル)が記憶されている。
ノイズ低減部42は、モータ制御部41からのモータ制御情報が、モータが動作中であることを表しているときに、A/D変換部12から供給される音声データの周波数データから、ノイズ情報記憶部43に記憶されたノイズ情報としてのモータ音の周波数データを減算するノイズ低減処理を行う。
そして、ノイズ低減部42は、ノイズ低減処理後の音声データを、音声コーデック部13に供給する。
図3は、図2のノイズ低減部42がノイズに関して行うノイズ処理を説明するフローチャートである。
図2のディジタルカメラにおいて、動画の記録が開始されると、ノイズ低減部42は、ステップS11において、A/D変換部12から供給される音声データを、所定の時間長であるフレーム単位の音声データに分割するフレーム分割を行って、処理は、ステップS12に進む。
すなわち、ノイズ低減部42は、A/D変換部12から供給される音声データから、所定の時間長分の音声データを、注目するフレームである注目フレームの音声データとして抽出する。
ステップS12では、ノイズ低減部42は、注目フレーム(の音声データ)に、例えば、ハミング窓やハニング窓等の所定の窓をかけ、フーリエ変換(例えば、FFT(Fast Fourier Transform))を行うことで、注目フレームの周波数データ(スペクトル)を求めて、処理は、ステップS13に進む。
ステップS13では、ノイズ低減部42は、モータ制御部41からのモータ制御情報に基づいて、モータが動作中かどうかを判定する。
ステップS13において、モータが動作中であると判定された場合、処理は、ステップS14に進み、ノイズ低減部42は、注目フレームの周波数データから、ノイズ情報記憶部43に記憶されたノイズ情報としてのモータ音の周波数データを減算するノイズ低減処理を行うことにより、ノイズとしてのモータ音を低減した注目フレームの周波数データを求め、処理は、ステップS15に進む。
一方、ステップS13において、モータが動作中でないと判定された場合、処理は、ステップS14をスキップして、ステップS15に進む。
したがって、モータが停止中の場合には、注目フレームの周波数データから、ノイズ情報記憶部43に記憶されたノイズ情報を減算する処理(ステップS14)は、行われない。すなわち、ノイズ低減部42では、モータが動作中である場合にのみ、ノイズ低減処理が行われる。
ステップS15では、ノイズ低減部42は、注目フレームの周波数データを逆フーリエ変換することにより、注目フレームの音声データ(時間領域のデータ)に戻し、処理は、ステップS16に進む。
ステップS16では、ノイズ低減部42は、注目フレームを、直前に処理したフレーム(直前に、注目フレームであったフレーム)に合成するフレーム合成を行い、処理は、ステップS17に進む。
なお、フレーム合成後の音声データが、ノイズ低減部42の後段の音声コーデック部13に供給される。
ステップS17では、ノイズ低減部42は、動画の記録が終了されたかどうかを判定する。
ステップS17において、動画の記録が終了していないと判定された場合、処理は、ステップS11に戻り、ノイズ低減部42は、A/D変換部12から供給される音声データから、注目フレームの先頭のタイミングより後のタイミングを先頭とするフレームの音声データを、新たな注目フレームの音声データとして抽出し、以下、同様の処理を繰り返す。
また、ステップS17において、動画の記録が終了されたと判定された場合、ノイズ低減部42は、処理を終了する。
以上のように、図2のディジタルカメラでは、ノイズ情報記憶部43に、モータ音の周波数データ(スペクトル)を、ノイズ情報として記憶しておき、モータが動作中のときのみ、ノイズ情報を用いて、ノイズ低減処理が行われる。
特開2006-279185号公報
図2のディジタルカメラのように、ノイズ情報記憶部43に、モータ音の周波数データを、ノイズ情報として、あらかじめ記憶しておく場合には、ディジタルカメラにおいて実際に発生するモータ音(のスペクトル)と、ノイズ情報記憶部43に記憶されたノイズ情報とが異なるときに、マイク11で集音された音声データに含まれるノイズとしてのモータ音を適切に低減することが困難となる。
すなわち、同一の種類(型)のディジタルカメラであっても、個体差により、モータ音(のスペクトル)が異なることがある。また、1つのディジタルカメラであっても、繰り返し使用することにより、モータの摩耗等の経年変化によって、モータ音が変化することがある。
以上のように、ディジタルカメラにおいて、個体差や経年変化等に起因して、ノイズ情報記憶部43に記憶されているノイズ情報が、そのディジタルカメラが実際に発生するモータ音(のスペクトル)と異なる場合には、マイク11で集音された音声データに含まれるノイズとしてのモータ音を適切に低減することが困難となる。
本発明は、このような状況に鑑みてなされたものであり、ノイズとしてのモータ音の低減に適切なノイズ情報を得ることができるようにし、ひいては、ノイズとしてのモータ音を、適切に低減することができるようにするものである。
本発明の第1の側面のデータ処理装置は、レンズを駆動するモータの動作状態を判定する動作状態判定手段と、周囲が無音状態であるかどうかを判定する無音判定手段と、前記モータが動作しておらず、周囲が無音状態であるときの、周囲の音を集音する集音手段が出力する音声データの情報によって、暗騒音の情報である無音情報を記憶する無音情報記憶手段に記憶された前記無音情報を更新する無音情報更新手段と、前記無音情報が更新された直後に、前記モータが動作を開始した場合に、前記モータの動作の開始直後に前記集音手段が出力する音声データの情報を、前記無音情報記憶手段に記憶された前記無音情報によって補正することにより、前記モータのモータ音の情報を求め、そのモータ音の情報によって、ノイズ情報を記憶するノイズ情報記憶手段に記憶された前記ノイズ情報を更新するノイズ情報更新手段とを備えるデータ処理装置である。
本発明の第1の側面のデータ処理方法は、データ処理装置が、レンズを駆動するモータの動作状態を判定し、周囲が無音状態であるかどうかを判定し、前記モータが動作しておらず、周囲が無音状態であるときの、周囲の音を集音する集音手段が出力する音声データの情報によって、暗騒音の情報である無音情報を記憶する無音情報記憶手段に記憶された前記無音情報を更新し、前記無音情報が更新された直後に、前記モータが動作を開始した場合に、前記モータの動作の開始直後に前記集音手段が出力する音声データの情報を、前記無音情報記憶手段に記憶された前記無音情報によって補正することにより、前記モータのモータ音の情報を求め、そのモータ音の情報によって、ノイズ情報を記憶するノイズ情報記憶手段に記憶された前記ノイズ情報を更新するステップを含むデータ処理方法である。
以上のような第1の側面においては、レンズを駆動するモータの動作状態が判定され、周囲が無音状態であるかどうかが判定される。前記モータが動作しておらず、周囲が無音状態であるときの、周囲の音を集音する集音手段が出力する音声データの情報によって、暗騒音の情報である無音情報を記憶する無音情報記憶手段に記憶された前記無音情報が更新され、前記無音情報が更新された直後に、前記モータが動作を開始した場合に、前記モータの動作の開始直後に前記集音手段が出力する音声データの情報を、前記無音情報記憶手段に記憶された前記無音情報によって補正することにより、前記モータのモータ音の情報が求められる。そして、そのモータ音の情報によって、ノイズ情報を記憶するノイズ情報記憶手段に記憶された前記ノイズ情報が更新される。
本発明の第2の側面のデータ処理装置は、レンズを駆動するモータの動作状態を判定する動作状態判定手段と、前記モータが動作を開始した場合に、前記モータの動作の開始直後に前記集音手段が出力する音声データの情報によって、ノイズ情報を記憶するノイズ情報記憶手段に記憶された前記ノイズ情報を更新するノイズ情報更新手段と、前記ノイズ情報を用いて、前記集音手段が出力する音声データのノイズを低減するノイズ低減処理を行うノイズ低減手段とを備えるデータ処理装置である。
本発明の第2の側面のデータ処理方法は、データ処理装置が、レンズを駆動するモータの動作状態を判定し、前記モータが動作を開始した場合に、前記モータの動作の開始直後に前記集音手段が出力する音声データの情報によって、ノイズ情報を記憶するノイズ情報記憶手段に記憶された前記ノイズ情報を更新し、前記ノイズ情報を用いて、前記集音手段が出力する音声データのノイズを低減するノイズ低減処理を行うステップを含むデータ処理方法である。
以上のような第2の側面においては、レンズを駆動するモータの動作状態が判定され、前記モータが動作を開始した場合に、前記モータの動作の開始直後に前記集音手段が出力する音声データの情報によって、ノイズ情報を記憶するノイズ情報記憶手段に記憶された前記ノイズ情報が更新される。そして、前記ノイズ情報を用いて、前記集音手段が出力する音声データのノイズを低減するノイズ低減処理が行われる。
なお、データ処理装置は、独立した装置であっても良いし、1つの装置を構成している内部ブロックであっても良い。
また、コンピュータを、データ処理装置として機能させることができ、コンピュータをデータ処理装置として機能させるためのプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本発明の第1の側面によれば、ノイズとしてのモータ音の低減に適切なノイズ情報を得ることができる。
また、本発明の第2の側面によれば、音声データに含まれる、ノイズとしてのモータ音を低減することができる。
従来のディジタルカメラの一例の構成を示すブロック図である。 ノイズ低減処理を行う従来のディジタルカメラの一例の構成を示すブロック図である。 ノイズ低減部42がノイズに関して行うノイズ処理を説明するフローチャートである。 本発明を適用したディジタルカメラの一実施の形態の構成例を示す斜視図である。 ディジタルカメラの動画の処理を行う部分の機能的な構成例を示すブロック図である。 ノイズ処理部62の構成例を示すブロック図である。 ノイズ低減部77によるノイズ低減処理を説明する図である。 ノイズ情報更新部76が、ノイズ情報記憶部63に記憶されたノイズ情報を更新するノイズ情報更新処理を説明する図である。 ノイズ処理部62が行う処理(ノイズ処理)を説明するフローチャートである。 静止画の記録時に、ノイズ処理を行う場合に、そのノイズ処理に関係する部分のディジタルカメラの構成例を示すブロック図である。 静止画の記録時に行われるノイズ処理を説明するフローチャートである。 ノイズ情報記憶部63に記憶されるノイズ情報の例を示す図である。 ノイズ情報記憶部63に、モータの種類ごとのノイズ情報が記憶される場合のノイズ処理を説明するフローチャートである。 ノイズ情報記憶部63に、複数のズーム位置それぞれについてのノイズ情報が記憶される場合のノイズ処理を説明するフローチャートである。 ノイズ情報記憶部63に、最新のN個のノイズ情報が記憶される場合のノイズ処理を説明するフローチャートである。 ノイズ情報記憶部63に、基準サイズ情報と、N個の差分情報が記憶される場合のノイズ処理を説明するフローチャートである。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
[本発明を適用したディジタルカメラの一実施の形態]
図4は、本発明のデータ処理装置を適用したディジタルカメラの一実施の形態の構成例を示す斜視図である。
すなわち、図4Aは、ディジタルカメラを、前面側から見た斜視図であり、図4Bは、ディジタルカメラを、背面側から見た斜視図である。
ディジタルカメラの前面には、音声を集音するためのマイク11と、画像を撮影するためのレンズ22とが設けられている。
また、ディジタルカメラの上部(上面)には、シャッタボタン(レリーズボタン)51が設けられている。
ディジタルカメラでは、シャッタボタン51が(押圧)操作されることにより、静止画の記録(撮影)が行われ、又は、動画の記録が開始、若しくは、停止される。
ディジタルカメラの背面側には、撮影モード切り替えボタン52と、ズームボタン53とが設けられている。
撮影モード切り替えボタン52は、ディジタルカメラの撮影モードを、動画を撮影する動画モード、又は、静止画を撮影する静止画モードに切り替えるときに操作される。
ズームボタン53は、ズーム(倍率)を調整するときに操作される。
例えば、ユーザが、撮影モード切り替えボタン52を操作することによって、撮影モードを動画モードとし、シャッタボタン51を操作すると、ディジタルカメラでは、動画の記録が開始される。
このとき、ユーザが、ズームボタンを操作すると、ズームのために、レンズ22を駆動するモータ(図示せず)が駆動され、レンズ22の位置(ズーム位置)が変化して、ズーム(倍率)が変化する。
そして、モータが駆動することによって発生するモータ音が、マイク11で集音され、その結果、マイク11が出力する音声データは、モータ音を含んだ音声データとなる。
図5は、図4のディジタルカメラの動画の処理を行う部分の機能的な構成例を示すブロック図である。
なお、図5において、図2の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
すなわち、図5のディジタルカメラは、マイク11、A/D変換部12、音声コーデック部13、レンズ22を含む撮像部21、A/D変換部23、画像コーデック部24、及び、マルチプレクサ部31を有する点で、図2の場合と共通する。
但し、図5のディジタルカメラは、モータ制御部41、ノイズ低減部42、及び、ノイズ情報記憶部43それぞれに代えて、モータ制御部61、ノイズ処理部62、及び、ノイズ情報記憶部63が設けられている点で、図2の場合と相違する。
モータ制御部61は、図2のモータ制御部41と同様に、オートフォーカスや、ズームのために、レンズ22を駆動するモータ(図示せず)を駆動する制御を行い、また、モータが動作中か、又は、停止中かを表すモータ制御情報を、ノイズ処理部62に供給する。
なお、ディジタルカメラは、オートフォーカス用のAFモータ(フォーカスを調整するためのモータ)や、ズーム用のズームモータ(ズームを調整するためのモータ)等の複数種類のモータを内蔵している。
モータ制御部61がノイズ処理部62に供給するモータ制御情報には、モータが動作中である場合に、動作中のモータの種類を表す情報を含めることができる。
さらに、モータ制御情報には、動作中のモータが、ズームモータである場合に、ズーム位置(ズームモータによって駆動されるレンズ21の位置に相当)を含めることができる。
ノイズ処理部62には、モータ制御部61からモータ制御情報が供給される他、A/D変換部12から、マイク11で集音された音声データが供給される。
ノイズ処理部62は、ノイズ情報記憶部63に記憶されたノイズ情報を用い、モータ制御部61からのモータ制御情報に基づいて、A/D変換部12から供給される音声データ(マイク11で集音された音声データ)のノイズとしてのモータ音を低減するノイズ低減処理を行って、そのノイズ低減処理後の音声データを、音声コーデック部13に供給する。
また、ノイズ処理部62は、ノイズ情報記憶部63に記憶された、ノイズとしてのモータ音の情報であるノイズ情報を更新する。
ノイズ情報記憶部63は、ノイズとしてのモータ音の情報であるノイズ情報を記憶する。
なお、ノイズ情報記憶部63は、例えば、EEPROM(Electrically Erasable Programmable Read Only Memory)等の不揮発性メモリで構成され、ディジタルカメラの電源がオフにされても、記憶しているノイズ情報を保持する。
[ノイズ処理部62の構成例]
図6は、図5のノイズ処理部62の構成例を示すブロック図である。
図6において、ノイズ処理部62は、動作状態判定部71、無音判定部72、無音情報更新部73、無音情報記憶部74、更新フラグ記憶部75、ノイズ情報更新部76、及び、ノイズ低減部77を有する。
動作状態判定部71には、モータ制御部61から、モータ制御情報が供給される。
動作状態判定部71は、モータ制御部61からのモータ制御情報に基づいて、レンズ22を駆動するモータの動作状態を判定し、その判定結果を、無音判定部72、ノイズ情報更新部76、及び、ノイズ低減部77に供給する。
無音判定部72には、動作状態判定部71から、モータの動作状態の判定結果が供給される他、A/D変換部12から音声データが供給される。
無音判定部72は、動作状態判定部71からの判定結果が、モータが停止中であることを表している場合に、A/D変換部12からの音声データに基づき、周囲が無音状態であるかどうかを判定する。
ここで、無音状態とは、モータが動作しておらず、撮影の対象が音を発していないときにマイク11で集音される音である暗騒音(暗振動)だけが存在する状態を意味する。
無音判定部72は、例えば、後述する注目フレームにおいて、A/D変換部12からの音声データのパワーが所定の閾値以下である期間が、所定の期間以上であるとき、注目フレームにおいて、周囲が無音状態であると判定し、A/D変換部12からの音声データのパワーが所定の閾値以下である期間が、所定の期間以上でないとき、周囲が無音状態でないと判定する。
無音判定部72は、無音状態であるかどうかの判定結果を、無音情報更新部73に供給する。
無音情報更新部73には、無音判定部72から、無音状態であるかどうかの判定結果が供給される他、ノイズ低減部77から、注目フレームの(音声データの)周波数データが供給される。
無音情報更新部73は、無音判定部72からの判定結果に基づき、ノイズ低減部77からの注目フレームの周波数データによって、無音情報記憶部74に記憶された無音情報を更新する。
すなわち、無音情報更新部73は、無音判定部72からの判定結果が、無音状態であること表している場合、ノイズ低減部77からの注目フレームの周波数データを、更新後の無音情報として、無音情報記憶部74に上書きの形で書き込むことで、無音情報記憶部74に記憶された無音情報を更新する。
無音情報記憶部74は、無音情報更新部73によって書き込まれる無音情報を記憶する。
ここで、上述したように、無音判定部72の判定結果が、無音状態であること表している場合に、無音情報更新部73は、ノイズ低減部77からの注目フレームの周波数データを、更新後の無音情報として、無音情報記憶部74に書き込む。
無音判定部72の判定結果が、無音状態であること表している場合には、モータが動作しておらず、周囲が無音状態である場合であるから、無音情報記憶部74に記憶された無音情報は、モータが動作しておらず、周囲が無音状態であるときの、マイク11が出力する音声データの情報である注目フレームの周波数データによって更新されることになる。
無音情報更新部73は、上述のように、無音判定部72からの判定結果に基づき、無音情報記憶部74に記憶された無音情報を更新する他、更新フラグ記憶部75に記憶された更新フラグを設定する。
すなわち、更新フラグ記憶部75は、無音情報記憶部74に記憶された無音情報が更新されたことを表す、例えば、1ビットの更新フラグを記憶する。
無音情報更新部73は、無音判定部72からの判定結果が、無音状態であること表しており、無音情報記憶部74に記憶された無音情報を更新した場合、更新フラグ記憶部75に記憶された更新フラグを、無音情報が更新されたことを表す、例えば、1に設定する。
また、無音情報更新部73は、無音判定部72からの判定結果が、無音状態でないこと表している場合、すなわち、モータは動作していないが、周囲が無音状態ではなく、無音情報記憶部74に記憶された無音情報が更新されなかった場合、更新フラグ記憶部75に記憶された更新フラグを、無音情報が更新されなかったことを表す、例えば、0に設定する。
ノイズ情報更新部76には、動作状態判定部71から、モータの動作状態の判定結果が供給される他、ノイズ低減部77から、注目フレームの周波数データが供給される。
ノイズ情報更新部76は、動作状態判定部71からの判定結果、及び、更新フラグ記憶部75に記憶された更新フラグに基づき、ノイズ低減部77からの注目フレームの周波数データを、無音情報記憶部74に記憶された無音情報によって補正することにより、モータ音の情報であるモータ音(のみ)の周波数データ(スペクトル)を、更新後のノイズ情報として求める。
そして、ノイズ情報更新部76は、更新後のノイズ情報によって、ノイズ情報記憶部63に記憶されたノイズ情報を更新する。
ノイズ低減部77には、動作状態判定部71から、モータの動作状態の判定結果が供給される他、A/D変換部12から、マイク11によって集音された音声データが供給される。
ノイズ低減部77は、A/D変換部12からの音声データを、フレーム単位の音声データに分割するフレーム分割を行う。
すなわち、ノイズ低減部77は、A/D変換部12からの音声データから、所定の時間長分の音声データを、注目するフレームである注目フレームの音声データとして抽出する。
さらに、ノイズ低減部77は、注目フレーム(の音声データ)に、例えば、ハミング窓やハニング窓等の所定の窓をかけ、フーリエ変換を行うことで、注目フレームの周波数データ(スペクトル)を求めて、無音情報更新部73、及び、ノイズ情報更新部76に供給する。
そして、ノイズ低減部77は、動作状態判定部71の判定結果が、モータが動作中であることを表している場合には、注目フレームの周波数データから、ノイズ情報記憶部63に記憶されたノイズ情報としてのモータ音の周波数データを減算するノイズ低減処理を行うことにより、ノイズとしてのモータ音を低減した注目フレームの周波数データを求める。
一方、動作状態判定部71の判定結果が、モータが停止中であることを表している場合、ノイズ低減部77は、ノイズ低減処理を行わない。
その後、ノイズ低減部77は、注目フレームの周波数データを逆フーリエ変換することにより、注目フレームの音声データ(時間領域のデータ)に戻す。
さらに、ノイズ低減部77は、注目フレームを、直前に処理したフレーム(直前に、注目フレームであったフレーム)に合成するフレーム合成を行う。
フレーム合成後の音声データが、ノイズ低減部77から音声コーデック部13に供給される。
[ノイズ低減処理]
図7は、図6のノイズ低減部77によるノイズ低減処理を説明する図である。
ノイズ低減部77は、A/D変換部12からの音声データについてフレーム分割を行うことで、A/D変換部12からの音声データから、所定の時間長分の音声データを、注目するフレームである注目フレームの音声データとして抽出する。
すなわち、ノイズ低減部77は、A/D変換部12からの音声データから、所定の時間長である所定のフレーム長のフレームの音声データを、フレーム長の1/2の長さをオーバーラップさせながら(フレームを、フレーム長の1/2ずつずらしながら)抽出し、時系列順に、注目する注目フレームの音声データとする。
さらに、ノイズ低減部77は、注目フレームの音声データに窓をかけ、フーリエ変換を行うことで、注目フレームの周波数データ(スペクトル)を求める。
そして、ノイズ低減部77は、ノイズ情報記憶部63に記憶されたノイズ情報としてのモータ音の周波数データに、所定の係数であるサブトラクト係数を乗算して得られるデータを、注目フレームの周波数データから減算するノイズ低減処理を行い、ノイズとしてのモータ音を低減した注目フレームの周波数データを求める。
その後、ノイズ低減部77は、注目フレームの周波数データを逆フーリエ変換することにより、注目フレームの音声データ(時間領域のデータ)に戻し、50%オーバーラップのフレーム合成を行う。
すなわち、ノイズ低減部77は、注目フレームと、直前に処理したフレーム(直前に、注目フレームであったフレーム)(以下、直前フレームともいう)とを、注目フレームの先頭側の1/2(50%)と、直前フレームの後ろ側の1/2とをオーバーラップさせて、同一の重みで合成(加算)する。
そして、ノイズ低減部77は、フレーム合成後の音声データを、音声コーデック部13に供給する。
[ノイズ情報更新処理]
図8は、図6のノイズ情報更新部76が、ノイズ情報記憶部63に記憶されたノイズ情報を更新するノイズ情報更新処理を説明する図である。
図6で説明したように、モータが停止中であり、無音状態であるときには、無音情報更新部73は、そのときマイク11が出力する音声データの情報である注目フレームの周波数データによって、無音情報記憶部74に記憶された無音情報を更新する。
したがって、モータが停止中であり、無音状態である限り、無音情報記憶部74に記憶された無音情報は、そのときマイク11が出力する音声データ、すなわち、暗騒音のみの音声データのフレーム(以下、無音フレームともいう)の周波数データによって、順次更新されていく。
その後、モータが動作を開始すると、無音情報記憶部74に記憶された無音情報は、更新されなくなり、したがって、無音情報記憶部74には、モータが動作を開始する直前の無音フレームの周波数データが、無音情報として記憶される。
また、モータが停止中であり、無音状態であった場合に、モータが動作を開始したときには、その、モータの動作の開始直後にマイク11が出力する音声データには、暗騒音とモータ音のみが含まれる可能性が高い。
そこで、ノイズ情報更新部76は、モータが停止中であり、無音状態であった場合に、モータが動作を開始したときには、その直後の、モータが動作中にマイク11が出力する音声データのフレーム(以下、動作中フレームともいう)の周波数データを、無音情報記憶部74に記憶された無音情報、つまり、暗騒音のみの音声データのフレーム(無音フレーム)の周波数データによって補正することにより、モータ音のみの周波数データを求める。
具体的には、ノイズ情報更新部76は、動作中フレームの周波数データから、無音情報記憶部74に記憶された無音情報である無音フレームの周波数データに所定の係数を乗算して得られるデータを減算することで、暗騒音とモータ音のみが含まれる動作中フレームの周波数データを補正し、モータ音のみの周波数データを求める。
そして、ノイズ情報更新部76は、そのモータ音のみの周波数データによって、ノイズ情報記憶部63に記憶されたノイズ情報を更新する。
したがって、ノイズ情報更新部76によれば、無音情報記憶部74に記憶された無音情報が更新された直後に、モータが動作を開始した場合に、モータの動作の開始直後にマイク11が出力する動作中フレームの周波数データを、無音情報記憶部74に記憶された無音情報によって補正することにより、モータ音のみの周波数データが求められ、そのモータ音のみの周波数データによって、ノイズ情報記憶部63に記憶されたノイズ情報が更新される。
[ノイズ処理]
図9は、図6のノイズ処理部62が行う処理(ノイズ処理)を説明するフローチャートである。
図4のディジタルカメラにおいて、動画の記録が開始されると、図6のノイズ処理部62では、ノイズ低減部77が、ステップS21において、A/D変換部12から供給される音声データについて、フレーム分割を行い、A/D変換部12から供給される音声データから、所定の時間長分の音声データを、注目するフレームである注目フレームの音声データとして抽出する。
そして、処理は、ステップS21からステップS22に進み、ノイズ低減部77は、注目フレーム(の音声データ)に所定の窓をかけ、フーリエ変換を行うことで、注目フレームの周波数データ(スペクトル)を求める。
さらに、ノイズ低減部77は、注目フレームの周波数データを、無音情報更新部73、及び、ノイズ情報更新部76に供給し、処理は、ステップS22からステップS23に進む。
ステップS23では、動作状態判定部71が、モータ制御部41からのモータ制御情報に基づいて、モータが動作中かどうかを判定する。
ステップS23において、モータが動作中でないと判定された場合、すなわち、モータが停止中である場合、処理は、ステップS24に進み、無音判定部72は、A/D変換部12から供給される音声データに基づき、周囲が無音状態であるかどうかを判定する。
ステップS24において、無音状態であると判定された場合、すなわち、暗騒音だけが存在する場合、処理は、ステップS25に進み、無音情報更新部73は、ノイズ低減部77からの注目フレームの周波数データによって、無音情報記憶部74に記憶された無音情報を更新して、処理は、ステップS26に進む。
ステップS26では、無音情報更新部73は、更新フラグ記憶部75に記憶された更新フラグを、無音情報が更新されたことを表す1(ON)に設定し、処理は、ステップS31に進む。
また、ステップS24において、無音状態でないと判定された場合、すなわち、モータは動作していないが、人の話し声等の、ある程度大きな音(音声)が、マイク11によって集音されている場合、処理は、ステップS27に進み、無音情報更新部73は、更新フラグ記憶部75に記憶された更新フラグを、無音情報が更新されていないことを表す0(OFF)に設定し、処理は、ステップS31に進む。
一方、ステップS23において、モータが動作中であると判定された場合、すなわち、例えば、ユーザが、ズームボタン53(図4)を操作し、ズームモータが動作している場合、処理は、ステップS28に進み、ノイズ情報更新部76は、更新フラグ記憶部75に記憶された更新フラグが、無音情報が更新されたことを表す1になっているかどうかを判定する。
ステップS28において、更新フラグが、1になっていると判定された場合、すなわち、最新のステップS23で、モータが動作中であると判定される直前に、無音情報記憶部74に記憶された無音情報が更新されている場合、処理は、ステップS29に進み、ノイズ情報更新部76は、ノイズ低減部77からの注目フレームの周波数データを、無音情報記憶部74に記憶された無音情報によって補正することにより、モータ音のみの周波数データ(スペクトル)を求める。
そして、ノイズ情報更新部76は、そのモータ音のみの周波数データによって、ノイズ情報記憶部63に記憶されたノイズ情報を更新し、処理は、ステップS29からステップS30に進む。
以上のように、モータが動作する直前に、無音情報記憶部74に記憶された無音情報が更新されている場合には、モータの動作開始後にマイク11によって集音される音声データが、無音情報記憶部74に記憶された無音情報である暗騒音の周波数データによって補正され、その結果得られる、モータ音のみの周波数データによって、ノイズ情報記憶部63に記憶されたノイズ情報が更新される。
一方、ステップS28において、更新フラグが、0になっていると判定された場合、すなわち、最新のステップS23で、モータが動作する直前に、周囲が無音状態になっておらず、その結果、無音情報記憶部74に記憶された無音情報が更新されなかった場合、処理は、ステップS29をスキップして、ステップS30に進む。
したがって、モータが動作する直前に、周囲が無音状態でなかった場合、すなわち、マイク11において、暗騒音の他に、人の話し声等の、所定の閾値より大のパワーの音声データが集音されていた場合には、ノイズ情報記憶部63に記憶されたノイズ情報は、更新されない。
ステップS30では、ノイズ低減部77は、注目フレームの周波数データから、ノイズ情報記憶部63に記憶されたノイズ情報としてのモータ音の周波数データを減算するノイズ低減処理を行うことにより、ノイズとしてのモータ音を低減した注目フレームの周波数データを求め、処理は、ステップS31に進む。
ステップS31では、ノイズ低減部77は、注目フレームの周波数データを逆フーリエ変換することにより、注目フレームの音声データ(時間領域のデータ)に戻し、処理は、ステップS32に進む。
ステップS32では、ノイズ低減部77は、注目フレームを、直前に処理したフレーム(直前に、注目フレームであったフレーム)に合成するフレーム合成を行い、処理は、ステップS33に進む。
なお、フレーム合成後の音声データは、ノイズ低減部77から音声コーデック部13に供給される。
ステップS33では、ノイズ処理部62は、動画の記録が終了されたかどうかを判定する。
ステップS33において、動画の記録が終了していないと判定された場合、処理は、ステップS21に戻り、ノイズ低減部77は、A/D変換部12から供給される音声データから、注目フレームの先頭のタイミングから、フレーム長の1/2だけ後のタイミングを先頭とするフレームの音声データを、新たな注目フレームの音声データとして抽出し、以下、同様の処理を繰り返す。
また、ステップS33において、動画の記録が終了されたと判定された場合、ノイズ処理部62は、ノイズ処理を終了する。
以上のように、ノイズ処理部62では、動作状態判定部71において、レンズ22を駆動するモータの動作状態を判定するとともに、無音判定部72において、周囲が無音状態であるかどうかを判定し、無音情報更新部73において、モータが動作しておらず、周囲が無音状態であるときの、マイク11が出力する暗騒音のみの音声データの周波数データによって、暗騒音の情報である無音情報を記憶する無音情報記憶部74に記憶された無音情報を更新する。
さらに、ノイズ情報更新部76において、無音情報が更新された直後に、モータが動作を開始した場合に、モータの動作の開始直後にマイク11が出力する音声データの周波数データ、すなわち、モータ音と暗騒音のみの音声データの周波数データを、無音情報記憶部74に記憶された無音情報である、暗騒音のみの音声データの周波数データによって補正することにより、モータ音のみの音声データの周波数データを求め、その周波数データによって、ノイズ情報を記憶するノイズ情報記憶部63に記憶されたノイズ情報を更新する。
したがって、ノイズ処理部62によれば、個体差や経年変化等に起因して、ノイズ情報記憶部63に記憶されたノイズ情報が、ディジタルカメラが実際に発生するモータ音の周波数データと異なっていたとしても、適切なノイズ情報、すなわち、ディジタルカメラが実際に発生するモータ音の周波数データを得て、その周波数データによって、ノイズ情報記憶部63に記憶されたノイズ情報を更新することができる。
その結果、マイク11で集音される音声データに含まれるノイズとしてのモータ音を、適切に低減することができる。
なお、ノイズ情報記憶部63に、ディジタルカメラが実際に発生するモータ音の周波数データを、ノイズ情報として記憶させる方法としては、以上のようなノイズ処理部62によるノイズ処理の他、例えば、ディジタルカメラを製造する工場等において、暗騒音のない防音室で、個別に、モータ音のみを集音し、そのモータ音の周波数データを、ノイズ情報として、ノイズ情報記憶部63に記憶させておく方法がある。
しかしながら、工場において、個別に、モータ音を集音し、そのモータ音の周波数データを、ノイズ情報として、ノイズ情報記憶部63に記憶させるのは、手間がかかり、製造コストが高コスト化する。
さらに、工場において、ノイズ情報を、ノイズ情報記憶部63に記憶させるだけでは、その後の経年変化によって、モータ音が変化した場合に対応することができない。
また、工場において、ノイズ情報を、ノイズ情報記憶部63に記憶させ、その後は、ユーザに、手動で、ノイズ情報記憶部63に記憶されたノイズ情報を更新してもらうことで、経年変化等に対応する方法がある。
しかしながら、ユーザが、モータ音のみを集音することは困難であり、また、暗騒音が存在する状態で、ユーザに、暗騒音のみの音声データと、暗騒音とモータ音のみの音声データとを、マイク11によって集音してもらうことは、ユーザに、大きな負担を強いることになる。
これに対して、ノイズ処理部62によれば、ノイズとしてのモータ音の低減に適切なノイズ情報としてのモータ音のみの周波数データを、容易に得ることができる。
なお、暗騒音を考慮しない場合には、ノイズ処理部62(図6)は、無音判定部72、無音情報更新部73、無音情報記憶部74、及び、更新フラグ記憶部75を設けずに構成することができる。
この場合、ノイズ処理部62では、図9のノイズ処理のステップS23において、モータが動作中でないと判定された場合には、ステップS24ないしS27の処理は行われずに、ステップS31以降の処理が行われる。
また、図9のノイズ処理のステップS23において、モータが動作中であると判定された場合には、ステップS29において、ノイズ情報更新部76は、モータの動作の開始直後にマイク11が出力する音声データの周波数データ、すなわち、例えば、モータの動作の開始直後の1フレームの音声データの周波数データによって、ノイズ情報記憶部63に記憶されたノイズ情報を更新し、ステップS30において、ノイズ低減部77は、そのノイズ情報を用いて、マイク11が出力する音声データのノイズを低減するノイズ低減処理を行う。
[静止画の記録時のノイズ処理]
以上においては、ディジタルカメラによる動画の記録時に、ノイズ処理部62においてノイズ処理を行うこととしたが、ノイズ処理部62では、静止画の記録時に、ノイズ処理を行うことができる。
但し、ノイズ処理部62において、静止画の記録時に、ノイズ処理を行う場合には、ノイズ低減処理は、行う必要がない。
すなわち、動画の記録時においては、音声データが記録されるため、モータ音が低減されていない音声データが記録されることは、望ましくないので、動画の記録時に行われるノイズ処理では、図9で説明したように、ノイズ低減処理を行う必要がある。
一方、静止画の記録時に、ノイズ処理を行う場合には、音声データが記録されないため、ノイズ低減処理は、行う必要がない。
図10は、静止画の記録時に、ノイズ処理を行う場合に、そのノイズ処理に関係する部分のディジタルカメラの構成例を示すブロック図である。
なお、図10において、図5の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図10において、静止画の記録時に行われるノイズ処理に関係する部分は、マイク21、A/D変換部22、モータ制御部61、ノイズ処理部62、及び、ノイズ情報記憶部63から構成される。
図11は、図10のディジタルカメラによるノイズ処理、すなわち、静止画の記録時に行われるノイズ処理を説明するフローチャートである。
図11のノイズ処理では、ステップS41ないしS50において、それぞれ、図9のステップS21ないしS29、及び、ステップS33と同様の処理が行われる。
すなわち、図11のノイズ処理では、ノイズ処理部62(図6)において、ノイズ低減部77によるノイズ低減処理(ステップS30)、逆フーリエ変換(ステップS31)、及び、フレーム合成(ステップS32)が行われないことを除き、図9と同一のノイズ処理が行われる。
したがって、図11のノイズ処理では、ノイズ情報記憶部63に記憶されたノイズ情報を更新するための処理だけが行われる。
静止画の記録(撮影)時においては、ユーザは、例えば、ズームボタン53(図4)を操作すること等によって、構図を決定し、シャッタボタン51(図4)を操作して、静止画の撮影を行う。
図11のノイズ処理では、例えば、以上のような静止画の撮影時に、ズームボタン53が操作されることによって発生するズームモータのモータ音を用いて、ノイズ情報記憶部63に記憶されたノイズ情報が更新される。
静止画の記録時は、動画の記録時に比較して、画像処理の負荷が軽いので、静止画の記録時においては、ノイズ処理部62によるノイズ処理のうちの、図11で説明した、ノイズ情報記憶部63に記憶されたノイズ情報を更新するための処理(以下、ノイズ情報更新処理ともいう)だけを行い、動画の記録時においては、図9のノイズ処理のうちの、ノイズ情報更新処理以外の処理(ステップS21ないしS23,S30ないしS33)を行うことによって、動画の記録時に、ディジタルカメラに大きな負荷がかかることを防止することができる。
なお、ノイズ情報更新処理は、静止画の記録時の他、ディジタルカメラの電源がオンにされた直後に行うことができる。
すなわち、ディジタルカメラでは、電源がオンにされた直後に、ズームモータが駆動されることがあるので、そのときにマイク11で集音される音声データを用いて、ノイズ情報更新処理を行うことができる。
[ノイズ情報記憶部63に記憶されるノイズ情報]
図12は、ノイズ情報記憶部63(図5、図6)に記憶されるノイズ情報の例を示す図である。
ノイズ情報記憶部63には、1つのノイズ情報だけを記憶させることもできるし、複数のノイズ情報を記憶させることもできる。
図12Aは、モータの種類ごとのノイズ情報の例を示している。
例えば、ディジタルカメラが、オートフォーカス用のAFモータ(フォーカスを調整するためのモータ)と、ズーム用のズームモータ(ズームを調整するためのモータ)等の複数種類のモータを内蔵している場合には、ノイズ情報記憶部63には、モータの種類ごとのノイズ情報を記憶させることができる。
図12Aでは、ズームモータのノイズ情報としての、ズームモータのモータ音の周波数データ、AFモータのノイズ情報としての、AFモータのモータ音の周波数データが、ノイズ情報記憶部63に記憶されている。
さらに、図12Aでは、ズームモータとAFモータとの2つのモータのノイズ情報としての、ズームモータのモータ音と、AFモータのモータ音とを加算したモータ音(ズームモータとAFモータの両方が駆動しているときのモータ音)の周波数データも、ノイズ情報記憶部63に記憶されている。
図12Bは、複数のズーム位置それぞれについてのノイズ情報の例を示している。
ディジタルカメラが、ズームモータを内蔵する場合に、そのズームモータが発生するモータ音は、ズーム位置(ズーム倍率)によって異なることがある。
そこで、ノイズ情報記憶部63には、複数のズーム位置それぞれについて、そのズーム位置(付近)でズームモータが発生するモータ音の周波数データを、ノイズ情報として記憶させることができる。
図12Cは、最新の、複数であるN個のノイズ情報の例を示している。
ノイズ情報記憶部63に、複数のノイズ情報を記憶させる場合には、ノイズ情報の履歴として、最新のN個のノイズ情報を記憶させることができる。
ノイズ情報記憶部63に、最新のN個のノイズ情報を記憶させる場合には、N個のノイズ情報が記憶されるまでは、過去のノイズ情報を維持したまま(記憶したまま)、新たなノイズ情報が記憶され、N個のノイズ情報が記憶された後は、新たなノイズ情報は、最も古いノイズ情報に上書きする形で記憶される。
なお、図12Cでは、複数のズーム位置それぞれについて、N個のノイズ情報(の履歴#1ないし#N)が記憶されている。
図12Dは、N個のノイズ情報としての、基準ノイズ情報と、モータ音の周波数データとの差分であるN個の差分情報を示している。
ノイズ情報記憶部63には、例えば、ディジタルカメラを製造する工場等において、ディジタルカメラに内蔵されるモータの代表的なモータ音の周波数データを、基準となるノイズ情報である基準ノイズ情報として記憶させておくことができる。
さらに、ノイズ情報記憶部63には、ノイズ情報更新部76で得られた過去N個のモータ音の周波数データそれぞれと、基準ノイズ情報との差分であるN個の差分情報を記憶させることができる。
なお、図12では、複数のズーム位置それぞれについて、基準ノイズ情報と、N個の差分情報とが記憶されている。
[ノイズ処理の他の例]
ノイズ情報記憶部63に、図12に示したように、複数のノイズ情報が記憶される場合のノイズ処理を説明する。
図13は、ノイズ情報記憶部63に、モータの種類ごとのノイズ情報が記憶される場合(図12A)のノイズ処理を説明するフローチャートである。
図13では、ステップS101ないしS107において、図9のステップS21ないしS27とそれぞれ同様の処理が行われる。
そして、ステップS103において、モータが動作中であると判定された場合、処理は、ステップS108に進み、動作状態判定部71は、モータ制御部61から供給されるモータ制御情報に基づいて、動作中のモータの種類を判定する。
すなわち、図13のノイズ処理では、モータ制御部61は、モータが動作中であるかどうかの情報と、モータが動作中である場合には、その動作中のモータの種類を表す情報とを含むモータ制御情報を、動作状態判定部71に供給する。
動作状態判定部71は、モータ制御部61からのモータ制御情報に基づいて、動作中のモータの種類を判定し、その判定結果を、モータが動作中である旨の判定結果とともに、ノイズ情報更新部76、及び、ノイズ低減部77に供給する。
その後、処理は、ステップS108からステップS109に進み、ノイズ情報更新部76は、更新フラグ記憶部75に記憶された更新フラグが、無音情報が更新されたことを表す1になっているかどうかを判定する。
ステップS109において、更新フラグが、1になっていると判定された場合、すなわち、最新のステップS103で、モータが動作中であると判定される直前に、無音情報記憶部74に記憶された無音情報が更新されている場合、処理は、ステップS110に進み、ノイズ情報更新部76は、ノイズ低減部77からの注目フレームの周波数データを、無音情報記憶部74に記憶された無音情報によって補正することにより、ステップS108で種類が判定されたモータ音のみの周波数データ(スペクトル)を求める。
そして、ノイズ情報更新部76は、そのモータ音のみの周波数データによって、ノイズ情報記憶部63に記憶されたノイズ情報のうちの、ステップS108で種類が判定されたモータのノイズ情報を更新し、処理は、ステップS110からステップS111に進む。
したがって、動作中のモータが、AFモータ(のみ)である場合、ノイズ情報更新部76は、ノイズ情報記憶部63に記憶されたノイズ情報のうちの、AFモータのノイズ情報(以下、AFノイズ情報ともいう)を更新する。
また、動作中のモータが、ズームモータ(のみ)である場合、ノイズ情報更新部76は、ノイズ情報記憶部63に記憶されたノイズ情報のうちの、ズームモータのノイズ情報(以下、ズームノイズ情報ともいう)を更新する。
さらに、動作中のモータが、AFモータとズームモータの両方である場合、ノイズ情報更新部76は、ノイズ情報記憶部63に記憶されたノイズ情報のうちの、ズームモータのモータ音と、AFモータのモータ音とを加算したモータ音の周波数データであるノイズ情報(以下、ズーム+AFノイズ情報ともいう)を更新する。
一方、ステップS109において、更新フラグが、0になっていると判定された場合、すなわち、最新のステップS103で、モータが動作する直前に、周囲が無音状態になっておらず、その結果、無音情報記憶部74に記憶された無音情報が更新されなかった場合、処理は、ステップS110をスキップして、ステップS111に進む。
ステップS111では、ノイズ低減部77は、ノイズ情報記憶部63に記憶されたノイズ情報から、ステップS108で種類が判定されたモータのノイズ情報を読み出し、そのノイズ情報を用いて、注目フレームの周波数データのノイズとしてのモータ音を低減するノイズ低減処理を行う。
その後は、ステップS111からステップS112に進み、以下、ステップS112ないしS114において、図9のステップS31ないしS33とそれぞれ同様の処理が行われる。
以上のように、ノイズ情報記憶部63では、複数種類のモータ(2以上のモータの組み合わせを含む)のノイズ情報を記憶し、動作状態判定部71において、動作を開始したモータの種類を判定し、ノイズ情報更新部76において、その種類のモータのノイズ情報を更新するノイズ情報更新処理を行うことができる。さらに、ノイズ低減部77では、動作を開始した種類のモータのノイズ情報を用いて、ノイズ低減処理を行うことができる。
この場合、動作しているモータの種類に応じて、ノイズを適切に低減することができる。
なお、AFモータのモータ音は、ズームモータのモータ音に比較して十分小さく、パワーが、暗騒音とほとんど変わらない場合があり、この場合、動作しているモータが、AFモータだけの場合は、ノイズ低減処理を行わなくても、記録がされる音声データの音質に(ほとんど)影響はない。
そこで、ノイズ情報記憶部63では、図12Aに示した3種類のAFノイズ情報、ズームノイズ情報、及び、ズーム+AFノイズ情報に代えて、2種類のズームノイズ情報、及び、ズーム+AFノイズ情報を記憶することができ、動作状態判定部71では、モータが動作中である場合に、動作中のモータが、ズームモータのみであるのか、又は、ズームモータとAFモータの両方であるのかを判定することができる。この場合、動作中のモータが、ズームモータのみであるのか、又は、ズームモータとAFモータの両方であるのかの判定結果に基づいて、ノイズ情報更新処理、及び、ノイズ低減処理が行われる。
図14は、ノイズ情報記憶部63に、複数のズーム位置それぞれについてのノイズ情報が記憶される場合(図12B)のノイズ処理を説明するフローチャートである。
なお、図14では、ズームモータのみに注目する。
図14では、ステップS121ないしS127において、図9のステップS21ないしS27とそれぞれ同様の処理が行われる。
そして、ステップS123において、ズームモータが動作中であると判定された場合、処理は、ステップS128に進み、動作状態判定部71は、モータ制御部61から供給されるモータ制御情報に基づいて、ズーム位置を判定する。
すなわち、図14のノイズ処理では、モータ制御部61は、ズームモータが動作中であるかどうかの情報と、ズーム位置を表す情報とを含むモータ制御情報を、動作状態判定部71に供給する。
動作状態判定部71は、モータ制御部61からのモータ制御情報に基づいて、現在のズーム位置を判定し、その判定結果を、ノイズ情報更新部76、及び、ノイズ低減部77に供給する。
その後、処理は、ステップS128から、ステップS129に進み、ノイズ情報更新部76は、更新フラグ記憶部75に記憶された更新フラグが、無音情報が更新されたことを表す1になっているかどうかを判定する。
ステップS129において、更新フラグが、1になっていると判定された場合、すなわち、最新のステップS123で、ズームモータが動作中であると判定される直前に、無音情報記憶部74に記憶された無音情報が更新されている場合、処理は、ステップS130に進み、ノイズ情報更新部76は、ノイズ低減部77からの注目フレームの周波数データを、無音情報記憶部74に記憶された無音情報によって補正することにより、現在のズーム位置でのズームモータのモータ音のみの周波数データ(スペクトル)を求める。
そして、ノイズ情報更新部76は、そのモータ音のみの周波数データによって、ノイズ情報記憶部63に記憶されたノイズ情報のうちの、現在のズーム位置に最も近いズーム位置についてのノイズ情報を更新し、処理は、ステップS130からステップS131に進む。
一方、ステップS129において、更新フラグが、0になっていると判定された場合、すなわち、最新のステップS123で、ズームモータが動作する直前に、周囲が無音状態になっておらず、その結果、無音情報記憶部74に記憶された無音情報が更新されなかった場合、処理は、ステップS130をスキップして、ステップS131に進む。
ステップS131では、ノイズ低減部77は、ノイズ情報記憶部63に記憶されたノイズ情報から、現在のズーム位置に最も近いズーム位置についてのノイズ情報を読み出し、そのノイズ情報を用いて、注目フレームの周波数データのノイズとしてのモータ音を低減するノイズ低減処理を行う。
その後は、ステップS131からステップS132に進み、以下、ステップS132ないしS134において、図9のステップS31ないしS33とそれぞれ同様の処理が行われる。
以上のように、ノイズ情報記憶部63では、複数のズーム位置について、ズームモータのノイズ情報を記憶し、動作状態判定部71において、現在のズーム位置を判定し、ノイズ情報更新部76において、その現在のズーム位置(に最も近いズーム位置)についてのノイズ情報を更新するノイズ情報更新処理を行うことができる。さらに、ノイズ低減部77では、現在のズーム位置(に最も近いズーム位置)についてのノイズ情報を用いて、ノイズ低減処理を行うことができる。
この場合、現在のズーム位置に応じて、適切なノイズ情報を用いて、ノイズを低減することができる。
図15は、ノイズ情報記憶部63に、最新のN個のノイズ情報が記憶される場合(図12C)のノイズ処理を説明するフローチャートである。
なお、図12Cでは、複数のズーム位置それぞれについて、N個のノイズ情報が記憶されているが、図15では、説明を簡単にするため、ノイズ情報記憶部63には、ズーム位置に関係なく、N個のノイズ情報が記憶されることとする。
図15では、ステップS141ないしS148において、図9のステップS21ないしS28とそれぞれ同様の処理が行われる。
そして、ステップS148において、更新フラグが、1になっていると判定された場合、すなわち、最新のステップS143で、モータが動作中であると判定される直前に、無音情報記憶部74に記憶された無音情報が更新されている場合、処理は、ステップS149に進み、ノイズ情報更新部76は、ノイズ低減部77からの注目フレームの周波数データを、無音情報記憶部74に記憶された無音情報によって補正することにより、モータ音のみの周波数データ(スペクトル)を求める。
さらに、ノイズ情報更新部76は、そのモータ音のみの周波数データによって、ノイズ情報記憶部63に記憶されたノイズ情報を、ノイズ情報記憶部63に最新のN個のノイズ情報が記憶されるように更新し、処理は、ステップS149からステップS150に進む。
すなわち、ノイズ情報更新部76は、ノイズ情報記憶部63に、N個未満のノイズ情報が記憶されている場合には、注目フレームの周波数データを補正することにより求めた、モータ音のみの周波数データである、最新のノイズ情報を、ノイズ情報記憶部63に追加の形で記憶させる。
また、ノイズ情報更新部76は、ノイズ情報記憶部63に、N個のノイズ情報が記憶されている場合には、ノイズ情報記憶部63から、最も古いノイズ情報を削除し、最新のノイズ情報を、ノイズ情報記憶部63に記憶させる。
一方、ステップS148において、更新フラグが、0になっていると判定された場合、処理は、ステップS149をスキップして、ステップS150に進む。
ステップS150では、ノイズ低減部77は、ノイズ情報記憶部63に記憶されたN個のノイズ情報の平均値(例えば、均一の重みの重み付け平均値や、新しいノイズ情報ほど大きな重みの重み付け平均値等)を求め、処理は、ステップS151に進む。
ここで、ノイズ情報記憶部63にN個未満のノイズ情報しか記憶されていない場合には、ステップS150では、ノイズ情報記憶部63に記憶されたN個未満のノイズ情報の平均値が求められる。
ステップS151では、ノイズ低減部77は、ノイズ情報記憶部63に記憶されたノイズ情報の平均値を用いて、注目フレームの周波数データのノイズとしてのモータ音を低減するノイズ低減処理を行う。
その後は、ステップS151からステップS152に進み、以下、ステップS152ないしS154において、図9のステップS31ないしS33とそれぞれ同様の処理が行われる。
以上のように、ノイズ情報記憶部63では、最新のN個のノイズ情報を記憶し、ノイズ情報更新部76において、ノイズ情報記憶部63に、最新のN個のノイズ情報が記憶されるように、ノイズ情報記憶部63に記憶されたノイズ情報を更新することができる。さらに、ノイズ低減部77では、ノイズ情報記憶部63に記憶された最新のN個のノイズ情報の平均値を用いて、ノイズ低減処理を行うことができる。
この場合、ノイズ情報を更新する場合に、ノイズ低減処理には不適切なノイズ情報が、ノイズ低減処理に、いわば直接的に影響することを防止することができる。
すなわち、モータの動作開始直前までは、無音状態であったが、モータの動作開始直後に、人の話し声等の、モータ音、及び、暗騒音以外の音が、マイク11によって集音され、その結果、モータ音と、モータ音以外の、人の話し声等とを含む音声データの周波数データが、ノイズ情報として得られることがあるが、このようなノイズ情報は、ノイズ低減処理に悪影響を与えるので、不適切なノイズ情報である。
このような不適切なノイズ情報だけを用いて、ノイズ低減処理が行われる場合には、ノイズ低減処理は、不適切なノイズ情報の影響を大きく受ける。
これに対して、ノイズ情報記憶部63において、最新のN個のノイズ情報を記憶し、そのN個のノイズ情報の平均値を用いて、ノイズ低減処理を行う場合には、N個のノイズ情報に、1個等の極めて少ない数の不適切なノイズ情報が含まれていても、その不適切なノイズ情報が、ノイズ低減処理に与える悪影響を軽減することができる。
図16は、ノイズ情報記憶部63に、基準サイズ情報と、N個の差分情報が記憶される場合(図12D)のノイズ処理を説明するフローチャートである。
なお、図12Dでは、複数のズーム位置それぞれについて、基準ノイズ情報とN個の差分情報とが記憶されているが、図16では、説明を簡単にするため、ノイズ情報記憶部63には、ズーム位置に関係なく、基準ノイズ情報とN個の差分情報とが記憶されることとする。
図16では、ステップS161ないしS168において、図9のステップS21ないしS28とそれぞれ同様の処理が行われる。
そして、ステップS168において、更新フラグが、0になっていると判定された場合、処理は、ステップS169ないしS171をスキップして、ステップS172に進む。
また、ステップS168において、更新フラグが、1になっていると判定された場合、すなわち、最新のステップS163で、モータが動作中であると判定される直前に、無音情報記憶部74に記憶された無音情報が更新されている場合、処理は、ステップS169に進み、ノイズ情報更新部76は、ノイズ低減部77からの注目フレームの周波数データを、無音情報記憶部74に記憶された無音情報によって補正することにより、モータ音のみの周波数データ(スペクトル)を求める。
さらに、ノイズ情報更新部76は、そのモータ音のみの周波数データと、ノイズ情報記憶部63に記憶された基準ノイズ情報との差分である差分情報を、ノイズ情報記憶部63に記憶されたノイズ情報の更新に用いる候補(以下、候補情報ともいう)として求め、処理は、ステップS169からステップS170に進む。
ステップS170では、ノイズ情報更新部76は、候補情報(ステップS169で求めた差分情報)が、所定の閾値以下であるかどうかを判定する。
ステップS170において、候補情報が、所定の閾値以下であると判定された場合、すなわち、ステップS169で注目フレームの周波数データを補正することにより求められた周波数データが、基準ノイズ情報とそれほど大きな差があるデータではなく、したがって、モータ音のみの周波数データである可能性が極めて高い場合、処理は、ステップS171に進み、ノイズ情報更新部76は、候補情報によって、ノイズ情報記憶部63に記憶されたノイズ情報を、ノイズ情報記憶部63にN個の差分情報が記憶されるように更新し、処理は、ステップS172に進む。
すなわち、ノイズ情報更新部76は、ノイズ情報記憶部63に、N個未満の差分情報が記憶されている場合には、候補情報である差分情報を、ノイズ情報記憶部63に追加の形で記憶させる。
また、ノイズ情報更新部76は、ノイズ情報記憶部63に、N個の差分情報が記憶されている場合には、ノイズ情報記憶部63から、最も古い差分情報を削除し、候補情報を、N個目の差分情報として、ノイズ情報記憶部63に記憶させる。
一方、ステップS170において、候補情報が、所定の閾値以下でないと判定された場合、すなわち、ステップS169で注目フレームの周波数データを補正することにより求められた周波数データが、基準ノイズ情報に対して大きな差があるデータになっており、したがって、モータ音の他に、人の声等を含む音声データの周波数データである可能性が高い場合、処理は、ステップS171をスキップして、ステップS172に進む。
以上のように、候補情報が、モータ音の他に、人の声等を含む音声データの周波数データである可能性が高い場合には、その候補情報による、ノイズ情報記憶部63に記憶されたノイズ情報の更新は、行われない。
ステップS172では、ノイズ低減部77は、ノイズ情報記憶部63に記憶されたN個の差分情報それぞれと基準ノイズ情報との加算値の平均値(以下、単に、ノイズ情報の平均値ともいう)を、図15のステップS150の場合と同様にして求め、処理は、ステップS173に進む。
ステップS173では、ノイズ低減部77は、直前のステップS172で求めたノイズ情報の平均値を用いて、注目フレームの周波数データのノイズとしてのモータ音を低減するノイズ低減処理を行う。
その後は、ステップS173からステップS174に進み、以下、ステップS174ないしS176において、図9のステップS31ないしS33とそれぞれ同様の処理が行われる。
以上のように、ノイズ情報記憶部63では、基準ノイズ情報と、N個の差分情報とを記憶し、ノイズ情報更新部76において、基準情報との差分が所定の閾値以下の周波数データのみによって、ノイズ情報記憶部63に記憶された差分情報を更新することができる。
この場合、ノイズ低減処理には不適切な差分情報、すなわち、モータ音と、モータ音以外の、人の話し声等とを含む音声データの周波数データの差分情報が、ノイズ情報記憶部63に記憶されること、ひいては、そのような不適切な差分情報を用いて、ノイズ低減処理が行われることを防止することができる。
なお、ノイズ情報記憶部63では、その他、例えば、モータの複数の動作スピードごとに、ノイズ情報を記憶することができる。この場合、モータの動作スピードを判定し、その動作スピードに対応するノイズ情報を更新するノイズ情報更新処理、及び、その動作スピードに対応するノイズ情報を用いたノイズ低減処理を行うことができる。
[本発明を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図17は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク105やROM103に予め記録しておくことができる。
あるいはまた、プログラムは、リムーバブル記録媒体111に格納(記録)しておくことができる。このようなリムーバブル記録媒体111は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体111としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto Optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブル記録媒体111からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク105にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)102を内蔵しており、CPU102には、バス101を介して、入出力インタフェース110が接続されている。
CPU102は、入出力インタフェース110を介して、ユーザによって、入力部107が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)103に格納されているプログラムを実行する。あるいは、CPU102は、ハードディスク105に格納されたプログラムを、RAM(Random Access Memory)104にロードして実行する。
これにより、CPU102は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU102は、その処理結果を、必要に応じて、例えば、入出力インタフェース110を介して、出力部106から出力、あるいは、通信部108から送信、さらには、ハードディスク105に記録等させる。
なお、入力部107は、キーボードや、マウス、マイク等で構成される。また、出力部106は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含む。
また、プログラムは、1のコンピュータ(プロセッサ)により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
すなわち、本発明は、ディジタルカメラそのものの他、ディジタルカメラのような動画を撮影する機能を有する携帯電話機、その他の電子機器等に適用可能である。
11 マイク, 12 A/D変換部, 13 音声コーデック部, 21 撮像部, 22 レンズ, 23 A/D変換部, 24 画像コーデック部, 31 マルチプレクサ部, 41 モータ制御部, 42 ノイズ低減部, 43 ノイズ情報記憶部, 51 シャッタボタン, 52 撮影モード切り替えボタン, 53 ズームボタン, 61 モータ制御部, 62 ノイズ処理部, 63 ノイズ情報記憶部, 71 動作状態判定部, 72 無音判定部, 73 無音情報更新部, 74 無音情報記憶部, 75 更新フラグ記憶部, 76 ノイズ情報更新部, 77 ノイズ低減部, 101 バス, 102 CPU, 103 ROM, 104 RAM, 105 ハードディスク, 106 出力部, 107 入力部, 108 通信部, 109 ドライブ, 110 入出力インタフェース, 111 リムーバブル記録媒体

Claims (10)

  1. レンズを駆動するモータの動作状態を判定する動作状態判定手段と、
    周囲が無音状態であるかどうかを判定する無音判定手段と、
    前記モータが動作しておらず、周囲が無音状態であるときの、周囲の音を集音する集音手段が出力する音声データの情報によって、暗騒音の情報である無音情報を記憶する無音情報記憶手段に記憶された前記無音情報を更新する無音情報更新手段と、
    前記無音情報が更新された直後に、前記モータが動作を開始した場合に、前記モータの動作の開始直後に前記集音手段が出力する音声データの情報を、前記無音情報記憶手段に記憶された前記無音情報によって補正することにより、前記モータのモータ音の情報を求め、そのモータ音の情報によって、ノイズ情報を記憶するノイズ情報記憶手段に記憶された前記ノイズ情報を更新するノイズ情報更新手段と
    を備えるデータ処理装置。
  2. 前記ノイズ情報を用いて、前記集音手段が出力する音声データのノイズを低減するノイズ低減処理を行うノイズ低減手段をさらに備える
    請求項1に記載のデータ処理装置。
  3. 前記集音手段が出力する音声データが記録される場合に、前記ノイズ低減手段は、前記ノイズ低減処理を行う
    請求項2に記載のデータ処理装置。
  4. 前記ノイズ情報記憶手段は、複数種類のモータの前記ノイズ情報を記憶し、
    前記ノイズ情報更新手段は、動作を開始した種類のモータの前記ノイズ情報を更新し、
    前記ノイズ低減手段は、動作を開始した種類の前記モータの前記ノイズ情報を用いて、前記ノイズ低減処理を行う
    請求項2に記載のデータ処理装置。
  5. 前記モータは、ズームを調整するズームモータであり、
    前記ノイズ情報記憶手段は、複数のズーム位置について、前記ズームモータの前記ノイズ情報を記憶し、
    前記ノイズ情報更新手段は、現在のズーム位置についての前記ノイズ情報を更新し、
    前記ノイズ低減手段は、現在のズーム位置についての前記ノイズ情報を用いて、前記ノイズ低減処理を行う
    請求項2に記載のデータ処理装置。
  6. 前記ノイズ情報記憶手段は、最新の、複数であるN個の前記ノイズ情報を記憶し、
    前記ノイズ情報更新手段は、前記ノイズ情報記憶手段に、最新のN個の前記ノイズ情報が記憶されるように、前記ノイズ情報記憶手段に記憶された前記ノイズ情報を更新し、
    前記ノイズ低減手段は、前記ノイズ情報記憶手段に記憶された最新のN個の前記ノイズ情報の平均値を用いて、前記ノイズ低減処理を行う
    請求項2に記載のデータ処理装置。
  7. 前記ノイズ情報記憶手段は、
    基準となるノイズ情報である基準ノイズ情報と、
    前記基準ノイズ情報と、前記モータ音の情報との差分である、複数であるN個の差分情報と
    を記憶し、
    前記ノイズ情報更新手段は、前記基準ノイズ情報との差分が所定の閾値以下の前記モータ音の情報のみによって、前記差分情報を更新し、
    前記ノイズ低減手段は、前記ノイズ情報記憶手段に記憶された前記N個の差分情報それぞれと前記基準ノイズ情報との加算値の平均値を用いて、前記ノイズ低減処理を行う
    請求項2に記載のデータ処理装置。
  8. データ処理装置が、
    レンズを駆動するモータの動作状態を判定し、
    周囲が無音状態であるかどうかを判定し、
    前記モータが動作しておらず、周囲が無音状態であるときの、周囲の音を集音する集音手段が出力する音声データの情報によって、暗騒音の情報である無音情報を記憶する無音情報記憶手段に記憶された前記無音情報を更新し、
    前記無音情報が更新された直後に、前記モータが動作を開始した場合に、前記モータの動作の開始直後に前記集音手段が出力する音声データの情報を、前記無音情報記憶手段に記憶された前記無音情報によって補正することにより、前記モータのモータ音の情報を求め、そのモータ音の情報によって、ノイズ情報を記憶するノイズ情報記憶手段に記憶された前記ノイズ情報を更新する
    ステップを含むデータ処理方法。
  9. レンズを駆動するモータの動作状態を判定する動作状態判定手段と、
    前記モータが動作を開始した場合に、前記モータの動作の開始直後に前記集音手段が出力する音声データの情報によって、ノイズ情報を記憶するノイズ情報記憶手段に記憶された前記ノイズ情報を更新するノイズ情報更新手段と、
    前記ノイズ情報を用いて、前記集音手段が出力する音声データのノイズを低減するノイズ低減処理を行うノイズ低減手段と
    を備えるデータ処理装置。
  10. データ処理装置が、
    レンズを駆動するモータの動作状態を判定し、
    前記モータが動作を開始した場合に、前記モータの動作の開始直後に前記集音手段が出力する音声データの情報によって、ノイズ情報を記憶するノイズ情報記憶手段に記憶された前記ノイズ情報を更新し、
    前記ノイズ情報を用いて、前記集音手段が出力する音声データのノイズを低減するノイズ低減処理を行う
    ステップを含むデータ処理方法。
JP2010061169A 2010-03-17 2010-03-17 データ処理装置、及び、データ処理方法 Withdrawn JP2011199387A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010061169A JP2011199387A (ja) 2010-03-17 2010-03-17 データ処理装置、及び、データ処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010061169A JP2011199387A (ja) 2010-03-17 2010-03-17 データ処理装置、及び、データ処理方法

Publications (1)

Publication Number Publication Date
JP2011199387A true JP2011199387A (ja) 2011-10-06

Family

ID=44877094

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010061169A Withdrawn JP2011199387A (ja) 2010-03-17 2010-03-17 データ処理装置、及び、データ処理方法

Country Status (1)

Country Link
JP (1) JP2011199387A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017204715A (ja) * 2016-05-10 2017-11-16 キヤノン株式会社 電子機器及び制御方法
CN112424863A (zh) * 2017-12-07 2021-02-26 Hed科技有限责任公司 语音感知音频系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017204715A (ja) * 2016-05-10 2017-11-16 キヤノン株式会社 電子機器及び制御方法
CN112424863A (zh) * 2017-12-07 2021-02-26 Hed科技有限责任公司 语音感知音频系统及方法
CN112424863B (zh) * 2017-12-07 2024-04-09 Hed科技有限责任公司 语音感知音频系统及方法

Similar Documents

Publication Publication Date Title
JP5529635B2 (ja) 音声信号処理装置および音声信号処理方法
US9153243B2 (en) Imaging device, program, memory medium, and noise reduction method
US9495950B2 (en) Audio signal processing device, imaging device, audio signal processing method, program, and recording medium
JP2006279185A (ja) 撮像装置、音声記録方法及びプログラム
JP2006270591A (ja) 電子カメラ、データ再生装置およびプログラム
US20150271439A1 (en) Signal processing device, imaging device, and program
GB2486793A (en) Identifying a speaker via mouth movement and generating a still image
JP2008252389A (ja) 撮像装置、雑音除去方法及びプログラム
US8860822B2 (en) Imaging device
JP2011229142A (ja) 撮影装置、信号処理装置及び記録媒体
JP2011199387A (ja) データ処理装置、及び、データ処理方法
JP5435082B2 (ja) ノイズ低減処理装置、カメラ、およびノイズ低減処理プログラム
JP5998483B2 (ja) 音声信号処理装置、音声信号処理方法、プログラム及び記録媒体
JP5932399B2 (ja) 撮像装置及び音声処理装置
JP2013179585A (ja) 音処理装置および音処理プログラム
JP5839795B2 (ja) 撮像装置および情報処理システム
US8600070B2 (en) Signal processing apparatus and imaging apparatus
JP2012203040A (ja) 音声信号処理装置、及びその制御方法
JP6985821B2 (ja) 音声処理装置及びその制御方法
JP5018860B2 (ja) 信号処理装置及び撮像装置
JP5736839B2 (ja) 信号処理装置、撮像装置、及びプログラム
US20120060614A1 (en) Image sensing device
JP5473786B2 (ja) 音声信号処理装置、及びその制御方法
US20220070580A1 (en) Audio processing apparatus, control method, and storage medium, each for performing noise reduction using audio signals input from plurality of microphones
JP2012165219A (ja) 撮像装置

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20130604