JP2010028281A - Camera, noise elimination method and noise elimination program - Google Patents
Camera, noise elimination method and noise elimination program Download PDFInfo
- Publication number
- JP2010028281A JP2010028281A JP2008184804A JP2008184804A JP2010028281A JP 2010028281 A JP2010028281 A JP 2010028281A JP 2008184804 A JP2008184804 A JP 2008184804A JP 2008184804 A JP2008184804 A JP 2008184804A JP 2010028281 A JP2010028281 A JP 2010028281A
- Authority
- JP
- Japan
- Prior art keywords
- noise
- camera
- data
- actuator
- drive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
Description
本発明は、音声の記録と共に記録される駆動音を除去するカメラ、騒音除去方法および騒音除去プログラムに関する。 The present invention relates to a camera, a noise removal method, and a noise removal program for removing drive sound recorded together with voice recording.
従来から、動画撮影時に記録された音声に対して、周期性をもつ騒音源から発生する騒音を低減するために、記録した音声データから騒音データの波形を抽出し、抽出した騒音データを利用するデジタルビデオカメラが知られている(たとえば特許文献1、2)
しかしながら、騒音源から発生する騒音が周期性をもたない場合は、記録された音声から騒音を低減させることが困難であるという問題がある。 However, when the noise generated from the noise source does not have periodicity, there is a problem that it is difficult to reduce the noise from the recorded voice.
請求項1に記載の発明によるカメラは、結像光学系を介して結像した被写体像を撮像して画像信号を取得する撮像素子と、カメラ内部の所定部材を動作させるアクチュエータをPWM駆動する駆動手段と、画像信号を動画として取得する動画取得手段と、周囲の音声に対応する音声データを記録する録音手段と、録音手段により動画撮影中に音声データが記録されているときに、アクチュエータの駆動状態を示す駆動パターンを所定周期ごとに逐次生成する第1生成手段と、第1生成手段で生成された駆動パターンを用いて、アクチュエータの駆動により発生する騒音の状態に対応した騒音パターンデータを生成する第2生成手段とを備えることを特徴とする。
請求項2に記載の発明は、請求項1に記載のカメラにおいて、録音手段により記録された音声データと騒音パターンデータとを用いて、音声から騒音を除去する除去手段とをさらに備えることを特徴とする。
請求項3に記載の発明は、請求項1または2に記載のカメラにおいて、第1生成手段は、アクチュエータに対する通電パターンを所定周期ごとに記録し、通電パターンに基づいて駆動パターンを生成することを特徴とする。
請求項4に記載の発明は、請求項1または2に記載のカメラにおいて、第2生成手段は、録音手段に含まれる回路のゲインを所定周期ごとに記録し、記録されたゲインと、ゲインのそれぞれの所定周期に対応する所定周期での駆動パターンとに基づいて騒音パターンデータを生成することを特徴とする。
請求項5に記載の発明は、請求項1乃至4のいずれか一項に記載のカメラにおいて、カメラのブレを検出するブレ検出手段をさらに備え、駆動手段は、検出されたブレに基づいて、光軸に直交する方向の結像光学系と撮像素子との相対位置を変更して撮像素子上での像ブレを補正するブレ補正部材を駆動することを特徴とする。
請求項6に記載の発明による騒音除去方法は、結像光学系を介して結像した被写体像を撮像して画像信号を取得する撮像素子と、カメラ内部の所定部材を動作させるアクチュエータをPWM駆動する駆動手段と、画像信号を動画として取得する動画取得手段と、周囲の音声に対応する音声データを記録する録音手段とを備えるカメラにより動画撮影中に記録された音声データを読み込み、読み込まれた音声データを用いて、動画撮影中に音声データが記録されているときのアクチュエータの駆動状態を示す駆動パターンを所定周期ごとに逐次生成し、生成された駆動パターンを用いて、アクチュエータの駆動により発生する騒音の状態を示す騒音パターンデータを生成し、記録された音声データと騒音パターンデータとを用いて、音声から騒音を除去することを特徴とする。
請求項7に記載の発明は、請求項6に記載の騒音除去方法をコンピュータで実行するための騒音除去プログラムである。
According to the first aspect of the present invention, there is provided a camera in which an image pickup device that picks up a subject image formed through an image forming optical system and obtains an image signal, and an actuator that operates a predetermined member inside the camera are PWM driven. Means, moving image acquisition means for acquiring an image signal as a moving image, recording means for recording sound data corresponding to surrounding sound, and driving of the actuator when the sound data is recorded during moving image shooting by the recording means Noise pattern data corresponding to the state of noise generated by driving the actuator is generated using a first generation unit that sequentially generates a drive pattern indicating a state every predetermined period and a drive pattern generated by the first generation unit. And a second generating means.
According to a second aspect of the present invention, in the camera according to the first aspect of the present invention, the camera further includes a removing unit that removes noise from the voice using the voice data recorded by the recording unit and the noise pattern data. And
According to a third aspect of the present invention, in the camera according to the first or second aspect, the first generation unit records the energization pattern for the actuator every predetermined period, and generates the drive pattern based on the energization pattern. Features.
According to a fourth aspect of the present invention, in the camera according to the first or second aspect, the second generation unit records the gain of the circuit included in the recording unit at predetermined intervals, and the recorded gain and the gain Noise pattern data is generated based on a drive pattern in a predetermined cycle corresponding to each predetermined cycle.
According to a fifth aspect of the present invention, in the camera according to any one of the first to fourth aspects, the camera further includes a blur detection unit that detects a blur of the camera, and the driving unit is based on the detected blur. A blur correction member that corrects an image blur on the image sensor by driving a relative position between the imaging optical system and the image sensor in a direction orthogonal to the optical axis is driven.
According to a sixth aspect of the present invention, there is provided a noise removal method in which an image pickup device that picks up a subject image formed through an image forming optical system and acquires an image signal and an actuator that operates a predetermined member inside the camera are PWM-driven. Audio data recorded during video shooting is read and read by a camera comprising: a driving unit that performs video recording, a video acquisition unit that acquires an image signal as a video, and a recording unit that records audio data corresponding to surrounding audio Using sound data, a drive pattern that indicates the drive state of the actuator when sound data is recorded during movie shooting is sequentially generated every predetermined period, and generated by driving the actuator using the generated drive pattern Noise pattern data indicating the state of the noise to be generated, and using the recorded voice data and noise pattern data, And removing the.
The invention according to
本発明によれば、騒音パターンデータを生成して、音声から騒音を除去できる。 According to the present invention, noise pattern data can be generated to remove noise from speech.
−第1の実施の形態−
図面を用いて、本発明の第1の実施の形態によるカメラについて説明する。
図1(a)に示すように、カメラ1には撮影レンズ2、レリーズボタン3、電源ボタン4、撮影モードとして静止画撮影モードもしくは動画撮影モードの設定操作を行なうモードダイヤル5が設けられている。撮影レンズ2には、焦点調節レンズ2a、その他の結像レンズ2b、および後述するブレ補正装置15(図2)が内蔵されている。また、図1(b)に示すように、カメラ1の背面には液晶モニタ17、および操作ボタン18が設けられている。
-First embodiment-
A camera according to a first embodiment of the present invention will be described with reference to the drawings.
As shown in FIG. 1A, the
図2は実施の形態のカメラの回路構成を示すブロック図である。カメラ1は、半押しスイッチ3a、全押しスイッチ3b、電源スイッチ4a、撮像素子6、制御回路7、SDRAM8、フラッシュメモリ9、メモリカードインタフェース11、ブレ検出センサ14、ブレ補正装置15、液晶モニタ17、操作スイッチ18a、内蔵マイク19および音声処理回路20を備える。
FIG. 2 is a block diagram illustrating a circuit configuration of the camera according to the embodiment. The
撮像素子6は、複数の光電変換素子を備えたCCDやCMOSイメージセンサによって構成される。撮像素子6は、撮像面上に結像されている被写体像を撮像し、被写体像に応じた光電変換信号(画像信号)を制御回路7へ出力する。
The
制御回路7は、制御プログラムに基づいて、カメラ1を構成する各部から入力される信号を用いて所定の演算を行ない、カメラ1の各部に対する制御信号を送出して、撮影動作を制御する。制御プログラムは、制御回路7内の不図示の不揮発性メモリに格納されている。制御回路7は、撮像素子6から入力した画像信号をデジタル画像信号に変換し、そのデジタル画像信号に対して種々の画像処理を施して画像データを生成する。そして、制御回路7は生成された画像データに対してJPEGなどの所定の方式により圧縮処理を行い、EXIFなどの形式でメモリカード12へ記録する。また、制御回路7は、撮像素子6から出力される撮像信号に基づいて周知の焦点評価値演算を行い、演算結果に基づいて、図示しないレンズ駆動回路に対して焦点評価値が最大となる位置へ焦点調節レンズ2aを移動させる。
Based on the control program, the
SDRAM8は、画像処理、画像圧縮処理および表示用画像データ作成処理の途中や処理後のデータを一時的に格納するために使用される。表示用画像データは、撮像素子6からの出力に基づいて、制御回路7が生成した画像データ、もしくはメモリカード12に記録されている画像データに基づいて、制御回路7により生成される。生成された表示用画像データは、制御回路7によりSDRAM8に格納される。フラッシュメモリ9は、たとえば制御回路7が演算を行うための各種の処理プログラムが記憶された不揮発性メモリである。
The SDRAM 8 is used to temporarily store data during or after image processing, image compression processing, and display image data creation processing. The display image data is generated by the
制御回路7は、LCD駆動回路171を介して液晶モニタ17を駆動し、液晶モニタ17に画像を表示する。また、液晶モニタ17には、カメラ1の各種設定メニュー画面などが表示される。設定メニューには、たとえば後述する動画撮影モードにおいて音声記録を行う録音モードの設定が含まれる。録音モードの設定は、ユーザが操作ボタン18を操作することにより行われる。モードダイヤル5は、ユーザによる動画撮影と静止画撮影との間での切替操作に応じて、動画撮影を指示する信号、もしくは静止画撮影を指示する信号を制御回路7へ出力する。
The
内蔵マイク19は、録音モードが設定されている場合には、動画撮影時に音声を取得する。音声処理回路20は、内蔵マイク19で収録された音声信号(アナログ信号)をデジタル信号(音声データ)に変換し、変換した音声データを制御回路7へ出力する。制御回路7は、この音声データを時系列的につなぎ合わせて音声録音データを生成し、所定の記録領域に一時的に格納する。この音声録音データは、後述する騒音除去処理が施された後、ノイズ除去音声データとしてメモリカード12に記録される。メモリカードインタフェース11は、メモリカード12が着脱可能なインタフェースである。メモリカードインタフェース11は、制御回路7の制御に基づいて、画像データをメモリカード12に書き込んだり、メモリカード12に記録されている画像データを読み出すインタフェース回路である。メモリカード12はコンパクトフラッシュ(登録商標)やSDカードなどの半導体メモリカードである。
When the recording mode is set, the built-in
ブレ検出センサ14は、たとえばジャイロセンサなどで構成され、撮影時にカメラ1の本体のX方向およびY方向(図1参照)に発生するブレをピッチングとヨーイングに分解して検出する。ブレ検出センサ14で検出されたピッチングとヨーイングを表すブレ量信号は制御回路7に出力される。制御回路7は、入力したブレ量信号に基づいて後述するブレ補正装置15を駆動してブレ補正を行う。
The
ブレ補正装置15は、シフトレンズ151、アクチュエータ153および位置検出センサ154を備える。シフトレンズ151は、アクチュエータ153により撮像素子6の撮像面と平行な面内、すなわち光軸に直交する平面内で、図示しない駆動制限部材の内壁面で規定される範囲内で移動可能となるように設けられる。
The blur correction device 15 includes a
アクチュエータ153は、たとえば、コイル、磁石、およびヨークを有するボイスコイルモータである。アクチュエータ153は、制御回路7からのパルス通電によりデューティ(Duty)駆動して駆動力を発生し、シフトレンズ151を移動させる。その結果、シフトレンズ151および撮像素子6における被写体光の光軸と直交する方向の相対位置が変化して、撮影レンズ2を通過した被写体光がブレを打ち消す方向に屈折される。
The
位置検出センサ154は、たとえば、磁石および磁気検出素子を有する磁気センサであり、シフトレンズ151の位置に応じた電圧を制御回路7へ出力する。制御回路7は、位置検出センサ154から入力した電圧の値に基づいて、シフトレンズ151の位置を検出する。
The
−動画撮影−
モードダイヤル5により動画撮影モードが設定され、さらに録音モードが設定されている場合に、制御回路7が動画撮影および録音をする際のカメラ1の動作を説明する。全押しスイッチ3bから全押し信号が入力され、動画撮影の開始が指示されると、制御回路7は、撮像素子6に対して動画データの取得を開始させるとともに、内蔵マイク19および音声処理回路20による音声データの取得を開始させる。このとき、制御回路7は、所定時間ごとのアクチュエータ153の通電オン/オフの間隔を通電デューティデータとして、制御回路7内の所定の記録領域に記録する。制御回路7は、録音時において音声処理回路20にて設定されるゲインの状態を、制御回路7内の所定の記録領域に記録する。このとき記録されるゲインの設定状態は、アクチュエータ153がPWM制御によりデューティ駆動される所定時間(PWM駆動周期)の間隔ごとに記録される。音声録音が行われている間は、通電デューティデータおよびゲインの設定状態が所定時間ごとに逐次記録され続ける。
-Movie shooting-
An operation of the
上記の動画撮影および音声録音中に全押しスイッチ3bから全押し信号が入力され、動画撮影の終了が指示されると、制御回路7は、撮像素子6に対する画像データの取得および内蔵マイク19による音声データの取得を終了させ、動画データおよび音声録音データを生成する。そして、制御回路7は、記録された通電デューティデータに基づいて、アクチュエータ153の駆動パターンを示す駆動データ(デューティ比)を生成する。制御回路7は、記録されたゲインの設定状態を数値化したゲイン係数を生成する。さらに、制御回路7は、記録された駆動デューティデータおよびゲイン係数を用いて、録音中のノイズデータを生成する。制御回路7は、ノイズデータの生成に際して、図3に示すテーブルTBを参照する。テーブルTBは、デューティ比(デューティ0%〜デューティ100%)とノイズパターン(P000〜P100)、すなわちアクチュエータ153の駆動により発生するノイズの推測値とが対応付けされている。このテーブルTBは、製造試験、検査時等に計測されたデータ等に基づいて作成され、予めフラッシュメモリ9に記憶されている。
When a full-press signal is input from the full-
動画撮影および音声録音時において、アクチュエータ153の駆動が、デューティ比でデューティ10%→デューティ12%→デューティ9%→デューティ10%→・・・のように変化したものとする。また、録音中に記録されたゲイン係数は、デューティ比の変化に対応してG1→G1→G2→G2→・・・と変化したものとする。このとき、制御回路7は、テーブルTBを参照して、ノイズパターンが、P10→P12→P9→P10→・・・のように変化したものと判定する。さらに、制御回路7は、ゲイン係数の変化とノイズパターンの変化とを用いて、音声録音中のノイズデータを作成する。この場合、デューティ比およびゲイン係数の変化に対応して、アクチュエータ153の駆動および音声処理回路20のゲインによるノイズは、P10×G1→P12×G1→P9×G2→P10×G2→・・・のように時系列的に変化する。したがって、制御回路7は、上記のP10×G1、P12×G1、P9×G2、P10×G2・・・をそれぞれ時系列的につなぎ合わせることにより、ノイズデータを生成する。
It is assumed that the driving of the actuator 153 changes in the duty ratio as follows: duty 10% →
制御回路7は、上述のようにして生成したノイズデータを、一時格納した音声録音データから減算して、音声録音データからノイズデータを除去する。すなわち、音声録音データとノイズデータとを合成することにより、騒音除去処理の施されたノイズ除去音声データが生成される。
The
図4に示すフローチャートを参照しながら、カメラ1の動作について説明する。図4の処理は制御回路7でプログラムを実行して行われる。このプログラムは、図示しないメモリに格納されており、動画撮影モードおよび録音モードが設定されている場合に、全押しスイッチ3bから全押し信号が入力されると起動される。
The operation of the
ステップS101においては、撮像素子6による画像データの取得を開始してステップS102へ進む。ステップS102においては、アクチュエータ153に対する通電状態を通電デューティデータとして記録してステップS103へ進む。ステップS103においては、内蔵マイク19および音声処理回路20による音声データの取得を開始してステップS104へ進む。ステップS104においては、音声録音時における音声処理回路20のゲインの設定状態を記録してステップS105へ進む。
In step S101, acquisition of image data by the
ステップS105においては、動画撮影が終了されたか否かを判定する。全押しスイッチ3bから全押し信号が入力され動画撮影終了が指示されると、ステップS105が肯定判定されてステップS106へ進む。全押しスイッチ3bから全押し信号が入力されない場合は、ステップS105が否定判定されてステップS102へ戻る。
In step S105, it is determined whether or not moving image shooting has been completed. When a full-press signal is input from the full-
ステップS106においては、取得した画像データを用いて動画データを生成するとともに、取得した音声データを用いて音声記録データを生成してステップS107へ進む。ステップS107においては、通電デューティデータの記録を終了する。そして、通電デューティデータを用いて駆動デューティデータを生成してステップS108へ進む。ステップS108においては、記録した音声処理回路20のゲインの設定状態を数値化したゲイン係数を生成してステップS109へ進む。
In step S106, moving image data is generated using the acquired image data, and audio recording data is generated using the acquired audio data, and the process proceeds to step S107. In step S107, the recording of energization duty data is terminated. Then, drive duty data is generated using the energization duty data, and the process proceeds to step S108. In step S108, a gain coefficient is generated by quantifying the gain setting state of the recorded
ステップS109においては、生成した駆動デューティデータおよびゲイン係数を用い、テーブルTBを参照して、上述したようにしてノイズデータを生成してステップS110へ進む。ステップS110においては、ステップS106で生成した音声記録データからノイズデータを除去することにより、ノイズ除去音声データを生成して一連の処理を終了する。 In step S109, noise data is generated as described above with reference to the table TB using the generated drive duty data and gain coefficient, and the process proceeds to step S110. In step S110, noise data is removed from the audio recording data generated in step S106, thereby generating noise-removed audio data, and a series of processing ends.
以上で説明した第1の実施の形態によれば、以下の作用効果が得られる。
(1)制御回路7は、動画撮影中に内蔵マイク19および音声処理回路20により音声データが取得されているときに、アクチュエータ153の駆動パターンを示す駆動デューティデータをPWM駆動周期ごとに逐次生成するようにした。そして、制御回路7は、生成した駆動デューティデータを用いて、アクチュエータ153の駆動により発生する騒音の状態を示すノイズデータを生成して、音声記録データとノイズデータとを用いて、音声からアクチュエータ153の駆動に伴って発生する騒音を除去するようにした。したがって、通電デューティデータを用いて、アクチュエータ153の駆動により発生する騒音を推定して音声から除去することができる。その結果、ブレ補正装置15のアクチュエータ153のように騒音に周期性がないような場合であっても、騒音が除去された高音質の音声を取得できる。
According to the first embodiment described above, the following operational effects can be obtained.
(1) The
さらに加えて、制御回路7の処理により騒音の推定および騒音除去を行うことができるので、たとえば、従来の技術のようなアクティブ消音による騒音の除去を行う必要がなくなる。アクティブ消音とは、ブレ補正装置15の近傍に設けた、内蔵マイク19とは別の消音用マイクによってアクチュエータ153の駆動による騒音を集音し、集音した騒音を内蔵マイク19で取得した音声から除去することにより騒音を除去するものである。したがって、アクティブ消音を行わずに済むので、消音用マイク等の特別な構成を新たに追加することなくアクチュエータ153による騒音を除去できるので、カメラ1内部のスペースを確保できるとともに、消音用マイクの追加に伴うコストアップを防ぐことができる。
In addition, noise estimation and noise removal can be performed by the processing of the
(2)制御回路7は、アクチュエータ153に供給される電力の通電パターン(通電デューティデータ)を所定周期ごとに記録し、通電パターンに基づいて駆動デューティデータを生成するようにした。したがって、アクチュエータ153の駆動状態に応じたノイズデータを生成できるので、騒音に周期性がなく、時々刻々と変化する場合であっても騒音を除去して高音質の音声を記録することができる。
(2) The
(3)制御回路7は、音声処理回路20に含まれる回路のゲインの設定状態を数値化したゲイン係数を所定周期ごとに生成し、ゲイン係数と、ゲイン係数のそれぞれの所定周期に対応する駆動デューティデータに基づいてノイズデータを生成するようにした。したがって、音声処理回路20のゲインの状態によるノイズ成分についても除去することができるので、記録する音声の質を向上させることができる。
(3) The
−第2の実施の形態−
本発明の第2の実施の形態によるカメラについて説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。本実施の形態では、ノイズデータの生成およびノイズ除去音声データの生成をPC等のコンピュータにより行う点が第1の実施の形態と異なる。
-Second Embodiment-
A camera according to the second embodiment of the present invention will be described. In the following description, the same components as those in the first embodiment are denoted by the same reference numerals, and different points will be mainly described. Points that are not particularly described are the same as those in the first embodiment. This embodiment is different from the first embodiment in that noise data and noise-removed audio data are generated by a computer such as a PC.
図5には、第2の実施の形態によるカメラ1と、カメラ1に接続されるコンピュータの要部構成を示す。カメラ1は、さらに外部インタフェース21を備える。外部インタフェース21は、所定のケーブルや無線伝送路を介してコンピュータ30等の外部装置とデータ通信を行うためのインタフェースである。
FIG. 5 shows a main configuration of the
コンピュータ30は、本実施の形態においては、カメラ1で取得された音声記録データからノイズを除去する騒音除去処理を行う。コンピュータ30は、制御回路31、ハードディスク32、外部インタフェース33、フラッシュメモリ34および操作部35を備える。制御回路31は、各ブロックから出力される信号を入力して所定の演算を行い、演算結果に基づく制御信号を各ブロックへ出力する。
In the present embodiment, the
ハードディスク32はカメラ1からダウンロードした画像データ、音声記録データ、および後述するノイズ記録情報データを格納する。外部インタフェース212は、所定のケーブルや無線伝送路を介してカメラ等の外部装置とデータ通信を行なう。フラッシュメモリ34には、デューティ比(デューティ0%〜デューティ100%)とノイズパターン(P000〜P100)、すなわちアクチュエータ153の駆動により発生するノイズの推測値とが対応付けされたテーブルTBが記憶されている。操作部35は、ユーザによりコンピュータ30に騒音除去処理をさせる際に操作され、騒音除去指示信号を出力する。
The
次に、本実施の形態におけるカメラ1およびコンピュータ30のそれぞれの動作について説明する。
−カメラ1−
カメラ1の制御回路7は、第1の実施の形態において説明した場合と同様にして駆動デューティデータおよびゲイン係数を生成する。そして、制御回路7は、生成した駆動デューティデータとゲイン係数とを一つにまとめたノイズ記録情報データを生成する。ノイズ記録情報データでは、アクチュエータ153がデューティ駆動される所定時間における駆動デューティデータとゲイン係数とがそれぞれの所定時間ごとに対応付けされている。そして、制御回路7は、生成した音声記録データとノイズ記録情報データとを、メモリカード12に記録する。カメラ1が外部インタフェース21を介してコンピュータ30と接続され、コンピュータ30からデータの送信要求信号を受信すると、制御回路7は、音声記録データとノイズ記録情報データとをメモリカード12から読み出して、コンピュータ30へ送信する。
Next, operations of the
-
The
図6に示すフローチャートを参照しながら、カメラ1の動作について説明する。図6の処理は制御回路7でプログラムを実行して行われる。このプログラムは、図示しないメモリに格納されており、動画撮影モードおよび録音モードが設定されている場合に、全押しスイッチ3bから全押し信号が入力されると起動される。
The operation of the
ステップS201(動画撮影開始)からステップS208(ゲイン係数生成)までの各処理は、図4のステップS101(動画撮影開始)からステップS108(ゲイン係数生成)までの各処理と同様である。ステップS209においては、駆動デューティデータとゲイン係数とを対応付けて一つにまとめたノイズ記録情報データを生成し、このノイズ記録情報データと音声記録データとを対応付けてメモリカード12へ記録して一連の処理を終了する。
Each processing from step S201 (moving image shooting start) to step S208 (gain coefficient generation) is the same as each processing from step S101 (moving image shooting start) to step S108 (gain coefficient generation) in FIG. In step S209, noise recording information data is generated by associating the driving duty data with the gain coefficient, and the noise recording information data and the audio recording data are associated with each other and recorded on the
−コンピュータ30−
外部インタフェース33を介してカメラ1が接続されたことが検出され、操作部35から騒音除去指示信号を入力すると、制御回路31は、カメラ1に対してノイズ記録情報データと音声記録データの送信を要求する送信要求信号を送信する。そして、制御回路31は、送信要求信号に応じてカメラ1から送信されたノイズ記録情報データと音声記録データとを読み込んで、ハードディスク32に格納する。
-Computer 30-
When it is detected that the
制御回路31は、ハードディスク32に読み込んだノイズ記録情報データ内の駆動デューティデータとゲイン係数とを用い、フラッシュメモリ34に記憶されているテーブルTBを参照して、第1の実施の形態において説明した場合と同様にしてノイズデータを生成する。そして、制御回路31は、読み込んだ音声記録データからノイズデータを減算して、音声録音データからノイズデータを除去する。すなわち、音声録音データとノイズデータとを合成することにより、騒音除去処理の施されたノイズ除去音声データが生成される。
The
図7に示すフローチャートを参照しながら、コンピュータ30の動作について説明する。図7の処理は制御回路31でプログラムを実行して行われる。このプログラムは、図示しないメモリに格納されており、カメラ1と接続され、操作部35から騒音除去指示信号が入力されると起動される。
The operation of the
ステップS301においては、外部インタフェース33を介してカメラ1に送信要求信号を送信してステップS302へ進む。ステップS302においては、カメラ1からノイズ記録情報データを読み込み、ハードディスク32に格納してステップS303へ進む。ステップS303においは、読み込んだノイズ記録情報データ内の駆動デューティデータおよびゲイン係数を用い、テーブルTBを参照して、ノイズデータを生成してステップS304へ進む。
In step S301, a transmission request signal is transmitted to the
ステップS304においては、カメラ1から音声記録データを読み込んでステップS305へ進む。ステップS305においては、読み込んだ音声記録データからノイズデータを除去することにより、ノイズ除去音声データを生成して一連の処理を終了する。
In step S304, the audio recording data is read from the
以上で説明した第2の実施の形態によれば、以下の作用効果が得られる。
コンピュータ30のフラッシュメモリ34に記憶されているテーブルTBを参照して、カメラ1から読み込んだノイズ記録情報データによりノイズデータを生成し、音声からカメラ1のアクチュエータ153の駆動により発生する騒音を除去するようにした。したがって、テーブルTBをカメラ1内部に記憶させていない場合であっても、後処理によりノイズデータを生成して騒音の除去を行えるので、カメラ1のフラッシュメモリ9の容量を確保できる。また、一般的にコンピュータ30内の制御回路31の処理能力はカメラ1の制御回路7の処理能力よりも高いので、ノイズデータの生成およびノイズ除去音声データの生成をカメラ1内部で行うよりも高速に処理できる。さらに、カメラ1の処理負荷を低減できる。
According to the second embodiment described above, the following operational effects can be obtained.
With reference to the table TB stored in the
以上で説明した実施の形態のカメラ1を以下のように変形できる。
(1)ブレ補正装置15のアクチュエータ153の駆動により発生する騒音に限らず、焦点調節レンズ2aを駆動するフォーカスモータ、もしくは図示しないズームレンズを駆動するズームモータ等のアクチュエータにより発生する騒音を除去する場合にも本発明を適用できる。この場合も、フォーカスモータもしくはズームモータの駆動デューティデータとノイズパターンとが対応付けされたテーブルを予めフラッシュメモリ9に記憶しておけばよい。
The
(1) Not only noise generated by driving the
(2)カメラ1の制御回路7によるノイズデータおよびノイズ除去音声データの生成の要否を、ユーザにより選択可能としてもよい。この場合、ユーザが騒音除去処理の要否を、たとえば液晶モニタ17に表示される設定メニューから選択できるようにすればよい。この結果、カメラ1の内部で発生する騒音が周囲の音に対して相対的に小さく、ノイズ除去の必要性が低い場合には、騒音除去処理を行わず、制御回路7の処理負荷を低減させることができる。
(2) The necessity of generation of noise data and noise-removed audio data by the
(3)シフトレンズ151を駆動させるものに代えて、撮像素子6を駆動させて撮影レンズ2および撮像素子6における被写体光の光軸と直交する方向の相対位置を変更させて、像ブレを補正するものでもよい。
(3) Instead of driving the
(4)カメラ1もしくはコンピュータ30の制御プログラムのバージョンアップ時などにおいて、インターネット経由や可搬記録媒体を介して既存のユーザに対するサポートを実施することもできる。図4、図6もしくは図7のプログラムは、そのようなバージョンアップ用のソフトウエアに対しても適用できる。
(4) When the control program of the
また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。 In addition, the present invention is not limited to the above-described embodiment as long as the characteristics of the present invention are not impaired, and other forms conceivable within the scope of the technical idea of the present invention are also within the scope of the present invention. included.
6・・・撮像素子 7・・・制御回路 14・・・ブレ検出センサ 15・・・ブレ補正装置
19・・・内蔵マイク 20・・・音声処理回路 153・・・アクチュエータ
DESCRIPTION OF
Claims (7)
カメラ内部の所定部材を動作させるアクチュエータをPWM駆動する駆動手段と、
前記画像信号を動画として取得する動画取得手段と、
周囲の音声に対応する音声データを記録する録音手段と、
前記録音手段により動画撮影中に音声データが記録されているときに、前記アクチュエータの駆動状態を示す駆動パターンを所定周期ごとに逐次生成する第1生成手段と、
前記第1生成手段で生成された前記駆動パターンを用いて、前記アクチュエータの駆動により発生する騒音の状態に対応した騒音パターンデータを生成する第2生成手段とを備えることを特徴とするカメラ。 An image sensor that captures an image of a subject imaged via an imaging optical system to obtain an image signal;
Drive means for PWM driving an actuator for operating a predetermined member inside the camera;
Moving image acquisition means for acquiring the image signal as a moving image;
Recording means for recording audio data corresponding to the surrounding audio;
First generation means for sequentially generating a drive pattern indicating a drive state of the actuator at predetermined intervals when audio data is recorded during moving image shooting by the recording means;
A camera comprising: second generation means for generating noise pattern data corresponding to a state of noise generated by driving the actuator, using the drive pattern generated by the first generation means.
前記録音手段により記録された音声データと前記騒音パターンデータとを用いて、前記音声から前記騒音を除去する除去手段とをさらに備えることを特徴とするカメラ。 The camera of claim 1,
A camera, further comprising: removal means for removing the noise from the voice using the voice data recorded by the recording means and the noise pattern data.
前記第1生成手段は、前記アクチュエータに対する通電パターンを所定周期ごとに記録し、前記通電パターンに基づいて前記駆動パターンを生成することを特徴とするカメラ。 The camera according to claim 1 or 2,
The camera according to claim 1, wherein the first generation unit records an energization pattern for the actuator at predetermined intervals, and generates the drive pattern based on the energization pattern.
前記第2生成手段は、前記録音手段に含まれる回路のゲインを前記所定周期ごとに記録し、前記記録されたゲインと、前記ゲインのそれぞれの所定周期に対応する前記所定周期での前記駆動パターンとに基づいて前記騒音パターンデータを生成することを特徴とするカメラ。 The camera according to claim 1 or 2,
The second generation unit records a gain of a circuit included in the recording unit for each predetermined period, and the recorded gain and the drive pattern in the predetermined period corresponding to each predetermined period of the gain. The noise pattern data is generated based on the above.
カメラのブレを検出するブレ検出手段をさらに備え、
前記駆動手段は、前記検出されたブレに基づいて、光軸に直交する方向の前記結像光学系と前記撮像素子との相対位置を変更して前記撮像素子上での像ブレを補正するブレ補正部材を駆動することを特徴とするカメラ。 The camera according to any one of claims 1 to 4,
It further comprises a shake detection means for detecting camera shake,
The drive means corrects image blur on the image sensor by changing a relative position between the imaging optical system and the image sensor in a direction orthogonal to an optical axis based on the detected blur. A camera that drives a correction member.
前記読み込まれた音声データを用いて、動画撮影中に音声データが記録されているときの前記アクチュエータの駆動状態を示す駆動パターンを所定周期ごとに逐次生成し、
前記生成された駆動パターンを用いて、前記アクチュエータの駆動により発生する騒音の状態を示す騒音パターンデータを生成し、
前記記録された音声データと前記騒音パターンデータとを用いて、前記音声から前記騒音を除去することを特徴とする騒音除去方法。 An image sensor that captures an image of a subject imaged via an imaging optical system to acquire an image signal, a drive unit that PWM drives an actuator that operates a predetermined member inside the camera, and the image signal is acquired as a moving image. Read the audio data recorded during video shooting by a camera comprising a video acquisition means and a recording means for recording audio data corresponding to the surrounding audio;
Using the read audio data, a drive pattern indicating a drive state of the actuator when audio data is recorded during moving image shooting is sequentially generated every predetermined period,
Using the generated drive pattern, generate noise pattern data indicating the state of noise generated by driving the actuator,
A noise removing method, wherein the noise is removed from the voice using the recorded voice data and the noise pattern data.
前記読み込まれた音声データを用いて、動画撮影中に前記音声データが記録されているときの前記アクチュエータの駆動状態を示す駆動パターンを所定周期ごとに逐次生成する第1生成処理と、
前記生成された駆動パターンを用いて、前記アクチュエータの駆動により発生する騒音の状態を示す騒音パターンデータを生成する第2生成処理と、
前記記録された音声データと前記騒音パターンデータとを用いて、前記音声から前記騒音を除去する除去処理とをコンピュータで実行することを特徴とする騒音除去プログラム。 An image sensor that captures an image of a subject imaged via an imaging optical system to acquire an image signal, a drive unit that PWM drives an actuator that operates a predetermined member inside the camera, and the image signal is acquired as a moving image. A reading process for reading the audio data recorded during moving image shooting by a camera including a moving image acquisition unit and a recording unit that records audio data corresponding to surrounding audio;
A first generation process for sequentially generating a driving pattern indicating a driving state of the actuator when the audio data is recorded during moving image shooting at predetermined intervals using the read audio data;
A second generation process for generating noise pattern data indicating a state of noise generated by driving the actuator, using the generated drive pattern;
A noise removal program, wherein a removal process for removing the noise from the voice is executed by a computer using the recorded voice data and the noise pattern data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008184804A JP2010028281A (en) | 2008-07-16 | 2008-07-16 | Camera, noise elimination method and noise elimination program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008184804A JP2010028281A (en) | 2008-07-16 | 2008-07-16 | Camera, noise elimination method and noise elimination program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010028281A true JP2010028281A (en) | 2010-02-04 |
Family
ID=41733722
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008184804A Pending JP2010028281A (en) | 2008-07-16 | 2008-07-16 | Camera, noise elimination method and noise elimination program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010028281A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012249109A (en) * | 2011-05-27 | 2012-12-13 | Nikon Corp | Noise information recording apparatus, imaging apparatus, interchangeable lens, noise reduction processing apparatus, and program |
JP2013106327A (en) * | 2011-11-16 | 2013-05-30 | Canon Inc | Imaging apparatus, information processing apparatus, control method for imaging apparatus and information processing apparatus, noise removal method and program |
US8687090B2 (en) | 2010-11-24 | 2014-04-01 | Samsung Electronics Co., Ltd. | Method of removing audio noise and image capturing apparatus including the same |
US8830353B2 (en) | 2010-10-22 | 2014-09-09 | Panasonic Corporation | Camera body, and camera system |
US9997169B2 (en) | 2015-04-02 | 2018-06-12 | At&T Intellectual Property I, L.P. | Image-based techniques for audio content |
-
2008
- 2008-07-16 JP JP2008184804A patent/JP2010028281A/en active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8830353B2 (en) | 2010-10-22 | 2014-09-09 | Panasonic Corporation | Camera body, and camera system |
US8687090B2 (en) | 2010-11-24 | 2014-04-01 | Samsung Electronics Co., Ltd. | Method of removing audio noise and image capturing apparatus including the same |
JP2012249109A (en) * | 2011-05-27 | 2012-12-13 | Nikon Corp | Noise information recording apparatus, imaging apparatus, interchangeable lens, noise reduction processing apparatus, and program |
JP2013106327A (en) * | 2011-11-16 | 2013-05-30 | Canon Inc | Imaging apparatus, information processing apparatus, control method for imaging apparatus and information processing apparatus, noise removal method and program |
US9997169B2 (en) | 2015-04-02 | 2018-06-12 | At&T Intellectual Property I, L.P. | Image-based techniques for audio content |
US10762913B2 (en) | 2015-04-02 | 2020-09-01 | At&T Intellectual Property I, L. P. | Image-based techniques for audio content |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2011039344A (en) | Imaging apparatus and method | |
JP2007159088A (en) | Imaging apparatus and method of controlling same | |
JP2010141554A (en) | Shake correction device, shake correction method, and image pickup device | |
JP2009003334A (en) | Image pick-up device, and imaging control method | |
JP2008147966A (en) | Imaging apparatus and its program | |
JP2010130097A (en) | Imaging apparatus, control method therefor and program | |
JP2007206382A (en) | Shake detecting device, its control method, photographing device, control program and recording medium | |
JP2010028281A (en) | Camera, noise elimination method and noise elimination program | |
JP2009017030A (en) | Image imaging apparatus, and imaging control method | |
JP2012194487A (en) | Imaging device, imaging method and program | |
JP2008309947A (en) | Imaging apparatus and imaging method | |
JP2007221711A (en) | Sensor unit, and electronic device | |
JP2009260603A (en) | Electronic camera | |
JP2009077265A (en) | Imaging apparatus | |
JP2011188374A (en) | Shooting apparatus | |
JP2009284117A (en) | Imaging device and method of controlling imaging device | |
JP2007067660A (en) | Imaging apparatus, and reproduction control method | |
JP5962974B2 (en) | Imaging apparatus, imaging method, and program | |
JP6257186B2 (en) | Imaging apparatus, imaging method, and program | |
JP2011095378A (en) | Sound recording device, imaging device and program | |
JP5375368B2 (en) | Imaging device | |
JP2007097098A (en) | Electronic camera | |
JP2006094200A (en) | Imaging apparatus, focusing display method, and program | |
JP2011004220A (en) | Digital camera | |
JP2010130295A (en) | Image processor, image processing method, and program |