JP2007110636A - Camera apparatus - Google Patents
Camera apparatus Download PDFInfo
- Publication number
- JP2007110636A JP2007110636A JP2005302008A JP2005302008A JP2007110636A JP 2007110636 A JP2007110636 A JP 2007110636A JP 2005302008 A JP2005302008 A JP 2005302008A JP 2005302008 A JP2005302008 A JP 2005302008A JP 2007110636 A JP2007110636 A JP 2007110636A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera shake
- unit
- camera
- signal processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は、手ぶれ補正機能を有するカメラ装置に関するものである。 The present invention relates to a camera device having a camera shake correction function.
静止画の撮影に際して画質に大きな影響を与える要素として、カメラを構えた手が手ぶれを起こすことによる画質劣化が広く知られている。最近、主流となってきているデジタルカメラは、一般的に、レンズ、CCD(光電変換素子)やCMOSセンサーといった撮像素子、信号処理回路、情報媒体、等から構成されており、レンズによって被写体の光学情報を撮像素子の撮像面に結像して撮影する構成となっている。この際、撮像素子で光学情報を電気的情報に変換するためには、一定期間光信号を撮像素子の撮像面上に結像させるよう制御する電子シャッター機能が必要になる。この電子シャッターのシャッター時間(撮像素子において露光されている時間)の間に手ぶれが発生すると、撮像素子上の結像位置がずれてしまい、暈けた画像が撮影されてしまう。 As a factor that greatly affects image quality when taking a still image, image quality degradation due to camera shake caused by the hand holding the camera is widely known. Recently, digital cameras that have become mainstream are generally composed of a lens, an image sensor such as a CCD (photoelectric conversion element) or a CMOS sensor, a signal processing circuit, an information medium, and the like. The information is imaged and imaged on the imaging surface of the imaging element. At this time, in order to convert optical information into electrical information by the image sensor, an electronic shutter function for controlling the optical signal to form an image on the imaging surface of the image sensor for a certain period is required. If camera shake occurs during the shutter time of the electronic shutter (time during which the image sensor is exposed), the imaging position on the image sensor is shifted, and a blurred image is captured.
昨今では、動画を撮影可能なビデオカメラを中心に、手ぶれ補正機能を備えたカメラ装置が多数製品化されている。この手ぶれ補正機能を利用することによって、手ぶれによる画質劣化を低減させている。 In recent years, a large number of camera devices having a camera shake correction function have been commercialized, centering on video cameras capable of shooting moving images. By using this camera shake correction function, image quality deterioration due to camera shake is reduced.
手ぶれ補正の方式は、「光学式手ぶれ補正」と「電子式手ぶれ補正」の2つの方式が広く知られている。まず、光学式手ぶれ補正は、レンズあるいは撮像素子を、光軸に対して直交する方向へ物理的に動かし、手ぶれによる光軸のぶれをキャンセルさせる方式である。光学式手ぶれ補正は、精度の高い補正が可能である反面、レンズや撮像素子を動かすための可動部材を必要とするため、小型化、低価格化には適していない。 Two types of camera shake correction methods are widely known: “optical camera shake correction” and “electronic camera shake correction”. First, optical camera shake correction is a method in which a lens or an image sensor is physically moved in a direction orthogonal to the optical axis to cancel the shake of the optical axis due to camera shake. Optical camera shake correction is capable of highly accurate correction, but requires a movable member for moving a lens and an image sensor, and is not suitable for downsizing and cost reduction.
また、電子式手ぶれ補正は、撮像素子の出力信号に対してデジタル信号処理を施すことにより、手ぶれを補正するものである。電子式手ぶれ補正は、全てデジタル信号処理で実現できるため、小型化、低価格化に適している。 Electronic camera shake correction is to correct camera shake by applying digital signal processing to the output signal of the image sensor. Since electronic image stabilization can be realized entirely by digital signal processing, it is suitable for downsizing and cost reduction.
以下、電子式手ぶれ補正機能を搭載した従来のカメラ装置について説明する。 A conventional camera device equipped with an electronic camera shake correction function will be described below.
図9は従来のカメラ装置の構成を示すブロック図である。図において、カメラ部3は、レンズ1とイメージセンサー2とを備えている。イメージセンサー2は、CCDやCMOSセンサーなどから構成されている。レンズ1を介してイメージセンサー2に入射される光信号は、イメージセンサー2において光電変換されて、電気信号が出力される。イメージセンサー2から出力される電気信号は、アナログデジタル変換部(以下ADCと記す)14に入力されてデジタル信号に変換された後、信号処理回路4(以下DSPと記す)に入力される。DSP4では、入力される信号に対してノイズ除去や画質調整などの一般的な信号処理が施されるとともに、動き補償(手ぶれ補正)処理が施され、画像信号が出力される。DSP4から出力される画像信号は、例えば液晶ディスプレイから構成される表示部13において表示されるとともに、静止画信号処理回路9に出力される。なお、静止画信号処理回路9へ出力されるのは、撮影者がシャッターボタン(図示せず)などを操作して撮影命令が入力された時のみである。静止画信号処理回路9に入力される画像信号は、圧縮処理などが施され、情報媒体10に記録される。
FIG. 9 is a block diagram showing the configuration of a conventional camera device. In the figure, the
次に、カメラ装置における手ぶれの発生原理について説明する。 Next, the principle of occurrence of camera shake in the camera device will be described.
図10A(a)は、静止画の手ぶれの発生メカニズムを示す模式図である。図10B(a)は被写体が十分に明るい場合のシャッター速度を示すタイミング図である。図10C(a)は被写体が暗い場合のシャッター速度を示すタイミング図である。各図(b)は、撮像素子103によって撮像された画像を示す模式図である。
FIG. 10A (a) is a schematic diagram showing the mechanism of occurrence of camera shake in a still image. FIG. 10B (a) is a timing chart showing the shutter speed when the subject is sufficiently bright. FIG. 10C (a) is a timing chart showing the shutter speed when the subject is dark. Each diagram (b) is a schematic diagram showing an image captured by the
図10Aに示すように、入射される被写体101の光学情報は、レンズ102によっ撮像素子103の撮像面上に結像されることによって、静止画を撮影することができる。撮影時、カメラ装置において手ぶれが発生していない場合は、光軸104aに示すようにレンズ102の中心を通り、撮像素子103の撮像面のほぼ中心に位置する。しかし、カメラ装置において手ぶれが生じた場合、光軸104bに示すように歪んでしまい、撮像素子103の撮像面の中心から大きくずれてしまう。これにより、撮像素子103から得られる画像信号は、(b)に示すように暈けた画像105となってしまう。
As shown in FIG. 10A, the optical information of the
また、被写体の光量が十分に明るい場合には、図10B(a)に示すようにシャッター速度は短くなるように制御されるので、たとえ撮影中に手ぶれが発生したとしても、(b)に示すように画像に対する影響は小さく、暈けが目立たない画像105aとなる。
Also, when the amount of light of the subject is sufficiently bright, the shutter speed is controlled to be short as shown in FIG. 10B (a), so even if camera shake occurs during shooting, it is shown in (b). Thus, the influence on the image is small, and the
しかし、被写体が暗く光量が不足している場合、図10C(a)に示すようにシャッター速度は遅くなるよう制御される。シャッター速度が遅くなりシャッター時間が長くなると、撮像開始時点の結像タイミング(図中Ta)と撮像終了時点の結像タイミング(図中Tb)とで、時間的に大きな隔たりが生じる。すると、タイミングTaにおいて(b)の画像105bが撮像されているのに対して、タイミングTbでは手ぶれによって結像位置がずれた画像105cが撮像される。これらの画像105b及び105cを加算して撮像素子103から得られる画像105dは、暈けてしまい画質劣化してしまう。このような場合、一般的には手ぶれを回避するために、ストロボを発光させて被写体の光量を多くし、シャッター時間を短くする手法が使われることが多い。
However, when the subject is dark and the amount of light is insufficient, the shutter speed is controlled to be slow as shown in FIG. 10C (a). When the shutter speed becomes slow and the shutter time becomes long, there is a large time difference between the imaging timing at the start of imaging (Ta in the figure) and the imaging timing at the end of imaging (Tb in the figure). Then, the
一方、動画撮影時は手ぶれによる影響が少ない。すなわち、図11(a)に示すように、動画撮影時はフレーム周期(1/30秒)で静止画を撮影している。よって、動画撮影時に発生する手ぶれは、(b)に示すように、残像効果によってそれぞれの静止画を重ね合わせたように見える。このような手ぶれに対して、(c)に示すように、各フレームの被写体の位置を一致させるように、各フレームの位置をずらす処理を行うことにより、手ぶれを補正することができる(例えば、特許文献1参照)。
しかしながら上記従来の構成では、夜景や花火の撮影など、光量が不足する場所でストロボ装置を使わずに静止画撮影を行うと、シャッター速度が遅くなるよう制御されてしまうため、図10Cに示すように、手ぶれが原因で画質が劣化してしまうという問題があった。 However, in the above-described conventional configuration, if still image shooting is performed without using a strobe device in a place where the amount of light is insufficient, such as shooting night scenes or fireworks, the shutter speed is controlled to be slow, and as shown in FIG. 10C. In addition, there is a problem that image quality deteriorates due to camera shake.
本発明は、上記問題に鑑み、光量が不足する場所でストロボ装置を使わずに静止画を撮影する際、手ぶれを抑えた高画質の静止画を撮影することができるカメラ装置を提供することを目的とする。 In view of the above problems, the present invention provides a camera device capable of shooting a high-quality still image with reduced camera shake when shooting a still image without using a strobe device in a place where the amount of light is insufficient. Objective.
上記課題を解決するために本発明のカメラ装置は、レンズを介して入射される光信号を電気信号に変換する撮像素子と、前記撮像素子から出力される電気信号に基づいて映像信号を生成するとともに、前記撮像素子の動作クロックを出力する信号処理部と、前記信号処理部から出力される映像信号を表示可能な表示部と、前記信号処理部から出力される映像信号を記録または再生可能な情報媒体とを有し、シャッターボタンを操作することにより、少なくとも静止画を撮影可能なカメラ装置であって、前記信号処理部から出力され前記撮像素子に入力される動作クロックの周波数を逓倍可能な周波数逓倍部と、カメラ装置の手ぶれを検出可能な手ぶれ検出部と、前記手ぶれ検出部で検出される手ぶれに基づいて、前記信号処理部から出力される静止画のフレームをシフトさせ、画像の動き補償を行う動き補償部と、前記動き補償部から出力される複数枚の画像を重ね合わせて、一枚の静止画を生成可能な画像合成部とを備え、被写体における光量が少ない時、前記周波数逓倍部は、前記撮像素子の露光時間が短くなるように前記動作クロックの周波数を逓倍するとともに、前記撮像素子から出力される電気信号に基づいて複数枚の画像を生成し、前記画像合成部は、前記信号処理部から出力される複数枚の画像を合成して、1枚の画像を生成するものである。 In order to solve the above problems, a camera device of the present invention generates an image signal based on an image sensor that converts an optical signal incident via a lens into an electric signal, and an electric signal output from the image sensor. In addition, a signal processing unit that outputs an operation clock of the imaging device, a display unit that can display a video signal output from the signal processing unit, and a video signal output from the signal processing unit can be recorded or reproduced. And a camera device capable of photographing at least a still image by operating a shutter button, and capable of multiplying a frequency of an operation clock output from the signal processing unit and input to the imaging device. Based on the frequency multiplier, the camera shake detector capable of detecting camera shake of the camera device, and the camera shake detected by the camera shake detector, the signal processor outputs the camera shake. A motion compensation unit that shifts a frame of a still image and compensates for the motion of the image, and an image synthesis unit that can generate a single still image by superimposing a plurality of images output from the motion compensation unit. And when the amount of light in the subject is small, the frequency multiplying unit multiplies the frequency of the operation clock so that the exposure time of the image sensor is shortened, and a plurality of sheets based on the electrical signal output from the image sensor The image synthesizing unit generates a single image by synthesizing a plurality of images output from the signal processing unit.
本発明によれば、被写体が暗くて光量が不足している場合でも、手ぶれの影響を抑えた高画質の静止画を撮影することができる。 According to the present invention, even when the subject is dark and the amount of light is insufficient, it is possible to shoot a high-quality still image in which the influence of camera shake is suppressed.
本発明のカメラ装置は、本カメラ装置の手ぶれを検出可能な手ぶれ検出部をさらに備え、前記動き補償部は、前記手ぶれ検出部で検出された手ぶれ情報に基づいて、画像の動き補償を行う構成としてもよい。 The camera device of the present invention further includes a camera shake detection unit capable of detecting camera shake of the camera device, and the motion compensation unit performs motion compensation of an image based on camera shake information detected by the camera shake detection unit. It is good.
また、前記手ぶれ検出部は、角速度センサーで構成してもよい。 Further, the camera shake detection unit may be constituted by an angular velocity sensor.
また、前記信号処理部は、生成した映像信号のフレーム相関に基づき、手ぶれを検出する構成としてもよい。 The signal processing unit may be configured to detect camera shake based on the frame correlation of the generated video signal.
また、前記動き補償部は、前記信号処理部から出力される画像を複数のブロックに分割し、分割された各々のブロックに対してそれぞれ動き補償処理を行うよう制御する構成としてもよい。 Further, the motion compensation unit may be configured to divide the image output from the signal processing unit into a plurality of blocks and to perform motion compensation processing on each of the divided blocks.
また、前記画像合成部は、前記動き補償部において分割された各々のブロックに対して、画像の合成または非合成の処理を選択的に行う構成としてもよい。 The image composition unit may be configured to selectively perform image composition or non-composition processing on each block divided by the motion compensation unit.
(実施の形態1)
図1は、実施の形態1におけるカメラ装置の構成を示すブロック図である。
(Embodiment 1)
FIG. 1 is a block diagram illustrating a configuration of the camera device according to the first embodiment.
図1において、カメラ部3は、ズームレンズやフォーカスレンズなどから構成されるレンズ1と、入射される光信号を電気信号へ光電変換するイメージセンサー(撮像素子)2とから構成されている。イメージセンサー2は、例えばCCDやCMOSセンサーなどから構成され、以下CCDを一例に挙げて説明する。信号処理回路(以下、DSPと記す)4は、ADC14でデジタル信号に変換された画像信号に対して、ノイズ除去や画質調整などの一般的な信号処理を施す。周波数逓倍器5は、DSP4から出力されるクロックを逓倍し、イメージセンサー2の動作周波数を変更する。
In FIG. 1, a
手ぶれ検出部18は、カメラ装置本体の手ぶれを検出するものであり、例えば角速度センサーで構成されている。検出された手ぶれの情報は、手ぶれ補正回路8へ出力される。
The camera shake detection unit 18 detects camera shake of the camera device main body, and is configured by, for example, an angular velocity sensor. Information on the detected camera shake is output to the camera
手ぶれ補正回路8は、手ぶれ検出部18から出力される手ぶれ情報に基づいて、DSP4から出力される画像信号に対して動き補償処理を行う動き補償回路6と、動き補償された複数フレームの画像信号を合成させる画像合成回路7とから構成される。
The camera
静止画信号処理回路9は、手ぶれ補正回路8から出力される画像信号に対して画像圧縮などの信号処理を施す。
The still image
情報媒体10は、静止画信号処理回路9から出力される画像信号が記録されるものである。情報媒体10は、例えば半導体メモリを搭載したメモリーカードで構成されるものがあるが、これに限定されるものではなく、ディスク状媒体やテープ状媒体であっても構わない。
The information medium 10 records the image signal output from the still image
フレーム間引き部11は、DSP4から出力される画像信号を、所定量間引くものである。表示部12は、間引き部11から出力される表示用の画像信号を表示可能であり、例えば2〜4インチ程度の液晶ディスプレイで構成される。
The
以上のように構成された本実施の形態について、以下その動作を説明する。 The operation of the embodiment configured as described above will be described below.
図1において、レンズ1を介してイメージセンサー2に入射される光信号は、イメージセンサー2において光電変換されて、電気信号が出力される。イメージセンサー2から出力される電気信号は、ADC14に入力されてデジタル信号に変換された後、DSP4に入力される。DSP4では、入力される信号に対してノイズ除去や画質調整などの信号処理が施される。DSP4から出力される画像信号は、間引き部11で間引き処理が施されて(間引き処理ついては後で説明する)、表示部13において表示される。また、DSP4から出力される画像信号は、手ぶれ補正回路8にも入力される。
In FIG. 1, an optical signal incident on an
一方、手ぶれ検出部18では、カメラ装置本体で発生した手ぶれを検出し、その手ぶれ情報を手ぶれ補正回路8へ出力している。手ぶれ検出部18から出力される手ぶれ情報は、手ぶれによって生じたカメラ装置の動き方向と動き量を含んだ情報である。
On the other hand, the camera shake detection unit 18 detects camera shake occurring in the camera apparatus body, and outputs the camera shake information to the camera
手ぶれ補正回路8の動き補償回路6においては、手ぶれ検出部18から出力される手ぶれ情報に基づいて、手ぶれをキャンセルするような画像信号の動き補償処理(具体的な処理方法は後述する)を行う。動き補償された画像信号は画像合成回路7に出力され、複数フレームの画像信号を合成して1枚の静止画が生成される。
In the
手ぶれ補正回路8から出力される画像信号は、静止画信号処理回路9に入力される。静止画信号処理回路9では、画像信号に対して圧縮処理等が施される。静止画信号処理回路9から出力される画像信号は、情報媒体10に記録される。
The image signal output from the camera
次に、図2を参照して、撮影時の画像取り込み動作について説明する。図2は、シャッターボタンが操作されてから画像信号が出力されるまでの動作を示すタイミングチャートであり、(a)は従来のシャッター動作を示し、(b)は(a)に示すシャッター動作によって撮像された画像信号を示し、(c)は従来の動作においてシャッター時間が長い場合の動作を示し、(d)は(c)に示すシャッター動作によって撮像された画像信号を示し、(e)は本実施の形態のシャッター動作を示し、(f)は(e)に示すシャッター動作によって撮像された画像信号を示す。図2において、A1〜A4はそれぞれ静止画(フレーム)を示している。 Next, an image capturing operation at the time of shooting will be described with reference to FIG. FIG. 2 is a timing chart showing an operation from when the shutter button is operated until an image signal is output. (A) shows a conventional shutter operation, and (b) shows a shutter operation shown in (a). (C) shows the operation when the shutter time is long in the conventional operation, (d) shows the image signal taken by the shutter operation shown in (c), and (e) shows the image signal taken. The shutter operation of this embodiment is shown, and (f) shows an image signal imaged by the shutter operation shown in (e). In FIG. 2, A1 to A4 indicate still images (frames).
図1に示すように、被写体の光学情報はレンズ1を介してイメージセンサー2の上に結像し、光電変換処理によって電気信号に変換され、画像信号(静止画)として出力される。従来のカメラ装置では、図2(a)に示すようにシャッターボタンが1回操作されると、イメージセンサー2においてS11に示す期間撮像され、図2(b)に示すように1枚の静止画A1が撮像素子から出力される構成となっている。また、被写体の光量が不足している場合は、図2(c)のシャッター時間S12に示すように、シャッター時間を長くして撮影することで、光量を増やしている。しかし、前述したように、シャッター時間が長くなると手ぶれの影響を受けやすくなるため、図2(d)の静止画A1は暈けた画像となっている可能性が高い。
As shown in FIG. 1, optical information of a subject is imaged on an
本実施の形態では、図2(e)に示すように、1回のシャッターボタン操作で複数枚の静止画が撮像素子から出力されるように制御する。即ち、被写体の光量が不足している場合に長くなってしまうシャッター時間を、短いシャッター時間に分割して複数の静止画を連続して撮影するように制御する。図2(e)に示すシャッター動作では、シャッター時間をS1〜S4に示すように4分割させている。図2(e)における各シャッター時間は、図2(a)に示すシャッター時間S11と同等の時間に設定されており、手ぶれの影響を受けにくいシャッター速度に設定されている。 In the present embodiment, as shown in FIG. 2 (e), control is performed so that a plurality of still images are output from the image sensor with a single shutter button operation. That is, control is performed so that a plurality of still images are continuously photographed by dividing a shutter time that becomes long when the amount of light of the subject is insufficient into short shutter times. In the shutter operation shown in FIG. 2E, the shutter time is divided into four as shown in S1 to S4. Each shutter time in FIG. 2 (e) is set to a time equivalent to the shutter time S11 shown in FIG. 2 (a), and is set to a shutter speed that is not easily affected by camera shake.
図2(e)に示すシャッター時間で撮影されることにより、被写体の光量が不足していても、速いシャッター時間で撮影ができるため、手ぶれが抑えられた4枚の静止画A1〜A4を得ることができる。また、シャッター時間S1〜S4の撮影に要する時間は、図2(c)に示すシャッター時間S12と同等の時間を確保しているので、静止画A1〜A4に基づき1枚の静止画を生成することで、明るい静止画を得ることができる。 By taking a picture with the shutter time shown in FIG. 2E, it is possible to take a picture with a fast shutter time even if the amount of light of the subject is insufficient, so that four still images A1 to A4 with reduced camera shake are obtained. be able to. Further, since the time required for shooting the shutter times S1 to S4 is secured to the same time as the shutter time S12 shown in FIG. 2C, one still image is generated based on the still images A1 to A4. Thus, a bright still image can be obtained.
次に、静止画の動き補償について図3を参照しながら説明する。 Next, still image motion compensation will be described with reference to FIG.
図3は、図2(d)及び(e)に示す制御にて撮像された画像信号を示す模式図で、図中の顔が被写体に相当する。図3(a)は前述の複数枚撮影された静止画のうちの最初の1枚で、図2(e)のタイミングS1で撮影された静止画に相当する。図3(a)に示すように、被写体は画角の略右下に位置している。図3(b)は2枚目の静止画で、図2(e)のタイミングS2で撮影された静止画に相当する。図3(b)に示すように、被写体は画角の略中央に位置している。図3(a)及び(b)に示すように、同じ被写体を連続的に撮影したにも関わらず、カメラ装置の手ぶれによって、フレーム内における被写体の位置が異なってしまう。 FIG. 3 is a schematic diagram showing an image signal captured by the control shown in FIGS. 2D and 2E, and the face in the figure corresponds to the subject. FIG. 3 (a) is the first one of the above-described still images taken and corresponds to the still image taken at the timing S1 in FIG. 2 (e). As shown in FIG. 3A, the subject is located substantially at the lower right of the angle of view. FIG. 3B shows the second still image, which corresponds to the still image taken at the timing S2 in FIG. As shown in FIG. 3B, the subject is located at the approximate center of the angle of view. As shown in FIGS. 3A and 3B, although the same subject is continuously photographed, the position of the subject in the frame varies depending on the camera shake.
図3(a)及び(b)のそれぞれの静止画を単純に重ね合わせると、図3(c)に示すように被写体がずれた状態で重ねられてしまい、結果としてシャッター速度が遅くなったのと同じように、画質劣化を引き起こしてしまう。 When the still images in FIGS. 3A and 3B are simply overlaid, the subject is overlaid as shown in FIG. 3C, resulting in a slower shutter speed. In the same way as this, the image quality is deteriorated.
しかし、重ね合わせる前に図3(b)に示す静止画に対して、図3(d)に示すように手ぶれによる被写体の動きを補償するようにフレームを矢印A方向へずらす処理を施すと、図3(e)に示すように静止画を重ね合わせても手ぶれの影響を受けることなく、画像の合成をすることができる。これが動き補償の処理である。動き補償による画像データを算出する方法は、「nearest neighber法」、「bilinear法」、「bicubic法」などが知られている。 However, if the still image shown in FIG. 3B is subjected to a process of shifting the frame in the direction of arrow A so as to compensate for the movement of the subject due to camera shake as shown in FIG. As shown in FIG. 3E, images can be synthesized without being affected by camera shake even when still images are superimposed. This is the motion compensation process. As methods for calculating image data by motion compensation, “nearest neighbor method”, “bilinear method”, “bicubic method” and the like are known.
次に、一連の処理の流れを図4を参照して説明する。 Next, a flow of a series of processes will be described with reference to FIG.
図4(a)のタイミングでシャッターボタンが操作された場合、従来は図4(b)に示すシャッター時間の期間、被写体からの光を露光して電荷蓄積を行った後、図4(c)のタイミングで画像信号(1フレーム)として出力するのであるが、本実施の形態では、図4(d)に示すようにシャッター時間(露光時間)を複数(例えば4つ)に分割し、各々の電荷蓄積の結果を画像信号として複数回静止画を図4(e)のタイミングで出力する。なお図示のように、シャッター時間の期間蓄積された画像信号が出力されるので、画像信号の出力タイミングは図4(d)に示すシャッター期間に較べて、遅延されている。図4(d)に示すように出力された画像信号は、DSP4で信号処理なされた後、図4(f)に示すように一旦メモリー15に格納される。メモリー15に格納された画像データは、図4(g)のタイミングで動き補償処理と画像合成処理が行われる。
When the shutter button is operated at the timing shown in FIG. 4A, conventionally, after the charge is accumulated by exposing light from the subject during the shutter time shown in FIG. 4B, FIG. In this embodiment, as shown in FIG. 4D, the shutter time (exposure time) is divided into a plurality of (for example, four), and each is output as an image signal (one frame). The result of charge accumulation is output as an image signal, and a still image is output a plurality of times at the timing shown in FIG. As shown in the figure, since the image signal accumulated during the shutter time is output, the output timing of the image signal is delayed compared to the shutter period shown in FIG. The image signal output as shown in FIG. 4 (d) is subjected to signal processing by the
なお、図4(f)において、1枚目の静止画(frame 1)は基準となる静止画なので、動き補償処理及び画像合成処理は、図4(g)に示すように2枚目以降の画像データ(frame2〜4)に対して施されることになる。そして、4枚目の画像の合成が完了した時点で静止画の合成処理が完了し、1枚の静止画が得られることになる。
In FIG. 4F, since the first still image (frame 1) is a reference still image, the motion compensation process and the image synthesis process are performed for the second and subsequent sheets as shown in FIG. It is applied to the image data (
次に、カメラ装置の手ぶれ検出について、図5を参照して簡単に説明する。 Next, camera shake detection of the camera device will be briefly described with reference to FIG.
図5Aはカメラ装置における鏡筒を示す模式図である。図5Aにおいて、手前側の円筒面が被写体側を向いているものとする。また、Z軸は、鏡筒内に配されたレンズの光軸に相当する。 FIG. 5A is a schematic diagram showing a lens barrel in the camera device. In FIG. 5A, it is assumed that the cylindrical surface on the front side faces the subject side. The Z axis corresponds to the optical axis of a lens disposed in the lens barrel.
手ぶれは、図5Aにおけるカメラ(鏡筒)に対して、X軸またはY軸を中心に回転する方向に対して発生する。X軸に対して発生した手ぶれは、撮影画像に対して縦方向のぶれになり、Y軸方向に対して発生した手ぶれは、撮影画像に対して横方向のぶれになる。 Camera shake occurs with respect to the direction of rotation about the X axis or Y axis with respect to the camera (lens barrel) in FIG. 5A. The camera shake generated with respect to the X axis is a vertical shake with respect to the captured image, and the camera shake generated with respect to the Y axis is a horizontal shake with respect to the captured image.
手ぶれを検出する方法は、角速度センサーを用いるものがある。角速度センサーを鏡筒内あるいは鏡筒近傍のX軸上とY軸上とに2つ設置することによって、撮影画像の縦方向のぶれと横方向のぶれを検出することができる。 One method for detecting camera shake uses an angular velocity sensor. By installing two angular velocity sensors on the X axis and the Y axis in the vicinity of the lens barrel or in the vicinity of the lens barrel, it is possible to detect a vertical blur and a horizontal blur of the captured image.
本実施の形態では、図5Bに示すように、カメラ部3(鏡筒内)にX軸方向のぶれを検出する角速度センサー16と、Y軸方向のぶれを検出する角速度センサー17とを設置することで、カメラ部3の縦方向と横方向の手ぶれを検出することができる。この手ぶれ検出結果に基づいて、動き補償回路6で手ぶれに対する動き補償を施すことができる。なお、図5Bにおいて、角速度センサー16及び17以外の構成は、図1に示す構成と同様であるため、詳細説明は省略する。
In the present embodiment, as shown in FIG. 5B, an
また、図6に示すように、画像データの信号処理によって手ぶれを検出する方法も知られている。図6において、(a)に示す一枚目の画像61(基準画像)は、VGAの解像度であれば、水平画素数×垂直画素数が640×480画素で構成される。図6では説明を簡便化するために32×24画素で表記する。(b)に示す動き検出の対象となる2枚目の画像62は、画素を複数のサブブロック62a(ここでは一例として4×3のサブブロック)に分割されている。
As shown in FIG. 6, a method for detecting camera shake by signal processing of image data is also known. In FIG. 6, the first image 61 (reference image) shown in FIG. 6A has a horizontal pixel number × vertical pixel number of 640 × 480 pixels if the resolution is VGA. In FIG. 6, in order to simplify the description, 32 × 24 pixels are used. In the second image 62 to be subjected to motion detection shown in (b), the pixels are divided into a plurality of
この状態で、(b)の各サブブロック62aと、各サブブロック62aに対応する(a)の領域との相関を求める。具体的には、(b)に示す各サブブロック62a毎に、(a)に対する相関係数を求め、最も相関係数(=Σ(m,n)[B(m,n)-C(m',n')])の値が小さくなる画素を求める。これによって求められた画素における相関係数(m',n')に基づき、その画素が属するサブブロックの動きベクトルmvとして、
mv=(m'-m , n'-n)
が与えられる。これをまとめたものが(c)の画像63である。(c)に示すように、4×3の各サブブロックについて各々動きベクトルmvが求められる。この結果を統計処理することによって、1枚の画像全体の最終的な動きベクトルMVを求める。統計処理の一例として、最大値と最小値を除去した後に平均化する方法がある。このようにして求められた動きベクトルMV(x,y)が、手ぶれを表わしている。なお、MV(x,y)において、x成分が横方向の手ぶれ、y成分が縦方向の手ぶれを夫々表わしている。
In this state, the correlation between each sub-block 62a in (b) and the area (a) corresponding to each sub-block 62a is obtained. Specifically, for each sub-block 62a shown in (b), the correlation coefficient for (a) is obtained, and the correlation coefficient (= Σ (m, n) [B (m, n) −C (m ', n')]) finds a pixel with a smaller value. Based on the correlation coefficient (m ′, n ′) of the pixel obtained in this way, the motion vector mv of the sub-block to which the pixel belongs is
mv = (m'-m, n'-n)
Is given. A summary of this is an
次に、図1における画像合成部7の動作について説明する。
Next, the operation of the
図7は画像合成処理を説明するための模式図である。図7において、(a)は基準となる1枚目の画像71である。(b)は2枚目以降の画像72である。(c)は画像72に対して動き補償を施した画像であり、画像72に対して画像を切り出す範囲を領域73に示すようにずらし、画像71と画像72の相関を高めることで、動き補償を行っている。(c)において,領域73aは画像72に対する切り出しエリアで、領域73bはデータが存在しない領域であり、領域73は領域73aと領域73bとから構成されている。
FIG. 7 is a schematic diagram for explaining the image composition processing. In FIG. 7, (a) is a
画像合成処理は、(a)に示す画像71をaとし、(b)に示す2枚目以降の画像72をbとした時、以下の数式に基づいて加算させることで、合成後の画像Outを得ることができる。
In the image composition process, when the
Out(x,y) = a(x,y)+c(x,y)
但し、(c)において領域73bは、対応するc(x,y)が存在しない領域であり、この領域73bには、2枚目以降の画像72で加算処理をする代わりに、画像71のデータを充当して加算処理を行う。このようにして、動き補償された画像を画像合成処理することによって、手ぶれ補正された静止画を得ることができる。なお、3枚目以降の画像を合成する処理は、上記と同様であるため説明は省略する。
Out (x, y) = a (x, y) + c (x, y)
However, in (c), a
次に、合成する2枚目以降の画像を、複数のサブブロックに分割して画像合成を行う実施形態について説明する。 Next, an embodiment will be described in which the second and subsequent images to be combined are divided into a plurality of sub-blocks and image combining is performed.
図8において、(a)は基準となる1枚目の画像であり、画像には被写体81と背景82とが撮影されている。(b)は合成する2枚目以降の画像であり。被写体81及び背景82の両方が、(a)の1枚目の画像に対して位置が変わっている。(c)は(b)から被写体81を抽出して動き補正を施した画像である。(d)は(b)から背景82を抽出して動き補償を施した画像である。(e)は(c)の画像と(d)の画像とを合成した画像である。
In FIG. 8, (a) is a first image as a reference, and a subject 81 and a
図8(a)に示す画像において、被写体81及びその周辺画像を含むサブブロックと、背景82及びその周辺画像を含むサブブロックとに分割し、各々のサブブロックに対して動き補償を行って、画像合成処理を行う。静止画撮影時、背景82は、本来自らは動かないものなので、(b)に示すように動きが生じた場合は手ぶれのみが原因である。一方、被写体81は、それ自体が動いている場合が多いため、(b)に示すように動きが生じた場合は、手ぶれによる動きと被写体自体の動きとを合成した動きベクトルで、動き補償する必要がある。
In the image shown in FIG. 8A, the subject 81 and its surrounding image are divided into sub-blocks and the
被写体81は、手ぶれによる動きと被写体自体の動きとを合成して算出された動きベクトルに基づいて、(c)に示すように切り出しエリアを領域83aから領域83bへ変えることによって、被写体81の動き補償を行っている。また、背景82は、手ぶれによる動きによって算出された動きベクトルに基づいて、(d)に示すように切り出しエリアを領域83cから領域83dへ変えることによって、背景82の動き補償を行っている。次に、(c)に示すように動き補償された被写体81の画像と、(d)に示すように動き補償された背景82の画像とを、(e)に示すように合成する。
このように、画像を例えば背景82と被写体81のように、複数のブロックに分割して動き補償を行うことよって、より精度の高い動き補償を行うことができる。ここでは画像を2つのブロックに分割する実施例で説明したが、3つ以上のブロックに分割することも想定している。
The subject 81 moves the subject 81 by changing the cut-out area from the
In this way, by performing motion compensation by dividing an image into a plurality of blocks such as the
次に、図1における間引き部11の動作について簡単に説明する。
Next, the operation of the thinning
図1において、通常、カメラ装置の表示部13には、シャッターを押す前は、被写体の動きを観察できるように動画(所謂スルー画像)が表示されている。シャッターが押されてから情報媒体へ静止画の記録が完了するまでは、カメラ装置が信号処理を実行していることをユーザーに対して示すために、表示部13にシャッターが押される直前の静止画を表示する。静止画が表示されている間に、撮影された静止画を情報媒体へ記録し、静止画の記録が完了した時点で、記録された静止画を再生し表示部13に一定期間表示させる。一定期間表示が完了した後、次の静止画撮影が可能な状態になり、表示部13には再びスルー画像が表示する。
In FIG. 1, a moving image (so-called through image) is usually displayed on the
しかし、本実施の形態では、前述したようにカメラ部3から出力される画像データのフレーム数が多く、表示部13に全ての画像を表示させる必要はない。従来のように静止画記録処理をしている間は、シャッターが押される直前の画像を表示させる構成も可能であるし、静止画記録処理中に動画を表示させることも可能である。この場合、通常よりもフレーム数が多いため、間引き部11によってフレーム数を削減(例えば、毎秒30フレームに削減)させることで、動画を正常に表示させることができる。フレームを間引かず、フレーム数が多いまま表示させると、表示部13の処理能力を超えてしまい、不具合が発生する可能性があるため、間引き部11によってフレームを間引くことで前述ような不具合を回避することができる。なお、間引き部11は不可欠なものではなく、上述のように静止画記録処理中に動画を表示しない場合、不要である。
However, in the present embodiment, as described above, the number of frames of the image data output from the
以上のように本実施の形態によれば、静止画の撮影を複数枚の静止画に分割撮影することによって、分割された各々の静止画に対してはシャッター速度をより速く設定して撮影することができる。シャッター速度を速く設定することができると、被写体が暗くて光量が不足している場合でも手ぶれの影響を少なくすることができ画質劣化を防ぐことができる。また、手ぶれの影響を少なくすることができるということは、レンズをより小型化したり、あるいはストロボによる補助光を不要とするようにできる効果が期待できる。 As described above, according to the present embodiment, still image shooting is performed by dividing a still image into a plurality of still images, and each of the divided still images is shot with a faster shutter speed. be able to. If the shutter speed can be set fast, the influence of camera shake can be reduced even when the subject is dark and the amount of light is insufficient, and image quality deterioration can be prevented. In addition, the fact that the influence of camera shake can be reduced can be expected to have the effect of reducing the size of the lens or making auxiliary light from the strobe unnecessary.
本発明は、静止画を撮影可能なカメラ装置に関するものであり、ビデオカメラ、デジタルスチルカメラ、カメラ付き携帯電話機などに有用である。 The present invention relates to a camera device capable of shooting a still image, and is useful for a video camera, a digital still camera, a mobile phone with a camera, and the like.
1 レンズ
2 撮像素子(イメージセンサー)
3 カメラ部
4 信号処理部
5 周波数逓倍器
6 動き補償部
7 画像合成部
8 手ぶれ補正部
9 静止画信号処理宇
10 情報媒体
11 間引き部
12 フレーム間引き部
13 表示部
1
DESCRIPTION OF
Claims (5)
前記撮像素子から出力される電気信号に基づいて映像信号を生成するとともに、前記撮像素子の動作クロックを出力する信号処理部と、
前記信号処理部から出力される映像信号を表示可能な表示部と、
前記信号処理部から出力される映像信号を記録または再生可能な情報媒体とを備え、
シャッターボタンを操作することにより、少なくとも静止画を撮影可能なカメラ装置であって、
前記信号処理部から出力され前記撮像素子に入力される動作クロックの周波数を逓倍可能な周波数逓倍部と、
カメラ装置の手ぶれを検出可能な手ぶれ検出部と、
前記手ぶれ検出部で検出される手ぶれに基づいて、前記信号処理部から出力される静止画のフレームをシフトさせ、画像の動き補償を行う動き補償部と、
前記動き補償部から出力される複数枚の画像を合成して、一枚の静止画を生成可能な画像合成部とを備え、
被写体における光量が少ない時、
前記周波数逓倍部は、前記撮像素子の露光時間が短くなるように前記動作クロックの周波数を逓倍し、
逓倍された動作クロックで前記撮像素子を動作させ、
前記撮像素子から出力される電気信号に基づいて、前記信号処理部で複数枚の画像を生成し、
前記複数枚の画像を前記画像合成部で合成して、1枚の画像を生成することを特徴とするカメラ装置。 An image sensor that converts an optical image incident through a lens into an electrical signal;
A signal processing unit that generates a video signal based on an electrical signal output from the image sensor and outputs an operation clock of the image sensor;
A display unit capable of displaying a video signal output from the signal processing unit;
An information medium capable of recording or reproducing the video signal output from the signal processing unit,
A camera device capable of shooting at least a still image by operating a shutter button,
A frequency multiplying unit capable of multiplying the frequency of an operation clock output from the signal processing unit and input to the imaging device;
A camera shake detection unit capable of detecting camera shake of the camera device;
A motion compensation unit that shifts a frame of a still image output from the signal processing unit based on camera shake detected by the camera shake detection unit, and performs motion compensation of the image;
A plurality of images output from the motion compensation unit, and an image synthesis unit capable of generating a single still image,
When the amount of light in the subject is low,
The frequency multiplication unit multiplies the frequency of the operation clock so that the exposure time of the image sensor is shortened,
Operate the image sensor with a multiplied operation clock,
Based on the electrical signal output from the imaging device, the signal processing unit generates a plurality of images,
A camera device, wherein the plurality of images are combined by the image combining unit to generate one image.
The camera device according to claim 4, wherein the image synthesis unit selectively performs image synthesis or non-synthesis processing on each of the blocks divided by the motion compensation unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005302008A JP2007110636A (en) | 2005-10-17 | 2005-10-17 | Camera apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005302008A JP2007110636A (en) | 2005-10-17 | 2005-10-17 | Camera apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007110636A true JP2007110636A (en) | 2007-04-26 |
Family
ID=38036108
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005302008A Withdrawn JP2007110636A (en) | 2005-10-17 | 2005-10-17 | Camera apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007110636A (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009001467A1 (en) * | 2007-06-28 | 2008-12-31 | Fujitsu Limited | Electronic device for improving brightness of recorded image in low luminance environment |
JP2009060167A (en) * | 2007-08-29 | 2009-03-19 | Sanyo Electric Co Ltd | Image pickup apparatus |
JP2009100450A (en) * | 2007-09-28 | 2009-05-07 | Casio Comput Co Ltd | Image capture device and program |
JP2011044891A (en) * | 2009-08-20 | 2011-03-03 | Canon Inc | Image processor and method for the same |
JP2011239055A (en) * | 2010-05-07 | 2011-11-24 | Olympus Imaging Corp | Imaging apparatus and imaging method |
US8411172B2 (en) | 2007-08-29 | 2013-04-02 | Sanyo Electric Co., Ltd. | Imaging device and image processing apparatus |
-
2005
- 2005-10-17 JP JP2005302008A patent/JP2007110636A/en not_active Withdrawn
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009001467A1 (en) * | 2007-06-28 | 2008-12-31 | Fujitsu Limited | Electronic device for improving brightness of recorded image in low luminance environment |
JPWO2009001467A1 (en) * | 2007-06-28 | 2010-08-26 | 富士通株式会社 | Electronic devices that improve the brightness of captured images in low light environments |
JP2009060167A (en) * | 2007-08-29 | 2009-03-19 | Sanyo Electric Co Ltd | Image pickup apparatus |
US8411172B2 (en) | 2007-08-29 | 2013-04-02 | Sanyo Electric Co., Ltd. | Imaging device and image processing apparatus |
JP2009100450A (en) * | 2007-09-28 | 2009-05-07 | Casio Comput Co Ltd | Image capture device and program |
JP2011044891A (en) * | 2009-08-20 | 2011-03-03 | Canon Inc | Image processor and method for the same |
JP2011239055A (en) * | 2010-05-07 | 2011-11-24 | Olympus Imaging Corp | Imaging apparatus and imaging method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4662880B2 (en) | Imaging apparatus and imaging method | |
TWI446098B (en) | Imaging device and its shutter drive mode selection method | |
KR100871639B1 (en) | Camera and image processing method for camera | |
JP5764740B2 (en) | Imaging device | |
JP2007300595A (en) | Method of avoiding shaking during still image photographing | |
JP2009284394A (en) | Imaging apparatus and imaging method | |
JP6652300B2 (en) | Image processing apparatus, imaging apparatus, and control method | |
JP2010160311A (en) | Imaging apparatus | |
JP4390068B2 (en) | Method for correcting distortion of captured image signal and distortion correction apparatus for captured image signal | |
JP2007082044A (en) | Imaging method and imaging apparatus | |
JP2007110636A (en) | Camera apparatus | |
JP6932531B2 (en) | Image blur correction device, image pickup device, control method of image pickup device | |
JP2009296434A (en) | Imaging device | |
JP2012078495A (en) | Imaging device, shake correction device, and shake correction method | |
JP5290557B2 (en) | Imaging apparatus and imaging method | |
JP2012080204A (en) | Image processing device and method, and program | |
JP2005236662A (en) | Imaging method, imaging device, and imaging system | |
JP2011114486A (en) | Imaging device | |
JP2006148550A (en) | Image processor and imaging device | |
JP4753856B2 (en) | Motion detection apparatus and method, and imaging apparatus | |
JP4264554B2 (en) | Imaging device | |
US11330179B2 (en) | Imaging device and control method thereof | |
JP2009111773A (en) | Image processing device and method therefor | |
JP2011135537A (en) | Imaging apparatus and control method of the same | |
KR20100065788A (en) | Photographing apparatus and photographing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20090106 |