JP2007110636A - Camera apparatus - Google Patents

Camera apparatus Download PDF

Info

Publication number
JP2007110636A
JP2007110636A JP2005302008A JP2005302008A JP2007110636A JP 2007110636 A JP2007110636 A JP 2007110636A JP 2005302008 A JP2005302008 A JP 2005302008A JP 2005302008 A JP2005302008 A JP 2005302008A JP 2007110636 A JP2007110636 A JP 2007110636A
Authority
JP
Japan
Prior art keywords
image
camera shake
unit
camera
signal processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2005302008A
Other languages
Japanese (ja)
Inventor
Hikari Masui
光 増井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2005302008A priority Critical patent/JP2007110636A/en
Publication of JP2007110636A publication Critical patent/JP2007110636A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a camera apparatus capable of photographing a still picture with high image quality by suppressing a camera shake in photographing the still picture without using a strobe unit at a place wherein the luminous quantity is insufficient. <P>SOLUTION: When the luminous quantity around an object is small, a signal processing section 4 controls a frequency multiplier section 5 to decrease an exposure time of an imaging element 2, the signal processing section 4 produces a plurality of pictures on the basis of electric signals output from the imaging element 2, and an image composite section 7 synthesizes the pictures output from the signal processing section 4 to produce one picture. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、手ぶれ補正機能を有するカメラ装置に関するものである。   The present invention relates to a camera device having a camera shake correction function.

静止画の撮影に際して画質に大きな影響を与える要素として、カメラを構えた手が手ぶれを起こすことによる画質劣化が広く知られている。最近、主流となってきているデジタルカメラは、一般的に、レンズ、CCD(光電変換素子)やCMOSセンサーといった撮像素子、信号処理回路、情報媒体、等から構成されており、レンズによって被写体の光学情報を撮像素子の撮像面に結像して撮影する構成となっている。この際、撮像素子で光学情報を電気的情報に変換するためには、一定期間光信号を撮像素子の撮像面上に結像させるよう制御する電子シャッター機能が必要になる。この電子シャッターのシャッター時間(撮像素子において露光されている時間)の間に手ぶれが発生すると、撮像素子上の結像位置がずれてしまい、暈けた画像が撮影されてしまう。   As a factor that greatly affects image quality when taking a still image, image quality degradation due to camera shake caused by the hand holding the camera is widely known. Recently, digital cameras that have become mainstream are generally composed of a lens, an image sensor such as a CCD (photoelectric conversion element) or a CMOS sensor, a signal processing circuit, an information medium, and the like. The information is imaged and imaged on the imaging surface of the imaging element. At this time, in order to convert optical information into electrical information by the image sensor, an electronic shutter function for controlling the optical signal to form an image on the imaging surface of the image sensor for a certain period is required. If camera shake occurs during the shutter time of the electronic shutter (time during which the image sensor is exposed), the imaging position on the image sensor is shifted, and a blurred image is captured.

昨今では、動画を撮影可能なビデオカメラを中心に、手ぶれ補正機能を備えたカメラ装置が多数製品化されている。この手ぶれ補正機能を利用することによって、手ぶれによる画質劣化を低減させている。   In recent years, a large number of camera devices having a camera shake correction function have been commercialized, centering on video cameras capable of shooting moving images. By using this camera shake correction function, image quality deterioration due to camera shake is reduced.

手ぶれ補正の方式は、「光学式手ぶれ補正」と「電子式手ぶれ補正」の2つの方式が広く知られている。まず、光学式手ぶれ補正は、レンズあるいは撮像素子を、光軸に対して直交する方向へ物理的に動かし、手ぶれによる光軸のぶれをキャンセルさせる方式である。光学式手ぶれ補正は、精度の高い補正が可能である反面、レンズや撮像素子を動かすための可動部材を必要とするため、小型化、低価格化には適していない。   Two types of camera shake correction methods are widely known: “optical camera shake correction” and “electronic camera shake correction”. First, optical camera shake correction is a method in which a lens or an image sensor is physically moved in a direction orthogonal to the optical axis to cancel the shake of the optical axis due to camera shake. Optical camera shake correction is capable of highly accurate correction, but requires a movable member for moving a lens and an image sensor, and is not suitable for downsizing and cost reduction.

また、電子式手ぶれ補正は、撮像素子の出力信号に対してデジタル信号処理を施すことにより、手ぶれを補正するものである。電子式手ぶれ補正は、全てデジタル信号処理で実現できるため、小型化、低価格化に適している。   Electronic camera shake correction is to correct camera shake by applying digital signal processing to the output signal of the image sensor. Since electronic image stabilization can be realized entirely by digital signal processing, it is suitable for downsizing and cost reduction.

以下、電子式手ぶれ補正機能を搭載した従来のカメラ装置について説明する。   A conventional camera device equipped with an electronic camera shake correction function will be described below.

図9は従来のカメラ装置の構成を示すブロック図である。図において、カメラ部3は、レンズ1とイメージセンサー2とを備えている。イメージセンサー2は、CCDやCMOSセンサーなどから構成されている。レンズ1を介してイメージセンサー2に入射される光信号は、イメージセンサー2において光電変換されて、電気信号が出力される。イメージセンサー2から出力される電気信号は、アナログデジタル変換部(以下ADCと記す)14に入力されてデジタル信号に変換された後、信号処理回路4(以下DSPと記す)に入力される。DSP4では、入力される信号に対してノイズ除去や画質調整などの一般的な信号処理が施されるとともに、動き補償(手ぶれ補正)処理が施され、画像信号が出力される。DSP4から出力される画像信号は、例えば液晶ディスプレイから構成される表示部13において表示されるとともに、静止画信号処理回路9に出力される。なお、静止画信号処理回路9へ出力されるのは、撮影者がシャッターボタン(図示せず)などを操作して撮影命令が入力された時のみである。静止画信号処理回路9に入力される画像信号は、圧縮処理などが施され、情報媒体10に記録される。   FIG. 9 is a block diagram showing the configuration of a conventional camera device. In the figure, the camera unit 3 includes a lens 1 and an image sensor 2. The image sensor 2 is composed of a CCD, a CMOS sensor or the like. An optical signal incident on the image sensor 2 via the lens 1 is photoelectrically converted in the image sensor 2 and an electric signal is output. An electrical signal output from the image sensor 2 is input to an analog-to-digital converter (hereinafter referred to as ADC) 14 and converted into a digital signal, and then input to a signal processing circuit 4 (hereinafter referred to as DSP). In the DSP 4, general signal processing such as noise removal and image quality adjustment is performed on an input signal, and motion compensation (camera shake correction) processing is performed to output an image signal. The image signal output from the DSP 4 is displayed on the display unit 13 including, for example, a liquid crystal display, and is output to the still image signal processing circuit 9. Note that the image is output to the still image signal processing circuit 9 only when a photographer inputs a shooting command by operating a shutter button (not shown) or the like. The image signal input to the still image signal processing circuit 9 is subjected to compression processing and the like, and is recorded on the information medium 10.

次に、カメラ装置における手ぶれの発生原理について説明する。   Next, the principle of occurrence of camera shake in the camera device will be described.

図10A(a)は、静止画の手ぶれの発生メカニズムを示す模式図である。図10B(a)は被写体が十分に明るい場合のシャッター速度を示すタイミング図である。図10C(a)は被写体が暗い場合のシャッター速度を示すタイミング図である。各図(b)は、撮像素子103によって撮像された画像を示す模式図である。   FIG. 10A (a) is a schematic diagram showing the mechanism of occurrence of camera shake in a still image. FIG. 10B (a) is a timing chart showing the shutter speed when the subject is sufficiently bright. FIG. 10C (a) is a timing chart showing the shutter speed when the subject is dark. Each diagram (b) is a schematic diagram showing an image captured by the image sensor 103.

図10Aに示すように、入射される被写体101の光学情報は、レンズ102によっ撮像素子103の撮像面上に結像されることによって、静止画を撮影することができる。撮影時、カメラ装置において手ぶれが発生していない場合は、光軸104aに示すようにレンズ102の中心を通り、撮像素子103の撮像面のほぼ中心に位置する。しかし、カメラ装置において手ぶれが生じた場合、光軸104bに示すように歪んでしまい、撮像素子103の撮像面の中心から大きくずれてしまう。これにより、撮像素子103から得られる画像信号は、(b)に示すように暈けた画像105となってしまう。   As shown in FIG. 10A, the optical information of the incident subject 101 is imaged on the imaging surface of the imaging element 103 by the lens 102, so that a still image can be taken. When camera shake does not occur in the camera apparatus at the time of shooting, the camera device passes through the center of the lens 102 as shown by the optical axis 104a and is positioned at the approximate center of the imaging surface of the imaging device 103. However, when camera shake occurs in the camera device, the camera device is distorted as indicated by the optical axis 104b, and is largely deviated from the center of the imaging surface of the image sensor 103. As a result, the image signal obtained from the image sensor 103 becomes a blurred image 105 as shown in FIG.

また、被写体の光量が十分に明るい場合には、図10B(a)に示すようにシャッター速度は短くなるように制御されるので、たとえ撮影中に手ぶれが発生したとしても、(b)に示すように画像に対する影響は小さく、暈けが目立たない画像105aとなる。   Also, when the amount of light of the subject is sufficiently bright, the shutter speed is controlled to be short as shown in FIG. 10B (a), so even if camera shake occurs during shooting, it is shown in (b). Thus, the influence on the image is small, and the image 105a is inconspicuous.

しかし、被写体が暗く光量が不足している場合、図10C(a)に示すようにシャッター速度は遅くなるよう制御される。シャッター速度が遅くなりシャッター時間が長くなると、撮像開始時点の結像タイミング(図中Ta)と撮像終了時点の結像タイミング(図中Tb)とで、時間的に大きな隔たりが生じる。すると、タイミングTaにおいて(b)の画像105bが撮像されているのに対して、タイミングTbでは手ぶれによって結像位置がずれた画像105cが撮像される。これらの画像105b及び105cを加算して撮像素子103から得られる画像105dは、暈けてしまい画質劣化してしまう。このような場合、一般的には手ぶれを回避するために、ストロボを発光させて被写体の光量を多くし、シャッター時間を短くする手法が使われることが多い。   However, when the subject is dark and the amount of light is insufficient, the shutter speed is controlled to be slow as shown in FIG. 10C (a). When the shutter speed becomes slow and the shutter time becomes long, there is a large time difference between the imaging timing at the start of imaging (Ta in the figure) and the imaging timing at the end of imaging (Tb in the figure). Then, the image 105b of (b) is captured at the timing Ta, whereas the image 105c whose imaging position is shifted due to camera shake is captured at the timing Tb. An image 105d obtained from the image sensor 103 by adding these images 105b and 105c is lost and the image quality is deteriorated. In such a case, generally, in order to avoid camera shake, a technique is often used in which a strobe is emitted to increase the amount of light of the subject and to shorten the shutter time.

一方、動画撮影時は手ぶれによる影響が少ない。すなわち、図11(a)に示すように、動画撮影時はフレーム周期(1/30秒)で静止画を撮影している。よって、動画撮影時に発生する手ぶれは、(b)に示すように、残像効果によってそれぞれの静止画を重ね合わせたように見える。このような手ぶれに対して、(c)に示すように、各フレームの被写体の位置を一致させるように、各フレームの位置をずらす処理を行うことにより、手ぶれを補正することができる(例えば、特許文献1参照)。
特開平10−200809号公報
On the other hand, there is little influence from camera shake during movie shooting. That is, as shown in FIG. 11A, a still image is shot at a frame period (1/30 second) during moving image shooting. Therefore, camera shake that occurs during moving image shooting seems to overlap each still image by the afterimage effect, as shown in FIG. For such camera shake, as shown in (c), camera shake can be corrected by performing a process of shifting the position of each frame so that the position of the subject of each frame matches (for example, Patent Document 1).
Japanese Patent Laid-Open No. 10-200809

しかしながら上記従来の構成では、夜景や花火の撮影など、光量が不足する場所でストロボ装置を使わずに静止画撮影を行うと、シャッター速度が遅くなるよう制御されてしまうため、図10Cに示すように、手ぶれが原因で画質が劣化してしまうという問題があった。   However, in the above-described conventional configuration, if still image shooting is performed without using a strobe device in a place where the amount of light is insufficient, such as shooting night scenes or fireworks, the shutter speed is controlled to be slow, and as shown in FIG. 10C. In addition, there is a problem that image quality deteriorates due to camera shake.

本発明は、上記問題に鑑み、光量が不足する場所でストロボ装置を使わずに静止画を撮影する際、手ぶれを抑えた高画質の静止画を撮影することができるカメラ装置を提供することを目的とする。   In view of the above problems, the present invention provides a camera device capable of shooting a high-quality still image with reduced camera shake when shooting a still image without using a strobe device in a place where the amount of light is insufficient. Objective.

上記課題を解決するために本発明のカメラ装置は、レンズを介して入射される光信号を電気信号に変換する撮像素子と、前記撮像素子から出力される電気信号に基づいて映像信号を生成するとともに、前記撮像素子の動作クロックを出力する信号処理部と、前記信号処理部から出力される映像信号を表示可能な表示部と、前記信号処理部から出力される映像信号を記録または再生可能な情報媒体とを有し、シャッターボタンを操作することにより、少なくとも静止画を撮影可能なカメラ装置であって、前記信号処理部から出力され前記撮像素子に入力される動作クロックの周波数を逓倍可能な周波数逓倍部と、カメラ装置の手ぶれを検出可能な手ぶれ検出部と、前記手ぶれ検出部で検出される手ぶれに基づいて、前記信号処理部から出力される静止画のフレームをシフトさせ、画像の動き補償を行う動き補償部と、前記動き補償部から出力される複数枚の画像を重ね合わせて、一枚の静止画を生成可能な画像合成部とを備え、被写体における光量が少ない時、前記周波数逓倍部は、前記撮像素子の露光時間が短くなるように前記動作クロックの周波数を逓倍するとともに、前記撮像素子から出力される電気信号に基づいて複数枚の画像を生成し、前記画像合成部は、前記信号処理部から出力される複数枚の画像を合成して、1枚の画像を生成するものである。   In order to solve the above problems, a camera device of the present invention generates an image signal based on an image sensor that converts an optical signal incident via a lens into an electric signal, and an electric signal output from the image sensor. In addition, a signal processing unit that outputs an operation clock of the imaging device, a display unit that can display a video signal output from the signal processing unit, and a video signal output from the signal processing unit can be recorded or reproduced. And a camera device capable of photographing at least a still image by operating a shutter button, and capable of multiplying a frequency of an operation clock output from the signal processing unit and input to the imaging device. Based on the frequency multiplier, the camera shake detector capable of detecting camera shake of the camera device, and the camera shake detected by the camera shake detector, the signal processor outputs the camera shake. A motion compensation unit that shifts a frame of a still image and compensates for the motion of the image, and an image synthesis unit that can generate a single still image by superimposing a plurality of images output from the motion compensation unit. And when the amount of light in the subject is small, the frequency multiplying unit multiplies the frequency of the operation clock so that the exposure time of the image sensor is shortened, and a plurality of sheets based on the electrical signal output from the image sensor The image synthesizing unit generates a single image by synthesizing a plurality of images output from the signal processing unit.

本発明によれば、被写体が暗くて光量が不足している場合でも、手ぶれの影響を抑えた高画質の静止画を撮影することができる。   According to the present invention, even when the subject is dark and the amount of light is insufficient, it is possible to shoot a high-quality still image in which the influence of camera shake is suppressed.

本発明のカメラ装置は、本カメラ装置の手ぶれを検出可能な手ぶれ検出部をさらに備え、前記動き補償部は、前記手ぶれ検出部で検出された手ぶれ情報に基づいて、画像の動き補償を行う構成としてもよい。   The camera device of the present invention further includes a camera shake detection unit capable of detecting camera shake of the camera device, and the motion compensation unit performs motion compensation of an image based on camera shake information detected by the camera shake detection unit. It is good.

また、前記手ぶれ検出部は、角速度センサーで構成してもよい。   Further, the camera shake detection unit may be constituted by an angular velocity sensor.

また、前記信号処理部は、生成した映像信号のフレーム相関に基づき、手ぶれを検出する構成としてもよい。   The signal processing unit may be configured to detect camera shake based on the frame correlation of the generated video signal.

また、前記動き補償部は、前記信号処理部から出力される画像を複数のブロックに分割し、分割された各々のブロックに対してそれぞれ動き補償処理を行うよう制御する構成としてもよい。   Further, the motion compensation unit may be configured to divide the image output from the signal processing unit into a plurality of blocks and to perform motion compensation processing on each of the divided blocks.

また、前記画像合成部は、前記動き補償部において分割された各々のブロックに対して、画像の合成または非合成の処理を選択的に行う構成としてもよい。   The image composition unit may be configured to selectively perform image composition or non-composition processing on each block divided by the motion compensation unit.

(実施の形態1)
図1は、実施の形態1におけるカメラ装置の構成を示すブロック図である。
(Embodiment 1)
FIG. 1 is a block diagram illustrating a configuration of the camera device according to the first embodiment.

図1において、カメラ部3は、ズームレンズやフォーカスレンズなどから構成されるレンズ1と、入射される光信号を電気信号へ光電変換するイメージセンサー(撮像素子)2とから構成されている。イメージセンサー2は、例えばCCDやCMOSセンサーなどから構成され、以下CCDを一例に挙げて説明する。信号処理回路(以下、DSPと記す)4は、ADC14でデジタル信号に変換された画像信号に対して、ノイズ除去や画質調整などの一般的な信号処理を施す。周波数逓倍器5は、DSP4から出力されるクロックを逓倍し、イメージセンサー2の動作周波数を変更する。   In FIG. 1, a camera unit 3 includes a lens 1 including a zoom lens, a focus lens, and the like, and an image sensor (imaging device) 2 that photoelectrically converts an incident optical signal into an electrical signal. The image sensor 2 is composed of, for example, a CCD or CMOS sensor, and will be described below by taking the CCD as an example. A signal processing circuit (hereinafter referred to as DSP) 4 performs general signal processing such as noise removal and image quality adjustment on the image signal converted into a digital signal by the ADC 14. The frequency multiplier 5 multiplies the clock output from the DSP 4 and changes the operating frequency of the image sensor 2.

手ぶれ検出部18は、カメラ装置本体の手ぶれを検出するものであり、例えば角速度センサーで構成されている。検出された手ぶれの情報は、手ぶれ補正回路8へ出力される。   The camera shake detection unit 18 detects camera shake of the camera device main body, and is configured by, for example, an angular velocity sensor. Information on the detected camera shake is output to the camera shake correction circuit 8.

手ぶれ補正回路8は、手ぶれ検出部18から出力される手ぶれ情報に基づいて、DSP4から出力される画像信号に対して動き補償処理を行う動き補償回路6と、動き補償された複数フレームの画像信号を合成させる画像合成回路7とから構成される。   The camera shake correction circuit 8 includes a motion compensation circuit 6 that performs motion compensation processing on the image signal output from the DSP 4 based on the camera shake information output from the camera shake detection unit 18, and a plurality of motion-compensated image signals. And an image synthesizing circuit 7 for synthesizing.

静止画信号処理回路9は、手ぶれ補正回路8から出力される画像信号に対して画像圧縮などの信号処理を施す。   The still image signal processing circuit 9 performs signal processing such as image compression on the image signal output from the camera shake correction circuit 8.

情報媒体10は、静止画信号処理回路9から出力される画像信号が記録されるものである。情報媒体10は、例えば半導体メモリを搭載したメモリーカードで構成されるものがあるが、これに限定されるものではなく、ディスク状媒体やテープ状媒体であっても構わない。   The information medium 10 records the image signal output from the still image signal processing circuit 9. The information medium 10 includes, for example, a memory card equipped with a semiconductor memory. However, the information medium 10 is not limited to this, and may be a disk-shaped medium or a tape-shaped medium.

フレーム間引き部11は、DSP4から出力される画像信号を、所定量間引くものである。表示部12は、間引き部11から出力される表示用の画像信号を表示可能であり、例えば2〜4インチ程度の液晶ディスプレイで構成される。   The frame thinning unit 11 thins out a predetermined amount of the image signal output from the DSP 4. The display unit 12 can display a display image signal output from the thinning unit 11, and is configured by a liquid crystal display of about 2 to 4 inches, for example.

以上のように構成された本実施の形態について、以下その動作を説明する。   The operation of the embodiment configured as described above will be described below.

図1において、レンズ1を介してイメージセンサー2に入射される光信号は、イメージセンサー2において光電変換されて、電気信号が出力される。イメージセンサー2から出力される電気信号は、ADC14に入力されてデジタル信号に変換された後、DSP4に入力される。DSP4では、入力される信号に対してノイズ除去や画質調整などの信号処理が施される。DSP4から出力される画像信号は、間引き部11で間引き処理が施されて(間引き処理ついては後で説明する)、表示部13において表示される。また、DSP4から出力される画像信号は、手ぶれ補正回路8にも入力される。   In FIG. 1, an optical signal incident on an image sensor 2 through a lens 1 is photoelectrically converted in the image sensor 2 and an electric signal is output. The electrical signal output from the image sensor 2 is input to the ADC 14 and converted into a digital signal, and then input to the DSP 4. The DSP 4 performs signal processing such as noise removal and image quality adjustment on the input signal. The image signal output from the DSP 4 is subjected to a thinning process by the thinning unit 11 (the thinning process will be described later) and displayed on the display unit 13. The image signal output from the DSP 4 is also input to the camera shake correction circuit 8.

一方、手ぶれ検出部18では、カメラ装置本体で発生した手ぶれを検出し、その手ぶれ情報を手ぶれ補正回路8へ出力している。手ぶれ検出部18から出力される手ぶれ情報は、手ぶれによって生じたカメラ装置の動き方向と動き量を含んだ情報である。   On the other hand, the camera shake detection unit 18 detects camera shake occurring in the camera apparatus body, and outputs the camera shake information to the camera shake correction circuit 8. The camera shake information output from the camera shake detection unit 18 is information including the movement direction and the amount of movement of the camera device caused by the camera shake.

手ぶれ補正回路8の動き補償回路6においては、手ぶれ検出部18から出力される手ぶれ情報に基づいて、手ぶれをキャンセルするような画像信号の動き補償処理(具体的な処理方法は後述する)を行う。動き補償された画像信号は画像合成回路7に出力され、複数フレームの画像信号を合成して1枚の静止画が生成される。   In the motion compensation circuit 6 of the camera shake correction circuit 8, based on the camera shake information output from the camera shake detection unit 18, a motion compensation process (a specific processing method will be described later) of the image signal that cancels the camera shake is performed. . The motion-compensated image signal is output to the image synthesis circuit 7 and a plurality of frames of image signals are synthesized to generate one still image.

手ぶれ補正回路8から出力される画像信号は、静止画信号処理回路9に入力される。静止画信号処理回路9では、画像信号に対して圧縮処理等が施される。静止画信号処理回路9から出力される画像信号は、情報媒体10に記録される。   The image signal output from the camera shake correction circuit 8 is input to the still image signal processing circuit 9. In the still image signal processing circuit 9, compression processing or the like is performed on the image signal. The image signal output from the still image signal processing circuit 9 is recorded on the information medium 10.

次に、図2を参照して、撮影時の画像取り込み動作について説明する。図2は、シャッターボタンが操作されてから画像信号が出力されるまでの動作を示すタイミングチャートであり、(a)は従来のシャッター動作を示し、(b)は(a)に示すシャッター動作によって撮像された画像信号を示し、(c)は従来の動作においてシャッター時間が長い場合の動作を示し、(d)は(c)に示すシャッター動作によって撮像された画像信号を示し、(e)は本実施の形態のシャッター動作を示し、(f)は(e)に示すシャッター動作によって撮像された画像信号を示す。図2において、A1〜A4はそれぞれ静止画(フレーム)を示している。   Next, an image capturing operation at the time of shooting will be described with reference to FIG. FIG. 2 is a timing chart showing an operation from when the shutter button is operated until an image signal is output. (A) shows a conventional shutter operation, and (b) shows a shutter operation shown in (a). (C) shows the operation when the shutter time is long in the conventional operation, (d) shows the image signal taken by the shutter operation shown in (c), and (e) shows the image signal taken. The shutter operation of this embodiment is shown, and (f) shows an image signal imaged by the shutter operation shown in (e). In FIG. 2, A1 to A4 indicate still images (frames).

図1に示すように、被写体の光学情報はレンズ1を介してイメージセンサー2の上に結像し、光電変換処理によって電気信号に変換され、画像信号(静止画)として出力される。従来のカメラ装置では、図2(a)に示すようにシャッターボタンが1回操作されると、イメージセンサー2においてS11に示す期間撮像され、図2(b)に示すように1枚の静止画A1が撮像素子から出力される構成となっている。また、被写体の光量が不足している場合は、図2(c)のシャッター時間S12に示すように、シャッター時間を長くして撮影することで、光量を増やしている。しかし、前述したように、シャッター時間が長くなると手ぶれの影響を受けやすくなるため、図2(d)の静止画A1は暈けた画像となっている可能性が高い。   As shown in FIG. 1, optical information of a subject is imaged on an image sensor 2 via a lens 1, converted into an electrical signal by photoelectric conversion processing, and output as an image signal (still image). In the conventional camera device, when the shutter button is operated once as shown in FIG. 2A, the image sensor 2 picks up the image for the period shown in S11, and one still image as shown in FIG. 2B. A1 is output from the image sensor. If the amount of light of the subject is insufficient, the amount of light is increased by taking a picture with a longer shutter time as shown in the shutter time S12 of FIG. However, as described above, the longer the shutter time, the more easily affected by camera shake, the possibility that the still image A1 in FIG. 2D is a blurred image is high.

本実施の形態では、図2(e)に示すように、1回のシャッターボタン操作で複数枚の静止画が撮像素子から出力されるように制御する。即ち、被写体の光量が不足している場合に長くなってしまうシャッター時間を、短いシャッター時間に分割して複数の静止画を連続して撮影するように制御する。図2(e)に示すシャッター動作では、シャッター時間をS1〜S4に示すように4分割させている。図2(e)における各シャッター時間は、図2(a)に示すシャッター時間S11と同等の時間に設定されており、手ぶれの影響を受けにくいシャッター速度に設定されている。   In the present embodiment, as shown in FIG. 2 (e), control is performed so that a plurality of still images are output from the image sensor with a single shutter button operation. That is, control is performed so that a plurality of still images are continuously photographed by dividing a shutter time that becomes long when the amount of light of the subject is insufficient into short shutter times. In the shutter operation shown in FIG. 2E, the shutter time is divided into four as shown in S1 to S4. Each shutter time in FIG. 2 (e) is set to a time equivalent to the shutter time S11 shown in FIG. 2 (a), and is set to a shutter speed that is not easily affected by camera shake.

図2(e)に示すシャッター時間で撮影されることにより、被写体の光量が不足していても、速いシャッター時間で撮影ができるため、手ぶれが抑えられた4枚の静止画A1〜A4を得ることができる。また、シャッター時間S1〜S4の撮影に要する時間は、図2(c)に示すシャッター時間S12と同等の時間を確保しているので、静止画A1〜A4に基づき1枚の静止画を生成することで、明るい静止画を得ることができる。   By taking a picture with the shutter time shown in FIG. 2E, it is possible to take a picture with a fast shutter time even if the amount of light of the subject is insufficient, so that four still images A1 to A4 with reduced camera shake are obtained. be able to. Further, since the time required for shooting the shutter times S1 to S4 is secured to the same time as the shutter time S12 shown in FIG. 2C, one still image is generated based on the still images A1 to A4. Thus, a bright still image can be obtained.

次に、静止画の動き補償について図3を参照しながら説明する。   Next, still image motion compensation will be described with reference to FIG.

図3は、図2(d)及び(e)に示す制御にて撮像された画像信号を示す模式図で、図中の顔が被写体に相当する。図3(a)は前述の複数枚撮影された静止画のうちの最初の1枚で、図2(e)のタイミングS1で撮影された静止画に相当する。図3(a)に示すように、被写体は画角の略右下に位置している。図3(b)は2枚目の静止画で、図2(e)のタイミングS2で撮影された静止画に相当する。図3(b)に示すように、被写体は画角の略中央に位置している。図3(a)及び(b)に示すように、同じ被写体を連続的に撮影したにも関わらず、カメラ装置の手ぶれによって、フレーム内における被写体の位置が異なってしまう。   FIG. 3 is a schematic diagram showing an image signal captured by the control shown in FIGS. 2D and 2E, and the face in the figure corresponds to the subject. FIG. 3 (a) is the first one of the above-described still images taken and corresponds to the still image taken at the timing S1 in FIG. 2 (e). As shown in FIG. 3A, the subject is located substantially at the lower right of the angle of view. FIG. 3B shows the second still image, which corresponds to the still image taken at the timing S2 in FIG. As shown in FIG. 3B, the subject is located at the approximate center of the angle of view. As shown in FIGS. 3A and 3B, although the same subject is continuously photographed, the position of the subject in the frame varies depending on the camera shake.

図3(a)及び(b)のそれぞれの静止画を単純に重ね合わせると、図3(c)に示すように被写体がずれた状態で重ねられてしまい、結果としてシャッター速度が遅くなったのと同じように、画質劣化を引き起こしてしまう。   When the still images in FIGS. 3A and 3B are simply overlaid, the subject is overlaid as shown in FIG. 3C, resulting in a slower shutter speed. In the same way as this, the image quality is deteriorated.

しかし、重ね合わせる前に図3(b)に示す静止画に対して、図3(d)に示すように手ぶれによる被写体の動きを補償するようにフレームを矢印A方向へずらす処理を施すと、図3(e)に示すように静止画を重ね合わせても手ぶれの影響を受けることなく、画像の合成をすることができる。これが動き補償の処理である。動き補償による画像データを算出する方法は、「nearest neighber法」、「bilinear法」、「bicubic法」などが知られている。   However, if the still image shown in FIG. 3B is subjected to a process of shifting the frame in the direction of arrow A so as to compensate for the movement of the subject due to camera shake as shown in FIG. As shown in FIG. 3E, images can be synthesized without being affected by camera shake even when still images are superimposed. This is the motion compensation process. As methods for calculating image data by motion compensation, “nearest neighbor method”, “bilinear method”, “bicubic method” and the like are known.

次に、一連の処理の流れを図4を参照して説明する。   Next, a flow of a series of processes will be described with reference to FIG.

図4(a)のタイミングでシャッターボタンが操作された場合、従来は図4(b)に示すシャッター時間の期間、被写体からの光を露光して電荷蓄積を行った後、図4(c)のタイミングで画像信号(1フレーム)として出力するのであるが、本実施の形態では、図4(d)に示すようにシャッター時間(露光時間)を複数(例えば4つ)に分割し、各々の電荷蓄積の結果を画像信号として複数回静止画を図4(e)のタイミングで出力する。なお図示のように、シャッター時間の期間蓄積された画像信号が出力されるので、画像信号の出力タイミングは図4(d)に示すシャッター期間に較べて、遅延されている。図4(d)に示すように出力された画像信号は、DSP4で信号処理なされた後、図4(f)に示すように一旦メモリー15に格納される。メモリー15に格納された画像データは、図4(g)のタイミングで動き補償処理と画像合成処理が行われる。   When the shutter button is operated at the timing shown in FIG. 4A, conventionally, after the charge is accumulated by exposing light from the subject during the shutter time shown in FIG. 4B, FIG. In this embodiment, as shown in FIG. 4D, the shutter time (exposure time) is divided into a plurality of (for example, four), and each is output as an image signal (one frame). The result of charge accumulation is output as an image signal, and a still image is output a plurality of times at the timing shown in FIG. As shown in the figure, since the image signal accumulated during the shutter time is output, the output timing of the image signal is delayed compared to the shutter period shown in FIG. The image signal output as shown in FIG. 4 (d) is subjected to signal processing by the DSP 4, and then temporarily stored in the memory 15 as shown in FIG. 4 (f). The image data stored in the memory 15 undergoes motion compensation processing and image composition processing at the timing shown in FIG.

なお、図4(f)において、1枚目の静止画(frame 1)は基準となる静止画なので、動き補償処理及び画像合成処理は、図4(g)に示すように2枚目以降の画像データ(frame2〜4)に対して施されることになる。そして、4枚目の画像の合成が完了した時点で静止画の合成処理が完了し、1枚の静止画が得られることになる。   In FIG. 4F, since the first still image (frame 1) is a reference still image, the motion compensation process and the image synthesis process are performed for the second and subsequent sheets as shown in FIG. It is applied to the image data (frames 2 to 4). When the synthesis of the fourth image is completed, the still image synthesis process is completed, and one still image is obtained.

次に、カメラ装置の手ぶれ検出について、図5を参照して簡単に説明する。   Next, camera shake detection of the camera device will be briefly described with reference to FIG.

図5Aはカメラ装置における鏡筒を示す模式図である。図5Aにおいて、手前側の円筒面が被写体側を向いているものとする。また、Z軸は、鏡筒内に配されたレンズの光軸に相当する。   FIG. 5A is a schematic diagram showing a lens barrel in the camera device. In FIG. 5A, it is assumed that the cylindrical surface on the front side faces the subject side. The Z axis corresponds to the optical axis of a lens disposed in the lens barrel.

手ぶれは、図5Aにおけるカメラ(鏡筒)に対して、X軸またはY軸を中心に回転する方向に対して発生する。X軸に対して発生した手ぶれは、撮影画像に対して縦方向のぶれになり、Y軸方向に対して発生した手ぶれは、撮影画像に対して横方向のぶれになる。   Camera shake occurs with respect to the direction of rotation about the X axis or Y axis with respect to the camera (lens barrel) in FIG. 5A. The camera shake generated with respect to the X axis is a vertical shake with respect to the captured image, and the camera shake generated with respect to the Y axis is a horizontal shake with respect to the captured image.

手ぶれを検出する方法は、角速度センサーを用いるものがある。角速度センサーを鏡筒内あるいは鏡筒近傍のX軸上とY軸上とに2つ設置することによって、撮影画像の縦方向のぶれと横方向のぶれを検出することができる。   One method for detecting camera shake uses an angular velocity sensor. By installing two angular velocity sensors on the X axis and the Y axis in the vicinity of the lens barrel or in the vicinity of the lens barrel, it is possible to detect a vertical blur and a horizontal blur of the captured image.

本実施の形態では、図5Bに示すように、カメラ部3(鏡筒内)にX軸方向のぶれを検出する角速度センサー16と、Y軸方向のぶれを検出する角速度センサー17とを設置することで、カメラ部3の縦方向と横方向の手ぶれを検出することができる。この手ぶれ検出結果に基づいて、動き補償回路6で手ぶれに対する動き補償を施すことができる。なお、図5Bにおいて、角速度センサー16及び17以外の構成は、図1に示す構成と同様であるため、詳細説明は省略する。   In the present embodiment, as shown in FIG. 5B, an angular velocity sensor 16 that detects shake in the X-axis direction and an angular velocity sensor 17 that detects shake in the Y-axis direction are installed in the camera unit 3 (inside the lens barrel). Thus, camera shake in the vertical direction and the horizontal direction of the camera unit 3 can be detected. Based on the camera shake detection result, the motion compensation circuit 6 can perform motion compensation for camera shake. In FIG. 5B, the configuration other than the angular velocity sensors 16 and 17 is the same as the configuration shown in FIG.

また、図6に示すように、画像データの信号処理によって手ぶれを検出する方法も知られている。図6において、(a)に示す一枚目の画像61(基準画像)は、VGAの解像度であれば、水平画素数×垂直画素数が640×480画素で構成される。図6では説明を簡便化するために32×24画素で表記する。(b)に示す動き検出の対象となる2枚目の画像62は、画素を複数のサブブロック62a(ここでは一例として4×3のサブブロック)に分割されている。   As shown in FIG. 6, a method for detecting camera shake by signal processing of image data is also known. In FIG. 6, the first image 61 (reference image) shown in FIG. 6A has a horizontal pixel number × vertical pixel number of 640 × 480 pixels if the resolution is VGA. In FIG. 6, in order to simplify the description, 32 × 24 pixels are used. In the second image 62 to be subjected to motion detection shown in (b), the pixels are divided into a plurality of sub-blocks 62a (here, 4 × 3 sub-blocks as an example).

この状態で、(b)の各サブブロック62aと、各サブブロック62aに対応する(a)の領域との相関を求める。具体的には、(b)に示す各サブブロック62a毎に、(a)に対する相関係数を求め、最も相関係数(=Σ(m,n)[B(m,n)-C(m',n')])の値が小さくなる画素を求める。これによって求められた画素における相関係数(m',n')に基づき、その画素が属するサブブロックの動きベクトルmvとして、
mv=(m'-m , n'-n)
が与えられる。これをまとめたものが(c)の画像63である。(c)に示すように、4×3の各サブブロックについて各々動きベクトルmvが求められる。この結果を統計処理することによって、1枚の画像全体の最終的な動きベクトルMVを求める。統計処理の一例として、最大値と最小値を除去した後に平均化する方法がある。このようにして求められた動きベクトルMV(x,y)が、手ぶれを表わしている。なお、MV(x,y)において、x成分が横方向の手ぶれ、y成分が縦方向の手ぶれを夫々表わしている。
In this state, the correlation between each sub-block 62a in (b) and the area (a) corresponding to each sub-block 62a is obtained. Specifically, for each sub-block 62a shown in (b), the correlation coefficient for (a) is obtained, and the correlation coefficient (= Σ (m, n) [B (m, n) −C (m ', n')]) finds a pixel with a smaller value. Based on the correlation coefficient (m ′, n ′) of the pixel obtained in this way, the motion vector mv of the sub-block to which the pixel belongs is
mv = (m'-m, n'-n)
Is given. A summary of this is an image 63 in (c). As shown in (c), a motion vector mv is obtained for each 4 × 3 sub-block. By statistically processing the result, a final motion vector MV of one entire image is obtained. As an example of the statistical processing, there is a method of averaging after removing the maximum value and the minimum value. The motion vector MV (x, y) obtained in this way represents camera shake. In MV (x, y), the x component represents the horizontal camera shake, and the y component represents the vertical camera shake.

次に、図1における画像合成部7の動作について説明する。   Next, the operation of the image composition unit 7 in FIG. 1 will be described.

図7は画像合成処理を説明するための模式図である。図7において、(a)は基準となる1枚目の画像71である。(b)は2枚目以降の画像72である。(c)は画像72に対して動き補償を施した画像であり、画像72に対して画像を切り出す範囲を領域73に示すようにずらし、画像71と画像72の相関を高めることで、動き補償を行っている。(c)において,領域73aは画像72に対する切り出しエリアで、領域73bはデータが存在しない領域であり、領域73は領域73aと領域73bとから構成されている。   FIG. 7 is a schematic diagram for explaining the image composition processing. In FIG. 7, (a) is a first image 71 serving as a reference. (B) is the second and subsequent images 72. (C) is an image in which motion compensation has been performed on the image 72, and the range of clipping the image 72 is shifted as shown in a region 73, and the correlation between the image 71 and the image 72 is increased to compensate for motion compensation. It is carried out. In (c), a region 73a is a cut-out area for the image 72, a region 73b is a region where no data exists, and the region 73 is composed of a region 73a and a region 73b.

画像合成処理は、(a)に示す画像71をaとし、(b)に示す2枚目以降の画像72をbとした時、以下の数式に基づいて加算させることで、合成後の画像Outを得ることができる。   In the image composition process, when the image 71 shown in (a) is a, and the second and subsequent images 72 shown in (b) are b, the image Out after the composition is added by adding them based on the following formulas. Can be obtained.

Out(x,y) = a(x,y)+c(x,y)
但し、(c)において領域73bは、対応するc(x,y)が存在しない領域であり、この領域73bには、2枚目以降の画像72で加算処理をする代わりに、画像71のデータを充当して加算処理を行う。このようにして、動き補償された画像を画像合成処理することによって、手ぶれ補正された静止画を得ることができる。なお、3枚目以降の画像を合成する処理は、上記と同様であるため説明は省略する。
Out (x, y) = a (x, y) + c (x, y)
However, in (c), a region 73b is a region where the corresponding c (x, y) does not exist. In this region 73b, instead of performing addition processing on the second and subsequent images 72, the data of the image 71 is stored. Is added to perform the addition process. In this way, by performing image composition processing on the motion-compensated image, it is possible to obtain a still image with camera shake correction. Note that the process of combining the third and subsequent images is the same as described above, and thus the description thereof is omitted.

次に、合成する2枚目以降の画像を、複数のサブブロックに分割して画像合成を行う実施形態について説明する。   Next, an embodiment will be described in which the second and subsequent images to be combined are divided into a plurality of sub-blocks and image combining is performed.

図8において、(a)は基準となる1枚目の画像であり、画像には被写体81と背景82とが撮影されている。(b)は合成する2枚目以降の画像であり。被写体81及び背景82の両方が、(a)の1枚目の画像に対して位置が変わっている。(c)は(b)から被写体81を抽出して動き補正を施した画像である。(d)は(b)から背景82を抽出して動き補償を施した画像である。(e)は(c)の画像と(d)の画像とを合成した画像である。   In FIG. 8, (a) is a first image as a reference, and a subject 81 and a background 82 are photographed in the image. (B) is the second and subsequent images to be combined. The positions of both the subject 81 and the background 82 are changed with respect to the first image in (a). (C) is an image obtained by extracting the subject 81 from (b) and performing motion correction. (D) is an image obtained by extracting the background 82 from (b) and performing motion compensation. (E) is an image obtained by synthesizing the image of (c) and the image of (d).

図8(a)に示す画像において、被写体81及びその周辺画像を含むサブブロックと、背景82及びその周辺画像を含むサブブロックとに分割し、各々のサブブロックに対して動き補償を行って、画像合成処理を行う。静止画撮影時、背景82は、本来自らは動かないものなので、(b)に示すように動きが生じた場合は手ぶれのみが原因である。一方、被写体81は、それ自体が動いている場合が多いため、(b)に示すように動きが生じた場合は、手ぶれによる動きと被写体自体の動きとを合成した動きベクトルで、動き補償する必要がある。   In the image shown in FIG. 8A, the subject 81 and its surrounding image are divided into sub-blocks and the background 82 and its surrounding images are sub-blocked, and motion compensation is performed for each sub-block. Perform image composition processing. At the time of still image shooting, the background 82 originally does not move by itself. Therefore, when movement occurs as shown in FIG. On the other hand, since the subject 81 is often moving, when motion occurs as shown in (b), motion compensation is performed with a motion vector obtained by combining motion due to camera shake and motion of the subject itself. There is a need.

被写体81は、手ぶれによる動きと被写体自体の動きとを合成して算出された動きベクトルに基づいて、(c)に示すように切り出しエリアを領域83aから領域83bへ変えることによって、被写体81の動き補償を行っている。また、背景82は、手ぶれによる動きによって算出された動きベクトルに基づいて、(d)に示すように切り出しエリアを領域83cから領域83dへ変えることによって、背景82の動き補償を行っている。次に、(c)に示すように動き補償された被写体81の画像と、(d)に示すように動き補償された背景82の画像とを、(e)に示すように合成する。
このように、画像を例えば背景82と被写体81のように、複数のブロックに分割して動き補償を行うことよって、より精度の高い動き補償を行うことができる。ここでは画像を2つのブロックに分割する実施例で説明したが、3つ以上のブロックに分割することも想定している。
The subject 81 moves the subject 81 by changing the cut-out area from the region 83a to the region 83b based on the motion vector calculated by combining the motion due to the camera shake and the motion of the subject itself, as shown in (c). Compensation is performed. Further, the background 82 is subjected to motion compensation by changing the cut-out area from the region 83c to the region 83d as shown in (d) based on the motion vector calculated by the motion due to camera shake. Next, the image of the subject 81 subjected to motion compensation as shown in (c) and the image of the background 82 subjected to motion compensation as shown in (d) are combined as shown in (e).
In this way, by performing motion compensation by dividing an image into a plurality of blocks such as the background 82 and the subject 81, motion compensation with higher accuracy can be performed. Here, the example in which the image is divided into two blocks has been described, but it is also assumed that the image is divided into three or more blocks.

次に、図1における間引き部11の動作について簡単に説明する。   Next, the operation of the thinning unit 11 in FIG. 1 will be briefly described.

図1において、通常、カメラ装置の表示部13には、シャッターを押す前は、被写体の動きを観察できるように動画(所謂スルー画像)が表示されている。シャッターが押されてから情報媒体へ静止画の記録が完了するまでは、カメラ装置が信号処理を実行していることをユーザーに対して示すために、表示部13にシャッターが押される直前の静止画を表示する。静止画が表示されている間に、撮影された静止画を情報媒体へ記録し、静止画の記録が完了した時点で、記録された静止画を再生し表示部13に一定期間表示させる。一定期間表示が完了した後、次の静止画撮影が可能な状態になり、表示部13には再びスルー画像が表示する。   In FIG. 1, a moving image (so-called through image) is usually displayed on the display unit 13 of the camera device so that the movement of the subject can be observed before the shutter is pressed. From the time when the shutter is pressed until the recording of the still image to the information medium is completed, the still image immediately before the shutter is pressed on the display unit 13 to indicate to the user that the camera device is executing signal processing. Display the image. While the still image is displayed, the photographed still image is recorded on the information medium, and when the recording of the still image is completed, the recorded still image is reproduced and displayed on the display unit 13 for a certain period. After the display for a certain period is completed, the next still image can be captured, and the through image is displayed again on the display unit 13.

しかし、本実施の形態では、前述したようにカメラ部3から出力される画像データのフレーム数が多く、表示部13に全ての画像を表示させる必要はない。従来のように静止画記録処理をしている間は、シャッターが押される直前の画像を表示させる構成も可能であるし、静止画記録処理中に動画を表示させることも可能である。この場合、通常よりもフレーム数が多いため、間引き部11によってフレーム数を削減(例えば、毎秒30フレームに削減)させることで、動画を正常に表示させることができる。フレームを間引かず、フレーム数が多いまま表示させると、表示部13の処理能力を超えてしまい、不具合が発生する可能性があるため、間引き部11によってフレームを間引くことで前述ような不具合を回避することができる。なお、間引き部11は不可欠なものではなく、上述のように静止画記録処理中に動画を表示しない場合、不要である。   However, in the present embodiment, as described above, the number of frames of the image data output from the camera unit 3 is large, and it is not necessary to display all the images on the display unit 13. While the still image recording process is performed as in the related art, an image immediately before the shutter is pressed can be displayed, and a moving image can be displayed during the still image recording process. In this case, since the number of frames is larger than usual, the moving image can be displayed normally by reducing the number of frames by the thinning unit 11 (for example, reducing to 30 frames per second). If the frame is not thinned and displayed while the number of frames is large, the processing capacity of the display unit 13 may be exceeded, and a problem may occur. It can be avoided. Note that the thinning unit 11 is not indispensable, and is not necessary when a moving image is not displayed during the still image recording process as described above.

以上のように本実施の形態によれば、静止画の撮影を複数枚の静止画に分割撮影することによって、分割された各々の静止画に対してはシャッター速度をより速く設定して撮影することができる。シャッター速度を速く設定することができると、被写体が暗くて光量が不足している場合でも手ぶれの影響を少なくすることができ画質劣化を防ぐことができる。また、手ぶれの影響を少なくすることができるということは、レンズをより小型化したり、あるいはストロボによる補助光を不要とするようにできる効果が期待できる。   As described above, according to the present embodiment, still image shooting is performed by dividing a still image into a plurality of still images, and each of the divided still images is shot with a faster shutter speed. be able to. If the shutter speed can be set fast, the influence of camera shake can be reduced even when the subject is dark and the amount of light is insufficient, and image quality deterioration can be prevented. In addition, the fact that the influence of camera shake can be reduced can be expected to have the effect of reducing the size of the lens or making auxiliary light from the strobe unnecessary.

本発明は、静止画を撮影可能なカメラ装置に関するものであり、ビデオカメラ、デジタルスチルカメラ、カメラ付き携帯電話機などに有用である。   The present invention relates to a camera device capable of shooting a still image, and is useful for a video camera, a digital still camera, a mobile phone with a camera, and the like.

本発明の実施の形態1におけるカメラ装置の構成を示すブロック図1 is a block diagram showing a configuration of a camera device according to Embodiment 1 of the present invention. 実施の形態1における電子シャッターの動作を示すタイミング図Timing chart showing operation of electronic shutter in embodiment 1 実施の形態1における動き補償の原理を示す模式図Schematic diagram showing the principle of motion compensation in the first embodiment 実施の形態1における動作を示すタイミング図Timing chart showing operation in the first embodiment 実施の形態1における手ぶれ補正の原理を説明するための模式図Schematic diagram for explaining the principle of camera shake correction in the first embodiment 実施の形態1における手ぶれ補正の原理を説明するためのブロック図Block diagram for explaining the principle of camera shake correction in the first embodiment 実施の形態1における動き補償部の動作を説明するための模式図Schematic diagram for explaining the operation of the motion compensation unit in the first embodiment. 実施の形態1における画像合成部の動作を説明するための模式図Schematic diagram for explaining the operation of the image composition unit in the first embodiment 実施の形態1における領域分割して画像合成を行う際の動作を説明するための模式図Schematic diagram for explaining an operation when performing image composition by dividing an area in the first embodiment 従来のカメラ装置の構成を示すブロック図Block diagram showing the configuration of a conventional camera device 従来のカメラ装置における手ぶれ発生原理を説明するための模式図Schematic diagram for explaining the principle of camera shake generation in a conventional camera device 従来のカメラ装置において光量が足りている場合における、手ぶれ発生原理を説明するための模式図Schematic diagram for explaining the principle of camera shake when the amount of light in a conventional camera device is sufficient 従来のカメラ装置において光量が不足している場合における、手ぶれ発生原理を説明するための模式図Schematic diagram for explaining the principle of camera shake when the amount of light is insufficient in a conventional camera device 動画撮影時の手ぶれ補正動作を説明するための模式図Schematic diagram for explaining camera shake correction during movie shooting

符号の説明Explanation of symbols

1 レンズ
2 撮像素子(イメージセンサー)
3 カメラ部
4 信号処理部
5 周波数逓倍器
6 動き補償部
7 画像合成部
8 手ぶれ補正部
9 静止画信号処理宇
10 情報媒体
11 間引き部
12 フレーム間引き部
13 表示部
1 Lens 2 Image sensor (image sensor)
DESCRIPTION OF SYMBOLS 3 Camera part 4 Signal processing part 5 Frequency multiplier 6 Motion compensation part 7 Image composition part 8 Camera shake correction part 9 Still image signal processing 10 Information medium 11 Thinning part 12 Frame thinning part 13 Display part

Claims (5)

レンズを介して入射される光学画像を電気信号に変換する撮像素子と、
前記撮像素子から出力される電気信号に基づいて映像信号を生成するとともに、前記撮像素子の動作クロックを出力する信号処理部と、
前記信号処理部から出力される映像信号を表示可能な表示部と、
前記信号処理部から出力される映像信号を記録または再生可能な情報媒体とを備え、
シャッターボタンを操作することにより、少なくとも静止画を撮影可能なカメラ装置であって、
前記信号処理部から出力され前記撮像素子に入力される動作クロックの周波数を逓倍可能な周波数逓倍部と、
カメラ装置の手ぶれを検出可能な手ぶれ検出部と、
前記手ぶれ検出部で検出される手ぶれに基づいて、前記信号処理部から出力される静止画のフレームをシフトさせ、画像の動き補償を行う動き補償部と、
前記動き補償部から出力される複数枚の画像を合成して、一枚の静止画を生成可能な画像合成部とを備え、
被写体における光量が少ない時、
前記周波数逓倍部は、前記撮像素子の露光時間が短くなるように前記動作クロックの周波数を逓倍し、
逓倍された動作クロックで前記撮像素子を動作させ、
前記撮像素子から出力される電気信号に基づいて、前記信号処理部で複数枚の画像を生成し、
前記複数枚の画像を前記画像合成部で合成して、1枚の画像を生成することを特徴とするカメラ装置。
An image sensor that converts an optical image incident through a lens into an electrical signal;
A signal processing unit that generates a video signal based on an electrical signal output from the image sensor and outputs an operation clock of the image sensor;
A display unit capable of displaying a video signal output from the signal processing unit;
An information medium capable of recording or reproducing the video signal output from the signal processing unit,
A camera device capable of shooting at least a still image by operating a shutter button,
A frequency multiplying unit capable of multiplying the frequency of an operation clock output from the signal processing unit and input to the imaging device;
A camera shake detection unit capable of detecting camera shake of the camera device;
A motion compensation unit that shifts a frame of a still image output from the signal processing unit based on camera shake detected by the camera shake detection unit, and performs motion compensation of the image;
A plurality of images output from the motion compensation unit, and an image synthesis unit capable of generating a single still image,
When the amount of light in the subject is low,
The frequency multiplication unit multiplies the frequency of the operation clock so that the exposure time of the image sensor is shortened,
Operate the image sensor with a multiplied operation clock,
Based on the electrical signal output from the imaging device, the signal processing unit generates a plurality of images,
A camera device, wherein the plurality of images are combined by the image combining unit to generate one image.
前記手ぶれ検出部は、角速度センサーで構成されている請求項1記載のカメラ装置。   The camera apparatus according to claim 1, wherein the camera shake detection unit includes an angular velocity sensor. 前記信号処理部は、生成した映像信号のフレーム相関に基づき、手ぶれを検出する請求項1記載のカメラ装置。   The camera apparatus according to claim 1, wherein the signal processing unit detects camera shake based on a frame correlation of the generated video signal. 前記動き補償部は、前記信号処理部から出力される画像を複数のブロックに分割し、分割された各々のブロックに対してそれぞれ動き補償処理を行うよう制御する請求項1及び3記載のカメラ装置。   4. The camera device according to claim 1, wherein the motion compensation unit divides an image output from the signal processing unit into a plurality of blocks, and performs control so as to perform motion compensation processing on each of the divided blocks. 5. . 前記画像合成部は、前記動き補償部において分割された各々のブロックに対して、画像の合成または非合成の処理を選択的に行う請求項4記載のカメラ装置。

The camera device according to claim 4, wherein the image synthesis unit selectively performs image synthesis or non-synthesis processing on each of the blocks divided by the motion compensation unit.

JP2005302008A 2005-10-17 2005-10-17 Camera apparatus Withdrawn JP2007110636A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005302008A JP2007110636A (en) 2005-10-17 2005-10-17 Camera apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005302008A JP2007110636A (en) 2005-10-17 2005-10-17 Camera apparatus

Publications (1)

Publication Number Publication Date
JP2007110636A true JP2007110636A (en) 2007-04-26

Family

ID=38036108

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005302008A Withdrawn JP2007110636A (en) 2005-10-17 2005-10-17 Camera apparatus

Country Status (1)

Country Link
JP (1) JP2007110636A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009001467A1 (en) * 2007-06-28 2008-12-31 Fujitsu Limited Electronic device for improving brightness of recorded image in low luminance environment
JP2009060167A (en) * 2007-08-29 2009-03-19 Sanyo Electric Co Ltd Image pickup apparatus
JP2009100450A (en) * 2007-09-28 2009-05-07 Casio Comput Co Ltd Image capture device and program
JP2011044891A (en) * 2009-08-20 2011-03-03 Canon Inc Image processor and method for the same
JP2011239055A (en) * 2010-05-07 2011-11-24 Olympus Imaging Corp Imaging apparatus and imaging method
US8411172B2 (en) 2007-08-29 2013-04-02 Sanyo Electric Co., Ltd. Imaging device and image processing apparatus

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009001467A1 (en) * 2007-06-28 2008-12-31 Fujitsu Limited Electronic device for improving brightness of recorded image in low luminance environment
JPWO2009001467A1 (en) * 2007-06-28 2010-08-26 富士通株式会社 Electronic devices that improve the brightness of captured images in low light environments
JP2009060167A (en) * 2007-08-29 2009-03-19 Sanyo Electric Co Ltd Image pickup apparatus
US8411172B2 (en) 2007-08-29 2013-04-02 Sanyo Electric Co., Ltd. Imaging device and image processing apparatus
JP2009100450A (en) * 2007-09-28 2009-05-07 Casio Comput Co Ltd Image capture device and program
JP2011044891A (en) * 2009-08-20 2011-03-03 Canon Inc Image processor and method for the same
JP2011239055A (en) * 2010-05-07 2011-11-24 Olympus Imaging Corp Imaging apparatus and imaging method

Similar Documents

Publication Publication Date Title
JP4662880B2 (en) Imaging apparatus and imaging method
TWI446098B (en) Imaging device and its shutter drive mode selection method
KR100871639B1 (en) Camera and image processing method for camera
JP5764740B2 (en) Imaging device
JP2007300595A (en) Method of avoiding shaking during still image photographing
JP2009284394A (en) Imaging apparatus and imaging method
JP6652300B2 (en) Image processing apparatus, imaging apparatus, and control method
JP2010160311A (en) Imaging apparatus
JP4390068B2 (en) Method for correcting distortion of captured image signal and distortion correction apparatus for captured image signal
JP2007082044A (en) Imaging method and imaging apparatus
JP2007110636A (en) Camera apparatus
JP6932531B2 (en) Image blur correction device, image pickup device, control method of image pickup device
JP2009296434A (en) Imaging device
JP2012078495A (en) Imaging device, shake correction device, and shake correction method
JP5290557B2 (en) Imaging apparatus and imaging method
JP2012080204A (en) Image processing device and method, and program
JP2005236662A (en) Imaging method, imaging device, and imaging system
JP2011114486A (en) Imaging device
JP2006148550A (en) Image processor and imaging device
JP4753856B2 (en) Motion detection apparatus and method, and imaging apparatus
JP4264554B2 (en) Imaging device
US11330179B2 (en) Imaging device and control method thereof
JP2009111773A (en) Image processing device and method therefor
JP2011135537A (en) Imaging apparatus and control method of the same
KR20100065788A (en) Photographing apparatus and photographing method

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20090106