JP2006033123A - Image pickup device - Google Patents

Image pickup device Download PDF

Info

Publication number
JP2006033123A
JP2006033123A JP2004205582A JP2004205582A JP2006033123A JP 2006033123 A JP2006033123 A JP 2006033123A JP 2004205582 A JP2004205582 A JP 2004205582A JP 2004205582 A JP2004205582 A JP 2004205582A JP 2006033123 A JP2006033123 A JP 2006033123A
Authority
JP
Japan
Prior art keywords
image
frame rate
imaging
unit
shake
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004205582A
Other languages
Japanese (ja)
Inventor
Kenji Nakamura
健二 中村
Yasuhiro Kingetsu
靖弘 金月
Shinichi Fujii
真一 藤井
Masaru Shintani
大 新谷
Masahiro Kitamura
雅裕 北村
Tsutomu Honda
努 本田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Photo Imaging Inc
Original Assignee
Konica Minolta Photo Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Photo Imaging Inc filed Critical Konica Minolta Photo Imaging Inc
Priority to JP2004205582A priority Critical patent/JP2006033123A/en
Publication of JP2006033123A publication Critical patent/JP2006033123A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To obtain a smooth motion image having less hand shake even when the hand shake occurs. <P>SOLUTION: An image pickup element 11 is configured so as to vary a frame rate at the time of acquiring an image, and a hand shake sensor 16 is configured to detect a handshake amount by detecting physical vibration. A frame rate in acquiring an image in the image pickup element 11 is set at a higher value than that of a normal frame rate if the hand shake amount detected by the hand shake sensor 16 exceeds a predetermined value, and control is performed so that the image can be acquired at a high-speed frame rate. The device is configured so as to synthesize images composed of a plurality of frames acquired in this way. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、デジタルカメラ等の撮像装置に関する。   The present invention relates to an imaging apparatus such as a digital camera.

近年、デジタルカメラ等の撮像装置は、静止画だけでなく、動画像も記録できるようになっている。そして動画撮影時の手ぶれ対策として、手ぶれ補正機能を備えた撮像装置が多くなってきている。   In recent years, an imaging device such as a digital camera can record not only a still image but also a moving image. As a countermeasure against camera shake during moving image shooting, an increasing number of image pickup apparatuses have a camera shake correction function.

この種の撮像装置のひとつとして、例えば、動画像を構成する個々のフレーム画像を撮影する間に生じたぶれ量に基づいて、そのフレーム間の手ぶれを補正するものが知られている。   As one example of this type of imaging apparatus, for example, an apparatus that corrects camera shake between frames based on the amount of camera shake that occurs while capturing individual frame images constituting a moving image is known.

ところが、そのような手ぶれ補正を行うだけでは、フレーム間で発生する手ぶれは解消できても、フレーム内で発生する手ぶれを解消することはできず、その動画像には手ぶれによる暈けたフレーム画像が含まれることとなっていた。   However, even if camera shake that occurs between frames can be eliminated simply by performing such camera shake correction, it is not possible to eliminate camera shake that occurs within a frame. Was to be included.

また、上記とは異なる手ぶれ補正を行う撮像装置として、例えば、静止画として取り込まれた複数の画像の中からぶれの少ない画像を選択して記録することにより、ぶれの目立たない画像を記録できるようにした撮像装置が知られている(特許文献1)。   In addition, as an imaging device that performs camera shake correction different from the above, for example, by selecting and recording an image with less blur among a plurality of images captured as still images, it is possible to record an image with less noticeable blur. An imaging device is known (Patent Document 1).

しかしながら、複数の画像の中からぶれの少ない画像を選択して出力する場合、動画像を構成するフレーム間隔が一定間隔でなくなり、滑らかな画像の繋がりが実現できなくなるという問題が発生する。そのため、記録された動画像を再生すると、被写体の動きが滑らかでなく、違和感のある動画像となっている。   However, when selecting and outputting an image with less blur among a plurality of images, there is a problem that the frame interval constituting the moving image is not a constant interval and smooth connection of images cannot be realized. For this reason, when the recorded moving image is reproduced, the motion of the subject is not smooth, and the moving image is uncomfortable.

特開平9−116858号公報JP-A-9-116858

本発明は、上記課題を解決するためになされたものであり、手ぶれが生じた場合であっても、ぶれが少なく、かつ滑らかな動画像を取得することのできる撮像装置を提供することを目的とするものである。   The present invention has been made to solve the above-described problems, and an object thereof is to provide an imaging apparatus that can acquire a smooth moving image with little blur even when camera shake occurs. It is what.

本発明にかかる撮像装置は、画像取得時のフレームレートを変更可能な撮像手段と、物理的な振動を検知することにより、ぶれ量を検出するぶれ検出手段と、前記ぶれ検出手段からのぶれ量が所定値を超えた場合に、前記フレームレートを通常フレームレートよりも高い値に設定する制御手段と、を備えて構成される。   An image pickup apparatus according to the present invention includes an image pickup unit capable of changing a frame rate at the time of image acquisition, a shake detection unit that detects a shake amount by detecting physical vibration, and a shake amount from the shake detection unit. Control means for setting the frame rate to a value higher than the normal frame rate when the value exceeds a predetermined value.

上記の撮像装置においては、前記通常フレームレートが、30fps以上の値であることが好ましい。   In the imaging apparatus, it is preferable that the normal frame rate is a value of 30 fps or more.

また、上記の撮像装置は、前記撮像手段で取得される連続的な複数フレームの画像を、前記ぶれ検出手段によって検出されるぶれ量に基づいて合成することにより、1フレーム分の出力画像を生成する合成手段を、さらに備えて構成されることが好ましい。   In addition, the imaging apparatus generates an output image for one frame by synthesizing a plurality of continuous frame images acquired by the imaging unit based on a blur amount detected by the blur detection unit. It is preferable to further comprise a synthesizing means.

またその場合において、前記制御手段によって前記フレームレートが前記通常フレームレートよりも高い値に設定された場合に、前記合成手段が機能するように構成されることが好ましい。   In this case, it is preferable that the combining unit functions when the frame rate is set higher than the normal frame rate by the control unit.

さらにその場合においては、前記合成手段が、前記合成を行うことによって、前記出力画像を前記通常フレームレートの画像として出力するように構成されることが好ましい。   Furthermore, in that case, it is preferable that the synthesizing unit is configured to output the output image as the image at the normal frame rate by performing the synthesis.

また、上記のような撮像装置においては、前記合成手段で生成される前記出力画像を記録する記録手段をさらに備えることが好ましい。また、前記合成手段で生成される前記出力画像を表示する表示手段をさらに備えることが好ましい。   The imaging apparatus as described above preferably further includes recording means for recording the output image generated by the synthesizing means. Moreover, it is preferable to further comprise display means for displaying the output image generated by the synthesizing means.

本発明によれば、ぶれ検出手段からのぶれ量が所定値を超えた場合に、画像取得時のフレームレートを通常フレームレートよりも高い値に設定するので、ぶれが生じた場合であっても、高いフレームレートで取得される個々の画像はぶれの少ないものとなり、ぶれの影響を抑制した高品質な画像が得られる。   According to the present invention, when the amount of shake from the shake detection means exceeds a predetermined value, the frame rate at the time of image acquisition is set to a value higher than the normal frame rate. Individual images acquired at a high frame rate have less blurring, and a high-quality image with suppressed blurring can be obtained.

またその場合、通常フレームレートを30fps以上の値とすることにより、視覚的に違和感のない動画像を得ることができる。   In that case, by setting the normal frame rate to a value of 30 fps or more, it is possible to obtain a moving image that is visually uncomfortable.

また、撮像手段で取得される連続的な複数フレームの画像を、ぶれ検出手段によって検出されるぶれ量に基づいて合成することにより、1フレーム分の出力画像を生成することにより、高品位な動画像が得られる。特に、動画を再生したとき、動画再生を一時停止したとき、動画をスロー再生したときのいずれにおいても高品位な画像が得られることになる。   In addition, a high-quality moving image is generated by generating an output image for one frame by synthesizing images of a plurality of continuous frames acquired by the imaging unit based on the amount of blur detected by the blur detection unit. An image is obtained. In particular, when a moving image is reproduced, when the moving image reproduction is paused, or when the moving image is reproduced slowly, a high-quality image can be obtained.

また、フレームレートが通常フレームレートよりも高い値に設定された場合に、合成処理が行われるように構成することにより、通常フレームレート設定時には消費電力を低減することができるとともに、高いフレームレートが設定された時でも通常フレームレート時と同程度に明るい画像を得ることができるようになる。   In addition, when the frame rate is set to a value higher than the normal frame rate, it is possible to reduce the power consumption when the normal frame rate is set by configuring the composition processing so that a high frame rate is achieved. Even when set, an image as bright as that at the normal frame rate can be obtained.

また、合成処理を行うことによって得られる出力画像を、通常フレームレートの画像として出力することにより、フレーム間隔がほぼ一定間隔となった動画像を得ることができ、画像の繋がりが滑らかになって動画像の品質が向上する。   In addition, by outputting the output image obtained by performing the synthesis process as an image at a normal frame rate, it is possible to obtain a moving image with a substantially constant frame interval, and the connection between the images becomes smooth. The quality of moving images is improved.

また、合成処理によって生成される出力画像を記録する記録手段をさらに備えることにより、高品質な動画像を記録できるようになる。   Further, by further providing a recording means for recording the output image generated by the synthesizing process, a high quality moving image can be recorded.

さらに、合成処理によって生成される出力画像を表示する表示手段をさらに備えることにより、高品質な動画像を視認できるようになる。   Furthermore, by further providing display means for displaying an output image generated by the synthesis process, a high-quality moving image can be visually recognized.

以下、本発明の実施の形態について図面を参照しつつ詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図1は、本実施形態にかかる撮像装置1の内部構成を示すブロック図である。この撮像装置1は、例えば静止画および動画を撮影することの可能なデジタルカメラとして構成される。撮像装置1は、撮影レンズ10、撮像素子11、A/D変換器12、画像処理回路13、画像メモリ14、タイミングジェネレータ(TG)15、手ぶれセンサ16、メモリ(RAM)17、液晶ディスプレイ(LCD)18、電子ビューファインダ(EVF)19、操作部20及び演算処理ユニット(CPU)30を備えて構成される。   FIG. 1 is a block diagram showing an internal configuration of the imaging apparatus 1 according to the present embodiment. The imaging device 1 is configured as a digital camera that can capture still images and moving images, for example. The imaging device 1 includes a photographing lens 10, an image sensor 11, an A / D converter 12, an image processing circuit 13, an image memory 14, a timing generator (TG) 15, a camera shake sensor 16, a memory (RAM) 17, a liquid crystal display (LCD). ) 18, an electronic viewfinder (EVF) 19, an operation unit 20, and an arithmetic processing unit (CPU) 30.

撮影レンズ10は、光軸Lに沿って入射する被写体からの光を撮像素子11の受光面に結像させる光学系であり、図示しない絞りやフォーカスレンズなどを含んで構成される。撮像素子11は、光軸Lに垂直な受光面に多くの画素が二次元配列された光電変換素子であり、例えば露光動作によって各画素に蓄積された電荷を、高速転送出力可能なCMOSセンサなどによって構成される。撮像素子11から出力される画像信号はA/D変換器12へと出力される。A/D変換器12は、画像信号を画素毎に例えば12ビットのデジタル信号に変換し画像処理回路13へと出力する。画像処理回路13は、画像信号に対し、黒レベル補正、ホワイトバランス調整、γ補正といった各種画像処理を施して画像メモリ14に出力するものである。画像メモリ14は、複数フレーム分の画像信号を格納することができるだけの記憶容量を有する記憶手段であり、例えばSDRAMなどによって構成される。特に本実施形態では少なくとも3フレーム分の画像信号を記憶する記憶容量を有している。   The photographic lens 10 is an optical system that forms an image of light from a subject incident along the optical axis L on the light receiving surface of the image sensor 11 and includes an aperture, a focus lens, and the like (not shown). The imaging element 11 is a photoelectric conversion element in which many pixels are two-dimensionally arranged on a light receiving surface perpendicular to the optical axis L. For example, a CMOS sensor or the like capable of high-speed transfer output of charges accumulated in each pixel by an exposure operation. Consists of. An image signal output from the image sensor 11 is output to the A / D converter 12. The A / D converter 12 converts the image signal into, for example, a 12-bit digital signal for each pixel and outputs it to the image processing circuit 13. The image processing circuit 13 performs various image processing such as black level correction, white balance adjustment, and γ correction on the image signal and outputs the processed image signal to the image memory 14. The image memory 14 is a storage means having a storage capacity sufficient to store image signals for a plurality of frames, and is configured by, for example, an SDRAM. In particular, the present embodiment has a storage capacity for storing image signals for at least three frames.

タイミングジェネレータ(TG)15は、撮像素子11に対してタイミング信号を送出することにより、露光の開始及び終了、ならびに電荷転送を指示する制御回路である。タイミングジェネレータ15は、演算処理ユニット30からの指令によってタイミング信号の送出周期を変化させるように構成されており、その周期を変動させることによって撮像素子11で取得される画像のフレームレートを変化させる。   The timing generator (TG) 15 is a control circuit that instructs the start and end of exposure and charge transfer by sending a timing signal to the image sensor 11. The timing generator 15 is configured to change the timing signal transmission cycle in response to a command from the arithmetic processing unit 30, and changes the frame rate of an image acquired by the image sensor 11 by changing the cycle.

手ぶれセンサ16は、ジャイロセンサなどによって構成され、手ぶれ補正機能がオン設定されているときには、常に撮像装置1の物理的な振動を検知して、そのぶれ量を検出するように構成されている。ここで検出されたぶれ量は、メモリ(RAM)17に出力される。   The camera shake sensor 16 is configured by a gyro sensor or the like, and is configured to always detect physical vibration of the imaging device 1 and detect the amount of shake when the camera shake correction function is set to ON. The shake amount detected here is output to the memory (RAM) 17.

メモリ(RAM)17は、半導体メモリなどによって構成される一時的な記憶手段であり、演算処理ユニット30が各種演算処理やデータ処理を行う際の一時的な作業メモリとして使用されるとともに、手ぶれセンサ16によって検出されるぶれ量を記憶する記憶領域17aを有している。   The memory (RAM) 17 is a temporary storage unit configured by a semiconductor memory or the like, and is used as a temporary working memory when the arithmetic processing unit 30 performs various arithmetic processes and data processes. 16 has a storage area 17a for storing the amount of blur detected by 16.

操作部20は、ユーザが撮像装置1に対して各種設定や指示を与えるための操作入力手段であり、撮影指示を与えるためのシャッタボタン21や、手ぶれ補正機能をオンオフ切り替えするための手ぶれ補正オン・オフスイッチ22などを含むものである。操作部20に対するユーザの操作状態は、演算処理ユニット20に伝達されるようになっており、演算処理部20がユーザ操作に応答した処理を行うようになっている。   The operation unit 20 is an operation input unit for a user to give various settings and instructions to the imaging apparatus 1, and a shutter button 21 for giving a shooting instruction and an image stabilization on / off function for switching an image stabilization function on and off. -It includes an off switch 22 and the like. The operation state of the user with respect to the operation unit 20 is transmitted to the arithmetic processing unit 20, and the arithmetic processing unit 20 performs processing in response to the user operation.

メモリカード9は、撮像装置1に着脱自在に設けられた記録媒体であり、撮影動作によって取得される静止画及び動画を記録するものである。   The memory card 9 is a recording medium that is detachably attached to the imaging apparatus 1 and records a still image and a moving image acquired by a shooting operation.

液晶ディスプレイ(LCD)18及び電子ビューファインダ(EVF)19は、ユーザに対して画像を表示するための表示手段であり、例えば撮像素子11によって取得される動画像をリアルタイムで表示したり、メモリカード9に記録された画像の再生表示を行うように構成される。   A liquid crystal display (LCD) 18 and an electronic viewfinder (EVF) 19 are display means for displaying an image to a user. For example, a moving image acquired by the image sensor 11 is displayed in real time, or a memory card. 9 is configured to perform reproduction display of the image recorded in the recording medium 9.

演算処理ユニット(CPU)30は、所定のプログラムを実行することによって撮像装置1の各部を統括的に制御するものである。例えば、撮像装置1において、動画像撮影を行う動作モードが設定され、さらに手ぶれ補正機能がオン設定された場合、演算処理ユニット20は、図1に示されるように、撮影制御部31、ぶれ判定部32、画像合成部33、画像表示部34及び画像記録部35として機能する。ただし、これらの各機能部は必ずしもソフトウェア的に実現されるものでなくてもよく、専用のハードウェアとして構成されるものであっても構わない。   The arithmetic processing unit (CPU) 30 performs overall control of each part of the imaging apparatus 1 by executing a predetermined program. For example, in the imaging apparatus 1, when the operation mode for moving image shooting is set and the camera shake correction function is turned on, the arithmetic processing unit 20 includes the shooting control unit 31 and the shake determination as shown in FIG. Functions as the unit 32, the image composition unit 33, the image display unit 34, and the image recording unit 35. However, these functional units are not necessarily realized by software, and may be configured as dedicated hardware.

撮影制御部31は、シャッタボタン21の押下操作に応答して、タイミングジェネレータ15に対し、フレームレートを指定した撮影指示を与える。また撮影制御部31は、露出制御(AE)やホワイトバランス制御(WB)を行うとともに、画像処理回路13における処理内容を調整する。   In response to the pressing operation of the shutter button 21, the shooting control unit 31 gives a shooting instruction specifying the frame rate to the timing generator 15. The photographing control unit 31 performs exposure control (AE) and white balance control (WB) and adjusts the processing content in the image processing circuit 13.

ぶれ判定部32は、メモリ17における所定記憶領域17aに格納されるぶれ量を、所定のタイミングごとに繰り返し取得し、撮像装置1に手ぶれが発生したか否かを判定する。ぶれ判定部32には、メモリ17から取得するぶれ量と比較するための基準値が予め設定されており、ぶれ量がその基準値以上となった場合に、手ぶれが発生したものと認識する。そして手ぶれが発生したと認識した場合、ぶれ判定部32は、撮影制御部31及び画像合成部33に対してその旨を伝達する。   The blur determination unit 32 repeatedly acquires the blur amount stored in the predetermined storage area 17a in the memory 17 at predetermined timings, and determines whether or not camera shake has occurred in the imaging device 1. A reference value for comparison with the shake amount acquired from the memory 17 is set in advance in the shake determination unit 32, and when the shake amount exceeds the reference value, it is recognized that camera shake has occurred. When it is recognized that camera shake has occurred, the shake determination unit 32 notifies the imaging control unit 31 and the image composition unit 33 to that effect.

撮影制御部31は、手ぶれが発生していないときには、タイミングジェネレータ15に対して通常フレームレートで撮影動作を行うように指示を与えるのに対し、ぶれ判定部32によって手ぶれが発生したことが検知されたときには、通常フレームレートよりも高いフレームレートで撮影動作を行うように指示を与える。本実施形態においては、一例として、通常フレームレートが90fpsに設定され、手ぶれが発生した場合の高速フレームレートがその3倍の270fpsに設定される場合を説明する。   The shooting control unit 31 instructs the timing generator 15 to perform a shooting operation at the normal frame rate when no camera shake occurs, whereas the camera shake determination unit 32 detects that the camera shake has occurred. In the event of an error, an instruction is given to perform a shooting operation at a frame rate higher than the normal frame rate. In the present embodiment, as an example, a case will be described in which the normal frame rate is set to 90 fps and the high-speed frame rate when camera shake occurs is set to 270 fps, which is three times that.

既述のように、タイミングジェネレータ15は撮影制御部31からの指令に応じてタイミング信号の周期を変動させるので、撮像装置11は、手ぶれが発生していないときには、通常フレームレートの90fpsで撮影動作を行い、手ぶれが発生したときには、高速フレームレートの270fpsで撮影動作を行うようになる。   As described above, since the timing generator 15 changes the timing signal cycle in accordance with a command from the imaging control unit 31, the imaging device 11 performs an imaging operation at a normal frame rate of 90 fps when camera shake does not occur. When camera shake occurs, a shooting operation is performed at a high frame rate of 270 fps.

画像合成部33は、メモリ17に格納されるぶれ量を取得し、そのぶれ量に基づいた合成処理を行うように構成される。そして画像処理部33は、撮像装置11が通常フレームレートで撮影動作を行っている場合と、高速フレームレートで撮影動作を行っている場合とで異なる合成処理を行うようになっている。   The image compositing unit 33 is configured to acquire the amount of blur stored in the memory 17 and perform a compositing process based on the amount of blur. The image processing unit 33 performs different composition processing when the imaging device 11 performs a shooting operation at a normal frame rate and when the imaging device 11 performs a shooting operation at a high frame rate.

例えば、撮像装置11が通常フレームレートで撮影動作を行っている場合には、動画像を構成するフレーム画像間でのぶれを解消するために、画像合成部33は、前回の画像が取得された時点から今回の画像が取得された時点の間に生じたぶれ量に基づいて、前回の画像に対し、今回の画像を位置合わせする処理を行う。そしてぶれ量に基づいて位置調整された画像が出力されることになる。若しくは、特別な処理を行わずに出力するようにしてもよい。   For example, when the imaging device 11 performs a shooting operation at a normal frame rate, the image composition unit 33 acquires the previous image in order to eliminate blurring between frame images constituting the moving image. A process of aligning the current image with respect to the previous image is performed based on the amount of blur that has occurred between the time point and the time point when the current image is acquired. Then, an image whose position is adjusted based on the amount of blur is output. Or you may make it output, without performing a special process.

一方、ぶれ判定部32が手ぶれの発生を検出し、撮像装置11が高速フレームレートで撮影動作を行う場合には、画像合成部33は、高速フレームレートで取得される、連続する複数フレームの画像を画像メモリ14から読み出し、それら複数の画像を合成することによって1フレーム分の画像を生成して出力するように構成される。そして複数の画像を1つに合成するときには、その1フレーム内でのぶれを解消するために、各画像の取得時点のぶれ量に基づいて、各画像を位置合わせするように構成される。   On the other hand, when the shake determination unit 32 detects the occurrence of camera shake and the imaging device 11 performs a shooting operation at a high frame rate, the image composition unit 33 acquires images of a plurality of consecutive frames acquired at a high frame rate. Is read out from the image memory 14, and a plurality of images are combined to generate and output an image for one frame. When a plurality of images are combined into one, each image is aligned based on the amount of blur at the time of acquisition of each image in order to eliminate the blur in that frame.

本実施形態においては、手ぶれが発生したとき、画像合成部33は、画像メモリ14から高速フレームレートで取得された連続する3フレームの画像を取得して合成処理を行うように構成される。これによって、3フレームの画像から1フレームの画像が生成されることになり、画像合成部33から出力される画像は、手ぶれの発生の有無にかかわらず、常に通常フレームレート(90fps)の画像となる。   In the present embodiment, when camera shake occurs, the image composition unit 33 is configured to obtain a continuous three-frame image obtained at a high frame rate from the image memory 14 and perform composition processing. As a result, a 1-frame image is generated from the 3-frame image, and the image output from the image synthesis unit 33 is always an image with a normal frame rate (90 fps) regardless of whether or not camera shake occurs. Become.

また画像合成部33は、撮像装置11が高速フレームレートで撮影動作を行う場合にも、通常フレームレート時と同様に、動画像を構成するフレーム画像間でのぶれを解消するために、前回の出力画像が取得された時点から今回の出力画像が取得された時点の間に生じたぶれ量に基づいて、前回の出力画像に対し、今回の出力画像を位置合わせする処理を行うように構成される。   In addition, when the imaging device 11 performs a shooting operation at a high frame rate, the image composition unit 33 also eliminates the blur between the frame images constituting the moving image as in the normal frame rate. Based on the amount of blur that occurred between the time when the output image is acquired and the time when the current output image is acquired, the process is performed to align the current output image with the previous output image. The

そして画像合成部33から出力される画像は、画像表示部34又は画像記録部35に与えられる。画像をLCD18やEVF19に表示する際には、画像合成部33から通常フレームレートの画像が画像表示部34に与えられる。また、画像をメモリカード9に記録する際には、画像合成部33から通常フレームレートの画像が画像記録部35に与えられる。   Then, the image output from the image composition unit 33 is given to the image display unit 34 or the image recording unit 35. When an image is displayed on the LCD 18 or EVF 19, an image at a normal frame rate is given from the image composition unit 33 to the image display unit 34. Further, when recording an image on the memory card 9, an image at a normal frame rate is given from the image composition unit 33 to the image recording unit 35.

画像表示部34は、画像合成部33から入力する画像を、LCD18又はEVF19に適した画像サイズに変換し、90fpsで順次に更新される動画像として、LCD18又はEVF19に出力する。例えば、LCD18又はEVF19の表示用画素配列が横640×縦480である場合には、画像表示部34において640×480の画素数を有する画像が生成される。   The image display unit 34 converts the image input from the image composition unit 33 into an image size suitable for the LCD 18 or EVF 19, and outputs the image to the LCD 18 or EVF 19 as a moving image that is sequentially updated at 90 fps. For example, when the display pixel array of the LCD 18 or the EVF 19 is 640 × 480 in the horizontal direction, an image having a pixel number of 640 × 480 is generated in the image display unit 34.

画像記録部35は、画像合成部33から90fpsで順次に更新される画像を入力すると、必要な圧縮処理を行って例えばモーションJPEGなどの動画像ファイルを生成し、メモリカード9に記録保存する。   When an image that is sequentially updated at 90 fps is input from the image composition unit 33, the image recording unit 35 performs a necessary compression process to generate a moving image file such as motion JPEG, and records and saves it in the memory card 9.

以上のように本実施形態の撮像装置1は、手ぶれセンサ16によって撮像装置1のぶれ量が検出され、そのぶれ量が大きいときには通常フレームレートよりも高速のフレームレートで被写体を撮影し、連続的に取得される複数フレームの画像を合成して1フレーム分の画像を出力するように構成されている。   As described above, in the imaging apparatus 1 of the present embodiment, the blur amount of the imaging apparatus 1 is detected by the camera shake sensor 16, and when the blur amount is large, the subject is photographed at a frame rate that is higher than the normal frame rate. A plurality of frames of images obtained in the above are combined to output an image for one frame.

図2は、撮像装置1の概念的動作を示すタイミングチャートである。ぶれ判定部32が一定周期Tごとの時刻T1,T2,T3,T4,T5のタイミングでぶれ判定を行う場合、手ぶれセンサ16によって検出されるぶれ量100が、図2に示すように変化しているとすると、時刻T1及びT2においてぶれ量100が所定の基準値Vを超えた値を示しているので、ぶれ判定部32は時刻T1及びT2に手ぶれが発生したと判定する。   FIG. 2 is a timing chart showing a conceptual operation of the imaging apparatus 1. When the shake determination unit 32 performs the shake determination at the times T1, T2, T3, T4, and T5 for each fixed period T, the shake amount 100 detected by the shake sensor 16 changes as shown in FIG. Assuming that the amount of shake 100 exceeds the predetermined reference value V at times T1 and T2, the shake determination unit 32 determines that camera shake has occurred at times T1 and T2.

したがって、撮像素子11に設定されるフレームレートは、時刻T1までは通常フレームレートの90fpsとなり、時刻T1〜T2と時刻T2〜T3との時間帯は高速フレームレートの270fpsとなる。そして時刻T3以後は、通常フレームレートの90fpsに戻っている。   Therefore, the frame rate set in the image sensor 11 is 90 fps, which is the normal frame rate until time T1, and the time zone between times T1-T2 and T2-T3 is 270 fps, which is the high-speed frame rate. After time T3, the normal frame rate is restored to 90 fps.

この場合、撮像素子11による露光動作は、図2の斜線地で示された期間中に行われる。時刻T1までは一定周期Tの間に1フレーム分の露光が行われ、その露光期間はD1となっている。ところが、高速フレームレートに切り替えが行われた時刻T1〜T2では、一定周期Tの間に3フレーム分の露光が行われ、個々の露光期間はD2となっている。この露光期間D2は、通常フレームレートでの露光期間D1の3分の1程度になる。また時刻T2〜T3でも同様に、一定周期Tの間に3フレーム分の露光が行われ、個々の露光期間はD2となっている。そして時刻T3以後は、一定周期Tの間に1フレーム分の露光を行う通常状態に戻り、その露光期間はD1となる。   In this case, the exposure operation by the image sensor 11 is performed during the period indicated by the shaded area in FIG. Until time T1, exposure for one frame is performed during a fixed period T, and the exposure period is D1. However, at times T1 to T2 when switching to the high-speed frame rate is performed, exposure for three frames is performed during a certain period T, and each exposure period is D2. This exposure period D2 is about one third of the exposure period D1 at the normal frame rate. Similarly, at time T2 to T3, exposure for three frames is performed during a fixed period T, and each exposure period is D2. Then, after time T3, the normal state is returned in which exposure for one frame is performed during a fixed period T, and the exposure period becomes D1.

一般に、ぶれが大きいときに、1フレームの画像を撮影するための露光期間を長く設定すると、ぶれによる被写体の移動が累積的に蓄積されることになり、露光によって得られる画像の画質が劣化する。   In general, if the exposure period for capturing an image of one frame is set long when the blur is large, the movement of the subject due to the blur is accumulated, and the image quality of the image obtained by the exposure deteriorates. .

これに対し、本実施形態では、ぶれが大きいときに、高速フレームレートを適用して個々の露光時間を短くするので、1フレームの画像に蓄積されるぶれ量が少なくなるように構成されている。   On the other hand, in the present embodiment, when the blurring is large, the individual exposure time is shortened by applying the high-speed frame rate, so that the blurring amount accumulated in one frame image is reduced. .

また、本実施形態では、高速フレームレートを適用して取得された3フレーム分の画像を合成して1フレーム分の画像とすることにより、全体的な露光時間をみれば通常フレームレートと同程度の露光時間となり、画像の明るさを通常フレームレートで取得した場合と同程度の明るさにすることができる。   Further, in the present embodiment, by synthesizing three frames of images acquired by applying a high-speed frame rate to form an image of one frame, the overall exposure time is almost the same as the normal frame rate. Exposure time, and the brightness of the image can be set to the same level as that obtained at the normal frame rate.

また、画像合成時には、3フレームの各画像を取得した時点でのぶれ量に基づいて、各画像の合成位置を調整して合成するように構成されるので、各画像の露光開始時点の間に生じたぶれを、位置合わせによって解消することができるようになっている。よって、その合成画像は、暈けた画像にはならず、そのフレーム内で発生した手ぶれの影響が良好に解消されることになる。   Further, at the time of image composition, since it is configured to adjust and synthesize the composition position of each image based on the blur amount at the time when each image of three frames is acquired, The generated blur can be eliminated by alignment. Therefore, the composite image does not become a blurred image, and the influence of camera shake occurring in the frame is favorably eliminated.

図3は、高速フレームレート時における合成処理の概念を示す図である。例えば、撮像素子11が高速フレームレートに切り替えられ、一定周期Tの間に、3フレームの画像G1,G2,G3が連続的に取得されるとする。この場合、画像合成部33は、画像G1が取得された時点から画像G2が取得された時点の間のぶれ量に基づいて、画像G2を画像G1に対して位置合わせするべく、画像G2をXY平面内でぶれ量に基づいて平行移動させる。そして画像G1に写っている被写体と画像G2に写っている被写体とが一致する状態で、画像G2の位置を決定する。さらに、画像合成部33は、画像G2(若しくは画像G1)が取得された時点から画像G3が取得された時点の間のぶれ量に基づいて、画像G3を画像G2(若しくは画像G1)に対して位置合わせするべく、画像G3をXY平面内でぶれ量に基づいて平行移動させる。そして画像G2(若しくは画像G1)に写っている被写体と画像G3に写っている被写体とが一致する状態で、画像G3の位置を決定する。   FIG. 3 is a diagram showing the concept of the synthesis process at the high frame rate. For example, it is assumed that the image pickup device 11 is switched to a high-speed frame rate, and three frames of images G1, G2, and G3 are continuously acquired during a certain period T. In this case, the image composition unit 33 adjusts the image G2 to XY in order to align the image G2 with the image G1 based on the amount of blur between the time when the image G1 is acquired and the time when the image G2 is acquired. Translate in a plane based on the amount of shake. Then, the position of the image G2 is determined in a state where the subject shown in the image G1 matches the subject shown in the image G2. Further, the image composition unit 33 converts the image G3 to the image G2 (or image G1) based on the amount of blur between the time when the image G2 (or image G1) is acquired and the time when the image G3 is acquired. In order to align, the image G3 is translated in the XY plane based on the blur amount. Then, the position of the image G3 is determined in a state where the subject shown in the image G2 (or the image G1) matches the subject shown in the image G3.

そして各画像G1,G2,G3の合成位置を決定すると、画像合成部33は、各画像G1,G2,G3の対応する画素どうしで画素データの加算処理を行い、1フレーム分の画像を生成する。このような合成処理を行うことにより、3フレームの画像から1フレーム分の合成画像G4が生成される。   When the synthesis position of each image G1, G2, G3 is determined, the image synthesis unit 33 performs pixel data addition processing between corresponding pixels of each image G1, G2, G3, and generates an image for one frame. . By performing such composition processing, a composite image G4 for one frame is generated from three frames of images.

図3に示される合成画像G4は、各画像G1,G2,G3をぶれ量に基づいて相対的に移動させることによって合成された画像であるので、画像の周縁部分R2では3フレーム分の全ての画像が重ならない部分が発生する。そのため本実施形態においては、画像合成部33が3フレームの画像G1,G2,G3の合成処理を行って出力画像を生成する際、画像の重ならない周縁部分R2(図3における画像G4の斜線領域)を削除して、表示又は記録のための出力画像の画角を小さくする処理を行う。これにより、撮影画像に比して画角の小さな出力画像G5が得られることになり、画像が重ならない部分の画質劣化が目立たないようになる。   Since the synthesized image G4 shown in FIG. 3 is an image synthesized by relatively moving the images G1, G2, and G3 based on the amount of blurring, all of the three frames in the peripheral portion R2 of the image are displayed. The part where the image does not overlap occurs. Therefore, in the present embodiment, when the image composition unit 33 performs composition processing of the three frames of the images G1, G2, and G3 to generate an output image, the peripheral portion R2 where the images do not overlap (the hatched region of the image G4 in FIG. 3) ) To reduce the angle of view of the output image for display or recording. As a result, an output image G5 having a smaller angle of view than that of the photographed image is obtained, and the image quality deterioration in a portion where the images do not overlap is inconspicuous.

合成対象となる3フレームの画像G1,G2,G3のそれぞれが、例えば640×480の画素数で構成される場合、画像合成部33から出力される画像G5は、560×420程度の画素数からなる、画角の小さな画像として表示又は記録される。   When each of the three frames of images G1, G2, and G3 to be combined is configured with, for example, a number of pixels of 640 × 480, the image G5 output from the image combining unit 33 has a number of pixels of about 560 × 420. Displayed or recorded as an image with a small angle of view.

そして、上記のようにして生成される画像G5が、表示又は記録すべき動画像を構成する1フレームの画像となる。   The image G5 generated as described above is one frame image constituting the moving image to be displayed or recorded.

次に、撮像装置1により、手ぶれ補正を行いつつ動画撮影を行う場合の動作について説明する。図4及び図5は、撮像装置1において手ぶれ補正機能がオン設定されている場合の動画撮影時の処理シーケンスを示すフローチャートであり、主に演算処理ユニット(CPU)20によって実行される処理シーケンスを示している。   Next, an operation in the case of performing moving image shooting while performing camera shake correction by the imaging device 1 will be described. 4 and 5 are flowcharts showing a processing sequence at the time of moving image shooting when the camera shake correction function is turned on in the imaging apparatus 1, and the processing sequence executed mainly by the arithmetic processing unit (CPU) 20 is shown in FIG. Show.

例えば、撮像装置1が動画撮影モードにある場合、ユーザがシャッタボタン21を押下操作すると、動画撮影が開始される。動画撮影が開始すると、手ぶれセンサ16はぶれ量検知を開始する。また、動画撮影開始時には、撮像素子11のフレームレートが通常フレームレートにデフォルト設定される。   For example, when the imaging apparatus 1 is in the moving image shooting mode, when the user presses the shutter button 21, moving image shooting is started. When the moving image shooting starts, the camera shake sensor 16 starts to detect the amount of shake. At the start of moving image shooting, the frame rate of the image sensor 11 is set to the normal frame rate by default.

また、初期設定として、画像表示又は記録のための画像の画角が小さめに設定され、画像合成処理が行われるときには、それに伴って画角調整処理が行われるように設定する(ステップS09)。   In addition, as an initial setting, when the image angle for image display or recording is set to be small and image synthesis processing is performed, setting is performed so that the angle of view adjustment processing is performed accordingly (step S09).

そしてぶれ判定部32がメモリ17からぶれ量を読み出し(ステップS10)、読み出したぶれ量が所定値(基準値V)以上であるか否かを判断する(ステップS11)。ここで、ぶれ量が所定値以上である場合にはステップS12に進み、所定値未満である場合にはステップS14に進む。   Then, the blur determination unit 32 reads the blur amount from the memory 17 (step S10), and determines whether or not the read blur amount is equal to or greater than a predetermined value (reference value V) (step S11). Here, if the amount of blur is greater than or equal to the predetermined value, the process proceeds to step S12, and if it is less than the predetermined value, the process proceeds to step S14.

ステップS12に進むと、ぶれ判定部32は手ぶれが発生したと認識するので、撮像素子11のフレームレートとして高速フレームレート(270fps)が設定される。これにより、撮像素子11は高速フレームレートでの撮影処理(露光処理・画像信号出力処理)を開始し、画像メモリ14には高速フレームレートで取得される画像が順次蓄積されていく。そして画像合成部33は画像メモリ14から3フレーム分の連続的な画像を読み出して(ステップS13)、画像合成処理(ステップS16)に進むことになる。   In step S12, since the shake determination unit 32 recognizes that camera shake has occurred, a high-speed frame rate (270 fps) is set as the frame rate of the image sensor 11. As a result, the image sensor 11 starts photographing processing (exposure processing / image signal output processing) at a high frame rate, and images acquired at the high frame rate are sequentially stored in the image memory 14. Then, the image composition unit 33 reads out continuous images for three frames from the image memory 14 (step S13), and proceeds to the image composition process (step S16).

一方、ステップS14に進むと、手ぶれは発生していないことになるので、撮像素子11のフレームレートとして通常フレームレート(90fps)が設定される。これにより、撮像素子11は通常フレームレートでの撮影処理(露光処理・画像信号出力処理)を開始し、画像メモリ14には通常フレームレートで取得される画像が順次格納されていく。そして画像合成部33は画像メモリ14から1フレーム分の画像を読み出して(ステップS15)、画像合成処理(ステップS16)に進むことになる。   On the other hand, when the process proceeds to step S14, camera shake does not occur, so the normal frame rate (90 fps) is set as the frame rate of the image sensor 11. As a result, the image sensor 11 starts photographing processing (exposure processing / image signal output processing) at the normal frame rate, and images acquired at the normal frame rate are sequentially stored in the image memory 14. Then, the image composition unit 33 reads an image for one frame from the image memory 14 (step S15), and proceeds to an image composition process (step S16).

ステップS16における画像合成処理の詳細を、図5のフローチャートに示す。画像合成処理(ステップS16)に進むと、画像合成部33は、撮像素子11の現在のフレームレート設定に適合させた処理を行う(ステップS20)。すなわち、撮像素子11が高速フレームレートで撮影動作を行っている場合にはステップS21に進み、通常フレームレートで撮影動作を行っている場合にはステップS23に進む。   Details of the image composition processing in step S16 are shown in the flowchart of FIG. When proceeding to the image composition process (step S16), the image composition unit 33 performs a process adapted to the current frame rate setting of the image sensor 11 (step S20). That is, when the imaging device 11 is performing a shooting operation at a high frame rate, the process proceeds to step S21, and when the imaging operation is performed at a normal frame rate, the process proceeds to step S23.

高速フレームレートの場合、画像合成部33は、ステップS13において取得した3フレーム分の画像をぶれ量に基づいて位置合わせし、画素毎に加算処理を行って1フレーム分の合成画像(図3の画像G4)を生成する(ステップS21)。そしてステップS22に進み、合成処理によって生成された画像を、前回の画像に対して、ぶれ量に基づいて位置合わせする処理を実行する。   In the case of the high-speed frame rate, the image composition unit 33 aligns the three frames of images acquired in step S13 based on the amount of blur, performs an addition process for each pixel, and displays a composite image of one frame (FIG. 3). An image G4) is generated (step S21). Then, the process proceeds to step S22, and a process of aligning the image generated by the synthesis process with respect to the previous image based on the blur amount is executed.

つまり、ステップS21の合成処理では、3フレーム分の画像を取得する際に生じた手ぶれの影響を解消した画像であって、動画像を構成する1フレーム分の画像が生成される。これに対し、ステップS22の合成処理では、動画像を構成する前のフレーム画像との間で生じたぶれの影響を解消するための位置合わせ処理が行われる。   That is, in the combining process in step S21, an image for one frame constituting a moving image is generated, which is an image that eliminates the influence of camera shake that occurs when images for three frames are acquired. On the other hand, in the synthesizing process in step S22, a positioning process is performed to eliminate the influence of blurring that occurs with the frame image before the moving image.

一方、通常フレームレートの場合には、ステップS15において取得された画像が、そのまま動画像を構成する1フレーム分の画像として利用される。そしてその画像を、前回の画像に対して、ぶれ量に基づいて位置合わせする処理が行われる(ステップS23)。ステップS23の処理は、高速フレームレートの場合のステップS22の処理と同様であり、動画像を構成する前のフレーム画像との間で生じたぶれの影響を解消するための位置合わせである。   On the other hand, in the case of the normal frame rate, the image acquired in step S15 is used as an image for one frame constituting the moving image as it is. And the process which aligns the image based on the amount of blurring with respect to the last image is performed (step S23). The process of step S23 is the same as the process of step S22 in the case of the high-speed frame rate, and is alignment for eliminating the influence of the blurring that has occurred with the previous frame image constituting the moving image.

そしてステップS24に進み、位置合わせによって画像が重ならない部分(図3の画像G4における斜線領域)が生ずることによる画質劣化を防止するために、画角調整処理が行われる。ここでは、ステップS09において予め設定された画角の画像を生成する処理が行われ、合成処理による合成画像G4(図3参照)の周縁部が削除され、画角が小さめの出力画像G5が生成される。   Then, the process proceeds to step S24, and an angle-of-view adjustment process is performed in order to prevent image quality deterioration due to occurrence of a portion where the images do not overlap (a hatched area in the image G4 in FIG. 3) due to the alignment. Here, a process for generating an image with a preset angle of view is performed in step S09, the peripheral portion of the synthesized image G4 (see FIG. 3) by the synthesis process is deleted, and an output image G5 with a smaller angle of view is generated. Is done.

次に図4のフローチャートに戻って、ステップS17に進む。そして画像合成部33から、動画像を構成する1フレーム分の画像が画像表示部34に与えられ、LCD18又はEVF19に表示される。また画像合成部33からの1フレーム分の画像は画像記録部35に与えられ、メモリカード9に記録される動画像ファイルの更新が行われる。   Next, returning to the flowchart of FIG. 4, the process proceeds to step S17. Then, an image for one frame constituting the moving image is given from the image composition unit 33 to the image display unit 34 and displayed on the LCD 18 or the EVF 19. An image for one frame from the image composition unit 33 is given to the image recording unit 35, and a moving image file recorded in the memory card 9 is updated.

そして撮影処理を終了させるか否かが判断され(ステップS18)、例えばシャッタボタン21の押下操作が再度なされたりせず、未だ終了しない場合にはステップS10以降の処理を繰り返す。逆に、シャッタボタン21の押下状態が解除されている場合には、撮影処理を終了させる。   Then, it is determined whether or not the photographing process is to be ended (step S18). For example, when the shutter button 21 is not pressed again and is not yet ended, the processes after step S10 are repeated. On the contrary, when the pressed state of the shutter button 21 is released, the photographing process is ended.

以上のように、本実施形態の撮像装置1は、撮像素子11が画像取得時のフレームレートを変更可能なように構成されており、手ぶれセンサ16の検知するぶれ量が所定値を超えた場合に、撮像素子11のフレームレートを通常フレームレートよりも高いフレームレートに設定変更する。そのため、手ぶれが生じた場合であっても、高速フレームレートで取得される個々の画像はぶれの少ないものとなり、手ぶれの影響を抑制することができるようになっている。   As described above, the imaging device 1 of the present embodiment is configured such that the imaging element 11 can change the frame rate at the time of image acquisition, and the amount of blur detected by the camera shake sensor 16 exceeds a predetermined value. In addition, the frame rate of the image sensor 11 is changed to a frame rate higher than the normal frame rate. For this reason, even when camera shake occurs, each image acquired at a high frame rate has less blur, and the influence of camera shake can be suppressed.

また撮像装置1は、高速フレームレート設定時に、撮像素子11で取得される連続的な複数フレームの画像を、手ぶれセンサ16によって検出されるぶれ量に基づいて合成し、1フレーム分の出力画像を生成するように構成されている。これにより、ぶれの少ない複数の画像が、ぶれを目立たせないようにして互いに合成されることになるので、高品位な画像が得られることになる。そして、その合成画像を、動画像を構成する1つのフレーム画像とすることにより、ぶれの目立たない良好な動画像が得られることになる。また、該フレーム画像の明るさについても、他のフレーム画像と同程度に明るい画像となる。   In addition, the imaging device 1 synthesizes a plurality of continuous frames of images acquired by the imaging device 11 based on the amount of blur detected by the camera shake sensor 16 when the high-speed frame rate is set, and outputs an output image for one frame. Configured to generate. As a result, a plurality of images with little blur are combined with each other without making the blur noticeable, so that a high-quality image can be obtained. Then, by using the synthesized image as one frame image constituting the moving image, a good moving image with less noticeable blur can be obtained. Also, the brightness of the frame image is as bright as the other frame images.

そして、上記のような合成を行うことによって生成される画像を、通常フレームレートの画像として出力することにより、動画像を構成するフレーム間隔をほぼ一定の間隔とすることができるので、滑らかな動画像を生成することができるようになっている。   Then, by outputting the image generated by performing the above composition as an image at a normal frame rate, the frame interval constituting the moving image can be set to a substantially constant interval. An image can be generated.

したがって、本実施形態の撮像装置1によれば、動画像のフレーム間に発生する手ぶれだけでなく、フレーム内に発生する手ぶれを要因とする画質劣化を防ぐことができ、動画像を視認したときの画質が向上する。特に、動画像全体としての画質だけでなく、動画を一時停止させたときの静止画としての画質や、スロー再生時の画質なども向上することになる。   Therefore, according to the imaging apparatus 1 of the present embodiment, not only camera shake occurring between frames of a moving image but also image quality deterioration caused by camera shake occurring in the frame can be prevented, and when a moving image is visually recognized. Improve the image quality. In particular, not only the image quality of the entire moving image but also the image quality as a still image when the moving image is paused, the image quality during slow playback, and the like are improved.

また、本実施形態の撮像装置1によれば、常に高速フレームレートで動画撮影を行うわけではなく、手ぶれが発生していないときには通常フレームレートで撮影が行われるので、手ぶれの発生していないときには消費電力を低減するようになっている。それ故、本実施形態の撮像装置1は、動画像の画質を向上させるとともに、消費電力の増加を抑制する効果を発揮するのである。   Further, according to the imaging apparatus 1 of the present embodiment, moving image shooting is not always performed at a high frame rate, and shooting is performed at a normal frame rate when there is no camera shake, so when there is no camera shake. Power consumption is reduced. Therefore, the imaging device 1 of the present embodiment exhibits the effect of improving the image quality of moving images and suppressing the increase in power consumption.

以上、本発明の実施の形態について説明したが、本発明は上述したものに限定されるものではなく、種々の変形例を適用し得るものである。   Although the embodiment of the present invention has been described above, the present invention is not limited to the above-described one, and various modifications can be applied.

例えば、上述した撮像装置1では、通常フレームレートとして90fpsが設定され、高速フレームレートとして270fpsが設定される場合を例示した。しかしながら、一般的には、フレームレートが30fps以上であれば、動画像として視覚的に違和感のない画像が得られる。そのため、撮像素子11の通常フレームレートは30fps以上の任意の値を採用すればよい。また、高速フレームレートは、30fps以上の任意の値として設定される通常フレームレートよりも高い値であれば、どのような値であっても構わない。   For example, in the imaging apparatus 1 described above, a case where 90 fps is set as the normal frame rate and 270 fps is set as the high-speed frame rate is illustrated. However, in general, when the frame rate is 30 fps or higher, a visually uncomfortable image can be obtained as a moving image. Therefore, an arbitrary value of 30 fps or more may be adopted as the normal frame rate of the image sensor 11. The high-speed frame rate may be any value as long as it is higher than the normal frame rate set as an arbitrary value of 30 fps or higher.

特に、上記実施の形態では、高速フレームレートが通常フレームレートの3倍に設定される場合を例示したが、それに限定されるものではない。高速フレームレートが通常フレームレートの2倍に設定されてもよいし、4倍以上の値に設定されても構わない。   In particular, in the above embodiment, the case where the high-speed frame rate is set to three times the normal frame rate is illustrated, but the present invention is not limited to this. The high-speed frame rate may be set to twice the normal frame rate, or may be set to a value that is four times or more.

また、上記実施の形態では、撮像素子11、A/D変換器12及びタイミングジェネレータ15がそれぞれ別体として構成される場合を例示したが、撮像素子11をCMOSセンサとして形成する場合にはそれらを一体的に形成するようにしてもよい。   Further, in the above embodiment, the case where the image pickup device 11, the A / D converter 12 and the timing generator 15 are configured as separate bodies is illustrated. However, when the image pickup device 11 is formed as a CMOS sensor, these are described. You may make it form integrally.

また、撮影レンズ10が焦点距離(撮影倍率)を変化させるズームレンズである場合には、撮影レンズ10の焦点距離(撮影倍率)に応じて、ぶれ判定を行う際の所定値(基準値V)を変更するように構成することが好ましい。そうすることにより、撮影条件に応じて常に適切なぶれ判定を行うことができるようになる。   Further, when the photographing lens 10 is a zoom lens that changes the focal length (photographing magnification), a predetermined value (reference value V) for performing blurring determination according to the focal length (photographing magnification) of the photographing lens 10. It is preferable that the configuration is changed. By doing so, it is possible to always perform an appropriate blur determination according to the shooting conditions.

また、上記実施の形態では、合成画像の周縁部分R2を削除することにより、記録又は表示される画像の画角を小さめにする場合を例示したが、それに限定されるものではなく、例えば合成画像の周縁部分R2を黒く塗りつぶすような処理を行ってもよい。   In the above embodiment, the case where the angle of view of the image to be recorded or displayed is reduced by deleting the peripheral portion R2 of the composite image is not limited thereto. For example, the composite image is not limited thereto. The processing may be performed such that the peripheral portion R2 is painted black.

また、上記実施の形態では、画像メモリ14とメモリ17とが別の構成として形成される場合を例示したが、これに限定されるものではなく、これらを一つのメモリで構成してもよい。   In the above embodiment, the case where the image memory 14 and the memory 17 are formed as separate configurations has been illustrated, but the present invention is not limited to this, and these may be configured as a single memory.

また、上記実施の形態では特に言及しなかったが、手ぶれセンサ16が検出するぶれ量の大きさに応じてフレームレートの増加率を変更するようにしてもよい。すなわち、ぶれ量が大きくなるに従って、撮像素子11のフレームレートがより高速な値に設定されることになる。この場合、図2に示される一定周期Tの間に取得されるフレーム数が増加することになるため、手ぶれが発生した場合の合成処理において合成対象となる画像も増加することになる。このような構成を採用した場合、どのような手ぶれが発生しても、常にそのような手ぶれが目立たない動画像を取得できるようになる。   Although not particularly mentioned in the above embodiment, the rate of increase of the frame rate may be changed according to the amount of blur detected by the camera shake sensor 16. That is, as the amount of blur increases, the frame rate of the image sensor 11 is set to a faster value. In this case, since the number of frames acquired during the fixed period T shown in FIG. 2 increases, the number of images to be combined in the combining process when camera shake occurs also increases. When such a configuration is adopted, it becomes possible to acquire a moving image in which such camera shake is not always noticeable regardless of any camera shake.

また、上記実施の形態では、動画撮影モードである場合に上述した動作が行われることを例示した。しかしながら、静止画撮影モードであっても、ユーザが撮影待機状態においてフレーミングを行ったり、シャッタチャンスを把握するために、LCD18又はEVF19に被写体のリアルタイムな画像(いわゆるライブビュー画像)を表示する必要がある。そのため、静止画撮影モードであっても、被写体のリアルタイム画像をLCD18又はEVF19に表示する際に、上述した動作を行うことにより、ぶれの少ない動画像表示を行うようにしてもよい。   Moreover, in the said embodiment, it illustrated that the operation | movement mentioned above was performed in video recording mode. However, even in the still image shooting mode, it is necessary for the user to display a real-time image of the subject (so-called live view image) on the LCD 18 or the EVF 19 in order to perform framing in the shooting standby state or grasp the shutter chance. is there. Therefore, even in the still image shooting mode, when displaying a real-time image of a subject on the LCD 18 or the EVF 19, a moving image display with less blur may be performed by performing the above-described operation.

撮像装置の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of an imaging device. 撮像装置の概念的動作を示すタイミングチャートである。It is a timing chart which shows the conceptual operation | movement of an imaging device. 高速フレームレート時における合成処理の概念を示す図である。It is a figure which shows the concept of the synthesizing process at the time of a high-speed frame rate. 動画撮影時の処理シーケンスを示すフローチャートである。It is a flowchart which shows the process sequence at the time of video recording. 画像合成処理の詳細を示すフローチャートである。It is a flowchart which shows the detail of an image composition process.

符号の説明Explanation of symbols

1 撮像装置
11 撮像素子(撮像手段)
16 手ぶれセンサ(ぶれ検出手段)
30 演算処理ユニット
31 撮影制御部(制御手段)
32 ぶれ判定部
33 画像合成部(合成手段)
34 画像表示部(表示手段)
35 画像記録部(記録手段)
DESCRIPTION OF SYMBOLS 1 Imaging device 11 Imaging element (imaging means)
16 Camera shake sensor (camera shake detection means)
30 arithmetic processing unit 31 imaging control unit (control means)
32 blur determination unit 33 image composition unit (composition means)
34 Image display section (display means)
35 Image recording unit (recording means)

Claims (7)

画像取得時のフレームレートを変更可能な撮像手段と、
物理的な振動を検知することにより、ぶれ量を検出するぶれ検出手段と、
前記ぶれ検出手段からのぶれ量が所定値を超えた場合に、前記フレームレートを通常フレームレートよりも高い値に設定する制御手段と、
を備える撮像装置。
Imaging means capable of changing the frame rate at the time of image acquisition;
A shake detection means for detecting the amount of shake by detecting physical vibration;
Control means for setting the frame rate to a value higher than the normal frame rate when the amount of shake from the shake detection means exceeds a predetermined value;
An imaging apparatus comprising:
請求項1に記載の撮像装置において、
前記通常フレームレートは、30fps以上の値であることを特徴とする撮像装置。
The imaging device according to claim 1,
The normal frame rate has a value of 30 fps or more.
請求項1又は2に記載の撮像装置において、
前記撮像手段で取得される連続的な複数フレームの画像を、前記ぶれ検出手段によって検出されるぶれ量に基づいて合成することにより、1フレーム分の出力画像を生成する合成手段を、さらに備えることを特徴とする撮像装置。
The imaging device according to claim 1 or 2,
The image processing apparatus further includes combining means for generating an output image for one frame by combining the images of a plurality of continuous frames acquired by the imaging means based on the amount of shake detected by the shake detecting means. An imaging apparatus characterized by the above.
請求項3に記載の撮像装置において、
前記合成手段は、前記制御手段によって前記フレームレートが前記通常フレームレートよりも高い値に設定された場合に機能することを特徴とする撮像装置。
The imaging device according to claim 3.
The synthesizing unit functions when the control unit sets the frame rate to a value higher than the normal frame rate.
請求項4に記載の撮像装置において、
前記合成手段は、前記合成を行うことによって、前記出力画像を前記通常フレームレートの画像として出力することを特徴とする撮像装置。
The imaging apparatus according to claim 4,
The synthesizing unit outputs the output image as the image at the normal frame rate by performing the synthesis.
請求項3乃至5のいずれかに記載の撮像装置において、
前記合成手段で生成される前記出力画像を記録する記録手段をさらに備える撮像装置。
The imaging device according to any one of claims 3 to 5,
An imaging apparatus further comprising recording means for recording the output image generated by the synthesizing means.
請求項3乃至6のいずれかに記載の撮像装置において、
前記合成手段で生成される前記出力画像を表示する表示手段をさらに備える撮像装置。
The imaging device according to any one of claims 3 to 6,
An imaging apparatus further comprising display means for displaying the output image generated by the synthesizing means.
JP2004205582A 2004-07-13 2004-07-13 Image pickup device Pending JP2006033123A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004205582A JP2006033123A (en) 2004-07-13 2004-07-13 Image pickup device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004205582A JP2006033123A (en) 2004-07-13 2004-07-13 Image pickup device

Publications (1)

Publication Number Publication Date
JP2006033123A true JP2006033123A (en) 2006-02-02

Family

ID=35898985

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004205582A Pending JP2006033123A (en) 2004-07-13 2004-07-13 Image pickup device

Country Status (1)

Country Link
JP (1) JP2006033123A (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007281548A (en) * 2006-04-03 2007-10-25 Samsung Techwin Co Ltd Imaging apparatus and method
JP2007306242A (en) * 2006-05-10 2007-11-22 Olympus Imaging Corp Imaging apparatus
JP2008022320A (en) * 2006-07-13 2008-01-31 Fujifilm Corp Image shake correcting device and correcting method thereof
JP2010171748A (en) * 2009-01-23 2010-08-05 Casio Computer Co Ltd Imaging apparatus and imaging control program
JP2010271550A (en) * 2009-05-21 2010-12-02 Olympus Corp Microscope system
US8284265B2 (en) 2007-01-17 2012-10-09 Samsung Electronics Co., Ltd. Apparatus, method and medium preventing image degradation due to shaking of an image photographing device
JP2013005136A (en) * 2011-06-15 2013-01-07 Olympus Imaging Corp Imaging device
JP2013012998A (en) * 2011-06-30 2013-01-17 Canon Inc Image synthesizing apparatus, control method therefor, and control program
JP2013258609A (en) * 2012-06-13 2013-12-26 Panasonic Corp Image pick-up device
JP2015041792A (en) * 2013-08-20 2015-03-02 株式会社ニコン Image processing apparatus and imaging apparatus
JP2016021767A (en) * 2015-09-03 2016-02-04 オリンパス株式会社 Imaging apparatus and imaging method
US9357136B2 (en) 2014-02-04 2016-05-31 Nokia Technologies Oy Using inertial sensors to provide smoothed exposure and white balance adjustments for video and photographic applications
WO2019203147A1 (en) * 2018-04-17 2019-10-24 株式会社ニコン Imaging device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09261526A (en) * 1996-03-19 1997-10-03 Olympus Optical Co Ltd Image pickup device
JPH10150597A (en) * 1996-11-18 1998-06-02 Sony Corp Video camera
JP2001298668A (en) * 2000-04-12 2001-10-26 Nikon Corp Image pickup device
JP2004180151A (en) * 2002-11-28 2004-06-24 Fuji Photo Film Co Ltd Digital camera
JP2005033785A (en) * 2003-06-17 2005-02-03 Matsushita Electric Ind Co Ltd Information generator, camera and photographing method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09261526A (en) * 1996-03-19 1997-10-03 Olympus Optical Co Ltd Image pickup device
JPH10150597A (en) * 1996-11-18 1998-06-02 Sony Corp Video camera
JP2001298668A (en) * 2000-04-12 2001-10-26 Nikon Corp Image pickup device
JP2004180151A (en) * 2002-11-28 2004-06-24 Fuji Photo Film Co Ltd Digital camera
JP2005033785A (en) * 2003-06-17 2005-02-03 Matsushita Electric Ind Co Ltd Information generator, camera and photographing method

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007281548A (en) * 2006-04-03 2007-10-25 Samsung Techwin Co Ltd Imaging apparatus and method
JP4700557B2 (en) * 2006-05-10 2011-06-15 オリンパスイメージング株式会社 Imaging device
JP2007306242A (en) * 2006-05-10 2007-11-22 Olympus Imaging Corp Imaging apparatus
JP4666264B2 (en) * 2006-07-13 2011-04-06 富士フイルム株式会社 Image blur correction apparatus and correction method thereof
JP2008022320A (en) * 2006-07-13 2008-01-31 Fujifilm Corp Image shake correcting device and correcting method thereof
US8284265B2 (en) 2007-01-17 2012-10-09 Samsung Electronics Co., Ltd. Apparatus, method and medium preventing image degradation due to shaking of an image photographing device
JP2010171748A (en) * 2009-01-23 2010-08-05 Casio Computer Co Ltd Imaging apparatus and imaging control program
JP2010271550A (en) * 2009-05-21 2010-12-02 Olympus Corp Microscope system
US8982242B2 (en) 2011-06-15 2015-03-17 Olympus Imaging Corp. Imaging device and imaging method
JP2013005136A (en) * 2011-06-15 2013-01-07 Olympus Imaging Corp Imaging device
JP2013012998A (en) * 2011-06-30 2013-01-17 Canon Inc Image synthesizing apparatus, control method therefor, and control program
JP2013258609A (en) * 2012-06-13 2013-12-26 Panasonic Corp Image pick-up device
JP2015041792A (en) * 2013-08-20 2015-03-02 株式会社ニコン Image processing apparatus and imaging apparatus
US9357136B2 (en) 2014-02-04 2016-05-31 Nokia Technologies Oy Using inertial sensors to provide smoothed exposure and white balance adjustments for video and photographic applications
JP2016021767A (en) * 2015-09-03 2016-02-04 オリンパス株式会社 Imaging apparatus and imaging method
WO2019203147A1 (en) * 2018-04-17 2019-10-24 株式会社ニコン Imaging device

Similar Documents

Publication Publication Date Title
JP2006033123A (en) Image pickup device
JP5036410B2 (en) Imaging apparatus and control method thereof
JP5002931B2 (en) Imaging apparatus and program thereof
JP2007318725A (en) Camera, photographing control method of camera, program, and recording medium
JP2000341577A (en) Device and method for correcting camera shake
JP5578442B2 (en) Imaging apparatus, image composition method, and program
JP2006148550A (en) Image processor and imaging device
JP4556195B2 (en) Imaging device, moving image playback device, and program
JP2010160311A (en) Imaging apparatus
JP6304293B2 (en) Image processing apparatus, image processing method, and program
JP2010178164A (en) Imaging apparatus
JP4616429B2 (en) Image processing device
JP2006345317A (en) Image pickup device, control method thereof, program, and storage medium
JP4033456B2 (en) Digital camera
JP6118118B2 (en) Imaging apparatus and control method thereof
JP5909997B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP4445662B2 (en) Electronic camera
JP2004128537A (en) Method for reading signal of solid-state imaging unit
JP2014049882A (en) Imaging apparatus
JP6152009B2 (en) Imaging apparatus, imaging method, program, and recording medium
JP2004186866A (en) Image recording apparatus
JP5300627B2 (en) Imaging apparatus, control method thereof, and program
JP4757213B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP2007142693A (en) Device and method for image pickup
JP2007228050A (en) Camera with moving picture generating function

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070705

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070724

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20070827

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20070919

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091117

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100323