JP2017123670A - Imaging controller, and control method, and program therefor - Google Patents
Imaging controller, and control method, and program therefor Download PDFInfo
- Publication number
- JP2017123670A JP2017123670A JP2017027469A JP2017027469A JP2017123670A JP 2017123670 A JP2017123670 A JP 2017123670A JP 2017027469 A JP2017027469 A JP 2017027469A JP 2017027469 A JP2017027469 A JP 2017027469A JP 2017123670 A JP2017123670 A JP 2017123670A
- Authority
- JP
- Japan
- Prior art keywords
- frame rate
- imaging
- recording
- image
- sensitivity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 227
- 238000000034 method Methods 0.000 title claims description 32
- 230000035945 sensitivity Effects 0.000 claims abstract description 55
- 230000015572 biosynthetic process Effects 0.000 claims description 18
- 238000003786 synthesis reaction Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 16
- 230000015654 memory Effects 0.000 description 23
- 230000008859 change Effects 0.000 description 20
- 230000006870 function Effects 0.000 description 15
- 230000002194 synthesizing effect Effects 0.000 description 15
- 230000000875 corresponding effect Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 230000001276 controlling effect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000001308 synthesis method Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置、及びその制御方法とプログラムに関し、特に動画撮影中の動画像の質を向上させる技術に関するものである。 The present invention relates to an imaging apparatus, a control method therefor, and a program, and more particularly to a technique for improving the quality of a moving image during moving image shooting.
従来、撮像装置においては動画撮影中にフレームレートを変更可能なものがある。係る撮像装置においては、例えば低速のフレームレートで撮影を行っている間に、被写体の動きが速い特定の撮影シーンのみを高速のフレームレートでの撮影を行うことができ、記録する動画像のデータ量を徒に増大させることなく、撮影後には特定の撮影シーンのみをスロー再生することができる。 2. Description of the Related Art Conventionally, some imaging devices can change the frame rate during moving image shooting. In such an imaging device, for example, while shooting at a low frame rate, only a specific shooting scene in which the subject moves fast can be shot at a high frame rate, and moving image data to be recorded Only a specific shooting scene can be slowly played back after shooting without increasing the amount.
また、下記特許文献1には、動画撮影中におけるフレームレートの変更に際し、例えば絞り値をシャッタースピードやゲインよりも優先して決定した後、決定した絞り値に応じてシャッタースピードやゲインを設定する技術が記載されている。係る技術によれば、フレームレートの変更前後において発生するフレーム間での画像の明るさの変化を低減することができる。
Further, in
ところで、動画撮影中にフレームレートを切り替えるときには、撮像素子の駆動速度の切り替えにタイムラグが発生し、その間の画像が欠落してしまう。これを回避するためには、動画撮影中に高速のフレームレートへの切り替えを可能とする際には、撮像素子を常に高速のフレームレートで駆動しておき、低速のフレームレートでの撮影中には、そのフレームレートに応じたフレームの画像のみを抜き出して記録すればよい。 By the way, when switching the frame rate during moving image shooting, a time lag occurs in switching of the driving speed of the image sensor, and an image in the meantime is lost. In order to avoid this, when switching to a high frame rate is possible during movie shooting, the image sensor is always driven at a high frame rate, and during shooting at a low frame rate. In this case, only the image of the frame corresponding to the frame rate may be extracted and recorded.
しかし、撮像素子を常に高速のフレームレートで駆動する場合には、シャッタースピードの調整による最大露光時間が制限されるため、適正な露出を得るには撮影感度、すなわち撮像素子の出力信号のゲインを常に上げておく必要があり、記録画像のノイズが増大するという問題があった。 However, when the image sensor is always driven at a high frame rate, the maximum exposure time due to the adjustment of the shutter speed is limited. Therefore, in order to obtain an appropriate exposure, the imaging sensitivity, that is, the gain of the output signal of the image sensor is required. There is a problem that the noise of the recorded image increases because it is necessary to always raise it.
本発明は、かかる従来の課題に鑑みてなされたものであり、動画撮影中の動画像の質を向上することを可能とする撮像装置、及びその制御方法とプログラムを提供することを目的とする。 The present invention has been made in view of such conventional problems, and an object thereof is to provide an imaging apparatus capable of improving the quality of a moving image during moving image shooting, and a control method and program thereof. .
前記課題を解決するため、本発明にあっては、撮像手段に設定可能な撮像フレームレートを第1のフレームレート、前記撮像手段が前記第1のフレームレートの撮像フレームレートで撮像した画像を前記第1のフレームレートと同一の記録フレームレートで記録する時の前記撮像手段の撮像動作における撮像感度を第1の感度、とした時に、前記撮像手段が前記第1のフレームレートで撮像した画像を前記第1のフレームレートより低速の第2のフレームレートで合成記録する際のフレーム合成数と前記撮像手段の撮像動作における撮像感度を、フレーム合成数=第1のフレームレート÷第2のフレームレート;撮像感度=第1の感度÷フレーム合成数;として制御する制御手段、を備えたことを特徴とする。 In order to solve the above-described problem, in the present invention, an imaging frame rate that can be set in the imaging unit is a first frame rate, and an image captured by the imaging unit at an imaging frame rate of the first frame rate is When the imaging sensitivity in the imaging operation of the imaging unit when recording at the same recording frame rate as the first frame rate is the first sensitivity, the image captured by the imaging unit at the first frame rate The number of combined frames when combining and recording at a second frame rate that is slower than the first frame rate and the imaging sensitivity in the imaging operation of the imaging means are: frame combined number = first frame rate / second frame rate. Control means for controlling: imaging sensitivity = first sensitivity / number of frames combined;
本発明によれば、動画撮影中の動画像の質を向上することが可能となる。 According to the present invention, it is possible to improve the quality of a moving image during moving image shooting.
以下、本発明の実施形態について説明する。図1は、本発明の撮像装置として例示するデジタルカメラ1の概略構成を示すブロック図である。このデジタルカメラ1は、撮影モードとして静止画撮影モード及び動画撮影モードを有するものである。
Hereinafter, embodiments of the present invention will be described. FIG. 1 is a block diagram showing a schematic configuration of a
デジタルカメラ1は、レンズブロック2と撮像素子3とを有している。レンズブロック2は、フォーカスレンズを含むレンズ群と、絞りと、レンズ群を駆動するレンズモータ、絞りを開閉駆動するアクチュエータから構成される。レンズモータやアクチュエータは、CPU(Central Processing Unit)8の指令に基づき光学系駆動部4によって駆動されることにより、焦点位置や撮像素子3の受光量が調整される。
The
撮像素子3は、CCD(Charge Coupled Device)やCMOS(Complementary Meta1 0xide Semiconductor)センサであり、駆動回路5により駆動され、被写体の光学像を光電変換し、変換後の光学像に応じた電気信号つまり撮像信号をAFE(Analog Front End)6へ出力する。
The
前記駆動回路5は、撮像素子3をCPU8の指令に基づき複数の駆動モードで駆動することが可能であり、より具体的には、撮像素子3を駆動する際のフレームレート(以下、撮像フレームレートという。)が120fpsの高速モードと、60fpsの中速モードと、30fpsの低速モードの3種類の駆動モードで駆動することが可能である。なお、低速モードは、静止画撮影モードや動画撮影モードでの撮影待機状態において使用され、中速モード及び高速モードは、動画撮影モードでの動画撮影時において使用されるモードである。
The drive circuit 5 can drive the
AFE6は、CDS(Correlated Double Sampling)回路や、PGA(Programmable Gain Amp)、ADC(Analog-to-Digital Converter)等によって構成される。AFE6は、撮像素子3が出力した撮像信号のゲイン調整を含む所定のアナログ処理を行い、アナログ処理後の撮像信号をデジタル信号に変換した後、変換後の画像データを画像処理部7へ出力する。
The AFE 6 includes a CDS (Correlated Double Sampling) circuit, a PGA (Programmable Gain Amp), an ADC (Analog-to-Digital Converter), and the like. The AFE 6 performs predetermined analog processing including gain adjustment of the imaging signal output from the
AFE6における撮像信号のゲイン調整は、撮影時に設定されるISO感度(撮像感度)に応じてCPU8の指令に基づき行われる。 The gain adjustment of the imaging signal in the AFE 6 is performed based on a command from the CPU 8 in accordance with the ISO sensitivity (imaging sensitivity) set at the time of shooting.
画像処理部7は、AFE6から入力したゲイン調整後の画素データを一時記録するメモリ7aを有している。メモリ7aには複数フレーム分の画素データを記憶可能なメモリ容量が確保されている。
The
画像処理部7は、メモリ7aに一時記憶された画像データに対し、画像の記録に向けた種々の画像処理を行う。画像処理部7が行う画像処理は、ガンマ補正や、ホワイトバランス調整、画素毎のR,G,Bの色成分データの生成、生成したRGBデータからYUVデータを生成するYUV変換等である。そして、画像処理部7は、生成した1フレーム分のYUVデータを、撮影待機状態にある間にはCPU8へ供給し、かつ撮影時にはCODEC(Coder & Decoder:符号器/復号器)9へ供給する。
The
また、動画撮影時において画像処理部7は、必要に応じ、後述するように前記メモリ7aに一時記憶した複数フレーム分の画像データを合成(加算)する処理も行う。
Further, at the time of moving image shooting, the
撮影待機状態においてCPU8へ供給されたYUVデータは表示部10へ供給され、表示部10においてライブビュー画像として表示される。表示部10は、ライブビュー画像等を表示する液晶表示器と、液晶表示器を駆動する駆動回路等から構成される。
The YUV data supplied to the CPU 8 in the shooting standby state is supplied to the
CODEC9は、撮影時に画像処理部7から供給された画像データ(YUVデータ)を符号化し、また、符号化されている任意の画像データを復号する。図示しないが、CODEC9は、画像データの符号化、及び復号化を行うための直交変換回路、量子化回路、動き検出回路、順方向予測回路、符号化回路、復号化回路、逆直交変換回路、フレームメモリ等から構成される。
The
撮影時に画像処理部7からCODEC9へ出力されたYUVデータは、静止画モードでの撮影時にはJPEG(Joint Photographic Expert Group)方式等により圧縮符号化された後、静止画ファイルとして画像メモリ11に記録され、動画モードでの撮影時にはMPEG(Motion Picture Experts Group)方式等によりフレーム毎に圧縮符号化された後、順次画像メモリ11に送られ最終的には動画ファイルとして記録される。
YUV data output from the
また、CODEC9は、再生モードにおいてCPU8により画像メモリ11から読み出された静止画または動画データ(符号化データ)を復号しCPU8へ出力する。復号されたデータは表示部10において静止画、又は動画像として再生される。なお、画像メモリ11は、例えばカメラ本体に内蔵されたフラッシュメモリや、カメラ本体に着脱自在な各種のメモリカードである。
In addition, the
また、CPU8には、操作部12、RAM(Random Access memory)13、プログラムメモリ14が接続されている。RAM13はCPU8のワーキングメモリである。
In addition, an
操作部12は、電源キーや、シャッターキー、デジタルカメラ1の基本の動作モードである撮影モードと、記録画像の表示用の再生モードとの切り替えを行うモード切替キー、撮影モードの下位モードの設定等の種々の設定作業に使用されるMENUキー、方向キー等の図示しない複数キーを含む。操作部12における各キーはCPU8によって操作状態を随時スキャンされる。
The
シャッターキーは、半押し操作と全押し操作との2段階操作が可能な所謂ハーフシャッター機能を有する構成である。シャッターキーの半押し操作は、AE(Auto Exposure)動作、及びAF(Auto Focus)動作の開始指示等に使用され、シャッターキーの全押し操作は撮影指示に使用される。 The shutter key has a so-called half shutter function capable of two-stage operation including a half-press operation and a full-press operation. The half-press operation of the shutter key is used for an instruction to start an AE (Auto Exposure) operation and an AF (Auto Focus) operation, and the full press of the shutter key is used for an imaging instruction.
プログラムメモリ14は、例えば記憶データが書き換え可能なEEPROM(Electric Erasable Programmable Read Only Memory)であるフラッシュメモリである。プログラムメモリ14には、CPU8にデジタルカメラ1の全体の動作を制御させるための制御プログラムや各種のデータが記憶されている。
The
前記制御プログラムには、CPU8にAE制御、AF制御、AWB(Auto white balance)制御を行わせるためのプログラム、及びCPU8に動画撮影モードにおいて後述する処理を行わせるためのプログラムが含まれる。 The control program includes a program for causing the CPU 8 to perform AE control, AF control, and AWB (Auto white balance) control, and a program for causing the CPU 8 to perform processing described later in the moving image shooting mode.
前記各種のデータには、撮影時の適正な露出値に対応する絞り値とシャッタースピードとの組み合わせを示すプログラム線図を構成する制御データが含まれる。プログラム線図は、静止画撮影時に使用されるもの、及び撮像素子3の駆動モード別の複数のもの(高速モード用、中速モード用、低速モード用)が存在する。 The various data includes control data constituting a program diagram showing combinations of aperture values and shutter speeds corresponding to appropriate exposure values at the time of shooting. There are a program diagram used for still image shooting and a plurality of program diagrams for each drive mode of the image sensor 3 (for high speed mode, medium speed mode, and low speed mode).
そして、以上の構成からなるデジタルカメラ1には、動画撮影に際し撮像フレームレートを固定した状態で、記録する動画像のフレームレート(以下、記録フレームレートという。)を適宜切替可能とする記録フレームレート切替機能が設けられている。
In the
この記録フレームレート切替機能は、動画撮影中おいて被写体の動きが速い特定の撮影シーンでは記録フレームレートを高速に設定し、それ以外のシーンでは記録フレームレートを低速に設定することを可能とするものである。つまり記録フレームレート切替機能は、記録する動画像のデータ量を抑制しつつ、撮影後に特定の撮影シーンのみを良質な動画像でスロー再生可能とするためのものである。 This recording frame rate switching function makes it possible to set the recording frame rate to a high speed for specific shooting scenes where the movement of the subject is fast during video recording, and to set the recording frame rate to a low speed for other scenes. Is. That is, the recording frame rate switching function is intended to enable slow reproduction of only a specific shooting scene with a high-quality moving image after shooting while suppressing the data amount of the moving image to be recorded.
なお、デジタルカメラ1において、記録した動画像を再生する際のフレームレート(以下、再生フレームレートという。)は、記録フレームレートに関係なく30fpsに固定されている。
In the
図2は、上記の記録フレームレート切替機能を使用する場合のデジタルカメラ1の動作内容を示した図である。図2に示したように、記録フレームレート切替機能を使用する場合、撮像フレームレートは120fps又は60fpsのいずれかに設定される。
FIG. 2 is a diagram showing the operation contents of the
また、ユーザーが指定可能な記録フレームレートは、撮像フレームレートの範囲内のフレームレートである。すなわち撮像フレームレートが120fpsのときには120fps、60fps、30fpsのいずれかが指定可能であり、撮像フレームレートが60fpsのときには60fps又は30fpsが指定可能である。 The recording frame rate that can be specified by the user is a frame rate within the range of the imaging frame rate. That is, when the imaging frame rate is 120 fps, any of 120 fps, 60 fps, and 30 fps can be specified, and when the imaging frame rate is 60 fps, 60 fps or 30 fps can be specified.
また、記録フレームレート切替機能を使用する場合、ISO感度は記録フレームレートに応じた値に固定される。すなわち記録フレームレートが120fpsのときのISO感度は800、記録フレームレートが60fpsのときのISO感度は400、記録フレームレートが30fpsのときのISO感度は200にそれぞれ固定される。 When the recording frame rate switching function is used, the ISO sensitivity is fixed to a value corresponding to the recording frame rate. That is, the ISO sensitivity when the recording frame rate is 120 fps is fixed to 800, the ISO sensitivity when the recording frame rate is 60 fps is 400, and the ISO sensitivity when the recording frame rate is 30 fps is fixed to 200, respectively.
また、記録フレームレート切替機能を使用する場合、前述した撮像フレームレートで撮像された各フレームの画像が、それぞれ記録フレームレートに応じたフレーム数だけ合成され、合成後の画像が動画像を構成するフレーム画像として記録される。なお、以下の説明では、撮像フレームレートで撮像されたフレーム画像を撮像フレーム画像と称し、動画像を構成するフレーム画像を記録フレーム画像と称することにより両者を区別する。 When the recording frame rate switching function is used, the images of the frames captured at the above-described imaging frame rate are combined by the number of frames corresponding to the recording frame rate, and the combined images form a moving image. Recorded as a frame image. In the following description, a frame image captured at an imaging frame rate is referred to as a captured frame image, and a frame image constituting a moving image is referred to as a recording frame image to distinguish between them.
撮像フレーム画像の合成枚数(フレーム合成数)は、記録フレームレートが60fpsのときは2枚(2フレーム)であり、記録フレームレートが30fpsのときは4枚(4フレーム)である。但し、撮像フレームレートと記録フレームレートとが共に120fpsのときには、撮像フレーム画像が、そのまま記録フレーム画像として使用される。 The number of captured frame images (the number of frames combined) is 2 (2 frames) when the recording frame rate is 60 fps, and 4 (4 frames) when the recording frame rate is 30 fps. However, when both the imaging frame rate and the recording frame rate are 120 fps, the imaging frame image is used as it is as the recording frame image.
さらに、撮像フレーム画像の合成方法は2種類あり、撮像フレームレートが120fpsのときの合成方法は順次合成であり、撮像フレームレートが60fpsのときの合成方法は重複合成である。係る合成方法を具体的に説明すると以下の通りである。 Furthermore, there are two types of methods for synthesizing the captured frame image. The synthesis method when the imaging frame rate is 120 fps is sequential synthesis, and the synthesis method when the imaging frame rate is 60 fps is overlap synthesis. The synthesis method will be specifically described as follows.
図3は、撮像フレームレートが120fpsである場合における順次合成を示した模式図である。同図(a)に示したように、記録フレームレートが60fpsのときには、撮像フレーム画像が2フレーム毎に合成される。 FIG. 3 is a schematic diagram showing sequential synthesis when the imaging frame rate is 120 fps. As shown in FIG. 5A, when the recording frame rate is 60 fps, the captured frame image is synthesized every two frames.
また、同図(b)に示したように、記録フレームレートが30fpsのときには、撮像フレーム画像が4フレーム毎に合成される。 Also, as shown in FIG. 5B, when the recording frame rate is 30 fps, the captured frame image is synthesized every four frames.
図4は、撮像フレームレートが60fpsである場合における重複合成を示した模式図である。同図(a)に示したように、記録フレームレートが60fpsのときには、撮像フレームの1フレーム毎に、当該フレームの撮像フレーム画像と前回のフレームの撮像フレーム画像とが合成される。つまり一部の撮像フレーム画像が、相前後する記録フレーム画像の生成に重複して使用される。 FIG. 4 is a schematic diagram showing overlap synthesis when the imaging frame rate is 60 fps. As shown in FIG. 5A, when the recording frame rate is 60 fps, the captured frame image of the frame and the captured frame image of the previous frame are combined for each frame of the captured frame. That is, a part of the captured frame images is used redundantly for generating successive recording frame images.
また、同図(b)に示したように、記録フレームレートが30fpsのときには、撮像フレームの2フレーム毎に、当該フレームの撮像フレーム画像と直前3フレーム分の撮像フレーム画像とが合成される。つまりこの場合も一部の撮像フレーム画像が、相前後する記録フレーム画像の生成に重複して使用される。 Also, as shown in FIG. 5B, when the recording frame rate is 30 fps, the captured frame image of the frame and the captured frame image for the previous three frames are synthesized for every two frames of the captured frame. That is, in this case as well, some of the captured frame images are used redundantly to generate successive recording frame images.
以下、記録フレームレート切替機能を使用した動画撮影モードにおけるCPU8の処理内容を図5のフローチャートに従い説明する。 The processing contents of the CPU 8 in the moving image shooting mode using the recording frame rate switching function will be described below with reference to the flowchart of FIG.
すなわちCPU8は動画撮影モードの設定とともに動作を開始し、直ちに撮像素子3の駆動モードを低速モード(30fps)に設定して撮像を開始するとともに(ステップS1)、表示部10におけるライブビュー画像の表示を開始する(ステップS2)。なお、ライブビュー画像の表示中には、前述した低速モード用のプログラム線図を使用したAE制御が行われる。
That is, the CPU 8 starts the operation together with the setting of the moving image shooting mode, immediately sets the drive mode of the
ライブビュー画像の表示中においてCPU8は、ユーザーによる動画撮影モードの終了指示(静止画撮影モードへの変更指示等)の有無を逐次確認し、動画撮影モードの終了指示があれば(ステップS3:YES)、その時点で全ての処理を終了する。 While the live view image is being displayed, the CPU 8 sequentially confirms whether there is an instruction to end the moving image shooting mode (such as an instruction to change to the still image shooting mode) by the user, and if there is an instruction to end the moving image shooting mode (step S3: YES). ), And all processes are terminated at that time.
また、CPU8は、ライブビュー画像の表示中にユーザーによる撮影開始指示の有無を逐次確認し、撮影開始指示があると(ステップS4:YES)、その直前に画像処理部7のメモリ7aに一時記憶された画像データに基づき、現在の被写体の明るさを示すLV値を取得する(ステップS5)。なお、このLV値は、例えばデジタルカメラ1に光量を検出する測光センサが設けられている場合には、その測光センサの出力信号に基づき取得しても構わない。
Further, the CPU 8 sequentially confirms whether or not there is a shooting start instruction by the user while the live view image is displayed. If there is a shooting start instruction (step S4: YES), the CPU 8 temporarily stores it in the
しかる後、CPU8は、LV値が予め決められている閾値以上であるか否かを確認する(ステップS6)。上記閾値は、仮に高速モード(120fps)で撮像素子3を駆動した場合、撮像フレーム画像に一定以上の明るさが確保可能であると判断できる値である。
Thereafter, the CPU 8 confirms whether or not the LV value is equal to or greater than a predetermined threshold (step S6). The threshold value is a value with which it is possible to determine that a certain level of brightness can be secured in the captured frame image when the
そして、CPU8は、LV値が閾値以上である場合には(ステップS6:YES)、前記駆動回路5における撮像素子3の駆動モードを高速モード(120fps)に設定する(ステップS7)。しかる後、CPU8は、記録フレームレートを初期設定値である30fps、つまり再生フレームレートと同一に設定するとともに、前述した順次合成による動画記録を開始する(ステップS8)。
If the LV value is equal to or greater than the threshold (step S6: YES), the CPU 8 sets the drive mode of the
なお、ステップS8に際してCPU8は、AFE6におけるゲインをISO感度200に応じた値に設定するとともに、動画記録中には、高速モード用のプログラム線図を使用したAE制御を行う。
In step S8, the CPU 8 sets the gain in the AFE 6 to a value corresponding to the
つまり、CPU8は、画像処理部7に、図3(b)に示したように、ISO感度200で撮像した撮像フレーム画像を4フレーム毎に合成し、記録フレーム画像を生成する処理を開始させ、生成された記録フレーム画像をCODEC9において圧縮して画像メモリ11に記録する処理を開始する。
That is, the CPU 8 causes the
また、CPU8は、LV値が閾値未満である場合には(ステップS6:NO)、前記駆動回路5における撮像素子3の駆動モードを中速モード(60fps)に設定する(ステップS9)。これにより、各フレームの撮像画像の明るさとして、撮像素子3を高速モードで駆動する場合の2倍の明るさを確保可能にする。しかる後、CPU8は、この場合も記録フレームレートを初期設定値である30fpsに設定するとともに、前述した重複合成による動画記録を開始する(ステップS10)。
If the LV value is less than the threshold value (step S6: NO), the CPU 8 sets the drive mode of the
なお、ステップS10に際してCPU8は、AFE6におけるゲインをISO感度200に応じた値に設定するとともに、動画記録中には、中速モード用のプログラム線図を使用したAE制御を行う。
In step S10, the CPU 8 sets the gain in the AFE 6 to a value corresponding to the
つまり、CPU8は、画像処理部7に、図4(b)に示したように、ISO感度200で撮像した撮像フレームの2フレーム毎に、当該フレームの撮像フレーム画像と直前3フレーム分の撮像フレーム画像とを合成し記録フレーム画像を生成する処理を開始させ、生成された記録フレーム画像をCODEC9において圧縮して画像メモリ11に記録する処理を開始する。
That is, as shown in FIG. 4B, the CPU 8 causes the
以後、撮像素子3を高速モード又は中速モードで駆動して動画撮影を行っている間、CPU8は、ユーザーによって記録フレームレートの変更指示がなく(ステップS11:NO)、かつ撮影終了指示もなければ(ステップS13:NO)、ステップS8又はステップS10で開始した前述した設定内容での動画記録処理を続行する。
Thereafter, while the
そして、動画記録中にユーザーによって記録フレームレートの変更指示があった場合(ステップS11:YES)、CPU8は、ユーザーから指示に応じて記録フレームレートを変更するとともに、ISO感度、加算枚数を、変更後の記録フレームレートと、その時点の撮像素子3の駆動モード、つまり撮像フレームレートに応じて予め決められている値(図2参照)に変更する(ステップS12)。
If the user gives an instruction to change the recording frame rate during moving image recording (step S11: YES), the CPU 8 changes the recording frame rate in accordance with the instruction from the user, and changes the ISO sensitivity and the added number of sheets. The value is changed to a predetermined value (see FIG. 2) according to the later recording frame rate and the driving mode of the
これにより、例えば撮像フレームレートが120fpsである場合においては、ユーザーが記録フレームレートを30fpsから120fpsに変更したときには、図3(b)
に示したように、ISO感度が800、加算枚数が1枚(=加算なし)に変更された状態で動画記録処理が続行される。
Thus, for example, when the imaging frame rate is 120 fps, when the user changes the recording frame rate from 30 fps to 120 fps, FIG.
As shown in FIG. 5, the moving image recording process is continued in a state where the ISO sensitivity is 800 and the number of added sheets is changed to 1 (= no addition).
また、ユーザーが記録フレームレートを30fpsから60fpsに変更したときには、ISO感度が400、加算枚数が2枚に変更された状態で動画記録処理が続行される(図3(a)参照)。 When the user changes the recording frame rate from 30 fps to 60 fps, the moving image recording process is continued with the ISO sensitivity being changed to 400 and the added number being changed to 2 (see FIG. 3A).
さらに、記録フレームレートが120fps又は60fpsから初期設定時の30fpsに変更されたときには、再びISO感度が200、加算枚数が4枚に設定された状態で動画記録処理が続行される(図3(b)参照)。 Further, when the recording frame rate is changed from 120 fps or 60 fps to 30 fps at the initial setting, the moving image recording process is continued again with the ISO sensitivity set to 200 and the added number set to 4 (FIG. 3B). )reference).
一方、上記とは異なり、例えば撮像フレームレートが60fpsである場合においては、ユーザーが記録フレームレートを30fpsから60fpsに変更したときには、図4(a)に示したように、ISO感度が400、加算枚数が2枚に変更された状態で動画記録処理が続行される。 On the other hand, unlike the above, for example, when the imaging frame rate is 60 fps, when the user changes the recording frame rate from 30 fps to 60 fps, the ISO sensitivity is 400, as shown in FIG. The moving image recording process is continued with the number of sheets changed to two.
さらに、記録フレームレートが60fpsに変更された後、ユーザーによりいずれかの時点で記録フレームレートが初期設定時の30fpsに変更されたときには、再びISO感度が200、加算枚数が4枚に変更された状態で動画記録処理が続行される(図4(b)参照)。 Furthermore, after the recording frame rate is changed to 60 fps, when the recording frame rate is changed to 30 fps at the initial setting by the user at any time, the ISO sensitivity is changed to 200 and the number of added sheets is changed to 4 again. In this state, the moving image recording process is continued (see FIG. 4B).
以上のようにCPU8は、ユーザーの指示に応じて記録フレームレートを変更する場合においても、撮像フレームレートを変更することなく、ユーザーの指示に応じた記録フレームレートで記録フレーム画像を生成し記録する。 As described above, even when the recording frame rate is changed according to the user's instruction, the CPU 8 generates and records the recording frame image at the recording frame rate according to the user's instruction without changing the imaging frame rate. .
同時に、ISO感度と撮像フレーム画像の合成枚数とを調整することによって、撮像フレームレートが120fpsのときには、各記録フレーム画像に、記録フレームレートが120fps、ISO感度が800のときと同じ明るさを常に確保し、また、撮像フレームレートが60fpsのときには、各記録フレーム画像に、記録フレームレートが60fps、ISO感度が400のときと同じ明るさを常に確保する。 At the same time, by adjusting the ISO sensitivity and the number of combined frame images, when the shooting frame rate is 120 fps, each recording frame image always has the same brightness as when the recording frame rate is 120 fps and the ISO sensitivity is 800. In addition, when the imaging frame rate is 60 fps, the same brightness as that when the recording frame rate is 60 fps and the ISO sensitivity is 400 is always secured in each recording frame image.
そして、CPU8は、上述した動画記録処理を繰り返している間に、ユーザーによる撮影終了指示があれば(ステップS13:YES)、その時点で動画記録を終了した後(ステップS14)、撮像素子3の駆動モードを低速モード(30fps)に設定(変更)する(ステップS15)。つまり撮像フレームレートをライブビュー画像の表示が可能な程度まで低下させ、無駄な電力消費を防止する。 If the user instructs to end the shooting while the moving image recording process described above is repeated (step S13: YES), the CPU 8 ends the moving image recording at that time (step S14), and then The drive mode is set (changed) to the low speed mode (30 fps) (step S15). That is, the imaging frame rate is reduced to the extent that a live view image can be displayed, thereby preventing unnecessary power consumption.
以後、CPU8は、ステップS3の処理へ戻り、ユーザーによる動画撮影モードの終了指示があるまでの間(ステップS3:NO)、前述したステップS4以降の処理を繰り返し実行する。 Thereafter, the CPU 8 returns to the process of step S3, and repeatedly executes the processes after step S4 described above until the user gives an instruction to end the moving image shooting mode (step S3: NO).
以上のように記録フレームレート切替機能を使用した動画撮影モードにおいては、動画撮影中の撮像フレームレートを記録フレームレートに関係なく120fps又は60fpsに固定するため、動画撮影中に記録フレームレートを変更しても撮像動作にタイムラグが発生することがない。 As described above, in the moving image shooting mode using the recording frame rate switching function, since the imaging frame rate during moving image shooting is fixed to 120 fps or 60 fps regardless of the recording frame rate, the recording frame rate is changed during moving image shooting. However, no time lag occurs in the imaging operation.
また、記録フレームレートを撮像フレームレート未満に設定したときには、記録フレームレートに応じたフレーム数分の撮像フレーム画像を合成して記録フレーム画像を生成することにより、記録フレームレートを固定したまま、実質的な露光時間を長くすることができる。しかも、合成対象となる複数の撮像フレーム画像に存在するランダムノイズは合成後の画像において増大することがない。 In addition, when the recording frame rate is set to be lower than the imaging frame rate, the recording frame image is generated by synthesizing the imaging frame images corresponding to the number of frames according to the recording frame rate, so that the recording frame rate is substantially fixed. Exposure time can be increased. In addition, random noise present in a plurality of captured frame images to be combined does not increase in the combined image.
同時にISO感度を、記録フレームレートに応じた値であって、記録フレームレートが撮像フレームレートと同じときよりも低い値に設定することにより、記録フレーム画像のノイズが低減できるとともに、記録フレームレートの変更前後における画像の明るさを一定に維持することができる。 At the same time, by setting the ISO sensitivity to a value corresponding to the recording frame rate and lower than that when the recording frame rate is the same as the imaging frame rate, the noise of the recording frame image can be reduced and the recording frame rate can be reduced. The brightness of the image before and after the change can be kept constant.
したがって、動画撮影中に記録フレームレートを切り替え可能とする場合においても、より質の高い動画像を記録することができる。 Therefore, even when the recording frame rate can be switched during moving image shooting, a higher quality moving image can be recorded.
また、動画撮影中の撮像フレームレートを、撮影開始時点で被写体の明るさ(LV値)に応じて設定するようにし、被写体の明るさが閾値未満である場合には、設定可能な最速の撮像フレームレートである120fpsよりも低速の60fpsに設定するようにした。つまり各フレームの撮像画像の明るさとして、撮像素子3を高速モードで駆動する場合の2倍の明るさを確保可能とした。
Also, the imaging frame rate during moving image shooting is set according to the brightness (LV value) of the subject at the start of shooting, and when the brightness of the subject is less than the threshold, the fastest possible imaging The frame rate is set to 60 fps, which is lower than 120 fps. That is, the brightness of the captured image of each frame can be ensured twice as bright as when the
したがって、撮像フレームレートを常に120fpsに固定する場合に比べ、記録フレームレート切替機能を使用する場合において、より暗い被写体の撮影を可能とすることができる。つまり動画撮影時における記録フレームレート切替機能の使用範囲を広げることができる。 Therefore, it is possible to shoot a darker subject when the recording frame rate switching function is used as compared with the case where the imaging frame rate is always fixed to 120 fps. That is, the use range of the recording frame rate switching function at the time of moving image shooting can be expanded.
また、記録フレームレートを撮像フレームレート未満に設定されている間における撮像フレーム画像の合成方法を、撮像フレームレートが120fpsに固定されているときには前述した順次合成とし、かつ撮像フレームレートが60fpsに固定されているときには前述した重複合成とした。 Also, the method for synthesizing the captured frame image while the recording frame rate is set to be lower than the imaging frame rate is the above-described sequential composition when the imaging frame rate is fixed to 120 fps, and the imaging frame rate is fixed to 60 fps. When this is done, the above-described overlap synthesis was adopted.
そのため、撮像フレームレートに関係なく、記録フレームレートが同一の場合にはISO感度を同一とすることができ(図2参照)、被写体の明るさに応じて撮像フレームレートを異なる値に固定したとしても、記録フレーム画像に不可避的に生ずるISO感度に応じたノイズ量を同程度とすることができる。 Therefore, regardless of the imaging frame rate, when the recording frame rate is the same, the ISO sensitivity can be the same (see FIG. 2), and the imaging frame rate is fixed to a different value according to the brightness of the subject. In addition, the amount of noise corresponding to the ISO sensitivity that inevitably occurs in the recording frame image can be made comparable.
したがって、記録フレームレートが同一の場合には、被写体の明るさに関係なく記録する動画像の質を安定させることができる。 Therefore, when the recording frame rate is the same, the quality of the moving image to be recorded can be stabilized regardless of the brightness of the subject.
なお、本実施形態においては、設定可能な最速の撮像フレームレートが120fpsであるとともに、動画撮影中に変更(設定)可能な記録フレームレートが120fps、60fps、30fpsの3段階である場合について説明した。 In the present embodiment, the case where the fastest imaging frame rate that can be set is 120 fps and the recording frame rate that can be changed (set) during moving image shooting is three stages of 120 fps, 60 fps, and 30 fps has been described. .
しかし、本発明の実施に際しては、設定可能な最速の撮像フレームレートは120fps以上であってもよい。また、動画撮影中に変更(設定)可能な記録フレームレートは最速の撮像フレームレートよりも低速であればよく、記録フレームレートは3段階以上であってもよい。 However, when the present invention is implemented, the fastest imaging frame rate that can be set may be 120 fps or more. Further, the recording frame rate that can be changed (set) during moving image shooting only needs to be lower than the fastest imaging frame rate, and the recording frame rate may be three or more stages.
また、変更(設定)可能な記録フレームレートは、必ずしも設定可能な最速の撮像フレームレートの1/n(nは整数)でなくともよく、それ以外の場合においても、ISO感度を撮像フレームレートと記録フレームレートとの比率に応じて予め決められた値に固定することにより、より質の高い動画像を記録することができる。 In addition, the recording frame rate that can be changed (set) does not necessarily have to be 1 / n (n is an integer) of the fastest imaging frame rate that can be set. In other cases, the ISO sensitivity can be used as the imaging frame rate. By fixing the value to a predetermined value according to the ratio to the recording frame rate, a higher quality moving image can be recorded.
また、本実施形態においては、動画撮影中における記録フレームレートの切替をユーザーによる変更指示に応じて行うものについて説明したが、本発明の実施に際しては、記録フレームレートの切替を所定のタイミングで自動的に行わせるようにしてもよい。 In this embodiment, the recording frame rate is switched according to the change instruction from the user during moving image shooting. However, when the present invention is implemented, the recording frame rate is automatically switched at a predetermined timing. You may make it carry out automatically.
より具体的には、例えば記録フレームレートを、動画撮影の開始後、ユーザーが予め設定した時間等の所定時間が経過したタイミングで、再生フレームレートと同じ記録フレームレート(30fps)から、それよりも高速の記録フレームレート(設定可能な最速の記録フレームレート等)に自動的に切り替えるようにしてもよい。 More specifically, for example, the recording frame rate is changed from a recording frame rate (30 fps) that is the same as the playback frame rate at a timing when a predetermined time such as a time set in advance by the user has elapsed after the start of moving image shooting. You may make it switch automatically to a high-speed recording frame rate (the fastest recording frame rate etc. which can be set).
その場合、例えばユーザーが三脚等にデジタルカメラ1を固定した状態で、自己のゴルフスイングのフォームを撮影する場合には都合がよい。すなわち、ユーザーが上記の所定時間として、撮影開始操作を行ってから画角内でゴルフスイングを開始するまでの所要時間を設定しておけば、ゴルフスイングを行っている間のみを最速の記録フレームレートで撮影することができる。つまりゴルフスイングを開始するまでの動画データの記録量を削減しつつ、ゴルフスイングを行っている間のみを、良質な動画像でスロー再生することができる。
In this case, for example, it is convenient when the user shoots a golf swing form with the
さらに、上記に加え、最速の記録フレームレートによる撮影時間もユーザーが予め設定した時間等の所定時間とし、係る所定時間が経過したタイミングで記録フレームレートを自動的に30fpsに切り替える(戻す)ようにしてもよい。その場合には、ゴルフスイングを終了してから動画撮影を終了するまでの動画データの記録量も削減することができる。 In addition to the above, the shooting time at the fastest recording frame rate is also set to a predetermined time such as a time preset by the user, and the recording frame rate is automatically switched (returned) to 30 fps when the predetermined time has elapsed. May be. In that case, the amount of moving image data recorded from the end of the golf swing to the end of moving image shooting can also be reduced.
また、例えば動画撮影中には、動画像の記録と並行して、撮像フレーム画像に基づき公知の画像認識技術を用いて被写体の特定の動きを検出する動体検出を行い、特定の動きを検出したタイミングで記録フレームレートを最速の記録フレームレートに自動的に切り替えるようにしてもよい。 Also, for example, during moving image shooting, in parallel with recording of moving images, moving object detection is performed to detect a specific movement of the subject using a known image recognition technique based on the captured frame image, and the specific movement is detected. The recording frame rate may be automatically switched to the fastest recording frame rate at the timing.
さらには、上記のように記録フレームレートを最速の記録フレームレートに切り替えた後、被写体の特定の動きが検出できた時点で、記録フレームレートを自動的に30fpsに切り替える(戻す)ようにしてもよい。 Further, after the recording frame rate is switched to the fastest recording frame rate as described above, the recording frame rate is automatically switched (returned) to 30 fps when a specific movement of the subject can be detected. Good.
その場合には、例えば動画撮影中に、動画像の記録と並行して、撮像フレーム画像に基づいて任意の人物によるゴルフスイングの開始時点(例えばバックスイングの開始時点)、及びゴルフスイングの終了時点(例えばフォロースルーの完了時点)を検出させれば、正確にゴルフスイングを行っている間のみを最速の記録フレームレートで撮影することができる。 In that case, for example, during movie shooting, in parallel with the recording of the moving image, the golf swing start time (for example, the back swing start time) by an arbitrary person based on the captured frame image, and the golf swing end time By detecting (for example, when the follow-through is completed), it is possible to shoot at the fastest recording frame rate only while performing a golf swing accurately.
また、以上の例とは別に、動画撮影中における記録フレームレートの切り替えは、例えばパンニングに伴い画角が急激に変化したタイミングで自動的に行わせるようにしてもよい。その場合にも、画角が急激に変化し始めた時点に加え、その後、画角が安定した時点も検出し、その時点で記録フレームレートを自動的に30fpsに切り替える(戻す)ようにしてもよい。 In addition to the above example, the switching of the recording frame rate during moving image shooting may be performed automatically at the timing when the angle of view suddenly changes with panning, for example. In this case, in addition to the time when the angle of view starts to change suddenly, the time when the angle of view becomes stable is also detected, and the recording frame rate is automatically switched (returned) to 30 fps at that point. Good.
なお、画角が急激に変化した時点や画角が安定した時点の検出は、公知の画像認識技術を用いれば撮像フレーム画像に基づいて行うことができ、またカメラ本体に加速度センサが設けられていれば、加速度センサの検出信号によって行うことができる。 The detection of the time when the angle of view suddenly changes or the time when the angle of view is stable can be detected based on the captured frame image using a known image recognition technique, and an acceleration sensor is provided in the camera body. Then, it can be performed by the detection signal of the acceleration sensor.
その場合には、例えば動画撮影中に主たる被写体が動き出し、それに追随してカメラをパンさせたときには、記録フレームレートを最速の記録フレームレートに自動的に切り替えることができ、撮影後には、カメラをパンさせている間の主たる被写体、及びその背景を含む全ての被写体の変化状態を良質な動画像でスロー再生することができる。 In that case, for example, when the main subject starts moving during video recording and the camera is panned accordingly, the recording frame rate can be automatically switched to the fastest recording frame rate. The main subject during panning and the change state of all subjects including the background can be slowly reproduced with a high-quality moving image.
以上、本発明の実施形態、及びその変形例について説明したが、これらは本発明の作用効果が得られる範囲内であれば適宜変更が可能であり、変更後の実施形態も特許請求の範囲に記載された発明、及びその発明と均等の発明の範囲に含まれる。以下に、本出願の当初の特許請求の範囲に記載された発明を付記する。
[請求項1]
被写体の画像を撮像する撮像手段と、
所定の撮像フレームレートで前記撮像手段が撮像した複数枚の画像を合成する合成手段と、
前記撮像手段が撮像した画像または前記合成手段による合成後の画像を所定の記録フレームレートで記録する記録手段と、
撮像フレームレートを前記所定の撮像フレームレートに固定した状態で前記撮像手段に撮像動作を開始させる撮像制御手段と、
前記撮像手段における前記所定の撮像フレームレートでの撮像動作期間中に、前記所定の記録フレームレートを前記所定の撮像フレームレートを上限とした範囲内で変更する変更手段と、
前記変更手段による変更後の記録フレームレートが前記所定の撮像フレームレートと一致する場合には、前記記録手段が記憶する画像を前記撮像手段により撮像された画像に変更し、前記変更手段による変更後の記録フレームレートが前記所定の撮像フレームレート未満である場合には、前記合成手段に前記複数枚の画像の合成を開始させるとともに、前記記録手段が記憶する画像を前記合成手段による合成後の画像に変更する記録制御手段と、
前記変更手段による記録フレームレートの変更に伴い、前記撮像手段の撮像動作における撮像感度を前記変更後の記録フレームレートに応じて制御する感度制御手段と
を備えたことを特徴とする撮像装置。
[請求項2]
前記記録制御手段は、前記変更後の記録フレームレートが前記所定の撮像フレームレート未満である場合、前記合成手段に、前記所定の撮像フレームレートと前記変更後の記録フレームレートとの比率に応じて決められている枚数分の複数枚の画像の合成を開始させることを特徴とする請求項1記載の撮像装置。
[請求項3]
前記感度制御手段は、前記撮像感度を、前記所定の撮像フレームレートと前記変更後の記録フレームレートとの比率に応じて決められている撮像感度に固定することを特徴とする請求項1又は2記載の撮像装置。
[請求項4]
前記撮像手段における撮像動作の開始時点の被写体の明るさを取得する取得手段をさらに備え、
前記撮像制御手段は、前記所定の撮像フレームレートとして、前記取得手段が取得した被写体の明るさに応じた撮像フレームレートを設定し、設定した撮像フレームレートに撮像フレームレートを固定した状態で前記撮像手段に撮像動作を開始させる
ことを特徴とする請求項1又は2,3記載の撮像装置。
[請求項5]
前記撮像制御手段は、前記取得手段が取得した被写体の明るさが閾値以上の場合には、前記所定の撮像フレームレートとして設定可能な最速の撮像フレームレートを設定し、前記取得手段が取得した被写体の明るさが閾値以上の場合には、前記所定の撮像フレームレートとして前記最速の撮像フレームレートの2分の1の撮像フレームレートを設定することを特徴とする請求項4記載の撮像装置。
[請求項6]
前記記録制御手段は、前記変更手段による変更後の記録フレームレートが前記所定の撮像フレームレート未満であって、前記合成手段に前記複数枚の画像の合成を開始させる際、
前記撮像制御手段により設定された前記所定の撮像フレームレートが前記最速の撮像フレームレートである場合には、前記合成手段に、合成対象の複数枚の画像の全てが記録フレーム毎に異なる順次合成を開始させ、
前記撮像制御手段により設定された前記所定の撮像フレームレートが前記最速の撮像フレームレートの2分の1の撮像フレームレートである場合には、前記合成手段に、記録フレーム毎の合成対象の複数枚の画像に前回の記録フレームで使用した1又は複数の画像が含まれる重複合成を開始させる
ことを特徴とする請求項4記載の撮像装置。
[請求項7]
前記変更手段は、前記撮像手段における前記所定の撮像フレームレートでの撮像動作期間中に、使用者の要求に応じ前記所定の記録フレームレートを変更することを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。
[請求項8]
前記変更手段は、前記撮像手段における前記所定の撮像フレームレートでの撮像動作期間中に、所定のタイミングで前記所定の記録フレームレートを自動的に変更することを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。
[請求項9]
被写体の画像を撮像する撮像手段と、所定の撮像フレームレートで前記撮像手段が撮像した複数枚の画像を合成する合成手段と、前記撮像手段が撮像した画像または前記合成手段による合成後の画像を所定の記録フレームレートで記録する記録手段とを備えた撮像装置の制御方法であって、
撮像フレームレートを前記所定の撮像フレームレートに固定した状態で前記撮像手段に撮像動作を開始させる工程と、
前記撮像手段における前記所定の撮像フレームレートでの撮像動作期間中に、前記所定の記録フレームレートを前記所定の撮像フレームレートを上限とした範囲内で変更する工程と、
変更後の記録フレームレートが前記所定の撮像フレームレートと一致する場合には、前記記録手段が記憶する画像を前記撮像手段により撮像された画像に変更し、変更後の記録フレームレートが前記所定の撮像フレームレート未満である場合には、前記合成手段に前記複数枚の画像の合成を開始させるとともに、前記記録手段が記憶する画像を前記合成手段による合成後の画像に変更する工程と、
前記記録フレームレートの変更に伴い、前記撮像手段の撮像動作における撮像感度を前記変更後の記録フレームレートに応じて制御する工程と
を含むことを特徴とする撮像装置の制御方法。
[請求項10]
被写体の画像を撮像する撮像手段と、所定の撮像フレームレートで前記撮像手段が撮像した複数枚の画像を合成する合成手段と、前記撮像手段が撮像した画像または前記合成手段による合成後の画像を所定の記録フレームレートで記録する記録手段とを備えた撮像装置が有するコンピュータを、
撮像フレームレートを前記所定の撮像フレームレートに固定した状態で前記撮像手段に撮像動作を開始させる撮像制御手段と、
前記撮像手段における前記所定の撮像フレームレートでの撮像動作期間中に、前記所定の記録フレームレートを前記所定の撮像フレームレートを上限とした範囲内で変更する変更手段と、
前記変更手段による変更後の記録フレームレートが前記所定の撮像フレームレートと一致する場合には、前記記録手段が記憶する画像を前記撮像手段により撮像された画像に変更し、前記変更手段による変更後の記録フレームレートが前記所定の撮像フレームレート未満である場合には、前記合成手段に前記複数枚の画像の合成を開始させるとともに、前記記録手段が記憶する画像を前記合成手段による合成後の画像に変更する記録制御手段と、
前記変更手段による記録フレームレートの変更に伴い、前記撮像手段の撮像動作における撮像感度を前記変更後の記録フレームレートに応じて制御する感度制御手段と
して機能させることを特徴とするプログラム。
As mentioned above, although embodiment of this invention and its modification were demonstrated, as long as these are in the range with which the effect of this invention is obtained, it can change suitably, and embodiment after change is also in a claim. It is included in the scope of the invention described and equivalent invention. The invention described in the scope of the claims of the present application will be appended below.
[Claim 1]
Imaging means for capturing an image of a subject;
Combining means for combining a plurality of images picked up by the image pickup means at a predetermined image pickup frame rate;
A recording unit that records an image captured by the imaging unit or an image combined by the combining unit at a predetermined recording frame rate;
Imaging control means for causing the imaging means to start an imaging operation in a state in which an imaging frame rate is fixed to the predetermined imaging frame rate;
Changing means for changing the predetermined recording frame rate within a range up to the predetermined imaging frame rate during an imaging operation period at the predetermined imaging frame rate in the imaging means;
When the recording frame rate changed by the changing unit matches the predetermined imaging frame rate, the image stored in the recording unit is changed to an image taken by the imaging unit, and after the change by the changing unit When the recording frame rate is less than the predetermined imaging frame rate, the synthesizing unit starts synthesizing the plurality of images, and the image stored by the recording unit is combined with the synthesizing unit. Recording control means to be changed to,
An imaging apparatus comprising: sensitivity control means for controlling imaging sensitivity in an imaging operation of the imaging means according to the changed recording frame rate in accordance with the change of the recording frame rate by the changing means.
[Claim 2]
When the changed recording frame rate is less than the predetermined imaging frame rate, the recording control unit causes the combining unit to respond to a ratio between the predetermined imaging frame rate and the changed recording frame rate. The imaging apparatus according to
[Claim 3]
The sensitivity control unit fixes the imaging sensitivity to an imaging sensitivity determined according to a ratio between the predetermined imaging frame rate and the changed recording frame rate. The imaging device described.
[Claim 4]
An acquisition unit for acquiring the brightness of the subject at the start of the imaging operation in the imaging unit;
The imaging control unit sets an imaging frame rate according to the brightness of the subject acquired by the acquisition unit as the predetermined imaging frame rate, and the imaging frame rate is fixed to the set imaging frame rate. The image pickup apparatus according to
[Claim 5]
The imaging control unit sets the fastest imaging frame rate that can be set as the predetermined imaging frame rate when the brightness of the subject acquired by the acquisition unit is greater than or equal to a threshold, and the subject acquired by the acquisition unit The imaging apparatus according to
[Claim 6]
The recording control means, when the recording frame rate after the change by the changing means is less than the predetermined imaging frame rate, when causing the synthesizing means to start synthesizing the plurality of images,
When the predetermined imaging frame rate set by the imaging control means is the fastest imaging frame rate, the synthesizing unit sequentially combines different images for each recording frame. Start,
When the predetermined imaging frame rate set by the imaging control means is an imaging frame rate that is one half of the fastest imaging frame rate, a plurality of images to be synthesized for each recording frame are sent to the synthesizing means. The imaging apparatus according to
[Claim 7]
7. The change unit according to
[Claim 8]
7. The change unit according to
[Claim 9]
An imaging unit that captures an image of a subject, a combining unit that combines a plurality of images captured by the imaging unit at a predetermined imaging frame rate, and an image captured by the imaging unit or an image that has been combined by the combining unit. A control method for an imaging apparatus comprising recording means for recording at a predetermined recording frame rate,
A step of causing the imaging means to start an imaging operation in a state where an imaging frame rate is fixed to the predetermined imaging frame rate;
Changing the predetermined recording frame rate within a range up to the predetermined imaging frame rate during an imaging operation period at the predetermined imaging frame rate in the imaging means;
When the changed recording frame rate matches the predetermined imaging frame rate, the image stored by the recording unit is changed to an image captured by the imaging unit, and the changed recording frame rate is the predetermined imaging frame rate. When the image capturing frame rate is less than the imaging frame rate, the combining unit starts combining the plurality of images, and the image stored in the recording unit is changed to an image combined by the combining unit;
A method of controlling an imaging sensitivity in an imaging operation of the imaging unit according to the change in the recording frame rate, in accordance with the recording frame rate after the change.
[Claim 10]
An imaging unit that captures an image of a subject, a combining unit that combines a plurality of images captured by the imaging unit at a predetermined imaging frame rate, and an image captured by the imaging unit or an image that has been combined by the combining unit. A computer having an imaging device including a recording unit configured to record at a predetermined recording frame rate;
Imaging control means for causing the imaging means to start an imaging operation in a state in which an imaging frame rate is fixed to the predetermined imaging frame rate;
Changing means for changing the predetermined recording frame rate within a range up to the predetermined imaging frame rate during an imaging operation period at the predetermined imaging frame rate in the imaging means;
When the recording frame rate changed by the changing unit matches the predetermined imaging frame rate, the image stored in the recording unit is changed to an image taken by the imaging unit, and after the change by the changing unit When the recording frame rate is less than the predetermined imaging frame rate, the synthesizing unit starts synthesizing the plurality of images, and the image stored by the recording unit is combined with the synthesizing unit. Recording control means to be changed to,
A program that functions as sensitivity control means for controlling the imaging sensitivity of the imaging operation of the imaging means in accordance with the changed recording frame rate in accordance with the change of the recording frame rate by the changing means.
1 デジタルカメラ
2 レンズブロック
3 撮像素子
4 光学系駆動部
5 駆動回路
6 AFE
7 画像処理部
7a メモリ
8 CPU
9 CODEC
10 表示部
11 画像メモリ
12 操作部
13 RAM
14 プログラムメモリ
DESCRIPTION OF
7
9 CODEC
DESCRIPTION OF
14 Program memory
本発明は、撮像制御装置、及びその制御方法とプログラムに関するものである。 The present invention relates imaging control apparatus, and its control method and program.
前記課題を解決するため、本発明の撮像制御装置にあっては、撮像フレームレートと記録フレームレートに基づいて、撮像手段の撮像動作における撮像感度と、前記撮像手段から出力される撮像フレームの処理態様と、を変更制御する制御手段、を備えたことを特徴とする。 In order to solve the above problems, in the imaging control apparatus of the present invention , based on the imaging frame rate and the recording frame rate, the imaging sensitivity in the imaging operation of the imaging unit and the processing of the imaging frame output from the imaging unit And a control means for changing and controlling the mode.
Claims (7)
前記撮像手段が前記第1のフレームレートの撮像フレームレートで撮像した画像を前記第1のフレームレートと同一の記録フレームレートで記録する時の前記撮像手段の撮像動作における撮像感度を第1の感度、とした時に、
前記撮像手段が前記第1のフレームレートで撮像した画像を前記第1のフレームレートより低速の第2のフレームレートで合成記録する際のフレーム合成数と前記撮像手段の撮像動作における撮像感度を、
フレーム合成数=第1のフレームレート÷第2のフレームレート;
撮像感度=第1の感度÷フレーム合成数;
として制御する制御手段、
を備えたことを特徴とする撮像装置。 The imaging frame rate that can be set in the imaging means is a first frame rate,
The imaging sensitivity in the imaging operation of the imaging unit when the imaging unit records the image captured at the imaging frame rate of the first frame rate at the same recording frame rate as the first frame rate is the first sensitivity. When,
The number of frame synthesis when the image captured by the imaging unit is combined and recorded at a second frame rate lower than the first frame rate and the imaging sensitivity in the imaging operation of the imaging unit.
Frame synthesis number = first frame rate / second frame rate;
Imaging sensitivity = first sensitivity ÷ number of frames combined;
Control means to control as,
An imaging apparatus comprising:
前記第1のフレームレートが所定のフレームレートより高速の場合は、
フレーム合成を行なう合成対象の複数枚の画像の全てが記録フレーム毎に異なる順次合成を行ない、
前記第1のフレームレートが所定のフレームレート以下の場合は、
フレーム合成を行なう合成対象の複数枚の画像に前回の記録フレームで使用した1又は複数の画像が含まれる重複合成を行なう、
ことを特徴とする請求項1記載の撮像装置。 The control means includes
When the first frame rate is higher than a predetermined frame rate,
All of the multiple images to be combined for frame synthesis are sequentially combined differently for each recording frame,
When the first frame rate is equal to or lower than a predetermined frame rate,
Performing overlapping composition in which one or a plurality of images used in the previous recording frame are included in a plurality of images to be combined for frame composition;
The imaging apparatus according to claim 1.
撮像手段に設定可能な最速の撮像フレームレートを第1のフレームレート、
前記撮像手段が前記第1のフレームレートの撮像フレームレートで撮像した画像を前記第1のフレームレートと同一の記録フレームレートで記録する時の前記撮像手段の撮像動作における撮像感度を第1の感度、とした時に、
前記撮像手段が前記第1のフレームレートで撮像した画像を前記第1のフレームレートより低速の第2のフレームレートで合成記録する際のフレーム合成数と前記撮像手段の撮像動作における撮像感度を、
フレーム合成数=第1のフレームレート÷第2のフレームレート;
撮像感度=第1の感度÷フレーム合成数;
として制御する工程、
を含むことを特徴とする撮像装置の制御方法。 A method for controlling an imaging apparatus including an imaging means,
The fastest imaging frame rate that can be set in the imaging means is the first frame rate,
The imaging sensitivity in the imaging operation of the imaging unit when the imaging unit records the image captured at the imaging frame rate of the first frame rate at the same recording frame rate as the first frame rate is the first sensitivity. When,
The number of frame synthesis when the image captured by the imaging unit is combined and recorded at a second frame rate lower than the first frame rate and the imaging sensitivity in the imaging operation of the imaging unit.
Frame synthesis number = first frame rate / second frame rate;
Imaging sensitivity = first sensitivity ÷ number of frames combined;
As a controlling process,
A method for controlling an imaging apparatus, comprising:
撮像手段に設定可能な最速の撮像フレームレートを第1のフレームレート、
前記撮像手段が前記第1のフレームレートの撮像フレームレートで撮像した画像を前記第1のフレームレートと同一の記録フレームレートで記録する時の前記撮像手段の撮像動作における撮像感度を第1の感度、とした時に、
前記撮像手段が前記第1のフレームレートで撮像した画像を前記第1のフレームレートより低速の第2のフレームレートで合成記録する際のフレーム合成数と前記撮像手段の撮像動作における撮像感度を、
フレーム合成数=第1のフレームレート÷第2のフレームレート;
撮像感度=第1の感度÷フレーム合成数;
として制御する制御手段と、
して機能させることを特徴とするプログラム。 A computer included in an imaging apparatus provided with imaging means,
The fastest imaging frame rate that can be set in the imaging means is the first frame rate,
The imaging sensitivity in the imaging operation of the imaging unit when the imaging unit records the image captured at the imaging frame rate of the first frame rate at the same recording frame rate as the first frame rate is the first sensitivity. When,
The number of frame synthesis when the image captured by the imaging unit is combined and recorded at a second frame rate lower than the first frame rate and the imaging sensitivity in the imaging operation of the imaging unit.
Frame synthesis number = first frame rate / second frame rate;
Imaging sensitivity = first sensitivity ÷ number of frames combined;
Control means to control as,
A program characterized by making it function.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017027469A JP6354877B2 (en) | 2017-02-17 | 2017-02-17 | Imaging control apparatus, and control method and program thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017027469A JP6354877B2 (en) | 2017-02-17 | 2017-02-17 | Imaging control apparatus, and control method and program thereof |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013145114A Division JP6103481B2 (en) | 2013-07-11 | 2013-07-11 | Imaging apparatus, and control method and program thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017123670A true JP2017123670A (en) | 2017-07-13 |
JP6354877B2 JP6354877B2 (en) | 2018-07-11 |
Family
ID=59306465
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017027469A Active JP6354877B2 (en) | 2017-02-17 | 2017-02-17 | Imaging control apparatus, and control method and program thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6354877B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019025263A (en) * | 2017-08-04 | 2019-02-21 | 株式会社三共 | Game machine |
JP2019092018A (en) * | 2017-11-14 | 2019-06-13 | オリンパス株式会社 | Imaging device and display method |
WO2020248705A1 (en) * | 2019-06-12 | 2020-12-17 | 杭州萤石软件有限公司 | Camera and camera starting method and device |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007116418A (en) * | 2005-10-20 | 2007-05-10 | Sony Corp | Image conversion device, image signal processing device, camera system and image signal processing method |
JP2007281548A (en) * | 2006-04-03 | 2007-10-25 | Samsung Techwin Co Ltd | Imaging apparatus and method |
JP2008203791A (en) * | 2007-02-22 | 2008-09-04 | Ricoh Co Ltd | Imaging apparatus and imaging method |
JP2010114857A (en) * | 2008-11-10 | 2010-05-20 | Canon Inc | Imaging apparatus and imaging method |
JP2012175419A (en) * | 2011-02-22 | 2012-09-10 | Canon Inc | Moving image photographing device, and control method and program of the same |
-
2017
- 2017-02-17 JP JP2017027469A patent/JP6354877B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007116418A (en) * | 2005-10-20 | 2007-05-10 | Sony Corp | Image conversion device, image signal processing device, camera system and image signal processing method |
JP2007281548A (en) * | 2006-04-03 | 2007-10-25 | Samsung Techwin Co Ltd | Imaging apparatus and method |
JP2008203791A (en) * | 2007-02-22 | 2008-09-04 | Ricoh Co Ltd | Imaging apparatus and imaging method |
JP2010114857A (en) * | 2008-11-10 | 2010-05-20 | Canon Inc | Imaging apparatus and imaging method |
JP2012175419A (en) * | 2011-02-22 | 2012-09-10 | Canon Inc | Moving image photographing device, and control method and program of the same |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019025263A (en) * | 2017-08-04 | 2019-02-21 | 株式会社三共 | Game machine |
JP2019092018A (en) * | 2017-11-14 | 2019-06-13 | オリンパス株式会社 | Imaging device and display method |
WO2020248705A1 (en) * | 2019-06-12 | 2020-12-17 | 杭州萤石软件有限公司 | Camera and camera starting method and device |
Also Published As
Publication number | Publication date |
---|---|
JP6354877B2 (en) | 2018-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4591325B2 (en) | Imaging apparatus and program | |
JP4569389B2 (en) | Imaging apparatus, image processing method, and program | |
US8743227B2 (en) | Imaging apparatus and control method for reducing a load of writing image data on a recording medium | |
JP5002931B2 (en) | Imaging apparatus and program thereof | |
KR20120084696A (en) | Imaging apparatus and imaging method for taking moving image | |
JP2007318725A (en) | Camera, photographing control method of camera, program, and recording medium | |
JP4556195B2 (en) | Imaging device, moving image playback device, and program | |
JP5240213B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
JP2012151705A (en) | Moving image processing system, moving image processing method, and program | |
JP2009065573A (en) | Imaging apparatus, focus control method, and focus control program | |
JP2009111518A (en) | Imaging apparatus, image reproducing unit and program thereof, and data structure of image file | |
JP5141324B2 (en) | Imaging apparatus, imaging apparatus control method, signal processing apparatus, and signal processing method | |
JP6354877B2 (en) | Imaging control apparatus, and control method and program thereof | |
JP5909997B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
JP5182253B2 (en) | Imaging device | |
JP2006033123A (en) | Image pickup device | |
JP6103481B2 (en) | Imaging apparatus, and control method and program thereof | |
JP4761048B2 (en) | Imaging apparatus and program thereof | |
JP2005055746A (en) | Imaging apparatus, focusing control method and program | |
JP4785460B2 (en) | Imaging apparatus and imaging method | |
JP2006005681A (en) | Image imaging device, image reproducing device, and image pickup and reproduction system | |
JP5012985B2 (en) | Imaging apparatus and program thereof | |
JP2004207805A (en) | Digital still camera | |
JP4678273B2 (en) | Imaging apparatus, moving image storage method, and moving image storage program | |
JP2000197003A (en) | Dynamic image recorder |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180123 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180402 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180515 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180528 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6354877 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |