JP2017022596A - Image processing apparatus, control method of the same, and program - Google Patents

Image processing apparatus, control method of the same, and program Download PDF

Info

Publication number
JP2017022596A
JP2017022596A JP2015139614A JP2015139614A JP2017022596A JP 2017022596 A JP2017022596 A JP 2017022596A JP 2015139614 A JP2015139614 A JP 2015139614A JP 2015139614 A JP2015139614 A JP 2015139614A JP 2017022596 A JP2017022596 A JP 2017022596A
Authority
JP
Japan
Prior art keywords
image
charge accumulation
pixel group
image processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015139614A
Other languages
Japanese (ja)
Inventor
寺山 公太
Kimita Terayama
公太 寺山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015139614A priority Critical patent/JP2017022596A/en
Publication of JP2017022596A publication Critical patent/JP2017022596A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an image processing apparatus that prevents reduction in dynamic resolution at low illuminance and noise increase in a still area, while improving resolution (dynamic resolution) of an area where a subject is a moving body.SOLUTION: An imaging system control circuit 104 divides an imaging element for control so as to capture a subject image in parallel in different accumulation times. A move detection circuit 112 acquires a plurality of images captured in different accumulation times, and detects a move area of the subject image from the image. An image synthesis circuit 203 synthesizes a plurality of images by changing a synthesis rate in accordance with whether it is a move area.SELECTED DRAWING: Figure 4

Description

本発明は、画像処理装置、その制御方法及びプログラムに関する。   The present invention relates to an image processing apparatus, a control method thereof, and a program.

撮像素子を用いた動画像撮像装置が広く一般に普及している。CCDまたはCMOSイメージセンサなどの撮像素子は、各画素で入射光を電荷に変換して蓄積し、蓄積した電荷を増幅することで電気信号を出力する光電変換を行い、画像を生成する。これらの撮像装置は、絞り機構制御、撮像素子における電荷の蓄積時間制御および撮像信号のゲイン制御を適切に行うことで、適正露出画像を得ている。しかし夜景などの暗い被写体を撮影する場合には、絞りを開放に制御し、長秒露出を行ってもなお露出不足を補えないことがある。この場合、撮像信号のゲインを増大して適正信号とするため、ノイズが増加し、撮影画像の画質が低下してしまう。また、露出不足を補うために過剰に長秒露出に制御すると、被写体が動体である領域の解像度が低下してしまう。   A moving image imaging apparatus using an imaging element has been widely spread. An imaging device such as a CCD or a CMOS image sensor converts an incident light into a charge in each pixel and accumulates it, and amplifies the accumulated charge to perform photoelectric conversion to output an electric signal to generate an image. These imaging apparatuses obtain a proper exposure image by appropriately performing diaphragm mechanism control, charge accumulation time control in the image sensor, and gain control of the imaging signal. However, when shooting a dark subject such as a night view, it may not be possible to compensate for the underexposure even if the aperture is controlled to open and long exposure is performed. In this case, since the gain of the imaging signal is increased to obtain an appropriate signal, noise increases and the quality of the captured image is degraded. In addition, if the exposure is controlled to be excessively long in order to compensate for the underexposure, the resolution of the area where the subject is a moving object is lowered.

そこで、電荷蓄積時間を見直す制御や、撮影する被写体の動きを解析し画像の動き領域と静止領域で異なる画像処理を行う撮像装置が提案されている。
特許文献1では、撮像素子の読み出し周期を動画像の記録レートよりも長く設定するとともに蓄積時間を可変とする露出制御を行うことで、被写体照度不足を補うためのゲイン増大による画質の劣化を回避する方法が開示されている。
また、特許文献2では、撮像素子より読み出した画像信号と、該画像信号に基づいて撮像領域を複数のブロックに分割してブロック毎に被写体の動き検出を行う。そして、ブロック毎に蓄積時間制御ならびに信号処理を行った画像信号とを、ブロック領域毎に合成比率を制御することで、静止部分のノイズ特性と動き部分の解像度を両立させる方法が開示されている。
In view of this, there has been proposed an image pickup apparatus that performs control for reviewing the charge accumulation time, analyzes the movement of the subject to be photographed, and performs different image processing in the moving area and the still area of the image.
In Patent Document 1, the readout cycle of the image sensor is set to be longer than the moving image recording rate, and exposure control is performed so that the accumulation time is variable, thereby avoiding deterioration in image quality due to an increase in gain to compensate for insufficient illuminance of the subject. A method is disclosed.
In Patent Document 2, the image signal read from the image sensor and the imaging region are divided into a plurality of blocks based on the image signal, and the motion of the subject is detected for each block. Then, a method is disclosed in which the noise characteristics of the stationary part and the resolution of the moving part are made compatible by controlling the synthesis ratio for each block area of the image signal subjected to accumulation time control and signal processing for each block. .

特許第3155830号公報Japanese Patent No. 3155830 特許第2550045号公報Japanese Patent No. 2550045

特許文献1では、撮像素子の読み出し周期を記録周波数よりも長く設定するとともに蓄積時間を可変とする露出制御を行うことで、被写体照度不足によりただちにゲイン増大によるノイズの増加を回避することを可能としている。しかしながら、長秒露光となるために動く被写体に対する解像度は低下する。
特許文献2では、撮像素子より読み出した画像信号と、該画像信号に基づいて撮像領域を複数のブロックに分割してブロック毎に被写体の動き検出を行う。そして、ブロック毎に蓄積時間制御ならびに信号処理を行った画像信号とを、ブロック領域毎に合成比率を制御することで、静止部分のノイズ特性と動き部分の解像度を両立させることを可能としている。しかしながら、ある時刻に読み出した画像信号とひとつ前に読み出した画像信号の差異により被写体の動き検出を行っているため、2フレームにわたる長い周期での動き検出となってしまう。
In Patent Document 1, it is possible to avoid an increase in noise due to an increase in gain immediately due to insufficient subject illuminance by performing exposure control in which the readout cycle of the image sensor is set longer than the recording frequency and the accumulation time is variable. Yes. However, since the exposure is long, the resolution for a moving subject is lowered.
In Patent Document 2, the image signal read from the image sensor and the imaging region are divided into a plurality of blocks based on the image signal, and the motion of the subject is detected for each block. Then, by controlling the synthesis ratio of the image signal that has been subjected to accumulation time control and signal processing for each block for each block area, it is possible to achieve both the noise characteristics of the stationary part and the resolution of the moving part. However, since motion detection of the subject is performed based on the difference between the image signal read at a certain time and the image signal read immediately before, motion detection is performed in a long cycle over two frames.

そこで本発明は、被写体が動体である領域の解像度(以下、動解像度という)をさらに向上させつつ、低照度においても動解像度の低下の抑制と静止領域のノイズ増加の抑制を両立させる画像処理装置を提供することを目的とする。   Accordingly, the present invention provides an image processing apparatus that further improves the resolution of a region where a subject is a moving object (hereinafter referred to as “dynamic resolution”), and at the same time suppresses a decrease in dynamic resolution and suppresses an increase in noise in a stationary region even at low illuminance. The purpose is to provide.

この課題を解決するために、本発明の画像処理装置は、並行して異なる電荷蓄積時間で撮像される複数の画像を取得する取得手段と、前記電荷蓄積時間を制御する制御手段と、前記画像から被写体像の動き領域を検出する検出手段と、前記動き領域であるか否かに応じて合成比率を変更し前記複数の画像を合成する合成手段とを備える。   In order to solve this problem, an image processing apparatus of the present invention includes an acquisition unit that acquires a plurality of images captured in parallel with different charge accumulation times, a control unit that controls the charge accumulation times, and the image Detection means for detecting a motion region of the subject image from the image, and combining means for combining the plurality of images by changing the composition ratio depending on whether or not it is the motion region.

本発明の画像処理装置によれば、動き領域の動解像度と静止領域のノイズ特性を両立した動画像の撮影が可能となる。   According to the image processing apparatus of the present invention, it is possible to capture a moving image that satisfies both the dynamic resolution of the moving region and the noise characteristics of the still region.

本実施形態の撮像装置の概略構成を示す図である。It is a figure which shows schematic structure of the imaging device of this embodiment. 図1におけるデジタル信号処理回路108の構成の一例を示す図である。It is a figure which shows an example of a structure of the digital signal processing circuit 108 in FIG. 本実施形態の撮影装置の撮影動作のフローチャート図である。It is a flowchart figure of imaging | photography operation | movement of the imaging device of this embodiment. 図3における撮影のサブルーチンのフローチャート図である。FIG. 4 is a flowchart of a shooting subroutine in FIG. 3. 動き検出や被写体合成を行う一例を示す概略図ある。It is the schematic which shows an example which performs a motion detection and object composition. 明るさに応じて電荷蓄積時間の制御を行う一例を示す概略図ある。It is the schematic which shows an example which controls charge accumulation time according to brightness.

(第1実施形態)
以下、本発明を実施するための形態について図面等を参照して説明する。
図1は本発明の実施形態を適用した撮像装置の概略構成を示す図である。
本実施形態の撮像装置は、光学系101より入射した光を撮像素子103上に結像させることで被写体を撮像する。光学系制御回路102は、光学系101の絞りやメカシャッタ、ズーム、フォーカス、光学式ブレ補正等を制御する。撮像素子103は、結像された光学像を光電変換して電気信号に変換する。撮像系制御回路104は、撮像素子103の蓄積動作、読み出し動作、リセット動作等を制御する。
(First embodiment)
Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings.
FIG. 1 is a diagram showing a schematic configuration of an imaging apparatus to which an embodiment of the present invention is applied.
The imaging apparatus according to the present embodiment images a subject by forming an image of light incident from the optical system 101 on the imaging element 103. The optical system control circuit 102 controls the aperture, mechanical shutter, zoom, focus, optical blur correction, and the like of the optical system 101. The image sensor 103 photoelectrically converts the formed optical image into an electric signal. The imaging system control circuit 104 controls an accumulation operation, a reading operation, a reset operation, and the like of the imaging element 103.

アナログ信号処理回路105は、撮像素子103の出力にクランプ、ゲインをかける等の処理を行う。ゲイン制御回路106は、アナログ信号処理回路105に対して撮像信号に対するゲイン量を指定するなどの制御を行う。A/D(アナログ/デジタル)変換器107はアナログ信号からデジタル信号にA/D変換を行う。デジタル信号処理回路108はA/D変換されたデジタル信号の現像処理を行って出力画像データを生成する。   The analog signal processing circuit 105 performs processes such as clamping and gaining on the output of the image sensor 103. The gain control circuit 106 controls the analog signal processing circuit 105 to designate a gain amount for the imaging signal. An A / D (analog / digital) converter 107 performs A / D conversion from an analog signal to a digital signal. The digital signal processing circuit 108 performs development processing of the A / D converted digital signal to generate output image data.

内部記憶媒体109は、デジタル信号処理回路108にて出力画像データを生成する際の画像データや、ライブ画像を表示する電子ビューファインダ(以下、EVFという)用の画像データなどを一時的に格納する。また後述する動き検出回路112により検出された動き検出領域情報など、各種演算データの一時記憶用途でも使用される。I/F(インターフェース)110は、生成された出力画像データを最終的に保存するための外部記録装置とつながっている。画像表示器111は、EVFの表示機能を備え、ライブ画像のほか撮像装置の各種設定情報などを表示する。   The internal storage medium 109 temporarily stores image data for generating output image data by the digital signal processing circuit 108, image data for an electronic viewfinder (hereinafter referred to as EVF) for displaying a live image, and the like. . It is also used for temporary storage of various calculation data such as motion detection area information detected by a motion detection circuit 112 described later. The I / F (interface) 110 is connected to an external recording device for finally storing the generated output image data. The image display 111 has an EVF display function, and displays various setting information of the imaging apparatus in addition to a live image.

動き検出回路112は、デジタル信号処理回路108にて現像処理された出力画像データについて、後述する動き検出方法により動き検出を行い、被写体の動きが検出された領域情報や動き量情報を出力する。
システム制御回路113は、後述する撮影動作のフローチャートに従って光学系制御回路102や撮像系制御回路104、ゲイン制御回路106を制御し、その制御情報をデジタル信号処理回路108に提供するなど、システム全体の制御を行う。スイッチ114は撮影スタンバイ動作を行うためのスイッチ(以下、SW1という)である。スイッチ115はSW1の操作後、撮影を行う撮影スイッチ(以下、SW2という)である。スイッチ116はシステムに電源を投入するためのメインスイッチ(以下、メインSWという)である。
The motion detection circuit 112 performs motion detection on the output image data developed by the digital signal processing circuit 108 by a motion detection method described later, and outputs region information and motion amount information in which the motion of the subject is detected.
The system control circuit 113 controls the optical system control circuit 102, the imaging system control circuit 104, and the gain control circuit 106 in accordance with a flow chart of photographing operation described later, and provides the control information to the digital signal processing circuit 108. Take control. A switch 114 is a switch (hereinafter referred to as SW1) for performing a photographing standby operation. The switch 115 is a photographing switch (hereinafter referred to as SW2) that performs photographing after the operation of SW1. The switch 116 is a main switch (hereinafter referred to as main SW) for turning on the system.

本実施形態における撮像素子103は、第1の画素群と第2の画素群に分割制御可能な画素群により構成され、同時刻に並行して異なる電荷蓄積時間にて露光制御し、別々に読み出し動作を行える。そのため、撮像系制御回路104の制御系は第1の画素群と第2の画素群それぞれに対して異なる制御を行う。従って、例えばCMOS構造であれば蓄積電荷の転送信号線やリセット信号線などを第1の画素群と第2の画素群向けに切り替えて制御する構成を備える。第1の画素群で得られた撮像信号と第2の画素群で得られた撮像信号との間の視差は小さくほうが良いため、1ライン毎に第1の画素群と第2の画素群に振り分けることが望ましい。勿論、1ライン毎でなくとも、第1の画素群に属する画素と第2の画素群に属する画素が交互に配置される構成であれば良い。あるいはそれぞれ別々の信号線を配線した構造としてもよい。また、第1の画素群より読み出した撮像信号と第2の画素群より読み出した撮像信号についてそれぞれ画像処理を行う。そのため、本実施形態におけるアナログ信号処理回路105、A/D変換器107、デジタル信号処理回路108は、それぞれの画素群の画像信号を個別に処理することが可能な構成となっている。   The image sensor 103 according to the present embodiment is configured by a pixel group that can be controlled to be divided into a first pixel group and a second pixel group, performs exposure control at different charge accumulation times in parallel at the same time, and reads out separately. Can operate. Therefore, the control system of the imaging system control circuit 104 performs different control for each of the first pixel group and the second pixel group. Therefore, for example, in the case of a CMOS structure, the storage charge transfer signal line and the reset signal line are switched and controlled for the first pixel group and the second pixel group. Since the parallax between the imaging signal obtained by the first pixel group and the imaging signal obtained by the second pixel group should be small, the first pixel group and the second pixel group are lined up for each line. It is desirable to distribute. Needless to say, a configuration in which pixels belonging to the first pixel group and pixels belonging to the second pixel group are alternately arranged is not necessary for each line. Alternatively, a structure in which separate signal lines are wired may be employed. In addition, image processing is performed on the imaging signal read from the first pixel group and the imaging signal read from the second pixel group. Therefore, the analog signal processing circuit 105, the A / D converter 107, and the digital signal processing circuit 108 in this embodiment are configured to be able to individually process the image signals of the respective pixel groups.

図2は図1におけるデジタル信号処理回路108の構成の一例を示す図である。
現像パラメータ設定回路201は、システム制御回路113より撮影条件情報や撮影時設定を取得し、それに応じて最適な現像処理を行うための現像パラメータを設定する。現像処理回路202は、現像パラメータ設定回路201で設定された現像パラメータを用いて現像処理を行い、出力画像データを生成する。
FIG. 2 is a diagram showing an example of the configuration of the digital signal processing circuit 108 in FIG.
The development parameter setting circuit 201 acquires shooting condition information and shooting settings from the system control circuit 113, and sets development parameters for performing optimum development processing accordingly. The development processing circuit 202 performs development processing using the development parameters set by the development parameter setting circuit 201 and generates output image data.

画像合成回路203は動き検出回路112による動き検出結果に基づいて、現像処理回路202にて現像された第1の画素群による出力画像データと第2の画素群による出力画像データ信号を、画像領域ごとに合成比率を変更して合成を行う。動き検出による合成処理を行わない場合には、現像処理回路202より入力された出力画像データをそのまま出力する。
画像圧縮回路204は画像合成回路203の出力画像データを圧縮処理し、I/F110を介して外部記録装置に記録して保存する。本実施形態の撮像装置は、現像処理回路202の出力画像データを単独、または連続して複数フレーム記録することで静止画及び動画を撮影可能としている。
Based on the result of motion detection by the motion detection circuit 112, the image composition circuit 203 converts the output image data from the first pixel group developed by the development processing circuit 202 and the output image data signal from the second pixel group into an image region. The composition ratio is changed for each composition. When the composition processing by motion detection is not performed, the output image data input from the development processing circuit 202 is output as it is.
The image compression circuit 204 compresses the output image data of the image composition circuit 203, and records and stores it in the external recording device via the I / F 110. The imaging apparatus of the present embodiment can capture still images and moving images by recording output image data of the development processing circuit 202 singly or continuously in a plurality of frames.

図3は本発明の実施形態を適用した撮像装置の撮影動作を表すフローチャート図である。
まず、ステップS301ではシステムに電源を投入するメインSWの状態を検出し、ONであればステップS302へ進む。
ステップS302ではI/F110を介して外部記録装置の残容量を調べ、残容量が0であればステップS303へ進み、そうでなければステップS304へ進む。ステップS303では残容量が0であることを警告してステップS301に戻る。警告は画像表示器111に表示するか又は図示しない音声出力器から警告音を出すか、又はその両方を行ってもよい。
FIG. 3 is a flowchart showing the photographing operation of the imaging apparatus to which the embodiment of the present invention is applied.
First, in step S301, the state of the main SW for turning on the system is detected. If it is ON, the process proceeds to step S302.
In step S302, the remaining capacity of the external recording device is checked via the I / F 110. If the remaining capacity is 0, the process proceeds to step S303, and if not, the process proceeds to step S304. In step S303, a warning is given that the remaining capacity is 0, and the process returns to step S301. The warning may be displayed on the image display 111 and / or a warning sound may be emitted from an audio output device (not shown).

ステップS304では、撮像手段から出力されたライブ画像を画像表示器111に表示するEVF動作を開始する。EVF動作においては、適正露出を得るためのAE動作、および適切なフォーカス状態とするためのAF動作を所定周期で行う。AE動作は、A/D変換器107の出力を積分して所定値と比較するなどして適正露出となっているか調べ、必要に応じて絞り設定や電荷蓄積時間(電子シャッタ)設定、あるいは撮像信号のゲイン設定を所定の線図に従って制御する。AE動作によって例えば被写体照度が低い場合であっても、ゲイン制御回路106によりゲインアップするなどして適正露出の画像データを得ることが可能となる。AF動作は、デジタル信号処理回路108の出力画像データの高周波成分の強弱を前フレームと比較するなどして、光学系制御回路102にてフォーカスレンズを適切に制御する。また動き検出回路112において動き検出を行う。   In step S304, the EVF operation for displaying the live image output from the imaging unit on the image display 111 is started. In the EVF operation, an AE operation for obtaining proper exposure and an AF operation for obtaining an appropriate focus state are performed at a predetermined cycle. In the AE operation, the output of the A / D converter 107 is integrated and compared with a predetermined value to check whether the exposure is appropriate, and if necessary, aperture setting, charge accumulation time (electronic shutter) setting, or imaging The signal gain setting is controlled according to a predetermined diagram. For example, even when the illuminance of the subject is low by the AE operation, it is possible to obtain image data with appropriate exposure by increasing the gain by the gain control circuit 106. In the AF operation, the optical system control circuit 102 appropriately controls the focus lens, for example, by comparing the strength of the high frequency component of the output image data of the digital signal processing circuit 108 with the previous frame. The motion detection circuit 112 performs motion detection.

ステップS305ではSW1の状態を調べ、ONであればステップS307へ進み、そうでなければステップS306へ進む。ここでSW1の機能は、AFやAEなどの撮影スタンバイ動作を行うことである。ステップS306ではメインSWの状態を調べ、ONであればステップS304へ、そうでなければステップS301へ進む。
ステップS307では光学系制御回路102や撮像系制御回路104、あるいはゲイン制御回路106を介して露出を制御してAE処理を行う。ステップS308では光学系制御回路102を介してフォーカスレンズを制御してAF処理を行う。ステップS307のAE処理およびステップS308のAF処理は撮影スタンバイ動作であり、ステップS304でのEVF動作時よりも良い精度でAEおよびAF制御する。
ステップS309は、SW2のONによる撮影動作スタート前準備状態であり、ライブ画像を画像表示器111に表示して、撮影者のSW2操作を待つ。さらに、ステップS304と同様に、動き検出回路112おいて動き検出を行う。
In step S305, the state of SW1 is checked. If ON, the process proceeds to step S307, and if not, the process proceeds to step S306. Here, the function of SW1 is to perform a shooting standby operation such as AF or AE. In step S306, the state of the main SW is checked. If it is ON, the process proceeds to step S304, and if not, the process proceeds to step S301.
In step S307, AE processing is performed by controlling exposure via the optical system control circuit 102, the imaging system control circuit 104, or the gain control circuit 106. In step S308, the focus lens is controlled via the optical system control circuit 102 to perform AF processing. The AE process in step S307 and the AF process in step S308 are shooting standby operations, and AE and AF control are performed with better accuracy than during the EVF operation in step S304.
Step S309 is a preparatory state before starting the photographing operation by turning on SW2, displays a live image on the image display 111, and waits for a photographer's SW2 operation. Further, as in step S304, the motion detection circuit 112 performs motion detection.

ステップS310ではSW2の状態を調べONであれば、すなわち撮影を開始するためにSW2が押下されればステップS311へ、そうでなければステップS305へ進む。ここでのSW2の機能は、SW1の操作後撮影動作を開始することである。
ステップS311では後述する図4のフローチャートにしたがって撮影動作を行う。撮影動作が終了したら、ステップS302に戻る。
In step S310, the state of SW2 is checked, and if it is ON, that is, if SW2 is pressed to start shooting, the process proceeds to step S311; otherwise, the process proceeds to step S305. The function of SW2 here is to start a photographing operation after operation of SW1.
In step S311, the photographing operation is performed according to the flowchart of FIG. When the photographing operation is completed, the process returns to step S302.

図4は図3のフローチャートにおける撮影のサブルーチンのフローチャート図である。
まず、ステップS401では静止画撮影であるか動画撮影であるかを調べ、静止画撮影であればステップS402へ、動画撮影であればステップS408へ進む。動画撮影において、録画中の処理は、撮影前に設定された例えば60FPS(Frame per second)などの記録フレームレートの周期で行われる。
FIG. 4 is a flowchart of a shooting subroutine in the flowchart of FIG.
First, in step S401, it is checked whether still image shooting or moving image shooting is performed. If still image shooting is performed, the process proceeds to step S402, and if moving image shooting is performed, the process proceeds to step S408. In moving image shooting, processing during recording is performed at a cycle of a recording frame rate such as 60 FPS (Frame per second) set before shooting.

ステップS401において静止画撮影であると判断された場合、ステップS402では、撮像素子の駆動切り換えなど静止画撮影の準備を行う。静止画撮影時には被写体ぶれを注意する必要はあるが動解像度を気にする必要はなく、撮像素子の全ての画素を用いて高解像度画像を得る目的などにより、2つの画素群に分けた読み出しではなく全ての画素を読み出す駆動へ切り換える。
ステップS403では撮像素子103への露光を行う。撮像素子面上に結像された像は光電変換されてアナログ信号となり、A/D変換器107へと送られる。
ステップS404ではA/D変換器107において、出力ノイズ除去や非線形処理などの前処理を行った後、アナログ信号をデジタル信号に変換する。ステップS405ではデジタル信号処理回路108にてデジタル信号の現像処理を行い、出力画像データを生成する。ステップS406では出力画像データを画像圧縮回路204でJPEGフォーマット等への画像フォーマット変換を行う。ステップS407では、I/F110を介しカメラに装着されたメモリカードなどの外部記憶媒体へと転送し記録する。
If it is determined in step S401 that still image shooting is to be performed, in step S402, preparation for still image shooting such as drive switching of the image sensor is performed. When shooting still images, it is necessary to pay attention to the subject blur, but there is no need to worry about the dynamic resolution. For the purpose of obtaining a high resolution image using all the pixels of the image sensor, etc. Instead, the drive is switched to read out all pixels.
In step S403, the image sensor 103 is exposed. The image formed on the image sensor surface is photoelectrically converted into an analog signal and sent to the A / D converter 107.
In step S404, the A / D converter 107 performs preprocessing such as output noise removal and nonlinear processing, and then converts the analog signal into a digital signal. In step S405, the digital signal processing circuit 108 performs digital signal development processing to generate output image data. In step S406, the output image data is converted by the image compression circuit 204 into an image format such as a JPEG format. In step S407, the data is transferred to an external storage medium such as a memory card attached to the camera via the I / F 110 and recorded.

一方、ステップS401において動画撮影であると判断された場合、ステップS408では、撮像素子の駆動切り換えなど動画撮影の準備を行う。動画撮影時には、動解像度の高い画像とノイズの小さな画像という2種類の画像を得るために、2つの画素群に分けた読み出しを行う駆動へ切り換える。
ステップS409では動画の録画を開始し、撮像素子103への露光を行う。撮像素子面上に結像された像は光電変換されてアナログ信号となり、A/D変換器107へと送られる。ステップS410ではA/D変換器107において、出力ノイズ除去や非線形処理などの前処理を行った後、アナログ信号をデジタル信号に変換する。ステップS411ではデジタル信号処理回路108にてデジタル信号の現像処理を行い、出力動画像データを生成する。
図5で後述するように、ステップS412では動き検出回路112において、取得した動画像データを基に被写体像の動き検出が行われる。ステップS413では画像合成回路203において、動き検出の結果に基づいて動画像の合成が行われる。
On the other hand, if it is determined in step S401 that moving image shooting is to be performed, in step S408 preparation for moving image shooting such as switching of driving of the image sensor is performed. At the time of moving image shooting, in order to obtain two types of images, that is, an image with a high dynamic resolution and an image with a low noise, the driving is switched to driving that performs reading divided into two pixel groups.
In step S409, recording of a moving image is started and the image sensor 103 is exposed. The image formed on the image sensor surface is photoelectrically converted into an analog signal and sent to the A / D converter 107. In step S410, the A / D converter 107 performs preprocessing such as output noise removal and nonlinear processing, and then converts the analog signal to a digital signal. In step S411, the digital signal processing circuit 108 develops the digital signal to generate output moving image data.
As will be described later with reference to FIG. 5, in step S412, the motion detection circuit 112 detects the motion of the subject image based on the acquired moving image data. In step S413, the image composition circuit 203 synthesizes moving images based on the motion detection result.

図5は動画撮影時の本実施形態の撮像装置における第1の画素群と第2の画素群で得られる動画像より、動き検出や被写体合成を行う一例を示す概略図である。
第1の画素群から読み出された画像信号と第2の画素群から読み出された画像の画角はほぼ同じ画角に設定される。また、それぞれの画素群から読み出された画像信号は、それぞれ適正露出となるよう、電荷蓄積時間とISO感度によって制御されている。
FIG. 5 is a schematic diagram showing an example of performing motion detection and subject synthesis from moving images obtained by the first pixel group and the second pixel group in the imaging apparatus of the present embodiment at the time of moving image shooting.
The field angles of the image signal read from the first pixel group and the image read from the second pixel group are set to substantially the same angle of view. In addition, the image signals read from the respective pixel groups are controlled by the charge accumulation time and the ISO sensitivity so as to achieve appropriate exposure.

図5(A)に示すように、第1の画素群から読み出される画像信号は、動解像度を優先する設定となっている。そのため、電荷蓄積時間は記録フレームレートよりも短く、アナログ信号処理回路105におけるゲイン量は大きく、すなわち短秒露出−高感度の組み合わせで制御される。
一方、図5(B)に示すように、第2の画素群から読み出される画像信号は、ノイズ特性を優先する設定となっている。そのため、電荷蓄積時間は記録フレームレートよりも長く、アナログ信号処理回路105におけるゲイン量は小さく、すなわち長秒露出−低感度の組み合わせで制御される。
As shown in FIG. 5A, the image signal read from the first pixel group is set to give priority to the dynamic resolution. Therefore, the charge accumulation time is shorter than the recording frame rate, and the gain amount in the analog signal processing circuit 105 is large, that is, controlled by a combination of short second exposure and high sensitivity.
On the other hand, as shown in FIG. 5B, the image signal read from the second pixel group is set to give priority to noise characteristics. Therefore, the charge accumulation time is longer than the recording frame rate, and the gain amount in the analog signal processing circuit 105 is small, that is, controlled by a combination of long-second exposure and low sensitivity.

図5(C)は、第1の画素群のTフレームおよびT+1フレームで読み出された画像と第2の画素群の同時間T&T+1のフレームで読みだされた画像を示す図である。いずれの画像においても、被写体が動いていることに起因する被写体像のブレが生じているが、そのブレ量はT&T+1のフレームで読みだされた画像のほうが大きい。図5(C)に示すように、蓄積時間の間にも動く被写体像は、異なる時間の画像の比較もしくは蓄積時間の異なる画像の比較により検出することができる。
動き検出回路112は、取得した第1の画素群のTフレーム、T+1フレーム、および第2の画素群の同時間T&T+1のフレームのいずれか2つの画像により被写体像の動き検出を行う。動き検出の方法は、ブロックに分割しブロック毎に評価する方法や、精度良く検出するために比較画像間の各画素値の差分を所定の閾値と比較し、この差分が閾値より大きい場合は動き領域であると判断するなどの方法を用いればよい。なお、動き検出の手段は、動き領域であるか否かの検出のみでなく、被写体像の動き量を取得する構成であってもよい。
FIG. 5C is a diagram illustrating an image read in the T and T + 1 frames of the first pixel group and an image read in the same time T & T + 1 frame of the second pixel group. In any of the images, the subject image is blurred due to the movement of the subject, but the amount of the blur is larger in the image read in the T & T + 1 frame. As shown in FIG. 5C, a subject image that moves even during the accumulation time can be detected by comparing images at different times or by comparing images with different accumulation times.
The motion detection circuit 112 detects the motion of the subject image based on any two images of the acquired T frame, T + 1 frame of the first pixel group, and the same time T & T + 1 frame of the second pixel group. The motion detection method can be divided into blocks and evaluated for each block. In order to detect with high accuracy, each pixel value difference between comparison images is compared with a predetermined threshold value. What is necessary is just to use the method of judging that it is an area | region. Note that the motion detection means may be configured not only to detect whether or not it is a motion region, but also to acquire the amount of motion of the subject image.

電荷蓄積時間の異なる画像により動き検出を行う場合は、電荷蓄積時間の異なる画像間の比較、例えば、図5(A)に示す第1の画素群のTフレームまたはT+1フレームと、図5(B)に示す第2の画素群の同時間T&T+1のフレームの画像の比較を行う。同じ電荷蓄積時間の画像により動き検出を行う場合は、同じ電荷蓄積時間の画像間の比較、例えば、図5(A)に示す第1の画素群のTフレームとT+1フレームなど、連続画像についてフレームの画像の比較を行う。
なお、第1の画素群と第2の画素群は同一撮像素子の異なる画素からの読み出しであるため、ほぼ同じ画角の画像信号であっても、第1の画素群と第2の画素群の位相差が動き検出の結果に影響する。そのため、この第1の画素群と第2の画素群の位相差を相殺するように、それぞれの画素群における読み出し時の間引き率設定を適切に行う。
When motion detection is performed using images having different charge accumulation times, for example, comparison between images having different charge accumulation times, for example, the T frame or T + 1 frame of the first pixel group shown in FIG. 5A and FIG. The images of the frames of the same time T & T + 1 of the second pixel group shown in FIG. When motion detection is performed with images having the same charge accumulation time, comparison between images having the same charge accumulation time, for example, frames for continuous images such as the T frame and the T + 1 frame of the first pixel group shown in FIG. Compare images.
Note that since the first pixel group and the second pixel group are read from different pixels of the same image sensor, the first pixel group and the second pixel group even when the image signals have substantially the same angle of view. Affects the result of motion detection. Therefore, the thinning rate is set appropriately at the time of reading in each pixel group so as to cancel out the phase difference between the first pixel group and the second pixel group.

図5(D)は、画像合成回路203による合成画像出力を示す図である。
第1の画素群から得られた画像と第2の画素群から得られた画像を合成するにあたり、動き検出において動き領域とされた領域は、動解像度の低下を抑制するため、電荷蓄積時間が短く動解像度の高い第1の画素群の比率を大きくする。動きが検出されなかった、動き領域以外の領域は、ノイズ増加を抑制するため電荷蓄積時間が長く低感度でノイズの少ない第2の画素群の比率を大きくする。
動き検出において被写体像の動き量まで検出している場合は、動き量に応じて画像の合成比率を変更する構成としてもよい。この場合、動き量が大きいほど電荷蓄積時間が短く動解像度の高い第1の画素群の比率が大きくなる。
FIG. 5D shows a composite image output by the image composition circuit 203.
In synthesizing the image obtained from the first pixel group and the image obtained from the second pixel group, the region set as the motion region in motion detection suppresses a decrease in dynamic resolution. The ratio of the first pixel group that is short and has high dynamic resolution is increased. In regions other than the motion region where no motion is detected, the ratio of the second pixel group having a long charge accumulation time, low sensitivity, and low noise is increased in order to suppress an increase in noise.
In the case of detecting the amount of motion of the subject image in the motion detection, the composition ratio of the images may be changed according to the amount of motion. In this case, the larger the amount of movement, the larger the ratio of the first pixel group having a short charge accumulation time and high dynamic resolution.

図4の説明に戻り、ステップS414では画像圧縮回路204において、出力動画像データをMPEG−4フォーマット等への動画像フォーマット変換を行う。出力動画像データは、合成を行った後の合成動画像データのみであってもよく、それに加えて第1の画素群及び第2の画素群から得られた動画像データを含んでいてもよい。S415ではI/F110を介しカメラに装着されたメモリカードなどの外部記憶媒体へと転送し記録する。   Returning to the description of FIG. 4, in step S414, the image compression circuit 204 converts the output moving image data to the MPEG-4 format or the like. The output moving image data may be only the combined moving image data after combining, and may further include moving image data obtained from the first pixel group and the second pixel group. . In S415, the data is transferred and recorded via the I / F 110 to an external storage medium such as a memory card attached to the camera.

ステップS416ではSW2の状態を調べONであれば、すなわち動画撮影を終了させるためにSW2が押下された状態であれば、ステップS418へ進み、そうでなければステップS417へ進む。ここでのSW2の機能は、撮影動作を終了させることである。
録画中の内部記憶媒体109は主にバッファメモリとして機能し、そのデータはI/F110を介して外部記憶媒体へと転送され記録されるが、記録媒体の転送速度が遅い場合には、バッファメモリの処理容量を越えて録画を続けることが不可能になる。また、記録媒体の残り容量がなくなった場合にも録画を続けることができない。上記の状況を避けるため、ステップS417では、バッファメモリおよび記録媒体の残り容量の確認と記録媒体への転送状況の確認を行い、転送OKであればステップS409へ進み、そうでなければステップS418へ進む。
ステップS418では、録画を終了し、バッファメモリ内のデータが記録媒体へ転送され、保存処理が終了されたことを確認する。
In step S416, the state of SW2 is checked, and if it is ON, that is, if SW2 is pressed to finish moving image shooting, the process proceeds to step S418, and if not, the process proceeds to step S417. The function of SW2 here is to end the photographing operation.
The internal storage medium 109 during recording mainly functions as a buffer memory, and the data is transferred to an external storage medium via the I / F 110 and recorded. If the transfer speed of the recording medium is low, the buffer memory It becomes impossible to continue recording beyond the processing capacity. Also, recording cannot be continued even when the remaining capacity of the recording medium runs out. In order to avoid the above situation, in step S417, the remaining capacity of the buffer memory and the recording medium is confirmed and the transfer status to the recording medium is confirmed. If the transfer is OK, the process proceeds to step S409. Otherwise, the process proceeds to step S418. move on.
In step S418, it is confirmed that the recording is finished, the data in the buffer memory is transferred to the recording medium, and the saving process is finished.

本実施形態では第1の画素群の電荷蓄積時間は記録フレームレートにより設定された1フレームあたりの処理時間よりも短く、第2の画素群の電荷蓄積時間は記録フレームレートにより設定された1フレームあたりの処理時間よりも長く設定する構成とした。しかし、これに限られるものではない。
例えば、被写体が非常に暗く被写体の動きもほぼ無い場合が想定される。この場合、明るさ確保しつつノイズの増加を抑制するため、電荷蓄積時間を1フレームあたりの処理時間の2倍と6倍に設定し、電荷蓄積時間が長くかつ低感度で撮影した画像を合成する構成とし、ノイズ特性をさらに改善する方法がある。
また、被写体が明るい場合や、被写体の動き検出を高速に行いたい場合、または記録フレームレートが長い場合が想定される。この場合、電荷蓄積時間を1フレームあたりの処理時間の1/8倍と1/2倍に設定し、1フレーム内での動き検出を可能して、動解像度を優先する方法がある。
In this embodiment, the charge accumulation time of the first pixel group is shorter than the processing time per frame set by the recording frame rate, and the charge accumulation time of the second pixel group is one frame set by the recording frame rate. It was set as the structure set longer than the per process time. However, it is not limited to this.
For example, it is assumed that the subject is very dark and there is almost no movement of the subject. In this case, in order to suppress the increase in noise while ensuring the brightness, the charge accumulation time is set to 2 and 6 times the processing time per frame, and the image taken with a long charge accumulation time and low sensitivity is synthesized. There is a method for further improving noise characteristics.
Also, it is assumed that the subject is bright, the subject motion detection is desired to be performed at high speed, or the recording frame rate is long. In this case, there is a method in which the charge accumulation time is set to 倍 times and ½ times the processing time per frame, motion detection within one frame is possible, and the dynamic resolution is prioritized.

画素を分割する場合、本実施形態では、ステップS408において、動解像度の高い画像とノイズの小さな画像という2種類の画像を得るために、全画素を2つの画素群に分ける構成とした。しかし、画素群は2つに限られず、電化蓄積時間の異なる2つ以上の複数の画素群に分ける構成であればよい。また、被写体像が十分に明るく、動解像度を優先した電荷蓄積時間の短い設定での撮影のみでノイズ特性も得られる場合には、画素群に分割する必要はなく、撮像素子全体で一つの画像を得るように制御してもよい。   In the case of dividing the pixels, in the present embodiment, in step S408, all the pixels are divided into two pixel groups in order to obtain two types of images, that is, an image with high dynamic resolution and an image with low noise. However, the number of pixel groups is not limited to two as long as the pixel group is divided into two or more pixel groups having different charge accumulation times. In addition, when the subject image is sufficiently bright and noise characteristics can be obtained only by shooting with a short charge accumulation time setting giving priority to dynamic resolution, it is not necessary to divide the pixel group, and the entire image sensor has one image. You may control to obtain.

以上説明したように、本発明の画像処理装置によれば、動き領域の動解像度と静止領域のノイズ特性を両立した動画像の撮影が可能となる。   As described above, according to the image processing apparatus of the present invention, it is possible to capture a moving image that satisfies both the dynamic resolution of the moving region and the noise characteristics of the still region.

(第2実施形態)
第1実施形態においては、撮像素子の電荷蓄積時間を撮影中に変更する制御は行わなかったが、第2実施形態においては、撮影中であっても被写体像の明るさに応じて撮像素子の電荷蓄積時間及び分割を行う駆動切り替え制御を行う。また、画像合成回路203は、動き検出の結果に加え、被写体像の明るさを考慮して動画像の合成を行う。
図6は、明るさに応じて電荷蓄積時間の制御や撮像素子の分割を行う一例を示す概略図ある。
(Second Embodiment)
In the first embodiment, the control for changing the charge accumulation time of the image sensor during imaging is not performed. However, in the second embodiment, the imaging element is controlled according to the brightness of the subject image even during imaging. Drive switching control for performing charge accumulation time and division is performed. The image synthesis circuit 203 synthesizes moving images in consideration of the brightness of the subject image in addition to the result of motion detection.
FIG. 6 is a schematic diagram illustrating an example in which charge accumulation time is controlled and an image sensor is divided according to brightness.

図6(A)は、動解像度を優先する設定となっている。そのため、電荷蓄積時間は記録フレームレートよりも短く、アナログ信号処理回路105におけるゲイン量は大きく、すなわち短秒露出−高感度の組み合わせで制御される。これは明るい場所での撮影に適している。
図6(B)は、中秒露出−中感度の組み合わせで制御される。これは標準的な明るさの場所での撮影に適している。
図6(C)は、ノイズ特性を優先する設定となっている。そのため、電荷蓄積時間は記録フレームレートよりも長く、アナログ信号処理回路105におけるゲイン量は小さく、すなわち長秒露出−低感度の組み合わせで制御される。これは暗い場所での撮影に適している。
In FIG. 6A, priority is given to dynamic resolution. Therefore, the charge accumulation time is shorter than the recording frame rate, and the gain amount in the analog signal processing circuit 105 is large, that is, controlled by a combination of short second exposure and high sensitivity. This is suitable for shooting in a bright place.
FIG. 6B is controlled by a combination of medium-second exposure and medium sensitivity. This is suitable for shooting in a place with standard brightness.
FIG. 6C is a setting that gives priority to noise characteristics. Therefore, the charge accumulation time is longer than the recording frame rate, and the gain amount in the analog signal processing circuit 105 is small, that is, controlled by a combination of long-second exposure and low sensitivity. This is suitable for shooting in a dark place.

図6(D)に示すように、被写体像の明るさに応じて、撮像系制御回路104により、撮像素子の分割を行う駆動切り替え制御及び各画素群の電荷蓄積時間の制御が行われる。
例えば、被写体像が十分に明るい場合(明×3)には、動解像度とノイズ特性を両立させるために撮像素子を分割して電荷蓄積時間の異なる画像を合成する必要はなく、短秒露出−高感度の組み合わせのみで適正露出の画像を得ることができる。そのため、撮像系制御回路104は、撮像素子を電荷蓄積時間の異なる画素群に分割する駆動切り換え制御を行うことなく、撮像素子全体をひとつの画素群として制御する。また、被写体像が明るい場合(明明)には、撮像系制御回路104は、撮像素子を電荷蓄積時間の異なる画素群に分割する駆動切り換え制御を行う。第1の画素群では短秒露出−高感度、第2の画素群では中秒露出−中感度となるように電荷蓄積時間が制御される。画像合成回路203において画像を合成する場合には、短秒露出−高感度で得られた画像の合成比率を大きく(メイン)する。
As shown in FIG. 6D, the imaging system control circuit 104 performs drive switching control for dividing the image sensor and control of the charge accumulation time of each pixel group in accordance with the brightness of the subject image.
For example, when the subject image is sufficiently bright (bright × 3), it is not necessary to divide the image sensor to synthesize images with different charge accumulation times in order to achieve both dynamic resolution and noise characteristics, and short exposure- An image with proper exposure can be obtained only with a combination of high sensitivity. Therefore, the imaging system control circuit 104 controls the entire imaging device as one pixel group without performing drive switching control that divides the imaging device into pixel groups having different charge accumulation times. When the subject image is bright (bright), the imaging system control circuit 104 performs drive switching control that divides the imaging device into pixel groups having different charge accumulation times. The charge accumulation time is controlled so that the first pixel group has short-second exposure-high sensitivity and the second pixel group has medium-second exposure-medium sensitivity. When synthesizing an image in the image synthesizing circuit 203, the synthesizing ratio of the image obtained with short-second exposure-high sensitivity is increased (main).

被写体像が暗い場合(暗)には、短秒露出で得られた画像では暗すぎて合成に使用できないため、短秒露出−高感度となるように制御されていた第1の画素群の電荷蓄積時間を、長秒露出−低感度となるように切り替えて制御する。したがって、第1の画素群では長秒露出−低感度、第2の画素群では中秒露出−中感度となるように電荷蓄積時間が制御される。画像合成回路203において画像を合成する場合には、中秒露出−中感度で得られた画像の合成比率を大きく(メイン)する。
被写体像の明るさは、A/D変換器107の出力を積分して所定値と比較するなどして判断される。
When the subject image is dark (dark), the image obtained by the short-time exposure is too dark to be used for composition, and thus the charge of the first pixel group that has been controlled to be short-time exposure-high sensitivity. The accumulation time is controlled by switching so that long-second exposure-low sensitivity. Therefore, the charge accumulation time is controlled so that long-second exposure-low sensitivity is achieved in the first pixel group and medium-second exposure-medium sensitivity is achieved in the second pixel group. When synthesizing an image in the image synthesizing circuit 203, the synthesis ratio of the images obtained with medium-second exposure-medium sensitivity is increased (main).
The brightness of the subject image is determined by integrating the output of the A / D converter 107 and comparing it with a predetermined value.

第2実施形態によれば、撮影中に被写体像の明るさが変化した場合でも、撮影中に撮像素子の分割を行う駆動切り替え制御及び各画素群の電荷蓄積時間の制御を行い、得られた画像を適正な合成比率で合成する。それによって、動き領域の動解像度と静止領域のノイズ特性を両立した適正露出の動画像の撮影が可能となる。   According to the second embodiment, even when the brightness of the subject image changes during shooting, the drive switching control for dividing the image sensor during shooting and the charge accumulation time control of each pixel group are obtained. Synthesize the image at the proper composition ratio. As a result, it is possible to capture a moving image with proper exposure that satisfies both the dynamic resolution of the moving area and the noise characteristics of the stationary area.

(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other embodiments)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

104 撮像系制御回路
112 動き検出回路
203 画像合成回路
104 Image pickup system control circuit 112 Motion detection circuit 203 Image composition circuit

Claims (10)

並行して異なる電荷蓄積時間で撮像される複数の画像を取得する取得手段と、
前記電荷蓄積時間を制御する制御手段と、
前記画像から被写体像の動き領域を検出する検出手段と、
前記動き領域であるか否かに応じて合成比率を変更し前記複数の画像を合成する合成手段とを備える
ことを特徴とする画像処理装置。
Acquisition means for acquiring a plurality of images captured in parallel with different charge accumulation times;
Control means for controlling the charge accumulation time;
Detecting means for detecting a movement region of the subject image from the image;
An image processing apparatus comprising: a combining unit configured to combine the plurality of images by changing a combining ratio depending on whether the region is the motion region.
前記検出手段は、前記電荷蓄積時間の異なる画像の比較により前記動き領域を検出する
ことを特徴とする請求項1に記載の画像処理装置。
The image processing apparatus according to claim 1, wherein the detection unit detects the motion region by comparing the images having different charge accumulation times.
前記検出手段は、さらに、前記被写体像の動き量を検出し、
前記合成手段は、前記動き量に応じて前記合成比率を変更する
ことを特徴とする請求項1または2に記載の画像処理装置。
The detection means further detects the amount of movement of the subject image,
The image processing apparatus according to claim 1, wherein the synthesizing unit changes the synthesis ratio according to the amount of motion.
前記制御手段は、被写体像の明るさに応じて前記電荷蓄積時間の異なる複数の画像を同時に撮影できるよう画素を分割して、分割した画素群ごとに前記電荷蓄積時間を制御する
ことを特徴とする請求項1ないし3のいずれか1項に記載の画像処理装置。
The control means divides pixels so that a plurality of images having different charge accumulation times can be simultaneously photographed according to the brightness of a subject image, and controls the charge accumulation time for each divided pixel group. The image processing apparatus according to any one of claims 1 to 3.
前記制御手段は、さらに、前記動き量に応じて前記電荷蓄積時間を制御する
ことを特徴とする請求項4に記載の画像処理装置。
The image processing apparatus according to claim 4, wherein the control unit further controls the charge accumulation time according to the amount of movement.
前記制御手段は、第1の画素群と、前記第1の画素群より前記電荷蓄積時間の長い第2の画素群とに撮像素子の分割を行う駆動切り替え制御を行い、前記電荷蓄積時間を制御し、
前記合成手段は、前記動き領域では、前記第1の画素群から取得された画像と前記第2の画素群から取得された画像を第1の合成比率で合成し、前記動き領域以外の領域では、前記第1の合成比率より前記第1の画素群から取得された画像の合成比率の低い第2の合成比率で合成する
ことを特徴とする請求項1ないし5のいずれか1項に記載の画像処理装置。
The control means performs drive switching control to divide an image sensor into a first pixel group and a second pixel group having a longer charge accumulation time than the first pixel group, and controls the charge accumulation time. And
The synthesizing unit synthesizes the image acquired from the first pixel group and the image acquired from the second pixel group at the first synthesis ratio in the motion region, and in the region other than the motion region. The composition according to any one of claims 1 to 5, wherein the composition is performed at a second composition ratio that is lower than the composition ratio of the image acquired from the first pixel group than the first composition ratio. Image processing device.
前記複数の画像は動画像であることを特徴とする請求項1ないし6のいずれか1項に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the plurality of images are moving images. 請求項1ないし7のいずれか1項に記載の画像処理装置を備えることを特徴とする撮像装置。   An imaging apparatus comprising the image processing apparatus according to claim 1. 画像処理装置の制御方法であって、
並行して異なる電荷蓄積時間で撮像される複数の画像を取得する取得工程と、
前記電荷蓄積時間を制御する制御工程と、
前記画像から被写体像の動き領域を検出する検出工程と、
前記動き領域であるか否かに応じて合成比率を変更し前記複数の画像を合成する合成工程とを有する
ことを特徴とする画像処理装置の制御方法。
A control method for an image processing apparatus, comprising:
An acquisition step of acquiring a plurality of images captured in parallel with different charge accumulation times;
A control step for controlling the charge accumulation time;
A detection step of detecting a motion region of the subject image from the image;
A control method for an image processing apparatus, comprising: a combining step of combining the plurality of images by changing a combining ratio according to whether or not the region is the motion region.
請求項9に記載した画像処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム。   A program for causing a computer to execute each step of the control method for an image processing apparatus according to claim 9.
JP2015139614A 2015-07-13 2015-07-13 Image processing apparatus, control method of the same, and program Pending JP2017022596A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015139614A JP2017022596A (en) 2015-07-13 2015-07-13 Image processing apparatus, control method of the same, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015139614A JP2017022596A (en) 2015-07-13 2015-07-13 Image processing apparatus, control method of the same, and program

Publications (1)

Publication Number Publication Date
JP2017022596A true JP2017022596A (en) 2017-01-26

Family

ID=57888472

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015139614A Pending JP2017022596A (en) 2015-07-13 2015-07-13 Image processing apparatus, control method of the same, and program

Country Status (1)

Country Link
JP (1) JP2017022596A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020137665A1 (en) * 2018-12-27 2020-07-02 富士フイルム株式会社 Imaging element, imaging device, imaging method, and program

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020137665A1 (en) * 2018-12-27 2020-07-02 富士フイルム株式会社 Imaging element, imaging device, imaging method, and program
CN113228609A (en) * 2018-12-27 2021-08-06 富士胶片株式会社 Imaging element, imaging device, imaging method, and program
JPWO2020137665A1 (en) * 2018-12-27 2021-10-07 富士フイルム株式会社 Image sensor, image sensor, image pickup method and program
US11509823B2 (en) 2018-12-27 2022-11-22 Fujifilm Corporation Imaging element, imaging apparatus, imaging method, and program
CN113228609B (en) * 2018-12-27 2023-05-05 富士胶片株式会社 Imaging element, imaging apparatus, imaging method, and computer-readable storage medium
US11758292B2 (en) 2018-12-27 2023-09-12 Fujifilm Corporation Imaging element, imaging apparatus, imaging method, and program
JP7460588B2 (en) 2018-12-27 2024-04-02 富士フイルム株式会社 Image pickup device, image pickup method, and program

Similar Documents

Publication Publication Date Title
JP5950678B2 (en) Imaging apparatus, control method, and program
KR20160053987A (en) Image capturing apparatus and method of controlling the same
US9398230B2 (en) Imaging device and imaging method
JP2009284394A (en) Imaging apparatus and imaging method
JP2009065573A (en) Imaging apparatus, focus control method, and focus control program
JP2010178164A (en) Imaging apparatus
JPWO2011065000A1 (en) Electronic camera
JP2009010616A (en) Imaging device and image output control method
JP2010074634A (en) Imaging device and method of the same
JP2008277896A (en) Imaging device and imaging method
JP2018148512A (en) Imaging device, control method of imaging device, and program
US10097751B2 (en) Imaging apparatus and image compositing method
JP2005236662A (en) Imaging method, imaging device, and imaging system
JP2010206519A (en) Imaging apparatus and imaging method
JP2020017807A (en) Image processing apparatus, image processing method, and imaging apparatus
JP6118118B2 (en) Imaging apparatus and control method thereof
JP2018006828A (en) Imaging apparatus, control method therefor and program
JP6025342B2 (en) Imaging apparatus and control method thereof
JP2016076771A (en) Imaging device
JP2009033289A (en) Imaging apparatus and method
JP2008072501A (en) Imaging apparatus, imaging method, program, and recording medium
JP2017022596A (en) Image processing apparatus, control method of the same, and program
JP6226536B2 (en) Imaging apparatus and control method thereof
JP6294607B2 (en) IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP6355324B2 (en) Imaging apparatus and control method thereof