JP2020088447A - Imaging device and control method thereof - Google Patents
Imaging device and control method thereof Download PDFInfo
- Publication number
- JP2020088447A JP2020088447A JP2018215782A JP2018215782A JP2020088447A JP 2020088447 A JP2020088447 A JP 2020088447A JP 2018215782 A JP2018215782 A JP 2018215782A JP 2018215782 A JP2018215782 A JP 2018215782A JP 2020088447 A JP2020088447 A JP 2020088447A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- control unit
- imaging device
- read
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は撮像装置およびその制御方法に関する。 The present invention relates to an image pickup device and a control method thereof.
従来、デジタル(ビデオ)カメラにおいては、撮像素子から様々な用途の信号を取得することが知られている。特許文献1には、複数の画素を行単位で第1の画素群と第2の画素群とに分けて読み出し可能に構成した撮像素子が開示されている。そして、第1の画素群から得られる画像信号と第2の画素群から得られる画像信号とを同じ用途に用いる場合と、異なる用途に利用する場合とを切り換える技術が開示されている。
Conventionally, in a digital (video) camera, it is known to acquire signals for various applications from an image sensor.
特許文献1の技術では、第1の画素群と第2の画素群との読み出し方法(電荷蓄積時間およびフレームレート)を異ならせることで、2つの用途に適切な画像信号を得ることができる。しかしながら、さらに別の用途に適した画像信号が必要な場合には、いずれかの画素群の読み出し方法を変更する必要がある。読み出し方法の変更中は画像信号が得られないため、表示が停止したり、撮像装置の応答性低下(例えばシャッタータイムラグ)の原因となる。
In the technique of
本発明はこのような従来技術の課題に鑑みてなされたものである。本発明の一目的は、撮像素子の読み出し方を変更する必要がある場合に、変更に要する時間が撮像装置の動作に与える影響を低減することが可能な、撮像装置およびその制御方法を提供することにある。 The present invention has been made in view of such problems of the conventional art. An object of the present invention is to provide an image pickup apparatus and a control method thereof that can reduce the influence of the time required for the change on the operation of the image pickup apparatus when it is necessary to change the reading method of the image pickup element. Especially.
上述の目的は、撮像素子から第1の画像データおよび第2の画像データを取得する取得手段と、第2の画像データに基づいて撮影レンズの焦点検出用の情報を生成し、第1の画像データに基づいて表示用の画像データを生成する信号処理手段と、撮像素子の読み出し方法および信号処理手段の動作を制御する制御手段とを有し、制御手段は、撮像素子の読み出し方法を変更する場合、第1の画像データを取得するための読み出し方法を変更するとともに、第2の画像データに基づいて表示用の画像データを生成するように信号処理手段を制御する、ことを特徴とする撮像装置によって達成される。 The above-mentioned object is to obtain the first image data and the second image data from the image pickup device, and to generate the information for focus detection of the photographing lens based on the second image data, and to obtain the first image. It has a signal processing means for generating image data for display based on the data, and a control means for controlling the reading method of the image sensor and the operation of the signal processing means, and the control means changes the read method of the image sensor. In this case, the reading method for obtaining the first image data is changed, and the signal processing means is controlled so as to generate the image data for display based on the second image data. Achieved by the device.
本発明によれば、撮像素子の読み出し方を変更する必要がある場合に、変更に要する時間が撮像装置の動作に与える影響を低減することが可能な、撮像装置およびその制御方法を提供することができる。 According to the present invention, it is possible to provide an image pickup apparatus and a control method thereof, which can reduce the influence of the time required for the change on the operation of the image pickup apparatus when the reading method of the image pickup element needs to be changed. You can
以下、図面を参照して本発明の例示的な実施形態について詳細に説明する。なお、以下では、本発明の実施形態に係る、撮像装置の一例としてのデジタルカメラについて説明する。しかしながら、本発明は、撮像素子を利用可能な任意の電子機器や機械に適用可能である。このような電子機器や機械には、パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、PDA、ゲーム機、ロボット、家庭電化製品、自動車などが含まれるが、これらに限定されない。 Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings. In addition, below, the digital camera as an example of an imaging device based on embodiment of this invention is demonstrated. However, the present invention is applicable to any electronic device or machine that can use an image sensor. Such electronic devices and machines include, but are not limited to, personal computers, tablet computers, media players, PDAs, game consoles, robots, home appliances, automobiles, and the like.
図1は本実施形態に係るデジタルカメラ100(以下、単にカメラ100という)の機能構成例を示すブロック図である。本実施形態において、カメラ100はレンズマウント102を介して撮影レンズ120を着脱可能な構成であるものとするが、撮影レンズ120が着脱できない構成であってもよい。
FIG. 1 is a block diagram showing a functional configuration example of a digital camera 100 (hereinafter, simply referred to as camera 100) according to the present embodiment. In the present embodiment, the
撮影レンズ120は被写体の光学像を撮像素子110に形成する光学系である。レンズ101は、フォーカスレンズや変倍レンズなどの可動レンズを含む複数のレンズと、開口の大きさが可変の絞りと、可変レンズや絞りの駆動回路などを備える。レンズ制御部141は、プロセッサ(コンピュータ)、ROM、およびRAMを有する。レンズ制御部141は、ROMに記憶されたプログラムをRAMに読み込んでプロセッサで実行することにより、駆動回路の制御を始めとしたレンズ101の動作を制御する。撮影レンズ120の電源はレンズマウント102を通じてカメラ本体から供給される。また、レンズ制御部141と後述するカメラ制御部131とは、レンズマウント102を通じて双方向に通信可能である。
The taking
シャッタ103は、静止画撮影時に撮像素子110の露光時間を調節するフォーカルプレーンシャッタである。なお、撮像素子110の露光時間は電子シャッタ(撮像素子110の駆動制御)によって調節してもよい。
The
撮像素子110は、行列状に配置された複数の画素(画素群)を備える。各画素には例えばカラーフィルタ、マイクロレンズ、光電変換部などが設けられる。撮像素子110は、レンズ101が撮像面に形成する光学像を複数の画素によって電気信号(画素信号)に変換する。本実施形態において、撮像素子110はAD変換器を備え、画素信号をデジタルデータに変換する。また、撮像素子110は、画素群から読み出した画素信号を、2つに分けて出力することができる。
The
ここで、図2を用いて撮像素子110の詳細について説明する。図2は、撮像素子110の回路構成例を機能ブロックを用いて示した図である。撮像素子110は、画素群201、行走査回路202、カラムADCブロック203、列走査回路204、セレクタ205、フレームメモリ206、画像変換部207、パラレル・シリアル変換部(P/S変換部)208を有する。
Details of the
画素群201を構成する複数の画素のそれぞれは、露光期間に入射した光の強さに応じた電荷を蓄積する。行走査回路202によって画素群201の画素を行単位で選択し、選択した画素が蓄積した電荷を変換した電圧(画素信号)を、画素列ごとに設けられたAD変換器を有するカラムADCブロック203でAD変換する。そして、カラムADCブロック203内のAD変換器を列走査回路204で1つずつ選択して画素信号を読み出すことにより、1画素行分の、デジタル化された画素データ群(画像データ)を取得することができる。
Each of the plurality of pixels forming the
セレクタ205は、列走査回路204の動作と連動して、読み出された画素データがフレームメモリ206内で保存される領域を振り分けることができる。セレクタ205は例えば、4n(nは0以上の整数)および4n+1列目のデータと、4n+2および4n+3列目のデータとが、フレームメモリ206内の異なる先頭アドレスから保存されるように書き込みアドレスを切り換える。このようにして、撮像素子110は、並行して2種類の画像データを取得することができる。本実施形態では、この2種類の画像データをそれぞれ、メインデータ、サブデータと呼び、メインデータをフレームとする動画データをメインストリーム、サブデータをフレームとする動画データをサブストリームと呼ぶ。なお、画素データをどのようにメインデータとサブデータに割り振るかは上述の例に限定されない。
The
撮像素子110には、メインデータ用の画素行と、サブデータ用の画素行とで個別の読み出し方法(電荷蓄積時間、フレームレート、加算読出の有無など)を設定することができる。撮像素子110の読み出し方法は、タイミング発生部142が撮像素子110に与えるタイミング制御信号によって制御することができる。したがって、カメラ制御部131がタイミング発生部142を制御することによって、メインデータ用の画素行および/またはサブデータ用の画素行の読み出し方法を変更することができる。例えば撮像素子110の複数の読み出し方法に対応するタイミング制御パターンをタイミング発生部142に予め登録しておき、カメラ制御部131からタイミング制御パターンを指定することにより、撮像素子110の読み出し方法を変更してもよい。
In the
画像変換部207は、フレームメモリ206から読み出されるメインストリームおよびサブストリームのフレームに対し、例えばリサイズ処理といった変換処理を適用することができる。
The
P/S変換部208は、パラレル・シリアル変換を行い、シリアルデータに変換した画像データを撮像素子110から出力する。なお、P/S変換部208は、メインストリームをメインレーン111に、サブストリームをサブレーン112に出力することができる。図1に示すように、メインレーン111およびサブレーン112は、撮像素子110と信号処理部121とを接続する信号経路である。P/S変換部208は、メインストリームおよびサブストリームを並列に出力することができる。
The P/
信号処理部121は、メインレーン111およびサブレーン112を通じて入力される画像データ(メインストリームおよびサブストリームのフレーム)に対し、所定の画像処理を適用する。ここで、信号処理部121が適用する画像処理には、ホワイトバランス調整、色補間、色補正、γ変換、エッジ強調、解像度変換、ノイズ低減といった補正処理がある。信号処理部121は、画像処理後の画像データから表示用画像データを生成することができる。表示用画像データは、例えば、画像処理後の画像データの解像度を、表示部153の表示領域の解像度に合わせることによって生成することができる。読み出し解像度が表示解像度に等しい場合には、画像処理後の画像データをそのまま表示用画像データとして用いてもよい。なお、他の方法で表示用画像データを生成してもよい。
The
また、信号処理部121はまた、画像処理後の画像データに対して、画像の輝度やコントラスト情報の取得、被写体の検出および/または認識などの解析処理を適用することができる。なお、解析処理で得られた情報は、例えば自動露出制御(AE)や自動焦点検出(AF)に用いることができる。撮像素子110が焦点検出用画素を有する場合、信号処理部121は解析処理により、位相差検出方式のAFを実行するための1対の像信号を生成することができる。なお、ここに列挙した画像処理は解析処理は例示であって、全てが必須ではなく、また他の処理が適用されてもよい。
Further, the
信号処理部121は、メインストリームとサブストリームとに同様の処理を適用することができる。信号処理部121は、処理を適用したメインストリームおよびサブストリームを、バス150を通じてメモリ132に出力する。また、信号処理部121は、解析処理で得られた情報についてはバス150を通じてカメラ制御部131に出力する。
The
メモリ132は、画像データなどの一時的な格納や、カメラ制御部131が実行するプログラムや、プログラムを実行中の変数値などを格納するために用いられるシステムメモリである。また、メモリ132は表示用の画像データを格納するVRAMとしても用いられる。
The
不揮発性メモリ133は、カメラ制御部131が実行するプログラムや、GUIデータ、各種設定値などを記憶する。なお、不揮発性メモリ133は書き換え可能であってよい。
タイミング発生部142は、撮像素子110や信号処理部121などの動作を制御する信号を生成し、提供する。
バス150は接続されている構成要素間でデータや制御信号などを通信するための通信路を提供する。
The
The
The
表示部153は例えばカラー液晶ディスプレイであり、撮影された画像、カメラ100の各種情報、GUI画面などの表示に用いられる。動画像を撮影しながら表示部153に継続的に表示することにより、表示部153を電子ビューファインダ(EVF)として機能させることができる。表示部153をEVFとして機能させるための表示用画像はライブビュー画像とも呼ばれる。表示部153にはタッチパネル156が設けられており、タッチディスプレイとして機能する。カメラ制御部131は、タッチパネル156に対する操作の位置や種類を検出することができる。
The display unit 153 is, for example, a color liquid crystal display, and is used for displaying a captured image, various information of the
表示制御部151は、バス150を介してタイミング発生部142から供給される信号に応じて、メモリ132のVRAM領域に保存された表示用画像データをD/A変換部152および/またはHDMI(登録商標)出力端子155に供給する。D/A変換部152は画像データを表示用のアナログ画像信号へと変換し、表示部153および/またはVIDEO出力端子154に出力する。
The
カード入出力部171は、カードスロット172に着脱可能に挿入された記録媒体173(例えばメモリカード)にデータを記録したり、記録媒体173に記録されているデータを読み出したりすることができる。
The card input/
発光制御部181は、カメラ制御部131の指示に応じて、内蔵フラッシュ182および/または外部フラッシュ183の発光パターンや発光量を制御する。
操作部161は、カメラ100の筐体に設けられたスイッチ、ボタン、ダイヤルなどの総称である。操作部161には一般に、例えば電源スイッチ、レリーズボタン、レリーズスイッチ、方向キー、決定(SET)ボタン、メニューボタンなどが含まれるが、これらに限定されない。なお、レリーズスイッチはレリースボタンの半押し操作に応じてONする第1スイッチSW1と、全押し操作に応じてONする第2スイッチSW2とを有する。制御部131は、SW1のONを静止画撮影の準備指示、SW2のONを静止画撮影の開始指示と認識して、撮影準備処理(AE,AFなど)、撮影処理(露光、記録など)をそれぞれ実行する。
電源160は、カメラ100の各部に電源を供給する。
The light
The
The
カメラ制御部131は、例えばCPUなどのプロセッサを有し、不揮発性メモリ133に記憶されたプログラムをメモリ132に読み込んで実行し、カメラ100の各部の動作をバス150を通じて制御することによりカメラ100の機能を実現する。本実施形態では、カメラ制御部131が、レンズ制御部141、タイミング発生部142、信号処理部121、表示制御部151、発光制御部181を通じてカメラ100の各部の制御を実現している。しかし、カメラ制御部131がカメラ100の各部を直接制御する構成であってもよい。また、カメラ制御部131を設けず、上述した制御部や処理部が連動して制御(処理)をおこなうことでカメラ100の各部を制御する構成であってもよい。
The
カメラ制御部131はまた、信号処理部121が解析処理によって取得した情報を用いて、AEやAFを実行することができる。例えばカメラ制御部131は、露出制御に関する設定と、画像の輝度情報とに基づいてシャッタースピード、絞り値、撮影感度、フラッシュ発光量といった露出条件を決定することができる。またカメラ制御部131は、コントラスト情報や像信号間の位相差に基づいてレンズ101が有するフォーカスレンズを駆動することにより、交換レンズ120の焦点を調節することができる。なお、解析処理において顔などの被写体検出を実行する場合、検出結果をAEやAFに用いることもできる。カメラ制御部131が行うAEやAFの動作は公知の技術を利用できるため、これ以上の詳細については説明を省略する。
The
次に、カメラ100における、静止画撮影のスタンバイ状態から撮影開始までのタイミング制御について、図3のタイミングチャートおよび図4のフローチャートを参照して説明する。静止画撮影のスタンバイ状態とは、カメラ100の電源スイッチがONであり、カメラ100の動作モードが撮影モードに設定され、かつ第1スイッチSW1および第2スイッチSW2がいずれもOFFの状態である。また、例えばフラッシュの強制発光モードが設定されているなど、記録時にフラッシュを点灯させる必要があるものとする。
Next, the timing control from the standby state of still image shooting to the start of shooting in the
静止画撮影のスタンバイ状態において制御部131は、動画撮影を開始し(S101)、以下の処理を並列に実行する。
・サブストリームを用いた処理(S111〜S115)
・表示用ストリーム選択処理(S121〜S123)
・メインストリームを用いた処理(S131〜S138)
なお、ここでは、動画の撮影フレームレートが60fpsであり、表示部153の表示フレームレートが30fpsであるものとする。
In the standby state for still image shooting, the
-Processing using substreams (S111 to S115)
-Display stream selection processing (S121 to S123)
-Processing using the main stream (S131 to S138)
It is assumed here that the moving image shooting frame rate is 60 fps and the display frame rate of the display unit 153 is 30 fps.
S111、S121、S131でカメラ制御部131は、撮影スタンバイ処理を終了するか否かを判定し、終了すると判定されればS140へ、判定されなければ処理をS112、S122、S132にそれぞれ進める。
本実施形態においてカメラ制御部131は、例えば再生モードへの変更指示、第2スイッチSW2のON、電源スイッチのOFF操作が検出された場合に、撮影スタンバイ処理を終了すると判断することができる。ただし、これらは例示であり、他の条件によって撮影スタンバイ処理を終了すると判定してもよい。
In S111, S121, and S131, the
In the present embodiment, the
まず、第1スイッチSW1がONになるまでの状態における処理について説明する。
この状態では、表示用ストリーム選択処理(S121〜S123)におけるS122の判定処理において、カメラ制御部131は処理をS123に進める。そして、S123でカメラ制御部131は、メインストリームから生成した表示用画像データを表示することを決定し、信号処理部121に通知する。
First, the processing in the state until the first switch SW1 is turned on will be described.
In this state, in the determination process of S122 in the display stream selection process (S121 to S123), the
信号処理部121は、撮像素子110から並列出力されるサブストリームおよびメインストリームを取得し(S112、S132)、画像処理を適用する。そして、信号処理部121は、カメラ制御部131の制御に従い、メインストリームの画像処理後の画像データから表示用画像データ(ライブビュー画像データ)を生成してメモリ132のVRAM領域に格納する。信号処理部121はさらに、サブストリームの画像処理後の画像データに対して解析処理を適用し、解析結果(例えば焦点検出用のコントラスト情報)をカメラ制御部131に供給する。
The
ここでは、静止画撮影スタンバイ状態における撮像素子110の読み出し方法として、メインデータ用の画素行を30fps、サブデータ用の画素行を60fpsで読み出す設定がなされているものとする。
Here, as a method of reading the
信号処理部121は、メインストリームから30fpsの表示用画像データを生成し、メモリ132のVRAM領域に順次格納する。表示制御部151は、メモリ132のVRAM領域から表示用画像データを読み出し、D/A変換部152を通じて表示部153に表示させる。これにより、静止画撮影スタンバイ状態において、表示部153はEVFとして機能する。
The
一方、信号処理部121はサブストリームについては各フレームについて解析処理を実行し、解析結果を60回/秒でカメラ制御部131に出力する。カメラ制御部131は、例えばレンズ101のフォーカスレンズを微小範囲で往復駆動(ウォブリング)させながら、解析結果(例えばコントラスト情報)の変化を監視し、レンズ101の合焦状態を把握することができる。そして、必要に応じてフォーカスレンズの往復駆動の中心位置を移動させることにより、レンズ101の合焦状態を被写体の動きに追従させることができる。また、カメラ制御部131は、ウォブリング中に得られるコントラスト情報から、コントラストが最大になるフォーカスレンズ位置を合焦位置として検出する(S113)。
On the other hand, the
なお、解析処理において位相差検出方式のAF処理に用いる像信号対が得られている場合、カメラ制御部131は像信号間の位相差を検出し、位相差をデフォーカス量に換算する。デフォーカス量は合焦位置までのフォーカスレンズの移動方向と移動量を表すため、カメラ制御部131はデフォーカス量に基づいてレンズ101のフォーカスレンズを合焦位置に駆動する。なお、レンズ101に含まれるフォーカスレンズや絞りの駆動は、カメラ制御部131からレンズ制御部141に命令を与えることによって実現される。
When the image signal pair used in the AF process of the phase difference detection method is obtained in the analysis process, the
図3は、第1スイッチSW1のON前後の期間における、メインストリームおよびサブストリームの用途と、関連する処理について経時的に示した図である。なお、図3において「AF用」と記載しているのは便宜上であって、実際にはAEやAFに用いるための解析結果を取得する目的であることを示している。図3に示すように、SW1がONになるまでの期間は、メインストリームが表示用、サブストリームがAF(解析)用である。 FIG. 3 is a diagram showing the use of the main stream and the sub-stream and the related processing over time during the period before and after the first switch SW1 is turned on. It should be noted that in FIG. 3, the description of “for AF” is for convenience, and it is shown that it is the purpose of actually obtaining the analysis result for use in AE and AF. As shown in FIG. 3, the main stream is for display and the sub stream is for AF (analysis) until the SW1 is turned on.
次に、レリーズボタンが半押しされ、第1スイッチSW1がON、第2スイッチSW2がOFFの状態になったときの動作について説明する。
操作部161のレリーズボタンが半押し操作され、第1スイッチSW1がONになると、表示用ストリーム選択処理(S121〜S123)におけるS122の判定処理において、カメラ制御部131は処理をS124に進める。そして、S124でカメラ制御部131は、サブストリームから生成した表示用画像データを表示することを決定し、信号処理部121に通知する。
Next, the operation when the release button is pressed halfway to turn on the first switch SW1 and the second switch SW2 will be described.
When the release button of the
これにより、信号処理部121は、60fpsで読み出されているサブストリームから、表示部153の表示フレームレートに合わせた30fpsの表示用画像データを生成して、VRAM132に格納するように動作を変更する。フレームレートを低下させる方法に特に制限は無く、2フレーム分のデータを加算してもよいし、フレームを間引いてもよい。
As a result, the
また、カメラ制御部131は、メインストリームを用いる処理において、S133の判定処理からS134に処理を進め、撮像素子110からのメインストリームの読み出し方法を変更する。具体的には、フラッシュの発光量を決定するための画像データを取得するための読み出し方法に変更する。これは、メインストリームの用途を発光量制御用に変更することに相当する。
Further, in the processing using the main stream, the
ここで、サブストリームではなくメインストリームの読み出し方法を変更するのは、解析結果に基づくフォーカスレンズの駆動動作と、プリ発光を用いたフラッシュの発光量決定とを並行して実行できないためである。メインストリームを表示に用い続け、サブストリームの用途をフラッシュの発光量制御用に変更する場合、フォーカスレンズを合焦位置に移動し終えてからサブデータ用の画素行の読み出し方法を変更する必要がある。読み出し方法が変更可能になるまでの待機時間は、レリーズタイムラグの増加要因となる。 Here, the reason why the reading method of the main stream instead of the sub stream is changed is that the driving operation of the focus lens based on the analysis result and the light emission amount determination of the flash using the pre-light emission cannot be executed in parallel. When continuing to use the main stream for display and changing the purpose of the sub stream to control the light emission amount of the flash, it is necessary to change the readout method of the pixel row for sub data after moving the focus lens to the in-focus position. is there. The waiting time until the reading method can be changed becomes an increase factor of the release time lag.
メインストリームの読み出し方法を変更することで、読み出しの変更とフォーカスレンズの駆動とを並行して実行できるため、フォーカスレンズの駆動終了後直ちにプリ発光を行うことができ、レリーズタイムラグの短縮が実現できる。 By changing the read method of the main stream, it is possible to change the read operation and drive the focus lens in parallel. Therefore, pre-light emission can be performed immediately after the drive of the focus lens is completed, and the release time lag can be shortened. ..
なお、記録用の撮影時の発光量を精度よく行うためには、全体がプリ発光によって露光された画像のデータを取得する必要がある。撮像素子110のように、行ごとに蓄積(露光)と読み出しのタイミングが異なる場合、読み出す全ての行が露光期間になるまでプリ発光を待機する必要がある。この待機時間を短縮するため、カメラ制御部131は、例えば、メインデータ用の画素行を削減したり、画素加算を行ったり、蓄積時間を減少させたりして、読み出しフレームレートを高めるように読み出し方法を変更することができる。
Note that in order to accurately perform the light emission amount at the time of shooting for recording, it is necessary to acquire the data of the image which is entirely exposed by the pre-light emission. When the timings of accumulation (exposure) and reading are different for each row like the
そして、S135でカメラ制御部131は、プリ発光前の画像データを取得したか否かを判定し、取得したと判定されればS137へ、判定されなければS136へ処理を進める。
S136でカメラ制御部131は、信号処理部121に対し、読み出し方法の変更後にメインストリームから得られた画像処理後の画像データ(非発光時の画像データ)をRAM132のVRAM領域以外に記憶させ、処理をS131に戻す。なお、S134における読み出し方法の変更処理は、2度目以降は実行しなくてよい。
Then, in step S135, the
In S136, the
S137でカメラ制御部131は、発光制御部181を通じて内蔵フラッシュ182もしくは外部フラッシュ183をプリ発光させる。そして、信号処理部121に対し、メインストリームから得られた画像処理後の画像データ(プリ発光時の画像データ)をRAM132のVRAM領域以外に記憶させ、処理をS138に進める。
In step S137, the
S138でカメラ制御部131は、信号処理部121に、非発光時の画像データとプリ発光時の画像データとの差分を算出させる。そして、カメラ制御部131は、差分に基づいて記録用の撮影時のフラッシュ発光量を決定する。また、カメラ制御部131は、プリ発光時の画像データと、決定した発光量とに基づいて、記録用の撮影時の露出条件(シャッタースピード、絞り、撮影感度)を決定する。その後、カメラ制御部131はS131とS132とを繰り返し実行する。
In step S138, the
一方、サブストリームに対する処理において、信号処理部121は、サブストリームの画像処理後の画像データから表示用画像データ(ライブビュー画像データ)を生成してメモリ132のVRAM領域に格納する。信号処理部121はさらに、サブストリームの画像処理後の画像データに対して解析処理を適用し、解析結果(例えばコントラスト情報)をカメラ制御部131に供給する。
On the other hand, in the processing for the substream, the
また、カメラ制御部131は、S114の判定処理から処理をS115に進め、S113で求めた合焦位置へフォーカスレンズを駆動する。その後、カメラ制御部131は、処理をS111に戻す。
Further, the
図3に示すように、第1スイッチSW1のONにより、メインストリームの読み出し方法が変更され、さらに、ライブビュー画像がメインストリームからサブストリームに変更されることにより、ライブビュー表示が中断されずに維持されていることがわかる。さらに、サブストリームを用いたレンズ101の合焦制御と、メインストリームの読み出し方法の変更とを並列に実行することにより、フォーカスレンズの駆動完了後ただちにプリ発光を実施することができる。
As shown in FIG. 3, when the first switch SW1 is turned on, the reading method of the main stream is changed, and further, the live view image is changed from the main stream to the sub stream, so that the live view display is not interrupted. You can see that it is maintained. Further, by executing the focusing control of the
その後、例えば第2スイッチSW2がONになると、カメラ制御部131は処理をS140へ、さらにS150に進め、記録用の静止画撮影を実行する。この際、カメラ制御部131は、発光制御部181を通じ、プリ発光によって決定した発光量でフラッシュを点灯させる。SW2のON以外の理由で静止画撮影スタンバイ処理が終了される場合には、S140からそのまま処理を終了する。
Thereafter, for example, when the second switch SW2 is turned on, the
なお、ここではフラッシュの強制発光が設定されているものとしたが、例えばS113において解析結果に基づいてAE処理を実行した結果として、フラッシュの点灯要否が決定されてもよい。 Although the flash forced light emission is set here, whether or not the flash should be turned on may be determined as a result of executing the AE process based on the analysis result in S113, for example.
(変形例)
なお、ここでは2つの画像データを並列に出力可能な撮像素子110を用いた構成について説明した。しかし、別の方法で2つの画像データを並列に取得する構成であってもよい。例えば図5に示すように、ハーフミラー104を用い、反射した被写体光学像と透過した被写体光学像をそれぞれ第一撮像素子113と第二撮像素子114で撮影するように構成してもよい。
(Modification)
In addition, here, the configuration using the
また本実施形態では、画像データの用途を表示用からフラッシュの発光量制御用に変更するために読み出し方法を変更する場合について説明した。しかし、本発明は他の用途変更時においても適用可能である。例えば、サブストリームを用いて焦点検出を行いながら、メインストリームを通常測光用と高輝度測光用とで切り換えることにより、広いダイナミックレンジでの測光を実現してもよい。この場合、カメラ制御部131は、メインストリームから得られる画像処理後の画像データを用いて測光処理を実施する。
Further, in this embodiment, the case where the reading method is changed to change the purpose of the image data from the display to the flash emission amount control has been described. However, the present invention can be applied when changing other uses. For example, photometry in a wide dynamic range may be realized by switching the main stream between normal photometry and high-luminance photometry while performing focus detection using the substream. In this case, the
そして、カメラ制御部131は、通常測光(例えば適正露出条件で撮影した画像に基づく測光)が終了したら、メインデータ用の画素行の読み出し方法を、高輝度測光用の画像データを取得するための読み出し方法に変更する。高輝度測光用の画像データは、通常測光用の画像データよりも電荷蓄積時間が短い読み出し方法とすればよい。カメラ制御部131は、通常測光処理には表示用画像データを用い、読み出し方法の切り換え処理中および高輝度測光の期間は、表示用画像データをサブストリームから生成するように信号処理部121を制御する。
Then, when the normal photometry (for example, photometry based on the image shot under the proper exposure condition) is completed, the
本実施形態によれば、並列に取得した2つの画像データのうち、一方の画像データを焦点検出に用い、他方の画像を焦点検出以外に用いている状態で、撮像素子の読み出し方法を変更する場合、他方の画像データについての読み出し方法を変更するようにした。これにより、焦点検出動作と読み出し変更処理とを並列に実行できるため、例えばシャッタータイムラグを短縮することができる。さらに、他方の画像データの用途に一方の画像データを用いるように変更すれば、他方の画像データを用いていた処理を中断することなく継続できる。 According to the present embodiment, of the two image data acquired in parallel, one of the image data is used for focus detection and the other image is used for other than focus detection, and the reading method of the image sensor is changed. In this case, the reading method for the other image data is changed. Accordingly, the focus detection operation and the read change processing can be executed in parallel, so that the shutter time lag can be shortened, for example. Furthermore, if the one image data is used for the other image data, the process using the other image data can be continued without interruption.
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other embodiments)
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. It can also be realized by the processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
100…撮像装置、110…撮像素子、121…信号処理部、131…カメラ制御部、141…レンズ制御部、151…表示制御部、181…発光制御部
Claims (11)
前記第2の画像データに基づいて撮影レンズの焦点検出用の情報を生成し、前記第1の画像データに基づいて表示用の画像データを生成する信号処理手段と、
前記撮像素子の読み出し方法および前記信号処理手段の動作を制御する制御手段とを有し、
前記制御手段は、前記撮像素子の読み出し方法を変更する場合、前記第1の画像データを取得するための読み出し方法を変更するとともに、前記第2の画像データに基づいて表示用の画像データを生成するように前記信号処理手段を制御する、
ことを特徴とする撮像装置。 Acquisition means for acquiring the first image data and the second image data from the image sensor;
Signal processing means for generating information for focus detection of the photographing lens based on the second image data, and generating image data for display based on the first image data;
A read-out method of the image pickup device and a control means for controlling the operation of the signal processing means,
When changing the reading method of the image pickup device, the control means changes the reading method for acquiring the first image data and generates image data for display based on the second image data. To control the signal processing means,
An imaging device characterized by the above.
前記第2の画像データに基づいて撮影レンズの焦点検出用の情報を生成し、前記第1の画像データに基づいて表示用の画像データを生成する信号処理工程と、
前記撮像素子の読み出し方法を変更する場合、前記第1の画像データを取得するための読み出し方法を変更するとともに、前記第2の画像データに基づいて表示用の画像データを生成するように前記信号処理工程を制御する制御工程と、
ことを特徴とする撮像装置の制御方法。 An acquisition step of acquiring first image data and second image data from the image sensor,
A signal processing step of generating information for focus detection of the photographing lens based on the second image data, and generating image data for display based on the first image data;
When changing the read method of the image sensor, the read method for acquiring the first image data is changed, and the signal is generated so as to generate image data for display based on the second image data. A control step for controlling the processing step,
A method for controlling an imaging device, comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018215782A JP7241511B2 (en) | 2018-11-16 | 2018-11-16 | Imaging device and its control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018215782A JP7241511B2 (en) | 2018-11-16 | 2018-11-16 | Imaging device and its control method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020088447A true JP2020088447A (en) | 2020-06-04 |
JP7241511B2 JP7241511B2 (en) | 2023-03-17 |
Family
ID=70908980
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018215782A Active JP7241511B2 (en) | 2018-11-16 | 2018-11-16 | Imaging device and its control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7241511B2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006211640A (en) * | 2004-12-28 | 2006-08-10 | Canon Inc | Imaging apparatus, solid-state imaging apparatus control method, and computer program |
JP2007097033A (en) * | 2005-09-30 | 2007-04-12 | Casio Comput Co Ltd | Imaging apparatus and program therefor |
JP2012113248A (en) * | 2010-11-26 | 2012-06-14 | Canon Inc | Imaging apparatus |
JP2015103944A (en) * | 2013-11-25 | 2015-06-04 | キヤノン株式会社 | Imaging apparatus and image signal processing method |
-
2018
- 2018-11-16 JP JP2018215782A patent/JP7241511B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006211640A (en) * | 2004-12-28 | 2006-08-10 | Canon Inc | Imaging apparatus, solid-state imaging apparatus control method, and computer program |
JP2007097033A (en) * | 2005-09-30 | 2007-04-12 | Casio Comput Co Ltd | Imaging apparatus and program therefor |
JP2012113248A (en) * | 2010-11-26 | 2012-06-14 | Canon Inc | Imaging apparatus |
JP2015103944A (en) * | 2013-11-25 | 2015-06-04 | キヤノン株式会社 | Imaging apparatus and image signal processing method |
Also Published As
Publication number | Publication date |
---|---|
JP7241511B2 (en) | 2023-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5322783B2 (en) | IMAGING DEVICE AND CONTROL METHOD OF IMAGING DEVICE | |
JP5623254B2 (en) | Imaging apparatus and control method thereof | |
US8798452B2 (en) | Digital imaging method and apparatus | |
US9854178B2 (en) | Image pickup apparatus with flicker detection and having plurality of unit pixel areas, control method therefor, and storage medium | |
JP2015011320A (en) | Imaging device and control method of the same | |
CN111133356B (en) | Image pickup apparatus, image pickup apparatus main body, and focus control method for image pickup apparatus | |
US11842469B2 (en) | Apparatus, a method and a computer-readable non-transitory storage medium to pick up a plurality of image at different in-focus positions | |
JP2016072695A (en) | Imaging apparatus, control method thereof, program, and storage medium | |
CN111095067B (en) | Image pickup apparatus, image pickup apparatus main body, and focus control method for image pickup apparatus | |
JP5791765B2 (en) | Imaging apparatus and control method thereof | |
JP7241511B2 (en) | Imaging device and its control method | |
US11153516B2 (en) | Image capture apparatus and control method therefor | |
JP6244824B2 (en) | Imaging apparatus and imaging method | |
CN111758069B (en) | Aperture control device and method, interchangeable lens, camera body, and recording medium | |
JP2018081224A (en) | Imaging device and control method thereof | |
JP6924089B2 (en) | Imaging device and its control method | |
JP6997544B2 (en) | Imaging device and its control method, program, storage medium | |
JP6501628B2 (en) | Imaging device, control method therefor, and control program | |
US11277555B2 (en) | Image pickup apparatus that performs focus bracketing, control method therefor, and storage medium | |
JP2009198956A (en) | Imaging apparatus and program | |
JP6626332B2 (en) | Imaging device and control method thereof | |
JP2019161329A (en) | Imaging apparatus | |
JP2020046604A (en) | Imaging device | |
JP2012247613A (en) | Imaging device | |
JP2013242406A (en) | Imaging device and control method of the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211111 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220722 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220822 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221007 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230307 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7241511 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |