JP2021034941A - 撮像制御装置、撮像装置、制御方法、及びプログラム - Google Patents

Abstract

【課題】評価画像の取得の停止期間について、停止期間外に取得される評価値との一貫性がより高い評価値を取得することを可能にする技術を提供する。【解決手段】撮像及び現像のうちの少なくとも一方を制御するための評価値の取得に用いる評価画像を、撮像手段を用いて繰り返し取得するように制御する第１の制御手段と、前記評価画像に基づいて前記評価値を取得する取得手段と、前記評価画像の取得を一時的に停止して、停止期間に前記撮像手段を用いて記録用の静止画を取得するように制御する第２の制御手段と、前記停止期間外に取得された２以上の評価画像に基づいて、前記停止期間に対応する推定評価画像を生成する生成手段と、を備え、前記取得手段は、前記停止期間については、前記推定評価画像に基づいて前記評価値を取得することを特徴とする撮像制御装置を提供する。【選択図】図４

Description

本発明は、撮像制御装置、撮像装置、制御方法、及びプログラムに関する。

撮像装置には、撮影した画像を解析することで、撮影に必要となる様々な情報（評価値）を取得する機能を有するものがある。撮影に必要となる様々な情報（評価値）とは、例えば、オートフォーカス、露出、ホワイトバランス、動き、被写体などに関する情報である。一般に、評価値の取得に用いる画像（以下、「評価画像」と呼ぶ）は、６０フレーム／秒などの一定間隔で撮像され、撮像装置は、評価画像毎に評価値を取得し、求めた評価値に基づいて、静止画の撮影を行う。

しかし、撮像装置が撮像センサを１つしか持たない場合、撮像センサは静止画データ出力と評価画像データ出力の両方を行う必要があり、静止画用駆動を行っている間には、評価画像用駆動を行うことはできない。連写撮影を行う場合、レリーズのタイミングと連写間隔によっては、静止画用駆動時間が評価画像用駆動時間に重なることとなる。その結果、評価画像の出力が得られないため、静止画撮影中に評価値を取得することができない。

特許文献１は、表示用の出力と静止画用の出力の両方を切り替えて表示に利用する技術を開示している。この技術を利用すれば、連写時に静止画用の出力を縮小するなどして評価画像を生成することにより、静止画撮影中に評価値取得を行うことが可能となる。これにより、連写中においても、高頻度で評価値取得を行うことができる。

特開２０１２−４４５６６号公報

しかしながら、一般的に、表示用の撮影と静止画用の撮影とでは、露出設定などの撮影条件が異なる基準に基づいて決定される。そのため、特許文献１のように静止画用の出力から評価画像を生成する場合、静止画撮影中とそれ以外の期間とで評価画像の画質が不連続に変化し、一貫性のある評価値を継続的に取得することができない。

本発明はこのような状況に鑑みてなされたものであり、評価画像の取得の停止期間について、停止期間外に取得される評価値との一貫性がより高い評価値を取得することを可能にする技術を提供することを目的とする。

上記課題を解決するために、本発明は、撮像及び現像のうちの少なくとも一方を制御するための評価値の取得に用いる評価画像を、撮像手段を用いて繰り返し取得するように制御する第１の制御手段と、前記評価画像に基づいて前記評価値を取得する取得手段と、
前記評価画像の取得を一時的に停止して、停止期間に前記撮像手段を用いて記録用の静止画を取得するように制御する第２の制御手段と、前記停止期間外に取得された２以上の評価画像に基づいて、前記停止期間に対応する推定評価画像を生成する生成手段と、を備え、前記取得手段は、前記停止期間については、前記推定評価画像に基づいて前記評価値を取得することを特徴とする撮像制御装置を提供する。

本発明によれば、評価画像の取得の停止期間について、停止期間外に取得される評価値との一貫性がより高い評価値を取得することが可能となる。

なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

第１の実施形態に係るデジタルカメラ１００の構成を示すブロック図。 第１の実施形態に係る、静止画連写中の評価値取得に関するタイミングチャート。 推定評価画像生成処理のための学習モデルの概要を示す図。 第１の実施形態に係る静止画撮影処理のフローチャート。 推定評価画像生成処理の入出力画像のタイミングを示す図。 第２の実施形態に係るデジタルカメラ６００の構成を示すブロック図。 第２の実施形態に係る、静止画連写中の評価値取得に関するタイミングチャート。 第２の実施形態に係る静止画撮影処理のフローチャート。 第３の実施形態に係るデジタルカメラ９００の構成を示すブロック図。 第３の実施形態に係る、静止画連写中の評価値取得に関するタイミングチャート。 第３の実施形態に係る静止画撮影処理のフローチャート。 推定評価画像調整部９１２の詳細な構成を示すブロック図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
図１は、撮像制御装置の一例であるデジタルカメラ１００の構成を示すブロック図である。なお、本実施形態の撮像制御装置はデジタルカメラのような撮像装置に限定されず、デジタルビデオカメラ、スマートフォン、カメラ付き携帯電話、又は車載カメラなどであってもよい。

デジタルカメラ１００は、センサ１１３、記録画像処理部１０１、表示部１０２、表示デバイス１０３、制御部１０４、データ転送部１０５、バス１０６、一時記録部１０７、記録部１０８、及び表示画像処理部１０９を備える。また、デジタルカメラ１００は、評価値処理部１１０、評価画像推定部１１１、及びセンサ１１３からのアナログ信号をデジタル信号に変換するＡＤ変換器（不図示）を備える。また、デジタルカメラ１００は、画像データを例えばＪＰＥＧ形式やＭＰＥＧ形式などに圧縮したり、圧縮されたデータを伸張したりする圧縮伸張部（不図示）を備える。また、デジタルカメラ１００は、ＪＰＥＧ形式やＭＰＥＧ形式の画像データを外部メディア（不図示）に記録する外部記録部（不図示）を備える。

センサ１１３は、受光した被写体像を電気信号に変換して画像データを作成するＣＣＤやＣＭＯＳセンサ等の撮像素子である。センサ１１３の画像データは、データ転送部１０５を介して一時記録部１０７へ書き込まれる。

記録画像処理部１０１は、記録用の静止画を生成する。記録画像処理部１０１は、画素補正、黒レベル補正、シェーディング補正、傷補正、ホワイトバランス調整、倍率色収差補正、ガンマ補正、輝度・色生成処理、幾何変形、ノイズリダクション、拡大縮小などの複数の画像処理を実行する。また、記録画像処理部１０１は、画像データに対して適切な画像処理を施す。また、記録画像処理部１０１は、データ転送部１０５と接続され、データ転送部１０５から画像データを取得し、画像処理した処理結果を、データ転送部１０５を介して一時記録部１０７へ書き出す。

表示画像処理部１０９は、ライブビュー画像（ＬＶ画像）を生成する。表示画像処理部１０９は、記録画像処理部１０１と同様に、複数の画像処理を実行する機能を有するが、表示周期中にＬＶ画像生成を完了させる必要があるため、記録画像処理部１０１よりも簡易かつ高速な画像処理を施すように構成される。また、表示画像処理部１０９は、データ転送部１０５と接続され、データ転送部１０５から画像データを取得し、画像処理した処理結果を、データ転送部１０５を介して表示部１０２へ出力する。また、表示画像処理部１０９は、縮小画像処理部（不図示）を有し、生成したＬＶ画像をＱＶＧＡなどのサイズに縮小して評価画像を生成し、生成した評価画像をデータ転送部１０５を介して評価値処理部１１０へ出力する。

なお、縮小画像処理部は、より評価画像の生成に特化した、専用の処理部として構成されもよい。また、本実施形態では、記録画像処理部１０１と表示画像処理部１０９とを別々の画像処理部として説明したが、例えば、共通の画像処理部により、ＬＶ画像処理非実施期間中に静止画画像処理を行うような、時分割処理を行う構成を採用してもよい。

評価値処理部１１０は、データ転送部１０５と接続され、表示画像処理部１０９から出力される評価画像、又は評価画像推定部１１１から出力される推定評価画像に基づいて、評価値を取得する。

評価値は、撮像及び現像のうちの少なくとも一方を制御するための情報であり、例えば、合焦状態、露出、ホワイトバランス、被写体の種類、及び被写体の動きのうちのいずれかを示す情報である。また、評価値処理部１１０は、２種類以上の評価値を取得してもよい。例えば、評価値処理部１１０は、２種類の評価値として、被写体の種類を示す情報、及び被写体の追跡に用いる動きベクトル（被写体の動きを示す情報）を取得する。この場合、評価値処理部１１０は、評価画像又は推定評価画像から顔などの被写体を検出する処理（被写体検出処理）、及び、検出した被写体の動きベクトルを検出する処理（動きベクトル検出処理）を行う。被写体検出処理及び動きベクトル検出処理には、任意の既知の技術を利用することができる。

なお、本実施形態では、評価値処理部１１０は、表示周期と同周期で評価値取得処理を実行するものとするが、異なる周期で実行してもよい。

評価画像推定部１１１は、評価値処理部１１０に入力する推定評価画像を生成する処理を行う。推定評価画像生成処理は、学習モデルに基づいて行われる。

図３は、推定評価画像生成処理のための学習モデルの概要を示す図である。学習モデルとしては、既知のニューラルネットワークモデルを利用することができる。入力層に、時間方向に連続した２枚のＱＶＧＡサイズの画像を入力すると、出力層からは、入力画像の次のフレームに対応するＱＶＧＡサイズの画像が出力される。学習フェーズにおいては、学習中のモデルは、学習モデル３０３、学習データ画像３０１、及び教師データ画像３０２によって構成される。学習モデル３０３は、既に取得した複数の評価画像から、次の評価画像を推定することを目的とする。従って、学習データ画像３０１と教師データ画像３０２としては、時間方向に連続した評価画像が用いられる。例えば、ＱＶＧＡサイズの動画像において、フレームＮとフレームＮ＋１を学習データ画像３０１とした場合、教師データ画像３０２はフレームＮ＋２となるよう学習が行われる。本実施形態において、学習フェーズは、撮影中には行わず、事前に学習を済ませておき、各エッジの重みデータなどを係数データとして、記録部１０８に保持している。そして、デジタルカメラ１００の起動時、又は動作モード変更時などにおいて、記録部１０８に保持した係数データを、データ転送部１０５を介して、評価画像推定部１１１内の学習モデル３０３に設定する。学習モデル３０３に係数データを設定した後、出力フェーズに移行する。出力フェーズにおいては、学習モデル３０３は、データ転送部１０５を介して入力される時間方向に連続した２枚の評価画像３０４より、次フレームに相当する推定評価画像３０５を生成し、データ転送部１０５を介して、評価値処理部１１０に出力する。

なお、図３の例では、推定評価画像の生成は２つの評価画像に基づいて行われるが、２つより多くの評価画像に基づいて推定評価画像を生成する構成を採用してもよい。

表示部１０２は、データ転送部１０５と接続され、表示画像処理部１０９で処理した画像データをデータ転送部１０５を介して取得する。そして、表示部１０２は、取得した画像データに対して複数の処理を実行し、表示デバイス１０３へ表示画像を転送する。複数の処理には、例えば、表示画像を表示デバイス１０３のサイズに合わせるために表示画像の周辺に固定色（例えば黒塗り）の画素を追加する処理が含まれてもよい。また、複数の処理には、例えば、表示データへ撮影時間などを埋め込む処理（所謂、ＯＳＤ（Ｏｎ−Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）画像を重畳する処理）、及び、表示デバイス１０３に合わせたフォーマット変換処理などが含まれてもよい。

表示デバイス１０３は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）やＥＶＦなどであり、表示部１０２から入力された画像の表示を行う。

制御部１０４は、デジタルカメラ１００の動作制御を司るマイクロコンピュータなどで構成され、デジタルカメラ１００を構成する各機能ブロックに対して様々な指示を行い、各種の制御処理を実行する。制御部１０４は、バス１０６を介して接続された記録画像処理部１０１、表示部１０２、データ転送部１０５、一時記録部１０７、記録部１０８を制御する。マイクロコンピュータは、記録部１０８に記録されたプログラムを実行することで、本実施形態の各処理を実現する。

データ転送部１０５は、データ転送を行う複数のＤｉｒｅｃｔ Ｍｅｍｏｒｙ ＡｃｃｅｓｓコントローラのＷＲＤＭＡＣ及びＲＤＤＭＡＣで構成される。画像データは、ＷＲＤＭＡＣによってバス１０６に出力され、一時記録部１０７に一時記憶される。一時記録部１０７に記憶された画像データは、ＲＤＤＭＡＣによってバス１０６に出力され、データ転送部１０５に接続されている記録画像処理部１０１、表示部１０２へ出力される。

バス１０６は、システムバス及びデータバスから構成され、各々独立したバス構成となっている。

一時記録部１０７は、メモリ制御部及びメモリから構成され、制御部１０４又はデータ転送部１０５からの指示に応じて、メモリへのデータの書き込み、及びメモリからのデータの読み出しを行う。また、メモリは、所定枚数の静止画像や所定時間の動画像、音声等のデータや制御部１０４の動作用の定数、プログラム等を格納するのに十分な記憶容量を備える記憶装置であり、ＤＲＡＭなどから構成される。メモリは、複数のメモリから構成されることも可能である。

記録部１０８は、不揮発性メモリ制御部及び不揮発性メモリから構成される。不揮発性メモリ制御部は、制御部１０４からの指示に応じて、不揮発性メモリにデータを書き込んだり、不揮発性メモリからデータを読み出したりする。不揮発性メモリは、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリには、制御部１０４の動作用の定数、プログラム、評価画像推定部１１１に設定する事前に学習済の係数データ等が記憶される。

図２は、静止画連写中の評価値取得に関するタイミングチャートである。図２において、縦方向に配置された各項目は各種のタイミング信号又は処理タイミングを示し、横方向は時間に対応する。以下、各項目について説明する。

「撮像Ｖ同期」は、評価画像を取得するための撮像の垂直同期信号のタイミングを示しており、例えば６０フレーム／秒の周期（所定の周期）で同期信号が発生する（期間Ｔ１が１／６０秒に相当する）。ここで取得される評価画像は、ＬＶ画像を兼ねる。従って、図２の例では、ＬＶ表示と評価値取得とが同じ周期で行われる。しかしながら、ＬＶ表示と評価値取得とは異なる周期で行われてもよい（例えば、評価値の取得を１２０フレーム／秒に高速化してもよい）。期間Ｔ４は、後述する記録用の静止画を読み出す期間と重なっているために評価画像を取得することができない期間（評価画像の取得が一時的に停止する期間）を示している。

「静止画同期」は、記録用の静止画（以下、単に「静止画」と呼ぶ場合もある）を読み出すタイミングを示し、連写間隔Ｔ３毎に同期信号が発生する。また、タイミング２００は、ユーザによるシャッタボタン押下のタイミングであり、レリーズタイムＴ２の経過後に、静止画同期信号が発生している。連写間隔Ｔ３については、静止画撮影におけるセンサ出力画像期間に応じて、調整がなされる。

「センサ出力画像」は、センサ１１３からの画像読み出しの開始及び終了のタイミングと、センサ切り替え時間とを示す。評価画像Ａ１〜Ａ１０を総称して評価画像２０１と呼び、静止画Ｂ１〜Ｂ２を総称して静止画２０３と呼ぶ。格子枠２０２は、評価画像２０１から静止画２０３へのセンサ１１３の切り替え時間、格子枠２０４は静止画２０３から評価画像２０１へのセンサ１１３の切り替え時間である。また、評価画像２０１と静止画２０３とで時間の長さが異なるのは、評価画像２０１と静止画２０３とで画素数及び露光時間が異なるからである。

「推定評価画像」は、評価画像推定部１１１による推定評価画像生成処理の開始と終了のタイミングを示す。推定評価画像生成処理は、期間Ｔ４で示される評価画像２０１の取得の停止期間中の、撮像Ｖ同期毎に実行される。推定評価画像Ｃ１〜Ｃ６を総称して推定評価画像２０５と呼ぶ。

図５は、推定評価画像生成処理の入出力画像のタイミングを示す図であり、評価画像推定部１１１に入力１と入力２の画像が入力され、その後、推定評価画像が出力されることを示している。前述の通り、一時記録部１０７に保持された時間方向に連続した２枚の評価画像は、データ転送部１０５を介して、評価画像推定部１１１に入力される。図５の例では、まず、１枚目の推定評価画像Ｃ１を生成する際には、評価画像Ａ２及び評価画像Ａ３が入力される。次に、２枚目の推定評価画像Ｃ２を生成する際には、評価画像Ａ３及び推定評価画像Ｃ１が入力される。３枚目の推定評価画像Ｃ３を生成する際には、推定評価画像Ｃ１及び推定評価画像Ｃ２が入力される。本実施形態では、２枚目と３枚目の推定評価画像Ｃ２〜Ｃ３を生成する際には、直前の評価画像が１枚又は２枚不足するため、不足分の評価画像の代わりに直前の推定評価画像を入力する。

「評価値取得処理」は、評価値処理部１１０による評価値取得処理の開始と終了のタイミングを示す。評価値取得処理は、「撮像Ｖ同期」の周期で実行される。評価画像２０１の取得の停止期間であっても、評価値取得処理の実行は停止しない。評価画像２０１の取得可能期間（図２において評価画像Ａ１〜Ａ１０が取得される期間）においては、評価値処理部１１０は、評価画像２０１に基づいて評価値（評価値Ｄ１〜Ｄ１０）を取得する。一方、評価画像２０１の取得の停止期間については、評価値処理部１１０は、評価画像推定部１１１で生成される推定評価画像２０５（推定評価画像Ｃ１〜Ｃ６）に基づいて評価値（評価値Ｅ１〜Ｅ６）を取得する。

なお、本実施形態の評価画像推定部１１１は、評価画像２０１の取得の停止期間よりも前に取得された評価画像から、停止期間に対応する評価画像を予測する（推定評価画像を生成する）ように構成されているが、本実施形態はこの構成に限定されない。評価値取得のタイミングが遅延してもよい場合は、例えば、停止期間の前後に取得された２つの評価画像に基づく補間処理により停止期間に相当する補間画像（推定評価画像）を生成し、その補間画像から評価値を取得する構成を採用してもよい。

「表示画像処理」は、表示画像処理部１０９の画像処理の開始と終了のタイミングを示す。センサ１１３から読み出された評価画像２０１（評価画像Ａ１〜Ａ１０）は、一時記録部１０７に記録され、データ転送部１０５を介して表示画像処理部１０９へ転送される。表示画像処理部１０９は、画像処理により生成した表示画像Ｆ１〜Ｆ１０を、データ転送部１０５を介して再び一時記録部１０７に記録する。また、表示画像Ｆ１〜Ｆ１０は、センサ１１３からの画像データの一画面全てが一時記録部１０７に記録される前に、表示画像処理部１０９が処理を開始していることを示している。データ転送部１０５は、センサ１１３から読み出された画像データのみを表示画像処理部１０９で転送するように制御している。つまり、表示画像処理部１０９は、センサ１１３から読み出された画像データが一時記録部１０７へ記憶される前に画像データを読み出すことがないように制御される。また、期間Ｔ４で示される、評価画像２０１の取得の停止期間においては、表示画像処理部１０９は処理を行わない。

また、図示は省略するが、記録画像処理部１０１の画像処理の開始と終了のタイミングに相当する「記録画像処理」も存在する。センサ１１３から読み出した静止画Ｂ１〜Ｂ２は、一時記録部１０７に記録され、データ転送部１０５を介して記録画像処理部１０１へ入力される。記録画像処理部１０１は、処理された静止画を、データ転送部１０５を介して再び一時記録部１０７に記録する。記録画像処理部１０１は、センサ１１３からの画像データの一画面全てが一時記録部１０７に記録されてから静止画Ｂ１〜Ｂ２の処理を行う。或いは、システムとして帯域が問題とならないようであれば、静止画Ｂ１〜Ｂ２についても表示画像Ｆ１〜Ｆ１０と同じように、センサ１１３からの読み出しの最中に記録画像処理部１０１が読み出しを行っても構わない。

また、図示は省略するが、表示デバイス１０３への表示を開始するための垂直同期信号のタイミングに相当する「表示Ｖ同期」も存在する。例えば、１秒間に６０フレームの画像を表示するタイミング信号が存在する。なお、「表示Ｖ同期」は、システムとして、センサ出力画像から表示デバイス１０３へ表示をする最も短いタイミングとなるように構成される。つまり、「撮像Ｖ同期」から一定期間遅れて「表示Ｖ同期」が発生することになる。

「表示処理」は、表示部１０２で処理した画像を表示デバイス１０３へ表示するタイミングを示す。表示画像Ｆ３は、４回連続して表示されている。２回目から４回目の表示タイミングは、期間Ｔ４で示される評価画像２０１の取得の停止期間に相当し、リアルタイムで取得された表示画像（ＬＶ画像）が存在しない。そのため、この期間の直前に取得された表示画像Ｆ３が繰り返し表示される。これは、表示画像Ｆ８についても同様である。

図４は、静止画撮影処理のフローチャートである。本フローチャートの各ステップの処理は、特に断らない限り、制御部１０４が記録部１０８に格納されたプログラムに従ってデジタルカメラ１００の各部を制御することにより実現される。静止画撮像指示（例えば、シャッタボタンの押下）が検出され（図２のタイミング２００参照）、最初の静止画同期信号が検出されると、本フローチャートの処理が開始する。図２のタイミングチャートにおける「センサ出力画像」、「推定評価画像」、及び「評価値取得処理」の制御は、本フローチャートに従って実行される。

なお、本フローチャートの処理開始前は、制御部１０４は、後述するＳ４０８及びＳ４０９と同様の処理を繰り返すことにより、評価画像及び評価値の取得を繰り返し実行する（例えば、図２の評価画像Ａ１〜Ａ３及び評価値Ｄ１〜Ｄ３）。

Ｓ４０１で、制御部１０４は、センサ１１３の駆動モードを、評価画像取得用の駆動モードから静止画撮影用の駆動モードへと切り替える（例えば、図２の格子枠２０２）。

Ｓ４０２で、制御部１０４は、１枚目の静止画を撮像する（例えば、図２の静止画Ｂ１）。

Ｓ４０３で、制御部１０４は、センサ１１３の駆動モードを、静止画撮影用の駆動モードから評価画像取得用の駆動モードへと切り替える（例えば、図２の格子枠２０４）。

Ｓ４０１〜Ｓ４０３の処理と並行して、Ｓ４０４〜Ｓ４０６の処理が実行される。Ｓ４０４及びＳ４０５の処理は、Ｓ４０６において静止画撮像が完了したと判定されるまで、撮像Ｖ同期の周期で繰り返し実行される。

具体的には、Ｓ４０４で、制御部１０４は、推定評価画像を生成する（例えば、図２の推定評価画像Ｃ１〜Ｃ３）。図５を参照して前述した通り、推定評価画像は、撮像Ｖ同期の直前の２回のタイミングに対応する評価画像又は推定評価画像に基づいて生成される。

Ｓ４０５で、制御部１０４は、推定評価画像に基づいて評価値を取得する（例えば、図２の評価値Ｅ１〜Ｅ３）。

Ｓ４０６で、制御部１０４は、静止画撮像が完了したか否かを判定する。静止画撮像の完了とは、Ｓ４０３の処理が完了したことを指す。静止画撮像が完了した場合、処理はＳ４０７へ進み、そうでない場合、処理はＳ４０４へ戻る。

Ｓ４０７で、制御部１０４は、制御部１０４は、静止画の連写が行われているか否かを判定する。例えば、制御部１０４は、シャッタボタンの押下が継続している場合、静止画の連写が行われていると判定し、そうでない場合、静止画の連写が行われていないと判定する。静止画の連写が行われている場合、処理はＳ４０８へ進み、そうでない場合、本フローチャートの処理は終了する。

Ｓ４０８及びＳ４０９の処理は、Ｓ４１０において次の静止画撮像タイミングになったと判定されるまで、撮像Ｖ同期の周期で繰り返し実行される。

具体的には、Ｓ４０８で、制御部１０４は、評価画像を撮像する（例えば、図２の評価画像Ａ４〜Ａ８）。

Ｓ４０９で、制御部１０４は、評価画像に基づいて評価値を取得する（例えば、図２の評価値Ｄ４〜Ｄ８）。

Ｓ４１０で、制御部１０４は、次の静止画撮像タイミングになったか否かを判定する。次の静止画撮像タイミングは、例えば、直前の静止画撮像タイミングから期間Ｔ３が経過したタイミングである。次の静止画撮像タイミングになった場合、処理はＳ４０１及びＳ４０４へ進み、再び、静止画の生成、推定評価画像の生成、及び評価値の取得などが行われる（例えば、図２の静止画Ｂ２、推定評価画像Ｃ４〜Ｃ６、評価値Ｅ４〜Ｅ６）。次の静止画撮像タイミングになっていない場合、処理はＳ４０８へ戻る。

なお、Ｓ４０５及びＳ４０９において、制御部１０４は、２種類以上の評価値を取得してもよい。仮に、評価画像の取得の停止期間外に取得された評価値に基づいて停止期間に対応する評価値を取得（推定）する構成を採用した場合、２種類以上の評価値を取得するためには各種類に対応する推定アルゴリズムを用意する必要がある。即ち、取得する評価値の種類の数の増加に伴って必要な推定アルゴリズムの数も増加する。これに対し、本実施形態では、推定評価画像を生成するための推定アルゴリズムを用意する必要はあるが、評価画像と同様に推定評価画像からも２種類以上の評価値を取得可能であるため、必要な推定アルゴリズムの数の増大を抑制することができる。

以上説明したように、第１の実施形態によれば、デジタルカメラ１００は、評価画像の取得の停止期間外に取得された２以上の評価画像に基づいて、停止期間に対応する推定評価画像を生成する。そして、デジタルカメラ１００は、停止期間については、推定評価画像に基づいて評価値を取得する。これにより、評価画像の取得の停止期間について、停止期間外に取得される評価値との一貫性がより高い評価値を取得することが可能となる。

また、図２に示されるように、デジタルカメラ１００は、評価画像を撮像Ｖ同期の周期（所定の周期）で繰り返し取得し、推定評価画像が評価画像の取得の停止期間内の撮像Ｖ同期の周期に同期したタイミングに対応するように、推定評価画像の生成を行う。従って、評価画像の取得の停止期間の内外いずれにおいても同じ周期に同期したタイミングに対応する評価値が取得可能であり、評価値を用いる制御の一貫性が向上する。

［第２の実施形態］
図６は、第２の実施形態に係るデジタルカメラ６００の構成を示すブロック図である。推定評価画像判定部６１２は、評価画像推定部１１１で生成された推定評価画像と、同一時刻に撮像された評価画像とを比較し、推定評価画像の使用可否を判定する処理を行う。

具体的には、推定評価画像判定部６１２は、データ転送部１０５を介して入力された評価画像と推定評価画像の画素毎の差分を求め、その総和を算出する。総和の算出方法としては、差分値に対して下位の数ビットの値を０クリップする、差分値をシフトや除算処理などで小さくする、などして計算量を削減してから総和を求める方法を用いてもよい。次に、推定評価画像判定部６１２は、求めた総和を閾値と比較する。閾値は、実際に撮像された評価画像に対する、推定評価画像の許容誤差を示しており、閾値より小さければ、推定評価画像を評価値の取得に使用してもよいと判定する。

閾値は、静止画撮像の駆動期間に基づいて決定される。例えば、静止画の露光時間が長くなるなどして静止画撮像の駆動期間が長い場合は、評価画像が取得できない期間が長期化するため、推定評価画像の生成回数が増加し、蓄積誤差が大きくなる。そこで、閾値を小さくし、推定評価画像の誤差が小さい状態で長期間の評価値を取得できるよう制御する。逆に言えば、静止画撮像の駆動期間の開始前に既に誤差が閾値を超えている場合には、推定評価画像の生成を断念することにより、誤差の大きい推定評価画像に基づいて誤差の大きい評価値を取得してしまう事態を回避することができる。

推定評価画像判定部６１２の判定結果は、バス１０６を介して、制御部１０４に出力される。制御部１０４は、判定結果に基づいて、静止画撮像中における、評価画像推定部１１１及び評価値処理部１１０の制御を切り替える。

図７は、第２の実施形態に係る、静止画連写中の評価値取得に関するタイミングチャートである。図７において、縦方向に配置された各項目は各種のタイミング信号又は処理タイミングを示し、横方向は時間に対応する。以下、図２のタイミングチャートと異なる点について説明する。

「推定評価画像」は、評価画像推定部１１１による推定評価画像生成処理の開始と終了のタイミングを示す。本実施形態では、第１の実施形態（図２）と異なり、静止画の連写中は、評価画像が取得される期間であっても、撮像Ｖ同期毎に推定評価画像生成処理が実行される（推定評価画像Ｃ４〜Ｃ８参照）。なお、連写開始前（評価画像Ａ１〜Ａ３のタイミング）についても推定評価画像生成処理を実行する構成を採用してもよい。

「推定評価画像判定」は、推定評価画像判定部６１２による推定評価画像判定処理の判定結果出力のタイミングを示す。推定評価画像判定処理は、評価画像２０１の撮像が完了し、かつ同一時刻の推定評価画像２０５の生成が完了してから開始する。図７の例では、静止画Ｂ１の撮像完了直後の評価画像Ａ４の撮像と、同一時刻に対応する推定評価画像Ｃ４の生成とが完了してから、推定評価画像判定処理が開始される。これ以降は、期間Ｔ４’以外の、撮像Ｖ同期の周期で、推定評価画像判定処理が実施される。図７の例では、評価画像Ａ７と推定評価画像Ｃ７との差分、及び評価画像Ａ８と推定評価画像Ｃ８との差分が閾値を超えてしまい、判定結果が「ＮＧ」となっている。

なお、推定評価画像Ｃ４は、推定評価画像Ｃ２〜Ｃ３に基づいて生成され、推定評価画像Ｃ５は、推定評価画像Ｃ３及び評価画像Ａ４に基づいて生成され、推定評価画像Ｃ６は、評価画像Ａ４〜Ａ５に基づいて生成される。即ち、学習モデル３０３に対する入力１に対応するタイミングに評価画像及び推定評価画像の両方が存在する場合には、評価画像が入力１として用いられ、推定評価画像のみが存在する場合には推定評価画像が入力１として用いられる。この点は、入力２についても同様である。

「評価値取得処理」は、評価値処理部１１０による評価値取得処理の開始と終了のタイミングを示す。本実施形態では、第１の実施形態（図２）と異なり、２枚目以降の静止画撮像期間（期間Ｔ４’）においては、直前の（推定評価画像Ｃ８のタイミングの）推定評価画像判定が「ＮＧ」の場合には評価値取得処理が行われない。即ち、図７において斜線で示された評価値Ｅ４〜Ｅ６については取得が行われない。一方、推定評価画像判定が「ＯＫ」の場合には、第１の実施形態（図２）と同様に評価値の取得が行われる。

なお、前述の通り、連写開始前（評価画像Ａ１〜Ａ３のタイミング）についても推定評価画像生成処理を実行する構成を採用してもよい。この場合、連写開始前（評価画像Ａ１〜Ａ３のタイミング）についても推定評価画像判定を行い、１枚目の静止画撮像期間（期間Ｔ４）についても直前の判定結果に応じて評価値取得処理を実施するか否かを切り替える構成を採用してもよい。

図８は、第２の実施形態に係る静止画撮影処理のフローチャートである。本フローチャートの各ステップの処理は、特に断らない限り、制御部１０４が記録部１０８に格納されたプログラムに従ってデジタルカメラ１００の各部を制御することにより実現される。静止画撮像指示（例えば、シャッタボタンの押下）が検出され（図７のタイミング２００参照）、最初の静止画同期信号が検出されると、本フローチャートの処理が開始する。図７のタイミングチャートにおける「センサ出力画像」、「推定評価画像」、「推定評価画像判定」、及び「評価値取得処理」の制御は、本フローチャートに従って実行される。

なお、Ｓ８０１〜Ｓ８１０の処理は、図４のＳ４０１〜Ｓ４１０の処理と同様である。また、本フローチャートの処理開始前は、制御部１０４は、Ｓ８０８及びＳ８０９と同様の処理を繰り返すことにより、評価画像及び評価値の取得を繰り返し実行する（例えば、図７の評価画像Ａ１〜Ａ３及び評価値Ｄ１〜Ｄ３）。

Ｓ８００で、制御部１０４は、推定評価画像判定結果（判定フラグ）の初期値を指定する。本実施形態においては、１枚目の静止画撮像では推定評価画像による評価値取得処理を行うため、初期値はＯＫである。

Ｓ８１１〜Ｓ８１５の処理は、Ｓ８０８〜Ｓ８０９の処理と並行して、撮像Ｖ同期の周期で繰り返し実行される。Ｓ８１１で、制御部１０４は、推定評価画像を生成する（例えば、図７の推定評価画像Ｃ４〜Ｃ８）。

Ｓ８１２で、制御部１０４は、Ｓ８０８において取得された評価画像とＳ８１１において生成された推定評価画像との間の差分総和を取得する。Ｓ８１３で、制御部１０４は、差分総和が閾値以下であるか否かを判定する。差分総和が閾値以下の場合、処理はＳ８１４に進み、制御部１０４は、判定フラグをＯＮに設定する（例えば、図７において評価画像Ａ４〜Ａ６及び推定評価画像Ｃ４〜Ｃ６に対応する推定評価画像判定）。差分総和が閾値を超える場合、処理はＳ８１５に進み、制御部１０４は、判定フラグをＮＧに設定する（例えば、図７において評価画像Ａ７〜Ａ８及び推定評価画像Ｃ７〜Ｃ８に対応する推定評価画像判定）。

Ｓ８１６で、制御部１０４は、判定フラグがＯＫであるか否かを判定する。判定フラグがＯＫの場合、処理はＳ８０５に進む。判定フラグがＮＧの場合、処理はＳ８０５をスキップしてＳ８０６に進む（即ち、推定評価画像に基づく評価値の取得が行われない）。なお、１枚目の静止画撮像期間については、判定フラグの値はＳ８００において設定された値であり、２枚目以降の静止画撮像期間については、判定フラグの値はＳ８１４又はＳ８１５において設定された値である。

なお、判定フラグがＮＧであっても、評価値取得処理（Ｓ８０５）自体は実施し、その後の制御部１０４による各種制御（図８において不図示）において、評価値を使用しないように制御するという構成を採用してもよい。

また、図８の例では、Ｓ８０４における推定評価画像の生成がＳ８１６における判定の前に行われているが、Ｓ８０４の位置をＳ８１６とＳ８０５の間の位置へ移動させてもよい。即ち、判定フラグがＮＧであり推定評価画像に基づく評価値の取得が行われない場合には推定評価画像の生成自体も行わない構成を採用してもよい。この場合、図７において、推定評価画像Ｃ９〜Ｃ１１は生成されない。

また、本実施形態においては、期間Ｔ４’以外の撮像Ｖ同期の周期で、必ず推定評価画像判定処理を実施する構成について説明したが、本実施形態はこの構成に限定されない。例えば、推定評価画像判定処理にて判定がＮＧとなった後は、その静止画連写期間中（シャッタボタンの押下継続中）においては、以降の推定評価画像による評価値取得処理を実施しない構成を採用してもよい。この構成を採用する場合、図８のＳ８１４の処理は実行されず、Ｓ８１３において差分総和が閾値以下と判定された場合には、処理はＳ８１３からＳ８１０へと進む。

なお、本実施形態において、推定評価画像による評価値取得を非実施とした場合、静止画撮像中の評価値取得処理を別の方法で実現する構成を追加してもよい。

以上説明したように、第２の実施形態によれば、デジタルカメラ１００は、評価画像の取得の停止期間の前の所定のタイミングに対応する推定評価画像を、所定のタイミングより前に取得された２以上の評価画像に基づいて生成する。所定のタイミングに対応する推定評価画像とは、例えば図７の推定評価画像Ｃ８であり、所定のタイミングより前に取得された２以上の評価画像とは、例えば図７の評価画像Ａ６〜Ａ７である。そして、デジタルカメラ１００は、所定のタイミングに対応する推定評価画像（例えば、図７の推定評価画像Ｃ８）と所定のタイミングに取得された評価画像（例えば、図７の評価画像Ａ８）との間の差が閾値を超えるか否かを判定する。これにより、評価画像の取得の停止期間に対応する推定評価画像の誤差を予測することが可能となり、停止期間に対応する評価値が使用されるか否かを適切に切り替えることが可能となる。

［第３の実施形態］
図９は、第３の実施形態に係るデジタルカメラ９００の構成を示すブロック図である。推定評価画像調整部９１２は、評価画像推定部１１１で生成された推定評価画像と、同一時刻に撮像された評価画像とを比較し、そのずれ量に基づいた調整値を算出することで、静止画撮像中に生成する推定評価画像を変形する処理を実施する。

図１２は、推定評価画像調整部９１２の詳細な構成を示すブロック図である。推定評価画像調整部９１２は、調整値算出部１２０１、及び調整処理部１２０２を含む。調整値算出部１２０１は、データ転送部１０５を介して入力された評価画像及び推定評価画像に基づいて調整値を算出する。調整値とは、画素単位、又は複数の画素で構成された矩形領域（テンプレート）単位で求められる動きベクトル値であり、推定評価画像に対して評価画像がどれだけ移動しているかを示す情報である。調整値は、既知の動きベクトル値算出手法、例えば、テンプレートマッチング方式、などで求められる。従って、調整値は、評価画像と推定評価画像との差に基づいている。求めた調整値は、データ転送部１０５を介して、一時記録部１０７に記録される。また、調整値は、調整値算出部１２０１の入力にも使用される。過去フレームの調整値をフィードバックさせることで、急激な調整値の変化を抑制することができる。なお、現フレームの評価画像と推定評価画像のみで、調整値を算出する構成を採用してもよい。

調整処理部１２０２は、データ転送部１０５を介して入力された推定評価画像を、同じくデータ転送部１０５を介して入力された調整値に基づいて変形する処理を行う。調整処理部１２０２は、データ転送部１０５を介して、変形処理した推定評価画像を一時記録部１０７に記録する。調整処理部１２０２は、既知の幾何変形処理回路で構成されており、調整値に基づいて、各画素を変形（移動）させる。また、制御部１０４は、静止画連写中において、推定評価画像調整部９１２が実行する処理を、調整値算出処理（評価画像が取得される期間の場合）と推定評価画像の調整処理（静止画の撮像時の場合）との間で切り替える制御を行う。

図１０は、第３の実施形態に係る、静止画連写中の評価値取得に関するタイミングチャートである。図１０において、縦方向に配置された各項目は各種のタイミング信号又は処理タイミングを示し、横方向は時間に対応する。以下、図２及び図７のタイミングチャートと異なる点について説明する。

「推定評価画像調整値」は、推定評価画像調整部９１２の出力の１つである、調整値Ｇ４〜Ｇ１３の出力タイミングを示す。調整値Ｇ４〜Ｇ１３を総称して調整値１００７と呼ぶ。調整値算出処理は、センサ出力画像における評価画像２０１の撮像が完了し、かつ同一時刻の推定評価画像２０５の生成が完了してから開始する。図１０の例では、静止画Ｂ１の撮像完了直後の評価画像Ａ４の撮像と、同一時刻に対応する推定評価画像Ｃ４の生成とが完了してから、調整値算出処理が開始される。これ以降は、期間Ｔ４’以外の、撮像Ｖ同期の周期で、調整値算出処理が実施される。図１０の例では、まず、評価画像Ａ４と推定評価画像Ｃ４とに基づいて最初の調整値Ｇ４が生成され、次に、評価画像Ａ５、推定評価画像Ｃ５、及び調整値Ｇ４に基づいて、調整値Ｇ５が生成される。以降、調整値Ｇ６〜Ｇ８も、調整値Ｇ５と同様に生成され、静止画Ｂ２の撮像直前に算出される調整値Ｇ８が、推定評価画像調整処理に使用される。

「調整済推定評価画像」は、推定評価画像調整部９１２の出力の１つである、調整済推定評価画像Ｈ９〜Ｈ１１の出力タイミングを示す。調整済推定評価画像Ｈ９〜Ｈ１１を総称して調整済推定評価画像１００８と呼ぶ。推定評価画像調整処理は、期間Ｔ４’で生成される推定評価画像Ｃ９〜Ｃ１１を対象に実行される。図１０の例では、静止画Ｂ２の撮像直前に生成された調整値Ｇ８を用いて、推定評価画像Ｃ９〜Ｃ１１の調整が行われ、調整済推定評価画像Ｈ９〜Ｈ１１が生成される。

「評価値取得処理」は、評価値処理部１１０による評価値取得処理の開始と終了のタイミングを示す。本実施形態では、第１の実施形態（図２）と異なり、２枚目以降の静止画撮像期間（期間Ｔ４’）においては、調整済推定評価画像１００８に基づいて評価値の取得が行われる。図７の例では、静止画Ｂ２の撮像期間（期間Ｔ４’）に生成した調整済推定評価画像Ｈ９〜Ｈ１１に基づいて、評価値Ｉ９〜Ｉ１１が取得される。

なお、連写開始前（評価画像Ａ１〜Ａ３のタイミング）についても推定評価画像生成処理を実行する構成を採用してもよい。この場合、連写開始前（評価画像Ａ１〜Ａ３のタイミング）についても調整値算出処理を行う構成を採用してもよい。この場合、１枚目の静止画撮像期間（期間Ｔ４）についても直前の調整値に基づいて推定評価画像調整処理を行い、調整済推定評価画像に基づいて評価値を取得する構成を採用してもよい。

図１１は、第３の実施形態に係る静止画撮影処理のフローチャートである。本フローチャートの各ステップの処理は、特に断らない限り、制御部１０４が記録部１０８に格納されたプログラムに従ってデジタルカメラ１００の各部を制御することにより実現される。静止画撮像指示（例えば、シャッタボタンの押下）が検出され（図１０のタイミング２００参照）、最初の静止画同期信号が検出されると、本フローチャートの処理が開始する。図１０のタイミングチャートにおける「センサ出力画像」、「推定評価画像」、「推定評価画像調整値」、「調整済推定評価画像」、及び「評価値取得処理」の制御は、本フローチャートに従って実行される。

なお、Ｓ１１０１〜Ｓ１１０４及びＳ１１０６〜Ｓ１１１０の処理は、図４のＳ４０１〜Ｓ４０４及びＳ４０６〜４１０の処理と同様である。また、本フローチャートの処理開始前は、制御部１０４は、Ｓ１１０８及びＳ１１０９と同様の処理を繰り返すことにより、評価画像及び評価値の取得を繰り返し実行する（例えば、図１０の評価画像Ａ１〜Ａ３及び評価値Ｄ１〜Ｄ３）。

Ｓ１１００で、制御部１０４は、調整値の初期値を設定する。本実施形態においては、１枚目の静止画撮像では推定評価画像を調整しない構成を採用するため、初期値を「無調整」に相当する値としている。

Ｓ１１１１〜Ｓ１１１２の処理は、Ｓ１１０８〜Ｓ１１０９の処理と並行して、撮像Ｖ同期の周期で繰り返し実行される。Ｓ１１１１で、制御部１０４は、推定評価画像を生成する（例えば、図１０の推定評価画像Ｃ４〜Ｃ８）。

Ｓ１１１２で、制御部１０４は、推定評価画像調整処理に必要となる調整値の算出処理を行う（例えば、調整値Ｇ４〜Ｇ８）。

Ｓ１１１３で、制御部１０４は、最新の調整値（Ｓ１１００で設定された初期値、又は直近のＳ１１１２で取得した調整値）に基づいて、Ｓ１１０４で生成した推定評価画像に対し、推定評価画像調整処理を行う。例えば、図１０の期間Ｔ４’において、調整値Ｇ８に基づいて、推定評価画像Ｃ９〜Ｃ１１を調整する処理が行われ、調整済推定評価画像Ｈ９〜Ｈ１１が生成される。

Ｓ１１１４で、制御部１０４は、Ｓ１１１３で生成した調整済推定評価画像に基づいて評価値を取得する（例えば、図１０の評価値Ｉ９〜Ｉ１１）。

なお、静止画に基づいて評価画像に相当する画像を生成する構成をデジタルカメラ９００に追加してもよい。この場合、静止画（例えば、図１０の静止画Ｂ２）に基づいて生成した評価画像と、静止画撮像の近傍の時刻で生成した推定評価画像（例えば、図１０の推定評価画像Ｃ８）との差に基づいて調整値算出処理を実施して調整値を取得するようにデジタルカメラ９００を構成してもよい。

以上説明したように、第３の実施形態によれば、デジタルカメラ１００は、評価画像の取得の停止期間の前の所定のタイミングに対応する推定評価画像を、所定のタイミングより前に取得された２以上の評価画像に基づいて生成する。所定のタイミングに対応する推定評価画像とは、例えば図１０の推定評価画像Ｃ８であり、所定のタイミングより前に取得された２以上の評価画像とは、例えば図１０の評価画像Ａ６〜Ａ７である。そして、デジタルカメラ１００は、所定のタイミングに対応する推定評価画像（例えば、図１０の推定評価画像Ｃ８）と所定のタイミングに取得された評価画像（例えば、図１０の評価画像Ａ８）との間の差に基づいて、停止期間に対応する推定評価画像を調整する。これにより、停止期間に対応する推定評価画像の精度を向上させ、推定評価画像に基づいて生成される評価値の精度を向上させることが可能となる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００…デジタルカメラ、１０１…記録画像処理部、１０４…制御部、１０７…一時記録部、１０８…記録部、１０９…表示画像処理部、１１０…評価値処理部、１１１…評価画像推定部、１１３…センサ

Claims (15)

1. 撮像及び現像のうちの少なくとも一方を制御するための評価値の取得に用いる評価画像を、撮像手段を用いて繰り返し取得するように制御する第１の制御手段と、
   前記評価画像に基づいて前記評価値を取得する取得手段と、
   前記評価画像の取得を一時的に停止して、停止期間に前記撮像手段を用いて記録用の静止画を取得するように制御する第２の制御手段と、
   前記停止期間外に取得された２以上の評価画像に基づいて、前記停止期間に対応する推定評価画像を生成する生成手段と、
   を備え、
   前記取得手段は、前記停止期間については、前記推定評価画像に基づいて前記評価値を取得する
   ことを特徴とする撮像制御装置。
2. 前記第１の制御手段は、前記評価画像を所定の周期で繰り返し取得するように制御し、
   前記生成手段は、前記推定評価画像が前記停止期間内の前記所定の周期に同期したタイミングに対応するように、前記推定評価画像の生成を行う
   ことを特徴とする請求項１に記載の撮像制御装置。
3. 前記停止期間内に前記所定の周期に同期した複数のタイミングが存在する場合、前記複数のタイミングそれぞれについて、前記生成手段は、対象のタイミングの２つ前のタイミングに対応する評価画像又は推定評価画像と、当該対象のタイミングの１つ前のタイミングに対応する評価画像又は推定評価画像と、に基づいて、当該対象のタイミングに対応する推定評価画像を生成する
   ことを特徴とする請求項２に記載の撮像制御装置。
4. 前記生成手段は、前記停止期間の前の所定のタイミングに対応する推定評価画像を、前記所定のタイミングより前に取得された２以上の評価画像に基づいて生成し、
   前記撮像制御装置は、前記所定のタイミングに対応する前記推定評価画像と前記所定のタイミングに取得された評価画像との間の差が閾値を超えるか否かを判定する判定手段を更に備える
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像制御装置。
5. 前記差が前記閾値を超えると判定された場合、前記取得手段は、前記停止期間については前記評価値の取得を行わない
   ことを特徴とする請求項４に記載の撮像制御装置。
6. 前記差が前記閾値を超えると判定された場合に、前記停止期間について前記推定評価画像に基づいて取得された前記評価値を前記撮像及び前記現像のうちの少なくとも一方の前記制御のために使用しないように制御する第３の制御手段を更に備える
   ことを特徴とする請求項４に記載の撮像制御装置。
7. 前記差が前記閾値を超えると判定された場合、前記生成手段は、前記停止期間に対応する前記推定評価画像の生成を行わない
   ことを特徴とする請求項４に記載の撮像制御装置。
8. 前記生成手段は、前記停止期間の前の所定のタイミングに対応する推定評価画像を、前記所定のタイミングより前に取得された２以上の評価画像に基づいて生成し、
   前記撮像制御装置は、前記所定のタイミングに対応する前記推定評価画像と前記所定のタイミングに取得された評価画像との間の差に基づいて、前記停止期間に対応する前記推定評価画像を調整する調整手段を更に備える
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像制御装置。
9. 前記生成手段は、前記停止期間の前の所定のタイミングに対応する推定評価画像を、前記所定のタイミングより前に取得された２以上の評価画像に基づいて生成し、
   前記撮像制御装置は、前記停止期間に取得された前記静止画に基づいて前記停止期間の評価画像に相当する画像を生成し、当該生成した画像と前記所定のタイミングに対応する前記推定評価画像との間の差に基づいて、前記停止期間に対応する前記推定評価画像を調整する調整手段を更に備える
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像制御装置。
10. 前記生成手段は、学習モデルを用いて前記推定評価画像を生成する
    ことを特徴とする請求項１乃至９のいずれか１項に記載の撮像制御装置。
11. 前記取得手段は、２種類以上の評価値を取得する
    ことを特徴とする請求項１乃至１０のいずれか１項に記載の撮像制御装置。
12. 前記評価値は、合焦状態、露出、ホワイトバランス、被写体の種類、及び被写体の動きのうちのいずれかを示す
    ことを特徴とする請求項１乃至１１のいずれか１項に記載の撮像制御装置。
13. 請求項１乃至１２のいずれか１項に記載の撮像制御装置と、
    前記撮像手段と、
    を備えることを特徴とする撮像装置。
14. 撮像制御装置が実行する制御方法であって、
    撮像及び現像のうちの少なくとも一方を制御するための評価値の取得に用いる評価画像を、撮像手段を用いて繰り返し取得するように制御する第１の制御工程と、
    前記評価画像に基づいて前記評価値を取得する取得工程と、
    前記評価画像の取得を一時的に停止して、停止期間に前記撮像手段を用いて記録用の静止画を取得するように制御する第２の制御工程と、
    前記停止期間外に取得された２以上の評価画像に基づいて、前記停止期間に対応する推定評価画像を生成する生成工程と、
    を備え、
    前記取得工程では、前記停止期間については、前記推定評価画像に基づいて前記評価値を取得する
    ことを特徴とする制御方法。
15. コンピュータを、請求項１乃至１２のいずれか１項に記載の撮像制御装置の各手段として機能させるためのプログラム。

Images