JP2022175451A - 撮像装置およびその制御方法ならびにプログラム - Google Patents

Abstract

【課題】現在の画像から予測される好適なタイミングにおいて自動的に撮影することが可能な撮像装置を提供する。【解決手段】撮像手段から出力される第１時点の画像を用いて、第１時点より未来の第２時点の画像を予測した予測画像を生成する予測手段と、予測画像について、予測画像が記録する画像として適している度合いを示す好適度を決定する決定手段と、決定された好適度が所定の閾値より高い場合に、時刻が第２時点になったときに画像を撮像するように撮像手段を制御する制御手段と、を有する。【選択図】図４

Description

本発明は、撮像装置およびその制御方法ならびにプログラムに関する。

近年、機械学習を用いた画像予測技術の開発が盛んに行われている。被写体の行動シーンが撮影された大量の映像データを教師データとして学習させた推論モデルに対してカメラの撮影映像を入力することにより、被写体の未来の画像を予測することができる。特許文献１は、車載カメラの撮影画像を学習済みの畳み込みニューラルネットワークに入力し、カメラを備える車両がそのまま走行した場合に、運動物体が出現して衝突する可能性のある危険領域とその特徴を推定する技術を開示している。

特開２０１７－１６２４３８号公報

ところで、カメラやスマートフォンなどの撮影アシスト機能に、被写体の未来の画像を予測する技術を適用することにより、より使い勝手を向上させた撮影アシスト機能が提供されることが期待されている。例えば、カメラやスマートフォンの撮影アシスト機能により、被写体の変化に応じた好適な撮影タイミングで自動的に撮影が実行されればユーザの使い勝手が向上することが考えられる。特許文献１では、将来の画像を予測する技術を利用しているものの、当該技術を撮影アシスト機能に用いることは考慮していなかった。

本発明は、上記課題に鑑みてなされ、その目的は、現在の画像から予測される好適なタイミングにおいて自動的に撮影することが可能な技術を実現することである。

この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、
撮像手段から出力される第１時点の画像を用いて、前記第１時点より未来の第２時点の画像を予測した予測画像を生成する予測手段と、
前記予測画像について、前記予測画像が記録する画像として適している度合いを示す好適度を決定する決定手段と、
前記決定された好適度が所定の閾値より高い場合に、時刻が前記第２時点になったときに画像を撮像するように前記撮像手段を制御する制御手段と、を有することを特徴とする。

本発明によれば、現在の画像から予測される好適なタイミングにおいて自動的に撮影することが可能になる。

本発明に係る撮像装置の一例のとしてのカメラの構成例を示すブロック図 本実施形態における画像予測部の構成例を示す図 本実施形態における好適決定部の構成例を示す図 本実施形態におけるＬＶ画像生成から自動撮影までのデータの流れを示す図 本実施形態における生成される予測画像と時刻の関係を示す図 本実施形態における撮影予約管理テーブルの一例を示す図 本実施形態における自動撮影処理の一連の動作を示すフローチャート 本実施形態における通知情報の表示画面例を示す図

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

以下では撮像装置の一例として、機械学習モデルを用いて好適なタイミングで自動的に撮影することができるカメラを用いる例を説明する。しかし、本実施形態は、カメラに限らず、機械学習モデルを用いて好適なタイミングで自動的に撮影することが可能な他の任意の機器にも適用可能である。

＜カメラの構成＞
本実施形態に係る撮像装置の一例としてのカメラ１００の機能構成例について、図１を参照して説明する。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＧＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

１０１は、制御部である。制御部１０１は、例えば１つ以上のＣＰＵなどのプロセッサを含み、ＲＯＭ１０２或いは記憶媒体１０８に格納されるプログラムを読み出して実行することにより、カメラ１００全体の動作を制御する。制御部１０１は更にＧＰＵを含んでもよい。また、制御部１０１は、撮影予約を行うためのハードウェアタイマ（タイマ機能ともいう）を備える。後述するように、制御部１０１は、好適決定部１１０からの出力に基づいて、画像予測部１０９から出力される予測画像が所定の条件を満たすかを判定したり、予測画像の未来時刻に撮影予約を設定したりする。

１０２は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）であり、例えば不揮発性の半導体メモリで構成される。ＲＯＭ１０２は、制御部１０１によって実行される制御プログラムを格納する。

１０３は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であり、ＲＡＭ１０３は、例えば揮発性の半導体メモリで構成される。ＲＡＭ１０３は、制御部１０１がプログラムを実行するためのワークメモリとして、或いは、各種データの一時格納領域などとして使用される。

１０４は、撮像部であり、撮像部１０４は、例えば、撮像レンズ、絞り、シャッター、ＣＭＯＳセンサ等の撮像素子、およびＡ／Ｄ変換器等で構成される。撮像部１０４は、撮像レンズを介して入力されるアナログ信号をデジタルデータに変換して画像データを取得する。画像データは、ＲＡＭ１０３に格納される。

撮像部１０４は、カメラが撮影しているライブビュー画像（ＬＶ画像ともいう）と記録用の静止画データを生成する。ＬＶ画像は、撮影操作中に撮像部１０４から所定のフレームレートで順次出力され、リアルタイムに表示部１０６に表示されるＹＵＶ形式の画像データである。またＬＶ画像は、画像予測部１０９にも入力される。記録用の静止画データは、ユーザの撮影指示によって生成される高解像度の画像データであり、記録部１０７を介して記憶媒体１０８に記録される。記録用の静止画データは高解像度であるため、例えばＪＰＥＧ形式に圧縮される。

１０５は、操作部である。操作部１０５は、ユーザの操作を受け付け、入力された情報を制御部１０１に通知する。操作部１０５は、例えばタッチパネル、ボタン、スイッチ、及び十字キーの少なくともいずれかによって構成されてよい。

１０６は、表示部である。表示部１０６は、カメラ１００の状態に関する情報や、撮像部１０４によって生成されるライブビュー画像、記憶媒体１０８に記録されている画像データなどをユーザに表示する処理部である。表示部１０６は、例えば液晶パネル或いはＬＥＤ等によって構成される。

１０７は、記録部である。記録部１０７は、記憶媒体１０８に対するデータの読み書きの制御を行う。記録部１０７は、記憶媒体１０８の初期化や、記憶媒体１０８とＲＡＭ１０３の間のデータ転送を制御する。

１０８は、記憶媒体である。記憶媒体１０８は、大容量の記憶領域を備えるデバイスであり、例えばメモリーカード或いはフラッシュメモリ等で構成される。記憶媒体１０８は、制御部１０１によって実行される制御プログラムを格納してもよい。

１０９は、画像予測部である。画像予測部１０９は、画像予測モデルを構成する。画像予測部１０９は、当該画像予測モデルの処理を実行するための回路又はプロセッサによって実現されてもよいし、制御部１０１によって実行される、画像予測モデルの処理のためのソフトウェアによって実現されてもよい。画像予測部１０９は、画像を入力し、その画像の未来時刻における予測画像を生成する。

画像予測部１０９の具体的な構成例について、図２（Ａ）を参照して説明する。図２（Ａ）に示すように、画像予測部１０９は、複数の予測ユニット２０２が連結された構成を含む。画像予測部１０９は、画像２０１が入力されると画像予測モデルの処理を行い、複数の予測画像２０３を出力する。予測ユニット２０２は、ある時刻で撮影された入力画像の次の時刻に対応する予測画像を生成して出力する。予測画像は、ある時刻（第１時点）で撮影された画像を用いて、当該時刻の次の時刻のタイミング（第２時点）において被写体や背景がどのように撮影されるかを予測して生成される画像である。また、予測画像が入力された予測ユニット２０２は、さらに次の時刻の予測画像を生成する。このように画像予測部１０９は、連結された予測ユニット２０２の数と同じ数の複数の予測画像を生成する。

図２（Ｂ）は、それぞれの予測ユニット２０２の具体的な構成例を示している。予測ユニット２０２は、例えばニューラルネットワークによって構成され、入力画像の特徴情報を抽出する畳み込みネットワーク２０４と、過去の状態を記憶して次の状態を推論する再帰型ニューラルネットワーク２０５とを含む。畳み込みネットワーク２０４は、画像認識用のディープラーニング技術として知られるＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を構成するネットワークと同様であってよい。畳み込みネットワーク２０４は、フィルタを用いて画像の特徴点を凝縮する畳み込み処理と、重要な特徴点の情報を維持しながら画像データの情報量を縮小するプーリング処理を行うニューラルネットワークである。再帰型ニューラルネットワーク２０５は、図２（Ｂ）に示すように、再帰型ニューラルネットワーク２０５内の隠れ層（中間層ともいう）において状態記憶のための再帰結合をもつネットワークである。再帰型ニューラルネットワーク２０５は、再帰結合により時系列変化を伴う特徴を加味することができ、過去の画像に基づいて未来の予測画像を生成する。なお、再帰型ニューラルネットワーク２０５は、例えば長期記憶に適した再帰型ニューラルネットワークとして知られているＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ Ｍｅｍｏｒｙ）を用いることができる。なお、ある時刻で撮影された画像に基づいて、当該時刻の次の時刻のタイミングにおける予測画像を生成可能な構成であれば、他の構成であってもよい。また、予測ユニット２０２のニューラルネットワークは、例えば、動画の第１時点の画像を入力画像とし、動画の次の時刻のタイミングである第２時点の画像を正解データとするような学習データを用いて学習させることができる。

１１０は、好適決定部である。好適決定部１１０は、画像が入力されると、その画像に対する撮影記録の好適度を決定する。ここで好適度情報とは、入力画像が記録する画像（記録画像ともいう）として適しているかどうかの度合い、すなわちその記録画像がユーザに好まれるかどうかの度合いを示す情報である。好適決定部１１０は、撮影記録の好適度を決定する処理を実行するための回路又はプロセッサによって実現されてもよいし、制御部１０１によって実行される、当該好適度の決定処理のためのソフトウェアによって実現されてもよい。図３を参照して、好適決定部１１０の構成例について説明する。好適決定部１１０は、上述したＣＮＮを用いて構成されてよい。好適決定部１１０は、入力される画像３０１の特徴情報を抽出する畳み込みネットワーク３０２と、事前に好適度の高い大量の画像を学習データとして使って学習処理が実施された好適度決定ネットワーク３０３とを含む。畳み込みネットワーク３０２の構成は、上述した畳み込みネットワーク２０５と同様である。好適度決定ネットワーク３０３は、隠れ層に順伝搬型の全結合層を構成するネットワークであり、特徴情報に基づく好適度の分類を行った結果、出力層において好適度情報３０４を出力する。学習データは、例えば、フィギュアスケートの撮影では、ジャンプの頂点に達して選手の顔が正面を向いている画像に高い好適度を付与したデータ、ジャンプを始めている状態や顔が正面を向いていない画像に、より低い好適度を付与したデータが含まれてよい。学習データは、フィギュアスケートの例に限らず、様々なスポーツや様々な撮影シーンについて高い或いは低い好適度を付与した画像を含んでよい。

例えば、制御部１０１は、好適決定部１１０から出力された好適度情報に基づいて、記録画像として好適な予測画像であるかどうかを判定する。また、制御部１０１は、記録画像として好適であると判定された予測画像の未来時刻に撮影予約を設定する。

１１１は、上述した各処理部の間でやりとりされる制御信号を接続する内部バスである。

＜自動撮影処理の概要＞
次に、本実施形態に係る、ＬＶ画像が生成されてから自動撮影が行われるまでの処理（単に自動撮影処理ともいう）の概要について説明する。本実施形態に係る自動撮影処理は、一例として、撮影アシスト機能として用いられることが想定される。例えば、フィギュアスケートの撮影に自動撮影処理を適用する場合を考える。今からジャンプを飛ぼうとしている選手をＬＶ映像に含めると、ジャンプの頂点に到達して選手の顔が正面を向いているタイミング、すなわち撮影に好適なタイミングで自動的に撮影を行うことが可能になる。

以下、図４を参照して、自動撮影処理の概要について説明する。撮像部１０４は、撮像部１０４が稼働している間に一定の時間間隔でＬＶ画像を生成して、生成したＬＶ画像を表示部１０６と画像予測部１０９に送信する。本実施形態では一例として、ＬＶ画像は、毎秒２０フレーム（５０ミリ秒間隔）のスピードで、解像度が８００×６００であるＹＵＶデータとして生成されるものとする。表示部１０６は、送信されるＬＶ画像をリアルタイムに表示する。

画像予測部１０９は、入力されるＬＶ画像に基づいて、複数の未来時刻における予測画像を生成し、生成した予測画像を予測画像バッファ４０１に格納する。予測画像バッファ４０１は、ＲＡＭ１０３の一部に構成される予測画像を一時的に記憶するメモリ領域である。

なお、本実施形態における画像予測部１０９は、一例として２０個の予測ユニット２０２で構成されるものとする。画像予測部１０９は、５０ミリ秒間隔で入力されるＬＶ画像を使って、最大１秒後（５０ミリ秒×２０）までの予測画像を生成する。例えば、画像予測部１０９が生成する予測画像と時刻の関係は、図５に示すようになる。

画像予測部１０９は、時刻ｔ０において、ＬＶ画像ｆ_ｔ０を使った画像予測を実行し、未来時刻ｔ１～ｔ２０に対応する予測画像ｆ_ｔ１～ｆ_ｔ２０を生成する。続いて５０ミリ秒後の次の時刻ｔ１では、画像予測部１０９は、ＬＶ画像ｆ_ｔ１を使った画像予測を実行し、未来時刻ｔ２～ｔ２１に対応する予測画像ｆ_ｔ２～ｆ_ｔ２１を生成する。以降の時刻ｔ２、ｔ３も同様に、２０個の予測画像が生成される。

次に、制御部１０１は、予測画像バッファ４０１に格納された予測画像を好適決定部１１０に入力し、好適決定部１１０から好適度情報を取得する。制御部１０１は、好適決定部１１０から取得した好適度情報に基づいて、対応する予測画像に対して撮影記録を実行すべきかどうかを判定し、実行すべきであると判定した場合には、対応する未来時刻にあわせて撮影予約を設定する。具体的には、制御部１０１は、対応する未来時刻にあわせて撮像部１０４による撮影記録を実行するようにタイマ機能を実行し、撮影予約の対象の予測画像と好適度情報を撮影予約管理テーブルに記録する。撮影予約管理テーブルは、例えば、記憶媒体１０８に記憶され、図６に示すテーブルのように構成される。図６に示すＩＤは、それぞれの撮影予約を識別するための番号であり、撮影の実行順にも相当してもよい。図６に示す予測画像ＩＤは、撮影予約の対象となる予測画像を識別する情報であり、例えば、対応する時刻情報が分かるように表現される。時刻情報は、ＬＶ画像からの相対的な時刻でも良いし、絶対的な時刻であってもよい。図６に示す好適度は、撮影予約の対象である予測画像の好適度を示す情報であり、例えば１００段階のパーセント（％）で示される。好適度は、記録画像として適しているかどうかの度合いを示すものであれば、例えば０から１までの小数値など他の数値であってもよい。図６に示す例では、３つの撮影予約が設定されている状態を示す。

なお、上述した画像予測から撮影予約までの一連の処理は、ＬＶ画像の生成周期（例えば５０ミリ秒）の時間内に終了するようにリアルタイム性を保証しながら実行される。

＜自動撮影処理に係る一連の動作＞
次に、図７を参照して、自動撮影処理に係る一連の動作について説明する。なお、本処理は、特に明示する場合を除き、制御部１０１がＲＯＭ１０２或いは記憶媒体１０８に記憶されたプログラムをＲＡＭ１０３の作業用領域に展開、実行することにより実現される。また、本処理は、画像予測部１０９及び好適決定部１１０における機械学習モデル（ニューラルネットワーク）が学習済みの状態で実行される。更に、本処理は、例えば操作部１０５に対するユーザ操作により、カメラ１００の動作モードが撮影モードに遷移した時点で開始される。ここで撮影モードは、カメラ１００の動作モードの１つであり、ユーザが撮影記録ボタンを押すことによっていつでも静止画を撮影できる動作モードである。例えば、撮像機能を稼働せず、メモリーカードに記録された静止画を液晶モニタで再生表示させるような動作モードは、これに該当しない。

Ｓ７０１において、撮像部１０４は、ＬＶ画像を１フレーム生成して、画像予測部１０９に出力する。Ｓ７０２において、画像予測部１０９は、撮像部１０４から出力されたＬＶ画像に基づいて複数の未来時刻に対応する予測画像を生成し、生成した予測画像を予測画像バッファ４０１に格納する。画像予測部１０９は生成した画像を画像バッファ４０１に格納すると、制御部１０１に通知する。Ｓ７０３において、制御部１０１は、予測画像バッファ４０１から予測画像を１つ取り出して好適決定部１１０に入力し、好適決定部１１０から対応する好適度情報を取得する。

Ｓ７０４において、制御部１０１は、好適決定部１１０から取得した好適度情報を用いて、撮影予約を実行すべきかを判定する。例えば、制御部１０１は、好適度が所定の閾値より大きい場合、対応する予測画像の撮影予約を実行すべきであると判定する。所定の閾値は、例えば７０％などでよい。制御部１０１は、好適度が所定の閾値より大きい場合、撮影予約を実行すべきと判定してＳ７０５に進み、好適度が所定の閾値以下である場合、撮影予約を実行すべきでないと判定してＳ７１１に進む。

Ｓ７０５において、制御部１０１は、予約すべきと判定した未来時刻の近い時刻に、他の撮影予約が存在するかを判定する。例えば、制御部１０１は、記憶媒体１０８の撮影予約管理テーブルを参照して、Ｓ７０４にて予約すべきと判定した未来時刻に近い時刻に、既に他の撮影予約が設定されているかどうかを判定する。制御部１０１は、撮影予約が設定されていると判定した場合はＳ７０９に進み、撮影予約が設定されていないと判定した場合はＳ７０６に進む。ここで、近い時刻に既に他の撮影予約が設定されている状態とは、互いの時間間隔が所定の時間範囲より狭く、例えば画像一枚あたりの撮影記録処理に要する時間よりも短いために、両方の撮影予約を有効にすることができない状態を意味する。本実施形態では、一例として、画像一枚あたりの撮影記録処理に要する時間を２００ミリ秒とする。この場合、近い時刻に他の撮影予約が設定されているかどうかの判定は、前後２００ミリ秒に他の撮影予約が含まれるかどうかの判定となる。このように、撮影予約の重複を判定することにより、現に実行することが難しい撮影予約を設定してしまうことを回避することができる。

Ｓ７０６において、制御部１０１は、Ｓ７０４において予約すべきと判定された撮影予約を設定する。具体的には、対応する未来時刻にあわせて撮像部１０４による撮影記録を実行するようにタイマ機能を実行するとともに、撮影予約を行う予測画像と好適度の情報を、記憶媒体１０８の撮影予約管理テーブルに追加する。また、本ステップにおいて、制御部１０１は、撮像部１０４による被写体の捕捉が継続するようにユーザに注意を促すため、カメラ１００に撮影予約が設定されたこと（自動撮影を行っていること）を通知する情報を表示部１０６に表示する。例えば、自動撮影中であることを示す画面は、図８に示す画面８０１であってよい。８０１が画面全体であり、８０２は本ステップによって表示される通知情報である。通知情報８０２は、例えば、撮影予約が設定されたこと（自動撮影を行っていること）を示す情報と、自動撮影の期間及び自動的に撮影される画像の数を示す情報とを含む。通知情報８０２は、撮影予約管理テーブルの情報を用いて構成されてもよい。図８に示す通知情報８０２は、テキストで情報が表示される例を示しているが、テキストに限らずアイコンで示されてもよいし、通知情報が音声によって通知されてもよい。

Ｓ７０７において、制御部１０１は、Ｓ７０２において予測画像バッファ４０１に格納された予測画像の全てが、Ｓ７０３によって取り出されたかどうかを判定する。制御部１０１は、予測画像バッファ４０１に格納された予測画像がすべて取り出されたと判定した場合、Ｓ７０８に進み、全て取り出されていないと判定した場合は再びＳ７０３に戻る。

Ｓ７０８において、制御部１０１は、ユーザによってカメラ１００の動作モードが撮影モードから他のモードに変更されたかどうかを判定する。他のモードに変更された場合は、本フローチャートを終了する。撮影モードのまま継続されている場合は、再びＳ７０１に戻る。

Ｓ７０９において、制御部１０１は、近い時刻に撮影予約が存在した場合の処理を行う。具体的には、制御部１０１は、撮影予約管理テーブルを参照し、Ｓ７０４にて予約すべきと判定された予測画像の好適度が、Ｓ７０５にて近い時刻に撮影予約済みであることが検出された予測画像の好適度よりも高いかどうかを判定する。制御部１０１は、予約すべきと判定された新規の予測画像の好適度が、設定済みの予測画像の好適度より高いと判定した場合はＳ７１０に進み、そうでない場合は、Ｓ７０４にて予約すべきと判定された撮影予約の処理を中断し、Ｓ７０７に進む。

Ｓ７１０において、制御部１０１は、Ｓ７０５にて検出された、設定済みの撮影予約を解除し、Ｓ７０４にて予約すべきと判定された撮影予約を新規に設定する。ここで、制御部１０１は、撮影予約を解除するために、対応するタイマ機能を停止すると共に、撮影予約管理テーブルからの対応する予約情報を削除する。撮影予約の設定処理の内容は、Ｓ７０６において説明した撮影予約の設定処理の内容と同様である。このように、近接する予測画像が存在する場合、より好適度の高い予測画像の撮影予約を優先することで、よりユーザにとって有益な画像を自動撮影によって取得することができる。

Ｓ７１１において、制御部１０１は、Ｓ７０４において撮影予約を実行すべきでないと判定された未来時刻と同じ時刻に、既に撮影予約が設定されているかどうかを判定する。制御部１０１は、記憶媒体１０８の撮影予約管理テーブルを参照して、Ｓ７０４において判定された未来時刻と同じ時刻に、既に撮影予約が設定されていると判定した場合はＳ７１２に進み、そうでない場合にはＳ７０７に進む。

Ｓ７１２において、制御部１０１は、Ｓ７１１において検出した、既に設定されている撮影予約を解除する。撮影予約の解除処理の内容は、Ｓ７１０において説明した撮影予約の解除処理の内容と同様である。このとき、本ステップにおいて制御部１０１は、撮影予約を解除したことに伴い、Ｓ７０６において開始した通知情報の表示を更新する。或いは、撮影予約が解除されたことを通知する情報を表示部１０６に表示してもよい。撮影予約が無くなった場合（全ての撮影予約を解除した場合）、Ｓ７０６において開始した通知情報の表示を消去してもよい。Ｓ７１１及びＳ７１２により、以前のＬＶ画像の画像予測では撮影記録に好適であると判定されていた未来時刻であったが、その後のＬＶ画像の画像予測において好適ではないと判定された場合に、既存の撮影予約を解除することができる。その後、制御部１０１は、上述のようにＳ７０７及びＳ７０８を実行して、自動撮影処理の一連の動作を終了する。

なお、上述の実施形態では、例えばカメラ１００内に構成される好適決定部１１０の数が１つである場合を例に説明した。しかし、好適決定部１１０の数はこの限りではなく、カメラ１００は、複数の好適決定部１１０を制御可能に構成されてもよい。複数の好適決定部１１０を構成することによってシステム構成の規模は大きくなるものの、複数の予測画像に対する好適判定処理を同時並行で実行することが可能になり、全体の処理時間を短縮することが可能となる。なお、この方法を用いることで、画像予測部１０９から出力される予測画像の数を増やすことが可能となる。これにより、より遠い未来時刻の画像予測を実行することができるようになる。

また、上述の実施形態では、画像予測部１０９及び好適決定部１１０がニューラルネットワークによって構成される場合を例に説明した。計算量が多いニューラルネットワークを備える画像予測部１０９や好適決定部１１０を用いる場合に、処理負荷を下げるための仕組みを更に実施するようにしてもよい。例えば、制御部１０１によって１つの撮影予約が設定された後は、制御部１０１は、その撮影予約による撮影記録が実行されるまで、あるいは、その撮影予約が解除されるまで、新規の撮影予約を設定しないようにしてもよい。そして、制御部１０１は、既に設定された撮影予約の時刻の調整だけを実施するようにしてもよい。例えば、制御部１０１は、好適決定部１１０による好適度の判定処理を、画像予測部１０９が生成する全ての予測画像に対して実行するのではなく、撮影予約の時刻に近い時刻の予測画像に対してのみ実行すればよい。ここで撮影予約の時刻に近い時刻とは、例えば撮影予約の時刻の前後３００ミリ秒に含まれる時刻であってよい。このように、撮影予約の対象となる時刻を制限することにより、好適決定部１１０の処理負荷の軽減や、それに伴うカメラ１００全体の消費電力の低減が可能となる。

以上説明したように、本実施形態では、撮像部１０４から出力される第１時点の画像を用いて、第１時点より未来の第２時点の画像を予測した予測画像を生成する。そして、生成した予測画像について好適度（予測画像が記録する画像として適している度合い）を決定し、決定した好適度が所定の閾値より高い場合に、時刻が第２時点になったときに画像を撮像するようにした。これにより、現在の画像から予測される好適なタイミングにおいて自動的に撮影することが可能になる。換言すれば、画像予測モデルを用いて、現在のＬＶ画像から撮影に好適な未来の画像を予測して自動的に撮影するシステムを実現することが可能となる。また、本実施形態では、未来時刻に撮影予約を設定した後、その後生成されるＬＶ画像によってその時刻の撮影が好適でないと判定された場合は、撮影予約を解除するようにした。このようにすることで、一度撮影予約を設定した未来時刻を、ＬＶ画像生成の度に、つまり設定した未来時刻が現在時刻に近づくにつれて、正しい撮影タイミングとなるように調整することが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０１…制御部、１０４…撮像部、１０５…操作部、１０６…表示部、１０８…記憶媒体、１０９…画像予測部、１１０…好適決定部

Claims (16)

1. 撮像手段から出力される第１時点の画像を用いて、前記第１時点より未来の第２時点の画像を予測した予測画像を生成する予測手段と、
   前記予測画像について、前記予測画像が記録する画像として適している度合いを示す好適度を決定する決定手段と、
   前記決定された好適度が所定の閾値より高い場合に、時刻が前記第２時点になったときに画像を撮像するように前記撮像手段を制御する制御手段と、を有することを特徴とする撮像装置。
2. 前記予測手段は、前記第１時点の画像に基づいて前記第１時点より未来の時点に対応する前記予測画像を生成する機械学習モデルにより構成される、ことを特徴とする請求項１に記載の撮像装置。
3. 前記決定手段は、入力される画像についての前記好適度を決定する機械学習モデルにより構成される、ことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記第１時点の画像は、前記撮像手段から順次出力されるライブビュー画像である、ことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記制御手段は、前記決定された好適度が前記所定の閾値より高い場合に、時刻が前記第２時点になったときに画像を撮像するための撮影予約を設定する、ことを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
6. 前記制御手段は、前記撮影予約を設定したことに応じて、前記撮影予約が設定されたことを通知する情報を表示手段に表示させる、ことを特徴とする請求項５に記載の撮像装置。
7. 前記制御手段は、前記第１時点の画像に基づいて前記第２時点の画像を撮像するための第１撮影予約を設定した後に、前記第１時点より後である第３時点の画像を用いて生成された前記予測画像の前記好適度が、前記第１時点の画像を用いて生成された前記予測画像の前記好適度よりも高いかを判定する、ことを特徴とする請求項５又は６に記載の撮像装置。
8. 前記制御手段は、前記第３時点の画像を用いて生成された前記予測画像の前記好適度が、前記第１時点の画像を用いて生成された前記予測画像の前記好適度よりも高い場合、前記第１撮影予約を解除して、前記第３時点の画像に基づく第２撮影予約を設定する、ことを特徴とする請求項７に記載の撮像装置。
9. 前記制御手段は、前記第１時点の画像に基づいて前記第２時点の画像を撮像するための第１撮影予約を設定した後に、前記第１時点より後である第３時点の画像を用いて生成された、前記第２時点又は前記第２時点から所定の時間範囲の前記予測画像の前記好適度が前記所定の閾値以下である場合、前記第１撮影予約を解除する、ことを特徴とする請求項５又は６に記載の撮像装置。
10. 前記制御手段は、前記第１撮影予約を解除したことに応じて、撮影予約が解除されたことを通知する情報を表示手段に表示させる、又は、前記撮影予約が設定されたことを通知する前記情報を変更する、ことを特徴とする請求項８又は９に記載の撮像装置。
11. 前記所定の時間範囲は、前記撮像手段から画像が出力されて記憶媒体に記録されるのに要する時間である、ことを特徴とする請求項９に記載の撮像装置。
12. 前記予測手段は、前記第１時点よりも未来の複数の時点の予測画像を出力し、
    前記制御手段は、前記複数の時点の予測画像について決定された前記好適度のうち、前記好適度が前記所定の閾値より高い予測画像の時点になったときに画像を撮像するように前記撮像手段を制御する、ことを特徴とする請求項５から１１のいずれか１項に記載の撮像装置。
13. 前記決定手段は、前記撮影予約を設定したことに応じて、前記複数の時点の予測画像のうち、前記撮影予約を設定した時点から所定の時間範囲の時点の前記予測画像についてのみ、前記好適度を決定する、ことを特徴とする請求項１２に記載の撮像装置。
14. 前記第２時点になったときに撮像された画像を記憶媒体に記録する記録手段を更に有する、ことを特徴とする請求項１から１３のいずれか１項に記載の撮像装置。
15. 撮像手段から出力される第１時点の画像を用いて、前記第１時点より未来の第２時点の画像を予測した予測画像を生成する予測工程と、
    前記予測画像について、前記予測画像が記録する画像として適している度合いを示す好適度を決定する決定工程と、
    前記決定された好適度が所定の閾値より高い場合に、時刻が前記第２時点になったときに画像を撮像するように前記撮像手段を制御する制御工程と、を有することを特徴とする撮像装置の制御方法。
16. コンピュータを、請求項１から１４のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。

Images