JP2020091702A

JP2020091702A - 撮像装置および撮像方法

Info

Publication number: JP2020091702A
Application number: JP2018228969A
Authority: JP
Inventors: 豊田　哲也; Tetsuya Toyoda; 哲也豊田; 吉田　英明; Hideaki Yoshida; 英明吉田; 禎李; Zhen Li; 和彦長; Kazuhiko Cho; 野中　修; Osamu Nonaka; 修野中
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2018-12-06
Filing date: 2018-12-06
Publication date: 2020-06-11

Abstract

【課題】予測画像を生成した場合において予測する際に使用した画像や、過去の画像の変化を検出した際に使用した画像を、後日、簡単に検索することができる撮像装置および撮像方法を提供する。【解決手段】対象物を撮像部によって撮像して、画像データを出力し（Ｓ３）、画像データを記録部に記録し（Ｓ２７）、画像データの内、経時変化情報を有する類似の対象物の画像を用いて学習することによって、将来画像を予測画像として出力可能な推論モデルを用いて推論し（Ｓ５）、推論された予測画像データを記録部に記録するにあたって、元画像データであるか、推論後の画像データであるかを、画像データに関連付けて記録する（Ｓ２３）。また、画像データを記録する際に、対象物の経過進行型の変化であるか、または特定物移動型の変化であるかを分類して記録する。【選択図】図８

Description

本発明は、画像に基づいて将来の画像を予測し、また過去の画像との比較を行うことができる撮像装置および撮像方法に関する。

顔の撮像画像と健康病気情報に基づき、予測画像を生成することが提案されている（特許文献１）。表示装置に表示された予測画像を見ることにより、自然に健康病気情報を知ることができる。また、過去の画像を比較することにより、物品等の変化を検出することも知られている。

特開２０１８−４２８１２号公報

特許文献１に開示の技術によれば、予測画像を見ることができるが、後日、予測のもとになった画像が何であったかを調べることが容易でない。また、過去の画像から物品等の変化を検出する場合であっても、後日、変化を検出した根拠となった画像を調べることが容易ではない。

本発明は、このような事情を鑑みてなされたものであり、予測画像を生成した場合において予測する際に使用した画像や、過去の画像の変化を検出した際に使用した画像を、後日、簡単に検索することができる撮像装置および撮像方法を提供することを目的とする。

上記目的を達成するため第１の発明に係る撮像装置は、対象物を撮像し、画像データを出力する撮像部と、上記画像データを記録する記録部と、上記撮像部によって取得された画像データの内、経時変化情報を有する類似の対象物の画像を用いて学習することによって、将来画像を予測画像として出力可能な推論モデルを用いて推論する推論部と、上記推論部によって推論された予測画像データを上記記録部に記録するにあたって、元画像データであるか、推論後の画像データであるかを、上記画像データに関連付けて記録する記録制御部と、を有する。

第２の発明に係る撮像装置は、上記第１の発明において、上記推論部は、上記撮像部によって取得された画像データが、経過進行型の変化を示す画像であるか、または特定物移動型の変化を示す画像であるかを推論する。
第３の発明に係る撮像装置は、上記第１の発明において、上記記録制御部は、上記画像データを記録する際に、上記対象物の経過進行型の変化であるか、または特定物移動型の変化であるかを分類して記録する。

第４の発明に係る撮像装置は、上記第１の発明において、上記推論部は、上記撮像部によって取得した画像データに基づいて、所定時間経過後の予測画像を推論し、上記記録制御部は、上記予測画像と、上記推論に用いた上記画像データを関連付けて、上記記録部に記録する。
第５の発明に係る撮像装置は、上記第１の発明において、上記推論部は、上記撮像部によって取得した過去の画像データと、現在の画像データを比較し、比較結果に基づいて特定物の移動を推測し、上記記録制御部は、上記過去の画像データと上記現在の画像データを関連付けて、上記記録部に記録する。
第６の発明に係る撮像装置は、上記第１の発明において、上記推論部による推論結果を表示する表示部と、上記表示部に表示に対して、変更指示を行うための操作部材と、を有し、上記記録制御部は、上記操作部材によって変更操作の内容を記録する。

第７の発明に係る撮像装置は、上記第１の発明において、さらに、推論部で使用する推論モデルを生成するための学習部を有し、上記学習部は、ジェネレータタイプのネットワークデザインと、ディスクリミネータタイプのネットワークデザインを有し、上記ジェネレータタイプのネットワークデザインの入力部に教師用の画像データを入力し、ジェネレータタイプのネットワークデザインの出力を、上記ディスクリミネータタイプのネットワークデザインの入力部に入力し、さらに、ディスクリミネータタイプのネットワークデザインの教師用の前後情報を教師用データとして入力する。

第８の発明に係る撮像方法は、対象物を撮像部によって撮像して、画像データを出力し、上記画像データを記録部に記録し、上記画像データの内、経時変化情報を有する類似の対象物の画像を用いて学習することによって、将来画像を予測画像として出力可能な推論モデルを用いて推論し、上記推論された予測画像データを上記記録部に記録するにあたって、元画像データであるか、推論後の画像データであるかを、上記画像データに関連付けて記録する。

第９の発明に係る撮像方法は、上記第８の発明において、上記推論は、上記撮像部によって取得された画像データは、経過進行型の変化を示す画像であるか、または特定物移動型の変化を示す画像であるかを推論する。
第１０の発明に係る撮像方法は、上記第８の発明において、上記画像データを記録する際に、上記対象物の経過進行型の変化であるか、または特定物移動型の変化であるかを分類して記録する。

第１１の発明に係る撮像方法は、上記第８の発明において、上記撮像部によって取得した画像データに基づいて、所定時間経過後の予測画像を推論し、上記予測画像と、上記推論に用いた上記画像データを関連付けて、上記記録部に記録する。
第１２の発明に係る撮像方法は、上記第８の発明において、上記撮像部によって取得した過去の画像データと、現在の画像データを比較し、比較結果に基づいて特定物の移動を推測し、上記過去の画像データと上記現在の画像データを関連付けて、上記記録部に記録する。
第１３の発明に係る撮像方法は、上記第８の発明において、上記推論の結果を表示部に表示し、上記表示部の表示に対して、操作部材によって行われた変更指示を検出し、上記操作部材によって変更操作の内容を記録する。

本発明によれば、予測画像を生成した場合において予測する際に使用した画像や、過去の画像の変化を検出した際に使用した画像を、後日、簡単に検索することができる撮像装置および撮像方法を提供することができる。

本発明の一実施形態に係る撮像装置において、予測画像の生成を説明する図である。本発明の一実施形態に係る画像取得装置の主として電気的構成を示すブロック図である。発明の一実施形態に係る画像取得装置の主として電気的構成を示すブロック図である。本発明の一実施形態に係る撮像装置における画像ファイルの構成を示す図である。本発明の一実施形態に係る撮像装置において、推論モデルを生成する学習装置の例を示すブロック図である。本発明の一実施形態に係る撮像装置において、推論モデルを生成する学習装置の変形例を示すブロック図である。本発明の一実施形態に係る画像取得装置を用いて、予測画像を表示する例を示す図である。本発明の一実施形態に係る画像取得装置を用いて、物品の変化を検出する様子を示す図である。本発明の一実施形態に係る画像取得装置の動作を示すフローチャートである。本発明の一実施形態に係る画像取得装置の動作を示すフローチャートである。

以下、本発明の一実施形態に係る画像取得装置としてデジタルカメラに適用した例について説明する。

従来の撮像装置によって取得された撮影画像は、撮影対象物をそのまま画像に変換したものであり、その時点で撮影画像を記録するのが一般的である。すなわち、撮影タイミングにおける画像しか記録できない。しかし、現在時点における画像から得られる情報を有効利用することによって、過去の画像や将来の画像を推測（予測）することが可能になる。この対象物の時間変化は、老化や成長のように対象物そのものの経時変化がある。また、商品の在庫管理や人の出入りのように画像に含まれる物の位置変化もある。取得された画像中における対象物がどのような状態であったかや、今後、どうなるかを示す画像を画像処理によって得る場合には、実際に撮影された画像と、この画像から推測された画像を分離して管理しておくことが望まれる。

本実施形態に係る撮像装置では、過去の画像、現在の画像から将来予測によって予測画像を生成する。生成した際に、この予測画像を生成するにあたって使用した元画像に関する情報をタグ情報等として予測画像に関連付けて記憶する。また、元画像にも予測画像に関する情報をタグ情報として、関連付けて記憶する。元画像にタグ情報が付与されていることから、元画像を簡単に検索することができる。さらに、過去画像と現在画像を比較する際にも、両画像にそれぞれ関連付けるためのタグ情報等を記憶する。すなわち、将来予測に限らず、過去と現在等、時間軸変化を関連付けて記録する。例えば、老化や病状変化等、経過進行型の対象物は、対象物経時変化として捉える。また、画像内の変化部位を観察することによって可能な在庫管理は、画像内特定物位置変化として捉える。

図１を用いて、将来を予測する撮像装置の例を説明する。撮像装置１００は、後述する図２に示すように撮像部１０３、表示部１０６等を有し、被写体を撮影し、表示部１０６に撮影画像を表示することができる。また、この撮像装置１００は、推論エンジン１１０を有し、撮影画像に映っている人物の将来の画像を予測することができる。

推論エンジン１１０は、ハードウエア回路またはソフトウエアによって実現され、推論モデルを用いて、撮影画像の将来の予測画像１００ａを予測する。この推論モデルは、教師画像１１２ｅを用いて、深層学習等の学習によって、生成される。教師画像１１２ｅとしては、例えば、複数の顔１、顔２等を有し、顔１を現在の画像とすると、顔２は所定年数後の顔である。また、教師画像１１２ｅとしては、顔画像に限らず、病状の画像や、商品の画像を用いてもよい。病状画像を教師画像とすることにより、現在の病状画像に対する将来の病状画像を予測する推論モデルを作成することができる。また、商品画像を教師画像とすることにより、商品名等を推論する推論モデルや、商品の在庫管理を推論する推論モデル等を作成することができる。

図１では、人物の顔写真を撮影することにより、その人物の将来の予測画像１００ａを表示部１０６に表示する例を示す。しかし、これに限らず、褥瘡（所謂、床ずれ）や傷等を現在画像とし、将来の褥瘡や傷等を予測してもよく、また一般のカメラ以外の医療機器等で撮影した体内の患部の将来画像等を予測してもよい。また、将来の予測画像に限らず、商品や荷物の出し入れなど繰り返し起こる事象を撮影した場合には、過去の画像と現在の撮影画像を比較することにより、その時間変化を検出するようにしてもよい。この場合、過去の画像と現在を比較することにより、過去に起こった事は将来も起こり得るとか、過去の変化の激しさから将来の変化も激しいであろうと、推測、予測するようにしてもよい。このような時間によって変化する画像の情報は有効活用が可能であり、例えば、棚に陳列された商品の変化等を検知することにより商品の在庫を管理する用途等に有効活用してもよい（後述する図７参照）。

次に、図２Ａおよび図２Ｂを用いて、撮像装置１００の電気的構成について説明する。この撮像装置１００は、制御部１０１、撮像部１０３、操作部１０４、表示部１０６、通信部１０７、推論エンジン１１０、記録部１０８、学習部１１２、記録部１１３を有する。

撮像部１０３は、光学系１０３ａおよび撮像素子１０３ｂを有する。光学系１０３ａは、フォーカスレンズ等の光学レンズを有し、被写体像を形成する。撮像素子１０３ｂは、ＣＣＤイメージセンサセンサやＣＭＯＳイメージセンサ等のイメージセンサである、撮像素子１０３ｂは、光学系１０３ａによって被写体像が形成する位置付近に配置され、被写体像を光電変換する。撮像部１０３は、この他、光学系１０３ａを透過する光量を制御するための絞り、撮像素子１０３ｂの露光時間を制御するメカニカルシャッタ、撮像素子１０３ｂから読みだされた画像信号の増幅処理やＡＤ変換処理等を行う回路等を有していてもよい。撮像部１０３は、対象物を撮像し、画像データを出力する撮像部として機能する。

制御部１０１は、プロセッサであり、また、ＡＳＩＣ（Application Specific Integrated Circuit）によって構成してもよく、ＣＰＵ（Central Processor Unit）を有し、記録部４に記憶されているプログラムに従って、撮像装置１００内の各部を制御することによって、全体を制御する。制御部１０１は、記録制御部１０１ａ、操作判定部１０１ｂ、通信制御部１０１ｃ、画像処理部１０１ｄ、パラメータ制御部１０１ｅ、特定部位コマ判定部１０１ｆを有する。これらの各部は、プロセッサ内のハードウエア回路および／またはプログラムによるソフトウエア等によって実現される。

記録制御部１０１ａは、撮像画像１０８ｂ、予測画像１０８ｃ、および比較画像１０８ｄを記録部１０８に記録する際の制御を行う。撮像画像１０８ｂは、撮像部１０３によって取得され画像処理部１０１ｄによって画像処理された画像である。予測画像１０８ｃは、推論エンジン１１０によって予測された画像である。比較画像１０８ｄは、過去と現在の画像を比較する画像である。図３を用いて後述するように、撮影画像、予測画像、および／または比較画像の画像ファイルは、予測元画像、予測画像、比較元画像、比較画像等、画像の種類と画像データを関連付けられて、記録部１０８に記録される。

記録制御部１０１ａは、推論部によって推論された予測画像データを記録部に記録するにあたって、元画像データであるか、推論後の画像データであるかを、画像データに関連付けて記録する記録制御部として機能する。この記録制御部は、画像データを記録する際に、対象物の経過進行型の変化、または特定物移動型の変化であるかを分類して記録する（例えば、図３、図８のＳ２３等参照）。記録制御部は、予測画像と、推論に用いた画像データを関連付けて、記録部に記録する（例えば、図３、図８のＳ２３等参照）。記録制御部は、過去の画像データと現在の画像データを関連付けて、記録部に記録する（例えば、図３、図８のＳ２３等参照）。記録制御部は、操作部材によって変更操作の内容を記録する（例えば、図８のＳ１３、Ｓ１９等参照）。

操作判定部１０１ｂは、操作部１０４によって操作された操作部材の種類や操作量等を判定する。通信制御部１０１ｃは、制御部１０１外にある推論エンジン１１０、記録部１０８等との通信を制御する。通信部１０７を介して外部の画像管理装置などに接続可能であり、外部の画像管理装置等によって画像の保存し、また画像などのデータベースを活用することも可能である。この画像を教師データとした推論モデルを得るために、外部の画像データベース内の画像を利用できるようにしてもよい。画像処理部１０１ｄは、撮像部１０３によって取得した撮影画像、推論エンジン１１０によって予測された予測画像等の画像に対して、画像処理を施す。

パラメータ制御部１０１ｅは、撮像装置１００における各種パラメータ、例えば、絞り値、シャッタ速度値、ＩＳＯ感度値、ピント合わせのための被写体距離、光学系１０３ａの焦点距離、露出補正値等のパラメータを制御する。特定部位コマ判定部１０１ｆは、画像中の特定部位、例えば、人物の顔における目・鼻・口等の部位、また患者の患部、商品陳列棚における商品等を判定する。この判定は、画像データを解析することにより実行する。

操作部１０４は、ユーザの指示を撮像装置１００に入力するためのインターフェースであり、操作部１０４は、パワースイッチ、レリーズ釦、撮影モード設定等の各種ダイヤル操作釦、タッチパネル等の操作部材を有する。操作部１０４は、操作部材の操作状態を検出し、制御部１０１に出力する。操作部１０４は、表示部に表示に対して、変更指示を行うための操作部材として機能する（例えば、図８のＳ１３参照）。

表示部１０６は、液晶パネル、有機ＥＬ等のディスプレイを有し、電子ビューファインダを有していてもよい。表示部１０６は、撮像部１０３によって取得された撮影画像をリアルタイムでライブビュー表示し、記録部１０３に記録された画像を再生表示し、メニュー画像等の制御用の画像を表示する。また、表示部１０６は、推論エンジン１１０によって予測された画像や、過去と現在の比較画像を表示する（図６、図７参照）。表示部１０６は、推論部による推論結果を表示する表示部として機能する（図１、図６（ｂ）、図７（ｂ）、図８のＳ９、Ｓ１１等参照）。

通信部１０７は、通信回路を有し、撮像装置１００の外部機器や、インターネットを介してサーバー等との有線通信および／又は無線通信を制御する。

記録部１０８は、電気的に書き換え可能な不揮発性メモリであり、記録部１０８の記録領域のうち、画像データの記録領域１０８ａの一部または全部を、撮像装置１００に装填自在な記録媒体としてもよい。記録部１０８に記録される取得画像データ１０８ａとしては、撮像画像１０８ｂ、予測画像１０８ｃ、および比較画像１０８ｄがあり、これらの画像の全てを記録しなくてもよい。記録部１０８は、画像データを記録する記録部として機能する。記録部１０８に記録する画像ファイルのファイル構造については、図３を用いて後述する。

撮像画像１０８ｂは、撮影者が操作部１０４のうちのレリーズ釦等の撮影指示部材を操作した際に、撮像部１０３によって取得された画像である。予測画像１０８ｃは、撮影画像１０８ｂ等に対して、推論エンジン１１０によって推論を行い得られた、将来の画像である。推論エンジン１１０は、例えば、人物の撮影画像を推論することにより、その人物の２０年後の容貌等を推測する。比較画像１０８ｄは、過去画像と現在画像を比較した画像である。推論エンジン１１０は、例えば、商品陳列棚に配置されている商品が、ユーザによって購入されたか否かを推論する。

推論エンジン１１０は、学習部１１２によって生成された推論モデルを入力し、これを学習成果物として記憶部１１１に記憶する。推論エンジン１１０は、記憶部１１１に記憶された推論モデルを用いて、撮像部１０３によって取得された画像データについて、将来を予測した画像を、推論により生成する。推論エンジン１３は、入力層、中間層、出力層を有し、これらの間のニューロンの結合の強さや重み付けは、記憶部１１１に記憶された推論モデル（学習成果物）に従って設定される。

推論エンジン１１０は、撮像部によって取得された画像データの内、経時変化情報を有する類似の対象物の画像を用いて学習することによって、将来画像を予測画像として出力可能な推論モデルを用いて推論する推論部として機能する。この推論部は、撮像部によって取得された画像データは、経過進行型の変化を示す画像であるか、または特定物移動型の変化を示す画像であるかを推論する（図３、図８のＳ５〜Ｓ１１等参照）。また、推論部は、撮像部によって取得した画像データに基づいて、所定時間経過後の予測画像を推論する（例えば、図１、図６、図８のＳ５、Ｓ９参照）。また、推論部は、撮像部によって取得した過去の画像データと、現在の画像データを比較し、比較結果に基づいて特定物の移動を推測する（例えば、図７、図８のＳ５参照）。

本実施形態においては、推論エンジンとして２種類、用意している。すなわち、推論モデルとしての機能を有する辞書Ｐｕを有した推論エンジンと、辞書Ｐｒを有した推論エンジンである。この２つの推論エンジンは辞書（すなわち、推論モデル）が相違しており、このため、推論する際に、最適な辞書を手動または自動で選択する。なお、推論モデルの数は、１つであってもよく、また３以上であってもよい。

学習部１１２は、推論エンジン１１０が推論を行う際に使用する推論モデルを生成する。図２Ｂに学習部１１２の詳細な構成を示す。学習部１１２は、通信部１１２ａ、母集合作成部１１２ｂ、出力設定部１１２ｃ、および入出力モデル化部１１２ｄを有する。

通信部１１２ａは、通信回路を有し、推論部１１０、通信制御部１０１ｃ、記録部１１３等との間で通信を行う。通信としては、学習部１１２において生成された推論モデルを推論エンジン１１１に送信し、また、記録部１１３から母集合として使用する学習用画像データを受信する等の通信がある。

母集合作成部１１２ｂは、推論モデルを作成する際に使用する学習用データを作成する。記録部１１３には、種々の学習用データが記録されており、母集合作成部１１２ｂは、その中から、学習に相応しい学習用データを選択する。

出力設定部１１２ｃは、入出力モデル化部１１２ｄにおいて生成された学習モデルの出力設定を行う。出力設定としては、画像を入力として、その画像から何を推論して出力するかを決定する。どのような画像が出力情報を有して、有効な教師データになるかを判定してもよい。教師データとなる画像には予めアノテーションが行われており、アノテーションを使って何を学習すべきかを指定してあるものもある。しかし、アノテーション付きの画像であれば、出力設定部１１２ｃは、アノテーションが何用かなどを判定する機能であってもよい。

また、前述したように、推論エンジン１１０の記憶部１１０ａには、複数の推論モデルを記憶でき、出力設定部１１２ｃは、いずれかの記憶部にいずれかの学習モデルを設定する。すなわち、推論内容に応じた学習モデルの設定を行う。また、出力設定部１１２ｃは、特定部位コマ判定部としての機能も有する。画像と、この画像から判定された結果が分かっていれば、この関係をそのまま利用してもよい。すなわち、画像を入力とし、画像から判定された結果を出力にする等、関係があるコマか否かを判定し、関係があるコマを教師データとしてもよい。特定部位コマ判定は、例えば、人物画像の場合に、目、鼻、口等の特定部位を判定する。推論エンジンによって、人物の将来画像を予測する場合には、特定部位を判定し、これらの特定部位がどのように変化するかを予測する。

入出力モデル化部１１２ｄは、機械学習用プロセッサを有し、所謂人工知能（ＡＩ）を用いて深層学習を行い、推論モデルを生成する。具体的には、入出力モデル化部１１２は、母集合作成部１１２ｂによって作成された画像データの母集合を用い、推論モデルを深層学習によって生成する。深層学習（ディープラーニング）は、入出力の関係を学習可能な関数近似器である。

入出力モデル化部１１２ｄは、推論エンジン１１０と同様の構成を有している。入力層に母集合作成部１１２ｂに作成された画像データを入力する。また、出力層に、画像の評価結果、例えば、教師データ（正解）を与える。入力と出力が一致するように、各ニューロンの結合の強さ（重み付け）を算出することによって推論モデルを生成する。なお、本実施形態においては、入出力モデル化部１１２は、深層学習によって推論モデルを生成するが、深層学習に限られず、機械学習であればよい。また、深層学習を行う場合には、用途を指定して行う。用途としては、例えば、人物画像の将来の画像を予測するための学習、商品を陳列した棚においてユーザが購入のために商品を確保したか否かを判断するための学習等がある。入出力モデル化部１１２ｄにおける深層学習の詳細については、図４、図５を用いて後述する。

ここで、深層学習について、説明する。「深層学習（ディープ・ラーニング）」は、ニューラル・ネットワークを用いた「機械学習」の過程を多層構造化したものである。情報を前から後ろに送って判定を行う「順伝搬型ニューラル・ネットワーク」が代表的なものである。順伝搬型ニューラル・ネットワークは、最も単純なものでは、Ｎ１個のニューロンで構成される入力層、パラメータで与えられるＮ２個のニューロンで構成される中間層、判別するクラスの数に対応するＮ３個のニューロンで構成される出力層の３層があればよい。入力層と中間層、中間層と出力層の各ニューロンはそれぞれが結合加重で結ばれ、中間層と出力層はバイアス値が加えられることによって、論理ゲートを容易に形成できる。

ニューラル・ネットワークは、簡単な判別を行うのであれば３層でもよいが、中間層を多数にすることにより、機械学習の過程において複数の特徴量の組み合わせ方を学習することも可能となる。近年では、９層〜１５２層のものが、学習にかかる時間や判定精度、消費エネルギーの観点から実用的になっている。また、画像の特徴量を圧縮する、「畳み込み」と呼ばれる処理を行い、最小限の処理で動作し、パターン認識に強い「畳み込み型ニューラル・ネットワーク」を利用してもよい。また、より複雑な情報を扱え、順番や順序によって意味合いが変わる情報分析に対応して、情報を双方向に流れる「再帰型ニューラル・ネットワーク」（全結合リカレントニューラルネット）を利用してもよい。

これらの技術を実現するために、ＣＰＵやＦＰＧＡ（Field Programmable Gate Array）等の従来からある汎用的な演算処理回路を使用してもよい。しかし、これに限らず、ニューラル・ネットワークの処理の多くが行列の掛け算であることから、行列計算に特化したＧＰＵ（Graphic Processing Unit）やTensor Processing Unit（TPU）と呼ばれるプロセッサを利用してもよい。近年ではこのような人工知能（ＡＩ）専用ハードの「ニューラル・ネットワーク・プロセッシング・ユニット（ＮＰＵ）」がＣＰＵ等その他の回路とともに集積して組み込み可能に設計され、処理回路の一部になっている場合もある。

その他、機械学習の方法としては、例えば、サポートベクトルマシン、サポートベクトル回帰という手法もある。ここでの学習は、識別器の重み、フィルター係数、オフセットを算出するものあり、これ以外にも、ロジスティック回帰処理を利用する手法もある。機械に何かを判定させる場合、人間が機械に判定の仕方を教える必要がある。本実施形態においては、画像の判定を、機械学習により導出する手法を採用したが、そのほか、人間が経験則・ヒューリスティクスによって獲得したルールを適応するルールベースの手法を用いてもよい。

図２Ａ、図２Ｂに戻り、記録部１１３は、電気的に書き換え可能な不揮発性メモリであり、学習部１１２において使用する学習用画像データを記憶する。記録部１１２は、学習用画像データ１１３ａを記憶し、この学習用画像データ１１３ａとして、変化前後画像および前後情報１１３ｂと、経時比較画像ｖｓ用途情報１１３ｃを記憶する。記録部１１３に記録する画像ファイルの詳細については、図３を用いて後述する。

変化前後画像および前後情報１１３ｂは、例えば、人物画像であれば、同一人物におけるｘ年前の画像と現在の画像の組み合わせ、ｘ年前の画像とｙ年前の画像の組み合わせがある。前後情報としては、ｘ年前と現在、ｘ年前とｙ年前のような時間情報、人物を特定する情報等がある。すなわち、変化前後の画像と、この変化前後のそれぞれの画像の情報がある。同じ対象物の経時変化に限らず定点撮影など同じシーンの画像を取得して利用する場合でも、撮影内容に変化がある画像は、画像がどうなっていくかを予測するための有効な教師データとなりえる。しかし、どちらが前の画像でどちら後の画像かと言う前後関係の情報が明記されていないと、正しい教師データにならない。こうした前後関係情報、あるいは経過情報を有することで画像データとして対象物の変化がどう変わるかを管理可能となる。

経時比較画像ｖｓ用途情報１１３ｃは、経時変化する画像と、その対象物の用途情報である。経時比較画像は、例えば、商品棚に陳列された商品でいえは、ｘ１時間前、ｘ２時間前、・・・ｘｘ時間前といった比較用の画像がある。また、用途情報は、推論の用途である。例えば、人物画像であれば、将来の容貌の変化を知るための画像等があり、また、人間の傷の回復の変化を知るための画像等がある。また、棚等に陳列された商品が購入されたか否かを知るための、過去と現在の商品の在庫状況の変化を示す画像ある。時間ごとに撮影された商品棚と商品の画像を比較することにより、ユーザにより、商品が購入されたことを判定することができる。

このように、前後の関係の情報を有する画像があっても、それがどのような推論に有効かは、画像ごとに異なる場合があるので、ここでは、どの画像がどのような用途に使われるかを管理して記録できるようにする。これらの用途は、将来を予想して撮影時から付けてもよいし、撮影後にユーザが追記してもよい。いずれにせよ、画像による将来予測と言っても様々な将来予測があり、経年変化や経時変化として何年後の予測とか、何日後、何時間後の予測用といった分類を行ってもよい。

病変にしても悪化時と治癒時では経過が異なり、それぞれの場合を記録した画像が教師データ化されて、それぞれの場合の将来を判定できるようにしてもよい。もちろん、これらを両方学習させ、治癒しそうかどうかを予測させてもよい。同じ怪我の画像でも治療した場合と放置した場合では、経時変化が異なるが、怪我をした時点ではどちらになるかは判定できない。しかし、少しでも治療を受けた後であれば、治療時特有の画像変化が現れて、将来は治癒するという予想ができたりもする。したがって、用途情報は、どのような時間間隔の予想をしたいかや、どのような予想をしたいかによって変わる情報であってもよい。

このように画像を管理することによって、推論に用いた過去画像の検索も可能となり推論エンジンが時としてブラックボックス化するのを防ぐことが出来る。学習した教師データを管理すれば、どのような来歴の推論エンジンであるかのエビデンスになりうる。また、目的、用途に応じ、あるいは利用された教師データなど、推論に用いた学習時のデータ群を管理することも重要である。事象の変化には緩急がある場合もあり、これらを学習できるようにしてもよい。このためには、変化した画像とその時の経過時間を一緒に管理して、この経過時間情報を学習時に利用すればよい。環境や個体による差異がある場合もあるので、遅いケース、速いケースを分けて学習してもよく、一緒に合わせて学習してもよい。

なお、学習部１１２および／または記録部１１３は、撮像装置１００以外に配置してもよい。例えば、学習部１１２と記録部１１３を外部のサーバーに配置し、撮像装置１００内の推論エンジン１１０は、外部で生成された推論モデルを、通信部を介して、受信するようにしてもよい。

次に、図３を用いて、記録部１０８に記録する画像データのファイル構造について説明する。画像ファイル１２１〜１２４は、予測画像の生成に関連する画像であり、主として予測画像１０８ｃに記憶されている画像である。

画像ファイル１２１は、画像データ１２１ａ、経過進行型１２１ｂ、予測元画像１２１ｃを有する。すなわち、画像データ１２１ａは、推論エンジン１１０によって将来の画像を予測した際に用いられた画像データである。経過進行型１２１ｂは、画像のタイプを示し、「経過進行型」は、予測画像の生成に関連することを意味する。また、「経過進行型」は、成長や老化、治癒、悪化など連続的に変化する事象を画像で捉えた時、その経過を示す画像であることを示す情報、信号であって、これを管理する時、「経過進行型」として分類可能なようにしている。特定の表形式のこの部分にフラグがついていれば、このケースであると分類できるような標準化を行えば、ローカル環境でなくても、広く利用が期待できる。もちろん、表形式の特定の部分に記述する形式でもよいし、必ずしも表形式である必要はなく、特定の分類可能な情報を書き込む形でもよい。以下、図３で説明する「タイプ」の情報は、この形式で記録可能にしてある。

予測元画像１２１ｃは、画像であることを示す情報（例えば、タグ情報）であり、「予測元画像」は、推論エンジン１１０によって将来の画像を予測した際に使用された画像であることを示す。予測元画像であることを示す情報の他に、予測後画像のファイル名等を関連付けて記録してもよい。

画像ファイル１２２は、画像データ１２２ａ、経過進行型１２２ｂ、予測後画像１２２ｃ、推論エンジン種類１２２ｄ、予測条件１２２ｅを有する。画像データ１２２ａは、推論エンジン１１０によって、予測された将来の画像の画像データである。経過進行型１２２ｂは、画像のタイプを示し、予測画像の生成の生成に関連することを意味する。予測後画像１２２ｃは、予測後画像であることを示すタグ情報であり、「予測後画像」は、推論エンジン１１０によって予測された予測画像であることを示す。

推論エンジン種類１２２ｄは、推論エンジン１１０における推論エンジンの種類を示す。学習部１１２は、推論の目的に応じて種々の推論モデルを生成し、推論エンジン１１０はこれらの複数の推論モデルのうちの１つを用いて推論する。この推論エンジン種類１２２ｄは、種々の推論モデルの中で、推論モデルの種類を示す情報である。予測条件１２２ｅは、将来の画像を推論する際に、何年後の画像を推論したかを示す情報である。

画像ファイル１２３と画像ファイル１２４は、予測画像を生成後に、検証用に使用する画像ファイルである。画像ファイル１２３は、画像データ１２３ａ、経過進行型１２３ｂ、最新取得画像１２３ｃを有する。画像データ１２３ａは、直近の撮影によって取得された画像データである。経過進行型１２３ｂは、画像のタイプを示し、予測画像の生成の生成に関連することを意味する。最新取得画像１２３は、最新取得画像であることを示すタグ情報である。

画像ファイル１２４は、画像データ１２４ａ、経過進行型１２４ｂ、過去画像１２４ｃを有する。画像データ１２４ａは、過去に撮影された画像データである。予測元画像１２１ｃと兼用するようにしてもよい。経過進行型１２４ｂは、画像のタイプを示し、予測画像の生成の生成に関連することを意味する。過去画像１２４ｃは、取得された画像の中で過去に取得された画像であることを示すタグ情報である。過去の画像データ１２４ａと、最新の取得画像１２３ａを用いて、人物の将来を予測する推論モデルを修正するようにしてもよい。この場合には、これらの画像データを、学習用の記録部１１３に移動させる。

画像ファイル１２５〜１２８は、比較画像１０８ｄに記憶され、過去と現在の画像を比較することによって、物品等の特定物の移動に関連する画像である。画像データ１２５ａは、推論エンジン１１０によって、比較され物品等の特定物の移動を推論した画像の画像データである。特定物移動型１２５ｂは、画像のタイプを示し、特定物の移動に関連することを意味する。予測元画像１２５ｃは、画像が予測元画像であることを示すタグ情報であり、「予測元画像」は、推論エンジン１１０によって特定物の移動を推論した際に使用された画像であることを示す。なお、予測後画像のファイル名等を、画像ファイル１２５に関連付けて記憶してもよい。

画像ファイル１２６は、画像データ１２６ａ、特定物移動型１２５ｂ、予測後画像１２６ｃ、推論エンジン種類１２２ｄ、予測条件１２２ｅを有する。画像データ１２６ａは、推論エンジン１１０によって、特定物の移動を推論された場合の予測後の画像の画像データである。特定物移動型１２６ｂは、特定物の移動に関連する画像であることを示すタグ情報である。なお、予測元画像のファイル名等を、画像ファイル１２６に関連付けて記憶してもよい。

推論エンジン種類１２６ｄは、推論エンジン１１０における推論エンジンの種類を示す。学習部１１２は、推論の目的に応じて種々の推論モデルを生成し、推論エンジン１１０はこれらの複数の推論モデルのうちの１つを用いて推論する。この推論エンジン種類１２２ｄは、種々の推論モデルの中で、推論モデルの種類を示すタグ情報である。予測条件１２６ｅは、特定物の移動を推論する際に、何年後の画像を推論したかを示す情報である。

画像ファイル１２７と画像ファイル１２８は、特定物の移動に関する予測画像を生成後に、検証用に使用する画像ファイルである。画像ファイル１２７は、画像データ１２７ａ、特定物移動型１２７ｂ、最新取得画像１２７ｃを有する。画像データ１２７ａは、直近の撮影によって取得された画像データである。特定物移動型１２７ｂは、特定物の移動についての予測画像の生成の生成に関連する画像であることを意味する。最新取得画像１２７ｃは、画像の位置付けを示し、取得された画像の中で最新の取得画像であることを示すタグ情報である。

画像ファイル１２８は、画像データ１２８ａ、特定物移動型１２８ｂ、過去画像１２８ｃを有する。画像データ１２８ａは、過去に撮影された画像データである。予測元画像１２５ｃと兼用するようにしてもよい。経過進行型１２８ｂは、画像のタイプを示し、特定物の移動についての予測画像の生成の生成に関連することを意味する。過去画像１２８ｃは、画像の位置付けを示し、取得された画像の中で過去に取得された画像であることを示すタグ情報である。過去の画像データ１２８ａと、最新の取得画像１２７ａを用いて、特定物の移動について将来を予測する推論モデルを修正するようにしてもよい。この場合には、これらの画像データを、学習用の記録部１１３に移動させ、学習部１１２においてこれらの画像データを用いて、深層学習を行う。

次に、図４を用いて、学習部１１２において行われる深層学習による推論モデルの生成について説明する。

図４（ａ）は、変化前後の状態を推論するための深層学習を示す。変化前後の状態としては、人物の顔等の将来の予測がある。例えば、特定人物の顔画像を撮影し、この顔画像の将来（例えば、１年後、５年後、２０年後、３０年後、・・・）の画像を予測することがある。もちろん、顔画像に限らず、特定人物の体全体を予測してもよい。さらに、変化前後の状態としては、人体の傷の進行状態や回復状態の予測がある。傷としては、皮膚に受けた傷でもよく、また、人体内部の傷等であってもよい。さらに、変化前後の状態としては、動物や植物の成長であってもよい。

また、変化前後の状態としては、商品が棚等に陳列され、顧客が商品を購入するために、棚から商品を買い物籠に移す場合がある。顧客は、単に商品を確かめるために商品を手に取って、観察した後、買い物籠に入れる場合があれば、一方、気に入らず商品を棚に戻す場合がある。さらに、買い物籠に入れ、一旦、その場合を離れた後、気が変わり、商品を棚に戻す場合がある。また、商品の陳列の形態として、棚に陳列する以外にも、服飾のように、ハンガーにかけてある場合もあれば、本の平積みの場合もあり、種々の形態がある。

さらに、変化前後の予測として、将来を予測することについて説明したが、これに限らず、変化後の画像から変化前の画像を推測するようにしてもよい。図４（ａ）に示す例は、これらの種々の状態であって、時間と共に状態が変化した場合、将来の画像を予測する（過去の画像を推測することも含む）ための深層学習である。

この入出力モデル化部１１２ｄの入力は、母集合作成部１１２ｂによって作成された撮影画像Ａである。また、ネットワークデザイン１１３ｅには、推測画像を生成するためのデータセット（推論モデル）が生成される。このデータセットは、推論エンジンの中間層の各ニューロン間の結合の強さを示す。

入出力モデル化部１１２ｄが推論モデル生成の際に使用する母集合は、記録部１１３に記録されている変化前後画像および前後情報１１３ｂである。推論モデルの生成にあたっては、前後情報（時刻情報および／または位置情報）が付与された一連の画像群を使用する。この情報１１３ｂは、時刻情報（および／または位置情報）に基づいて画像を追跡することにより、例えば、特定人物の将来の顔画像を予測し、また顧客の購入対象物（商品）が何であったか、また購入のために商品を確保したかを推測するための情報であり、この情報を教師用データとして使用する。

ネットワークデザイン１１３ｅは、推論モデル１１３ｃと同じように、入力層、複数の層を有する中間層、および出力層を有する。ネットワークデザイン１１３ｅの入力層には、撮影画像Ａが入力され、また、撮影画像Ａを入力した際に、教師用データを用いて、特定人物の将来の画像を予測した推測画像Ｂ、または商品を購入したか否かを推測する推測画像Ｂ等を出力できるように、ネットワークデザイン１１３ｅの各ニューロン間の結合の強さを示すデータセットは深層学習により設定される。

深層学習により生成されたネットワークデザイン１１３ｅのデータセットは、推論モデルＰｒであり、この推論モデルＰｒは、推論エンジン１１１に送信され、記憶部１１１に記憶され、推論の際に使用される。

図４（ｂ）は、画像と経時比較用途を推論するための深層学習を示す。図４（ａ）では、変化前後の状態を推測するための推論モデルを作成していた。図４（ａ）において説明したように、予測画像としては、例えば、特定人物の将来を示す画像、傷等の将来の状態を示す画像等があり、比較画像として、例えば、棚に陳列した商品の購入か否かを推測する画像等がある。この図４（ｂ）に示す深層学習は、現在、入力されている画像が、種々の予測・比較のうちのいずれの予測・比較に使用されるものかを推測するための学習である。例えば、人物の顔画像であれば、将来の顔画像の推測用、棚に商品が陳列されている画像であれば、商品購入の判断用、人体の傷の画像であれば、傷の進行状態を予測する画像等であることが推測される。この深層学習は、いずれの用途に使用されるのかを推測する。

この入出力モデル化部１１２ｄの入力は、母集合作成部１１２ｂによって作成された撮影画像Ａである。また、ネットワークデザイン（ニューラル・ネットワーク）１１３ｅは、用途を推測するためのデータセット（推論モデル）が生成される。このデータセットは、図４（ａ）の場合と同じく、推論エンジンの中間層の各ニューロン間の結合の強さを示す。

入出力モデル化部１１２ｄが推論モデル生成の際に使用する母集合は、記録部１１３に記録されている経時比較画像ｖｓ用途情報１１３ｃである。推論モデルの生成にあたっては、用途情報（顔の将来画像の予測、傷の将来画像の予測、棚の商品陳列画像の予測）が付与された画像（一連の画像群であってもよい）を使用する。この情報１１３ｃは、用途情報として使用され、撮影画像Ａの用途を予測する。

図４（ｂ）に示す深層学習により生成されたネットワークデザイン１１３ｅのデータセットは、推論モデルＰｐであり、この推論モデルＰｐは、推論エンジン１１１に送信され、記憶部１１１に記憶され、撮影画像Ａの用途を推論する際に使用される。

次に、深層学習の変形例として、ガン（GAN：Generative Adversarial network）モデルを利用する入出力モデル化部の例について説明する。このＧＡＮモデルは、図４（ａ）に示した変化前後画像の推論モデルの生成、および図４（ｂ）に示した用途判断用の推論モデルの生成のいずれの場合であっても利用できるが、図４（ｃ）において、変化前後画像の推論モデルの生成に利用した例について説明する。

まず、ＧＡＮモデルの概略について説明する。入力データと教師用データを用いて学習し、これらの入力データと似たような新しいデータを出力するモデルのことを生成モデル（推論モデル）と呼ぶ。別の言い方をすると、教師用データの分布と生成データ（出力データ）の分布が一致するように学習していくようなモデルである。ＧＡＮモデルはこの生成モデルの一種である。通常、モデルが持つパラメータ数に対して教師用データの量が圧倒的に大きいため、モデルは特徴を捉えることが求められる。生成モデルには、ＧＡＮ以外にもＶＡＥ（Variational Autoencoder）など他にも注目されているモデルがあり、それぞれ長所・短所がある。例えば、ＧＡＮは学習が不安定であるが、他の手法に比べてくっきりとした画像が生成される傾向がある。

次に、ＧＡＮモデルの仕組みついて説明する。ＧＡＮではジェネレータ（generator）１１２ｄｇとディスクリミネータ（discriminator）１１２ｄｄという２つのネットワークを有する。ジェネレータ（Generator）１１２ｄｄは、教師用データと同じようなデータを生成しようとする。一方、ディスクリミネータ（discriminator）１１２ｄｄはデータが教師用データに由来するものか、それとも生成モデルに由来するものかを識別する。また、ＧＡＮにおけるニューラル・ネットワークは、何層かのエンコーダ、何層かのトランスフォームズ（変換部）、および何層かのデコーダを有する。エンコーダの中には、例えば、２０層からなるコンボリューション層を有し、トランスフォームズは１０層、デコーダは１０層からなる。

図５に示す例では、ジェネレータ１１２ｄｇは、学習用の教師データとして、変化前後画像／前後情報１１３ｂを使用し、このうちの変化前画像を経年前画像Ａとして入力し、ネットワークデザイン１１３ｅは、教師用データのうちの前後情報をと一致するようにデータセットを設定し、推論結果として出力Ｂを出力する。ディスクリミネータ（分類機）１１２ｄｄは、ジェネレータ１１２ｄｇの出力Ｂを、ネットワークデザイン１１３ｆに入力する。ディスクリミネータ１１２ｄの学習用データは、経年後画像ｖｓ嘘・本当データ１１３ｄである。ジェネレータ１１２ｄｇの推論結果である出力Ｂは、嘘の情報であることを用いて、ディスクリミネータ１１２ｄｄが嘘を出力するか、本当と出力するに応じて、ロス値（誤答率）を算出することができる。ディスクリミネータ１１２ｄｄは、この結果を、ジェネレータ１１２ｄｇにフィードバックする。

すなわち、ジェネレータ１１２ｄｇは、教師用データと一致するように推論できるように、ネットワークデザイン１１３ｅのデータセットを調整しながら、推論結果（出力Ｂ）を出力する。この推論結果を入力するディスクリミネータ１１２ｄｄは、教師用データにできるだけ似ているが異なる結果を出力し、ジェネレータ１１２ｄｇにフィードバックする。次第にディスクリミネータの能力が上がり、教師用データと推論結果をうまく見分けられるようになったとする。するとジェネレータ１１２ｄｇは更に教師用データに近い結果を出力できるようになる。相互に能力が向上するように、競い合っていくことにより、最終的には、ジェネレータ１１２ｄｇは、教師用データと区別ができないような推論結果を出力するようになる。

ＧＡＮでは、ジェネレータ１１２ｄｇと、ディスクリミネータ１１２ｄｄの学習が進み、最終的には、ジェネレータ１１２ｄｇは、教師用データと同じようなデータを生成できるようになることが期待される。このような状態では、学習用データと推論結果（生成）データを見分けることができなくなるため、ディスクリミネータ１１２ｄｄの正答率は５０％になる。ＧＡＮはGoodfellow et al. （2014）によって最初に提案された。この研究ではジェネレータもディスクリミネータもどちらも基本的には多層パーセプトロンで、ドロップアウトを使って学習させている（一部ＣＮＮを使用しているものもある）。

このＧＡＮは、ジェネレータ１１２ｄｇとディスクリミネータ１１２ｄｄが、競い合って、ネットワークデザインのデータセットを調整していくので、少ない教師用データであっても精度の高いネットワークデザイン（推論モデル）を生成することができる。ＧＡＮで生成された推論モデル（ネットワークデザイン）Ｐｒは、撮像装置１００の推論エンジン１１０の記憶部１１１に記憶され、推論に使用される。

このＧＡＮによる深層学習は、本実施形態においては、図２Ｂに示す学習装置としての入出力モデル化部１１２ｄによって実行される。この入出力モデル化部１１２ｄは、推論部で使用する推論モデルを生成するための学習部としての機能を果たす。この学習部は、ジェネレータタイプのネットワークデザインと、ディスクリミネータタイプのネットワークデザインを有し、上記ジェネレータタイプのネットワークデザインの入力部に教師用の画像データを入力し、ジェネレータタイプのネットワークデザインの出力を、上記ディスクリミネータタイプのネットワークデザインの入力部に入力し、さらに、ディスクリミネータタイプのネットワークデザインの教師用の前後情報を教師用データとして入力する（図５参照）。

次に、図６を用いて、人物の顔画像の将来の予測画像の表示の仕方について説明する。図６（ａ）は、撮影者２０１が撮像装置１００を用いて、母親２０３に抱っこされた赤ちゃん２０５を撮影する様子を示している。撮像装置１００の表示部１０６には、赤ちゃん２０５が表示される。このとき、撮影者２０１が、予測画像表示モード等、将来の予測画像を表示させるモードを、操作部１０４を操作することにより、選択すると、図６（ｂ）に示すように、将来の予測画像１０６ａ〜１０６ｃが表示される。図６（ｂ）には、不図示であるが、何年後の予測画像であるかを表示してもよい。

予測にあたっては、推論エンジン１１０は、まず、用途推論の推論モデルを用いて、用途を推論する。図６に示す例では、人物の顔写真が取得されていることから、推論の用途としては、人物の将来の予測と推論する。この推論結果に基づいて、推論エンジン１１０は、次に、人物の将来予測画像を推論する推論モデルを用いて、将来の画像を推論する。推論にあたっては、ｘ１年後、ｘ２年後、ｘ３年後・・・と複数の推論を行ってもよい。図６に示す例では、３つの年について推論している。

撮影者２０１は、予測画像１０６ａ〜１０６ｃを観察し、構図を選択して、レリーズ釦等を操作することにより、画像を記録する。この際、現在の画像を記録部１０８に撮像画像１０８ａとして記録し、併せて予測画像を記録部１０８に予測画像１０８ｃとして記録する。予測画像は自動的にすべての画像を記録してもよく、また撮影者２０１が操作部１０４を操作して選択した画像のみを記録してもよい。この記録する際の画像ファイルは、図３に示したようなファイル構造を有する。このように、写真を撮影する際に、将来の画像も併せて観察し、また記録できるようにすることにより、画像を多彩にでき、また楽しむことができる。

また、このときの画像ファイルは図３の画像ファイル１２１、１２２に示したように、予測元画像１２１ｃ、予測後画像１２３ｃを併せて記録しておく。これにより、予測画像を作成したときの元画像を後日、容易に確認することができ、また証拠性を向上させることができる。

次に、図７を用いて、棚に陳列されている商品の変化を検出した場合の表示の仕方について説明する。前述したように、商品が棚等に陳列され、顧客が商品を購入するために、棚から商品を買い物籠に移す場合がある。本実施形態では、顧客が購入するか否かを撮影画像に映っている商品の状態変化に基づいて判定する。

図７（ａ）は、陳列棚２１１ａ、２１１ｂに商品が陳列されており、撮影者２０１が撮像装置１００でその様子を撮影している。時刻ｔ１において、撮影者２０１は陳列棚２１１と商品を撮影し、続いて時刻ｔ２において撮影者２０１は陳列棚２１１と商品を撮影する。

この間に、顧客（図示せず）が商品２１３を購入するために、レジ等に移動させると、陳列棚２１１上から無くなる。この状況が撮像装置１００の表示部１０６に表示される。すなわち、移動された商品２１３が、表示部１０６に点線で表示される。図７では、撮影者２０１が撮像装置１００を操作する様子を示している。しかし、これに限らず、監視カメラ等を設置し、商品の購入状況を監視するようにしてもよい。

また、複数の推論エンジン（予測画像用推論エンジン）を用意して、商品の購買予測を行う場合と、地震などで散らばった時に、どのような事態になるかを予測する場合で、異なる推論エンジンを使えるようにしてもよい。例えば、平積みにされた本の在庫を予測したい場合と、単に、地震などで本が散らばる様子を予測したい場合で、同じソース画像からも異なる推論結果となるケースがある。ユーザがこれらを選択できるようにし、推論によって生成された画像には、どの推論エンジンを用いたかを明示したり、メタデータとして「使用した予測画像推論エンジン」を画像データと関連付けて記録してもよい。

次に、図８および図９に示すフローチャートを用いて、画像取得装置（撮像装置）の動作について説明する。このフローチャートは、制御部１０１内のＣＰＵが記録部１０８等に記憶されているプログラムに基づいて、撮像装置１００内の各部を制御することにより実現する。

画像取得装置制御のフローが開始すると、まず、撮影モードか否かを判定する（Ｓ１）。撮影モードは撮像装置１００を用いて撮影画像を取得するためのモードである。モードは、初期状態では撮影モードが設定されており、その後は操作部１０４によって設定することができる。

ステップＳ１における判定の結果、撮影モードが設定されている場合には、画像を入力し、入力した画像を表示する（Ｓ３）。ここでは、撮像部１０３によって被写体の画像データを取得し、画像処理部１０１ｄがこの画像データに対して画像処理を施した後、表示部１０６にライブビュー画像を表示する。

次に、推論を行う（Ｓ５）。ここでは、入力された画像に対して、推論エンジン１１０が推論を行う。推論としては種々あるが、前述したように、人物の将来の容貌を予測する推論でもよく、また人体の傷の将来の状態を予測する推論でもよく、橋梁や建物の現在状態から将来の状態を予測する推論でもよい。また、商品の陳列棚の過去の状態と現在の状態変化から、商品の購入状態を判断する推論もある。

また、ユーザがどの様な未来を見たいかによって、推論の仕方を変えてもよい。しかし、パーソナルユース、あるいは特定の状況下で利用される機器の場合、ユーザや状況に応じて、どの推論を優先させるかを決めておいて、その旨を機器に記録しておいてもよい。例えば、図６や図７において説明したシーンでは、対象物を判定してどのエンジンを作動させるかを決めておいてもよい。また、ユーザが手動で、何時の、何を予測したいかを設定して、その結果選ばれた推論エンジンを利用してもよい。何時の未来を見たいかも選べるようにして、それに即した推論エンジンを用意してもよく、そのニーズを元に教師データを集めて学習を開始して推論エンジンを作ってもよい。１分後、１日後、１年後の全てを予測して見せてもよいし、変化が大きくて予想しにくいタイミングによって予測する画像を決めてもよい。

ユーザ指定の未来画像の推論の際に、フレキシビリティを確保し、カスタマイズを容易にするためにも、教師データが豊富（リッチ）であることが好ましい。つまり、経過時間情報の細かさやバラエティを持った教師データがあって、かつ、それが付帯情報（図３参照）によって分類、識別可能に管理されている。物や人及び疾患の変化は比例ではなく変化の緩急がある場合がある。そこで、学習のさせ方を学習部が工夫すれば、ゆっくり変化する期間（この傷はこのくらい変化しない等）と変化しない時の画像例、急に変化する期間（この傷はしばらく治らないが、忘れたころには見えなくなる等）と、治った後の画像例を合わせて表示できるような推論エンジンに設計することも可能である。

つまり、推論の種類は推論エンジン１１０に記憶されている推論モデルの種類に依存する。図４（ｂ）を用いて説明したような、画像に対する用途を判定する推論モデルが記憶されている場合には、この推論モデルによって推論の用途を決めるようにしてもよい（図１の表示部１０６におけるテキスト表示「将来予測できます」参照）。将来予測する推論を行うことができる場合には、表示部１０６にその旨を表示するようにしてもよい。この場合には、表示するか否かをユーザが選択できるようにしてもよい。

上述したような工夫によって、撮像部によって取得された画像データを、推論エンジンを使って将来予測画像に変換する。この時使われる推論エンジンは、経時変化情報を有する類似の対象物の画像を教師データとして学習したものであり、入力した画像に対して、将来予測画像を出力する。この推論モデルの入力の元画像としては、ここではライブビュー画像でもよく、撮影した画像でもよい。また、将来画像推論用の推論エンジンには、様々な種類があり、シーンに応じて使い分けてもよく、撮像部によって取得された画像データが、経過進行型の変化を示すのにふさわしい画像であるか、または特定物移動型の変化を示す方がふさわしい画像であるかを判定して、それぞれの推論エンジンを選択して利用してもよい。

推論を行うと、対象物経時変化か否かを判定する（Ｓ７）。推論は大別して、経時変化に関する推論と、画像の比較に関する推論の２種類がある。経時変化に関する推論は、例えば、人物の容貌について予測したり、人体の傷の変化を予測するように、将来、どのように変化するかを推論する。また画像の比較に関する推論は、例えば、過去の陳列棚の商品画像と、現在の陳列棚の商品の画像を比較し、購入されたか否かを推論する。このステップＳ７では、ステップＳ５における推論の種類に基づいて、対象物の経時変化であるか否かを判定する。

ステップＳ７における判定の結果、対象物経時変化であった場合には、予測画像を表示する（Ｓ９）。ステップＳ３において取得した画像を、ステップＳ５において将来画像を予測しているので、この予測画像を表示部１０６に表示する（図６（ｂ）の表示部１０６に表示された予測画像１０６ａ〜１０６ｃ参照）。

一方、ステップＳ７における判定の結果、対象物経時変化でなかった場合には、比較用画像を表示する（Ｓ１１）。ステップＳ３において取得した画像を、ステップＳ５において、取得された画像データを、推論エンジンを使って将来予測画像に変換する。この時使われる推論エンジンは、経時変化情報を有する類似の対象物の画像を教師データとして学習したもので、入力した画像に対して、出力は将来予測画像としたものである。推論前と後の画像、つまり推論エンジンの入出力に相当する２画像を比較できるように、比較画像を表示部１０６に表示する（図７（ｂ）の表示部１０６に表示された比較画像参照）。また、比較画像は、過去の画像に限らず、予測画像と比較するようにしてもよい。

予測画像または比較用画像を表示すると、次に変更操作がなされたか否かを判定する（Ｓ１３）。予測画像または比較用画像が表示された場合に、画像内の特定の部位を強調したり、また使用している推論エンジンの推論モデルを変更したい場合がある。このような場合、撮影者が表示部１０６上でタッチ操作を行ったり、操作部１０４を操作する等により、予測／比較用画像の変更操作を行うことができる。このステップでは、これらの変更操作がなされたか否かを判定する。

ステップＳ１３における判定の結果、変更操作がなされていた場合には、画像内の部位を強調し、また推論エンジンを変更する（Ｓ１７）。ここでは、タッチ操作や操作部１０４の操作によって指定された部位の強調処理を行う。強調表示は、枠表示で変わった点を明示したり、そのほか色やコントラストを変えて確認を容易にしたりする方法でもよい。また、推論モデルの変更指示があった場合には、推論エンジン１１０に記憶されている推論モデルの一覧表等から推論モデルを選択するようにしてもよい。

続いて、こだわりの変更記録を行う（Ｓ１９）。撮影者が、変更操作を行っているのは、撮影者のこだわりの表れであることから、この変更操作をこだわりとして記録部１０８または記録部１１３に記録しておく。次回、推論を行う際には、この記録に基づいて、推論モデルを選択し、また推論モデルを再学習するようにしてもよい（例えば、図９のＳ３９、Ｓ４３参照）。変更を記録すると、ステップＳ７に戻る。

前述のステップＳ１３における判定の結果、変更操作でなかった場合には、次に、選択操作がなされたか否かを判定する（Ｓ１５）。ステップＳ９、Ｓ１１において、予測画像または比較用画像が表示されている。撮影者がこれらの画像の中から１つまたは２以上の画像を選択して記録することを意図する場合に、操作部１０４の操作部材を操作することによって、選択操作を行う。

ステップＳ１５における判定の結果、選択操作の場合には、予測／比較画像として記録する（Ｓ２１）。ここでは、ステップＳ１５において選択された予測画像または比較画像を、記録部１１３に記録する。

予測／比較画像を記録すると、次に、元画像と関連付けて記録する（Ｓ２３）。予測画像はステップＳ３において入力した画像を推論することによって生成している。このステップＳ３において入力した画像が元画像であり、ステップＳ２１において記録した予測／比較画像と、元画像を関連付けて記録する。例えば、図３における画像ファイル１２１、１２２のように、画像ファイル中に予測元画像１２１ｃ、予測画像１２２ｃをファイル名等で記録しておく。これによって、いずれの画像から予測されたのか、また予測画像がどの画像であるかが、容易に検索することができ、また証拠性が向上する。

ステップＳ２３においては、取得した将来予測画像データを記録部に記録するにあたって、元画像データであるか、推論後の画像データであるかを、画像データに関連付けて記録する記録制御部と、を有することによって、画像の取り扱い時に混乱がないようにしている。推論結果であるから、エビデンスとして、どのような教師データが使われたかを合わせて記録してもよい。また、将来画像推論用の推論エンジンには、様々な種類があるので、推論部は、撮像部によって取得された画像データが、経過進行型の変化を示す画像であるか、または特定物移動型の変化を示す画像であるかを判定し、その時用いた推論エンジンのタイプを記録してもよい。

前述のステップＳ１５における判定の結果、選択操作でない場合には、次に、撮影操作か否かを判定する（Ｓ２５）。撮影者は、表示部１０６を観察し、撮影画像を記録する場合には、操作部材１０４の内のレリーズ釦等の撮影指示部材を操作する。このステップでは、撮影指示部材が操作されたか否かを判定する。この判定の結果、撮影操作がなされていない場合には、ステップＳ１に戻る。

一方、ステップＳ２５における判定の結果、撮影操作がなされた場合には、撮影を行い、撮影画像として記録する（Ｓ２７）。ここでは、撮像部１０３によって画像を取得し、画像処理部１０１ｄにおいて記録用に画像処理を施した後、記録部１０８に撮像画像１０８ｂとして記録する。撮影画像を記録すると、ステップＳ１に戻る。

前述のステップＳ１における判定の結果、撮影モードでなかった場合には、次に、推論モデルの取得か否かについて判定する（Ｓ３１）。撮影者が、推論エンジン１１０に記憶する推論モデルを取得することを希望する場合には、操作部１０４の推論モデル取得用の操作部材を操作する。なお、図２Ａには、推論モデルは２種類、記憶されているが、３種類以上であっても構わない。

前述のように、予め装置に推論エンジンを組み込んでいてもよいが、本実施形態においては、必要に応じて、装置自身が推論モデルをカスタマイズすることも可能な構成にしてある。ステップＳ３１における判定の結果、ユーザの意志や操作によって推論モデルを取得する状況を判定した場合には、次に、カテゴリを選択する（Ｓ３３）。推論モデル生成用の学習用画像データには、図２Ｂに示す例では、変化前後画像、前後情報１１３ｂと、経時比較画像ｖｓ用途情報１１３ｃの２種類のカテゴリがある。この他、どれくらい将来を推論するかの期間などを設定してもよいし、成長と老化、治癒と悪化など、様々な推論のカテゴリがあってもよく、本実施形態では、こうした細かいニーズに応えられるように画僧データにきめ細かい情報を合わせて記録できるようになっている。連続的に記録したものでは、どの時点でどうなるといった管理が出来るようになっている。

ステップＳ３３では、いずれのカテゴリを選択する。なお、カテゴリは、図２Ｂに示した例以外に分類するようにしても構わない。例えば、図１に示すように、顔１、顔２、病状、商品等のカテゴリに分けている。カテゴリは、適宜、撮像装置１００の設計仕様に応じて、選択できるようにすればよい。また、カテゴリに即したデータ管理をして、適切な教師データを採用して学習できるように工夫してあることはすでに述べた通りである。なお、本実施形態においては、装置自身が学習機能を有しているが、外部機器にカスタマイズ学習させた結果である推論モデルをデータとして取得して記録し、これを利用して推論エンジンをカスタマイズしてもよい。

カテゴリを選択すると、次に、教師データを作成する（Ｓ３５）。教師用データは、入力画像と、入力の結果の組み合わせである。記録部１１３に記憶されている画像データの中から、それ以外の情報等に基づいて抽出し、教師用データを作成する。

教師用データを作成すると、次に、推論モデルを生成する（Ｓ３７）。学習部１１２は、ステップＳ３５で作成した教師用データを用いて、ステップＳ３３において選択したカテゴリに基づく母集合の画像データを入力し、深層学習により、推論モデルを生成する。

推論モデルを作成すると、次に、画像とこだわり内容の信頼性が所定値以上か否かを判定する（Ｓ３９）。ステップＳ１９において、撮影者がこだわっている箇所を記録している。そこで、このステップでは、ステップＳ３７において生成された推論モデルの信頼性（例えば、ＬＯＳＳ値）が所定値以上であるかを判定する。また、ステップＳ１９において、撮影者がこだわっている内容を記録している。そこで、撮影者がこだわっていた内容についての信頼性が所定値以上であるか否かについても判定する。ステップＳ１９において、撮影者が表示された画像を見て、そうではないと思った場合に、変更操作する。つまり、撮影者にこだわりがある場合には、画像を見た際に何らかのアクションをとることが多い。このステップＳ３９ではこのユーザのこだわりに基づくアクションを判定する。こだわりがあることを判定した場合には、推論エンジンを変えて推論をやり直すとか、目が気になるから目にピントを合わせたとか、そうしたマニュアル操作を行う。ユーザが何にこだわっているかを記録しないと、次も見当はずれの予測をしてしまう。

ステップＳ３９における判定の結果、信頼性が所定値以上ない場合には、学習母体を再設定する（Ｓ４３）。ここでは、母集合作成部１１２ｂが、学習用の母集合を再設定する。このとき、撮影者は、どのような意図で学習するかを、テキスト入力してもよく、代表的な画像を入力するようにしてもよい。例えば、ステップＳ３９において、撮影者のこだわりがあり、推論エンジンを変える場合には、母集合を再設定することによって行ってもよい。母集合を再設定すると、ステップＳ３７に戻り、再度、推論を行う。

一方、ステップＳ３９における判定の結果、信頼性が所定以上の場合には、記録部に推論モデルを記録する（Ｓ４１）。このステップでは、学習部１１２が作成した推論モデルを、推論エンジン１１０の記憶部１１１に記録する。推論モデルを記録すると、ステップＳ１に戻る。

前述のステップＳ３１における判定の結果、推論モデルの取得でない場合には、一覧表示と、各コマの判定を行う（Ｓ４５）。ステップＳ４５、Ｓ４７において、再生表示を行う。まず、このステップでは、記録部１０８に記録されている撮像画像１０８ｂ等の画像をサムネイル画像で一覧表示する。撮影者、一覧表示の中から、拡大して再生表示を望む場合には、そのコマを選択する。このステップでは、いずれのコマが選択されたかを判定する。

続いて、指定コマを拡大再生する（Ｓ４７）。ここでは、記録部１０８から読みだされた画像データを表示部１０６に拡大して表示する。拡大再生を行うと、次に、終了か否かを判定する（Ｓ４９）。撮影者は、再生表示を終了する場合には、再生表示終了用の操作部材を操作する。ここでは、再生表示終了用の操作部材が操作されたか否かを判定する。この判定の結果、操作されていない場合には、ステップＳ４５に戻り、再生表示を続行する。一方、判定の結果、終了であった場合には、ステップＳ１に戻る。

以上説明したように、本発明の一実施形態においては、対象物を撮像部によって撮像して、画像データを出力し（例えば、図８のＳ３参照）、画像データを記録部に記録し（例えば、図８のＳ２７参照）、画像データの内、経時変化情報を有する類似の対象物の画像を用いて学習することによって、将来画像を予測画像として出力可能な推論モデルを用いて推論し（例えば、図８のＳ５参照）、推論された画像データを記録部に記録するにあたって、元画像データであるか、推論後の画像データであるかを、画像データに関連付けて記録している（例えば、図８のＳ２３参照）。このため、予測画像を生成した場合において予測する際に使用した画像や、過去の画像の変化を検出した際に使用した画像を、後日、簡単に検索することができる。

なお、本発明の一実施形態においては、学習部１１２、および記録部１１３を撮像装置１００に配置し、撮像装置１００内で推論モデルを生成していた。しかし、学習部１１２および／または記録部１１３を外部のサーバー等に配置し、この外部に配置した学習部において推論モデルを生成するようにしてもよい。この場合には、撮像装置１００からサーバーに推論モデルの送信を要求すればよく、無線通信等によって推論モデルを受信する。また、記録部１１３に記録するデータについても、同様に外部のサーバー等の記録部に記録するようにしてもよい。

また、本発明の一実施形態において、予測画像および比較画像を推論エンジン１１０によって推論していた。しかし、推論エンジンに限らず、画像処理によって予測画像や比較画像を生成するようにしてもよい。この場合であっても、予測画像や比較画像を生成するに元となったことを画像ファイルに記録しておくと、後に元画像を容易に検索することができる。

また、制御部は、プロセッサで構成するが、前述したハードウエア回路、またはプログラム言語によるソフトウエアによって実現する以外にも、ヴェリログ（Verilog）によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウエア構成でもよく、またＤＳＰ（Digital Signal Processor）等のソフトを利用したハードウエア構成を利用してもよい。これらは適宜組み合わせてもよいことは勿論である。

また、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもミラーレスカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラ、内視鏡等の医療用カメラ、顕微鏡等の科学機器用のカメラ、自動車搭載用カメラ、監視用カメラでも構わない。

また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。

また、本発明の一実施形態においては、フローチャートを用いて、本実施形態における動作を説明したが、処理手順は、順番を変えてもよく、また、いずれかのステップを省略してもよく、ステップを追加してもよく、さらに各ステップ内における具体的な処理内容を変更してもよい。

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１００・・・撮像装置、１０１・・・制御部、１０１ａ・・・記録制御部、１０１ｂ・・・操作判定部、１０１ｃ・・・通信制御部、１０１ｄ・・・画像処理部、１０１ｅ・・・パラメータ制御部、１０１ｆ・・・特定部位、コマ判定部、１０３・・・撮像部、１０３ａ・・・光学系、１０３ｂ・・・撮像素子、１０４・・・操作部、１０６・・・表示部、１０６ａ−１０６ｃ・・・予測画像、１０７・・・通信部、１０８・・・記録部、１０８ａ・・・取得画像データ、１０８ｂ・・・撮像画像、１０８ｃ・・・予測画像、１０８ｃ・・・比較画像、１１２・・・学習部、１１２ａ・・・通信部、１１２ｂ・・・母集合作成部、１１２ｃ・・・出力設定部、１１２ｄ・・・入出力モデル化部、１１３・・・記録部、１１３ａ・・・学習用画像データ、１１３ｂ・・・変化前後画像・前後情報、１１３ｃ・・・経時比較画像ｖｓ用途情報、１２１・・・画像ファイル、１２１ａ・・・画像データ、１２１ｂ・・・経過進行型、１２１ｃ・・・予測元画像、１２２・・・画像ファイル、１２２ａ・・・画像データ、１２２ｂ・・・経過進行型、１２２ｃ・・・予測後画像、１２２ｄ・・・推論エンジン種類、１２２ｅ・・・予測条件（何年後）、１２３・・・画像ファイル、１２３ａ・・・画像データ、１２３ｂ・・・経過進行型、１２３ｃ・・・最新取得画像、１２４・・・画像ファイル、１２４ａ・・・画像データ、１２４ｂ・・・経過進行型、１２４ｃ・・・過去画像、１２５・・・画像ファイル、１２５ａ・・・画像データ、１２５ｂ・・・特定物移動型、１２５ｃ・・・予測元画像、１２６・・・画像ファイル、１２６ａ・・・画像データ、１２６ｂ・・・特定物移動型、１２６ｃ・・・予測後画像、１２６ｄ・・・推論エンジン種類、１２６ｅ・・・予測条件（何年後）、１２７・・・画像ファイル、１２７ａ・・・画像データ、１２７ｂ・・・特定物移動型、１２７ｃ・・・最新取得画像、１２８・・・画像ファイル、１２８ａ・・・画像データ、１２８ｂ・・・特定物移動型、１２８ｃ・・・過去画像、２０１・・・撮影者、２０３・・・母親、２０５・・・赤ちゃん、２１１・・・陳列棚、２１３・・・商品

Claims

対象物を撮像し、画像データを出力する撮像部と、
上記画像データを記録する記録部と、
上記撮像部によって取得された画像データの内、経時変化情報を有する類似の対象物の画像を用いて学習することによって、将来画像を予測画像として出力可能な推論モデルを用いて推論する推論部と、
上記推論部によって推論された予測画像データを上記記録部に記録するにあたって、元画像データであるか、推論後の画像データであるかを、上記画像データに関連付けて記録する記録制御部と、
を有することを特徴とする撮像装置。
上記推論部は、上記撮像部によって取得された画像データが、経過進行型の変化を示す画像であるか、または特定物移動型の変化を示す画像であるかを推論することを特徴とする請求項１に記載の撮像装置。
上記記録制御部は、上記画像データを記録する際に、上記対象物の経過進行型の変化であるか、または特定物移動型の変化であるかを分類して記録することを特徴とする請求項１に記載の撮像装置。
上記推論部は、上記撮像部によって取得した画像データに基づいて、所定時間経過後の予測画像を推論し、
上記記録制御部は、上記予測画像と、上記推論に用いた上記画像データを関連付けて、上記記録部に記録する、
ことを特徴とする請求項１に記載の撮像装置。
上記推論部は、上記撮像部によって取得した過去の画像データと、現在の画像データを比較し、比較結果に基づいて特定物の移動を推測し、
上記記録制御部は、上記過去の画像データと上記現在の画像データを関連付けて、上記記録部に記録する、
ことを特徴とする請求項１に記載の撮像装置。
上記推論部による推論結果を表示する表示部と、
上記表示部に表示に対して、変更指示を行うための操作部材と、
を有し、
上記記録制御部は、上記操作部材によって変更操作の内容を記録することを特徴とする請求項１に記載の撮像装置。
さらに、推論部で使用する推論モデルを生成するための学習部を有し、
上記学習部は、ジェネレータタイプのネットワークデザインと、ディスクリミネータタイプのネットワークデザインを有し、上記ジェネレータタイプのネットワークデザインの入力部に教師用の画像データを入力し、ジェネレータタイプのネットワークデザインの出力を、上記ディスクリミネータタイプのネットワークデザインの入力部に入力し、さらに、ディスクリミネータタイプのネットワークデザインの教師用の前後情報を教師用データとして入力することを特徴とする請求項１に記載の撮像装置。
対象物を撮像部によって撮像して、画像データを出力し、
上記画像データを記録部に記録し、
上記画像データの内、経時変化情報を有する類似の対象物の画像を用いて学習することによって、将来画像を予測画像として出力可能な推論モデルを用いて推論し、
上記推論された予測画像データを上記記録部に記録するにあたって、元画像データであるか、推論後の画像データであるかを、上記画像データに関連付けて記録する、
ことを特徴とする撮像方法。
上記推論は、上記撮像部によって取得された画像データは、経過進行型の変化を示す画像であるか、または特定物移動型の変化を示す画像であるかを推論することを特徴とする請求項８に記載の撮像方法。
上記画像データを記録する際に、上記対象物の経過進行型の変化であるか、または特定物移動型の変化であるかを分類して記録することを特徴とする請求項８に記載の撮像方法。
上記撮像部によって取得した画像データに基づいて、所定時間経過後の予測画像を推論し、
上記予測画像と、上記推論に用いた上記画像データを関連付けて、上記記録部に記録する、
ことを特徴とする請求項８に記載の撮像方法。
上記撮像部によって取得した過去の画像データと、現在の画像データを比較し、比較結果に基づいて特定物の移動を推測し、
上記過去の画像データと上記現在の画像データを関連付けて、上記記録部に記録する、
ことを特徴とする請求項８に記載の撮像方法。
上記推論の結果を表示部に表示し、
上記表示部の表示に対して、操作部材によって行われた変更指示を検出し、
上記操作部材によって変更操作の内容を記録する、
ことを特徴とする請求項８に記載の撮像方法。