JP2021005846A - 積層型撮像デバイス、撮像装置、撮像方法、学習方法及び画像読み出し回路 - Google Patents

Abstract

【課題】画素部から読み出すべき画素の領域を予測し、読み出し領域を制限することにより高速フレームレートでの読み出しを可能にする。【解決手段】 積層型撮像デバイスは、センサ基板に構成され、所定のフレームレートで画像データを連続的に取得する複数の画素からなるセンサ部と、上記画像データに基づいて、上記複数の画素のうちの一部の画素を含む優先領域を求める領域判定部と、上記所定のフレームレートよりも高いフレームレートで上記優先領域に含まれる上記一部の画素の出力を得るフレームレート指定部とを具備し、上記領域判定部及び上記フレームレート指定部は、上記センサ基板以外の基板に構成される。【選択図】図１

Description

本発明は、高速読み出しを可能にする積層型撮像デバイス、撮像装置、撮像方法、学習方法及び画像読み出し回路に関する。

近年、デジタルカメラなどの撮影機能付き携帯機器（撮影機器）が普及している。この種の撮影機器に用いる撮像デバイスとして、積層型撮像デバイスが開発されている。積層型撮像デバイスは、撮像用画素を有する画素部（センサ部）が構成された層（以下、センサ層という）と、信号処理回路が構成された層（以下、信号処理層という）との積層構造を有する。センサ層と信号処理層との積層構造を採用することで、センサ部と信号処理回路（周辺回路）とを同一層に構成した撮像デバイスに比べて、センササイズを小さくしながら画素数を増加させることができる。

また、信号処理層の回路スペースに余裕が生じることから、比較的大きい規模の信号処理回路を搭載することが可能であり、多機能の撮像デバイスを構成することが可能となる。また、センサ層と信号処理層とを別々のプロセスで製造してもよく、高画質化に特化した製造プロセスを採用できる。

高画質化を図った撮像デバイスとして、特許文献１によって提案された装置がある。この提案では、Ｒ，Ｇ，Ｂカラーフィルタが配置された画素（色画素）と配置されていない画素（Ｗ画素）とを備えた撮像素子を採用し、色画素のフレーム間差分に基づいてＷ画素のフレーム間差処理の重み付けを変更することにより、色ノイズを低減しながら色残像を抑制し、動画像の高画質化を図っている。

特開２０１６−２１９９７７号公報

ところで、高画質化のために、撮像素子の画素数及びフレームレートは増加傾向にあり、画像処理に要する処理量は増加している。また、高画質化処理のための信号処理回路の処理量も増加傾向にある。

しかしながら、撮像装置は、撮像信号をリアルタイムで処理する必要があり、結果的にフレームレートを十分に高速化できない場合があるという問題があった。

本発明は、画素部から読み出すべき画素の領域を予測し、読み出し領域を制限することにより高速フレームレートでの読み出しを可能にすることができる積層型撮像デバイス、撮像装置、撮像方法、学習方法及び画像読み出し回路を提供することを目的とする。

本発明の一態様による積層型撮像デバイスは、センサ基板に構成され、所定のフレームレートで画像データを連続的に取得する複数の画素からなるセンサ部と、上記画像データに基づいて、上記複数の画素のうちの一部の画素を含む優先領域を求める領域判定部と、上記所定のフレームレートよりも高いフレームレートで上記優先領域に含まれる上記一部の画素の出力を得るフレームレート指定部とを具備し、上記領域判定部及び上記フレームレート指定部は、上記センサ基板以外の基板に構成される。

本発明の一態様による撮像装置は、上記積層型撮像デバイスと、上記積層型撮像デバイスを制御する制御部とを具備する。

本発明の他の態様による撮像装置は、上記領域判定部が上記画像データが入力され入力された画像データにより形成される画像中の動く物体の画像部分を含む領域を推論する推論モデルを用いた推論エンジンを具備する上記積層型撮像デバイスと、上記積層型撮像デバイスを制御する制御部と、上記推論モデルを更新する推論モデル更新部とを具備する。

本発明の一態様による撮像方法は、積層型撮像デバイスに設けられた複数の画素からなるセンサ部によって、所定のフレームレートで画像を連続的に取得し、上記センサ部とは異なる基板の回路において、上記画像に基づいて、上記複数の画素のうちの一部の画素を含む優先領域を求め、フレームレート指定部によって、上記所定のフレームレートよりも高いフレームレートで上記優先領域に含まれる上記一部の画素の出力を得る。

本発明の一態様による学習方法は、積層型撮像デバイスのセンサ基板以外の基板に設けられた推論部に構築される推論モデルであって、上記センサ基板に設けられたセンサ部で得られた画像を入力とし、上記センサ部の中の限定画像取得領域に関する情報を出力とする推論モデルを、上記センサ部以外で得られた画像を教師データとして用いた学習によって取得する。

本発明の一態様による画像読み出し回路は、積層型撮像デバイスのセンサ部で得られた画像を入力とし、上記センサ部の中の限定画像取得領域に関する情報を出力とする推論モデルによって推論を行う上記積層型撮像デバイスに設けられた推論部の推論結果に基づいて、上記積層型撮像デバイスからの画像データの読み出し制御を行う。

本発明の他の態様による画像読み出し回路は、積層型撮像デバイスのセンサ部で得られた画像を入力とし、上記センサ部の中の限定画像取得領域に関する情報を出力する領域判定部の判定結果に基づいて、上記積層型撮像デバイスからの画像データの読み出し制御を行う。

本発明によれば、画素部から読み出すべき画素の領域を予測し、読み出し領域を制限することにより高速フレームレートでの読み出しを可能にすることができるという効果を有する。

本発明の第１の実施の形態に係る積層型撮像デバイスを採用した撮像装置の回路構成を示すブロック図。 第１の実施の形態に係る積層型撮像デバイスの構成の一例を模式的に示す斜視図。 領域判定部１４による優先領域の判定処理を説明するための説明図。 領域判定部１４による優先領域の判定処理を説明するための説明図。 領域判定部１４による優先領域の判定処理を説明するための説明図。 第１の実施の形態の動作を説明するためのフローチャート。 本発明の第２の実施の形態を示すブロック図。 図７の積層型撮像デバイスの構成の一例を模式的に示す斜視図。 推論エンジン７２が採用する推論モデルを生成するための学習を説明するための説明図。 教師データの作成を説明するためのフローチャート。 本発明の第３の実施の形態を示すブロック図。 撮像装置１００による撮影の様子を説明するための説明図。 撮影結果を説明するための説明図。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態に係る積層型撮像デバイスを採用した撮像装置の回路構成を示すブロック図である。また、図２は第１の実施の形態に係る積層型撮像デバイスの構成の一例を模式的に示す斜視図である。

本実施の形態は撮像素子のセンサ部に構成された全有効画素領域中の一部の画素領域（以下、優先領域という）のみの読み出しを行うことで、読み出しのフレームレートの高速化を可能にするものである。この場合において、本実施の形態は、例えば全有効画素領域の有効画素によって形成される画像に基づいて、所定の規則に従って、読み出すべき優先領域を推定する。なお、優先領域は、読み出しの領域を限定するものであり、限定画像取得領域と呼んでもよい。

先ず、図２を参照して、積層型撮像デバイス１０の構成について説明する。

撮像デバイス１０は、センサ基板３０と信号処理基板４０とが積層された構造を有する半導体装置である。センサ基板３０には、それぞれ光電変換を行う撮像用の画素３２が、センサ基板３０の行方向及び列方向の２次元アレイ状に配列されたセンサ部３１を有する。画素３２は、入射光を光電変換して入射光量に応じた画素値を発生する。行選択部３３は、センサ部３１の各画素３２を行単位で駆動して、各画素３２に保持された画素値を画素信号として読み出して出力する。

センサ基板３０には、図示しないビアが設けられており、信号処理基板４０には４つの縁辺部にビア４１ａ〜４１ｄが設けられている。画素３２からの画素信号はセンサ基板３０に形成されたビアから信号処理基板４０に形成されたビア４１ａ〜４１ｄを経由して信号処理基板４０のＡ／Ｄ変換器４２ａ，４２ｂに供給される。

信号処理基板４０は、信号処理基板４０の列方向の端部両側から中央側に向かって、ビア４１ａ，４１ｂ、Ａ／Ｄ変換器４２ａ，４２ｂ、メモリ部４３ａ，４３ｂ及び処理回路部４４が形成される。即ち、処理回路部４４を中心に、列方向には信号処理基板４０の一方端部側に向かってメモリ４３ａ，Ａ／Ｄ変換器４２ａ及びビア４１ａが配置され、他方端部側に向かってメモリ４３ｂ，Ａ／Ｄ変換器４２ｂ及びビア４１ｂが配置される。Ａ／Ｄ変換器４２ａ，４２ｂ、メモリ部４３ａ，４３ｂ及び処理回路部４４は行方向に延設され、Ａ／Ｄ変換器４２ａ，４２ｂ、メモリ部４３ａ，４３ｂ及び処理回路部４４の行方向端部とビア４１ｄとの間には読み出し制御部４５が列方向に延設されて配置される。

ビア４１ａ〜４１ｄを経由してセンサ部３１から供給された画素信号は、Ａ／Ｄ変換器４２ａ，４２ｂに供給される。Ａ／Ｄ変換器４２ａは、入力された画素信号をデジタル信号に変換した後、メモリ部４３ａに与えて記憶させる。また、Ａ／Ｄ変換器４２ｂは、入力された画素信号をデジタル信号に変換した後、メモリ部４３ｂに与えて記憶させる。

Ａ／Ｄ変換器４２ａには、センサ部３１の所定の領域の画素からの画素信号が与えられ、Ａ／Ｄ変換器４２ｂには、センサ部３１の他の所定の領域の画素からの画素信号が与えられる。例えば、センサ部３１を行方向に２つの領域に分割し、一方の領域の各画素３２からの画素信号をＡ／Ｄ変換器４２ａに与え、他方の領域の各画素３２からの画素信号をＡ／Ｄ変換器４２ｂに与えるようにしてもよい。また、例えば、センサ部３１を列方向に２つの領域に分割し、一方の領域の各画素３２からの画素信号をＡ／Ｄ変換器４２ａに与え、他方の領域の各画素３２からの画素信号をＡ／Ｄ変換器４２ｂに与えるようにしてもよい。

これにより、センサ部３１の各画素３２からの読み出しを並列処理により高速化することができる。また、スイッチ回路を設けてＡ／Ｄ変換器４２ａ，４２ｂに画素信号を供給する画素を切換え可能にすることにより、Ａ／Ｄ変換器４２ａ，４２ｂにセンサ部３１の所望の領域の画素の画素信号を与えることも可能である。

処理回路部４４は、ロジック回路等により構成されて、優先領域の決定、フレームレートの決定等を行うと共に、読み出し制御部４５を制御する。

読み出し制御部４５は、行選択部３３を制御して、センサ部３１からの画素信号の読み出しを制御すると共に、メモリ部４３ａ，４３ｂに対する画素信号の書き込み及び読み出しを制御する。読み出し制御部４５は、画素信号を撮像デバイス１０の外部に出力する。

このように、センサ基板３０と信号処理基板４０の積層構造とすることにより、センサ部３１をセンサ基板３０の略全域に構成することが可能である。これにより、画素数を低減することなく撮像デバイス１０を小型化することも可能である。

なお、図２の構成は一例である。例えば、Ａ／Ｄ変換器４２ａ，Ａ／Ｄ変換器４２ｂをセンサ基板３０上に形成することも可能である。また、例えば、メモリ部４３ａ，４３ｂを、センサ基板３０及び信号処理基板４０とは異なる独立した基板に形成して、撮像デバイス１０を３層構造の半導体装置として構成することも可能である。

図１において、撮像デバイス１０は、撮像部１１、優先領域情報取得部１３並びに優先領域及びフレームレート指定部１６により構成される。図１の撮像部１１は、図２のセンサ基板３０に対応し、優先領域情報取得部１３は、処理回路部４４及びメモリ部４３ａ，４３ｂに対応し、優先領域及びフレームレート指定部１６は処理回路部４４及び読み出し制御部４５に対応する。なお、図１では、図２のＡ／Ｄ変換器４２ａ，４３ｂにそれぞれ対応するＡ／Ｄ変換器１２ａ，１２ｂが撮像部１１内に構成されている例を示しているが、図２のように信号処理基板４０に構成されていてもよい。

なお、優先領域情報取得部１３及び優先領域及びフレームレート指定部１６中の各部は、ＣＰＵ（Central Processing Unit）やＦＰＧＡ（Field Programmable Gate Array）等を用いたプロセッサによって構成されていてもよく、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。

撮像部１１は、画素３２により被写体を撮像し、撮像画像を取得する。Ａ／Ｄ変換器１２ａ，１２ｂは撮像部１１による撮像画像をデジタル信号に変換して優先領域情報取得部１３に供給する。優先領域情報取得部１３は、領域判定部１４及びメモリ部１５により構成される。優先領域情報取得部１３は、入力された撮像画像をメモリ部１５に与えて記憶させる。

領域判定部１４は、所定の規則に従って、センサ部３１に構成された全有効画素領域中の一部の優先領域を決定するものである。例えば、本実施の形態においては、領域判定部１４は、撮像部１１により得られる撮像画像中に含まれる動く物体を捉えたセンサ部３１上の領域を優先領域とするようになっている。領域判定部１４は、優先領域に関する情報を優先領域及びフレームレート指定部１６に出力する。

優先領域及びフレームレート指定部１６は、領域判定部１４から指定された優先領域に含まれる画素３２からの撮像画像を読み出すように、撮像部１１を制御する。この場合には、優先領域及びフレームレート指定部１６は、読み出す画素３２の数に応じてフレームレートを制御する。例えば、優先領域及びフレームレート指定部１６は、センサ部３１から読み出す画素の数が少なくなるほど、フレームレートを高くする。例えば、全画素の１／ｎ（ｎは自然数）の数の画素の読み出しを行う場合には、優先領域及びフレームレート指定部１６は、全画素を読み出す場合の通常のフレームレート（以下、通常フレームレートという）に比べてｎ倍のフレームレートを設定することも可能である。

図１では、領域判定部１４をロジック回路により構成する例を示している。即ち、領域判定部１４は、背景状態判定部１４ａ、変化領域判定部１４ｂ及び優先領域決定部１４ｃにより構成される。

背景状態判定部１４ａは、メモリ部１５に記憶された撮像画像の背景部分の状態を判定する。例えば、背景状態判定部１４ａは、背景部分として設定した撮像画像中の領域（背景判定領域）の画像に変化がない場合には、当該背景判定領域は背景領域であるものと判定する。

領域判定部１４の変化領域判定部１４ｂは、メモリ部１５に記憶された撮像画像中の動く物体を判定する。例えば、変化領域判定部１４ｂは、動く物体が存在するであろう領域として仮定した変化判定領域について、画像の変化を判定することによって、当該変化判定領域は動く物体が存在する変化領域であるか否かを判定してもよい。また、変化領域判定部１４ｂは、変化判定領域内の動く物体が存在する小領域を変化領域と判定してもよい。また、変化領域判定部１４ｂは、変化判定領域内の動く物体の動きを判定し、判定結果を出力するようになっていてもよい。

優先領域決定部１４ｃは、背景状態判定部１４ａ及び変化領域判定部１４ｂの判定結果に基づいて、優先領域を決定する。例えば、優先領域決定部１４ｃは、動く物体を含む所定の領域を優先領域として決定してもよい。また、例えば、優先領域決定部１４ｃは、変化領域判定部１４ｂによって変化領域として判定された領域を優先領域としたり、変化領域として判定された領域を含む領域を優先領域としたりしてもよい。

更に、優先領域決定部１４ｃは、変化領域判定部１４ｂから変化判定領域内の物体の動きの判定結果が与えられ、動き判定結果に基づいて、撮像画像に対する優先領域の位置及びサイズを変化させるようになっていてもよい。あるいは、優先領域決定部１４ｃは、変化領域の位置の変化に基づいて、撮像画像に対する優先領域の位置及びサイズを変化させるようになっていてもよい。

領域判定部１４は、少なくとも２枚以上の撮像画像を用いて、優先領域を判定する。また、領域判定部１４は、所定の時間間隔で、優先領域の判定を行うようになっていてもよい。

ここでは、動きの大きい部分の高速撮像を中心に述べたが、重要な部分画像を高速で撮像する用途と考えてもよい。この場合、優先領域は重要領域と呼んでもよく、動きの大きい部分でなくとも、少しの変化を見逃さないように観察する領域でもよい。その他、優先領域は、何かが撮像される瞬間を見逃さないようにした、待ち伏せ領域でも良い。

図３から図５は領域判定部１４による優先領域の判定処理を説明するための説明図である。なお、図３及び図４は領域判定部１４の具体的な構成の一例を示している。

図３は領域判定部１４の処理を簡略化するために、撮像画像の中央部分を変化判定領域に設定し、その周囲を背景判定領域に設定する例を示している。図３は所定の時間間隔の２つの時間Ｔ１，Ｔ２において撮像部１１において得られた撮像画像Ｐ１，Ｐ２に対する処理によって優先領域を決定する例を示している。

図３においては、変化領域判定部１４ｂを一致度判定部５１及び比較部５２によって構成し、背景状態判定部１４ａを一致度判定部５３及び比較部５４によって構成し、優先領域決定部１４ｃを論理回路５５によって構成する例を示している。

一致度判定部５１は、時間Ｔ１によって取得された撮像画像Ｐ１中の中央の変化判定領域Ｐ１ａの画像と時間Ｔ２によって取得された撮像画像Ｐ２中の中央の変化判定領域Ｐ２ａの画像との一致度を判定する。例えば、一致度判定部５１は、変化判定領域Ｐ１ａの画像と変化判定領域Ｐ２ａの画像との相関を求めることによって一致度を判定してもよい。一致度判定部５１の一致度の判定結果は比較部５２に与えられる。比較部５２は、一致度判定部５１からの一致度の判定結果を所定値と比較することで、変化判定領域Ｐ１ａの画像と変化判定領域Ｐ２ａの画像とが一致しているか不一致であるかの判定を行い、判定結果を論理回路５５に出力する。

一致度判定部５３は、時間Ｔ１によって取得された撮像画像Ｐ１中の周辺の背景判定領域Ｐ１ｂの画像と時間Ｔ２によって取得された撮像画像Ｐ２中の周辺の背景判定領域Ｐ２ｂの画像との一致度を判定する。例えば、一致度判定部５３は、背景判定領域Ｐ１ｂの画像と背景判定領域Ｐ２ｂの画像との相関を求めることによって一致度を判定してもよい。一致度判定部５３の一致度の判定結果は比較部５４に与えられる。比較部５４は、一致度判定部５３からの一致度の判定結果を所定値と比較することで、背景判定領域Ｐ１ｂの画像と背景判定領域Ｐ２ｂの画像とが一致しているか不一致であるかの判定を行い、判定結果を論理回路５５に出力する。

論理回路５５は、比較部５２の出力が不一致を示し、比較部５４の出力が一致を示す場合に、変化判定領域が変化領域であることを示す情報を優先領域及びフレームレート指定部１６に出力する。この場合には、優先領域及びフレームレート指定部１６は、次のタイミング以降入力される撮像画像Ｐ３の中央の変化判定領域Ｐ３ｐに対応するセンサ部３１の領域を優先領域（読み出し領域）に設定し、当該読み出し領域に含まれる画素（読み出し画素）のみから画素信号を出力させるように制御を行う。また、優先領域及びフレームレート指定部１６は、読み出し領域の大きさ（読み出し画素の数）に応じてフレームレートを設定する。例えば、センサ部３１の全有効画素数に対して読み出し画素の画素数が１／４である場合には、優先領域及びフレームレート指定部１６は、全有効画素の画素信号を読み出す通常時のフレームレートの４倍のフレームレートを設定することも可能である。

なお、論理回路５５は、比較部５４の出力が不一致を示すものである場合には、背景判定領域に動きがあるものと判定して、優先領域を設定しないことを示す情報を優先領域及びフレームレート指定部１６に出力する。また、論理回路５５は、比較部５２の出力が一致を示すものである場合には、変化判定領域に動きがないものと判定して、優先領域を設定しないことを示す情報を優先領域及びフレームレート指定部１６に出力する。これらの場合には、優先領域及びフレームレート指定部１６は、センサ部３１の全有効画素から画素信号の読み出しを行うように制御する。

図３は背景判定領域及び変化判定領域が固定であって、変化領域として判定可能な領域が撮像画像の中央に限定される例を示した。しかし、動く物体の位置あるいは、動きの状態によっては、撮像画像の周辺を優先領域に設定した方がよい場合がある。

図４及び図５はこの場合に対応したものであり、センサ部３１の有効画素領域を縦５×横５の２５の分割領域に分割し（図５参照）、縦３×横３の９個の分割領域による領域を優先領域として設定可能にしたものである。即ち、撮像画像中の９箇所を優先領域の候補に設定可能にし、そのうちの１箇所を優先領域とすることを可能にしたものである。図４は分割した２５の分割領域のうちの中央の３×３の９個の分割領域を変化判定領域に設定し、その周囲を背景判定領域に設定する例を示している。図４においても所定の時間間隔の２つの時間Ｔ１，Ｔ２において撮像部１１において得られた撮像画像Ｐ１，Ｐ２に対する処理によって優先領域を決定する。

図４において、一致度比較部６０ａは、図３の一致度判定部５３及び比較部５４により構成され、一致度比較部６０ｂ１〜６０ｂ９は、それぞれ図３の一致度判定部５１及び比較部５２により構成される。図４においては、変化領域判定部１４ｂを一致度比較部６０ｂ１〜６０ｂ９によって構成し、背景状態判定部１４ａを一致度比較部６０ａによって構成し、優先領域決定部１４ｃを論理回路５５−１〜５５−９によって構成する例を示している。

一致度比較部６０ａは、時間Ｔ１によって取得された撮像画像Ｐ１中の周辺の背景判定領域Ｐ１ｂの画像と時間Ｔ２によって取得された撮像画像Ｐ２中の周辺の背景判定領域Ｐ２ｂの画像との一致度を判定する。例えば、一致度比較部６０ａは、一致度の判定結果を所定値と比較することで、背景判定領域Ｐ１ｂの画像と背景判定領域Ｐ２ｂの画像とが一致しているか不一致であるかの判定を行い、判定結果を論理回路５５−１〜５５−９に出力する。

一致度比較部６０ｂ１〜６０ｂ９は、時間Ｔ１によって取得された撮像画像Ｐ１中の中央の変化判定領域Ｐ１ａの画像と時間Ｔ２によって取得された撮像画像Ｐ２中の中央の変化判定領域Ｐ２ａの画像との一致度を分割領域毎に判定する。変化判定領域Ｐ１ａ，Ｐ１ｂは、それぞれ左上、上、右上、左、中、右、左下、下、右下の縦３×横３の９つの分割領域に分割される。これらの各分割領域の画像は、それぞれ一致度比較部６０ｂ１−６０ｂ９に与えられて、分割領域毎に一致度が判定される。なお、図４では図面の簡略化のために、左、中、右の分割領域のつながりのみを示している。

一致度比較部６０ｂ１〜６０ｂ９は、それぞれ一致度を所定値と比較することで、変化判定領域Ｐ１ａの画像と変化判定領域Ｐ２ａの画像とが一致しているか不一致であるかの判定を分割領域毎に行い、それぞれ判定結果を論理回路５５−１〜５５−９に出力する。

論理回路５５−１〜５５−９は、それぞれ６０ｂ−１〜６０ｂ９の出力の少なくとも１つが不一致を示し、６０ａの出力が一致を示す場合に、変化判定領域中の不一致となった分割領域が変化領域であることを示す情報を優先領域及びフレームレート指定部１６に出力する。優先領域及びフレームレート指定部１６は、所定の分割領域が変化領域であることを示す情報が入力されると、次のタイミング以降入力される撮像画像Ｐ３については、当該分割領域が中央に配置された縦３×横３の９個の分割領域からなる領域を優先領域として設定する。

なお、論理回路５５−１〜５５−９は、それぞれ６０ｂ−１〜６０ｂ９の出力の少なくとも１つが不一致を示し、６０ａの出力が一致を示す場合以外の場合には、優先領域を設定しないことを示す情報を優先領域及びフレームレート指定部１６に出力する。

図５は優先領域の設定を示している。優先領域ＰＰ１は、撮像画像Ｐ３中の中央の変化判定領域のうちの左上の分割領域が変化領域と判定された場合の優先領域を示している。同様に、優先領域ＰＰ２〜ＰＰ９は、それぞれ撮像画像Ｐ３中の中央の変化判定領域のうちの上、右上、左、中、右、左下、下又は右下の分割領域が変化領域と判定された場合の優先領域を示している。

なお、図３から図５の例においては、２枚の撮像画像について変化領域を求めて優先領域を決定する例を説明したが、所定期間における変化領域の変化や、所定期間における物体の動きの変化に基づいて撮像画像に対する優先領域の位置やサイズを変化させるようになっていてもよい。なお、図４及び図５において、分割領域や優先領域候補のサイズは、適宜設定変更可能である。

なお、図３から図５では、予め設定された変化判定領域について変化領域を判定して優先領域を設定する例を説明したが、画面全域について動く物体を検出することで、優先領域を設定してもよい。例えば、画像認識によって、主要被写体や、特定の動物や、人物や、スポーツにおけるボール等を検出することで、これらの動く物体を捉えたセンサ部３１の複数の画素を含む領域を優先領域に設定してもよい。

図４及び図５の例では、優先領域に含まれる画素数はセンサ部３１の全有効画素数の１／４であり、優先領域からの読み出しのフレームレートは、通常フレームレートの４倍のフレームレートにすることが可能である。また、図３の例では、優先領域候補はセンサ部３１の中央の１箇所であり、図４及び図５の例では、優先領域候補はセンサ部３１の既知の９箇所である。従って、これらの優先領域候補に含まれる画素の画素信号が、図２のＡ／Ｄ変換器４２ａ，４２ｂに分散して供給されるようにスイッチ回路を構成することで、優先領域からの読み出しについても並列処理による高速化が可能である。

図１において、優先領域情報取得部１３は、優先領域の決定後において、撮像部１１から優先領域の画素の画素信号のみを読み出してメモリ部１５に記憶させる。メモリ部１５は、優先領域の画素信号に関する情報（画素情報）を画像データ記録部２２に出力する。

画像データ記録部２２は、所定の記録媒体によって構成されており、入力された優先領域の画素情報を記録する。時計部２１は、時刻情報を画像データ記録部２２に出力しており、画像データ記録部２２は、優先領域の画素情報に時刻情報を付加して記録する。また、画像データ記録部２２は、撮像部１１から優先領域の決定のために用いた２つの撮像画像（図３及び図４における撮像画像Ｐ１，Ｐ２）の画像データ（第１又は第２画像データ）を取得して記録するようになっている。

撮像結果関連付け記録部２３は、所定の記録媒体によって構成されており、センサ部３１の全有効画素に基づく第１又は第２の撮像データ、優先領域の画像情報及び時刻情報を関連付けて記録する。

次に、このように構成された実施の形態の動作について図６を参照して説明する。図６は実施の形態の動作を説明するためのフローチャートである。

撮像デバイス１０の撮像部１１は、所定の被写体を撮像する。撮像部１１による撮像画像は、Ａ／Ｄ変換器１２ａ，１２ｂによってデジタル信号に変換された後、優先領域情報取得部１３のメモリ部１５に与えられて記憶される。優先領域情報取得部１３は、メモリ部１５に２枚の撮像画像を記憶させる。領域判定部１４は、図６のステップＳ１において、撮像画像中の所定領域について、画像に動きがあるか否かを判定する。

即ち、背景状態判定部１４ａ及び変化領域判定部１４ｂは、２枚の撮像画像について、それぞれ背景判定領域又は変化判定領域の画像の変化の状態を一致度によって判定し、一致又は不一致の判定結果を得る。優先領域決定部１４ｃは、背景判定領域が一致で変化判定領域又はその一部が不一致の場合にのみ、変化判定領域又はその一部を変化領域に設定し、変化領域を含む優先領域を決定する。

領域判定部１４は優先領域に関する情報を優先領域及びフレームレート指定部１６に出力する。優先領域及びフレームレート指定部１６は、ステップＳ２において、領域判定部１４によって指定された領域を優先領域に設定すると共に、優先領域の読み出し時のフレームレートを高速に設定して、撮像部１１に指定する。

これにより、撮像部１１は、優先領域について、高速のフレームレートで画素信号を出力する。例えば、優先領域中の画素数が、全有効画素数の１／４である場合には、全画素を読み出す通常時のフレームレートに比べて、４倍のフレームレートでの読み出しが可能である。優先領域の画素信号は、メモリ部１５に与えられて記憶される。

メモリ部１５に記憶された優先領域の画素信号に関する画素情報は、画像データ記憶部２２に供給されて、時計部２１からの時刻情報と共に記憶される。また、優先領域の判定に用いられた撮像画像についても、画像データ記憶部２２に供給されて記憶される。撮像結果関連付け記録部２３は、画像データ記憶部２２に記憶された撮像画像、優先領域の画素情報及び時刻情報を関連付けて記録する。

領域判定部１４は、撮像の終了が指示されたか否かを判定する(ステップＳ３）。撮像の終了が指示された場合には、撮像制御を終了する。

例えば、センサ部３１の全画素を読み出す通常撮影モードで、サッカー競技の撮像が行われているものとする。サッカーボールを撮像範囲の略中央に捉えている状態で図６の撮像制御が実行されると、サッカーボールを捉えた所定の優先領域の画素から、通常フレームレートよりも高速のフレームレートで読み出しが行われる。例えば、優先領域が全有効画素領域の１／４で、通常フレームレートが３０ｆｐｓの場合には、１２０ｆｐｓでの高速撮影が可能となる。これにより、サッカーボールを含む範囲を高画質化することができると共に、記録された画像をスロー再生することで、サッカーボールの回転等の動きをより詳細に確認することも可能となる。

領域判定部１４は、例えば、動く物体の動きを予測することで、優先領域を移動させることも可能であり、動く物体を含む優先領域を撮像し続けることも可能である。また、図４及び図５の手法を採用し、所定時間毎に変化領域の検出を行うことで、動く物体を含む優先領域を撮像し続けることも可能である。

しかしながら、動く物体が撮像デバイス１０の動き（撮像部１１の視野範囲の動き）よりも早い場合、或いは、領域判定部１４の動きの予測よりも高速に動く場合等においては、動く物体が優先領域の外に位置することになる場合もある。そこで、領域判定部１４は、ステップＳ３において撮像の終了が指示されていないと判定した場合には、次のステップＳ４において、優先領域の画素によって捉えた動く物体が優先領域外に出た（優先領域の画素によって捉えられなくなった）か否かを判定する。動く物体が優先領域外に出た場合には、領域判定部１４は優先領域及びフレームレート指定部１６に優先領域が存在しないことを示す情報を与える。

これにより、優先領域及びフレームレート指定部１６は、フレームレートを通常フレームレートに戻し、優先領域を設定しないように撮像部１１に指示する。こうして、この場合には、撮像部１１は、全有効画素の画素信号を通常フレームレートで出力する。

このように、本実施の形態においては、全有効画素領域のうち動きのある画像を捉えた一部の領域を読み出すべき優先領域として推定し、この優先領域の画素のみについて画素信号の読み出しを行う。これにより、通常フレームレートよりも高速のフレームレートでの読み出しを可能にする。優先領域の設定は、画素が構成されたセンサ基板に積層された信号処理基板に搭載された処理回路部で行う。積層構造により、センサ基板のサイズを画素数に比べて小さくすることができ、小さいサイズの撮像デバイスにより、優先領域の画像を高速のフレームレートで出力することが可能である。

（第２の実施の形態）
図７は本発明の第２の実施の形態を示すブロック図である。また、図８は図７の積層型撮像デバイスの構成の一例を模式的に示す斜視図である。図７及び図８において、それぞれ図１又は図２と同一の構成には同一符号を付して説明を省略する。

第１の実施の形態においては、ロジック回路等により構成された処理回路部４４により優先領域の決定を行った。これに対し、本実施の形態は優先領域の決定を推論デバイスによって行うものである。

本実施の形態においては、３層構造の積層型の撮像デバイス７０を採用する例を説明する。なお、撮像デバイス７０を２層構造で構成してもよい。

先ず、図８を参照して、撮像デバイス７０の構成について説明する。

撮像デバイス７０は、センサ基板３０とメモリ基板８０と信号処理基板９０とが積層された構造を有する半導体装置である。メモリ基板８０には４つの縁辺部にビア８１ａ〜８１ｄが設けられており、信号処理基板９０には４つの縁辺部にビア９１ａ〜９１ｄが設けられている。各ビア８１ａ〜８１ｄと各ビア９１ａ〜９１ｄとは相互に電気的に接続可能である。

画素３２からの画素信号はセンサ基板３０に形成されたビアからメモリ基板８０に形成されたビア８１ａ〜８１ｄを経由してメモリ基板８０のＡ／Ｄ変換器８２ａ，８２ｂに供給される。

メモリ基板８０は、メモリ基板８０の列方向の中央に、メモリ部８３ａ，８３ｂが形成される。メモリ部８３ａ，８３ｂを中心に、列方向にはメモリ基板８０の一方端部側に向かってＡ／Ｄ変換器８２ａ及びビア８１ａが配置され、他方端部側に向かってＡ／Ｄ変換器８２ｂ及びビア８１ｂが配置される。Ａ／Ｄ変換器８２ａ，８２ｂはそれぞれ行方向に延設され、メモリ部８３ａ，８３ｂは互いに行方向に並設される。Ａ／Ｄ変換器８２ａ，８２ｂ及びメモリ部８３ａ，８３ｂの行方向端部とビア８１ｄとの間には読み出し制御部８４が列方向に延設されて配置される。

ビア８１ａ〜８１ｄを経由してセンサ部３１から供給された画素信号は、Ａ／Ｄ変換器８２ａ，８２ｂに供給される。Ａ／Ｄ変換器８２ａは、入力された画素信号をデジタル信号に変換した後、メモリ部８３ａに与えて記憶させる。また、Ａ／Ｄ変換器８２ｂは、入力された画素信号をデジタル信号に変換した後、メモリ部８３ｂに与えて記憶させる。

Ａ／Ｄ変換器８２ａには、センサ部３１の所定の領域の画素からの画素信号が与えられ、Ａ／Ｄ変換器８２ｂには、センサ部３１の他の所定の領域の画素からの画素信号が与えられる。例えば、センサ部３１を行方向に２つの領域に分割し、一方の領域の各画素３２からの画素信号をＡ／Ｄ変換器８２ａに与え、他方の領域の各画素３２からの画素信号をＡ／Ｄ変換器８２ｂに与えるようにしてもよい。また、例えば、センサ部３１を列方向に２つの領域に分割し、一方の領域の各画素３２からの画素信号をＡ／Ｄ変換器８２ａに与え、他方の領域の各画素３２からの画素信号をＡ／Ｄ変換器８２ｂに与えるようにしてもよい。

これにより、センサ部３１の各画素３２からの読み出しを並列処理により高速化することができる。また、スイッチ回路を設けてＡ／Ｄ変換器８２ａ，８２ｂに画素信号を供給する画素を切換え可能にすることにより、Ａ／Ｄ変換器８２ａ，８２ｂにセンサ部３１の所望の領域の画素の画素信号を与えることも可能である。

読み出し制御部８４は、行選択部３３を制御して、センサ部３１からの画素信号の読み出しを制御すると共に、メモリ部８３ａ，８３ｂに対する画素信号の書き込み及び読み出しを制御する。読み出し制御部８５は、画素信号を信号処理基板９０に出力すると共に、撮像デバイス７０の外部にも出力する。

信号処理基板９０は、信号処理基板９０の列方向の一方端部側から中央側に向かって、ビア９１ａ及び推論エンジン９２が列方向に延設されて配置され、他方端部側から中央側に向かって、ビア９１ｂ及び処理回路部９３が列方向に延設されて配置される。

ビア９１ａ〜９１ｄを経由してメモリ基板８０から供給された画素信号は、推論エンジン９２に供給される。推論エンジン９２は、入力された画素信号に基づく画像について、優先領域を推論し、推論結果を処理回路部９３に出力する。

処理回路部９３は、フレームレートを決定し、優先領域及びフレームレートの情報を読み出し制御部９４に出力する。読み出し制御部９４は、読み出し制御部８４に優先領域及びフレームレートの情報を転送する。

このように、センサ基板３０とメモリ基板８０と信号処理基板９０の積層構造とすることにより、センサ部３１をセンサ基板３０の略全域に構成することが可能である。これにより、画素数を低減することなく撮像デバイス７０を小型化することも可能である。

なお、図８の構成は一例であり、図２と同様の２層構造によって、積層型の撮像デバイス７０を構成してもよい。

図７において、撮像デバイス７０は、撮像部１１、メモリ部７１、推論エンジン７２、優先領域決定部１４ｃ並びに優先領域及びフレームレート指定部１６によって構成される。図７の撮像部１１は、図８のセンサ基板３０に対応し、メモリ部７１は、メモリ部８３ａ，８３ｂに対応し、優先領域決定部１４ｃ並びに優先領域及びフレームレート指定部１６は処理回路部９３及び読み出し制御部９４に対応する。なお、図７では、図８のＡ／Ｄ変換器８２ａ，８３ｂにそれぞれ対応するＡ／Ｄ変換器１２ａ，１２ｂが撮像部１１内に構成されている例を示しているが、図８のようにメモリ基板８０に構成されていてもよい。

撮像部１１は、画素３２により被写体を撮像し、撮像画像を取得する。Ａ／Ｄ変換器８２ａ，８２ｂは撮像部１１による撮像画像をデジタル信号に変換してメモリ部７１に与えて記憶させる。

推論エンジン７２は、領域判定部として機能し、図１の領域判定部１４と同様に、センサ部３１に構成された全有効画素領域中の一部の優先領域を推定するものである。例えば、本実施の形態においては、推論エンジン７２は、撮像部１１により得られる撮像画像中に含まれる動く物体を捉えたセンサ部３１上の領域を優先領域と推定するようになっている。推論エンジン７２の推論結果は、優先領域決定部１４ｃに与えられる。

図９は推論エンジン７２が採用する推論モデルを生成するための学習を説明するための説明図である。

図９は中段に示す所定のネットワークＮ１に、上段に示す教師データであるコマ画像Ｐａ１〜，Ｐｂ１〜、Ｐｃ１〜を与えて学習させることで、下段に示す推論モデル７２ａが取得されることを示している。

コマ画像Ｐａ１〜，Ｐｂ１〜、Ｐｃ１〜は、例えば、所定のネットワーク上の動画サイトや静止画サイト等から取得して生成したものである。取得された動画や静止画の各コマ画像に、優先領域とすべき領域を特定したアノテーションが設定されて、教師データとなるコマ画像Ｐａ１〜，Ｐｂ１〜、Ｐｃ１〜が生成される。

このような教師データの生成は、自動化することも可能である。例えば、各コマ画像から動く動体を検出し、当該動体を含む領域を優先領域に設定すればよい。例えば、図１の領域判定部１４と同等の回路構成により、背景に変化がなく、動体の位置が変化する複数のコマ画像のうち前のコマ画像中に、後のコマ画像中の動体の位置及び大きさ情報に基づく領域を特定したアノテーションを設定すればよい。

図９のコマ画像Ｐａ１〜，Ｐｂ１〜、Ｐｃ１〜中の枠は、これらのコマ画像の次のコマ画像における動体の位置を含む優先領域を示している。なお、コマ画像Ｐａ１〜，Ｐｂ１〜、Ｐｃ１〜中の優先領域を示す枠の位置及びサイズは、フレームレートを考慮して設けられたものである。例えば、教師データの元となる動画のフレームレートが３０ｆｐｓであり、優先領域の画素の読み出し時のフレームレートが１２０ｆｐｓの場合には、動きの量は１／４になると想定され、この動きの量に対応した優先領域が設定される。

大量の教師データによる学習を行うことで、ネットワークＮ１は、入力に対応する出力が得られるように、ネットワークデザインが決定される。すなわち、これらのコマ画像Ｐａ１〜，Ｐｂ１〜、Ｐｃ１〜による教師データをネットワークＮ１に与えて学習を行うことで、入力画像を与えると次のコマ画像における動体の位置を含む優先領域の情報及びその信頼度の情報を出力する推論モデル７２ａを生成することができる。

なお、深層学習（ディープ・ラーニング）」は、ニューラル・ネットワークを用いた「機械学習」の過程を多層構造化したものである。情報を前から後ろに送って判定を行う「順伝搬型ニューラル・ネットワーク」が代表的なものである。これは、最も単純なものでは、Ｎ１個のニューロンで構成される入力層、パラメータで与えられるＮ２個のニューロンで構成される中間層、判別するクラスの数に対応するＮ３個のニューロンで構成される出力層の３層があればよい。そして、入力層と中間層、中間層と出力層の各ニューロンはそれぞれが結合加重で結ばれ、中間層と出力層はバイアス値が加えられることで、論理ゲートの形成が容易である。簡単な判別なら３層でもよいが、中間層を多数にすれば、機械学習の過程において複数の特徴量の組み合わせ方を学習することも可能となる。近年では、９層〜１５２層のものが、学習にかかる時間や判定精度、消費エネルギーの関係から実用的になっている。

機械学習に採用するネットワークＮ１としては、公知の種々のネットワークを採用してもよい。例えば、ＣＮＮ（Convolution Neural Network）を利用したＲ−ＣＮＮ（Regions with CNN features）やＦＣＮ（Fully Convolutional Networks）等を用いてもよい。これは、画像の特徴量を圧縮する、「畳み込み」と呼ばれる処理を伴い、最小限処理で動き、パターン認識に強い。また、より複雑な情報を扱え、順番や順序によって意味合いが変わる情報分析に対応して、情報を双方向に流れる「再帰型ニューラル・ネットワーク」（全結合リカレントニューラルネット）を利用してもよい。

これらの技術の実現のためには、ＣＰＵやＦＰＧＡといったこれまでの汎用的な演算処理回路などを使ってもよいが、ニューラル・ネットワークの処理の多くが行列の掛け算であることから、行列計算に特化したＧＰＵやTensor Processing Unit（TPU）と呼ばれるものが利用される場合もある。近年ではこうした人工知能（ＡＩ）専用ハードの「ニューラル・ネットワーク・プロセッシング・ユニット（ＮＰＵ）」がＣＰＵなどその他の回路とともに集積して組み込み可能に設計され、処理回路の一部になっている場合もある。

また、深層学習に限らず、公知の各種機械学習の手法を採用して推論モデルを取得してもよい。例えば、サポートベクトルマシン、サポートベクトル回帰という手法もある。ここでの学習は、識別器の重み、フィルター係数、オフセットを算出するもので、他には、ロジスティック回帰処理を利用する手法もある。機械に何かを判定させる場合、人間が機械に判定の仕方を教える必要があり、今回の実施例では、画像の判定を、機械学習により導出する手法を採用したが、そのほか、特定の判断を人間が経験則・ヒューリスティクスによって獲得したルールを適応するルールベースの手法を応用して用いてもよい。

例えば、図９の推論モデル７２ａを推論エンジン７２に設定した場合、撮像部１１によって図９に示すコマ画像Ｐａ１が撮像されると、推論エンジン７２は、画像Ｐａ１中の枠部分を推論し、当該枠部分の位置及びサイズの情報を信頼度の情報と共に優先領域の推論結果として優先領域決定部１４ｃに出力する。

優先領域決定部１４ｃは、推論エンジン７２の推論結果に基づいて優先領域を決定する。更に、優先領域決定部１４ｃは、推論エンジン７２の推論結果に基づいて物体の動きを判定し、動き判定結果に基づいて、撮像画像に対する優先領域の位置及びサイズを変化させるようになっていてもよい。優先領域決定部１４ｃは優先領域に関する情報を優先領域及びフレームレート指定部１６に出力する。

なお、推論エンジン７２の推論は、所定の時間間隔で実施してもよい。

次に、このように構成された実施の形態の動作について図１０を参照して説明する。図１０は教師データの作成を説明するためのフローチャートである。

本実施の形態においては、優先領域をロジック回路に代えて推論エンジン７２により求める点が第１の実施の形態と異なるのみである。即ち、図６のフローチャートのステップＳ１，Ｓ２における優先領域の決定を推論エンジン７２及び優先領域決定部１４ｃで行う。推論モデルの構築に用いる教師データは、例えば、動画サイト等から取得する。

図１０のステップＳ１１において、教師データ設定のために、動画候補を選択する。選択した動画候補の各コマ画像を入力に設定し（ステップＳ１２）、各入力コマ画像の次のタイミングのコマ画像内の動体の位置及び大きさに基づく領域（以下、優先領域候補領域という）をアノテーションとして設定する。出力として、優先領域候補領域を設定する（ステップＳ１３）。

次に、優先領域中の画素の読み出し時のフレームレートを想定して、優先領域候補領域の位置を補正する（ステップＳ１４）。例えば、優先領域中の画素の読み出し時のフレームレートは、元の画像のサイズと優先領域候補領域のサイズの比が大きい程高速になるように設定してもよい。アノテーションが設定された大量のコマ画像を、教師データとして出力する（ステップＳ１５）。

これらの教師データをネットワークＮ１に与えて学習させることにより、推論モデル７２ａが構築される。この推論モデル７２ａの情報に基づいて推論モデル７２ａを実現する推論エンジン７２が構成される。

本実施の形態においては、優先領域の決定のために、撮像部１１から読み出した１枚の撮像画像のみをメモリ部７１に与えて記憶させる。推論エンジン７２は、１枚の撮像画像によって、優先領域を推論する。推論エンジン７２は、優先領域の推論結果を優先領域決定部１４ｃに出力する。

なお、推論エンジン７２は、背景に変化がなく、動体のみが動くであろうと推定される撮像画像についてのみ、優先領域の推論結果を信頼度の情報と共に出力する。

優先領域決定部１４ｃは、推論エンジン７２の推論結果に基づいて優先領域を決定して優先領域及びフレームレート指定部１６に与える。これにより、優先領域及びフレームレート指定部１６は、優先領域に含まれる画素からの画素信号のみを通常フレームレートよりも高速のフレームレートで読み出すよう、撮像部１１に指示を与える。

なお、優先領域決定部１４ｃは、動体の動きの推定結果によって、撮像画像に対する優先領域の位置及びサイズを変化させてもよい。また、所定の時間間隔で、推論エンジン７２による推論を行うようになっていてもよい。また、図６のように、動く物体が優先領域外に出た場合には、フレームレートを通常フレームレートに戻すようになっていてもよい。

このように本実施の形態においては、第１の実施の形態と同様の効果が得られると共に、優先領域を推論モデルを用いた推論を利用して決定するようになっており、より有効な優先領域の決定が可能となる可能性がある。

（第３の実施の形態）
図１１は本発明の第３の実施の形態を示すブロック図である。図１１において図７と同一の構成要素には同一符号を付して説明を省略する。本実施の形態は、図７の推論エンジン７２を備えた撮像デバイス１０２を撮像装置１００に適用した例を示している。本実施の形態は、撮像デバイス１０２の推論モデル７２ａの書換えが可能になっている。

図１１の撮像装置１００としては、デジタルカメラやビデオカメラだけでなく、スマートフォンやタブレット端末に内蔵されるカメラを採用してもよい。もちろん、車載や工程検査や工事、セキュリティなどの産業分野や医療分野で使われる各種画像検査装置のカメラ部に採用することも可能である。何故なら、撮像デバイスが小型化され、様々な領域でスペースメリットが活かせるからである。

撮像装置１００は、撮像装置１０の各部を制御する制御部１０１を備えている。制御部１０１は、ＣＰＵやＦＰＧＡ等を用いたプロセッサによって構成されていてもよく、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。

撮像装置１００の撮像デバイス１０２は、センサ部とメモリ部や処理回路部とが別基板により構成されて積層された積層構造を有していてもよい。撮像デバイス１０２は、光学系１０２ａ及び画素アレイ１０２ｂを有している。光学系１０２ａは、ズームやフォーカシングのための図示しないレンズや絞り等を備えている。光学系１０２ａは、これらのレンズを駆動する図示しないズーム（変倍）機構、ピント及び絞り機構を備えている。

画素アレイ１０２ｂは、図８のセンサ部３１と同様の構成であり、ＣＭＯＳセンサ等の光電変換画素が縦横マトリクス状に配置されて構成されている。画素アレイ１０２ｂには、光学系１０２ａによって被写体光学像が画素アレイ１０２ｂの各画素に導かれるようになっている。画素アレイ１０２ｂの各画素は、被写体光学像を光電変換して被写体の撮像画像（画像データ）を取得する。

制御部１０１の撮像制御部１０１ａは、光学系１０２ａのズーム機構、ピント機構及び絞り機構を駆動制御して、ズーム、絞り及びピントを調節することができるようになっている。撮像デバイス１０２は、撮像制御部１０１ａに制御されて撮像を行う。

この時、撮像デバイス１０２からの画像データの読み出し周期（フレームレート）を変える場合があるが、フレームレート切換部１０２ｅによって切り換えられたフレームレートの情報を、制御部１０１が受け取って判定して、データの読み出し周期を変更するようにする。つまり、積層型撮像デバイスのセンサ部（画素アレイ１０２ｂ）で得られた画像を入力とし、上記センサ部の中の限定画像取得領域（優先領域）に関する情報を出力とする推論モデル（必ずしも、推論ではなく、ロジックベースの判定や切り換えでも良い）によって推論を行う上記積層型撮像デバイスに設けられた推論部（推論モデル７２ａ）の推論結果に基づいて、上記積層型撮像デバイスからの画像データの読み出し制御の切り換えを行う画像読み出し回路（制御部１０１）を具備することによって、積層型撮像デバイスの高速撮像能力を十分に生かした画像取得が可能となる。

この制御のため、撮像画像（動画像及び静止画像）はデジタル信号に変換された後、メモリ部を構成するＤＲＡＭ（ダイナミックＲＡＭ）１０２ｃに与えられる。ＤＲＡＭ１０２ｃは、メモリ部７１と同様の構成であり、撮像画像を記憶する。ＤＲＡＭ１０２ｃは、優先領域の判定のために、記憶した撮像画像を推論エンジン７２に与える。

推論エンジン７２は、優先領域を推論し、推論結果を領域指定部１０２ｄに与える。領域指定部１０２ｄは、推論結果に基づいて優先領域を決定し、フレームレート切換部１０２ｅは、優先領域の画素の読み出し時のフレームレートを設定する。

画素アレイ１０２ｂは、指定された優先領域中の画素信号を指定されたフレームレートで出力する。この画素信号はＤＲＡＭ１０２ｃに供給されて記憶される。

撮像装置１００には操作部１０３が設けられている。操作部１０３は、図示しないレリーズボタン、ファンクションボタン、撮影モード設定、パラメータ操作等の各種スイッチ、ダイヤル、リング部材等を含み、ユーザ操作に基づく操作信号を制御部１０１に出力する。制御部１０１は、操作部１０３からの操作信号に基づいて、各部を制御するようになっている。

制御部１０１の撮像制御部１０１ａは、ＤＲＡＭ１０２ｃに記憶された撮像画像及び優先領域の画像を取り込む。画像処理部１０１ｂは、取込んだ撮像画像に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行う。

撮像装置１００には表示部１０４が設けられている。表示部１０４は、例えば、ＬＣＤ（液晶表示装置）等の表示画面を有する表示器であり、表示画面は撮像装置１００の例えば筐体背面等に設けられる。制御部１０１は、画像処理部１０１ｂによって信号処理された撮像画像を表示部１０４に表示させるようになっている。また、制御部１０１は、撮像装置１００の各種メニュー表示や警告表示等を表示部１０４に表示させることもできるようになっている。

なお、表示部１０４の表示画面上には、図示しないタッチパネルが設けられていてもよい。操作部１０３の一例であるタッチパネルは、ユーザが指で指し示した表示画面上の位置に応じた操作信号を発生することができる。この操作信号は、制御部１０１に供給される。これにより、制御部１０１は、ユーザがタッチした表示画面上の位置やユーザが表示画面上を指でスライドさせるスライド操作を検出することができ、ユーザ操作に対応した処理を実行することができるようになっている。

撮像装置１００には通信部１０５が設けられており、制御部１０１には、通信制御部１０１ｄが設けられている。通信部１０５は、通信制御部１０１ｄに制御されて、学習装置１２０及びデータベース（ＤＢ）装置１３０との間で情報を送受することができるようになっている。通信部１０５は、例えば、ブルートゥース（登録商標）等の近距離無線による通信及び例えば、Ｗｉ−Ｆｉ（登録商標）等の無線ＬＡＮによる通信が可能である。なお、通信部１０５は、ブルートゥースやＷｉ−Ｆｉに限らず、各種通信方式での通信を採用することが可能である。通信制御部１０１ｄは、通信部１０５を経由して、学習装置１２０から推論モデルの情報（ＡＩ情報）を受信することができる。この推論モデル情報は、推論エンジン７２の推論モデル７２ａを、所望の推論を行うモデルに更新するためのものである。

制御部１０１には記録制御部１０１ｃが設けられている。記録制御部１０１ｃは、信号処理後の撮像画像を圧縮処理し、圧縮後の画像を記録部１０６に与えて記録させることができる。記録部１０６は、所定の記録媒体によって構成されて、制御部１０１から与えられた情報を記録すると共に、記録されている情報を制御部１０１に出力することができる。また、記録部１０６としては、例えばカードインターフェースを採用してもよく、この場合には記録部１０６はメモリカード等の記録媒体に画像データを記録可能である。

記録部１０６は、画像データ記録領域１６ａを有しており、記録制御部１０１ｃは、画像データを画像データ記録領域１０６ａに記録するようになっている。また、記録制御部１０１ｃは、記録部１０６に記録されている情報を読み出して再生することも可能である。

また、記録部１０６は、メタデータ記録領域１０６ｂを有しており、記録制御部１０１ｃは、画像データ記録領域１０６ａに記録された撮像画像、優先領域、記録時間等の関連を示す情報をメタデータ記録領域１０６ｂに記録する。メタデータ記録領域１０６ｂには、撮像デバイス１０２から出力された画像から、もしくは、画素アレイ１０２ｂから出力された画像データから、どのような画像処理を経て記録されたかといった履歴の情報がメタデータとして記録されている。このメタデータとしては撮影のパラメータ情報や撮影の対象物情報や撮影の環境情報などが記録されており、画像の来歴や検索性や証拠性に留意した情報が画像と関連付けて記録可能となっている。画像と同じファイルとして記録されてもよい。ここの情報を利用して機械学習時の画像補正が出来るようになっており、どのような推論モデルを使って撮像されたものかの情報も記録してもよい。撮像装置１００において取得した画像を外部のデータベースに転送して記録する場合には、メタデータとして記録するデータに従って、画像が記録されるべきデータベースを指定可能としてもよい。通信制御部１０１ｄがこの内容を判定して、撮像結果をすぐに教師データの候補にして送信したり、誰かに鑑賞されるにふさわしいデータベースを選択して外部に送信することも可能である。プライバシーや著作権を判定する推論で、その結果を記録時に反映させてセキュリティを向上させるような工夫を行ってもよいので、それに関する情報をメタデータ化してもよい。また、教師データ化のみならず、教師データの種類や学習装置１２０を指定するような推論がなされた場合、その結果はメタデータ記録領域１０６ｂにメタデータとして記録してもよい。学習を行うべき学習装置１２０を指定するメタデータであってもよい。

撮像デバイス１０２は推論モデル更新部１０２ｆを有している。推論モデル更新部１０２ｆは、制御部１０１が受信した推論モデル情報を受信して、推論モデル７２ａを再構築することができる。

本実施の形態においては、推論モデル７２ａを構築するための推論モデル情報は、学習装置１２０によって生成されるようになっている。撮像装置１００は、学習装置１２０の学習に用いる教師データの元となる大量の画像を学習装置１２０に供給することもできる。学習装置１２０は、撮像装置１００からの画像のみを教師データとして用いて推論モデルを構築することも可能である。また、学習装置１２０は、ＤＢ装置１３０から、教師データとなる画像を取得することも可能である。

つまり、撮像装置１００で得られた画像以外の豊富な画像を利用し、それらの画像から最適な教師データを選んで（または加工して）、機械学習、深層学習、強化学習等に使えるのが、本実施の形態の優れた点となっている。一方で、撮像デバイス１０２で得られた画像を推論時の入力とすることが前提になっているので、このデバイスの特徴を生かした推論が可能であるような最適化を行う必要もある。本実施の形態のシステムを有効活用するために、この最適化についての工夫を行ってもよい。

ＤＢ装置１３０は、通信部１３２を有しており、学習装置１２０は通信部１２２を有している。これらの通信部１２２，１３２は、通信部１０５と同様の構成を有しており、通信部１０５，１２６相互間、通信部１０５，１３２相互間及び通信部１２２，１３２相互間において通信が可能である。

ＤＢ装置１３０は、ＤＢ装置１３０の各部を制御する制御部１３１を有しており、学習装置１２０は学習装置１２０の各部を制御する制御部１２１を有している。制御部１２１，１３１は、ＣＰＵやＦＰＧＡ等を用いたプロセッサによって構成されていてもよく、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。

なお、学習装置１２０全体が、ＣＰＵ、ＧＰＵ、ＦＰＧＡ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して学習を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。

ＤＢ装置１３０は、大量の学習用データを記録した画像記録部１３３を有している。画像記録部１３３には、様々な撮像装置で撮影された画像が、多様な処理をなされた作品とかエビデンスとして集まっている場合があり、撮像デバイス１０２の画素アレイ１０２ｂで得られた画像データとは、画像データの並び、ビット幅、大きさや、ノイズや色合いや露出量が異なったものとなっている。つまり、制御部１０１内の画像処理部１０１ｂでは、ベイヤー配列をカラーＲＧＢ化するデモザイキング処理、感度調整（ゲイン調整）、階調補正、解像度補正、コントラスト、輪郭の補正、ホワイトバランスなど色の調整、撮像レンズ（光学系１０２ａ）の収差、シェーディングなどの補正、さらには特殊効果処理やトリミング等、さらには画像圧縮などを行っているので、ＤＢ装置１３０に記録されている画像の多くは、厳密には画素アレイから出て来た画像データから、多くの処理を経た結果であって、単純には同じ尺度では比較等できず、正確な推論などは出来ない。中には、こうした処理を全く行っていない画像データや、途中過程の画像データもあるので、これを優先的に教師データとしてもよいし、加工済み画像は、極力画像処理が施される前のデータに近づけて（露出であれば、ゲイン情報で元に戻したり、色調整であれば、ホワイトバランスを取る前のデータに補正したりすればよい）教師データ化したり、重みづけ調整などで学習時のバランスを取る。ゲイン情報やホワイトバランス情報など画像処理情報は、例えば、メタデータとして、画像と関連付けて記録されている場合がある。メタデータとして記録された画像処理情報によって加工された画像データを教師データとすればよい。画像処理情報には、光学系の収差やシェーディングなどの光学特性情報も含まれる。また、ＤＢ装置１３０には、ＲＡＷデータと呼ばれる色ごとの輝度データの形で記録されている画像もあり、これは画像圧縮の画像処理を行う前のデータに近いので、より、画素アレイ１０２ｂの出力に近い情報となっているので、これを優先的に加工して（しなくてもよい）教師データにしてもよい。このようにデータベースで検索された画像を、撮像装置１００の画像処理部１０１ｂ、またはデータベース記録前に撮影者などがパーソナルコンピュータなどで行った画像処理を施す前のデータに復元する処理（第２の画像処理）を行って教師データ化を行う。

つまり、積層型撮像デバイス（撮像デバイス１０２）に設けられた推論部（推論エンジン７２）は、様々な画像処理を行う前の積層型撮像デバイスのセンサ部（画素アレイ１０２ｂ）で得られた画像データを使った推論を行うように最適化されているので、この積層型撮像デバイスのセンサ部で得られた画像データ入力として特定の推論結果を出力するためには、本来なら、教師データも、この画像処理前の画像（これは視認性としては劣る）を教師データにする方が良いが、それでは十分な学習をするに足る教師データを用意することが困難である。そこで、ここでは、上記センサ部以外で得られた画像（視認性、審美性を重視したもの）を教師データとして使って学習させることによって、より大量の教師データを利用することが可能となる。この学習方法は、データベースにある画像を画像処理前の画像に戻す第２の画像処理、または画像処理前データに戻すセンサデータ復元処理を行って、教師データ化を行い、推論モデルを作成する。例えば、推論の出力例としては、このセンサ部の中の限定画像取得領域（優先領域）に関する情報を出力としてもよいし、その他、センサで得られた画像データ内の特定対象物画像位置、座標を出力としてもよい。

画像記録部１３３は、ハードディスクやメモリ媒体等の図示しない記録媒体により構成されており、複数の画像を画像中に含まれる対象物の種類毎に分類して記録する。図１１の例では、画像記録部１３３は、静止画像群１３３ａ、動画像群１３３ｂ及びタグ１３３ｃを記憶している。静止画像群１３３ａは、複数の静止画が記録されており、動画像群１３３ｂは複数の動画像が記録されており、タグ１３３ｃは、静止画像群１３３ａ及び動画像群１３３ｂに記憶されている画像データのタグ情報が記録されている。

学習装置１２０の母集合作成部１２３は、撮像装置１００からの画像やＤＢ装置１３０から送信された動画や動画の各コマ画像を母集合記録部１２３ａに記録する。なお、母集合記録部１２３ａに記録される画像は、動体を含むものである。

母集合作成部１２３は、入力出力設定部１２４を有している。入力出力設定部１２４は学習に用いる入力データと、推論の結果得られるべき出力を設定する。本実施の形態においては、入力出力設定部１２４は、入力されたコマ画像に対して、次のコマ画像の動体を含む優先領域候補領域が出力されるように設定が行われる。

入出力モデル化部１２５は、大量の教師データにより期待される出力が得られるように、ネットワークデザインを決定し、その設定情報である推論モデル情報を生成する。即ち、学習装置１２０において、図９と同様の学習が行われて、推論モデル７２ａを構築するための推論モデル情報が得られる。

このようにして、積層型撮像デバイス（撮像デバイス１０２）に設けられた推論部（推論エンジン７２）に、当該積層型撮像デバイスのセンサ部（画素アレイ１０２ｂ）で得られた画像を入力とし、上記センサ部の中の限定画像取得領域（優先領域）を出力とする推論モデルを上記センサ部以外で得られた画像を教師データとして使って学習させる学習方法が提供できる。また、この推論部で推論するのは、領域指定やフレームレート切換以外の出力を行うものであってもよい。例えば、対象物が何であるかを検出する推論モデルであったり、対象物の良否判断を行うような推論モデルであってもよい。また、撮影された画像をどこのデータベースに記録するべきかを推論する推論モデルであってもよい。これによって、撮像結果をすぐに教師データの候補にしたり、誰かに鑑賞されるにふさわしいデータベースを選択することも可能である。プライバシーや著作権を判定する推論で、その結果を記録時に反映させてセキュリティを向上させるような工夫を行ってもよい。また、教師データ化のみならず、教師データの種類や学習用装置１２０を指定するような推論でもよく、その結果はメタデータ記録領域１０６ｂにメタデータとして記録してもよい。

次に、このように構成された実施の形態の動作について図１２及び図１３の説明図を参照して説明する。図１２は撮像装置１００による撮影の様子を説明するためのものであり、図１３は撮影結果を説明するためのものである。

いま、撮影者１５１が図１２に示す撮影を行うものとする。図１２は、被写体として建物１７０から飛び立つ鳥１７１を撮影する例を示している。撮影者１５１は、撮影機器本体１００ａを右手１５２で把持し、本体１００ａ上面のレリーズスイッチ１０３ａを人差し指１５２ａで押すことで撮影を行う。図１２では、撮影機器本体１００ａの背面には表示部１０４の表示画面１０４ａが配設されている。表示画面１０４ａ上には、撮像画像１６０がライブビュー表示されている。

図１３は図１２の例における撮像画像を示している。図１３の画像Ｐｔ０は、撮像デバイス１０２によって所定のタイミングｔ０において撮像される撮像画像を示している。また、画像Ｐｔ１〜Ｐｔ４は、所定間隔の連続したタイミングｔ０〜ｔ４における撮像画像を示している。画像Ｐｔ０は、建物１７０の屋上に鳥１７１が止まっている状態の画像であり、時刻ｔ０における建物１７０の画像１７０ａと鳥１７１の画像１７１ａとを含む。

画像Ｐｔ１〜Ｐｔ４は、時刻ｔ１〜ｔ４において、画素アレイ１０２ｂの全有効画素領域からの読み出しを行って通常フレームレートで撮像画像を得た場合の画像である。撮影者１５１は、視野範囲を変更しておらず、建物１７０の画像１７０ａの画像Ｐｔ１〜Ｐｔ４上の位置及びサイズは変化しておらず、背景の画像に変化はない。これに対し、時刻ｔ１〜ｔ４において鳥１７１は飛び立っており、鳥１７１の画像は画像１７１ｔ１〜１７１ｔ４に変化している。

本実施の形態においては、撮影者１５１は、動く鳥１７１に注目して撮影を行う場合には、優先領域から高速のフレームレートで画素信号を読み出す高速撮影モードを指示する。図１３の画像Ｐｔ１〜Ｐｔ４中の枠Ｒｔ１〜Ｒｔ４は、高速撮影モードにおける優先領域候補領域を示している。

高速撮影モードにおいて、画像Ｐｔ０がＤＲＡＭ１０２ｃに格納されると、推論エンジン７２は、推論モデル７２ａによる推論によって、画像Ｐｔ０の次のタイミングにおける鳥１７１の撮像画像中の位置を推定し、この位置を含む優先領域候補領域を求める。なお、画像Ｐｔ０の次のタイミングは、タイミングｔ１よりも早い、通常フレームレートと高速フレームレートとに応じたタイミングである。

領域指定部１０２ｄは、次のタイミング以降における画素アレイ１０２ｂからの読み出しに際して、優先領域候補領域に基づく優先領域を設定する。また、フレームレート切換部１０２ｅは、画素アレイ１０２ｂの有効画素領域と優先領域とに基づく高速フレームレートを設定する。更に、領域指定部１０２ｄは、鳥１７１の動きの検出結果に基づいて、優先領域を変更する。

図１３の画像Ｐｔ１〜Ｐｔ４は、四角の枠によって、タイミングｔ１〜ｔ４における優先領域Ｒｔ１〜Ｒｔ４を示している。即ち、タイミングｔ０の次のタイミングからは、高速フレームレートで、優先領域の画素の画素信号のみが読み出されてＤＲＡＭ１０２ｃに記憶される。図１３の画像ＰＬｔ１〜ＰＬｔ４は、タイミングｔ１〜ｔ４における優先領域Ｒｔ１〜Ｒｔ４に対応した撮像画像を示している。これらの撮像画像は、主に鳥１７１の画像を高速のフレームレートで撮像したものとなる。

記録制御部１０１ｃは、画像Ｐｔ０及び画像ＰＬｔ１〜ＰＬｔ４を画像データ記録領域１６ａに記録すると共に、画像Ｐｔ０と画像ＰＬｔ１〜ＰＬｔ４と撮影時刻の対応関係を示す情報をメタデータ記録領域１０６ｂに記録する。

こうして、撮影者１５１は煩雑な操作を行うことなく、鳥１７１に注目した撮影が可能である。優先領域の画像は高速フレームレートで取得されており、画像から鳥１７１の動きを明瞭に観察することができる。

なお、撮影者１５１は、優先領域の推定に用いる推論モデル７２ａを更新することが可能である。撮影者１５１の操作に基づいて、制御部１０１は、学習装置１２０にアクセスし、撮影者１５１が希望する推論モデル７２ａを構築するための推論モデル情報を取得する。この推論モデル情報は、撮像デバイス１０２に転送され、推論モデル更新部１０２ｆは、推論モデル情報によって推論モデル７２ａを更新する。こうして、撮影者１５１が希望する動く物体の種類や背景の状態等に応じた推論モデルの構築が可能となる。

このように本実施の形態においては、上記各実施の形態と同様の効果が得られる。また、本実施の形態においては、優先領域の推論を行う推論モデルを更新することが可能であり、ユーザが希望する被写体についての優先領域の推定精度を向上させることができる。

上記実施の形態においては、撮像のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。

更に、撮像のための機器としては、内視鏡、顕微鏡のような産業用、医療用の光学機器でもよく、監視カメラや車載用カメラ、据え置き型のカメラ、例えば、テレビジョン受信機やパーソナルコンピュータ等に取り付けられているカメラであってもよい。例えば、医療分野に適用した場合には、高速に動く微生物の様子を鮮明に撮像することも可能である。広い画角の画面で、全体を把握し、狭い画角の範囲でより高速レスポンスで画像取得を行うような使い方が出来る。対象物の動きのスピードでこうした切換えを行う例を説明したが、特定の領域を見つけた時に、高速撮像するような制御を行ってもよい。重要な部分画像を高速で撮像する用途と考えてもよい。この場合、動きの大きい部分でなくとも、少しの変化を見逃さないように観察する領域でもよい。その他、優先領域は、何かが撮像される瞬間を見逃さないようにした、待ち伏せ領域でも良い。

本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。

なお、ここで説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを経由してダウンロードしたものでもよい。

なお、実施例中で、「部」（セクションやユニット）として記載した部分は、専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイコン、ＣＰＵなどのプロセッサ、あるいはＦＰＧＡなどシーケンサを組み合わせて構成されてもよい。また、その制御の一部または全部を外部の装置が引き受けるような設計も可能で、この場合、有線や無線の通信回路が介在する。通信は、ブルートゥースやＷｉＦｉ、電話回線などで行えばよく、ＵＳＢなどで行っても良い。専用の回路、汎用の回路や制御部を一体としてＡＳＩＣとして構成してもよい。

［付記］
［付記項１］
動画の各コマ画像から動く動体を検出し、
上記検出の結果に基づいて、所定のコマ画像に、上記所定のコマ画像の次のコマ画像中の動体の位置を含む領域の情報をアノテーションとして付加して得た教師データを生成し、
上記教師データをニューラルネットワークに与えて学習を行い、
入力画像に対して、上記入力画像の次のタイミングに入力される画像中の動体の位置を含む領域を推論結果として信頼度の情報と共に出力する推論モデルを得る
ことを特徴とする学習方法。

［付記項２］
上記動く物体の検出の結果に応じた上記動体の位置を含む領域の位置は、フレームレートに応じて補正する
ことを特徴とする付記項１に記載の学習方法。

［付記項３］
付記項１に記載の学習方法によって取得された推論モデルを用いて、入力画像から領域を検出し、
上記領域に対応する画像部分のみを通常フレームレートよりも高いフレームレートで読み出す
ことを特徴とする撮像方法。

１０…撮像デバイス、１１…撮像部、１２０…学習装置、１２１，１３１…制御部、１３２…通信部、１４…領域判定部、１４ｂ…変化領域判定部、１４ｃ…優先領域決定部、１５…メモリ部、１６…優先領域及びフレームレート指定部、２１…時計部、２２…画像データ記憶部、２３…撮像結果関連付け記録部、３０…センサ基板、３１…センサ部、３３…行選択部、４０…信号処理基板、４４…処理回路部、４５…読み出し制御部。

Claims (17)

1. センサ基板に構成され、所定のフレームレートで画像データを連続的に取得する複数の画素からなるセンサ部と、
   上記画像データに基づいて、上記複数の画素のうちの一部の画素を含む優先領域を求める領域判定部と、
   上記所定のフレームレートよりも高いフレームレートで上記優先領域に含まれる上記一部の画素の出力を得るフレームレート指定部と
   を具備し、
   上記領域判定部及び上記フレームレート指定部は、上記センサ基板以外の基板に構成される
   ことを特徴とする積層型撮像デバイス。
2. 上記優先領域は、所定サイズの矩形領域である
   ことを特徴とする請求項１に記載の積層型撮像デバイス。
3. 上記高いフレームレートは、上記矩形領域のサイズに応じて決定される
   ことを特徴とする請求項２に記載の積層型撮像デバイス。
4. 上記センサ基板以外の基板に構成され、上記複数の画素の画像データに基づく画像を仮記憶するメモリ部
   を更に具備することを特徴とする請求項１に記載の積層型撮像デバイス。
5. 上記領域判定部は、上記メモリ部に仮記憶された画像中の動く物体の画像部分を含む領域を上記優先領域とする
   ことを特徴とする請求項４に記載の積層型撮像デバイス。
6. 上記領域判定部は、
   上記メモリ部に仮記憶された複数枚の画像の差分に基づいて上記優先領域を求める
   ことを特徴とする請求項４に記載の積層型撮像デバイス。
7. 上記領域判定部は、
   上記メモリ部に仮記憶された複数枚の画像中に、背景領域を判定するための背景判定領域と変化領域を判定するための変化判定領域とを設定して、上記背景判定領域の画像の変化と変化判定領域の画像の変化とに基づいて、上記変化領域に基づく優先領域を決定する
   ことを特徴とする請求項６に記載の積層型撮像デバイス。
8. 上記領域判定部は、
   上記変化判定領域を複数の分割領域に分割し、上記分割領域毎に上記変化領域を判定し、上記変化領域に基づく優先領域を決定する
   ことを特徴とする請求項７に記載の積層型撮像デバイス。
9. 上記領域判定部は、上記動く物体の動きに基づいて上記優先領域の上記画像上の位置を変化させる
   ことを特徴とする請求項５に記載の積層型撮像デバイス。
10. 上記領域判定部は、
    上記画像データが入力され入力された画像データにより形成される画像中の動く物体の画像部分を含む領域を推論する推論モデルを用いた推論エンジン
    を具備することを特徴とする請求項１に記載の積層型撮像デバイス。
11. 上記推論モデルは、動画中の各コマ画像に含まれる動く物体の位置の検出結果に基づいて、所定のコマ画像に、上記所定のコマ画像の次のコマ画像中の動体の位置を含む領域の情報をアノテーションとして付加して得た教師データを用いた学習により得られる
    ことを特徴とする請求項１０に記載の積層型撮像デバイス。
12. 請求項１に記載の積層型撮像デバイスと、
    上記積層型撮像デバイスを制御する制御部と
    を具備することを特徴とする撮像装置。
13. 請求項１０に記載の積層型撮像デバイスと、
    上記積層型撮像デバイスを制御する制御部と、
    上記推論モデルを更新する推論モデル更新部と
    を具備することを特徴とする撮像装置。
14. 積層型撮像デバイスに設けられた複数の画素からなるセンサ部によって、所定のフレームレートで画像を連続的に取得し、
    上記センサ部とは異なる基板の回路において、上記画像に基づいて、上記複数の画素のうちの一部の画素を含む優先領域を求め、
    フレームレート指定部によって、上記所定のフレームレートよりも高いフレームレートで上記優先領域に含まれる上記一部の画素の出力を得る
    ことを特徴とする撮像方法。
15. 積層型撮像デバイスのセンサ基板以外の基板に設けられた推論部に構築される推論モデルであって、上記センサ基板に設けられたセンサ部で得られた画像を入力とし、上記センサ部の中の限定画像取得領域に関する情報を出力とする推論モデルを、上記センサ部以外で得られた画像を教師データとして用いた学習によって取得する
    ことを特徴とする学習方法。
16. 積層型撮像デバイスのセンサ部で得られた画像を入力とし、
    上記センサ部の中の限定画像取得領域に関する情報を出力とする推論モデルによって推論を行う上記積層型撮像デバイスに設けられた推論部の推論結果に基づいて、上記積層型撮像デバイスからの画像データの読み出し制御を行う
    ことを特徴とする画像読み出し回路。
17. 積層型撮像デバイスのセンサ部で得られた画像を入力とし、
    上記センサ部の中の限定画像取得領域に関する情報を出力する領域判定部の判定結果に基づいて、上記積層型撮像デバイスからの画像データの読み出し制御を行う
    ことを特徴とする画像読み出し回路。

Images