JP2020145516A - 記録装置，記録方法，記録プログラム - Google Patents

Abstract

【課題】動体を含む部分領域を常に確実かつ正確にしかも迅速に判別し撮像動作の実行中に処理する画像データのデータ量を抑え、動体の高画質な画像データを常に確実に取得する記録装置を提供する。【解決手段】第１の画像データと第２の画像データとを取得する撮像部１１と、所定のフレームレートで連続的に取得された第１の画像データの領域毎の特徴に応じて第１の画像データの一部画像領域を第１の画像データより高いフレームレートで取得した第２の画像データと、第２の画像データが第１の画像データのどの領域に対応するかを表す領域情報と、を関連付けて記録する連続撮影部１１０を具備する記録装置１００であって、一部画像領域を判別する時に領域毎の特徴として検出された動体の位置に応じて領域候補を出力する領域候補判別部１１２を具備する。【選択図】図１

Description

この発明は、撮像素子を用いて画像データを取得し記録する記録装置，記録方法，記録プログラムに関するものである。

従来、撮像光学系により結像された光学像を撮像素子等を用いて順次画像信号に変換し、これにより取得された画像信号に基く画像を表示装置を用いて順次連続的に表示するライブビュー機能を備え、撮像指示信号が発生した時には、その指示信号の発生時点若しくはその前後の所定期間における画像信号を取得し、これを記憶用画像データ（静止画像データ若しくは動画像データ）に変換して記憶媒体に記録する記録機能を有する一方、再生指示信号が発生した時には、記憶媒体に記録済みの画像データを画像信号に変換して、その画像信号に基く画像を表示装置を用いて再生表示し得る再生機能を有して構成されたデジタルカメラ等の撮像装置であり、画像データを取得し記録する記録装置（以下、単に撮像装置等と略記する）が一般に実用化され、広く普及している。

近年、この種の撮像装置等においては、静止画像データのみならず動画像データを取得し、再生し得る機能を備えるものが一般に普及している。さらに、この種の撮像装置等においては、取得した動画像データのうちの１フレーム分の画像データを１枚の静止画像データとして取り出して記録し再生する等の機能を有するものがある。

通常、滑らかな動画像を再生するためには、例えば２４ｆｐｓ（frames per second；フレーム毎秒）や３０ｆｐｓ又は６０ｆｐｓ程度のフレームレートで撮影されることが一般的である。

しかしながら、動画撮影時の撮影対象とする被写体が高速で移動する場合、例えば、鳥類や昆虫類の飛翔シーンや動物の疾走シーン、各種スポーツ選手の動きや各種球技におけるボールの軌跡、移動する自動車や飛行機等のほか、演劇等の舞台上の演者等などを撮影対象とする場合には、通常のフレームレート（例えば２４，３０，６０ｆｐｓ等）での動画像撮影では、動画像データを構成する各フレームにおいて被写体ブレなどが生じてしまい鮮明な静止画像を取得できない場合がある。そのために、高速で移動する被写体を、動画像データの各フレームにおいても、より鮮明に撮影するためには、より高いフレームレート（例えば１２０ｆｐｓ又はそれ以上のフレームレート）での撮影が望まれている。

また、動画像撮影時に高フレームレートでのハイスピード撮影を行って、その結果取得された動画像データを通常のフレームレート（例えば２４，３０，６０ｆｐｓ等）で再生することによってスローモーション再生効果を得ることが可能となる。近年における動画映像作品の場合、スローモーション再生は、作品を構成する上で重要な構成要因ともなっている。

一方、この種の従来の撮像装置等においては、高画質化の要望が常にある。このことから、静止画像データや動画像データ等の画像データを取得するための撮像素子の多画素化が急速に進んでいる。このような撮像素子の多画素化に伴って、取得される画像データの１ファイル（又は各１フレーム）当たりのデータサイズ（データ量）は、増大する傾向にある。

一般に、この種の撮像装置等によって取得される画像データは、例えば半導体メモリ等の記録媒体に記録されるのが普通である。通常の撮像装置等に用いられる記録媒体の記憶容量には上限があることから、画像データの１ファイル当たりのデータ量は、できるだけ小さく抑えることが常に望まれている。特に、高フレームレートで撮影される動画像データのデータ量は膨大なものになる傾向があるため、動画像データを取得し得る撮像装置等では、データ量を小さくするための技術が、従来より種々提案されている。

例えば、特開２００８−１２５０５９号公報等によって開示されている記録装置は、被写体の動画を記録する動画像記録装置であって、動画像データの記録時には、所定のフレームレートで動画を構成する画像フレームを順次出力し、出力された画像フレームのうち所定数おきの画像フレームは全体を記録すると共に、他の画像フレームは当該画像フレームの一部分（所定の小領域）を記録するようにしている。そして、当該動画像データの再生時には、読み出した画像フレームが一部分のみであるときには、全体が記録されている画像フレームと当該画像フレームの一部分とから所定の表示フレームを生成するようにしている。

特開２００８−１２５０５９号公報

ところが、上記特開２００８−１２５０５９号公報によって開示されている記録装置においては、所定のフレームレートで動画データを出力した後の記録時に、各種の画像処理を行って記録画像データのデータ量を抑制するようにするものである。したがって、所定のフレームレートで出力される動画データを一時的に記憶して、各種の画像処理を行うための膨大なメモリ領域が必要になるという問題点がある。この場合、例えば、各画像信号処理の全てを画像取得時に実行できれば当該問題は解決し得る。

しかしながら、例えば、上記特開２００８−１２５０５９号公報によって開示されている処理の全てを画像取得時に実行しようとした場合、連続的に取得される複数の画像フレームの中から１フレーム毎に読み出すべき所望の部分領域（例えば動体を含む部分領域）を判定して各種の信号処理を行うための処理時間がかかることから、リアルタイムで全ての処理を実行するには、処理時間が追い付かない可能性があるという問題点がある。

さらに、上記公報に開示されている記録装置では、再生動作時に各種の画像合成処理等を行うようにしているので、再生動作時に装置にかかる負荷が過大となってしまうという問題点もある。

本発明は、上述した点に鑑みてなされたものであって、その目的とするところは、撮影の主な対象とする動体を含む部分領域を、常に確実かつ正確に、しかも迅速に判別することができ、撮像動作の実行中に処理する画像データのデータ量を抑えることができ、移動する被写体について常に高画質な画像データを確実に取得することのできる記録装置，記録方法，記録プログラムを提供することである。

上記目的を達成するために、本発明の一態様の記録装置は、第１の画像データと第２の画像データとを取得する撮像部と、所定のフレームレートで連続的に取得された第１の画像データの領域毎の特徴に応じて上記第１の画像データの一部画像領域を上記第１の画像データより高いフレームレートで取得した第２の画像データと、上記第２の画像データが上記第１の画像データのどの領域に対応するかを表す領域情報と、を関連付けて記録する連続撮影部を具備する記録装置であって、上記一部画像領域を判別する時に上記領域毎の特徴として検出された動体の位置に応じて領域候補を出力する領域候補判別部を具備する。

本発明の一態様の記録方法は、所定のフレームレートで連続的に第１の画像データを取得し、 第１の画像データの領域毎の特徴に応じて上記第１の画像データの一部画像領域を上記第１の画像データより高いフレームレートで第２の画像データを取得し、上記第２の画像データが上記第１の画像データのどの領域に対応するかを表す領域情報を取得し、上記第２の画像データと上記領域情報とを関連付けて記録し、上記一部画像領域を判別する時に上記領域毎の特徴として検出された動体の位置に応じて領域候補を出力する。

本発明の一態様の記録プログラムは、所定のフレームレートで連続的に第１の画像データを取得するステップと、第１の画像データの領域毎の特徴に応じて上記第１の画像データの一部画像領域を上記第１の画像データより高いフレームレートで第２の画像データを取得するステップと、上記第２の画像データが上記第１の画像データのどの領域に対応するかを表す領域情報を取得するステップと、上記第２の画像データと上記領域情報とを関連付けて記録するステップと、上記一部画像領域を判別する時に上記領域毎の特徴として検出された動体の位置に応じて領域候補を出力するステップと、をコンピュータに実行させる。

本発明によれば、撮影の主な対象とする動体を含む部分領域を、常に確実かつ正確に、しかも迅速に判別することができ、撮像動作の実行中に処理する画像データのデータ量を抑えることができ、移動する被写体について常に高画質な画像データを確実に取得することのできる記録装置，記録方法，記録プログラムを提供することができる。

本発明の一実施形態の記録装置における撮像機能を概念的に示す概念図 本発明の一実施形態の撮像装置の具体的な構成例を示すブロック構成図 本発明の一実施形態の撮像装置の作用の概略を説明する説明図であって、当該撮像装置を用いて、動体としての鳥の飛翔シーンを動画像として撮像する際の様子を示す概念図 図３の状態で当該撮像装置によって取得され表示部に表示されるライブビュー画像（動画像）を示す概念図 本発明の一実施形態の撮像装置を用いて鳥の飛翔シーンを撮影した場合に記録される複数の画像データの構成を示す概念図 本発明の一実施形態の撮像装置によって記録される画像データファイルの一形態の概念図 本発明の一実施形態の撮像装置によって記録される画像データファイルの別の一形態の概念図 本発明の一実施形態の撮像装置の作用の流れを示すフローチャート（前半部） 本発明の一実施形態の撮像装置の作用の流れを示すフローチャート（後半部） 本発明の一実施形態の撮像装置を用いて、球技シーン（例示はサッカー）におけるボールの動きを動画像として撮像する際の様子を示す概念図 図１０に示す全領域画像のうちの一部の領域を拡大して示す要部拡大概念図 図１１における対象動体について動体ベクトルを設定する処理を示す概念図 図１２における対象動体について動体ベクトルに基づいて動体の飛翔予想範囲を設定する処理を示す概念図 図１２における対象動体について動体の外接矩形領域と予想範囲とによって外接矩形領域の移動予想範囲を設定する処理を示す概念図 図１０〜図１４の作用により高フレームレートで連続的に取得された分割領域の複数の画像データを重ねた形態で示す概念図 図９のステップＳ１１０の処理（分割領域限定読出処理）の詳細を示すフローチャート 本発明の一実施形態の撮像装置における撮像モード時の動作シーケンスの変形例を示すフローチャート 本発明の一実施形態の撮像装置における再生モード時及び推論モデル生成モード時の動作シーケンスを示すフローチャート 本発明の一実施形態の撮像装置と連携する外部機器側の処理シーケンスを示すフローチャート 本発明の一実施形態の変形例を示し、記録装置である撮像装置の一形態としての光学顕微鏡の概略外観図 図２０の光学顕微鏡を用いて微小動体としての細胞の細胞分裂を撮像対象とした場合に取得される画像データに基づいて表示される画像の概念図

以下、図示の実施の形態によって本発明を説明する。以下の説明に用いる各図面は模式的に示すものであり、各構成要素を図面上で認識できる程度の大きさで示すために、各部材の寸法関係や縮尺等を構成要素毎に異ならせて示している場合がある。したがって、本発明は、各図面に記載された各構成要素の数量や各構成要素の形状や各構成要素の大きさの比率や各構成要素の相対的な位置関係等に関して、図示の形態のみに限定されるものではない。

本発明の一実施形態は、例えば光学レンズにより形成される光学像を固体撮像素子を用いて光電変換し、これによって得られる画像信号を静止画像や動画像を表わすデジタルデータとして記憶媒体に記録し、また記憶媒体に記録されたデジタル画像データに基いて静止画像や動画像を表示装置に再生表示し得るように構成されるいわゆるデジタルカメラ等の撮像装置を一例として挙げるものである。

［一実施形態］
図１は、本発明の一実施形態の記録装置における撮像機能を概念的に示す概念図である。本実施形態の記録装置である撮像装置１００は、撮像部１１と、連続撮影部１１０とを有して構成されている。

撮像部１１は、撮影対象物（いわゆる被写体）を含む所定の領域を撮像して被写体像を含む所定の領域の画像データを取得する構成部である。撮像部１１は、撮像素子を含む複数の電子部品等と、これら撮像素子等の電子部品等を実装した撮像基板などによって構成されている。この撮像基板には、例えば当該撮像素子を駆動するための駆動回路や、同撮像素子によって連続的に取得されて出力される各画像信号を受けて適宜必要な所定の信号処理を順次施す撮像回路等の電子回路やプログラムソフトウエア等を含んで構成されている。

連続撮影部１１０は、動体領域判別部１１２と、フレームレート変更部１１３と、撮像結果関連付け記録部１１４と、画像データ記録部１１５と、時計部１１６とを有する。

動体領域判別部１１２は、撮像部１１によって取得された第１の画像データ（全領域データ；詳細後述）に基づいて当該第１画像データによって表される一画面内に含まれる動体を検出し、検出された動体が当該画面内のどの分割領域にあるかを判別する構成部である。この動体領域判別部１１２は、例えば電子回路若しくはプログラムソフトウエア等を有して構成されている。

換言すると、動体領域判別部１１２は、第１の画像データ（全領域データ；詳細後述）に基づいて当該第１画像データによって表される一画面内に含まれる動体を含む一部画像領域の第２の画像データ（部分領域データ；詳細後述）を判別する時に、各領域毎の特徴として検出された動体の位置に応じて部分領域としての候補を出力する領域候補判別部として機能する構成ユニットである。

フレームレート変更部１１３は、撮像部１１に含まれる撮像素子の各分割領域（詳細後述）のフレームレートを、撮像部１１の撮像素子によって取得される画像データの状況に応じて、適宜変更するための構成部である。具体的には、例えば動体領域判別部１１２によって動体が検出された場合に、当該撮影対象動体のある分割領域を、通常よりも高いフレームレートで駆動するようにフレームレートの設定変更処理をしたり、当該動体が画面内で移動することによって対応する分割領域から対象としている動体が外れた場合には、高フレームレート設定から通常のフレームレートとなるようにフレームレートの設定変更処理を行なう等を行なう。このフレームレート変更部１１３は、例えば電子回路若しくはプログラムソフトウエア等を有して構成されている。

撮像結果関連付け記録部１１４は、撮像部１１によって取得され、画像データ記録部１１５に記録された複数の画像データ（第１の画像データや第２の画像データ等；詳細後述）について、所定の条件に基づいて関連付けを行って記録するための構成部である。この撮像結果関連付け記録部１１４は、例えば電子回路若しくはプログラムソフトウエア等を有して構成されている。

画像データ記録部１１５は、撮像部１１から出力され所定の信号処理が施された後に生成される所定の形態の画像データ（静止画像データ、動画像データ等）を記憶するための構成部である。この画像データ記録部１１５には、記録媒体を含む複数の電子部品等と、これら複数の電子部品等を実装した電気基板などによって構成されている。この電気基板には、例えば当該記録媒体を駆動するための駆動回路や、入力された画像データを記録媒体の所定の記憶領域に記録するための記録回路等の電子回路やプログラムソフトウエア等を有して構成されている。

時計部１１６は、いわゆるリアルタイムクロック（Real-Time Clock；ＲＴＣ）などと呼ばれる内部時計回路である。この時計部１１６は、例えば生成された画像データファイル等に対して日時情報や時刻情報等を付与したり、各種の制御処理の実行中において、所定の指示タイミング間の計時を行ったり時間的制御等の際に利用される回路部である。この時計部１１６は、例えば電子回路若しくはプログラムソフトウエア等によって構成されている。

なお、撮像結果関連付け記録部１１４若しくは画像データ記録部１１５には、記録対象とする画像データについて、例えばＪＰＥＧ形式（静止画像データ），ＭＰＥＧ形式（動画像データ）等、各種所定の規格に基づく圧縮処理等を行なう圧縮処理回路部などを有して構成するようにしてもよい。

次に、本発明の一実施形態の撮像装置の具体的な構成例を、図２のブロック構成図によって、以下に説明する。

図２に示すように、本実施形態の記録装置である撮像装置１００は、制御部１０と、撮像部１１と、操作部１２と、表示部１３と、通信部１４と、記録部１５と、推論エンジン（inference engine）１６と、時計部１１６等を有して構成されている。

制御部１０は、本実施形態の記録装置である撮像装置１００の各構成ユニットを統括的に制御する構成ユニットである。制御部１０は、上記連続撮影部１１０に対応する機能を有しており、本実施形態の撮像装置１００による撮像動作及び再生動作等を制御する構成ユニットである。制御部１０は、例えば中央処理装置（Central Processing Unit；ＣＰＵ）等のいわゆるプロセッサ等が適用される。

具体的には、制御部１０は、例えば記録制御部１０ａと、操作判別部１０ｂと、通信制御部１０ｃと、画像処理部１０ｄと、パラメータ制御部１０ｅと、画像内動体領域判別部１０ｆ等を有して構成される。

記録制御部１０ａは、本実施形態の撮像装置１００によって取得される複数の画像データ（第１の画像データや第２の画像データ等；詳細後述）や、当該画像データに関連する各種の情報群の記録処理や所定の関連付け処理等を制御する構成部である。つまり、記録制御部１０ａは、上述の撮像結果関連付け記録部１１４に対応する機能を有する。記録制御部１０ａは、例えば電子回路若しくはプログラムソフトウエア等によって構成されている。

ここで、第１の画像データは、撮像部１１に含まれる撮像素子１１ｂによって取得される画像データのうち、当該撮像素子１１ｂの有効撮像領域の全域を用いて取得される画像データをいうものとする。この第１の画像データは、当該撮像装置１００において、所定のフレームレート（例えば通常のフレームレートである２４，３０，６０ｆｐｓ等のフレームレート）で連続的に取得される全領域の画像データ（全領域データ）が相当する。

また、第２の画像データは、所定の（通常の）フレームレートで連続的に取得された第１の画像データの全領域のうちの所定の領域毎の特徴（例えば動体が位置すること）に応じて当該第１の画像データの部分的な一部の画像領域を第１の画像データよりも高いフレームレート（例えば１２０ｆｐｓ又はそれ以上のフレームレート）で取得した所定の部分領域の画像データ（部分領域画像データ）が相当する。

操作判別部１０ｂは、撮像装置１００を所望の動作を行わしめるために、使用者によって操作される各種の操作部材（操作部１２に含まれる部材）に応じて出力される所定の指示信号を受けて、当該操作指示信号を判別する構成ユニットである。ここで、各種の操作部材による所定の指示信号としては、例えば、撮影動作時における撮像準備信号（ＡＦ開始信号，ＡＥ開始信号）や撮像開始信号（レリーズ信号）や、動作モードの変更指示信号、撮像動作時若しくは再生動作時などにおける表示部１３への表示形態の切り換え指示信号等、当該撮像装置１００を使用する際に発生する各種の指示信号であって、一般的な撮像装置において用いられる各種の指示信号である。がある。この操作判別部１０ｂは、例えば電子回路若しくはプログラムソフトウエア等によって構成されている。

通信制御部１０ｃは、通信部１４を制御して当該撮像装置１００と外部機器２００との間で、各種の情報通信を制御する構成ユニットである。この通信制御部１０ｃは、例えば電子回路若しくはプログラムソフトウエア等によって構成されている。

画像処理部１０ｄは、撮像部１１によって取得され、連続的に出力される複数の画像信号を受けて、適宜所定の画像信号処理を施す構成ユニットである。ここで行われる画像信号処理は、例えば、撮像素子１１ｂから出力されるアナログ信号をデジタル信号に変換するＡＤ変換処理や、各種のデジタル信号処理、データ圧縮処理等の一般的な撮像装置によって行われる通常の各種信号処理である。この画像処理部１０ｄは、例えば電子回路若しくはプログラムソフトウエア等によって構成されている。

パラメータ制御部１０ｅは、本撮像装置１００によって撮像動作を実行する際の各種のパラメータについての所定の制御（測定，設定等）を行なう構成ユニットである。ここで、各種のパラメータとしては、例えばシャッター速度値，絞り値，ＩＳＯ感度値，ホワイトバランス値，焦点距離値等の撮影パラメータや、取得された画像データに対して画像処理を施す際の設定値等の画像処理パラメータのほか、取得画像に対して所望のフィルター効果を追加するめのフィルター効果設定値等がある。このパラメータ制御部１０ｅが対象とするパラメータは、一般的な撮像装置における制御部によって扱われる各種のパラメータである。また、パラメータ制御部１０ｅは、上記フレームレート変更部１１３に対応する機能を有しており、適宜、撮影パラメータの一つとしてのフレームレートの設定を変更する構成ユニットでもある。当該パラメータ制御部１０ｅは、例えば電子回路若しくはプログラムソフトウエア等によって構成されている。

画像内動体領域判別部１０ｆは、上記動体領域判別部１１２（領域候補判別部）と対応する機能を有する構成ユニットである。画像内動体領域判別部１０ｆは、上述したように、撮像部１１によって取得された第１の画像データ（全領域データ）に基づいて当該第１画像データによって表される一画面内に含まれる動体を検出する動体検出機能と、これにより検出された動体が当該画面内のどの分割領域にあるかを判別する構成ユニットである。この画像内動体領域判別部１０ｆは、例えば電子回路若しくはプログラムソフトウエア等によって構成されている。なお、図２に示す実施形態は、動体領域判別部１１２（領域候補判別部）は、推論モデル（後述）を利用して動体の位置する部分領域の判別を行なう例を示している。

撮像部１１は、上述したように、被写体を含む所定の領域を撮像して被写体像を含む所定の領域の画像データを取得する構成部である。そのために、撮像部１１は、レンズ１１ａと、撮像素子１１ｂ等を含んで構成されている。

レンズ１１ａは、被写体によって反射した反射光を受けて光学像を結像する複数の光学レンズと、これら複数の光学レンズのうちの一部を適宜光軸に沿う方向に駆動させる駆動ユニット（不図示）のほか、レンズを透過する光束の光量を調整する絞り機構等（不図示）等を有して構成される構成ユニットである。

撮像素子１１ｂは、レンズ１１ａによって結像された光学像を受けて、被写体像を含む光学像を電気信号（アナログ信号）に変換する光電変換素子である。この撮像素子１１ｂは、上述したように、撮像基板（不図示）に実装されている。この撮像基板上には、撮像素子１１ｂを駆動するための駆動回路や、撮像素子１１ｂによって取得された画像信号についての各種の信号処理を行なう撮像回路等が実装されている。

また、本実施形態の撮像装置１００において適用される撮像素子１１ｂは、多数の画素が縦横に配列されて構成される受光面を有している。ここで、本実施形態の撮像装置１００においては、当該撮像素子１１ｂの受光面は、その有効撮像領域（一つの画像データを取得するためのセンサ領域）が、複数の領域に分割されて構成されている。そして、本撮像素子１１ｂは、例えば各領域毎にそれぞれ異なるフレームレートで駆動することができるように制御され、各領域毎の管理がなされている。

操作部１２は、当該撮像装置１００の動作指示を入力するための各種形態（レバー式，ダイヤル式，スライド式，プッシュボタン式など）の操作部材のほか、表示部１３の表示画面上に配置されるタッチパネル等を含む操作部材群と、各操作部材群等の各操作に応じて作動する電気部品（スイッチ類等）を含んで構成される構成部材群である。さらに、操作部１２には、例えば、各種のセンサ類（アイセンサ，姿勢センサ，方位センサ，ＧＰＳなど）も含まれるものとする。

表示部１３は、撮像部１１を用いて取得され所定の画像処理を経て出力される画像データや記録済みの画像データに基づく画像を表示し、当該画像データに関連する各種の情報を表示し、また各種の設定情報等を表示する表示用ユニットである。表示部１３は、具体的には、例えば撮像装置１００の背面に設置される背面表示パネルのほか、接眼式表示パネル（いわゆる電子ビューファインダ（ＥＶＦ））等である。また、表示部１３の他の形態としては、例えば当該撮像装置１００との間で無線若しくは有線接続される携帯型デバイスの表示装置を用いる形態としてもよい。表示部１３は、例えば液晶ディスプレイ（liquid crystal display；ＬＣＤ）や有機エレクトロルミネッセンス（有機ＥＬ；organic electro-luminescence:ＯＥＬ）ディスプレイ等が適用される。

通信部１４は、当該撮像装置１００と、他の外部機器２００や上記携帯型デバイス等との間でデータ通信を行なうのに用いられる電子回路若しくはプログラムソフトウエア等によって構成される構成ユニットである。通信部１４の形態としては、例えば無線形式又は有線形式のいずれの形態のものでもよい。通信部１４は、一般的な撮像装置において適用されるものと同様のものが適用される。

記録部１５は、記録部１５は、上記画像データ記録部１１５に対応する機能を有する。即ち、記録部１５は、上述したように、撮像部１１を用いて取得され所定の画像処理を経て出力される画像データや、当該画像データに関連する各種の情報等を記録する記録媒体（不図示）と、当該記録媒体を駆動制御する各種の電子回路等若しくはプログラムソフトウエア等によって構成される構成ユニットである。

記録部１５に記録される画像データには、上述したように、例えば第１の画像データである全領域データ１５ａと、第２の画像データである部分領域データ１５ｂと、これら全領域データ１５ａ（第１の画像データ）や部分領域データ１５ｂ（第２の画像データ）に関連する各種の関連情報１５ｃ等が含まれる（図２参照）。

ここで、上記関連情報には、例えばシャッター速度値，絞り値，ＩＳＯ感度値，ホワイトバランス値，焦点距離値，フレームレート等の撮影パラメータなどのほか、所定の領域情報等が含まれる。

なお、上記領域情報とは、
（１）全領域データ１５ａ（第１の画像データ）と部分領域データ１５ｂ（第２の画像データ）との相対的な関連情報、即ち、特定の部分領域データ１５ｂが複数記録されている全領域データ１５ａのうちのどの全領域データ１５ａに対応するかの情報、
（２）特定の部分領域データ１５ｂが対応する全領域データ１５ａのどの領域に対応するかの情報、
等を示す固有情報である。

推論エンジン１６は、例えば、撮像部１１を用いて取得され所定の画像処理を経て出力される画像データにより表示される画像の中に含まれる被写体のうち所望の動体に関して、外部機器２００によって予め生成された推論モデルに基づいて所定の推論を行う電子回路若しくはプログラムソフトウエアによって構成される構成ユニットである。

推論エンジン１６は、外部機器２００によって予め生成された所定の推論モデルが記憶される記憶部１６ａを有して構成されている。ここで、推論モデルは、撮像装置１００によって取得される画像データの中から特徴的な部分としての所望の被写体（本実施形態においては動体を対象としている）を抽出し判別するための推論を行う際に利用されるいわゆる「ひな形（テンプレート）」である。この推論モデルは、例えば、外部機器２００の学習機能を用いて生成される。

時計部１１６は、上述したように、いわゆるリアルタイムクロック（Real-Time Clock；ＲＴＣ）などと呼ばれる内部時計回路である。

このように構成される本実施形態の撮像装置１００は、外部機器２００との間で通信して、所望の被写体に応じた推論エンジンを取り寄せることができる。

外部機器２００は、学習部２０１と、データベース２０２とを有して構成される。ここで、学習部２０１は、データベース２０２の大量の画像データ３０ｂに基づいて所望の推論モデルを生成する処理を行なう構成ユニットである。学習部２０１は、電子回路若しくはプログラムソフトウエア等によって構成される。

学習部２０１は、通信部２０ａと、母集合作成部２０ｂと、出力設定部２０ｃと、入出力モデル化部２０ｄとを有して構成される。

通信部２０ａは、撮像装置１００との間、若しくはデータベース２０２との間で、データ通信を行うのに用いられる電子回路若しくはプログラムソフトウエア等によって構成される構成ユニットである。

母集合作成部２０ｂは、データベース２０２に予め記憶されている大量の画像データ３０ｂ（静止画及び動画と、これらに関連付けられた関連情報等）の中から、学習処理を行なうための複数の画像データ（教師データ；今回生成しようとする推論モデルに対応する所望の被写体に類似の（所定の条件を満たす）大量の画像データ）の母集合を作成する電子回路若しくはプログラムソフトウエア等によって構成される構成ユニットである。

本実施形態においては、所望の被写体としての教師データは、例えば画面内で動く被写体（動体）を対象とする例を示している。したがって、教師データの候補となる画像データとしては、主に動画像データが対象となる。

ここで動体とは、具体的には例えば、鳥類の飛翔シーン，昆虫類の飛翔シーン，動物の疾走シーン，各種スポーツにおける選手の動き，各種球技におけるボールの軌跡，移動する自動車やオートバイや飛行機等のほか、演劇等の舞台上の演者等が考えられる。

なお、演劇等の舞台撮影においては、通常の場合、演者等はスポットライトによって照らされることが多くある。したがって、このことを考慮すれば、舞台上を移動するスポットライトを動体としての対象物として考えることもできる。この場合、スポットライト内には演者がほぼ常に存在しているものと見なすことができるからである。舞台上の演者等が画面内に占める領域は、画面全体に対して小さいものであるが、スポットライト内には演者等が含まれる可能性が高いことから、スポットライトを動体として追尾すれば、結果的に所望の主要被写体としての演者等を動体として取り扱うことが出来ることになる。

即ち、このように、本実施形態の撮像装置１００においては、画面内において各フレーム毎に位置を移動する物体（像）を動体として扱うことにしている。

出力設定部２０ｃは、推論モデルを生成するための条件設定を行なう電子回路若しくはプログラムソフトウエア等によって構成される構成ユニットである。

本実施形態においては、母集合データとして選択された動画像データ（動体を含む動画像データ）の各フレームにおいて、画面内で動体が位置する領域情報（例えば鳥が飛翔中の画面内位置情報）や、撮影対象動体が動きを開始する直前の状態にあるとき（例えば鳥が飛翔する直前に枝等の固定物に止まっているとき等）の領域情報等を出力条件としている。

入出力モデル化部２０ｄは、母集合作成部２０ｂに集められた教師データを読み出して、所定の学習を行って、対応する推論モデルを生成する電子回路若しくはプログラムソフトウエア等によって構成される構成ユニットである。ここで行われる学習は、例えば画面内で対象とする動体が、静止状態にある位置から移動を開始し、その移動中の様子の一連の動作態様についての学習である。

データベース２０２は、大量の画像データ３０ｂ（静止画及び動画と、これらに関連付けられた関連情報等）等が集積され記憶されているストレージユニット（補助記憶装置）である。データベース２０２は、学習部２０１との間でデータ通信を行うのに用いられる電子回路若しくはプログラムソフトウエア等によって構成される通信部３０ａを有する。

このように構成される本実施形態の撮像装置１００における作用の具体例を、以下に簡単に説明する。

図３〜図５は、本実施形態の撮像装置の作用の概略を説明する説明図である。このうち、図３は、本実施形態の撮像装置１００を用いて、動体としての鳥の飛翔シーンを動画像として撮像する際の様子を示す概念図である。図４は、図３の状態で当該撮像装置によって取得され表示部に表示されるライブビュー画像（動画像）の概念を示す図である。なお、図４においては、動画像であることを示すために、各フレーム毎の画像を重ねて示している。したがって、図４では、撮影対象動体としての鳥が画面内を所定時間毎に移動する様子を示す５つのフレームを図示している。図５は、本撮像装置を用いて鳥の飛翔シーンを撮影した場合に記録される複数の画像データの構成を示す概念図である。

図３に示すように、例えば、遠景に固定物としての建物６０１があり、この建物６０１から飛び立って飛翔する鳥類６００の飛翔シーンを、撮影者５００が手５０１で持つ撮像装置１００を用いて、動画像を撮像する場合の状況を想定する。

図３においては、撮影者５００が撮像装置１００を手５０１に持って、当該撮像装置１００を撮影対象動体としての鳥６００に向けて構えている様子を示している。このとき、撮像装置１００の表示部１３である背面パネルには、その様子がライブビュー表示として表示されている様子が図示されている。

このような状況下において、特定の動く被写体（動体；本例では鳥６００）の動きを、撮像装置１００を用いて記録すると共に、動きを再現することができるようにするためには、動画像撮影が行われる。さらに、動体の動きの詳細をより精密に再現したいといった場合には、動画撮影においてスローモーション撮影を行なうといった要望がある。

このような撮影を行う場合においては、撮影者にとって興味の対象となる部分は、撮影対象の動く被写体（動体；本例では鳥６００）である。したがって、動画像撮影時に取得される１フレームの画面内においては、撮影対象動体の占める領域と、その他の領域（背景）とに区別することができる。

このとき、その他の領域（背景）は、動画像撮影時に取得される複数の各フレーム中において、ほとんど変化のない画像になることが考えられる。したがって、動画撮影時に被写体以外の領域をも、撮影対象物（被写体）と同時に常に記録することは、撮影動作の無駄な負荷が増加することになると共に、記録容量を無駄に消費してしまうという問題点が指摘される。

そこで、不要な背景（撮影者の興味の対象外の被写体）を省略し、撮影者の興味の対象となる被写体（本例では鳥６００）を撮影画面一杯に捉えようとする場合には、焦点距離の長いレンズ（いわゆる望遠レンズ）が一般に利用される。この場合、焦点距離が長くなるほど、被写体の拡大率を大きくすることができることから、焦点距離が長いレンズほど、所望の被写体を画面内で大きく撮影することができるという利点がある。

しかしながら、撮像装置１００によって撮影動作を行う際に、所望の被写体を撮影画面内に捕らえ続けるためには、レンズ１１ａの光軸を、常に被写体に向け続けている必要がある。そして、焦点距離が長くなるほど、撮影画面の画角が狭くなってしまう傾向がある。

したがって、画角の狭い望遠レンズを用いて、所望の被写体を常に画面内に捕らえ続けることは困難であり、熟練を要する作業になる。特に、高速で移動することが予想される動体でかつ対象物が小さい場合（例えば鳥類等）では、被写体を撮影画面内に常に捕らえ続けることは、より困難な作業であるといえる。

つまり、鳥類等の動きの速い被写体を対象として撮影するのに、望遠レンズを用いる場合、所望の被写体が撮影画面から外れてしまうことが多くなり、また、見失ってしまった被写体を再度、撮影画面内に捕らえ直すことは、より困難が伴う作業になってしまうといえる。特に、動体の連続的な動きを撮影したいような場合、具体的には、動体の動画像撮影を行うような場合には、この種の問題が大きな障害となる。

そこで、広角寄りのレンズ（広い画角のレンズ；いわゆる広角レンズ）を用いれば、撮影対象とする所望の被写体（動体）を常に撮影画面内に捕らえ続けることは、望遠レンズに比べて比較的容易になる。また、広角レンズで広い画角による撮影を行う場合、動きが早く小さな動体（例えば鳥６００）であっても、撮像装置１００のレンズ光軸の向きを、あまり動かさなくとも、当該所望の被写体を撮影画面内に捕らえ続けることが容易になる。したがって、撮影技術の未熟な初心者であっても、画角の広い広角レンズを用いることで、動体の連続的な動きを捕らえることができる可能性が高くなる。しかし、広角レンズを用いると、撮影画面内において、所望の被写体以外が写り込む領域が多くなってしまう可能性が高くなる。

そこで、本発明の実施形態の撮像装置においては、所望の動く被写体を含む一部の領域のみを通常のフレームレートよりも高いフレームレートでの読み出しを行って動体の動きを鮮明に撮像する（第２の画像データ）と共に、所望の被写体以外の動きの無い領域は、通常のフレームレートで撮像して（第１の画像データ）、両データを関連付けて記録するようにしている。

このようなことを考慮して、以下に示す例示では、撮像装置１００には、広角寄りで広い画角のレンズ１１ａが取り付けられているものとし、これにより、比較的広い範囲を撮像し得る状況を想定している。

このような状況において、撮像装置１００の表示部１３（背面パネル）には、図４に示すように、動画像としてのライブビュー画像が表示される。この場合において、表示部１３の表示パネルの全領域に示される全体画像を示す画像データが全領域データ（第１の画像データ）である。また、符号Ａ１，Ａ２，Ａ３，Ａ４，Ａ５で示し、点線で示す各矩形領域の画像を示す画像データが部分領域データ（第２の画像データ）である。また、図３の符号Ａ０で示す矩形領域は、飛び立つ直前の鳥６００を含む領域を示している。

なお、図３において示される矩形領域Ａ０〜Ａ５は、参照のために図示するものであって、実際の表示部１３の表示としては現れない。しかしながら、例えば、後述する部分領域判別処理の結果として、上記矩形領域Ａ０〜Ａ５を表す矩形線図等をライブビュー画像に重畳させて表示するようにしてもよい。

本実施形態の撮像装置１００において取得される画像データの概念について、以下に、図５を用いて簡単に説明する。

本実施形態の撮像装置１００が撮像モードにて動作し、動画像撮影が行われる際には、まず、通常のフレームレート（ここでは例えば２４，３０,６０ｆｐｓ等のフレームレート）によって撮像素子１１ｂが駆動される。

このときの状況が図３，図４に示すような状況、即ち撮影者５００が撮像装置１００を用いて鳥６００の飛翔シーンを取ろうとしている状況である場合、撮像部１１にて連続的に取得される動画像画像データの各フレームの様子は、図５（ａ）のようになる。

即ち、動画像画像データの各フレームは全領域データとして連続的に取得される。このときに取得される画像データ（全領域データ）に基づく画像は表示部１３において順次表示される（ライブビュー表示）。図５（ａ）において示す符号Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔ５は、順次取得される全領域データのそれぞれに附されるフレーム番号を意味する経時情報である。この経時情報は、画像データを関連付ける関連情報として、最終的に記録される画像データファイルのメタデータとして記録される。なお、図５には示されていないが、図４で示す矩形領域Ａ０を含む全領域データ、即ち鳥６００が飛び立つ直前の全領域データに対応する経時情報を符号Ｔ０で表すものとする（不図示）。

このようなライブビュー表示が行われているときの撮像装置１００は、連続的に取得される１フレーム毎の画像データについて、画面内の動体を検出する動体検出処理を行っている。そして、所定の１フレームの画像データにおける画面内に動体が検出された場合には、当該フレームの画像データについて画面内のどの領域に動体が位置しているかの判別を行なう。ここで、撮像素子１１ｂは、上述したように、受光面の有効撮像領域（センサ領域）が、複数の領域に分割されて構成されている。したがって、ここで行われる判別は、どの分割領域に動体が位置しているかの判別である。ここでの判別結果は、部分領域データ（第２の画像データ）が全領域データ（第１の画像データ）のどの領域に対応するかを表す情報としての領域情報である。

このようにして、各フレーム毎に動体が検出されて、各画面内における動体が位置している分割領域が判別されると、当該判別された分割領域について、通常フレームレート（例えば２４，３０,６０ｆｐｓ等のフレームレート）よりも高いフレームレート（例えば１２０ｆｐｓ又はそれ以上のフレームレート）での駆動が開始される。なお、その他のｒ分割領域は、通常フレームレートでの駆動が継続される。これと同時に、判別された分割領域を含む所定の範囲の部分領域が、例えば図５（ａ）の符号Ａ１，Ａ２，Ａ３，Ａ４，Ａ５に示すように設定される。そして、この部分領域の画像データが部分領域データ（第２の画像データ）として連続的に取得される。このときの各部分領域データにより表される画像の様子は、図５（ｂ２）のようになる。

このようにして、所定の分割領域（動体が位置する分割領域）での高フレームレートの駆動が開始されると、各フレーム毎に部分領域データが取得される。これと同時に、通常フレームレートで連続的に取得されていた全領域データは、所定のフレームおきの全領域データのみを残して、残されるフレーム間の全領域データは捨てられる（図５（ｂ１）参照）。

この場合において、各フレーム毎の部分領域データ（図５（ｂ２））と、残された全領域データ（図５（ｂ１））との間を関連付ける情報も生成される。この関連付け情報には、通常の撮影情報等に加え、上記領域情報等も含まれる。そして、当該関連付け情報は、各部分領域データのメタデータや、残される全領域データのメタデータとして、対応するデータファイルに付与される。

なお、ここで、関連付け情報は、上述したように画像データのメタデータとして一体に付与する形態のみに限られない。例えば、関連付け情報は、画像データとは別体の個別ファイルとして生成するようにしてもよい。その場合には、当該関連付け情報の個別ファイルは、対応する画像データとの関連が明示されるような所定の形態で紐付けられるように記録されていればよい。

そして、再生動作時には、撮像処理時に捨てられたフレームに対応する部分領域データと、その前後の全領域データとに基づいて、捨てられたフレームの代替フレーム（全領域データ）が生成される。こうして生成された代替フレーム（全領域データ）と、残された全領域データとを連続的に再生することによって、通常フレームレートよりも高いフレームレートの動画像を再生できる。この場合において、動体の部分は、高いフレームレートで取得した画像データを用いているので、高画質な動画像として再生できる。また、画面内において動体以外の部分（静止部分）は、通常フレームレートで取得される全領域データの一部のみを記録するようにしているので、動画像データの全体的なデータ量の削減に寄与することができるという効果を得ることができる。

このようにして、本実施形態の撮像装置１００において、ライブビュー画像が表示されているときに、例えば、動画像の撮像動作を開始するレリーズ信号が生じると、通常フレームレートで取得される複数の全領域データのうちの一部の全領域データ（図５（ｂ１））と、各フレーム毎の全ての部分領域データ（図５（ｂ２））とが、関連付けられた状態で、関連付け情報と共に記録される（図５（ｂ））。

なお、この記録動作時においては、例えば上述した作用とは別に、若しくは上述の作用に加えて、図５（ａ）で画像データ（全領域データ）は、動画像の撮像動作を開始するレリーズ信号が生じた時点以降は、全てのフレームの全領域データを、通常フレームレートによる動画像データとして記録しておくような構成であってもよい。

このようにして記録される画像データファイルは、例えば、図６に示すような形態となる。図６は、本実施形態の撮像装置によって記録される画像データファイルの一形態を概念的に示す図である。

図６に示すように、画像データファイルは、複数の画像データと、領域情報を含む関連付け情報とを含んで構成されている。ここで、複数の画像データは、複数の全領域データ（第１の画像データ）と、複数の部分領域データ（第２の画像データ）とがある。

図示の例では、複数の全領域データ（第１の画像データ）は、経時情報Ｔ０，Ｔ１，Ｔ３，Ｔ５に対応する画像データとしている。これらの全領域データの領域情報は「全領域」である。そして、これらの全領域データのフレームレート情報は「３０ｆｐｓ」であることが示されている。また、複数の部分領域データ（第２の画像データ）は、経時情報Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔ５に対応する画像データとしている。これらの部分領域データの領域情報は「Ａ１，Ａ２，Ａ３，Ａ４，Ａ５」である。そして、これらの部分領域データのフレームレート情報は「１２０ｆｐｓ」であることが示されている。

なお、図６の画像データファイルにおいて、画像データ中に付与されている符号（Ｔ０，Ｔ１，Ｔ３，Ｔ５，Ａ１，Ａ２，Ａ３，Ａ４，Ａ５）は、メタデータと関連付けされている旨を示す情報として便宜的に付与している符号である。したがって、実際の画像データによって表示される画像中に、これらの符号が表示されることを意味しているわけではない。

図７は、本実施形態の撮像装置によって記録される画像データファイルの別の一形態を概念的に示す図である。

図７に示す画像データファイルの例は、基本的には図６の形態と略同様である。即ち、画像データファイルは、複数の画像データと、領域情報を含む関連付け情報とを含んで構成されている点において、図６の例示と同様である。この図７に示す例では、全領域データ（第１の画像データ）関連の画像データファイルと、部分領域データ（第２の画像データ）関連の画像データファイルとをグループ分けして構成した点が異なる。

図７に示すように、全領域データ（第１の画像データ）関連の画像データファイルは、複数の全領域データ（第１の画像データ）として、経時情報Ｔ０，Ｔ１，Ｔ３，Ｔ５に対応する画像データと、これらの全領域データに対応する関連情報であって、対応する部分領域データの有無情報やフレームレート情報、ファイル名情報等が含まれる。また、部分領域データ（第２の画像データ）関連の画像データファイルは、複数の部分領域データ（第２の画像データ）として、経時情報Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔ５に対応する部分領域の画像データと、これらの部分領域データに対応する領域情報（Ａ１，Ａ２，Ａ３，Ａ４，Ａ５）と、フレームレート情報、ファイル名情報等が含まれる。

なお、図６，図７に示す例では、記録される複数の全領域データのうち符号Ｔ１，Ｔ３，Ｔ５に対応する画像データと、これらに対応する複数の部分領域データ（領域情報Ａ１，Ａ３，Ａ５の画像データ）とを共に記録するようにしているが、この形態例に限られることはない。

即ち、全領域データＴ１，Ｔ３，Ｔ５には、部分領域データ（領域情報Ａ１，Ａ３，Ａ５の画像データ）が含まれている。したがって、全領域データＴ１，Ｔ３，Ｔ５に対応する部分領域データ（Ａ１，Ａ３，Ａ５）については、別データとして記録しなくてもよい。つまり、全領域データが記録されている場合には、記録されている全領域データに対応する部分領域データは記録しない形態としてもよい。

なお、これとは別の記録形態として、部分領域データ（Ａ１，Ａ３，Ａ５）についても別データとして記録しておくようにすれば、部分領域データのみを用いての拡大再生表示（例えば拡大された撮像対象物（ここでは鳥類）のスローモーション動画再生等）を行なうことも可能となる。さらに、部分領域データの１フレーム分を取り出せば、鮮明な静止画像データとして取り扱うこともできる。

このように構成された本実施形態の撮像装置１００の作用の概略を、以下に説明する。図８，図９は、本実施形態の撮像装置１００（図１参照）の作用の流れを示すフローチャートである。このうち、図８は当該フローチャートの前半部を示し、図９は当該フローチャートの後半部を示している。なお、図８，図９で示されるフローチャートは、図１の構成に基づいて説明する。

本実施形態の撮像装置１００が電源オンの起動状態にあるものとする。この場合において、まず、図８のステップＳ１０１において、撮像装置１００の制御部（図１の連続撮影部１１０に含まれる制御回路；以下同様）は、現在設定されている動作モードが撮像モードであるか否かの確認を行なう。ここで、撮像モードであることが確認された場合には、次のステップＳ１０２の処理に進む。また、撮像モード以外が確認された場合には、ステップＳ１２０の処理に進む。

ステップＳ１２０において、制御部は、通常の再生モード処理を実行する。その後、ステップＳ１０１の処理に戻る。

なお、図８に示す作用の例示では、撮像モード以外の動作モードとして、ステップＳ１２０の処理にて再生モードを例示している。そして、この再生モード自体については、従来の撮像装置における再生モード処理と同様の処理がなされるものとして、その詳細な説明は省略している。また、本実施形態の撮像装置１００においては、撮像モードと再生モード以外にも、他の動作モード、例えば通信モード，設定モードなどが存在するが、これらの動作モードは、本発明に直接関連しない部分であるので、その詳細は、従来の撮像装置に適用されているものと同様であるとして、それらの説明も省略する。

ステップＳ１０１にて撮像モードが設定されていることが確認されて、ステップＳ１０１の処理に進むと、このステップＳ１０２において、制御部は、撮像部１１を制御して撮像動作を実行する。つまり、撮像部１１は、画像データを取得し、取得された画像データを表示部に表示する通常のライブビュー表示処理を実行する。これと同時に、制御部は、撮像部１１により取得された画像データに基づいて、フレーム内の被写体（動体）を判別する処理を開始する。その後、次のステップＳ１０３の処理に進む。このとき、撮像部１１は、通常のフレームレートにより撮像動作を行なう制御がなされる。

ステップＳ１０３において、制御部は、不図示の手振れ補正機構による手振れ検出結果を考慮しながら、取得された画像データのフレーム内の背景領域（静止領域）を判別する処理を行なう。

続いて、ステップＳ１０４において、制御部の動体領域判別部１１２は、上述の被写体判別処理の結果、判別された動体（背景に対して動きがある被写体）が存在する分割領域（動体領域）を判別する。その後、次のステップＳ１０５の処理に進む。なお、動体領域判別部１１２により行われる動体領域判別処理は、例えばロジックによる処理であってもよいし、推論モデルを利用した処理であってもよい。

ステップＳ１０５において、制御部は、静止画像の撮影動作を開始する指示信号が検出されたか否かの確認を行なう。ここで、静止画撮像開始信号が確認された場合には、ステップＳ１１３の処理に進む。また、静止画撮像開始信号が確認されない場合（他の指示信号が確認された場合）には、ステップＳ１０６の処理に進む。

ステップＳ１０６において、制御部は、動画像の撮影動作を開始する指示信号が検出されたか否かの確認を行なう。ここで、動画撮像開始信号が確認された場合には、ステップＳ１０７の処理に進む。また、動画撮像開始信号が確認されない場合には、ステップＳ１０１の処理に戻る。

ステップＳ１０７において、制御部は、動画像の撮像動作を実行する。これと同時に、制御部は、時計部１１６を参照して計時処理を開始する。この計時処理は、動画撮影動作の開始時点の情報や、撮影継続時間等を取得して、取得された画像データの関連付け情報としての計時情報として記録するための処理である。なお、動画像の撮像動作自体については、従来の撮像装置において行われる動画撮像動作の処理と同様の処理であるものとして、その詳細説明は省略する。その後、図９のステップＳ１０８の処理に進む（図８，図９の丸符号９参照）。

ステップＳ１０８において、制御部は、高速撮像動作が必要であるか否かの確認を行なう。ここで、高速撮像動作が必要である場合とは、１フレームの画面内に動体が検出されている場合を想定している。即ち、動体が検出されて高速撮像動作を行うべきと判断された場合には、次のステップＳ１０９の処理に進む。また、動体が検出されておらず高速撮像動作が不要であると判断された場合には、ステップＳ１１４の処理に進む。

ステップＳ１０９において、制御部は、動体の存在する領域について対応する分割領域の限定が可能であるか否かの確認を行なう。ここで、分割領域の限定が可能であると判断された場合には、ステップＳ１１０の処理に進む。また、分割領域の限定が不可能であると判断された場合には、ステップＳ１１４の処理に進む。

なお、分割領域の限定が可能であるか否かの判断とは、例えば次のような状況を想定している。即ち、上述のステップＳ１０４の処理による判別結果、即ち動体（上述のステップＳ１０２の処理で検出されている）が存在する分割領域が、対応する１フレームの全領域に対して所定以上の広さ（面積）を占めている場合には、当該判別された分割領域での高フレームレートによる撮像動作が困難な場合があり得る。そのような場合には、分割領域の限定が不可能であるものと判断することにする。ここで、全領域に対する所定以上の広さ（面積）とは、例えば、全領域面積に対して判別された分割領域面積が３０％程度以上の面積を占めている場合等である。分割領域面積は、小さい程、より高フレームレートでの駆動が容易となる。

ステップＳ１１０において、制御部は、分割領域を限定して読み出し処理を行なう。即ち、制御部（のフレームレート変更部１１３）は、撮像素子の受光面の全領域のうちから動体を含む分割領域について、通常のフレームレートよりも高いフレームレートとする設定変更処理を行なう。そして、制御部は、撮像部１１を制御して、当該分割領域について、設定された高フレームレートによる読み出し処理（撮像動作処理）を実行する。

なお、当該ステップＳ１１０の処理（分割領域限定読出処理）にて行われる詳細な処理シーケンスについては、図１０〜図１６によって後述する。

次いで、ステップＳ１１１において、制御部は、動画像の撮像動作を終了する指示信号が発生したか否かの確認を行なう。ここで、動画撮像動作終了指示信号の発生が確認されなければ、上述のステップＳ１０８の処理に戻る。また、動画撮像動作終了指示信号の発生が確認されると、次のステップＳ１１２の処理に進む。つまり、ステップＳ１１１の処理においては、制御部は、動画撮像動作終了指示信号の発生が確認されるまで同様の処理を繰り返す。

動画撮像動作終了指示信号が確認されて、ステップＳ１１２の処理に進むと、このステップＳ１１２において、制御部（の画像データ記録部１１５）は、取得された領域情報（分割領域に関する情報），計時情報，画像データ（部分領域データ；第２の画像データ）等の記録処理を行なう。なお、ここでは、同時に、制御部（の撮像結果関連付け記録部１１４）によって、得られた各種情報と対応する画像データとの関連付け処理も行なう。その後、図８のステップＳ１０１の処理に戻る（図９，図８の丸符号８参照）。

一方、上述したように、上述のステップＳ１０８の処理にて高速撮像動作が不要であると判断された場合と、上述のステップＳ１０９の処理にて分割領域の限定が不可能であると判断された場合には、ステップＳ１１４に進む。

このステップＳ１１４において、制御部は、通常のフレームレートによる撮像処理の実行を継続して行なう。

次いで、ステップＳ１１５において、制御部は、動画像の撮像動作を終了する指示信号が発生したか否かの確認を行なう。この確認処理は、上述のステップＳ１１１の処理と同様である。即ち、動画撮像動作終了指示信号の発生が確認されなければ、上述のステップＳ１０８の処理に戻る。また、動画撮像動作終了指示信号の発生が確認されると、次のステップＳ１１６の処理に進む。

ステップＳ１１６において、制御部（の画像データ記録部１１５）は、取得された領域情報（全領域である旨の情報），計時情報，画像データ（部分領域データ；第２の画像データ）等の記録処理を行なうと同時に、制御部（の撮像結果関連付け記録部１１４）による関連付け処理も行なう。この記録処理は、上述のステップＳ１１２の処理と同様である。その後、図８のステップＳ１０１の処理に戻る（図９，図８の丸符号８参照）。

一方、上述のステップＳ１０５の処理にて、静止画撮像開始信号が検出されて、ステップＳ１１３の処理に進むと、このステップＳ１１３にて、制御部は、静止画像の撮像動作を実行する。その後、ステップＳ１０１の処理に戻る。なお、静止画像の撮像動作については、従来の撮像装置において行われる静止画撮像動作の処理と同様の処理が行われるものとして、詳細説明は省略する。

なお、上述の図８，図９で示す作用例では、動画撮像時に得られる動画像データに基づいて動体検出を行う処理としているが、この例に限られることはない。例えば、静止画撮像モードにおいて、静止画像の連続撮影動作を行った結果で取得される複数の静止画像データに基づいて同様の処理（動体を判別し、通常フレームレートで取得する全領域データ（第１の画像データ）と高フレームレートで取得する（第２の画像データ）とを取得する処理等）を行うようにしてもよい。

また、上述した作用例では、図９のステップＳ１０８以降の処理は、動画撮像動作信号の発生後、即ち記録を伴う動画像撮像動作中の処理としているが、この例に限られることはない。例えば、ステップＳ１０８以上の処理を、ライブビュー表示処理時に実行するようにしてもよい。

ここで、上述のステップＳ１１０（図９参照）の処理にて行われる詳細を、図１０〜図１６を用いて以下に説明する。図１０〜図１６は、本実施形態の撮像装置１００の作用の概略を説明する説明図である。

このうち、図１０は、本実施形態の撮像装置１００を用いて、球技シーン（例示はサッカー）におけるボールの動きを動画像として撮像する際の様子を示す概念図である。

図１０において、太線で示す矩形枠（符号１３Ａ）は、撮像装置１００の撮像素子１１ｂによって取得し得る画像データの１フレーム分の全領域を示している。つまり、矩形枠を示す符号１３Ａは、撮像素子１１ｂの受光面の有効撮像領域（センサ領域）に対応する。したがって、以下の説明において矩形枠で示す符号１３Ａを、全領域画像１３Ａと呼称することにする。

ここで、当該全領域画像１３Ａは、上述したように、複数の領域に分割した形態で構成されている。そして、全領域画像１３Ａの各領域を分割領域というものとする。これらの分割領域のそれぞれは、各領域毎に異なるフレームレートで駆動制御することができるように制御され管理されている。この場合において、各分割領域に設定できるフレームレートは、例えば任意の数値に、若しくは予め決められた数値（例えば１２０ｆｐｓ，２４０ｆｐｓ等）毎に複数段階で設定できるようになっているものとする。

図１０に示す例では、全領域画像１３Ａに対し、長辺（横）方向に８つ、短辺（縦）方向に５つの分割領域が並べて配置されているものとしている。そして、全領域画像１３Ａは、合計４０個の分割領域によって構成されている形態としている。換言すると、撮像素子１１ｂの受光面は、横８ｘ縦５＝４０個の分割領域で構成されているものとしている。

なお、これら複数の分割領域を明示するために、図１０において、全領域画像１３Ａの長辺方向においては右から順に数字の１〜８を割り当てると共に、同短辺方向においては上から順にローマ字アルファベットのＡ〜Ｅを割り当てることにする。そして、これらの数字及び英アルファベットの組み合わせによって、全領域画像１３Ａの画面枠内における複数の分割領域の位置を特定することにする。具体的には、例えば図１０において、全領域画像１３Ａの右上隅の分割領域は、位置Ａ１として特定することができる。同様に、全領域画像１３Ａの右下隅の分割領域は、位置Ｅ１として特定される。

図１０に示す例示は、球技（サッカー）にて競技者５０３がシュートを行なうシーンを想定している。ここで、ボールを動体とし、画面外にいる競技者５０３が蹴ったボールがゴール内に飛び込むまでの間のボールの動きを動画像として記録する状況を概念的に示している。

なお、図１０においては、動画像であることを示すために、各フレーム毎の画像を重ねた形態で概念的に示している。したがって、同図１０においては、撮影対象動体としてのボールが画面内を所定時間毎に移動する際の６つのフレームを重ねた形態で図示されている。

また、図１０においては、説明の便宜上から、撮像素子１１ｂの全領域画像１３Ａから外れた領域の状況、即ち画面外にいる競技者５０３及び当該競技者５０３が蹴った直後であって画面外にあるボールをも合わせて図示している。

ここで、符号Ｔ１〜Ｔ７は、通常フレームレートで連続的に取得された各フレームに対応する画像を示すものである。このうち、符号Ｔ１は画面外のフレームに対応する画像に付されているものとする。また、符号Ｔ２〜Ｔ７は、符号Ｔ１の後に順次取得されるフレーム毎の画像にそれぞれ対応させて付されているものとする。

図１１〜図１５は、図１０に示す全領域画像１３Ａのうちの一部の領域を拡大して示す要部拡大概念図である。なお、図１１〜図１４においては、具体的には、符号Ｔ２，Ｔ３の２フレーム分に対応する画像（（ボール（動体））を示している。なお、図１４，図１５においては、さらに、符号Ｔ４，Ｔ５の２フレーム分に対応する画像（（ボール（動体））をも同時に示している。

このような（図１０に示す）状況下において、競技者５０３がボールを蹴り飛ばしたときに、当該ボールが画面内で移動する際の部分領域を推定し、推定された部分領域に対応する分割領域のフレームレートのみを高速に設定する処理（分割領域限定読出処理）の具体的な作用の流れを、簡単に説明する。

まず、当該処理（分割領域限定読出処理）は、簡略に言うと、通常フレームレートで連続的に取得される全領域データ毎に対象とする動体を検出し、検出した動体のベクトル（以下、動体ベクトルという）を判別して、当該動体ベクトルから動体の次の移動先の領域を予測し、動体が予測領域に入る以前に当該予測領域のフレームレート設定を変更する処理である。ここで、動体ベクトルは画面内における像の動きを表すことになるので、例えばスポットライト等のように、実体の無いものを対象物としても、動きとして処理することができる。

このような処理により、１フレームの画面内において動体ベクトルが所定値より低いである（動きがない）対象物が含まれる分割領域は通常のフレームレートで駆動し、動体ベクトルが所定値以上の対象物が含まれる分割領域のみを高いフレームレートで駆動することができる。ここで設定される高いフレームレートとは、予めメニュー設定等によって使用者（ユーザ）が設定するフレームレート値である。

そして、高フレームレートで取得した分割領域の部分領域データと、全領域データとを用いて、対応する全領域データを作成する。これにより、動画像データの情報量（データ容量）を削減することができる。

なお、動体ベクトルの対応領域が所定以上に広い場合には、通常の場合に設定される高フレームレートよりも低いフレームレートであって、通常フレームレートよりも高いフレームレートとなるような設定もできる。即ち、動体ベクトルを含む場合に高フレームレートに設定するとき、動体ベクトルの領域の広狭によってフレームレートの設定を段階的に設定できる。

以上の分割領域限定読出処理について、さらに詳しい説明を以下に示す。

まず、図１０に示すような状況において、撮影者（不図示）が保持する撮像装置１００の表示部１３の背面パネルには、撮像素子１１ｂによって順次取得された画像データに基づいて生成された全領域画像１３Ａが連続的に表示されるライブビュー表示が行われている。このとき、上述したように、撮像装置１００はライブビュー画像の各フレームに対応する各画像データ基づいて動体検出処理を同時に実行している。ここで、動体検出処理は、予め登録されたデータベースを参照し、所定の時点で取得された１フレーム分の画像データに基づく画像の画面内に動体としてのボールを検出する処理である。

ここで、画面外の競技者５０３がボールを蹴ったときには、ボールは、符号Ｔ１から符号Ｔ２，Ｔ３，……，Ｔ７へと移動するものとする。この場合において、ボールが符号Ｔ２に示す位置に到達したとき（つまりボールが全領域画像１３Ａで示される画面枠内に入ったとき）、実行中の動体検出処理によって当該ボールが動体として検出される。

こうして、図１０，図１１の符号Ｔ２の位置にてボールが動体として検出されると、当該ボールの位置に対応する分割領域Ｄ１，Ｅ１が判別される。

こうして、対象動体であるボールに対応する分割領域Ｄ１，Ｅ１が判別された時点で、当該分割領域について、通常フレームレートよりも高いフレームレートでの駆動を開始させる。この場合に設定される高フレームレート値は、予めメニュー設定等によって使用者（ユーザ）が設定しておいたフレームレート値である。

次に、動体として検出された（符号Ｔ２の位置する）ボールの像に対し、図１１に示すように、外接矩形領域Ｓ２を設定する。

次に、符号Ｔ２に位置するボールが、当該画面内において、その後、どのように移動するのかを予測する処理を行なう。そのためには、まず、符号Ｔ２の次の１フレーム分の画像データについて、ボールの位置を検出する。ここでは、図１０〜図１２に示すように、ボールは、符号Ｔ２の位置から符号Ｔ３の位置に移動するものとしている。こうして、符号Ｔ３に位置するボールが検出されたら、当該符号Ｔ３のボールの像に対しても、図１２に示すように、外接矩形領域Ｓ３を同様に設定する。

なお、符号Ｔ３のボール位置が検出されたら、対応する分割領域Ｃ１，Ｃ２，Ｄ１，Ｄ２の４つの分割領域について、高フレームレートによる駆動を開始させる。同時に、この時点までに高フレームレートで駆動していた分割領域（符号Ｔ２のボール位置に対応する分割領域Ｄ１，Ｅ１）のうち分割領域Ｅ１については、通常フレームレートでの駆動に戻す。なお、ここで、分割領域Ｄ１については、上述したように、符号Ｔ３のボール位置に対応する分割領域となっているので継続して高フレームレートでの駆動が行われる。

このようにして、符号Ｔ２と符号Ｔ３のそれぞれのボールの位置が検出されることにより、当該ボールの飛翔方向が判別できる。即ち、図１２に示すように、符号Ｔ２の位置のボールに対応する外接矩形領域Ｓ２の四隅のうちの一点Ｕ２と、符号Ｔ３の位置のボールに対応する外接矩形領域Ｓ３の四隅のうち上記一点Ｕ２に対応する同位置の一点Ｕ３とを直線で結ぶ。こうすることにより、ボールの飛翔方向と速度を示す動体ベクトルＶ１を示すことができる。このようにしてボールの飛翔方向の動体ベクトルＶ１が求められると、この動体ベクトルＶ１に基づいて、符号Ｔ３の位置以後にボールが飛翔していく予想範囲を推定することができる。

そのために、例えば、図１３に示すように、符号Ｕ２を始点とする動体ベクトルＶ１を基準として、所定の角度Ｒ１（具体的には例えば±２５度程度）の範囲で、かつ動体ベクトルＶ１に沿う所定の長さの範囲を設定すると、略扇形状のボール飛翔予想範囲Ｅ１が設定できる（図１４の一点鎖線参照）。この場合において、当該扇形状の予想範囲Ｅ１を設定するための角度や長さ等のパラメータは、例えば動体としてのボールの飛翔速度値等を考慮して自動的に設定されるものとする。したがって、そのための各種のデータも、上記データベースに含まれているものとする。

同様に、図１４に示すように、外接矩形領域Ｓ２の符号Ｕ２以外の２つの点Ｕ２ａ，Ｕ２ｂのそれぞれと、予想範囲Ｅ１とによって、図１４に示すように、外接矩形領域Ｓ２の移動予想範囲Ｅ２（図１４の二点鎖線参照）を設定できる。

こうして、ボールの飛翔する予想範囲（外接矩形領域Ｓ２の移動予想範囲Ｅ２）が設定されると、当該予想範囲Ｅ２が含まれる分割領域（符号Ｂ１，Ｂ２，Ｂ３，Ｃ１，Ｃ２，Ｃ３，Ｄ１，Ｄ２，Ｄ３）について高フレームレートで駆動すればよいことが判別できる。

なお、このうち分割領域Ｃ１，Ｃ２，Ｄ１，Ｄ２については、上述したように、符号Ｔ３を検出した際に高フレームレートによる駆動が開始されている。

このような一連の処理を、ボールが飛翔している間に、ボールを追尾しながら、各フレーム毎に繰り返し行えば、高フレームレートで駆動すべき分割領域を、動体としてのボールが到達する前に予測し実行することができる。

したがって、ボールの画面内の移動に伴って、対応する分割領域のフレームレートを切り換えることによって、画面内を動体が動く際に、動体が位置する狭い領域のみを高フレームレートで駆動させるように制御することができる。

なお、上述の例示では、ボールの飛翔予測をするための画像データとして、符号Ｔ２に対応する１フレームの次の１フレームを符号Ｔ３としている。上述したように、符号Ｔ２，Ｔ３…で示す各フレームは、通常フレームレートで連続的に取得した複数の画像データである。

しかし、上述したように、例えば所定の時点（符号Ｔ２にボールが位置するとき）に動体としてのボールを検出するように構成している。このように、当該符号Ｔ２にボールが位置することが検出されると、画面内の所定の分割領域Ｄ１，Ｅ１については、高フレームレートで駆動する処理が開始されている。

したがって、通常フレームレートでの所定の時点で示す位置（例えば符号Ｔ３）にボールが到達する前の所定の時点、ボールが含まれる特定の狭領域の画像データ（ここではセンサ分割領域Ｄ１，Ｅ１）が取得されている。

具体的に示すと、例えば、図１５に示す符号Ｔ２と符号Ｔ３との間の符号Ｔ２．１や符号Ｔ２．２は、符号Ｔ２で示す所定の時点の後に高フレームレートで取得された分割領域Ｄ１の画像データの２フレーム分の画像データに含まれるボールの各位置を示している。

したがって、上述のボール飛翔予測範囲の設定処理を、所定の時点（符号Ｔ２）と、その次の時点（符号Ｔ２．１）とに対応する各画像データに基づいて行うようにしてもよい。そのようにすれば、より正確な飛翔予測が可能となる。

なお、ボール以外の他の動体、例えば図１０に示す例では、競技者や審判等の他の動体が画面内（全領域画像１３Ａ内）に入ってくる状況が考えられる。このような場合には、高いフレームレートに設定して駆動しなければならない分割領域が増加してしまう。

したがって、このような状況になった場合には、制御部１０の情報処理能力を超えてしまうので、設定された高フレームレートを、処理能力に見合ったフレームレートに下げる処理を行なうような制御を行うようにしてもよい。

このような制御処理を加えれば、動体撮像時において、可能な限り高精細な撮影を行うことができる。

また、動体領域を含む分割領域に対する高フレームレートへの切り換えを行う際には、通常のフレームレートと、それより高いフレームレートの二種類の設定であってもよいし、これに限らず、例えば状況に応じて、高フレームレートを二段階設定とするような設定でもよい。さらに、フレームレートの設定は、検出された動体の種類や速度，移動距離等の各種パラメータに応じて適宜自動的に設定するようにしてもよい。

このように、動体に着目して、より高いフレームレートでの駆動を行うような動画撮影では、例えば、スポーツ競技における審判の判定補助等（具体的には例えばボールのラインイン，ラインアウトのビデオ判定等）として活用することができる。

以上のような分割領域限定読出処理の流れを、図１６のフローチャートによって簡単に説明する。図１６は、図９のステップＳ１１０の処理、即ち分割領域限定読出処理の詳細を示すフローチャートである。

まず、図１６のステップＳ２０１において、制御部は、ライブビュー画像の各フレームに対応する各画像データ基づいて動体検出処理を実行する。

ステップＳ２０２において、制御部は、検出された動体が位置する領域（動体領域という）が所定の範囲以内であれば、その動体領域を含む分割領域を高いフレームレートに設定する処理（フレームレートアップ処理）を実行する。

ステップＳ２０３において、制御部は、動体ベクトル（方向，速度）を設定すると共に、分割領域判別処理及びフレームレート設定処理を実行する。ここで、フレームレート設定処理は、予めメニュー設定等によって使用者（ユーザ）が設定しておいたフレームレート値である。また、フレームレート設定処理の他の形態としては、例えば、推論モデルを利用して任意に設定するようにしてもよい。

ステップＳ２０４において、制御部は、判別された分割領域の範囲が所定の範囲よりも大きいか否かの確認を行なう。ここで、判別された分割領域の範囲が、所定の範囲よりも大きい場合には、ステップＳ２０５の処理に進む。また、判別された分割領域の範囲が、所定の範囲以内であれば、ステップＳ２０７の処理に進む。

続いて、ステップＳ２０５において、制御部は、当該判別された分割領域のフレームレートを通常のフレームレートに設定する。その後、図８の元の処理に戻る（リターン）。ここで、通常のフレームレートに戻す処理を行なうのは、設定された高フレームレートでの駆動では、データ容量が大きく負荷が大きくなってしまうことにより、処理しきれない等の可能性が考えられるためである。

ステップＳ２０７において、制御部は、動体方向に対応する分割領域を高いフレームレートで駆動する設定を行なう（フレームレートアップ処理）。その後、図８の元の処理に戻る（リターン）。

次に、本実施形態の撮像装置１００の別の形態の作用について、以下に説明する。図１７〜図１９は、本実施形態の撮像装置１００の作用の変形例を示すフローチャートである。このうち、図１７は本実施形態の撮像装置における撮像モード時の動作シーケンスの変形例を示すフローチャートである。図１８は当該撮像装置における再生モード時及び推論モデル生成モード時の動作シーケンスを示すフローチャートである。図１９は当該撮像装置と連携する外部機器側の処理シーケンスを示すフローチャートである。これら図１７〜図１９で示されるフローチャートは、図２に示す構成に基づいて説明する。

撮像装置１００は、電源オンの起動状態にあるものとする。この場合において、まず、図１７のステップＳ３０１において、制御部１０は、現在設定されている動作モードが撮像モードであるか否かの確認を行なう。ここで、撮像モードであることが確認された場合には、次のステップＳ３０２の処理に進む。また、撮像モード以外が確認された場合には、図１８のステップＳ３２１の処理に進む。

ステップＳ３０２において、制御部１０は、撮像部１１を制御して撮像動作を実行する。つまり、撮像部１１は、画像データを取得し、取得された画像データを表示部に表示する通常のライブビュー表示処理を実行する。これと同時に、制御部１０は、時計部１１６を参照して計時処理を開始する。さらに、制御部は、図示していないが、撮像部１１により取得された画像データに基づいて、フレーム内の被写体（動体）を判別する処理を開始する。その後、次のステップＳ３０３の処理に進む。なお、上述のライブビュー表示処理の際には、制御部１０は、通常のフレームレートによる撮像動作を行なうように、撮像部１１を制御する。

ステップＳ３０３において、制御部１０は、推論エンジン１６を用いた動体検出処理を行なう。

続いて、ステップＳ３０４において、制御部１０は、上述のステップＳ３０３の検出結果の信頼性が高いか否かの確認を行なう。ここで、信頼性が高いと判断された場合には、ステップＳ３０５の処理に進む。また、信頼性が高いと判断されなかった場合には、ステップＳ３０７の処理に進む。

ステップＳ３０５において、制御部１０は、動体が含まれる分割領域の選択処理を実行する。

続いて、ステップＳ３０６において、制御部１０は、選択された分割領域の仮記録処理を実行する。

次に、ステップＳ３０７において、制御部１０は、動画撮像動作の開始指示信号の確認を行なう。ここで、動画撮像動作開始指示信号が確認されると、ステップＳ３０８の処理に進む。また、動画撮像動作開始指示信号が確認されなかった場合には、ステップＳ３０１の処理に戻る。

ステップＳ３０８において、制御部１０は、推論エンジン１６を用いた動体検出処理を行なう（ステップＳ３０３と同様の処理）。

ステップＳ３０９において、制御部１０は、上述のステップＳ３０８の検出結果の信頼性が高いか否かの確認を行なう。ここで、信頼性が高いと判断された場合には、ステップＳ３１０の処理に進む。また、信頼性が高いと判断されなかった場合には、ステップＳ３１３の処理に進む（ステップＳ３０４と同様の処理）。

ステップＳ３１０において、制御部１０は、動体が含まれる分割領域の選択処理を実行する（ステップＳ３０５と同様の処理）。

続いて、ステップＳ３１１において、制御部１０は、選択された分割領域のフレームレートの変更処理及び記録処理を実行する。加えて、計時結果や領域位置情報の記録も行なう。これら各種の情報は、対応する動画像データに関連付けられて記録される。

次に、ステップＳ３１２において、制御部１０は、動画撮像動作の終了指示信号の確認を行なう。ここで、動画撮像動作終了指示信号が確認されると、ステップＳ３１４の処理に進む。また、動画撮像動作終了指示信号が確認されなかった場合には、ステップＳ３０１の処理に戻る。

ステップＳ３１４において、制御部１０は、動画像データの記録処理を実行する。その後、ステップＳ３０１の処理に戻る。

一方、上述のステップＳ３０９の処理にて、動体検出結果の信頼性が高いと判断されなかった場合にステップＳ３１３の処理に進むと、このステップＳ３１３において、制御部１０は、全領域データの記録処理を実行する。加えて、計時結果も記録する。その後、ステップＳ３１２の処理に進む。

他方、上述のステップＳ３０１の処理にて、現在設定されている動作モードが撮像モード以外であることが確認されて、図１８のステップＳ３２１の処理に進むと、このステップＳ３２１にて、制御部１０は、現在設定されている動作モードが再生モードであるか否かの確認を行なう。ここで、再生モードであることが確認された場合には、次のステップＳ３２２の処理に進む。また、再生モード以外が確認された場合には、ステップＳ３３１の処理に進む。

ステップＳ３２２以降において、制御部１０は、通常の再生モード処理を実行する。即ち、ステップＳ３２２において、制御部１０は、一覧表示処理を実行する。この一覧表示処理は、記録媒体に記録済みの画像データを一覧形式で表示する一般的な処理である。

続いて、ステップＳ３２３において、制御部１０は、選択再生処理を実行する。この選択再生処理は、使用者（ユーザ）の選択操作指示を受けて、対応する画像データを記録媒体から読み出して、当該読み出された画像データの基づく画像（静止画像若しくは動画像）を再生表示する処理である。

この場合における再生表示処理については、本実施形態の撮像装置では、上述のようにして取得された動画像データに基づく再生処理に若干特徴がある。

即ち、まず、ステップＳ３２４において、制御部１０は、選択された画像データが、撮像動作時にフレームレート変更を伴って記録された動画像データか否かの確認を行なう。ここで、該当する動画像データである場合には、ステップＳ３２５の処理に進む。また、非該当の場合には、通常の再生動作を実行した後、ステップＳ３２６の処理にすすむ。

ステップＳ３２５において、制御部１０は、各種形態による動画像表示処理を実行する。ここで行われる動画像表示処理としては、例えば、通常フレームレートで取得された全領域データ（第１の画像データ）と、当該全領域データの動体領域以外の部分と部分領域データ（第２の画像データ）及び動体位置情報を用いて（合成処理若しくは重畳表示処理等によって）作成された全領域データとによって生成した動画像表示や、このようにして作成した動画像データに基づくスローモーション表示、または部分領域データのみを用いた部分拡大スローモーション表示等、各種の形態の再生表示動作を行うことができる。このような再生表示処理が終了すると、再度、一覧表示及び選択指示の待機状態になる。

次に、ステップＳ３２６において、制御部１０は、再生動作終了指示信号の有無を確認する。ここで、再生動作終了指示信号が確認されると、当該再生モード処理を抜けて、図１７のステップＳ３０１の処理に戻る。また、再生動作終了指示信号が確認されない場合には、上述のステップＳ３２４の処理に戻り、以降の処理ステップを繰り返す。

一方、上述のステップＳ３２１の処理にて、再生モード以外が確認されて、ステップＳ３３１の処理に進むと、このステップＳ３３１において、制御部１０は、推論モデルの作成依頼指示信号の有無を確認する。ここで、推論モデルの作成依頼指示信号が確認されると、次のステップＳ３３２の処理に進む。また、推論モデルの作成依頼指示信号が確認されない場合は、ステップＳ３３４の処理に進む。

続いて、ステップＳ３３２において、制御部１０は、対象物設定処理を実行する。この対象物設定処理は、所望の被写体（動体）についての情報を入力し設定する処理等である。

次に、ステップＳ３３３において、制御部１０は、学習依頼処理を実行する。この学習依頼処理は、例えば、当該撮像装置１００と外部機器２００とをデータ通信によって連携させ、外部機器２００に対して、入力設定した所望の被写体（動体）に関する推論モデルを作成するための学習を依頼（リクエスト）するといった処理等である。その後、図１７のステップＳ３０１の処理に戻る。

他方、上述のステップＳ３３１の処理にて、推論モデルの作成依頼指示信号が確認されずにステップＳ３３４の処理に進むと、このステップＳ３３４において、制御部１０は、推論モデルの取得指示信号の確認を行なう。ここで、推論モデル取得指示信号が確認された場合には、ステップＳ３３５の処理に進む。また、推論モデル取得指示信号が確認されない場合は、図１７のステップＳ３０１の処理に戻る。

ステップＳ３３５において、制御部１０は、外部機器２００との通信による、所望する推論モデルのダウンロード（取得）処理及び記録処理を実行する。その後、図１７のステップＳ３０１の処理に戻る。

なお、図１７，図１８に示す作用の例示では、撮像モード以外の動作モードとして、ステップＳ３２１以降の処理にて再生モードを例示し、ステップＳ３３１以降の処理にて推論モデルの作成処理を示し、さらにステップＳ３３４以降の処理にて推論モデルのダウンロード（取得）処理等を例示している。

これらの各処理については、本発明に直接関連しない部分であるので簡単な説明に留めている。また、本実施形態の撮像装置１００においては、これらの動作モード以外にも、他の動作モード、例えば通信モード，設定モードなどが存在するが、これらの動作モードについても、本発明に直接関連しない部分であるので、その詳細は、従来の撮像装置に適用されているものと同様であるとして、それらの説明を省略している。

次に、本実施形態の撮像装置１００と連携して動作する外部機器２００の作用を、図１９のフローチャートを用いて以下に説明する。

まず、図１９のステップＳ４０１において、外部機器２００の制御部（不図示；制御回路；プロセッサ）は、撮像装置１００等の依頼元からの学習依頼指示の有無を確認する。ここで、学習依頼指示が確認された場合には、ステップＳ４０２の処理に進む。また、学習依頼指示が確認されない場合には、ステップＳ４２１の処理に進む。

ステップＳ４０２において、制御部は、タイトルや代表画像に基づいて所望の対象物に類似する類似対象物の連続画像データ群（動画データを含む）を学習参考用画像データ群として取得する処理を行なう。

続いて、ステップＳ４０３において、制御部は、取得した類似対象物の連続画像データ群のうちから動体を含む領域が判定できる画像データ群を選択する処理を行なう。連続画像データ群の各フレームの画像データのそれぞれにおいて、背景が静止しており、動体が動いているといった状況の画像データの場合、動体を含む一部の領域を検出することは簡単に検出することができるようになっている。また、このような場合において、背景領域が手振れなどで揺れており、完全に静止した状態になくても、そのような背景の中で動いている部分を検出することは、動きベクトルの検出や解析処理などによって検出することができるようになっている。ここで、図５（ｂ２）に示すような切り出し処理を行うには、いくつかの考え方がある。例えば、まず第１に、動いている動体（鳥）の輪郭の全てが含まれるように切り出し処理を行なう場合が考えられる（単純切出処理というものとする）。第２に、同じ画面内で動いている部分が特定の場所に留まるように精密な切り出し処理を行なう場合が考えられる（精密切出処理というものとする）。このことは、再生する時に、図４のように、背景に対して切り出した部分を重ねた形態で再生表示する場合と、動体（鳥）の羽ばたきを目視で解析できるようにするために、動体（鳥）の部分だけを再生する場合とで、切出処理を異ならせて行なうようにする。前者（単純切出処理）の場合は、切り出した画像が背景を含む全体の中でどの部分に相当するかを座標などで管理できるようにすればよい。この場合、切り出し処理の対象範囲などが変化しても再生時に不自然さを感じるという問題は生じない。後者（精密切出処理）の場合は、例えば動体（鳥）が動かしていないところは止まって見えるようにし、動いているところだけを動かすように表示するために、切り出し処理の範囲や切り出した画像内における対象物の位置などの管理が重要となる。使用者（ユーザ）が、どちらのタイプの再生を行おうとするかによって、学習に使う画像は変えた方が望ましい。しかしながら、厳密でなくても良い場合には、同じ学習データを用いて切出処理を行うようにすればよい。

ステップＳ４０４において、制御部は、選択画像データのうちから、動体が動く前から画面内に存在する動体を選択する処理を先に示したように実行する。これは、撮影時に推論モデルの出力に相当する画像部分の設定と言える。この選択された部分領域は、教師データを作るときのアノテーション（メタデータ；関連情報）に相当するので、一フレームずつ動く対象物がはみ出さないように対象物の輪郭や濃淡などを各フレームごとに判定して切り出す。また、これとは別に、前後のフレームを比較して動いていない背景部分を除去する切り出し処理の方法もある。なお、このような切出処理を手動によって行ってもよい。簡単な方法としては、対象物を含む矩形状の範囲を余白を大きめにして選択して切り出し処理を行なう。このようにして得られた画像の前後のフレームを比較して、対象物の動いていない画像部分を揃えて同じ大きさ（範囲）となるようにした上で、矩形状の範囲がフレーム毎に一致するように、余白部を削って切り出すという方法がある。このような複雑な切り出し処理を、瞬時に実行可能とするために、教師データが作られる。なお、この工程のいくつかは省略したり変更したりすることが可能である。

続いて、ステップＳ４０５において、制御部は、１フレームの全領域データと、その中で動体を含む部分領域データ、或いはこれから動き出そうとする動体を含む部分領域データを教師データ化する処理を行なう。上述のようにして、全領域データと選択された部分領域データの関係を入出力とする推論モデルを学習する時の教師データが生成される。
つまり、教師データは、あらかじめ得られていた連続した画像の各フレームから対象となる動体の部分を判定し、この動体部分の輪郭が収まるような余白を含む範囲の切り出し処理を行っている。このとき、切り出し時の余白が大きいと画像データが増えてしまうので、当該余白部分は少ない方が望ましい。また、余白を仮決めして画像の切り出しを行ったあとに、各フレームの切り出した部分を重ねて、動いていない部分を揃える切り出し処理をさらに行うようにしてもよい。単純に表現すると、あらかじめ得られた連続したフレームからなる画像群の各フレームの動体部分を含む矩形画像部分（座標情報なども含む）をアノテーション情報とした動画フレームを教師データというものとする。撮像素子によっては、矩形状でなくとも切り出しやすいタイプがあるが、矩形状の切り出し処理とするのが単純で扱いやすいと考えられる。これによって、図２の推論エンジンに適応される推論モデルは、簡単に動体部分を含む適切な範囲を各フレームから切り出し可能となる。そして、得られたライブビュー画像から順次切り出し範囲を、座標情報も含め判定できる。

次に、 ステップＳ４０６において、制御部は、全領域データを入力画像データとし、そのうちの選択された部分領域を出力画像データとして設定する。

ステップＳ４０７において、制御部は、所定の推論モデル化処理を実行する。

続いて、ステップＳ４０８において、制御部は、推論の信頼性が所定値以上であるか否かの確認を行なう。ここで、推論の信頼性が所定値以上であることが確認された場合には、ステップＳ４０９の処理に進む。また、推論の信頼性が所定値未満であることが確認されると、ステップＳ４１０の処理に進む。

ステップＳ４０９において、制御部は、作成された推論モデルの記録処理を実行する。

一方、 ステップＳ４１０において、制御部は、教師データの再設定処理等を実行する。

続いて、ステップＳ４１１において、制御部は、所定回数以上の繰り返し処理を行ったか否かの確認を行なう。ここで、所定回数以上であることが確認された場合には、ステップＳ４１２の処理に進む。また、所定回数未満であることが確認されると、ステップＳ４０７の処理に戻り、以降の処理を繰り返す。

ステップＳ４１２において、制御部は、所望の画像が苦手画像情報である旨を送信する処理を行なう。ここで、苦手画像情報送信処理は、例えば推論モデルを作成するのに際して設定した教師データを用いて所定の学習を行った場合に、高い信頼性を得ることが必ずしも期待できない旨の情報を、学習部２０１へと送信する。その後、ステップＳ４０９の処理に進む。

一方、上述のステップＳ４０１において、撮像装置１００等の依頼元から学習依頼が確認されずにステップＳ４２１の処理に進むと、このステップＳ４２１において、制御部は、学習結果の送信依頼が撮像装置１００から出されているか否かの確認を行なう。ここで、撮像装置１００からの学習結果送信依頼が確認された場合には、次のステップＳ４２２の処理に進む。また、撮像装置１００からの学習結果送信依頼が確認されない場合には、ステップＳ４０１の処理に戻る。

ステップＳ４２２において、制御部は、作成済みの推論モデルを撮像装置１００等の依頼元へと送信する処理を実行する。その後、ステップＳ４０１の処理に戻る。

なお、図１９に示す例では、当該外部機器２００は、撮像装置１００等の依頼元からの送信依頼指示を待って、作成した推論モデル等の情報を送信するようにしているが、この形態に限られることはない。例えば、推論モデルの作成が完了したら、送信依頼を待たずに作成完了後に、自発的に依頼元へと送信するようにしてもよい。

以上説明したように上記第１の実施形態によれば、記録装置である撮像装置１００は、通常のフレームレートで連続的に取得された第１の画像データ（全領域データ）の領域毎の特徴に応じて上記第１の画像データ（全領域データ）の一部画像領域（部分領域）を上記第１の画像データ（全領域データ）より高いフレームレートで取得した第２の画像データ（部分領域データ）と、上記第２の画像データ（部分領域データ）が上記第１の画像データ（全領域データ）のどの領域に対応するかを表す領域情報とを関連付けて記録する連続撮影部１１０（制御部１０）を具備し、上記一部画像領域（部分領域；動体を含む領域）を判別する時に上記領域毎の特徴として検出された動体の位置に応じて領域候補（撮像素子の分割領域の画像データ）を出力する領域候補判別部（動体領域判別部１１２）を具備している。

この構成により、本実施形態の撮像装置１００は、撮像モードにおいてライブビュー画像表示動作中であっても、撮像部１１によって連続的に取得される複数の画像データ（全領域データ；第１の画像データ）に基づいて各フレームに含まれる動体を検出し、当該動体を含む部分領域のみを高いフレームレートで駆動することにより、通常のフレームレートで全領域データ（第１の画像データ）を取得しながら、同時に複数の部分領域データ（第２の画像データ）を取得することができる。これにより、連続的に取得される画像データの全体的なデータ容量を抑制することができる。

また、こうして取得された通常フレームレートで取得された複数の全領域データ（第１の画像データ）と、高いフレームレートで取得された複数の部分領域データ（第２の画像データ）とに基づいて、複数の部分領域データ（第２の画像データ）のそれぞれに対応する全領域データ（第１の画像データ）を生成することができる。これにより、高いフレームレートで全領域データ常に取得せずとも、高いフレームレートでの再生を行なうことができる。

したがって、例えば撮像対象とする動体の動きをより鮮明に再生することができるようになる。また、例えば当該動体のスローモーション再生を行なうことができる。さらに、複数の部分領域データのみを用いて再生動作を行うことにより、撮像対象とした動体の動きを拡大した鮮明な画像で表示したり、拡大スローモーション表示を行うこともできる。このように、再生動作時における多彩な表示形態を容易に実現することができる。

そして、領域候補判別部（動体領域判別部１１２）は、第１の画像データ（全領域データ）のうちの一部画像領域（部分領域；動体を含む領域）を判別する時に上記領域毎の特徴としての動体を検出する際に推論モデルを利用している。

このような構成により、本実施形態の撮像装置１００は、１フレームの画面内での動体の移動先の位置を予測することができるので、常に確実かつ正確に、しかも迅速に動体の位置を判別することができる。

上述した実施形態においては、通常形態の撮像装置１００を用いて、一般的な対象物（例えば鳥の飛翔シーンやサッカー等の球技におけるボールの軌跡（シュートシーン）等）を撮像対象とする状況を例示したが、動体を撮像対象とする状況は、他にも考えられる。例えば、光学顕微鏡等を用いて細胞等の微小な動体を拡大して撮像するといった状況等において、光学顕微鏡観察下での細胞分裂の様子や微生物の成長過程等を動体の具体例として考慮することができる。さらに、このほか、内視鏡観察下の動画撮影において、例えば生体内部、例えば臓器内部の動体観察等であっても、本発明は全く同様に適用することができる。

図２０，図２１は、光学顕微鏡観察下において微小動体を撮像対象物とした場合の状況を概念的に示す図である。このうち図２０は、本発明の記録装置である撮像装置の一形態としての光学顕微鏡の概略的な外観を示す図である。図２１は、図２０の光学顕微鏡を用いて微小動体としての細胞の細胞分裂を撮像対象とした場合に取得される画像データに基づいて表示される画像を概念的に示す図である。

図２０に示すように、光学顕微鏡１００Ａは、接眼レンズ１１ａａ及び対物レンズ１１ａｂを有し、ステージ１０１上に載置された撮像対象物を光学的に拡大観察するための装置である。さらに、当該光学顕微鏡１００Ａは、撮像部１１と、撮像部１１等を制御する制御回路を備えたプロセッサ等からなる制御部（不図示）等を有して構成されている。これにより、当該光学顕微鏡１００Ａは、光学像を電子的な画像データとして取得し、記録することのできる記録装置であり撮像装置として機能するように構成されている。なお、当該光学顕微鏡１００Ａにおける構成において、その他の基本的な構成部分については、上述の一実施形態の記録装置である撮像装置１００と略同様であるものとする（図２参照）。

このような形態の光学顕微鏡１００Ａを用いて取得される画像データは、図２１に示すような形態である。図２１において、太線で示す矩形枠（符号１３Ａ）は、光学顕微鏡１００Ａの撮像部１１Ａに含まれる撮像素子（不図示）によって取得し得る画像データの１フレーム分の全領域画像を示している。

当該全領域画像１３Ａは、複数の領域に分割した形態で構成されている点において、上述の撮像装置１００と同様である。即ち、全領域画像１３Ａの各領域（分割領域）のそれぞれは、各領域毎に異なるフレームレートで駆動制御することができるように制御され管理されている。

図２１に示す例では、全領域画像１３Ａに対し、長辺（横）方向に５つ、短辺（縦）方向に５つの分割領域が並べて配置されている例を示している。これにより、全領域画像１３Ａは、合計２５個の分割領域によって構成されている形態としている。

なお、これら複数の分割領域のそれぞれを特定するための手段は、上述の一実施形態で説明したものと同様である。即ち、図２１においては、全領域画像１３Ａの長辺方向においては右から順に数字の１〜５を割り当て、短辺方向においては上から順にローマ字アルファベットのＡ〜Ｅを割り当てている。これにより、例えば図２１において、全領域画像１３Ａの右上隅の分割領域は、位置Ａ１として特定できる。

図２１に示す例示は、顕微鏡観察下において、細胞が分裂するシーンを想定して図示している。ここで、細胞６１１ａを動体として概念的に示している。

このような状況下においても、細胞６１１ａが細胞分裂をする際の動きを、撮像対象とする動体として見ることで、上述の一実施形態と全く同様の作用により、同様の効果を得ることができる。

例えば、観察画面内のどの細胞が分裂しそうかどうかを予測して（動体予測）、その予測した対象動体領域を含む分割領域のみを高いフレームレートで駆動することで、例えば拡大動画やスローモーション表示等を行なうことができるようになる。

なお、上述した実施形態においては、主に動画像撮影時の状況を例に挙げて説明しているが、この例に限られることはない。本発明は、例えば静止画像を連続的に高速で撮影する場合（いわゆる連続撮影動作の場合）であっても、略同様に適用することができる。

なお、プログラムで構成した部分を適宜、回路に置き換えることも可能である。上述の実施形態の説明中において、「部」（セクションやユニット）として記載した部分は、専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイコン、ＣＰＵなどのプロセッサ、あるいはＦＰＧＡなどシーケンサを組み合わせて構成されてもよい。また、その制御の一部または全部を外部の装置が引き受けるような設計も可能で、この場合、有線や無線の通信回路が介在する。通信は、ブルートゥース（登録商標）やＷｉＦｉ（登録商標）、電話回線などで行えばよく、ＵＳＢなどで行っても良い。専用の回路、汎用の回路や制御部を一体としてＡＳＩＣとして構成してもよい。機械的に位置制御される部位（例えば移動部など）は、様々なアクチュエータと、必要に応じて移動用の連結メカニズムによって構成されており、ドライバ回路によってアクチュエータが作動する。このドライブ回路もまた、特定のプログラムに従ってマイコンやＡＳＩＣなどが制御する。こうした制御は各種センサやその周辺回路が出力する情報によって、詳細な補正、調整などが行われても良い。

また、上述の実施形態で説明した各処理シーケンスは、その性質に反しない限り、手順の変更を許容し得る。したがって、上述の処理シーケンスに対して、例えば各処理ステップの実行順序を変更したり、複数の処理ステップを同時に実行させたり、一連の処理シーケンスを実行する毎に、各処理ステップの順序が異なるようにしてもよい。即ち、特許請求の範囲，明細書及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップにおいては、発明の本質に影響しない部分について適宜省略することもできることは言うまでもない。

ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがソフトウエアプログラムにより設定できることが多くあり、そのソフトウエアプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのソフトウエアプログラムは、コンピュータプログラム製品として、予め製品製造過程において上記記憶媒体や記憶部等、具体的には例えばフレキシブルディスク ＣＤ−ＲＯＭ等 不揮発性メモリ等の可搬媒体やハードディスク 揮発性メモリ等の記憶媒体に、その全体あるいは一部を記憶又は記録されている電子データである。また、これとは別に、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供ができるものである。利用者は、製品出荷後であっても、自ら通信ネットワークやインターネット等を介して、それらのソフトウエアプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記憶媒体からコンピュータにインストールすることで、動作させるようにすることができ、これによって容易に上述の実施形態の記録装置である撮像装置を実現することができる。

また、「深層学習（ディープ・ラーニング）」は、ニューラル・ネットワークを用いた「機械学習」の過程を多層構造化したものである。情報を前から後ろに送って判定を行う「順伝搬型ニューラル・ネットワーク」が代表的なものである。これは、最も単純なものでは、Ｎ１個のニューロンで構成される入力層、パラメータで与えられるＮ２個のニューロンで構成される中間層、判別するクラスの数に対応するＮ３個のニューロンで構成される出力層の３層があればよい。そして、入力層と中間層、中間層と出力層の各ニューロンはそれぞれが結合加重で結ばれ、中間層と出力層はバイアス値が加えられることで、論理ゲートの形成が容易である。簡単な判別なら３層でもよいが、中間層を多数にすれば、機械学習の過程において複数の特徴量の組み合わせ方を学習することも可能となる。近年では、９層〜１５２層のものが、学習にかかる時間や判定精度、消費エネルギーの関係から実用的になっている。また、画像の特徴量を圧縮する、「畳み込み」と呼ばれる処理を伴い、最小限処理で動き、パターン認識に強い「畳み込み型ニューラル・ネットワーク」や、より複雑な情報を扱え、順番や順序によって意味合いが変わる情報分析に対応して、情報を双方向に流れる「再帰型ニューラル・ネットワーク」（全結合リカレントニューラルネット）を利用してもよい。

これらの技術の実現のためには、ＣＰＵやＦＰＧＡ（Field Programmable Gate Array）といったこれまでの汎用的な演算処理回路などを使ってもよいが、ニューラル・ネットワークの処理の多くが行列の掛け算であることから、行列計算に特化したＧＰＵ（Graphic Processing Unit）やTensor Processing Unit（ＴＰＵ）と呼ばれるものが利用される場合もある。近年ではこうした人工知能（ＡＩ）専用ハードの「ニューラル・ネットワーク・プロセッシング・ユニット（ＮＰＵ）」がＣＰＵなどその他の回路とともに集積して組み込み可能に設計され、処理回路の一部になっている場合もある。

その他の機械学習の方法としては、例えば、サポートベクトルマシン、サポートベクトル回帰という手法もある。ここでの学習は、識別器の重み、フィルター係数、オフセットを算出するもので、他には、ロジスティック回帰処理を利用する手法もある。機械に何かを判定させる場合、人間が機械に判定の仕方を教える必要があり、ここでは画像の判定を、機械学習により導出する手法を採用したが、そのほか、人間が経験則・ヒューリスティクスによって獲得したルールを適応するルールベースの手法を用いてもよい。

本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用を実施することができることは勿論である。さらに、上述の実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせによって、種々の発明が抽出され得る。例えば、上記実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題が解決でき、発明の効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。この発明は、添付のクレームによって限定される以外にはそれの特定の実施態様によって制約されない。

１０……制御部
１０ａ……記録制御部
１０ｂ……操作判別部
１０ｃ……通信制御部
１０ｄ……画像処理部
１０ｅ……パラメータ制御部
１０ｆ……画像内動体領域判別部
１１，１１Ａ……撮像部
１１ａ……レンズ
１１ａａ……接眼レンズ
１１ａｂ……対物レンズ
１１ｂ……撮像素子
１２……操作部
１３……表示部
１３Ａ……全領域画像
１４……通信部
１５……記録部
１５ａ……全領域データ
１５ｂ……部分領域データ
１５ｃ……関連情報
１６……推論エンジン
１６ａ……記憶部
２０ａ……通信部
２０ｂ……母集合作成部
２０ｃ……出力設定部
２０ｄ……入出力モデル化部
３０ａ……通信部
３０ｂ……画像データ
１００……撮像装置
１００Ａ……光学顕微鏡
１０１……ステージ
１１０……連続撮影部
１１２……動体領域判別部
１１２……領域候補判別部
１１３……フレームレート変更部
１１４……撮像結果関連付け記録部
１１５……画像データ記録部
１１６……時計部
２００……外部機器
２０１……学習部
２０２……データベース

Claims (8)

1. 第１の画像データと第２の画像データとを取得する撮像部と、
   所定のフレームレートで連続的に取得された第１の画像データの領域毎の特徴に応じて上記第１の画像データの一部画像領域を上記第１の画像データより高いフレームレートで取得した第２の画像データと、上記第２の画像データが上記第１の画像データのどの領域に対応するかを表す領域情報と、を関連付けて記録する連続撮影部を具備する記録装置であって、
   上記一部画像領域を判別する時に上記領域毎の特徴として検出された動体の位置に応じて領域候補を出力する領域候補判別部を具備することを特徴とする記録装置。
2. 上記領域候補判別部は、あらかじめ得られた連続したフレームからなる画像群の各フレームの動体部分を含む矩形部分をアノテーションした動画フレームを教師データによって学習された推論モデルを利用することを特徴とする請求項１に記載の記録装置。
3. 上記領域候補判別部は、上記一部画像領域を判別する時に、上記領域毎の特徴として動く前の動体を予測して検出することを特徴とする請求項２に記載の記録装置。
4. 上記領域候補判別部は、ライブビュー表示動作時に上記領域毎の特徴として動体を検出して、上記一部画像領域を判別することを特徴とする請求項１に記載の記録装置。
5. 上記第１の画像データと、上記第２の画像データと、上記領域情報とを関連付けて記録することを特徴とする請求項１に記載の記録装置。
6. 上記領域候補判別部は、上記第１の画像データを上記所定の範囲の領域毎に分割し、上記検出された動体を含む領域を、上記領域候補として出力することを特徴とする請求項１に記載の記録装置。
7. 所定のフレームレートで連続的に第１の画像データを取得し、
   第１の画像データの領域毎の特徴に応じて上記第１の画像データの一部画像領域を上記第１の画像データより高いフレームレートで第２の画像データを取得し、
   上記第２の画像データが上記第１の画像データのどの領域に対応するかを表す領域情報を取得し、
   上記第２の画像データと上記領域情報とを関連付けて記録し、
   上記一部画像領域を判別する時に上記領域毎の特徴として検出された動体の位置に応じて領域候補を出力することを特徴とする記録方法。
8. 所定のフレームレートで連続的に第１の画像データを取得するステップと、
   第１の画像データの領域毎の特徴に応じて上記第１の画像データの一部画像領域を上記第１の画像データより高いフレームレートで第２の画像データを取得するステップと、
   上記第２の画像データが上記第１の画像データのどの領域に対応するかを表す領域情報を取得するステップと、
   上記第２の画像データと上記領域情報とを関連付けて記録するステップと、
   上記一部画像領域を判別する時に上記領域毎の特徴として検出された動体の位置に応じて領域候補を出力するステップと、
   をコンピュータに実行させることを特徴とする記録プログラム。

Images