JP2022072874A - 撮像装置、及び、その制御方法、及び、プログラム - Google Patents

Abstract

【課題】 撮像装置と着脱可能デバイスとの間で実行中の処理への影響を少なくしつつ、着脱可能デバイスへの新規学習モデルの格納を行う。【解決手段】 撮像部を有し、当該撮像部で得た画像に基づく処理を実行する撮像装置であって、学習モデルを用いて与えられたデータを処理可能なデバイスを装着するためのインタフェースと、インタフェースを介し、デバイスへの処理対象のデータを含む処理の要求を表すライトコマンドの発行、並びに、処理結果をリードするためのリードコマンドの発行を行うことで、デバイスを利用した処理を行う制御部とを有する。ここで、制御部は、デバイスを利用した処理中にデバイスに新規学習モデルを設定する場合、デバイスへライトコマンドを発行してから当該処理を完了するまでに要する期間を利用して、新規学習モデルの一部を前記デバイスに送信して設定する。【選択図】 図３

Description

本発明は、撮像装置、及び、その制御方法、及び、プログラムに関するものである。

近年、様々なシーンにおいて、監視カメラにより撮像された画像を用いて、物体の検出や追尾、属性の推定等を行う画像解析、そのような画像解析の結果に基づく物体数の推定等の画像処理が行われている。従来、かかる画像処理は、監視カメラから映像を受信するＰＣやサーバ等の高性能な演算装置で行われてきた。しかし、近年のモバイル用演算装置の処理能力の向上に伴い、画像解析をカメラ側で直接行う事例も増えてきている。実装形態としてはカメラ本体に演算装置を配置する他に、ＵＳＢ（Universal Serial Bus）等の着脱可能デバイスに演算装置を配置する形態も提案されている。カメラ本体に演算装置を配置した形態では、演算装置を配置した着脱可能デバイスを装着することで、カメラ側でより高度な解析処理を行うことができる。

上記の形態においては、カメラ本体と着脱可能デバイスは、「演算処理に必要な画像」や「オブジェクトを検出できるように学習された学習モデル」を通信する。

一般的に、カメラと着脱可能デバイス間のデータのやりとりは通信帯域を逼迫するため、効果的に通信する対応が必要である。通信帯域を逼迫しない方法として、特許文献１ではデバイス間の通信に関する技術が開示されている。この文献では、デバイス間でデータを通信する場合に、必要なデータのみを抽出して送信することで、通信効率を向上している。

特開２０１４－１５０３２８号公報

J.Redmon、A.Farhadi、「YOLO9000:Better Faster Stronger」、Computer Vision and Pattern Recognition(CVPR) 2016

これまでは、カメラから取得される画像は、演算装置の配置された着脱可能デバイス側での演算処理が完了したタイミングで順次送信される。一方で、学習モデルはユーザから書き換え指示や追加指示を受けたタイミングで送信され、着脱可能デバイス内に保存される。したがって学習モデルのサイズが大きいと、学習モデル送信時に画像の送信を一時的に停止する必要があり、画像と学習モデルを並行して送信できないという問題が発生する。

また、学習モデルの送信は情報の欠落が許されない。したがって、必要なデータを残し、不要なデータを減らす上記特許文献１に開示されているような技術は活用できない。

この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、
撮像手段を有し、当該撮像手段で得た画像に基づく処理を実行する撮像装置であって、
学習モデルを用いて与えられたデータを処理可能なデバイスを装着するためのインタフェースと、
前記インタフェースを介し、前記デバイスへの処理対象のデータを含む処理の要求を表すライトコマンドの発行、並びに、処理結果をリードするためのリードコマンドの発行を行うことで、前記デバイスを利用した処理を行う制御手段とを有し、
該制御手段は、
前記デバイスを利用した処理中に前記デバイスに新規学習モデルを設定する場合、前記デバイスへライトコマンドを発行してから当該処理を完了するまでに要する期間を利用して、前記新規学習モデルの一部を前記デバイスに送信して設定することを特徴とする。

本発明によれば、撮像装置と着脱可能デバイスとの間で実行中の処理への影響を少なくしつつ、着脱可能デバイスへの新規学習モデルの格納を行うことが可能になる。

システム構成の一例を示す図。 撮像装置のハードウェア構成例を示す図。 撮像装置の機能構成例を示す図。 着脱可能デバイスのハードウェア構成例を示す図。 着脱可能デバイスの機能構成例を示す図。 入出力装置のハードウェア構成例を示す図。 入出力装置の機能構成例を示す図。 システムで実行される処理の流れの例を示す図。 解析処理を把握する処理の流れの例を示す図。 解析処理の内容を決定する処理の流れの例を示す図。 解析処理を実行する制御の流れの例を示す図。 後処理を実行する制御の流れの例を示す図。 学習モデルの分割送信処理の流れの例を示す図。 実施形態における学習モデルと解析処理時間との関係を示すテーブルの例を示す図。 実施形態における学習モデルと転送時間との関係を示すテーブルの例を示す図。 実施形態における撮像装置から着脱可能デバイスへのデータ転送のシーケンスの例を示す図。 第２の実施形態における、学習モデルの分割送信処理の流れの例を示す図。 第２の実施形態における撮像装置から着脱可能デバイスへのデータ転送のシーケンスの例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
＜システム構成＞
図１に、本実施形態の画像解析システムの構成例を示す。以下では、一例として、このシステムが特定人物追跡システムである場合について説明する。ただし、これに限られず、画像を解析して所定の情報出力を行う任意のシステムに、以下の議論を適用することができる。本システムは、撮像装置１１０ａ～１１０ｄと、ネットワーク１２０と、入出力装置１３０とを含んで構成される。なお、撮像装置１１０ａ～１１０ｄそれぞれは、例えば撮像した画像を記録可能なデバイスを着脱可能なスロットを有する。そして、それぞれスロットには、着脱可能デバイス１００ａ～１００ｄが挿入されているものとする。この結果、撮像装置１１０ａ～１１０ｄそれぞれは、自身に挿入された着脱可能デバイス１００ａ～１００ｄと通信可能に接続していることになる。また、撮像装置１１０ａ～１１０ｄは同じ構成であり、着脱可能デバイス１００ａ～１００ｄも同じ構成であるものとする。特に区別せずに１つを指す場合には、添え字の“ａ”～“ｄ”を除外し、単に「着脱可能デバイス１００」、「撮像装置１１０」と表記する。

着脱可能デバイス１００は、撮像装置１１０に対して着脱可能な演算デバイスである。着脱可能デバイス１００は、一例として、ＳＤカードに所定の処理回路を搭載したデバイスである。着脱可能デバイス１００は、例えば、ＳＤカードの態様によって、撮像装置１１０にその全体が挿入可能に構成され、これにより、撮像装置１１０から突出する部分がない状態で撮像装置１１０と接続可能に構成することができる。これにより、着脱可能デバイス１００が配線等の障害物と干渉することを防ぐことができ、デバイスの利用時の利便性を高めることができる。また、多くの既存のネットワークカメラなどの撮像装置１１０には、ＳＤカードスロットが用意されているため、既存の撮像装置１１０に対して、着脱可能デバイス１００により拡張機能を提供することができる。なお、着脱可能デバイス１００は、ＳＤカードの態様以外に、少なくともその撮像装置１１０で撮影された画像を記憶可能な記憶装置が装着される際に使用される任意のインタフェースで、撮像装置１１０に装着されるように構成されてもよい。例えば、着脱可能デバイス１００は、ＵＳＢ（ユニバーサリシリアルバス）インタフェースを有し、撮像装置１１０のＵＳＢソケットに装着されるように構成されてもよい。また、所定の処理回路は、例えば、所定の処理を実行するようにプログラムされたＦＰＧＡ（フィールドプログラマブルゲートアレイ）によって実装されるが、それ以外の形式で実装されてもよい。

撮像装置１１０は、ネットワークカメラ等の撮像装置である。本実施形態では、撮像装置１１０は、映像を処理することのできる演算装置を内蔵するものとするが、これに限られない。例えば、撮像装置１１０に接続されたＰＣ（パーソナルコンピュータ）等の外部コンピュータが存在してもよく、これらの組み合わせを、撮像装置１１０として扱ってもよい。また、本実施形態では、全ての撮像装置１１０に、着脱可能デバイス１００が装着されているものとする。なお、図１のシステムは、４つの撮像装置を有するものとしているが、１以上であれば良く、この数に特に制限はない。撮像装置１１０に、画像解析処理機能を有する着脱可能デバイス１００が装着されることにより、撮像装置１１０が画像解析処理機能を有しなくても、撮像装置１１０側で映像処理を実行することが可能となる。また、本実施形態のように撮像装置１１０に映像処理用の演算装置が配置された形態では、演算装置が配置された着脱可能デバイス１００が撮像装置１１０に装着されることにより、撮像装置１１０側で実行可能な画像処理を多様化・高度化することができる。

入出力装置１３０は、ユーザからの入力の受け付けや、ユーザへの情報の出力（例えば情報の表示）を行う装置である。本実施形態では、例えば入出力装置１３０は、ＰＣ等のコンピュータであり、そのコンピュータにインストールされたブラウザやネイティブアプリケーションによって、情報の入出力が行われる。

撮像装置１１０と入出力装置１３０は、ネットワーク１２０を介して通信可能に接続される。ネットワーク１２０は、例えばＥｔｈｅｒｎｅｔ（登録商標）等の通信規格を満たす複数のルータ、スイッチ、ケーブル等を含んで構成される。本実施形態では、ネットワーク１２０は、撮像装置１１０と入出力装置１３０との間の通信を可能とする任意のネットワークであってよく、任意の規模や構成、準拠する通信規格によって構築されうる。例えば、ネットワーク１２０は、インターネットや有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、ＷＡＮ（Wide Area Network）等でありうる。また、ネットワーク１２０は、例えば、ＯＮＶＩＦ（Open Network Video Interface Forum）規格に準拠した通信プロトコルでの通信が可能なように構成されうる。ただし、これに限られず、ネットワーク１２０は、例えば、独自の通信プロトコル等の他の通信プロトコルでの通信が可能なように構成されてもよい。

＜装置構成＞
続いて、撮像装置１１０の構成について説明する。図２は、撮像装置１１０のハードウェア構成例を示す図である。撮像装置１１０は、そのハードウェア構成として、例えば、撮像部２０１、画像処理部２０２、演算処理部２０３、配信部２０４、ＳＤ Ｉ／Ｆ部２０５を含む。なお、Ｉ／Ｆは、インタフェースの略語である。

撮像部２０１は、光を結像するためのレンズ部と、結像された光に応じたアナログ信号変換する撮像素子とを含んで構成される。レンズ部は、画角を調整するズーム機能や、光量の調整を行う絞り機能などを有する。撮像素子は、光をアナログ信号に変換する際の感度調整を行うゲイン機能を有する。これらの機能は、画像処理部２０２から通知された設定値に基づいて調整される。撮像部２０１によって取得されたアナログ信号は、不図示のアナログ－デジタル変換回路によってデジタル信号に変換され、画像信号として画像処理部２０２へ転送される。

画像処理部２０２は、画像処理エンジンと、その周辺デバイス等を含んで構成される。周辺デバイスは、例えば、ＲＡＭ（Random Access Memory）や、各Ｉ／Ｆのドライバ等を含む。画像処理部２０２では、撮像部２０１から取得した画像信号に対して、例えば、現像処理、フィルタ処理、センサ補正、ノイズ除去等の、画像処理を施して画像データを生成する。また、画像処理部２０２は、レンズ部や撮像素子へ設定値を送信し、適切露出画像を取得できるように、露出調整を実行しうる。画像処理部２０２において生成された画像データは、演算処理部２０３へ転送される。

演算処理部２０３は、ＣＰＵやＭＰＵ等の１つ以上のプロセッサ、ＲＡＭやＲＯＭ等のメモリ、各Ｉ／Ｆのドライバなどから構成される。なお、ＣＰＵはCentral Processing Unitの、ＭＰＵはMicro Processing Unitの、ＲＡＭはRandom Access Memoryの、ＲＯＭはRead Only Memoryの、頭字語である。演算処理部２０３では、一例において、上述のシステムにおいて実行されるべき処理の各部分を撮像装置１１０と着脱可能デバイス１００とのいずれが実行するかの分担を決定し、その決定した分担に対応する処理を実行しうる。この処理内容や処理の分担の詳細に関しては後述する。画像処理部２０２から受け取った画像は、配信部２０４、又は、ＳＤ Ｉ／Ｆ部２０５を介して着脱可能デバイス１００へ転送される。また、画像処理部２０２による処理結果のデータは配信部２０４に転送される。更に、着脱可能デバイス１００による処理結果のデータは、画像処理部２０２を介して配信部２０４へ転送される。

配信部２０４は、ネットワーク配信エンジンと、例えば、ＲＡＭやＥＴＨ ＰＨＹモジュールなどの周辺デバイス等を含んで構成される。ＥＴＨ ＰＨＹモジュールは、Ｅｔｈｅｒｎｅｔの物理（ＰＨＹ）レイヤの処理を実行するモジュールである。配信部２０４は、演算処理部２０３から取得した画像データや処理結果のデータを、ネットワーク１２０へ配信可能な形式に変換して、変換後のデータをネットワーク１２０へ出力する。ＳＤ Ｉ／Ｆ部２０５は、着脱可能デバイス１００と接続するためのインタフェース部分で、例えば、電源と、着脱可能デバイス１００を着脱するための、着脱ソケット等の装着機構を含んで構成される。ここでは、ＳＤ Ｉ／Ｆ部２０５が、SD Associationにより策定されたＳＤ規格に従って構成されるものとする。演算処理部２０３から取得された画像の着脱可能デバイス１００への転送や、着脱可能デバイス１００からのデータの取得等の、着脱可能デバイス１００と撮像装置１１０との間での通信は、ＳＤ Ｉ／Ｆ部２０５を通じて行われる。

図３に、撮像装置１１０の機能構成図を示す。撮像装置１１０は、その機能として、例えば、撮像制御部３０１、信号処理部３０２、記憶部３０３、制御部３０４、解析部３０５、デバイス通信部３０６、及び、ネットワーク通信部３０７を含む。

撮像制御部３０１は、撮像部２０１を介して周囲の環境を撮影するようにする制御を実行する。信号処理部３０２は、撮像制御部３０１によって撮影された画像に対して所定の処理を施して、撮影画像のデータを生成する。以下では、この撮影画像のデータを単に「撮影画像」と呼ぶ。信号処理部３０２は、例えば、撮像制御部３０１の制御下で得た撮影画像を符号化する。信号処理部３０２は、静止画像に対して、例えば、ＪＰＥＧ（Joint Photographic Experts Group）等の符号化方式を用いて符号化を行う。また、信号処理部３０２は、動画像に対して、Ｈ．２６４／ＭＰＥＧ－４ ＡＶＣ（以下では「Ｈ．２６４」と呼ぶ。）、ＨＥＶＣ（High Efficiency Video Coding）等の符号化方式を用いて符号化を行う。また、信号処理部３０２は、予め設定された複数の符号化方式の中から、例えば撮像装置１１０の不図示の操作部を介して、ユーザにより選択された符号化方式を用いて、画像を符号化してもよい。

記憶部３０３は、解析部３０５において実行可能な解析処理のリスト（以下では「第１処理リスト」と呼ぶ。）と、解析処理の結果に対する後処理のリストとを記憶する。また、記憶部３０３は、後述する解析処理の結果を記憶する。なお、本実施形態では、実行される処理が解析処理であるが、任意の処理が実行されてもよく、記憶部３０３は、その実行される処理に関連する処理について、第１処理リストと後処理のリストとを記憶するようにしうる。制御部３０４は、信号処理部３０２、記憶部３０３、解析部３０５、デバイス通信部３０６、ネットワーク通信部３０７を、それぞれが所定の処理を実行するように、制御する。

解析部３０５は、撮影画像に対して、後述する解析前処理、解析処理、解析後処理の少なくともいずれかを選択的に実行する。解析前処理は、後述の解析処理を実行する前に、撮影画像に対して実行する処理である。本実施形態の解析前処理では、一例として、撮影画像を分割して分割画像を作成する処理が実行されるものとする。解析処理は、入力された画像を解析して得られる情報を出力する処理である。本実施形態の解析処理では、一例として、解析前処理によって得られた分割画像を入力として、人体検出処理、顔検出処理、車両検出処理の少なくともいずれかを実行し、解析処理結果を出力する処理が実行されるものとする。解析処理は、例えば非特許文献１の技術によって、画像に含まれるオブジェクトを検出できるように学習が行われた学習モデルを用いて、分割画像中のオブジェクトの位置を出力するように構成された処理でありうる。解析後処理は、解析処理が実行された後に実行される処理である。本実施形態の解析後処理では、一例として、各分割画像に対する解析処理結果に基づいて、各分割画像において検出されたオブジェクトの数を合計した値を処理結果として出力する処理が実行されるものとする。なお、解析処理は、パターンマッチングを行って画像中のオブジェクトを検出し、その位置を出力する処理であってもよい。

デバイス通信部３０６は、着脱可能デバイス１００との通信を行う。デバイス通信部３０６は、入力されたデータを着脱可能デバイス１００が処理可能な形式に変換し、その変換によって得られたデータを着脱可能デバイス１００に送信する。また、デバイス通信部３０６は、着脱可能デバイス１００からデータを受信し、受信したデータを撮像装置１１０が処理可能な形式に変換する。本実施形態では、デバイス通信部３０６は、変換処理として、小数を浮動小数点形式と固定小数点形式との間で変換する処理を実行するものとするが、これに限られず、他の処理がデバイス通信部３０６によって実行されてもよい。また、本実施形態では、デバイス通信部３０６は、着脱可能デバイス１００に対してＳＤ規格の範囲内で事前に定められたコマンドシーケンスを送信し、着脱可能デバイス１００からの応答を受信することで、着脱可能デバイス１００との通信を行うものとする。ネットワーク通信部３０７は、ネットワーク１２０を介して、入出力装置１３０との通信を行う。

＜着脱可能デバイスの構成＞
図４（ａ）に、着脱可能デバイス１００のハードウェア構成例を示す。着脱可能デバイス１００は、一例として、Ｉ／Ｆ部４０１、ＦＰＧＡ４０２、Ｃｏｎｆｉｇｒａｔｉｏｎ（以下、Ｃｏｎｆｉｇ）外部制御部４０３、及び、記憶部４０４を含んで構成される。着脱可能デバイス１００は、撮像装置１１０が有するＳＤ Ｉ／Ｆ部２０５の着脱ソケットに挿抜できる形状で、すなわちＳＤ規格に則った形状で成形されるものとする。

Ｉ／Ｆ部４０１は、撮像装置１１０等の装置と着脱可能デバイス１００とを接続するためのインタフェース部分である。Ｉ／Ｆ部４０１は、例えば、撮像装置１１０から電源の供給を受け、着脱可能デバイス１００内で使用する電源を生成し分配する、電気的な接点端子等を含んで構成される。Ｉ／Ｆ部４０１は、撮像装置１１０のＳＤ Ｉ／Ｆ部２０５と同様に、ＳＤ規格内で定義（準拠）されている項目に関しては、それに従うものとする。撮像装置１１０からの画像や設定データの受け取り、並びに、ＦＰＧＡ４０２から撮像装置１１０へのデータの送信は、このＩ／Ｆ部４０１を介して実行される。

ＦＰＧＡ４０２は、入出力制御部４１０、処理切替部４１１、演算処理部４１２、記憶部Ｉ／Ｆ４１３、Ｃｏｎｆｉｇデータ書換部４１４、及び、Ｃｏｎｆｉｇ制御部４１５を含んで構成される。ＦＰＧＡ４０２は、内部の論理回路構造を繰り返し再構成できる半導体デバイスの一種である。ＦＰＧＡ４０２が実現する処理により、着脱可能デバイス１００が装着された装置に、処理機能を追加（提供）することができる。また、ＦＰＧＡ４０２の再構成機能により、後から論理回路構造を変更することができるため、例えば技術の進歩の早い分野の装置に着脱可能デバイス１００を装着することにより、その装置において適時に適切な処理を実行することが可能となる。なお、本実施形態では、ＦＰＧＡが用いられる例について説明するが、後述する処理を実現可能である限りにおいて、例えば、汎用のＡＳＩＣや専用のＬＳＩが用いられてもよい。ＦＰＧＡ４０２は、生成される論理回路構造の情報を含んだ設定データが専用のＩ／Ｆから書き込まれることにより、又は、その設定データがその専用のＩ／Ｆから読み出されることによって、起動される。本実施形態では、この設定データが記憶部４０４に保持されているものとする。ＦＰＧＡ４０２は、電源が投入されると、記憶部４０４から設定データを読み出し、論理回路を生成して起動する。ただし、これに限られず、例えば、着脱可能デバイス内に専用の回路を実装することにより、Ｉ／Ｆ部４０１を介して、撮像装置１１０がＦＰＧＡ４０２に設定データを書き込んでもよい。

入出力制御部４１０は、撮像装置１１０との間で画像を送受信するための回路、撮像装置１１０から受信したコマンドを解析する回路、解析した結果に基づいて制御を行う回路、等を含んで構成される。ここでのコマンドは、ＳＤ規格に定義されているものであり、入出力制御部４１０は、それらのうちのいくつかを検出することができる。機能の詳細に関しては後述する。入出力制御部４１０は、画像解析処理の場合は演算処理部４１２へ画像を送信し、Ｃｏｎｆｉｇ書換処理の場合は記憶部Ｉ／Ｆ４１３へＣｏｎｆｉｇデータを送信するように制御を行う。また、入出力制御部４１０は、処理の切り替えの設定データを受け取った場合は、処理切替部４１１へ設定データを送信する。

処理切替部４１１は、撮像装置１１０から受け取った設定データに基づいて、記憶部４０４から画像解析処理機能の情報を取得し、演算処理部４１２に書き込むための回路を含んで構成される。画像解析処理機能の情報は、例えば、演算処理部４１２内で処理される演算の順序や種類、演算の係数などを示す設定パラメータである。

演算処理部４１２は、画像解析処理機能を実行するために必要な複数の演算回路を含んで構成される。演算処理部４１２は、処理切替部４１１から受け取った画像解析処理機能の情報に基づいて、各演算処理を実行して、その処理結果を撮像装置１１０へ送信し、及び／又は、その処理結果を記憶部４０４に記録する。

このように、ＦＰＧＡ４０２は、事前に保持された複数の処理機能に対応する設定データに含まれる、実行対象の処理機能の設定データを抽出して、その抽出した設定データに基づいて演算処理部４１２によって実行される処理内容を書き換える。これにより、着脱可能デバイス１００が、その複数の処理機能のうちの少なくともいずれかを選択的に実行することができる。また、新規に追加する処理の設定データを随時追加することにより、撮像装置１１０側で最新の処理を実行させることができる。なお、以下では、複数の処理機能のそれぞれに対応する複数の設定データを有していることを、複数の処理機能を有すると表現する。すなわち、着脱可能デバイス１００のＦＰＧＡ４０２が１つの処理機能を実行するように構成されている状態であっても、他の処理機能のための設定データにより演算処理部４１２の処理内容を変更することができる場合、複数の処理機能を有する、と表現する。

記憶部Ｉ／Ｆ４１３は、それぞれの構成部から受け取ったデータの形式を、記憶部４０４に適したプロトコルに変換してデータを送受信する回路を含んで構成される。ここでは、記憶部４０４はＮＯＲ型フラッシュメモリとし、記憶部Ｉ／Ｆ４１３はＮＯＲ型フラッシュメモリの規格に対応したコマンドうちのいくつかに対応し、各構成部と記憶部４０４間のデータ送受信を行う。

Ｃｏｎｆｉｇデータ書換部４１４は、図４（ｂ）に示すように、データ制御部４２０、シーケンス検出部４２１を含んで構成される。データ制御部４２０は、入出力制御部４１０からＣｏｎｆｉｇデータを受け取り、シーケンス検出部４２１で受け取った制御信号に基づき、Ｃｏｎｆｉｇデータを記憶部Ｉ／Ｆへ送信する。シーケンス検出部４２１は、入出力制御部４１０で検出したＳＤ準拠のコマンドのうちＣｏｎｆｉｇに関わるコマンドを受け取る。シーケンス検出部４２１は、受け取ったコマンドの順序を記憶し、所定の順序を踏んでいるか、一定期間内にコマンドを受け取っているかなどを検出する。シーケンス検出部４２１は、検出した結果に基づきデータ制御部４２０、もしくは、Ｃｏｎｆｉｇ外部制御部４０３へ制御信号を送信する。

Ｃｏｎｆｉｇ制御部４１５は、Ｃｏｎｆｉｇ外部制御部４０３から受け取った制御信号に基づいて、ＦＰＧＡ４０２のＣｏｎｆｉｇ動作の制御を行う回路を含んで構成される。一般的なＦＰＧＡには、Ｃｏｎｆｉｇ制御に関する回路は、ＦＰＧＡ設計者が設計するＰＬ（Program Logic）部分ではなくデバイス固有のハード回路部分に搭載されており、図４（ａ）では前述の部分を分けて記載はしていないが、本実施例においてはハード回路部分を用いるものとする。すなわち、記憶部Ｉ／Ｆ４１３はＰＬ部分とハード回路部分、Ｃｏｎｆｉｇ制御部４１５はハード回路部分で構成されている。

Ｃｏｎｆｉｇ外部制御部４０３は、Ｃｏｎｆｉｇデータ書換部４１４から受け取った制御信号に基づいて、Ｃｏｎｆｉｇ制御部４１５に入力する制御信号を入力するための回路を含んで構成される。Ｃｏｎｆｉｇ制御部４１５に入力する制御信号とは、例えば、ＦＰＧＡを再度コンフィグレーションするような信号を差し、ＦＰＧＡ４０２は上記の制御信号を受け取ると、記憶部４０４の所定のアドレスに記憶されたＣｏｎｆｉｇデータに基づいて、コンフィグレーションするようなシーケンスが実行される。

記憶部４０４は、例えばＮＯＲ型フラッシュメモリによって構成され、例えば、撮像装置１１０から書き込まれた記憶データ、演算処理部４１２に書き込まれる画像解析処理機能の情報、ＦＰＧＡ４０２のＣｏｎｆｉｇデータ等の各種情報を記憶する。

図５に、着脱可能デバイス１００の機能構成例を示す。着脱可能デバイス１００は、その機能構成として、例えば、解析部５０１及び通信部５０２を含む。解析部５０１は、画像に対する解析処理を実行する。解析部５０１は、例えば、解析処理設定要求を入力された場合に、入力された解析処理を実行可能な状態にするための設定を実行する。また、解析部５０１は、画像が入力された場合、その入力された画像に対して、実行可能な状態に設定された解析処理を実行する。本実施形態では、実行可能な解析処理は、人体検出処理と顔検出処理であるものとするが、これらに限られない。例えば、事前に記憶された人物が画像に含まれるか否かを判定する処理（後述する顔認証処理）であってもよい。例えば、事前に記憶された人物の画像特徴量と、入力された画像から検出された人物の画像特徴量との一致度合いを算出し、一致度合いが閾値以上の場合に事前に記憶された人物であると判定する。また、プライバシー保護を目的として。入力された画像から検出された人物に対して、所定のマスク画像を重畳したり、モザイク処理を施したりする処理であってもよい。また、人物の特定の行動を学習によって学習した学習モデルを用いて、画像中の人物が特定の行動を行っているかを検出する処理であってもよい。さらには、画像中の領域がどのような領域なのかを判定する処理であってもよい。例えば、建物や道路、人物、空等を学習によって学習した学習モデルを用いて、画像中の領域がどのような領域なのかを判定する処理であってもよい。以上のように、実行可能な解析処理は、学習を用いた画像解析処理にも、学習を用いない画像解析処理にも応用可能である。また、上記の各解析処理は、着脱可能デバイス１００が単独で行うのではなく、撮像装置１１０と協働して実行してもよい。通信部５０２は、Ｉ／Ｆ部４０１を介して、撮像装置１１０との通信を行う。

＜入出力装置の構成＞
図６に、入出力装置１３０のハードウェア構成例を示す。入出力装置１３０は、一般的なＰＣ等のコンピュータとして構成され、例えば、図６に示すように、ＣＰＵ等のプロセッサ６０１、ＲＡＭ６０２やＲＯＭ６０３等のメモリ、ＨＤＤ６０４等の記憶装置、及び、通信Ｉ／Ｆ６０５を含んで構成される。入出力装置１３０は、プロセッサ６０１が、メモリや記憶装置に格納されたプログラムを実行することにより、各種機能を実行することができる。

図７に、本実施形態に係る入出力装置１３０の機能構成例を示す。入出力装置１３０は、その機能構成として、例えば、ネットワーク通信部７０１、制御部７０２、表示部７０３、及び操作部７０４を含む。ネットワーク通信部７０１は、例えばネットワーク１２０に接続し、ネットワーク１２０を介して撮像装置１１０等の外部装置との通信を実行する。なお、これは一例に過ぎず、例えば、ネットワーク通信部７０１は、撮像装置１１０と直接接続を確立して、ネットワーク１２０や他の装置を介さずに、撮像装置１１０と通信するように構成されてもよい。制御部７０２は、ネットワーク通信部７０１と表示部７０３と操作部７０４とがそれぞれの処理を実行するように、制御する。表示部７０３は、例えばディスプレイを介してユーザに情報を提示する。本実施形態では、ブラウザがレンダリングした結果をディスプレイに表示することによって、情報がユーザに提示される。なお、音声や振動等の画面表示以外の方法で情報が提示されてもよい。操作部７０４は、ユーザからの操作を受け付ける。本実施形態では、操作部７０４がマウスやキーボードであり、ユーザがこれらを操作して、ブラウザにユーザ操作を入力するものとする。ただし、これに限られず、操作部７０４は、例えば、タッチパネルやマイクなど、他のユーザの意図を検出することができる任意のデバイスであってもよい。

＜処理の流れ＞
続いて、システム内で実行される処理の流れの例について説明する。なお、以下の各処理のうち撮像装置１１０が実行する処理は、例えば、演算処理部２０３内のプロセッサがメモリ等に記憶されたプログラムを実行することによって実現される。ただし、これは一例に過ぎず、後述の処理の一部又は全部が、専用のハードウェアによって実現されてもよい。また、着脱可能デバイス１００や入出力装置１３０が実行する処理についても、各装置におけるプロセッサがメモリ等に記憶されたプログラムを実行することによって実現されてもよいし、処理の一部又は全部を、専用のハードウェアによって実現してもよい。

図８に、システムで実行される画像解析処理の一連の流れを概略的に示す。本処理では、まず、ユーザによって、撮像装置１１０に着脱可能デバイス１００が装着される（Ｓ８０１）。撮像装置１１０は、着脱可能デバイス１００の初期化シーケンスを実行する（Ｓ８０２）。この初期化シーケンスでは、撮像装置１１０と着脱可能デバイス１００との間で所定のコマンドが送受信されることにより、撮像装置１１０が、着脱可能デバイス１００を使用可能な状態となる。その後、撮像装置１１０は、着脱可能デバイス１００が実行可能な処理を把握し、ローカルで実行可能な（撮像装置１１０単体で又は撮像装置１１０と着脱可能デバイス１００の組み合わせで実行可能な）処理を把握する（Ｓ８０３）。なお、着脱可能デバイス１００は、任意の処理を実行可能なように構成されうるが、撮像装置１１０側で実行されるべき処理と無関係な処理については考慮されなくてもよい。一例において、撮像装置１１０は、例えば入出力装置１３０から事前に取得した実行されうる処理のリストを保持しておいてもよい。この場合、撮像装置１１０は、着脱可能デバイス１００が実行可能な処理を示す情報を着脱可能デバイス１００から取得した際に、その処理がリストに含まれているか否かによって、実行されうる処理のみを把握することができる。続いて、撮像装置１１０は、実行する処理を決定し、必要に応じて着脱可能デバイス１００の設定を実行する（Ｓ８０４）。すなわち、実行対象として決定された処理の少なくとも一部が着脱可能デバイス１００によって実行される場合に、その処理のための着脱可能デバイス１００の設定が実行される。この設定においては、例えば、実行対象の処理に対応する設定データを用いたＦＰＧＡ４０２の再構成が行われうる。そして、撮像装置１１０が撮像処理を行い、撮像装置１１０または着脱可能デバイス１００が、撮像して得た画像に対する解析処理を実行する（Ｓ８０５）。その後、撮像装置１１０は、後処理を実行する（Ｓ８０６）。なお、Ｓ８０５とＳ８０６の処理は繰り返し実行される。図６の処理は、例えば、着脱可能デバイス１００が装着された際に実行されるが、例えば着脱可能デバイス１００が取り外された際にも、Ｓ６０３の処理が再度実行されるようにするなど、図８の処理の少なくとも一部が繰り返し実行されてもよい。

＜実行可能な処理を把握する処理＞
図９に、撮像装置１１０が実行可能な処理を把握する処理の流れの例を示す。本処理は、図８のＳ８０３の処理に対応し、着脱可能デバイス１００等のデバイスが撮像装置１１０に装着された又は抜去された場合や、撮像装置１１０の電源がオンとなった際に実行されうる。本処理では、撮像装置１１０は、着脱可能デバイス１００で実行可能な処理を読み出し、撮像装置１１０自身が実行可能な解析処理と統合し、撮像装置１１０側で実行可能な解析処理を把握する。

まず、撮像装置１１０の制御部３０４は、記憶部３０３に記憶されている、撮像装置１１０自身の解析部３０５において実行可能な処理のリストである第１処理リストを読み出す（Ｓ９０１）。続いて、制御部３０４は、装着されたデバイスが、例えば従来の記憶機能のみを有するデバイスであるか、着脱可能デバイス１００等の特定の処理機能を有する所定のデバイスであるかを判定する（Ｓ９０２）。例えば、制御部３０４は、デバイス通信部３０６を制御して、装着されたデバイスに対して、特定のアドレスへの読み出し要求（リードコマンド）を発行し、その特定のアドレスに格納されているフラグデータを読み出す。以下では、この特定のアドレスを「アドレスＡ」と呼ぶ場合がある。そして、制御部３０４は、読み出したフラグデータに基づいて、着脱可能デバイス１００が特定の処理機能を有する所定のデバイスであるかを判定しうる。ただし、これは一例に過ぎず、他の方法によって、装着されたデバイスが所定のデバイスであるか否かが判定されてもよい。

装着されたデバイスが所定のデバイスである場合（Ｓ９０２でＹＥＳ）、制御部３０４は、そのデバイス（着脱可能デバイス１００）において実行可能な処理を把握するための処理を実行する。制御部３０４は、デバイス通信部３０６を制御して着脱可能デバイス１００と通信し、着脱可能デバイス１００において実行可能な処理のリスト（以下では「第２処理リスト」と呼ぶ。）を取得する（Ｓ９０３）。制御部３０４は、例えば、着脱可能デバイス１００が所定のデバイスか否かを判定した場合と同様に、アドレスＡに格納されているデータを読み出すことにより、第２処理リストを取得しうる。なお、例えば、第２処理リストは、着脱可能デバイスが所定のデバイスであるか否かの判定を行うフラグデータと同一のアドレス（アドレスＡ）に格納されうる。この場合、撮像装置１１０は、そのアドレスＡにアクセスすることにより、フラグデータと第２処理リストとを同時に取得して、Ｓ９０２の処理とＳ９０３の処理とを同時に実行することができる。ただし、これに限られず、これらのデータは、別のアドレスに格納されてもよい。その後、制御部３０４は、記憶部３０３から読み出した撮像装置１１０自身が実行可能な処理の第１処理リストと、着脱デバイスから取得した第２処理リストとが統合された統合処理リストを作成し（Ｓ９０４）、処理を終了する。

この統合処理リストは、ネットワーク上のサーバ等の装置による処理が行われることなく、撮像装置１１０（着脱可能デバイス１００を含む）側でローカルに実行可能な処理を示すリストである。なお、本実施形態では、統合処理リストは、第１処理リストに含まれる処理と第２処理リストに含まれる処理との和集合によって得られるリストであり、第１処理リストと第２処理リストとの少なくともいずれかに含まれる処理がリスト化されたものである。ただし、これに限られず、例えば、第１処理リストに含まれる処理と第２処理リストに含まれる処理とを組み合わせることによって別の処理を実行可能となる場合などに、その実行可能となる別の処理が統合処理リストに加えられてもよい。すなわち、第１処理リストに含まれる処理の少なくとも一部と第２処理リストに含まれる処理の少なくとも一部とが共に利用される場合に、新たな解析処理が実行可能となる場合は、その解析処理の情報が統合処理リストに含められうる。例えば、顔認証処理は、顔検出処理機能と、顔特徴抽出処理機能と、顔特徴照合処理機能の機能群によって実現されうる。このとき、第１処理リストに顔検出処理機能と顔特徴抽出処理機能とが含まれ、第２処理リストに顔特徴照合処理機能が含まれているとすると、統合処理リストには、顔認証処理が含められうる。

装着されたデバイスが所定のデバイスでない場合（Ｓ９０２でＮＯ）、制御部３０４は、装着されたデバイスによって実行可能な処理がないと判定する。このため、制御部３０４は、記憶部３０３から読み出した自装置において実行可能な処理の第１処理リストを、撮像装置１１０側でローカルに実行可能な処理を示す統合処理リストとして（Ｓ９０５）、処理を終了する。なお、デバイスが抜去された際に図９の処理が実行されると、所定のデバイスが当然に装着されていないため、第１処理リストが統合処理リストとして扱われることとなる。

これにより、特定の処理を実行可能な着脱可能デバイス１００が撮像装置１１０に装着されているか否かに基づいて、撮像装置１１０側でローカルに実行可能な処理をリスト化することができる。また、この統合処理リストをユーザに提示することにより、着脱可能デバイス１００の装着によって撮像装置１１０側でローカルに実行可能となる処理を、ユーザが選択することができるようになる。

なお、本実施形態では、統合処理リストを生成する場合の例を示したが、第１処理リストと第２処理リストとが別個に管理され、統合処理リストが生成されなくてもよい。すなわち、着脱可能デバイス１００で実行可能な処理と、着脱可能デバイス１００を伴わずに撮像装置１１０で実行可能な処理とが区別可能に管理され、出力されてもよい。また、第１処理リストと第２処理リストが区別可能に管理される場合であっても、統合処理リストが生成され、管理されてもよい。例えば、第１処理リストに含まれる処理と第２処理リストに含まれる処理とが共に使用されることにより新たな処理を実行可能な場合に、その新たな処理は、第１処理リストと第２処理リストには含まれないが、統合処理リストに含まれることとなる。なお、統合処理リストが出力される場合、併せて、その統合処理リストに含まれる処理が第１処理リストと第２処理リストとのいずれに含まれる処理であるかを区別可能に示す情報が出力されうる。これにより、例えば提示された処理を着脱可能デバイス１００なしで実行可能であるかをユーザが認識することができるようになる。

なお、上述の処理リストは、入出力装置１３０のような、少なくとも撮像装置１１０に含まれない外部装置に提供されるが、外部に提供されなくてもよい。例えば、撮像装置１１０がディスプレイを有する場合にそのディスプレイに処理リストが表示されることや、撮像装置１１０が音声出力機能を有する場合に処理リストが音声出力されることなどによって、処理リストが出力されてもよい。撮像装置１１０において処理リストが提示されることにより、意図しない機能を有する着脱可能デバイス１００を撮像装置１１０に誤って装着させた場合等に、ユーザがその誤装着を迅速に認識することが可能となる。このように、撮像装置１１０は、撮像装置１１０が実行可能な処理を示す第１処理リストと着脱可能デバイス１００が実行可能な処理を示す第２処理リストとに基づく情報を、任意の形式で出力しうる。

また、撮像装置１１０は、着脱可能デバイス１００が抜去された場合、その抜去の検出をトリガにして、図９の処理を再度実行することで、統合処理リストを更新することができる。また、このとき、撮像装置１１０は、抜去された着脱可能デバイス１００に関する第２処理リストを破棄しうる。ただし、これに限られず、撮像装置１１０は、ある着脱可能デバイス１００についての第２処理リストを記憶部３０３に別途記憶しておき、その着脱可能デバイス１００が装着されていない場合であっても、その第２処理リストを出力しうる。すなわち、撮像装置１１０は、過去に装着されて抜去された着脱可能デバイス１００についての第２処理リストを出力するようにしてもよい。また、撮像装置１１０は、その過去に装着されて抜去された着脱可能デバイス１００についての第２処理リストに含まれる処理と、第１処理リストに含まれる（自装置で実行可能な）処理とを用いて実行可能となる処理を示す情報を出力してもよい。換言すれば、撮像装置１１０は、自装置のみでは実行できない処理の情報を出力しうる。これによれば、ユーザに対して、出力された情報が示す処理を実行可能な着脱可能デバイス１００が存在することと、その着脱可能デバイス１００を装着することにより、その処理が実行可能となることを通知することができる。

さらに、撮像装置１１０は、過去に当該撮像装置１１０に装着したことがないが、撮像装置１１０に装着可能な他の着脱可能デバイス１００（未装着デバイス）についての第２処理リストを出力するようにしてもよい。このような未装着デバイスとその未装着デバイスが実行可能な解析処理を示す情報は、例えば、撮像装置１１０が図示を省略する外部のサーバからネットワークを介して取得することができる。また、未装着デバイスとその未装着デバイスが実行可能な解析処理を示す情報は、例えば、撮像装置１１０が事前に保持していてもよい。

また、撮像装置１１０は、未装着デバイスについての第２処理リストに含まれる処理と、第１処理リストに含まれる（自装置で実行可能な）処理とを用いて実行可能となる処理を示す情報を出力してもよい。換言すれば、撮像装置１１０は、自装置のみでは実行できない処理の情報を出力しうる。これによれば、ユーザに対して、出力された情報が示す処理を実行可能な着脱可能デバイス１００が存在することと、その着脱可能デバイス１００を装着することにより、その処理が実行可能となることを通知することができる。

なお、撮像装置１１０は、過去に装着されて抜去された着脱可能デバイス１００についての第２処理リストを記憶する際に、その着脱可能デバイス１００の機種番号などのデバイスを特定可能な情報を併せて記憶しうる。そして、撮像装置１１０は、その着脱可能デバイス１００に関する第２処理リストを出力する際に、その着脱可能デバイス１００を特定可能な情報も併せて出力しうる。これによれば、ユーザが、提示された処理機能を使用するために、どの着脱可能デバイス１００を撮像装置１１０に装着すればよいかを容易に認識することができるようになる。

＜解析処理内容を決定する処理＞
図１０に、撮像装置１１０が解析処理内容を決定する処理の流れの例を示す。本処理では、撮像装置１１０側でローカルに実行可能な解析処理が入出力装置１３０を介してユーザに提示され、入出力装置１３０はユーザの選択を受け付ける。そして、撮像装置１１０は、入出力装置１３０を介して受け付けられたユーザ選択を示す情報に応じて、実行する解析処理を決定する。

本処理では、まず、入出力装置１３０の制御部７０２が、ネットワーク通信部７０１を制御して、撮像装置１１０との通信を実行し、撮影画像と統合処理リストと後処理リストとの取得を要求する（Ｓ１００１）。入出力装置１３０は、一例として、ＯＮＶＩＦ規格で規定された要求メッセージを撮像装置１１０へ送信することによって、撮像装置１１０へ情報の送信を要求する。ただし、これに限られず、他のメッセージ等によって情報の送信要求が行われてもよい。撮像装置１１０は、この要求に基づいて、撮像制御部３０１が周囲の環境を撮影し、制御部３０４が信号処理部３０２を制御して、撮像制御部３０１によって撮影された画像を処理して、撮影画像を取得する（Ｓ１００２）。なお、撮像装置１１０は、要求の有無によらず周囲の環境を撮影して、撮影画像を取得し続けていてもよい。撮像装置１１０は、撮影画像をローカルに保存していてもよいし、ネットワークサーバ等の他装置に撮影画像を転送して保存させてもよい。制御部３０４は、記憶部３０３に記憶されている後処理リストを読み出す。後処理リストは、本実施形態では表示処理及び保存処理を含むものとするが、これに限られない。制御部３０４は、ネットワーク通信部３０７を制御して、後処理リストと、図９の処理によって取得した統合処理リストと、Ｓ１００２で取得した撮影画像とを入出力装置１３０へ送信する（Ｓ１００３）。撮像装置１１０は、一例として、上述のＯＮＶＩＦ規格で規定された要求メッセージに対する応答メッセージを入出力装置１３０へ送信することによって、入出力装置１３０へ情報を送信する。ただし、これに限られず、他のメッセージ等によって情報の送信が行われてもよい。なお、ここでは、実行する処理のみが考慮されてもよく、Ｓ１００１の入出力装置１３０による撮影画像の要求、Ｓ１００２における撮影画像の取得、及びＳ１００３の入出力装置１３０への撮影画像の送信は行われなくてもよい。

入出力装置１３０の制御部７０２は、ネットワーク通信部７０１を制御して、撮像装置１１０から撮影画像と統合処理リストと後処理リストを受信する。そして、制御部７０２は、表示部７０３を制御して、画面表示等によって、統合処理リストと後処理リストをユーザに提示する（Ｓ１００４）。なお、制御部７０２は、このときに、併せて撮影画像を画面表示等によってユーザに提示してもよい。その後、ユーザは、表示部７０３によって表示された統合処理リストと後処理リストを確認し、操作部７０４を介して、実行すべき解析処理（以下では、「実行対象処理」と呼ぶ。）を統合処理リストの中から選択する（Ｓ１００５）。また、ユーザは、操作部７０４を介して、実行すべき後処理（以降、実行対象後処理）を選択する（Ｓ１００６）。操作部７０４は、実行対象処理と実行対象後処理の選択結果を、制御部７０２に出力する。制御部７０２は、ネットワーク通信部７０１を制御して、操作部７０４から入力された実行対象処理と実行対象後処理を示す情報を撮像装置１１０へ送信する（Ｓ１００７）。

撮像装置１１０の制御部３０４は、ネットワーク通信部３０７を制御して、入出力装置１３０のユーザによって選択された実行対象処理を示す情報を受信すると、その実行対象処理が第２処理リストに含まれている処理であるか否かを判定する（Ｓ１００８）。そして、制御部３０４は、実行対象処理が第２処理リストに含まれないと判定した場合（Ｓ１００８でＮＯ）には、撮像装置１１０内で処理を実行するため、着脱可能デバイス１００への通知等を行うことなく図１０の処理を終了する。一方、制御部３０４は、実行対象処理が第２処理リストに含まれると判定した場合（Ｓ１００８でＹＥＳ）、デバイス通信部３０６を制御して、実行対象処理の設定要求を着脱可能デバイス１００に送信する（Ｓ１００９）。この設定要求には、実行対象処理に必要なデータの送信命令や変更命令が含まれる。例えば、実行対象処理に必要なパラメータを格納したデータの送信命令や、オブジェクトを検出できるように学習が行われた学習モデルの変更命令が含まれる。

着脱可能デバイス１００の通信部５０２は、実行対象処理の設定要求を撮像装置１１０から受信する。このとき、通信部５０２は、撮像装置１１０から書き込まれるデータ量や書き込みコマンドの種別によって実行対象処理の設定要求を判別しうる。通信部５０２は、撮像装置１１０から受信した実行対象処理の設定要求を、解析部５０１に出力する。解析部５０１は、通信部５０２から入力された実行対象処理の設定要求に基づいて、着脱可能デバイス１００が実行対象処理を実行可能な状態となるようにするための設定を実行する（Ｓ１０１０）。具体的には着脱可能デバイス１００が撮像装置１１０から受信した複数の学習モデルのうちの一つを展開する。そして、通信部５０２は、例えば設定処理が完了した後に、設定完了通知を撮像装置１１０へ送信する（Ｓ１０１１）。

図１０の処理のように、特定の処理を実行可能な着脱可能デバイス１００が撮像装置１１０に装着されたか否かによって定まる統合処理リストを用いることにより、撮像装置１１０側の状態を考慮して実行対象処理を適切に決定することができる。また、実行対象処理が着脱可能デバイス１００で実行される処理を含む場合に着脱可能デバイス１００の設定を自動で行うことにより、ユーザによる設定操作を行うことなく、ユーザが選択した処理を実行する準備を整えることができる。また、実行対象処理が着脱可能デバイス１００で実行される処理を含まない場合に着脱可能デバイス１００の設定を行わないことで、撮像装置１１０単体で処理を実行する場合に不必要に着脱可能デバイス１００の設定が行われることを防ぐことができる。

＜解析処理の実行制御＞
図１１に、撮像装置１１０が解析処理を実行する際の制御の流れの例を示す。本処理では、まず、撮像制御部３０１が周囲の環境を撮影する（Ｓ１１０１）。制御部３０４は、信号処理部３０２を制御して、撮像制御部３０１によって撮影された画像の処理を行い、撮影画像を取得する。その後、制御部３０４は、解析部３０５を制御して、制御部３０４から入力された撮影画像に対して解析前処理を実行し、解析前処理結果の画像を取得する（Ｓ１１０２）。そして、制御部３０４は、実行対象処理が第２処理リストに含まれるかを判定する（Ｓ１１０３）。

制御部３０４は、実行対象処理が第２処理リストに含まれないと判定した場合（Ｓ１１０３でＮＯ）、解析部３０５を制御して、撮像装置１１０内で解析前処理結果の画像に対する実行対象処理を実行する（Ｓ１１０４）。そして、制御部３０４は、解析部３０５を制御して、解析処理結果に対する解析後処理を実行し（Ｓ１１０８）、処理を終了する。

制御部３０４は、実行対象処理が第２処理リストに含まれていると判定した場合（Ｓ１１０３でＹＥＳ）、デバイス通信部３０６を制御して、解析前処理結果の画像を着脱可能デバイス１００に送信する（Ｓ１１０５）。例えば、制御部３０４は、解析前処理結果の書き込み要求（ライトコマンド）を発行することにより、着脱可能デバイス１００へ解析前処理結果の画像を送信する。着脱可能デバイス１００の通信部５０２は、解析前処理結果の画像を撮像装置１１０から受信し、撮像装置１１０から受信した画像を解析部５０１に出力する。解析部５０１は、通信部５０２から入力された画像に対して、図１０のＳ１０１０において設定された実行対象処理を実行する（Ｓ１１０６）。なお、解析部５０１が実行対象処理を実行中に、撮像装置１１０から第２処理リストに含まれてない学習モデルの追加要求を受けた場合、解析前処理結果の書き込み要求（ライトコマンド）と撮像装置１１０における解析処理結果の読み出し要求（リードコマンド）間の空き帯域（着脱可能デバイスが解析処理を実行している時間）を利用して当該学習モデルを分割して送信する。このとき、制御部３０４が学習モデルを分割して送信する方法の詳細については後述する。そして、通信部５０２は、解析部５０１による処理によって得られた解析処理結果を撮像装置１１０へ送信する（Ｓ１１０７）。撮像装置１１０の制御部３０４は、デバイス通信部３０６を制御して、着脱可能デバイス１００から解析処理結果を受信する。その後、制御部３０４は、解析部３０５を制御して、解析処理結果に対して解析後処理を実行する（Ｓ１１０８）。

着脱可能デバイス１００から撮像装置１１０への解析処理結果の送信は、例えば以下のようにして行われる。着脱可能デバイス１００の解析部５０１は、解析処理結果を実行対象処理ごとに割り当てられた解析処理結果の格納先アドレスに格納する。そして、撮像装置１１０は、例えば第２処理リストと共にアドレスＡに格納された解析処理結果の格納アドレスを示す情報を読み出し、その格納アドレスに対する読み出し要求（リードコマンド）を発行する。着脱可能デバイス１００は、通信部５０２を介して、解析処理結果の格納アドレスへの読み出し要求を受け取り、解析処理結果を撮像装置１１０に対して出力する。なお、撮像装置１１０は、例えばアドレスＡに格納されている推定処理時間が経過した後に、解析処理結果の格納アドレスに対する読み出し要求を発行しうる。また、着脱可能デバイス１００が、撮像装置１１０から送信された解析前処理結果の最後の１ブロックの書き込み要求から実行対象処理が終了するまでの間はＢＵＳＹ信号を出力するようにしてもよい。この場合、撮像装置１１０は、ＢＵＳＹ信号を受信しなくなってから、解析処理結果の格納アドレスに対する読み出し要求を発行しうる。これにより、撮像装置１１０は、処理が終了した後に処理結果を取得することが可能となる。

以上のような処理により、撮像装置１１０は、選択された実行対象処理に応じて、撮影画像を着脱可能デバイス１００に転送するか否かを決定することができる。これにより、解析処理を撮像装置１１０が実行するか着脱可能デバイス１００が実行するかをユーザが意識することなく、撮影画像の解析処理を実行することが可能となる。

＜後処理の実行制御＞
図１２に、撮像装置１１０が後処理を実行する際の制御の流れの例を示す。本処理では、撮像装置１１０の制御部３０４が、実行対象の後処理に「表示」が含まれるか否かを判定する（Ｓ１２０１）。制御部３０４は、実行対象の後処理に表示が含まれると判定した場合（Ｓ１２０１でＹＥＳ）、ネットワーク通信部３０７を制御して、解析処理の結果を入出力装置１３０へ送信する（Ｓ１２０２）。入出力装置１３０の制御部７０２は、ネットワーク通信部７０１を制御して、撮像装置１１０から解析処理の結果を受信すると、表示部７０３を制御して、解析処理の結果を画面表示等によってユーザに提示する（Ｓ１２０３）。一方、制御部３０４が実行対象の後処理に表示が含まれないと判定した場合（Ｓ１２０１でＮＯ）、Ｓ１２０２及びＳ１２０３の処理は実行されない。

また、撮像装置１１０の制御部３０４は、実行対象の後処理に「保存」が含まれるか否かの判定を行う（Ｓ１２０４）。なお、Ｓ１２０４の判定は、Ｓ１２０１の前に実行されてもよいし、Ｓ１２０１と並行して実行されてもよい。制御部３０４は、実行対象の後処理に保存が含まれると判定した場合（Ｓ１２０４でＹＥＳ）、記憶部３０３を制御して、解析処理の結果を記憶し、処理を終了する。一方、制御部３０４は、実行対象の後処理に保存が含まれないと判定した場合（Ｓ１２０４でＮＯ）は、Ｓ１２０５の処理を実行せずに処理を終了する。なお、解析結果の記憶は、撮像装置１１０が有するメモリ（図示せず）でも良いし、着脱可能デバイス１００でも構わない。

このように、撮像装置１１０は、選択された後処理に応じて、解析処理の結果の入出力装置１３０への転送や記憶部３０３への格納を、ユーザによる特段の設定操作を受け付けることなく実行することができ、利便性を向上させることができる。

＜学習モデルを分割して送信する処理＞
ここで、実行対象処理中に、ユーザによる第２処理リストに含まれてない学習モデルの追加要求を受けた場合において、撮像装置１１０が着脱可能デバイス１００に学習モデルを分割して送信する処理について図１３を用いて説明する。なお、撮像装置１１０に、新規に追加する学習モデルは、ユーザの指示に従って入出力装置１３０から対象となる撮像装置１１０に事前に転送しているものとして説明する。また、撮像装置１１０は、入出力装置１３０から受信した学習モデルを、自身の不図示のメモリに保存済みであるものとして説明する。

はじめに、Ｓ１３０１で撮像装置１１０の制御部３０４は、ユーザによる学習モデルの追加要求を受けたかどうかを判断する。

撮像装置１１０の制御部３０４が、ユーザによる学習モデルの追加要求を受けなかったと判断した場合（Ｓ１３０１でＮＯ）は、処理をＳ１３０６に進め、撮像装置１１０は前処理結果を着脱可能デバイス１００に送信する。

Ｓ１３０１にて制御部３０４がユーザによる学習モデルの追加要求を受けたと判断した場合（Ｓ１３０１でＹＥＳ）は、処理をＳ１３０２に進め、当該学習モデルが着脱可能デバイス１００に既に保存されているかを判定する。制御部３０４が既に保存されていると判定した場合（Ｓ１３０２でＹＥＳ）は、処理はＳ１３０６に進む。

Ｓ１３０２にて制御部３０４が、当該学習モデルが着脱可能デバイス１００にないと判定した場合（Ｓ１３０２でＮｏ）は、処理をＳ１３０３に進め、制御部３０４は追加する学習モデルが既に分割済であるか判定する。制御部３０４が既に学習モデルが分割済であると判定した場合（Ｓ１３０３でＹＥＳ）は、処理はＳ１３０６に進む。

Ｓ１３０３にて制御部３０４が学習モデルを分割済でないと判定した場合（Ｓ１３０３でＮｏ）、処理をＳ１３０４に進める。このＳ１３０４にて、制御部３０４は、送信する学習モデルの分割数を決定する。分割数の決定方法は、解析前処理結果の書き込み要求（ライトコマンド）と読み出し要求（リードコマンド）までに要する解析処理時間（撮像装置１１０にとっての待ち期間に相当する）に基づき決定する。具体的には、制御部３０３は、図１４、図１５に示される情報を元に計算する。

図１４は、着脱可能デバイス１００に保管されている各学習モデルの解析処理時間情報との関係を示すテーブルである。図１４に示されるように、本実施形態では、４つの学習モデルの情報が含まれている。また、図１５は撮像装置１１０に保管されている、追加候補の学習モデルと転送時間との対応関係を示すテーブルである（なお、学習モデルとそのサイズとの関係を示すテーブルでも良い）。図１４、図１５に示すテーブルは、入出力装置１３０が撮像装置１１０に予め転送することで、記憶部３０３に保持されるものである。

これらの情報を元に、制御部３０４は新たに追加される学習モデルの転送時間を、現在実行中の学習モデルの処理時間で除算することで、分割数を決定する。例えば、着脱可能デバイス１００が利用中（実行中）の学習モデルＡであり、そこに学習モデルＥの追加要求がきた場合、分割数は４０００／１６７＝２４（分割）となる。以下、分割した学習モデルを順に学習モデル１、学習モデル２・・・学習モデル２４と呼ぶ。

次にＳ１３０５で、制御部３０４はＳ１３０４で決定した分割数を元に、学習モデルの分割処理を行う。

次に、処理はＳ１３０６に進み、撮像装置は前処理結果を着脱可能デバイス１００に送信する。

次にＳ１３０７にて、撮像装置１１０の制御部３０４が前処理結果の送信が完了したか判定する。前処理結果の送信が完了していない場合（Ｓ１３０７でＮｏ）は、処理はＳ１３０５に戻る。

Ｓ１３０７で制御部３０４が前処理結果の送信が完了したと判定した場合（Ｓ１３０７でＹｅｓ）は、処理をＳ１１０６に進め、着脱可能デバイスが前処理結果に対して実行対象処理を実行する。具体的な処理の内容は前述した通りなので説明を省略する。

次にＳ１３０８にて撮像装置１１０の制御部３０４は分割済である未送信の学習モデルが有るかを判断する。制御部３０４が、未送信の学習モデルが無いと判断した場合（Ｓ１３０７でＮｏ）は、処理はＳ１１０７に進み、着脱可能デバイス１００が、撮像装置１１０へ、実行対象処理の結果を送信する。Ｓ１１０７の処理の詳細は前述の通りなので説明を省略する。

Ｓ１３０８にて、制御部３０４が未送信の学習モデルが有ると判断した場合（Ｓ１３０８でＹｅｓ）は、処理をＳ１３０９に進め、未送信の学習モデルを送信する。

図１６は分割した学習データを、解析前処理結果を含む書き込み要求（ライトコマンド）と、読み出し要求（リードコマンド）の間で送信している様子を示した図である。参照符号１６０１は、学習モデルを２４分割して最初に送信される学習モデル１を示している。着脱可能デバイス１００は、この学習モデル１を受信後に記憶部４０４に保存する。このとき、記憶部４０４は保存した記憶領域のアドレスを記憶する。例えば、記憶部４０４は分割された学習モデルを保存した記憶領域の末尾のアドレスを記憶する。

次に、Ｓ１１０７で着脱可能デバイスが、撮像装置１１０へ実行対象処理の結果を送信し、処理はＳ１３０１へ戻る。

再び、制御部３０４はＳ１３０１、Ｓ１３０２の処理を行い、Ｓ１３０３で追加する学習モデルが分割済か判定する。本実施形態では追加する学習モデルが既に分割済であるため、処理はＳ１３０６に進む。

次に処理は、Ｓ１３０６、Ｓ１１０６に進む。Ｓ１３０６、Ｓ１１０６の処理の詳細は前述の通りなので説明を省略する。

次に、Ｓ１３０８で未送信の学習モデルがあるか判定する。本実施形態では学習モデル２～２４が撮像装置１１０内に残っているので、撮像装置１１０は図１６の参照符号１６０２に示すように学習モデル２を送信し、着脱可能デバイス１００はこの学習モデル２を記憶部４０４に保存する。このとき、記憶部４０４は学習モデル１を保存した記憶領域のアドレスを参照して、その直後に学習モデル２を保存する。

本実施形態では分割数が２４であるため、ライトコマンドとリードコマンド間の待機期間が発生するたびに、学習モデル１～学習モデル２４を送信し、保管させる。そのため、制御部３０４は、新規学習モデルの全てのデータの送信が完了するまで、図１３のフローを繰り返すことになる。

以上説明したように本実施形態によれば、着脱可能デバイス１００に処理すべきデータを与えてから（ライトして）、その処理結果を取得する（リード）までの期間が発生するたびに、分割した新たな学習モデルの転送を行うことで、無駄の無い転送ができるようになる。

なお、実施形態では、撮像装置１１０は、図１４、図１５のテーブルを個別に記憶するものとして説明したが、設定可能な学習モデルの種類、当該学習モデルの解析処理時間（処理が完了するのに要する時間）、学習モデルの転送に係る転送時間の各フィールドを持つ１つのテーブルを記憶管理するようにしても良い。

［第２の実施形態］
第１の実施形態では、デバイス通信部３０６は学習モデルを解析前処理結果の書き込み要求（ライトコマンド）と読み出し要求（リードコマンド）の期間にて、分割された学習モデルを着脱可能デバイス１００に送信するものであったが、この限りではない。たとえば、書き込み要求（処理対象のデータ＋ライトコマンド）と同時に分割した学習モデルを送信してもよい。以下、具体的な処理の流れについて図１７を用いて説明する。なお、
着脱可能デバイス１００にとって、書き込み要求のサイズを既知であるものとして説明する。

Ｓ１３０１～Ｓ１３０３の処理に関しては、第１の実施形態と同様なので説明を省略する。

Ｓ１３０４では、第１の実施形態で説明した通り、制御部３０４は、送信する学習モデルの分割数を決定する。具体的には制御部３０４は解析前処理結果の書き込み要求（ライトコマンド）と読み出し要求（リードコマンド）までに要する解析処理時間に基づき決定する。例えば、学習モデルＡの実行中に学習モデルＥの追加要求がきた場合、分割数は４０００／１６７＝２４（分割）となる。以下、分割した学習モデルを順に学習モデル１、学習モデル２・・・学習モデル２４と呼ぶ。

次にＳ１３０５にて、制御部３０４はＳ１３０４で決定した分割数を元に、学習モデルの分割処理を行う。

そして、Ｓ１７０１にて、制御部３０４は解析前処理結果の書き込み要求（ライトコマンド）に空き領域があるか判定する。制御部３０４は、書き込み要求（ライトコマンド）に空き領域がないと判定した場合（Ｓ１７０１でＮｏ）は、処理をＳ１７０３に進める。また、制御部３０４は、書き込み要求（ライトコマンド）に空き領域があると判定した場合（Ｓ１７０１でＹｅｓ）は、処理をＳ１７０２に進める。このＳ１７０２にて、制御部３０４は、当該空き領域に学習データを格納する。例えば、制御部３０４は学習モデル１の一部を書き込み要求（ライトコマンド）の空き領域に格納する。

そして、Ｓ１７０３にて、撮像装置１１０は解析前処理結果の書き込み要求（ライトコマンド）と学習モデル１の一部を着脱可能デバイス１００に送信する。

図１８は、分割した学習データを解析前処理結果の書き込み要求（ライトコマンド）と読み出し要求（リードコマンド）の間で送信している様子を示した図である。図示の参照符号１８０１は、解析前処理結果の書き込み要求（ライトコマンド）と同時に送られる学習モデル１の一部を示している。

次にＳ１３０６にて、撮像装置１１０の制御部３０４は、前処理結果と学習モデル１の一部の送信が完了したか判定する。制御部３０４は、前処理結果と学習モデル１の一部の送信が完了していないと判定した場合（Ｓ１３０６でＮｏ）、処理をＳ１７０３に戻す。一方、制御部３０４は、前処理結果と学習モデル１の一部の送信が完了したと判定した場合（Ｓ１３０６でＹｅｓ）は、処理はＳ１１０６に進む。このＳ１１０６にて、着脱可能デバイス１００が前処理結果に対して実行対象処理を実行する。具体的な処理の内容は前述した通りなので説明を省略する。

次にＳ１３０７にて、撮像装置１１０の制御部３０４は、分割済である未送信の学習モデルがあるかを判断する。制御部３０４が、未送信の学習モデルがないと判断した場合（Ｓ１３０７でＮｏ）は、処理をＳ１１０７に進める。Ｓ１１０７にて、着脱可能デバイス１００は、撮像装置１１０へ、実行対象処理の結果を送信する。処理の詳細は前述の通りなので説明を省略する。

Ｓ１３０７にて、制御部３０４が未送信の学習モデルがあると判断した場合（Ｓ１３０８でＹｅｓ）は、処理をＳ１３０８に進め、未送信の学習モデルを送信する。図１８の参照符号１８０２は学習モデルを２４分割して２番目に送信される学習モデル２を示している。着脱可能デバイス１００はこの学習モデル２を受信後に記憶部４０４に保存することになる。

次に、Ｓ１１０７で着脱可能デバイスが、撮像装置１１０へ実行対象処理の結果を送信し、処理はＳ１３０１へ戻る。

再び、制御部３０４はＳ１３０１、Ｓ１３０２の処理を行い、Ｓ１３０３で追加する学習モデルが分割済か判定する。本実施形態では追加する学習モデルが既に分割済であるため、処理はＳ１７０１に進むことになる。

次にＳ１７０１にて、制御部３０４は、解析前処理結果の書き込み要求（ライトコマンド）に空き領域があるか判定する。Ｓ１７０１において、書き込み要求（ライトコマンド）に空き領域がないと判定した場合（Ｓ１７０１でＮｏ）は、処理はＳ１７０３に進める。

Ｓ１７０１において、制御部３０４が、書き込み要求（ライトコマンド）に空き領域があると判定した場合（Ｓ１７０１でＹｅｓ）は、処理をＳ１７０２に進める。このＳ１７０２にて、制御部３０４は当該空き領域に学習データを格納する。例えば、制御部３０４は学習モデル１の一部を書き込み要求（ライトコマンド）の空き領域に格納する。

そして、Ｓ１７０３にて、制御部３０４は、解析前処理結果の書き込み要求（ライトコマンド）と学習モデル１の一部を着脱可能デバイス１００に送信する。図１８の参照符号１８０３は、解析前処理結果の書き込み要求（ライトコマンド）と同時に送られる学習モデル１の一部を示している。

次に処理はＳ１３０６、Ｓ１１０６に進む。Ｓ１３０６とＳ１１０６の処理は前述した通りなので説明を省略する。

次に、Ｓ１３０７で未送信の学習モデルがあるか判定する。本実施形態では学習モデル３～２４が撮像装置１１０内に残っているので、撮像装置１１０は図１８の参照符号１８０４に示すように学習モデル３を送信し、着脱可能デバイス１００はこの学習モデル３を記憶部４０４に保存する。

本実施形態では分割数が２４であるため、学習モデル１～学習モデル２４を全て送信し、保管されるまで、制御部３０４は図１８のフローを繰り返す。

以上説明したように、第２の実施形態によれば、デバイス通信部３０６から着脱可能デバイス１００への単位転送量が固定であって、処理対象のデータとその書き込みコマンドとのサイズが、単位転送量の整数倍に対して空き領域が存在する場合には、新規学習モデル（の一部）をその空き領域に格納した上で転送する。この結果、先に説明した第１の実施形態と比較して、着脱可能デバイスへの送信（書き込み）に係る時間を更に短くできる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００…着脱可能デバイス、１１０…撮像装置、１２０…ネットワーク、１３０…入出力装置、３０１…撮像制御部、３０２…信号処理部、３０３…記憶部、３０４…制御部、３０５…解析部、３０６…デバイス通信部、３０７…ネットワーク通信部、４０１…Ｉ／Ｆ部、４０２…ＦＰＧＡ，４０３…Ｃｏｎｆｉｇｒａｔｉｏｎ外部制御部、４０４…記憶部

Claims (6)

1. 撮像手段を有し、当該撮像手段で得た画像に基づく処理を実行する撮像装置であって、
   学習モデルを用いて与えられたデータを処理可能なデバイスを装着するためのインタフェースと、
   前記インタフェースを介し、前記デバイスへの処理対象のデータを含む処理の要求を表すライトコマンドの発行、並びに、処理結果をリードするためのリードコマンドの発行を行うことで、前記デバイスを利用した処理を行う制御手段とを有し、
   該制御手段は、
   前記デバイスを利用した処理中に前記デバイスに新規学習モデルを設定する場合、前記デバイスへライトコマンドを発行してから当該処理を完了するまでに要する期間を利用して、前記新規学習モデルの一部を前記デバイスに送信して設定する
   ことを特徴とする撮像装置。
2. 更に、前記デバイスに設定可能な学習モデルの種類、当該学習モデルを用いた場合の処理が完了するのに要する時間、当該学習モデルを前記撮像装置から前記デバイスに転送するのに要する時間の関係を示す情報を記憶する記憶手段を含み、
   前記制御手段は、前記記憶手段を参照して、前記新規学習モデルの転送が完了するのに要する時間を前記デバイスによる処理で利用中の既存の学習モデルによる処理が完了するのに要する時間で除算して得た値で、前記新規学習モデルを分割し、前記期間が発生するたびに、分割した新規学習モデルを前記デバイスに送信する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記デバイスへの処理対象のデータを含む前記ライトコマンドの空き領域に、前記新規学習モデルのデータの一部を格納した上で送信することを特徴とする請求項１又は２に記載の撮像装置。
4. 更にネットワーク上の所定の処理装置と通信するためのネットワーク通信手段を有し、
   前記制御手段は、更に、前記デバイスによる処理の結果を示す情報を、前記ネットワーク通信手段を利用して前記処理装置に送信する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 学習モデルを用いて与えられたデータを処理可能なデバイスを装着するためのインタフェースと、撮像手段とを有し、当該撮像手段で得た画像に基づく所定の処理を実行する撮像装置の制御方法であって、
   前記インタフェースを介し、前記デバイスへの処理対象のデータを含む処理の要求を表すライトコマンドの発行、並びに、処理結果をリードするためのリードコマンドの発行を行うことで、前記デバイスを利用した処理を行う制御工程を有し、
   該制御工程では、
   前記デバイスを利用した処理中に前記デバイスに新規学習モデルを設定する場合、前記デバイスへライトコマンドを発行してから当該処理を完了するまでに要する期間を利用して、前記新規学習モデルの一部を前記デバイスに送信して設定する
   ことを特徴とする撮像装置の制御方法。
6. コンピュータを、請求項１乃至４のいずれか１項に記載の撮像装置として機能させるためのプログラム。

Images