JP2023011341A - Information processing device and control method for the same - Google Patents
Information processing device and control method for the same Download PDFInfo
- Publication number
- JP2023011341A JP2023011341A JP2021115146A JP2021115146A JP2023011341A JP 2023011341 A JP2023011341 A JP 2023011341A JP 2021115146 A JP2021115146 A JP 2021115146A JP 2021115146 A JP2021115146 A JP 2021115146A JP 2023011341 A JP2023011341 A JP 2023011341A
- Authority
- JP
- Japan
- Prior art keywords
- processing
- learning model
- analysis
- imaging device
- list
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は、解析処理を効率的に実行するための技術に関するものである。 The present invention relates to techniques for efficiently executing analysis processing.
近年、様々なシーンにおいて、監視カメラにより撮像された画像を用いて、物体の検出や追尾、属性の推定等を行う画像解析、および画像解析の結果に基づく物体数の推定等の画像処理が行われている。これまでは監視カメラの映像をＰＣやサーバ等の高性能な演算装置に転送して画像解析が行われてきたが、モバイル用演算装置の処理能力の向上に伴い、画像解析をカメラ側で直接行う形態も利用されてきている。 In recent years, in various scenes, images captured by surveillance cameras have been used for image analysis such as detection and tracking of objects, estimation of attributes, and image processing such as estimation of the number of objects based on the results of image analysis. It is Until now, images from surveillance cameras have been transferred to high-performance computing devices such as PCs and servers for image analysis. The form of doing is also being used.
実装形態として、カメラ本体に演算装置を配置する他、ＵＳＢ接続の着脱可能デバイス等に演算装置を配置する形態も提案されている。しかしながら、画像解析技術の急速な進歩によって高精度な解析が可能となった一方で、画像解析を達成する機械学習モデルのデータサイズが増大している。このような機械学習モデルを使って映像解析処理をエッジデバイス上で実行すると、処理負荷や処理時間が増大してしまうという問題がある。 As an implementation form, in addition to arranging the arithmetic unit in the camera body, a form in which the arithmetic unit is arranged in a detachable device or the like connected by USB has also been proposed. However, while rapid progress in image analysis technology has enabled highly accurate analysis, the data size of machine learning models that achieve image analysis is increasing. When video analysis processing is executed on an edge device using such a machine learning model, there is a problem that the processing load and processing time increase.
特許文献１では、個々の対象物に特化した学習モデルを使用することにより、処理量を低減しつつ個別の対象物の検出精度を向上させる技術が開示されている。 Patent Literature 1 discloses a technique for improving detection accuracy of individual objects while reducing the amount of processing by using a learning model specialized for each individual object.
しかしながら、特許文献１に記載された技術では、エッジデバイス上の学習モデル切り替えに時間を要し、学習モデルを切り替えている間の解析処理が中断するという課題がある。 However, the technique described in Patent Literature 1 has a problem that it takes time to switch the learning model on the edge device, and the analysis process is interrupted while switching the learning model.
本発明は、このような問題に鑑みてなされたものであり、解析処理を中断することなく学習モデルの切り替える技術を提供することを目的としている。 The present invention has been made in view of such problems, and an object of the present invention is to provide a technique for switching learning models without interrupting analysis processing.
上述の問題点を解決するため、本発明に係る情報処理装置は以下の構成を備える。すなわち、演算処理を実行可能なデバイスを着脱可能な装着機構を有する情報処理装置は、
前記デバイスが前記演算処理の実行に使用する学習モデルを切り替える切替手段と、
前記切替手段により前記デバイスの学習モデルの切り替えを実行している間に、前記デバイスが実行する演算処理を代替実行する処理手段と、
を有する。
In order to solve the above problems, an information processing apparatus according to the present invention has the following configuration. That is, an information processing apparatus having a mounting mechanism to which a device capable of executing arithmetic processing can be detached,
switching means for switching the learning model used by the device to execute the arithmetic processing;
a processing means for alternatively executing arithmetic processing executed by the device while the learning model of the device is being switched by the switching means;
have
本発明によれば、解析処理を中断することなく学習モデルの切り替える技術を提供することができる。 According to the present invention, it is possible to provide a technique for switching learning models without interrupting analysis processing.
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。 Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. In addition, the following embodiments do not limit the invention according to the scope of claims. Although multiple features are described in the embodiments, not all of these multiple features are essential to the invention, and multiple features may be combined arbitrarily. Furthermore, in the accompanying drawings, the same or similar configurations are denoted by the same reference numerals, and redundant description is omitted.
（第１実施形態）
本発明に係る情報処理装置の第１実施形態として、画像解析システムを例に挙げて以下に説明する。
(First embodiment)
An image analysis system will be described below as an example of an information processing apparatus according to a first embodiment of the present invention.
＜システム全体構成＞
図１は、画像解析システムの全体構成を示す図である。以下では、一例として、このシステムが特定人物追跡システムである場合について説明する。ただし、これに限られず、画像を解析して所定の情報出力を行う任意のシステムに、以下の議論を適用することができる。本システムは、撮像装置１１０ａ～１１０ｄと、ネットワーク１２０と、入出力装置１３０とを含んで構成される。なお、撮像装置１１０ａ～１１０ｄは、それぞれ、例えば撮像した画像を記録可能なデバイスを着脱可能なスロットを有し、そのスロットに着脱可能デバイス１００ａ～１００ｄが挿入されることにより、着脱可能デバイス１００ａ～１００ｄと接続される。なお、以下では、着脱可能デバイス１００ａ～１００ｄを「着脱可能デバイス１００」と表記し、撮像装置１１０ａ～１１０ｄを「撮像装置１１０」と表記する。
<Overall system configuration>
FIG. 1 is a diagram showing the overall configuration of an image analysis system. In the following, as an example, a case where this system is a specific person tracking system will be described. However, the following discussion is not limited to this, and can be applied to any system that analyzes an image and outputs predetermined information. The system includes
着脱可能デバイス１００は、撮像装置１１０に対して着脱可能な演算デバイスである。着脱可能デバイス１００は、一例として、ＳＤカードに所定の処理回路を搭載したデバイスである。着脱可能デバイス１００は、例えば、ＳＤカードの態様によって、撮像装置１１０にその全体が挿入可能に構成され、これにより、撮像装置１１０から突出する部分がない状態で撮像装置１１０と接続可能に構成することができる。これにより、着脱可能デバイス１００が配線等の障害物と干渉することを防ぐことができ、デバイスの利用時の利便性を高めることができる。また、多くの既存のネットワークカメラなどの撮像装置１１０には、ＳＤカードスロットが用意されているため、既存の撮像装置１１０に対して、着脱可能デバイス１００により拡張機能を提供することができる。なお、着脱可能デバイス１００は、ＳＤカードの態様以外に、少なくともその撮像装置１１０で撮影された画像を記憶可能な記憶装置が装着される際に使用される任意のインタフェースで、撮像装置１１０に装着されるように構成されてもよい。例えば、着脱可能デバイス１００は、ＵＳＢ（ユニバーサリシリアルバス）インタフェースを有し、撮像装置１１０のＵＳＢソケットに装着されるように構成されてもよい。また、所定の処理回路は、例えば、所定の処理を実行するようにプログラムされたＦＰＧＡ（フィールドプログラマブルゲートアレイ）によって実装されるが、それ以外の形式で実装されてもよい。
The
撮像装置１１０は、ネットワークカメラ等の撮像装置である。本実施形態では、撮像装置１１０は、映像を処理することのできる演算装置を内蔵するものとするが、これに限られない。例えば、撮像装置１１０に接続されたＰＣ（パーソナルコンピュータ）等の外部コンピュータが存在してもよく、これらの組み合わせを、撮像装置１１０として扱ってもよい。また、本実施形態では、全ての撮像装置１１０に、着脱可能デバイス１００が装着されているものとする。なお、図１では、４つの撮像装置１１０と、それぞれに装着された着脱可能デバイスとが示されているが、これらの装置の組み合わせの数は３つ以下であってもよいし、５つ以上であってもよい。撮像装置１１０に、画像解析処理機能を有する着脱可能デバイス１００が装着されることにより、撮像装置１１０が画像解析処理機能を有しなくても、撮像装置１１０側で映像処理を実行することが可能となる。また、本実施形態のように撮像装置１１０に映像処理用の演算装置が配置された形態では、演算装置が配置された着脱可能デバイス１００が撮像装置１１０に装着されることにより、撮像装置１１０側で実行可能な画像処理を多様化・高度化することができる。
The
入出力装置１３０は、ユーザからの入力の受け付けや、ユーザへの情報の出力（例えば情報の表示）を行う装置である。本実施形態では、例えば入出力装置１３０は、ＰＣ等のコンピュータであり、そのコンピュータにインストールされたブラウザやネイティブアプリケーションによって、情報の入出力が行われる。
The input/
撮像装置１１０と入出力装置１３０は、ネットワーク１２０を介して通信可能に接続される。ネットワーク１２０は、例えばＥｔｈｅｒｎｅｔ（登録商標）等の通信規格を満たす複数のルータ、スイッチ、ケーブル等を含んで構成される。本実施形態では、ネットワーク１２０は、撮像装置１１０と入出力装置１３０との間の通信を可能とする任意のネットワークであってよく、任意の規模や構成、準拠する通信規格によって構築されうる。例えば、ネットワーク１２０は、インターネットや有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、ＷＡＮ（Wide Area Network）等でありうる。また、ネットワーク１２０は、例えば、ＯＮＶＩＦ（Open Network Video Interface Forum）規格に準拠した通信プロトコルでの通信が可能なように構成されうる。ただし、これに限られず、ネットワーク１２０は、例えば、独自の通信プロトコル等の他の通信プロトコルでの通信が可能なように構成されてもよい。
The
＜撮像装置の構成＞
図２は、撮像装置１１０のハードウェア構成を示す図である。撮像装置１１０は、そのハードウェア構成として、例えば、撮像部２０１、画像処理部２０２、演算処理部２０３、配信部２０４、ＳＤ Ｉ／Ｆ部２０５を含む。なお、Ｉ／Ｆは、インタフェースの略語である。
<Structure of Imaging Device>
FIG. 2 is a diagram showing the hardware configuration of the
撮像部２０１は、光を結像するためのレンズ部と、結像された光に応じたアナログ信号変換する撮像素子とを含んで構成される。レンズ部は、画角を調整するズーム機能や、光量の調整を行う絞り機能などを有する。撮像素子は、光をアナログ信号に変換する際の感度調整を行うゲイン機能を有する。これらの機能は、画像処理部２０２から通知された設定値に基づいて調整される。撮像部２０１によって取得されたアナログ信号は、アナログ－デジタル変換回路によってデジタル信号に変換され、画像信号として画像処理部２０２へ転送される。
The
画像処理部２０２は、画像処理エンジンと、その周辺デバイス等を含んで構成される。周辺デバイスは、例えば、ＲＡＭ（Random Access Memory）や、各Ｉ／Ｆのドライバ等を含む。画像処理部２０２では、撮像部２０１から取得した画像信号に対して、例えば、現像処理、フィルタ処理、センサ補正、ノイズ除去等の、画像処理を施して画像データを生成する。また、画像処理部２０２は、レンズ部や撮像素子へ設定値を送信し、適切露出画像を取得できるように、露出調整を実行しうる。画像処理部２０２において生成された画像データは、演算処理部２０３へ転送される。
The
演算処理部２０３は、ＣＰＵやＭＰＵ等の１つ以上のプロセッサ、ＲＡＭやＲＯＭ等のメモリ、各Ｉ／Ｆのドライバなどから構成される。なお、ＣＰＵはCentral Processing Unitの、ＭＰＵはMicro Processing Unitの、ＲＯＭはRead Only Memoryの、頭字語である。演算処理部２０３では、一例において、上述のシステムにおいて実行されるべき処理の各部分を撮像装置１１０と着脱可能デバイス１００とのいずれが実行するかの分担を決定し、その決定した分担に対応する処理を実行しうる。画像処理部２０２から受け取った画像は、配信部２０４、又は、ＳＤ Ｉ／Ｆ部２０５へ転送される。また、処理結果のデータも配信部２０４へ転送される。
The
配信部２０４は、ネットワーク配信エンジンと、例えば、ＲＡＭやＥＴＨ＿ＰＨＹモジュールなどの周辺デバイス等を含んで構成される。ＥＴＨ＿ＰＨＹモジュールは、Ｅｔｈｅｒｎｅｔの物理（ＰＨＹ）レイヤの処理を実行するモジュールである。配信部２０４は、演算処理部２０３から取得した画像データや処理結果のデータを、ネットワーク１２０へ配信可能な形式に変換して、変換後のデータをネットワーク１２０へ出力する。ＳＤ Ｉ／Ｆ部２０５は、着脱可能デバイス１００と接続するためのインタフェース部分で、例えば、電源と、着脱可能デバイス１００を着脱するための、着脱ソケット等の装着機構を含んで構成される。ここでは、ＳＤ Ｉ／Ｆ部２０５が、ＳＤアソシエーションにより策定されたＳＤ規格に従って構成されるものとする。演算処理部２０３から取得された画像の着脱可能デバイス１００への転送や、着脱可能デバイス１００からのデータの取得等の、着脱可能デバイス１００と撮像装置１１０との間での通信は、ＳＤ Ｉ／Ｆ部２０５を通じて行われる。
The
図３は、撮像装置１１０の機能構成を示す図である。撮像装置１１０は、その機能として、例えば、撮像制御部３０１、信号処理部３０２、記憶部３０３、制御部３０４、解析部３０５、デバイス通信部３０６、及び、ネットワーク通信部３０７を含む。
FIG. 3 is a diagram showing the functional configuration of the
撮像制御部３０１は、撮像部２０１を介して周囲の環境を撮影するようにする制御を実行する。信号処理部３０２は、撮像制御部３０１によって撮影された画像に対して所定の処理を施して、撮影画像のデータを生成する。以下では、この撮影画像のデータを単に「撮影画像」と呼ぶ。信号処理部３０２は、例えば、撮像制御部３０１によって撮影された画像を符号化する。信号処理部３０２は、静止画像に対して、例えば、ＪＰＥＧ（Joint Photographic Experts Group）等の符号化方式を用いて符号化を行う。また、信号処理部３０２は、動画像に対して、Ｈ．２６４／ＭＰＥＧ－４ ＡＶＣ（以下では「Ｈ．２６４」と呼ぶ。）、ＨＥＶＣ（High Efficiency Video Coding）等の符号化方式を用いて符号化を行う。また、信号処理部３０２は、予め設定された複数の符号化方式の中から、例えば撮像装置１１０の不図示の操作部を介して、ユーザにより選択された符号化方式を用いて、画像を符号化してもよい。
The image capturing
記憶部３０３は、解析部３０５において実行可能な解析処理のリスト（以下では「第１処理リスト」と呼ぶ。）と、解析処理の結果に対する後処理のリストとを記憶する。また、記憶部３０３は、後述する解析処理の結果を記憶する。なお、本実施形態では、実行される処理が解析処理であるが、任意の処理が実行されてもよく、記憶部３０３は、その実行される処理に関連する処理について、第１処理リストと後処理のリストとを記憶するようにしうる。制御部３０４は、信号処理部３０２、記憶部３０３、解析部３０５、デバイス通信部３０６、ネットワーク通信部３０７を、それぞれが所定の処理を実行するように、制御する。
The
解析部３０５は、撮影画像に対して、後述する解析前処理、解析処理、解析後処理の少なくともいずれかを選択的に実行する。解析前処理は、後述の解析処理を実行する前に、撮影画像に対して実行する処理である。本実施形態の解析前処理では、一例として、撮影画像を分割して分割画像を作成する処理が実行されるものとする。解析処理は、入力された画像を解析して得られる情報を出力する処理である。本実施形態の解析処理では、一例として、解析前処理によって得られた分割画像を入力として、人体検出処理、顔検出処理、車両検出処理の少なくともいずれかを実行し、解析処理結果を出力する処理が実行されるものとする。解析処理は、画像に含まれるオブジェクトを検出できるように学習が行われた機械学習モデルを用いて、分割画像中のオブジェクトの位置を出力するように構成された処理でありうる。例えば、「J.Redmon, A.Farhadi, "YOLO9000: Better Faster Stronger", Computer Vision and Pattern Recognition (CVPR) 2016」に記載の技術を用いることが出来る。解析後処理は、解析処理が実行された後に実行される処理である。本実施形態の解析後処理では、一例として、各分割画像に対する解析処理結果に基づいて、各分割画像において検出されたオブジェクトの数を合計した値を処理結果として出力する処理が実行されるものとする。なお、解析処理は、パターンマッチングを行って画像中のオブジェクトを検出し、その位置を出力する処理であってもよい。
The
デバイス通信部３０６は、着脱可能デバイス１００との通信を行う。デバイス通信部３０６は、入力されたデータを着脱可能デバイス１００が処理可能な形式に変換し、その変換によって得られたデータを着脱可能デバイス１００に送信する。また、デバイス通信部３０６は、着脱可能デバイス１００からデータを受信し、受信したデータを撮像装置１１０が処理可能な形式に変換する。本実施形態では、デバイス通信部３０６は、変換処理として、小数を浮動小数点形式と固定小数点形式との間で変換する処理を実行するものとするが、これに限られず、他の処理がデバイス通信部３０６によって実行されてもよい。また、本実施形態では、デバイス通信部３０６は、着脱可能デバイス１００に対してＳＤ規格の範囲内で事前に定められたコマンドシーケンスを送信し、着脱可能デバイス１００からの応答を受信することで、着脱可能デバイス１００との通信を行うものとする。ネットワーク通信部３０７は、ネットワーク１２０を介して、入出力装置１３０との通信を行う。
A
＜着脱可能デバイスの構成＞
図４は、着脱可能デバイス１００のハードウェア構成を示す図である。上述したように、着脱可能デバイス１００は、撮像装置１１０に着脱可能な外部演算デバイス（処理デバイス）である。着脱可能デバイス１００は、一例として、Ｉ／Ｆ部４０１、ＦＰＧＡ４０２、ＳＤコントローラ４０３、及び、記憶部４０４を含んで構成される。着脱可能デバイス１００は、撮像装置１１０が有するＳＤ Ｉ／Ｆ部２０５の着脱ソケットに挿抜できる形状で、すなわちＳＤ規格に則った形状で成形されるものとする。
<Configuration of detachable device>
FIG. 4 is a diagram showing the hardware configuration of the
Ｉ／Ｆ部４０１は、撮像装置１１０等の装置と着脱可能デバイス１００とを接続するためのインタフェース部分である。Ｉ／Ｆ部４０１は、例えば、撮像装置１１０から電源の供給を受け、着脱可能デバイス１００内で使用する電源を生成し分配する、電気的な接点端子等を含んで構成される。Ｉ／Ｆ部４０１は、撮像装置１１０のＳＤ Ｉ／Ｆ部２０５と同様に、ＳＤ規格内で定義（準拠）されている項目に関しては、それに従うものとする。撮像装置１１０からの画像や設定データの受け取り、ＦＰＧＡ４０２から撮像装置１１０へのデータの送信は、Ｉ／Ｆ部４０１を介して実行される。
The I/
ＦＰＧＡ４０２は、入出力制御部４１０、処理切替部４１１、及び演算処理部４１２を含んで構成される。ＦＰＧＡ４０２は、内部の論理回路構造を繰り返し再構成可能な半導体デバイスの一種である。ＦＰＧＡ４０２が実現する処理により、着脱可能デバイス１００が装着された装置に、処理機能を追加（提供）することができる。また、ＦＰＧＡ４０２の再構成機能により、後から論理回路構造を変更することができるため、例えば技術の進歩の早い分野の装置に着脱可能デバイス１００を装着することにより、その装置において適時に適切な処理を実行することが可能となる。なお、本実施形態では、ＦＰＧＡが用いられる例について説明するが、後述する処理を実現可能である限りにおいて、例えば、汎用のＡＳＩＣや専用のＬＳＩが用いられてもよい。
The
ＦＰＧＡ４０２は、生成される論理回路構造の情報を含んだコンフィグレーションデータ（以下、設定データ）が専用のＩ／Ｆから書き込まれることにより、又は、その設定データがその専用のＩ／Ｆから読み出されることによって、起動される。本実施形態では、この設定データが記憶部４０４に保持されているものとする。ＦＰＧＡ４０２は、電源が投入されると、記憶部４０４から設定データを読み出し、論理回路を生成して起動する。ただし、これに限られず、例えば、着脱可能デバイス内に専用の回路を実装することにより、Ｉ／Ｆ部４０１を介して、撮像装置１１０がＦＰＧＡ４０２に設定データを書き込んでもよい。
The
入出力制御部４１０は、撮像装置１１０との間で画像を送受信するための回路、撮像装置１１０から受信したコマンドを解析する回路、解析した結果に基づいて制御を行う回路、等を含んで構成される。ここでのコマンドは、ＳＤ規格に定義されているものであり、入出力制御部４１０は、それらのうちのいくつかを検出することができる。機能の詳細に関しては後述する。入出力制御部４１０は、記憶処理の場合はＳＤコントローラ４０３へ画像を送信し、画像解析処理の場合は演算処理部４１２へ画像を送信するように制御を行う。また、入出力制御部４１０は、処理の切り替えの設定データを受け取った場合は、処理切替部４１１へ設定データを送信する。
The input/
処理切替部４１１は、撮像装置１１０から受け取った設定データに基づいて、記憶部４０４から画像解析処理機能の情報を取得し、演算処理部４１２に書き込むための回路を含んで構成される。画像解析処理機能の情報は、例えば、演算処理部４１２内で処理される演算の順序や種類、演算の係数などを示す設定パラメータである。
The
演算処理部４１２は、画像解析処理機能を実行するために必要な複数の演算回路を含んで構成される。演算処理部４１２は、処理切替部４１１から受け取った画像解析処理機能の情報に基づいて、各演算処理を実行して、その処理結果を撮像装置１１０へ送信し、及び／又は、その処理結果を記憶部４０４に記録する。
The
このように、ＦＰＧＡ４０２は、事前に保持された複数の処理機能に対応する設定データに含まれる、実行対象の処理機能の設定データを抽出して、その抽出した設定データに基づいて演算処理部４１２によって実行される処理内容を書き換える。これにより、着脱可能デバイス１００が、その複数の処理機能のうちの少なくともいずれかを選択的に実行することができる。また、新規に追加する処理の設定データを随時追加することにより、撮像装置１１０側で最新の処理を実行させることができる。なお、以下では、複数の処理機能のそれぞれに対応する複数の設定データを有していることを、複数の処理機能を有すると表現する。すなわち、着脱可能デバイス１００のＦＰＧＡ４０２が１つの処理機能を実行するように構成されている状態であっても、他の処理機能のための設定データにより演算処理部４１２の処理内容を変更することができる場合「複数の処理機能を有する」と表現する。
In this way, the
ＳＤコントローラ４０３は、ＳＤ規格に定義されているような公知のコントロールＩＣ（集積回路）であり、ＳＤプロトコルのスレーブ動作の制御と、記憶部４０４に対するデータの読み書きの制御とを実行する。記憶部４０４は、例えばＮＡＮＤ型フラッシュメモリによって構成され、例えば、撮像装置１１０から書き込まれた記憶データ、演算処理部４１２に書き込まれる画像解析処理機能の情報、ＦＰＧＡ４０２の設定データ等の各種情報を記憶する。
The
図５は、着脱可能デバイス１００の機能構成を示す図である。着脱可能デバイス１００は、その機能構成として、例えば、解析部５０１、通信部５０２、及び記憶部５０３を含む。
FIG. 5 is a diagram showing the functional configuration of the
解析部５０１は、画像に対する解析処理を実行する。解析部５０１は、例えば、解析処理設定要求を入力された場合に、入力された解析処理を実行可能な状態にするための設定を実行する。また、解析部５０１は、画像が入力された場合、その入力された画像に対して、実行可能な状態に設定された解析処理を実行する。
The
本実施形態では、解析部５０１が実行可能な解析処理は、人体検出処理と車両検出処理であるものとするが、これらに限られない。例えば、事前に記憶された人物が画像に含まれるか否かを判定する処理（後述する顔認証処理）であってもよい。例えば、事前に記憶された人物の画像特徴量と、入力された画像から検出された人物の画像特徴量との一致度合いが算出され、一致度合いが閾値以上の場合に事前に記憶された人物であると判定される。また、プライバシー保護を目的として。入力された画像から検出された人物に対して、所定のマスク画像を重畳したり、モザイク処理を施したりする処理であってもよい。また、人物の特定の行動を機械学習によって学習した学習モデルを用いて、画像中の人物が特定の行動を行っているかを検出する処理であってもよい。さらには、画像中の領域がどのような領域なのかを判定する処理であってもよい。例えば、建物や道路、人物、空等を機械学習によって学習した学習モデルを用いて、画像中の領域がどのような領域なのかを判定する処理であってもよい。以降では、学習モデルを用いた処理を、単に学習モデルと呼ぶ場合がある。
In the present embodiment, analysis processing that can be executed by the
以上のように、解析部５０１が実行可能な解析処理は、機械学習を用いた画像解析処理にも、機械学習を用いない画像解析処理にも応用可能である。また、上記の各解析処理は、着脱可能デバイス１００が単独で行うのではなく、撮像装置１１０と協働して実行してもよい。通信部５０２は、Ｉ／Ｆ部４０１を介して、撮像装置１１０との通信を行う。記憶部５０３は、解析処理の設定内容や解析処理に要する時間等の情報を記憶する。
As described above, the analysis processing that can be executed by the
解析処理に要する時間は、例えば、所定の処理が実行される際に要する実時間であり、その時間だけ待つことによりその解析処理が終了することが保証される時間でありうる。また、解析処理に要する時間は、その解析処理における処理のクロックサイクル数であってもよい。なお、この時間の情報は、解析処理ごとに個別に記憶されうる。また、解析処理に要する時間は、例えば、初期的に十分に大きい値に設定され、その後、実際に処理が実行された際に要した時間を統計値として収集し、その収集された値に基づいて、更新されてもよい。 The time required for the analysis process is, for example, the actual time required for executing the predetermined process, and can be the time that guarantees the end of the analysis process by waiting for that time. Also, the time required for analysis processing may be the number of clock cycles for processing in the analysis processing. Note that this time information can be stored individually for each analysis process. In addition, for example, the time required for the analysis process is initially set to a sufficiently large value, and then the time required when the process is actually executed is collected as a statistical value, and based on the collected value may be updated.
これらの情報は、学習モデルに固有に付与されており、その学習モデルを実行するために必要な情報である（以下では、「学習モデル情報」と呼ぶ）。学習モデル情報として、モデルが何を検出するかを示す検出対象物、学習モデルのデータサイズ、実行する処理単位を示すクロックサイクル数、等が記憶されうる。 These pieces of information are uniquely assigned to the learning model and are information necessary for executing the learning model (hereinafter referred to as "learning model information"). As learning model information, a detection target indicating what the model detects, a data size of the learning model, the number of clock cycles indicating a unit of processing to be executed, and the like can be stored.
＜入出力装置の構成＞
図６は、入出力装置１３０のハードウェア構成を示す図である。入出力装置１３０は、一般的なＰＣ等のコンピュータとして構成され、例えば、図６に示すように、ＣＰＵ等のプロセッサ６０１、ＲＡＭ６０２やＲＯＭ６０３等のメモリ、ＨＤＤ６０４等の記憶装置、及び、通信Ｉ／Ｆ６０５を含んで構成される。入出力装置１３０は、プロセッサ６０１が、メモリや記憶装置に格納されたプログラムを実行することにより、各種機能を実行することができる。
<Configuration of input/output device>
FIG. 6 is a diagram showing the hardware configuration of the input/
図７は、入出力装置１３０の機能構成を示す図である。入出力装置１３０は、その機能構成として、例えば、ネットワーク通信部７０１、制御部７０２、表示部７０３、及び操作部７０４を含む。ネットワーク通信部７０１は、例えばネットワーク１２０に接続し、ネットワーク１２０を介して撮像装置１１０等の外部装置との通信を実行する。なお、これは一例に過ぎず、例えば、ネットワーク通信部７０１は、撮像装置１１０と直接接続を確立して、ネットワーク１２０や他の装置を介さずに、撮像装置１１０と通信するように構成されてもよい。制御部７０２は、ネットワーク通信部７０１と表示部７０３と操作部７０４とがそれぞれの処理を実行するように、制御する。表示部７０３は、例えばディスプレイを介してユーザに情報を提示する。本実施形態では、ブラウザがレンダリングした結果をディスプレイに表示することによって、情報がユーザに提示される。なお、音声や振動等の画面表示以外の方法で情報が提示されてもよい。操作部７０４は、ユーザからの操作を受け付ける。本実施形態では、操作部７０４がマウスやキーボードであり、ユーザがこれらを操作して、ブラウザにユーザ操作を入力するものとする。ただし、これに限られず、操作部７０４は、例えば、タッチパネルやマイクなど、他のユーザの意図を検出することができる任意のデバイスであってもよい。
FIG. 7 is a diagram showing the functional configuration of the input/
＜システムの動作＞
続いて、システム内で実行される処理の流れの例について説明する。なお、以下の各処理のうち撮像装置１１０が実行する処理は、例えば、演算処理部２０３内のプロセッサがメモリ等に記憶されたプログラムを実行することによって実現される。ただし、これは一例に過ぎず、後述の処理の一部又は全部が、専用のハードウェアによって実現されてもよい。また、着脱可能デバイス１００や入出力装置１３０が実行する処理についても、各装置におけるプロセッサがメモリ等に記憶されたプログラムを実行することによって実現されてもよいし、処理の一部又は全部を、専用のハードウェアによって実現してもよい。
<System operation>
Next, an example of the flow of processing executed within the system will be described. Among the following processes, the processes executed by the
＜画像解析処理の全体動作＞
図８は、システムで実行される処理のフローチャートである。Ｓ８０１では、着脱可能デバイス１００が撮像装置１１０に（例えばユーザによって）装着される。
<Overall Operation of Image Analysis Processing>
FIG. 8 is a flowchart of the processing performed by the system. At S801, the
Ｓ８０２では、撮像装置１１０は、着脱可能デバイス１００に対して初期化シーケンスを実行する。この初期化シーケンスでは、撮像装置１１０と着脱可能デバイス１００との間で所定のコマンドが送受信されることにより、撮像装置１１０が、着脱可能デバイス１００を使用可能な状態となる。
In S<b>802 , the
Ｓ８０３では、撮像装置１１０は、着脱可能デバイス１００が実行可能な処理を把握し、ローカルで実行可能な（撮像装置１１０単体で又は撮像装置１１０と着脱可能デバイス１００の組み合わせで実行可能な）処理を把握する。なお、着脱可能デバイス１００は、任意の処理を実行可能なように構成されうるが、撮像装置１１０側で実行されるべき処理と無関係な処理については考慮されなくてもよい。
In S803, the
一例において、撮像装置１１０は、例えば入出力装置１３０から事前に取得した実行されうる処理のリストを保持しておいてもよい。この場合、撮像装置１１０は、着脱可能デバイス１００が実行可能な処理を示す情報を着脱可能デバイス１００から取得した際に、その処理がリストに含まれているか否かによって、実行されうる処理を把握することができる。
In one example, the
Ｓ８０４では、撮像装置１１０は、撮像装置１１０および着脱可能デバイス１００のそれぞれが実行する処理を決定し、必要に応じて着脱可能デバイス１００の設定を実行する。すなわち、実行対象として決定された処理の少なくとも一部が着脱可能デバイス１００によって実行される場合に、その処理のための着脱可能デバイス１００の設定が実行される。この設定においては、例えば、実行対象の処理に対応する設定データを用いたＦＰＧＡ４０２の再構成が行われうる。
In S804, the
Ｓ８０５では、撮像装置１１０および／または着脱可能デバイス１００は、解析処理を実行する。Ｓ８０６では、撮像装置１１０は、後処理を実行する。Ｓ８０７では、撮像装置１１０は、撮像対象の環境状態の変化を監視する。なお、Ｓ８０５～Ｓ８０７の処理は繰り返し実行される。
In S805, the
図８の処理は、例えば、着脱可能デバイス１００が装着された際に実行されるが、例えば着脱可能デバイス１００が取り外された際にも、Ｓ８０３の処理が再度実行されるようにするなど、図８の処理の少なくとも一部が繰り返し実行されてもよい。また、Ｓ８０７の処理は、繰り返し実行されなくてもよい。すなわち、スケジューリングの様な他の処理等によってＳ８０７の処理が開始されてもよい。
The processing in FIG. 8 is executed, for example, when the
＜実行可能な処理を把握する処理（Ｓ８０３）の詳細＞
図９は、実行可能な処理を把握する処理（Ｓ８０３）の詳細フローチャートである。本処理では、撮像装置１１０は、着脱可能デバイス１００で実行可能な処理を読み出し、撮像装置１１０自身が実行可能な解析処理と統合し、撮像装置１１０側で実行可能な解析処理を把握する。なお、ここでは、図８に示す一連の処理内で実行されることを想定するが、デバイスの装着・抜去に応じて単独で実行されてもよい。
<Details of Processing (S803) for Grasping Executable Processing>
FIG. 9 is a detailed flowchart of the process (S803) for grasping executable processes. In this process, the
Ｓ９０１では、撮像装置１１０の制御部３０４は、記憶部３０３に記憶されている、撮像装置１１０自身の解析部３０５において演算処理可能な処理のリスト（以下では第１処理リストと呼ぶ）を読み出す。この時、第１処理リストに学習モデルを用いた処理が含まれている場合は、当該学習モデルに関連付けられている学習モデル情報を取得する。
In S<b>901 , the
Ｓ９０２では、制御部３０４は、装着されたデバイスが、例えば従来の記憶機能のみを有するデバイスであるか、着脱可能デバイス１００等の特定の処理機能を有する所定のデバイスであるかを判定する。例えば、制御部３０４は、デバイス通信部３０６を制御して、装着されたデバイスに対して、特定のアドレスに対する読み出し要求（リードコマンド）を発行し、その特定のアドレスに格納されているフラグデータを読み出す。以下では、この特定のアドレスを「アドレスＡ」と呼ぶ場合がある。そして、制御部３０４は、読み出したフラグデータに基づいて、着脱可能デバイス１００が特定の処理機能を有する所定のデバイスであるかを判定しうる。ただし、これは一例に過ぎず、他の方法によって、装着されたデバイスが所定のデバイスであるか否かが判定されてもよい。装着されたデバイスが所定のデバイスである場合はＳ９０３に進み、所定のデバイスでない場合はＳ９０６に進む。
In S902, the
Ｓ９０３では、制御部３０４は、着脱可能デバイス１００において実行可能な処理を把握するための処理を実行する。制御部３０４は、デバイス通信部３０６を制御して着脱可能デバイス１００と通信し、着脱可能デバイス１００において演算処理可能な処理のリスト（以下では第２処理リストと呼ぶ）を取得する。
In S<b>903 , the
本実施形態においては、制御部３０４は、着脱可能デバイス１００が所定のデバイスか否かを判定した場合と同様に、アドレスＡに格納されているデータを読み出すことにより、第２処理リストを取得する。この時、制御部３０４は、第２処理リストに含まれる学習モデルに関連付けられている学習モデル情報を取得しておく。
In this embodiment, the
次に、制御部３０４は、第２処理リストに、着脱可能デバイス１００が保持できる学習モデルの最大データサイズを追加する。複数の学習モデルが保持できる場合は、複数の学習モデルのデータサーズの総和が最大データサイズとなる。着脱可能デバイスに新たに処理を追加する場合、追加処理を実現するために必要な学習モデルのサイズと、既存の処理を実現するために必要な学習モデルのサイズの総和が、最大データサイズを上回らないことが条件となる。
Next, the
そして、制御部３０４は、第２処理リストを、例えば、着脱可能デバイスが所定のデバイスであるか否かの判定を行うフラグデータと同一のアドレス（アドレスＡ）に格納する。この場合、撮像装置１１０は、そのアドレスＡにアクセスすることにより、フラグデータと第２処理リストとを同時に取得して、Ｓ９０２の処理とＳ９０３の処理とを同時に実行することができる。ただし、これに限られず、これらのデータは、別のアドレスに格納されてもよい。
Then, the
Ｓ９０４では、制御部３０４は、記憶部３０３から読み出した撮像装置１１０自身が実行可能な処理の第１処理リストと、着脱デバイスから取得した第２処理リストとが統合された統合処理リストを作成する。
In step S<b>904 , the
この統合処理リストは、ネットワーク上のサーバ等の装置による処理が行われることなく、撮像装置１１０側でローカルに実行可能な処理を示すリストである。なお、本実施形態では、統合処理リストは、第１処理リストに含まれる処理と第２処理リストに含まれる処理との和集合によって得られるリストである。すなわち、第１処理リストと第２処理リストとの少なくともいずれかに含まれる処理がリスト化されたものである。
This integrated processing list is a list showing processing that can be executed locally on the
ただし、これに限られず、例えば、第１処理リストに含まれる処理と第２処理リストに含まれる処理とを組み合わせることによって別の処理を実行可能となる場合などに、その実行可能となる別の処理が統合処理リストに加えられてもよい。すなわち、第１処理リストに含まれる処理の少なくとも一部と第２処理リストに含まれる処理の少なくとも一部とが共に利用される場合に、新たな解析処理が実行可能となる場合は、その解析処理の情報が統合処理リストに含められうる。例えば、顔認証処理は、顔検出処理機能と顔特徴抽出処理機能と顔特徴照合処理機能の組合せによって実現されうる。そのため、第１処理リストに顔検出処理機能と顔特徴抽出処理機能とが含まれ、第２処理リストに顔特徴照合処理機能が含まれている場合には、統合処理リストに顔認証処理が含められうる。 However, the present invention is not limited to this, and for example, when another process becomes executable by combining the process included in the first process list and the process included in the second process list, another process that becomes executable A process may be added to the consolidated process list. That is, when at least part of the processes included in the first process list and at least part of the processes included in the second process list are used together, if a new analysis process can be executed, the analysis Processing information may be included in the consolidated processing list. For example, face authentication processing can be realized by a combination of a face detection processing function, a facial feature extraction processing function, and a facial feature matching processing function. Therefore, when the first processing list includes the face detection processing function and the facial feature extraction processing function, and the second processing list includes the facial feature matching processing function, the integrated processing list includes the face authentication processing. can be
Ｓ９０５では、制御部３０４は、第１処理リストと第２処理リストをもとに、学習モデルリストを作成する。具体的には、第２処理リストに含まれる学習モデルに関連づけられている学習モデル情報の検出対象物と、第１処理リストに含まれる学習モデルに関連づけられている学習モデル情報の検出対象物を比較する。そして、一致した学習モデルをリストに追加ことにより、学習モデルリストを作成する。
In S905, the
Ｓ９０６では、制御部３０４は、装着されたデバイスによって実行可能な処理がないと判定する。このため、制御部３０４は、記憶部３０３から読み出した自装置において実行可能な処理である第１処理リストを、撮像装置１１０側でローカルに実行可能な処理を示す統合処理リストとして、処理を終了する。なお、デバイスが抜去された際に図９の処理が実行されると、所定のデバイスが当然に装着されていないため、第１処理リストが統合処理リストとして扱われることとなる。
In S906, the
＜Ｓ９０３～Ｓ９０５の処理の動作例＞
一例として、図１０に、第１処理リスト１０Ａ、第２処理リスト１０Ｂ、及び、学習モデルリスト１０Ｃの例を示す。ここでは、撮像部２０１で得られた画像フレームに対する様々な画像認識処理のモデルを例に示している。
<Example of Operation of Processing of S903 to S905>
As an example, FIG. 10 shows examples of a
第１処理リスト１０Ａには、昼間特化型人体検出モデル１００１、夜間特化型人体検出モデル１００２、昼間特化型車両検出モデル１０１１、夜間特化型車両検出モデル１０１２、情景判別用学習モデル１０２１が含まれる。昼間特化型人体検出モデル１００１、及び、夜間特化型人体検出モデル１００２は、撮像装置１１０と着脱可能デバイス１００のいずれでも実行可能な学習モデルであり、どちらで実行しても解析結果は同じになるものとする。また、どちらのモデルも関連づけられている学習モデル情報の検出対象部は「人体」である。昼間特化型車両検出モデル１０１１、及び、夜間特化型車両検出モデル１０１２は、撮像装置１１０と着脱可能デバイス１００のいずれでも実行可能な学習モデルであり、どちらで実行しても解析結果は同じになるものとする。また、どちらのモデルも関連付けられている学習モデル情報の検出対象部は「車両」である。情景判別用学習モデル１０２１は、撮像装置１１０と着脱可能デバイス１００のいずれでも実行可能な学習モデルであり、どちらで実行しても解析結果は同じになるものとする。また、関連づけられている学習モデル情報の検出対象部は「情景」である。「情景」とは、撮影対象が存在する景色やシーンなどの属性である。
The
一方、第２処理リスト１０Ｂには、昼間特化型人体検出モデル１００１が含まれる。前述したとおり、当該モデルに関連付けられている学習モデル情報の検出対象物は「人体」である。そのため、第２処理リストに含まれる昼間特化型人体検出モデル１００１の検出対象物「人体」と一致する、第１処理リストに含まれる学習モデルは、昼間特化型人体検出モデル１００１、及び、夜間特化型人体検出モデル１００２である。
On the other hand, the
よって、Ｓ９０５の処理によって生成される学習モデルリスト１０Ｃには、昼間特化型人体検出モデル１００１、及び、夜間特化型人体検出モデル１００２が含まれることになる。すなわち、学習モデルリスト１０Ｃには、検出対象物が第２処理リストの学習モデルと同じであり、かつ、第１処理リストから第２処理リストに追加可能な学習モデルが含まれることになる。
Therefore, the
また、本実施形態において、それぞれの学習モデルを利用した解析結果には、解析に用いた画像、検出した人体の位置情報、及び、検出した人体の尤度（検出物体がそのものである確率、自信度）が含まれるものとする。 In this embodiment, the analysis results using each learning model include the image used for analysis, the position information of the detected human body, and the likelihood of the detected human body (probability that the detected object is itself, confidence degree) shall be included.
このような処理により、特定の処理を実行可能な着脱可能デバイス１００が撮像装置１１０に装着されているか否かに基づいて、撮像装置１１０側でローカルに実行可能な処理をリスト化することができる。また、統合処理リストを後述のようにユーザに提示することにより、着脱可能デバイス１００の装着によって撮像装置１１０側でローカルに実行可能となる処理を、ユーザが選択することができるようになる。
Through such processing, based on whether or not the
なお、本実施形態では、統合処理リストを生成する場合の例を示したが、第１処理リストと第２処理リストとを別個に管理し、統合処理リストを生成しなくてもよい。すなわち、着脱可能デバイス１００で実行可能な処理と、着脱可能デバイス１００を伴わずに撮像装置１１０で実行可能な処理とが区別可能に管理され、出力されてもよい。また、第１処理リストと第２処理リストが区別可能に管理される場合であっても、統合処理リストが生成され、管理されてもよい。例えば、第１処理リストに含まれる処理と第２処理リストに含まれる処理とが共に使用されることにより新たな処理を実行可能な場合に、その新たな処理は、第１処理リストと第２処理リストには含まれないが、統合処理リストに含まれることとなる。なお、統合処理リストが出力される場合、併せて、その統合処理リストに含まれる処理が第１処理リストと第２処理リストとのいずれに含まれる処理であるかを区別可能に示す情報が出力されうる。これにより、例えば提示された処理を着脱可能デバイス１００なしで実行可能であるかをユーザが認識することができるようになる。
Although the present embodiment has exemplified the case of generating the integrated processing list, the first processing list and the second processing list may be managed separately, and the integrated processing list may not be generated. That is, the process that can be executed by the
なお、本実施形態では、上述の処理リストは、後述のように、入出力装置１３０のような、少なくとも撮像装置１１０に含まれない外部装置に提供されることを想定するが、外部に提供されなくてもよい。例えば、撮像装置１１０がディスプレイを有する場合にそのディスプレイに処理リストが表示されることや、撮像装置１１０が音声出力機能を有する場合に処理リストが音声出力されることなどによって、処理リストが出力されてもよい。撮像装置１１０において処理リストが提示されることにより、意図しない機能を有する着脱可能デバイス１００を撮像装置１１０に誤って装着させた場合等に、ユーザがその誤装着を迅速に認識することが可能となる。このように、撮像装置１１０は、撮像装置１１０が実行可能な処理を示す第１処理リストと着脱可能デバイス１００が実行可能な処理を示す第２処理リストとに基づく情報を、任意の形式で出力しうる。
In this embodiment, it is assumed that the processing list described above is provided to at least an external device not included in the
また、撮像装置１１０は、着脱可能デバイス１００が抜去された場合には、図９の処理を再度実行することによって、統合処理リストを更新することができる。また、この時、撮像装置１１０は、抜去された着脱可能デバイス１００に関する第２処理リストを破棄しうる。ただし、これに限られず、撮像装置１１０は、ある着脱可能デバイス１００についての第２処理リストを記憶部３０３に別途記憶しておき、その着脱可能デバイス１００が装着されていない場合であっても、その第２処理リストを出力しうる。すなわち、撮像装置１１０は、過去に装着されて抜去された着脱可能デバイス１００についての第２処理リストを出力するようにしてもよい。また、撮像装置１１０は、その過去に装着されて抜去された着脱可能デバイス１００についての第２処理リストに含まれる処理と、第１処理リストに含まれる（自装置で実行可能な）処理とを用いて実行可能となる処理を示す情報を出力してもよい。換言すれば、撮像装置１１０は、自装置のみでは実行できない処理の情報を出力しうる。これによれば、ユーザに対して、出力された情報が示す処理を実行可能な着脱可能デバイス１００が存在することと、その着脱可能デバイス１００を装着することにより、その処理が実行可能となることを通知することができる。
Further, when the
さらに、撮像装置１１０は、過去に当該撮像装置１１０に装着したことがないが、撮像装置１１０に装着可能な他の着脱可能デバイス１００（未装着デバイス）についての第２処理リストを出力するようにしてもよい。このような未装着デバイスとその未装着デバイスが実行可能な解析処理を示す情報は、例えば、撮像装置１１０が外部のサーバ（不図示）からネットワークを介して取得することができる。また、未装着デバイスとその未装着デバイスが実行可能な解析処理を示す情報は、例えば、撮像装置１１０が事前に保持していてもよい。
Furthermore, the
また、撮像装置１１０は、未装着デバイスについての第２処理リストに含まれる処理と、第１処理リストに含まれる（自装置で実行可能な）処理とを用いて実行可能となる処理を示す情報を出力してもよい。換言すれば、撮像装置１１０は、自装置のみでは実行できない処理の情報を出力しうる。これによれば、ユーザに対して、出力された情報が示す処理を実行可能な着脱可能デバイス１００が存在することと、その着脱可能デバイス１００を装着することにより、その処理が実行可能となることを通知することができる。
In addition, information indicating processing that can be executed by the
なお、撮像装置１１０は、過去に装着されて抜去された着脱可能デバイス１００についての第２処理リストを記憶する際に、その着脱可能デバイス１００の機種番号などのデバイスを特定可能な情報を併せて記憶しうる。そして、撮像装置１１０は、その着脱可能デバイス１００に関する第２処理リストを出力する際に、その着脱可能デバイス１００を特定可能な情報も併せて出力しうる。これによれば、ユーザが、提示された処理機能を使用するために、どの着脱可能デバイス１００を撮像装置１１０に装着すればよいかを容易に認識することができるようになる。
When storing the second processing list for the
＜実行する解析処理を決定する処理（Ｓ８０４）の詳細＞
図１１は、実行する解析処理を決定する処理（Ｓ８０４）の詳細フローチャートである。本処理では、撮像装置１１０側でローカルに実行可能な解析処理が入出力装置１３０を介してユーザに提示され、入出力装置１３０はユーザの選択を受け付ける。そして、撮像装置１１０は、入出力装置１３０を介して受け付けられたユーザ選択を示す情報に応じて、実行する解析処理を決定する。
<Details of Processing for Determining Analysis Processing to be Executed (S804)>
FIG. 11 is a detailed flowchart of the process (S804) for determining the analysis process to be executed. In this processing, analysis processing locally executable on the
Ｓ１１０１では、入出力装置１３０の制御部７０２は、ネットワーク通信部７０１を制御して、撮像装置１１０との通信を実行し、撮影画像と統合処理リストと後処理リストとの取得を要求する。入出力装置１３０は、一例として、ＯＮＶＩＦ規格で規定された要求メッセージを撮像装置１１０へ送信することによって、撮像装置１１０へ情報の送信を要求する。ただし、これに限られず、他のメッセージ等によって情報の送信要求が行われてもよい。
In S1101, the
Ｓ１１０２では、撮像装置１１０は、この要求に基づいて、撮像制御部３０１が周囲（撮像対象）の環境を撮影し、制御部３０４が信号処理部３０２を制御して、撮像制御部３０１によって撮影された画像を処理して、撮影画像を取得する。なお、撮像装置１１０は、要求の有無によらず周囲の環境を撮影して、撮影画像を取得し続けていてもよい。撮像装置１１０は、撮影画像をローカルに保存していてもよいし、ネットワークサーバ等の他装置に撮影画像を転送して保存させてもよい。制御部３０４は、記憶部３０３に記憶されている後処理リストを読み出す。後処理リストは、本実施形態では表示処理及び保存処理を含むものとするが、これに限られない。
In step S<b>1102 , in the
Ｓ１１０３では、制御部３０４は、ネットワーク通信部３０７を制御して、後処理リストと、図９の処理によって取得した統合処理リストと、Ｓ１１０２で取得した撮影画像とを入出力装置１３０へ送信する。撮像装置１１０は、一例として、上述のＯＮＶＩＦ規格で規定された要求メッセージに対する応答メッセージを入出力装置１３０へ送信することによって、入出力装置１３０へ情報を送信する。ただし、これに限られず、他のメッセージ等によって情報の送信が行われてもよい。なお、ここでは、実行する処理のみが考慮されてもよく、Ｓ１１０１の入出力装置１３０による撮影画像の要求、Ｓ１１０２における撮影画像の取得、及びＳ１１０３の入出力装置１３０への撮影画像の送信は行われなくてもよい。
In S<b>1103 , the
Ｓ１１０４では、入出力装置１３０の制御部７０２は、ネットワーク通信部７０１を制御して、撮像装置１１０から撮影画像と統合処理リストと後処理リストを受信する。そして、制御部７０２は、表示部７０３を制御して、画面表示等によって、統合処理リストと後処理リストをユーザに提示する。なお、制御部７０２は、この時に、併せて撮影画像を画面表示等によってユーザに提示してもよい。
In S<b>1104 , the
Ｓ１１０５では、ユーザは、表示部７０３によって表示された統合処理リストと後処理リストを確認し、操作部７０４を介して、実行すべき解析処理（以下では実行対象処理と呼ぶ）を統合処理リストの中から選択する。また、Ｓ１１０６では、ユーザは、操作部７０４を介して、実行すべき後処理（以下では実行対象後処理と呼ぶ）を選択する。操作部７０４は、実行対象処理と実行対象後処理の選択結果を、制御部７０２に出力する。
In S1105, the user confirms the integrated processing list and the post-processing list displayed by the
Ｓ１１０７では、制御部７０２は、ネットワーク通信部７０１を制御して、操作部７０４から入力された実行対象処理と実行対象後処理を示す情報を撮像装置１１０へ送信する。
In step S<b>1107 , the
Ｓ１１０８では、撮像装置１１０の制御部３０４は、入出力装置１３０からユーザによって選択された実行対象処理を示す情報を受信すると、その実行対象処理が第２処理リストに含まれている処理であるか否かを判定する。そして、実行対象処理が第２処理リストに含まれている場合にはＳ１１０９に進む。一方、実行対象処理が第２処理リストに含まれていない場合には、撮像装置１１０内で処理を実行するため、制御部３０４は、着脱可能デバイス１００への通知等を行うことなく図１１の処理を終了する。
In S1108, upon receiving information indicating the execution target process selected by the user from the input/
Ｓ１１０９では、制御部３０４は、デバイス通信部３０６を制御して、実行対象処理の設定要求を着脱可能デバイス１００に送信する。着脱可能デバイス１００の通信部５０２は、実行対象処理の設定要求を撮像装置１１０から受信する。通信部５０２は、撮像装置１１０から受信した実行対象処理の設定要求を、解析部５０１に出力する。
In S<b>1109 , the
Ｓ１１１０では、解析部５０１は、実行対象処理の設定要求に基づいて、記憶部５０３から実行対象処理の設定を取得して、着脱可能デバイス１００が実行対象処理を実行可能な状態となるようにするための設定を実行する。
In S1110, the
Ｓ１１１１では、通信部５０２は、例えば設定処理が完了した後に、設定完了通知を撮像装置１１０へ送信する。なお、通信部５０２は、着脱可能デバイス１００の設定が完了していないタイミングで撮像装置１１０がデータを書き込まないようにするための情報を通知すれば足り、設定が実際に完了する前に設定完了タイミングの情報等を撮像装置１１０に通知してもよい。撮像装置１１０の制御部３０４は、デバイス通信部３０６を制御して、着脱可能デバイス１００から設定完了通知を受信する。
In step S<b>1111 , the
着脱可能デバイス１００からの撮像装置１１０への設定完了の通知は、例えば、以下の３つ方法のうちのいずれかを用いて実行されうる。１つ目の通知方法では、通信部５０２が、撮像装置１１０からの１ブロック目のデータの書き込み処理時に、実行対象処理の設定が終了していない場合に、ＢＵＳＹ信号を出力するようにする。ＢＵＳＹ信号の出力は、例えば、ＳＤ規格で定められているＤＡＴＡの信号ラインをＬｏｗ状態にドライブしておくことにより行われる。この場合、撮像装置１１０は、ＢＵＳＹ信号を確認することにより、実行対象処理の設定が完了したか否かを判別することができる。２つ目の通知方法では、実行対象処理の設定完了までの時間を上述の特定のアドレスに事前に格納しておき、撮像装置１１０がその設定完了までの時間の情報を読み出すようにする。撮像装置１１０は、実行対象処理の設定完了までの時間が経過した後に、書き込みデータの出力（ライトコマンドの発行）を行う。これにより、撮像装置１１０は、実行対象処理の設定が完了した後に撮影画像のデータを送信することが可能となる。３つ目の通知方法では、解析部５０１が、実行対象処理の設定が完了した際に、着脱可能デバイス１００の第２の特定のアドレスに設定完了のフラグを書き込む。撮像装置１１０は、この第２の特定のアドレスのデータを読み出すことにより、実行対象処理の設定が完了したか否かを判別することができる。なお、設定完了のフラグが書き込まれるアドレスの情報は、上述の特定のアドレスに格納されてもよいし、別のアドレスに格納されてもよい。
Notification of completion of setting from the
図１１の処理のように、特定の処理を実行可能な着脱可能デバイス１００が撮像装置１１０に装着されたか否かによって定まる統合処理リストを用いることにより、撮像装置１１０側の状態を考慮して実行対象処理を適切に決定することができる。また、実行対象処理が着脱可能デバイス１００で実行される処理を含む場合に着脱可能デバイス１００の設定を自動で行うことにより、ユーザによる設定操作を行うことなく、ユーザが選択した処理を実行する準備を整えることができる。また、実行対象処理が着脱可能デバイス１００で実行される処理を含まない場合に着脱可能デバイス１００の設定を行わないことで、撮像装置１１０単体で処理を実行する場合に不必要に着脱可能デバイス１００の設定が行われることを防ぐことができる。
As in the process of FIG. 11, by using an integrated process list determined by whether or not the
＜解析処理の実行処理（Ｓ８０５）の詳細＞
図１２は、第１実施形態における解析処理の実行処理（Ｓ８０５）の詳細フローチャートである。具体的には、撮像装置１１０が解析処理を実行する際の制御の流れを示している。
<Details of Analysis Processing Execution Processing (S805)>
FIG. 12 is a detailed flowchart of the analysis process execution process (S805) in the first embodiment. Specifically, it shows the flow of control when the
Ｓ１２０１では、撮像制御部３０１は、周囲の環境を撮影する。制御部３０４は、信号処理部３０２を制御して、撮像制御部３０１によって撮影された画像の処理を行い、撮影画像を取得する。
In S1201, the image capturing
Ｓ１２０２では、制御部３０４は、解析部３０５を制御して、制御部３０４から入力された撮影画像に対して解析前処理を実行し、解析前処理結果の画像を取得する。
In S1202, the
Ｓ１２０３では、制御部３０４は、現在、学習モデルの切り替え中か判定する。本実施形態では、学習モデルの切り替え中フラグを使用する。より具体的には、学習モデル切り替え中フラグが有効の場合は、学習モデルの切り替え中、無効の場合は、学習モデルの切り替え中ではないと判定する。学習モデルの切り替え中と判定された場合はＳ１２０４に進み、学習モデルの切り替え中ではないと判定された場合はＳ１２０５に進む。
In S1203, the
Ｓ１２０４では、制御部３０４は解析部３０５を制御して、撮像装置１１０内で解析前処理結果の画像に対して実行対象処理を代替実行する。そして、その後Ｓ１２０８に進む。
In S<b>1204 , the
Ｓ１２０５では、制御部３０４はデバイス通信部３０６を制御して、解析前処理結果の画像を着脱可能デバイス１００に送信する。例えば、制御部３０４は、解析前処理結果の書き込み要求（ライトコマンド）を発行することにより、着脱可能デバイス１００へ解析前処理結果の画像を送信する。着脱可能デバイス１００の通信部５０２は、解析前処理結果の画像を撮像装置１１０から受信し、撮像装置１１０から受信した画像を解析部５０１に出力する。
In S<b>1205 , the
Ｓ１２０６では、解析部５０１は、通信部５０２から入力された画像に対して、図１１のＳ１１１０において設定された実行対象処理を実行する。Ｓ１２０７では、通信部５０２は、解析部５０１による処理によって得られた解析処理結果を撮像装置１１０へ送信する。そして、撮像装置１１０の制御部３０４は、デバイス通信部３０６を制御して、着脱可能デバイス１００から解析処理結果を受信する。Ｓ１２０８では、制御部３０４は、解析処理結果に対する解析後処理を実行し、その後処理を終了する。
In S1206, the
着脱可能デバイス１００から撮像装置１１０への解析処理結果の送信は、例えば以下のようにして行われる。着脱可能デバイス１００の解析部５０１は、解析処理結果を実行対象処理ごとに割り当てられた解析処理結果の格納先アドレスに格納する。そして、撮像装置１１０は、例えば第２処理リストと共にアドレスＡに格納された解析処理結果の格納アドレスを示す情報を読み出し、その格納アドレスに対する読み出し要求（リードコマンド）を発行する。着脱可能デバイス１００は、通信部５０２を介して、解析処理結果の格納アドレスへの読み出し要求を受け取り、解析処理結果を撮像装置１１０に対して出力する。なお、撮像装置１１０は、例えばアドレスＡに格納されている推定処理時間が経過した後に、解析処理結果の格納アドレスに対する読み出し要求を発行しうる。また、着脱可能デバイス１００が、撮像装置１１０から送信された解析前処理結果の最後の１ブロックの書き込み要求から実行対象処理が終了するまでの間はＢＵＳＹ信号を出力するようにしてもよい。この場合、撮像装置１１０は、ＢＵＳＹ信号を受信しなくなってから、解析処理結果の格納アドレスに対する読み出し要求を発行しうる。これにより、撮像装置１１０は、処理が終了した後に処理結果を取得することが可能となる。
Transmission of analysis processing results from the
以上のような処理により、撮像装置１１０は、選択された実行対象処理に応じて、撮影画像を着脱可能デバイス１００に転送するか否かを決定することができる。これにより、ユーザは、解析処理が撮像装置１１０により実行されるか着脱可能デバイス１００により実行されるかを意識することなく、撮影画像の解析処理が実行されることになる。
With the above-described processing, the
＜後処理の実行処理（Ｓ８０６）の詳細＞
図１３は、後処理の実行処理（Ｓ８０６）の詳細フローチャートである。具体的には、撮像装置１１０が後処理を実行する際の制御の流れの例を示している。
<Details of post-processing execution processing (S806)>
FIG. 13 is a detailed flowchart of the post-processing execution process (S806). Specifically, an example of the flow of control when the
Ｓ１３０１では、撮像装置１１０の制御部３０４が、実行対象の後処理に「表示」が含まれるか否かを判定する。実行対象の後処理に「表示」が含まれると判定した場合はＳ１３０２に進み、「表示」が含まれていないと判定した場合はＳ１３０４に進む。
In S1301, the
Ｓ１３０２では、制御部３０４は、ネットワーク通信部３０７を制御して、解析処理の結果を入出力装置１３０へ送信する。Ｓ１３０３では、入出力装置１３０の制御部７０２は、撮像装置１１０から解析処理の結果を受信すると、表示部７０３を制御して、解析処理の結果を画面表示等によってユーザに提示する。
In S<b>1302 , the
Ｓ１３０４では、撮像装置１１０の制御部３０４は、実行対象の後処理に「保存」が含まれるか否かの判定を行う。なお、Ｓ１３０４の判定は、Ｓ１３０１の前に実行されてもよいし、Ｓ１３０１と並行して実行されてもよい。実行対象の後処理に「保存」が含まれると判定した場合はＳ１３０５に進み、「保存」が含まれていないと判定した場合は処理を終了する。Ｓ１３０５では、制御部３０４は、記憶部３０３を制御して、解析処理の結果を保存し、処理を終了する。
In S1304, the
このように、撮像装置１１０は、ユーザによる特段の設定操作を受け付けることなく、選択された後処理に応じて、解析処理の結果の転送や保存を実行することができ、利便性を向上させることができる。
In this way, the
＜環境変化の監視処理（Ｓ８０７）の詳細＞
撮像装置１１０が、情景の変化を検知して、情景に最適な学習モデルを選択して、解析処理を中断することなく、着脱可能デバイス１００の学習モデルを切り替える処理について説明する。ここでは、一例として、着脱可能デバイス１００で昼間特化型人体検出モデル１００１を実行している間に、周囲の情景が変化した場合について説明する。具体的には、昼から夜に変化し、着脱可能デバイス１００の学習モデルを夜間特化型人体検出モデル１００２に変更する場合について説明する。
<Details of environmental change monitoring process (S807)>
A process will be described in which the
図１４は、環境変化の監視処理（Ｓ８０７）の詳細フローチャートである。上述のように、撮像装置１１０が情景の変化を監視し学習モデルを変更する流れの例を示している。
FIG. 14 is a detailed flowchart of the environmental change monitoring process (S807). As described above, an example of the flow in which the
Ｓ１４０１では、解析部３０５が、情景判別用学習モデル１０２１を用いて撮影画像を解析する。本実施形態では、撮像画像を解析して情景の「昼」「夜」を判別するものとする。制御部３０４は、解析部３０５の解析結果を情景情報として記憶部３０３に保管する。
In S1401, the
Ｓ１４０２では、制御部３０４が記憶部３０３に保管されている情景情報とＳ１４０１で取得した情景情報を比較して、情景が変化したかを判定する。情景が変化したと判定した場合はＳ１４０３に進み、情景が変化しなかったと判定した場合は処理を終了する。ここでは、記憶部３０３に情景情報として「昼」が保管されていて、Ｓ１４０１の情景情報が「夜」であったため、情景が変化したと判定されるものとする。
In S1402, the
Ｓ１４０３では、制御部３０４は、情景に最適な学習モデルを選択する。ここでは、夜間特化型人体検出モデル１００２を選択する。そして、Ｓ１４０４では、制御部３０４は、学習モデルの切り替え処理を開始し、処理を終了する。
In S1403, the
ここでは、情景の判別に使用するデータとして、画像データを用いる例を示したが、撮像装置１１０の撮影対象の環境を判別可能な他のデータを用いてもよい。例えば、温度データ、湿度データ、水量データ、音データ、照度データ、位置データ、時刻データなどのデータをセンサから取得し使用してもよい。
Here, an example of using image data as the data used for discriminating the scene is shown, but other data that can discriminate the environment of the imaging target of the
図１５は、学習モデルの選択処理（Ｓ１４０３）の詳細フローチャートである。具体的には、撮像装置１１０が情景に最適な学習モデルを判定する処理の流れの例を示している。
FIG. 15 is a detailed flowchart of the learning model selection process (S1403). Specifically, it shows an example of the flow of processing in which the
Ｓ１５０１では、制御部３０４は、学習モデルリスト１０Ｃに存在する学習モデルの個数を確認する。学習モデルの個数が２つ以上の場合はＳ１５０２に進み、学習モデルの個数が１つ以下の場合は実行対象処理以外に選択肢がないため処理を終了する。
In S1501, the
Ｓ１５０２では、制御部３０４は、着脱可能デバイス１００から「現在の解析結果」、及び、その解析に用いた画像を取得して比較用画像として記憶部３０３に保存する。本実施例では、着脱可能デバイス１００で昼間特化型人体検出モデル１００１が動いているため、その解析に用いた画像、及び、検出結果（位置、尤度）が保存される。
In S1502, the
Ｓ１５０３では、制御部３０４は、シミュレーションに使用する学習モデルリスト（以下ではシミュレーション用学習モデルリストと呼ぶ）を作成する。ここで、シミュレーションとは、撮像装置１１０の解析部３０５で、学習モデルを用いて比較用画像を解析することを示す。本実施形態では、学習モデルリスト１０Ｃから、着脱可能デバイス１００の実行対象処理に選択されている学習モデルを除外したものを、シミュレーション用学習モデルリストとして生成する。本実施形態では、学習モデルリスト１０Ｃには、昼間特化型人体検出モデル１００１、及び、夜間特化型人体検出モデル１００２が含まれていて、着脱可能デバイス１００の実行対象処理が昼間特化型人体検出モデル１００１となっている。そのため、シミュレーション用学習モデルリストには、夜間特化型人体検出モデル１００２が含まれることになる。
In S1503, the
Ｓ１５０４では、制御部３０４は、シミュレーション用学習モデルリストに含まれる１つ以上の学習モデルについて全てシミュレーションが完了したか否かを判定する。完了していない場合はＳ１５０５に進み、完了した場合はＳ１５０６に進む。
In S1504, the
Ｓ１５０５では、制御部３０４は、シミュレーション用学習モデルリストに含まれる学習モデルと記憶部３０３に保存されている比較用画像を用いてシミュレーションを実行する。制御部３０４は、シミュレーションが完了したら、シミュレーション結果を学習モデルと紐づけて保存する。本実施形態では、シミュレーション結果には、解析に用いた画像、検出した人体の位置情報、及び、検出した人体の尤度（検出物体がそのものである確率、自信度）が含まれるものとする。
In S<b>1505 , the
Ｓ１５０６では、制御部３０４は、記憶部３０３に保存されている「現在の解析結果」、および、ステップＳ１５０６で保存したシミュレーション結果にスコアをつける。本実施形態では、予め設定されていた一定の値以上の尤度で検出された人体の数をスコアとする。
In S1506, the
Ｓ１５０７では、制御部３０４は、全てのスコアを比較して、「現在の解析結果」のスコアが最高か否かを判定する。すなわち、着脱可能デバイス１００が現在使用している学習モデルによる処理結果と、１つ以上のシミュレーション結果とを比較し判定する。「現在の解析結果」のスコアが最高の場合は処理を終了する。一方で、１つ以上のシミュレーション結果の何れかのスコアが最高の場合はＳ１５０８に進む。
In S1507, the
Ｓ１５０８では、制御部３０４は、最高スコアが付けられたシミュレーション結果を出力した学習モデルを選択する。本実施形態では、夜間特化型人体検出モデル１００２のシミュレーション結果のスコアが最高であったため、夜間特化型人体検出モデル１００２が選択されたものとする。
In S1508, the
なお、本実施形態では、シミュレーション用学習モデルリストを作成する例を示したが、他の実施例では学習モデルリスト１０Ｃと実行対象処理から、シミュレーションを実行する学習モデルを選択してもよい。すなわち、学習モデルリストから、シミュレーション未実施、かつ、実行対象処理でない学習モデルを選択し、撮像装置１１０の解析部３０５にてシミュレーションを実行してもよい。
In this embodiment, an example of creating a learning model list for simulation is shown, but in another embodiment, a learning model for executing a simulation may be selected from the
また、本実施形態では、情景に最適な学習モデルの判定によって、追加する学習モデルを自動で選択する例を示したが、スケジューリング等によって最適な学習モデルを選択してもよい。または、第１処理リスト１０Ａが入出力装置１３０を介してユーザに提示され、入出力装置１３０からユーザの選択を受け付けてもよい。ユーザによる選択の場合は、検出対象物を変更することが可能であり、例えば、昼間特化型車両検出モデル１０１１を選択すると検出対象物も人体から車両に変更され、学習モデルリスト１０Ｃは検出対象物に合わせて変更されうる。
Also, in the present embodiment, an example of automatically selecting a learning model to be added by determining the learning model that is most suitable for the scene has been described, but an optimal learning model may be selected by scheduling or the like. Alternatively, the
図１６は、学習モデルの切替処理（Ｓ１４０４）の詳細フローチャートである。具体的には、撮像装置１１０が、着脱可能デバイス１００の学習モデルを切り替える処理の流れの例を示している。
FIG. 16 is a detailed flowchart of the learning model switching process (S1404). Specifically, an example of the flow of processing in which the
Ｓ１６０１では、制御部３０４は、学習モデル切り替え中フラグを有効にする。以降、図１２を用いて説明したように、学習モデル切り替え中フラグが無効になるまでの間は、撮像装置１１０内で実行対象処理が実行される。本実施例では、夜間特化型人体検出モデル１００２が撮像装置１１０内で実行される。
In S1601, the
Ｓ１６０２では、制御部３０４は、実行対象処理として選択された学習モデルを選択する。Ｓ１６０３では、制御部３０４は、選択された学習モデルを着脱可能デバイス１００に追加するために、現在の着脱可能デバイス１００に格納されている学習モデルを削除する必要があるか否かを判定する。具体的には、追加する学習モデルのサイズと、既存の学習モデルのサイズの総和が、最大データサイズを超えていないか判定する。ここで、最大データサイズを超過していると判定された場合は現在の学習モデルを削除する必要があると判定しＳ１６０４に進み、超過していない場合は現在の学習モデルを削除する必要が無いと判定しＳ１６０５に進む。
In S1602, the
Ｓ１６０４では、制御部４０３は、着脱可能デバイス１００から学習モデルを削除する。ここでは、最大データサイズを超過していたため、昼間特化型人体検出モデル１００２が削除されるものとする。
In S<b>1604 , the
Ｓ１６０５では、制御部４０３は、選択された学習モデルを着脱可能デバイス１００に追加する。ここでは、夜間特化型人体検出モデル１００２が着脱可能デバイス１００に追加される。Ｓ１６０６では、制御部４０３は第２処理リスト１０Ｂを更新する。Ｓ１６０７では、学習モデル切り替え中フラグを無効にして、処理を終了する。
In S<b>1605 , the
学習モデル切り替え中フラグが無効後は、図１２のＳ１２０３はＮＯとなるので、着脱可能デバイス１００上で解析前処理結果の画像に対する実行対象処理が実行される。本実施形態では、夜間特化型人体検出モデル１００２が着脱可能デバイスで実行されるようになる。
After the learning model switching flag is disabled, S1203 in FIG. In this embodiment, the night-specific
以上説明したように、第１実施形態によれば、着脱可能デバイスの学習モデルを切り替える間は撮像装置において解析処理を行う（オフロードする）ことにより、解析処理を中断することなく実行することが可能となる。 As described above, according to the first embodiment, by performing (offloading) the analysis processing in the imaging device while switching the learning model of the detachable device, the analysis processing can be executed without interruption. It becomes possible.
（第２実施形態）
第２実施形態では、撮像装置が実行している処理に依存して、撮像装置における解析処理を制御する形態について説明する。以下では、撮像装置１１０が映像配信のような優先度の高い所定の処理を行っている場合に、優先度の高い処理の実行が滞らないように、撮像装置１１０上での解析処理頻度を下げる例について説明する。
(Second embodiment)
In the second embodiment, a configuration will be described in which the analysis processing in the imaging device is controlled depending on the processing being executed by the imaging device. In the following, when the
なお、システムの全体構成や各装置の構成（図１～図７）および画像解析処理の動作（図８～図１１）については第１実施形態と同様であるため説明を省略する。以下では、第１実施形態との主な差分である解析処理の実行処理（Ｓ８０５）の詳細について重点的に説明する。 The overall configuration of the system, the configuration of each device (FIGS. 1 to 7), and the operation of the image analysis processing (FIGS. 8 to 11) are the same as those of the first embodiment, so description thereof will be omitted. In the following, the details of the analysis process execution process (S805), which is the main difference from the first embodiment, will be mainly described.
＜解析処理の実行処理（Ｓ８０５）の詳細＞
図１７は、第２実施形態における解析処理の実行処理（Ｓ８０５）の詳細フローチャートである。図１７のフローチャートは例えば周期的に繰り返し実行され得る。なお、撮像装置１１０の制御部３０４は映像配信を制御しており、処理遅延が発生すると、制御部３０４は即時にそれを検知可能に構成されているとする。図１７に示すＳ１２０１～Ｓ１２０８は第１実施形態と同様であるため説明を省略する。学習モデルの切り替え中の場合（Ｓ１２０３でＹＥＳ）、Ｓ１７０１に進む。
<Details of Analysis Processing Execution Processing (S805)>
FIG. 17 is a detailed flowchart of the analysis process execution process (S805) in the second embodiment. The flowchart of FIG. 17 can be repeatedly executed periodically, for example. Note that the
Ｓ１７０１では、撮像装置１１０の制御部３０４は、高優先度処理（ここでは映像配信処理）に処理遅延が発生しているかを判定する。高優先度処理に処理遅延が発生していない場合はＳ１２０４に進み、処理遅延が発生している場合は撮像装置において実行対象処理を実行することなく処理を終了する。
In S1701, the
以上説明したように、第２実施形態によれば、着脱可能デバイスの学習モデルを切り替える間は、撮像装置において実行している高優先度処理の状況に応じて撮像装置における解析処理の実行有無を制御する。すなわち、高優先度処理の処理遅延が発生する場合には、高優先度処理の実行を優先させ解析処理の実行頻度を下げる。これにより、映像配信のような優先度の高い処理への悪影響を抑止することが可能となる。 As described above, according to the second embodiment, while the learning model of the detachable device is switched, whether or not the analysis processing is to be executed in the imaging device is determined according to the status of the high-priority processing being executed in the imaging device. Control. That is, when a processing delay occurs in high-priority processing, priority is given to execution of high-priority processing, and the execution frequency of analysis processing is reduced. This makes it possible to prevent adverse effects on high-priority processing such as video distribution.
（第３実施形態）
第３実施形態では、学習モデルの切り替えに要する時間に依存して、撮像装置における解析処理を制御する形態について説明する。以下では、撮像装置１１０での解析処理に要する時間が長い場合に、撮像装置１１０での解析処理を実行しないよう制御する例について説明する。具体的には、撮像装置１１０での解析処理に要する時間（代替解析処理時間）が学習モデル切り替えに要する時間（学習モデル切り替え時間）よりも長い場合に、撮像装置１１０での解析処理を抑止する。
(Third embodiment)
In the third embodiment, a configuration will be described in which analysis processing in an imaging device is controlled depending on the time required for switching learning models. In the following, an example will be described in which control is performed so that the analysis processing in the
なお、システムの全体構成や各装置の構成（図１～図７）および画像解析処理の動作（図８～図１１）については第１実施形態と同様であるため説明を省略する。以下では、第１実施形態との主な差分である解析処理の実行処理（Ｓ８０５）の詳細について重点的に説明する。 The overall configuration of the system, the configuration of each device (FIGS. 1 to 7), and the operation of the image analysis processing (FIGS. 8 to 11) are the same as those of the first embodiment, so description thereof will be omitted. In the following, the details of the analysis process execution process (S805), which is the main difference from the first embodiment, will be mainly described.
学習モデル切り替え時間は実行対象処理に選択された学習モデルのデータサイズと、撮像装置１１０と着脱可能デバイス１００との間の通信速度に依存する。代替解析処理時間は撮像装置１１０の解析部３０５の処理速度と学習モデルのクロックサイクル数に依存する。これらの時間は、計算値を学習モデル情報として保持していてもよく、また、実行可能な処理を把握する処理の中で測定し、その値を保持してもよい。また、その都度計算して求めてもよい。ここでは、Ｓ９０１の処理において各学習モデル情報を取得し、その値から学習モデル切り替え時間、及び、代替解析処理時間を算出し、予め学習モデルと紐づく形で保持しておくものとする。
The learning model switching time depends on the data size of the learning model selected as the execution target process and the communication speed between the
＜解析処理の実行処理（Ｓ８０５）の詳細＞
図１８は、第３実施形態における解析処理の実行処理（Ｓ８０５）の詳細フローチャートである。図１７に示すＳ１２０１～Ｓ１２０８は第１実施形態と同様であるため説明を省略する。学習モデルの切り替え中の場合（Ｓ１２０３でＹＥＳ）、Ｓ１７０１に進む。
<Details of Analysis Processing Execution Processing (S805)>
FIG. 18 is a detailed flowchart of the analysis process execution process (S805) in the third embodiment. Since S1201 to S1208 shown in FIG. 17 are the same as in the first embodiment, description thereof is omitted. If the learning model is being switched (YES in S1203), the process proceeds to S1701.
Ｓ１８０１では、撮像装置１１０の制御部３０４は、学習モデル切り替え時間と代替解析処理時間を取得する。
In S1801, the
Ｓ１８０２では、制御部３０４は、学習モデル切り替え時間より代替解析処理時間（例えば、１枚の画像フレームに対する処理時間）の方が長いか否かを判定する。代替解析処理時間の方が長い場合はＳ１８０３に進み、代替解析処理時間の方が短い場合はＳ１２０４に進む。すなわち、代替解析処理時間の方が短い場合は、撮像装置１１０で実行対象処理（Ｓ１２０４）及び後処理（Ｓ１２０８）を実行する。
In S1802, the
Ｓ１８０３では、制御部３０４は、学習モデルの切り替えが完了するまで処理を中断する。
In S1803, the
以上説明したように、第３実施形態によれば、学習モデル切り替え時間より代替解析処理時間の方が長い場合に、撮像装置での解析処理を実行しない。すなわち、撮像装置１１０での解析処理の実行が非効率的であると判定し、その結果、撮像装置での解析処理を抑止する。これにより、撮像装置での非効率的な解析処理を抑止することが出来、全体として処理の効率化が可能となる。
As described above, according to the third embodiment, when the alternative analysis processing time is longer than the learning model switching time, the imaging device does not perform the analysis processing. That is, it is determined that the execution of the analysis processing in the
（変形例）
また、上述の実施形態において、解析処理として画像解析処理を例に挙げて説明したが、本発明は音声解析処理にも適用可能である。具体的には、悲鳴や、銃声、ガラス破壊音のような音声パターンを検知する処理に適応可能である。例えば、スペクトル解析等の種々の音声データの分析手法で音声の特徴量を抽出し、それを検出した音声パターンと比較する。そして、その一致度合いを算出することで、特定の音声パターンを検出することができる。
(Modification)
Further, in the above-described embodiment, the image analysis processing was described as an example of the analysis processing, but the present invention can also be applied to voice analysis processing. Specifically, it is applicable to processing for detecting sound patterns such as screams, gunshots, and broken glass sounds. For example, the speech feature amount is extracted by various speech data analysis techniques such as spectrum analysis, and is compared with the detected speech pattern. By calculating the degree of matching, a specific voice pattern can be detected.
また、音声解析処理を行う場合は、音声データを所定の時間分の音声データに分割し、その所定の時間分の音声データを単位として音声解析処理を行う。また、この所定の時間は、検出対象の音声パターンに応じて、適宜、異なる。そのため、着脱可能デバイス１００に、検知したい音声パターンに対応する時間分ごとの音声データが入力される。そして、着脱可能デバイス１００は、その入力された音声データを解析する手段や、入力された音声データを保持する手段を有する。
In addition, when performing voice analysis processing, voice data is divided into voice data for a predetermined time, and voice analysis processing is performed in units of voice data for the predetermined time. Moreover, this predetermined time varies as appropriate according to the sound pattern to be detected. Therefore, the
また、上述の実施形態において、撮像装置１１０から入力されたデータを非一時的に格納可能な着脱可能デバイス１００を例として説明した。しかし、一部の実施形態においては、撮像装置１１０から入力されたデータを非一時的に格納することができない着脱可能デバイス１００であってもよい。つまり、着脱可能デバイス１００は撮像装置１１０から入力されたデータに対して解析処理を行うのみで、そのデータを非一時的に記憶しなくてもよい。言い換えると、通常のＳＤカードのようにデータを保管する目的ではなく、解析処理のみを目的とした着脱可能デバイス１００とすることも可能である。
Further, in the above-described embodiments, the
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
(Other examples)
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or device via a network or a storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by processing to It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。 The invention is not limited to the embodiments described above, and various modifications and variations are possible without departing from the spirit and scope of the invention. Accordingly, the claims are appended to make public the scope of the invention.
１００ 着脱可能デバイス； １１０ 撮像装置； １２０ ネットワーク； １３０ 入出力装置； ４０１ Ｉ／Ｆ部； ４０２ ＦＰＧＡ； ４０３ ＳＤコントローラ； ４０４ 記憶部； ４１０ 入出力制御部； ４１１ 処理切替部； ４１２ 演算処理部 100 detachable device; 110 imaging device; 120 network; 130 input/output device; 401 I/F section; 402 FPGA;
Claims (11)
前記デバイスが前記演算処理の実行に使用する学習モデルを切り替える切替手段と、
前記切替手段により前記デバイスの学習モデルの切り替えを実行している間に、前記デバイスが実行する演算処理を代替実行する処理手段と、
を有することを特徴とする情報処理装置。 An information processing apparatus having a mounting mechanism to which a device capable of executing arithmetic processing is attachable and detachable,
switching means for switching the learning model used by the device to execute the arithmetic processing;
a processing means for alternatively executing arithmetic processing executed by the device while the learning model of the device is being switched by the switching means;
An information processing device comprising:
前記第２の処理手段による前記所定の処理の処理遅延を検知する検知手段と、
をさらに有し、
前記処理手段は、前記検知手段により前記所定の処理の処理遅延が検知された場合、前記代替実行の頻度を下げる
ことを特徴とする請求項１に記載の情報処理装置。 a second processing means for executing a predetermined process different from the arithmetic process;
detection means for detecting a processing delay of the predetermined process by the second processing means;
further having
2. The information processing apparatus according to claim 1, wherein said processing means reduces the frequency of said alternative execution when said detection means detects a processing delay of said predetermined processing.
前記処理手段による前記代替実行に要する第２の時間を取得する第２の取得手段と、
をさらに有し、
前記処理手段は、前記第２の時間が前記第１の時間よりも長い場合、前記代替実行を抑止する
ことを特徴とする請求項１または２に記載の情報処理装置。 a first acquisition means for acquiring a first time required for switching the learning model of the device by the switching means;
a second obtaining means for obtaining a second time required for the alternative execution by the processing means;
further having
3. The information processing apparatus according to claim 1, wherein said processing means suppresses said alternative execution when said second time is longer than said first time.
ことを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。 4. The information processing apparatus according to any one of claims 1 to 3, wherein the arithmetic processing is image recognition processing for an image frame captured by an imaging device.
前記環境状態に基づいて前記デバイスで使用する学習モデルを決定する決定手段と、
をさらに有し、
前記切替手段は、前記決定手段により決定された学習モデルと前記デバイスが現在使用している学習モデルとが異なる場合、前記切り替えを実行する
ことを特徴とする請求項４に記載の情報処理装置。 a third obtaining means for obtaining an environmental state of an object to be imaged by the imaging device;
determining means for determining a learning model to use with the device based on the environmental conditions;
further having
5. The information processing apparatus according to claim 4, wherein the switching means executes the switching when the learning model determined by the determining means is different from the learning model currently used by the device.
ことを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。 A first processing result obtained by performing arithmetic processing using a first learning model on first data, and second learning different from the first learning model on the first data 5. The device according to any one of claims 1 to 4, further comprising determining means for determining a learning model to be used in said device based on a comparison with a second processing result obtained by performing arithmetic processing using the model. 1. The information processing apparatus according to 1.
ことを特徴とする請求項６に記載の情報処理装置。 3. The first processing result is a processing result obtained by the arithmetic processing by the device, and the second processing result is a processing result obtained by simulation by the information processing device. 7. The information processing device according to 6.
ことを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。 The processing means performs the alternative based on a first processing list indicating one or more processes that can be processed by the processing means and a second processing list that indicates one or more processes that can be processed by the device. 8. The information processing apparatus according to any one of claims 1 to 7, wherein the arithmetic processing to be executed is determined.
前記切替手段は、前記演算処理手段における設定データを書き替えることにより前記デバイスの学習モデルを切り替える
ことを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。 The device has reconfigurable computing means,
9. The information processing apparatus according to claim 1, wherein said switching means switches learning models of said device by rewriting setting data in said arithmetic processing means.
前記デバイスが前記演算処理の実行に使用する学習モデルを切り替える切替工程と、
前記切替工程により前記デバイスの学習モデルの切り替えを実行している間に、前記デバイスが実行する演算処理を代替実行する処理工程と、
を含むことを特徴とする制御方法。 A control method for an information processing apparatus having a mounting mechanism to which a device capable of executing arithmetic processing is attachable and detachable,
a switching step of switching the learning model used by the device to execute the arithmetic processing;
a processing step of alternatively executing arithmetic processing executed by the device while the learning model of the device is being switched by the switching step;
A control method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021115146A JP2023011341A (en) | 2021-07-12 | 2021-07-12 | Information processing device and control method for the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021115146A JP2023011341A (en) | 2021-07-12 | 2021-07-12 | Information processing device and control method for the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2023011341A true JP2023011341A (en) | 2023-01-24 |
Family
ID=85120134
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021115146A Pending JP2023011341A (en) | 2021-07-12 | 2021-07-12 | Information processing device and control method for the same |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2023011341A (en) |
-
2021
- 2021-07-12 JP JP2021115146A patent/JP2023011341A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3481048B1 (en) | Electronic device for recording image using multiple cameras and operating method thereof | |
| CN112752018B (en) | Image capturing apparatus, control method, and computer-readable storage medium | |
| JP7441016B2 (en) | Imaging device, information processing device, control method and program | |
| US20220132028A1 (en) | Imaging apparatus, information processing method, and recording medium | |
| JP2021136666A (en) | Imaging apparatus, device, control method and program | |
| JP2021196753A (en) | Imaging device and control method therefor and program | |
| JP2021163998A (en) | Imaging apparatus, device, control method and program | |
| CN109218620B (en) | Photographing method and device based on ambient brightness, storage medium and mobile terminal | |
| EP4027218B1 (en) | Detachable electrical device and control method thereof | |
| JP2023011341A (en) | Information processing device and control method for the same | |
| JP7441017B2 (en) | Device, imaging device, control method and program | |
| JP7325281B2 (en) | IMAGING DEVICE, CONTROL METHOD AND PROGRAM | |
| US11974039B2 (en) | Image capturing apparatus, control method, and computer-readable storage medium | |
| US11843847B2 (en) | Device, information processing apparatus, control method therefor, and computer-readable storage medium | |
| US20230244551A1 (en) | Image capturing apparatus, device, control method thereof, and non-transitory computer-readable storage medium | |
| EP4221244A1 (en) | Image capturing apparatus, control method of image capturing apparatus, and computer program | |
| JP2021072611A (en) | Imaging device, control method, and program | |
| JP2022072874A (en) | Imaging apparatus, control method thereof, and program | |
| US11843856B2 (en) | Image capturing control apparatus capable of determining malfunction of an auxiliary processing apparatus, image capturing system, image capturing control method, and non-transitory computer-readable storage medium | |
| US11968469B2 (en) | Computing apparatus, image capturing apparatus, control method, and storage medium | |
| JP2022167153A (en) | Information processing device and control method thereof | |
| JP2023077926A (en) | Information processing device, processing system, control method, and program | |
| JP2023048984A (en) | Information processing apparatus, control method, and program | |
| JP2022164050A (en) | Information processing device and control method for the same | |
| JP2021136663A (en) | Device, communication apparatus, method and program |