JP2023067469A

JP2023067469A - 画像処理システム及び方法

Info

Publication number: JP2023067469A
Application number: JP2021178737A
Authority: JP
Inventors: 瑞城小野; Tamashiro Ono
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2021-11-01
Filing date: 2021-11-01
Publication date: 2023-05-16

Abstract

【課題】通信負荷を削減することが可能な画像処理システム及び方法を提供することにある。【解決手段】実施形態によれば、複数の副演算処理装置と複数の副演算処理装置と通信可能に接続される主演算処理装置とを備える画像処理システムが提供される。複数の副演算処理装置の各々は、当該副演算処理装置と接続される撮像装置によって連続的に撮像された画像の情報を順次取得する取得手段と、取得された画像の情報を主演算処理装置に送信する送信処理手段と、第１領域を示す設定情報を格納する格納手段とを含む。主演算処理装置は、送信された画像の情報に対する第１演算処理を実行する第１演算処理手段を含む。送信処理手段は、設定情報に基づいて、画像の情報のうちの第１領域に関する情報を、第２領域に関する情報の第２送信頻度よりも低い第１送信頻度で送信する。【選択図】図１

Description

本発明の実施形態は、画像処理システム及び方法に関する。

近年では、複数の撮像装置を設置し、当該撮像装置によって撮像された画像の情報を統合することによって、比較的広範囲の空間内に存在する人物等（以下、監視対象と表記）を監視するような画像処理システムが知られている。

このような画像処理システムは複数の撮像装置と接続される複数の副演算処理装置及び主演算処理装置を備えており、上記したように監視対象を監視する際には、複数の副演算処理装置の各々から主演算処理装置に対して定期的に画像の情報が送信され、当該主演算処理装置において当該画像の情報を統合するような演算処理が実行される。

しかしながら、この場合には、複数の副演算処理装置の各々と主演算処理装置との間で過剰に多くの通信が実行されることになり、画像処理システムにおける通信負荷の増大の要因となる。

特開２００６－２２９６３１号公報特開２００８－２８３２３０号公報特開２０２１－０１３１４５号公報特開２０２１－０１３１４８号公報

そこで、本発明が解決しようとする課題は、通信負荷を削減することが可能な画像処理システム及び方法を提供することにある。

実施形態によれば、複数の副演算処理装置と、当該複数の副演算処理装置と通信可能に接続される主演算処理装置とを備える画像処理システムが提供される。前記複数の副演算処理装置の各々は、当該副演算処理装置と接続される撮像装置によって連続的に撮像された画像の情報を順次取得する取得手段と、当該取得された画像の情報を前記主演算処理装置に送信する送信処理手段と、当該副演算処理装置とは異なる他の副演算処理装置と接続される撮像装置の撮像領域と重複する第１領域を示す設定情報を格納する格納手段とを含む。前記主演算処理装置は、前記送信された画像の情報に対する第１演算処理を実行する第１演算処理手段を含む。前記送信処理手段は、前記設定情報に基づいて、前記画像の情報のうちの前記第１領域に関する情報を、当該第１領域とは異なる第２領域に関する情報の第２送信頻度よりも低い第１送信頻度で送信する。

第１実施形態に係る画像処理システムのネットワーク構成の一例を示す図。複数の撮像装置を設置することによって得られる監視範囲を模式的に示す図。複数の撮像装置の撮像領域の重複関係の一例を示す図。副演算処理装置の機能構成の一例を示す図。主演算処理装置の機能構成の一例を示す図。副演算処理装置のハードウェア構成の一例を示す図。画像処理システムの処理手順の一例を示すシーケンスチャート。動線情報を貼り合わせる処理の一例について説明するための図。動線情報を貼り合わせる処理の他の例について説明するための図。第２実施形態における副演算処理装置の機能構成の一例を示す図。画像処理システムの処理手順の一例を示すシーケンスチャート。第３実施形態における副演算処理装置の機能構成の一例を示す図。画像処理システムの処理手順の一例を示すシーケンスチャート。動線情報の送信頻度の一例を説明するための図。第４実施形態における副演算処理装置の機能構成の一例を示す図。主演算処理装置の機能構成の一例を示す図。画像処理システムの処理手順の一例を示すシーケンスチャート。

以下、図面を参照して、実施形態について説明する。
（第１実施形態）
本実施形態に係る画像処理システムは、複数の撮像装置（カメラ）によって撮像された画像の情報に基づいて、所定の空間（以下、監視範囲と表記）内に存在する監視対象（例えば、人物等の対象物）を監視する監視システムとして用いられる。具体的には、本実施形態に係る画像処理システムは、例えば立入禁止箇所に侵入して移動する監視対象を追跡するような用途に適用可能である。

図１は、本実施形態に係る画像処理システムのネットワーク構成の一例を示す。図１に示すように、画像処理システム１は、複数の副演算処理装置１０及び主演算処理装置２０を備える。

複数の副演算処理装置１０の各々は、上記した監視範囲を撮像することが可能な位置に設置される撮像装置２と接続される端末装置（電子機器）であり、例えばエッジデバイスとして動作する。なお、複数の副演算処理装置１０と接続される複数の撮像装置２は、それぞれ異なる位置に設置されているものとする。

複数の副演算処理装置１０の各々は、ネットワークを介して主演算処理装置２０と通信可能に接続されており、当該副演算処理装置１０と接続される撮像装置２によって撮像された画像の情報を当該主演算処理装置２０に送信する。

主演算処理装置２０は、複数の副演算処理装置１０の各々から送信された画像の情報を統合するような演算処理を実行するデータセンタとしての機能を有する情報処理装置（電子機器）である。

本実施形態においては複数の副演算処理装置１０及び主演算処理装置２０を備える画像処理システム１について説明するが、複数の副演算処理装置１０、主演算処理装置２０及び複数の撮像装置２を画像処理システム１としてもよい。

なお、図１においては撮像装置２毎に副演算処理装置１０が設けられている（つまり、１つの撮像装置２に１つの副演算処理装置１０が接続されている）例が示されているが、例えば複数の撮像装置２毎に１つの副演算処理装置１０が接続されるような構成であってもよい。

本実施形態においては、複数の撮像装置２が設置されることにより、全体として広い範囲（視野）を監視範囲とすることができる。

図２は、複数の撮像装置２を設置することによって得られる監視範囲を模式的に示している。図２においては、便宜的に、複数の撮像装置２として４つの撮像装置２－１～２－４が示されている。

図２に示す撮像領域３１は、撮像装置２－１によって撮像される領域である。この場合、撮像装置２－１は、撮像領域３１（内に存在する監視対象）を含む画像を得ることができる。

撮像領域３２は、撮像装置２－２によって撮像される領域である。この場合、撮像装置２－２は、撮像領域３２（内に存在する監視対象）を含む画像を得ることができる。

撮像領域３３は、撮像装置２－３によって撮像される領域である。この場合、撮像装置２－３は、撮像領域３３（内に存在する監視対象）を含む画像を得ることができる。

撮像領域３４は、撮像装置２－４によって撮像される領域である。この場合、撮像装置２－４は、撮像領域３４（内に存在する監視対象）を含む画像を得ることができる。

上記した図２に示す例では、撮像装置２－１～２－４が設置されていることによって、撮像領域３１～３４を含む監視範囲において監視対象を監視することができる。

なお、例えば撮像領域３１～３４の間に間隙が存在すると、当該間隙に存在する監視対象を監視（追跡）することができないため、当該撮像領域３１～３４の各々は、隣接する他の撮像領域と一部が重複するように設定されている。換言すれば、複数の撮像装置２は、監視範囲内に撮像領域以外の領域が含まれない（つまり、死角がない）ように設置されている。

図３は、図２に示す撮像装置２－１の撮像領域３１と他の撮像領域との重複関係を示している。図３においては、便宜的に、撮像装置２－１（及び他の撮像装置２－２～２－４）の撮像領域が略水平な領域であるものとして説明する。図３に示すように、撮像装置２－１の撮像領域３１は、領域３１ａ～３１ｄを含む。

領域３１ａは、撮像領域３１のうち、撮像装置２－２の撮像領域３２と重複する領域である。領域３１ｂは、撮像領域３１のうち、撮像装置２－３の撮像領域３３と重複する領域である。領域３１ｃは、撮像装置２－２～２－４の撮像領域３２～３４と重複する領域である。領域３１ｄは、他の撮像装置２の撮像領域と重複しない領域である。

ところで、画像処理システム１においては複数の副演算処理装置１０の各々が当該副演算処理装置１０に接続される撮像装置２によって撮像された画像の情報を主演算処理装置２０に送信するが、上記したように他の撮像領域と重複する領域（以下、単に重複領域と表記）が存在する場合、当該画像の情報のうちの一部（つまり、重複領域に関する情報）は複数の副演算処理装置１０から主演算処理装置２０に送信されることになり、冗長性を有する。

具体的には、例えば撮像装置２－１によって撮像された画像（撮像領域３１の画像）の情報のうちの領域３１ａ（つまり、撮像装置２－２の撮像領域３２との重複領域）に関する情報は、撮像装置２－１及び２－２の各々と接続される２つの副演算処理装置１０から主演算処理装置２０に送信されることになる。また、撮像装置２－１によって撮像された画像の情報のうちの領域３１ｂ（つまり、撮像装置２－３の撮像領域３３との重複領域）に関する情報は、撮像装置２－１及び２－３の各々と接続される２つの副演算処理装置１０から主演算処理装置２０に送信されることになる。更に、撮像装置２－１によって撮像された画像の情報のうちの領域３１ｃ（つまり、撮像装置２－２～２－４の撮像領域３２～３４との重複領域）に関する情報は、撮像装置２－１～２－４の各々と接続される４つの副演算処理装置１０から主演算処理装置２０に送信されることになる。

このような冗長性は複数の副演算処理装置１０の各々と主演算処理装置２０との間で過剰に多くの通信が行われていることを意味し、画像処理システム１における通信負荷の増大の要因となる。画像処理システム１における通信負荷が増大すると、複数の副演算処理装置１０及び主演算処理装置２０の双方において高い性能（処理能力）が必要となるため、当該装置の小型化及び製造コストの削減の妨げとなる。

そこで、本実施形態においては、上記した画像処理システム１における通信負荷を削減する構成を実現する。

図４は、副演算処理装置１０の機能構成の一例を示す。ここでは、複数の副演算処理装置１０のうちの１つの副演算処理装置１０の機能構成について説明するが、他の副演算処理装置１０の機能構成についても同様である。

図４に示すように、副演算処理装置１０は、格納部１１、画像取得部１２及び送信処理部１３を含む。

格納部１１には、副演算処理装置１０に接続されている撮像装置２の重複領域（つまり、当該撮像装置２の撮像領域のうち他の撮像装置２の撮像領域と重複する領域）を示す設定情報（以下、重複領域設定情報と表記）が予め格納されている。なお、格納部１１に格納されている重複領域設定情報は、例えば副演算処理装置１０に接続されている撮像装置２によって撮像された画像上の座標値等を含む。

画像取得部１２は、副演算処理装置１０に接続されている撮像装置２によって撮像された画像の情報を取得する。

送信処理部１３は、画像取得部１２によって取得された画像の情報を主演算処理装置２０に送信する。

ここで、上記したように画像処理システム１が監視対象の監視に用いられる場合、副演算処理装置１０に接続されている撮像装置２は画像を連続的に撮像するように動作し、上記した画像取得部１２は、当該撮像装置２によって撮像された画像の情報を順次取得する。

この場合、送信処理部１３は画像取得部１２によって順次取得された画像の情報を主演算処理装置２０に送信するが、上記した格納部１１に格納されている重複領域設定情報に基づいて特定される画像の情報の一部については、当該画像の情報の他部と比べて低い送信頻度で送信される。

図５は、主演算処理装置２０の機能構成の一例を示す。図５に示すように、主演算処理装置２０は、受信処理部２１、演算処理部２２及び出力部２３を含む。

受信処理部２１は、複数の副演算処理装置１０（に含まれる送信処理部１３）から送信された画像の情報を受信する。

演算処理部２２は、受信処理部２１によって受信された画像の情報に対する所定の演算処理を実行する。なお、演算処理部２２によって実行される演算処理には、例えば複数の副演算処理装置１０から送信された画像の情報を統合し、複数の撮像装置２の撮像領域を含む監視範囲全体に存在する監視対象を監視する処理等が含まれる。

出力部２３は、演算処理部２２によって実行された演算処理の結果を出力する。この場合、演算処理の結果は、例えば外部のサーバ装置等に出力されてもよいし、主演算処理装置２０に接続される表示デバイス等に出力されてもよい。

図６は、副演算処理装置１０のハードウェア構成の一例を示す。図６に示すように、副演算処理装置１０は、ＣＰＵ１０１、不揮発性メモリ１０２、主メモリ１０３及び通信デバイス１０４等を備える。

ＣＰＵ１０１は、副演算処理装置１０内の各コンポーネントの動作を制御するハードウェアプロセッサである。ＣＰＵ１０１は、ストレージデバイスである不揮発性メモリ１０２から主メモリ１０３にロードされる様々なプログラムを実行する。ＣＰＵ１０１によって実行されるプログラムには、オペレーティングシステム（ＯＳ）及び各種アプリケーションプログラム等が含まれる。

通信デバイス１０４は、外部装置（例えば、主演算処理装置２０）との通信を実行するように構成されたデバイスである。

なお、本実施形態において、上記した図４に示す副演算処理装置１０に含まれる格納部１１は、不揮発性メモリ１０２（またはその他の記憶装置等）によって実現される。

また、本実施形態において、副演算処理装置１０に含まれる画像取得部１２及び送信処理部１３の一部または全ては、ＣＰＵ１０１（つまり、副演算処理装置１０のコンピュータ）が所定のプログラムを実行すること、すなわち、ソフトウェアによって実現される。なお、画像取得部１２及び送信処理部１３の一部または全ては、ＩＣ（Integrated Circuit）等のハードウェアによって実現されてもよいし、ソフトウェア及びハードウェアの組み合わせによって実現されてもよい。

ここでは副演算処理装置１０のハードウェア構成について説明したが、主演算処理装置２０のハードウェア構成は、副演算処理装置１０と概ね同様であるものとする。

この場合、上記した図５に示す主演算処理装置２０に含まれる受信処理部２１、演算処理部２２及び出力部２３の一部または全ては、主演算処理装置２０に備えられるＣＰＵ（つまり、主演算処理装置２０のコンピュータ）が所定のプログラムを実行すること、すなわち、ソフトウェアによって実現される。なお、受信処理部２１、演算処理部２２及び出力部２３の一部または全ては、ハードウェアによって実現されてもよいし、ソフトウェア及びハードウェアの組み合わせによって実現されてもよい。

次に、図７のシーケンスチャートを参照して、画像処理システム１の処理手順の一例について説明する。

ここでは、説明の便宜のために、複数の副演算処理装置１０のうちの１つの副演算処理装置１０の処理についてのみ説明するが、他の副演算処理装置１０においても同様の処理が実行されるものとする。また、複数の副演算処理装置１０の各々と接続されている撮像装置２は、予め定められたフレームレートで画像を順次撮像するように動作しているものとする。

まず、撮像装置２によって画像（１フレームの画像）が撮像された場合、当該撮像装置２と接続されている副演算処理装置１０に含まれる画像取得部１２は、当該画像の情報を取得する（ステップＳ１）。

次に、送信処理部１３は、ステップＳ１において取得された画像の情報を主演算処理装置２０に送信する（ステップＳ２）。なお、画像の情報は、例えば当該画像が撮像された時刻が付加されて主演算処理装置２０に送信される。

ここで、上記した撮像装置２によって撮像される画像は例えばマトリクス状に配置された複数の画素から構成されており、本実施形態において副演算処理装置１０から主演算処理装置２０に送信される画像の情報は、当該画像を構成する複数の画素の各々の情報（例えば、画素値等）を含むものとする。

また、上記したように撮像装置２は画像を順次撮像するように動作しており、ステップＳ１及びＳ２の処理は、当該撮像装置２によって画像が撮像される度に実行されるものとする。

このように撮像装置２によって画像が撮像される度に実行されるステップＳ２においては、ステップＳ１において取得された画像の情報のうち、上記した重複領域に関する情報（つまり、重複領域に含まれる画素の情報）を、当該重複領域以外の領域に関する情報（重複領域以外の領域に含まれる画素の情報）の送信頻度よりも低い送信頻度で主演算処理装置２０に送信する処理が実行される。

具体的には、本実施形態においては、例えば重複領域以外の領域に関する情報が１つの画像（１フレーム）毎に送信されるのに対して、重複領域に関する情報は２つの画像（２フレーム）毎に送信される。

このように本実施形態において、画像の情報に含まれる各画素の情報の送信頻度は、当該画素の位置（つまり、当該画素が重複領域に含まれるか否か）に依存する。

なお、ステップＳ１において取得された画像を構成する各画素が重複領域に含まれるか否かは、副演算処理装置１０に含まれる格納部１１に格納されている重複領域設定情報に基づいて判定可能である。

上記したステップＳ２の処理が複数の副演算処理装置１０の各々において実行されると、主演算処理装置２０に含まれる受信処理部２１は、当該副演算処理装置１０から送信された画像の情報を受信する。

次に、演算処理部２２は、受信処理部２１によって受信された画像の情報に対する演算処理を実行する（ステップＳ３）。

以下、ステップＳ３において実行される演算処理の一例について説明する。上記したように本実施形態に係る画像処理システムが監視対象を監視（追跡）するような用途に適用されるものとすると、演算処理部２２は、例えば複数の撮像装置２の撮像領域を含む監視範囲内を移動する監視対象の動線を求めるような演算処理を実行することができる。

具体的には、演算処理部２２は、例えば複数の副演算処理装置１０の各々から送信された画像の情報に基づく画像処理を実行し、当該画像の情報から監視対象の動線に関する情報（以下、動線情報と表記）を取得する。この場合、演算処理部２２は、例えば画像の情報に対する画像処理の結果に基づいて当該画像中の監視対象を検出し、当該画像に付加されている時刻（当該画像が撮像された時刻）、当該検出された監視対象の位置及び当該監視対象を表す特徴量等を含む動線情報を取得する。なお、画像中の監視対象は、例えば当該画像を構成する各画素の画素値（輝度値）の変化量等に基づいて検出される。また、監視対象が例えば人物である場合、当該監視対象を表す特徴量には、当該人物の身長または衣服の色等に応じた値が含まれる。このように各画像の情報から取得された動線情報のうち、同一の監視対象を表す特徴量を含む動線情報に含まれる位置を時刻順につなげることによって、当該監視対象の動線を得ることができる。

なお、動線情報に含まれる監視対象の位置は、例えば画像上の監視対象の位置（座標値）から変換された監視範囲内の３次元位置（監視範囲において定義されている３次元空間上の位置）であるものとする。

ここで、監視対象は例えば２つの撮像装置２の撮像領域に渡って移動する場合があるが、監視範囲全体における監視対象の動線を求めるためには、一方の撮像装置２によって撮像された画像の情報から取得された動線情報と他方の撮像装置２によって撮像された画像の情報から取得された動線情報とを貼り合わせる必要がある。

具体的には、上記した重複領域以外の領域の情報から取得された動線情報はそのまま用いればよいが、当該重複領域に関する情報は上記したように複数の副演算処理装置１０から主演算処理装置２０に送信されているため、当該重複領域に関する情報から取得された動線情報に対しては平均操作を施すものとする。これによれば、複数の撮像装置２の撮像領域を併せた監視範囲に渡る動線（情報）を得ることができる。なお、本実施形態において重複領域に関する情報は重複領域以外の領域に関する情報と比較して低い送信頻度で送信されるため、当該重複領域に関する情報から取得された動線情報（時刻及び監視対象の位置）に対しては、線形補間等の処理が実施される。

以下、図８を参照して、上記した動線情報を貼り合わせる処理の一例について説明する。以下の説明においては、便宜的に、重複領域に関する情報を重複情報、重複領域以外の領域に関する情報を非重複情報と称する。

ここでは上記した図２に示す２つの撮像装置２－１及び２－２の各々によって撮像された画像の情報（重複情報）から取得された動線情報を貼り合わせる場合について説明する。

図８に示す動線情報４１は、撮像装置２－１によって時刻ｔ１１に撮像された画像の情報のうちの重複情報から取得された動線情報であり、当該画像が撮像された時刻ｔ１１及び当該重複領域において検出された監視対象の位置ｘ１１を含む。また、動線情報４２は、撮像装置２－１によって時刻ｔ１３に撮像された画像の情報のうちの重複情報から取得された動線情報であり、当該画像が撮像された時刻ｔ１３及び当該重複領域において検出された監視対象の位置ｘ１３を含む。

また、動線情報５１は、撮像装置２－２によって時刻ｔ１２に撮像された画像の情報のうちの重複情報から取得された動線情報であり、当該画像が撮像された時刻ｔ１２及び当該重複領域において検出された監視対象の位置ｘ１２を含む。また、動線情報５２は、撮像装置２－１によって時刻ｔ１４に撮像された画像の情報のうちの重複領域に関する情報から取得された動線情報であり、当該画像が撮像された時刻ｔ１４及び当該重複領域において検出された監視対象の位置ｘ１４を含む。

つまり、撮像装置２－１が時刻ｔ１１～ｔ１４のタイミングで順次画像を撮像するように動作しているものとすると、重複情報は、撮像装置２－１によって時刻ｔ１１及びｔ１３に画像が撮像された際に副演算処理装置１０から主演算処理装置２０に対して送信されているが、撮像装置２－１によって時刻ｔ１２及びｔ１４に画像が撮像された際には副演算処理装置１０から主演算処理装置２０に対して送信されていない。

同様に、撮像装置２－２が時刻ｔ１１～ｔ１４のタイミングで順次画像を撮像するように動作しているものとすると、重複情報は、撮像装置２－２によって時刻ｔ１２及びｔ１４に画像が撮像された際に副演算処理装置１０から主演算処理装置２０に対して送信されているが、撮像装置２－２によって時刻ｔ１１及びｔ１３に画像が撮像された際には副演算処理装置１０から主演算処理装置２０に対して送信されていない。

ここでは、撮像装置２－１及び２－２が時刻ｔ１１～ｔ１４のタイミングで画像を撮像するものとして説明したが、例えば撮像装置２－１は少なくとも時刻ｔ１１及びｔ１３において画像を撮像していればよく、例えば撮像装置２－２は少なくとも時刻ｔ１２及びｔ１４において画像を撮像していればよい。

なお、図８においては示されていないが、非重複情報は、撮像装置２－１及び２－２によって時刻ｔ１１～ｔ１４に画像が撮像された際に当該撮像装置２－１及び２－２と接続されている副演算処理装置１０の各々から主演算処理装置２０に対して送信されている。

ここで、上記した動線情報に対して平均操作を施し、時刻ｔ１２における監視対象の位置（を含む動線情報）を補間する場合を考える。この場合、演算処理部２２は、上記した動線情報４１及び４２に基づいて、時刻ｔ１２を含む動線情報４３を補間（内挿）する。このように補間される動線情報４３は、例えば時刻ｔ１２と、動線情報４１に含まれる位置ｘ１１及び動線情報４２に含まれる位置ｘ１３の間の位置（平均値）ｘ１２´とを含む。

更に、演算処理部２２は、動線情報５１及び上記したように補間された動線情報４３（つまり、時刻ｔ１２を含む２つの動線情報）に基づいて、動線情報６１を補間する。このように補間される動線情報６１は、時刻ｔ１２と、動線情報５１に含まれる位置ｘ１２及び動線情報４３に含まれる位置ｘ１２´の間の位置（平均値）ｘ１２´´とを含む。

本実施形態においては、このような処理が実行されることにより、時刻ｔ１２における監視対象の位置（動線）として位置ｘ１２´´を補間することができる。

ここでは、動線情報４１、４２及び５１に基づいて時刻ｔ１２における監視対象の位置を補間する場合について説明したが、同様に、時刻ｔ１３における監視対象の位置は、動線情報４２、５１及び５２に基づいて補間することができる。

なお、図８に示す例では、動線情報４１及び４２に基づいて内挿された動線情報４３と動線情報５１とを用いて時刻ｔ１２における監視対象の位置を補間する場合について説明したが、時刻ｔ１４における監視対象の位置は、動線情報４１及び４２に基づいて外挿された動線情報と動線情報５２とを用いて補間することができる。同様に、時刻ｔ１１における監視対象の位置は、動線情報５１及び５２に基づいて外挿された動線情報と動線情報４１とを用いて補間することができる。

上記した演算処理によれば、時刻を揃えた上で監視対象の位置に対する平均操作を行うことにより、異なる副演算処理装置１０から送信された重複情報から取得された動線情報を貼り合わせることができる。

なお、上記したように重複情報から取得された動線情報に対して平均操作を実行した場合には動線情報６１のように補間された動線情報（に含まれる監視対象の位置）を用いて当該監視対象の動線を求めることができる（つまり、複数の副演算処理装置１０から送信された重複情報から取得された動線情報を利用して補間する）ため、例えば１つの副演算処理装置１０から送信された動線情報（例えば、動線情報４１及び４２）のみを利用する場合と比較して、動線情報の補間に基づいて生じる誤差の影響を軽減することができる。

特に、複数の撮像装置２間で同期が取れている（つまり、複数の撮像装置２が同期して画像を撮像する）場合には、例えば撮像装置２－１と接続される副演算処理装置１０（以下、第１副演算処理装置１０と表記）及び撮像装置２－２と接続される副演算処理装置１０（以下、第２副演算処理装置１０と表記）の各々が異なるタイミングで交互に重複情報を送信することができる。更に、上記したように複数の撮像装置２間で同期が取れていると、主演算処理装置２０は時刻が等間隔の動線情報を得ることができるため、結果として、当該主演算処理装置２０において実行される演算処理が容易になる。

なお、上記した第１及び第２副演算処理装置１０（つまり、撮像領域が重複する２つの撮像装置２に接続されている２つの副演算処理装置１０）の各々が重複情報を異なるタイミングで送信する構成と比較すると補間によって生じる誤差の影響が大きくなるが、図９に示すように、当該重複情報は、第１及び第２副演算処理装置１０の各々から同じタイミングで送信される構成としてもよい。詳しい説明については省略するが、図９に示す例では、動線情報４１及び４２に基づいて補間された動線情報４３と動線情報５１及び５２に基づいて補間された動線情報５３とに基づいて時刻ｔ１２における監視対象の位置（を含む動線情報６１）を補間すればよい。

また、ここでは第１及び第２副演算処理装置１０の各々から送信される重複情報に対する演算処理として平均操作を実行するものとして説明したが、当該演算処理としては、他の処理が実行されても構わない。

具体的には、図８に示すように撮像装置２－１によって撮像された画像の情報（重複情報）から動線情報４１及び４２が取得されており、撮像装置２－２によって撮像された画像の情報（重複情報）から動線情報５１及び５２が取得されている場合、時刻ｔ１１における監視対象の位置として動線情報４１に含まれる位置ｘ１１を用い、時刻ｔ１２における監視対象の位置として動線情報５１に含まれる位置ｘ１２を用い、時刻ｔ１３における監視対象の位置として動線情報４２に含まれる位置ｘ１３を用い、時刻ｔ１４における監視対象の位置として動線情報５２に含まれる位置ｘ１４を用いて当該監視対象の動線を求めるようにしてもよい。このような構成によれば、主演算処理装置２０における演算処理（監視対象の動線を求める処理）の処理量を低減することができる。

また、上記した演算処理においては、畳み込みニューラルネットワークを用いた処理が実行されても構わない。

また、上記したように主演算処理装置２０（受信処理部２１）は副演算処理装置１０（送信処理部１３）から順次送信された画像の情報を受信するが、演算処理は、画像の情報が受信される度に実行されてもよいし、予め定められた数の画像の情報が受信（収集）されたタイミングで実行されてもよい。

再び図７に戻ると、出力部２３は、ステップＳ３の処理が実行された結果（演算処理結果）を出力する（ステップＳ４）。上記したようにステップＳ３において監視範囲内を移動する監視対象の動線を求める演算処理が実行された場合、ステップＳ４においては、上記した非重複情報から取得された動線情報と、重複情報から取得された動線情報に基づいて補間された動線情報とに含まれる監視対象の位置を時刻順につなげることによって得られる監視対象の動線（を示す情報）が出力される。

上記したように本実施形態において、複数の副演算処理装置１０の各々は、当該副演算処理装置１０と接続される撮像装置２によって連続的に撮像された画像の情報を順次取得し、当該取得された画像の情報を主演算処理装置２０に送信する。また、主演算処理装置２０は、複数の副演算処理装置１０から送信された画像の情報に対する演算処理（第１演算処理）を実行する。この場合、複数の副演算処理装置１０の各々に含まれる送信処理部１３は、撮像装置２によって撮像された画像の情報のうち、重複情報（つまり、当該副演算処理装置１０とは異なる他の副演算処理装置１０と接続される撮像装置２の撮像領域と重複する第１領域に関する情報）を、非重複情報（当該重複領域とは異なる第２領域に関する情報）の送信頻度（第２送信頻度）よりも低い送信頻度（第１送信頻度）で送信する。

本実施形態においては、このような構成により、重複情報が副演算処理装置１０から主演算処理装置２０に送信される頻度を低減させることができるため、画像処理システム１における通信負荷を削減することができる。このような通信負荷の削減を実現することによって、画像処理システム１に備えられる複数の副演算処理装置１０及び主演算処理装置２０に過剰な性能（処理能力）が要求されることを回避し、結果として画像処理システム１（副演算処理装置１０及び主演算処理装置２０）の製造コストを低減しながら十分な性能を有する画像処理システム１を提供することができる。

なお、重複情報は少なくとも２つの副演算処理装置１０から主演算処理装置２０に送信されるため、当該副演算処理装置１０から送信される重複情報の頻度を低くしたとしても、当該主演算処理装置２０において画像の情報（重複情報）に対して実行される演算処理に与える影響は少ないと考えられる。

また、本実施形態においては、上記したように同期して動作する複数の撮像装置２と接続される例えば２つの副演算処理装置１０から交互に画像が送信される場合には、主演算処理装置２０において得られる動線情報の時刻が等間隔になるため、結果として、主演算処理装置２０において実行される演算処理が容易になる。

また、本実施形態においては、複数の副演算処理装置１０から送信される重複情報に対する演算処理において上記した平均操作を実行することにより、当該副演算処理装置１０からの重複情報の送信頻度が低く、当該重複情報から取得される動線情報に基づいて動線情報を補間する必要がある場合であっても、当該補間によって生じる誤差の影響を軽減することができる。

なお、本実施形態においては、撮像装置２によって撮像された画像の情報（つまり、撮像装置２から取得された画像の情報）が副演算処理装置１０から主演算処理装置２０に対して送信されるものとして説明したが、当該画像の情報は、副演算処理装置１０において加工された後に主演算処理装置２０に送信されてもよい。具体的には、例えばサイズを変更するような前処理（画像処理）が行われた画像の情報が副演算処理装置１０から主演算処理装置２０に送信されてもよい。この場合、主演算処理装置２０側で実行すべき処理（画像処理）の一部を省略することができるため、当該主演算処理装置２０の処理量を低減することができる。このような構成によれば、主演算処理装置２０の性能に対して多数の副演算処理装置１０が接続されるような構成を実現する（つまり、規模の大きな画像処理システム１を構築する）ことが可能となる。

また、本実施形態においては重複情報が低い送信頻度で（例えば、２フレーム毎に）送信され、非重複情報が高い送信頻度で（例えば、１フレーム毎）に送信されるものとして説明したが、重複情報の一部（例えば、重複領域のうちの当該重複領域と当該重複領域以外の領域との境界近傍の領域に関する情報）は高い送信頻度で送信されてもよい。換言すれば、本実施形態において、重複情報であるか否かと送信頻度の高低とは必ずしも一致していなくてもよい。このような構成によれば、例えば重複領域に対する設定（つまり、重複領域設定情報によって示される重複領域）に誤差があったとしても当該誤差の影響を軽減することができる。

また、本実施形態においては重複情報が例えば２フレーム毎に送信される（２フレームの画像が撮像される度に重複情報が１回送信される）ものとして説明したが、重複情報は非重複情報よりも低い送信頻度で送信されればよく、例えば３以上のフレーム毎に送信されるような構成であってもよい。

また、本実施形態に係る画像処理システム１は、上記したように立入禁止箇所に侵入して移動する人物を追跡する（つまり、監視対象を監視する）ような用途に適用可能であるが、監視以外の概念を含む他の用途に適用されてもよい。他の用途の例としては、畜産における家畜の状況観察、栽培における植物の状況観察、野生動物の行動観察、所定の場所（駅、地下街、商店街またはイベント会場等）における人の流れの観察、道路における混雑状況または渋滞状況の観察、工場における作業員の行動または製品の移動の観察、店舗における従業員または顧客の行動観察等、様々なものが挙げられる。

また、例えば図２においては４つの撮像装置２が設置される例が示されているが、本実施形態における撮像装置２の数は、２以上であればよい。

また、本実施形態においては主演算処理装置２０（演算処理部２２）における演算処理において畳み込みニューラルネットワークを用いた処理が実行されてもよいことを説明したが、当該演算処理は、例えば全結合処理、最大値プーリング処理、平均値プーリング処理、転置畳み込み処理等の処理を含んでいてもよい。

また、本実施形態においては副演算処理装置１０に含まれる格納部１１に格納されている重複領域設定情報を参照することによって重複領域であるか否かに応じて画像の情報（重複情報及び非重複情報）の送信頻度を変化させることが可能であるが、当該格納部１１が副演算処理装置１０とは異なる外部の装置に配置されており、副演算処理装置１０が当該外部の装置から重複領域設定情報を取得（受信）するような構成であってもよい。

（第２実施形態）
次に、第２実施形態について説明する。本実施形態においては、前述した第１実施形態と同様の部分についての詳しい説明を省略し、前述した第１実施形態と異なる部分について主に説明する。なお、本実施形態に係る画像処理システムのネットワーク構成については、前述した第１実施形態と同様であるため、適宜、図１等を用いて説明する。

本実施形態は、副演算処理装置１０によって実行される演算処理の結果に基づいて重複領域の送信頻度を変化させる点で、前述した第１実施形態とは異なる。

図１０は、副演算処理装置１０の機能構成の一例を示す。なお、図１０においては、前述した図４と同様の部分には同一参照符号を付して、その詳しい説明を省略する。ここでは、図４と異なる部分について主に述べる。

図１０に示すように、副演算処理装置１０は、演算処理部１４及び決定部１５を含む。演算処理部１４は、画像取得部１２によって取得された画像の情報に対する演算処理（例えば、画像処理）を実行する。

決定部１５は、演算処理部１４によって実行された演算処理の結果に基づいて、画像取得部１２によって取得された画像の情報のうちの重複情報の送信頻度を決定する。

ここでは副演算処理装置１０の機能構成について説明したが、当該副演算処理装置１０のハードウェア構成については前述した第１実施形態と同様であるため、当該ハードウェア構成の説明については省略する。なお、上記した図１０に示す演算処理部１４及び決定部１５の一部または全ては、例えば副演算処理装置１０に備えられるＣＰＵが所定のプログラムを実行すること、すなわち、ソフトウェアによって実現されるが、ハードウェアによって実現されてもよいし、ソフトウェア及びハードウェアの組み合わせによって実現されてもよい。

また、主演算処理装置２０の機能構成及びハードウェア構成については前述した第１実施形態と同様であるため、ここではその詳しい説明を省略する。

次に、図１１のシーケンスチャートを参照して、画像処理システム１の処理手順の一例について説明する。

まず、前述した図７に示すステップＳ１の処理に相当するステップＳ１１の処理が実行される。

次に、演算処理部１４は、ステップＳ１１において取得された画像の情報に対する演算処理を実行する（ステップＳ１２）。なお、ステップＳ１２において実行される演算処理は例えばステップＳ１１において取得された画像の情報に基づく画像処理を含み、演算処理部１４は、当該画像の情報に基づいて当該画像中の監視対象を検出する。この場合、演算処理部１４は、例えば畳み込みニューラルネットワークを用いた処理を実行することによって画像の情報から監視対象を検出してもよい。

ステップＳ１２の処理が実行されると、決定部１５は、ステップＳ１２の処理の結果（演算処理結果）に基づいて、ステップＳ１１において取得された画像の情報のうちの重複情報の送信頻度を決定する（ステップＳ１３）。

具体的には、上記した演算処理（画像処理）が実行されることによって重複領域から監視対象が検出された場合、決定部１５は、重複情報（当該重複領域に関する情報）の送信頻度として、非重複情報（重複領域以外の領域に関する情報）と等しい送信頻度（例えば、１フレーム毎に重複情報を送信すること）を決定する。一方、重複領域から監視対象が検出されない場合、決定部１５は、重複情報の送信頻度として、非重複情報よりも低い送信頻度（例えば、２フレーム毎に重複情報を送信すること）を決定する。

ステップＳ１３の処理が実行されると、当該ステップＳ１３において決定された送信頻度に基づいてステップＳ１４の処理が実行される。この場合、重複情報はステップＳ１３において決定された送信頻度に基づいて副演算処理装置１０から主演算処理装置２０に送信されるが、非重複情報は１フレーム毎に（つまり、高い送信頻度で）送信されればよい。

ステップＳ１４の処理が実行されると、前述した図７に示すステップＳ３及びＳ４の処理に相当するステップＳ１５及びＳ１６の処理が実行される。

なお、上記したステップＳ１３において非重複情報と等しい送信頻度が決定された場合には、撮像装置２から順次取得される画像の情報に基づいて重複領域から監視対象が検出されなくなるまで、当該送信頻度で重複情報が送信されるものとする。一方、ステップＳ１３において非重複情報よりも低い送信頻度が決定された場合には、撮像装置２から順次取得される画像の情報に基づいて重複領域から監視対象が検出されるまで、当該送信頻度で重複情報が送信されるものとする。

すなわち、本実施形態において、重複情報の送信頻度は、重複領域において監視対象が検出されるか否かに依存する。

上記したように本実施形態において、複数の副演算処理装置１０の各々は、当該副演算処理装置１０と接続される撮像装置によって撮像された画像の情報に対する演算処理（第２演算処理）を実行し、当該演算処理の結果に基づいて、重複情報を非重複情報の送信頻度よりも低い送信頻度（第１送信頻度）で送信するか、当該重複情報を非重複情報の送信頻度と等しい送信頻度（第２送信頻度）で送信するかを決定する。

本実施形態においては、このような構成により、重複情報の送信頻度の高低を柔軟に変化させることが可能となる。

具体的には、本実施形態においては、例えば重複領域（第１領域）内に監視対象が存在するか否かに応じて、重複情報の送信頻度を決定する。このような構成によれば、重複領域から監視対象が検出された場合には、主演算処理装置２０において実行される演算処理における誤差を抑制し、重複領域から監視対象が検出されない場合には、画像処理システム１における通信負荷を削減することができる。

また、例えば前述した図２に示す撮像装置２－１及び２－２の撮像領域（の一部）が重複している場合において、当該重複領域から監視対象が検出された場合には、当該撮像装置２－１と接続されている副演算処理装置１０及び撮像装置２－２と接続されている副演算処理装置１０の両方から重複情報が高い送信頻度で送信されるが、当該重複領域から監視対象が検出されない場合には、撮像装置２－１及び２－２と接続されている副演算処理装置１０のうちの一方から重複情報が高い送信頻度で送信され、他方からは重複情報が送信されないようにしてもよい。すなわち、本実施形態においては重複情報の送信頻度として高い送信頻度または低い送信頻度が決定されるが、当該低い送信頻度で重複情報を送信することは、当該重複情報を主演算処理装置２０に送信しないことが含まれるものとする。

このような構成であっても、上記したように主演算処理装置２０において実行される演算処理における誤差を抑制することと、画像処理システム１における通信負荷を削減することとを両立することができる。

なお、前述した第１実施形態においてはいくつかの変形例に相当する構成を説明したが、本実施形態に係る画像処理システム１は、当該変形例と組み合わせた構成とすることも可能である。

（第３実施形態）
次に、第３実施形態について説明する。本実施形態においては、前述した第１実施形態と同様の部分についての詳しい説明を省略し、当該第１実施形態と異なる部分について主に説明する。なお、本実施形態に係る画像処理システムのネットワーク構成については、前述した第１実施形態と同様であるため、適宜、図１等を用いて説明する。

本実施形態は、副演算処理装置１０から主演算処理装置２０に送信される画像の情報の形式（内容）が前述した第１実施形態とは異なる。

図１２は、副演算処理装置１０の機能構成の一例を示す。なお、図１２においては、前述した図４と同様の部分には同一参照符号を付して、その詳しい説明を省略する。ここでは、図４と異なる部分について主に述べる。

図１２に示すように、副演算処理部１０は、演算処理部１６を含む。前述した第２実施形態における演算処理部１４は画像中の監視対象を検出する演算処理（画像処理）を実行するものとして説明したが、演算処理部１６は、画像取得部１２によって取得された画像の情報から監視対象の動線情報（監視対象の動線に関する情報）を取得する演算処理（画像処理）を実行する。

本実施形態においては、上記した演算処理部１６によって実行される演算処理の結果（つまり、動線情報）が画像の情報として副演算処理装置１０から主演算処理装置２０に送信される。

ここでは副演算処理装置１０の機能構成について説明したが、当該副演算処理装置１０のハードウェア構成については前述した第１実施形態と同様であるため、当該ハードウェア構成の説明については省略する。なお、上記した図１２に示す演算処理部１６の一部または全ては、例えば副演算処理装置１０に備えられるＣＰＵが所定のプログラムを実行すること、すなわち、ソフトウェアによって実現されるが、ハードウェアによって実現されてもよいし、ソフトウェア及びハードウェアの組み合わせによって実現されてもよい。

次に、図１３のシーケンスチャートを参照して、画像処理システム１の処理手順の一例について説明する。

まず、前述した図７に示すステップＳ１の処理に相当するステップＳ２１の処理が実行される。

次に、演算処理部１６は、ステップＳ２１において取得された画像の情報に対して演算処理を実行する（ステップＳ２２）。この場合、演算処理部１６は、演算処理としてステップＳ２１において取得された画像の情報に基づく画像処理を実行し、当該画像の情報から監視対象の動線に関する情報（つまり、動線情報）を取得する。なお、ステップＳ２２の処理が実行されることによって取得される動線情報については、前述した第１実施形態において説明した動線情報と同様であるため、ここではその詳しい説明を省略する。なお、動線情報を取得する場合には画像の情報から監視対象を検出する必要があるが、当該監視対象を検出するために、例えば畳み込みニューラルネットワークを用いた処理が実行されてもよい。

ステップＳ２２の処理が実行されると、送信処理部１３は、ステップＳ２２の処理が実行されることによって取得された動線情報を主演算処理装置２０に送信する（ステップＳ２３）。

なお、ステップＳ２２の処理が実行されることによって動線情報が取得された場合、監視対象は重複領域または非重複領域に存在するが、当該監視対象が重複領域に存在する場合（つまり、動線情報が重複情報から取得された場合）、当該動線情報は、低い送信頻度で主演算処理装置２０に送信される。

一方、監視対象が非重複領域に存在する場合（つまり、動線情報が非重複情報から取得された場合）、当該動線情報は、高い送信頻度で主演算処理装置２０に送信される。

すなわち、本実施形態において、動線情報の送信頻度は、当該動線情報に含まれる監視対象の位置に依存する。

図１４は、本実施形態における動線情報の送信頻度の一例を説明するための図である。図１４においては、時刻ｔ２１～ｔ３１の各々において撮像された画像の情報から取得された動線情報７１～８１が示されている。なお、動線情報７１～７６は非重複情報から取得された動線情報（つまり、非重複領域に存在する監視対象の位置を含む動線情報）であり、動線情報７７～８１は重複情報から取得された動線情報（つまり、重複領域に存在する監視対象の位置を含む動線情報）である。

上記したように非重複情報から取得された動線情報は高い送信頻度で送信されるため、副演算処理装置１０から主演算処理装置２０に対しては動線情報７１～７６の全てが送信される。

一方、重複情報から取得された動線情報は低い送信頻度で送信されるため、動線情報７７～８１のうちの例えば動線情報７７、７９及び８１は副演算処理装置１０から主演算処理装置２０に対して送信されず、当該動線情報７７～８１のうちの動線情報７８及び８０のみが副演算処理装置１０から主演算処理装置２０に対して送信される。

ここでは動線情報７８及び８０が送信されるものとして説明したが、例えば動線情報７７、７９及び８１が送信され、動線情報７８及び８０が送信されない構成であってもよい。

更に、ここでは重複情報から取得された動線情報が２フレーム毎に１回送信されるものとして説明したが、当該動線情報は、３以上のフレーム毎に１回送信されてもよい。

すなわち、本実施形態においては、画像中の監視対象の位置が重複領域内の位置（第１位置）である場合には低い送信頻度（第１送信頻度）で動線情報（画像の情報）を送信し、当該画像中の監視対象の位置が非重複領域内の位置（第２位置）である場合には高い送信頻度（第２送信頻度）で動線情報（画像の情報）を送信する構成であればよい。

ステップＳ２３の処理が実行されると、前述した図７に示すステップＳ３及びＳ４の処理に相当するステップＳ２４及びＳ２５の処理が実行される。なお、ステップＳ２４においては、前述した図７に示すステップＳ３の処理とは異なり、動線情報を取得する処理は不要であり、複数の副演算処理装置１０の各々から送信された動線情報を貼り合わせるような演算処理（平均操作等）が実行されればよい。

上記したように本実施形態においては、画像の情報として動線情報（つまり、監視対象の位置）が複数の副演算処理装置１０から主演算処理装置２０に送信される構成により、画像の情報として複数の画素の情報が送信される前述した第１実施形態と比較して、画像処理システム１における通信負荷を更に削減することができる。また、本実施形態においては、第１実施形態において主演算処理装置２０が行った処理の一部を副演算処理装置１０が行うので、第１実施形態と比較して主演算処理装置２０の行うべき処理が低減される。それ故、このような構成によれば、主演算処理装置２０の性能に対して多数の副演算処理装置１０が接続されるような構成を実現する（つまり、規模の大きな画像処理システム１を構築する）ことが可能となる。

なお、本実施形態においては動線情報が副演算処理装置１０から主演算処理装置２０に送信されるものとして説明したが、本実施形態は、画像を構成する複数の画素の情報（つまり、画像自体）よりも容量が小さい情報（画像の情報に対する演算処理の結果）が送信される構成であればよい。

また、本実施形態においては単に重複情報から取得された動線情報を低い送信頻度で送信するものとして説明したが、当該重複情報から取得された動線情報の送信頻度を当該重複領域から検出された監視対象の数に基づいて決定するようにしてもよい。具体的には、重複領域から複数の監視対象が検出された（つまり、重複情報から複数の動線情報が取得された）場合には、当該動線情報を高い送信頻度で送信し、当該重複領域から１つの監視対象が検出された（つまり、重複情報から１つの動線情報が取得された）場合には、当該動線情報を低い送信頻度で送信する構成であってもよい。

このような構成によれば、重複領域において複数の監視対象が検出された場合には、主演算処理装置２０において実行される演算処理における誤差を抑制し、重複領域から１つの監視対象が検出された場合には、画像処理システム１における通信負荷を削減することができる。

また、例えば前述した図２に示す撮像装置２－１及び２－２の撮像領域（の一部）が重複している場合において、当該重複領域から複数の監視対象が検出された場合には、当該撮像装置２－１と接続されている副演算処理装置１０及び撮像装置２－２と接続されている副演算処理装置１０の両方から動線情報が高い送信頻度で送信され、当該重複領域から１つの監視対象が検出された場合には、撮像装置２－１及び２－２と接続されている副演算処理装置１０のうちの一方から動線情報が高い送信頻度で送信され、他方からは動線情報が送信されないようにしてもよい。

また、本実施形態においては主に前述した第１実施形態における副演算処理装置１０の構成に演算処理部１６が追加されるものとして説明したが、本実施形態は、前述した第２実施形態と組み合わせた構成としても構わない。

（第４実施形態）
次に、第４実施形態について説明する。本実施形態においては、前述した第１実施形態と同様の部分についての詳しい説明を省略し、当該第１実施形態と異なる部分について主に説明する。なお、本実施形態に係る画像処理システムのネットワーク構成については、前述した第１実施形態と同様であるため、適宜、図１等を用いて説明する。

ここで、前述した第１実施形態においては副演算処理装置１０に含まれる格納部１１に重複領域設定情報が予め格納されているものとして説明したが、当該重複領域設定情報に従って互いの撮像領域が重複するように複数の撮像装置２を人手で設置することは困難である。

そこで、本実施形態は、監視範囲を撮像するように設置された複数の撮像装置２によって撮像された画像の情報に基づいて自動的に重複領域を判別する（つまり、重複領域を自動的に設定する）点で、前述した第１実施形態とは異なる。

図１５は、副演算処理装置１０の機能構成の一例を示す。なお、図１５においては、前述した図４と同様の部分には同一参照符号を付して、その詳しい説明を省略する。ここでは、図４と異なる部分について主に述べる。

図１５に示すように、副演算処理装置１０は、受信処理部１７を含む。受信処理部１７は、主演算処理装置２０において判別された重複領域を示す重複領域設定情報を、当該主演算処理装置２０から受信する。受信処理部１７によって受信された重複領域設定情報は、格納部１１に格納される。

図１６は、主演算処理装置２０の機能構成の一例を示す。なお、図１６においては、前述した図５と同様の部分には同一参照符号を付して、その詳しい説明を省略する。ここでは、図５と異なる部分について主に述べる。

図１６に示すように、主演算処理装置２０は、重複領域判別部２４を含む。重複領域判別部２４は、受信処理部２１によって受信された画像の情報（つまり、複数の撮像装置２の各々によって撮像された画像の情報）に対して演算処理を実行する演算処理部に相当し、当該演算処理の結果に基づいて、当該複数の撮像装置２の各々の重複領域（当該撮像装置２の撮像領域のうち他の撮像装置２の撮像領域と重複する領域）を判別する。重複領域判別部２４は、判別された複数の撮像装置２の各々の重複領域を示す重複領域設定情報を、当該撮像装置２と接続されている副演算処理装置１０に送信する。

ここでは副演算処理装置１０及び主演算処理装置２０の機能構成について説明したが、当該副演算処理装置１０のハードウェア構成については前述した第１実施形態と同様であるため、当該ハードウェア構成の説明については省略する。

なお、上記した図１５に示す受信処理部１７の一部または全ては、例えば副演算処理装置１０に備えられるＣＰＵが所定のプログラムを実行すること、すなわち、ソフトウェアによって実現されるが、ハードウェアによって実現されてもよいし、ソフトウェア及びハードウェアの組み合わせによって実現されてもよい。

同様に、上記した図１６に示す重複領域判別部２４の一部または全ては、例えば主演算処理装置２０に備えられるＣＰＵが所定のプログラムを実行すること、すなわち、ソフトウェアによって実現されるが、ハードウェアによって実現されてもよし、ソフトウェア及びハードウェアの組み合わせによって実現されてもよい。

次に、図１７のシーケンスチャートを参照して、画像処理システム１の処理手順の一例について説明する。なお、図１７に示す処理は、前述した図７に示す処理の前処理として実行される処理である。

まず、副演算処理装置１０に含まれる画像取得部１２は、当該副演算処理装置１０と接続されている撮像装置２によって連続的に撮像された画像の情報を順次取得する（ステップＳ３１）。

なお、ステップＳ３１においては、後述する重複領域の判別を容易にするために、例えば背景と区別することが容易な服装の人物が監視対象として監視範囲内（つまり、複数の撮像装置２の撮像領域）を歩いているような状況下ないし背景と区別することが容易なロボットが監視対象として監視範囲内（つまり、複数の撮像装置２の撮像領域）を移動しているような状況下で、撮像装置２によって撮像された画像の情報が取得されるものとする。

次に、送信処理部１３は、ステップＳ３１において取得された画像の情報を主演算処理装置２０に送信する（ステップＳ３２）。なお、画像の情報は、例えば当該画像が撮像された時刻が付加されて主演算処理装置２０に送信される。

ステップＳ３２の処理が複数の副演算処理装置１０の各々において実行されると、主演算処理装置２０に含まれる受信処理部２１は、当該副演算処理装置１０から送信された画像の情報を受信する。

次に、重複領域判別部２４は、受信処理部２１によって受信された画像の情報に基づいて、複数の撮像装置２の各々の重複領域を判別する（ステップＳ３３）。

ここで、前述した図２に示す撮像装置２－１の重複領域（当該撮像装置２－１の撮像領域のうち他の撮像装置２の撮像領域と重複する領域）を判別する場合について簡単に説明する。

まず、重複領域判別部２４は、複数の撮像装置２の各々によって撮像された画像の情報（複数の副演算処理装置１０から受信された画像の情報）に対する演算処理を実行し、当該画像内の監視対象（上記した背景と区別することが容易な服装の人物ないし背景と区別することが容易なロボット）を検出する。

次に、重複領域判別部２４は、撮像装置２－１によって撮像された画像の情報から監視対象が検出され、かつ、当該画像が撮像された時刻と同じ時刻に他の撮像装置２（例えば、撮像装置２－２等）によって撮像された画像の情報からも同一の監視対象が検出されている場合、当該撮像装置２－１によって撮像された画像中の当該監視対象を包含する領域を重複領域として判別する。

なお、ここでは監視範囲内を人物が歩いているないしロボットが移動しているという状況下で複数の撮像装置２が画像を撮像しているものとして説明したが、背景と区別することが容易な複数のマーカが監視対象として監視範囲内に配置されているという状況下で撮像装置２が画像を撮像してもよい。複数のマーカの各々は、画像の情報に基づく画像処理を実行することにより区別可能に形成されているものとする。この場合、撮像装置２－１によって撮像された画像の情報からマーカが検出され、かつ、他の撮像装置２（例えば、撮像装置２－２等）によって撮像された画像からも同一のマーカが検出されている場合、当該撮像装置２－１によって撮像された画像中の当該マーカを包含する領域を重複領域として判別する。

ステップＳ３３において重複領域を判別する際には例えば撮像装置２－１によって撮像された画像の情報から検出された監視対象（人物ないしロボットまたはマーカ）と他の撮像装置２によって撮像された画像の情報から検出された監視対象とが同一であるか否かを判定する必要があるが、当該判定処理は、当該監視対象を表す特徴量に基づいて実行されるものとする。

また、ステップＳ３３の処理は、例えば畳み込みニューラルネットワークを用いて実行されてもよい。

上記したように重複領域が判別された場合、重複領域判別部２４は、当該重複領域を示す重複領域設定情報を撮像装置２－１と接続されている副演算処理装置１０に送信する（ステップＳ３４）。

ここでは撮像装置２－１の重複領域について説明したが、上記したステップＳ３３及びＳ３４の処理は複数の撮像装置２毎に実行される。

副演算処理装置１０に含まれる受信処理部１７は、ステップＳ３４において送信された重複領域設定情報を受信する。受信処理部１７によって受信された重複領域設定情報は、格納部１１に格納される（ステップＳ３５）。

上記した図１７に示す処理が実行されることによって副演算処理装置１０に含まれる格納部１１に格納された重複領域設定情報は、前述した図７に示す処理が実行される際に用いられる。

上記したように本実施形態においては、複数の副演算処理装置１０（送信処理部１３）から送信された画像の情報に基づいて当該複数の副演算処理装置１０と接続される複数の撮像装置２の各々の重複領域を判別し、当該重複領域は当該撮像装置２と接続される副演算処理装置１０に含まれる格納部１１に格納される。

本実施形態においては、このような構成により、例えば予め設計された重複領域の通りに正確に複数の撮像装置２を人手により設置するような手間を回避することができる。更に、本実施形態においては、複数の撮像装置２が設置された後に重複領域を自動的に判別するため、当該複数の撮像装置２の設置位置に応じた正確な重複領域を設定することができる。本実施形態においては、このような重複領域を示す重複領域設定情報を利用することによって、画像処理システム１における通信負荷を適切に削減することが可能となる。

なお、本実施形態においては重複領域判別部２４が演算処理部２２とは別個の機能部であるものとして説明したが、当該重複領域判別部２４は演算処理部２２と同一の機能部として実現されていてもよい。

また、前述した第１実施形態においてはいくつかの変形例に相当する構成を説明したが、本実施形態に係る画像処理システム１は、当該変形例と組み合わせた構成とすることも可能である。

また、本実施形態においては主に前述した第１実施形態における副演算処理装置１０の構成に受信処理部１７が追加され、主演算処理装置２０の構成に重複領域判別部２４が追加されるものとして説明したが、本実施形態は、前述した第２及び第３実施形態と組み合わせた構成としても構わない。

以上述べた少なくとも１つの実施形態によれば、通信負荷を削減することが可能な画像処理システム及び方法を提供することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１…画像処理システム、２，２－１～２－４…撮像装置、１０…副演算処理装置、１１…格納部、１２…画像取得部、１３…送信処理部、１４…演算処理部、１５…決定部、１６…演算処理部、１７…受信処理部、２０…主演算処理装置、２１…受信処理部、２２…演算処理部、２３…出力部、２４…重複領域判別部、１０１…ＣＰＵ、１０２…不揮発性メモリ、１０３…主メモリ、１０４…通信デバイス。

Claims

複数の副演算処理装置と、当該複数の副演算処理装置と通信可能に接続される主演算処理装置とを備える画像処理システムにおいて、
前記複数の副演算処理装置の各々は、当該副演算処理装置と接続される撮像装置によって連続的に撮像された画像の情報を順次取得する取得手段と、当該取得された画像の情報を前記主演算処理装置に送信する送信処理手段と、当該副演算処理装置とは異なる他の副演算処理装置と接続される撮像装置の撮像領域と重複する第１領域を示す設定情報を格納する格納手段とを含み、
前記主演算処理装置は、前記送信された画像の情報に対する第１演算処理を実行する第１演算処理手段を含み、
前記送信処理手段は、前記設定情報に基づいて、前記画像の情報のうちの前記第１領域に関する情報を、当該第１領域とは異なる第２領域に関する情報の第２送信頻度よりも低い第１送信頻度で送信する
画像処理システム。
前記複数の副演算処理装置と接続される複数の撮像装置は、同期して画像を撮像するように動作する請求項１記載の画像処理システム。
前記複数の副演算処理装置の各々は、当該副演算処理装置と接続される撮像装置によって撮像された画像の情報に対する第２演算処理を実行する第２演算処理手段と、当該第２演算処理の結果に基づいて、前記第１領域に関する情報を前記第１送信頻度で送信するか、前記第２送信頻度で送信するかを決定する決定手段とを更に含み、
前記送信処理手段は、前記第１送信頻度で送信すると決定された場合に前記第１領域に関する情報を前記第１送信頻度で送信し、前記第２送信頻度で送信すると決定された場合に前記第１領域に関する情報を前記第２送信頻度で送信する
請求項１または２記載の画像処理システム。
前記第１領域に関する情報を第１送信頻度で送信することは、当該第１領域に関する情報を前記主演算処理装置に送信しないことを含む請求項３記載の画像処理システム。
前記第２演算処理は、前記画像の情報に基づいて対象物を検出する処理を含み、
前記決定手段は、前記第１領域から前記対象物が検出されたか否かに応じて、前記第１領域に関する情報を前記第１送信頻度で送信するか前記第２送信頻度で送信するかを決定する請求項３または４記載の画像処理システム。
前記送信処理手段によって前記主演算処理装置に送信される第１領域に関する情報は、当該送信処理手段を含む副演算処理装置に接続される撮像装置によって撮像された画像の情報に対する第２演算処理の結果を含む請求項１～５のいずれか一項に記載の画像処理システム。
前記第１領域に関する情報は、前記第２演算処理が実行されることによって前記画像の情報から検出された対象物の位置を含む請求項６記載の画像処理システム。
前記第１演算処理手段は、前記複数の副演算処理装置の各々に含まれる送信処理手段によって送信された第１領域に関する情報に対する第１演算処理において平均操作を実行することを含む請求項１～７のいずれか一項に記載の画像処理システム。
前記主演算処理装置は、前記複数の副演算処理装置の各々に含まれる送信処理手段によって送信された画像の情報に基づいて、当該複数の副演算処理装置の各々の第１領域を判別する判別手段を更に含み、
前記判別された副演算処理装置の第１領域を示す設定情報は、当該副演算処理装置に含まれる格納手段に格納される
請求項１～８のいずれか一項に記載の画像処理システム。
複数の副演算処理装置と、当該複数の副演算処理装置と通信可能に接続される主演算処理装置とを備える画像処理システムにおいて、
前記複数の副演算処理装置の各々は、当該副演算処理装置に接続される撮像装置によって連続的に撮像された画像の情報を順次取得する取得手段と、当該取得された画像の情報を前記主演算処理装置に送信する送信処理手段とを含み、
前記主演算処理装置は、前記送信された画像の情報に対する第１演算処理を実行する第１演算処理手段を含み、
前記複数の副演算処理装置の各々は、前記画像の情報に基づいて対象物を検出する処理を実行する第２演算処理手段を更に含み、
前記送信処理手段は、前記検出された対象物の位置が第１位置である場合には第１送信頻度で当該画像の情報を送信し、前記画像中の対象物の位置が第２位置である場合には第２送信頻度で当該画像の情報を送信し、
前記第１送信頻度は、前記第２送信頻度よりも低い
画像処理システム。
前記複数の副演算処理装置と接続される複数の撮像装置を更に具備する請求項１～１０のいずれか一項に記載の画像処理システム。
複数の副演算処理装置と、当該複数の副演算処理装置と通信可能に接続される主演算処理装置とを備える画像処理システムが実行する方法であって、
前記複数の副演算処理装置の各々が、当該副演算処理装置と接続される撮像装置によって連続的に撮像された画像の情報を順次取得し、当該取得された画像の情報を前記主演算処理装置に送信するステップと、
前記主演算処理装置が、前記送信された画像の情報に対する演算処理を実行するステップと
を含み、
前記送信するステップは、前記画像の情報を送信する副演算処理装置とは異なる他の副演算処理装置と接続される撮像装置の撮像領域と重複する第１領域を示す設定情報に基づいて、前記画像の情報のうちの前記第１領域に関する情報を、当該第１領域とは異なる第２領域に関する情報の第２送信頻度よりも低い第１送信頻度で送信するステップを含む
方法。