JP2021044663A - 処理装置、監視システム、及び、監視方法 - Google Patents

Abstract

【課題】作業者が複数の監視対象を容易に監視できる処理装置、監視システム、及び、監視方法を提供する。【解決手段】監視システム１は、撮像部１００と、表示部３００と、制御部２４０とを備える。制御部２４０は、抽出処理と、表示処理とを行う。抽出処理は、撮像部１００により撮像された複数の商品Ｐの全体画像Ｇから、複数の商品Ｐの各々の商品画像ＧＸを抽出する処理である。表示処理は、抽出処理により抽出された複数の商品画像ＧＸを含む監視画面ＧＡを表示部３００に表示させる処理である。【選択図】図１

Description

本発明は、処理装置、監視システム、及び、監視方法に関する。

特許文献１には、ネットワークカメラ、携帯用バーコードスキャナー、ＰＤＡ等を利用して遠隔から陳列ケースを継続的に監視し適宜商品補充を行う技術が開示されている。

特開２００５−２８５０８１号公報

しかし、例えば、ネットワークカメラを用いて複数の商品を監視する場合、ネットワークカメラにより撮像される画像に複数の商品（監視対象）が写る。従って、作業者は、ネットワークカメラにより撮像される画像上で複数の商品を互いに見分けつつ監視しなければならず、煩雑であった。

本発明は、作業者が複数の監視対象を容易に監視できる処理装置、監視システム、及び、監視方法を提供することを目的とする。

本願の第１局面によれば、監視システムは、撮像部と、表示部と、制御部とを備える。撮像部は、複数の監視対象を撮像する。表示部は、画像を表示する。制御部は、前記表示部を制御する。前記制御部は、抽出処理と、表示処理とを行う。抽出処理は、前記撮像部により撮像された前記複数の監視対象の全体画像から、前記複数の監視対象の各々の対象画像を抽出する処理である。表示処理は、前記抽出処理により抽出された複数の前記対象画像を含む監視画面を前記表示部に表示させる処理である。

本願の第２局面によれば、処理装置は、通信部と、制御部とを備える。通信部は、撮像部及び表示部に通信可能に接続される。撮像部は、複数の監視対象を撮像する。表示部は、画像を表示する。制御部は、前記表示部を制御する。前記制御部は、抽出処理と、表示処理とを行う。抽出処理は、前記撮像部により撮像された前記複数の監視対象の全体画像から、前記複数の監視対象の各々の対象画像を抽出する処理である。表示処理は、前記抽出処理により抽出された複数の前記対象画像を含む監視画面を前記表示部に表示させる処理である。

本願の第３局面によれば、監視方法は、複数の監視対象を監視する方法である。監視方法は、前記複数の監視対象を撮像部により撮像する撮像工程を含む。監視方法は、前記撮像部により撮像された前記複数の監視対象の全体画像から、前記複数の監視対象の各々の対象画像を抽出する抽出工程を含む。監視方法は、前記抽出工程で抽出された複数の前記対象画像を含む監視画面を表示部に表示する表示工程を含む。

本発明によれば、作業者が複数の監視対象を容易に監視できる。

本発明の第１実施形態に係る監視システムを示す模式図である。 監視システムの構成を示すブロック図である。 テーブル情報を示す図である。 処理装置の第１動作を示すフロー図である。 全体画像を示す図である。 複数のブロック画像を示す図である。 類似度の算出結果を示す図である。 類似度の算出結果を示す図である。 類似度の算出結果を示す図である。 第１商品の商品画像を示す図である。 表示部に監視画面が表示されている状態を示す図である。 処理装置の第２動作を示すフロー図である。 処理装置の第３動作を示すフロー図である。 処理装置の第４動作を示すフロー図である。

本発明の実施形態について、図面を参照しながら説明する。なお、図中、同一又は相当部分については同一の参照符号を付して説明を繰り返さない。

［第１実施形態］
図１〜図３を参照して、本発明の第１実施形態に係る監視システム１について説明する。図１は、本発明の第１実施形態に係る監視システム１を示す模式図である。図２は、監視システム１の構成を示すブロック図である。

図１及び図２に示すように、監視システム１は、陳列された複数の商品Ｐを監視する。第１実施形態では、商品Ｐは、ビュッフェ形式のレストランで提供される料理である。複数の商品Ｐは、第１商品Ｐ１〜第Ｎ商品ＰＮを含む。Ｎは、２以上の整数である。

商品Ｐは、本発明の監視対象の一例である。

監視システム１は、撮像部１００と、処理装置２００と、表示部３００とを備える。

撮像部１００は、複数の商品Ｐを撮像する。撮像部１００は、デジタルカメラのような静止画像を撮像する装置でもよく、ビデオカメラのような動画像を撮像する装置でもよい。

処理装置２００は、撮像部１００により撮像された画像を処理する。処理装置２００は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）である。

処理装置２００は、入力部２１０と、通信部２２０と、記憶部２３０と、制御部２４０とを含む。

入力部２１０は、処理装置２００に対する指示を受け付ける。入力部２１０は、例えば、キーボード、マウス、及びタッチパネルのうちの少なくとも１つを含む。

通信部２２０は、撮像部１００及び表示部３００の各々と通信を行うためのデバイスである。通信部２２０は、例えば、ＬＡＮボードのような通信モジュール（通信機器）を含む。通信部２２０は、例えば、ワイヤレスＬＡＮにより撮像部１００及び表示部３００の各々と無線接続される。なお、通信部２２０は、通信ポートを含み、通信ポートに接続されたケーブルを介して、撮像部１００及び表示部３００の各々と有線接続されてもよい。

記憶部２３０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような主記憶装置（例えば、半導体メモリー）を含み、補助記憶装置（例えば、ハードディスクドライブ）をさらに含んでもよい。記憶部２３０は、制御部２４０によって実行される種々のコンピュータープログラムを記憶する。

記憶部２３０は、テーブル情報２３１を記憶する。テーブル情報２３１の説明は後述する。

制御部２４０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のようなプロセッサーを含む。制御部２４０は、記憶部２３０に記憶されたコンピュータープログラムを実行することにより、処理装置２００の各要素を制御する。

表示部３００は、画像を表示する。表示部３００は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、又はＥＬＤ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）のようなディスプレーである。

なお、第１実施形態では、処理装置２００と表示部３００とは別体の部材である。しかし、処理装置２００と表示部３００とは、例えば、ノートＰＣ、又は、タブレットＰＣのような一体の部材でもよい。

次に、図１〜図３を参照して、記憶部２３０に記憶されるテーブル情報２３１について説明する。図３は、テーブル情報２３１を示す図である。

図１〜図３に示すように、テーブル情報２３１は、複数の商品Ｐの各々について、商品Ｐの商品名と、商品Ｐの登録画像とを対応付けた情報である。

例えば、第１商品Ｐ１が唐揚げの場合、テーブル情報２３１には、第１商品Ｐ１の商品名である「唐揚げ」と、唐揚げの登録画像とが対応付けられている。

商品Ｐの登録画像は、陳列されている商品Ｐそのものの画像でなくてもよい。商品Ｐの登録画像は、例えば、ネットワークを介して取得された画像でもよい。例えば、商品Ｐの登録画像が唐揚げの登録画像である場合、唐揚げの登録画像は、ビュッフェで陳列される唐揚げを撮像することにより生成された画像でなくてもよく、ネットワークを介して取得された唐揚げの画像でもよい。

なお、テーブル情報２３１において、商品Ｐ毎に対応付けられる登録画像の個数は、特に限定されない。第１実施形態では、例えば、商品Ｐ毎に、１０個〜２０個の登録画像が対応付けられている。

次に、図１〜図１１を参照して、処理装置２００の第１動作について説明する。図４は、処理装置２００の第１動作を示すフロー図である。

図１、図２、及び図３に示すように、ステップＳ１０において、撮像部１００は、陳列された複数の商品Ｐを撮像することで、複数の商品Ｐの全体画像Ｇを示す画像データを生成する。そして、撮像部１００は、処理装置２００に対し、全体画像Ｇの画像データを送信する。その結果、処理装置２００の制御部２４０は、通信部２２０を介して全体画像Ｇの画像データを取得する。

図５は、全体画像Ｇを示す図である。

図１、図２、図４及び図５に示すように、全体画像Ｇは、複数の商品Ｐが一度に撮像されるようなアングルで、撮像部１００により撮像された画像である。全体画像Ｇは、１つの画像であり、１つの画像内に複数の商品Ｐの画像を含んでいる。

ステップＳ２０において、制御部２４０は、記憶部２３０内で、全体画像Ｇを複数のブロック画像Ｂに分割する処理を行う。

図６は、複数のブロック画像Ｂを示す図である。

図１、図２、図４及び図６に示すように、複数のブロック画像Ｂの各々は、全体画像Ｇの一部である。複数のブロック画像Ｂの各々は、第１仮想線Ｌ１と、第１仮想線Ｌ１に対して垂直な第２仮想線Ｌ２とにより、全体画像Ｇを格子状に区切ることによって生成される。複数のブロック画像Ｂは、マトリクス状に配置される。

本実施形態では、複数のブロック画像Ｂは、第１ブロック画像Ｂ１〜第２０ブロック画像Ｂ２０で構成される。また、本実施形態では、Ｘ軸方向に沿って５つのブロック画像Ｂが配置され、Ｙ軸方向に沿って４つのブロック画像Ｂが配置される。

ステップＳ３０において、制御部２４０は、複数のブロック画像Ｂの各々と、第１商品Ｐ１の登録画像とを比較する。そして、制御部２４０は、ブロック画像Ｂ毎に、第１商品Ｐ１の登録画像に対する類似度を算出する。制御部２４０は、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等の深層学習を用いて、ブロック画像Ｂ毎に特徴量を算出する。そして、制御部２４０は、ブロック画像Ｂ毎に、ブロック画像Ｂの特徴量のノルムと、第１商品Ｐ１の登録画像の特徴量のノルムとの合計値を算出する。ブロック画像Ｂ毎に算出された特徴量のノルムの合計値は、第１商品Ｐ１の登録画像に対する、各ブロック画像Ｂの類似度となる。

図７〜図９は、類似度の算出結果を示す図である。図７〜図９には、ブロック画像Ｂ毎に、第１商品Ｐ１の登録画像に対する類似度が表示されている。なお、図７〜図９において、全体画像Ｇを矩形の実線で表しており、全体画像Ｇに含まれる複数の商品Ｐの画像は省略している。

図１、図２、図４及び図７に示すように、本実施形態では、第１商品Ｐ１の登録画像に対する第１ブロック画像Ｂ１の類似度は、類似度０になる。第１商品Ｐ１の登録画像に対する第１８ブロック画像Ｂ１８の類似度は、類似度０．４になる。

図１、図２、図４及び図８に示すように、ステップＳ４０において、制御部２４０は、ステップＳ３０でブロック画像Ｂ毎に算出した類似度に基づいて、全体画像Ｇ内における類似度の分布の重心位置（中心位置）Ｃを算出する。

図１、図２、図４及び図９に示すように、ステップＳ５０において、制御部２４０は、重心位置Ｃを中心にして、全体画像Ｇのうち所定範囲内に位置する画像を、第１商品Ｐ１の商品画像Ｇ１として抽出する。本実施形態では、所定範囲内は、重心位置Ｃを中心に形成される点線Ｌで囲まれた範囲内である。

図１０は、第１商品Ｐ１の商品画像Ｇ１を示す図である。

図１、図２、図４及び図１０に示すように、第１実施形態では、第１商品Ｐ１は唐揚げである。また、第１商品Ｐ１の商品画像Ｇ１は、ビュッフェで提供中の唐揚げの画像である。

ステップＳ６０において、制御部２４０は、第Ｎ商品ＰＮの商品画像ＧＮを全体画像Ｇから抽出する処理が完了したか否かを判定する。

第Ｎ商品ＰＮの商品画像ＧＮを抽出する処理が完了していないと制御部２４０が判定すると（ステップＳ６０で、Ｎｏ）、処理がステップＳ３０に移行する。第１実施形態では、第１商品Ｐ１の商品画像Ｇ１のみが抽出された状態なので、ステップＳ６０で、Ｎｏとなり、処理がステップＳ３０に移行する。そして、第２商品Ｐ２〜第Ｎ商品ＰＮの各々に対して、第２商品Ｐ２、第３商品Ｐ３、・・・、第Ｎ商品ＰＮの順番に、ステップＳ３０〜ステップＳ５０に示す処理が行われる。その結果、第２商品Ｐ２の商品画像Ｇ２〜第Ｎ商品ＰＮの商品画像ＧＮが全体画像Ｇからそれぞれ抽出される。

以下では、商品画像Ｇ１〜商品画像ＧＮを総称して、商品画像ＧＸと記載することがある。商品画像ＧＸは、本発明の対象画像の一例である。

第Ｎ商品ＰＮの商品画像ＧＮを抽出する処理が完了したと制御部２４０が判定すると（ステップＳ６０で、Ｙｅｓ）、処理がステップＳ７０に移行する。

ステップＳ７０において、表示部３００が監視画面ＧＡを表示するように、制御部２４０が表示部３００を制御する。

ステップＳ７０に示す処理が終了すると、処理がステップＳ１０に戻る。

図１１は、表示部３００に監視画面ＧＡが表示されている状態を示す図である。

図１１に示すように、監視画面ＧＡには、複数の商品画像ＧＸが含まれる。従って、監視画面ＧＡには、全体画像Ｇ（図５参照）に含まれる複数の商品Ｐの画像が、商品Ｐ毎に、商品画像ＧＸに分割された状態で表示される。その結果、作業者は、監視画面ＧＡから複数の商品Ｐを容易に監視できる。

第１実施形態では、監視画面ＧＡに表示される複数の商品画像ＧＸは、第１商品Ｐ１の商品画像Ｇ１〜第６商品Ｐ６の商品画像Ｇ６で構成される。第１商品Ｐ１は唐揚げであり、第２商品Ｐ２はスープである。複数の商品画像ＧＸは、監視画面ＧＡ上において、所定のレイアウトで配置される。第１実施形態では、複数の商品画像ＧＸは、監視画面ＧＡ上において、互いに間隔を空けてマトリクス状に配置される。

監視画面ＧＡには、商品画像ＧＸ毎に、商品画像ＧＸが表す商品Ｐを表す名称が表示される。例えば、第１商品Ｐ１である唐揚げの商品画像Ｇ１の周辺には、「唐揚げ」の文字が表示される。第２商品Ｐ２であるスープの商品画像Ｇ２の周辺には、「スープ」の文字が表示される。その結果、作業者は、各商品画像ＧＸが表す商品Ｐを容易に認識できる。

ステップＳ３０〜ステップＳ６０に示す処理は、本発明の抽出処理の一例である。ステップＳ７０に示す処理は、本発明の表示処理の一例である。

なお、監視画面ＧＡに表示される各商品画像ＧＸのサイズは、変更可能であってもよい。例えば、制御部２４０は、ステップＳ５０において抽出された各商品画像ＧＸをアフィン変換により拡大又は縮小変換した後、監視画面ＧＡ上に表示するように構成する。そして、作業者は、各商品画像ＧＸに設定されるアフィン変換の係数を変更することで、監視画面ＧＡ上に表示される各商品画像ＧＸのサイズを調整する。その結果、監視画面１０の広さ（解像度）に合わせて、各商品画像ＧＸのサイズを設定できる。

［第２実施形態］
次に、図２、及び図１２を参照して、本発明の第２実施形態に係る監視システム１について説明する。図１２は、処理装置２００の第２動作を示すフロー図である。

図１に示す第１実施形態では、１つの撮像部１００が用いられているが、第２実施形態は、複数の撮像部１００が用いられる点が第１実施形態と異なる。第２実施形態では、複数の撮像部１００が、異なるアングルで、陳列された複数の商品Ｐを撮像する。

図２、及び図１２に示すように、ステップＳ１１において、処理装置２００の制御部２４０は、複数の撮像部１００から、全体画像Ｇの画像データを取得する。

ステップＳ２１において、制御部２４０は、図４のステップＳ２０に示す全体画像Ｇをブロック画像Ｂに分割する処理を、複数の撮像部１００から取得した各全体画像Ｇに対して行う。

ステップＳ３１において、制御部２４０は、図４のステップＳ３０に示す類似度を算出する処理を、各全体画像Ｇのブロック画像Ｂ毎に行う。

ステップＳ３２において、制御部２４０は、対象全体画像を決定する。対象全体画像は、各全体画像Ｇのうち、ステップＳ３１において算出された類似度が最も高いブロック画像Ｂを含む全体画像Ｇである。

ステップＳ４１において、制御部２４０は、図４のステップＳ４０に示す類似度の分布の重心を算出する処理を、ステップＳ３２において決定された対象全体画像に対して行う。

ステップＳ５１において、制御部２４０は、重心位置Ｃを中心にして、対象全体画像から、第１商品Ｐ１の商品画像Ｇ１を抽出する。

第１商品Ｐ１の商品画像Ｇ１〜第Ｎ商品ＰＮの商品画像ＧＮを抽出する処理が完了するまで、ステップＳ３１〜ステップＳ６１に示す抽出処理が行われる。抽出処理が完了すると、処理がステップＳ７１に移行する。

ステップＳ７１において、第１商品Ｐ１の商品画像Ｇ１〜第Ｎ商品ＰＮの商品画像ＧＮを含む監視画面ＧＡが表示部３００に表示される。ステップＳ７１に示す処理が終了すると、処理がステップＳ１１に戻る。

以上、図２、及び図１２を参照して説明したように、第２実施形態では、複数の撮像部１００が用いられる。その結果、より高精度な商品画像ＧＸを生成できる。

なお、第２実施形態では、ステップＳ３２において、制御部２４０は、類似度が最も高いブロック画像Ｂを含む全体画像Ｇを、対象全体画像に決定する。しかし、本発明は、これに限定されない。制御部２４０は、複数の撮像部１００により撮像された全体画像Ｇ毎に類似度の合計値を算出し、類似度の合計値が最も高い全体画像Ｇを、対象全体画像に決定してもよい。

［第３実施形態］
次に、図２、及び図１３を参照して、本発明の第３実施形態に係る監視システム１について説明する。図１３は、処理装置２００の第３動作を示すフロー図である。

第３実施形態では、撮像部１００としてＰＴＺカメラが用いられる点が第１実施形態及び第２実施形態と異なる。

図２、及び図１３に示すように、ステップＳ１において、ＰＴＺカメラである撮像部１００は、例えば、レンズのパン角度、レンズのチルト角度、及び／又は、レンズのズーム倍率を変更することで、所定ルートに沿って撮像範囲を切り替える。

処理装置２００の制御部２４０は、撮像部１００から、撮像部１００の座標を示す座標情報を取得する。撮像部１００の座標は、レンズのパン角度、レンズのチルト角度、及び／又は、レンズのズーム倍率で構成される。

ステップＳ２において、制御部２４０は、ステップＳ１において取得した座標情報が、所定座標を示すか否かを判定する。所定座標は、撮像部１００が、複数の商品Ｐの全部を一度に撮像できるときの撮像部１００の座標である。

所定座標を示さないと制御部２４０が判定すると（ステップＳ２で、Ｎｏ）、処理がステップＳ１に移行する。所定座標を示すと制御部２４０が判定すると（ステップＳ２で、Ｙｅｓ）、処理がステップＳ１３に移行する。

ステップＳ１３において、制御部２４０は、所定座標に位置する撮像部１００が撮像した全体画像Ｇの画像データを取得する。そして、ステップＳ２０〜ステップＳ７０に示す処理が行われた後、処理がステップＳ１に戻る。従って、撮像部１００が、所定ルートに沿って撮像範囲を切り替える処理を行う際、撮像部１００の座標が所定座標になる度に、監視画面ＧＡ（図１１参照）が更新される。その結果、撮像部１００により店内を監視しつつ、商品Ｐの状態（例えば、ビュッフェで提供される料理の減り具合）も監視できる。

なお、撮像部１００が複数の座標で複数の商品Ｐを撮像することで、制御部２４０は、座標毎に全体画像Ｇを取得してもよい。この場合、制御部２４０は、座標毎に取得した複数の全体画像Ｇのうち、類似度の合計値が最も互い全体画像Ｇから類似度の分布の重心を算出して、商品画像ＧＸを抽出する。

［第４実施形態］
次に、図２、及び図１４を参照して、本発明の第４実施形態に係る監視システム１について説明する。図１４は、処理装置２００の第４動作を示すフロー図である。

第４実施形態は、所定時間が経過する毎に、監視画面ＧＡが更新される点が、第１実施形態〜第３実施形態と異なる。

ステップＳ１０〜ステップＳ７０に示す処理が終了すると、処理がステップＳ８０に移行する。ステップＳ８０において、処理装置２００の制御部２４０は、ステップＳ７０に示す処理を行ってから、所定時間が経過したか否かを判定する。なお、制御部２４０は、タイマーとして機能する。

所定時間が経過していないと制御部２４０が判定すると（ステップＳ８０で、Ｎｏ）、ステップＳ８０に示す処理が繰り返される。

所定時間が経過したと制御部２４０が判定すると（ステップＳ８０で、Ｙｅｓ）、処理がステップＳ１０に戻る。従って、所定時間が経過する毎に、ステップＳ１０〜ステップＳ７０に示す処理が行われるので、所定時間が経過する毎に監視画面ＧＡ（図１１参照）が更新される。その結果、監視画面ＧＡを更新するタイミングを調整できるので、監視画面ＧＡを安定的に表示することができる。

以上、図面（図１〜図１４）を参照しながら本発明の実施形態について説明した。但し、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能である（例えば、（１）〜（２））。また、上記の実施形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明の形成が可能である。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。図面は、理解しやすくするために、それぞれの構成要素を主体に模式的に示しており、図示された各構成要素の個数等は、図面作成の都合から実際とは異なる場合もある。また、上記の実施形態で示す各構成要素は一例であって、特に限定されるものではなく、本発明の効果から実質的に逸脱しない範囲で種々の変更が可能である。

（１）第１実施形態〜第４実施形態において、制御部２４０は、全体画像Ｇから抽出した商品画像ＧＸを、登録画像として、テーブル情報２３１（図２及び図３参照）に追加してもよい。例えば、制御部２４０は、全体画像Ｇから第１商品Ｐ１の商品画像Ｇ１を抽出すると、抽出した商品画像Ｇ１を、第１商品Ｐ１の登録画像として、テーブル情報２３１に追加する。そして、以後、制御部２４０は、類似度を算出する処理（図４、図１３及び図１４のステップＳ３０、図１２のステップＳ３１参照）を行う際に、追加した登録画像を使用する。その結果、類似度の算出値の精度を向上させることができる。

また、制御部２４０により抽出された商品画像ＧＸと、作業者による商品画像ＧＸの判定結果とを記憶部２３０に記憶しておき、誤判定があった商品画像ＧＸについては、登録画像に追加できるように構成してもよい。

（２）第１実施形態〜第４実施形態において、制御部２４０は、類似度を算出する処理を行う際に、類似度の最高値又は類似度の平均値を算出し、算出した類似度の最高値又は類似度の平均値が、所定の第１閾値以下の場合、前回の抽出処理で算出した重心位置Ｃを中心にして、全体画像Ｇから商品画像ＧＸを抽出する処理を行ってもよい。また、算出した類似度の最高値又は類似度の平均値が、所定の第２閾値以下の場合、制御部２４０は、商品画像ＧＸに代えて、所定のブランク画像（例えば、黒又は青で塗りつぶした画像）を表示部３００に表示してもよい。その結果、陳列されている商品Ｐが減ることで各ブロック画像Ｂの類似度が低下して、制御部２４０が全体画像Ｇから商品画像ＧＸを精度よく抽出できない状態であるにも関わらず、制御部２４０が商品画像ＧＸを抽出する処理を行うことを抑制できる。また、制御部２４０が、商品画像ＧＸとして不適切な画像を抽出することを抑制できる。

本発明は、処理装置、監視システム、及び、監視方法の分野に利用可能である。

１ 監視システム
１００ 撮像部
２４０ 制御部
３００ 表示部
Ｇ 全体画像
ＧＡ 監視画面
ＧＸ 商品画像
Ｐ 商品

Claims (10)

1. 複数の監視対象を撮像する撮像部と、
   画像を表示する表示部と、
   前記表示部を制御する制御部と
   を備え、
   前記制御部は、
   前記撮像部により撮像された前記複数の監視対象の全体画像から、前記複数の監視対象の各々の対象画像を抽出する抽出処理と、
   前記抽出処理により抽出された複数の前記対象画像を含む監視画面を前記表示部に表示させる表示処理と
   を行う、監視システム。
2. 前記監視画面には、前記対象画像毎に、前記監視対象を表す名称が表示される、請求項１に記載の監視システム。
3. 前記複数の監視対象の各々の登録画像を記憶する記憶部をさらに備え、
   前記抽出処理は、
   前記全体画像を複数のブロック画像に分割し、前記複数のブロック画像の各々と、複数の前記登録画像の各々とを比較して、前記複数の監視対象の各々について、前記ブロック画像毎に、前記監視対象の登録画像に対する類似度を算出する処理と、
   前記複数の監視対象の各々について、前記類似度の算出結果に基づいて、前記全体画像内における前記類似度の分布の重心位置を算出する処理と、
   前記複数の監視対象の各々について、前記重心位置を中心にして、前記全体画像のうち所定範囲に位置する画像を、前記対象画像として抽出する処理と
   を含む、請求項１又は請求項２に記載の監視システム。
4. 前記制御部は、前記対象画像を前記登録画像に追加する、請求項３に記載の監視システム。
5. 前記制御部は、前記類似度の最高値又は平均値が所定の閾値以下の場合、前回の前記抽出処理で算出した前記重心位置を用いて、前記対象画像を抽出する処理を行う、請求項３又は請求項４に記載の監視システム。
6. 前記撮像部が複数設けられ、
   前記制御部は、前記複数の撮像部の各々が撮像した前記全体画像のうち、前記類似度が最も高い前記ブロック画像を含む前記全体画像、又は、前記類似度の合計値が最も高い前記全体画像を用いて前記抽出処理を行う、請求項３から請求項５のいずれか１項に記載の監視システム。
7. 前記撮像部は、所定ルートに沿って撮像範囲を切り替え、
   前記制御部は、前記撮像部が所定座標に位置する状態で撮像を行うことで生成された画像を、前記全体画像として用いる、請求項１から請求項６のいずれか１項に記載の監視システム。
8. 前記制御部は、所定時間が経過する毎に、前記抽出処理と、前記表示処理とで構成される一連の処理を行う、請求項１から請求項７のいずれか１項に記載の監視システム。
9. 複数の監視対象を撮像する撮像部、及び画像を表示する表示部に通信可能に接続される通信部と、
   前記表示部を制御する制御部と
   を備え、
   前記制御部は、
   前記撮像部により撮像された前記複数の監視対象の全体画像から、前記複数の監視対象の各々の対象画像を抽出する抽出処理と、
   前記抽出処理により抽出された複数の前記対象画像を含む監視画面を前記表示部に表示させる表示処理と
   を行う、処理装置。
10. 複数の監視対象を監視する監視方法であって、
    前記複数の監視対象を撮像部により撮像する撮像工程と、
    前記撮像部により撮像された前記複数の監視対象の全体画像から、前記複数の監視対象の各々の対象画像を抽出する抽出工程と、
    前記抽出工程で抽出された複数の前記対象画像を含む監視画面を表示部に表示する表示工程と
    を含む、監視方法。

Images