JP2020123845A - Monitoring device and monitoring method - Google Patents
Monitoring device and monitoring method Download PDFInfo
- Publication number
- JP2020123845A JP2020123845A JP2019014719A JP2019014719A JP2020123845A JP 2020123845 A JP2020123845 A JP 2020123845A JP 2019014719 A JP2019014719 A JP 2019014719A JP 2019014719 A JP2019014719 A JP 2019014719A JP 2020123845 A JP2020123845 A JP 2020123845A
- Authority
- JP
- Japan
- Prior art keywords
- processing unit
- captured image
- change
- detection
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
本発明は、監視装置及び監視方法に関する。 The present invention relates to a monitoring device and a monitoring method.
監視エリアをカメラで撮像し、撮像画像を解析して管理エリア内の被写体の動きを検出する監視装置が知られている。例えば特許文献１には、撮影部によって撮影される撮影範囲の一部領域において被写体の変位を検出した場合に外部に通報する監視装置が開示されている。 2. Description of the Related Art There is known a monitoring device that images a surveillance area with a camera, analyzes the captured image, and detects the movement of a subject in the management area. For example, Patent Document 1 discloses a monitoring device that notifies the outside when displacement of a subject is detected in a partial region of a photographing range photographed by a photographing unit.
しかしながら、従来の技術は、被写体の動きを検出した場合に外部に通報する構成であるため、監視エリアのうち被写体の動きが検出された場所及び時刻を視覚的に把握することは困難である。 However, since the conventional technique is configured to notify the outside when the movement of the subject is detected, it is difficult to visually grasp the place and time when the movement of the subject is detected in the monitoring area.
本発明の目的は、監視エリアのうち検出対象の動きが検出された場所及び時刻を視覚的に把握することが可能な監視装置及び監視方法を提供することにある。 An object of the present invention is to provide a monitoring device and a monitoring method capable of visually grasping a place and time when a movement of a detection target is detected in a monitoring area.
本発明の一の局面に係る監視装置は、撮像装置により撮像される監視エリアの撮像画像を取得する取得処理部と、前記取得処理部により取得される前記撮像画像の変化と、前記撮像画像が変化した時刻である変化時刻とを検出する検出処理部と、前記監視エリアに含まれる複数の検出エリアのうち、前記検出処理部により検出される前記撮像画像の変化に対応する検出エリアである第１検出エリアを特定する特定処理部と、前記特定処理部により特定される前記第１検出エリアを識別可能な識別情報と、前記検出処理部により検出される前記変化時刻とを表示部に表示させる表示処理部と、を備える。 A monitoring device according to an aspect of the present invention is configured such that an acquisition processing unit that acquires a captured image of a monitoring area captured by an imaging device, a change in the captured image acquired by the acquisition processing unit, and the captured image are A detection processing unit that detects a change time that is a changed time, and a detection area that corresponds to a change in the captured image detected by the detection processing unit among a plurality of detection areas included in the monitoring area. A display unit displays a specific processing unit that specifies one detection area, identification information that can identify the first detection area specified by the specific processing unit, and the change time detected by the detection processing unit. A display processing unit.
本発明の他の局面に係る監視方法は、撮像装置により撮像される監視エリアの撮像画像を取得する取得ステップと、前記取得ステップにより取得される前記撮像画像の変化と、前記撮像画像が変化した時刻である変化時刻とを検出する検出ステップと、前記監視エリアに含まれる複数の検出エリアのうち、前記検出ステップにより検出される前記撮像画像の変化に対応する検出エリアである第１検出エリアを特定する特定ステップと、前記特定ステップにより特定される前記第１検出エリアを識別可能な識別情報と、前記検出ステップにより検出される前記変化時刻とを表示部に表示させる表示ステップと、を一又は複数のプロセッサーにより実行する監視方法である。 A monitoring method according to another aspect of the present invention is an acquisition step of acquiring an imaged image of a monitoring area imaged by an imaging device, a change of the imaged image acquired by the acquisition step, and a change of the imaged image. A detection step of detecting a change time which is time, and a first detection area which is a detection area corresponding to a change of the captured image detected by the detection step among a plurality of detection areas included in the monitoring area. A specific step of specifying, a display step of displaying on the display unit the identification information capable of identifying the first detection area specified by the specific step, and the change time detected by the detection step, or This is a monitoring method executed by multiple processors.
本発明によれば、監視エリアのうち検出対象の動きが検出された場所及び時刻を視覚的に把握することが可能となる。 According to the present invention, it is possible to visually grasp the place and time when the movement of the detection target is detected in the monitoring area.
以下添付図面を参照しながら、本発明の実施形態について説明し、本発明の理解に供する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。 Embodiments of the present invention will be described below with reference to the accompanying drawings to provide an understanding of the present invention. The following embodiments are examples of embodying the present invention and do not limit the technical scope of the present invention.
本発明に係る監視装置は、小売店、飲食店などの店舗（施設）に設置され、店舗内の所定のエリア（本発明の監視エリアに相当）を監視する。例えば、前記監視装置は、店舗の出入り口、売り場、レジなどを含む監視エリアをカメラにより撮影して、利用客、従業員など（検出対象）による不審な行動を検出する。また、前記監視装置は、前記監視エリアにおいて前記検出対象の動きを検出した場合に、カメラにより撮像される撮像画像を再生可能に記録する。 The monitoring device according to the present invention is installed in a store (facility) such as a retail store and a restaurant, and monitors a predetermined area (corresponding to the monitoring area of the present invention) in the store. For example, the monitoring device photographs a monitoring area including a doorway of a store, a sales floor, a cash register, and the like with a camera to detect suspicious behavior by a customer, an employee, or the like (detection target). The monitoring device reproducibly records a captured image captured by a camera when the movement of the detection target is detected in the monitoring area.
図１に示されるように、本発明の実施形態に係る監視装置１０は、インターネット、ＬＡＮ、ＷＡＮ、又は公衆電話回線などの通信網Ｎ１を介してカメラ２０に通信可能に接続されている。例えば、カメラ２０は、ネットワークで構成される。 As shown in FIG. 1, a monitoring device 10 according to an embodiment of the present invention is communicatively connected to a camera 20 via a communication network N1 such as the Internet, LAN, WAN, or public telephone line. For example, the camera 20 is composed of a network.
カメラ２０は、本発明の撮像装置の一例である。カメラ２０は、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備え、被写体を撮像する。カメラ２０は、被写体を所定のフレームレートで連続して撮像し、所定の解像度のフレーム画像を生成して逐次、監視装置１０に送信する。カメラ２０は、周知の構成を適用することができる。 The camera 20 is an example of the image pickup apparatus of the present invention. The camera 20 includes an image pickup device such as a CCD (Charge Coupled Device) and a CMOS (Complementary Metal Oxide Semiconductor), and images a subject. The camera 20 continuously captures an image of a subject at a predetermined frame rate, generates frame images with a predetermined resolution, and sequentially transmits the frame images to the monitoring device 10. A well-known configuration can be applied to the camera 20.
またカメラ２０は、例えば、監視エリアの全体を撮影可能な場所に１つ設置されて、監視エリア全体を撮像する。例えば図２に示すように、カメラ２０は、店舗３０の店内（監視エリア）の天井面に１つ設置されて、店内に配置された商品棚、レジカウンター、店舗３０の出入り口などを含む店内全体を撮像する。なお、本発明の監視装置は、カメラ２０を含んで構成されてもよい。 Further, for example, one camera 20 is installed in a place where the entire surveillance area can be photographed, and images the entire surveillance area. For example, as shown in FIG. 2, one camera 20 is installed on the ceiling surface of the store (surveillance area) of the store 30, and the entire store including the product shelves, cashier counters, entrances and exits of the store 30, etc. Image. The monitoring device of the present invention may be configured to include the camera 20.
監視装置１０は、カメラ２０により撮像された監視エリアの撮像画像をフレームごとに取得し、取得した撮像画像に基づいて、監視エリアの検出対象（利用客、従業員など）の動きを検出する。 The monitoring device 10 acquires a captured image of the monitoring area captured by the camera 20 for each frame, and detects the movement of a detection target (user, employee, etc.) in the monitoring area based on the acquired captured image.
図１に示すように、監視装置１０は、制御部１、操作表示部２、記憶部３、通信部４などを備える。 As shown in FIG. 1, the monitoring device 10 includes a control unit 1, an operation display unit 2, a storage unit 3, a communication unit 4, and the like.
操作表示部２は、各種の情報を表示する液晶ディスプレイ又は有機ＥＬディスプレイのような表示部と、操作を受け付けるマウス、キーボード、又はタッチパネルなどの操作部とを備えるユーザーインターフェースである。例えば、監視装置１０の管理者（ユーザー）は、操作表示部２において、監視エリアに関する設定などを行う。操作表示部２は、本発明の表示部の一例である。 The operation display unit 2 is a user interface including a display unit such as a liquid crystal display or an organic EL display that displays various kinds of information, and an operation unit such as a mouse, a keyboard, or a touch panel that receives an operation. For example, the administrator (user) of the monitoring device 10 makes settings regarding the monitoring area on the operation display unit 2. The operation display unit 2 is an example of the display unit of the present invention.
通信部４は、監視装置１０を有線又は無線で通信網Ｎ１に接続し、通信網Ｎ１を介してカメラ２０などの外部機器との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。 The communication unit 4 connects the monitoring device 10 to the communication network N1 by wire or wirelessly, and executes data communication according to a predetermined communication protocol with an external device such as the camera 20 via the communication network N1. It is a communication interface.
記憶部３は、各種の情報を記憶するフラッシュメモリー、ＨＤＤなどの不揮発性の記憶部である。例えば、記憶部３には、制御部１に後述の監視エリア設定処理（図１０参照）を実行させるための監視エリア設定プログラム、表示処理（図１１参照）を実行させるための表示プログラム、及び再生処理（図１２参照）を実行させるための再生プログラム、などの制御プログラムが記憶されている。例えば、前記監視エリア設定プログラム、前記表示プログラム及び前記再生プログラムは、ＣＤ又はＤＶＤなどのコンピュータ読取可能な記録媒体に非一時的に記録されており、監視装置１０に電気的に接続されるＣＤドライブ又はＤＶＤドライブなどの読取装置（不図示）で読み取られて記憶部３に記憶される。 The storage unit 3 is a non-volatile storage unit such as a flash memory or an HDD that stores various information. For example, in the storage unit 3, a monitoring area setting program for causing the control unit 1 to execute a monitoring area setting process (see FIG. 10) described later, a display program for executing a display process (see FIG. 11), and a reproduction. A control program such as a reproduction program for executing the process (see FIG. 12) is stored. For example, the monitoring area setting program, the display program, and the reproduction program are non-temporarily recorded in a computer-readable recording medium such as a CD or a DVD, and are electrically connected to the monitoring device 10 in a CD drive. Alternatively, it is read by a reading device (not shown) such as a DVD drive and stored in the storage unit 3.
また記憶部３には、監視エリア情報Ｄ１、画像変化情報Ｄ２、及び撮像画像情報Ｄ３などのデータが記憶される。図３は、監視エリア情報Ｄ１の一例を示す図である。図４は、画像変化情報Ｄ２の一例を示す図である。図５は、撮像画像情報Ｄ３の一例を示す図である。 The storage unit 3 also stores data such as monitoring area information D1, image change information D2, and captured image information D3. FIG. 3 is a diagram showing an example of the monitoring area information D1. FIG. 4 is a diagram showing an example of the image change information D2. FIG. 5 is a diagram showing an example of the captured image information D3.
図３に示すように、監視エリア情報Ｄ１には、前記監視エリアに含まれる複数の検出エリアに関する情報が含まれる。例えば図２に示す店舗３０において、店内全体がカメラ２０により撮像される監視エリアである場合、当該監視エリアには、店内の場所に応じて予め設定された複数のエリア（検出エリア）が含まれる。例えば、管理者は、前記監視エリア内に、商品棚のエリア（検出エリアＡ）と、レジカウンターのエリア（検出エリアＢ）と、出入り口のエリア（検出エリアＣ）とを設定する。監視エリア情報Ｄ１には、管理者により、各検出エリアに関する情報が登録される。具体的には、監視エリア情報Ｄ１には、検出エリアごとに、対応する「範囲（座標）」、「表示色」などの情報が登録される。「範囲（座標）」は、監視エリアにおける検出エリアの範囲及び位置を示す情報である。図３に示す例では、検出エリアＡ，Ｂ，Ｃのそれぞれは、４点の座標で規定される矩形状の領域（図２参照）として設定されている。「表示色」は、検出エリアを識別するための識別情報（色情報）である。前記色情報は、本発明の識別情報の一例である。例えば、検出エリアＡには「緑色」が設定され、検出エリアＢには「黄色」が設定され、検出エリアＣには「赤色」が設定される。 As shown in FIG. 3, the monitoring area information D1 includes information regarding a plurality of detection areas included in the monitoring area. For example, in the store 30 shown in FIG. 2, when the entire store is a monitoring area imaged by the camera 20, the monitoring area includes a plurality of areas (detection areas) preset according to the location in the store. .. For example, the administrator sets an area of the product shelf (detection area A), an area of the cashier counter (detection area B), and an area of the entrance/exit (detection area C) in the monitoring area. Information regarding each detection area is registered in the monitoring area information D1 by the administrator. Specifically, in the monitoring area information D1, information such as "range (coordinates)" and "display color" corresponding to each detection area is registered. The “range (coordinates)” is information indicating the range and position of the detection area in the monitoring area. In the example shown in FIG. 3, each of the detection areas A, B, and C is set as a rectangular area (see FIG. 2) defined by the coordinates of four points. The “display color” is identification information (color information) for identifying the detection area. The color information is an example of identification information of the present invention. For example, “green” is set in the detection area A, “yellow” is set in the detection area B, and “red” is set in the detection area C.
図４に示すように、画像変化情報Ｄ２には、撮像画像の変化に関する情報が含まれる。例えば、店舗３０に利用客が来店した場合、撮像画像に利用客が映り込む。この場合、監視装置１０は、撮像画像の前後のフレーム画像を比較して撮像画像の変化を検出する。監視装置１０は、監視エリアのうち変化を検出した検出エリアを特定する。画像変化情報Ｄ２には、撮像画像の変化が検出される度に、変化が検出された時刻と、変化が検出された検出エリアとが互いに関連付けられて登録される。「変化フラグ」には、撮像画像の変化が検出された場合に「１」が登録され、撮像画像の変化が検出されない場合に「０」が登録される。画像変化情報Ｄ２の「時刻」には、例えば、一日の開始時刻「０：００」から終了時刻「２４：００」までの時刻が登録される。なお、「時刻」に、店舗３０の営業時間の開始時刻から終了時刻までの時刻が登録されてもよい。 As shown in FIG. 4, the image change information D2 includes information about a change in the captured image. For example, when a customer visits the store 30, the customer is reflected in the captured image. In this case, the monitoring device 10 detects a change in the captured image by comparing the frame images before and after the captured image. The monitoring device 10 identifies the detection area in which the change is detected, out of the monitoring areas. Each time a change in the captured image is detected, the time when the change is detected and the detection area where the change is detected are registered in the image change information D2 in association with each other. In the "change flag", "1" is registered when a change in the captured image is detected, and "0" is registered when a change in the captured image is not detected. In the “time” of the image change information D2, for example, the time from the start time “0:00” to the end time “24:00” of the day is registered. The time from the start time to the end time of the business hours of the store 30 may be registered in the “time”.
図５に示すように、撮像画像情報Ｄ３には、撮像画像の画像データと撮像画像の情報とが含まれる。例えば、撮像画像情報Ｄ３には、撮像画像の変化が検出された場合に、前記撮像画像の変化が検出された時刻（「変化開始時刻」）、前記撮像画像の変化が検出されなくなった時刻（「変化終了時刻」）、前記撮像画像の画像データ、前記撮像画像の変化が検出された検出エリアなどの情報が登録される。 As shown in FIG. 5, the captured image information D3 includes image data of the captured image and information of the captured image. For example, in the captured image information D3, when a change in the captured image is detected, a time when the change in the captured image is detected (“change start time”) and a time when the change in the captured image is no longer detected ( "Change end time"), image data of the captured image, information such as a detection area in which a change in the captured image is detected are registered.
制御部１は、ＣＰＵ、ＲＯＭ、及びＲＡＭなどを有する。前記ＣＰＵは、各種の演算処理を実行するプロセッサーである。前記ＲＯＭは、前記ＣＰＵに各種の処理を実行させるためのＢＩＯＳ及びＯＳなどの制御プログラムを予め記憶する。前記ＲＡＭは、各種の情報を記憶し、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される。そして、制御部１は、前記ＲＯＭ又は記憶部３に予め記憶された各種の制御プログラムを前記ＣＰＵで実行することにより監視装置１０を制御する。 The control unit 1 has a CPU, a ROM, a RAM, and the like. The CPU is a processor that executes various arithmetic processes. The ROM stores in advance a control program such as a BIOS and an OS for causing the CPU to execute various processes. The RAM stores various information and is used as a temporary storage memory (work area) for various processes executed by the CPU. Then, the control unit 1 controls the monitoring device 10 by executing various control programs stored in the ROM or the storage unit 3 in advance by the CPU.
具体的に、制御部１は、図１に示すように、取得処理部１１、検出処理部１２、特定処理部１３、記録処理部１４、表示処理部１５、再生処理部１６などの各種の処理部を含む。なお、制御部１は、前記ＣＰＵで前記監視エリア設定プログラム、前記表示プログラム、及び前記再生プログラムに従った各種の処理を実行することによって前記各種の処理部として機能する。また、制御部１に含まれる一部又は全部の処理部が電子回路で構成されていてもよい。なお、前記監視エリア設定プログラム、前記表示プログラム、及び前記再生プログラムは、複数のプロセッサーを前記各種の処理部として機能させるためのプログラムであってもよい。 Specifically, as shown in FIG. 1, the control unit 1 performs various processes such as an acquisition processing unit 11, a detection processing unit 12, a specific processing unit 13, a recording processing unit 14, a display processing unit 15, and a reproduction processing unit 16. Including parts. The control unit 1 functions as the various processing units by executing various processes according to the monitoring area setting program, the display program, and the reproduction program by the CPU. Further, some or all of the processing units included in the control unit 1 may be configured by electronic circuits. The monitoring area setting program, the display program, and the reproduction program may be programs for causing a plurality of processors to function as the various processing units.
取得処理部１１は、カメラ２０により撮像される監視エリアの撮像画像を取得する。取得処理部１１は、本発明の取得処理部の一例である。例えば、取得処理部１１は、店舗３０に設置されたカメラ２０により撮像される店内全体（監視エリア）の撮像画像をフレームごとに取得する。取得処理部１１は、カメラ２０からフレーム画像を取得すると、取得したフレーム画像を撮像時刻とともにフレームメモリ（図示せず）に記憶する。 The acquisition processing unit 11 acquires a captured image of the surveillance area captured by the camera 20. The acquisition processing unit 11 is an example of the acquisition processing unit of the present invention. For example, the acquisition processing unit 11 acquires, for each frame, a captured image of the entire store (monitoring area) captured by the camera 20 installed in the store 30. When acquiring the frame image from the camera 20, the acquisition processing unit 11 stores the acquired frame image in a frame memory (not shown) together with the image capturing time.
検出処理部１２は、取得処理部１１により取得される前記撮像画像の変化を検出する。検出処理部１２は、本発明の検出処理部の一例である。具体的には、検出処理部１２は、取得処理部１１により取得された現フレームのフレーム画像と、１フレーム前のフレーム画像とを比較して、監視エリア全体の前記撮像画像の変化を検出する。検出処理部１２は、フレーム画像ごとに、１フレーム前のフレーム画像に対して変化があるか否か（変化の有無）を判定する。 The detection processing unit 12 detects a change in the captured image acquired by the acquisition processing unit 11. The detection processing unit 12 is an example of the detection processing unit of the present invention. Specifically, the detection processing unit 12 compares the frame image of the current frame acquired by the acquisition processing unit 11 with the frame image of the previous frame to detect a change in the captured image of the entire monitoring area. .. The detection processing unit 12 determines, for each frame image, whether or not there is a change (presence or absence) of the frame image one frame before.
また、検出処理部１２は、前記撮像画像の変化を検出した場合に、さらに前記撮像画像が変化した時刻である変化時刻を検出する。具体的には、検出処理部１２は、前記撮像画像の変化を検出した場合に、前記撮像画像の変化を検出した時刻（「変化開始時刻」）と、前記撮像画像の変化が検出されなくなった時刻（「変化終了時刻」）とを検出する。 Further, when detecting a change in the captured image, the detection processing unit 12 further detects a change time, which is a time at which the captured image changes. Specifically, when the detection processing unit 12 detects a change in the captured image, the time when the change in the captured image is detected (“change start time”) and the change in the captured image is no longer detected. The time (“change end time”) is detected.
特定処理部１３は、監視エリア含まれる複数の検出エリアのうち、検出処理部１２により検出される前記撮像画像の変化に対応する検出エリアである変化エリアを特定する。特定処理部１３は、本発明の特定処理部の一例であり、前記変化エリアは、本発明の第１検出エリアの一例である。例えば、特定処理部１３は、検出エリアＡ，Ｂ，Ｃのそれぞれに対応する撮像画像について、１フレーム前のフレーム画像と比較して、前記撮像画像の変化の有無を判定する。すなわち、特定処理部１３は、検出処理部１２により監視エリア全体の前記撮像画像において変化が検出された場合に、検出エリアＡ，Ｂ，Ｃのうち変化があった検出エリアを特定する。 The identification processing unit 13 identifies a change area, which is a detection area corresponding to a change in the captured image detected by the detection processing unit 12, among the plurality of detection areas included in the monitoring area. The specific processing unit 13 is an example of the specific processing unit of the present invention, and the change area is an example of the first detection area of the present invention. For example, the specific processing unit 13 compares the captured image corresponding to each of the detection areas A, B, and C with the frame image one frame before, and determines whether or not the captured image has changed. That is, when the detection processing unit 12 detects a change in the captured image of the entire monitoring area, the specification processing unit 13 specifies the detection area that has changed among the detection areas A, B, and C.
記録処理部１４は、画像変化情報Ｄ２、及び撮像画像情報Ｄ３を記憶部３に登録する。記録処理部１４は、本発明の記録処理部の一例である。具体的には、記録処理部１４は、画像変化情報Ｄ２に、時刻に応じて前記変化フラグ（「０」又は「１」）を記録する。例えば図４に示すように、記録処理部１４は、特定処理部１３により前記変化エリアが特定された場合に、画像変化情報Ｄ２において、前記変化開始時刻から前記変化終了時刻までの期間の前記変化エリアに対応する検出エリアの登録欄に変化フラグ「１」を登録し、他の登録欄に変化フラグ「０」を登録する。 The recording processing unit 14 registers the image change information D2 and the captured image information D3 in the storage unit 3. The recording processing unit 14 is an example of the recording processing unit of the present invention. Specifically, the recording processing unit 14 records the change flag (“0” or “1”) in the image change information D2 according to the time. For example, as shown in FIG. 4, when the identification processing unit 13 identifies the change area, the recording processing unit 14 indicates, in the image change information D2, the change in the period from the change start time to the change end time. The change flag "1" is registered in the registration field of the detection area corresponding to the area, and the change flag "0" is registered in the other registration fields.
また、記録処理部１４は、撮像画像情報Ｄ３に撮像画像を記録する。例えば図５に示すように、記録処理部１４は、特定処理部１３により前記変化エリアが特定された場合に、撮像画像情報Ｄ３に、前記変化開始時刻と、前記変化終了時刻と、前記変化開始時刻から前記変化終了時刻までの期間（変化時間）の撮像画像の画像データと、前記変化エリアに対応する検出エリアとの各情報を登録する。 Further, the recording processing unit 14 records the captured image in the captured image information D3. For example, as shown in FIG. 5, when the identification processing unit 13 identifies the change area, the recording processing unit 14 includes the change start time, the change end time, and the change start in the captured image information D3. Each information of the image data of the captured image in the period (change time) from the time to the change end time and the detection area corresponding to the change area is registered.
また、記録処理部１４は、検出処理部１２により前記撮像画像の変化が検出されない間は、取得処理部１１により取得される前記撮像画像を、解像度を低くして記憶部３に記録してもよい。これにより、撮像画像を継続して記録することができるとともに、記憶部３の記憶領域を節約することができる。なお、記録処理部１４は、記憶部３に記録された前記撮像画像を、所定期間経過後に削除してもよい。 Further, the recording processing unit 14 records the captured image acquired by the acquisition processing unit 11 in the storage unit 3 with a low resolution while the detection processing unit 12 detects no change in the captured image. Good. As a result, the captured image can be continuously recorded, and the storage area of the storage unit 3 can be saved. The recording processing unit 14 may delete the captured image recorded in the storage unit 3 after a predetermined period has elapsed.
表示処理部１５は、特定処理部１３により特定される前記変化エリアを識別可能な識別情報を操作表示部２に表示させる。表示処理部１５は、本発明の表示処理部の一例である。前記識別情報は、例えば色情報である。色情報は、検出エリアごとに予め設定され、監視エリア情報Ｄ１（図３参照）に登録される。前記識別情報は、色情報に限定されず、文字情報、図形情報、記号情報、音声情報などであってもよい。 The display processing unit 15 causes the operation display unit 2 to display identification information capable of identifying the change area identified by the identification processing unit 13. The display processing unit 15 is an example of the display processing unit of the present invention. The identification information is, for example, color information. The color information is preset for each detection area and registered in the monitoring area information D1 (see FIG. 3). The identification information is not limited to color information, and may be character information, graphic information, symbol information, voice information, or the like.
例えば、表示処理部１５は、複数の検出エリアのそれぞれに対応する、前記撮像画像の変化の状態を表す複数のインジケーターを操作表示部２に表示させる。前記インジケーターは、例えば、時間に応じた長さを有するタイムバーで構成される。図６は、操作表示部２に表示される表示画面の一例を示す図である。図６に示す例では、「０：００」から「２４：００」までの長さに応じたタイムバーが表示されている。図６に示すように、表示処理部１５は、検出エリアＡに対応するタイムバー１５１ａと、検出エリアＢに対応するタイムバー１５１ｂと、検出エリアＣに対応するタイムバー１５１ｃとを操作表示部２に表示させる。 For example, the display processing unit 15 causes the operation display unit 2 to display a plurality of indicators, which correspond to each of the plurality of detection areas, and which indicate the change state of the captured image. The indicator is composed of, for example, a time bar having a length according to time. FIG. 6 is a diagram showing an example of a display screen displayed on the operation display unit 2. In the example shown in FIG. 6, the time bar corresponding to the length from “0:00” to “24:00” is displayed. As shown in FIG. 6, the display processing unit 15 includes a time bar 151 a corresponding to the detection area A, a time bar 151 b corresponding to the detection area B, and a time bar 151 c corresponding to the detection area C. To be displayed.
また、表示処理部１５は、複数のインジケーター（タイムバー）のうち前記変化エリアに対応するインジケーター（タイムバー）に、前記変化エリアに関連付けられた前記色情報（図３参照）の色を表示させる。また、表示処理部１５は、前記撮像画像の変化が検出された時刻（変化開始時刻）から検出されなくなった時刻（変化終了時刻）までの変化時間（図５参照）に応じた長さの前記色を前記タイムバーに表示させる。図６に示す例では、検出エリアＡのタイムバー１５１ａにおいて、時刻Ｔ３〜Ｔ４（図５参照）の変化時間（変化期間）と、時刻Ｔ５〜Ｔ６の変化時間と、時刻Ｔ１１〜Ｔ１２の変化時間とが、緑色で表示される。また検出エリアＢのタイムバー１５１ｂにおいて、時刻Ｔ７〜Ｔ８の変化時間と、時刻Ｔ１３〜Ｔ１４の変化時間と、時刻Ｔ１５〜Ｔ１６の変化時間とが、黄色で表示される。また検出エリアＣのタイムバー１５１ｃにおいて、時刻Ｔ１〜Ｔ２の変化時間と、時刻Ｔ９〜Ｔ１０の変化時間と、時刻Ｔ１７〜Ｔ１８の変化時間とが、赤色で表示される。 Further, the display processing unit 15 displays the color of the color information (see FIG. 3) associated with the change area on the indicator (time bar) corresponding to the change area among the plurality of indicators (time bar). .. In addition, the display processing unit 15 has a length corresponding to a change time (see FIG. 5) from a time when the change in the captured image is detected (change start time) to a time when the change is no longer detected (change end time). The color is displayed on the time bar. In the example shown in FIG. 6, in the time bar 151a of the detection area A, the change time (change period) between times T3 and T4 (see FIG. 5), the change time between times T5 and T6, and the change time between times T11 and T12. And are displayed in green. Further, in the time bar 151b of the detection area B, the change time from time T7 to T8, the change time from time T13 to T14, and the change time from time T15 to T16 are displayed in yellow. Further, in the time bar 151c of the detection area C, the change time from time T1 to T2, the change time from time T9 to T10, and the change time from time T17 to T18 are displayed in red.
このように、検出処理部１２により前記複数の検出エリアのそれぞれにおいて前記撮像画像の変化が検出された場合に、表示処理部１５は、前記複数のタイムバーのそれぞれにおいて、互いに異なる色を前記変化時間に応じた長さで表示させる。なお、表示処理部１５は、各タイムバーに、変化開始時刻及び変化終了時刻を表示させてもよい。 As described above, when the detection processing unit 12 detects a change in the captured image in each of the plurality of detection areas, the display processing unit 15 causes the plurality of time bars to have different colors from each other. Display the length according to the time. The display processing unit 15 may display the change start time and the change end time on each time bar.
また、表示処理部１５は、取得処理部１１により取得される監視エリア全体の前記撮像画像を操作表示部２に表示させる。例えば、表示処理部１５は、店舗３０の店内全体（監視エリア）の現在の様子を操作表示部２に表示させる（図６参照）。表示処理部１５は、表示画面に表示される前記撮像画像において、各検出エリアを識別するためのエリア情報を表示させてもよい。前記エリア情報は、色情報、文字情報、図形情報、記号情報などであってもよい。例えば図７に示すように、表示処理部１５は、前記撮像画像に、検出エリアＡ，Ｂ，Ｃのそれぞれに対応する色（緑色、黄色、赤色）で塗りつぶされた矩形枠を表示させてもよい。 The display processing unit 15 also causes the operation display unit 2 to display the captured image of the entire monitoring area acquired by the acquisition processing unit 11. For example, the display processing unit 15 causes the operation display unit 2 to display the current state of the entire store (monitoring area) of the store 30 (see FIG. 6). The display processing unit 15 may display area information for identifying each detection area in the captured image displayed on the display screen. The area information may be color information, character information, graphic information, symbol information, or the like. For example, as shown in FIG. 7, the display processing unit 15 causes the captured image to display a rectangular frame filled with a color (green, yellow, red) corresponding to each of the detection areas A, B, and C. Good.
また、表示処理部１５は、図６に示す表示画面において、管理者により、前記撮像画像のうち所定の検出エリアが選択された場合、又は、前記タイムバーのうち所定のタイムバーが選択された場合に、選択された検出エリアの撮像画像（本発明の第１エリア画像の一例）を表示画面に表示させてもよい。例えば図６に示す表示画面において、管理者がマウスを操作して検出エリアＡ内の領域（商品棚など）をクリックした場合、図８に示すように、検出エリアＡの現在の状況を表す撮像画像が拡大されて表示画面に表示される。 In the display screen shown in FIG. 6, the display processing unit 15 selects a predetermined detection area in the captured image by the administrator or selects a predetermined time bar in the time bar. In this case, a captured image of the selected detection area (an example of the first area image of the present invention) may be displayed on the display screen. For example, in the display screen shown in FIG. 6, when the administrator operates the mouse to click a region (such as a product shelf) in the detection area A, as shown in FIG. The image is enlarged and displayed on the display screen.
再生処理部１６は、記憶部３に記憶された撮像画像を再生する。再生処理部１６は、本発明の再生処理部の一例である。具体的には、再生処理部１６は、管理者の操作に基づいて、撮像画像情報Ｄ３に登録された撮像画像を操作表示部２に再生表示させる。例えば、録画データを再生する操作を受け付ける受付画面において、管理者が所望の検出エリアを選択した場合に、再生処理部１６は、選択された検出エリアにおいて撮像画像の変化が検出された変化時間の撮像画像を再生する。 The reproduction processing unit 16 reproduces the captured image stored in the storage unit 3. The reproduction processing unit 16 is an example of the reproduction processing unit of the present invention. Specifically, the reproduction processing unit 16 reproduces and displays the captured image registered in the captured image information D3 on the operation display unit 2 based on the operation of the administrator. For example, when the administrator selects a desired detection area on the reception screen for accepting the operation of reproducing the recorded data, the reproduction processing unit 16 displays the change time of the change in the captured image detected in the selected detection area. Play the captured image.
また、例えば図９に示すように、管理者がマウス（図９のマウスポインタＭＰ）を操作して、検出エリアＡに対応するタイムバー１５１ａのうち、時刻Ｔ１１〜Ｔ１２の変化時間に表示された緑色の領域を選択した場合、再生処理部１６は、時刻Ｔ１１〜Ｔ１２の撮像画像ＰＤ０６（図５参照）を操作表示部２に表示（動画再生）させる。なお、図９に示す撮像画像には、撮像画像の変化（動き）が検出された利用客Ｕ１が含まれている。 Further, for example, as shown in FIG. 9, the administrator operates the mouse (mouse pointer MP in FIG. 9) to display the change time from time T11 to T12 on the time bar 151a corresponding to the detection area A. When the green region is selected, the reproduction processing unit 16 causes the operation display unit 2 to display (moving image reproduction) the captured images PD06 (see FIG. 5) at times T11 to T12. The captured image shown in FIG. 9 includes the customer U1 whose change (movement) in the captured image has been detected.
［監視エリア設定処理］
次に、図１０を参照しつつ、監視装置１０の制御部１によって実行される監視エリア設定処理の手順の一例について説明する。制御部１は、管理者が監視エリアを設定する操作を開始することにより前記監視エリア特定プログラムの実行を開始することによって、前記監視エリア設定処理の実行を開始する。ここで、ステップＳ１０１，Ｓ１０２，・・・は、制御部１により実行される処理手順（ステップ）の番号を表している。
[Monitoring area setting process]
Next, with reference to FIG. 10, an example of the procedure of the monitoring area setting process executed by the control unit 1 of the monitoring device 10 will be described. The control unit 1 starts execution of the monitoring area setting process by starting the execution of the monitoring area specifying program by the administrator starting the operation of setting the monitoring area. Here, steps S101, S102,... Represent numbers of processing procedures (steps) executed by the control unit 1.
なお、ここで説明する前記監視エリア設定処理に含まれる一又は複数のステップが適宜省略されてもよい。また、前記監視エリア設定処理における各ステップは、同様の作用効果を生じる範囲で実行順序が異なってもよい。さらに、ここでは監視装置１０の制御部１によって前記監視エリア設定処理における各ステップが実行される場合を例に挙げて説明するが、他の実施形態では、他の複数のプロセッサーによって前記監視エリア設定処理における各ステップが分散して実行されてもよい。また、本発明は、前記監視エリア設定処理に含まれる一又は複数のステップを実行する監視エリア設定方法の発明として捉えることができる。 Note that one or a plurality of steps included in the monitoring area setting process described here may be appropriately omitted. In addition, the order of execution of the steps in the monitoring area setting process may be different within a range in which the same operational effect is produced. Further, here, the case where each step in the monitoring area setting process is executed by the control unit 1 of the monitoring device 10 will be described as an example, but in another embodiment, the monitoring area setting is performed by a plurality of other processors. Each step in the processing may be distributed and executed. Further, the present invention can be understood as an invention of a monitoring area setting method that executes one or a plurality of steps included in the monitoring area setting process.
先ず、管理者は、設定画面において、監視エリアに対して検出エリアを設定する。例えば図２に示すように、管理者は、店舗３０の店内全体の監視エリアにおいて、検出エリアＡの範囲を指定する。ステップＳ１０１において、制御部１は、管理者により指定された範囲の座標を取得して、検出エリアＡに範囲（座標）を設定する（図３参照）。 First, the administrator sets a detection area for the monitoring area on the setting screen. For example, as shown in FIG. 2, the administrator specifies the range of the detection area A in the monitoring area of the entire store 30. In step S101, the control unit 1 acquires the coordinates of the range specified by the administrator and sets the range (coordinates) in the detection area A (see FIG. 3).
次に、管理者は、設定画面において、前記検出エリアに表示色を設定する。例えば、管理者は、検出エリアＡに「緑色」を選択する。ステップＳ１０２において、制御部１は、管理者により選択された色の情報を取得して、検出エリアＡに表示色「緑色」を設定する（図３参照）。 Next, the administrator sets a display color in the detection area on the setting screen. For example, the administrator selects “green” for the detection area A. In step S102, the control unit 1 acquires information on the color selected by the administrator and sets the display color “green” in the detection area A (see FIG. 3).
続いて、管理者が他の検出エリアを設定する場合（Ｓ１０３：ＹＥＳ）、処理はステップＳ１０１に移行する。これにより、検出エリアＢに範囲（座標）及び表示色「黄色」が設定され、検出エリアＣに範囲（座標）及び表示色「赤色」が設定される。管理者が検出エリアの設定を終了した場合（Ｓ１０３：ＮＯ）、制御部１は監視エリア設定処理を終了する。監視エリア設定処理が行われると、前記各情報を含む監視エリア情報Ｄ１（図３参照）が記憶部３に記憶される。 Subsequently, when the administrator sets another detection area (S103: YES), the process proceeds to step S101. As a result, the range (coordinates) and the display color “yellow” are set in the detection area B, and the range (coordinates) and the display color “red” are set in the detection area C. When the administrator finishes setting the detection area (S103: NO), the control unit 1 finishes the monitoring area setting process. When the monitoring area setting process is performed, the monitoring area information D1 (see FIG. 3) including the above information is stored in the storage unit 3.
［表示処理］
次に、図１１を参照しつつ、監視装置１０の制御部１によって実行される表示処理の手順の一例について説明する。制御部１は、監視エリアの録画（撮像）を開始することにより前記表示プログラムの実行を開始することによって、前記表示処理の実行を開始する。
[Display processing]
Next, with reference to FIG. 11, an example of the procedure of the display process executed by the control unit 1 of the monitoring device 10 will be described. The control unit 1 starts execution of the display processing by starting recording of the monitoring area (imaging) and execution of the display program.
なお、ここで説明する前記表示処理に含まれる一又は複数のステップが適宜省略されてもよい。また、前記表示処理における各ステップは、同様の作用効果を生じる範囲で実行順序が異なってもよい。さらに、ここでは監視装置１０の制御部１によって前記表示処理における各ステップが実行される場合を例に挙げて説明するが、他の実施形態では、他の複数のプロセッサーによって前記表示処理における各ステップが分散して実行されてもよい。また、本発明は、前記表示処理に含まれる一又は複数のステップを実行する表示方法の発明として捉えることができる。 Note that one or a plurality of steps included in the display processing described here may be appropriately omitted. In addition, the execution order of the steps in the display processing may be different within a range in which the same operational effect is produced. Further, here, the case where each step in the display process is executed by the control unit 1 of the monitoring device 10 will be described as an example, but in another embodiment, each step in the display process by another plurality of processors. May be distributed and executed. Further, the present invention can be grasped as an invention of a display method for executing one or a plurality of steps included in the display processing.
ステップＳ２０１において、制御部１は、管理者から録画停止の指示を取得した場合、録画を終了して前記表示処理を終了する（Ｓ２１３）。 In step S201, when the control unit 1 receives a recording stop instruction from the administrator, the control unit 1 ends recording and ends the display process (S213).
制御部１は、管理者から録画停止の指示を取得しない場合（Ｓ２０１：ＮＯ）、カメラ２０により撮像された監視エリアの撮像画像及び撮像時刻を取得して記録する（Ｓ２０２，Ｓ２０３）。例えば、制御部１は、店舗３０に設置されたカメラ２０により撮像される店内全体（監視エリア）の撮像画像をフレームごとに取得し、取得したフレーム画像を撮像時刻とともにフレームメモリに記憶する。 When the control unit 1 does not acquire the recording stop instruction from the administrator (S201: NO), the control unit 1 acquires and records the captured image and the capturing time of the monitoring area captured by the camera 20 (S202, S203). For example, the control unit 1 acquires a captured image of the entire store (monitoring area) captured by the camera 20 installed in the store 30 for each frame, and stores the acquired frame image in the frame memory together with the capturing time.
次にステップＳ２０４において、制御部１は、画像変化情報Ｄ２の前記撮像時刻に対応する変化フラグに「０」を登録する。 Next, in step S204, the control unit 1 registers "0" in the change flag corresponding to the imaging time of the image change information D2.
次にステップＳ２０５において、制御部１は、監視エリア全体に対する現フレームのフレーム画像と、１フレーム前のフレーム画像とを比較する。 Next, in step S205, the control unit 1 compares the frame image of the current frame for the entire monitoring area with the frame image of the immediately preceding frame.
次にステップＳ２０６において、制御部１は、監視エリア全体の撮像画像の変化を検出したか否かを判定する。監視エリア全体の撮像画像の変化を検出した場合（Ｓ２０６：ＹＥＳ）、処理はステップＳ２０７に移行する。監視エリア全体の撮像画像の変化を検出しなかった場合（Ｓ２０６：ＮＯ）、処理はステップＳ２０１に戻る。制御部１は、監視エリア全体の撮像画像の変化を検出した場合、前記撮像画像が変化した時刻である変化時刻（「変化開始時刻」、「変化終了時刻」）を検出する。 Next, in step S206, the control unit 1 determines whether or not a change in the captured image of the entire monitoring area is detected. When the change in the captured image of the entire monitoring area is detected (S206: YES), the process proceeds to step S207. When the change in the captured image of the entire monitoring area is not detected (S206: NO), the process returns to step S201. When detecting a change in the captured image of the entire monitoring area, the control unit 1 detects a change time (“change start time”, “change end time”) that is a time when the captured image changes.
ステップＳ２０７において、制御部１は、所定の検出エリアに対応する撮像画像について、１フレーム前のフレーム画像と比較する。 In step S207, the control unit 1 compares the captured image corresponding to the predetermined detection area with the frame image one frame before.
次にステップＳ２０８において、制御部１は、前記検出エリアに対応する撮像画像の変化を検出したか否かを判定する。前記検出エリアに対応する撮像画像の変化を検出した場合（Ｓ２０８：ＹＥＳ）、処理はステップＳ２０９に移行する。前記検出エリアに対応する撮像画像の変化を検出しなかった場合（Ｓ２０８：ＮＯ）、処理はステップＳ２１１に移行する。 Next, in step S208, the control unit 1 determines whether or not a change in the captured image corresponding to the detection area is detected. When the change in the captured image corresponding to the detection area is detected (S208: YES), the process proceeds to step S209. When the change in the captured image corresponding to the detection area is not detected (S208: NO), the process proceeds to step S211.
例えば、制御部１は、初めに複数の検出エリアＡ，Ｂ，Ｃのうち検出エリアＡについてステップＳ２０７，Ｓ２０８の処理を行う。制御部１１が検出エリアＡに対応する撮像画像の変化を検出しなかった場合（Ｓ２０８：ＮＯ）、処理はステップＳ２１１に移行する。ステップＳ２１１において、他の検出エリアがある場合にはステップＳ２１２に移行して、制御部１は次の検出エリアについて撮像画像の変化の有無を判定する。ここでは、制御部１は、検出エリアＡ，Ｂ，Ｃのうち検出エリアＢについてステップＳ２０８の判定処理を行う。制御部１１が検出エリアＢに対応する撮像画像についても変化を検出しなかった場合（Ｓ２０８：ＮＯ）、処理は再びステップＳ２１１に移行する。続いて、制御部１は、検出エリアＡ，Ｂ，Ｃのうち検出エリアＣについてステップＳ２０８の判定処理を行う。そして、制御部１１が検出エリアＣに対応する撮像画像の変化を検出した場合（Ｓ２０８：ＹＥＳ）、処理はステップＳ２０９に移行する。 For example, the control unit 1 first performs the processes of steps S207 and S208 for the detection area A among the plurality of detection areas A, B, and C. When the control unit 11 does not detect the change in the captured image corresponding to the detection area A (S208: NO), the process proceeds to step S211. If there is another detection area in step S211, the process proceeds to step S212, and the control unit 1 determines whether or not there is a change in the captured image for the next detection area. Here, the control unit 1 performs the determination process of step S208 for the detection area B among the detection areas A, B, and C. When the control unit 11 does not detect any change in the captured image corresponding to the detection area B (S208: NO), the process again proceeds to step S211. Subsequently, the control unit 1 performs the determination process of step S208 for the detection area C among the detection areas A, B, and C. Then, when the control unit 11 detects a change in the captured image corresponding to the detection area C (S208: YES), the process proceeds to step S209.
このように、制御部１は、監視エリアに含まれる複数の検出エリアのうち、前記撮像画像の変化に対応する検出エリアである変化エリアを特定する。 In this way, the control unit 1 identifies the change area, which is the detection area corresponding to the change in the captured image, among the plurality of detection areas included in the monitoring area.
ステップＳ２０９において、制御部１は、画像変化情報Ｄ２（図４参照）において、前記変化開始時刻から前記変化終了時刻までの期間（変化時間）の前記変化エリアに対応する検出エリアＣの登録欄に変化フラグ「１」を登録する。 In step S209, the control unit 1 sets in the registration column of the detection area C corresponding to the change area in the period (change time) from the change start time to the change end time in the image change information D2 (see FIG. 4). The change flag “1” is registered.
次にステップＳ２１０において、制御部１は、前記変化エリアに対応する検出エリアのインジケーターに、前記変化エリアに関連付けられた前記色情報（図３参照）の色を、前記変化時間に応じた長さで表示させる。例えば、制御部１は、検出エリアＣに対応するタイムバー１５１ｃに、時刻Ｔ１〜Ｔ２（図５参照）の変化時間に応じた長さで赤色を表示させる（図６参照）。続くステップＳ２１１では、他の検出エリアが存在しないため、処理はステップＳ２０１に戻り、制御部１は、新たな撮像画像に対する前記処理を実行する。このようにして、録画が停止されるまで前記処理が繰り返される。これにより、例えば図６に示す表示画面が操作表示部２に表示される。 Next, in step S210, the control unit 1 sets the color of the color information (see FIG. 3) associated with the change area to the indicator of the detection area corresponding to the change area by a length corresponding to the change time. To display. For example, the control unit 1 causes the time bar 151c corresponding to the detection area C to display a red color with a length corresponding to the change time between times T1 and T2 (see FIG. 5) (see FIG. 6). In the subsequent step S211, since there is no other detection area, the process returns to step S201, and the control unit 1 executes the above-described process for a new captured image. In this way, the above process is repeated until the recording is stopped. Thereby, for example, the display screen shown in FIG. 6 is displayed on the operation display unit 2.
［再生処理］
次に、図１２を参照しつつ、監視装置１０の制御部１によって実行される再生処理の手順の一例について説明する。制御部１は、管理者が録画データを再生する操作を開始することにより前記再生プログラムの実行を開始することによって、前記再生処理の実行を開始する。
[Playback processing]
Next, with reference to FIG. 12, an example of a procedure of a reproduction process executed by the control unit 1 of the monitoring device 10 will be described. The control unit 1 starts the execution of the reproduction process by starting the execution of the reproduction program when the administrator starts the operation of reproducing the recorded data.
なお、ここで説明する前記再生処理に含まれる一又は複数のステップが適宜省略されてもよい。また、前記再生処理における各ステップは、同様の作用効果を生じる範囲で実行順序が異なってもよい。さらに、ここでは監視装置１０の制御部１によって前記再生処理における各ステップが実行される場合を例に挙げて説明するが、他の実施形態では、他の複数のプロセッサーによって前記再生処理における各ステップが分散して実行されてもよい。また、本発明は、前記再生処理に含まれる一又は複数のステップを実行する再生方法の発明として捉えることができる。 Note that one or a plurality of steps included in the reproduction process described here may be appropriately omitted. Further, the execution order of the steps in the reproduction process may be different within a range in which the same operational effect is produced. Further, although a case where each step in the reproduction process is executed by the control unit 1 of the monitoring device 10 will be described as an example here, in another embodiment, each step in the reproduction process is performed by another plurality of processors. May be distributed and executed. Further, the present invention can be grasped as an invention of a reproducing method for executing one or a plurality of steps included in the reproducing process.
ステップＳ３０１において、制御部１は、録画データの再生を受け付ける受付画面を操作表示部２に表示させる。管理者は、前記受付画面において、再生を希望する検出エリアを選択する。 In step S301, the control unit 1 causes the operation display unit 2 to display a reception screen for accepting reproduction of recorded data. The administrator selects a detection area desired to be reproduced on the reception screen.
次にステップＳ３０２において、制御部１は、前記受付画面において管理者により選択された検出エリアを取得する。制御部１は、管理者から再生を終了させる操作を取得すると再生処理を終了する（Ｓ３０７）。 Next, in step S302, the control unit 1 acquires the detection area selected by the administrator on the reception screen. When the control unit 1 acquires an operation for ending the reproduction from the administrator, the control unit 1 ends the reproduction processing (S307).
ステップＳ３０４において、制御部１は、録画データを１フレーム進める。次にステップＳ３０５において、制御部１は、画像変化情報Ｄ２を参照して、フレーム画像に対応する変化フラグに「１」が設定されているか否かを判定する。前記変化フラグに「１」が設定されている場合（Ｓ３０５：ＹＥＳ）、処理はステップＳ３０６に移行する。前記変化フラグに「１」が設定されていない場合（Ｓ３０５：ＮＯ）、処理はステップＳ３０４に戻り、次のフレームに進める。 In step S304, the control unit 1 advances the recorded data by one frame. Next, in step S305, the control unit 1 refers to the image change information D2 and determines whether or not “1” is set in the change flag corresponding to the frame image. If the change flag is set to "1" (S305: YES), the process proceeds to step S306. When "1" is not set in the change flag (S305: NO), the process returns to step S304 and proceeds to the next frame.
ステップＳ３０６において、制御部１は、画像を再生する。この処理によれば、制御部１は、監視エリアに変化（動き）があった場合に、変化を含む画像のみを再生することが可能となる。また、制御部１は、管理者により指定された検出エリアのみの画像を再生させることができる。 In step S306, the control unit 1 reproduces the image. According to this processing, when there is a change (movement) in the monitoring area, the control unit 1 can reproduce only the image including the change. Moreover, the control unit 1 can reproduce the image only in the detection area designated by the administrator.
以上のように、本実施形態に係る監視装置１０では、監視エリアのうち検出対象の動きが検出された場所（検出エリア）を特定し、特定した検出エリアに対応する識別情報（例えば色情報）を時間情報とともに表示画面に表示する。これにより、監視エリアのうち検出対象の動きが検出された場所及び時刻を視覚的に把握することが可能となる。 As described above, in the monitoring device 10 according to the present embodiment, the place (detection area) where the movement of the detection target is detected in the monitoring area is specified, and the identification information (for example, color information) corresponding to the specified detection area is specified. Is displayed on the display screen together with the time information. As a result, it is possible to visually understand the place and time at which the movement of the detection target is detected in the monitoring area.
本発明の監視装置は上述の実施形態に限定されない。本発明の監視装置は、以下に示す形態であってもよい。 The monitoring device of the present invention is not limited to the above embodiment. The monitoring device of the present invention may have the following forms.
例えば、監視装置１０は、複数の検出エリアにおいて撮像画像に動きが検出された場合に、変化の状態を１つのインジケーターにより表示してもよい。例えば、図１３に示すように、監視装置１０は、監視エリアに対応する１つのインジケーター（タイムバー１５１）を表示し、当該タイムバー１５１において、検出エリアごとの色を表示させてもよい。なお、タイムバー１５１において、複数の検出エリアの変化時間が重なる場合（例えば、検出エリアＡの時刻Ｔ５〜Ｔ６、及び、検出エリアＢの時刻Ｔ７〜Ｔ８）には、重なる時間帯を他の色で表示させてもよいし、重なる時間帯を含む両変化時間を二段で併記させてもよい。 For example, the monitoring device 10 may display the state of change with one indicator when movement is detected in the captured image in the plurality of detection areas. For example, as shown in FIG. 13, the monitoring device 10 may display one indicator (time bar 151) corresponding to the monitoring area, and the color of each detection area may be displayed on the time bar 151. In addition, in the time bar 151, when the change times of a plurality of detection areas overlap (for example, the time T5 to T6 of the detection area A and the time T7 to T8 of the detection area B), the overlapping time zones are changed to other colors. May be displayed, or both change times including overlapping time zones may be displayed in two steps.
１ ：制御部
２ ：操作表示部
３ ：記憶部
４ ：通信部
１０ ：監視装置
１１ ：取得処理部
１２ ：検出処理部
１３ ：特定処理部
１４ ：記録処理部
１５ ：表示処理部
１６ ：再生処理部
２０ ：カメラ
３０ ：店舗
１５１ ：タイムバー
１５１ａ ：タイムバー
１５１ｂ ：タイムバー
１５１ｃ ：タイムバー
1: control unit 2: operation display unit 3: storage unit 4: communication unit 10: monitoring device 11: acquisition processing unit 12: detection processing unit 13: specific processing unit 14: recording processing unit 15: display processing unit 16: reproduction processing Part 20: Camera 30: Store 151: Time bar 151a: Time bar 151b: Time bar 151c: Time bar
Claims (11)
前記取得処理部により取得される前記撮像画像の変化と、前記撮像画像が変化した時刻である変化時刻とを検出する検出処理部と、
前記監視エリアに含まれる複数の検出エリアのうち、前記検出処理部により検出される前記撮像画像の変化に対応する検出エリアである第１検出エリアを特定する特定処理部と、
前記特定処理部により特定される前記第１検出エリアを識別可能な識別情報と、前記検出処理部により検出される前記変化時刻とを表示部に表示させる表示処理部と、
を備える監視装置。 An acquisition processing unit that acquires an imaged image of the surveillance area imaged by the imaging device;
A detection processing unit that detects a change in the captured image acquired by the acquisition processing unit and a change time that is a time at which the captured image changes;
Of the plurality of detection areas included in the monitoring area, a specification processing unit that specifies a first detection area that is a detection area corresponding to a change in the captured image detected by the detection processing unit,
A display processing unit for displaying on the display unit the identification information capable of identifying the first detection area identified by the identification processing unit and the change time detected by the detection processing unit;
Monitoring device.
請求項１に記載の監視装置。 The display processing unit causes the display unit to display a plurality of indicators corresponding to each of the plurality of detection areas and indicating a state of change of the captured image.
The monitoring device according to claim 1.
前記表示処理部は、前記複数のインジケーターのうち前記第１検出エリアに対応する前記インジケーターに、前記第１検出エリアに関連付けられた前記色情報の色を表示させる、
請求項２に記載の監視装置。 Different color information is associated with each of the plurality of detection areas,
The display processing unit causes the indicator corresponding to the first detection area of the plurality of indicators to display the color of the color information associated with the first detection area.
The monitoring device according to claim 2.
前記表示処理部は、前記撮像画像の変化が検出された時刻から検出されなくなった時刻までの変化時間に応じた長さの前記色を前記タイムバーに表示させる、
請求項３に記載の監視装置。 Each of the plurality of indicators is composed of a time bar having a length according to time,
The display processing unit causes the time bar to display the color having a length corresponding to a change time from a time when a change in the captured image is detected to a time when the change is not detected,
The monitoring device according to claim 3.
請求項４に記載の監視装置。 When a change in the captured image is detected in each of the plurality of detection areas by the detection processing unit, the display processing unit sets the different colors in the plurality of time bars according to the change time. Displayed in a different length,
The monitoring device according to claim 4.
請求項１から５のいずれか１項に記載の監視装置。 The display processing unit is the captured image of the entire monitoring area acquired by the acquisition processing unit or a captured image of the first detection area specified by the specifying processing unit in the captured image. Display an area image on the display unit,
The monitoring device according to claim 1.
請求項６に記載の監視装置。 The display processing unit displays area information for identifying each of the plurality of detection areas in the captured image of the entire monitoring area,
The monitoring device according to claim 6.
前記記録処理部は、前記検出処理部により前記撮像画像の変化が検出された場合に、前記撮像画像を前記記憶部に記録する、
請求項１から７のいずれか１項に記載の監視装置。 Further comprising a recording processing unit that records the captured image acquired by the acquisition processing unit in a storage unit,
The recording processing unit records the captured image in the storage unit when a change in the captured image is detected by the detection processing unit.
The monitoring device according to any one of claims 1 to 7.
前記再生処理部は、前記複数の検出エリアのうちユーザーにより選択された前記検出エリアに対応する前記撮像画像を再生する、
請求項８に記載の監視装置。 Further comprising a reproduction processing unit for reproducing the captured image recorded by the recording processing unit,
The reproduction processing unit reproduces the captured image corresponding to the detection area selected by the user among the plurality of detection areas,
The monitoring device according to claim 8.
前記撮像装置は、前記監視エリア全体を撮像可能に構成されている、
請求項１から９のいずれか１項に記載の監視装置。 Comprising one said imaging device,
The imaging device is configured to be able to image the entire monitoring area,
The monitoring device according to any one of claims 1 to 9.
前記取得ステップにより取得される前記撮像画像の変化と、前記撮像画像が変化した時刻である変化時刻とを検出する検出ステップと、
前記監視エリアに含まれる複数の検出エリアのうち、前記検出ステップにより検出される前記撮像画像の変化に対応する検出エリアである第１検出エリアを特定する特定ステップと、
前記特定ステップにより特定される前記第１検出エリアを識別可能な識別情報と、前記検出ステップにより検出される前記変化時刻とを表示部に表示させる表示ステップと、
を一又は複数のプロセッサーにより実行する監視方法。 An acquisition step of acquiring a captured image of the surveillance area imaged by the imaging device;
A detection step of detecting a change in the captured image acquired in the acquisition step and a change time that is a time at which the captured image changes,
Of a plurality of detection areas included in the monitoring area, a specifying step of specifying a first detection area which is a detection area corresponding to a change in the captured image detected in the detecting step,
A display step of displaying on the display unit the identification information capable of identifying the first detection area identified by the identification step, and the change time detected by the detection step;
A monitoring method for executing one or more processors.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019014719A JP7258580B2 (en) | 2019-01-30 | 2019-01-30 | Monitoring device and monitoring method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019014719A JP7258580B2 (en) | 2019-01-30 | 2019-01-30 | Monitoring device and monitoring method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020123845A true JP2020123845A (en) | 2020-08-13 |
| JP7258580B2 JP7258580B2 (en) | 2023-04-17 |
Family
ID=71993638
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019014719A Active JP7258580B2 (en) | 2019-01-30 | 2019-01-30 | Monitoring device and monitoring method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7258580B2 (en) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11346357A (en) * | 1998-06-02 | 1999-12-14 | Sony Corp | Recording device for monitoring |
| JP2000224457A (en) * | 1999-02-02 | 2000-08-11 | Canon Inc | Monitoring system, control method therefor and storage medium storing program therefor |
| JP2003143594A (en) * | 2001-11-05 | 2003-05-16 | Emiiru Denshi Kaihatsusha:Kk | Manufacturing shop presentation management system |
| JP2003240613A (en) * | 2002-02-20 | 2003-08-27 | Tamu Tec:Kk | Remote monitoring device |
| JP2004234561A (en) * | 2003-01-31 | 2004-08-19 | Secom Co Ltd | Image display system |
| JP2008306604A (en) * | 2007-06-08 | 2008-12-18 | Canon Inc | Information processing device, and information processing method |
| JP2010161651A (en) * | 2009-01-08 | 2010-07-22 | Hitachi Ltd | Monitoring recorder, monitoring system, and monitoring recording method |
| JP2012084077A (en) * | 2010-10-14 | 2012-04-26 | Dainippon Printing Co Ltd | Information display device and information display program |
| JP2013211821A (en) * | 2012-02-29 | 2013-10-10 | Jvc Kenwood Corp | Image processing device, image processing method, and image processing program |
| JP2014033429A (en) * | 2012-07-12 | 2014-02-20 | Nk Works Co Ltd | Image processing program and image processing apparatus |
| JP2014153813A (en) * | 2013-02-06 | 2014-08-25 | Sony Corp | Information process device, information process method, program and information process system |
| JP2016018571A (en) * | 2014-07-07 | 2016-02-01 | 株式会社リコー | Image storage and reproduction control unit, image storage and reproduction control method, image storage and reproduction control system, and program |
-
2019
- 2019-01-30 JP JP2019014719A patent/JP7258580B2/en active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11346357A (en) * | 1998-06-02 | 1999-12-14 | Sony Corp | Recording device for monitoring |
| JP2000224457A (en) * | 1999-02-02 | 2000-08-11 | Canon Inc | Monitoring system, control method therefor and storage medium storing program therefor |
| JP2003143594A (en) * | 2001-11-05 | 2003-05-16 | Emiiru Denshi Kaihatsusha:Kk | Manufacturing shop presentation management system |
| JP2003240613A (en) * | 2002-02-20 | 2003-08-27 | Tamu Tec:Kk | Remote monitoring device |
| JP2004234561A (en) * | 2003-01-31 | 2004-08-19 | Secom Co Ltd | Image display system |
| JP2008306604A (en) * | 2007-06-08 | 2008-12-18 | Canon Inc | Information processing device, and information processing method |
| JP2010161651A (en) * | 2009-01-08 | 2010-07-22 | Hitachi Ltd | Monitoring recorder, monitoring system, and monitoring recording method |
| JP2012084077A (en) * | 2010-10-14 | 2012-04-26 | Dainippon Printing Co Ltd | Information display device and information display program |
| JP2013211821A (en) * | 2012-02-29 | 2013-10-10 | Jvc Kenwood Corp | Image processing device, image processing method, and image processing program |
| JP2014033429A (en) * | 2012-07-12 | 2014-02-20 | Nk Works Co Ltd | Image processing program and image processing apparatus |
| JP2014153813A (en) * | 2013-02-06 | 2014-08-25 | Sony Corp | Information process device, information process method, program and information process system |
| JP2016018571A (en) * | 2014-07-07 | 2016-02-01 | 株式会社リコー | Image storage and reproduction control unit, image storage and reproduction control method, image storage and reproduction control system, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7258580B2 (en) | 2023-04-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10237494B2 (en) | Display control apparatus and display control method | |
| US10043079B2 (en) | Method and apparatus for providing multi-video summary | |
| JP2011233133A (en) | Shoplifting preventing system | |
| US20200097736A1 (en) | Person count apparatus, person count method, and non-transitory computer-readable storage medium | |
| JP7317556B2 (en) | Monitoring device and monitoring method | |
| JP2010277264A (en) | Crime prevention device, method for controlling the same, program and crime prevention system | |
| JP2006345489A (en) | Image reproduction apparatus and image reproduction method | |
| JP6602067B2 (en) | Display control apparatus, display control method, and program | |
| US20100296742A1 (en) | System and method for object based post event forensics in video surveillance systems | |
| JP7406976B2 (en) | Monitoring system and method | |
| JP2011070629A (en) | Advertising effect measurement system and advertising effect measurement device | |
| JP4120378B2 (en) | Surveillance system and program | |
| JP2017055373A (en) | Salesroom crime prevention program, tablet terminal and salesroom | |
| JP7258580B2 (en) | Monitoring device and monitoring method | |
| JPWO2016043102A1 (en) | Information processing apparatus, information processing system, information processing method, and program | |
| US11361797B2 (en) | Moving image reproduction apparatus, moving image reproduction method, moving image reproduction system, and storage medium | |
| JP5193944B2 (en) | Image processing method | |
| JP6661312B2 (en) | Monitoring system, information processing method and program | |
| JP7279241B1 (en) | system and program | |
| US20230101001A1 (en) | Computer-readable recording medium for information processing program, information processing method, and information processing device | |
| JP7419090B2 (en) | Image processing device, image processing method and program | |
| JP2005141695A (en) | Monitoring system | |
| JP2023104350A (en) | Image processing device, image processing method, and program | |
| JP6895748B2 (en) | Information processing equipment, data management methods for information processing equipment, and programs | |
| JP2012004754A (en) | Camera changeover device, camera changeover system and method for camera changeover |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210922 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220826 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220920 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221110 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230314 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230405 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7258580 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |