JP2015088816A - Image monitoring system - Google Patents
Image monitoring system Download PDFInfo
- Publication number
- JP2015088816A JP2015088816A JP2013224136A JP2013224136A JP2015088816A JP 2015088816 A JP2015088816 A JP 2015088816A JP 2013224136 A JP2013224136 A JP 2013224136A JP 2013224136 A JP2013224136 A JP 2013224136A JP 2015088816 A JP2015088816 A JP 2015088816A
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- feature
- person
- monitoring area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 179
- 238000000605 extraction Methods 0.000 claims abstract description 73
- 238000003384 imaging method Methods 0.000 claims description 52
- 230000005856 abnormality Effects 0.000 claims description 48
- 239000000284 extract Substances 0.000 abstract description 25
- 238000000034 method Methods 0.000 description 22
- 238000009434 installation Methods 0.000 description 9
- 230000002159 abnormal effect Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 238000012806 monitoring device Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 206010000117 Abnormal behaviour Diseases 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Abstract
Description
本発明は、街一帯などの広範囲に及ぶ監視エリアを画像を用いて監視する画像監視システムに関する。 The present invention relates to an image monitoring system for monitoring a wide monitoring area such as a town area using an image.
従来、集合住宅のように不特定多数の人物が通行する監視エリアを監視する不審者通報システムが提案されている（特許文献１）。従来のシステムでは、監視カメラに写った人物の顔画像を切り出して検出し、データベースに登録してある不審な人物の顔画像と照合することで、異常の有無を検出している。 Conventionally, a suspicious person notification system for monitoring a monitoring area where an unspecified number of people pass like an apartment house has been proposed (Patent Document 1). In the conventional system, the face image of a person captured by a surveillance camera is cut out and detected, and the presence or absence of abnormality is detected by collating with the face image of a suspicious person registered in a database.
ところで、画像監視システムは、集合住宅などの特定の建物のみを監視エリアとするものだけではない。近年は、街路や公共施設内などの各所に複数の監視カメラを設置し、街一帯を１つの監視エリアとする大規模な画像監視システムも考えられている。 By the way, the image monitoring system is not limited to only a specific building such as an apartment house as a monitoring area. In recent years, a large-scale image monitoring system in which a plurality of monitoring cameras are installed in various places such as streets and public facilities, and the entire city area is considered as one monitoring area has been considered.
しかし、従来のシステムのように、顔画像を画像から検出して異常の有無を判定するためには、高度な画像処理能力が必要となる。このため、街一帯を１つの監視エリアとする場合は、システム全体の画像処理の負荷が大きくなるという問題があった。 However, as in the conventional system, in order to detect a face image from an image and determine the presence or absence of an abnormality, a high level of image processing capability is required. For this reason, when the entire town area is set as one monitoring area, there is a problem that the image processing load of the entire system increases.
また、従来のシステムのように、顔画像などの個人を特定できる情報を不特定多数の人物から取得する場合、プライバシーに配慮する必要があった。 Moreover, when acquiring information that can identify an individual such as a face image from an unspecified number of persons as in the conventional system, it is necessary to consider privacy.
そこで、本発明は、画像処理の負荷を低減しつつ、プライバシーに配慮して、広範囲に及ぶ監視エリアを監視できる画像監視システムの実現を目的とする。 Therefore, an object of the present invention is to realize an image monitoring system capable of monitoring a wide monitoring area in consideration of privacy while reducing the load of image processing.
かかる目的を達成するために本発明は、一または複数の撮像装置からの画像を用いて撮影された移動物体の監視を行う画像監視システムであって、第一監視エリアと第二監視エリアに区分して前記監視エリアを記憶している記憶部と、前記画像から移動物体像を抽出する移動物体抽出手段と、前記移動物体像から当該移動物体を特定できる個体特徴を抽出する個体特徴抽出手段と、前記移動物体像から当該移動物体の移動状況を把握できる移動特徴を抽出する移動特徴抽出手段と、前記移動物体の所在位置を算出する位置算出手段と、前記移動物体の所在位置が第一監視エリア内であれば前記個体特徴抽出手段にて個体特徴を抽出させ、前記移動物体の所在位置が第二監視エリア内であれば前記移動特徴抽出手段にて移動特徴を抽出させる抽出特徴選択手段と、抽出された前記個体特徴と前記移動特徴を記録する記録部と、を有したことを特徴とする画像監視システムを提供する。 In order to achieve such an object, the present invention is an image monitoring system for monitoring a moving object photographed using images from one or a plurality of imaging devices, and is divided into a first monitoring area and a second monitoring area. A storage unit that stores the monitoring area; a moving object extraction unit that extracts a moving object image from the image; and an individual feature extraction unit that extracts an individual feature that can identify the moving object from the moving object image. A moving feature extracting unit that extracts a moving feature that can grasp a moving state of the moving object from the moving object image, a position calculating unit that calculates a location of the moving object, and the location of the moving object is first monitored. If the individual feature is extracted within the area, the individual feature extracting unit extracts the individual feature. If the location of the moving object is within the second monitoring area, the moving feature extracting unit extracts the moving feature. Provides a feature selection unit, and extracted the individual characteristics and recording unit for recording the moving feature, the image monitoring system characterized by having a.
これにより、本発明は、１つの監視エリアを、詳細な監視が必要なエリアと通常の監視をするエリアに区分し、エリア毎に画像監視のレベルを変えることで画像処理の負荷を分散させる。また、本発明は、詳細な監視が必要なエリアでは、移動物体の個を特定できる情報を取得するが、それ以外のエリアでは、移動物体の個を特定できる情報を取得しない。このため、本発明は、システム全体の画像処理の負荷を低減しつつ、プライバシーに配慮して、広範囲に及ぶ監視エリアを監視することが可能となる。 Accordingly, the present invention divides one monitoring area into an area that requires detailed monitoring and an area that performs normal monitoring, and distributes the image processing load by changing the image monitoring level for each area. In addition, the present invention acquires information that can identify individual moving objects in areas that require detailed monitoring, but does not acquire information that can identify individual moving objects in other areas. Therefore, the present invention can monitor a wide monitoring area in consideration of privacy while reducing the image processing load of the entire system.
また、前記個体特徴は人物または自動車を特定できる特徴であり、前記移動特徴は人物または自動車であることを識別できる特徴であることが好適である。 In addition, it is preferable that the individual feature is a feature that can specify a person or a car, and the movement feature is a feature that can identify a person or a car.
また、前記個体特徴は移動物体を個別に追跡可能な特徴であり、前記移動特徴は複数の移動物体の全体的な移動状況を把握できる特徴であることが好適である。 In addition, it is preferable that the individual feature is a feature capable of individually tracking a moving object, and the moving feature is a feature capable of grasping an overall movement state of a plurality of moving objects.
また、本発明は、前記記録部に記録された個体特徴または移動特徴を用いて、前記監視エリアでの異常を検出する判定手段を更に有することが好適である。 In addition, it is preferable that the present invention further includes a determination unit that detects an abnormality in the monitoring area using the individual feature or the movement feature recorded in the recording unit.
本発明によれば、画像処理の負荷を低減しつつ、プライバシーに配慮して、広範囲に及ぶ監視エリアを監視できる。 According to the present invention, a wide monitoring area can be monitored in consideration of privacy while reducing the load of image processing.
以下、本発明にかかる画像監視システムの実施の形態について説明する。 Embodiments of an image monitoring system according to the present invention will be described below.
図２は、画像監視システムの全体構成を模式に示した図である。画像監視システムは、画像監視装置１、監視エリアの各所に設置される複数の撮像装置６、有線通信もしくは無線通信のネットワーク７から構成されている。 FIG. 2 is a diagram schematically showing the overall configuration of the image monitoring system. The image monitoring system includes an image monitoring device 1, a plurality of imaging devices 6 installed at various locations in a monitoring area, and a network 7 for wired communication or wireless communication.
画像監視装置１は、複数の撮像装置６にて順次撮像された画像をネットワーク７経由で取得し、記憶部２に記憶する。画像監視装置１は、記憶部２に記憶した画像を画像処理部３にて撮影順に画像処理し、画像に写る移動物体の特徴を抽出する。抽出した特徴は、記録部４に記録される。そして、画像監視装置１は、記録部４に記録した移動物体の特徴に基づいて監視エリア内に異常が発生しているか否かを判定する。画像監視装置１は、監視エリアに異常が発生したことを検出すると、出力部５にてネットワーク７経由で異常検知信号を監視センタ８に送信する。監視センタ８は、異常検知信号を受信すると、異常発生の旨、異常発生場所、異常の内容などの情報をディスプレイに表示する。監視センタに勤務する監視者は、これらの情報に基づいて、警備員に対して異常発生場所への対処指示などの適切な対応をとる。 The image monitoring device 1 acquires images sequentially captured by the plurality of imaging devices 6 via the network 7 and stores them in the storage unit 2. The image monitoring apparatus 1 performs image processing on the images stored in the storage unit 2 in the order of photographing by the image processing unit 3, and extracts the features of the moving object that appears in the images. The extracted features are recorded in the recording unit 4. Then, the image monitoring apparatus 1 determines whether an abnormality has occurred in the monitoring area based on the feature of the moving object recorded in the recording unit 4. When the image monitoring apparatus 1 detects that an abnormality has occurred in the monitoring area, the output unit 5 transmits an abnormality detection signal to the monitoring center 8 via the network 7. When the monitoring center 8 receives the abnormality detection signal, the monitoring center 8 displays information such as an abnormality occurrence, an abnormality occurrence location, and an abnormality content on the display. Based on these pieces of information, the supervisor who works at the monitoring center takes appropriate measures such as an instruction to deal with the location where the abnormality occurred to the security guard.
次に、画像監視システムを構成する、撮像装置６および画像監視装置１について詳細に説明する。 Next, the imaging device 6 and the image monitoring device 1 constituting the image monitoring system will be described in detail.
撮像装置６は、光学系、ＣＣＤ素子又はＣ−ＭＯＳ素子等の撮像素子、光学系部品、アナログ／デジタル変換器等を含んで構成される。撮像装置６は、監視エリアを所定時間間隔で順次撮像し、撮像したデジタル画像をネットワーク７経由で画像監視装置１に送信する。撮像装置６で撮像された画像には、撮影時刻が付与されている。また、撮像装置６は、広範囲に及ぶ監視エリアの画像を撮像するため、監視エリアの各所に複数設置されている。このため、撮像装置６は、それぞれを識別するためのカメラＩＤで管理されており、撮像装置６で撮像された画像には、カメラＩＤが付与されている。ここで、撮像装置６は、監視エリア内に存在する移動物体の特徴を撮像するのに適した設置位置、撮像方向、設置高、俯角で設置される。 The imaging device 6 includes an optical system, an imaging element such as a CCD element or a C-MOS element, optical system parts, an analog / digital converter, and the like. The imaging device 6 sequentially images the monitoring area at predetermined time intervals, and transmits the captured digital image to the image monitoring device 1 via the network 7. The image taken by the imaging device 6 is given a shooting time. In addition, a plurality of imaging devices 6 are installed at various locations in the monitoring area in order to capture an image of the monitoring area covering a wide range. For this reason, the imaging device 6 is managed by a camera ID for identifying each, and a camera ID is given to an image captured by the imaging device 6. Here, the imaging device 6 is installed at an installation position, an imaging direction, an installation height, and a depression angle suitable for imaging the characteristics of a moving object existing in the monitoring area.
次に、図３を参照して画像監視装置１について説明する。図３は、画像監視装置１の機能ブロック図である。画像監視装置１は、記憶部２、画像処理部３、記録部４、出力部５から構成されている。 Next, the image monitoring apparatus 1 will be described with reference to FIG. FIG. 3 is a functional block diagram of the image monitoring apparatus 1. The image monitoring apparatus 1 includes a storage unit 2, an image processing unit 3, a recording unit 4, and an output unit 5.
まず、記憶部２について説明する。記憶部２は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体メモリ、ハードディスク等のメモリ装置で構成される。 First, the storage unit 2 will be described. The storage unit 2 includes a semiconductor device such as a ROM (Read Only Memory) and a RAM (Random Access Memory), and a memory device such as a hard disk.
記憶部２に記憶されている情報について説明する。記憶部２は、撮像装置６から送信された画像２４を記憶する。画像２４には、撮影時刻とカメラＩＤが付与されている。また、記憶部２は、地図データ２１を記憶する。地図データ２１は、監視エリアを緯度・経度の２次元で表現したマップ情報であり、監視エリア内の道路や建物の位置も予め登録されている。また、記憶部２は、エリア情報２２を記憶する。エリア情報２２は、後述するエリア設定手段３１で詳細監視エリアと通常監視エリアを設定する際に用いられるデータである。エリア情報２２の詳細は、後述する。また、記憶部２は、撮像装置情報２３を記憶する。撮像装置情報２３は、撮像装置６に関する、地図データ２１における設置位置の緯度・経度、撮像方向、設置高、俯角などのカメラパラメータである。撮像装置情報２３は、カメラＩＤに対応付けて記憶されている。また、記憶部２は、異常判定データ２５を記憶する。異常判定データ２５は、後述する判定手段３９にて監視エリア内の異常の有無を判定する際に用いられるデータである。異常判定データ２５の詳細は、後述する。また、記憶部２には、これら以外にも画像監視装置１の機能を実現するための各種プログラムが記憶されているが、図示は省略する。 Information stored in the storage unit 2 will be described. The storage unit 2 stores the image 24 transmitted from the imaging device 6. The image 24 is given a shooting time and a camera ID. The storage unit 2 stores map data 21. The map data 21 is map information that expresses the monitoring area in two dimensions of latitude and longitude, and the positions of roads and buildings in the monitoring area are also registered in advance. The storage unit 2 stores area information 22. The area information 22 is data used when setting the detailed monitoring area and the normal monitoring area by the area setting unit 31 described later. Details of the area information 22 will be described later. The storage unit 2 stores imaging device information 23. The imaging device information 23 is camera parameters related to the imaging device 6 such as the latitude / longitude of the installation position in the map data 21, the imaging direction, the installation height, and the depression angle. The imaging device information 23 is stored in association with the camera ID. Further, the storage unit 2 stores abnormality determination data 25. The abnormality determination data 25 is data used when the determination unit 39 described later determines whether there is an abnormality in the monitoring area. Details of the abnormality determination data 25 will be described later. In addition to these, the storage unit 2 stores various programs for realizing the functions of the image monitoring apparatus 1, but illustration thereof is omitted.
次に、記録部４について説明する。記録部４は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体メモリ、ハードディスク等のメモリ装置で構成される。記録部４は、後述する個体特徴抽出手段３７及び移動特徴抽出手段３８で抽出された特徴を記録する。本実施の形態では、記録部４に記録された特徴を用いて、監視エリアの異常の有無が判定される。また、他の実施形態としては、記録部４に記録された特徴を用いて、撮像装置６で撮像された画像を検索するようにしてもよい。なお、本実施の形態では、記録部４を画像監視装置１内に設ける構成としたが、これに限らない。例えば、監視センタ８に設けた監視センタ装置（図示しない）内に記録部４を設ける構成としてもよい。 Next, the recording unit 4 will be described. The recording unit 4 includes a semiconductor memory such as a ROM (Read Only Memory) and a RAM (Random Access Memory), and a memory device such as a hard disk. The recording unit 4 records the features extracted by the individual feature extracting unit 37 and the moving feature extracting unit 38 described later. In the present embodiment, the presence or absence of abnormality in the monitoring area is determined using the characteristics recorded in the recording unit 4. As another embodiment, an image captured by the imaging device 6 may be searched using the characteristics recorded in the recording unit 4. In the present embodiment, the recording unit 4 is provided in the image monitoring apparatus 1. However, the present invention is not limited to this. For example, the recording unit 4 may be provided in a monitoring center device (not shown) provided in the monitoring center 8.
次に、画像処理部３について詳細に説明する。画像処理部３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）又はＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）等の演算装置により構成され、記憶部２に記憶している各種プログラムを読み出して実行する。また、画像処理部３は、撮像装置６で撮像された画像を記憶部２から読み出して順次処理する。ここで、画像処理部３は、画像に付与されているカメラＩＤ及び撮像時刻を参照し、撮像装置６毎に撮像された順に画像を処理する。なお、画像処理部３は、画像を１フレーム毎順に処理してもよいし、数フレームおきに処理してもよい。 Next, the image processing unit 3 will be described in detail. The image processing unit 3 includes an arithmetic device such as a CPU (Central Processing Unit), a DSP (Digital Signal Processor), or an MCU (Micro Control Unit), and reads and executes various programs stored in the storage unit 2. Further, the image processing unit 3 reads out images captured by the imaging device 6 from the storage unit 2 and sequentially processes them. Here, the image processing unit 3 refers to the camera ID and the imaging time given to the image, and processes the images in the order of imaging for each imaging device 6. Note that the image processing unit 3 may process images one frame at a time, or may process them every several frames.
画像処理部３は、エリア設定手段３１、移動物体抽出手段３２、位置算出手段３３、エリア判定手段３４、追跡手段３５、抽出特徴選択手段３６、個体特徴抽出手段３７、移動特徴抽出手段３８、判定手段３９から構成されている。以下に、画像処理部３を構成する各手段について詳細に説明する。 The image processing unit 3 includes an area setting unit 31, a moving object extraction unit 32, a position calculation unit 33, an area determination unit 34, a tracking unit 35, an extraction feature selection unit 36, an individual feature extraction unit 37, a movement feature extraction unit 38, and a determination. The unit 39 is constituted. Below, each means which comprises the image process part 3 is demonstrated in detail.
まず、エリア設定手段３１について、図１を参照して説明する。図１は、エリアの設定イメージ図である。エリア設定手段３１は、記憶部２のエリア情報２２に基づいて、監視エリアにおける詳細監視エリアと通常監視エリアの位置情報を設定する。ここで、エリア情報２２について説明する。エリア情報２２は、詳細監視エリアと通常監視エリアに区分した監視エリアの情報である。本実施の形態では、詳細監視エリアと通常監視エリアは、警備計画の担当者などによって、外部の操作端末（図示しない）を用いて、指定される。具体的には、担当者は、監視エリアの地図データを参照しながら、特に注意して警戒しなければならない建物や道路を含む領域を詳細監視エリアとして指定する。そして、詳細監視エリア以外の領域を通常監視エリアとして指定する。図１では、斜線で囲まれた領域９が詳細監視エリアとして指定された領域であり、それ以外の領域が通常監視エリアとして指定された領域である。そして、操作端末は、指定された各エリアの位置情報（緯度・経度）をエリア情報２２として、画像監視装置１に出力する。出力されたエリア情報２２は、記憶部２に記憶される。 First, the area setting means 31 will be described with reference to FIG. FIG. 1 is an image of setting an area. The area setting unit 31 sets the position information of the detailed monitoring area and the normal monitoring area in the monitoring area based on the area information 22 in the storage unit 2. Here, the area information 22 will be described. The area information 22 is information on a monitoring area divided into a detailed monitoring area and a normal monitoring area. In the present embodiment, the detailed monitoring area and the normal monitoring area are designated by a person in charge of the security plan using an external operation terminal (not shown). Specifically, the person in charge designates, as the detailed monitoring area, an area including a building or a road that should be particularly wary while referring to the map data of the monitoring area. Then, an area other than the detailed monitoring area is designated as the normal monitoring area. In FIG. 1, an area 9 surrounded by diagonal lines is an area designated as a detail monitoring area, and other areas are areas designated as normal monitoring areas. Then, the operation terminal outputs the position information (latitude / longitude) of each designated area as the area information 22 to the image monitoring apparatus 1. The output area information 22 is stored in the storage unit 2.
エリア設定手段３１は、記憶部２に記憶されている地図データ２１及びエリア情報２２を読み出し、エリア情報２２に含まれる位置情報と地図データ２１の位置情報を対応付けて、詳細監視エリア及び通常監視エリアの位置情報を設定する。すなわち、図１にて斜線で囲まれた領域９内の緯度・経度が詳細監視エリアの緯度・経度として設定され、それ以外の領域の緯度・経度が通常監視エリアの緯度・経度として設定される。 The area setting unit 31 reads the map data 21 and the area information 22 stored in the storage unit 2, associates the position information included in the area information 22 with the position information of the map data 21, and performs the detailed monitoring area and the normal monitoring. Set area location information. That is, the latitude / longitude in the area 9 surrounded by diagonal lines in FIG. 1 is set as the latitude / longitude of the detailed monitoring area, and the latitude / longitude of the other area is set as the latitude / longitude of the normal monitoring area. .
本実施の形態では、エリア設定手段３１は、警備計画の担当者などによって手動で指定されたエリア情報２２を入力して、詳細監視エリアと通常監視エリアの位置情報を設定した。しかし、これに限らず、エリア設定手段３１は、地図データ２１に含まれる建物や道路の位置に基づいて自動的に指定されたエリア情報２２を入力して、詳細監視エリアと通常監視エリアを設定するようにしてもよい。また、記憶部２に記憶した地図データ２１上に予め詳細監視エリアおよび通常監視エリアの位置をエリア情報２２として登録しておき、エリア設定手段３１は、地図データ２１に含まれるエリア情報２２を参照して、詳細監視エリアと通常監視エリアの位置情報を設定するようにしてもよい。 In the present embodiment, the area setting means 31 inputs the area information 22 manually specified by the person in charge of the security plan and sets the position information of the detailed monitoring area and the normal monitoring area. However, the present invention is not limited to this, and the area setting means 31 inputs the area information 22 automatically specified based on the position of the building or road included in the map data 21, and sets the detailed monitoring area and the normal monitoring area. You may make it do. Further, the positions of the detailed monitoring area and the normal monitoring area are registered in advance as area information 22 on the map data 21 stored in the storage unit 2, and the area setting means 31 refers to the area information 22 included in the map data 21. Then, the position information of the detailed monitoring area and the normal monitoring area may be set.
次に、移動物体抽出手段３２について説明する。移動物体抽出手段３２は、記憶部２から撮像装置６で撮像された画像２４を読み出し、当該画像から移動物体の画像領域（移動物体像）を検出する。本実施の形態では、移動物体抽出手段３２は、移動物体として人物を検出する。具体的には、移動物体抽出手段３２は、人物の画像を学習した学習識別器によって人物が写っているとされた画像領域を人物領域として抽出する。なお、本実施の形態では、移動物体抽出手段３２は、学習識別器を用いて人物領域を検出たが、人物領域の検出方法は、これに限らない。例えば、予め記憶した人物テンプレートとのマッチング処理にて類似するとされた画像領域を人物領域として抽出する方法など種々の方法を採用してもよい。 Next, the moving object extraction unit 32 will be described. The moving object extraction unit 32 reads the image 24 captured by the imaging device 6 from the storage unit 2 and detects an image area (moving object image) of the moving object from the image. In the present embodiment, the moving object extraction unit 32 detects a person as a moving object. Specifically, the moving object extraction unit 32 extracts, as a person area, an image area in which a person is captured by a learning discriminator that has learned a person image. In the present embodiment, the moving object extraction unit 32 detects the person area using the learning discriminator, but the person area detection method is not limited to this. For example, various methods such as a method of extracting an image region that is similar in a matching process with a person template stored in advance as a person region may be employed.
次に、位置算出手段３３について説明する。位置算出手段３３は、画像に写った移動物体の監視エリアにおける所在位置を算出する。本実施の形態では、位置算出手段３３は、移動物体抽出手段３２にて検出した人物領域の地図データ２１における所在位置（緯度・経度）を算出する。具体的には、位置算出手段３３は、処理対象となっている画像に付与されたカメラＩＤを参照し、当該カメラＩＤ対応する撮像装置情報２３を記憶部２から読み出す。そして、位置算出手段３３は、人物領域の画像上の位置や大きさと、撮像装置情報２３に含まれる撮像装置６の地図データ２１における設置位置の緯度・経度、撮像方向、設置高、俯角を用いて、地図データ２１における人物領域の所在位置（緯度・経度）を算出する。なお、本実施の形態では、位置算出手段３３は、撮像装置情報２３を用いて、設置位置の緯度・経度、撮像方向、設置高、俯角から人物領域の所在位置を算出したが、これに限らない。例えば、位置算出手段３３は、人物が所持するＧＰＳ受信装置が受信したＧＰＳ信号を用いて、人物の所在位置を算出してもよい。 Next, the position calculation means 33 will be described. The position calculation means 33 calculates the location of the moving object shown in the image in the monitoring area. In the present embodiment, the position calculating unit 33 calculates the location (latitude / longitude) of the person area detected by the moving object extracting unit 32 in the map data 21. Specifically, the position calculation unit 33 refers to the camera ID assigned to the image to be processed, and reads out the imaging device information 23 corresponding to the camera ID from the storage unit 2. The position calculation unit 33 uses the position and size of the person area on the image, and the latitude / longitude of the installation position, the imaging direction, the installation height, and the depression angle in the map data 21 of the imaging device 6 included in the imaging device information 23. Thus, the location (latitude / longitude) of the person area in the map data 21 is calculated. In the present embodiment, the position calculation means 33 uses the imaging device information 23 to calculate the location of the person area from the latitude / longitude of the installation position, the imaging direction, the installation height, and the depression angle. Absent. For example, the position calculating unit 33 may calculate the location of the person using a GPS signal received by a GPS receiver held by the person.
次に、エリア判定手段３４について説明する。エリア判定手段３４は、画像に写った移動物体が詳細監視エリアに存在するか、通常監視エリアに存在するかを判定する。本実施の形態では、エリア判定手段３４は、位置算出手段３３にて算出された人物領域の位置（緯度・経度）と、エリア設定手段３１にて設定された詳細監視エリアの位置（緯度・経度）及び通常監視エリアの位置（緯度・経度）を照合する。すなわち、エリア判定手段３４は、人物領域の位置（緯度・経度）が詳細監視エリアの位置（緯度・経度）であれば、移動物体抽出手段３２にて検出された人物が詳細監視エリア内に存在すると判定する。そして、人物領域の位置（緯度・経度）が通常監視エリアの位置（緯度・経度）であれば、移動物体抽出手段３２にて検出された人物が通常監視エリア内に存在すると判定する。なお、エリアの判定方法は、この方法に限らない。例えば、予め、詳細監視エリアを撮像する撮像装置６であるか、通常監視エリアを撮像する撮像装置６であるかをカメラＩＤに対応付けて登録しておく。そして、エリア判定手段３４は、人物が検出された画像に付与されているカメラＩＤを参照して、当該人物が詳細監視エリア内に存在するか、通常監視エリア内に存在するかを判定するようにしてもよい。 Next, the area determination unit 34 will be described. The area determination unit 34 determines whether the moving object shown in the image exists in the detailed monitoring area or the normal monitoring area. In the present embodiment, the area determination unit 34 includes the position (latitude / longitude) of the person area calculated by the position calculation unit 33 and the position (latitude / longitude) of the detailed monitoring area set by the area setting unit 31. ) And the position (latitude / longitude) of the normal monitoring area. That is, if the position (latitude / longitude) of the person region is the position (latitude / longitude) of the detailed monitoring area, the area determination means 34 has the person detected by the moving object extraction means 32 in the detailed monitoring area. Judge that. If the position (latitude / longitude) of the person area is the position (latitude / longitude) of the normal monitoring area, it is determined that the person detected by the moving object extraction unit 32 exists in the normal monitoring area. The area determination method is not limited to this method. For example, whether the imaging device 6 captures the detailed monitoring area or the imaging device 6 captures the normal monitoring area is registered in advance in association with the camera ID. Then, the area determination unit 34 refers to the camera ID assigned to the image in which the person is detected so as to determine whether the person exists in the detailed monitoring area or the normal monitoring area. It may be.
次に、追跡手段３５について説明する。追跡手段３５は、監視エリア内に存在する移動物体を追跡する。具体的には、追跡手段３５は、移動物体抽出手段３２で抽出した人物領域に対して、前回処理した画像中の人物領域のうち同一の人物によるものと判断できる人物領域を対応付ける。すなわち、異なる時刻に撮像された画像について、同一の人物の画像領域を対応付けることで、人物領域の追跡を実現する。人物領域の対応付けには、人物領域の大きさや形状、テクスチャを用いればよい。なお、追跡手段３５は、同一の撮像装置６で撮像した画像だけでなく、異なる撮像装置６で撮像された画像間でも人物領域の追跡を行うようにしてもよい。すなわち、追跡手段３５は、ある撮像装置６の撮像範囲から外れた人物が、当該撮像装置と撮像範囲の隣り合う他の撮像装置６の撮像範囲に現れた場合も当該人物の追跡を行うようにしてもよい。この場合、追跡手段３５は、記憶部２に記憶された撮像装置情報２３を参照する。そして、追跡手段３５は、設置位置が隣り合う撮像装置６の前回処理された画像から検出された人物領域のうち、今回の人物領域と同一の人物によるものと判断できる人物領域を対応付ける。追跡手段３５は、前回処理した画像中の人物領域と対応付けられない人物領域が存在する場合、監視エリア内に新たに出現した人物による人物領域とする。また、追跡手段３５は、前回までに追跡されていた人物領域に対して、今回の画像中に対応付けられる人物領域がない場合、当該人物領域の人物は監視エリア外に出たと判断し、当該人物領域に対する追跡を終了する。 Next, the tracking unit 35 will be described. The tracking unit 35 tracks a moving object existing in the monitoring area. Specifically, the tracking unit 35 associates the person area extracted by the moving object extraction unit 32 with a person area that can be determined to be the same person among the person areas in the previously processed image. That is, tracking of a person area is realized by associating image areas of the same person with images taken at different times. The size, shape, and texture of the person area may be used for the person area association. The tracking unit 35 may track a person area not only between images captured by the same imaging device 6 but also between images captured by different imaging devices 6. That is, the tracking unit 35 tracks the person even when a person outside the imaging range of a certain imaging device 6 appears in the imaging range of another imaging device 6 adjacent to the imaging device. May be. In this case, the tracking unit 35 refers to the imaging device information 23 stored in the storage unit 2. Then, the tracking unit 35 associates a person area that can be determined to be from the same person as the current person area among the person areas detected from the previously processed image of the imaging device 6 whose installation position is adjacent. If there is a person area that is not associated with the person area in the previously processed image, the tracking unit 35 sets the person area as a person newly appearing in the monitoring area. Further, when there is no person area associated in the current image with respect to the person area tracked up to the previous time, the tracking unit 35 determines that the person in the person area has moved out of the monitoring area, and The tracking for the person area is terminated.
次に、抽出特徴選択手段３６について説明する。抽出特徴選択手段３６は、移動物体の所在位置が詳細監視エリア内であれば、後述する個体特徴抽出手段３７にて個体特徴を抽出させる。また、抽出特徴選択手段３６は、移動物体の所在位置が通常監視エリア内であれば、後述する移動特徴抽出手段３８にて移動特徴を抽出させる。本実施の形態では、抽出特徴選択手段３６は、エリア判定手段３４の判定結果及び追跡手段３５の追跡結果を参照し、追跡手段３５にて追跡中の人物領域であって、エリア判定手段３４で詳細監視エリア内に所在すると判定された人物領域を個体特徴抽出手段３７に出力する。また、抽出特徴選択手段３６は、エリア判定手段３４の判定結果及び追跡手段３５の追跡結果を参照し、追跡手段３５にて追跡中の人物領域であって、エリア判定手段３４で通常監視エリア内に位置すると判定された人物領域を移動特徴抽出手段３８に出力する。 Next, the extraction feature selection unit 36 will be described. If the location of the moving object is within the detailed monitoring area, the extraction feature selection unit 36 causes the individual feature extraction unit 37 described later to extract the individual feature. In addition, if the location of the moving object is within the normal monitoring area, the extraction feature selection unit 36 causes the movement feature extraction unit 38 described later to extract the movement feature. In the present embodiment, the extracted feature selection unit 36 refers to the determination result of the area determination unit 34 and the tracking result of the tracking unit 35, and is a person region being tracked by the tracking unit 35. The person area determined to be located in the detailed monitoring area is output to the individual feature extraction means 37. The extracted feature selection unit 36 refers to the determination result of the area determination unit 34 and the tracking result of the tracking unit 35, and is a person region being tracked by the tracking unit 35. The person region determined to be located at is output to the movement feature extraction means 38.
次に、個体特徴抽出手段３７について説明する。個体特徴抽出手段３７は、詳細監視エリア内に存在する移動物体について、当該移動物体を特定できる画像特徴を抽出する。この画像特徴を個体特徴と称する。個体特徴は、移動物体の個を特定できる特徴であるので、移動物体を個別に追跡可能な特徴である。本実施の形態では、個体特徴として、人物の顔画像を抽出する例を説明する。具体的には、個体特徴抽出手段３７は、人物領域から顔の画像領域（顔領域）を抽出する。そして、個体特徴抽出手段３７は、抽出した顔領域を記録部４に出力する。ここで、画像中の人物が撮像装置６に背中を向けている場合は、当該人物の人物領域から顔領域を抽出できないことがある。この場合、個体特徴抽出手段３７は、今回の画像については、当該人物領域についての顔領域の抽出および記録部４への出力を保留し、次回の画像について処理を行うようにしてもよい。また、この場合、顔領域以外の個体特徴を抽出するようにしてもよい。なお、本実施の形態では、個体特徴抽出手段３７は、人物を特定できる個体特徴として顔領域を抽出したが、これに限らない。例えば、個体特徴抽出手段３７は、人物の服装や持ち物などの画像領域を個体特徴として抽出するようにしてもよいし、これらの複数の個体特徴を併せて抽出してもよい。また、個体特徴抽出手段３７は、個体特徴に加えて、後述する移動特徴を抽出するようにしてもよい。 Next, the individual feature extraction means 37 will be described. The individual feature extraction unit 37 extracts an image feature that can identify the moving object in the detailed monitoring area. This image feature is referred to as an individual feature. Since the individual feature is a feature that can identify the individual moving object, it is a feature that can individually track the moving object. In the present embodiment, an example of extracting a human face image as an individual feature will be described. Specifically, the individual feature extraction unit 37 extracts a face image area (face area) from the person area. Then, the individual feature extraction unit 37 outputs the extracted face area to the recording unit 4. Here, when a person in the image turns his back to the imaging device 6, a face area may not be extracted from the person area of the person. In this case, for the current image, the individual feature extraction means 37 may hold the extraction of the face area for the person area and the output to the recording unit 4 and perform the process for the next image. In this case, individual features other than the face area may be extracted. In the present embodiment, the individual feature extraction unit 37 extracts the face area as an individual feature that can identify a person, but is not limited thereto. For example, the individual feature extraction means 37 may extract an image region such as a person's clothes and belongings as an individual feature, or may extract a plurality of these individual features together. Further, the individual feature extraction means 37 may extract a moving feature described later in addition to the individual feature.
次に、移動特徴抽出手段３８について説明する。移動特徴抽出手段３８は、通常監視エリア内に存在する移動物体について、当該移動物体の移動状況を把握できる特徴を抽出する。この特徴を移動特徴と称する。移動特徴は、移動する物体であることを表す特徴、すなわち、移動物体の位置の変化に基づく特徴であるので、複数の移動物体の全体的な移動状況を把握できる特徴である。本実施の形態では、移動特徴として、人物の移動速度を抽出する例を説明する。具体的には、移動特徴抽出手段３８は、人物領域の時間的な位置の変化から当該人物の移動速度を算出する。まず、移動特徴抽出手段３８は、人物領域について、今回の画像上の位置と前回の画像上の位置から移動距離を算出する。次に、移動特徴抽出手段３８は、今回の画像と前回の画像の撮像時刻間隔を算出する。そして、移動特徴抽出手段３８は、算出した移動距離と撮像時刻間隔に基づいて、人物の移動速度を算出する。移動特徴抽出手段３８は、算出した移動速度を記録部４に出力する。なお、本実施の形態では、移動特徴抽出手段３８は、人物であることを識別できる移動特徴として移動速度を抽出したが、これに限らない。例えば、移動特徴抽出手段３８は、人物の移動方向を移動特徴として抽出するようにしてもよい。また、移動特徴抽出手段３８は、移動速度と移動方向など、複数の移動特徴を抽出するようにしてもよい。また、本実施の形態では、移動特徴抽出手段３８は、画像に基づいて移動特徴を抽出したが、これに限らない。例えば、移動特徴抽出手段３８は、位置算出手段３３で算出した所在位置や、赤外線センサなどの検知結果に基づいて移動特徴を抽出してもよい。 Next, the movement feature extraction unit 38 will be described. The moving feature extraction unit 38 extracts a feature that can grasp the moving state of the moving object in the normal monitoring area. This feature is called a movement feature. The moving feature is a feature that represents a moving object, that is, a feature that is based on a change in the position of the moving object, and is thus a feature that allows the overall movement status of a plurality of moving objects to be understood. In the present embodiment, an example in which a moving speed of a person is extracted as a moving feature will be described. Specifically, the movement feature extraction means 38 calculates the movement speed of the person from the change in the temporal position of the person area. First, the movement feature extraction unit 38 calculates the movement distance of the person region from the position on the current image and the position on the previous image. Next, the moving feature extraction unit 38 calculates the imaging time interval between the current image and the previous image. Then, the movement feature extraction unit 38 calculates the movement speed of the person based on the calculated movement distance and the imaging time interval. The movement feature extraction unit 38 outputs the calculated movement speed to the recording unit 4. In the present embodiment, the movement feature extraction unit 38 extracts the movement speed as a movement feature that can identify a person, but the present invention is not limited to this. For example, the movement feature extraction unit 38 may extract the movement direction of the person as a movement feature. Further, the movement feature extraction unit 38 may extract a plurality of movement features such as a movement speed and a movement direction. In the present embodiment, the movement feature extraction unit 38 extracts the movement feature based on the image, but the present invention is not limited to this. For example, the movement feature extraction unit 38 may extract the movement feature based on the location calculated by the position calculation unit 33 or a detection result of an infrared sensor or the like.
次に、判定手段３９について説明する。判定手段３９は、記録部４を参照し、個体特徴抽出手段３７で抽出した個体特徴に基づいて、詳細監視エリア内に存在する人物が不審な人物であるか否かを判定する。すなわち、判定手段３９は、個体特徴に基づいて、詳細監視エリア内の異常の有無を判定する。また、判定手段３９は、記録部４を参照し、移動特徴抽出手段３８で抽出した移動特徴に基づいて、監視エリア内に存在する人物の行動が異常な行動であるか否か判定する。すなわち、判定手段３９は、移動特徴に基づいて、監視エリア内の異常の有無を判定する。そして、判定手段３９は、監視エリア内に異常があると判定すると、異常が発生した旨の判定結果を出力部５に出力する。ここで、判定結果には、異常発生場所と、異常の内容が含まれている。 Next, the determination means 39 will be described. The determination unit 39 refers to the recording unit 4 and determines whether the person existing in the detailed monitoring area is a suspicious person based on the individual feature extracted by the individual feature extraction unit 37. That is, the determination unit 39 determines whether there is an abnormality in the detailed monitoring area based on the individual feature. Further, the determination unit 39 refers to the recording unit 4 and determines whether or not the action of the person existing in the monitoring area is an abnormal action based on the movement feature extracted by the movement feature extraction unit 38. That is, the determination unit 39 determines whether there is an abnormality in the monitoring area based on the movement feature. If the determination unit 39 determines that there is an abnormality in the monitoring area, the determination unit 39 outputs a determination result indicating that the abnormality has occurred to the output unit 5. Here, the determination result includes the location of the abnormality and the content of the abnormality.
次に、個体特徴を用いた異常の判定方法について説明する。本実施の形態では、判定手段３９は、人物の顔が不審な人物の顔であるか否かを判定する。具体的には、判定手段３９は、追跡手段３５にて追跡中の人物領域であって、エリア判定手段３４で詳細監視エリア内に位置すると判定された人物領域について、当該人物が不審な人物であるか否かを判定する。その際、判定手段３９は、記憶部２から読み出した異常判定データ２５と、個体特徴抽出手段３７で抽出した顔領域を比較することで詳細監視エリア内に存在する人物が不審な人物であるか否かを判定する。 Next, an abnormality determination method using individual features will be described. In the present embodiment, the determination unit 39 determines whether or not the person's face is a suspicious person's face. Specifically, the determination unit 39 is a person area that is being tracked by the tracking unit 35, and the person area that is determined to be located in the detailed monitoring area by the area determination unit 34 is a suspicious person. It is determined whether or not there is. At that time, the determination unit 39 compares the abnormality determination data 25 read from the storage unit 2 with the face area extracted by the individual feature extraction unit 37 to determine whether the person existing in the detailed monitoring area is a suspicious person. Determine whether or not.
ここで、異常判定データ２５について説明する。異常判定データ２５は、前述したように監視エリア内の異常の有無を判定する際に用いられるデータである。本実施の形態では、不審な人物の顔画像が異常判定データ２５として予め記憶されている。具体的には、不審な人物の顔画像は、指名手配犯の顔画像、覆面を被っている人物の顔画像、サングラスとマスクを身につけている人物の顔画像である。また、監視エリアにおいて、不審な行動をとった人物の顔画像を撮像装置で撮像し、不審な人物の顔画像として記憶部２に記憶してもよい。なお、本実施の形態では、異常判定データ２５として不審な人物の顔画像を記憶したが、これに限らない。例えば、個体特徴抽出手段３７にて抽出される個体特徴に応じて、不審な人物の服装の画像や不審な持ち物の画像を異常判定データ２５として記憶するようにしてもよい。 Here, the abnormality determination data 25 will be described. The abnormality determination data 25 is data used when determining whether there is an abnormality in the monitoring area as described above. In the present embodiment, a face image of a suspicious person is stored as abnormality determination data 25 in advance. Specifically, the face image of a suspicious person is a face image of a wanted person, a face image of a person wearing a cover, or a face image of a person wearing sunglasses and a mask. In addition, a face image of a person who has taken suspicious behavior in the monitoring area may be captured by the imaging device and stored in the storage unit 2 as a face image of the suspicious person. In this embodiment, a face image of a suspicious person is stored as the abnormality determination data 25, but the present invention is not limited to this. For example, an image of a suspicious person's clothes or an image of a suspicious property may be stored as the abnormality determination data 25 in accordance with the individual feature extracted by the individual feature extraction unit 37.
判定手段３９は、記憶部２から読み出した不審な人物の顔画像と、個体特徴抽出手段３７で抽出した顔領域の画像特徴を照合し、これらの画像特徴が一致すると、当該人物を不審な人物と判定する。なお、本実施の形態では、個体特徴抽出手段３７で抽出した個体特徴と、記憶部２に記憶されている異常判定データ２５を照合することで不審な人物か否かを判定したが、これに限らない。例えば、異常判定データ２５を用いずに、個体特徴抽出手段３７で抽出した個体特徴を画像解析して不審な人物か否かを判定してもよい。 The determination unit 39 compares the face image of the suspicious person read from the storage unit 2 with the image features of the face area extracted by the individual feature extraction unit 37, and if these image features match, the person is identified as a suspicious person. Is determined. In the present embodiment, it is determined whether or not the person is a suspicious person by comparing the individual feature extracted by the individual feature extraction unit 37 with the abnormality determination data 25 stored in the storage unit 2. Not exclusively. For example, without using the abnormality determination data 25, the individual features extracted by the individual feature extraction unit 37 may be image-analyzed to determine whether or not the person is a suspicious person.
次に、移動特徴を用いた異常の判定方法について説明する。本実施の形態では、判定手段３９は、監視エリア内に存在する複数の人物の移動速度から当該人物の行動が異常な行動であるか否かを判定する。具体的には、判定手段３９は、監視エリア内において、「人だかりが出来ている状態」や、「走って逃げている人物の存在」、「人物が避難している状態」を異常な行動として判定する。例えば、「人だかりが出来ている状態」は、移動速度が静止している程度（例えば、移動速度が０ｍ／ｓ）である人物が所定範囲内（例えば、半径２ｍ以内）に所定人数以上（１０人以上）存在するか否かを判定する。また、「走って逃げている人物の存在」は、所定範囲内（例えば、半径４ｍ以内）に存在する複数の人物において、他の人物の移動速度よりも所定速度以上（例えば、４ｍ／ｓ以上）速い人物が存在するか否かを判定する。また、「人物が避難している状態」は、所定範囲内（例えば、半径４ｍ以内）に存在する複数の人物の移動速度の平均値が所定速度以上（例えば、６ｍ／ｓ以上）であるか否かを判定する。なお、異常な行動の種類や判定方法は、これらの方法に限るものではない。また、本実施の形態では、判定手段３９は、監視エリア内に存在する複数の人物の移動速度から異常な行動の有無を判定したが、これに限らない。例えば、一人の人物の移動速度から異常な行動の有無を判定してもよい。この場合、判定手段３９は、算出した人物の移動速度を記録部４に順次記憶しておき、当該人物の移動速度の変化から、「歩行中に倒れて動かなくなった人物の存在」や「急に走り出した人物の存在」を異常として判定すればよい。また、本実施の形態では、判定手段３９は、移動速度に基づいて異常な行動の有無を判定したが、これに限らない。例えば、人物の移動方向に基づいて、「人物が何かを避けて移動している状態」や「周囲の人物と異なる方向に移動したこと」を異常な行動として判定するようにしてもよい。 Next, an abnormality determination method using moving features will be described. In the present embodiment, the determination unit 39 determines whether or not the action of the person is an abnormal action from the moving speeds of a plurality of persons existing in the monitoring area. Specifically, the determination means 39 determines that “a crowded state”, “the presence of a person running away”, and “a person is evacuating” as abnormal behavior in the monitoring area. judge. For example, in a “popular state”, a person whose moving speed is still (for example, moving speed is 0 m / s) is within a predetermined range (for example, within a radius of 2 m) and a predetermined number of persons (10 or more). It is determined whether or not it exists. In addition, “the presence of a person running away” is a plurality of persons existing within a predetermined range (for example, within a radius of 4 m) at a predetermined speed or more (for example, 4 m / s or more) than the moving speed of other persons. ) Determine whether there is a fast person. In the “state where the person is evacuating”, is the average value of the moving speeds of a plurality of persons existing within a predetermined range (for example, within a radius of 4 m) being equal to or higher than the predetermined speed (for example, 6 m / s or higher) Determine whether or not. Note that the types of abnormal behavior and the determination methods are not limited to these methods. Moreover, in this Embodiment, although the determination means 39 determined the presence or absence of abnormal action from the moving speed of the several person who exists in the monitoring area, it is not restricted to this. For example, the presence or absence of abnormal behavior may be determined from the movement speed of a single person. In this case, the determination unit 39 sequentially stores the calculated movement speed of the person in the recording unit 4, and from the change in the movement speed of the person, “existence of a person who has fallen down while walking” or “ The presence of a person who has started to run ”can be determined as abnormal. Moreover, in this Embodiment, although the determination means 39 determined the presence or absence of abnormal action based on a moving speed, it is not restricted to this. For example, based on the moving direction of the person, “a state in which the person is moving while avoiding something” or “moving in a direction different from the surrounding persons” may be determined as an abnormal action.
次に、出力部５について説明する。出力部５は、判定手段３９から監視エリア内に異常が発生した旨の判定結果を受け取ると、ネットワーク７経由で異常検知信号を監視センタ８に送信する。 Next, the output unit 5 will be described. When the output unit 5 receives a determination result indicating that an abnormality has occurred in the monitoring area from the determination unit 39, the output unit 5 transmits an abnormality detection signal to the monitoring center 8 via the network 7.
次に、図４を参照し、本実施形態における画像監視装置１の処理フローを説明する。図４は、画像監視装置１の処理フローチャート図である。まず、ステップＳ１では、エリア設定手段３１は、記憶部２から地図データ２１とエリア情報２２を入力する。そして、エリア設定手段３１は、エリア情報２２と地図データ２１上の位置情報（緯度・経度）を対応付けて詳細監視エリアと通常監視エリアの位置情報を設定する。 Next, a processing flow of the image monitoring apparatus 1 in the present embodiment will be described with reference to FIG. FIG. 4 is a process flowchart of the image monitoring apparatus 1. First, in step S <b> 1, the area setting unit 31 inputs the map data 21 and the area information 22 from the storage unit 2. Then, the area setting unit 31 sets the position information of the detailed monitoring area and the normal monitoring area by associating the area information 22 with the position information (latitude / longitude) on the map data 21.
ステップＳ２では、移動物体抽出手段３２は、記憶部２から撮像装置６で撮像した画像２４を入力する。なお、撮像装置６が複数設置されている場合は、画像に付与されているカメラＩＤ毎にステップＳ２からステップＳ１４までの処理を並列に行う。 In step S <b> 2, the moving object extraction unit 32 inputs the image 24 captured by the imaging device 6 from the storage unit 2. When a plurality of imaging devices 6 are installed, the processing from step S2 to step S14 is performed in parallel for each camera ID assigned to the image.
ステップＳ３では、移動物体抽出手段３２は、入力した画像２４から人物領域を検出する。そして、抽出した人物領域を位置算出手段３３と追跡手段３５に出力する。ここで、移動物体抽出手段３２は、処理対象となっている画像中の全ての人物領域を検出する。 In step S <b> 3, the moving object extraction unit 32 detects a person area from the input image 24. Then, the extracted person area is output to the position calculation means 33 and the tracking means 35. Here, the moving object extraction unit 32 detects all person regions in the image to be processed.
ステップＳ４では、位置算出手段３３は、記憶部から撮像装置情報２３を入力し、ステップＳ３で検出された全ての人物領域について、地図データ２１上における位置を算出する。 In step S4, the position calculation means 33 inputs the imaging device information 23 from the storage unit, and calculates the positions on the map data 21 for all the person areas detected in step S3.
ステップＳ５では、エリア判定手段３４は、ステップＳ３で算出された人物領域の位置情報と、ステップＳ１で設定された詳細監視エリアおよび通常監視エリアの位置情報を照合し、人物領域が詳細監視エリア内に位置するか、通常監視エリアに位置するかを判定する。 In step S5, the area determination unit 34 collates the position information of the person area calculated in step S3 with the position information of the detailed monitoring area and the normal monitoring area set in step S1, and the person area is within the detailed monitoring area. It is determined whether it is located in the normal monitoring area.
ステップＳ６では、ステップＳ３で検出された人物領域を追跡する。 In step S6, the person area detected in step S3 is tracked.
ステップＳ７では、抽出特徴選択手段３６は、ステップＳ５で判定されたエリアの種別を人物領域毎に確認する。詳細監視エリア内に位置する人物領域については、ステップＳ８に進む。そして、通常監視エリア内に位置する人物領域については、ステップＳ９に進む。 In step S7, the extraction feature selection unit 36 checks the type of area determined in step S5 for each person area. For the person region located in the detailed monitoring area, the process proceeds to step S8. And about the person area | region located in a normal monitoring area, it progresses to step S9.
ステップＳ８では、個体特徴抽出手段３７は、個体特徴として、人物領域から顔領域を抽出する。そして、個体特徴抽出手段３７は、抽出した顔領域を出力する。 In step S8, the individual feature extraction means 37 extracts a face region from the person region as the individual feature. Then, the individual feature extraction unit 37 outputs the extracted face area.
ステップＳ９では、移動特徴抽出手段３８は、移動特徴として、人物領域の移動速度を算出する。そして、個体特徴抽出手段３８は、抽出した移動速度を出力する。 In step S9, the movement feature extraction unit 38 calculates the movement speed of the person area as the movement feature. Then, the individual feature extraction means 38 outputs the extracted moving speed.
ステップＳ１０では、記録部４は、個体特徴抽出手段３７及び移動特徴抽出手段３８から出力された、個体特徴及び移動特徴を記録する。 In step S10, the recording unit 4 records the individual feature and the movement feature output from the individual feature extraction unit 37 and the movement feature extraction unit 38.
ステップＳ１１では、判定手段３９は、記録部４から顔領域を入力し、記憶部２から異常判定データ２３を入力する。そして、判定手段３９は、ステップＳ８で検出した顔領域と不審な人物の顔画像を比較し、監視エリア内の異常の有無を判定する。また、判定手段３９は、記録部４からステップＳ９で算出した移動速度を入力する。そして、判定手段３９は、移動速度に基づいて、詳細監視エリア内の異常の有無を判定する。 In step S <b> 11, the determination unit 39 inputs a face area from the recording unit 4 and inputs abnormality determination data 23 from the storage unit 2. Then, the determination unit 39 compares the face area detected in step S8 with the face image of the suspicious person, and determines whether there is an abnormality in the monitoring area. Further, the determination unit 39 inputs the moving speed calculated in step S9 from the recording unit 4. And the determination means 39 determines the presence or absence of abnormality in the detailed monitoring area based on the moving speed.
ステップＳ１２、ステップＳ１３では、ステップＳ１１にて監視エリア内に異常があると判定されたか否かを確認する。ここで、異常があると判定されていた場合、出力部５に判定結果を出力する。そして、出力部５は、監視センタ８に異常検知信号を出力し、処理をステップＳ２に移行する。また、異常が無いと判定された場合は、出力部５に判定結果を出力せず、処理をステップＳ２に移行する。 In step S12 and step S13, it is confirmed whether or not it is determined in step S11 that there is an abnormality in the monitoring area. Here, when it is determined that there is an abnormality, the determination result is output to the output unit 5. Then, the output unit 5 outputs an abnormality detection signal to the monitoring center 8, and the process proceeds to step S2. If it is determined that there is no abnormality, the determination result is not output to the output unit 5, and the process proceeds to step S2.
以上のように、本発明の画像監視システムは、詳細監視エリア内に存在する移動物体については、当該移動物体自体を特定可能な個体特徴を抽出し、当該個体特徴を用いて異常の有無を判定する。そして、通常監視エリアに存在する移動物体については、個体特徴ではなく、当該移動物体の移動状況を把握可能な移動特徴を抽出し、当該移動特徴に基づいて、異常の有無を判定する。すなわち、詳細な監視が必要な詳細監視エリアは、画像監視のレベルを高くし、通常監視エリアは、詳細監視エリアよりも画像監視のレベルを下げる。これにより、通常監視エリア内は、詳細監視エリア内よりも画像処理の負荷を抑えることが可能となり、システム全体の画像処理負荷を分散することができる。また、通常監視エリア内にいる移動物体については、当該移動物体を特定可能な個体特徴を抽出しないため、プライバシーに配慮しつつ、監視エリアを監視できる。すなわち、本発明の画像監視システムは、システム全体の画像処理の負荷を低減しつつ、プライバシーに配慮して広範囲に及ぶ監視エリアを監視することが可能となる。 As described above, the image monitoring system according to the present invention extracts, for a moving object existing in the detailed monitoring area, an individual feature that can identify the moving object itself, and determines whether there is an abnormality using the individual feature. To do. For the moving object existing in the normal monitoring area, not the individual feature but the moving feature capable of grasping the moving state of the moving object is extracted, and the presence or absence of abnormality is determined based on the moving feature. That is, the level of image monitoring is increased in a detailed monitoring area that requires detailed monitoring, and the level of image monitoring is lowered in the normal monitoring area than in the detailed monitoring area. As a result, it is possible to suppress the image processing load in the normal monitoring area more than in the detailed monitoring area, and the image processing load of the entire system can be distributed. Moreover, since the individual feature which can identify the said moving object is not extracted about the moving object in a normal monitoring area, a monitoring area can be monitored, considering privacy. That is, the image monitoring system of the present invention can monitor a wide monitoring area in consideration of privacy while reducing the image processing load of the entire system.
本実施の形態では、画像監視装置１は、移動物体として人物を検出したが、自動車を検出するようにしてもよい。この場合、まず、移動物体抽出手段３２は、自動車の画像領域（車両領域）を検出する。次に、個体特徴抽出手段３７では個体特徴として、車体の色や車種、車番を抽出し、移動特徴抽出手段３８では移動特徴として、移動速度や移動方向を抽出する。そして、判定手段３９は、抽出した個体特徴を不審車両の特徴と照合して異常の有無を判定する。また、判定手段３９は、抽出した移動特徴から不審な運転挙動か否かを判定する。 In the present embodiment, the image monitoring apparatus 1 detects a person as a moving object, but may detect a car. In this case, first, the moving object extraction means 32 detects the image area (vehicle area) of the automobile. Next, the individual feature extraction means 37 extracts the color of the vehicle body, the vehicle type, and the vehicle number as the individual characteristics, and the movement feature extraction means 38 extracts the movement speed and the movement direction as the movement features. And the determination means 39 determines the presence or absence of abnormality by collating the extracted individual feature with the feature of a suspicious vehicle. Moreover, the determination means 39 determines whether it is a suspicious driving behavior from the extracted movement feature.
本実施の形態では、詳細監視エリアと通常監視エリアで同様の追跡処理を行ったが、詳細監視エリアと通常監視エリアで人物の追跡方法を異ならせてもよい。具体的には、追跡手段３５は、詳細監視エリアでは、人物領域を個別に追跡する。そして、追跡手段３５は、通常監視エリアでは、複数の人物領域を１つのグループにまとめて追跡する。この場合、追跡手段３５は、複数の人物領域のうち所定範囲内に存在する人物領域を１つのグループ領域としてまとめ、グループ領域について追跡するようにする。そして、判定手段３９は、グループ領域の位置の時間的な変化に基づいて、異常の有無を判定する。これにより、通常監視エリアにおける画像処理の負荷を詳細監視エリアよりもさらに抑えることができる。 In the present embodiment, the same tracking process is performed in the detailed monitoring area and the normal monitoring area, but the person tracking method may be different in the detailed monitoring area and the normal monitoring area. Specifically, the tracking unit 35 tracks the person area individually in the detailed monitoring area. In the normal monitoring area, the tracking unit 35 tracks a plurality of person areas in one group. In this case, the tracking unit 35 collects the person areas existing within a predetermined range from the plurality of person areas as one group area, and tracks the group area. And the determination means 39 determines the presence or absence of abnormality based on the time change of the position of a group area | region. Thereby, the image processing load in the normal monitoring area can be further suppressed than in the detailed monitoring area.
また、追跡手段３５は、通常監視エリア内については、人物を画素単位で追跡するようにしてもよい。この場合、移動特徴抽出手段３８は、この追跡結果に基づいて画像中の動きの大きさや動きの方向を移動特徴として算出する。そして、判定手段３９は、算出した動きの大きさや動きの方向を通常時の動きと比較して異常の有無を判定すればよい。これにより、通常監視エリアにおける画像処理の負荷を詳細監視エリアよりもさらに抑えることができる。 Further, the tracking means 35 may track a person in units of pixels in the normal monitoring area. In this case, the movement feature extraction means 38 calculates the magnitude of movement and the direction of movement in the image as movement characteristics based on the tracking result. And the determination means 39 should just determine the presence or absence of abnormality by comparing the magnitude | size and direction of a motion which were calculated with the motion at the time of normal. Thereby, the image processing load in the normal monitoring area can be further suppressed than in the detailed monitoring area.
１・・・画像監視装置
２・・・記憶部
３・・・画像処理部
４・・・記録部
５・・・出力部
６・・・撮像装置
７・・・ネットワーク
８・・・監視センタ
DESCRIPTION OF SYMBOLS 1 ... Image monitoring apparatus 2 ... Memory | storage part 3 ... Image processing part 4 ... Recording part 5 ... Output part 6 ... Imaging device 7 ... Network 8 ... Monitoring center
Claims (4)
第一監視エリアと第二監視エリアに区分して前記監視エリアを記憶している記憶部と、
前記画像から移動物体像を抽出する移動物体抽出手段と、
前記移動物体像から当該移動物体を特定できる個体特徴を抽出する個体特徴抽出手段と、
前記移動物体像から当該移動物体の移動状況を把握できる移動特徴を抽出する移動特徴抽出手段と、
前記移動物体の所在位置を算出する位置算出手段と、
前記移動物体の所在位置が第一監視エリア内であれば前記個体特徴抽出手段にて個体特徴を抽出させ、前記移動物体の所在位置が第二監視エリア内であれば前記移動特徴抽出手段にて移動特徴を抽出させる抽出特徴選択手段と、
抽出された前記個体特徴と前記移動特徴を記録する記録部と、
を有したことを特徴とする画像監視システム。 An image monitoring system for monitoring a moving object photographed using images from one or a plurality of imaging devices,
A storage unit storing the monitoring area divided into a first monitoring area and a second monitoring area;
Moving object extraction means for extracting a moving object image from the image;
An individual feature extracting means for extracting an individual feature capable of specifying the moving object from the moving object image;
A moving feature extracting means for extracting a moving feature capable of grasping the moving state of the moving object from the moving object image;
Position calculating means for calculating the location of the moving object;
If the location of the moving object is within the first monitoring area, the individual features are extracted by the individual feature extraction means. If the location of the moving object is within the second monitoring area, the movement feature extraction means is used. Extraction feature selection means for extracting moving features;
A recording unit for recording the extracted individual feature and the movement feature;
An image monitoring system characterized by comprising:
The image monitoring system according to any one of claims 1 to 3, further comprising a determination unit that detects an abnormality in the monitoring area using an individual feature or a movement feature recorded in the recording unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013224136A JP6253950B2 (en) | 2013-10-29 | 2013-10-29 | Image surveillance system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013224136A JP6253950B2 (en) | 2013-10-29 | 2013-10-29 | Image surveillance system |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2015088816A true JP2015088816A (en) | 2015-05-07 |
| JP2015088816A5 JP2015088816A5 (en) | 2016-09-29 |
| JP6253950B2 JP6253950B2 (en) | 2017-12-27 |
Family
ID=53051215
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013224136A Active JP6253950B2 (en) | 2013-10-29 | 2013-10-29 | Image surveillance system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6253950B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020075429A1 (en) * | 2018-10-09 | 2020-04-16 | 古野電気株式会社 | Surroundings monitoring device and surroundings monitoring method |
| WO2020075283A1 (en) * | 2018-10-11 | 2020-04-16 | 株式会社オプティム | Abnormal person prediction system, abnormal person prediction method, and program |
| JP2020102135A (en) * | 2018-12-25 | 2020-07-02 | 清水建設株式会社 | Tracking system, tracking processing method, and program |
| JP2020107226A (en) * | 2018-12-28 | 2020-07-09 | 富士通クライアントコンピューティング株式会社 | Determination device and program |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008217602A (en) * | 2007-03-06 | 2008-09-18 | Toshiba Corp | Suspicious behavior detection system and method |
| JP3160430U (en) * | 2010-04-13 | 2010-06-24 | 小林 宏成 | Suspicious person alarm system |
| JP2010161732A (en) * | 2009-01-09 | 2010-07-22 | Toshiba Corp | Apparatus, method and system for monitoring person |
-
2013
- 2013-10-29 JP JP2013224136A patent/JP6253950B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008217602A (en) * | 2007-03-06 | 2008-09-18 | Toshiba Corp | Suspicious behavior detection system and method |
| JP2010161732A (en) * | 2009-01-09 | 2010-07-22 | Toshiba Corp | Apparatus, method and system for monitoring person |
| JP3160430U (en) * | 2010-04-13 | 2010-06-24 | 小林 宏成 | Suspicious person alarm system |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020075429A1 (en) * | 2018-10-09 | 2020-04-16 | 古野電気株式会社 | Surroundings monitoring device and surroundings monitoring method |
| CN112840641A (en) * | 2018-10-09 | 2021-05-25 | 古野电气株式会社 | Periphery monitoring device and periphery monitoring method |
| JPWO2020075429A1 (en) * | 2018-10-09 | 2021-09-02 | 古野電気株式会社 | Peripheral monitoring device and peripheral monitoring method |
| JP7346436B2 (en) | 2018-10-09 | 2023-09-19 | 古野電気株式会社 | Surrounding monitoring device and surrounding monitoring method |
| WO2020075283A1 (en) * | 2018-10-11 | 2020-04-16 | 株式会社オプティム | Abnormal person prediction system, abnormal person prediction method, and program |
| JPWO2020075283A1 (en) * | 2018-10-11 | 2021-09-02 | 株式会社オプティム | Abnormal person prediction system, abnormal person prediction method, and program |
| JP7009021B2 (en) | 2018-10-11 | 2022-01-25 | 株式会社オプティム | Abnormal person prediction system, abnormal person prediction method, and program |
| JP2020102135A (en) * | 2018-12-25 | 2020-07-02 | 清水建設株式会社 | Tracking system, tracking processing method, and program |
| JP2020107226A (en) * | 2018-12-28 | 2020-07-09 | 富士通クライアントコンピューティング株式会社 | Determination device and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6253950B2 (en) | 2017-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11157778B2 (en) | Image analysis system, image analysis method, and storage medium | |
| JP6674584B2 (en) | Video surveillance system | |
| JP6631619B2 (en) | Video monitoring system and video monitoring method | |
| US9767663B2 (en) | GPS directed intrusion system with data acquisition | |
| JP2019036872A (en) | Search support device, search support method and search support system | |
| WO2018096787A1 (en) | Person's behavior monitoring device and person's behavior monitoring system | |
| KR101541272B1 (en) | Apparatus and method for detecting terrorism using irregular motion of peoples | |
| JP2024015359A (en) | person detection system | |
| JP2007219948A (en) | User abnormality detection equipment and user abnormality detection method | |
| JP2017028561A (en) | Image monitoring system | |
| JP6253950B2 (en) | Image surveillance system | |
| KR20160074208A (en) | System and method for providing safety service using beacon signals | |
| CN112270253A (en) | High-altitude parabolic detection method and device | |
| JP5771039B2 (en) | Abandoned person detection device | |
| CN110244923B (en) | Image display method and device | |
| US10311690B2 (en) | Systems and methods for detecting motion based on a video pattern | |
| JP2012212238A (en) | Article detection device and stationary-person detection device | |
| JP2006285399A (en) | Image monitoring method and device for monitoring motion of vehicle at intersection | |
| JP2011258214A (en) | Object detector | |
| CN115909161A (en) | Monitoring information integration method and system for intelligent scenic spot | |
| JP2005284652A (en) | Video monitoring method and apparatus using moving vector | |
| KR101653820B1 (en) | System for sensing object and emergency based on thermal detective operation, and method for tracking object using the same | |
| JP2021164008A (en) | Information processing method, information processing device, program, and information processing system | |
| JPWO2015136828A1 (en) | Person detection device and person detection method | |
| JP2007140630A (en) | Tracking type monitoring system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160815 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160815 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170410 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170418 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170615 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171121 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171129 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6253950 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |