JP2018093445A - Monitoring system, monitoring method, and monitoring program - Google Patents
Monitoring system, monitoring method, and monitoring program Download PDFInfo
- Publication number
- JP2018093445A JP2018093445A JP2016237592A JP2016237592A JP2018093445A JP 2018093445 A JP2018093445 A JP 2018093445A JP 2016237592 A JP2016237592 A JP 2016237592A JP 2016237592 A JP2016237592 A JP 2016237592A JP 2018093445 A JP2018093445 A JP 2018093445A
- Authority
- JP
- Japan
- Prior art keywords
- color
- monitoring
- human body
- image
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000003384 imaging method Methods 0.000 claims abstract description 40
- 238000004040 coloring Methods 0.000 claims abstract description 26
- 238000012937 correction Methods 0.000 claims description 29
- 238000001514 detection method Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 8
- 239000003086 colorant Substances 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000005684 electric field Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
Abstract
Description
本発明は、特定空間における人を監視するための監視システム、監視方法及び監視プログラムに関する。 The present invention relates to a monitoring system, a monitoring method, and a monitoring program for monitoring a person in a specific space.
データセンタや食品工場等の特定空間においては、セキュリティを確保する必要がある。この場合、特定空間において人物を撮影し、顔認証技術を用いて、撮影した人物が作業員か否かを判定することがある。しかしながら、防塵服やマスク等を着用する場合には、人物の判定が難しい。 Security must be ensured in specific spaces such as data centers and food factories. In this case, a person may be photographed in a specific space, and it may be determined whether or not the photographed person is a worker using face authentication technology. However, it is difficult to determine a person when wearing dust-proof clothing or a mask.
そこで、監視カメラと電界通信による認証情報とを用いて人物を照合する監視システムも検討されている（例えば、特許文献１参照。）。この文献に記載の監視システムは、認証コントローラと、画像認識サーバとを備える。認証コントローラは、電界通信により認証用端末から受信した認証用情報に基づいて認証処理を実行する。画像認識サーバは、カメラによって撮影された撮影領域の画像に含まれる人物を認識し、認証用端末の位置情報とカメラの撮影領域の座標情報に基づいて、認識した人物と認証コントローラにより認証された人物とを照合する。 Therefore, a monitoring system that collates a person using a monitoring camera and authentication information by electric field communication has been studied (for example, see Patent Document 1). The monitoring system described in this document includes an authentication controller and an image recognition server. The authentication controller executes an authentication process based on the authentication information received from the authentication terminal by electric field communication. The image recognition server recognizes a person included in the image of the shooting area shot by the camera, and is authenticated by the recognized person and the authentication controller based on the position information of the authentication terminal and the coordinate information of the shooting area of the camera. Check against a person.
文献に記載の技術においては、監視カメラ及び電界通信機器等の設備が必要になる。特に、電界通信により認証用端末の位置情報を的確に取得することは容易でない。
本発明は、上記課題に鑑みてなされ、その目的は、人員の配置を効率的に把握することができる監視システム、監視方法及び監視プログラムを提供することにある。
The technology described in the literature requires equipment such as a surveillance camera and electric field communication equipment. In particular, it is not easy to accurately acquire the location information of the authentication terminal by electric field communication.
This invention is made | formed in view of the said subject, The objective is to provide the monitoring system, the monitoring method, and the monitoring program which can grasp | ascertain efficiently personnel arrangement | positioning.
・上記課題を解決する監視システムは、特定空間を撮影する撮影装置に接続された制御部を備え、前記特定空間を監視する監視システムであって、前記制御部は、前記撮影装置から、前記特定空間を撮影した撮影画像を取得し、前記撮影画像に含まれる人体画像を抽出し、前記人体画像における着色特定領域を特定し、前記着色特定領域の配色に応じて、人員の配置情報を出力する。これにより、特定空間に含まれる着色特定領域の配色に応じて人員の配置情報を出力するので、人員の配置を効率的に把握することができる。例えば、元々、撮影装置が配置されている場合、既存の設備を利用しながら、監視することができる。 The monitoring system that solves the above-described problem is a monitoring system that includes a control unit that is connected to an imaging device that captures a specific space, and that monitors the specific space. A captured image obtained by photographing a space is acquired, a human body image included in the captured image is extracted, a coloring specific area in the human body image is specified, and arrangement information of personnel is output according to the color arrangement of the coloring specific area . Thereby, since personnel arrangement information is output according to the color arrangement of the colored specific region included in the specific space, it is possible to efficiently grasp the personnel arrangement. For example, when an imaging device is originally arranged, monitoring can be performed while using existing equipment.
・上記監視システムにおいて、前記着色特定領域は、役割に応じた配色によって着色されており、前記制御部は、前記特定空間において想定される役割別の人数を記憶する作業情報記憶部に接続されており、前記制御部は、前記撮影画像において特定した配色に応じて前記人員の役割別の人数を算出し、前記算出した役割別の人数と、前記作業情報記憶部に記憶された役割別の人数との比較結果を出力することが好ましい。これにより、本来の人員配置との違いを容易に把握することができる。 In the monitoring system, the colored specific area is colored by a color scheme corresponding to a role, and the control unit is connected to a work information storage unit that stores the number of persons for each role assumed in the specific space. The control unit calculates the number of persons by role of the personnel according to the color scheme specified in the captured image, and the calculated number of persons by role and the number of roles by role stored in the work information storage unit It is preferable to output the comparison result. Thereby, it is possible to easily grasp the difference from the original personnel arrangement.
・上記監視システムにおいて、前記制御部は、基準となる基準色を記憶した基準色情報記憶部に接続されており、前記制御部は、前記撮影画像において基準色設定領域を特定し、前記基準色設定領域の検知色を取得し、前記検知色と、前記基準色情報記憶部に記憶している基準色とを比較した結果を用いて、前記着色特定領域の色補正を行なうことが好ましい。これにより、状況に応じて着色特定領域の配色が違って見える場合にも、色補正により、的確に配色を特定することができる。 In the monitoring system, the control unit is connected to a reference color information storage unit that stores a reference color serving as a reference, and the control unit specifies a reference color setting area in the captured image, and the reference color It is preferable that color detection of the color specific area is performed using a result obtained by acquiring the detection color of the setting area and comparing the detection color with the reference color stored in the reference color information storage unit. Thereby, even when the color scheme of the coloring specific region looks different depending on the situation, the color scheme can be accurately identified by the color correction.
・上記監視システムにおいて、前記制御部は、撮影装置に関連付けて色補正情報を記憶した撮影場所補正情報記憶部に接続されており、前記制御部は、前記撮影画像を撮影した撮影装置を特定し、前記撮影場所補正情報記憶部において前記撮影装置に関連付けられた色補正情報を用いて、前記着色特定領域の色補正を行なうことが好ましい。これにより、予め撮影装置に対応した色補正情報を用いて、的確に配色を特定することができる。 In the monitoring system, the control unit is connected to a shooting location correction information storage unit that stores color correction information in association with the shooting device, and the control unit specifies a shooting device that has shot the shot image. It is preferable that color correction of the specific coloring area is performed using color correction information associated with the imaging device in the imaging location correction information storage unit. Thereby, it is possible to accurately specify the color arrangement using color correction information corresponding to the photographing apparatus in advance.
・上記監視システムにおいて、前記着色特定領域として、前記人体画像における頭部位置を用いることが好ましい。これにより、人体画像における特徴部分（端部）により、着色特定領域を的確に特定することができる。 In the monitoring system, it is preferable to use a head position in the human body image as the coloring specific region. Thereby, the coloring specific area | region can be pinpointed exactly by the characteristic part (edge part) in a human body image.
本発明によれば、人員の配置を効率的に監視することができる。 According to the present invention, it is possible to efficiently monitor the arrangement of personnel.
以下、図１〜図４を用いて、監視システム、監視方法及び監視プログラムを具体化した一実施形態を説明する。
図１に示すように、本実施形態では、食品工場の作業エリア（特定空間）Ｓ０に居る人員Ｗ０の監視を行なう。
Hereinafter, an embodiment in which a monitoring system, a monitoring method, and a monitoring program are embodied will be described with reference to FIGS.
As shown in FIG. 1, in this embodiment, the person W0 in the work area (specific space) S0 of the food factory is monitored.
ここで、図３に示すように、各人員Ｗ０は、クリーンスーツ、クリーンキャップ（帽子）及びマスクを着用している。クリーンキャップは、着色特定領域として機能し、人員Ｗ０の役割に応じた色で、頭頂領域や側面領域が着色されている。具体的には、人員Ｗ０が、リーダの役割の場合には、リーダを特定する色（例えば、青色）のクリーンキャップを着用する。更に、人員Ｗ０が、作業者の役割の場合には、作業者を特定する色（例えば、赤色）のクリーンキャップを着用する。 Here, as shown in FIG. 3, each person W0 wears a clean suit, a clean cap (hat), and a mask. The clean cap functions as a colored specific region, and the top region and the side region are colored in a color according to the role of the personnel W0. Specifically, when the person W0 plays the role of a leader, a clean cap of a color (for example, blue) that identifies the leader is worn. Further, when the worker W0 is in the role of an operator, a clean cap of a color (for example, red) that identifies the operator is worn.
図１に示す監視システム１０は、撮影装置１５と、監視サーバ２０とを備えている。
撮影装置１５は、作業エリアＳ０を撮影して、撮影画像を監視サーバ２０に送信する。本実施形態の撮影装置１５は、特定空間に対して斜め上方向の位置や横方向の位置のように、人員Ｗ０を監視できる位置に配置されている。
更に、撮影装置１５は、生成した撮影画像を監視サーバ２０に送信する。撮影装置１５は、送信元を特定するための撮影装置識別子を記憶している。
A monitoring system 10 illustrated in FIG. 1 includes an imaging device 15 and a monitoring server 20.
The imaging device 15 images the work area S0 and transmits the captured image to the monitoring server 20. The imaging device 15 of the present embodiment is arranged at a position where the person W0 can be monitored, such as a position in an obliquely upward direction or a position in a lateral direction with respect to a specific space.
Furthermore, the imaging device 15 transmits the generated captured image to the monitoring server 20. The photographing device 15 stores a photographing device identifier for specifying a transmission source.
監視サーバ２０は、制御部２１、作業情報記憶部２２、色情報記憶部２３及び履歴情報記憶部２５を備えている。更に、この監視サーバ２０は、入力部２７及び表示部２８を備えている。
入力部２７は、キーボードやポインティングデバイスを備え、作業情報記憶部２２や色情報記憶部２３に記憶する情報（データ）を入力する。
表示部２８は、ディスプレイを備え、監視処理の結果を表示する。
The monitoring server 20 includes a control unit 21, a work information storage unit 22, a color information storage unit 23, and a history information storage unit 25. Further, the monitoring server 20 includes an input unit 27 and a display unit 28.
The input unit 27 includes a keyboard and a pointing device, and inputs information (data) stored in the work information storage unit 22 and the color information storage unit 23.
The display unit 28 includes a display and displays the result of the monitoring process.
制御部２１は、制御手段（ＣＰＵ、ＲＡＭ、ＲＯＭ等）を備え、後述する処理（監視段階、人体特定段階、色特定段階等の各処理）を行なう。そのために、記憶部に格納された監視プログラムを実行することにより、制御部２１は、監視部２１１及び人体特定部２１２及び色特定部２１３として機能する。 The control unit 21 includes control means (CPU, RAM, ROM, etc.), and performs processes (each process such as a monitoring stage, a human body specifying stage, and a color specifying stage) described later. For this purpose, the control unit 21 functions as the monitoring unit 211, the human body specifying unit 212, and the color specifying unit 213 by executing the monitoring program stored in the storage unit.
監視部２１１は、撮影画像を用いて、作業エリアにおける役割別の人数を特定し、作業員の状況を監視する処理を実行する。監視部２１１は、撮影装置１５の撮影装置識別子に対応して作業エリアＳ０を特定するための撮影装置管理テーブルを記憶している。 The monitoring unit 211 uses the captured image to specify the number of people in each work area by role, and executes processing for monitoring the status of the worker. The monitoring unit 211 stores a photographing device management table for specifying the work area S0 corresponding to the photographing device identifier of the photographing device 15.
人体特定部２１２は、画像において人体を特定する処理を実行する。本実施形態では、人体特定部２１２は、パターン認識により、人体認識領域を含む矩形の人体画像を特定する。そして、人体特定部２１２は、人体画像のレイアウト（座標）において、着色特定領域のクリーンキャップを含む頭部エリアを特定する着色領域特定プログラムを記憶している。本実施形態では、人体認識領域を含む矩形において、予め定められた割合で特定される領域を頭部エリアとして特定する。
色特定部２１３は、頭部エリアの色を特定する処理を実行する。
The human body specifying unit 212 executes processing for specifying a human body in the image. In the present embodiment, the human body specifying unit 212 specifies a rectangular human body image including a human body recognition area by pattern recognition. The human body specifying unit 212 stores a coloring area specifying program for specifying a head area including the clean cap of the coloring specific area in the layout (coordinates) of the human body image. In the present embodiment, in a rectangle including a human body recognition area, an area specified at a predetermined ratio is specified as a head area.
The color specifying unit 213 executes processing for specifying the color of the head area.
図２（ａ）に示すように、作業情報記憶部２２には、特定空間で行なわれる作業工程に関する作業管理情報２２０が記憶されている。作業管理情報２２０は、監視処理を行なう前に予め記憶される。作業管理情報２２０には、作業識別子、作業エリア、作業時間帯及び役割別人数が含まれる。 As shown in FIG. 2A, the work information storage unit 22 stores work management information 220 regarding work processes performed in a specific space. The work management information 220 is stored in advance before performing the monitoring process. The work management information 220 includes a work identifier, a work area, a work time zone, and the number of people by role.
作業識別子データ領域には、この作業工程を特定するための識別子に関するデータが記憶される。
作業エリアデータ領域には、この作業工程が実行されるエリア（場所）を特定するための情報（例えば識別子等）が記録されている。
In the work identifier data area, data relating to an identifier for specifying the work process is stored.
In the work area data area, information (for example, an identifier or the like) for specifying an area (location) where this work process is executed is recorded.
作業時間帯データ領域には、この作業エリアで作業工程が行なわれる時間帯（開始日時と終了日時）に関するデータが記憶される。
役割別人数データ領域には、この作業エリアで想定される作業工程に必要な役割毎の人数に関するデータが記憶される。役割別人数データ領域には、役割識別子に関連付けられた人数が記憶される。役割識別子は、各役割を特定するための識別子である。
In the work time zone data area, data relating to the time zone (start date / time and end date / time) in which the work process is performed in this work area is stored.
The number-of-people data area for each role stores data on the number of people for each role necessary for the work process assumed in this work area. The number of persons associated with the role identifier is stored in the number of persons by role data area. The role identifier is an identifier for specifying each role.
図２（ｂ）に示すように、色情報記憶部２３には、人物に割り振られた役割を特定するための色に関する色情報２３０が記憶される。この色情報２３０は、監視処理を行なう前に予め記憶されている。この色情報２３０には、役割識別子に関連付けられたラベル色情報が含まれている。 As shown in FIG. 2B, the color information storage unit 23 stores color information 230 relating to colors for specifying roles assigned to persons. The color information 230 is stored in advance before the monitoring process is performed. The color information 230 includes label color information associated with the role identifier.
役割識別子データ領域には、役割を特定するための識別子に関するデータが記録される。
ラベル色情報データ領域には、この役割識別子の役割の人員に割り当てられた配色（ラベル色）に関するデータが記録される。本実施形態では、このラベル色情報に関するデータとして、配色名と、この配色のＲＧＢ値とが記憶されている。
In the role identifier data area, data relating to an identifier for specifying a role is recorded.
In the label color information data area, data relating to the color scheme (label color) assigned to the personnel having the role identifier is recorded. In the present embodiment, a color arrangement name and an RGB value of this color arrangement are stored as data relating to the label color information.
図２（ｃ）に示すように、履歴情報記憶部２５には、撮影装置１５が撮影した画像を用いて監視した結果に関する履歴情報２５０が記憶されている。この履歴情報２５０は、監視処理が実行された場合に記録される。履歴情報２５０には、撮影日時、作業エリア、画像、役割別検出人数及び警告の有無に関するデータが含まれる。 As illustrated in FIG. 2C, the history information storage unit 25 stores history information 250 related to the result of monitoring using an image captured by the imaging device 15. This history information 250 is recorded when the monitoring process is executed. The history information 250 includes data relating to shooting date / time, work area, image, number of detected persons by role, and presence / absence of warning.
撮影日時データ領域には、監視に用いた画像が撮影された年月日及び時刻に関するデータが記録される。
作業エリアデータ領域には、画像が撮影された作業エリア（場所）を特定するための情報（例えば識別子等）が記録されている。
In the shooting date / time data area, data related to the date and time when the image used for monitoring was shot is recorded.
In the work area data area, information (for example, an identifier or the like) for specifying the work area (location) where the image is taken is recorded.
画像データ領域には、監視に用いた画像データが記録される。
役割別検出人数データ領域には、この画像から検出した役割別の人数に関するデータが記録される。
警告の有無データ領域には、この画像を用いて監視した結果、警告を行なったか否かに関するフラグデータが記録される。
Image data used for monitoring is recorded in the image data area.
In the role-specific detected number data area, data relating to the number of roles detected from this image is recorded.
In the warning presence / absence data area, flag data relating to whether or not a warning has been issued as a result of monitoring using this image is recorded.
＜監視処理＞
次に、図４を用いて、上述した監視システム１０を用いて実行する監視処理について説明する。この監視処理は、定期的に繰り返して実行される。
<Monitoring process>
Next, the monitoring process executed using the monitoring system 10 described above will be described with reference to FIG. This monitoring process is periodically repeated.
まず、図４（ａ）に示すように、監視サーバ２０の制御部２１は、画像の読込処理を実行する（ステップＳ１−１）。具体的には、制御部２１の監視部２１１は、定期的に、撮影装置１５から、作業エリアＳ０を撮影した画像を、撮影装置１５の撮影装置識別子とともに取得する。監視部２１１は、撮影装置管理テーブルを用いて、撮影装置識別子に応じた作業エリアを特定し、作業エリア、取得した日時（撮影日時）及び画像を含む履歴情報２５０を生成して、履歴情報記憶部２５に記録する。 First, as shown to Fig.4 (a), the control part 21 of the monitoring server 20 performs the reading process of an image (step S1-1). Specifically, the monitoring unit 211 of the control unit 21 periodically acquires an image of the work area S0 from the imaging device 15 together with the imaging device identifier of the imaging device 15. The monitoring unit 211 uses the imaging device management table to identify a work area corresponding to the imaging device identifier, and generates history information 250 including the work area, the acquired date and time (imaging date and time), and an image, and stores history information. Record in section 25.
次に、監視サーバ２０の制御部２１は、人体検出処理を実行する（ステップＳ１−２）。具体的には、制御部２１の人体特定部２１２は、撮影装置１５から取得した画像に含まれる輪郭形状を特定する。そして、人体特定部２１２は、人体形状のパターン認識（モデルフィッティング技術等）により、人体認識領域を含む矩形画像（図３に示す人体画像Ｒ０）を検出する。 Next, the control part 21 of the monitoring server 20 performs a human body detection process (step S1-2). Specifically, the human body specifying unit 212 of the control unit 21 specifies the contour shape included in the image acquired from the imaging device 15. Then, the human body specifying unit 212 detects a rectangular image (human body image R0 shown in FIG. 3) including the human body recognition area by pattern recognition of the human body shape (model fitting technique or the like).
例えば、図４（ｂ）における作業エリアＳ０においては、３つの人体画像を検出する。
そして、監視サーバ２０の制御部２１は、以下の処理を、検出した人体画像毎に繰り返す。
For example, in the work area S0 in FIG. 4B, three human body images are detected.
And the control part 21 of the monitoring server 20 repeats the following processes for every detected human body image.
まず、監視サーバ２０の制御部２１は、頭部特定処理を実行する（ステップＳ１−３）。具体的には、制御部２１の人体特定部２１２は、着色領域特定プログラムを用いて、特定した人体画像Ｒ０において、図３に示す頭部エリアＨ０を特定する。 First, the control part 21 of the monitoring server 20 performs head identification processing (step S1-3). Specifically, the human body specifying unit 212 of the control unit 21 specifies the head area H0 shown in FIG. 3 in the specified human body image R0 using the coloring region specifying program.
次に、監視サーバ２０の制御部２１は、色情報抽出処理を実行する（ステップＳ１−４）。具体的には、制御部２１の色特定部２１３は、特定した頭部エリアＨ０の画像のヒストグラムを解析し、１６色の代表色を抽出する。 Next, the control unit 21 of the monitoring server 20 executes color information extraction processing (step S1-4). Specifically, the color specifying unit 213 of the control unit 21 analyzes the histogram of the image of the specified head area H0 and extracts 16 representative colors.
そして、監視サーバ２０の制御部２１は、色判定処理を実行する（ステップＳ１−５）。具体的には、制御部２１の色特定部２１３は、各代表色が頭部エリアＨ０内で占める面積比と、代表色間の類似度とを用いて、頭部エリア内の支配色（ＲＧＢ値において統計上、代表される色）を特定し、この支配色に最も近いラベル色を推定する。この場合、色特定部２１３は、面積比と類似度とから、クリーンスーツの配色（例えば白色や水色）、一般的な髪色（例えば、黒色や茶色）等のノイズ色を除去し、残りの配色により、ラベル色（赤色や青色）を特定する。
以上の処理を、人体画像毎に繰り返して実行する。
And the control part 21 of the monitoring server 20 performs a color determination process (step S1-5). Specifically, the color specifying unit 213 of the control unit 21 uses the area ratio occupied by each representative color in the head area H0 and the similarity between the representative colors to determine the dominant color (RGB) in the head area. A color representative in terms of values) is specified, and the label color closest to the dominant color is estimated. In this case, the color specifying unit 213 removes noise colors such as a clean suit color (for example, white or light blue) and a general hair color (for example, black or brown) from the area ratio and the similarity, and the rest The label color (red or blue) is specified by the color scheme.
The above processing is repeated for each human body image.
次に、監視サーバ２０の制御部２１は、結果表示処理を実行する（ステップＳ１−６）。具体的には、制御部２１の監視部２１１は、人体画像毎に特定したラベル色を、ラベル色別に集計する。そして、監視部２１１は、ラベル色別の人数を、履歴情報２５０に記録し、表示部２８に表示する。 Next, the control part 21 of the monitoring server 20 performs a result display process (step S1-6). Specifically, the monitoring unit 211 of the control unit 21 adds up the label colors specified for each human body image by label color. The monitoring unit 211 records the number of people for each label color in the history information 250 and displays it on the display unit 28.
更に、監視部２１１は、読み込んだ画像を撮影した撮影装置１５に対応する作業エリアＳ０を特定し、画像の撮影日時に対応する作業時間帯を特定する。監視部２１１は、特定した作業エリアＳ０と作業時間帯とを含む作業管理情報２２０を作業情報記憶部２２において特定する。監視部２１１は、特定した作業管理情報２２０の役割別人数と、集計したラベル色別の人数とを比較する。 Furthermore, the monitoring unit 211 identifies a work area S0 corresponding to the photographing device 15 that has photographed the read image, and identifies a work time zone corresponding to the image photographing date and time. The monitoring unit 211 identifies work management information 220 including the identified work area S0 and work time zone in the work information storage unit 22. The monitoring unit 211 compares the number of persons according to the role of the identified work management information 220 with the number of persons for each tabulated label color.
ここで、役割別人数と集計されたラベル色別の人数とが一致していない場合には、制御部２１の監視部２１１は、表示部２８において、ラベル色別の人数に加えて、警告を出力し、警告「有」フラグを履歴情報２５０に記録する。また、役割別人数と集計されたラベル色別の人数とが一致している場合には、監視部２１１は、警告「無」フラグを履歴情報２５０に記録する。 Here, when the number of persons by role does not match the number of persons by the total label color, the monitoring unit 211 of the control unit 21 displays a warning on the display unit 28 in addition to the number of persons by label color. The warning “present” flag is recorded in the history information 250. In addition, when the number of roles and the number of tabulated labels match, the monitoring unit 211 records a warning “none” flag in the history information 250.
本実施形態によれば、以下のような効果を得ることができる。
（１）本実施形態では、監視サーバ２０の制御部２１は、撮影装置１５から取得した撮影画像に含まれる人体画像Ｒ０を抽出して人体検出処理を実行する（ステップＳ１−２）。制御部２１は、検出した各人体画像Ｒ０において着色特定領域のラベル色を判定する（ステップＳ１−５）。これにより、作業エリアＳ０に居る人物についての人体画像Ｒ０に含まれる頭部エリアＨ０の配色に応じて人員の配置情報を出力するので、人員の配置を効率的に把握することができる。例えば、元々、作業エリアに撮影装置１５が配置されている場合、既存の設備を利用しながら、監視することができる。
According to this embodiment, the following effects can be obtained.
(1) In this embodiment, the control part 21 of the monitoring server 20 extracts the human body image R0 contained in the captured image acquired from the imaging device 15, and performs a human body detection process (step S1-2). The control unit 21 determines the label color of the colored specific region in each detected human body image R0 (step S1-5). Thereby, since personnel arrangement information is output according to the color arrangement of the head area H0 included in the human body image R0 for the person in the work area S0, the arrangement of the personnel can be efficiently grasped. For example, when the imaging device 15 is originally arranged in the work area, monitoring can be performed while using existing equipment.
（２）本実施形態では、監視サーバ２０の制御部２１は、結果表示処理（ステップＳ１−６）において、作業情報記憶部２２において記憶している役割別人数と、集計されたラベル色別の人数とが一致していない場合には、警告を出力する。これにより、本来の人員配置との違いを容易に把握することができる。 (2) In the present embodiment, the control unit 21 of the monitoring server 20 determines the number of roles by number stored in the work information storage unit 22 in the result display process (step S1-6) and the tabulated label color. If the number of people does not match, a warning is output. Thereby, it is possible to easily grasp the difference from the original personnel arrangement.
（３）本実施形態では、着色特定領域として、人体画像Ｒ０における頭部エリアＨ０を用いる。これにより、人体画像Ｒ０における特徴部分（端部）により、着色特定領域を的確に特定することができる。 (3) In the present embodiment, the head area H0 in the human body image R0 is used as the coloring specific region. Thereby, the coloring specific region can be accurately specified by the characteristic portion (end portion) in the human body image R0.
また、上記実施形態は、以下のように変更してもよい。
・上記実施形態においては、監視サーバ２０の制御部２１は、色判定処理（ステップＳ１−５）において、頭部エリア内の支配色に最も近いラベル色を推定する。この色判定処理の前に、画像の色補正を行なってもよい。具体的には、作業エリアＳ０において、壁等に基準色設定領域を配置し、基準色設定領域を含ませた撮影画像を撮影装置１５が撮影してもよい。この場合、監視サーバ２０の制御部２１は、基準となる基準色を記憶した基準色情報記憶部に接続する。そして、制御部２１は、撮影装置１５から取得した画像において撮影された基準色設定領域の色（検知色）を特定する。制御部２１は、検知色と基準色情報記憶部に記憶している基準色とを比較して、記憶している基準色情報が、取得した基準色領域の色となるように、ラベル色として用いられる配色を補正した色補正チャートを生成する。
Moreover, you may change the said embodiment as follows.
In the above embodiment, the control unit 21 of the monitoring server 20 estimates the label color closest to the dominant color in the head area in the color determination process (step S1-5). Prior to this color determination processing, image color correction may be performed. Specifically, in the work area S0, a reference color setting area may be arranged on a wall or the like, and the shooting device 15 may take a shot image including the reference color setting area. In this case, the control unit 21 of the monitoring server 20 is connected to a reference color information storage unit that stores a reference color as a reference. Then, the control unit 21 specifies the color (detected color) of the reference color setting area captured in the image acquired from the imaging device 15. The control unit 21 compares the detected color with the reference color stored in the reference color information storage unit, so that the stored reference color information is the color of the acquired reference color region. A color correction chart in which the color scheme used is corrected is generated.
そして、制御部２１は、生成した色補正チャートの色のうち、頭部エリアＨ０における各代表色が最も近い色を、色補正チャートにおいて特定し、ラベル色を推定する。これにより、状況に応じて着色特定領域の配色が違って見える場合にも、色補正により、的確に配色を特定することができる。 And the control part 21 specifies the color with which each representative color in head area H0 is the closest in the color of the produced | generated color correction chart, and estimates a label color. Thereby, even when the color scheme of the coloring specific region looks different depending on the situation, the color scheme can be accurately identified by the color correction.
また、色補正を、撮像場所毎や撮影装置毎に行なってもよい。例えば、撮影装置毎に色補正を行なう場合には、監視サーバ２０は、各撮影装置１５の撮影装置識別子に関連付けて色補正情報を記憶した撮影場所補正情報記憶部を備える。この撮影場所補正情報記憶部は、予め、撮影装置１５から取得した基準色に基づいて、この撮影装置１５における色特性に応じて補正した色補正情報が記憶されている。制御部２１は、この撮影場所補正情報記憶部に接続される。制御部２１は、撮影装置から撮影画像を取得した場合、撮影場所補正情報記憶部に記憶された色補正情報を用いて、ラベル色を推定する。これにより、予め撮影装置１５に対応した色補正情報を用いて、的確に配色を特定することができる。なお、この色補正情報とともに、色補正チャートを用いてもよい。 Further, color correction may be performed for each imaging location or each imaging device. For example, when color correction is performed for each photographing apparatus, the monitoring server 20 includes a photographing location correction information storage unit that stores color correction information in association with the photographing apparatus identifier of each photographing apparatus 15. The shooting location correction information storage unit stores color correction information corrected in accordance with the color characteristics of the shooting device 15 based on the reference color acquired from the shooting device 15 in advance. The control unit 21 is connected to the shooting location correction information storage unit. When acquiring a captured image from the imaging apparatus, the control unit 21 estimates the label color using the color correction information stored in the imaging location correction information storage unit. Thereby, it is possible to accurately specify a color arrangement using color correction information corresponding to the photographing apparatus 15 in advance. A color correction chart may be used together with this color correction information.
・上記実施形態において、１つの作業エリアに対して１つの撮影装置１５を設けた。撮影装置１５が撮影する作業エリア（特定空間）は、１つに限られず、複数の作業エリアを撮影してもよい。この場合、制御部２１は、撮影装置１５の撮影装置識別子及び撮影方向に対応付けて作業エリアを特定する撮影装置管理テーブルを記憶する。そして、制御部２１は、撮影装置１５から、画像の撮影時の撮影方向を取得し、撮影方向に対応付けて作業エリアを特定するデータを用いて作業エリアを特定する。これにより、撮影装置１５が複数の作業エリアを撮影できる場合には、効率よく人員配置を把握することができる。 In the above embodiment, one photographing device 15 is provided for one work area. The work area (specific space) photographed by the photographing device 15 is not limited to one, and a plurality of work areas may be photographed. In this case, the control unit 21 stores an imaging device management table that specifies a work area in association with the imaging device identifier and the imaging direction of the imaging device 15. And the control part 21 acquires the imaging | photography direction at the time of imaging | photography of the image from the imaging device 15, and specifies a work area using the data which identify | isolates a work area in association with a shooting direction. Thereby, when the imaging device 15 can image a plurality of work areas, it is possible to efficiently grasp the personnel arrangement.
・上記実施形態において、監視サーバ２０の制御部２１は、結果表示処理（ステップＳ１−６）において、集計したラベル色別の人数を、表示部２８に表示し、作業情報記憶部２２において記憶している役割別人数と集計されたラベル色別の人数とが一致していない場合には、警告を出力した。結果表示は、これに限らず、画像から特定した人員の配置情報であればよく、例えば、警告を出力したエリアがある場合にのみ、表示部２８に表示したり、管理者にメールを通知したりしてもよい。 In the above embodiment, the control unit 21 of the monitoring server 20 displays the total number of people for each label color on the display unit 28 and stores it in the work information storage unit 22 in the result display process (step S1-6). A warning is output when the number of people by role does not match the total number of people by label color. The result display is not limited to this, and any arrangement information of the personnel specified from the image may be used. For example, only when there is an area where a warning is output, the result is displayed on the display unit 28 or an email is notified to the administrator. Or you may.
・上記実施形態において、監視サーバ２０の制御部２１は、頭部特定処理（ステップＳ１−３）において、人体認識領域を含む矩形の人体画像Ｒ０における頭部エリアＨ０を特定し、この頭部エリアＨ０の色判定処理（ステップＳ１−５）を実行した。着色特定領域の特定方法は、人体画像Ｒ０における座標を用いて特定できれば、上述した方法に限定されない。 In the above embodiment, the control unit 21 of the monitoring server 20 specifies the head area H0 in the rectangular human body image R0 including the human body recognition area in the head specifying process (step S1-3), and this head area H0 color determination processing (step S1-5) was executed. The method for specifying the coloring specific region is not limited to the above-described method as long as it can be specified using the coordinates in the human body image R0.
・上記実施形態においては、着色特定領域として頭部位置の頭部エリアＨ０を用いた。着色特定領域は、頭部位置に限定されず、他の人体の一部（例えば、肩、胸、背中等）を着色特定領域として用いてもよい。 In the above embodiment, the head area H0 at the head position is used as the coloring specific area. The coloring specific area is not limited to the head position, and a part of another human body (for example, shoulder, chest, back, etc.) may be used as the coloring specific area.
Ｈ０…頭部エリア、Ｒ０…人体画像、Ｓ０…作業エリア、Ｗ０…人員、１０…監視システム、１５…撮影装置、２０…監視サーバ、２１…制御部、２２…作業情報記憶部、２３…色情報記憶部、２５…履歴情報記憶部、２７…入力部、２８…表示部、２１１…監視部、２１２…人体特定部、２１３…色特定部、２２０…作業管理情報、２３０…色情報、２５０…履歴情報。 H0 ... head area, R0 ... human body image, S0 ... work area, W0 ... personnel, 10 ... monitoring system, 15 ... imaging device, 20 ... monitoring server, 21 ... control unit, 22 ... work information storage unit, 23 ... color Information storage unit 25 ... History information storage unit 27 ... Input unit 28 ... Display unit 211 ... Monitoring unit 212 ... Human body specifying unit 213 ... Color specifying unit 220 ... Work management information 230 ... Color information 250 … History information.
Claims (7)
前記制御部は、
前記撮影装置から、前記特定空間を撮影した撮影画像を取得し、
前記撮影画像に含まれる人体画像を抽出し、
前記人体画像における着色特定領域を特定し、前記着色特定領域の配色に応じて、人員の配置情報を出力することを特徴とする監視システム。 A monitoring system comprising a control unit connected to a photographing device for photographing a specific space, and monitoring the specific space,
The controller is
Obtaining a captured image of the specific space from the imaging device,
Extracting a human body image included in the captured image;
A monitoring system that specifies a coloring specific region in the human body image and outputs personnel arrangement information according to a color arrangement of the coloring specific region.
前記制御部は、前記特定空間において想定される役割別の人数を記憶する作業情報記憶部に接続されており、
前記制御部は、
前記撮影画像において特定した配色に応じて前記人員の役割別の人数を算出し、
前記算出した役割別の人数と、前記作業情報記憶部に記憶された役割別の人数との比較結果を出力することを特徴とする請求項１に記載の監視システム。 The colored specific area is colored by a color scheme according to a role,
The control unit is connected to a work information storage unit that stores the number of persons according to roles assumed in the specific space,
The controller is
According to the color scheme specified in the photographed image, calculate the number of people by role of the personnel,
The monitoring system according to claim 1, wherein a comparison result between the calculated number of roles and the number of roles is stored in the work information storage unit.
前記制御部は、
前記撮影画像において基準色設定領域を特定し、前記基準色設定領域の検知色を取得し、
前記検知色と、前記基準色情報記憶部に記憶している基準色とを比較した結果を用いて、前記着色特定領域の色補正を行なうことを特徴とする請求項１又は２に記載の監視システム。 The control unit is connected to a reference color information storage unit that stores a reference color as a reference,
The controller is
Identifying a reference color setting area in the captured image, obtaining a detection color of the reference color setting area;
3. The monitoring according to claim 1, wherein color correction of the coloring specific region is performed using a result of comparing the detected color with a reference color stored in the reference color information storage unit. system.
前記制御部は、前記撮影画像を撮影した撮影装置を特定し、前記撮影場所補正情報記憶部において前記撮影装置に関連付けられた色補正情報を用いて、前記着色特定領域の色補正を行なうことを特徴とする請求項１〜３の何れか１項に記載の監視システム。 The control unit is connected to a shooting location correction information storage unit that stores color correction information in association with the shooting device,
The control unit identifies a photographing device that has photographed the photographed image, and performs color correction of the coloring specific region using color correction information associated with the photographing device in the photographing location correction information storage unit. The monitoring system according to any one of claims 1 to 3, characterized in that:
前記制御部は、
前記撮影装置から、前記特定空間を撮影した撮影画像を取得し、
前記撮影画像に含まれる人体画像を抽出し、
前記人体画像における着色特定領域を特定し、前記着色特定領域の配色に応じて、人員の配置情報を出力することを特徴とする監視方法。 A monitoring method for monitoring the specific space using a monitoring system including a control unit connected to an imaging device that images the specific space,
The controller is
Obtaining a captured image of the specific space from the imaging device,
Extracting a human body image included in the captured image;
A monitoring method characterized by specifying a coloring specific region in the human body image and outputting personnel arrangement information according to a color arrangement of the coloring specific region.
前記制御部を、
前記撮影装置から、前記特定空間を撮影した撮影画像を取得し、
前記撮影画像に含まれる人体画像を抽出し、
前記人体画像における着色特定領域を特定し、前記着色特定領域の配色に応じて、人員の配置情報を出力する手段として機能させることを特徴とする監視プログラム。 A monitoring program for monitoring the specific space using a monitoring system including a control unit connected to an imaging device that images the specific space,
The control unit
Obtaining a captured image of the specific space from the imaging device,
Extracting a human body image included in the captured image;
A monitoring program for specifying a coloring specific area in the human body image and functioning as means for outputting personnel arrangement information according to a color arrangement of the coloring specific area.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016237592A JP6902181B2 (en) | 2016-12-07 | 2016-12-07 | Monitoring system, monitoring method and monitoring program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016237592A JP6902181B2 (en) | 2016-12-07 | 2016-12-07 | Monitoring system, monitoring method and monitoring program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018093445A true JP2018093445A (en) | 2018-06-14 |
| JP6902181B2 JP6902181B2 (en) | 2021-07-14 |
Family
ID=62564738
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016237592A Active JP6902181B2 (en) | 2016-12-07 | 2016-12-07 | Monitoring system, monitoring method and monitoring program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6902181B2 (en) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000184357A (en) * | 1998-12-10 | 2000-06-30 | Toshiba Corp | Plant monitoring device |
| JP2004363814A (en) * | 2003-06-03 | 2004-12-24 | Toshiba Plant Systems & Services Corp | References unit, and device and method for information processing |
| JP2006222899A (en) * | 2005-02-14 | 2006-08-24 | Toyota Motor Corp | Image processing apparatus and image processing method |
| JP2007094623A (en) * | 2005-09-28 | 2007-04-12 | Fujifilm Corp | Image correcting method and device, and program |
| JP2007251257A (en) * | 2006-03-13 | 2007-09-27 | Fujitsu Ten Ltd | Image recognition device, vehicle control device, image recognition method, and vehicle control method |
| JP2009231921A (en) * | 2008-03-19 | 2009-10-08 | Toshiba Corp | Image processing apparatus, image processing method, and image processing system |
| JP2010211308A (en) * | 2009-03-06 | 2010-09-24 | Fujifilm Corp | Makeup advice device, the makeup advice method and program |
| JP2013240013A (en) * | 2012-05-17 | 2013-11-28 | Canon Inc | Video processing device, management method for tracking object, and program |
| JP2014093715A (en) * | 2012-11-06 | 2014-05-19 | Canon Inc | Image display apparatus, control method and control program of the same, and imaging apparatus |
-
2016
- 2016-12-07 JP JP2016237592A patent/JP6902181B2/en active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000184357A (en) * | 1998-12-10 | 2000-06-30 | Toshiba Corp | Plant monitoring device |
| JP2004363814A (en) * | 2003-06-03 | 2004-12-24 | Toshiba Plant Systems & Services Corp | References unit, and device and method for information processing |
| JP2006222899A (en) * | 2005-02-14 | 2006-08-24 | Toyota Motor Corp | Image processing apparatus and image processing method |
| JP2007094623A (en) * | 2005-09-28 | 2007-04-12 | Fujifilm Corp | Image correcting method and device, and program |
| JP2007251257A (en) * | 2006-03-13 | 2007-09-27 | Fujitsu Ten Ltd | Image recognition device, vehicle control device, image recognition method, and vehicle control method |
| JP2009231921A (en) * | 2008-03-19 | 2009-10-08 | Toshiba Corp | Image processing apparatus, image processing method, and image processing system |
| JP2010211308A (en) * | 2009-03-06 | 2010-09-24 | Fujifilm Corp | Makeup advice device, the makeup advice method and program |
| JP2013240013A (en) * | 2012-05-17 | 2013-11-28 | Canon Inc | Video processing device, management method for tracking object, and program |
| JP2014093715A (en) * | 2012-11-06 | 2014-05-19 | Canon Inc | Image display apparatus, control method and control program of the same, and imaging apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6902181B2 (en) | 2021-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106372662B (en) | Detection method and device for wearing of safety helmet, camera and server | |
| US10949657B2 (en) | Person's behavior monitoring device and person's behavior monitoring system | |
| CN108476304B (en) | Discarded object monitoring device, discarded object monitoring system provided with same, and discarded object monitoring method | |
| JP2021114307A (en) | Information processing device, information processing method, and program | |
| JP2009246799A (en) | Image monitoring device | |
| CN111626210B (en) | Personnel dressing detection method, processing terminal and storage medium | |
| US9036875B2 (en) | Traffic control apparatus, method thereof, and program therefor | |
| JP6702506B2 (en) | Monitoring terminal device and display processing method | |
| US10558846B2 (en) | Face collation device, face collation system comprising same, and face collation method | |
| JP2016134803A (en) | Image processor and image processing method | |
| US20180220939A1 (en) | Face detection device, face detection system, and face detection method | |
| JP5538963B2 (en) | Emergency call device | |
| JP7145622B2 (en) | Information processing device, information processing device control method, subject detection system, and program | |
| KR20210077533A (en) | Method and server for face registration and face analysis | |
| US20190073810A1 (en) | Flow line display system, flow line display method, and program recording medium | |
| CN112818758A (en) | Monitoring method, system and device for electric power construction site and storage medium | |
| JP2020194493A (en) | Monitoring system for nursing-care apparatus or hospital and monitoring method | |
| KR101400604B1 (en) | Mover tracking system and a method using the same | |
| JP2018093445A (en) | Monitoring system, monitoring method, and monitoring program | |
| CN110751125A (en) | Wearing detection method and device | |
| WO2020241034A1 (en) | Monitoring system and monitoring method | |
| JP5051885B2 (en) | Person search device and person search method | |
| US11036971B2 (en) | Face recognition method and electronic device employing the method | |
| JP6785437B2 (en) | Human behavior monitoring device and human behavior monitoring system | |
| WO2021100214A1 (en) | Information processing method, information processing device, and control program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191113 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200709 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200714 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200904 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20201201 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210301 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210301 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210309 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210316 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210427 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210510 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6902181 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |