JP2022041755A - Information processor, information processing method, and program - Google Patents
Information processor, information processing method, and program Download PDFInfo
- Publication number
- JP2022041755A JP2022041755A JP2020147156A JP2020147156A JP2022041755A JP 2022041755 A JP2022041755 A JP 2022041755A JP 2020147156 A JP2020147156 A JP 2020147156A JP 2020147156 A JP2020147156 A JP 2020147156A JP 2022041755 A JP2022041755 A JP 2022041755A
- Authority
- JP
- Japan
- Prior art keywords
- person
- distance
- persons
- information processing
- queue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims description 74
- 238000003672 processing method Methods 0.000 title claims 2
- 238000001514 detection method Methods 0.000 claims abstract description 43
- 238000003384 imaging method Methods 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims description 79
- 238000000034 method Methods 0.000 claims description 44
- 238000012937 correction Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 24
- 208000015181 infectious disease Diseases 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 description 67
- 238000012545 processing Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 11
- 230000007704 transition Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000009385 viral infection Effects 0.000 description 3
- 241000287107 Passer Species 0.000 description 2
- 241000700605 Viruses Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/24—Reminder alarms, e.g. anti-loss alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
Abstract
Description
本発明は、情報処理技術に関する。 The present invention relates to information processing technology.
撮像装置に撮像された画像に含まれる人物間の距離と閾値とを比較し、当該距離が閾値未満である場合、当該距離は注意すべき距離としてアラートをユーザに通知する技術がある。特許文献1では、少数グループに属する人物と多数グループに属する人物との距離が、予め設定された閾値未満である場合、警告を出力する旨の方法が開示されている。
There is a technique for comparing a distance between people included in an image captured by an image pickup device with a threshold value, and if the distance is less than the threshold value, notify the user of an alert as the distance to be noted.
しかしながら、特許文献1では、人物間の距離が注意すべき距離かを判定するために用いる閾値が一律固定であるため、当該人物の特徴によっては本来アラートを通知しなくてよい場合であってもユーザにアラートを通知してしまうことがある。
However, in
そこで本発明は、人物間の距離が注意すべき距離かを適切にユーザへ提示できるようにすることを目的とする。 Therefore, it is an object of the present invention to appropriately present to the user whether the distance between persons is a distance to be noted.
上記課題を解決するために、例えば、本発明に係る画像処理装置は、以下の構成を備える。すなわち、撮像手段により撮像された画像に含まれる人物を検出する検出手段と、前記検出手段により検出された人物のマスク着用の有無、および、当該人物の年齢の少なくともいずれか一方を判定する判定手段と、前記画像において前記検出手段により検出された人物間の距離と、前記判定手段による判定結果とに基づき、所定の情報を出力する出力制御手段とを有する。 In order to solve the above problems, for example, the image processing apparatus according to the present invention has the following configurations. That is, a detecting means for detecting a person included in an image captured by the imaging means, a determination means for determining at least one of the presence or absence of wearing a mask of the person detected by the detecting means, and the age of the person. And an output control means for outputting predetermined information based on the distance between the persons detected by the detection means in the image and the determination result by the determination means.
本発明によれば、人物間の距離が注意すべき距離かを適切にユーザへ提示することができる。 According to the present invention, it is possible to appropriately indicate to the user whether the distance between people is a cautionary distance.
以下、添付図面を参照しながら、本発明に係る実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。 Hereinafter, embodiments according to the present invention will be described with reference to the accompanying drawings. The configuration shown in the following embodiments is merely an example, and is not limited to the configurations shown in the drawings.
(実施形態1)
図1は、本実施形態におけるシステム構成を示す図である。本実施形態におけるシステムは、情報処理装置100、撮像装置110、記録装置120、およびディスプレイ130を有している。
(Embodiment 1)
FIG. 1 is a diagram showing a system configuration in this embodiment. The system in this embodiment includes an
情報処理装置100、撮像装置110、および記録装置120は、ネットワーク140を介して相互に接続されている。ネットワーク140は、例えばETHERNET(登録商標)等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から実現される。
The
なお、ネットワーク140は、インターネットや有線LAN(Local Area Network)、無線LAN(Wireless Lan)、WAN(Wide Area Network)等により実現されてもよい。
The
情報処理装置100は、例えば、後述する情報処理の機能を実現するためのプログラムがインストールされたパーソナルコンピュータ等によって実現される。撮像装置110は、画像を撮像する装置であり、撮像手段として機能する。撮像装置110は、撮像した画像の画像データと、画像を撮像した撮像日時の情報と、撮像装置110を識別する情報である識別情報とを関連付けて、ネットワーク140を介し、情報処理装置100や記録装置120等の外部装置へ送信する。なお、本実施形態に係るシステムにおいて、撮像装置110は1つとするが、複数であってもよい。すなわち、複数の撮像装置110が、ネットワーク140を介して、情報処理装置100や記録装置120と接続されてもよい。この場合、情報処理装置100および記録装置120は、例えば、送信された画像と関連付けられた識別情報を用いて、送信された当該画像は、複数の撮像装置110のうちどの撮像装置110により撮像されたかを判断する。
The
記録装置120は、撮像装置110が撮像した画像の画像データと、画像を撮像した撮像日時の情報と、撮像装置110を識別する識別情報とを関連付けて記録する。そして、情報処理装置100からの要求に従って、記録装置120は、記録したデータ(画像、識別情報など)を情報処理装置100へ送信する。
The
ディスプレイ130は、LCD(Liquid Crystal Display)等により構成されており、撮像装置110が撮像した画像などを表示する。ディスプレイ130は、HDMI(登録商標)(High Definition Multimedia Interface)等の通信規格に準拠したディスプレイケーブルを介して情報処理装置100と接続されている。なお、ディスプレイ130、情報処理装置100、および記録装置120の少なくともいずれか2つ又は全ては、単一の筐体に設けられてもよい。
The
なお、撮像装置110により撮像された画像は、情報処理装置100にディスプレイケーブルを介して接続されたディスプレイ130に限らず、例えば、次のような外部装置が有するディスプレイに表示されてもよい。すなわち、ネットワーク140を介して接続されたスマートフォン、タブレット端末などのモバイルデバイスが有するディスプレイに表示されていてもよい。
The image captured by the
次に、図2に示す本実施形態に係る情報処理装置100の機能ブロックを参照して、本実施形態に係る情報処理装置100の情報処理について説明する。なお、図2に示す各機能は、本実施形態の場合、図9を参照して後述するROM(Read Only Memory)920とRAM(Random Access Memory)910とCPU(Central Processing Unit)900とを用いて、次のようにして実現されるものとする。すなわち、図2に示す各機能は、情報処理装置100のROM920に格納されたコンピュータプログラムを情報処理装置100のCPU900がRAM910に展開して実行することにより実現される。
Next, the information processing of the
取得部101は、撮像装置110に撮像された動画像を構成する各フレームの画像を順次取得する。なお、取得部101は、撮像装置110から送信された動画像を取得してもよいし、記録装置120から送信された動画像を取得してもよい。
The acquisition unit 101 sequentially acquires images of each frame constituting the moving image captured by the
記憶部201は、図9を参照して後述するRAM(Random Access Memory)900やHDD(Hard Disk Drive)930等によって実現でき、例えば、取得部200が取得した画像の画像データを記憶(保持)する。操作受付部202は、キーボードやマウス等の入力装置(不図示)を介して、ユーザが行った操作を受け付ける。
The
検出部203は、取得部200が取得した画像に含まれる人物を検出する処理を実行する。なお本実施形態における検出部203は、照合パターン(辞書)を使用したパターンマッチング処理を行うことで、画像における人物を検出する。なお、人物が正面向きである場合の照合パターンと横向きである場合の照合パターンなど複数の照合パターンを用いて画像から人物を検出するようにしてもよい。このように、複数の照合パターンを用いた検出処理を実行することで、検出精度の向上が期待できる。なお、照合パターンとして、斜め方向からや上方向からなど他の角度から特定の物体を見た場合の照合パターンを用意しておいてもよい。また、人物を検出するにあたって、必ずしも全身の特徴を示す照合パターン(辞書)を用意しておく必要はなく、上半身、下半身、頭部、顔、足などの人物の一部について照合パターンを用意してもよい。なお、本実施形態における検出部203は、画像から人物を検出する方法として、パターンマッチング処理を用いるが、他の従来技術を用いて画像から人物を検出してもよい。
The
追尾部204は、検出部203により検出された人物を追尾する。本実施形態における追尾部204は、検出部203が着目フレームよりも1つ以上前のフレームの画像から検出した人物と同じ人物を着目フレームの画像から検出した場合、それぞれのフレームにおける人物同士を対応づける。すなわち、時間的に近い複数のフレームについて画像間で人物を追尾する。
The
追尾部204が複数のフレームの画像にわたって同じ人物であると判断する方法として、例えば、検出された人物の移動ベクトルを用いて人物の移動予測位置と検出した人物位置が一定距離内であれば同一人物であるとする。また、追尾部204は、人物の色、形状、大きさ(画素数)等を用いて、複数のフレームの画像間で相関の高い人物を対応付けてもよい。このように、追尾部204は、複数のフレームの画像にわたって同じ人物であると判断し追尾する処理を実行できればよく、特定の方法に限定されるものではない。なお、追尾部204は、追尾する対象となる人物ごとに固有のIDを付与する。例えば、追尾部204は、着目フレームよりも1つ以上前のフレームの画像から検出部203が検出した人物に対してID“a”を付与したとする。そして、検出部203が着目フレームからも当該人物を検出した場合、追尾部204は、当該人物にも同一のID“a”を付与する。なお、追尾部204は、着目フレームにおいて新規に検出された人物が存在する場合、当該人物に対して新規に固有のIDを付与する。
As a method of determining that the
判定部205は、検出部203により画像から検出された人物のマスク着用の有無、および、当該人物の年齢の少なくともいずれか一方を判定する。なお、画像から検出された人物がマスクを着用しているか否かの判定の処理は、マスク着用の有無を判定する公知技術を用いてよい。具体的には、判定部205は、例えば、マスクを着用した人物の顔の画像を学習データとして機械学習により学習された識別器を用いて、次のような処理を実行する。すなわち、判定部205は、検出部203により画像から検出された人物の顔の画像を当該識別器に入力することで、当該人物がマスクを着用しているか否かの情報を出力として取得する。また、画像から検出された人物の年齢の判定の処理は、公知技術を用いてよい。例えば、判定部205は、年齢が異なる人物の顔の画像を学習データとして機械学習により学習された識別器に対し、検出部203により画像から検出された人物の顔の画像を入力することで、当該人物の年齢の情報を出力として取得する。
The
算出部206は、画像に含まれる人物間の距離を算出する。また、算出部206は、算出した人物間の距離と、閾値とを比較する。なお、算出部206による処理の詳細については後述する。出力制御部207は、算出部206により算出された人物間の距離と、判定部205によるマスク着用の有無および年齢の少なくともいずれか一方の判定結果とに基づき、所定の情報を出力する。
The
次に、図3および図4を参照して、本実施形態における情報処理装置100による情報処理について説明する。図3は、行列に並ぶ人物が撮像装置110により撮像される様子を示す図である。なお、本実施形態では、ガイドポール等によって列が規制され、入口と出口のある行列を想定する。利用者は、行列の入口である行列入口301から待ち行列に入場し、ガイド300に沿って進み、行列の出口である行列出口302から退場する。すなわち、待ち行列は、行列出口302を先頭に、ガイド300に沿って、入口301に向かって形成される。本実施形態における撮像装置110は、ガイド300において形成される行列を撮像するように設置されているものとする。本実施形態における情報処理装置100は、撮像装置110に撮像された行列に含まれる人物を検出し、検出した人物の数をカウントすることで、行列に並ぶ人数を取得する。なお、図2に示す例では、撮像装置110は1つであるが、複数の撮像装置110を用いて待ち行列を複数の部分に分けて撮像してもよい。この場合、検出部203は、待ち行列を分割した複数の部分各々を撮像することで得られた複数の画像各々に対し人物を検出し、算出部206は、検出された人物の数の合計を算出することで、行列人数を求めるようにしてもよい。
Next, information processing by the
次に、図4を参照して、本実施形態における情報処理装置100による情報処理について説明する。行列において、前後の人物との間隔(人物間の距離)が短いほど、人物間でウイルスの感染が広まる可能性(以下、感染可能性)が高まることがある。そこで、本実施形態における情報処理装置100は、人物間の距離に応じて、ユーザに対しアラート(所定の情報)を通知する。
Next, information processing by the
図4に示す例において、本実施形態における検出部203は、図4に示す行列を撮像した画像から、当該行列に含まれる人物を検出する。そして、算出部206は、画像における人物の検出結果に基づき、式(1)を用いて、行列における前後の人物の距離の平均Davrを算出する。
In the example shown in FIG. 4, the
Davr=L/(N-1)・・・式(1)
Lは行列長、Nは行列人数
式(1)において、「行列人数」とは行列に並ぶ人数の合計である。本実施形態において、検出部203は、撮像装置110に撮像された行列に含まれる人物を検出し、算出部206は、検出した人物の数をカウントすることで、行列人数を取得する。この場合、算出部206は、例えば、画像において設定された領域R1(領域411)から領域R5(領域415)の各々において検出部203により検出された人物の数の総和を算出し、算出した総和を行列人数Nとして取得する。なお、情報処理装置100は、例えば、次のような処理を実行することで行列人数を取得してもよい。すなわち、情報処理装置100は、行列入口301を通過した通過人数Ninから行列出口302を通過した通過人数Noutの差Nin-Noutにより行列人数を算出するようにしてよい。このとき、算出部206は、例えば、追尾部204により追尾される人物が行列入口301を通過したかを判定し、通過したと判定された人物の数を通過人数Ninとして取得する。同様に、追尾部204により追尾される人物が行列出口302を通過したかを判定し、通過したと判定された人物の数を通過人数Noutとして取得する。そして、算出部206は、取得したNinからNoutを差し引くことで、行列人数Nを取得する。
Davr = L / (N-1) ... Equation (1)
L is the length of the matrix, and N is the number of people in the matrix. In the equation (1), the "number of people in the matrix" is the total number of people in the matrix. In the present embodiment, the
また式(1)において、「行列長」とは行列の先頭から末尾までの距離を経路に沿って求めたものである。図4において、本実施形態における情報処理装置100は、画像に映る行列の経路上に領域R1から領域R5を設定し、各々の領域について行列の経路に沿った距離を保持する。例えば、ユーザ操作に従って画像上に領域Rnを設定するととともに、当該領域Rnの実空間における行列の経路に沿った距離の情報を取得する。次に、検出部203は、画像における各領域内で人物を検出する処理を実行し、算出部206は、静止している人物が存在する領域Rnのうちnが最大の領域Rendを特定する。そして、算出部206は、R1からRendまで順に経路に沿った距離を加算すると全体の行列長を求めることができる。なお行列長を求める方法としては、他にも行列待ち中の人物間の位置を個別に計測して距離を算出する手法など、他の公知技術を用いてもよい。
Further, in the equation (1), the "matrix length" is the distance from the beginning to the end of the matrix obtained along the path. In FIG. 4, the
算出部206は、更に、式(1)を求めて算出した人物間の距離の平均Davrと、閾値とを比較する。そして、出力制御部207は、平均Davrが閾値未満である場合、感染可能性が高く人物間の距離は注意すべき距離であるとして、所定の情報をユーザに通知する。一方、出力制御部207は、平均Davrが閾値以上である場合、感染可能性が低く人物間の距離は注意すべき距離でないとして、所定の情報をユーザに通知しない。なお、出力制御部207は、所定の情報として警告を示すメッセージやマークなどをディスプレイ130に表示させるようにしてもよい。また、出力制御部207は、所定の情報をユーザに通知する方法として、警告を示す音声がスピーカ(不図示)から流れるようにしてもよい。
The
なお、本実施形態における算出部206は、式(1)を用いて所定時間ごとに最新の平均Davrを算出し、算出した最新の平均Davrと閾値とを比較するようにしてもよい。そして、平均Davrが所定回数連続して閾値未満である場合、出力制御部207は、所定の情報をユーザに通知するようにしてもよい。例えば出力制御部207は、平均Davrが3回連続して閾値未満である場合、所定の情報として警告を示すメッセージをディスプレイ130に表示させる。一方、出力制御部207は、平均Davrが3回連続して閾値未満でなかった場合、警告を示すメッセージをディスプレイ130に表示させないようにしてもよい。
The
また、本実施形態における算出部206は、マスク着用の有無に応じて、平均Davrを補正してもよい。具体的には、本実施形態における算出部206は、人物がマスク着用をしている場合、ウイルスの感染可能性が低減されるとして、算出した平均Davrの値が大きくなるよう補正する。算出部206は、例えば、式(2)を用いて、平均davrを補正した値である補正平均Davr’を算出する。
Further, the
Davr’=(1+Cm)Davr・・・式(2)
但し、0≦Cm≦1
なお、式(2)におけるCmは、行列における人物のうちマスクを着用している者の割合「マスク着用率」を示す。本実施形態における判定部205は、図4に示す行列入口301から行列出口302まで経路に沿って位置する人物の各々について、マスクを着用しているかを判定する。そして、算出部206は、判定部205によりマスクを着用していると判定された人数を行列人数Nで割ることでマスク着用率Cmを算出する。式(2)に示すように、本実施形態における算出部206は、マスク着用率が高いほど、算出した人物間の距離の平均Davrの値が大きくなるよう補正することで、補正平均Davr’を算出する。そして、算出部206は、補正平均Davr’と閾値とを比較する。出力制御部207は、補正平均Davr’が閾値未満である場合、感染可能性が高く注意すべき距離であるとして、所定の情報として警告を示すメッセージをユーザに通知する。そして、出力制御部207は、補正平均Davr’が閾値以上である場合、感染可能性が低く注意すべき距離ではないとして、警告を示すメッセージをユーザに通知しない。このように、本実施形態における情報処理装置100は、人物間の距離の平均Davrをマスク着用率に応じて補正平均Davr’と閾値とを比較した結果に応じてユーザに所定の情報(アラート)を通知するようにしてもよい。このようにすることで、マスク着用率が高く本来ユーザにアラートを通知する必要がない場合、ユーザにアラートを通知してしまうことを低減することができる。言い換えれば、人物間の距離が注意すべき距離かを適応的に判定し、当該判定の結果に基づき、ユーザにアラートを通知することができる。
Davr'= (1 + Cm) Davr ... Equation (2)
However, 0 ≦ Cm ≦ 1
In addition, Cm in the formula (2) indicates the ratio "mask wearing rate" of the person wearing a mask among the persons in a procession. The
また、本実施形態における算出部206は、人物の年齢に応じて、平均Davrを補正してもよい。本実施形態において、人物の年齢が高いと、ウイルスに感染したときに重症化の可能性が高いと想定する。そこで、本実施形態における算出部206は、高齢者の数が多いほど、ユーザにアラートの通知が行われやすいよう、算出した平均Davrの値が小さくなるよう補正する。具体的には、算出部206は、例えば、式(3)を用いて、平均Davrを補正した値である補正平均Davr’を算出する。
Further, the
Davr’=(1-Ck/2)Davr・・・式(3)
但し、0≦Ck≦1
なお、式(3)におけるCkは、行列における人物のうち高齢者の割合「高齢者率」を示す。本実施形態における判定部205は、図4に示す行列入口301から行列出口302まで経路に沿った行列に並ぶ人物の各々について、年齢を判定し、判定した年齢に基づき、高齢者かを判定する。このとき、判定部205は、例えば、行列に並ぶ人物の各々について年齢を判定し、所定年齢以上の人物を高齢者と判定し、所定年齢未満の人物を高齢者ではないと判定する。なお、本実施形態において、所定年齢を70歳とするが、65歳や75歳など他の基準に従ってもよい。そして、算出部206は、判定部205により高齢者と判定された人数を行列人数Nで割ることで高齢者率Ckを算出する。式(3)に示すように、本実施形態における算出部206は、高齢者率Ckが高いほど、算出した人物間の距離の平均Davrの値が小さくなるよう補正することで、補正平均Davr’を算出する。そして、算出部206は、補正平均Davr’と閾値とを比較する。出力制御部207は、補正平均Davr’が閾値未満である場合、注意すべき距離であるとして、所定の情報をユーザに通知する。そして、出力制御部207は、補正平均Davr’が閾値以上である場合、注意すべき距離ではないとして、所定の情報をユーザに通知しない。このように、本実施形態における情報処理装置100は、人物間の距離の平均Davrを人物の年齢に応じて補正平均Davr’と閾値とを比較した結果に応じてユーザにアラートを通知するようにしてもよい。このようにすることで、人物の年齢が高いために本来ユーザにアラートを通知すべきときに、ユーザにアラートを通知されないことを低減することができる。言い換えれば、人物間の距離が注意すべき距離かを適応的に判定し、当該判定の結果に基づき、ユーザにアラートを通知することができる。
Davr'= (1-Ck / 2) Davr ... Equation (3)
However, 0 ≦ Ck ≦ 1
In addition, Ck in the formula (3) indicates the ratio of elderly people among the persons in the matrix "elderly person rate". The
なお、本実施形態における算出部206は、マスク着用の有無と人物の年齢とに応じて、平均Davrを補正してもよい。このとき、算出部206は、例えば、式(4)を用いて、算出した平均Davrを補正した補正平均Davr’を取得してもよい。
Davr’=(1+Cm)(1-Ck/2)Davr・・・式(4) 式(4)の例において、マスク着用率が高いほど平均Davrが大きくなるよう補正され、また、高齢者率が高いほど平均Davrが小さくなるよう補正される。
The
Davr'= (1 + Cm) (1-Ck / 2) Davr ... Equation (4) In the example of Equation (4), the higher the mask wearing rate, the larger the average Davr, and the elderly rate is corrected. The higher the value, the smaller the average Davr.
続いて図5を参照して、本実施形態における情報処理装置100による情報処理について説明する。なお、図5に示すフローの処理は、例えば、ユーザによる指示に従って、開始又は終了するものとする。なお、図5に示すフローチャートの処理は、例えば、情報処理装置100のROM920に格納されたコンピュータプログラムを情報処理装置100のCPU900が実行して実現される図2に示す機能ブロックにより実行されるものとする。
Subsequently, information processing by the
まず、S501にて、取得部200は、撮像装置120に撮像された画像を取得する。このとき、取得部200は、撮像装置110に撮像された動画像を構成する複数のフレームの画像のうち、1つのフレームの画像を処理対象の画像(以下、処理対象画像)として取得する。次に、S502にて、検出部203は、処理対象画像に含まれる人物を検出する。このとき、検出部203は、例えば人物の照合パターンを用いたパターンマッチング処理により、処理対象画像に含まれる人物を検出する。次に、S503にて、追尾部204は、検出部203により検出された人物を追尾する。追尾部204は、処理対象画像よりも1つ以上前のフレームの画像から検出部203により検出された人物と同じ人物が検出部203により処理対象画像から検出された場合、それぞれのフレームにおける人物同士を対応付けることで、当該人物の追尾を行う。なお、追尾部204は、追尾する対象となる人物ごとに固有のIDを付与する。例えば、追尾部204は、処理対象画像よりも1つ以上前のフレームの画像から検出部203が検出した人物に対してID“a”を付与したとする。そして、検出部203が処理対象画像からも当該人物を検出した場合、追尾部204は、当該人物にも同一のID“a”を付与する。なお、処理対象画像において新規に検出された人物が存在する場合、追尾部204は、当該人物に対して新規に固有のIDを付与する。また、記憶部201は、現在行列に並ぶ人物に対して追尾部204により付与されたIDを、図6に示す人物情報600に記憶する。なお、図6に示す人物情報600は、現在行列に並ぶ人物に関する情報が記憶(保持)される。具体的には、人物情報600において、追尾部204により付与された人物のID601と、当該人物の年齢の情報である年齢情報602と、当該人物のマスク着用の有無の情報であるマスク情報603とを関連付けて記録(保持)される。なお、人物情報600は、図6に示す例に限らず、例えば、ID601が付与された人物各々について、フレームごとの当該人物のサイズおよび位置の情報を含むようにしてもよい。S503にて、新規に検出された人物に対し固有のIDが付与された場合、記憶部201は、人物情報600のID601に新規に付与されたIDを新たに格納する。なお、本実施形態における追尾部204により追尾される人物が行列出口302を通過して行列から退場した場合、記憶部201は、当該人物に関する情報(ID601、年齢情報602、マスク情報603)を人物情報600から削除する。
First, in S501, the
次に、S504にて、判定部205は、追尾部204により追尾される人物について、マスク着用の有無を判定する。なお、S504にて、本実施形態における判定部205は、まだマスク着用の有無が判定されてない人物に対してのみ、マスク着用の有無を判定するようにしてもよい。本実施形態において、図6に示す人物情報600にて、ID601が“c”の人物のマスク情報603がブランクとなっており、ID601“c”の人物に対して未だマスク着用の有無が判定されていないことを示している。これは、当該人物の正面顔の顔画像が取得されていない場合など、適切にマスク着用の有無の判定がなされていない場合に起こり得る。S504にて、判定部205は、マスク有無の判定がなされていない人物ID“c”の人物について、マスク着用の有無の判定を行うようにしてもよい。またこの場合、判定部205は、既にマスク着用の有無の判定がなされたID601“a,b,d”の人物についてはマスク着用の有無の判定は行わない。ここで、判定部205による判定に従って人物ID“c”についてマスク着用の有無の情報が得られた場合、記憶部201は、当該マスク着用の有無の情報をマスク情報603に格納する。
Next, in S504, the
次に、S505にて、判定部205は、追尾部204により追尾される人物について、年齢を判定する。なお、S505にて、本実施形態における判定部205は、まだ年齢が判定されてない人物に対してのみ、年齢を判定するようにしてもよい。図6に示す人物情報600にて、ID601が“d”の人物の年齢情報602がブランクとなっており、ID601“d”の人物に対して未だ年齢が判定されていないことを示している。これは、当該人物の正面顔の顔画像が取得されていない場合など、適切に年齢の判定がなされていない場合に起こり得る。S505にて、判定部205は、年齢の判定がなされていない人物ID“d”の人物について、年齢の判定を行い、既に年齢の判定がなされたID601“a,b,c”の人物については年齢の判定は行わないようにしてもよい。ここで、判定部205による判定に従って人物ID“d”について年齢の情報が得られた場合、当該年齢の情報を年齢情報602に格納する。
Next, in S505, the
次に、S506にて、算出部206は、行列に並ぶ人数である行列人数Nを算出する。例えば、算出部206は、行列入口301を通過した通過人数Ninから行列出口302を通過した通過人数Noutの差Nin-Noutにより求めることができる。
Next, in S506, the
次に、S507にて、算出部206は、行列の先頭から末尾までの行列の経路に沿った距離である行列長を特定する。本実施形態における算出部206は、例えば、図4に示す例において、静止している人物が存在する領域Rnのうちnが最大の領域Rmaxを特定する。そして、領域R1~R5の各々について予め保持していた、行列の経路に沿った距離の情報に基づき、算出部206は、R1からRmaxまで順に距離を加算すると全体の行列長を求めることができる。
Next, in S507, the
次に、S508にて、算出部206は、人物間の距離の平均Davrを算出する。本実施形態における算出部206は、式(1)を用いて、平均Davrを算出するものとするが、他の方法を用いて、人物間の距離の平均Davrを算出してもよい。
Next, in S508, the
次に、S509にて、平均Davrの補正を行うか否かを判定する。例えば、平均Davrの補正を行う指示がユーザに予めされていた場合(S509にてYes)、S510へ遷移し、平均Davrの補正を行う指示がユーザにされていない場合(S509にてNo)、S511へ遷移する。S510にて、算出部206は、人物のマスク着用の有無、および、人物の年齢、の少なくともいずれか一方に基づき、平均Davrの補正を行う。ここで例えば、算出部206は、式(2)~式(4)のいずれかを用いて、平均Davrの補正を行うことで、補正平均Davr’を取得する。
Next, in S509, it is determined whether or not to correct the average Davr. For example, if the user has been instructed to correct the average Davr in advance (Yes in S509), the transition to S510 has been performed, and the user has not been instructed to correct the average Davr (No in S509). Transition to S511. In S510, the
S511にて、算出部206は、算出した平均Davr、または、平均Davrを補正した補正平均Davr’と、閾値とを比較する比較処理を実行する。なお、S510における平均Davrの補正が行われなかった場合(S509からS511へ遷移した場合)、S511にて、算出部206は、算出した平均Davrと閾値とを比較する。一方、S510における平均Davrの補正が行われた場合(S509からS510へ遷移した場合)、S511にて、算出部206は、平均Davrを補正して得られた平均Davr’と閾値とを比較する。なお、ここでの閾値は、ユーザによって予め設定されているものであり、適宜変更可能なパラメータであるものとする。
In S511, the
平均Davr(または補正平均Davr’)が閾値未満である場合(S512にてYes)、S513へ遷移し、S513にて、出力制御部207は、所定の情報として警告を示すメッセージをユーザに通知する。一方、平均Davr(または補正平均Davr’)が閾値以上である場合(S512にてNo)、S514へ遷移する。S514にて、ユーザにより終了の指示がされている場合(S514にてYes)、図5に示すフローの処理を終了する。一方、ユーザにより終了の指示がされていない場合、(S514にてNO)、S501へ遷移し、取得部200は、次に処理対象とする画像を新たに取得する。
When the average Davr (or the corrected average Davr') is less than the threshold value (Yes in S512), the transition to S513 is performed, and in S513, the
以上説明したように、本実施形態における情報処理装置100は、人物間の距離の平均Davrを算出し、人物のマスク着用の有無、および、人物の年齢、の少なくともいずれか一方に基づき、算出した平均Davrを補正する。そして、情報処理装置100は、平均Davrを補正することで得た補正平均Davr’と閾値とを比較し、比較結果に応じて、所定の情報として警告を示すメッセージをユーザに通知する。このようにすることで、人物間の距離が注意すべき距離かを適応的に判定し、当該判定の結果に基づき、ユーザにアラートを通知することができる。
As described above, the
なお、上述の説明では、情報処理装置100は、人物間の距離の平均Davrを用いて、閾値との比較結果に応じた所定の情報のユーザへの通知を実行したが、これに限らない。例えば、人物間の距離の平均ではなく、或る2人の人物間の距離だけを用いてもよい。具体的には、算出部206は、図4に示す例において、行列に並ぶ人物のうち、第1人物と、当該第1人物の前または後ろに位置する第2人物との距離Dを算出する。このとき、算出部206は、例えば、画像から検出された第1人物の位置と第2人物の位置とを特定し、画像上の第1人物の位置から第2人物の位置までの画像上の距離を距離Dとする。なお、算出部206は、画像上の第1人物の位置から第2人物までの画像上の距離を、実空間上の距離に変換し、当該実空間上の距離を距離Dとしてもよい。なお、画像上の距離を、実空間上の距離に変換する処理は、公知の技術を用いて実行するものとする。更に、判定部205は、第1人物および第2人物の各々について、マスク着用の有無、および、年齢の少なくともいずれか一方を判定する。そして、算出部206は、マスク着用の有無、および、年齢の少なくともいずれか一方に基づき、第1人物と第2人物との間の距離Dを補正する。このとき、例えば、算出部206は、式(5)を用いて、距離Dの補正を行う。
In the above description, the
D’=(1+M×Rm)(1-K×Rk)D・・・式(5)
ここで、Mは、第1人物および第2人物のうちマスクを着用している人物の割合を示し、例えば、2人ともマスクを着用していれば1、1人だけがマスクを着用していれば1/2、マスク着用者がいない場合は0となる。また、Kは、第1人物および第2人物のうち高齢者の割合を示し、例えば、2人とも高齢者であれば1、1人だけが高齢者であれば1/2、高齢者がいない場合は0となる。また、RmおよびRkは、それぞれ所定の係数を示す。ここで、例えば、RmがゼロでありRkが所定の値である場合、Kが高いほど、第1人物と第2人物との距離Dは小さくなるよう補正され、アラートが通知されやすくなる。また、Rmが所定の値でありRkがゼロである場合、Mが高いほど、第1人物と第2人物との距離Dは大きくなるよう補正され、アラートが通知されにくくなる。そして、出力制御部207は、第1人物と第2人物との距離Dを補正した距離D’が閾値未満である場合、所定の情報として警告を示すメッセージをユーザに通知し、距離D’が閾値以上である場合、当該メッセージを通知しないようにする。このように、本実施形態における情報処理装置100は、或る人物(第1人物)と他の人物(第2人物)との間の距離を、マスク着用の有無および年齢の少なくともいずれか一方の判定結果に基づき、補正する。そして、情報処理装置100は、第1人物および第2人物の間の距離を補正した補正距離と閾値との比較結果に応じて、所定の情報をユーザに通知する。このようにすることで、人物間の距離が注意すべき距離かを適応的に判定し、当該判定の結果に基づき、ユーザにアラートを通知することができる。
D'= (1 + M × Rm) (1-K × Rk) D ... Equation (5)
Here, M indicates the ratio of the person wearing the mask among the first person and the second person. For example, if both people are wearing masks, only one person is wearing the mask. If there is no mask wearer, it will be 1/2, and if there is no mask wearer, it will be 0. Further, K indicates the ratio of elderly people among the first person and the second person, for example, 1 if both are elderly, 1/2 if only 1 person is elderly, and no elderly person. In the case, it becomes 0. Further, Rm and Rk each indicate a predetermined coefficient. Here, for example, when Rm is zero and Rk is a predetermined value, the higher K is, the smaller the distance D between the first person and the second person is corrected, and the alert is more likely to be notified. Further, when Rm is a predetermined value and Rk is zero, the higher M is, the larger the distance D between the first person and the second person is corrected, and the alert is less likely to be notified. Then, when the distance D'corrected for the distance D between the first person and the second person is less than the threshold value, the
(実施形態2)
実施形態1における情報処理装置100では、マスク着用率や人物の年齢に応じて人物間の距離を補正し、補正後の人物間の距離と閾値とを比較したが、実施形態2では、人物間の距離の比較対象となる閾値を補正する。すなわち、実施形態2における情報処理装置100は、人物のマスク着用率や人物の年齢に応じて閾値を補正し、補正した閾値と人物間の距離とを比較し、比較した結果に応じて、所定の情報として警告を示すメッセージをユーザに通知する。なお、実施形態1と異なる部分を主に説明し、実施形態1と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。
(Embodiment 2)
In the
図4に示す例において、本実施形態における算出部206は、式(1)を用いて、行列における前後の人物の距離の平均Davrを算出する。なお、平均Davrを算出する処理は、実施形態1と同様であるため説明を省略する。そして、本実施形態における算出部206は、式(6)を用いて閾値rの補正することで、閾値r’を取得する。
In the example shown in FIG. 4, the
閾値r’=r-Cm*Rm+Ck*Rk・・・式(6)
なお、式(5)と同様、Cmはマスク着用率、Ckは高齢者率を示し、また、RmおよびRkはそれぞれ所定の係数を示す。ここで、例えば、RmがゼロでありRkが所定の値である場合、高齢者率Ckが高いほど、閾値rは大きくなるよう補正される。つまり、高齢者率Ckが高いほど、閾値rが大きくなるため、アラートがユーザに通知されやすくなる。また、Rmが所定の値でありRkがゼロである場合、マスク着用率Cmが高いほど、閾値rは小さくなるよう補正される。言い換えれば、マスク着用率が高いほど、閾値rが小さくなるよう補正されるため、アラートがユーザに通知されにくくなる。なお、RmおよびRkのそれぞれが所定の値を有するようにしてもよい。すなわち、マスク着用率および高齢者率の両方に閾値r’が依存するようにしてもよい。
Threshold r'= r-Cm * Rm + Ck * Rk ... Equation (6)
As in the formula (5), Cm indicates the mask wearing rate, Ck indicates the elderly rate, and Rm and Rk indicate predetermined coefficients, respectively. Here, for example, when Rm is zero and Rk is a predetermined value, the threshold value r is corrected to be larger as the elderly rate Ck is higher. That is, the higher the elderly rate Ck, the larger the threshold value r, so that the alert is more likely to be notified to the user. Further, when Rm is a predetermined value and Rk is zero, the higher the mask wearing rate Cm, the smaller the threshold value r is corrected. In other words, the higher the mask wearing rate, the smaller the threshold value r is corrected, so that the alert is less likely to be notified to the user. In addition, each of Rm and Rk may have a predetermined value. That is, the threshold value r'may depend on both the mask wearing rate and the elderly rate.
算出部206は、人物間の距離の平均Davrと、補正後の閾値r’とを比較する。このとき、出力制御部207は、人物間の距離の平均Davrが、補正後の閾値r’未満である場合、警告を示すメッセージをアラートとしてユーザに通知する。一方、出力制御部207は、人物間の距離の平均Davrが、補正後の閾値r’以上である場合、警告を示すメッセージをユーザに通知しない。
The
なお、上述の例では、人物間の距離の平均Davrと補正後の閾値r’とを比較したが、これに限らない。例えば、本実施形態における算出部206は、或る人物(第1人物)と他の人物(第2人物)との距離Dと、補正後の閾値r’とを比較するようにしてもよい。このとき、出力制御部207は、第1人物と第2人物との間の距離Dが、補正後の閾値r’未満である場合、警告を示すメッセージをアラートとしてユーザに通知する。一方、出力制御部207は、第1人物と第2人物との間の距離Dが、補正後の閾値r’以上である場合、警告を示すメッセージをユーザに通知しない。
In the above example, the average Davr of the distance between people and the corrected threshold value r'are compared, but the present invention is not limited to this. For example, the
このように本実施形態における情報処理装置100は、人物の年齢および人物のマスク着用の有無、の少なくともいずれか一方に基づき補正した閾値と、人物間の距離(平均Davrや距離D)とを比較し、当該比較の結果に応じて、ユーザにアラートを通知する。このようにすることで、人物間の距離が注意すべき距離かを適応的に判定し、当該判定の結果に基づき、ユーザにアラートを通知することができる。
As described above, the
(実施形態3)
実施形態3における情報処理装置100は、行列長や待ち人数の情報に加え、待ち時間の情報を用いて、人物間の距離は注意すべき距離かを示す指標である注意度を算定する方法について説明する。なお、注意度が低いほど、人物間の距離は注意すべき距離ではなく、注意度が高いほど、人物間の距離は注意すべき距離となる。例えば、行列において、前後の人物との間隔が短いほど、また、待ち時間が長いほど、感染可能性が高まる場合が考えられるため、注意度が高くなる。なお、上述の各実施形態と異なる部分を主に説明し、上述の各実施形態と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。
(Embodiment 3)
The
本実施形態における算出部206は、式(7)を用いて、注意度Rを算出する。
The
R=C1×Tavr/Davr・・・式(7)
式(7)において、人物間の距離の平均Davrは式(1)により求める。また、Tavrは、待ち行列の待ち時間を推定した結果である「推定待ち時間」を示し、図4に示す例において、或る人物が行列入口301から行列に入場してから行列出口302から退場するまでの時間を推定した結果に対応する。また、定数C1は、注意度Rを所定の範囲におさめるための正規化係数である。
R = C1 × Tavr / Davr ... Equation (7)
In the formula (7), the average Davr of the distance between people is obtained by the formula (1). Further, Tavr indicates an "estimated waiting time" which is the result of estimating the waiting time of the queue. In the example shown in FIG. 4, a person enters the line from the
ここで、図4を参照して、推定待ち時間Tavrを算出する方法について説明する。図4に示す例において、本実施形態における算出部206は、或る所定時間内に行列出口302を通過して行列から退場した人物の数を取得する。そして、算出部206は、取得した人物の数を所定時間で割ることで、単位時間当たりに行列から退場する人物の数を算出する。このとき、単位時間当たりに行列から退場する人物の数を退場頻度とする。そして算出部206は、行列入口301から行列出口302まで経路に沿って形成される行列に並ぶ人物の数である行列人数Nを取得する。行列人数Nの算出方法については、実施形態1と同様であるため説明を省略する。算出部206は、行列人数Nを退場頻度で割ることで、推定待ち時間Tavrを算出する。
Here, a method of calculating the estimated waiting time Tavr will be described with reference to FIG. In the example shown in FIG. 4, the
なお、推定待ち時間Tavrを算出する方法は、他の公知技術を用いてもよい。例えば、追尾部204は、行列入口301から行列出口302まで人物を追尾し、算出部206は、当該人物が行列入口301から行列出口302まで移動するのに要した移動時間を取得する。そして、算出部206は、複数の人物の各々について取得した移動時間の平均値を算出し、当該平均値を推定待ち時間Tavrとして取得してもよい。
As a method for calculating the estimated waiting time Tavr, another known technique may be used. For example, the
そして、本実施形態における算出部206は、式(7)を用いて算出した注意度Rと、閾値とを比較する比較処理を実行する。出力制御部207は、注意度Rが閾値未満である場合、人物間の距離は注意すべき距離でないとして、警告を示すメッセージをアラートとしてユーザに通知しない。一方、出力制御部207は、注意度Rが閾値以上である場合、人物間の距離は注意すべき距離であるとして、警告を示すメッセージをアラートとしてユーザに通知する。なお、本実施形態における算出部206は、式(7)を用いて、所定時間ごとに最新の注意度Rを算出し、算出した最新の注意度Rと閾値とを比較するようにしてもよい。そして、注意度Rが所定回数連続して閾値以上である場合、出力制御部207は、警告を示すメッセージをアラートとしてユーザに通知するようにしてもよい。例えば出力制御部207は、注意度Rが3回連続して閾値以上である場合、警告を示すメッセージをディスプレイ130に表示させる。一方、出力制御部207は、注意度Rが3回連続して閾値以上でなかった場合、警告を示すメッセージをディスプレイ130に表示させない。
Then, the
また、本実施形態における算出部206は、マスク着用の有無に応じて注意度Rを補正してもよい。具体的には、本実施形態における算出部206は、人物がマスク着用をしている場合、ウイルスの感染可能性が低減されるとして、算出した注意度Rの値が小さくなるよう補正する。算出部206は、例えば、式(8)を用いて、注意度Rを補正した値である補正注意度R’を算出する。
Further, the
R’=R/(1+Cm)・・・式(8)
実施形態1と同様、Cmは行列に並ぶ人物のマスク着用率を示す。また式(8)の例では、行列に並ぶ全ての人物がマスクを着用した場合、行列の注意度Rが半分となる場合を想定している。
R'= R / (1 + Cm) ... Equation (8)
Similar to the first embodiment, Cm indicates the mask wearing rate of the persons in a line. Further, in the example of the equation (8), it is assumed that the attention level R of the matrix is halved when all the persons in the matrix wear masks.
また、本実施形態における算出部206は、人物の年齢に応じて、注意度Rを補正するようにしてもよい。ここで、行列に並ぶ人物が高齢者である場合、ウイルスに感染すると重症化の可能性が比較的高いと想定する。そこで、本実施形態における算出部206は、高齢者の数が多いほど、ユーザにアラートの通知が行われやすいよう、算出した注意度Rの値が大きくなるよう補正する。具体的には、算出部206は、例えば、式(9)を用いて、注意度Rを補正した値である補正注意度R’を算出する。
Further, the
R’=R*(1+Ck/2)・・・式(9)
なお、Ckは実施形態1と同様、行列に並ぶ人物のうち高齢者の割合である高齢者率を示す。
R'= R * (1 + Ck / 2) ... Equation (9)
As in the first embodiment, Ck indicates the elderly rate, which is the ratio of the elderly among the persons in the line.
また、本実施形態における算出部206は、人物のマスク着用の有無および人物の年齢に基づき、注意度Rを補正するようにしてもよい。このとき、算出部206は、例えば、式(10)を用いて、注意度Rを補正した補正注意度を算出する。
Further, the
R’=R*(1-Cm/2+Ck/2)・・・式(10)
式(10)の例では、行列に並ぶ人物のマスク着用率が高いほど注意度は低くなり、また、行列に並ぶ人物のうち高齢者の数が多いほど注意度は大きくなる。
R'= R * (1-Cm / 2 + Ck / 2) ... Equation (10)
In the example of the formula (10), the higher the mask wearing rate of the people in the line, the lower the degree of attention, and the larger the number of elderly people in the line, the higher the degree of attention.
以上説明したように、算出部206は、人物のマスク着用の有無、および人物の年齢、の少なくともいずれか一方に基づき、算出した注意度Rを補正することで補正注意度R’を算出する。そして、算出部206は、注意度Rを補正することで取得した補正注意度R’と閾値とを比較する比較処理を実行する。出力制御部207は、補正注意度R’が閾値未満である場合、人物間の距離は注意すべき距離でないとして、警告を示すメッセージをアラートとしてユーザに通知しない。一方、出力制御部207は、補正注意度R’が閾値以上である場合、人物間の距離は注意すべき距離であるとして、警告を示すメッセージをアラートとしてユーザに通知する。このように、本実施形態における情報処理装置100は、人物のマスク着用の有無、および、人物の年齢の少なくともいずれか一方に基づき注意度Rを補正し、補正して得られた補正注意度R’と閾値との比較の結果に応じて、ユーザにアラートを通知する。このようにすることで、人物間の距離が注意すべき距離かを適応的に判定し、当該判定の結果に基づき、ユーザにアラートを通知することができる。
As described above, the
(実施形態4)
実施形態4における情報処理装置100は、行列中の人物の各々について、当該人物の周辺の人物との距離を算出し、算出した距離に基づき、行列の密集度を算出する。そして、情報処理装置100は、算出した密集度と閾値とを比較した結果に応じて、ユーザにアラートを通知する。なお、上述の各実施形態と異なる部分を主に説明し、上述の各実施形態と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。
(Embodiment 4)
The
図8は、本実施形態における人物間の距離の算出方法を説明するための図である。行列において先頭に位置する人物P1(人物711)から順に並んでいるものとする。ここでi番目の人物の位置をPi(x,y)とすると、i番目の人物とj番目の人物の距離はDij=|Pi―Pj|である。なお、人物の位置は画面上の位置でもよいし、実空間上に変換した位置でもよい。つぎに、人物iについて、周囲の人物との距離が所定の値Dth未満の人数を、Ni人と定義すると、
Ni=COUNTIF(Dij<Dth),(j≠i、j=1、2、・・・n) ... 式(11)
と表記できる。なお、nは、待ち行列に並ぶ人物の数を示すものとする。また所定の値Dthは、例えば1.8mなど予めユーザに指定された数値とする。ここで行列の密集度Denを、周囲の人物との距離がDth未満の延べ人数とすると、
Den=ΣNi,(i=1、2、・・・n) 式(12)
である。そして、算出部206は、算出した密集度Denと閾値とを比較し、密集度Denが閾値以上である場合、行列における人物間の距離は注意すべき距離であると判定する。そして、出力制御部207は、ユーザにアラートを通知する。一方、算出部206は、算出した密集度Denが閾値未満である場合、行列における人物間の距離は注意すべき距離ではないと判定する。そして、出力制御部207は、ユーザにアラートを通知する。
FIG. 8 is a diagram for explaining a method of calculating the distance between persons in the present embodiment. It is assumed that the person P1 (person 711) located at the head of the matrix is arranged in order. Here, assuming that the position of the i-th person is Pi (x, y), the distance between the i-th person and the j-th person is Dij = | Pi-Pj |. The position of the person may be a position on the screen or a position converted into a real space. Next, for person i, if the number of people whose distance to the surrounding people is less than the predetermined value Dth is defined as Ni people,
Ni = COUNTIF (Dij <Dth), (j ≠ i, j = 1, 2, ... n). .. .. Equation (11)
Can be written as. Note that n indicates the number of people in the queue. Further, the predetermined value Dth is a numerical value specified in advance by the user, for example, 1.8 m. Here, assuming that the density Den of the matrix is the total number of people whose distance to the surrounding people is less than Dth,
Den = ΣNi, (i = 1, 2, ... n) Equation (12)
Is. Then, the
また、本実施形態における算出部206は、i番目の人物とj番目の人物との距離Dijを算出し、更に、マスク着用の有無および年齢の少なくともいずれか一方に基づき、算出したDijを補正してもよい。具体的には、算出部206は、式(13)を用いて、距離Dijを補正することで補正距離Dij’を算出するようにしてもよい。
Further, the
Dij’=(1+Mij×Rm)(1-Kij×Rk)Dij・・・・式(13)
なお、ここでのMijは、i番目およびj番目の2人の人物のうちマスクを着用している人物の割合を示し、例えば、2人ともマスクを着用していれば1、1人だけがマスクを着用していれば1/2、マスク着用者がいない場合は0となる。また、Kijは、i番目およびj番目の2人の人物のうち高齢者の割合を示し、例えば、2人とも高齢者であれば1、1人だけが高齢者であれば1/2、高齢者がいない場合は0となる。また、RmおよびRkはそれぞれ所定の係数を示す。ここで、例えば、RmがゼロでありRkが所定の値である場合、高齢者率Kijが高いほど、i番目の人物とj番目の人物との距離Dijは小さくなるよう補正される。すなわち、高齢者率Kijが高いほど、アラートがユーザに通知されやすいようにする。また、Rmが所定の値でありRkがゼロである場合、マスク着用率Mijが高いほど、i番目の人物とj番目の人物との距離Dijは大きくなるよう補正される。言い換えれば、マスク着用率Mijが高いほど、アラートがユーザに通知されにくくなる。
Dij'= (1 + Mij × Rm) (1-Kij × Rk) Dij ... Equation (13)
In addition, Mij here indicates the ratio of the person wearing a mask among the two people of the i-th and j-th, for example, if both of them are wearing masks, only one person is wearing a mask. If you are wearing a mask, it will be 1/2, and if there is no mask wearer, it will be 0. In addition, Kij indicates the ratio of elderly people among the two people at the i-th and j-th, for example, 1 if both are elderly, 1/2 if only 1 is elderly, and elderly. If there is no person, it will be 0. Further, Rm and Rk each indicate a predetermined coefficient. Here, for example, when Rm is zero and Rk is a predetermined value, the higher the elderly rate Kij, the smaller the distance Dij between the i-th person and the j-th person is corrected. That is, the higher the elderly rate Kij, the easier it is for the user to be notified of the alert. Further, when Rm is a predetermined value and Rk is zero, the higher the mask wearing rate Mij, the larger the distance Dij between the i-th person and the j-th person is corrected. In other words, the higher the mask wearing rate Mij, the less likely it is that the alert will be notified to the user.
つぎに、i番目の人物について、補正距離Dij’が所定の値Dth未満の人数を、Ni’人と定義すると、
Ni’=COUNTIF(Dij’<Dth),(j≠i、j=1、2、・・・n) ... 式(14)
と表記できる。ここで行列の密集度Den’を、補正距離Dij’がDth未満の延べ人数とすると、
Den’=ΣNi’(i=1、2、・・・n) 式(15)
である。そして、算出部206は、補正距離Dij’に基づき算出した密集度Den’と閾値とを比較し、密集度Den’が閾値以上である場合、行列における人物間の距離は注意すべき距離であると判定する。そして、出力制御部207は、ユーザにアラートを通知する。一方、算出部206は、算出した密集度Den’が閾値未満である場合、行列における人物間の距離は注意すべき距離ではないと判定する。そして、出力制御部207は、ユーザにアラートを通知しない。このようにすることで、人物間の距離が注意すべき距離かを適応的に判定し、当該判定の結果に基づき、ユーザにアラートを通知することができる。
Next, for the i-th person, if the number of people whose correction distance Dij'is less than the predetermined value Dth is defined as Ni'person,
Ni'= COUNTIF (Dij'<Dth), (j ≠ i, j = 1, 2, ... n). .. .. Equation (14)
Can be written as. Here, assuming that the density Den'of the matrix is the total number of people whose correction distance Dij'is less than Dth, it is assumed.
Den'= ΣNi' (i = 1, 2, ... n) Equation (15)
Is. Then, the
(変形例)
以下、実施形態4の変形例として、補正距離Dij’を算出する他の方法について説明する。本変形例に係る算出部206は、i番目の人物およびj番目の人物の各々の顔の向きに基づき、行列におけるi番目の人物とj番目の人物との間の距離Dijを補正する。なお、本実施形態における判定部205は、画像から検出部203により検出された人物の顔の向きを判定するものとする。なお、顔の向きの判定は公知技術を用いてよい。例えば、情報処理装置100は、例えば、顔の向きが異なる顔画像を学習データとして機械学習により学習させた識別器を予め作成する。そして、判定部205は、例えば、検出部203により画像から検出された人物の顔画像を当該識別機に入力し、当該人物の顔の向きの情報を出力として得る。ここで、待ち行列に並ぶ人物について通常みられるような同一の向きを基準として、人物同士が互いに向き合っている場合は距離Dijが小さくなるように、逆に背中合わせの場合は距離Dijが大きくなるように補正する。
(Modification example)
Hereinafter, as a modification of the fourth embodiment, another method for calculating the correction distance Dij'will be described. The
ここで図8を参照して距離Dijを補正する処理について説明する。図8に示す例において、i番目の人物801の顔領域の中心位置からj番目の人物802の顔領域の中心位置に向けて引いた直線に対して反時計回りを正方向とする。このとき、当該直線をx軸とする単位円において、i番目の人物801の顔領域の中心を原点とした人物801の顔向きを当該直線に対する弧度Θi、j番目の人物802の顔領域の中心を原点とした人物802の顔向きを当該直線に対する弧度Θjとする。このとき、本変形例における算出部206は、式(16)を用いて、距離Dijを補正することで補正距離D’ijを算出する。
Here, the process of correcting the distance Dij will be described with reference to FIG. In the example shown in FIG. 8, the counterclockwise direction is positive with respect to the straight line drawn from the center position of the face area of the i-
D’ij={sin((Θi-Θj)/2.0)/2.0+1.0}*Dij・・・式(16)
なお、補正距離D’ijを用いて、実施形態4にて説明した式(14)および式(15)を用いて、算出部206は、密集度Den’を算出する。そして、本実施形態における出力制御部207は、密集度Den’が閾値以上である場合、行列における人物間の距離は注意すべき距離であるとして、ユーザにアラートを通知する。一方、出力制御部207は、算出した密集度Den’が閾値未満である場合、行列における人物間の距離は注意すべき距離ではないとして、ユーザにアラートを通知しない。人物間の距離が注意すべき距離かを適応的に判定し、当該判定の結果に基づき、ユーザにアラートを通知することができる。
D'ij = {sin ((Θi-Θj) /2.0)/2.0+1.0}*Dij ... Equation (16)
Using the correction distance D'ij, the
(その他の実施形態)
次に図9を参照して、各実施形態の各機能を実現するための情報処理装置100のハードウェア構成を説明する。なお、以降の説明において情報処理装置100のハードウェア構成について説明するが、記録装置120および撮像装置110も同様のハードウェア構成によって実現されるものとする。
(Other embodiments)
Next, with reference to FIG. 9, the hardware configuration of the
本実施形態における情報処理装置100は、CPU900と、RAM910と、ROM920、HDD930と、I/F940と、を有している。
The
CPU900は情報処理装置100を統括制御する中央処理装置である。RAM910は、CPU900が実行するコンピュータプログラムを一時的に記憶する。また、RAM910は、CPU900が処理を実行する際に用いるワークエリアを提供する。また、RAM910は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。
The
ROM920は、CPU900が情報処理装置100を制御するためのプログラムなどを記憶する。HDD930は、画像データ等を記録する記憶装置である。
The
I/F910は、ネットワーク140を介して、TCP/IPやHTTPなどに従って、外部装置との通信を行う。
The I /
なお、上述した各実施形態の説明では、CPU900が処理を実行する例について説明するが、CPU900の処理のうち少なくとも一部を専用のハードウェアによって行うようにしてもよい。例えば、ディスプレイ130にGUI(GRAPHICAL USER INTERFACE)や画像データを表示する処理は、GPU(GRAPHICS PROCESSING UNIT)で実行してもよい。また、ROM920からプログラムコードを読み出してRAM910に展開する処理は、転送装置として機能するDMA(DIRECT MEMORY ACCESS)によって実行してもよい。
In the description of each of the above-described embodiments, an example in which the
なお、本発明は、上述の実施形態の1以上の機能を実現するプログラムを1つ以上のプロセッサが読出して実行する処理でも実現可能である。プログラムは、ネットワーク又は記憶媒体を介して、プロセッサを有するシステム又は装置に供給するようにしてもよい。また、本発明は、上述の実施形態の1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。また、情報処理装置100の各部は、図9に示すハードウェアにより実現してもよいし、ソフトウェアにより実現することもできる。
The present invention can also be realized by a process in which one or more processors read and execute a program that realizes one or more functions of the above-described embodiment. The program may be supplied to a system or device having a processor via a network or storage medium. The present invention can also be realized by a circuit (for example, an ASIC) that realizes one or more functions of the above-described embodiment. Further, each part of the
なお、上述した各実施形態に係る情報処理装置100の1以上の機能を他の装置が有していてもよい。例えば、各実施形態に係る情報処理装置100の1以上の機能を撮像装置110が有していてもよい。なお、上述した各実施形態を組み合わせて、例えば、上述した実施形態を任意に組み合わせて実施してもよい。
In addition, another device may have one or more functions of the
以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲は限定的に解釈されるものではない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱しない範囲において、様々な形で実施することができる。例えば、各実施形態を組み合わせたものも本明細書の開示内容に含まれる。 Although the present invention has been described above with the embodiments, the above embodiments are merely examples of embodiment of the present invention, and the technical scope of the present invention is limitedly interpreted by these. It's not a thing. That is, the present invention can be implemented in various forms within a range that does not deviate from the technical idea or its main features. For example, a combination of the respective embodiments is also included in the disclosure contents of the present specification.
100 情報処理装置
120 行列入口
130 行列出口
200 取得部
201 記憶部
202 操作受付部
203 検出部
204 追尾部
205 判定部
206 算出部
207 出力制御部
100
Claims (17)
前記検出手段により検出された人物のマスク着用の有無、および、当該人物の年齢の少なくともいずれか一方を判定する判定手段と、
前記画像において前記検出手段により検出された人物間の距離と、前記判定手段による判定結果とに基づき、所定の情報を出力する出力制御手段とを有することを特徴とする情報処理装置。 A detection means for detecting a person included in an image captured by the image pickup means, and a detection means.
A determination means for determining whether or not a person wearing a mask is detected by the detection means, and at least one of the ages of the person.
An information processing apparatus comprising: an output control means for outputting predetermined information based on a distance between persons detected by the detection means in the image and a determination result by the determination means.
前記出力制御手段は、前記補正手段により補正された前記人物間の距離と、閾値とを比較した結果に応じて、前記所定の情報を出力することを特徴とする請求項1に記載の情報処理装置。 Further having a correction means for correcting the distance between the persons based on the determination result by the determination means.
The information processing according to claim 1, wherein the output control means outputs the predetermined information according to the result of comparing the distance between the persons corrected by the correction means and the threshold value. Device.
前記補正手段は、前記判定手段による判定結果に基づき、前記待ち行列における前記人物間の距離を補正することを特徴とする請求項2に記載の情報処理装置。 The detection means detects the person in the queue included in the image obtained by the imaging means that captures the queue.
The information processing apparatus according to claim 2, wherein the correction means corrects the distance between the persons in the queue based on the determination result by the determination means.
前記補正手段は、前記待ち行列に並ぶ人物の数に対するマスクを着用している人物の数、及び、前記待ち行列に並ぶ人物の数に対する所定年齢未満の人物の数、の少なくともいずれか一方に基づき、前記人物間の距離を補正することを特徴とする請求項3に記載の情報処理装置。 The distance between the persons is an average value of the distances between the persons lined up before and after the queue.
The correction means is based on at least one of the number of people wearing a mask for the number of people in the queue and the number of people under a predetermined age for the number of people in the queue. The information processing apparatus according to claim 3, wherein the distance between the persons is corrected.
前記人物間の距離と、前記判定手段により判定結果に基づく閾値とを比較した結果に応じて、前記所定の情報を出力することを特徴とする請求項1に記載の情報処理装置。 The output control means is
The information processing apparatus according to claim 1, wherein the predetermined information is output according to the result of comparing the distance between the persons and the threshold value based on the determination result by the determination means.
前記出力制御手段は、前記画像において前記検出手段により検出された人物間の距離と、前記補正手段により補正された前記閾値とを比較した結果に応じて、前記所定の情報を出力することを特徴とする請求項7に記載の情報処理装置。 Further, it has a correction means for correcting the threshold value based on the determination result by the determination means.
The output control means is characterized in that the predetermined information is output according to the result of comparing the distance between persons detected by the detection means in the image and the threshold value corrected by the correction means. The information processing apparatus according to claim 7.
前記出力制御手段は、前記待ち行列における前記人物間の距離と、前記待ち時間と、前記判定手段による前記判定結果とに基づき、前記所定の情報を出力することを特徴とする請求項8に記載の情報処理装置。 The detection means detects the person in the queue included in the image obtained by the imaging means that captures the queue.
The eighth aspect of the present invention is characterized in that the output control means outputs the predetermined information based on the distance between the persons in the queue, the waiting time, and the determination result by the determination means. Information processing equipment.
前記待ち行列における前記人物の待ち時間を推定する推定手段と、
前記出力制御手段は、前記待ち行列に並ぶ前記人物間の距離と、前記推定手段により推定された前記待ち時間と、前記判定手段により判定された前記判定結果とに基づき、所定の情報を出力することを特徴とする請求項1に記載の情報処理装置。 The detection means detects the person in the queue included in the image obtained by the imaging means that captures the queue.
An estimation means for estimating the waiting time of the person in the queue, and
The output control means outputs predetermined information based on the distance between the persons in the queue, the waiting time estimated by the estimation means, and the determination result determined by the determination means. The information processing apparatus according to claim 1.
出力手段は、前記数値と、閾値とを比較した結果に応じて、前記所定の情報を出力することを特徴とする請求項13に記載の情報処理装置。 Further having a calculation means for calculating a numerical value corresponding to the possibility of infection based on the distance between the persons in the queue, the waiting time in the queue, and the determination result.
The information processing apparatus according to claim 13, wherein the output means outputs the predetermined information according to the result of comparing the numerical value with the threshold value.
前記検出工程において検出された人物のマスク着用の有無、および、当該人物の年齢の少なくともいずれか一方を判定する判定工程と、
前記画像において前記検出工程において検出された人物間の距離と、前記判定工程における判定結果とに基づき、所定の情報を出力する出力制御工程とを有することを特徴とする情報処理方法。 A detection process for detecting a person included in an image captured by an imaging means,
A determination step of determining whether or not the person wearing a mask detected in the detection step and at least one of the ages of the person are determined.
An information processing method comprising: an output control step for outputting predetermined information based on a distance between persons detected in the detection step in the image and a determination result in the determination step.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020147156A JP7476038B2 (en) | 2020-09-01 | 2020-09-01 | Information processing device, information processing method, and program |
PCT/JP2021/031723 WO2022050217A1 (en) | 2020-09-01 | 2021-08-30 | Information processing device, information processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020147156A JP7476038B2 (en) | 2020-09-01 | 2020-09-01 | Information processing device, information processing method, and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022041755A true JP2022041755A (en) | 2022-03-11 |
JP2022041755A5 JP2022041755A5 (en) | 2023-09-08 |
JP7476038B2 JP7476038B2 (en) | 2024-04-30 |
Family
ID=80491752
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020147156A Active JP7476038B2 (en) | 2020-09-01 | 2020-09-01 | Information processing device, information processing method, and program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7476038B2 (en) |
WO (1) | WO2022050217A1 (en) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5613815B1 (en) * | 2013-10-29 | 2014-10-29 | パナソニック株式会社 | Residence status analysis apparatus, residence status analysis system, and residence status analysis method |
JP2019200718A (en) | 2018-05-18 | 2019-11-21 | キヤノン株式会社 | Monitoring device, monitoring method, and program |
JP2020086994A (en) * | 2018-11-27 | 2020-06-04 | キヤノン株式会社 | Information processor, information processing method and program |
-
2020
- 2020-09-01 JP JP2020147156A patent/JP7476038B2/en active Active
-
2021
- 2021-08-30 WO PCT/JP2021/031723 patent/WO2022050217A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2022050217A1 (en) | 2022-03-10 |
JP7476038B2 (en) | 2024-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8605946B2 (en) | Moving object detection apparatus and moving object detection method | |
JPWO2017104835A1 (en) | Setting support apparatus, setting support method, and computer program | |
US20210390840A1 (en) | Self-supervised social distance detector | |
JP6280020B2 (en) | Moving object tracking device | |
Ottakath et al. | ViDMASK dataset for face mask detection with social distance measurement | |
US20160063345A1 (en) | Pattern recognition apparatus, pattern recognition method, and storage medium | |
JP2017046023A (en) | Mobile tracking device, mobile tracking method and mobile tracking program | |
JP2018025988A (en) | Image processing program, image processing method and image processing device | |
US20240104769A1 (en) | Information processing apparatus, control method, and non-transitory storage medium | |
JP2012175207A (en) | Image processing apparatus, image processing method, and computer program | |
WO2022050217A1 (en) | Information processing device, information processing method, and program | |
JP2024014971A (en) | Information processing device, display method, and program | |
US11527090B2 (en) | Information processing apparatus, control method, and non-transitory storage medium | |
JP2011130409A (en) | Video signal processing apparatus and method | |
US20230238149A1 (en) | Image processing apparatus, image processing method, and non-transitory storage medium | |
JP2013152537A (en) | Information processing apparatus and method, and program | |
CN113947795B (en) | Mask wearing detection method, device, equipment and storage medium | |
Hadi et al. | Early warning system for physical distancing detection in the prevention of covid-19 spread | |
JP6787075B2 (en) | Image processing system, image processing device and image processing method | |
JPWO2018155269A1 (en) | Image processing apparatus and method, and program | |
JP6451418B2 (en) | Gaze target determination device, gaze target determination method, and gaze target determination program | |
JP2022083653A (en) | Matrix analyzer, matrix analysis method and program | |
JP7458303B2 (en) | Information processing device, information processing method, and program | |
JP2021056899A (en) | Image processor, image processing method, and program | |
JP7392851B2 (en) | Image processing device, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20200924 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230831 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230831 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240319 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240417 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7476038 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |