JP2021168015A - 事故予兆検知システムおよび事故予兆検知方法 - Google Patents

事故予兆検知システムおよび事故予兆検知方法 Download PDF

Info

Publication number
JP2021168015A
JP2021168015A JP2020070541A JP2020070541A JP2021168015A JP 2021168015 A JP2021168015 A JP 2021168015A JP 2020070541 A JP2020070541 A JP 2020070541A JP 2020070541 A JP2020070541 A JP 2020070541A JP 2021168015 A JP2021168015 A JP 2021168015A
Authority
JP
Japan
Prior art keywords
person
area
specific event
accident
alert
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020070541A
Other languages
English (en)
Other versions
JP2021168015A5 (ja
JP7478970B2 (ja
Inventor
研生 中嶋
Akio Nakashima
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2020070541A priority Critical patent/JP7478970B2/ja
Priority to PCT/JP2021/014180 priority patent/WO2021205982A1/ja
Priority to US17/917,497 priority patent/US20230154307A1/en
Publication of JP2021168015A publication Critical patent/JP2021168015A/ja
Publication of JP2021168015A5 publication Critical patent/JP2021168015A5/ja
Application granted granted Critical
Publication of JP7478970B2 publication Critical patent/JP7478970B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/006—Alarm destination chosen according to type of event, e.g. in case of fire phone the fire service, in case of medical emergency phone the ambulance
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19641—Multiple cameras having overlapping views on a single scene
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras

Abstract

【課題】各種の施設において、事故の予兆となる特定事象を漏れなく検知して、アラートの発報を適切なタイミングで確実に行うようにして、事故の発生を未然に防止する。【解決手段】監視エリアを撮影する複数のカメラ１と、カメラ１の撮影画像に基づいて、アラートの発報を制御する監視サーバ２と、を備える。監視サーバ２は、監視エリアとして、危険地点への進入口（エスカレータの乗り口）の周辺に検知エリアを設定すると共に、その検知エリアより危険地点に近接する位置に発報エリアを設定し、複数のカメラ１ごとの撮影画像に基づいて、検知エリア内の人物を検出すると共に、その人物に関する特定事象を検知し、検知エリア内で検出された人物が、発報エリアに進入すると、当該人物に関する特定事象の検知結果に応じて、アラートの発報を行うように制御する。【選択図】図２

Description

本発明は、施設内の所定の監視エリアを撮影した画像に対する画像解析により、事故の予兆を検知してアラートの発報を制御する事故予兆検知システムおよび事故予兆検知方法に関するものである。
ショッピングモールなどの商業施設や、テーマパークなどのレジャー施設や、空港などの公共交通機関の施設などには、エスカレータや階段のように、利用者の転倒などの事故が発生する可能性がある場所があり、このような場所での利用者の事故を防止する技術が望まれる。
このような各種の施設内での事故を防止する技術として、従来、事故が発生する可能性がある場所（マンコンベア）を監視エリアとして、その監視エリアをカメラで撮影して、その撮影画像に対する画像解析により、利用者の異常状態（転倒、逆送、乗り出し、座り込み、混雑など）を検知すると、利用者の安全を確保するための措置として、警告のアナウンスを行ったり、運転制御（減速、停止）を行ったりする技術が知られている（特許文献１参照）。
特開２０１１−１９５２８９号公報
さて、利用者の異常状態を検知するには、カメラの撮影画像に基づいて、監視エリア内の人物を検出すると共に、その人物の周囲の物体を認識することが望ましいが、対象となる人物やその周囲の物体が、別の人物やその他の物体に隠蔽されることで、対象となる人物を適切に検出できなくなったり、対象となる人物の周囲の物体を適切に認識できなくなったりする場合がある。この場合、一時的に人物を検出できなくなったり、人物を検出できても異常状態を検知できなくなったりする。
一方、従来の技術では、事故が発生する可能性がある場所に既に進入している人物、具体的には、エスカレータ（マンコンベア）に既に搭乗している人物を対象にした制御が行われる。このため、人物の隠蔽が発生して、人物の検出や異常状態の検知が一時的にできなくなると、利用者の安全を確保するための措置が間に合わずに手遅れになるという問題があった。
そこで、本発明は、各種の施設において、事故の予兆となる特定事象を漏れなく検知して、アラートの発報を適切なタイミングで確実に行うようにして、事故の発生を未然に防止することができる事故予兆検知システムおよび事故予兆検知方法を提供することを主な目的とする。
本発明の事故予兆検知システムは、施設内の所定の監視エリアを撮影した画像に対する画像解析により、事故の予兆を検知してアラートの発報を制御する事故予兆検知システムであって、前記監視エリアを撮影する複数のカメラと、これらのカメラの撮影画像に基づいて、前記監視エリア内の人物を検出すると共に、その人物に関して、事故の予兆となる特定事象を検知して、その特定事象の発生状況に応じて、前記アラートの発報を制御する情報処理装置と、を備え、前記情報処理装置は、前記監視エリアとして、前記特定事象の検知に用いる第１のエリアと、前記発報の制御に用いる第２のエリアとを設定し、複数の前記カメラごとの撮影画像に基づく前記第１、第２のエリア内での人物の検出結果と前記第１のエリア内での前記特定事象の検知結果とを統合して、対象となる人物に関する前記特定事象の発生状況を取得して、前記アラートの発報を制御する構成とする。
また、本発明の事故予兆検知方法は、施設内の所定の監視エリアを撮影した画像に対する画像解析により、事故の予兆を検知してアラートの発報を制御する処理を情報処理装置に行わせる事故予兆検知方法であって、前記監視エリアとして、事故の予兆となる特定事象の検知に用いる第１のエリアと、前記発報の制御に用いる第２のエリアとを設定し、前記監視エリアを撮影する複数のカメラごとの撮影画像に基づく前記第１、第２のエリア内での人物の検出結果と前記第１のエリア内での前記特定事象の検知結果とを統合して、対象となる人物に関する前記特定事象の発生状況を取得して、前記アラートの発報を制御する構成とする。
本発明によれば、複数のカメラの撮影画像に基づいて、人物の検出と特定事象の検知とを行う。このため、あるカメラの撮影画像では人物の隠蔽が発生しているために人物の検出や特定事象の検知が失敗した場合でも、別のカメラの撮影画像では人物の検出や特定事象の検知が成功する。これにより、事故の予兆となる特定事象を漏れなく検知して、アラートの発報を適切なタイミングで確実に行うことができ、事故の発生を未然に防止することができる。
本実施形態に係る事故予兆検知システムの全体構成図 カメラ１の設置状況および監視エリアの設定状況を示す説明図 監視サーバ２の概略構成を示すブロック図 監視サーバ２で行われる処理の概要を示す説明図 管理者端末４に表示されるエリア設定画面を示す説明図 監視サーバ２で用いられる危険度設定情報の内容を示す説明図 管理者端末４に表示される発報内容設定画面を示す説明図 監視サーバ２で管理される人物データベースの登録内容を示す説明図 監視サーバ２で行われる画像解析処理の手順を示すフロー図 監視サーバ２で行われる発報に関する処理の手順を示すフロー図
前記課題を解決するためになされた第１の発明は、施設内の所定の監視エリアを撮影した画像に対する画像解析により、事故の予兆を検知してアラートの発報を制御する事故予兆検知システムであって、前記監視エリアを撮影する複数のカメラと、これらのカメラの撮影画像に基づいて、前記監視エリア内の人物を検出すると共に、その人物に関して、事故の予兆となる特定事象を検知して、その特定事象の発生状況に応じて、前記アラートの発報を制御する情報処理装置と、を備え、前記情報処理装置は、前記監視エリアとして、前記特定事象の検知に用いる第１のエリアと、前記発報の制御に用いる第２のエリアとを設定し、複数の前記カメラごとの撮影画像に基づく前記第１、第２のエリア内での人物の検出結果と前記第１のエリア内での前記特定事象の検知結果とを統合して、対象となる人物に関する前記特定事象の発生状況を取得して、前記アラートの発報を制御する構成とする。
これによると、複数のカメラの撮影画像に基づいて、人物の検出と特定事象の検知とを行う。このため、あるカメラの撮影画像では人物の隠蔽が発生しているために人物の検出や特定事象の検知が失敗した場合でも、別のカメラの撮影画像では人物の検出や特定事象の検知が成功する。これにより、事故の予兆となる特定事象を漏れなく検知して、アラートの発報を適切なタイミングで確実に行うことができ、事故の発生を未然に防止することができる。
また、第２の発明は、複数の前記カメラは、前記監視エリアに進入した人物を逆方向から撮影するように設置されている構成とする。
これによると、１つのカメラで人物の隠蔽が発生しても、別のカメラで人物を適切に撮影することができる。このため、人物の検出漏れや特定事象の検知漏れを抑制することができる。
また、第３の発明は、前記情報処理装置は、複数の前記カメラの各撮影画像に対して、前記第１のエリア内に前記第２のエリアを設定する構成とする。
これによると、第１のエリアを通過して第２のエリアに進入する利用者を対象にして特定事象の検知とアラートの発報とを適切に行うことができる。
また、第４の発明は、前記情報処理装置は、前記特定事象の種類に応じた発報内容に関する設定情報を記憶し、検知された前記特定事象の種類に応じた発報内容に基づいて、前記アラートの発報を制御する構成とする。
これによると、特定事象の種類に応じて異なる発報内容でアラートの発報を行うことができる。
また、第５の発明は、前記情報処理装置は、前記設定情報に関する画面を管理者装置に表示して、管理者の画面操作に応じて、前記設定情報を更新する構成とする。
これによると、特定事象の種類に応じた発報内容を管理者が適宜に変更することができる。
また、第６の発明は、前記情報処理装置は、前記撮影画像に基づいて、前記第１のエリア内の物体を認識し、前記第１のエリア内で検出された人物と、前記第１のエリア内で認識された物体とを紐付けて、前記特定事象の種類を判別する構成とする。
これによると、事故の予兆となる特定事象を精度よく検知することができる。
また、第７の発明は、前記情報処理装置は、前記カメラで撮影された各時刻の前記撮影画像に基づいて検出された人物同士を紐付けると共に、複数の前記カメラごとの前記撮影画像に基づいて検出された人物同士を紐付けて、前記監視エリアに進入した人物を追跡する構成とする。
これによると、人物の隠蔽が発生して、人物の検出や特定事象の検知が一時的にできなくなっても、人物を追跡することで、対象とする人物に関する特定事象の検知結果が引き継がれるため、特定事象に該当する人物が第２のエリアに進入したことを確実に検知することができる。
また、第８の発明は、施設内の所定の監視エリアを撮影した画像に対する画像解析により、事故の予兆を検知してアラートの発報を制御する処理を情報処理装置に行わせる事故予兆検知方法であって、前記監視エリアとして、事故の予兆となる特定事象の検知に用いる第１のエリアと、前記発報の制御に用いる第２のエリアとを設定し、前記監視エリアを撮影する複数のカメラごとの撮影画像に基づく前記第１、第２のエリア内での人物の検出結果と前記第１のエリア内での前記特定事象の検知結果とを統合して、対象となる人物に関する前記特定事象の発生状況を取得して、前記アラートの発報を制御する構成とする。
これによると、第１の発明と同様に、各種の施設において、事故の予兆となる特定事象を漏れなく検知して、アラートの発報を適切なタイミングで確実に行うようにして、事故の発生を未然に防止することができる。
以下、本発明の実施の形態を、図面を参照しながら説明する。
図１は、本実施形態に係る事故予兆検知システムの全体構成図である。
この事故予兆検知システムは、ショッピングモールなどの商業施設や、テーマパークなどのレジャー施設や、空港などの公共交通機関の施設などにおいて、事故の予兆となる特定事象を検知して、その特定事象に応じたアラートの発報を行うものであり、複数のカメラ１と、監視サーバ２（情報処理装置）と、スピーカー３（報知装置）と、管理者端末４（管理者装置）と、を備えている。カメラ１、スピーカー３、および管理者端末４はネットワークを介して監視サーバ２と接続されている。
カメラ１は、施設内に設定された監視エリアを撮影する。本実施形態では、事故が発生する危険性がある場所（危険地点）への進入口の周辺、例えばエスカレータや階段の入口の周辺が監視エリアに設定される。
監視サーバ２は、ＰＣで構成され、カメラ１の撮影画像に基づいて、事故の予兆となる特定事象、すなわち、転倒などの事故が発生する可能性がある状態を検知して、その検知結果に基づいてスピーカー３を利用してアラートの発報を行う。本実施形態では、特定事象として、車椅子に乗る人物や、ベビーカーを押す人物や、ショッピングカートを押す人物や、大型の荷物（スーツケースなど）を所持する人物などが検知される。
この監視サーバ２は、施設内の適所、例えば監視室に設置される。なお、監視サーバ２は、クラウドコンピュータとして、インターネットなどの広域ネットワークを介して、施設内のカメラ１およびスピーカー３と接続されていてもよい。
スピーカー３は、アラートの音声を出力する。このスピーカー３は複数設置され、利用者用のスピーカー３では、利用者を対象にしたアラートの音声が出力され、係員用のスピーカー３では、係員を対象にしたアラートの音声が出力される。
管理者端末４では、管理者が、監視サーバ２の処理条件などに関する設定操作を行う。
なお、本実施形態では、アラートの発報に係る報知装置として、スピーカー３を設置して、そのスピーカー３でアラートの音声が出力されるようにしたが、警光灯が点灯されるようにしてもよい。この場合、検知された特定事象の危険度の高さに応じて点灯色を切り替えるようにしてもよい。また、監視者端末のディスプレイにアラート画面が表示されるようにしてもよい。
次に、カメラ１の設置状況および監視エリアの設定状況について説明する。図２は、カメラ１の設置状況および監視エリアの設定状況を示す説明図である。
本実施形態では、監視エリアとして、エスカレータの乗り口（危険地点への進入口）の周辺に検知エリア（第１のエリア）が設定されると共に、その検知エリアよりエスカレータの乗り口に近接する位置に発報エリア（第２のエリア）が設定される。図２に示す例では、発報エリアにおけるエスカレータの乗り口に面した１辺を除く３辺を取り囲むように検知エリアが設定されている。
検知エリアは、事故の予兆となる特定事象を検知するためのエリアである。人物が検知エリアに進入すると、カメラ１の撮影画像から人物が検出され、さらに、その人物が特定事象に該当するか否かが判定される。発報エリアは、アラートの発報の要否を判定するためのエリアである。検知エリアで特定事象に該当するか否かを判定された人物が発報エリアに進入すると、その人物に関する特定事象の発生状況に応じたアラートの発報が行われる。
また、本実施形態では、監視エリア（検知エリアおよび発報エリア）を撮影するように複数のカメラ１が設置されている。この複数のカメラ１は、監視エリア（検知エリアおよび発報エリア）に進入した人物を、逆方向から撮影するように設置されている。図２に示す例では、４台のカメラ１が設置されている。これらのカメラ１は、矩形に設定された監視エリア（検知エリアおよび発報エリア）の対角方向に向かい合わせに設置されている。
このため、あるカメラ１の撮影画像では人物の隠蔽が発生しているために人物の検出や特定事象の検知が失敗した場合でも、別のカメラ１の撮影画像では人物の検出や特定事象の検知が成功する。したがって、複数のカメラ１のいずれかの撮影画像に基づいて、人物の検出と特定事象の検知とが漏れなく行われる。このため、特定事象が現れた場合に、アラートを確実に発報することができる。
また、本実施形態では、エスカレータの乗り口の近傍に発報エリアが設定され、その発報エリアの周囲に検知エリアが設定されている。したがって、利用者は、通常、検知エリアと発報エリアとを順に通過してエスカレータに搭乗する。このため、利用者が検知エリアに進入した段階で、すなわち、利用者が発報エリアに進入する前に、利用者が、特定事象に該当するか否かが判定される。これにより、特定事象に該当する人物、例えば、エスカレータの乗り口で転倒する可能性の高い人物を、早期に見つけ出すことができる。
また、本実施形態では、複数のカメラ１から定期的に入力される各時刻の撮影画像（フレーム）に基づいて、人物の検出と特定事象の検知とが行われる。そして、カメラ１から入力される各時刻の撮影画像に基づいて検出された人物同士を紐付けると共に、複数のカメラ１ごとの撮影画像に基づいて検出された人物同士を紐付けることで、監視エリアに進入した人物を追跡する。
これにより、人物やその周辺の物体の隠蔽が発生して、人物の検出や特定事象の検知が一時的にできなくなっても、人物を追跡することで、対象とする人物に関する特定事象の検知結果が引き継がれる。すなわち、人物が発報エリアに進入したところで、あるカメラ１では隠蔽により、当該人物に関する特定事象を検知できない状態であっても、当該人物に関する特定事象の発生状況を特定することができる。このため、アラートの発報を適切なタイミングで確実に行うことができ、アラートの発報が手遅れになることを避けることができる。
なお、検知エリアに進入した人物が、検知エリアを素通りして発報エリアに進入しなかった場合、すなわち、エスカレータに搭乗しようとしなかった場合には、アラートの発報は行われない。
また、本実施形態では、発報エリア内に人物が進入した後も、人物の検出と特定事象の検知とが継続される。このため、人物追跡が失敗した場合に、発報エリア内で新規に人物が検出されて、その人物が特定事象に該当する場合には、アラートの発報が行われる。
また、本実施形態では、監視エリア（検知エリアおよび発報エリア）の近傍に、利用者用のスピーカー３が設置される。この利用者用のスピーカー３では、利用者を対象にしたアラートの音声が出力される。また、係員室に、係員用のスピーカー３が設置される。この係員用のスピーカー３では、係員を対象にしたアラートの音声が出力される。
なお、本実施形態では、事故が発生する可能性がある場所（危険地点）として、エスカレータの乗り口の周辺を監視するようにしたが、監視する場所はこれに限定されるものではなく、例えば、階段の入口の周辺を監視するようにしてもよい。
また、図２に示す例では、発報エリアの周囲に検知エリアが設定されているが、発報エリアから離して検知エリアが設定されていてもよい。また、検知エリア、発報エリアは矩形に限らず、半円状などの形状としてもよい。
次に、監視サーバ２の概略構成について説明する。図３は、監視サーバ２の概略構成を示すブロック図である。図４は、監視サーバ２で行われる処理の概要を示す説明図である。
監視サーバ２は、通信部１１と、記憶部１２と、プロセッサ１３と、を備えている。
通信部１１は、ネットワークを介してカメラ１、スピーカー３、および管理者端末４と通信を行う。
記憶部１２は、プロセッサ１３で実行されるプログラムなどを記憶する。また、記憶部１２は、エリア設定情報と、危険度設定情報（図６参照）とを記憶する。エリア設定情報は、検知エリアおよび発報エリアの各範囲を表す情報である。危険度設定情報は、特定事象の発生状況に基づく危険度レベルに応じた発報内容を規定した情報である。また、記憶部１２は、人物データベースの登録情報（図８参照）を記憶する。この人物データベースは、カメラ１の撮影画像に対する画像解析処理で取得した人物に関する情報が登録される。
プロセッサ１３は、記憶部１２に記憶されたプログラムを実行することで情報収集に係る各種の処理を行う。本実施形態では、プロセッサ１３が、画像解析処理、人物追跡処理、発報判定処理、および発報制御処理などを行う。
画像解析処理では、プロセッサ１３が、カメラ１の撮影画像（フレーム）に対して画像解析を行う。この画像解析処理には、人物検出処理と物体認識処理と危険度取得処理とが含まれる。この画像解析処理は、複数のカメラ１ごとに行われる。また、この画像解析処理は、カメラ１からの撮影画像（フレーム）が入力される度に行われる。
人物検出処理では、プロセッサ１３が、カメラ１の撮影画像と、記憶部１２のエリア設定情報とに基づいて、検知エリア内の人物を検出する。
物体認識処理では、プロセッサ１３が、カメラ１の撮影画像と、記憶部１２のエリア設定情報とに基づいて、検知エリア内の物体を認識する。具体的には、事故の予兆となる特定事象に関係する物体、すなわち、車椅子、杖、荷物（スーツケースなど）、スマートフォン、ベビーカー、ショッピングカートなどを認識する。
危険度取得処理（事象検知処理）では、プロセッサ１３が、検知エリア内において検出された対象となる人物と、その近傍で認識された物体とを紐付ける。また、対象となる人物と、その近傍で検出された介護者となる人物とを紐付ける。そして、記憶部１２の危険度設定情報に基づいて、人物が特定事象に該当するか否かを判定して、その判定結果に基づいて、危険度レベルを取得する。このとき、特定事象の種類を判別して、その特定事象の種類に応じた危険度レベルを取得する。
人物追跡処理では、プロセッサ１３が、人物検出処理で検出された人物（対象人物）が、人物データベースに登録された人物（登録人物）と同一人物であるか否かを判定する人物照合（同定）を行い、その照合結果に基づいて、対象人物と登録人物とを紐付ける。
人物照合は、ディープラーニングなどによる機械学習モデルを用いて行われる。具体的には、登録人物の人物画像と対象人物の人物画像とを機械学習モデルに入力することで、同一人物である可能性の高さを表す人物照合スコアが出力され、この人物照合スコアを所定のしきい値と比較することで、同一人物であるか否かの判定結果が得られる。なお、人物画像から抽出された特徴情報を比較して人物照合を行うようにしてもよい。
発報判定処理では、プロセッサ１３が、人物データベースに登録された人物ごとの位置情報と、記憶部１２のエリア設定情報とに基づいて、発報エリア内に人物が存在するか否か、すなわち、検知エリアで検出された人物が発報エリアに進入したか否かを判定する。
発報制御処理では、プロセッサ１３が、発報判定処理で発報エリアに進入したものと判定された人物に関する特定事象の発生状況に応じて、当該人物に対するアラートの発報を制御する。すなわち、記憶部１２の危険度設定情報に基づいて、発報エリアに進入した人物の危険度レベルを取得して、当該人物の危険度レベル（特定事象の種類）に応じた発報内容でアラートを発報する。具体的には、利用者用のスピーカー３で、利用者を対象にしたアラートの音声が、危険度レベルに応じた内容で出力される。また、危険度レベルが高い場合には、係員用のスピーカー３で、係員を対象にしたアラートの音声が出力される。
次に、管理者端末４に表示されるエリア設定画面について説明する。図５は、エリア設定画面を示す説明図である。
管理者端末４では、監視サーバ２にアクセスして設定メニューを管理者が選択することで、エリア設定画面が表示される。
このエリア設定画面には、カメラ選択タブ３１が設けられている。このカメラ選択タブ３１を管理者が操作することで、設定対象となるカメラ１が選択される。
また、エリア設定画面には、モード選択ボタン３２が設けられている。このモード選択ボタン３２を管理者が操作することで、検知エリアの入力モードと発報エリアの入力モードとを切り替えることができる。
また、エリア設定画面には、撮影画像表示部３３が設けられている。この撮影画像表示部３３には、対象となるカメラ１の撮影画像３４が表示される。
また、検知エリアの入力モードでは、撮影画像表示部３３において、撮影画像３４上に検知エリアの範囲を管理者が指定することができ、撮影画像３４上に検知エリアの範囲を表すエリア画像３５が描画される。また、発報エリアの入力モードでは、撮影画像３４上に発報エリアの範囲を管理者が指定することができ、撮影画像３４上に発報エリアの範囲を表すエリア画像３６が描画される。検知エリアおよび発報エリアは多角形で指定することができる。
具体的には、検知エリアの入力モードにおいて、撮影画像３４上で、管理者が所定の操作を行うことで、検知エリアの範囲を表す多角形の頂点を追加したり、頂点の位置を調整したり、頂点を削除したりすることができる。また、発報エリアの入力モードの操作も検知エリアの入力モードと同様である。
なお、検知エリアの入力モードと発報エリアの入力モードとのいずれでも、撮影画像表示部３３の撮影画像３４上に、入力済みの検知エリアの範囲を表すエリア画像３５と発報エリアの範囲を表すエリア画像３６とが異なる色で表示される。
また、検知エリアおよび発報エリアを設定する際には、予め床面に矩形の各頂点の位置を表す４点のマーカー（例えば粘着テープ）を設置しておくとよい。検知エリア用のマーカーを基準にして撮影画像上に検知エリアの範囲を指定すると、複数のカメラ１の撮影画像上に設定された検知エリアの範囲を一致させることができる。また、発報エリア用のマーカーを基準にして撮影画像上に発報エリアの範囲を指定すると、複数のカメラ１の撮影画像上に設定された発報エリアの範囲を一致させることができる。
次に、監視サーバ２で用いられる危険度設定情報について説明する。図６は、危険度設定情報の内容を示す説明図である。
この危険度設定情報には、危険度レベルごとに、その危険度レベルに該当する特定事象の種類と、その特定事象の種類に対応した発報内容とが登録されている。危険度レベルは、転倒などの事故が発生する可能性の高さを表す指標であり、値が大きいほど危険度が高い。図６に示す例では、危険度レベルが「０」から「８」の９段階に設定されている。
また、発報内容、すなわち、利用者に対するアナウンスの内容は、危険度レベル、すなわち、検知された特定事象の種類に応じて異なる。具体的には、特定事象の危険度が高い場合には、エスカレータへの搭乗（危険エリアへの進入）を防ぐ誘導のアナウンスが行われ、特定事象の危険度が低い場合には、注意喚起のアナウンスが行われる。また、特定事象の危険度が高い場合には、利用者に対するアナウンスに加えて、係員に対する通知も行われる。
具体的には、検知された特定事象が、介護者がいない状態で車椅子に乗っている人物である場合や、白杖を使用している人物である場合は、危険度が「８」となる。また、介護者がいる状態で車椅子に乗っている人物である場合は、危険度が「７」となる。このように危険度が「８」または「７」となる場合、利用者に対するアラートとして、エレベータ誘導のアナウンス、すなわち、エスカレータの利用はやめてエレベータの利用を促すアナウンスの音声が、利用者用のスピーカー３から出力される。さらに、係員に対するアラートとして、事故の危険性が高い人物がエスカレータに搭乗しようとしている旨の係員に対する通知の音声が、係員用のスピーカー３から出力される。
また、検知された特定事象が、ベビーカーを押している人物である場合は、危険度が「６」となる。また、ショッピングカートを押している人物である場合は、危険度が「５」となる。また、３辺（縦、横、高さ）の合計が１６０ｃｍ以上となる大型の荷物を所持した人物である場合は、危険度が「４」となる。また、３辺の合計が１００ｃｍ以上となる中型の荷物を両手に２個所持した人物である場合は、危険度が「３」となる。このように危険度が「６」から「３」となる場合、利用者に対するアラートとして、エレベータ誘導のアナウンスの音声が、利用者用のスピーカー３から出力される。
また、検知された特定事象が、荷物で両手が塞がっている人物である場合は、危険度が「２」となる。この場合、気を付けてエスカレータに乗るように促す注意喚起のアナウンスの音声が、利用者用のスピーカー３から出力される。
また、検知された特定事象が、歩きスマホ（歩行中にスマートフォンの画面を閲覧する行為）を行う人物である場合は、危険度が「１」となる。この場合、歩きスマホをやめるように促すアナウンスの音声が、利用者用のスピーカー３から出力される。
また、上記以外の人物、すなわち、特定事象のいずれにも該当しない人物である場合は、危険度が「０」となる。この場合、手すりにつかまるように促すアナウンスの音声が、利用者用のスピーカー３から出力される。
次に、管理者端末４に表示される発報内容設定画面について説明する。図７は、発報内容設定画面を示す説明図である。
管理者端末４では、監視サーバ２にアクセスして設定メニューを管理者が選択した上で、発報内容設定ボタン４１を操作することで、発報内容設定画面が表示される。この発報内容設定画面では、管理者が、特定事象（人物の状態）ごとの発報内容を指定する画面操作を行うことができる。
具体的には、発報内容設定画面に、特定事象ごとの発報内容選択部４２が設けられている。図７に示す例では、発報内容が、図６に示した特定事象の危険度レベルに対応したデフォルトの発報内容が表示されている。なお、この発報内容は、実際の現場での運用を考慮し、プルダウンメニューを管理者が操作することで、発報内容を選択して、カスタマイズ（更新）することができる。
次に、監視サーバ２で管理される人物データベースについて説明する。図８は、人物データベースの登録内容を示す説明図である。
この人物データベースには、カメラ１の撮影画像（フレーム）に対する画像解析処理（人物検出処理、危険度取得処理）の結果が登録される。具体的には、検出された人物ごとに、人物ＩＤと人物画像と危険度レベルと位置情報とが人物データベースに登録される。なお、各カメラの位置情報はマーカー位置に基づき共通化されている。
人物ＩＤは、人物検出処理で新たに人物が検出された場合に、その人物に対して付与される。
人物画像は、人物検出処理で人物が検出された際に、カメラ１の撮影画像から人物の画像領域を切り出したものである。この人物画像は、人物追跡処理で行われる人物照合に用いられ、今回検出された人物が前回検出された人物と同一人物であるか否かが判定される。
危険度レベルは、危険度取得処理（事象検知処理）において、検知された特定事象に基づいて設定されたものである。この危険度レベルは、発報制御処理に用いられ、危険度レベルに基づいて発報内容が決定される。
位置情報は、人物検出処理で人物が検出された際に、カメラ１の撮影画像上の人物の位置から取得したものである。この位置情報は、発報判定処理に用いられ、位置情報に基づいて、人物が発報エリアに入ったか否かが判定される。
なお、人物データベースに登録された人物ごとの情報は、その人物を検知してから所定時間が経過すると、破棄される。また、人物画像に加えて、または人物画像の代わりに、人物画像から抽出された特徴情報が登録されるようにしてもよい。
この人物データベースは、カメラ１の撮影画像（フレーム）に対する画像解析処理（人物検出処理、危険度取得処理）に応じて、逐次更新される。すなわち、人物検出処理で人物が新たに検出されて、危険度取得処理で危険度レベルが決定されると、その人物に関する人物ＩＤ、人物画像、危険度レベル、および位置情報が、新規に人物データベースに追加される。また、人物追跡処理で人物が同定されると、その人物に関する人物画像、および位置情報が、人物データベースの該当する人物の情報に追加される。
また、人物データベースには、画像解析処理（人物検出処理、危険度取得処理）がフレームごとに実施される度に、その画像解析処理の結果が登録される。また、人物データベースには、カメラ１の撮影画像に対する画像解析処理が、複数のカメラ１ごとに実施される度に、その画像解析処理の結果が登録される。これにより、複数のカメラ１の撮影画像から個別に取得したカメラ１ごとの情報が人物データベースで統合して管理される。
次に、監視サーバ２で行われる画像解析処理の手順について説明する。図９は、画像解析処理の手順を示すフロー図である。なお、この画像解析処理は、複数のカメラ１ごとに実施される。また、この画像解析処理は、カメラ１からの撮影画像（フレーム）が入力される度に実施される。
監視サーバ２では、まず、カメラ１から撮影画像（フレーム）が入力されると（ＳＴ１０１でＹｅｓ）、プロセッサ１３が、撮影画像に基づいて、検知エリア内の人物を検出する（人物検出処理）（ＳＴ１０２）。また、プロセッサ１３が、撮影画像に基づいて、検知エリア内の物体を認識する（物体認識処理）（ＳＴ１０３）。
次に、プロセッサ１３が、検知エリア内において検出された人物と、認識された物体とを紐付ける（ＳＴ１０４）。次に、プロセッサ１３が、危険度設定情報に基づいて、人物が特定事象に該当する否かを判定して、その判定結果に基づいて、危険度レベルを取得する（危険度取得処理）（ＳＴ１０５）。
次に、プロセッサ１３が、対象とする人物が、人物データベースに登録された人物と同一人物であるか否かを判定する人物照合（同定）を行い、その照合結果に基づいて、対象とする人物と登録された人物とを紐付ける（人物追跡処理）（ＳＴ１０６）。
次に、プロセッサ１３が、対象とする人物に関する情報（人物画像、危険度レベル、位置情報）を人物データベースに登録する（ＳＴ１０７）。このとき、新規に検出された人物であれば、新たな人物ＩＤを付与して、その人物に関する情報が登録される。また、既に検出された人物であれば、人物データベース内の該当する人物ＩＤの登録情報が更新される。
次に、監視サーバ２で行われる発報に関する処理の手順について説明する。図１０は、監視サーバ２で行われる発報に関する処理の手順を示すフロー図である。
監視サーバ２では、まず、人物データベースが更新されると（ＳＴ２０１でＹｅｓ）、プロセッサ１３が、人物データベースに登録された人物ごとの位置情報と、エリア設定情報とに基づいて、発報エリア内に人物が存在するか否かを判定する（発報判定処理）（ＳＴ２０２）。
ここで、発報エリア内に人物が存在する場合には（ＳＴ２０２でＹｅｓ）、プロセッサ１３が、危険度設定情報に基づいて、発報エリア内に存在する人物の危険度レベルに応じた発報内容でアラートの発報を制御する（発報制御処理）（ＳＴ２０３）。
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
本発明に係る事故予兆検知システムおよび事故予兆検知方法は、各種の施設において、事故の予兆となる特定事象を漏れなく検知して、アラートの発報を適切なタイミングで確実に行うようにして、事故の発生を未然に防止することができる効果を有し、施設内の所定の監視エリアを撮影した画像に対する画像解析により、事故の予兆を検知してアラートの発報を制御する事故予兆検知システムおよび事故予兆検知方法などとして有用である。
１ カメラ
２ 監視サーバ（情報処理装置）
３ スピーカー（報知装置）
４ 管理者端末（管理者装置）
１１ 通信部
１２ 記憶部
１３ プロセッサ
３１ タブ
３２ モード選択ボタン
３３ 撮影画像表示部
３４ 撮影画像
３５，３６ エリア画像
４１ 発報内容選択部

Claims (8)

  1. 施設内の所定の監視エリアを撮影した画像に対する画像解析により、事故の予兆を検知してアラートの発報を制御する事故予兆検知システムであって、
    前記監視エリアを撮影する複数のカメラと、
    これらのカメラの撮影画像に基づいて、前記監視エリア内の人物を検出すると共に、その人物に関して、事故の予兆となる特定事象を検知して、その特定事象の発生状況に応じて、前記アラートの発報を制御する情報処理装置と、を備え、
    前記情報処理装置は、
    前記監視エリアとして、前記特定事象の検知に用いる第１のエリアと、前記発報の制御に用いる第２のエリアとを設定し、
    複数の前記カメラごとの撮影画像に基づく前記第１、第２のエリア内での人物の検出結果と前記第１のエリア内での前記特定事象の検知結果とを統合して、対象となる人物に関する前記特定事象の発生状況を取得して、前記アラートの発報を制御することを特徴とする事故予兆検知システム。
  2. 複数の前記カメラは、
    前記監視エリアに進入した人物を逆方向から撮影するように設置されていることを特徴とする請求項１に記載の事故予兆検知システム。
  3. 前記情報処理装置は、
    複数の前記カメラの各撮影画像に対して、前記第１のエリア内に前記第２のエリアを設定することを特徴とする請求項１に記載の事故予兆検知システム。
  4. 前記情報処理装置は、
    前記特定事象の種類に応じた発報内容に関する設定情報を記憶し、
    検知された前記特定事象の種類に応じた発報内容に基づいて、前記アラートの発報を制御することを特徴とする請求項１に記載の事故予兆検知システム。
  5. 前記情報処理装置は、
    前記設定情報に関する画面を管理者装置に表示して、管理者の画面操作に応じて、前記設定情報を更新することを特徴とする請求項４に記載の事故予兆検知システム。
  6. 前記情報処理装置は、
    前記撮影画像に基づいて、前記第１のエリア内の物体を認識し、
    前記第１のエリア内で検出された人物と、前記第１のエリア内で認識された物体とを紐付けて、前記特定事象の種類を判別することを特徴とする請求項１に記載の事故予兆検知システム。
  7. 前記情報処理装置は、
    前記カメラで撮影された各時刻の前記撮影画像に基づいて検出された人物同士を紐付けると共に、複数の前記カメラごとの前記撮影画像に基づいて検出された人物同士を紐付けて、前記監視エリアに進入した人物を追跡することを特徴とする請求項１に記載の事故予兆検知システム。
  8. 施設内の所定の監視エリアを撮影した画像に対する画像解析により、事故の予兆を検知してアラートの発報を制御する処理を情報処理装置に行わせる事故予兆検知方法であって、
    前記監視エリアとして、事故の予兆となる特定事象の検知に用いる第１のエリアと、前記発報の制御に用いる第２のエリアとを設定し、
    前記監視エリアを撮影する複数のカメラごとの撮影画像に基づく前記第１、第２のエリア内での人物の検出結果と前記第１のエリア内での前記特定事象の検知結果とを統合して、対象となる人物に関する前記特定事象の発生状況を取得して、前記アラートの発報を制御することを特徴とする事故予兆検知方法。
JP2020070541A 2020-04-09 2020-04-09 事故予兆検知システムおよび事故予兆検知方法 Active JP7478970B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020070541A JP7478970B2 (ja) 2020-04-09 2020-04-09 事故予兆検知システムおよび事故予兆検知方法
PCT/JP2021/014180 WO2021205982A1 (ja) 2020-04-09 2021-04-01 事故予兆検知システムおよび事故予兆検知方法
US17/917,497 US20230154307A1 (en) 2020-04-09 2021-04-01 Accident sign detection system and accident sign detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020070541A JP7478970B2 (ja) 2020-04-09 2020-04-09 事故予兆検知システムおよび事故予兆検知方法

Publications (3)

Publication Number Publication Date
JP2021168015A true JP2021168015A (ja) 2021-10-21
JP2021168015A5 JP2021168015A5 (ja) 2023-04-13
JP7478970B2 JP7478970B2 (ja) 2024-05-08

Family

ID=78023966

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020070541A Active JP7478970B2 (ja) 2020-04-09 2020-04-09 事故予兆検知システムおよび事故予兆検知方法

Country Status (3)

Country Link
US (1) US20230154307A1 (ja)
JP (1) JP7478970B2 (ja)
WO (1) WO2021205982A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115186881A (zh) * 2022-06-27 2022-10-14 红豆电信有限公司 一种基于大数据的城市安全预测管理方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023177871A (ja) * 2022-06-03 2023-12-14 パナソニックＩｐマネジメント株式会社 学習装置および学習方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004009993A (ja) 2002-06-11 2004-01-15 Toshiba Eng Co Ltd 列車事故回避システム
JP2005128967A (ja) 2003-10-27 2005-05-19 Sozo Gijutsu Kenkyusho:Kk 医療用動き検出装置、医療用動き検出方法、医療用動き検出プログラム並びにコンピュータで読取可能な記録媒体
JP2017028364A (ja) 2015-07-16 2017-02-02 株式会社日立国際電気 監視システムおよび監視装置
JP7149063B2 (ja) 2017-11-02 2022-10-06 日本信号株式会社 監視システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115186881A (zh) * 2022-06-27 2022-10-14 红豆电信有限公司 一种基于大数据的城市安全预测管理方法及系统

Also Published As

Publication number Publication date
WO2021205982A1 (ja) 2021-10-14
US20230154307A1 (en) 2023-05-18
JP7478970B2 (ja) 2024-05-08

Similar Documents

Publication Publication Date Title
WO2021205982A1 (ja) 事故予兆検知システムおよび事故予兆検知方法
US7688212B2 (en) Method and apparatus for providing occupancy information in a fire alarm system
JP5473801B2 (ja) 監視装置
KR101050449B1 (ko) 지능형 장애인 주차면 관리 시스템, 관리 방법 및 그 기록매체
JP5845506B2 (ja) 行動検知装置及び行動検知方法
CN101600640A (zh) 电梯的安全系统
JP2005086626A (ja) 広域監視装置
JP6327438B2 (ja) 歩行者用アラームサーバ及び携帯端末装置
JP6483214B1 (ja) エレベータシステム及びエレベータの迷子検出方法
US11450186B2 (en) Person monitoring system and person monitoring method
JP2009194711A (ja) 領域利用者管理システムおよびその管理方法
KR20150062275A (ko) 클라우드 로봇을 이용한 영유아 안전관리 시스템 및 방법
US20240013546A1 (en) Information providing method, information providing system, and non-transitory computer-readable recording medium
JP2013196423A (ja) 監視システム、監視装置及び監視方法
US20230009081A1 (en) Systems and methods for providing evacuation monitoring and assistance
KR101713844B1 (ko) 감압센서를 이용한 승강기 관리 시스템 및 그 방법
JP2019104594A (ja) 災害情報支援システム及び災害情報支援方法
JP5444103B2 (ja) 通報装置
JP7138547B2 (ja) 店舗装置
JP2021087103A (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
JP2003224844A (ja) ホーム監視システム
KR102004998B1 (ko) 무단패스 방지 시스템
JP5847634B2 (ja) 受付管理システムおよび受付管理方法
US20230095529A1 (en) Visit assistance apparatus, visit assistance method, and non-transitory computerreadable medium storing program
JP2011227677A (ja) 通報装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230405

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230405

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240307

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240409