JP2022515908A - 歩行者行為の検出方法及び装置、電子機器並びに記憶媒体 - Google Patents

歩行者行為の検出方法及び装置、電子機器並びに記憶媒体 Download PDF

Info

Publication number
JP2022515908A
JP2022515908A JP2021538725A JP2021538725A JP2022515908A JP 2022515908 A JP2022515908 A JP 2022515908A JP 2021538725 A JP2021538725 A JP 2021538725A JP 2021538725 A JP2021538725 A JP 2021538725A JP 2022515908 A JP2022515908 A JP 2022515908A
Authority
JP
Japan
Prior art keywords
pedestrian
coordinates
preset
target pedestrian
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021538725A
Other languages
English (en)
Inventor
ブオ シュイ
イエンチュウ シン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Publication of JP2022515908A publication Critical patent/JP2022515908A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本開示は歩行者行為の検出方法及び装置、電子機器並びに記憶媒体。前記方法は、マルチフレームの処理対象の画像における対象歩行者の座標を取得することと、予め設定された空間の座標を取得することと、前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された空間の座標に基づいて、前記対象歩行者が前記予め設定された空間に対する歩行者行為を決定することと、を含む。本開示の実施例は歩行者行為を検出する正確率を向上することができる。【選択図】図１

Description

優先権主張
本開示は、２０１９年１１月２８日に中国特許庁に出願された、出願番号が２０１９１１１９２８４８．８で、出願の名称が「歩行者行為の検出方法及び装置、電子機器並びに記憶媒体」の中国特許出願の優先権を主張し、当該出願の全体内容は参照により本開示に組み込まれる。
本開示はコンピュータテクノロジーの分野に関し、特に歩行者行為の検出方法及び装置、電子機器並びに記憶媒体に関する。
スマートシティが盛んになるにつれて、高解像度映像が応用される場面が次第に多くなり、異なる場面における歩行者行為の検出がその重要な一面である。当然に、膨大なビデオ情報は人工検査に頼るだけでその対象情報を検出することがあり得ない。スマートシティ化の要求が益々高くなるに伴い、歩行者行為を自動的に検出する技術の開発が急務となっている。
本開示は歩行者行為を検出する技術方案を提供する。
本開示の一方面によれば、マルチフレームの処理対象の画像における対象歩行者の座標を取得することと、予め設定された空間の座標を取得することと、前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された空間の座標に基づいて、前記対象歩行者が前記予め設定された空間に対する歩行者行為を決定することと、を含む歩行者行為の検出方法を提供する。
上記方法により、歩行者行為を検出する正確率を向上することができる。
１つの可能な実施形態では、前期マルチフレームの処理対象の画像における対象歩行者の座標を取得することは、ディープニューラルネットワークによって前記マルチフレームの処理対象の画像における対象歩行者の座標を取得することを含む。
当該実施形態はディープニューラルネットワークを利用して前記マルチフレームの処理対象の画像における対象歩行者の座標を取得することにより、対象歩行者の座標をより迅速かつ正確に取得することができる。
１つの可能な実施形態では、前記予め設定された空間は予め設定された線を含み、前記歩行者行為は歩行者が線を跨ぐ行為を含み、
前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された空間の座標に基づいて、前記対象歩行者が前記予め設定された空間に対する歩行者行為を決定することは、
前記予め設定された線の座標に基づいて、前記予め設定された線に垂直な第１の座標軸を決定することと、
前記マルチフレームの処理対象の画像における前記対象歩行者の座標に基づいて、前記マルチフレームの処理対象の画像における前記対象歩行者の前記第１の座標軸における投影座標を決定することと、
前記投影座標のうちのいずれか２つがそれぞれ前記第１の座標軸と前記予め設定された線との交点を表す目標点の両側にある場合、前記対象歩行者が前記予め設定された線に対して前記歩行者が線を跨ぐ行為を行ったと決定することと、を含む。
当該実施形態により、歩行者が線を無方向に跨ぐ行為の検出を実現することができる。これにより、地下鉄駅、鉄道駅、広場などの人の通行量やデパートの顧客量などの統計を実現することができる。
１つの可能な実施形態では、前記投影座標のうちのいずれか２つがそれぞれ目標点の両側にある場合、前記対象歩行者が前記予め設定された線に対して前記歩行者が線を跨ぐ行為を行ったと決定することは、
予め設定された方向のベクトルと前記第１の座標軸の方向ベクトルとの角度を決定することと、
前記角度が９０度未満であり、前記投影座標のうちの第１の投影座標及び第２の投影座標がそれぞれ前記目標点の両側にあり、前記第１の投影座標に対応する処理対象の画像のタイムスタンプが前記第２の投影座標に対応する処理対象の画像よりも早く、かつ前記第１の投影座標が前記第２の投影座標よりも小さい場合、前記対象歩行者が前記予め設定された線に対して前記予め設定された方向において歩行者が線を跨ぐ行為を行ったと決定すること、及び／又は、前記角度が９０度よりも大きく、前記投影座標のうちの第１の投影座標及び第２の投影座標がそれぞれ前記目標点の両側にあり、前記第１の投影座標に対応する処理対象の画像のタイムスタンプが前記第２の投影座標に対応する処理対象の画像よりも早く、かつ前記第１の投影座標が前記第２の投影座標よりも大きい場合、前記対象歩行者が前記予め設定された線に対して前記予め設定された方向において歩行者が線を跨ぐ行為を行ったと決定することと、を含む。
当該実施形態に基づいて、歩行者が予め設定された方向で予め設定された線を跨ぐ行為を検出することができる。これにより、地下鉄駅を出る人の数、地下鉄駅に入る人の数などの統計が実現可能である。
１つの可能な実施形態では、前記予め設定された空間は予め設定された領域を含み、前記歩行者行為は歩行者滞留行為を含み、
前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された空間の座標に基づいて、前記対象歩行者が前記予め設定された空間に対する歩行者行為を決定することは、
前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記対象歩行者が前記予め設定された領域内での滞在時間を決定することと、
前記滞在時間が時間閾値以上である場合、前記対象歩行者が前記予め設定された領域内で前記歩行者滞留行為を行ったと決定することと、を含む。
当該実施形態に基づいて、対象歩行者が予め設定された領域内での滞在時間が時間閾値以上である場合には、対象歩行者が予め設定された領域内で歩行者滞留行為を行ったと決定することができる。これにより、歩行者の滞留が望ましくない応用場面では、歩行者が滞留していることをタイムリーに発見することができるので、管理人が対象歩行者に予め設定された領域内での滞留を止めるようにタイムリーに通知することができる。
１つの可能な実施形態では、前記予め設定された空間は予め設定された領域を含み、前記歩行者行為は歩行者徘徊行為を含み、
前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された空間の座標に基づいて、前記対象歩行者が前記予め設定された空間に対する歩行者行為を決定することは、
前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記対象歩行者が前記予め設定された領域内での滞在時間を決定することと、
前記滞在時間内における前記対象歩行者の累計移動距離を決定することと、
前記滞在時間が時間閾値以上、かつ前記累計移動距離が距離閾値以上である場合、前記対象歩行者が前記予め設定された領域内で前記歩行者徘徊行為を行ったと決定することと、を含む。
当該実施形態に基づいて、対象歩行者が予め設定された領域内での滞在時間が時間閾値以上、かつ累計移動距離が距離閾値以上である場合には、対象歩行者が予め設定された領域内で歩行者徘徊行為を行ったと決定することができる。これにより、歩行者の徘徊が望ましくない応用場面で、歩行者が徘徊していることをタイムリーに発見することができるので、管理人が対象歩行者に予め設定された領域内での徘徊を止めるようにタイムリーに通知することができる。
１つの可能な実施形態では、前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記対象歩行者が前記予め設定された領域内での滞在時間を決定することは、
前記マルチフレームの処理対象の画像における対象歩行者の座標、前記予め設定された領域の座標及び前記マルチフレームの処理対象の画像のタイムスタンプに基づいて、前記対象歩行者が前記予め設定された領域内に１回目に現れた処理対象の画像の第１タイムスタンプ及び前記対象歩行者が最後に前記予め設定された領域内に現れた処理対象の画像の第２タイムスタンプを決定することと、
前記第２タイムスタンプと前記第１タイムスタンプとの間の時間間隔を、前記対象歩行者が前記予め設定された領域内での滞在時間として決定することと、を含む。
当該実施形態において、対象歩行者が途中で予め設定された領域から離れたか否かを考慮せず、対象歩行者が予め設定された領域内に２回現れた時間間隔が時間閾値以上であるか否かのみを考慮すればよいので、対象歩行者が途中で予め設定された領域から離れたか否かを考慮しない応用場面に適用できる。
１つの可能な実施形態では、前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記対象歩行者が前記予め設定された領域内での滞在時間を決定することは、
前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記マルチフレームの処理対象の画像のうち、前記対象歩行者が前記予め設定された領域内に存在する画像の数を決定することと、
前記画像の数と各フレームの処理対象の画像の継続時間との積を、前記対象歩行者が前記予め設定された領域内での累計継続時間として決定し、前記累計継続時間を前記対象歩行者が前記予め設定された領域内での滞在時間とすることと、を含む。
当該実施形態は対象歩行者が途中で予め設定された領域から離れたか否かに注目しないが、予め設定された領域内における対象歩行者の累計継続時間を考慮する必要がある応用場面に適用できる。
１つの可能な実施形態では、前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記対象歩行者が前記予め設定された領域内での滞在時間を決定することは、
前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記マルチフレームの処理対象の画像のうち、前記対象歩行者が前記予め設定された領域内に存在する最大連続画像数を決定することと、
前記最大連続画像数と各フレームの処理対象の画像の継続時間との積を、前記対象歩行者が前記予め設定された領域内での最大持続時間として決定し、前記最大持続時間を前記対象歩行者が前記予め設定された領域内での滞在時間とすることと、を含む。
当該実施形態において、対象歩行者が途中で予め設定された領域から離れたか否かに注目し、対象歩行者が途中で予め設定された領域から離れると、持続時間を改めて計算する。当該実施形態は対象歩行者が途中で予め設定された領域から離れたか否かに注目する応用場面に適用できる。
１つの可能な実施形態では、前記滞在時間内における前記対象歩行者の累計移動距離を決定することは、
前記滞在時間内における、前記対象歩行者が前記予め設定された領域内に存在する処理対象の画像をそれぞれ滞在画像として決定することと、
隣接する２つのフレームの滞在画像における前記対象歩行者の座標間の距離を積算して、前記滞在時間内における前記対象歩行者の累計移動距離を得ることと、を含む。
当該実施形態を用いて決定された累計移動距離は対象歩行者が予め設定された領域内での徘徊状況をより反映することができるため、歩行者徘徊行為を検出する正確度の向上に役立つ。
１つの可能な実施形態では、前記方法は、
前記マルチフレームの処理対象の画像のいずれかにおける前記対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記処理対象の画像における前記対象歩行者が存在する領域と前記予め設定された領域との面積の重複値を決定することと、
前記面積の重複値が重複値の閾値以上である場合、前記処理対象の画像における前記対象歩行者が前記予め設定された領域内に存在すると決定することと、を更に含む。
当該実施形態において、対象歩行者が存在する領域と予め設定された領域との面積の重複値に基づいて、対象歩行者が予め設定された領域内に存在するか否かを判断することができるため、対象歩行者が予め設定された領域内に存在するか否かを判断する正確度を向上することができる。
１つの可能な実施形態では、前記対象歩行者の座標は前記対象歩行者を囲むバウンディングボックスの座標を含み、
前記マルチフレームの処理対象の画像のいずれかにおける前記対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記処理対象の画像における前記対象歩行者が存在する領域と前記予め設定された領域との面積の重複値を決定することは、
前記マルチフレームの処理対象の画像のいずれかにおける前記対象歩行者のバウンディングボックスの座標及び前記予め設定された領域の座標に基づいて、前記処理対象の画像における前記バウンディングボックスに含まれる領域と前記予め設定された領域とが重なっている領域の第１の面積を決定することと、
前記第１の面積と前記バウンディングボックスに含まれる領域の面積との比を、前記面積の重複値として決定することと、を含む。
この例により、重なっている領域の面積と対象歩行者のバウンディングボックスの面積との比に基づいて前記面積の重複値を決定することができる。このように決定された面積の重複値は対象歩行者のバウンディングボックスと予め設定された領域との重なっている状況をより反映することができ、歩行者行為の検出をより正確に行うことに役立つ。
１つの可能な実施形態では、前記予め設定された空間は予め設定された領域を含み、前記歩行者行為は歩行者侵入行為を含み、
前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された空間の座標に基づいて、前記対象歩行者が前記予め設定された空間に対する歩行者行為を決定することは、
侵入感度係数を取得することと、
前記マルチフレームの処理対象の画像のいずれかにおける前記対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記処理対象の画像における前記バウンディングボックスに含まれる領域と前記予め設定された領域とが重なっている領域の第２の面積を決定することと、
前記第２の面積と前記バウンディングボックスに含まれる領域の面積との比が前記侵入感度係数よりも大きい場合、前記対象歩行者が前記予め設定された領域に対して前記歩行者侵入行為を行ったと決定することと、を含む。
当該実施形態に基づいて、歩行者の侵入が望ましくない応用場面で、歩行者が侵入していることをタイムリーに発見することができるので、管理人が対象歩行者に予め設定された領域を離れるようにタイムリーに通知することができる。
１つの可能な実施形態では、前記方法は、
前記対象歩行者が前記予め設定された空間に対して前記歩行者行為を行ったことが検出される場合、アラーム情報を送信することを更に含む。
当該実施形態において、前記対象歩行者が前記予め設定された空間に対して前記歩行者行為を行ったことが検出される場合にアラーム情報を送信することにより、管理人が歩行者行為をタイムリーに発見することができるので、タイムリーに対応することができる。
１つの可能な実施形態では、前記方法は、
前記対象歩行者が前記予め設定された空間に対して前記歩行者行為を行ったことが検出される場合、前記対象歩行者の属性情報を抽出することと、
前記対象歩行者の属性情報を出力することと、を更に含む。
当該実施形態において、前記対象歩行者が前記予め設定された空間に対して前記歩行者行為を行ったことが検出される場合に前記対象歩行者の属性情報を出力することにより、管理人が前記対象歩行者を見つけることに役立つ。
本開示の一方面によれば、
マルチフレームの処理対象の画像における対象歩行者の座標を取得するための第１の取得モジュールと、
予め設定された空間の座標を取得するための第２の取得モジュールと、
前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された空間の座標に基づいて、前記対象歩行者が前記予め設定された空間に対する歩行者行為を決定するための第１の決定モジュールと、を含む歩行者行為の検出装置を提供する。
１つの可能な実施形態では、前記第１の取得モジュールは、
ディープニューラルネットワークによって前記マルチフレームの処理対象の画像における対象歩行者の座標を取得することに用いられる。
１つの可能な実施形態では、前記予め設定された空間は予め設定された線を含み、前記歩行者行為は歩行者が線を跨ぐ行為を含み、
前記第１の決定モジュールは、
前記予め設定された線の座標に基づいて、前記予め設定された線に垂直な第１の座標軸を決定することと、
前記マルチフレームの処理対象の画像における前記対象歩行者の座標に基づいて、前記マルチフレームの処理対象の画像における前記対象歩行者の前記第１の座標軸における投影座標を決定することと、
前記投影座標のうちのいずれか２つがそれぞれ前記第１の座標軸と前記予め設定された線との交点を表す目標点の両側にある場合、前記対象歩行者が前記予め設定された線に対して前記歩行者が線を跨ぐ行為を行ったと決定することと、に用いられる。
１つの可能な実施形態では、前記第１の決定モジュールは、
予め設定された方向のベクトルと前記第１の座標軸の方向ベクトルとの角度を決定することと、
前記角度が９０度未満であり、前記投影座標のうちの第１の投影座標及び第２の投影座標がそれぞれ前記目標点の両側にあり、前記第１の投影座標に対応する処理対象の画像のタイムスタンプが前記第２の投影座標に対応する処理対象となる画像よりも早く、かつ前記第１の投影座標が前記第２の投影座標よりも小さい場合、前記対象歩行者が前記予め設定された線に対して前記予め設定された方向において歩行者が線を跨ぐ行為を行ったと決定すること、及び／又は、前記角度が９０度よりも大きく、前記投影座標のうちの第１の投影座標及び第２の投影座標がそれぞれ前記目標点の両側にあり、前記第１の投影座標に対応する処理対象の画像のタイムスタンプが前記第２の投影座標に対応する処理対象となる画像よりも早く、かつ前記第１の投影座標が前記第２の投影座標よりも大きい場合、前記対象歩行者が前記予め設定された線に対して前記予め設定された方向において歩行者が線を跨ぐ行為を行ったと決定することと、に用いられる。
１つの可能な実施形態では、前記予め設定された空間は予め設定された領域を含み、前記歩行者行為は歩行者滞留行為を含み、
前記第１の決定モジュールは、
前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記対象歩行者が前記予め設定された領域内での滞在時間を決定することと、
前記滞在時間が時間閾値以上である場合、前記対象歩行者が前記予め設定された領域内で前記歩行者滞留行為を行ったと決定することと、に用いられる。
１つの可能な実施形態では、前記予め設定された空間は予め設定された領域を含み、前記歩行者行為は歩行者徘徊行為を含み、
前記第１の決定モジュールは、
前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記対象歩行者が前記予め設定された領域内での滞在時間を決定することと、
前記滞在時間内における前記対象歩行者の累計移動距離を決定することと、
前記滞在時間が時間閾値以上、かつ前記累計移動距離が距離閾値以上である場合、前記対象歩行者が前記予め設定された領域内で前記歩行者徘徊行為を行ったと決定することと、に用いられる。
１つの可能な実施形態では、前記第１の決定モジュールは、
前記マルチフレームの処理対象の画像における対象歩行者の座標、前記予め設定された領域の座標及び前記マルチフレームの処理対象の画像のタイムスタンプに基づいて、前記対象歩行者が前記予め設定された領域内に１回目に現れた処理対象の画像の第１タイムスタンプ及び前記対象歩行者が最後に前記予め設定された領域内に現れた処理対象の画像の第２タイムスタンプを決定することと、
前記第２タイムスタンプと前記第１タイムスタンプとの間の時間間隔を、前記対象歩行者が前記予め設定された領域内での滞在時間として決定することと、に用いられる。
１つの可能な実施形態では、前記第１の決定モジュールは、
前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記マルチフレームの処理対象の画像のうち、前記対象歩行者が前記予め設定された領域内に存在する画像の数を決定することと、
前記画像の数と各フレームの処理対象の画像の継続時間との積を、前記対象歩行者が前記予め設定された領域内での累計継続時間として決定し、前記累計継続時間を前記対象歩行者が前記予め設定された領域内での滞在時間とすることと、に用いられる。
１つの可能な実施形態では、前記第１の決定モジュールは、
前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記マルチフレームの処理対象の画像のうち、前記対象歩行者が前記予め設定された領域内に存在する最大連続画像数を決定することと、
前記最大連続画像数と各フレームの処理対象の画像の継続時間との積を、前記対象歩行者が前記予め設定された領域内での最大持続時間として決定し、前記最大持続時間を前記対象歩行者が前記予め設定された領域内での滞在時間とすることと、に用いられる。
１つの可能な実施形態では、前記第１の決定モジュールは、
前記滞在時間内における、前記対象歩行者が前記予め設定された領域内に存在する処理対象の画像をそれぞれ滞在画像として決定することと、
隣接する２つのフレームの滞在画像における前記対象歩行者の座標間の距離を積算して、前記滞在時間内における前記対象歩行者の累計移動距離を得ることと、に用いられる。
１つの可能な実施形態では、前記装置は、
前記マルチフレームの処理対象の画像のいずれかにおける前記対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記処理対象の画像における前記対象歩行者が存在する領域と前記予め設定された領域との面積の重複値を決定するための第２の決定モジュールと、
前記面積の重複値が重複値の閾値以上である場合に、前記処理対象の画像における前記対象歩行者が前記予め設定された領域内に存在すると決定するための第３の決定モジュールと、を更に含む。
１つの可能な実施形態では、前記対象歩行者の座標は前記対象歩行者を囲むバウンディングボックスの座標を含み、
前記第２の決定モジュールは、
前記マルチフレームの処理対象の画像のいずれかにおける前記対象歩行者のバウンディングボックスの座標及び前記予め設定された領域の座標に基づいて、前記処理対象の画像における前記バウンディングボックスに含まれる領域と前記予め設定された領域とが重なっている領域の第１の面積を決定することと、
前記第１の面積と前記バウンディングボックスに含まれる領域の面積との比を、前記面積の重複値として決定することと、に用いられる。
１つの可能な実施形態では、前記予め設定された空間は予め設定された領域を含み、前記歩行者行為は歩行者侵入行為を含み、
前記第１の決定モジュールは、
侵入感度係数を取得することと、
前記マルチフレームの処理対象の画像のいずれかにおける前記対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記処理対象の画像における前記バウンディングボックスに含まれる領域と前記予め設定された領域とが重なっている領域の第２の面積を決定することと、
前記第２の面積と前記バウンディングボックスに含まれる領域の面積との比が前記侵入感度係数よりも大きい場合、前記対象歩行者が前記予め設定された領域に対して前記歩行者侵入行為を行ったと決定することと、に用いられる。
１つの可能な実施形態では、前記装置は、
前記対象歩行者が前記予め設定された空間に対して前記歩行者行為を行ったことが検出される場合、アラーム情報を送信するためのアラームモジュールを更に含む。
１つの可能な実施形態では、前記装置は、
前記対象歩行者が前記予め設定された空間に対して前記歩行者行為を行ったことが検出される場合、前記対象歩行者の属性情報を抽出するための抽出モジュールと、
前記対象歩行者の属性情報を出力するための出力モジュールと、を更に含む。
本開示の一方面によれば、１つ以上のプロセッサと、実行可能な命令を記憶するためのメモリと、を含み、前記１つ以上のプロセッサは、上記方法を実行するために、前記メモリに記憶された実行可能な命令を呼び出すように構成される電子機器を提供する。
本開示の一方面によれば、コンピュータプログラム命令が記憶されているコンピュータ可読記憶媒体であって、前記コンピュータプログラム命令がプロセッサによって実行されると、上記方法を実現させるコンピュータ可読記憶媒体を提供する。
本開示の一方面によれば、コンピュータ可読コードを含むコンピュータプログラムであって、前記コンピュータ可読コードが電子機器において動作すると、前記電子機器のプロセッサに上記方法を実現するための命令を実行させるコンピュータプログラムを提供する。
本開示の実施例において、マルチフレームの処理対象の画像における対象歩行者の座標を取得し、予め設定された空間の座標を取得し、前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された空間の座標に基づいて、前記対象歩行者が前記予め設定された空間に対する歩行者行為を決定することにより、歩行者行為を検出する正確率を向上することができる。
以上の一般な説明と以下の詳細な説明は、例示的や解釈的なものに過ぎず、本開示を制限するものではないことを理解すべきである。
以下、図面を参考しながら例示的な実施例を詳細に説明することによって、本開示の他の特徴及び方面は明確になる。
明細書の一部として含まれる図面は、本開示の実施例を示し、明細書と共に本開示の技術的手段を説明するものである。
図１は本開示の実施例で提供する歩行者行為の検出方法のフローチャートを示す。 図２は本開示の実施例で提供する歩行者行為の検出方法における歩行者が線を跨ぐ行為の模式図を示す。 図３は本開示の実施例で提供する歩行者行為の検出方法における予め設定された方向の歩行者が線を跨ぐ行為の模式図を示す。 図４は本開示の実施例で提供する歩行者検出方法の応用場面の模式図を示す。 図５は本開示の実施例で提供する歩行者行為の検出装置のブロック図を示す。 図６は本開示の実施例で提供する電子機器８００のブロック図を示す。 図７は本開示の実施例で提供する電子機器１９００のブロック図を示す。
以下に図面を参照しながら本開示の様々な例示的実施例、特徴及び方面を詳細に説明する。図面において、同じ符号が同じ又は類似する機能の要素を表す。図面において実施例の様々な方面を示したが、特に説明がない限り、比例に従って図面を描く必要がない。
ここの用語「例示的」とは、「例、実施例とするもの又は説明的なもの」を意味する。ここで「例示的」に説明されるいかなる実施例も他の実施例より好ましい又は優れるものであると理解すべきではない。
本明細書において、用語の「及び／又は」は、関連対象の関連関係を記述するのものに過ぎず、３つの関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａのみが存在し、ＡとＢが同時に存在し、Ｂのみが存在するという３つの場合を示すことができる。また、本明細書において、用語の「少なくとも１つ」は複数のうちのいずれか１つ又は複数のうちの少なくとも２つの任意の組み合わせを示し、例えば、Ａ、Ｂ及びＣのうちの少なくとも１つを含むということは、Ａ、Ｂ及びＣで構成される集合から選択されたいずれか１つ又は複数の要素を含むことを示すことができる。
また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的な詳細を示す。当業者であれば、何らかの具体的な詳細がなくても、本開示は同様に実施できるということを理解すべきである。いくつかの実施例では、本開示の趣旨を強調するために、当業者に既知の方法、手段、要素及び回路について、詳細な説明を省略する。
関連する技術には歩行者行為の検出方法が主に２種類ある。１つは従来の温度による検出方法またはコイルによる検出方法である。この方法は信頼性が比較的低く、拡張性が比較的悪く、かつ設置・保守が不便である。もう一つはビデオに基づく検出方法であり、背景差分法、二値化分割法など従来の画像処理及びモデル識別方法を用い、ビデオ背景が複雑な場面では歩行者の検出率が低いため、歩行者行為を検出する正確率が比較的低い。
本開示の実施例において、マルチフレームの処理対象の画像における対象歩行者の座標を取得し、予め設定された空間の座標を取得し、前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された空間の座標に基づいて、前記対象歩行者が前記予め設定された空間に対する歩行者行為を決定することにより、歩行者行為を検出する正確率を向上することができる。
本開示の実施例は歩行者行為を検出する必要がある任意の応用場面に応用することができる。例えば、本開示の実施例は地下鉄駅、鉄道駅、道路、デパート、駅、刑務所、広場または会社門番などの場面に適用することができる。
以下、本開示の実施例の図面により本開示の実施例を詳しく説明する。
図１は本開示の実施例で提供する歩行者行為の検出方法のフローチャートを示す。前記歩行者行為の検出方法の実行者は歩行者行為の検出装置であってもよい。例えば、前記歩行者行為の検出方法は端末装置又はサーバー又はその他の処理装置により実行されてもよい。ここで、端末装置としては、ユーザ機器（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、モバイルデバイス、ユーザー端末、端末、携帯電話、コードレス電話、携帯情報端末（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、ハンドヘルドデバイス、コンピューティングデバイス、車載デバイス、ウェアラブルデバイス等が挙げられる。いくつかの可能な実施形態では、前記歩行者行為の検出方法は、プロセッサが、メモリに記憶されたコンピュータで可読な命令を呼び出すことにより実施できる。図１に示すように、前記歩行者行為の検出方法は、ステップＳ１１～ステップＳ１３を含む。
ステップＳ１１において、マルチフレームの処理対象の画像における対象歩行者の座標を取得する。
本開示の実施例の実行者はサーバーであってもよく、サーバーが監視カメラに接続されてもよく、監視カメラが収集されたビデオストリームをサーバーに送信することができる。サーバーが監視カメラから送信されたビデオストリームにおいて同一の歩行者を含むマルチフレームビデオ画像をマルチフレームの処理対象の画像とすることができる。マルチフレームの処理対象の画像に含まれる同一歩行者は対象歩行者である。なお、上記マルチフレームビデオ画像はマルチフレームの連続するビデオ画像であってもよく、連続するビデオ画像でなくてもよい。対象歩行者の数は１つであってもよく、複数であってもよく、即ち、マルチフレームの処理対象の画像には１つ以上の同一歩行者が含まれてもよい。
例えば、カメラにより収集されたビデオストリームに１０フレームの画像が含まれ、第１フレーム画像、第２フレーム画像、第３フレーム画像、第６フレーム画像、第８フレーム画像、第９フレーム画像にいずれも歩行者Ａが含まれると、第１フレーム画像、第２フレーム画像、第３フレーム画像、第６フレーム画像、第８フレーム画像、第９フレーム画像をマルチフレームの処理対象の画像とすることができる。第１フレーム画像のタイムスタンプが第２フレーム画像のタイムスタンプよりも小さく、第２フレーム画像のタイムスタンプが第３フレーム画像のタイムスタンプよりも小さいように推定し、第９フレーム画像のタイムスタンプが第１０フレーム画像のタイムスタンプよりも小さい。
１つの可能な実施形態では、前記マルチフレームの処理対象の画像における対象歩行者の座標を取得することは、ディープニューラルネットワークによって前記マルチフレームの処理対象の画像における対象歩行者の座標を取得することを含む。当該実施形態はディープニューラルネットワークを利用して前記マルチフレームの処理対象の画像における対象歩行者の座標を取得することにより、対象歩行者の座標をより迅速かつ正確に取得することができる。
本開示の実施例では、サーバーが処理対象の画像に対して、歩行者を検出するための任意のアルゴリズムにより歩行者検出を行うことができる。歩行者を検出するためのアルゴリズムとしては、「見るのは一度きり」アルゴリズム（ｙｏｕ ｏｎｌｙ ｌｏｏｋ ｏｎｃｅ，ＹＯＬＯ）、ターゲット検出アルゴリズム（ｄｅｆｏｒｍａｂｌｅ ｐａｒｔ ｍｏｄｅｌ，ＤＭＰ）、シングルショットマルチボックス検出器に基づくアルゴリズム（ｓｉｎｇｌｅ ｓｈｏｔ ｍｕｌｔｉＢｏｘ ｄｅｔｅｃｔｏｒ，ＳＳＤ）、Ｆａｓｔｅｒ－ＲＣＮＮアルゴリズム等が挙げられる。本開示は歩行者を検出するためのアルゴリズムを具体的に限定しない。
歩行者を検出するためのアルゴリズムにより各フレームの処理対象の画像に対して歩行者検出を行い、各フレームの処理対象の画像における対象歩行者の座標を取得することができる。対象歩行者の座標は対象歩行者のバウンディングボックスを含む座標であってもよく、または、対象歩行者の座標は対象歩行者のバウンディングボックスの幾何学的中心の座標であってもよく、または、対象歩行者の座標は対象歩行者の輪郭上の肝心な点の座標であってもよく、上記座標はいずれも処理対象の画像の座標系における座標を指すものである。
１つの可能な実施形態では、各フレームの処理対象の画像はいずれもタイムスタンプを含み、当該タイムスタンプは処理対象の画像を収集する時間を特徴付けることができる。処理対象の画像のタイムスタンプの小から大の順に各フレームの処理対象の画像における対象歩行者の座標をソートして対象歩行者の座標シーケンス、即ち、異な時刻における対象歩行者の座標を得ることができる。そして、当該マルチフレームの処理対象の画像における対象歩行者の座標及び当該マルチフレームの処理対象の画像のタイムスタンプに基づいて当該マルチフレームの処理対象の画像の対象歩行者の座標と時間との関係を決定することができる。マルチフレームの処理対象の画像の対象歩行者の座標と時間との関係は任意時刻における対象歩行者の座標を含むことができる。
１つの可能な実施形態では、マルチフレームの処理対象の画像における対象歩行者の座標をカーブフィッティングすることで、マルチフレームの処理対象の画像における対象歩行者の座標と時間との関係を得ることができるため、対象歩行者の移動軌跡を得ることができる。カーブフィッティングとは平面上の複数の離散点によって表される座標間の関係を連続した曲線で近似的に描くまたは真似するためのデータの処理方法である。つまり、マルチフレームの処理対象の画像のバウンディングボックスの座標をカーブフィッティングすることで、マルチフレームの処理対象の画像における対象歩行者の座標と時間との関係を得ることができ、任意の２つのフレームの処理対象の画像間の任意時刻における対象歩行者の座標を更に得ることができる。
一例において、ハンガリーのアルゴリズム（二部グラフの最大マッチング）及びカルマンフィルタにより処理して、マルチフレームの処理対象の画像における対象歩行者の座標と時間との関係を決定することができる。ハンガリーのアルゴリズムにより前後隣接する２つのフレームの処理対象の画像における対象歩行者をマッチングし、後のフレームの対象歩行者を前のフレームにマッチングし、複数のフレームを組み合わせて座標と時間のシーケンスを１つ形成させることより、対象歩行者の座標と時間との関係を得ることができる。カルマンフィルタは主として、各対象歩行者の移動軌跡に対してフィルタリング及びノイズの除去を行い、出力される移動軌跡の精度を向上するとともに、ハンガリーのアルゴリズムのマッチング精度を高める作用を発揮する。
ステップＳ１２において、予め設定された空間の座標を取得する。
本開示の実施例において、前記予め設定された空間は１次元空間、２次元空間または３次元空間であってもよい。例えば、前記予め設定された空間は予め設定された線及び／又は予め設定された領域を含んでもよい。予め設定された線は１次元空間であってもよく、予め設定された領域は２次元空間または３次元空間であってもよい。
１つの可能な実施形態では、ユーザがカメラの監視領域内から予め設定された点を２つ選択して当該２つの予め設定された点を結ぶ線を予め設定された線とすることができる。別の実施可能な実施形態では、ユーザがカメラの監視領域内から予め設定された点を順番に複数選択し、複数の予め設定された点を順番に結んで、複数の予め設定された点を含む閉じたポリゴンを得て、このポリゴンに含まれる領域を予め設定された領域とすることができる。
ステップＳ１３において、前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された空間の座標に基づいて、前記対象歩行者が前記予め設定された空間に対する歩行者行為を決定する。
本開示の実施例において、前記歩行者行為は歩行者が線を跨ぐ行為、歩行者滞留行為、歩行者徘徊行為及び歩行者侵入行為等のうちの１種以上を含んでもよい。歩行者が線を跨ぐ行為は歩行者が予め設定された線を跨ぐ行為を表してもよく、歩行者滞留行為は歩行者が予め設定された領域内に滞留する行為を表してもよく、歩行者徘徊行為は歩行者が予め設定された領域内に徘徊する行為を表してもよく、歩行者侵入行為は歩行者が予め設定された領域に入る行為を表してもよい。
１つの可能な実施形態では、前記予め設定された空間は予め設定された線を含み、前記歩行者行為は歩行者が線を跨ぐ行為を含む。当該実施形態により、歩行者が予め設定された線を跨ぐ行為を検出することができ、これにより、地下鉄駅、鉄道駅、広場などの人の通行量やデパートの顧客量などの統計を実現することができる。
当該実施形態の一例として、歩行者が線を跨ぐ行為は線を無方向に跨ぐ態様と、線を方向のあるように跨ぐ態様とがある。無方向に跨ぐ態様は線を跨ぐ方向を考慮せず、予め設定された線の一方側から他方側へ跨いだのであれば、歩行者が線を跨ぐ行為を行った態様である。線を方向のあるように跨ぐ態様は線を跨ぐ方向を考慮し、歩行者が予め設定された方向で線を跨いだか否かを検出する態様である。
１つの可能な実施形態では、前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された空間の座標に基づいて、前記対象歩行者が前記予め設定された空間に対する歩行者行為を決定することは、前記予め設定された線の座標に基づいて、前記予め設定された線に垂直な第１の座標軸を決定することと、前記マルチフレームの処理対象の画像における前記対象歩行者の座標に基づいて、前記マルチフレームの処理対象の画像における前記対象歩行者の前記第１の座標軸における投影座標を決定することと、前記投影座標のうちのいずれか２つがそれぞれ前記第１の座標軸と前記予め設定された線との交点を表す目標点の両側にある場合、前記対象歩行者が前記予め設定された線に対して前記歩行者が線を跨ぐ行為を行ったと決定することとを含む。
例えば、予め設定された線を第２の座標軸とする場合、目標点が第１の座標軸と第２の座標軸の交点、つまり原点である。
当該実施形態により、歩行者が線を無方向に跨ぐ行為の検出を実現することができる。これにより、地下鉄駅、鉄道駅、広場などの人の通行量やデパートの顧客量などの統計を実現することができる。
当該実施形態において、予め設定された線の座標は予め設定された線上の２つの点の座標を用いて表すことができる。図２は本開示の実施例で提供する歩行者行為の検出方法における歩行者が線を跨ぐ行為の模式図を示す。図２に示すように、予め設定された線の座標は予め設定された線上の２つの点ｌ１及びｌ２の座標を用いて表すことができ、点ｌ１の座標は（ｍ１，ｎ１）であり、点ｌ２の座標は（ｍ２，ｎ２）である。予め設定された線の方向ベクトルは
Figure 2022515908000002
 として表すことができる。予め設定さされた線の垂線の方向ベクトルｎ(→)は式１を用いて決定することができる。
Figure 2022515908000003
 即ち、
Figure 2022515908000004
当該実施形態において、第１の座標軸は図２におけるｘ’軸であってもよく、また、予め設定された線の方向ベクトルをｙ’軸とすることができる。
対象歩行者の座標は対象歩行者のバウンディングボックスの頂点座標であってもよい。図２において、ｃiは対象歩行者のバウンディングボックスの頂点を表し、ｃiの座標は（ｘi，ｙi）、１≦i≦ｎ、例えばｎ＝４として表すことができる。図２において、対象歩行者のバウンディングボックスの頂点の下付き文字は時計回りの順で配列されている。分かりやくするめに、図２は長方形を例として対象歩行者のバウンディングボックスの模式図を示している。対象歩行者のバウンディングボックスが任意の形状であってもよいことが当業者に理解される。ｘ’軸におけるｃiの投影座標ｐiは式２を用いて表すことができる。
Figure 2022515908000005
１つのフレームの処理対象の画像にとって、当該処理対象の画像における対象歩行者のバウンディングボックスの頂点がmin（ｐi，L，ｐｎ）≦０かつmax（ｐi，L，ｐｎ）≧０を満足すると、対象歩行者が予め設定された線に対して歩行者が線を跨ぐ行為を行ったと決定することができる。式中の等号はバウンディングボックスの頂点が予め設定された線にある場合も線を跨ぐと決定することを表す。マルチフレームの処理対象の画像にとって、隣接する２つのフレームの処理対象の画像における対象歩行者のバウンディングボックスの頂点がｐi<０かつｑi>０ を満足する、またはｐi>０かつｑi<０を満足すると、対象歩行者が予め設定された線に対して線を跨ぐ行為を行ったと決定することができる。１≦i≦ｎ、ｐi及びｑiはそれぞれ前記隣接する２つのフレームの処理対象の画像における対象歩行者のバウンディングボックスの頂点を表す。
１つの可能な実施形態では、前記投影座標のうちのいずれか２つがそれぞれ目標点の両側にある場合、前記対象歩行者が前記予め設定された線に対して前記歩行者が線を跨ぐ行為を行ったと決定することは、予め設定された方向のベクトルと前記第１の座標軸の方向ベクトルとの角度を決定することと、前記角度が９０度未満であり、前記投影座標のうちの第１の投影座標及び第２の投影座標がそれぞれ前記目標点の両側にあり、前記第１の投影座標に対応する処理対象の画像のタイムスタンプが前記第２の投影座標に対応する処理対象の画像よりも早く、かつ前記第１の投影座標が前記第２の投影座標よりも小さい場合、前記対象歩行者が前記予め設定された線に対して前記予め設定された方向において歩行者が線を跨ぐ行為を行ったと決定すること、及び／又は、前記角度が９０度よりも大きく、前記投影座標のうちの第１の投影座標及び第２の投影座標がそれぞれ前記目標点の両側にあり、前記第１の投影座標に対応する処理対象の画像のタイムスタンプが前記第２の投影座標に対応する処理対象の画像よりも早く、かつ前記第１の投影座標が前記第２の投影座標よりも大きい場合、前記対象歩行者が前記予め設定された線に対して前記予め設定された方向において歩行者が線を跨ぐ行為を行ったと決定することと、を含む。
当該実施形態に基づいて、歩行者が予め設定された方向で予め設定された線を跨ぐ行為を検出することができる。地下鉄駅を出る人の数、地下鉄駅に入る人の数等の統計が実現可能である。
当該実施形態において、第１の座標軸の方向ベクトルは第１の座標軸に平行し、かつ第１の座標軸の正方向を指してもよい。
Figure 2022515908000006
また、当該幾何学的中心が予め設定された線の一方側から他方側に跨いで、かつ予め設定された方向と一致する時に、対象歩行者が予め設定された方向で予め設定された線を跨いだと判断することができる。予め設定された線の垂線の方向ベクトルをｘ’軸とし、ｘ’軸における幾何学的中心ｃｍの投影座標Ｐｍは式４を用いて表すことができる。
Figure 2022515908000007
マルチフレームの処理対象の画像にとって、そのうちの２つのフレームの処理対象の画像ｋ及びｌがＰｍｋ<０、Ｐｍｌ>０かつＴｋ<Ｔｌを満足すると、対象歩行者が予め設定された方向で予め設定された線を跨いだと決定することができる。ｋ及びｌはこの２つのフレームの処理対象の画像の番号を表し、Ｐｍｋはｘ’軸における処理対象の画像ｋにおける対象歩行者のバウンディングボックスの幾何学的中心の投影座標を表し、Ｐｍｌはｘ’軸における処理対象の画像ｌにおける対象歩行者のバウンディングボックスの幾何学的中心の投影座標を表し、Ｔｋは処理対象の画像ｋのタイムスタンプを表し、Ｔｌは処理対象の画像ｌのタイムスタンプを表す。
１つの可能な実施形態では、前記予め設定された空間は予め設定された領域を含み、前記歩行者行為は歩行者滞留行為を含み、歩行者徘徊行為及び歩行者侵入行為のうちの１種以上を含む。当該実施形態に基づいて、歩行者が予め設定された領域内に滞留する行為、歩行者が予め設定された領域内に徘徊する行為、及び歩行者が予め設定された領域に入る行為の１種以上を検出することができる。
例えば、地下鉄の出口、空港等では、人の流れをスムーズに保つために人の滞留や徘徊が望ましくないため、地下鉄の出口または空港などで歩行者滞留行為または歩行者徘徊行為に対応する予め設定された領域として１つの領域を指定することができる。
また、例えば軍事領域や一時的な現場保護が必要な領域など一部の管制領域には人の侵入が望ましくないため、これらの領域を歩行者侵入行為に対応する予め設定された領域とすることができる。
１つの可能な実施形態では、前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された空間の座標に基づいて、前記対象歩行者が前記予め設定された空間に対する歩行者行為を決定することは、前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された空間の座標に基づいて、前記対象歩行者が前記予め設定された領域内に存在すること、前記対象歩行者が前記予め設定された領域内での滞在時間が時間閾値以上であること、前記滞在時間内における前記対象歩行者の累計移動距離が距離閾値以上であること、の１つ以上の条件を満足すると決定した場合、前記対象歩行者が前記予め設定された領域内で歩行者滞留行為、歩行者徘徊行為及び歩行者侵入行為のうちの１種以上が発生したと決定する。
例えば、マルチフレームの処理対象の画像における対象歩行者の座標及び予め設定された空間の座標に基づいて、対象歩行者が予め設定された領域内に存在すると決定した場合、対象歩行者が予め設定された領域内で歩行者侵入行為を行ったと決定することができる。マルチフレームの処理対象の画像における対象歩行者の座標及び予め設定された空間の座標に基づいて、対象歩行者が予め設定された領域内での滞在時間が時間閾値以上であると決定した場合、対象歩行者が予め設定された領域内で歩行者滞留行為を行ったと決定することができる。マルチフレームの処理対象の画像における対象歩行者の座標及び予め設定された空間の座標に基づいて、対象歩行者が予め設定された領域内での滞在時間が時間閾値以上であり、かつ滞在時間内における対象歩行者の累計移動距離が距離閾値以上であると決定した場合、対象歩行者が予め設定された領域内で歩行者徘徊行為を行ったと決定することができる。
当該実施形態に基づいて、前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された空間の座標が満足する条件によって、歩行者滞留行為、歩行者徘徊行為及び歩行者侵入行為のうちの１種以上を検出することができる。
１つの可能な実施形態では、前記予め設定された空間は予め設定された領域を含み、前記歩行者行為は歩行者滞留行為を含み、前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された空間の座標に基づいて、前記対象歩行者が前記予め設定された空間に対する歩行者行為を決定することは、前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記対象歩行者が前記予め設定された領域内での滞在時間を決定することと、前記滞在時間が時間閾値以上である場合、前記対象歩行者が前記予め設定された領域内で歩行者滞留行為を行ったと決定することと、を含む。
当該実施形態に基づいて、対象歩行者が予め設定された領域内での滞在時間が時間閾値以上である場合には、対象歩行者が予め設定された領域内で歩行者滞留行為を行ったと決定することができる。これにより、歩行者の滞留が望ましくない応用場面では、歩行者が滞留していることをタイムリーに発見することができるので、管理人が対象歩行者に予め設定された領域内での滞留を止めるようにタイムリーに通知することができる。
１つの可能な実施形態では、前記予め設定された空間は予め設定された領域を含み、前記歩行者行為は歩行者徘徊行為を含み、前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された空間の座標に基づいて、前記対象歩行者が前記予め設定された空間に対する歩行者行為を決定することは、前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記対象歩行者が前記予め設定された領域内での滞在時間を決定することと、前記滞在時間内における前記対象歩行者の累計移動距離を決定することと、前記滞在時間が時間閾値以上、かつ前記累計移動距離が距離閾値以上である場合、前記対象歩行者が前記予め設定された領域内で歩行者徘徊行為を行ったと決定することと、を含む。
例えば、予め設定された領域が地下鉄駅のロビーであり、距離閾値が３０００メートルである場合、対象歩行者が地下鉄駅のロビーに滞在する時間が時間閾値以上であり、かつ累計移動距離が３０００メートル以上であると、対象歩行者が地下鉄駅のロビーで歩行者徘徊行為を行ったと決定することができる。
当該実施形態に基づいて、対象歩行者が予め設定された領域内での滞在時間が時間閾値以上、かつ累計移動距離が距離閾値以上である場合には、対象歩行者が予め設定された領域内で歩行者徘徊行為を行ったと決定することができる。これにより、歩行者の徘徊が望ましくない応用場面で、歩行者が徘徊していることをタイムリーに発見することができるので、管理人が対象歩行者に予め設定された領域内での徘徊を止めるようにタイムリーに通知することができる。
１つの可能な実施形態では、前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記対象歩行者が前記予め設定された領域内での滞在時間を決定することは、前記マルチフレームの処理対象の画像における対象歩行者の座標、前記予め設定された領域の座標及び前記マルチフレームの処理対象の画像のタイムスタンプに基づいて、前記対象歩行者が前記予め設定された領域内に１回目に現れた処理対象の画像の第１タイムスタンプ及び前記対象歩行者が最後に前記予め設定された領域内に現れた処理対象の画像の第２タイムスタンプを決定することと、前記第２タイムスタンプと前記第１タイムスタンプとの間の時間間隔を、前記対象歩行者が前記予め設定された領域内での滞在時間として決定することと、を含む。
当該実施形態において、対象歩行者が途中で予め設定された領域から離れたか否かを考慮せず、対象歩行者が予め設定された領域内に２回現れた時間間隔が時間閾値以上であるか否かのみを考慮すれば良いので、対象歩行者が途中で予め設定された領域から離れたか否かを考慮しない応用場面に適用できる。
一例において、前記マルチフレームの処理対象の画像におけるの任意の２つのフレームの処理対象の画像における対象歩行者が予め設定された領域内に存在し、かつこの２つのフレームの処理対象の画像のタイムスタンプ間の時間間隔が時間閾値以上であると、対象歩行者が予め設定された領域内で歩行者滞留行為を行ったと決定することができる。例えば、処理対象の画像ａにおける対象歩行者が予め設定された領域内に存在し、処理対象の画像ｂにおける対象歩行者が予め設定された領域内に存在し、処理対象の画像ａのタイムスタンプがＴａであり、処理対象の画像ｂのタイムスタンプＴｂであり、時間閾値がＴthresholdであり、Ｔｂ-Ｔａ≧Ｔthresholdである場合、対象歩行者が予め設定された領域内で歩行者滞留行為を行ったと決定することができる。
一例において、基準タイムスタンプとして対象歩行者が予め設定された領域内に１回目に現れた時のタイムスタンプを記録することができる。対象歩行者が予め設定された領域内に再度現れた時のタイムスタンプと基準タイムスタンプとの間の時間間隔が時間閾値以上であると、対象歩行者が予め設定された領域内で歩行者滞留行為を行ったと決定することができる。
一例において、前記マルチフレームの処理対象の画像における任意の２つのフレームの処理対象の画像における対象歩行者が予め設定された領域内に存在し、この２つのフレームの処理対象の画像のタイムスタンプ間の時間間隔が時間閾値以上であり、かつ予め設定された領域内における対象歩行者の累計移動距離が距離閾値以上であると、対象歩行者が予め設定された領域内で歩行者徘徊行為を行ったと決定することができる。
１つの可能な実施形態では、前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記対象歩行者が前記予め設定された領域内での滞在時間を決定することは、前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記マルチフレームの処理対象の画像のうち、前記対象歩行者が前記予め設定された領域内に存在する画像の数を決定することと、前記画像の数と各フレームの処理対象の画像の継続時間との積を、前記対象歩行者が前記予め設定された領域内での累計継続時間として決定し、前記累計継続時間を前記対象歩行者が前記予め設定された領域内での滞在時間とすることと、を含む。当該実施形態に基づいて、予め設定された領域内における対象歩行者の累計継続時間を迅速かつ正確に決定することができる。
当該実施形態は対象歩行者が途中で予め設定された領域から離れたか否かに注目しないが、予め設定された領域内における対象歩行者の累計継続時間を考慮する必要がある応用場面に適用できる。
例えば、前記画像の数と各フレームの処理対象の画像の継続時間との積を、前記対象歩行者が前記予め設定された領域内での累計継続時間とすることができる。例えば、前記図像の数がＫであり、各フレームの処理対象の画像の継続時間がＴｏである場合、累計継続時間をＫＴｏに等しいとよい。
１つの可能な実施形態では、前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記対象歩行者が前記予め設定された領域内での滞在時間を決定することは、前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記マルチフレームの処理対象の画像のうち、前記対象歩行者が前記予め設定された領域内に存在する最大連続画像数を決定することと、前記最大連続画像数と各フレームの処理対象の画像の継続時間との積を、前記対象歩行者が前記予め設定された領域内での最大持続時間として決定し、前記最大持続時間を前記対象歩行者が前記予め設定された領域内での滞在時間とすることと、を含む。
当該実施形態において、対象歩行者が途中で予め設定された領域から離れたか否かに注目し、対象歩行者が途中で予め設定された領域から離れると、持続時間を改めて計算する。当該実施形態は対象歩行者が途中で予め設定された領域から離れたか否かに注目する応用場面に適用できる。
１つの可能な実施形態では、前記滞在時間内における前記対象歩行者の累計移動距離を決定することは、前記滞在時間内における、前記対象歩行者が前記予め設定された領域内に存在する処理対象の画像をそれぞれ滞在画像として決定することと、隣接する２つのフレームの滞在画像における前記対象歩行者の座標間の距離を積算して、前記滞在時間内における前記対象歩行者の累計移動距離を得ることと、を含む。距離はユークリッド距離であってもよい。
当該実施形態において、予め設定された領域内における対象歩行者の移動距離のみを考慮することができる。対象歩行者が予め設定された領域から離れると、それの移動距離を考慮しない。例えば、処理対象の画像１、２、３、５では、対象歩行者が予め設定された領域内に存在しており、処理対象の画像４では、対象歩行者が予め設定された領域内に存在していない。この場合、処理対象の画像１及び２における対象歩行者の座標間の距離、処理対象の画像２及び３における対象歩行者の座標間の距離、処理対象の画像３及び５における対象歩行者の座標間の距離を累計移動距離に含め、処理対象の画像３及び４における対象歩行者の座標間の距離、処理対象の画像４及び５における対象歩行者の座標間の距離を累計移動距離に含めないようにすることができる。
当該実施形態を用いて決定された累計移動距離は対象歩行者が予め設定された領域内での徘徊状況をより反映することができるため、歩行者徘徊行為を検出する正確度の向上に役立つ。
１つの可能な実施形態では、対象歩行者のバウンディングボックスの幾何学的中心の座標を対象歩行者の座標として決定することができ、対象歩行者のバウンディングボックスの幾何学的中心が予め設定された領域内にあるか否かを判断することで、対象歩行者が予め設定された領域内に存在するか否かを判断することができる。即ち、対象歩行者のバウンディングボックスの幾何学的中心が予め設定された領域内にあると、対象歩行者が予め設定された領域内に存在すると判断することができる。対象歩行者のバウンディングボックスの幾何学的中心が予め設定された領域内に存在しないと、対象歩行者が予め設定された領域内に存在しないと判断することができる。
当該実施形態の一例として、予め設定された領域の面積が対象歩行者のバウンディングボックスの面積よりもはるかに大きい場合、例えば、予め設定された領域の面積と対象歩行者のバウンディングボックスの面積との比が予め設定された比以上である場合、対象歩行者のバウンディングボックスの幾何学的中心が予め設定された領域内にあるか否かを判断することで、対象歩行者が予め設定された領域内に存在するか否かを判断することができる。
１つの可能な実施形態では、前記方法は、前記マルチフレームの処理対象の画像のいずれかにおける前記対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記処理対象の画像における前記対象歩行者が存在する領域と前記予め設定された領域との面積の重複値を決定することと、前記面積の重複値が重複値の閾値以上である場合、前記処理対象の画像における前記対象歩行者が前記予め設定された領域内に存在すると決定することと、を更に含む。例えば、重複値の閾値は０．５であってもよい。
当該実施形態において、対象歩行者が存在する領域と予め設定された領域との面積の重複値に基づいて、対象歩行者が予め設定された領域内に存在するか否かを判断することができる。
当該実施形態の一例として、前記対象歩行者の座標は前記対象歩行者を囲むバウンディングボックスの座標を含み、前記マルチフレームの処理対象の画像のいずれかにおける前記対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記処理対象の画像における前記対象歩行者が存在する領域と前記予め設定された領域との面積の重複値を決定することは、前記マルチフレームの処理対象の画像のいずれかにおける前記対象歩行者のバウンディングボックスの座標及び前記予め設定された領域の座標に基づいて、前記処理対象の画像における前記バウンディングボックスに含まれる領域と前記予め設定された領域とが重なっている領域の第１の面積を決定することと、前記第１の面積と前記バウンディングボックスに含まれる領域の面積との比を、前記面積の重複値として決定することと、を含む。
この例により、重なっている領域の面積と対象歩行者のバウンディングボックスの面積との比に基づいて前記面積の重複値を決定することができる。このように決定された面積の重複値は対象歩行者のバウンディングボックスと予め設定された領域とが重なっている状況をより反映することができる、歩行者行為の検出をより正確に行うことに役立つ。
当該実施形態の別の一例として、前記バウンディングボックスに含まれる領域と前記予め設定された領域とが重なっている領域をそのまま前記面積の重複値とすることができる。
当該実施形態の一例として、予め設定された領域の面積と対象歩行者のバウンディングボックスの面積とが比較的近い、例えば、予め設定された領域の面積と対象歩行者のバウンディングボックスの面積との比が予め設定された比よりも小さい場合、対象歩行者のバウンディングボックスに含まれる領域と予め設定された領域とが重なっている度合いに基づいて、対象歩行者が予め設定された領域内に存在するか否かを判断することができる。
１つの可能な実施形態では、前記予め設定された空間は予め設定された領域を含み、前記歩行者行為は歩行者侵入行為を含み、前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された空間の座標に基づいて、前記対象歩行者が前記予め設定された空間に対する歩行者行為を決定することは、侵入感度係数を取得することと、前記マルチフレームの処理対象の画像のいずれかにおける前記対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記処理対象の画像における前記バウンディングボックスに含まれる領域と前記予め設定された領域とが重なっている領域の第２の面積を決定することと、前記第２の面積と前記バウンディングボックスに含まれる領域の面積との比が前記侵入感度係数よりも大きい場合、前記対象歩行者が前記予め設定された領域に対して歩行者侵入行為を行ったと決定することと、を含む。
当該実施形態において、侵入感度係数は予め設定された領域への歩行者の侵入に対する感度を示すことができる。一例において、侵入感度係数と予め設定された領域への歩行者の侵入に対する感度とが負の相関関係にあり、侵入感度係数が小さいほど、予め設定された領域への歩行者の侵入に対する感度が大きい。侵入感度係数は０以上、かつ１以下であってもよい。侵入感度係数が０であることは、対象歩行者のバウンディングボックスのいかなる部分が予め設定された領域に入れば、対象歩行者が予め設定された領域に侵入したと見なすこと、即ち、対象歩行者が予め設定された領域に対して歩行者侵入行為を行ったと決定することを表す。侵入感度係数が１であることは、対象歩行者のバウンディングボックスが完全に予め設定された領域の内部にある場合にのみ、対象歩行者が予め設定された領域に侵入したと判断することを表す。例えば、一般に、侵入感度係数を０．５に設定することができる。例えば、修理現場や危険な水域等の危険な領域では、侵入感度係数を０に設定することができる。バリケードなど感度が比較的低い領域では、侵入感度係数を１に設定することができる。
当該実施形態に基づいて、歩行者の侵入が望ましくない応用場面で、歩行者が侵入していることをタイムリーに発見することができるので、管理人が対象歩行者に予め設定された領域を離れるようにタイムリーに通知することができる。
１つの可能な実施形態では、対象歩行者のバウンディングボックスの一部（例えば、対象歩行者のバウンディングボックスの下半部）を対象歩行者が存在する領域として決定し、処理対象の画像における対象歩行者が存在する領域と予め設定された領域とが重なっている領域の第３の面積を決定し、第３の面積と対象歩行者が存在する領域の面積との比が侵入感度係数よりも大きい場合、対象歩行者が予め設定された領域に対して歩行者侵入行為を行ったと決定することができる。
１つの可能な実施形態では、前記方法は、前記対象歩行者が前記予め設定された空間に対して前記歩行者行為を行ったことが検出される場合、アラーム情報を送信することを更に含む。
当該実施形態において、前記対象歩行者が前記予め設定された空間に対して前記歩行者行為を行ったことが検出される場合にアラーム情報を送信することにより、管理人が歩行者行為をタイムリーに発見することができるので、タイムリーに対応することができる。
１つの可能な実施形態では、頻繁にアラームを出す確率を低くするために、冷却時間を設定してもよい。アラーム情報が送信された時刻から計時し、冷却時間内であれば、アラーム条件が満たされていてもアラームが動作しない。冷却時間は具体的な場面がアラーム感度に対する要求に応じて適応的に配置することができる。
１つの可能な実施形態では、前記方法は、前記対象歩行者が前記予め設定された空間に対して前記歩行者行為を行ったことが検出される場合、前記対象歩行者の属性情報を抽出することと、前記対象歩行者の属性情報を出力することと、を更に含む。
当該実施形態において、対象歩行者の属性情報は、対象歩行者の外観特徴や属性を示すための情報であってよい。例えば、対象歩行者の属性情報は対象歩行者の性別、年齢範囲、衣服タイプ、衣服の色、髪型、髪の色、靴のスタイル、靴の色、バッグを持っているかどうか、バッグの種類、バッグの色、帽子を着用しているかどうか、眼鏡をかけているかどうか、傘を持っているかどうか及び傘の色等のうちの１つ以上を含むことができる。
当該実施形態の一例として、ディープラーニング技術を用いて対象歩行者に対して属性認識を行って対象歩行者の属性情報を取得することができる。
当該実施形態の一例として、前記対象歩行者の属性情報を出力することは、予め設定された端末に前記対象歩行者の属性情報を送信することを含んでもよい。この例において、予め設定された端末に前記対象歩行者の属性情報を送信すると同時に、対象歩行者が予め設定された空間に対する歩行者行為の種別を予め設定された端末に送信することができる。例えば、予め設定された空間が地下鉄駅の出口領域であり、予め設定された端末が地下鉄駅の係員の携帯電話である場合、対象歩行者Ａが地下鉄駅の出口領域で歩行者滞留行為を行ったことが検出されると、地下鉄駅の係員が地下鉄駅の出口領域で対象歩行者Ａを迅速に見つけるように対象歩行者Ａにに、例えば、「色いシャツ、黒いズボン、白い靴、ハンチング帽、眼鏡をかけた男性の歩行者が地下鉄駅のＣ出口に滞留している」ような対象歩行者Ａの属性情報及び対象歩行者Ａが地下鉄駅の出口領域で発生した歩行者行為の種別を地下鉄駅の係員の携帯電話に送信して、対象歩行者Ａが地下鉄駅の出口領域で滞留すべきでないことを知らせる。
当該実施形態において、前記対象歩行者が前記予め設定された空間に対して前記歩行者行為を行ったことが検出される場合に前記対象歩行者の属性情報を出力することにより、管理人が前記対象歩行者を見つけることに役立つ。
図４は本開示の実施例で提供する歩行者検出方法の応用場面の模式図を示す。図４に示すように、カメラによりビデオを収集し、サーバーによりビデオを処理することで歩行者行為を行ったか否かを判断することができる。サーバーにより歩行者行為を行ったと判断されると、予め設定された端末にアラーム情報を送信し、予め設定された端末がアラーム表示画面を介してアラーム情報を出力することができるので、管理人がアラーム情報をタイムリーに受信することができる。
異なる場面及び応用に対して、異なるの歩行者行為の検出モデルを配置することがきでる。例えば、歩行者が線を跨ぐ行為、歩行者滞留行為、歩行者徘徊行為及び歩行者侵入行為のうちの１種以上の歩行者行為の検出モデルを配置することがきでる。
本開示の実施例は、検出率が比較的高い、誤検出率が比較的低く、高いリアルタイム性と信頼性を有する歩行者行為の検出方法を提供し、大規模で複雑な場面に適用でき、かつ異なる場面における歩行者行為の検出に適用できる。
本開示で言及された上記各方法の実施例は、原理と論理を違反しない限り、相互に組み合わせて組み合わせて実施例を形成することができることが理解すべきである。紙幅に限りがあるので、本開示では詳細な説明を省略する。
実施形態の上記方法において、各ステップの記載順番は、厳密な実行順番を意味せず、実施手順に対する限定ではなく、各ステップの具体的な実行順番はその機能と、あり得る内部ロジックとにより決定すべきであることは当業者には理解される。
また、本開示は、歩行者行為の検出装置、電子機器、コンピュータ可読記憶媒体、プログラムを提供し、これらはいずれも、本開示に係わるいずれかの歩行者行為の検出方法の実施に用いることができる。対応する技術方案及び説明は、方法の部分の対応する記載を参照すればよく、詳細な説明を省略する。
図５は本開示の実施例で提供する歩行者行為の検出装置のブロック図を示す。図５に示すように、前記歩行者行為の検出装置は、マルチフレームの処理対象の画像における対象歩行者の座標を取得するための第１の取得モジュール５１と、予め設定された空間の座標を取得するための第２の取得モジュール５２と、前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された空間の座標に基づいて、前記対象歩行者が前記予め設定された空間に対する歩行者行為を決定するための第１の決定モジュール５３と、を含む。
１つの可能な実施形態では、前記第１の取得モジュール５１は、ディープニューラルネットワークによって前記マルチフレームの処理対象の画像における対象歩行者の座標を取得することに用いられる。
１つの可能な実施形態では、前記予め設定された空間は予め設定された線を含み、前記歩行者行為は歩行者が線を跨ぐ行為を含み、前記第１の決定モジュール５３は、前記予め設定された線の座標に基づいて、前記予め設定された線に垂直な第１の座標軸を決定することと、前記マルチフレームの処理対象の画像における前記対象歩行者の座標に基づいて、前記マルチフレームの処理対象の画像における前記対象歩行者の前記第１の座標軸における投影座標を決定することと、前記投影座標のうちのいずれか２つがそれぞれ前記第１の座標軸と前記予め設定された線との交点を表す目標点の両側にある場合、前記対象歩行者が前記予め設定された線に対して前記歩行者が線を跨ぐ行為を行ったと決定することと、に用いられる。
１つの可能な実施形態では、前記第１の決定モジュール５３は、予め設定された方向のベクトルと前記第１の座標軸の方向ベクトルとの角度を決定することと、前記角度が９０度未満であり、前記投影座標のうちの第１の投影座標及び第２の投影座標がそれぞれ前記目標点の両側にあり、前記第１の投影座標に対応する処理対象の画像のタイムスタンプが前記第２の投影座標に対応する処理対象の画像よりも早く、かつ前記第１の投影座標が前記第２の投影座標よりも小さい場合、前記対象歩行者が前記予め設定された線に対して前記予め設定された方向において歩行者が線を跨ぐ行為を行ったと決定すること、及び／又は、前記角度が９０度よりも大きく、前記投影座標のうちの第１の投影座標及び第２の投影座標がそれぞれ前記目標点の両側にあり、前記第１の投影座標に対応する処理対象の画像のタイムスタンプが前記第２の投影座標に対応する処理対象の画像よりも早く、かつ前記第１の投影座標が前記第２の投影座標よりも大きい場合、前記対象歩行者が前記予め設定された線に対して前記予め設定された方向において歩行者が線を跨ぐ行為を行ったと決定することと、に用いられる。
１つの可能な実施形態では、前記予め設定された空間は予め設定された領域を含み、前記歩行者行為は歩行者滞留行為を含み、前記第１の決定モジュール５３は、前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記対象歩行者が前記予め設定された領域内での滞在時間を決定することと、前記滞在時間が時間閾値以上である場合、前記対象歩行者が前記予め設定された領域内で前記歩行者滞留行為を行ったと決定することと、に用いられる。
１つの可能な実施形態では、前記予め設定された空間は予め設定された領域を含み、前記歩行者行為は歩行者徘徊行為を含み、前記第１の決定モジュール５３は、前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記対象歩行者が前記予め設定された領域内での滞在時間を決定することと、前記滞在時間内における前記対象歩行者の累計移動距離を決定することと、前記滞在時間が時間閾値以上、かつ前記累計移動距離が距離閾値以上である場合、前記対象歩行者が前記予め設定された領域内で前記歩行者徘徊行為を行ったと決定することと、に用いられる。
１つの可能な実施形態では、前記第１の決定モジュール５３は、前記マルチフレームの処理対象の画像における対象歩行者の座標、前記予め設定された領域の座標及び前記マルチフレームの処理対象の画像のタイムスタンプに基づいて、前記対象歩行者が前記予め設定された領域内に１回目に現れた処理対象の画像の第１タイムスタンプ及び前記対象歩行者が最後に前記予め設定された領域内に現れた処理対象の画像の第２タイムスタンプを決定することと、前記第２タイムスタンプと前記第１タイムスタンプとの間の時間間隔を、前記対象歩行者が前記予め設定された領域内での滞在時間として決定することと、に用いられる。
１つの可能な実施形態では、前記第１の決定モジュール５３は、前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記マルチフレームの処理対象の画像のうち、前記対象歩行者が前記予め設定された領域内に存在する画像の数を決定することと、前記画像の数と各フレームの処理対象の画像の継続時間との積を、前記対象歩行者が前記予め設定された領域内での累計継続時間として決定し、前記累計継続時間を前記対象歩行者が前記予め設定された領域内での滞在時間とすることと、に用いられる。
１つの可能な実施形態では、前記第１の決定モジュール５３は、前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記マルチフレームの処理対象の画像のうち、前記対象歩行者が前記予め設定された領域内に存在する最大連続画像数を決定することと、前記最大連続画像数と各フレームの処理対象の画像の継続時間との積を、前記対象歩行者が前記予め設定された領域内での最大持続時間として決定し、前記最大持続時間を前記対象歩行者が前記予め設定された領域内での滞在時間とすることと、に用いられる。
１つの可能な実施形態では、前記第１の決定モジュール５３は、前記滞在時間内における、前記対象歩行者が前記予め設定された領域内に存在する処理対象の画像をそれぞれ滞在画像として決定することと、隣接する２つのフレームの滞在画像における前記対象歩行者の座標間の距離を積算して、前記滞在時間内における前記対象歩行者の累計移動距離を得ることと、に用いられる。
１つの可能な実施形態では、前記装置は、前記マルチフレームの処理対象の画像のいずれかにおける前記対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記処理対象の画像における前記対象歩行者が存在する領域と前記予め設定された領域との面積の重複値を決定するための第２の決定モジュールと、前記面積の重複値が重複値の閾値以上である場合に、前記処理対象の画像における前記対象歩行者が前記予め設定された領域内に存在すると決定するための第３の決定モジュールと、を更に含む。
１つの可能な実施形態では、前記対象歩行者の座標は前記対象歩行者を囲むバウンディングボックスの座標を含み、前記第２の決定モジュールは、前記マルチフレームの処理対象の画像のいずれかにおける前記対象歩行者のバウンディングボックスの座標及び前記予め設定された領域の座標に基づいて、前記処理対象の画像における前記バウンディングボックスに含まれる領域と前記予め設定された領域とが重なっている領域の第１の面積を決定することと、前記第１の面積と前記バウンディングボックスに含まれる領域の面積との比を、前記面積の重複値として決定することと、に用いられる。
１つの可能な実施形態では、前記予め設定された空間は予め設定された領域を含み、前記歩行者行為は歩行者侵入行為を含み、前記第１の決定モジュール５３は、侵入感度係数を取得することと、前記マルチフレームの処理対象の画像のいずれかにおける前記対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記処理対象の画像における前記バウンディングボックスに含まれる領域と前記予め設定された領域とが重なっている領域の第２の面積を決定することと、前記第２の面積と前記バウンディングボックスに含まれる領域の面積との比が前記侵入感度係数よりも大きい場合、前記対象歩行者が前記予め設定された領域に対して前記歩行者侵入行為を行ったと決定することと、に用いられる。
１つの可能な実施形態では、前記装置は、前記対象歩行者が前記予め設定された空間に対して前記歩行者行為を行ったことが検出される場合、アラーム情報を送信するためのアラームモジュールを更に含む。
１つの可能な実施形態では、前記装置は、前記対象歩行者が前記予め設定された空間に対して前記歩行者行為を行ったことが検出される場合、前記対象歩行者の属性情報を抽出するための抽出モジュールと、前記対象歩行者の属性情報を出力するための出力モジュールと、を更に含む。
本開示の実施例において、マルチフレームの処理対象の画像における対象歩行者の座標を取得し、予め設定された空間の座標を取得し、前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された空間の座標に基づいて、前記対象歩行者が前記予め設定された空間に対する歩行者行為を決定することにより、歩行者行為を検出する正確率を向上することができる。
いくつかの実施例では、本開示の実施例に係る装置が備える機能又はモジュールは、上述した方法の実施例に説明される方法を実行するために利用でき、その具体的な実現については、上述した方法の実施例の説明を参照すればよく、簡素化のために、ここで詳細な説明を省略する。
本開示の実施例では、コンピュータプログラム命令が記憶されているコンピュータ可読記憶媒体であって、前記コンピュータプログラム命令はプロセッサによって実行されると、上記の方法を実現させるコンピュータ可読記憶媒体がさらに提供される。前記コンピュータ可読記憶媒体は、不揮発性のコンピュータ可読記憶媒体であってもよく、または揮発性のコンピュータ可読記憶媒体であってもよい。
本開示の実施例では、コンピュータ可読コードを含むコンピュータプログラムであって、前記コンピュータ可読コードが電子機器において動作すると、前記電子機器のプロセッサに上記の方法を実現するための命令を実行させるコンピュータプログラムがさらに提供される。
本開示の実施例では、可読命令を記憶する別のコンピュータプログラム製品であって、前記可読命令が実行されると、コンピュータを上記何れかの実施例て提供される方法の操作を実行させる別のコンピュータプログラム製品を更に提供する。
本開示の実施例は、１つ以上のプロセッサと、実行可能な命令を記憶するためのメモリとを含み、前記１つ以上のプロセッサは上記方法を実行するために前記メモリに記憶される実行可能な命令を呼び出すように構成される電子機器をさらに提供する。
電子機器は、端末、サーバ又は他の形態の装置として提供されてもよい。
図６は本開示の実施例に係る電子機器８００のブロック図である。例えば、装置８００は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信機器、ゲームコンソール、タブレット型機器、医療機器、フィットネス機器、パーソナル・デジタル・アシスタント等の端末であってもよい。
図６を参照すると、電子機器８００は処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インタフェース８１２、センサコンポーネント８１４、及び通信コンポーネント８１６のうちの一つ以上を含んでもよい。
処理コンポーネント８０２は通常、電子機器８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作及び記録動作に関連する動作を制御する。処理コンポーネント８０２は、上記方法の全てまたは一部のステップを実行するために、命令を実行する一つ以上のプロセッサ８２０を含んでもよい。また、処理コンポーネント８０２は、他のコンポーネントとのインタラクションのための一つ以上のモジュールを含んでもよい。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８とのインタラクションのために、マルチメディアモジュールを含んでもよい。
メモリ８０４は、電子機器８００での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータは、例として、電子機器８００において操作するあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの様々なタイプの揮発性または不揮発性記憶装置またはそれらの組み合わせによって実現できる。
電源コンポーネント８０６は電子機器８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つ以上の電源、及び電子機器８００のための電力生成、管理及び配分に関連する他のコンポーネントを含んでもよい。
マルチメディアコンポーネント８０８は前記電子機器８００とユーザとの間で出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ（ＬＣＤ）及びタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含む場合、ユーザからの入力信号を受信するタッチスクリーンとして実現してもよい。タッチパネルは、タッチ、スライド及びタッチパネルでのジェスチャを検出するために、一つ以上のタッチセンサを含む。前記タッチセンサはタッチまたはスライド動きの境界を検出するのみならず、前記タッチまたはスライド操作に関する持続時間及び圧力を検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント８０８は前面カメラ及び／または背面カメラを含む。電子機器８００が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラ及び／または背面カメラは外部のマルチメディアデータを受信するようにしてもよい。各前面カメラ及び背面カメラは、固定された光学レンズ系、または焦点距離及び光学ズーム能力を有するものであってもよい。
オーディオコンポーネント８１０はオーディオ信号を出力及び／または入力するように構成される。例えば、オーディオコンポーネント８１０は、一つのマイク（ＭＩＣ）を含み、マイク（ＭＩＣ）は、電子機器８００が動作モード、例えば呼び出しモード、記録モードまたは音声認識モードになる場合、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６を介して送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。
Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、ボリュームボタン、スタートボタン及びロックボタンを含んでもよいが、これらに限定されない。
センサコンポーネント８１４は電子機器８００の各面の状態評価のための一つ以上のセンサを含む。例えば、センサコンポーネント８１４は、電子機器８００のオン／オフ状態、例えば電子機器８００の表示装置及びキーパッドのようなコンポーネントの相対的位置決めを検出でき、センサコンポーネント８１４はさらに、電子機器８００または電子機器８００のあるコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加減速及び電子機器８００の温度変化を検出できる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するように構成される近接センサを含む。センサコンポーネント８１４はさらに、ＣＭＯＳまたはＣＣＤイメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含んでもよい。いくつかの実施例では、該センサコンポーネント８１４はさらに、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサまたは温度センサを含んでもよい。
通信コンポーネント８１６は電子機器８００と他の機器との間の有線または無線通信を実現するように構成される。電子機器８００は通信規格に基づく無線ネットワーク、例えばＷｉＦｉ、２Ｇ、３Ｇ、４Ｇ/ＬＴＥ、５Ｇまたはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネルを介して外部の放送管理システムからの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６はさらに、近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールは無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術及び他の技術によって実現できる。
例示的な実施例では、電子機器８００は一つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現され、上記方法を実行するために用いられることができる。
例示的な実施例では、さらに、不揮発性のコンピュータ可読記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は電子機器８００のプロセッサ８２０によって実行されると、上記方法を実行させることができる。
図７は本開示の実施例に係る電子機器１９００のブロック図である。例えば、電子機器１９００はサーバとして提供されてもよい。図７を参照すると、電子機器１９００は、一つ以上のプロセッサを含む処理コンポーネント１９２２、及び、処理コンポーネント１９２２によって実行可能な命令、例えばアプリケーションプログラムを記憶するための、メモリ１９３２を代表とするメモリ資源をさらに含む。メモリ１９３２に記憶されているアプリケーションプログラムは、それぞれが１つの命令群に対応する一つ以上のモジュールを含んでもよい。また、処理コンポーネント１９２２は、命令を実行することによって上記方法を実行するように構成される。
電子機器１９００はさらに、電子機器１９００の電源管理を実行するように構成される電源コンポーネント１９２６、電子機器１９００をネットワークに接続するように構成される有線または無線ネットワークインタフェース１９５０、及び入出力（Ｉ／Ｏ）インタフェース１９５８を含んでもよい。電子機器１９００はメモリ１９３２に記憶されているオペレーティングシステム、例えば、Ｗｉｎｄｏｗｓ Ｓｅｒｖｅｒ(R)，Ｍａｃ ＯＳ Ｘ(R)，Ｕｎｉｘ(R)，Ｌｉｎｕｘ(R)，ＦｒｅｅＢＳＤ(R)又は類似するものに基づいて動作できる。
例示的な実施例では、さらに、不揮発性のコンピュータ可読記憶媒体、例えばコンピュータプログラム命令を含むメモリ１９３２が提供され、上記コンピュータプログラム命令は、電子機器１９００の処理コンポーネント１９２２によって実行されると、上記方法を実行させることができる。
本開示はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本開示の各方面を実現させるためのコンピュータ可読プログラム命令を有しているコンピュータ可読記憶媒体を含んでもよい。
コンピュータ可読記憶媒体は、命令実行装置に使用される命令を保存及び記憶可能な実体のある装置であってもよい。コンピュータ可読記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のさらなる具体的な例（非網羅的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去・プログラマブル可能な読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、例えば命令が記憶されているせん孔カードまたはスロット内突起構造のような機械的符号化装置、及び上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ可読記憶媒体は、一時的な信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号であると解釈されるものではない。
ここで記述したコンピュータ可読プログラム命令はコンピュータ可読記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワーク及び／または無線ネットワークを経由して外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータ及び／またはエッジサーバを含んでもよい。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、該コンピュータ読取可能プログラム命令を転送し、各計算／処理機器内のコンピュータ可読記憶媒体に記憶させる。
本開示の動作を実行するためのコンピュータプログラム命令はアセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語及び「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含める一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ可読プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ可読プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズし、該電子回路によりコンピュータ可読プログラム命令を実行することにより、本開示の各方面を実現するようにしてもよい。
ここで本開示の実施例に係る方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／またはブロック図を参照しながら本開示の各態様を説明したが、フローチャート及び／またはブロック図の各ブロック、及びフローチャート及び／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令によって実現できることを理解すべきである。
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供され、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されると、フローチャート及び／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現させるように、装置を製造してもよい。これらのコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体に記憶され、コンピュータ、プログラマブルデータ処理装置及び／または他の機器を決定の方式で動作させるようにしてもよい。これにより、命令が記憶されているコンピュータ可読記憶媒体は、フローチャート及び／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各方面を実現する命令を有する製品を含む。
コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードされ、コンピュータ、他のプログラマブルデータ処理装置または他の機器に一連の動作ステップを実行させることにより、コンピュータにより実施可能なプロセスを生成するようにしてもよい。このようにして、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令により、フローチャート及び／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。
図面のうちフローチャート及びブロック図は、本開示の複数の実施例に係るシステム、方法及びコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能及び動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能な命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は、図面に付した順序と異なる順序で実現してもよい。例えば、連続的な二つのブロックは実質的に並行に実行してもよく、また、係る機能によって、逆な順序で実行してもよい場合がある。なお、ブロック図及び／またはフローチャートにおける各ブロック、及びブロック図及び／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことにも注意すべきである。
当該コンピュータプログラム製品は、具体的に、ハードウェア、ソフトウエアまたはそれらの組わせにより実現可能である。１つの選択可能な実施例では、前記コンピュータプログラム製品はコンピュータ記憶媒体として具体化され、別の選択可能な実施例では、コンピュータプログラム製品は例えば、ソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ，ＳＤＫ）などのソフトウェア製品として具体化される。
以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲及び精神から逸脱することなく、様々な修正及び変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または従来技術への技術の改善を好適に解釈するか、または他の当業者に本明細書に披露された各実施例を理解させるためのものである。

Claims (33)

  1. 歩行者行為の検出方法であって、
    マルチフレームの処理対象の画像における対象歩行者の座標を取得することと、
    予め設定された空間の座標を取得することと、
    前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された空間の座標に基づいて、前記対象歩行者が前記予め設定された空間に対する歩行者行為を決定することと、を含む、ことを特徴とする歩行者行為の検出方法。
  2. 前記マルチフレームの処理対象の画像における対象歩行者の座標を取得することは、
    ディープニューラルネットワークによって前記マルチフレームの処理対象の画像における対象歩行者の座標を取得することを含む、ことを特徴とする請求項１に記載の方法。
  3. 前記予め設定された空間は予め設定された線を含み、前記歩行者行為は歩行者が線を跨ぐ行為を含み、
    前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された空間の座標に基づいて、前記対象歩行者が前記予め設定された空間に対する歩行者行為を決定することは、
    前記予め設定された線の座標に基づいて、前記予め設定された線に垂直な第１の座標軸を決定することと、
    前記マルチフレームの処理対象の画像における前記対象歩行者の座標に基づいて、前記マルチフレームの処理対象の画像における前記対象歩行者の前記第１の座標軸における投影座標を決定することと、
    前記投影座標のうちのいずれか２つがそれぞれ前記第１の座標軸と前記予め設定された線との交点を表す目標点の両側にある場合、前記対象歩行者が前記予め設定された線に対して前記歩行者が線を跨ぐ行為を行ったと決定することと、を含むことを特徴とする請求項２に記載の方法。
  4. 前記投影座標のうちのいずれか２つがそれぞれ目標点の両側にある場合、前記対象歩行者が前記予め設定された線に対して前記歩行者が線を跨ぐ行為を行ったと決定することは、
    予め設定された方向のベクトルと前記第１の座標軸の方向ベクトルとの角度を決定することと、
    前記角度が９０度未満であり、前記投影座標のうちの第１の投影座標及び第２の投影座標がそれぞれ前記目標点の両側にあり、前記第１の投影座標に対応する処理対象の画像のタイムスタンプが前記第２の投影座標に対応する処理対象の画像よりも早く、かつ前記第１の投影座標が前記第２の投影座標よりも小さい場合、前記対象歩行者が前記予め設定された線に対して前記予め設定された方向において歩行者が線を跨ぐ行為を行ったと決定すること、及び／又は、前記角度が９０度よりも大きく、前記投影座標のうちの第１の投影座標及び第２の投影座標がそれぞれ前記目標点の両側にあり、前記第１の投影座標に対応する処理対象の画像のタイムスタンプが前記第２の投影座標に対応する処理対象の画像よりも早く、かつ前記第１の投影座標が前記第２の投影座標よりも大きい場合、前記対象歩行者が前記予め設定された線に対して前記予め設定された方向において歩行者が線を跨ぐ行為を行ったと決定することと、を含む、ことを特徴とする請求項３に記載の方法。
  5. 前記予め設定された空間は予め設定された領域を含み、前記歩行者行為は歩行者滞留行為を含み、
    前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された空間の座標に基づいて、前記対象歩行者が前記予め設定された空間に対する歩行者行為を決定することは、
    前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記対象歩行者が前記予め設定された領域内での滞在時間を決定することと、
    前記滞在時間が時間閾値以上である場合、前記対象歩行者が前記予め設定された領域内で前記歩行者滞留行為を行ったと決定することと、を含む、ことを特徴とする請求項１～４のいずれか１項に記載の方法。
  6. 前記予め設定された空間は予め設定された領域を含み、前記歩行者行為は歩行者徘徊行為を含み、
    前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された空間の座標に基づいて、前記対象歩行者が前記予め設定された空間に対する歩行者行為を決定することは、
    前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記対象歩行者が前記予め設定された領域内での滞在時間を決定することと、
    前記滞在時間内における前記対象歩行者の累計移動距離を決定することと、
    前記滞在時間が時間閾値以上、かつ前記累計移動距離が距離閾値以上である場合、前記対象歩行者が前記予め設定された領域内で前記歩行者徘徊行為を行ったと決定することと、を含む、ことを特徴とする請求項１～５のいずれか１項に記載の方法。
  7. 前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記対象歩行者が前記予め設定された領域内での滞在時間を決定することは、
    前記マルチフレームの処理対象の画像における対象歩行者の座標、前記予め設定された領域の座標及び前記マルチフレームの処理対象の画像のタイムスタンプに基づいて、前記対象歩行者が前記予め設定された領域内に１回目に現れた処理対象の画像の第１タイムスタンプ及び前記対象歩行者が最後に前記予め設定された領域内に現れた処理対象の画像の第２タイムスタンプを決定することと、
    前記第２タイムスタンプと前記第１タイムスタンプとの間の時間間隔を、前記対象歩行者が前記予め設定された領域内での滞在時間として決定することと、を含む、ことを特徴とする請求項５または６に記載の方法。
  8. 前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記対象歩行者が前記予め設定された領域内での滞在時間を決定することは、
    前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記マルチフレームの処理対象の画像のうち、前記対象歩行者が前記予め設定された領域内に存在する画像の数を決定することと、
    前記画像の数と各フレームの処理対象の画像の継続時間との積を、前記対象歩行者が前記予め設定された領域内での累計継続時間として決定し、前記累計継続時間を前記対象歩行者が前記予め設定された領域内での滞在時間とすることと、を含む、ことを特徴とする請求項５または６に記載の方法。
  9. 前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記対象歩行者が前記予め設定された領域内での滞在時間を決定することは、
    前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記マルチフレームの処理対象の画像のうち、前記対象歩行者が前記予め設定された領域内に存在する最大連続画像数を決定することと、
    前記最大連続画像数と各フレームの処理対象の画像の継続時間との積を、前記対象歩行者が前記予め設定された領域内での最大持続時間として決定し、前記最大持続時間を前記対象歩行者が前記予め設定された領域内での滞在時間とすることと、を含む、ことを特徴とする請求項５または６に記載の方法。
  10. 前記滞在時間内における前記対象歩行者の累計移動距離を決定することは、
    前記滞在時間内における、前記対象歩行者が前記予め設定された領域内に存在する処理対象の画像をそれぞれ滞在画像として決定することと、
    隣接する２つのフレームの滞在画像における前記対象歩行者の座標間の距離を積算して、前記滞在時間内における前記対象歩行者の累計移動距離を得ることと、を含む、ことを特徴とする請求項６に記載の方法。
  11. 前記方法は、
    前記マルチフレームの処理対象の画像のいずれかにおける前記対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記処理対象の画像における前記対象歩行者が存在する領域と前記予め設定された領域との面積の重複値を決定することと、
    前記面積の重複値が重複値の閾値以上である場合、前記処理対象の画像における前記対象歩行者が前記予め設定された領域内に存在すると決定することと、を更に含む、ことを特徴とする請求項５～１０のいずれか１項に記載の方法。
  12. 前記対象歩行者の座標は前記対象歩行者を囲むバウンディングボックスの座標を含み、
    前記マルチフレームの処理対象の画像のいずれかにおける前記対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記処理対象の画像における前記対象歩行者が存在する領域と前記予め設定された領域との面積の重複値を決定することは、
    前記マルチフレームの処理対象の画像のいずれかにおける前記対象歩行者のバウンディングボックスの座標及び前記予め設定された領域の座標に基づいて、前記処理対象の画像における前記バウンディングボックスに含まれる領域と前記予め設定された領域とが重なっている領域の第１の面積を決定することと、
    前記第１の面積と前記バウンディングボックスに含まれる領域の面積との比を、前記面積の重複値として決定することと、を含む、こと特徴とする請求項１１に記載の方法。
  13. 前記予め設定された空間は予め設定された領域を含み、前記歩行者行為は歩行者侵入行為を含み、
    前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された空間の座標に基づいて、前記対象歩行者が前記予め設定された空間に対する歩行者行為を決定することは、
    侵入感度係数を取得することと、
    前記マルチフレームの処理対象の画像のいずれかにおける前記対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記処理対象の画像における前記バウンディングボックスに含まれる領域と前記予め設定された領域とが重なっている領域の第２の面積を決定することと、
    前記第２の面積と前記バウンディングボックスに含まれる領域の面積との比が前記侵入感度係数よりも大きい場合、前記対象歩行者が前記予め設定された領域に対して前記歩行者侵入行為を行ったと決定することと、を含む、ことを特徴とする請求項１～１２のいずれか１項に記載の方法。
  14. 前記方法は、
    前記対象歩行者が前記予め設定された空間に対して前記歩行者行為を行ったことが検出される場合、アラーム情報を送信することを更に含む、ことを特徴とする請求項１～１３のいずれか１項に記載の方法。
  15. 前記方法は、
    前記対象歩行者が前記予め設定された空間に対して前記歩行者行為を行ったことが検出される場合、前記対象歩行者の属性情報を抽出することと、
    前記対象歩行者の属性情報を出力することと、を更に含む、ことを特徴とする請求項１～１４のいずれか１項に記載の方法。
  16. 歩行者行為の検出装置であって、
    マルチフレームの処理対象の画像における対象歩行者の座標を取得するための第１の取得モジュールと、
    予め設定された空間の座標を取得するための第２の取得モジュールと、
    前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された空間の座標に基づいて、前記対象歩行者が前記予め設定された空間に対する歩行者行為を決定するための第１の決定モジュールと、を含む、ことを特徴とする歩行者行為の検出装置。
  17. 前記第１の取得モジュールは、
    ディープニューラルネットワークによって前記マルチフレームの処理対象の画像における対象歩行者の座標を取得することに用いられることを特徴とする請求項１６に記載の装置。
  18. 前記予め設定された空間は予め設定された線を含み、前記歩行者行為は歩行者が線を跨ぐ行為を含み、
    前記第１の決定モジュールは、
    前記予め設定された線の座標に基づいて、前記予め設定された線に垂直な第１の座標軸を決定することと、
    前記マルチフレームの処理対象の画像における前記対象歩行者の座標に基づいて、前記マルチフレームの処理対象の画像における前記対象歩行者の前記第１の座標軸における投影座標を決定することと、
    前記投影座標のうちのいずれか２つがそれぞれ前記第１の座標軸と前記予め設定された線との交点を表す目標点の両側にある場合、前記対象歩行者が前記予め設定された線に対して前記歩行者が線を跨ぐ行為を行ったと決定することと、に用いられること、を特徴とする請求項１７に記載の装置。
  19. 前記第１の決定モジュールは、
    予め設定された方向のベクトルと前記第１の座標軸の方向ベクトルとの角度を決定することと、
    前記角度が９０度未満であり、前記投影座標のうちの第１の投影座標及び第２の投影座標がそれぞれ前記目標点の両側にあり、前記第１の投影座標に対応する処理対象の画像のタイムスタンプが前記第２の投影座標に対応する処理対象の画像よりも早く、かつ前記第１の投影座標が前記第２の投影座標よりも小さい場合、前記対象歩行者が前記予め設定された線に対して前記予め設定された方向において歩行者が線を跨ぐ行為を行ったと決定すること、及び／又は、前記角度が９０度よりも大きく、前記投影座標のうちの第１の投影座標及び第２の投影座標がそれぞれ前記目標点の両側にあり、前記第１の投影座標に対応する処理対象の画像のタイムスタンプが前記第２の投影座標に対応する処理対象の画像よりも早く、かつ前記第１の投影座標が前記第２の投影座標よりも大きい場合、前記対象歩行者が前記予め設定された線に対して前記予め設定された方向において歩行者が線を跨ぐ行為を行ったと決定することと、に用いられる、ことを特徴とする請求項１８に記載の装置。
  20. 前記予め設定された空間は予め設定された領域を含み、前記歩行者行為は歩行者滞留行為を含み、
    前記第１の決定モジュールは、
    前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記対象歩行者が前記予め設定された領域内での滞在時間を決定することと、
    前記滞在時間が時間閾値以上である場合、前記対象歩行者が前記予め設定された領域内で前記歩行者滞留行為を行ったと決定することと、に用いられる、ことを特徴とする請求項１６～１９のいずれか１項に記載の装置。
  21. 前記予め設定された空間は予め設定された領域を含み、前記歩行者行為は歩行者徘徊行為を含み、
    前記第１の決定モジュールは、
    前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記対象歩行者が前記予め設定された領域内での滞在時間を決定することと、
    前記滞在時間内における前記対象歩行者の累計移動距離を決定することと、
    前記滞在時間が時間閾値以上、かつ前記累計移動距離が距離閾値以上である場合、前記対象歩行者が前記予め設定された領域内で前記歩行者徘徊行為を行ったと決定することと、に用いられること、を特徴とする請求項１６～２０のいずれか１項に記載の装置。
  22. 前記第１の決定モジュールは、
    前記マルチフレームの処理対象の画像における対象歩行者の座標、前記予め設定された領域の座標及び前記マルチフレームの処理対象の画像のタイムスタンプに基づいて、前記対象歩行者が前記予め設定された領域内に１回目に現れた処理対象の画像の第１タイムスタンプ及び前記対象歩行者が最後に前記予め設定された領域内に現れた処理対象の画像の第２タイムスタンプを決定することと、
    前記第２タイムスタンプと前記第１タイムスタンプとの間の時間間隔を、前記対象歩行者が前記予め設定された領域内での滞在時間として決定することと、に用いられる、ことを特徴とする請求項２０または２１に記載の装置。
  23. 前記第１の決定モジュールは、
    前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記マルチフレームの処理対象の画像のうち、前記対象歩行者が前記予め設定された領域内に存在する画像の数を決定することと、
    前記画像の数と各フレームの処理対象の画像の継続時間との積を、前記対象歩行者が前記予め設定された領域内での累計継続時間として決定し、前記累計継続時間を前記対象歩行者が前記予め設定された領域内での滞在時間とすることと、に用いられる、ことを特徴とする請求項２０または２１に記載の装置。
  24. 前記第１の決定モジュールは、
    前記マルチフレームの処理対象の画像における対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記マルチフレームの処理対象の画像のうち、前記対象歩行者が前記予め設定された領域内に存在する最大連続画像数を決定することと、
    前記最大連続画像数と各フレームの処理対象の画像の継続時間との積を、前記対象歩行者が前記予め設定された領域内での最大持続時間として決定し、前記最大持続時間を前記対象歩行者が前記予め設定された領域内での滞在時間とすることと、に用いられる、ことを特徴とする請求項２０または２１に記載の装置。
  25. 前記第１の決定モジュールは、
    前記滞在時間内における、前記対象歩行者が前記予め設定された領域内に存在する処理対象の画像をそれぞれ滞在画像として決定することと、
    隣接する２つのフレームの滞在画像における前記対象歩行者の座標間の距離を積算して、前記滞在時間内における前記対象歩行者の累計移動距離を得ることと、に用いられる、ことを特徴とする請求項２１に記載の装置。
  26. 前記装置は、
    前記マルチフレームの処理対象の画像のいずれかにおける前記対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記処理対象の画像における前記対象歩行者が存在する領域と前記予め設定された領域との面積の重複値を決定するための第２の決定モジュールと、
    前記面積の重複値が重複値の閾値以上である場合、前記処理対象の画像における前記対象歩行者が前記予め設定された領域内に存在すると決定するための第３の決定モジュールと、を更に含む、ことを特徴とする請求項２０～２５のいずれか１項に記載の装置。
  27. 前記対象歩行者の座標は前記対象歩行者を囲むバウンディングボックスの座標を含み、
    前記第２の決定モジュールは、
    前記マルチフレームの処理対象の画像のいずれかにおける前記対象歩行者のバウンディングボックスの座標及び前記予め設定された領域の座標に基づいて、前記処理対象の画像における前記バウンディングボックスに含まれる領域と前記予め設定された領域とが重なっている領域の第１の面積を決定することと、
    前記第１の面積と前記バウンディングボックスに含まれる領域の面積との比を、前記面積の重複値として決定することと、に用いられる、ことを特徴とする請求項２６に記載の装置。
  28. 前記予め設定された空間は予め設定された領域を含み、前記歩行者行為は歩行者侵入行為を含み、
    前記第１の決定モジュールは、
    侵入感度係数を取得することと、
    前記マルチフレームの処理対象の画像のいずれかにおける前記対象歩行者の座標及び前記予め設定された領域の座標に基づいて、前記処理対象の画像における前記バウンディングボックスに含まれる領域と前記予め設定された領域とが重なっている領域の第２の面積を決定することと、
    前記第２の面積と前記バウンディングボックスに含まれる領域の面積との比が前記侵入感度係数よりも大きい場合、前記対象歩行者が前記予め設定された領域に対して前記歩行者侵入行為を行ったと決定することと、に用いられる、ことを特徴とする請求項１６～２７のいずれか１項に記載の装置。
  29. 前記装置は、
    前記対象歩行者が前記予め設定された空間に対して前記歩行者行為を行ったことが検出される場合、アラーム情報を送信するためのアラームモジュールを更に含む、ことを特徴とする請求項１６～２８のいずれか１項に記載の装置。
  30. 前記装置は、
    前記対象歩行者が前記予め設定された空間に対して前記歩行者行為を行ったことが検出される場合、前記対象歩行者の属性情報を抽出するための抽出モジュールと
    前記対象歩行者の属性情報を出力するための出力モジュールと、を更に含む、ことを特徴とする請求項１６～２９のいずれか１項に記載の装置。
  31. １つ以上のプロセッサと、
    実行可能な命令を記憶するためのメモリと、を含み、
    前記１つ以上のプロセッサは、請求項１～１５のいずれか１項に記載の方法を実行するために、前記メモリに記憶された命令を呼び出すように構成される、ことを特徴とする電子機器。
  32. コンピュータプログラム命令が記憶されているコンピュータ可読記憶媒体であって、前記コンピュータプログラム命令がプロセッサによって実行されると、請求項１～１５のいずれか一項に記載の方法を実現させることを特徴とするコンピュータ可読記憶媒体。
  33. コンピュータ可読コードを含むコンピュータプログラムであって、前記コンピュータ可読コードが電子機器において動作すると、前記電子機器のプロセッサに請求項１～１５のいずれか一項に記載の方法を実現するための命令を実行させる、ことを特徴とするコンピュータプログラム。
JP2021538725A 2019-11-28 2020-05-07 歩行者行為の検出方法及び装置、電子機器並びに記憶媒体 Pending JP2022515908A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201911192848.8A CN110969115B (zh) 2019-11-28 2019-11-28 行人事件的检测方法及装置、电子设备和存储介质
CN201911192848.8 2019-11-28
PCT/CN2020/089071 WO2021103423A1 (zh) 2019-11-28 2020-05-07 行人事件的检测方法及装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
JP2022515908A true JP2022515908A (ja) 2022-02-22

Family

ID=70032254

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021538725A Pending JP2022515908A (ja) 2019-11-28 2020-05-07 歩行者行為の検出方法及び装置、電子機器並びに記憶媒体

Country Status (7)

Country Link
US (1) US20210327086A1 (ja)
JP (1) JP2022515908A (ja)
KR (1) KR20210113374A (ja)
CN (1) CN110969115B (ja)
SG (1) SG11202107070UA (ja)
TW (3) TW202230213A (ja)
WO (1) WO2021103423A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969115B (zh) * 2019-11-28 2023-04-07 深圳市商汤科技有限公司 行人事件的检测方法及装置、电子设备和存储介质
CN112241696A (zh) * 2020-09-28 2021-01-19 深圳市商汤科技有限公司 图像处理方法及装置、电子设备及存储介质
CN113179423A (zh) * 2021-04-23 2021-07-27 深圳市商汤科技有限公司 事件的检测输出方法及装置、电子设备和存储介质
CN113392754B (zh) * 2021-06-11 2022-06-28 成都掌中全景信息技术有限公司 一种基于yolov5行人检测算法减少行人误检测率的方法
CN114913470B (zh) * 2022-07-11 2022-10-28 浙江大华技术股份有限公司 一种事件检测方法及装置
CN117152890B (zh) * 2023-03-22 2024-03-08 宁德祺朗科技有限公司 指定区域监控方法、系统和终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008047074A (ja) * 2006-08-21 2008-02-28 Sogo Keibi Hosho Co Ltd 警備装置、警備方法および警備プログラム
JP2017049792A (ja) * 2015-09-02 2017-03-09 株式会社中電工 指定範囲監視システム
WO2019188928A1 (ja) * 2018-03-28 2019-10-03 シャープ株式会社 監視装置および制御装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101965576B (zh) * 2008-03-03 2013-03-06 视频监控公司 用于追踪、索引及搜寻的物件匹配
CN101883261B (zh) * 2010-05-26 2012-12-12 中国科学院自动化研究所 大范围监控场景下异常目标检测及接力跟踪的方法及系统
CN102902971A (zh) * 2012-08-31 2013-01-30 电子科技大学 基于智能视觉感知的电梯人流量统计方法及系统
CN105989367B (zh) * 2015-02-04 2019-06-28 阿里巴巴集团控股有限公司 目标获取方法及设备
CN105184812B (zh) * 2015-07-21 2018-08-24 复旦大学 一种基于目标跟踪的行人徘徊检测方法
CN105279898A (zh) * 2015-10-28 2016-01-27 小米科技有限责任公司 报警方法及装置
CN105678811B (zh) * 2016-02-25 2019-04-02 上海大学 一种基于运动检测的人体异常行为检测方法
TW201835851A (zh) * 2017-03-27 2018-10-01 晶睿通訊股份有限公司 用來呈現區域分佈特性的物件統計方法及其影像處理裝置
AU2017418043B2 (en) * 2017-07-13 2020-05-21 Beijing Voyager Technology Co., Ltd. Systems and methods for trajectory determination
CN109117721A (zh) * 2018-07-06 2019-01-01 江西洪都航空工业集团有限责任公司 一种行人徘徊检测方法
CN109697734B (zh) * 2018-12-25 2021-03-09 浙江商汤科技开发有限公司 位姿估计方法及装置、电子设备和存储介质
CN109522910B (zh) * 2018-12-25 2020-12-11 浙江商汤科技开发有限公司 关键点检测方法及装置、电子设备和存储介质
CN109815844A (zh) * 2018-12-29 2019-05-28 西安天和防务技术股份有限公司 目标检测方法及装置、电子设备和存储介质
CN110378312A (zh) * 2019-07-26 2019-10-25 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110491135B (zh) * 2019-08-20 2021-10-22 深圳市商汤科技有限公司 检测违章停车的方法及相关装置
CN110969115B (zh) * 2019-11-28 2023-04-07 深圳市商汤科技有限公司 行人事件的检测方法及装置、电子设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008047074A (ja) * 2006-08-21 2008-02-28 Sogo Keibi Hosho Co Ltd 警備装置、警備方法および警備プログラム
JP2017049792A (ja) * 2015-09-02 2017-03-09 株式会社中電工 指定範囲監視システム
WO2019188928A1 (ja) * 2018-03-28 2019-10-03 シャープ株式会社 監視装置および制御装置

Also Published As

Publication number Publication date
TW202230213A (zh) 2022-08-01
TW202121249A (zh) 2021-06-01
CN110969115B (zh) 2023-04-07
WO2021103423A1 (zh) 2021-06-03
SG11202107070UA (en) 2021-07-29
TW202219833A (zh) 2022-05-16
TWI757756B (zh) 2022-03-11
US20210327086A1 (en) 2021-10-21
CN110969115A (zh) 2020-04-07
KR20210113374A (ko) 2021-09-15

Similar Documents

Publication Publication Date Title
JP2022515908A (ja) 歩行者行為の検出方法及び装置、電子機器並びに記憶媒体
CN111556294B (zh) 安全监测方法、装置、服务器、终端及可读存储介质
KR102450330B1 (ko) 이미지 처리 방법 및 장치, 전자 기기 및 저장 매체
KR101852284B1 (ko) 경보 방법 및 장치
CN110895861B (zh) 异常行为预警方法、装置、监控设备和存储介质
KR20210054550A (ko) 데이터 업데이트 방법과 장치, 전자 기기 및 저장 매체
WO2020135127A1 (zh) 一种行人识别方法及装置
KR20210047336A (ko) 이미지 처리 방법 및 장치, 전자 기기 및 기억 매체
CN111815675B (zh) 目标对象的跟踪方法及装置、电子设备和存储介质
CN111340766A (zh) 目标对象的检测方法、装置、设备和存储介质
CN109684989A (zh) 安全监护方法、装置、终端及计算机可读存储介质
JP6597609B2 (ja) 画像処理装置、監視システム、画像処理方法、及びプログラム
CN113011290A (zh) 事件检测方法及装置、电子设备和存储介质
US20120027305A1 (en) Apparatus to provide guide for augmented reality object recognition and method thereof
JP6883710B2 (ja) ターゲットのマッチング方法及び装置、電子機器並びに記憶媒体
KR20190118619A (ko) 보행자 추적 방법 및 전자 디바이스
CN112906484A (zh) 一种视频帧处理方法及装置、电子设备和存储介质
JP2022522071A (ja) 画像処理方法及び装置、電子機器並びに記憶媒体
KR102446688B1 (ko) 타깃 추적 방법 및 장치, 전자 기기 및 저장 매체
KR102445187B1 (ko) 이미지 처리 방법 및 장치, 전자 장치, 및 저장 매체
JP2016195323A (ja) 情報処理装置、情報処理方法、プログラム
CN110717926A (zh) 一种获取行人流量信息的方法及装置
JP6435640B2 (ja) 混雑度推定システム
CN113065482A (zh) 基于图像识别的行为检测方法、系统、计算机设备及介质
CN114937224A (zh) 状态检测方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210630

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220726

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230228