JP2023527100A - Event detection method, device, electronic device, readable storage medium, and computer program - Google Patents

Event detection method, device, electronic device, readable storage medium, and computer program Download PDF

Info

Publication number
JP2023527100A
JP2023527100A JP2022543087A JP2022543087A JP2023527100A JP 2023527100 A JP2023527100 A JP 2023527100A JP 2022543087 A JP2022543087 A JP 2022543087A JP 2022543087 A JP2022543087 A JP 2022543087A JP 2023527100 A JP2023527100 A JP 2023527100A
Authority
JP
Japan
Prior art keywords
event
detection
image data
detection target
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022543087A
Other languages
Japanese (ja)
Inventor
ジャン、ビン
ワン、ユンハオ
シン、イン
フェン、ユアン
ワン、シャオディ
ロン、シャン
ジア、ジュアン
ペン、ヤン
ジェン、ホンフイ
グ、イ
リ、チャオ
ハン、シュミン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2023527100A publication Critical patent/JP2023527100A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/44Event detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38Outdoor scenes
    • G06V20/39Urban scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A30/00Adapting or protecting infrastructure or their operation
    • Y02A30/60Planning or developing urban green infrastructure

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)

Abstract

本開示は、人工知能技術の分野に関し、具体的には、コンピュータビジョンとディープラーニング技術の分野に関し、スマートシティシーンに適用できるイベント検出方法を開示する。イベント検出方法は、画像データを取得し、前記画像データの都市シーンを認識するステップと、前記都市シーンに対応する検出対象ターゲットと検出対象イベントを決定するステップと、前記画像データにおける検出対象ターゲットを検出して、前記検出対象イベントの検出状態を取得するステップと、前記検出対象イベントの検出状態に基づいて、前記画像データのイベント検出結果を取得するステップと、を含む。本開示は、イベント検出の精度及び効率を向上させることができる。The present disclosure relates to the field of artificial intelligence technology, specifically to the fields of computer vision and deep learning technology, and discloses an event detection method applicable to smart city scenes. The event detection method includes steps of acquiring image data, recognizing an urban scene in the image data, determining a detection target and a detection target event corresponding to the urban scene, and detecting a detection target in the image data. detecting and obtaining a detection state of the detection target event; and obtaining an event detection result of the image data based on the detection state of the detection target event. The present disclosure can improve the accuracy and efficiency of event detection.

Description

本開示は、出願日が2021年04月28日であり、出願番号が202110466781.3であり、発明の名称が「イベント検出方法、装置、電子機器、及び読み取り可能な記憶媒体」である中国特許出願の優先権を主張する。
本開示は、人工知能技術の分野に関し、具体的には、コンピュータビジョン及びディープラーニング技術の分野に関し、スマートシティシーンに適用できる。イベント検出方法、装置、電子機器、及び読み取り可能な記憶媒体を提供する。
The present disclosure is a Chinese patent whose filing date is April 28, 2021, application number is 202110466781.3, and title is "Event detection method, device, electronic device, and readable storage medium" Claim priority of the application.
The present disclosure relates to the field of artificial intelligence technology, specifically to the field of computer vision and deep learning technology, and is applicable to smart city scenes. Event detection methods, apparatus, electronics, and readable storage media are provided.

現在、都市管理の計画構成に従って、都市の各位置に大量のビデオデバイスが取付けられて監視する。これらの大量のデータを使用することによって、都市管理の規範化、都市グリッドのインテリジェント化に対してすべて積極的な役割を果たす。しかしながら、従来技術では、監視ビデオストリームデータを用いてイベント検出を行う際、安定性が悪く、検出結果の精度が低いという技術的問題がある。 Currently, according to the planning structure of the city management, each location in the city is equipped with a large number of video devices to monitor. By using these large amounts of data, they all play a positive role in the standardization of urban management and the intelligentization of urban grids. However, the prior art has technical problems such as poor stability and low accuracy of detection results when detecting events using surveillance video stream data.

本開示は、イベント検出の精度及び効率を向上させるために用いられるイベント検出方法、装置、電子機器、及び読み取り可能な記憶媒体を提供する。 The present disclosure provides event detection methods, devices, electronic devices, and readable storage media that are used to improve the accuracy and efficiency of event detection.

本開示の第1の態様によれば、イベント検出方法を提供し、画像データを取得し、前記画像データの都市シーンを認識するステップと、前記都市シーンに対応する検出対象ターゲットと検出対象イベントとを決定するステップと、前記画像データにおける検出対象ターゲットを検出して、前記検出対象イベントの検出状態を取得するステップと、前記検出対象イベントの検出状態に基づいて、前記画像データのイベント検出結果を取得するステップと、を含む。 According to a first aspect of the present disclosure, there is provided an event detection method comprising the steps of obtaining image data, recognizing an urban scene in said image data, detecting targets to be detected and events to be detected corresponding to said urban scene, a detection target in the image data to obtain a detection state of the detection target event; and an event detection result of the image data based on the detection state of the detection target event. and obtaining.

本開示の第2の態様によれば、イベント検出装置を提供し、画像データを取得し、前記画像データの都市シーンを認識するための取得ユニットと、前記都市シーンに対応する検出対象ターゲットと検出対象イベントを決定するための決定ユニットと、前記画像データにおける検出対象ターゲットを検出して、前記検出対象イベントの検出状態を取得するための検出ユニットと、前記検出対象イベントの検出状態に基づいて、前記画像データのイベント検出結果を取得するための処理ユニットと、を含む。 According to a second aspect of the present disclosure, an event detection device is provided, an acquisition unit for acquiring image data, recognizing an urban scene in the image data, a target to be detected corresponding to the urban scene, and detecting a determination unit for determining a target event; a detection unit for detecting a detection target in the image data to obtain a detection state of the detection target event; and based on the detection state of the detection target event, a processing unit for obtaining an event detection result of the image data.

本開示の第3の態様によれば、電子機器を提供し、少なくとも一つのプロセッサと、前記少なくとも一つのプロセッサに通信接続されたメモリと、を含み、前記メモリに前記少なくとも一つのプロセッサにより実行可能な命令が記憶されており、前記命令が前記少なくとも一つのプロセッサにより実行されると、前記少なくとも一つのプロセッサが上記の方法を実行させる。 According to a third aspect of the present disclosure, there is provided an electronic apparatus comprising at least one processor and memory communicatively coupled to said at least one processor, wherein said memory is executable by said at least one processor are stored such that when the instructions are executed by the at least one processor, the at least one processor causes the above method to be performed.

本開示の第4の態様によれば、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ命令は、前記コンピュータに上記の方法を実行させる。 According to a fourth aspect of the present disclosure, there is provided a non-transitory computer-readable storage medium having computer instructions stored thereon, said computer instructions causing said computer to perform the above method.

本開示の第5の態様によれば、コンピュータプログラム製品を提供し、コンピュータプログラムを含み、前記コンピュータプログラムがプロセッサによって実行される際に上記の方法を実現する。 According to a fifth aspect of the present disclosure, a computer program product is provided, comprising a computer program, implementing the above method when said computer program is executed by a processor.

上記の技術案から分かるように、本開示は、まず、取得された画像データの都市シーンを認識し、次に、都市シーンに対応する検出対象ターゲットと検出対象イベントとを決定し、最後に、画像データにおける検出対象ターゲットを検出して、取得された検出対象イベントの検出状態に基づいて画像データのイベント検出結果を取得し、異なる都市シーンを異なる検出対象ターゲットと検出対象イベントと対応するため、本開示は、イベント検出の精度及び効率を向上させることができる。 As can be seen from the above technical solution, the present disclosure firstly recognizes the urban scene in the acquired image data, then determines the target to be detected and the event to be detected corresponding to the urban scene, and finally: To detect a detection target in the image data, obtain an event detection result of the image data based on the obtained detection state of the detection target event, and correspond different city scenes with different detection target and detection target event, The present disclosure can improve the accuracy and efficiency of event detection.

本明細書で説明された内容は、本開示の実施例のキー又は重要な特徴を特定することを意図しておらず、本開示の範囲を制限するためにも使用されないことを理解されたい。本開示の他の特徴は、以下の明細書を通じて容易に理解できる。 It should be understood that nothing described herein is intended to identify key or critical features of embodiments of the disclosure, nor is it used to limit the scope of the disclosure. Other features of the present disclosure can be readily understood through the following specification.

図面は、本開示をより良く理解するためのものであり、本開示を限定しない。
本開示の第1の実施例による概略図である。 本開示の第2の実施例による概略図である。 本開示の第3の実施例による概略図である。 本開示の第4の実施例による概略図である。 本開示の実施例のイベント検出方法を実現するための電子機器のブロック図である。
The drawings are for a better understanding of the disclosure and do not limit the disclosure.
1 is a schematic diagram according to a first embodiment of the present disclosure; FIG. FIG. 4 is a schematic diagram according to a second embodiment of the present disclosure; FIG. 4 is a schematic diagram according to a third embodiment of the present disclosure; FIG. 4 is a schematic diagram according to a fourth embodiment of the present disclosure; 1 is a block diagram of an electronic device for implementing an event detection method according to an embodiment of the present disclosure; FIG.

以下、図面に基づいて、本開示の例示的な実施例を説明する。理解を容易にするために、本開示の実施例の様々な詳細が含まれており、それらは単なる例示と見なされるべきである。従って、当業者は、本開示の範囲及び精神から逸脱することなく、本明細書に記載の実施形態に対して様々な変更及び修正を行うことができることを認識するはずである。同様に、簡明のために、以下の説明では、よく知られた機能と構造の説明は省略される。 Exemplary embodiments of the present disclosure will now be described with reference to the drawings. Various details of the embodiments of the disclosure are included for ease of understanding and should be considered as exemplary only. Accordingly, those skilled in the art should appreciate that various changes and modifications can be made to the embodiments described herein without departing from the scope and spirit of the disclosure. Similarly, for the sake of clarity, descriptions of well-known functions and constructions are omitted in the following description.

図1は本開示の第1の実施例による概略図である。図1に示すように、本実施例のイベント検出方法は、具体的には、以下のステップを含むことができ、
S101、画像データを取得し、前記画像データの都市シーンを認識し、
S102、前記都市シーンに対応する検出対象ターゲットと検出対象イベントとを決定し、
S103、前記画像データにおける検出対象ターゲットを検出して、前記検出対象イベントの検出状態を取得し、
S104、前記検出対象イベントの検出状態に基づいて、前記画像データのイベント検出結果を取得する。
FIG. 1 is a schematic diagram according to a first embodiment of the present disclosure. As shown in FIG. 1, the event detection method of this embodiment can specifically include the following steps:
S101, obtaining image data, recognizing a city scene in the image data;
S102, determining a target to be detected and an event to be detected corresponding to the city scene;
S103, detecting a target to be detected in the image data to obtain a detection state of the event to be detected;
S104, obtaining an event detection result of the image data based on the detection state of the detection target event.

本実施例のイベント検出方法は、まず、取得された画像データの都市シーンを認識し、次に、都市シーンに対応する検出対象ターゲットと検出対象イベントとを決定し、最後に、画像データにおける検出対象ターゲットを検出して、取得された検出対象イベントの検出状態に基づいて画像データのイベント検出結果を取得し、異なる都市シーンを異なる検出対象ターゲットと検出対象イベントと対応するため、本実施例は、イベント検出の精度及び効率を向上させることができる。 The event detection method of this embodiment first recognizes an urban scene in acquired image data, then determines a target to be detected and an event to be detected corresponding to the urban scene, and finally detects in the image data. In order to detect a target and obtain an event detection result of image data based on the obtained detection state of the detection target event, and to correspond different city scenes to different detection target and detection target event, the present embodiment is: , the accuracy and efficiency of event detection can be improved.

本実施例でS101を実行して取得された画像データは、都市のある監視区域の撮影装置によってリアルタイムに撮影されたビデオストリームデータから抽出して取得するものであってもよく、取得された画像データは、少なくとも1つの都市画像を含み、含まれる都市画像は、道路、広場、学校などの都市シーン内の少なくとも1つに対応することができる。 The image data acquired by executing S101 in this embodiment may be extracted and acquired from video stream data captured in real time by a camera in a surveillance area of a city. The data includes at least one city image, and the included city image can correspond to at least one within an urban scene such as a street, a square, a school, or the like.

本実施例でS101を実行して画像データを取得する際、採用できる選択可能な実現方式は、都市のビデオストリームデータを取得し、異なるビデオストリームデータは、異なる都市シーンに対応し、取得されたビデオストリームデータから少なくとも1つのキーフレーム画像を画像データとして抽出する。 When performing S101 to acquire image data in this embodiment, an optional implementation that can be adopted is to acquire city video stream data, and different video stream data correspond to different city scenes and are acquired. At least one keyframe image is extracted as image data from the video stream data.

本実施例でS101を実行して画像データを取得した後、取得された画像データの都市シーンを認識する。通常の状況において、本実施例で認識された都市シーンは、道路、広場、学校などのうとの1つに過ぎないが、画像データを認識することによって複数の都市シーンを取得する場合がある。 After acquiring the image data by executing S101 in this embodiment, the city scene of the acquired image data is recognized. Under normal circumstances, the city scene recognized in this embodiment is only one of streets, squares, schools, etc., but there are cases where multiple city scenes are obtained by recognizing the image data.

本実施例でS101を実行して画像データの都市シーンを認識する際、採用できる選択可能な実現方式は、取得された画像データを第1の認識モデルに入力し、第1の認識モデルの出力結果に基づいて画像データの都市シーンを取得し、本実施例の第1の認識モデルは、予めトレーニングして取得しており、画像データに対応する都市シーンを認識することができる。 When executing S101 in this embodiment to recognize the city scene of the image data, the selectable implementation method that can be adopted is to input the acquired image data into the first recognition model, and the output of the first recognition model Based on the result, the city scene of the image data is acquired, and the first recognition model of the present embodiment is pre-trained and acquired, and can recognize the city scene corresponding to the image data.

また、本実施例でS101を実行して画像データの都市シーンを認識する際、画像データと異なる基準画像との間の類似度を計算する方式によって、画像データと最も類似した基準画像に対応する都市シーンを、取得された画像データの都市シーンとすることもできる。 In this embodiment, when recognizing an urban scene in image data by executing S101, a similarity between the image data and a different reference image is calculated to determine the reference image that is most similar to the image data. The city scene can also be the city scene of the acquired image data.

本実施例でS101を実行して取得された画像データの都市シーンを認識した後、S102を実行して認識された都市シーンに対応する検出対象ターゲットと検出対象イベントとを決定する。その中、本実施例でS102を実行して決定された検出対象ターゲットは、1つであってもよく、複数であってもよい。決定された検出対象イベントは、1つであってもよく、複数であってもよい。 In this embodiment, after recognizing the city scene of the acquired image data by executing S101, the detection object target and the detection object event corresponding to the recognized city scene are determined by executing S102. Among them, the detection target determined by executing S102 in this embodiment may be one or more. The determined detection target event may be one or plural.

本実施例の異なる都市シーンは、異なる検出対象ターゲットと異なる検出対象イベントに対応し、都市シーンに対応する検出対象を区別する方式によって、画像データ内の特定の検出対象のみを検出する目的を実現し、検出の盲目性を効果的に回避し、イベント検出の効率を向上させることができる。 Different city scenes in this embodiment correspond to different detection targets and different detection events, and the method of distinguishing the detection objects corresponding to the city scenes achieves the purpose of detecting only specific detection objects in the image data. can effectively avoid detection blindness and improve the efficiency of event detection.

例えば、都市シーンが市場である場合、市場に対応する検出対象ターゲットは、人、ブース、テーブルと椅子、看板、ゴミ、及び水たまりなどを含むことができ、市場に対応する検出対象イベントは、規則違反経営イベント、及び水たまりイベントなどを含むことができ、都市シーンが道路である場合、道路に対応する検出対象ターゲットは、車両、オートバイ、人力車、道路標識、緑地、及び水たまりなどを含むことができ、道路に対応する検出対象イベントは、違法駐車イベント、道路占有イベント、及び水たまりイベントなどを含むことができる。 For example, if the city scene is a market, the detectable targets corresponding to the market can include people, booths, tables and chairs, billboards, garbage, and puddles, etc., and the detectable events corresponding to the market are the rules It can include violation management events, puddle events, etc. If the urban scene is a road, the detection targets corresponding to the road can include vehicles, motorcycles, rickshaws, road signs, green areas, puddles, etc. , the detected events corresponding to roads can include illegal parking events, road occupation events, puddle events, and so on.

本実施例でS102を実行して都市シーンに対応する検出対象ターゲットと検出対象イベントを決定する際、予め設定された対応関係に基づいて決定することができ、当該予め設定された対応関係は、各都市シーン、及び各都市シーンに対応する検出対象ターゲットと検出対象イベントとを含む。 In this embodiment, when determining the detection target and the detection target event corresponding to the city scene by executing S102, the determination can be made based on a preset correspondence relationship, and the preset correspondence relationship is as follows: It includes each city scene, and the target to be detected and the event to be detected corresponding to each city scene.

本実施例でS102を実行して都市シーンに対応する検出対象ターゲットと検出対象イベントとを決定した後、S103を実行して画像データにおける検出対象ターゲットを検出して、検出対象イベントの検出状態を取得する。その中、本実施例S103を実行して取得された検出対象イベントの検出状態は、正常状態及び異常状態のうちの1つである。 In this embodiment, after S102 is executed to determine the detection target and the detection target event corresponding to the city scene, S103 is executed to detect the detection target in the image data and determine the detection state of the detection target event. get. Among them, the detection state of the detection target event acquired by executing S103 of the present embodiment is one of the normal state and the abnormal state.

理解できることは、本実施例でS102を実行して複数の検出対象イベントを決定した場合、本実施例S103を実行して各検出対象イベントに対応する検出状態をそれぞれ取得することができる。 It can be understood that when S102 is executed in this embodiment to determine a plurality of detection target events, S103 in this embodiment can be executed to acquire the detection state corresponding to each detection target event.

具体的には、本実施例でS103を実行して画像データにおける検出対象ターゲットを検出して、検出対象イベントの検出状態を取得する際、採用できる選択可能な実現方式は、取得された画像データと決定された検出対象ターゲットを第2の認識モデルに入力し、第2の認識モデルの出力結果に基づいて検出対象イベントの検出状態を取得し、本実施例の第2の認識モデルは、予めトレーニングして取得しており、画像データと検出対象ターゲットとに基づいて、画像データに対応する各検出対象イベントの検出状態を取得することができる。 Specifically, in this embodiment, when executing S103 to detect the detection target in the image data and acquire the detection state of the detection target event, the selectable realization method that can be adopted is: is input to the second recognition model, and the detection state of the detection target event is acquired based on the output result of the second recognition model. It is obtained through training, and based on the image data and the detection target, it is possible to obtain the detection state of each detection target event corresponding to the image data.

また、本実施例でS103を実行して画像データにおける検出対象ターゲットを検出して、検出対象イベントの検出状態を取得する際、画像データに検出対象ターゲットの検出結果が存在するか否かに基づいて、検出対象イベントの検出状態を取得することもでき、例えば、対応する道路の画像データに水たまりが存在する場合、水たまりイベントが異常状態にあると決定する。 Further, in this embodiment, when executing S103 to detect the detection target in the image data and acquire the detection state of the detection target event, it is determined whether or not the detection result of the detection target exists in the image data. For example, if a puddle exists in the corresponding road image data, it is determined that the puddle event is in an abnormal state.

本実施例でS103を実行して検出対象イベントの検出状態を取得した後、S104を実行して取得された検出対象イベントの検出状態に基づいて、画像データのイベント検出結果を取得する。 In this embodiment, after acquiring the detection state of the detection target event by executing S103, the event detection result of the image data is acquired based on the detection state of the detection target event acquired by executing S104.

本実施例でS104を実行する際、直接に取得された検出対象イベントの検出状態を画像データのイベント検出結果とすることができる。 When executing S104 in the present embodiment, the directly acquired detection state of the detection target event can be used as the event detection result of the image data.

本実施例でS103を実行する際に取得された検出対象イベントの検出状態にエラーが存在する可能性があるので、取得されたイベント検出結果の精度を向上させるために、本実施例でS104を実行して検出対象イベントの検出状態に基づいて、画像データのイベント検出結果を取得する際、採用できる選択可能な実現方式は、取得された画像データと取得された検出対象イベントのイベント状態をユーザに送信して、ユーザが検出対象イベントのイベント状態を確認するために用いられ、ユーザから返された確認結果に基づいて、画像データのイベント検出結果を取得する。 Since there is a possibility that an error exists in the detection state of the detection target event acquired when executing S103 in this embodiment, in order to improve the accuracy of the acquired event detection result, S104 is executed in this embodiment. When executing to obtain the event detection result of the image data based on the detection state of the detectable event, a selectable implementation that can be adopted is to provide the obtained image data and the event state of the obtained detectable event to the user. , and the event detection result of the image data is acquired based on the confirmation result returned from the user.

つまり、本実施例ではユーザが取得された検出対象イベントのイベント状態をチェックすることによって、検出対象イベントの誤ったイベント状態を可能な限り除去し、取得されたイベント検出結果の精度をさらに向上させることもできる。本実施例ではユーザから返された確認結果を使用して第2の認識モデルを最適化することもでき、すなわち画像データ、画像データの検出対象ターゲット、及び確認結果をトレーニングデータとし、第2の認識モデルの更新を続けて、第2の認識モデルがより正確な検出対象イベントの検出状態を出力できるようにする。 In other words, in this embodiment, by checking the event status of the detection target event acquired by the user, erroneous event statuses of the detection target event are eliminated as much as possible, and the accuracy of the acquired event detection result is further improved. can also In this embodiment, confirmation results returned from the user can also be used to optimize the second recognition model, i.e., the image data, the targets to be detected in the image data, and the confirmation results are used as training data, and the second The recognition model is continuously updated so that the second recognition model can output a more accurate detection state of the detectable event.

また、本実施例でS104を実行して取得された画像データのイベント検出結果を取得した後、以下の内容をさらに含むことができ、取得されたイベント検出結果に異常状態にある検出対象イベントが存在するか否かを決定し、イベント検出結果に異常状態にある検出対象イベントが存在すると決定された場合、アラーム情報を発行し、発行されたアラーム情報には、検出対象イベントの異常状態と異常状態にある検出対象イベントの位置情報が含まれて、アラームの精度及び異常イベントの処理効率を向上させる。 In addition, after acquiring the event detection result of the acquired image data by executing S104 in the present embodiment, the following content may be further included, and the acquired event detection result may include a detection target event in an abnormal state. If it is determined that there is a detection target event in an abnormal state in the event detection result, alarm information is issued. The location information of the detected event in the state is included to improve the accuracy of the alarm and the processing efficiency of the abnormal event.

理解できることは、本実施例では、関連部門の人が都市で発生する異常イベントを迅速に処理できるように、関連部門の人にアラーム情報を発行する。 It can be understood that in this embodiment, alarm information is issued to relevant department personnel so that they can quickly deal with abnormal events occurring in the city.

図2は本開示の第2の実施例による概略図である。図2はイベント検出システム200を示し、基礎構成モジュール、ビデオ再生記憶モジュール、ビデオ分析モジュール、アラーム情報記憶モジュール、及び情報処理モジュールを含む。その中、基礎構成モジュールは、ユーザのニーズに応じて異なるビデオデータストリームの処理ルールを柔軟に構成するため用いられ、ビデオデータストリームがタイムシェアリングで処理することができ、バッチで処理することもでき、ビデオ再生記憶モジュールは、ビデオデータストリームのリアルタイム再生及び記憶を完了し、ビデオデータストリームの呼び出し及び閲覧をサポートするために用いられ、ビデオ分析モジュールは、上記の実施例のイベント検出及び異常イベントのアラームを完了するために用いられ、アラーム情報記憶モジュールは、アラーム情報の分類検索及び照会展示を実現するために用いられ、情報処理モジュールは、異常イベントに対する処理を実現するために用いられる。 FIG. 2 is a schematic diagram according to a second embodiment of the present disclosure. FIG. 2 shows an event detection system 200, which includes a basic configuration module, a video playback storage module, a video analysis module, an alarm information storage module, and an information processing module. Among them, the basic configuration module is used to flexibly configure the processing rules of different video data streams according to the user's needs, and the video data streams can be processed in time-sharing or batch processing. the video playback and storage module is used to complete the real-time playback and storage of the video data stream, and to support calling and browsing of the video data stream; and the video analysis module is the event detection and abnormal event The alarm information storage module is used to implement alarm information classification search and inquiry display, and the information processing module is used to implement abnormal event processing.

図3は本開示の第3の実施例による概略図である。図3は情報処理ユニットの処理フローチャートを示し、ビデオデータストリームをビデオ分析モジュールに入力した後、ビデオ分析モジュールがイベント検出を行い、ビデオ分析モジュールが、異常イベントを検出した後、アラーム情報を生成し、情報処理ユニットに報告し、情報処理ユニットがアラーム情報を関連部分の人に送信して確認し、異常イベントがエラーを検出した場合、確認結果をビデオ分析モジュールに返し、異常イベントを処理する必要がない場合、プロセスを終了し、異常イベントを処理する必要がある場合、処理を伝達し、処理が既に完了したと決定した場合、チェックして異常イベントが処理を既に完了したか否かを決定し、チェックしてない場合、処理を伝達するのを実行することに移動する。 FIG. 3 is a schematic diagram according to a third embodiment of the present disclosure; FIG. 3 shows the processing flow chart of the information processing unit, after inputting the video data stream into the video analysis module, the video analysis module performs event detection, and the video analysis module generates alarm information after detecting an abnormal event. , report to the information processing unit, the information processing unit sends the alarm information to the person in the relevant part for confirmation, and if the abnormal event detects an error, the confirmation result is returned to the video analysis module, and the abnormal event needs to be processed. If not, terminate the process, if the abnormal event needs to be processed, transmit the processing, and if it determines that the processing has already completed, check to determine if the abnormal event has already completed processing and if unchecked, move to Execute Propagating Actions.

図4は本開示の第4の実施例による概略図である。図4に示すように、本実施例のイベント検出装置400は、取得ユニット401、決定ユニット402、検出ユニット403、及び処理ユニット404を含み、
取得ユニット401は、画像データを取得し、前記画像データの都市シーンを認識するために用いられ、
決定ユニット402は、前記都市シーンに対応する検出対象ターゲットと検出対象イベントを決定するために用いられ、
検出ユニット403は、前記画像データにおける検出対象ターゲットを検出して、前記検出対象イベントの検出状態を取得するために用いられ、
処理ユニット404は、前記検出対象イベントの検出状態に基づいて、前記画像データのイベント検出結果を取得するために用いられる。
FIG. 4 is a schematic diagram according to a fourth embodiment of the present disclosure; As shown in FIG. 4, the event detection device 400 of this embodiment includes an acquisition unit 401, a determination unit 402, a detection unit 403 and a processing unit 404,
the acquisition unit 401 is used to acquire image data and recognize an urban scene in said image data;
a determining unit 402 is used to determine a detectable target and a detectable event corresponding to the urban scene;
the detection unit 403 is used to detect a detection target in the image data to obtain a detection state of the detection target event;
A processing unit 404 is used to obtain an event detection result of the image data based on the detection state of the detection target event.

取得ユニット401によって取得された画像データは、都市のある監視区域の撮影装置によってリアルタイムに撮影されたビデオストリームデータから抽出して取得するものであってもよく、取得された画像データは、少なくとも1つの都市画像を含み、含まれる都市画像は、道路、広場、学校などの都市シーン内の少なくとも1つに対応することができる。 The image data acquired by the acquisition unit 401 may be extracted and acquired from the video stream data captured in real time by the camera in a surveillance area of the city, and the acquired image data may include at least one and the included city images may correspond to at least one in an urban scene, such as roads, squares, schools, and the like.

取得ユニット401は、画像データを取得する際、採用できる選択可能な実現方式は、都市のビデオストリームデータを取得し、取得されたビデオストリームデータから少なくとも1つのキーフレーム画像を画像データとして抽出する。 The acquisition unit 401 acquires the image data, an optional implementation that can be adopted is to acquire the video stream data of the city, and extract at least one key frame image from the acquired video stream data as image data.

取得ユニット401は、画像データを取得した後、取得された画像データの都市シーンを認識する。通常の状況において、取得ユニット401によって認識された都市シーンは、道路、広場、学校などのうちの1つに過ぎないが、画像データを認識することによって複数の都市シーンを取得する場合がある。 After acquiring the image data, the acquisition unit 401 recognizes the urban scene in the acquired image data. Under normal circumstances, the city scene recognized by the acquisition unit 401 is only one of roads, squares, schools, etc., but multiple city scenes may be acquired by recognizing the image data.

取得ユニット401は、画像データの都市シーンを認識する際、採用できる選択可能な実現方式は、取得された画像データを第1の認識モデルに入力し、第1の認識モデルの出力結果に基づいて画像データの都市シーンを取得する。 The acquisition unit 401, when recognizing the urban scene in the image data, an optional implementation that can be adopted is to input the acquired image data into the first recognition model, and based on the output result of the first recognition model, Get the city scene of the image data.

また、取得ユニット401は、画像データの都市シーンを認識する際、画像データと異なる基準画像との間の類似度を計算する方式によって、画像データと最も類似した基準画像に対応する都市シーンを、取得された画像データの都市シーンとすることもできる。 In addition, when recognizing the city scene of the image data, the acquisition unit 401 can calculate the similarity between the image data and different reference images to determine the city scene corresponding to the reference image that is most similar to the image data, It can also be a city scene of the acquired image data.

本実施例では、取得ユニット401によって取得された画像データの都市シーンを認識した後、決定ユニット402から認識された都市シーンに対応する検出対象ターゲットと検出対象イベントとを決定する。その中、決定ユニット402によって決定された検出対象ターゲットは、1つであってもよく、複数であってもよい。決定された検出対象イベントは、1つであってもよく、複数であってもよい。 In this embodiment, after recognizing the city scene of the image data acquired by the acquisition unit 401 , the detection target and the detection target event corresponding to the recognized city scene are determined by the determination unit 402 . Wherein, the detection target determined by the determination unit 402 may be one or more. The determined detection target event may be one or plural.

決定ユニット402は、都市シーンに対応する検出対象ターゲットと検出対象イベントとを決定する際、予め設定された対応関係に基づいて決定することができ、当該予め設定された対応関係は、各都市シーン、及び各都市シーンに対応する検出対象ターゲットと検出対象イベントとを含む。 The determination unit 402 can determine the detection target and the detection target event corresponding to the city scene based on a preset correspondence relationship, and the preset correspondence relationship is determined for each city scene. , and detectable targets and detectable events corresponding to each city scene.

本実施例では、決定ユニット402から都市シーンに対応する検出対象ターゲットと検出対象イベントを決定した後、検出ユニット403から画像データにおける検出対象ターゲットを検出して、検出対象イベントの検出状態を取得する。その中、検出ユニット403によって取得された検出対象イベントの検出状態は、正常状態及び異常状態のうちの1つである。 In this embodiment, after the determination unit 402 determines the detection target and the detection target event corresponding to the city scene, the detection unit 403 detects the detection target in the image data to obtain the detection state of the detection target event. . Wherein, the detection status of the detection target event obtained by the detection unit 403 is one of normal status and abnormal status.

理解できることは、決定ユニット402が複数の検出対象イベントを決定する場合、検出ユニット403は各検出対象イベントに対応する検出状態をそれぞれ取得することができる。 It can be appreciated that if the determining unit 402 determines multiple detectable events, the detecting unit 403 can respectively obtain the detection status corresponding to each detectable event.

具体的には、検出ユニット403は、画像データにおける検出対象ターゲットを検出して、検出対象イベントの検出状態を取得する際、採用できる選択可能な実現方式は、取得された画像データと決定された検出対象ターゲットを第2の認識モデルに入力し、第2の認識モデルの出力結果に基づいて検出対象イベントの検出状態を取得する。 Specifically, when the detection unit 403 detects the detection target in the image data and obtains the detection status of the detection target event, the selectable implementation that can be adopted is determined as the obtained image data. The target to be detected is input to the second recognition model, and the detection state of the event to be detected is obtained based on the output result of the second recognition model.

また、検出ユニット403は、画像データにおける検出対象ターゲットを検出して、検出対象イベントの検出状態を取得する際、画像データに検出対象ターゲットの検出結果が存在するか否かに基づいて、検出対象イベントの検出状態を取得することもでき、例えば、対応する道路の画像データに水たまりが存在する場合、水たまりイベントが異常状態にあると決定する。 Further, when the detection unit 403 detects the detection target in the image data and acquires the detection state of the detection target event, the detection unit 403 detects the detection target based on whether or not the detection result of the detection target exists in the image data. The detection status of the event can also be obtained, for example, if there is a puddle in the corresponding road image data, determine that the puddle event is in an abnormal state.

本実施例では検出ユニット403から検出対象イベントの検出状態を取得した後、処理ユニット404から取得された検出対象イベントの検出状態に基づいて、画像データのイベント検出結果を取得する。 In this embodiment, after acquiring the detection state of the detection target event from the detection unit 403 , the event detection result of the image data is acquired based on the detection state of the detection target event acquired from the processing unit 404 .

処理ユニット404は、直接に検出ユニット403によって取得された検出対象イベントの検出状態を画像データのイベント検出結果とすることができる。 The processing unit 404 can use the detection state of the detection target event directly acquired by the detection unit 403 as the event detection result of the image data.

検出ユニット403によって取得された検出対象イベントの検出状態にエラーが存在する可能性があるので、取得されたイベント検出結果の精度を向上させるために、処理ユニット404は、検出対象イベントの検出状態に基づいて、画像データのイベント検出結果を取得する際、採用できる選択可能な実現方式は、取得された画像データと取得された検出対象イベントのイベント状態をユーザに送信して、ユーザが検出対象イベントのイベント状態を確認するために用いられ、ユーザから返された確認結果に基づいて、画像データのイベント検出結果を取得する。 Since there may be an error in the detection state of the detection target event acquired by the detection unit 403, the processing unit 404 corrects the detection state of the detection target event in order to improve the accuracy of the acquired event detection result. , when obtaining the event detection result of the image data, an optional implementation method that can be adopted is to send the event status of the obtained image data and the obtained detection target event to the user, so that the user can detect the detection target event is used to confirm the event state of the image data, and based on the confirmation result returned from the user, the event detection result of the image data is acquired.

つまり、処理ユニット404によってユーザが取得された検出対象イベントのイベント状態をチェックすることによって、検出対象イベントのエラーのイベント状態を可能な限り除去し、取得されたイベント検出結果の精度をさらに向上させることもできる。処理ユニット404によってユーザから返された確認結果を使用して第2の認識モデルを最適化することもでき、すなわち画像データ、画像データの検出対象ターゲット、及び確認結果をトレーニングデータとし、第2の認識モデルの更新を続けて、第2の認識モデルがより正確な検出対象イベントの検出状態を出力できるようにする。 That is, by checking the event status of the detection target event acquired by the user by the processing unit 404, the error event status of the detection target event is eliminated as much as possible, and the accuracy of the acquired event detection result is further improved. can also The verification results returned from the user by the processing unit 404 can also be used to optimize the second recognition model, i.e., the image data, the targets to be detected in the image data, and the verification results as training data, and the second The recognition model is continuously updated so that the second recognition model can output a more accurate detection state of the detectable event.

また、本実施例のイベント検出装置400は、アラームユニット405をさらに含むことができ、前記アラームユニット405は、取得された画像データのイベント検出結果を取得した後、取得されたイベント検出結果に異常状態にある検出対象イベントが存在するか否かを決定し、イベント検出結果に異常状態にある検出対象イベントが存在すると決定された場合、アラーム情報を発行するために用いられ、発行されたアラーム情報には、検出対象イベントの異常状態と異常状態にある検出対象イベントの位置情報が含まれる。 In addition, the event detection device 400 of the present embodiment may further include an alarm unit 405, and after obtaining the event detection result of the obtained image data, the alarm unit 405 detects an abnormality in the obtained event detection result. It is used to determine whether or not a detection target event in a state exists, and if it is determined that a detection target event in an abnormal state exists in the event detection result, and is used to issue alarm information. includes the abnormal state of the detection target event and the location information of the detection target event in the abnormal state.

本開示の実施例によれば、本開示は、電子機器、読み取り可能な記憶媒体、及びコンピュータプログラム製品をさらに提供する。 According to embodiments of the disclosure, the disclosure further provides an electronic device, a readable storage medium, and a computer program product.

図5は、本開示の実施例に係るイベント検出方法の電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、大型コンピュータ、及び他の適切なコンピュータなどの様々な形式のデジタルコンピュータを表すことを目的とする。電子機器は、パーソナルデジタル処理、携帯電話、スマートフォン、ウェアラブルデバイス、他の同様の計算デバイスなどの様々な形式のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書の説明及び/又は要求される本開示の実現を制限することを意図したものではない。 FIG. 5 is a block diagram of electronics for an event detection method according to an embodiment of the present disclosure. Electronic equipment is intended to represent various forms of digital computers such as laptop computers, desktop computers, workstations, personal digital assistants, servers, blade servers, large scale computers, and other suitable computers. Electronics can also represent various forms of mobile devices such as personal digital assistants, cell phones, smart phones, wearable devices, and other similar computing devices. The components, their connections and relationships, and their functionality illustrated herein are merely examples and are not intended to limit the description and/or required implementation of the disclosure herein.

図5に示すように、機器500は計算ユニット501を含み、計算ユニット501は、読み取り専用メモリ(ROM)502に記憶されているコンピュータプログラム又は記憶ユニット508からランダムアクセスメモリ(RAM)503にローディングされたコンピュータプログラムに基づいて、様々な適切な動作と処理を実行することができる。RAM503には、機器500が動作するに必要な様々なプログラムとデータも記憶することができる。計算ユニット501、ROM502、及びRAM503は、バス504を介してお互いに接続される。入出力(I/O)インターフェース505もバス504に接続される。 As shown in FIG. 5, the device 500 includes a computing unit 501 which is loaded into random access memory (RAM) 503 from a computer program stored in read only memory (ROM) 502 or from storage unit 508 . Various suitable operations and processes can be performed based on a computer program. RAM 503 can also store various programs and data necessary for device 500 to operate. Computing unit 501 , ROM 502 and RAM 503 are connected to each other via bus 504 . An input/output (I/O) interface 505 is also connected to bus 504 .

機器500内の複数のコンポーネントは、I/Oインターフェース505に接続されており、キーボード、マウスなどの入力ユニット506と、様々なタイプのディスプレイ、スピーカなどの出力ユニット507と、ディスク、光ディスクなどの記憶ユニット508と、ネットワークカード、モデム、無線通信トランシーバなどの通信ユニット509と、を含む。通信ユニット509は、機器500が、インターネットなどのコンピュータネットワーク、及び/又は様々な電気通信ネットワークを介して他の機器と情報/データを交換することを可能にする。 A number of components within the device 500 are connected to an I/O interface 505, including input units 506 such as keyboards, mice, etc., output units 507 such as various types of displays, speakers, etc., and storage units such as discs, optical discs, etc. It includes a unit 508 and a communication unit 509 such as a network card, modem, wireless communication transceiver. Communication unit 509 enables device 500 to exchange information/data with other devices via computer networks, such as the Internet, and/or various telecommunications networks.

計算ユニット501は、様々な処理と計算能力を備える汎用及び/又は専用の処理コンポーネントである。計算ユニット501のいくつかの例は、中央処理装置(CPU)、グラフィックス処理ユニット(GPU)、様々な専用の人工知能(AI)計算チップ、様々な機械学習モデルアルゴリズムを実行する計算ユニット、デジタル信号プロセッサ(DSP)、及び任意の適切なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。計算ユニット501は、イベント検出方法などの上記の様々な方法と処理を実行する。例えば、いくつかの実施例では、イベント検出方法は、記憶ユニット508などの機械読み取り可能な媒体に有形的に含まれるコンピュータソフトウェアプログラムとして実現することができる。 Computing unit 501 is a general-purpose and/or special-purpose processing component with various processing and computing capabilities. Some examples of computing unit 501 include central processing units (CPUs), graphics processing units (GPUs), various dedicated artificial intelligence (AI) computing chips, computing units that run various machine learning model algorithms, digital Including, but not limited to, signal processors (DSPs), and any suitable processors, controllers, microcontrollers, and the like. Computing unit 501 performs the various methods and processes described above, such as event detection methods. For example, in some implementations, an event detection method can be implemented as a computer software program tangibly embodied in a machine-readable medium, such as storage unit 508 .

いくつかの実施例では、コンピュータプログラムの一部又は全部は、ROM502及び/又は通信ユニット509を介して機器500にローディング及び/又はインストールされる。コンピュータプログラムがRAM503にローディングされて計算ユニット501によって実行される場合、上記のイベント検出方法の一つ又は複数のステップを実行することができる。代替的に、他の実施例では、計算ユニット501は、他の任意の適切な方式(例えば、ファームウェアによって)を介してイベント検出方法を実行するように構成されることができる。 In some embodiments, part or all of the computer program is loaded and/or installed on device 500 via ROM 502 and/or communication unit 509 . When the computer program is loaded into RAM 503 and executed by computing unit 501, it can perform one or more steps of the event detection method described above. Alternatively, in other embodiments, computing unit 501 may be configured to perform event detection methods via any other suitable manner (eg, by firmware).

本明細書で説明されるシステム及び技術の様々な実施方式は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、特定用途向け標準製品(ASSP)、システムオンチップシステム(SOC)、ローディングプログラマブルロジックデバイス(CPLD)、コンピュータハードウェア、ファームウェア、ソフトウェア、及び/又はそれらの組み合わせで実現することができる。これらの様々な実施方式は、一つ又は複数のコンピュータプログラムで実施されることを含むことができ、当該一つ又は複数のコンピュータプログラムは、少なくとも一つのプログラマブルプロセッサを含むプログラム可能なシステムで実行及び/又は解釈されることができ、当該プログラマブルプロセッサは、特定用途向け又は汎用プログラマブルプロセッサであってもよく、ストレージシステム、少なくとも一つの入力装置、及び少なくとも一つの出力装置からデータ及び命令を受信し、データ及び命令を当該ストレージシステム、当該少なくとも一つの入力装置、及び当該少なくとも一つの出力装置に伝送することができる。 Various implementations of the systems and techniques described herein include digital electronic circuit systems, integrated circuit systems, field programmable gate arrays (FPGAs), application specific integrated circuits (ASICs), application specific standard products (ASSPs). ), system-on-chip system (SOC), loading programmable logic device (CPLD), computer hardware, firmware, software, and/or combinations thereof. These various implementations can include being embodied in one or more computer programs, which are executed and executed in a programmable system including at least one programmable processor. /or may be interpreted, the programmable processor may be an application-specific or general-purpose programmable processor, receives data and instructions from a storage system, at least one input device, and at least one output device; Data and instructions can be transmitted to the storage system, the at least one input device, and the at least one output device.

本開示の方法を実施するためのプログラムコードは、一つ又は複数のプログラミング言語の任意の組み合わせを使用して作成することができる。これらのプログラムコードは、プログラムコードがプロセッサ又はコントローラによって実行される際にフローチャート及び/又はブロック図に規定された機能/動作が実施されるように、汎用コンピュータ、専用コンピュータ、又は他のプログラム可能なデータ処理装置のプロセッサ又はコントローラに提供することができる。プログラムコードは、完全に機械上で実行されたり、部分的に機械上で実行されたり、独立したソフトウェアパッケージとして部分的に機械上で実行され、部分的にリモート機械上実行されたり、又は完全にリモート機械又はサーバ上で実行されたりすることができる。 Program code to implement the methods of the present disclosure can be written in any combination of one or more programming languages. These program codes may be stored in a general purpose computer, special purpose computer, or other programmable computer such that when the program code is executed by a processor or controller, the functions/acts specified in the flowcharts and/or block diagrams are performed. It can be provided in a processor or controller of a data processing device. Program code may be executed entirely on a machine, partially on a machine, partially on a machine as a separate software package, partially on a remote machine, or entirely on a machine. It can also be run on a remote machine or server.

本開示の文脈において、機械読み取り可能な媒体は、命令実行システム、装置、又は機器の使用、又は命令実行システム、装置又は機器と組み合わせて使用するプログラムを含むか、又は記憶することができる有形の媒体であってもよい。機械読み取り可能な媒体は、機械読み取り可能な信号媒体又は機械読み取り可能な記憶媒体であってもよい。機械読み取り可能な媒体は、電子、磁気、光学、電磁気、赤外線、又は半導体システム、装置又は機器、又は上記の内容の任意の適切な組み合わせを含むが、これらに限定されない。機械読み取り可能な記憶媒体のより具体的な例は、一つ又は複数のワイヤに基づく電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能プログラマブル読み取り専用メモリ(EPROM 又はフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ(CD-ROM)、光学記憶装置、磁気記憶装置、又は上記の内容の任意の適切な組み合わせを含む。 In the context of this disclosure, a machine-readable medium is a tangible medium capable of containing or storing a program for use with, or in combination with, an instruction execution system, device, or apparatus. It may be a medium. A machine-readable medium may be a machine-readable signal medium or a machine-readable storage medium. Machine-readable media include, but are not limited to, electronic, magnetic, optical, electromagnetic, infrared, or semiconductor systems, devices or instruments, or any suitable combination of the above. More specific examples of machine-readable storage media are electrical connections based on one or more wires, portable computer disks, hard disks, random access memory (RAM), read-only memory (ROM), erasable programmable read-only Including memory (EPROM or flash memory), optical fiber, portable compact disk read only memory (CD-ROM), optical storage, magnetic storage, or any suitable combination of the above.

ユーザとのインタラクションを提供するために、コンピュータ上でここで説明されているシステム及び技術を実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置(例えば、CRT(陰極線管)又はLCD(液晶ディスプレイ)モニタ)と、キーボード及びポインティングデバイス(例えば、マウス又はトラックボール)とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置は、ユーザとのインタラクションを提供するために用いられることもでき、例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック(例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック)であってもよく、任意の形式(音響入力と、音声入力と、触覚入力とを含む)でユーザからの入力を受信することができる。 To provide interaction with a user, the systems and techniques described herein can be implemented on a computer, which includes a display device (e.g., CRT) for displaying information to the user. ) or LCD (liquid crystal display) monitor), and a keyboard and pointing device (e.g., mouse or trackball) through which a user can provide input to the computer. Other types of devices can also be used to provide interaction with a user, for example, the feedback provided to the user can be any form of sensing feedback (e.g., visual, auditory, or tactile feedback). ) and can receive input from the user in any form (including acoustic, speech, and tactile input).

ここで説明されるシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム(例えば、データサーバとする)、又はミドルウェアコンポーネントを含むコンピューティングシステム(例えば、アプリケーションサーバー)、又はフロントエンドコンポーネントを含むコンピューティングシステム(例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザは、当該グラフィカルユーザインタフェース又は当該ウェブブラウザによってここで説明されるシステム及び技術の実施方式とインタラクションする)、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実施することができる。任意の形式又は媒体のデジタルデータ通信(例えば、通信ネットワーク)によってシステムのコンポーネントを相互に接続されることができる。通信ネットワークの例は、ローカルエリアネットワーク(LAN)と、ワイドエリアネットワーク(WAN)と、インターネットと、を含む。 The systems and techniques described herein may be computing systems that include back-end components (e.g., data servers), or computing systems that include middleware components (e.g., application servers), or computing systems that include front-end components. A system (e.g., a user computer having a graphical user interface or web browser, through which the user interacts with implementations of the systems and techniques described herein), or such a back-end component , middleware components, and front-end components in any combination. The components of the system can be interconnected by any form or medium of digital data communication (eg, a communication network). Examples of communication networks include local area networks (LANs), wide area networks (WANs), and the Internet.

コンピュータシステムは、クライアントとサーバとを含むことができる。クライアントとサーバは、一般に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、互いにクライアント-サーバ関係を有するコンピュータプログラムによってクライアントとサーバとの関係が生成される。サーバは、クラウドサーバであってもよく、クラウド計算又はクラウドホストとも呼ばれ、クラウド計算サービスシステムの中の一つのホスト製品であり、従来の物理ホストとVPSサービス(「Virtual Private Server」、又は「VPS」と略称する)に、存在する管理困難度が高く、業務拡張性が弱い欠陥を解決する。サーバは、分散システムのサーバであってもよく、又はブロックチェーンを組み合わせるサーバであってもよい。 The computer system can include clients and servers. A client and server are generally remote from each other and typically interact through a communication network. A client-server relationship is created by computer programs running on corresponding computers and having a client-server relationship to each other. The server may be a cloud server, also called cloud computing or cloud host, which is one of the host products in the cloud computing service system, and is similar to the traditional physical host and VPS service (“Virtual Private Server” or “ abbreviated as "VPS") to solve the deficiencies of high management difficulty and weak business expandability. The server may be a server of a distributed system or a server combining blockchains.

上記に示される様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除することができることを理解されたい。例えば、本開示に記載されている各ステップは、並列に実行されてもよいし、順次的に実行されてもよいし、異なる順序で実行されてもよいが、本開示で開示されている技術案が所望の結果を実現することができれば、本明細書では限定されない。 It should be appreciated that steps may be reordered, added, or deleted using the various forms of flow shown above. For example, each step described in the present disclosure may be performed in parallel, sequentially, or in a different order, but the techniques disclosed in the present disclosure The scheme is not limited herein so long as it can achieve the desired result.

上記の具体的な実施方式は、本開示に対する保護範囲の制限を構成するものではない。当業者は、設計要求と他の要因に基づいて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができる。任意の本開示の精神と原則内で行われる修正、同等の置換、及び改善などは、いずれも本開示の保護範囲内に含まれなければならない。 The above specific implementation manners do not constitute a limitation of the protection scope of this disclosure. Those skilled in the art can make various modifications, combinations, subcombinations, and substitutions based on design requirements and other factors. Any modification, equivalent replacement, improvement, etc. made within the spirit and principle of this disclosure shall all fall within the protection scope of this disclosure.

Claims (15)

イベント検出方法であって、
画像データを取得し、前記画像データの都市シーンを認識するステップと、
前記都市シーンに対応する検出対象ターゲットと検出対象イベントとを決定するステップと、
前記画像データにおける検出対象ターゲットを検出して、前記検出対象イベントの検出状態を取得するステップと、
前記検出対象イベントの前記検出状態に基づいて、前記画像データのイベント検出結果を取得するステップと、を含む、
イベント検出方法。
An event detection method comprising:
obtaining image data and recognizing an urban scene in said image data;
determining a detectable target and a detectable event corresponding to the urban scene;
detecting a detection target in the image data to obtain a detection state of the detection target event;
obtaining an event detection result of the image data based on the detection state of the detection target event;
Event detection method.
前記画像データを取得するステップは、
都市のビデオストリームデータを取得するステップと、
前記ビデオストリームデータから少なくとも1つのキーフレーム画像を前記画像データとして抽出するステップと、を含む、
請求項1に記載のイベント検出方法。
The step of obtaining the image data includes:
obtaining city video stream data;
extracting at least one keyframe image from said video stream data as said image data;
The event detection method according to claim 1.
前記都市シーンに対応する前記検出対象ターゲットと前記検出対象イベントとを決定するステップは、
予め設定された対応関係に基づいて、前記都市シーンに対応する前記検出対象ターゲットと前記検出対象イベントとを決定するステップを含む、
請求項1に記載のイベント検出方法。
determining the detectable target and the detectable event corresponding to the city scene,
determining the detection target and the detection target event corresponding to the city scene based on a preset correspondence relationship;
The event detection method according to claim 1.
前記画像データにおける前記検出対象ターゲットを検出して、前記検出対象イベントの前記検出状態を取得するステップは、
前記画像データと前記検出対象ターゲットとを第2の認識モデルに入力し、前記第2の認識モデルの出力結果に基づいて前記検出対象イベントの前記検出状態を取得するステップを含む、
請求項1に記載のイベント検出方法。
The step of detecting the detection target in the image data and obtaining the detection state of the detection target event includes:
inputting the image data and the detection target to a second recognition model, and acquiring the detection state of the detection target event based on the output result of the second recognition model;
The event detection method according to claim 1.
前記検出対象イベントの前記検出状態に基づいて、前記画像データの前記イベント検出結果を取得するステップは、
前記画像データと前記検出対象イベントのイベント状態とをユーザに送信するステップと、
前記ユーザから返された確認結果に基づいて、前記画像データの前記イベント検出結果を取得するステップと、を含む、
請求項1に記載のイベント検出方法。
The step of acquiring the event detection result of the image data based on the detection state of the detection target event,
transmitting the image data and the event state of the detection target event to a user;
obtaining the event detection result for the image data based on confirmation results returned from the user;
The event detection method according to claim 1.
前記画像データの前記イベント検出結果を取得した後、前記イベント検出結果に異常状態にある検出対象イベントが存在するか否かを決定するステップと、
前記イベント検出結果に前記異常状態にある検出対象イベントが存在すると決定された場合、アラーム情報を発行するステップと、をさらに含む、
請求項1に記載のイベント検出方法。
determining, after obtaining the event detection result of the image data, whether or not the event detection result includes a detection target event in an abnormal state;
and issuing alarm information when it is determined that the detection target event in the abnormal state exists in the event detection result.
The event detection method according to claim 1.
イベント検出装置であって、
画像データを取得し、前記画像データの都市シーンを認識する取得ユニットと、
前記都市シーンに対応する検出対象ターゲットと検出対象イベントとを決定する決定ユニットと、
前記画像データにおける検出対象ターゲットを検出して、前記検出対象イベントの検出状態を取得する検出ユニットと、
前記検出対象イベントの検出状態に基づいて、前記画像データのイベント検出結果を取得する処理ユニットと、を含む、
イベント検出装置。
An event detection device,
an acquisition unit for acquiring image data and recognizing an urban scene in said image data;
a determining unit for determining detectable targets and detectable events corresponding to the urban scene;
a detection unit that detects a detection target in the image data and acquires a detection state of the detection target event;
a processing unit that obtains an event detection result of the image data based on the detection state of the detection target event;
Event detector.
前記取得ユニットは、前記画像データを取得するとき、
都市のビデオストリームデータを取得し、
前記ビデオストリームデータから少なくとも1つのキーフレーム画像を前記画像データとして抽出する、
請求項7に記載のイベント検出装置。
When the acquisition unit acquires the image data,
Get city video stream data,
extracting at least one keyframe image from the video stream data as the image data;
The event detection device according to claim 7.
前記決定ユニットは、前記都市シーンに対応する前記検出対象ターゲットと前記検出対象イベントとを決定するとき、
予め設定された対応関係に基づいて、前記都市シーンに対応する検出対象ターゲットと検出対象イベントとを決定する、
請求項7に記載のイベント検出装置。
When the determining unit determines the detectable target and the detectable event corresponding to the urban scene,
determining a target to be detected and an event to be detected corresponding to the city scene based on a preset correspondence relationship;
The event detection device according to claim 7.
前記検出ユニットは、前記画像データにおける前記検出対象ターゲットを検出して、前記検出対象イベントの検出状態を取得するとき、
前記画像データと前記検出対象ターゲットとを第2の認識モデルに入力し、前記第2の認識モデルの出力結果に基づいて前記検出対象イベントの検出状態を取得する、
請求項7に記載のイベント検出装置。
When the detection unit detects the detection target in the image data and acquires the detection state of the detection target event,
inputting the image data and the detection target to a second recognition model, and acquiring the detection state of the detection target event based on the output result of the second recognition model;
The event detection device according to claim 7.
前記処理ユニットは、前記検出対象イベントの検出状態に基づいて、前記画像データのイベント検出結果を取得するとき、
前記画像データと前記検出対象イベントのイベント状態とをユーザに送信し、
前記ユーザから返された確認結果に基づいて、前記画像データの前記イベント検出結果を取得する、
請求項7に記載のイベント検出装置。
When the processing unit acquires an event detection result of the image data based on the detection state of the detection target event,
transmitting the image data and the event state of the detection target event to a user;
obtaining the event detection result for the image data based on confirmation results returned from the user;
The event detection device according to claim 7.
アラームユニットをさらに含み、
前記アラームユニットは、
在前記処理ユニットが前記画像データのイベント検出結果を取得した後、前記イベント検出結果に異常状態にある検出対象イベントが存在するか否かを決定し、
前記イベント検出結果に前記異常状態にある検出対象イベントが存在すると決定された場合、アラーム情報を発行する、
請求項7に記載のイベント検出装置。
further comprising an alarm unit;
The alarm unit
After the processing unit obtains the event detection result of the image data, it is determined whether the event detection result includes a detection target event in an abnormal state;
issuing alarm information when it is determined that the detection target event in the abnormal state exists in the event detection result;
The event detection device according to claim 7.
電子機器であって、
少なくとも一つのプロセッサと、
前記少なくとも一つのプロセッサに通信接続されたメモリと、を含み、
前記メモリに前記少なくとも一つのプロセッサにより実行可能な命令が記憶されており、前記命令が前記少なくとも一つのプロセッサにより実行されると、前記少なくとも一つのプロセッサが請求項1~6のいずれかの一つに記載のイベント検出方法を実行する、
電子機器。
an electronic device,
at least one processor;
a memory communicatively coupled to the at least one processor;
Instructions executable by the at least one processor are stored in the memory, and when the instructions are executed by the at least one processor, the at least one processor performs the operation of any one of claims 1 to 6. perform the event detection method described in
Electronics.
コンピュータに請求項1~6のいずれかの一つに記載のイベント検出方法を実行させる、コンピュータ命令が記憶されている、非一時的なコンピュータ読み取り可能な記憶媒体。 A non-transitory computer-readable storage medium storing computer instructions for causing a computer to perform the event detection method of any one of claims 1-6. プロセッサによって実行される際に請求項1~6のいずれかの一つに記載の方法を実現する、
コンピュータプログラム。
realizing the method of any one of claims 1 to 6 when executed by a processor,
computer program.
JP2022543087A 2021-04-28 2022-01-29 Event detection method, device, electronic device, readable storage medium, and computer program Pending JP2023527100A (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202110466781.3A CN113205037B (en) 2021-04-28 2021-04-28 Event detection method, event detection device, electronic equipment and readable storage medium
CN202110466781.3 2021-04-28
PCT/CN2022/075019 WO2022227764A1 (en) 2021-04-28 2022-01-29 Event detection method and apparatus, electronic device, and readable storage medium

Publications (1)

Publication Number Publication Date
JP2023527100A true JP2023527100A (en) 2023-06-27

Family

ID=77029196

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022543087A Pending JP2023527100A (en) 2021-04-28 2022-01-29 Event detection method, device, electronic device, readable storage medium, and computer program

Country Status (4)

Country Link
JP (1) JP2023527100A (en)
KR (1) KR20220149508A (en)
CN (1) CN113205037B (en)
WO (1) WO2022227764A1 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205037B (en) * 2021-04-28 2024-01-26 北京百度网讯科技有限公司 Event detection method, event detection device, electronic equipment and readable storage medium
CN114118933A (en) * 2021-08-24 2022-03-01 泰华智慧产业集团股份有限公司 Recording method and system for city management event
CN114332731A (en) * 2021-12-24 2022-04-12 阿波罗智联(北京)科技有限公司 City event identification method and device, automatic driving vehicle and cloud server
CN114445711B (en) * 2022-01-29 2023-04-07 北京百度网讯科技有限公司 Image detection method, image detection device, electronic equipment and storage medium
CN115334250B (en) * 2022-08-09 2024-03-08 阿波罗智能技术(北京)有限公司 Image processing method and device and electronic equipment
CN116035564A (en) * 2022-12-06 2023-05-02 北京顺源辰辰科技发展有限公司 Dysphagia and aspiration intelligent detection method and device and electronic equipment

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679189B (en) * 2012-09-14 2017-02-01 华为技术有限公司 Method and device for recognizing scene
CN105678267A (en) * 2016-01-08 2016-06-15 浙江宇视科技有限公司 Scene recognition method and device
CN110443969B (en) * 2018-05-03 2021-06-04 中移(苏州)软件技术有限公司 Fire detection method and device, electronic equipment and storage medium
CN109815852A (en) * 2019-01-03 2019-05-28 深圳壹账通智能科技有限公司 Smart city event management method, device, computer equipment and storage medium
US10885775B2 (en) * 2019-06-06 2021-01-05 Verizon Patent And Licensing Inc. Monitoring a scene to analyze an event using a plurality of image streams
CN111753634A (en) * 2020-03-30 2020-10-09 上海高德威智能交通系统有限公司 Traffic incident detection method and device
CN112507813A (en) * 2020-11-23 2021-03-16 北京旷视科技有限公司 Event detection method and device, electronic equipment and storage medium
CN113205037B (en) * 2021-04-28 2024-01-26 北京百度网讯科技有限公司 Event detection method, event detection device, electronic equipment and readable storage medium

Also Published As

Publication number Publication date
CN113205037A (en) 2021-08-03
WO2022227764A1 (en) 2022-11-03
CN113205037B (en) 2024-01-26
KR20220149508A (en) 2022-11-08

Similar Documents

Publication Publication Date Title
JP2023527100A (en) Event detection method, device, electronic device, readable storage medium, and computer program
CN113360580B (en) Abnormal event detection method, device, equipment and medium based on knowledge graph
US20210312799A1 (en) Detecting traffic anomaly event
JP7164644B2 (en) Mobile traffic light detection method, device, electronic device and storage medium
CN112132032A (en) Traffic sign detection method and device, electronic equipment and storage medium
WO2023273344A1 (en) Vehicle line crossing recognition method and apparatus, electronic device, and storage medium
US11443621B2 (en) Method and apparatus for adjusting channelization of traffic intersection
JP6987209B2 (en) Duplicate document detection method and system using document similarity measurement model based on deep learning
WO2024098699A1 (en) Entity object thread detection method and apparatus, device, and storage medium
CN111178323A (en) Video-based group behavior identification method, device, equipment and storage medium
JP2023038164A (en) Obstacle detection method, device, automatic driving vehicle, apparatus, and storage medium
WO2022222445A1 (en) Event detection output method, event policy determination method and apparatus, electronic device, and computer-readable storage medium
CN116030370A (en) Behavior recognition method and device based on multi-target tracking and electronic equipment
JP2022040063A (en) Method and apparatus for extracting spatial relationship between geographic location points
CN113011298A (en) Truncated object sample generation method, target detection method, road side equipment and cloud control platform
CN113076358A (en) Report generation method, device, equipment and storage medium
CN116824455A (en) Event detection method, device, equipment and storage medium
CN111552829A (en) Method and apparatus for analyzing image material
CN104158696A (en) Determination method and device for measuring delayed operation time and terminal
EP3842753A2 (en) Method and apparatus for positioning vehicle, vehicle, storage medium, and computer program product
CN111783591B (en) Abnormality detection method, abnormality detection device, abnormality detection apparatus, and recording medium
KR20210125447A (en) Vehicle association method, device, roadside equipment and cloud control platform
CN110505247A (en) Attack detection method, device, electronic equipment and storage medium
CN110365995A (en) The stream media service method and system of augmented reality label are merged in video
CN113806361B (en) Method, device and storage medium for associating electronic monitoring equipment with road

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230822

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240312