CN116416569A - 行为识别方法、装置、计算机设备和存储介质 - Google Patents

行为识别方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN116416569A
CN116416569A CN202310143163.4A CN202310143163A CN116416569A CN 116416569 A CN116416569 A CN 116416569A CN 202310143163 A CN202310143163 A CN 202310143163A CN 116416569 A CN116416569 A CN 116416569A
Authority
CN
China
Prior art keywords
personnel
target
image
monitoring
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310143163.4A
Other languages
English (en)
Inventor
宋宇诚
高伟
杜媛媛
姚冕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202310143163.4A priority Critical patent/CN116416569A/zh
Publication of CN116416569A publication Critical patent/CN116416569A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种行为识别方法、装置、计算机设备和存储介质，涉及人工智能技术领域。该方法包括：从拍摄有目标设备的监控区域的监控图像中，获取目标设备对应的设备区域图像，以及从监控图像中，获取监控区域包含人员的人员区域图像；根据人员区域图像中人员特征信息，与标准特征信息之间的相似程度，从人员区域图像中，获取目标人员的目标人员区域图像；标准特征信息为目标人员的人员特征信息，目标人员为监控区域中包含的预设类型人员；基于目标人员区域图像中的目标人员，与设备区域图像中目标设备之间的距离，得到目标人员针对预设行为的识别结果。采用本方法能够提高人员行为识别的准确率。

Description

行为识别方法、装置、计算机设备和存储介质
技术领域
本申请涉及人工智能技术领域，特别是涉及一种行为识别方法、装置、计算机设备和存储介质。
背景技术
在用户与设备交互的场景中，设备能够为用户办理用户需要的业务，对于设备的使用，通常会在设备区域配置有专业工作人员，来指引用户完成设备的使用。
对于某些用户业务，专业工作人员只能指引用户使用设备，而不能代替用户完成业务，为了规范专业工作人员的行为，通常需要对专业工作人员的操作行为进行监控，通过设备区域中设置的监控摄像头，拍摄出监控录像，再利用人工筛查的方式，来检测出存在违规行为的专业工作人员。
然而，现有的通过人工筛查识别违规行为的方式，通常需要投入大量人力资源来实现，并且，由于拍摄得到的监控录像内容较多，通过人工筛查的方式识别代客操作行为也可能会出现即使拍到了工作人员的代客操作行为，但却没有被人工识别到的情形，因此，现有识别违规类型的预设行为的方式，识别准确率较低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高代客行为识别准确率的行为识别方法、装置、计算机设备和存储介质。
第一方面，本申请提供了一种行为识别方法，该方法包括：
从拍摄有目标设备的监控区域的监控图像中，获取目标设备对应的设备区域图像，以及从监控图像中，获取监控区域包含人员的人员区域图像；
根据人员区域图像中人员特征信息，与标准特征信息之间的相似程度，从人员区域图像中，获取目标人员的目标人员区域图像；标准特征信息为目标人员的人员特征信息，目标人员为监控区域中包含的预设类型人员；
基于目标人员区域图像中的目标人员，与设备区域图像中目标设备之间的距离，得到目标人员针对预设行为的识别结果。
在其中一个实施例中，得到目标人员针对预设行为的识别结果之后，包括：
若识别结果为目标人员存在预设行为，则生成警报信息；
将目标人员对应的监控区域，以及警报信息发送到目标终端；目标终端用于指示目标人员存在预设行为。
在其中一个实施例中，从人员区域图像中，获取目标人员的目标人员区域图像，包括：
将相似程度与预设的相似程度阈值进行比较，得到针对人员区域图像的评价结果；
在评价结果满足预设条件的情况下，将人员区域图像作为目标人员区域图像。
在其中一个实施例中，基于目标人员区域图像中的目标人员，与设备区域图像中目标设备之间的距离，得到目标人员针对预设行为的识别结果之前，包括：
基于目标人员区域图像，获取目标人员的目标身体部位的第一位置信息；
基于设备区域图像，获取目标设备的第二位置信息；
根据第一位置信息和第二位置信息，确定距离。
在其中一个实施例中，基于目标人员区域图像中的目标人员，与设备区域图像中目标设备之间的距离，得到目标人员针对预设行为的识别结果，包括：
将距离与预设的距离阈值进行比较，若距离小于距离阈值，则确认目标人员存在预设行为。
在其中一个实施例中，获取监控区域包含人员的人员区域图像，包括：
将监控图像输入至预先训练的人员检测模型，通过人员检测模型，获取人物特征；
基于人物特征，从监控图像中识别人员图像；
对监控图像包含的人员图像进行裁剪，得到人员区域图像。
在其中一个实施例中，获取目标设备对应的设备区域图像，包括：
将监控图像输入至预先训练的设备检测模型，通过设备检测模型，获取设备特征；
基于设备特征，从监控图像中获取设备区域图像。
第二方面，本申请还提供了一种行为识别装置，该装置包括：
区域图像获取模块，用于从拍摄有目标设备的监控区域的监控图像中，获取目标设备对应的设备区域图像，以及从监控图像中，获取监控区域包含人员的人员区域图像；
目标图像获取模块，用于根据人员区域图像中人员特征信息，与标准特征信息之间的相似程度，从人员区域图像中，获取目标人员的目标人员区域图像；标准特征信息为目标人员的人员特征信息，目标人员为监控区域中包含的预设类型人员；
识别结果获取模块，用于基于目标人员区域图像中的目标人员，与设备区域图像中目标设备之间的距离，得到目标人员针对预设行为的识别结果。
第三方面，本申请还提供了一种计算机设备。该计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述的方法的步骤。
第四方面，本申请还提供了一种计算机可读存储介质。该计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法的步骤。
上述行为识别方法、装置、计算机设备和存储介质，从拍摄有目标设备的监控区域的监控图像中，获取目标设备对应的设备区域图像，以及从监控图像中，获取监控区域包含人员的人员区域图像；根据人员区域图像中人员特征信息，与标准特征信息之间的相似程度，从人员区域图像中，获取目标人员的目标人员区域图像；标准特征信息为目标人员的人员特征信息，目标人员为监控区域中包含的预设类型人员；基于目标人员区域图像中的目标人员，与设备区域图像中目标设备之间的距离，得到目标人员针对预设行为的识别结果。通过根据人员特征信息，与标准特征信息之间的相似程度，从人员区域图像中，获取目标人员的目标人员区域图像，能够提高目标人员识别的准确率。进一步通过目标人员与设备区域图像中目标设备之间的距离，判断目标人员是否进行预设行为，从而能够提高人员行为识别的准确率。
附图说明
图1为一个实施例中行为识别方法的应用环境图；
图2为一个实施例中行为识别方法的流程示意图；
图3为另一个实施例中行为识别方法的流程示意图；
图4为一个实施例中获取监控区域包含人员的人员区域图像步骤的流程示意图；
图5为一个实施例中行为识别装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的行为识别方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。数据存储系统可以存储监控图像和标准特征信息。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种行为识别方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：
S202，从拍摄有目标设备的监控区域的监控图像中，获取目标设备对应的设备区域图像，以及从监控图像中，获取监控区域包含人员的人员区域图像。
其中，目标设备可以是为人员提供业务办理的设备。目标设备可以是人员进行行为交互的对象设备，例如可以是柜员机。监控区域可以是目标设备所在的区域，监控图像可以是针对监控区域进行拍摄的图像。设备区域图像可以是针对目标设备进行拍摄的图像。人员区域图像可以是拍摄有人员的图像。
示例性地，可以获取摄像设备上传的，针对监控区域拍摄的监控图像。监控图像中包含有目标设备，可以基于目标设备的设备特征，从监控图像中提取拍摄有目标设备的设备区域图像，以及基于人物特征，从监控图像中提取拍摄有人员的人员区域图像。
可选地，监控区域可以设置有多个用于监控该监控区域的监控摄像头，同时不同监控摄像头可以用于监控不同的监控区域，通过采集不同监控摄像头拍摄得到的针对监控区域的监控图像，从而得到不同监控区域的监控图像。可以通过人员检测算法，识别出监控图像中包含的人员区域图像
作为一个示例，可以将监控图像输入至预先训练的设备检测模型，通过设备检测模型提取出设备特征，例如智能设备触摸屏特征，设备检测模型输出设备区域图像中包含的智能设备触摸屏所在位置。可以将监控图像输入至预先训练的人员检测模型，通过人员检测模型提取出人物特征，人员检测模型输出监控图像中包含的人员图像区域矩形框，并对监控图像中的人员图像区域矩形框进行裁剪，来得到人员区域图像。
S204，根据人员区域图像中人员特征信息，与标准特征信息之间的相似程度，从人员区域图像中，获取目标人员的目标人员区域图像；标准特征信息为目标人员的人员特征信息，目标人员为监控区域中包含的预设类型人员。
其中，人员特征信息可以是用于表征人员形象的特征信息，例如可以是着装特征。标准特征信息可以是针对目标人员的特征信息，例如可以是目标人员的标准着装特征。目标人员可以是监控区域的工作人员，可以是非业务办理人员。目标人员区域图像指的是包含针对目标人员的人员区域图像。
示例性地，可以对人员区域图像中拍摄的人员的特征信息进行提取，得到每一个人员的特征信息。可以基于上述特征信息，来对比标准特征信息，通过比对人员特征信息与标准特征信息的相似度，来对人员区域图像中拍摄的人员形象进行评分，如果评分满足某个评分标准，则认为该人员区域图像属于拍摄有目标人员的目标人员区域图像。
S206，基于目标人员区域图像中的目标人员，与设备区域图像中目标设备之间的距离，得到目标人员针对预设行为的识别结果。
其中，预设行为可以是违规行为，例如可以是工作人员的代客行为。
示例性地，可以在得到多帧目标人员区域图像后，利用人员动作检测算法来识别目标人员区域图像中拍摄的目标人员是否存在预设行为。例如，可以通过人员动作检测算法获取标人员区域图像中目标人员的手部位置，并根据手部位置与设备触摸屏所在位置，来确定目标人员手部与触摸屏之间的距离。如果距离满足目标人员手部触碰至触摸屏，则确定目标人员存在预设行为。
可选地，在检测到目标人员存在预设行为后，则可以进一步判断出拍摄有该目标人员进行预设行为的目标人员区域图像的监控摄像头，从而进一步基于监控摄像头确定出对应的监控区域。之后，还可以将预设行为的报警信息以及监控区域信息发送至对应监控区域的上级主管的手机终端，以提醒该监控区域的上级主管对目标人员的预设行为进行处理。
本实施例中，从拍摄有目标设备的监控区域的监控图像中，获取目标设备对应的设备区域图像，以及从监控图像中，获取监控区域包含人员的人员区域图像；根据人员区域图像中人员特征信息，与标准特征信息之间的相似程度，从人员区域图像中，获取目标人员的目标人员区域图像；标准特征信息为目标人员的人员特征信息，目标人员为监控区域中包含的预设类型人员；基于目标人员区域图像中的目标人员，与设备区域图像中目标设备之间的距离，得到目标人员针对预设行为的识别结果。通过根据人员特征信息，与标准特征信息之间的相似程度，从人员区域图像中，获取目标人员的目标人员区域图像，能够提高目标人员识别的准确率。进一步通过目标人员与设备区域图像中目标设备之间的距离，判断目标人员是否进行预设行为，从而能够提高人员行为识别的准确率。同时，可以将预设行为的报警信息以及监控区域信息进行上报，能够提高针对发生预设行为进行处理的及时性，可以减少违规行为的发生。
在一个实施例中，得到目标人员针对预设行为的识别结果之后，包括：
若识别结果为目标人员存在预设行为，则生成警报信息；
将目标人员对应的监控区域，以及警报信息发送到目标终端；目标终端用于指示目标人员存在预设行为。
其中，警报信息可以是针对预设行为的警告信息，例如可以是违规行为的警报信息，可以是工作人员发生代客行为后，生成的针对该工作人员的代客行为的警报信息。目标终端可以是针对目标人员的上级主管人员的终端。
示例性地，如果设备到目标人员存在违规行为，则可以生成针对该目标人员违规行为的警报信息，并获取违规行为的的目标人员区域图像对应的摄像设备信息，进一步可以基于摄像设备信息确定出对应的目标监控区域。可以将目标人员违规行为的警报信息以及目标监控区域发送至对应监控区域的上级主管的终端，终端可以用于提示该上级主管对目标人员违规行为进行处理。
本实施例中，将预设行为的警报信息以及监控区域信息进行上报，提高违规行为信息传输的实时性，能够提高针对发生预设行为进行处理的及时性，可以减少违规行为的发生。
在一个实施例中，从人员区域图像中，获取目标人员的目标人员区域图像，包括：
将相似程度与预设的相似程度阈值进行比较，得到针对人员区域图像的评价结果；
在评价结果满足预设条件的情况下，将人员区域图像作为目标人员区域图像。
示例性地，相似程度阈值可以是预设的阈值，可以根据与相似程度阈值的比较结果，对人员区域图像进行评价，得到针对人员区域图像的评价结果，例如，可以是针对人员区域图像的评分。预设条件可以是评分标准，在人员区域图像的评分达到预设的评分标准的情况下，可以将该人员区域图像作为目标人员区域图像。可选地，可以将人员区域图像确认为拍摄有工作人员的区域图像。
本实施例中，通过将相似程度与相似程度阈值进行比较，得到评价结果，并在评价结果满足预设条件的情况下，将将员区域图像作为目标人员区域图像，从而可以提高获取目标人员的目标人员区域图像的准确性，进而能够提高人员行为识别的准确性。
在一个实施例中，如图3所示，基于目标人员区域图像中的目标人员，与设备区域图像中目标设备之间的距离，得到目标人员针对预设行为的识别结果之前，包括：
S302，基于目标人员区域图像，获取目标人员的目标身体部位的第一位置信息；
S304，基于设备区域图像，获取目标设备的第二位置信息；
S306，根据第一位置信息和第二位置信息，确定距离。
其中，目标身体部位可以是目标人员的任一身体部位，例如，可以是手、脚、头部等。第一位置信息指的是目标身体部位所在的位置信息。目标设备可以人员进行业务办理的设备。第二位置信息指的是目标设备所在的位置信息，例如可以是目标设备的触摸屏所在的位置信息。距离可以是目标人员的目标身体部位和目标设备之间的距离。
示例性地，可以通过人员检测算法，获取目标人员区域图像中包含的目标人员的手部位置所在的第一位置信息。并可以通过设备检测模型，获取设备区域图像中目标设备的触摸屏所在的第二位置信息。根据第一位置信息和第二位置信息，确定目标人员的手部和目标设备的触摸屏的距离。进一步地，可以根据目标人员的手部和目标设备的触摸屏的距离，确定目标人员是否存在预设行为，例如，可以根据目标人员的手部和目标设备的触摸屏的距离，判断目标人员是否存在代客行为。
本实施例中，基于目标人员区域图像，获取目标人员的目标身体部位的第一位置信息；基于设备区域图像，获取目标设备的第二位置信息；根据第一位置信息和第二位置信息，确定距离。可以进一步判断目标人员是否存在预设行为，从而能够提高人员行为识别的准确性。
在一个实施例中，基于目标人员区域图像中的目标人员，与设备区域图像中目标设备之间的距离，得到目标人员针对预设行为的识别结果，包括：
将距离与预设的距离阈值进行比较，若距离小于距离阈值，则确认目标人员存在预设行为。
其中，距离阈值可以是预设设置的阈值，可以是阈值范围。
示例性地，将距离与预设的距离阈值进行比较，得到距离与预设的距离阈值的比较结果，如果比较结果是距离小于距离阈值，则可以确定目标人员存在预设行为，例如，可以确定工作人员存在代客行为。进一步可以通过警告提醒工作人员停止代客行为。可选地，可以是距离在距离阈值范围内，确认目标人员存在预设行为。
本实施例中，将距离与预设的距离阈值进行比较，若距离小于距离阈值，则确认目标人员存在预设行为，能够提高针对目标人员是否进行预设行为的判断准确性，从而能够提高人员行为识别的准确性。
在一个实施例中，如图4所示，获取监控区域包含人员的人员区域图像，包括：
S402，将监控图像输入至预先训练的人员检测模型，通过人员检测模型，获取人物特征；
S404，基于人物特征，从监控图像中识别人员图像；
S406，对监控图像包含的人员图像进行裁剪，得到人员区域图像。
其中，人员检测模型可以是进行人员检测的模型，能够检测出监控图像中的人员区域图像。人物特征指的是用于表征人员的特征，能够将人员区分出来的特征。
示例性地，将监控图像输入至预先训练的人员检测模型，通过人员检测模型提取出人物特征，人员检测模型输出监控图像中包含的人员图像区域矩形框，并对监控图像中的人员图像区域矩形框进行裁剪，来得到人员区域图像。
本实施例中，通过人员检测模型，获取人物特征；基于人物特征，从监控图像中识别人员图像；对监控图像包含的人员图像进行裁剪，得到人员区域图像。如此，通过人员检测模型来获取员区域图像，能够提高获取人员区域图像的准确性，从而进一步能够提高人员行为识别的准确性。
在一个实施例中，获取目标设备对应的设备区域图像，包括：
将监控图像输入至预先训练的设备检测模型，通过设备检测模型，获取设备特征；
基于设备特征，从监控图像中获取设备区域图像。
其中，设备检测模型可以是对预设类型的目标设备的图像进行检测提取的模型。设备特征可以是用于表征预设类型的设备的特征，基于该设备特征，能够识别出设备为目标类型的设备。
示例性地，将监控图像输入至预先训练的设备检测模型，通过设备检测模型，提取出设备特征，例如智能设备触摸屏特征，设备检测模型从监控图像中获取设备区域图像，并输出设备区域图像中包含的智能设备触摸屏所在位置。
本实施例中，通过设备检测模型，获取设备特征；基于设备特征，从监控图像中获取设备区域图像。如此，能够提高获取设备区域图像准确性，从而能够进一步提高人员行为识别的准确性。
在一个实施例中，采集不同监控区域的监控图像。监控区域中设置有多个用于监控的监控摄像头，同时不同监控摄像头可以用于监控不同的监控区域，通过采集不同监控摄像头拍摄得到的监控图像，从而得到不同监控区域的监控图像。将得到的监控图像输入至预先训练的设备检测模型，通过设备检测模型提取出设备特征，例如智能设备触摸屏特征，输出设备图像中包含的智能设备触摸屏所在位置。将得到的监控图像输入至预先训练的人员检测模型，通过人员检测模型提取出人物特征，输出监控图像中包含的人员图像区域矩形框，并对监控图像中的人员图像区域矩形框进行裁剪，来得到人员区域图像。由于监控中除了包含有监控区域的工作人员，还包含有在监控区域中的非工作人员，因此在得到人员区域图像后，还需要从人员区域图像中，筛选出拍摄的是工作人员的员工区域图像。具体是通过人员形象相似度算法，该算法可以通过对员工区域图像中拍摄的人物的着装进行特征提取，来得到每一个人员的着装特征。之后，则可以基于上述着装特征，来比对工作人员的标准着装特征，例如：领带、衬衫、工牌、西裤、皮鞋，通过比对着装特征与标准着装特征的相似度，来对得到的人员区域图像中拍摄的人员形象进行评分，如果评分满足某个评分标准，则认为该人员区域图像属于拍摄有银行工作人员的员工区域图像。在得到多帧员工区域图像后，则可以利用人员动作检测算法来识别员工区域图像中拍摄的银行工作人员是否存在代客操作的行为，通过人员动作检测算法获取员工区域图像中员工的手部位置，并根据手部位置与智能设备触摸屏的位置，来确定员工手部与触摸屏之间的距离。如果距离满足员工手部触碰至触摸屏，则确定工作人员存在代客操作行为。在检测到人员存在代客操作行为后，则可以进一步判断出拍摄有该人员代客操作行为的员工区域图像的监控摄像头，从而进一步基于监控摄像头确定出对应的银行网点区域。之后，还可以将代客操作报警信息以及监控区域信息发送至对应监控区域的上级主管的手机终端，以提醒该监控区域的上级主管对代客操作行为进行处理。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的行为识别方法的行为识别装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个行为识别装置实施例中的具体限定可以参见上文中对于行为识别方法的限定，在此不再赘述。
在一个实施例中，如图5所示，提供了一种行为识别装置，包括：区域图像获取模块510、目标图像获取模块520和识别结果获取模块530，其中：
区域图像获取模块510，用于从拍摄有目标设备的监控区域的监控图像中，获取目标设备对应的设备区域图像，以及从监控图像中，获取监控区域包含人员的人员区域图像。
目标图像获取模块520，用于根据人员区域图像中人员特征信息，与标准特征信息之间的相似程度，从人员区域图像中，获取目标人员的目标人员区域图像；标准特征信息为目标人员的人员特征信息，目标人员为监控区域中包含的预设类型人员。
识别结果获取模块530，用于基于目标人员区域图像中的目标人员，与设备区域图像中目标设备之间的距离，得到目标人员针对预设行为的识别结果。
本实施例中，从拍摄有目标设备的监控区域的监控图像中，获取目标设备对应的设备区域图像，以及从监控图像中，获取监控区域包含人员的人员区域图像；根据人员区域图像中人员特征信息，与标准特征信息之间的相似程度，从人员区域图像中，获取目标人员的目标人员区域图像；标准特征信息为目标人员的人员特征信息，目标人员为监控区域中包含的预设类型人员；基于目标人员区域图像中的目标人员，与设备区域图像中目标设备之间的距离，得到目标人员针对预设行为的识别结果。通过根据人员特征信息，与标准特征信息之间的相似程度，从人员区域图像中，获取目标人员的目标人员区域图像，能够提高目标人员识别的准确率。进一步通过目标人员与设备区域图像中目标设备之间的距离，判断目标人员是否进行预设行为，从而能够提高人员行为识别的准确率。同时，可以将预设行为的报警信息以及监控区域信息进行上报，能够提高针对发生预设行为进行处理的及时性，可以减少违规行为的发生。
在一个实施例中，该装置还包括警报信息生成模块和警报信息发送模块。
警报信息生成模块用于若识别结果为目标人员存在预设行为，则生成警报信息；警报信息发送模块用于将目标人员对应的监控区域，以及警报信息发送到目标终端；目标终端用于指示目标人员存在预设行为。
在一个实施例中，目标图像获取模块包括比较单元和目标人员区域图像单元。
比较单元用于将相似程度与预设的相似程度阈值进行比较，得到针对人员区域图像的评价结果；目标人员区域图像单元用于在评价结果满足预设条件的情况下，将人员区域图像作为目标人员区域图像。
在一个实施例中，该装置还包括第一位置信息模块、第二位置信息模块和距离确定模块。
第一位置信息模块用于基于目标人员区域图像，获取目标人员的目标身体部位的第一位置信息；第二位置信息模块用于基于设备区域图像，获取目标设备的第二位置信息；距离确定模块根据第一位置信息和第二位置信息，确定距离。
在一个实施例中，识别结果获取模块用于将距离与预设的距离阈值进行比较，若距离小于距离阈值，则确认目标人员存在预设行为。
在一个实施例中，区域图像获取模块包括人物特征获取单元、人员图像识别单元和裁剪单元。
人物特征获取单元用于将监控图像输入至预先训练的人员检测模型，通过人员检测模型，获取人物特征；人员图像识别单元用于基于人物特征，从监控图像中识别人员图像；裁剪单元用于对监控图像包含的人员图像进行裁剪，得到人员区域图像。
在一个实施例中，区域图像获取模块包括设备特征获取单元和设备区域图像单元。
设备特征获取单元用于将监控图像输入至预先训练的设备检测模型，通过设备检测模型，获取设备特征；设备区域图像单元用于基于设备特征，从监控图像中获取设备区域图像。
上述行为识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储监控图像、标准特征信息数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种行为识别方法。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
从拍摄有目标设备的监控区域的监控图像中，获取目标设备对应的设备区域图像，以及从监控图像中，获取监控区域包含人员的人员区域图像；
根据人员区域图像中人员特征信息，与标准特征信息之间的相似程度，从人员区域图像中，获取目标人员的目标人员区域图像；标准特征信息为目标人员的人员特征信息，目标人员为监控区域中包含的预设类型人员；
基于目标人员区域图像中的目标人员，与设备区域图像中目标设备之间的距离，得到目标人员针对预设行为的识别结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：若识别结果为目标人员存在预设行为，则生成警报信息；将目标人员对应的监控区域，以及警报信息发送到目标终端；目标终端用于指示目标人员存在预设行为。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将相似程度与预设的相似程度阈值进行比较，得到针对人员区域图像的评价结果；在评价结果满足预设条件的情况下，将人员区域图像作为目标人员区域图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：基于目标人员区域图像，获取目标人员的目标身体部位的第一位置信息；基于设备区域图像，获取目标设备的第二位置信息；根据第一位置信息和第二位置信息，确定距离。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将距离与预设的距离阈值进行比较，若距离小于距离阈值，则确认目标人员存在预设行为。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将监控图像输入至预先训练的人员检测模型，通过人员检测模型，获取人物特征；基于人物特征，从监控图像中识别人员图像；对监控图像包含的人员图像进行裁剪，得到人员区域图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将监控图像输入至预先训练的设备检测模型，通过设备检测模型，获取设备特征；基于设备特征，从监控图像中获取设备区域图像。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
从拍摄有目标设备的监控区域的监控图像中，获取目标设备对应的设备区域图像，以及从监控图像中，获取监控区域包含人员的人员区域图像；
根据人员区域图像中人员特征信息，与标准特征信息之间的相似程度，从人员区域图像中，获取目标人员的目标人员区域图像；标准特征信息为目标人员的人员特征信息，目标人员为监控区域中包含的预设类型人员；
基于目标人员区域图像中的目标人员，与设备区域图像中目标设备之间的距离，得到目标人员针对预设行为的识别结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：若识别结果为目标人员存在预设行为，则生成警报信息；将目标人员对应的监控区域，以及警报信息发送到目标终端；目标终端用于指示目标人员存在预设行为。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将相似程度与预设的相似程度阈值进行比较，得到针对人员区域图像的评价结果；在评价结果满足预设条件的情况下，将人员区域图像作为目标人员区域图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：基于目标人员区域图像，获取目标人员的目标身体部位的第一位置信息；基于设备区域图像，获取目标设备的第二位置信息；根据第一位置信息和第二位置信息，确定距离。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将距离与预设的距离阈值进行比较，若距离小于距离阈值，则确认目标人员存在预设行为。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将监控图像输入至预先训练的人员检测模型，通过人员检测模型，获取人物特征；基于人物特征，从监控图像中识别人员图像；对监控图像包含的人员图像进行裁剪，得到人员区域图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将监控图像输入至预先训练的设备检测模型，通过设备检测模型，获取设备特征；基于设备特征，从监控图像中获取设备区域图像。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
从拍摄有目标设备的监控区域的监控图像中，获取目标设备对应的设备区域图像，以及从监控图像中，获取监控区域包含人员的人员区域图像；
根据人员区域图像中人员特征信息，与标准特征信息之间的相似程度，从人员区域图像中，获取目标人员的目标人员区域图像；标准特征信息为目标人员的人员特征信息，目标人员为监控区域中包含的预设类型人员；
基于目标人员区域图像中的目标人员，与设备区域图像中目标设备之间的距离，得到目标人员针对预设行为的识别结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：若识别结果为目标人员存在预设行为，则生成警报信息；将目标人员对应的监控区域，以及警报信息发送到目标终端；目标终端用于指示目标人员存在预设行为。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将相似程度与预设的相似程度阈值进行比较，得到针对人员区域图像的评价结果；在评价结果满足预设条件的情况下，将人员区域图像作为目标人员区域图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：基于目标人员区域图像，获取目标人员的目标身体部位的第一位置信息；基于设备区域图像，获取目标设备的第二位置信息；根据第一位置信息和第二位置信息，确定距离。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将距离与预设的距离阈值进行比较，若距离小于距离阈值，则确认目标人员存在预设行为。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将监控图像输入至预先训练的人员检测模型，通过人员检测模型，获取人物特征；基于人物特征，从监控图像中识别人员图像；对监控图像包含的人员图像进行裁剪，得到人员区域图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将监控图像输入至预先训练的设备检测模型，通过设备检测模型，获取设备特征；基于设备特征，从监控图像中获取设备区域图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种行为识别方法，其特征在于，所述方法包括：
从拍摄有目标设备的监控区域的监控图像中，获取所述目标设备对应的设备区域图像，以及从所述监控图像中，获取所述监控区域包含人员的人员区域图像；
根据所述人员区域图像中人员特征信息，与标准特征信息之间的相似程度，从所述人员区域图像中，获取目标人员的目标人员区域图像；所述标准特征信息为所述目标人员的人员特征信息，所述目标人员为所述监控区域中包含的预设类型人员；
基于所述目标人员区域图像中的所述目标人员，与所述设备区域图像中目标设备之间的距离，得到所述目标人员针对预设行为的识别结果。
2.根据权利要求1所述的方法，其特征在于，所述得到所述目标人员针对预设行为的识别结果之后，包括：
若所述识别结果为所述目标人员存在所述预设行为，则生成警报信息；
将所述目标人员对应的监控区域，以及所述警报信息发送到目标终端；所述目标终端用于指示所述目标人员存在所述预设行为。
3.根据权利要求1所述的方法，其特征在于，所述从所述人员区域图像中，获取目标人员的目标人员区域图像，包括：
将所述相似程度与预设的相似程度阈值进行比较，得到针对所述人员区域图像的评价结果；
在所述评价结果满足预设条件的情况下，将所述人员区域图像作为所述目标人员区域图像。
4.根据权利要求1所述的方法，其特征在于，所述基于所述目标人员区域图像中的所述目标人员，与所述设备区域图像中目标设备之间的距离，得到所述目标人员针对预设行为的识别结果之前，包括：
基于所述目标人员区域图像，获取目标人员的目标身体部位的第一位置信息；
基于所述设备区域图像，获取所述目标设备的第二位置信息；
根据所述第一位置信息和所述第二位置信息，确定所述距离。
5.根据权利要求4所述的方法，其特征在于，所述基于所述目标人员区域图像中的所述目标人员，与所述设备区域图像中目标设备之间的距离，得到所述目标人员针对预设行为的识别结果，包括：
将所述距离与预设的距离阈值进行比较，若所述距离小于所述距离阈值，则确认所述目标人员存在所述预设行为。
6.根据权利要求1所述的方法，其特征在于，所述获取所述监控区域包含人员的人员区域图像，包括：
将所述监控图像输入至预先训练的人员检测模型，通过所述人员检测模型，获取人物特征；
基于所述人物特征，从所述监控图像中识别人员图像；
对所述监控图像包含的人员图像进行裁剪，得到所述人员区域图像。
7.根据权利要求1所述的方法，其特征在于，获取所述目标设备对应的设备区域图像，包括：
将所述监控图像输入至预先训练的设备检测模型，通过所述设备检测模型，获取设备特征；
基于所述设备特征，从所述监控图像中获取所述设备区域图像。
8.一种行为识别装置，其特征在于，所述装置包括：
区域图像获取模块，用于从拍摄有目标设备的监控区域的监控图像中，获取所述目标设备对应的设备区域图像，以及从所述监控图像中，获取所述监控区域包含人员的人员区域图像；
目标图像获取模块，用于根据所述人员区域图像中人员特征信息，与标准特征信息之间的相似程度，从所述人员区域图像中，获取目标人员的目标人员区域图像；所述标准特征信息为所述目标人员的人员特征信息，所述目标人员为所述监控区域中包含的预设类型人员；
识别结果获取模块，用于基于所述目标人员区域图像中的所述目标人员，与所述设备区域图像中目标设备之间的距离，得到所述目标人员针对预设行为的识别结果。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202310143163.4A 2023-02-09 2023-02-09 行为识别方法、装置、计算机设备和存储介质 Pending CN116416569A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310143163.4A CN116416569A (zh) 2023-02-09 2023-02-09 行为识别方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310143163.4A CN116416569A (zh) 2023-02-09 2023-02-09 行为识别方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN116416569A true CN116416569A (zh) 2023-07-11

Family

ID=87058817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310143163.4A Pending CN116416569A (zh) 2023-02-09 2023-02-09 行为识别方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN116416569A (zh)

Similar Documents

Publication Publication Date Title
CN109697416B (zh) 一种视频数据处理方法和相关装置
CN109815845B (zh) 人脸识别的方法和装置、存储介质
WO2021027317A1 (zh) 基于关系网络的属性信息处理方法、装置、计算机设备和存储介质
CN110245132B (zh) 数据异常检测方法、装置、计算机可读存储介质和计算机设备
JP2020515983A (ja) 対象人物の検索方法および装置、機器、プログラム製品ならびに媒体
US11126827B2 (en) Method and system for image identification
CN110245714B (zh) 图像识别方法、装置及电子设备
CN111104841A (zh) 暴力行为检测方法及系统
CN110991231B (zh) 活体检测方法、装置、服务器和人脸识别设备
JP7419080B2 (ja) コンピュータシステムおよびプログラム
CN113139403A (zh) 违规行为识别方法、装置、计算机设备和存储介质
CN112149570B (zh) 多人活体检测方法、装置、电子设备及存储介质
US20230410222A1 (en) Information processing apparatus, control method, and program
CN114693192A (zh) 风控决策方法、装置、计算机设备和存储介质
CN111666915A (zh) 监控方法、装置、设备以及存储介质
CN115545103A (zh) 异常数据识别、标签识别方法和异常数据识别装置
CN113568934B (zh) 一种数据查询方法、装置、电子设备和存储介质
CN110795980A (zh) 基于网络视频的逃犯识别方法、设备、存储介质及装置
CN115223022B (zh) 一种图像处理方法、装置、存储介质及设备
CN116205726A (zh) 一种贷款风险预测方法、装置、电子设备及存储介质
WO2018155594A1 (ja) 情報処理装置、情報処理方法、及びコンピュータ読み取り可能な記録媒体
CN116416569A (zh) 行为识别方法、装置、计算机设备和存储介质
CN112417007A (zh) 一种数据分析方法、装置、电子设备及存储介质
CN111401317A (zh) 视频分类方法、装置、设备及存储介质
CN110717503A (zh) 一种分类方法、装置、电子设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination