CN111814646B - 基于ai视觉的监控方法、装置、设备及介质 - Google Patents
基于ai视觉的监控方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN111814646B CN111814646B CN202010622577.1A CN202010622577A CN111814646B CN 111814646 B CN111814646 B CN 111814646B CN 202010622577 A CN202010622577 A CN 202010622577A CN 111814646 B CN111814646 B CN 111814646B
- Authority
- CN
- China
- Prior art keywords
- target user
- time
- target
- video stream
- gesture detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000001514 detection method Methods 0.000 claims abstract description 112
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 33
- 238000012790 confirmation Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 10
- 238000012806 monitoring device Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 6
- 230000005856 abnormality Effects 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000011897 real-time detection Methods 0.000 abstract description 3
- 238000010276 construction Methods 0.000 abstract 1
- 238000013473 artificial intelligence Methods 0.000 description 42
- 238000004590 computer program Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 7
- 238000007726 management method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000036578 sleeping time Effects 0.000 description 4
- 241001122767 Theaceae Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 230000009545 invasion Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 230000008667 sleep stage Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000005406 washing Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Analysis (AREA)
- Alarm Systems (AREA)
Abstract
本申请涉及人工智能技术领域，提供一种基于AI视觉的监控方法、装置、设备及介质，其方法能够基于当前视频流，采用姿态检测算法对所述目标用户进行姿态检测，得到所述目标用户的姿态检测结果，能够在达到同等甚至更高的准确率的基础上提高检测效率，以实现检测的实时性，识别所述目标用户经过的地点，并确定所述目标用户在各个区域位置停留的时长，实时上报所述目标用户的姿态检测结果及所述目标用户在每个区域位置处停留的时长至指定终端设备，使监护人能够及时获取到被监控者的状况，进而基于AI视觉实现对用户的监控。此外，本发明还可应用于智慧安防，从而推动智慧城市的建设。本发明还涉及区块链技术，姿态检测结果可存储于区块链节点中。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于AI视觉的监控方法、装置、设备及介质。
背景技术
AI（Artificial Intelligence，人工智能）视觉作为近年来非常热门的发展领域，在安防、监控、安检、教育等诸多领域都被广泛应用，目前的AI视觉技术能够对检测目标进行快速地识别、分析，在一定程度上取代人工，减少人力成本，而且在某些方面可能相对人力更有优势，对于一些需要重复判断或者重复操作的任务，如针对独居生活的老人，如果能将AI视觉技术应用于他们的日常生活中以提升他们的生活质量和日常安全防护，对老人本身以及对子女都会很有帮助，AI视觉相对于人工监护更有优势。
但是，对于类似于辅助老人日常等监控，现有技术还只停留在实时监控上，而对于具体的数据分析还无法做到完全自动处理，很多时候还需要人为干预，且目前所采用的分析算法速度也较慢，无法满足实时监控的需求。
发明内容
鉴于以上内容，有必要提供一种基于AI视觉的监控方法、装置、设备及介质，能够基于改进的姿态检测算法在达到同等甚至更高的准确率的基础上进一步提高检测效率，以实现检测的实时性，使监护人能够及时获取到被监控者的状况，进而基于AI视觉实现对用户的监控。
一种基于AI视觉的监控方法，所述基于AI视觉的监控方法包括：
通过至少一个摄像装置实时采集图像，并对采集的图像进行人脸识别；
获取需要监控的目标用户的基准人脸图像，其中，所述目标用户为一个或多个；
将所述采集的图像中识别到的人脸与所述基准人脸图像进行匹配，得到所述目标用户的视频流；
从所述目标用户的视频流中获取当前时间对应的预设时间范围内的当前视频流，并基于所述目标用户的当前视频流，采用姿态检测算法对所述目标用户进行姿态检测，得到所述目标用户的姿态检测结果；
从所述目标用户的视频流中识别所述目标用户经过的地点，并确定所述目标用户在各个区域位置停留的时长；
实时上报所述目标用户的姿态检测结果及所述目标用户在每个区域位置处停留的时长至指定终端设备。
根据本发明优选实施例，所述基于所述目标用户的当前视频流，采用姿态检测算法对所述目标用户进行姿态检测，得到所述目标用户的姿态检测结果包括：
采用改进的姿态检测算法检测所述目标用户的当前视频流中所述目标用户的姿态数据；
将所述目标用户的姿态数据输入至分类器中进行分类，输出所述目标用户的姿态分类结果；
将所述目标用户的姿态分类结果确定为所述目标用户的姿态检测结果。
根据本发明优选实施例，所述采用改进的姿态检测算法检测所述目标用户的当前视频流中所述目标用户的姿态数据包括：
将所述目标用户对应的当前视频流输入至MobileNet的backbone中，输出第一特征数据；
将所述第一特征数据输入至initial stage及refine stage，输出特征图；
将所述特征图输入至1*1卷积层，输出关键点热图以及部分亲和字段作为所述目标用户的姿态数据；
其中，backbone、initial stage及refine stage采用1*1卷积层、第一3*3卷积层以及第二3*3卷积层构成的级联卷积，且所述第二3*3卷积层是卷积核膨胀为2的空洞卷积。
根据本发明优选实施例，所述基于AI视觉的监控方法还包括：
当检测到所述目标用户在第一目标区域内停留的时长大于或者等于第一预设时长时，连接所述目标用户的终端，其中，所述第一目标区域为需要对所述目标用户按照预设规则进行特别监控的区域；
向所述目标用户的终端发送带有震动及提示音的确认请求，及向所述指定终端设备发出第一提示信息，所述第一提示信息用于向所述终端设备的用户提示所述目标用户在第一目标区域内停留的时长大于或者等于所述第一预设时长；
当在第二预设时长后没有收到所述目标用户对所述确认请求的响应时，向所述指定终端设备发出第二提示信息，所述第二提示信息用于向所述终端设备的用户提示所述目标用户在所述第二预设时长内没有对所述确认请求进行响应。
根据本发明优选实施例，所述基于AI视觉的监控方法还包括：
当所述目标用户符合预设条件时，获取所述目标用户离开预设监控范围和进入预设监控范围的时间点信息；
计算离开预设监控范围和进入预设监控范围的时间点的差值时间段；
识别所述差值时间段是否超出预设时间段；
当超出所述预设时间段，发送警报信息至所述指定终端设备。
根据本发明优选实施例，所述基于AI视觉的监控方法还包括：
获取所述目标用户在预设时间段内首次进入第二目标区域和最后一次进入第二目标区域的时间点信息；
计算最后一次进入第二目标区域和首次进入第二目标区域的时间点的差值时间段；
识别所述差值时间段是否低于配置时长；
当低于所述配置时长时，发送提示信息至所述指定终端设备。
根据本发明优选实施例，所述基于AI视觉的监控方法还包括：
在对所述采集的图像进行人脸识别后，得到至少一个目标用户；
将所述至少一个目标用户的人脸图像与配置数据库中的人脸图像进行匹配；
当所述目标用户与所述配置数据库中的人脸图像不匹配时，截取所述目标用户的当前图像，其中，所述当前图像中包括所述当前图像的拍摄时间参数；
向所述指定终端设备发送目标用户异常报警信息。
一种基于AI视觉的监控装置，所述基于AI视觉的监控装置包括：
识别单元，用于通过至少一个摄像装置实时采集图像，并对采集的图像进行人脸识别；
获取单元，用于获取需要监控的目标用户的基准人脸图像，其中，所述目标用户为一个或多个；
匹配单元，用于将所述采集的图像中识别到的人脸与所述基准人脸图像进行匹配，得到所述目标用户的视频流；
检测单元，用于从所述目标用户的视频流中获取当前时间对应的预设时间范围内的当前视频流，并基于所述目标用户的当前视频流，采用姿态检测算法对所述目标用户进行姿态检测，得到所述目标用户的姿态检测结果；
所述识别单元，还用于从所述目标用户的视频流中识别所述目标用户经过的地点，并确定所述目标用户在各个区域位置停留的时长；
上报单元，用于实时上报所述目标用户的姿态检测结果及所述目标用户在每个区域位置处停留的时长至指定终端设备。
一种电子设备，所述电子设备包括：
存储器，存储至少一个指令；及
处理器，执行所述存储器中存储的指令以实现所述基于AI视觉的监控方法。
一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现所述基于AI视觉的监控方法。
由以上技术方案可以看出，本发明能够通过至少一个摄像装置实时采集图像，并对采集的图像进行人脸识别，获取需要监控的目标用户的基准人脸图像，其中，所述目标用户为一个或多个，将所述采集的图像中识别到的人脸与所述基准人脸图像进行匹配，得到所述目标用户的视频流，进一步从所述目标用户的视频流中获取当前时间对应的预设时间范围内的当前视频流，基于所述目标用户的当前视频流，采用姿态检测算法对所述目标用户进行姿态检测，得到所述目标用户的姿态检测结果，基于改进的姿态检测算法能够在达到同等甚至更高的准确率的基础上进一步提高检测效率，以实现检测的实时性，从所述目标用户的视频流中识别所述目标用户经过的地点，并确定所述目标用户在各个区域位置停留的时长，实时上报所述目标用户的姿态检测结果及所述目标用户在每个区域位置处停留的时长至指定终端设备，使监护人能够及时获取到被监控者的状况，进而基于AI视觉实现对用户的监控。
附图说明
图1是本发明基于AI视觉的监控方法的较佳实施例的流程图。
图2是本发明基于AI视觉的监控装置的较佳实施例的功能模块图。
图3是本发明实现基于AI视觉的监控方法的较佳实施例的电子设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。
如图1所示，是本发明基于AI视觉的监控方法的较佳实施例的流程图。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。
所述基于AI视觉的监控方法应用于一个或者多个电子设备中，所述电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital SignalProcessor，DSP)、嵌入式设备等。
所述电子设备可以是任何一种可与用户进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理（Personal Digital Assistant，PDA）、游戏机、交互式网络电视（Internet Protocol Television，IPTV）、智能式穿戴式设备等。
所述电子设备还可以包括网络设备和/或用户设备。其中，所述网络设备包括，但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(CloudComputing)的由大量主机或网络服务器构成的云。
所述电子设备所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络（Virtual Private Network，VPN）等。
S10，通过至少一个摄像装置实时采集图像，并对采集的图像进行人脸识别。
现代人生活方式的快节奏，决定了子女很大程度上不能长时间陪在老人左右，老人大多数时间都要独自居住或者生活，因此，能够基于AI（Artificial Intelligence，人工智能）视觉对老人进行监控，对老人本身以及对子女都会有帮助，具有重大的社会意义。
在本实施例中，所述摄像装置可以包括多种摄像头，如居家摄像头等。
具体地，所述摄像装置可以由多个单目RGB摄像头组成，所述多个单目RGB摄像头分布于家中的各个角落，确保在不侵犯隐私的前提下，获取到最大的监控视角。
同时，所述多个单目RGB摄像头还可以配置动态感知功能，即只在画面中出现移动物体的时候采集图像，而对于一直静止不动的画面，所述多个单目RGB摄像头不会对其进行记录，以节约能源及存储空间。
在本发明的至少一个实施例中，可以采取任意人脸识别算法对所述采集的图像进行人脸识别，由于人脸识别算法属于相对成熟的技术，在此不赘述。
S11，获取需要监控的目标用户的基准人脸图像，其中，所述目标用户为一个或多个。
在本发明的至少一个实施例中，所述基准人脸图像是指需要监控的所述目标用户的标准图像，以所述基准人脸图像为标准进行匹配，即可确定采集的图像中是否包括所述目标用户。
其中，所述需要监控的所述目标用户可以进行自定义配置，例如：家里的老人、儿童、病人等。
S12，将所述采集的图像中识别到的人脸与所述基准人脸图像进行匹配，得到所述目标用户的视频流。
具体地，可以计算所述采集的图像中识别到的人脸与所述基准人脸图像的相似度，并将相似度高于预设阈值的图像作为对应用户的图像，进一步整合所述目标用户的图像，得到所述目标用户的视频流，所述预设阈值可以进行自定义配置。
例如：可以采用欧式距离公式计算所述相似度，也可以采用余弦距离公式计算所述相似度，其中，欧氏距离计算的是空间中两个点的绝对距离，距离越小，特征越相似；余弦距离衡量的是空间中两个向量的夹角，夹角越靠近0，即距离越接近1，特征越相似。
当然，在其他实施例中，还可以采用其他方式计算所述相似度，本发明不限制。
需要说明的是，根据整合的时长及时间，所述目标用户的视频流还可以包括实时构建的当前视频流（用于判断所述目标用户的实时数据，如实时姿态等），以及用于规律性分析的指定时间段内的视频流（如夜间睡眠阶段的视频流、用户外出时间段内的视频流等）。
通过上述实施方式，能够实现对所述目标用户的视频流的获取，并作为后续AI分析的基础数据。
S13，从所述目标用户的视频流中获取当前时间对应的预设时间范围内的当前视频流，并基于所述目标用户的当前视频流，采用姿态检测算法对所述目标用户进行姿态检测，得到所述目标用户的姿态检测结果。
其中，所述预设时间范围可以是指所述当前时间的上下各预设时间间隔所构成的时间段。
例如：所述当前时间为A，所述预设时间间隔为1h，则所述当前视频流所属的时间段为（A-1h，A+1h）。
在本发明的至少一个实施例中，所述基于所述目标用户的当前视频流，采用姿态检测算法对所述目标用户进行姿态检测，得到所述目标用户的姿态检测结果包括：
采用改进的姿态检测算法检测所述目标用户的当前视频流中所述目标用户的姿态数据；
将所述目标用户的姿态数据输入至分类器中进行分类，输出所述目标用户的姿态分类结果；
将所述目标用户的姿态分类结果确定为所述目标用户的姿态检测结果。
例如：当用户A的分类结果为所述目标用户A处于摔倒状态时，确定所述目标用户A的姿态检测结果为“摔倒”。
进一步地，所述采用改进的姿态检测算法检测所述目标用户的当前视频流中所述目标用户的姿态数据包括：
将所述目标用户对应的当前视频流输入至MobileNet的backbone中，输出第一特征数据；
将所述第一特征数据输入至initial stage及refine stage，输出特征图；
将所述特征图输入至1*1卷积层，输出关键点热图以及部分亲和字段作为所述目标用户的姿态数据；
其中，backbone、initial stage及refine stage采用1*1卷积层、第一3*3卷积层以及第二3*3卷积层构成的级联卷积，且所述第二3*3卷积层是卷积核膨胀为2的空洞卷积。
现有技术中，通常采用VGG结构的backbone进行特征提取，以用于姿态检测，且网络中包含多个7*7卷积及initial stage、refine stage，检测速度较慢，而对于摔倒检测，需要很高的实时性才能保证在监控目标摔倒时进行及时响应，以便对监控的目标执行有效的安全防护措施。显然，现有技术中的姿态检测还无法满足对速度的需求。
通过上述实施方式，采用MobileNet的backbone代替现有技术中所采用的VGG结构，以构建改进的姿态检测算法，实现对移动目标的姿态检测，同时将现有技术中的多个initial stage缩减至一个initial stage，降低了运算量，以满足当前的检测任务对于检测速度的高需求，进一步使用带有空洞卷积的级联卷积代替现有技术中的7*7卷积，空洞卷积的引入有效提升了感受野，使检测更加准确，因此，本实施方式在达到同等甚至更高的准确率的基础上进一步提高了检测效率，以实现检测的实时性。
S14，从所述目标用户的视频流中识别所述目标用户经过的地点，并确定所述目标用户在各个区域位置停留的时长。
例如：在居家环境中，用户可能经过的地点有些是有规律性的，上班族需要早晚按时上下班，那么出现在门口处的时间就是规律性的；用户的睡眠时间是有规律的，那么夜间处于卧室的时间就是规律性的。
因此，本案识别所述目标用户经过的地点，并确定所述目标用户在各个区域位置停留的时长，以便后续对所述目标用户的生活习惯进行分析。
具体地，在安装摄像装置时，可以预先对拍摄范围内的区域进行地点的划分，例如：根据区域覆盖情况，可以划分为客厅、卧室、卫生间等。
也可以识别所拍摄到的物体，并根据拍摄到的物体判断地点。例如：当拍摄到了沙发、茶几等时，可以自动判断当前识别到的地点为客厅。
当然，物体与地点的对应关系可以根据每个拍摄地点的实际情况进行配置，无需对所有拍摄地点统一设定，以避免由于个性化差异造成误识别，如：大多数用户会在书房安装电脑，但某些用户喜欢在家中卧室安装电脑，此时，如果统一配置为识别到电脑就判断是书房，那么对于将电脑安装在卧室的用户就会出现识别错误，因此，具体以所述目标用户拍摄地点的实际情况设置物体与地点的对应关系，能够有效消除个性化差异，提高识别的准确率。
在本发明的至少一个实施例中，所述基于AI视觉的监控方法还包括：
当检测到所述目标用户在第一目标区域内停留的时长大于或者等于第一预设时长时，连接所述目标用户的终端，其中，所述第一目标区域为需要对所述目标用户按照预设规则进行特别监控的区域；
向所述目标用户的终端发送带有震动及提示音的确认请求，及向所述指定终端设备发出第一提示信息，所述第一提示信息用于向所述终端设备的用户提示所述目标用户在第一目标区域内停留的时长大于或者等于所述第一预设时长；
当在第二预设时长后没有收到所述目标用户对所述确认请求的响应时，向所述指定终端设备发出第二提示信息，所述第二提示信息用于向所述终端设备的用户提示所述目标用户在所述第二预设时长内没有对所述确认请求进行响应。
通过上述实施方式，能够对所述目标用户的洗漱时长或者如厕时长等进行检测，避免有用户在洗澡或者如厕时发生意外而无人发现，给用户带来安全隐患。
在本发明的至少一个实施例中，所述基于AI视觉的监控方法还包括：
当所述目标用户符合预设条件时，获取所述目标用户离开预设监控范围和进入预设监控范围的时间点信息；
计算离开预设监控范围和进入预设监控范围的时间点的差值时间段；
识别所述差值时间段是否超出预设时间段；
当超出所述预设时间段，发送警报信息至所述指定终端设备。
通过上述实施方式，能够确定老人的户外活动时长，以辅助相关人员确定老人的户外活动时长是否充足，并给出合理建议，以促进老人进行健康运动。
在本发明的至少一个实施例中，所述基于AI视觉的监控方法还包括：
获取每个用户所述目标用户在预设时间段内首次进入第二目标区域和最后一次进入第二目标区域的时间点信息；
计算最后一次进入第二目标区域和首次进入第二目标区域的时间点的差值时间段；
识别所述差值时间段是否低于配置时长；
当低于所述配置时长时，发送提示信息至所述指定终端设备。
例如：所述第二目标区域可以为卧室。
通过上述实施方式，能够在检测到有用户睡眠长期不足时发出提示，以督促用户进行规律睡眠，提高身体素质。
同时，该睡眠时长还能辅助相关人员进行老人及儿童等特殊人群的睡眠质量分析。
S15，实时上报所述目标用户的姿态检测结果及所述目标用户在每个区域位置处停留的时长至指定终端设备。
其中，所述指定终端设备可以是监护人的终端设备，以使监护人能够及时获取到被监控者的状况。
在本发明的至少一个实施例中，所述基于AI视觉的监控方法还包括：
在对所述采集的图像进行人脸识别后，得到至少一个目标用户；
将所述至少一个目标用户的人脸图像与配置数据库中的人脸图像进行匹配；
当所述目标用户与所述配置数据库中的人脸图像不匹配时，截取所述目标用户的当前图像，其中，所述当前图像中包括所述当前图像的拍摄时间参数；
向所述指定终端设备发送目标用户异常报警信息。
其中，所述配置数据库存储着预先设置的多个用户，这些用户属于被信任的用户，当监控到这些用户时不会报警。
通过上述实施方式，能够在监控到有陌生人入侵时进行及时警报，以提高安全性。
在本实施例中，为了提高数据的安全性，还可以将姿态检测结果存储于区块链。
由以上技术方案可以看出，本发明能够通过至少一个摄像装置实时采集图像，并对采集的图像进行人脸识别，获取需要监控的目标用户的基准人脸图像，其中，所述目标用户为一个或多个，将所述采集的图像中识别到的人脸与所述基准人脸图像进行匹配，得到所述目标用户的视频流，进一步从所述目标用户的视频流中获取当前时间对应的预设时间范围内的当前视频流，基于所述目标用户的当前视频流，采用姿态检测算法对所述目标用户进行姿态检测，得到所述目标用户的姿态检测结果，基于改进的姿态检测算法能够在达到同等甚至更高的准确率的基础上进一步提高检测效率，以实现检测的实时性，从所述目标用户的视频流中识别所述目标用户经过的地点，并确定所述目标用户在各个区域位置停留的时长，实时上报所述目标用户的姿态检测结果及所述目标用户在每个区域位置处停留的时长至指定终端设备，使监护人能够及时获取到被监控者的状况，进而基于AI视觉实现对用户的监控。
如图2所示，是本发明基于AI视觉的监控装置的较佳实施例的功能模块图。所述基于AI视觉的监控装置11包括识别单元110、获取单元111、匹配单元112、检测单元113、上报单元114。本发明所称的模块/单元是指一种能够被处理器13所执行，并且能够完成固定功能的一系列计算机程序段，其存储在存储器12中。在本实施例中，关于各模块/单元的功能将在后续的实施例中详述。
识别单元110通过至少一个摄像装置实时采集图像，并对采集的图像进行人脸识别。
现代人生活方式的快节奏，决定了子女很大程度上不能长时间陪在老人左右，老人大多数时间都要独自居住或者生活，因此，能够基于AI（Artificial Intelligence，人工智能）视觉对老人进行监控，对老人本身以及对子女都会有帮助，具有重大的社会意义。
在本实施例中，所述摄像装置可以包括多种摄像头，如居家摄像头等。
具体地，所述摄像装置可以由多个单目RGB摄像头组成，所述多个单目RGB摄像头分布于家中的各个角落，确保在不侵犯隐私的前提下，获取到最大的监控视角。
同时，所述多个单目RGB摄像头还可以配置动态感知功能，即只在画面中出现移动物体的时候采集图像，而对于一直静止不动的画面，所述多个单目RGB摄像头不会对其进行记录，以节约能源及存储空间。
在本发明的至少一个实施例中，所述识别单元110可以采取任意人脸识别算法对所述采集的图像进行人脸识别，由于人脸识别算法属于相对成熟的技术，在此不赘述。
获取单元111获取需要监控的目标用户的基准人脸图像，其中，所述目标用户为一个或多个。
在本发明的至少一个实施例中，所述基准人脸图像是指需要监控的所述目标用户的标准图像，以所述基准人脸图像为标准进行匹配，即可确定采集的图像中是否包括所述目标用户。
其中，所述需要监控的所述目标用户可以进行自定义配置，例如：家里的老人、儿童、病人等。
匹配单元112将所述采集的图像中识别到的人脸与所述基准人脸图像进行匹配，得到所述目标用户的视频流。
具体地，可以计算所述采集的图像中识别到的人脸与所述基准人脸图像的相似度，并将相似度高于预设阈值的图像作为对应用户的图像，进一步整合所述目标用户的图像，得到所述目标用户的视频流，所述预设阈值可以进行自定义配置。
例如：可以采用欧式距离公式计算所述相似度，也可以采用余弦距离公式计算所述相似度，其中，欧氏距离计算的是空间中两个点的绝对距离，距离越小，特征越相似；余弦距离衡量的是空间中两个向量的夹角，夹角越靠近0，即距离越接近1，特征越相似。
当然，在其他实施例中，还可以采用其他方式计算所述相似度，本发明不限制。
需要说明的是，根据整合的时长及时间，所述目标用户的视频流还可以包括实时构建的当前视频流（用于判断所述目标用户的实时数据，如实时姿态等），以及用于规律性分析的指定时间段内的视频流（如夜间睡眠阶段的视频流、用户外出时间段内的视频流等）。
通过上述实施方式，能够实现对所述目标用户的视频流的获取，并作为后续AI分析的基础数据。
检测单元113从所述目标用户的视频流中获取当前时间对应的预设时间范围内的当前视频流，并基于所述目标用户的当前视频流，采用姿态检测算法对所述目标用户进行姿态检测，得到所述目标用户的姿态检测结果。
其中，所述预设时间范围可以是指所述当前时间的上下各预设时间间隔所构成的时间段。
例如：所述当前时间为A，所述预设时间间隔为1h，则所述当前视频流所属的时间段为（A-1h，A+1h）。
在本发明的至少一个实施例中，所述检测单元113基于所述目标用户的当前视频流，采用姿态检测算法对所述目标用户进行姿态检测，得到所述目标用户的姿态检测结果包括：
采用改进的姿态检测算法检测所述目标用户的当前视频流中所述目标用户的姿态数据；
将所述目标用户的姿态数据输入至分类器中进行分类，输出所述目标用户的姿态分类结果；
将所述目标用户的姿态分类结果确定为所述目标用户的姿态检测结果。
例如：当用户A的分类结果为所述目标用户A处于摔倒状态时，确定所述目标用户A的姿态检测结果为“摔倒”。
进一步地，所述检测单元113采用改进的姿态检测算法检测所述目标用户的当前视频流中所述目标用户的姿态数据包括：
将所述目标用户对应的当前视频流输入至MobileNet的backbone中，输出第一特征数据；
将所述第一特征数据输入至initial stage及refine stage，输出特征图；
将所述特征图输入至1*1卷积层，输出关键点热图以及部分亲和字段作为所述目标用户的姿态数据；
其中，backbone、initial stage及refine stage采用1*1卷积层、第一3*3卷积层以及第二3*3卷积层构成的级联卷积，且所述第二3*3卷积层是卷积核膨胀为2的空洞卷积。
现有技术中，通常采用VGG结构的backbone进行特征提取，以用于姿态检测，且网络中包含多个7*7卷积及initial stage、refine stage，检测速度较慢，而对于摔倒检测，需要很高的实时性才能保证在监控目标摔倒时进行及时响应，以便对监控的目标执行有效的安全防护措施。显然，现有技术中的姿态检测还无法满足对速度的需求。
通过上述实施方式，采用MobileNet的backbone代替现有技术中所采用的VGG结构，以构建改进的姿态检测算法，实现对移动目标的姿态检测，同时将现有技术中的多个initial stage缩减至一个initial stage，降低了运算量，以满足当前的检测任务对于检测速度的高需求，进一步使用带有空洞卷积的级联卷积代替现有技术中的7*7卷积，空洞卷积的引入有效提升了感受野，使检测更加准确，因此，本实施方式在达到同等甚至更高的准确率的基础上进一步提高了检测效率，以实现检测的实时性。
所述识别单元110从所述目标用户的视频流中识别所述目标用户经过的地点，并确定所述目标用户在各个区域位置停留的时长。
例如：在居家环境中，用户可能经过的地点有些是有规律性的，上班族需要早晚按时上下班，那么出现在门口处的时间就是规律性的；用户的睡眠时间是有规律的，那么夜间处于卧室的时间就是规律性的。
因此，本案识别所述目标用户经过的地点，并确定所述目标用户在各个区域位置停留的时长，以便后续对所述目标用户的生活习惯进行分析。
具体地，在安装摄像装置时，可以预先对拍摄范围内的区域进行地点的划分，例如：根据区域覆盖情况，可以划分为客厅、卧室、卫生间等。
也可以识别所拍摄到的物体，并根据拍摄到的物体判断地点。例如：当拍摄到了沙发、茶几等时，可以自动判断当前识别到的地点为客厅。
当然，物体与地点的对应关系可以根据每个拍摄地点的实际情况进行配置，无需对所有拍摄地点统一设定，以避免由于个性化差异造成误识别，如：大多数用户会在书房安装电脑，但某些用户喜欢在家中卧室安装电脑，此时，如果统一配置为识别到电脑就判断是书房，那么对于将电脑安装在卧室的用户就会出现识别错误，因此，具体以所述目标用户拍摄地点的实际情况设置物体与地点的对应关系，能够有效消除个性化差异，提高识别的准确率。
在本发明的至少一个实施例中，当检测到所述目标用户在第一目标区域内停留的时长大于或者等于第一预设时长时，连接所述目标用户的终端，其中，所述第一目标区域为需要对所述目标用户按照预设规则进行特别监控的区域；
向所述目标用户的终端发送带有震动及提示音的确认请求，及向所述指定终端设备发出第一提示信息，所述第一提示信息用于向所述终端设备的用户提示所述目标用户在第一目标区域内停留的时长大于或者等于所述第一预设时长；
当在第二预设时长后没有收到所述目标用户对所述确认请求的响应时，向所述指定终端设备发出第二提示信息，所述第二提示信息用于向所述终端设备的用户提示所述目标用户在所述第二预设时长内没有对所述确认请求进行响应。
通过上述实施方式，能够对所述目标用户的洗漱时长或者如厕时长等进行检测，避免有用户在洗澡或者如厕时发生意外而无人发现，给用户带来安全隐患。
在本发明的至少一个实施例中，当所述目标用户符合预设条件时，获取所述目标用户离开预设监控范围和进入预设监控范围的时间点信息；
计算离开预设监控范围和进入预设监控范围的时间点的差值时间段；
识别所述差值时间段是否超出预设时间段；
当超出所述预设时间段，发送警报信息至所述指定终端设备。
通过上述实施方式，能够确定老人的户外活动时长，以辅助相关人员确定老人的户外活动时长是否充足，并给出合理建议，以促进老人进行健康运动。
在本发明的至少一个实施例中，获取所述目标用户在预设时间段内首次进入第二目标区域和最后一次进入第二目标区域的时间点信息；
计算最后一次进入第二目标区域和首次进入第二目标区域的时间点的差值时间段；
识别所述差值时间段是否低于配置时长；
当低于所述配置时长时，发送提示信息至所述指定终端设备。
例如：所述第二目标区域可以为卧室。
通过上述实施方式，能够在检测到有用户睡眠长期不足时发出提示，以督促用户进行规律睡眠，提高身体素质。
同时，该睡眠时长还能辅助相关人员进行老人及儿童等特殊人群的睡眠质量分析。
上报单元114实时上报所述目标用户的姿态检测结果及所述目标用户在每个区域位置处停留的时长至指定终端设备。
其中，所述指定终端设备可以是监护人的终端设备，以使监护人能够及时获取到被监控者的状况。
在本发明的至少一个实施例中，在对所述采集的图像进行人脸识别后，得到至少一个目标用户；
将所述至少一个目标用户的人脸图像与配置数据库中的人脸图像进行匹配；
当所述目标用户与所述配置数据库中的人脸图像不匹配时，截取所述目标用户的当前图像，其中，所述当前图像中包括所述当前图像的拍摄时间参数；
向所述指定终端设备发送目标用户异常报警信息。
其中，所述配置数据库存储着预先设置的多个用户，这些用户属于被信任的用户，当监控到这些用户时不会报警。
通过上述实施方式，能够在监控到有陌生人入侵时进行及时警报，以提高安全性。
在本实施例中，为了提高数据的安全性，还可以将姿态检测结果存储于区块链。
由以上技术方案可以看出，本发明能够通过至少一个摄像装置实时采集图像，并对采集的图像进行人脸识别，获取需要监控的目标用户的基准人脸图像，其中，所述目标用户为一个或多个，将所述采集的图像中识别到的人脸与所述基准人脸图像进行匹配，得到所述目标用户的视频流，进一步从所述目标用户的视频流中获取当前时间对应的预设时间范围内的当前视频流，基于所述目标用户的当前视频流，采用姿态检测算法对所述目标用户进行姿态检测，得到所述目标用户的姿态检测结果，基于改进的姿态检测算法能够在达到同等甚至更高的准确率的基础上进一步提高检测效率，以实现检测的实时性，从所述目标用户的视频流中识别所述目标用户经过的地点，并确定所述目标用户在各个区域位置停留的时长，实时上报所述目标用户的姿态检测结果及所述目标用户在每个区域位置处停留的时长至指定终端设备，使监护人能够及时获取到被监控者的状况，进而基于AI视觉实现对用户的监控。
如图3所示，是本发明实现基于AI视觉的监控方法的较佳实施例的电子设备的结构示意图。
所述电子设备1可以包括存储器12、处理器13和总线，还可以包括存储在所述存储器12中并可在所述处理器13上运行的计算机程序，例如基于AI视觉的监控程序。
本领域技术人员可以理解，所述示意图仅仅是电子设备1的示例，并不构成对电子设备1的限定，所述电子设备1既可以是总线型结构，也可以是星形结构，所述电子设备1还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置，例如所述电子设备1还可以包括输入输出设备、网络接入设备等。
需要说明的是，所述电子设备1仅为举例，其他现有的或今后可能出现的电子产品如可适应于本发明，也应包含在本发明的保护范围以内，并以引用方式包含于此。
其中，存储器12至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、磁性存储器、磁盘、光盘等。存储器12在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。存储器12在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡（Smart Media Card, SMC）、安全数字（Secure Digital, SD）卡、闪存卡（Flash Card）等。进一步地，存储器12还可以既包括电子设备1的内部存储单元也包括外部存储设备。存储器12不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如基于AI视觉的监控程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器13在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。处理器13是所述电子设备1的控制核心（Control Unit），利用各种接口和线路连接整个电子设备1的各个部件，通过运行或执行存储在所述存储器12内的程序或者模块（例如执行基于AI视觉的监控程序等），以及调用存储在所述存储器12内的数据，以执行电子设备1的各种功能和处理数据。
所述处理器13执行所述电子设备1的操作系统以及安装的各类应用程序。所述处理器13执行所述应用程序以实现上述各个基于AI视觉的监控方法实施例中的步骤，例如图1所示的步骤。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器12中，并由所述处理器13执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述电子设备1中的执行过程。例如，所述计算机程序可以被分割成识别单元110、获取单元111、匹配单元112、检测单元113、上报单元114。
或者，所述处理器13执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如：
通过至少一个摄像装置实时采集图像，并对采集的图像进行人脸识别；
获取需要监控的目标用户的基准人脸图像，其中，所述目标用户为一个或多个；
将所述采集的图像中识别到的人脸与所述基准人脸图像进行匹配，得到所述目标用户的视频流；
从所述目标用户的视频流中获取当前时间对应的预设时间范围内的当前视频流，并基于所述目标用户的当前视频流，采用姿态检测算法对所述目标用户进行姿态检测，得到所述目标用户的姿态检测结果；
从所述目标用户的视频流中识别所述目标用户经过的地点，并确定所述目标用户在各个区域位置停留的时长；
实时上报所述目标用户的姿态检测结果及所述目标用户在每个区域位置处停留的时长至指定终端设备。
上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、计算机设备，或者网络设备等）或处理器（processor）执行本发明各个实施例所述基于AI视觉的监控方法的部分。
所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指示相关的硬件设备来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。
其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）。
进一步地，计算机可用存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性（防伪）和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
总线可以是外设部件互连标准（peripheral component interconnect，简称PCI）总线或扩展工业标准结构（extended industry standard architecture，简称EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，在图3中仅用一根箭头表示，但并不表示仅有一根总线或一种类型的总线。所述总线被设置为实现所述存储器12以及至少一个处理器13等之间的连接通信。
尽管未示出，所述电子设备1还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理装置与所述至少一个处理器13逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
进一步地，所述电子设备1还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口（如WI-FI接口、蓝牙接口等），通常用于在该电子设备1与其他电子设备之间建立通信连接。
可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器（Display）、输入单元（比如键盘（Keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
图3仅示出了具有组件12-13的电子设备1，本领域技术人员可以理解的是，图3示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
结合图1，所述电子设备1中的所述存储器12存储多个指令以实现一种基于AI视觉的监控方法，所述处理器13可执行所述多个指令从而实现：
通过至少一个摄像装置实时采集图像，并对采集的图像进行人脸识别；
获取需要监控的目标用户的基准人脸图像，其中，所述目标用户为一个或多个；
将所述采集的图像中识别到的人脸与所述基准人脸图像进行匹配，得到所述目标用户的视频流；
从所述目标用户的视频流中获取当前时间对应的预设时间范围内的当前视频流，并基于所述目标用户的当前视频流，采用姿态检测算法对所述目标用户进行姿态检测，得到所述目标用户的姿态检测结果；
从所述目标用户的视频流中识别所述目标用户经过的地点，并确定所述目标用户在各个区域位置停留的时长；
实时上报所述目标用户的姿态检测结果及所述目标用户在每个区域位置处停留的时长至指定终端设备。
具体地，所述处理器13对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (8)
1.一种基于AI视觉的监控方法，其特征在于，所述基于AI视觉的监控方法包括：
通过至少一个摄像装置实时采集图像，并对采集的图像进行人脸识别；
获取需要监控的目标用户的基准人脸图像，其中，所述目标用户为一个或多个；
将所述采集的图像中识别到的人脸与所述基准人脸图像进行匹配，得到所述目标用户的视频流；
从所述目标用户的视频流中获取当前时间对应的预设时间范围内的当前视频流；
基于所述目标用户的当前视频流，采用姿态检测算法对所述目标用户进行姿态检测，得到所述目标用户的姿态检测结果，包括：将所述目标用户对应的当前视频流输入至MobileNet的backbone中，输出第一特征数据；将所述第一特征数据输入至initial stage及refine stage，输出特征图；将所述特征图输入至1*1卷积层，输出关键点热图以及部分亲和字段作为所述目标用户的姿态数据；其中，backbone、initial stage及refine stage采用1*1卷积层、第一3*3卷积层以及第二3*3卷积层构成的级联卷积，且所述第二3*3卷积层是卷积核膨胀为2的空洞卷积；将所述目标用户的姿态数据输入至分类器中进行分类，输出所述目标用户的姿态分类结果；将所述目标用户的姿态分类结果确定为所述目标用户的姿态检测结果；
从所述目标用户的视频流中识别所述目标用户经过的地点，并确定所述目标用户在各个区域位置停留的时长；
实时上报所述目标用户的姿态检测结果及所述目标用户在每个区域位置处停留的时长至指定终端设备。
2.如权利要求1所述的基于AI视觉的监控方法，其特征在于，所述基于AI视觉的监控方法还包括：
当检测到所述目标用户在第一目标区域内停留的时长大于或者等于第一预设时长时，连接所述目标用户的终端，其中，所述第一目标区域为需要对所述目标用户按照预设规则进行特别监控的区域；
向所述目标用户的终端发送带有震动及提示音的确认请求，及向所述指定终端设备发出第一提示信息，所述第一提示信息用于向所述终端设备的用户提示所述目标用户在第一目标区域内停留的时长大于或者等于所述第一预设时长；
当在第二预设时长后没有收到所述目标用户对所述确认请求的响应时，向所述指定终端设备发出第二提示信息，所述第二提示信息用于向所述终端设备的用户提示所述目标用户在所述第二预设时长内没有对所述确认请求进行响应。
3.如权利要求1所述的基于AI视觉的监控方法，其特征在于，所述基于AI视觉的监控方法还包括：
当所述目标用户符合预设条件时，获取所述目标用户离开预设监控范围和进入预设监控范围的时间点信息；
计算离开预设监控范围和进入预设监控范围的时间点的差值时间段；
识别所述差值时间段是否超出预设时间段；
当超出所述预设时间段，发送警报信息至所述指定终端设备。
4.如权利要求1所述的基于AI视觉的监控方法，其特征在于，所述基于AI视觉的监控方法还包括：
获取所述目标用户在预设时间段内首次进入第二目标区域和最后一次进入第二目标区域的时间点信息；
计算最后一次进入第二目标区域和首次进入第二目标区域的时间点的差值时间段；
识别所述差值时间段是否低于配置时长；
当低于所述配置时长时，发送提示信息至所述指定终端设备。
5.如权利要求1所述的基于AI视觉的监控方法，其特征在于，所述基于AI视觉的监控方法还包括：
在对所述采集的图像进行人脸识别后，得到至少一个目标用户；
将所述至少一个目标用户的人脸图像与配置数据库中的人脸图像进行匹配；
当所述目标用户与所述配置数据库中的人脸图像不匹配时，截取所述目标用户的当前图像，其中，所述当前图像中包括所述当前图像的拍摄时间参数；
向所述指定终端设备发送目标用户异常报警信息。
6.一种基于AI视觉的监控装置，其特征在于，所述基于AI视觉的监控装置包括：
识别单元，用于通过至少一个摄像装置实时采集图像，并对采集的图像进行人脸识别；
获取单元，用于获取需要监控的目标用户的基准人脸图像，其中，所述目标用户为一个或多个；
匹配单元，用于将所述采集的图像中识别到的人脸与所述基准人脸图像进行匹配，得到所述目标用户的视频流；
检测单元，用于从所述目标用户的视频流中获取当前时间对应的预设时间范围内的当前视频流；
所述检测单元还用于基于所述目标用户的当前视频流，采用姿态检测算法对所述目标用户进行姿态检测，得到所述目标用户的姿态检测结果，包括：将所述目标用户对应的当前视频流输入至MobileNet的backbone中，输出第一特征数据；将所述第一特征数据输入至initial stage及refine stage，输出特征图；将所述特征图输入至1*1卷积层，输出关键点热图以及部分亲和字段作为所述目标用户的姿态数据；其中，backbone、initial stage及refine stage采用1*1卷积层、第一3*3卷积层以及第二3*3卷积层构成的级联卷积，且所述第二3*3卷积层是卷积核膨胀为2的空洞卷积；将所述目标用户的姿态数据输入至分类器中进行分类，输出所述目标用户的姿态分类结果；将所述目标用户的姿态分类结果确定为所述目标用户的姿态检测结果；
所述识别单元，还用于从所述目标用户的视频流中识别所述目标用户经过的地点，并确定所述目标用户在各个区域位置停留的时长；
上报单元，用于实时上报所述目标用户的姿态检测结果及所述目标用户在每个区域位置处停留的时长至指定终端设备。
7. 一种电子设备，其特征在于，所述电子设备包括：
存储器，存储至少一个指令；及
处理器，执行所述存储器中存储的指令以实现如权利要求1至5中任意一项所述的基于AI视觉的监控方法。
8.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现如权利要求1至5中任意一项所述的基于AI视觉的监控方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010622577.1A CN111814646B (zh) | 2020-06-30 | 2020-06-30 | 基于ai视觉的监控方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010622577.1A CN111814646B (zh) | 2020-06-30 | 2020-06-30 | 基于ai视觉的监控方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111814646A CN111814646A (zh) | 2020-10-23 |
| CN111814646B true CN111814646B (zh) | 2024-04-05 |
Family
ID=72856207
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010622577.1A Active CN111814646B (zh) | 2020-06-30 | 2020-06-30 | 基于ai视觉的监控方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111814646B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112863126A (zh) * | 2020-12-31 | 2021-05-28 | 苏州圣珀软件科技有限公司 | 分散型居家监护系统 |
| JP2022112917A (ja) * | 2021-01-22 | 2022-08-03 | ｉ－ＰＲＯ株式会社 | 監視カメラおよび学習モデル設定支援システム |
| CN114943979A (zh) * | 2021-02-09 | 2022-08-26 | 孙民 | 健康照护系统和健康照护方法 |
| CN113011290A (zh) * | 2021-03-03 | 2021-06-22 | 上海商汤智能科技有限公司 | 事件检测方法及装置、电子设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102572388A (zh) * | 2011-10-31 | 2012-07-11 | 东莞市中控电子技术有限公司 | 一种基于人脸识别的网络视频监控装置与监控识别方法 |
| CN106210634A (zh) * | 2016-07-18 | 2016-12-07 | 四川君逸数码科技股份有限公司 | 一种智慧金睛识别人员倒地报警方法和装置 |
| WO2019128646A1 (zh) * | 2017-12-28 | 2019-07-04 | 深圳励飞科技有限公司 | 人脸检测方法、卷积神经网络参数的训练方法、装置及介质 |
| CN110139077A (zh) * | 2019-05-27 | 2019-08-16 | 杭州亚美利嘉科技有限公司 | 月台监控装置及系统 |
| CN110796032A (zh) * | 2019-10-11 | 2020-02-14 | 深圳市誉托科技有限公司 | 基于人体姿态评估的视频围栏及预警方法 |
-
2020
- 2020-06-30 CN CN202010622577.1A patent/CN111814646B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102572388A (zh) * | 2011-10-31 | 2012-07-11 | 东莞市中控电子技术有限公司 | 一种基于人脸识别的网络视频监控装置与监控识别方法 |
| CN106210634A (zh) * | 2016-07-18 | 2016-12-07 | 四川君逸数码科技股份有限公司 | 一种智慧金睛识别人员倒地报警方法和装置 |
| WO2019128646A1 (zh) * | 2017-12-28 | 2019-07-04 | 深圳励飞科技有限公司 | 人脸检测方法、卷积神经网络参数的训练方法、装置及介质 |
| CN110139077A (zh) * | 2019-05-27 | 2019-08-16 | 杭州亚美利嘉科技有限公司 | 月台监控装置及系统 |
| CN110796032A (zh) * | 2019-10-11 | 2020-02-14 | 深圳市誉托科技有限公司 | 基于人体姿态评估的视频围栏及预警方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111814646A (zh) | 2020-10-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111814646B (zh) | 基于ai视觉的监控方法、装置、设备及介质 | |
| CN110855935B (zh) | 一种基于多摄像头的人员轨迹生成系统及方法 | |
| JP6905850B2 (ja) | 画像処理システム、撮像装置、学習モデル作成方法、情報処理装置 | |
| CN111723727A (zh) | 基于边缘计算的云监控方法、装置、电子设备及存储介质 | |
| CN111770317B (zh) | 用于智慧社区的视频监控方法、装置、设备及介质 | |
| CN110825818B (zh) | 多维特征构建方法、装置、电子设备及存储介质 | |
| JP2020107354A (ja) | 解析装置、解析方法及びプログラム | |
| CN112668479A (zh) | 用于智能配电房的安全监测方法、系统、电子设备及介质 | |
| CN111797756A (zh) | 基于人工智能的视频分析方法、设备及介质 | |
| CN116168350B (zh) | 基于物联网实现施工人员违规行为的智能监测方法及装置 | |
| CN114550076A (zh) | 区域异常行为监控方法、装置、设备及存储介质 | |
| CN114821483A (zh) | 应用于监控视频的可测温的监视方法及系统 | |
| CN108288025A (zh) | 一种车载视频监控方法、装置及设备 | |
| CN111985545A (zh) | 基于人工智能的目标数据检测方法、装置、设备及介质 | |
| CN112084882A (zh) | 一种行为检测方法、装置及计算机可读存储介质 | |
| CN114022841A (zh) | 人员监控识别方法、装置、电子设备及可读存储介质 | |
| CN114187561A (zh) | 异常行为的识别方法、装置、终端设备及存储介质 | |
| CN112507314B (zh) | 客户身份核实方法、装置、电子设备及存储介质 | |
| CN113378624A (zh) | 基于网关设备的数据传输方法、系统、电子设备及介质 | |
| CN113314230A (zh) | 基于大数据的智能防疫方法、装置、设备及存储介质 | |
| CN112528265A (zh) | 基于在线会议的身份识别方法、装置、设备及介质 | |
| CN112418062A (zh) | 人脸识别方法、系统、电子设备及存储介质 | |
| CN115883779B (zh) | 一种基于大数据的智慧园区信息安全管理系统 | |
| CN112785811A (zh) | 一种基于视频的安全监控方法及安全监控装置 | |
| CN112132037B (zh) | 基于人工智能的人行道检测方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220916 Address after: Room 2601 (Unit 07), Qianhai Free Trade Building, No. 3048, Xinghai Avenue, Nanshan Street, Qianhai Shenzhen-Hong Kong Cooperation Zone, Shenzhen, Guangdong 518000 Applicant after: Shenzhen Ping An Smart Healthcare Technology Co.,Ltd. Address before: 1-34 / F, Qianhai free trade building, 3048 Xinghai Avenue, Mawan, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong 518000 Applicant before: Ping An International Smart City Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |