CN117111887A - 一种跌倒检测方法和相关装置 - Google Patents
一种跌倒检测方法和相关装置 Download PDFInfo
- Publication number
- CN117111887A CN117111887A CN202310125008.XA CN202310125008A CN117111887A CN 117111887 A CN117111887 A CN 117111887A CN 202310125008 A CN202310125008 A CN 202310125008A CN 117111887 A CN117111887 A CN 117111887A
- Authority
- CN
- China
- Prior art keywords
- processed
- image
- falling
- video
- falling object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 241
- 230000033001 locomotion Effects 0.000 claims abstract description 49
- 230000036544 posture Effects 0.000 claims abstract description 20
- 230000003068 static effect Effects 0.000 claims abstract description 15
- 230000004044 response Effects 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims description 53
- 238000000034 method Methods 0.000 claims description 38
- 230000006870 function Effects 0.000 claims description 30
- 238000011176 pooling Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 24
- 210000003414 extremity Anatomy 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 11
- 230000000977 initiatory effect Effects 0.000 description 10
- 230000006399 behavior Effects 0.000 description 9
- 230000009471 action Effects 0.000 description 8
- 230000004927 fusion Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/10—Requirements analysis; Specification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Economics (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种跌倒检测方法和相关装置,响应于目标账号对应的跌倒检测任务,可以获取跌倒检测任务对应的待处理视频,对待处理视频中的待处理图像进行跌倒对象检测得到检测结果。若检测结果为存在跌倒对象时,可以根据跌倒对象分别在待处理图像和参考图像中的姿态,确定跌倒对象的运动状态,待处理图像和参考图像属于同一待处理视频,参考图像在待处理视频中的播放时间早于待处理图像,且与待处理图像之间的图像帧数量少于预设数量,若运动状态为非静止状态,说明跌倒对象不是场景中的静物,结合待处理图像中存在跌倒对象的结论,可以确定跌倒对象存在跌倒行为,则为目标账号生成告警信息,减少了误告警的次数,提高跌倒检测的准确性。
Description
技术领域
本申请涉及数据处理领域,特别是涉及一种跌倒检测方法和相关装置。
背景技术
目前,存在需要进行人员跌倒检测的场景,例如养老院、幼儿园等对人员跌倒的行为较为敏感的场所需要进行人员跌倒检测,部分村庄也需对留守老人的跌倒行为进行格外关注,人员跌倒可能会造成较为严重的后果,通过跌倒检测可以及时进行人员跌倒情况进行处理,从而降低重点人员跌倒后果。
实际操作中,可以在需要关注的区域设置摄像头,通过摄像头获取图像,通过图像识别可以分析出人员跌倒而后进行告警,从而根据告警信息及时对人员跌倒进行处理,降低人员跌倒危害。然而图像识别过程中存在识别错误导致误告警的情况,导致人员跌倒检测的准确性较低,实用性较差。
发明内容
为了解决上述技术问题,本申请提供了一种跌倒检测方法和相关装置,减少跌倒检测的误报,提高跌倒检测的准确性。
本申请实施例公开了如下技术方案:
一方面,本申请提供一种跌倒检测方法,其特征在于,所述方法包括:
响应于目标账号对应的跌倒检测任务,获取所述跌倒检测任务对应的待处理视频;
对所述待处理视频中的待处理图像进行跌倒对象检测得到检测结果;
若所述检测结果为存在跌倒对象时,根据所述跌倒对象分别在所述待处理图像和所述待处理视频中的参考图像中的姿态,确定所述跌倒对象的运动状态,所述参考图像在所述待处理视频中播放时间早于所述待处理图像,且与所述待处理图像之间的图像帧数量少于预设数量;
若所述运动状态为非静止状态,则为所述目标账号生成告警信息。
另一方面,本申请提供一种跌倒检测装置,其特征在于,所述装置包括:
视频获取单元,用于响应于目标账号对应的跌倒检测任务,获取所述跌倒检测任务对应的待处理视频;
检测单元,用于对所述待处理视频中的待处理图像进行跌倒对象检测得到检测结果;
运动状态确定单元,用于若所述检测结果为存在跌倒对象时,根据所述跌倒对象分别在所述待处理图像和所述待处理视频中的参考图像中的姿态,确定所述跌倒对象的运动状态,所述参考图像在所述待处理视频中播放时间早于所述待处理图像,且与所述待处理图像之间的图像帧数量少于预设数量;
告警生成单元,用于若所述运动状态为非静止状态,则为所述目标账号生成告警信息。
另一方面,本申请提供一种计算机设备,所述设备包括处理器以及存储器:
所述存储器用于存储计算机程序,并将所述计算机程序传输给所述处理器;
所述处理器用于根据所述计算机程序中的指令执行上述方面所述的跌倒检测方法。
另一方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行上述方面所述的跌倒检测方法。
另一方面,本申请实施例提供了一种包括计算机程序的计算机程序产品,当其在计算机设备上运行时,使得所述计算机设备执行所述的跌倒检测方法。
由上述技术方案可以看出,响应于目标账号对应的跌倒检测任务,可以获取跌倒检测任务对应的待处理视频,对待处理视频中的待处理图像进行跌倒对象检测得到检测结果,检测结果可以为存在跌倒对象或不存在跌倒对象。若检测结果为存在跌倒对象时,可以根据待处理视频中的参考图像进行进一步判断,待处理图像和参考图像属于同一待处理视频,因此通过同一摄像头对同一场景拍摄得到,通常具有同样的对象和背景。参考图像在待处理视频中的播放时间早于待处理图像,且与待处理图像之间的图像帧数量少于预设数量,这样在待处理图像存在跌倒对象的情况下,参考图像往往存在该跌倒对象,且该跌倒对象的姿态可能与待处理图像中的姿态相同,也可以不同,因此根据跌倒对象分别在待处理图像和参考图像中的姿态,确定跌倒对象的运动状态,若运动状态为非静止状态,说明跌倒对象不是场景中的静物,结合待处理图像中存在跌倒对象的结论,可以确定跌倒对象存在跌倒行为,则为目标账号生成告警信息,这样对于场景中一直处于静止状态的静物,即使被识别为跌倒对象也不会进行告警,减少了误告警的次数,提高跌倒检测的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种跌倒检测方法的应用场景的示意图;
图2为本申请实施例提供的一种跌倒检测方法的流程图;
图3为本申请实施例提供的一种终端设备任务发起界面的示意图;
图4为本申请实施例提供的一种即视应用程序的功能示意图;
图5为本申请实施例提供的一种跌倒检测服务平台的结构示意图;
图6为本申请实施例提供的一种视频网关的工作示意图;
图7为本申请实施例提供的一种跌倒检测模型的结构示意图;
图8为本申请实施例提供的另一种跌倒检测模型的结构示意图;
图9为本申请实施例提供的一种误告警的示意图;
图10为本申请实施例提供的一种跌倒检测的流程示意图;
图11为本申请实施例提供的一种通知界面的示意图;
图12为本申请实施例提供的一种数据处理装置的结构框图;
图13为本申请实施例提供的一种终端设备的结构图;
图14为本申请实施例提供的一种服务器的结构图。
具体实施方式
下面结合附图,对本申请的实施例进行描述。
目前通过图像识别分析是否有人员跌倒的过程中,存在识别错误导致误告警的情况,导致人员跌倒检测的准确性较低,实用性较差。
为了解决上述技术问题,本申请实施例中,在通过图像识别确定存在人员跌倒后,增加跌倒对象的运动状态的判断,这样对于场景中一直处于静止状态的静物,即使被识别为跌倒对象也不会进行告警,减少了误告警的次数,提高跌倒检测的准确性。
本申请实施例所提供的跌倒检测方法可以通过计算机设备实施,该计算机设备可以是终端设备或服务器,其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云计算服务的云服务器。终端设备包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、飞行器等。终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
可以理解的是,在本申请的具体实施方式中,涉及到图像中人脸等相关的数据,当本申请以上实施例运用到具体产品或技术中时,需要获得用户许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
为了便于理解本申请提供的技术方案,接下来,将结合一种实际应用场景,对本申请实施例提供的一种跌倒检测方法进行介绍。
图1示出了本申请实施例提供的一种跌倒检测方法的应用场景的示意图,该场景中,包括服务器10和终端设备20,终端设备20中安装有用于跌倒检测的应用程序,该应用程序对应的服务器10和终端设备20之间以通过网络进行交互。服务器10或终端设备20可以作为前述计算机设备,用于根据跌倒检测任务确定是否生成告警信息,终端设备20用于和用户进行交互,在登录目标账户后,获取目标账户对应的跌倒检测任务,以及展示告警信息。以下将以服务器10作为前述计算机设备为例进行说明。
服务器10响应于目标账号对应的跌倒检测任务,可以获取跌倒检测任务对应的待处理视频,对待处理视频中的待处理图像S1进行跌倒对象检测得到检测结果,检测结果可以为存在跌倒对象或不存在跌倒对象。
若检测结果为存在跌倒对象时,服务器10可以根据待处理视频中的参考图像S2进行进一步判断,待处理图像S1和参考图像S2属于同一待处理视频,因此通过同一摄像头对同一场景拍摄得到,通常具有同样的对象和背景。
参考图像S2在待处理视频中的播放时间早于待处理图像S1,且与待处理图像S1之间的图像帧数量少于预设数量,这样在待处理图像S1存在跌倒对象的情况下,参考图像S2往往存在该跌倒对象,且该跌倒对象的姿态可能与待处理图像S1中的姿态相同,也可以不同,因此服务器10根据跌倒对象分别在待处理图像S1和参考图像S2中的姿态,确定跌倒对象的运动状态,若运动状态为非静止状态,说明跌倒对象不是场景中的静物,结合待处理图像S1中存在跌倒对象的结论,可以确定跌倒对象存在跌倒行为,则可以为目标账号生成告警信息,这样对于场景中一直处于静止状态的静物,即使被识别为跌倒对象也不会进行告警,减少了误告警的次数,提高跌倒检测的准确性。
图2为本申请实施例提供的一种跌倒检测方法的流程图,本实施例中,以服务器作为前述计算机设备进行说明,该跌倒检测方法可以包括:
S101,响应于目标账号对应的跌倒检测任务,获取跌倒检测任务对应的待处理视频。
本申请实施例中,跌倒检测可以作为一个任务被执行称为跌倒检测任务,跌倒检测任务可以在目标账号下发起,则该跌倒检测任务是与目标账号对应的任务,这样跌倒检测任务具有对应的待处理视频,待处理视频可以为预设时间段内拍摄的视频,可以包括多个图像帧。待处理视频通过目标摄像头拍摄得到,目标账号对目标摄像头具有管理权限,从而可以调取目标摄像头拍摄得到的视频。
具体的,跌倒检测任务可以具有任务配置信息,任务配置信息包括目标摄像头的标识,这样响应于目标账号对应的跌倒检测任务,可以根据目标摄像头的标识,获取目标摄像头拍摄的待处理视频。这样可以通过视频调取,实现对目标摄像头拍摄得到的视频的处理,进而实现对目标摄像头所在场景的跌倒检测。任务配置信息可以在跌倒检测任务发起时配置得到,可以根据配置操作确定,也可以基于默认配置确定。
目标账户可以通过终端设备登录,跌倒检测任务也可以通过终端设备发起,当然前述的任务配置信息也可以通过终端设备确定。参考图3所示,为本申请实施例提供的一种终端设备任务发起界面的示意图,任务发起界面包括功能选择控件101,功能选择控件101用于选择功能。任务发起界面100包括摄像头选择控件103,被选中的摄像头选择控件103对应的摄像头作为目标摄像头,任务发起界面100还包括摄像头搜索控件102,用于搜索可选的摄像头,可被选择的摄像头的标识可以通过摄像头所在空间位置确定。例如摄像头的标识为:7F-会议室等,其中标识为“7F-办公室”的摄像头未被选中,其他摄像头被选中。
任务发起界面还可以包括图像预览区域104,用于预览目标摄像头所拍摄得到的图像。任务发起界面还可以包括区域形状选择控件10C,通过区域形状选择控件10C可以设定图像处理区域的形状,例如可以设定图像处理区域的形状为矩形。图像处理区域可以显示在图像预览区域,参考指示图像处理区域的矩形框10B,通过调整显示的图像处理区域的尺寸和位置,可以确定出最终的图像处理区域。
任务发起界面还可以包括任务提交控件108,在任务提交控件108被触发时生成跌倒检测任务,之后终端设备可以将服务器发送该跌倒检测任务,任务提交控件108被触发时被选中的摄像头选择控件103对应的摄像头作为任务配置信息中的目标摄像头,存在的图像处理区域作为任务配置信息中的图像处理区域。任务发起界面还包括时间段设置控件,时间段设置控件用于设置待处理视频的拍摄时间段,从而将该时间段内拍摄得到的视频作为待处理视频,时间段设置控件包括开始时间设置控件105和结束时间设置控件106。
终端任务发起界面可以在即时应用程序中进行展示,参考图4所示,为本申请实施例提供的一种即视应用程序的功能示意图,即视应用程序可以用于实现智能安防以及其他基础功能,其中智能安防包括跌倒检测,基础功能包括实时预览、历史回放、电子地图、告警中心等,通过智能安防功能可以进行跌倒检测任务的发起,通过实时预览可以查看目标摄像头实时拍摄的画面,通过历史回放可以查看目标摄像头在其他时刻拍摄的画面,通过电子地图可以对不同位置的目标摄像头进行管理,并针对性的查看特性位置的摄像头所拍摄的画面。此外,应用程序还可以连接外设的硬件设备,例如告警提示灯等。
本申请实施例中,跌倒检测方法可以应用于跌倒检测服务平台,跌倒检测服务平台可以设置于服务器中,这样通过服务器中的跌倒检测服务平台可以执行跌倒检测方法。参考图5所示,为本申请实施例提供的一种跌倒检测服务平台的结构示意图,跌倒检测服务平台可以包括服务架构、中间组件和计算资源,其中服务架构用于获取跌倒检测任务以及生成告警信息,服务架构包括消息中心,跌倒检测任务和告警信息可以存储在消息中心,中间组件用于向计算资源分配跌倒检测任务,计算资源用于根据跌倒检测任务获取待处理视频并进行跌倒检测运算,得到跌倒检测结果。跌倒检测服务平台还可以包括消息队列,用于存储告警信息,消息队列中的告警信息按照顺序存储到消息中心,通过服务框架向目标账号发送。
服务架构还可以包括视频网关,用于连接目标摄像头,从而获取目标摄像头拍摄得到的待处理视频,计算资源可以从视频网关获取待处理视频。参考图6所示,为本申请实施例提供的一种视频网关的工作示意图,视频网关可以连接多个目标摄像头,目标摄像头作为云摄像头。这样目标摄像头与视频网关连接,作为一种物联网(Internet of Things,IoT)设备,使图像的获取更加方便,同时目标摄像头具有确定的位置,这样可以将空间数据和物联网数据融合,实现相关区域的统一管理。在从视频网关获取目标摄像头拍摄的待处理视频之前,还可以在视频网关进行登录,在登录成功后向视频网关发送视频获取请求以进行待处理视频的获取,登录的账号可以为目标账号,也可以为权限高于目标账号的账号。此外,服务架构还包括云存储,云存储用于存储告警信息所包括或所关联的告警视频,告警视频可以被用户调用,参考图5所示。
具体的,跌倒检测服务平台可以基于SPP架构搭建,即服务结构可以为SPP架构,SPP架构是一种高效、健壮的通用网络服务器运行框架,它可以提供一系列的基础功能,例如日志、统计与监测、内存分配等,也可以提供应用程序编程接口(ApplicationProgramming Interface,API)给业务人员开发基于SPP的插件,中间组件可以为Zookeeper,其是一种分布式应用程序协调服务,调用相应的计算资源执行相应的算法。
计算资源可以包括第一计算资源、第二计算资源和第三计算资源,其中第一计算资源、第二计算资源和第三计算资源可以为同一计算资源,也可以为独立处理且能够互相通信的不同计算资源,例如第一计算资源可以为中央处理器(Central Processing Unit,CPU)资源,第二计算资源可以为图形处理器(Graphics Processing Unit,GPU)资源,第三计算资源可以为人工智能(Artificial Intelligence,AI)处理资源,其中中央处理器具有优异的任务解析能力,图形处理器具有优异的图形处理能力,人工智能处理资源具有针对性的数据处理能力,通过这些计算资源可以高效的实现跌倒检测。
具体的,可以通过第一计算资源获取目标账号对应的待处理视频,第一计算资源可以通过视频网关获取待处理视频,通过视频网关获取待处理视频的方式,可以参考图6所示。
S102,对待处理视频中的待处理图像进行跌倒对象检测得到检测结果。
在获取到待处理图像之后,可以对待处理视频中的待处理图像进行跌倒对象检测得到检测结果,待处理图像可以为待处理视频中的图像帧,则可以预先在待处理视频中确定待处理图像。在待处理视频中确定待处理图像,可以通过第二计算资源实现,第二计算资源也可以对待处理图像进行跌倒对象检测得到检测结果。
具体的,可以从待处理视频所包括的多个视频帧中抽取一个图像作为待处理图像,实际操作中,可以将待处理视频中的多个视频帧依次作为待处理图像,或者从待处理视频中的多个视频帧中抽取部分图像,依次将部分图像作为待处理图像。从待处理视频抽取一个图像可以通过视频分帧操作实现。
具体的,任务配置信息还可以包括图像处理区域,图像处理区域用于定义图像中需要处理的区域,则在待处理视频中确定待处理图像,可以具体为,从待处理视频中确定待处理的初始图像,从初始图像中截取对应于图像处理区域的图像作为待处理图像,图像处理区域可以预先配置得到,使图像处理具有针对性,减少不必要的资源浪费。
对待处理图像的跌到对象检测可以通过目标检测算法实现,也可以通过预先建立的跌倒检测模型实现。对待处理图像的跌倒对象检测可以通过图像识别实现,若可以从待处理图像中识别到跌倒对象,则确定待处理图像的检测结果为存在跌倒对象,若无法从待处理图像中识别到跌倒对象,则确定待处理图像的检测结果为不存在跌倒对象。
目标检测算法例如特征融合SSD(Feature Fusion Single Shot multi-boxDetector,FSSD),这是一种改进的特征融合算法,采用了一种新型的、轻量级的特征融合模块,可以在速度稍有下降的情况下显著提高SSD的性能。
通过跌倒检测模型实现跌倒检测时,可以将待处理视频中的待处理图像输入预先训练得到的跌倒检测模型,跌倒检测模型可以为Faster RCNN模型,相较于CNN模型具有较好的性能,可以高效提取目标对象,跌倒检测模型可以包括特征提取网络、区域候选网络(Region Proposal Networks,RPN)、兴趣池化网络(Roi Pooling)和分类网络(Classification),其中特征提取网络可以包括卷积网络层(Conv layers)。
参考图7所示,为本申请实施例提供的一种跌倒检测模型的结构示意图,特征提取网络用于对待处理图像S1进行特征提取得到特征图(feature map),区域候选网络用于对特征图进行处理得到特征图对应的候选框(proposal),候选框中存在待识别对象,兴趣池化网络用于根据候选框从特征图中确定待分类图像(proposal feature maps),分类网络用于对待分类图像进行分类得到分类结果,分类结果作为对待处理图像进行跌倒对象检测的检测结果,分类结果包括待识别对象为跌倒对象或待识别对象不为跌倒对象,这样根据分类结果确定出的检测结果包括存在跌倒对象或不存在跌倒对象,能够高效的进行跌倒检测。
参考图8所示,为本申请实施例提供的另一种跌倒检测模型的结构示意图,其中特征提取网络可以包括卷积层(conv)、激活层(relu)和池化层(pooling),卷积层、激活层和池化层的数量可以根据实际情况设置,举例来说,卷积层的数量可以为13,激活层的数量可以为13,池化层的数量可以为4。输入到跌倒检测模型的图像的尺寸为任意大小P*Q,跌倒检测模型可以将图像尺寸缩放至固定大小M*N后输入到特征提取网络进行特征提取。
区域候选网络可以包括卷积层,该网络还可以包括重构算法、归一化算法等,从而确定出特征图对应的候选框,通过卷积层、重构算法和归一化算法,可以对根据特征图形成初始候选框集合(Anchor box),对初始候选框集合进行裁剪过滤以及二分类判断,二分类判断可以用于区分特征图中的元素属于前景(foreground)或背景(background),前景作为待识别对象,背景作为场景不属于待识别对象。区域候选网络中的卷积层可以为多个,例如可以包括一个卷积核为3*3的卷积层和一个卷积核为1*1的卷积层,两个卷积层之间可以设置激活层,卷积层的输出结果经过重构算法、归一化算法和重构算法进行处理得到候选框。区域候选网络还可以包括修正部分,修正部分包括卷积层,该卷积层的输出结果用于修正候选框,基于修正部分的结果对候选框修正的原理是边框回归(bounding boxregression),使候选框和待识别对象的尺寸接近,使候选框的位置更为精确。
兴趣池化网络的输入为特征图和候选框,这样可以通过候选框确定待分类图像,而后向分类网络输出待分类图像。分类网络可以包括全连接层(full connection)和池化层,全连接层和池化层的数量可以根据实际情况设置,例如可以均为2,全连接层用于对待分类图像进行分类得到分类结果。
作为一种可能的实现方式,跌倒检测模型可以利用历史图像和历史图像的标签进行训练,历史图像可以为存在跌倒对象的图像,也可以为不存在跌倒对象的图像,历史图像的标签用于指示历史图像是否存在跌倒对象,这样将历史图像输入初始模型,可以得到对历史图像进行跌倒对象检测的检测结果,利用检测结果和历史图像的标签可以构建损失函数,通过调整初始模型的参数,使损失函数满足一定条件,此时初始模型被训练为跌倒检测模型。
作为另一种可能的实现方式,跌倒检测模型可以利用存在跌倒对象的历史图像进行训练,这样将历史图像输入初始模型,可以得到对历史图像进行跌倒对象检测的检测结果,利用检测结果构建损失函数,通过调整初始模型的参数,使损失函数满足一定条件,此时初始模型被训练为得到检测模型。
其中,损失函数满足一定条件,可以包括损失函数的值小于或等于一定阈值,或者多个检测得到的损失函数的值收敛。具体实施时,跌倒检测任务的任务配置信息,可以包括用于指示告警阈值的预设等级,预设等级和损失函数的阈值可以具有对应关系,即损失函数满足一定条件,可以具体为,损失函数的值小于或等于预设等级对应的阈值,其中预设等级越高,对应的阈值可以越低,使跌倒检测更为准确。预设等级可以在发布跌倒检测任务时设置,参考图3所示,风险等级选择控件10C用于选择预设等级,在跌倒检测任务生成时,被选中的风险等级选择控件10C对应的风险等级作为预设等级,从图中可以看出,预设等级为高级。
S103,若检测结果为存在跌倒对象时,根据跌倒对象分别在待处理图像和待处理视频中的参考图像中的姿态,确定跌倒对象的运动状态。
在得到检测结果后,检测结果可以为存在跌倒对象或不存在跌倒对象,在存在跌倒对象时,往往意味着跌倒对象有一定风险,因此通常会进行告警,然而这种方式存在将静置的物体识别为人员跌倒的情况,因此直接进行告警,存在误告警,降低了跌倒检测准确性,浪费救助资源。例如摩托车上放置有头盔时,容易被识别为平躺的人员,容易出现识别错误导致误告警,参考图9所示,为本申请实施例提供的一种误告警的示意图,图像中的摩托车被识别为跌倒对象,告警信息中包括跌倒对象所在的矩形框,且图像中存在“warning”的告警标识。因此,本申请实施例在通过图像识别确定存在人员跌倒后,增加跌倒对象的运动状态的判断,这样对于场景中一直处于静止状态的静物,即使被识别为跌倒对象也不会进行告警,减少了误告警的次数,提高跌倒检测的准确性。
具体的,可以从待处理视频中确定出参考图像,待处理图像和参考图像属于同一待处理视频,因此通过同一摄像头对同一场景拍摄得到,通常具有同样的对象和背景。从待处理视频中确定出参考图像,可以由第二计算资源实现。参考图像在待处理视频中的播放时间早于待处理图像,且与待处理图像之间的图像帧数量少于预设数量,这样待处理图像和参考图像之间的时间间隔较短,在待处理图像存在跌倒对象的情况下,参考图像往往存在该跌倒对象,且该跌倒对象的姿态可能与待处理图像中的姿态相同,也可以不同,因此根据跌倒对象分别在待处理图像和参考图像中的姿态,确定跌倒对象的运动状态,确定运动状态可以由第三计算资源实现。参考图像可以为待处理图像之前的多张图像,参考图像的数量可以为3-5张,多张图像可以分别和待处理图像进行跌倒对象的姿态的比较。
由于跌倒行为是一个运行过程,是由站立或其他姿势进入到跌倒姿势的过程,因此可以根据待处理图像之前的参考图像,结合待处理图像判断跌倒对象的运动状态,从而判断跌倒对象是否存在跌倒行为,若存在,说明图像识别正确,若不存在,说明图像识别错误。具体的,若运动状态为非静止状态,则说明跌倒对象存在跌倒过程,若运动状态为静止状态,则说明跌倒对象不存在跌倒过程,而是一直呈现为跌倒状态。
确定跌倒对象的运动状态可以通过帧间差分法实现,帧间差分法是一种通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法,它可以很好地适用于存在多个运动目标和摄像机移动的情况。当监测场景中出现异常物体运动时,帧与帧之间会出现较为明显的差别,两帧相减,得到两帧图像像素差的绝对值,判断它是否大于阈值来分析视频或图像序列的运动特性,确定图像序列中有无物体运动。图像序列逐帧的差分,相当于对图像序列进行了时域下的高通滤波。
具体的,在确定跌倒对象的运动状态的过程中,比较待处理图像和参考图像中的像素差异,将像素差异小于或等于预设阈值的像素点作为背景像素点,将像素差异大于预设阈值的像素点作为前景像素点。若跌倒对象对应的像素点属于前景像素点,则确定跌倒对象分别在待处理图像和所述参考图像中的姿态不同,跌倒对象的运动状态为非静止状态;若跌倒对象对应的像素点属于背景像素点,则确定跌倒对象分别在待处理图像和参考图像中的姿态相同,跌倒对象的运动状态为静止状态,这样可以通过图像之间的差异确定跌倒对象的运动状态,通过简单的运算实现图像识别目的。
其中,第i行第j列的像素差异可以表示为d(i,j),像素差异可以通过如下方式确定:
其中fk(i,j)为待处理图像中的第i行第j列的像素点的像素值,fk-1(i,j)为参考图像中的第i行第j列的像素点的像素值,Th为预设阈值,d(i,j)为二值图像,将d(i,j)为1的像素点作为前景像素点,将d(i,j)为0的像素点作为背景像素点。举例来说,待处理图像可以为待处理视频中的第k帧,参考图像可以为待处理视频中的第k-1帧,也可以为待处理视频中的第k-m帧,m根据参考图像和待处理图像之间的图像帧的预设数量确定,m-1可以小于或等于预设数量加一。
S104,若运动状态为非静止状态,则为目标账号生成告警信息。
若运动状态为非静止状态,则说明跌倒对象存在跌倒过程,此时可以为目标账号生成告警信息,使拥有目标账号的用户可以查看告警信息,并进行相关处理。其中告警信息可以根据待处理图像、参考图像和待处理图像所属的摄像头生成,这样告警信息可以包括存在跌倒状态的待处理图像的信息,也可以包括体现跌倒过程的参考图像的信息,还可以体现待处理图像所属的摄像头的信息,利于后续针对性的进行告警处理。具体的,可以根据待处理图像和参考图像生成告警视频,告警视频作为体现跌倒过程,便于人工判断跌倒风险,告警视频可以包括在告警信息中,也可以作为告警信息的关联信息,在查看告警信息时,可以同时向用户展示告警视频。告警信息还可以包括待处理图像所属的摄像头的标识和所在空间位置中的至少一种,从而可以利用人工快速获知跌倒行为发生的空间位置。
本申请实施例中,还可以对待处理图像进行人体检测,在确定存在跌倒行为,并且跌倒对象为人体时,为目标账号生成告警信息,人体检测可以在跌倒行为检测之前执行,也可以在跌倒行为检测之后执行。人体检测可以由点计算资源实现。这是因为跌倒检测中可能会存在物品跌倒等情况,例如电动车跌倒、垃圾桶跌倒等情况,这种情况也会在一定程度上导致误告警,因此通过人体检测可以判断跌倒对象是否为人体,仅在跌倒对象为人体时进行告警,提高跌倒检测的准确性。人体检测的执行可以根据待处理图像所属的摄像头的设置位置确定,若设置位置在室内,往往很少垃圾桶跌倒或电动车跌倒的状况,因此可以不进行人体检测,而在存在跌倒行为时进行告警,若设置位置在室外,进行人体检测,降低静置物品和物品跌倒等异常情况导致的误告警,可以提高跌倒检测的准确性,扩宽跌倒检测的使用场景。
具体的,在向目标账号告警之前,可以对跌倒对象进行肢体识别得到肢体信息,若根据肢体信息确定跌倒对象为人体,则可以执行为目标账号生成告警信息的操作。对跌倒对象进行肢体识别的方式,可以通过椭圆拟合的信息和椭圆轴线上的投影直方图作为特征,进行人体肢体识别,人体肢体可以包括头部、肘部、手部、膝部等,肢体信息可以包括人体肢体的位置等,若能够识别出相应的人体肢体,且人体肢体的相对位置合理,则说明跌倒对象为人体。
具体实施时,还可以根据肢体信息确定跌倒对象的风险等级,风险等级的确定可以由第三计算资源实现,其中可以在确定跌倒对象为人体之后,根据肢体信息确定跌倒对象的跌倒姿态,根据跌倒姿态确定跌倒对象的风险等级,若风险等级高于或等于预设等级,则执行为目标账号生成告警信息的操作。当然,若风险等级小于预设等级,可以执行为目标账号生成告警信息的操作。风险等级可以分为多级,例如可以分为高级、中级和低级,预设等级可以为风险等级中的一种,例如预设等级为高级时,可以在判断跌倒对象的风险等级为高级时进行告警,而在风险等级为中级或低级时不进行告警,这样可以将救助资源向风险等级高的跌倒行为倾斜,利于保证跌倒人员的安全。预设等级可以在发布跌倒检测任务时设置,参考图3所示,跌倒检测任务的任务配置信息可以包括预设等级。
其中,跌倒姿态例如坐下姿态、平躺姿态等,跌倒姿态也可以包括预设人体肢体与地面的相对位置,其中平躺姿态的风险等级高于坐下姿态的风险等级,头部接触地面的风险等级高于膝部、肘部和手部中任意一种或多种接触地面的风险等级。
参考图10所示,为本申请实施例提供的一种跌倒检测的流程示意图,目标摄像头拍摄得到待处理视频。第一计算资源(例如CPU)可以进行任务管理,其可以通过从视频网关拉流,获取到待处理视频,并向第二计算资源(例如GPU)发送待处理视频。
第二计算资源(例如GPU)可以从待处理视频中提取到待处理图像,并对待处理图像进行跌倒对象检测得到检测结果,检测结果包括存在跌倒对象或不存在跌倒对象。若检测结果为不存在跌倒对象,则对待处理图像的跌倒检测结束,可以将新的图像作为待处理图像继续跌倒检测;若检测结果为存在跌倒对象,则可以从待处理视频中获取到参考图像,通过第三计算资源(例如AI模块)基于参考图像和待处理图像进行进一步判断。
第三计算资源(例如AI模块)可以根据待处理图像和参考图像进行跌倒对象的运动状态确定,若确定运动状态为静止状态,确定不存在跌倒行为,则对待处理图像的跌倒检测结束,可以将新的图像作为待处理图像继续跌倒检测;若确定运动状态为非静止状态,确定存在跌倒行为,则可以继续对待处理图像进行分析。第三计算资源在确定运动状态为非静止状态时,可以进行人体检测,在确定跌倒对象为人体时,可以为目标账号生成告警信息;在确定跌倒对象不为人体时,可以不为目标账号生成告警信息。
本申请实施例中,还可以向目标账号发送告警信息,告警信息的发送方式可以通过任务配置信息指示,参考图3所示,提醒方式选择控件10A用于选择告警信息的发送方式,在跌倒检测任务提交时被选中的提醒方式选择控件10A对应的提醒方式,为告警信息的发送方式。告警信息的发送方式例如向目标账号的告警中心发送告警消息,在目标账户的客户端弹窗等。目标账户的客户端可以为移动终端例如手机等,也可以为个人计算机(Personal Computer,PC),这样用户可以在电脑或手机查看告警信息,以便实时对告警信息对应的跌倒时间进行处理,或者点击告警信息查看详细情况,例如查看告警视频以获取跌倒行为发生过程,查看待处理图像所属的摄像头对应的位置,以掌握发生跌倒行为的实际位置。
客户端弹窗的显示方式和显示位置,可以根据客户端的显示特性确定,例如可以在电脑屏幕的右下角弹窗显示告警信息,可以在手机屏幕的通知栏显示告警信息。参考图11所示,为本申请实施例提供的一种通知界面的示意图,通知界面300中具有通知栏301,通知栏301可以显示告警信息。此外,通知界面300中还包括功能选择控件304,用于选择不同的功能,通过界面300中还包括设备统计信息显示区域302,和布控统计信息显示区域303,分别用于展示设备统计信息和布控统计信息。
告警信息可以作为可被点击的控件展示,在点击告警消息后,可以查看告警信息的相关信息。告警信息还可以包括待处理图像所对应的拍摄时间,以及待处理图像等,还可以包括风险等级。告警信息被点击后,还可以被添加备注,用于指示跌倒事件的处理方式、处理事件以及处理人员等。
本申请实施例中,若获取到针对告警信息的处理操作,可以为告警信息增加已处理标识。处理操作可以包括对告警信息的选择操作以及处理信息的添加操作等,处理信息可以包括处理方式、处理事件以及处理人员等中的至少一种。
本申请实施例中,若在为项目账号生成告警信息之后的预设时间段内未获取到针对告警信息的处理操作,则可以获取待处理图像所属的摄像头拍摄的当前图像作为新的待处理图像,返回执行S101、S102,即执行获取所述跌倒检测任务对应的待处理视频、对待处理视频中的待处理图像进行跌倒对象检测得到检测结果的操作,待处理图像为待处理视频中的最新图像,若检测结果为存在跌倒对象时,为目标账号生成二次告警信息。也就是说,可以再次确定跌倒对象的最新状态,若告警信息未被处理,且跌倒对象仍处于跌倒状态,则可以进行二次告警。当然,若告警信息被处理,或跌倒对象不处于跌倒状态时可以不进行二次告警。
预设时间段可以为默认设置,也可以在跌倒检测任务提交时被设定,预设时间段可以通过任务配置信息指示。参考图3所示,停留时长设置控件107用于设置停留时长,停留时长作为预设时间段,可以为5秒、10秒、20秒、5分钟等,也可以为其他自定义时长。
基于本申请实施例提供的一种跌倒检测方法,本申请实施例还提供了一种跌倒检测装置,参考图12所示,为本申请实施例提供的一种跌倒检测装置的结构框图,该跌倒检测装置1300包括:
视频获取单元1301,用于响应于目标账号对应的跌倒检测任务,获取所述跌倒检测任务对应的待处理视频;
检测单元1302,用于对所述待处理视频中的待处理图像进行跌倒对象检测得到检测结果;
运动状态确定单元1303,用于若所述检测结果为存在跌倒对象时,根据所述跌倒对象分别在所述待处理图像和所述待处理视频中的参考图像中的姿态,确定所述跌倒对象的运动状态,所述参考图像在所述待处理视频中播放时间早于所述待处理图像,且与所述待处理图像之间的图像帧数量少于预设数量;
告警生成单元1304,用于若所述运动状态为非静止状态,则为所述目标账号生成告警信息。
可选的,所述检测单元1302包括:
输入单元,用于将所述待处理视频中的待处理图像输入预先训练得到的跌倒检测模型,所述跌倒检测模型包括特征提取网络、区域候选网络、兴趣池化网络和分类网络;
所述特征提取网络用于对所述待处理图像进行特征提取得到特征图;
所述区域候选网络用于对所述特征图进行处理得到所述特征图对应的候选框,所述候选框中存在待识别对象;
所述兴趣池化网络用于根据所述候选框从所述特征图中确定待分类图像;
所述分类网络用于对所述待分类图像进行分类得到分类结果,所述分类结果作为对所述待处理图像进行跌倒对象检测的检测结果,所述分类结果包括所述待识别对象为跌倒对象或所述待识别对象不为跌倒对象。
可选的,所述跌倒检测任务具有任务配置信息,所述任务配置信息包括用于指示告警阈值的预设等级,所述装置还包括:
历史图像输入单元,用于将历史图像输入所述初始模型,得到对所述历史图像进行跌倒对象检测的检测结果;
损失函数构建单元,用于利用所述检测结果和所述历史图像的标签构建损失函数,所述历史图像的标签用于指示所述历史图像是否存在跌倒对象;
参数调整单元,用于通过调整所述初始模型的参数,使所述损失函数的值小于或等于所述预设等级对应的阈值,使所述初始模型转换为跌倒检测模型。
可选的,所述装置还包括:
肢体信息识别单元,用于所述为所述目标账号生成告警信息之前,对所述跌倒对象进行肢体识别得到肢体信息;
启动单元,用于若根据所述肢体信息确定所述跌倒对象为人体,则通过所述告警生成单元1304执行所述为所述目标账号生成告警信息的操作。
可选的,所述装置包括:
跌倒姿态确定单元,用于所述确定所述跌倒对象为人体之后,为所述目标账号生成告警信息之前,根据所述肢体信息确定所述跌倒对象的跌倒姿态;
风险等级确定单元,用于根据所述跌倒姿态确定所述跌倒对象的风险等级;
启动单元,用于若所述风险等级高于或等于预设等级,则通过所述告警生成单元1304执行所述为所述目标账号生成告警信息的操作。
可选的,所述装置应用于跌倒检测服务平台,所述跌倒检测服务平台包括第一计算资源、第二计算资源和第三计算资源,所述第一计算资源包括所述视频获取单元1301,所述第二计算资源包括所述检测单元1302,所述第三计算资源包括运动状态确定单元1303。
可选的,所述运动状态确定单元1303,包括:
差异比较单元,用于比较所述待处理图像和所述参考图像中的像素差异;
像素点确定单元,用于将所述像素差异小于或等于预设阈值的像素点作为背景像素点,将所述像素差异大于所述预设阈值的像素点作为前景像素点;
运动状态确定子单元,用于若所述跌倒对象对应的像素点属于所述前景像素点,则确定所述跌倒对象分别在所述待处理图像和所述参考图像中的姿态不同,所述跌倒对象的运动状态为非静止状态;若所述跌倒对象对应的像素点属于背景像素点,则确定所述跌倒对象分别在所述待处理图像和所述参考图像中的姿态相同,所述跌倒对象的运动状态为静止状态。
可选的,所述跌倒检测任务包括任务配置信息,所述任务配置信息包括目标摄像头的标识,所述视频获取单元1301,包括:
视频获取子单元,用于响应于目标账号对应的跌倒检测任务,根据所述摄像头的标识,获取所述目标摄像头拍摄的待处理视频;
所述告警生成单元1304包括:
告警生成子单元,用于根据所述待处理图像、所述参考图像和所述待处理图像所属的摄像头,为所述目标账号生成所述告警信息。
可选的,所述任务配置信息还包括图像处理区域,所述装置还包括:
初始图像获取单元,用于从所述待处理视频中确定待处理的初始图像;
图像截取单元,用于从所述初始图像中截取对应于所述图像处理区域的图像作为待处理图像。
可选的,所述任务配置信息包括停留时长,所述装置还包括:
标识添加单元,用于若获取到针对所述告警信息的处理操作,为所述告警信息增加已处理标识;
二次告警单元,用于若在为所述目标账号生成所述告警信息之后的预设时间段内未获取到针对所述告警信息的处理操作,则通过所述视频获取单元1301和所述检测单元1302,分别执行所述获取所述跌倒检测任务对应的待处理视频、所述对所述待处理视频中的待处理图像进行跌倒对象检测得到检测结果的操作,所述待处理图像为所述待处理视频中的最新图像,若所述检测结果为存在跌倒对象,则为所述目标账号生成二次告警信息。
由上述技术方案可以看出,响应于目标账号对应的跌倒检测任务,可以获取跌倒检测任务对应的待处理视频,对待处理视频中的待处理图像进行跌倒对象检测得到检测结果,检测结果可以为存在跌倒对象或不存在跌倒对象。若检测结果为存在跌倒对象时,可以根据待处理视频中的参考图像进行进一步判断,待处理图像和参考图像属于同一待处理视频,因此通过同一摄像头对同一场景拍摄得到,通常具有同样的对象和背景。参考图像在待处理视频中的播放时间早于待处理图像,且与待处理图像之间的图像帧数量少于预设数量,这样在待处理图像存在跌倒对象的情况下,参考图像往往存在该跌倒对象,且该跌倒对象的姿态可能与待处理图像中的姿态相同,也可以不同,因此根据跌倒对象分别在待处理图像和参考图像中的姿态,确定跌倒对象的运动状态,若运动状态为非静止状态,说明跌倒对象不是场景中的静物,结合待处理图像中存在跌倒对象的结论,可以确定跌倒对象很有可能存在跌倒行为,则为目标账号生成告警信息,这样对于场景中一直处于静止状态的静物,即使被识别为跌倒对象也不会进行告警,减少了误告警的次数,提高跌倒检测的准确性。
本申请实施例还提供了一种计算机设备,该计算机设备为前述介绍的计算机设备,可以包括终端设备或服务器,前述的跌倒检测装置可以配置在该计算机设备中。下面结合附图对该计算机设备进行介绍。
若该计算机设备为终端设备,请参见图13所示,本申请实施例提供了一种终端设备,以终端设备为手机为例:
图13示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图13,手机包括:射频(Radio Frequency,简称RF)电路1410、存储器1420、输入单元1430、显示单元1440、传感器1450、音频电路1460、无线保真(简称WiFi)模块1470、处理器1480、以及电源1490等部件。本领域技术人员可以理解,图13中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图13对手机的各个构成部件进行具体的介绍:
RF电路1410可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器1480处理;另外,将设计上行的数据发送给基站。
存储器1420可用于存储软件程序以及模块,处理器1480通过运行存储在存储器1420的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器1420可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器1420可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1430可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元1430可包括触控面板1431以及其他输入设备1432。
显示单元1440可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1440可包括显示面板1441。
手机还可包括至少一种传感器1450,比如光传感器、运动传感器以及其他传感器。
音频电路1460、扬声器1461,传声器1462可提供用户与手机之间的音频接口。
WiFi属于短距离无线传输技术,手机通过WiFi模块1470可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。
处理器1480是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器1420内的软件程序和/或模块,以及调用存储在存储器1420内的数据,执行手机的各种功能和处理数据。
手机还包括给各个部件供电的电源1490(比如电池)。
在本实施例中,该终端设备所包括的处理器1480还具有以下功能:
响应于目标账号对应的跌倒检测任务,获取所述跌倒检测任务对应的待处理视频;
对所述待处理视频中的待处理图像进行跌倒对象检测得到检测结果;
若所述检测结果为存在跌倒对象时,根据所述跌倒对象分别在所述待处理图像和所述待处理视频中的参考图像中的姿态,确定所述跌倒对象的运动状态,所述参考图像在所述待处理视频中播放时间早于所述待处理图像,且与所述待处理图像之间的图像帧数量少于预设数量;
若所述运动状态为非静止状态,则为所述目标账号生成告警信息。
若计算机设备为服务器,本申请实施例还提供一种服务器,请参见图14所示,图14为本申请实施例提供的服务器1500的结构图,服务器1500可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器1522,如中央处理器(Central ProcessingUnits,简称CPU),存储器1532,一个或一个以上存储应用程序1542或数据1544的存储介质1530(例如一个或一个以上海量存储设备)。其中,存储器1532和存储介质1530可以是短暂存储或持久存储。存储在存储介质1530的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,处理器1522可以设置为与存储介质1530通信,在服务器1500上执行存储介质1530中的一系列指令操作。
服务器1500还可以包括一个或一个以上电源1526,一个或一个以上有线或无线网络接口1550,一个或一个以上输入输出接口1558,和/或,一个或一个以上操作系统1541,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于图14所示的服务器结构。
另外,本申请实施例还提供了一种存储介质,所述存储介质用于存储计算机程序,所述计算机程序用于执行上述实施例提供的方法。
本申请实施例还提供了一种包括指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例提供的方法。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质可以是下述介质中的至少一种:只读存储器(英文:Read-only Memory,缩写:ROM)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备及系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述,仅为本申请的一种具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。而且本申请在上述各方面提供的实现方式的基础上,还可以进行进一步组合以提供更多实现方式。因此,本申请的保护范围应该以权利要求的保护范围为准。
Claims (15)
1.一种跌倒检测方法,其特征在于,所述方法包括:
响应于目标账号对应的跌倒检测任务,获取所述跌倒检测任务对应的待处理视频;
对所述待处理视频中的待处理图像进行跌倒对象检测得到检测结果;
若所述检测结果为存在跌倒对象时,根据所述跌倒对象分别在所述待处理图像和所述待处理视频中的参考图像中的姿态,确定所述跌倒对象的运动状态,所述参考图像在所述待处理视频中播放时间早于所述待处理图像,且与所述待处理图像之间的图像帧数量少于预设数量;
若所述运动状态为非静止状态,则为所述目标账号生成告警信息。
2.根据权利要求1所述的方法,其特征在于,所述对所述待处理视频中的待处理图像进行跌倒对象检测得到检测结果,包括:
将所述待处理视频中的待处理图像输入预先训练得到的跌倒检测模型,所述跌倒检测模型包括特征提取网络、区域候选网络、兴趣池化网络和分类网络;
所述特征提取网络用于对所述待处理图像进行特征提取得到特征图;
所述区域候选网络用于对所述特征图进行处理得到所述特征图对应的候选框,所述候选框中存在待识别对象;
所述兴趣池化网络用于根据所述候选框从所述特征图中确定待分类图像;
所述分类网络用于对所述待分类图像进行分类得到分类结果,所述分类结果作为对所述待处理图像进行跌倒对象检测的检测结果,所述分类结果包括所述待识别对象为跌倒对象或所述待识别对象不为跌倒对象。
3.根据权利要求2所述的方法,其特征在于,所述跌倒检测任务具有任务配置信息,所述任务配置信息包括用于指示告警阈值的预设等级,所述方法还包括:
将历史图像输入所述初始模型,得到对所述历史图像进行跌倒对象检测的检测结果;
利用所述检测结果和所述历史图像的标签构建损失函数,所述历史图像的标签用于指示所述历史图像是否存在跌倒对象;
通过调整所述初始模型的参数,使所述损失函数的值小于或等于所述预设等级对应的阈值,使所述初始模型转换为跌倒检测模型。
4.根据权利要求1所述的方法,其特征在于,所述为所述目标账号生成告警信息之前,所述方法还包括:
对所述跌倒对象进行肢体识别得到肢体信息;
若根据所述肢体信息确定所述跌倒对象为人体,则执行所述为所述目标账号生成告警信息的操作。
5.根据权利要求4所述的方法,其特征在于,所述确定所述跌倒对象为人体之后,为所述目标账号生成告警信息之前,所述方法包括:
根据所述肢体信息确定所述跌倒对象的跌倒姿态;
根据所述跌倒姿态确定所述跌倒对象的风险等级;
若所述风险等级高于或等于预设等级,则执行所述为所述目标账号生成告警信息的操作。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述方法应用于跌倒检测服务平台,所述跌倒检测服务平台包括第一计算资源、第二计算资源和第三计算资源,所述第一计算资源用于执行所述获取所述目标账号对应的待处理视频的操作,所述第二计算资源用于执行所述对所述待处理视频中的待处理图像进行跌倒对象检测得到检测结果的操作,所述第三计算资源用于执行所述根据所述跌倒对象分别在所述待处理图像和所述待处理视频中的参考图像中的姿态,确定所述跌倒对象的运动状态的操作。
7.根据权利要求1-5任一项所述的方法,其特征在于,所述根据所述跌倒对象分别在所述待处理图像和所述参考图像中的姿态,确定所述跌倒对象的运动状态,包括:
比较所述待处理图像和所述参考图像中的像素差异;
将所述像素差异小于或等于预设阈值的像素点作为背景像素点,将所述像素差异大于所述预设阈值的像素点作为前景像素点;
若所述跌倒对象对应的像素点属于所述前景像素点,则确定所述跌倒对象分别在所述待处理图像和所述参考图像中的姿态不同,所述跌倒对象的运动状态为非静止状态;
若所述跌倒对象对应的像素点属于背景像素点,则确定所述跌倒对象分别在所述待处理图像和所述参考图像中的姿态相同,所述跌倒对象的运动状态为静止状态。
8.根据权利要求1-5任一项所述的方法,其特征在于,所述跌倒检测任务包括任务配置信息,所述任务配置信息包括目标摄像头的标识,所述响应于目标账号对应的跌倒检测任务,获取所述跌倒检测任务对应的待处理视频,包括:
响应于目标账号对应的跌倒检测任务,根据所述摄像头的标识,获取所述目标摄像头拍摄的待处理视频;
所述为所述目标账号生成告警信息,包括:
根据所述待处理图像、所述参考图像和所述待处理图像所属的摄像头,为所述目标账号生成所述告警信息。
9.根据权利要求8所述的方法,其特征在于,所述任务配置信息还包括图像处理区域,所述方法还包括:
从所述待处理视频中确定待处理的初始图像;
从所述初始图像中截取对应于所述图像处理区域的图像作为待处理图像。
10.根据权利要求8所述的方法,其特征在于,所述任务配置信息包括停留时长,所述方法还包括:
若获取到针对所述告警信息的处理操作,为所述告警信息增加已处理标识;
若在为所述目标账号生成所述告警信息之后的预设时间段内未获取到针对所述告警信息的处理操作,则返回执行所述获取所述跌倒检测任务对应的待处理视频、所述对所述待处理视频中的待处理图像进行跌倒对象检测得到检测结果的操作,所述待处理图像为所述待处理视频中的最新图像,若所述检测结果为存在跌倒对象,则为所述目标账号生成二次告警信息。
11.一种跌倒检测装置,其特征在于,所述装置包括:
视频获取单元,用于响应于目标账号对应的跌倒检测任务,获取所述跌倒检测任务对应的待处理视频;
检测单元,用于对所述待处理视频中的待处理图像进行跌倒对象检测得到检测结果;
运动状态确定单元,用于若所述检测结果为存在跌倒对象时,根据所述跌倒对象分别在所述待处理图像和所述待处理视频中的参考图像中的姿态,确定所述跌倒对象的运动状态,所述参考图像在所述待处理视频中播放时间早于所述待处理图像,且与所述待处理图像之间的图像帧数量少于预设数量;
告警生成单元,用于若所述运动状态为非静止状态,则为所述目标账号生成告警信息。
12.根据权利要求11所述的装置,其特征在于,所述检测单元包括:
输入单元,用于将所述待处理视频中的待处理图像输入预先训练得到的跌倒检测模型,所述跌倒检测模型包括特征提取网络、区域候选网络、兴趣池化网络和分类网络;
所述特征提取网络用于对所述待处理图像进行特征提取得到特征图;
所述区域候选网络用于对所述特征图进行处理得到所述特征图对应的候选框,所述候选框中存在待识别对象;
所述兴趣池化网络用于根据所述候选框从所述特征图中确定待分类图像;
所述分类网络用于对所述待分类图像进行分类得到分类结果,所述分类结果作为对所述待处理图像进行跌倒对象检测的检测结果,所述分类结果包括所述待识别对象为跌倒对象或所述待识别对象不为跌倒对象。
13.一种计算机设备,其特征在于,所述计算机设备包括处理器以及存储器:
所述存储器用于存储计算机程序,并将所述计算机程序传输给所述处理器;
所述处理器用于根据所述计算机程序中的指令执行权利要求1-10中任意一项所述的跌倒检测方法。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行权利要求1-10中任意一项所述的跌倒检测方法。
15.一种包括计算机程序的计算机程序产品,其特征在于,当其在计算机设备上运行时,使得所述计算机设备执行权利要求1-10中任意一项所述的跌倒检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310125008.XA CN117111887A (zh) | 2023-01-18 | 2023-01-18 | 一种跌倒检测方法和相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310125008.XA CN117111887A (zh) | 2023-01-18 | 2023-01-18 | 一种跌倒检测方法和相关装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117111887A true CN117111887A (zh) | 2023-11-24 |
Family
ID=88807980
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310125008.XA Pending CN117111887A (zh) | 2023-01-18 | 2023-01-18 | 一种跌倒检测方法和相关装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117111887A (zh) |
-
2023
- 2023-01-18 CN CN202310125008.XA patent/CN117111887A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101825045B1 (ko) | 경보 방법 및 장치 | |
US10713798B2 (en) | Low-complexity motion detection based on image edges | |
JP4629090B2 (ja) | カメラ・タンパリング検出 | |
US9811748B2 (en) | Adaptive camera setting modification based on analytics data | |
US20170053504A1 (en) | Motion detection system based on user feedback | |
CN111126317B (zh) | 一种图像处理方法、装置、服务器及存储介质 | |
CN106503666A (zh) | 一种安全监控方法、装置及电子设备 | |
CN104284143A (zh) | 图像监控系统及其方法 | |
CN110543803A (zh) | 监控方法、装置、服务器和存储介质 | |
US20170061214A1 (en) | Controlling bandwith utilization of video transmissions for quality and scalability | |
WO2021068553A1 (zh) | 一种监控方法、装置和设备 | |
KR102233679B1 (ko) | Ess 침입자 및 화재 감지 장치 및 방법 | |
JP5606979B2 (ja) | 画像監視装置 | |
CN104202533B (zh) | 移动检测装置及移动检测方法 | |
CN102801964A (zh) | 一种基于运动检测的智能家居监控方法及其系统 | |
TW202013321A (zh) | 電腦系統及其影像辨識方法 | |
CN105450992A (zh) | 一种基于运动检测的智能家居监控方法及其系统 | |
CN117111887A (zh) | 一种跌倒检测方法和相关装置 | |
CN112926445B (zh) | 抛物行为识别方法、模型训练方法及相关装置 | |
WO2014038924A2 (en) | A method for producing a background model | |
CN112291282B (zh) | 一种动检告警方法及装置 | |
CN111225178A (zh) | 基于对象检测的视频监控方法及其系统 | |
CN117636404B (zh) | 基于非穿戴式设备的跌倒检测方法及系统 | |
US20240144794A1 (en) | Surveillance system and surveillance device | |
CN118132213A (zh) | 一种视频检测方法、装置、电子设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |