CN112992340A - 基于行为识别的疾病预警方法、装置、设备及存储介质 - Google Patents

基于行为识别的疾病预警方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112992340A
CN112992340A CN202110206535.4A CN202110206535A CN112992340A CN 112992340 A CN112992340 A CN 112992340A CN 202110206535 A CN202110206535 A CN 202110206535A CN 112992340 A CN112992340 A CN 112992340A
Authority
CN
China
Prior art keywords
image
subset
abnormal
behavior
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110206535.4A
Other languages
English (en)
Inventor
黄安鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN202110206535.4A priority Critical patent/CN112992340A/zh
Publication of CN112992340A publication Critical patent/CN112992340A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种基于行为识别的疾病预警方法、装置、设备及存储介质，涉及音视频处理技术领域。本申请能够在语言表达受限与意识障碍人群有患疾病时，警示监护人，避免因其无法清晰表达而错过疾病诊断时机的错失发生。方法包括：从实时音视频中获取对象的对象行为图像和背景噪声音频，对象包括0～2岁的婴幼儿、语言残障人士或阿尔茨海默病患者；计算对象行为图像与预设图像集的第一适配度；其中，预设图像集包括：四肢行为图像子集、异常姿态图像子集以及异常行为图像子集；计算背景噪声音频与预设异常音频信息的第二适配度；在所述第一适配度大于第一预设阈值，或所述第二适配度大于第二预设阈值时，向用户进行所述对象患病的可能性预警。

Description

基于行为识别的疾病预警方法、装置、设备及存储介质
技术领域
本申请涉及音视频处理技术领域，特别是涉及一种基于行为识别的疾病预警方法、装置、设备及存储介质。
背景技术
语言表达受限与障碍人群难以表达自身的感受，在这部分人群患有疾病时，无法表达因疾病造成的不适症状，导致旁人难以觉察出其可能患病，进而造成错过疾病的诊断时机的错失发生。
例如，脑部肿瘤是指生长在颅腔的新生物，又称颅内肿瘤、脑癌，可起源于脑、脑膜、神经、血管及脑附件，或由身体的其他组织或脏器转移侵入颅内而形成，大都可产生头痛、颅内高压及局灶性症状。脑瘤的发生率约为1.9～5.4人/(年·10万人)，占全身各种肿瘤的1％～3％。对于早期发现的脑部肿瘤，治愈率较高。0～2岁的幼儿无准确的表达能力，即使出现头痛、颅内高压等早期感受，也无法告知监护人，错过脑部肿瘤的诊断时机，导致病情延误。
因此，如何客观发现语言表达受限与障碍人群的疾病症状，以在早期确诊并治疗疾病，成为亟待解决的问题。
发明内容
本申请实施例提供一种基于行为识别的疾病预警方法、装置、设备及存储介质，在医学实践中，异常行为表示其人可能正在遭受某种疾病侵害，异常行为与疾病之间存在必然关联是不争的事实。但是语言功能受限或意识障碍人群，难以正常表达出其疾病对应的异常行为。本申请能够在语言表达受限与障碍人群有患疾病，例如脑部肿瘤的可能性时，警示监护人，避免因语言表达受限与障碍人群无法表达而错过疾病诊断时机的遗憾发生。
本申请实施例第一方面提供一种基于行为识别的疾病预警方法，应用于识别终端；所述方法包括：
从实时音视频中获取对象的对象行为图像和背景噪声音频，所述对象包括0～2岁的幼儿、语言残障人士或阿尔茨海默病患者；
计算所述行为图像与预设图像集的第一适配度；其中，所述预设图像集包括：四肢行为图像子集、异常姿态图像子集以及异常行为图像子集；
计算所述背景噪声音频与预设异常音频信息的第二适配度；
在所述第一适配度大于第一预设阈值，或所述第二适配度大于第二预设阈值时，向用户进行所述对象患病的可能性预警。
可选地，所述方法还包括：
根据采集终端发送的监控请求，生成采集应用，并将所述采集应用推送给所述采集终端；其中，所述监控请求是所述采集终端识别到所述对象时触发的；
接收所述采集终端返回的所述实时音视频；其中，所述实时音视频是所述采集终端运行所述采集应用，驱动本地设备获得的。
可选地，计算所述对象行为图像与预设图像集的第一适配度，包括：
提取所述对象行为图像的分类特征，所述分类特征包括：任意两个关键点之间的距离、四肢姿态特征、任意两个关键点的连线与水平方向的夹角；
将所述分类特征输入分类器，确定所述对象行为图像对应的类别子集，以及所述类别子集的置信度；所述类别子集为所述四肢行为图像子集、所述异常姿态图像子集、所述异常行为图像子集以及无异常动作图像子集中的任意一个；
在所述类别子集为所述四肢行为图像子集、所述异常姿态图像子集以及所述异常行为图像子集中的任意一个，并且所述置信度大于第三预设阈值时，依次计算所述对象行为图像与所述类别子集中的多个图像的相似度，得到平均相似度；
以所述平均相似度作为所述第一适配度。
可选地，从实时音视频中获取对象行为图像，包括：
利用人脸检测算法，依次对所述实时音视频中的每帧图像进行计算，在每帧图像上确定跟踪目标；
利用边缘检测算法，在每帧图像上生成目标框，以所述目标框画出所述跟踪目标的人体轮廓区域；
在任意相邻的两帧图像的目标框不相同时，输出该相邻的两帧图像，得到所述对象行为图像。
本申请实施例第二方面提供基于行为识别的疾病预警装置，所述装置包括：
获取模块，用于从实时音视频中获取对象的对象行为图像和背景噪声音频，所述对象包括0～2岁的幼儿、语言残障人士或阿尔茨海默病患者；
第一计算模块，用于计算所述对象行为图像与预设图像集的第一适配度；其中，所述预设图像集包括：四肢行为图像子集、异常姿态图像子集以及异常行为图像子集；
第二计算模块，用于计算所述背景噪声音频与预设异常音频信息的第二适配度；
预警模块，用于在所述第一适配度大于第一预设阈值，或所述第二适配度大于第二预设阈值时，向用户进行所述对象患病的可能性预警。
可选地，所述装置还包括：
生成模块，用于根据采集终端发送的监控请求，生成采集应用，并将所述采集应用推送给所述采集终端；其中，所述监控请求是所述采集终端识别到所述对象时触发的；
接收模块，用于接收所述采集终端返回的所述实时音视频；其中，所述实时音视频是所述采集终端运行所述采集应用，驱动本地设备获得的。
可选地，所述第一计算模块包括：
提取子模块，用于提取所述对象行为图像的分类特征，所述分类特征包括：任意两个关键点之间的距离、四肢姿态特征、任意两个关键点的连线与水平方向的夹角；
输入子模块，用于将所述分类特征输入分类器，确定所述对象行为图像对应的类别子集，以及所述类别子集的置信度；所述类别子集为所述四肢行为图像子集、所述异常姿态图像子集、所述异常行为图像子集以及无异常动作图像子集中的任意一个；
第一计算子模块，用于在所述类别子集为所述四肢行为图像子集、所述异常姿态图像子集以及所述异常行为图像子集中的任意一个，并且所述置信度大于第三预设阈值时，依次计算所述对象行为图像与所述类别子集中的多个图像的相似度，得到平均相似度；
确定子模块，用于以所述平均相似度作为所述第一适配度。
可选地，所述获取模块包括：
第二计算子模块，用于利用人脸检测算法，依次对所述实时音视频中的每帧图像进行计算，在每帧图像上确定跟踪目标；
生成子模块，用于利用边缘检测算法，在每帧图像上生成目标框，以所述目标框画出所述跟踪目标的人体轮廓区域；
输出子模块，用于在任意相邻的两帧图像的目标框不相同时，输出该相邻的两帧图像，得到所述对象行为图像。
本申请实施例第三方面提供一种可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如本申请第一方面所述的方法中的步骤。
本申请实施例第四方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现本申请第一方面所述的方法的步骤。
本申请实施例在对象(包括婴幼儿、语言残障人群、老年性疾病患者等人群)的活动区域内设置视频采集装置，采集对象的日常活动影像，得到实时音视频；再从实时音视频中提取对象行为图像和音视频监测信号，进一步计算对象行为图像与预设的异常行为图像集的适配度，以及音视频监测信号(背景噪声音频)与异常音频信息的适配度，在对象行为图像与四肢行为图像子集、异常姿态图像子集以及异常行为图像子集的第一适配度大于第一预设阈值时，或者背景噪声音频与异常音频信息的第二适配度大于第二预设阈值时，向用户预警，以提示对象可能患有疾病，及时就医。本申请利用对象行为图像和音视频监测信号能够客观记载对象在无意识状态下发生的疾病征兆的特征，以对象行为图像与异常行为图像集的适配度，量化对象在日常活动中频繁出现频繁摸头、频繁呕吐、频繁揉眼睛等标志性动作的频率，，以及背景噪声音频与异常音频信息适配度，量化对象摔倒的频率，捕捉早期疾病导致的不易察觉的异常行为，在无需对象主动表达的情况下，向用户警示对象有患疾病的可能性，避免错过最佳治疗时间。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例中基于行为识别的疾病预警方法运行的实施环境图；
图2是本申请实施例提出的基于行为识别的疾病预警方法的步骤流程图；
图3是本申请实施例计算对象行为图像与预设的异常行为图像集的适配度的步骤流程图；
图4是本申请实施例提出的基于行为识别的疾病预警装置的功能模块图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
申请人发现，无法准确表达自己的人群，如0～2岁的婴幼儿、语言残障人群、老年性疾病患者等人群，在患有某些疾病，例如脑部肿瘤时，会出现规律性的四肢行为。规律性的四肢行为包括但不限于：频繁摸头、呕吐、揉眼睛。还会出现异常姿态和异常行为，异常行为包括但不限于突然摔倒，异常姿态包括但与限于走路步态偏斜等。这些四肢行为、异常行为以及异常姿态隐藏在日常行为中，难以发现；或者，易伪装成其他疫病的症状；监护人难以将这些行为与目标疾病联系，即监护人很难将上述行为与恶性肿瘤、例如脑部肿瘤联系。
鉴于上述问题，申请人对大量确诊目标疾病，例如脑部肿瘤的0～2岁婴幼儿、语言残障人群、老年性疾病患者等人群进行行为采样，得到行为数据；同时对同样数量未患有目标疾病，例如脑部肿瘤的0～2岁婴幼儿、语言残障人群、老年性疾病患者等人群进行行为采样，得到对照数据。
进一步对行为样本数据进行计算，得到摸头频率范围、揉眼睛频率范围、揉眼睛时长范围以及呕吐频率等。再一次对行为样本数据进行计算，得到走路步态偏斜的频率。同时，申请人采集了确诊诊目标疾病，例如脑部肿瘤的0～2岁的婴幼儿、语言残障人群、老年性疾病患者等人群的行为音视频，在行为音视频中，提取出图像样本，图像样本包括：四肢行为图像、异常姿态图像以及异常行为图像；其中四肢行为图像包括：摸头基准图像、呕吐基准图像、揉眼睛基准图像；异常姿态图像包括但不限于走路步态偏斜图像；异常行为图像包括但不限于摔倒图像。
摸头基准图像的获得方式是：在行为视频中出现0～2岁婴幼儿、语言残障人群、老年性疾病患者等以摸头频率范围内的频率，频繁摸头时，提取显示该动作的多个视频帧，以该多个视频帧作为摸头基准图像。揉眼睛基准图像的获得方式是：在行为视频中出现0～2岁婴幼儿、语言残障人群、老年性疾病患者等以揉眼睛频率范围内的频率，频繁揉眼睛，并且该频繁揉眼睛的动作持续时长在揉眼睛时长范围内时，提取显示该动作的多个视频帧，以该多个视频帧作为揉眼睛基准图像。呕吐基准图像的获得方式是：在行为视频中出现0～2岁婴幼儿、语言残障人群、老年性疾病患者等以呕吐频率范围内的频率，频繁呕吐时，提取显示该动作的多个视频帧，以该多个视频帧作为呕吐基准图像。
申请人还采集了未患有目标疾病，例如脑部肿瘤的0～2岁婴幼儿、语言残障人群、老年性疾病患者等人群的行为视频，抽样提取该行为视频中的多个视频帧，作为无异常动作图像。
在本发明的实施例中，可以预先根据摸头基准图像、呕吐基准图像、揉眼睛基准图像、走路步态偏斜图像、摔倒图像以及无异常动作图像，得到训练样本，对分类器进行训练，得到可以对任意图像进行分类，确定其所属类别子集的分类器，以进一步利用该分类器完成行为识别，确定出现预设行为的对象，从而实现目标疾病的预警。
为更好执行基于行为识别的疾病预警方法，本申请提出基于行为识别的疾病预警方法运行的实施环境。如图1所示，图1是本申请一个实施例中基于行为识别的疾病预警方法运行的实施环境图，该实施环境包括终端110、服务器120、视频采集装置130，其中，终端110、服务器120、视频采集装置130通过网络140进行通信。
在本申请一些实施例中，终端110可为智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此。视频采集装置130可为摄像头，或者搭载有摄像头的计算终端。视频采集装置130可以设置在室内天花板等位置。网络140可以是有线网络也可以是无线网络。在本申请一些实施例中，视频采集装置130可将采集的视频流发送至终端110或服务器120，终端110或服务器120可对视频流进行目标跟踪。在本申请另一些实施例中，视频采集装置130也可直接对视频流进行目标跟踪，并将跟踪结果发送至终端110进行显示。
服务器120可以是集成计算机，包括处理器、存储介质、内存、网络接口等。其中，存储介质存储有操作系统、数据库、相关程序。网络接口用于与外部终端连接，以接收终端的程序调用。
如图2所示，图2是本申请实施例提出的基于行为识别的疾病预警方法的步骤流程图，在本申请的一个实施例中，提供了一种幼儿行为识别的肿瘤预警方法，应用于识别终端，识别终端是指上述实施环境中的终端110。该方法可由本申请任一实施例提供的幼儿行为识别的肿瘤预警装置执行，包括如下步骤：
步骤S210：从实时音视频中获取对象的对象行为图像和背景噪声音频，所述对象包括0～2岁的幼儿、语言残障人士或阿尔茨海默病患者。。
实时音视频可以由分布在家庭房屋内的视频采集装置130采集得到。采集装置130将采集的实时音视频发送给识别终端，识别终端利用目标跟踪方法在实时视频中定位对象，在定位的对象出现异常行为时，从实时视频中提取记载有对象异常行为的视频帧，得到对象行为图像。
对实时音视频进行音频提取，得到背景噪声音频。
步骤S220：计算所述对象行为图像与预设图像集的第一适配度；其中，所述预设图像集包括：四肢行为图像子集、异常姿态图像子集以及异常行为图像子集。
计算对象行为图像与预设图像集的适配度是指，判断对象行为图像是否可以归于预设图像集中的图像，在对象行为图像与预设图像集中的图像的相似度较大时，可以认为对象行为图像与预设图像集的适配度较高。
可以将多次提取的摸头基准图像集合，即多次提取显示摸头动作的视频帧，并将多个视频帧集合在一起，形成摸头基准图像子集；采用相同手段得到呕吐基准图像子集和揉眼睛基准图像子集，集合摸头基准图像子集、呕吐基准图像子集以及揉眼睛基准图像子集，得到四肢行为图像子集。
按照上述获得摸头基准图像集合的方式，获得异常姿态图像子集和异常行为图像子集。
步骤S230：计算所述背景噪声音频与预设异常音频信息的第二适配度。
可以采集摔倒、肢体摩擦等音频信号，得到异常音频信息。
步骤S240：在所述第一适配度大于第一预设阈值，或所述第二适配度大于第二预设阈值时，向用户进行所述对象患病的可能性预警。
用户可以指持有识别终端的对象监护人。
在对象行为图像仅与一种图像子集适配时，第一预设阈值可以是相对较高的相似度，在对象行为图像与两种图像子集适配时，第一预设阈值可以采用较低的相似度。
在本申请的一种示例中，对象行为图像仅与图像与摸头基准图像子集中的摸头基准图像子集适配，第一预设阈值可以设置为80％，即适配度大于80％时，向用户进行可能性预警。在本申请的另一种示例中，对象行为图像与摸头基准图像子集、揉眼睛基准图像子集均适配，则可以将第一预设阈值设置为60％。
针对同一个实时音视频，出现多次连续向用户进行对象患疾病的可能性预警时，可以触发升级预警。从同一个实时音视频中提取的对象行为图像可以是多个，同时这多个对象行为图像与预设图像集的适配度都大于第一预设阈值时，识别终端会连续向用户进行对象患疾病的可能性预警，连续次数大于N次时，可以触发升级预警，以提示用户对象患疾病的可能性增大。
本申请实施例在对象(包括婴幼儿、语言残障人群、老年性疾病患者等人群)的活动区域内设置视频采集装置，采集对象的日常活动影像，得到实时音视频；再从实时音视频中提取对象行为图像和音视频监测信号，进一步计算对象行为图像与预设的异常行为图像集的适配度，以及音视频监测信号(背景噪声音频)与异常音频信息的适配度，在对象行为图像与四肢行为图像子集、异常姿态图像子集以及异常行为图像子集的第一适配度大于第一预设阈值时，或者背景噪声音频与异常音频信息的第二适配度大于第二预设阈值时，向用户预警，以提示对象可能患有疾病，及时就医。本申请利用对象行为图像和音视频监测信号能够客观记载对象在无意识状态下发生的疾病征兆的特征，以对象行为图像与异常行为图像集的适配度，量化对象在日常活动中频繁出现频繁摸头、频繁呕吐、频繁揉眼睛等标志性动作的频率，以及背景噪声音频与异常音频信息适配度，量化对象摔倒的频率，捕捉早期疾病导致的不易察觉的异常行为，在无需对象主动表达的情况下，向用户警示对象有患疾病的可能性，避免错过最佳治疗时间。
在本申请的一个实施例中，采用搭载有摄像头的计算终端作为视频采集装置130，可以设置在室内公共场合，为节约能源和资源浪费，视频采集装置130不用持续工作。为实现上述目的，本申请的一个实施例提出采集实时视频的方法，步骤如下：
步骤S1：根据采集终端发送的监控请求，生成采集应用，并将所述采集应用推送给所述采集终端；其中，所述监控请求是所述采集终端识别到所述对象时触发的。
采集终端是指视频采集装置130。本申请实施例可以预先收集对象的面部特征，例如人中、眼裂等幼儿脸部特征，作为训练样本，对深度神经网络模型进行训练，得到人脸识别模型。
具体的，深度神经网络是一种深度学习下的机器学习模型。深度学习是机器学习的分支，是使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度神经网络可采用VGG(Visual Geometry Group)网络结构，通过VGG网络结构比通过特征匹配算法进行区分目标的召回率和准确率高。
训练完成的人脸识别模型可以存储在视频采集装置130的计算机终端，计算机终端还存储有人脸检测模型。视频采集装置130的摄像头在检测到其监控范围内出现人脸时，发出信号以使计算机终端执行相关程序，驱动摄像头采集人脸特征，并返回视频采集装置130的计算机终端，计算机终端将人脸特征输入人脸识别模型，识别在监控范围内是否出现对象(0～2岁的婴幼儿、语言残障人士或阿尔茨海默病患者)。
在大型室内场馆分布式安装多个视频采集装置130时，视频采集装置130发送的监控请求可以携带视频采集装置130的编号，识别终端接收到监控请求，提取其中的编号，建立对应文件夹，以在后续存储对应的实时视频。
相应地，采集应用可以携带文件夹的地址，以使视频采集装置130采集的视频流存储至对应文件夹。
步骤S2：接收所述采集终端返回的所述实时音视频；其中，所述实时音视频是所述采集终端运行所述采集应用，驱动本地设备获得的。
本地设备可以是视频采集装置130的摄像头。
本申请一个实施例提出计算所述对象行为图像与预设的异常行为图像集的适配度的方法，图3是本申请实施例计算对象行为图像与预设的异常行为图像集的适配度的步骤流程图，如图3所示，步骤包括：
步骤S310：提取所述对象行为图像的分类特征，所述分类特征包括：任意两个关键点之间的距离、四肢姿态特征、任意两个关键点的连线与水平方向的夹角。
关键点包括：手指、头部区域、眼睛等。人体姿态特征包括：上半身与水平面的夹角、膝盖弯曲角度、手臂与大腿外侧的距离等。
步骤S320：将所述分类特征输入分类器，确定所述对象行为图像对应的类别子集，以及所述类别子集的置信度；所述类别子集为所述四肢行为图像子集、所述异常姿态图像子集、所述异常行为图像子集以及无异常动作图像子集中的任意一个。
所述类别子集的置信度是指，对象行为图像可以归为该类别子集的概率。分类器为本申请其他实施例预先采用摸头基准图像、呕吐基准图像、揉眼睛基准图像以及无异常动作图像，训练得到的可以对任意图像进行分类，确定其所属类别子集的分类器。
步骤S330：在所述类别子集为所述四肢行为图像子集、所述异常姿态图像子集以及所述异常行为图像子集中的任意一个，并且所述置信度大于第三预设阈值时，依次计算所述对象行为图像与所述类别子集中的多个图像的相似度，得到平均相似度。本申请一种示例还提出计算对象行为图像与类别子集中的任一图像的相似的方法，具体步骤包括：分别提取对象行为图像和类别子集中的任一图像中的特征点及其对应的特征向量。根据对象行为图像和类别子集中的任一图像的特征向量的距离关系，将对象行为图像与类别子集中的任一图像进行相似性匹配；根据对象行为图像与类别子集中的任一图像的特征点，将对象行为图像与类别子集中的任一图像进行相似度大小匹配。将匹配好的特征点按相似性高低进行排序，并选取对象行为图像与类别子集中的任一图像中的第M个特征点对。分别从对象行为图像与类别子集中的任一图像的前M个特征点对中随机选择m各个基准点，分别计算对象行为图像或类别子集中的任一图像与基准点的X方向以及Y方向的相对位置。根据对象行为图像和类别子集中的任一图像中其余特征点与基准点的X方向的相对位置，计算X轴距离，根据对象行为图像和类别子集中的任一图像中其余特征点与基准点的Y方向的相对位置，计算Y轴距离，对X轴距离与Y轴距离进行乘积计算，得到对象行为图像与类别子集中任一图像的相似度。
步骤S340：以所述平均相似度作为所述第一适配度。
本申请一个实施例提出获取对象行为图像的方法。步骤如下：利用人脸检测算法，依次对所述实时音视频中的每帧图像进行计算，在每帧图像上确定跟踪目标；利用边缘检测算法，在每帧图像上生成目标框，以所述目标框画出所述跟踪目标的人体轮廓区域；在任意相邻的两帧图像的目标框不相同时，输出该相邻的两帧图像，得到所述对象行为图像。
人脸检测是指对于任意一幅给定的图像，采用一定的策略对其进行搜索以确定其中是否含有人脸，如果是，则返回人脸的位置、大小和姿态。在本申请实施例中，可通过推荐框的方式显示人脸区域。
确定人脸区域后，框选与人脸区域连接的人体，以确定跟踪目标。
每帧图像上生成目标框具体可以采用以下步骤：使用Deeplabv3+算法对人体图像进行预分割，利用多方向检测算子改进canny边缘检测算法，计算出人体人体边缘。
一、由编码器与解码器并联，通过将Deeplabv3作为编码器，由DCNN生成多维度特征，并通过对输出特征反卷积操作，然后解码器与canny边缘检测串联，执行下一个步骤。
二、引入斜角梯度与水平垂直方向梯度均值计算，引入非极大抑制像素点检测和上下阈值抑制处理，利用梯度计算图像边缘，获取边缘后与二值图取并集得到边缘图，执行下一个步骤。
三、提出沿边缘线采用边缘矫正通道处理的方法,有效的去除错误前景区域,最终生成前景分割二值图。
四、根据该前景分割二值图，生成目标框。
相邻两帧图像的目标框不相同时，对象一定发生移动、转动、肢体动作、面部动作等，即对象一定发生行为动作，鉴于此，本申请在相邻的两帧图像的目标框不一致时，输出该相邻的两帧图像，得到对象行为图像。
基于同一发明构思，本申请实施例提供一种基于行为识别的疾病预警装置。图4是本申请实施例提出的基于行为识别的疾病预警装置的功能模块图。如图4所示，该装置包括：
获取模块410，用于从实时音视频中获取对象的对象行为图像和背景噪声音频，所述对象包括0～2岁的婴幼儿、语言残障人士或阿尔茨海默病患者；
第一计算模块420，用于计算所述对象行为图像与预设图像集的第一适配度；其中，所述预设图像集包括：四肢行为图像子集、异常姿态图像子集以及异常行为图像子集；
第二计算模块430，用于计算所述背景噪声音频与预设异常音频信息的第二适配度；
预警模块440，用于在所述第一适配度大于第一预设阈值，或所述第二适配度大于第二预设阈值时，向用户进行所述对象患病的可能性预警。可选地，所述装置还包括：
生成模块，用于根据采集终端发送的监控请求，生成采集应用，并将所述采集应用推送给所述采集终端；其中，所述监控请求是所述采集终端识别到所述对象时触发的；
接收模块，用于接收所述采集终端返回的所述实时音视频；其中，所述实时视频是所述采集终端运行所述采集应用，驱动本地设备获得的。
可选地，所述第一计算模块包括：
提取子模块，用于提取所述对象行为图像的分类特征，所述分类特征包括：任意两个关键点之间的距离、四肢姿态特征、任意两个关键点的连线与水平方向的夹角；
提取所述对象行为图像的分类特征，所述分类特征包括：任意两个关键点之间的距离、人体姿态特征；
输入子模块，用于将所述分类特征输入分类器，确定所述对象行为图像对应的类别子集，以及所述类别子集的置信度；所述类别子集为所述四肢行为图像子集、所述异常姿态图像子集、所述异常行为图像子集以及无异常动作图像子集中的任意一个将所述分类特征输入分类器，确定所述对象行为图像对应的类别子集，以及所述类别子集的置信度；所述类别子集为所述摸头基准图像子集、所述呕吐基准图像子集、所述揉眼睛基准图像子集以及无异常动作图像子集中的任意一个；
第一计算子模块，用于在所述类别子集为所述四肢行为图像子集、所述异常姿态图像子集以及所述异常行为图像子集中的任意一个，并且所述置信度大于第三预设阈值时，依次计算所述对象行为图像与所述类别子集中的多个图像的相似度，得到平均相似度在所述类别子集为所述摸头基准图像子集、所述呕吐基准图像子集以及所述揉眼睛基准图像子集中的任意一个，并且所述置信度大于第二预设阈值时，依次计算所述对象行为图像与所述类别子集中的多个图像的相似度，得到平均相似度；
确定子模块，用于以所述平均相似度作为所述第一适配度。可选地，所述获取模块包括：
第二计算子模块，用于利用人脸检测算法，依次对所述实时音视频中的每帧图像进行计算，在每帧图像上确定跟踪目标；
生成子模块，用于利用边缘检测算法，在每帧图像上生成目标框，以所述目标框画出所述跟踪目标的人体轮廓区域；
输出子模块，用于在任意相邻的两帧图像的目标框不相同时，输出该相邻的两帧图像，得到所述对象行为图像。
基于同一发明构思，本申请另一实施例提供一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请上述任一实施例所述的基于行为识别的疾病预警方法中的步骤。
基于同一发明构思，本申请另一实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现本申请上述任一实施例所述的基于行为识别的疾病预警方法中的步骤。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进或说明的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、装置、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种基于行为识别的疾病预警方法、装置、设备及存储介质，进行了详细介绍，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种基于行为识别的疾病预警方法，其特征在于，应用于识别终端；所述方法包括：
从实时音视频中获取对象的对象行为图像和背景噪声音频，所述对象包括0～2岁的婴幼儿、语言残障人士或阿尔茨海默病患者；
计算所述对象行为图像与预设图像集的第一适配度；其中，所述预设图像集包括：四肢行为图像子集、异常姿态图像子集以及异常行为图像子集；
计算所述背景噪声音频与预设异常音频信息的第二适配度；
在所述第一适配度大于第一预设阈值，或所述第二适配度大于第二预设阈值时，向用户进行所述对象患病的可能性预警。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据采集终端发送的监控请求，生成采集应用，并将所述采集应用推送给所述采集终端；其中，所述监控请求是所述采集终端识别到所述对象时触发的；
接收所述采集终端返回的所述实时音视频；其中，所述实时音视频是所述采集终端运行所述采集应用，驱动本地设备获得的。
3.根据权利要求1所述的方法，其特征在于，计算所述对象行为图像与预设图像集的第一适配度，包括：
提取所述对象行为图像的分类特征，所述分类特征包括：任意两个关键点之间的距离、四肢姿态特征、任意两个关键点的连线与水平方向的夹角；
将所述分类特征输入分类器，确定所述对象行为图像对应的类别子集，以及所述类别子集的置信度；所述类别子集为所述四肢行为图像子集、所述异常姿态图像子集、所述异常行为图像子集以及无异常动作图像子集中的任意一个；
在所述类别子集为所述四肢行为图像子集、所述异常姿态图像子集以及所述异常行为图像子集中的任意一个，并且所述置信度大于第三预设阈值时，依次计算所述对象行为图像与所述类别子集中的多个图像的相似度，得到平均相似度；
以所述平均相似度作为所述第一适配度。
4.根据权利要求1所述的方法，其特征在于，从实时音视频中获取对象行为图像，包括：
利用人脸检测算法，依次对所述实时音视频中的每帧图像进行计算，在每帧图像上确定跟踪目标；
利用边缘检测算法，在每帧图像上生成目标框，以所述目标框画出所述跟踪目标的人体轮廓区域；
在任意相邻的两帧图像的目标框不相同时，输出该相邻的两帧图像，得到所述对象行为图像。
5.一种基于行为识别的疾病预警装置，其特征在于，位于识别终端；所述装置包括：
获取模块，用于从实时音视频中获取对象的对象行为图像和背景噪声音频，所述对象包括0～2岁的婴幼儿、语言残障人士或阿尔茨海默病患者；
第一计算模块，用于计算所述对象行为图像与预设图像集的第一适配度；其中，所述预设图像集包括：四肢行为图像子集、异常姿态图像子集以及异常行为图像子集；
第二计算模块，用于计算所述背景噪声音频与预设异常音频信息的第二适配度；
预警模块，用于在所述第一适配度大于第一预设阈值，或所述第二适配度大于第二预设阈值时，向用户进行所述对象患病的可能性预警。
6.根据权利要求1所述的装置，其特征在于，所述装置还包括：
生成模块，用于根据采集终端发送的监控请求，生成采集应用，并将所述采集应用推送给所述采集终端；其中，所述监控请求是所述采集终端识别到所述对象时触发的；
接收模块，用于接收所述采集终端返回的所述实时音视频；其中，所述实时音视频是所述采集终端运行所述采集应用，驱动本地设备获得的。
7.根据权利要求5所述的装置，其特征在于，所述第一计算模块包括：
提取子模块，用于提取所述对象行为图像的分类特征，所述分类特征包括：任意两个关键点之间的距离、四肢姿态特征、任意两个关键点的连线与水平方向的夹角；
输入子模块，用于将所述分类特征输入分类器，确定所述对象行为图像对应的类别子集，以及所述类别子集的置信度；所述类别子集为所述四肢行为图像子集、所述异常姿态图像子集、所述异常行为图像子集以及无异常动作图像子集中的任意一个；
第一计算子模块，用于在所述类别子集为所述四肢行为图像子集、所述异常姿态图像子集以及所述异常行为图像子集中的任意一个，并且所述置信度大于第三预设阈值时，依次计算所述对象行为图像与所述类别子集中的多个图像的相似度，得到平均相似度；
确定子模块，用于以所述平均相似度作为所述第一适配度。
8.根据权利要求5所述的装置，其特征在于，所述获取模块包括：
第二计算子模块，用于利用人脸检测算法，依次对所述实时音视频中的每帧图像进行计算，在每帧图像上确定跟踪目标；
生成子模块，用于利用边缘检测算法，在每帧图像上生成目标框，以所述目标框画出所述跟踪目标的人体轮廓区域；
输出子模块，用于在任意相邻的两帧图像的目标框不相同时，输出该相邻的两帧图像，得到所述对象行为图像。
9.一种可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4任一所述的方法中的步骤。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行时实现如权利要求1-4任一所述的方法的步骤。
CN202110206535.4A 2021-02-24 2021-02-24 基于行为识别的疾病预警方法、装置、设备及存储介质 Pending CN112992340A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110206535.4A CN112992340A (zh) 2021-02-24 2021-02-24 基于行为识别的疾病预警方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110206535.4A CN112992340A (zh) 2021-02-24 2021-02-24 基于行为识别的疾病预警方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112992340A true CN112992340A (zh) 2021-06-18

Family

ID=76350117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110206535.4A Pending CN112992340A (zh) 2021-02-24 2021-02-24 基于行为识别的疾病预警方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112992340A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116796017A (zh) * 2022-11-16 2023-09-22 武汉庆实广告传媒有限公司 音视频数据共享方法、系统及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198605A (zh) * 2013-03-11 2013-07-10 成都百威讯科技有限责任公司 室内突发异常事件报警系统
CN106060467A (zh) * 2016-06-22 2016-10-26 成都嘉泽兴业科技有限责任公司 一种安全监控系统
CN111273232A (zh) * 2018-12-05 2020-06-12 杭州海康威视系统技术有限公司 一种室内异常情况判断方法及系统
CN111460889A (zh) * 2020-02-27 2020-07-28 平安科技（深圳）有限公司 一种基于语音及图像特征的异常行为识别方法、装置及设备
CN111523559A (zh) * 2020-03-11 2020-08-11 浙江工业大学 一种基于多特征融合的异常行为检测方法
CN111914661A (zh) * 2020-07-06 2020-11-10 广东技术师范大学 异常行为识别方法、目标异常识别方法、设备及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198605A (zh) * 2013-03-11 2013-07-10 成都百威讯科技有限责任公司 室内突发异常事件报警系统
CN106060467A (zh) * 2016-06-22 2016-10-26 成都嘉泽兴业科技有限责任公司 一种安全监控系统
CN111273232A (zh) * 2018-12-05 2020-06-12 杭州海康威视系统技术有限公司 一种室内异常情况判断方法及系统
CN111460889A (zh) * 2020-02-27 2020-07-28 平安科技（深圳）有限公司 一种基于语音及图像特征的异常行为识别方法、装置及设备
CN111523559A (zh) * 2020-03-11 2020-08-11 浙江工业大学 一种基于多特征融合的异常行为检测方法
CN111914661A (zh) * 2020-07-06 2020-11-10 广东技术师范大学 异常行为识别方法、目标异常识别方法、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116796017A (zh) * 2022-11-16 2023-09-22 武汉庆实广告传媒有限公司 音视频数据共享方法、系统及存储介质
CN116796017B (zh) * 2022-11-16 2024-05-28 北京全科在线科技有限责任公司 音视频数据共享方法、系统及存储介质

Similar Documents

Publication Publication Date Title
Javeed et al. Wearable sensors based exertion recognition using statistical features and random forest for physical healthcare monitoring
Zunino et al. Video gesture analysis for autism spectrum disorder detection
De Melo et al. A deep multiscale spatiotemporal network for assessing depression from facial dynamics
CN111742332A (zh) 经由多预测模型架构进行异常检测的系统和方法
Siuly et al. Identification of motor imagery tasks through CC–LR algorithm in brain computer interface
Al-hazaimeh et al. Combining Artificial Intelligence and Image Processing for Diagnosing Diabetic Retinopathy in Retinal Fundus Images.
US11992331B2 (en) Neonatal pain identification from neonatal facial expressions
WO2022022551A1 (zh) 具有隐私保护功能的运动障碍评估录像分析方法及设备
Ilyas et al. Facial expression recognition for traumatic brain injured patients
JP7317306B2 (ja) Ｃｔ画像基盤の部位別の大脳皮質収縮率の予測方法及び装置
WO2020070745A1 (en) Remote prediction of human neuropsychological state
Jaroensri et al. A video-based method for automatically rating ataxia
Ahmedt-Aristizabal et al. Vision-based mouth motion analysis in epilepsy: A 3d perspective
Zhuang et al. Video-based facial weakness analysis
Mishra et al. Autism spectrum disorder detection using surface morphometric feature of smri in machine learning
CN112992340A (zh) 基于行为识别的疾病预警方法、装置、设备及存储介质
CN113506274A (zh) 基于视觉显著性差异图的用于人体认知状况的检测系统
CN112907635A (zh) 基于几何分析提取眼部异常运动特征的方法
Hu et al. Vision-based freezing of gait detection with anatomic patch based representation
CN115910366A (zh) 一种基于多模态临床诊疗数据的病情分析系统
Koutras et al. Audio-visual temporal saliency modeling validated by fmri data
Valenzuela et al. A spatio-temporal hypomimic deep descriptor to discriminate parkinsonian patients
Yao et al. Eye movement and visual target synchronization level detection using deep learning
Sadek et al. Computer vision-based approach for detecting arm-flapping as autism suspect behaviour
Ilyas et al. Effective facial expression recognition through multimodal imaging for traumatic brain injured patient’s rehabilitation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination