CN110070001A - 行为检测方法及装置、计算机可读存储介质 - Google Patents

行为检测方法及装置、计算机可读存储介质 Download PDF

Info

Publication number
CN110070001A
CN110070001A CN201910242333.8A CN201910242333A CN110070001A CN 110070001 A CN110070001 A CN 110070001A CN 201910242333 A CN201910242333 A CN 201910242333A CN 110070001 A CN110070001 A CN 110070001A
Authority
CN
China
Prior art keywords
behavioral value
detected
image
described image
carried out
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910242333.8A
Other languages
English (en)
Inventor
李楠
胡宏辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI PPDAI FINANCE INFORMATION SERVICE Co Ltd
Original Assignee
SHANGHAI PPDAI FINANCE INFORMATION SERVICE Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI PPDAI FINANCE INFORMATION SERVICE Co Ltd filed Critical SHANGHAI PPDAI FINANCE INFORMATION SERVICE Co Ltd
Priority to CN201910242333.8A priority Critical patent/CN110070001A/zh
Publication of CN110070001A publication Critical patent/CN110070001A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Abstract

一种行为检测方法及装置、计算机可读存储介质,所述行为检测方法包括:获取待检测图像;对所述待检测图像进行以下至少两种类型的行为检测,得到所述至少两种类型的行为检测对应的行为检测信息:采用特征抽取进行行为检测、采用目标检测方式进行行为检测、采用姿态检测方式进行行为检测、采用人体部位检测方式进行行为检测、基于所述待检测图像进行行为检测,其中,所述行为检测信息包括以下至少一种:行为类型、行为概率、行为在待检测图像中的空间位置、行为出现的时间位置;对所述至少两种类型的行为检测对应的行为检测信息进行融合,得到行为检测结果并输出。采用上述方案,能够提高行为检测的精确度。

Description

行为检测方法及装置、计算机可读存储介质
技术领域
本发明实施例涉及图像识别技术领域,尤其涉及一种行为检测方法及装置、计算机可读存储介质。
背景技术
随着硬件以及传输、存储等技术的发展,获取图像的难度和成本大幅降低,大量的图像数据尤其是人像数据被采集、传输和保存了下来。
为了对获取到的人像数据加以利用和分析,诸如人脸检测,行人检测,性格、年龄预测,情绪识别等技术已被广泛应用。尽管如此,现有各种系统对人像数据的理解和利用仍然处在相对较低的水平,并不能够充分挖掘和理解蕴藏在图像数据内部更深层次信息。
为提高对图像数据的利用率,可以对图像进行行为检测,确定目标对象的行为。然而,目前对图像进行行为检测所得到的行为检测结果的精确度较低。
发明内容
本发明实施例解决的技术问题是行为检测的精度较低。
为解决上述技术问题,本发明实施例提供一种行为检测方法,包括:获取待检测图像;对所述待检测图像进行以下至少两种类型的行为检测,得到所述至少两种类型的行为检测对应的行为检测信息:采用特征抽取进行行为检测、采用目标检测方式进行行为检测、采用姿态检测方式进行行为检测、采用人体部位检测方式进行行为检测、基于所述待检测图像进行行为检测,其中,所述行为检测信息包括以下至少一种:行为类型、行为概率、行为在待检测图像中的空间位置、行为出现的时间位置;对所述至少两种类型的行为检测对应的行为检测信息进行融合,得到行为检测结果并输出。
可选的,在获取到待检测图像之后,还包括:对所述待检测图像进行图像预处理。
可选的,采用如下至少一种图像处理方式对所述待检测图像进行图像预处理:对所述待检测图像进行去燥;对所述待检测图像进行锐化;对所述待检测图像进行对比度调整;对所述待检测图像进行白化处理;对所述待检测图像进行归一化处理;对所述待检测图像进行标准化处理;对所述待检测图像进行平移;对所述待检测图像进行旋转;对所述待检测图像进行扭曲;对所述待检测图像进行模糊处理;对所述待检测图像进行金字塔化处理。
可选的,所述采用特征抽取进行行为检测,包括:对所述待检测图像进行特征提取,得到所述待检测图像的图像特征;所述图像特征包括以下至少一种:边缘特征或角点特征;基于所述待检测图像的图像特征进行行为检测,得到特征抽取对应的行为检测信息。
可选的,所述对所述待检测图像进行特征提取,包括:采用以下任一种方式对所述待检测图像进行特征提取:HOG、SIFT、Haar。
可选的,所述采用目标检测方式进行行为检测,包括:对所述待检测图像进行目标检测;定位并识别目标对象;基于所识别的目标对象进行行为检测,得到目标检测对应的行为检测信息。
可选的,所述采用姿态检测方式进行行为检测,包括:对所述待检测图像进行姿态检测,得到目标对象的关键点信息;基于所述目标对象的关键点信息进行行为检测,得到姿态识别对应的行为检测信息,其中,所述关键点包括以下至少一种:手腕、手掌、手肘、眼睛、脚踝。
可选的,所述采用人体部位检测方式进行行为检测,包括:对所述待检测图像进行人体部位定位及识别;根据所述人体部位定位及识别结果进行行为检测,得到人体部位检测对应的行为检测信息。
可选的,采用以下至少一种融合方式,对所述至少两种类型的行为检测对应的行为检测信息进行融合:采用投票方式对所述至少两种类型的行为检测对应的行为检测信息进行融合;采用求均值方式对所述至少两种类型的行为检测对应的行为检测信息进行融合;采用加权方式对所述至少两种类型的行为检测对应的行为检测信息进行融合;根据预设选择条件,选择相应类型的行为检测信息,并对所选择的行为检测信息进行融合。
本发明实施例还提供一种行为检测装置,包括:获取单元,适于获取待检测图像;行为检测单元,适于对所述待检测图像进行以下至少两种类型的行为检测,得到所述至少两种类型的行为检测对应的行为检测信息:采用特征抽取进行行为检测、采用目标检测方式进行行为检测、采用姿态检测方式进行行为检测、采用人体部位检测方式进行行为检测、基于所述待检测图像进行行为检测,其中,所述行为检测信息包括以下至少一种:行为类型、行为概率、行为在待检测图像中的空间位置、行为出现的时间位置;融合单元,适于对所述至少两种类型的行为检测对应的行为检测信息进行融合,得到行为检测结果;输出单元,适于输出所述行为检测结果。
可选的,所述行为检测装置还包括:图像预处理单元,适于对所述待检测图像进行图像预处理。
可选的,所述图像预处理单元,适于采用如下至少一种图像处理方式对所述待检测图像进行图像预处理:对所述待检测图像进行去燥;对所述待检测图像进行锐化;对所述待检测图像进行对比度调整;对所述待检测图像进行白化处理;对所述待检测图像进行归一化处理;对所述待检测图像进行标准化处理;对所述待检测图像进行平移;对所述待检测图像进行旋转;对所述待检测图像进行扭曲;对所述待检测图像进行模糊处理;对所述待检测图像进行金字塔化处理。
可选的,所述行为检测单元,包括:特征检测子单元,适于对所述待检测图像进行特征提取,得到所述待检测图像的图像特征;所述图像特征包括以下至少一种:边缘特征或角点特征;基于所述待检测图像的图像特征进行行为检测,得到特征抽取对应的行为检测信息。
可选的,所述特征检测子单元,适于采用以下任一种方式对所述待检测图像进行特征提取:HOG、SIFT、Haar。
可选的,所述行为检测单元,包括:目标检测子单元,适于对所述待检测图像进行目标检测;定位并识别目标对象;基于所识别的目标对象进行行为检测,得到目标检测对应的行为检测信息。
可选的,所述行为检测单元,包括:姿态检测子单元,适于对所述待检测图像进行姿态检测,得到目标对象的关键点信息;基于所述目标对象的关键点信息进行行为检测,得到姿态识别对应的行为检测信息,其中,所述关键点包括以下至少一种:手腕、手掌、手肘、眼睛、脚踝。
可选的,所述行为检测单元,包括:人体部位检测子单元,适于对所述待检测图像进行人体部位定位及识别;根据所述人体部位定位及识别结果进行行为检测,得到人体部位检测对应的行为检测信息。
可选的,所述融合单元,适于采用以下至少一种融合方式,对所述行为检测信息进行融合:采用投票方式对所述行为检测信息进行融合;采用求均值方式对所述行为检测信息进行融合;采用加权方式对所述行为检测信息进行融合;根据预设选择条件,选择相应类型的行为检测信息,并对所选择的行为检测信息进行融合。
本发明实施例提供一种行为检测装置,包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的计算机指令,所述处理器运行所述计算机指令时执行上述任一种行为检测方法的步骤。
本发明实施例提供一种计算机可读存储介质,计算机可读存储介质为非易失性存储介质或非瞬态存储介质,其上存储有计算机指令,所述计算机指令运行时执行上述任一种行为检测方法的步骤。
与现有技术相比,本发明实施例的技术方案具有以下有益效果:
对待检测图像进行至少两种类型的行为检测,得到至少两种类型的行为检测对应的行为检测信息,如采用特征抽取进行行为检测,采用目标检测方式进行行为检测,采用姿态检测方式进行行为检测,采用人体部位检测方式进行行为检测等。将所得到的不同类型的行为检测信息进行融合,得到行为检测结果。通过将至少两种类型的行为检测对应的行为检测信息进行融合得到行为检测结果,从而可以提高行为检测的精度。
进一步,对待检测图像进行图像预处理,并基于图像预处理之后的图像进行人体行为检测,可以便于方便后续流程对待检测图像的应用,并提高行为检测结果的精度。
附图说明
图1是本发明实施例中一种行为检测方法的流程图;
图2是本发明实施例中一种行为检测装置的结构示意图。
具体实施方式
如上所述,目前对图像进行行为检测所得到的行为检测结果的精确度较低。
本发明实施例中,对待检测图像进行至少两种类型的行为检测,得到至少两种类型的行为检测对应的行为检测信息,如采用特征抽取进行行为检测,采用目标检测进行行为检测,采用姿态检测进行行为检测,采用人体部位检测进行行为检测等。将所得到的不同类型的行为检测信息进行融合,得到行为检测结果。通过将至少两种类型的行为检测对应的行为检测信息进行融合得到行为检测结果,从而可以提高行为检测的精度。
为使本发明实施例的上述目的、特征和有益效果能够更为明显易懂,下面结合附图对本发明的具体实施例做详细的说明。
参照图1,给出了本发明实施例中的一种行为检测方法的流程图,可以包括以下步骤。
步骤11,获取待检测图像。
在具体实施中,所获取的待检测图像可以为静态图像,也可以为动态图像,还可以为从视频流中抽取的图像。
在本发明实施例中,为了提高行为检测精度,可以对所获取到的待检测图像进行图像预处理。图像预处理可以包括图像增强、图像标准化以及图像扩展中的至少一种,也可以根据实际应用需求进行其他图像预处理操作。
在具体实施中,对待检测图像进行图像增强,可以提高图像质量。在本发明实施例中,可以采用以下至少一种图像处理方式对待检测图像进行图像增强:对待检测图像进行去噪处理;对待检测图像进行锐化处理;对待检测图像进行对比度调整处理,以增强或者减弱待检测图像的对比度。可以理解的是,还可以采用其他图像处理方式对待检测图像进行增强处理,此处不做赘述。
在具体实施中,对待检测图像进行图像标准化,可以调整图像数据分布,方便后续待检测图像的应用。在本发明实施例中,可以采用以下至少一种图像处理方式对待检测图像进行图像标准化:对待检测图像进行白化处理;对待检测图像进行归一化处理,以得到满足预设尺寸的待检测图像;对待检测图像进行标准化处理,以使得待检测图形中的关键点可以处于预设位置。可以理解的是,还可以根据实际需求,采用其他图像处理方式对待检测图像进行图像标准化,此处不做赘述。
在具体实施中,对待检测图像进行图像扩展,可以生成用于辅助检测的图像。在本发明实施例中,可以采用以下至少一种方式进行图像扩展:平移、旋转、扭曲、模糊处理以及金字塔化处理等。可以理解的是,还可以根据实际需求,采用其他图像处理方式对待检测图像进行图像扩展,此处不做赘述。
步骤12,对所述待检测图像进行以下至少两种类型的行为检测,得到至少两种类型的行为检测对应的行为检测信息。
在具体实施中,所述行为检测信息可以包括以下至少一种:行为类型、行为概率、行为在待检测图像中的空间位置、行为出现的时间位置。
所述行为在待检测图像中的空间位置可以为行为类型对应的主要特征在待检测图像中的大体位置。当待检测图像为静态图像时,行为出现的时间位置可以为待检测图像的拍摄时刻;当待检测图像为视频流时,行为出现的时间位置可以为待检测图像在视频流中的时刻。
例如,对待检测图像进行行为检测得到的行为检测信息为:行为类型为打电话,为打电话的行为概率为90%,行为在待检测图像中的空间位置为图像右上角,行为出现的时间位置为2019年3月6日星期三上午10:00。
在具体实施中,可以对待检测图像进行以下至少两种类型的行为检测,得到至少两种类型行为检测对应的行为检测结果:采用特征抽取进行行为检测,采用目标检测方式进行行为检测、采用姿态检测方式进行行为检测、采用人体部位检测方式进行行为检测以及基于所述待检测图像进行行为检测。
为了提高行为检测的准确性,可以基于图像预处理之后的待检测图像进行行为检测。下面以待检测图像为例,对行为检测的流程进行说明,对图像预处理之后的图像进行行为检测的具体流程与待检测图像的行为检测流程相似,此处不再赘述。
在本发明实施例中,采用特征抽取进行行为检测,具体如下:对待检测图像进行特征提取,得到待检测图像的图像特征。图像特征可以包括边缘特征或者角点特征中的至少一种。基于所获取到的待检测图像对应的图像特征,进行行为检测,得到采用特征抽取方式对应的行为检测信息。
在具体实施中,可以采用HOG、SIFI、Haar等中的任一种方式进行特征抽取。
在本发明实施例中,采用目标检测方式进行行为检测,具体如下:对待检测图像进行目标检测,定位并识别目标对象。所述目标对象可以为待检测图像中出现的人体或者其他物体。基于所识别的目标对象进行行为检测,得到目标对象对应的行为检测信息。
在本发明实施例中,采用姿态检测方式进行行为检测,具体如下:对所述待检测图像进行姿态检测,得到目标对象的关键点信息;基于所述目标对象的关键点信息进行行为检测,得到姿态识别对应的行为检测信息,其中,所述关键点包括以下至少一种:手腕、手掌、手肘、眼睛、脚踝。
在本发明实施例中,采用人体部位检测方式进行行为检测,具体如下:对待检测图像进行人体部位定位及识别;根据所述人体部位定位及识别结果进行行为检测,得到人体部位检测对应的行为检测信息。通过人体部位检测可以对人体的各部位进行定位及识别,通过人体部位的定位及识别结果可以确定当前人体的动作,从而可以确定对应的行为检测信息。
在具体实施中,为了提高所得到的行为检测信息的准确性,在采用特征抽取方式、目标检测方式、姿态检测方式以及人体部位检测方式进行行为检测时,可以结合所述待检测图像确定行为检测信息。
在具体实施中,为了进一步提高行为检测结果的准确性,可以基于对待检测图像进行特征抽取后的结果,进行目标检测、姿态检测或者人体部位检测。
步骤13,对所述至少两种类型的行为检测对应的行为检测信息进行融合,得到行为检测结果并输出。
在具体实施中,在获取到至少两种类型的行为检测对应的行为检测信息之后,可以将至少两种类型的行为检测对应的行为检测信息进行融合,得到待检测图像对应的行为检测结果,并输出。
在具体实施中,可以采用多种方式对至少两种类型的行为检测对应的行为检测信息进行融合。
在本发明一实施例中,采用投票方式对至少两种类型的行为检测对应的行为检测信息进行融合。例如,采用如下5个通道:特征提取通道、目标检测通道、姿态检测通道、人体部位检测通道以及待处理图像通道,每个通道对应有行为检测信息,所对应的行为概率不同,将行为概率最高的通道对应的行为检测信息作为行为检测结果。
在本发明另一实施例中,采用求平均值方式对所述至少两种类型的行为检测对应的行为检测信息进行融合,得到行为检测结果。
在本发明又一实施例中,采用加权方式对所述至少两种类型的行为检测对应的行为检测信息进行融合。例如,可以为不同类型的行为检测信息设定权重,根据设定的权重与得到的行为概率进行计算,确定最终的行为类型及行为概率,从而得到行为检测结果。
在本发明再一实施例中,根据预设的选择条件,选择相应类型的行为检测信息,并对所选择的行为检测信息进行融合。在具体实施中,不同类型的待检测图像,采用不同的行为检测方式所得到的行为检测信息的准确度可能不同,根据实际需求有选择地选择相应类型的行为信息进行行为检测,可以提高所得到的行为检测结果的准确度。在对所选择的行为信息进行融合时,可以采用投票方式对选择的行为检测信息进行融合,也可以采用求平均值方式对所选择的行为检测信息进行融合,还可以采用加权方式对所选择的行为检测信息进行融合,在实际应用中,可以根据具体的应用场景及需求选择融合方式。
为了便于本领域技术人员更好的理解和实现本发明实施例,本发明实施例还提供一种行为检测装置。
参照图2,给出了本发明实施例中一种行为检测装置的结构示意图。所述行为检测装置20包括:获取单元21、行为检测单元22、融合单元23及输出单元24,其中:
获取单元21,适于获取待检测图像;
行为检测单元22,适于对所述待检测图像进行以下至少两种类型的行为检测,得到至少两种类型的行为检测对应的行为检测信息:采用特征抽取进行行为检测、采用目标检测方式进行行为检测、采用姿态检测方式进行行为检测、采用人体部位检测方式进行行为检测、基于所述待检测图像进行行为检测,其中,所述行为检测信息包括以下至少一种:行为类型、行为概率、行为在待检测图像中的空间位置、行为出现的时间位置;
融合单元23,适于对所述至少两种类型的行为检测对应的行为检测信息进行融合,得到行为检测结果;
输出单元24,适于输出所述行为检测结果。
在具体实施中,所述行为检测装置20还可以包括:图像预处理单元(图2未示出),适于对所述待检测图像进行图像预处理。
在具体实施中,所述图像预处理单元,适于采用如下至少一种图像处理方式对所述待检测图像进行图像预处理:对所述待检测图像进行去燥;对所述待检测图像进行锐化;对所述待检测图像进行对比度调整;对所述待检测图像进行白化处理;对所述待检测图像进行归一化处理;对所述待检测图像进行标准化处理;对所述待检测图像进行平移;对所述待检测图像进行旋转;对所述待检测图像进行扭曲;对所述待检测图像进行模糊处理;对所述待检测图像进行金字塔化处理。
在具体实施中,所述行为检测单元22,可以包括:特征检测子单元(图2未示出),适于对所述待检测图像进行特征提取,得到所述待检测图像的图像特征;所述图像特征包括以下至少一种:边缘特征或角点特征;基于所述待检测图像的图像特征进行行为检测,得到特征抽取对应的行为检测信息。
在具体实施中,所述特征检测子单元,适于采用以下任一种方式对所述待检测图像进行特征提取:HOG、SIFT、Haar。
在具体实施中,所述行为检测单元22,可以包括:目标检测子单元(图2未示出),适于对所述待检测图像进行目标检测;定位并识别目标对象;基于所识别的目标对象进行行为检测,得到目标检测对应的行为检测信息。
在具体实施中,所述行为检测单元22,可以包括:姿态检测子单元(图2未示出),适于对所述待检测图像进行姿态检测,得到目标对象的关键点信息;基于所述目标对象的关键点信息进行行为检测,得到姿态识别对应的行为检测信息,其中,所述关键点包括以下至少一种:手腕、手掌、手肘、眼睛、脚踝。
在具体实施中,所述行为检测单元22,可以包括:人体部位检测子单元(图2未示出),适于对所述待检测图像进行人体部位定位及识别;根据所述人体部位定位及识别结果进行行为检测,得到人体部位检测对应的行为检测信息。
在具体实施中,所述融合单元23,适于采用以下至少一种融合方式,对所述行为检测信息进行融合:采用投票方式对所述行为检测信息进行融合;采用求均值方式对所述行为检测信息进行融合;采用加权方式对所述行为检测信息进行融合;根据预设选择条件,选择相应类型的行为检测信息,并对所选择的行为检测信息进行融合。
本发明实施例还提供一种行为检测装置,包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的计算机指令,所述处理器运行所述计算机指令时执行本发明实施例提供的上述任一种行为检测方法的步骤。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质为非易失性存储介质或非瞬态存储介质,其上存储有计算机指令,所述计算机指令运行时执行本发明实施例提供的上述任一种行为检测方法的步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于任一计算机可读存储介质中,存储介质可以包括:ROM、RAM、磁盘或光盘等。
虽然本发明披露如上,但本发明并非限定于此。任何本领域技术人员,在不脱离本发明的精神和范围内,均可作各种更动与修改,因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (20)

1.一种行为检测方法,其特征在于,包括:
获取待检测图像;
对所述待检测图像进行以下至少两种类型的行为检测,得到所述至少两种类型的行为检测对应的行为检测信息:采用特征抽取进行行为检测、采用目标检测方式进行行为检测、采用姿态检测方式进行行为检测、采用人体部位检测方式进行行为检测、基于所述待检测图像进行行为检测,其中,所述行为检测信息包括以下至少一种:行为类型、行为概率、行为在待检测图像中的空间位置、行为出现的时间位置;
对所述至少两种类型的行为检测对应的行为检测信息进行融合,得到行为检测结果并输出。
2.根据权利要求1所述的行为检测方法,其特征在于,在获取到待检测图像之后,还包括:
对所述待检测图像进行图像预处理。
3.根据权利要求2所述的行为检测方法,其特征在于,采用如下至少一种图像处理方式对所述待检测图像进行图像预处理:
对所述待检测图像进行去燥;
对所述待检测图像进行锐化;
对所述待检测图像进行对比度调整;
对所述待检测图像进行白化处理;
对所述待检测图像进行归一化处理;
对所述待检测图像进行标准化处理;
对所述待检测图像进行平移;
对所述待检测图像进行旋转;
对所述待检测图像进行扭曲;
对所述待检测图像进行模糊处理;
对所述待检测图像进行金字塔化处理。
4.根据权利要求1或2所述的行为检测方法,其特征在于,所述采用特征抽取进行行为检测,包括:
对所述待检测图像进行特征提取,得到所述待检测图像的图像特征;所述图像特征包括以下至少一种:边缘特征或角点特征;
基于所述待检测图像的图像特征进行行为检测,得到特征抽取对应的行为检测信息。
5.根据权利要求4所述的行为检测方法,其特征在于,所述对所述待检测图像进行特征提取,包括:
采用以下任一种方式对所述待检测图像进行特征提取:HOG、SIFT、Haar。
6.根据权利要求1或2所述的行为检测方法,其特征在于,所述采用目标检测方式进行行为检测,包括:
对所述待检测图像进行目标检测;
定位并识别目标对象;
基于所识别的目标对象进行行为检测,得到目标检测对应的行为检测信息。
7.根据权利要求1或2所述的行为检测方法,其特征在于,所述采用姿态检测方式进行行为检测,包括:
对所述待检测图像进行姿态检测,得到目标对象的关键点信息;
基于所述目标对象的关键点信息进行行为检测,得到姿态识别对应的行为检测信息,其中,所述关键点包括以下至少一种:手腕、手掌、手肘、眼睛、脚踝。
8.根据权利要求1或2所述的行为检测方法,其特征在于,所述采用人体部位检测方式进行行为检测,包括:
对所述待检测图像进行人体部位定位及识别;
根据所述人体部位定位及识别结果进行行为检测,得到人体部位检测对应的行为检测信息。
9.根据权利要求1或2所述的行为检测方法,其特征在于,采用以下至少一种融合方式,对所述至少两种类型的行为检测对应的行为检测信息进行融合:
采用投票方式对所述至少两种类型的行为检测对应的行为检测信息进行融合;
采用求均值方式对所述至少两种类型的行为检测对应的行为检测信息进行融合;
采用加权方式对所述至少两种类型的行为检测对应的行为检测信息进行融合;
根据预设选择条件,选择相应类型的行为检测信息,并对所选择的行为检测信息进行融合。
10.一种行为检测装置,其特征在于,包括:
获取单元,适于获取待检测图像;
行为检测单元,适于对所述待检测图像进行以下至少两种类型的行为检测,得到所述至少两种类型的行为检测对应的行为检测信息:采用特征抽取进行行为检测、采用目标检测方式进行行为检测、采用姿态检测方式进行行为检测、采用人体部位检测方式进行行为检测、基于所述待检测图像进行行为检测,其中,所述行为检测信息包括以下至少一种:行为类型、行为概率、行为在待检测图像中的空间位置、行为出现的时间位置;
融合单元,适于对所述至少两种类型的行为检测对应的行为检测信息进行融合,得到行为检测结果;
输出单元,适于输出所述行为检测结果。
11.根据权利要求10所述的行为检测装置,其特征在于,还包括:图像预处理单元,适于对所述待检测图像进行图像预处理。
12.根据权利要求11所述的行为检测装置,其特征在于,所述图像预处理单元,适于采用如下至少一种图像处理方式对所述待检测图像进行图像预处理:对所述待检测图像进行去燥;对所述待检测图像进行锐化;对所述待检测图像进行对比度调整;对所述待检测图像进行白化处理;对所述待检测图像进行归一化处理;对所述待检测图像进行标准化处理;对所述待检测图像进行平移;对所述待检测图像进行旋转;对所述待检测图像进行扭曲;
对所述待检测图像进行模糊处理;对所述待检测图像进行金字塔化处理。
13.根据权利要求10或11所述的行为检测装置,其特征在于,所述行为检测单元,包括:特征检测子单元,适于对所述待检测图像进行特征提取,得到所述待检测图像的图像特征;所述图像特征包括以下至少一种:边缘特征或角点特征;基于所述待检测图像的图像特征进行行为检测,得到特征抽取对应的行为检测信息。
14.根据权利要求13所述的行为检测装置,其特征在于,所述特征检测子单元,适于采用以下任一种方式对所述待检测图像进行特征提取:HOG、SIFT、Haar。
15.根据权利要求10或11所述的行为检测装置,其特征在于,所述行为检测单元,包括:目标检测子单元,适于对所述待检测图像进行目标检测;定位并识别目标对象;基于所识别的目标对象进行行为检测,得到目标检测对应的行为检测信息。
16.根据权利要求10或11所述的行为检测装置,其特征在于,所述行为检测单元,包括:姿态检测子单元,适于对所述待检测图像进行姿态检测,得到目标对象的关键点信息;基于所述目标对象的关键点信息进行行为检测,得到姿态识别对应的行为检测信息,其中,所述关键点包括以下至少一种:手腕、手掌、手肘、眼睛、脚踝。
17.根据权利要求10或11所述的行为检测装置,其特征在于,所述行为检测单元,包括:人体部位检测子单元,适于对所述待检测图像进行人体部位定位及识别;根据所述人体部位定位及识别结果进行行为检测,得到人体部位检测对应的行为检测信息。
18.根据权利要求10或11所述的行为检测装置,其特征在于,所述融合单元,适于采用以下至少一种融合方式,对所述行为检测信息进行融合:采用投票方式对所述行为检测信息进行融合;采用求均值方式对所述行为检测信息进行融合;采用加权方式对所述行为检测信息进行融合;根据预设选择条件,选择相应类型的行为检测信息,并对所选择的行为检测信息进行融合。
19.一种行为检测装置,包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的计算机指令,其特征在于,所述处理器运行所述计算机指令时执行权利要求1至9任一项所述的行为检测方法的步骤。
20.一种计算机可读存储介质,计算机可读存储介质为非易失性存储介质或非瞬态存储介质,其上存储有计算机指令,其特征在于,所述计算机指令运行时执行权利要求1至9中任一项所述的行为检测方法的步骤。
CN201910242333.8A 2019-03-28 2019-03-28 行为检测方法及装置、计算机可读存储介质 Pending CN110070001A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910242333.8A CN110070001A (zh) 2019-03-28 2019-03-28 行为检测方法及装置、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910242333.8A CN110070001A (zh) 2019-03-28 2019-03-28 行为检测方法及装置、计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN110070001A true CN110070001A (zh) 2019-07-30

Family

ID=67366663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910242333.8A Pending CN110070001A (zh) 2019-03-28 2019-03-28 行为检测方法及装置、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110070001A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792662A (zh) * 2021-09-15 2021-12-14 北京市商汤科技开发有限公司 图像检测方法、装置、电子设备以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866841A (zh) * 2015-06-05 2015-08-26 中国人民解放军国防科学技术大学 一种人体目标奔跑行为检测方法
CN107657244A (zh) * 2017-10-13 2018-02-02 河海大学 一种基于多摄像机的人体跌倒行为检测系统及其检测方法
CN108549876A (zh) * 2018-04-20 2018-09-18 重庆邮电大学 基于目标检测和人体姿态估计的坐姿检测方法
CN108647649A (zh) * 2018-05-14 2018-10-12 中国科学技术大学 一种视频中异常行为的检测方法
CN109086729A (zh) * 2018-08-13 2018-12-25 成都盯盯科技有限公司 通信行为检测方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866841A (zh) * 2015-06-05 2015-08-26 中国人民解放军国防科学技术大学 一种人体目标奔跑行为检测方法
CN107657244A (zh) * 2017-10-13 2018-02-02 河海大学 一种基于多摄像机的人体跌倒行为检测系统及其检测方法
CN108549876A (zh) * 2018-04-20 2018-09-18 重庆邮电大学 基于目标检测和人体姿态估计的坐姿检测方法
CN108647649A (zh) * 2018-05-14 2018-10-12 中国科学技术大学 一种视频中异常行为的检测方法
CN109086729A (zh) * 2018-08-13 2018-12-25 成都盯盯科技有限公司 通信行为检测方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈庆峰等: "一种基于多特征多分类器融合的人体行为识别方法", 《河南科技大学学报(自然科学版)》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792662A (zh) * 2021-09-15 2021-12-14 北京市商汤科技开发有限公司 图像检测方法、装置、电子设备以及存储介质

Similar Documents

Publication Publication Date Title
Schmitt et al. New methods for the computer-assisted 3-D reconstruction of neurons from confocal image stacks
Wu et al. On the adaptive detection of blood vessels in retinal images
CN109086711B (zh) 人脸特征分析方法、装置、计算机设备和存储介质
CA3154025A1 (en) Interactive behavior recognizing method, device, computer equipment and storage medium
CN112200162B (zh) 基于端到端网络的非接触式心率测量方法、系统和装置
CN110689555B (zh) 基于前景检测的kcf跟踪目标丢失检测方法及系统
CN109712128A (zh) 特征点检测方法、装置、计算机设备和存储介质
CN104182723B (zh) 一种视线估计的方法和装置
CN104217433A (zh) 一种分析图像的方法及装置
EP3793433A1 (en) Method and system for automatically generating and analyzing fully quantitative pixel-wise myocardial blood flow and myocardial perfusion reserve maps to detect ischemic heart disease using cardiac perfusion magnetic resonance imaging
CN109087310B (zh) 睑板腺纹理区域的分割方法、系统、存储介质及智能终端
WO2018028102A1 (zh) 一种仿记忆引导的模式识别方法
CN110464365A (zh) 一种关注度确定方法、装置、设备和存储介质
CN107341793A (zh) 一种靶面图像处理方法及装置
EP3671635B1 (en) Curvilinear object segmentation with noise priors
CN110246150A (zh) 金属检测方法、装置、设备及存储介质
CN108876776B (zh) 一种分类模型生成方法、眼底图像分类方法及装置
WO2015176502A1 (zh) 一种图像特征的估计方法和设备
Direkoglu et al. On using anisotropic diffusion for skeleton extraction
US8831301B2 (en) Identifying image abnormalities using an appearance model
CN110070001A (zh) 行为检测方法及装置、计算机可读存储介质
EP3671634B1 (en) Curvilinear object segmentation with geometric priors
CN109598201B (zh) 动作检测方法、装置、电子设备及可读存储介质
CN110008881A (zh) 多运动目标的奶牛行为的识别方法及装置
CN109871779A (zh) 掌纹识别的方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190730