CN106803083B - 行人检测的方法及装置 - Google Patents

行人检测的方法及装置 Download PDF

Info

Publication number
CN106803083B
CN106803083B CN201710064338.7A CN201710064338A CN106803083B CN 106803083 B CN106803083 B CN 106803083B CN 201710064338 A CN201710064338 A CN 201710064338A CN 106803083 B CN106803083 B CN 106803083B
Authority
CN
China
Prior art keywords
pedestrian
information
pedestrian information
probability
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710064338.7A
Other languages
English (en)
Other versions
CN106803083A (zh
Inventor
肖特特
茅佳源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kuangshi Technology Co Ltd
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Kuangshi Technology Co Ltd
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kuangshi Technology Co Ltd, Beijing Megvii Technology Co Ltd filed Critical Beijing Kuangshi Technology Co Ltd
Priority to CN201710064338.7A priority Critical patent/CN106803083B/zh
Publication of CN106803083A publication Critical patent/CN106803083A/zh
Application granted granted Critical
Publication of CN106803083B publication Critical patent/CN106803083B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种行人检测的方法,包括:接收待检测图片;采用神经网络,确定所述待检测图片中的行人信息,所述行人信息包括行人的位置以及所述行人的关键点位置;对所述待检测图片中的所述行人信息进行后处理,得到所述行人检测的结果。由此可见,本发明实施例对于待检测图片,可以采用神经网络,得到行人位置和行人的关键点信息,这样通过引入行人的关键点信息,解决了传统行人检测方法中难以解决的遮挡和重叠问题,提升了检测的精确度。

Description

行人检测的方法及装置
技术领域
本发明涉及图像识别领域,更具体地涉及一种行人检测的方法及装置。
背景技术
行人检测是通用物体检测的子问题,吸引了学术界和工业界的大量兴趣。首先,行人检测可以应用于安防、自动(辅助)驾驶、智能监控和人机交互等多个领域,是一项基本且重要的技术。
现有的行人检测无法解决遮挡、人体重叠等问题。遮挡,指由于存在障碍物导致目标只有部分可见,常见的遮挡后果是人体只有上(下)半身或左(右)半身可见。人体重叠,指两人及以上在图片中的位置关系发生重合,常见的人体重叠多见于人群较为密集的场景。
遮挡及重叠是行人检测中最棘手的两个问题。部分不可见会降低传统行人检测方法的检出率;重叠对技术的要求则更高,因为对于重叠的人,神经网络更倾向于将两人(甚至多人)检测为同一个人,即不能将重叠的目标划分开来。同时,现有的行人检测技术通常需要在后期处理中运用“非最大抑制”的方法。“非最大抑制”是为了处理神经网络对同一个人报出两次(或多次)检测,因此需对多个空间位置接近的检测结果进行合并。在重叠的情况下,非最大抑制还会导致对不同目标的检测结果被误合并。
发明内容
考虑到上述问题而提出了本发明。本发明提供了一种行人检测的方法,能够在基于待检测图片中的行人信息,得到行人检测的结果,从而能够提高行人检测的精度。
根据本发明的第一方面,提供了一种行人检测的方法,包括:
接收待检测图片;
采用神经网络,确定所述待检测图片中的行人信息,所述行人信息包括行人的位置以及所述行人的关键点位置;
对所述待检测图片中的所述行人信息进行后处理,得到所述行人检测的结果。
示例性地,所述行人的关键点位置包括以下中的至少一项:头部位置、左肩位置、右肩位置、左膝位置、右膝位置、左脚位置、右脚位置。
示例性地,所述对所述待检测图片中的所述行人信息进行后处理,得到所述行人检测的结果,包括:
对所述待检测图片中的所述行人信息进行过滤,得到所述行人信息中的高概率行人信息;
对所述高概率行人信息进行处理,得到所述行人检测的结果,
其中,所述高概率行人信息为概率值大于或等于概率阈值的行人信息,所述概率阈值为预设概率值。
示例性地,所述对所述高概率行人信息进行处理,得到所述行人检测的结果,包括:根据所述高概率行人信息中的所述行人的关键点位置,得到所述行人检测的结果。
示例性地,所述根据所述高概率行人信息中的所述行人的关键点位置,得到所述行人检测的结果,包括:根据所述高概率行人信息中的相邻的两个所述行人信息中所述关键点的空间位置与距离确定所述相邻的两个所述行人信息是否属于同一行人,以得到所述行人检测的结果。
示例性地,所述根据所述高概率行人信息中的所述行人的关键点位置,得到所述行人检测的结果,包括:根据所述高概率行人信息中的相邻的两个所述行人信息中所述关键点的空间位置与距离确定所述相邻的两个所述行人信息是否属于同一行人,若所述相邻的两个所述行人信息属于同一行人,则利用非最大抑制方法,对所述相邻的两个所述行人信息进行合并操作,得到所述行人检测的结果。
示例性地,在所述方法之前,还包括:基于至少一张训练图像,通过训练得到所述神经网络;其中,所述训练图像中标注有行人信息。
根据本发明的第二方面,提供了一种行人检测的装置,包括:
接收模块,用于接收待检测图片;
确定模块,用于采用神经网络,确定所述待检测图片中的行人信息,所述行人信息包括行人的位置以及所述行人的关键点位置;
后处理模块,用于对所述待检测图片中的所述行人信息进行后处理,得到所述行人检测的结果。
示例性地,所述行人的关键点位置包括以下中的至少一项:头部位置、左肩位置、右肩位置、左膝位置、右膝位置、左脚位置、右脚位置。
示例性地,所述后处理模块,包括:
过滤子模块,用于对所述待检测图片中的所述行人信息进行过滤,得到所述行人信息中的高概率行人信息;
处理子模块,用于对所述高概率行人信息进行处理,得到所述行人检测的结果,
其中,所述高概率行人信息为概率值大于或等于概率阈值的行人信息,所述概率阈值为预设概率值。
示例性地,所述处理子模块,用于:根据所述高概率行人信息中的所述行人的关键点位置,得到所述行人检测的结果。
示例性地,所述处理子模块,用于:根据所述高概率行人信息中的相邻的两个所述行人信息中所述关键点的空间位置与距离确定所述相邻的两个所述行人信息是否属于同一行人,以得到所述行人检测的结果。
示例性地,所述处理子模块,用于:根据所述高概率行人信息中的相邻的两个所述行人信息中所述关键点的空间位置与距离确定所述相邻的两个所述行人信息是否属于同一行人,若所述相邻的两个所述行人信息属于同一行人,则利用非最大抑制方法,对所述相邻的两个所述行人信息进行合并操作,得到所述行人检测的结果。
示例性地,还包括训练模块,用于:基于至少一张训练图像,通过训练得到所述神经网络;其中,所述训练图像中标注有行人信息。
第二方面所述的该装置能够用于实现前述第一方面的行人检测的方法。
根据本发明的第三方面,提供了一种计算机芯片,该计算机芯片包括处理器和存储器。所述存储器存储有指令代码,所述处理器用于执行所述指令代码,且当所述处理器执行指令代码时,能够实现前述第一方面所述的行人检测的方法。
由此可见,本发明实施例对于待检测图片,可以采用神经网络,得到行人位置和行人的关键点信息,这样通过引入行人的关键点信息,解决了传统行人检测方法中难以解决的遮挡和重叠问题,提升了检测的精确度。
附图说明
通过结合附图对本发明实施例进行更详细的描述,本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解,并且构成说明书的一部分,与本发明实施例一起用于解释本发明,并不构成对本发明的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1是本发明实施例的电子设备的一个示意性框图;
图2是本发明实施例的行人检测的方法的一个示意性流程图;
图3是本发明实施例的行人检测的装置的一个示意性框图;
图4是本发明实施例的行人检测的装置的另一个示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本发明的示例实施例。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
本发明实施例可以应用于电子设备,图1所示为本发明实施例的电子设备的一个示意性框图。图1所示的电子设备10包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108、图像传感器110以及一个或多个非图像传感器114,这些组件通过总线系统112和/或其它形式互连。应当注意,图1所示的电子设备10的组件和结构只是示例性的,而非限制性的,根据需要,所述电子设备也可以具有其他组件和结构。
所述处理器102可以包括CPU 1021和GPU 1022或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,例如现场可编程门阵列(Field-Programmable GateArray,FPGA)或进阶精简指令集机器(Advanced RISC(Reduced Instruction SetComputer)Machine,ARM)等,并且处理器102可以控制所述电子设备10中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器1041和/或非易失性存储器1042。所述易失性存储器1041例如可以包括随机存取存储器(Random Access Memory,RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器1042例如可以包括只读存储器(Read-Only Memory,ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器102可以运行所述程序指令,以实现各种期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如用户)输出各种信息(例如图像或声音),并且可以包括显示器、扬声器等中的一个或多个。
所述图像传感器110可以拍摄用户期望的图像(例如照片、视频等),并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。
当注意,图1所示的电子设备10的组件和结构只是示例性的,尽管图1示出的电子设备10包括多个不同的装置,但是根据需要,其中的一些装置可以不是必须的,其中的一些装置的数量可以更多等等,本发明对此不限定。
图2是本发明实施例的行人检测的方法的一个示意性流程图。图2所示的方法包括:
S101,接收待检测图片。
作为一例,该待检测图片可以是实时采集的图片,具体地可以是由图像采集装置实时采集的图片。例如可以是由摄像头采集的视频中的一帧图像或多帧图像,或者,可以是由照相机拍摄到的一张图片。作为另一例,该待检测图片可以是从特定的源获取的,例如可以从存储器中获取先前采集并存储的图片。本发明对此不限定。
S102,采用神经网络,确定所述待检测图片中的行人信息,所述行人信息包括行人的位置以及所述行人的关键点位置。
示例性地,行人的关键点位置包括以下中的至少一项:头部位置、两肩位置、两膝位置、两脚位置。
示例性地,所述行人的关键点位置包括以下中的至少一项:头部位置、左肩位置、右肩位置、左膝位置、右膝位置、左脚位置、右脚位置。
具体地,在S102中,可以将待检测图片输入到神经网络中,经由该神经网络得到行人信息。
与传统的神经网络不同,本发明实施例中的神经网络不仅能够得到行人位置,并且能够得到行人的关键点位置。另外,S102所得到的行人信息中,不仅包括该待检测图片的身体各个部位显示完整的行人的行人信息,还包括身体部分区域被遮挡的行人的行人信息。
举例来说,如果该待检测图片中包括行人A,由于被遮挡,该行人A只有部分身体可见。那么在S102中,基于该神经网络,可以根据行人A可见的身体部分推测其他的身体部分。例如,如果行人A的头部、左肩、左腿可见,那么基于该神经网络不仅可以直接得到该行人A的头部位置、左肩位置、左膝位置和左脚位置,并且能够推测出该行人A的右肩位置、右膝位置和右脚位置。从而得到了行人A的关键点信息:头部位置、两肩位置、两膝位置和两脚位置。
作为一例,可以基于所得到的行人的关键点信息确定该行人所在的矩形区域,作为行人位置。作为另一例,可以采用神经网络提取该待检测图片的特征张量,并基于该特征张量确定行人所在的矩形区域,作为行人位置。本发明对此不限定。
由此可见,本实施例中,基于神经网络,能够得到被遮挡的行人的行人信息,从而能够避免信息丢失,保证处理的精度。
S103,对所述待检测图片中的所述行人信息进行后处理,得到所述行人检测的结果。
可选地,行人信息可以包括低概率行人信息和高概率行人信息。通过神经网络对接收到的图像进行识别,获取图像中的行人信息,对获取到的行人信息进行概率算法运算,获得行人信息的概率值,将获得的行人信息的概率值与概率阈值进行比对,若行人信息的概率值大于或等于概率阈值,则判断为高概率行人信息;若行人信息的概率值小于概率阈值,则判断为低概率行人信息。其中,概率阈值可以为预先设定的概率值,可依据使用场景进行设定。
示例性地,S103可以包括:对所述待检测图片中的所述行人信息进行过滤,得到所述行人信息中的所述高概率行人信息;对所述高概率行人信息进行处理,得到所述行人检测的结果。其中,所述高概率行人信息为概率值大于或等于概率阈值的行人信息。
也就是说,可以过滤掉行人信息中的低概率行人信息,只包括高概率行人信息;并进一步基于高概率行人信息得到行人检测的结果。
示例性地,所述对所述过滤之后的所述行人信息进行处理,得到所述行人检测的结果,包括:根据所述高概率行人信息中的相邻的两个所述行人信息中所述关键点的空间位置与距离确定所述相邻的两个所述行人信息是否属于同一行人,以得到所述行人检测的结果。
也就是说,可以利用高概率行人信息中的关键点位置进行判断处理,从而得到行人检测的结果。其中,关键点信息包括但不限于目标头部距离,目标肩部重合度等。可选地,可在上述处理过程中辅助实施非最大抑制(Non-Maximum Suppression,NMS),根据所述高概率行人信息中的相邻的两个所述行人信息中所述关键点的空间位置与距离确定所述相邻的两个所述行人信息是否属于同一行人,若所述相邻的两个所述行人信息属于同一行人,则利用非最大抑制方法,对所述相邻的两个所述行人信息进行合并操作,得到所述行人检测的结果,从而进一步提升检测结果的精度。
利用高概率行人信息中的关键点位置进行判断处理得到行人检测的结果,可采用如下方式之一进行。
方式一:基于人体部位特征对高概率行人信息中的关键点进行分类,例如,将行人信息关键点中属于行人头部的关键点分类识别为头部关键点,将属于行人左肩的关键点分类识别为左肩关键点;分析相邻的同属于一类的关键点之间的空间位置与距离,以区分遮挡和/或重叠的行人,例如,相邻两个头部关键点之间的距离大于预设值,则判断这两个头部关键点属于两个人,相邻的两个左肩关键点之间的距离小于预设值,则判断这两个左肩关键点属于一个人。由于一个行人拥有多个关键点,通过判断每一个关键点与相邻的同类关键点之间的空间位置与距离,避免了传统行人检测仅检测行人整体产生的遮挡和重叠问题,提升了检测的精度;
方式二:基于人体部位特征对高概率行人信息中的关键点进行分类,例如,将行人信息关键点中属于行人头部的关键点分类识别为头部关键点,将属于行人左肩的关键点分类识别为左肩关键点;分析相邻行人信息中的关键点之间的空间位置与距离,以区分遮挡和/或重叠的行人,例如,相邻的行人信息为行人信息A和行人信息B,判断行人信息A中的左肩关键点与行人信息B中的头部关键点和/或右肩关键点和/或左膝关键点和/或左脚关键点等关键点之间的空间位置与距离,当行人信息A中的左肩关键点与行人信息B中的头部关键点和/或右肩关键点、和/或左膝关键点、和/或左脚关键点等关键点之间的空间位置与距离符合预设条件时,则判断行人信息A和行人信息B属于同一行人,其中,预设条件包括预设距离和/或预设相对位置等。
由此可见,在S103的后处理过程中,可以综合神经网络检测或推测的所有行人信息,移除低置信度的行人信息而保留高置信度的行人信息,这样能够保证该处理过程的精度。
示例性地,本发明实施例中所采用的神经网络可以是在图2所述的方法之前,通过训练的方法所得到的。
具体地,在图2所示的方法之前,可以包括:基于至少一张训练图像,通过训练得到所述神经网络。其中,所述训练图像中标注有行人信息。所述行人信息包括行人的位置以及所述行人的关键点位置。
可选地,在图2所示的方法之前,可以包括:获取至少一张训练图像;对所述训练图像进行标注;基于所述标注的训练图像,通过训练得到所述神经网络。
其中,对所述训练图像进行标注包括:对每一张训练图像中的每一个行人样本,标注该行人样本的位置,并标注该行人样本的头部位置、两肩位置、两膝位置和两脚位置。其中,如果行人样本的某个或某几个部位被遮挡时,对该某个或某几个部位标记为遮挡。可见,标注信息不仅包括行人位置、头部位置、两肩位置、两膝位置和两脚位置,还包括是否被遮挡的信息。示例性的,将行人B的关键点信息在图片中进行标注,假设图片中行人B的头部位置、左肩位置、左膝位置和左脚位置未被遮挡,右肩位置、右膝位置和右脚位置被其他行人或物体遮挡,则可在行人B的头部位置、左肩位置、左膝位置和左脚位置分别标记为“头部”、“左肩”、“左膝”、“左脚”;在被遮挡的行人B的右肩位置、右膝位置和右脚位置分别标记为“右肩(遮挡)”、“右膝(遮挡)”、“右脚(遮挡)”,或在被遮挡的行人B的右肩位置、右膝位置和右脚位置统一标记为“遮挡”。
进一步地,所训练的神经网络不仅要学会如何检测或推测行人位置(即行人整体的位置),还应学会如何检测或推测每个行人的关键点位置。
由此可见,本发明实施例对于待检测图片,可以采用神经网络,得到行人位置和行人的关键点信息,通过引入行人的关键点信息,解决了传统行人检测方法中难以解决的遮挡和重叠问题,提升了检测的精确度。另外,可理解,行人的关键点信息还可以用于人体姿态分析等其他的领域,本发明对此不限定。
图3是本发明实施例的行人检测的装置的一个示意性框图。图3所示的装置30包括:接收模块301、确定模块302和后处理模块303。
接收模块301,用于接收待检测图片;
确定模块302,用于采用神经网络,确定接收模块301接收的所述待检测图片中的行人信息,所述行人信息包括行人的位置以及所述行人的关键点位置;
后处理模块303,用于对确定模块302确定的所述待检测图片中的所述行人信息进行后处理,得到所述行人检测的结果。
示例性地,所述行人的关键点位置包括以下中的至少一项:头部位置、左肩位置、右肩位置、左膝位置、右膝位置、左脚位置、右脚位置。
示例性地,后处理模块303,包括过滤子模块和处理子模块。
过滤子模块可以用于对所述待检测图片中的所述行人信息进行过滤,得到所述行人信息中的高概率行人信息。处理子模块可以用于对所述高概率行人信息进行处理,得到所述行人检测的结果。其中,所述高概率行人信息为概率值大于或等于概率阈值的行人信息,所述概率阈值为预设概率值。
示例性地,所述处理子模块可以用于:根据所述高概率行人信息中的所述行人的关键点位置,得到所述行人检测的结果。
示例性地,所述处理子模块可以具体用于:根据所述高概率行人信息中的相邻的两个所述行人信息中所述关键点的空间位置与距离确定所述相邻的两个所述行人信息是否属于同一行人,以得到所述行人检测的结果。
示例性地,所述处理子模块可以具体用于:根据所述高概率行人信息中的相邻的两个所述行人信息中所述关键点的空间位置与距离确定所述相邻的两个所述行人信息是否属于同一行人,若所述相邻的两个所述行人信息属于同一行人,则利用非最大抑制方法,对所述相邻的两个所述行人信息进行合并操作,得到所述行人检测的结果。
处理子模块利用高概率行人信息中的关键点位置进行判断处理得到行人检测的结果,可采用如下方式之一进行。
方式一:处理子模块基于人体部位特征对高概率行人信息中的关键点进行分类,例如,将行人信息关键点中属于行人头部的关键点分类识别为头部关键点,将属于行人左肩的关键点分类识别为左肩关键点;分析相邻的同属于一类的关键点之间的空间位置与距离,以区分遮挡和/或重叠的行人,例如,相邻两个头部关键点之间的距离大于预设值,则判断这两个头部关键点属于两个人,相邻的两个左肩关键点之间的距离小于预设值,则判断这两个左肩关键点属于一个人。由于一个行人拥有多个关键点,通过判断每一个关键点与相邻的同类关键点之间的空间位置与距离,避免了传统行人检测仅检测行人整体产生的遮挡和重叠问题,提升了检测的精度;
方式二:处理子模块基于人体部位特征对高概率行人信息中的关键点进行分类,例如,将行人信息关键点中属于行人头部的关键点分类识别为头部关键点,将属于行人左肩的关键点分类识别为左肩关键点;分析相邻行人信息中的关键点之间的空间位置与距离,以区分遮挡和/或重叠的行人,例如,相邻的行人信息为行人信息A和行人信息B,判断行人信息A中的左肩关键点与行人信息B中的头部关键点和/或右肩关键点和/或左膝关键点和/或左脚关键点等关键点之间的空间位置与距离,当行人信息A中的左肩关键点与行人信息B中的头部关键点和/或右肩关键点和/或左膝关键点和/或左脚关键点等关键点之间的空间位置与距离符合预设条件时,则判断行人信息A和行人信息B属于同一行人,其中,预设条件包括预设距离和/或预设相对位置等。
由此可见,处理子模块可以综合神经网络检测或推测的所有行人信息,移除低置信度的行人信息而保留高置信度的行人信息,这样能够保证该处理过程的精度。
示例性地,如图4所示,装置30还包括训练模块304。训练模块304可以用于:基于至少一张训练图像,通过训练得到所述神经网络。其中,所述训练图像中标注有行人信息。所标注的行人信息可以包括行人的位置以及所述行人的关键点位置。
图3或图4所示的装置30能够用于实现前述图2所示的行人检测的方法。
另外,本发明实施例还提供了另一种行人检测的装置,该装置可以包括处理器和存储器,其中,存储器用于存储指令代码,处理器执行该指令代码时,可以实现前述图2所示的行人检测的方法。
另外,本发明实施例还提供了另一种行人检测的装置,该装置可以包括处理器,其中,处理器能够同时实现图3中确定模块302和后处理模块303的功能,从而实现前述图2所示的行人检测的方法。
另外,本发明实施例还提供了一种电子设备,该电子设备可以包括图3或图4所示的装置30。该电子设备可以实现前述图2所示的行人检测的方法。
由此可见,本发明实施例对于待检测图片,可以采用神经网络,得到行人位置和行人的关键点信息,通过引入行人的关键点信息,解决了传统行人检测方法中难以解决的遮挡和重叠问题,提升了检测的精确度。也就是说本发明实施例的方法在行人检测过程中能够保证高精度和准确度。另外,可理解,行人的关键点信息还可以用于人体姿态分析等其他的领域,本发明对此不限定。
尽管这里已经参考附图描述了示例实施例,应理解上述示例实施例仅仅是示例性的,并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改,而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个设备,或一些特征可以忽略,或不执行。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该本发明的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如相应的权利要求书所反映的那样,其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解,除了特征之间相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的物品分析设备中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述,仅为本发明的具体实施方式或对具体实施方式的说明,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (15)

1.一种行人检测的方法,其特征在于,包括:
接收待检测图片;
采用神经网络,确定所述待检测图片中的行人信息,所述行人信息包括行人的位置以及所述行人的关键点位置;
对所述待检测图片中的所述行人信息进行后处理,得到所述行人检测的结果,
其中,所述后处理包括:对所述行人信息进行过滤,然后再根据相邻的两个所述行人信息中的所述关键点的空间位置与距离确定所述相邻的两个所述行人信息是否属于同一行人。
2.如权利要求1所述的方法,其特征在于,所述行人的关键点位置包括以下中的至少一项:
头部位置、左肩位置、右肩位置、左膝位置、右膝位置、左脚位置、右脚位置。
3.如权利要求1所述的方法,其特征在于,所述对所述待检测图片中的所述行人信息进行后处理,得到所述行人检测的结果,包括:
对所述待检测图片中的所述行人信息进行过滤,得到所述行人信息中的高概率行人信息;
对所述高概率行人信息进行处理,得到所述行人检测的结果,
其中,所述高概率行人信息为概率值大于或等于概率阈值的行人信息,所述概率阈值为预设概率值。
4.如权利要求3所述的方法,其特征在于,所述对所述高概率行人信息进行处理,得到所述行人检测的结果,包括:
根据所述高概率行人信息中的所述行人的关键点位置,得到所述行人检测的结果。
5.如权利要求4所述的方法,其特征在于,所述根据所述高概率行人信息中的所述行人的关键点位置,得到所述行人检测的结果,包括:
根据所述高概率行人信息中的相邻的两个所述行人信息中所述关键点的空间位置与距离确定所述相邻的两个所述行人信息是否属于同一行人,以得到所述行人检测的结果。
6.如权利要求5所述的方法,其特征在于,所述根据所述高概率行人信息中的相邻的两个所述行人信息中所述关键点的空间位置与距离确定所述相邻的两个所述行人信息是否属于同一行人,以得到所述行人检测的结果,包括:
根据所述高概率行人信息中的相邻的两个所述行人信息中所述关键点的空间位置与距离确定所述相邻的两个所述行人信息是否属于同一行人,若所述相邻的两个所述行人信息属于同一行人,则利用非最大抑制方法,对所述相邻的两个所述行人信息进行合并操作,得到所述行人检测的结果。
7.如权利要求1至6任一项所述的方法,其特征在于,在所述方法之前,还包括:
基于至少一张训练图像,通过训练得到所述神经网络;
其中,所述训练图像中标注有行人信息。
8.一种行人检测的装置,其特征在于,包括:
接收模块,用于接收待检测图片;
确定模块,用于采用神经网络,确定所述待检测图片中的行人信息,所述行人信息包括行人的位置以及所述行人的关键点位置;
后处理模块,用于对所述待检测图片中的所述行人信息进行后处理,得到所述行人检测的结果,
其中,所述后处理模块具体用于:对所述行人信息进行过滤,然后再根据相邻的两个所述行人信息中的所述关键点的空间位置与距离确定所述相邻的两个所述行人信息是否属于同一行人。
9.如权利要求8所述的装置,其特征在于,所述行人的关键点位置包括以下中的至少一项:
头部位置、左肩位置、右肩位置、左膝位置、右膝位置、左脚位置、右脚位置。
10.如权利要求8所述的装置,其特征在于,所述后处理模块,包括:
过滤子模块,用于对所述待检测图片中的所述行人信息进行过滤,得到所述行人信息中的高概率行人信息;
处理子模块,用于对所述高概率行人信息进行处理,得到所述行人检测的结果,
其中,所述高概率行人信息为概率值大于或等于概率阈值的行人信息,所述概率阈值为预设概率值。
11.如权利要求10所述的装置,其特征在于,所述处理子模块,用于:
根据所述高概率行人信息中的所述行人的关键点位置,得到所述行人检测的结果。
12.如权利要求11所述的装置,其特征在于,所述处理子模块,用于:
根据所述高概率行人信息中的相邻的两个所述行人信息中所述关键点的空间位置与距离确定所述相邻的两个所述行人信息是否属于同一行人,以得到所述行人检测的结果。
13.如权利要求12所述的装置,其特征在于,所述处理子模块,用于:
根据所述高概率行人信息中的相邻的两个所述行人信息中所述关键点的空间位置与距离确定所述相邻的两个所述行人信息是否属于同一行人,若所述相邻的两个所述行人信息属于同一行人,则利用非最大抑制方法,对所述相邻的两个所述行人信息进行合并操作,得到所述行人检测的结果。
14.如权利要求8至13任一项所述的装置,其特征在于,还包括训练模块,用于:
基于至少一张训练图像,通过训练得到所述神经网络;
其中,所述训练图像中标注有行人信息。
15.一种行人检测的装置,包括处理器和存储器,其中,所述存储器用于存储指令代码,当所述指令代码被所述处理器执行时,实现前述权利要求1至7中任一项所述的行人检测的方法。
CN201710064338.7A 2017-02-04 2017-02-04 行人检测的方法及装置 Active CN106803083B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710064338.7A CN106803083B (zh) 2017-02-04 2017-02-04 行人检测的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710064338.7A CN106803083B (zh) 2017-02-04 2017-02-04 行人检测的方法及装置

Publications (2)

Publication Number Publication Date
CN106803083A CN106803083A (zh) 2017-06-06
CN106803083B true CN106803083B (zh) 2021-03-19

Family

ID=58988463

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710064338.7A Active CN106803083B (zh) 2017-02-04 2017-02-04 行人检测的方法及装置

Country Status (1)

Country Link
CN (1) CN106803083B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875483A (zh) * 2017-09-20 2018-11-23 北京旷视科技有限公司 图像检测方法、装置、系统和计算机可读介质
CN107832708A (zh) * 2017-11-09 2018-03-23 云丁网络技术(北京)有限公司 一种人体动作识别方法及装置
CN108062536B (zh) * 2017-12-29 2020-07-24 纳恩博(北京)科技有限公司 一种检测方法及装置、计算机存储介质
CN110096933B (zh) 2018-01-30 2023-07-18 华为技术有限公司 目标检测的方法、装置及系统
CN108563998A (zh) * 2018-03-16 2018-09-21 新智认知数据服务有限公司 活体识别模型训练方法、活体检测方法及装置
CN108596056A (zh) * 2018-04-10 2018-09-28 武汉斑马快跑科技有限公司 一种出租车运营行为动作识别方法及系统
CN109409309A (zh) * 2018-11-05 2019-03-01 电子科技大学 一种基于人体检测的智能报警系统和方法
CN109766868B (zh) * 2019-01-23 2020-12-11 哈尔滨工业大学 一种基于身体关键点检测的真实场景遮挡行人检测网络及其检测方法
CN112990144B (zh) * 2021-04-30 2021-08-17 德鲁动力科技(成都)有限公司 一种用于行人重识别的数据增强方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103632146A (zh) * 2013-12-05 2014-03-12 南京理工大学 一种基于头肩距的人体检测方法
CN104008380A (zh) * 2014-06-16 2014-08-27 武汉大学 一种基于显著区域的行人检测方法及系统
CN105069423A (zh) * 2015-07-29 2015-11-18 北京格灵深瞳信息技术有限公司 一种人体姿态检测方法及装置
CN105320917A (zh) * 2014-06-27 2016-02-10 南京理工大学 一种基于头肩轮廓及bp神经网络的行人检测及跟踪方法
CN105740892A (zh) * 2016-01-27 2016-07-06 北京工业大学 一种高准确率的基于卷积神经网络的人体多部位识别方法
CN106096561A (zh) * 2016-06-16 2016-11-09 重庆邮电大学 基于图像块深度学习特征的红外行人检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008021034A (ja) * 2006-07-11 2008-01-31 Fujitsu Ten Ltd 画像認識装置、画像認識方法、歩行者認識装置および車両制御装置
US10275688B2 (en) * 2014-12-17 2019-04-30 Nokia Technologies Oy Object detection with neural network
CN106203399B (zh) * 2016-07-27 2019-06-04 厦门美图之家科技有限公司 一种图像处理方法、装置和计算设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103632146A (zh) * 2013-12-05 2014-03-12 南京理工大学 一种基于头肩距的人体检测方法
CN104008380A (zh) * 2014-06-16 2014-08-27 武汉大学 一种基于显著区域的行人检测方法及系统
CN105320917A (zh) * 2014-06-27 2016-02-10 南京理工大学 一种基于头肩轮廓及bp神经网络的行人检测及跟踪方法
CN105069423A (zh) * 2015-07-29 2015-11-18 北京格灵深瞳信息技术有限公司 一种人体姿态检测方法及装置
CN105740892A (zh) * 2016-01-27 2016-07-06 北京工业大学 一种高准确率的基于卷积神经网络的人体多部位识别方法
CN106096561A (zh) * 2016-06-16 2016-11-09 重庆邮电大学 基于图像块深度学习特征的红外行人检测方法

Also Published As

Publication number Publication date
CN106803083A (zh) 2017-06-06

Similar Documents

Publication Publication Date Title
CN106803083B (zh) 行人检测的方法及装置
CN109508688B (zh) 基于骨架的行为检测方法、终端设备及计算机存储介质
CN107358149B (zh) 一种人体姿态检测方法和装置
CN106203305B (zh) 人脸活体检测方法和装置
CN106952303B (zh) 车距检测方法、装置和系统
Radman et al. Automated segmentation of iris images acquired in an unconstrained environment using HOG-SVM and GrowCut
CN108875723B (zh) 对象检测方法、装置和系统及存储介质
CN106650662B (zh) 目标对象遮挡检测方法及装置
CN108182396B (zh) 一种自动识别拍照行为的方法及装置
CN107844794B (zh) 图像识别方法和装置
CN106845352B (zh) 行人检测方法和装置
WO2015165365A1 (zh) 一种人脸识别方法及系统
CN109766779B (zh) 徘徊人员识别方法及相关产品
CN108875534B (zh) 人脸识别的方法、装置、系统及计算机存储介质
CN108009466B (zh) 行人检测方法和装置
US20130243343A1 (en) Method and device for people group detection
US8675917B2 (en) Abandoned object recognition using pedestrian detection
CN103870824A (zh) 一种在人脸检测跟踪过程中的人脸捕捉方法及装置
CN112115803B (zh) 口罩状态提醒方法、装置及移动终端
CN108875500B (zh) 行人再识别方法、装置、系统及存储介质
KR100885418B1 (ko) 오버헤드 카메라 영상에서 사람을 감지하고 추적하는시스템 및 그 방법
JP2014199506A (ja) 物体検出装置、物体検出方法及びプログラム
CN108875501B (zh) 人体属性识别方法、装置、系统及存储介质
KR102211159B1 (ko) 사용자 영상의 신체 부위를 검출하는 장치 및 방법
Hadi et al. Fusion of thermal and depth images for occlusion handling for human detection from mobile robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100190 Beijing, Haidian District Academy of Sciences, South Road, No. 2, block A, No. 313

Applicant after: MEGVII INC.

Applicant after: Beijing maigewei Technology Co., Ltd.

Address before: 100190 Beijing, Haidian District Academy of Sciences, South Road, No. 2, block A, No. 313

Applicant before: MEGVII INC.

Applicant before: Beijing aperture Science and Technology Ltd.

GR01 Patent grant
GR01 Patent grant