CN112101090B - 人体检测方法及装置 - Google Patents

人体检测方法及装置 Download PDF

Info

Publication number
CN112101090B
CN112101090B CN202010740567.8A CN202010740567A CN112101090B CN 112101090 B CN112101090 B CN 112101090B CN 202010740567 A CN202010740567 A CN 202010740567A CN 112101090 B CN112101090 B CN 112101090B
Authority
CN
China
Prior art keywords
image
human body
target
determining
current frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010740567.8A
Other languages
English (en)
Other versions
CN112101090A (zh
Inventor
任明艺
李昱兵
汪伟
许德海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Hongmei Intelligent Technology Co Ltd
Original Assignee
Sichuan Hongmei Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Hongmei Intelligent Technology Co Ltd filed Critical Sichuan Hongmei Intelligent Technology Co Ltd
Priority to CN202010740567.8A priority Critical patent/CN112101090B/zh
Publication of CN112101090A publication Critical patent/CN112101090A/zh
Application granted granted Critical
Publication of CN112101090B publication Critical patent/CN112101090B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了人体检测方法及装置，采集目标区域的视频图像；读取视频图像的当前帧图像；确定当前帧图像与当前帧图像的当前背景模型图像的差图像；从差图像中确定至少一个候选人体目标；确定至少一个候选人体目标中是否存在用户的真实人体目标；当至少一个候选人体目标存在真实人体目标时，根据真实人体目标，更新当前背景模型图像。本方案能够提高人体检测的准确性。

Description

人体检测方法及装置
技术领域
本发明涉及智能家电技术领域，特别涉及人体检测方法及装置。
背景技术
随着家电产业的不断发展，自动化、智能化的家电技术成为当前的研究热门。例如，通过检测室内人员的数目，实现空调的智能控制，以获取人体最舒适的温、湿度环境；通过检测人员的有无且在发现室内长时间无人时，进行自动关机以实现智能节电等。
目前，智能家电大多采用红外传感器来感知并检测室内人体的存在情况。由于人体与周围背景之间存在温度差异，因而具备不同的红外辐射特性，在红外图像上反映为亮度的不同。利用这一特征，可以区分人体与背景，实现人体检测。
如专利申请号CN104061662A、CN105352106A、CN106772656A和CN110134220A中，均采用固定阈值的方式检测人体目标，即认为与背景之间的温度差异大于某个定值的像素点即为人体目标区域。
然而，不同季节、不同时段的背景温度往往差异极大，造成人体与背景的温度差发生显著改变；同时，人体与背景的温度差还会随着到红外传感器距离的不同产生明显变化，如果采用固定阈值的方式检测人体，其准确度通常较低。
发明内容
本发明实施例提供了人体检测方法及装置，能够提高人体检测的准确性。
第一方面，本发明提供了人体检测方法，包括：
采集所述目标区域的视频图像；
读取所述视频图像的当前帧图像；
确定所述当前帧图像与所述当前帧图像的当前背景模型图像的差图像；
从所述差图像中确定至少一个候选人体目标；
确定所述至少一个候选人体目标中是否存在用户的真实人体目标；
当所述至少一个候选人体目标存在所述真实人体目标时，根据所述真实人体目标，更新所述当前背景模型图像。
优选地，
所述确定所述当前背景模型图像与所述当前帧图像的差图像，包括：
根据下述第一公式确定差图像；
第一公式为：
D(x,y)＝Il(x,y)-Bl(x,y)
其中，D(x,y)表征所述差图像，Il(x,y)表征所述当前帧图像，Bl(x,y)表征所述当前背景模型图像，(x,y)表征像素位置坐标。
优选地，
在所述确定所述当前背景模型图像与所述当前帧图像的差图像之后，在所述从所述差图像中确定至少一个候选人体目标之前，进一步包括：
确定用于调节所述差图像的像素的自适应阈值；
利用所述自适应阈值对所述差图像进行二值化处理，得到目标图像；
所述从所述差图像中确定至少一个候选人体目标，包括：
从所述目标图像中确定至少一个候选人体目标。
优选地，
所述确定用于调节所述差图像的像素的自适应阈值，包括：
根据下述第二公式确定所述差图像的均值；
第二公式为：
Figure BDA0002606577920000031
其中，mD表征所述均值，N表征所述差图像中像素点的数量，D(x,y)表征所述差图像；
根据下述第三公式确定所述差图像的标准差；
第三公式为：
Figure BDA0002606577920000032
其中，sD表征所述标准差；
所述确定所述当前背景模型图像与所述当前帧图像的差图像，包括：
根据下述第四公式确定自适应阈值；
第四公式为：
Th＝mD+η·sD
其中，Th表征所述自适应阈值；η表征阈值系数，η取值范围为[3，5]。
优选地，
所述从所述目标图像中确定至少一个候选人体目标，包括：
确定所述目标图像中的至少一个多边形，将每一个所述多边形作为候选人体目标；
所述确定所述至少一个候选人体目标中是否存在用户的真实人体目标，包括：
确定所述至少一个候选人体目标中是否存在面积大于预设阈值的候选人体目标；
若是，将面积大于预设阈值的候选人体目标作为真实人体目标。
优选地，
所述根据所述真实人体目标，更新所述当前背景模型图像，包括：
从所述当前帧图像中去除所述真实人体目标，得到待更新图像；
在所述当前帧图像之后的第n帧图像中不存在所述真实人体目标时，将所述当前背景模型图像中除所述真实人体目标之外的区域更换为所述待更新图像。
优选地，
所述读取所述视频图像的当前帧图像，包括：
从所述视频图像中读取图像采集器未被遮挡时的当前帧图像。
优选地，
在所述采集所述目标区域的视频图像之后，在所述读取所述视频图像的当前帧图像之前，进一步包括：
从所述视频图像中确定图像采集器被遮挡时的至少两帧初始图像；
根据下述第五公式建立所述目标区域的背景的初始背景模型图像；
第五公式为：
B0(x,y)＝median(I1(x,y),I2(x,y),…,IK(x,y))
其中，B0(x,y)表征所述初始背景模型图像，IK(x,y)表征所述至少两帧初始图像中的第K帧图像，(x,y)表征像素位置坐标，K为正整数；
在所述读取所述视频图像的当前帧图像之后，在所述确定所述当前帧图像与所述当前帧图像的当前背景模型图像的差图像之前，进一步包括：
当用于建立所述初始背景模型图像的最后一帧图像的下一帧图像为所述当前帧图像时，将所述初始背景模型图像作为所述当前帧图像的当前背景模型图像。
第二方面，本发明还提供了人体检测装置，包括：
图像采集模块，用于采集所述目标区域的视频图像；读取所述视频图像的当前帧图像；
图像处理模块，用于确定所述图像采集模块读取的所述当前帧图像与所述当前帧图像的当前背景模型图像的差图像；从所述差图像中确定至少一个候选人体目标；确定所述至少一个候选人体目标中是否存在用户的真实人体目标；
背景更新模块，用于当所述图像处理模块确定所述至少一个候选人体目标存在所述真实人体目标时，根据所述真实人体目标，更新所述当前背景模型图像。
优选地，
所述图像处理模块，用于执行下述操作：
根据下述第一公式确定差图像；
第一公式为：
D(x,y)＝Il(x,y)-Bl(x,y)
其中，D(x,y)表征所述差图像，Il(x,y)表征所述当前帧图像，Bl(x,y)表征所述当前背景模型图像，(x,y)表征像素位置坐标。
优选地，
所述图像处理模块，进一步用于确定用于调节所述差图像的像素的自适应阈值；利用所述自适应阈值对所述差图像进行二值化处理，得到目标图像；从所述目标图像中确定至少一个候选人体目标。
第三方面，本发明还提供了智能电子设备，包括：至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行第一方面中任一所述的人体检测方法。
第四方面，本发明还提供了计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行第一方面中任一所述的人体检测方法。
本发明提供了人体检测方法及装置，目标区域内没有用户时，采集到的目标区域的视频图像中的任一帧即为目标区域的背景；对于目标区域的视频图像中的每一帧，通过将当前帧图像与对应的当前背景模型图像对比，可以得到当前帧图像中除当前背景模型图像外的差图像，然后从差图像中确定候选人体目标，由于候选人体目标中存在非用户的图像形成的目标，因此需要从候选人体目标中确定表征用户的真实人体目标，再基于真实人体目标对完成当前背景模型图像的更新，提高人体检测的准确性。避免不同季节、不同时段的背景温度差异过大，造成人体目标与背景的温差变化较小导致无法检测到人体目标，还可以避免人体目标随着人体到图像采集器距离逐渐变大导致人体目标与背景的温差变化不明显，而无法检测到人体目标。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的人体检测方法的流程图；
图2是本发明另一实施例提供的人体检测方法的流程图；
图3是本发明一实施例提供的人体检测装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了人体检测方法，包括：
步骤101：采集所述目标区域的视频图像；
步骤102：读取所述视频图像的当前帧图像；
步骤103：确定所述当前帧图像与所述当前帧图像的当前背景模型图像的差图像；
步骤104：从所述差图像中确定至少一个候选人体目标；
步骤105：确定所述至少一个候选人体目标中是否存在用户的真实人体目标；
步骤106：当所述至少一个候选人体目标存在所述真实人体目标时，根据所述真实人体目标，更新所述当前背景模型图像。
在本发明实施例中，目标区域内没有用户时，采集到的目标区域的视频图像中的任一帧即为目标区域的背景；对于目标区域的视频图像中的每一帧，通过将当前帧图像与对应的当前背景模型图像对比，可以得到当前帧图像中除当前背景模型图像外的差图像，然后从差图像中确定候选人体目标，由于候选人体目标中存在非用户的图像形成的目标，因此需要从候选人体目标中确定表征用户的真实人体目标，再基于真实人体目标对完成当前背景模型图像的更新，提高人体检测的准确性。避免不同季节、不同时段的背景温度差异过大，造成人体目标与背景的温差变化较小导致无法检测到人体目标，还可以避免人体目标随着人体到图像采集器距离逐渐变大导致人体目标与背景的温差变化不明显，而无法检测到人体目标。
本方案可以用于带有图像采集器的智能家电，比如，智能空调、智能冰箱、智能电视等，但不限于此。
在本发明一实施例中，所述确定所述当前背景模型图像与所述当前帧图像的差图像，包括：
根据下述第一公式确定差图像；
第一公式为：
D(x,y)＝Il(x,y)-Bl(x,y)
其中，D(x,y)表征所述差图像，Il(x,y)表征所述当前帧图像，Bl(x,y)表征所述当前背景模型图像，(x,y)表征像素位置坐标。
在本发明实施例中，当前背景模型图像是指当前帧图像对应的目标区域的背景，比如，创建第一背景模型图像后，采集到的第一帧图像对应的即为初始背景模型图像，当对第一背景模型图像更新后，采集到的第二帧图像对应的目标区域的背景即为更新后的第一背景模型图像。为了降低目标区域的背景对人体目标检测的影响，可从当前帧图像的像素中去除当前背景模型图像，得到差图像。
其中，Il(x,y)和Bl(x,y)中的l表征图像的帧号。
为了识别出差图像中与用户的图像相似的候选人体目标，在本发明一实施例中，在所述确定所述当前背景模型图像与所述当前帧图像的差图像之后，在所述从所述差图像中确定至少一个候选人体目标之前，进一步包括：
确定用于调节所述差图像的像素的自适应阈值；
利用所述自适应阈值对所述差图像进行二值化处理，得到目标图像；
所述从所述差图像中确定至少一个候选人体目标，包括：
从所述目标图像中确定至少一个候选人体目标。
在本发明实施例中，通过用于调节差图像的像素的自适应阈值对差图像进行二值化处理，可以适当差图像中的像素点的灰度值为0或255，即使得目标图像呈现出明显的黑白效果，基于具有黑白效果的目标图像可以确定出候选人体目标，以便基于候选人体目标确定用户在目标区域时的真实人体目标。
在本发明一实施例中，所述确定用于调节所述差图像的像素的自适应阈值，包括：
根据下述第二公式确定所述差图像的均值；
第二公式为：
Figure BDA0002606577920000081
其中，mD表征所述均值，N表征所述差图像中像素点的数量，D(x,y)表征所述差图像；
根据下述第三公式确定所述差图像的标准差；
第三公式为：
Figure BDA0002606577920000082
其中，sD表征所述标准差。
所述确定所述当前背景模型图像与所述当前帧图像的差图像，包括：
根据下述第四公式确定自适应阈值；
第四公式为：
Th＝mD+η·sD
其中，Th表征所述自适应阈值；η表征阈值系数，η取值范围为[3，5]。
在本发明实施例中，基于差图像中各个像素点的像素位置坐标的求得差图像的均值和标准差，可以确定差图像的统计特性。再基于差图像的均值、标准差和预设的阈值系数，可以得到用于调节差图像的自适应阈值。
针对阈值系数的取值，[3，5]是指3到5范围内的任一值，比如，3、3.5、4、4.5以及5。
当阈值系数小于3时，通过自适应阈值对差图像调节后所得到的图像中的虚警较多，即，面积较小的像素块较多，由于像素块面积较小影响人体目标的检测。
当阈值系数大于5时，通过自适应阈值对差图像调节后所得到的图像中被过滤掉过多的像素块，而过滤掉的这些像素块可能是人体目标中的一部分，从而影响人体目标的检测。
在本发明一实施例中，所述从所述目标图像中确定至少一个候选人体目标，包括：
确定所述目标图像中的至少一个多边形，将每一个所述多边形作为候选人体目标；
所述确定所述至少一个候选人体目标中是否存在用户的真实人体目标，包括：
确定所述至少一个候选人体目标中是否存在面积大于预设阈值的候选人体目标；
若是，将面积大于预设阈值的候选人体目标作为真实人体目标。
在本发明实施例中，目标图像中的每一个多边形均是由至少一个像素点构成的图形，当多边形由多个像素点构成时，该多边形图像中的像素点是连续的。筛选出的多边形即为候选人体目标，而目标区域内的用户所呈现的真实人体目标即在候选人体目标中，通过对候选人体目标进行筛选，即可得到真实人体目标。
在本发明一实施例中，所述根据所述真实人体目标，更新所述当前背景模型图像，包括：
从所述当前帧图像中去除所述真实人体目标，得到待更新图像；
在所述当前帧图像之后的第n帧图像中不存在所述真实人体目标时，将所述当前背景模型图像中除所述真实人体目标之外的区域更换为所述待更新图像。
在本发明实施例中，在检测出用户的真实人体目标之后，从当前帧图像中去除真实人体目标，当前帧图像中则剩余目标区域的背景图像。由于当前帧图像中的真实人体目标遮挡住部分背景，因此，在更新当前背景模型图像时，仅需利用待更新图像替换当前背景模型图像中除了真实人体目标之外的区域，即可完成当前背景模型图像的更新。
可以理解的是，当图像采集器的采集未发生变化时，图像采集器采集的每帧的图像的尺寸是相同的，所以可以利用待更新图像对当前背景模型进行更新。
在本发明一实施例中，所述读取所述视频图像的当前帧图像，包括：
从所述视频图像中读取图像采集器未被遮挡时的当前帧图像。
在本发明实施例中，读取到的当前帧图像是在图像采集器在未被遮挡时所采集到的图像。只有在图像采集器未被遮挡时，才可采集到目标区域的图像，用以识别是否存在人体目标。
在本发明一实施例中，在所述采集所述目标区域的视频图像之后，在所述读取所述视频图像的当前帧图像之前，进一步包括：
从所述视频图像中确定图像采集器被遮挡时的至少两帧初始图像；
根据下述第五公式建立所述目标区域的背景的初始背景模型图像；
第五公式为：
B0(x,y)＝median(I1(x,y),I2(x,y),…,IK(x,y))
其中，B0(x,y)表征所述初始背景模型图像，IK(x,y)表征所述至少两帧初始图像中的第K帧图像，(x,y)表征像素位置坐标，K为正整数；
在所述读取所述视频图像的当前帧图像之后，在所述确定所述当前帧图像与所述当前帧图像的当前背景模型图像的差图像之前，进一步包括：
当用于建立所述初始背景模型图像的最后一帧图像的下一帧图像为所述当前帧图像时，将所述初始背景模型图像作为所述当前帧图像的当前背景模型图像。
在本发明实施例中，在检测目标区域内是否存在真实人体目标之前，需要先建立目标区域的初始背景模型图像，该初始背景模型图像即为在目标区域内未检测到人体目标时的图像。未检测到人体目标时采集到的图像可以是，用户离开目标区域后采集到的图像，也可以是用户通过遮挡物对图像采集器进行遮挡后采集到的图像。通过连续采集的多帧图像，再对采集到的初始图像中位于同一位置的像素求取中值，即可得到初始背景模型图像。若建立初始背景模型图像后，继续采集目标区域的视频图像，在该视频图像中位于建立初始背景模型图像后的当前帧图像所对应的当前背景模型图像即为初始背景模型图像。
例如，图像采集器在第一次上电后且被遮挡物遮挡后，采集到5帧初始图像，通过对5帧初始图像中位于同一位置的像素求中值，可以得到目标区域的初始背景模型图像。当图像采集器未被遮挡物遮挡时，继续采集视频图像，此时采集的视频图像中的第6帧图像即包括目标区域的背景，用户也可能在第6帧图像中，为了识别第6帧图像中是否存在用户，需要基于第6帧图像和第6帧图像的当前背景模型图像进行判断，而第6帧图像所对应的当前背景模型图像即为初始背景模型图像。当继续采集目标区域的视频图像后，视频图像的第7帧图像所对应的当前背景模型图像即为基于第6帧图像更新后的背景模型图像。
为了更加清楚地说明本发明的技术方案及优点，下面对本发明实施例提供的人体检测方法进行详细说明，具体可以包括以下步骤：
步骤201：采集目标区域的视频图像。
步骤202：从视频图像中确定图像采集器被遮挡时的至少两帧初始图像。
步骤203：根据初始图像建立目标区域的背景的初始背景模型图像。
具体地，图像采集器可以采集目标区域的视频图像，而在图像采集初始阶段，需要先建立关于目标区域的背景的初始背景模型图像。通过对各帧初始图像的同一位置上的像素求取中值可以得到初始背景模型图像。具体地，初始背景图像可以根据下述第五公式求得：
第五公式为：
B0(x,y)＝median(I1(x,y),I2(x,y),…,IK(x,y))
其中，B0(x,y)表征初始背景模型图像，IK(x,y)表征所述至少两帧初始图像中的第K帧图像，(x,y)表征像素位置坐标，K为正整数。
可以理解的是，I1(x,y)表征初始图像中的第1帧图像，I2(x,y)表征初始图像中的第2帧图像。
需要说明的是，遮挡图像采集器可以防止图像采集器采集到目标区域内的用户和背景，这样不便建立背景模型。
步骤204：从视频图像中读取图像采集器未被遮挡时的当前帧图像。
步骤205：当用于建立初始背景模型图像的最后一帧图像的下一帧图像为当前帧图像时，将初始背景模型图像作为当前帧图像的当前背景模型图像。
具体地，在建立完目标区域的初始背景模型图像后，无需对图像采集器进行遮挡，这样图像采集器即可采集到目标区域的视频图像，在视频中位于建立初始背景模型之后的下一帧图像为当前帧图像时，当前帧图像对应的当前背景模型图像即为初始背景模型图像。
步骤206：确定当前帧图像与当前背景模型图像的差图像。
具体地，当前帧图像中可能包含目标区域的背景，也可能包括用户的图像，因此，为了确定当前帧图像中是否存在用户，需要计算当前帧图像与当前背景模型图像的差图像，即，从当前帧图像中去除当前背景模型图像，得到当前帧图像中除了目标区域背景外的物体图像。
当前背景模型图像与当前帧图像的差图像可以根据下述第一公式求得：
第一公式为：
D(x,y)＝Il(x,y)-Bl(x,y)
其中，D(x,y)表征差图像，Il(x,y)表征当前帧图像，Bl(x,y)表征当前背景模型图像，(x,y)表征像素位置坐标。
步骤207：确定差图像的均值和标准差。
具体地，为了确定当前帧图像中是否存在用户的真实人体目标，可先计算差图像的统计特征，即差图像中各像素点的坐标的均值和标准差。
差图像的均值可以根据下述第二公式求得：
Figure BDA0002606577920000131
其中，mD表征差图像的均值，N表征差图像中像素点的数量，D(x,y)表征差图像；
差图像的标准差可以根据下述第三公式求得：
第三公式为：
Figure BDA0002606577920000132
其中，sD表征标准差。
步骤208：根据均值、标准差和预设的阈值系数，确定用于调节差图像的像素的自适应阈值。
具体地，根据差图像的统计特性以及预设的阈值系数，可以得到用于调节差图像的像素的自适应阈值。
差图像的自适应阈值可以根据下述第四公式求得：
Th＝mD+η·sD
其中，Th表征所述自适应阈值；η表征阈值系数，η取值范围为[3，5]。
针对阈值系数的取值，当阈值系数小于3时，通过自适应阈值对差图像调节后得到的图像中，面积较小的像素块较多，这样会出现较多影响因素，不利于识别人体目标。而当阈值系数大于5时，通过自适应阈值对差图像调节后得到的图像中被去除过多像素块，这样很容易将人体目标中某部分像素块去除，从而影响人体目标的识别。
步骤209：利用自适应阈值对差图像进行二值化处理，得到目标图像。
具体地，在通过自适应阈值对差图像进行二值化处理时，可以根据下述第六公式得到目标图像：
第六公式为：
Figure BDA0002606577920000141
其中，Q(x,y)表征目标图像，D(x,y)表征差图像，D(x,y)中的(x,y)表征差图像中的像素点的坐标。
根据第六公式可知，当Q(x,y)中的任一像素点为1时，点(x,y)表征候选人体目标中的候选目标点；反之，当Q(x,y)中的任一像素点为0时，点(x,y)为表征目标区域的背景的背景点。
可以理解的是，二值化处理后得到的目标图像中，当Q(x,y)中的任一像素点为1时，点(x,y)表征目标区域的背景的背景点；反之，当Q(x,y)中的任一像素点为0时，点(x,y)表征候选人体目标中的候选目标点。
步骤210：确定目标图像中的至少一个多边形，将每一个多边形作为候选人体目标。
具体地，经过二值化的目标图像为具有黑白效果的图像，当目标图像中的白色像素点为候选目标点时，确定由白色像素点组成的多边形。多边形可以是由一个像素点构成的图形，也可以是由多个像素点构成的图形。
步骤211：确定所述至少一个候选人体目标中是否存在面积大于预设阈值的候选人体目标。
步骤212：若是，将面积大于预设阈值的候选人体目标作为真实人体目标，从当前帧图像中去除真实人体目标，得到待更新图像。
具体地，分别确定每一个候选人体目标的面积，当某一候选人体目标的面积大于预设阈值时，则该候选人体目标即为表征目标区域内的用户的真实人体目标图像，而在目标区域内的用户可能存在多位。为了完成背景模型图像的更新，可将当前帧图像中的真实人体目标去除，这样就可以得到除去用户后的待更新图像，待更新图像中即为目标区域的背景。
步骤213：将当前背景模型图像中除真实人体目标之外的区域更换为待更新图像。
具体地，由于真实人体目标会遮挡部分背景，因此，在更新图像时，需要更新当前背景模型图像中除真实人体目标之外的区域。而更换当前背景模型图像的前提是在当前帧图像之后的第n帧图像中不存在真实人体目标时进行更换。也就是说，由于当前帧图像中的存在真实人体目标，所以当前背景模型图像一直未进行更新，那么当前帧图像至第n-1帧图像分别对应的当前背景模型图像都未进行更新，且当前背景模型图像相同。
需要说明的是，可以基于下述第七公式更新当前背景模型图像：
第七公式为：
Figure BDA0002606577920000151
其中，其中，Bl+1(x,y)表征当前背景模型图像更新后的图像，即当前帧图像的下一帧图像所对应的当前背景模型图像，Bl(x,y)表征当前背景模型图像，Il(x,y)表征当前帧图像，α表征学习率，其中，α的取值范围为[0,1]。
在当前帧图像中存在真实人体目标时，先暂时不对当前背景模型更新，即，Bl+1(x,y)＝Bl(x,y)；等到在当前帧图像之后的第n帧图像中不存在真实人体目标时，基于(1-α)Bl(x,y)+αIl(x,y)将Il(x,y)中表征目标区域背景的像素点更换当前背景模型图像中相对应的区域，完成当前背景模型的更新。也就是说，在当前帧图像与第n帧图像之间的图像中一直存在真是人体目标。
当α大于1时，Bl(x,y)的权重系数(1-α)为负数，而当α小于0时，(1-α)与α相加的和大于1，这样会影响真实人体目标的识别。
如图3所示，本发明实施例还提供了人体检测装置，包括：
图像采集模块301，用于采集所述目标区域的视频图像；读取所述视频图像的当前帧图像；
图像处理模块302，用于确定所述图像采集模块301读取的所述当前帧图像与所述当前帧图像的当前背景模型图像的差图像；从所述差图像中确定至少一个候选人体目标；确定所述至少一个候选人体目标中是否存在用户的真实人体目标；
背景更新模块303，用于当所述图像处理模块302确定所述至少一个候选人体目标存在所述真实人体目标时，根据所述真实人体目标，更新所述当前背景模型图像。
在本发明实施例中，目标区域内没有用户时，采集到的目标区域的视频图像中的任一帧即为目标区域的背景；对于目标区域的视频图像中的每一帧，通过将当前帧图像与对应的当前背景模型图像对比，可以得到当前帧图像中除当前背景模型图像外的差图像，然后从差图像中确定候选人体目标，由于候选人体目标中存在非用户的图像形成的目标，因此需要从候选人体目标中确定表征用户的真实人体目标，再基于真实人体目标对完成当前背景模型图像的更新，提高人体检测的准确性。避免不同季节、不同时段的背景温度差异过大，造成人体目标与背景的温差变化较小导致无法检测到人体目标，还可以避免人体目标随着人体到图像采集器距离逐渐变大导致人体目标与背景的温差变化不明显，而无法检测到人体目标。
在本发明一实施例中，所述图像处理模块，用于执行下述操作：
根据下述第一公式确定差图像；
第一公式为：
D(x,y)＝Il(x,y)-Bl(x,y)
其中，D(x,y)表征所述差图像，Il(x,y)表征所述当前帧图像，Bl(x,y)表征所述当前背景模型图像，(x,y)表征像素位置坐标。
在本发明一实施例中，所述图像处理模块，进一步用于确定用于调节所述差图像的像素的自适应阈值；利用所述自适应阈值对所述差图像进行二值化处理，得到目标图像；从所述目标图像中确定至少一个候选人体目标。
在本发明一实施例中，所述图像处理模块，用于执行下述操作：
根据下述第二公式确定所述差图像的均值；
第二公式为：
Figure BDA0002606577920000171
其中，mD表征所述均值，N表征所述差图像中像素点的数量，D(x,y)表征所述差图像；
根据下述第三公式确定所述差图像的标准差；
第三公式为：
Figure BDA0002606577920000172
其中，sD表征所述标准差。
所述图像处理模块，还用于根据下述第四公式确定自适应阈值；
第四公式为：
Th＝mD+η·sD
其中，Th表征所述自适应阈值；η表征阈值系数，η取值范围为[3，5]。
在本发明一实施例中，所述图像处理模块，用于确定所述目标图像中的至少一个多边形，将每一个所述多边形作为候选人体目标；确定所述至少一个候选人体目标中是否存在面积大于预设阈值的候选人体目标；若是，将面积大于预设阈值的候选人体目标作为真实人体目标。
在本发明一实施例中，背景更新模块，用于从所述当前帧图像中去除所述真实人体目标，得到待更新图像；在所述当前帧图像之后的第n帧图像中不存在所述真实人体目标时，将所述当前背景模型图像中除所述真实人体目标之外的区域更换为所述待更新图像；
在本发明一实施例中，所述图像采集模块，用于从所述视频图像中读取图像采集器未被遮挡时的当前帧图像；
在本发明一实施例中，所述图像处理模块，还用于执行下述操作:
从所述视频图像中确定图像采集器被遮挡时的至少两帧初始图像；
根据下述第五公式建立所述目标区域的背景的初始背景模型图像；
第五公式为：
B0(x,y)＝median(I1(x,y),I2(x,y),…,IK(x,y))
其中，B0(x,y)表征所述初始背景模型图像，IK(x,y)表征所述至少两帧初始图像中的第K帧图像，(x,y)表征像素位置坐标，K为正整数；当用于建立所述初始背景模型图像的最后一帧图像的下一帧图像为所述当前帧图像时，将所述初始背景模型图像作为所述当前帧图像的当前背景模型图像。
可以理解的是，本发明实施例示意的结构并不构成对人体检测装置的具体限定。在本发明的另一些实施例中，人体检测装置可以包括比图示更多或者更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或者软件和硬件的组合来实现。
上述装置内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
本发明实施例还提供了智能电子设备，包括：至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行本发明任一实施例中的人体检测方法。
本发明实施例还提供了计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行本发明任一实施例中的人体检测方法。
具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
需要说明的是，上述各流程和各系统结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。上述各实施例中描述的系统结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。
以上各实施例中，硬件单元可以通过机械方式或电气方式实现。例如，一个硬件单元可以包括永久性专用的电路或逻辑(如专门的处理器，FPGA或ASIC)来完成相应操作。硬件单元还可以包括可编程逻辑或电路(如通用处理器或其它可编程处理器)，可以由软件进行临时的设置以完成相应操作。具体的实现方式(机械方式、或专用的永久性电路、或者临时设置的电路)可以基于成本和时间上的考虑来确定。
上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的代码审核手段得到本发明更多的实施例，这些实施例也在本发明的保护范围之内。

Claims (10)

1.人体检测方法，其特征在于，包括：
采集目标区域的视频图像；
读取所述视频图像的当前帧图像；
确定所述当前帧图像与所述当前帧图像的当前背景模型图像的差图像；
从所述差图像中确定至少一个候选人体目标；
确定所述至少一个候选人体目标中是否存在用户的真实人体目标；
当所述至少一个候选人体目标存在所述真实人体目标时，根据所述真实人体目标，更新所述当前背景模型图像。
2.根据权利要求1所述的人体检测方法，其特征在于，
所述确定所述当前背景模型图像与所述当前帧图像的差图像，包括：
根据下述第一公式确定差图像；
第一公式为：
D(x,y)＝Il(x,y)-Bl(x,y)
其中，D(x,y)表征所述差图像，Il(x,y)表征所述当前帧图像，Bl(x,y)表征所述当前背景模型图像，(x,y)表征像素位置坐标。
3.根据权利要求1所述的人体检测方法，其特征在于，
在所述确定所述当前背景模型图像与所述当前帧图像的差图像之后，在所述从所述差图像中确定至少一个候选人体目标之前，进一步包括：
确定用于调节所述差图像的像素的自适应阈值；
利用所述自适应阈值对所述差图像进行二值化处理，得到目标图像；
所述从所述差图像中确定至少一个候选人体目标，包括：
从所述目标图像中确定至少一个候选人体目标。
4.根据权利要求3所述的人体检测方法，其特征在于，
所述确定用于调节所述差图像的像素的自适应阈值，包括：
根据下述第二公式确定所述差图像的均值；
第二公式为：
Figure FDA0004153544030000021
其中，mD表征所述均值，N表征所述差图像中像素点的数量，D(x,y)表征所述差图像；
根据下述第三公式确定所述差图像的标准差；
第三公式为：
Figure FDA0004153544030000022
其中，sD表征所述标准差；
所述确定所述当前背景模型图像与所述当前帧图像的差图像，包括：
根据下述第四公式确定自适应阈值；
第四公式为：
Th＝mD+η·sD
其中，Th表征所述自适应阈值；η表征阈值系数，η取值范围为[3，5]；
和/或，
所述从所述目标图像中确定至少一个候选人体目标，包括：
确定所述目标图像中的至少一个多边形，将每一个所述多边形作为候选人体目标；
所述确定所述至少一个候选人体目标中是否存在用户的真实人体目标，包括：
确定所述至少一个候选人体目标中是否存在面积大于预设阈值的候选人体目标；
若是，将面积大于预设阈值的候选人体目标作为真实人体目标。
5.根据权利要求1至4中任一所述的人体检测方法，其特征在于，
所述根据所述真实人体目标，更新所述当前背景模型图像，包括：
从所述当前帧图像中去除所述真实人体目标，得到待更新图像；
在所述当前帧图像之后的第n帧图像中不存在所述真实人体目标时，将所述当前背景模型图像中除所述真实人体目标之外的区域更换为所述待更新图像；
和/或，
所述读取所述视频图像的当前帧图像，包括：
从所述视频图像中读取图像采集器未被遮挡时的当前帧图像；
和/或，
在所述采集所述目标区域的视频图像之后，在所述读取所述视频图像的当前帧图像之前，进一步包括：
从所述视频图像中确定图像采集器被遮挡时的至少两帧初始图像；
根据下述第五公式建立所述目标区域的背景的初始背景模型图像；
第五公式为：
B0(x,y)＝median(I1(x,y),I2(x,y),…,IK(x,y))
其中，B0(x,y)表征所述初始背景模型图像，IK(x,y)表征所述至少两帧初始图像中的第K帧图像，(x,y)表征像素位置坐标，K为正整数；
在所述读取所述视频图像的当前帧图像之后，在所述确定所述当前帧图像与所述当前帧图像的当前背景模型图像的差图像之前，进一步包括：
当用于建立所述初始背景模型图像的最后一帧图像的下一帧图像为所述当前帧图像时，将所述初始背景模型图像作为所述当前帧图像的当前背景模型图像。
6.人体检测装置，其特征在于，包括：
图像采集模块，用于采集目标区域的视频图像；读取所述视频图像的当前帧图像；
图像处理模块，用于确定所述图像采集模块读取的所述当前帧图像与所述当前帧图像的当前背景模型图像的差图像；从所述差图像中确定至少一个候选人体目标；确定所述至少一个候选人体目标中是否存在用户的真实人体目标；
背景更新模块，用于当所述图像处理模块确定所述至少一个候选人体目标存在所述真实人体目标时，根据所述真实人体目标，更新所述当前背景模型图像。
7.根据权利要求6所述的人体检测装置，其特征在于，
所述图像处理模块，用于执行下述操作：
根据下述第一公式确定差图像；
第一公式为：
D(x,y)＝Il(x,y)-Bl(x,y)
其中，D(x,y)表征所述差图像，Il(x,y)表征所述当前帧图像，Bl(x,y)表征所述当前背景模型图像，(x,y)表征像素位置坐标。
8.根据权利要求6所述的人体检测装置，其特征在于，
所述图像处理模块，进一步用于确定用于调节所述差图像的像素的自适应阈值；利用所述自适应阈值对所述差图像进行二值化处理，得到目标图像；从所述目标图像中确定至少一个候选人体目标。
9.智能电子设备，其特征在于，包括：至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行权利要求1至5中任一所述的人体检测方法。
10.计算机可读介质，其特征在于，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行权利要求1至5任一所述的方法。
CN202010740567.8A 2020-07-28 2020-07-28 人体检测方法及装置 Active CN112101090B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010740567.8A CN112101090B (zh) 2020-07-28 2020-07-28 人体检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010740567.8A CN112101090B (zh) 2020-07-28 2020-07-28 人体检测方法及装置

Publications (2)

Publication Number Publication Date
CN112101090A CN112101090A (zh) 2020-12-18
CN112101090B true CN112101090B (zh) 2023-05-16

Family

ID=73749810

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010740567.8A Active CN112101090B (zh) 2020-07-28 2020-07-28 人体检测方法及装置

Country Status (1)

Country Link
CN (1) CN112101090B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022098225A (ja) * 2020-12-21 2022-07-01 三菱重工サーマルシステムズ株式会社 温度計測値処理装置、発熱体検知装置、温度計測値処理方法およびプログラム
CN113469113A (zh) * 2021-07-19 2021-10-01 浙江大华技术股份有限公司 动作计数方法、装置、电子设备和存储介质
CN114151942A (zh) * 2021-09-14 2022-03-08 海信家电集团股份有限公司 一种空调器和人脸区域的检测方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004258927A (ja) * 2003-02-25 2004-09-16 Matsushita Electric Works Ltd 人検出方法及び人検出装置
CN101447082A (zh) * 2008-12-05 2009-06-03 华中科技大学 一种运动目标实时检测方法
CN102368301A (zh) * 2011-09-07 2012-03-07 常州蓝城信息科技有限公司 基于视频的运动人体检测与跟踪系统
CN104408747A (zh) * 2014-12-01 2015-03-11 杭州电子科技大学 一种适用于深度图像的人体运动检测方法
CN104732220A (zh) * 2015-04-03 2015-06-24 中国人民解放军国防科学技术大学 一种面向监控视频的特定颜色人体检测方法
CN106846359A (zh) * 2017-01-17 2017-06-13 湖南优象科技有限公司 基于视频序列的运动目标快速检测方法
CN107563985A (zh) * 2017-08-31 2018-01-09 成都空御科技有限公司 一种红外图像空中运动目标的检测方法
CN108549855A (zh) * 2018-04-02 2018-09-18 南京邮电大学 面向智能家居场景的实时人形检测方法
US10255490B2 (en) * 2016-12-01 2019-04-09 Sasken Communication Technologies Ltd Method and apparatus for human detection in images

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9001199B2 (en) * 2011-04-29 2015-04-07 Tata Consultancy Services Limited System and method for human detection and counting using background modeling, HOG and Haar features
KR101870902B1 (ko) * 2011-12-12 2018-06-26 삼성전자주식회사 영상 처리 장치 및 영상 처리 방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004258927A (ja) * 2003-02-25 2004-09-16 Matsushita Electric Works Ltd 人検出方法及び人検出装置
CN101447082A (zh) * 2008-12-05 2009-06-03 华中科技大学 一种运动目标实时检测方法
CN102368301A (zh) * 2011-09-07 2012-03-07 常州蓝城信息科技有限公司 基于视频的运动人体检测与跟踪系统
CN104408747A (zh) * 2014-12-01 2015-03-11 杭州电子科技大学 一种适用于深度图像的人体运动检测方法
CN104732220A (zh) * 2015-04-03 2015-06-24 中国人民解放军国防科学技术大学 一种面向监控视频的特定颜色人体检测方法
US10255490B2 (en) * 2016-12-01 2019-04-09 Sasken Communication Technologies Ltd Method and apparatus for human detection in images
CN106846359A (zh) * 2017-01-17 2017-06-13 湖南优象科技有限公司 基于视频序列的运动目标快速检测方法
CN107563985A (zh) * 2017-08-31 2018-01-09 成都空御科技有限公司 一种红外图像空中运动目标的检测方法
CN108549855A (zh) * 2018-04-02 2018-09-18 南京邮电大学 面向智能家居场景的实时人形检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Liang Hua Chen et al.Integration of Multiple Shape Features for Human Detection in Videos.《2014 Tenth International Conference on Intelligent Information Hiding and Multimedia Signal Processing》.2014,423-426. *
Lijing Zhang et al.Motion Human Detection Based on Background Subtraction.《2010 Second International Workshop on Education Technology and Computer Science》.2010,284-287. *
田小平等.视频监控中的背景提取与更新算法.《西安邮电大学学报》.2014,第19卷(第1期),13-16. *
连晓峰等.基于视频流的运动人体检测方法研究.《北京工商大学学报（自然科学版）》.2009,第27卷(第6期),40-44. *

Also Published As

Publication number Publication date
CN112101090A (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
CN112101090B (zh) 人体检测方法及装置
CN109076198B (zh) 基于视频的对象跟踪遮挡检测系统、方法和设备
CN104392468B (zh) 基于改进视觉背景提取的运动目标检测方法
JP6554169B2 (ja) 物体認識装置及び物体認識システム
US9213896B2 (en) Method for detecting and tracking objects in image sequences of scenes acquired by a stationary camera
CN110414559B (zh) 智能零售柜商品目标检测统一框架的构建方法及商品识别方法
JP5388829B2 (ja) 侵入物体検知装置
CN110232359B (zh) 滞留物检测方法、装置、设备及计算机存储介质
JP2010003177A (ja) 画像処理装置
CN113902641B (zh) 一种基于红外图像的数据中心热区判别方法及系统
JP2012159958A (ja) 移動物体追跡装置
CN101715070B (zh) 特定监控视频中的背景自动更新方法
JP4999794B2 (ja) 静止領域検出方法とその装置、プログラム及び記録媒体
CN112767443A (zh) 目标跟踪方法、电子设备及相关产品
CN113837086A (zh) 一种基于深度卷积神经网络的水库钓鱼人检测方法
CN111753587B (zh) 一种倒地检测方法及装置
JP2011165170A (ja) 対象物検出装置及びプログラム
CN107729811B (zh) 一种基于场景建模的夜间火焰检测方法
JP5015838B2 (ja) 煙検出装置
CN111353350B (zh) 一种基于组合传感器图像融和技术的火焰检测与定位方法
CN111402185B (zh) 一种图像检测方法及装置
JP2014157453A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
CN112784703B (zh) 一种基于多光谱的人员行动轨迹确定方法
CN115170829A (zh) 发电机转子通风孔异物监控识别系统及方法
CN115170589A (zh) 一种制冷机蒸发器结霜程度的检测方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant