CN112070053B - 背景图像的自更新方法、装置、设备及存储介质 - Google Patents

背景图像的自更新方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112070053B
CN112070053B CN202010974469.0A CN202010974469A CN112070053B CN 112070053 B CN112070053 B CN 112070053B CN 202010974469 A CN202010974469 A CN 202010974469A CN 112070053 B CN112070053 B CN 112070053B
Authority
CN
China
Prior art keywords
target
updating
area
background image
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010974469.0A
Other languages
English (en)
Other versions
CN112070053A (zh
Inventor
王立民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Weigan Technology Co ltd
Original Assignee
Qingdao Weigan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Weigan Technology Co ltd filed Critical Qingdao Weigan Technology Co ltd
Priority to CN202010974469.0A priority Critical patent/CN112070053B/zh
Publication of CN112070053A publication Critical patent/CN112070053A/zh
Priority to PCT/CN2021/118393 priority patent/WO2022057806A1/zh
Application granted granted Critical
Publication of CN112070053B publication Critical patent/CN112070053B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Abstract

本发明提供一种背景图像的自更新方法、装置、设备及存储介质,通过获取当前区域深度图像中的当前区域,并在预设初始背景图像中确定对应的相关背景区域;计算所述当前区域的当前深度值以及所述相关背景区域的初始深度值的目标差值;基于预设更新条件、预设差值阈值以及所述目标差值,确定所述初始背景图像中待更新的目标区域以及目标更新类型;根据所述当前区域深度图像以及所述目标更新类型,将所述目标区域进行更新。本发明基于当前区域深度图像以及预存初始背景图像确定所述初始背景图像待更新的目标区域以及目标更新类型,由此实时更新背景图像,消除背景变化造成的误识别问题,提高行人检测准确率。

Description

背景图像的自更新方法、装置、设备及存储介质
技术领域
本发明涉及计算机视觉技术领域,尤其涉及一种背景图像的自更新方法、装置、设备及计算机可读存储介质。
背景技术
通过深度相机进行行人检测及人数统计时,需要首先获得背景图像,背景图像的效果直接影响行人检测的检测准确率。但是在实际场景中可能存在原有物体被移出或者新物体移入情况,因此场景中人或物体的移动变化将会导致背景变化,从而导致误识别,降低了行人检测准确率。
发明内容
本发明的主要目的在于提供一种背景图像的自更新方法、装置、设备及计算机可读存储介质,旨在解决现有行人检测方法容易因为误识别而降低检测准确率的技术问题。
为实现上述目的,本发明提供一种背景图像的自更新方法,所述背景图像的自更新方法包括以下步骤:
获取待检测区域的当前区域深度图像,获取所述当前区域深度图像中一区域,作为当前区域,并在预设初始背景图像中确定与所述当前区域对应的相关背景区域;
获取所述当前区域的当前深度值以及所述相关背景区域的初始深度值,并计算所述初始深度值与所述当前深度值的目标差值;
基于预设更新条件、预设差值阈值以及所述目标差值,确定所述初始背景图像中待更新的目标区域以及所述目标区域对应的目标更新类型;
根据所述当前区域深度图像中的对应区域以及所述目标更新类型,将所述初始背景图像中的目标区域进行更新,完成背景图像的自更新。
可选地,所述更新条件包括即刻更新条件、前向更新条件和/或后向更新条件,所述差值阈值包括既定差值阈值、前向更新下限阈值和/或后向更新下限阈值,所述基于预设更新条件、预设差值阈值以及所述目标差值,确定所述初始背景图像中待更新的目标区域以及所述目标区域对应的目标更新类型的步骤具体包括:
若所述目标差值为负且所述目标差值的绝对值大于所述既定差值阈值,则判定所述相关背景区域符合所述即刻更新条件,确定所述相关背景区域为所述目标区域,并确定所述目标更新类型为即刻更新类型;
在所述目标差值为负且所述目标差值的绝对值属于所述前向更新下限阈值与所述既定差值阈值之间时,则判定所述相关背景区域符合所述前向更新条件,确定所述相关背景区域为所述目标区域,并确定所述目标更新类型为前向更新类型;
在所述目标差值为正且所述目标差值的绝对值大于所述后向更新下限阈值时,则判定所述相关背景区域符合所述后向更新条件,确定所述相关背景区域为所述目标区域,并确定所述目标更新类型为后向更新类型。
可选地,所述根据所述当前区域深度图像中的对应区域以及所述目标更新类型,将所述初始背景图像中的目标区域进行更新,完成背景图像的自更新的步骤具体包括:
若所述目标更新类型为即刻更新类型,则将所述初始背景图像中的目标区域的像素点值更新为所述当前区域深度图像中的对应区域的像素点值。
可选地,所述若所述目标更新类型为即刻更新类型,则将所述初始背景图像中的目标区域的像素点值更新为所述当前区域深度图像中的对应区域的像素点值的步骤具体包括:
若所述目标更新类型为所述即刻更新类型,则在所述目标区域的各个像素点中获取一像素点,作为目标像素点;
在所述当前区域深度图像的对应区域中获取所述目标像素点的对应像素点,并判断目标像素点值与对应像素点值之间的像素点差值是否符合所述即刻更新条件;
若所述目标像素点值与对应像素点值之间的像素点差值符合所述即刻更新条件,则将预设计数器数值进行增运算;
若所述目标像素点值与对应像素点值之间的像素点差值不符合所述即刻更新条件,则将所述计数器数值进行减运算;
在所述目标区域的各个像素点中获取下一像素点,作为所述目标像素点,直至获取完所述目标区域中的全部像素点后,判断所述计数器数值是否大于目标阈值;
若所述计数器数值大于目标阈值,则将所述初始背景图像中的目标区域的像素点值更新为所述当前区域深度图像中的对应区域的像素点值。
可选地,所述在所述目标区域的各个像素点中获取下一像素点,作为所述目标像素点,直至获取完所述目标区域中的全部像素点后,判断所述计数器数值是否大于目标阈值的步骤之后,还包括:
若所述计数器数值不大于目标阈值,则生成并显示误识别的提醒消息,并停止所述初始背景图像的更新。
可选地,所述根据所述当前区域深度图像中的对应区域以及所述目标更新类型,将所述初始背景图像中的目标区域进行更新,完成背景图像的自更新的步骤具体包括:
若所述目标更新类型为所述前向更新类型或所述后向更新类型,则获取所述待检测区域在预设时间内的多帧区域深度图像;
基于所述多帧区域深度图像,判断所述目标区域是否在预设时间内持续符合所述前向更新条件或所述后向更新条件;
若所述目标区域持续在预设时间内持续符合所述前向更新条件或所述后向更新条件,则根据所述当前区域深度图像中的对应区域,将所述初始背景图像中的目标区域进行前向更新或所述后向更新,完成背景图像的自更新。
可选地,所述背景图像的自更新方法还包括:
将所述当前区域深度图像和所述初始背景图像进行区域分割,确定所述当前区域深度图像的非检测目标区域和固有背景区域,以及所述初始背景图像对应的非检测目标区域和固有背景区域;
根据所述当前区域深度图像的非检测目标区域和固有背景区域,更新所述初始背景图像对应的非检测目标区域和固有背景区域。
此外,为实现上述目的,本发明还提供一种背景图像的自更新装置,所述背景图像的自更新装置包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的背景图像的自更新程序,其中所述背景图像的自更新程序被所述处理器执行时,实现如上所述的背景图像的自更新方法的步骤。
此外,为实现上述目的,本发明还提供一种背景图像的自更新设备,所述背景图像的自更新设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的背景图像的自更新程序,其中所述背景图像的自更新程序被所述处理器执行时,实现如上所述的背景图像的自更新方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有背景图像的自更新程序,其中所述背景图像的自更新程序被处理器执行时,实现如上所述的背景图像的自更新方法的步骤。
本发明提供一种背景图像的自更新方法,通过获取待检测区域的当前区域深度图像,获取所述当前区域深度图像中一区域,作为当前区域,并在预设初始背景图像中确定与所述当前区域对应的相关背景区域;获取所述当前区域的当前深度值以及所述相关背景区域的初始深度值,并计算所述初始深度值与所述当前深度值的目标差值;基于预设更新条件、预设差值阈值以及所述目标差值,确定所述初始背景图像中待更新的目标区域以及所述目标区域对应的目标更新类型;根据所述当前区域深度图像中的对应区域以及所述目标更新类型,将所述初始背景图像中的目标区域进行更新,完成背景图像的自更新。通过上述方式,本发明实时获取待检测区域的当前区域深度图像后,基于当前区域深度图像的当前区域的当前深度值以及预存初始背景图像的对应区域相关背景区域的初始深度值之间的深度值差值(即目标差值)确定所述初始背景图像待更新的目标区域以及目标更新类型,由此实时更新背景图像,消除背景变化造成的误识别问题,提高行人检测准确率,解决了现有行人检测方法容易因为误识别而降低检测准确率的技术问题。
附图说明
图1为本发明实施例方案中涉及的背景图像的自更新设备的硬件结构示意图;
图2为本发明背景图像的自更新方法第一实施例的流程示意图;
图3为本发明背景图像的自更新方法中即刻更新场景示意图;
图4为本发明背景图像的自更新方法中前向更新场景示意图;
图5为本发明背景图像的自更新方法中后向更新场景示意图;。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例涉及的背景图像的自更新方法主要应用于背景图像的自更新设备,该背景图像的自更新设备可以是PC、便携计算机、移动终端等具有显示和处理功能的设备。
参照图1,图1为本发明实施例方案中涉及的背景图像的自更新设备的硬件结构示意图。本发明实施例中,背景图像的自更新设备可以包括处理器1001(例如CPU),通信总线1002,用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信;用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard);网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口);存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器,存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的硬件结构并不构成对背景图像的自更新设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
继续参照图1,图1中作为一种计算机可读存储介质的存储器1005可以包括操作系统、网络通信模块以及背景图像的自更新程序。
在图1中,网络通信模块主要用于连接服务器,与服务器进行数据通信;而处理器1001可以调用存储器1005中存储的背景图像的自更新程序,并执行本发明实施例提供的背景图像的自更新方法。
本发明实施例提供了一种背景图像的自更新方法。
参照图2,图2为本发明背景图像的自更新方法第一实施例的流程示意图。
本实施例中,所述背景图像的自更新方法包括以下步骤:
步骤S10,获取待检测区域的当前区域深度图像,获取所述当前区域深度图像中一区域,作为当前区域,并在预设初始背景图像中确定与所述当前区域对应的相关背景区域;
本发明提供的背景图像的自更新方法可应用于使用深度相机进行行人检测及人数统计的场景,该场景功能实现通常需要首先获得背景图像,背景图像的效果直接影响最终的行人检测效果及成功率。目前需要在使用场景中提前架设相机,并且在要求场景空旷情况下采集多帧深度图像计算生成背景图,保存背景图不变,用于后续差值计算。然而,在场景空旷无人情况下安装相机,并采集背景图,在具体实施过程中存在一定困难。例如车站,广场等场景难以有完全无人的情况,商超场景也只有在夜间存在完全无人的空旷场景。除此之外,由于背景图在安装时候采集保存,在后续实际运行过程中背景图始终保持不变,实际场景中存在原有物体被移出或者新物体移入情况,场景物体变化将直接影响识别结果,产生误判。由于深度相机普遍存在杂散光干涉,远近物体相互干扰情况,场景中的人或物体的移动变化将导致背景变化,变化的背景与已存的固有背景差分会产生错误的前景,导致误识别或者其它异常情况。为了解决上述问题,本发明提供一种背景自更新方法,应用于深度相机和利用深度相机进行行人和物体识别的场景。通过本方案,相机不需要提前架设,不需要提前采集背景。同时本方案可有效解决运行过程中背景变化导致的误识别,解决由于深度相机固有的杂散光干涉,远近物体相互干扰缺陷导致的误识别。该方案具有较高的灵活性和场景适应性,可根据使用场景指定固有背景区域。例如划定关心区域,区域外的物体均不统计;例如将商超中的收银员区域指定为固有背景区域,提高统计的准确率。可根据指定条件在运行过程中动态添加或者删除区域背景。具体地,本发明的执行主体可以是深度相机或者是其他进行图像获取的终端,本实施例汇总一深度相机为执行主体进行举例说明。深度相机可根据预设周期或者是实时获取待检测区域多帧区域深度图像,取每一图像,依次作为当前区域深度图像。将所述当前区域深度图像中的每个区域与预存的初始背景图像中对应的每个区域进行深度值比对,以判断所述初始背景图像中是否存在需要更新的区域。取所述当前区域深度图像中每一区域,依次作为当前区域,进行更新判定。其中初始背景图像可以是深度相机开机后,采集所述待检测区域的多帧当前场景的深度图像,经过均值滤波后生成深度图像作为初始背景图,并存储。
步骤S20,获取所述当前区域的当前深度值以及所述相关背景区域的初始深度值,并计算所述初始深度值与所述当前深度值的目标差值;
本实施例中,利用当前实时的当前区域深度图像,与已生成初始背景图像差值,生成实时前景图像。具体地,将所述当前区域的当前深度值与初始背景图像中对应的相关背景区域的初始湿度值进行差值计算,生成目标差值。
进一步地,所述背景图像的自更新方法还包括:
将所述当前区域深度图像和所述初始背景图像进行区域分割,确定所述当前区域深度图像的非检测目标区域和固有背景区域,以及所述初始背景图像对应的非检测目标区域和固有背景区域;
根据所述当前区域深度图像的非检测目标区域和固有背景区域,更新所述初始背景图像对应的非检测目标区域和固有背景区域。
本实施例中,以利用当前区域深度图像、前景图像以及初始背景图像,完成区域分割,综合判定各区域在各自的一段时间内是否符合更新条件,更新条件由预置条件和深度图像中的深度值及区域范围参数组成。
步骤S30,基于预设更新条件、预设差值阈值以及所述目标差值,确定所述初始背景图像中待更新的目标区域以及所述目标区域对应的目标更新类型;
其中,所述更新条件包括即刻更新条件、前向更新条件和/或后向更新条件,所述差值阈值包括既定差值阈值、前向更新下限阈值和/或后向更新下限阈值,所述步骤S30具体包括:
若所述目标差值为负且所述目标差值的绝对值大于所述既定差值阈值,则判定所述相关背景区域符合所述即刻更新条件,确定所述相关背景区域为所述目标区域,并确定所述目标更新类型为即刻更新类型;
在所述目标差值为负且所述目标差值的绝对值属于所述前向更新下限阈值与所述既定差值阈值之间时,则判定所述相关背景区域符合所述前向更新条件,确定所述相关背景区域为所述目标区域,并确定所述目标更新类型为前向更新类型;
在所述目标差值为正且所述目标差值的绝对值大于所述后向更新下限阈值时,则判定所述相关背景区域符合所述后向更新条件,确定所述相关背景区域为所述目标区域,并确定所述目标更新类型为后向更新类型。
本实施例中,即刻更新类型为前景图像(即所述目标差值)符合即刻更新条件,将背景图像对应区域进行即刻更新。前向更新类型为经过一定时间内多帧实时图像、前景图像、背景图像的综合判定,背景图像中的某区域符合前向更新条件,则将背景中的该区域更新为当前实时图像对应区域。前向更新主要适用于实时深度图像中出现了深度值大于背景图像的对应区域的情况。后向更新类型为经过一定时间内多帧实时图像、前景图像、背景图像的综合判定,背景图像中的某区域符合后向更新条件,将背景中的该区域更新为当前实时图像对应区域。后向更新主要适用于实时深度图像中出现了深度值小于背景图像的对应区域的情况。
步骤S40,根据所述当前区域深度图像中的对应区域以及所述目标更新类型,将所述初始背景图像中的目标区域进行更新,完成背景图像的自更新。
其中,若所述目标更新类型为所述前向更新类型或所述后向更新类型,则获取所述待检测区域在预设时间内的多帧区域深度图像;
基于所述多帧区域深度图像,判断所述目标区域是否在预设时间内持续符合所述前向更新条件或所述后向更新条件;
若所述目标区域持续在预设时间内持续符合所述前向更新条件或所述后向更新条件,则根据所述当前区域深度图像中的对应区域,将所述初始背景图像中的目标区域进行前向更新或所述后向更新,完成背景图像的自更新。
本实施例中,根据所述目标更新类型,将所述初始背景图像中的目标区域进行对应更新。具体地,如图3所示,当相机开机时候,场景中已经存在人物,此时该场景被采集作为背景。记场景中人物区域深度值为Tp,某一时刻人物离开,此时原来人物区域的深度值可作为该相机测量模式的最大值Tm,若Tm-Tp>Tt的条件成立,则判定所述相关背景区域符合所述即刻更新条件,将所述初始背景图像中的相关背景区域进行即刻更新。如图4所示,前向更新时,首先需要判断所述目标区域是否具备前向更新条件,即获取该区域距离值计算前向更新下限阈值Ot,Ot=Tp/2^M其中M为预置条件。当相机开机时候,场景中已经存在人物,并且场景中存在墙体、柱子或者其他固定物,人物与固定物存在一定距离d。此时该场景被采集作为背景。记场景中人物区域深度值为Tp,某一时刻人物离开,此时原来人物区域的深度值变为固定物的距离值To,若Ot<To-Tp<Tt条件成立,继续对该区域进行持续跟踪记录,获取该区域在预设时间段Tco内的连续多帧区域深度图像,并在该多帧区域深度图像持续满足条件,则判定所述目标区域符合所述前向更新条件,对该区域执行前向更新。如图5所示,后向更新时,首先需要判断目标区域是否具备后向更新条件,依据该区域距离值计算后向更新阈值下限It,It=Tp/2^N其中N为预置条件。相机开机的时候,场景中存在墙体和地面但是不存在类人物体,此时该场景被采集作为背景。当相机运行一段时间后,类人物体被移入(例如模特模型、展示的衣物),并且长期存在。记场景中类人物体区域原深度值为Tp,某一时类人物体被移入,此时原来类人物体区域的深度值变为类人物体的距离值Ti,若It<Tp-Ti条件成立,继续对该区域进行持续跟踪记录,获取该区域在预设时间段Tci内的连续多帧区域深度图像,并在该多帧区域深度图像持续满足条件,则判定所述目标区域符合所述后向更新条件,对该区域执行后向更新。
本实施例一种背景图像的自更新方法,通过获取待检测区域的当前区域深度图像,获取所述当前区域深度图像中一区域,作为当前区域,并在预设初始背景图像中确定与所述当前区域对应的相关背景区域;获取所述当前区域的当前深度值以及所述相关背景区域的初始深度值,并计算所述初始深度值与所述当前深度值的目标差值;基于预设更新条件、预设差值阈值以及所述目标差值,确定所述初始背景图像中待更新的目标区域以及所述目标区域对应的目标更新类型;根据所述当前区域深度图像中的对应区域以及所述目标更新类型,将所述初始背景图像中的目标区域进行更新,完成背景图像的自更新。通过上述方式,本发明实时获取待检测区域的当前区域深度图像后,基于当前区域深度图像的当前区域的当前深度值以及预存初始背景图像的对应区域相关背景区域的初始深度值之间的深度值差值(即目标差值)确定所述初始背景图像待更新的目标区域以及目标更新类型,由此实时更新背景图像,消除背景变化造成的误识别问题,提高行人检测准确率,解决了现有行人检测方法容易因为误识别而降低检测准确率的技术问题。
基于上述图2所示实施例,提供本发明背景图像的自更新方法第二实施例,本实施例中,所述步骤S40具体包括:
若所述目标更新类型为即刻更新类型,则将所述初始背景图像中的目标区域的像素点值更新为所述当前区域深度图像中的对应区域的像素点值。
其中,所述若所述目标更新类型为即刻更新类型,则将所述初始背景图像中的目标区域的像素点值更新为所述当前区域深度图像中的对应区域的像素点值的步骤具体包括:
若所述目标更新类型为所述即刻更新类型,则在所述目标区域的各个像素点中获取一像素点,作为目标像素点;
在所述当前区域深度图像的对应区域中获取所述目标像素点的对应像素点,并判断目标像素点值与对应像素点值之间的像素点差值是否符合所述即刻更新条件;
若所述目标像素点值与对应像素点值之间的像素点差值符合所述即刻更新条件,则将预设计数器数值进行增运算;
若所述目标像素点值与对应像素点值之间的像素点差值不符合所述即刻更新条件,则将所述计数器数值进行减运算;
在所述目标区域的各个像素点中获取下一像素点,作为所述目标像素点,直至获取完所述目标区域中的全部像素点后,判断所述计数器数值是否大于目标阈值;
若所述计数器数值大于目标阈值,则将所述初始背景图像中的目标区域的像素点值更新为所述当前区域深度图像中的对应区域的像素点值。
若所述计数器数值不大于目标阈值,则生成并显示误识别的提醒消息,并停止所述初始背景图像的更新。
本实施例中,为了进一步避免误识别,在判定所述目标区域符合即刻更新条件后,进一步判断所述目标区域像素值符合即刻更新条件的像素点个数是否达到预设阈值。具体地,首先设定好相机的初始化参数,根据当前应用场景和使用需要选择性设定好深度相机检测有效范围、深度相机安装高度、角度,根据场景需求选择性设定检测目标出现的区域范围、固有背景区域、背景动态转换参数,并预先根据检测场景设定算法运行的预置条件。获取所述待检测区域的实时图像R,对R进行预处理,代入相机高度和角度参数进行坐标系变换。首先判断是否已经获取确定初始背景图像,若未确定所述初始背景图像,则获取多张当前场景图像进行均值滤波处理生成背景图像B,并保存。然后根据当前实时图像,建立三张同尺寸的图像T、O、I,分别用于进行即刻更新、前向更新以及后向更新。三张图像均赋初值零,这三张图像作用于算法的运行过程。
针对每一帧实时获取的图像R,遍历图像R,将非检测目标区域和固有背景区域均实时无条件更新至背景图像B;遍历图像R和B,背景图像B逐像素减当前图像R进行差值运算生成前景图像A。遍历前景图像A,对图像A进行物体识别分割,生成多个独立区域。
针对图像A,在确定存在符合即刻更新条件的目标区域后,遍历图像T中所述目标区域的对应区域,依次获取所述目标区域中的各个像素点,作为目标像素点,在所述对应区域中分别获取所述目标像素点的对应像素点,并计算所述目标像素点与所述对应像素点的像素点差值。在所述像素点差值符合即刻更新条件,即所述像素点差值为负且绝对值大于Tt,将T对应区域的计数器数值进行增值运算,如由初始值0加1;在所述像素点差值不符合即刻更新条件,则将T对应区域的计数器数值进行减运算,如由当前值0减1。遍历图像T中对应区域的全部像素点后,判断所述计数器的累计数值是否大于阈值Tc,若大于阈值Tc,那么遍历图像B,将B中对应的像素点值更新为当前实时图像R中对应像素点的值。
更多实施例中,还可以对符合即刻更新条件的目标区域进行持续性监测,如获取多帧实时图像,将初始背景图像与多帧实时图像进行比对,在所述多帧实时图像中存在大于预设阈值的实时图像与所述初始背景图像的某区域的深度值差值符合即刻更新条件,即判定所述初始背景图像的该区域需要进行即刻更新。
具体实施例中,针对图像A,进行后向更新持续性判断,即判断是否存在值大于It的区域,如果存在该区域,那么遍历图像I,将I对应区域进行增值运算;如果I中的该区域在此帧中不满足大于It的条件,对该区域进行减运算。遍历图像I,检查I中是否存在值大于阈值Ti的点,如果存在,那么遍历图像B,将B中对应的像素点值更新为当前实时图像R中对应像素点的值。
更多实施例中,针对图像A,进行前向更新持续性判断,即判断是否存在值小于-Ot并且大于-Tt的区域,如果存在该区域,那么遍历图像O,将O对应区域进行增值运算;如果O中的该区域在此帧中不满足小于-Ot并且大于-Tt的条件,对该区域进行减运算。遍历图像O,检查O中是否存在值大于阈值To的点,如果存在,那么遍历图像B,将B中对应的像素点值更新为当前实时图像R中对应像素点的值。
算法中预置参数Tc、TO、Ti与相机运行帧率相关联,可根据现场效果调整,例如相机运行帧率为15fps,可设定Tc=15,T0=15*60*2,Ti=15*60*2。
算法中运行参数Tt为经验值,可根据相机当前模式的有效测量范围设定,例如相机测量范围6000mm,设定Tt=2000mm;运行参数It、Ot与预置参数M、N和作用于相应区域的深度值相关联,例如作用区域的深度值为5000mm,设定M=N=3,It=5000/2^3,Ot=5000/2^3
本实施例基于深度相机的背景动态自更新功能,应用于利用深度相机进行人物或移动物体识别统计的场景。具备背景动态自更新功能后,相机可在任意时刻进行安装架设,且不受场景限制,极大程度上降低了工程难度。使用该发明方案,当固有场景发生改变时,相机不需要重新启动进行标定过程,本方案可自行更新背景,极大程度上增加了适应性。本方案可指定有效区域和固有背景区域,具备多场景的适应性。使得利用3D相机进行行人识别和统计方案具备普遍适用性。使用本方案,可及时消除因背景改变导致的误识别,提高识别准确率和统计数据准确率。
进一步地,以本方案应用于商超的柜机场景为例,该柜机可售卖货物和投放广告,柜机顶端安装有深度摄像机,利用深度相机和相关算法识别现场的行人,统计数量和行人远近及静止情况,并根据统计数据进行广告投放。
该场景中相机可以随着柜机们开关而移动,柜机被持续开关使用,其位置和方向可能存在小范围变动,深度相机的位置和方位也会因此而产生变动。
该场景中存在固有的类人物体,存在工作人员固定区域,指定了有效的识别区域,可以移入或者移除固定物体。
其中,背景分析处理模块即为本方案核心。识别总体过程,相机的初始化参数和实时深度图像同时传送至背景分析处理模块和实时图像分析处理模块,两个模块各自运行。背景分析处理模块,生成当前实时的背景图像,实时图像分析处理模块生成实时深度图像,背景图像与深度图像差值,生成当前的实时前景图像,利用前景图像和相关算法进行类人区域识别、类人区域判定和统计等步骤。
背景分析处理模块在该场景中起到了非常关键的作用,模块运行过程如下:
柜机安装完成后,深度相机开始运行,首先采集多帧当前场景的深度图像,经过均值滤波后生成深度图像作为初始背景图,并存储,此时的背景图中包含有场景中的人物和固有类人区域。
场景中人物移动,初始背景图中的部分人物区域,满足了即刻更新条件,执行即刻更新操作,执行完成后,背景图像中的部分人物区域更新为正确的背景。场景中人物持续移动,背景更新模块经过多轮的运行后,最终背景图像中的人物区域全部被更新为正确的背景。
场景中固有的类人物体被移走,背景更新模块检测到初始背景图中的固有类人区域满足了前向更新条件,执行前向更新操作,执行完成后,背景图像中的固有类人区域更新为正确的背景。
场景中被移入新的类人物体,背景更新模块检测到当前场景中新入类人区域满足后向更新条件,执行后向更新操作,执行完成后,当前场景中新入的类人物体区域被更新至背景图像中。
场景中指定的非有效区域和工作人员固定区域,均实时无条件向背景图像中更新,使用实时更新的背景图像与当前实时图像进行差值运算后,非有效区域和工作人员固定区域中的人物和物体在差值图像中的深度值均为零,后端流程利用该差值图像识别出人物和统计数据,具有较高的准确性。
此外,本发明实施例还提供一种背景图像的自更新装置,所述耳机装置包括蓝牙耳机、耳机盒、处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的背景图像的自更新程序。
其中所述背景图像的自更新程序被所述处理器执行时,实现如上述的背景图像的自更新方法的步骤。
此外,本发明实施例还提供一种背景图像的自更新设备,所述耳机装置包括蓝牙耳机、耳机盒、处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的背景图像的自更新程序。
其中所述背景图像的自更新程序被所述处理器执行时,实现如上述的背景图像的自更新方法的步骤。
此外,本发明实施例还提供一种计算机可读存储介质。
本发明计算机可读存储介质上存储有背景图像的自更新程序,其中所述背景图像的自更新程序被处理器执行时,实现如上述的背景图像的自更新方法的步骤。
其中,背景图像的自更新程序被执行时所实现的方法可参照本发明背景图像的自更新方法的各个实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种背景图像的自更新方法,其特征在于,所述背景图像的自更新方法包括以下步骤:
获取待检测区域的当前区域深度图像,获取所述当前区域深度图像中一区域,作为当前区域,并在预设初始背景图像中确定与所述当前区域对应的相关背景区域;
获取所述当前区域的当前深度值以及所述相关背景区域的初始深度值,并计算所述初始深度值与所述当前深度值的目标差值;
基于预设更新条件、预设差值阈值以及所述目标差值,确定所述初始背景图像中待更新的目标区域以及所述目标区域对应的目标更新类型;
根据所述当前区域深度图像中的对应区域以及所述目标更新类型,将所述初始背景图像中的目标区域进行更新,完成背景图像的自更新。
2.如权利要求1所述的背景图像的自更新方法,其特征在于,所述更新条件包括即刻更新条件、前向更新条件和/或后向更新条件,所述差值阈值包括既定差值阈值、前向更新下限阈值和/或后向更新下限阈值,所述基于预设更新条件、预设差值阈值以及所述目标差值,确定所述初始背景图像中待更新的目标区域以及所述目标区域对应的目标更新类型的步骤具体包括:
若所述目标差值为负且所述目标差值的绝对值大于所述既定差值阈值,则判定所述相关背景区域符合所述即刻更新条件,确定所述相关背景区域为所述目标区域,并确定所述目标更新类型为即刻更新类型;
在所述目标差值为负且所述目标差值的绝对值属于所述前向更新下限阈值与所述既定差值阈值之间时,则判定所述相关背景区域符合所述前向更新条件,确定所述相关背景区域为所述目标区域,并确定所述目标更新类型为前向更新类型;
在所述目标差值为正且所述目标差值的绝对值大于所述后向更新下限阈值时,则判定所述相关背景区域符合所述后向更新条件,确定所述相关背景区域为所述目标区域,并确定所述目标更新类型为后向更新类型。
3.如权利要求2所述的背景图像的自更新方法,其特征在于,所述根据所述当前区域深度图像中的对应区域以及所述目标更新类型,将所述初始背景图像中的目标区域进行更新,完成背景图像的自更新的步骤具体包括:
若所述目标更新类型为即刻更新类型,则将所述初始背景图像中的目标区域的像素点值更新为所述当前区域深度图像中的对应区域的像素点值。
4.如权利要求3所述的背景图像的自更新方法,其特征在于,所述若所述目标更新类型为即刻更新类型,则将所述初始背景图像中的目标区域的像素点值更新为所述当前区域深度图像中的对应区域的像素点值的步骤具体包括:
若所述目标更新类型为所述即刻更新类型,则在所述目标区域的各个像素点中获取一像素点,作为目标像素点;
在所述当前区域深度图像的对应区域中获取所述目标像素点的对应像素点,并判断目标像素点值与对应像素点值之间的像素点差值是否符合所述即刻更新条件;
若所述目标像素点值与对应像素点值之间的像素点差值符合所述即刻更新条件,则将预设计数器数值进行增运算;
若所述目标像素点值与对应像素点值之间的像素点差值不符合所述即刻更新条件,则将所述计数器数值进行减运算;
在所述目标区域的各个像素点中获取下一像素点,作为所述目标像素点,直至获取完所述目标区域中的全部像素点后,判断所述计数器数值是否大于目标阈值;
若所述计数器数值大于目标阈值,则将所述初始背景图像中的目标区域的像素点值更新为所述当前区域深度图像中的对应区域的像素点值。
5.如权利要求4所述的背景图像的自更新方法,其特征在于,所述在所述目标区域的各个像素点中获取下一像素点,作为所述目标像素点,直至获取完所述目标区域中的全部像素点后,判断所述计数器数值是否大于目标阈值的步骤之后,还包括:
若所述计数器数值不大于目标阈值,则生成并显示误识别的提醒消息,并停止所述初始背景图像的更新。
6.如权利要求2所述的背景图像的自更新方法,其特征在于,所述根据所述当前区域深度图像中的对应区域以及所述目标更新类型,将所述初始背景图像中的目标区域进行更新,完成背景图像的自更新的步骤具体包括:
若所述目标更新类型为所述前向更新类型或所述后向更新类型,则获取所述待检测区域在预设时间内的多帧区域深度图像;
基于所述多帧区域深度图像,判断所述目标区域是否在预设时间内持续符合所述前向更新条件或所述后向更新条件;
若所述目标区域持续在预设时间内持续符合所述前向更新条件或所述后向更新条件,则根据所述当前区域深度图像中的对应区域,将所述初始背景图像中的目标区域进行前向更新或所述后向更新,完成背景图像的自更新。
7.如权利要求1-6中任意一项所述的背景图像的自更新方法,其特征在于,所述背景图像的自更新方法还包括:
将所述当前区域深度图像和所述初始背景图像进行区域分割,确定所述当前区域深度图像的非检测目标区域和固有背景区域,以及所述初始背景图像对应的非检测目标区域和固有背景区域;
根据所述当前区域深度图像的非检测目标区域和固有背景区域,更新所述初始背景图像对应的非检测目标区域和固有背景区域。
8.一种背景图像的自更新设备,其特征在于,所述背景图像的自更新设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的背景图像的自更新程序,其中所述背景图像的自更新程序被所述处理器执行时,实现如权利要求1至7中任一项所述的背景图像的自更新方法的步骤。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有背景图像的自更新程序,其中所述背景图像的自更新程序被处理器执行时,实现如权利要求1至7中任一项所述的背景图像的自更新方法的步骤。
CN202010974469.0A 2020-09-16 2020-09-16 背景图像的自更新方法、装置、设备及存储介质 Active CN112070053B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010974469.0A CN112070053B (zh) 2020-09-16 2020-09-16 背景图像的自更新方法、装置、设备及存储介质
PCT/CN2021/118393 WO2022057806A1 (zh) 2020-09-16 2021-09-15 背景图像的自更新方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010974469.0A CN112070053B (zh) 2020-09-16 2020-09-16 背景图像的自更新方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112070053A CN112070053A (zh) 2020-12-11
CN112070053B true CN112070053B (zh) 2023-02-28

Family

ID=73696564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010974469.0A Active CN112070053B (zh) 2020-09-16 2020-09-16 背景图像的自更新方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN112070053B (zh)
WO (1) WO2022057806A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070053B (zh) * 2020-09-16 2023-02-28 青岛维感科技有限公司 背景图像的自更新方法、装置、设备及存储介质
CN113657191A (zh) * 2021-07-26 2021-11-16 浙江大华技术股份有限公司 堆积物识别方法、装置和电子装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105225217A (zh) * 2014-06-23 2016-01-06 株式会社理光 基于深度的背景模型更新方法和系统
CN108648211A (zh) * 2018-05-16 2018-10-12 思百达物联网科技(北京)有限公司 一种基于深度学习的小目标检测方法、装置、设备和介质
CN111652136A (zh) * 2020-06-03 2020-09-11 苏宁云计算有限公司 基于深度图像的行人检测方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9478036B2 (en) * 2014-04-14 2016-10-25 Nokia Technologies Oy Method, apparatus and computer program product for disparity estimation of plenoptic images
CN105005992B (zh) * 2015-07-07 2016-03-30 南京华捷艾米软件科技有限公司 一种基于深度图的背景建模和前景提取的方法
CN112070053B (zh) * 2020-09-16 2023-02-28 青岛维感科技有限公司 背景图像的自更新方法、装置、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105225217A (zh) * 2014-06-23 2016-01-06 株式会社理光 基于深度的背景模型更新方法和系统
CN108648211A (zh) * 2018-05-16 2018-10-12 思百达物联网科技(北京)有限公司 一种基于深度学习的小目标检测方法、装置、设备和介质
CN111652136A (zh) * 2020-06-03 2020-09-11 苏宁云计算有限公司 基于深度图像的行人检测方法及装置

Also Published As

Publication number Publication date
WO2022057806A1 (zh) 2022-03-24
CN112070053A (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
US10417503B2 (en) Image processing apparatus and image processing method
JP3123587B2 (ja) 背景差分による動物体領域抽出方法
US20190347486A1 (en) Method and apparatus for detecting a garbage dumping action in real time on video surveillance system
CN109727275B (zh) 目标检测方法、装置、系统和计算机可读存储介质
CN112070053B (zh) 背景图像的自更新方法、装置、设备及存储介质
US11417134B2 (en) Image analysis device, image analysis method, and recording medium
CN111932596B (zh) 摄像头遮挡区域的检测方法、装置、设备和存储介质
CN110580708B (zh) 一种快速移动检测方法、装置及电子设备
KR20170006356A (ko) 이차원 영상 기반 고객 분석 방법 및 장치
WO2013017184A1 (en) Method and device for video surveillance
KR102366396B1 (ko) Rgb-d 데이터와 딥러닝을 이용한 3d객체영역분할 방법과 그 시스템
CN112104838B (zh) 图像分辨方法及其监控摄像机与监控摄像系统
CN115116130A (zh) 一种通话动作识别方法、装置、设备以及存储介质
CN112686162A (zh) 仓库环境整洁状态的检测方法、装置、设备和存储介质
CN114360055A (zh) 基于人工智能的行为检测方法、设备及存储介质
CN113111847A (zh) 一种工序循环的自动监测方法、装置和系统
CN114445599A (zh) 一种试衣方法、装置、终端设备、存储介质和系统
KR101355206B1 (ko) 영상분석을 이용한 출입 계수시스템 및 그 방법
CN113989743A (zh) 垃圾满溢检测方法、检测设备及系统
US20210027481A1 (en) System, method, and computer-readable medium for managing position of target
CN112581501A (zh) 一种基于图像和激光行人检测的电梯人流强度方法
CN114820692B (zh) 跟踪目标的状态分析方法、装置、存储介质和终端
CN112825193B (zh) 目标跟踪方法、装置、电子设备以及存储介质
JP4552018B2 (ja) 動画像処理装置及び動画像処理方法
JPH09231358A (ja) 画像対応点抽出装置、及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant