CN117124587A - 基于深度图像的背景建模方法及装置、介质、计算设备 - Google Patents

基于深度图像的背景建模方法及装置、介质、计算设备 Download PDF

Info

Publication number
CN117124587A
CN117124587A CN202310066832.2A CN202310066832A CN117124587A CN 117124587 A CN117124587 A CN 117124587A CN 202310066832 A CN202310066832 A CN 202310066832A CN 117124587 A CN117124587 A CN 117124587A
Authority
CN
China
Prior art keywords
background
model
background model
depth image
background modeling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310066832.2A
Other languages
English (en)
Other versions
CN117124587B (zh
Inventor
肖兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Shixi Technology Co Ltd
Original Assignee
Zhuhai Shixi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Shixi Technology Co Ltd filed Critical Zhuhai Shixi Technology Co Ltd
Priority to CN202310066832.2A priority Critical patent/CN117124587B/zh
Publication of CN117124587A publication Critical patent/CN117124587A/zh
Application granted granted Critical
Publication of CN117124587B publication Critical patent/CN117124587B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
    • B29C64/20—Apparatus for additive manufacturing; Details thereof or accessories therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
    • B29C64/20—Apparatus for additive manufacturing; Details thereof or accessories therefor
    • B29C64/255—Enclosures for the building material, e.g. powder containers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
    • B29C64/30—Auxiliary operations or equipment
    • B29C64/307—Handling of material to be used in additive manufacturing
    • B29C64/314—Preparation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
    • B29C64/30—Auxiliary operations or equipment
    • B29C64/307—Handling of material to be used in additive manufacturing
    • B29C64/321—Feeding
    • B29C64/336—Feeding of two or more materials
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B33—ADDITIVE MANUFACTURING TECHNOLOGY
    • B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y30/00—Apparatus for additive manufacturing; Details thereof or accessories therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B33—ADDITIVE MANUFACTURING TECHNOLOGY
    • B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y40/00—Auxiliary operations or equipment, e.g. for material handling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B33—ADDITIVE MANUFACTURING TECHNOLOGY
    • B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y40/00—Auxiliary operations or equipment, e.g. for material handling
    • B33Y40/10—Pre-treatment

Landscapes

  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Materials Engineering (AREA)
  • Manufacturing & Machinery (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于深度图像的背景建模方法及装置、介质、计算设备，所述方法包括：获取目标场景的深度图像；将所述深度图像输入预设的第一背景建模模块进行背景建模以得到所述目标场景的常规背景模型；对所述常规背景模型进行修正以得到修正背景模型；将所述深度图像输入预设的第二背景建模模块以得到所述目标场景的稳定背景模型；基于所述稳定背景模型对所述修正背景模型进行修正得到所述目标场景的目标前景模型。本发明的方法采用两个背景模型，并增加两种修正机制，可以在背景物体或目标发生移动时快速更新背景并消除鬼影，从而有利于提高背景建模检测的准确率。

Description

基于深度图像的背景建模方法及装置、介质、计算设备
技术领域
本发明涉及图像处理技术领域，特别是一种基于深度图像的背景建模方法及装置、介质、计算设备。
背景技术
背景建模(又称背景去除、背景差分)是针对相机固定场景进行运动目标检测、分割的一种常见技术，在视频监控、人机交互等领域有着十分广泛的应用，尤其是在一些性能十分有限的硬件平台。相较于深度学习方法，背景建模方法的优点在于：不依赖于学习样本、算法简单、对硬件算力要求低、实时性高、检测距离远以及检出率高等。背景建模方法对背景稳定、目标运动较快的场景表现尤佳，主要挑战在于应对动态背景、背景物体发生移动、慢速目标等场景。为了适应现实的环境变化，背景建模方法通常会对背景模型进行动态更新，而相应的更新速率对检测结果的准确性影响极大：若背景模型更新太快，则易将慢速目标吸收，产生空洞、漏检；反之，则易产生鬼影，而鬼影处若有新目标又易出现空洞、漏检。
因此，如何提供一种能够消除鬼影的背景建模方法，是亟待解决的问题。
发明内容
鉴于上述问题，本发明提出一种克服上述问题或者至少部分地解决上述问题的基于深度图像的背景建模方法及装置、介质、计算设备。
根据本发明的第一方面，提供了一种基于深度图像的背景建模方法，所述方法包括：
获取目标场景的深度图像；
将所述深度图像输入预设的第一背景建模模块进行背景建模以得到所述目标场景的常规背景模型；
对所述常规背景模型进行修正以得到修正背景模型；
获取预设的第二背景建模模块进行背景建模以得到所述目标场景的稳定背景模型；
基于所述稳定背景模型对所述修正背景模型进行修正得到所述目标场景的目标前景模型。
可选地，所述第二背景建模模块的模型更新速率小于所述第一背景建模模块的模型更新速率。
可选地，所述第二背景建模模块中存储所述目标场景的初始预览帧或初始时间段内预览帧的均值图作为所述第二背景建模模块的稳定背景模型。
可选地，所述对所述常规背景模型进行修正以得到修正背景模型包括：
对所述深度图像进行二值化处理得到对应的二值化图像；
基于所述二值化图像对所述常规背景模型进行修正以得到修正背景模型。
可选地，所述对所述深度图像进行二值化处理得到对应的二值化图像包括：
根据预设的深度有效范围，对所述深度图像进行二值化处理得到对应的二值化图像。
可选地，所述基于所述二值化图像对所述常规背景模型进行修正以得到修正背景模型包括：
利用所述二值化图像对所述常规背景模型进行前景像素检查，将无效像素从所述常规背景模型中移除，以得到修正背景模型。
可选地，所述对所述常规背景模型进行修正以得到修正背景模型之后，所述方法还包括：
利用所述目标前景模型更新所述第一背景建模模块。
可选地，所述基于所述稳定背景模型对所述修正背景模型进行修正得到所述目标场景的目标前景模型之后，所述方法还包括：
利用所述目标前景模型更新所述第一背景建模模块。
根据本发明的第二方面，提供了一种基于深度图像的背景建模装置，所述装置包括：
图像获取模块，用于获取目标场景的深度图像；
第一建模模块，用于基于所述深度图像进行背景建模以得到所述目标场景的常规背景模型；
第一修正模块，用于对所述常规背景模型进行修正以得到修正背景模型；
第二建模模块，用于基于所述深度图像进行背景建模得到所述目标场景的稳定背景模型；
第二修正模块，用于基于所述稳定背景模型对所述修正背景模型进行修正得到所述目标场景的目标前景模型。
根据本发明的第三方面，还提供了一种基于深度图像的背景建模系统，其特征在于，所述系统包括：
至少一个摄像设备，用于采集目标场景的深度图像；
至少一个终端，所述终端设置有与所述摄像设备通信连接的处理器，所述处理器用于执行第一方面中任一项所述的基于深度图像的背景建模方法。
根据本发明的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面中任一项所述的基于深度图像的背景建模方法。
根据本发明的第五方面，提供了一种计算设备，所述计算设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行第一方面中任一项所述的基于深度图像的背景建模方法。
本发明提供了一种基于深度图像的背景建模方法及装置、介质、计算设备，本发明的方案采用两个背景建模模块基于深度图像进行背景建模以得到两个背景模型，并增加两种修正机制对常规背景模型进行二次修正，基于本发明实施例提供的方法可以区分待检目标与非待检目标，可以在背景物体或目标发生移动时快速更新背景并消除鬼影，从而有利于提高背景建模检测的准确率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明实施例的基于深度图像的背景建模方法流程示意图；
图2示出了根据本发明一实施例的背景目标移动情形的处理效果图；
图3示出了根据本发明另一实施例的背景目标移动情形的处理效果图；
图4示出了根据本发明一实施例的基于深度图像的背景建模装置结构示意图；
图5示出了根据本发明另一实施例的基于深度图像的背景建模装置结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
需要说明的是，本申请提供的基于深度图像的背景建模方法，可以应用于终端，例如终端可以是各种商业用途大平板、手机或电脑、普通消费平板电脑、智能电视、便携计算机终端，也可以是台式计算机等固定终端。
本申请实施例可以应用于计算机系统/服务器，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于:个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
本发明实施例提供了一种基于深度图像的背景建模方法，如图1所示，本发明实施例的基于深度图像的背景建模方法至少可以包括以下步骤S101～S105。
S101，获取目标场景的深度图像。
深度图像(Depth Images)，也被称为距离影像(Range Images)，是指将图像采集器采集到的场景中各点的距离(深度)值作为像素值的图像。本实施例的目标场景是需要进行背景建模的任一场景，在获取目标场景的深度图像时可以通过深度相机进行采集获取。
S102，将所述深度图像输入预设的第一背景建模模块进行背景建模以得到所述目标场景的常规背景模型。
本实施例的第一背景建模模块为进行常规背景建模的背景建模模块，对于获取到的深度图像，可以将其输入至第一背景建模模块进行背景建模的常规背景模型，该常规背景模型为常规背景模型，用于计算前景并进行常规或激进的模型更新。本实施例的常规背景模型常规或激进的模型更新是指基于现有背景建模技术，采取的一般的或相对较快的背景模型更新速率，其能够吸收短时间内稳定的背景；所述保守的模型更新是指基于现有背景建模技术，采取极为缓慢的背景模型更新速率，其仅学习长时间内稳定的背景。
S103，对所述常规背景模型进行修正以得到修正背景模型。
对于上述步骤S102得到的常规背景模型可先进行修正以得到修正背景模型。在一些可选实施例中，上述步骤S103可以进一步包括：
S103-1，对所述深度图像进行二值化处理得到对应的二值化图像；具体可以根据预设的深度有效范围，对所述深度图像进行二值化处理得到对应的二值化图像。
在一些实施例中，可以采用以下方式进行二值化：
其中，Iin(x,y)为输入的深度图像在(x,y)处的深度值，Ibin(x,y)为对应的二值化图像数值，0表示无效，255表示有效，[Imin,Imax]为有效深度范围。
实际应用中，可以根据应用需求设定有效深度范围[Imin,Imax]，对于输入的深度图像Iin，基于预设的深度有效范围[Imin,Imax]进行二值化得到二值化图像Ibin。其中，Imin用于滤除近距离无效深度值，Imax用于滤除远距离无效深度值，由此滤除一部分噪声和超出稳定测量范围的无关物体。
需要说明的是，本实施例所说的深度图像和深度值可以是从深度相机获取的原始深度图及相应深度值(比如以mm为单位)，也可以是原始深度数值映射至[0,255]范围内后的图像及相应像素值，而后者可视作灰度图更便于进行图像处理操作。
S103-2，基于所述二值化图像对所述常规背景模型进行修正以得到修正背景模型；具体可以利用所述二值化图像对所述常规背景模型进行前景像素检查，将无效像素从所述常规背景模型中移除，以得到修正背景模型。
基于二值化图像对所述常规背景模型进行修正时，可以利用上述设置的有效深度范围对深度图像的前景像素进行检查，若该像素对应为无效，则将其从前景中移除，并将其加入至常规背景模型中，也即，利用所述目标前景模型更新所述第一背景建模模块。
S104，获取预设的第二背景建模模块进行背景建模以得到所述目标场景的稳定背景模型。
在本实施例中，第二背景建模模块所得到的稳定背景模型可以是一个轻量级的背景建模方法对应的背景模型，第二背景建模模块进行背景建模时，其可以优选为目标场景的初始预览帧或初始时间段内预览帧的均值图作为目标场景的稳定背景模型。本实施例的所述第二背景建模模块的模型更新速率小于所述第一背景建模模块的模型更新速率。
S105，基于所述稳定背景模型对所述修正背景模型进行修正得到所述目标场景的目标前景模型。
基于第二背景建模模块建模得到稳定背景模型之后，可以利用稳定背景模型对已经经过一次修正的修正背景模型进行二次修正，进行二次修正时，可以将修正背景模型的前景像素与稳定背景模型进行比较，若相应的差值绝对值小于预设阈值，则将该像素从前景中移除，并将其加入修正背景模型中，然后，将修正后的前景区域输出，作为目标场景最终的目标前景模型，同时利用所述目标前景模型更新所述第一背景建模模块。
如前所述，背景建模检测结果的准确性很大程度依赖于背景模型更新的可靠性和及时性。一方面，背景模型要能快速适应场景变化，比如当背景物体(非待检目标，比如椅子、绿植、行李箱等类人物体)被移动，或有新的非待检物体移入画面，背景模型要能快速吸收这些新内容，避免出现误检。另外，不论是背景物体或者背景目标(因长时间静止而被吸收或初始建模期间处于画面中)发生移动，其原先所在的区域也应尽快被背景吸收，以避免出现鬼影。另一方面，背景模型要对慢速目标要有足够的容忍度，比如当待检目标静止(比如行人伫立)时，应避免或尽可能慢地将吸收这些内容，以避免漏检。
本发明实施例提供了一种基于深度图像的背景建模方法，采用两个背景建模模块基于深度图像进行背景建模以得到两个背景模型，并增加两种修正机制对常规背景模型进行二次修正，基于本发明实施例提供的方法可以区分待检目标与非待检目标，可以在背景物体或目标发生移动时快速更新背景并消除鬼影，从而有利于提高背景建模检测的准确率。
前文介绍，本发明实施例采用了两个背景建模模块分别进行背景建模以得到常规背景模型和稳定背景模型。
其中，对于第一背景建模模块的常规背景模型来讲，采用常规或者快速的更新策略，以及时吸收场景变化，当然，若待检目标静止时间超过设定阈值，依然会被背景吸收。为保证整体快速性，第一背景建模模块可选取一个效果与速度相对均衡的背景建模算法。
优选地，本实施例可选用CodeBook算法。CodeBook算法的基本思想是得到每个像素的时间序列模型，这种模型能够很好地处理时间起伏。
对于第二背景建模模块的稳定背景模型来讲，仅当画面区域长时间稳定时才将其加入至稳定背景模型。相应地，该背景模型主要包含画面中长时间稳定的背景物体，比如墙壁、桌椅、绿植等，而静止的行人(比如伫立1～2分钟)不会被吸收。第二背景建模模块选用尽可能轻量级的背景建模方法，可选地，将初始预览帧或初始时间段内预览帧的均值图作为其常规背景模型，进一步可选地，该背景模型可采用直方图众数的方法予以更新。
其中，采用第一背景建模模块进行背景差分得到各帧前景并且按照既定更新速度对其背景模型适时更新；而第二背景建模模块在此环节则仅作适时更新。
进一步地，本发明实施例采用了两个修正机制对常规背景模型进行修正。
修正机制1：根据二值化图像对常规背景模型进行修正。
对所得前景像素进行检查，若该像素对应为无效，则将其从前景中移除，并将其直接加入至所述常规背景模型中。
举例说明相应原理：当背景物体或背景目标(因长时间静止而被吸收或初始建模期间处于画面中)发生移动时，其原先所在的位置背景与当前深度一般会有明显差异，因而该区域会被误判为前景，即出现鬼影。一个较为常见的情形是，该区域为空旷背景或极远的墙壁等，相应的深度值超过Imax，此时可直接将对应区域从前景中移除并立即更新相应区域背景。
修正机制2：根据稳定背景模型对修正背景模型进行再次修正。
将经过修正得到的修正背景模型与所述稳定背景模型进行比较，若相应的差值绝对值小于预设阈值，则将该像素从前景中移除，并将其加入所述常规背景模型中。
继续举例说明：一个较为常见的情形是，背景目标因在一段时间内静止(比如行人伫立)而被第一背景建模模块的常规背景模型吸收，而后又发生移动，其原先所在位置当前的深度值在有效范围内(该区域通常为近处的墙壁等静止物体)。在本机制中，由于背景目标属于短暂静止，其身后的背景属于稳定背景，大概率还存在于所述稳定背景模型中，所以目标移开后相应区域当前深度值与稳定背景模型中的对应深度值是基本相同的，通过将二者差值的绝对值与预设阈值比较，即可判定。一旦确认，即可认为该区域的前景为鬼影，立刻将其从前景移除并更新其在第一背景建模模块中常规背景模型中。最后，将最终修正后的前景区域输出。并且，在动态背景或因杂散光导致深度图有明显噪声的场景中，本发明实施例的修正机制1、修正机制2还具备一定的降噪效果，进一步改善最终的前景效果。
图2示出了根据本发明一实施例的背景目标移动情形的处理效果图，图2中的a为第10帧深度图(已映射至[0,255]，下同)；b为第45帧深度图；c为基于现有背景建模方法得到的第45帧前景效果图；d为基于现有背景建模方法得到的第45帧行人检测/分割效果图；e为基于本发明背景建模方法得到的第45帧前景效果图；f为基于本发明背景建模方法得到的第45帧行人检测/分割效果图。
本实施例中，如图2中的a，初始建模期间(相机刚打开)画面中存在待检目标，即行人，而后行人向右移动至b所示位置。图中行人离深度相机较远且已接近最远有效范围，这种情况下，基于现有背景建模方法会出现鬼影(如图1中c左边的目标)，进而导致误检(如图1中d左边蓝色目标)。而采用本发明背景建模方法(当前情形适用于修正机制1)则可快速消除鬼影(如图1中的e)，进而避免误检(如图1中的f)。
图3示出了根据本发明另一实施例的背景目标移动情形的处理效果图；其中：a为第10帧深度图(已映射至[0,255]，下同)；b为第260帧深度图；c为第500帧深度图；d为第720帧深度图；e为基于现有背景建模方法得到的第720帧前景效果图；f为基于现有背景建模方法得到的第720帧行人检测/分割效果图；g为基于本发明背景建模方法得到的第720帧前景效果图；h为基于本发明背景建模方法得到的第720帧行人检测/分割效果图。本实施例中部分附图采用彩色图以使得处理效果更加明显。
本实施例中，初始背景(当前也属于稳定背景)如图3中的a所示，后续有行人进入画面并驻足一段时间(如图3中的c和d，图中行人手持雨伞)，相应区域会被背景吸收，其后，该行人又离开(如d)。图中行人驻足位置后方不远处有静止物体(稳定背景)，这种情况下，基于现有背景建模方法会出现鬼影(如图3中e最右边的目标)，进而导致误检(如图3中f右边绿色目标)。而采用本发明背景建模方法(当前情形适用于修正机制2)则可快速消除鬼影(如图3中的g)，进而避免误检(如图3中的h)。
基于同一发明构思，本发明实施例还提供了一种基于深度图像的背景建模装置，如图4所示，本发明实施例的基于深度图像的背景建模装置可以包括：
图像获取模块410，用于获取目标场景的深度图像；
第一建模模块420，用于基于所述深度图像进行背景建模以得到所述目标场景的常规背景模型；
第一修正模块430，用于对所述常规背景模型进行修正以得到修正背景模型；
第二建模模块440，用于基于所述深度图像进行背景建模得到所述目标场景的稳定背景模型；
第二修正模块450，用于基于所述稳定背景模型对所述修正背景模型进行修正得到所述目标场景的目标前景模型。
可选地，所述第二背景建模模块的模型更新速率小于所述第一背景建模模块的模型更新速率。所述第二背景建模模块中存储所述目标场景的初始预览帧或初始时间段内预览帧的均值图作为所述第二背景建模模块的稳定背景模型。
在本发明一可选实施例中，如图5所示，本发明实施例的基于深度图像的背景建模装置还可以包括：二值化模块，用于对所述深度图像进行二值化处理得到对应的二值化图像；
第一修正模块430还可以用于：基于所述二值化图像对所述常规背景模型进行修正以得到修正背景模型。
在本发明一可选实施例中，第一修正模块430还可以用于：根据预设的深度有效范围，对所述深度图像进行二值化处理得到对应的二值化图像。
在本发明一可选实施例中，第一修正模块430还可以用于：利用所述目标前景模型更新所述第一背景建模模块。
在本发明一可选实施例中，第二修正模块450还可以用于利用所述目标前景模型更新所述第一背景建模模块。
整个背景建模装置接受深度图像输入并最终输出前景mask。具体地，输入的深度图像分别送入二值化模块、第一背景建模模块1和第二背景建模模块2。其中，二值化模块对输入的深度图像进行二值化得到二值图；第一背景建模模块1通过背景差分得到常规背景模型0，并采用常规或较为激进的速度进行模型更新；第二背景建模模块2创建稳定背景模型，并采用较为缓慢的速度进行模型更新。然后修正模块1基于前述修正机制1，结合二值图对背景建模模块1的常规背景模型mask0进行修正，具体包括：(1)结合二值图对背景建模模块1所得常规背景模型mask0进行修正得到修正背景模型mask1；(2)对背景建模模块1产生反馈，即在被修正的像素区域对第一背景建模模块1进行更新。接着，修正模块2基于前述修正机制2，结合背景建模模块2的稳定背景模型对修正背景模型mask1进行修正，具体包括：(1)对修正背景模型mask1进行修正得到修正的目标背景模型mask2；(2)对背景建模模块1产生反馈，即在被修正的像素区域对第一背景建模模块1进一步更新。最后，将目标背景模型mask2作为结果输出。
本发明实施例还提供了一种基于深度图像的背景建模系统，所述系统包括：至少一个摄像设备，用于采集目标场景的深度图像；至少一个终端，所述终端设置有与所述摄像设备通信连接的处理器，所述处理器用于执行上述实施例任一项的基于深度图像的背景建模方法。其中，摄像设备可选为深度相机。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述实施例所述的基于深度图像的背景建模方法。
本发明实施例还提供了一种计算设备，所述计算设备包括处理器以及存储器：所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；所述处理器用于根据所述程序代码中的指令执行上述实施例所述的基于深度图像的背景建模方法。
所属领域的技术人员可以清楚地了解到，上述描述的系统、装置、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，为简洁起见，在此不另赘述。
另外，在本发明各个实施例中的各功能单元可以物理上相互独立，也可以两个或两个以上功能单元集成在一起，还可以全部功能单元都集成在一个处理单元中。上述集成的功能单元既可以采用硬件的形式实现，也可以采用软件或者固件的形式实现。
本领域普通技术人员可以理解：所述集成的功能单元如果以软件的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，其包括若干指令，用以使得一台计算设备(例如个人计算机，服务器，或者网络设备等)在运行所述指令时执行本发明各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)，磁碟或者光盘等各种可以存储程序代码的介质。
或者，实现前述方法实施例的全部或部分步骤可以通过程序指令相关的硬件(诸如个人计算机，服务器，或者网络设备等的计算设备)来完成，所述程序指令可以存储于一计算机可读取存储介质中，当所述程序指令被计算设备的处理器执行时，所述计算设备执行本发明各实施例所述方法的全部或部分步骤。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：在本发明的精神和原则之内，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案脱离本发明的保护范围。

Claims (12)

1.一种基于深度图像的背景建模方法，其特征在于，所述方法包括：
获取目标场景的深度图像；
将所述深度图像输入预设的第一背景建模模块进行背景建模以得到所述目标场景的常规背景模型；
对所述常规背景模型进行修正以得到修正背景模型；
获取预设的第二背景建模模块进行背景建模以得到所述目标场景的稳定背景模型；
基于所述稳定背景模型对所述修正背景模型进行修正得到所述目标场景的目标前景模型。
2.根据权利要求1所述的方法，其特征在于，所述第二背景建模模块的模型更新速率小于所述第一背景建模模块的模型更新速率。
3.根据权利要求2所述的方法，其特征在于，所述第二背景建模模块中存储所述目标场景的初始预览帧或初始时间段内预览帧的均值图作为所述第二背景建模模块的稳定背景模型。
4.根据权利要求1所述的方法，其特征在于，所述对所述常规背景模型进行修正以得到修正背景模型包括：
对所述深度图像进行二值化处理得到对应的二值化图像；
基于所述二值化图像对所述常规背景模型进行修正以得到修正背景模型。
5.根据权利要求4所述的方法，其特征在于，所述对所述深度图像进行二值化处理得到对应的二值化图像包括：
根据预设的深度有效范围，对所述深度图像进行二值化处理得到对应的二值化图像。
6.根据权利要求4所述的方法，其特征在于，所述基于所述二值化图像对所述常规背景模型进行修正以得到修正背景模型包括：
利用所述二值化图像对所述常规背景模型进行前景像素检查，将无效像素从所述常规背景模型中移除，以得到修正背景模型。
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述对所述常规背景模型进行修正以得到修正背景模型之后，所述方法还包括：
利用所述目标前景模型更新所述第一背景建模模块。
8.根据权利要求1-6中任一项所述的方法，其特征在于，所述基于所述稳定背景模型对所述修正背景模型进行修正得到所述目标场景的目标前景模型之后，所述方法还包括：
利用所述目标前景模型更新所述第一背景建模模块。
9.一种基于深度图像的背景建模装置，其特征在于，所述装置包括：
图像获取模块，用于获取目标场景的深度图像；
第一建模模块，用于基于所述深度图像进行背景建模以得到所述目标场景的常规背景模型；
第一修正模块，用于对所述常规背景模型进行修正以得到修正背景模型；
第二建模模块，用于基于所述深度图像进行背景建模得到所述目标场景的稳定背景模型；
第二修正模块，用于基于所述稳定背景模型对所述修正背景模型进行修正得到所述目标场景的目标前景模型。
10.一种基于深度图像的背景建模系统，其特征在于，所述系统包括：
至少一个摄像设备，用于采集目标场景的深度图像；
至少一个终端，所述终端设置有与所述摄像设备通信连接的处理器，所述处理器用于执行权利要求1-8中任一项所述的基于深度图像的背景建模方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-8任一项所述的基于深度图像的背景建模方法。
12.一种计算设备，其特征在于，所述计算设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-8任一项所述的基于深度图像的背景建模方法。
CN202310066832.2A 2023-01-12 2023-01-12 基于深度图像的背景建模方法及装置、介质、计算设备 Active CN117124587B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310066832.2A CN117124587B (zh) 2023-01-12 2023-01-12 基于深度图像的背景建模方法及装置、介质、计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310066832.2A CN117124587B (zh) 2023-01-12 2023-01-12 基于深度图像的背景建模方法及装置、介质、计算设备

Publications (2)

Publication Number Publication Date
CN117124587A true CN117124587A (zh) 2023-11-28
CN117124587B CN117124587B (zh) 2024-07-19

Family

ID=88861626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310066832.2A Active CN117124587B (zh) 2023-01-12 2023-01-12 基于深度图像的背景建模方法及装置、介质、计算设备

Country Status (1)

Country Link
CN (1) CN117124587B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101216942A (zh) * 2008-01-14 2008-07-09 浙江大学 一种自适应选取权重的增量式特征背景建模算法
US20140056471A1 (en) * 2012-08-23 2014-02-27 Qualcomm Incorporated Object tracking using background and foreground models
US20150091963A1 (en) * 2013-09-30 2015-04-02 Dainippon Screen Mfg. Co., Ltd. Printing apparatus and method of correcting step shift thereof
US20150371398A1 (en) * 2014-06-23 2015-12-24 Gang QIAO Method and system for updating background model based on depth
US20160125255A1 (en) * 2014-10-29 2016-05-05 Behavioral Recognition Systems, Inc. Dynamic absorption window for foreground background detector
CN105741319A (zh) * 2016-01-22 2016-07-06 浙江工业大学 基于盲目更新策略和前景模型的改进视觉背景提取方法
US20160239980A1 (en) * 2015-02-12 2016-08-18 Mitsubishi Electric Research Laboratories, Inc. Depth-Weighted Group-Wise Principal Component Analysis for Video Foreground/Background Separation
JP2019046382A (ja) * 2017-09-06 2019-03-22 ブラザー工業株式会社 画像処理プログラム、情報処理装置および画像処理方法
CN109658433A (zh) * 2018-12-05 2019-04-19 青岛小鸟看看科技有限公司 图像背景建模和前景提取方法、装置和电子设备
CN109671047A (zh) * 2017-10-16 2019-04-23 无锡威莱斯电子有限公司 一种基于深度传感器的Vibe动态目标检测方法
CN110111341A (zh) * 2019-04-30 2019-08-09 北京百度网讯科技有限公司 图像前景获取方法、装置及设备
US20190325611A1 (en) * 2018-04-20 2019-10-24 Sony Corporation Object segmentation in a sequence of color image frames by background image and background depth correction
WO2022057806A1 (zh) * 2020-09-16 2022-03-24 青岛维感科技有限公司 背景图像的自更新方法、装置、设备及存储介质
CN115273138A (zh) * 2022-06-29 2022-11-01 珠海视熙科技有限公司 一种人体检测系统以及客流相机

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101216942A (zh) * 2008-01-14 2008-07-09 浙江大学 一种自适应选取权重的增量式特征背景建模算法
US20140056471A1 (en) * 2012-08-23 2014-02-27 Qualcomm Incorporated Object tracking using background and foreground models
US20150091963A1 (en) * 2013-09-30 2015-04-02 Dainippon Screen Mfg. Co., Ltd. Printing apparatus and method of correcting step shift thereof
US20150371398A1 (en) * 2014-06-23 2015-12-24 Gang QIAO Method and system for updating background model based on depth
US20160125255A1 (en) * 2014-10-29 2016-05-05 Behavioral Recognition Systems, Inc. Dynamic absorption window for foreground background detector
US20160239980A1 (en) * 2015-02-12 2016-08-18 Mitsubishi Electric Research Laboratories, Inc. Depth-Weighted Group-Wise Principal Component Analysis for Video Foreground/Background Separation
CN105741319A (zh) * 2016-01-22 2016-07-06 浙江工业大学 基于盲目更新策略和前景模型的改进视觉背景提取方法
JP2019046382A (ja) * 2017-09-06 2019-03-22 ブラザー工業株式会社 画像処理プログラム、情報処理装置および画像処理方法
CN109671047A (zh) * 2017-10-16 2019-04-23 无锡威莱斯电子有限公司 一种基于深度传感器的Vibe动态目标检测方法
US20190325611A1 (en) * 2018-04-20 2019-10-24 Sony Corporation Object segmentation in a sequence of color image frames by background image and background depth correction
CN109658433A (zh) * 2018-12-05 2019-04-19 青岛小鸟看看科技有限公司 图像背景建模和前景提取方法、装置和电子设备
CN110111341A (zh) * 2019-04-30 2019-08-09 北京百度网讯科技有限公司 图像前景获取方法、装置及设备
WO2022057806A1 (zh) * 2020-09-16 2022-03-24 青岛维感科技有限公司 背景图像的自更新方法、装置、设备及存储介质
CN115273138A (zh) * 2022-06-29 2022-11-01 珠海视熙科技有限公司 一种人体检测系统以及客流相机

Also Published As

Publication number Publication date
CN117124587B (zh) 2024-07-19

Similar Documents

Publication Publication Date Title
CN109299703B (zh) 对鼠情进行统计的方法、装置以及图像采集设备
US11538175B2 (en) Method and apparatus for detecting subject, electronic device, and computer readable storage medium
CN112669344A (zh) 一种运动物体的定位方法、装置、电子设备及存储介质
CN110647836B (zh) 一种鲁棒的基于深度学习的单目标跟踪方法
CN114586337B (zh) 视频防抖优化处理方法和装置、电子设备
CN112435278B (zh) 一种基于动态目标检测的视觉slam方法及装置
CN105279771A (zh) 一种视频中基于在线动态背景建模的运动目标检测方法
CN112019827A (zh) 视频图像色彩增强的方法、装置、设备及存储介质
CN111080665B (zh) 图像边框识别方法、装置、设备和计算机存储介质
CN108876807B (zh) 一种实时星载卫星图像运动对象检测跟踪方法
CN117124587B (zh) 基于深度图像的背景建模方法及装置、介质、计算设备
CN113052019A (zh) 目标跟踪方法及装置、智能设备和计算机存储介质
CN110570441B (zh) 一种超高清低延时视频控制方法及系统
CN111833262A (zh) 图像降噪方法、装置及电子设备
CN116740375A (zh) 一种图像特征提取方法、系统及介质
CN116188535A (zh) 基于光流估计的视频跟踪方法、装置、设备及存储介质
CN110516667B (zh) 一种基于安卓的文字水平矫正方法
CN113160258B (zh) 建筑物矢量多边形的提取方法、系统、服务器及存储介质
CN115294358A (zh) 特征点提取方法、装置、计算机设备及可读存储介质
CN115131315A (zh) 一种图像的变化检测方法、装置、设备及存储介质
US11270442B2 (en) Motion image integration method and motion image integration system capable of merging motion object images
CN111104870B (zh) 基于卫星视频的运动检测方法、装置、设备和存储介质
CN113628192A (zh) 图像模糊检测方法、装置、设备、存储介质及程序产品
CN114255194A (zh) 图像融合方法、装置及相关设备
CN112085002A (zh) 人像分割方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant