CN111383340A - 一种基于3d图像的背景过滤方法、装置及系统 - Google Patents
一种基于3d图像的背景过滤方法、装置及系统 Download PDFInfo
- Publication number
- CN111383340A CN111383340A CN201811623903.XA CN201811623903A CN111383340A CN 111383340 A CN111383340 A CN 111383340A CN 201811623903 A CN201811623903 A CN 201811623903A CN 111383340 A CN111383340 A CN 111383340A
- Authority
- CN
- China
- Prior art keywords
- background
- scene
- filtering
- region
- threshold
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
Abstract
本发明提供了一种基于3D场景的背景过滤方法、装置、系统及计算机存储介质。所述背景过滤方法包括：获取3D场景的3D图像数据；基于所述3D图像数据和预定的背景过滤策略得到过滤背景后的3D图像数据；其中，所述预定的背景过滤策略包括：基于所述3D场景的背景记录建立的背景区域进行背景过滤、基于所述3D场景中物体的几何特征建立的背景区域进行背景过滤、基于所述3D场景的在一定区域内变化的物体建立的背景区域进行背景过滤或基于对所述3D场景的深度学习建立的背景区域进行背景过滤中的至少一个。根据本发明的方法、装置、系统及计算机存储介质，可以实现完全实时的背景过滤，为后续图像处理提供良好的基础。
Description
技术领域
本发明涉及图像处理技术领域，更具体地涉及一种3D图像的背景过滤。
背景技术
目前，图像和视频处理的传统方法一般针对2D空间，2D空间的图像背景过滤技术也相对成熟。传统的图像识别过程中，一般事先获取或自动生成图像背景，然后利用实时捕捉的图像减去背景，获得去除背景的图像效果。对于上述事先获取图像背景，一般采集背景图像进行预处理；而对于自动生成图像背景，现有的方法有：根据高斯混合模型提取前景后，进行掩膜和位运算，当无交集后，前后帧图像互相填充，实现背景生成；利用视频序列中相邻两帧图像之间的差异，跟踪统计各个像素点亮度变化情况，渐进地生成背景图像，随着环境的变化，将单个像素点与全部像素点的变化特征相结合，自动快速地更新背景图像；还有背景差分法、帧差分法、光流场法等，但是以上所说的去除背景的方法，基本上都针对2D图像，对于3D空间的图像背景处理的相关方法较少。然而，在实际应用中，越来越多的3D图像处理场合需要进行图像背景的过滤以减少噪声的干扰，将2D空间的图像背景过滤技术应用到3D空间会导致3D图像的背景过滤的准确度不高，无法为后期的图像处理提供准确的数据基础。
因此，现有技术中存在针对3D图像的背景过滤方法对背景的检测不够准确，容易出现遗漏或误算的问题。
发明内容
考虑到上述问题而提出了本发明。
根据本发明一方面，提供了一种基于3D场景的背景过滤方法，所述背景过滤方法包括：
获取3D场景的3D图像数据；
基于所述3D图像数据和预定的背景过滤策略得到过滤背景后的3D图像数据；
其中，所述预定的背景过滤策略包括：基于所述3D场景的背景记录建立的背景区域进行背景过滤、基于所述3D场景中物体的几何特征建立的背景区域进行背景过滤、基于所述3D场景的在一定区域内变化的物体建立的背景区域进行背景过滤或基于对所述3D场景的深度学习建立的背景区域进行背景过滤中的至少一个。
示例性地，所述进行背景过滤包括：
计算所述3D图像数据中的像素点与所述背景区域中的背景点的距离，并与背景阈值比较；
如果所述距离小于或等于所述背景阈值则确定所述像素点属于背景点，消除所述属于背景点的像素点。
示例性地，基于所述3D场景的背景记录建立的背景区域包括：
获取所述3D场景的3D背景图像数据；
根据所述3D背景图像数据中的多帧图像进行叠加得到基于所述3D场景的背景记录建立的背景模型。
示例性地，获取所述3D场景的3D背景图像数据可以包括：
采集所述3D场景的背景的深度图像数据；
将所述背景的深度图像数据转换为空间坐标系下的3D背景图像数据。
示例性地，根据所述3D背景图像数据中的多帧图像进行叠加包括：获取基于所述3D背景图像数据中的所有像素点信息；根据所述所有像素点信息拟合得到基于所述3D场景的背景记录建立的背景模型。
示例性地，基于所述3D场景中物体的几何特征建立的背景区域包括：根据空间几何形状的数学模型和通过人工标定或自动选取的所述物体表面的关键点，拟合得到所述物体的空间几何模型。
示例性地，基于所述3D场景中物体的几何特征建立的背景区域包括：采用点云拟合的方式进行点云填充，使物体的空间几何面上充满背景点云，得到所述空间几何面的背景区域。
示例性地，基于所述3D场景的在固定区域内变化的物体建立的背景区域包括：
基于所述固定区域的几何形状的数学模型和通过人工标定的所述区域的关键点，拟合得到所述区域的空间区域模型。
所述固定区域的几何形状包括但不限于：长方体、立方体、圆柱体，多边体，球体。
示例性地，基于对所述3D场景的深度学习建立的背景区域包括：
基于深度学习自动识别3D场景中的物体；
根据预定的场景要求自动确定背景物体，并利用空间位置关系对背景物体进行3D点云填充，得到背景点云模型。
示例性地，所述基于3D场景的背景过滤方法还包括：
当所述背景区域内部的点云发生变化时更新所述背景区域；或，
所述背景区域与其它对象存在交叠时，自动更新所述背景区域。
示例性地，所述背景区域内部的点云发生变化包括：
基于对所述背景区域的动态监测计算背景区域的差值，并判断预定时间内所述背景区域内部的点云是否静止。
示例性地，所述基于对所述背景区域的动态监测计算背景区域的差值包括：
计算所述背景区域中同一像素在前后帧中的位置变化，和/或
将所述背景区域的2D彩色图像对应到3D空间中的相应位置，计算前后帧中RGB的变化。
示例性地，判断预定时间内所述背景区域内部的点云是否静止包括：
将预定时间内的所述位置变化或RGB值的变化在空间区域叠加，得到所述背景区域的每个像素点的位置变化或RGB值的变化；和/或，
将预定时间内的所述位置变化或RGB值的变化在时间范围叠加，得到每一帧的背景区域的位置变化或RGB值的变化。
示例性地，判断预定时间内所述背景区域内部的点云是否静止还包括：
将预定时间内所述背景区域的每个像素点的位置变化或RGB值的变化与第一位置阈值或第一RGB阈值比较；和/或，
将预定时间内所述每一帧的背景区域的位置变化或RGB值的变化与第二位置阈值或第二RGB阈值比较。
示例性地，判断预定时间内所述背景区域内部的点云是否静止还包括：
如果所述预定时间内所述背景区域的每个像素点的位置变化或RGB值的变化小于或等于所述第一位置阈值或第一RGB阈值，则所述背景区域的内部点云静止；如果所述预定时间内所述背景区域的每个像素点的位置变化或RGB值的变化超过所述第一位置阈值或第一RGB阈值，则所述背景区域的内部点云发生变化；和/或，
如果预定时间内所述每一帧的背景区域的位置变化或RGB值的变化小于或等于第二位置阈值或第二RGB阈值，则所述背景区域的内部点云静止；如果预定时间内所述每一帧的背景区域的位置变化或RGB值的变化超过第二位置阈值或第二RGB阈值，则所述背景区域的内部点云发生变化。
示例性地，所述背景区域与其它对象存在交叠包括：计算所述对象的点与所述背景区域中背景点的距离，并与距离阈值比较，如果所述距离小于或等于所述距离阈值则所述背景区域与其他对象存在交叠，如果所述距离超过所述距离阈值则所述背景区域与其他对象没有交叠。
示例性地，所述背景区域与其它对象存在交叠时，更新所述背景区域还包括：当所述3D实时图像数据中不存在其他对象时，更新所述背景区域。
根据本发明另一方面，提供了一种基于3D图像的背景过滤装置，所述背景过滤装置包括：
图像获取模块，用于获取3D场景的3D图像数据；
背景过滤模块，用于基于所述3D图像数据和预定的背景过滤策略得到过滤背景后的3D图像数据；
其中，所述预定的背景过滤策略包括：基于所述3D场景的背景记录建立的背景区域进行背景过滤、基于所述3D场景中物体的几何特征建立的背景区域进行背景过滤、基于所述3D场景的在一定区域内变化的物体建立的背景区域进行背景过滤或基于对所述3D场景的深度学习建立的背景区域进行背景过滤中的至少一个。
示例性地，所述背景过滤模块包括：
距离比较模块，用于计算所述3D图像数据中的像素点与所述背景区域中的背景点的距离，并与背景阈值比较；
背景点消除模块，用于如果所述距离小于或等于所述背景阈值则确定所述像素点属于背景点，消除所述属于背景点的像素点。
示例性地，所述背景过滤模块还包括：
背景记录模块，用于获取所述3D场景的3D背景图像数据；
记录模型模块，用于根据所述3D背景图像数据中的多帧图像进行叠加得到基于所述3D场景的背景记录建立的背景模型。
示例性地，获取所述3D场景的3D背景图像数据包括：
采集所述3D场景的背景的深度图像数据；
将所述背景的深度图像数据转换为空间坐标系下的3D背景图像数据。
示例性地，根据所述3D背景图像数据中的多帧图像进行叠加包括：获取基于所述3D背景图像数据中的所有像素点信息；根据所述所有像素点信息拟合得到基于所述3D场景的背景记录建立的背景模型。
示例性地，所述背景过滤模块还包括：
几何模型模块，用于根据空间几何形状的数学模型和通过人工标定或自动选取的所述物体表面的关键点，拟合得到所述物体的空间几何模型。
示例性地，所述背景过滤模块还包括：
空间区域模型，用于基于所述区域几何形状的数学模型和通过人工标定的所述区域的关键点，拟合得到所述区域的空间区域模型。
示例性地，所述背景过滤模块还包括：
物体识别模块，用于基于深度学习自动识别3D场景中的物体；
背景点云模块，用于根据预定的场景要求自动确定背景物体，并利用空间位置关系对背景物体进行3D点云填充，得到背景点云模型。
示例性地，所述背景过滤装置还包括：
背景更新模块，用于当所述背景区域内部的点云发生变化时更新所述背景区域；或，
所述背景区域与其它对象存在交叠时，自动更新所述背景区域。
示例性地，所述背景区域内部的点云发生变化包括：
基于对所述背景区域的动态监测计算背景区域的差值，并判断所述背景区域内部的点云是否静止。
示例性地，所述基于对所述背景区域的动态监测计算背景区域的差值包括：
计算所述背景区域中同一像素在前后帧中的位置变化，和/或
将所述背景区域的2D彩色图像对应到3D空间中的相应位置，计算前后帧中RGB值的变化。
示例性地，判断预定时间内所述背景区域内部的点云是否静止包括：将预定时间内的所述位置变化或RGB值的变化在空间区域叠加，得到所述背景区域的每个像素点的位置变化或RGB值的变化；和/或，
将预定时间内的所述位置变化或RGB值的变化在时间范围叠加，得到每一帧的背景区域的位置变化或RGB值的变化。
示例性地，判断预定时间内所述背景区域内部的点云是否静止还包括：将预定时间内所述背景区域的每个像素点的位置变化或RGB值的变化与第一位置阈值或第一RGB阈值比较；和/或，
将预定时间内所述每一帧的背景区域的位置变化或RGB值的变化与第二位置阈值或第二RGB阈值比较。
示例性地，判断预定时间内所述背景区域内部的点云是否静止还包括：如果所述预定时间内所述背景区域的每个像素点的位置变化或RGB值的变化小于或等于所述第一位置阈值或第一RGB阈值，则所述背景区域的内部点云静止；如果所述预定时间内所述背景区域的每个像素点的位置变化或RGB值的变化超过所述第一位置阈值或第一RGB阈值，则所述背景区域的内部点云发生变化；和/或，
如果预定时间内所述每一帧的背景区域的位置变化或RGB值的变化小于或等于第二位置阈值或第二RGB阈值，则所述背景区域的内部点云静止；如果预定时间内所述每一帧的背景区域的位置变化或RGB值的变化超过第二位置阈值或第二RGB阈值，则所述背景区域的内部点云发生变化。
示例性地，所述背景区域与其它对象存在交叠包括：计算所述对象的点与所述背景区域中背景点的距离，并与距离阈值比较，如果所述距离小于或等于所述距离阈值则所述背景区域与其他对象存在交叠，如果所述距离超过所述距离阈值则所述背景区域与其他对象没有交叠。
示例性地，所述背景区域与其它对象存在交叠时，更新所述背景区域还包括：当所述3D实时图像数据中不存在其他对象时，更新所述背景区域。
根据本发明另一方面，提供了一种基于3D图像的背景过滤系统，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述基于3D图像的背景过滤方法的步骤。
根据本发明另一方面，提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被计算机执行时实现上述基于3D图像的背景过滤方法的步骤。
根据本发明提供的基于3D场景的背景过滤方法、装置、系统和计算机存储介质，利用多帧数据综合填充建立更密集的3D背景图像，针对空间中的几何面建立空间几何模型或采用点云拟合背景，结合深度学习进行物品识别后自动建立背景，并进行背景更新，实现完全实时的背景过滤，为后续图像处理提供良好的基础。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是根据本发明实施例的基于3D图像的背景过滤方法的示意性流程图；
图2是根据本发明实施例的基于3D图像的背景过滤方法的示意性原理图；
图3A-图3C是根据本发明实施例的基于所述3D场景的背景记录建立的背景区域进行背景过滤的示例的示意图；
图4是根据本发明实施例的基于3D图像的背景过滤装置的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。
参见图1，图1示出了根据本发明实施例的基于3D图像的背景过滤方法的示意性流程图。下面，将参照图1描述根据本发明实施例的基于3D图像的背景过滤方法100。所述基于3D场景的背景过滤方法100包括：
获取3D场景的3D图像数据；
基于所述3D图像数据和预定的背景过滤策略得到过滤背景后的3D图像数据；
其中，所述预定的背景过滤策略包括：基于所述3D场景的背景记录建立的背景区域进行背景过滤、基于所述3D场景中物体的几何特征建立的背景区域进行背景过滤、基于所述3D场景的在一定区域内变化的物体建立的背景区域进行背景过滤或基于对所述3D场景的深度学习建立的背景区域进行背景过滤中的至少一个。
可以理解，所述预定的背景过滤策略可以采用其中一个进行背景过滤，也可以采用其中任意几个的组合进行背景过滤以获得更好的背景滤除效果。需要说明的是，当采用所述预定的背景过滤策略中的任意几个组合进行背景过滤时，相互之间没有顺序限制。其中，3D图像数据包括视频数据和非视频数据，非视频数据可以包括单帧3D图像，此时3D单帧图像不需要进行分帧处理，可以直接作为待进行背景过滤的图像。而视频数据进行视频图像分帧后，得到多帧图像序列，将所述多帧图像序列作为待进行背景过滤的图像。需要说明的是，所述多帧图像序列并非必须是视频数据中所有的图像，而可以仅是其中的部分图像帧；另一方面，所述多帧图像序列可以是单帧图像，可以是连续的多帧图像，也可以是不连续的、任意选定的多帧图像。
一旦根据所述预定的背景过滤策略建立了所述3D场景的背景区域的数学模型后，那么对基于3D场景的每帧3D图像进行背景滤除可以根据判断3D图像中的像素点是否属于背景区域中的点，如果像素点与背景区域中的背景点之间的距离较小，在一定的阈值范围内，就认可以认为此像素点属于背景区域中的点，可以消除；当3D图像中所有属于背景区域中的点都消除之后，即可得到背景过滤之后的3D图像。
示例性地，所述进行背景过滤包括：
计算所述3D图像数据中的像素点与所述背景区域中的背景点的距离，并与背景阈值比较；
如果所述距离小于或等于所述背景阈值则确定所述像素点属于背景点，消除所述属于背景点的像素点。
其中，背景阈值用于作为判断3D图像数据中的像素点是否为背景点的标准。所述背景阈值将3D图像分成背景区域和非背景区域两个部分。当所述背景阈值的取值最佳时，背景区域和非背景区域之间的距离差别最大。例如，记所述背景阈值为TB，基于所述背景阈值TB得到的非背景区域点的数量占3D图像的比例为W1，平均距离为L1,背景区域点的数量占3D图像比例为W2，平均距离为L2,则3D图像的总平均距离为：L＝W1*L1+W2*L2；而背景区域和非背景区域之间的距离方差G可以通过方差公式计算得到，范例如下：
G＝W1*(L1-L)2+W2*(L2-L)2＝W1*W2*(L1-L2)2；
当方差G最大时，可以认为此时背景区域和非背景区域差异最大，也就是此时的背景阈值TB是最佳阈值。
可以理解的是，上述背景阈值TB的计算仅仅为最佳示例，并不代表所述背景阈值TB只能是使距离方差G最大的最佳阈值；可以根据不同的精度要求对背景阈值TB进行调整，所以对于背景阈值TB的取值在此不做限制。
对于图像采集装置捕获的图像数据(包括视频数据和非视频数据)，当基于固定的某帧图像建立背景后进行过滤时，所述建立的背景受光照变化和背景扰动等的影响较大，不适用于背景复杂及变化的环境。在实际应用中，有效的背景模型必须使得背景能够随时间重建和更新，尽量减少背景变化对后续图像处理过程的影响。
本发明实施例提供的背景过滤方法，利用多帧数据综合填充建立更密集的3D背景图像，针对空间中的几何面建立空间几何模型或采用点云拟合背景，结合深度学习进行物品识别后自动建立背景，并进行背景更新，实现完全实时的背景过滤，为后续图像处理提供良好的基础。
下面，参照图2对本发明实施例的基于3D图像的背景过滤方法进行进一步说明。如图2所示，基于3D图像的背景过滤方法包括：
1、基于所述3D场景的背景记录建立的背景区域进行背景过滤(即录制背景过滤)
对于一个3D场景，可以通过录制该3D场景的图像数据建立一个全区域的背景，包括利用录制的图像数据中多帧图像之间的像素点信息的互补，取图像数据中所有像素点的或集，得到全面的3D场景中像素点信息；进而基于该全面的3D场景中像素点信息拟合得到背景分布曲线；再根据所述背景分布曲线进行背景过滤，即通过判断待过滤的图像中的像素点是否处于所述背景分布曲线，确定是否将所述像素点消除。
示例性地，基于所述3D场景的背景记录建立的背景区域包括：
获取所述3D场景的3D背景图像数据；
根据所述3D背景图像数据中的多帧图像进行叠加得到基于所述3D场景的背景记录建立的背景模型。
示例性地，获取所述3D场景的3D背景图像数据包括：
采集所述3D场景的背景的深度图像数据；
将所述背景的深度图像数据转换为空间坐标系下的3D背景图像数据。
示例性地，所述深度图像数据包括：连续或不连续的深度图像帧。
示例性地，所述深度图像数据还包括具有2D坐标和深度值的像素点。
其中，3D图像数据与2D图像数据不同，需要根据建立的空间坐标系，计算出每个空间点的3D空间坐标，例如点P(x,y,z)。由于目前的3D图像采集装置如3D摄像头一般采用2D坐标和深度值的方式采集图像，得到深度图像数据，换算为3D空间坐标后，每帧的空间点云坐标都较为稀疏，直接用于背景记录，效果欠佳。另外，由于摄像头误差、环境光干扰，即使背景不变，每帧图像获取的具体位置也不一样。同时，每帧图像都会有一些位置获取不到深度信息，且获取不到深度信息的点并不相同。为了避免上述问题，本发明提出采用其中一种方式为多帧叠加的方式，利用多帧数据综合填充，建立更密集的3D背景区域以减少噪声。
示例性地，根据所述3D背景图像数据中的多帧图像进行叠加得到基于所述3D场景的背景记录建立的背景模型包括：获取基于所述3D背景图像数据中的所有像素点信息；根据所述所有像素点信息拟合得到基于所述3D场景的背景记录建立的背景模型。
示例性地，获取基于所述3D背景图像数据中的所有像素点信息包括：采集所述3D背景图像数据中的多帧图像的所有像素点，并去除重复的像素点，得到所述所有像素点的3D空间坐标。
示例性地，基于所述3D场景的背景记录建立的背景模型包括背景分布曲线。
其中，根据所有像素点信息拟合得到背景分布曲线可以根据所有像素点的3D空间坐标采用数据拟合方法(如最小二乘法)得到背景分布曲线；所述背景分布曲线可以是高斯分布模型。
当所述背景分布曲线是高斯分布模型时，对于判断3D图像数据中的像素点是否为背景点还可以将3D图像数据中的像素点与所述高斯分布模型进行综合比较，得出哪些点属于背景点。
在一个实施例中，参照图3A-图3C，以仓库为例对本发明实施例的录制背景过滤的方法进行具体说明。
首先，事先录制所述仓库300的背景图像，采集所述仓库背景的深度图像数据。其中，仓库背景的深度图像数据中的每个像素点具有2D坐标和深度值。
然后，将所述仓库背景的深度图像数据中的每个像素点的2D坐标和深度值转换为3D空间坐标系下的3D空间坐标(x，y，z)；并去除其中重复的点(即3D空间坐标坐标相同的点)，得到所有像素点及其3D空间坐标。
接着，根据所有像素点的3D空间坐标，采用最小二乘法将所有像素点拟合成背景分布曲线，得到所述仓库的背景模型，如图3A所示，所述仓库300包括若干储物柜310。
当有人320进入仓库时，摄像头采集当前图像,如图3B所示；基于所述背景分布曲线进行背景过滤，得到去除背景后的人的图像,如图3C所示。
2、基于所述3D场景中物体的几何特征建立的背景区域进行背景过滤(即空间几何模型过滤)
在3D图像处理的实际应用场景中，存在很多空间几何形状的物体，例如：场景中的前面，门面、桌面等空间平面。针对这些空间平面，可以建立实际平面的在3D空间中的数学模型。具体来说，可以采用人工标定的方法，在平面上标定数量足够的点，根据空间平面方程公式建立方程组，结合上述标定的点拟合出空间平面；也可以采用自动选择的方式，在实际运行中自动选择进行拟合的关键点，产生空间平面函数。
而在实际空间中，还存在大量的曲面。对于较为简单的曲面，如球面、柱面，采用人工标注或自动选择数量足够的点进行拟合，可以计算并建立空间曲面函数。对于更为复杂的空间曲面，实际运算起来计算量过大，可以采用点云拟合的方式进行点云填充，使整个复杂曲面上充满背景点云，得到空间曲面的背景区域。
因此，当物体表面属于方程可解析的结构，比如平面，规则曲面，球面，椭球面，圆锥曲面等时，采用空间几何方程如空间平面方程或空间曲面方程来建立背景区域；当物体表面属于方程不可解析的结构时，即找不到一个现成的方程式去表达它们，需要借助于点云拟合填充来建立背景区域。
理论上空间平面函数表征的是空间中无限大的平面，而实际应用中，场景中的平面都有具体的形状和大小，实际计算过程中根据人工标定或自动生成数据进一步建立平面和/或曲面具体的范围。基于所述3D场景中物体的几何特征建立的背景区域表征的是实际空间中一些固定的平面和/或曲面，在实际3D背景过滤过程中，上述建立起的平面可以做到绝对平整，而且不受光照条件的干扰，比背景采录点云更为准确，可以进一步减少图像处理中的噪声。
示例性地，基于所述3D场景中物体的几何特征建立的背景区域包括：
根据空间几何形状的数学模型和通过人工标定或自动选取的所述物体表面的关键点，拟合得到所述物体的空间几何模型。
示例性地，所述空间几何形状包括平面、曲面。
示例性地，所述空间几何形状的数学模型包括：空间几何函数。
示例性地，所述自动选取的所述物体的关键点包括：基于深度学习识别所述物体的几何形状，并自动生成所述物体表面的关键点。
示例性地，基于所述3D场景中物体的几何特征建立的背景区域包括：
获取所述3D场景中物体的点云数据；
基于所述物体的点云数据拟合填充得到所述物体的背景区域。
其中，点云数据包括利用图像采集设备采集的、对显示3D场景或者物体离散的二维图像作为基础数据，经过处理得到物体的3D数据信息(如3D空间坐标)。
示例性地，所述拟合填充的方法包括：泊松曲面重建，贪婪投影三角化，移动立方体，EarClipping，Delaunay三角剖分，或zernike多项式拟合。
当采用基于所述3D场景的背景记录建立的背景区域(多帧录制背景)和基于所述3D场景中物体的几何特征建立的背景区域两种策略组合进行背景过滤时，还可以采用如下方法进行过滤：设由多帧录制背景建立的背景区域为背景一，由几何特征建立的背景区域为背景二，背景一用高斯分布模型表示，背景二用空间几何函数表示，可以将待过滤的3D图像中的像素点与背景一的高斯分布进行比较，即可得出哪些点属于背景一的背景点，需要滤除；并计算待过滤的3D图像中的像素点与背景二中点的距离，与所述背景阈值进行比较，进而得到哪些点属于背景二的背景点，需要滤除。
在一个实施例中，以商店为例对本发明实施例的空间几何模型过滤的方法进行具体说明。
首先，当商店没有人的时候，录制所述商店的背景图像，采集所述商店背景的深度图像数据。其中，商店背景的深度图像数据中的每个像素点具有2D坐标和深度值。
然后，将所述商店背景的深度图像数据中的每个像素点的2D坐标和深度值转换为3D空间坐标系下的3D空间坐标；并去除其中重复的点，得到所有像素点及其3D空间坐标。
接着，根据所有像素点的3D空间坐标，采用最小二乘法将所有像素点拟合成背景分布曲线，得到所述商店的背景模型。
为了减少光照条件对背景建立的干扰，进一步减少图像处理中的噪声，在基于背景采录所建立的背景区域的基础上，对于商店中的墙、门等空间平面建立空间平面方程Ax+By+Cz+D＝0。采用人工标注或自动选择数量足够的点的空间坐标带入上述空间平面方程进行计算到墙、门的空间平面方程；同时由于墙、门具有一定的大小，可以通过人工标注或自动选择边界点形成约束条件(如形成边界线方程：A1x+B1y+C1z+D1＝0和A2x+B2y+C2z+D2＝0)来进一步限定所述墙、门的大小；
对于商店中复杂形态的货架，例如曲面，可以先获取货架的深度图像数据，并将其像素点坐标转化为3D空间坐标，通过Delaunay三角剖分进行点云填充，拟合得到货架的曲面背景模型。
当有人进入商店时，摄像头采集当前图像，基于所述商店的背景分布曲线、墙和门的空间平面方程以及货架的曲面模型进行背景过滤，得到去除背景后的人的图像。
3、基于所述3D场景的在一定区域内变化的物体建立的背景区域进行背景过滤(即基于空间区域的动态过滤)由于环境光照的逐渐变化，背景不是固定不变的。并且物体进入场景中并长时间停留以及背景中的物体离开场景，都会引起背景的变化。因此，必须不断地进行背景实时更新。
示例性地，基于所述3D场景的在固定区域内变化的物体建立的背景区域包括：基于所述固定区域的几何形状的数学模型和通过人工标定的所述固定区域的关键点，拟合得到所述固定区域的空间区域模型。
示例性地，所述固定区域的几何形状包括但不限于：长方体、立方体、圆柱体，多边体，球体。
其中，考虑到在3D图像处理的实际应用场景中，一些背景在一定区域内发生变化，例如风铃随风摆动、垃圾堆倒入新的垃圾。这种情况下，背景变化带来新的噪声，将会极大的影响图像处理的结果。本发明提出采用建立空间区域背景的方式，通过人工在系统中进行标注，针对这些区域建立空间区域的几何模型，完全覆盖变化区域。例如：建立一个多边形的立柱体，让摆动的风铃被罩在这个虚拟的立柱体区域。由于也是以空间几何模式的函数方式建立，对于应用系统的图像展现没有任何影响。
为了保证3D图像的背景过滤的处理效果，自动更新背景区域的时机是非常重要的，可以通过判断背景区域内部是否静止或活动对象与背景区域是否存在交叠来确定自动更新背景区域的时机。
示例性地，所述基于3D场景的背景过滤方法还包括：
当背景区域内部的点云发生变化时更新所述背景区域；或，
背景区域与其它对象存在交叠时，自动更新所述背景区域。
(1)背景区域内部的点云发生变化时：如果背景区域内部一直处于静止状态，则说明背景区域没有发生变化，不用进行更新；而如果背景区域内部的点云发生了变化，此时，为了保证背景过滤的准确性，需要对背景区域进行实时更新。而判断背景区域内部的点云是否发生变化，可以通过点云的位置或色彩的变化进行判断。
示例性地，判断所述背景区域内部的点云发生变化包括：
基于对所述背景区域的动态监测计算背景区域的差值，并判断预定时间内所述背景区域内部的点云是否静止。
示例性地，所述基于对所述背景区域的动态监测计算背景区域的差值包括：
计算所述背景区域中同一像素点在前后帧中的位置变化，和/或
将所述背景区域的2D彩色图像对应到3D空间中的相应位置，计算前后帧中RGB值的变化。
而对于位置变化或RGB值的变化，均可以从空间和时间两个维度的累积来进行判断。
从空间的维度来说，背景区域在空间上有多个像素点，每个像素点都可以计算前后帧的位置变化或RGB值变化，根据在一端时间内，将每个像素点的前后帧的位置变化或RGB值变化叠加(包括绝对值平均或平方和)即在空间区域进行叠加，进而可以得到每个像素点在一段时间内空间区域上的位置变化或RGB值变化；如果所述一段时间内空间区域上的位置变化或RGB值变化处于一定的预定范围则说明背景区域内部的点云静止，如果超出预定范围则说明背景区域内部的点云不静止，可以自动进行背景更新。
从时间的维度来说，将每一帧图像上所有像素点的位置变化或RGB值的变化叠加计算得到每一帧图像的位置变化或RGB值的变化即在时间区域进行叠加；然后在一段时间内，可以得到所有帧图像的每帧图像的位置变化或RGB值的变化；同样地，如果所述一段时间内时间区域上的位置变化或RGB值变化处于一定的预定范围则说明背景区域内部的点云静止，如果超出预定范围则说明背景区域内部的点云不静止，可以自动进行背景更新。
示例性地，判断预定时间内所述背景区域内部的点云是否静止包括：
将预定时间内的所述位置变化或RGB值的变化在空间区域叠加，得到所述背景区域的每个像素点的位置变化或RGB值的变化；和/或，
将预定时间内的所述位置变化或RGB值的变化在时间范围叠加，得到每一帧的背景区域的位置变化或RGB值的变化。
示例性地，所述叠加包括：绝对值平均或平方和。
示例性地，判断预定时间内所述背景区域内部的点云是否静止还包括：
将预定时间内所述背景区域的每个像素点的位置变化或RGB的变化与第一位置阈值或第一RGB阈值比较；和/或，
将预定时间内所述每一帧的背景区域的位置变化或RGB的变化与第二位置阈值或第二RGB阈值比较。
示例性地，判断预定时间内所述背景区域内部的点云是否静止还包括：
如果所述预定时间内所述背景区域的每个像素点的位置变化或RGB的变化小于或等于所述第一位置阈值或第一RGB阈值，则所述背景区域的内部点云静止；如果所述预定时间内所述背景区域的每个像素点的位置变化或RGB的变化超过所述第一位置阈值或第一RGB阈值，则所述背景区域的内部点云发生变化；和/或，
如果预定时间内所述每一帧的背景区域的位置变化或RGB的变化小于或等于第二位置阈值或第二RGB阈值，则所述背景区域的内部点云静止；如果预定时间内所述每一帧的背景区域的位置变化或RGB的变化超过第二位置阈值或第二RGB阈值，则所述背景区域的内部点云发生变化。
其中，所述第一位置阈值或第一RGB阈值表示在空间区域进行叠加时用于判断背景区域的内部点云是否发生变化的标准；所述第二位置阈值或第二RGB阈值表示在时间区域进行叠加时用于判断背景区域的内部点云是否发生变化的标准。可以理解的是，上述第一位置阈值、第一RGB阈值、第二位置阈值或第二RGB阈值均可以利用计算方差得到。具体包括：根据方差公式，计算背景区域的差值(即空间或时间上的位置变化或RGB的变化)与所述阈值(包括第一位置阈值、第一RGB阈值、第二位置阈值或第二RGB阈值)之间的方差；基于精度要求，计算满足所述精度要求的方差范围；进而可以计算出所述阈值的取值范围。阈值的取值可以根据不同的精度要求进行调整，所以对于阈值的取值在此不做限制。
(2)背景区域与其它对象存在交叠时：
当其他对象出现在背景区域中，可能会对背景区域进行产生影响，进而改变背景区域。这种情况同样需要进行实时的背景更新，具体可以通过判断其他对象与背景区域是否存在交叠来确定其他对象是否对背景区域产生影响。其中，交叠包括其他对象与背景区域存在重叠区域。而为了避免其它对象对背景更新带来新的噪音，选择在采集的图像中其它对象离开后进行背景更新，以保证更新的准确度和可靠性。
示例性地，所述背景区域与其它对象存在交叠包括：计算所述对象的点与所述背景区域中背景点的距离，并与距离阈值比较，如果所述距离小于或等于所述距离阈值则所述背景区域与其他对象存在交叠，如果所述距离超过所述距离阈值则所述背景区域与其他对象没有交叠。其中，所述距离阈值表示用于判断对象上的点与背景区域是否存在交叠的标准，其取值范围同样可以基于上述方差的方法得到，再次不再赘述。
示例性地，所述背景区域与其它对象存在交叠时，更新所述背景区域还包括：当所述3D实时图像数据中不存在其他对象时，更新所述背景区域。
在一个实施例中，同样以商店为例对本发明实施例的基于空间区域的动态过滤的方法进行具体说明。
首先，当商店没有人的时候，录制所述商店的背景图像，将所述商店背景的深度图像数据中的每个像素点的2D坐标和深度值转换为3D空间坐标；根据所有像素点的3D空间坐标，采用最小二乘法将所有像素点拟合成商店的背景分布曲线。
然后，基于空间平面方程对商店中的门、墙等平面建立空间平面模型；对于商店中复杂形态的货架，通过点云填充拟合得到货架的背景模型。
当有人进入商店时，摄像头采集当前图像，基于所述商店的背景分布曲线、墙和门的空间平面方程以及货架的背景模型进行背景过滤，得到去除背景后的人的图像；
在人没有离开商店之前，动态监测上述建立的所有背景区域；判断人与所述所有背景区域是否发生了交叠；如果没有发生交叠，则继续进行动态监测，如果发生了交叠，则等待人离开商店后，对发生交叠的区域进行背景区域的更新，实现了背景区域的实时更新。
4、基于对所述3D场景的深度学习建立的背景区域进行背景过滤(即基于物体识别的动态过滤)
利用深度学习自动识别3D场景中的物体，根据预定的场景要求自动筛选出需要过滤掉的物体，利用空间位置关系对物体进行3D点云填充；例如：利用深度学习识别场景中桌子、椅子，生成桌子、椅子的空间点云，并将这些桌椅作为背景滤除。这种基于深度学习进行物体识别后针对特定的类型物体建立背景区域，可以实现背景过滤的可智能识别以及动态更新的目的，进一步提高了背景过滤的实时性和准确性。
示例性地，基于对所述3D场景的深度学习建立的背景区域包括：
基于深度学习自动识别3D场景中的物体；
根据预定的场景要求自动确定背景物体，并利用空间位置关系对背景物体进行3D点云填充，得到背景点云模型。
示例性地，基于深度学习自动识别3D场景中的物体包括：获取所述物体的图像，并进行特征提取得到所述物体的特征；
将所述物体的特征输入到已经训练好的模型得到所述物体的识别结果。
其中，模型的训练包括：对训练样本进行特征提取，并将提取的所述训练样本的特征作为输入，将标注后的训练样本作为输出，训练得到所述模型。而训练样本的标注包括标注所述训练样本的类型，如桌、椅子等。
在一个实施例中，以幼儿园教室为例对本发明实施例的基于物体识别的动态过滤的方法进行具体说明。
首先，事先录制所述幼儿园教室的背景图像，将所述幼儿园教室背景的深度图像数据中的每个像素点的2D坐标和深度值转换为3D空间坐标；根据所有像素点的3D空间坐标，采用最小二乘法将所有像素点拟合成幼儿园教室的背景分布曲线。
然后，基于空间平面方程对幼儿园教室中的教室门、墙、黑板等平面建立空间平面模型；对于教室中的圆柱，通过点云填充拟合得到圆柱面的背景模型。对于教室中的桌子，基于所述桌子的图像提取特征，输入训练好的模型得到识别结果为桌子，进而自动采用空间点云进行填充，形成桌子的背景模型。
下面，在一个实施例中，以办公室这一3D场景为例，基于所述预定的过滤策略的组合，对本发明实施例提供的背景过滤方法进行说明。其中，办公室空间包括东南西北方向的4面墙，位于南面的墙上有窗户，位于北面的墙上有门，靠近西面的墙放置有书柜，书柜前方设置有办公桌椅，办公桌的旁边有一个垃圾桶，3D摄像头位于办公室的东北角的位置。
首先，实现录制所述办公室的背景图像，建立全区域的背景区域。其中，事先录制所述办公室的背景图像，尤其在没有人的情况下进行录制；基于所述录制的背景图像，将其转换为3D空间坐标系中后，去除其中重复的点，得到所有像素点及其3D空间坐标；接着，根据所有像素点的3D空间坐标，采用最小二乘法将所有像素点拟合成背景分布曲线，得到所述办公室的背景模型，建立背景区域。
其次，基于所述办公室中物体的几何特征建立背景区域。其中，办公室中存在墙面，桌面，门面等空间平面，基于空间平面函数建立这些平面的数学模型；采用人工标定或自动选择的方式，选取上述平面中的关键点，进一步限定上述平面的具体范围，拟合出办公室内墙面，桌面，门面等空间平面的背景区域。
再次，基于所述办公室中在一定区域内变化的物体建立的背景区域。其中，办公室中的垃圾桶中的垃圾量会发生变化，因此为了减少垃圾桶中的垃圾新增或减少所带来的噪声，基于空间几何函数建立一个多边形的立柱体的数学模型，人工或自动选取关键点，拟合出所述立柱体的背景区域；那么，拟合出的立柱体背景区域将所述垃圾桶完全容纳在这个虚拟的立柱体中，不管垃圾桶中的垃圾量增加或减少，都不会使背景产生变化，带来噪音，进一步提高了背景过滤的准确性。
摄像头实时采集所述办公室的深度图像数据，根据上述三种背景区域进行背景过滤。当有人进入办公室，在办公桌上新增一个长方体的盒子时，通过深度学习可以自动识别盒子的几何形状，并进行3D点云填充，建立所述盒子的背景点云模型。当人离开办公室后，所述背景自动更新，此时，所述盒子即为新增的背景区域，完成了背景的自动识别和动态更新，完全达到3D场景的实时背景过滤的目的。
参见图4，图4示出了根据本发明实施例的基于3D场景的背景过滤装置的示意性框图。如图4所示，根据本发明实施例的基于3D场景的背景过滤装置400包括：
图像获取模块410，用于获取3D场景的3D图像数据；
背景过滤模块420，用于基于所述3D图像数据和预定的背景过滤策略得到过滤背景后的3D图像数据；
其中，所述预定的背景过滤策略包括：基于所述3D场景的背景记录建立的背景区域进行背景过滤、基于所述3D场景中物体的几何特征建立的背景区域进行背景过滤、基于所述3D场景的在一定区域内变化的物体建立的背景区域进行背景过滤或基于对所述3D场景的深度学习建立的背景区域进行背景过滤中的至少一个。
示例性地，所述背景过滤模块420包括：
距离比较模块421，用于计算所述3D图像数据中的图像点与所述背景区域中的背景点的距离，并与背景阈值比较；
背景点消除模块422，用于如果所述距离小于或等于所述背景阈值则确定所述图像点属于背景点，消除所述属于背景点的图像点。
示例性地，所述背景过滤模块420还包括：
背景记录模块423，用于获取所述3D场景的3D背景图像数据；
记录模型模块424，用于根据所述3D背景图像数据中的多帧图像进行叠加得到基于所述3D场景的背景记录建立的背景模型。
示例性地，背景记录模块223还用于：
获取所述3D场景的背景的深度图像数据；
将所述背景的深度图像数据转换为空间坐标系下的3D背景图像数据。
示例性地，记录模型模块424还用于：获取基于所述3D背景图像数据中的所有像素点信息；根据所述所有像素点信息拟合得到基于所述3D场景的背景记录建立的背景模型。
示例性地，记录模型模块424还用于：获取所述3D背景图像数据中的多帧图像的所有像素点，并去除重复的像素点，得到所述所有像素点的3D空间坐标。
示例性地，基于所述3D场景的背景记录建立的背景模型包括背景分布曲线。其中，根据所有像素点信息拟合得到背景分布曲线可以根据所有像素点的3D空间坐标采用数据拟合方法(如最小二乘法)得到背景分布曲线；所述背景分布曲线可以是高斯分布模型。
示例性地，所述深度图像数据包括：连续或不连续的深度图像帧。
示例性地，所述深度图像数据还包括具有2D坐标和深度值的像素点；所述3D背景图像数据包括具体3D坐标的空间点云。
示例性地，所述背景过滤模块420还包括：
几何模型模块425，用于根据空间几何形状的数学模型和通过人工标定或自动选取的所述物体表面的关键点，拟合得到所述物体的空间几何模型。
示例性地，所述空间几何形状包括平面、曲面。
示例性地，所述空间几何形状的数学模型包括：空间几何函数。
示例性地，所述自动选取的所述物体的关键点包括：基于深度学习识别所述物体的几何形状，并自动生成所述物体表面的关键点。
示例性地，所述几何模型模块425还用于：获取所述3D场景中物体的点云数据；基于所述物体的点云数据拟合填充得到所述物体的背景区域。
示例性地，所述拟合填充的方法包括：泊松曲面重建，贪婪投影三角化，移动立方体，EarClipping，Delaunay三角剖分，或zernike多项式拟合。
示例性地，所述背景过滤模块420还包括：
空间区域模型426，用于基于所述区域几何形状的数学模型和通过人工标定的所述区域的关键点，拟合得到所述区域的空间区域模型。
示例性地，所述区域几何形状包括但不限于：长方体、立方体、圆柱体、多边体、或球体。
示例性地，所述背景过滤模块420还包括：
物体识别模块427，用于基于深度学习自动识别3D场景中的物体；
背景点云模块428，用于根据预定的场景要求自动确定背景物体，并利用空间位置关系对背景物体进行3D点云填充，得到背景点云模型。
示例性地，所述背景过滤装置400还包括：
背景更新模块430，用于当所述背景区域内部的点云发生变化时更新所述背景区域；或，
所述背景区域与其它对象存在交叠时，更新所述背景区域。
示例性地，所述背景区域内部的点云发生变化包括：
基于对所述背景区域的动态监测计算背景区域的差值，并判断预定时间内所述背景区域内部的点云是否静止。
示例性地，所述基于对所述背景区域的动态监测计算背景区域的差值包括：
计算所述背景区域中同一像素在前后帧中的位置变化；和/或,
将所述背景区域的2D彩色图像对应到3D空间中的相应位置，计算前后帧中RGB值的变化。
示例性地，判断预定时间内所述背景区域内部的点云是否静止包括：将预定时间内的所述位置变化或RGB值的变化在空间区域叠加，得到所述背景区域的每个像素点的位置变化或RGB值的变化；和/或，
将预定时间内的所述位置变化或RGB值的变化在时间范围叠加，得到每一帧的背景区域的位置变化或RGB值的变化。
示例性地，所述叠加包括：绝对值平均或平方和。
示例性地，判断预定时间内所述背景区域内部的点云是否静止还包括：
将预定时间内所述背景区域的每个像素点的位置变化或RGB值的变化与第一位置阈值或第一RGB阈值比较；和/或，
将预定时间内所述每一帧的背景区域的位置变化或RGB值的变化与第二位置阈值或第二RGB阈值比较。
示例性地，判断预定时间内所述背景区域内部的点云是否静止还包括：
如果所述预定时间内所述背景区域的每个像素点的位置变化或RGB值的变化小于或等于所述第一位置阈值或第一RGB阈值，则所述背景区域的内部点云静止；如果所述预定时间内所述背景区域的每个像素点的位置变化或RGB值的变化超过所述第一位置阈值或第一RGB阈值，则所述背景区域的内部点云发生变化；和/或，
如果预定时间内所述每一帧的背景区域的位置变化或RGB值的变化小于或等于第二位置阈值或第二RGB阈值，则所述背景区域的内部点云静止；如果预定时间内所述每一帧的背景区域的位置变化或RGB值的变化超过第二位置阈值或第二RGB阈值，则所述背景区域的内部点云发生变化。
示例性地，所述背景区域与其它对象存在交叠时，更新所述背景区域还包括：当所述3D实时图像数据中不存在其他对象时，更新所述背景区域。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
根据本发明实施例，还提供了一种基于3D图像的背景过滤系统，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于3D图像的背景过滤方法的步骤。
此外，根据本发明实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的基于3D场景的背景过滤方法的相应步骤，并且用于实现根据本发明实施例的基于3D场景的背景过滤装置中的相应模块。所述存储介质可以是一个或多个计算机可读存储介质的任意组合，例如一个计算机可读存储介质包含用于随机地生成动作指令序列的计算机可读的程序代码，另一个计算机可读存储介质包含用于进行基于3D场景的背景过滤的计算机可读的程序代码。
在一个实施例中，所述计算机程序指令在被计算机运行时可以实现根据本发明实施例的基于3D场景的背景过滤装置的各个功能模块，并且/或者可以执行根据本发明实施例的基于3D场景的背景过滤方法。
根据本发明实施例的基于3D场景的背景过滤方法及装置、系统以及存储介质，利用多帧数据综合填充建立更密集的3D背景图像，针对空间中的几何面建立空间几何模型或采用点云拟合背景，结合深度学习进行物品识别后自动建立背景，并进行背景更新，实现完全实时的背景过滤，为后续图像处理提供良好的基础。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。单词第一、第二、以及第三等的使用不表示任何顺序。
以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。
Claims (19)
1.一种基于3D场景的背景过滤方法，其特征在于，所述方法包括：获取3D场景的3D图像数据；
基于所述3D图像数据和预定的背景过滤策略得到过滤背景后的3D图像数据；
其中，所述预定的背景过滤策略包括：1)基于所述3D场景的背景记录建立的背景区域进行背景过滤、2)基于所述3D场景中物体的几何特征建立的背景区域进行背景过滤、3)基于所述3D场景的在一定区域内变化的物体建立的背景区域进行背景过滤、4)基于对所述3D场景的深度学习建立的背景区域进行背景过滤中的至少一个。
2.如权利要求1所述的背景过滤方法，其特征在于，所述进行背景过滤包括：
计算所述3D图像数据中的像素点与所述背景区域中的背景点的距离，并与背景阈值比较；
如果所述距离小于或等于所述背景阈值则确定所述像素点属于背景点，消除所述属于背景点的像素点。
3.如权利要求1所述的背景过滤方法，其特征在于，基于所述3D场景的背景记录建立的背景区域包括：
获取所述3D场景的3D背景图像数据；
根据所述3D背景图像数据中的多帧图像进行叠加得到基于所述3D场景的背景记录建立的背景模型。
4.如权利要求3所述的背景过滤方法，其特征在于，根据所述3D背景图像数据中的多帧图像进行叠加包括：获取基于所述3D背景图像数据中的所有像素点信息；根据所述所有像素点信息拟合得到基于所述3D场景的背景记录建立的背景模型。
5.如权利要求1所述的背景过滤方法，其特征在于，基于所述3D场景中物体的几何特征建立的背景区域包括：
根据空间几何形状的数学模型和通过人工标定或自动选取的所述物体表面的关键点，拟合得到所述物体的空间几何模型。
6.如权利要求1所述的背景过滤方法，其特征在于，基于所述3D场景中物体的几何特征建立的背景区域包括：
采用点云拟合的方式进行点云填充，使物体的空间几何面上充满背景点云，得到所述空间几何面的背景区域。
7.如权利要求1所述的背景过滤方法，其特征在于，基于所述3D场景的在固定区域内变化的物体建立的背景区域包括：
基于所述固定区域的几何形状的数学模型和通过人工标定的所述固定区域的关键点，拟合得到所述固定区域的空间区域模型。
8.如权利要求1所述的背景过滤方法，其特征在于，基于对所述3D场景的深度学习建立的背景区域包括：
基于深度学习自动识别3D场景中的物体；
根据预定的场景要求自动确定背景物体，并利用空间位置关系对背景物体进行3D点云填充，得到背景点云模型。
9.如权利要求1所述的背景过滤方法，其特征在于，所述基于3D场景的背景过滤方法还包括：
当背景区域内部的点云发生变化时更新所述背景区域；或，
背景区域与其它对象存在交叠时，自动更新所述背景区域。
10.如权利要求9所述的背景过滤方法，其特征在于，所述背景区域内部的点云发生变化包括：
基于对所述背景区域的动态监测计算背景区域的差值，并判断预定时间内所述背景区域内部的点云是否静止。
11.如权利要求10所述的背景过滤方法，其特征在于，所述基于对所述背景区域的动态监测计算背景区域的差值包括：
计算所述背景区域中同一像素在前后帧中的位置变化和/或,
将所述背景区域的2D彩色图像对应到3D空间中的相应位置，计算前后帧中RGB的变化。
12.如权利要求11所述的背景过滤方法，其特征在于，判断预定时间内所述背景区域内部的点云是否静止包括：
将预定时间内的所述位置变化或RGB值的变化在空间区域叠加，得到所述背景区域的每个像素点的位置变化或RGB值的变化；和/或，
将预定时间内的所述位置变化或RGB值的变化在时间范围叠加，得到每一帧的背景区域的位置变化或RGB值的变化。
13.如权利要求12所述的背景过滤方法，其特征在于，判断预定时间内所述背景区域内部的点云是否静止还包括：
将预定时间内所述背景区域的每个像素点的位置变化或RGB值的变化与第一位置阈值或第一RGB阈值比较；和/或，
将预定时间内所述每一帧的背景区域的位置变化或RGB值的变化与第二位置阈值或第二RGB阈值比较。
14.如权利要求13所述的背景过滤方法，其特征在于，判断预定时间内所述背景区域内部的点云是否静止还包括：
如果所述预定时间内所述背景区域的每个像素点的位置变化或RGB值的变化小于或等于所述第一位置阈值或第一RGB阈值，则所述背景区域的内部点云静止；如果所述预定时间内所述背景区域的每个像素点的位置变化或RGB值的变化超过所述第一位置阈值或第一RGB阈值，则所述背景区域的内部点云发生变化；和/或，
如果预定时间内所述每一帧的背景区域的位置变化或RGB值的变化小于或等于第二位置阈值或第二RGB阈值，则所述背景区域的内部点云静止；如果预定时间内所述每一帧的背景区域的位置变化或RGB值的变化超过第二位置阈值或第二RGB阈值，则所述背景区域的内部点云发生变化。
15.如权利要求9所述的背景过滤方法，其特征在于，所述背景区域与其它对象存在交叠包括：计算所述对象的点与所述背景区域中背景点的距离，并与距离阈值比较，如果所述距离小于或等于所述距离阈值则所述背景区域与其他对象存在交叠，如果所述距离超过所述距离阈值则所述背景区域与其他对象没有交叠。
16.如权利要求9所述的背景过滤方法，其特征在于，所述背景区域与其它对象存在交叠时，更新所述背景区域还包括：当所述3D实时图像数据中不存在其他对象时，更新所述背景区域。
17.一种基于3D场景的背景过滤装置，其特征在于，所述背景过滤装置包括：
图像获取模块，用于获取3D场景的3D图像数据；
背景过滤模块，用于基于所述3D图像数据和预定的背景过滤策略得到过滤背景后的3D图像数据；
其中，所述预定的背景过滤策略包括：1)基于所述3D场景的背景记录建立的背景区域进行背景过滤、2)基于所述3D场景中物体的几何特征建立的背景区域进行背景过滤、3)基于所述3D场景的在一定区域内变化的物体建立的背景区域进行背景过滤、4)基于对所述3D场景的深度学习建立的背景区域进行背景过滤中的至少一个。
18.一种基于3D场景的背景过滤系统，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至16中任一项所述方法的步骤。
19.一种计算机存储介质，其上存储有计算机程序，所述计算机程序被计算机执行时实现权利要求1至16中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811623903.XA CN111383340B (zh) | 2018-12-28 | 2018-12-28 | 一种基于3d图像的背景过滤方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811623903.XA CN111383340B (zh) | 2018-12-28 | 2018-12-28 | 一种基于3d图像的背景过滤方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111383340A true CN111383340A (zh) | 2020-07-07 |
| CN111383340B CN111383340B (zh) | 2023-10-17 |
Family
ID=71217959
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811623903.XA Active CN111383340B (zh) | 2018-12-28 | 2018-12-28 | 一种基于3d图像的背景过滤方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111383340B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113593008A (zh) * | 2021-07-06 | 2021-11-02 | 四川大学 | 复杂场景下真3d图像显著重建方法 |
Citations (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11136703A (ja) * | 1997-10-31 | 1999-05-21 | Terumo Corp | 画像抽出装置およびこれを用いた画像表示装置 |
| US20030011622A1 (en) * | 2001-07-12 | 2003-01-16 | Yosef Yomdin | Method and apparatus for image representation by geometric and brightness modeling |
| DE102007048857A1 (de) * | 2007-10-11 | 2009-04-16 | Robert Bosch Gmbh | Verfahren zur Erzeugung und/oder Aktualisierung von Texturen von Hintergrundobjektmodellen, Videoüberwachungssystem zur Durchführung des Verfahrens sowie Computerprogramm |
| CN101894388A (zh) * | 2010-06-21 | 2010-11-24 | 重庆大学 | 虚拟植物生长的展示方法 |
| CN101916448A (zh) * | 2010-08-09 | 2010-12-15 | 云南清眸科技有限公司 | 一种基于贝叶斯框架及lbp的运动目标检测方法 |
| WO2012153513A1 (ja) * | 2011-05-12 | 2012-11-15 | パナソニック株式会社 | 画像生成装置、及び画像生成方法 |
| US20130147826A1 (en) * | 2011-12-12 | 2013-06-13 | Mathew Lamb | Display of shadows via see-through display |
| US20130158965A1 (en) * | 2011-12-14 | 2013-06-20 | Christopher V. Beckman | Physics Engine Systems Using "Force Shadowing" For Forces At A Distance |
| CN103428409A (zh) * | 2012-05-15 | 2013-12-04 | 深圳中兴力维技术有限公司 | 一种基于固定场景的视频降噪处理方法及装置 |
| CN104036483A (zh) * | 2013-03-06 | 2014-09-10 | 北京三星通信技术研究有限公司 | 图像处理系统和图像处理方法 |
| CN104424466A (zh) * | 2013-08-21 | 2015-03-18 | 佳能株式会社 | 对象检测方法、对象检测设备及图像拾取设备 |
| EP2933779A1 (en) * | 2014-04-15 | 2015-10-21 | Alcatel Lucent | Capturing an environment with objects |
| CN105005992A (zh) * | 2015-07-07 | 2015-10-28 | 南京华捷艾米软件科技有限公司 | 一种基于深度图的背景建模和前景提取的方法 |
| CN105374043A (zh) * | 2015-12-02 | 2016-03-02 | 福州华鹰重工机械有限公司 | 视觉里程计背景过滤方法及装置 |
| CN105678748A (zh) * | 2015-12-30 | 2016-06-15 | 清华大学 | 三维监控系统中基于三维重构的交互式标定方法和装置 |
| CN106034222A (zh) * | 2015-03-16 | 2016-10-19 | 深圳市贝尔信智能系统有限公司 | 一种立体式捕捉物体的方法、装置以及系统 |
| CN106157373A (zh) * | 2016-07-27 | 2016-11-23 | 中测高科（北京）测绘工程技术有限责任公司 | 一种建筑物三维模型构建方法及系统 |
| CN106203381A (zh) * | 2016-07-20 | 2016-12-07 | 北京奇虎科技有限公司 | 一种行车中障碍物检测方法与装置 |
| CN106384106A (zh) * | 2016-10-24 | 2017-02-08 | 杭州非白三维科技有限公司 | 一种基于三维扫描的反欺诈人脸识别系统 |
| CN106780548A (zh) * | 2016-11-16 | 2017-05-31 | 南宁市浩发科技有限公司 | 基于交通视频的运动车辆检测方法 |
| CN106803286A (zh) * | 2017-01-17 | 2017-06-06 | 湖南优象科技有限公司 | 基于多视点图像的虚实遮挡实时处理方法 |
| CN106887043A (zh) * | 2017-03-08 | 2017-06-23 | 景致三维（江苏）股份有限公司 | 三维建模外点去除的方法、装置及三维建模的方法 |
| CN106971395A (zh) * | 2017-03-08 | 2017-07-21 | 浙江大学 | 一种基于点云平均背景差的三维声纳图像建模方法 |
| CN107066378A (zh) * | 2017-01-24 | 2017-08-18 | 成都皓图智能科技有限责任公司 | 一种实时在线gpu通用计算模拟及调试方法 |
| CN107133966A (zh) * | 2017-03-30 | 2017-09-05 | 浙江大学 | 一种基于采样一致性算法的三维声纳图像背景分割方法 |
| CN107145821A (zh) * | 2017-03-23 | 2017-09-08 | 华南农业大学 | 一种基于深度学习的人群密度检测方法和系统 |
| CN107622511A (zh) * | 2017-09-11 | 2018-01-23 | 广东欧珀移动通信有限公司 | 图像处理方法和装置、电子装置和计算机可读存储介质 |
| CN107734266A (zh) * | 2017-09-11 | 2018-02-23 | 广东欧珀移动通信有限公司 | 图像处理方法和装置、电子装置和计算机可读存储介质 |
| CN107748824A (zh) * | 2017-11-06 | 2018-03-02 | 中国铁路设计集团有限公司 | 一种基于bim技术的混凝土框构桥设计方法 |
| CN108734772A (zh) * | 2018-05-18 | 2018-11-02 | 宁波古德软件技术有限公司 | 基于Kinect fusion的高精度深度图像获取方法 |
| CN108921937A (zh) * | 2018-06-27 | 2018-11-30 | 北京中科知识工程技术研究院 | 一种手机拍照自动识别图片抠图方法 |
| US20180357472A1 (en) * | 2017-06-07 | 2018-12-13 | David Scott Dreessen | Systems and methods for creating target motion, capturing motion, analyzing motion, and improving motion |
-
2018
- 2018-12-28 CN CN201811623903.XA patent/CN111383340B/zh active Active
Patent Citations (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11136703A (ja) * | 1997-10-31 | 1999-05-21 | Terumo Corp | 画像抽出装置およびこれを用いた画像表示装置 |
| US20030011622A1 (en) * | 2001-07-12 | 2003-01-16 | Yosef Yomdin | Method and apparatus for image representation by geometric and brightness modeling |
| DE102007048857A1 (de) * | 2007-10-11 | 2009-04-16 | Robert Bosch Gmbh | Verfahren zur Erzeugung und/oder Aktualisierung von Texturen von Hintergrundobjektmodellen, Videoüberwachungssystem zur Durchführung des Verfahrens sowie Computerprogramm |
| CN101999139A (zh) * | 2007-10-11 | 2011-03-30 | 罗伯特·博世有限公司 | 用于产生和/或更新背景对象模型的纹理的方法、用于实施所述方法的视频监视系统以及计算机程序 |
| CN101894388A (zh) * | 2010-06-21 | 2010-11-24 | 重庆大学 | 虚拟植物生长的展示方法 |
| CN101916448A (zh) * | 2010-08-09 | 2010-12-15 | 云南清眸科技有限公司 | 一种基于贝叶斯框架及lbp的运动目标检测方法 |
| WO2012153513A1 (ja) * | 2011-05-12 | 2012-11-15 | パナソニック株式会社 | 画像生成装置、及び画像生成方法 |
| US20130147826A1 (en) * | 2011-12-12 | 2013-06-13 | Mathew Lamb | Display of shadows via see-through display |
| US20130158965A1 (en) * | 2011-12-14 | 2013-06-20 | Christopher V. Beckman | Physics Engine Systems Using "Force Shadowing" For Forces At A Distance |
| CN103428409A (zh) * | 2012-05-15 | 2013-12-04 | 深圳中兴力维技术有限公司 | 一种基于固定场景的视频降噪处理方法及装置 |
| CN104036483A (zh) * | 2013-03-06 | 2014-09-10 | 北京三星通信技术研究有限公司 | 图像处理系统和图像处理方法 |
| CN104424466A (zh) * | 2013-08-21 | 2015-03-18 | 佳能株式会社 | 对象检测方法、对象检测设备及图像拾取设备 |
| EP2933779A1 (en) * | 2014-04-15 | 2015-10-21 | Alcatel Lucent | Capturing an environment with objects |
| CN106034222A (zh) * | 2015-03-16 | 2016-10-19 | 深圳市贝尔信智能系统有限公司 | 一种立体式捕捉物体的方法、装置以及系统 |
| CN105005992A (zh) * | 2015-07-07 | 2015-10-28 | 南京华捷艾米软件科技有限公司 | 一种基于深度图的背景建模和前景提取的方法 |
| CN105374043A (zh) * | 2015-12-02 | 2016-03-02 | 福州华鹰重工机械有限公司 | 视觉里程计背景过滤方法及装置 |
| CN105678748A (zh) * | 2015-12-30 | 2016-06-15 | 清华大学 | 三维监控系统中基于三维重构的交互式标定方法和装置 |
| CN106203381A (zh) * | 2016-07-20 | 2016-12-07 | 北京奇虎科技有限公司 | 一种行车中障碍物检测方法与装置 |
| CN106157373A (zh) * | 2016-07-27 | 2016-11-23 | 中测高科（北京）测绘工程技术有限责任公司 | 一种建筑物三维模型构建方法及系统 |
| CN106384106A (zh) * | 2016-10-24 | 2017-02-08 | 杭州非白三维科技有限公司 | 一种基于三维扫描的反欺诈人脸识别系统 |
| CN106780548A (zh) * | 2016-11-16 | 2017-05-31 | 南宁市浩发科技有限公司 | 基于交通视频的运动车辆检测方法 |
| CN106803286A (zh) * | 2017-01-17 | 2017-06-06 | 湖南优象科技有限公司 | 基于多视点图像的虚实遮挡实时处理方法 |
| CN107066378A (zh) * | 2017-01-24 | 2017-08-18 | 成都皓图智能科技有限责任公司 | 一种实时在线gpu通用计算模拟及调试方法 |
| CN106887043A (zh) * | 2017-03-08 | 2017-06-23 | 景致三维（江苏）股份有限公司 | 三维建模外点去除的方法、装置及三维建模的方法 |
| CN106971395A (zh) * | 2017-03-08 | 2017-07-21 | 浙江大学 | 一种基于点云平均背景差的三维声纳图像建模方法 |
| CN107145821A (zh) * | 2017-03-23 | 2017-09-08 | 华南农业大学 | 一种基于深度学习的人群密度检测方法和系统 |
| CN107133966A (zh) * | 2017-03-30 | 2017-09-05 | 浙江大学 | 一种基于采样一致性算法的三维声纳图像背景分割方法 |
| US20180357472A1 (en) * | 2017-06-07 | 2018-12-13 | David Scott Dreessen | Systems and methods for creating target motion, capturing motion, analyzing motion, and improving motion |
| CN107622511A (zh) * | 2017-09-11 | 2018-01-23 | 广东欧珀移动通信有限公司 | 图像处理方法和装置、电子装置和计算机可读存储介质 |
| CN107734266A (zh) * | 2017-09-11 | 2018-02-23 | 广东欧珀移动通信有限公司 | 图像处理方法和装置、电子装置和计算机可读存储介质 |
| CN107748824A (zh) * | 2017-11-06 | 2018-03-02 | 中国铁路设计集团有限公司 | 一种基于bim技术的混凝土框构桥设计方法 |
| CN108734772A (zh) * | 2018-05-18 | 2018-11-02 | 宁波古德软件技术有限公司 | 基于Kinect fusion的高精度深度图像获取方法 |
| CN108921937A (zh) * | 2018-06-27 | 2018-11-30 | 北京中科知识工程技术研究院 | 一种手机拍照自动识别图片抠图方法 |
Non-Patent Citations (2)
| Title |
|---|
| 常兴治;高立群;: "实景图像的形态学角检测研究", no. 11 * |
| 许巧莉;胡贞;: "均值偏移滤波算法在活体细胞图像背景去除中的应用", no. 05 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113593008A (zh) * | 2021-07-06 | 2021-11-02 | 四川大学 | 复杂场景下真3d图像显著重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111383340B (zh) | 2023-10-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110264416B (zh) | 稀疏点云分割方法及装置 | |
| CN110998659B (zh) | 图像处理系统、图像处理方法、及程序 | |
| CN102834845B (zh) | 用于多摄像装置校准的方法与装置 | |
| Bostanci et al. | Augmented reality applications for cultural heritage using Kinect | |
| US20200050904A1 (en) | System and method for relocalization and scene recognition | |
| US10163256B2 (en) | Method and system for generating a three-dimensional model | |
| CN108701376A (zh) | 三维图像的基于识别的对象分割 | |
| CN109298629A (zh) | 用于为自主和非自主位置意识提供鲁棒跟踪的容错 | |
| CN103971399A (zh) | 街景图像过渡方法和装置 | |
| US20170213396A1 (en) | Virtual changes to a real object | |
| JP6352208B2 (ja) | 三次元モデル処理装置およびカメラ校正システム | |
| CN109816745A (zh) | 人体热力图展示方法及相关产品 | |
| CN111080776B (zh) | 人体动作三维数据采集和复现的处理方法及系统 | |
| CN109934873B (zh) | 标注图像获取方法、装置及设备 | |
| CN107403451B (zh) | 自适应二值特征单目视觉里程计方法及计算机、机器人 | |
| CN106022266A (zh) | 一种目标跟踪方法及装置 | |
| CN106295657A (zh) | 一种视频数据结构化过程中提取人体高度特征的方法 | |
| Osman Ulusoy et al. | Dynamic probabilistic volumetric models | |
| CN106264537A (zh) | 图像中人体姿态高度的测量系统及方法 | |
| CN114298982A (zh) | 图像标注方法、装置、计算机设备和存储介质 | |
| US11816854B2 (en) | Image processing apparatus and image processing method | |
| CN111383340B (zh) | 一种基于3d图像的背景过滤方法、装置及系统 | |
| US10748331B2 (en) | 3D lighting | |
| CN115393538A (zh) | 基于深度学习的室内动态场景的视觉slam方法及系统 | |
| CN109035306A (zh) | 动目标自动检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |