CN110111341B - 图像前景获取方法、装置及设备 - Google Patents

图像前景获取方法、装置及设备 Download PDF

Info

Publication number
CN110111341B
CN110111341B CN201910359072.8A CN201910359072A CN110111341B CN 110111341 B CN110111341 B CN 110111341B CN 201910359072 A CN201910359072 A CN 201910359072A CN 110111341 B CN110111341 B CN 110111341B
Authority
CN
China
Prior art keywords
image
rgb
foreground
learning rate
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910359072.8A
Other languages
English (en)
Other versions
CN110111341A (zh
Inventor
杨洪天
亢乐
陈明裕
张成月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910359072.8A priority Critical patent/CN110111341B/zh
Publication of CN110111341A publication Critical patent/CN110111341A/zh
Application granted granted Critical
Publication of CN110111341B publication Critical patent/CN110111341B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种图像前景获取方法、装置及设备,其中,方法包括:获取待检测图像的RGB图像和深度图像,根据RGB图像和深度图像确定待检测图像中各像素点的描述参数;将描述参数与预先建立的背景模型进行匹配,并根据匹配结果不一致的描述参数对应的像素点确定待检测图像的前景区域,其中,背景模型是根据N帧初始图像的RGB图像和深度图像训练得到的。由此,根据图像的RGB和深度数据分割出图像的前景区域,克服了背景颜色和前景颜色相同时无法准确检测前景的缺陷,提高了图像前景检测的准确性。

Description

图像前景获取方法、装置及设备
技术领域
本发明涉及图像处理技术领域,尤其涉及一种图像前景获取方法、装置及设备。
背景技术
对于很多视觉检测场景,视觉检测算法一般只关注图像内容发生变化的那一部分图像区域,即图像的前景,从而使图像检测算法不需要处理图像背景的冗余信息,提高处理效率,并且简化了算法复杂度。背景差分法作为一种检测图像前景的方法,通过采用图像序列中的当前帧与背景参考模型比较进行前景检测,其检测前景的性能依赖于所使用的背景建模技术。
相关技术中,通过图像的RGB颜色信息对背景建立混合高斯模型,然而,该方案在背景颜色和前景颜色相同时无法准确检测出前景,准确率有待提高。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的第一个目的在于提出一种图像前景获取方法,通过图像的RGB和深度数据分割出图像的前景区域,克服了背景颜色和前景颜色相同时无法准确检测前景的缺陷,提高了准确性。
本发明的第二个目的在于提出一种图像前景获取装置。
本发明的第三个目的在于提出一种计算机设备。
本发明的第四个目的在于提出一种计算机可读存储介质。
本发明第一方面实施例提出了一种图像前景获取方法,包括:
获取待检测图像的RGB图像和深度图像,根据所述RGB图像和所述深度图像确定所述待检测图像中各像素点的描述参数;
将所述描述参数与预先建立的背景模型进行匹配,并根据匹配结果不一致的描述参数对应的像素点确定所述待检测图像的前景区域,其中,所述背景模型是根据N帧初始图像的RGB图像和深度图像训练得到的。
本发明实施例的图像前景获取方法,通过获取待检测图像的RGB图像和深度图像,根据RGB图像和深度图像确定待检测图像中各像素点的描述参数。进而,根据N帧初始图像的RGB图像和深度图像训练得到的的背景模型,与描述参数进行匹配,根据匹配结果不一致的描述参数对应的像素点确定待检测图像的前景区域。由此,在获取图像前景时综合考虑了背景的RGB和深度信息,克服了背景颜色和前景颜色相同时无法准确检测前景的缺陷,能够提高图像前景与背景分割的准确性,从而实现了准确的确定出待检测图像中的前景区域。
另外,根据本发明上述实施例的图像前景获取方法还可以具有如下附加技术特征:
可选地,所述获取待检测图像的RGB图像和深度图像包括:通过双目摄像头拍摄第一RGB图像和第二RGB图像;以所述第一RGB图像为基准进行标定,计算出从二维图像像素点到三维世界坐标的变换关系;根据所述变换关系、各像素点在所述第一图像和所述第二图像中的视差计算所述各像素点的深度值,根据所述深度值和所述第一RGB图像确定所述待检测图像的RGB图像和深度图像。
可选地,所述将所述描述参数与预先建立的背景模型进行匹配包括:根据当前检测环境的环境参数更新所述背景模型;将所述描述参数与更新后的背景模型进行匹配。
可选地,所述根据当前检测环境的环境参数更新所述背景模型包括:获取预设时间内光照强度的变化率,并根据所述光照强度的变化率调整学习率,其中,所述光照强度的变化率与所述学习率成正比;根据调整后的学习率更新所述背景模型。
可选地,所述根据当前检测环境的环境参数更新所述背景模型包括:获取预设时间内色温的变化率,并根据所述色温的变化率调整学习率,其中,所述色温的变化率与所述学习率成正比;根据调整后的学习率更新所述背景模型。
本发明第二方面实施例提出了一种图像前景获取装置,包括:
获取模块,用于获取待检测图像的RGB图像和深度图像,根据所述RGB图像和所述深度图像确定所述待检测图像中各像素点的描述参数;
处理模块,用于将所述描述参数与预先建立的背景模型进行匹配,并根据匹配结果不一致的描述参数对应的像素点确定所述待检测图像的前景区域,其中,所述背景模型是根据N帧初始图像的RGB图像和深度图像训练得到的。
本发明实施例的图像前景获取装置,在获取图像前景时综合考虑了背景的RGB和深度信息,克服了背景颜色和前景颜色相同时无法准确检测前景的缺陷,能够提高图像前景与背景分割的准确性,从而实现了准确的确定出待检测图像中的前景区域。
另外,根据本发明上述实施例的图像前景获取装置还可以具有如下附加技术特征:
可选地,所述获取模块具体用于:通过双目摄像头拍摄第一RGB图像和第二RGB图像;以所述第一RGB图像为基准进行标定,计算出从二维图像像素点到三维世界坐标的变换关系;根据所述变换关系、各像素点在所述第一图像和所述第二图像中的视差计算所述各像素点的深度值,根据所述深度值和所述第一RGB图像确定所述待检测图像的RGB图像和深度图像。
可选地,所述处理模块包括:更新单元,用于根据当前检测环境的环境参数更新所述背景模型;匹配单元,用于将所述描述参数与更新后的背景模型进行匹配。
可选地,所述更新单元具体用于:获取预设时间内光照强度的变化率,并根据所述光照强度的变化率调整学习率,其中,所述光照强度的变化率与所述学习率成正比;根据调整后的学习率更新所述背景模型。
可选地,所述更新单元具体用于:获取预设时间内色温的变化率,并根据所述色温的变化率调整学习率,其中,所述色温的变化率与所述学习率成正比;根据调整后的学习率更新所述背景模型。
本发明第三方面实施例提出了一种计算机设备,包括处理器和存储器;其中,所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于实现如第一方面实施例所述的图像前景获取方法。
本发明第四方面实施例提出了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面实施例所述的图像前景获取方法。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
图1为本发明实施例所提供的一种图像前景获取方法的流程示意图;
图2为本发明实施例所提供的另一种图像前景获取方法的流程示意图;
图3为本发明实施例所提供的一种图像前景获取装置的结构示意图;
图4为本发明实施例所提供的另一种图像前景获取装置的结构示意图;
图5示出了适于用来实现本发明实施例的示例性计算机设备的框图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的图像前景获取方法、装置及设备。
图1为本发明实施例所提供的一种图像前景获取方法的流程示意图,如图1所示,该方法包括:
步骤101,获取待检测图像的RGB图像和深度图像,根据RGB图像和深度图像确定待检测图像中各像素点的描述参数。
本发明实施例中,可以在检测场景中设置图像采集装置,并通过图像采集装置采集待检测图像的RGB(一种色彩模式)图像和深度图像。
在本发明的一个实施例中,可以通过双目摄像头拍摄第一RGB图像和第二RGB图像,进而,以第一RGB图像为基准进行标定,计算出从二维图像像素点到三维世界坐标的变换关系。进一步,根据变换关系、各像素点在第一图像和第二图像中的视差计算各像素点的深度值,根据深度值和第一RGB图像确定待检测图像的RGB图像和深度图像。
作为一种示例,可以在某一时刻通过双目摄像头拍摄左RGB图像和右RGB图像,以左RGB图像侧为基准进行相机标定,通过标定计算出从二维图像像素点到三维世界坐标的变换关系,以实现左右图像的校正,其中,该变换关系可以为变换矩阵的形式。进而,从左右图像中选取相同的一个像素点,比如拍摄物体的图像,选取物体同一部位在左右图像中对应的像素点,并根据像素点在各自图像中的位置确定该部位在左右图像中的视差。进一步,根据变换关系和视差计算出对应像素点的坐标xyz,其中,z为深度值,由于本示例中是基于左侧进行标定的,因此可以根据左RGB图像与计算出的各像素点的深度值,作为待检测图像的RGB图像和深度图像。
需要说明的是,上述确定待检测图像的RGB图像和深度图像的实现方式仅为一种示例,例如也可以以右侧为基准进行相机标定,此处不作限制。
本发明实施例中,可以将获取到的待检测图像的RGB图像和量化为8bit的深度图像合并为一张RGBD四通道图像,该图像中各像素点可以通过RGB数据和深度数据描述,从而可以进一步根据各像素点的RGB数据和深度数据确定各像素点为背景或前景。
步骤102,将描述参数与预先建立的背景模型进行匹配,并根据匹配结果不一致的描述参数对应的像素点确定待检测图像的前景区域,其中,背景模型是根据N帧初始图像的RGB图像和深度图像训练得到的。
在本发明的一个实施例中,可以预先根据N帧初始图像的RGB图像和深度图像训练背景模型,其中,N为正整数,初始图像为包括背景的图像。
本发明实施例中,在获取待检测图像中各像素点的RGB和深度数据之后,对于每一个像素点,可以将该像素点的RGB和深度数据与预先建立的背景模型进行匹配,若匹配结果一致则确定该像素点为背景,若匹配结果不一致则确定该像素点为前景。由于背景模型同时考虑了背景的RGB和深度信息,克服了背景颜色和前景颜色相同时无法准确检测前景的缺陷,能够提高图像前景与背景分割的准确性。由此,能够根据各像素点的RGB和深度数据,以及背景模型确定待检测图像中为前景的像素点,从而准确的确定出待检测图像中的前景区域。
作为一种示例,可以基于GMM高斯混合模型训练背景模型。具体地,通过采集N帧初始图像的RGB图像和深度图像,确定N帧图像中各像素点的RGB数据和深度数据。进而根据RGB和深度数据通过最大期望算法计算出混合高斯模型中的参数,从而将每个像素点的特征通过多个单模型表示。进而,根据待检测图像中各像素点的RGB和深度数据,以及背景模型中各单模型的参数确定像素点是否符合背景模型,若符合则判断该像素点为背景,若不符合则判断像素点为前景。进一步,根据待检测图像中判断为前景的像素点确定前景区域。
本发明实施例的图像前景获取方法,通过获取待检测图像的RGB图像和深度图像,根据RGB图像和深度图像确定待检测图像中各像素点的描述参数。进而,根据N帧初始图像的RGB图像和深度图像训练得到的的背景模型,与描述参数进行匹配,根据匹配结果不一致的描述参数对应的像素点确定待检测图像的前景区域。由此,在获取图像前景时综合考虑了背景的RGB和深度信息,克服了背景颜色和前景颜色相同时无法准确检测前景的缺陷,能够提高图像前景与背景分割的准确性,从而实现了准确的确定出待检测图像中的前景区域。
基于上述实施例,进一步地,在实际应用中,检测环境通常会随着时间发生变化,例如环境的色温和光照强度等,而环境的变化会影响图像前景获取的准确性。因此,本发明实施例的图像前景获取方法,还能够根据当前的环境动态更新背景模型。
图2为本发明实施例所提供的另一种图像前景获取方法的流程示意图,如图2所示,该方法包括:
步骤201,获取待检测图像的RGB图像和深度图像,根据RGB图像和深度图像确定待检测图像中各像素点的描述参数。
前述实施例对步骤101、103的解释说明同样适用于本实施例的步骤201、203,此处不再赘述。
步骤202,根据当前检测环境的环境参数更新背景模型。
本发明实施例中,可以根据当前检测环境的环境参数确定学习率,并根据学习率控制更新背景模型。其中,环境参数包括色温、光照强度中的至少一种。例如,当前背景模型是根据120帧图像的RGB和深度数据训练的,在更新背景模型时,去除第一帧图像,并根据最新的一帧数据和之前的119帧训练背景模型,通过学习率控制最新一帧数据在训练中的权重。
可以理解的是,学习率越高,背景模型更新速度越快,在光照色温变化较快等背景变化快的情况能够有效地给背景建模,从而保证获取图像前景和背景的准确性。
作为一种示例,获取预设时间内光照强度的变化率,并根据光照强度的变化率调整学习率,进而,根据调整后的学习率更新背景模型。其中,光照强度的变化率与学习率成正比,也就是说,预设时间内光照强度的变化率越大,学习率越大。
作为另一种示例,获取预设时间内色温的变化率,并根据色温的变化率调整学习率,进而根据调整后的学习率更新背景模型。其中,色温的变化率与学习率成正比,即预设时间内色温的变化率越大,学习率越大。
作为另一种示例,还可以获取预设时间内色温的变化率和光照强度的变化率,并根据色温变化率和对应的第一预设权重,以及光照强度变化率和对应的第二预设权重调整学习率,进而根据调整后的学习率更新背景模型。
其中,预设时间可以根据需要进行设置,例如可以每十分钟检测一次色温和光照强度,并与上一次检测结果进行比较确定变化率。
步骤203,将描述参数与更新后的背景模型进行匹配,并根据匹配结果不一致的描述参数对应的像素点确定待检测图像的前景区域。
本实施例中,在获取待检测图像中各像素点的RGB和深度数据之后,对于每一个像素点,可以将该像素点的RGB和深度数据与更新后的背景模型进行匹配,若匹配结果一致则确定该像素点为背景,若匹配结果不一致则确定该像素点为前景。
可选地,本实施例的方法可以应用于视野相同的场景中获取待检测图像的前景区域,由于同样的视野中背景的深度信息一般不变,因此基于RGB和深度数据可以比较完整的获取前景区域。
本发明实施例的图像前景获取方法,通过获取当前检测环境中的色温、光照强度等环境参数,并根据环境参数动态的调整更新背景模型的学习率,能够在背景变化较快的情况提高图像前景获取的准确性,使得背景模型能自动适应色温和白平衡变化,使得模型可以在白天、晚上、晴天、阴天等不同环境色温下工作良好。并且,相对于图像采集设备配备图像预处理单元来达到调节色温和白平衡的方案,降低了成本。
为了实现上述实施例,本发明还提出一种图像前景获取装置。
图3为本发明实施例所提供的一种图像前景获取装置的结构示意图,如图3所示,该装置包括:获取模块100,处理模块200。
其中,获取模块100,用于获取待检测图像的RGB图像和深度图像,根据RGB图像和深度图像确定待检测图像中各像素点的描述参数。
处理模块200,用于将描述参数与预先建立的背景模型进行匹配,并根据匹配结果不一致的描述参数对应的像素点确定待检测图像的前景区域,其中,背景模型是根据N帧初始图像的RGB图像和深度图像训练得到的。
在图3的基础上,图4所示的装置中处理模块200包括:更新单元210,匹配单元220。
其中,更新单元210用于根据当前检测环境的环境参数更新背景模型。
匹配单元220用于将描述参数与更新后的背景模型进行匹配。
在本发明的一个实施例中,获取模块100具体用于:通过双目摄像头拍摄第一RGB图像和第二RGB图像;以第一RGB图像为基准进行标定,计算出从二维图像像素点到三维世界坐标的变换关系;根据变换关系、各像素点在第一图像和第二图像中的视差计算各像素点的深度值,根据深度值和第一RGB图像确定待检测图像的RGB图像和深度图像。
在本发明的一个实施例中,更新单元210具体用于:获取预设时间内光照强度的变化率,并根据光照强度的变化率调整学习率,其中,光照强度的变化率与所述学习率成正比;根据调整后的学习率更新背景模型。
在本发明的一个实施例中,更新单元210具体用于:获取预设时间内色温的变化率,并根据色温的变化率调整学习率,其中,色温的变化率与学习率成正比;根据调整后的学习率更新背景模型。
需要说明的是,前述实施例对图像前景获取方法的解释说明同样适用于本实施例的图像前景获取装置,此处不再赘述。
本发明实施例的图像前景获取装置,通过获取待检测图像的RGB图像和深度图像,根据RGB图像和深度图像确定待检测图像中各像素点的描述参数。进而,根据N帧初始图像的RGB图像和深度图像训练得到的的背景模型,与描述参数进行匹配,根据匹配结果不一致的描述参数对应的像素点确定待检测图像的前景区域。由此,在获取图像前景时综合考虑了背景的RGB和深度信息,克服了背景颜色和前景颜色相同时无法准确检测前景的缺陷,能够提高图像前景与背景分割的准确性,从而实现了准确的确定出待检测图像中的前景区域。
为了实现上述实施例,本发明还提出一种计算机设备,包括处理器和存储器;其中,处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,以用于实现如前述任一实施例所述的图像前景获取方法。
为了实现上述实施例,本发明还提出一种计算机程序产品,当计算机程序产品中的指令被处理器执行时实现如前述任一实施例所述的图像前景获取方法。
为了实现上述实施例,本发明还提出一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如前述任一实施例所述的图像前景获取方法。
图5示出了适于用来实现本发明实施例的示例性计算机设备的框图。图5显示的计算机设备12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示,计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture;以下简称:ISA)总线,微通道体系结构(Micro Channel Architecture;以下简称:MAC)总线,增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation;以下简称:VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection;以下简称:PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(Random Access Memory;以下简称:RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示,通常称为“硬盘驱动器”)。尽管图5中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如:光盘只读存储器(Compact Disc Read OnlyMemory;以下简称:CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory;以下简称:DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信,和/或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local AreaNetwork;以下简称:LAN),广域网(Wide Area Network;以下简称:WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白,尽管图中未示出,可以结合计算机设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现前述实施例中提及的方法。
在本发明的描述中,需要理解的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种图像前景获取方法,其特征在于,包括:
获取待检测图像的RGB图像和深度图像,根据所述RGB图像和所述深度图像合并生成目标图像,并确定所述目标图像中各像素点的描述参数;
根据当前检测环境的环境参数确定学习率,并根据学习率控制更新背景模型,将所述描述参数与更新后的背景模型进行匹配,并根据匹配结果不一致的描述参数对应的像素点确定所述待检测图像的前景区域,其中,所述背景模型是根据N帧初始图像中每一像素点的RGB数据和深度数据训练得到的,所述每一像素点的特征通过多个单模型表示,所述环境参数包括色温、光照强度中的至少一种;
所述根据当前检测环境的环境参数确定学习率,并根据学习率控制更新背景模型包括:
分别获取预设时间内色温和/或光照强度的变化率,根据所述色温和/或光照强度的变化率调整所述学习率,并根据调整后的学习率更新背景模型。
2.如权利要求1所述的方法,其特征在于,所述获取待检测图像的RGB图像和深度图像包括:
通过双目摄像头拍摄第一RGB图像和第二RGB图像;
以所述第一RGB图像为基准进行标定,计算出从二维图像像素点到三维世界坐标的变换关系;
根据所述变换关系、各像素点在所述第一RGB 图像和所述第二RGB 图像中的视差计算所述各像素点的深度值,根据所述深度值和所述第一RGB图像确定所述待检测图像的RGB图像和深度图像。
3.如权利要求1所述的方法,其特征在于,所述根据当前检测环境的环境参数确定学习率,并根据学习率控制更新背景模型包括:
所述光照强度的变化率与所述学习率成正比。
4.如权利要求1所述的方法,其特征在于,所述根据当前检测环境的环境参数确定学习率,并根据学习率控制更新背景模型包括:
所述色温的变化率与所述学习率成正比。
5.一种图像前景获取装置,其特征在于,包括:
获取模块,用于获取待检测图像的RGB图像和深度图像,根据所述RGB图像和所述深度图像合并生成目标图像,并确定所述目标图像中各像素点的描述参数;
处理模块,所述处理模块包括:更新单元,用于根据当前检测环境的环境参数确定学习率,并根据学习率控制更新背景模型,匹配单元,用于将所述描述参数与更新后的背景模型进行匹配,并根据匹配结果不一致的描述参数对应的像素点确定所述待检测图像的前景区域,其中,所述背景模型是根据N帧初始图像中每一像素点的RGB数据和深度数据训练得到的,所述每一像素点的特征通过多个单模型表示,所述环境参数包括色温、光照强度中的至少一种;
所述更新单元具体用于,分别获取预设时间内色温和/或光照强度的变化率,根据所述色温和/或光照强度的变化率调整所述学习率,并根据调整后的学习率更新背景模型。
6.如权利要求5所述的装置,其特征在于,所述获取模块具体用于:
通过双目摄像头拍摄第一RGB图像和第二RGB图像;
以所述第一RGB图像为基准进行标定,计算出从二维图像像素点到三维世界坐标的变换关系;
根据所述变换关系、各像素点在所述第一RGB 图像和所述第二RGB 图像中的视差计算所述各像素点的深度值,根据所述深度值和所述第一RGB图像确定所述待检测图像的RGB图像和深度图像。
7.如权利要求5所述的装置,其特征在于,所述更新单元具体用于:
所述光照强度的变化率与所述学习率成正比。
8.如权利要求5所述的装置,其特征在于,所述更新单元具体用于:
所述色温的变化率与所述学习率成正比。
9.一种计算机设备,其特征在于,包括处理器和存储器;
其中,所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于实现如权利要求1-4中任一项所述的图像前景获取方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-4中任一项所述的图像前景获取方法。
CN201910359072.8A 2019-04-30 2019-04-30 图像前景获取方法、装置及设备 Active CN110111341B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910359072.8A CN110111341B (zh) 2019-04-30 2019-04-30 图像前景获取方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910359072.8A CN110111341B (zh) 2019-04-30 2019-04-30 图像前景获取方法、装置及设备

Publications (2)

Publication Number Publication Date
CN110111341A CN110111341A (zh) 2019-08-09
CN110111341B true CN110111341B (zh) 2021-10-22

Family

ID=67487714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910359072.8A Active CN110111341B (zh) 2019-04-30 2019-04-30 图像前景获取方法、装置及设备

Country Status (1)

Country Link
CN (1) CN110111341B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111551265B (zh) * 2020-04-03 2021-05-14 深圳市爱图仕影像器材有限公司 色温测量方法、色温测量装置
CN111601418B (zh) * 2020-05-25 2022-11-22 博彦多彩数据科技有限公司 色温调节方法、装置、存储介质和处理器
CN117124587A (zh) * 2023-01-12 2023-11-28 珠海视熙科技有限公司 基于深度图像的背景建模方法及装置、介质、计算设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5397190B2 (ja) * 2009-11-27 2014-01-22 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
CN102708565A (zh) * 2012-05-07 2012-10-03 深圳市贝尔信智能系统有限公司 一种前景检测的方法、装置和系统
CN102930719B (zh) * 2012-10-09 2014-12-10 北京航空航天大学 用于交通路口场景并基于网络物理系统的视频图像前景检测方法
CN106033601B (zh) * 2015-03-09 2019-01-18 株式会社理光 检测异常情形的方法和装置
CN106683070B (zh) * 2015-11-04 2020-05-12 杭州海康威视数字技术股份有限公司 基于深度相机的身高测量方法及装置
CN106251348B (zh) * 2016-07-27 2021-02-02 广东外语外贸大学 一种面向深度相机的自适应多线索融合背景减除方法
CN106846375A (zh) * 2016-12-30 2017-06-13 广东工业大学 一种应用于自主灭火机器人的火焰检测方法

Also Published As

Publication number Publication date
CN110111341A (zh) 2019-08-09

Similar Documents

Publication Publication Date Title
US9916646B2 (en) System and method for processing input images before generating a high dynamic range image
EP2915333B1 (en) Depth map generation from a monoscopic image based on combined depth cues
US7986813B2 (en) Object pose estimation and comparison system using image sharpness differences, object pose estimation and comparison method using image sharpness differences, and program therefor
CN110111341B (zh) 图像前景获取方法、装置及设备
CN111783820A (zh) 图像标注方法和装置
CN106875437B (zh) 一种面向rgbd三维重建的关键帧提取方法
KR20120138627A (ko) 안면 추적 장치 및 방법
CN112561978B (zh) 深度估计网络的训练方法、图像的深度估计方法、设备
CN109934873B (zh) 标注图像获取方法、装置及设备
CN108124489B (zh) 信息处理方法、装置、云处理设备以及计算机程序产品
WO2018053952A1 (zh) 一种基于场景样本库的影视图像深度提取方法
CN104823437A (zh) 一种图片处理方法、装置
CN108322724A (zh) 图像立体匹配方法以及双目视觉设备
CN110686676A (zh) 机器人重定位方法、装置及机器人
WO2011131029A1 (zh) 一种基于轮廓带图的相似单元的检测方法
CN110544294A (zh) 一种基于全景视频的稠密三维重构方法
CN111027415A (zh) 一种基于偏振图像的车辆检测方法
CN110428461B (zh) 结合深度学习的单目slam方法及装置
CN113516697B (zh) 图像配准的方法、装置、电子设备及计算机可读存储介质
CN107452019B (zh) 一种基于模型切换的目标检测方法、装置、系统及存储介质
CN111681271B (zh) 一种多通道多光谱相机配准方法、系统及介质
KR101766823B1 (ko) 불규칙한 조도 변화에 강건한 영상 기반 주행거리 측정 시스템 및 방법
CN108781280B (zh) 一种测试方法、装置及终端
CN117252914A (zh) 深度估计网络的训练方法、装置、电子设备及存储介质
JP7475959B2 (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant