CN109934873A - 标注图像获取方法、装置及设备 - Google Patents

标注图像获取方法、装置及设备 Download PDF

Info

Publication number
CN109934873A
CN109934873A CN201910199886.XA CN201910199886A CN109934873A CN 109934873 A CN109934873 A CN 109934873A CN 201910199886 A CN201910199886 A CN 201910199886A CN 109934873 A CN109934873 A CN 109934873A
Authority
CN
China
Prior art keywords
image
target
depth
camera
target item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910199886.XA
Other languages
English (en)
Other versions
CN109934873B (zh
Inventor
王晓
王青泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910199886.XA priority Critical patent/CN109934873B/zh
Publication of CN109934873A publication Critical patent/CN109934873A/zh
Application granted granted Critical
Publication of CN109934873B publication Critical patent/CN109934873B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提出了一种标注图像获取方法、装置及设备,其中,方法包括:获取深度摄像头采集的第一深度图像,其中,第一深度图像不包括目标物品;获取深度摄像头采集的第二深度图像,和目标摄像头采集的目标图像,其中,第二深度图像和目标图像包括目标物品;根据第一深度图像和第二深度图像确定目标物品在第二深度图像中的目标区域;根据目标区域确定目标物品在目标图像中的定位区域,根据定位区域生成标注图像。由此,解决了人工标注成本高的问题,通过深度摄像头实现自动标注图像,提高了效率,并且,通用性强,安装方式更加灵活。

Description

标注图像获取方法、装置及设备
技术领域
本发明涉及计算机视觉技术领域,尤其涉及一种标注图像获取方法、装置及设备。
背景技术
在互联网与人工智能应用场景中,计算机视觉中的识别检测算法往往是其中的核心算法,特别是深度学习技术广泛应用后,识别检测算法的指标得到了极大提升。
目前在进行识别检测算法应用时,通常采集大量的图片数据,然后利用人工标注出图片中需要被识别物体的定位框或者轮廓,再通过相关识别检测算法训练检测模型,通过检测模型获取图片中相关物品的位置和名称。由于检测模型的效果往往取决于采集和标注数据的规模和质量,而图片内容涵盖越丰富、算法精度要求越高,需要的标注数据量越大,相应获取数据的时间越长、成本越高。能否短时间、低成本获取到大量高质量的标注数据,是识别检测算法应用的关键点之一。
相关技术中,方案一基于公共标注平台实现标注数据获取,然而,由于公共标注平台开发运维成本高,可访问性较差,并且人工标注的时间人力成本高。
方案二首先标注一个规模较小的数据集,并通过机器学习算法根据该数据集上训练出检测器,进而通过检测器实现其他数据的标注。该方案需要预先采集数据训练相应的检测器,通用性较差,适用场景较局限。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的第一个目的在于提出一种标注图像获取方法,通过深度摄像头实现自动标注图像,解决了人工标注成本高的问题,提高了效率,并且,通用性强,安装方式更加灵活。
本发明的第二个目的在于提出一种标注图像获取装置。
本发明的第三个目的在于提出一种计算机设备。
本发明的第四个目的在于提出一种计算机可读存储介质。
本发明第一方面实施例提出了一种标注图像获取方法,包括:
获取所述深度摄像头采集的第一深度图像,其中,所述第一深度图像不包括目标物品;
获取所述深度摄像头采集的第二深度图像,和所述目标摄像头采集的目标图像,其中,所述第二深度图像和所述目标图像包括所述目标物品;
根据所述第一深度图像和所述第二深度图像确定所述目标物品在所述第二深度图像中的目标区域;
根据所述目标区域确定所述目标物品在所述目标图像中的定位区域,根据所述定位区域生成标注图像。
本发明实施例的标注图像获取方法,获取深度摄像头采集的不包括目标物品的第一深度图像,以及通过深度摄像头采集包括目标物品的第二深度图像、通过目标摄像头采集包括目标物品的目标图像。进而,根据第一深度图像和第二深度图像确定目标物品在第二深度图像中的目标区域,进一步根据目标区域确定目标物品在目标图像中的定位区域,根据定位区域生成标注图像。由此,解决了人工标注成本高的问题,通过深度摄像头实现自动图像标注,提高了效率。并且,相对于先小范围训练检测器,进而通过检测器进行标注的方式,通用性强,适用场景更广泛,此外,基于经典的图像处理和计算机视觉算法,仅使用CPU(Central Processing Unit,中央处理器)即可快速计算出结果,而基于神经网络的检测器通常需要GPU(Graphics Processing Unit,图形处理器)加速。通过用于图像标注阶段获取标注图像,无需将传感器部署于最终场景中,安装方式更加灵活,不受最终产品需求限制。
另外,根据本发明上述实施例的标注图像获取方法还可以具有如下附加技术特征:
可选地,所述根据所述第一深度图像和所述第二深度图像确定所述目标物品在所述第二深度图像中的目标区域包括:根据所述第一深度图像和所述第二深度图像获取深度变化图;对所述深度变化图进行二值化、膨胀腐蚀和轮廓提取处理,获取所述目标物品在所述第二深度图像中的目标区域。
可选地,所述深度摄像头包括第一深度摄像头和第二深度摄像头,所述根据所述目标区域确定所述目标物品在所述目标图像中的定位区域包括:根据与所述第一深度摄像头对应的第一目标区域,确定所述目标物品在所述目标图像中的第一投影区域;根据与所述第二深度摄像头对应的第二目标区域,确定所述目标物品在所述目标图像中的第二投影区域;将所述第一投影区域和所述第二投影区域合并,确定所述定位区域。
可选地,所述的方法还包括:将所述目标摄像头和所述深度摄像头标定至同一坐标系中。
可选地,所述根据所述目标区域确定所述目标物品在所述目标图像中的定位区域包括:获取所述深度摄像头的内参数和外参数;根据所述深度摄像头的内参数和外参数和所述目标区域,在所述同一坐标系中确定位置集合;获取所述目标摄像头的内参数和外参数;根据所述目标摄像头的内参数和外参数和所述位置集合计算出所述目标图像中的定位区域。
本发明第二方面实施例提出了一种标注图像获取装置,包括:
第一获取模块,用于获取所述深度摄像头采集的第一深度图像,其中,所述第一深度图像不包括目标物品;
第二获取模块,用于获取所述深度摄像头采集的第二深度图像,和所述目标摄像头采集的目标图像,其中,所述第二深度图像和所述目标图像包括所述目标物品;
处理模块,用于根据所述第一深度图像和所述第二深度图像确定所述目标物品在所述第二深度图像中的目标区域;
生成模块,用于根据所述目标区域确定所述目标物品在所述目标图像中的定位区域,根据所述定位区域生成标注图像。
本发明实施例的标注图像获取装置,获取深度摄像头采集的不包括目标物品的第一深度图像,以及通过深度摄像头采集包括目标物品的第二深度图像、通过目标摄像头采集包括目标物品的目标图像。进而,根据第一深度图像和第二深度图像确定目标物品在第二深度图像中的目标区域,进一步根据目标区域确定目标物品在目标图像中的定位区域,根据定位区域生成标注图像。由此,解决了人工标注成本高的问题,通过深度摄像头实现自动图像标注,提高了效率。并且,相对于先小范围训练检测器,进而通过检测器进行标注的方式,通用性强,适用场景更广泛,此外,基于经典的图像处理和计算机视觉算法,仅使用CPU即可快速计算出结果,而基于神经网络的检测器通常需要GPU加速。通过用于图像标注阶段获取标注图像,无需将传感器部署于最终场景中,安装方式更加灵活,不受最终产品需求限制。
另外,根据本发明上述实施例的标注图像获取装置还可以具有如下附加技术特征:
可选地,所述处理模块具体用于:根据所述第一深度图像和所述第二深度图像获取深度变化图;对所述深度变化图进行二值化、膨胀腐蚀和轮廓提取处理,获取所述目标物品在所述第二深度图像中的目标区域。
可选地,所述深度摄像头包括第一深度摄像头和第二深度摄像头,所述生成模块具体用于:根据与所述第一深度摄像头对应的第一目标区域,确定所述目标物品在所述目标图像中的第一投影区域;根据与所述第二深度摄像头对应的第二目标区域,确定所述目标物品在所述目标图像中的第二投影区域;将所述第一投影区域和所述第二投影区域合并,确定所述定位区域。
可选地,所述的装置还包括:标定模块,用于将所述目标摄像头和所述深度摄像头标定至同一坐标系中。
可选地,所述生成模块具体用于:获取所述深度摄像头的内参数和外参数;根据所述深度摄像头的内参数和外参数和所述目标区域,在所述同一坐标系中确定位置集合;获取所述目标摄像头的内参数和外参数;根据所述目标摄像头的内参数和外参数和所述位置集合计算出所述目标图像中的定位区域。
本发明第三方面实施例提出了一种计算机设备,包括处理器和存储器;其中,所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于实现如第一方面实施例所述的标注图像获取方法。
本发明第四方面实施例提出了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面实施例所述的标注图像获取方法。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
图1为本发明实施例所提供的一种标注图像获取方法的流程示意图;
图2为一种目标摄像头采集图像示意图;
图3为本发明实施例所提供的一种获取标注图像的应用场景示意图;
图4为本发明实施例所提供的一种标注图像获取装置的结构示意图;
图5为本发明实施例所提供的另一种标注图像获取装置的结构示意图;
图6示出了适于用来实现本发明实施例的示例性计算机设备的框图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的标注图像获取方法、装置及设备。
图1为本发明实施例所提供的一种标注图像获取方法的流程示意图,如图1所示,该方法包括:
步骤101,获取深度摄像头采集的第一深度图像,其中,第一深度图像不包括目标物品。
步骤102,获取深度摄像头采集的第二深度图像,和目标摄像头采集的目标图像,其中,第二深度图像和目标图像包括目标物品。
本发明实施例中,可以通过采集装置获取标注图像,其中,采集装置可以包括目标摄像头和深度摄像头,目标摄像头可以是RGB摄像头。其中,采集装置中各摄像头的数量可以是一个,也可以是多个,其数量和位置具体可以根据实际需要进行设置,此处不作限制。
在实际应用中,在基于神经网络训练物体检测模型时,通常需要获取标注图像,例如标注了物体的定位框的图像作为训练集,根据该训练集训练相关的计算机视觉物体检测模型。
本发明实施例中,在获取标注图像时,可以先通过深度摄像头采集不包括目标物品的第一深度图像,并通过该深度摄像头采集包括目标物品的第二深度图像、以及通过目标摄像头采集包括目标物品的目标图像。其中,目标物品可以包括商品等可应用于物体检测的物品。
例如,在应用场景中,可以在放入目标物品前通过深度摄像头采集第一深度图像,进而,在放入目标物品后,通过深度摄像头采集第二深度图像,以及通过目标摄像头采集目标图像。
需要说明的是,本实施例中对步骤101、步骤102的顺序不作具体限制,例如,也可以预先放入目标物品,并在拿走目标物品前通过深度摄像头采集第二深度图像,以及通过目标摄像头采集目标图像,进而,在拿走目标物品后,通过该深度摄像头采集第一深度图像。
步骤103,根据第一深度图像和第二深度图像确定目标物品在第二深度图像中的目标区域。
本发明实施例中,可以获取第一深度图像与第二深度图像中深度值差异较大的点,并根据差异较大的点确定目标物品在第二深度图像中的目标区域。
在本发明的一个实施例中,可以根据第一深度图像和第二深度图像获取深度变化图,进而对深度变化图进行二值化、膨胀腐蚀和轮廓提取处理,获取目标物品在第二深度图像中的目标区域。
作为一种示例,第一深度图像记为A,第二深度图像记为B,可以根据第一深度图像和第二深度图像作差值,获取深度变化图C,即C=A-B。预先设定阈值t,根据阈值t将深度变化图二值化。比如获取各像素点的值,若该值大于t则记为1,代表深度变化较大;若该值小于等于t则记为0,由此根据二值化结果获得初步的目标物品区域。其中,阈值t可以根据大量实验数据确定,也可以根据需要自行设置,此处不作限制。
可选地,由于获取的初步的目标物品区域可能会伴有很多独立的噪声小区域,因此,可以通过相关图像处理技术中的膨胀腐蚀操作,平滑目标物品区域的边缘。进一步,可以通过相关图像处理技术中的轮廓提取技术,确定所有目标物品区域中面积最大的区域,进而,可以根据将该面积最大的区域确定目标物品在第二深度图像中的目标区域,例如,将该面积最大的区域作为目标物品的掩膜(mask),并将该掩膜作为输出,再例如,可以根据该面积最大的区域确定包围框,并将包围框作为输出。
步骤104,根据目标区域确定目标物品在目标图像中的定位区域,根据定位区域生成标注图像。
本发明实施例中,在获取目标物品在第二深度图像中的目标区域后,可以确定目标区域在目标图像中的投影区域,并将投影区域作为目标物品在目标图像中的定位区域,由此,可以根据目标图像中的定位区域生成标注了物品定位框的标注图像。
在本发明的一个实施例中,可以将目标摄像头与深度摄像头标定至同一坐标系中。进而,可以根据计算机视觉中的3D与2D坐标转换算法,根据目标区域确定目标物品在目标图像中的定位区域。
作为一种可能的实现方式,可以通过计算机视觉中的统一标定方法,例如可以根据摄像头和被测物之间的相对运动来统一摄像头的坐标,从而将多个摄像头标定至同一世界坐标系中。
可选地,在将目标摄像头与深度摄像头标定至同一世界坐标系之后,可以获取深度摄像头的内参数和外参数,并根据深度摄像头的内参数和外参数和目标区域,在同一坐标系中确定位置集合。进而,获取目标摄像头的内参数和外参数,根据目标摄像头的内参数和外参数和位置集合计算出目标图像中的定位区域。其中,摄像头的外参数可以确定摄像头在三维空间中的位置和朝向,内参数可以为与摄像头内部相关的参数。
例如,根据摄像头的标定可以分别获取目标摄像头和深度摄像头的内参数和外参数。进而,根据目标区域中每个点对应的深度和深度摄像头的内参数和外参数,可以计算出目标区域中每个点在世界坐标系的三维位置,并将这些三维点的集合记为集合1。进一步,根据集合1和目标摄像头的内参数和外参数可以计算出目标区域到目标图像上的投影区域,并将该投影区域作为目标物品在目标图像中的定位区域。
本发明实施例的标注图像获取方法,通过获取深度摄像头采集的不包括目标物品的第一深度图像,以及通过深度摄像头采集包括目标物品的第二深度图像、通过目标摄像头采集包括目标物品的目标图像。进而,根据第一深度图像和第二深度图像确定目标物品在第二深度图像中的目标区域,进一步根据目标区域确定目标物品在目标图像中的定位区域,根据定位区域生成标注图像。由此,解决了人工标注成本高的问题,通过深度摄像头实现自动图像标注,提高了效率。并且,相对于先小范围训练检测器,进而通过检测器进行标注的方式,通用性强,适用场景更广泛,此外,基于经典的图像处理和计算机视觉算法,仅使用CPU即可快速计算出结果,而基于神经网络的检测器通常需要GPU加速。通过用于图像标注阶段获取标注图像,无需将传感器部署于最终场景中,安装方式更加灵活,不受最终产品需求限制。
基于上述实施例,进一步地,下面结合实际应用场景针对多个深度摄像头的情况进行说明。
参照图2,以零售货架应用场景中的摄像头检测与识别为例,相关技术中为了识别物品1和物品2,需要采集三个RGB(一种色彩模式)摄像头包含物品1和物品2的图片rgb_image_1_t1,rgb_image_2_t1,rgb_image_3_t1,并且在图片中标出1和2的定位框。
为了简化描述,下面以获取RGB2摄像头下物品2的图片和定位框的获取方法为例进行说明,该解释说明同样适用于针对RGB1、RGB3以及获取物品1的标注图像的过程。
本实施例中,目标摄像头包括三个RGB摄像头,深度摄像头包括第一深度摄像头和第二深度摄像头,参照图3,第一深度摄像头(深1)和第二深度摄像头(深2)分别设置在RGB摄像头的两侧。在本发明的一个实施例中,可以根据与第一深度摄像头对应的第一目标区域,确定目标物品在目标图像中的第一投影区域。根据与第二深度摄像头对应的第二目标区域,确定目标物品在目标图像中的第二投影区域。将第一投影区域和第二投影区域合并,确定定位区域。
作为一种示例,将五个摄像头标定至同一世界坐标系中,进而,在t0时刻,2台深度摄像头同时各自拍照获取图片,第一深度摄像头对应图片名称为depth_image_1_t0,第二深度摄像头对应图片名称为depth_image_2_t0。可选地,每台深度摄像头拍照时可以同时获取到一张深度图片depth_image_x_t0和一张rgb图片color_image_x_t0。
进而,在t1时刻放入物品2,深度摄像头与RGB摄像头同时拍摄图片,其中,第一深度摄像头、第二深度摄像头、RGB2对应图片名称分别为depth_image_1_t1,depth_image_2_t1,rgb_image_2_t1。
对于第一深度摄像头,使用depth_image_1_t0和depth_image_1_t1做差值,获得两张图像中深度的变化图,利用图像处理技术中经典的二值化、膨胀腐蚀、轮廓提取对变化图进行处理,获得物品2在图片depth_image_1_t1的区域或者定位框region_d1。进一步地,由于所有摄像头都标定到了一个世界坐标系中,利用计算机视觉中经典的3D与2D坐标转换算法,获取region_d1到rgb_image_2_t1的投影区域region_d1_rgb2。
对于第二深度摄像头,参照上述步骤获取rgb_image_2_t1中的投影区域region_d2_rgb2。
本实施例中,由于深度摄像头与RGB2拍摄角度不同,因此每个投影区域只是rgb_image_2_t1中物品2区域的一个子集。因此,根据投影区域region_d1_rgb2和region_d2_rgb2取二者的并集即可获取物品2的区域或者定位框,从而可以根据该定位框生成RGB2摄像头和物品2对应的标注图像。由此,解决了人工标注成本高的问题,通过采集装置自动实现图像标注,提高了效率。并且,通用性强,适用场景更广泛。安装方式更加灵活,不受最终产品需求限制。
为了实现上述实施例,本发明还提出一种标注图像获取装置。
图4为本发明实施例所提供的一种标注图像获取装置的结构示意图,如图4所示,该装置包括:第一获取模块100,第二获取模块200,处理模块300,生成模块400。
其中,第一获取模块100,用于获取深度摄像头采集的第一深度图像,其中,第一深度图像不包括目标物品。
第二获取模块200,用于获取深度摄像头采集的第二深度图像,和目标摄像头采集的目标图像,其中,第二深度图像和目标图像包括目标物品。
处理模块300,用于根据第一深度图像和第二深度图像确定目标物品在第二深度图像中的目标区域.
生成模块400,用于根据目标区域确定目标物品在目标图像中的定位区域,根据定位区域生成标注图像。
在图4的基础上,图5所示的标注图像获取装置还包括:标定模块500。
其中,标定模块500,用于将目标摄像头和深度摄像头标定至同一坐标系中。
进一步地,生成模块400具体用于:获取深度摄像头的内参数和外参数;根据深度摄像头的内参数和外参数和目标区域,在同一坐标系中确定位置集合;获取目标摄像头的内参数和外参数;根据目标摄像头的内参数和外参数和位置集合计算出目标图像中的定位区域。
可选地,处理模块300具体用于:根据第一深度图像和第二深度图像获取深度变化图;对深度变化图进行二值化、膨胀腐蚀和轮廓提取处理,获取目标物品在第二深度图像中的目标区域。
可选地,深度摄像头包括第一深度摄像头和第二深度摄像头,生成模块400具体用于:根据与第一深度摄像头对应的第一目标区域,确定目标物品在目标图像中的第一投影区域;根据与第二深度摄像头对应的第二目标区域,确定目标物品在目标图像中的第二投影区域;将第一投影区域和第二投影区域合并,确定定位区域。
需要说明的是,前述实施例对标注图像获取方法的解释说明同样适用于本实施例的标注图像获取装置,此处不再赘述。
本发明实施例的标注图像获取装置,通过获取深度摄像头采集的不包括目标物品的第一深度图像,以及通过深度摄像头采集包括目标物品的第二深度图像、通过目标摄像头采集包括目标物品的目标图像。进而,根据第一深度图像和第二深度图像确定目标物品在第二深度图像中的目标区域,进一步根据目标区域确定目标物品在目标图像中的定位区域,根据定位区域生成标注图像。由此,解决了人工标注成本高的问题,通过深度摄像头实现图像标注,提高了效率。并且,相对于先小范围训练检测器,进而通过检测器进行标注的方式,通用性强,适用场景更广泛,此外,基于经典的图像处理和计算机视觉算法,仅使用CPU即可快速计算出结果,而基于神经网络的检测器通常需要GPU加速。相对于部署于最终场景中的方案,用于图像标注阶段获取标注图像,安装方式更加灵活,不受最终产品需求限制。
为了实现上述实施例,本发明还提出一种计算机设备,包括处理器和存储器;其中,处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,以用于实现如前述任一实施例所述的标注图像获取方法。
为了实现上述实施例,本发明还提出一种计算机程序产品,当计算机程序产品中的指令被处理器执行时实现如前述任一实施例所述的标注图像获取方法。
为了实现上述实施例,本发明还提出一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如前述任一实施例所述的标注图像获取方法。
图6示出了适于用来实现本发明实施例的示例性计算机设备的框图。图6显示的计算机设备12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示,计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture;以下简称:ISA)总线,微通道体系结构(Micro Channel Architecture;以下简称:MAC)总线,增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation;以下简称:VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection;以下简称:PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(Random Access Memory;以下简称:RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示,通常称为“硬盘驱动器”)。尽管图6中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如:光盘只读存储器(Compact Disc Read OnlyMemory;以下简称:CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory;以下简称:DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信,和/或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local AreaNetwork;以下简称:LAN),广域网(Wide Area Network;以下简称:WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白,尽管图中未示出,可以结合计算机设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现前述实施例中提及的方法。
在本发明的描述中,需要理解的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种标注图像获取方法,其特征在于,包括:
获取所述深度摄像头采集的第一深度图像,其中,所述第一深度图像不包括目标物品;
获取所述深度摄像头采集的第二深度图像,和所述目标摄像头采集的目标图像,其中,所述第二深度图像和所述目标图像包括所述目标物品;
根据所述第一深度图像和所述第二深度图像确定所述目标物品在所述第二深度图像中的目标区域;
根据所述目标区域确定所述目标物品在所述目标图像中的定位区域,根据所述定位区域生成标注图像。
2.如权利要求1所述的方法,其特征在于,所述根据所述第一深度图像和所述第二深度图像确定所述目标物品在所述第二深度图像中的目标区域包括:
根据所述第一深度图像和所述第二深度图像获取深度变化图;
对所述深度变化图进行二值化、膨胀腐蚀和轮廓提取处理,获取所述目标物品在所述第二深度图像中的目标区域。
3.如权利要求1所述的方法,其特征在于,所述深度摄像头包括第一深度摄像头和第二深度摄像头,所述根据所述目标区域确定所述目标物品在所述目标图像中的定位区域包括:
根据与所述第一深度摄像头对应的第一目标区域,确定所述目标物品在所述目标图像中的第一投影区域;
根据与所述第二深度摄像头对应的第二目标区域,确定所述目标物品在所述目标图像中的第二投影区域;
将所述第一投影区域和所述第二投影区域合并,确定所述定位区域。
4.如权利要求1所述的方法,其特征在于,还包括:
将所述目标摄像头和所述深度摄像头标定至同一坐标系中。
5.如权利要求4所述的方法,其特征在于,所述根据所述目标区域确定所述目标物品在所述目标图像中的定位区域包括:
获取所述深度摄像头的内参数和外参数;
根据所述深度摄像头的内参数和外参数和所述目标区域,在所述同一坐标系中确定位置集合;
获取所述目标摄像头的内参数和外参数;
根据所述目标摄像头的内参数和外参数和所述位置集合计算出所述目标图像中的定位区域。
6.一种标注图像获取装置,其特征在于,包括:
第一获取模块,用于获取所述深度摄像头采集的第一深度图像,其中,所述第一深度图像不包括目标物品;
第二获取模块,用于获取所述深度摄像头采集的第二深度图像,和所述目标摄像头采集的目标图像,其中,所述第二深度图像和所述目标图像包括所述目标物品;
处理模块,用于根据所述第一深度图像和所述第二深度图像确定所述目标物品在所述第二深度图像中的目标区域;
生成模块,用于根据所述目标区域确定所述目标物品在所述目标图像中的定位区域,根据所述定位区域生成标注图像。
7.如权利要求6所述的装置,其特征在于,所述处理模块具体用于:
根据所述第一深度图像和所述第二深度图像获取深度变化图;
对所述深度变化图进行二值化、膨胀腐蚀和轮廓提取处理,获取所述目标物品在所述第二深度图像中的目标区域。
8.如权利要求6所述的装置,其特征在于,所述深度摄像头包括第一深度摄像头和第二深度摄像头,所述生成模块具体用于:
根据与所述第一深度摄像头对应的第一目标区域,确定所述目标物品在所述目标图像中的第一投影区域;
根据与所述第二深度摄像头对应的第二目标区域,确定所述目标物品在所述目标图像中的第二投影区域;
将所述第一投影区域和所述第二投影区域合并,确定所述定位区域。
9.如权利要求6所述的装置,其特征在于,还包括:
标定模块,用于将所述目标摄像头和所述深度摄像头标定至同一坐标系中。
10.如权利要求9所述的装置,其特征在于,所述生成模块具体用于:
获取所述深度摄像头的内参数和外参数;
根据所述深度摄像头的内参数和外参数和所述目标区域,在所述同一坐标系中确定位置集合;
获取所述目标摄像头的内参数和外参数;
根据所述目标摄像头的内参数和外参数和所述位置集合计算出所述目标图像中的定位区域。
11.一种计算机设备,其特征在于,包括处理器和存储器;
其中,所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于实现如权利要求1-5中任一项所述的标注图像获取方法。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-5中任一项所述的标注图像获取方法。
CN201910199886.XA 2019-03-15 2019-03-15 标注图像获取方法、装置及设备 Active CN109934873B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910199886.XA CN109934873B (zh) 2019-03-15 2019-03-15 标注图像获取方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910199886.XA CN109934873B (zh) 2019-03-15 2019-03-15 标注图像获取方法、装置及设备

Publications (2)

Publication Number Publication Date
CN109934873A true CN109934873A (zh) 2019-06-25
CN109934873B CN109934873B (zh) 2021-11-02

Family

ID=66987398

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910199886.XA Active CN109934873B (zh) 2019-03-15 2019-03-15 标注图像获取方法、装置及设备

Country Status (1)

Country Link
CN (1) CN109934873B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866504A (zh) * 2019-11-20 2020-03-06 北京百度网讯科技有限公司 标注数据的获取方法、装置和设备
CN111369631A (zh) * 2020-03-06 2020-07-03 厦门华联电子股份有限公司 基于xyz轴平台的样本图像自动采集方法及装置
CN111738180A (zh) * 2020-06-28 2020-10-02 浙江大华技术股份有限公司 关键点的标注方法、装置、存储介质及电子装置
CN112132076A (zh) * 2020-09-28 2020-12-25 天津天地伟业智能安全防范科技有限公司 一种基于计算机视觉的遗忘物寻址方法

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130177296A1 (en) * 2011-11-15 2013-07-11 Kevin A. Geisner Generating metadata for user experiences
CN103530599A (zh) * 2013-04-17 2014-01-22 Tcl集团股份有限公司 一种真实人脸和图片人脸的区别方法和系统
CN105005992A (zh) * 2015-07-07 2015-10-28 南京华捷艾米软件科技有限公司 一种基于深度图的背景建模和前景提取的方法
CN105550670A (zh) * 2016-01-27 2016-05-04 兰州理工大学 一种目标物体动态跟踪与测量定位方法
CN106384353A (zh) * 2016-09-12 2017-02-08 佛山市南海区广工大数控装备协同创新研究院 一种基于rgbd的目标定位方法
CN106651925A (zh) * 2016-11-28 2017-05-10 深圳奥比中光科技有限公司 一种彩色深度图像的获取方法、获取设备
CN106767682A (zh) * 2016-12-01 2017-05-31 腾讯科技(深圳)有限公司 一种获取飞行高度信息的方法及飞行器
CN106875444A (zh) * 2017-01-19 2017-06-20 浙江大华技术股份有限公司 一种目标物定位方法及装置
CN107105219A (zh) * 2017-05-26 2017-08-29 碰海科技(北京)有限公司 多深度摄像头紧凑型全景扫描设备
CN107491763A (zh) * 2017-08-24 2017-12-19 歌尔科技有限公司 基于深度图像的手指区域分割方法及装置
CN107507235A (zh) * 2017-08-31 2017-12-22 山东大学 一种基于rgb‑d设备采集的彩色图像和深度图像的配准方法
CN107742300A (zh) * 2017-09-11 2018-02-27 广东欧珀移动通信有限公司 图像处理方法、装置、电子装置和计算机可读存储介质
CN107917701A (zh) * 2017-12-28 2018-04-17 人加智能机器人技术(北京)有限公司 基于主动式双目立体视觉的测量方法及rgbd相机系统
CN108257178A (zh) * 2018-01-19 2018-07-06 百度在线网络技术(北京)有限公司 用于定位目标人体的位置的方法和装置
CN108629946A (zh) * 2018-06-14 2018-10-09 清华大学深圳研究生院 一种基于rgbd传感器的人体跌倒检测方法
CN108694882A (zh) * 2017-04-11 2018-10-23 百度在线网络技术(北京)有限公司 用于标注地图的方法、装置和设备
CN108985214A (zh) * 2018-07-09 2018-12-11 上海斐讯数据通信技术有限公司 图像数据的标注方法和装置

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130177296A1 (en) * 2011-11-15 2013-07-11 Kevin A. Geisner Generating metadata for user experiences
CN103530599A (zh) * 2013-04-17 2014-01-22 Tcl集团股份有限公司 一种真实人脸和图片人脸的区别方法和系统
CN105005992A (zh) * 2015-07-07 2015-10-28 南京华捷艾米软件科技有限公司 一种基于深度图的背景建模和前景提取的方法
CN105550670A (zh) * 2016-01-27 2016-05-04 兰州理工大学 一种目标物体动态跟踪与测量定位方法
CN106384353A (zh) * 2016-09-12 2017-02-08 佛山市南海区广工大数控装备协同创新研究院 一种基于rgbd的目标定位方法
CN106651925A (zh) * 2016-11-28 2017-05-10 深圳奥比中光科技有限公司 一种彩色深度图像的获取方法、获取设备
CN106767682A (zh) * 2016-12-01 2017-05-31 腾讯科技(深圳)有限公司 一种获取飞行高度信息的方法及飞行器
CN106875444A (zh) * 2017-01-19 2017-06-20 浙江大华技术股份有限公司 一种目标物定位方法及装置
CN108694882A (zh) * 2017-04-11 2018-10-23 百度在线网络技术(北京)有限公司 用于标注地图的方法、装置和设备
CN107105219A (zh) * 2017-05-26 2017-08-29 碰海科技(北京)有限公司 多深度摄像头紧凑型全景扫描设备
CN107491763A (zh) * 2017-08-24 2017-12-19 歌尔科技有限公司 基于深度图像的手指区域分割方法及装置
CN107507235A (zh) * 2017-08-31 2017-12-22 山东大学 一种基于rgb‑d设备采集的彩色图像和深度图像的配准方法
CN107742300A (zh) * 2017-09-11 2018-02-27 广东欧珀移动通信有限公司 图像处理方法、装置、电子装置和计算机可读存储介质
CN107917701A (zh) * 2017-12-28 2018-04-17 人加智能机器人技术(北京)有限公司 基于主动式双目立体视觉的测量方法及rgbd相机系统
CN108257178A (zh) * 2018-01-19 2018-07-06 百度在线网络技术(北京)有限公司 用于定位目标人体的位置的方法和装置
CN108629946A (zh) * 2018-06-14 2018-10-09 清华大学深圳研究生院 一种基于rgbd传感器的人体跌倒检测方法
CN108985214A (zh) * 2018-07-09 2018-12-11 上海斐讯数据通信技术有限公司 图像数据的标注方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NAVEED AHMED,ET AL: "《A Comparative Analysis of Time Coherent 3D Animation Reconstruction Methods from RGB-D Video Data》", 《IAENG INTERNATIONAL JOURNAL OF COMPUTER SCIENCE》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866504A (zh) * 2019-11-20 2020-03-06 北京百度网讯科技有限公司 标注数据的获取方法、装置和设备
CN110866504B (zh) * 2019-11-20 2023-10-17 北京百度网讯科技有限公司 标注数据的获取方法、装置和设备
CN111369631A (zh) * 2020-03-06 2020-07-03 厦门华联电子股份有限公司 基于xyz轴平台的样本图像自动采集方法及装置
CN111369631B (zh) * 2020-03-06 2023-04-07 厦门华联电子股份有限公司 基于xyz轴平台的样本图像自动采集方法及装置
CN111738180A (zh) * 2020-06-28 2020-10-02 浙江大华技术股份有限公司 关键点的标注方法、装置、存储介质及电子装置
CN112132076A (zh) * 2020-09-28 2020-12-25 天津天地伟业智能安全防范科技有限公司 一种基于计算机视觉的遗忘物寻址方法

Also Published As

Publication number Publication date
CN109934873B (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
US10977818B2 (en) Machine learning based model localization system
Nirkin et al. On face segmentation, face swapping, and face perception
CN107358648B (zh) 基于单张人脸图像的实时全自动高质量三维人脸重建方法
CN109934873A (zh) 标注图像获取方法、装置及设备
Tian et al. Handling occlusions in augmented reality based on 3D reconstruction method
Kuster et al. FreeCam: A Hybrid Camera System for Interactive Free-Viewpoint Video.
US10304206B2 (en) Selecting feature patterns and corresponding layout positions for viewpoint measurement
CN109816704A (zh) 物体的三维信息获取方法和装置
CN111783820A (zh) 图像标注方法和装置
JP7162750B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
EP2766875A1 (en) Generating free viewpoint video using stereo imaging
KR20100000671A (ko) 영상 처리 방법
JP7499280B2 (ja) 人物の単眼深度推定のための方法およびシステム
EP3182370B1 (en) Method and device for generating binary descriptors in video frames
JP6293386B2 (ja) データ処理装置、データ処理方法及びデータ処理プログラム
Macedo et al. Occlusion handling in augmented reality: past, present and future
US11823394B2 (en) Information processing apparatus and method for aligning captured image and object
US11900552B2 (en) System and method for generating virtual pseudo 3D outputs from images
CN113128434B (zh) 一种对单目rgb图像进行3d目标检测的方法
US11657568B2 (en) Methods and systems for augmented reality tracking based on volumetric feature descriptor data
CN110111341A (zh) 图像前景获取方法、装置及设备
JP2018120402A (ja) イベント検出装置、イベント検出方法、プログラム
Tybusch et al. Color-based and recursive fiducial marker for augmented reality
Li et al. Research on MR virtual scene location method based on image recognition
US20220292811A1 (en) Image processing device, image processing method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant