CN109636814A - 一种图像处理方法及电子设备 - Google Patents
一种图像处理方法及电子设备 Download PDFInfo
- Publication number
- CN109636814A CN109636814A CN201811550265.3A CN201811550265A CN109636814A CN 109636814 A CN109636814 A CN 109636814A CN 201811550265 A CN201811550265 A CN 201811550265A CN 109636814 A CN109636814 A CN 109636814A
- Authority
- CN
- China
- Prior art keywords
- image
- target object
- subgraph
- rgb image
- rectangle frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 239000000284 extract Substances 0.000 claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000001514 detection method Methods 0.000 claims description 15
- 238000012417 linear regression Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 16
- 238000005070 sampling Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本公开公开了一种图像处理方法及电子设备，方法包括：采集目标区域的RGB图像和深度图像，其中，RGB图像和深度图像中包含目标物体，基于RGB图像和所述深度图像，提取出目标物体。本公开同时利用了RGB图像和深度图像的特点，能够快速精确的从图像中提取出目标物体，提升了用户体验。
Description
技术领域
本公开涉及电子技术领域，尤其涉及一种图像处理方法及电子设备。
背景技术
随着电子技术的不断发展，从图像中提取出感兴趣物体是机器视觉的核心任务之一。快速精确的从图像中提取出感兴趣物体，可为后续的物体识别、物体属性分析等环节提供有力的保证。
目前，从图像中提取感兴趣物体，主要通过物体检测方法用矩形框将感兴趣物体在图像中框出，或者通过场景分割的方法，给感兴趣物体打上标签，从而实现感兴趣物体的提取。但是，物体检测的方法，会混进较多的背景，不能对感兴趣物体进行精确的提取；场景分割方法，耗时较长。
因此，如何快速精确的从图像中提取出感兴趣物体，是一项亟待解决的问题。
发明内容
有鉴于此，本公开提供一种图像处理方法，能够快速精确的从图像中提取出目标物体，提升了用户体验。
本公开提供了一种图像处理方法，包括：
采集目标区域的RGB图像和深度图像，其中，所述RGB图像和所述深度图像中包含目标物体；
基于所述RGB图像和所述深度图像，提取出所述目标物体。
优选地，所述基于所述RGB图像和所述深度图像，提取出所述目标物体包括：
对所述RGB图像进行物体检测，得到包含所述目标物体的矩形框的坐标位置；
基于所述矩形框的坐标位置，在所述深度图像中截取出对应的子图像；
从所述子图像中提取出所述目标物体。
优选地，所述对所述RGB图像进行物体检测，得到包含所述目标物体的矩形框的坐标位置包括：
对所述RGB图像进行卷积操作，得到相应的特征图；
在所述特征图上设置包含所述目标物体的矩形框；
对所述矩形框进行线性回归，得到所述矩形框的坐标位置。
优选地，所述从所述子图像中提取出所述目标物体包括：
基于所述子图像的距离信息，去除所述子图像中的背景，得到所述目标物体。
优选地，所述基于所述子图像的距离信息，去除所述子图像中的背景，得到所述目标物体包括：
将所述子图像的每一个像素与预设阈值相比较，将大于所述预设阈值的像素重新设置为零。
一种电子设备，包括：
采集装置，用于采集目标区域的RGB图像和深度图像，其中，所述RGB图像和所述深度图像中包含目标物体；
存储器，用于存储应用程序与应用程序运行所产生的数据；
处理器，用于运行所述应用程序以基于所述RGB图像和所述深度图像，提取出所述目标物体。
优选地，所述处理器在执行基于所述RGB图像和所述深度图像，提取出所述目标物体时，具体用于：
对所述RGB图像进行物体检测，得到包含所述目标物体的矩形框的坐标位置；
基于所述矩形框的坐标位置，在所述深度图像中截取出对应的子图像；
从所述子图像中提取出所述目标物体。
优选地，所述处理器在执行对所述RGB图像进行物体检测，得到包含所述目标物体的矩形框的坐标位置时，具体用于：
对所述RGB图像进行卷积操作，得到相应的特征图；
在所述特征图上设置包含所述目标物体的矩形框；
对所述矩形框进行线性回归，得到所述矩形框的坐标位置。
优选地，所述处理器在执行从所述子图像中提取出所述目标物体时，具体用于：
基于所述子图像的距离信息，去除所述子图像中的背景，得到所述目标物体。
优选地，所述处理器在基于所述子图像的距离信息，去除所述子图像中的背景，得到所述目标物体时，具体用于：
将所述子图像的每一个像素与预设阈值相比较，将大于所述预设阈值的像素重新设置为零。
从上述技术方案可以看出，本公开公开的一种图像处理方法，当需要提取出图像中的目标物体时，首先采集目标区域的RGB图像和深度图像，其中，RGB图像和深度图像中包含目标物体，然后基于RGB图像和深度图像，提取出所述目标物体。本公开能够快速精确的从图像中提取出目标物体，提升了用户体验。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本公开公开的一种图像处理方法实施例1的方法流程图；
图2为本公开公开的一种图像处理方法实施例2的方法流程图；
图3为本公开公开的一种图像处理方法实施例3的方法流程图；
图4为本公开公开的一种图像处理方法实施例4的方法流程图；
图5为本公开公开的一种电子设备实施例1的结构示意图；
图6为本公开公开的一种电子设备实施例2的结构示意图；
图7为本公开公开的一种电子设备实施例3的结构示意图；
图8为本公开公开的一种电子设备实施例4的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
如图1所示，为本申请公开的一种图像处理方法实施例1的方法流程图，所述方法可以包括以下步骤：
S101、采集目标区域的RGB图像和深度图像，其中，RGB图像和深度图像中包含目标物体；
当需要在图像中快速准确的提取出感兴趣的物体时，即在图像中快速准确的提取出用户所需的目标物体时，首先对目标区域进行图像采集，分别采集RGB图像和深度图像。在采集RGB图像时，可以通过RGB摄像头对目标区域进行拍摄，得到RGB图像。在采集深度图像时，可以通过深度摄像头对目标区域进行拍摄，得到深度图像。需要说明的是，拍摄得到的RGB图像和深度图像中均包含用户需要提取的目标物体。另外，为了使提取到的目标物体更加精确，需要说明的是，在通过RGB摄像头和深度摄像头对目标区域进行拍摄时，RGB摄像头和深度摄像头保持平行同向，之间的距离小于5mm，正对目标区域进行拍摄。
S102、基于RGB图像和深度图像，提取出目标物体。
当采集到包含目标物体的RGB图像和深度图像后，对RGB图像和深度图像进行相应的图像处理，最终提取出目标物体。
综上所述，在上述实施例中，当需要提取出图像中的目标物体时，首先采集目标区域的RGB图像和深度图像，其中，RGB图像和深度图像中包含目标物体，然后基于RGB图像和深度图像，提取出所述目标物体。本公开同时利用了RGB图像和深度图像的特点，能够快速精确的从图像中提取出目标物体，提升了用户体验。
如图2所示，为本申请公开的一种图像处理方法实施例2的方法流程图，所述方法可以包括以下步骤：
S201、采集目标区域的RGB图像和深度图像，其中，RGB图像和深度图像中包含目标物体；
当需要在图像中快速准确的提取出感兴趣的物体时，即在图像中快速准确的提取出用户所需的目标物体时，首先对目标区域进行图像采集，分别采集RGB图像和深度图像。在采集RGB图像时，可以通过RGB摄像头对目标区域进行拍摄，得到RGB图像。在采集深度图像时，可以通过深度摄像头对目标区域进行拍摄，得到深度图像。需要说明的是，拍摄得到的RGB图像和深度图像中均包含用户需要提取的目标物体。另外，为了使提取到的目标物体更加精确，需要说明的是，在通过RGB摄像头和深度摄像头对目标区域进行拍摄时，RGB摄像头和深度摄像头保持平行同向，之间的距离小于5mm，正对目标区域进行拍摄。
S202、对RGB图像进行物体检测，得到包含目标物体的矩形框的坐标位置；
当采集到包含目标物体的RGB图像和深度图像后，对RGB图像和深度图像进行相应的图像处理，最终提取出目标物体。具体的，先对采集到的RGB图像进行物体检测，根据目标物体的大小，得到相应比例的矩形框，然后得到矩形框的坐标位置。
S203、基于矩形框的坐标位置，在深度图像中截取出对应的子图像；
然后，根据得到的RGB图像中包含目标物体的矩形框的坐标位置，在对应的深度图像中截取到对应的子图像。其中，子图像中包含目标物体。
S204、从子图像中提取出目标物体。
然后，对得到的子图像进行相应的图像处理，最终提取出用户所需的目标物体。
综上所述，在上述实施例中，当需要提取出图像中的目标物体时，首先采集目标区域的RGB图像和深度图像，其中，RGB图像和深度图像中包含目标物体，然后对RGB图像进行物体检测，得到包含目标物体的矩形框的坐标位置，基于矩形框的坐标位置，在深度图像中截取出对应的子图像，然后从子图像中提取出所述目标物体。本公开同时利用了RGB图像和深度图像的特点，能够快速精确的从图像中提取出目标物体，提升了用户体验。
如3所示，为本申请公开的一种图像处理方法实施例3的方法流程图，所述方法可以包括以下步骤：
S301、采集目标区域的RGB图像和深度图像，其中，RGB图像和深度图像中包含目标物体；
当需要在图像中快速准确的提取出感兴趣的物体时，即在图像中快速准确的提取出用户所需的目标物体时，首先对目标区域进行图像采集，分别采集RGB图像和深度图像。在采集RGB图像时，可以通过RGB摄像头对目标区域进行拍摄，得到RGB图像。在采集深度图像时，可以通过深度摄像头对目标区域进行拍摄，得到深度图像。需要说明的是，拍摄得到的RGB图像和深度图像中均包含用户需要提取的目标物体。另外，为了使提取到的目标物体更加精确，需要说明的是，在通过RGB摄像头和深度摄像头对目标区域进行拍摄时，RGB摄像头和深度摄像头保持平行同向，之间的距离小于5mm，正对目标区域进行拍摄。
S302、对RGB图像进行卷积操作，得到相应的特征图；
当采集到包含目标物体的RGB图像和深度图像后，对RGB图像和深度图像进行相应的图像处理，最终提取出目标物体。具体的，先对采集到的RGB图像进行卷积操作，得到相应的特征图。
S303、在特征图上设置包含目标物体的矩形框；
然后在特征图上设置不同尺度，不同比例的预选框，根据目标物体的大小，得到相应比例的矩形框。
S304、对矩形框进行线性回归，得到矩形框的坐标位置；
然后对得到的矩形框进行线性回归，得到精确的矩形框的坐标位置，即，得到目标物体精确的位置。
S305、基于矩形框的坐标位置，在深度图像中截取出对应的子图像；
然后，根据得到的RGB图像中包含目标物体的矩形框的坐标位置，在对应的深度图像中截取到对应的子图像。其中，子图像中包含目标物体。
S306、基于子图像的距离信息，去除子图像中的背景，得到目标物体。
然后，对得到的子图像进行相应的图像处理，由于深度图像记录的是距离远近的信息，因此，根据在深度图像中截取出的子图像的距离信息，能够去除子图像中的背景，最终提取出用户所需的目标物体。
综上所述，在上述实施例中，当需要提取出图像中的目标物体时，首先采集目标区域的RGB图像和深度图像，其中，RGB图像和深度图像中包含目标物体，然后对RGB图像进行卷积操作，得到相应的特征图；在特征图上设置包含目标物体的矩形框，对矩形框进行线性回归，得到矩形框的坐标位置，基于矩形框的坐标位置，在深度图像中截取出对应的子图像，然后基于子图像的距离信息，去除子图像中的背景，得到所述目标物体。本公开同时利用了RGB图像和深度图像的特点，能够快速精确的从图像中提取出目标物体，提升了用户体验。
如4所示，为本申请公开的一种图像处理方法实施例4的方法流程图，所述方法可以包括以下步骤：
S401、采集目标区域的RGB图像和深度图像，其中，RGB图像和深度图像中包含目标物体；
当需要在图像中快速准确的提取出感兴趣的物体时，即在图像中快速准确的提取出用户所需的目标物体时，首先对目标区域进行图像采集，分别采集RGB图像和深度图像。在采集RGB图像时，可以通过RGB摄像头对目标区域进行拍摄，得到RGB图像。在采集深度图像时，可以通过深度摄像头对目标区域进行拍摄，得到深度图像。需要说明的是，拍摄得到的RGB图像和深度图像中均包含用户需要提取的目标物体。另外，为了使提取到的目标物体更加精确，需要说明的是，在通过RGB摄像头和深度摄像头对目标区域进行拍摄时，RGB摄像头和深度摄像头保持平行同向，之间的距离小于5mm，正对目标区域进行拍摄。
S402、对RGB图像进行卷积操作，得到相应的特征图；
当采集到包含目标物体的RGB图像和深度图像后，对RGB图像和深度图像进行相应的图像处理，最终提取出目标物体。具体的，先对采集到的RGB图像进行卷积操作，得到相应的特征图。
S403、在特征图上设置包含目标物体的矩形框；
然后在特征图上设置不同尺度，不同比例的预选框，根据目标物体的大小，得到相应比例的矩形框。
S404、对矩形框进行线性回归，得到矩形框的坐标位置；
然后对得到的矩形框进行线性回归，得到精确的矩形框的坐标位置，即，得到目标物体精确的位置。
S405、基于矩形框的坐标位置，在深度图像中截取出对应的子图像；
然后，根据得到的RGB图像中包含目标物体的矩形框的坐标位置，在对应的深度图像中截取到对应的子图像。其中，子图像中包含目标物体。
S406、将子图像的每一个像素与预设阈值相比较，将大于预设阈值的像素重新设置为零。
然后，对得到的子图像进行相应的图像处理，由于深度图像记录的是距离远近的信息，因此，根据在深度图像中截取出的子图像的距离信息，能够去除子图像中的背景。具体的，设置一个预设阈值，然后将子图像中的每一个像素与预设阈值进行比较，将大于预设阈值的像素的值重新设置为零，剩下的即为目标物体的精确轮廓，最终提取出用户所需的目标物体。
综上所述，在上述实施例中，当需要提取出图像中的目标物体时，首先采集目标区域的RGB图像和深度图像，其中，RGB图像和深度图像中包含目标物体，然后对RGB图像进行卷积操作，得到相应的特征图；在特征图上设置包含目标物体的矩形框，对矩形框进行线性回归，得到矩形框的坐标位置，基于矩形框的坐标位置，在深度图像中截取出对应的子图像，然后将所述子图像的每一个像素与预设阈值相比较，将大于所述预设阈值的像素重新设置为零。本公开同时利用了RGB图像和深度图像的特点，能够快速精确的从图像中提取出目标物体，提升了用户体验。
如图5所示，为本申请公开的一种电子设备实施例1的结构示意图，所述电子设备可以包括：
存储器501，用于存储应用程序与应用程序运行所产生的数据；
采集装置502，用于采集目标区域的RGB图像和深度图像，其中，RGB图像和深度图像中包含目标物体；
当需要在图像中快速准确的提取出感兴趣的物体时，即在图像中快速准确的提取出用户所需的目标物体时，首先对目标区域进行图像采集，分别采集RGB图像和深度图像。在采集RGB图像时，可以通过RGB摄像头对目标区域进行拍摄，得到RGB图像。在采集深度图像时，可以通过深度摄像头对目标区域进行拍摄，得到深度图像。需要说明的是，拍摄得到的RGB图像和深度图像中均包含用户需要提取的目标物体。另外，为了使提取到的目标物体更加精确，需要说明的是，在通过RGB摄像头和深度摄像头对目标区域进行拍摄时，RGB摄像头和深度摄像头保持平行同向，之间的距离小于5mm，正对目标区域进行拍摄。
处理器503，用于运行所述应用程序以基于RGB图像和深度图像，提取出目标物体。
当采集到包含目标物体的RGB图像和深度图像后，对RGB图像和深度图像进行相应的图像处理，最终提取出目标物体。
综上所述，在上述实施例中，当需要提取出图像中的目标物体时，首先采集目标区域的RGB图像和深度图像，其中，RGB图像和深度图像中包含目标物体，然后基于RGB图像和深度图像，提取出所述目标物体。本公开同时利用了RGB图像和深度图像的特点，能够快速精确的从图像中提取出目标物体，提升了用户体验。
如图6所示，为本申请公开的一种电子设备实施例2的结构示意图，所述电子设备可以包括：
存储器601，用于存储应用程序与应用程序运行所产生的数据；
采集装置602，采集目标区域的RGB图像和深度图像，其中，RGB图像和深度图像中包含目标物体；
当需要在图像中快速准确的提取出感兴趣的物体时，即在图像中快速准确的提取出用户所需的目标物体时，首先对目标区域进行图像采集，分别采集RGB图像和深度图像。在采集RGB图像时，可以通过RGB摄像头对目标区域进行拍摄，得到RGB图像。在采集深度图像时，可以通过深度摄像头对目标区域进行拍摄，得到深度图像。需要说明的是，拍摄得到的RGB图像和深度图像中均包含用户需要提取的目标物体。另外，为了使提取到的目标物体更加精确，需要说明的是，在通过RGB摄像头和深度摄像头对目标区域进行拍摄时，RGB摄像头和深度摄像头保持平行同向，之间的距离小于5mm，正对目标区域进行拍摄。
处理器603，用于运行所述应用程序以对RGB图像进行物体检测，得到包含目标物体的矩形框的坐标位置，基于矩形框的坐标位置，在深度图像中截取出对应的子图像，从子图像中提取出目标物体。
当采集到包含目标物体的RGB图像和深度图像后，对RGB图像和深度图像进行相应的图像处理，最终提取出目标物体。具体的，先对采集到的RGB图像进行物体检测，根据目标物体的大小，得到相应比例的矩形框，然后得到矩形框的坐标位置。
然后，根据得到的RGB图像中包含目标物体的矩形框的坐标位置，在对应的深度图像中截取到对应的子图像。其中，子图像中包含目标物体。
然后，对得到的子图像进行相应的图像处理，最终提取出用户所需的目标物体。
综上所述，在上述实施例中，当需要提取出图像中的目标物体时，首先采集目标区域的RGB图像和深度图像，其中，RGB图像和深度图像中包含目标物体，然后对RGB图像进行物体检测，得到包含目标物体的矩形框的坐标位置，基于矩形框的坐标位置，在深度图像中截取出对应的子图像，然后从子图像中提取出所述目标物体。本公开同时利用了RGB图像和深度图像的特点，能够快速精确的从图像中提取出目标物体，提升了用户体验。
如图7所示，为本申请公开的一种电子设备实施例3的结构示意图，所述电子设备可以包括：
存储器701，用于存储应用程序与应用程序运行所产生的数据；
采集装置702，采集目标区域的RGB图像和深度图像，其中，RGB图像和深度图像中包含目标物体；
当需要在图像中快速准确的提取出感兴趣的物体时，即在图像中快速准确的提取出用户所需的目标物体时，首先对目标区域进行图像采集，分别采集RGB图像和深度图像。在采集RGB图像时，可以通过RGB摄像头对目标区域进行拍摄，得到RGB图像。在采集深度图像时，可以通过深度摄像头对目标区域进行拍摄，得到深度图像。需要说明的是，拍摄得到的RGB图像和深度图像中均包含用户需要提取的目标物体。另外，为了使提取到的目标物体更加精确，需要说明的是，在通过RGB摄像头和深度摄像头对目标区域进行拍摄时，RGB摄像头和深度摄像头保持平行同向，之间的距离小于5mm，正对目标区域进行拍摄。
处理器703，用于运行所述应用程序以对RGB图像进行卷积操作，得到相应的特征图，在特征图上设置包含目标物体的矩形框，对矩形框进行线性回归，得到矩形框的坐标位置，基于矩形框的坐标位置，在深度图像中截取出对应的子图像，基于子图像的距离信息，去除子图像中的背景，得到目标物体。
当采集到包含目标物体的RGB图像和深度图像后，对RGB图像和深度图像进行相应的图像处理，最终提取出目标物体。具体的，先对采集到的RGB图像进行卷积操作，得到相应的特征图。
然后在特征图上设置不同尺度，不同比例的预选框，根据目标物体的大小，得到相应比例的矩形框。
然后对得到的矩形框进行线性回归，得到精确的矩形框的坐标位置，即，得到目标物体精确的位置。
然后，根据得到的RGB图像中包含目标物体的矩形框的坐标位置，在对应的深度图像中截取到对应的子图像。其中，子图像中包含目标物体。
然后，对得到的子图像进行相应的图像处理，由于深度图像记录的是距离远近的信息，因此，根据在深度图像中截取出的子图像的距离信息，能够去除子图像中的背景，最终提取出用户所需的目标物体。
综上所述，在上述实施例中，当需要提取出图像中的目标物体时，首先采集目标区域的RGB图像和深度图像，其中，RGB图像和深度图像中包含目标物体，然后对RGB图像进行卷积操作，得到相应的特征图；在特征图上设置包含目标物体的矩形框，对矩形框进行线性回归，得到矩形框的坐标位置，基于矩形框的坐标位置，在深度图像中截取出对应的子图像，然后基于子图像的距离信息，去除子图像中的背景，得到所述目标物体。本公开同时利用了RGB图像和深度图像的特点，能够快速精确的从图像中提取出目标物体，提升了用户体验。
如图8所示，为本申请公开的一种电子设备实施例4的结构示意图，所述电子设备可以包括：
存储器801，用于存储应用程序与应用程序运行所产生的数据；
采集装置802，采集目标区域的RGB图像和深度图像，其中，RGB图像和深度图像中包含目标物体；
当需要在图像中快速准确的提取出感兴趣的物体时，即在图像中快速准确的提取出用户所需的目标物体时，首先对目标区域进行图像采集，分别采集RGB图像和深度图像。在采集RGB图像时，可以通过RGB摄像头对目标区域进行拍摄，得到RGB图像。在采集深度图像时，可以通过深度摄像头对目标区域进行拍摄，得到深度图像。需要说明的是，拍摄得到的RGB图像和深度图像中均包含用户需要提取的目标物体。另外，为了使提取到的目标物体更加精确，需要说明的是，在通过RGB摄像头和深度摄像头对目标区域进行拍摄时，RGB摄像头和深度摄像头保持平行同向，之间的距离小于5mm，正对目标区域进行拍摄。
处理器803，用于运行所述应用程序以对RGB图像进行卷积操作，得到相应的特征图，在特征图上设置包含目标物体的矩形框，对矩形框进行线性回归，得到矩形框的坐标位置，基于矩形框的坐标位置，在深度图像中截取出对应的子图像，将子图像的每一个像素与预设阈值相比较，将大于预设阈值的像素重新设置为零。
当采集到包含目标物体的RGB图像和深度图像后，对RGB图像和深度图像进行相应的图像处理，最终提取出目标物体。具体的，先对采集到的RGB图像进行卷积操作，得到相应的特征图。
然后在特征图上设置不同尺度，不同比例的预选框，根据目标物体的大小，得到相应比例的矩形框。
然后对得到的矩形框进行线性回归，得到精确的矩形框的坐标位置，即，得到目标物体精确的位置。
然后，根据得到的RGB图像中包含目标物体的矩形框的坐标位置，在对应的深度图像中截取到对应的子图像。其中，子图像中包含目标物体。
然后，对得到的子图像进行相应的图像处理，由于深度图像记录的是距离远近的信息，因此，根据在深度图像中截取出的子图像的距离信息，能够去除子图像中的背景。具体的，设置一个预设阈值，然后将子图像中的每一个像素与预设阈值进行比较，将大于预设阈值的像素的值重新设置为零，剩下的即为目标物体的精确轮廓，最终提取出用户所需的目标物体。
综上所述，在上述实施例中，当需要提取出图像中的目标物体时，首先采集目标区域的RGB图像和深度图像，其中，RGB图像和深度图像中包含目标物体，然后对RGB图像进行卷积操作，得到相应的特征图；在特征图上设置包含目标物体的矩形框，对矩形框进行线性回归，得到矩形框的坐标位置，基于矩形框的坐标位置，在深度图像中截取出对应的子图像，然后将所述子图像的每一个像素与预设阈值相比较，将大于所述预设阈值的像素重新设置为零。本公开同时利用了RGB图像和深度图像的特点，能够快速精确的从图像中提取出目标物体，提升了用户体验。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本公开。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种图像处理方法，包括：
采集目标区域的RGB图像和深度图像，其中，所述RGB图像和所述深度图像中包含目标物体；
基于所述RGB图像和所述深度图像，提取出所述目标物体。
2.根据权利要求1所述的方法，所述基于所述RGB图像和所述深度图像，提取出所述目标物体包括：
对所述RGB图像进行物体检测，得到包含所述目标物体的矩形框的坐标位置；
基于所述矩形框的坐标位置，在所述深度图像中截取出对应的子图像；
从所述子图像中提取出所述目标物体。
3.根据权利要求2所述的方法，所述对所述RGB图像进行物体检测，得到包含所述目标物体的矩形框的坐标位置包括：
对所述RGB图像进行卷积操作，得到相应的特征图；
在所述特征图上设置包含所述目标物体的矩形框；
对所述矩形框进行线性回归，得到所述矩形框的坐标位置。
4.根据权利要求3所述的方法，所述从所述子图像中提取出所述目标物体包括：
基于所述子图像的距离信息，去除所述子图像中的背景，得到所述目标物体。
5.根据权利要求4所述的方法，所述基于所述子图像的距离信息，去除所述子图像中的背景，得到所述目标物体包括：
将所述子图像的每一个像素与预设阈值相比较，将大于所述预设阈值的像素重新设置为零。
6.一种电子设备，包括：
采集装置，用于采集目标区域的RGB图像和深度图像，其中，所述RGB图像和所述深度图像中包含目标物体；
存储器，用于存储应用程序与应用程序运行所产生的数据；
处理器，用于运行所述应用程序以基于所述RGB图像和所述深度图像，提取出所述目标物体。
7.根据权利要求6所述的设备，所述处理器在执行基于所述RGB图像和所述深度图像，提取出所述目标物体时，具体用于：
对所述RGB图像进行物体检测，得到包含所述目标物体的矩形框的坐标位置；
基于所述矩形框的坐标位置，在所述深度图像中截取出对应的子图像；
从所述子图像中提取出所述目标物体。
8.根据权利要求7所述的设备，所述处理器在执行对所述RGB图像进行物体检测，得到包含所述目标物体的矩形框的坐标位置时，具体用于：
对所述RGB图像进行卷积操作，得到相应的特征图；
在所述特征图上设置包含所述目标物体的矩形框；
对所述矩形框进行线性回归，得到所述矩形框的坐标位置。
9.根据权利要求8所述的设备，所述处理器在执行从所述子图像中提取出所述目标物体时，具体用于：
基于所述子图像的距离信息，去除所述子图像中的背景，得到所述目标物体。
10.根据权利要求9所述的设备，所述处理器在基于所述子图像的距离信息，去除所述子图像中的背景，得到所述目标物体时，具体用于：
将所述子图像的每一个像素与预设阈值相比较，将大于所述预设阈值的像素重新设置为零。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811550265.3A CN109636814A (zh) | 2018-12-18 | 2018-12-18 | 一种图像处理方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811550265.3A CN109636814A (zh) | 2018-12-18 | 2018-12-18 | 一种图像处理方法及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109636814A true CN109636814A (zh) | 2019-04-16 |
Family
ID=66075148
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811550265.3A Pending CN109636814A (zh) | 2018-12-18 | 2018-12-18 | 一种图像处理方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109636814A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110570460A (zh) * | 2019-09-06 | 2019-12-13 | 腾讯云计算（北京）有限责任公司 | 目标跟踪方法、装置、计算机设备及计算机可读存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103971116A (zh) * | 2014-04-24 | 2014-08-06 | 西北工业大学 | 基于Kinect的感兴趣区域检测方法 |
| CN106447677A (zh) * | 2016-10-12 | 2017-02-22 | 广州视源电子科技股份有限公司 | 图像处理方法和装置 |
| CN107369158A (zh) * | 2017-06-13 | 2017-11-21 | 南京邮电大学 | 基于rgb‑d图像的室内场景布局估计及目标区域提取方法 |
| WO2018089210A1 (en) * | 2016-11-09 | 2018-05-17 | Konica Minolta Laboratory U.S.A., Inc. | System and method of using multi-frame image features for object detection |
| CN108154465A (zh) * | 2017-12-19 | 2018-06-12 | 北京小米移动软件有限公司 | 图像处理方法及装置 |
| CN108171748A (zh) * | 2018-01-23 | 2018-06-15 | 哈工大机器人（合肥）国际创新研究院 | 一种面向机器人智能抓取应用的视觉识别与定位方法 |
| CN108596947A (zh) * | 2018-03-27 | 2018-09-28 | 南京邮电大学 | 一种适用于rgb-d相机的快速目标跟踪方法 |
| CN108881730A (zh) * | 2018-08-06 | 2018-11-23 | 成都西纬科技有限公司 | 图像融合方法、装置、电子设备及计算机可读存储介质 |
-
2018
- 2018-12-18 CN CN201811550265.3A patent/CN109636814A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103971116A (zh) * | 2014-04-24 | 2014-08-06 | 西北工业大学 | 基于Kinect的感兴趣区域检测方法 |
| CN106447677A (zh) * | 2016-10-12 | 2017-02-22 | 广州视源电子科技股份有限公司 | 图像处理方法和装置 |
| WO2018089210A1 (en) * | 2016-11-09 | 2018-05-17 | Konica Minolta Laboratory U.S.A., Inc. | System and method of using multi-frame image features for object detection |
| CN107369158A (zh) * | 2017-06-13 | 2017-11-21 | 南京邮电大学 | 基于rgb‑d图像的室内场景布局估计及目标区域提取方法 |
| CN108154465A (zh) * | 2017-12-19 | 2018-06-12 | 北京小米移动软件有限公司 | 图像处理方法及装置 |
| CN108171748A (zh) * | 2018-01-23 | 2018-06-15 | 哈工大机器人（合肥）国际创新研究院 | 一种面向机器人智能抓取应用的视觉识别与定位方法 |
| CN108596947A (zh) * | 2018-03-27 | 2018-09-28 | 南京邮电大学 | 一种适用于rgb-d相机的快速目标跟踪方法 |
| CN108881730A (zh) * | 2018-08-06 | 2018-11-23 | 成都西纬科技有限公司 | 图像融合方法、装置、电子设备及计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 邵婷: "RGB-D图像的显著目标检测方法研究及其应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110570460A (zh) * | 2019-09-06 | 2019-12-13 | 腾讯云计算（北京）有限责任公司 | 目标跟踪方法、装置、计算机设备及计算机可读存储介质 |
| CN110570460B (zh) * | 2019-09-06 | 2024-02-13 | 腾讯云计算（北京）有限责任公司 | 目标跟踪方法、装置、计算机设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110569699B (zh) | 对图片进行目标采样的方法及装置 | |
| CN109670474A (zh) | 一种基于视频的人体姿态估计方法、装置及设备 | |
| CN110781859B (zh) | 图像标注方法、装置、计算机设备和存储介质 | |
| WO2016101767A1 (zh) | 图片裁剪的方法和装置以及图片检测方法和装置 | |
| CN105678288A (zh) | 目标跟踪方法和装置 | |
| US9442565B2 (en) | System and method for determining distracting features in a visual display | |
| WO2021184847A1 (zh) | 一种遮挡车牌字符识别方法、装置、存储介质和智能设备 | |
| CN104570077B (zh) | 一种逆时偏移偏移距域共成像点道集提取方法 | |
| CN107622497A (zh) | 图像裁剪方法、装置、计算机可读存储介质和计算机设备 | |
| CN105809658A (zh) | 关心区域设定方法及装置 | |
| CN112036317A (zh) | 一种人脸图像截取方法、装置及计算机设备 | |
| CN103985130A (zh) | 一种针对复杂纹理图像的图像显著性分析方法 | |
| CN109902768A (zh) | 光学字符识别技术的输出结果的处理 | |
| CN109636814A (zh) | 一种图像处理方法及电子设备 | |
| CN106293369B (zh) | 基于弹幕的交互方法、交互装置及用户设备 | |
| KR102610900B1 (ko) | 골프공 오버헤드 검출방법, 시스템 및 저장매체 | |
| CN105868757A (zh) | 一种图像文字中的文字定位方法及装置 | |
| CN112446361A (zh) | 一种训练数据的清洗方法及设备 | |
| CN102622596A (zh) | 面向生物特征识别的交互式定位方法 | |
| CN112066998A (zh) | 用于航线地图的渲染方法及系统 | |
| CN112097776A (zh) | 用于提高航线地图渲染效率的方法及系统 | |
| CN106528802A (zh) | 一种数据采集方法及装置 | |
| CN110378930A (zh) | 运动目标提取方法、装置和电子设备及可读存储介质 | |
| CN109684950A (zh) | 一种处理方法及电子设备 | |
| CN109920032A (zh) | 基于字体生成图标的方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190416 |
|
| RJ01 | Rejection of invention patent application after publication |