CN111179332B - 图像处理方法及装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种图像处理方法及装置、电子设备及存储介质。所述方法包括：获得3D图像，其中，所述3D图像包括：2D图像和与所述2D图像对应的深度图像；根据所述2D图像确定目标的2D特征；根据所述深度图像，获得所述目标的深度值；结合所述2D特征及所述深度值，确定所述目标所对应采集对象的几何特征。

Description

图像处理方法及装置、电子设备及存储介质

技术领域

本发明涉及电子技术领域，尤其涉及一种图像处理方法及装置、电子设备及存储介质。

背景技术

随着电子技术的发展，电子设备上集成的功能也越来越强大。例如，电子设备上集成有图像采集模组，图像采集模组可以采集图像，采集的图像可以是二维的平面图像或者三维的立体图像。如何利用图像采集模组的功能，满足用户更多的需求，以更好的利用电子设备的软硬件资源，和/或，提高用户使用电子设备的体验，是现有技术进一步需要解决的问题。

发明内容

本发明实施例期望提供一种图像处理方法及装置、电子设备及存储介质。

本发明的技术方案是这样实现的：

一种图像处理方法，包括：

获得3D图像，其中，所述3D图像包括：2D图像和与所述2D图像对应的深度图像；

根据所述2D图像确定目标的2D特征；

根据所述深度图像，获得所述目标的深度值；

结合所述2D特征及所述深度值，确定所述目标所对应采集对象的几何特征。

基于上述方案，所述结合所述2D特征及所述深度值，确定所述目标所对应采集对象的几何特征，包括：

利用所述2D特征及深度值，获得所述采集对象在3D空间内的3D特征；

基于所述3D特征，获得所述几何特征。

基于上述方案，所述基于所述3D特征，获得所述几何特征，包括：

基于所述3D特征，获得所述目标的形状；

和/或，

基于所述3D特征，获得所述目标的尺寸。

基于上述方案，所述根据所述2D图像确定目标的2D特征，包括：

获得所述目标的形状；

获得包含所述目标的目标区域；

对所述目标区域进行处理获得所述目标的关键点在所述2D图像中的实际2D坐标。

基于上述方案，所述获得所述目标的形状，包括：

通过第一类检测模块检测第1帧2D图像获得所述目标的形状；

所述获得包含所述目标的目标区域，包括：

利用所述第一类检测模块确定所述第1帧2D图像的所述目标区域。

基于上述方案，所述利用所述第一类检测模块确定所述第1帧2D图像的所述目标区域，包括：

根据所述目标的形状，确定出所述目标的形状所对应的外接框；

基于所述外接框确定所述目标区域。

基于上述方案，所述方法还包括：

对第M-1帧2D图像得到的关键点的实际2D坐标，及所述目标所对应形状的期望2D坐标，得到第一变换矩阵；其中，M为大于1的正整数；

所述获得包含所述目标的目标区域，包括：

根据所述第一变换矩阵，确定出第M帧2D图像中包含所述目标的目标区域。

基于上述方案，所述对第M-1帧2D图像得到的关键点的实际2D坐标，及所述目标所对应形状的期望2D坐标，得到第一变换矩阵，包括：

对第M-1帧2D图像得到的关键点的实际2D坐标，及所述目标所对应形状透视变化后的期望2D坐标，得到第一透视变换矩阵；

所述根据所述第一变换矩阵，确定出第M帧2D图像中包含所述目标的目标区域，包括：

根据所述第一透视变换矩阵，确定出第M帧2D图像中包含所述目标的目标区域。

基于上述方案，所述方法还包括：

基于第1帧2D图像得到的关键点的实际2D坐标，及所述目标所对应形状的期望2D坐标，得到第二变换矩阵；

所述获得包含所述目标的目标区域，包括：

根据所述第二变换矩阵，确定出第N帧2D图像中包含所述目标的目标区域，N为大于1的正整数。

一种图像处理装置，包括：

第一采集模块，用于获得3D图像，其中，所述3D图像包括：2D图像和与所述2D图像对应的深度图像；

第一确定模块，用于根据所述2D图像确定目标的2D特征；

第二获得模块，用于根据所述深度图像，获得所述目标的深度值；

第二确定模块，用于结合所述2D特征及所述深度值，确定所述目标所对应采集对象的几何特征。

基于上述方案，所述第二确定模块，具体用于利用所述2D特征及深度值，获得所述采集对象在3D空间内的3D特征；基于所述3D特征，获得所述几何特征。

基于上述方案，所述第二获得模块，具体用于基于所述3D特征，获得所述目标的形状；和/或，基于所述3D特征，获得所述目标的尺寸。

基于上述方案，所述第一确定模块，具体用于获得所述目标的形状；获得包含所述目标的目标区域；对所述目标区域进行处理获得所述目标的关键点在所述2D图像中的实际2D坐标。

基于上述方案，所述第一确定模块，具体用于通过第一类检测模块检测第1帧2D图像获得所述目标的形状；利用所述第一类检测模块确定所述第1帧2D图像的所述目标区域。

基于上述方案，所述利用所述第一类检测模块确定所述第1帧2D图像的所述目标区域，包括：

根据所述目标的形状，确定出所述目标的形状所对应的外接框；

基于所述外接框确定所述目标区域。

基于上述方案，所述装置还包括：第三获得模块，用于对第M-1帧2D图像得到的关键点的实际2D坐标，及所述目标所对应形状的期望2D坐标，得到第一变换矩阵；其中，M为大于1的正整数；

所述第二获得模块，具体用于根据所述第一变换矩阵，确定出第M帧2D图像中包含所述目标的目标区域。

基于上述方案，所述第三获得模块，具体用于对第M-1帧2D图像得到的关键点的实际2D坐标，及所述目标所对应形状透视变化后的期望2D坐标，得到第一透视变换矩阵；

所述第二获得模块，具体用于根据所述第一透视变换矩阵，确定出第M帧2D图像中包含所述目标的目标区域。

基于上述方案，所述装置还包括：

第三获得模块，用于对第M-1帧2D图像得到的关键点的实际2D坐标，及所述目标所对应形状的期望2D坐标，得到第一变换矩阵；其中，M为大于1的正整数；

所述第二获得模块，具体用于根据所述第一变换矩阵，确定出第M帧2D图像中包含所述目标的目标区域。

一种图像处理设备，包括：

存储器，

处理器，与所述存储器连接，用于通过执行存储在所述存储器上的计算机可执行指令，实现前述一个或多个技术方案提供的图像处理方法。

一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令被执行后，能够实现前述一个或多个技术方案提供的图像处理方法。

本发明实施例提供的技术方案，在获得3D图像之后，会从2D图像中确定出目标的2D特征，然后结合深度图像提供的深度值，得到目标所对应采集对象的几何特征，例如，尺寸和/或形状等，如此，用户利用能够采集3D图像的图像设备，就能够不用尺子的情况下，了解到采集对象的尺寸等几何特征；丰富了图像设备的功能，提升了用户使用电子设备的满意度。

附图说明

图1为本发明实施例提供的第一种图像处理方法的流程示意图；

图2为本发明实施例提供的第二种图像处理方法的流程示意图；

图3为本发明实施例提供的一种3D图像的采集示意图；

图4为本发明实施例提供的一种图像处理方法的流程示意图；

图5A为本发明实施例提供的另一种图像处理方法的流程示意图；

图5B为本发明实施例提供的再一种图像处理方法的流程示意图；

图6为本发明实施例提供的一种图像处理设备的结构示意图；

图7为本发明实施例提供的再一种图像处理设备的结构示意图。

具体实施方式

以下结合说明书附图及具体实施例对本发明的技术方案做进一步的详细阐述。

如图1所示，本实施例提供一种图像处理方法，包括：

步骤S110：获得3D图像，其中，所述3D图像包括：2D图像和深度图像；

步骤S120：根据所述2D图像确定目标的2D特征；

步骤S130：根据所述深度图像，获得所述目标的深度值；

步骤S140：结合所述2D特征及所述深度值，确定所述目标所对应采集对象的几何特征。

本实施例提供的图像处理方法可应用于能够获得3D图像的任意电子设备中。该电子设备可为手机、平板电脑或可穿戴设备等各种移动终端。

在步骤S110中获取3D图像可包括：图像设备利用3D摄像头采集所述3D图像，也可以从其他设备接收所述3D图像。

所述3D摄像头可包括：

第一采集模组，用于采集所述2D图像；

第二采集模组，用于采集深度图像。

例如，所述第一采集模组可为普通的可见光摄像头，可以采集可见光形成的图像，如此，可以得到人类肉眼可见的图像。

在一些实施例中，所述第二采集模组可为红外模组，该红外模组可以发射检测光，并接收作用于采集对象反射回的检测光，基于检测光的传播速度、发射时间和接收时间，可以计算出采集对象相对于3D摄像头的距离，从而得到所述深度图像。该检测光可为各种类型的非可见光，如此，可以减少对基于可见光采集的2D图像的图像采集。该非可见光可为：红外光或紫外光。按照光形成的形式，所述检测光还可以是激光等。

在另一些实施例中，第二采集模组还可以发射检测光的图像采集模组；检测光以标准图案投射到采集对象上，采集对象由于表明高低起伏及距离摄像头远近的不同，第二采集模组可以采集到变形后的标准图案，根据期望图案和实际采集图案获得实际图案的形变参数，再结合形变参数及采集参数，可以生成所述深度图像。该形变参数可包括：形变量和/或形变方向等。

总之，生成深度图像的方式有很多种。

所述2D图像中包含颜色像素。所述颜色像素的像素值为颜色值。例如，所述颜色值是红/绿/蓝(RGB)值或者是明亮度/色度/浓度(YUV)值。

所述深度图像包含深度像素，所述深度像素的像素值为深度值。所述深度值可为表示距离远近的距离值，例如，该距离值可为欧式距离的距离值，精确度可为分米、厘米或毫米等。

在一些实施例中，所述2D图像和深度图像的图像尺寸是一致，例如，所述2D图像和深度图像所包含的像素均为W*H个；W表示第一方向上包括的像素个数，H表示第二方向上包括的像素个数。W和H均为正整数。

在一些实施例中，所述2D图像和所述深度图像，可为同一个时刻采集的图像；为了减少数据量，所述2D图像和所述深度图像的图像尺寸，满足预设关系。例如，深度图像所包含的像素为W*H个，深度图像包含的像素为(W/a)*(H/b)。如此，一个深度像素对应了a*b个颜色像素。在进行3D图像采集时，可以根据一个深度像素的像素值应用于a*b个相邻颜色像素的像素值。譬如，(W/a)*(H/b)等于(W/2)*(H/2)。如此，一个深度像素对应了4个颜色像素。在进行3D图像采集时，可以根据一个深度像素的像素值应用于4个相邻颜色像素的像素值；如此，就减少了深度图像的图像数据量；减少深度图像采集的延时。

在本实施例中，在步骤S120中会根据2D图像确定目标的2D特征，该2D特征可为目标在2D图像中呈现出的特征，例如，目标在2D图像中所在的2D坐标，例如，目标在2D图像中呈现的形状等。

在步骤S130中，可以从深度图像中提取出目标的深度值。例如，定位出了目标在2D图像中的坐标之后，就可以根据2D图像与深度图像之间的对应关系，从深度图像的深度像素中提取出深度值。

在步骤S140中，可结合2D坐标和深度值通过三维建模等方式，还原出目标在3D空间内的状态，从而获得目标在三维空间内的各个关键点的3D坐标，基于3D坐标就可以计算出目标各个维度的尺寸和/或精确定位出目标的形状等。

在本实施例中，所述采集对象的关键点可为采集对象的表现几何特征的点。例如，对于柱状体而言，则柱状体的关键点可为两个端面所对应圆周且平行于轴线的直线上的点。对于圆柱体的端面而言，则关键点可为圆形端面的中心点和一条直径上的两个点。

在一些实施例中，在步骤S140中需要结合2D图像的采集参数(例如，焦距及景深)等可以换算出目标与3D摄像头的远近及透视关系，然后才可以精准确定出目标所对应采集对象的几何特征。

如此，若用户无需携带尺子等设备，就可以通过包含有3D摄像头的手机或平板等移动终端，通过拍照功能就能够得到一个采集对象的尺寸等数据。

例如，用户利用手机，以门框为采集对象采集了3D图像，手机就能够测量出门框的高度、宽度及厚度等尺寸参数，如此，用户需要购买适配于该门框的门时，就不用利用尺子自行测量了，显然提升了移动终端的性能和用户满意度。门框就是所述采集对象，门框在2D图像中的成像即为目标。

通过图像设备测量，相对于人工利用尺子进行测量，可以减少人为误差，提升测量精确度。

图3所示为用户持手机采集一辆车的3D图像，手机就可以通过执行图1所示的步骤S110至步骤S120可以得到该车的尺寸，例如，测量出该车的长度和高度等。

在一些实施例中，如图2所示，所述步骤S140可包括：

步骤S141：利用所述2D特征及深度值，获得所述采集对象在3D空间内的3D特征；

步骤S142：基于所述3D特征，获得所述几何特征。

在本实施例中，所述3D特征包括不限于3D坐标。例如，获得采集对象的关键点的3D坐标。若，采集对象为一张矩形或近似矩形的桌子，则该桌子的关键点的3D坐标可为：该桌子的各个角的顶点的3D坐标。若知道了该桌子的各个角的顶点的3D坐标，就可以基于各个3D坐标计算出桌子的高度、宽度及长度等几何特征。在一些实施例中，还可以根据高度、宽度和长度之间的对应关系，可以确定出该桌子是一个长方形桌子，还是一个正方形桌子等形状。

故在一些实施例中，所述步骤S142可包括：基于所述3D特征，获得所述目标的形状；和/或，基于所述3D特征，获得所述目标的尺寸。

在一些实施例中，所述步骤S110可包括：

获得所述目标的形状；

获得包含所述目标的目标区域；

对所述目标区域进行处理获得所述目标的关键点在所述2D图像中的实际2D坐标。

在一些实施例中，利用具有形状检测功能的第一类检测模块来检测所述目标的形状；所述第一类检测模块可为神经网络等深度学习模块，能够检测目标的形状。若当前帧3D图像来自于同一个采集对象的视频，则可以基于历史帧中确定出的目标的形状，视为当前帧3D图像中的目标的形状。

将切割所述2D图像，仅提取出包含目标2D图像的目标区域即可；一方面减少了后续精确获取关键点的2D坐标处理的数据量；另一方面减少干扰提升后续的处理精确度。

不同形状的目标具有不同的关键点，以多边形为例，则关键点可为：多边形角的角点，例如，以矩形或类似矩形为例，则关键点可为：矩形或类似矩形的四个角的角点。以圆形为例，则关键点可为：圆形的圆心和圆周上的预定个数的点；以椭圆性为例，则关键点可为：椭圆形的中心点及长轴和短轴的端点。

大概定位出目标在2D图像的位置，以获取到包含目标的目标区域。如图4所示，将2D图像输入到第一类检测模块，该第一类检测模块可为神经网络等各种深度学习模型形成的具有信息处理的模块，能够检测到目标在2D图像中所在的位置和目标的形状。以图3以车为采集对象为例，则目标为汽车在2D图像中的成像。该汽车可认为是多个矩形叠加而成，则该汽车检测的形状可为矩形。获得该车成像的外接框，从而获得目标区域。由于汽车成像为矩形，则将目标区域对应的图像输入到矩形模块中，由矩形模块提取出汽车的2D特征，例如，汽车成像在2D图像中的图像坐标的位置等。

在图4中展示的第二类检测模块有多个，不同的第二类检测模块能够精确定位出对应形状目标的关键点；第二类检测模块可包括：第二类检测模块1到第二类检测模块n。n为不小于2的正整数。此处的第二类检测模块可包括以下至少之一：能够检测圆形或近似圆形的圆形检测模块、能够检测矩形或者近似矩形的矩形检测模块、能够检测三角形或近似三角形的三角形检测模块等。

由第一类检测模块定位出目标在2D图像的区域之后，实现了目标的初步定位，基于初步定位切割2D图像从而获得所述目标区域。将2D图像的目标区域输入到对应的第二类检测模块之后，第二类检测模块能够基于像素粒度的确定出目标的关键点的2D特征。基于确定出的2D特征和深度图像提供的深度值，就可以实现采集对象在三维空间内的恢复，从而根据三维空间内恢复的采集对象，得到该采集对象的几何特征。

在一些实施例中，所述获得所述目标的形状可包括：

通过第一类检测模块检测第1帧2D图像获得所述目标的形状；

所述获得包含所述目标的目标区域，包括：

利用所述第一类检测模块确定所述第1帧2D图像的所述目标区域。

若多个3D图像形成了一个3D视频，则针对首帧用第一类检测模块来检测形状和目标区域。例如，通过具有形状检测功能的神经网络等深度学习算法训练的第一类检测模块，可以检测出目标的形状，该第一类检测模块还可以同时得到目标所在的目标区域。例如，若检测出目标的形状之后，可以基于检测得到的形状在2D图像中划出该目标的外接框，则该外接框所包围的区域即可为所述目标区域。或者，基于所述外接框向外扩展预定个像素之后形成的区域，即为所述目标区域。

故在一些实施例中，所述利用所述第一类检测模块确定所述第1帧2D图像的所述目标区域，包括：根据所述目标的形状，确定出所述目标的形状所对应的外接框；基于所述外接框确定所述目标区域。

在一些实施例中，所述方法还包括：

对第M-1帧2D图像得到的关键点的实际2D坐标，及所述目标所对应形状的期望2D坐标，得到第一变换矩阵；其中，M为大于1的正整数；在一些实施例中所述第一变换矩阵可为标准图像采集过程中透视变换的第一变换矩阵，则此时，所述期望2D坐标可为目标所对应形状在透视变换后的期望2D坐标；

所述获得包含所述目标的目标区域，包括：

根据所述第一变换矩阵，确定出第M帧2D图像中包含所述目标的目标区域。

在一些实施例中，将对每一帧得到实际2D坐标之后获得一个第一变换矩阵，后一帧基于前一帧的第一变换矩阵来确定所述目标区域；如此，一方面减少了第一类检测模块的检测，另一方面可以尽可能的减少目标丢失现象。

以检测出目标为一个矩形为例，该目标在2D图像中呈现出一端大及一端小的透视现象，则同样会影响所述实际2D坐标。在本实施例中，可以基于实际2D坐标可以得到不产生透视现象时的期望2D坐标。基于实际2D坐标和期望2D坐标，可以拟合出一个透视变换矩阵，该透视变换矩阵即可为所述第一变换矩阵的一种。在一些实施例中，导致采集对象在2D图像中发生形变的，除了透视以外还可能是光照情况，如此，在本实施例中所述第二变换矩阵不局限于透视，是可以各种现象导致的形变矩阵。

在一些实施例中，为了减少计算量并加速处理，所述方法还包括：

基于第1帧2D图像得到的关键点的实际2D坐标，及所述目标所对应形状的期望2D坐标，得到第二变换矩阵。

由于采集角度及采集对象与摄像头之间的相对位置关系，即便是标准形状的采集对象，在2D图像中也可能存在出现一些变形，例如，产生透视现象形成的变形。

此时，为了减少第一类检测模块的检测负荷，所述获得包含所述目标的目标区域，包括：

根据所述第二变换矩阵，确定出第N帧2D图像中包含所述目标的目标区域，N为大于1的正整数。

例如，将第二变换矩阵与第N帧2D图像相乘等处理，就可以得到所述目标区域。

若同一个3D视频中的3D图像，由于采集间隔时间短，3D摄像头和采集对象之间的相对位置变化小，如此可以基于这种变化量小及连续变化，可以利用首帧3D图像得到的第二变换矩阵来快速得到目标区域。由于是对同一个采集对象的3D图像，第N帧2D图像中目标的形状，也可以是基于第1帧2D图像的形状检测结果来确定。

例如，在对实际空间中某一个灯进行尺寸检测，则可能拍摄了一个S帧的3D视频，该3D视频的S帧可为3、4或5帧等，且由于采集间隔端，3D摄像头和灯之间的相对位置保持一致。故第2帧2D图像和第S帧2D图像都可以基于第1帧2D图像所对应的第二变换矩阵来确定所述目标区域。

在一些实施例中，所述第二变换矩阵也可以包括表征透视变换的第二透视变换矩阵。

图5A中所示的首帧2D图像可来自3D视频中的第1帧3D图像。与首帧2D图像对应的深度图像为第1帧3D图像包括的深度图像，即首帧深度图像。如图5A所示，首帧2D图像通过第一类检测模块之后，会输出形状和目标区域给到第二类检测模块，由第二类检测模块中检测对应形状的检测模块，输出首帧图像的第一2D特征，该第一2D特征可包括：目标在首帧2D图像中的真实2D坐标，将第一2D坐标和目标所对应的深度值，输入到后续处理模块，进行采集对象在三维空间内的恢复。

非首帧2D图像为首帧2D图像以外的2D图像；非首帧2D图像的对应深度图像为非首帧深度图像。

在图5B中可知，每一个图像帧都会结合其实际检测的第一2D特征和期望2D特征得到第二变换矩阵，用于下一帧2D图像的目前区域的定位。

如图5B所示，当前帧2D图像的第一变换矩阵，用于与下一帧2D图像得到形状和目标区域，输入到第二类检测模块中，第二类检测模块会输出变换后(例如，透视变换后)的2D特征，将变换后的2D特征基于前一帧的2D图像对应的第一变换矩阵进行逆变换，基于得到目标在当前帧2D图像中的实际2D特征(即所述第一2D特征)，然后基于第一2D特征和期望2D坐标，得到当前帧2D图像的第一变换矩阵，用于下一帧2D图像，同时第一2D特征和目标的深度值一同用于采集对象在三维空间内的恢复，得到几何特征。

在一些实施例中，若步骤S110中的3D图像来自3D视频或者一个3D图像集合，则可能有P张3D图像，将得到P个几何特征。此时，所述方法还包括：

根据预设处理方式，基于P个几何特征得到最后的几何特征，例如，检测到5个尺寸，基于这5个尺寸得到采集对象的最终尺寸。

所述根据预设处理方式，基于P个几何特征得到最后的几何特征，包括但不限于以下至少之一：

求取所述P个尺寸的均值，得到最后的尺寸；

求取P个形状的交集，若包含在交集内的形状为最后的形状；

去除P个结合特征中的异常值，基于剔除了异常值以外的正常值，确定最后的几何特征。例如，以尺寸为例，求取P个尺寸的方差，基于方差计算出相对于均值大于方差所限定的波动范围以外的异常值，再计算位于波动范围内的正常值的均值。

在一些实施例中，所述方法还包括：

识别所述目标所对应采集对象的类别；

根据所述采集对象的类别、所述2D特征及所述深度值，获得所述采集对象的几何特征。

所述采集对象的类别可包括：

活动对象；

静止对象。

若所述采集对象为活动对象，则由于物体的活动使得采集对象的几何特征发生变化，若所述采集对象为静止对象，则由于物体相对静止，采集对象的几何特征未发生变化。若以人为例，包括：活动中的人和非活动中的静止的人。

此时，若利用本实施例提供的方法进行人体的身高、腰围等检测时。在本实施例中，首先可以结合3D视频的多帧3D图像中人体成像的姿态确定出被采集的人为活动中的人，还是静止的人。若为活动的人，显然当前的采集对象为活动对象，若为静止的人，则当前的采集对象为静止对象。

若采集对象为活动对象，则从不同姿态或形态的多张3D图像中选择出满足预定几何特征所需的3D图像，执行前述步骤S110至步骤S140。例如，以人为例，需要测量人的身高，则可以根据3D图像中2D图像展示人是否站直，选择出人站直的3D图像执行所述步骤S110至步骤S140，获得人体的身高，如此，可以去除人体未站直时对身高测量精确度的影响。

例如，需要测量人体的上半身高度，则仅需关注图像中人体成像的上半身是否是直的，如果是，则不管当前被采集的人是站着还是坐着都可以。

若采集对象为静止对象，可以从3D图像中随机挑选部分或全部3D图像执行所述步骤S110至步骤S140获得所述几何特征。

如图6所示，本实施例提供一种图像处理装置，包括：

第一采集模块110，用于获得3D图像，其中，所述3D图像包括：2D图像和与所述2D图像对应的深度图像；

第一确定模块120，用于根据所述2D图像确定目标的2D特征；

第二获得模块130，用于根据所述深度图像，获得所述目标的深度值；

第二确定模块140，用于结合所述2D特征及所述深度值，确定所述目标所对应采集对象的几何特征。

在一些实施例中，所述第二确定模块140，具体用于利用所述2D特征及深度值，获得所述采集对象在3D空间内的3D特征；基于所述3D特征，获得所述几何特征。

在一些实施例中，所述第二获得模块130，具体用于基于所述3D特征，获得所述目标的形状；和/或，基于所述3D特征，获得所述目标的尺寸。

在一些实施例中，所述第一确定模块120，具体用于获得所述目标的形状；获得包含所述目标的目标区域；对所述目标区域进行处理获得所述目标的关键点在所述2D图像中的实际2D坐标。

在一些实施例中，所述第一确定模块120，具体用于通过第一类检测模块检测第1帧2D图像获得所述目标的形状；利用所述第一类检测模块确定所述第1帧2D图像的所述目标区域。

在一些实施例中，所述利用所述第一类检测模块确定所述第1帧2D图像的所述目标区域，包括：

根据所述目标的形状，确定出所述目标的形状所对应的外接框；

基于所述外接框确定所述目标区域。

在一些实施例中，所述装置还包括：

第三获得模块，用于对第M-1帧2D图像得到的关键点的实际2D坐标，及所述目标所对应形状的期望2D坐标，得到第一变换矩阵；其中，M为大于1的正整数；

所述第二获得模块130，具体用于根据所述第一变换矩阵，确定出第M帧2D图像中包含所述目标的目标区域。

在一些实施例中，所述第三获得模块，具体用于对第M-1帧2D图像得到的关键点的实际2D坐标，及所述目标所对应形状的期望2D坐标，得到第一透视变换矩阵；其中，M为大于1的正整数；

在一些实施例中，所述装置还包括：

所述第二获得模块130，具体用于根据所述第一透视变换矩阵，确定出第M帧2D图像中包含所述目标的目标区域。

在一些实施例中，所述装置还包括：

第四获得模块，用于基于第1帧2D图像得到的关键点的实际2D坐标，及所述目标所对应形状的期望2D坐标，得到第二变换矩阵；

所述第二获得模块130，还用于根据所述第二变换矩阵，确定出第N帧2D图像中包含所述目标的目标区域，N为大于1的正整数。

如图7所示，本申请实施例提供了一种图像处理设备，包括：

存储器，用于存储信息；

处理器，与所述存储器连接，用于通过执行存储在所述存储器上的计算机可执行指令，能够实现前述一个或多个技术方案提供的图像处理方法，例如，例如，如图1、图2及图4至图5所示的方法中的一个或多个。

该存储器可为各种类型的存储器，可为随机存储器、只读存储器、闪存等。所述存储器可用于信息存储，例如，存储计算机可执行指令等。所述计算机可执行指令可为各种程序指令，例如，目标程序指令和/或源程序指令等。

所述处理器可为各种类型的处理器，例如，中央处理器、微处理器、数字信号处理器、可编程阵列、数字信号处理器、专用集成电路或图像处理器等。

所述处理器可以通过总线与所述存储器连接。所述总线可为集成电路总线等。

在一些实施例中，所述终端设备还可包括：通信接口，该通信接口可包括：网络接口、例如，局域网接口、收发天线等。所述通信接口同样与所述处理器连接，能够用于信息收发。

在一些实施例中，所述图像处理设备还包括3D摄像头，该3D摄像头能够采集3D图像。

在一些实施例中，所述终端设备还包括人机交互接口，例如，所述人机交互接口可包括各种输入输出设备，例如，键盘、触摸屏等。

本申请实施例提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行代码；所述计算机可执行代码被执行后，能够实现前述一个或多个技术方案提供的图像处理方法，例如，例如，如图1图2及图4至图5A及图5B所示的方法中的一个或多个。

所述存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。所述存储介质可为非瞬间存储介质。

本申请实施例提供一种计算机程序产品，所述程序产品包括计算机可执行指令；所述计算机可执行指令被执行后，能够实现前述任意实施提供的图像处理方法，例如，如图1、图2及图4至图5A及图5B所示的方法中的一个或多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (18)

1.一种图像处理方法，其特征在于，包括：

获得3D图像，其中，所述3D图像包括：至少两帧2D图像和与所述2D图像对应的深度图像；

根据所述2D图像确定目标的2D特征；

根据所述深度图像，获得所述目标的深度值；

结合所述2D特征及所述深度值，确定所述目标所对应采集对象的几何特征；其中，

所述根据所述2D图像确定目标的2D特征，包括：

针对所述至少两帧2D图像中的第1帧2D图像，利用第一类检测模块确定所述第1帧2D图像中所述目标的形状并获得包含所述目标的第一目标区域；利用多个第二类检测模块中与所述形状对应的第二类检测模块，确定所述目标的关键点在所述第一目标区域中的实际2D坐标；

基于第1帧2D图像得到的关键点的实际2D坐标，及所述目标所对应形状的期望2D坐标，得到第二变换矩阵；

针对所述至少两帧2D图像中的第N帧2D图像，根据所述第二变换矩阵，确定所述第N帧2D图像中包含所述目标的第二目标区域；利用与所述形状对应的第二类检测模块，确定所述目标的关键点在所述第二目标区域中的实际2D坐标；其中，N为大于1的正整数。

2.根据权利要求1所述的方法，其特征在于，

所述结合所述2D特征及所述深度值，确定所述目标所对应采集对象的几何特征，包括：

利用所述2D特征及深度值，获得所述采集对象在3D空间内的3D特征；

基于所述3D特征，获得所述几何特征。

3.根据权利要求2所述的方法，其特征在于，

所述基于所述3D特征，获得所述几何特征，包括：

基于所述3D特征，获得所述目标的形状；

和/或，

基于所述3D特征，获得所述目标的尺寸。

4.根据权利要求1至3任一项所述的方法，其特征在于，

所述根据所述2D图像确定目标的2D特征，包括：

获得所述目标的形状；

获得包含所述目标的目标区域；

对所述目标区域进行处理获得所述目标的关键点在所述2D图像中的实际2D坐标。

5.根据权利要求4所述的方法，其特征在于，

所述获得所述目标的形状，包括：

通过第一类检测模块检测第1帧2D图像获得所述目标的形状；

所述获得包含所述目标的目标区域，包括：

利用所述第一类检测模块确定所述第1帧2D图像的所述目标区域。

6.根据权利要求5所述的方法，其特征在于，

所述利用所述第一类检测模块确定所述第1帧2D图像的所述目标区域，包括：

根据所述目标的形状，确定出所述目标的形状所对应的外接框；

基于所述外接框确定所述目标区域。

7.根据权利要求5所述的方法，其特征在于，

所述方法还包括：

基于第M-1帧2D图像得到的关键点的实际2D坐标，及所述目标所对应形状的期望2D坐标，得到第一变换矩阵；其中，M为大于1的正整数；

所述获得包含所述目标的目标区域，包括：

根据所述第一变换矩阵，确定出第M帧2D图像中包含所述目标的目标区域。

8.根据权利要求7所述的方法，其特征在于，所述基于第M-1帧2D图像得到的关键点的实际2D坐标，及所述目标所对应形状的期望2D坐标，得到第一变换矩阵，包括：

基于第M-1帧2D图像得到的关键点的实际2D坐标，及所述目标所对应形状透视变化后的期望2D坐标，得到第一透视变换矩阵；

所述根据所述第一变换矩阵，确定出第M帧2D图像中包含所述目标的目标区域，包括：

根据所述第一透视变换矩阵，确定出第M帧2D图像中包含所述目标的目标区域。

9.一种图像处理装置，其特征在于，包括：

第一采集模块，用于获得3D图像，其中，所述3D图像包括：至少两帧2D图像和与所述2D图像对应的深度图像；

第一确定模块，用于根据所述2D图像确定目标的2D特征；

第二获得模块，用于根据所述深度图像，获得所述目标的深度值；

第二确定模块，用于结合所述2D特征及所述深度值，确定所述目标所对应采集对象的几何特征；其中，

所述第一确定模块，用于针对所述至少两帧2D图像中的第1帧2D图像，利用第一类检测模块确定所述第1帧2D图像中所述目标的形状并获得包含所述目标的第一目标区域；利用多个第二类检测模块中与所述形状对应的第二类检测模块，确定所述目标的关键点在所述第一目标区域中的实际2D坐标；

第四获得模块，用于基于第1帧2D图像得到的关键点的实际2D坐标，及所述目标所对应形状的期望2D坐标，得到第二变换矩阵；

第五获得模块，用于针对所述至少两帧2D图像中的第N帧2D图像，根据所述第二变换矩阵，确定所述第N帧2D图像中包含所述目标的第二目标区域；其中，N为大于1的正整数；

所述第一确定模块，还用于利用与所述形状对应的第二类检测模块，确定所述目标的关键点在所述第二目标区域中的实际2D坐标。

10.根据权利要求9所述的装置，其特征在于，

所述第二确定模块，具体用于利用所述2D特征及深度值，获得所述采集对象在3D空间内的3D特征；基于所述3D特征，获得所述几何特征。

11.根据权利要求10所述的装置，其特征在于，

所述第二获得模块，具体用于基于所述3D特征，获得所述目标的形状；和/或，基于所述3D特征，获得所述目标的尺寸。

12.根据权利要求9至11任一项所述的装置，其特征在于，

所述第一确定模块，具体用于获得所述目标的形状；获得包含所述目标的目标区域；对所述目标区域进行处理获得所述目标的关键点在所述2D图像中的实际2D坐标。

13.根据权利要求12所述的装置，其特征在于，

所述第一确定模块，具体用于通过第一类检测模块检测第1帧2D图像获得所述目标的形状；利用所述第一类检测模块确定所述第1帧2D图像的所述目标区域。

14.根据权利要求13所述的装置，其特征在于，

所述利用所述第一类检测模块确定所述第1帧2D图像的所述目标区域，包括：

根据所述目标的形状，确定出所述目标的形状所对应的外接框；

基于所述外接框确定所述目标区域。

15.根据权利要求13所述的装置，其特征在于，所述装置还包括：

第三获得模块，用于基于第M-1帧2D图像得到的关键点的实际2D坐标，及所述目标所对应形状的期望2D坐标，得到第一变换矩阵；其中，M为大于1的正整数；

第四获得模块，具体用于根据所述第一变换矩阵，确定出第M帧2D图像中包含所述目标的目标区域。

16.根据权利要求15所述的装置，其特征在于，

所述第三获得模块，具体用于基于第M-1帧2D图像得到的关键点的实际2D坐标，及所述目标所对应形状的期望2D坐标，得到第一透视变换矩阵；

所述第四获得模块，具体用于根据所述第一透视变换矩阵，确定出第M帧2D图像中包含所述目标的目标区域。

17.一种图像处理设备，其特征在于，包括：

存储器，

处理器，与所述存储器连接，用于通过执行存储在所述存储器上的计算机可执行指令，实现权利要求1至8任一项提供的方法。

18.一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令被执行后，能够实现权利要求1至8任一项提供的方法。