CN113592928A - 图像处理方法、图像处理装置及存储介质 - Google Patents

图像处理方法、图像处理装置及存储介质 Download PDF

Info

Publication number
CN113592928A
CN113592928A CN202110844723.XA CN202110844723A CN113592928A CN 113592928 A CN113592928 A CN 113592928A CN 202110844723 A CN202110844723 A CN 202110844723A CN 113592928 A CN113592928 A CN 113592928A
Authority
CN
China
Prior art keywords
image
target object
contour
information
contour information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110844723.XA
Other languages
English (en)
Inventor
张琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Beijing Xiaomi Pinecone Electronic Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Beijing Xiaomi Pinecone Electronic Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd, Beijing Xiaomi Pinecone Electronic Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN202110844723.XA priority Critical patent/CN113592928A/zh
Publication of CN113592928A publication Critical patent/CN113592928A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本公开是关于一种图像处理方法、图像处理装置及存储介质。所述方法包括确定第一图像中目标对象的当前姿态及所述当前姿态对应的三维空间信息；根据二维平面到三维空间之间的对应关系，将所述三维空间信息映射到二维平面得到第二图像；比对所述第一图像和第二图像，确定出所述第一图像中所述目标对象的轮廓是否完整；在所述第一图像中所述目标对象的轮廓不完整的情况下，根据预设处理方式对所述第一图像进行处理。

Description

图像处理方法、图像处理装置及存储介质
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、图像处理装置及存储介质。
背景技术
随着互联网技术的发展，推荐信息的投放量越来越大，传统的由设计师的人工设计推荐信息的方式，由于其效率较低、成本较高，已经难以满足大批量推荐信息的投放需求。
为了提高处理效率，通常直接将获取的目标对象的图像填充至模板中的目标对象图像位置，生成待推荐信息；但在实际处理中，获取到的目标对象的图像可能为所述目标对象的局部图像，如此，生成的待推荐信息可能存在目标对象的轮廓缺失的问题。
发明内容
为克服相关技术中存在的问题，本公开提供一种图像处理方法、图像处理装置及存储介质。
根据本公开实施例的第一方面，提供一种图像处理方法，包括：
确定第一图像中目标对象的当前姿态及所述当前姿态对应的三维空间信息；
根据二维平面到三维空间之间的对应关系，将所述三维空间信息映射到二维平面得到第二图像；
比对所述第一图像和所述第二图像，确定出所述第一图像中所述目标对象的轮廓是否完整；
在所述第一图像中所述目标对象的轮廓不完整的情况下，根据预设处理方式对所述第一图像进行处理。
在一些实施例中，所述确定第一图像中目标对象的当前姿态，包括：
从所述第一图像中提取出所述目标对象的第一轮廓信息；
获取所述目标对象的三维模型数据，将所述第一轮廓信息和所述三维模型数据输入至匹配网络中，得到第一图像中所述目标对象的当前姿态。
在一些实施例中，所述将所述第一轮廓信息和所述三维模型数据输入至匹配网络中，得到所述第一图像中所述目标对象的当前姿态，包括：
对所述第一轮廓信息进行尺度不变特征变换(Scale-invariant featuretransform，SIFT)特征提取，得到所述第一轮廓信息中关键点的SIFT特征；
对所述三维模型数据进行固有形状特征(Intrinsic Shape Signatures，ISS)提取，得到所述三维模型数据中关键点的ISS特征；
所述匹配网络中的分类模块基于所述目标对象的所述SIFT特征和所述ISS特征，确定出所述第一轮廓信息对应的所述目标对象的当前姿态。
在一些实施例中，所述从所述第一图像中提取出所述目标对象的第一轮廓信息，包括：
对所述第一图像进行语义分割，得到所述第一图像中所述目标对象的所述第一轮廓信息。
在一些实施例中，所述将所述第一轮廓信息和所述三维模型数据输入至匹配网络之前，所述方法还包括：
对所述目标对象的所述第一轮廓信息进行线性化处理；
所述将所述第一轮廓信息和所述三维模型数据输入至匹配网络中，得到所述第一图像中所述目标对象的当前姿态，包括：
将所述线性化处理后的第一轮廓信息和所述三维模型数据输入至匹配网络中，得到所述第一图像中所述目标对象的当前姿态。
在一些实施例中，所述确定出所述目标对象处于所述当前姿态时对应的三维空间信息，包括：
通过旋转，使得目标对象的三维模型处于所述第一图像中所述目标对象的当前姿态；
根据旋转后的目标对象的三维模型，确定出所述目标对象处于当前姿态时对应的三维空间信息。
在一些实施例中，所述比对所述第一图像和所述第二图像，确定出所述第一图像中所述目标对象的轮廓是否完整，包括：
从所述第一图像中提取出所述目标对象的第一轮廓信息；
从所述第二图像中提取出所述目标对象的第二轮廓信息；
基于所述第一轮廓信息和所述第二轮廓信息之间的相似性，确定出所述第一图像中所述目标对象的轮廓是否完整。
在一些实施例中，所述在所述第一图像中所述目标对象的轮廓不完整的情况下，根据预设处理方式对所述第一图像进行处理，包括：
在所述第一图像中所述目标对象的轮廓不完整的情况下，确定出所述第一图像中所述目标对象被截断的边缘；
将所述第一图像中的所述目标对象移动到图像边缘，得到第三图像；其中，所述目标对象被截断的边缘在所述第三图像中与所述第三图像的边缘对齐。
根据本公开实施例的第二方面，提供一种图像处理装置，所述装置包括：
第一确定模块，用于确定第一图像中目标对象的当前姿态及所述当前姿态对应的三维空间信息；
第二确定模块，用于根据二维平面到三维空间之间的对应关系，将所述三维空间信息映射到二维平面得到第二图像；比对所述第一图像和所述第二图像，确定出所述第一图像中所述目标对象的轮廓是否完整；
处理模块，用于在所述第一图像中所述目标对象的轮廓不完整的情况下，根据预设处理方式对所述第一图像进行处理。
在一些实施例中，所述第一确定模块，用于：
从所述第一图像中提取出所述目标对象的第一轮廓信息；
获取所述目标对象的三维模型数据，将所述第一轮廓信息和所述三维模型数据输入至匹配网络中，得到第一图像中所述目标对象的当前姿态。
在一些实施例中，所述第一确定模块还用于：
对所述第一轮廓信息进行尺度不变特征变换SIFT特征提取，得到所述第一轮廓信息中关键点的SIFT特征；
对所述三维模型数据进行固有形状特征ISS提取，得到所述三维模型数据中关键点的ISS特征；
所述匹配网络中的分类模块基于所述目标对象的所述SIFT特征和所述ISS特征，确定出所述第一轮廓信息对应的所述目标对象的当前姿态。
在一些实施例中，所述第一确定模块，用于：
对所述第一图像进行语义分割，得到所述第一图像中所述目标对象的所述第一轮廓信息。
在一些实施例中，所述第一确定模块，还用于：
对所述目标对象的所述第一轮廓信息进行线性化处理；
将所述线性化处理后的第一轮廓信息和所述三维模型数据输入至匹配网络中，得到所述第一图像中所述目标对象的当前姿态。
在一些实施例中，所述第二确定模块，用于：
通过旋转，使得目标对象的三维模型处于所述第一图像中所述目标对象的当前姿态；
根据旋转后的目标对象的三维模型，确定出所述目标对象处于当前姿态时对应的三维空间信息。
在一些实施例中，所述第二确定模块，用于：
从所述第一图像中提取出所述目标对象的第一轮廓信息；
从所述第二图像中提取出所述目标对象的第二轮廓信息；
基于所述第一轮廓信息和所述第二轮廓信息之间的相似性，确定出所述第一图像中所述目标对象的轮廓是否完整。
在一些实施例中，所述处理模块，用于：
在所述第一图像中所述目标对象的轮廓不完整的情况下，确定出所述第一图像中所述目标对象被截断的边缘；
将所述第一图像中的所述目标对象移动到图像边缘，得到第三图像；其中，所述目标对象被截断的边缘在所述第三图像中与所述第三图像的边缘对齐。
根据本公开实施例的第三方面，提供一种图像处理装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：执行所述可执行指令时，实现如本公开实施例的第一方面所述方法中的步骤。
根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由图像处理装置的处理器执行时，使得图像处理装置能够执行如本公开实施例的第一方面所述方法中的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开实施例提供的图像处理方法，通过确定出第一图像中目标对象的当前姿态以及所述当前姿态对应的三维空间信息，将所述三维空间信息映射到二维平面，得到包含有在所述当前姿态下目标对象完整轮廓的第二图像；通过第一图像和第二图像的对比，即可自动识别出第一图像中目标对象的轮廓是否完整，从而能够准确、快速的确定所述第一图像是否为局部图像；并且在所述第一图像中目标对象轮廓不完整的情况下，通过预设处理方式对所述第一图像进行处理；便于后期能够直接基于处理后的第一图像生成待推荐信息，提高处理效率，提升用户体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据本公开一示例性实施例示出的一种图像处理方法流程图一。
图2是根据本公开一示例性实施例示出的一种图像处理方法流程图二。
图3为本公开一示例性实施例示出的一种二维图像与三维模型配准的方法流程示意图。
图4是本公开一示例性实施例提供的一种手机广告信息的生成方法的流程示意图。
图5为本公开一示例性实施例提供的一种待设计的主视图的示意图。
图6为本公开一示例性实施例提供的一种生成的手机广告信息示意图。
图7是根据本公开一示例性实施例示出的一种图像处理装置的结构示意图。
图8是根据本公开一示例性实施例示出的一种图像处理装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在智能营销领域，为了适应于大批量推荐信息的投放需求，通常直接将获取的目标对象的图像填充至推荐信息生成模板中的目标对象图像位置，从而自动生成推荐信息，以提高推荐信息生成效率。
但在实际处理中，由于获取的目标对象的图像可能为所述目标对象的局部图像，若在推荐信息生成过程中不能准确识别出局部图像，对局部图像进行相应处理，可能会导致无法通过上述方式直接生成推荐信息或者生成的推荐信息可能会存在目标对象的轮廓缺失的问题，导致推荐信息的生成效率和生成质量降低。
基于此，本公开实施例提供一种图像处理方法。图1是根据本公开一示例性实施例示出的一种图像处理方法流程图一，如图1所示，所述方法包括以下步骤：
步骤S101，确定出第一图像中目标对象的当前姿态及所述当前姿态对应的三维空间信息；
步骤S102，根据二维平面到三维空间之间的对应关系，将所述三维空间信息映射到二维平面得到第二图像；
步骤S103，比对所述第一图像和所述第二图像，确定出所述第一图像中所述目标对象的轮廓是否完整；
步骤S104，在所述第一图像中所述目标对象的轮廓不完整的情况下，根据预设处理方式对所述第一图像进行处理。
在本公开实施例中，所述图像处理方法可以应用于电子设备，该电子设备可以是固定终端或移动终端，该电子设备可以是智能手机、平板电脑或笔记本电脑等；该电子设备还为服务器，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或分布式系统。
以图像处理方法应用于电子设备为例，电子设备可直接采集第一图像或者可从图像采集设备获取第一图像，并采用S101至S104的步骤对第一图像进行处理，得到处理后的第一图像。
在步骤S101中，获取所述第一图像，对所述第一图像进行图像识别，基于所述图像识别结果，确定出所述第一图像中目标对象的当前姿态；获取所述目标对象的三维模型数据，基于所述第一图像中目标对象的当前姿态，对所述目标对象的三维模型的位置信息进行调整，使得调整后的目标对象的三维模型从初始姿态切换为所述当前姿态。
所述三维模型可从预设应用程序制作或下载得到并预先存储在设备中，或者，可通过与该设备通信连接的三维扫描设备通过对所述目标对象进行三维扫描，得到所述目标对象的三维数据，并基于所述目标对象的三维数据构建所述目标对象的三维模型，将所述目标对象的三维模型进行存储，以便后期可直接调用所述目标对象的三维模型数据。
在一些实施例中，所述目标对象的当前姿态可由所述第一图像中目标对象的当前姿态和目标对象的初始姿态之间的旋转角信息表示。
这里，所述目标对象的初始姿态可根据实际需求进行设定，例如，所述初始姿态可为预先设置的目标对象的三维模型的默认姿态，或者，可为使用三维扫描设备扫描所述目标对象时的姿态。
所述旋转角信息可包括：第一图像中目标对象的旋转角度和旋转方向。这里，所述旋转方向至少包括：左右摇摆(即左右侧转)、左右倾斜、上下俯仰。
在另一些实施例中，可通过特征提取模型提取所述第一图像中目标对象的第一特征，根据所述目标对象的第一特征，从预设的姿态集中确定出所述第一图像中目标对象的当前姿态。
在本公开的一些实施例中，可预先存储多个不同对象的三维模型数据，通过对第一图像进行图像识别，确定出目标对象以及目标对象的第一轮廓信息；从预先存储的多个不同对象的三维模型数据中，提取出目标对象的三维模型数据。
所述位置信息包括所述目标对象中特征点的旋转参数和/或位移参数；这里，所述目标对象中的特征点可为所述目标对象中能够标识所述目标对象的形状的点。
可基于所述目标对象的当前姿态和初始姿态的对比，确定出所述位置信息，基于所述位置信息，对所述目标对象的三维模型进行调整。
具体地，可基于所述目标对象的当前姿态和初始姿态的对比，确定出所述目标对象中各个特征点的旋转参数和/或位移参数，基于所述各个特征点的旋转参数和/或位移参数，将所述目标对象各个特征点在三维空间中进行旋转和/或位置的位置变换后，使得目标对象从初始姿态切换至所述当前姿态。
在步骤S102中，可根据空间映射对应关系原理，将处于当前姿态的目标对象的三维模型映射到一个二维图像中，得到所述第二图像。
可以理解的是，由于本公开实施例将所述目标对象的三维模型切换为当前姿态后，直接将切换后的三维模型进行投影，得到第二图像；故所述第二图像可为目标对象处于当前姿态时的完整图像，即所述第二图像为包含整个目标对象的图像，即在第二图像中所述目标对象的轮廓完整。
且由于第二图像中目标对象是与第一图像中目标对象的姿态相同的，在这种姿态下由于采集角度导致的局部被遮挡，自身并不是轮廓不完整，而在第二图像被遮挡的局部不会显露。在这种情况下，将第一图像和第二图像比对来确定，第一图像中目标对象是否完整，可以减少第一图像中目标对象因为姿态等遮挡形成误判，具有对第一图像中目标对象的轮廓完整度判断精确的特点。
需要说明的是，在三维空间内根据映射关系原理，任意曲面都可以通过摄像头的映射，投影到一个二维的图像之间；三维空间在经过摄像头投影到二维图像上，实质上是一组无穷多的三维点映射到一个二维点，且一个已知的三维点可以通过矩阵函数变换求得唯一确定对应的二维点。
在步骤S103中，对所述第一图像和所述第二图像进行对比，基于所述对比结果，确定所述第一图像中目标对象的轮廓是否完整。
由于第二图像为所述目标对象处于当前姿态时的完整图像，故通过将第一图像和第二图像进行对比，若所述第一图像与所述第二图像之间的相似性达到相似性阈值，则所述第一图像中的目标对象的轮廓完整。
可通过提取所述第一图像的全局图像特征和所述第二图像的全局图像特征；基于所述第一图像的全局图像特征和所述第二图像的全局图像特征，确定所述第一图像和所述第二图像之间的相似性，若所述第一图像和所述第二图像之间的相似性达到相似度阈值，确定所述第一图像中目标对象的轮廓完整；若所述第一图像和所述第二图像之间的相似性不满足预设的相似度阈值，确定所述第一图像中目标对象的轮廓不完整。
这里，所述相似性阈值可根据实际需求进行设定。
在本公开的一些实施例中，可通过对第一图像和第二图像进行图像识别，识别出所述第一图像包含有目标对象的第一图像区域，以及所述第二图像包含有目标对象的第二图像区域；分别提取所述第一图像区域的图像特征和所述第二图像区域的图像特征；对所述第一图像区域的图像特征和所述第二图像区域的图像特征进行相似性对比，根据相似性对比结果确定所述第一图像中的目标对象的轮廓是否完整。
对于图像区域内的图像特征的提取，可以根据该图像区域包含的目标对象的类别或特点，选择合适的方式实现区域特征的提取。例如，所述目标对象为电子设备，可以利用深度学习算法提取该图像区域内的电子设备的特征，例如、外形结构、颜色等，还可以利用SIFT方式实现对图像区域内的图像特征的提取。本公开对上述特征提取的实现方法不作限定。
在步骤S104中，若对比结果指示所述第一图像中目标对象的轮廓不完整，通过预设处理方式对所述第一图像进行处理。
在本公开实施例中，若对比结果指示所述第一图像中目标对象的轮廓不完整，即所述第一图像为所述目标对象的局部图像，可通过预设处理方式对所述第一图像进行处理，从而便于后期能够直接基于处理后的第一图像进行相应的处理。
这里，所述预设处理方式可根据实际需求进行设置，例如所述预设处理方式可为裁剪处理。
在本公开的一些实施例中，所述方法还包括：若所述对比结果指示所述第一图像中目标对象的轮廓完整，可直接基于所述第一图像生成待推荐的目标信息。
这里，所述目标信息可为图像形式或视频形式的信息，例如，所述目标信息可为广告图片或表情包图片；或者，所述目标信息还可为电子相册视频。
可通过获取信息生成模板，所述信息生成模板上包含有预设尺寸的图像展示区域；若所述对比结果指示所述第一图像中的目标对象的轮廓完整，对所述第一图像进行尺寸调整，调整后的第一图像的尺寸与所述图像展示区域的尺寸相同；将调整后的第一图像填充于所述图像展示区域，基于填充后的信息生成模板生成待推荐的目标信息。
在一些实施例中，所述步骤S101中的确定第一图像中目标对象的当前姿态，包括：
从所述第一图像中提取出所述目标对象的第一轮廓信息；
获取所述目标对象的三维模型数据，将所述第一轮廓信息和所述三维模型数据输入至匹配网络中，得到第一图像中所述目标对象的当前姿态。
在本公开实施例中，由于所述第一图像中可能还包含有背景信息或其他对象，因而对目标对象的姿态识别的准确性，可从所述第一图像中提取出所述目标对象的第一轮廓信息。
所述第一轮廓信息可为：所述第一图像中目标对象所在区域的图像信息；
在一些实施例中，所述第一轮廓信息可包括：所述第一图像中所述目标对象的每个轮廓点的第一位置信息；所述第一位置信息至少包括：所述轮廓点在所述第一图像中的第一坐标。
所述第一坐标用于指示所述轮廓点在第一图像中的位置。例如，所述轮廓点的第一坐标为该轮廓点在第一图像的二维坐标系中的坐标，其中，该二维坐标系可以为以第一图像的顶点为坐标原点的坐标系。这里，所述顶点可以为第一图像左下角的顶点、右下角的顶点、左上角的顶点或右上角的顶点等。本公开实施例对此不作限定。
在一些实施例，可根据所述第一图像中各个像素点的像素值，确定任一像素点的像素值与相邻像素点的像素值的差值，若像素点的像素差值大于预设差值，将所述像素点确定为所述目标对象的轮廓点；获取所述第一图像中多个轮廓点的位置信息，得到所述第一图像的第一轮廓信息。
在本公开实施例中，将所述目标对象的第一轮廓信息和所述三维模型数据输入至预先训练好的匹配网络中，得到所述匹配网络输出的第一图像中所述目标对象的当前姿态。
在一些实施例中，所述将所述第一轮廓信息和所述三维模型数据输入至匹配网络中，得到所述第一图像中所述目标对象的当前姿态，包括：
对所述第一轮廓信息进行尺度不变特征变换SIFT特征提取，得到所述第一轮廓信息中关键点的SIFT特征；
对所述三维模型数据进行固有形状特征ISS提取，得到所述三维模型数据中关键点的ISS特征；
所述匹配网络中的分类模块基于所述目标对象的所述SIFT特征和所述ISS特征，确定出所述第一轮廓信息对应的所述目标对象的当前姿态。
在本公开实施例中，所述匹配网络包括：特征提取模块和分类模块；
所述特征提取模块对所述目标对象的第一轮廓信息进行SIFT特征提取，得到所述第一轮廓信息中SIFT特征点(即所述第一轮廓信息中的关键点)和所述SIFT特征点的SIFT特征。
需要说明的是，所述SIFT特征点具有尺度变化不变形，也就是说，即使图像的尺度发生变化，SIFT特征点的一些属性能够保持不变。而所述SIFT特征具有尺度不变形，即SIFT特征对旋转、尺度缩放、亮度变化均保持不变形，对视角变化、仿射变换、噪声也保持一定程度的稳定性。
可通过特征提取模块对所述目标对象的第一轮廓信息进行SIFT特征提取，得到所述第一轮廓信息中关键点集合和所述各个关键点对应的SIFT特征向量。
以提取所述第一轮廓信息中任一关键点对应的SIFT特征向量为例，对提取该SIFT特征向量的方法进行具体说明：以该关键点为中心，选取16*16像素大小的窗口，将该窗口分为4*4个大小相同的子区域，对每个子区域计算8个方向的梯度方向直方图，将4*4个子区域的梯度方向直方图按位置顺序排列，形成一个128维(4*4*8)的SIFT特征向量，即为该关键点的SIFT特征向量。当然提取关键点SIFT特征向量的过程也可以通过其他方法实现，本公开实施例对此不做限定。
所述特征提取模块对所述目标对象的三维模型数据进行ISS特征提取，得到所述目标对象的三维模型数据中的ISS特征点(即所述三维模型数据中的关键点)以及所述ISS特征点的ISS特征。
需要说明的是，所述ISS特征点可为所述三维模型数据中边缘的关键点；所述ISS特征用于描述所述ISS特征点对应的立体几何形状信息。
利用匹配网络中的分类模块，基于所述第一轮廓信息中SIFT特征点和所述SIFT特征点的SIFT特征，以及所述三维模型数据中ISS特征点和所述ISS特征点的ISS特征，确定所述SIFT特征点与ISS特征点之间的相似度；根据所述SIFT特征点与所述ISS特征点之间的相似度，确定所述第一轮廓信息中各个SIFT特征点与所述三维模型数据中ISS特征点之间的对应关系；从而根据所述对应关系，确定所述第一图像中目标对象的当前姿态。
所述分类模块可通过确定所述SIFT特征点与ISS特征点之间的欧式距离，将所述SIFT特征点与ISS特征点之间的欧式距离确定为所述SIFT特征点与ISS特征点之间的相似度。这里，还可以通过其他方式确定相似度，本公开实施例对此不作限定。
根据所述SIFT特征点与所述ISS特征点之间的相似度，确定所述第一轮廓信息中各个SIFT特征点与所述三维模型数据中ISS特征点之间的对应关系，包括：
若多个SIFT特征点中任一SIFT特征点与多个ISS特征点中任一ISS特征点之间的相似度小于预设的相似度阈值，确定所述SIFT特征点与所述ISS特征点匹配。
在一些实施例中，所述从所述第一图像中提取出所述目标对象的第一轮廓信息，包括：
对所述第一图像进行语义分割，得到所述第一图像中所述目标对象的所述第一轮廓信息。
在本公开实施例中，可利用预先训练好的语义分割网络对所述第一图像进行语义分割，得到所述第一图像中的目标对象的第一轮廓信息。
可以理解的是，预先训练好的语义分割网络，是通过基于深度学习训练得到的具有对图像进行语义分割功能的机器学习网络模型。其中，所述语义分割网络可以采用基于VGG16卷积神经网络、CNN卷积神经网络、特征金字塔网络等神经网络，或多个神经网络的组合等，这里不作具体限定。
需要说明的是，在计算机视觉领域，图像分割是指把图像分为若干个特定的面具有独特性质的区域并提取出感兴趣目标的技术和过程，也就是将数字图像细化为多个图像子区域，即像素的集合。
其中，所述目标对象是指所述第一图像中需要分割出来的物体对象，也就是针对目标对象，对图像数据进行目标对象的图像分割，用于在第一图像中定位所述目标对象对应的物体和边界。例如，所述目标对象可以是所述第一图像中的人物、人脸、电子设备、车辆等，在此不做限定。
可以理解的是，在图像领域，语义是指对图像中内容的意思理解。分割是指从像素的角度分割出图像中的不同对象，对图像中的每个像素都进行标注。语义分割就是根据图像的语义进行分割，是对图像中每个像素打上类别标签的过程，也就是需要预测出图像中每一个像素点属于哪一类的标签。
在本公开实施例中，将所述第一图像输入至语义分割网络中，通过所述语义分割网络中的特征提取层对所述第一图像进行特征提取，得到所述第一图像的图像语义特征；基于所述第一图像的图像语义特征，利用所述语义分割网络中的识别层识别出第一图像中属于所述目标对象的像素点；根据所述第一图像中属于所述目标对象的像素点，确定所述目标对象对应的第一轮廓信息。可以理解的是，所述第一图像的图像语义特征是指包含所述第一图像中大量图像语义信息的特征，例如多尺度特征、局部特征、上下文特征或全局特征等。
在一些实施例中，所述将所述第一轮廓信息和所述三维模型数据输入至匹配网络之前，所述方法还包括：
对所述目标对象的所述第一轮廓信息进行线性化处理；
所述将所述第一轮廓信息和所述三维模型数据输入至匹配网络中，得到所述第一图像中所述目标对象的当前姿态，包括：
将所述线性化处理后的第一轮廓信息和所述三维模型数据输入至匹配网络中，得到所述第一图像中所述目标对象的当前姿态。
在本公开实施例中，考虑到通过对所述第一图像进行语义分割得到的所述目标对象的第一轮廓信息可能会存在一定的偏差，为了提高所述第一轮廓信息的准确性，可通过对所述目标对象的第一轮廓信息进行线性化处理，
在从所述第一图像中提取出所述目标对象的第一轮廓信息后，通过对所述第一轮廓信息进行线性化处理，并将线性化处理后的第一轮廓信息和所述目标对象的三维模型数据输入至匹配网络中，通过所述匹配网络对所述第一轮廓信息和所述三维模型数据进行特征提取和分类，从而确定出第一图像中所述目标对象的当前姿态。
这里，可通过曲线拟合或神经网络等方法实现对所述第一轮廓信息的线性化处理，需要说明的是，线性化处理后的第一轮廓信息所指示的轮廓能够更贴合于所述目标对象，从而有效提高匹配网络的姿态识别的准确性。
在一些实施例中，所述步骤S101中的确定出所述目标对象处于所述当前姿态时对应的三维空间信息，包括：
通过旋转，使得目标对象的三维模型处于所述第一图像中所述目标对象的当前姿态；
根据旋转后的目标对象的三维模型，确定出所述目标对象处于当前姿态时对应的三维空间信息。
在本公开实施例中，可通过将所述当前姿态和所述初始姿态进行对比，确定出所述目标对象的三维模型从初始姿态切换为所述当前姿态的角度；基于所述角度，对所述目标对象的三维模型进行旋转，使得目标对象的三维模型处于所述第一图像中所述目标对象的当前姿态。
这里，所述初始姿态可为预先设置的目标对象的三维模型的默认姿态，或者，可为录用三维扫描设备扫描所述目标对象时的姿态。
在一些实施例中，所述角度可包括：旋转角度和旋转方向；可通过确定出所述目标对象的三维模型从初始姿态切换为所述当前姿态的旋转角度和旋转方向，对所述目标对象的三维模型进行相应角度、相应方向的旋转处理。
在一些实施例中，所述步骤S103中的比对所述第一图像和所述第二图像，确定出所述第一图像中所述目标对象的轮廓是否完整，包括：
从所述第一图像中提取出所述目标对象的第一轮廓信息；
从所述第二图像中提取出所述目标对象的第二轮廓信息；
基于所述第一轮廓信息和所述第二轮廓信息之间的相似性，确定出所述第一图像中所述目标对象的轮廓是否完整。
在本公开实施例中，可通过语义分割网络，分别对所述第一图像和第二图像进行语义分割，得到所述第一图像中所述目标对象的第一轮廓信息和所述第二图像中所述目标对象的第二轮廓信息。
具体地，可将所述第一图像输入至语义分割网络中，通过所述语义分割网络中的特征提取层对所述第一图像进行特征提取，得到所述第一图像的图像语义特征；基于所述第一图像的图像语义特征，利用所述语义分割网络中的识别层识别出第一图像中属于目标对象的像素点；根据所述第一图像中属于所述目标对象的像素点，确定第一图像中目标对象对应的第一轮廓信息；同理，将所述第二图像输入至语义分割网络中，得到所述语义分割网络输出的所述第二图像中目标对象对应的第二轮廓信息。
在本公开的一些实施例中，可对所述第一轮廓信息和所述第二轮廓信息进行线性化处理。
通过对所述第一轮廓信息和所述第二轮廓信息进行线性化处理，将线性化处理后的第二轮廓信息和线性化处理后的第一轮廓信息进行对比，确定第一图像中所述目标对象的轮廓是否完整。
这里，可通过曲线拟合或神经网络等方法实现对所述第一轮廓信息和所述第二轮廓信息的线性化处理。
所述基于所述第一轮廓信息和所述第二轮廓信息之间的相似性，确定出所述第一图像中所述目标对象的轮廓是否完整，可包括：
基于所述第一轮廓信息和所述第二轮廓信息，确定所述第一轮廓信息和所述第二轮廓信息之间的欧式距离；
若所述第一轮廓信息和所述第二轮廓信息之间的欧氏距离小于预设距离阈值，确定所述第一轮廓信息和所述第二轮廓信息的相似性达到预设阈值，即所述第一图像中所述目标对象的轮廓完整；
若所述第一轮廓信息和所述第二轮廓信息之间的欧氏距离大于或等于预设距离阈值，确定所述第一轮廓信息和所述第二轮廓信息的相似性未达到预设阈值，即所述第一图像中所述目标对象的轮廓不完整。
本公开实施例中采用欧氏距离描述所述第一轮廓信息和所述第二轮廓信息之间的相似性；当然，本领域技术人员能够想到很多其他方式来确定所述第一轮廓信息和所述第二轮廓信息之间的相似性。
由于第二图像为基于目标对象的三维模型处于所述第一图像中目标对象的当前姿态时映射得到的二维图像，所述第二图像中包含有所述当前姿态下完整的目标对象。而所述第二轮廓信息用于指示所述第二图像中目标对象的轮廓，故可通过所述第一轮廓信息和所述第二轮廓信息之间的相似性，确定所述第一图像中所述目标对象的轮廓是否完整。
在一些实施例中，所述在所述第一图像中所述目标对象的轮廓不完整的情况下，根据预设处理方式对所述第一图像进行处理，包括：
在所述第一图像中所述目标对象的轮廓不完整的情况下，确定出所述第一图像中所述目标对象被截断的边缘；
将所述第一图像中的目标对象移动到图像边缘，得到第三图像；其中，所述目标对象被截断的边缘在所述第三图像中与所述第三图像的边缘对齐。
这里，所述目标对象被截断的边缘在所述第三图像中与所述第三图像的边缘对齐可以理解为在所述第三图像中所述目标对象被截断的边缘与所述第三图像的边缘完全贴合。在本公开实施例中，若确定出所述第一图像中的所述目标对象的轮廓不完整时，对所述第一图像和所述第二图像进行对比，根据对比结果，从所述第一图像的目标对象的各个边缘中确定出与第二图像的目标对象边缘不相似的边缘，将所述与第二图像的目标对象边缘不相似的边缘确定为所述第一图像中所述目标对象被截断的边缘。
需要说明的是，基于对目标信息的生成质量和投放效果的考虑，在确定出第一图像中所述目标对象的轮廓不完整时，可通过检测出所述第一图像中目标对象被截断的边缘，对第一图像中所述目标对象被截断的边缘进行贴边处理，得到第三图像。
在确定出第一图像中所述目标对象被截断的边缘后，可通过对所述第一图像中的目标对象进行移动处理，得到第三图像；使得所述第三图像中所述目标对象被截断的边缘与所述第三图像的边缘对齐。
需要说明的是，还可以通过对第一图像进行其他的处理，使得目标对象被截断的边缘与处理后的第一图像的边缘对齐，本公开不对此进行限定。
在本公开的另一些实施例中，所述方法还包括：
根据所述第三图像生成待推荐的目标信息。
本公开还提供以下实施例：
图2是根据本公开一示例性实施例示出的一种图像处理方法流程图二，如图2所示，所述方法包括：
步骤S201，对第一图像进行语义分割，从所述第一图像中提取出目标对象的第一轮廓信息；
可以理解的是，由于第一图像中既包含有目标对象，还包含有背景信息；因而需要对第一图像进行语义分割，从所述第一图像中提取出目标对象的第一轮廓信息。
在本示例中，可通过预先训练好的语义分割网络对所述第一图像进行语义分割。其中，所述语义分割网络可以采用基于VGG16卷积神经网络、CNN卷积神经网络、特征金字塔网络等神经网络，或多个神经网络的组合等，这里不作具体限定。
具体地，将所述第一图像输入至预先训练好的语义分割网络中，通过所述语义分割网络中的特征提取层对所述第一图像进行特征提取，得到所述第一图像的图像语义特征；基于所述第一图像的图像语义特征，利用所述语义分割网络中的识别层识别出第一图像中属于所述目标对象的像素点；根据所述第一图像中所述目标对象的像素点，确定所述目标对象对应的第一轮廓信息。
步骤S202，对所述第一轮廓信息进行线性化处理；
由于对所述第一图像进行语义分割得到的所述目标对象的第一轮廓信息可能会存在一定的偏差，为了提高所述第一轮廓信息的准确性，本示例可通过对所述目标对象的第一轮廓信息进行局部的线性化处理，得到一个能够更准确表征所述目标对象的轮廓信息。
步骤S203，获取所述目标对象的三维模型数据，将线性化处理后的第一轮廓信息和所述三维模型数据输入至匹配网络中，得到所述第一图像中所述目标对象的当前姿态；
在本示例中，所述匹配网络可为2D3D-MatchNet网络。这里，所述2D3D-MatchNet网络是一种端到端的深度学习网络架构，所述2D3D-MatchNet网络能够分别对二维图像和点云数据进行学习，得到能够表征所述二维图像中关键点的描述符以及点云数据中关键点的描述符，从而基于所述二维图像中关键点的描述符以及点云数据中关键点的描述符，建立所述二维图像和点云数据之间的对应关系。通过将二维图像和三维模型数据输入至训练好的2D3D-MatchNet网络，可对所述二维图像和三维模型数据进行匹配，以进行视觉姿态估计。
需要说明的是，为了准确的确定出第一图像中目标对象的当前姿态，需要将所述目标对象的二维图像和目标对象的三维模型进行配准，以便于根据目标对象的二维图像和目标对象的三维模型的匹配关系，确定出第一图像中目标对象的当前姿态。
相关技术中，如图3所示，图3为本公开一示例性实施例示出的一种二维图像与三维模型配准的方法流程示意图。可通过调整三维模型场景与二维图像场景一直，通过旋转三维坐标点对应的额图像坐标点计算投影矩阵，将二维图像投影到三维模型中完成初步配准，然后在二维图像中选择与三维模型配准错误的坐标，利用移动最小二乘法局部变形，使错误坐标移动到正确位置；最后计算出二维图像全部区域或变形所针对区域的坐标映射表，利用坐标映射表重新调整二维图像，将新二维图像投影到三维模型完成最终配准。但这种方法需要人工参与选择二维图像和三维模型中匹配点对；并且该方法针对的是变形的二维图像与三维模型的配准。
考虑到本公开实施例获取的第一图像并未变形图像，无需重复计算投影矩阵来匹配，为了降低操作的复杂度，本公开实施例直接通过语义分割方法获取第一图像中的目标对象的轮廓信息，并直接利用2D3D-MatchNet网络完成目标对象二维图像和三维模型的配准，并确定出第一图像中目标对象的当前姿态，提高处理效果。
在一些实施例中，所述将线性化处理后的第一轮廓信息和所述三维模型数据输入至匹配网络中，得到所述第一图像中所述目标对象的当前姿态，可包括：
通过所述匹配网络中的特征提取模块对线性化处理后的第一轮廓信息进行尺度不变特征变换SIFT提取，得到所述线性化处理后的第一轮廓信息中关键点的SIFT特征；
通过所述匹配网络中的特征提取模块对所述目标对象的三维模型数据进行固有形状特征ISS提取，得到所述目标对象的三维模型数据中关键点的ISS特征；
所述匹配网络中的分类模块基于所述目标对象的所述SIFT特征和所述ISS特征，确定出所述第一轮廓信息对应的所述目标对象的当前姿态。
步骤S204，确定出所述目标对象的所述当前姿态对应的三维空间信息；
在本示例中，可通过旋转，使所述目标对象的三维模型处于所述第一图像中所述目标对象的当前姿态；根据旋转后的目标对象的三维模型，确定出所述目标对象处于当前姿态的三维空间信息。
步骤S205，根据二维平面到三维空间之间的对应关系，将所述三维空间信息映射到二维平面得到第二图像；
在本示例中，将所述目标对象的三维模型从初始姿态切换为当前姿态后，可根据空间映射对应关系原理，直接将切换后的三维模型进行投影，得到第二图像；故所述第二图像可为目标对象处于当前姿态时的完整图像，即所述第二图像为包含整个目标对象的图像。
步骤S206，从所述第二图像中提取出所述目标对象的第二轮廓信息；基于所述第一轮廓信息和所述第二轮廓信息之间的相似性，确定出所述第一图像中所述目标对象的轮廓是否完整；
在本示例中，可通过对第二图像进行语义分割，从所述第二图像中提取出目标对象的第二轮廓信息，对所述第一轮廓信息和所述第二轮廓信息进行SIFT特征提取，得到所述第一轮廓信息的SIFT特征和所述第二轮廓信息的SIFT特征；基于所述第一轮廓信息的SIFT特征和所述第二轮廓信息的SIFT特征之间的欧式距离，确定出所述第一轮廓信息和所述第二轮廓信息之间的相似性。
步骤S207，若所述第一图像中所述目标对象的轮廓不完整时，确定出所述第一图像中所述目标对象被截断的边缘；将所述第一图像中的目标对象移动到图像边缘，得到第三图像；其中，所述被截断的边缘在第三图像中与第三图像的边缘对齐。
在本示例中，若所述第一轮廓信息的SIFT特征和所述第二轮廓信息的SIFT特征之间的欧式距离大于或等于预设的距离阈值时，确定所述第一图像中所述目标对象的轮廓不完整；通过所述第一轮廓信息与所述第二轮廓信息进行对比，确定出所述第一图像中所述目标对象被截断的边缘；对所述第一图像进行贴边处理，使得处理后的第一图像中目标对象被截断的边缘与所述处理后的第一图像的边缘对齐。
图4是本公开一示例性实施例提供的一种手机广告信息的生成方法的流程示意图，如图4所示，方法包括：
步骤S301，获取待设计的主视图；
步骤S302，通过对所述主视图进行语义分割检测，得到主视图中手机的轮廓；
步骤S303，对所述主体图中的手机的轮廓进行线性化处理；
步骤S304，获取所述手机的三维模型数据；
步骤S305，基于线性化处理后的手机的轮廓和所述手机的三维模型数据，进行所述主视图与三维模型的配准；
步骤S306，基于所述主视图与三维模型的匹配关系，确定出主视图中手机的当前姿态；
步骤S307，通过旋转，使所述手机的三维模型处于所述主视图中手机的当前姿态，并对三维模型进行映射，得到第二图像，获取第二图像中手机的完整轮廓；
步骤S308，将主视图中手机的轮廓和所述第二图像中手机的完整轮廓进行相似度比较；
步骤S309，根据相似度，确定主视图中手机的轮廓和所述第二图像中手机的完整轮廓是否完全相似；
步骤S310，若主视图中手机的轮廓和所述第二图像中手机的完整轮廓完全相似，可直接基于主视图，生成手机广告信息；
步骤S311，若主视图中手机的轮廓和所述第二图像中手机的完整轮廓不完全相似，将所述主视图中手机的轮廓和所述第二图像中手机的完整轮廓进行对比；
步骤S312，根据对比结果，从主视图中标记出手机的轮廓中被截断的边缘；
步骤S313，对主视图进行贴边处理，使得手机的轮廓中被截断的边缘与处理后的主视图的边缘对齐，基于处理后的主视图生成手机广告信息。
在本示例中，在手机广告信息的智能生成过程中，由于待设计的主视图可能是手机的局部图片；例如，如图5所示，图5为本公开一示例性实施例提供的一种待设计的主视图的示意图。为了特写手机的摄像头而只拍摄了手机的上半部分。故在进行广告信息的生成时，若不能对待设计的主视图进行判断，可能会出现直接将局部图像自然填充的广告信息中悬空的主视图位置，而造成生成的广告信息出现审美缺陷的问题。对此，本示例在获取待待设计的主视图后，需要对主视图进行判断，确定所述主视图中手机的轮廓是否完整。
在确定出主视图中手机的轮廓不完整时，能够识别出被截断的边缘，对所述被截断的边缘采取对应的贴边处理，并基于贴边处理后的图像生成手机广告信息，例如，如图6所示，图6为本公开一示例性实施例提供的一种生成的手机广告信息示意图。从而使得生成的广告能够更符合用户的审美；在降低人力成本的同时，快速高效的生成高质量的广告信息。
本公开实施例还提供一种图像处理装置。图7是根据本公开一示例性实施例示出的一种图像处理装置的结构示意图，如图7所示，所述图像处理装置100包括：
第一确定模块101，用于确定第一图像中目标对象的当前姿态及所述当前姿态对应的三维空间信息；
第二确定模块102，用于根据二维平面到三维空间之间的对应关系，将所述三维空间信息映射到二维平面得到第二图像；比对所述第一图像和所述第二图像，确定出所述第一图像中所述目标对象的轮廓是否完整；
生成模块103，用于在所述第一图像中所述目标对象的轮廓不完整的情况下，根据预设处理方式对所述第一图像进行处理。
在一些实施例中，所述第一确定模块101，用于：
从所述第一图像中提取出所述目标对象的第一轮廓信息；
获取所述目标对象的三维模型数据，将所述第一轮廓信息和所述三维模型数据输入至匹配网络中，得到第一图像中所述目标对象的当前姿态。
在一些实施例中，所述第一确定模块101，还用于：
对所述第一轮廓信息进行尺度不变特征变换SIFT特征提取，得到所述第一轮廓信息中关键点的SIFT特征；
对所述三维模型数据进行固有形状特征ISS提取，得到所述三维模型数据中关键点的ISS特征；
所述匹配网络中的分类模块基于所述目标对象的所述SIFT特征和所述ISS特征，确定出所述第一轮廓信息对应的所述目标对象的当前姿态。
在一些实施例中，所述第一确定模块101，用于：
对所述第一图像进行语义分割，得到所述第一图像中所述目标对象的所述第一轮廓信息。
在一些实施例中，所述第一确定模块101，还用于：
对所述目标对象的所述第一轮廓信息进行线性化处理；
将所述线性化处理后的第一轮廓信息和所述三维模型数据输入至匹配网络中，得到所述第一图像中所述目标对象的当前姿态。
在一些实施例中，所述第二确定模块102，用于：
通过旋转，使得目标对象的三维模型处于所述第一图像中所述目标对象的当前姿态；
根据旋转后的目标对象的三维模型，确定出所述目标对象处于当前姿态时对应的三维空间信息。
在一些实施例中，所述生成模块103，用于：
从所述第一图像中提取出所述目标对象的第一轮廓信息；
从所述第二图像中提取出所述目标对象的第二轮廓信息；
基于所述第一轮廓信息和所述第二轮廓信息之间的相似性，确定出所述第一图像中所述目标对象的轮廓是否完整。
在一些实施例中，所述处理模块103，还用于：
在所述第一图像中所述目标对象的轮廓不完整的情况下，确定出所述第一图像中所述目标对象被截断的边缘；
将所述第一图像中的所述目标对象移动到图像边缘，得到第三图像；其中，所述目标对象被截断的边缘在所述第三图像中与所述第三图像的边缘对齐。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图8是根据本公开一示例性实施例示出的一种图像处理装置的框图。例如，装置200可以是移动电话，移动电脑等。
参照图8，装置200可以包括以下一个或多个组件：处理组件202，存储器204，电源组件206，多媒体组件208，音频组件210，输入/输出(I/O)的接口212，传感器组件214，以及通信组件216。
处理组件202通常控制装置200的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件202可以包括一个或多个处理器220来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件202可以包括一个或多个模块，便于处理组件202和其他组件之间的交互。例如，处理组件202可以包括多媒体模块，以方便多媒体组件208和处理组件202之间的交互。
存储器204被配置为存储各种类型的数据以支持在设备200的操作。这些数据的示例包括用于在装置200上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件206为装置200的各种组件提供电力。电源组件206可以包括电源管理系统，一个或多个电源，及其他与为装置200生成、管理和分配电力相关联的组件。
多媒体组件208包括在所述装置200和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件208包括一个前置摄像头和/或后置摄像头。当设备200处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件210被配置为输出和/或输入音频信号。例如，音频组件210包括一个麦克风(MIC)，当装置200处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件216发送。在一些实施例中，音频组件210还包括一个扬声器，用于输出音频信号。
I/O接口212为处理组件202和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件214包括一个或多个传感器，用于为装置200提供各个方面的状态评估。例如，传感器组件214可以检测到设备200的打开/关闭状态，组件的相对定位，例如所述组件为装置200的显示器和小键盘，传感器组件214还可以检测装置200或装置200一个组件的位置改变，用户与装置200接触的存在或不存在，装置200方位或加速/减速和装置200的温度变化。传感器组件214可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件214还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件214还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件216被配置为便于装置200和其他设备之间有线或无线方式的通信。装置200可以接入基于通信标准的无线网络，如Wi-Fi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件216还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置200可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器204，上述指令可由装置200的处理器220执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (11)

1.一种图像处理方法，其特征在于，包括：
确定第一图像中目标对象的当前姿态及所述当前姿态对应的三维空间信息；
根据二维平面到三维空间之间的对应关系，将所述三维空间信息映射到二维平面得到第二图像；
比对所述第一图像和所述第二图像，确定出所述第一图像中所述目标对象的轮廓是否完整；
在所述第一图像中所述目标对象的轮廓不完整的情况下，根据预设处理方式对所述第一图像进行处理。
2.根据权利要求1所述的方法，其特征在于，所述确定第一图像中目标对象的当前姿态，包括：
从所述第一图像中提取出所述目标对象的第一轮廓信息；
获取所述目标对象的三维模型数据，将所述第一轮廓信息和所述三维模型数据输入至匹配网络中，得到第一图像中所述目标对象的当前姿态。
3.根据权利要求2所述的方法，其特征在于，所述将所述第一轮廓信息和所述三维模型数据输入至匹配网络中，得到所述第一图像中所述目标对象的当前姿态，包括：
对所述第一轮廓信息进行尺度不变特征变换SIFT特征提取，得到所述第一轮廓信息中关键点的SIFT特征；
对所述三维模型数据进行固有形状特征ISS提取，得到所述三维模型数据中关键点的ISS特征；
所述匹配网络中的分类模块基于所述目标对象的所述SIFT特征和所述ISS特征，确定出所述第一轮廓信息对应的所述目标对象的当前姿态。
4.根据权利要求2所述的方法，其特征在于，所述从所述第一图像中提取出所述目标对象的第一轮廓信息，包括：
对所述第一图像进行语义分割，得到所述第一图像中所述目标对象的所述第一轮廓信息。
5.根据权利要求2所述的方法，其特征在于，在所述将所述第一轮廓信息和所述三维模型数据输入至匹配网络之前，所述方法还包括：
对所述目标对象的所述第一轮廓信息进行线性化处理；
所述将所述第一轮廓信息和所述三维模型数据输入至匹配网络中，得到所述第一图像中所述目标对象的当前姿态，包括：
将所述线性化处理后的第一轮廓信息和所述三维模型数据输入至匹配网络中，得到所述第一图像中所述目标对象的当前姿态。
6.根据权利要求1所述的方法，其特征在于，所述确定出所述目标对象处于所述当前姿态时对应的三维空间信息，包括：
通过旋转，使得目标对象的三维模型处于所述第一图像中所述目标对象的当前姿态；
根据旋转后的目标对象的三维模型，确定出所述目标对象处于当前姿态时对应的三维空间信息。
7.根据权利要求1所述的方法，其特征在于，所述比对所述第一图像和所述第二图像，确定出所述第一图像中所述目标对象的轮廓是否完整，包括：
从所述第一图像中提取出所述目标对象的第一轮廓信息；
从所述第二图像中提取出所述目标对象的第二轮廓信息；
基于所述第一轮廓信息和所述第二轮廓信息之间的相似性，确定出所述第一图像中所述目标对象的轮廓是否完整。
8.根据权利要求1所述的方法，其特征在于，所述在所述第一图像中所述目标对象的轮廓不完整的情况下，根据预设处理方式对所述第一图像进行处理，包括：
在所述第一图像中所述目标对象的轮廓不完整的情况下，确定出所述第一图像中所述目标对象的被截断的边缘；
将所述第一图像中的所述目标对象移动到图像边缘，得到第三图像；其中，所述目标对象被截断的边缘在所述第三图像中与所述第三图像的边缘对齐。
9.一种图像处理装置，其特征在于，包括：
第一确定模块，用于确定第一图像中目标对象的当前姿态及所述当前姿态对应的三维空间信息；
第二确定模块，用于根据二维平面到三维空间之间的对应关系，将所述三维空间信息映射到二维平面得到第二图像；比对所述第一图像和所述第二图像，确定出所述第一图像中所述目标对象的轮廓是否完整；
处理模块，用于在所述第一图像中所述目标对象的轮廓不完整的情况下，根据预设处理方式对所述第一图像进行处理。
10.一种图像处理装置，其特征在于，
处理器；
用于存储可执行指令的存储器；
其中，所述处理器被配置为：执行所述存储器中存储的可执行指令时，实现权利要求1至8中任一项所述的图像处理方法。
11.一种非临时性计算机可读存储介质，当所述存储介质中的指令由图像处理装置的处理器执行时，使得所述图像处理装置能够执行权利要求1至8中任一项所述的图像处理方法。
CN202110844723.XA 2021-07-26 2021-07-26 图像处理方法、图像处理装置及存储介质 Pending CN113592928A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110844723.XA CN113592928A (zh) 2021-07-26 2021-07-26 图像处理方法、图像处理装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110844723.XA CN113592928A (zh) 2021-07-26 2021-07-26 图像处理方法、图像处理装置及存储介质

Publications (1)

Publication Number Publication Date
CN113592928A true CN113592928A (zh) 2021-11-02

Family

ID=78250039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110844723.XA Pending CN113592928A (zh) 2021-07-26 2021-07-26 图像处理方法、图像处理装置及存储介质

Country Status (1)

Country Link
CN (1) CN113592928A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116129157A (zh) * 2023-04-13 2023-05-16 深圳市夜行人科技有限公司 一种基于极微光的警戒摄像机智能图像处理方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116129157A (zh) * 2023-04-13 2023-05-16 深圳市夜行人科技有限公司 一种基于极微光的警戒摄像机智能图像处理方法及系统

Similar Documents

Publication Publication Date Title
CN108764091B (zh) 活体检测方法及装置、电子设备和存储介质
CN106651955B (zh) 图片中目标物的定位方法及装置
CN110163076B (zh) 一种图像数据处理方法和相关装置
EP3163504B1 (en) Method, device and computer-readable medium for region extraction
CN105488527B (zh) 图像分类方法及装置
CN107977659B (zh) 一种文字识别方法、装置及电子设备
CN111612009B (zh) 文本识别方法、装置、设备和存储介质
CN106127751B (zh) 图像检测方法、装置以及系统
CN110619350B (zh) 图像检测方法、装置及存储介质
CN106228556B (zh) 图像质量分析方法和装置
CN107392933B (zh) 一种图像分割的方法及移动终端
CN113643356B (zh) 相机位姿确定、虚拟物体显示方法、装置及电子设备
CN108124102B (zh) 图像处理方法、装置及计算机可读存储介质
CN114267041B (zh) 场景中对象的识别方法及装置
CN111126108A (zh) 图像检测模型的训练和图像检测方法及装置
CN111461182A (zh) 图像处理方法、图像处理装置及存储介质
CN105528765A (zh) 处理图像的方法及装置
CN113409342A (zh) 图像风格迁移模型的训练方法、装置及电子设备
CN112200040A (zh) 遮挡图像检测方法、装置及介质
CN111754414A (zh) 一种图像处理方法、装置和用于图像处理的装置
CN113592928A (zh) 图像处理方法、图像处理装置及存储介质
CN107292901B (zh) 边缘检测方法及装置
CN112381091A (zh) 视频内容识别方法、装置、电子设备及存储介质
CN112131957A (zh) 文档类型图片的识别方法、装置及存储介质
US20230048952A1 (en) Image registration method and electronic device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination