CN113780291A - 一种图像处理方法、装置、电子设备及存储介质 - Google Patents

一种图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113780291A
CN113780291A CN202110980541.5A CN202110980541A CN113780291A CN 113780291 A CN113780291 A CN 113780291A CN 202110980541 A CN202110980541 A CN 202110980541A CN 113780291 A CN113780291 A CN 113780291A
Authority
CN
China
Prior art keywords
line segment
plane
space
spatial
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110980541.5A
Other languages
English (en)
Inventor
王再冉
石峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202110980541.5A priority Critical patent/CN113780291A/zh
Publication of CN113780291A publication Critical patent/CN113780291A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本公开关于一种图像处理方法、装置、电子设备及存储介质，其中，图像处理方法包括：获取目标图像；所述目标图像中包括空间平面；将所述目标图像输入至平面检测模型进行平面检测，得到平面检测结果；所述平面检测结果包括所述目标图像中的空间平面和所述空间平面的方向信息。本公开在获取图像中空间平面的平面信息时简化了图像处理过程、缩短了处理耗时、降低了资源消耗并提升了鲁棒性，同时还可以得到更多有用的平面相关信息。

Description

一种图像处理方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机技术领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
图像中的几何结构化信息，如图像中空间平面的平面信息在很多领域，如AR(Augmented Reality，增强现实)、机器人技术、场景交互等都有重要的应用。
相关技术中，在处理图像以获得图像中空间平面的平面信息时，首先对图像进行深度估计，然后利用超像素分割方法对图像进行分簇，结合分簇和深度信息拟合平面和平面的法向信息，进而通过每个簇的平面法向量的夹角余弦判断相邻簇之间是否共面。由于这种处理方式需要中间阶段的深度估计信息，从而导致处理过程耗时较长、资源消耗较大，且鲁棒性较差，无法得到更多有用的平面相关信息。
发明内容
本公开提供一种图像处理方法、装置、电子设备及存储介质，以至少解决相关技术中在获取图像中空间平面的平面信息时存在的处理过程耗时长、资源消耗大、鲁棒性差以及无法得到更多有用的平面相关信息的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种图像处理方法，包括：
获取目标图像；所述目标图像中包括空间平面；
将所述目标图像输入至平面检测模型进行平面检测，得到平面检测结果；所述平面检测结果包括所述目标图像中的空间平面和所述空间平面的方向信息。
在一个示例性的实施方式中，所述空间平面的方向信息包括所述空间平面预设方向上的方向向量，所述预设方向包括水平方向、竖直方向和法线方向。
在一个示例性的实施方式中，所述方法还包括：
将所述目标图像输入至线段检测模型进行线段检测处理，得到线段检测结果；所述线段检测结果包括所述目标图像中的空间线段和所述空间线段对应的语义信息，所述语义信息指示所述空间线段是否为竖直方向的线段；
根据所述线段检测结果对所述平面检测结果中所述空间平面的方向信息进行校正。
在一个示例性的实施方式中，所述根据所述线段检测结果对所述平面检测结果中所述空间平面的方向信息进行校正，包括：
针对所述平面检测结果中的每个空间平面，确定所述线段检测结果中对应所述空间平面的目标空间线段；
根据所述目标空间线段对应的语义信息，确定所述目标空间线段中属于竖直方向的空间线段；
根据所述空间平面水平方向上的方向向量，确定所述目标空间线段中属于水平方向的空间线段；
根据所述竖直方向的空间线段和所述水平方向的空间线段，校正所述空间平面预设方向上的方向向量。
在一个示例性的实施方式中，所述根据所述空间平面水平方向上的方向向量，确定所述目标空间线段中属于水平方向的空间线段包括：
确定所述空间平面水平方向上的方向向量在二维图像上的投影线段；
确定所述目标空间线段与所述投影线段之间的夹角；
从所述目标空间线段中选取所述夹角小于预设角度阈值的空间线段，得到所述水平方向的空间线段。
在一个示例性的实施方式中，所述根据所述竖直方向的空间线段和所述水平方向的空间线段，校正所述空间平面预设方向上的方向向量包括：
在所述竖直方向的空间线段包括至少两条的情况下，从至少两条所述竖直方向的空间线段中选取两条空间线段作为第一计算线段，根据所述第一计算线段校正所述空间平面竖直方向上的方向向量；
在所述水平方向的空间线段包括至少两条的情况下，从至少两条所述水平方向的空间线段中选取两条空间线段作为第二计算线段，根据所述第二计算线段校正所述空间平面水平方向上的方向向量；
根据校正后的所述空间平面竖直方向上的方向向量和水平方向上的方向向量，确定校正后的所述空间平面法线方向上的方向向量。
在一个示例性的实施方式中，所述从至少两条所述竖直方向的空间线段中选取两条空间线段作为第一计算线段包括：
针对每条所述竖直方向的空间线段，确定所述竖直方向的空间线段对应的线段长度，以及根据所述竖直方向的空间线段上每个像素点的梯度确定所述竖直方向的空间线段对应的边缘强度；
根据各所述竖直方向的空间线段对应的边缘强度和线段长度，确定各所述竖直方向的空间线段对应的得分；
从至少两条所述竖直方向的空间线段中，选取所述得分最高的两条空间线段作为第一计算线段。
在一个示例性的实施方式中，所述从至少两条所述水平方向的空间线段中选取两条空间线段作为第二计算线段包括：
针对每条所述水平方向的空间线段，确定所述水平方向的空间线段对应的线段长度，以及根据所述水平方向的空间线段上每个像素点的梯度确定所述水平方向的空间线段对应的边缘强度；
根据各所述水平方向的空间线段对应的边缘强度和线段长度，确定各所述水平方向的空间线段对应的得分；
从至少两条所述水平方向的空间线段中，选取所述得分最高的两条空间线段作为第二计算线段。
在一个示例性的实施方式中，所述方法还包括：
构建初始平面检测模型；
获取第一样本图像以及所述第一样本图像对应的第一标注信息；第一标注信息包括所述第一样本图像中空间平面的掩膜信息和所述空间平面的方向信息；
将所述第一样本图像输入所述初始平面检测模型进行平面检测，得到预测平面检测结果；
根据所述预测平面检测结果与所述第一标注信息的差异，调整所述初始平面检测模型的模型参数直至满足第一训练结束条件，得到所述平面检测模型。
在一个示例性的实施方式中，所述方法还包括：
构建初始线段检测模型；
获取第二样本图像和所述第二样本图像对应的第二标注信息；所述第二标注信息包括所述第二样本图像中空间线段的位置信息和所述空间线段对应的语义信息；
将所述第二样本图像输入所述初始线段检测模型进行线段检测，得到预测线段检测结果；
根据所述预测线段检测结果与所述第二标注信息之间的差异，调整所述初始线段检测模型的模型参数直至满足第二训练结束条件，得到所述线段检测模型。
根据本公开实施例的第二方面，提供一种图像处理装置，包括：
图像获取单元，被配置为执行获取目标图像；所述目标图像中包括空间平面；
平面检测单元，被配置为执行将所述目标图像输入至平面检测模型进行平面检测，得到平面检测结果；所述平面检测结果包括所述目标图像中的空间平面和所述空间平面的方向信息。
在一个示例性的实施方式中，所述空间平面的方向信息包括所述空间平面预设方向上的方向向量，所述预设方向包括水平方向、竖直方向和法线方向。
在一个示例性的实施方式中，所述装置还包括：
线段检测单元，被配置为执行将所述目标图像输入至线段检测模型进行线段检测处理，得到线段检测结果；所述线段检测结果包括所述目标图像中的空间线段和所述空间线段对应的语义信息，所述语义信息指示所述空间线段是否为竖直方向的线段；
校正单元，被配置为执行根据所述线段检测结果对所述平面检测结果中所述空间平面的方向信息进行校正。
在一个示例性的实施方式中，所述校正单元包括：
第一确定单元，被配置为执行针对所述平面检测结果中的每个空间平面，确定所述线段检测结果中对应所述空间平面的目标空间线段；
第二确定单元，被配置为执行根据所述目标空间线段对应的语义信息，确定所述目标空间线段中属于竖直方向的空间线段；
第三确定单元，被配置为执行根据所述空间平面水平方向上的方向向量，确定所述目标空间线段中属于水平方向的空间线段；
校正子单元，被配置为执行根据所述竖直方向的空间线段和所述水平方向的空间线段，校正所述空间平面预设方向上的方向向量。
在一个示例性的实施方式中，所述第二确定单元包括：
投影线段确定单元，被配置为执行确定所述空间平面水平方向上的方向向量在二维图像上的投影线段；
夹角确定单元，被配置为执行确定所述目标空间线段与所述投影线段之间的夹角；
第一选取单元，被配置为执行从所述目标空间线段中选取所述夹角小于预设角度阈值的空间线段，得到所述水平方向的空间线段。
在一个示例性的实施方式中，所述校正子单元包括：
竖直方向校正单元，被配置为执行在所述竖直方向的空间线段包括至少两条的情况下，从至少两条所述竖直方向的空间线段中选取两条空间线段作为第一计算线段，根据所述第一计算线段校正所述空间平面竖直方向上的方向向量；
水平方向校正单元，被配置为执行在所述水平方向的空间线段包括至少两条的情况下，从至少两条所述水平方向的空间线段中选取两条空间线段作为第二计算线段，根据所述第二计算线段校正所述空间平面水平方向上的方向向量；
法线方向校正单元，被配置为执行根据校正后的所述空间平面竖直方向上的方向向量和水平方向上的方向向量，确定校正后的所述空间平面法线方向上的方向向量。
在一个示例性的实施方式中，所述竖直方向校正单元包括：
第四确定单元，被配置为执行针对每条所述竖直方向的空间线段，确定所述竖直方向的空间线段对应的线段长度，以及根据所述竖直方向的空间线段上每个像素点的梯度确定所述竖直方向的空间线段对应的边缘强度；
第一得分确定单元，被配置为执行根据各所述竖直方向的空间线段对应的边缘强度和线段长度，确定各所述竖直方向的空间线段对应的得分；
第二选取单元，被配置为执行从至少两条所述竖直方向的空间线段中，选取所述得分最高的两条空间线段作为第一计算线段。
在一个示例性的实施方式中，所述水平方向校正单元包括：
第五确定单元，被配置为执行针对每条所述水平方向的空间线段，确定所述水平方向的空间线段对应的线段长度，以及根据所述水平方向的空间线段上每个像素点的梯度确定所述水平方向的空间线段对应的边缘强度；
第二得分确定单元，被配置为执行根据各所述水平方向的空间线段对应的边缘强度和线段长度，确定各所述水平方向的空间线段对应的得分；
第三选取单元，被配置为执行从至少两条所述水平方向的空间线段中，选取所述得分最高的两条空间线段作为第二计算线段。
在一个示例性的实施方式中，所述装置还包括：
第一模型构建单元，被配置为执行构建初始平面检测模型；
第一样本获取单元，被配置为执行获取第一样本图像以及所述第一样本图像对应的第一标注信息；第一标注信息包括所述第一样本图像中空间平面的掩膜信息和所述空间平面的方向信息；
第一预测单元，被配置为执行将所述第一样本图像输入所述初始平面检测模型进行平面检测，得到预测平面检测结果；
第一调整单元，被配置为执行根据所述预测平面检测结果与所述第一标注信息的差异，调整所述初始平面检测模型的模型参数直至满足第一训练结束条件，得到所述平面检测模型。
在一个示例性的实施方式中，所述装置还包括：
第二构建单元，被配置为执行构建初始线段检测模型；
第二样本获取单元，被配置为执行获取第二样本图像和所述第二样本图像对应的第二标注信息；所述第二标注信息包括所述第二样本图像中空间线段的位置信息和所述空间线段对应的语义信息；
第二预测单元，被配置为执行将所述第二样本图像输入所述初始线段检测模型进行线段检测，得到预测线段检测结果；
第二调整单元，被配置为执行根据所述预测线段检测结果与所述第二标注信息之间的差异，调整所述初始线段检测模型的模型参数直至满足第二训练结束条件，得到所述线段检测模型。
根据本公开实施例的第三方面，提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现上述第一方面的图像处理方法。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述第一方面的图像处理方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述第一方面的图像处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
通过获取包括空间平面的目标图像，将该目标图像输入至平面检测模型进行平面检测得到平面检测结果，该平面检测结果中包括目标图像中的空间平面和该空间平面的方向信息，从而在获取图像中空间平面的平面信息时简化了图像处理过程、缩短了处理耗时、降低了资源消耗并提升了鲁棒性，同时还可以得到更多有用的平面相关信息。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种图像处理方法的应用环境示意图；
图2是根据一示例性实施例示出的一种图像处理方法的流程图；
图3是根据一示例性实施例示出的另一种图像处理方法的流程图；
图4是根据一示例性实施例示出的根据线段检测结果对平面检测结果中空间平面的方向信息进行校正的一种流程图；
图5是根据一示例性实施例示出的一种图像处理装置的框图；
图6是根据一示例性实施例示出的另一种图像处理装置的框图；
图7是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
请参阅图1，其所示为根据一示例性实施例示出的一种图像处理方法的应用环境示意图，该应用环境可以包括终端110和服务器120，该终端110和服务器120之间可以通过有线网络或者无线网络连接。可以理解的，图1仅为应用环境的一个示例，实际应用中还可以是其它的应用环境如只有终端，而没有服务器的场景。
终端110可以是智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此。终端110中可以安装有提供图像处理功能的客户端软件如应用程序(Application，简称为App)，该应用程序可以是专门提供图像处理的应用程序，也可以是具有图像处理功能的其他应用程序，例如具有图像处理功能的视频类应用程序等等。终端110的用户可以通过预先注册的用户信息登录应用程序，该用户信息可以包括账号和密码。
服务器120可以是为终端110中的应用程序提供后台服务的服务器，具体的，服务器120提供的服务可以是图像处理服务。服务器120可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
具体的实施中，上述图像处理功能或者图像处理服务可以是检测出图像中的空间平面，并获得各空间平面的方向信息。
在一个示例性的应用场景中，服务器120中可以存储有训练好的平面检测模型，服务器120可以按照预定周期对该平面检测模型进行训练更新，其中，该平面检测模型是基于第一样本图像和该第一样本图像对应的第一标注信息进行机器学习确定的，该第一标注信息包括第一样本图像中空间平面的掩膜信息和该空间平面的方向信息。终端110在需要对图像进行处理以得到该图像中空间平面的相关信息时，可以将相应图像发送给服务器120，由服务器120调用平面检测模型对该图像进行平面检测，并将平面检测结果返回给终端110。
在另一个示例性的应用场景中，终端110也可以从服务器120下载平面检测模型，并在本地存储，当需要进行图像处理以得到该图像中空间平面的相关信息时，终端110可以直接调用本地存储的平面检测模型对该图像进行平面检测并得到平面检测结果。
可以理解的，基于平面检测模型对输入图像进行平面检测得到的平面检测结果可以包括该输入图像中的空间平面和该空间平面的方向信息。
本公开实施例的图像处理方法可以由电子设备来执行，该电子设备可以是终端或者服务器，可以由终端或者服务器单独执行，也可以是终端和服务器相互配合执行。
图2是根据一示例性实施例示出的一种图像处理方法的流程图，如图2所示，包括以下步骤：
在步骤S201中，获取目标图像。
其中，所述目标图像中包括空间平面，该空间平面可以是空间物体上的平面，例如可以是桌面、地面等水平空间平面，还可以是墙面等竖直空间平面。可以理解的，如果目标图像中不包含空间平面则后续在利用平面检测模型进行平面检测时将检测不到空间平面和该空间平面的方向信息。
具体的实施中，目标图像可以是从本地图像库中选取的一张RGB图像，也可以是实时拍摄的一张RGB图像；目标图像还可以是预先存储或者实时录制的视频流中的一帧视频图像。
在步骤S203中，将所述目标图像输入至平面检测模型进行平面检测，得到平面检测结果；所述平面检测结果包括所述目标图像中的空间平面和所述空间平面的方向信息。
其中，所述平面检测模型是基于第一样本图像和所述第一样本图像对应的第一标注信息进行机器学习确定的，所述第一标注信息包括所述第一样本图像中空间平面的掩膜信息和所述空间平面的方向信息。目标图像中的空间平面在平面检测结果中可以通过各空间平面的掩膜信息来指示。
在一个具体的实施方式中，空间平面的方向信息可以包括空间平面预设方向上的方向向量，该预设方向可以包括水平方向(x方向)、竖直方向(y方向)和法线方向(z方向)，从而可以从水平方向(x方向)、竖直方向(y方向)和法线方向(z方向)这三个维度来准确表征出空间平面的方向。
基于此，在获取目标图像之前，该方法还可以包括以下训练平面检测模型的步骤：
(1)构建初始平面检测模型，该初始平面检测模型可以使用任一的实例分割网络，如该初始平面检测模型可以是Mask R-CNN、Deep Mask等等。
(2)获取第一样本图像以及所述第一样本图像对应的第一标注信息。
具体的，可以获取第一训练样本集合，该第一训练样本集合中的每个第一训练样本可以包括第一样本图像和该第一样本图像对应的第一标注信息，该第一标注信息包括相应第一样本图像中空间平面的掩膜信息和该空间平面的方向信息。示例性的，第一标注信息中可以采用
Figure BDA0003228931650000091
表示空间平面的方向信息，其中，
Figure BDA0003228931650000092
表示空间平面水平方向上的方向向量，
Figure BDA0003228931650000093
表示空间平面竖直方向上的方向向量，
Figure BDA0003228931650000094
表示空间平面法线方向上的方向向量。
实际应用中，可以通过多种方式获得第一样本图像，作为一个示例，可以采用摄像机等图像采集设备采集包括空间平面的物体(如桌子、地面、墙面)的图像，具体的实施中，通常室内会同时存在空间水平平面(如地面)和空间竖直平面(如墙面)，因此还可以采集室内图像，将该室内图像作为第一样本图像，降低样本图像采集的复杂程度。在得到第一样本图像后，可以通过人工标注的方式标注出第一样本图像中各空间平面的掩膜信息和方向信息。
(3)将所述第一样本图像输入所述初始平面检测模型进行平面检测，得到预测平面检测结果。
(4)根据所述预测平面检测结果与所述第一标注信息的差异，调整所述初始平面检测模型的模型参数直至满足第一训练结束条件，得到所述平面检测模型。
具体的，通过机器学习的方法，将第一训练样本集合中训练样本对应的第一样本图像作为初始平面检测模型的输入，将该第一样本图像对应的第一标注信息作为期望输出，通过初始平面检测模型对该第一样本图像进行平面检测得到训练过程中的预测平面检测结果，然后计算该训练过程中的预测平面检测结果与期望输出之间的差异程度，并按照最小化该差异程度的方向调整初始平面检测模型的模型参数，直至满足第一训练结束条件结束训练得到上述平面检测模型。
实际应用中，第一训练结束条件可以是训练过程的迭代次数达到预设迭代次数，也可以是损失值达到预设损失阈值。其中，损失值基于损失函数确定，该损失函数可以表示训练过程中的平面检测结果与期望输出之间的差异程度。
本公开实施例通过构建初始化平面检测模型，并获取第一样本图像以及第一样本图像对应的第一标注信息，进而进行机器学习得到平面检测模型，由于第一标注信息包括第一样本图像中空间平面的掩膜信息和空间平面的方向信息，从而该训练得到的平面检测模型可以检测出图像中的空间平面以及空间平面度的方向信息。
本公开实施例利用训练好的平面检测模型对包含空间平面的图像进行平面检测，从而可以直接检测出该图像中的空间平面以及各空间平面的方向信息，大大简化了在获取图像中空间平面的相关信息时对于图像的处理过程，在缩短图像处理耗时、降低资源消耗并提升鲁棒性的同时，能够得到更加有用的平面方向信息，且灵活性也大大提高。
实际应用中，有些应用场景对检测得到的空间平面的方向信息的准确性要求很高，如在AR(Augmented Reality，增强现实)应用场景中，如果要在空间平面上显示一个虚拟的物品，则该平面检测结果中空间平面的方向信息会对该物品的摆放方向产生较大影响，若平面检测结果中空间平面的方向信息不够准确将使得该物品的摆放方向与实际不符，影响体验。
基于此，为了提高平面检测结果中空间平面的方向信息的准确性，在一个示例性的实施方式中，如图3提供的另一种图像处理方法，该方法还可以包括：
将目标图像输入至线段检测模型进行线性检测处理，得到线段检测结果；该线段检测结果包括目标图像中的空间线段和该空间线段对应的语义信息，该语义信息指示相应空间线段是否为竖直方向的线段；
根据上述线段检测结果对平面检测结果中所述空间平面的方向信息进行校正；
其中，线段检测模型是基于第二样本图像和该第二样本图像对应的第二标注信息进行机器学习确定的，该第二标注信息包括第二样本图像中空间线段的位置信息和该空间线段对应的语义信息。
实际应用中，在将目标图像输入至线段检测模型之前，需要先训练该线段检测模型，具体可以通过以下方式训练该线段检测模型：
(1)构建初始线段检测模型，该初始线段检测模型可以使用任一线段检测网络，例如可以是L-CNN或者HAWP等。
其中，L-CNN是一种使用单个统一的神经网络的端到端框线分析模型，其包括主干网络、连接点预测网络、候选线段生成网络和线段校正网络这四个部分。主干网络用于特征提取，将图片作为输入并为后续网络提供共享卷积特征图；连接点预测网络用于根据共享卷积特征图预测连接点以输出候选连接点；候选线段生成网络用于根据候选连接点预测出线段以得到候选线段；线段校正网络用于根据共享卷积特征图和候选线段分类出预测的线段。
HAWP(Holistically-Attracted Wireframe Parsing，整体吸引线框解析)模型也是端到端的神经网络模型，其包括特征提取网络、初始预测网络、匹配预测网络和分类预测网络。特征提取网络用于对输入图像进行特征提取得到共享卷积特征图；初始预测网络用于根据共享卷积特征图预测连接点和线段；匹配预测网络用于对上述预测的连接点和线段进行匹配，将不能匹配的线段和连接点舍弃掉；分类预测网络用于将上一步保留的线段和连接点进行分类以得到预测的线段。
(2)获取第二样本图像和所述第二样本图像对应的第二标注信息。
具体的，可以获取第二训练样本集合，该第二训练样本集合中的每个第二训练样本可以包括第二样本图像和该第二样本图像对应的第二标注信息，该第二标注信息包括相应第二样本图像中空间线段的位置信息和该空间线段的语义信息，该语义信息指示相应空间线段是否为竖直方向的线段。示例性的，第二标注信息中空间线段的位置信息可以包括线段两端的顶点V＝(v0，v1，…，vk)和顶点间的连线信息E＝{(i，j)}，其中，vk表示第k个顶点的顶点信息，该顶点信息包含该第k个顶点在第二样本图像中的坐标；(i，j)表示第i个顶点和第j个顶点之间有连线。
实际应用中，可以采用摄像机等图像采集设备采集现实场景中的物体的图像，将该采集的图像作为第二样本图像，并可以通过人工标注的方式对该第二样本图像进行标注以得到相应的第二标注信息。
(3)将所述第二样本图像输入所述初始线段检测模型进行线段检测，得到预测线段检测结果。
(4)根据所述预测线段检测结果与所述第二标注信息之间的差异，调整所述初始线段检测模型的模型参数直至满足第二训练结束条件，得到所述线段检测模型。
具体的，通过机器学习的方法，将第二训练样本集合中训练样本对应的第二样本图像作为初始线段检测模型的输入，将该第二样本图像对应的第二标注信息作为期望输出，通过初始线段检测模型对该第二样本图像进行线段检测得到训练过程中的预测线段检测结果，然后计算该训练过程中的预测线段检测结果与期望输出之间的差异程度，并按照最小化该差异程度的方向调整初始线段检测模型的模型参数，直至满足第二训练结束条件结束训练得到上述线段检测模型。
可以理解的，上述第二训练结束条件可以是训练过程的迭代次数达到预设迭代次数，也可以是损失值达到预设损失阈值。其中，损失值基于损失函数确定，该损失函数可以表示训练过程中的线段检测结果与期望输出之间的差异程度。
本公开实施例通过构建初始线段检测模型，并获取第二样本图像和第二样本图像对应的第二标注信息，进而进行机器学习得到线段检测模型，由于第二标注信息包括第二样本图像中空间线段的位置信息和空间线段对应的语义信息，从而训练得到的线段检测模型可以检测出图像中的空间线段并能够指示出该空间线段是否为竖直方向的线段。
本公开实施例利用训练好的线段检测模型对目标图像进行线段检测，进而结合线段检测结果对平面检测结果中空间平面的方向信息进行校正，从而提高了最终得到的空间平面的方向信息的准确性。
在一个示例性的实施方式中，在根据线段检测结果对平面检测结果中空间平面的方向信息进行校正时，可以采用图4中所示的方法，包括以下步骤：
在步骤S401中，针对所述平面检测结果中的每个空间平面，确定所述线段检测结果中对应所述空间平面的目标空间线段。
其中，线段检测结果中对应所述空间平面的目标空间线段表明目标图像中的该目标空间线段为该空间平面中线段。
在步骤S403中，根据所述目标空间线段对应的语义信息，确定所述目标空间线段中属于竖直方向的空间线段。
具体的，由于语义信息指示空间线段是否为竖直方向(即y方向)的线段，因此，根据目标空间线段对应的语义信息可以找出目标空间线段中属于竖直方向的空间线段。
在步骤S405中，根据所述空间平面水平方向上的方向向量，确定所述目标空间线段中属于水平方向的空间线段。
示例性的，在根据空间平面水平方向上的方向向量确定目标空间线段中属于水平方向的空间线段时，可以包括以下步骤：
确定所述空间平面水平方向上的方向向量在二维图像上的投影线段；
确定目标空间线段与该投影线段之间的夹角；
从所述目标空间线段中选取夹角小于预设角度阈值的空间线段，得到所述目标空间线段中属于水平方向的空间线段。
其中，预设角度阈值可以根据实际确定，一般预设角度阈值越小，选取的水平方向的空间线段越准确，进而有利于提高后续对空间平面的方向信息校正的准确性。
本公开实施例通过确定空间平面水平方向上的方向向量在二维图像上的投影线段，并基于目标空间线段与该投影线段之间的夹角来选取目标空间线段中属于水平方向的空间线段，从而能够快速、准确的确定出目标空间线段中属于水平方向的空间线段，有利于提高后续校正的效率和准确性。
在步骤S407中，根据所述竖直方向的空间线段和所述水平方向的空间线段，校正所述空间平面预设方向上的方向向量。
具体的，可以根据竖直方向的空间线段校正所述空间平面竖直方向上的方向向量，根据水平方向的空间线段校正所述空间平面水平方向上的方向向量，进而根据校正后的所述空间平面竖直方向上的方向向量和水平方向上的方向向量确定校正后的所述空间平面法线方向上的方向向量。
通过针对平面检测结果中的每个空间平面，确定线段检测结果中对应该空间平面的目标空间线段，并结合目标空间线段的语义信息确定出目标空间线段中属于竖直方向的空间线段，以及结合该空间平面水平方向上的方向向量确定出目标空间线段中属于水平方向的空间线段，进而根据竖直方向的空间线段和水平方向的空间线段对该空间平面预设方向上的方向向量进行校正，确保了目标图像中各空间平面的方向信息的准确性。
实际应用中，在根据竖直方向的空间线段校正所述空间平面竖直方向上的方向向量时需要基于两条竖直方向的空间线段进行计算，因此，需要判断所述竖直方向的空间线段的数量是否为至少两条，在判断的结果为是时，可以根据竖直方向的空间线段校正所述空间平面竖直方向上的方向向量；反之，直接采用平面检测结果中所述空间平面竖直方向上的方向向量作为校正后的该空间平面竖直方向上的方向向量。
同理，在根据水平方向的空间线段校正所述空间平面水平方向上的方向向量时需要基于两条水平方向的空间线段进行计算，因此需要判断所述水平方向的空间线段的数量是否为至少两条，在判断的结果为是时，可以根据水平方向的空间线段校正所述空间平面水平方向上的方向向量；反之，直接采用平面检测结果中所述空间平面水平方向上的方向向量作为校正后的该空间平面水平方向上的方向向量。
基于此，在一个示例性的实施方式中，上述步骤S407在根据所述竖直方向的空间线段和所述水平方向的空间线段，校正所述空间平面预设方向上的方向向量时可以包括以下步骤：
(1)在所述竖直方向的空间线段包括至少两条的情况下，从至少两条所述竖直方向的空间线段中选取两条空间线段作为第一计算线段，根据所述第一计算线段校正所述空间平面竖直方向上的方向向量；
(2)在所述水平方向的空间线段包括至少两条的情况下，从至少两条所述水平方向的空间线段中选取两条空间线段作为第二计算线段，根据所述第二计算线段校正所述空间平面水平方向上的方向向量；
可以理解的，第一计算线段和第二计算线段均为物理世界中的两条平行线段，在根据所述第一计算线段校正所述空间平面竖直方向上的方向向量时可以基于第一计算线段计算出一个方向向量，该计算出的方向向量即作为校正后的所述空间平面竖直方向上的方向向量；同理，在根据所述第二计算线段校正所述空间平面水平方向上的方向向量时可以基于第二计算线段计算出一个方向向量，该计算出的方向向量即作为校正后的所述空间平面水平方向上的方向向量。
其中，基于第一计算线段计算方向向量与基于第二计算线段计算方向向量的方法一样，其原理都是基于物理世界中的两条平行线段计算方向向量。具体的，基于物理世界中的两条平行线段计算方向向量的过程如下：
假设物理世界中的两条平行线段投影到图像上后的顶点分别表示为(u1，u2)和(v1，v2)，相机中心坐标表示为o＝(0，0，0)，那么平面Δou1u2和平面Δov1v2的法向量分别为：
Figure BDA0003228931650000141
Figure BDA0003228931650000142
则可以计算得到方向向量
Figure BDA0003228931650000143
(3)根据校正后的所述空间平面竖直方向上的方向向量和水平方向上的方向向量，确定校正后的所述空间平面法线方向上的方向向量。
具体的，可以将校正后的所述空间平面竖直方向上的方向向量和水平方向上的方向向量进行叉乘，该叉乘的结果作为校正后的所述空间平面法线方向上的方向向量，也即校正后的所述空间平面法线方向上的方向向量
Figure BDA0003228931650000151
可以表示为：
Figure BDA0003228931650000152
其中，
Figure BDA0003228931650000153
为校正后的所述空间平面水平方向上的方向向量，
Figure BDA0003228931650000154
为校正后的所述空间平面竖直方向上的方向向量。
本公开实施例通过在竖直方向的空间线段包括至少两条的情况下，从至少两条竖直方向的空间线段中选取两条空间线段作为第一计算线段，以及在水平方向的空间线段包括至少两条的情况下，从至少两条水平方向的空间线段中选取两条空间线段作为第二计算线段，进而根据第一计算线段对相应空间线段竖直方向上的方向向量进行校正，以及根据第二计算线段对该空间线段水平方向上的方向向量进行校正，并根据校正后的竖直方向上的方向向量和水平方向上的方向向量确定校正后的空间平面法线方向上的方向向量，从而实现了对空间平面预设方向上的方向向量进行校正，确保了校正后各方向向量的准确性。
为了提高校正后的空间平面竖直方向上的方向向量的准确性，在一个示例性的实施方式中，在从至少两条所述竖直方向的空间线段中选取两条空间线段作为第一计算线段时可以包括以下步骤：
(1)针对每条所述竖直方向的空间线段，确定所述竖直方向的空间线段对应的线段长度，以及根据所述竖直方向的空间线段上每个像素点的梯度确定所述竖直方向的空间线段对应的边缘强度；
其中，图像中像素点i的梯度是指像素点i在X方向和Y方向上的变化率，是一个二维向量，由X轴的变化率和Y轴的变化率这两个分量组成。其中，X轴的变化率是指像素点i相邻的前后两个像素点的像素值的差值即X轴的变化率＝像素点i+1的像素值-像素点i-1的像素值，其中，像素点i+1为像素点i沿X轴正方向上的相邻像素点，像素点i-1为像素点i沿X轴负方向上的相邻像素点；同理，Y轴的变化率是指像素点j相邻的前后两个像素点的像素值的差值即Y轴的变化率＝像素点j+1的像素值-像素点j-1的像素值，其中，像素点j+1为像素点j沿Y轴负方向上的相邻像素点，像素点j-1为像素点j沿Y轴正方向上的相邻像素点。
在确定竖直方向的空间线段对应的边缘强度时，作为一个示例，可以针对该竖直方向的空间线段上的每个像素点，根据该像素点的梯度计算该像素点对应的点边缘强度，然后计算该竖直方向的空间线段上所有像素点的点边缘强度的均值，将该均值作为该竖直方向的空间线段对应的边缘强度。
其中，像素点对应的点边缘强度为该像素点对应梯度中的两个分量的均方，也即像素点i的点边缘强度＝{(X轴的变化率)2 i+(Y轴的变化率)2 i}/2。
(2)根据各所述竖直方向的空间线段对应的边缘强度和线段长度，确定各所述竖直方向的空间线段对应的得分；
示例性的，每个竖直方向的空间线段对应的得分为其边缘强度对应的得分和线段长度对应的得分的和值。其中，边缘强度对应的得分与边缘强度成正相关关系，也即边缘强度越大，该边缘强度对应的得分越高；线段长度对应的得分与线段长度成正相关关系，也即线段长度越长，该线段长度对应的得分越高。
(3)从至少两条所述竖直方向的空间线段中，选取所述得分最高的两条空间线段作为第一计算线段。
示例性的，可以根据各竖直方向的空间线段的得分对至少两条竖直方向的空间线段进行降序排列，并选取排序在前的两条竖直方向的空间线段作为第一计算线段。
本公开实施例通过确定各竖直方向的空间线段对应的线段长度以及边缘强度，并根据线段长度和边缘强度确定相应竖直方向的空间线段对应的得分，进而从至少两条竖直方向的空间线段中选取得分最高的两条空间线段作为第一计算线段，有利于提高基于该第一计算线段计算的方向向量的准确性，从而有利于提高校正后的空间平面竖直方向上的方向向量的准确性。
为了提高校正后的空间平面水平方向上的方向向量的准确性，在一个示例性的实施方式中，在从至少两条所述水平方向的空间线段中选取两条空间线段作为第二计算线段时可以包括以下步骤：
(1)针对每条所述水平方向的空间线段，确定所述水平方向的空间线段对应的线段长度，以及根据所述水平方向的空间线段上每个像素点的梯度确定所述水平方向的空间线段对应的边缘强度；
(2)根据各所述水平方向的空间线段对应的边缘强度和线段长度，确定各所述水平方向的空间线段对应的得分；
(3)从至少两条所述水平方向的空间线段中，选取所述得分最高的两条空间线段作为第二计算线段。
上述步骤在具体实施时可以参见前述关于从至少两条所述竖直方向的空间线段中选取两条空间线段作为第一计算线段的相关内容，在此不再赘述。
本公开实施例通过确定各水平方向的空间线段对应的线段长度以及边缘强度，并根据线段长度和边缘强度确定相应水平方向的空间线段对应的得分，进而从至少两条水平方向的空间线段中选取得分最高的两条空间线段作为第二计算线段，有利于提高基于该第二计算线段计算的方向向量的准确性，从而有利于提高校正后的空间平面水平方向上的方向向量的准确性。
图5是根据一示例性实施例示出的一种图像处理装置的框图。参照图5，该图像处理装置包括图像获取单元510和平面检测单元520，其中：
图像获取单元510，被配置为执行获取目标图像；所述目标图像中包括空间平面；
平面检测单元520，被配置为执行将所述目标图像输入至平面检测模型进行平面检测，得到平面检测结果；所述平面检测结果包括所述目标图像中的空间平面和所述空间平面的方向信息。
在一个示例性的实施方式中，所述空间平面的方向信息包括所述空间平面预设方向上的方向向量，所述预设方向包括水平方向、竖直方向和法线方向。
在一个示例性的实施方式中，如图6提供的另一种图像处理装置的框图，所述装置还包括：
线段检测单元530，被配置为执行将所述目标图像输入至线段检测模型进行线段检测处理，得到线段检测结果；所述线段检测结果包括所述目标图像中的空间线段和所述空间线段对应的语义信息，所述语义信息指示所述空间线段是否为竖直方向的线段；
校正单元540，被配置为执行根据所述线段检测结果对所述平面检测结果中所述空间平面的方向信息进行校正。
在一个示例性的实施方式中，所述校正单元540包括：
第一确定单元，被配置为执行针对所述平面检测结果中的每个空间平面，确定所述线段检测结果中对应所述空间平面的目标空间线段；
第二确定单元，被配置为执行根据所述目标空间线段对应的语义信息，确定所述目标空间线段中属于竖直方向的空间线段；
第三确定单元，被配置为执行根据所述空间平面水平方向上的方向向量，确定所述目标空间线段中属于水平方向的空间线段；
校正子单元，被配置为执行根据所述竖直方向的空间线段和所述水平方向的空间线段，校正所述空间平面预设方向上的方向向量。
在一个示例性的实施方式中，所述第二确定单元包括：
投影线段确定单元，被配置为执行确定所述空间平面水平方向上的方向向量在二维图像上的投影线段；
夹角确定单元，被配置为执行确定所述目标空间线段与所述投影线段之间的夹角；
第一选取单元，被配置为执行从所述目标空间线段中选取所述夹角小于预设角度阈值的空间线段，得到所述水平方向的空间线段。
在一个示例性的实施方式中，所述校正子单元包括：
竖直方向校正单元，被配置为执行在所述竖直方向的空间线段包括至少两条的情况下，从至少两条所述竖直方向的空间线段中选取两条空间线段作为第一计算线段，根据所述第一计算线段校正所述空间平面竖直方向上的方向向量；
水平方向校正单元，被配置为执行在所述水平方向的空间线段包括至少两条的情况下，从至少两条所述水平方向的空间线段中选取两条空间线段作为第二计算线段，根据所述第二计算线段校正所述空间平面水平方向上的方向向量；
法线方向校正单元，被配置为执行根据校正后的所述空间平面竖直方向上的方向向量和水平方向上的方向向量，确定校正后的所述空间平面法线方向上的方向向量。
在一个示例性的实施方式中，所述竖直方向校正单元包括：
第四确定单元，被配置为执行针对每条所述竖直方向的空间线段，确定所述竖直方向的空间线段对应的线段长度，以及根据所述竖直方向的空间线段上每个像素点的梯度确定所述竖直方向的空间线段对应的边缘强度；
第一得分确定单元，被配置为执行根据各所述竖直方向的空间线段对应的边缘强度和线段长度，确定各所述竖直方向的空间线段对应的得分；
第二选取单元，被配置为执行从至少两条所述竖直方向的空间线段中，选取所述得分最高的两条空间线段作为第一计算线段。
在一个示例性的实施方式中，所述水平方向校正单元包括：
第五确定单元，被配置为执行针对每条所述水平方向的空间线段，确定所述水平方向的空间线段对应的线段长度，以及根据所述水平方向的空间线段上每个像素点的梯度确定所述水平方向的空间线段对应的边缘强度；
第二得分确定单元，被配置为执行根据各所述水平方向的空间线段对应的边缘强度和线段长度，确定各所述水平方向的空间线段对应的得分；
第三选取单元，被配置为执行从至少两条所述水平方向的空间线段中，选取所述得分最高的两条空间线段作为第二计算线段。
在一个示例性的实施方式中，所述装置还包括：
第一模型构建单元，被配置为执行构建初始平面检测模型；
第一样本获取单元，被配置为执行获取第一样本图像以及所述第一样本图像对应的第一标注信息；第一标注信息包括所述第一样本图像中空间平面的掩膜信息和所述空间平面的方向信息；
第一预测单元，被配置为执行将所述第一样本图像输入所述初始平面检测模型进行平面检测，得到预测平面检测结果；
第一调整单元，被配置为执行根据所述预测平面检测结果与所述第一标注信息的差异，调整所述初始平面检测模型的模型参数直至满足第一训练结束条件，得到所述平面检测模型。
在一个示例性的实施方式中，所述装置还包括：
第二构建单元，被配置为执行构建初始线段检测模型；
第二样本获取单元，被配置为执行获取第二样本图像和所述第二样本图像对应的第二标注信息；所述第二标注信息包括所述第二样本图像中空间线段的位置信息和所述空间线段对应的语义信息；
第二预测单元，被配置为执行将所述第二样本图像输入所述初始线段检测模型进行线段检测，得到预测线段检测结果；
第二调整单元，被配置为执行根据所述预测线段检测结果与所述第二标注信息之间的差异，调整所述初始线段检测模型的模型参数直至满足第二训练结束条件，得到所述线段检测模型。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
在一个示例性的实施方式中，还提供了一种电子设备，包括处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行存储器上所存放的指令时，实现本公开实施例中提供的任意一种图像处理方法。
存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及图像处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。
本公开实施例中的上述电子设备可以是终端、服务器或者类似的运算装置，以该电子设备是终端为例，图7是根据一示例性实施例示出的一种用于图像处理的电子设备的框图，具体来讲：
所述终端可以包括RF(Radio Frequency，射频)电路710、包括有一个或一个以上计算机可读存储介质的存储器720、输入单元730、显示单元740、传感器750、音频电路760、WiFi(wireless fidelity，无线保真)模块770、包括有一个或者一个以上处理核心的处理器780、以及电源790等部件。本领域技术人员可以理解，图7中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
RF电路710可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器780处理；另外，将涉及上行的数据发送给基站。通常，RF电路710包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM)卡、收发信机、耦合器、LNA(Low Noise Amplifier，低噪声放大器)、双工器等。此外，RF电路710还可以通过无线通信与网络和其他终端通信。所述无线通信可以使用任一通信标准或协议，包括但不限于GSM(Global System of Mobile communication，全球移动通讯系统)、GPRS(General Packet Radio Service，通用分组无线服务)、CDMA(CodeDivision Multiple Access，码分多址)、WCDMA(Wideband Code Division MultipleAccess,宽带码分多址)、LTE(Long Term Evolution,长期演进)、电子邮件、SMS(ShortMessaging Service，短消息服务)等。
存储器720可用于存储软件程序以及模块，处理器780通过运行存储在存储器720的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器720可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述终端的使用所创建的数据等。此外，存储器720可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器720还可以包括存储器控制器，以提供处理器780和输入单元730对存储器720的访问。
输入单元730可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元730可包括触敏表面731以及其他输入设备732。触敏表面731，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面731上或在触敏表面731附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面731可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器780，并能接收处理器780发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面731。除了触敏表面731，输入单元730还可以包括其他输入设备732。具体地，其他输入设备732可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元740可用于显示由用户输入的信息或提供给用户的信息以及所述终端的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元740可包括显示面板741，可选的，可以采用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板741。进一步的，触敏表面731可覆盖显示面板741，当触敏表面731检测到在其上或附近的触摸操作后，传送给处理器780以确定触摸事件的类型，随后处理器780根据触摸事件的类型在显示面板741上提供相应的视觉输出。其中，触敏表面731与显示面板741可以两个独立的部件来实现输入和输入功能，但是在某些实施例中，也可以将触敏表面731与显示面板741集成而实现输入和输出功能。
所述终端还可包括至少一种传感器750，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板741的亮度，接近传感器可在所述终端移动到耳边时，关闭显示面板741和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于所述终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路760、扬声器761，传声器762可提供用户与所述终端之间的音频接口。音频电路760可将接收到的音频数据转换后的电信号，传输到扬声器761，由扬声器761转换为声音信号输出；另一方面，传声器762将收集的声音信号转换为电信号，由音频电路760接收后转换为音频数据，再将音频数据输出处理器780处理后，经RF电路710以发送给比如另一终端，或者将音频数据输出至存储器720以便进一步处理。音频电路760还可能包括耳塞插孔，以提供外设耳机与所述终端的通信。
WiFi属于短距离无线传输技术，所述终端通过WiFi模块770可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图7示出了WiFi模块770，但是可以理解的是，其并不属于所述终端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器780是所述终端的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器720内的软件程序和/或模块，以及调用存储在存储器720内的数据，执行所述终端的各种功能和处理数据，从而对终端进行整体监控。可选的，处理器780可包括一个或多个处理核心；优选的，处理器780可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器780中。
所述终端还包括给各个部件供电的电源790(比如电池)，优选的，电源可以通过电源管理系统与处理器780逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源790还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出，所述终端还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，终端还包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行。上述一个或者一个以上程序包含用于执行上述方法实施例提供的图像中平面的检测方法的指令。
在一个示例性的实施方式中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器720，上述指令可由装置700的处理器780执行以完成上述方法。可选地，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在一个示例性的实施方式中，还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本公开实施例中提供的任意一种图像处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取目标图像；所述目标图像中包括空间平面；
将所述目标图像输入至平面检测模型进行平面检测，得到平面检测结果；所述平面检测结果包括所述目标图像中的空间平面和所述空间平面的方向信息。
2.根据权利要求1所述的图像处理方法，其特征在于，所述空间平面的方向信息包括所述空间平面预设方向上的方向向量，所述预设方向包括水平方向、竖直方向和法线方向。
3.根据权利要求2所述的图像处理方法，其特征在于，所述方法还包括：
将所述目标图像输入至线段检测模型进行线段检测处理，得到线段检测结果；所述线段检测结果包括所述目标图像中的空间线段和所述空间线段对应的语义信息，所述语义信息指示所述空间线段是否为竖直方向的线段；
根据所述线段检测结果对所述平面检测结果中所述空间平面的方向信息进行校正。
4.根据权利要求3所述的图像处理方法，其特征在于，所述根据所述线段检测结果对所述平面检测结果中所述空间平面的方向信息进行校正，包括：
针对所述平面检测结果中的每个空间平面，确定所述线段检测结果中对应所述空间平面的目标空间线段；
根据所述目标空间线段对应的语义信息，确定所述目标空间线段中属于竖直方向的空间线段；
根据所述空间平面水平方向上的方向向量，确定所述目标空间线段中属于水平方向的空间线段；
根据所述竖直方向的空间线段和所述水平方向的空间线段，校正所述空间平面预设方向上的方向向量。
5.根据权利要求4所述的图像处理方法，其特征在于，所述根据所述空间平面水平方向上的方向向量，确定所述目标空间线段中属于水平方向的空间线段包括：
确定所述空间平面水平方向上的方向向量在二维图像上的投影线段；
确定所述目标空间线段与所述投影线段之间的夹角；
从所述目标空间线段中选取所述夹角小于预设角度阈值的空间线段，得到所述水平方向的空间线段。
6.根据权利要求4所述的图像处理方法，其特征在于，所述根据所述竖直方向的空间线段和所述水平方向的空间线段，校正所述空间平面预设方向上的方向向量包括：
在所述竖直方向的空间线段包括至少两条的情况下，从至少两条所述竖直方向的空间线段中选取两条空间线段作为第一计算线段，根据所述第一计算线段校正所述空间平面竖直方向上的方向向量；
在所述水平方向的空间线段包括至少两条的情况下，从至少两条所述水平方向的空间线段中选取两条空间线段作为第二计算线段，根据所述第二计算线段校正所述空间平面水平方向上的方向向量；
根据校正后的所述空间平面竖直方向上的方向向量和水平方向上的方向向量，确定校正后的所述空间平面法线方向上的方向向量。
7.一种图像处理装置，其特征在于，包括：
图像获取单元，被配置为执行获取目标图像；所述目标图像中包括空间平面；
平面检测单元，被配置为执行将所述目标图像输入至平面检测模型进行平面检测，得到平面检测结果；所述平面检测结果包括所述目标图像中的空间平面和所述空间平面的方向信息。
8.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的图像处理方法。
9.一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至6中任一项所述的图像处理方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的图像处理方法。
CN202110980541.5A 2021-08-25 2021-08-25 一种图像处理方法、装置、电子设备及存储介质 Pending CN113780291A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110980541.5A CN113780291A (zh) 2021-08-25 2021-08-25 一种图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110980541.5A CN113780291A (zh) 2021-08-25 2021-08-25 一种图像处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113780291A true CN113780291A (zh) 2021-12-10

Family

ID=78839222

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110980541.5A Pending CN113780291A (zh) 2021-08-25 2021-08-25 一种图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113780291A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116109828A (zh) * 2023-03-23 2023-05-12 荣耀终端有限公司 图像处理方法和电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109683699A (zh) * 2019-01-07 2019-04-26 深圳增强现实技术有限公司 基于深度学习实现增强现实的方法、装置及移动终端
CN109934847A (zh) * 2019-03-06 2019-06-25 视辰信息科技(上海)有限公司 弱纹理三维物体姿态估计的方法和装置
CN110084797A (zh) * 2019-04-25 2019-08-02 北京达佳互联信息技术有限公司 平面检测方法、装置、电子设备和存储介质
CN110458805A (zh) * 2019-03-26 2019-11-15 华为技术有限公司 一种平面检测方法、计算设备以及电路系统
CN111556336A (zh) * 2020-05-12 2020-08-18 腾讯科技（深圳）有限公司 一种多媒体文件处理方法、装置、终端设备及介质
CN111932482A (zh) * 2020-09-25 2020-11-13 平安科技（深圳）有限公司 图像中目标物的检测方法、装置、电子设备及存储介质
CN112837404A (zh) * 2019-11-25 2021-05-25 北京初速度科技有限公司 一种平面对象的三维信息的构建方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109683699A (zh) * 2019-01-07 2019-04-26 深圳增强现实技术有限公司 基于深度学习实现增强现实的方法、装置及移动终端
CN109934847A (zh) * 2019-03-06 2019-06-25 视辰信息科技(上海)有限公司 弱纹理三维物体姿态估计的方法和装置
CN110458805A (zh) * 2019-03-26 2019-11-15 华为技术有限公司 一种平面检测方法、计算设备以及电路系统
CN110084797A (zh) * 2019-04-25 2019-08-02 北京达佳互联信息技术有限公司 平面检测方法、装置、电子设备和存储介质
CN112837404A (zh) * 2019-11-25 2021-05-25 北京初速度科技有限公司 一种平面对象的三维信息的构建方法及装置
CN111556336A (zh) * 2020-05-12 2020-08-18 腾讯科技（深圳）有限公司 一种多媒体文件处理方法、装置、终端设备及介质
CN111932482A (zh) * 2020-09-25 2020-11-13 平安科技（深圳）有限公司 图像中目标物的检测方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116109828A (zh) * 2023-03-23 2023-05-12 荣耀终端有限公司 图像处理方法和电子设备
CN116109828B (zh) * 2023-03-23 2023-08-18 荣耀终端有限公司 图像处理方法和电子设备

Similar Documents

Publication Publication Date Title
CN111417028B (zh) 信息处理方法、装置、存储介质及电子设备
CN109918975B (zh) 一种增强现实的处理方法、对象识别的方法及终端
WO2019184889A1 (zh) 增强现实模型的调整方法、装置、存储介质和电子设备
CN105867751B (zh) 操作信息处理方法和装置
CN110866897A (zh) 一种图像检测方法及计算机可读存储介质
WO2020042968A1 (zh) 一种对象信息的获取方法、装置以及存储介质
CN109495616B (zh) 一种拍照方法及终端设备
CN105989572B (zh) 图片处理方法及装置
CN111556337B (zh) 一种媒体内容植入方法、模型训练方法以及相关装置
CN114693001A (zh) 一种泊车位预测方法、装置、电子设备及存储介质
CN110784672B (zh) 一种视频数据传输方法、装置、设备及存储介质
CN114612531A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN108307031B (zh) 屏幕处理方法、装置及存储介质
CN113780291A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN107632985B (zh) 网页预加载方法及装置
CN106982389B (zh) 视频类型识别方法及装置
CN114935973A (zh) 互动处理方法、装置、设备及存储介质
CN110782530B (zh) 自动驾驶仿真系统中车辆信息的展示方法及装置
CN113469923A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN115841575A (zh) 关键点检测方法、装置、电子设备、存储介质和程序产品
CN114510417A (zh) 一种图像渲染效果测试方法、装置、电子设备和存储介质
CN108829600B (zh) 算法库的测试方法、装置、存储介质和电子设备
CN113706446A (zh) 一种镜头检测方法和相关装置
CN111986251A (zh) 物体体积测量方法、装置、测量设备及存储介质
CN110047076B (zh) 一种图像信息的处理方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination