CN115761207A - 一种图像处理方法、装置、电子设备及存储介质 - Google Patents

一种图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115761207A
CN115761207A CN202211486430.XA CN202211486430A CN115761207A CN 115761207 A CN115761207 A CN 115761207A CN 202211486430 A CN202211486430 A CN 202211486430A CN 115761207 A CN115761207 A CN 115761207A
Authority
CN
China
Prior art keywords
key point
image
key
processed
combination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211486430.XA
Other languages
English (en)
Inventor
赵尹发
马杨晓
邹兴财
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Pantum Electronics Co Ltd
Original Assignee
Zhuhai Pantum Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Pantum Electronics Co Ltd filed Critical Zhuhai Pantum Electronics Co Ltd
Priority to CN202211486430.XA priority Critical patent/CN115761207A/zh
Publication of CN115761207A publication Critical patent/CN115761207A/zh
Priority to US18/513,604 priority patent/US20240177321A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例提供的一种图像处理方法、装置、电子设备及存储介质，所述方法包括：对待处理图像进行关键点检测，确定待处理图像中的多个关键点；在多个关键点中确定至少一个关键点组合，每个关键点组合中包括四个关键点；响应于用户输入的关键点组合选择指令，在至少一个关键点组合中确定目标关键点组合；对目标关键点组合对应的四边形对象在待处理图像上界定出的四边形区域进行透视失真校正，获得处理后图像。在本申请实施例中，由于基于用户的选择确定最终的识别区域，因此可以提高对目标区域识别的准确性，进而提高图像的校正效果。另外，该方法通过用户与设备之间的交互实现目标区域的识别，增强了用户与设备之间的交互性。

Description

一种图像处理方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域，具体地涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
电子设备例如手机、平板电脑、数码相机、智能腕表、智能眼镜等，通常配置摄像头，用户可以利用电子设备上的摄像头对拍摄目标(例如，演示文稿、白板、文档、草图、绘画等)进行拍摄，以获得包含拍摄目标的拍摄图像。为了便于说明，将拍摄目标在拍摄图像中的区域称为“目标区域”。由于用户的拍摄场景复杂多样，用户无法在合适的位置或角度进行拍摄，导致拍摄图像中除了目标区域以外，还存在较多非目标区域。可理解，非目标区域为用户不需要的区域，拍摄图像中的非目标区域会对用户造成干扰。另外，拍摄图像中的目标区域还可能存在扭曲现象，导致用户体验较差。
针对上述问题，现有技术中的一种解决方案为：在用户完成拍摄后，对拍摄图像中的目标区域进行识别，获得识别区域；然后通过扭曲校正方法对识别区域进行校正，进而获得校正后的图像。
但是，现有技术中对目标区域识别的准确率较低，导致图像的校正效果较差。
发明内容
有鉴于此，本申请提供一种图像处理方法、装置、电子设备及存储介质，以利于解决现有技术中对目标区域识别的准确率较低，导致图像的校正效果较差的问题。
第一方面，本申请实施例提供了一种图像处理方法，包括：
对待处理图像进行关键点检测，确定所述待处理图像中的多个关键点，所述关键点为所述待处理图像中的角点；
在所述多个关键点中确定至少一个关键点组合，每个所述关键点组合中包括四个所述关键点，四个所述关键点用于界定出一个四边形对象；
响应于用户输入的关键点组合选择指令，在所述至少一个关键点组合中确定目标关键点组合；
对所述目标关键点组合对应的四边形对象在所述待处理图像上界定出的四边形区域进行透视失真校正，获得处理后图像。
在一种可能的实现方式中，所述对待处理图像进行关键点检测，确定所述待处理图像中的多个关键点，包括：
对所述待处理图像进行边缘检测，获得所述待处理图像对应的边缘检测图像；
对所述边缘检测图像进行角点检测，获得所述待处理图像中的多个关键点。
在一种可能的实现方式中，所述对所述待处理图像进行边缘检测，获得所述待处理图像对应的边缘检测图像，包括：
对所述待处理图像进行图像增强处理，获得所述待处理图像对应的增强图像；
对所述增强图像进行边缘检测，获得所述待处理图像对应的边缘检测图像。
在一种可能的实现方式中，所述在所述多个关键点中确定至少一个关键点组合，包括：
在所述多个关键点中剔除可疑关键点，获得多个保留关键点，所述保留关键点为所述多个关键点中除了所述可疑关键以外的关键点；
在所述多个保留关键点中确定至少一个关键点组合。
在一种可能的实现方式中，所述在所述多个关键点中剔除可疑关键点，获得多个保留关键点，包括：
将所述多个关键点中距离较近的多个关键点中的一个关键点作为保留关键点，将所述距离较近的多个关键点中的其它关键点作为可疑关键点剔除。
在一种可能的实现方式中，所述将所述多个关键点中距离较近的多个关键点中的一个关键点作为保留关键点，将所述距离较近的多个关键点中的其它关键点作为可疑关键点剔除，包括：
将所述多个关键点中距离较近的多个关键点中方差最大的关键点作为保留关键点，将所述距离较近的多个关键点中的其它关键点作为可疑关键点剔除。
在一种可能的实现方式中，所述将所述多个关键点中距离较近的多个关键点中方差最大的关键点作为保留关键点，将所述距离较近的多个关键点中的其它关键点作为可疑关键点剔除，包括：
计算所述多个关键点中任意两个关键点之间的距离；
若第一关键点和第二关键点之间的距离小于或等于第一距离阈值，则分别计算所述第一关键点和所述第二关键点在第二距离范围内的方差；
若所述第一关键点的方差大于所述第二关键点的方差，则将所述第二关键点作为可疑关键点剔除；若所述第一关键点的方差小于所述第二关键点的方差，则将所述第一关键点作为可疑关键点剔除；若所述第一关键点的方差等于所述第二关键点的方差，则将所述第一关键点或所述第二关键点作为可疑关键点剔除。
在一种可能的实现方式中，所述在所述多个保留关键点中确定至少一个关键点组合，包括：在所述多个保留关键点中确定N个最优关键点组合，所述最优关键点组合为与矩形相似度最高的关键点组合，N≥1；
所述响应于用户输入的关键点组合选择指令，在所述至少一个关键点组合中确定目标关键点组合，包括：响应于用户输入的关键点组合选择指令，在所述N个最优关键点组合中确定目标关键点组合。
在一种可能的实现方式中，所述在所述多个保留关键点中确定N个最优关键点组合，包括：
根据公式：
Figure BDA0003962551620000031
分别计算每个关键点组合与矩形的相似度值simi，其中，θi∈[0°,180°)为关键点组合对应的四边形对象中第i个角的角度，1≤i≤4；
将与矩形的相似度值simi最大的N个关键点组合作为最优关键点组合。
在一种可能的实现方式中，所述方法还包括：在显示界面中显示所述最优关键点组合对应的四边形对象的透视图形；
所述响应于用户输入的关键点组合选择指令，在所述N个最优关键点组合中确定目标关键点组合，包括：响应于用户在所述四边形对象的透视图形中触发的关键点组合选择指令，在所述N个最优关键点组合中确定目标关键点组合。
在一种可能的实现方式中，所述在显示界面中显示所述最优关键点组合对应的四边形对象的透视图形，包括：
在显示界面中显示待处理图像以及所述最优关键点组合对应的四边形对象的透视图形的缩略图，所述待处理图像和所述缩略图在所述显示界面中不重叠。
在一种可能的实现方式中，所述方法还包括：
响应于用户触发的缩略图切换指令，将所述显示界面中显示的部分或全部缩略图切换为其它最优关键点组合对应的四边形对象的透视图形的缩略图。
在一种可能的实现方式中，所述在显示界面中显示所述最优关键点组合对应的四边形对象的透视图形，包括：
在显示界面中显示待处理图像以及所述最优关键点组合对应的触发控件，在所述待处理图像上显示目标透视图形，所述目标透视图形为处于选中状态的触发控件对应的最优关键点组合的四边形对象的透视图形，所述待处理图像和所述触发控件在所述显示界面中不重叠。
在一种可能的实现方式中，所述方法还包括：
响应于用户触发的透视图形切换指令，切换处于选中状态的触发控件，进而切换所述待处理图像上显示的目标透视图形。
在一种可能的实现方式中，所述方法还包括：
响应于用户触发的触发控件切换指令，将所述显示界面中显示的部分或全部触发控件切换为其它最优关键点组合对应的触发控件。
在一种可能的实现方式中，所述方法还包括：
在所述多个关键点中确定默认关键点组合，所述默认关键点组合中包括四个默认关键点，四个所述默认关键点用于界定出一个四边形对象；
对所述默认关键点组合对应的四边形对象在所述待处理图像上界定出的四边形区域进行透视失真校正，获得处理后图像。
在一种可能的实现方式中，所述在所述多个关键点中确定默认关键点组合，包括：
分别计算所述多个关键点中每个关键点与所述待处理图像的四个边缘顶点中每个边缘顶点之间的距离；
将与所述边缘顶点距离最近的关键点作为所述边缘顶点对应的默认关键点，获得包含四个默认关键点的默认关键点组合。
在一种可能的实现方式中，所述在所述多个关键点中确定默认关键点组合，还包括：
若所述四个边缘顶点中的任一边缘顶点不存在对应的默认关键点，则为所述任一边缘顶点配置推荐关键点；
将所述推荐关键点作为所述任一边缘顶点的默认关键点。
第二方面，本申请实施例提供了一种图像处理方法，包括：
在显示界面中显示N个最优关键点组合对应的四边形对象的透视图形，所述最优关键点组合为与矩形相似度最高的关键点组合，N≥1；
响应于用户在所述四边形对象的透视图形中触发的关键点组合选择指令，在所述N个最优关键点组合中确定目标关键点组合。
第三方面，本申请实施例提供了一种图像处理装置，包括：
关键点确定模块，用于对待处理图像进行关键点检测，确定所述待处理图像中的多个关键点，所述关键点为所述待处理图像中的角点；
关键点组合确定模块，用于在所述多个关键点中确定至少一个关键点组合，每个所述关键点组合中包括四个所述关键点，四个所述关键点用于界定出一个四边形对象；
目标关键点组合确定模块，用于响应于用户输入的关键点组合选择指令，在所述至少一个关键点组合中确定目标关键点组合；
校正模块，用于对所述目标关键点组合对应的四边形对象在所述待处理图像上界定出的四边形区域进行透视失真校正，获得处理后图像。
第四方面，本申请实施例提供了一种图像处理装置，包括：
显示模块，用于在显示界面中显示N个最优关键点组合对应的四边形对象的透视图形，所述最优关键点组合为与矩形相似度最高的关键点组合，N≥1；
目标关键点组合确定模块，用于响应于用户在所述四边形对象的透视图形中触发的关键点组合选择指令，在所述N个最优关键点组合中确定目标关键点组合。
第五方面，本申请实施例提供了一种电子设备，包括：
处理器；
存储器；
以及计算机程序，其中所述计算机程序被存储在所述存储器中，所述计算机程序包括指令，当所述指令被所述处理器执行时，使得所述电子设备执行第一方面中任意一项所述的方法。
第六方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行第一方面中任意一项所述的方法。
在本申请实施例中，由于基于用户的选择确定最终的识别区域，因此可以提高对目标区域识别的准确性，进而提高图像的校正效果。另外，该方法通过用户与设备之间的交互实现目标区域的识别，增强了用户与设备之间的交互性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例提供的一种电子设备的结构示意图；
图2为本申请实施例提供的一种应用场景示意图；
图3为本申请实施例提供的一种图像处理方法的流程示意图；
图4为本申请实施例提供的一种角点检测方法的流程示意图；
图5为本申请实施例在图2所示的应用场景中检测的保留关键点的示意图；
图6为本申请实施例在图2所示的应用场景中确定的关键点组合的示意图；
图7为本申请实施例提供的另一种应用场景视图；
图8为本申请实施例提供的另一种应用场景视图；
图9为本申请实施例提供的另一种应用场景视图；
图10为本申请实施例提供的另一种应用场景视图；
图11为本申请实施例提供的另一种应用场景视图；
图12A为本申请实施例提供的另一种应用场景视图；
图12B为本申请实施例提供的另一种应用场景视图；
图12C为本申请实施例提供的另一种应用场景视图；
图13为本申请实施例提供的另一种图像处理方法的结构框图；
图14为本申请实施例提供的一种图像处理装置的结构框图；
图15为本申请实施例提供的另一种图像处理装置的结构框图；
图16为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了更好的理解本申请的技术方案，下面结合附图对本申请实施例进行详细描述。
应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，甲和/或乙，可以表示：单独存在甲，同时存在甲和乙，单独存在乙这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
参见图1，为本申请实施例提供的一种电子设备的结构示意图。图1中示出的电子设备为手机100，即本申请实施例提供的图像处理方法可应用于手机100。需要指出的是，除了手机100以外，本申请实施例提供的电子设备还可以为平板电脑、数码相机、智能腕表、智能眼镜等，本申请实施例对此不作具体限制。
在实际应用中，用户可以利用电子设备上的摄像头对拍摄目标(例如，演示文稿、白板、文档、草图、绘画等)进行拍摄，以获得包含拍摄目标的拍摄图像。为了便于说明，将拍摄目标在拍摄图像中的区域称为“目标区域”。由于用户的拍摄场景复杂多样，用户无法在合适的位置或角度进行拍摄，导致拍摄图像中除了目标区域以外，还存在较多非目标区域。可理解，非目标区域为用户不需要的区域，拍摄图像中的非目标区域会对用户造成干扰。另外，拍摄图像中的目标区域还可能存在扭曲现象，导致用户体验较差。
参见图2，为本申请实施例提供的一种应用场景示意图。在该应用场景中，拍摄目标为文档，即用户需要对文档进行拍摄。但是，由于用户的拍摄位置和/或拍摄角度等原因，导致用户的拍摄图像中，除了文档对应的目标区域以外，还存在较多非目标区域。可理解，当用户通过该拍摄图像查看文档时，非目标区域会对用户造成干扰。另外，拍摄图像中的文档存在扭曲现象，导致用户体验较差。
为了提高用户体验，现有技术中的一种解决方案为：在用户完成拍摄后，对拍摄图像中的目标区域进行识别，获得识别区域；然后通过扭曲校正方法对识别区域进行校正，进而获得校正后的图像。但是，现有技术中对目标区域识别的准确率较低，导致图像的校正效果较差。
针对上述问题，本申请实施例提供了一种图像处理方法，通过对待处理图像进行检测获得多个关键点组合(每个关键点组合对应一个识别区域)，响应于用户输入的关键点组合选择指令，在该至少一个关键点组合中确定目标关键点组合，进而对目标关键点组合对应的识别区域进行透视失真校正，获得处理后图像。由于该方法基于用户的选择确定最终的识别区域，因此可以提高对目标区域识别的准确性，进而提高图像的校正效果。另外，该方法通过用户与设备之间的交互实现目标区域的识别，增强了用户与设备之间的交互性。下面结合附图进行详细说明。
参见图3，为本申请实施例提供的一种图像处理方法的流程示意图。该方法可应用于图1所示的电子设备，如图3所示，其主要包括以下步骤。
步骤S301：对待处理图像进行关键点检测，确定待处理图像中的多个关键点。
本申请实施例涉及的待处理图像可以为拍摄图像，该拍摄图像中包括目标区域和非目标区域。其中，目标区域为拍摄目标对应的区域，示例性的，该目标区域可以为演示文稿、白板、文档、草图、绘画等在拍摄图像中对应的区域。非目标区域为用户不需要的区域，通常位于目标区域的周围。
可理解，演示文稿、白板、文档、草图、绘画等拍摄对象通常为矩形，根据矩形的四个角点即可确定拍摄对象在拍摄图像中的位置，即确定拍摄图像中的目标区域。因此，可以首先对待处理图像中的角点进行检测，即对关键点进行检测。在下文中对关键点的检测过程进行详细说明。
参见图4，为本申请实施例提供的一种角点检测方法的流程示意图。如图4所示，其主要包括以下步骤。
步骤S3011：对待处理图像进行图像增强处理，获得待处理图像对应的增强图像。
在本申请实施例中，首先对待处理图像进行增强处理，改善图像质量、丰富图像中的特征信息，通过增强图像可以在后续步骤中获得更好的关键点检测效果。
在一种可能的实现方式中，可以对待处理图像进行高斯滤波，实现图像增强。具体地，可以通过符合二维高斯函数的滤波核对待处理图像进行滤波操作，获得待处理图像对应的增强图像。示例性的，二维高斯函数如公式1所示。
公式1：
Figure BDA0003962551620000061
其中，A为幅值，x0，y0为中心点坐标，
Figure BDA0003962551620000062
和
Figure BDA0003962551620000063
为方差。具体实现过程中，滤波核采用3*3的大小。
需要指出的是，在一些可能的实现方式中，与可能不对待处理图像进行图像增强处理，直接执行后续步骤S3012和S3013，本申请实施例对此不作具体限制。
步骤S3012：对增强图像进行边缘检测，获得待处理图像对应的边缘检测图像。
在本申请实施例中，可以采用canny算法对增强图像进行边缘检测，具体地，canny算法主要包括以下步骤。
1)对增强图像进行灰度化。
具体实现中，可以采用以下公式2或公式3对增强图像进行灰度化处理，其中，公式3考虑了人眼的生理特点。
公式2：
Gray＝(R+G+B)/3
公式3：
Gray＝0.299R+0.587G+0.114B
其中，Gray为灰度值，R、G、B分别为红色、绿色、蓝色像素点对应的亮度值。
2)对灰度图像进行高斯滤波。
具体地，根据待滤波的像素点及其邻域点的灰度值按照一定的参数规则进行加权平均，可以有效滤除图像中叠加的高频噪声。
3)计算梯度幅值和方向。
具体地，可选用的算子包括soble、Prewitt、Roberts等。利用选择的算子分别与输入图像卷积计算dx、dy，进一步可以得到图像在点(x，y)处梯度的幅值，如公式4所示。
公式4：
Figure BDA0003962551620000071
其中，M(x，y)为图像在点(x，y)处的梯度幅值。
为了简化计算，图像在点(x，y)处的梯度幅值也可以近似为公式5所示。
公式5：
M(x，y)＝|dx(x,y)|+|dy(x,y)|
图像在点(x，y)处的梯度方向如公式6所示。
公式6：
Figure BDA0003962551620000072
其中，θM为图像在点(x，y)处的梯度方向。
4)根据梯度方向对梯度幅值进行非极大值抑制。
5)采用双阈值算法检测和连接边缘。
具体地，设置高阈值TH和低阈值TL，示例性的，TH＝120，TL＝80。将图像中小于低阈值TL的点被抑制，赋值0；大于高阈值TH的点称为强边缘点，赋值255；大于低阈值TL且小于高阈值TH的点称为弱边缘点，其赋值需要通过连通区域确定。具体地，当弱边缘点与强边缘点连接时，弱边缘点赋值为255。
需要指出的是，在不同的应用场景中，本领域技术人员可以对高阈值TH和低阈值TL的取值进行调整，本申请实施例对此不作具体限制。
步骤S3013：对边缘检测图像进行角点检测，获得待处理图像中的多个关键点。
本申请实施例在完成边缘检测后，可以基于边缘检测图像进行角点检测，获得待处理图像中的多个关键点，即角点。在完成角点检测后，可以在待处理图像中对检测出的角点进行标记，并展示给用户。
具体实现中，可以采用Harris算法进行角点检测，Harris算法主要包括以下步骤。
1)设图像函数为I，像素坐标为(x，y)，滑动窗口的滑动变量为(u，v)，灰度变化量的数学表达式为公式7。
公式7：
Figure BDA0003962551620000081
其中，ω(x，y)为滑动窗口的加权函数，S(u，v)为像素点(x，y)在滑动窗口内的灰度变化量。
对公式7进行变形，获得公式8。
公式8：
Figure BDA0003962551620000082
其中，梯度协方差矩阵如公式9所示。
公式9：
Figure BDA0003962551620000083
根据公式9定义公式10所示的响应函数。
公式10：
R＝detM-k(traceM)2
其中，detM＝λ1λ2＝AC-B，traceM＝λ1+λ2＝A+C，λ1和λ2为梯度协方差矩阵M的特征向量，k为常值权重系数，k根据经验可以取值0.02-0.04。若R大于设定的第一阈值(即R较大)，则确定为角点；若R＜0则确定为边缘；若|R|小于设定的第二阈值(即R较小)，则确定为平滑区域。
步骤S302：在多个关键点中确定至少一个关键点组合，每个关键点组合中包括四个关键点，四个关键点用于界定出一个四边形对象。
由于演示文稿、白板、文档、草图、绘画等拍摄对象通常为矩形，矩形包括四个角点，因此，在本申请实施例中，每个关键点组合中包括四个关键点，该四个关键点用于界定出一个四边形对象。
具体实现中，上述步骤S301中检测出的部分关键点可能明显为错误或异常的关键点。为了便于说明，将该部分关键点称为“可疑关键点”。可理解，若采用可疑关键点建立关键点组合，会降低对目标区域识别的准确性。基于此，本申请实施例首先对关键点进行筛选，剔除可疑关键点，获得多个保留关键点(剔除可疑关键点后的关键点)；然后在多个保留关键点中确定至少一个关键点组合。
可理解，在待处理图像中较小的区域内，目标区域通常仅存在一个角点。若在待处理图像中存在距离较近的多个关键点，则将该距离较近的多个关键点中的一个关键点作为保留关键点，将所述距离较近的多个关键点中的其它关键点作为可疑关键点剔除，以提高对目标区域识别的准确性。
在一种可能的实现方式中，可以通过关键点在一定距离范围内的方差判断关键点作为目标区域的角点的概率。可理解，关键点在一定距离范围内的方差越大，其作为目标区域的角点的概率越大；关键点在一定距离范围内的方差越小，其作为目标区域的角点的概率越小。因此，可以将多个关键点中距离较近的多个关键点中方差最大的关键点作为保留关键点，将距离较近的多个关键点中的其它关键点作为可疑关键点剔除。具体实现中，可以分别计算多个关键点中任意两个关键点之间的距离；若第一关键点和第二关键点之间的距离小于或等于第一距离阈值，则分别计算第一关键点和第二关键点在第二距离范围内的方差；若第一关键点的方差大于第二关键点的方差，则将第二关键点作为可疑关键点剔除；若第一关键点的方差小于第二关键点的方差，则将第一关键点作为可疑关键点剔除；若第一关键点的方差等于第二关键点的方差，则将第一关键点或第二关键点作为可疑关键点剔除。示例性的，计算多个关键点中关键点A和关键点B之间的距离，若关键点A和关键点B之间的距离小于50像素(第一距离阈值)，说明关键点A和关键点B为距离较近的关键点，则分别计算关键点A和关键点B在10像素范围(以10像素为半径作圆，第二距离范围)内的方差。将二者方差较大的关键点作为保留关键点；将二者方差较小的关键点作为可疑关键点剔除；若二者方差相同，则取任意关键点作为保留关键点。
参见图5，为本申请实施例在图2所示的应用场景中检测的保留关键点的示意图。如图5所示，在图2所示的应用场景中共检测出8个保留关键点，分别为P1～P8。在后续步骤中可以根据该8个保留关键点确定关键点组合。需要指出的是，上述第一距离阈值和第二距离范围的具体参数可以根据实际的应用场景进行适应性调整，本申请实施例对此不作具体限制。
在完成关键点的筛选后，可以在多个保留关键点中确定至少一个关键点组合。假如保留关键点的数量为P，由于每个关键点组合包括4个关键点，因此P个保留关键点共可以确定
Figure BDA0003962551620000091
个关键点组合。其中，关键点组合的数量可能较多。示例性的，在图5所示的应用场景中P＝8时，
Figure BDA0003962551620000092
即共存在70种关键点组合。
为了进一步提高用户体验以及对目标区域识别的准确性，本申请实施例在多个保留关键点中确定N个最优关键点组合，N≥1。其中，关键点组合的优劣程度可以通过关键点组合与矩形的相似度确定，即关键点组合对应的四边形对象与矩形的相似度越高，该四边形对象为目标区域的可能性越大。具体实现中，可以根据公式11分别计算每个关键点组合与矩形的相似度值simi，将与矩形的相似度值simi最大的N个关键点组合作为最优关键点组合。
公式11：
Figure BDA0003962551620000093
其中，θi∈[0°,180°)为关键点组合对应的四边形对象中第i个角的角度，1≤i≤4。simi取值范围为[0，1]，当关键点组合对应的四边形对象为矩形时，simi取值为1；当关键点组合对应的四个关键点位于同一条直线上时，simi取值为0。
参见图6，为本申请实施例在图2所示的应用场景中确定的关键点组合的示意图。如图6所示，关键点组合P3、P4、P5、P6对应的四边形对象为四边形P3P4P5P6。为了计算四边形P3P4P5P6与矩形的相似度，首先需要根据关键点P3、P4、P5、P6之间的相对位置，计算∠P4P3P5、∠P3P4P6、∠P3P5P6、∠P4P6P5四个角度的角度值，然后将该四个角度值代入公式11，计算关键点组合P3、P4、P5、P6对应的simi值。上述实施例涉及的N个最优关键点组合可以为N个simi值最大的关键点组合。
步骤S303：响应于用户输入的关键点组合选择指令，在至少一个关键点组合中确定目标关键点组合。
具体实现中，当在多个关键点组合中确定至少一个关键点组合后，用户可以触发关键点组合选择指令，进而在至少一个关键点组合中确定目标关键点组合。可理解，若上述步骤中在多个保留关键点中确定N个最优关键点组合，则用户可以在该N个最优关键点组合中选择目标关键点组合。
为了便于用户对目标关键点组合的选择，在一种可能的实现方式中，可以在显示界面中显示N个最优关键点组合中的部分或全部最优关键点组合对应的四边形对象的透视图形，用户可以在该透视图像中触发关键点组合选择指令，进而在N个最优关键点组合中确定目标关键点组合。例如，用户可以通过触摸屏、按键或语音指令等触发关键点组合选择指令，本申请实施例对关键点组合选择指令的触发方式不作具体限制。
在一种可能的实现方式中，可以在显示界面中显示待处理图像以及最优关键点组合对应的四边形对象的透视图形的缩略图。可理解，为了给用户提供更好的视觉体验，待处理图像和缩略图在显示界面中应当不重叠。示例性的，缩略图可以位于待处理图像的顶部、底部、左侧和/或右侧等，本申请实施例对此不作具体限制。具体实现中，受限于显示界面的大小，可以仅在显示界面中显示N个最优关键点组合对应的部分缩略图。另外，为了便于用户选择，在显示界面中显示的缩略图可以按照关键点组合的优劣程度排序。示例性的，按照simi值对显示界面中的缩略图进行排序，由上至下，缩略图对应的关键点组合的simi值逐渐降低。
参见图7，为本申请实施例提供的另一种应用场景视图。如图7所示，在显示界面中显示待处理图像，在待处理图像的右侧显示了N个最优关键点组合中对应的3个缩略图，缩略图①、缩略图②、缩略图③由上至下依次排列。其中，缩略图①为关键点组合P3、P4、P5、P6对应的缩略图；缩略图②为关键点组合P3、P2、P5、P6对应的缩略图；缩略图③为关键点组合P3、P4、P5、P7对应的缩略图。关键点组合P3、P4、P5、P6的simi值＞关键点组合P3、P2、P5、P6的simi值＞关键点组合P3、P4、P5、P7的simi值。用户可以通过点击缩略图以选择相应的关键点组合为目标关键点组合。例如，在图7中，用户点击缩略图①，设备接收到关键点组合选择指令，确定缩略图①对应的关键点组合P3、P4、P5、P6为目标关键点组合。
在一种可能的实现方式中，可能在显示界面中显示的部分缩略图对应的四边形对象并非用户需要的四边形对象。例如，在图7中，缩略图①、缩略图②、缩略图③对应的四边形对象并非用户需要的四边形对象，此时，用户可以户触发的缩略图切换指令，将显示界面中显示的部分或全部缩略图切换为其它最优关键点组合对应的缩略图。
参见图8，为本申请实施例提供的另一种应用场景视图。如图8所示，用户可以通过向上拖动屏幕，将显示界面中的缩略图由缩略图①、缩略图②、缩略图③切换为缩略图②、缩略图③、缩略图④。需要指出的是，图8仅为本申请实施例的一种示例性说明，除了触摸屏以外，缩略图切换指令还可以采用按键、语音指令等其它的触发方式。另外，用户可以根据需要将显示界面中的缩略图调整为N个最优关键点组合中对应的其它缩略图，本申请实施例对此不作具体限制。
在另一种可能的实现方式中，可以在显示界面中显示待处理图像以及最优关键点组合对应的触发控件，在待处理图像上显示目标透视图形，目标透视图形为处于选中状态的触发控件对应的最优关键点组合的四边形对象的透视图形。可理解，为了给用户提供更好的视觉体验，待处理图像和触发控件在显示界面中应当不重叠。示例性的，触发控件可以位于待处理图像的顶部、底部、左侧和/或右侧等，本申请实施例对此不作具体限制。具体实现中，受限于显示界面的大小，可以仅在显示界面中显示N个最优关键点组合对应的部分触发控件。另外，为了便于用户选择，在显示界面中显示的触发控件可以按照关键点组合的优劣程度排序。示例性的，按照simi值对显示界面中的触发控件进行排序，由上至下，触发控件对应的关键点组合的simi值逐渐降低。
参见图9，为本申请实施例提供的另一种应用场景视图。如图9所示，在显示界面中显示待处理图像，在待处理图像的右侧显示了N个最优关键点组合中对应的3个触发控件，触发控件①、触发控件②、触发控件③由上至下依次排列。其中，触发控件①为关键点组合P3、P4、P5、P6对应的触发控件；触发控件②为关键点组合P3、P2、P5、P6对应的触发控件；触发控件③为关键点组合P3、P4、P5、P7对应的触发控件。关键点组合P3、P4、P5、P6的simi值＞关键点组合P3、P2、P5、P6的simi值＞关键点组合P3、P4、P5、P7的simi值。用户可以通过点击触发控件(是触发控件处于选中状态)，进而在待处理图像上显示处于选中状态的触发控件对应的最优关键点组合的四边形对象的透视图形，即目标透视图像。例如，在图9中，用户点击触发控件①，在待处理图像上显示触发控件①对应的最优关键点组合的四边形对象的透视图形，即关键点组合P3、P4、P5、P6对应的透视图形，以便用户查看。
另外，当用户需要查看其它透视图形时，可以输入透视图形切换指令，切换处于选中状态的触发控件，进而切换待处理图像上显示的目标透视图形。例如，在图10中，用户点击触发控件②，即将触发控件②切换为选中状态，则在待处理图像上显示的透视图形切换为触发控件②对应的最优关键点组合的四边形对象的透视图形，即关键点组合P3、P2、P5、P6对应的透视图形。
在一种可能的实现方式中，可能在显示界面中显示的部分触发控件对应的四边形对象并非用户需要的四边形对象。例如，在图10中，触发控件①、触发控件②、触发控件③对应的四边形对象并非用户需要的四边形对象，此时，用户可以户触发的触发控件切换指令，将显示界面中显示的部分或全部触发控件切换为其它最优关键点组合对应的触发控件。
参见图11，为本申请实施例提供的另一种应用场景视图。如图11所示，用户可以通过向上拖动屏幕，将显示界面中的触发控件由触发控件①、触发控件②、触发控件③切换为触发控件②、触发控件③、触发控件④。需要指出的是，图11仅为本申请实施例的一种示例性说明，除了触摸屏以外，触发控件切换指令还可以采用按键、语音指令等其它的触发方式。另外，用户可以根据需要将显示界面中的触发控件调整为N个最优关键点组合中对应的其它触发控件，本申请实施例对此不作具体限制。
步骤S304：对目标关键点组合对应的四边形对象在待处理图像上界定出的四边形区域进行透视失真校正，获得处理后图像。
在本申请实施例中，目标关键点组合对应的四边形对象在待处理图像上界定出的四边形区域即最终的识别区域，通过对识别区域进行透视失真校正，可以获得处理后图像。示例性的，在图7所示的实现方式中，确定的目标关键点组合为关键点组合P3、P4、P5、P6，则对关键点组合P3、P4、P5、P6对应的四边形对象在待处理图像上界定出的四边形区域进行透视失真校正，获得处理后图像。
在本申请实施例中，由于基于用户的选择确定最终的识别区域，因此可以提高对目标区域识别的准确性，进而提高图像的校正效果。另外，该方法通过用户与设备之间的交互实现目标区域的识别，增强了用户与设备之间的交互性。
在另一种可能的实现方式中，为了提高用户体验，还可以在多个关键点中确定默认关键点组合，默认关键点组合中包括四个默认关键点，四个默认关键点用于界定出一个四边形对象；对默认关键点组合对应的四边形对象在待处理图像上界定出的四边形区域进行透视失真校正，获得处理后图像。具体地，在多个关键点中确定默认关键点组合，包括：分别计算多个关键点中每个关键点与待处理图像的四个边缘顶点中每个边缘顶点之间的距离；将与边缘顶点距离最近的关键点作为边缘顶点对应的默认关键点，获得包含四个默认关键点的默认关键点组合。需要指出的是，上述默认关键点与边缘顶点之间的距离应当小于或等于预设的距离阈值，本领域技术人员可以根据实际需要对该距离阈值的大小进行相应的调整，为了便于与其它的距离阈值进行区分，将该距离阈值称为“第三距离阈值”。换句话讲，即使某一关键点为与边缘顶点距离最近的关键点，若该关键点与边缘顶点之间的距离大于第三距离阈值，仍然不将该关键点作为边缘顶点的默认关键点。
参见图12A，为本申请实施例提供的另一种应用场景视图。如图12A所示，待处理图像的四个边缘顶点分别为A、B、C、D。分别计算关键点P1～P8与边缘顶点A、B、C、D之间的距离。例如，按照下述公式12计算关键点P1与边缘顶点A之间的距离。
公式12：
Figure BDA0003962551620000121
依次类推，分别计算关键点P1～P8与边缘顶点A之间的距离，对比关键点P1～P8与边缘顶点A之间的距离，可得：关键点P3与边缘顶点A之间的距离最近，因此，将关键点P3作为边缘顶点A对应的默认关键点。基于同样的原理，确定关键点P2作为边缘顶点B对应的默认关键点；关键点P7作为边缘顶点C对应的默认关键点；关键点P6作为边缘顶点D对应的默认关键点。因此，默认关键点组合为关键点组合P3、P2、P6、P7。
在一种可能的应用场景中，四个边缘顶点中的部分或全部边缘顶点可能不存在对应的默认关键点。例如，在图12B所示的应用场景中，待处理图像为空白页，则在上述步骤中对待处理图像进行关键点检测时，无法检测到关键点，进而无法按照上述方法获得四个边缘顶点对应的默认关键点。再如，在图12C所示的应用场景中，关键点P1～P8均距离边缘顶点A较远，即关键点P1～P8与边缘顶点A之间的距离均大于第三距离阈值，因此，边缘顶点A不存在默认关键点。
基于此，在本申请实施例中，当四个边缘顶点中的任一边缘顶点不存在对应的默认关键点时，则为该任一边缘顶点配置推荐关键点，将该推荐关键点作为任一边缘顶点的默认关键点。具体实现中，可以在该任一边缘顶点的基础上偏移一定的距离，作为该任一边缘顶点的推荐关键点。换句话讲，边缘顶点坐标+偏移向量＝推荐关键点坐标。
示例性的，在图12C中，边缘顶点A在待处理图像中的坐标为(0,0)，偏移向量为(offset，offset)，则边缘顶点A的推荐关键点为(0+offset，0+offset)。其中，0≤offset≤width，0≤offset≤height，width和height分别表示待处理图像的宽度和高度。示例性的，当offset＝10时，边缘顶点A推荐关键点为(10,10)。本领域技术人员可以根据实际需要设置相应的偏移向量，本申请实施例对此不作具体限制。
与上述实施例相对应，本申请实施例还提供了另一种图像处理方法。
参见图13，为本申请实施例提供的另一种图像处理方法的结构框图。如图13所示，其主要包括以下步骤。
步骤S1301：在显示界面中显示N个最优关键点组合对应的四边形对象的透视图形，所述最优关键点组合为与矩形相似度最高的关键点组合，N≥1；
步骤S1302：响应于用户在所述四边形对象的透视图形中触发的关键点组合选择指令，在所述N个最优关键点组合中确定目标关键点组合。
本申请实施例涉及的具体内容可以参见上述实施例的描述，为了表述简洁，在此不再赘述。
与上述实施例相对应，本申请实施例还提供了一种图像处理装置。
参见图14，为本申请实施例提供的一种图像处理装置的结构框图。如图14所示，其主要包括以下模块。
关键点确定模块1401，用于对待处理图像进行关键点检测，确定所述待处理图像中的多个关键点，所述关键点为所述待处理图像中的角点；
关键点组合确定模块1402，用于在所述多个关键点中确定至少一个关键点组合，每个所述关键点组合中包括四个所述关键点，四个所述关键点用于界定出一个四边形对象；
目标关键点组合确定模块1403，用于响应于用户输入的关键点组合选择指令，在所述至少一个关键点组合中确定目标关键点组合；
校正模块1404，用于对所述目标关键点组合对应的四边形对象在所述待处理图像上界定出的四边形区域进行透视失真校正，获得处理后图像。
本申请涉及的装置实施例的具体内容可以参见上述方法实例的描述，为了表述简洁，在此不再赘述。
与上述实施例相对应，本申请实施例还提供了另一种图像处理装置。
参见图15，为本申请实施例提供的另一种图像处理装置的结构框图。如图15所示，其主要包括以下模块。
显示模块1501，用于在显示界面中显示N个最优关键点组合对应的四边形对象的透视图形，所述最优关键点组合为与矩形相似度最高的关键点组合，N≥1；
目标关键点组合确定模块1502，用于响应于用户在所述四边形对象的透视图形中触发的关键点组合选择指令，在所述N个最优关键点组合中确定目标关键点组合。
本申请涉及的装置实施例的具体内容可以参见上述方法实例的描述，为了表述简洁，在此不再赘述。
与上述实施例相对应，本申请实施例还提供了一种电子设备。
参见图16，为本申请实施例提供的一种电子设备的结构示意图。如图16所示，该电子设备1600可以包括：处理器1601、存储器1602及通信单元1603。这些组件通过一条或多条总线进行通信，本领域技术人员可以理解，图中示出的电子设备结构并不构成对本申请实施例的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
其中，通信单元1603，用于建立通信信道，从而使电子设备可以与其它设备进行通信。
处理器1601，为电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器1602内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行电子设备的各种功能和/或处理数据。所述处理器可以由集成电路(integrated circuit，IC)组成，例如可以由单颗封装的IC所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说，处理器1601可以仅包括中央处理器(centralprocessing unit，CPU)。在本申请实施方式中，CPU可以是单运算核心，也可以包括多运算核心。
存储器1602，用于存储处理器1601的执行指令，存储器1602可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
当存储器1602中的执行指令由处理器1601执行时，使得电子设备1600能够执行上述方法实施例中的部分或全部步骤。
与上述实施例相对应，本申请实施例还提供一种计算机可读存储介质，其中，该计算机可读存储介质可存储有程序，其中，在程序运行时可控制计算机可读存储介质所在设备执行上述方法实施例中的部分或全部步骤。具体实现中，该计算机可读存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。
与上述实施例相对应，本申请实施例还提供了一种计算机程序产品，该计算机程序产品包含可执行指令，当可执行指令在计算机上执行时，使得计算机执行上述方法实施例中的部分或全部步骤。
本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。
本领域普通技术人员可以意识到，本文中公开的实施例中描述的各单元及算法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，简称ROM)、随机存取存储器(random access memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。本申请的保护范围应以所述权利要求的保护范围为准。

Claims (23)

1.一种图像处理方法，其特征在于，包括：
对待处理图像进行关键点检测，确定所述待处理图像中的多个关键点，所述关键点为所述待处理图像中的角点；
在所述多个关键点中确定至少一个关键点组合，每个所述关键点组合中包括四个所述关键点，四个所述关键点用于界定出一个四边形对象；
响应于用户输入的关键点组合选择指令，在所述至少一个关键点组合中确定目标关键点组合；
对所述目标关键点组合对应的四边形对象在所述待处理图像上界定出的四边形区域进行透视失真校正，获得处理后图像。
2.根据权利要求1所述的方法，其特征在于，所述对待处理图像进行关键点检测，确定所述待处理图像中的多个关键点，包括：
对所述待处理图像进行边缘检测，获得所述待处理图像对应的边缘检测图像；
对所述边缘检测图像进行角点检测，获得所述待处理图像中的多个关键点。
3.根据权利要求2所述的方法，其特征在于，所述对所述待处理图像进行边缘检测，获得所述待处理图像对应的边缘检测图像，包括：
对所述待处理图像进行图像增强处理，获得所述待处理图像对应的增强图像；
对所述增强图像进行边缘检测，获得所述待处理图像对应的边缘检测图像。
4.根据权利要求1所述的方法，其特征在于，所述在所述多个关键点中确定至少一个关键点组合，包括：
在所述多个关键点中剔除可疑关键点，获得多个保留关键点，所述保留关键点为所述多个关键点中除了所述可疑关键以外的关键点；
在所述多个保留关键点中确定至少一个关键点组合。
5.根据权利要求4所述的方法，其特征在于，所述在所述多个关键点中剔除可疑关键点，获得多个保留关键点，包括：
将所述多个关键点中距离较近的多个关键点中的一个关键点作为保留关键点，将所述距离较近的多个关键点中的其它关键点作为可疑关键点剔除。
6.根据权利要求5所述的方法，其特征在于，所述将所述多个关键点中距离较近的多个关键点中的一个关键点作为保留关键点，将所述距离较近的多个关键点中的其它关键点作为可疑关键点剔除，包括：
将所述多个关键点中距离较近的多个关键点中方差最大的关键点作为保留关键点，将所述距离较近的多个关键点中的其它关键点作为可疑关键点剔除。
7.根据权利要求6所述的方法，其特征在于，所述将所述多个关键点中距离较近的多个关键点中方差最大的关键点作为保留关键点，将所述距离较近的多个关键点中的其它关键点作为可疑关键点剔除，包括：
计算所述多个关键点中任意两个关键点之间的距离；
若第一关键点和第二关键点之间的距离小于或等于第一距离阈值，则分别计算所述第一关键点和所述第二关键点在第二距离范围内的方差；
若所述第一关键点的方差大于所述第二关键点的方差，则将所述第二关键点作为可疑关键点剔除；若所述第一关键点的方差小于所述第二关键点的方差，则将所述第一关键点作为可疑关键点剔除；若所述第一关键点的方差等于所述第二关键点的方差，则将所述第一关键点或所述第二关键点作为可疑关键点剔除。
8.根据权利要求4所述的方法，其特征在于，
所述在所述多个保留关键点中确定至少一个关键点组合，包括：在所述多个保留关键点中确定N个最优关键点组合，所述最优关键点组合为与矩形相似度最高的关键点组合，N≥1；
所述响应于用户输入的关键点组合选择指令，在所述至少一个关键点组合中确定目标关键点组合，包括：响应于用户输入的关键点组合选择指令，在所述N个最优关键点组合中确定目标关键点组合。
9.根据权利要求8所述的方法，其特征在于，所述在所述多个保留关键点中确定N个最优关键点组合，包括：
根据公式：
Figure FDA0003962551610000021
分别计算每个关键点组合与矩形的相似度值simi，其中，θi∈[0°,180°)为关键点组合对应的四边形对象中第i个角的角度，1≤i≤4；
将与矩形的相似度值simi最大的N个关键点组合作为最优关键点组合。
10.根据权利要求8所述的方法，其特征在于，
所述方法还包括：在显示界面中显示所述最优关键点组合对应的四边形对象的透视图形；
所述响应于用户输入的关键点组合选择指令，在所述N个最优关键点组合中确定目标关键点组合，包括：响应于用户在所述四边形对象的透视图形中触发的关键点组合选择指令，在所述N个最优关键点组合中确定目标关键点组合。
11.根据权利要求10所述的方法，其特征在于，所述在显示界面中显示所述最优关键点组合对应的四边形对象的透视图形，包括：
在显示界面中显示待处理图像以及所述最优关键点组合对应的四边形对象的透视图形的缩略图，所述待处理图像和所述缩略图在所述显示界面中不重叠。
12.根据权利要求11所述的方法，其特征在于，所述方法还包括：
响应于用户触发的缩略图切换指令，将所述显示界面中显示的部分或全部缩略图切换为其它最优关键点组合对应的四边形对象的透视图形的缩略图。
13.根据权利要求10所述的方法，其特征在于，所述在显示界面中显示所述最优关键点组合对应的四边形对象的透视图形，包括：
在显示界面中显示待处理图像以及所述最优关键点组合对应的触发控件，在所述待处理图像上显示目标透视图形，所述目标透视图形为处于选中状态的触发控件对应的最优关键点组合的四边形对象的透视图形，所述待处理图像和所述触发控件在所述显示界面中不重叠。
14.根据权利要求13所述的方法，其特征在于，所述方法还包括：
响应于用户触发的透视图形切换指令，切换处于选中状态的触发控件，进而切换所述待处理图像上显示的目标透视图形。
15.根据权利要求13所述的方法，其特征在于，所述方法还包括：
响应于用户触发的触发控件切换指令，将所述显示界面中显示的部分或全部触发控件切换为其它最优关键点组合对应的触发控件。
16.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述多个关键点中确定默认关键点组合，所述默认关键点组合中包括四个默认关键点，四个所述默认关键点用于界定出一个四边形对象；
对所述默认关键点组合对应的四边形对象在所述待处理图像上界定出的四边形区域进行透视失真校正，获得处理后图像。
17.根据权利要求16所述的方法，其特征在于，所述在所述多个关键点中确定默认关键点组合，包括：
分别计算所述多个关键点中每个关键点与所述待处理图像的四个边缘顶点中每个边缘顶点之间的距离；
将与所述边缘顶点距离最近的关键点作为所述边缘顶点对应的默认关键点，获得包含四个默认关键点的默认关键点组合。
18.根据权利要求17所述的方法，其特征在于，所述在所述多个关键点中确定默认关键点组合，还包括：
若所述四个边缘顶点中的任一边缘顶点不存在对应的默认关键点，则为所述任一边缘顶点配置推荐关键点；
将所述推荐关键点作为所述任一边缘顶点的默认关键点。
19.一种图像处理方法，其特征在于，包括：
在显示界面中显示N个最优关键点组合对应的四边形对象的透视图形，所述最优关键点组合为与矩形相似度最高的关键点组合，N≥1；
响应于用户在所述四边形对象的透视图形中触发的关键点组合选择指令，在所述N个最优关键点组合中确定目标关键点组合。
20.一种图像处理装置，其特征在于，包括：
关键点确定模块，用于对待处理图像进行关键点检测，确定所述待处理图像中的多个关键点，所述关键点为所述待处理图像中的角点；
关键点组合确定模块，用于在所述多个关键点中确定至少一个关键点组合，每个所述关键点组合中包括四个所述关键点，四个所述关键点用于界定出一个四边形对象；
目标关键点组合确定模块，用于响应于用户输入的关键点组合选择指令，在所述至少一个关键点组合中确定目标关键点组合；
校正模块，用于对所述目标关键点组合对应的四边形对象在所述待处理图像上界定出的四边形区域进行透视失真校正，获得处理后图像。
21.一种图像处理装置，其特征在于，包括：
显示模块，用于在显示界面中显示N个最优关键点组合对应的四边形对象的透视图形，所述最优关键点组合为与矩形相似度最高的关键点组合，N≥1；
目标关键点组合确定模块，用于响应于用户在所述四边形对象的透视图形中触发的关键点组合选择指令，在所述N个最优关键点组合中确定目标关键点组合。
22.一种电子设备，其特征在于，包括：
处理器；
存储器；
以及计算机程序，其中所述计算机程序被存储在所述存储器中，所述计算机程序包括指令，当所述指令被所述处理器执行时，使得所述电子设备执行权利要求1至19中任意一项所述的方法。
23.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至19中任意一项所述的方法。
CN202211486430.XA 2022-11-24 2022-11-24 一种图像处理方法、装置、电子设备及存储介质 Pending CN115761207A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211486430.XA CN115761207A (zh) 2022-11-24 2022-11-24 一种图像处理方法、装置、电子设备及存储介质
US18/513,604 US20240177321A1 (en) 2022-11-24 2023-11-19 Image processing method, image processing device, electronic device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211486430.XA CN115761207A (zh) 2022-11-24 2022-11-24 一种图像处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115761207A true CN115761207A (zh) 2023-03-07

Family

ID=85337550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211486430.XA Pending CN115761207A (zh) 2022-11-24 2022-11-24 一种图像处理方法、装置、电子设备及存储介质

Country Status (2)

Country Link
US (1) US20240177321A1 (zh)
CN (1) CN115761207A (zh)

Also Published As

Publication number Publication date
US20240177321A1 (en) 2024-05-30

Similar Documents

Publication Publication Date Title
CN107409166B (zh) 摇摄镜头的自动生成
US9305360B2 (en) Method and apparatus for image enhancement and edge verification using at least one additional image
US10970821B2 (en) Image blurring methods and apparatuses, storage media, and electronic devices
KR20200058440A (ko) 이미지들을 프로세싱하기 위한 이미지 신호 프로세서
EP3125544A1 (en) Image display device and image display system
CN105303514A (zh) 图像处理方法和装置
KR101032446B1 (ko) 영상의 정점 검출 장치 및 방법
CN109636730B (zh) 用于过滤深度图中的伪像素的方法
CN110738078A (zh) 一种人脸识别方法及终端设备
CN110855876B (zh) 一种图像处理方法、终端及计算机存储介质
CN112308797A (zh) 角点检测方法、装置、电子设备及可读存储介质
CN112465707B (zh) 红外图像条纹噪声的处理方法、装置、介质及电子设备
CN111563517A (zh) 图像处理方法、装置、电子设备及存储介质
US9466007B2 (en) Method and device for image processing
JP2016197377A (ja) 画像補正用コンピュータプログラム、画像補正装置及び画像補正方法
CN110047126B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN115761207A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN113129400B (zh) 图像处理方法、装置、电子设备和可读存储介质
CN113936020A (zh) 内描线的绘制方法、装置、电子设备及存储介质
CN118154442B (zh) 边缘特征增强方法、装置、存储介质及电子设备
WO2022224638A1 (ja) 情報処理装置、情報処理方法、及び制御プログラム
US9298319B2 (en) Multi-touch recognition apparatus using filtering and a difference image and control method thereof
JP4930638B2 (ja) 画像補正装置および画像補正方法
WO2024159969A1 (zh) 清晰图像的获取方法、设备、介质及移动终端
CN110858867B (zh) 影像处理装置及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination