CN111860484B - 一种区域标注方法、装置、设备及存储介质 - Google Patents

一种区域标注方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111860484B
CN111860484B CN202010712116.3A CN202010712116A CN111860484B CN 111860484 B CN111860484 B CN 111860484B CN 202010712116 A CN202010712116 A CN 202010712116A CN 111860484 B CN111860484 B CN 111860484B
Authority
CN
China
Prior art keywords
marking
point
points
curve
corner
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010712116.3A
Other languages
English (en)
Other versions
CN111860484A (zh
Inventor
王洪振
黄珊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010712116.3A priority Critical patent/CN111860484B/zh
Publication of CN111860484A publication Critical patent/CN111860484A/zh
Application granted granted Critical
Publication of CN111860484B publication Critical patent/CN111860484B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例公开了人工智能领域的区域标注方法、装置、设备及存储介质,其中该方法包括:获取针对目标曲形文本的覆盖区域边界标记的N个标注点;在N个标注点中确定待标注的目标曲形区域的四个角点;根据四个角点,从N个标注点中选出用于拟合第一曲线的标注点组成第一标注点集合,从N个标注点中选出用于拟合第二曲线的标注点组成第二标注点集合,第一曲线和第二曲线为目标曲形区域相对的两条曲线边界;根据第一标注点集合中的标注点拟合第一曲线,根据第二标注点集合中的标注点拟合第二曲线;基于第一曲线和第二曲线构建目标曲形区域。该方法能兼顾提高曲形文本标注区域的标注质量和降低标注时间成本。

Description

一种区域标注方法、装置、设备及存储介质
技术领域
本申请涉及人工智能(Artificial Intelligence,AI)技术领域,尤其涉及一种区域标注方法、装置、设备及存储介质。
背景技术
光学字符识别(Optical Character Recognition,OCR)是计算机视觉领域中一个重要的热点研究问题,曲形文本识别作为OCR技术的重要应用之一,用于识别呈曲形分布的文本字符。近年来,随着深度学习技术在图像处理领域的迅速发展,基于深度学习的OCR已成为主流趋势。深度学习通常需要大量的标注数据对处理模型进行训练,对于用于实现曲形文本识别的模型,往往需要使用大量标注有曲形文本区域的样本对其进行训练。
目前主流的曲形文本区域的标注方法是基于开源工具LabelMe实现的,将待标注样本输入LabelMe后,标注人员可以在分布有文本的曲形区域的边界手动点击标记若干标注点,进而,LabelMe可以利用直线将所标记的标注点连接起来组成多边形,作为曲形文本区域的标注结果。
经上述方法得到的标注结果的标注质量与标注人员标记的标注点数量有很大关系。如图1所示,标注人员标记的标注点越多、标注点分布越密集,LabelMe生成的多边形(即曲形文本区域的标注结果)越接近理想标注结果,但是需要耗费的标注时间成本较高;反之,标注人员标记的标注点越少、标注点分布越稀疏,所需耗费的标注时间成本越低,但是LabelMe生成的多边形与理想标注结果之间的偏差较大,不利于后续的模型训练。
综上,如何在耗费较低标注时间成本的条件下,保证曲形文本区域的标注质量,已成为目前亟待解决的问题。
发明内容
本申请实施例提供了一种区域标注方法、装置、设备及存储介质,能够兼顾提高曲形文本标注区域的标注质量和降低标注时间成本。
有鉴于此,本申请第一方面提供了一种区域标注方法,所述方法包括:
获取针对目标曲形文本的覆盖区域边界标记的N个标注点;所述N为大于4的整数;
在所述N个标注点中确定待标注的目标曲形区域的四个角点;
根据所述四个角点,从所述N个标注点中选出用于拟合第一曲线的标注点组成第一标注点集合,从所述N个标注点中选出用于拟合第二曲线的标注点组成第二标注点集合;所述第一曲线和所述第二曲线为所述目标曲形区域相对的两条曲线边界;
根据所述第一标注点集合中的标注点拟合所述第一曲线,根据所述第二标注点集合中的标注点拟合所述第二曲线;
基于所述第一曲线和所述第二曲线,构建所述目标曲形区域。
本申请第二方面提供了一种区域标注装置,所述装置包括:
标注点获取模块,用于获取针对目标曲形文本的覆盖区域边界标记的N个标注点;所述N为大于4的整数;
角点确定模块,用于在所述N个标注点中确定待标注的目标曲形区域的四个角点;
标注点集合确定模块,用于根据所述四个角点,从所述N个标注点中选出用于拟合第一曲线的标注点组成第一标注点集合,从所述N个标注点中选出用于拟合第二曲线的标注点组成第二标注点集合;所述第一曲线和所述第二曲线为所述目标曲形区域相对的两条曲线边界;
曲线拟合模块,用于根据所述第一标注点集合中的标注点拟合所述第一曲线,根据所述第二标注点集合中的标注点拟合所述第二曲线;
标注区域构建模块,用于基于所述第一曲线和所述第二曲线,构建所述目标曲形区域。
本申请第三方面提供了一种设备,所述设备包括处理器以及存储器:
所述存储器用于存储计算机程序;
所述处理器用于根据所述计算机程序,执行如上述第一方面所述的区域标注方法的步骤。
本申请第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行上述第一方面所述的区域标注方法的步骤。
本申请第五方面提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述第一方面所述的区域标注方法的步骤。
从以上技术方案可以看出,本申请实施例具有以下优点:
本申请实施例提供了一种区域标注方法,该方法创新性地将曲线拟合技术应用到标注曲形文本区域的场景中,使得曲形文本区域的标注质量不再依赖所标记的标注点数量。具体的,本申请实施例提供的方法可以利用曲线拟合技术,根据基于待标注的目标曲形区域的角点划分出的两个标注点集合,分别拟合出该目标曲形区域的两条曲线边界,进而,基于所拟合的两条曲线边界构建目标曲形区域,即构建所要标注的曲形文本区域。由于通常情况下基于曲线拟合原理拟合出的曲线的精准度与所标记的标注点数量无关,在仅有少量标注点的情况下也可以拟合出精准度较高的曲线边界,因此,使得本申请实施例提供的方法可以在仅有少量标注点的情况下,标注出具有较高质量的曲形文本区域,兼顾了提高曲形文本区域的标注质量和降低标注时间成本。
附图说明
图1为相关技术中不同的标注点数量对应的标注效果示意图;
图2为本申请实施例提供的区域标注方法的应用场景示意图;
图3为本申请实施例提供的区域标注方法的流程示意图;
图4为本申请实施例提供的标注点抽稀处理的原理示意图;
图5为本申请实施例提供的基于面积重叠比确定角点的原理示意图;
图6为本申请实施例提供的三阶贝塞尔曲线的原理示意图;
图7为本申请实施例提供的确定贝塞尔曲线控制点的原理示意图;
图8为本申请实施例提供的区域标注方法的标注结果示意图;
图9为本申请实施例提供的一种区域标注装置的结构示意图;
图10为本申请实施例提供的另一种区域标注装置的结构示意图;
图11为本申请实施例提供的又一种区域标注装置的结构示意图;
图12为本申请实施例提供的服务器的结构示意图;
图13为本申请实施例提供的终端设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(ComputerVision,CV)是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如,常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的计算机视觉技术和机器学习技术,具体通过如下实施例进行说明:
相关技术目前主要基于开源工具LabelMe实现曲形文本区域的标注,LabelMe利用直线将标注人员手动标记的标注点依次连接起来,得到闭合的多边形作为曲形文本区域的标注结果。通过该方法得到的标注结果的标注质量与标注人员标记的标注点数量密切相关,所标记的标注点数量越多、分布越密集,所得到的标注结果的标注质量越高,但是所需耗费的标注时间成本也越高,反之,所标记的标注点数量越少、分布越稀疏,所需耗费的标注时间成本越低,但是所得到的标注结果的标注质量越低。可见,相关技术目前无法兼顾提高标注结果的标注质量和降低标注时间成本。
针对上述相关技术存在的问题,本申请实施例提供了一种区域标注方法,该方法创新性地将曲线拟合技术应用到标注曲形文本区域的场景中,使得曲形文本区域的标注质量不再依赖所标记的标注点数量,能够在耗费较少的标注时间成本的条件下,保证标注的曲形文本区域具有较高的标注质量。
具体的,在本申请实施例提供的区域标注方法中,先获取针对目标曲形文本的覆盖区域边界标记的N(N为大于4的整数)个标注点;然后,在这N个标注点中确定待标注的目标曲形区域的四个角点,并根据这四个角点从N个标注点中选出用于拟合第一曲线的标注点组成第一标注点集合,从N个标注点中选出用于拟合第二曲线的标注点组成第二标注点集合,此处的第一曲线和第二曲线为目标曲形区域相对的两条曲线边界;进而,根据第一标注点集合中的标注点拟合第一曲线,根据第二标注点集合中的标注点拟合第二曲线;最终,基于第一曲线和第二曲线构建所要标注的目标曲形区域。
相比相关技术中LabelMe通过连接标注点构建所需标注的目标曲形区域的实现方式,本申请实施例提供的方法利用相关的曲线拟合原理,根据基于目标曲形区域的四个角点划分出的两个标注点集合,分别拟合目标曲形区域的两条曲线边界,进而,基于拟合出的两条曲线边界构建目标曲形区域。由于通常情况下基于曲线拟合原理拟合出的曲线的精准度与所标记的标注点数量无关,在仅有少量标注点的情况下也可以拟合出精准度较高的曲线边界,因此,使得本申请实施例提供的方法可以在仅有少量标注点的情况下,标注出具有较高质量的曲形文本区域,兼顾了曲形文本区域的标注质量和标注时间成本。
应理解,本申请实施例提供的区域标注方法可以应用于具备数据处理能力的电子设备,如终端设备或服务器。其中,终端设备具体可以为计算机、智能手机、平板电脑、个人数字助理(Personal DigitalAssitant,PDA)等;服务器具体可以为应用服务器或Web服务器,在实际部署时,可以为独立的服务器,也可以为集群服务器或云服务器。
为了便于理解本申请实施例提供的区域标注方法,下面以该区域标注方法的执行主体为服务器为例,对该区域标注方法所适用的应用场景进行示例性介绍。
参见图2,图2为本申请实施例提供的区域标注方法的应用场景示意图。如图2所示,该应用场景中包括终端设备210和服务器220,终端设备210和服务器220可以通过有线网络或无线网络通信。终端设备210用于响应标注人员的操作,在样本图像中目标曲形文本的覆盖区域边界标记N个标注点,并将这N个标注点的属性数据传输给服务器220。服务器220用于执行本申请实施例提供的区域标注方法,根据终端设备210传输的N个标注点的属性数据,标注出目标曲形文本的覆盖区域,即标注出目标曲形区域。
在实际应用中,当需要标注出样本图像中目标曲形文本的覆盖区域时,标注人员可以通过终端设备210,在样本图像中目标曲形文本的覆盖区域边界点击标记N个标注点,示例性的,标注人员可以按照某一特定的标记方向,如顺时针方向或逆时针方向,在目标曲形文本的覆盖区域边界点击标记N个标注点。终端设备210响应于标注人员触发的标记操作,相应地生成N个标注点的属性数据,如标记时间、标记位置、标记顺序、所对应的标记标签(用于表征标注点是否为角点)等,进而,通过网络将N个标注点的属性数据发送至服务器220。
服务器220接收到终端设备210发送的N个标注点的属性数据后,可以先在这N个标注点中确定出待标注的目标曲形区域(即目标曲形文本的覆盖区域)的四个角点。需要说明的是,目标曲形区域通常由两条相对的曲线边界和两条相对的边界线段围成,此处所需确定的四个角点实质上即为两条曲线边界和两条边界线段的四个交点。
服务器220确定出目标曲形区域的四个角点后,可以根据这四个角点,从N个标注点中选出用于拟合第一曲线的标注点组成第一标注点集合,从N个标注点中选出用于拟合第二曲线的标注点组成第二标注点集合,此处的第一曲线和第二曲线即为上文提及的目标曲形区域的两条相对的曲线边界。示例性的,服务器220可以根据四个角点各自对应的标记顺序,从N个标注点中选出第一标注点集合和第二标注点集合;或者,服务器220也可以根据四个角点各自对应的标记位置,从N个标注点中选出第一标注点集合和第二标注点集合,在此不对选出第一标注点集合和第二标注点集合的实现方式做任何限定。
进而,服务器220可以基于相关的曲线拟合原理(如贝塞尔曲线拟合原理等),根据第一标注点集合中的各标注点拟合出第一曲线,根据第二标注点集合中的各标注点拟合出第二曲线,具体拟合第一曲线和第二曲线的实现方式将在下述方法实施例中详细介绍。服务器220拟合出第一曲线和第二曲线后,即可基于该第一曲线和第二曲线构建所要标注的目标曲形区域,即标注出样本图像中目标曲形文本的曲形覆盖区域,进而,服务器220可以通过网络将所构建的目标曲形区域返回终端设备210,以便标注人员查看目标曲形文本的标注结果。
应理解,图2所示的应用场景仅为示例,在实际应用中,也可以由终端设备210独立执行本申请实施例提供的区域标注方法,本申请在此不对该区域标注方法适用的应用场景做任何限定。
下面通过方法实施例对本申请提供的区域标注方法进行详细介绍。
参见图3,图3为本申请实施例提供的区域标注方法的流程示意图。为了便于描述,下述实施例仍以该区域标注方法的执行主体为服务器为例。如图3所示,该区域标注方法包括以下步骤:
步骤301:获取针对目标曲形文本的覆盖区域边界标记的N个标注点;所述N为大于4的整数。
当需要标注出样本图像中目标曲形文本的覆盖区域(即下文中的目标曲形区域)时,服务器可以获取针对该目标曲形文本的覆盖区域边界标记的N个标注点,此处获取N个标注点实质上是指获取N个标注点各自对应的属性数据,如N个标注点各自对应的标记位置、标记时间、标记顺序、标记标签(用于表征标注点是否为角点)等等,标注点对应的属性数据可以在该标注点被标记出来时相应地生成。
在一种可能的实现方式中,服务器可以接收终端设备上传的N个标注点的属性数据,这N个标注点的属性数据是终端设备响应于标注人员的标记操作生成的。示例性的,标注人员可以通过终端设备,在样本图像中目标曲形文本的覆盖区域边界手动点击标记标注点,终端设备响应于标注人员的标记操作,可以相应地生成标注点对应的属性数据,如生成该标注点的标记时间、标记位置(即标注点在屏幕上的坐标值)、标记顺序等;此外,标注人员还可以为其标记的角点设置标记标签,例如,标注人员可以针对其为目标曲形文本的覆盖区域标记的左上角点、右上角点、右下角点和左下角点,分别设置对应的标记标签;当然,终端设备也可以响应于标注人员的标记操作默认设置标记标签,例如,默认为标注人员标记的第一个标注点设置左上角点标签。标注人员确认完成N个标注点的标记操作后,可以触发终端设备将这N个标注点的属性数据发送给服务器。
在另一种可能的实现方式中,服务器也可以从数据库中调取针对样本图像中目标曲形文本的覆盖区域边界标记的N个标注点的属性数据。示例性的,数据库中可以存储有大量包括曲形文本的样本图像,每张样本图像中曲形文本的覆盖区域已被标记好若干标注点,这些标注点各自对应的属性数据与其所属的样本图像关联存储,当服务器需要为模型训练提供标注有曲形文本区域的训练样本时,服务器可以从数据库中调取样本图像以及与该样本图像关联存储的各标注点各自对应的属性数据。
应理解,上述服务器获取标注点的实现方式仅为示例,在实际应用中,服务器也可以采用其它方式获取样本图像中针对目标曲形文本的覆盖区域边界标记的标注点,本申请在此不对服务器获取标注点的实现方式做任何限定。
需要说明的是,考虑到针对目标曲形文本的覆盖区域边界标记的N个标注点中往往会存在一些参考意义不大的标注点,对这些标注点进行后续处理通常无法为标注结果带来更好的影响,甚至还会对处理资源造成不必要的浪费,额外增加处理时间。为了避免浪费处理资源,额外增加处理时间,本申请实施例提供的方法可以通过某种规则,在保证后续拟合出的矢量曲线形状不变的情况下,最大限度地减少标注点的数目,即对所获取的N个标注点进行抽稀处理,以从这N个标注点中抽取出M(M为小于或等于N,且大于4的整数)个标注点保留。
本申请实施例在此提供了两种示例性的对N个标注点进行抽稀处理的实现方式,下面对这两种实现方式的具体实现过程进行介绍。
第一种实现方式,基于垂距限值的方式对N个标注点进行抽稀处理。具体的,服务器可以针对N个标注点中的第i个标注点,确定该第i个标注点到第i-1个标注点与第i+1个标注点之间的连线的距离,作为该第i个标注点对应的垂直距离,然后判断该第i个标注点对应的垂直距离是否小于预设距离阈值,若是,则删除该第i个标注点,若否,则保留该第i个标注点。上述i为大于1、且小于或等于N的整数,当i等于N时,第i+1个标注点为N个标注点中的第一个标注点。
为了便于理解上述实现过程,下面结合图4中的(a)对上述抽稀处理过程进行示例性介绍。假设i等于2,(a)中的点A为N个标注点中的第一个标注点,点B为N个标注点中的第二个标注点,点C为N个标注点中的第三个标注点,服务器判断是否保留点B时,可以先确定点B到线段AC的距离,即确定点B到线段AC的垂线段的长度dist,然后判断该长度dist是否小于预设距离阈值,若是,则确定点B对于后续的曲线拟合参考意义不大,可以删除该点B,若否,则保留该点B。
在第二个标注点被删除的情况下,服务器判断是否保留第三个标注点时,可以根据该第三个标注点到第一个标注点与第四个标注点的连线的距离,来判断是否保留该第三个标注点。以此类推,对第二个标注点至第N个标注点逐一执行上述抽稀处理操作,以将N个标注点中对于曲线拟合参考意义不大的标注点均删除。
应理解,上述预设距离阈值可以根据实际需求设定,例如可以设置为10mm,本申请在此不对该预设距离阈值做具体限定。
第二种实现方式,基于夹角限值的方式对N个标注点进行抽稀处理。具体的,服务器可以针对N个标注点中的第j个标注点,确定第j-1个标注点与第j+1个标注点间的连线,作为该第j个标注点对应的基准线,然后确定该第j个标注点与第j-1个标注点之间的连线和该基准线的夹角,作为该第j个标注点对应的第一夹角,确定该第j个标注点与第j+1个标注点之间的连线与该基准线的夹角,作为第j个标注点对应的第二夹角;进而,判断该第j个标注点对应的第一夹角和第二夹角中的最大值是否小于预设角度阈值,若是,则删除该第j个标注点,若否,则保留该第j个标注点。上述j为大于1、且小于或等于N的整数,当j等于N时,第j+1个标注点为N个标注点中的第一个标注点。
为了便于理解上述实现过程,下面结合图4中的(b)对上述抽稀处理过程进行示例性介绍。假设j等于2,(b)中的点A为N个标注点中的第一个标注点,点B为N个标注点中的第二个标注点,点C为N个标注点中的第三个标注点,服务器判断是否保留点B时,可以确定线段AC作为该点B对应的基准线,确定线段BA与线段AC的夹角α作为点B对应的第一夹角,确定线段BC与线段AC的夹角β作为点B对应的第二夹角,然后判断max(α,β)是否小于预设角度阈值,若是,则说明点B对于后续的曲线拟合参考意义不大,可以删除该点B,若否,则保留该点B。
在第二个标注点被删除的情况下,服务器判断是否保留第三个标注点时,可以将第一个标注点与第四个标注点的连线作为该第三个标注点对应的基准线,将第三个标注点与第一个标注点的连线和该第三个标注点对应的基准线的夹角,作为该第三个标注点对应的第一夹角,将第三个标注点与第四个标注点的连线和该第三个标注点对应的基准线的夹角,作为该第三个标注点对应的第二夹角,然后根据该第三个标注点对应的第一夹角与第二夹角中的最大值,判断是否保留该第三个标注点。以此类推,对第二个标注点至第N个标注点逐一执行上述抽稀处理操作,以将N个标注点中对于曲线拟合参考意义不大的标注点均删除。
应理解,上述预设角度阈值可以根据实际需求设定,例如可以设置为5°,本申请在此不对该预设角度阈值做具体限定。
应理解,在实际应用中,除了可以通过上述垂距限值、夹角限值的方式,对N个标注点进行抽稀处理外,服务器也可以采用其它抽稀处理算法如步长法、线段过滤法、道格拉斯-普克算法等,对N个标注点进行抽稀处理,本申请在此不对服务器进行抽稀处理时采用的算法做任何限定。
如此,将N个标注点中对于曲线拟合参考意义不大的标注点删除,从而避免造成处理资源的浪费,同时也能在一定程度上缩短处理时间。
步骤302:在所述N个标注点中确定待标注的目标曲形区域的四个角点。
服务器获取到N个标注点各自对应的属性数据后,需要从这N个标注点中确定出待标注的目标曲形区域(即样本图像中目标曲形文本的覆盖区域)的四个角点。需要说明的是,曲形文本的覆盖区域通常都是由两条相对的曲线边界和两条相对的边界线段围成的闭合区域,例如,由两条相对的弧线和两条相对的线段围成的弧形区域,这两条曲线边界和这两条边界线段的四个交点实际上即为目标曲形区域的四个角点。
需要说明的是,若服务器在获取到N个标注点后,对N个标注点进行了抽稀处理,仅保留了其中的M个标注点,则服务器确定目标曲形区域的四个角点时,可以在所保留的M个标注点中确定出目标曲形区域的四个角点。
在一些实施例中,每个标注点对应的属性数据中可以包括标记标签,该标记标签通常是标注人员标记标注点时设置的,用于表征该标注点是否为角点,在这种情况下,服务器可以直接确定设置有用于表征自身为角点的标记标签的标注点,作为目标曲形区域的角点。
应理解,服务器对N个标注点进行抽稀处理时,可以不对设置有用于表征自身为角点的标记标签的标注点进行抽稀处理,以避免标注人员所规定的角点在抽稀处理的过程中被删除。
在一些实施例中,可以要求标注人员按照一定的规则针对目标曲形文本的覆盖区域边界标记标注点,示例性的,可以要求标注人员按照目标标记方向依次标记N个标注点,并且要求标注人员标记的第一个标注点为目标曲形区域的第一角点,在这种情况下,若服务器已对其获取的N个标注点进行了抽稀处理,仅保留了M个标注点,则服务器可以直接确定这M个标注点中的第M个标注点为目标曲形区域的第二角点,第一角点和第二角点实际上是目标曲形区域的一条边界线段上的两个端点。
以目标曲形区域为横向弧形区域为例,假设要求标注人员按照顺时针方向依次标记标注点,且要求标注人员标记的第一个标注点为目标曲形区域的左上角点,由于目标曲形区域的左右边界均可近似为直线,因此,如果标注人员在左右边界标记过多的标注点,那么这些标注点会在抽稀处理的过程中被删除掉,相应地,经抽稀处理后保留的第M个标注点,即应当为能够与第一个标注点构成左边界线段的左下角点。相类似地,假设要求标注人员按照逆时针方向依次标记标注点,且要求标注人员标记的第一个标注点为目标曲形区域的右上角点,则经抽稀处理后保留的第M个标注点,即应当为能够与第一个标注点构成右边界线段的右下角点。
应理解,当目标曲形区域为其它形状的曲形区域时,可以相应地要求标注人员按照其它目标标记方向标记标注点,并且要求所标记的第一个标注点为某个特定的第一角点,对于该目标标记方向和第一标注点的规定,只需保证经抽稀处理后保留的最后一个标注点与第一个标注点能够组成目标曲形区域的一条边界线段即可,本申请在此不对上述目标标记方向和第一标注点对应的角点做具体限定。
服务器确定出位于目标曲形区域的一条边界线段两端的第一角点和第二角点后,可以进一步基于面积重叠比(intersection-over-union,IOU),在M个标注点中确定出另外两个角点,即第三角点和第四角点。
具体的,服务器可以将第一角点和第二角点所在的边界线段,作为基准参考线;然后,针对M个标注点中每个由标记顺序相邻的两个标注点组成的标注点对,将M个标注点中在该标注点对中标记顺序靠后的标注点之前标记的标注点,组成该标注点对对应的第一参考标注点集合,将M个标注点中在该标注点对中标记顺序靠前的标注点之后标记的标注点,组成该标注点对对应的第二参考标注点集合;进而,基于该标注点对对应的第一参考标注点集合,拟合该标注点对对应的第一参考曲线,基于该标注点对对应的第二参考标注点集合,拟合该标注点对对应的第二参考曲线;最终,确定由基准参考线、该标注点对中两个标注点的连线、以及该标注点对对应的第一参考曲线和第二参考曲线围成的区域,作为该标注点对对应的参考区域,并计算该标注点对对应的参考区域与原始标注区域的IOU,作为该标注点对对应的IOU,此处的原始标注区域是由N个标注点中各组标记顺序相邻的标注点的连线围成的区域。确定出各组标注点对各自对应的IOU后,可以确定所对应的IOU最大的标注点对中的标注点,作为第三角点和第四角点。
需要说明的是,服务器对初始获取的N个标注点进行抽稀处理,筛选出所要保留的M个标注点后,可以根据这M个标注点各自对应的初始标记顺序,重新排列这M个标注点。例如,假设标注人员针对目标曲形文本的覆盖区域边界标记了8个标注点,分别为点1、点2、点3、点4、点5、点6、点7和点8,经抽稀处理后点2和点6被删除,则可以根据初始的标记顺序重新排列剩余的点1、点3、点4、点5、点7和点8,将点3作为新的点2,将点4作为新的点3,将点5作为新的点4,将点7作为新的点5,将点8作为新的点6,此时,点1与新的点2即可被视为标记顺序相邻的标注点,新的点2与新的点3也可被视为标记顺序相邻的标注点,以此类推。
下面结合图5对上述确定第三角点和第四角点的实现过程进行介绍。以目标曲形区域为横向弧形区域,第一角点为目标曲形区域的左上角点,第二角点为目标曲形区域的左下角点为例,对N个标注点进行抽稀处理后保留了M个标注点,将这M个标注点各自对应的位置坐标按照其各自对应标记顺序(即顺时针顺序)组成标注点集合[(x1,y1),…,(xm,ym)],其中,第一个标注点为目标曲形区域的左上角点,最后一个标注点为目标曲形区域的左下角点。此时,服务器需要在这M个标注点中确定出另外两个角点,即右上角点和右下角点。
如图5所示,服务器可以从M个标注点中的第二个标注点开始,利用第二个标注点与第三个标注点组成一个标注点对,将第一个标注点和第二个标注点组成第一参考标注点集合,将第三个标注点至第M个标注点组成第二参考标注点集合。然后,基于第一参考标注点集合中的标注点拟合贝塞尔曲线,作为第一参考曲线,基于第二参考标注点集合中的标注点拟合贝塞尔曲线,作为第二参考曲线。进而,确定由第一个标注点和第M个标注点连成的线段、第二个标注点和第三个标注点连成的线段、以及第一参考曲线和第二参考曲线围成的参考区域,计算该参考区域与原始标注区域的IOU,作为该标注点对对应的IOU,此处的原始标注区域是由服务器最初获取的N个标注点中各组标记顺序相邻的标注点的连线围成的区域。
如此,按照上述方式针对M个标注点中每个标注点对逐一确定其对应IOU,然后确定所对应的IOU最大的标注点对中的标注点,分别作为右上角点和右下角点,具体的,可以将该标注点对中标记顺序靠前的标注点作为右上角点、标记顺序靠后的标注点作为右下角点。如图5所示,经抽稀处理后保留了10个标注点,其中由标记顺序相邻的标注点组成的各标注点对各自对应的IOU分别为0.59、0.78、0.93、0.86、0.62和0.32,因而,可以确定所对应的IOU为0.93的标注点对中的标注点分别为右上角点和右下角点。
应理解,在实际应用中,服务器除了可以基于IOU来确定上述第三角点和第四角点外,也可以通过其它方式确定第三角点和第四角点,本申请在此不对确定第三角点和第四角点的实现方式做任何限定。
步骤303:根据所述四个角点,从所述N个标注点中选出用于拟合第一曲线的标注点组成第一标注点集合,从所述N个标注点中选出用于拟合第二曲线的标注点组成第二标注点集合;所述第一曲线和所述第二曲线为所述目标曲形区域相对的两条曲线边界。
服务器确定出目标曲形区域的四个角点后,可以进一步根据这四个角点,将所获取的N个标注点划分为两部分,即将N个标注点分别划分至第一标注点集合和第二标注点集合;其中,第一标注集合中的标注点用于拟合第一曲线,第二标注点集合中的标注点用于拟合第二曲线,该第一曲线和第二曲线为目标曲形区域相对的两条曲线边界,以目标曲形区域为横向弧形区域为例,该第一曲线和第二曲线可以分别为该横向弧形区域的上曲线和下曲形。
在一种可能的实现方式中,若N个标注点是按照目标标记方向依次标记的,则服务器可以根据N个标注点各自对应的标记顺序,来划分第一标注点集合和第二标注点集合。仍以目标曲形区域为横向弧形区域为例,假设N个标注点是按照顺时针方向依次标记的,且第一个标注点为左上角点,则确定出该目标曲形区域的左上角点、右上角点、右下角点和左下角点后,可以将标记顺序在左上角点和右上角点之间的标注点划分至用于拟合上曲线的第一标注点集合中,该第一标注点集合还包括左上角点和右上角点,将标记顺序在右下角点和左下角点之间的标注点划分至用于拟合下曲线的第二标注点集合中,该第二标注点集合还包括右下角点和左下角点。
在另一种可能的实现方式中,服务器也可以根据四个角点各自对应的位置,确定所属于第一标注点集合中的标注点和所属于第二标注点集合中的标注点。示例性的,服务器确定出该目标曲形区域的左上角点、右上角点、右下角点和左下角点后,可以根据该左上角点、右上角点、右下角点和左下角点各自对应的坐标,确定第一标注点集合对应的位置范围和第二标注点集合对应的位置范围,将N个标注点中坐标所属于第一标注点集合对应的位置范围的标注点,划分至第一标注点集合,将N个标注点中坐标所属于第二标注点集合对应的位置范围的标注点,划分至第二标注点集合。
应理解,在实际应用中,服务器也可以采用其它方式划分第一标注点集合和第二标注点集合,本申请在此不对划分第一标注点集合和第二标注点集合的方式做任何限定。
需要说明的是,若服务器获取到N个标注点后,对这N个标注点进行了抽稀处理,仅保留了M个标注点,则在执行步骤303时,服务器可以根据所确定的目标曲形区域的四个角点,将这M个标注点中相应地划分至用于拟合第一曲线的第一标注点集合和用于拟合第二曲线的第二标注点集合,具体将M个标注点划分至第一标注点集合和第二标注点集合的实现方式,与上文中将N个标注点划分至第一标注点集合和第二标注点集合的实现方式相类似,此处不再赘述。
步骤304:根据所述第一标注点集合中的标注点拟合所述第一曲线,根据所述第二标注点集合中的标注点拟合所述第二曲线。
服务器划分出第一标注点集合和第二标注点集合后,可以基于相关的曲线拟合原理,根据第一标注点集合中各标注点的位置拟合出第一曲线,根据第二标注点集合中各标注点的位置拟合出第二曲线,由此得到所要标注的目标曲形区域的两条相对的曲线边界。需要说明的是,服务器根据第一标注点集合和第二标注点集合中的标注点拟合第一曲线和第二曲线时,可以根据实际需求选择采用任意一种或多种的曲线拟合原理进行曲线拟合,例如,可以基于贝塞尔曲线拟合原理、高斯曲线拟合原理、最小二乘法曲线拟合原理、利用表达解析式逼近离散数据的曲线拟合原理等,拟合第一曲线和第二曲线。
下面以基于贝塞尔曲线拟合原理拟合上述第一曲线和第二曲线为例,对第一曲线和第二曲线的拟合过程进行详细介绍。
贝塞尔曲线又称贝兹曲线和贝济埃曲线,是应用于二维图形应用程序中的数学曲线,贝塞尔曲线由起始点、终止点(又称锚点)和控制点组成,通过调整控制点可以使得所绘制的贝塞尔曲线的形状发生变化。
综合考虑拟合精度和拟合效率,本申请实施例提供的方法可以基于三阶贝塞尔曲线的拟合原理,根据第一标注点集合中各标注点的位置拟合第一曲线,根据第二标注点集合中各标注点的位置拟合第二曲线。三阶贝塞尔曲线的拟合原理如图6所示,其通常由四个控制点p0、p1、p2和p3确定,其中控制点p0和p3分别为起始点和终止点,在本申请实施例提供的方法中,拟合贝塞尔曲线所需的起始点和终止点已经确定,即为每个标注点集合中包括的两个角点,还需要通过计算确定拟合每条曲线时所需的另外两个控制点即p1和p2,进而,再根据起始点、终止点和所确定的两个控制点拟合贝塞尔曲线,作为目标曲形区域的曲线边界。
具体的,服务器可以根据第一标注点集合中各标注点的位置确定第一控制点的位置,进而,根据第一控制点的位置和第一标注点集合中包括的两个角点的位置,拟合贝塞尔曲线作为第一曲线。服务器可以根据第二标注点集合中各标注点的位置确定第二控制点的位置,进而,根据第二控制点的位置和第二标注点集合中包括的两个角点的位置,拟合贝塞尔曲线作为第二曲线。
当服务器依据三阶贝塞尔曲线的拟合原理拟合上述第一曲线时,服务器可以先基于三阶贝塞尔曲线的逆拟合原理,根据第一标注点集合中各标注点的位置确定出四个第一控制点,这四个第一控制点包括起始点、终止点和两个中间控制点,将这四个第一控制点中的起始点和终止点舍去,将第一标注点集合中包括的两个角点分别作为起始点和终止点,进而,基于该起始点、该终止点和所确定的两个中间控制点绘制三阶贝塞尔曲线作为第一曲线。服务器依据三阶贝塞尔曲线的拟合原理拟合第二曲线的实现过程,与上述拟合第一曲线的实现过程相类似,此处不再赘述。
应理解,在实际应用中,服务器也可以基于二阶贝塞尔曲线拟合原理或四阶贝塞尔曲线拟合原理等,拟合上述第一曲线和第二曲线,本申请在此不对拟合第一曲线和第二曲线时所依据的贝塞尔曲线拟合原理做任何限定。
下面对服务器基于贝塞尔曲线拟合原理,根据第一标注点集合中各标注点的位置确定第一控制点的实现方式进行介绍,应理解,服务器确定第二控制点的实现方式与确定第一控制点的实现方式相类似,本实施例不再赘述。
具体的,服务器可以先计算第一标注点集合中各组相邻的标注点之间的距离的和值,作为基准参考距离。然后,针对第一标注点集合中的每个标注点,利用该标注点、基准标注点以及位于该标注点和基准标注点之间的标注点,组成该标注点对应的参考点集合,此处的基准标注点为第一标注点集合中的一个角点;计算该标注点对应的参考点集合中各组相邻的标注点之间的距离的和值,作为该标注点对应的参考距离;并且计算该标注点对应的参考距离与基准参考距离的比值,作为该标注点对应的参考比值。进而,根据第一标注点集合中各标注点各自对应的比值和各标注点各自的位置,确定第一控制点。
下面结合图7对基于三阶贝塞尔曲线拟合原理确定第一控制点的实现方式进行示例性介绍。如图7所示,假设第一标注点集合中包括点A、点B、点C和点D,点A、点B、点C和点D各自对应的坐标分别为(xa,ya)、(xb,yb)、(xc,yc)和(xd,yd),若将点A作为基准标注点,则可确定点A对应的参考比值ta应为0,点D对应的参考比值td应为1。
服务器可以先计算线段AB、线段BC和线段CD的长度和,作为基准参考距离。针对点B确定其对应的参考比值时,可以先确定线段AB的长度作为点B对应的参考距离,然后计算点B对应的参考距离与该基准参考距离的比值,该比值即为点B对应的参考比值tb。针对点C确定其对应的参考比值时,可以先计算线段AB和线段BC的长度和作为点C对应的参考距离,然后计算点C对应的参考距离与该基准参考距离的比值,该比值即为点C对应的参考比值tc。
确定出点A、点B、点C和点D各自对应的参考比值ta、tb、tc和td后,即可通过式(1)确定四个第一控制点p0、p1、p2和p3各自对应的坐标:
其中,B(t)是由点A、点B、点C和点D各自对应的坐标组成的n*2的矩阵;t分别对应ta、tb、tc和td,由1、t、t2和t3所组成的矩阵实际上是一个4*4的矩阵,矩阵四列中的t分别对应ta、tb、tc和td;由p0、p1、p2和p3实际上是一个4*2的矩阵,矩阵四行分别对应p0、p1、p2和p3各自的坐标。
确定出四个第一控制点p0、p1、p2和p3后,可以将其中的p0和p3舍弃,采用第一标注点集合中的点A和点D作为拟合贝塞尔曲线所需的起始点和终止点,进而,基于点A、p1、p2和点D各自对应的坐标拟合贝塞尔曲线,作为第一曲线。
步骤305:基于所述第一曲线和所述第二曲线,构建所述目标曲形区域。
服务器拟合出第一曲线和第二曲线后,可以根据第一曲线和第二曲线构建目标曲形区域,即构建所要标注的曲形文本的覆盖区域。由于第一曲线和第二曲线是两条相对的曲线边界,因此,可以直接将第一曲线和第二曲线上位于同侧的角点连接起来,得到目标曲形区域的两条边界线段,由此得到由两条曲线边界和两条边界线段围成的闭合区域,即构建出目标曲形区域。
具体的,若第一角点和第二角点为目标曲形区域的一条边界线段的两个端点,第三角点和第四角点为目标曲形区域的另一条边界线段的两个端点,则服务器可以连接第一角点和第二角点得到第一线段,连接第三角点和第四角点得到第二线段,进而确定由第一线段、第一曲线、第二线段和第二曲线围成的区域,作为目标曲形区域。
以目标曲形区域为横向弧形区域为例,其中第一角点、第二角点、第三角点和第四角点分别为左上角点、左下角点、右上角点和右下角点,服务器连接左上角点和左下角点可以得到目标曲形区域的左边界线段,连接右上角点和右下角点可以得到目标曲形区域的右边界线段,进而,可以将由左边界线段、上曲线边界、右边界线段和下曲线边界围成的曲形区域,作为目标曲形区域,即目标曲形文本的覆盖区域的标注结果。
上述本申请实施例提供的区域标注方法利用曲线拟合技术,根据基于待标注的目标曲形区域的角点划分出的两个标注点集合,分别拟合出该目标曲形区域的两条曲线边界,进而,基于所拟合的两条曲线边界构建目标曲形区域,即构建所要标注的曲形文本区域。由于通常情况下基于相关曲线拟合原理拟合出的曲线的精准度与所标记的标注点数量无关,在仅有少量标注点的情况下也可以拟合出精准度较高的曲线边界,因此,使得本申请实施例提供的方法可以在仅有少量标注点的情况下,标注出具有较高质量的曲形文本区域,兼顾了提高曲形文本区域的标注质量和降低标注时间成本。
为了便于进一步理解本申请实施例提供的区域标注方法,下面以本申请实施例所要标注的目标曲形区域为横向弧形区域,且标记标注点时从左上角点出发按照顺时针方向依次标记各标注点为例,对本申请实施例提供的区域标注方法基于贝塞尔曲线拟合原理标注曲形区域的过程进行整体示例性介绍。
本申请实施例提供的区域标注方法的核心思想,是利用贝塞尔曲线分别拟合曲形文本覆盖区域的上下曲线边界,基于这上下曲线边界构建封闭的曲形区域,作为曲形文本覆盖区域的标注结果。该方法主要分为三个阶段:标注点抽稀、角点确定和曲线边界拟合;其中,标注点抽稀用于将初始标注点中一些不必要的标注点去除;角点确定是为了服务后续的曲线边界拟合,由于上下曲线拟合是基于贝塞尔曲线拟合原理实现的,该拟合过程需要利用属于该曲线的离散标注点,因此需要确定曲形文本覆盖区域的角点(包括左上角点、右上角点、右下角点和左下角点),以便确认各离散标注点所属的曲线;曲线拟合是为了生成两条光滑的曲线边界,以准确地贴合待标注的曲形文本覆盖区域。
下面对标注点抽稀、角点确定和曲线边界拟合这三个阶段的实现方式分别进行介绍。
一、标注点抽稀
初始标注点中往往存在很多近似的标注点,此类标注点通常会为后续的数据处理带来诸多不便,一方面可能增加所需耗费的处理资源,延长处理时间,另一方面可能导致所要表达的图形不符合后续的曲线拟合标准,因此,需要在保证矢量曲线形状不变的情况下,通过某种规则最大限度地减少标注点的数量,此过程即为抽稀。
示例性的,服务器可以采用垂距限值和夹角限值的方法,对初始标注点进行抽稀处理。
1)从第二个标注点开始,确定该第二个标注点到第一个标注点与第三个标注点的连线的距离dist,以及,第二个标注点与第一个标注点的连线和第一个标注点与第三个标注点的连线的夹角α,第二个标注点与第三个标注点的连线和第一个标注点与第三个标注点的连线的夹角β。
2)如果dist小于预设距离阈值,或者α和β中的最大值小于预设角度阈值,则舍弃该第二个标注点,计算第三个标注点到第一个标注点与第四个标注点的连线的距离dist,以及,第三个标注点与第一个标注点的连线和第一个标注点与第四个标注点的连线的夹角α,第三个标注点与第四个标注点的连线和第一个标注点与第四个标注点的连线的夹角β。反之,如果dist大于预设距离阈值,且α和β中的最大值大于预设角度阈值,则保留该第二个标注点,计算第三个标注点到第二个标注点与第四个标注点的连线的距离dist,以及,第三个标注点与第二个标注点的连线和第二个标注点与第四个标注点的连线的夹角α,第三个标注点与第四个标注点的连线和第二个标注点与第四个标注点的连线的夹角β。
3)以此类推,直至完成对于所标记的最后一个标注点的处理。应理解,处理最后一个标注点时,所依据的距离dist是最后一个标注点到第一个标注点与倒数第二个标注点的连线的距离,所依据的夹角α是最后一个标注点与倒数第二个标注点的连线和第一个标注点与倒数第二个标注点的连线的夹角,所依据的夹角β是最后一个标注点与第一个标注点的连线和第一个标注点与倒数第二个标注点的连线的夹角。
经过上述抽稀处理后,可以保证最后一个保留的标注点是曲形文本覆盖区域的左下角点,这是因为曲形文本覆盖区域的左右两条边界可以近似为一条直线段,如果标注人员在左右边界点击标记过多的标注点,这些标注点会在抽稀处理的过程中被删除掉,因此,在所标记的第一个标注点为左上角点,且标注点的标记方向为顺时针方向的情况下,经抽稀处理后保留的最后一个标注点应当为左下角点。
二、角点确定
经过标注点抽稀处理后,所保留的各标注点可以按照顺时针顺序组成标注点集合[(x1,y1),…,(xm,ym)],其中第一个点为左上角点,最后一个点为左下角点,此时还需要确定曲形文本覆盖区域的右上角点和右下角点,以便将该标注点集合分为两部分,分别属于上曲线标注点和下曲线标注点,便于后续利用贝塞尔曲线拟合这些点。在本申请中,分离点(即右上角点和右下角点)的确定条件,是将标注点集合分为两组各拟合一条贝塞尔曲线,使得这两条曲线与已确定的左边界线段、两个分离点组成的线段所围成的区域,与原始标注区域的IOU最大,此处的原始标注区域是由初始标注点围成的区域。
1)从所保留的第二个标注点开始,将第一个标注点和第二个标注点归为上曲线,剩余的标注点归为下曲线。
2)利用贝塞尔曲线分别拟合上曲线标注点和下曲线标注点,以得到两条光滑的曲线,计算由这两条曲线、已确定的左边界线段和第一标注点和第二标注点的连线所围成的区域与原始标注区域的IOU。
3)以此类推,计算出由各组相邻的标注点组成的标注点对各自对应的IOU,确定所对应的IOU最大的标注点对中的标注点,分别为右上角点和右下角点。
三、曲线边界拟合
曲线拟合时采用贝塞尔曲线,贝塞尔曲线是用于二维图形应用程序中的数学曲线,贝塞尔曲线由起始点、终止点和控制点组成,通过调整控制点可以使贝塞尔曲线的形状发生变化。
综合考虑精度和效率,本申请中采用三阶贝塞尔曲线进行拟合。三阶贝塞尔曲线包括四个控制点p0、p1、p2和p3,其中的起始点p0和终止点p3已经确定,为曲线两端的两个角点,中间的两个控制点p1和p2需要通过下式计算得到:
其中,B(t)是这条曲线的原始标注点的坐标,t代表该标注点在该曲线上的位置,()-1表示对该矩阵取逆。经上式计算得到的p0和p3舍去,采用曲线上的一个角点作为p0,另一个角点作为p3。控制点得到后,即可拟合出一条平滑的曲线,该曲线即为曲形文本覆盖区域的曲线边界。
通过上述方式拟合出曲形文本覆盖区域的两条曲线边界后,即可基于这两条曲线边界构建出所要标注的曲形文本覆盖区域。
参见图8,图8为基于本申请实施例提供的区域标注方法得到的标注结果示意图。如图8所示,第一列图像为在样本图像中标记初始标注点,依次连接各组标记顺序相邻的初始标注点得到的初始标注图像;第二列图像为对初始标注点进行抽稀处理后,将抽稀处理后保留的各标注点依次连接起来,得到的抽稀处理后的标注图像;第三列图像为采用本申请实施例提供的区域标注方法,对抽稀处理后的标注点进行角点确定和曲线拟合处理后,得到的最终的标注结果。观察第三列图像可以发现,经本申请实施例提供的区域标注方法,可以得到较为紧凑的标注区域,该标注区域可以准确地覆盖曲形文本。
针对上文描述的区域标注方法,本申请还提供了对应的区域标注装置,以使上述区域标注方法在实际中的应用以及实现。
参见图9,图9为上文图3所示的区域标注方法对应的一种区域标注装置900的结构示意图,该区域标注装置900包括:
标注点获取模块901,用于获取针对目标曲形文本的覆盖区域边界标记的N个标注点;所述N为大于4的整数;
角点确定模块902,用于在所述N个标注点中确定待标注的目标曲形区域的四个角点;
标注点集合确定模块903,用于根据所述四个角点,从所述N个标注点中选出用于拟合第一曲线的标注点组成第一标注点集合,从所述N个标注点中选出用于拟合第二曲线的标注点组成第二标注点集合;所述第一曲线和所述第二曲线为所述目标曲形区域相对的两条曲线边界;
曲线拟合模块904,用于根据所述第一标注点集合中的标注点拟合所述第一曲线,根据所述第二标注点集合中的标注点拟合所述第二曲线;
标注区域构建模块905,用于基于所述第一曲线和所述第二曲线,构建所述目标曲形区域。
可选的,在图9所示的区域标注装置的基础上,参见图10,图10为本申请实施例提供的另一种区域标注装置的结构示意图。如图10所示,所述曲线拟合模块904包括:
第一拟合单元1001,用于根据所述第一标注点集合中各标注点的位置确定第一控制点的位置;根据所述第一控制点的位置和所述第一标注点集合中包括的所述角点的位置,拟合贝塞尔曲线作为所述第一曲线;
第二拟合单元1002,用于根据所述第二标注点集合中各标注点的位置确定第二控制点的位置;根据所述第二控制点的位置和所述第二标注点集合中包括的所述角点的位置,拟合贝塞尔曲线作为所述第二曲线。
可选的,在图10所示的区域标注装置的基础上,所述第一拟合单元1001具体用于:
计算所述第一标注点集合中各组相邻的标注点之间的距离的和值,作为基准参考距离;
针对所述第一标注点集合中的每个标注点,利用该标注点、基准标注点以及位于该标注点和所述基准标注点之间的标注点,组成该标注点对应的参考点集合,所述基准标注点为所述第一标注点集合中的一个所述角点;计算该标注点对应的参考点集合中各组相邻的标注点之间的距离的和值,作为该标注点对应的参考距离;计算该标注点对应的参考距离与所述基准参考距离的比值,作为该标注点对应的参考比值;
根据所述第一标注点集合中各标注点各自对应的比值和各标注点各自的位置,确定所述第一控制点。
可选的,在图10所示的区域标注装置的基础上,所述第二拟合单元1002具体用于:
计算所述第二标注点集合中各组相邻的标注点之间的距离的和值,作为基准参考距离;
针对所述第二标注点集合中的每个标注点,利用该标注点、基准标注点以及位于该标注点和所述基准标注点之间的标注点,组成该标注点对应的参考点集合,所述基准标注点为所述第二标注点集合中的一个所述角点;计算该标注点对应的参考点集合中各组相邻的标注点之间的距离的和值,作为该标注点对应的参考距离;计算该标注点对应的参考距离与所述基准参考距离的比值,作为该标注点对应的参考比值;
根据所述第二标注点集合中各标注点各自对应的比值和各标注点各自的位置,确定所述第二控制点。
可选的,在图9所示的区域标注装置的基础上,参见图11,图11为本申请实施例提供的另一种区域标注装置的结构示意图。如图11所示,所述装置还包括:
抽稀模块1101,用于对所述N个标注点进行抽稀处理,以从所述N个标注点中抽取出M个标注点保留;所述M为小于或等于N,且大于4的整数;
则所述角点确定模块902具体用于:
在所述M个标注点中确定所述目标曲形区域的所述四个角点;
则所述标注点集合确定模块903具体用于:
根据所述四个角点,从所述M个标注点中选出所述第一标注点集合,从所述M个标注点中选出所述第二标注点集合。
可选的,在图11所示的区域标注装置的基础上,所述抽稀模块1101具体用于:
针对所述N个标注点中的第i个标注点,确定所述第i个标注点到第i-1个标注点与第i+1个标注点之间的连线的距离,作为所述第i个标注点对应的垂直距离;判断所述第i个标注点对应的垂直距离是否小于预设距离阈值,若是,则删除所述第i个标注点,若否,则保留所述第i个标注点;
其中,所述i为大于1,且小于或等于N的整数;当所述i等于N时,所述第i+1个标注点为所述N个标注点中的第一个标注点。
可选的,在图11所示的区域标注装置的基础上,所述抽稀模块1101具体用于:
针对所述N个标注点中的第j个标注点,确定所述第j-1个标注点与所述第j+1个标记点间的连线,作为所述第j个标记点对应的基准线;确定所述第j个标注点与所述第j-1个标注点之间的连线和所述基准线的夹角,作为所述第j个标记点对应的第一夹角,确定所述第j个标注点与所述第j+1个标注点之间的连线和所述基准线的夹角,作为所述第j个标注点对应的第二夹角;判断所述第j个标注点对应的第一夹角和第二夹角中的最大值是否小于预设角度阈值,若是,则删除所述第j个标注点,若否,则保留所述第j个标注点;
其中,所述j为大于1,且小于或等于N的整数;当所述j等于N时,所述第j+1个标注点为所述N个标注点中的第一个标注点。
可选的,在图11所示的区域标注装置的基础上,所述N个标注点是按照目标标记方向依次标记的,且第一个标注点为所述四个角点中的第一角点;则所述M个标注点中的第M个标注点为所述四个角点中的第二角点;所述第一角点和所述第二角点为所述目标曲形区域的一条边界线段的两个端点。
可选的,在图9或图11所示的区域标注装置的基础上,所述N个标注点是按照目标标记方向依次标记的;所述目标曲形区域由所述第一曲线、所述第二曲线和两条相对的边界线段围成;在已确定出所述四个角点中位于一条所述边界线段两端的第一角点和第二角点的情况下,所述角点确定模块902具体用于:
将所述第一角点和所述第二角点所在的所述边界线段,作为基准参考线;
针对所述M个标注点中每个由标记顺序相邻的两个标注点组成的标注点对,将所述M个标注点中在该标注点对中标记顺序靠后的标注点之前标记的标注点,组成该标注点对对应的第一参考标注点集合,将所述M个标注点中在该标注点对中标记顺序靠前的标注点之后标记的标注点,组成该标注点对对应的第二参考标注点集合;基于该标注点对对应的第一参考标注点集合,拟合该标注点对对应的第一参考曲线,基于该标注点对对应的第二参考标注点集合,拟合该标注点对对应的第二参考曲线;确定由所述基准参考线、该标注点对中两个标注点的连线、以及该标注点对对应的第一参考曲线和第二参考曲线围成的区域,作为该标注点对对应的参考区域;计算该标注点对对应的参考区域与原始标注区域的面积重叠比,作为该标注点对对应的面积重叠比,所述原始标注区域是由所述N个标注点中各组标记顺序相邻的标注点的连线围成的区域;
确定所对应的面积重叠比最大的标注点对中的标注点,作为所述四个角点中的第三角点和第四角点。
可选的,在图9或图11所示的区域标注装置的基础上,所述标注区域构建模块905具体用于:
连接所述第一角点和所述第二角点得到第一线段,连接所述第三角点和所述第四角点得到第二线段;
确定由所述第一线段、所述第一曲线、所述第二线段和所述第二曲线围成的区域,作为所述目标曲形区域。
上述本申请实施例提供的区域标注装置利用曲线拟合技术,根据基于待标注的目标曲形区域的角点划分出的两个标注点集合,分别拟合出该目标曲形区域的两条曲线边界,进而,基于所拟合的两条曲线边界构建目标曲形区域,即构建所要标注的曲形文本区域。由于通常情况下基于相关曲线拟合原理拟合出的曲线的精准度与所标记的标注点数量无关,在仅有少量标注点的情况下也可以拟合出精准度较高的曲线边界,因此,使得本申请实施例提供的装置可以在仅有少量标注点的情况下,标注出具有较高质量的曲形文本区域,兼顾了提高曲形文本区域的标注质量和降低标注时间成本。
本申请实施例还提供了一种用于标注曲形文本区域的设备,该设备具体可以为服务器和终端设备,下面将从硬件实体化的角度对本申请实施例提供的服务器和终端设备进行介绍。
参见图12,图12为本申请实施例提供的一种服务器1200的结构示意图。该服务器1200可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processing units,CPU)1222(例如,一个或一个以上处理器)和存储器1232,一个或一个以上存储应用程序1242或数据1244的存储介质1230(例如一个或一个以上海量存储设备)。其中,存储器1232和存储介质1230可以是短暂存储或持久存储。存储在存储介质1230的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器1222可以设置为与存储介质1230通信,在服务器1200上执行存储介质1230中的一系列指令操作。
服务器1200还可以包括一个或一个以上电源1226,一个或一个以上有线或无线网络接口1250,一个或一个以上输入输出接口1258,和/或,一个或一个以上操作系统1241,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图12所示的服务器结构。
其中,CPU 1222用于执行如下步骤:
获取针对目标曲形文本的覆盖区域边界标记的N个标注点;所述N为大于4的整数;
在所述N个标注点中确定待标注的目标曲形区域的四个角点;
根据所述四个角点,从所述N个标注点中选出用于拟合第一曲线的标注点组成第一标注点集合,从所述N个标注点中选出用于拟合第二曲线的标注点组成第二标注点集合;所述第一曲线和所述第二曲线为所述目标曲形区域相对的两条曲线边界;
根据所述第一标注点集合中的标注点拟合所述第一曲线,根据所述第二标注点集合中的标注点拟合所述第二曲线;
基于所述第一曲线和所述第二曲线,构建所述目标曲形区域。
可选的,CPU 1222还可以用于执行本申请实施例提供的区域标注方法的任意一种实现方式的步骤。
参见图13,图13为本申请实施例提供的一种终端设备的结构示意图。为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。该终端可以为包括智能手机、计算机、平板电脑、个人数字助理等任意终端设备,以终端为计算机为例:
图13示出的是与本申请实施例提供的终端相关的计算机的部分结构的框图。参考图13,计算机包括:射频(Radio Frequency,RF)电路1310、存储器1320、输入单元1330、显示单元1340、传感器1350、音频电路1360、无线保真(wireless fidelity,WiFi)模块1370、处理器1380、以及电源1390等部件。本领域技术人员可以理解,图13中示出的计算机结构并不构成对计算机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
存储器1320可用于存储软件程序以及模块,处理器1380通过运行存储在存储器1320的软件程序以及模块,从而执行计算机的各种功能应用以及数据处理。存储器1320可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据计算机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器1320可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器1380是计算机的控制中心,利用各种接口和线路连接整个计算机的各个部分,通过运行或执行存储在存储器1320内的软件程序和/或模块,以及调用存储在存储器1320内的数据,执行计算机的各种功能和处理数据。可选的,处理器1380可包括一个或多个处理单元;优选的,处理器1380可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1380中。
在本申请实施例中,该终端所包括的处理器1380还具有以下功能:
获取针对目标曲形文本的覆盖区域边界标记的N个标注点;所述N为大于4的整数;
在所述N个标注点中确定待标注的目标曲形区域的四个角点;
根据所述四个角点,从所述N个标注点中选出用于拟合第一曲线的标注点组成第一标注点集合,从所述N个标注点中选出用于拟合第二曲线的标注点组成第二标注点集合;所述第一曲线和所述第二曲线为所述目标曲形区域相对的两条曲线边界;
根据所述第一标注点集合中的标注点拟合所述第一曲线,根据所述第二标注点集合中的标注点拟合所述第二曲线;
基于所述第一曲线和所述第二曲线,构建所述目标曲形区域。
可选的,所述处理器1380还用于执行本申请实施例提供的区域标注方法的任意一种实现方式的步骤。
本申请实施例还提供一种计算机可读存储介质,用于存储计算机程序,该计算机程序用于执行前述各个实施例所述的一种区域标注方法中的任意一种实施方式。
本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行前述各个实施例所述的一种区域标注方法中的任意一种实施方式。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(英文全称:Read-OnlyMemory,英文缩写:ROM)、随机存取存储器(英文全称:RandomAccess Memory,英文缩写:RAM)、磁碟或者光盘等各种可以存储计算机程序的介质。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (16)

1.一种区域标注方法,其特征在于,所述方法包括:
获取针对目标曲形文本的覆盖区域边界标记的N个标注点;所述N为大于4的整数;
在所述N个标注点中确定待标注的目标曲形区域的四个角点;
根据所述四个角点,从所述N个标注点中选出用于拟合第一曲线的标注点组成第一标注点集合,从所述N个标注点中选出用于拟合第二曲线的标注点组成第二标注点集合;所述第一曲线和所述第二曲线为所述目标曲形区域相对的两条曲线边界;
根据所述第一标注点集合中各标注点的位置确定第一控制点的位置;根据所述第一控制点的位置和所述第一标注点集合中包括的所述角点的位置,拟合贝塞尔曲线作为所述第一曲线;
根据所述第二标注点集合中各标注点的位置确定第二控制点的位置;根据所述第二控制点的位置和所述第二标注点集合中包括的所述角点的位置,拟合贝塞尔曲线作为所述第二曲线;
基于所述第一曲线和所述第二曲线,构建所述目标曲形区域;
所述根据所述第一标注点集合中各标注点的位置确定第一控制点的位置,包括:
计算所述第一标注点集合中各组相邻的标注点之间的距离的和值,作为基准参考距离;
针对所述第一标注点集合中的每个标注点,利用该标注点、基准标注点以及位于该标注点和所述基准标注点之间的标注点,组成该标注点对应的参考点集合,所述基准标注点为所述第一标注点集合中的一个所述角点;计算该标注点对应的参考点集合中各组相邻的标注点之间的距离的和值,作为该标注点对应的参考距离;计算该标注点对应的参考距离与所述基准参考距离的比值,作为该标注点对应的参考比值;
根据所述第一标注点集合中各标注点各自对应的比值和各标注点各自的位置,确定所述第一控制点。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对所述N个标注点进行抽稀处理,以从所述N个标注点中抽取出M个标注点保留;所述M为小于或等于N,且大于4的整数;
所述在所述N个标注点中确定待标注的目标曲形区域的四个角点,包括:
在所述M个标注点中确定所述目标曲形区域的所述四个角点;
所述根据所述四个角点,从所述N个标注点中选出用于拟合第一曲线的标注点组成第一标注点集合,从所述N个标注点中选出用于拟合第二曲线的标注点组成第二标注点集合,包括:
根据所述四个角点,从所述M个标注点中选出所述第一标注点集合,从所述M个标注点中选出所述第二标注点集合。
3.根据权利要求2所述的方法,其特征在于,所述对所述N个标注点进行抽稀处理,包括:
针对所述N个标注点中的第i个标注点,确定所述第i个标注点到第i-1个标注点与第i+1个标注点之间的连线的距离,作为所述第i个标注点对应的垂直距离;判断所述第i个标注点对应的垂直距离是否小于预设距离阈值,若是,则删除所述第i个标注点,若否,则保留所述第i个标注点;
其中,所述i为大于1,且小于或等于N的整数;当所述i等于N时,所述第i+1个标注点为所述N个标注点中的第一个标注点。
4.根据权利要求2所述的方法,其特征在于,所述对所述N个标注点进行抽稀处理,包括:
针对所述N个标注点中的第j个标注点,确定所述第j-1个标注点与所述第j+1个标记点间的连线,作为所述第j个标记点对应的基准线;确定所述第j个标注点与所述第j-1个标注点之间的连线和所述基准线的夹角,作为所述第j个标记点对应的第一夹角,确定所述第j个标注点与所述第j+1个标注点之间的连线和所述基准线的夹角,作为所述第j个标注点对应的第二夹角;判断所述第j个标注点对应的第一夹角和第二夹角中的最大值是否小于预设角度阈值,若是,则删除所述第j个标注点,若否,则保留所述第j个标注点;
其中,所述j为大于1,且小于或等于N的整数;当所述j等于N时,所述第j+1个标注点为所述N个标注点中的第一个标注点。
5.根据权利要求2所述的方法,其特征在于,所述N个标注点是按照目标标记方向依次标记的,且第一个标注点为所述四个角点中的第一角点;则所述M个标注点中的第M个标注点为所述四个角点中的第二角点;所述第一角点和所述第二角点为所述目标曲形区域的一条边界线段的两个端点。
6.根据权利要求2至5任一项所述的方法,其特征在于,所述N个标注点是按照目标标记方向依次标记的;所述目标曲形区域由所述第一曲线、所述第二曲线和两条相对的边界线段围成;在已确定出所述四个角点中位于一条所述边界线段两端的第一角点和第二角点的情况下,通过以下方式确定所述四个角点中的第三角点和第四角点:
将所述第一角点和所述第二角点所在的所述边界线段,作为基准参考线;
针对所述M个标注点中每个由标记顺序相邻的两个标注点组成的标注点对,将所述M个标注点中在该标注点对中标记顺序靠后的标注点之前标记的标注点,组成该标注点对对应的第一参考标注点集合,将所述M个标注点中在该标注点对中标记顺序靠前的标注点之后标记的标注点,组成该标注点对对应的第二参考标注点集合;基于该标注点对对应的第一参考标注点集合,拟合该标注点对对应的第一参考曲线,基于该标注点对对应的第二参考标注点集合,拟合该标注点对对应的第二参考曲线;确定由所述基准参考线、该标注点对中两个标注点的连线、以及该标注点对对应的第一参考曲线和第二参考曲线围成的区域,作为该标注点对对应的参考区域;计算该标注点对对应的参考区域与原始标注区域的面积重叠比,作为该标注点对对应的面积重叠比,所述原始标注区域是由所述N个标注点中各组标记顺序相邻的标注点的连线围成的区域;
确定所对应的面积重叠比最大的标注点对中的标注点,作为所述四个角点中的第三角点和第四角点。
7.根据权利要求6所述的方法,其特征在于,所述基于所述第一曲线和所述第二曲线,构建所述目标曲形区域,包括:
连接所述第一角点和所述第二角点得到第一线段,连接所述第三角点和所述第四角点得到第二线段;
确定由所述第一线段、所述第一曲线、所述第二线段和所述第二曲线围成的区域,作为所述目标曲形区域。
8.一种区域标注装置,其特征在于,所述装置包括:
标注点获取模块,用于获取针对目标曲形文本的覆盖区域边界标记的N个标注点;所述N为大于4的整数;
角点确定模块,用于在所述N个标注点中确定待标注的目标曲形区域的四个角点;
标注点集合确定模块,用于根据所述四个角点,从所述N个标注点中选出用于拟合第一曲线的标注点组成第一标注点集合,从所述N个标注点中选出用于拟合第二曲线的标注点组成第二标注点集合;所述第一曲线和所述第二曲线为所述目标曲形区域相对的两条曲线边界;
曲线拟合模块,用于根据所述第一标注点集合中的标注点拟合所述第一曲线,根据所述第二标注点集合中的标注点拟合所述第二曲线;
标注区域构建模块,用于基于所述第一曲线和所述第二曲线,构建所述目标曲形区域;
所述曲线拟合模块包括:
第一拟合单元,用于根据所述第一标注点集合中各标注点的位置确定第一控制点的位置;根据所述第一控制点的位置和所述第一标注点集合中包括的所述角点的位置,拟合贝塞尔曲线作为所述第一曲线;
第二拟合单元,用于根据所述第二标注点集合中各标注点的位置确定第二控制点的位置;根据所述第二控制点的位置和所述第二标注点集合中包括的所述角点的位置,拟合贝塞尔曲线作为所述第二曲线;
所述第一拟合单元具体用于:
计算所述第一标注点集合中各组相邻的标注点之间的距离的和值,作为基准参考距离;
针对所述第一标注点集合中的每个标注点,利用该标注点、基准标注点以及位于该标注点和所述基准标注点之间的标注点,组成该标注点对应的参考点集合,所述基准标注点为所述第一标注点集合中的一个所述角点;计算该标注点对应的参考点集合中各组相邻的标注点之间的距离的和值,作为该标注点对应的参考距离;计算该标注点对应的参考距离与所述基准参考距离的比值,作为该标注点对应的参考比值;
根据所述第一标注点集合中各标注点各自对应的比值和各标注点各自的位置,确定所述第一控制点。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括抽稀模块,用于对所述N个标注点进行抽稀处理,以从所述N个标注点中抽取出M个标注点保留;所述M为小于或等于N,且大于4的整数;
则所述角点确定模块具体用于:
在所述M个标注点中确定所述目标曲形区域的所述四个角点;
则所述标注点集合确定模块具体用于:
根据所述四个角点,从所述M个标注点中选出所述第一标注点集合,从所述M个标注点中选出所述第二标注点集合。
10.根据权利要求9所述的装置,其特征在于,所述抽稀模块具体用于:
针对所述N个标注点中的第i个标注点,确定所述第i个标注点到第i-1个标注点与第i+1个标注点之间的连线的距离,作为所述第i个标注点对应的垂直距离;判断所述第i个标注点对应的垂直距离是否小于预设距离阈值,若是,则删除所述第i个标注点,若否,则保留所述第i个标注点;
其中,所述i为大于1,且小于或等于N的整数;当所述i等于N时,所述第i+1个标注点为所述N个标注点中的第一个标注点。
11.根据权利要求9所述的装置,其特征在于,所述抽稀模块具体用于:
针对所述N个标注点中的第j个标注点,确定所述第j-1个标注点与所述第j+1个标记点间的连线,作为所述第j个标记点对应的基准线;确定所述第j个标注点与所述第j-1个标注点之间的连线和所述基准线的夹角,作为所述第j个标记点对应的第一夹角,确定所述第j个标注点与所述第j+1个标注点之间的连线和所述基准线的夹角,作为所述第j个标注点对应的第二夹角;判断所述第j个标注点对应的第一夹角和第二夹角中的最大值是否小于预设角度阈值,若是,则删除所述第j个标注点,若否,则保留所述第j个标注点;
其中,所述j为大于1,且小于或等于N的整数;当所述j等于N时,所述第j+1个标注点为所述N个标注点中的第一个标注点。
12.根据权利要求9所述的装置,其特征在于,所述N个标注点是按照目标标记方向依次标记的,且第一个标注点为所述四个角点中的第一角点;则所述M个标注点中的第M个标注点为所述四个角点中的第二角点;所述第一角点和所述第二角点为所述目标曲形区域的一条边界线段的两个端点。
13.根据权利要求9至12任一项所述的装置,其特征在于,所述N个标注点是按照目标标记方向依次标记的;所述目标曲形区域由所述第一曲线、所述第二曲线和两条相对的边界线段围成;在已确定出所述四个角点中位于一条所述边界线段两端的第一角点和第二角点的情况下,所述角点确定模块具体用于:
将所述第一角点和所述第二角点所在的所述边界线段,作为基准参考线;
针对所述M个标注点中每个由标记顺序相邻的两个标注点组成的标注点对,将所述M个标注点中在该标注点对中标记顺序靠后的标注点之前标记的标注点,组成该标注点对对应的第一参考标注点集合,将所述M个标注点中在该标注点对中标记顺序靠前的标注点之后标记的标注点,组成该标注点对对应的第二参考标注点集合;基于该标注点对对应的第一参考标注点集合,拟合该标注点对对应的第一参考曲线,基于该标注点对对应的第二参考标注点集合,拟合该标注点对对应的第二参考曲线;确定由所述基准参考线、该标注点对中两个标注点的连线、以及该标注点对对应的第一参考曲线和第二参考曲线围成的区域,作为该标注点对对应的参考区域;计算该标注点对对应的参考区域与原始标注区域的面积重叠比,作为该标注点对对应的面积重叠比,所述原始标注区域是由所述N个标注点中各组标记顺序相邻的标注点的连线围成的区域;
确定所对应的面积重叠比最大的标注点对中的标注点,作为所述四个角点中的第三角点和第四角点。
14.根据权利要求13所述的装置,其特征在于,所述标注区域构建模块具体用于:
连接所述第一角点和所述第二角点得到第一线段,连接所述第三角点和所述第四角点得到第二线段;
确定由所述第一线段、所述第一曲线、所述第二线段和所述第二曲线围成的区域,作为所述目标曲形区域。
15.一种设备,其特征在于,所述设备包括处理器及存储器;
所述存储器用于存储计算机程序;
所述处理器用于根据所述计算机程序执行权利要求1至7中任一项所述的区域标注方法。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行权利要求1至7中任一项所述的区域标注方法。
CN202010712116.3A 2020-07-22 2020-07-22 一种区域标注方法、装置、设备及存储介质 Active CN111860484B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010712116.3A CN111860484B (zh) 2020-07-22 2020-07-22 一种区域标注方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010712116.3A CN111860484B (zh) 2020-07-22 2020-07-22 一种区域标注方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111860484A CN111860484A (zh) 2020-10-30
CN111860484B true CN111860484B (zh) 2023-11-03

Family

ID=72949188

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010712116.3A Active CN111860484B (zh) 2020-07-22 2020-07-22 一种区域标注方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111860484B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112835504B (zh) * 2021-02-05 2023-08-08 深圳市亿图软件有限公司 思维导图轨迹处理方法、装置、计算机设备及存储介质
CN113610937B (zh) * 2021-07-13 2023-09-08 河北省地矿局第二地质大队 万能路径绘图数据特征编码和解码方法、终端及介质
CN115797698B (zh) * 2022-12-13 2023-07-14 北京大学第三医院(北京大学第三临床医学院) 一种骨骼矢状位平衡参数检测系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101458770A (zh) * 2008-12-24 2009-06-17 北京文通科技有限公司 一种文字识别的方法和系统
CN102194212A (zh) * 2010-03-08 2011-09-21 佳能株式会社 图像处理方法、装置及系统
CN107101598A (zh) * 2017-03-10 2017-08-29 华南理工大学 一种压电陶瓷银片同心度质量自动检测方法和装置
CN110443899A (zh) * 2018-05-02 2019-11-12 北京京东尚科信息技术有限公司 用于处理数据的方法和装置
CN110443252A (zh) * 2019-08-16 2019-11-12 广东工业大学 一种文字检测方法、装置及设备
CN110751149A (zh) * 2019-09-18 2020-02-04 平安科技(深圳)有限公司 目标对象标注方法、装置、计算机设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108256446B (zh) * 2017-12-29 2020-12-11 百度在线网络技术(北京)有限公司 用于确定道路中的车道线的方法、装置和设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101458770A (zh) * 2008-12-24 2009-06-17 北京文通科技有限公司 一种文字识别的方法和系统
CN102194212A (zh) * 2010-03-08 2011-09-21 佳能株式会社 图像处理方法、装置及系统
CN107101598A (zh) * 2017-03-10 2017-08-29 华南理工大学 一种压电陶瓷银片同心度质量自动检测方法和装置
CN110443899A (zh) * 2018-05-02 2019-11-12 北京京东尚科信息技术有限公司 用于处理数据的方法和装置
CN110443252A (zh) * 2019-08-16 2019-11-12 广东工业大学 一种文字检测方法、装置及设备
CN110751149A (zh) * 2019-09-18 2020-02-04 平安科技(深圳)有限公司 目标对象标注方法、装置、计算机设备和存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
基于NURBS曲线拟合的STL文件局部精度提高方法的研究;李成;杨继全;李超;徐路钊;;南京师范大学学报(工程技术版)(第01期);全文 *
基于最小二乘法椭圆的拟合点的选择研究;高云飞等;信息通信(第4期);全文 *
沉降观测曲线的拟合和最终沉降量的确定;孙常青, 饶锡保, 王月香;长江科学院院报(第05期);全文 *
非均匀有理B样条在线拟合高速平滑插补法;李方;李迪;黄昕;;华南理工大学学报(自然科学版)(第08期);论文第1节 *
面积计算中二次曲线拟合的有关问题;覃辉;工程勘察(第04期);全文 *

Also Published As

Publication number Publication date
CN111860484A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN111860484B (zh) 一种区域标注方法、装置、设备及存储介质
US20220262162A1 (en) Face detection method, apparatus, and device, and training method, apparatus, and device for image detection neural network
CN106033435B (zh) 物品识别方法和装置,室内地图生成方法和装置
CN110503074A (zh) 视频帧的信息标注方法、装置、设备及存储介质
CN111680678B (zh) 目标区域识别方法、装置、设备及可读存储介质
KR102635777B1 (ko) 분자 결합 부위를 검출하기 위한 방법 및 장치, 전자 디바이스 및 저장 매체
CN109272543B (zh) 用于生成模型的方法和装置
CN111274994B (zh) 漫画人脸检测方法、装置、电子设备及计算机可读介质
CN111598899B (zh) 图像处理方法、装置及计算机可读存储介质
CN110866469B (zh) 一种人脸五官识别方法、装置、设备及介质
CN112989947B (zh) 一种人体关键点的三维坐标的估计方法及装置
WO2023151237A1 (zh) 人脸位姿估计方法、装置、电子设备及存储介质
CN117033609B (zh) 文本视觉问答方法、装置、计算机设备和存储介质
CN112785712B (zh) 三维模型的生成方法、装置和电子设备
CN111507285A (zh) 人脸属性识别方法、装置、计算机设备和存储介质
CN117078790B (zh) 图像生成方法、装置、计算机设备和存储介质
CN113822965A (zh) 图像渲染处理方法、装置和设备及计算机存储介质
CN111368761B (zh) 店铺营业状态识别方法、装置、可读存储介质和设备
CN113869371A (zh) 模型训练方法、服装细粒度分割方法及相关装置
CN117830537B (zh) 一种弱监督的3d场景图生成方法、装置、设备及介质
CN111598000A (zh) 基于多任务的人脸识别方法、装置、服务器和可读存储介质
CN111444313A (zh) 基于知识图谱的问答方法、装置、计算机设备和存储介质
CN114764870A (zh) 对象定位模型处理、对象定位方法、装置及计算机设备
CN113822283A (zh) 文本内容处理方法、装置、计算机设备及存储介质
CN111914809A (zh) 目标对象定位方法、图像处理方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40030101

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant