CN117193609A - 图像处理方法、装置、计算机设备、存储介质和程序产品 - Google Patents
图像处理方法、装置、计算机设备、存储介质和程序产品 Download PDFInfo
- Publication number
- CN117193609A CN117193609A CN202311162919.6A CN202311162919A CN117193609A CN 117193609 A CN117193609 A CN 117193609A CN 202311162919 A CN202311162919 A CN 202311162919A CN 117193609 A CN117193609 A CN 117193609A
- Authority
- CN
- China
- Prior art keywords
- image
- displaying
- processed
- area
- layout
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 36
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 155
- 230000004044 response Effects 0.000 claims abstract description 89
- 238000000034 method Methods 0.000 claims abstract description 67
- 238000004590 computer program Methods 0.000 claims abstract description 27
- 230000008569 process Effects 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims description 102
- 230000008859 change Effects 0.000 claims description 52
- 238000013519 translation Methods 0.000 claims description 24
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 238000009877 rendering Methods 0.000 claims description 13
- 230000001960 triggered effect Effects 0.000 claims description 8
- 230000003993 interaction Effects 0.000 abstract description 12
- 238000002372 labelling Methods 0.000 description 54
- 238000010586 diagram Methods 0.000 description 18
- 241000699666 Mus <mouse, genus> Species 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 238000013473 artificial intelligence Methods 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 238000012217 deletion Methods 0.000 description 6
- 230000037430 deletion Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000012015 optical character recognition Methods 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000003058 natural language processing Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000010428 oil painting Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本申请涉及一种图像处理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括:显示待处理图像,所述待处理图像中包括图像数据项;响应于对所述待处理图像中目标区域的选择操作,在所述目标区域处显示边界框,所述目标区域内的图像数据项呈现在所述边界框内;响应于表格布局操作,显示与所述表格布局操作所指定的表格布局匹配的绘制表格,所述绘制表格以所述边界框为表格边界;显示对所述待处理图像的图像处理结果,所述图像处理结果,是按照所述绘制表格处理所述图像数据项得到的。采用本方法可以提高图像处理过程中的交互效率。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种图像处理方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着计算机技术的发展,计算机设备可以显示各种各样的图像,并对图像进行各种处理,例如,对显示的页面中某个页面区域进行截取获得截图,以在显示的页面中提取页面内容。
相关技术中,当所需要处理的图像中包含结构复杂的图像数据项并需要对这些图像数据项进行处理时,经常存在交互效率低的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高交互效率的图像处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面,本申请提供了一种图像处理方法。所述方法包括:
显示待处理图像,所述待处理图像中包括图像数据项;
响应于对所述待处理图像中目标区域的选择操作,在所述目标区域处显示边界框,所述目标区域内的图像数据项呈现在所述边界框内;
响应于表格布局操作,显示与所述表格布局操作所指定的表格布局匹配的绘制表格,所述绘制表格以所述边界框为表格边界;
显示对所述待处理图像的图像处理结果,所述图像处理结果,是按照所述绘制表格处理所述图像数据项得到的。
第二方面,本申请还提供了一种图像处理装置。所述装置包括:
图像显示模块,用于显示待处理图像,所述待处理图像中包括图像数据项;
边界框显示模块,用于响应于对所述待处理图像中目标区域的选择操作,在所述目标区域处显示边界框,所述目标区域内的图像数据项呈现在所述边界框内;
表格显示模块,用于响应于表格布局操作,显示与所述表格布局操作所指定的表格布局匹配的绘制表格,所述绘制表格以所述边界框为表格边界;
处理结果显示模块,用于显示对所述待处理图像的图像处理结果,所述图像处理结果,是按照所述绘制表格处理所述图像数据项得到的。
第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
显示待处理图像,所述待处理图像中包括图像数据项;
响应于对所述待处理图像中目标区域的选择操作,在所述目标区域处显示边界框,所述目标区域内的图像数据项呈现在所述边界框内;
响应于表格布局操作,显示与所述表格布局操作所指定的表格布局匹配的绘制表格,所述绘制表格以所述边界框为表格边界;
显示对所述待处理图像的图像处理结果,所述图像处理结果,是按照所述绘制表格处理所述图像数据项得到的。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
显示待处理图像,所述待处理图像中包括图像数据项;
响应于对所述待处理图像中目标区域的选择操作,在所述目标区域处显示边界框,所述目标区域内的图像数据项呈现在所述边界框内;
响应于表格布局操作,显示与所述表格布局操作所指定的表格布局匹配的绘制表格,所述绘制表格以所述边界框为表格边界;
显示对所述待处理图像的图像处理结果,所述图像处理结果,是按照所述绘制表格处理所述图像数据项得到的。
第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
显示待处理图像,所述待处理图像中包括图像数据项;
响应于对所述待处理图像中目标区域的选择操作,在所述目标区域处显示边界框,所述目标区域内的图像数据项呈现在所述边界框内;
响应于表格布局操作,显示与所述表格布局操作所指定的表格布局匹配的绘制表格,所述绘制表格以所述边界框为表格边界;
显示对所述待处理图像的图像处理结果,所述图像处理结果,是按照所述绘制表格处理所述图像数据项得到的。
上述图像处理方法、装置、计算机设备、存储介质和计算机程序产品,对于显示的包括图像数据项的显示待处理图像,可以响应于对该待处理图像中目标区域的选择操作,在目标区域处显示边界框,该目标区域内的图像数据项呈现在边界框内,进一步可以响应于表格布局操作,显示与表格布局操作所指定的表格布局匹配的绘制表格,该绘制表格以边界框为表格边界,显示对待处理图像的图像处理结果,图像处理结果,是按照绘制表格处理图像数据项得到的,由于通过表格布局操作即可获得绘制表格,进而可以按照绘制表格处理图像数据项,操作简单、便捷,提高了图像处理过程中的交互效率。
附图说明
图1为一些实施例中图像处理方法的应用环境图;
图2为一些实施例中图像处理方法的流程示意图;
图3为一些实施例中目标应用的显示页面的示意图;
图4为另一些实施例中目标应用的显示页面的示意图;
图5(a)为一些实施例中显示边界框的界面示意图;
图5(b)为一些实施例中显示表格布局指定区域的界面示意图;
图5(c)为一些实施例中对表格布局指定区域进行选择操作后显示的界面示意图;
图6为一些实施例中表格线绘制的操作示意图;
图7为一些实施例中显示控件表格的示意图;
图8为另一些实施例中变化操作前后的界面示意图;
图9为另一些实施例中图像处理方法的流程示意图;
图10为一些实施例中图像处理方法的整体流程示意图;
图11为一些实施例中画框标注的整体流程示意图;
图12为一些实施例中表格标注的整体流程示意图;
图13为一些实施例中的模型架构设计示意图图;
图14为一些实施例中图像处理装置的结构框图;
图15为一些实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的图像处理方法,涉及人工智能中的机器学习(MachineLearning,ML)、计算机视觉技术等技术,其中:
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的页面。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从页面或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括页面处理、页面识别、页面语义理解、页面检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
自然语言处理(Nature Language processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,这一领域的研究将涉及自然语言,即人们日常使用的语言,所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本申请实施例提供的图像处理方法,可以应用于如图1所示的应用环境中。其中,终端102与服务器104之间可以通过网络进行通信,如有线或无线网络。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以单独设置,可以集成在服务器104上,也可以放在云上或其他服务器上。终端102可以但不限于是各种台式计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器102可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云计算服务的云服务器。服务器102可以是上述目标应用的后台服务器,用于为目标应用提供后台服务。
本申请实施例提供的图像处理方法,各步骤的执行主体可以是计算机设备,计算机设备是指具备数据计算、处理和存储能力的电子设备。以图1所示的应用环境为例,可以由终端102单独执行该图像处理方法,也可以由终端102和服务器104交互配合执行,本申请对此不作限定。以终端102单独执行为例,终端可以显示包括图像数据项的待处理图像,响应于对待处理图像中目标区域的选择操作,在目标区域处显示边界框,目标区域内的图像数据项呈现在该边界框内,进一步响应于表格布局操作,显示与表格布局操作所指定的表格布局匹配的绘制表格,该绘制表格以边界框为表格边界,最后终端可以显示对待处理图像的图像处理结果,图像处理结果,是按照绘制表格处理图像数据项得到的。终端102进一步可以将显示的图像处理结果进一步可以发送至服务器104,服务器104可以将处理结果存储至数据库中。
在一些实施例中,如图2所示,提供了一种图像处理方法,该方法由计算机设备执行,计算机设备可以是图1中的服务器104或者终端102,在本申请实施例中,以该方法应用于图1中的终端为例进行说明,包括以下步骤:
步骤202,显示待处理图像,待处理图像中包括图像数据项。
其中,待处理图像可以是包含图像数据项的任意图像,图像数据项在待处理图像中可以是以任意方式分布,也可以按行列排列,下文会以图像数据项按行列排列的情况对本申请实施例进行介绍。待处理图像也可以是包含需要进行字符识别的数据项的图像。待识别图像可以是对纸质文件进行拍照、扫描等处理获的图像,或者是PDF文件转换得到的图像。由于待处理图像中可以包括多个图像数据项,这些图像数据项按照行列排列,因此这些图像数据项可以看成结构化数据。结构化数据也被成为定量数据,是能够用数据或统一的结构加以表示的信息。图像数据项所排列形成的行可以是一行或者多行,同样地,图像数据项所排列形成的列可以是一列或者多列。图像数据项可以是各种形式的数据,例如可以是数字、字母、各种字符、文字或者图像中一种或者多种组成的数据。
具体地,当用户通过计算机设备运行目标应用,通过该目标应用加载待处理图像,加载完成后,对加载的待处理图像进行显示。
在一些实施例中,待处理图像可以是用户上传的图像,例如,用户可以通过目标应用程序对需要识别的纸质文件进行拍摄,获得待处理图像并上传。举例说明,参考图3,当用户点击图3中左上角的第一个控件,可以进行图像上传。用户上传的待处理图像可以是一个或者多个。当用户上传多个待处理图像时,终端可以以缩略图的形式显示一个或者多个待处理图像,用户每次可以选择其中一个待处理图像,从而计算机设备可以将该待处理进行完整显示。参考图3,图3为目标应用的界面示意图,图3的左侧显示了多个提箱单的缩略图,当用户选择提箱单1时,显示如图3所示的界面,在该界面中,对该提箱单1进行完整显示,图3中304所指的图像区域中包括了多个按行列排列的图像数据项,例如each、29.5、B-TABLE等。参考图4,图4中区域408中每个“XXX”代表一个图像数据项。
在其他一些实施例中,待处理图像是用户需要处理的识别任务中的图像,用户可以通过目标应用接收一个或者多个由管理员分配的任务,用户通过任务中携带的URL地址获任务中指定的待处理图像。可以理解的是,在其他一些实施例中,待处理图像还可以通过其他方式获得,比如,终端可以从本地相册选择待处理图像或者从互联网下载得到待处理图像,本申请对待处理图像的来源不进行限制。
在一些实施例中,终端可以将在线编辑器的整个界面转换为图像后显示于页面中,从而可以采用本申请实施例提供的图像处理方法对在线编辑器中的局部范围内的内容进行提取。
步骤204,响应于对待处理图像中目标区域的选择操作,在目标区域处显示边界框,目标区域内的图像数据项呈现在边界框内。
其中,目标区域指的是待处理图像中包括图像数据项的区域。对待处理图像中目标区域的选择操作指的是在待处理图像中选择出目标区域的操作。可选的,对待处理图像中目标区域的选择操作可以是在待处理图像中框选一个区域的操作。还可选的,对待处理图像中目标区域的选择操作可以是在待处理图像中指定目标区域的位置坐标的操作。边界框用于确定目标区域的边界,边界框具体可以是矩形框。
具体地,当用户从待处理图像中进行图像区域选择时,终端可以用户选择的图像区域确定为目标区域,并在目标区域处显示边界框。由于本申请中主要是对按行列排列的图像数据项进行处理,用户所选择的图像区域通常为这些按行列排列的图像数据项所在处理,因此终端在显示了边界框后,目标区域内的图像数据项可以呈现在边界框内。
在一些实施例中,响应于对待处理图像中目标区域的选择操作,在目标区域处显示边界框,包括:响应于针对待处理图像的边界框绘制操作,在待处理图像上显示绘制的边界框,边界框围合形成目标区域。
其中,边界框绘制操作是指在待处理图像中绘制矩形框的操作。
可选的,用户可以在待处理图像中显示图像数据项的位置处绘制一个初始的矩形框,然后调整矩形的尺寸使得矩形框可以覆盖所有的图像数据项,当调整完成时,绘制结束,显示绘制的边界框。还可选的,用户可以沿着图像数据项的显示区域的边界分别绘制四条边界线,当边界线绘制完成,四条边界线所组成的形状即为边界框。本申请对表格边界绘制操作的具体形式不做限制。
本实施例中,终端可以响应于针对待处理图像的边界框绘制操作,在待处理图像上显示绘制的边界框,边界框围合形成目标区域,从而用户可以通过绘制边界框实现对目标区域的选择。
步骤206,响应于表格布局操作,显示与表格布局操作所指定的表格布局匹配的绘制表格,绘制表格以边界框为表格边界。
其中,表格布局操作指的是对边界框进行表格结构布局的操作。表格布局用于反映表格结构。与表格布局操作所指定的表格布局匹配的绘制表格,即绘制表格的表格结构与表格布局操作所指定的表格布局一致。例如假设表格布局操作所指定的表格布局为3行3列,则与该表格布局匹配的绘制表格的表格结构为3行3列。
绘制表格指的是绘制在待处理图像中目标区域处的表格,绘制表格以边界框为表格边界。可选的,绘制表格中可以包括表格线,绘制表格的表格线包括至少一条横向表格线或者至少一条纵向表格线,绘制表格的表格线在绘制表格的表格框中将绘制表格的显示区域划分为按行列排列的多个单元格。
具体地,用户可以对显示的边界框进行表格布局操作,终端按照表格布局操作所指定的表格布局在边界框内生成表格线,从而可以显示出与表格布局操作所指定的表格布局匹配的绘制表格。
作为一种可实现的方式,可以按照表格布局对边界框内的区域进行均匀划分,以生成表格线,并通过表格线的分割在边界框内形成多个单元格。需要说明的是,对于目标区域内的一个图像数据项来说,可能会被表格线划分为多个部分从而呈现在多个单元格内;因此,绘制表格内一个单元格中的图像数据项可以是待处理图像中目标区域内的一个完整的图像数据项,也可以是待处理图像中目标区域内的一个完整的图像数据项的部分,也可能是二者的随意组合。
步骤208,显示对待处理图像的图像处理结果,图像处理结果,是按照绘制表格处理图像数据项得到的。
其中,图像处理结果,是按照绘制表格处理图像数据项得到的,即呈现在绘制表格中每个单元格中的图像数据项作为一个处理单元按照预设处理方式进行处理,预设处理方式指的是预先设定的处理方式,可以根据需要进行设定,预设处理方式例如可以是OCR(Optical Character Recognition,光学字符识别)识别、图像截取、图像分类、图像颜色更换、图像风格更换、图像内容生成表格等任意的一种处理方式,本申请中对具体的处理方式不进行限制。
具体地,对呈现在绘制表格的每个单元格中的图像数据项,终端可以分别进行处理,然后根据每个单元格中的图像数据项的处理结果,得到待处理图像的图像处理结果,对待处理图像的图像处理结果进行显示。
上述图像处理方法、装置、计算机设备、存储介质和计算机程序产品,对于显示的包括图像数据项的显示待处理图像,可以响应于对该待处理图像中目标区域的选择操作,在目标区域处显示边界框,该目标区域内的图像数据项呈现在边界框内,进一步可以响应于表格布局操作,显示与表格布局操作所指定的表格布局匹配的绘制表格,该绘制表格以边界框为表格边界,显示对待处理图像的图像处理结果,图像处理结果,是按照绘制表格处理图像数据项得到的,由于通过表格布局操作即可获得绘制表格,进而可以按照绘制表格处理图像数据项,操作简单、便捷,提高了图像处理过程中的交互效率。
在一些实施例中,待处理图像显示在图像编辑界面中,图像编辑界面中显示有表格绘制功能项,响应于对待处理图像中目标区域的选择操作,在目标区域处显示边界框,包括:响应于对表格绘制功能项的功能触发操作,进入表格绘制状态,并显示表格绘制引导信息,表格绘制引导信息指示在待处理图像中绘制边界框;响应于在表格绘制状态下触发的对待处理图像中目标区域的选择操作,在目标区域处显示边界框。
其中,表格绘制引导信息指的是可以对用户的区域选择操作进行引导的信息。表格绘制引导信息可以是文本信息,即通过文本引导用户选择目标区域。表格绘制引导信息还可以是图像信息,即终端可以显示动画图片来呈现具体的选择操作。表格绘制引导信息还可以是语音信息,即终端可以播放语音来引导用户进行图像区域选择。
功能触发操作指的是作用于表格绘制功能项的预设操作。预设操作具体可以是触摸操作、光标操作、按键操作或者语音操作。其中,触摸操作可以是触摸点击操作、触摸按压操作或者触摸滑动操作,触摸操作可以是单点触摸操作或者多点触摸操作;光标操作可以是控制光标进行点击的操作或者控制光标进行按压的操作;按键操作可以是虚拟按键操作或者实体按键操作等。表格绘制功能项具体为可以表格绘制触发控件。
表格绘制功能项指的是用于实现表格绘制功能的页面项,表格绘制功能项可以是待处理图像所显示的图像编辑界面显示中的控件,这里的控件可以是各种形式的控件,例如可以是标注按钮、文字标记等,举例说明,参考图4,图4中的404为表格绘制功能项,文字标记例如图8的图像编辑界面中显示的“画表格”文字项。对表格绘制功能项的触发操作指的是作用于表格绘制功能项的预设操作。
具体地,待处理图像所显示的图像编辑界面中,显示有表格绘制功能项,用户可以对该表格绘制功能项进行功能触发操作,从而终端可以响应于该功能触发操作,进入表格绘制状态,并在该图像编辑界面中显示表格绘制引导信息,表格绘制引导信息指示在待处理图像中绘制边界框,从而用户可以根据该表格绘制引导信息的指示在表格绘制状态下触发通过绘制边界框来选择目标区域。
举例说明,继续参考图3,当用户点击表格绘制触发控件302,在图像编辑界面可以显示表格绘制引导信息“请在画面中选取表格区域”,从而用户可以根据该表格绘制引导信息,将鼠标放置在图像数据项的显示区域304,在该区域画一个矩形框,用户所画的框即为边界框。
上述实施例中,一方面,由于显示有表格绘制功能项,终端在响应于对表格绘制功能项的功能触发操作后,才进入表格绘制状态,灵活性更高,另一方面,由于显示表格绘制引导信息,可以对用户的表格绘制操作进行引导,避免用户进行错误的交互操作,进一步提升了交互效率。
在一些实施例中,表格绘制可以看成通过绘制表格对图像进行标注,从而表格绘制功能项即为标注功能项,在图像编辑界面中,终端可以显示包括表格绘制功能项在内的多个标注功能项,每个标注功能项分别指示有不同的标注形状,例如,对于表格绘制功能项,其指示的标注形状为表格,当用户对这些功能项中的其中一个标注功能项进行触发操作时,终端响应于该触发操作,进入该标注功能项对应的标注状态,在该标注状态下,只有该标注功能项所指示的标注形状可以被绘制出来,终端实时监测绘制事件,当绘制事件所绘制的形状与该标注功能项所指示的标注形状相同时,显示绘制事件所显示的绘制形状。
在一些具体实施例中,当终端监测到绘制事件所绘制的形状与触发操作所针对的标注功能项指示的标注形状不相同,终端可以显示提示信息,提示用户当时绘制错误,以及提示所能绘制的正确的标注形状。
上述实施例中,终端可以显示多个标注功能项,不同的功能项指示不同的标注形状,可以避免用户错误标注。
在一些实施例中,待处理图像显示在图像编辑界面中,图像编辑界面中显示有矩形框绘制功能项;方法还包括:响应于对待处理图像中目标区域的选择操作,在目标区域处显示选择操作所绘制的矩形框;显示对待处理图像按照选择操作所绘制的矩形框处理得到的图像处理结果。
本实施例中,用户可以点击指示有矩形框的功能项,进入标注状态,在该标注状态下,当用户在待处理图像中绘制一个矩形框,终端可以按照预设处理方式对矩形框所选中的目标区域进行处理,得到图像处理结果。
举例说明,当用户点击图3中的功能项406,可以进入标注状态,在该标注状态,当用户绘制矩形框410时,可以对该矩形框内的内容进行OCR识别,获得识别结果,并显示在图4的预览区域中。
在一些实施例中,在标注状态下,终端可以显示目标标注功能项所指示的标注形状;标注形状具有调整点,调整点用于响应调整操作以改变标注形状的尺寸;响应于标注操作,将标注形状取消显示,并显示标注操作重新绘制的标注形状。
具体地,当用户针对任意一个标注功能项进行触发时,终端可以在页面中显示被触发的标注功能项的标注形状,该标注形状可以作为参考标注形状,指导用户进行标注形状绘制,同时该标注形状还具有调整点,当用户针对任意一个调整点进行调整操作时,可以改变该标注形状的尺寸,该标注形状可以显示于页面固定位置处,或者随机显示于页面任意位置,如果该位置处的页面区域并不是用户需要标注的页面区域,则用户需要重新绘制标注形状,那么终端可以响应于用户的标注操作,如果标注操作所绘制的形状与被触发的标注功能项所指示的标注形状相同,则将已显示的参考标注形状取消显示,以避免后续按照预设处理方式处理时出现错误,并显示标注操作重新绘制的标注形状。
上述实施例中,通过显示参考标注形状,可以帮助用户正确绘制当前标注状态下的标注形状,同时,如果该参考标注形状所显示的位置正确,还可以作为基础对其调整点进行调整获得用户所需要的标注形状,提高标注效率。
在一些实施例中,待处理图像是在显示文件选择控件的情况下,通过文件选择控件选中文件后形成的;上述图像处理方法还包括:在待处理图像中显示默认的矩形框,该默认的矩形框具有调整点,该默认的矩形框在响应选择操作时取消显示;响应于针对调整点的调整操作,调整默认的矩形框的尺寸;显示对待处理图像按照调整尺寸后的矩形框处理得到的图像处理结果。
具体地,终端可以显示文件选择控件,用户可以通过该文件选择控件选择文件,所选择的文件可以是图像或者PDF文件,终端将用户所选择的文件进行加载并显示,在所显示的页面中显示默认的矩形框,该默认的矩形框具有多个调整点,每个调整点对应一个调整方向,当用户针对任意一个调整点进行调整操作时,终端可以响应于该调整操作,按照该调整点对应的调整方向调整默认的矩形框的尺寸,从而通过该默认的矩形框选择目标区域。
可以理解的是,如果该默认的矩形框不符合用户的标注需要,用户还可以重新绘制矩形框来选择目标区域,当用户重新绘制矩形框进行选择操作时,终端可以响应于该选择操作取消显示该默认的矩形框,从而避免后续预设处理方式所处理的页面区域发生错误。
在一些实施例中,用户可以针对默认的矩形框进行位置更改操作,终端可以响应于位置更改操作,更改默认的矩形框所显示的位置。
上述实施例中,在用户进行标注操作之前即可显示默认的矩形框,一方面,在默认的矩形框符合用户需求的情况下,用户无需绘制矩形框即可选择出目标区域,进一步提高了交互效率,另一方面可以指引用户通过绘制矩形框来选择目标区域。
在一些实施例中,响应于表格布局操作,显示与表格布局操作所指定的表格布局匹配的绘制表格,包括:响应于边界框的显示,显示表格布局指定区域;响应于针对表格布局指定区域的表格布局操作,在表格布局指定区域,显示表格布局操作指定的表格布局结果;取消显示表格布局指定区域,在边界框中,显示按照表格布局结果绘制的表格线,获得包括边界框和表格线的绘制表格。
其中,表格布局指定区域指的是可以对绘制表格的布局进行指定的区域。表格布局指定区域可以以悬浮形式显示于所显示页面的任意区域。表格布局操作指的是针对表格布局指定区域进行操作以指定绘制表格的布局的操作。
具体地,在显示了边界框后,终端可以响应于边界框的显示,显示表格布局指定区域,该表格布局指定区域内显示有表格布局指示信息,该指示信息可以是图形元素或者是文字,用户可以根据该表格布局指示信息,针对表格布局指定区域进行表格布局操作,操作结束后,在表格布局指定区域内会显示表格布局操作所指定的表格布局结果,终端在获得该表格布局结果后,可以取消显示表格布局指定区域,然后按照表格布局结果自动生成表格线,所生成的表格线形成的行列与表格布局结果一致,从而可以在边界框中显示绘制的表格线,获得包括边界框和表格线的绘制表格。
在一些实施例中,终端按照表格布局结果在绘制的边界框生成表格线,可以是随机生成或者按照预设规律生成,例如,预设规律可以是通过表格线对边界框内的显示区域进行横向均分或者纵向均分,所生成的表格线很多情况下都是不符合用户的绘制需求的,例如,假设用户绘制的表格线所形成的表格,其中每个单元格需要覆盖所显示页面中按照行列排列的图像数据项,即绘制表格中的每个单元格中需要包括一个完整的图像数据项,而各图像数据项在所显示页面中占据的显示区域很多时候并不是均匀的,这就会导致在有些情况下,自动生成的表格线可能并不能分割相邻的图像数据项,比如,有些表格线可能正好处于某个图像数据项上,或者某两个相邻的图像数据项之间不存在表格线,而另一些相邻的图像数据项之间存在两条表格线,这些情况下,均不能保证绘制表格中的单元格包括一个完整的图像数据项,因此,需要对表格线进行位置调整,用户可以对初始位置处的表格线进行移动操作,从而终端可以响应于该移动操作,将表格线按照移动操作进行移动,使得每条表格线都移动至分割相邻图像数据项的位置处,并且每两个相邻的图像数据项之间都存在分割的表格线,从而可以绘制得到较为准确的表格。
上述实施例中,终端可以响应于针对表格布局指定区域的表格布局操作,显示表格布局结果,并在边界框中,按照表格布局结果,显示分割相邻图像数据项的表格线,由于可以自动生成表格线,提高了表格线绘制过程中的交互效率。
在一些实施例中,表格布局指定区域,包括按行列排列元素形成的元素阵列;响应于针对表格布局指定区域的表格布局操作,在表格布局指定区域,显示表格布局操作指定的表格布局结果,包括:响应于对表格布局指定区域的区域选择操作,在表格布局指定区域所包括的元素阵列中,突出显示区域选择操作所指定区域覆盖的元素;响应于区域选择操作的结束,按照区域选择操作在结束时突出显示的元素,显示表格布局结果。
其中,元素阵列中的元素可以是各种形状的图形元素,例如可以是方块,圆形、五角星、三角形等任意一种形状的图像元素。表格布局指定区域,包括按行列排列元素形成的元素阵列,因此,每个元素可以表征一个单元格,当在元素阵列中进行区域选择操作时,所选中的区域中横向的元素数量和纵向的元素数量可以代表表格的行数和列数,因此,可以通过突出显示选中区域的元素来显示表格布局结果。
具体地,终端可以响应于对表格布局指定区域的区域选择操作,该区域选择操作例如可以将光标在表格布局指定区域的元素阵列中进行移动,随着光标的移动,元素阵列中相应区域会突出显示区域选择操作所指定区域覆盖的元素,这些突出显示的元素可以从视觉上模拟绘制表格的表格布局,当所模拟的表格布局符合用户的表格绘制需求时,用户可以停止区域选择操作,从而终端可以按照区域选择操作在结束时突出显示的元素,显示表格布局结果。
举例说明,参考图5(a)、图5(b)以及图5(c),图5(a)中,终端响应于边界框绘制操作,在待处理图像中的目标区域,显示绘制的边界框,图5(b)中,终端响应于边界框的显示,显示表格布局指定区域502,该图5表格布局指定区域502包括按行列排列元素形成的元素阵列,图5(c)中,终端响应于对表格布局指定区域的区域选择操作,在表格布局指定区域504中突出显示两行六列的元素,当用户点击图5(c)中的确定按钮,终端可以在目标区域处的边界框内生成表格线,从而获得两行六列的绘制表格。
上述实施例中,由于表格布局指定区域,包括按行列排列元素形成的元素阵列,终端可以响应于对表格布局指定区域的区域选择操作,在表格布局指定区域所显示的元素阵列中,突出显示区域选择操作所指定区域覆盖的元素,用突出元素的排列来模拟表格布局结果,可以直观的展示表格布局结果,从而可以方便用户更好地对表格布局进行指定,提高交互效率。
在一些实施例中,响应于针对表格布局指定区域的表格布局操作,在表格布局指定区域,显示表格布局操作指定的表格布局结果,包括:在表格布局指定区域中,显示表格行数编辑区域和表格列数编辑区域;响应于对表格行数编辑区域的编辑操作,在表格行数编辑区域显示表格行数;响应于对表格列数编辑区域的编辑操作,在表格列数编辑区域显示表格列数;表格行数和表格列数构成表格布局结果。
其中,表格行数编辑区域指的是用于编辑表格行数的区域,表格行数编辑区域可以显示有相应指示信息,指示用户编辑用于指定表格行数的数字,表格列数编辑区域指的用于编辑表格列数的区域,表格列数编辑区域可以显示有相应指示信息,指示用户输入编辑指定表格列数的数字。这里的编辑可以是直接输入具体数字,或者对初始数字进行减小、增加等触发操作。
具体地,终端可以响应于对表格行数编辑区域的编辑操作,在表格行数编辑区域显示表格行数,响应于对表格列数编辑区域的编辑操作,在表格列数编辑区域显示表格列数,所显示的表格行数和表格列数即构成表格布局结果,终端可以根据该表格布局结果在目标区域所显示的边界框内生成表格线,从而获得与该表格布局结果匹配的绘制表格。举例说明,假设表格行数编辑区域的编辑操作输入数字3,表格列数编辑区域的编辑操作输入数字2,则所显示的绘制表格为3行2列的表格。
上述实施例中,通过在表格行数编辑区域编辑行数,并在表格列数编辑区域编辑列数,简单快捷,可以快速指定表格布局,提高了交互效率。
在一些实施例中,上述图像处理方法还包括:响应于对绘制表格的调整操作,显示调整后的绘制表格;将图像处理结果进行更新,更新后的图像处理结果,是按照调整后的绘制表格处理图像数据项得到的。
在一些实施例中,响应于对绘制表格的调整操作,显示调整后的绘制表格,包括:响应于针对绘制表格中任一表格线的表格线删除操作,删除表格线删除操作针对表格线,获得调整后的绘制表格。具体地,当用户选中绘制表格中任一表格线,终端可以显示删除控件,进而响应于对该删除控件的触发操作,将用户所选中的表格线删除。
在一些实施例中,响应于对绘制表格的调整操作,显示调整后的绘制表格,包括:响应于表格线绘制操作,随着表格线绘制操作指示的绘制点在边界框内移动形成轨迹,在轨迹所处位置,增加与轨迹方向一致的表格线,获得调整后的绘制表格。
具体地,本实施例中,用户可以直接在边界框内通过表格线绘制操作所指示的绘制点进行移动形成轨迹,进而终端可以随着移动所形成的轨迹,在轨迹所处位置,增加与轨迹方向一致的表格线,获得调整后的绘制表格。
在具体应用中,用户可以在边界框上任意位置处选择绘制点,然后对该绘制点进行拖动操作从而形成轨迹,拖动操作例如可以是鼠标长按实现拖动,或者触摸长按实现拖动,举例说明,参考图6,用户可以在图6的上图中箭头所指的位置处选择绘制点,长按鼠标左键往正下方拖动该绘制点从而形成轨迹,终端在轨迹所处位置,显示与轨迹方向一致的表格线,如图6中的下图所示。
在一些具体实施例中,当绘制点所形成的轨迹可以唯一确定一条表格线时,终端可以沿该轨迹的方向自动生成完整的表格线,在这种情况下,用户只需要使得绘制点移动形成一小段轨迹,即可绘制出完整的表格线,从而可以快速绘制出表格线,提高标注效率。
上述实施例中,用户可以通过绘制点在绘制表格中新增表格线,由于新增的表格线所处位置可以由表格线绘制操作指定,可以确定生成位置正确的表格线,避免了对表格线进行位置调整,从而提高了交互效率。
在一些实施例中,显示对待处理图像的图像处理结果,包括:显示控件表格,控件表格与绘制表格的表格结构相同;在控件表格的至少一部分单元格中,显示绘制表格中相同排列位置的单元格所对应图像数据项的字符识别结果。
其中,控件表格指的是可以响应于用户的交互操作的表格。控件表格处于编辑状态即用户可以通过交互操作来对控件表格编辑。对控件表格的编辑包括对控件表格的表格内容、表格结构或者表格显示面积中至少一项的编辑。对控件表格的表格内容进行编辑,包括对单元格中已显示的内容进行删除、更改,或者对未显示内容的单元格输入内容。对控件表格的表格结构进行编辑,包括对控件表格新增行、新增列、删除行或者删除列中的至少一种。对控件表格的显示面积进行编辑包括增大控件表格的显示面积,具体可以是将控件表格进行整体拉伸,或者将控件表格往其中一个边界框的方向进行拉伸,对控件表格的显示面积进行编辑还包括减少控件表格的显示面积,具体可以是对控件表格进行整体压缩,或者将控件表格往其中一个边界框的方向进行压缩。
可选的,控件表格的单元格与绘制表格的单元格按照排列位置一一对应,即控件表格是按照绘制表格来生成的,控件表格的表格结构和绘制表格的表格结构一致,具体来说,控件表格具有与绘制表格相同的行数和列数,并且绘制表格中每个单元格区域内的图像数据项经过识别后得到的字符识别结果显示于控件表格中位置相同的单元格内。举例来说,绘制表格中第一行第一列的单元格内的图像数据项显示于控件表格中第一行第一列的单元格内,绘制表格中第二行第二列的单元格内的图像数据项显示于控件表格中第二行第二列的单元格内。
具体地,对于绘制表格中每个单元格,如果该单元格中包含有图像数据项,则终端可以对图像数据项进行字符识别,得到字符识别结果,终端进而可以生成与绘制表格结构相同的控件表格,将绘制表格中包含的图像数据项的字符识别结果显示于控件表格中对应位置处的单元格中。
在具体应用中,针对绘制表格中每个单元格,终端可以进行图像截图,并获得所截取图像的坐标,当对截取的图像块成功识别获得字符结果后,终端可以根据字符识别结果所对应的截图块的坐标确定该截图块所属单元格在绘制表格中的排列位置,进而根据排列位置将字符识别结果显示于控件表格中排列位置相同的单元格中。
终端可以在待处理图像所显示的界面的预设区域显示控件表格。在具体应用中,编辑状态的控件表格可以是悬浮显示的,并且终端可以响应于对编辑状态的控件表格的拖动操作,将控件表格显示于拖动操作所指示的位置处。在控制表格的至少一部分单元格中,显示绘制表格中相同排列位置的单元格所对应图像数据项的字符识别结果,即当终端成功识别出绘制表格中的图像数据项时,识别获得的字符识别结果显示于控件表格中相同排列位置的单元格。
举例说明,参见图7,对应于图7中的绘制表格702,终端还可以显示控件表格704,控件表格704每个单元格,显示绘制表格中相同排列位置的单元格所对应图像数据项的字符识别结果。
在一些实施例中,对显示的控件表格,终端可以进行保存,或者根据显示的控件表格进一步生成其他格式的文件,例如生成json文件、XML文件等,对生成的其他格式文件进行保存。
上述实施例中,在显示了绘制表格后,还可以显示控件表格,控件表格与绘制表格的表格结构相同,在控件表格的至少一部分单元格中,显示绘制表格中相同排列位置的单元格所对应图像数据项的字符识别结果,从而实现只需要进行表格绘制操作,即可将行列排列的图像数据项识别为可编辑的表格,提高了识别过程中的交互效率。
在一些实施例中,待处理图像显示在图像编辑界面中,图像编辑界面中显示有语言转换功能项,上述方法还包括:响应于对语言转换功能项的触发操作,显示多个候选语言;响应于针对多个候选语言的选择操作,将控件表格所显示的字符识别结果转换为选择操作所选中的候选语言下的翻译文本。
其中,语言转换功能项指的是用于触发对控件表格中的文本进行语言切换的功能项。语言转换功能项具体可以是各种形式的控件。
具体地,待处理图像所显示的图像编辑界面中,显示有语言转换功能项,终端显示的控件表格中字符识别结果是以默认的语言进行显示的,当用户需要获得另一种语言下的识别结果时,可以对语言转换功能项进行触发操作,终端可以响应于该触发操作,显示多个可供选择的候选语言,当用户选择任一候选语言时,终端可以响应于用户的选择操作,将控件表格所显示的字符识别结果转换为选择操作所选中的候选语言下的翻译文本。其中,默认的语言可以由用户进行预先设置及更改。
在具体应用中,终端可以部署有用于实现语言翻译的机器学习模型,进而当检测到用户的对候选语言的选择操作时,可以将当前显示的字符识别结果输入到机器学习模型中,通过该机器学习模型将输入的字符识别结果转换为用户所选中的候选语言下的翻译文本,并通过获得的翻译文本对控件表格中的字符识别结果更新,从而使得控件表格中显示候选语言下的翻译文本。
上述实施例中,待处理图像所显示的图像编辑界面中显示有语音转换功能项,从而用户可以通过该语音转换功能项选择候选语言,终端可以响应于针对多个候选语言的选择操作,将控件表格所显示的字符识别结果转换为选择操作所选中的候选语言下的翻译文本,可以简单方便实现获得不同语言下的翻译文本,无需再进行额外翻译,扩展了应用场景,并且进一步提高了交互效率。
在一些实施例中,上述图像处理方法还包括:显示多个操作功能项;每个操作功能项分别指示不同的变化操作;响应于针对多个操作功能项中目标操作功能项的触发操作,显示待处理图像按照目标操作功能项所指示变化操作进行变化。
其中,变化操作包括放大、缩小、旋转或者平移中的一种或者多种。其中,放大指的对待处理图像以更大的显示面积进行显示,缩小指的对待处理图像以更小的显示面积进行显示,旋转即调整待处理图像的显示角度,平移指的是将待处理图像按照指定的平移方向进行平移。
操作功能项指的是可以实现页面变化操作功能的页面项,操作功能项可以是用于实现变化操作的控件,这里的控件可以是各种形式的控件,例如可以是按钮、文字标记等,举例说明,继续参考图4,图4中的412为用于实现页面缩小操作的按钮。针对目标操作功能项的触发操作指的是作用于目标操作功能项的预设操作。预设操作具体可以是触摸操作、光标操作、按键操作或者语音操作。目标操作功能项指的是用户在进行触发操作时,所选择的操作功能项。例如假设用户选择对图4中的缩小按钮412进行触发操作,则缩小按钮412为目标操作功能项。
具体地,终端可以显示多个操作功能项,每个操作功能项分别指示不同的变化操作,当用户针对这些操作功能项中任意一个进行触发操作时,终端响应于该触发操作,将待处理图像按照该触发操作所针对的操作功能项所指示的变化操作进行变化,然后显示变化后的待处理图像。
在一些具体实施例中,操作功能项所指示的变化操作为固定变化幅度,用户可以对某个操作功能项进行多次触发操作,每次触发操作,终端按照固定变化幅度对待处理图像进行变化,多次变化后,可以显示符合用户需求的待处理图像。例如,对于缩放功能项,用户每点击一次,终端对待处理图像缩小一定比例,用户多次点击后,可以将待处理图像缩放至所需要的尺寸。
在另一些实施例中,操作功能项所指示的页面变化操作的变化幅度可以指定,从而终端可以按照指定的变化幅度进行相应变化。例如,对于缩放功能项,用户可以指定缩放比例,从而终端可以按照所指定的缩放比例对待处理图像进行缩放。在具体应用中,终端可以显示多个候选的缩放比例,例如75%、50%等,用户选择其中一个缩放比例后,终端按照用户所指定的缩放比例对待处理图像进行缩放。
上述实施例中,可以提供多种变化操作功能供用户选择,并根据用户选择的操作功能项对待处理图像进行相应的变化,提高了对待处图像处理的灵活性,并且可以使得待处理图像的可视性更强。
在一些实施例中,上述图像处理方法还包括:在待处理图像发生变化的过程中,将绘制表格按照与待处理图像变化匹配的变化方式进行同步变化;跟随着绘制表格的变化,显示绘制表格内呈现的图像数据项保持与待处理图像的相对位置关系。
具体地,当待处理图像发生变化,终端可以将绘制表格按照与待处理图像变化匹配的变化方式同步变化,例如,待处理图像发生缩放,则绘制表格跟着缩放,待处理图像发生放大,则绘制表格跟着放大,待处理图像发生旋转,则绘制表格跟着旋转,总之,绘制表格跟随着待处理图像的变化而变化,但是显示绘制表格内呈现的图像数据项保持与待处理图像的相对位置关系。
保持与待处理图像的相对位置关系指的是在待处理图像中的相对位置固定。进行举例说明,参考图8,图8中的(a)中,待处理图像中显示图像802,图像802标注有矩形框,当对图像802进行放大操作时,显示为图8的(b)图中的图像804,可以看出,在对图像进行放大操作后,矩形框是跟随着图像进行放大,并且保持和图像的相对位置关系,从而在放大后的图像中,矩形框所标记的图像区域的待处理图像内容未发生变化,仅仅是进行了放大。
上述实施例中,由于可以将绘制表格按照与待处理图像变化匹配的变化方式进行同步变化,并绘制表格内呈现的图像数据项保持与待处理图像的相对位置关系,可以使得变化后和变化前绘制表格内的图像数据项的内容保持不变,避免变化后需要重新进行表格绘制,进一步提高交互效率。
在一些实施例中,终端还可以响应于待处理图像发生变化,保持绘制表格不变,并显示绘制表格在变化后的待处理图像中标记的待处理图像区域。具体地,在待处理图像发生变化时,终端可以保持绘制表格不变,这样在待处理图像变化完成后,绘制表格在变化后的待处理图像中标记的待处理图像区域和变化之前的待处理图像区域大小相同,但是待处理图像区域的内容或者显示方式会发生变化。
在一些实施例中,显示对待处理图像的图像处理结果,包括:显示多个截图,多个截图是按照绘制表格所包括单元格截取图像数据项获得的。
具体地,对于绘制表格中每个单元格,终端可以对该单元格进行截取,即截取每个单元格内的图像数据项,得到一个与该单元格大小相同的截图,从而获得多个截图,终端可以对截取获得截图进行显示。
可选的,终端可以对获得的多个截图按照绘制表格的表格结构进行显示,从显示效果上来看,这些截图排列形成行列,并且排列形成的行列的结构与绘制表格的表格结构相同,每个截图在排列形成的行列中的位置与该截图所截取的图像数据项在绘制表格中的位置对应,比如,绘制表格中第一行第一列的图像数据项对应的截图,在多个截图排列形成的行列中显示于第一行第一列的位置处。
可选的,终端可以将获得的多个截图显示于控件表格中,控件表格的表格结构与绘制表格的表格结构相同,绘制表格中每个单元格内的图像数据项对应的截图显示于控件表格中对应位置处的单元格内。可以理解的是,当绘制表格中包括用于作为表头的图像数据项,这些图像数据项对应的截图显示于控件表格的表头中,此时,控件表格的表头不具备筛选功能,但是可以进行编辑。
作为另一种可实现的方式,控件表格中呈现绘制表格中所有的图像数据项,除此之外,控件表格还包含表头,此时,控件表格的表头不具备筛选功能,但是可以进行编辑。在这种实现方式中,前文中的控件表格与绘制表格的表格结构相同,可以理解为控件表格中用于呈现绘制表格中的图像数据项的部分,与绘制表格的表格结构相同。
在一些实施例中,上述方法包括:响应于在多个截图中触发的选择操作,将选择操作所选中的截图显示为处于选中状态;显示多个风格模板图像,每个风格模板图像以不同图像风格显示;响应于多个风格模板图像中目标风格模板图像的选择操作,显示将处于选中状态的截图风格化后的风格化截图,风格化截图与目标风格模板图像风格一致。
其中,图像风格指的是图像整体呈现的艺术效果。艺术创作者在描述物体时,采用偏离实际画面的方法,例如采用铅笔笔触、油画笔触、水彩笔触,或者对实际画面进行夸张、变形、扭曲、残破处理等使创作的画像具备不同的艺术风格。风格模板图像可以根据不同的艺术风格效果对同一个原始图像进行风格化处理,使原始图像具有对应的艺术风格效果,风格化处理例如可以是更改图像像素、增加对比度、提高饱和度或边缘饱和度、在图像中增加线条、色彩填充、图像分解重组等中的一种或多种图像处理方式。风格化处理后获得的风格模板图像可以具有素描画、水彩画、油画、漫画或马赛克等任意一种艺术效果。
具体地,终端可以在预览区域显示多个风格模版图像,用户可以对其中任意一个风格模版图像进行选择,终端可以响应于用户的选择操作,将截图按照选择操作所选中的风格模型图像的图像风格进行风格化,并显示风格化后的风格化截图,所显示的风格化截图与用户所选中的风格模板图像风格一致。
上述实施例中,由于可以用户所选中的风格模版图像对截图进行风格化处理,可以获得对目标区域中任意图像区域的风格化效果图像,提高了图像处理的灵活性。
在一些实施例中,显示对待处理图像的图像处理结果,包括:显示对绘制表格内的图像数据项进行字符识别获得的识别文本;显示识别文本的翻译文本;显示与翻译文本相关的图像搜索结果,图像搜索结果是以翻译文本中的至少一部分作为搜索词从网络搜索图像得到的。
本实施例中,当需要根据图像数据项的语义进行图像搜索获得搜索结果时,如果图像数据项不是默认语言,那么终端可以在字符识别获得识别文本后,可以将识别文本输入预先训练的语言翻译模型中,通过语言翻译模型对识别文本进行翻译,获得默认语言下的翻译文本,在翻译获得翻译文本,可以对翻译文本进行显示,然后以翻译文本的至少一部分作为搜索词进行图像搜索,并对搜索到的图像进行显示。这里的默认语言例如可以是中文,即如果对标记区域内文本图像识别得到的识别文本不是中文,则可以将其翻译为中文并进行显示。
上述实施例中,由于可以显示翻译文本,用户无需借助其他翻译渠道可以获知图像数据项的语义,便捷性更高,另外由于以翻译文本的至少一部分作为搜索词进行图像搜索,可以提高搜索结果准确性。
在一些实施例中,显示对待处理图像的图像处理结果,包括:按照绘制表格所包括单元格截取图像数据项,获得多个截图;调用预设处理方式下多个预设处理线程,对多个截图进行并行处理,获得多个截图对应的多个中间图像;显示将多个中间图像拼接得到的图像处理结果,图像处理结果中多个中间图像的相对位置,与对应的多个截图截取时的相对位置一致。
其中,按照绘制表格所包括单元格截取图像数据项,即按照绘制表格中单元格的大小对图像数据项的显示区域进行截取,获得的截图与所截取的图像数据项所在的单元格大小一致。
本实施例中,由于可以按照绘制表格所包括单元格截取图像数据项,获得多个截图,进而可以调用多个线程对这些截图进行并行处理,得到中间图像,最后在按照多个截图截取时的相对位置拼接这些中间图像,得到图像处理结果,由于可以多线程并行处理,提高了图像处理效率。
在一些具体实施例中,提供了一种图像处理方法,该方法由计算机设备执行,计算机设备可以是图1中的服务器104或者终端102,在本申请实施例中,以该方法应用于图1中的终端为例进行说明,参考图9,具体步骤如下:
步骤902,显示待处理图像,待处理图像中包括图像数据项。
步骤904,响应于对待处理图像中目标区域的选择操作,在目标区域处显示边界框。
其中,目标区域内的图像数据项呈现在边界框内。
步骤906,响应于边界框的显示,显示表格布局指定区域。
步骤908,响应于对表格布局指定区域的区域选择操作,在表格布局指定区域所包括的元素阵列中,突出显示区域选择操作所指定区域覆盖的元素。
步骤910,响应于区域选择操作的结束,按照区域选择操作在结束时突出显示的元素,显示表格布局结果。
步骤912,取消显示表格布局指定区域,在边界框中,显示按照表格布局结果绘制的表格线,获得包括边界框和表格线的绘制表格。
步骤914,显示对待处理图像的图像处理结果,其中,图像处理结果是按照绘制表格处理图像数据项得到的。
步骤916,显示多个操作功能项,响应于针对多个操作功能项中目标操作功能项的触发操作,显示待处理图像按照目标操作功能项所指示变化操作进行变化。
其中,每个操作功能项分别指示不同的变化操作。
在一些具体实施例中,本申请还提供一种应用场景,在该应用场景中,本申请实施例提供的图像处理方法可以应用于表单识别场景中,在该应用场景中,待处理图像为待识别表单的表单图像,表单图像中包括按行列排列的图像数据项。
参考图10,为本申请的图像处理方法的具体流程图。用户可以上传待识别表单的表单图像或者传待识别表单的PDF文件,如果上传的是pdf文件,终端会通过pdf.js方法将pdf文件转化成可视的表单图像,从而终端可以显示图像页面,用户可以点击图像页面中显示的画框标注、表格标注等标注按钮,根据页面引导,可以在页面中实现矩形框绘制、表格绘制等标注操作,在标注过程中,用户还可以点击页面中显示的缩放、移动、旋转等按钮可以对其中的图像进行变化操作,图像变化操作结束后,针对画框标注,可以获得矩形框坐标以及矩形框所标记图像区域的截图,并在图像页面中对绘制的矩形框进行显示,针对表格标注,可以获得所绘制表格的表格结构、表格行列坐标以及所绘制表格中每个单元格标记的图像区域的截图,并在图像页面显示绘制表格以及绘制表格对应的控件表格。其中,画框标注可以用于对表单图像中的除按行列排列的图像数据项之外的其他图像数据项进行标注,终端对所标注的其他图像数据项进行识别获得识别内容后,可以将识别内容显示于图像页面的预览区域中,用户可以对所显示的识别内容进行修改或者确认操作。表格标注用于对表单图像中的按行列排列的图像数据项进行标注,终端对所标注的图像数据项进行识别后,显示于控件表格中,控件表格的单元格与绘制表格的单元格按照排列位置一一对应,在控件表格的至少一部分单元格中,显示绘制表格中相同排列位置的单元格所对应图像数据项的字符识别结果。参考图7,为显示控件表格的示意图。
参考图11,为画框标注的具体流程示意图,在画框标注时,用户可以移动画框和删除画框,移动画框包括通过调整点拖拽、整体移动等操作。此外,在画框标注时,可以通过图像任意放大及图像内任意范围绘图的方式,实现高精度的图像标记内容截取能力。将图片/pdf文件通过canvas绘制于web端,通过放大缩小等操作调整画布尺寸,方便更高精度得在绘制图层实现像素级的定位和内容截取。具体地,终端可以监测用户鼠标移动事件,同步鼠标操作计算绘制于图片区域生成可视化画框。点击操作区的画框按钮,鼠标移动至绘图区,点击拖放实现画框。画框有8点小方块,可拖动任意方向改变大小和位置。鼠标悬停在画框上时,画框右上角可以显示删除按钮,通过redux数据管理,删除当前画框。是JavaScript状态容器,提供可预测化的状态管理。操作完成后,返回当前坐标及选中区域的图片截图内容及当前框选内容在图片内的坐标定位,并通过canvas的drawImage方法,将截图坐标转化为截图。
参考图12,在表格标注时,用户可以点击绘制表格快捷按钮,根据提示操作,先在图像页面内任意绘制表格边框,绘制完边框后在边框内通过横向/纵向添加鼠标线的形式可自动生成表格行列,且行列在鼠标hover状态可删除和移动。右键也可以操作表格状态添加删除行、列。终端可以在Layer绘图区监测onMouseMove等鼠标的移动状态,通过redux对中间态数据进行存储,判断当前移动事件绘制表格边框还是绘制表格线,存储不同状态数据。通过Konva.Util.haveIntersection api计算当前绘制模式是否符合当前状态。当符合表格绘制模式,先绘制表格框,存在表格框且在表格框内操作时,绘制表格线,表格线不需要完整绘制,只需要在表格内横纵向移动一定距离即可自动绘制表格线。表格线绘制完成后,得到绘制表格,绘制表格可以整体拖拽,并且其中的表格线可以进行删除和移动。对应于该绘制表格,还可以显示虚拟表格(即上文的控件表格),通过鼠标右键可以对该虚拟表格新增行列或者删除行列,对该虚拟表格中显示的数据可以进行删除、修改等数据操作。可以理解的是,针对绘制表格进行调整时,需要重新计算表格内线坐标及布局,实时变更虚拟表格,使得二者同步变化。用户进一步可以根据进行图像变化操作,在此过程中,绘制的矩形框和表单图像图像之间的相对位置关系保持不变,操作完成后,返回所绘制表格的表格结构、表格坐标以及表格内每个单元格的截图。
参考图13,表格标注过程中,整体实现通过模型层、视图层和控制层的架构实现。视图进行界面设计,模型层存储中间态数据结构设计,控制层处理数据界面逻辑,封装基本实现方案比如表格状态判断等逻辑。
本申请还提供另一种应用场景,在该应用场景中,本申请实施例提供的图像处理方法可以应用于在线编辑器,本实施例提供的图像处理方法可以封装为在线编辑器的插件,在调用该插件时,可以将在线编辑器的视图界面转换成图像后,显示图像页面,通过本申请的图像处理方法可以对其中任意的页面区域进行画框标注或者表格标注,用户可以进一步对图像页面显示的图像进行图像变化操作后,对画框标注绘制的矩形框的截图进行OCR识别,或者对表格标注绘制的表格每个单元格的截图进行OCR识别并生成虚拟表格,从而实现表格化提取内容。
本申请还提供另一种应用场景,在该应用场景中,本申请的图像处理方法中,所显示的页面为图像处理模型处理后的图像,通过本申请的图像处理方法可以对图像中处理失败的图像区域进行标记,获得该区域的截图和坐标,根据该截图和坐标生成负样本作为模型训练过程中的负反馈,对图像处理模型的参数进行进一步优化。
应该理解的是,虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的图像处理方法的图像处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个图像处理装置实施例中的具体限定可以参见上文中对于图像处理方法的限定,在此不再赘述。
在一些实施例中,如图14所示,提供了一种图像处理装置1400,包括:
图像显示模块1402,用于显示待处理图像,待处理图像中包括图像数据项;
边界框显示模块1404,用于响应于对待处理图像中目标区域的选择操作,在目标区域处显示边界框,目标区域内的图像数据项呈现在边界框内;
表格显示模块1406,用于响应于表格布局操作,显示与表格布局操作所指定的表格布局匹配的绘制表格,绘制表格以边界框为表格边界;
处理结果显示模块1408,用于显示对待处理图像的图像处理结果,图像处理结果,是按照绘制表格处理图像数据项得到的。
上述图像处理装置,对于显示的包括图像数据项的显示待处理图像,可以响应于对该待处理图像中目标区域的选择操作,在目标区域处显示边界框,该目标区域内的图像数据项呈现在边界框内,进一步可以响应于表格布局操作,显示与表格布局操作所指定的表格布局匹配的绘制表格,该绘制表格以边界框为表格边界,显示对待处理图像的图像处理结果,图像处理结果,是按照绘制表格处理图像数据项得到的,由于通过表格布局操作即可获得绘制表格,进而可以按照绘制表格处理图像数据项,操作简单、便捷,提高了图像处理过程中的交互效率。
在一些实施例中,表格显示模块,还用于:响应于边界框的显示,显示表格布局指定区域;响应于针对表格布局指定区域的表格布局操作,在表格布局指定区域,显示表格布局操作指定的表格布局结果;取消显示表格布局指定区域,在边界框中,显示按照表格布局结果绘制的表格线,获得包括边界框和表格线的绘制表格。
在一些实施例中,表格布局指定区域,包括按行列排列元素形成的元素阵列;表格显示模块,还用于:响应于对表格布局指定区域的区域选择操作,在表格布局指定区域所包括的元素阵列中,突出显示区域选择操作所指定区域覆盖的元素;响应于区域选择操作的结束,按照区域选择操作在结束时突出显示的元素,显示表格布局结果。
在一些实施例中,表格显示模块,还用于:在表格布局指定区域中,显示表格行数编辑区域和表格列数编辑区域;响应于对表格行数编辑区域的编辑操作,在表格行数编辑区域显示表格行数;响应于对表格列数编辑区域的编辑操作,在表格列数编辑区域显示表格列数;表格行数和表格列数构成表格布局结果。
在一些实施例中,待处理图像显示在图像编辑界面中,图像编辑界面中显示有表格绘制功能项,边界框显示模块,还用于:响应于对表格绘制功能项的功能触发操作,进入表格绘制状态,并显示表格绘制引导信息,表格绘制引导信息指示在待处理图像中绘制边界框;响应于在表格绘制状态下触发的对待处理图像中目标区域的选择操作,在目标区域处显示边界框。
在一些实施例中,待处理图像显示在图像编辑界面中,图像编辑界面中显示有矩形框绘制功能项;上述图像处理装置还包括:矩形框显示模块,用于:响应于对待处理图像中目标区域的选择操作,在目标区域处显示选择操作所绘制的矩形框;显示对待处理图像按照选择操作所绘制的矩形框处理得到的图像处理结果。
在一些实施例中,待处理图像是在显示文件选择控件的情况下,通过文件选择控件选中文件后形成的;上述图像处理装置还包括:矩形框调整模块,用于:在待处理图像中显示默认的矩形框,默认的矩形框具有调整点,默认的矩形框在响应选择操作时取消显示;响应于针对调整点的调整操作,调整默认的矩形框的尺寸;显示对待处理图像按照调整尺寸后的矩形框处理得到的图像处理结果。
在一些实施例中,处理结果显示模块,还用于:显示控件表格,控件表格与绘制表格的表格结构相同;在控件表格的至少一部分单元格中,显示绘制表格中相同排列位置的单元格所对应图像数据项的字符识别结果。
在一些实施例中,待处理图像显示在图像编辑界面中,图像编辑界面中显示有语言转换功能项,上述图像处理装置还包括:翻译模块,用于:响应于对语言转换功能项的触发操作,显示多个候选语言;响应于针对多个候选语言的选择操作,将控件表格所显示的字符识别结果转换为选择操作所选中的候选语言下的翻译语言。
在一些实施例中,上述图像处理装置还包括:图像变化模块,用于:显示多个操作功能项;每个操作功能项分别指示不同的变化操作;响应于针对多个操作功能项中目标操作功能项的触发操作,显示待处理图像按照目标操作功能项所指示变化操作进行变化。
在一些实施例中,图像变化模块,还用于:在待处理图像发生变化的过程中,将绘制表格按照与待处理图像变化匹配的变化方式进行同步变化;跟随着绘制表格的变化,显示绘制表格内呈现的图像数据项保持与待处理图像的相对位置关系。
在一些实施例中,上述图像处理装置还包括:表格调整模块,用于响应于对绘制表格的调整操作,显示调整后的绘制表格;将图像处理结果进行更新,更新后的图像处理结果,是按照调整后的绘制表格处理图像数据项得到的。
在一些实施例中,表格调整模块,还用于:响应于表格线绘制操作,随着表格线绘制操作指示的绘制点在边界框内移动形成轨迹,在轨迹所处位置,增加与轨迹方向一致的表格线,获得调整后的绘制表格。
在一些实施例中,表格调整模块,还用于:响应于针对绘制表格中任一表格线的表格线删除操作,删除表格线删除操作针对表格线,获得调整后的绘制表格。
在一些实施例中,处理结果显示模块,还用于:显示多个截图,多个截图是按照绘制表格所包括单元格截取图像数据项获得的。
在一些实施例中,上述图像处理装置还包括:风格转换模块,用于:响应于在多个截图中触发的选择操作,将选择操作所选中的截图显示为处于选中状态;显示多个风格模板图像,每个风格模板图像以不同图像风格显示;响应于多个风格模板图像中目标风格模板图像的选择操作,显示将处于选中状态的截图风格化后的风格化截图,风格化截图与目标风格模板图像风格一致。
在一些实施例中,处理结果显示模块,还用于:按照绘制表格所包括单元格截取图像数据项,获得多个截图;调用预设处理方式下多个预设处理线程,对多个截图进行并行处理,获得多个截图对应的多个中间图像;显示将多个中间图像拼接得到的图像处理结果,图像处理结果中多个中间图像的相对位置,与对应的多个截图截取时的相对位置一致。
上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一些实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图15所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像处理方法。该计算机设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置,显示屏可以是液晶显示屏或电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图15中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一些实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述图像处理方法的步骤。
在一些实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述图像处理方法的步骤。
在一些实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述图像处理方法的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (20)
1.一种图像处理方法,其特征在于,所述方法包括:
显示待处理图像,所述待处理图像中包括图像数据项;
响应于对所述待处理图像中目标区域的选择操作,在所述目标区域处显示边界框,所述目标区域内的图像数据项呈现在所述边界框内;
响应于表格布局操作,显示与所述表格布局操作所指定的表格布局匹配的绘制表格,所述绘制表格以所述边界框为表格边界;
显示对所述待处理图像的图像处理结果,所述图像处理结果,是按照所述绘制表格处理所述图像数据项得到的。
2.根据权利要求1所述的方法,其特征在于,所述响应于表格布局操作,显示与所述表格布局操作所指定的表格布局匹配的绘制表格,包括:
响应于所述边界框的显示,显示表格布局指定区域;
响应于针对所述表格布局指定区域的表格布局操作,在所述表格布局指定区域,显示所述表格布局操作指定的表格布局结果;
取消显示所述表格布局指定区域,在所述边界框中,显示按照所述表格布局结果绘制的表格线,获得包括所述边界框和所述表格线的绘制表格。
3.根据权利要求2所述的方法,其特征在于,所述表格布局指定区域,包括按行列排列元素形成的元素阵列;所述响应于针对所述表格布局指定区域的表格布局操作,在所述表格布局指定区域,显示所述表格布局操作指定的表格布局结果,包括:
响应于对所述表格布局指定区域的区域选择操作,在所述表格布局指定区域所包括的元素阵列中,突出显示所述区域选择操作所指定区域覆盖的元素;
响应于所述区域选择操作的结束,按照所述区域选择操作在结束时突出显示的元素,显示表格布局结果。
4.根据权利要求2所述的方法,其特征在于,所述响应于针对所述表格布局指定区域的表格布局操作,在所述表格布局指定区域,显示所述表格布局操作指定的表格布局结果,包括:
在所述表格布局指定区域中,显示表格行数编辑区域和表格列数编辑区域;
响应于对所述表格行数编辑区域的编辑操作,在所述表格行数编辑区域显示表格行数;
响应于对所述表格列数编辑区域的编辑操作,在所述表格列数编辑区域显示表格列数;所述表格行数和所述表格列数构成表格布局结果。
5.根据权利要求1所述的方法,其特征在于,所述待处理图像显示在图像编辑界面中,所述图像编辑界面中显示有表格绘制功能项,所述响应于对所述待处理图像中目标区域的选择操作,在所述目标区域处显示边界框,包括:
响应于对所述表格绘制功能项的功能触发操作,进入表格绘制状态,并显示表格绘制引导信息,所述表格绘制引导信息指示在所述待处理图像中绘制边界框;
响应于在所述表格绘制状态下触发的对所述待处理图像中目标区域的选择操作,在所述目标区域处显示边界框。
6.根据权利要求1所述的方法,其特征在于,所述待处理图像显示在图像编辑界面中,所述图像编辑界面中显示有矩形框绘制功能项;所述方法还包括:
响应于对所述待处理图像中目标区域的选择操作,在所述目标区域处显示所述选择操作所绘制的矩形框;
显示对所述待处理图像按照所述选择操作所绘制的矩形框处理得到的图像处理结果。
7.根据权利要求1所述的方法,其特征在于,所述待处理图像是在显示文件选择控件的情况下,通过所述文件选择控件选中文件后形成的;所述方法还包括:
在所述待处理图像中显示默认的矩形框,所述默认的矩形框具有调整点,所述默认的矩形框在响应所述选择操作时取消显示;
响应于针对所述调整点的调整操作,调整所述默认的矩形框的尺寸;
显示对所述待处理图像按照调整尺寸后的矩形框处理得到的图像处理结果。
8.根据权利要求1所述的方法,其特征在于,所述显示对所述待处理图像的图像处理结果,包括:
显示控件表格,所述控件表格与所述绘制表格的表格结构相同;
在所述控件表格的至少一部分单元格中,显示所述绘制表格中相同排列位置的单元格所对应图像数据项的字符识别结果。
9.根据权利要求8所述的方法,其特征在于,所述待处理图像显示在图像编辑界面中,所述图像编辑界面中显示有语言转换功能项,所述方法还包括:
响应于对所述语言转换功能项的触发操作,显示多个候选语言;
响应于针对所述多个候选语言的选择操作,将所述控件表格所显示的字符识别结果转换为所述选择操作所选中的候选语言下的翻译语言。
10.根据权利要求1所述的方法,其特征在于,所述方法还包括:
显示多个操作功能项;每个所述操作功能项分别指示不同的变化操作;
响应于针对所述多个操作功能项中目标操作功能项的触发操作,显示所述待处理图像按照所述目标操作功能项所指示变化操作进行变化。
11.根据权利要求9所述的方法,其特征在于,所述方法还包括:
在所述待处理图像发生变化的过程中,将所述绘制表格按照与所述待处理图像变化匹配的变化方式进行同步变化;
跟随着所述绘制表格的变化,显示所述绘制表格内呈现的图像数据项保持与所述待处理图像的相对位置关系。
12.根据权利要求1所述的方法,其特征在于,所述方法还包括:
响应于对所述绘制表格的调整操作,显示调整后的绘制表格;
将所述图像处理结果进行更新,更新后的图像处理结果,是按照调整后的绘制表格处理所述图像数据项得到的。
13.根据权利要求12所述的方法,其特征在于,所述响应于对所述绘制表格的调整操作,显示调整后的绘制表格,包括以下任意一项:
响应于表格线绘制操作,随着所述表格线绘制操作指示的绘制点在所述边界框内移动形成轨迹,在所述轨迹所处位置,增加与所述轨迹方向一致的表格线,获得调整后的绘制表格;
响应于针对所述绘制表格中任一表格线的表格线删除操作,删除所述表格线删除操作针对表格线,获得调整后的绘制表格。
14.根据权利要求1至13中任意一项所述的方法,其特征在于,所述显示对所述待处理图像的图像处理结果,包括:
显示多个截图,所述多个截图是按照所述绘制表格所包括单元格截取所述图像数据项获得的。
15.根据权利要求14所述的方法,其特征在于,所述方法还包括:
响应于在所述多个截图中触发的选择操作,将所述选择操作所选中的截图显示为处于选中状态;
显示多个风格模板图像,每个风格模板图像以不同图像风格显示;
响应于所述多个风格模板图像中目标风格模板图像的选择操作,显示将处于选中状态的截图风格化后的风格化截图,所述风格化截图与所述目标风格模板图像风格一致。
16.根据权利要求1至13中任意一项所述的方法,其特征在于,所述显示对所述待处理图像的图像处理结果,包括:
按照所述绘制表格所包括单元格截取所述图像数据项,获得多个截图;
调用预设处理方式下多个预设处理线程,对所述多个截图进行并行处理,获得所述多个截图对应的多个中间图像;
显示将所述多个中间图像拼接得到的图像处理结果,所述图像处理结果中多个中间图像的相对位置,与对应的多个截图截取时的相对位置一致。
17.一种图像处理装置,其特征在于,所述装置包括:
图像显示模块,用于显示待处理图像,所述待处理图像中包括图像数据项;
边界框显示模块,用于响应于对所述待处理图像中目标区域的选择操作,在所述目标区域处显示边界框,所述目标区域内的图像数据项呈现在所述边界框内;
表格显示模块,用于响应于表格布局操作,显示与所述表格布局操作所指定的表格布局匹配的绘制表格,所述绘制表格以所述边界框为表格边界;
处理结果显示模块,用于显示对所述待处理图像的图像处理结果,所述图像处理结果,是按照所述绘制表格处理所述图像数据项得到的。
18.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至16中任一项所述的方法的步骤。
19.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至16中任一项所述的方法的步骤。
20.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至16中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311162919.6A CN117193609A (zh) | 2023-09-06 | 2023-09-06 | 图像处理方法、装置、计算机设备、存储介质和程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311162919.6A CN117193609A (zh) | 2023-09-06 | 2023-09-06 | 图像处理方法、装置、计算机设备、存储介质和程序产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117193609A true CN117193609A (zh) | 2023-12-08 |
Family
ID=88993756
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311162919.6A Pending CN117193609A (zh) | 2023-09-06 | 2023-09-06 | 图像处理方法、装置、计算机设备、存储介质和程序产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117193609A (zh) |
-
2023
- 2023-09-06 CN CN202311162919.6A patent/CN117193609A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220319219A1 (en) | Technologies for content analysis | |
JP6507472B2 (ja) | 処理方法、処理システム及びコンピュータプログラム | |
WO2020192463A1 (zh) | 一种展示方法及装置 | |
EP3183640B1 (en) | Device and method of providing handwritten content in the same | |
US9529438B2 (en) | Printing structured documents | |
US11704357B2 (en) | Shape-based graphics search | |
WO2019000681A1 (zh) | 信息排版方法、装置、设备及计算机存储介质 | |
US9792268B2 (en) | Zoomable web-based wall with natural user interface | |
US8555192B2 (en) | Sketching and searching application for idea generation | |
CN108700994A (zh) | 用于数字墨水交互性的系统和方法 | |
WO2021159992A1 (zh) | 图片文本处理方法、装置、电子设备和存储介质 | |
CA2800893A1 (en) | Methods and systems for automated creation, recognition and display of icons | |
US11681409B2 (en) | Systems and methods for augmented or mixed reality writing | |
US10303350B2 (en) | Systems and methods for generating online documents | |
CN111240669B (zh) | 界面生成方法、装置、电子设备及计算机存储介质 | |
CN109690462A (zh) | 管理手写图连接符的系统和方法 | |
US10417310B2 (en) | Content inker | |
KR20220061985A (ko) | 그래픽 객체를 선택하기 위한 방법 및 대응하는 디바이스 | |
US20210406453A1 (en) | Mapping annotations to ranges of text across documents | |
Crissaff et al. | ARIES: enabling visual exploration and organization of art image collections | |
CN108492349B (zh) | 书写笔画的处理方法、装置、设备和存储介质 | |
CN116610304B (zh) | 页面代码生成方法、装置、设备和存储介质 | |
CN117193609A (zh) | 图像处理方法、装置、计算机设备、存储介质和程序产品 | |
US20220114328A1 (en) | Dynamic project views of a virtual workspace to facilitate active reading | |
CN117253246A (zh) | 数据处理方法、装置、计算机设备、存储介质和程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |