CN111582281A - 一种图片显示优化的方法、装置、电子设备和存储介质 - Google Patents
一种图片显示优化的方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN111582281A CN111582281A CN202010393643.2A CN202010393643A CN111582281A CN 111582281 A CN111582281 A CN 111582281A CN 202010393643 A CN202010393643 A CN 202010393643A CN 111582281 A CN111582281 A CN 111582281A
- Authority
- CN
- China
- Prior art keywords
- coordinate
- block diagram
- fine
- frame
- coarse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 238000005457 optimization Methods 0.000 title claims description 11
- 238000010586 diagram Methods 0.000 claims abstract description 185
- 238000012545 processing Methods 0.000 claims abstract description 43
- 238000005520 cutting process Methods 0.000 claims abstract description 11
- 238000004590 computer program Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 3
- 238000001454 recorded image Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000000692 anti-sense effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000002087 whitening effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
- Image Processing (AREA)
Abstract
本发明实施例涉及图像处理技术领域，公开了一种图片显示优化的方法、装置、电子设备和存储介质。该方法包括：获取初始图像和用户的操作坐标，并将操作坐标转换到初始图像中，得到意图坐标；基于意图坐标利用第一预设规则对初始图像进行裁剪，得到粗框图；对粗框图同时进行第一操作和第二操作，第一操作为对粗框图进行图像增强处理，得到增强粗框图；第二操作为基于粗框图和意图坐标利用第二预设规则，确定意图坐标对应的精框坐标；将增强粗框图以及精框坐标发送至客户端，以使客户端显示精框坐标在增强粗框图的位置。实施本发明实施例，可以减少图像处理耗时，满足用户对收录速度的需求。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种图片显示优化的方法、装置、电子设备和存储介质。
背景技术
现有错题收集或搜题功能的APP或智能终端，都是在智能终端在拍摄图像后，在拍摄的原图上显示框题区域供用户选择，用户选择后将框题区域内的图片收录或搜题。这种方式在一定程度上加快了处理速度，但是对于用户而言，在原始图像中选择，带来不好的用户体验，而且，收录的题目最终效果如何，还需要用户将框题区域内的图片保存后一段时间后再去打开才能确定，如果保存的图片效果不好，用户则需要再次重新做录入操作，降低了使用效率。
发明内容
针对所述缺陷，本发明实施例公开了一种图片显示优化的方法、装置、电子设备和存储介质，其可以将增强粗框图和精框坐标发送给客户端，同时通过并行处理可以减少耗时，满足用户对收录速度的需求。
本发明实施例第一方面公开一种图片显示优化的方法，所述方法包括：
获取初始图像和用户的操作坐标，并将所述操作坐标转换到所述初始图像中，得到意图坐标；
基于所述意图坐标利用第一预设规则对所述初始图像进行裁剪，得到粗框图；
对所述粗框图同时进行第一操作和第二操作，所述第一操作为对所述粗框图进行图像增强处理，得到增强粗框图；所述第二操作为基于所述粗框图和意图坐标利用第二预设规则，确定意图坐标对应的精框坐标；
将所述增强粗框图以及精框坐标发送至客户端，以使客户端显示精框坐标在增强粗框图的位置。
作为一种可选的实施方式，在本发明实施例第一方面中，获取初始图像和用户的操作坐标，并将所述操作坐标转换到所述初始图像中，得到意图坐标，包括：
接收客户端发送的初始图像和操作坐标；所述初始图像为客户端接收到触发指令时使用摄像头对承载体拍照得到的图像；所述操作坐标为摄像头识别的用户使用操作体在承载体上的操作轨迹；
利用坐标变换得到所述操作坐标在初始图像上对应的意图坐标。
作为一种可选的实施方式，在本发明实施例第一方面中，所述方法，还包括：
在第二操作执行完毕后，判断所述第一操作是否执行完毕；
如果第一操作执行完毕，根据所述增强粗框图以及精框坐标获取精框图；
如果第一操作未执行完毕，根据所述粗框图以及精框坐标获取精框图；
对所述精框图进行识别，得到字符信息，并基于所述字符信息进行相关搜索，得到搜索结果。
作为一种可选的实施方式，在本发明实施例第一方面中，所述方法，还包括：
保存所述搜索结果；或/和，
把所述搜索结果的全部或部分发送给客户端。
作为一种可选的实施方式，在本发明实施例第一方面中，所述方法，还包括：
接收用户通过客户端对所述精框坐标进行调整后的精框调整坐标；
根据所述精框调整坐标和所述增强粗框图确定精框区域，得到精框区域内的目标图片。
作为一种可选的实施方式，在本发明实施例第一方面中，所述方法，还包括：
终止通过所述精框图进行的相关搜索；
对所述目标图片进行识别，得到目标字符信息，并基于所述目标字符信息进行相关搜索，得到搜索结果。
作为一种可选的实施方式，在本发明实施例第一方面中，所述方法，还包括：
保存所述增强粗框图和精框坐标，并建立增强粗框图和精框坐标之间的映射关系；或/和，保存所述增强粗框图和精框坐标获取的精框图；
如果接收到用户通过客户端对所述精框坐标进行调整后的精框调整坐标，则将所述精框调整坐标替换所述精框坐标。
本发明实施例第二方面公开一种图片显示优化的装置，所述装置包括：
获取单元，用于获取初始图像和用户的操作坐标，并将所述操作坐标转换到所述初始图像中，得到意图坐标；
裁剪单元，用于基于所述意图坐标利用第一预设规则对所述初始图像进行裁剪，得到粗框图；
处理单元，用于对所述粗框图同时进行第一操作和第二操作，所述第一操作为对所述粗框图进行图像增强处理，得到增强粗框图；所述第二操作为基于所述粗框图和意图坐标利用第二预设规则，确定意图坐标对应的精框坐标；
发送单元，用于将所述增强粗框图以及精框坐标发送至客户端，以使客户端显示精框坐标在增强粗框图的位置。
作为一种可选的实施方式，在本发明实施例第二方面中，所述装置还包括搜索单元，所述搜索单元包括：
判断子单元，用于在第二操作执行完毕后，判断所述第一操作是否执行完毕；
第一执行子单元，用于如果第一操作执行完毕，根据所述增强粗框图以及精框坐标获取精框图；
第二执行子单元，用于如果第一操作未执行完毕，根据所述粗框图以及精框坐标获取精框图；
结果获取子单元，用于对所述精框图进行识别，得到字符信息，并基于所述字符信息进行相关搜索，得到搜索结果。
作为一种可选的实施方式，在本发明实施例第二方面中，所述装置还包括调整单元，所述调整单元包括：
第一子单元，用于接收用户通过客户端对所述精框坐标进行调整后的精框调整坐标；
第二子单元，用于根据所述精框调整坐标和所述增强粗框图确定精框区域，得到精框区域内的目标图片。
作为一种可选的实施方式，在本发明实施例第二方面中，所述调整单元还包括：
第三子单元，用于终止通过所述精框图进行的相关搜索；
第四子单元，用于对所述目标图片进行识别，得到目标字符信息，并基于所述目标字符信息进行相关搜索，得到搜索结果。
本发明实施例第三方面公开一种电子设备，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行本发明实施例第一方面公开的一种图片显示优化的方法的部分或全部步骤。
本发明实施例第四方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本发明实施例第一方面公开的一种图片显示优化的方法的部分或全部步骤。
本发明实施例第五方面公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明实施例第一方面公开的一种图片显示优化的方法的部分或全部步骤。
本发明实施例第六方面公开一种应用发布平台，所述应用发布平台用于发布计算机程序产品，其中，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明实施例第一方面公开的一种图片显示优化的方法的部分或全部步骤。
与现有技术相比，本发明实施例具有以下有益效果：本发明实施例中，获取初始图像和用户的操作坐标，并将所述操作坐标转换到所述初始图像中，得到意图坐标；基于所述意图坐标利用第一预设规则对所述初始图像进行裁剪，得到粗框图；对所述粗框图同时进行第一操作和第二操作，所述第一操作为对所述粗框图进行图像增强处理，得到增强粗框图；所述第二操作为基于所述粗框图和意图坐标利用第二预设规则，确定意图坐标对应的精框坐标；将所述增强粗框图以及精框坐标发送至客户端，以使客户端显示精框坐标在增强粗框图的位置。可见，实施本发明实施例，其通过图像增强和精框坐标确定的并行处理，可以减少图像处理耗时，满足用户对收录速度的需求，同时，客户端可以呈现精框坐标在增强粗框图中的显示效果，提升用户体验，对收录图片的清晰度也有较早的评估。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种图片显示优化的方法的流程示意图；
图2是本发明实施例公开的另一种图片显示优化的方法的流程示意图；
图3是本发明实施例公开的又一种图片显示优化的方法的流程示意图；
图4是本发明实施例公开的一种图片显示优化的装置的结构示意图；
图5是本发明实施例公开的另一种图片显示优化的装置的结构示意图；
图6是本发明实施例公开的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书中的术语“第一”、“第二”、“第三”、“第四”等是用于区别不同的对象，而不是用于描述特定顺序。本发明实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，示例性地，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例公开了一种图片显示优化的方法、装置、电子设备和存储介质，其通过图像增强和精框坐标确定的并行处理，可以减少图像处理耗时，满足用户对收录速度的需求，同时，客户端可以呈现精框坐标在增强粗框图中的显示效果，提升用户体验，对收录图片的清晰度也有较早的评估，以下结合附图进行详细描述。
实施例一
请参阅图1，图1是本发明实施例公开的一种图片显示优化方法的流程示意图。其中，本发明实施例所描述的方法可以在学习机、家教机、点读机、平板电脑或手机等智能终端中实现图片显示优化过程，也可以通过服务器和客户端的交互中实现。如图1所示，该图片显示优化方法包括以下步骤：
110、获取初始图像和用户的操作坐标，并将所述操作坐标转换到所述初始图像中，得到意图坐标。
初始图像是客户端通过摄像头拍照得到。客户端为智能终端中的一些应用程序，例如错题本APP，也可以是一些专门用于错题收集的智能设备。
当接收到用户的触发指令时，客户端启动摄像头，对承载体进行拍照。触发指令可以是用户向智能终端发出的语音指令，例如“请帮我收录这道题”或者“这道题怎么做”等，也可以是用户通过触摸按键或机械按键触发，或者是用户打开客户端时直接触发，这里不做限定。
承载体为用户收录或者搜索答案等的题目的最初载体，可以是书本、练习册、试卷等。客户端通过摄像头对承载体进行拍照，同时还识别用户的操作坐标，操作坐标为摄像头识别的用户使用操作体在承载体上的操作轨迹。操作体可以是手指、触控笔、铅笔、尺子以及小棍等。操作轨迹可以是在承载体上产生的一个闭合环、一条或多条线段，一个或多个点等。
接收客户端拍照的初始图像和识别的操作坐标后，对初始图像进行版面矫正以及对操作坐标进行坐标转换。版面矫正主要是针对文字方向对初始图像进行相应旋转，也可以在客户端对应的智能设备中进行，坐标转换是将在承载体上的坐标转换成在初始图像上的坐标，即将操作坐标转换成意图坐标，可以通过仿射变换的方式实现，仿射变换例如可以是通过摄像头的内参和外参形成的变换矩阵实现。
120、基于所述意图坐标利用第一预设规则对所述初始图像进行裁剪，得到粗框图。
第一预设规则可以是矩形框，或者其他闭合图形。第一预设规则一般原则是：包括操作轨迹所覆盖的所有内容，上下边缘距离操作轨迹存在一定的距离，并且优选两侧边缘为初始图像的左右边缘(对于横向排版的承载体而言)。例如，当操作轨迹为一个点时，第一预设规则可以是一个矩形框，该矩形框的上边缘距离该点十行文字的距离，该矩形块的下边缘距离该点五行文字的距离，矩形框的两侧边缘为初始图像的左右边缘。显然，当第一预设规则设置的参数足够大时，该粗框图也可以是整个初始图像本身。
通过第一预设规则以及意图坐标在初始图像上得到一个框选区域，将框选区域内的图片从初始图像中分割，得到粗框图。
130、对所述粗框图同时进行第一操作和第二操作，所述第一操作为对所述粗框图进行图像增强处理，得到增强粗框图；所述第二操作为基于所述粗框图和意图坐标利用第二预设规则，确定意图坐标对应的精框坐标。
对粗框图通过并行处理的第一操作和第二操作，可以减少图像处理耗时，满足用户对收录速度的需求。
第一操作是对粗框图进行图像增强处理，图像增强处理包括但不限于对比度增强、美白、去噪等。
示例性地，图像增强可以通过直方图变换实现，直方图变换是通过改变和调整图像的灰度直方图，改变图像值的分布和结构关系的反差增强方法，从而达到对比度增强、美白和去噪等效果。
在错题收录的场景中，很多时候在粗框图中存在手写字体，第一操作也会对手写字体进行涂抹去除，对手写字体的去除可以通过手写字体识别模型(可以采用卷积神经网络模型等，预选通过大量手写样本对神经网络模型进行训练得到)识别手写字体的位置，然后通过背景颜色覆盖这些手写字体。
对粗框图进行图像增强处理，再发送给客户端显示时，可以提升用户体验，而且该粗框图的部分区域(依据精框坐标确定)也是最终保存的图片，可以预估存储图片的清晰度，降低重新收录的可能性。
第二操作是通过第二预设轨迹获取精框坐标。精框坐标为根据用户意图获取的最终收录或用于搜题的图片外围坐标，该精框坐标的连线构成闭合环状结构。第二预设轨迹根据意图坐标的表现形式可以有多种，示例性地，当意图坐标为闭合环时，第二预设轨迹可以是将闭合环上的各个像素点的集合作为精框坐标；当意图坐标为一条水平线段时，第二预设轨迹可以是该一条水平线段上侧若干区域(如果是一道题，可以是将行间距大于预设阈值的位置作为上边缘，将上边缘、水平线段以及粗框图的两侧边缘对应的像素点的集合作为精框坐标)；当意图坐标为一条倾斜的线段时，第二预设规则可以是依据该倾斜的线段为对角线，构建矩形框，矩形框对应的像素点的集合构成精框坐标。
140、将所述增强粗框图以及精框坐标发送至客户端，以使客户端显示精框坐标在增强粗框图的位置。
增强粗框图和粗框图的尺寸相同，因此，精框坐标在粗框图上的位置与增强粗框图对应。可以将增强粗框图和精框坐标分别发送给客户端，使得客户端显示精框坐标在增强粗框图的位置，即在增强粗框图上呈现用户框选意图题的效果。如果第一操作先处理完毕，则可以先将增强粗框图发送给客户端，此时，客户端呈现的增强粗框图中不含精框坐标，待精框坐标获取完毕，再将精框坐标显示于增强粗框图上。如果第二操作先处理完毕，则可以先将粗框图和精框坐标发送到客户端，此时，客户端呈现的是精框坐标在粗框图上的显示效果，待第一操作处理完毕，将增强粗框图替换粗框图，替换过程类似于图片的加载过程。
实施本发明实施例，可以通过图像增强和精框坐标确定的并行处理，可以减少图像处理耗时，满足用户对收录速度的需求，同时，客户端可以呈现精框坐标在增强粗框图中的显示效果，提升用户体验，对收录图片的清晰度也有较早的评估。
实施例二
请参阅图2，图2是本发明实施例公开的另一种图片显示优化方法的结构示意图。如图2所示，该方法可以包括：
210、获取初始图像和用户的操作坐标，并将所述操作坐标转换到所述初始图像中，得到意图坐标。
220、基于所述意图坐标利用第一预设规则对所述初始图像进行裁剪，得到粗框图。
230、对所述粗框图同时进行第一操作和第二操作，所述第一操作为对所述粗框图进行图像增强处理，得到增强粗框图；所述第二操作为基于所述粗框图和意图坐标利用第二预设规则，确定意图坐标对应的精框坐标。
240、将所述增强粗框图以及精框坐标发送至客户端，以使客户端显示精框坐标在增强粗框图的位置。
步骤210-240分别与实施例一中步骤110-140类似，这里不再赘述。
250、保存增强粗框图以及精框坐标。
在将增强粗框图以及精框坐标发送至客户端的同时，对增强粗框图和精框坐标进行保存。其主要应用于题目收录中。对增强粗框图和精框坐标保存的同时，还建立二者之间的关联。
如果客户端接收到增强粗框图以及精框坐标后，不对精框坐标进行调整，则接收到用户通过客户端发送确认信息后，电子设备(可以是学习机，家教机等，也可以是服务器)通过保存的精框坐标对该精框坐标关联的增强粗框图进行裁剪，得到并保存精框图片，同时删除精框坐标和增强粗框图。
如果客户端接收到增强粗框图以及精框坐标后，对精框坐标进行调整，则接收到用户通过客户端发送的修改后的精框坐标，称为精框调整坐标，电子设备通过精框调整坐标对关联的增强粗框图进行裁剪，得到并保存精框图片，同时删除精框坐标和增强粗框图。
实施本发明实施例，可以通过图像增强和精框坐标确定的并行处理，可以减少图像处理耗时，满足用户对收录速度的需求，同时，客户端可以呈现精框坐标在增强粗框图中的显示效果，提升用户体验，对收录图片的清晰度也有较早的评估。
实施例三
请参阅图3，图3是本发明实施例公开的又一种图片显示优化方法的结构示意图。如图3所示，该方法可以包括：
310、获取初始图像和用户的操作坐标，并将所述操作坐标转换到所述初始图像中，得到意图坐标。
320、基于所述意图坐标利用第一预设规则对所述初始图像进行裁剪，得到粗框图。
330、对所述粗框图同时进行第一操作和第二操作，所述第一操作为对所述粗框图进行图像增强处理，得到增强粗框图；所述第二操作为基于所述粗框图和意图坐标利用第二预设规则，确定意图坐标对应的精框坐标。
340、通过精框图进行相关搜索。
350、将所述增强粗框图以及精框坐标发送至客户端，以使客户端显示精框坐标在增强粗框图的位置。
步骤310-330以及350分别与实施例一中步骤110-140类似，这里不再赘述。
步骤340主要应用于题目收录或搜题中。其中，题目收录中的搜索主要是搜索与精框图内容相同的可编辑文本，用于替换精框图进行保存。搜题方式有多种，可以是搜索答案、读音以及近义词或反义词等，根据用户产生的具体触发指令确定。
精框图的获取方式取决于步骤330第一操作和第二操作的处理速度，以最快的速度去进行相关搜索。
具体地，在第二操作执行完毕后，判断第一操作是否已经执行完毕，如果第一操作较第二操作先完成，则根据第一操作得到的增强粗框图和精框坐标获得精框图，精框坐标在增强粗框图上覆盖的内容即精框图。这种方式步骤340和步骤350同时操作。
如果第二操作较第一操作先完成，则使用粗框图和精框坐标获取精框图。这种方式步骤340和步骤350也同时操作，不过待第一操作执行完毕后，步骤350中使用增强粗框图替换粗框图，而步骤340仍使用粗框图得到的精框图进行搜索。
在进行相关搜索前，需要对精框图的内容进行识别，得到字符信息。识别可以通过成熟的OCR(Optical Character Recognition，光学字符识别)技术实现，OCR技术可以直接对彩色图像进行字符识别，也可以通过二值化后的图像进行字符识别，得到字符信息。字符包括汉字、字母、数字、标点符号等。
如果是搜索与精框图内容相同的可编辑文本，可通过对字符信息提取关键词的方式比对题目库中题目的关键词，然后再将字符信息与关键词相同的题目整体比对，得到最后内容相同的可编辑文本，可以发送客户端，由用户确认是否需要保存。
如果是搜索发音、释义、例句、近义词、反义词等，则可以根据关键词获取对应的内容，然后发送给客户端显示或播放等。如果是搜索试题详解，则也可以根据关键词获取相应的内容，然后将试题详解发送给客户端显示。
在步骤350中，如果客户端接收到增强粗框图以及精框坐标后，对精框坐标进行调整，则接收到用户通过客户端发送的修改后的精框坐标，称为精框调整坐标，电子设备终止通过上述精框图进行的相关搜索；根据所述精框调整坐标和所述增强粗框图确定精框区域，得到精框区域内的目标图片，对所述目标图片进行识别，得到目标字符信息，并基于所述目标字符信息进行相关搜索，得到搜索结果。如果通过精框图进行的相关搜索已经完成，搜索结果发送给客户端，并被用户认可，则不再搜索，如果客户不认可，则重新通过目标图片进行相关搜索。
实施本发明实施例，可以通过图像增强和精框坐标确定的并行处理，将相关搜索和向客户端发送增强粗框图和精框坐标并行处理，可以减少图像处理耗时，满足用户对收录速度的需求，同时，客户端可以呈现精框坐标在增强粗框图中的显示效果，提升用户体验，对收录图片的清晰度也有较早的评估。
实施例四
请参阅图4，图4是本发明实施例公开的一种图片显示优化装置的结构示意图。如图4所示，该图片显示优化装置可以包括：
获取单元410，用于获取初始图像和用户的操作坐标，并将所述操作坐标转换到所述初始图像中，得到意图坐标；
裁剪单元420，用于基于所述意图坐标利用第一预设规则对所述初始图像进行裁剪，得到粗框图；
处理单元430，用于对所述粗框图同时进行第一操作和第二操作，所述第一操作为对所述粗框图进行图像增强处理，得到增强粗框图；所述第二操作为基于所述粗框图和意图坐标利用第二预设规则，确定意图坐标对应的精框坐标；
发送单元440，用于将所述增强粗框图以及精框坐标发送至客户端，以使客户端显示精框坐标在增强粗框图的位置。
作为一种可选的实施方式，所述获取单元410，可以包括：
接收子单元411，用于接收客户端发送的初始图像和操作坐标；所述初始图像为客户端接收到触发指令时使用摄像头对承载体拍照得到的图像；所述操作坐标为摄像头识别的用户使用操作体在承载体上的操作轨迹；
转换子单元412，用于利用坐标变换得到所述操作坐标在初始图像上对应的意图坐标。
图4所示的图片显示优化装置，可以通过图像增强和精框坐标确定的并行处理，可以减少图像处理耗时，满足用户对收录速度的需求，同时，客户端可以呈现精框坐标在增强粗框图中的显示效果，提升用户体验，对收录图片的清晰度也有较早的评估。
实施例五
请参阅图5，图5是本发明实施例公开的另一种图片显示优化装置的结构示意图。如图5所示，该图片显示优化装置可以包括：
获取单元510，用于获取初始图像和用户的操作坐标，并将所述操作坐标转换到所述初始图像中，得到意图坐标；
裁剪单元520，用于基于所述意图坐标利用第一预设规则对所述初始图像进行裁剪，得到粗框图；
处理单元530，用于对所述粗框图同时进行第一操作和第二操作，所述第一操作为对所述粗框图进行图像增强处理，得到增强粗框图；所述第二操作为基于所述粗框图和意图坐标利用第二预设规则，确定意图坐标对应的精框坐标；
发送单元540，用于将所述增强粗框图以及精框坐标发送至客户端，以使客户端显示精框坐标在增强粗框图的位置。
作为一种可选的实施方式，所述装置还包括搜索单元550，所述搜索单元550包括：
判断子单元551，用于在第二操作执行完毕后，判断所述第一操作是否执行完毕；
第一执行子单元552，用于如果第一操作执行完毕，根据所述增强粗框图以及精框坐标获取精框图；
第二执行子单元553，用于如果第一操作未执行完毕，根据所述粗框图以及精框坐标获取精框图；
结果获取子单元554，用于对所述精框图进行识别，得到字符信息，并基于所述字符信息进行相关搜索，得到搜索结果。
作为一种可选的实施方式，所述装置还包括保存单元560和结果反馈单元570，所述保存单元560用于保存所述搜索结果，所述结果反馈单元570用于把所述搜索结果的全部或部分发送给客户端。
作为一种可选的实施方式，所述装置还包括调整单元580，所述调整单元580包括：
第一子单元581，用于接收用户通过客户端对所述精框坐标进行调整后的精框调整坐标；
第二子单元582，用于根据所述精框调整坐标和所述增强粗框图确定精框区域，得到精框区域内的目标图片。
作为一种可选的实施方式，所述调整单元580还包括：
第三子单元583，用于终止通过所述精框图进行的相关搜索；
第四子单元584，用于对所述目标图片进行识别，得到目标字符信息，并基于所述目标字符信息进行相关搜索，得到搜索结果。
图5所示的图片显示优化装置，可以通过图像增强和精框坐标确定的并行处理，将相关搜索和向客户端发送增强粗框图和精框坐标并行处理，可以减少图像处理耗时，满足用户对收录速度的需求，同时，客户端可以呈现精框坐标在增强粗框图中的显示效果，提升用户体验，对收录图片的清晰度也有较早的评估。
实施例五
请参阅图6，图6是本发明实施例公开的一种电子设备的结构示意图，电子设备可以是学习机、家教机、点读机、平板电脑或手机等智能终端，也可以是服务器。如图6所示，该电子设备可以包括：
存储有可执行程序代码的存储器610；
与存储器610耦合的处理器620；
其中，处理器620调用存储器610中存储的可执行程序代码，执行实施例一至实施例三任意一种图片显示优化的方法中的部分或全部步骤。
本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行实施例一至实施例三任意一种图片显示优化的方法中的部分或全部步骤。
本发明实施例还公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行实施例一至实施例三任意一种图片显示优化的方法中的部分或全部步骤。
本发明实施例还公开一种应用发布平台，其中，应用发布平台用于发布计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行实施例一至实施例三任意一种图片显示优化的方法中的部分或全部步骤。
在本发明的各种实施例中，应理解，所述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。所述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例所述方法的部分或全部步骤。
在本发明所提供的实施例中，应理解，“与A对应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。
本领域普通技术人员可以理解所述实施例的各种方法中的部分或全部步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种图片显示优化的方法、装置、电子设备和存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (13)
1.一种图片显示优化的方法，其特征在于，包括：
获取初始图像和用户的操作坐标，并将所述操作坐标转换到所述初始图像中，得到意图坐标；
基于所述意图坐标利用第一预设规则对所述初始图像进行裁剪，得到粗框图；
对所述粗框图同时进行第一操作和第二操作，所述第一操作为对所述粗框图进行图像增强处理，得到增强粗框图；所述第二操作为基于所述粗框图和意图坐标利用第二预设规则，确定意图坐标对应的精框坐标；
将所述增强粗框图以及精框坐标发送至客户端，以使客户端显示精框坐标在增强粗框图的位置。
2.根据权利要求1所述的方法，其特征在于，获取初始图像和用户的操作坐标，并将所述操作坐标转换到所述初始图像中，得到意图坐标，包括：
接收客户端发送的初始图像和操作坐标；所述初始图像为客户端接收到触发指令时使用摄像头对承载体拍照得到的图像；所述操作坐标为摄像头识别的用户使用操作体在承载体上的操作轨迹；
利用坐标变换得到所述操作坐标在初始图像上对应的意图坐标。
3.根据权利要求1所述的方法，其特征在于，所述方法，还包括：
在第二操作执行完毕后，判断所述第一操作是否执行完毕；
如果第一操作执行完毕，根据所述增强粗框图以及精框坐标获取精框图；
如果第一操作未执行完毕，根据所述粗框图以及精框坐标获取精框图；
对所述精框图进行识别，得到字符信息，并基于所述字符信息进行相关搜索，得到搜索结果。
4.根据权利要求3所述的方法，其特征在于，所述方法，还包括：
保存所述搜索结果；或/和，
把所述搜索结果的全部或部分发送给客户端。
5.根据权利要求3所述的方法，其特征在于，所述方法，还包括：
接收用户通过客户端对所述精框坐标进行调整后的精框调整坐标；
根据所述精框调整坐标和所述增强粗框图确定精框区域，得到精框区域内的目标图片。
6.根据权利要求5所述的方法，其特征在于，所述方法，还包括：
终止通过所述精框图进行的相关搜索；
对所述目标图片进行识别，得到目标字符信息，并基于所述目标字符信息进行相关搜索，得到搜索结果。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述方法，还包括：
保存所述增强粗框图和精框坐标，并建立增强粗框图和精框坐标之间的映射关系；或/和，保存所述增强粗框图和精框坐标获取的精框图；
如果接收到用户通过客户端对所述精框坐标进行调整后的精框调整坐标，则将所述精框调整坐标替换所述精框坐标。
8.一种图片显示优化的装置，其特征在于，包括：
获取单元，用于获取初始图像和用户的操作坐标，并将所述操作坐标转换到所述初始图像中，得到意图坐标；
裁剪单元，用于基于所述意图坐标利用第一预设规则对所述初始图像进行裁剪，得到粗框图；
处理单元，用于对所述粗框图同时进行第一操作和第二操作，所述第一操作为对所述粗框图进行图像增强处理，得到增强粗框图；所述第二操作为基于所述粗框图和意图坐标利用第二预设规则，确定意图坐标对应的精框坐标；
发送单元，用于将所述增强粗框图以及精框坐标发送至客户端，以使客户端显示精框坐标在增强粗框图的位置。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括搜索单元，所述搜索单元包括：
判断子单元，用于在第二操作执行完毕后，判断所述第一操作是否执行完毕；
第一执行子单元，用于如果第一操作执行完毕，根据所述增强粗框图以及精框坐标获取精框图；
第二执行子单元，用于如果第一操作未执行完毕，根据所述粗框图以及精框坐标获取精框图；
结果获取子单元，用于对所述精框图进行识别，得到字符信息，并基于所述字符信息进行相关搜索，得到搜索结果。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括调整单元，所述调整单元包括：
第一子单元，用于接收用户通过客户端对所述精框坐标进行调整后的精框调整坐标；
第二子单元，用于根据所述精框调整坐标和所述增强粗框图确定精框区域，得到精框区域内的目标图片。
11.根据权利要求10所述的装置，其特征在于，所述调整单元还包括：
第三子单元，用于终止通过所述精框图进行的相关搜索；
第四子单元，用于对所述目标图片进行识别，得到目标字符信息，并基于所述目标字符信息进行相关搜索，得到搜索结果。
12.一种电子设备，其特征在于，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行权利要求1至7任一项所述的一种图片显示优化的方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行权利要求1至7任一项所述的一种图片显示优化的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010393643.2A CN111582281B (zh) | 2020-05-11 | 2020-05-11 | 一种图片显示优化的方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010393643.2A CN111582281B (zh) | 2020-05-11 | 2020-05-11 | 一种图片显示优化的方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111582281A true CN111582281A (zh) | 2020-08-25 |
| CN111582281B CN111582281B (zh) | 2023-05-16 |
Family
ID=72115627
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010393643.2A Active CN111582281B (zh) | 2020-05-11 | 2020-05-11 | 一种图片显示优化的方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111582281B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113159029A (zh) * | 2020-12-18 | 2021-07-23 | 深圳简捷电子科技有限公司 | 一种图片中局部信息精准抓取的方法和系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106127859A (zh) * | 2016-06-28 | 2016-11-16 | 华中师范大学 | 一种移动增强现实型涂鸦绘本的真实感生成方法 |
| CN108182276A (zh) * | 2018-01-25 | 2018-06-19 | 广东小天才科技有限公司 | 一种基于拍摄图片进行搜题的方法及电子设备 |
| CN109933262A (zh) * | 2019-03-08 | 2019-06-25 | 江西理工大学南昌校区 | 一种gif截屏方法及其装置 |
| CN110263794A (zh) * | 2019-06-26 | 2019-09-20 | 国网山东省电力公司建设公司 | 基于数据增强的安全带图像目标识别方法 |
| CN110276269A (zh) * | 2019-05-29 | 2019-09-24 | 西安交通大学 | 一种基于注意力机制的遥感图像目标检测方法 |
| CN110309746A (zh) * | 2019-06-21 | 2019-10-08 | 国网辽宁省电力有限公司鞍山供电公司 | 无通信互联的高等级信息安全区表格数据信息提取方法 |
-
2020
- 2020-05-11 CN CN202010393643.2A patent/CN111582281B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106127859A (zh) * | 2016-06-28 | 2016-11-16 | 华中师范大学 | 一种移动增强现实型涂鸦绘本的真实感生成方法 |
| CN108182276A (zh) * | 2018-01-25 | 2018-06-19 | 广东小天才科技有限公司 | 一种基于拍摄图片进行搜题的方法及电子设备 |
| CN109933262A (zh) * | 2019-03-08 | 2019-06-25 | 江西理工大学南昌校区 | 一种gif截屏方法及其装置 |
| CN110276269A (zh) * | 2019-05-29 | 2019-09-24 | 西安交通大学 | 一种基于注意力机制的遥感图像目标检测方法 |
| CN110309746A (zh) * | 2019-06-21 | 2019-10-08 | 国网辽宁省电力有限公司鞍山供电公司 | 无通信互联的高等级信息安全区表格数据信息提取方法 |
| CN110263794A (zh) * | 2019-06-26 | 2019-09-20 | 国网山东省电力公司建设公司 | 基于数据增强的安全带图像目标识别方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113159029A (zh) * | 2020-12-18 | 2021-07-23 | 深圳简捷电子科技有限公司 | 一种图片中局部信息精准抓取的方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111582281B (zh) | 2023-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111753767B (zh) | 一种作业自动批改的方法、装置、电子设备和存储介质 | |
| US20230027412A1 (en) | Method and apparatus for recognizing subtitle region, device, and storage medium | |
| CN113272803A (zh) | 从电子装置检索智能信息的方法和设备 | |
| CN112084756B (zh) | 会议文件生成方法、装置及电子设备 | |
| CN111581367A (zh) | 一种题目录入的方法和系统 | |
| CN107748744B (zh) | 一种勾勒框知识库的建立方法及装置 | |
| CN111563512A (zh) | 一种答案自动涂抹的方法、装置、电子设备及存储介质 | |
| CN108121987B (zh) | 一种信息处理方法和电子设备 | |
| CN108256523A (zh) | 基于移动终端的识别方法、装置及计算机可读存储介质 | |
| CN111753120A (zh) | 一种搜题的方法、装置、电子设备和存储介质 | |
| CN111680177A (zh) | 数据搜索方法及电子设备、计算机可读存储介质 | |
| CN112949649A (zh) | 一种文本图像的识别方法、装置及计算设备 | |
| CN111079726B (zh) | 一种图像处理方法及电子设备 | |
| CN112149680A (zh) | 错字检测识别方法、装置、电子设备及存储介质 | |
| CN111753715A (zh) | 点读场景下试题拍摄的方法、装置、电子设备和存储介质 | |
| CN112835807B (zh) | 界面识别方法、装置、电子设备和存储介质 | |
| CN110858291A (zh) | 字符切分方法及装置 | |
| CN110795918A (zh) | 确定阅读位置的方法、装置及设备 | |
| CN111582281A (zh) | 一种图片显示优化的方法、装置、电子设备和存储介质 | |
| CN111027533B (zh) | 一种点读坐标的变换方法、系统、终端设备及存储介质 | |
| CN112163513A (zh) | 信息选取方法、系统、装置、电子设备及存储介质 | |
| CN115860829A (zh) | 一种智能广告图像生成方法及装置 | |
| CN111711758B (zh) | 多指定位的试题拍摄方法、装置、电子设备和存储介质 | |
| CN111553365B (zh) | 一种题目选取的方法、装置、电子设备及存储介质 | |
| CN111027556B (zh) | 一种基于图像预处理的搜题方法及学习设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |