CN111698428B - 一种文档拍摄的方法、装置、电子设备和存储介质 - Google Patents

一种文档拍摄的方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN111698428B
CN111698428B CN202010582827.3A CN202010582827A CN111698428B CN 111698428 B CN111698428 B CN 111698428B CN 202010582827 A CN202010582827 A CN 202010582827A CN 111698428 B CN111698428 B CN 111698428B
Authority
CN
China
Prior art keywords
image
center
document
acquisition device
definition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010582827.3A
Other languages
English (en)
Other versions
CN111698428A (zh
Inventor
赵华
史云奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Genius Technology Co Ltd
Original Assignee
Guangdong Genius Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Genius Technology Co Ltd filed Critical Guangdong Genius Technology Co Ltd
Priority to CN202010582827.3A priority Critical patent/CN111698428B/zh
Publication of CN111698428A publication Critical patent/CN111698428A/zh
Application granted granted Critical
Publication of CN111698428B publication Critical patent/CN111698428B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Abstract

本发明实施例公开了一种文档拍摄的方法、装置、电子设备和存储介质。该方法包括:在接收到拍照指令后,启动图像采集装置识别拍摄范围内目标文档,获取目标文档的预览图像;确定目标文档的文档中心;确定图像采集装置当前位置的图像中心,计算图像中心和文档中心的偏差;根据偏差通过驱动机构调整图像采集装置的角度,以使图像中心和文档中心重合;计算预览图像的图像清晰度,在图像中心和文档中心重合时的图像清晰度小于预设阈值时,微调图像采集装置的角度;对目标文档进行拍照,得到目标文档的拍摄图片。实施本发明实施例,可以通过动态旋转图像采集装置并调整实现拍照,解决因图像采集装置方向水平带来的拍摄不清晰问题。

Description

一种文档拍摄的方法、装置、电子设备和存储介质
技术领域
本发明涉及图像处理技术领域,具体涉及一种文档拍摄的方法、装置、电子设备和存储介质。
背景技术
当前很多电子教辅设备都带前置摄像机拍照功能,通过拍取文档图片进行搜题和题目收录等,因为前置摄像机是水平方向的,而书本也是水平方向,拍摄范围较窄,难以拍摄较大的页面,所以存在拍摄不清晰、不全的情况,体验较差,准确率也低。
发明内容
针对所述缺陷,本发明实施例公开了一种文档拍摄的方法、装置、电子设备和存储介质,其动态旋转图像采集装置并调整实现拍照,解决因图像采集装置方向水平带来的拍摄不清晰问题。
本发明实施例第一方面公开一种文档拍摄的方法,所述方法包括:
在接收到拍照指令后,启动图像采集装置识别拍摄范围内目标文档,获取目标文档的预览图像;
确定所述目标文档的边框,并根据所述边框定位所述目标文档的文档中心;
确定图像采集装置当前位置的图像中心,计算所述图像中心和文档中心的偏差;
根据所述偏差通过驱动机构调整图像采集装置的角度,以使所述图像中心和文档中心重合;
计算预览图像的图像清晰度,在所述图像中心和文档中心重合时的图像清晰度小于预设阈值时,微调所述图像采集装置的角度,以使所述图像清晰度大于或等于所述预设阈值;
对所述目标文档进行拍照,得到目标文档的拍摄图片。
作为一种可选的实施方式,在本发明实施例第一方面中,确定所述目标文档的边框,并根据所述边框定位所述目标文档的文档中心,包括:
将所述预览图像输入预先训练的边框识别模型,确定所述目标文档的边框;
根据所述边框确定所述目标文档的文档中心。
作为一种可选的实施方式,在本发明实施例第一方面中,根据所述偏差通过驱动机构调整图像采集装置的角度,以使所述图像中心和文档中心重合,包括:
设定驱动机构的第一步距角A1和第二步距角A2,A1>A2;
在所述偏差大于或等于第一预设距离L1时,启动驱动机构以所述第一步距角带动所述图像采集装置转动;
在所述偏差小于或等于第一预设距离L1且大于或等于第二预设距离L2时,启动驱动机构以所述第二步距角带动所述图像采集装置转动;
在所述偏差小于或等于第三预设距离L3时,停止所述驱动机构的动作。
作为一种可选的实施方式,在本发明实施例第一方面中,计算预览图像的图像清晰度,在所述图像中心和文档中心重合时的图像清晰度小于预设阈值时,微调所述图像采集装置的角度,以使所述图像清晰度大于或等于所述预设阈值,包括:
在所述图像中心和文档中心重合时,获取预览图像的图像清晰度;
在所述图像清晰度小于预设阈值时,启动驱动机构以第三步距角带动所述图像采集装置转动对所述图像采集装置进行微调,所述微调以文档中心为中心;
获取驱动机构每次以第三步距角动作后的预览图像的图像清晰度,当图像清晰度大于或等于预设阈值时,停止驱动机构的动作。
作为一种可选的实施方式,在本发明实施例第一方面中,计算预览图像的图像清晰度,在所述图像中心和文档中心重合时的图像清晰度小于预设阈值时,微调所述图像采集装置的角度,以使所述图像清晰度大于或等于所述预设阈值,之后还包括:
在微调所述图像采集装置的角度的次数等于预设次数时,所述图像清晰度仍小于预设阈值,则:通过图像清晰度识别模型确定图像清晰度最大值的图像中心和文档中心的偏移,通过驱动机构调整图像采集装置的角度,以使所述图像中心和文档中心达到所述偏移。
作为一种可选的实施方式,在本发明实施例第一方面中,所述通过图像清晰度识别模型确定图像清晰度最大值的图像中心和文档中心的偏移,包括:
创建图像清晰度识别模型;
通过训练样本输入图像清晰度识别模型,获取每个样本对应的图像清晰度最大值;
确定所述图像清晰度最大值对应的图像中心和样本的文档中心的初始偏移;
对所述初始偏移进行聚类,得到每个聚类中初始偏移的数量,并选取所述聚类中初始偏移作为目标聚类;
确定所述目标聚类中所有初始偏移的平均值,将所述平均值作为所述偏移。
本发明实施例第二方面公开一种文档拍摄的装置,所述装置包括:
接收单元,用于在接收到拍照指令后,启动图像采集装置识别拍摄范围内目标文档,获取目标文档的预览图像;
确定单元,用于确定所述目标文档的边框,并根据所述边框定位所述目标文档的文档中心;
计算单元,用于确定图像采集装置当前位置的图像中心,计算所述图像中心和文档中心的偏差;
粗调单元,用于根据所述偏差通过驱动机构调整图像采集装置的角度,以使所述图像中心和文档中心重合;
微调单元,用于计算预览图像的图像清晰度,在所述图像中心和文档中心重合时的图像清晰度小于预设阈值时,微调所述图像采集装置的角度,以使所述图像清晰度大于或等于所述预设阈值;
拍照单元,用于对所述目标文档进行拍照,得到目标文档的拍摄图片。
作为一种可选的实施方式,在本发明实施例第二方面中,所述确定单元,包括:
识别子单元,用于将所述预览图像输入预先训练的边框识别模型,确定所述目标文档的边框;
中心确定子单元,用于根据所述边框确定所述目标文档的文档中心。
作为一种可选的实施方式,在本发明实施例第二方面中,所述粗调单元,包括:
设定子单元,用于设定驱动机构的第一步距角A1和第二步距角A2,A1>A2;
第一调整子单元,用于在所述偏差大于或等于第一预设距离L1时,启动驱动机构以所述第一步距角带动所述图像采集装置转动;
第二调整子单元,用于在所述偏差小于或等于第一预设距离L1且大于或等于第二预设距离L2时,启动驱动机构以所述第二步距角带动所述图像采集装置转动;
第三调整子单元,用于在所述偏差小于或等于第三预设距离L3时,停止所述驱动机构的动作。
作为一种可选的实施方式,在本发明实施例第二方面中,所述微调单元,包括:
清晰度获取子单元,用于在所述图像中心和文档中心重合时,获取预览图像的图像清晰度;
第四调整子单元,用于在所述图像清晰度小于预设阈值时,启动驱动机构以第三步距角带动所述图像采集装置转动对所述图像采集装置进行微调,所述微调以文档中心为中心;
停止子单元,用于获取驱动机构每次以第三步距角动作后的预览图像的图像清晰度,当图像清晰度大于或等于预设阈值时,停止驱动机构的动作。
作为一种可选的实施方式,在本发明实施例第二方面中,所述装置还包括:
训练单元,用于在微调所述图像采集装置的角度的次数等于预设次数时,所述图像清晰度仍小于预设阈值,则:通过图像清晰度识别模型确定图像清晰度最大值的图像中心和文档中心的偏移,通过驱动机构调整图像采集装置的角度,以使所述图像中心和文档中心达到所述偏移。
作为一种可选的实施方式,在本发明实施例第二方面中,所述训练单元,包括:
模型创建子单元,用于创建图像清晰度识别模型;
模型训练子单元,用于通过训练样本输入图像清晰度识别模型,获取每个样本对应的图像清晰度最大值;
初步确定子单元,用于确定所述图像清晰度最大值对应的图像中心和样本的文档中心的初始偏移;
聚类子单元,用于对所述初始偏移进行聚类,得到每个聚类中初始偏移的数量,并选取所述聚类中初始偏移作为目标聚类;
最终确定子单元,用于确定所述目标聚类中所有初始偏移的平均值,将所述平均值作为所述偏移。
本发明实施例第三方面公开一种电子设备,包括:存储有可执行程序代码的存储器;与所述存储器耦合的处理器;所述处理器调用所述存储器中存储的所述可执行程序代码,用于执行本发明实施例第一方面公开的一种文档拍摄的方法的部分或全部步骤。
本发明实施例第四方面公开一种计算机可读存储介质,其存储计算机程序,其中,所述计算机程序使得计算机执行本发明实施例第一方面公开的一种文档拍摄的方法的部分或全部步骤。
本发明实施例第五方面公开一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行本发明实施例第一方面公开的一种文档拍摄的方法的部分或全部步骤。
本发明实施例第六方面公开一种应用发布平台,所述应用发布平台用于发布计算机程序产品,其中,当所述计算机程序产品在计算机上运行时,使得所述计算机执行本发明实施例第一方面公开的一种文档拍摄的方法的部分或全部步骤。
与现有技术相比,本发明实施例具有以下有益效果:
本发明实施例中,在接收到拍照指令后,启动图像采集装置识别拍摄范围内目标文档,获取目标文档的预览图像;确定所述目标文档的边框,并根据所述边框定位所述目标文档的文档中心;确定图像采集装置当前位置的图像中心,计算所述图像中心和文档中心的偏差;根据所述偏差通过驱动机构调整图像采集装置的角度,以使所述图像中心和文档中心重合;计算预览图像的图像清晰度,在所述图像中心和文档中心重合时的图像清晰度小于预设阈值时,微调所述图像采集装置的角度,以使所述图像清晰度大于或等于所述预设阈值;对所述目标文档进行拍照,得到目标文档的拍摄图片。可见,实施本发明实施例,可以通过动态旋转图像采集装置调整使得图像中心和文档中心重合,一方面解决拍照不全的问题,另一方面更方便对拍照图像进行矫正,同时,只需要再微调下图像采集装置就可以得到更清晰的拍照图像。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例公开的一种文档拍摄的方法的流程示意图;
图2为本发明实施例公开的另一种文档拍摄的方法的流程示意图;
图3为本发明实施例公开的一种文档拍摄的装置的结构示意图;
图4为本发明实施例公开的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书中的术语“第一”、“第二”、“第三”、“第四”等是用于区别不同的对象,而不是用于描述特定顺序。本发明实施例的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,示例性地,包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例公开了一种文档拍摄的方法、装置、电子设备和存储介质,可以通过动态旋转图像采集装置并调整实现拍照,解决因图像采集装置方向水平带来的拍摄不清晰问题,以下结合附图进行详细描述。
实施例一
请参阅图1,图1是本发明实施例公开的一种文档拍摄的方法的流程示意图。如图1所示,该文档拍摄的方法包括以下步骤:
110、在接收到拍照指令后,启动图像采集装置识别拍摄范围内目标文档,获取目标文档的预览图像。
图像采集装置为执行拍照功能的器件,其可以集成于电子设备上,例如通过电子设备的图像采集装置对放置于电子设备前的承载体进行拍照,也可以是分立器件,通过有线或无线方式与电子设备建立通讯连接,执行电子设备发送的拍照指令,并将拍照得到的图像发送给电子设备。
承载体为纸质的书本、练习册、作业本或试卷等文档,在点读场景下,通过用户手触承载体并触发相应的拍照指令,实现对承载体的拍照,进而识别用户意图(搜题或题目收录等)。触发拍照的指令有多种,示例性地,可以通过语音方式实现,例如“请拍照”或者“这个词怎么读(这个词什么意思)”等,其中,前一个语音方式仅触发拍照操作,后续用户意图需要新的指令,后一个语音方式是触发拍照操作后,再实现相应的用户意图。还可以通过按键(例如机械按键或触控按键)触发相应的拍照指令,也可以在电子设备(主要指家教机、学习机以及点读机等教辅设备)在进入点读场景例如点读app下触发拍照指令。
在本发明实施例中,接收到拍照指令后,先不会直接对目标文档进行拍照,而是得到目标文档的预览图像,用于对图像采集装置的角度进行调整,调整后,再对目标文档进行拍照。具体是得到图像中心和文档中心,将图像中心调整到文档中心。
120、确定所述目标文档的边框,并根据所述边框定位所述目标文档的文档中心。
步骤120用于确定文档中心在预览图像中的位置,具体可以通过边缘检测例如canny边缘检测或者霍夫变换的直线检测得到目标文档的边框,然后通过边框收缩变换确定文档中心。当然,还可以通过机器学习的方式获得更准确的边框,从而得到更准确的文档中心,示例性地,通过样本对卷积神经网络构建的边框识别模型进行训练,样本为与目标文档类似的纸张,通过标注样本边框(外边缘)作为标签对边框识别模型进行训练,然后将预览图像输入该训练后的边框识别模型,得到目标文档的边框,再通过边框收缩等方式确定文档中心。
130、确定图像采集装置当前位置的图像中心,计算所述图像中心和文档中心的偏差。
步骤130用于确定图像中心在预览图像中的位置,图像中心和文档中心的位置确定并无先后顺序,也可以并行处理。图像中心是指图像采集装置Z轴在拍照对象上呈现的位置,也就是预览图像的中心,图像中心的位置确定可以通过图像采集装置的参数即分辨率确定,例如,如果图像采集装置为30万像素,则其分辨率的主流为640×480,则图像中心在预览图像的像素点为(320,240)。
在一些情况下,图像采集装置的分辨率不能直接获取时,可以通过OpenCV的二值化轮廓通过计算阶距和中心距确定图像中心的位置。通过文档中心和图像中心的位置坐标,可以得到图像中心和文档中心的偏差,偏差为矢量值,包括偏差距离以及偏差方向。
140、根据所述偏差通过驱动机构调整图像采集装置的角度,以使所述图像中心和文档中心重合。
驱动机构为驱动图像采集装置转动的机构,可以采用步进电机直接驱动图像采集装置,也可以通过步进电机与云台的配合即电动云台实现对图像采集装置的转动控制。根据偏差可以确定图像采集装置的转动方向,通过步距角对转动量进行控制。
示例性地,通过训练确定偏差方向与电动云台的转动关系,通过步距角控制转动次数,从而实现图像中心和文档中心的重合。
在一些情况下,如果事先设定的步距角过大,则会出现图像中心无法与文档中心重合的情况,这时,电动云台会一直动作,即图像采集装置频繁抖动,无法实现拍照;而如果设定的步距角过小,则调整时间过长,影响用户体验,同时也可能出现频繁抖动的情况。
在本发明较佳的实施例中,可以通过动态调整步距角的方式实现,首先设定驱动机构的第一步距角A1和第二步距角A2,第一步距角A1和第二步距角A2可以是固定值,也可以是动态调整值,示例性地,如果采用动态调整值,第一步距角可以是根据上述的偏差与第一转动次数设定值的对应关系,使得根据第一步距角转动达到第一转动次数设定值时,图像中心和文档中心当前的偏差小于根据第一步距角一次转动调整的距离,同理,根据图像中心和文档中心当前的偏差以及第二转动次数设定值动态设置第二步距角。显然,第一步距角大于第二步距角,第二步距角大于或等于步进电机的最小步距角。同时,也需要设定当前的偏差在某个范围内,视为图像中心和文档中心重合,否则,如果以步进电机最小步距角仍不能实现二者的完全重合,则还会出现图像采集装置频繁抖动。
以固定的第一步距角和第二步距角为例,当所述偏差大于或等于第一预设距离L1时,启动驱动机构以所述第一步距角带动所述图像采集装置转动,同时每次转动后计算图像中心和文档中心的当前偏差,当图像中心和文档中心的当前偏差大于或等于第二预设距离L2且小于或等于第一预设距离L1时,启动驱动机构以所述第二步距角带动所述图像采集装置转动,每次以第二步距角转动时,也要计算图像中心和文档中心的当前偏差(为了区分,可以称当前较小偏差),在当前较小偏差小于或等于第三预设距离L3时,停止驱动机构的转动。
设置图像中心和文档中心重合的目的有三个,其一,在于使得拍照时避免目标文档内容不在拍摄的图像内,对后续搜题的准确性或题目收录的完整性造成影响,当然,如果目标文档足够大时,即使图像中心和文档中心重合,也很有可能只拍摄局部的目标文档,这种情形不在本发明实施例的保护范围之内,本发明是在图像采集装置的位置确定(在某一个位置下可以实现转动)的情况下,尽可能保证目标文档的各个边缘在拍摄图像内,即使目标文档不在图像采集装置的正下方。其二是便于图像矫正,图像中心和文档中心重合,拍摄图像中的目标文档的形变是线性的,通过相应的变换矩阵较容易实现目标文档的矫正。其三是图像中心和文档中心重合,图像清晰度为最高或趋于最高,更有利于后续的搜题或题目收录。
其中,A1>A2,L1>L2>L3。
150、计算预览图像的图像清晰度,在所述图像中心和文档中心重合时的图像清晰度小于预设阈值时,微调所述图像采集装置的角度,以使所述图像清晰度大于或等于所述预设阈值。
在图像中心和文档中心重合时,计算当前位置对应预览图像的图像清晰度,在所述图像中心和文档中心重合时的图像清晰度大于或等于预设阈值时,可以认为当前位置的拍摄图像可以满足后续操作的需要,则执行步骤160的操作,反之,如果当前位置的图像清晰度小于预设阈值,则对图像采集装置的角度进行微调。预设阈值根据需要设置,图像清晰度的计算方法可以有多种,例如图像直方图法、能量方差法、平方梯度能量法、熵函数法、频谱函数法、拉普拉斯能量法等。在本发明实施例中,采用拉普拉斯-高斯法计算图像清晰度。
微调的方法是以文档中心为中心,在图像中心和文档中心偏差的第四预设距离L4范围内寻求一个位置,使得在该位置下,图像清晰度大于或等于预设阈值。或者在预设的图像中心和文档中心偏差的第四预设距离L4(L4≤L3)范围内寻求一个位置,使得在该位置下,图像清晰度大于或等于预设阈值,且该位置下的图像清晰度最大。微调时的第三步距角采用步进电机的最小步距角。
160、对所述目标文档进行拍照,得到目标文档的拍摄图片。
通过上述操作,最后确定的图像采集装置的角度,可以认为是图像中心和文档中心距离最近且图像清晰度较高的位置,此时,可以对目标文档进行拍照,得到目标文档的拍摄图片。
实施本发明实施例,可以通过动态旋转图像采集装置并调整实现拍照,解决因图像采集装置方向水平带来的拍摄不清晰问题。
实施例二
请参阅图2,图2是本发明实施例公开的另一种文档拍摄的方法的流程示意图。如图2所示,该文档拍摄的方法包括以下步骤:
210、在接收到拍照指令后,启动图像采集装置识别拍摄范围内目标文档,获取目标文档的预览图像。
220、确定所述目标文档的边框,并根据所述边框定位所述目标文档的文档中心。
230、确定图像采集装置当前位置的图像中心,计算所述图像中心和文档中心的偏差。
240、根据所述偏差通过驱动机构调整图像采集装置的角度,以使所述图像中心和文档中心重合。
250、计算预览图像的图像清晰度,在所述图像中心和文档中心重合时的图像清晰度小于预设阈值时,微调所述图像采集装置的角度,以使所述图像清晰度大于或等于所述预设阈值。
260、在微调所述图像采集装置的角度的次数等于预设次数时,所述图像清晰度仍小于预设阈值,则:通过图像清晰度识别模型确定图像清晰度最大值的图像中心和文档中心的偏移,通过驱动机构调整图像采集装置的角度,以使所述图像中心和文档中心达到所述偏移。
270、对所述目标文档进行拍照,得到目标文档的拍摄图片。
步骤210-250以及步骤270可以分别与实施例一中步骤110-160类似,这里不再赘述。
在步骤250中,如果图像清晰度一直达不到预设阈值,则会一直微调,相当于图像采集装置频繁抖动,这种情况下,会缩短驱动机构和图像采集装置的生命周期。因此,通过步骤260为微调次数设定阈值,在微调所述图像采集装置的角度的次数达到预设次数时,如果图像清晰度仍小于预设阈值,则:通过图像清晰度识别模型确定图像清晰度最大值的图像中心和文档中心的偏移,通过驱动机构调整图像采集装置的角度,以使所述图像中心和文档中心达到所述偏移。
当然,也可以不经过图像中心和文档中心的重合操作,直接根据图像清晰度识别模型确定图像中心和文档中心的偏移,这个偏移时图像清晰度最大。
图像清晰度识别模型为事先经过训练的聚类模型,根据不同尺寸的多个样本文档得到对应的图像清晰度最大值的位置,确定图像中心和文档中心之间的初始偏移,然后对初始偏移进行聚类,使得在某一个初始偏移与其预设范围内的其他初始偏移聚类成一个集合,得到多个聚类,选取这些聚类中初始偏移最大的一类作为目标聚类,将目标聚类中的所有初始偏移求和并计算平均值作为最终的偏移(偏移同样也是有大小和方向,即上述的求和以及计算平均值是矢量计算)。之所以采用聚类的平均值而非所有样本文档对应的初始偏移的平均值,在于实际操作中,受环境或其他因素影响,部分数据会存在较大的偏离,但是整体数据理论上在文档中心附近,因此,选取这个范围内的部分作为目标聚类,进行平均值计算更接近图像清晰度最大的位置。
上述计算得到的偏移可以直接作为目标文档的图像最大清晰度时图像中心和文档中心的偏差,在确定当前位置图像中心和文档中心的偏差时,就可以确定图像中心的调整位置,基于此,可以得到图像采集装置的转动量,采用步骤240相类似的方法可以实现图像中心落到上述的调整位置上(该调整位置相当于步骤240中的文档中心)或调整位置的预设范围内,然后在调整位置执行步骤270的拍照操作。
实施本发明实施例,可以通过动态旋转图像采集装置并调整实现拍照,解决因图像采集装置方向水平带来的拍摄不清晰问题。
实施例三
请参阅图3,图3是本发明实施例公开的一种文档拍摄的装置的结构示意图。如图3所示,该文档拍摄的装置可以包括:
接收单元310,用于在接收到拍照指令后,启动图像采集装置识别拍摄范围内目标文档,获取目标文档的预览图像;
确定单元320,用于确定所述目标文档的边框,并根据所述边框定位所述目标文档的文档中心;
计算单元330,用于确定图像采集装置当前位置的图像中心,计算所述图像中心和文档中心的偏差;
粗调单元340,用于根据所述偏差通过驱动机构调整图像采集装置的角度,以使所述图像中心和文档中心重合;
微调单元350,用于计算预览图像的图像清晰度,在所述图像中心和文档中心重合时的图像清晰度小于预设阈值时,微调所述图像采集装置的角度,以使所述图像清晰度大于或等于所述预设阈值;
拍照单元370,用于对所述目标文档进行拍照,得到目标文档的拍摄图片。
作为一种可选的实施方式,所述确定单元320,包括:
识别子单元321,用于将所述预览图像输入预先训练的边框识别模型,确定所述目标文档的边框;
中心确定子单元322,用于根据所述边框确定所述目标文档的文档中心。
作为一种可选的实施方式,所述粗调单元340,包括:
设定子单元341,用于设定驱动机构的第一步距角A1和第二步距角A2,A1>A2;
第一调整子单元342,用于在所述偏差大于或等于第一预设距离L1时,启动驱动机构以所述第一步距角带动所述图像采集装置转动;
第二调整子单元343,用于在所述偏差小于或等于第一预设距离L1且大于或等于第二预设距离L2时,启动驱动机构以所述第二步距角带动所述图像采集装置转动;
第三调整子单元344,用于在所述偏差小于或等于第三预设距离L3时,停止所述驱动机构的动作;
其中,A1>A2,L1>L2>L3。
作为一种可选的实施方式,所述微调单元350,包括:
清晰度获取子单元351,用于在所述图像中心和文档中心重合时,获取预览图像的图像清晰度;
第四调整子单元352,用于在所述图像清晰度小于预设阈值时,启动驱动机构以第三步距角带动所述图像采集装置转动对所述图像采集装置进行微调,所述微调以文档中心为中心;
停止子单元353,用于获取驱动机构每次以第三步距角动作后的预览图像的图像清晰度,当图像清晰度大于或等于预设阈值时,停止驱动机构的动作。
作为一种可选的实施方式,所述装置还可以包括:训练单元360,用于在微调所述图像采集装置的角度的次数等于预设次数时,所述图像清晰度仍小于预设阈值,则:通过图像清晰度识别模型确定图像清晰度最大值的图像中心和文档中心的偏移,通过驱动机构调整图像采集装置的角度,以使所述图像中心和文档中心达到所述偏移。
作为一种可选的实施方式,所述训练单元360,包括:
模型创建子单元361,用于创建图像清晰度识别模型;
模型训练子单元362,用于通过训练样本输入图像清晰度识别模型,获取每个样本对应的图像清晰度最大值;
初步确定子单元363,用于确定所述图像清晰度最大值对应的图像中心和样本的文档中心的初始偏移;
聚类子单元364,用于对所述初始偏移进行聚类,得到每个聚类中初始偏移的数量,并选取所述聚类中初始偏移作为目标聚类;
最终确定子单元365,用于确定所述目标聚类中所有初始偏移的平均值,将所述平均值作为所述偏移。
图3所示的文档拍摄的装置,可以通过动态旋转图像采集装置并调整实现拍照,解决因图像采集装置方向水平带来的拍摄不清晰问题。
实施例四
请参阅图4,图4是本发明实施例公开的一种电子设备的结构示意图。如图4所示,该电子设备可以包括:
存储有可执行程序代码的存储器410;
与存储器410耦合的处理器420;
其中,处理器420调用存储器410中存储的可执行程序代码,执行实施例一至实施例二中文档拍摄的方法中的部分或全部步骤。
本发明实施例公开一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序使得计算机执行实施例一至实施例二中文档拍摄的方法中的部分或全部步骤。
本发明实施例还公开一种计算机程序产品,其中,当计算机程序产品在计算机上运行时,使得计算机执行实施例一至实施例二中文档拍摄的方法中的部分或全部步骤。
本发明实施例还公开一种应用发布平台,其中,应用发布平台用于发布计算机程序产品,其中,当计算机程序产品在计算机上运行时,使得计算机执行实施例一至实施例二中文档拍摄的方法中的部分或全部步骤。
在本发明的各种实施例中,应理解,所述各过程的序号的大小并不意味着执行顺序的必然先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物单元,即可位于一个地方,或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。所述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可获取的存储器中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分,可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等,具体可以是计算机设备中的处理器)执行本发明的各个实施例所述方法的部分或全部步骤。
在本发明所提供的实施例中,应理解,“与A对应的B”表示B与A相关联,根据A可以确定B。但还应理解,根据A确定B并不意味着仅仅根据A确定B,还可以根据A和/或其他信息确定B。
本领域普通技术人员可以理解所述实施例的各种方法中的部分或全部步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种文档拍摄的方法、装置、电子设备和存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (14)

1.一种文档拍摄的方法,其特征在于,包括:
在接收到拍照指令后,启动图像采集装置识别拍摄范围内目标文档,获取目标文档的预览图像;
确定所述目标文档的边框,并根据所述边框定位所述目标文档的文档中心;
确定图像采集装置当前位置的图像中心,计算所述图像中心和文档中心的偏差;
根据所述偏差通过驱动机构调整图像采集装置的角度,以使所述图像中心和文档中心重合;
计算预览图像的图像清晰度,在所述图像中心和文档中心重合时的图像清晰度小于预设阈值时,微调所述图像采集装置的角度,以使所述图像清晰度大于或等于所述预设阈值;
对所述目标文档进行拍照,得到目标文档的拍摄图片。
2.根据权利要求1所述的方法,其特征在于,确定所述目标文档的边框,并根据所述边框定位所述目标文档的文档中心,包括:
将所述预览图像输入预先训练的边框识别模型,确定所述目标文档的边框;
根据所述边框确定所述目标文档的文档中心。
3.根据权利要求1所述的方法,其特征在于,根据所述偏差通过驱动机构调整图像采集装置的角度,以使所述图像中心和文档中心重合,包括:
设定驱动机构的第一步距角A1和第二步距角A2,A1>A2;
在所述偏差大于或等于第一预设距离L1时,启动驱动机构以所述第一步距角带动所述图像采集装置转动;
在所述偏差小于或等于第一预设距离L1且大于或等于第二预设距离L2时,启动驱动机构以所述第二步距角带动所述图像采集装置转动;
在所述偏差小于或等于第三预设距离L3时,停止所述驱动机构的动作。
4.根据权利要求1所述的方法,其特征在于,计算预览图像的图像清晰度,在所述图像中心和文档中心重合时的图像清晰度小于预设阈值时,微调所述图像采集装置的角度,以使所述图像清晰度大于或等于所述预设阈值,包括:
在所述图像中心和文档中心重合时,获取预览图像的图像清晰度;
在所述图像清晰度小于预设阈值时,启动驱动机构以第三步距角带动所述图像采集装置转动对所述图像采集装置进行微调,所述微调以文档中心为中心;
获取驱动机构每次以第三步距角动作后的预览图像的图像清晰度,当图像清晰度大于或等于预设阈值时,停止驱动机构的动作。
5.根据权利要求1-4任一项所述的方法,其特征在于,计算预览图像的图像清晰度,在所述图像中心和文档中心重合时的图像清晰度小于预设阈值时,微调所述图像采集装置的角度,以使所述图像清晰度大于或等于所述预设阈值,之后还包括:
在微调所述图像采集装置的角度的次数等于预设次数时,所述图像清晰度仍小于预设阈值,则:通过图像清晰度识别模型确定图像清晰度最大值的图像中心和文档中心的偏移,通过驱动机构调整图像采集装置的角度,以使所述图像中心和文档中心达到所述偏移。
6.根据权利要求5所述的方法,其特征在于,所述通过图像清晰度识别模型确定图像清晰度最大值的图像中心和文档中心的偏移,包括:
创建图像清晰度识别模型;
通过训练样本输入图像清晰度识别模型,获取每个样本对应的图像清晰度最大值;
确定所述图像清晰度最大值对应的图像中心和样本的文档中心的初始偏移;
对所述初始偏移进行聚类,得到每个聚类中初始偏移的数量,并选取所述聚类中初始偏移作为目标聚类;
确定所述目标聚类中所有初始偏移的平均值,将所述平均值作为所述偏移。
7.一种文档拍摄的装置,其特征在于,所述装置包括:
接收单元,用于在接收到拍照指令后,启动图像采集装置识别拍摄范围内目标文档,获取目标文档的预览图像;
确定单元,用于确定所述目标文档的边框,并根据所述边框定位所述目标文档的文档中心;
计算单元,用于确定图像采集装置当前位置的图像中心,计算所述图像中心和文档中心的偏差;
粗调单元,用于根据所述偏差通过驱动机构调整图像采集装置的角度,以使所述图像中心和文档中心重合;
微调单元,用于计算预览图像的图像清晰度,在所述图像中心和文档中心重合时的图像清晰度小于预设阈值时,微调所述图像采集装置的角度,以使所述图像清晰度大于或等于所述预设阈值;
拍照单元,用于对所述目标文档进行拍照,得到目标文档的拍摄图片。
8.根据权利要求7所述的装置,其特征在于,所述确定单元,包括:
识别子单元,用于将所述预览图像输入预先训练的边框识别模型,确定所述目标文档的边框;
中心确定子单元,用于根据所述边框确定所述目标文档的文档中心。
9.根据权利要求7所述的装置,其特征在于,所述粗调单元,包括:
设定子单元,用于设定驱动机构的第一步距角A1和第二步距角A2,A1>A2;
第一调整子单元,用于在所述偏差大于或等于第一预设距离L1时,启动驱动机构以所述第一步距角带动所述图像采集装置转动;
第二调整子单元,用于在所述偏差小于或等于第一预设距离L1且大于或等于第二预设距离L2时,启动驱动机构以所述第二步距角带动所述图像采集装置转动;
第三调整子单元,用于在所述偏差小于或等于第一预设距离L1且大于或等于第二预设距离L2时,启动驱动机构以所述第二步距角带动所述图像采集装置转动。
10.根据权利要求7所述的装置,其特征在于,所述微调单元,包括:
清晰度获取子单元,用于在所述图像中心和文档中心重合时,获取预览图像的图像清晰度;
第四调整子单元,用于在所述图像清晰度小于预设阈值时,启动驱动机构以第三步距角带动所述图像采集装置转动对所述图像采集装置进行微调,所述微调以文档中心为中心;
停止子单元,用于获取驱动机构每次以第三步距角动作后的预览图像的图像清晰度,当图像清晰度大于或等于预设阈值时,停止驱动机构的动作。
11.根据权利要求7-10任一项所述的装置,其特征在于,所述装置还包括:
训练单元,用于在微调所述图像采集装置的角度的次数等于预设次数时,所述图像清晰度仍小于预设阈值,则:通过图像清晰度识别模型确定图像清晰度最大值的图像中心和文档中心的偏移,通过驱动机构调整图像采集装置的角度,以使所述图像中心和文档中心达到所述偏移。
12.根据权利要求11所述的装置,其特征在于,所述训练单元,包括:
模型创建子单元,用于创建图像清晰度识别模型;
模型训练子单元,用于通过训练样本输入图像清晰度识别模型,获取每个样本对应的图像清晰度最大值;
初步确定子单元,用于确定所述图像清晰度最大值对应的图像中心和样本的文档中心的初始偏移;
聚类子单元,用于对所述初始偏移进行聚类,得到每个聚类中初始偏移的数量,并选取所述聚类中初始偏移作为目标聚类;
最终确定子单元,用于确定所述目标聚类中所有初始偏移的平均值,将所述平均值作为所述偏移。
13.一种电子设备,其特征在于,包括:存储有可执行程序代码的存储器;与所述存储器耦合的处理器;所述处理器调用所述存储器中存储的所述可执行程序代码,用于执行权利要求1至6任一项所述的一种文档拍摄的方法。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储计算机程序,其中,所述计算机程序使得计算机执行权利要求1至6任一项所述的一种文档拍摄的方法。
CN202010582827.3A 2020-06-23 2020-06-23 一种文档拍摄的方法、装置、电子设备和存储介质 Active CN111698428B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010582827.3A CN111698428B (zh) 2020-06-23 2020-06-23 一种文档拍摄的方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010582827.3A CN111698428B (zh) 2020-06-23 2020-06-23 一种文档拍摄的方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN111698428A CN111698428A (zh) 2020-09-22
CN111698428B true CN111698428B (zh) 2021-07-16

Family

ID=72483595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010582827.3A Active CN111698428B (zh) 2020-06-23 2020-06-23 一种文档拍摄的方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN111698428B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113723416B (zh) * 2021-08-30 2024-03-29 北京字节跳动网络技术有限公司 一种图像处理方法、装置、设备及存储介质
CN114374800B (zh) * 2022-01-14 2023-07-14 浙江大华技术股份有限公司 聚焦的处理方法、装置、存储介质及电子装置
CN116170693B (zh) * 2023-04-25 2023-07-21 山西乐宸科技有限公司 一种安防监控系统控制方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107979727A (zh) * 2017-11-30 2018-05-01 努比亚技术有限公司 一种文档图像处理方法、移动终端及计算机存储介质
CN110463177A (zh) * 2017-04-06 2019-11-15 华为技术有限公司 文档图像的校正方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017018043A1 (ja) * 2015-07-29 2017-02-02 京セラ株式会社 電子機器、電子機器の動作方法及び制御プログラム
CN105306825A (zh) * 2015-11-18 2016-02-03 成都中昊英孚科技有限公司 一种新型红外图像调焦系统及其使用方法
JP6503478B2 (ja) * 2016-01-20 2019-04-17 株式会社Pfu モバイル端末、画像処理方法、および、プログラム
CN107517344A (zh) * 2016-06-15 2017-12-26 珠海格力电器股份有限公司 摄像装置识别范围的调整方法及装置
CN106878617B (zh) * 2017-03-06 2019-05-31 中国计量大学 一种对焦方法及系统
CN110337622A (zh) * 2018-08-31 2019-10-15 深圳市大疆创新科技有限公司 竖向增稳装置控制方法、竖向增稳装置及图像获取设备
CN110460772B (zh) * 2019-08-14 2021-03-09 广州织点智能科技有限公司 摄像头自动调节方法、装置、设备和存储介质
CN111314609B (zh) * 2020-02-24 2021-07-20 浙江大华技术股份有限公司 一种控制云台追踪摄像的方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110463177A (zh) * 2017-04-06 2019-11-15 华为技术有限公司 文档图像的校正方法及装置
CN107979727A (zh) * 2017-11-30 2018-05-01 努比亚技术有限公司 一种文档图像处理方法、移动终端及计算机存储介质

Also Published As

Publication number Publication date
CN111698428A (zh) 2020-09-22

Similar Documents

Publication Publication Date Title
CN111698428B (zh) 一种文档拍摄的方法、装置、电子设备和存储介质
CN109977770B (zh) 一种自动跟踪拍摄方法、装置、系统及存储介质
CN111698426B (zh) 一种试题拍摄的方法、装置、电子设备和存储介质
CN107770452B (zh) 一种拍照方法及终端和相关介质产品
JP2010218061A (ja) 画像処理装置
CN109639952B (zh) 一种拍照搜题方法及电子设备
CN109657576B (zh) 图像采集控制方法、装置、存储介质及系统
CN109120854B (zh) 图像处理方法、装置、电子设备及存储介质
CN110166694B (zh) 拍照提示方法及装置
CN108600610A (zh) 拍摄辅助方法和装置
CN109451240B (zh) 对焦方法、装置、计算机设备和可读存储介质
CN111191644B (zh) 身份识别方法、系统及装置
CN106446880A (zh) 信息提供系统以及计算机程序
CN111062404A (zh) 自动建立物件辨识模型的方法
CN111077992B (zh) 一种点读方法、电子设备及存储介质
CN110213605B (zh) 图像纠正方法、装置及设备
CN108289176B (zh) 一种拍照搜题方法、搜题装置及终端设备
CN114500857A (zh) 一种图像拍摄方法、装置、终端设备以及存储介质
CN107992816B (zh) 一种拍照搜索方法、装置、电子设备及计算机可读存储介质
CN110047115B (zh) 星辰图像拍摄方法、装置、计算机设备和存储介质
CN110751105B (zh) 一种手指图像采集方法、装置及存储介质
CN105100616B (zh) 一种图像处理方法及电子设备
CN110868543A (zh) 一种智能拍照方法、装置和计算机可读存储介质
CN110660091A (zh) 一种图像配准处理方法、装置和拍照批改作业系统
CN116363725A (zh) 显示设备的人像追踪方法、系统、显示设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant