CN113596276A - 便携式电子设备的扫描方法及系统、电子设备及存储介质 - Google Patents
便携式电子设备的扫描方法及系统、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113596276A CN113596276A CN202110721997.XA CN202110721997A CN113596276A CN 113596276 A CN113596276 A CN 113596276A CN 202110721997 A CN202110721997 A CN 202110721997A CN 113596276 A CN113596276 A CN 113596276A
- Authority
- CN
- China
- Prior art keywords
- scanning
- portable electronic
- preset
- electronic device
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00795—Reading arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种便携式电子设备的扫描方法及系统、电子设备及存储介质,所述扫描方法包括以下步骤:获取所述便携式电子设备的成像平面与扫描对象表面之间满足预设扫描条件时,所述便携式电子设备的预设的倾斜参数;获取所述便携式电子设备的当前的倾斜参数;若所述当前的倾斜参数与所述预设的倾斜参数的误差处于预设范围内,则控制所述便携式电子设备对所述扫描对象表面进行扫描。本发明通过提供一种便携式电子设备的扫描方法及系统、电子设备及存储介质,使得便携式电子设备在扫描过程中保持合理的位姿,从而能够确保扫描成果的精度,提高了扫描操作的效率,也使得扫描的成果更适于进行裁剪等后处理。
Description
技术领域
本发明涉及计算机技术领域,具体涉及一种便携式电子设备的扫描方法及系统、电子设备及存储介质。
背景技术
越来越多的便携式电子设备借助强大的拍摄功能和图形图像处理能力,具备足以媲美传统扫描仪的文档扫描功能。
然而手机等便携式电子设备在扫描时,由于通常需要用户手持操作,而对于大多数用户来说,在一次手持扫描尤其是对于长文本的手持扫描过程中,始终持稳电子设备以将其保持在同一平面也绝非易事。这样就会导致拍摄过程中便携式电子设备并不稳定,扫描得到的图像容易变形失真,内容倾斜残缺,影响对文本的识别率及精度,甚至难以进行后期处理。
目前一些便携式电子设备通过设置额外的支架等设备以便在扫描过程中固定位姿,但这样不仅要占用多余空间,还大大降低了便携式电子设备作为扫描工具的便携性和操作简易性。
发明内容
本发明要解决的技术问题是为了克服现有技术中对扫描设备的位姿难以控制导致扫描效果不佳的缺陷,提供一种便携式电子设备的扫描方法及系统、电子设备及存储介质。
本发明是通过下述技术方案来解决上述技术问题:
本发明提供了一种便携式电子设备的扫描方法,所述扫描方法包括以下步骤:
获取所述便携式电子设备的成像平面与扫描对象表面之间满足预设扫描条件时,所述便携式电子设备的预设的倾斜参数;
获取所述便携式电子设备的当前的倾斜参数;
若所述当前的倾斜参数与所述预设的倾斜参数的误差处于预设范围内,则控制所述便携式电子设备对所述扫描对象表面进行扫描。
较佳地,所述预设扫描条件包括:所述便携式电子设备的成像平面与所述扫描对象表面平行;所述倾斜参数包括水平倾角。
较佳地,所述预设扫描条件包括:所述便携式电子设备的成像平面的中心轴与扫描对象表面的中心轴平行;所述倾斜参数包括磁方位角。
较佳地,所述扫描方法还包括:
对所述扫描对象表面通过动态拍摄进行扫描,以获得至少两帧图像;
从所有图像中获取目标图像,其中在所有图像中,所述目标图像对应的倾斜参数与所述预设的倾斜参数的差值绝对值最小。
较佳地,所述扫描方法还包括:
对所述扫描对象表面通过全景拍摄进行扫描,以获得至少两帧图像;
从所有图像中获取基准图像,其中在所有图像中,所述基准图像对应的倾斜参数与所述预设的倾斜参数的差值绝对值最小;
对所述基准图像以外的图像进行仿射变换,以使仿射变换后的图像的倾斜参数与所述基准图像对应的倾斜参数一致;
对所述基准图像以及仿射变换后的图像进行图像融合处理,以获取全景图像。
较佳地,所述对所述扫描对象表面通过全景拍摄进行扫描,以获得至少两帧图像的步骤还包括:获取所述图像对应的扫描距离,所述扫描距离为所述便携式电子设备的摄像头在焦距方向上到所述扫描对象表面的距离;
所述基准图像对应的扫描距离为基准扫描距离;
所述对所述基准图像以外的图像进行仿射变换的步骤还使仿射变换后的图像的扫描距离与所述基准扫描距离一致。
较佳地,所述扫描方法还包括:
获取至少两组扫描距离与所述扫描距离下所述扫描对象在所述便携式电子设备的成像区域内的面积占比的对应关系;所述扫描距离为所述便携式电子设备的摄像头在焦距方向上到所述扫描对象表面的距离;
基于所述对应关系确定最佳扫描距离;
生成第一提示信息,所述第一提示信息包括所述最佳扫描距离。
较佳地,所述获取所述便携式电子设备的当前的倾斜参数的步骤之后还包括:
若所述当前的倾斜参数与所述预设的倾斜参数的误差超过预设范围,则生成第二提示信息,所述第二提示信息用于提示用户调整所述便携式电子设备,以使所述误差缩小至所述预设范围内。
本发明还提供了一种便携式电子设备的扫描系统,所述扫描系统包括:
参数预设模块,用于获取所述便携式电子设备的成像平面与扫描对象表面之间满足预设扫描条件时,所述便携式电子设备的预设的倾斜参数;
参数获取模块,用于获取所述便携式电子设备的当前的倾斜参数;
扫描控制模块,用于在所述当前的倾斜参数与所述预设的倾斜参数的误差处于预设范围内时,控制所述便携式电子设备对所述扫描对象表面进行扫描。
较佳地,所述预设扫描条件包括:所述便携式电子设备的成像平面与所述扫描对象表面平行;所述倾斜参数包括水平倾角。
较佳地,所述预设扫描条件包括:所述便携式电子设备的成像平面的中心轴与扫描对象表面的中心轴平行;所述倾斜参数包括磁方位角。
较佳地,所述扫描系统还包括:
动态拍摄模块,用于对所述扫描对象表面通过动态拍摄进行扫描,以获得至少两帧图像;
目标图像获取模块,用于从所有图像中获取目标图像,其中在所有图像中,所述目标图像对应的倾斜参数与所述预设的倾斜参数的差值绝对值最小。
较佳地,所述扫描系统还包括:
全景拍摄模块,用于对所述扫描对象表面通过全景拍摄进行扫描,以获得至少两帧图像;
基准图像获取模块,用于从所有图像中获取基准图像,其中在所有图像中,所述基准图像对应的倾斜参数与所述预设的倾斜参数的差值绝对值最小;
仿射变换模块,用于对所述基准图像以外的图像进行仿射变换,以使仿射变换后的图像的倾斜参数与所述基准图像对应的倾斜参数一致;
全景图像获取模块,用于对所述基准图像以及仿射变换后的图像进行图像融合处理,以获取全景图像。
较佳地,所述全景拍摄模块还用于:获取所述图像对应的扫描距离,所述扫描距离为所述便携式电子设备的摄像头在焦距方向上到所述扫描对象表面的距离;
所述基准图像对应的扫描距离为基准扫描距离;
所述仿射变换模块还用于使仿射变换后的图像的扫描距离与所述基准扫描距离一致。
较佳地,所述扫描系统还包括:
成像区域分析模块,用于获取至少两组扫描距离与所述扫描距离下所述扫描对象在所述便携式电子设备的成像区域内的面积占比的对应关系;所述扫描距离为所述便携式电子设备的摄像头在焦距方向上到所述扫描对象表面的距离;
最佳距离确定模块,用于基于所述对应关系确定最佳扫描距离;
第一提示信息模块,用于生成第一提示信息,所述第一提示信息包括所述最佳扫描距离。
较佳地,所述扫描系统还包括:
第二提示信息模块,用于当所述当前的倾斜参数与所述预设的倾斜参数的误差超过预设范围时生成第二提示信息,所述第二提示信息用于提示用户调整所述便携式电子设备,以使所述误差缩小至所述预设范围内。
本发明还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述的便携式电子设备的扫描方法。
本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的便携式电子设备的扫描方法。
本发明的积极进步效果在于:通过提供一种便携式电子设备的扫描方法及系统、电子设备及存储介质,使得便携式电子设备在扫描过程中保持合理的位姿,从而能够确保扫描成果的精度,提高了扫描操作的效率,也使得扫描的成果更适于进行裁剪等后处理。
附图说明
图1为本发明的实施例1的便携式电子设备的扫描方法的流程图。
图2为本发明的实施例1中获取预设的磁方位角的示意图。
图3为本发明的实施例1中获取水平仪读数的示意图。
图4为本发明的实施例1中的扫描对象和成像区域的示意图。
图5为本发明的实施例2的便携式电子设备的扫描系统的模块示意图。
图6为本发明的实施例3的电子设备的结构框图。
具体实施方式
下面通过实施例的方式进一步说明本发明,但并不因此将本发明限制在所述的实施例范围之中。
实施例1
参见图1所示,本实施例具体提供了一种便携式电子设备的扫描方法,包括以下步骤:
S1.获取便携式电子设备的成像平面与扫描对象表面之间满足预设扫描条件时,便携式电子设备的预设的倾斜参数。
S2.获取便携式电子设备的当前的倾斜参数。
S3.若当前的倾斜参数与预设的倾斜参数的误差处于预设范围内,则控制便携式电子设备对扫描对象表面进行扫描。
本实施例中的便携式电子设备是带有图像拍摄功能的电子设备;包括但不限于手机及平板电脑。较佳地,该电子设备的拍摄分辨率符合扫描的分辨率要求,例如通常对于文档扫描要求分辨率达到200dpi(Dots Per Inch,每英寸点数),则对应的电子设备的最高分辨率应该能达到相应的参数,以满足200dpi的扫描分辨率。为便于说明,本实施例中仅以手机为例描述便携式电子设备的扫描方法。同样,对于扫描对象,通常是矩形纸张内的文本、图案或其结合,通常扫描对象具有相对平展的表面,本实施例中仅以上述扫描文本作为扫描对象为例进行说明。可以理解,本实施例的扫描方法并不限于对上述手机和扫描文本的应用场景。
步骤S1获取便携式电子设备的成像平面与扫描对象表面之间满足预设扫描条件时,便携式电子设备的预设的倾斜参数。
通常扫描文件或证件时由于采用专业的扫描仪固定压纸,因此不会存在扫描过程中拍摄角度的变换造成的扫描结果变形。然而采用手持手机扫描的过程很难保证手机摄像头与扫描文本之间平行,所扫描的文本很容易倾斜且内容不全。即使通过扫描软件后期矫正也有较大困难,例如由于原本是矩形的文本被拍摄为不规则四边形,后期矫正处理可能需要将文本调节为梯形或者为了保证文本的形状而缩减文本内容。
因此,为了确保手机在扫描过程中能够保持合理的位姿进行针对扫描文本的拍摄,步骤S1首先获取手机的成像平面在满足扫描文本表面符合预设扫描条件时的倾斜参数,该预设扫描条件可以被认为是在扫描文本处于相对静态环境的情况下,手机基于扫描文本进行的位姿参数取样,目的在于,基于该取样结果,使手机获得一预设的倾斜参数,根据该倾斜参数执行扫描操作时,满足相对理想的位姿状态,获得符合要求的扫描效果。
其中,手机的成像平面即像平面,手机成像平面就是CCD(charge coupleddevice,电荷耦合器件)等感光元件。通常和呈平板状的手机外形是平行的,但也不排除一些电子设备设计中手机外形较为独特或摄像头的设置位置在手机侧方等情况,则此时成像平面不一定和手机整体形成的平面重合或平行。而获取手机预设的倾斜参数,需要和手机扫描状态符合最大关联度和最佳评价标准的平面。虽然理论上手机的焦平面平行于成像平面,但由于根据扫描对象的不同,焦平面需要经调焦操作才会与像平面重合,因此本实施例中设置手机的成像平面作为倾斜参数的参考。
对于扫描文本,则可以平展放置于不同的位置,例如可能是水平的桌面,也可能是倾斜的书案,甚至可能是贴设于竖直的墙上或天花板。
获取手机的预设的倾斜参数可以根据实际场景实现,并不局限于某种特定的方式。由于上述现有技术的缺陷,本实施例旨在最大可能保证手机的成像平面和扫描文本的表面具有相应的倾斜参数即可,例如平行。因此,通常预设的倾斜参数的获取只要取得扫描文本的表面的倾斜参数,就可以相应地获取和设置手机的预设倾斜参数。
例如对于用于放置扫描文本的桌面,如果是已知的水平桌面或竖直墙面,则可以直接获取手机的相关预设的倾斜参数。又如可以通过传感器感知并获取扫描文本相应的参数。在此基础上,步骤S1就能实现对于手机预设的倾斜参数的获取。
步骤S2获取便携式电子设备的当前的倾斜参数。如上所述,在获取了手机预设的倾斜参数的情况下,还需要获取手机当前的倾斜参数用于与之进行对比计算,并判断手机的当前位姿是否符合上述扫描要求。当然,上述预设和当前的倾斜参数均可能包括不止一种,但在计算和对比时是分别一一对应进行以获得判断结果。
如果当前的倾斜参数和预设的倾斜参数的误差超出了预设范围,则可以认为此时的手机位姿进行扫描将无法得到符合要求的扫描结果。因此,可以在手机上向用户发出一些必要的提示;例如倾斜参数的种类、偏差角度等,以使用户对扫描操作予以纠偏。
反之,如果当前的倾斜参数和预设的倾斜参数的误差处于预设范围内,则步骤S3控制手机对于扫描文本进行扫描。该预设范围通常可以根据对扫描精度的要求来设定,例如对于较高的扫描精度可以将预设范围设定为接近于零。由于满足上述条件,可以认为此时的手机位姿进行扫描能够得到符合要求的扫描结果,即内容完整,形变可控且较小。
作为一种可选的实施方式,预设扫描条件为便携式电子设备的成像平面与扫描对象表面平行。倾斜参数为水平倾角。
为了克服手机的成像平面和扫描文本的表面的不平行导致的上述问题,本实施方式设定预设扫描条件为便携式电子设备的成像平面与扫描对象表面平行。相应地,设定倾斜参数为水平倾角。水平倾角,即直线或平面与水平面形成的夹角。预设的水平倾角可以表征扫描文本的放置的水平程度,例如在水平的桌面上的扫描文本,则其水平倾角为0°;相应地,如果预设扫描条件为手机与扫描文本平行,则手机进行扫描的条件同样也是水平倾角为0°。当然本领域技术人员可以知晓,预设扫描条件除了上述便携式电子设备的成像平面与扫描对象表面平行之外,也可以包括其他设置方式。例如,便携式电子设备的成像平面与扫描对象表面的水平倾角的误差值为一预设区间。具体地,例如手机和扫描文本表面的水平倾角的误差值为±5°。
水平仪是一种测量角度的常用量具,用于测量水平倾角、设备安装的水平位置和垂直位置等。按水平仪的外形不同可分为万向水平仪、柱式水平仪、框式水平仪、尺式水平仪等。其中气泡式万向水平仪的水准管是由玻璃制成,水准管内壁是一个具有一定曲率半径的曲面,管内装有液体,当水平仪发生倾斜时,水准管中气泡就向水平仪升高的一端移动,从而确定水平面的位置。水准管内壁曲率半径越大,分辨率就越高,水平仪的精度就越高。此外,还包括具有类似功能且带有读数显示的电感式水平仪。
本实施方式中,如果手机具有上述水平仪,并且手机外形呈平面状,满足上述成像平面和手机整体平面平行的要求;则对于使手机满足预设扫描条件即手机与扫描文本平行,可以通过以下方式实现:
将手机贴紧放置于扫描文本表面,获取此时水平仪的读数α作为预设的水平倾角,该预设的水平倾角即表征了扫描文本表面的倾斜情况。按照读数α来调整手机扫描时的位姿,就能够确保扫描过程中成像平面和扫描文本表面保持较好的平行度,获得较佳的扫描结果。
本实施方式通过设置预设扫描条件为便携式电子设备的成像平面与扫描对象表面平行,以及将倾斜参数设置为水平倾角,保证了扫描过程中便携式设备的成像平面能够和扫描对象表面呈平行,从而避免扫描得到的图像由于上述两个平面之间产生的夹角过大导致的形变,保证了扫描文本的质量和易处理性,提高了扫描效果。
作为另一种可选的实施方式,预设扫描条件为便携式电子设备的成像平面的中心轴与扫描对象表面的中心轴平行;倾斜参数为磁方位角。
通过手机等便携式设备扫描文本的另一个难点在,传统的扫描设备能够将扫描文本按固定位置放置后,保证扫描文本在扫描拍摄成像的过程中,整体位于扫描设备摄像头的成像平面内,并且扫描文本的表面的中心轴平行或接近平行于成像平面的中心轴,从而获得包括完整且扫描图像的边缘与其中的扫描文本边缘平齐的扫描结果。而通过握持等方式进行扫描,虽然通常能够保证扫描文本表面的整体成像,但由于上述的原因即手机位姿的不固定,十分容易由于拍摄过程中取景框未对准扫描文本而导致最终的扫描图像中,扫描文本是歪斜的,需要进行旋转切割等后处理。
为了克服手机的成像平面和扫描文本的表面在投影方向上的方向不一致导致的上述问题,本实施方式设定预设扫描条件为便携式电子设备的成像平面的中心轴与扫描对象表面的中心轴平行;倾斜参数为磁方位角。
磁方位角即指南针的指针朝向,是由通过某点磁子午线北端起算,顺时针方向至某一直线间的夹角(即地球南北极上的磁南、磁北两点间的连线)。当然因为地球南北磁极与南北极并不重合而存在磁偏角,各地的磁偏角视经纬度而各不相同,没有统一的校正角度,需要根据各地的磁偏角数据对磁方位角进行修正后才能获取相对精确的读数。但本实施例中对于便携式电子设备的成像平面中心轴和扫描对象表面中心轴获取指南针的读数,旨在确定其相对关系,因此对于位于同地的两者并不存在上述磁偏角的影响。
预设的磁方位角可以表征扫描文本的放置方向,假设首先将扫描文本按照一定方向进行放置,则按照上述预设扫描条件需要使成像平面也处于该方向。当然本领域技术人员可以知晓,预设扫描条件除了上述便携式电子设备的成像平面与扫描对象表面方向一致之外,也可以包括其他设置方式。例如,便携式电子设备的成像平面的中心轴与扫描对象表面的中心轴为一预设区间。具体地,例如便携式电子设备的成像平面的中心轴与扫描对象表面的中心轴的误差值为±5°。
本实施方式中,如果手机具有指南针功能,并且手机外形呈矩形,则对于使手机满足上述预设扫描条件可以通过以下方式实现:
参见图2所示,可以将手机贴紧放置于扫描文本表面,并且使得手机的两条相邻边缘与扫描文本的两条相邻边缘保持齐平,当然可以理解,此时还需保持取景框与扫描文本的长宽方向一致。则获取此时的指南针的读数β作为预设的磁方位角,该预设的磁方位角即表征了扫描文本表面的放置方向。按照读数β来调整手机扫描时的位姿,就能够确保扫描过程中成像平面和扫描文本表面保持相对一致的方向,获得较佳的扫描结果。
当然,除了上述方式之外,也可以通过其他方式获得预设的磁方位角,例如预先将手机取景框对准扫描文本,并且在手机取景框显示纵横垂直的指示线,以便于对准对其扫描文本的边缘时,获取上述预设的磁方位角。
本实施方式通过设置预设扫描条件为便携式电子设备的成像平面与扫描对象表面的中心轴方向一致,以及将倾斜参数设置为磁方位角,保证了扫描过程中便携式设备的成像平面和扫描对象表面在投影方向的朝向一致,从而避免扫描得到的图像由于上述两个平面的方向不一致导致的成像歪斜不易处理,提高了扫描文本的质量。
作为一种可选的实施方式,本实施例的扫描方法还包括步骤:
S41.对扫描对象表面通过动态拍摄进行扫描,以获得至少两帧图像。
S42.从所有图像中获取目标图像,其中在所有图像中,目标图像对应的倾斜参数与预设的倾斜参数的差值绝对值最小。
目前大多数手机以及其他可作为便携式电子设备的电子设备都带有动态拍摄功能,即在短时间可拍摄连续的图像,通常可以达到拍摄每秒8张及以上。利用动态拍摄功能,可以较好地弥补通过握持等方式进行扫描带来的便携式电子设备自身位姿不固定的缺陷。
步骤S41对扫描对象表面通过动态拍摄进行扫描获得至少两帧图像,即通过上述动态拍摄的方式对扫描文本进行连拍,获得连拍图像。步骤S42从上述连拍获得的所有图像中,基于与预设的倾斜参数的比较,遴选与预设的倾斜参数的差值绝对值最小的倾斜参数对应的图像作为目标图像,即最终的扫描成果。
步骤S42中,以上述具有水平仪功能时设定的水平倾角为倾斜参数为例进行说明。水平仪为气泡式圆盘水平仪,并且带有横坐标及纵坐标的四象限二维坐标刻度,水平倾角可以通过气泡的纵横坐标读数获得。则假设扫描文本放置于桌面时,水平仪的气泡的坐标读数为(x’,y’),则对于连拍后获得n张图像,获取其中气泡的坐标读数:
其中,(xi,yi)分别为第i张图像的水平仪的气泡的坐标读数。从而与最终获取的Ai对应就是符合要求的目标图像,即具有拍摄时与扫描文本表面最接近平行的手机成像平面。
作为其中的一个例子,参见图3所示,假设扫描文本放置于水平桌面,则获取的预设的水平倾角为0°,即手机贴置于扫描文本时的水平仪气泡居中,坐标为(0,0);假设握持手机让气泡沿虚线图3的虚线轨迹通过原点(0,0)完成动态拍摄获得了一组图像,只需要计算:
同样地,上述步骤S41、S42适用于倾斜参数为磁方位角的应用场景,并且在一种应用场景中,可以将上述至少包括水平倾角和磁方位角的两种当前的倾斜参数同时与各自的预设的倾斜参数进行比较,分别获得的差值绝对值则可以按照一定的权重进行综合计算。
例如,按照上述步骤分别获得每张图片的水平倾角与的预设的水平倾角的差值绝对值为Tα,每张图片的水平倾角与的预设的水平倾角的差值绝对值为Tβ,如果设定符合水平倾角与预设一致的权重为0.6,符合磁方位角与预设一致的权重为0.4,则每张图片的倾斜参数的差值绝对值的综合值S=Tα*0.6+Tβ*0.4,从而在所有连拍获得的图像中,获取具有最小值的S;其对应的图像即为目标图像。此外还应当理解,本实施方式中的倾斜参数包括但不限于上述两种方式及组合。
本实施方式充分利用了便携式电子设备的动态拍摄功能,并对拍摄过程中难以避免的抖动造成的扫描图像偏差通过自动择优的方式予以克服,从而增加了获得质量符合要求的图片的可能性,且通过一次连拍代替多次扫描,提升了便携式设备的扫描效率和扫描效果。
在一种可选的实施方式中,本实施例的扫描方法还包括:
S401.对扫描对象表面通过全景拍摄进行扫描,以获得至少两帧图像。
S402.从所有图像中获取基准图像,其中在所有图像中,基准图像对应的倾斜参数与预设的倾斜参数的差值绝对值最小。
S403.对基准图像以外的图像进行仿射变换,以使仿射变换后的图像的倾斜参数与基准图像对应的倾斜参数一致。
S404.对基准图像以及仿射变换后的图像进行图像融合处理,以获取全景图像。
目前大多数手机以及其他可作为便携式电子设备的电子设备还具备全景拍摄功能用于拍摄全景照片(Panoramic Photo),全景照片通常是指符合人眼正常有效视角或包括双眼余光视角以上乃至360°完整场景范围拍摄的照片。扫描文本大多数情况下是A4(210毫米×297毫米)尺寸的纸型,但也有些特殊的内容如画卷、代码文本等需要长宽比值较大的长条形扫描文本作为载体,在这种应用场景中为了将所有的文本进行扫描,可以通过全景拍摄来实现。但是在全景拍摄的过程中,握持手机的时间较长,摄像头极易发生抖动偏移导致拍摄效果不佳。本实施方式提供的长文本扫描技术即针对上述由于扫描过程中扫描设备位姿不固定造成的缺陷加以改进。
步骤S401对扫描对象表面通过动态拍摄进行扫描获得至少两帧图像,即通过上述动态拍摄的方式对扫描文本进行连拍,获得连拍图像。步骤S42从上述连拍获得的所有图像中,基于与预设的倾斜参数的比较,遴选与预设的倾斜参数的差值绝对值最小的倾斜参数对应的图像作为基准图像。当然,对于步骤S402,同样可以针对水平倾角、磁方位角以及其他倾斜参数进行评价,评价结果也可以如上一实施方式中所述依据权重等不同方式进行组合评价,由于具体涉及的原理类似不再赘述。
通常全景拍摄的实现分为如下步骤:特征检测、特征匹配、计算单应性矩阵、图像变形以及图像拼合。步骤S402从所有拍摄的图像中,获取基准图像作为特征检测和特征匹配的参考依据,由于在所有的图像中,基准图像对应的倾斜参数与预设的倾斜参数的差值绝对值最小,可以认为该基准图像具有较强的位姿参考评价意义。基于该基准图像的倾斜参数以及其他图像特征作出的全景图像生成结果也能较好地还原扫描文本的内容。
步骤S403对基准图像以外的图像进行仿射变换,以使仿射变换后的图像的倾斜参数与基准图像对应的倾斜参数一致。
仿射变换又称仿射映射,是指在几何中一个向量空间进行一次线性变换并接上一个平移,变换为另一个向量空间。其计算过程可能包括平移、旋转、放缩、剪切、反射;其计算得到的结果具有特征:线段在仿射变换后依然是线段并且相互间比例保持不变。而全景图像的生成过程中,由于通过本实施方式中获取的具有较高质量的图像作为基准图像,其他图像基于基准图像进行仿射变换而得到一组图像,能够保证全景图像的质量。
步骤S404对基准图像以及仿射变换后的图像进行图像融合处理以获取全景图像。由于经过仿射变换后的图像具有较高的特征点拟合度,因此进行图像融合拼接时对每幅图进行特征点提取、匹配、配准的准确性更高,对各图像的重叠边界的处理更精确,从而能够得到效果更佳的全景图像。
本实施方式利用便携式电子设备的全景图像动态拍摄功能进行长文本扫描,并基于倾斜参数获取基准图像,从而保证能够生成更为精确的全景图像,解决了以往由于拍摄过程的人为操作误差造成的全景图像失真和质量较低的问题,提升了便携式设备对于长文本的扫描效果。
对于上述实施方式,步骤S301还包括:获取图像对应的扫描距离,扫描距离为便携式电子设备的摄像头在焦距方向上到扫描对象表面的距离。基准图像对应的扫描距离为基准扫描距离;步骤S303还使仿射变换后的图像的扫描距离与基准扫描距离一致。
TOF(Time-of-Flight,飞行时间)摄像头是一种使用调制光源照亮场景并观察反射光进行测距的3D(三维)摄像头,利用TOF测量原理确定摄像头与物体或周围环境之间距离,并通过测量的点生成深度图像或3D图像,测距原理即通过测量光在某介质中行进一段距离所需的时间,通常是对脉冲发射光到达物体并反射回到传感器所用时间测量。由于TOF摄像头能够收集景深信息并且可以获取更多的图像细节,因此其不仅可以获取更多高精度的特征点用于后续的图像融合操作,还能获得更精细的扫描效果。本实施例通过TOF摄像头获得精确的扫描距离,有助于在图像融合过程中进行更准确的特征匹配。本实施方式进一步通过设置扫描距离综合评价并获取基准图像,使得基准图像在全景图像生成的过程中具有更高的参考意义,进一步提高了全景图像的精确度,进一步改善长文本扫描的图像失真问题并提升了便携式设备对于长文本的扫描效果。
在一种可选的实施方式中,本实施例的扫描方法还包括:
S501.获取至少两组扫描距离与该扫描距离下,扫描对象在便携式电子设备的成像区域内的面积占比的对应关系。可以理解,扫描距离和上一实施方式中相同,均为便携式电子设备的摄像头在焦距方向上到扫描对象表面的距离。
S502.基于所述对应关系确定最佳扫描距离;
S503.生成第一提示信息,所述第一提示信息包括所述最佳扫描距离。
参见图4,对于固定放置的扫描对象A,为了尽量减少不必要的多次重复扫描,应当在扫描过程中,尽可能将其成像a包含于便携式电子设备的成像区域a’中,同时,为了保证扫描的精度以便后期处理,还应当尽可能地使其成像a在成像区域a’中的面积占比a/a’达到最大。
具体地,步骤S501可以在扫描的准备过程中即聚焦阶段,或是扫描过程中,当检测到便携式电子设备的摄像头在焦距方向上到扫描对象表面的距离发生变化时,通过文本边缘检测获取文本范围、文本边缘等参数,以及在此基础上获取至少两组扫描距离与上述面积占比的对应关系。步骤S502据此解算得到基于当前扫描对象的放置位置,应当以何种距离进行扫描为宜,该距离即最佳扫描距离。该最佳扫描距离也就是保证文本边缘均落入上述成像区域a’的同时,使得面积占比a/a’为最大值时的扫描距离。
最后,步骤S503显示该最佳扫描距离,帮助用户及时调整便携式电子设备以更准确地进行扫描。
本实施方式通过对扫描文本的成像区域的图像分析获取扫描文本在其中的面积占比,进而确定对于该扫描文本的最佳扫描距离并提示给用户,从而有助于获得更好的扫描效果,确保扫描工作效率的同时,能够获得尽可能高的扫描清晰度。
在一种可选的实施方式中,步骤S2之后还包括:
S3’.若当前的倾斜参数与预设的倾斜参数的误差超过预设范围,则生成第二提示信息,第二提示信息用于提示用户调整便携式电子设备以使误差缩小至预设范围内。
具体地,当倾斜参数为水平倾角时,如果当前的水平倾角为30°,预设的水平倾角为5°,误差的预设范围为10°;则当前的水平倾角和预设的水平倾角的误差25°超过预设范围,则发出第二提示信息。例如,可实时显示当前的水平倾角和预设的水平倾角的差值绝对值,并且当检测到该绝对值趋近上述预设范围值时显示绿色箭头;反之,当检测到该绝对值远离上述预设范围值时显示红色的警示箭头。
当倾斜参数为磁方位角时,如果当前的磁方位角为西偏南20°,预设的磁方位角为西偏北5°,而误差的预设范围为10°;则当前的磁方位角和预设的磁方位角的误差25°超过预设范围,则发出第二提示信息。此时,可于电子设备实时显示当前的磁方位角和预设的磁方位角的差值绝对值,以及显示一箭头表征用户应当将便携式电子设备转向的方向,同时对于箭头颜色,可当检测到该差值绝对值趋近上述预设范围值时显示绿色箭头;反之,当检测到该绝对值远离上述预设范围值时显示红色的警示箭头。
本实施方式在便携式电子设备扫描过程中倾斜参数超出预设范围的情况下,发出针对性的提示以帮助用户进行纠偏,从而有利于获得更佳的扫描效果,提高了用户体验。
本实施例通过提供一种便携式电子设备的扫描方法,使得便携式电子设备在扫描过程中保持合理的位姿,从而能够确保扫描成果的精度,提高了扫描操作的效率,也使得扫描的成果更适于进行裁剪等后处理。
实施例2
参见图5所示,本实施例具体提供了一种便携式电子设备的扫描系统,扫描系统包括:
参数预设模块1,用于获取便携式电子设备的成像平面与扫描对象表面之间满足预设扫描条件时,便携式电子设备的预设的倾斜参数;
参数获取模块2,用于获取便携式电子设备的当前的倾斜参数;
扫描控制模块3,用于在当前的倾斜参数与预设的倾斜参数的误差处于预设范围内时,控制便携式电子设备对扫描对象表面进行扫描。
本实施例中的便携式电子设备是带有图像拍摄功能的电子设备;包括但不限于手机及平板电脑。较佳地,该电子设备的拍摄分辨率符合扫描的分辨率要求,例如通常对于文档扫描要求分辨率达到200dpi,则对应的电子设备的最高分辨率应该能达到相应的参数,以满足200dpi的扫描分辨率。为便于说明,本实施例中仅以手机为例描述便携式电子设备的扫描系统。对于扫描对象,通常是矩形纸张内的文本、图案或其结合,通常扫描对象具有相对平展的表面,本实施例中仅以上述扫描文本作为扫描对象为例进行说明。可以理解,本实施例的扫描系统并不限于对上述手机和扫描文本的应用场景。
参数预设模块1获取便携式电子设备的成像平面与扫描对象表面之间满足预设扫描条件时,便携式电子设备的预设的倾斜参数。
通常扫描文件或证件时由于采用专业的扫描仪固定压纸,因此不会存在扫描过程中拍摄角度的变换造成的扫描结果变形。然而采用手持手机扫描的过程很难保证手机摄像头与扫描文本之间平行,所扫描的文本很容易倾斜且内容不全。即使通过扫描软件后期矫正也有较大困难,例如由于原本是矩形的文本被拍摄为不规则四边形,后期矫正处理可能需要将文本调节为梯形或者为了保证文本的形状而缩减文本内容。
因此,为了确保手机在扫描过程中能够保持合理的位姿进行针对扫描文本的拍摄,参数预设模块1首先获取手机的成像平面在满足扫描文本表面符合预设扫描条件时的倾斜参数,该预设扫描条件可以被认为是在扫描文本处于相对静态环境的情况下,手机基于扫描文本进行的位姿参数取样,目的在于,基于该取样结果,使手机获得一预设的倾斜参数,根据该倾斜参数执行扫描操作时,满足相对理想的位姿状态,获得符合要求的扫描效果。
其中,手机的成像平面即像平面,手机成像平面就是CCD等感光元件。通常和呈平板状的手机外形是平行的,但也不排除一些电子设备设计中手机外形较为独特或摄像头的设置位置在手机侧方等情况,则此时成像平面不一定和手机整体形成的平面重合或平行。而获取手机预设的倾斜参数,需要和手机扫描状态符合最大关联度和最佳评价标准的平面。虽然理论上手机的焦平面平行于成像平面,但由于根据扫描对象的不同,焦平面需要经调焦操作才会与像平面重合,因此本实施例中设置手机的成像平面作为倾斜参数的参考。
对于扫描文本,则可以平展放置于不同的位置,例如可能是水平的桌面,也可能是倾斜的书案,甚至可能是贴设于竖直的墙上或天花板。
获取手机的预设的倾斜参数可以根据实际场景实现,并不局限于某种特定的方式。由于上述现有技术的缺陷,本实施例旨在最大可能保证手机的成像平面和扫描文本的表面具有相应的倾斜参数即可,例如平行。因此,通常预设的倾斜参数的获取只要取得扫描文本的表面的倾斜参数,就可以相应地获取和设置手机的预设倾斜参数。
例如对于用于放置扫描文本的桌面,如果是已知的水平桌面或竖直墙面,则可以直接获取手机的相关预设的倾斜参数。又如可以通过传感器感知并获取扫描文本相应的参数。在此基础上,参数预设模块1就能实现对于手机预设的倾斜参数的获取。
参数获取模块2获取便携式电子设备的当前的倾斜参数。如上所述,在获取了手机预设的倾斜参数的情况下,还需要获取手机当前的倾斜参数用于与之进行对比计算,并判断手机的当前位姿是否符合上述扫描要求。当然,上述预设和当前的倾斜参数均可能包括不止一种,但在计算和对比时是分别一一对应进行以获得判断结果。
如果当前的倾斜参数和预设的倾斜参数的误差超出了预设范围,则可以认为此时的手机位姿进行扫描将无法得到符合要求的扫描结果。因此,可以在手机上向用户发出一些必要的提示;例如倾斜参数的种类、偏差角度等,以使用户对扫描操作予以纠偏。
反之,如果当前的倾斜参数和预设的倾斜参数的误差处于预设范围内,则扫描控制模块3控制手机对于扫描文本进行扫描。该预设范围通常可以根据对扫描精度的要求来设定,例如对于较高的扫描精度可以将预设范围设定为接近于零。由于满足上述条件,可以认为此时的手机位姿进行扫描能够得到符合要求的扫描结果,即内容完整,形变可控且较小。
作为一种可选的实施方式,预设扫描条件为便携式电子设备的成像平面与扫描对象表面平行;倾斜参数为水平倾角。
为了克服手机的成像平面和扫描文本的表面的不平行导致的上述问题,本实施方式设定预设扫描条件为便携式电子设备的成像平面与扫描对象表面平行。相应地,设定倾斜参数为水平倾角。水平倾角,即直线或平面与水平面形成的夹角。预设的水平倾角可以表征扫描文本的放置的水平程度,例如在水平的桌面上的扫描文本,则其水平倾角为0°;相应地,如果预设扫描条件为手机与扫描文本平行,则手机进行扫描的条件同样也是水平倾角为0°。当然本领域技术人员可以知晓,预设扫描条件除了上述便携式电子设备的成像平面与扫描对象表面平行之外,也可以包括其他设置方式。例如,便携式电子设备的成像平面与扫描对象表面的水平倾角的误差值为一预设区间。具体地,例如手机和扫描文本表面的水平倾角的误差值为±5°。
水平仪是一种测量角度的常用量具,用于测量水平倾角、设备安装的水平位置和垂直位置等。按水平仪的外形不同可分为万向水平仪、柱式水平仪、框式水平仪、尺式水平仪等。其中气泡式万向水平仪的水准管是由玻璃制成,水准管内壁是一个具有一定曲率半径的曲面,管内装有液体,当水平仪发生倾斜时,水准管中气泡就向水平仪升高的一端移动,从而确定水平面的位置。水准管内壁曲率半径越大,分辨率就越高,水平仪的精度就越高。此外,还包括具有类似功能且带有读数显示的电感式水平仪。
本实施方式中,如果手机具有上述水平仪,并且手机外形呈平面状,满足上述成像平面和手机整体平面平行的要求;则对于使手机满足预设扫描条件即手机与扫描文本平行,可以通过以下方式实现:
将手机贴紧放置于扫描文本表面,获取此时水平仪的读数α作为预设的水平倾角,该预设的水平倾角即表征了扫描文本表面的倾斜情况。按照读数α来调整手机扫描时的位姿,就能够确保扫描过程中成像平面和扫描文本表面保持较好的平行度,获得较佳的扫描结果。
本实施方式通过设置预设扫描条件为便携式电子设备的成像平面与扫描对象表面平行,以及将倾斜参数设置为水平倾角,保证了扫描过程中便携式设备的成像平面能够和扫描对象表面呈平行,从而避免扫描得到的图像由于上述两个平面之间产生的夹角过大导致的形变,保证了扫描文本的质量和易处理性,提高了扫描效果。
作为另一种可选的实施方式,预设扫描条件为便携式电子设备的成像平面的中心轴与扫描对象表面的中心轴平行;倾斜参数为磁方位角。
通过手机等便携式设备扫描文本的另一个难点在,传统的扫描设备能够将扫描文本按固定位置放置后,保证扫描文本在扫描拍摄成像的过程中,整体位于扫描设备摄像头的成像平面内,并且扫描文本的表面的中心轴平行或接近平行于成像平面的中心轴,从而获得包括完整且扫描图像的边缘与其中的扫描文本边缘平齐的扫描结果。而通过握持等方式进行扫描,虽然通常能够保证扫描文本表面的整体成像,但由于上述的原因即手机位姿的不固定,十分容易由于拍摄过程中取景框未对准扫描文本而导致最终的扫描图像中,扫描文本是歪斜的,需要进行旋转切割等后处理。
为了克服手机的成像平面和扫描文本的表面在投影方向上的方向不一致导致的上述问题,本实施方式设定预设扫描条件为便携式电子设备的成像平面的中心轴与扫描对象表面的中心轴平行;倾斜参数为磁方位角。
磁方位角即指南针的指针朝向,是由通过某点磁子午线北端起算,顺时针方向至某一直线间的夹角(即地球南北极上的磁南、磁北两点间的连线)。当然因为地球南北磁极与南北极并不重合而存在磁偏角,各地的磁偏角视经纬度而各不相同,没有统一的校正角度,需要根据各地的磁偏角数据对磁方位角进行修正后才能获取相对精确的读数。但本实施例中对于便携式电子设备的成像平面中心轴和扫描对象表面中心轴获取指南针的读数,旨在确定其相对关系,因此对于位于同地的两者并不存在上述磁偏角的影响。
预设的磁方位角可以表征扫描文本的放置方向,假设首先将扫描文本按照一定方向进行放置,则按照上述预设扫描条件需要使成像平面也处于该方向。当然本领域技术人员可以知晓,预设扫描条件除了上述便携式电子设备的成像平面与扫描对象表面方向一致之外,也可以包括其他设置方式。例如,便携式电子设备的成像平面的中心轴与扫描对象表面的中心轴为一预设区间。具体地,例如便携式电子设备的成像平面的中心轴与扫描对象表面的中心轴的误差值为±5°。本实施方式中,如果手机具有指南针功能,并且手机外形呈矩形,则对于使手机满足上述预设扫描条件可以通过以下方式实现:
将手机贴紧放置于扫描文本表面,并且使得手机的两条相邻边缘与扫描文本的两条相邻边缘保持齐平,当然可以理解,此时还需保持取景框与扫描文本的长宽方向一致。则获取此时的指南针的读数β作为预设的磁方位角,该预设的磁方位角即表征了扫描文本表面的放置方向。按照读数β来调整手机扫描时的位姿,就能够确保扫描过程中成像平面和扫描文本表面保持相对一致的方向,获得较佳的扫描结果。
当然,除了上述方式之外,也可以通过其他方式获得预设的磁方位角,例如预先将手机取景框对准扫描文本,并且在手机取景框显示纵横垂直的指示线,以便于对准对其扫描文本的边缘时,获取上述预设的磁方位角。
本实施方式通过设置预设扫描条件为便携式电子设备的成像平面与扫描对象表面的中心轴方向一致,以及将倾斜参数设置为磁方位角,保证了扫描过程中便携式设备的成像平面和扫描对象表面在投影方向的朝向一致,从而避免扫描得到的图像由于上述两个平面的方向不一致导致的成像歪斜不易处理,提高了扫描文本的质量。
作为一种可选的实施方式,本实施例的扫描系统还包括:
动态拍摄模块41,用于对扫描对象表面通过动态拍摄进行扫描,以获得至少两帧图像;
目标图像获取模块42,用于从所有图像中获取目标图像,其中在所有图像中,目标图像对应的倾斜参数与预设的倾斜参数的差值绝对值最小。
目前大多数手机以及其他可作为便携式电子设备的电子设备都带有动态拍摄功能,即在短时间可拍摄连续的图像,通常可以达到拍摄每秒8张及以上。利用动态拍摄功能,可以较好地弥补通过握持等方式进行扫描带来的便携式电子设备自身位姿不固定的缺陷。
动态拍摄模块41对扫描对象表面通过动态拍摄进行扫描获得至少两帧图像,即通过上述动态拍摄的方式对扫描文本进行连拍,获得连拍图像。目标图像获取模块42从上述连拍获得的所有图像中,基于与预设的倾斜参数的比较,遴选与预设的倾斜参数的差值绝对值最小的倾斜参数对应的图像作为目标图像,即最终的扫描成果。
对于目标图像获取模块42,以上述具有水平仪功能时设定的水平倾角为倾斜参数为例进行说明。参见图3,水平仪为气泡式圆盘水平仪,并且带有横坐标及纵坐标的四象限二维坐标刻度,水平倾角可以通过气泡的纵横坐标读数获得。则假设扫描文本放置于桌面时,水平仪的气泡的坐标读数为(x’,y’),则对于连拍后获得n张图像,获取其中气泡的坐标读数:
其中,(xi,yi)分别为第i张图像的水平仪的气泡的坐标读数。从而与最终获取的Ai对应就是符合要求的目标图像,即具有拍摄时与扫描文本表面最接近平行的手机成像平面。
同样地,本实施方式适用于倾斜参数为磁方位角的应用场景,并且在一种应用场景中,可以将上述至少包括水平倾角和磁方位角的两种当前的倾斜参数同时与各自的预设的倾斜参数进行比较,分别获得的差值绝对值则可以按照一定的权重进行综合计算。
例如,按照上述步骤分别获得每张图片的水平倾角与的预设的水平倾角的差值绝对值为Tα,每张图片的水平倾角与的预设的水平倾角的差值绝对值为Tβ,如果设定符合水平倾角与预设一致的权重为0.6,符合磁方位角与预设一致的权重为0.4,则每张图片的倾斜参数的差值绝对值的综合值S=Tα*0.6+Tβ*0.4,从而在所有连拍获得的图像中,获取具有最小值的S;其对应的图像即为目标图像。此外还应当理解,本实施方式中的倾斜参数包括但不限于上述两种方式及组合。
本实施方式充分利用了便携式电子设备的动态拍摄功能,并对拍摄过程中难以避免的抖动造成的扫描图像偏差通过自动择优的方式予以克服,从而增加了获得质量符合要求的图片的可能性,且通过一次连拍代替多次扫描,提升了便携式设备的扫描效率和扫描效果。
在一种可选的实施方式中,本实施例的扫描系统还包括:
全景拍摄模块401,用于对扫描对象表面通过全景拍摄进行扫描,以获得至少两帧图像;
基准图像获取模块402,用于从所有图像中获取基准图像,其中在所有图像中,基准图像对应的倾斜参数与预设的倾斜参数的差值绝对值最小;
仿射变换模块403,用于对基准图像以外的图像进行仿射变换,以使仿射变换后的图像的倾斜参数与基准图像对应的倾斜参数一致;
全景图像获取模块404,用于对基准图像以及仿射变换后的图像进行图像融合处理,以获取全景图像。
目前大多数手机以及其他可作为便携式电子设备的电子设备还具备全景拍摄功能用于拍摄全景照片,全景照片通常是指符合人眼正常有效视角或包括双眼余光视角以上乃至360°完整场景范围拍摄的照片。扫描文本大多数情况下是A4尺寸的纸型,但也有些特殊的内容如画卷、代码文本等需要长宽比值较大的长条形扫描文本作为载体,在这种应用场景中为了将所有的文本进行扫描,可以通过全景拍摄来实现。但是在全景拍摄的过程中,握持手机的时间较长,摄像头极易发生抖动偏移导致拍摄效果不佳。本实施方式提供的长文本扫描技术即针对上述由于扫描过程中扫描设备位姿不固定造成的缺陷加以改进。
全景拍摄模块401对扫描对象表面通过动态拍摄进行扫描获得至少两帧图像,即通过上述动态拍摄的方式对扫描文本进行连拍,获得连拍图像。基准图像获取模块402从上述连拍获得的所有图像中,基于与预设的倾斜参数的比较,遴选与预设的倾斜参数的差值绝对值最小的倾斜参数对应的图像作为基准图像。当然,基准图像获取模块402同样可以针对水平倾角、磁方位角以及其他倾斜参数进行评价,评价结果也可以如上一实施方式中所述依据权重等不同方式进行组合评价,由于具体涉及的原理类似不再赘述。
通常全景拍摄的实现分为如下步骤:特征检测、特征匹配、计算单应性矩阵、图像变形以及图像拼合。基准图像获取模块402从所有拍摄的图像中,获取基准图像作为特征检测和特征匹配的参考依据,由于在所有的图像中,基准图像对应的倾斜参数与预设的倾斜参数的差值绝对值最小,可以认为该基准图像具有较强的位姿参考评价意义。基于该基准图像的倾斜参数以及其他图像特征作出的全景图像生成结果也能较好地还原扫描文本的内容。
仿射变换模块403对基准图像以外的图像进行仿射变换,以使仿射变换后的图像的倾斜参数与基准图像对应的倾斜参数一致。
仿射变换又称仿射映射,是指在几何中一个向量空间进行一次线性变换并接上一个平移,变换为另一个向量空间。其计算过程可能包括平移、旋转、放缩、剪切、反射;其计算得到的结果具有特征:线段在仿射变换后依然是线段并且相互间比例保持不变。而全景图像的生成过程中,由于通过本实施方式中获取的具有较高质量的图像作为基准图像,其他图像基于基准图像进行仿射变换而得到一组图像,能够保证全景图像的质量。
全景图像获取模块404对基准图像以及仿射变换后的图像进行图像融合处理以获取全景图像。由于经过仿射变换后的图像具有较高的特征点拟合度,因此进行图像融合拼接时对每幅图进行特征点提取、匹配、配准的准确性更高,对各图像的重叠边界的处理更精确,从而能够得到效果更佳的全景图像。
本实施方式利用便携式电子设备的全景图像动态拍摄功能进行长文本扫描,并基于倾斜参数获取基准图像,从而保证了能够生成更为精确的全景图像,解决了以往由于拍摄过程的人为操作误差造成的全景图像失真和质量较低的问题,提升了便携式设备对于长文本的扫描效果。
对于上述实施方式,全景拍摄模块401还用于获取图像对应的扫描距离,扫描距离为便携式电子设备的摄像头在焦距方向上到扫描对象表面的距离。基准图像对应的扫描距离为基准扫描距离;全景图像获取模块404还用于使仿射变换后的图像的扫描距离与基准扫描距离一致。
TOF摄像头是一种使用调制光源照亮场景并观察反射光进行测距的3D摄像头,利用TOF测量原理确定摄像头与物体或周围环境之间距离,并通过测量的点生成深度图像或3D图像,测距原理即通过测量光在某介质中行进一段距离所需的时间,通常是对脉冲发射光到达物体并反射回到传感器所用时间测量。由于TOF摄像头能够收集景深信息并且可以获取更多的图像细节,因此其不仅可以获取更多高精度的特征点用于后续的图像融合操作,还能获得更精细的扫描效果。本实施例通过TOF摄像头获得精确的扫描距离,有助于在图像融合过程中进行更准确的特征匹配。
本实施方式进一步通过设置扫描距离综合评价并获取基准图像,使得基准图像在全景图像生成的过程中具有更高的参考意义,进一步提高了全景图像的精确度,进一步改善长文本扫描的图像失真问题并提升了便携式设备对于长文本的扫描效果。
在一种可选的实施方式中,本实施例的扫描系统还包括:
成像区域分析模块51,用于获取至少两组扫描距离与该扫描距离下,扫描对象在便携式电子设备的成像区域内的面积占比的对应关系。可以理解,扫描距离和上一实施方式中相同,均为便携式电子设备的摄像头在焦距方向上到扫描对象表面的距离。
最佳距离确定模块52,用于基于所述对应关系确定最佳扫描距离;
第一提示信息模块53,用于生成第一提示信息,第一提示信息中包括所述最佳扫描距离。
参见图4,对于固定放置的扫描对象A,为了尽量减少不必要的多次重复扫描,应当在扫描过程中,尽可能将其成像a包含于便携式电子设备的成像区域a’中,同时,为了保证扫描的精度以便后期处理,还应当尽可能地使其成像a在成像区域a’中的面积占比a/a’达到最大。
具体地,成像区域分析模块51可以在扫描的准备过程中即聚焦阶段,或是扫描过程中,当检测到便携式电子设备的摄像头在焦距方向上到扫描对象表面的距离发生变化时,通过文本边缘检测获取文本范围、文本边缘等参数,以及在此基础上获取至少两组扫描距离与上述面积占比的对应关系。最佳距离确定模块52据此解算得到基于当前扫描对象的放置位置,应当以何种距离进行扫描为宜,该距离即最佳扫描距离。该最佳扫描距离也就是保证文本边缘均落入上述成像区域a’的同时,使得面积占比a/a’为最大值时的扫描距离。
最后,第一提示信息模块53显示该最佳扫描距离,帮助用户及时调整便携式电子设备以更准确地进行扫描。
本实施方式通过对扫描文本的成像区域的图像分析获取扫描文本在其中的面积占比,进而确定对于该扫描文本的最佳扫描距离并提示给用户,从而有助于获得更好的扫描效果,确保扫描工作效率的同时,能够获得尽可能高的扫描清晰度。
在一种可选的实施方式中,扫描系统还包括第二提示信息模块,用于在当前的倾斜参数与预设的倾斜参数的误差超过预设范围时生成第二提示信息,第二提示信息用于提示用户调整便携式电子设备以使误差缩小至预设范围内。
具体地,当倾斜参数为水平倾角时,如果当前的水平倾角为30°,预设的水平倾角为5°,误差的预设范围为10°;则当前的水平倾角和预设的水平倾角的误差25°超过预设范围,则第二提示信息模块生成第二提示信息。例如,可实时显示当前的水平倾角和预设的水平倾角的差值绝对值,并且当检测到该绝对值趋近上述预设范围值时显示绿色箭头;反之,当检测到该绝对值远离上述预设范围值时显示红色的警示箭头。
当倾斜参数为磁方位角时,如果当前的磁方位角为西偏南20°,预设的磁方位角为西偏北5°,而误差的预设范围为10°;则当前的磁方位角和预设的磁方位角的误差25°超过预设范围,则第二提示信息模块生成第二提示信息。此时,可于电子设备实时显示当前的磁方位角和预设的磁方位角的差值绝对值,以及显示一箭头表征用户应当将便携式电子设备转向的方向,同时对于箭头颜色,可当检测到该差值绝对值趋近上述预设范围值时显示绿色箭头;反之,当检测到该绝对值远离上述预设范围值时显示红色的警示箭头。
本实施方式在便携式电子设备扫描过程中倾斜参数超出预设范围的情况下,生成针对性的提示以帮助用户进行纠偏,从而有利于获得更佳的扫描效果,提高了用户体验。
本实施例通过提供一种便携式电子设备的扫描系统,使得便携式电子设备在扫描过程中保持合理的位姿,从而能够确保扫描成果的精度,提高了扫描操作的效率,也使得扫描的成果更适于进行裁剪等后处理。
实施例3
图6为本发明实施例3提供的一种电子设备的结构示意图。电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现实施例1中的便携式电子设备的扫描方法。图6显示的电子设备30仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示,电子设备30可以以通用计算设备的形式表现,例如其可以为服务器设备。电子设备30的组件可以包括但不限于:上述至少一个处理器31、上述至少一个存储器32、连接不同系统组件(包括存储器32和处理器31)的总线33。
总线33包括数据总线、地址总线和控制总线。
存储器32可以包括易失性存储器,例如随机存取存储器(RAM)321和/或高速缓存存储器322,还可以进一步包括只读存储器(ROM)323。
存储器32还可以包括具有一组(至少一个)程序模块324的程序/实用工具325,这样的程序模块324包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器31通过运行存储在存储器32中的计算机程序,从而执行各种功能应用以及数据处理,例如本发明实施例1中的便携式电子设备的扫描方法。
电子设备30也可以与一个或多个外部设备34(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口35进行。并且,模型生成的设备30还可以通过网络适配器36与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图6所示,网络适配器36通过总线33与模型生成的设备30的其它模块通信。应当明白,尽管图中未示出,可以结合模型生成的设备30使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意,尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之,上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例4
本实施例提供了一种计算机可读存储介质,其上存储有计算机程序,程序被处理器执行时实现实施例1中的便携式电子设备的扫描方法中。
其中,可读存储介质可以采用的更具体可以包括但不限于:便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中,本发明还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在终端设备上运行时,程序代码用于使终端设备执行实现实施例1中的便携式电子设备的扫描方法中。
其中,可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码,程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
虽然以上描述了本发明的具体实施方式,但是本领域的技术人员应当理解,这仅是举例说明,本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下,可以对这些实施方式做出多种变更或修改,但这些变更和修改均落入本发明的保护范围。
Claims (18)
1.一种便携式电子设备的扫描方法,其特征在于,所述扫描方法包括以下步骤:
获取所述便携式电子设备的成像平面与扫描对象表面之间满足预设扫描条件时,所述便携式电子设备的预设的倾斜参数;
获取所述便携式电子设备的当前的倾斜参数;
若所述当前的倾斜参数与所述预设的倾斜参数的误差处于预设范围内,则控制所述便携式电子设备对所述扫描对象表面进行扫描。
2.如权利要求1所述的便携式电子设备的扫描方法,其特征在于,所述预设扫描条件包括:所述便携式电子设备的成像平面与所述扫描对象表面平行;所述倾斜参数包括水平倾角。
3.如权利要求1所述的便携式电子设备的扫描方法,其特征在于,所述预设扫描条件包括:所述便携式电子设备的成像平面的中心轴与扫描对象表面的中心轴平行;所述倾斜参数包括磁方位角。
4.如权利要求1-3中任一项所述的便携式电子设备的扫描方法,其特征在于,所述扫描方法还包括:
对所述扫描对象表面通过动态拍摄进行扫描,以获得至少两帧图像;
从所有图像中获取目标图像,其中在所有图像中,所述目标图像对应的倾斜参数与所述预设的倾斜参数的差值绝对值最小。
5.如权利要求1-3中任一项所述的便携式电子设备的扫描方法,其特征在于,所述扫描方法还包括:
对所述扫描对象表面通过全景拍摄进行扫描,以获得至少两帧图像;
从所有图像中获取基准图像,其中在所有图像中,所述基准图像对应的倾斜参数与所述预设的倾斜参数的差值绝对值最小;
对所述基准图像以外的图像进行仿射变换,以使仿射变换后的图像的倾斜参数与所述基准图像对应的倾斜参数一致;
对所述基准图像以及仿射变换后的图像进行图像融合处理,以获取全景图像。
6.如权利要求5所述的便携式电子设备的扫描方法,其特征在于,所述对所述扫描对象表面通过全景拍摄进行扫描,以获得至少两帧图像的步骤还包括:获取所述图像对应的扫描距离,所述扫描距离为所述便携式电子设备的摄像头在焦距方向上到所述扫描对象表面的距离;
所述基准图像对应的扫描距离为基准扫描距离;
所述对所述基准图像以外的图像进行仿射变换的步骤还使仿射变换后的图像的扫描距离与所述基准扫描距离一致。
7.如权利要求1所述的便携式电子设备的扫描方法,其特征在于,所述扫描方法还包括:
获取至少两组扫描距离与所述扫描距离下所述扫描对象在所述便携式电子设备的成像区域内的面积占比的对应关系;所述扫描距离为所述便携式电子设备的摄像头在焦距方向上到所述扫描对象表面的距离;
基于所述对应关系确定最佳扫描距离;
生成第一提示信息,所述第一提示信息包括所述最佳扫描距离。
8.如权利要求1所述的便携式电子设备的扫描方法,其特征在于,所述获取所述便携式电子设备的当前的倾斜参数的步骤之后还包括:
若所述当前的倾斜参数与所述预设的倾斜参数的误差超过预设范围,则生成第二提示信息,所述第二提示信息用于提示用户调整所述便携式电子设备,以使所述误差缩小至所述预设范围内。
9.一种便携式电子设备的扫描系统,其特征在于,所述扫描系统包括:
参数预设模块,用于获取所述便携式电子设备的成像平面与扫描对象表面之间满足预设扫描条件时,所述便携式电子设备的预设的倾斜参数;
参数获取模块,用于获取所述便携式电子设备的当前的倾斜参数;
扫描控制模块,用于在所述当前的倾斜参数与所述预设的倾斜参数的误差处于预设范围内时,控制所述便携式电子设备对所述扫描对象表面进行扫描。
10.如权利要求9所述的便携式电子设备的扫描系统,其特征在于,所述预设扫描条件包括:所述便携式电子设备的成像平面与所述扫描对象表面平行;所述倾斜参数包括水平倾角。
11.如权利要求9所述的便携式电子设备的扫描系统,其特征在于,所述预设扫描条件包括:所述便携式电子设备的成像平面的中心轴与扫描对象表面的中心轴平行;所述倾斜参数包括磁方位角。
12.如权利要求9-11中任一项所述的便携式电子设备的扫描系统,其特征在于,所述扫描系统还包括:
动态拍摄模块,用于对所述扫描对象表面通过动态拍摄进行扫描,以获得至少两帧图像;
目标图像获取模块,用于从所有图像中获取目标图像,其中在所有图像中,所述目标图像对应的倾斜参数与所述预设的倾斜参数的差值绝对值最小。
13.如权利要求9-11中任一项所述的便携式电子设备的扫描系统,其特征在于,所述扫描系统还包括:
全景拍摄模块,用于对所述扫描对象表面通过全景拍摄进行扫描,以获得至少两帧图像;
基准图像获取模块,用于从所有图像中获取基准图像,其中在所有图像中,所述基准图像对应的倾斜参数与所述预设的倾斜参数的差值绝对值最小;
仿射变换模块,用于对所述基准图像以外的图像进行仿射变换,以使仿射变换后的图像的倾斜参数与所述基准图像对应的倾斜参数一致;
全景图像获取模块,用于对所述基准图像以及仿射变换后的图像进行图像融合处理,以获取全景图像。
14.如权利要求13所述的便携式电子设备的扫描系统,其特征在于,所述全景拍摄模块还用于:获取所述图像对应的扫描距离,所述扫描距离为所述便携式电子设备的摄像头在焦距方向上到所述扫描对象表面的距离;
所述基准图像对应的扫描距离为基准扫描距离;
所述仿射变换模块还用于使仿射变换后的图像的扫描距离与所述基准扫描距离一致。
15.如权利要求9所述的便携式电子设备的扫描系统,其特征在于,所述扫描系统还包括:
成像区域分析模块,用于获取至少两组扫描距离与所述扫描距离下所述扫描对象在所述便携式电子设备的成像区域内的面积占比的对应关系;所述扫描距离为所述便携式电子设备的摄像头在焦距方向上到所述扫描对象表面的距离;
最佳距离确定模块,用于基于所述对应关系确定最佳扫描距离;
第一提示信息模块,用于生成第一提示信息,所述第一提示信息包括所述最佳扫描距离。
16.如权利要求9所述的便携式电子设备的扫描系统,其特征在于,所述扫描系统还包括:
第二提示信息模块,用于当所述当前的倾斜参数与所述预设的倾斜参数的误差超过预设范围时生成第二提示信息,所述第二提示信息用于提示用户调整所述便携式电子设备,以使所述误差缩小至所述预设范围内。
17.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1-8中任一项所述的便携式电子设备的扫描方法。
18.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-8中任一项所述的便携式电子设备的扫描方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110721997.XA CN113596276B (zh) | 2021-06-28 | 2021-06-28 | 便携式电子设备的扫描方法及系统、电子设备及存储介质 |
PCT/CN2022/101303 WO2023274090A1 (zh) | 2021-06-28 | 2022-06-24 | 便携式电子设备的扫描方法及系统、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110721997.XA CN113596276B (zh) | 2021-06-28 | 2021-06-28 | 便携式电子设备的扫描方法及系统、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113596276A true CN113596276A (zh) | 2021-11-02 |
CN113596276B CN113596276B (zh) | 2022-09-27 |
Family
ID=78244939
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110721997.XA Active CN113596276B (zh) | 2021-06-28 | 2021-06-28 | 便携式电子设备的扫描方法及系统、电子设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113596276B (zh) |
WO (1) | WO2023274090A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023274090A1 (zh) * | 2021-06-28 | 2023-01-05 | 展讯半导体(南京)有限公司 | 便携式电子设备的扫描方法及系统、电子设备及存储介质 |
CN116883461A (zh) * | 2023-05-18 | 2023-10-13 | 珠海移科智能科技有限公司 | 一种用于获取清晰文档图像的方法及其终端装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102006393A (zh) * | 2010-12-20 | 2011-04-06 | 东莞市金翔电器设备有限公司 | 可实现自动图像变形校正的大幅面扫描方法 |
CN202103744U (zh) * | 2011-06-29 | 2012-01-04 | 上海融磁电子有限公司 | 一种斜拍式扫描拍摄设备 |
CN105791660A (zh) * | 2014-12-22 | 2016-07-20 | 中兴通讯股份有限公司 | 一种纠正被摄物体拍摄倾斜的方法、装置及移动终端 |
US20180295254A1 (en) * | 2015-12-09 | 2018-10-11 | Ventana Medical Systems, Inc. | Image scanning apparatus and methods of operating an image scanning apparatus |
CN110213456A (zh) * | 2019-06-10 | 2019-09-06 | Oppo广东移动通信有限公司 | 扫描文档校正方法、电子装置及计算机可读存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102004054131A1 (de) * | 2004-11-08 | 2006-05-11 | Gkikas, Karolos, Glyfada | Verfahren zur Verwendung von tragbaren, eine Digitalkamera umfassenden oder mit einer Digitalkamera verbindbaren elektronischen Geräten zum Scannen einer Text-und/oder Zeichnungen bzw. Skizzen umfassenden Oberfläche |
CN112184829A (zh) * | 2016-08-29 | 2021-01-05 | 华为技术有限公司 | 一种调整扫描状态的方法及装置 |
CN112215756B (zh) * | 2020-10-19 | 2024-05-03 | 珠海奔图电子有限公司 | 扫描纠偏方法、装置、存储介质及计算机设备 |
CN113596276B (zh) * | 2021-06-28 | 2022-09-27 | 展讯半导体(南京)有限公司 | 便携式电子设备的扫描方法及系统、电子设备及存储介质 |
-
2021
- 2021-06-28 CN CN202110721997.XA patent/CN113596276B/zh active Active
-
2022
- 2022-06-24 WO PCT/CN2022/101303 patent/WO2023274090A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102006393A (zh) * | 2010-12-20 | 2011-04-06 | 东莞市金翔电器设备有限公司 | 可实现自动图像变形校正的大幅面扫描方法 |
CN202103744U (zh) * | 2011-06-29 | 2012-01-04 | 上海融磁电子有限公司 | 一种斜拍式扫描拍摄设备 |
CN105791660A (zh) * | 2014-12-22 | 2016-07-20 | 中兴通讯股份有限公司 | 一种纠正被摄物体拍摄倾斜的方法、装置及移动终端 |
US20180295254A1 (en) * | 2015-12-09 | 2018-10-11 | Ventana Medical Systems, Inc. | Image scanning apparatus and methods of operating an image scanning apparatus |
CN110213456A (zh) * | 2019-06-10 | 2019-09-06 | Oppo广东移动通信有限公司 | 扫描文档校正方法、电子装置及计算机可读存储介质 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023274090A1 (zh) * | 2021-06-28 | 2023-01-05 | 展讯半导体(南京)有限公司 | 便携式电子设备的扫描方法及系统、电子设备及存储介质 |
CN116883461A (zh) * | 2023-05-18 | 2023-10-13 | 珠海移科智能科技有限公司 | 一种用于获取清晰文档图像的方法及其终端装置 |
CN116883461B (zh) * | 2023-05-18 | 2024-03-01 | 珠海移科智能科技有限公司 | 一种用于获取清晰文档图像的方法及其终端装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113596276B (zh) | 2022-09-27 |
WO2023274090A1 (zh) | 2023-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8024144B2 (en) | Surveying instrument and method of providing survey data of a target region using a surveying instrument | |
US7899270B2 (en) | Method and apparatus for providing panoramic view with geometric correction | |
JP5580164B2 (ja) | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム | |
US7903171B2 (en) | Notebook information processor and image reading method | |
WO2023274090A1 (zh) | 便携式电子设备的扫描方法及系统、电子设备及存储介质 | |
KR101219162B1 (ko) | 항공촬영 이미지의 정밀도 향상을 위한 영상처리시스템 | |
JP2012181202A5 (zh) | ||
JP2012057960A (ja) | 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム | |
US8633983B2 (en) | Feature detection apparatus and method for measuring object distances | |
US9939263B2 (en) | Geodetic surveying system | |
US8983227B2 (en) | Perspective correction using a reflection | |
JP4138145B2 (ja) | 画像形成装置 | |
US20140009587A1 (en) | Mobile communication terminal having image conversion function and method | |
JP4169464B2 (ja) | 画像処理方法と画像処理装置及びコンピュータ読み取り可能な記録媒体 | |
US20230370562A1 (en) | Image recording device | |
JP2011135538A (ja) | 撮像装置、及び撮像プログラム | |
KR20150027555A (ko) | 광학문자인식을 위한 이미지의 원근 왜곡 보정 장치 및 방법 | |
TWI516744B (zh) | 距離估算系統、距離估算方法及電腦可讀取媒體 | |
JP2024110640A (ja) | 光学データ処理装置、光学データ処理方法および光学データ処理用プログラム | |
CN117218000A (zh) | 全景图像拼接方法、装置、设备和存储介质 | |
Hideghéty | Online deformation measurement using 2D photogrammetry |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |