CN102714692A

CN102714692A - 基于照相机的扫描

Info

Publication number: CN102714692A
Application number: CN2010800423487A
Authority: CN
Inventors: D·尼耶姆切维奇; M·武科萨沃维奇; M·武格代利亚; A·米特洛夫克; G·F·佩特舒宁格; B·德雷塞维克
Original assignee: Microsoft Corp
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2009-09-23
Filing date: 2010-08-28
Publication date: 2012-10-03
Anticipated expiration: 2030-08-28
Also published as: CN102714692B; US20110069180A1; EP2481208A2; US8704896B2; WO2011037724A3; KR101711233B1; KR20120083352A; WO2011037724A2; RU2012111062A; US20130070122A1; US8345106B2; RU2531261C2; HK1175049A1; JP5451888B2; JP2013505669A

Abstract

描述了基于照相机的扫描的各实施例。在各实施例中，可使用由与设备相关联的照相机拍摄的图像来创建扫描的文档。处理由照相机拍摄的图像以标识图像内与诸如纸、名片、白板、屏幕等矩形对象相对应的部分。可选择这些部分中的一个或多个以用来基于评分方案自动地扫描和/或在来自用户的输入的帮助下半自动地扫描。通过展开所选部分以消除透视效应(例如，将该部分调整为矩形)以及应用各种图像增强以改进外观来从所选的部分中创建一个或多个扫描的文档。

Description

基于照相机的扫描

背景

包括照相机的计算设备越来越普遍和可移动，诸如膝上型计算机、平板PC、数字照相机设备、移动电话、超移动PC、以及其他移动数据、消息接发和/或通信设备等。用户可利用与计算设备相关联的照相机来拍摄各种照片，包括捕捉演示、白板、名片、文档、草图、绘画等的图像。用户然后能够参考所捕捉的图像以回忆其中包含的诸如图表、照片、列表以及其他文本等信息。通常，用户想要能够将所捕捉的图像中的信息利用到他们自己的文档、笔记和/或演示中。然而，传统地，由照相机捕捉的图像是静态的，并且从静态图像中提取电子有用的和/或可编辑的信息可能并非是简单的。

用来生成所捕捉图像的扫描版本的传统技术包括获取图像的打印并且然后手动操作扫描仪来创建该图像的扫描版本。用来与所捕捉的图像一起工作的另一传统技术需要将图像从拍摄设备转移到台式计算机并且然后使用台式计算机的图像编辑应用以进一步处理该图像。传统的用于获取所捕捉的图像中包含的信息的这些手动密集型的技术对于用户来说可能是不方便并且耗时的。

概述

提供本概述以介绍基于照相机的扫描的简化概念。这些简化概念在以下详细描述中进一步描述。本概述并不旨在标识所要求保护的主题的必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

描述了基于照相机的扫描的各实施例。在各实施例中，可使用由与设备相关联的照相机捕捉的图像来创建扫描的文档。处理由照相机拍摄的图像以标识图像内与诸如纸、名片、白板、屏幕等矩形对象相对应的四边形(rectangular)部分。可选择这些四边形部分中的一个或多个以用来基于评分方案自动地扫描和/或在来自用户的输入的帮助下半自动地扫描。通过展开(un-warp)所选部分以消除透视(perspective)效应(例如，将该部分调整为矩形)以及应用各种图像增强以提高外观来从所选的四边形部分中创建一个或多个扫描的文档。

附图简述

参考以下附图描述了基于照相机的扫描的各实施例。在各附图中，使用相同的附图标号来指示相同的特征和组件：

图1示出了可实现基于照相机的扫描的各实施例的设备的示例。

图2示出其中可实现基于照相机的扫描的各实施例的示例系统。

图3示出依照一个或多个实施例的基于照相机的扫描的示例方法。

图4示出依照一个或多个实施例的基于照相机的扫描的其他示例方法。

图5示出了可实现基于照相机的扫描的各实施例的示例设备的各组件。

详细描述

基于照相机的扫描的各实施例提供给适当配置的计算设备用户使用由与设备相关联的照相机拍摄的图像来扫描文档、演示以及其他目标的技术。基于照相机的扫描可校正在诸如纸、名片、白板、屏幕等矩形对象上的透视效应。

例如，用户可以将便携式设备的照相机对准目标并且使用按钮、触摸或其他合适输入来发起对该目标的图像的捕捉。当用户发起捕捉时，进行捕捉操作以捕捉目标的图像。图像捕捉可以发起对所捕捉的图像的各种处理以从捕捉的图像创建一个或多个扫描文档。在一实施例中，可发起触摸屏上的触摸输入或触摸事件以同时指示感兴趣的区域以及应该进行图像捕捉。触摸输入的位置可用于后续的处理步骤以指导评分函数。这一处理可包括标识所捕捉的图像内将被认为用于扫描的潜在部分的四边形。设备可被配置为基于评分方案自动地和/或在来自用户的输入的帮助下半自动地选择所标识的四边形中的一个或多个。然后可通过展开所选的四边形以消除透视效应(例如，将四边形调整为矩形)以及应用各种图像增强以改进外观来创建一个或多个扫描的文档。

尽管所描述的基于照相机的扫描的系统和方法的特征和概念可以在任何数量的不同环境、系统、和/或各种配置中实现，但基于照相机的扫描的各实施例在以下示例系统和环境的上下文中描述。

图1示出了可实现基于照相机的扫描的各实施例的计算设备102的示例100。计算设备102是包括参考图2描述的示例便携式设备的各种类型设备的示例，并且还可用任何数量和组合的如参考图4所示的示例设备所描述的不同组件来实现。计算设备102包括集成显示屏104，用以显示用户界面、用户界面元素和特征、用户可选择控件、各种可显示对象，等等。计算设备102还包括照相机106，用以拍摄数字图像。在所述示例中，在计算机设备102的与显示屏104相对的那一面示出照相机106。

计算设备102还包括至少一个输入驱动器108，用以处理来自用户的用来操作计算设备102的各种输入。在至少某些实施例中，显示屏104是触摸屏，并且输入驱动器108可操作以检测和处理各种触摸输入和/或触摸事件。在一实施例中，可开始触摸屏104上的触摸输入或触摸事件以同时指示感兴趣的区域以及开始图像捕捉。图像可在显示屏上被显示为要捕捉的图像的预览，并且在屏幕上特定位置处的触摸事件指示应该捕捉图像。此外，特定位置被标识为后续处理算法中的评分函数所感兴趣的。因此，可利用触摸输入来选择图像的部分以及使拍摄照片的照相机开始捕捉图像。

计算设备102还包括捕捉应用110，用以发起显示用户界面112以及各种用户界面元素、特征和控件，以便于通过照相机106捕捉图像和处理图像。此外，捕捉应用110表示计算设备102的用于实现此处所述的基于照相机的扫描技术的功能。示例用户界面112被示出为具有取景器114以及扫描图像显示116的分屏界面。取景器114可以呈现来自照相机106的当前图像，以及在照片被拍摄时切换为呈现所捕捉的图像。此外，用户还能够通过与取景器114的交互来修改和选择所捕捉的图像的部分。

扫描图像显示116可以呈现由拍摄应用110处理的所捕捉的图像的一个或多个部分以产生扫描文档。分屏使得能够同时显示取景器114中的所捕捉的图像以及扫描图像显示116中从所捕捉的图像产生的扫描文档。采用这一方式，用户可以同时查看所捕捉的图像以及该图像的扫描部分，并且可以使用用户界面112来直观地进行调整，诸如修改所选部分的边界或者选择不同的部分等。

在基于照相机的扫描的一实施例中，计算设备102的用户可以通过拍摄目标118的照片来发起基于照相机的扫描。该照片的目标118可以包括诸如文档、纸、名片、照片、白板等一个或多个矩形对象。在图1的示例中，目标118显示为正在用于商业演示的显示屏。在拍摄照片以发起基于照相机的扫描时，捕捉应用110捕捉目标118的图像并且可以在用户界面112的取景器114中输出图像。

捕捉应用110被实现为检测所捕捉的图像中与矩形对象对应的部分。特别地，拍摄应用110可以被配置为标识所捕捉的图像内将被认为用于扫描的潜在区域的四边形。可使用适合寻找图像和其他文档内任意形状的各种特征提取技术来标识图像内的四边形。

在至少若干实施例中，捕捉应用110包括或者以其他方式利用可操作以基于诸如亮度的急剧改变之类的视觉差来检测边的边检测器。一个适合于边检测的示例算法是Canny算法。当已经标识出边时，可将边结合到连接的线条中以形成四边形。例如，可以通过边检测标识出顶点(角)并且然后连接顶点以形成四边形。例如，这可以涉及应用线性霍夫变换来校正检测到的边中的缺陷以及导出(derive)与边对应的线条。因此，可以使用检测到的边和线条来导出一组潜在的四边形，其中线条是从沿着特定方向的类似有向边来检测并且然后被组合以形成四边形。

捕捉应用110可以导致指示符120在用户界面112中显示以表示在所捕捉的图像内检测和/或选择的四边形。例如，图1的取景器114中的所捕捉的图像包括被配置为顶点处的点以及沿着边显示的虚线的指示符120。还可考虑其他指示符120，诸如活动的线条、颜色变化、旗帜等。可以通过取景器来呈现潜在的四边形以使得用户能够选择一个或多个四边形用于扫描。

在一实现中，捕捉应用110可以被配置为基于评分方案自动地选择一个或多个潜在的四边形来扫描。该评分机制可以基于各种准则来对潜在的四边形评分，这些准则包括诸如大小、位置、对诸如文本和脸等内容的识别等。可以自动地选择最高评分的四边形。在另一示例中，任何超过阈值评分的四边形可以被选择。

捕捉应用110还可以被配置为在自动选择不能找到合适的四边形和/或在用户发起半自动选择时实现对四边形的半自动选择。为了这么做，可使用上述的指示符120以在用户界面112中呈现自动选择的四边形、角、和/或线条。然后用户提供输入以修改自动选择的四边形、消除四边形、定义自定义四边形，等等。

在一实现中，指示符120可由用户选择以修改四边形，诸如通过拖拽角以改变角的位置。在另一示例中，用户可通过与用户界面112的交互通过选择一个角来定义自定义四边形。捕捉应用110可以被配置为基于用户对一个角的选择来自动地导出对应的四边形。用户还可操作用户界面112的选择和拖拽工具来标识自定义四边形的区域。当计算设备102是可触摸的时，用户可直接在显示屏104上触摸和拖拽以修改和定义四边形。还可将其他输入设备用于对四边形的半自动选择，包括例如指示笔、鼠标、方向键、和/或其他合适的输入设备。

然后可通过展开所选的四边形以消除透视效应(例如，将四边形调整为矩形)以及应用各种图像增强以改进外观来创建一个或多个扫描的文档。特别地，为了执行展开，捕捉应用110可被实现为检测和校正由于所捕捉的图像的透视而引起的失真。例如，捕捉应用110可以基于所选四边形的角度和比率来确定透视。捕捉应用110可以剪裁所捕捉的图像以对应于所选四边形。拍摄应用110然后可以旋转、调整至少某些部分的大小，并且以其他方式校正剪裁的图像以解决透视失真以及产生被调整为矩形的未弯曲图像。

捕捉应用110还可以使用各种图像增强来改进未弯曲图像的外观。这些图像增强的示例包括例如颜色增强、对亮度和阴影的校正、以及背景去除。图像增强还可包括将光学字符识别(OCR)应用于未弯曲的图像以标识文本和产生具有可编辑文本部分的扫描文档。

考虑图1所示的商业演示的特定示例。商业演示在显示屏上显示，并且包括文本和人的示图。当用户拍摄商业演示的照片时，图像被捕捉并且可以在取景器114中显示。注意到由于拍摄照片的角度，该图像显示为倾斜的。最初，捕捉应用110可以使用此处所述的基于照相机的扫描技术来标识屏幕边界。因此，使用指示符120在取景器114中标识与屏幕对应的四边形。此外，捕捉应用110可以通过扫描图像显示116来初始地呈现包括文本和示图的屏幕的扫描版本。

然而，在所述示例中，用户已经选择了自定义四边形以选择没有文本的示图。例如，用户可触摸计算设备102的显示屏104以选择角和/或拖拽环绕示图的选择框。响应于这一选择，通过展开以消除投视效应(例如，倾斜)以及使用增强来扫描所选的部分(例如，示图)。生成的扫描示图在扫描图像显示116中显示，并且使用用户界面112的分屏能够与取景器114中的所捕捉的商业演示同时呈现。用户可以以各种方式来利用扫描的示图，诸如通过添加注解、与同事分享、在网站或博客上发布等。

图2示出其中可实现基于照相机的扫描的各实施例的示例系统200。示例系统200包括便携式设备202(例如，有线和/或无线设备)，该便携式设备可以是以下各项中的任一个或组合：移动个人计算机204、个人数字助理(PDA)、可以被实现用于数据、消息收发和/或语音通信的移动电话206(例如，蜂窝、VoIP、WiFi等等)、便携式计算机设备208(例如，膝上型计算机、具有触摸屏的膝上型计算机等等)、媒体设备210(例如，个人媒体播放器、便携式媒体播放器等等)、游戏设备、应用设备、电子设备、和/或任何其他类型的能够接收、显示和/或通信音频、视频和/或图像中的任一形式的数据来的便携式设备。

各种便携式设备中的每一个可以包括集成显示和/或集成触摸屏或其他显示，以及用户可以经由其来输入数据和/或选择的可选输入控件。例如，移动个人计算机204包括其上可以显示用户界面的集成触摸屏212，该用户界面包括可显示对象和/或用户界面元素216，诸如任何类型的图像、图形、文本、可选按钮、用户可选控件、菜单选择、地图元件和/或任何其他类型的用户界面可显示特征或项目。依照此处所述的基于照相机的扫描的一个或多个实施例，用户界面214还可以通过分屏显示捕捉的和扫描的图像。

此处所述的各种便携式设备中的任一个可用一个或多个传感器、处理器、通信组件、数据输入、存储器组件、存储介质、处理和控制电路和/或内容呈现系统来实现。便携式设备中的任一个也可以被实现为经由通信网络来通信，该通信网络可包括任何类型的数据网络、语音网络、广播网络、基于IP的网络和/或便于数据、消息收发和/或语音通信的无线网络。便携式设备还可以用参考图4所示的示例设备来描述的任何数量的不同组件及其组合来实现。便携式设备还可与用户(即，人)和/或操作该设备的实体相关联，从而使得便携式设备描述包括用户、软件、和/或设备的组合的逻辑设备。

在这一示例中，便携式设备202包括一个或多个处理器218(例如，微处理器、控制器等中的任一个)、用于数据、消息接发和/或语音通信的通信接口220、以及接收媒体内容224的数据输入222。媒体内容(例如，包括记录的媒体内容)可以包括从诸如消息、电视媒体内容、音乐、视频剪辑、数据订阅源、交互式游戏、基于网络的应用以及任何其他内容等任何媒体内容或数据源处接收的任何类型的音频、视频和/或图像数据。用设备管理器226来实现便携式设备202，该设备管理器226包括控件应用、软件应用、信号处理和控制模块、特定设备本地的代码、和/或特定设备的硬件抽象层中的任一个或其组合。

便携式设备202包括可合并诸如能够由处理器218处理或以其他方式执行的捕捉应用230之类的组件的各种软件和/或媒体应用228。媒体应用程序228可以包括音乐和/或视频播放器、图像应用、Web浏览器、电子邮件应用、消息收发应用、数字照片应用，等等。便携式设备202包括呈现系统232，用以从捕捉应用230呈现用户界面，以生成任何便携式设备上的显示。呈现系统232还被实现为接收并呈现从任何媒体内容和/或数据源接收的任何形式的音频、视频和/或图像数据。便携式设备202还包括照相机234以及能够合并或者以其他方式利用触摸屏212的触摸屏驱动器的输入驱动器236。输入驱动器236可以被配置为检测和处理姿势、输入和/或动作的各种输入和/或可确定表示，以操作包括捕捉应用230的操作的便携式设备202的功能来实现基于照相机的扫描。参考图1所示的拍摄应用110和输入驱动器108，以及参考此处所述的基于照相机的扫描的各实施例，描述了捕捉应用230和输入驱动器236的各实现。

依照基于照相机的扫描的一个或多个实施例，参考相应的图3和4描述了示例方法300和400。一般而言，此处所描述的任何功能、方法、过程、组件以及模块都可使用硬件、软件、固件、固定逻辑电路、手动处理或其任何组合来实现。软件实现表示当由计算机处理器执行时执行指定任务的程序代码。可以在计算机可执行指令的一般上下文中描述示例方法，这些指令可包括软件、应用程序、例程、程序、对象、组件、数据结构、过程、模块、功能等等。这些方法还可在由通过通信网络链接的处理设备执行的分布式计算环境中实现。在分布式计算环境中，计算机可执行指令可同时位于本地和远程计算机存储介质和/或设备中。此外，此处所述的特征是平台无关的，并且可在具有各种处理器的各种计算平台上实现。

图3示出基于照相机的扫描的示例方法300。描述方法的次序并不旨在解释为限制，并且任何数量的所述方法框都可以按任何次序组合以实现本方法或实现替换方法。

在框302处，检测到发起对图像的捕捉的输入。例如，计算设备102处的输入驱动器108检测到拍摄目标118的照片的用户选择。目标118可以包括对于基于照相机的扫描而言可检测的一个或多个矩形对象。捕捉可以由用户操纵触摸屏按钮、按键敲击、计算设备102的专用快门按钮操作、或另一合适的输入来发起。

在框304处，响应于输入捕捉图像。例如，响应于框302处的输入，计算设备102处的捕捉应用110可以使用照相机106来捕捉目标118的图像。可以通过计算设备102的用户界面112来呈现所捕捉的图像。

在框306处，基于对所捕捉的图像中的四边形的检测来扫描所捕捉的图像的一个或多个部分。在框308处，将增强应用于一个或多个扫描的部分。可以使用各种技术在所捕捉的图像中检测四边形。例如，计算设备102处的拍摄应用110可以使用关于图1描述的自动和半自动技术中的任一个或两者来标识四边形。在另一示例中，可以使用手动技术，其中可通过计算设备102呈现所捕捉的图像给用户以供手动选择四边形。在这一示例中，使得通过捕捉应用110能够自动探测四边形的功能可能被禁用、可能不被包括、或者可能因为其他原因而不可用。考虑了用于改进一个或多个扫描部分的外观的各种增强。以下参考图4所示的示例方法400提供了有关检测四边形和增强扫描图像的技术的更多细节。

在框310处，输出与一个或多个部分对应的扫描文档。例如，计算设备102处的捕捉应用110可以导致扫描文档呈现在用户界面112的扫描文档显示中。用户然后能够诸如通过保存文档、添加注解、将文档发送给一个或多个接收者等来处理扫描文档。

图4示出基于照相机的扫描的示例方法400。特别地，图4表示适合扫描通过计算设备102的照相机106捕捉的图像的示例算法。描述方法的次序并不旨在解释为限制，并且任何数量的所述方法框都可以按任何次序组合以实现本方法或实现替换方法。

在框402处，预处理所捕捉的图像。例如，计算设备102的拍摄应用110可以以各种方式预处理所捕捉的图像，以准备图像来进行基于照相机的扫描。作为示例，预处理可以包括应用图像滤波器、增强对比、调节亮度、缩减比例、GS转换(GS conversion)、中值滤波等等。在一实施例中，预处理包括对图像进行缩减比例、对比度增强以及噪声滤波中的一个或多个。可以进行缩减比例以减小图像的分辨率以及图像所需处理的像素数。随着图像分辨率的增大，将消耗更多的计算资源以处理图像并且从边检测中产生更多的假(例如，不需要的)边。因此，缩减比例可以加速处理并且实现改进的边检测。

对比度增强可用于将图像中最亮的色调设为白色以及最暗的色调设为黑色。这还可以改进对通过找到对比度和/或亮度中的锐利差异的检测算法的边和线条的检测。噪声滤波包括应用一个或多个滤波器以消除图像噪声。诸如高斯模糊之类的某些噪声滤波器可以降级(例如，柔化)图像的边，并且使得检测边变得困难。因此，诸如双边和/或中值滤波等保持边缘的噪声滤波技术可以与基于照相机的扫描的技术联用以防止边降级。

在预处理之后，方法400可以进行以执行对所捕捉的图像中的四边形的检测。在框404处，检测所捕捉图像中的边。检测到的边可以与图像内的矩形对象的边框对应，诸如名片的边缘、油画框、显示屏的边缘等等。可以用任何合适的方式来检测边。例如，可实现计算设备102的捕捉应用110以运用Canny算法来基于对比度的急剧改变检测边。

Canny算法可以利用定义了足以检测边的对比度差异量的可配置阈值。在一实施例中，Canny算法使用的阈值可以是自适应的。例如，可以增加具有高的边的实例(例如，地毯、桌子、或其他纹理表面)的图像区域的阈值。这可以降低在这些区域中检测到的假边的数量。类似地，可以降低具有相对较低的边的实例的图像区域的阈值，以增加检测具有相对较小的对比度差异的边的机会。

在框406处，确定与检测到的边对应的线条。捕捉应用110可以利用检测到的边来构造对应的线条。在一实现中，通过应用线性霍夫变换来确定线条。可以标识线条以校正在边检测中发生的缺陷，诸如不完整的边、波浪形边等。这一步骤还可以包括根据评分方案来对线条评分并且基于评分准则选择性地丢弃线条。例如，可以丢弃或忽略孤立线条、不确定的线条、以及被确定为不形成合适四边形的线条。

考虑了各种评分和选择线条的技术。在一实施例中，可以将评分提炼应用于由应用霍夫变换确定的可配置数量的高评分线条。特别地，通过扫描线条周围的区域来重新评分和重新分类高评分线条中的每一条，以找到具有相似定向的边。特定线条的新评分与在扫描区域中找到的具有相似定向的边的数目成正比。

在一实施例中，可以基于线条的定向来调节针对特定线条扫描的区域。例如，对于几乎水平的线条，扫描区域可以包括在该线条的像素上面/下面的可配置数量的像素。类似地，对于几乎垂直的线条，扫描区域可以包括在该线条的像素左侧/右侧的可配置数量的像素。

在框408处，使用检测到的边和线条来导出可能的四边形。特别地，计算设备102的捕捉应用110可以利用在框404处检测到的边以及在框406处确定的线条来构造可能的四边形。换句话说，可以组合各线条以形成四边形，其中线条从沿着特定方向的相似定向的边中检测。可以用各种方式来组合线条以形成四边形。在一示例中，可以首先处理检测到的线条以基于寻找形成四边形相对侧的线条来找到可能的四边形。可以再次处理检测到的线条以基于形成四边形角的线条找到可能的四边形。与某些以前的技术不同，角可以对应于不规则或倾斜的四边形，也可以对应于形成几乎是直角的角。

在框410处，选择四边形以用于扫描。例如，使用在框408中构造的一组可能的四边形，捕捉应用110可以被配置为根据评分准则自动地选择四边形。这一步骤可以涉及基于评分方案来标识有意义的线条组合以及丢弃被认为是没有意义的组合。该评分方案可以计及各种准则，包括图像的位置、相对大小、四边形内和外部包含的内容等等。

捕捉应用110可以使用评分准则来从可能的四边形中选择可能的四边形。换句话说，捕捉应用110可以使用该准则来评分可能的四边形，以就所捕捉的图像的预期目标作出可能或近似的最佳猜测。例如，所捕捉的图像的中心附近的大四边形可能是预期目标并且可以由捕捉应用110基于评分来选择。与之相对的，位置远离中心并且具有较小或没有颜色变化的小四边形可能不是有意义的四边形并且可以被丢弃。

可以使用各种启发式算法以便找到最优四边形。在一实施例中，评分方案可以计算特定四边形的初始评分，并且然后任选地修改该初始评分以计及(account for)可增加或降低初始评分的各四边形特征。例如，可以基于四边形的相对大小来计算初始评分。一种可以基于相对大小计算初始评分的方法是由图像区域划分四边形区域以及对该值取平方根。任选地，可以考虑各种四边形特征以修改该初始评分。例如，可以用增加评分的增强和/或降低评分的惩罚来修改该初始评分。

在一个特定示例中，可以用各种惩罚因子来乘以初始评分或者以其他方式调节初始评分来计及“不需要的”四边形性质。例如，惩罚因子可以被配置为在0到1范围内的乘子。考虑各种不同的惩罚以及对应的惩罚因子。例如，可以在四边形角的两条线延伸超出该角时应用惩罚。该惩罚因子可以与线条延伸超出该角的远近程度成正比。

另一惩罚可以基于在四边形角的两个线条之间形成的角度。在这一例子中惩罚因子可以与该角与直角的差成正比。可以对延伸超出图像边界的四边形、相对于图像边界有明显倾斜的四边形、和/或位置远离图像中心或者以其方式没有对齐的四边形评估其他示例惩罚。

各种增强因素还可以乘以四边形的初始评分或者以其他方式调节四边形的初始评分，以计及“所需的”四边形特征。例如，示例增强可以应用于位于图像中心附近、与图像基本对齐、良好形成的四边形等。注意到此处所述的增强和惩罚可以单独和/或结合使用以实现选择四边形的评分方案。

在框412处，关于对四边形的选择是否成功作出判定。例如，捕捉应用110可以确定何时已选择合适的四边形。在某些情况下，框404-410处对四边形自动选择不能检测到合适的四边形。例如，捕捉应用110可以确定没有可能的四边形满足定义的评分阈值。在这一情况下，选择被确定为不成功的并且可发起半自动校正。

在另一示例中，可以通过计算设备102的用户界面112呈现在框410处自动选择的一个或多个四边形以供用户进行批准。用户然后可提供批准或不批准所呈现的四边形的输入。在这一示例中，可以根据由用户提供的输入来在作出框412处的判定。如果用户批准，则选择被认为是成功的。如果用户不批准，则选择被确定为不成功的并且可发起半自动校正。

在上述场景中如果选择不成功，则在框414处，基于用户输入来使用半自动校正以选择四边形。半自动校正使得用户能够提供输入以修改可由捕捉应用110做出的自动选择。例如，可以通过计算设备102的用户界面112呈现在框410处自动选择的一个或多个四边形。该呈现可以利用指示符120来示出四边形边界。在一实现中，至少某些指示符120是可以由触摸或其他合适输入选择的以修改对应的四边形。捕捉应用110可以检测与指示符120的交互并且导致对四边形的对应的修改。例如，用户可与指示符120交互以做出修改，诸如通过选择和拖拽角点(corner point)(例如，顶点)来修改四边形尺寸、拖拽以移动四边形至不同的位置、旋转四边形等。

附加地或替代地，用户可通过与用户界面112的交互通过选择一个或多个角来定义自定义四边形。再次地，此交互可以再次通过触摸或其他合适的输入。捕捉应用110可以被配置为响应于用户使用此处所述的技术选择一个角的交互，自动地导出对应的四边形。如果用户仍对四边形不满意，则用户可以选择另一个角并且捕捉应用110可以使用两个所选的角来导出对应的四边形。该过程可以由对第三个角的选择来重复第三次。如果用户仍不满意并且选择了第四个角，则捕捉应用110可以输出其顶点与四个选择的角相对应的四边形。采用这一方式，用户能够提供连续的提示以调节由捕捉应用110自动选择的四边形。

用户还可操作用户界面112的选择和拖拽工具来标识自定义四边形的区域。例如，在图1中，描绘了用户的用以在用户界面112的取景器114中选择人的示图的交互。在半自动校正后，方法400进行到框416。

在框416处，进行处理以展开所选四边形的透视。这一步骤可以在步骤412处确定四边形选择成功时以及在框414处的半自动校正后进行。一般而言，执行展开以产生与被调整为矩形的所选四边形对应的未弯曲的图像。例如，捕捉应用110可以基于所选四边形的角度和比率来确定透视。捕捉应用110还可以剪裁所捕捉的图像以对应于所选四边形。此外，捕捉应用110可以通过旋转、调整部分的大小、以及以其他方式进行校正来校正透视，以解决透视失真。

在框418处，将视觉增强应用于未弯曲的图像。如以上结合前面的附图所述，捕捉应用110可以将各种增强应用于未弯曲图像。

图5示出了可被实现为参考图1和2来描述的任何类型的便携式和/或计算机设备以实现基于照相机的扫描的各实施例的示例设备500的各种组件。设备500包括实现设备数据504(例如，所接收的数据、正被接收的数据、排定用于广播的数据、数据的数据包等等)的有线和/或无线通信的通信设备502。设备数据504或其它设备内容可以包括设备的配置设置、存储在设备上的媒体内容和/或与设备用户相关联的信息。存储在设备500上的媒体内容可以包括任何类型的音频、视频和/或图像数据。设备500包括经由其可接收任何类型的数据、媒体内容、和/或输入的一个或多个数据输入506，诸如用户可选输入、消息、音乐、电视机媒体内容、记录的视频内容、以及从任何内容和/或数据源接收的任何其它类型的音频、视频和/或图像数据。

设备500还包括通信接口508，其可被实现为串行和/或并行接口、无线接口、任何类型的网络接口、调制解调器、和任何其他类型的通信接口中的任一个或多个。通信接口508提供设备500和通信网络之间的连接和/或通信链路，其它电子、计算和通信设备通过其来与设备500传递数据。

设备500包括一个或多个处理器510(例如，微处理器、控制器等中的任一个)，处理器处理各种计算机可执行指令来控制设备500的操作并实现基于照相机的扫描的各实施例。除此之外或作为替代，设备500可用硬件、固件、或结合在512处概括标识的处理和控制电路来实现的固定逻辑电路中的任何一个或组合来实现。虽然未示出，但是设备500可包括耦合设备内的各种组件的系统总线或数据传输系统。系统总线可包括不同总线结构中的任一个或组合，诸如存储器总线或存储器控制器、外围总线、通用串行总线、和/或利用各种总线体系结构中的任一种的处理器或局部总线。

设备500还包括计算机可读介质514，诸如一个或多个存储器组件，存储器组件的示例包括随机存取存储器(RAM)、非易失性存储器(例如，只读存储器(ROM)、闪存、EPROM、EEPROM等中的任一个或多个)、以及盘存储设备。盘存储设备可被实现为任何类型的磁性或光学存储设备，如硬盘驱动器、可记录和/或可重写紧致盘(CD)、任何类型的数字多功能盘(DVD)等等。设备500还可包括大容量存储介质设备516。

计算机可读介质514提供数据存储机制以存储设备数据504，以及各种设备应用程序518和与设备500的各操作方面相关的任何其它类型的信息和/或数据。例如，操作系统520可用计算机可读介质514作为计算机应用来维护并且在处理器510上执行。设备应用518可包括设备管理器(例如，控制应用、软件应用、信号处理和控制模块、特定设备本地的代码、特定设备的硬件抽象层等)。设备应用518还包括实现基于照相机的扫描的各实施例的任何系统组件或模块。在本示例中，设备应用518包括被示为软件模块和/或计算机应用的捕捉应用522和输入驱动器524。另选地或另外地，捕捉应用522和输入模块524可被实现为硬件、软件、固件或其任意组合。

设备500还包括向音频系统528提供音频数据和/或向显示系统530提供视频数据的音频和/或视频输入-输出系统526。音频系统528和/或显示系统530可包括处理、显示、和/或以其它方式呈现音频、视频和图像数据的任何设备。这些设备可至少包括用于实现捕捉视频和图像的照相机532。视频信号和音频信号可以通过RF(射频)链路、S-video(S-视频)链路、复合视频链路、分量视频链路、DVI(数字视频接口)、模拟音频连接，或其它类似的通信链路，从设备500传递到音频设备和/或显示设备。在实施例中，音频系统528和/或显示系统530被实现为设备500的外部组件。或者，音频系统528和/或显示系统530被实现为示例设备500的集成组件。类似地，照相机532可被实现为设备500的外部或内部组件。

尽管已经用结构特征和/或方法专用的语言描述了基于照相机的扫描的各实施例，但是应该理解所附权利要求的主题不必限于所述的具体特征或方法。相反，这些具体特征和方法是作为基于照相机的扫描的示例实现来公开的。

Claims

1.一种由计算设备实现的方法，所述方法包括：

响应于发起对图像的基于照相机的扫描，捕捉图像；

在所捕捉的图像中自动选择一个或多个四边形对象以进行扫描；以及

从所述图像的部分创建与所选的一个或多个四边形对象相对应的一个或多个扫描文档，包括为所述部分校正所捕捉的图像中的一个或多个四边形对象的透视失真。

2.如权利要求1所述的方法，其特征在于，所述自动选择一个或多个四边形对象还包括：

基于视差检测所捕捉的图像中的边；以及

确定所述一个或多个四边形对象为所检测的边的组合。

3.如权利要求2所述的方法，其特征在于，还包括：

使用Canny算法检测所述边以及使用霍夫变换来从所标识的边形成潜在的四边形；以及

将评分方案应用于所述潜在的四边形以确定一个或多个四边形对象。

4.如权利要求1所述的方法，其特征在于，还包括展示具有用于显示所捕捉的图像的部分以及用于并发地显示从所捕捉的图像创建的至少一个扫描文档的另一部分的用户界面。

5.如权利要求4所述的方法，其特征在于，所述用户界面被配置为：

呈现所捕捉的图像内用以标识所选的一个或多个四边形对象的指示符；

使得用户能够与所述指示符交互以做出对一个或多个四边形对象的自动选择的用户修改；以及

响应于用户与所述指示符的交互，更新和显示根据所述用户修改创建的至少一个扫描文档。

6.如权利要求1所述的方法，其特征在于，还包括：

确定对一个或多个四边形对象的自动选择是否成功；

如果自动选择成功，则使用自动选择来执行所述创建一个或多个扫描文档；以及

如果自动选择不成功：

则使用基于用户输入的半自动校正来做出对自动选择的用户修改；以及

使用通过半自动校正选择的所捕捉的图像中的四边形对象来执行所述创建一个或多个扫描文档。

7.如权利要求6所述的方法，其特征在于，使用半自动校正包括：

接收选择所捕捉的图像中的位置的用户输入；以及

基于所述用户输入自动地产生对应的四边形，所选位置为对应四边形的一个角。

8.如权利要求1所述的方法，其特征在于，还包括应用一个或多个视觉增强以改进一个或多个扫描文档的外观。

9.如权利要求1所述的方法，其特征在于，为所述部分校正透视失真包括将所捕捉的图像的所述部分的每一个调整为与矩形相对应。

10.一种便携式计算设备，包括：

照相机；

一耦合至存储器的个或多个处理器；以及

捕捉应用，所述捕捉应用被存储在存储器中，并且可经由一个或多个处理器执行以导致所述便携式计算设备至少通过以下方式执行对经由照相机捕捉的图像的基于照相机的扫描：

从所捕捉的图像中选择至少一个四边形以进行扫描，所述至少一个四边形与所捕捉的图像中的矩形对象相对应，所述选择包括：

如果自动选择不成功，则发起半自动校正以获取用户选择来标识至少一个四边形，并且选择通过所述半自动选择标识的至少一个四边形；以及

处理所捕捉的图像以产生与所选的至少一个四边形相对应的扫描文档。

11.如权利要求10所述的便携式计算设备，其特征在于，所述捕捉应用还被配置为导致便携式计算设备至少通过以下方式执行对一个或多个潜在四边形的检测：

检测所捕捉的图像中的边；以及

确定与所检测的边相对应的线条；以及

通过组合所检测的边和线条来产生潜在的四边形。

12.如权利要求11所述的便携式计算设备，其特征在于，检测边包括应用算法以找到与所述边相对应的亮度的急剧改变。

13.如权利要求11所述的便携式计算设备，其特征在于，所述确定与所检测的边相对应的线条包括应用线性变换以校正所检测的边的缺陷。

14.如权利要求10所述的便携式计算设备，其特征在于，所述进行自动选择包括将评分方案应用于所捕捉的图像中检测到的一个或多个潜在四边形，所述评分方案至少计及所述图像中的四边形的位置以及所捕捉的图像中的四边形的相对大小。

15.如权利要求10所述的便携式计算设备，其特征在于，处理所捕捉的图像以产生扫描文档包括：

将所捕捉的图像剪裁为与至少一个四边形相对应；

展开所剪裁的图像以校正透视失真；以及

将一个或多个视觉增强应用于剪裁的图像。