CN109691080B - 拍摄图像方法、装置和终端 - Google Patents

拍摄图像方法、装置和终端 Download PDF

Info

Publication number
CN109691080B
CN109691080B CN201680089115.XA CN201680089115A CN109691080B CN 109691080 B CN109691080 B CN 109691080B CN 201680089115 A CN201680089115 A CN 201680089115A CN 109691080 B CN109691080 B CN 109691080B
Authority
CN
China
Prior art keywords
edge
image
focus
point
quadrilateral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680089115.XA
Other languages
English (en)
Other versions
CN109691080A (zh
Inventor
秦超
郜文美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN109691080A publication Critical patent/CN109691080A/zh
Application granted granted Critical
Publication of CN109691080B publication Critical patent/CN109691080B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/3004—Arrangements for executing specific machine instructions to perform operations on memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/10—Selection of transformation methods according to the characteristics of the input images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3876—Recombination of partial images to recreate the original image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

一种拍摄图像的方法，基于拍摄指令，在所述四边形图像内选定至少一个焦点，并以所述至少一个焦点对焦拍摄至少一张初始图像，其中，所述四边形图像包括第一组对边和第二组对边，所述第一组对边的对边夹角小于所述第二组对边的对边夹角，第一边为所述第一组对边中较短的一边，所述至少一个焦点包括第一焦点，所述第一焦点在所述四边形图像内且在第一边一端的部分区域中；然后校正为矩形图像后，得到最终图像并输出。通过选定与被拍摄的矩形目标远端对应的部分区域中的点作为焦点进行对焦拍摄初始图像，能够提高初始图像中与所述矩形目标远端对应的部分区域的分辨率，以增加该部分区域的校正插值的来源像素，提高最终图像的清晰度。

Description

拍摄图像方法、装置和终端
技术领域
本发明涉及计算机领域，尤其涉及一种拍摄图像的方法、装置和终端。
背景技术
近年来，手机或智能相机的拍照功能在快速的发展，涌现出了很多新的拍照技术，如全景拍照、全焦模式、文档校正等。
结合图1，在现有的文档校正过程的方案中，包括以下步骤：步骤S1：首先，摄像头对焦到视野中心，拍摄一张照片。通常，对焦的点为默认的图像中心。步骤S2：接着，处理器获取该照片，检测其中的四边形图像的边或角的位置。步骤S3：处理器根据预设的矩形的宽高比，把检测到的四边形内的图片像素，映射到矩形目标的区域中，映射过程中的新增像素通过原图像中的已有像素插值得到。步骤S4：根据变换后的矩形内的像素生成校正后的新图像，输出并保存新图像。
现有技术校正后的矩形文档，对图像精度要求不高的时候，可以很好的解决梯形失真问题，实用性非常强，但对于那些对图像精度要求较高的应用则不甚适宜。
图2示出倾斜拍摄矩形目标的成像抽象示意图，在拍摄过程中，结合图2，实物平面W中具有一个矩形目标，当拍摄设备观察该矩形目标时，实物平面W与成像平面C呈现的倾斜角度为α，矩形目标在成像平面C上成像为四边形图像。
当实物平面W与成像平面C倾斜角度α过大时，矩形目标并不是都位于镜头对焦的景深范围内，因而造成四边形图像在焦点附近的部分清晰，远离焦点的部分模糊；在对四边形图像进行梯形校正，以获得校正后的矩形图像的阶段，若矩形目标倾斜较大，则矩形目标的远端对应的矩形图像部分区域相对于近端对应的矩形图像部分区域，需要更多像素是插值添加，然而，拍摄获得的初始图像在远端的分辨率往往不够，使得梯形校正阶段的插值过程，没有足够的信息来源，造成梯形校正后图像的部分区域清晰度明显下降，图4示出对图3获取的初始图像进行矩形校正后的目标图像的示意图，具体地，结合图4，当拍摄实际的矩形目标时，相对于远端对应的目标图像部分A的清晰度较差，其清晰度明显低于近端对应的目标图像部分B。
因此，现有技术在校正后的矩形文档，会出现-四边形的一侧的清晰度，明显低于四边形的另一侧的清晰度，甚至会出现文字看不清楚的情况，达不到文档校正的目的，用户体验不佳。
发明内容
有鉴于此，本发明的实施例提供了拍摄图像的方法、装置及终端，旨在解决现有技术中，在校正后的矩形文档，会出现局部清晰度局部较差、导致用户体验不佳的问题。
第一方面，根据本发明一些实施例提供的一种在带有摄像头的终端中拍摄图像的方法，其中，所述方法包括：进入拍摄模式，在预览图像中检测四边形图像；基于拍摄指令，在所述四边形图像内选定至少一个焦点，并以所述至少一个焦点对焦拍摄至少一张初始图像，其中，所述四边形图像包括第一组对边和第二组对边，所述第一组对边的对边夹角小于所述第二组对边的对边夹角，第一边为所述第一组对边中较短的一边，所述至少一个焦点包括第一焦点，所述第一焦点在所述四边形图像内且在第一边一端的部分区域中；将每个所述至少一张初始图像中的四边形图像校正为矩形图像；基于所述矩形图像，得到最终图像并输出。
根据一些实施例，所述方法通过选定与被拍摄的矩形目标远端对应的第一边一端的区域中的点作为焦点进行对焦拍摄初始图像，能够提高初始图像中与所述矩形目标远端对应的部分区域的分辨率，以在校正过程中增加该部分区域的校正插值的来源像素，从而能够提高拍摄图像的清晰度。
在一些具体实现方式中，所述的在所述四边形图像内选定至少一个焦点，并以所述至少一个焦点对焦拍摄至少一张初始图像的步骤包括：在所述四边形图像内选定所述第一焦点，以所述第一焦点拍摄一张初始图像。
在一些具体实现方式中，所述的在所述四边形图像内选定所述第一焦点的步骤包括：在所述四边形图像的第二边和第三边上分别确定第一点和第二点，其中，所述第二边和所述第三边与所述第一边相邻，所述第一点到所述第一边与所述第二边相交的顶点的距离小于等于到所述第二边与第四边相交的顶点，所述第二点到所述第一边与所述第三边相交的顶点的距离小于等于到所述第三边与所述第四边相交的顶点，所述第四边为所述第一边的对边；确定所述第一边与所述第二边相交的顶点、所述第一边与所述第三边相交的顶点、所述第一点及所述第二点连线所组成的第一区域为所述第一边一端的部分区域；选定一个所述第一区域中的点为所述第一焦点。
在一些具体实现方式中，所述的选定一个所述第一区域中的点为所述第一焦点的步骤包括以下任一项：选定所述第一区域的对角连线的交点为所述第一焦点；选定所述第一区域的对边中点连线的交点为所述第一焦点。
在一些具体实现方式中，所述的选定一个所述第一区域中的点为所述第一焦点的步骤包括以下任一项：选定在所述第一区域中基于亮度分布动态确定的点为所述第一焦点；选定在所述第一区域中基于待跟踪目标动态确定的点为所述第一焦点；选定在所述第一区域中基于不均匀密度分布确定的重心点为所述第一焦点。
在一些具体实现方式中，选定在所述第一区域中基于不均匀密度分布确定的重心点为所述第一焦点包括：检测预览图像中的四边形图像；根据四边形图像的拍摄倾斜度，为四边形图像不同部位分配不同的密度，其中把密度比例设置为与切面的边长成反比例；根据密度比例及四边形图像的面积，计算出四边形图像的重心，作为第一焦点。
在一些具体实现方式中，所述的基于所述矩形图像，得到最终图像并输出的步骤包括：将所述矩形图像作为最终图像输出。
在一些具体实现方式中，所述在所述四边形图像内选定至少一个焦点，并以所述至少一个焦点对焦拍摄至少一张初始图像的步骤包括：在所述四边形图像内选定至少两个焦点，所述至少两个焦点包括至少一个所述第一焦点和至少一个第二焦点，所述第二焦点不同于所述第一焦点，并分别以所述至少两个焦点对焦拍摄至少两张初始图像。
在一些具体实现方式中，所述第二焦点为在所述四边形图像内所述第一边对边一端的部分区域中选定的点。
在一些具体实现方式中，所述第二焦点的选定方法包括：在所述四边形图像的第二边和第三边上分别确定第三点和第四点，其中，所述第二边和所述第三边与所述第一边相邻，所述第三点到所述第一边与所述第二边相交的顶点的距离大于等于到所述第二边与第四边相交的顶点，所述第四点到所述第一边与所述第三边相交的顶点的距离大于等于到所述第三边与所述第四边相交的顶点，所述第四边为所述第一边的对边；确定所述第四边与所述第二边相交的顶点、所述第四边与所述第三边相交的顶点、所述第三点及所述第四点连线所组成的第二区域为所述第一边对边一端的部分区域；选定一个所述第二区域中的点分别作为第二焦点。
在一些具体实现方式中，所述将每个所述至少一张初始图像中的四边形图像校正为矩形图像的步骤包括：将所述至少两张初始图像中的四边形图像分别校正为至少两个矩形图像；所述的基于所述矩形图像，得到最终图像并输出的步骤包括：对所述至少两个矩形图像进行合成以得到最终图像；输出所述最终图像。
在一些具体实现方式中，所述的对所述至少两个矩形图像进行合成以得到最终图像的步骤包括：对所述至少两个矩形图像进行特征点对齐；基于对齐后的各所述矩形图像的清晰度分布，确定所述最终图像中的多个合成区域；基于各所述矩形图像的清晰度，对每一所述合成区域进行合成以得到最终图像。
在一些具体实现方式中，所述的对每一所述合成区域进行合成以得到最终图像的步骤包括至少以下任一项：从各所述矩形图像中获取一个与所述合成区域对应清晰度最高的区域，进行拼接，以得到最终图像；从各所述矩形图像中获取至少两个与所述合成区域对应的区域，以清晰度为权重，进行像素融合，以得到最终图像。
在一些具体实现方式中，所述终端具有至少两个摄像头，则所述的并以所述至少一个焦点对焦拍摄至少一张初始图像的步骤包括：控制各所述摄像头，分别以不同的焦点进行对焦各拍摄至少一张初始图像。
在一些具体实现方式中，在所述的以所述焦点对焦拍摄至少一张初始图像步骤之前，所述方法还包括：根据用户在指定时间内连续输入的拍摄指令的次数，确定待获取的初始图像的数量。
在一些实施例中，所述方法通过所述装置在拍摄过程中在所检测四边形图像中，至少选择一个对应于矩形目标近端的焦点和一个对应于矩形目标远端的焦点，分别进行拍摄，获取多张初始图像，并将若干所述初始图像校正为矩形图像后，从各矩形图像中选择清晰度较高的局部，形成合成图像，并将合成图像作为最终图像输出，通过选择不同位置的焦点对焦，能够获得的局部清晰度不同的初始图像，校正后的矩形图像的局部清晰度也不同，通过对各矩形图像的最清晰局部进行合成，进一步提升最终图像的清晰度。
在一些具体实现方式中，在所述的以所述至少一个焦点对焦拍摄至少一张初始图像步骤之前，所述方法还包括：确定待拍摄的初始图像的数量。
在一些具体实现方式中，所述的确定待拍摄的初始图像的数量的步骤包括：根据所述预览图像中检测的四边形图像的第一组对边的对边夹角、或所述四边形图像内从所述第一边到所述第一边对边的方向上的清晰度分布曲线，确定待拍摄的初始图像的数量。
第二方面，根据本发明一些实施例提供的一种在带有摄像头的终端中中拍摄图像的装置，其中，所述装置包括：检测模块，用于进入拍摄模式，在预览图像中检测四边形图像；拍摄模块，用于基于拍摄指令，在所述四边形图像内选定至少一个焦点，并以所述至少一个焦点对焦拍摄至少一张初始图像，其中，所述四边形图像包括第一组对边和第二组对边，所述第一组对边的对边夹角小于所述第二组对边的对边夹角，第一边为所述第一组对边中较短的一边，所述至少一个焦点包括第一焦点，所述第一焦点在所述四边形图像内且在第一边一端的部分区域中；校正模块，用于将每个所述至少一张初始图像中的四边形图像校正为矩形图像；输出模块，用于基于所述矩形图像，得到最终图像并输出。
在一些具体实现方式中，所述拍摄模块包括：第一拍摄子模块，用于在所述四边形图像内选定所述第一焦点，以所述第一焦点拍摄一张初始图像。
在一些具体实现方式中，所述第一拍摄子模块包括：第一边确定子模块，用于在所述四边形图像的第二边和第三边上分别确定第一点和第二点，其中，所述第二边和所述第三边与所述第一边相邻，所述第一点到所述第一边与所述第二边相交的顶点的距离小于等于到所述第二边与第四边相交的顶点，所述第二点到所述第一边与所述第三边相交的顶点的距离小于等于到所述第三边与所述第四边相交的顶点，所述第四边为所述第一边的对边；第一区域确定子模块，用于确定所述第一边与所述第二边相交的顶点、所述第一边与所述第三边相交的顶点、所述第一点及所述第二点连线所组成的第一区域为所述第一边一端的部分区域；第一焦点确定子模块，用于选定一个所述第一区域中的点为所述第一焦点。
在一些具体实现方式中，所述第一焦点确定子模块包括以下至少任一项：第一选定单元，用于选定所述第一区域的对角连线的交点为所述第一焦点；第二选定单元，用于选定所述第一区域的对边中点连线的交点为所述第一焦点；
在一些具体实现方式中，所述第一焦点确定子模块包括以下至少任一项：第三选定单元，用于选定在所述第一区域中基于亮度分布动态确定的点为所述第一焦点；第四选定单元，用于选定在所述第一区域中基于待跟踪目标动态确定的点为所述第一焦点；第五选定单元，用于选定在所述第一区域中基于不均匀密度分布确定的重心点为所述第一焦点。
在一些具体实现方式中，所述第一焦点确定子模块包括以下至少任一项：所述输出模块包括：第一输出子模块，用于将所述矩形图像作为最终图像输出。
在一些具体实现方式中，所述第一焦点确定子模块包括以下至少任一项：所述拍摄模块包括：第二拍摄子模块，用于在所述四边形图像内选定至少两个焦点，所述至少两个焦点包括至少一个所述第一焦点和至少一个第二焦点，所述第二焦点不同于所述第一焦点，并分别以所述至少两个焦点对焦拍摄至少两张初始图像。
在一些具体实现方式中，所述第二焦点确定子模块包括以下至少任一项：所述第二焦点为在所述四边形图像内所述第一边对边一端的部分区域中选定的点。
在一些具体实现方式中，所述第二焦点确定子模块包括以下至少任一项：所述第二拍摄子模块包括：第二边确定子模块，用于在所述四边形图像的第二边和第三边上分别确定第三点和第四点，其中，所述第二边和所述第三边与所述第一边相邻，所述第三点到所述第一边与所述第二边相交的顶点的距离大于等于到所述第二边与第四边相交的顶点，所述第四点到所述第一边与所述第三边相交的顶点的距离大于等于到所述第三边与所述第四边相交的顶点，所述第四边为所述第一边的对边；第二区域确定子模块，用于确定所述第四边与所述第二边相交的顶点、所述第四边与所述第三边相交的顶点、所述第三点及所述第四点连线所组成的第二区域为所述第一边对边一端的部分区域；第二焦点确定子模块，用于选定一个所述第二区域中的点分别作为第二焦点。
在一些具体实现方式中，所述校正模块包括：校正子模块，用于将所述至少两张初始图像中的四边形图像分别校正为至少两个矩形图像；所述输出模块包括：合成子模块，用于对所述至少两个矩形图像进行合成以得到最终图像；第二输出子模块，用于输出所述最终图像。
在一些具体实现方式中，所述合成子模块包括：分析子模块，用于对所述矩形图像进行清晰度分析及特征点对齐；区域划分子模块，用于基于对齐后的各所述矩形图像的清晰度分布，确定若干合成区域；执行子模块，用于基于各所述矩形图像的清晰度，对每一所述合成区域进行合成。
在一些具体实现方式中，所述执行子模块包括至少以下任一项：第一合成子单元，用于从各所述矩形图像中获取一个与所述合成区域对应清晰度最高的区域，进行拼接，以得到最终图像；第二合成子单元，用于从各所述矩形图像中获取至少两个与所述合成区域对应的区域，以清晰度为权重，进行像素融合，以得到最终图像
在一些具体实现方式中，所述终端具有至少两个摄像头时，所述拍摄模块包括：控制子模块，用于控制各所述摄像头，分别以不同的焦点进行对焦各拍摄至少一张初始图像。
在一些具体实现方式中，所述装置还包括：选定模块，用于在以所述至少一个焦点对焦拍摄至少一张初始图像之前，确定待拍摄的初始图像的数量。
在一些具体实现方式中，所述选定模块包括：选定子模块，用于根据所述预览图像中检测的四边形图像的第一组对边的对边夹角、或所述四边形图像内从所述第一边到所述第一边对边的方向上的清晰度分布曲线，确定待拍摄的初始图像的数量。
第三方面，根据本发明一些实施例提供的一种终端，包括：至少一个摄像头；一个显示单元；一个或多个处理器；存储器；多个应用程序；所述存储器用于存储计算机程序；所述处理器，运行所述计算机程序，执行下述流程：进入拍摄模式，在预览图像中检测四边形图像；基于拍摄指令，在所述四边形图像内选定至少一个焦点，并以所述至少一个焦点对焦拍摄至少一张初始图像，其中，所述四边形图像包括第一组对边和第二组对边，所述第一组对边的对边夹角小于所述第二组对边的对边夹角，第一边为所述第一组对边中较短的一边，所述至少一个焦点包括第一焦点，所述第一焦点在所述四边形图像内且在第一边一端的部分区域中；将每个所述至少一张初始图像中的四边形图像校正为矩形图像；基于所述矩形图像，得到最终图像并输出。
在一些具体实现方式中，所述终端能够结合第一方面中本发明各实施例所提供的方法执行流程。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，而非全部。对于本领域普通技术人员来讲，在没有付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出现有技术中一种图像获取方法的流程示意图；
图2示出倾斜拍摄矩形目标的成像抽象示意图；
图3示出基于现有技术的一种图像获取方法在图像获取过程中倾斜拍摄矩形目标的示意图；
图4示出对图3获取的初始图像进行矩形校正后的目标图像的示意图；
图5示出根据一些实施例提供的终端的结构示意图；
图6示出根据一些实施例提供的Android框架中的模块功能示意图；
图7示出根据一些实施例提供的拍摄图像的方法流程示意图；
图8示出根据一些实施例提供的预览图像中四边形图像的示意图；
图9示出根据一些实施例提供的预览图像中检测四边形图像清晰度的示意图；
图10a～图10e示出根据一些实施例提供的拍摄过程中选定焦点的方法示意图；
图11示出根据一些实施例提供的一种矩形校正时进行像素插值的方法示意图的方法示意图；
图12示出根据一些拍摄图像的方法流程示意图；
图13a～图13c示出根据一些实施例提供的对两张四边形图像进行特征点对齐前后的简要示意图；
图14a～图14g示出根据一些实施例提供的基于两张校正后的四边形图像的清晰度分布划分的合成区域的简要示意图；
图15示出根据一些实施例提供的一种具有两个摄像头的终端的结构示意图；
图16示出根据一些实施例提供的利用图15所示终端进行拍摄时焦点选择示意图的简要示意图；
图17示出根据一些具体实施例中拍摄图像的简要流程示意图；
图18示出根据一些具体实施例中拍摄图像的简要流程示意图；
图19a～图19c示出根据一些实施例具体实施例的拍摄图像的方法获得初始图像及校正后图像的示意图；
图20示出根据一些实施例提供的拍摄图像的装置的结构示意图；
图21示出根据一些实施例提供的第一拍摄子模块的结构示意图；
图22示出根据一些实施例提供的第二拍摄子模块的结构示意图；
图23示出根据一些实施例提供的合成子模块的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式做出进一步地详细描述。对于本领域普通技术人员在没有付出创造性劳动的前提下所获得的其它所有实施例，都属于本发明保护的范围。
在一些实施例中，本发明实施例的技术方案可用于能够拍摄图像的终端，所述终端可为所有具有拍照功能以及图像处理功能的电子设备，所述电子设备可为智能相机、移动电话、平板电脑(Tablet Personal Computer)、膝上型电脑(Laptop Computer)、数码相机、数字摄影机、投影设备、个人数字助理(personal digital assistant，简称PDA)、电子书阅读器(英文：e-book reader)或可穿戴式设备(Wearable Device)等，对此本发明实施例不做进一步限定。
图5示出了根据一些实施例提供了一种终端的结构示意图，所述终端可用于执行实施例一种所述的方法。
该终端可以为包括手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑、数码相机等终端设备，参考图5，终端500包括RF(Radio Frequency，射频)电路510、存储器520、输入单元530、显示单元540、传感器550、音频电路560、WiFi(wireless fidelity，无线保真)模块570、处理器580、以及电源590等部件。本领域技术人员可以理解，图5中示出的终端结构只做实现方式的举例，并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图5对终端500的各个构成部件进行具体的介绍：
RF电路510可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器580处理；另外，将设计上行的数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、LNA(Low Noise Amplifier，低噪声放大器)、双工器等。此外，RF电路510还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于GSM(Global System of Mobilecommunication，全球移动通讯系统)、GPRS(General Packet Radio Service，通用分组无线服务)、CDMA(Code Division Multiple Access，码分多址)、WCDMA(Wideband CodeDivision Multiple Access，宽带码分多址)、LTE(Long Term Evolution，长期演进)、电子邮件、SMS(Short Messaging Service，短消息服务)等。对于通信用的终端可包含RF电路，对于非通信终端，如数码相机，可不包含RF电路。
存储器520可用于存储软件程序以及模块，处理器580通过运行存储在存储器520的软件程序以及模块，从而执行终端500的各种功能应用以及数据处理。存储器520可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端500的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元530可用于接收输入的数字或字符信息，以及产生与终端500的用户设置以及功能控制有关的键信号输入。具体地，输入单元530可包括触控面板531、至少一个摄像头532以及其他输入设备533。触控面板531，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板531上或在触控面板531附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板531可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器580，并能接收处理器580发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板531。除了触控面板531，输入单元530还包括至少一个摄像头532，其中，所述摄像头532可以基于触控设备接收的触摸信息执行拍摄工作，再将所获取的拍摄图像传送给处理器580进行相应处理，其中，所述摄像头532可以是数字摄像头、模拟摄像头，其成像色彩可以是彩色、黑白、灰度等，摄像头532可以是直接安装于终端上的，也可以是通过数据线外接的。此外，除了触控面板531和摄像头532，输入单元530还可以包括：其他输入设备533。具体地，其他输入设备533可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元540可用于显示由用户输入的信息或提供给用户的信息以及终端500的各种菜单。显示单元540可包括显示面板541，可选的，可以采用LCD(Liquid CrystalDisplay，液晶显示器)、OLED(Organic Light-Emitting Diode，有机发光二极管)等形式来配置显示面板541。进一步的，触控面板531可覆盖显示面板541，当触控面板531检测到在其上或附近的触摸操作后，传送给处理器580以确定触摸事件的类型，随后处理器580根据触摸事件的类型在显示面板541上提供相应的视觉输出。虽然在图5中，触控面板531与显示面板541是作为两个独立的部件来实现终端500的输入和输入功能，但是在某些实施例中，可以将触控面板531与显示面板541集成而实现终端500的输入和输出功能。
终端500还可包括至少一种传感器550，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板541的亮度，接近传感器可在终端500移动到耳边时，关闭显示面板541和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于终端500还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路560、扬声器561，传声器562可提供用户与终端500之间的音频接口。音频电路560可将接收到的音频数据转换后的电信号，传输到扬声器561，由扬声器561转换为声音信号输出；另一方面，传声器562将收集的声音信号转换为电信号，由音频电路560接收后转换为音频数据，再将音频数据输出处理器580处理后，经RF电路510以发送给比如另一终端，或者将音频数据输出至存储器520以便进一步处理。
WiFi属于短距离无线传输技术，终端500通过WiFi模块570可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图5示出了WiFi模块570，但是可以理解的是，其并不属于终端500的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器580是终端500的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器520内的软件程序和/或模块，以及调用存储在存储器520内的数据，执行终端500的各种功能和处理数据，从而对终端进行整体监控。可选的，处理器580可包括一个或多个处理单元；优选的，处理器580可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器580中。
终端500还包括给各个部件供电的电源590(比如电池)，优选的，电源可以通过电源管理系统与处理器580逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，终端500还可以包括蓝牙模块等，在此不再赘述。
在本发明实施例中，该终端所包括处理器具有以下功能：进入拍摄模式，在预览图像中检测四边形图像；基于拍摄指令，拍摄至少一张初始图像，其中，所述初始图像包括至少一张以所述四边形图像内靠近较短边的部分区域中的点为第一焦点所拍摄的图像；将所述初始图像中的四边形图像校正为矩形图像；当具有多张初始图像时，基于校正后的各所述矩形图像的清晰度分布，将若干所述矩形图像合成为清晰的最终图像。
该终端实现上述功能可以采用本申请中所提及的前述实施例的具体方法实现，为简明起见，不再赘述，并以引用的方式包含此。
图6示出，在Android系统中的架构，文档校正模块是与拍照相关的一个功能，算法和对摄像头的操作在framework层(软件框架层)实现。
从上至下分为应用层、应用框架层、硬件抽象层和内核。应用层主要提供摄像头应用，控制摄像头获取预览图像，及拍摄初始图像；在应用框架层中，在预览图像中检测四边形图像，并基于文档校正算法，将初始图像校正为矩形图像，当有多张矩形图像时进行特征对齐和合成，形成最终图像；内核中的摄像头驱动是控制具体摄像头动作的程序，比如控制摄像头的对焦、拍照等动作，不同厂商和型号的摄像头，驱动程序是不同的。摄像头驱动是应用层的预览、对焦、拍照、调整拍照参数的最终执行模块，直接控制摄像头硬件。硬件抽象层是对内核驱动程序的封装，向上提供接口，屏蔽低层的实现细节，其目的在于将硬件抽象化，它隐藏了特定平台的硬件接口细节，为操作系统提供虚拟硬件平台，使其具有硬件无关性，可在多种平台上进行移植。硬件抽象层是一个编程层，允许操作系统在逻辑层而不是硬件层与硬件设备交互，操作系统核心或者硬件驱动程序都可以调用硬件抽象层。无论哪种情况，调用程序都不用了解硬件的具体设计细节，只需要给出抽象层所需的参数即可。硬件抽象层是连接应用框架层与摄像头驱动程序的桥梁，是一个代理，把应用层和应用框架层对摄像头的控制指令，转给正确的硬件驱动去执行动作，并返回从硬件获取的数据给应用层和应用框架层。
图7示出根据一些实施例提供的拍摄图像的方法，所述方法可应用于文档校正(或称为梯形校正)的拍摄模式，用于提升文档校正中校正后图像的清晰度，其中，所述的文档校正是一种通过对四边形图像的检测、变换、处理，输入是图像，输出也是图像，用于帮助用户在拍摄矩形目标时，校正由于拍摄角度倾斜导致图像变形，最终输出矩形最终图像。在此，所述矩形目标泛指矩形的含有信息的图像，例如：文件、发票、书本、名片、证件、讲义、照片、广告、展板、电视、电影、屏幕等等，当然，本领域技术人员应当能够理解，上述矩形目标仅为举例，其他矩形物体被拍摄为图像时，都可以应用本申请所述方法进行拍摄和校正。
结合图7，根据一些实施例所提供的方法包括：步骤S11、步骤S12、步骤S13和步骤S14。结合图7，在步骤S11中，进入拍摄模式，在预览图像中检测四边形图像；接着，在步骤S12中，基于拍摄指令，在所述四边形图像内选定至少一个焦点，并以所述至少一个焦点对焦拍摄至少一张初始图像，其中，所述四边形图像包括第一组对边和第二组对边，所述第一组对边的对边夹角小于所述第二组对边的对边夹角，第一边为所述第一组对边中较短的一边，所述至少一个焦点包括第一焦点，所述第一焦点在所述四边形图像内且在第一边一端的部分区域中；然后，在步骤S13中，将每个所述至少一张初始图像中的四边形图像校正为矩形图像；之后，在步骤S14中，基于所述矩形图像，得到最终图像并输出。
在一些实施例中，所述终端选择拍摄一张初始图像，则在所述步骤S12中，所述终端基于拍摄指令，在所述四边形图像内第一边一端的部分区域中选定点为第一焦点，并以所述第一焦点对焦拍摄一张初始图像，其中，所述第一边为所述四边形图像的两个对边夹角中具有较小对边夹角的两对边中较短的一边；然后，在所述步骤S13中，所述终端将所述初始图像中的四边形图像校正为矩形图像；随后，在所述步骤S14中，所述终端将所述矩形图像作为最终图像输出。输出最终图像可以包括直接在显示单元显示最终图像，或者保存到拍照图像的存储空间中，根据用户指示在显示单元上显示最终图像。
根据一些实施例，所述方法通过选定与被拍摄的矩形目标远端对应的第一边一端的区域中的点作为第一焦点，进行对焦拍摄初始图像，能够提高初始图像中与所述矩形目标远端对应的部分区域的分辨率，以在校正过程中增加该部分区域的校正插值的来源像素，从而能够提高最终图像的清晰度。
具体地，在所述步骤S11中，所述终端根据用户相应操作，启动拍摄设备(例如摄像头等)，进入拍摄模式。
在一些实施例中，用户相应的操作可以包括用户对设备进行任何可识别的操作，可以包括至少以下任一项：对设备的触控设备的任何指定的触摸操作(点击、滑动等)、设备可识别的声控操作、手势操作等。
在一些实施例中，所述拍摄模式可以是根据用户选择的文档校正的拍摄模式。
接着，在拍摄模式下，所述终端通过摄像头获取预览图像，并在预览图像中检测四边形图像。在一些实施例中，终端在获取预览图像时，其对焦的焦点可以是预览图像的中央区域的点(例如中心点)，并且是随着取景位置的变化，持续的对焦的。在一些实施例中，对焦的焦点还可以是待跟踪目标动态确定的点(例如人眼中心点等)。
在一些实施例中，所述终端实时地获取摄像头采集的图像，并将所获取的图像呈现为预览图像，所述预览图像可以显示在终端的显示设备(例如显示屏)上。当所述摄像头对向矩形目标时，则预览图像中呈现所述矩形目标的图像，通常，摄像头所在平面并非平行于矩形目标所在的平面，而是倾斜于被拍摄的矩形目标所在的平面，所述矩形目标在预览图像中则呈现四边形图像。通常拍摄倾斜度越大，矩形目标呈现的四边形图像的形变越大。
在一些实施例中，所述终端在预览图像中检测四边形图像，可以通过一些检测方法检测四边形图像的边和角的位置，检测边和角的位置的方法例如，采用Canny算子边缘检测方法标识出四边形图像中的实际边缘，其中，所述Canny算子边缘检测方法基于边缘检测计算理论(Computational theory of edge detection)、Hough变换检测技术(使用表决原理的参数估计技术)检测直线，哈里斯角点检测(Harris Conner Points)等等。本领域技术人员应当能够理解，其他对四边形结构的边和角的位置的检测方法如适用于本发明的实施例，虽不再赘述，仍能够以引用的方式包含于本发明的实施例中。
接着，在所述步骤S12中，包括步骤S121，在所述步骤S121中，基于拍摄指令，在所述四边形图像内第一边一端的部分区域中选定点为第一焦点，并以所述第一焦点对焦拍摄初始图像，其中，所述第一边为所述四边形图像的、具有较小的对边夹角的两对边中、较短的一边。
在此，所述的拍摄指令可以是进入拍摄模式后由终端自动触发，如在文档校正模式中，当在预览图像中检测到四边形图像时自动触发拍摄初始图像；也可以是根据用户操作输入确定。所述初始图像是基于拍摄指令由摄像头采集所获取的、未进行矩形校正和/或合成的图像。
基于倾斜拍摄的原理，对边夹角较小的两个对边为拍摄距离相差较大的两边，并基于近大远小原理，对边夹角较小的两个对边中，较短边，即所述第一边对应所述矩形目标最远端的边，较长边，即所述第一边对边(第四边)对应所述矩形目标最近端的边。
在一些实施例中，所述第一边的确定方法具体包括：首先，确定四边形图像的四边；接着，确定两个对边夹角，其中，具有较小的对边夹角的两对边中，较短的一边即为与矩形目标最远端边相对应的所述第一边，较长的、也是与所述第一边相对的一边即为与矩形目标最近端边相对应的边。对边夹角是两个对边延长线的夹角，或者平行移动一个边使其与对边相交产生的夹角。
结合图8，在一具体实施例中，检测到预览图像中的四边形图像ABCD，对边夹角为对边所形成的夹角，如边AB与边CD的对边夹角β1，边AD与边BC的对边夹角β2，其中，β1小于β2，且边AB小于边CD，则确定较短边的边AB为第一边，边CD为第一边对边。在一些实施例中，四边形图像两对边平行时，则认为对边夹角为0°。所述四边形图像ABCD内第一边AB一端的部分区域对应于所述矩形目标远端的部分区域中，则在所述四边形图像ABCD内第一边AB一端的部分区域中选定点为第一焦点，即为将第一焦点设定在对应所述矩形目标的较远的一端。
在一些实施例中，确定第一边一端的部分区域的具体步骤可以包括：在步骤S121a中，在所述四边形图像的第二边和第三边上分别确定第一点和第二点，所述第一点到所述第一边与所述第二边相交的顶点的距离小于等于到所述第二边与第四边相交的顶点，所述第二点到所述第一边与所述第三边相交的顶点的距离小于等于到所述第三边与所述第四边相交的顶点，所述第四边为所述第一边的对边；在步骤S121b中，所述第一边与所述第二边相交的顶点、所述第一边与所述第三边相交的顶点、所述第一点及所述第二点连线所组成的第一区域形成所述第一边一端的部分区域。
继续参考图8，在一些实施例中，所述四边形图像ABCD内第一边AB一端的部分区域可以是沿着四边形图像ABCD的第二边AD上的某点E(该点E相比于第四边CD更靠近第一边AB)到第三边BC上的更靠近第一边AB某点F(该点F相比于第四边CD更靠近第一边AB)的连线切割的、第一边一端的部分区域ABFE。
然后，在所述第一区域中选择第一焦点为步骤S121c，在一些优选的实施例中，选定第一焦点的方式是：选定所述第一区域的对角连线的交点为所述第一焦点；选定所述第一区域的对边中点连线的交点为所述第一焦点；选定在所述第一区域中基于亮度分布动态确定的点为所述第一焦点；选定在所述第一区域中基于待跟踪目标动态确定的点为所述第一焦点；选定在所述第一区域中基于不均匀密度分布确定的重心点为所述第一焦点；等等。
在一些实施例中，参考图10a，确定第二边AD和第三边BC的中点F和中点E，确定第一区域ABEF。然后，在第一区域ABEF中选择点作为第一焦点。结合图10a和图10b，在一些实施例中，在第一区域ABEF中选定两两对边中点连线的交点G1、或两条对角线的连线的交点连线的交点G2作为第一焦点等等。在一些实施例中，还可以在第一区域ABEF中，根据亮度分布、待跟踪目标等等动态确定一个点作为第一焦点。其中，所述待跟踪目标可以是，例如四边形图像中重点标示的目标(例如人脸等)。在其他实施例中，还可以确定第二边AD和第三边BC上靠近第一边AB的三分点F’和E’，并确定第一区域ABE’F’等等。
在一些实施例中，如图10c所示，选定第一焦点的方式还可以是，在四边形图像ABCD中，基于不均匀密度分布的重心计算，具体步骤包括：(1)检测预览图像中的四边形图像ABCD；(2)根据四边形图像的拍摄倾斜度，为四边形图像ABCD不同部位分配不同的密度，例如，沿预览图像的水平方向，从第一边AB向第四边CD，把密度比例设置为与切面的边长成反比例(或者更高次幂的比例)，再沿预览图像的垂直方向从第二边AD向第三边BC，同样把密度比例设置为与切面的边长成反比例(或者更高次幂的比例)，图10c中，第一边AB与第四边CD的对边夹角为0°，沿预览图像的垂直方向从第二边AD向第三边BC方向上的密度比例一致；(3)根据密度比例及四边形图像ABCD的面积，计算出四边形图像ABCD的重心，作为第一焦点G。在此，根据重心原理，采用不均匀密度分布的重心计算的重心点同样是靠近第一边一端的区域中的点。
根据一些实施例，在所述步骤S12中，所述终端通过在所述四边形图像中选定靠近与所述矩形目标远端的部分区域的点，尽量提高所述四边形图像对应矩形目标的远端的部分区域的清晰度，以弥补所述四边形图像中对应所述矩形目标远端的部分区域的分辨率不足的情况，提升所述初始图像在适当景深位置的清晰度，进而提高最终图像的整体清晰度和视觉效果。
接着，在所述步骤S13中，所述终端将所述初始图像中的四边形图像校正为矩形图像。
在一些实施例中，进行校正的方法可以是，首先，基于四边形图像的像素分布生成关于像素点位置坐标(x，y)的矩阵M，根据所述四边形图像和待校正的矩形图像的尺寸和形状对应关系，确定四边形图像到矩形图像的变换矩阵，并通过矩阵M与变换矩阵进行运算，计算出像素点在新图像中对应的位置(x’，y’)。若像素点的位置落在整数坐标上，则将该像素点的像素值作为该整数坐标的像素值；若像素点的位置不是落在整数坐标上，则利用该整数坐标邻近的若干像素点进行插值计算，获得该整数坐标的像素值，生成新的像素点，根据新的像素点位置坐标生成矩阵T，根据矩阵T生成校正后的矩形图像。
其中，插值方法可以采用线性插值法，以线性函数为插值函数的插值方法。二维图像通常使用双线性插值，双线性插值是有两个变量的插值函数的线性插值扩展，通过在两个方向分别进行一次线性插值获得。结合图11，以从4个像素点插值到9个像素点为例：4个像素的值分别为如(a)所示{10，20，30，40}，若放大到如(b)所示的9个像素，可把9个像素缩小覆盖到4个像素上，每个像素按照覆盖到的原像素的面积，取不同的权重来组合，如(c)所示，其中，a，c，g，i只含有一个像素，像素值等于其下覆盖的像素；b，d，f，h跨越了两个像素，面积相等则权重相等，两个像素的值按权重融合；e覆盖了4个像素，面积相等，权重相等，取四个像素按均值融合；最终如(d)所示的9个像素值为{10，15，20，20，25，30，30，35，40}。
此外，其他图像插值方法，例如最临近插值、线性插值、双线性插值、立方卷积插值、双三次插值等，如适用本发明一些实施例的，虽不再赘述，也能够以引用的方式应用于本发明一些实施例中。
在一些实施例中，在步骤S13中，将初始图像中的四边形图像校正为矩形图像后，可以将初始图像中的四边形图像以外的区域图像删除。
在一些实施例中，在步骤S13中，将初始图像中的四边形图像校正为矩形图像后，初始图像中的四边形图像以外的区域图像可以保留，并根据四边形图像的变化进行相应调整；在一些实施例中，初始图像中的四边形图像以外的区域图像，可以在后续步骤中继续根据矩形图像的对齐和合成过程继续进行相应调整，并保留在最终图像中输出。
在一些实施例中，初始图像中的四边形图像以外的区域图像也可以在后续某一步骤中删除或者在校正为矩形图像之前删除。
在一些实施例中，所述终端选择拍摄多张所述初始图像，并对所述初始图像进行矩形矫正、合成和输出。具体地，结合图12，在步骤S11中，进入拍摄模式，在预览图像中检测四边形图像；在所述步骤S12中，所述终端基于拍摄指令，在所述四边形图像内选定至少两个焦点，所述至少两个焦点包括至少一个所述第一焦点和至少一个第二焦点，并分别以所述焦点对焦拍摄至少两张初始图像，其中，所述焦点包括至少一个在所述四边形图像内第一边一端的部分区域中选定的点和至少一个在所述四边形图像内所述第一边对边一端的部分区域中选定的点，所述第一边为所述四边形图像的、具有较小的夹角的两对边中、较短的一边；在所述步骤S13中，所述终端将所述至少两张初始图像中的四边形图像校正为矩形图像；在所述步骤S14中，包括步骤S141和步骤S142，在所述步骤S141中，所述终端对多张所述矩形图像进行合成，以得到最终图像，在所述步骤S142中，输出所述最终图像。输出最终图像可以包括直接在显示单元显示最终图像，或者保存到拍照图像的存储空间中，根据用户指示在显示单元上显示最终图像。
在一些实施例中，所述方法通过所述终端在拍摄过程中在所检测四边形图像中，至少选择一个第二焦点和一个对应于矩形目标远端的第一焦点，分别进行拍摄，获取多张初始图像，并将若干所述初始图像校正为矩形图像后，从各矩形图像中选择清晰度较高的局部，形成合成图像，并将合成图像作为最终图像输出，第二焦点和第一焦点不同，通过选择不同位置的焦点对焦，能够获得的局部清晰度不同的初始图像，校正后的矩形图像的局部清晰度也不同，通过对各矩形图像的最清晰局部进行合成，进一步提升最终图像的清晰度。可选地，第二焦点为对应于矩形目标近端的焦点。
在此，所述步骤S11的内容与图7所示的步骤S11的内容相同或基本相同，为简明起见，不再赘述，并以引用的方式包含于此。
接着，根据一些实施例，在所述步骤S12中，在图7所示的步骤S12的基础上，所述终端基于拍摄指令，拍摄多张初始图像。多张初始图像中，不仅包括至少一张在所述四边形图像内第一边一端的部分区域中选定点为第一焦点对焦拍摄的图像，还包括至少一张在所述四边形图像内第一边对边一端的部分区域中选定点为第二焦点对焦拍摄的图像。
其中，待拍摄的初始图像是数量不被限定，例如可以是一张、两张、三张、四张、八张等等。
在一些实施例中，待拍摄的初始图像的数量，可以是程序预先设定的，或由根据用户选定操作确定。例如，程序自动设定为每当用户每输入一次拍摄指令(例如单击拍摄按键)，则拍摄两张初始图像；再例如，在每次进入文档校正的拍摄模式时，向用户提供选择提示，以由用户选定拍摄初始图像的数量，随后每当用户每输入一次拍摄指令(例如单击拍摄按键)，则拍摄相应数量的初始图像。
在一些实施例中，根据用户拍摄指令(拍摄单张还是连拍多张的指令)确定初始图像的拍摄数量。
在一些实施例中，所述方法还包括，在拍摄初始图像之前，先确定待拍摄的初始图像的数量。其中，待拍摄的初始图像的数量可以根据预览图像中所述四边形图像的成像情况，确定待拍摄的初始图像的数量，其中，预览图像中所述四边形图像的成像情况可以为但不限于：预览图像中所述四边形图像的形变程度，或预览图像中所述四边形图像的清晰度差异。若所述四边形图像形变越小或校正后清晰度差异越小，则确定拍摄较少数量的初始图像，若所述四边形图像形变越大或清晰度差异越大，则确定拍摄较多数量的初始图像，例如拍摄两张、四张甚至更多张。
在一些实施例中，分析预览图像中所述四边形图像内从所述第一边到所述第一边对边的方向上的清晰度分布曲线；然后，根据清晰度分布曲线确定待拍摄的初始图像的数量。通常，清晰度分布曲线的变化范围越大，其拍摄倾斜度越大，被拍摄的矩形目标远端和近端的清晰度差别越大，则通过增加初始图像的拍摄数量，并结合选择不同的焦点位置进行拍摄，能够获得更多清晰的局部区域，从而在后续合成阶段提高最终图像的整体清晰度。
在一些实施例中，结合图8，根据四边形图像的形变情况确定待拍摄的初始图像的数量，可以为根据四边形图像的对比夹角来确定，具体包括：(1)首先检测预览图像中的四边形图像ABCD；(2)求出四边形图像ABCD对边夹角；(3)例如，若任一夹角β大于预设夹角阈值时，其中，预设夹角阈值可取10°～20°，例如15°，则可推测拍摄角度的倾斜度较大，则可确定拍摄两张或更多张初始图像，两两对边沿线的夹角越大，可以增加初始图像的拍摄数量的。可选地，可以判断较小的对边夹角是否大于预设夹角阈值。
在一些实施例中，分析预览图像中所述四边形图像内从所述第一边到所述第一边对边的方向上的清晰度分布曲线；然后，根据清晰度分布曲线确定待拍摄的初始图像的数量。通常，清晰度分布曲线的变化范围越大，其拍摄倾斜度越大，被拍摄的矩形目标远端和近端的清晰度差别越大，则通过增加初始图像的拍摄数量，并结合选择不同的焦点位置进行拍摄，能够获得更多清晰的局部区域，从而在后续合成阶段提高最终图像的整体清晰度。结合图9，根据清晰度分布判断拍摄张数的过程包括：(1)检测预览图像中的四边形图像ABCD；(2)求出预览图像沿第一方向X上(即第一边AB向第四边CD方向)，四边形图像ABCD中清晰度曲线；(3)若在四边形图像的范围内，基于清晰度曲线的变化范围，确定拍摄初始图像的张数，变化范围为清晰度最大值和清晰度最小值的差值，以100满分为例，变化范围在30～40时确定拍摄两张初始图像，变化范围在40～50时确定拍摄三张初始图像，变化范围在50～80时确定拍摄四张初始图像，。在具体场景实施例中，拍摄倾斜度的相关阈值可以根据不同拍摄场景下，不同的拍摄条件和拍摄要求进行具体设定。
此外，预览图像中所述四边形图像的成像情况，可以用于确定拍摄初始图像的张数、还可以用于选择初始图像的拍摄过程中各焦点位置的参考等。
当确定待拍摄的初始图像的张数后，选定与待获取的初始图像的张数对应数量的焦点。在所述四边形图像内第一边一端的部分区域中选定点为第一焦点的方法可参考图7所示的步骤S12中的选定方法，在此不再赘述。
在一些实施例中，在所述四边形图像内第一边对边(即第四边)一端的部分区域中选定点为第二焦点的方法可以包括：在所述第二边和所述第三边上分别确定第三点和第四点，其中，所述第三点到所述第一边与所述第二边相交的顶点的距离大于等于到所述第二边与所述第四边相交的顶点，所述第四点到所述第一边与所述第三边相交的顶点的距离大于等于到所述第三边与所述第四边相交的顶点；确定所述第四边与所述第二边相交的顶点、所述第四边与所述第三边相交的顶点、所述第三点及所述第四点连线所组成的第二区域为所述第一边对边一端的部分区域；选定至少一个所述第二区域中的点分别作为第二焦点。
在一些实施例中，所述第三点可以与第一点重合，所述第四点可以与第一点重合。
在一些实施例中，若需拍摄三张或者更多张的初始图像时，除在第一区域或第二区域中确定点作为焦点外，再选择的焦点的位置可以不限于在第一区域或第二区域内，优选每次选择不同的焦点位置，以获取不同局部地区的清晰图像。
在一些实施例中，在第二区域中选定第二焦点的方式可以参考在所述第一区域中选定第一焦点的方式。
具体地，例如，参考图10d，在拍摄两张初始图像时，对于四边形图像ABCD，与第四边CD相交的第二边AD和第三边BC的中点分别为点F和点E，则选择选择靠近第一边AB的部分四边形区域ABEF和靠近第四边CD的部分四边形区域CDFE。
在另一实施例中，参考图10e，第二边AD上两个三分点F1和F2，第三边BC上两个三分点E1和E2，将四边形区域划分为三个部分区域ABE1F1、F1E1E2F2及F2E2CD，分别取三个部分区域中的对边中点连线的交点，确定三个焦点G1、G2和G3。
此外，所述待拍摄的初始图像的数量也可以根据用户在指定时间内连续输入拍摄指令(例如长按拍照按键以进行的连拍方式)，确定待获取的初始图像的数量。由于拍摄的初始图像的数量是动态的，在预先未知初始图像数量的情况下，可以在拍摄第一张时，选定以所述四边形图像内靠近较短边的部分区域中的点为第一焦点，在拍摄第二张时，选定以所述四边形图像中靠近较长边的部分区域中的点为第二焦点，在后续拍摄每张照片时，可以交替四边形图像内靠近较短边的部分区域中的点和所述四边形图像中靠近较长边的部分区域中的点作为焦点，但每次选定的焦点与前任一次拍摄的焦点不同。
通过以多个不同的焦点进行对焦拍摄多张初始图像，焦点附近的图像区域较为清晰，选择越多不同的焦点，越能够获得所述四边形图像的更多清晰的局部区域，进而能够帮助提高最终图像的清晰度。
在步骤S13中，将每张所述初始图像中的四边形图像校正为矩形图像。所述步骤S13的对每张初始图像进行校正的具体内容可以参考图7所示的步骤S13的具体内容，不再赘述。
接着，在一些实施例中，所述步骤S141包括以下步骤：步骤S141a，对所述矩形图像进行特征点对齐；步骤S141b，基于对齐后的各所述矩形图像的清晰度分布，确定若干合成区域；步骤S141c，基于各所述矩形图像的清晰度，对每一所述合成区域进行合成。
其中，所述终端基于各所述矩形图像的清晰度，对每一所述合成区域进行合成的步骤采用：从各所述矩形图像中获取一个与所述合成区域对应清晰度最高的区域，进行拼接，以得到最终图像；或，从各所述矩形图像中获取至少两个与所述合成区域对应区域，以清晰度为权重，进行像素融合，以得到最终图像。
在一些实施例中，当拍摄多张初始图像时，每次拍摄对四边形图像进行边缘检测检测到的矩形目标的边缘(包括边、角)可能不同，因此不同的初始图像中的四边形图像存在位移、尺寸、旋转角度略有不同的情况，则每张初始图像校正后的矩形图像需要基于矩形图像的特征点进行进一步对齐，以利于后续合成步骤。
具体地，将所有校正后的矩形图像进行图像对齐(Image Stiching)，至少两个矩形图像之间会有平移、旋转、仿射等变换关系，根据特征点的相对位置关系，可以计算出变换矩阵，把至少两个矩形图像的特征点对齐，矩形图像也就对齐了。在一些实施例中，对齐过程包括：
(1)以任一张矩形图像为基准图像，其他矩形图像与基准图像两两特征点对齐，对两两矩形图像进行特征点提取和描述包括：提取一系列特征点，其提取方法可以包括：尺度不变特征变换法(SIFT，Scale-invariant feature transform)，SURF算法(Speeded UpRobust Features)、哈里斯(Harris)角点检测算法等，其他本领域技术人员熟知的特征点提取方法，如适用本申请的，仍能够以引用的方式包含于本发明的思想范围之内；
(2)结合图13a和图13b，以图13a的矩形图像T1为基准图像，对图13b的矩形图像T2进行对齐，具体地，将矩形图像T1和矩形图像T2的特征点进行匹配，找出特征匹配点X1、X2、X3和X4，及对应X1’、X2’、X3’和X4’，其中，所述特征匹配点是像素点的抽象的标记，表示在矩形图像中的位置和特征值，特征点可以是矩形图像中拐角、分叉、边缘等位置标记；
(3)根据特征匹配点，计算两个矩形图像T1和T2的相对转移矩阵，所述相对转移矩阵里表示的是每个特征匹配点进行对齐变换的旋转、平移、缩放的变换参数，例如，在一具体场景的实施例中，矩形图像T1中，特征匹配点X1、X2、X3和X4的坐标分别为：(211，224)，(577，240)，(209，466)，(545，511)，矩形图像T2中，特征匹配点X1’、X2’、X3’和X4’的坐标分别为：(213，215)，(579，261)，(192，450)，(525，527)，
则对应的相对转移矩阵为：
Figure GPA0000263828780000281
(4)根据相对转移矩阵，把其中一矩形图像T2进行平移、旋转、缩放、仿射等变换，与另一矩形图像T1对齐，形成对齐后的矩形图像T2’，矩形图像T1和对齐后的矩形图像T2’如图13c所示。
在一些实施例中，当拍摄多张初始图像时，对四边形图像进行边缘检测检测到的矩形目标的边缘(包括边、角)在误差范围内，并且校正的宽高比例也在误差范围内，则每张初始图像校正后的矩形图像可以无需进行对齐。
接着，分析每一矩形图像的清晰度分布情况，根据清晰度分布情况，确定至少一条拼接线或融合区域，基于拼接线的划分，从各矩形图像中选择清晰度较高的局部图像进行拼接，或在所述融合区域中，基于所述矩形图像的清晰度，将相应矩形图像的像素进行融合，从而获得清晰的最终图像，输出。其中，合成区域可以是若干拼接区域，或拼接区域与融合区域的结合。
具体地，对图14a的初始图像M1和M2进行矩形校正和特征对齐后形成图14b两张校正后的矩形图像T1和T2(T1和T2也可以是对齐后的矩形图像)，分析图14b所示两幅矩形图像T1和T2的清晰度，得到的如图14c所示清晰度曲线L1和L2，L1是矩形图像T1的清晰度曲线，L2是矩形图像T2的清晰度曲线。
在此，图像清晰度的评价方法，可以采用Brenner梯度函数(布伦纳梯度函数)，具体地，通过计算相邻两个像素灰度差的平方进行清晰度评价，该梯度函数定义如下：
D(f)＝∑y∑x|f(x+2，y)-f(x，y)|2
其中：f(x，y)表示图像f对应像素点(x，y)的灰度值，D(f)为图像清晰度计算结果。
此外，基于TenenGrad函数、基于Brenner函数、基于方差函数、基于平方梯度函数、基于Vollath函数、基于加窗梯度函数、基于熵函数、基于区域对比度、以及无参考图像的清晰度评价方法(ΔDoM)等，均可以应用于本发明所示方法中。
接着，基于图14b和图14c的清晰度分布图，可知两张校正和对齐后的矩形图像T1和T2的清晰度分布曲线分别为L1和L2，基于清晰度分布曲线L1和L2对应的位置，生成如图14d所示的用于划分合成区域的拼接线MN，图14d是将矩形图像T1和T2合成的目标图像，14d中的矩形和矩形图像T1、T2尺寸一致，初始图14d中的矩形中可以是空白的，拼接线MN将图14d中的矩形划分出两个合成区域Q1和Q2，在此，所述拼接线不一定是直线，其具体根据清晰度的分布确定走向。
接着，在拼接区域中，可以直接选择对应清晰度较高的矩形图像的区域进行拼接即可，即，在合成区域Q1选择清晰度曲线L1对应的校正后的矩形图像的区域与在合成区域Q2选择清晰度曲线L2对应的校正后的矩形图像的区域进行拼接。可以在矩形图像T1和T2中按照拼接线MN划分为清晰度高和清晰度地的区域，则清晰度高的区域复制到对应的合成区域中；或者基于图14d中划分的合成区域内的像素点坐标，查找所述像素点坐标在清晰度高的矩形图像中的像素值，作为合成区域内该像素点的像素值。
在另一实施例中，结合图14e，基于清晰度曲线L1和L2划分为三个合成区域Q1、Q2和Q3，其中，合成区域Q2对应的两张校正后矩形图像的清晰度曲线L1和L2的清晰度差距不大，因此合成区域Q2可以确定为融合区，在这一区域中，利用两张校正后的矩形图像，以每个像素点的清晰度为权重进行融合处理。
在另一实施例中，图14f，当有三张校正后的矩形图像，获得清晰度分布曲线L1、L2和L3，基于三条清晰度分布曲线划分三个合成区域Q1、Q2和Q3，在合成时，在合成区域Q1中选择清晰度曲线L1对应的校正后的矩形图像的区域、在合成区域Q2中选择清晰度曲线L2对应的校正后的矩形图像的区域及在合成区域Q3中选择清晰度曲线L3对应的校正后的矩形图像的区域进行拼接，形成清晰度较高的图像。
接着，在另一实施例中，图14g，当有三张校正后的矩形图像，获得清晰度分布曲线L1、L2和L3，基于三条清晰度分布曲线划分五个合成区域Q1、Q2、Q3、Q4和Q5，其中，合成区域Q2和Q4确定为融合区域，其中融合区域Q2基于清晰度曲线L1和L2对应的矩形图像进行融合，融合区域Q4基于清晰度曲线L2和L3对应的矩形图像进行融合，以获得融合图像，合成区域Q1、Q3和Q5分别选择选择清晰度曲线L1、清晰度曲线L2及清晰度曲线L3对应的校正后的矩形图像的区域。
结合图15，根据本申请一实施例所述的方法中，当所述终端具有至少两个摄像头，则所述的获取至少一张初始图像的步骤包括：控制至少两个摄像头，分别以不同的焦点进行对焦，各拍摄至少一张初始图像。
在一具体实施例中，所述终端为具有两个同像素的双目摄像头手机。与前述实施例的不同，在与有两个参数相同的摄像头，仅仅拍摄位置有不同，因此可以同时对焦在不同的位置，拍摄两张初始图像。
由于拍摄位置的偏差，两张初始图像略有像差，如图16所示，从两个摄像头分别得到的图像中，四边形图像在初始图像中的位置有偏差。在一些实施例中，图16中(a)是摄像头一的预览图像，基于预设的焦点选择方法，计算出的两个候选的焦点为G1和G2，图16中(b)是摄像头二的预览图像，基于同样的焦点选择方法，计算出的两个候选的焦点为H1和H2。由于有两个摄像头，可同时对焦，因此(G1，H2)和(G2，H1)成为两组候选焦点对。分别计算两组候选焦点对中的焦点与初始图像的中心的距离的和或者方差，选出离中心最近的一组候选焦点对，作为后续两摄像头同时拍照时分别对焦的焦点，例如，图16中较优的一组焦点位置是(G1，H2)。
接着，基于拍摄指令，两个摄像头同时获取初始图像。
通过矩形校正(也称为梯形校正)，获得校正后的两矩形图像，接着，采用前述实施例中的方法，对校正后的矩形图像进行对齐和拼接融合过程。
根据本申请另一实施例所述的方法，所述终端还可以是具有两个不同像素的双目摄像头手机。基于前述实施例，两个摄像头的预览图像同样有视差。不过分辨率成为确定焦点位置主要考虑的因素。
为了提升远端图像的分辨率，可以将高像素摄像头的焦点确定在检测出的四边形图像的小端部分，即被拍摄的矩形目标的远端一侧，而低像素摄像头的焦点确定在检测出的四边形图像的大端，即被拍摄的矩形目标的近端一侧。
经过四边形校正后的校正图像，分辨率也是不同的，如下还表示出了清晰度的差异：当分析两个图像的清晰度时，两图像清晰度的最大值和取值范围都会差距较大。可取清晰度相等的位置作为拼接位置，这个位置可能会采用更多来自高分辨率摄像头的图像。该实施例同样可适用实施例一的拼接区域融合的方法，来减少拼接线附近的图像突变。
结合图17，根据本发明一具体实施例，在一具体场景中，拍摄图像的方法包括如下步骤：
1.摄像头打开，进入文档校正模式，获取预览图像Ip，并检测当前Ip中的四边形图像Qp；
2.检测到拍摄指令；
接着，判断需要拍摄原始图片的数量，若仅拍摄一张则：
3.1根据Qp确定一个焦点F；
3.2根据焦点F拍摄照片Io(即初始图像)；
3.3检测Io中的四边形图像Q；
3.4校正Q为矩形图像Ir，为最终校正图像Ir；
若拍摄多张则：
4.1根据Qp确定至少两个焦点{F1，F2，...}；
4.2根据{F1，F2，...}拍摄照片{Io1，Io2，...}(即初始图像)；
4.3根据{Io1，Io2，…}，分别检测其中的四边形图像{Q1，Q2，...}；
4.4分别校正{Q1，Q2，…}为矩形图像{Ir1，Ir2，...}，并对矩形图像{Ir1，Ir2，...}进行特征对齐{Ir1’，Ir2’，...}；
4.5统一对{Ir1’，Ir2’，...}进行局部图像清晰度分析，确定至少一条拼接线{Lm1，…}或融合区域{Rm1，...}；
4.6根据{Lm1，…}或{Rm1，...}，把{Ir1，Ir2，…}合成为最终校正图像Im。
最后，9.将步骤3.4或步骤4.6获得的最终校正图像Ir或Im作为最终图像输出。
结合图18，在另一实施例中，在图17所示的具体场景基础上，根据预览图像中检测的四边形图像的成像情况，如对边夹角或清晰度分布曲线，自动选择拍摄张数。在一些实施例中，自动选择拍摄张数在拍摄初始图像之前执行即可，即可以在检测到拍摄指令之前执行。
图19a～图19c示出了采用本申请所述拍摄图像的方法，在拍摄图像和处理图像过程中，所获得的初始图像及最终输出的图像的示意图。在拍摄矩形目标时，在预览图像中检测四边形图像，确定四边形图像中对边夹角较小的两两对边中较短边为第一边(与被拍摄的矩形目标的远端边相对应)，接着，基于拍摄指令，拍摄多张初始图像，至少获得有一张如图19a所示的以靠近第一边对边一端的部分区域的点作为焦点拍摄的初始图像，如图19b所示的以靠近第一边对边一端的部分区域的点作为焦点拍摄的初始图像，进行矩形校正和合成处理，形成如图19c所示的最终图像，其中，相比于现有技术，区域A’的清晰度明显提高，同时与区域B’的清晰度差别较小，提高了最终图像的整体的清晰度。
在以上各实施例提及的附图，均为便于理解各实施例的示例性的附图，其尺寸及比例并不被限制，且各附图间的比例关系并非必然关联。
根据一些实施方式提供的在带有摄像头的终端中拍摄图像的装置，其中，所述装置包括：检测模块、拍摄模块、校正模块及输出模块，首先，所述检测模块进入拍摄模式，在预览图像中检测四边形图像；接着，所述拍摄模块基于拍摄指令，在所述四边形图像内选定至少一个焦点，并以所述至少一个焦点对焦拍摄至少一张初始图像，其中，所述四边形图像包括第一组对边和第二组对边，所述第一组对边的对边夹角小于所述第二组对边的对边夹角，第一边为所述第一组对边中较短的一边，所述至少一个焦点包括第一焦点，所述第一焦点在所述四边形图像内且在第一边一端的部分区域中；然后，所述校正模块将每个所述至少一张初始图像中的四边形图像校正为矩形图像；之后，所述输出模块基于所述矩形图像，得到最终图像并输出。
图20示出根据一些实施例提供的在包括摄像头和多个应用程序的终端中拍摄图像的装置1，其中，所述装置1包括：检测模块11、拍摄模块12、校正模块13及输出模块14，首先，所述检测模块11进入拍摄模式，在预览图像中检测四边形图像；然后，所述拍摄模块12基于拍摄指令，在所述四边形图像内选定至少一个焦点，并以所述至少一个焦点对焦拍摄至少一张初始图像，其中，所述四边形图像包括第一组对边和第二组对边，所述第一组对边的对边夹角小于所述第二组对边的对边夹角，第一边为所述第一组对边中较短的一边，所述至少一个焦点包括第一焦点，所述第一焦点在所述四边形图像内且在第一边一端的部分区域中；接着，所述校正模块13将每个所述至少一张初始图像中的四边形图像校正为矩形图像；随后，所述输出模块14基于所述矩形图像，得到最终图像并输出。
本发明拍摄图像的装置，可应用于文档校正(或称为梯形校正)的拍摄模式，用于提升文档校正中校正后图像的清晰度，其中，所述的文档校正是一种通过对四边形图像的检测、变换、处理，输入是图像，输出也是图像，用于帮助用户在拍摄矩形目标时，校正由于拍摄角度倾斜导致图像变形，最终输出矩形最终图像。在此，所述矩形目标泛指矩形的含有信息的图像，例如：文件、发票、书本、名片、证件、讲义、照片、广告、展板、电视、电影、屏幕等等，当然，本领域技术人员应当能够理解，上述矩形目标仅为举例，其他矩形物体被拍摄为图像时，都可以应用本申请所述方法进行拍摄和校正。
所述装置可以是安装于具有摄像头及多个应用程序的终端中的具有处理能力的硬件、软件或软件与硬件的结合，其中，所述终端可为所有具有拍照功能以及图像处理功能的电子设备，所述电子设备可为移动电话、平板电脑(Tablet Personal Computer)、膝上型电脑(Laptop Computer)、数码相机、数字摄影机、投影设备、个人数字助理(personaldigital assistant，简称PDA)、电子书阅读器(英文：e-book reader)或可穿戴式设备(Wearable Device)等，对此本发明实施例不做进一步限定。
所述检测模块11的一种具体实现方式参考图7所示的步骤S11的具体内容，所述拍摄模块的实现方法参考图7所示的步骤S12的具体内容，为简明起见，不再赘述。
如图21所示，在一些实施例中，所述拍摄模块12包括：第一拍摄子模块121，用于在所述四边形图像内选定所述第一焦点，以所述第一焦点拍摄一张初始图像。具体地，所述第一拍摄模块121包括：第一边确定子模块121a、第一区域确定子模块121b和第一焦点确定子模块121c，所述第一边确定子模块121a在所述四边形图像的第二边和第三边上分别确定第一点和第二点，其中，所述第二边和所述第三边与所述第一边相邻，所述第一点到所述第一边与所述第二边相交的顶点的距离小于等于到所述第二边与第四边相交的顶点，所述第二点到所述第一边与所述第三边相交的顶点的距离小于等于到所述第三边与所述第四边相交的顶点，所述第四边为所述第一边的对边；所述第一区域确定子模块121b确定所述第一边与所述第二边相交的顶点、所述第一边与所述第三边相交的顶点、所述第一点及所述第二点连线所组成的第一区域为所述第一边一端的部分区域；所述第一焦点确定子模块121c选定一个所述第一区域中的点为所述第一焦点。所述第一边确定子模块121a、第一区域确定子模块121b和第一焦点确定子模块121c的具体实现参考前述实施例中的步骤S121a、步骤S121b和步骤S121c的内容及图10a和图10b所述的具体实施例的内容，不再赘述。
所述校正模块的实现方法参考图7所示的步骤S13的具体内容，所述输出模块的实现方法参考图7所示的步骤S14的具体内容，为简明起见，不再赘述，并以引用的方式包含于此。
随后，所述输出模块通过第一输出子模块(图中未示出)，将所述矩形图像作为最终图像输出。
在一些实施例中，所述输出模块包括合成子模块141和第二输出子模块(图中未示出)。
结合图20和图22，所述装置11执行的过程包括：首先，所述检测模块12进入拍摄模式，在预览图像中检测四边形图像；然后，所述拍摄模块12包括第二拍摄子模块122，所述第二拍摄子模块122在所述四边形图像内选定至少两个焦点，所述至少两个焦点包括至少一个所述第一焦点和至少一个第二焦点，所述第二焦点不同于所述第一焦点，并分别以所述至少两个焦点对焦拍摄至少两张初始图像；随后，所述校正模块将所述初始图像中的四边形图像校正为矩形图像。所述检测模块的实现方法参考图12所示的步骤S11’的具体内容，所述拍摄模块的实现方法参考图12所示的步骤S12’的具体内容，为简明起见，不再赘述。
其中，选定所述第一焦点的具体实现方式参考图21所示的第一拍摄子模块选定所述第一焦点的具体实现方式，不再赘述。
在一些实施例中，所述第二焦点为在所述四边形图像内所述第一边对边一端的部分区域中选定的点。所述第二拍摄子模块包括：第二边确定子模块、第二区域确定子模块和第二焦点确定子模块。所述第二边确定子模块在所述四边形图像的第二边和第三边上分别确定第三点和第四点，其中，所述第二边和所述第三边与所述第一边相邻，所述第三点到所述第一边与所述第二边相交的顶点的距离大于等于到所述第二边与第四边相交的顶点，所述第四点到所述第一边与所述第三边相交的顶点的距离大于等于到所述第三边与所述第四边相交的顶点，所述第四边为所述第一边的对边；所述第二区域确定子模块确定所述第四边与所述第二边相交的顶点、所述第四边与所述第三边相交的顶点、所述第三点及所述第四点连线所组成的第二区域为所述第一边对边一端的部分区域；所述第二焦点确定子模块选定一个所述第二区域中的点分别作为第二焦点。
所述校正模块通过校正子模块将所述至少两张初始图像中的四边形图像分别校正为至少两个矩形图像；所述输出模块包括：合成子模块和第二输出子模块，所述合成子模块对所述至少两个矩形图像进行合成以得到最终图像；所述第二输出子模块输出所述最终图像。
在一些具体的实现方式中，待拍摄的初始图像是数量不被限定，例如可以是一张、两张、三张、四张、八张等等。
在一些实施例中，待拍摄的初始图像的数量，可以是程序预先设定的，或由根据用户选定操作确定。例如，程序自动设定为每当用户每输入一次拍摄指令(例如单击拍摄按键)，则拍摄两张初始图像；再例如，在每次进入文档校正的拍摄模式时，向用户提供选择提示，以由用户选定拍摄初始图像的数量，随后每当用户每输入一次拍摄指令(例如单击拍摄按键)，则拍摄相应数量的初始图像。
在一些实施例中，待拍摄的初始图像的数量，也可以根据预览图像中所述四边形图像的成像情况，确定待拍摄的初始图像的数量，其中，预览图像中所述四边形图像的成像情况可以为但不限于：根据预览图像中所述四边形图像的形变程度大致判断的拍摄倾斜角度的情况，或根据预检测预览图像中所述四边形图像在校正为矩形图像后各局部的清晰度差异情况确定。例如，若所述四边形图像倾斜角度越小或校正后清晰度差异越小，则确定拍摄较少数量的初始图像，若其倾斜角度越大或清晰度差异越大，则确定拍摄较多数量的初始图像，例如拍摄两张、四张甚至更多张。
在一些实施例中，初始图像的拍摄数量根据拍摄倾斜度确定，拍摄倾斜度越大，增加拍摄图像数量，以提升初始图像的清晰度。所述装置还包括选定模块，所述选定模块在以所述至少一个焦点对焦拍摄至少一张初始图像之前，确定待拍摄的初始图像的数量。进一步地，所述选定模块包括选定子模块，所述选定子模块根据所述预览图像中检测的四边形图像的第一组对边的对边夹角、或所述四边形图像内从所述第一边到所述第一边对边的方向上的清晰度分布曲线，确定待拍摄的初始图像的数量。
具体地，根据所述四边形图像的对边夹角或所述四边形图像内从所述第一边到所述第一边对边的方向上的清晰度分布曲线，预判所述拍摄倾斜度；数量确定模块根据拍摄倾斜度所属的倾斜度阈值范围确定待拍摄的初始图像的数量，其中，所述拍摄倾斜度越大，所确定的待拍摄的初始图像的数量越多。预判模块和数量确定模块的实现方法参考图8所示的判断过程，为简明起见，不再赘述。
在一些实施例中，根据用户拍摄指令(拍摄单张还是连拍多张的指令)确定初始图像的拍摄数量。在一些实施例中，所述拍摄模块还包括：数量确定子模块，所述数量确定子模块在拍摄至少两张初始图像的步骤之前，根据用户在指定时间内连续输入的拍摄指令的次数，确定待获取的初始图像的数量。数量确定子模块的实现方法参考图9所示的判断过程，为简明起见，不再赘述。
在一些实施例中，对预览图像中所检测的四边形图像根据所述预览图像中检测的四边形图像的对边夹角、或所述四边形图像内从所述第一边到所述第一边对边的方向上的清晰度分布曲线，预判所述拍摄倾斜度；然后，根据拍摄倾斜度所属的倾斜度阈值范围确定待拍摄的初始图像的数量，拍摄倾斜度越大，所确定的待拍摄的初始图像的数量可以越多，拍摄倾斜度越大，被拍摄的矩形目标远端和近端的清晰度差别越大，通过增加初始图像的拍摄数量，并结合选择不同的焦点位置进行拍摄，能够获得更多清晰的局部区域，从而在后续合成阶段提高最终图像的整体清晰度，此外，对拍摄角度的倾斜角度的预判，可以用于确定拍摄初始图像的张数、还可以用于选择初始图像的拍摄过程中各焦点位置的参考等。
如图21所示，在一些实施例中，所述第一拍摄模块121包括：第一边确定子模块121a、第一区域确定子模块121b和第一焦点确定子模块121c。所述第一边确定子模块121a在所述四边形图像的第二边和第三边上分别确定第一点和第二点，其中，所述第二边和所述第三边与所述第一边相邻，所述第一点到所述第一边与所述第二边相交的顶点的距离小于等于到所述第二边与第四边相交的顶点，所述第二点到所述第一边与所述第三边相交的顶点的距离小于等于到所述第三边与所述第四边相交的顶点，所述第四边为所述第一边的对边；所述第一区域确定子模块121b确定所述第一边与所述第二边相交的顶点、所述第一边与所述第三边相交的顶点、所述第一点及所述第二点连线所组成的第一区域为所述第一边一端的部分区域；所述第一焦点确定子模块121c选定所述第一区域中的点为焦点。
所述第一边确定子模块121a、所述第一区域确定子模块121b和所述第一焦点确定子模块121c的实现方法参考前述实施例中的步骤S121、步骤S122和步骤S123的内容及图10a和图10b所述的具体实施例的内容，不再赘述。
如图22所示，在一些实施例中，所述第二拍摄模块122包括：第二边确定子模块122a、第二区域确定子模块122b和第二焦点确定子模块122c，其中，所述第二边确定子模块122a在所述第二边和所述第三边上分别确定第三点和第四点，其中，所述第三点到所述第一边与所述第二边相交的顶点的距离大于等于到所述第二边与所述第四边相交的顶点，所述第四点到所述第一边与所述第三边相交的顶点的距离大于等于到所述第三边与所述第四边相交的顶点；所述第二区域确定子模块122b确定所述第四边与所述第二边相交的顶点、所述第四边与所述第三边相交的顶点、所述第三点及所述第四点连线所组成的第二区域为所述第一边对边一端的部分区域；所述第二焦点确定子模块122c选定至少一个所述第二区域中的点分别作为焦点。
所述第二边确定子模块122a、所述第二区域确定子模块122b和所述第二焦点确定子模块122c的实现方法类似于所述第一边确定子模块121a、所述第一区域确定子模块121b和所述第一焦点确定子模块121c的实现方法，为简明起见，不再赘述。
接着，结合图23，所述输出模块14包括合成子模块141，所述合成子模块131对多张所述矩形图像进行合成，以得到最终图像。
如图23所示，在一些实施例中，所述合成子模块141包括：分析子模块141a、区域划分子模块141b和执行子模块141c。所述分析子模块141a对所述矩形图像进行清晰度分析及特征点对齐；所述区域划分子模块141b基于对齐后的各所述矩形图像的清晰度分布，确定若干合成区域；所述合成子模块141c基于各所述矩形图像的清晰度，对每一所述合成区域进行合成。所述分析子模块、区域划分子模块和合成子模块的实现方法参考前述实施例中步骤S141a、步骤S141b和步骤S141c的具体内容，为简明起见，不再赘述。
在一些实施例中，所述执行子模块包括第一合成子单元(附图未示出)和/或第二合成子单元(附图未示出)，所述第一合成子单元从各所述矩形图像中获取一个与所述合成区域对应清晰度最高的区域，进行拼接，以得到最终图像；所述第二合成子单元从各所述矩形图像中获取至少两个与所述合成区域对应清晰度较高的区域，以清晰度为权重，进行像素融合，以得到最终图像。第一合成子单元和/或第二合成子单元的合成过程的实施例参考图14a～图14c所示及其对应描述，不再赘述。
若所述终端具有至少两个摄像头时，所述拍摄模块包括：控制子模块，控制子模块控制各所述摄像头，分别以不同的焦点进行对焦各拍摄至少一张初始图像。所述控制子模块的具体实现方法图15和图16所示及其对应描述，不再赘述。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储信道(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器指令，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
综上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照上述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对上述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (42)

1.一种在带有摄像头的终端中拍摄图像的方法，其中，所述方法包括：
进入拍摄模式，在预览图像中检测四边形图像，所述拍摄模式为能够进行文档校正的拍摄模式；
基于拍摄指令，在所述四边形图像内选定至少一个焦点，并以所述至少一个焦点对焦拍摄至少一张初始图像，其中，所述四边形图像包括第一组对边和第二组对边，所述第一组对边的对边夹角小于所述第二组对边的对边夹角，第一边为所述第一组对边中较短的一边，所述至少一个焦点包括第一焦点，所述第一焦点在所述四边形图像内且在第一边一端的部分区域中；
将每个所述至少一张初始图像中的四边形图像校正为矩形图像；
基于所述矩形图像，得到最终图像并输出。
2.根据权利要求1所述的方法，其中，所述的在所述四边形图像内选定至少一个焦点，并以所述至少一个焦点对焦拍摄至少一张初始图像的步骤包括：
在所述四边形图像内选定所述第一焦点，以所述第一焦点拍摄一张初始图像。
3.根据权利要求2所述的方法，其中，所述的在所述四边形图像内选定所述第一焦点的步骤包括：
在所述四边形图像的第二边和第三边上分别确定第一点和第二点，其中，所述第二边和所述第三边与所述第一边相邻，所述第一点到所述第一边与所述第二边相交的顶点的距离小于等于到所述第二边与第四边相交的顶点，所述第二点到所述第一边与所述第三边相交的顶点的距离小于等于到所述第三边与所述第四边相交的顶点，所述第四边为所述第一边的对边；
确定所述第一边与所述第二边相交的顶点、所述第一边与所述第三边相交的顶点、所述第一点及所述第二点连线所组成的第一区域为所述第一边一端的部分区域；
选定一个所述第一区域中的点为所述第一焦点。
4.根据权利要求3所述的方法，其中，所述的选定一个所述第一区域中的点为所述第一焦点的步骤包括以下任一项：
选定所述第一区域的对角连线的交点为所述第一焦点；
选定所述第一区域的对边中点连线的交点为所述第一焦点。
5.根据权利要求2至4中任一项所述的方法，其中，所述的基于所述矩形图像，得到最终图像并输出的步骤包括：
将所述矩形图像作为最终图像输出。
6.根据权利要求1所述的方法，其中，所述在所述四边形图像内选定至少一个焦点，并以所述至少一个焦点对焦拍摄至少一张初始图像的步骤包括：
在所述四边形图像内选定至少两个焦点，所述至少两个焦点包括至少一个所述第一焦点和至少一个第二焦点，所述第二焦点不同于所述第一焦点，并分别以所述至少两个焦点对焦拍摄至少两张初始图像。
7.根据权利要求6所述的方法，其中，所述第二焦点为在所述四边形图像内所述第一边对边一端的部分区域中选定的点。
8.根据权利要求6或7所述的方法，其中，所述第二焦点的选定方法包括：
在所述四边形图像的第二边和第三边上分别确定第三点和第四点，其中，所述第二边和所述第三边与所述第一边相邻，所述第三点到所述第一边与所述第二边相交的顶点的距离大于等于到所述第二边与第四边相交的顶点，所述第四点到所述第一边与所述第三边相交的顶点的距离大于等于到所述第三边与所述第四边相交的顶点，所述第四边为所述第一边的对边；
确定所述第四边与所述第二边相交的顶点、所述第四边与所述第三边相交的顶点、所述第三点及所述第四点连线所组成的第二区域为所述第一边对边一端的部分区域；
选定一个所述第二区域中的点分别作为第二焦点。
9.根据权利要求6至7中任一项所述的方法，其中，
所述将每个所述至少一张初始图像中的四边形图像校正为矩形图像的步骤包括：
将所述至少两张初始图像中的四边形图像分别校正为至少两个矩形图像；
所述的基于所述矩形图像，得到最终图像并输出的步骤包括：
对所述至少两个矩形图像进行合成以得到最终图像；
输出所述最终图像。
10.根据权利要求9所述的方法，其中，所述的对所述至少两个矩形图像进行合成以得到最终图像的步骤包括：
对所述至少两个矩形图像进行特征点对齐；
基于对齐后的各所述矩形图像的清晰度分布，确定所述最终图像中的多个合成区域；
基于各所述矩形图像的清晰度，对每一所述合成区域进行合成以得到最终图像。
11.根据权利要求10所述的方法，其中，所述的对每一所述合成区域进行合成以得到最终图像的步骤包括至少以下任一项：
从各所述矩形图像中获取一个与所述合成区域对应清晰度最高的区域，进行拼接，以得到最终图像；
从各所述矩形图像中获取至少两个与所述合成区域对应的区域，以清晰度为权重，进行像素融合，以得到最终图像。
12.根据权利要求6至7中任一项所述的方法，其中，所述终端具有至少两个摄像头，则所述的并以所述至少一个焦点对焦拍摄至少一张初始图像的步骤包括：
控制各所述摄像头，分别以不同的焦点进行对焦各拍摄至少一张初始图像。
13.根据权利要求1至4或6至7或10至11中任一项所述的方法，其中，在所述的以所述至少一个焦点对焦拍摄至少一张初始图像步骤之前，所述方法还包括：
确定待拍摄的初始图像的数量。
14.根据权利要求13所述的方法，其中，所述的确定待拍摄的初始图像的数量的步骤包括：
根据所述预览图像中检测的四边形图像的第一组对边的对边夹角、或所述四边形图像内从所述第一边到所述第一边对边的方向上的清晰度分布曲线，确定待拍摄的初始图像的数量。
15.一种在带有摄像头的终端中拍摄图像的装置，其中，所述装置包括：
检测模块，用于进入拍摄模式，在预览图像中检测四边形图像，所述拍摄模式为能够进行文档校正的拍摄模式；
拍摄模块，用于基于拍摄指令，在所述四边形图像内选定至少一个焦点，并以所述至少一个焦点对焦拍摄至少一张初始图像，其中，所述四边形图像包括第一组对边和第二组对边，所述第一组对边的对边夹角小于所述第二组对边的对边夹角，第一边为所述第一组对边中较短的一边，所述至少一个焦点包括第一焦点，所述第一焦点在所述四边形图像内且在第一边一端的部分区域中；
校正模块，用于将每个所述至少一张初始图像中的四边形图像校正为矩形图像；
输出模块，用于基于所述矩形图像，得到最终图像并输出。
16.根据权利要求15所述的装置，其中，所述拍摄模块包括：
第一拍摄子模块，用于在所述四边形图像内选定所述第一焦点，以所述第一焦点拍摄一张初始图像。
17.根据权利要求16所述的装置，其中，所述第一拍摄子模块包括：
第一边确定子模块，用于在所述四边形图像的第二边和第三边上分别确定第一点和第二点，其中，所述第二边和所述第三边与所述第一边相邻，所述第一点到所述第一边与所述第二边相交的顶点的距离小于等于到所述第二边与第四边相交的顶点，所述第二点到所述第一边与所述第三边相交的顶点的距离小于等于到所述第三边与所述第四边相交的顶点，所述第四边为所述第一边的对边；
第一区域确定子模块，用于确定所述第一边与所述第二边相交的顶点、所述第一边与所述第三边相交的顶点、所述第一点及所述第二点连线所组成的第一区域为所述第一边一端的部分区域；
第一焦点确定子模块，用于选定一个所述第一区域中的点为所述第一焦点。
18.根据权利要求17所述的装置，其中，所述第一焦点确定子模块用于以下至少任一项：
选定所述第一区域的对角连线的交点为所述第一焦点；
选定所述第一区域的对边中点连线的交点为所述第一焦点。
19.根据权利要求16至18任意一项所述的装置，其中，所述输出模块包括：
第一输出子模块，用于将所述矩形图像作为最终图像输出。
20.根据权利要求15所述的装置，其中，所述拍摄模块包括：
第二拍摄子模块，用于在所述四边形图像内选定至少两个焦点，所述至少两个焦点包括至少一个所述第一焦点和至少一个第二焦点，所述第二焦点不同于所述第一焦点，并分别以所述至少两个焦点对焦拍摄至少两张初始图像。
21.根据权利要求20所述的装置，其中，所述第二焦点为在所述四边形图像内所述第一边对边一端的部分区域中选定的点。
22.根据权利要求20或21所述的装置，其中，所述第二拍摄子模块包括：
第二边确定子模块，用于在所述四边形图像的第二边和第三边上分别确定第三点和第四点，其中，所述第二边和所述第三边与所述第一边相邻，所述第三点到所述第一边与所述第二边相交的顶点的距离大于等于到所述第二边与第四边相交的顶点，所述第四点到所述第一边与所述第三边相交的顶点的距离大于等于到所述第三边与所述第四边相交的顶点，所述第四边为所述第一边的对边；
第二区域确定子模块，用于确定所述第四边与所述第二边相交的顶点、所述第四边与所述第三边相交的顶点、所述第三点及所述第四点连线所组成的第二区域为所述第一边对边一端的部分区域；
第二焦点确定子模块，用于选定一个所述第二区域中的点分别作为第二焦点。
23.根据权利要求20至21中任一项所述的装置，其中，
所述校正模块包括：
校正子模块，用于将所述至少两张初始图像中的四边形图像分别校正为至少两个矩形图像；
所述输出模块包括：
合成子模块，用于对所述至少两个矩形图像进行合成以得到最终图像；
第二输出子模块，用于输出所述最终图像。
24.根据权利要求23所述的装置，其中，所述合成子模块包括：
分析子模块，用于对所述矩形图像进行清晰度分析及特征点对齐；
区域划分子模块，用于基于对齐后的各所述矩形图像的清晰度分布，确定若干合成区域；
执行子模块，用于基于各所述矩形图像的清晰度，对每一所述合成区域进行合成。
25.根据权利要求24所述的装置，其中，所述执行子模块包括至少以下任一项：
第一合成子单元，用于从各所述矩形图像中获取一个与所述合成区域对应清晰度最高的区域，进行拼接，以得到最终图像；
第二合成子单元，用于从各所述矩形图像中获取至少两个与所述合成区域对应的区域，以清晰度为权重，进行像素融合，以得到最终图像。
26.根据权利要求20至21中任一项所述的装置，其中，所述终端具有至少两个摄像头时，所述拍摄模块包括：
控制子模块，用于控制各所述摄像头，分别以不同的焦点进行对焦各拍摄至少一张初始图像。
27.根据权利要求15至18或20至21或24至25中任一项所述的装置，其中，所述装置还包括：
选定模块，用于在以所述至少一个焦点对焦拍摄至少一张初始图像之前，确定待拍摄的初始图像的数量。
28.根据权利要求27所述的装置，其中，所述选定模块包括：
选定子模块，用于根据所述预览图像中检测的四边形图像的第一组对边的对边夹角、或所述四边形图像内从所述第一边到所述第一边对边的方向上的清晰度分布曲线，确定待拍摄的初始图像的数量。
29.一种终端，包括：
至少一个摄像头；
一个显示单元；
一个或多个处理器；
存储器；
多个应用程序；及
所述存储器用于存储计算机程序；
所述处理器，运行所述计算机程序，执行下述流程：
进入拍摄模式，在预览图像中检测四边形图像，所述拍摄模式为能够进行文档校正的拍摄模式；
基于拍摄指令，在所述四边形图像内选定至少一个焦点，并以所述至少一个焦点对焦拍摄至少一张初始图像，其中，所述四边形图像包括第一组对边和第二组对边，所述第一组对边的对边夹角小于所述第二组对边的对边夹角，第一边为所述第一组对边中较短的一边，所述至少一个焦点包括第一焦点，所述第一焦点在所述四边形图像内且在第一边一端的部分区域中；
将每个所述至少一张初始图像中的四边形图像校正为矩形图像；
基于所述矩形图像，得到最终图像并输出。
30.根据权利要求29所述的终端，其中，所述的在所述四边形图像内选定至少一个焦点，并以所述至少一个焦点对焦拍摄至少一张初始图像的步骤包括：
在所述四边形图像内选定所述第一焦点，以所述第一焦点拍摄一张初始图像。
31.根据权利要求30所述的终端，其中，所述的在所述四边形图像内选定所述第一焦点的步骤包括：
在所述四边形图像的第二边和第三边上分别确定第一点和第二点，其中，所述第二边和所述第三边与所述第一边相邻，所述第一点到所述第一边与所述第二边相交的顶点的距离小于等于到所述第二边与第四边相交的顶点，所述第二点到所述第一边与所述第三边相交的顶点的距离小于等于到所述第三边与所述第四边相交的顶点，所述第四边为所述第一边的对边；
确定所述第一边与所述第二边相交的顶点、所述第一边与所述第三边相交的顶点、所述第一点及所述第二点连线所组成的第一区域为所述第一边一端的部分区域；
选定一个所述第一区域中的点为所述第一焦点。
32.根据权利要求31所述的终端，其中，所述的选定一个所述第一区域中的点为所述第一焦点的步骤包括以下任一项：
选定所述第一区域的对角连线的交点为所述第一焦点；
选定所述第一区域的对边中点连线的交点为所述第一焦点。
33.根据权利要求30至32中任一项所述的终端，其中，所述的基于所述矩形图像，得到最终图像并输出的步骤包括：
将所述矩形图像作为最终图像输出。
34.根据权利要求29所述的终端，其中，所述在所述四边形图像内选定至少一个焦点，并以所述至少一个焦点对焦拍摄至少一张初始图像的步骤包括：
在所述四边形图像内选定至少两个焦点，所述至少两个焦点包括至少一个所述第一焦点和至少一个第二焦点，所述第二焦点不同于所述第一焦点，并分别以所述至少两个焦点对焦拍摄至少两张初始图像。
35.根据权利要求34所述的终端，其中，所述第二焦点为在所述四边形图像内所述第一边对边一端的部分区域中选定的点。
36.根据权利要求34或35所述的终端，其中，选定所述第二焦点的步骤包括：
在所述四边形图像的第二边和第三边上分别确定第三点和第四点，其中，所述第二边和所述第三边与所述第一边相邻，所述第三点到所述第一边与所述第二边相交的顶点的距离大于等于到所述第二边与第四边相交的顶点，所述第四点到所述第一边与所述第三边相交的顶点的距离大于等于到所述第三边与所述第四边相交的顶点，所述第四边为所述第一边的对边；
确定所述第四边与所述第二边相交的顶点、所述第四边与所述第三边相交的顶点、所述第三点及所述第四点连线所组成的第二区域为所述第一边对边一端的部分区域；
选定一个所述第二区域中的点分别作为第二焦点。
37.根据权利要求34至35中任一项所述的终端，其中，所所述将每个所述至少一张初始图像中的四边形图像校正为矩形图像的步骤包括：
将所述至少两张初始图像中的四边形图像分别校正为至少两个矩形图像；
所述的基于所述矩形图像，得到最终图像并输出的步骤包括：
对所述至少两个矩形图像进行合成以得到最终图像；
输出所述最终图像。
38.根据权利要求37所述的终端，其中，所述的对所述至少两个矩形图像进行合成以得到最终图像的步骤包括：
对所述至少两个矩形图像进行特征点对齐；
基于对齐后的各所述矩形图像的清晰度分布，确定所述最终图像中的多个合成区域；
基于各所述矩形图像的清晰度，对每一所述合成区域进行合成以得到最终图像。
39.根据权利要求38所述的终端，其中，所述的对每一所述合成区域进行合成以得到最终图像的步骤包括至少以下任一项：
从各所述矩形图像中获取一个与所述合成区域对应清晰度最高的区域，进行拼接，以得到最终图像；
从各所述矩形图像中获取至少两个与所述合成区域对应的区域，以清晰度为权重，进行像素融合，以得到最终图像。
40.根据权利要求34至35中任一项所述的终端，其中，所述终端具有至少两个摄像头，则所述的并以所述至少一个焦点对焦拍摄至少一张初始图像的步骤包括：
控制各所述摄像头，分别以不同的焦点进行对焦各拍摄至少一张初始图像。
41.根据权利要求29至32或34至35或38至39中任一项所述的终端，其中，在所述的以所述至少一个焦点对焦拍摄至少一张初始图像步骤之前，所述处理器，运行所述计算机程序，执行下述流程：
确定待拍摄的初始图像的数量。
42.根据权利要求41所述的终端，其中，所述的确定待拍摄的初始图像的数量的步骤包括：
根据所述预览图像中检测的四边形图像的第一组对边的对边夹角、或所述四边形图像内从所述第一边到所述第一边对边的方向上的清晰度分布曲线，确定待拍摄的初始图像的数量。
CN201680089115.XA 2016-09-12 2016-09-12 拍摄图像方法、装置和终端 Active CN109691080B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/098751 WO2018045592A1 (zh) 2016-09-12 2016-09-12 拍摄图像方法、装置和终端

Publications (2)

Publication Number Publication Date
CN109691080A CN109691080A (zh) 2019-04-26
CN109691080B true CN109691080B (zh) 2020-10-09

Family

ID=61562448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680089115.XA Active CN109691080B (zh) 2016-09-12 2016-09-12 拍摄图像方法、装置和终端

Country Status (3)

Country Link
US (1) US10863077B2 (zh)
CN (1) CN109691080B (zh)
WO (1) WO2018045592A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11402283B2 (en) * 2016-09-14 2022-08-02 Sony Corporation Sensor, input device, and electronic apparatus
US10909719B2 (en) * 2016-12-21 2021-02-02 Huawei Technologies Co., Ltd. Image processing method and apparatus
CN112104796B (zh) * 2019-06-18 2023-10-13 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN110766615B (zh) * 2019-09-09 2023-07-14 北京美院帮网络科技有限公司 一种图片矫正方法、装置、终端及计算机可读存储介质
CN110807729B (zh) * 2019-10-30 2023-06-23 口碑(上海)信息技术有限公司 图像数据的处理方法及装置
CN112752017B (zh) * 2020-06-23 2022-02-08 长沙中天电子设计开发有限公司 拍照答题器的答题方法、拍照方法、拍照答题器及系统
CN113657258A (zh) * 2021-08-16 2021-11-16 前景智能交通科技(苏州)有限公司 一种基于图像处理的接触网故障识别系统和识别方法
CN115690149B (zh) * 2022-09-27 2023-10-20 江苏盛利智能科技有限公司 显示器的图像融合处理系统及方法
CN115620321B (zh) * 2022-10-20 2023-06-23 北京百度网讯科技有限公司 表格识别方法及装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101634795A (zh) * 2009-08-20 2010-01-27 上海合合信息科技发展有限公司 相机自动聚焦方法及系统
CN101996392A (zh) * 2009-08-07 2011-03-30 夏普株式会社 摄像图像处理系统以及图像输出方法
CN104735350A (zh) * 2015-03-02 2015-06-24 联想(北京)有限公司 一种信息处理方法及电子设备
CN105574813A (zh) * 2015-12-31 2016-05-11 青岛海信移动通信技术股份有限公司 一种图像处理方法和装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6975352B2 (en) * 2000-12-18 2005-12-13 Xerox Corporation Apparatus and method for capturing a composite digital image with regions of varied focus and magnification
US20060210192A1 (en) * 2005-03-17 2006-09-21 Symagery Microsystems Inc. Automatic perspective distortion detection and correction for document imaging
US7760962B2 (en) * 2005-03-30 2010-07-20 Casio Computer Co., Ltd. Image capture apparatus which synthesizes a plurality of images obtained by shooting a subject from different directions, to produce an image in which the influence of glare from a light is reduced
JP4420295B2 (ja) 2007-02-07 2010-02-24 株式会社沖データ 画像読取装置
US8483473B2 (en) * 2008-01-18 2013-07-09 Mitek Systems, Inc. Systems and methods for obtaining financial offers using mobile image capture
US8995012B2 (en) * 2010-11-05 2015-03-31 Rdm Corporation System for mobile image capture and processing of financial documents
JP5708051B2 (ja) * 2011-03-07 2015-04-30 株式会社リコー 映像処理装置、映像処理システム、テレビ会議システム、遠方監視システム、映像処理方法、及び撮像装置
EP2892230A4 (en) * 2012-08-30 2015-09-02 Fujitsu Ltd IMAGE PROCESSING DEVICE, IMAGE PROCESSING AND PROGRAM
EP3010224A4 (en) 2013-08-01 2016-06-15 Huawei Device Co Ltd PHOTOGRAPHIC PROCESS AND DEVICE
JP6347675B2 (ja) * 2014-06-06 2018-06-27 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム
US9160946B1 (en) * 2015-01-21 2015-10-13 A2iA S.A. Systems and methods for capturing images using a mobile device
JP6644641B2 (ja) * 2016-05-31 2020-02-12 オリンパス株式会社 撮像装置、制御方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101996392A (zh) * 2009-08-07 2011-03-30 夏普株式会社 摄像图像处理系统以及图像输出方法
CN101634795A (zh) * 2009-08-20 2010-01-27 上海合合信息科技发展有限公司 相机自动聚焦方法及系统
CN104735350A (zh) * 2015-03-02 2015-06-24 联想(北京)有限公司 一种信息处理方法及电子设备
CN105574813A (zh) * 2015-12-31 2016-05-11 青岛海信移动通信技术股份有限公司 一种图像处理方法和装置

Also Published As

Publication number Publication date
US10863077B2 (en) 2020-12-08
US20190222744A1 (en) 2019-07-18
CN109691080A (zh) 2019-04-26
WO2018045592A1 (zh) 2018-03-15

Similar Documents

Publication Publication Date Title
CN109691080B (zh) 拍摄图像方法、装置和终端
EP3579192B1 (en) Method, apparatus and device for determining camera posture information, and storage medium
US9619861B2 (en) Apparatus and method for improving quality of enlarged image
CN107659769B (zh) 一种拍摄方法、第一终端及第二终端
CN110300264B (zh) 图像处理方法、装置、移动终端以及存储介质
KR102124617B1 (ko) 이미지 합성 방법 및 그 전자 장치
KR20180109918A (ko) 다중 카메라들을 사용하여 심리스 줌 기능을 구현하기 위한 시스템들 및 방법들
CN105827965A (zh) 一种基于移动终端的图像处理方法及移动终端
CN104205804A (zh) 图像处理装置、拍摄装置、程序以及图像处理方法
CN106454086B (zh) 一种图像处理方法和移动终端
CN108776822B (zh) 目标区域检测方法、装置、终端及存储介质
CN111064895B (zh) 一种虚化拍摄方法和电子设备
CN110636276B (zh) 视频拍摄方法、装置、存储介质及电子设备
CN111083371A (zh) 拍摄方法和电子设备
CN114298902A (zh) 一种图像对齐方法、装置、电子设备和存储介质
CN112532881A (zh) 图像处理方法、装置和电子设备
CN114445315A (zh) 图像质量增强方法和电子设备
US9445073B2 (en) Image processing methods and systems in accordance with depth information
CN111787230A (zh) 图像显示方法、装置和电子设备
US20170328976A1 (en) Operation device, tracking system, operation method, and program
CN114025100B (zh) 拍摄方法、装置、电子设备和可读存储介质
CN112653841B (zh) 拍摄方法、装置和电子设备
CN112383708B (zh) 拍摄方法、装置、电子设备及可读存储介质
CN112584110B (zh) 白平衡调节方法、装置、电子设备及存储介质
CN114390206A (zh) 拍摄方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant