CN109313799B - 图像处理方法及设备 - Google Patents

图像处理方法及设备 Download PDF

Info

Publication number
CN109313799B
CN109313799B CN201680086731.XA CN201680086731A CN109313799B CN 109313799 B CN109313799 B CN 109313799B CN 201680086731 A CN201680086731 A CN 201680086731A CN 109313799 B CN109313799 B CN 109313799B
Authority
CN
China
Prior art keywords
edge line
line segments
coordinate system
images
dimensional coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680086731.XA
Other languages
English (en)
Other versions
CN109313799A (zh
Inventor
陈心
郜文美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN109313799A publication Critical patent/CN109313799A/zh
Application granted granted Critical
Publication of CN109313799B publication Critical patent/CN109313799B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/987—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns with the intervention of an operator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30176—Document
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids

Abstract

本发明实施例涉及一种图像处理方法及设备。包括：确定待处理图像信息，包括至少两张图像，该至少两张图像分别包括相同的多个第一特征点。在至少两张图像中的一张中，检测多条第一边缘线段；确定该多条第一边缘线段中的四条第一边缘线段。根据四条第一边缘线段围成的区域中的多个第一特征点在至少两张图像中的位置信息，确定该区域中的多个第一特征点对应的被摄点的位置。当区域中的被摄点共面时，确定该区域为矩形区域。通过本发明实施例，通过图像对应的三维空间内的信息来检测图像中的矩形区域，由于三维空间中的信息相比于二维图像中的信息更真实、准确，利用三维空间中的信息进行矩形区域检测时准确率更高，提升了用户体验。

Description

图像处理方法及设备
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种图像处理方法及设备。
背景技术
随着科技的不断发展，越来越多的智能设备被应用到日常生活中，如智能手机、平板等。这些智能设备一般都带有摄像头，随着拍摄技术的不断提升，这些智能设备可以随时对幻灯片、白板、广告牌等进行拍摄记录，并根据记录的图像确定图像中的有用信息。这种方便快捷的信息记录方式越来越受到人们的欢迎。
但由于用摄像头拍摄的是一幅经过投影变换的图象，所拍摄的现实世界在该图像中会存在畸变。这种情况在使用摄像头拍摄的矩形框的远端尤其明显，其中远端是指矩形框距离摄像头较远的边或较远的两边之间的夹角，这种畸变图像会导致读者不能够有效的获取图像中的信息。现有技术中解决该问题的方法是，通过检测图像中的四边形，并根据预先设定的相邻边之间的夹角阈值，相对的边之间的夹角阈值以及该四边形的周长与图像周长的比的阈值，来估计该四边形在实际中是不是矩形，进而进行校正。但是，图像中的信息是存在畸变的信息，因而根据该信息进行判断时误判率大。
发明内容
本发明实施例提供了一种图像处理方法及设备。通过本发明实施例，在进行矩形区域检测时，通过图像对应的三维空间内的信息来检测图像中的矩形区域，由于三维空间中的信息相比于二维图像中的信息更真实、准确，利用三维空间中的信息进行矩形区域检测时准确率更高，提升了用户体验。
一方面，本发明实施例提供了一种矩形区域检测方法。该方法具体包括：确定待处理图像信息，该待处理图像信息包括至少两张图像(例如，通过双目或多目相机拍摄的多张图像)，该至少两张图像分别包括相同的多个第一特征点。在至少两张图像中的一张中，检测多条第一边缘线段；确定该多条第一边缘线段中的四条第一边缘线段。根据四条第一边缘线段围成的区域中的多个第一特征点在至少两张图像中的位置信息，确定该区域中的多个第一特征点对应的被摄点的位置，其中该区域中的多个第一特征点包括四条第一边缘线段围成的四边形的四个顶点。当区域中的多个第一特征点对应的被摄点共面时，确定该区域为矩形区域。通过本发明实施例，在进行矩形区域检测时，判断边缘线段围成的区域中的特征点对应的被摄点是否共面，以此可判断四条第一边缘线段围成的区域，在三维空间中是否为一个平面，只有在是一个平面时，该四条第一边缘线段才可能为矩形区域的边缘线段，降低了误判率，提高了用户体验。
在一个可能的实现中，上述根据四条第一边缘线段围成的区域中的多个第一特征点在至少两张图像中的位置信息，确定该区域中的多个第一特征点对应的被摄点的位置具体包括：根据四条第一边缘线段围成的区域中的多个第一特征点分别在至少两张图像中的二维坐标(位置信息)，计算该区域中的第一特征点对应的第二特征点在第一三维坐标系的坐标(例如，拍摄设备坐标系，也可以说相机坐标系)；例如，可用光束平差法计算。本发明实施例可以实现，通过跟踪特征点在不同图像中的位置，估算出特征点在三维空间的位置，根据该位置判断特征点是否共面，降低了误判的可能。
需要说明的是，第一三维坐标系为相机坐标系，该坐标系的原点即为相机光心所在的位置。第二三维坐标系为平面三维坐标系，其中，该第二三维坐标系的三个坐标轴中的两个与多个第二特征点共面或者该第二三维坐标系的三个坐标轴中的两个构成的平面与多个第二特征点构成的平面平行。
在一个可能的实现中在所述确定四条第一边缘线段围成的区域为矩形区域之前，可判断该四条第一边缘线段对应的四条第二边缘线段围成的区域是否为矩形，具体可包括：根据四条第一边缘线段围成的区域中的多个第二特征点在上述第一三维坐标系中的坐标，计算至少两张图像中的一张的图像平面的二维坐标系到第二三维坐标系的变换矩阵；根据该变换矩阵计算四条第一边缘线段所对应的第二三维坐标系中的四条第二边缘线段；其中，前述第二三维坐标系通过第二边缘线段描述第一边缘线段对应的被摄边缘线段的位置。当四条第二边缘线段围成的图形为矩形时，确定所述第一边缘线段围成的区域为矩形区域。本发明实施例通过四条第一边缘线段对应的第二边缘线段，根据四条第二边缘线段之间的平行性、夹角、距离等矩形的几何特性来判断四条第一边缘线段围成的图形是否为矩形，由于第二边缘线段为三维空间中的线段，三维空间中是不存在畸变的，降低了矩形区域误判的可能，提高了用户体验。
第二方面，本发明实施例提供了一种图像处理方法。包括：确定待处理图像，该待处理图像包括至少两张图像(例如，通过双目或多目相机拍摄的至少两张图像)，该至少两张图像分别包括相同的多个第一特征点。选择该至少两张图像中的一张(可是任意一张)中符合预设规则(初步判断)的四条第一边缘线段，根据该四条第一边缘线段围成的区域中的多个第一特征点分别在至少两张图像中的二维坐标，计算所述区域中的第一特征点对应的第二特征点在第一三维坐标系中(例如，拍摄设备坐标系)的坐标；该第一三维坐标系通过第二特征点描述第一特征点对应的被摄点的位置；根据所述多个第二特征点在第二三维坐标系的坐标，计算所述至少两张图像中的一张的图像平面的二维坐标系到第二三维坐标系的变换矩阵；根据该变换矩阵计算四条第一边缘线段对应的第二三维坐标系中的四条第二边缘线段；该第二三维坐标系通过第二边缘线段描述第一边缘线段对应的被摄边缘线段的位置。当四条第二边缘线段围成的图形为矩形时，校正至少两张图像中的一张，例如，根据四条第二边缘线段确定该四条第二边缘线围成的图形的宽高比，根据该宽高比对至少两张图像中的任意一张进行校正。本发明实施例通过，计算图像中的边缘线段对应三维空间的边缘线段，根据三维空间中边缘线段围成的矩形的长宽之间的关系对图像进行校正，使得校正后的图像更接近被摄物的形状，校正后的图像更真实，用户体验更好。
在一个可选地实现中，预设规则(初步判断)可包括：对多条第一边缘线段进行筛选，选择长度符合要求的第一边缘线段，进一步地，可选择多条第一边缘线段中一定比例的长度较长的第一边缘线段。或者，确定四条第一边缘线段围成的区域是否够大。
在另一个可选地实现中，四条第二边缘线围成的图形为矩形需符合下述一项或多项条件：四条第二边缘线段相对的两条边缘线段的方向夹角小于第一阈值；四条第二边缘线段中相对的两条边缘线段的距离与另外两条边缘线段的差值的绝对值需要小于第二阈值；四条第二边缘线段的相邻的两条边缘线段的夹角小于第三阈值；四条第二边缘线段中相对的两条边缘线段的长度的差值的绝对值需要小于第四阈值；四条第二边缘线段围成的区域中的第一特征点，对应的三维坐标系中的多个第二特征点共面。通过本发明实施例，可从图像平面中的多个边缘线段中判断出矩形边缘线段，对该矩形进行校正可使校正后矩形框图像与实际宽高比最接近，降低失真，提高用户体验。
在一个可能的设计中，在根据四条第一边缘线段以及四条第二边缘线段校正至少两张图像中的一张之前，还包括：判断四条第二边缘线段围成的图形是否为矩形。通过本发明实施例，可以通过判断从二维平面经过映射得到的三维空间中的四条边之间的平行性、夹角、距离等矩形的几何特性来判断四条第二边缘线段所构成的四边形是否为矩形，由于第二边缘线段是不存在畸变的，所以判断结果更准确。
第三方面，本发明实施例提供了一种矩形区域检测装置，该装置能够实现上述第一方面以及可选地实现中的方法中执行的步骤。该装置可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
第四方面，本发明实施例提供了一种图像处理装置，该装置能够实现上述第二方面以及可选地实现中的方法中执行的步骤。该装置可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
第五方面，本发明实施例提供了一种矩形区域检测设备。该设备包括：至少一个摄像头，用于确定待处理图像信息，待处理图像信息包括至少两张图像，至少两张图像分别包括相同的多个第一特征点；处理器，用于在至少两张图像中的一张中，检测多条第一边缘线段；处理器还用于，确定多条第一边缘线段中的四条第一边缘线段；处理器还用于，根据四条第一边缘线段围成的区域中的多个第一特征点在至少两张图像中的位置信息，确定区域中的多个第一特征点对应的被摄点的位置；处理器还用于，当区域中的多个第一特征点对应的被摄点共面时，确定区域为矩形区域。
在一个可能的设计中，处理器还用于，根据区域中的多个第一特征点分别在至少两张图像的二维坐标，计算多个第一特征点对应的第二特征点在第一三维坐标系的坐标。
在另一个可能的设计中，处理器还用于，根据多个第二特征点在第一三维坐标系中的坐标，构建第二三维坐标系，并计算多个第二特征点在第二三维坐标系的坐标，以及至少两张图像中的一张的图像平面的二维坐标系到第二三维坐标系的变换矩阵，其中，第二三维坐标系的三个坐标轴中的两个与多个第二特征点共面，或者第二三维坐标系的三个坐标轴中的两个构成的平面与多个第二特征点构成的平面平行；
处理器还用于，根据变换矩阵计算四条第一边缘线段对应的第二三维坐标系中的四条第二边缘线段；
处理器还用于，当四条第二边缘线围成的图形为矩形时，确定区域为矩形区域。
在再一个可能的设计中，区域中的多个第一特征点包括四条第一边缘线段围成的四边形的四个顶点。
第六方面，本发明实施例提供了一种图像处理设备。该设备包括：至少一个摄像头，用于确定待处理图像，待处理图像包括至少两张图像，至少两张图像分别包括相同的多个第一特征点；处理器，用于在所述至少两张图像中的一张中，检测多条第一边缘线段，选择至少两张图像中的一张中符合预设规则的四条第一边缘线段，根据四条第一边缘线段围成的区域中的多个第一特征点分别在至少两张图像的二维坐标计算区域中的第一特征点对应的第二特征点在第一三维坐标系的坐标，根据多个第二特征点的坐标，构建第二三维坐标系，并计算多个第二特征点在第二三维坐标系的坐标，并计算多个第二特征点在第二三维坐标系的坐标，以及至少两张图像中的一张的图像平面的二维坐标系到第二三维坐标系的变换矩阵，其中，第二三维坐标系的三个坐标轴中的两个与多个第二特征点共面，或者第二三维坐标系的三个坐标轴中的两个构成的平面与多个第二特征点构成的平面平行；处理器还用于，根据变换矩阵计算四条第一边缘线段对应的第二三维坐标系中的四条第二边缘线段；处理器还用于，当四条第二边缘线围成的图形为矩形时，校正至少两张图像中的一张。
在一个可能的设计中，处理器还用于，根据四条第二边缘线段围成的图形的宽高比校正至少两张图像中的一张。
在一个可能的设计中，当符合下述一项或多项条件时，四条第二边缘线围成的图形为矩形：四条第二边缘线段相对的两条边缘线段的方向夹角小于第一阈值；四条第二边缘线段的相对的两条边缘线段的距离需要大于第二阈值；四条第二边缘线段的相邻的两条边缘线段的夹角小于第三阈值；四条第二边缘线段围成的区域的周长或面积大于第四阈值；多个第二特征点共面。
第七方面，本发明实施例提供了一种计算机存储介质，用于储存为上述矩形区域检测设备所用的计算机软件指令，其包含用于执行上述第一方面以及可选地实现中所设计的程序。
第八方面，本发明实施例提供了一种计算机存储介质，用于储存为上述图像处理设备所用的计算机软件指令，其包含用于执行上述第二方面以及可选地实现中所设计的程序。
本发明的这些和其它方面在以下实施例的描述中会更加简明易懂。
附图说明
图1为本发明实施例提供的拍摄设备的结构框图；
图2为本发明实施例提供的一种矩形区域检测方法流程图；
图3A为笛卡尔坐标系中的一条直线用(r，θ)表示；
图3B为笛卡尔坐标系中用(r，θ)表示的直线上的任意一点对应的(r，θ)空间中的曲线；
图3C笛卡尔坐标系中用(r，θ)表示的直线上的多个点对应的(r，θ)空间中的曲线的交点；
图4为本发明实施例提供的另一种矩形区域检测方法流程图；
图5为本发明实施例提供的一个示例；
图6为本发明实施例提供的一种图像处理方法流程图；
图7为为本发明实施例提供的一种图像处理方法示例的流程图
图8为一个简化的拍摄场景示例；
图9为本发明实施例提供的一种图像示例；
图10为本发明实施例提供的另一种图像示例；
图11为一种显示用户界面的拍摄设备；
图12为另一种显示用户界面的拍摄设备；
图13为本发明实施例提供的一种矩形区域检测装置结构示意图；
图14为本发明实施例提供的一种图像处理装置结构示意图。
具体实施方式
需要说明的是，在本发明实施例中，“第一三维坐标系”为相机坐标系，该坐标系的原点即为相机光心所在的位置。
“第二三维坐标系”为平面三维坐标系，该第二三维坐标系的三条坐标轴线中的两条轴线构成的平面与矩形区域在三维空间中的平面平行或共面。
“被摄点”是指拍摄设备所拍摄的现实中的点。
“第一特征点”是指图像中的特征点。一般选择位于灰度剧烈变化的区域的较易于与周围象素点区分开，易于检测的点，如图像中矩形边框的角点(Corner)。这些点通常可以用其周围一块区域中的点计算出的特征描述子(Feature Descriptor)来描述，比较常用的特征描述子如SIFT(尺度不变特征变换)、SURF(加速稳健特征)或HoG(方向梯度直方图)等，特征描述子通常为一个向量。
“第二特征点”是指第一特征点对应的被摄点。
“第一边缘线段”是指图像中的边缘线段。图像中与周围像素灰度值相差较大的点往往位于图像中的边缘区域，图像中的每一条边缘都是由这样的一些位于该边缘上的点构成的。常用的边缘检测算法包括Canny、Sobel、Prewitt等。
“第二边缘线段”是指第一边缘线段在第二三维坐标系中对应的线段。也就是第二三维坐标系用于描述第一边缘线段对应的被摄边缘线段在三维空间中的位置的表达式。
“校正”是指将有畸变的图像通过透视变换(Perspective Transform)进行调整。在本发明实施例中，一般是指对图像平面中矩形区域中的图像的调整。
本发明提供的图像处理方法及设备，通过特征点跟踪，根据特征点在不同图像之间的位置，可确定特征点对应的被摄点的位置，根据被摄点的位置可以确定图像对应的三维空间中的信息，根据三维空间中的信息进行矩形区域检测，准确率更高，提升了用户体验。其中，根据三维空间中的信息进行矩形区域检测至少可以通过如下一种方式或多种方式的组合：
方式一，判断边缘线段围成的区域中的特征点对应的被摄点是否共面。
方式二，还可通过估计相机姿态，将二维平面检测到的四边形的四条第一边缘线段变换到三维空间中，通过三维空间中的边缘线段的平行性、夹角、距离等矩形的几何特性来进行矩形区域检测。由于三维空间中的信息是不存在畸变的，所以检测的准确率更高。
另外，对于通过上述方式检测得到的矩形区域的校正，至少可通过如下方式：
方式三，还可以根据图像中的矩形区域对应的三维空间中的矩形的特征对图像中的矩形区域进行校正，同样，由于三维空间中的信息是不存在畸变的，所以依据三维空间中的信息对图像中的矩形区域进行校正可减少失真率。
实现本发明中方案的设备主要包括拍摄功能和处理功能。其中，两种功能可以集成在一台设备上，例如，数码相机，具有拍摄功能的手机，或者集成有摄像头的笔记本等等。也可以是由两台分别具有拍摄功能和处理功能的设备，例如，通过数码相机拍摄的图像，可以由电脑(例如，个人电脑，英文：personal computer，PC)来进行处理；或者电脑可以通过外接摄像头来实现拍摄功能等等。
在本发明中，拍摄功能主要包括图像的获取，以及拍摄时的一些参数(例如，焦距、拍摄位置信息等)的收集。需要说明的是，拍摄时的一些参数还包括一些系统固有的参数，对于这些参数的获取以及计算等操作主要是由具有处理功能的模块完成。
处理功能主要包括特征点跟踪、姿态估计(英文：Pose Estimation)、边缘线段的检测、三维坐标与二维坐标之间的转换以及图像的校正等等，还可以包括一些控制功能。
图1为本发明实施例提供的拍摄设备的结构框图。
该拍摄设备100包括摄像头110，主要实现拍摄功能，该摄像头具有光学单元111，来自成像物体(被拍摄的对象)的光输入到其中；图像拍摄单元112，其设置在光学单元111的光轴的后部，并且借助光学单元111对成像物体进行拍摄；处理器120，主要实现处理功能，包括实施图像处理和整体控制；还可以包括显示单元130，用于输出经处理器120处理过的图像。
在一个实施例中，该拍摄设备100可以包括音圈马达140，处理器120可以通过音圈马达驱动摄像头110以指定的角度和/或位移移动，从而拍摄出多张视角不同的图象。
在另一个实施例中，该拍摄设备100可以包括至少两个摄像头，或者摄像头110可以包括至少两个光学单元111。拍摄设备100可以通过至少两个摄像头或者至少两个光学单元111一次性拍摄至少两张不同视角的图像。其中，至少两张不同视角的图像，可以通过处理器120计算至少两个摄像头的角度和/或距离，也可以是在制作拍摄设备100时，将至少两个摄像头的角度和/或距离设定为固定的参数。
光学单元111还可以包括变焦透镜、校正透镜、光阑(英文：diaphragm)机构和聚焦透镜等等。其中，该变焦透镜可通过变焦马达沿着光轴方向移动，和该聚焦透镜可通过聚焦马达沿着光轴方向移动。还可通过校正透镜马达控制该校正透镜，使得入射光对应于图像拍摄表面的角总是基本恒定。还可通过光圈(英文：iris)马达控制光阑机构的光阑。
另外处理器120可通过电动驱动器控制前述各种马达。
图像拍摄部件112可以包括：电荷耦合器件(英文：Charged Coupled Device，CCD)图像传感器，其根据来自光学单元111的光生成拍摄对象的图像信号；相关双取样(英文：Correlated Double Sampling，CDS)电路，其实施相关的复式取样处理，该处理消除在由CCD图像传感器读取的图像信号中包含的噪音部分；模数(英文：analog to digitalconverter，A/D)转换器，其将由CDS电路处理的模拟信号转换为数字信号；和定时信号发生器(英文：timinggenerator，TG)，其生成驱动CCD图像传感器的计时信号；等等。
处理器120具有各种电路，其通过主线彼此连接。具体地，处理器120可以包括：图像输入控制电路，其将来自A/D转换器的图像数据施加给主线；图像处理电路，其基于已输入的图像数据实施预定的数字信号处理；显存(英文：Video Random Access Memory，VRAM)，其用于存储要被显示的表示图像的图像数据；显示控制电路，其对在显示单元上显示的图像进行控制，该图像是基于VRAM内存储的图像数据。
显示单元130可用于显示由用户输入的信息或提供给用户的信息以及拍摄设备100的各种菜单。显示单元130可包括显示面板，可选的，可以采用液晶显示器(英文：LiquidCrystal Display，LCD)、有机发光二极管(英文：Organic Light-Emitting Diode，OLED)等形式来配置显示面板。进一步的，触控面板可覆盖显示面板，当触控面板检测到在其上或附近的触摸操作后，传送给处理器130以确定触摸事件的类型，随后处理器120根据触摸事件的类型在显示面板上提供相应的视觉输出。在一些实施例中，可以将触控面板与显示面板集成而实现输入和输出功能。
在本发明实施例中，处理器120对通过摄像头110拍摄的至少两张图像进行矩形区域检测，检测出的矩形区域可通过显示单元130以显著的方式进行显示，以便提示用户，例如，可以将检测出的矩形区域的边缘用高亮的线段标识，也可高亮显示检测出的矩形区域；用户可通过触控面板对检测出的矩形区域进行确认，例如，可通过触控面板增加矩形区域内的图像上的参照区域(用户直接触摸显示单元130上的矩形区域)，也可通过触控面板删除矩形区域外的图像上的参照区域。
需要说明的是，处理器120也可直接对至少两张图像进行矩形区域检测，该至少两张图像可以是通过拍摄设备预先拍摄完成的，也可以是通过其他的拍摄设备拍摄的(由两个设备分别实现拍摄功能和处理功能)。
在一个实施例中，拍摄设备100还可以包括运动传感器150，用于测量拍摄设备100的旋转角度以及位移参数等等。
输入单元160，可用于接收输入的数字或字符信息，以及产生与拍摄设备100的用户设置以及功能控制有关的键信号输入。具体地，输入单元160可包括触控面板以及其他输入设备。触控面板，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)，并根据预先设定的程序驱动相应的连接装置。除了触控面板，输入单元160还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键(比如快门按键、开关按键等)、轨迹球、操作杆等中的一种或多种。
存储器170可用于存储软件程序以及模块，处理器120通过运行存储在存储器170的软件程序以及模块，从而执行拍摄设备100的各种功能应用以及数据处理。存储器170可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的程序(比如图象预览功能、图像查找功能、图像拍摄功能、图像处理功能等)等；存储数据区可存储根据拍摄设备100的使用所创建的数据(比如视频数据、照片等)等。此外，存储器170可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
图2为本发明实施例提供的一种矩形区域检测方法流程图。如图2所示，矩形区域通常在实际中是一个平面，例如白板、幻灯片投影等，该方法通过确定图像区域中的特征点对应的被摄点的实际位置，根据被摄点的实际位置确定被摄点是否共面，当图像区域中的特征点对应的被摄点共面时，即认为整个区域为一个平面，具体包括如下步骤：
S210，确定待处理图像信息，包括至少两张图像。其中，该至少两张图像分别包括相同的多个第一特征点。
其中，可通过双目(目，是指摄像头或光学单元)拍摄设备拍摄两张图像，通过多目拍摄设备拍摄多张图像，对于双目或多目拍摄设备，目与目的距离以及目与目的光轴之间的角度可预先设定或指定(目与目之间可以调整的话，一般有最大值和最小值，可以在这个范围内指定任意的距离或角度)；或者，通过带有音圈马达的拍摄设备在同一拍摄位置，拍摄角度和/或焦距不同的至少两张图像；还可以是通过单目多角度拍摄多张图像，例如，通过拍摄设备在不同拍摄位置拍摄角度和/或焦距不同的至少两张图像，结合运动传感器记录拍摄过程中拍摄设备从拍摄一张图像到另一张图像的旋转角度和/或位置，以保证拍摄的视角不同。
还需要说明的是，在确定多个特征点时，一般选择位于灰度剧烈变化的区域的较易于与周围像素点区分开，易于检测的点，如图像中矩形边框的角点(Corner)。这些点通常可以用其周围一块区域中的点计算出的特征描述子(Feature Descriptor)来描述，比较常用的特征描述子如SIFT(Scale Invariant Feature Transform，尺度不变特征变换)、SURF(Speeded Up Robust Features，加速稳健特征)或HoG(Histogram of Gradient，方向梯度直方图)等，特征描述子通常为一个向量。另外，由于检测对象一般是白板或幻灯片投影等等，也就是待检测的平面内是有内容的，所以可以选择这些内容中灰度剧烈变化的区域的点，例如文字、图片中的点。
S220，在至少两张图像中的一张中，检测多条第一边缘线段。
图像中与周围像素灰度值相差较大的点往往位于图像中的边缘区域，图像中的每一条边缘都是由这样的一些位于该边缘上的点构成的。常用的边缘检测算法包括Canny、Sobel、Prewitt等。
对于一张存在矩形区域的图像，该图像中至少存在四条第一边缘线段，由于拍摄环境的复杂，还会有一些其他的第一边缘线段，例如，阴影的边缘，其他物体的边缘以及矩形区域中的图案等等。在进行边缘检测时，可检测所有可能的第一边缘线段，然后进行筛选。
在一个示例中，图3A-图3C为本发明实施例提供的一种边缘线检测方法，具体如下：
图3A为笛卡尔坐标系，即xy坐标系，对于任意一条直线，从原点做一条垂直于该直线的直线，假设原点到直线的距离为r，该垂线与x轴的夹角为θ，则直线上的任意一点(x，y)与(r，θ)之间的关系如式(1)所示。
r＝xcosθ+ysinθ (1)
对边缘线段进行霍夫变换，得到如图3B所示的笛卡尔坐标系中直线上任意一点(x，y)对应于(r，θ)空间中的一条曲线。位于笛卡尔坐标系中同一条直线上的点对应的(r，θ)空间中的若干条曲线会相交于一点。如图3C所示。则笛卡尔坐标系中的一条直线对应于(r，θ)空间中的一个点。
计算如图3C所示的多条曲线的交点，对于每一个交点，相交于该点的曲线数量记为N，则N越大，代表笛卡尔坐标系中对应的线段越长。
需要说明的是，上述根据霍夫变换进行直线检测的方法只是多种检测方法之一，也可以使用线性拟合等方法实现。另外，在实际应用中，由于噪声和检测误差等因素的影响，笛卡尔坐标系中共线的点在(r，θ)空间中的曲线的交点，可能在一个由dr和dθ构成的边缘分别与r和θ坐标系平行的小矩形框内，此时，需要对检测出的笛卡尔坐标系中共线的点进行线性拟合，以得到该直线方程。
另外，一般一张图像即可实现多条第一边缘线段的检测，该图像可是前述至少两张图像中的任意一张。
其中，在本发明实施例中，如无特殊说明，第一边缘线段是指二维平面上的边缘线段，例如，图像平面上的边缘线段。第二边缘线段是指三维空间内的边缘线段，例如，第一边缘线段对应的被摄边缘线段(该被摄边缘线段一般指被摄物的边缘)。
S230，确定多条第一边缘线段中的四条第一边缘线段。
在检测出多条边缘线段后，可对该多条第一边缘线段进行初步判断，选择有可能成为矩形区域的边缘线段的四条第一边缘线段。
具体地，可对多条第一边缘线段进行筛选，选择长度符合要求的第一边缘线段，进一步地，可选择多条第一边缘线段中一定比例的长度较长的第一边缘线段。
结合S220中图3A-图3C描述的示例，在一个示例中，如果S(i)＝Ni，i＝1…n，Ni表示(r，θ)空间中相交于某一点i(i为(r，θ)空间中交点的序号)的曲线的数量，则可以对包括所有S(i)的集合S中的值进行由大到小排序，选取其中满足预设条件的k个点作为能构成矩形框的候选边缘线。被保留的候选边缘线段构成集合E。
例如，
Figure GDA0002881899780000111
T为某一阈值，如T可以为5％或10％，通过该方式可在S(i)中选择较长的5％或10％作为候选边缘线。又例如，可以计算集合S中的最大值Smax，保留S(i)≥Smax*T的边缘线段，T为某一阈值，如5％或10％等。可以理解的是，集合E中的候选边缘线段为所有边缘线段中较长的边缘线段。
通过上述方式，可选出多条长度较长的第一边缘线段。可对长度符合要求的多个第一边缘线段进行进一步地判断，选择出符合条件的四条第一边缘线段的组合，也就是选择出可能为矩形区域边缘的四条边缘线段。在一个实施例中，若检测到的多条第一边缘线段的集合为E，从E中任取四条边l1、l2、l3和l4，确定四条第一边缘线段所围成的四边形区域，由于四条边可能是两两相交的，所以此四条第一边缘线段之间的交点最多有6个，需要从6个交点中找出4个正确的交点。可分别计算四条第一边缘线段与x轴的夹角，假设四个夹角，可以对四个夹角进行排序，则排序后夹角位于前两位的线和位于后两位的线分别为相对的两条第一边缘线段。至此，可以确定从E中任取的四条第一边缘线段所围成的四边形的区域，以便进行筛选。
S240，根据四条第一边缘线段围成的区域中的多个第一特征点在至少两张图像中的位置信息，确定该区域中的多个第一特征点对应的被摄点的位置。其中，该区域中的多个第一特征点包括四条第一边缘线段围成的四边形的四个顶点。
在S230中，确定出了符合条件的四条第一边缘线段的组合，也就是选择出可能为矩形区域边缘的四条边缘线段。其中，符合条件的四条第一边缘线段的组合可能有多个。
在S240中，可对符合条件的四条第一边缘线段的组合做进一步地判断，选择四条第一边缘线段的组合中围成的区域对应的被摄物为一个平面的四条第一边缘线段的组合；换句话说，需要排除四条第一边缘线段的组合中围成的区域对应的被摄物不是一个平面的四条第一边缘线段的组合。
具体地，由S230可确定四条第一边缘线段所围成的四边形的区域，通过判断四条第一边缘线段围成的区域中的第一特征点对应的被摄点是否共面来判断该四条第一边缘线段围成的区域对应的被摄物是否为一个平面。其中，跟踪特征点在不同图像之间的位置，根据特征点在不同图像之间的位置进行三维重建，可确定特征点对应的被摄点的位置。
需要说明的是，通过检测不同图像中的第一特征点，计算分别位于不同图像中的两个第一特征点的描述子之间的相似性(如欧式距离等)，可确定该两个第一特征点是否匹配，如果匹配，则认为该位于不同图像中的两个第一特征点为同一特征点，以此实现第一特征点在不同图像间的跟踪，判断第一特征点在不同图像上的位置信息。
在一个示例中，可以通过特征点跟踪技术跟踪多个第一特征点在不同图象中的坐标(位置)，使用光束平差(英文:Bundle Adjustment)技术，根据多个第一特征点在不同图像中的坐标计算出第二特征点在第一三维坐标系中的坐标。进一步地，还可以计算相机姿态，即利用共面的第二特征点在第一三维坐标系中的坐标，构建第二三维坐标系，并计算第二特征点在第二三维坐标系中的坐标，根据第二特征点分别在第一三维坐标系以及第二三维坐标系中的坐标，计算第二三维坐标系到第一三维坐标系的旋转矩阵、位移向量，以及相机的内部参数(标定矩阵)。
在一个示例中，通过跟踪不同图像中的同一特征点，可以计算出每一个点的重映射误差(Reprojection Error)函数。
可以通过使用一些优化算法(如高斯-牛顿)最小化目标函数(一般为重映射误差的和)，从而得到图象中每一个第一特征点在第一三维坐标系中的坐标。
S250，当四条第一边缘线段围成的区域中的多个第一特征点对应的被摄点共面时，确定该区域为矩形区域。
其中，经过上述S240可以确定四条第一边缘线段围成的区域的第一特征点对应的被摄点的位置，可以判断这些第一特征点对应的被摄点是否共面，如果共面的话，则说明四条第一边缘线段围成的区域可能是所要检测的矩形区域；如果不共面的话，则可以确定四条第一边缘线段围成的区域不是所要检测的矩形区域，此时需返回执行S230，重新确定四条第一边缘线段进行判断。
具体地，经过上述S240可以确定四条第一边缘线段围成的区域的第一特征点对应的第二特征点在第一三维坐标系的坐标，可以判断这些第二特征点在三维空间内是否共面。
进一步地，可根据第二特征点中任意三个所在的平面，得到所有第二特征点中除三个选择的点外的点到该平面的距离；当其平均距离小于阈值时，第二特征点共面。
需要说明的是，需要考虑实际工程应用中的噪声和误差因素，因此设定阈值。例如，阈值可以是0.1厘米或0.5厘米等。
应理解的是，在S250中四条第一边缘线段为S220中多条第一边缘线段中经过S230选择的四条第一边缘线段，当在S250中判断该四条第一边缘线段围成的区域不共面时，则返回S230重新选择四条第一边缘线段，此过程为迭代过程，直至选择的四条第一边缘线段围成的区域共面，或者S220中多条第一边缘线段所有组合均选择过，则结束执行。本发明实施例仅以对四条第一边缘线段是否共面的一次判断过程为例进行说明，并不构成限定。
在本发明实施例中，由于在S230中，确定出符合条件的四条第一边缘线段的组合可能有多个。可依次对每个组合围成的区域中的第一特征点对应的被摄点是否共面进行判断，当一个组合围成的区域中的第一特征点对应的被摄点不共面时，则认为该组合对应的四条第一边缘线段不是矩形区域的四条边，可继续判断另一个组合。当一个组合围成的区域中的特征点对应的被摄点共面时，则认为该组合对应的四条第一边缘线段可能是矩形区域的四条边。
为了使矩形区域的确定更准确，在确定一个组合围成的区域中的特征点对应的被摄点共面时，可对该四条第一边缘线段进行进一步地判断，以便确定该四条第一边缘线段是否为矩形区域的四条边。当对一个组合进一步判断后，确定其不是矩形区域的四条边时，可继续判断另一个组合。当对一个组合进一步判断后，确定其是矩形区域的四条边时，则认为该组合对应的四条第一边缘线段是矩形区域的四条边。该过程具体如下所述。
进一步地，在确定四条第一边缘线段围成的区域中的特征点对应的被摄点共面时，可对该四条第一边缘线段进行进一步地判断，可包括确定四条第一边缘线段围成的区域是否够大。例如，该区域的面积或周长是否大于某一阈值T，如图像总面积的1/4或图像宽高之和的1/4等。
下面对将二维平面检测到的边缘线段变换到三维空间中，通过三维空间中的边缘线段的平行性、夹角、距离等矩形的几何特性来进行矩形区域检测的过程作进一步的介绍，其中，该过程可与通过判断边缘线段围成的区域中的特征点对应的被摄点是否共面过程中的步骤结合，也可单独执行。
图4为本发明实施例提供的另一种矩形区域检测方法流程图。如图4所示，该方法通过确定边缘线段的实际位置，根据实际位置识别图像的矩形区域。
S410，确定待处理图像信息，包括至少两张图像。其中，该至少两张图像分别包括相同的多个第一特征点。
S420，在至少两张图像中的一张中，检测多条第一边缘线段。
其中，S410-S420可参见图2所示的实施例中S210-S220的描述。
S430，确定多条第一边缘线段中的四条第一边缘线段。
其中，S430可参见图2所示的实施例中S230-S250的描述。也就是说，本发明实施例可依据图2所示的实施例中的判断结果，作进一步判断。
在一个例子中，在确定四条第一边缘线段围成的区域中的特征点对应的被摄点共面时，可进行进一步地判断，具体包括：根据四条第一边缘线段确定其对应的四条第二边缘线段，根据四条第二边缘线段围成的图形是否为矩形，来确定四条第一边缘线段围成的区域是否为矩形区域。换句话说，通过判断该四条第一边缘线段对应的被摄边缘线段围成的图形是否为矩形，可进一步筛选S250中确定的四条第一边缘线段的组合。
在另一个示例中，经过图2所示的实施例确定多条第一边缘线段中有多组四条第一边缘线段围成的区域中的特征点对应的被摄点共面，且该多组四条第一边缘线段围成的区域足够大。那么可对该多组四条第一边缘线段依次进行如下判断：根据四条第一边缘线段确定其对应的四条第二边缘线段，根据四条第二边缘线段围成的图形是否为矩形，来确定四条第一边缘线段围成的区域是否为矩形区域。
可选地，S430只参见图2所示的实施例中S230，直接对S230中的结果依次进行如下判断。
S440，根据四条第一边缘线段围成的区域中的多个第一特征点分别在至少两张图像的坐标，计算该多个第一特征点对应的多个第二特征点在第一三维坐标系的坐标。
该步骤可参见图2所示的实施例中S240的描述。
需要说明的是，在S430中，若进行了四条第一边缘线段围成的区域中的多个第一特征点对应的被摄点是否共面的判断，也就是说，在步骤S430中，计算过了根据四条第一边缘线段围成的区域中的第一特征点对应的第二特征点在第一三维坐标系的坐标。则直接利用步骤S430中得到的第二特征点在第一三维坐标系的坐标执行S450。
在S430中，若未进行四条第一边缘线段围成的区域中的多个第一特征点对应的被摄点是否共面的判断，则执行S440。
S450，根据多个第二特征点在第一三维坐标系的坐标构建第二三维坐标系，并计算多个第二特征点在第二三维坐标系的坐标，根据多个第二特征点在第二三维坐标系的坐标，计算至少两张图像中的一张的图像平面的二维坐标系到第二三维坐标系的变换矩阵。根据变换矩阵计算四条第一边缘线段对应的第二三维坐标系中的四条第二边缘线段；其中，该第二三维坐标系的三个坐标轴中的两个与多个第二特征点共面或者该第二三维坐标系的三个坐标轴中的两个构成的平面与多个第二特征点构成的平面平行。
还需要说明的是，已知某物体上若干点在第一三维坐标系和第二三维坐标系中的坐标，根据这些点在图像中的二维坐标，在拍摄设备的标定矩阵确定的情况下，可计算出第一三维坐标系到第二三维坐标系的变换矩阵。
其中，变换矩阵T通常为一个4x4齐次矩阵，也可以用3x3的旋转矩阵R和3x1的平移向量t的组合表示：
Figure GDA0002881899780000151
式(2)中的正交旋转矩阵R可以用三个3x1的列向量表示，如式(3)所示
R＝[r1 r2 r3] (3)
则第一特征点对应的被摄点投影到图像中的第一特征点的齐次坐标可以用式(4)表示，式(4)中，K为相机的标定矩阵，该标定矩阵一般为拍摄设备的内部参数，也可以通过前述光束平差法计算得到。
Figure GDA0002881899780000152
Figure GDA0002881899780000161
至此，位于四条第一边缘线段围成的区域对应的第二三维坐标系中平面上的任意一点与其在二维图像上的点之间的变换H可以用式(5)表示，H即为所要计算的三维平面到图像平面的变换矩阵
H＝K*[r1 r2 t] (5)
在一个例子中，可在第一边缘线段围成的区域所对应第一三维坐标系O中定义(新建)一个第二三维坐标系P，在该第二三维坐标系中，第一边缘线段围成的区域内任一点对应的Z坐标分量为0。由于第一边缘线段围成的区域内任一点对应的Z坐标分量为0，所以第一边缘线段围成的区域中的特征点对应的坐标系P中的坐标，可根据图像平面二维坐标系的坐标得到。由此，可以通过至少四对特征点在相机坐标系O和定义的三维坐标系P中的坐标，计算出坐标系P到相机坐标系O的变换矩阵T(具体的计算方法包括DLT等)，变换矩阵T即为相机姿态。
其中，如图5所示，假设区域Q对应的相机三维坐标系(图中以O为原点的坐标系)中的平面为平面M，任取平面M内不共线的三点P(Xp，Yp，Zp)、Q(Xq，Yq，Zq)、R(Xr，Yr，Zr)，其中，点P、Q和R可以为第二特征点。则直线PQ和直线PR的方向向量a和b分别如式(6)和式(7)所示：
a＝(Xq-Xp，Yq-Yp，Zq-Zp)/||PQ|| (6)
b＝(Xr-Xp，Yr-Yp，Zr-Zp)/||PR|| (7)
式(6)中
Figure GDA0002881899780000162
式(7)中
Figure GDA0002881899780000163
则平面M的法向量c＝(a×b)/||a×b||，即向量a与向量b的叉积向量归一化后的单位向量。则平面M中垂直于直线PQ的直线的方向向量d＝(a×c)/||a×c||。
将向量a和d表示为a＝(ax，ay，az)和d＝(dx，dy，dz)，则平面M内过点P的两条互相垂直的直线L1和L2的方程分别为式(8)和式(9)
Figure GDA0002881899780000164
Figure GDA0002881899780000165
此时，可利用点P和直线L1和L2在平面M内定义一个笛卡尔坐标系，其中点P为原点，直线L1和L2分别为x轴和y轴。因此，平面M内任一点A到直线L2的距离为点A的x坐标Xa的绝对值，点A(Xa，Ya，Za)到直线L1的距离为点A的y坐标Ya的绝对值，点A的Z坐标为0。假设向量PA的方向向量e＝(Xa-Xp，Ya-Yp，Za-Zp)/||PA||＝(ex，ey，ez)，则坐标Xa和Ya的绝对值|Xa|和|Ya|可分别由式(10)和式(11)计算得到
Figure GDA0002881899780000171
Figure GDA0002881899780000172
式(10)中
Figure GDA0002881899780000173
Figure GDA0002881899780000174
为行列式。
则坐标Xa和Ya可分别由式(12)和式(13)计算得到
Figure GDA0002881899780000175
Figure GDA0002881899780000176
式(12)和式(13)中，a·e＝ax·ex+ay·ey+az·ez，d·e＝dx·ex+dy·ey+dz·ez
至此，可以得到相机坐标系中任一点A在区域Q对应的相机三维坐标系中的平面M中新创建的笛卡尔坐标系P中的坐标值。利用相机坐标系中的平面M内至少四个点在相机三维坐标系O中的坐标及这些点在前述坐标系P中的坐标值，即可使用前述DLT等算法计算出相机姿态，进而计算出前述变换矩阵H。
需要说明的是，拍摄设备坐标系可指以拍摄设备的光心为原点，x轴与y轴与图像的x，y轴平行，z轴为拍摄设备光轴，它与图像平面垂直，z轴与图像平面的交点在图像平面中的坐标为(u0，v0)。最后，二维平面上的第一边缘线段到三维平面上的第二边缘线段的变换矩阵为HT，HT为矩阵H的转置矩阵。当然，也可以将二维图象平面上线段的两个端点分别利用矩阵H的逆矩阵H-1变换到三维空间中。此时，可以计算二维图象平面上的第一边缘线段对应的相机坐标系的三维空间中的第二边缘线段。
S460，当四条第二边缘线段围成的图形为矩形时，确定该区域为矩形区域。
需要说明的是，在判断第二边缘线段围成的图形是否为矩形时，可以通过矩形特征(例如，角度和长度的关系)判断检测出的四边形的四条边是否能构成三维空间中的矩形，理想情况下，相对的两条边应该平行，相邻的两条边的夹角应该是直角，相对的两条边的长度应该相等，相对的两条边之间的距离应该等于另外两条边的长度。但考虑到实际工程应用中的噪声和误差等因素的影响，判断条件可以适当放宽(与二维平面中的判断条件不同之处在于，二维平面中由于畸变的存在，判断条件的范围较宽，三维空间中理想的情况是不存在畸变的，判断条件就是矩形的特征)。
如：一、相对的两条边的夹角应该在(-T1到+T1)范围内，T1为一大于0的角度，如5°或10°等；
二、相对的两条边的长度的差值应该在(-T2到+T2)范围内，T2为一大于0的有理数；
三、相对的两条边之间的距离与另外两条边长度的差值应该在(-T3到+T3)范围内，T3为一大于0的有理数；
四、相邻的两条边的夹角应该在(90°-T4到90°+T4)范围内,T4为一大于0的角度，如5°或10°等。
通过本发明实施例可以通过第二边缘线段，来实现矩形区域的检测，由于第二边缘线段为三维空间中的线段，三维空间中是不存在畸变的，降低了矩形区域误判的可能，提高了用户体验。
应理解的是，在S460中四条第二边缘线段为S420中多条第一边缘线段中经过S430选择的四条第一边缘线段对应的四条第二边缘线段，当在S460中判断该四条第二边缘线段围成的图形不为矩形时，则返回S430重新选择四条第一边缘线段，此过程为迭代过程，直至选择的四条第二边缘线段围成的图形是矩形，或者S420中多条第一边缘线段所有组合均选择过，则结束执行。本发明实施例仅以对四条第二边缘线段围成的图形是否为矩形的一次判断过程为例进行说明，并不构成限定。
以上实施例主要介绍了矩形区域的检测方式，对于检测到的矩形区域可依据三维空间中的信息，进行处理，下面结合具体实施例作进一步的介绍。
图6为本发明实施例提供的一种图像处理方法流程图。如图6所示，该方法通过确定边缘线段的实际位置，根据实际位置确定校正参数，对图像的矩形区域进行校正。
其中，该方法可通过如图2或图4，或者图2和图4所示的实施例的结合对图像中的矩形区域进行检测，当然，也可以通过现有技术，现有技术与图2所示的实施例的结合，现有技术与图4所示的实施例的结合，或者现有技术与图2、图4所示的实施例的结合，进行矩形区域检测。在对矩形区域进行校正时，本发明还可包括如下步骤：
S610，根据四条第一边缘线段围成的区域中的多个第一特征点分别在至少两张图像的二维坐标，计算该区域中的第一特征点对应的第二特征点在第一三维坐标系的坐标。
S620，根据多个第二特征点在第一三维坐标系和第二三维坐标系的坐标，计算至少两张图像中的一张的图像平面的二维坐标系到第二三维坐标系的变换矩阵。
S630，根据变换矩阵计算四条第一边缘线段对应的第二三维坐标系中的四条第二边缘线段；该第二三维坐标系通过第二边缘线段描述第一边缘线段对应的被摄边缘线段的位置。
其中，步骤S610-S630与前述图4所示的实施例中步骤S440以及S450中的描述类似，可参照理解，不再赘述。
需要说明的是，若在矩形检测过程中(例如图4所示的实施例中的描述的矩形区域检测过程)，已经计算得到图像平面的二维坐标系到第二三维坐标系的变换矩阵，则在本发明实施例中可不执行步骤S610-S630，直接利用在矩形区域检测过程中得到的变换矩阵，执行下述步骤。
S640，当四条第二边缘线围成的图形为矩形时，校正至少两张图像中的一张。
其中，四条第二边缘线围成的图形为矩形的条件可参见图2所示的实施例中的描述。
可根据四条第二边缘线段确定其围成矩形的宽高比，根据该宽高比对图像进行校正。
根据三维空间中的矩形的宽和高计算宽高比，对图像进行校正可以保证校正后的矩形区域的图像的宽高比与实际宽高比保持一致，避免由于错误宽高比造成的拉伸和压缩导致的图像失真。
图7为本发明实施例提供的一种图像处理方法示例的流程图，如图7所示，该方法具体包括：
S701，用户使用带有双目摄像头的相机拍照，则可以得到两张视角不同的图象。
S702，在两张图象中分别提取第一特征点。
S703，跟踪这些第一特征点在两张图象中的位置(坐标)。
S704，使用Bundle Adjustment算法计算这些特征点在第一三维坐标系中的坐标。
S705，在其中一张二维图象中检测出较长的第一边缘线段。如图2所示实施例中S230所描述的具体方式。
S706，从较长的第一边缘线段中任取四条并计算所有可能的组合。
S707，判断S706中得到的组合中未处理的组合构成的集合是否为空，如果该集合为空，则结束处理。
S708，从未处理的集合中随机或按一定顺序取出四条第一边缘线段，判断该四条第一边缘线段及其延长线围成的区域对应的相机坐标系的三维空间中的平面区域是否共面。如图4所示实施例中S440以及S450所描述的具体方式。如果四条第一边缘线段及其延长线围成的区域对应的第一三维坐标系的三维空间中的平面区域不共面，则选择另一组四条第一边缘线段继续判断。若所有的四条第一边缘线段及其延长线围成的区域对应的第一三维坐标系的三维空间中的平面区域都不共面，则结束操作。若四条第一边缘线段及其延长线围成的区域对应的第一三维坐标系的三维空间中的平面区域共面，则执行步骤S709。
S709，判断图象中该区域是否足够大，如果不够，则回到S708重新取四条线段。例如，判断图象中该区域的的面积或周长是否大于某一阈值T，如图像总面积的1/4或图像宽高之和的1/4等。
S710，根据特征点在第一三维坐标系中的坐标，构建第二三维坐标系，计算该特征点在第二三维坐标系中的坐标，根据特征点在第二三维坐标系中的坐标以及特征点在图像平面二维坐标系中的坐标，计算第二三维坐标系到图象平面二维坐标系的变换矩阵H。如前述结合图4所示的实施例中的描述的方式。
S711，若变换矩阵为H，则二维平面上的第一边缘线段到三维平面上的第二边缘线段的变换矩阵为HT，HT为矩阵H的转置矩阵。当然，也可以将二维图象平面上线段的两个端点分别利用矩阵H的逆矩阵H-1变换到三维空间中。通过计算，将二维图象平面上的线段变换到第二三维坐标系中。
S712，可以通过第二三维坐标系中第二边缘线段的角度和长度的关系判断检测出的四边形的四条边是否能构成真实世界中的矩形。如前述结合图4所示的实施例中的描述的方式。
S713，根据第二三维坐标系中的矩形的宽和高计算宽高比，校正矩形区域的图像。
图8为一个简化的拍摄场景示例。图8所示，拍摄设备100可以通过两个不同的视角拍摄物体221以及拍摄物体222，图中示出的两个不同的视角为视角231、241，拍摄设备100可以从一个拍摄视角以一定的旋转角度和位移换到另一个拍摄视角，如图中示出的拍摄设备100视角231与视角241的旋转角度和位移。拍摄设备100通过视角231与视角241得到图9以及图10所示的两张图像，其中，两张拍摄视角不同的图像，两张图像都包括第一特征点801-808。两张图像各个特征点在图像平面上的坐标不同。
首先，对两张图像中的任意一张进行边缘线段检测，检测出第一边缘线段901-915。
然后，对检测出的第一边缘线段进行初步的筛选，筛选的条件如前述图2所示的实施例中的方式。
经过筛选，第一边缘线段910、911、912、915等可根据长度的要求被排除；
剩下的边缘线段每四个进行组合，其中，可以根据两条相对的边缘线段的距离要求，排除一些组合，例如存在913和903的组合，存在903和907的组合等等。当然还可根据前述图2所示的其他条件进行筛选。
对筛选后的第一边缘线段的组合，判断其围成的区域是否共面。
由于第一特征点802-806的被摄点共面，807与808的被摄点共面。在进行第一边缘线段的组合围成的区域是否共面判断时，其他包括第一特征点802-806中的点，且包括其他的特征点，或者包括807与808，且包括其他特征点的第一边缘线段的组合围成的区域被排除。
经过上述选择确定第一边缘线段905-908的组合为最优的组合，可以以显著的方式(高亮闪烁)显示在拍摄预览界面。如图11所示，图11为一种显示用户界面的拍摄设备100，该拍摄设备100可以包括壳体2200以及显示屏2100，其中显示屏2100可为触屏。壳体2200包括摄像头2210，其中摄像头2210可为前置摄像头，还可包括后置摄像头，且可以包括两个后置摄像头(双目相机)。其中，触屏2100可以采用触控面板与显示面板集成一体而实现手机2000的输入和输出功能。在本发明实施方式中，该用户界面包括状态栏区域2140、功能键2110、2120以及2130，其中，功能键2110可以控制拍摄，功能键2120可以启动相册，功能键2120可以控制摄像头切换。在此过程中触屏2100既作为图1所示的输入单元160，也作为显示单元130。
其中，状态栏区域2140显示包括运营商名称(例如，中国移动、中国联通等)、Wi-Fi(Wireless-Fidelity，无线保真)状态控制标识、移动通信信号状态控制标识、电池电量状态控制标识、本地时间在内的一个或多个信息等等；或者，还可以是闪光灯状态切换，分辨率状态(HQ)切换，等等。
其中，用户可根据显示屏上用户界面的提示，确认是否进行校正，确认校正后可得到如图12所示的拍摄设备100中的用户界面。用户还可进行保存操作。
需要说明的是，在确认是否进行校正时，若接收到识别不正确的指令，则可重新进行检测，也可在检测时对第一边缘线段的组合进行排序，可根据用户指令依次显示在用户界面。
另外，还可增加用户指示，以辅助对矩形区域检测，例如，用户可触摸显示屏，以选择需要检测的矩形区域的面，拍摄设备100通过收集用户的触点，将该触点作为第三特征点，且在进行筛选时，第一边缘线段的组合围成的区域必须包含第三特征点。为了提高用户体验，可选择最近的一定次数的用户触点，例如，最近的两次触点；或者，拍摄设备100通过收集用户的触点，确定该触点所在的第一边缘线段，且在进行筛选时，第一边缘线段的组合必须包含该触点所在的第一边缘线段；当然，通过排除用户触点的方式也可。
需要说明的是，前述结合图8所示的场景仅描述了一种简化场景，现实中会有更复杂的场景，本发明同样适用。
图13为本发明实施例提供的一种矩形区域检测装置结构示意图。如图13所示，该装置包括：
图像确定单元1301，用于确定待处理图像信息，待处理图像信息包括至少两张图像，至少两张图像分别包括相同的多个第一特征点；
检测单元1302，用于在至少两张图像中的一张中，检测多条第一边缘线段；
处理单元1303，用于确定多条第一边缘线段中的四条第一边缘线段；
处理单元1303还用于，根据四条第一边缘线段围成的区域中的多个第一特征点在至少两张图像中的位置信息，确定区域中的多个第一特征点对应的被摄点的位置；
处理单元1303还用于，当区域中的多个第一特征点对应的被摄点共面时，确定区域为矩形区域。
可选地，处理单元1303还用于，根据区域中的多个第一特征点分别在至少两张图像的二维坐标，计算多个第一特征点对应的第二特征点在第一三维坐标系的坐标。
可选地，处理单元1303还用于，根据多个第二特征点在第一三维坐标系中的坐标，构建第二三维坐标系，并计算多个第二特征点在第二三维坐标系的坐标，以及至少两张图像中的一张的图像平面的二维坐标系到第二三维坐标系的变换矩阵，其中，第二三维坐标系的三个坐标轴中的两个与多个第二特征点共面，或者第二三维坐标系的三个坐标轴中的两个构成的平面与多个第二特征点构成的平面平行；
处理单元1303还用于，根据变换矩阵计算四条第一边缘线段对应的第二三维坐标系中的四条第二边缘线段；
处理单元1303还用于，当四条第二边缘线围成的图形为矩形时，确定区域为矩形区域。
可选地，四条第一边缘线段围成区域中的多个第一特征点包括四条第一边缘线段围成的四边形的四个顶点。
图14为本发明实施例提供的一种图像处理装置结构示意图。如图14所示，该装置包括：
图像确定单元1401，用于确定待处理图像，待处理图像包括至少两张图像，至少两张图像分别包括相同的多个第一特征点；
检测单元1402，用于在至少两张图像中的一张中，检测多条第一边缘线段；
处理单元1403，用于选择至少两张图像中的一张中符合预设规则的四条第一边缘线段，根据四条第一边缘线段围成的区域中的多个第一特征点分别在至少两张图像的二维坐标，计算区域中的第一特征点对应的第二特征点在第一三维坐标系的坐标；
处理单元1403还用于，根据多个第二特征点的坐标，构建第二三维坐标系，并计算多个第二特征点在第二三维坐标系的坐标，以及至少两张图像中的一张的图像平面的二维坐标系到第二三维坐标系的变换矩阵，其中，第二三维坐标系的三个坐标轴中的两个与多个第二特征点共面，或者第二三维坐标系的三个坐标轴中的两个构成的平面与多个第二特征点构成的平面平行；
处理单元1403还用于，根据变换矩阵计算四条第一边缘线段对应的第二三维坐标系中的四条第二边缘线段；
处理单元1403还用于，当四条第二边缘线围成的图形为矩形时，校正至少两张图像中的一张。
可选地，处理单元1403还用于，根据四条第二边缘线段围成的图形的宽高比校正至少两张图像中的一张。
可选地，当符合下述一项或多项条件时，四条第二边缘线围成的图形为矩形：
四条第二边缘线段相对的两条边缘线段的方向夹角小于第一阈值；
四条第二边缘线段的相对的两条边缘线段的距离需要大于第二阈值；
四条第二边缘线段的相邻的两条边缘线段的夹角小于第三阈值；
四条第二边缘线段围成的区域的周长或面积大于第四阈值；
多个第二特征点共面。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令处理器完成，所述的程序可以存储于计算机可读存储介质中，所述存储介质是非短暂性(英文：non-transitory)介质，例如随机存取存储器，只读存储器，快闪存储器，硬盘，固态硬盘，磁带(英文：magnetic tape)，软盘(英文：floppy disk)，光盘(英文：optical disc)及其任意组合。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (14)

1.一种矩形区域检测方法，其特征在于，包括：
确定待处理图像信息，所述待处理图像信息包括至少两张图像，所述至少两张图像分别包括相同的多个第一特征点；
在所述至少两张图像中的一张中，检测多条第一边缘线段；
确定所述多条第一边缘线段中的四条第一边缘线段；
根据所述四条第一边缘线段围成的区域中的多个第一特征点在所述至少两张图像中的位置信息，确定所述区域中的多个第一特征点对应的被摄点的位置；
当所述区域中的多个第一特征点对应的被摄点共面时，确定所述区域为矩形区域。
2.根据权利要求1所述的方法，其特征在于，所述根据所述四条第一边缘线段围成的区域中的多个第一特征点在所述至少两张图像中的位置信息，确定所述区域中的多个第一特征点对应的被摄点的位置包括：
根据所述区域中的多个第一特征点分别在所述至少两张图像的二维坐标，计算所述多个第一特征点对应的第二特征点在第一三维坐标系的坐标。
3.根据权利要求2所述的方法，其特征在于，在所述确定所述区域为矩形区域之前还包括：
根据多个第二特征点在所述第一三维坐标系中的坐标，构建第二三维坐标系，并计算所述多个第二特征点在所述第二三维坐标系的坐标，以及所述至少两张图像中的一张的图像平面的二维坐标系到所述第二三维坐标系的变换矩阵，其中，所述第二三维坐标系的三个坐标轴中的两个与所述多个第二特征点共面，或者所述第二三维坐标系的三个坐标轴中的两个构成的平面与所述多个第二特征点构成的平面平行；其中，所述多个第二特征点为所述多个第一特征点对应的被摄点；
根据所述变换矩阵计算所述四条第一边缘线段对应的所述第二三维坐标系中的四条第二边缘线段；
当所述四条第二边缘线段围成的图形为矩形时，确定所述区域为矩形区域。
4.根据权利要求1-3任意一项所述的方法，其特征在于，所述区域中的多个第一特征点包括所述四条第一边缘线段围成的四边形的四个顶点。
5.一种图像处理方法，其特征在于，包括：
确定待处理图像，所述待处理图像包括至少两张图像，所述至少两张图像分别包括相同的多个第一特征点；
在所述至少两张图像中的一张中，检测多条第一边缘线段；
选择所述至少两张图像中的一张中符合预设规则的四条第一边缘线段，根据所述四条第一边缘线段围成的区域中的多个第一特征点分别在所述至少两张图像的二维坐标，计算所述区域中的第一特征点对应的第二特征点在第一三维坐标系的坐标；
根据多个第二特征点的坐标，构建第二三维坐标系，并计算所述多个第二特征点在所述第二三维坐标系的坐标，以及所述至少两张图像中的一张的图像平面的二维坐标系到所述第二三维坐标系的变换矩阵，其中，所述第二三维坐标系的三个坐标轴中的两个与所述多个第二特征点共面，或者所述第二三维坐标系的三个坐标轴中的两个构成的平面与所述多个第二特征点构成的平面平行；其中，所述多个第二特征点为所述多个第一特征点对应的被摄点；
根据所述变换矩阵计算所述四条第一边缘线段对应的所述第二三维坐标系中的四条第二边缘线段；
当所述四条第二边缘线围成的图形为矩形时，校正所述至少两张图像中的一张。
6.根据权利要求5所述的方法，其特征在于，所述校正所述至少两张图像中的一张包括：
根据所述四条第二边缘线段围成的图形的宽高比校正所述至少两张图像中的一张。
7.根据权利要求5或6所述的方法，其特征在于，当符合下述一项或多项条件时，所述四条第二边缘线段围成的图形为矩形：
所述四条第二边缘线段相对的两条边缘线段的方向夹角小于第一阈值；
所述四条第二边缘线段的相对的两条边缘线段的距离需要大于第二阈值；
所述四条第二边缘线段的相邻的两条边缘线段的夹角小于第三阈值；
所述四条第二边缘线段围成的区域的周长或面积大于第四阈值；
所述多个第二特征点共面。
8.一种矩形区域检测设备，其特征在于，包括：
至少一个摄像头，用于确定待处理图像信息，所述待处理图像信息包括至少两张图像，所述至少两张图像分别包括相同的多个第一特征点；
处理器，用于在所述至少两张图像中的一张中，检测多条第一边缘线段；
所述处理器还用于，确定所述多条第一边缘线段中的四条第一边缘线段；
所述处理器还用于，根据所述四条第一边缘线段围成的区域中的多个第一特征点在所述至少两张图像中的位置信息，确定所述区域中的多个第一特征点对应的被摄点的位置；
所述处理器还用于，当所述区域中的多个第一特征点对应的被摄点共面时，确定所述区域为矩形区域。
9.根据权利要求8所述的设备，其特征在于，所述处理器还用于，根据所述区域中的多个第一特征点分别在所述至少两张图像的二维坐标，计算所述多个第一特征点对应的第二特征点在第一三维坐标系的坐标。
10.根据权利要求9所述的设备，其特征在于，所述处理器还用于，根据多个第二特征点在所述第一三维坐标系中的坐标，构建第二三维坐标系，并计算所述多个第二特征点在所述第二三维坐标系的坐标，以及所述至少两张图像中的一张的图像平面的二维坐标系到所述第二三维坐标系的变换矩阵，其中，所述第二三维坐标系的三个坐标轴中的两个与所述多个第二特征点共面，或者所述第二三维坐标系的三个坐标轴中的两个构成的平面与所述多个第二特征点构成的平面平行；其中，所述多个第二特征点为所述多个第一特征点对应的被摄点；
所述处理器还用于，根据所述变换矩阵计算所述四条第一边缘线段对应的所述第二三维坐标系中的四条第二边缘线段；
所述处理器还用于，当所述四条第二边缘线段围成的图形为矩形时，确定所述区域为矩形区域。
11.根据权利要求8-10任意一项所述的设备，其特征在于，所述区域中的多个第一特征点包括所述四条第一边缘线段围成的四边形的四个顶点。
12.一种图像处理设备，其特征在于，包括：
至少一个摄像头，用于确定待处理图像，所述待处理图像包括至少两张图像，所述至少两张图像分别包括相同的多个第一特征点；
处理器，用于在所述至少两张图像中的一张中，检测多条第一边缘线段；
所述处理器还用于，选择所述至少两张图像中的一张中符合预设规则的四条第一边缘线段，根据所述四条第一边缘线段围成的区域中的多个第一特征点分别在所述至少两张图像的二维坐标，计算所述区域中的第一特征点对应的第二特征点在第一三维坐标系的坐标；
所述处理器还用于，根据多个第二特征点的坐标，构建第二三维坐标系，并计算所述多个第二特征点在所述第二三维坐标系的坐标，以及所述至少两张图像中的一张的图像平面的二维坐标系到所述第二三维坐标系的变换矩阵，其中，所述第二三维坐标系的三个坐标轴中的两个与所述多个第二特征点共面，或者所述第二三维坐标系的三个坐标轴中的两个构成的平面与所述多个第二特征点构成的平面平行；其中，所述多个第二特征点为所述多个第一特征点对应的被摄点；
所述处理器还用于，根据所述变换矩阵计算所述四条第一边缘线段对应的所述第二三维坐标系中的四条第二边缘线段；
所述处理器还用于，当所述四条第二边缘线围成的图形为矩形时，校正所述至少两张图像中的一张。
13.根据权利要求12所述的设备，其特征在于，所述处理器还用于，根据所述四条第二边缘线段围成的图形的宽高比校正所述至少两张图像中的一张。
14.根据权利要求12或13所述的设备，其特征在于，当符合下述一项或多项条件时，所述四条第二边缘线围成的图形为矩形：
所述四条第二边缘线段相对的两条边缘线段的方向夹角小于第一阈值；
所述四条第二边缘线段的相对的两条边缘线段的距离需要大于第二阈值；
所述四条第二边缘线段的相邻的两条边缘线段的夹角小于第三阈值；
所述四条第二边缘线段围成的区域的周长或面积大于第四阈值；
所述多个第二特征点共面。
CN201680086731.XA 2016-12-21 2016-12-21 图像处理方法及设备 Active CN109313799B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/111281 WO2018112788A1 (zh) 2016-12-21 2016-12-21 图像处理方法及设备

Publications (2)

Publication Number Publication Date
CN109313799A CN109313799A (zh) 2019-02-05
CN109313799B true CN109313799B (zh) 2021-02-26

Family

ID=62624064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680086731.XA Active CN109313799B (zh) 2016-12-21 2016-12-21 图像处理方法及设备

Country Status (3)

Country Link
US (1) US10915998B2 (zh)
CN (1) CN109313799B (zh)
WO (1) WO2018112788A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109479082B (zh) * 2016-12-21 2021-10-15 华为技术有限公司 图象处理方法及装置
CN110402454B (zh) * 2017-03-28 2023-06-13 富士胶片株式会社 图像修正装置、图像修正方法及记录介质
KR102128336B1 (ko) * 2018-04-26 2020-06-30 한국전자통신연구원 3차원 영상 왜곡 보정 장치 및 방법
US11049282B2 (en) * 2019-02-28 2021-06-29 Intelligrated Headquarters, Llc Vision calibration system for robotic carton unloading
CN110933926B (zh) * 2019-11-13 2021-04-06 浙江工业大学 一种基于角点检测的贴片机吸嘴元件角度的自动校正方法
CN111242908B (zh) * 2020-01-07 2023-09-15 青岛小鸟看看科技有限公司 一种平面检测方法及装置、平面跟踪方法及装置
US11941818B1 (en) * 2020-03-17 2024-03-26 Apple Inc. Edge locator
KR20220008766A (ko) * 2020-07-14 2022-01-21 캐논 가부시끼가이샤 화상 처리 장치, 제어 방법, 및 저장 매체
CN112231819B (zh) * 2020-11-03 2023-03-24 久瓴(江苏)数字智能科技有限公司 线段共面的确定方法及装置、存储介质和电子装置
TWI755213B (zh) * 2020-12-22 2022-02-11 鴻海精密工業股份有限公司 瑕疵檢測方法、裝置、電腦裝置及儲存介質
CN113804166B (zh) * 2021-11-19 2022-02-08 西南交通大学 一种基于无人机视觉的落石运动参数数字化还原方法
US20230334810A1 (en) * 2022-04-14 2023-10-19 Hover Inc. Methods, storage media, and systems for generating a three-dimensional coordinate system
CN117197073B (zh) * 2023-09-07 2024-03-05 石家庄铁道大学 基于机器视觉的矩形物体自动计数方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7171056B2 (en) * 2003-02-22 2007-01-30 Microsoft Corp. System and method for converting whiteboard content into an electronic document

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7106898B2 (en) * 1999-12-06 2006-09-12 California Institute Of Technology 3D scanning using shadows
US8373107B2 (en) 2003-08-06 2013-02-12 The United States Of America As Represented By The Secretary Of The Army Method and apparatus for non-line-of-sight imaging of a first area using photons detected from a second area
JP4363151B2 (ja) * 2003-10-14 2009-11-11 カシオ計算機株式会社 撮影装置、その画像処理方法及びプログラム
JP3882929B2 (ja) 2004-03-29 2007-02-21 セイコーエプソン株式会社 画像処理システム、プロジェクタおよび画像処理方法
US7399086B2 (en) * 2004-09-09 2008-07-15 Jan Huewel Image processing method and image processing device
EP2157545A1 (en) 2008-08-19 2010-02-24 Sony Computer Entertainment Europe Limited Entertainment device, system and method
CN101477687B (zh) * 2009-01-22 2011-05-04 上海交通大学 复杂背景下的棋盘格角点检测方法
JP4772894B2 (ja) * 2009-08-03 2011-09-14 シャープ株式会社 画像出力装置、携帯端末装置、撮像画像処理システム、画像出力方法、プログラムおよび記録媒体
JP4991887B2 (ja) * 2010-01-13 2012-08-01 シャープ株式会社 撮像画像処理システム、撮像画像処理システムの制御方法、プログラムおよび記録媒体
US8687888B2 (en) * 2010-11-18 2014-04-01 Casio Computer Co., Ltd. Region specification method, region specification apparatus, recording medium, server, and system
WO2013038656A1 (ja) * 2011-09-15 2013-03-21 日本電気株式会社 投影像自動補正システム、投影像自動補正方法およびプログラム
CN102855619B (zh) * 2012-07-11 2015-06-24 京北方信息技术股份有限公司 一种针对印章影像的矩形检测方法及装置
CN102842035B (zh) * 2012-07-11 2015-06-24 京北方信息技术股份有限公司 一种针对印章影像的矩形检测方法及装置
US9691163B2 (en) * 2013-01-07 2017-06-27 Wexenergy Innovations Llc System and method of measuring distances related to an object utilizing ancillary objects
CN103077521B (zh) * 2013-01-08 2015-08-05 天津大学 一种用于视频监控的感兴趣区域提取方法
JP6099457B2 (ja) 2013-03-28 2017-03-22 株式会社Pfu 画像処理装置、領域決定方法及びコンピュータプログラム
CN103759677B (zh) * 2014-01-27 2016-04-20 东北大学 基于三角面积比法度量岩体结构面三维粗糙度的方法
JP6224476B2 (ja) * 2014-02-07 2017-11-01 ローランドディー．ジー．株式会社 印刷装置および印刷方法
EP2928174B1 (en) * 2014-03-31 2023-01-04 Open Text S.A. A method and device for capturing a document
CA2926861C (en) * 2014-05-21 2017-03-07 Millennium Three Technologies Inc Fiducial marker patterns, their automatic detection in images, and applications thereof
CN105303189B (zh) * 2014-07-29 2019-08-20 阿里巴巴集团控股有限公司 一种用于检测预定区域中特定标识图像的方法及装置
JP2016054450A (ja) * 2014-09-04 2016-04-14 株式会社東芝 画像処理装置、画像処理システム、画像処理方法及びプログラム
US9160946B1 (en) * 2015-01-21 2015-10-13 A2iA S.A. Systems and methods for capturing images using a mobile device
US10192133B2 (en) * 2015-06-22 2019-01-29 Seiko Epson Corporation Marker, method of detecting position and pose of marker, and computer program
WO2016207875A1 (en) * 2015-06-22 2016-12-29 Photomyne Ltd. System and method for detecting objects in an image
JP6676299B2 (ja) * 2015-07-21 2020-04-08 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータプログラム
US11012608B2 (en) * 2016-09-12 2021-05-18 Huawei Technologies Co., Ltd. Processing method and mobile device
JP6880618B2 (ja) * 2016-09-26 2021-06-02 富士通株式会社 画像処理プログラム、画像処理装置、及び画像処理方法
CN109479082B (zh) * 2016-12-21 2021-10-15 华为技术有限公司 图象处理方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7171056B2 (en) * 2003-02-22 2007-01-30 Microsoft Corp. System and method for converting whiteboard content into an electronic document

Also Published As

Publication number Publication date
US10915998B2 (en) 2021-02-09
US20190385285A1 (en) 2019-12-19
CN109313799A (zh) 2019-02-05
WO2018112788A1 (zh) 2018-06-28

Similar Documents

Publication Publication Date Title
CN109313799B (zh) 图像处理方法及设备
US9325899B1 (en) Image capturing device and digital zooming method thereof
US7554575B2 (en) Fast imaging system calibration
US9635251B2 (en) Visual tracking using panoramas on mobile devices
CN110111388B (zh) 三维物体位姿参数估计方法及视觉设备
CN109479082B (zh) 图象处理方法及装置
JP5631086B2 (ja) 情報処理装置及びその制御方法、プログラム
WO2014021760A2 (en) Improved identification of a gesture
US20160050372A1 (en) Systems and methods for depth enhanced and content aware video stabilization
US8965105B2 (en) Image processing device and method
US20160073021A1 (en) Image capturing method, panorama image generating method and electronic apparatus
US8400532B2 (en) Digital image capturing device providing photographing composition and method thereof
CN111325828B (zh) 一种基于三目相机的三维人脸采集方法及装置
CN114640833A (zh) 投影画面调整方法、装置、电子设备和存储介质
CN109902675B (zh) 物体的位姿获取方法、场景重构的方法和装置
Ha et al. Embedded panoramic mosaic system using auto-shot interface
US8665317B2 (en) Imaging apparatus, imaging method and recording medium
Chew et al. Panorama stitching using overlap area weighted image plane projection and dynamic programming for visual localization
CN113034345B (zh) 一种基于sfm重建的人脸识别方法及系统
Herbon et al. Adaptive planar and rotational image stitching for mobile devices
Kasar et al. Block-based feature detection and matching for mosaicing of camera-captured document images
CN112637482B (zh) 图像处理方法、装置、存储介质及电子设备
JP6161874B2 (ja) 撮像装置、長さ計測方法及びプログラム
WO2022040988A1 (zh) 图像处理方法、装置及可移动平台
CN114066731A (zh) 生成全景图的方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant