CN113222862A - 图像畸变校正方法、装置、电子设备和存储介质 - Google Patents

图像畸变校正方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113222862A
CN113222862A CN202110624642.9A CN202110624642A CN113222862A CN 113222862 A CN113222862 A CN 113222862A CN 202110624642 A CN202110624642 A CN 202110624642A CN 113222862 A CN113222862 A CN 113222862A
Authority
CN
China
Prior art keywords
image
foreground object
original image
camera
distortion correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110624642.9A
Other languages
English (en)
Inventor
李文学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Black Sesame Intelligent Technology Shanghai Co Ltd
Original Assignee
Black Sesame Intelligent Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Black Sesame Intelligent Technology Shanghai Co Ltd filed Critical Black Sesame Intelligent Technology Shanghai Co Ltd
Priority to CN202110624642.9A priority Critical patent/CN113222862A/zh
Publication of CN113222862A publication Critical patent/CN113222862A/zh
Priority to US17/751,120 priority patent/US20220392027A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G06T3/12—
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请涉及图像畸变校正方法、装置、电子设备和计算机可读存储介质。图像畸变校正方法包括：获取由相机拍摄的原始图像；当原始图像中包括前景对象时，计算前景对象的形变程度；以及当前景对象的形变程度大于预定阈值时，对原始图像执行畸变校正和球面投影，以得到结果图像。本申请提出图像畸变校正方法能够以较低的运算复杂度实现对超广角图像进行快速畸变校正，并得到较好的校正效果。

Description

图像畸变校正方法、装置、电子设备和存储介质
技术领域
本发明涉及图像处理技术领域，特别是涉及图像畸变校正方法、装置、电子设备和计算机可读存储介质。
背景技术
目前越来越多的手机中集成了超广角相机模组，超广角相机模组的视场角(Fieldof View，FOV)一般可大于100°，能够获取更宽广的拍摄视野，但同时对拍摄的图像引入了图像畸变，导致图像的失真，尤其是在图像四周边缘区域。
可以通过对相机模组做标定得到相机的内参，并基于相机的内参对输入图像进行畸变校正以消除原始图像中的畸变现象。然而，如果原始图像中存在前景对象(例如人像)时，由于畸变校正存在类似拉伸的操作，对原始图像进行的畸变校正使得结果图像中前景对象产生变形。
发明内容
基于此，有必要提供改进的图像畸变校正方法、图像畸变校正装置、电子设备和计算机可读存储介质。
根据本申请的第一方面，提供了一种图像畸变校正方法，包括：
获取由相机拍摄的原始图像；
当所述原始图像中包括前景对象时，计算所述前景对象的形变程度；以及
当所述前景对象的形变程度大于预定阈值时，对所述原始图像执行畸变校正和球面投影，以得到结果图像。
在一实施例中，所述方法还包括：
当所述原始图像中不包括前景对象时，对所述原始图像执行所述畸变校正，以得到结果图像；或
当所述前景对象的形变程度不大于所述预定阈值时，对所述原始图像执行所述畸变校正，以得到结果图像。
在一实施例中，当所述原始图像中包括前景对象时，计算所述前景对象的形变程度包括：
获取所述原始图像中的前景对象边框以及所述前景对象边框的位置参数和所述前景对象边框的尺寸参数；以及
基于所述前景对象边框的位置参数和所述前景对象边框的尺寸参数计算所述前景对象边框的形变程度。
在一实施例中，所述前景对象边框的位置参数包括：在所述原始图像中前景对象边框与所述原始图像的中心点之间的距离；所述前景对象边框的尺寸参数包括：所述前景对象边框的宽度和所述前景对象边框的高度；
基于下式计算所述前景对象的形变程度
S＝w1×l1+w2×l2
其中，S代表前景对象的形变程度；l1代表在所述原始图像中前景对象边框与所述原始图像的中心点之间的距离；l2代表所述前景对象边框的宽度和所述前景对象边框的高度中的较大值；w1是第一权重值；w2是第二权重值。
在一实施例中，当所述前景对象的形变程度大于预定阈值时，对所述原始图像执行畸变校正和球面投影，以得到结果图像包括：
基于球面投影变换式和畸变校正变换式，计算结果图像的像素点与原始图像的像素点之间的对应关系；以及
将原始图像的像素点的像素值赋值到该原始图像的像素点所对应的结果图像的像素点，得到结果图像中的像素点的像素值。
在一实施例中，基于球面投影变换式和畸变校正变换式，计算结果图像的像素点与原始图像的像素点之间的对应关系包括：
基于球面投影变换式，计算结果图像的像素点的坐标(ui，vi)所对应的对原始图像执行畸变校正后的像素点的坐标(ui’，vi’)，所述结果图像的像素点、对应的对原始图像执行畸变校正后的像素点以及结果图像的中心点在同一直线上；
基于畸变校正变换式，计算对原始图像执行畸变校正后的像素点的坐标(ui’，vi’)所对应的原始图像的像素点的坐标(ui”，vi”)；
所述球面投影变换式为：
Figure BDA0003101695290000031
其中，d代表原始图像的宽度和高度中的较小值；f代表所述相机的焦距；r1代表结果图像的像素点到结果图像的中心点的距离，r2代表畸变校正图像的像素点到结果图像的中心点的距离；
所述畸变校正变换式为：
Figure BDA0003101695290000032
其中，fx为所述相机的第一焦距，fy为所述相机的第二焦距，cx为图像原点相对于光心成像点的横偏移量，cy为图像原点相对于光心成像点的纵偏移量；k1为所述相机的第一径向畸变系数，k2为所述相机的第二径向畸变系数，k3为所述相机的第三径向畸变系数，k4为所述相机的第四径向畸变系数，k5为所述相机的第五径向畸变系数，k6为所述相机的第六径向畸变系数，p1为所述相机的第一切向畸变系数，p2为所述相机的第二切向畸变系数。
根据本申请的第二方面，提供了一种图像校正装置，包括：
图像获取模块，配置为获取由相机拍摄的原始图像；
形变计算模块，配置为当所述原始图像中包括前景对象时，计算所述前景对象的形变程度；以及
校正计算模块，配置为当所述前景对象的形变程度大于预定阈值时，对所述原始图像执行畸变校正和球面投影，以得到结果图像。
在一实施例中，所述校正计算模块还配置为：
当所述原始图像中不包括前景对象时，对所述原始图像执行所述畸变校正，以得到结果图像；或
当由所述形变计算模块所计算的所述前景对象的形变程度不大于所述预定阈值时，对所述原始图像执行所述畸变校正，以得到结果图像。
在一实施例中，所述形变计算模块还配置为：
获取所述原始图像中的前景对象边框以及所述前景对象边框的位置参数和所述前景对象边框的尺寸参数；以及
基于所述前景对象边框的位置参数和所述前景对象边框的尺寸参数计算所述前景对象的形变程度。
在一实施例中，所述前景对象边框的位置参数包括：在所述原始图像中前景对象边框与所述原始图像的中心点之间的距离；所述前景对象边框的尺寸参数包括：所述前景对象边框的宽度和所述前景对象边框的高度；
所述形变计算模块还配置为：基于下式计算所述前景对象边框的形变程度
S＝w1×l1+w2×l2
其中，S代表形变程度；l1代表在所述原始图像中前景对象边框与所述原始图像的中心点之间的距离；l2代表所述前景对象边框的宽度和所述前景对象边框的高度中的较大值；w1是第一权重值；w2是第二权重值。
在一实施例中，所述校正计算模块包括：
映射计算单元，配置为基于球面投影变换式和畸变校正变换式，计算结果图像的像素点与原始图像的像素点之间的对应关系；以及
像素赋值单元，配置为将原始图像的像素点的像素值赋值到该原始图像的像素点所对应的结果图像的像素点，得到所述结果图像。
在一实施例中，所述映射计算单元还配置为：
基于球面投影变换式，计算结果图像的像素点的坐标(ui,vi)所对应的对原始图像执行畸变校正后的像素点的坐标(ui’,vi’)，所述结果图像的像素点、对应的对原始图像执行畸变校正后的像素点以及结果图像的中心点在同一直线上；
基于畸变校正变换式，计算对原始图像执行畸变校正后的像素点的坐标(ui’,vi’)所对应的原始图像的像素点的坐标(ui”,vi”)；
所述球面投影变换式为：
Figure BDA0003101695290000051
其中，d代表原始图像的宽度和高度中的较小值；f代表所述相机的焦距；r1代表结果图像的像素点到结果图像的中心点的距离，r2代表畸变校正图像的像素点到结果图像的中心点的距离；
所述畸变校正变换式为：
Figure BDA0003101695290000061
其中，fx为所述相机的第一焦距，fy为所述相机的第二焦距，cx为图像原点相对于光心成像点的横偏移量，cy为图像原点相对于光心成像点的纵偏移量；k1为所述相机的第一径向畸变系数，k2为所述相机的第二径向畸变系数，k3为所述相机的第三径向畸变系数，k4为所述相机的第四径向畸变系数，k5为所述相机的第五径向畸变系数，k6为所述相机的第六径向畸变系数，p1为所述相机的第一切向畸变系数，p2为所述相机的第二切向畸变系数。
根据本申请的第三方面，提供了一种电子设备，包括存储器和处理器，所述存储器与所述处理器连接；所述存储器存储有计算机程序；所述处理器执行所述计算机程序时实现上述图像校正方法。
根据本申请的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述图像校正方法。
根据上述方面的图像畸变校正方法、装置、电子设备和存储介质，当原始图像中存在前景对象(例如人像)并且该前景对象的形变程度大于预定阈值时，对原始图像执行畸变校正和球面投影，避免由于畸变校正而使前景对象产生变形，使得结果图像中的前景对象的校正效果良好，成像美观、自然。此外，由于畸变校正和球面投影的处理方法具有较小的计算量，对计算平台的计算要求低，且结果图像能够实时预览。
附图说明
图1为根据实施例的超广角相机拍摄的原始图像；
图2为根据实施例的对原始图像进行畸变校正得到的参考图；
图3为根据实施例的电子设备的示意图；
图4为根据实施例的图像畸变校正方法的流程图；
图5为根据实施例的图像畸变校正方法的流程图；
图6为应用根据实施例的图像畸变校正方法的示意图；
图7为根据实施例的图像畸变校正方法的流程图；
图8为根据实施例的原始图像与结果图像的像素点的坐标的映射关系图；
图9为根据实施例的原始图像与结果图像的像素点的坐标的映射关系图；
图10为根据实施例的图像畸变校正装置的示意性框图；
图11为根据实施例的图像畸变校正装置的示意性框图；
图12为根据实施例的电子设备的内部结构的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
超广角相机模组拍摄的原始图像通常具有图像畸变。图1为超广角相机模组拍摄的原始图像。如图1所示，由于广角镜头的畸变特性，原始图像距离图像中心越远的区域图像畸变越明显。
为了消除图像中的畸变，可以利用超广角相机模组的内参对原始图像进行畸变校正，畸变校正后的图像如图2所示。由于畸变校正存在类似拉伸的操作，对于原始图像中形变越严重的区域，需要应用越强烈的拉伸以使其消除畸变。因此畸变校正对于在原始图像中距离图像中心越远的区域拉伸程度越大。如果在这些区域中存在前景对象，例如，在图像的四角存在人脸，则畸变校正后的图像中人脸会产生因拉伸而导致的比例失调。
在一些实施例中，可以使用基于最小二乘法的网格点优化方法对原始图像进行畸变校正。最小二乘法的网格点优化方法的计算量较大，对计算平台的计算能力要求较高，且耗时较长，通常需要数秒才能完成校正。在其它实施例中，可以采用基于人脸关键点检测的方法，当检测到人脸的形变时，对人脸区域进行形状调整。基于人脸关键点检测的方法可能出现误检，导致图像校正效果不佳。
本申请提供的图像畸变校正方法，可以应用于如图3所示的电子设备300中，该电子设备300可以但不限于各种智能手机、数码相机、个人计算机、笔记本电脑、平板电脑等。该电子设备300上可以装配有相机301，该电子设备300通过相机301实时拍摄得到原始图像，并对该原始图像执行本申请实施例的图像畸变校正方法，以对该原始图像进行畸变校正，得到校正后的结果图像。该电子设备300还可以包括显示屏302，从而该电子设备300可以将校正后的结果图像实时显示在该显示屏302上以供用户查看。例如，在用户使用电子设备300的相机301拍摄图像时，相机301捕获的图像可以实时预览在显示屏302上，用户可以随时查看显示屏302上预览的图像并执行拍摄操作。
在一实施例中，提供了一种图像畸变校正方法，该方法可以应用于如图3所示的电子设备300中。本申请的图像畸变校正方法是指对使用广角相机拍摄的畸变的图像进行校正的方法。如图4所示，该方法包括以下步骤S420-S460。
S420：获取由相机拍摄的原始图像。
在该实施例中，相机可以是超广角相机，超广角相机中的镜头可以是超广角镜头。在本申请的各个实施例中，相机可以包括能够捕获图像的各类器件，例如摄像头、相机模组等。
原始图像是由相机拍摄的未经处理的图像。在本实施例中，以该方法应用于电子设备300中为例，电子设备300的相机301实时拍摄原始图像并将其传输至电子设备300的处理器，从而使得电子设备300获取到原始图像。在其他实施例中，原始图像也可以是从网络下载或者从其他终端设备传输至该电子设备300，或者电子设备300也可以从其自身的存储器中读取原始图像等。
S440：当所述原始图像中包括前景对象时，计算所述前景对象的形变程度。
原始图像可以包括前景对象，也可以不包括前景对象。前景对象例如是指在相机的视野范围内被拍摄的目标对象，例如人像、动物、食物等。在原始图像中，前景对象之外的部分是背景。背景是指相机的视野范围内被拍摄的目标对象之外的其它内容，例如远山、天空、建筑、室内或室外环境等。相较于前景对象而言，背景通常在物体空间中距离相机较远。相应地，相较于背景而言，前景对象通常在物体空间中距离相机较近。
前景对象的形变程度是指该前景对象在原始图像中呈现的形态相对于该前景对象的原本形态(例如，使用标准镜头对该前景对象进行拍摄所呈现的形态)的形变程度。
S460：当所述前景对象的形变程度大于预定阈值时，对所述原始图像执行畸变校正和球面投影，以得到结果图像。
畸变校正是指对由于相机镜头畸变而导致的所拍摄的图像的形变进行校正。畸变主要包括径向畸变和切向畸变。可以利用相机模组的相机内参对原始图像进行畸变校正。相机内参是相机的固有参数，在相机制造完成后，该相机的内参就确定了。相机内参可以从制造厂商获取，也可以通过对相机进行标定来获取。
可以使用线性标定方法、非线性优化标定方法、张正友标定方法或其它常见的标定方法对相机进行标定，本申请对标定方法不作限制，只要能够获取相机内参即可。在获取相机内参之后，根据相机内参，可以对因相机自身镜头的径向畸变和切向畸变等造成的拍摄的原始图像形变进行校正。可以使用现有的畸变校正技术对原始图像进行畸变校正，畸变校正的算法在本实施例中不作限制。
球面投影是对图像进行形变，以获得将平面的图像投影到球面上后的视觉效果，指利用球面透视投影模型对图像进行校正，是常用的图像处理方法。
在该步骤中，对原始图像的所有区域均执行畸变校正和球面投影。例如，可以对原始图像中的所有像素点遍历执行畸变校正和球面投影。如此，无需对原始图像中的前景对象和背景进行区分，加快图像校正速度。进一步优选地，
在上述实施例中，当原始图像中存在前景对象并且该前景对象的形变程度大于预定阈值时，对原始图像执行畸变校正和球面投影，避免由于畸变校正而使前景对象产生变形，使得结果图像中的前景对象的校正效果良好，成像美观、自然。此外，由于畸变校正和球面投影的处理方法具有较小的计算量，对计算平台的计算要求低，且结果图像能够实时预览。
例如，以该图像畸变校正方法应用于图3所示的电子设备300为例，由相机301捕获的原始图像通过使用本实施例的图像畸变校正方法获得结果图像，结果图像能够实时地显示在显示屏302中。根据本申请的畸变校正方法，对原始图像进行校正以得到结果图像的过程只需数毫秒，因此，结果图像的实时预览不会发生延迟，提高了用户体验。
参考图5，在一实施例中，根据本申请的图像畸变校正方法包括以下步骤S520-S560。
S520：获取由相机拍摄的原始图像。
该步骤S520与上述步骤S420相同，在此不再赘述。
S530：判断原始图像中是否包括前景对象。
以前景对象为人像为例，对原始图像使用人脸检测技术，检测原始图像中是否包括人脸。人脸检测技术例如是Adaboost+haar检测、深度模型检测等。如果检测到原始图像中包括人脸，则判断原始图像中包括人像；否则，判断原始图像中不包括人像。
在其他实施例中，前景对象可以是其它目标对象，例如动物、食物等，可以使用相应的神经网络识别技术进行检测。应当理解，原始图像可以包括一个或多个前景对象，也可以不包括前景对象。
当判断原始图像中包括前景对象时，该处理继续至S540；否则，该处理继续至S545。
S540：计算前景对象的形变程度。
在一实施例中，计算前景对象的形变程度可以包括：
获取所述原始图像中的前景对象边框以及所述前景对象边框的位置参数和所述前景对象边框的尺寸参数；以及
基于所述前景对象边框的位置参数和所述前景对象边框的尺寸参数计算所述前景对象边框的形变程度。
以前景对象为人像为例，前景对象边框可以是人脸边框(bounding box)。示例性地，人脸边框可以通过基于深度学习的方法来获取。在获取了前景对象边框后，可以获取该前景对象边框的像素点的坐标，从而获取该前景对象边框的位置参数和该前景对象边框的尺寸参数。应当理解，当原始图像包括多个前景对象时，分别获取对应于该多个前景对象的多个前景对象边框。
像素点的坐标是指图像中每个像素点的坐标值。例如，可以设定图像中最左上角的像素点的坐标为(0,0)，与该最左上角的像素点的右侧相邻的像素点的坐标为(1,0)，与该最左上角的像素点的下侧相邻的像素点的坐标为(0,1)，以此类推。应当理解，像素点的坐标也可以按照其它规则设定，例如，可以设定图像的中心点的坐标为(0,0)，等。
在优选的实施例中，参考图6，前景对象边框602的位置参数包括：在所述原始图像601中前景对象边框602与原始图像601的中心点C之间的距离l1。例如，可以获取前景对象边框602最左上角的点A与原始图像601的中心点C之间的距离作为上述距离l1。该距离可以通过计算A点的像素点的坐标与C点的像素点的坐标之间的距离来确定。应当理解，还可以获取前景对象边框602中的其它点与原始图像601的中心点C之间的距离作为上述距离l1。
前景对象边框602的尺寸参数包括：前景对象边框602的宽度w和前景对象边框602的高度h。应当理解，上述尺寸参数也可以通过前景对象边框602像素点的坐标来确定。例如，通过将前景对象边框602像素点的坐标中的纵坐标的最大值减去纵坐标的最小值，得到前景对象边框602的高度h；通过将前景对象边框602像素点的坐标中的横坐标的最大值减去横坐标的最小值，得到前景对象边框602的宽度w。
在一实施例中，基于下式计算所述前景对象的形变程度：
S＝w1×l1+w2×l2。
其中，S代表前景对象的形变程度；l1代表在原始图像中前景对象边框与原始图像的中心点之间的距离；l2代表前景对象边框的宽度和前景对象边框的高度中的较大值；w1是第一权重值；w2是第二权重值。
w1和w2分别涉及l1和l2对形变程度的影响。应当理解，w1和w2的取值与预定阈值的取值相关联，可以根据实际情况来设定。在优选的实施例中，w2可以大于w1。如图6所示，原始图像与结果图像的尺寸相同。应当理解，原始图像的中心点的坐标与结果图像中心点的坐标相同。
当在步骤S530中检测到原始图像中包括多个前景对象时，可以分别针对与该多个前景对象对应的前景对象边框应用上式，以分别计算多个前景对象的形变程度。
S545：对原始图像执行畸变校正，以得到结果图像。
当原始图像中不包括前景图像时，由于畸变校正的处理不会使原始图像的内容产生严重的形变，因此，可以仅对原始图像仅畸变校正，以得到结果图像。由此，节省了进行图像校正处理的时间。
S550：判断形变程度是否大于预定阈值。
由前述步骤可知，当在步骤S530中检测到多个前景对象时，在步骤S540中分别计算多个前景对象的形变程度。在这种情况下，获取该多个前景对象中形变程度最大的前景对象，并判断该形变程度最大的前景对象的形变程度是否大于预定阈值。
若判断形变程度大于预定阈值，该处理继续至步骤S560；否则，该处理继续至步骤S565。
S560：对所述原始图像执行畸变校正和球面投影，以得到结果图像。
该步骤与上述实施例中的步骤S460近似，在此不再赘述。
S565：对原始图像执行畸变校正，以得到结果图像。
当前景对象的形变程度不超过预定阈值，由于畸变校正的处理不会使前景对象产生严重的形变，因此，可以仅对原始图像仅畸变校正，以得到结果图像。由此，节省了进行图像校正处理的时间。
例如，参考图1，离原始图像的中心点越近的区域图像畸变越不明显，离原始图像的中心点越近的区域图像畸变严重。因此，如果前景对象位于原始图像的中心点附近时，可能不存在畸变，或者畸变程度可忽略。在这种情况下，对原始图像进行畸变校正将对前景对象造成较小的形变或不造成前景对象的形变。
参考图7，在一实施例中，步骤S460或步骤S560具体包括以下步骤S720和S740。
S720：基于球面投影变换式和畸变校正变换式，计算结果图像的像素点与原始图像的像素点之间的对应关系。
进一步参见图8，(ui,vi)代表结果图像中的像素点的坐标，ui为横坐标，vi为纵坐标。(ui”,vi”)代表原始图像中的像素点的坐标，ui”为横坐标，vi”为纵坐标。
对原始图像执行畸变校正，原始图像中的像素点的坐标(ui”,vi”)变换为对原始图像执行畸变校正后的像素点的坐标(ui’,vi’)；对原始图像执行畸变校正后，畸变校正后的像素点的坐标(ui’,vi’)通过球面投影变换为结果图像中的像素点的坐标(ui,vi)。(ui,vi)与(ui’,vi’)通过球面投影变换式相对应，(ui’,vi’)与(ui”,vi”)通过畸变校正变换式相对应，因此，(ui,vi)与(ui”,vi”)相对应。参考图8，应当理解，对原始图像执行畸变校正后的像素点是对结果图像执行球面投影之前的像素点。
简而言之，结果图像中的像素点(ui,vi)通过畸变校正变换式和球面投影变换式变换为原始图像中的像素点(ui”,vi”)。(ui,vi)在结果图像中所代表的像素点的像素值与(ui”,vi”)在原始图像中所代表的像素点的像素值相对应。结果图像中的每个像素点都映射到原始图像中的某一像素点。
在计算结果图像的像素点与原始图像的像素点之间的对应关系之后，可以获取原始图像的像素点的像素值。然而，通过球面投影变换式和畸变校正变换式所计算的结果图像中的像素点的坐标所对应的原始图像中的像素点的坐标通常不是整数，即，ui”和vi”通常不是整数。因此，根据本申请计算得到的“原始图像的像素点”可能不是图像中的一个标准像素，可以认为是原始图像中的一点。此时，可以通过使用插值算法(例如双线性插值算法、双三次插值算法、最邻近插值算法)获得其坐标不是整数的原始图像的像素点的像素值。以双线性插值算法为例，如果通过球面投影变换式和畸变校正变换式所计算的对应的原始图像中的像素点的坐标为(1.1,2.3)，则使用原始图像中坐标为(1,2)、(2,2)、(2,3)和(1,3)的四个坐标值为整数的像素点进行双线性插值计算，得出原始图像中的像素点的坐标为(1.1,2.3)的像素值。通过插值算法计算像素值属于图像处理的常用技术，具体计算方法在此不再赘述。应当理解，可以使用各种插值算法计算像素值，本申请不作限制。
在一些实施例中，遍历结果图像中的所有像素点，针对结果图像中的所有像素点的坐标均应用球面投影变换式和畸变校正变换式以计算其对应的原始图像中的像素点的坐标。
在其他实施例中，优选地，可以仅对结果图像中的一些像素点的坐标应用球面投影变换式和畸变校正变换式。在这种情况下，可以按照一定的宽度间隔和高度间隔将结果图像划分为多个矩形块，针对结果图像中该多个矩形块的顶点应用球面投影变换式和畸变校正变换式，以计算其对应的原始图像中的像素点的坐标。针对矩形块顶点，这一过程与上述实施例类似，在此不在赘述。
针对结果图像中的其它像素点(不是顶点的像素点)，利用距离该像素点最近的四个顶点的坐标所映射得到的四个原始图像中的像素点的坐标，通过使用双线性插值算法计算这一像素点所对应的原始图像中的像素点的坐标。
如图9所示，在该示例中，结果图像900被划分为四个矩形块。针对四个矩形块的顶点A1、B1、C1、D1、E1、F1、G1、H1和I1，应用球面投影和畸变校正变换式，分别计算这些点所对应的原始图像900’的像素点A1’、B1’、C1’、D1’、E1’、F1’、G1’、H1’和I1’，并获得这些点对应的原始图像900’的像素点的坐标。针对其余像素点，例如K点，则利用原始图像中A1’、B1’、D1’和E1’点的坐标，通过使用双线性插值算法计算其对应的原始图像900’的像素点K’的坐标。
如此，通过对一些像素点应用球面投影变换式和畸变校正变换式、对其余像素点应用双线性插值算法，获得结果图像中所有像素点与原始图像中的像素点之间的对应关系，即获得结果图像中所有像素点所对应的原始图像的像素点的坐标，然后使用插值算法获得原始图像的像素点的像素值。在该实施例中，无需对结果图像中的所有像素点的坐标应用球面投影和畸变校正变换式，进一步降低了计算量。
S740：将原始图像的像素点的像素值赋值到该原始图像的像素点所对应的结果图像的像素点，得到结果图像中像素点的像素值。
在该步骤中，对原始图像执行畸变校正和球面投影以得到结果图像。在实际处理中，通常是逆向计算。即，针对结果图像中的每个像素点，通过球面投影变换式和畸变校正变换式获得其对应的原始图像的像素点，将原始图像的像素点的像素值赋值到该原始图像的像素点所对应的结果图像的像素点，得到结果图像中每个像素点的像素值，从而得到具备像素值的结果图像。换句话说，在未通过球面投影变换式和畸变校正变换式进行逆向计算时，结果图像中的像素点不具备像素值；通过逆向计算为结果图像中的像素点赋值像素值，从而得到具备像素值的结果图像。
例如，针对结果图像的像素点(u0，v0)，通过畸变校正变换式和球面投影变换式计算得到其对应的原始图像的像素点的坐标为(u0”，v0”)；获取原始图像中坐标为(u0”，v0”)的像素点的像素值(也被称为颜色值)，然后将该像素值赋值给结果图像的像素点(u0，v0)，使得该结果图像的像素点(u0，v0)对应的像素值与原始图像的像素点(u0”，v0”)对应的像素值相同。
在一实施例中上述球面投影变换式为：
Figure BDA0003101695290000171
其中，d代表原始图像的宽度和高度中的较小值；f代表所述相机的焦距；r1代表结果图像的像素点到结果图像的中心点的距离，r2代表畸变校正图像的像素点到结果图像的中心点的距离；结果图像的像素点(ui，vi)、该结果图像的像素点所对应的对原始图像执行畸变校正后的像素点(ui’，vi’)以及结果图像的中心点在同一直线上。
在一实施例中，上述畸变校正变换式为：
Figure BDA0003101695290000172
其中，fx为所述相机的第一焦距，fy为所述相机的第二焦距，cx为图像原点相对于光心成像点的横偏移量，cy为图像原点相对于光心成像点的纵偏移量；k1为所述相机的第一径向畸变系数，k2为所述相机的第二径向畸变系数，k3为所述相机的第三径向畸变系数，k4为所述相机的第四径向畸变系数，k5为所述相机的第五径向畸变系数，k6为所述相机的第六径向畸变系数，p1为所述相机的第一切向畸变系数，p2为所述相机的第二切向畸变系数。其中，fx、fy、cx和cy是相机的内参，k1、k2、k3、k4、k5、k6、p1和p2是相机的畸变系数，是相机的固有参数，通过对相机进行标定获得。
再次参考图6，根据上述实施例的图像校正方法，当原始图像601中存在前景对象(例如人像)并且该前景对象的形变程度大于预定阈值时，对原始图像执行畸变校正和球面投影，得到结果图像603。从图6可知，如果仅对原始图像601执行畸变校正，人像将被拉伸变形；采用球面投影与畸变校正相结合的校正方法，球面投影能够补偿畸变校正对前景对象带来的形变，避免由于畸变校正而使前景对象产生变形，使得结果图像中的前景对象的校正效果良好，成像美观、自然。根据本申请的图像校正方法尤其适用于校正包括人像的超广角图像。在超广角图像中，当前景对象是人像时，用户更加关注人像是否发生形变。使用根据本申请的图像校正方法，能够避免校正后的图像中的人像因拉伸而产生形变。
此外，由于畸变校正和球面投影的处理方法具有较小的计算量，对计算平台的计算要求低，且结果图像能够实时预览。示例性地，根据本申请的图像校正方法可以应用于图3所示的电子设备300。电子设备300可以将校正后的结果图像实时显示在该显示屏302上以供用户查看。例如，可以每隔预定时间(例如1毫秒)获取由相机301拍摄的原始图像，并使用根据本申请的畸变校正方法对原始图像进行校正以得到结果图像。同时针对实际场景中存在人脸出现/消失的频繁切换情况，由于每预定时间即获取一次原始图像并对原始图像进行校正，实际处理时仅需要判断当前原始图像是否存在大于预定程度的人像形变，在屏幕预览时能够实现在有人像形变和无人像形变之间的处理的平滑过渡，提高了用户体验。
本申请提出的面向超广角图像的图像畸变校正方法能够以较低的运算复杂度实现对超广角图像进行快速畸变校正，并得到较好的校正效果。
参考图10，本申请的另一方面提供了一种图像校正装置900，该图像校正装置900包括：图像获取模块920，配置为获取由相机拍摄的原始图像；形变计算模块940，配置为当所述原始图像中包括前景对象时，计算所述前景对象的形变程度；以及校正计算模块960，配置为当所述前景对象的形变程度大于预定阈值时，对所述原始图像执行畸变校正和球面投影，以得到结果图像。
在一实施例中，所述校正计算模块960还配置为：当所述原始图像中不包括前景对象时，对所述原始图像执行所述畸变校正，以得到结果图像；或当由所述形变计算模块所计算的所述前景对象的形变程度不大于所述预定阈值时，对所述原始图像执行所述畸变校正，以得到结果图像。
在一实施例中，所述形变计算模块940还配置为：获取所述原始图像中的前景对象边框以及所述前景对象边框的位置参数和所述前景对象边框的尺寸参数；以及基于所述前景对象边框的位置参数和所述前景对象边框的尺寸参数计算所述前景对象的形变程度。
在一实施例中，所述前景对象边框的位置参数包括：在所述原始图像中前景对象边框与所述原始图像的中心点之间的距离；所述前景对象边框的尺寸参数包括：所述前景对象边框的宽度和所述前景对象边框的高度；
所述形变计算模块940还配置为：基于下式计算所述前景对象边框的形变程度
S＝w1×l1+w2×l2
其中，S代表形变程度；l1代表在所述原始图像中前景对象边框与所述原始图像的中心点之间的距离；l2代表所述前景对象边框的宽度和所述前景对象边框的高度中的较大值；w1是第一权重值；w2是第二权重值。
在一实施例中，所述校正计算模块960包括：映射计算单元962，配置为基于球面投影变换式和畸变校正变换式，计算结果图像的像素点与原始图像的像素点之间的对应关系；以及像素赋值单元964，配置为将原始图像的像素点的像素值赋值到该原始图像的像素点所对应的结果图像的像素点，得到所述结果图像中的像素点的像素值。
在一实施例中，所述映射计算单元962还配置为：基于球面投影变换式，计算结果图像的像素点的坐标(ui,vi)所对应的对原始图像执行畸变校正后的像素点的坐标(ui’,vi’)，所述结果图像的像素点、对应的对原始图像执行畸变校正后的像素点以及结果图像的中心点在同一直线上；基于畸变校正变换式，计算对原始图像执行畸变校正后的像素点的坐标(ui’,vi’)所对应的原始图像的像素点的坐标(ui”,vi”)；
所述球面投影变换式为：
Figure BDA0003101695290000201
其中，d代表原始图像的宽度和高度中的较小值；f代表所述相机的焦距；r1代表结果图像的像素点到结果图像的中心点的距离，r2代表畸变校正图像的像素点到结果图像的中心点的距离；
所述畸变校正变换式为：
Figure BDA0003101695290000211
其中，fx为所述相机的第一焦距，fy为所述相机的第二焦距，cx为图像原点相对于光心成像点的横偏移量，cy为图像原点相对于光心成像点的纵偏移量；k1为所述相机的第一径向畸变系数，k2为所述相机的第二径向畸变系数，k3为所述相机的第三径向畸变系数，k4为所述相机的第四径向畸变系数，k5为所述相机的第五径向畸变系数，k6为所述相机的第六径向畸变系数，p1为所述相机的第一切向畸变系数，p2为所述相机的第二切向畸变系数。
本申请的图像校正装置与本申请的图像校正方法一一对应，在上述图像校正方法的实施例阐述的技术特征及其有益效果均适用于图像校正装置的实施例中，特此声明。
关于图像畸变校正装置的具体限定可以参见上文中对于图像畸变校正方法的限定，在此不再赘述。上述图像畸变校正装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
根据本申请的另一方面，提供了一种电子设备，该电子备可以是终端，其内部结构图可以如图12所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有步骤系统和计算机程序。该内存储器为非易失性存储介质中的步骤系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像畸变校正方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种电子设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (14)

1.一种图像畸变校正方法，其特征在于，包括：
获取由相机拍摄的原始图像；
当所述原始图像中包括前景对象时，计算所述前景对象的形变程度；以及
当所述前景对象的形变程度大于预定阈值时，对所述原始图像执行畸变校正和球面投影，以得到结果图像。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述原始图像中不包括前景对象时，对所述原始图像执行所述畸变校正，以得到结果图像；或
当所述前景对象的形变程度不大于所述预定阈值时，对所述原始图像执行所述畸变校正，以得到结果图像。
3.根据权利要求1所述的方法，其特征在于，当所述原始图像中包括前景对象时，计算所述前景对象的形变程度包括：
获取所述原始图像中的前景对象边框以及所述前景对象边框的位置参数和所述前景对象边框的尺寸参数；以及
基于所述前景对象边框的位置参数和所述前景对象边框的尺寸参数计算所述前景对象边框的形变程度。
4.根据权利要求3所述的方法，其特征在于，所述前景对象边框的位置参数包括：在所述原始图像中前景对象边框与所述原始图像的中心点之间的距离；所述前景对象边框的尺寸参数包括：所述前景对象边框的宽度和所述前景对象边框的高度；
基于下式计算所述前景对象的形变程度
S＝w1×l1+w2×l2
其中，S代表前景对象的形变程度；l1代表在所述原始图像中前景对象边框与所述原始图像的中心点之间的距离；l2代表所述前景对象边框的宽度和所述前景对象边框的高度中的较大值；w1是第一权重值；w2是第二权重值。
5.根据权利要求1所述的方法，其特征在于，当所述前景对象的形变程度大于预定阈值时，对所述原始图像执行畸变校正和球面投影，以得到结果图像包括：
基于球面投影变换式和畸变校正变换式，计算结果图像的像素点与原始图像的像素点之间的对应关系；以及
将原始图像的像素点的像素值赋值到该原始图像的像素点所对应的结果图像的像素点，得到结果图像中的像素点的像素值。
6.根据权利要求5所述的方法，其特征在于，基于球面投影变换式和畸变校正变换式，计算结果图像的像素点与原始图像的像素点之间的对应关系包括：
基于球面投影变换式，计算结果图像的像素点的坐标(ui,vi)所对应的对原始图像执行畸变校正后的像素点的坐标(ui’,vi’)，所述结果图像的像素点、对应的对原始图像执行畸变校正后的像素点以及结果图像的中心点在同一直线上；
基于畸变校正变换式，计算对原始图像执行畸变校正后的像素点的坐标(ui’,vi’)所对应的原始图像的像素点的坐标(ui”,vi”)；
所述球面投影变换式为：
Figure FDA0003101695280000031
其中，d代表原始图像的宽度和高度中的较小值；f代表所述相机的焦距；r1代表结果图像的像素点到结果图像的中心点的距离，r2代表畸变校正图像的像素点到结果图像的中心点的距离；
所述畸变校正变换式为：
Figure FDA0003101695280000032
其中，fx为所述相机的第一焦距，fy为所述相机的第二焦距，cx为图像原点相对于光心成像点的横偏移量，cy为图像原点相对于光心成像点的纵偏移量；k1为所述相机的第一径向畸变系数，k2为所述相机的第二径向畸变系数，k3为所述相机的第三径向畸变系数，k4为所述相机的第四径向畸变系数，k5为所述相机的第五径向畸变系数，k6为所述相机的第六径向畸变系数，p1为所述相机的第一切向畸变系数，p2为所述相机的第二切向畸变系数。
7.一种图像校正装置，其特征在于，包括：
图像获取模块，配置为获取由相机拍摄的原始图像；
形变计算模块，配置为当所述原始图像中包括前景对象时，计算所述前景对象的形变程度；以及
校正计算模块，配置为当所述前景对象的形变程度大于预定阈值时，对所述原始图像执行畸变校正和球面投影，以得到结果图像。
8.根据权利要求7所述的图像校正装置，其特征在于，所述校正计算模块还配置为：
当所述原始图像中不包括前景对象时，对所述原始图像执行所述畸变校正，以得到结果图像；或
当由所述形变计算模块所计算的所述前景对象的形变程度不大于所述预定阈值时，对所述原始图像执行所述畸变校正，以得到结果图像。
9.根据权利要求7所述的图像校正装置，其特征在于，所述形变计算模块还配置为：
获取所述原始图像中的前景对象边框以及所述前景对象边框的位置参数和所述前景对象边框的尺寸参数；以及
基于所述前景对象边框的位置参数和所述前景对象边框的尺寸参数计算所述前景对象的形变程度。
10.根据权利要求9所述的图像校正装置，其特征在于，所述前景对象边框的位置参数包括：在所述原始图像中前景对象边框与所述原始图像的中心点之间的距离；所述前景对象边框的尺寸参数包括：所述前景对象边框的宽度和所述前景对象边框的高度；
所述形变计算模块还配置为：基于下式计算所述前景对象边框的形变程度
S＝w1×l1+w2×l2
其中，S代表形变程度；l1代表在所述原始图像中前景对象边框与所述原始图像的中心点之间的距离；l2代表所述前景对象边框的宽度和所述前景对象边框的高度中的较大值；w1是第一权重值；w2是第二权重值。
11.根据权利要求7所述的图像校正装置，其特征在于，所述校正计算模块包括：
映射计算单元，配置为基于球面投影变换式和畸变校正变换式，计算结果图像的像素点与原始图像的像素点之间的对应关系；以及
像素赋值单元，配置为将原始图像的像素点的像素值赋值到该原始图像的像素点所对应的结果图像的像素点，得到所述结果图像。
12.根据权利要求11所述的图像校正装置，其特征在于，所述映射计算单元还配置为：
基于球面投影变换式，计算结果图像的像素点的坐标(ui,vi)所对应的对原始图像执行畸变校正后的像素点的坐标(ui’,vi’)，所述结果图像的像素点、对应的对原始图像执行畸变校正后的像素点以及结果图像的中心点在同一直线上；
基于畸变校正变换式，计算对原始图像执行畸变校正后的像素点的坐标(ui’,vi’)所对应的原始图像的像素点的坐标(ui”,vi”)；
所述球面投影变换式为：
Figure FDA0003101695280000051
其中，d代表原始图像的宽度和高度中的较小值；f代表所述相机的焦距；r1代表结果图像的像素点到结果图像的中心点的距离，r2代表畸变校正图像的像素点到结果图像的中心点的距离；
所述畸变校正变换式为：
Figure FDA0003101695280000061
其中，fx为所述相机的第一焦距，fy为所述相机的第二焦距，cx为图像原点相对于光心成像点的横偏移量，cy为图像原点相对于光心成像点的纵偏移量；k1为所述相机的第一径向畸变系数，k2为所述相机的第二径向畸变系数，k3为所述相机的第三径向畸变系数，k4为所述相机的第四径向畸变系数，k5为所述相机的第五径向畸变系数，k6为所述相机的第六径向畸变系数，p1为所述相机的第一切向畸变系数，p2为所述相机的第二切向畸变系数。
13.一种电子设备，包括存储器和处理器，所述存储器与所述处理器连接；
所述存储器存储有计算机程序；
所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的图像畸变校正方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的图像畸变校正方法。
CN202110624642.9A 2021-06-04 2021-06-04 图像畸变校正方法、装置、电子设备和存储介质 Pending CN113222862A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110624642.9A CN113222862A (zh) 2021-06-04 2021-06-04 图像畸变校正方法、装置、电子设备和存储介质
US17/751,120 US20220392027A1 (en) 2021-06-04 2022-05-23 Method for calibrating image distortion, apparatus, electronic device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110624642.9A CN113222862A (zh) 2021-06-04 2021-06-04 图像畸变校正方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN113222862A true CN113222862A (zh) 2021-08-06

Family

ID=77082913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110624642.9A Pending CN113222862A (zh) 2021-06-04 2021-06-04 图像畸变校正方法、装置、电子设备和存储介质

Country Status (2)

Country Link
US (1) US20220392027A1 (zh)
CN (1) CN113222862A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115022541A (zh) * 2022-05-30 2022-09-06 Oppo广东移动通信有限公司 视频畸变校正方法及装置、计算机可读介质和电子设备
CN116152106A (zh) * 2023-02-23 2023-05-23 朱林清 基于深度神经网络的数据鉴定系统
CN115022541B (zh) * 2022-05-30 2024-05-03 Oppo广东移动通信有限公司 视频畸变校正方法及装置、计算机可读介质和电子设备

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1416441A1 (de) * 2002-10-30 2004-05-06 Orga Kartensysteme GmbH Verfahren und Vorrichtung zur automatischen Segmentierung eines Vordergrundobjektes in einem Bild
CN101930603A (zh) * 2010-08-06 2010-12-29 华南理工大学 中高速传感器网络图像数据融合的方法
EP2538242A1 (en) * 2011-06-24 2012-12-26 Softkinetic Software Depth measurement quality enhancement.
CN103140858A (zh) * 2010-09-30 2013-06-05 英特尔公司 基于硬件的人存在检测
EP2608148A2 (en) * 2011-12-23 2013-06-26 Samsung Electronics Co., Ltd. Method and apparatus for generating multi-view
CN103426149A (zh) * 2013-07-24 2013-12-04 玉振明 大视角图像畸变的校正处理方法
CN105227948A (zh) * 2015-09-18 2016-01-06 广东欧珀移动通信有限公司 一种查找图像中畸变区域的方法及装置
CN106339987A (zh) * 2016-09-06 2017-01-18 凌云光技术集团有限责任公司 一种畸变图像转正方法及装置
CN109241723A (zh) * 2017-07-11 2019-01-18 中国科学技术大学 一种身份验证方法及装置
US20190166294A1 (en) * 2017-11-30 2019-05-30 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for dual-camera-based imaging, and mobile terminal
CN110636263A (zh) * 2019-09-20 2019-12-31 黑芝麻智能科技(上海)有限公司 全景环视图生成方法、车载设备及车载系统
CN110675350A (zh) * 2019-10-22 2020-01-10 普联技术有限公司 云台相机视场坐标映射方法、装置、存储介质及云台相机
CN111080544A (zh) * 2019-12-09 2020-04-28 Oppo广东移动通信有限公司 基于图像的人脸畸变校正方法、装置及电子设备
CN111080542A (zh) * 2019-12-09 2020-04-28 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备以及存储介质
CN111105366A (zh) * 2019-12-09 2020-05-05 Oppo广东移动通信有限公司 图像处理方法和装置、终端设备及存储介质
CN112132762A (zh) * 2020-09-18 2020-12-25 北京搜狗科技发展有限公司 一种数据处理方法、装置和录音设备
CN112258418A (zh) * 2020-10-29 2021-01-22 黑芝麻智能科技(上海)有限公司 图像畸变校正方法、装置、电子设备和存储介质
CN112712045A (zh) * 2021-01-05 2021-04-27 周婷婷 基于人工智能的无人机果冻效应严重程度检测方法及系统

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1416441A1 (de) * 2002-10-30 2004-05-06 Orga Kartensysteme GmbH Verfahren und Vorrichtung zur automatischen Segmentierung eines Vordergrundobjektes in einem Bild
CN101930603A (zh) * 2010-08-06 2010-12-29 华南理工大学 中高速传感器网络图像数据融合的方法
CN103140858A (zh) * 2010-09-30 2013-06-05 英特尔公司 基于硬件的人存在检测
EP2538242A1 (en) * 2011-06-24 2012-12-26 Softkinetic Software Depth measurement quality enhancement.
EP2608148A2 (en) * 2011-12-23 2013-06-26 Samsung Electronics Co., Ltd. Method and apparatus for generating multi-view
CN103426149A (zh) * 2013-07-24 2013-12-04 玉振明 大视角图像畸变的校正处理方法
CN105227948A (zh) * 2015-09-18 2016-01-06 广东欧珀移动通信有限公司 一种查找图像中畸变区域的方法及装置
CN106339987A (zh) * 2016-09-06 2017-01-18 凌云光技术集团有限责任公司 一种畸变图像转正方法及装置
CN109241723A (zh) * 2017-07-11 2019-01-18 中国科学技术大学 一种身份验证方法及装置
US20190166294A1 (en) * 2017-11-30 2019-05-30 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for dual-camera-based imaging, and mobile terminal
CN110636263A (zh) * 2019-09-20 2019-12-31 黑芝麻智能科技(上海)有限公司 全景环视图生成方法、车载设备及车载系统
CN110675350A (zh) * 2019-10-22 2020-01-10 普联技术有限公司 云台相机视场坐标映射方法、装置、存储介质及云台相机
CN111080544A (zh) * 2019-12-09 2020-04-28 Oppo广东移动通信有限公司 基于图像的人脸畸变校正方法、装置及电子设备
CN111080542A (zh) * 2019-12-09 2020-04-28 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备以及存储介质
CN111105366A (zh) * 2019-12-09 2020-05-05 Oppo广东移动通信有限公司 图像处理方法和装置、终端设备及存储介质
CN112132762A (zh) * 2020-09-18 2020-12-25 北京搜狗科技发展有限公司 一种数据处理方法、装置和录音设备
CN112258418A (zh) * 2020-10-29 2021-01-22 黑芝麻智能科技(上海)有限公司 图像畸变校正方法、装置、电子设备和存储介质
CN112712045A (zh) * 2021-01-05 2021-04-27 周婷婷 基于人工智能的无人机果冻效应严重程度检测方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
A.K.SAMPATH;DR.N.GOMATHI;: "Decision tree and deep learning based probabilistic model for character recognition", JOURNAL OF CENTRAL SOUTH UNIVERSITY, no. 12 *
LONG SUN;TAO WU;GUANGCAI SUN;DAZHENG FENG;LIESHU TONG;MENGDAO XING;: "Object Detection Research of SAR Image Using Improved Faster RegionBased Convolutional Neural Network", JOURNAL OF GEODESY AND GEOINFORMATION SCIENCE, no. 03 *
周小康;饶鹏;朱秋煜;陈忻;: "鱼眼图像畸变校正技术研究", 工业控制计算机, no. 10 *
张琨;王翠荣;: "基于圆分割的鱼眼镜头图像畸变校正算法", 东北大学学报(自然科学版), no. 09 *
张维;曹茂永;张炳文;: "基于Harris多摄像头孔壁图像的全景拼接技术", 山东科技大学学报(自然科学版), no. 03 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115022541A (zh) * 2022-05-30 2022-09-06 Oppo广东移动通信有限公司 视频畸变校正方法及装置、计算机可读介质和电子设备
CN115022541B (zh) * 2022-05-30 2024-05-03 Oppo广东移动通信有限公司 视频畸变校正方法及装置、计算机可读介质和电子设备
CN116152106A (zh) * 2023-02-23 2023-05-23 朱林清 基于深度神经网络的数据鉴定系统

Also Published As

Publication number Publication date
US20220392027A1 (en) 2022-12-08

Similar Documents

Publication Publication Date Title
US9262807B2 (en) Method and system for correcting a distorted input image
CN110717942B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US20190251675A1 (en) Image processing method, image processing device and storage medium
US8971666B2 (en) Fisheye correction with perspective distortion reduction method and related image processor
Ha et al. Panorama mosaic optimization for mobile camera systems
CN112258418A (zh) 图像畸变校正方法、装置、电子设备和存储介质
JP2012105246A (ja) 画像補正方法、および関連する画像補正システム
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
CN111652937B (zh) 车载相机标定方法和装置
CN113222862A (zh) 图像畸变校正方法、装置、电子设备和存储介质
CN112333468B (zh) 图像处理方法、装置、设备及存储介质
CN111160063B (zh) 一种物联网ipc二维码配网图像增强方法及系统
Ha et al. Embedded panoramic mosaic system using auto-shot interface
CN115174878B (zh) 投影画面校正方法、装置和存储介质
CN115086625B (zh) 投影画面的校正方法、装置、系统、校正设备和投影设备
CN114004839A (zh) 全景图像的图像分割方法、装置、计算机设备和存储介质
CN113592753A (zh) 基于工业相机拍摄的图像的处理方法、装置和计算机设备
CN110619611B (zh) 图像校正标定方法、装置、计算机设备和存储介质
CN113902644A (zh) 一种图像处理方法、装置、设备以及存储介质
CN115761827A (zh) 一种化妆进度检测方法、装置、设备及存储介质
TWI663576B (zh) Image correction method
CN115209035A (zh) 基于视频的畸变校正方法、装置、拍照设备以及存储介质
CN113870148A (zh) 人脸畸变校正方法、装置、电子设备、芯片及存储介质
CN115205127A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN116405646A (zh) 自动入幕方法、投影仪和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination