CN116739908A - 图像处理方法、装置及设备 - Google Patents

图像处理方法、装置及设备 Download PDF

Info

Publication number
CN116739908A
CN116739908A CN202210204484.6A CN202210204484A CN116739908A CN 116739908 A CN116739908 A CN 116739908A CN 202210204484 A CN202210204484 A CN 202210204484A CN 116739908 A CN116739908 A CN 116739908A
Authority
CN
China
Prior art keywords
image
processed
line segment
corrected
line segments
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210204484.6A
Other languages
English (en)
Inventor
杨晨
王小娥
田晶铎
白博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202210204484.6A priority Critical patent/CN116739908A/zh
Priority to PCT/CN2023/079116 priority patent/WO2023165535A1/zh
Publication of CN116739908A publication Critical patent/CN116739908A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

公开了图像处理方法、装置及设备，涉及图像处理领域。获取到待处理图像后，根据元数据包含的IMU信息和视场中至少一个从待处理图像包含的线段中筛选得到待矫正线段。待处理图像包含拍摄设备拍摄的第一场景中垂直线段和水平线段中至少一种。对待矫正线段及待处理图像的特征区域包括背景区域、人像区域和边缘区域进行矫正，得到处理后图像。由于IMU信息和视场描述了拍摄待处理图像的拍摄设备的属性信息，根据IMU信息和视场准确定位需要矫正的线段，对待矫正线段以及待处理图像的特征区域进行矫正，使处理后图像中的线段更符合拍摄设备所拍摄的第一场景中水平线段和垂直线段的分布特征。有效地提高了对图像的移轴畸变现象进行矫正的精确度。

Description

图像处理方法、装置及设备
技术领域
本申请涉及图像处理领域，尤其涉及一种图像处理方法、装置及设备。
背景技术
通常，用户使用相机拍摄过程中，由于相机倾斜等非固定性原因，导致所拍摄场景中的 直线在图像中发生移轴畸变(如：倾斜或汇聚)，影响图像的构图美观。例如仰拍建筑物图像 中越向建筑物的顶端，外墙边线越汇聚。
目前，基于图像内容对发生移轴畸变的图像进行全局矫正。但是，对于具有特殊特征的 非正方内容采用该矫正方法反而可能产生矫正错误，因此该矫正方法的精确度较低。
发明内容
本申请提供了图像处理方法、装置及设备，由此解决了基于图像内容对发生移轴畸变的 图像进行全局矫正而产生的矫正错误的问题，提高了对图像进行移轴畸变矫正的精确度。
第一方面，提供了一种图像处理方法，该方法由计算设备执行。计算设备获取到待处理 图像后，根据待处理图像的元数据包含的惯性测量组件(Inertial MeasurementUnit，IMU)信 息和视场中至少一个从待处理图像包含的线段中筛选得到待矫正线段。待处理图像包含拍摄 设备获取该待处理图像的第一场景中垂直线段和水平线段中至少一种。可理解的，待处理图 像包含的线段可以是第一场景中线段在图像中未发生倾斜的线段，也可以是第一场景中线段 在图像中发生倾斜的线段。进而，对待矫正线段以及待处理图像的特征区域包括背景区域、 人像区域和边缘区域进行矫正，得到处理后图像。
如此，由于IMU信息和视场描述了拍摄待处理图像的拍摄设备的属性信息，根据IMU 信息和视场可以准确地定位需要矫正的线段，从待处理图像包含的线段中筛选待矫正线段， 对待矫正线段以及待处理图像的特征区域进行矫正，使处理后图像中的线段更符合拍摄设备 所拍摄的第一场景中水平线段和垂直线段的分布特征。相对于对待处理图像进行整体矫正， 针对待处理图像中线段进行精准矫正，从而有效地提高了对图像进行移轴畸变矫正的精确度。
例如，IMU信息包含了拍摄待处理图像的拍摄设备的水平倾角和俯仰倾角。视场表示摄 像头能够观察到的最大范围。通常以角度来表示视场。视场越大，观测范围越大。
如果拍摄设备仰拍第一场景或俯拍第一场景，第一场景中垂直线段在图像中发生倾斜， 则待处理图像包含第一场景中垂直线段在待处理图像中发生倾斜的线段。
如果拍摄设备水平倾斜拍摄第一场景，第一场景中垂直线段和水平线段在图像中发生倾 斜，则待处理图像包含第一场景中垂直线段和水平线段在待处理图像中发生倾斜的线段。
需要说明的是，本申请实施例中进行图像处理的计算设备可以是携带拍摄功能的拍摄设 备(例如，智能手机)也可是其他具备图像处理功能的设备(如：服务器、云端设备、边缘 设备等)。
待矫正线段包括第一场景中垂直线段和水平线段中至少一种。可理解的是，待矫正线段 包括第一场景中垂直线段和水平线段中至少一种在待处理图像中发生倾斜的线段中部分线段 或全部线段。例如，待处理图像包含发生移轴畸变的建筑物图像和人像，待矫正线段包含建 筑物中垂直线段和水平线段中至少一种在图像中发生倾斜的线段，不包括人像中发生倾斜的 线段，仅对建筑物图像中发生倾斜的线段进行矫正，以此保留人像中大长腿的效果，使图像 构图更美观。
在一种可能的实现方式中，拍摄设备显示移轴畸变控件，方法还包括：拍摄设备接收用 户对移轴畸变控件的操作后，根据待处理图像的元数据从待处理图像包含的线段中筛选得到 待矫正线段，对待矫正线段以及待处理图像的特征区域进行矫正，得到处理后图像。基于人 机交互方式对图像进行移轴畸变矫正，降低用户对图像进行移轴畸变的操作步骤的复杂度， 提升对图像进行移轴畸变矫正的灵活性，从而提高用户对图像进行处理的用户体验。
在另一种可能的实现方式中，方法还包括：在对待矫正线段以及待处理图像的特征区域 进行矫正得到处理后图像后，显示处理后图像。从而，使用户更直观地看到进行移轴畸变矫 正后的图像，提高用户对图像进行处理的用户体验。
在另一种可能的实现方式中，根据元数据包含内容制定线段筛选策略来筛选待矫正线段。 线段筛选策略用于指示对待处理图像包含的线段进行线段筛选的方法。例如，根据待处理图 像的元数据从待处理图像包含的线段中筛选得到待矫正线段，包括：根据元数据确定的线段 筛选策略，从待处理图像包含的线段中筛选得到待矫正线段。从而，根据元数据包含的内容 适配不同的线段筛选策略，提升对待处理图像包含的线段进行线段筛选的灵活性和精确度。
示例一，元数据包括IMU信息和视场；线段筛选策略用于指示基于IMU信息和视场进 行线段筛选；根据元数据确定的线段筛选策略，从待处理图像包含的线段中筛选得到待矫正 线段，包括：根据IMU信息和视场对待处理图像包含的M条线段进行整体调整得到调整后 M条线段，调整后M条线段符合第一场景的线段角度分布特征，根据线段倾斜阈值从调整后 M条线段中筛选得到N条待矫正线段。线段倾斜阈值范围包括水平线段倾斜阈值和垂直线段 倾斜阈值，M和N均为正整数，N小于或等于M。如此，由于IMU信息用于指示拍摄设备 的倾斜角度，拍摄设备基于IMU信息和视场对待处理图像中的倾斜线段进行筛选，有助于提高线段筛选的精确度，进而提高对图像进行移轴畸变矫正的精确度。
示例二，元数据不包括视场，根据元数据确定的线段筛选策略，从待处理图像包含的线 段中筛选得到待矫正线段，包括：基于待处理图像的图像内容从待处理图像包含的线段中筛 选得到待矫正线段，图像内容包含线段角度分布特征。如此，拍摄设备基于图像内容中线段 的倾斜角度进行线段精准筛选，进而提高对图像进行移轴畸变矫正的精确度。
示例三，元数据包括视场，且不包括IMU信息，根据元数据确定的线段筛选策略，从待 处理图像包含的线段中筛选得到待矫正线段，包括：基于视场和待处理图像的图像内容从待 处理图像包含的线段中筛选得到待矫正线段，图像内容包含线段角度分布特征。由于不同视 场范围内线段倾斜的角度不同，视场范围越大，图像中边缘线段倾斜角度越大。拍摄设备基 于图像内容中线段的倾斜角度和视场进行线段精准筛选，进而提高对图像进行移轴畸变矫正 的精确度。
在另一种可能的实现方式中，方法还包括：提示用户从基于待处理图像的图像内容筛选 得到的推荐线段中选择待矫正线段。有时用户为了构图效果，可能采用仰拍或俯拍措施拍摄 图像。此时，图像中的倾斜线段用户可能并不想矫正。如此，拍摄设备提供了用户交互的直 线推荐策略，提示用户是否进行线段矫正，根据用户意愿对图像进行移轴畸变矫正，来提高 对图像进行移轴畸变矫正的精确度。
在另一种可能的实现方式中，元数据还包括可信标识，可信标识用于指示元数据是否可 信；根据元数据确定的线段筛选策略，从待处理图像包含的线段中筛选得到待矫正线段，包 括：若可信标识指示元数据不可信，基于待处理图像的图像内容从待处理图像包含的线段中 筛选得到待矫正线段，图像内容包含线段角度分布特征。若可信标识指示元数据可信，基于 待处理图像的图像内容、IMU信息和视场中至少一个从待处理图像包含的线段中筛选得到待 矫正线段。如此，在根据IMU信息和视场进行线段筛选之前，先预判IMU信息和视场是否 可信，根据IMU信息和视场的可信程度，确定进行线段筛选的线段筛选策略，从而提升线段 筛选的速率，以及提升线段筛选结果的精确度，进而提升对图像进行移轴畸变矫正的精确度。
在另一种可能的实现方式中，根据待处理图像的元数据从待处理图像包含的线段中筛选 得到待矫正线段，包括：根据基于元数据筛选的线段和基于图像内容筛选的线段确定待矫正 线段。如此，结合两种不同线段筛选策略的结果，确定待矫正线段，进一步地提高基于IMU 信息和视场进行线段筛选的精确度，进而提升对图像进行移轴畸变矫正的精确度。
在另一种可能的实现方式中，对待矫正线段以及待处理图像的特征区域进行矫正，得到 处理后图像，包括：判断待矫正线段的数量是否大于数量阈值，且待矫正线段的长度是否大 于长度阈值；若待矫正线段的数量大于数量阈值，且待矫正线段的长度大于长度阈值，对待 矫正线段进行矫正，得到处理后图像；若待矫正线段的数量小于或等于数量阈值，或待矫正 线段的长度小于或等于长度阈值，根据第一场景的场景特征确定是否对待矫正线段进行矫正， 场景特征包含建筑特征和人物特征。如此，对图像中线段进行矫正时，充分参考场景特征和 用户意图，使得矫正后图像更符合实际场景中线段的分布特征，有效地提高了对图像进行移 轴畸变矫正的精确度。
在另一种可能的实现方式中，对待矫正线段以及待处理图像的特征区域进行矫正，得到 处理后图像，包括：构建直线约束对待矫正线段进行矫正；构建基于内容的单应性约束和形 状和正则约束对背景区域进行矫正；构建人像约束对人像区域进行矫正；构建边界约束对边 缘区域进行矫正，以得到处理后图像。如此，联合优化直线约束、基于内容的单应性约束、 形状和正则约束、人像约束和边界约束等各项约束，使得矫正结果更为合理美观，视场保持 更多，构图更美观。
若根据待处理图像的元数据对待处理图像包含的线段进行筛选，未筛选到需要矫正的线 段，根据待处理图像的特征区域对待处理图像进行矫正，可以有效地弥补线段筛选的误差， 进而提高对图像进行移轴畸变矫正的精确度。
在另一种可能的实现方式中，根据待处理图像的元数据从待处理图像包含的线段中筛选 得到待矫正线段，包括：根据直线检测方法检测待处理图像，得到线段集。线段集包含M个 倾斜线段，M为正整数。
在另一种可能的实现方式中，对待矫正线段进行矫正，得到处理后图像之后，方法包括： 更新待处理图像的元数据包括IMU信息。例如，删除或修改IMU信息。从而，提高使用IMU 信息进行线段筛选的准确性。
第二方面，提供了一种图像处理装置，所述装置包括用于执行第一方面或第一方面任一 种可能设计中的图像处理方法的各个模块。
第三方面，提供一种拍摄设备，该拍摄设备包括至少一个处理器和存储器，存储器用于 存储一组计算机指令；当处理器作为第一方面或第一方面任一种可能实现方式中的拍摄设备 执行所述一组计算机指令时，执行第一方面或第一方面任一种可能实现方式中的图像处理方 法的操作步骤。
第四方面，提供一种计算设备，该计算设备包括至少一个处理器和存储器，存储器用于 存储一组计算机指令；当处理器作为第一方面或第一方面任一种可能实现方式中的拍摄设备 执行所述一组计算机指令时，执行第一方面或第一方面任一种可能实现方式中的图像处理方 法的操作步骤。
第五方面，提供一种计算机可读存储介质，包括：计算机软件指令；当计算机软件指令 在计算设备中运行时，使得计算设备执行如第一方面或第一方面任意一种可能的实现方式中 所述方法的操作步骤。
第六方面，提供一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算 设备执行如第一方面或第一方面任意一种可能的实现方式中所述方法的操作步骤。
本申请在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现 方式。
附图说明
图1为本申请实施例提供的一种移轴畸变图像和矫正后图像的示意图；
图2为本申请实施例提供的一种移轴畸变矫正场景示意图；
图3为本申请实施例提供的一种拍摄设备的结构示意图；
图4为本申请实施例提供的一种图像处理方法的示意图；
图5为本申请实施例提供的一种元数据的结构示意图；
图6为本申请实施例提供的一种基于IMU信息和视场进行线段筛选的示意图；
图7为本申请实施例提供的一种线段筛选可视化的示意图；
图8为本申请实施例提供的另一种图像处理方法的示意图；
图9为本申请实施例提供的一种基于图像内容进行线段筛选的示意图；
图10为本申请实施例提供的一种基于视场和图像内容进行线段筛选的示意图；
图11为本申请实施例提供的另一种图像处理方法的示意图；
图12为本申请实施例提供的又一种图像处理方法的示意图；
图13为本申请实施例提供的一种线段选择界面示意图；
图14为本申请实施例提供的又一种图像处理方法的示意图；
图15为本申请实施例提供的一种图像处理的界面示意图；
图16为本申请实施例提供的另一种图像处理的界面示意图；
图17为本申请实施例提供的一种图像处理装置的结构示意图；
图18为本申请实施例提供的一种拍摄设备的结构示意图。
具体实施方式
本申请实施例提供一种图像处理方法，尤其是提供一种对图像进行移轴畸变矫正的方法， 即根据待处理图像的元数据从待处理图像包含的线段中筛选得到待矫正线段，该待矫正线段 可以是在实际场景中垂直线段和水平线段中至少一种在待处理图像中发生倾斜的线段，对待 矫线段以及待处理图像的特征区域进行矫正，使处理后图像中的线段更符合拍摄设备所拍摄 的实际场景中水平线段和垂直线段的分布特征。相对于对待处理图像进行整体矫正，针对待 处理图像中倾斜线段进行精准矫正，从而有效地提高了对图像进行移轴畸变矫正的精确度。
移轴畸变是指拍摄设备的成像平面相对所拍摄场景的目标平面在x轴、y轴和z轴中至 少一个上存在旋转，使得目标平面中原本的平行线在成像平面产生倾斜或者歪斜的现象。
示例地，如图1中的(a)所示，相机沿z轴旋转拍摄得到的图像，即水平倾斜拍摄得到的 图像，相对所拍摄场景中的水平线段和垂直线段，图像包含了水平倾斜线段和垂直倾斜线段。 如图1中的(b)所示，为移轴畸变矫正后图像，矫正了水平倾斜线段和垂直倾斜线段，使移轴 畸变矫正后图像更符合拍摄设备所拍摄的实际场景中水平线段和垂直线段的分布特征。如图 1中的(c)所示，相机沿x轴旋转拍摄得到的图像，即相机仰拍得到的图像，相对所拍摄场景 中的垂直线段，图像包含了垂直倾斜线段。如图1中的(d)所示，为移轴畸变矫正后图像，矫 正了垂直倾斜线段，使移轴畸变矫正后图像更符合拍摄设备所拍摄的实际场景中水平线段和 垂直线段的分布特征。
在本申请实施例中，执行图像移轴畸变矫正的设备具备较强的图像处理计算能力，该设 备可以是一个拍摄设备、服务器、云端设备或边缘设备(例如，携带具有处理能力芯片的盒 子)等。
例如，如图2中的(a)所示，拍摄设备从本地或云端获取到待处理图像，利用拍摄设备的 处理器(如：图形处理器(graphics processing unit，GPU))对待处理图像进行移轴畸变矫正。
又如，如图2中的(b)所示，拍摄设备上传待处理图像，由服务器、云端设备或边缘设备 对待处理图像进行移轴畸变矫正。
拍摄设备可以是一个集成化模组。拍摄设备包括相机、惯性测量组件(InertialMeasurement Unit，IMU)、通信模块和处理器。例如，拍摄设备可以是终端设备，如手机终端，平板电脑， 笔记本电脑，可穿戴设备，虚拟现实(virtual reality，VR)设备、增强现实(augmented reality， AR)设备、混合现实(Mixed Reality，MR)设备、扩展现实(ExtendedReality，ER)设备 和摄像头等。
下面以拍摄设备为智能终端为例进行说明。示例地，图3为本申请实施例提供的一种拍 摄设备的结构示意图。拍摄设备300包括处理器310，外部存储器接口320，内部存储器321， 通用串行总线(universal serial bus，USB)接口330，电源管理模块340，天线，无线通信模 块360，音频模块370，扬声器370A，音箱接口370B，麦克风370C，传感器模块380，按键 390，指示器391，显示屏392，以及摄像头393等。其中，上述传感器模块380可以包括压力传感器、陀螺仪传感器、气压传感器、磁传感器、加速度传感器、图像传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、触摸传感器和环境光传感器等传感器。图像传感器用于利用光电器件的光电转换功能将感光面上的光像转换为与光像成相应比例关系的 电信号。
可以理解的是，本实施例示意的结构并不构成对拍摄设备的具体限定。在另一些实施例 中，拍摄设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件， 或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器310可以包括一个或多个处理单元，例如：处理器310可以包括应用处理器(application processor，AP)，调制解调处理器，GPU，图像信号处理器(image signalprocessor， ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signalprocessor，DSP)，基 带处理器，和/或神经网络处理器(neural-network processingunit，NPU)等。其中，不同的 处理单元可以是独立的器件，也可以集成在一个或多个处理器中。NPU为神经网络 (neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间 传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现拍摄设备的智能 认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
在本实施例中，处理器310用于根据待处理图像的元数据确定的线段筛选策略，从待处 理图像包含的线段中筛选得到待矫正线段。线段筛选策略用于指示对待处理图像包含的线段 进行线段筛选的方法。待矫正线段包括待处理图像中具有倾斜特征的线段中至少一条。元数 据(metadata)又称中介数据或中继数据，为描述数据的数据(data aboutdata)，主要是描述 数据属性(property)的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等 功能。在本申请实施例中，元数据是嵌入到待处理图像文件中的一些标签，用于描述图像数 据属性的信息，比如镜头参数、曝光参数、传感器信息等。通常，相机在拍摄照片时图像文 件中自动添加元数据。例如，元数据包括惯性测量组件(InertialMeasurement Unit，IMU) 信息和视场。IMU信息包括但不仅限于三轴姿态角和加速度。视场表示摄像头能够观察到的 最大范围，通常以角度来表示视场。视场越大，观测范围越大。
在本申请实施例中，惯性测量组件包括陀螺仪传感器和加速度传感器。
陀螺仪传感器可以用于确定拍摄设备300的运动姿态。在一些实施例中，可以通过陀螺 仪传感器确定拍摄设备300围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器可以用于 拍摄防抖。示例性的，当按下快门，陀螺仪传感器检测拍摄设备300抖动的角度，根据角度 计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消拍摄设备300的抖动，实现防抖。 陀螺仪传感器还可以用于导航，体感游戏场景。
加速度传感器可检测拍摄设备300在各个方向上(一般为三轴)加速度的大小。当拍摄设 备300静止时可检测出重力的大小及方向。还可以用于识别拍摄设备姿态，应用于横竖屏切 换，计步器等应用。
控制器可以是拍摄设备的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号， 产生操作控制信号，完成取指令和执行指令的控制。
处理器310中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器310 中的存储器为高速缓冲存储器。该存储器可以保存处理器310刚用过或循环使用的指令或数 据。如果处理器310需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复 存取，减少了处理器310的等待时间，因而提高了系统的效率。
在一些实施例中，处理器310可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S) 接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，和/或USB接 口等。
电源管理模块340用于连接电源。电源管理模块340还可以与处理器310、内部存储器 321、显示屏392、摄像头393和无线通信模块360等连接。电源管理模块340接收电源的输入，为处理器310、内部存储器323、显示屏392、摄像头393和无线通信模块360等供电。 在一些实施例中，电源管理模块340也可以设置于处理器310中。
拍摄设备的无线通信功能可以通过天线和无线通信模块360等实现。其中，无线通信模 块360可以提供应用在拍摄设备上的包括无线局域网(wireless local areanetworks，WLAN) (如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统 (global navigation satellite system，GNSS)，调频(frequencymodulation，FM)，近距离无线 通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方 案。
无线通信模块360可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块 360经由天线接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器 310。无线通信模块360还可以从处理器310接收待发送的信号，对其进行调频，放大，经天 线转为电磁波辐射出去。在一些实施例中，拍摄设备的天线和无线通信模块360耦合，使得 拍摄设备可以通过无线通信技术与网络以及其他设备通信。
拍摄设备通过GPU，显示屏392，以及应用处理器等实现显示功能。GPU为图像处理的 微处理器，连接显示屏392和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器310可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏392用于显示图像，视频等。如本申请实施例中，显示屏392用于显示待处理图 像和处理后图像。该显示屏392包括显示面板。显示面板可以采用液晶显示屏(liquidcrystal display，LCD)，有机发光二极管(organic light-emitting diode，OLED)，有源矩阵有机发光 二极体或主动矩阵有机发光二极体(active-matrix organic lightemitting diode，AMOLED)，柔 性发光二极管(flex light-emitting diode，FLED)，Miniled，MicroLed，Micro-oLed，量子点 发光二极管(quantum dot light emittingdiodes，QLED)等。
拍摄设备可以通过ISP，摄像头393，视频编解码器，GPU，显示屏392以及应用处理器 等实现拍摄功能。ISP用于处理摄像头393反馈的数据。在一些实施例中，ISP可以设置在摄 像头393中。
摄像头393用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感 光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体 (complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成 电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加 工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例 中，拍摄设备可以包括1个或N个摄像头393，N为大于1的正整数。本申请实施例对摄像头393在拍摄设备上的位置不作限定。
或者，拍摄设备可以不包括摄像头，即上述摄像头393并未设置于拍摄设备(如电视机) 中。拍摄设备可以通过接口(如USB接口330)外接摄像头393。该外接的摄像头393可以 通过外部固定件(如带夹子的摄像头支架)固定在拍摄设备上。例如，外接的摄像头393可 以通过外部固定件，固定在拍摄设备的显示屏392的边缘处，如上侧边缘处。
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字 信号。例如，当拍摄设备在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。 视频编解码器用于对数字视频压缩或解压缩。拍摄设备可以支持一种或多种视频编解码器。 这样，拍摄设备可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。
外部存储器接口320可以用于连接外部存储卡，例如Micro SD卡，实现扩展拍摄设备的 存储能力。外部存储卡通过外部存储器接口320与处理器310通信，实现数据存储功能。例 如将音乐、视频、图像等文件保存在外部存储卡中。
内部存储器321可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。 处理器310通过运行存储在内部存储器321的指令，从而执行拍摄设备的各种功能应用以及 数据处理。内部存储器321可以包括存储程序区和存储数据区。其中，存储程序区可存储操 作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数 据区可存储拍摄设备使用过程中所创建的数据(比如音频数据等)等。此外，内部存储器321 可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件， 闪存器件，通用闪存存储器(universal flash storage，UFS)等。
拍摄设备可以通过音频模块370，扬声器370A，麦克风370C，音箱接口370B，以及应用处理器等实现音频功能。例如，音乐播放，录音等。在本申请中，麦克风370C可以用于 接收用户对拍摄设备发出的语音指令。扬声器370A可以用于向用户反馈拍摄设备的决策指令。
音频模块370用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转 换为数字音频信号。音频模块370还可以用于对音频信号编码和解码。在一些实施例中，音 频模块370可以设置于处理器310中，或将音频模块370的部分功能模块设置于处理器310 中。扬声器370A，也称“喇叭”，用于将音频电信号转换为声音信号。麦克风370C，也称“话 筒”，“传声器”，用于将声音信号转换为电信号。
音箱接口370B用于连接有线音箱。音箱接口370B可以是USB接口330，也可以是3.5mm 的开放移动拍摄设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信 工业协会(cellular telecommunications industry association of theUSA，CTIA)标准接口。
按键390包括开机键，音量键等。按键390可以是机械按键。也可以是触摸式按键。拍 摄设备可以接收按键输入，产生与拍摄设备的用户设置以及功能控制有关的键信号输入。
指示器391可以是指示灯，可以用于指示拍摄设备处于开机状态、待机状态或者关机状 态等。例如，指示灯灭灯，可指示拍摄设备处于关机状态；指示灯为绿色或者蓝色，可指示 拍摄设备处于开机状态；指示灯为红色，可指示拍摄设备处于待机状态。
可以理解的是，本申请实施例示意的结构并不构成对拍摄设备的具体限定。其可以具有 比图3中所示出的更多的或者更少的部件，可以组合两个或更多的部件，或者可以具有不同 的部件配置。例如，该拍摄设备还可以包括音箱等部件。图3中所示出的各种部件可以在包 括一个或多个信号处理或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
以下实施例中的方法均可以在具有上述硬件结构的拍摄设备中实现。以下实施例中以上 述拍摄设备是智能手机为例，对本申请实施例的方法进行说明。
接下来，结合图4至图16对本申请实施例提供的图像处理方法进行详细阐述。图4为本 申请实施例提供的一种图像处理方法的流程示意图。在这里以拍摄设备300对图像进行移轴 畸变矫正为例进行说明。如图4所示，该方法包括以下步骤。
步骤410、拍摄设备300获取待处理图像。
拍摄设备300可以通过摄像头进行实时拍摄，将拍摄获取到的图像作为待处理图像。拍 摄设备300还可以从存储器存储的图库中获取待处理图像。拍摄设备300还将从云端或其他 设备获取待处理图像。本申请实施例对待处理图像的来源不予限定。
拍摄设备300获取到的待处理图像可以是未经过编辑的实时拍摄图像或已经过编辑的图 像。例如，待处理图像已经过第三方图像应用编辑或已经过拍摄设备300携带的图像编辑算 法编辑。图像编辑包括裁剪、旋转、矫正等几何变换操作。
可选地，待处理图像也可以是经过预处理后的图像。预处理包括黑电平校正、降噪、自 动曝光、自动白平衡和图像变形等。
本申请实施例所述的待处理图像可以是由拍摄设备300发生倾斜(如：仰拍、俯拍或水 平倾斜)拍摄第一场景得到的。待处理图像包含第一场景中垂直线段和水平线段中至少一种。 例如，待处理图像包含第一场景中垂直线段和水平线段中至少一种在待处理图像中发生倾斜 的线段。第一场景中垂直线段在待处理图像中发生倾斜可以称为垂直倾斜线段。第一场景中 水平线段在待处理图像中发生倾斜可以称为水平倾斜线段。可理解的是，垂直倾斜线段可以 是指相对与地平线垂直的线段在垂直线段倾斜阈值内的倾斜线段。水平倾斜线段可以是指相 对与地平线平行的线段在水平线段倾斜阈值内的倾斜线段。垂直线段倾斜阈值和水平线段倾 斜阈值均可以是5°。
示例地，如图1中的(a)所示，相机水平倾斜拍摄得到的图像，图像包含了水平倾斜线段 和垂直倾斜线段。如图1中的(c)所示，相机仰拍得到的图像，建筑物顶端逐渐缩小，图像包 含了垂直倾斜线段。相反，相机俯拍得到的图像，建筑物底端逐渐缩小，图像包含了垂直倾 斜线段。
步骤420、拍摄设备300根据直线检测方法检测待处理图像中的线段。
直线检测方法可以是霍夫直线检测或LSD直线检测。拍摄设备300根据直线检测方法检 测待处理图像，得到待处理图像包含的M条线段，M为正整数。M条线段包含水平线段、垂直线段、水平倾斜线段和垂直倾斜线段中至少一种。
步骤430、拍摄设备300根据待处理图像的元数据包括的IMU信息和视场从待处理图像 包含的线段中筛选得到待矫正线段。
由于IMU信息和视场描述了拍摄待处理图像的拍摄设备300的属性信息，拍摄设备300 根据IMU信息和视场可以准确地定位需要矫正的线段，从待处理图像包含的线段中筛选待矫 正线段，对待矫正线段以及待处理图像的特征区域进行矫正，使处理后图像中的线段更符合 拍摄设备所拍摄的第一场景中水平线段和垂直线段的分布特征。示例地，如图5所示，元数 据包括原始数据和新增数据。原始数据包含了镜头参数和曝光参数。新增数据包含了IMU信 息和视场中至少一个。IMU信息可以是指拍摄待处理图像的设备的倾角，比如IMU信息包括 水平倾角和俯仰倾角。例如，待处理图像是由拍摄设备300拍摄得到的，IMU信息可以是拍 摄设备300的IMU信息。
图6所述的方法流程是对图4中步骤430所包括的具体操作过程的阐述，如图6所示。
步骤431、拍摄设备300根据IMU信息和视场对待处理图像包含的M条线段进行整体调 整得到调整后M条线段。
拍摄设备300根据直线检测方法检测待处理图像得到的M条线段并非均是第一场景中的 垂直线段或者水平线段，如果根据线段倾斜阈值对M条线段进行筛选，容易发生错误筛选。 例如人像、衣服等线段在实际场景中并非垂直线段或者水平线段。因此，拍摄设备300根据 IMU信息和视场对待处理图像包含的M条线段进行整体调整得到调整后M条线段，使调整 后M条线段符合第一场景的线段角度分布特征，即调整后M条线段更符合第一场景中垂直 线段特征和水平线段特征。
在一些实施例中，拍摄设备300对M条线段进行透视变换得到调整后M条线段，即透视变换后M条线段。
拍摄设备300基于直线检测方法检测得到待处理图像中的线段集合M表示线段 数目。线段li由起点坐标/>和终点坐标/>构成。拍摄设备300根据元数据 包含的俯仰倾角、水平倾角和视场，估算透视变换矩阵H，根据透视变换矩阵H对M条线段的起点坐标和终点坐标均进行透视变换运算后，得到透视变换后线段集合/>线段l′i的起点 坐标为/>和终点坐标分别为/>示例地，坐标(x,y)的透视变换如下公 式(1)。
其中，H表示透视变换矩阵。坐标(x,y)的透视变换坐标为x’＝U/W,y’＝V/W。
步骤432、拍摄设备300根据线段倾斜阈值从调整后M条线段中筛选得到N条待矫正线 段。
调整后M条线段中包含相对90°垂直线段倾斜角度大的线段、相对90°垂直线段倾斜角 度小的线段、相对0°水平线段倾斜角度大的线段和相对0°水平线段倾斜角度小的线段。倾斜 角度大的线段在第一场景中并非垂直线段或者水平线段，可能无需矫正，因此，拍摄设备300 可以根据线段倾斜阈值从调整后M条线段中筛选N条待矫正线段，N条待矫正线段更符合第 一场景的线段角度分布特征，从而对N条待矫正线段进行矫正，提高对待处理图像进行移轴 畸变矫正的精确度。N为正整数，N小于或等于M。可理解的是，N等于M，表示调整后M 条线段均为待矫正线段；N小于M，表示调整后M条线段中的部分线段为待矫正线段。线段 倾斜阈值包括水平线段倾斜阈值和垂直线段倾斜阈值。
在一些实施例中，拍摄设备300根据调整后M条线段中每条线段的起点坐标和终点坐标 计算线段角度，得到调整后M条线段的角度集合对于任一线段l′i，判断角度θ′i是否 属于水平线段倾斜阈值范围/>或垂直线段倾斜阈值范围即识 别角度θ′i是否接近90°或0°，筛选得到水平倾斜线段集合和垂直倾斜线段集合。其中，/>Δh和Δv的取值可以均小于5°。
示例地，如图7所示，为本申请实施例提供的一种线段筛选可视化示意图。如图7中的 (a)所示，为依据直线检测方法检测待处理图像得到的所有线段，包括的人像、衣服、椅子等 线段。如图7中的(b)所示，为经过透视变换后符合实际场景中真实角度分布的线段。如图7 中的(c)所示，为透视变换后线段的角度接近90°或0°筛选得到的待矫正线段。
应理解，待矫正线段包括第一场景中垂直线段和水平线段中至少一种在待处理图像中发 生倾斜的线段中部分线段或全部线段。例如，待处理图像包含发生移轴畸变的建筑物图像和 人像，待矫正线段包含建筑物中垂直线段和水平线段中至少一种在图像中发生倾斜的线段， 不包括人像中发生倾斜的线段，仅对建筑物图像中发生倾斜的线段进行矫正，以此保留人像 中大长腿的效果，使图像构图更美观。
步骤440、拍摄设备300对待矫正线段以及待处理图像的特征区域进行矫正，得到处理 后图像。
拍摄设备300对待处理图像的图像数据进行矫正，图像数据包含了待处理图像的像素。
例如，拍摄设备300可以对待处理图像分区域构建约束项，联合优化各约束项，获得全 局网格矫正位移，对待处理图像进行图像仿射变换，得到处理后图像。区域可以包括直线区 域、边缘区域、背景区域和人像区域。
直线约束对筛选得到待矫正线段包含的第一场景中垂直线段和水平线段构建横平竖直约 束。
基于内容的单应性约束对图像中具有丰富边缘纹理区域构建单应性约束。由于存在直线 漏检情况，对于漏检的直线未做横平竖直约束时，可能导致部分直线未进行矫正，因此约束 有丰富纹理区域的网格顶点集，根据单应性映射进行整体变换。基于内容的单应性约束可以 是背景区域的约束。单应性约束如下公式(2)。
其中，λH表示权重，0<λH<1.0。透视变换后的坐标向量(u,v)＝(U,V)/W，xi,j、yi,j表示 原始坐标，i、j指示第i行第j列对应的网格点。
人像约束根据人像所在位置构建人像区域的几何变换约束。比如约束人像区域的网格点 坐标满足球形变换关系，使得在矫正背景和人像的移轴畸变的基础上，优化人像的边缘拉伸 等透视畸变。例如，俯拍人像时，造成人像头身比例失调，即头部图像较大，腿部图像较短。 又如，仰拍人像时，造成人像头身比例失调，即头部图像较小，腿部图像较长。又如，超广 角拍摄人像时，造成在图像边缘人像的头部图像或身体图像拉伸畸变。根据人像畸变现象构 建人像约束，依据人像约束矫正人像图像中畸变。
边界约束用于约束视场边缘区域对应的像素点向外侧和内侧发生位移。为了减小视场损 失，约束图像上下左右边缘的像素点向外移动。边界约束如下公式(3)。
其中，H表示图像的长，W表示图像的宽。ui,j(ui,j<0或者ui,j>W)、vi,j(vi,j<0或者vi,j>H) 表示像素点位移后的x、y坐标，λB_in表示权重，0<λB_in<1.0。
另外，为了避免图像边缘纹理的拉伸，约束图像上下左右边缘的像素点向内移动。边界 约束如下公式(4)。
其中，ui,j(0<ui,j<W)、vi,j(0<vi,j<H)表示像素点位移后的x、y坐标，λB_out表示权重，0<λB_out<1.0。
形状和正则约束构建形状保持约束，避免图像纹理扭曲变形。网格点的变换满足局部相 似变换或保形变换约束。形状和正则约束可以是背景约束。形状和正则约束如下公式(5)。
其中，λS表示权重，0<λS<1.0。
使用有限差分计算二阶导数近似值并使用Frobenius范数给出平滑度约束。平滑度约束 可以是指形状和正则约束。平滑度约束如下公式(6)。
其中，λR表示权重，0<λR<1.0。
联合优化直线约束、内容形状保持(基于内容的单应性约束)约束、视场边界约束(边 界约束)、人像约束、形状和正则约束和平滑度约束等各项约束，矫正后图像更为合理美观， 视场保持更多。
从而，相对于对待处理图像进行整体矫正，针对待处理图像中线段进行精准矫正，从而 有效地提高了对图像进行移轴畸变矫正的精确度。
在另一些实施例中，拍摄设备300还可以根据元数据包含的内容制定线段筛选策略来筛 选待矫正线段。线段筛选策略用于指示对待处理图像包含的线段进行线段筛选的方法。从而， 根据元数据包含的内容适配不同的线段筛选策略来提升线段筛选的灵活性和精确度。
图8为本申请实施例提供的一种图像处理方法的流程示意图。在这里以拍摄设备300对 图像进行移轴畸变矫正为例进行说明。如图8所示，该方法包括以下步骤。
步骤810、拍摄设备300获取待处理图像。
步骤820、拍摄设备300根据直线检测方法检测待处理图像中的线段。
关于步骤810和步骤820的详细解释可以参考上述步骤410和步骤420的阐述，不予赘 述。
步骤830、拍摄设备300根据元数据确定的线段筛选策略，从待处理图像包含的线段中 筛选得到待矫正线段。
应理解，待矫正线段包括第一场景中垂直线段和水平线段中至少一种在待处理图像中发 生倾斜的线段中部分线段或全部线段。第一场景是指拍摄待处理图像时的场景。例如，待矫 正线段包括第一场景中垂直线段。又如，待矫正线段包括第一场景中水平线段。又如，待矫 正线段包括第一场景中垂直线段和水平线段。比如，待处理图像包含发生移轴畸变的建筑物 图像和人像，待矫正线段包含建筑物中垂直线段和水平线段中至少一种在图像中发生倾斜的 线段，不包括人像中发生倾斜的线段，仅对建筑物图像中发生倾斜的线段进行矫正，以此保 留人像中大长腿的效果，使图像构图更美观。
拍摄设备300可以根据元数据包含的不同内容确定不同的线段筛选策略。示例地，步骤 830包括步骤831至步骤834。
步骤831、拍摄设备300判断元数据是否包含IMU信息和视场。
若元数据包括IMU信息和视场，线段筛选策略指示基于IMU信息和视场进行线段筛选， 拍摄设备300执行步骤832，即拍摄设备300基于IMU信息和视场从待处理图像包含的线段 中筛选得到待矫正线段。关于拍摄设备300基于IMU信息和视场进行线段筛选的方案参考如 图6的详细阐述。
若元数据不包括视场，线段筛选策略指示基于待处理图像的图像内容进行线段筛选，拍 摄设备300执行步骤833，即拍摄设备300基于待处理图像的图像内容从待处理图像包含的 线段中筛选得到待矫正线段。图像内容包含线段角度分布特征。关于拍摄设备300基于待处 理图像的图像内容进行线段筛选的方案参考如下图9的详细阐述。
若元数据包括视场，且不包括IMU信息。线段筛选策略指示基于视场和待处理图像的图 像内容进行线段筛选，拍摄设备300执行步骤834，即拍摄设备300基于视场和待处理图像 的图像内容从待处理图像包含的线段中筛选得到待矫正线段。关于拍摄设备300基于视场和 待处理图像的图像内容进行线段筛选的方案参考如下图10的详细阐述。
图9为本申请实施例提供的一种基于图像内容的线段筛选方法示意图。
拍摄设备300可以根据线段筛选模型筛选M条线段中水平倾斜线段和垂直倾斜线段。例 如，将待处理图像和M条线段标识输入线段筛选模型，得到水平倾斜线段集合和垂直倾斜线 段集合。
在另一些实施例中，拍摄设备300可以根据消失点检测方法检测M条线段中垂直倾斜线 段和水平倾斜线段。如下步骤910至步骤920。
步骤910、拍摄设备300根据M条线段的角度进行初筛得到初筛垂直倾斜线段集合。
拍摄设备300判断M条线段中每条线段的角度是否在垂直线段倾斜阈值范围(如 [-75°,75°])内，若条线段的角度在垂直线段倾斜阈值范围内，表示该线段的角度接近90°， 若条线段的角度不在垂直线段倾斜阈值范围内，表示该线段的角度远离90°，得到初步筛选出 可能的初筛垂直倾斜线段集合/>K条线段如下公式(7)所示。
步骤920、拍摄设备300根据消失点检测方法从初筛垂直倾斜线段集合中筛选得到垂直 倾斜线段集合。
垂直倾斜线段集合中的线段会相交于某点，联立上述公式(2)中K个方程，利用奇异值分 解(singular value decomposition，SVD)分解法求解方程，得到垂直线段的消失点(xvanish，yvanish)。消失点是指平行线条的交点，仰视或者仰拍两条垂直平行线时，它们会相交于很远 的某一点，即消失点，也称灭点。然后，拍摄设备300计算垂直线段的消失点到K条初筛线 段的距离判断距离是否小于距离阈值dthresh，若距离小于距离阈值，表示线段的角度 接近90°，确定该线段为垂直倾斜线段，若距离大于或等于距离阈值，表示线段的角度远离 90°，确定该线段不是垂直倾斜线段，从而筛选出最终的垂直倾斜线段。可理解的是，如果第 一场景中的垂直线段在图像中发生倾斜，该垂直线段经过消失点，因此，距离阈值dthresh设 置为较小值，如图像分辨率为4000*3000时，距离阈值可以设置为5。图像分辨率增大时， 距离阈值也等比增大。
基于视场和图像内容的线段筛选方案相对于基于图像内容线段筛选方案的区别在于，可 根据视场适配不同视场大小对应的垂直倾斜阈值范围。因为，在同一垂直倾角和水平倾角下， 不同的视场下，图像中的垂直线段的倾斜角度范围不同。视场越大，图像边缘的垂直线段的 倾斜度越大。示例地，如图10所示，虚线框内容的第一视场小于实现框内容的第二视场，线 段L1、线段L2、线段L3和线段L4在实际场景中相互平行且垂直地面，但由于仰拍导致4 条垂直线段发生倾斜，且同样的拍摄仰拍角度下，L3和L4的倾斜角度大于L1和L2的倾斜 角度。因此，根据视场适配不同视场大小对应的垂直线段倾斜阈值范围，提升初筛线段的精 确度。拍摄设备300可以线性适配视场对应的垂直线段倾斜阈值范围。视场越大，垂直线段 倾斜阈值范围越大。
步骤840、拍摄设备300对待矫正线段以及待处理图像的特征区域进行矫正，得到处理 后图像。
关于步骤840的详细解释可以参考上述步骤440的阐述，不予赘述。
从而，拍摄设备300根据元数据包含的内容适配不同的线段筛选策略，提升对待处理图 像包含的线段进行线段筛选的灵活性和精确度。
本申请实施例所述的待处理图像可以是经过第三方图像应用编辑的图像，则拍摄图像时 所采集的IMU信息和视场无法准确描述图像。在一些实施例中，元数据还可以包括可信标识 和编辑标识中至少一个。可信标识用于指示元数据是否可信。示例地，可信标识的取值为1， 表示元数据不可信；可信标识的取值为0，表示元数据可信。可信标识可以由前端IMU模组 提供。可选地，若待处理图像经过了第三方图像应用的裁剪/旋转/矫正等几何变换的编辑操作， 则认为IMU信息和视场不可信。编辑标识用于指示待处理图像是否经过图像应用处理。
如图11所示，拍摄设备300执行步骤831之前，还可以执行步骤850，即判断元数据是 否可信。判断元数据是否可信也可以替换为判断待处理图像是否经过图像应用处理。
若可信标识指示元数据不可信，或经过图像应用处理，执行步骤833，即基于待处理图 像的图像内容从待处理图像包含的线段中筛选得到待矫正线段。
若可信标识指示元数据可信，或未经过图像应用处理，执行步骤832，即基于IMU信息 和视场从待处理图像包含的线段中筛选得到待矫正线段；或者，执行步骤834，即基于视场 和待处理图像的图像内容从待处理图像包含的线段中筛选得到待矫正线段。
如此，在根据IMU信息和视场进行线段筛选之前，先预判IMU信息和视场是否可信，根据IMU信息和视场的可信程度，确定进行线段筛选的线段筛选策略，从而提升线段筛选的速率，提高对图像中畸变线段进行矫正的精确度。
为了进一步提升基于图像内容的线段筛选结果，本申请实施例提供了用户交互的直线推 荐策略。示例地，如图12所示，拍摄设备300执行步骤833或步骤834之后，还可以执行步 骤860，即提示用户从基于待处理图像的图像内容筛选得到的推荐线段中选择待矫正线段。 一种示例地，关于步骤860可以包含以下详细步骤。
步骤861、拍摄设备300判断水平方向是否被稳定识别。
若水平方向未被稳定识别，执行步骤862，即界面显示推荐水平线段。若用户不对推荐 水平线段进行选择，则执行步骤863，提示用户手动画出需要矫正的水平倾斜线段。
若水平方向被稳定识别，执行步骤864，即判断垂直方向是否被稳定识别，输出水平倾 斜线段。
若垂直方向未被稳定识别，执行步骤865，即界面显示推荐垂直线段。若用户不对推荐 垂直线段进行选择，则执行步骤866，提示用户手动画出需要矫正的垂直倾斜线段。
若垂直方向被稳定识别，输出垂直倾斜线段。
若拍摄设备300确定水平方向和垂直方向均被稳定识别，则执行步骤840，即拍摄设备 300对基于图像内容进行线段筛选得到的矫正线段进行矫正以及待处理图像的特征区域进行 矫正，得到处理后图像。若拍摄设备300确定水平方向和垂直方向均未被稳定识别，在界面 中高亮显示推荐的水平倾斜线段或垂直倾斜线段，识别到用户选择的线段，则对用户选择的 线段进行矫正。
可选地，拍摄设备300可以根据基于图像内容待进行线段筛选得到的垂直线段和水平线 段的数量和分布判断是否被稳定识别。例如，当筛选得到的线段数目过少，或者线段分布较 为混乱时，可认为未被稳定识别。
示例地，如图13所示，为本申请实施例提供的一种线段选择界面示意图。如图13中的 (a)所示，为拍摄设备300确定水平方向或垂直方向未被稳定识别，界面显示推荐线段。如图 13中的(b)所示，为拍摄设备300确定水平方向或垂直方向未被稳定识别，用户未对推荐线段 进行选择，界面提示用户手动画出需要矫正的倾斜线段。
在另一种可能的实现方式中，拍摄设备300基于两个不同的线段筛选策略对待处理图像 进行筛选时，无需执行上述图8所述的根据元数据确定线段筛选策略的过程，即无需执行步 骤830的过程，即拍摄设备300根据两种不同的线段筛选策略对待处理图像进行筛选，将两 种方式筛选的线段集合取交集或并集，确定最终的待矫正线段。示例地，拍摄设备300根据 基于IMU信息和视场筛选的线段和基于图像内容筛选的线段确定待矫正线段。该实施例与上 述实施例的区别在于，拍摄设备300根据基于IMU信息和视场筛选线段的基础上，增加基于 图像内容识别需要矫正的线段来提升移轴畸变矫正精确度。比如，基于IMU信息和视场进行 线段筛选得到线段集合LC1，基于图像内容进行线段筛选得到线段集合LC2，通过求解LC1 和LC2的交集或者并集来得到最终的待矫正线段集合LC。如此，进一步地提高基于IMU信 息和视场进行线段筛选的精确度，以及提高了对图像进行移轴畸变矫正的精确度。
需要说明的是，对图像中倾斜线段的矫正的必要程度与被摄物体和用户意图相关。当拍 摄主体为强规则直线场景，比如建筑构造、水平线、地平线、海报、窗框、门框、橱柜等时， 倾斜矫正的必要性通常较高，而当拍摄主体为植物、动物、食物、面部、天空等非强规则直 线场景时，倾斜矫正的必要性往往较低。另外，图像包含较多的倾斜线段往往与用户意图有 关，比如当拍摄主体为仰拍人像，或者拍摄倾斜角度过大时，往往是用户的构图意图。
在另一种可能的实现方式中，拍摄设备300执行步骤840，即对待矫正线段进行矫正之 前，拍摄设备300还可以分析用户行为，自适应选择是否矫正筛选得到的垂直倾斜线段和水 平倾斜线段。示例地，如图14所示。
步骤870、拍摄设备300判断待矫正线段的数量是否大于数量阈值，且待矫正线段的长 度是否大于长度阈值。
若待矫正线段的数量大于数量阈值，且待矫正线段的长度大于长度阈值，表示的第一场 景为强规则直线场景，则执行步骤840，即对待矫正线段进行矫正，得到处理后图像。
若待矫正线段的数量小于或等于数量阈值，或待矫正线段的长度小于或等于长度阈值， 表示第一场景为非强规则直线场景，则不进行自动矫正，执行步骤880。
步骤880、拍摄设备300根据第一场景的场景特征确定是否对待矫正线段进行矫正。
场景特征包含建筑特征和人物特征。拍摄设备300可以根据不同的场景特征确定不同的 水平线段倾斜阈值和垂直线段倾斜阈值。拍摄设备300判断水平倾斜线段的倾角是否在水平 线段倾斜阈值范围内，若水平倾斜线段的倾角在水平线段倾斜阈值范围内，对水平倾斜线段 进行矫正。拍摄设备300还可以判断垂直倾斜线段的倾角是否在垂直线段倾斜阈值范围内， 若垂直倾斜线段的倾角在垂直线段倾斜阈值范围内，对垂直倾斜线段进行矫正。
例如，待处理图像包含仰拍人像图像和仰拍建筑物图像。如果对人像中垂直倾斜线段进 行矫正后可能会破坏“大长腿”效果，可对水平倾斜线段进行矫正，以及建筑物中垂直倾斜 线段和水平倾斜线段进行矫正，不对人像图像中的垂直倾斜线段进行矫正。当水平倾角和俯 仰倾角过大时，通常是用户有意为之，则不对图像中垂直倾斜线段和水平倾斜线段进行矫正。 比如，拍摄设备300对相对90°和0°偏移25°范围内的线段进行矫正。
如此，对图像中倾斜线段进行矫正时，充分参考场景特征和用户意图，使得矫正后图像 更符合实际场景中线段的分布特征，有效地提高了对图像进行移轴畸变矫正的精确度。
本申请实施例结合图像的元数据、图像内容分析结果以及用户交互的直线推荐策略，进 行倾斜线段筛选，联合优化各项约束，获得矫正水平倾角和俯仰倾角导致的垂直倾斜和水平 倾角带来的水平歪斜的全局位移，并结合直线检测结果和用户行为分析，自适应进行不同程 度的移轴畸变矫正，有效地提高了对图像进行移轴畸变矫正的精确度。
下面对图像进行移轴畸变矫正的界面操作进行举例说明。
图15为本申请实施例提供的一种图像处理的界面示意图。如图15中的(a)所示，为本 申请实施例提供的智能手机的正面示意图。智能手机的显示屏上显示有相册应用(application， APP)图标1501，用户可以点击相册应用图标1501。智能手机包含的触摸传感器接收到触摸 操作，上报给处理器，使得处理器响应于上述触摸操作，启动相册应用。此外，本申请实施 例中还可以通过其它方式使得智能手机启动相册应用，并在显示屏上显示相册应用的用户界 面。例如，智能手机当黑屏、显示锁屏界面或者解锁后显示某一用户界面时，可以响应于用 户的语音指令或者快捷操作等，启动相册应用，并在显示屏上显示相册应用的用户界面。如 图15中的(b)所示，智能手机响应于点击操作，智能手机的显示屏显示相册应用的用户界 面，用户界面包括不同时间拍摄的照片，以及照片搜索框。用户可以选择倾斜拍摄的移轴畸 变照片1502，对移轴畸变照片1502进行移轴畸变矫正。如图15中的(c)所示，智能手机 响应于点击操作，智能手机的显示屏显示移轴畸变照片1502，以及照片的编辑功能按钮，例 如“发送”功能按钮、“编辑”功能按钮、“收藏”功能按钮、“删除”功能按钮和“更多”功 能按钮。用户可以点击“编辑”功能按钮1503，智能手机的显示屏显示“编辑”功能的功能 选项。如图15中的(d)所示，智能手机响应于点击操作，智能手机的显示屏显示“编辑” 功能的功能选项。“编辑”功能的功能选项包括智能、修剪、滤镜和调节等。用户可以点击“智 能”选项按钮1504，智能手机的显示屏显示“智能”选项的多个功能选项。例如，“智能” 选项包括自动优化、反光消除、增亮、除雾和建筑矫正等。如图15中的(e)所示，智能手机响应于点击操作，智能手机的显示屏还可以显示“智能”选项包括的“移轴畸变”功能选项、“水平矫正”功能选项和“垂直矫正”功能选项等。用户可以点击“移轴畸变”功能选项1505。智能手机对移轴畸变照片1502进行移轴畸变矫正。如图15中的(f)所示，智能手机 响应于点击操作，显示屏显示对移轴畸变照片1502进行移轴畸变矫正后照片1506。智能手 机对移轴畸变照片1502进行移轴畸变矫正的具体方法可以参考上述实施例的阐述，不予赘述。
在另一些实施例中，拍摄设备也可以在拍摄照片后根据用户的移轴畸变操作对移轴畸变 图像进行矫正。示例地，图16为本申请实施例提供的另一种图像处理的界面示意图。如图 16中的(a)所示，为本申请实施例提供的智能手机的正面示意图。智能手机的显示屏上显 示有相机应用(application，APP)图标1601，用户可以点击相机应用图标1601。智能手机 包含的触摸传感器接收到触摸操作，上报给处理器，使得处理器响应于上述触摸操作，启动 相机应用。此外，本申请实施例中还可以通过其它方式使得智能手机启动相机应用，并在显 示屏上显示相机应用的用户界面。例如，智能手机当黑屏、显示锁屏界面或者解锁后显示某 一用户界面时，可以响应于用户的语音指令或者快捷操作等，启动相机应用，并在显示屏上 显示相机应用的用户界面。如图16中的(b)所示，智能手机响应于点击操作，智能手机的 显示屏显示相机应用的用户界面，用户界面包括“小视频”、“录像”、“拍照”、“人像”、“全 景”等模式选项，“预览图像”功能按钮、“拍照”功能按钮和“前后摄像头转换”功能按钮。 用户可以先选择“拍照”模式1602，再点击“拍照”功能按钮1603，智能手机响应于点击操 作，自动开启摄像头，摄像头获取场景的仰拍图像。进而，如图16中的(c)所示，用户可 以点击“预览图像”功能按钮1604，查看拍摄的包含目标主体的图像，即移轴畸变照片1605。 如图16中的(d)所示，智能手机响应于点击操作，智能手机的显示屏显示移轴畸变照片1605， 以及照片的编辑功能按钮，例如“发送”功能按钮、“编辑”功能按钮、“收藏”功能按钮、 “删除”功能按钮和“更多”功能按钮。用户可以点击“编辑”功能按钮1606，智能手机的显示屏显示“编辑”功能的功能选项。如图16中的(e)所示，智能手机响应于点击操作， 智能手机的显示屏显示“编辑”功能的功能选项。“编辑”功能的功能选项包括智能、修剪、 滤镜和调节等用户可以点击“智能”选项按钮1607，智能手机的显示屏显示“智能”选项的 多个功能选项。例如，“智能”选项包括自动优化、反光消除、增亮、除雾和建筑矫正等。如 图16中的(f)所示，智能手机响应于点击操作，智能手机的显示屏还可以显示“智能”选 项包括的“移轴畸变”功能选项、“水平矫正”功能选项和“垂直矫正”功能选项等。用户可 以点击“移轴畸变”功能选项1608。智能手机对移轴畸变照片1605进行移轴畸变矫正。如 图16中的(g)所示，智能手机响应于点击操作，显示屏显示对移轴畸变照片1605进行移轴 畸变矫正后照片1609。智能手机对移轴畸变照片1605进行移轴畸变矫正的具体方法可以参 考上述实施例的阐述，不予赘述。
在另一些实施例中，拍摄设备也可以在拍摄照片后，拍摄设备自动对图像进行移轴畸变 矫正。例如，如图16中的(b)所示，智能手机响应于点击操作，智能手机的显示屏显示相 机应用的用户界面，智能手机响应于点击“拍照”功能按钮1603操作，自动开启摄像头，摄 像头获取场景的仰拍图像，并对仰拍的移轴畸变照片1605进行移轴畸变矫正，得到轴畸变矫 正后照片1609，如图16中的(g)所示，智能手机的显示屏显示对移轴畸变照片1605进行 移轴畸变矫正后照片1609。省去了图16中的(c)至(f)的步骤，提高了用户使用智能手机 的用户体验。
需要说明的是，本申请实施例对“移轴畸变”功能选项、“水平矫正”功能选项和“垂直 矫正”功能选项的显示方式不予限定。拍摄设备的显示屏显示的各功能选项也可以称为控件 或功能控件。
可以理解的是，为了实现上述实施例中的功能，拍摄设备包括了执行各个功能相应的硬 件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本申请中所公开的实施例描 述的各示例的单元及方法步骤，本申请能够以硬件或硬件和计算机软件相结合的形式来实现。 某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用场 景和设计约束条件。
上文中结合图1至图16，详细描述了根据本实施例所提供的图像处理方法，下面将结合 图17，描述根据本实施例所提供的图像处理装置。
图17为本实施例提供的可能的图像处理装置的结构示意图。这些图像处理装置可以用于 实现上述方法实施例中拍摄设备的功能，因此也能实现上述方法实施例所具备的有益效果。 在本实施例中，该图像处理装置可以是如图3所示的拍摄设备300，还可以是应用于服务器 的模块(如芯片)。
如图17所示，图像处理装置1700包括通信模块1710、线段筛选模块1720、矫正模块1730和存储模块1740。图像处理装置1700用于实现上述图4、图6、图8、图11、图12和 图14中所示的方法实施例中拍摄设备300的功能。
通信模块1710用于获取待处理图像，所述待处理图像包含第一场景中垂直线段和水平线 段中至少一种，所述第一场景为拍摄设备获取所述待处理图像的场景。例如，通信模块1710 用于执行步骤410。又如，通信模块1710用于执行步骤810。
线段筛选模块1720，用于根据所述待处理图像的元数据从所述待处理图像包含的线段中 筛选得到待矫正线段，所述元数据包括所述拍摄设备的惯性测量组件IMU信息和视场中至少 一个。例如，线段筛选模块1720用于执行步骤420和步骤430。又如，线段筛选模块1720 用于执行步骤820、步骤830、步骤850、步骤860、步骤870和步骤880。
矫正模块1730，用于对所述待矫正线段以及所述待处理图像的特征区域进行矫正，得到 处理后图像，所述特征区域包括背景区域、人像区域和边缘区域。例如，矫正模块1730用于 执行步骤440。又如，矫正模块1730用于执行步骤840。
可选地，图像处理装置1700可以将处理后图像上传到服务器或边缘设备或云端设备或存 储在本地存储器中。
存储模块1740用于存储元数据，元数据指示了待处理图像的属性信息，例如，IMU信 息和视场，以便于根据待处理图像的元数据确定的线段筛选策略。
可选地，图像处理装置1700还可以包括显示模块1750，显示模块1750用于显示待处理 图像和处理后图像。
应理解的是，本申请实施例的图像处理装置1700可以通过专用集成电路(application-specific integrated circuit，ASIC)实现，或可编程逻辑器件(programmable logic device，PLD)实现，上述PLD可以是复杂程序逻辑器件(complexprogrammable logical device， CPLD)，现场可编程门阵列(field-programmable gatearray，FPGA)，通用阵列逻辑(generic array logic，GAL)或其任意组合。也可以通过软件实现图4、图6、图8、图11、图12和图 14所示的图像处理方法时，图像处理装置1700及其各个模块也可以为软件模块，图像处理 装置1700及其各个模块也可以为软件模块。
根据本申请实施例的图像处理装置1700可对应于执行本申请实施例中描述的方法，并且 图像处理装置1700中的各个单元的上述和其它操作和/或功能分别为了实现图4、图6、图8、 图11、图12和图14中的各个方法的相应流程，为了简洁，在此不再赘述。
图18为本实施例提供的一种拍摄设备1800的结构示意图。如图所示，拍摄设备1800包 括处理器1810、总线1820、存储器1830、通信接口1840、内存单元1850(也可以称为主存(main memory)单元)和摄像头1860。可选地，拍摄设备1800还可以包含显示器1870，显示器1870用于显示待处理图像和处理后图像。处理器1810、存储器1830、内存单元1850、 通信接口1840、摄像头1860和显示器1870通过总线1820相连。
应理解，在本实施例中，处理器1810可以是CPU，该处理器1810还可以是其他通用处 理器、数字信号处理器(digital signal processing，DSP)、ASIC、FPGA或者其他可编程逻辑 器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任 何常规的处理器等。
处理器还可以是图形处理器(graphics processing unit，GPU)、神经网络处理器(neural network processing unit，NPU)、微处理器、ASIC、或一个或多个用于控制本申请方案程序执 行的集成电路。
通信接口1840用于实现拍摄设备1800与外部设备或器件的通信。在本实施例中，拍摄 设备1800用于实现图4、图6、图8、图11、图12和图14所示的拍摄设备300的功能时， 通信接口1840用于接收待处理图像。
总线1820可以包括一通路，用于在上述组件(如处理器1810、内存单元1850和存储器 1830)之间传送信息。总线1820除包括数据总线之外，还可以包括电源总线、控制总线和状 态信号总线等。但是为了清楚说明起见，在图中将各种总线都标为总线1820。总线1820可 以是快捷外围部件互连标准(Peripheral Component Interconnect Express，PCIe)总线，或扩展 工业标准结构(extended industry standard architecture，EISA)总线、统一总线(unified bus， Ubus或UB)、计算机快速链接(compute express link，CXL)、缓存一致互联协议(cache coherent interconnect for accelerators，CCIX)等。总线1820可以分为地址总线、数据总线、控制总线 等。
作为一个示例，拍摄设备1800可以包括多个处理器。处理器可以是一个多核(multi-CPU) 处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序 指令)的计算单元。在本实施例中，拍摄设备1800用于实现图4、图6、图8、图11、图12 和图14所示的拍摄设备300的功能时，处理器1810可以调用存储器1830存储的元数据，根 据待处理图像的元数据包含的IMU信息和视场中至少一个从待处理图像包含的线段中筛选 得到待矫正线段，对待矫正线段以及待处理图像的特征区域包括背景区域、人像区域和边缘 区域进行矫正，得到处理后图像。
值得说明的是，图18中仅以拍摄设备1800包括1个处理器1810和1个存储器1830为例，此处，处理器1810和存储器1830分别用于指示一类器件或设备，具体实施例中，可以 根据业务需求确定每种类型的器件或设备的数量。
内存单元1850可以对应上述方法实施例中用于存储元数据等信息的存储介质。内存单元 1850可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中， 非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器 (programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态 随机存取存储器(DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双 倍数据速率同步动态随机存取存储器(double data date SDRAM，DDR SDRAM)、增强型同 步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。
存储器1830可以对应上述方法实施例中用于存储计算机指令等信息的存储介质，例如， 磁盘，如机械硬盘或固态硬盘。
上述拍摄设备1800可以是一个通用设备或者是一个专用设备。例如，拍摄设备1800可 以是边缘设备(例如，携带具有处理能力芯片的盒子)等。可选地，拍摄设备1800也可以是 服务器或其他具有计算能力的设备。
应理解，根据本实施例的拍摄设备1800可对应于本实施例中的图像处理装置1700，并 可以对应于执行根据图4、图6、图8、图11、图12和图14中任一方法中的相应主体，并且 图像处理装置1700中的各个模块的上述和其它操作和/或功能分别为了实现图4、图6、图8、 图11、图12和图14中的各个方法的相应流程，为了简洁，在此不再赘述。
本实施例中的方法步骤可以通过硬件的方式来实现，也可以由处理器执行软件指令的方 式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器 (random access memory，RAM)、闪存、只读存储器(read-only memory，ROM)、可编程只 读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、 电可擦除可编程只读存储器(electrically EPROM，EEPROM)、寄存器、硬盘、移动硬盘、 CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理 器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介 质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位 于拍摄设备中。当然，处理器和存储介质也可以作为分立组件存在于拍摄设备中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当 使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包 括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时，全部或 部分地执行本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、 计算机网络、网络设备、用户设备或者其它可编程装置。所述计算机程序或指令可以存储在 计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输， 例如，所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或 无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介 质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中 心等数据存储设备。所述可用介质可以是磁性介质，例如，软盘、硬盘、磁带；也可以是光 介质，例如，数字视频光盘(digital video disc，DVD)；还可以是半导体介质，例如，固态硬 盘(solid state drive，SSD)。以上所述，仅为本申请的具体实施方式，但本申请的保护范围 并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各 种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的 保护范围应以权利要求的保护范围为准。

Claims (28)

1.一种图像处理方法，其特征在于，包括：
获取待处理图像，所述待处理图像包含第一场景中垂直线段和水平线段中至少一种，所述第一场景为拍摄设备获取所述待处理图像的场景；
根据所述待处理图像的元数据从所述待处理图像包含的线段中筛选得到待矫正线段，所述元数据包括所述拍摄设备的惯性测量组件IMU信息和视场中至少一个；
对所述待矫正线段以及所述待处理图像的特征区域进行矫正，得到处理后图像，所述特征区域包括背景区域、人像区域和边缘区域。
2.根据权利要求1所述的方法，其特征在于，所述待处理图像包含所述第一场景中垂直线段和水平线段中至少一种在所述待处理图像中发生倾斜的线段。
3.根据权利要求2所述的方法，其特征在于，所述待矫正线段包括所述第一场景中垂直线段和水平线段中至少一种在所述待处理图像中发生倾斜的线段中部分线段或全部线段。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述拍摄设备显示移轴畸变控件，根据所述待处理图像的元数据从所述待处理图像包含的线段中筛选得到待矫正线段之前，所述方法还包括：
接收用户对所述移轴畸变控件的操作。
5.根据权利要求1-4中任一项所述的方法，其特征在于，根据所述待处理图像的元数据从所述待处理图像包含的线段中筛选得到待矫正线段，包括：
根据所述元数据确定的线段筛选策略，从所述待处理图像包含的线段中筛选得到待矫正线段，所述线段筛选策略用于指示对所述待处理图像包含的线段进行线段筛选的方法。
6.根据权利要求5所述的方法，其特征在于，所述元数据包括所述IMU信息和所述视场；所述线段筛选策略用于指示基于所述IMU信息和所述视场进行线段筛选；
根据所述元数据确定的线段筛选策略，从所述待处理图像包含的线段中筛选得到待矫正线段，包括：
根据所述IMU信息和所述视场对所述待处理图像包含的M条线段进行整体调整得到调整后M条线段，所述调整后M条线段符合所述第一场景的线段角度分布特征；
根据线段倾斜阈值从所述调整后M条线段中筛选得到N条待矫正线段，所述线段倾斜阈值包括水平线段倾斜阈值和垂直线段倾斜阈值，M和N均为正整数，N小于或等于M。
7.根据权利要求5所述的方法，其特征在于，所述元数据不包括所述视场，根据所述元数据确定的线段筛选策略，从所述待处理图像包含的线段中筛选得到待矫正线段，包括：
基于所述待处理图像的图像内容从所述待处理图像包含的线段中筛选得到所述待矫正线段，所述图像内容包含线段角度分布特征。
8.根据权利要求5所述的方法，其特征在于，所述元数据包括所述视场，且不包括所述IMU信息，根据所述元数据确定的线段筛选策略，从所述待处理图像包含的线段中筛选得到待矫正线段，包括：
基于所述视场和所述待处理图像的图像内容从所述待处理图像包含的线段中筛选得到所述待矫正线段，所述图像内容包含线段角度分布特征。
9.根据权利要求7或8所述的方法，其特征在于，所述方法还包括：
提示用户从基于所述待处理图像的图像内容筛选得到的推荐线段中选择待矫正线段。
10.根据权利要求5-8中任一项所述的方法，其特征在于，所述元数据还包括可信标识，所述可信标识用于指示所述元数据是否可信；根据所述元数据确定的线段筛选策略，从所述待处理图像包含的线段中筛选得到待矫正线段，包括：
若所述可信标识指示所述元数据不可信，基于所述待处理图像的图像内容从所述待处理图像包含的线段中筛选得到所述待矫正线段，所述图像内容包含线段角度分布特征；
若所述可信标识指示所述元数据可信，基于所述待处理图像的图像内容、所述IMU信息和所述视场中至少一个从所述待处理图像包含的线段中筛选得到所述待矫正线段。
11.根据权利要求1-4中任一项所述的方法，其特征在于，根据所述待处理图像的元数据从所述待处理图像包含的线段中筛选得到待矫正线段，包括：
根据基于所述元数据筛选的线段和基于图像内容筛选的线段确定所述待矫正线段。
12.根据权利要求1-11中任一项所述的方法，其特征在于，对所述待矫正线段以及所述待处理图像的特征区域进行矫正，得到处理后图像，包括：
判断所述待矫正线段的数量是否大于数量阈值，且所述待矫正线段的长度是否大于长度阈值；
若所述待矫正线段的数量大于所述数量阈值，且所述待矫正线段的长度大于所述长度阈值，对所述待矫正线段进行矫正，得到所述处理后图像；
若所述待矫正线段的数量小于或等于所述数量阈值，或所述待矫正线段的长度小于或等于所述长度阈值，根据第一场景的场景特征确定是否对所述待矫正线段进行矫正，所述场景特征包含建筑特征和人物特征。
13.根据权利要求1-12中任一项所述的方法，其特征在于，对所述待矫正线段以及所述待处理图像的特征区域进行矫正，得到处理后图像，包括：
构建直线约束对所述待矫正线段进行矫正；构建基于内容的单应性约束和形状和正则约束对背景区域进行矫正；构建人像约束对人像区域进行矫正；构建边界约束对边缘区域进行矫正，以得到所述处理后图像。
14.一种图像处理装置，其特征在于，包括：
通信模块，用于获取待处理图像，所述待处理图像包含第一场景中垂直线段和水平线段中至少一种，所述第一场景为拍摄设备获取所述待处理图像的场景；
线段筛选模块，用于根据所述待处理图像的元数据从所述待处理图像包含的线段中筛选得到待矫正线段，所述元数据包括所述拍摄设备的惯性测量组件IMU信息和视场中至少一个；
矫正模块，用于对所述待矫正线段以及所述待处理图像的特征区域进行矫正，得到处理后图像，所述特征区域包括背景区域、人像区域和边缘区域。
15.根据权利要求14所述的装置，其特征在于，所述待处理图像包含所述第一场景中垂直线段和水平线段中至少一种在所述待处理图像中发生倾斜的线段。
16.根据权利要求15所述的装置，其特征在于，所述待矫正线段包括所述第一场景中垂直线段和水平线段中至少一种在所述待处理图像中发生倾斜的线段中部分线段或全部线段。
17.根据权利要求14-16中任一项所述的装置，其特征在于，所述装置还包括显示模块；
所述显示模块，用于显示移轴畸变控件，以及接收用户对所述移轴畸变控件的操作。
18.根据权利要求14-17中任一项所述的装置，其特征在于，所述线段筛选模块根据所述待处理图像的元数据从所述待处理图像包含的线段中筛选得到待矫正线段时，具体用于：
根据所述元数据确定的线段筛选策略，从所述待处理图像包含的线段中筛选得到待矫正线段，所述线段筛选策略用于指示对所述待处理图像包含的线段进行线段筛选的方法。
19.根据权利要求18所述的装置，其特征在于，所述元数据包括所述IMU信息和所述视场；所述线段筛选策略用于指示基于所述IMU信息和所述视场进行线段筛选；
所述线段筛选模块根据所述元数据确定的线段筛选策略，从所述待处理图像包含的线段中筛选得到待矫正线段时，具体用于：
根据所述IMU信息和所述视场对所述待处理图像包含的M条线段进行整体调整得到调整后M条线段，所述调整后M条线段符合第一场景的线段角度分布特征；
根据线段倾斜阈值从所述调整后M条线段中筛选得到N条待矫正线段，所述线段倾斜阈值包括水平线段倾斜阈值和垂直线段倾斜阈值，M和N均为正整数，N小于或等于M。
20.根据权利要求18所述的装置，其特征在于，所述元数据不包括所述视场，所述线段筛选模块根据所述元数据确定的线段筛选策略，从所述待处理图像包含的线段中筛选得到待矫正线段时，具体用于：
基于所述待处理图像的图像内容从所述待处理图像包含的线段中筛选得到所述待矫正线段，所述图像内容包含线段角度分布特征。
21.根据权利要求18所述的装置，其特征在于，所述元数据包括所述视场，且不包括所述IMU信息，所述线段筛选模块根据所述元数据确定的线段筛选策略，从所述待处理图像包含的线段中筛选得到待矫正线段时，具体用于：
基于所述视场和所述待处理图像的图像内容从所述待处理图像包含的线段中筛选得到所述待矫正线段，所述图像内容包含线段角度分布特征。
22.根据权利要求20或21所述的装置，其特征在于，所述装置还包括显示模块：
所述显示模块，用于提示用户从基于所述待处理图像的图像内容筛选得到的推荐线段中选择待矫正线段。
23.根据权利要求18-21中任一项所述的装置，其特征在于，所述元数据还包括可信标识，所述可信标识用于指示所述元数据是否可信；所述线段筛选模块根据所述元数据确定的线段筛选策略，从所述待处理图像包含的线段中筛选得到待矫正线段时，具体用于：
若所述可信标识指示所述元数据不可信，基于所述待处理图像的图像内容从所述待处理图像包含的线段中筛选得到所述待矫正线段，所述图像内容包含线段角度分布特征；
若所述可信标识指示所述元数据可信，基于所述待处理图像的图像内容、所述IMU信息和所述视场中至少一个从所述待处理图像包含的线段中筛选得到所述待矫正线段。
24.根据权利要求14-17中任一项所述的装置，其特征在于，所述线段筛选模块根据所述待处理图像的元数据从所述待处理图像包含的线段中筛选得到待矫正线段时，具体用于：
根据基于所述元数据筛选的线段和基于图像内容筛选的线段确定所述待矫正线段。
25.根据权利要求14-24中任一项所述的装置，其特征在于，所述矫正模块对所述待矫正线段以及所述待处理图像的特征区域进行矫正，得到处理后图像时，具体用于：
判断所述待矫正线段的数量是否大于数量阈值，且所述待矫正线段的长度是否大于长度阈值；
若所述待矫正线段的数量大于所述数量阈值，且所述待矫正线段的长度大于所述长度阈值，对所述待矫正线段进行矫正，得到所述处理后图像；
若所述待矫正线段的数量小于或等于所述数量阈值，或所述待矫正线段的长度小于或等于所述长度阈值，根据第一场景的场景特征确定是否对所述待矫正线段进行矫正，所述场景特征包含建筑特征和人物特征。
26.根据权利要求14-25中任一项所述的装置，其特征在于，所述矫正模块对所述待矫正线段以及所述待处理图像的特征区域进行矫正，得到处理后图像时，具体用于：
构建直线约束对所述待矫正线段进行矫正；构建基于内容的单应性约束和形状和正则约束对背景区域进行矫正；构建人像约束对人像区域进行矫正；构建边界约束对边缘区域进行矫正，以得到所述处理后图像。
27.一种拍摄设备，其特征在于，所述拍摄设备包括：至少一个处理器、存储器、摄像头和惯性测量组件IMU，其中，所述摄像头用于拍摄图像，所述IMU用于获取所述拍摄设备的IMU信息，所述存储器用于存储计算机程序和指令，所述处理器用于调用所述计算机程序和指令，与所述摄像头和所述IMU协助执行如权利要求1-13中任一项所述的方法。
28.一种图像处理系统，其特征在于，所述图像处理系统包括至少一个处理器和存储器，所述存储器用于存储计算机程序和指令，所述处理器用于调用所述计算机程序和指令，实现执行如权利要求1-13中任一项所述的方法。
CN202210204484.6A 2022-03-02 2022-03-02 图像处理方法、装置及设备 Pending CN116739908A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210204484.6A CN116739908A (zh) 2022-03-02 2022-03-02 图像处理方法、装置及设备
PCT/CN2023/079116 WO2023165535A1 (zh) 2022-03-02 2023-03-01 图像处理方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210204484.6A CN116739908A (zh) 2022-03-02 2022-03-02 图像处理方法、装置及设备

Publications (1)

Publication Number Publication Date
CN116739908A true CN116739908A (zh) 2023-09-12

Family

ID=87883073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210204484.6A Pending CN116739908A (zh) 2022-03-02 2022-03-02 图像处理方法、装置及设备

Country Status (2)

Country Link
CN (1) CN116739908A (zh)
WO (1) WO2023165535A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117853382A (zh) * 2024-03-04 2024-04-09 武汉人工智能研究院 基于稀疏标记物的图像矫正方法、装置及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015074436A (ja) * 2013-10-11 2015-04-20 富士通株式会社 画像処理装置、画像処理方法、及び、プログラム
CN110084236B (zh) * 2019-04-29 2021-05-28 北京朗镜科技有限责任公司 一种图像的矫正方法及装置
CN110460769B (zh) * 2019-07-05 2021-08-17 浙江大华技术股份有限公司 图像矫正方法、装置、计算机设备和存储介质
CN113850726A (zh) * 2020-06-28 2021-12-28 华为技术有限公司 图像变换方法和装置
CN113850709A (zh) * 2020-06-28 2021-12-28 华为技术有限公司 图像变换方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117853382A (zh) * 2024-03-04 2024-04-09 武汉人工智能研究院 基于稀疏标记物的图像矫正方法、装置及存储介质
CN117853382B (zh) * 2024-03-04 2024-05-28 武汉人工智能研究院 基于稀疏标记物的图像矫正方法、装置及存储介质

Also Published As

Publication number Publication date
WO2023165535A1 (zh) 2023-09-07

Similar Documents

Publication Publication Date Title
US9811910B1 (en) Cloud-based image improvement
WO2020082722A1 (zh) 基于混合相机的视频成像方法、系统、设备及存储介质
US11134191B2 (en) Image display method and electronic device
WO2020019873A1 (zh) 图像处理方法、装置、终端及计算机可读存储介质
US20170034410A1 (en) Method and electronic device for stabilizing video
KR102383129B1 (ko) 이미지에 포함된 오브젝트의 카테고리 및 인식률에 기반하여 이미지를 보정하는 방법 및 이를 구현한 전자 장치
CN108776822B (zh) 目标区域检测方法、装置、终端及存储介质
US9398217B2 (en) Video stabilization using padded margin pixels
CN111277751B (zh) 拍照方法、装置、存储介质及电子设备
US20210168279A1 (en) Document image correction method and apparatus
CN110290426B (zh) 展示资源的方法、装置、设备及存储介质
US20220345621A1 (en) Scene lock mode for capturing camera images
WO2021103919A1 (zh) 构图推荐方法和电子设备
US20230353864A1 (en) Photographing method and apparatus for intelligent framing recommendation
US20230224574A1 (en) Photographing method and apparatus
US20240323518A1 (en) Camera switching method and electronic device
WO2023005355A1 (zh) 图像防抖方法与电子设备
WO2023165535A1 (zh) 图像处理方法、装置及设备
WO2022227752A1 (zh) 拍照方法及装置
CN115150542B (zh) 一种视频防抖方法及相关设备
KR20200009922A (ko) 전자 장치 및 이미지의 전송 상태에 기반하여 이미지를 보정하는 방법
US10148874B1 (en) Method and system for generating panoramic photographs and videos
CN114693538A (zh) 一种图像处理方法及装置
US20240281931A1 (en) Image processing method and electronic device
US10051192B1 (en) System and apparatus for adjusting luminance levels of multiple channels of panoramic video signals

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication