CN109155822A - 图像处理方法和装置 - Google Patents

图像处理方法和装置 Download PDF

Info

Publication number
CN109155822A
CN109155822A CN201780028205.2A CN201780028205A CN109155822A CN 109155822 A CN109155822 A CN 109155822A CN 201780028205 A CN201780028205 A CN 201780028205A CN 109155822 A CN109155822 A CN 109155822A
Authority
CN
China
Prior art keywords
processing
processing result
camera
obtains
spin matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780028205.2A
Other languages
English (en)
Other versions
CN109155822B (zh
Inventor
卢庆博
李琛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN109155822A publication Critical patent/CN109155822A/zh
Application granted granted Critical
Publication of CN109155822B publication Critical patent/CN109155822B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/604—Rotation of whole images or parts thereof using coordinate rotation digital computer [CORDIC] devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供一种图像处理方法和装置。本发明图像处理方法，包括：获取输入图像的二维坐标点；对所述二维坐标点根据相机成像模型或畸变矫正模型进行二维‑三维转换操作，获取第一处理结果；对所述第一处理结果进行虚拟现实、电子防抖至少一项处理，获取第二处理结果；将所述第二处理结果映射至二维图像坐标系。本发明实施例可以实现对输入图像的快速处理，以完成畸变矫正、虚拟现实和电子防抖中至少两项处理操作，可以有效降低计算复杂度高，缩短计算时长，提升图像处理效率。

Description

图像处理方法和装置
技术领域
本发明实施例涉及图像处理技术，尤其涉及一种图像处理方法和装置。
背景技术
图像传感器在成像的过程中，记录下射入图像传感器的光线的情况，但是由于相机的镜头和图像传感器等部件存在一定的畸变或者对齐问题，导致相机并不符合常用的相机成像模型。通常，相机的视场角越大，畸变越严重。大视场角的镜头可以提供更广的视角，因此经常用来作为虚拟现实图像的采集方式。如果将这种类型镜头安装在运动设备、汽车、无人机等环境下，由于相机的振动，相机的录制画面会频繁抖动，而导致观察者的不适。在这种情况下，需要对输入图像同时执行电子防抖、畸变矫正和虚拟现实显示中至少两项操作。
然而，在同时执行电子防抖、畸变矫正和虚拟现实显示中至少两项操作过程中，任意一项操作均需要计算出输入图像和输出图像的几何变换关系，即输出图像与输入图像的坐标关系，计算复杂度高，计算时间较长。
发明内容
本发明实施例提供一种图像处理方法和装置，从而实现对输入图像的快速处理，以完成电子防抖、畸变矫正和虚拟现实中至少两项处理操作。
第一方面，本发明实施例提供一种图像处理方法，包括：
获取输入图像的二维坐标点；
对所述二维坐标点根据相机成像模型或畸变矫正模型进行二维-三维转换操作，获取第一处理结果；
对所述第一处理结果进行虚拟现实、电子防抖至少一项处理，获取第二处理结果；
将所述第二处理结果映射至二维图像坐标系。
结合第一方面，在第一方面的一种可能的实现方式中，所述对所述二维坐标点根据相机成像模型或畸变矫正模型进行二维-三维转换操作，获取第一处理结果，包括：
根据相机的参数、和相机成像模型对所述二维坐标点进行二维-三维转换操作，获取第一处理结果；或者，
根据相机的参数和畸变矫正模型对所述二维坐标点进行二维-三维转换操作，获取第一处理结果。
结合第一方面或者第一方面的一种可能的实现方式，在第一方面的另一种可能的实现方式中，根据第一旋转矩阵对所述第一处理结果进行虚拟现实处理。
结合第一方面或者第一方面的任一种可能的实现方式，在第一方面的另一种可能的实现方式中，根据第二旋转矩阵对所述第一处理结果进行电子防抖处理。
结合第一方面或者第一方面的任一种可能的实现方式，在第一方面的另一种可能的实现方式中，所述第一旋转矩阵为根据观察者的姿态角度参数确定的，根据所述第一旋转矩阵处理所述第一处理结果获取所述第二处理结果。
结合第一方面或者第一方面的任一种可能的实现方式，在第一方面的另一种可能的实现方式中，所述方法还包括：
获取所述观察者的姿态角度参数。
结合第一方面或者第一方面的任一种可能的实现方式，在第一方面的另一种可能的实现方式中，所述第二旋转矩阵为根据与相机相连接的惯性测量单元获取的测量参数确定的，根据所述第二旋转矩阵处理所述第一处理结果获取所述第二处理结果。
结合第一方面或者第一方面的任一种可能的实现方式，在第一方面的另一种可能的实现方式中，所述方法还包括：
从与相机相连接的惯性测量单元获取所述测量参数，根据所述测量参数确定所述第二旋转矩阵；或者，
从与相机相连接的惯性测量单元获取所述第二旋转矩阵，所述第二旋转矩阵为所述惯性测量单元根据所述测量参数确定的。
结合第一方面或者第一方面的任一种可能的实现方式，在第一方面的另一种可能的实现方式中，所述相机成像模型包括小孔成像模型、等距矩形模型、立体成像模型、鱼眼镜头模型和广角镜头模型中任意一项。
第二方面，本发明实施例提供一种图像处理装置，包括：镜头、图像传感器和处理器；
所述图像传感器通过镜头采集二维图像；
所述处理器，用于实现如第一方面任一种可能的实现方式所述的图像处理方法。
第三方面，本发明实施例提供一种计算机存储介质，其上存储有计算机程序或指令，当所述计算机程序或指令被处理器或计算机执行时，实现如第一方面任一种可能的实现方式所述的图像处理方法。
本发明实施例图像处理方法和装置，通过对获取的输入图像的二维坐标点进行二维-三维转换操作，获取第一处理结果，根据第一旋转矩阵和第二旋转矩阵中至少一项处理所述第一处理结果，获取第二处理结果，将所述第二处理结果映射至二维图像坐标系，得到输出图像，从而实现对输入图像的快速处理，以完成畸变矫正、虚拟现实和电子防抖中至少两项处理操作，可以有效降低计算复杂度高，缩短计算时长，提升图像处理效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种应用场景示意图；
图2为本发明的一种图像处理方法的流程图；
图3为本发明的另一种图像处理方法的流程图；
图4为图3所示的流程图的示意图；
图5为本发明的另一种图像处理方法的流程图；
图6为图5所示的流程图的示意图；
图7为本发明的另一种图像处理方法的流程图；
图8为图7所示的流程图的示意图；
图9为本发明的另一种图像处理方法的流程图；
图10为图9所示的流程图的示意图；
图11为本发明的一种图像处理装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明的一种应用场景示意图，如图1所示，该应用场景下包括一图像处理装置，可以为相机、摄像设备、航拍设备、医学成像设备等，包括镜头、图像传感器和图像处理器，其中，镜头与图像传感器连接，图像传感器与图像处理器连接，光线通过镜头射入图像传感器，图像传感器进行成像，得到输入图像，图像处理器对输入图像进行畸变矫正、电子防抖和虚拟现实中至少两项处理操作，以得到输出图像，本申请的图像处理方法在完成畸变矫正、电子防抖和虚拟现实中至少两项处理操作过程中，可以有效降低计算复杂度高，缩短计算时长，提升图像处理器的图像处理效率，其具体实现方式参见下述实施例的具体解释说明。
需要说明的是，本发明的图像处理器可以与镜头和图像传感器位于不同的电子设备上，也可以与镜头和图像传感器位于相同的电子设备上。
图2为本发明的一种图像处理方法的流程图，如图2所示，本实施例的方法可以包括：
步骤101、获取输入图像的二维坐标点。
其中，输入图像为光线通过镜头射入图像传感器，图像传感器进行成像，得到的图像，该输入图像为二维图像，则可以获取该输入图像中所有像素点的二维坐标点。
步骤102、根据相机成像模型或畸变矫正模型对所述二维坐标点进行二维-三维转换操作，获取第一处理结果。
其中，进行二维-三维转换操作具体指建立二维坐标点与入射射线之间的一一对应关系，即将输入图像的各个像素点的二维坐标点映射为入射射线，各个像素点的二维坐标点对应的入射射线即为第一处理结果。可选的，步骤102的一种具体的可实现方式可以为：根据相机的参数和相机成像模型对所述二维坐标点进行二维-三维转换操作，获取第一处理结果。步骤102的另一种具体的可实现方式可以为：根据相机的参数和畸变矫正模型对所述二维坐标点进行二维-三维转换操作，获取第一处理结果。
其中，相机的参数可以包括相机的焦距和光心位置等，此处不一一举例说明。
需要说明的是，上述相机成像模型可以包括小孔成像模型、等距矩形模型、立体成像模型、鱼眼镜头模型和广角镜头模型中任意一项。其可以根据需求进行灵活设置。
步骤103、对所述第一处理结果进行虚拟现实、电子防抖至少一项处理，获取第二处理结果。
其中，根据第一旋转矩阵对所述第一处理结果进行虚拟现实处理，根据第二旋转矩阵对所述第一处理结果进行电子防抖处理。根据第一旋转矩阵和第二旋转矩阵中至少一项处理步骤102中的第一处理结果，即获得第二处理结果。
具体的，该第一旋转矩阵为根据观察者的姿态角度参数确定的，该第二旋转矩阵为根据与相机相连接的惯性测量单元获取的测量参数确定的。该相机具体可以指如图1所示的镜头和图像传感器。
步骤104、将所述第二处理结果映射至二维图像坐标系。
具体的，将各个调整后的入射射线映射至二维图像坐标系，可以得到输出图像，该输出图像为经过畸变矫正、电子防抖和虚拟现实中至少两项处理操作后的图像。
本实施例，通过对获取的输入图像的二维坐标点进行二维-三维转换操作，获取第一处理结果，根据第一旋转矩阵和第二旋转矩阵中至少一项处理所述第一处理结果，获取第二处理结果，将所述第二处理结果映射至二维图像坐标系，得到输出图像，从而实现对输入图像的快速处理，以完成畸变矫正、电子防抖和虚拟现实中至少两项处理操作，可以有效降低计算复杂度高，缩短计算时长，提升图像处理效率。上述涉及到的相机成像模型、畸变矫正模型、第一旋转矩阵、第二旋转矩阵等可以参考现有技术。
下面采用几个具体的实施例，对图2所示方法实施例的技术方案进行详细说明。
图3为本发明的另一种图像处理方法的流程图，图4为图3所示的流程图的示意图，本实施例为对输入图像进行畸变矫正和虚拟现实处理的具体实施方式，如图3所示，本实施例的方法可以包括：
步骤201、获取输入图像的二维坐标点。
其中，步骤201的具体解释说明可以参见图2所示实施例的步骤101，此处不再赘述。
步骤202、根据相机的参数和畸变矫正模型对所述二维坐标点进行二维-三维转换操作，获取第一处理结果。
其中，该步骤202即实现如图4所示的2D到3D的转换。以P3D表示第一处理结果，P2D表示二维坐标点。相应的，步骤202可以为，根据公式P3D＝fpin(P2D)，获取第一处理结果P3D，其中，函数fpin()可以是一个多项式。
步骤203、对所述第一处理结果进行虚拟现实处理，获取第二处理结果。
其中，该第一旋转矩阵为虚拟现实处理过程中所使用的旋转矩阵，是根据观察者的姿态角度参数确定的。该步骤203即实现如图4所示的3D至3D的旋转处理，获取第二处理结果。
其中，以P′3D表示第二处理结果，RVR表示第一旋转矩阵。相应的，步骤203可以为，根据公式P′3D＝RVRP3D，获取第二处理结果P′3D。
将步骤202的公式P3D＝fpin(P2D)带入P′3D＝RVRP3D，得到P′3D＝RVRfpin(P2D)。
步骤204、将所述第二处理结果映射至二维图像坐标系。
具体的，将经过步骤203旋转处理后的入射射线映射至二维图像坐标系，可以得到输出图像，该输出图像为经过畸变矫正和虚拟现实处理操作后的图像。该步骤204即实现如图4所示的3D至2D的映射。
其中，以P′2D表示映射至所述二维图像坐标系中的坐标点。相应的，步骤204可以为，根据公式将所述第二处理结果映射至二维图像坐标系。其中，函数可以根据需求进行灵活设置。
将步骤203的公式P′3D＝RVRfpin(P2D)带入得到
本实施例，通过根据相机的参数和畸变矫正模型对获取的输入图像的二维坐标点进行二维-三维转换操作，获取第一处理结果，对所述第一处理结果进行虚拟现实处理，获取第二处理结果，将所述第二处理结果映射至二维图像坐标系，得到输出图像，从而实现对输入图像的快速处理，以完成畸变矫正和虚拟现实处理操作，可以有效降低计算复杂度高，缩短计算时长，提升图像处理效率。
并且，本申请通过上述方式完成畸变矫正和虚拟现实处理操作，无需在P3D＝fpin(P2D)之后和P′3D＝RVRP3D之前，再进行和P3D＝fcam(P2D)，实现简化计算，并且进行和P3D＝fcam(P2D)的计算通常是通过定点化或查找表实现的，因此导致和P3D＝fcam(P2D)并不是完全等价的逆操作，多次反复计算之后会导致累计误差增加，通过本实施例上述方式简化计算，可以消除累计误差，提高计算的精度。
图5为本发明的另一种图像处理方法的流程图，图6为图5所示的流程图的示意图，本实施例为对输入图像进行畸变矫正和电子防抖处理的具体实施方式，如图5所示，本实施例的方法可以包括：
步骤301、获取输入图像的二维坐标点。
其中，步骤301的具体解释说明可以参见图2所示实施例的步骤101，此处不再赘述。
步骤302、根据相机的参数和畸变矫正模型对所述二维坐标点进行二维-三维转换操作，获取第一处理结果。
其中，该步骤302即实现如图6所示的2D到3D的转换。具体的，根据相机的参数和畸变矫正模型对二维坐标点进行二维-三维转换操作，即将二维坐标点映射为入射射线。
其中以P3D表示第一处理结果，P2D表示二维坐标点。相应的，步骤202可以为，根据公式P3D＝fpin(P2D)，获取第一处理结果P3D，其中，函数fpin()可以是一个多项式。
步骤303、对所述第一处理结果进行电子防抖处理，获取第二处理结果。
其中，该第二旋转矩阵为电子防抖处理过程中所使用的旋转矩阵，是根据与相机相连接的惯性测量单元获取的测量参数确定的。该步骤303即实现如图6所示的3D至3D的旋转处理，即根据第二旋转矩阵对步骤302得到的入射射线进行旋转，获取第二处理结果。
其中，以P′3D表示第二处理结果，RIS表示第二旋转矩阵。相应的，步骤303可以为，根据公式P′3D＝RISP3D，获取第二处理结果P′3D。
将步骤302的公式P3D＝fpin(P2D)带入P′3D＝RISP3D，得到P′3D＝RISfpin(P2D)。
步骤304、将所述第二处理结果映射至二维图像坐标系。
具体的，将经过步骤303旋转处理后的入射射线映射至二维图像坐标系，可以得到输出图像，该输出图像为经过畸变矫正和电子防抖处理操作后的图像。该步骤304即实现如图6所示的3D至2D的映射。
其中，以P′2D表示映射至所述二维图像坐标系中的坐标点。相应的，步骤304可以为，根据公式将所述第二处理结果映射至二维图像坐标系。其中，函数可以根据需求进行灵活设置。
将步骤303的公式P′3D＝RISfpin(P2D)带入得到
本实施例，通过根据相机的参数和畸变矫正模型对获取的输入图像的二维坐标点进行二维-三维转换操作，获取第一处理结果，对所述第一处理结果进行电子防抖处理，获取第二处理结果，将所述第二处理结果映射至二维图像坐标系，得到输出图像，从而实现对输入图像的快速处理，以完成畸变矫正和电子防抖处理操作，可以有效降低计算复杂度高，缩短计算时长，提升图像处理效率。
并且，本申请通过上述方式完成畸变矫正和电子防抖处理操作，无需在P3D＝fpin(P2D)之后和P′3D＝RISP3D之前，再进行和P3D＝fcam(P2D)，实现简化计算，并且进行和P3D＝fcam(P2D)的计算通常是通过定点化或查找表实现的，因此导致和P3D＝fcam(P2D)并不是完全等价的逆操作，多次反复计算之后会导致累计误差增加，通过本实施例上述方式简化计算，可以消除累计误差，提高计算的精度。
图7为本发明的另一种图像处理方法的流程图，图8为图7所示的流程图的示意图，本实施例为对输入图像进行虚拟现实和电子防抖处理的具体实施方式，如图7所示，本实施例的方法可以包括：
步骤401、获取输入图像的二维坐标点。
其中，步骤401的具体解释说明可以参见图2所示实施例的步骤101，此处不再赘述。
步骤402、根据相机的参数和相机成像模型对所述二维坐标点进行二维-三维转换操作，获取第一处理结果。
其中，该步骤402即实现如图8所示的2D到3D的转换。具体的，根据相机的参数对二维坐标点进行二维-三维转换操作，即将二维坐标点映射为入射射线。
其中以P3D表示第一处理结果，P2D表示二维坐标点。相应的，步骤202可以为，根据公式P3D＝fcam(P2D)，获取第一处理结果P3D。
步骤403、对所述第一处理结果进行虚拟现实和电子防抖处理，获取第二处理结果。
其中，该第一旋转矩阵为虚拟现实处理过程中所使用的旋转矩阵，是根据观察者的姿态角度参数确定的。该第二旋转矩阵为电子防抖处理过程中所使用的旋转矩阵，是根据与相机相连接的惯性测量单元获取的测量参数确定的。该步骤403即实现如图8所示的3D至3D再至3D的旋转处理，即根据第一旋转矩阵和第二旋转矩阵对步骤402得到的入射射线进行旋转，获取第二处理结果。
其中，以P′3D表示第二处理结果，RVR表示第一旋转矩阵，RIS表示第二旋转矩阵。相应的，步骤403的一种可实现方式为，根据公式P′3D＝RISRVRP3D，获取第二处理结果P′3D。即先进行虚拟现实处理然后再进行电子防抖处理。将步骤402的公式带入P′3D＝RISRVRP3D中，可以得到P′3D＝RISRVRfcam(P2D)。
需要说明的是，步骤405的另一种可实现方式为，根据公式P′3D＝RVRRISP3D，获取第二处理结果P′3D。即先进行电子防抖处理然后再进行虚拟现实处理。将步骤402的公式带入P′3D＝RVRRISP3D中，可以得到P′3D＝RVRRISfcam(P2D)。
步骤404、将所述第二处理结果映射至二维图像坐标系。
具体的，将经过步骤403旋转处理后的入射射线映射至二维图像坐标系，可以得到输出图像，该输出图像为经过虚拟现实和电子防抖处理操作后的图像。该步骤404即实现如图8所示的3D至2D的映射。
其中，以P′2D表示映射至所述二维图像坐标系中的坐标点。相应的，步骤404可以为，根据公式将所述第二处理结果映射至二维图像坐标系。其中，函数可以根据需求进行灵活设置。
将步骤403的公式P′3D＝RISRVRfcam(P2D)带入可以得到
将步骤403的公式P′3D＝RVRRISfcam(P2D)带入可以得到
本实施例，通过根据相机的参数和相机成像模型对获取的输入图像的二维坐标点进行二维-三维转换操作，获取第一处理结果，对所述第一处理结果进行虚拟现实和电子防抖的处理，获取第二处理结果，将所述第二处理结果映射至二维图像坐标系，得到输出图像，从而实现对输入图像的快速处理，以完成虚拟现实和电子防抖处理操作，可以有效降低计算复杂度高，缩短计算时长，提升图像处理效率。
并且，本申请通过上述方式完成虚拟现实和电子防抖处理操作，无需在P3D＝fcam(P2D)之后和P′3D＝RISRVRP3D(或者P′3D＝RVRRISP3D)之前，再进行和P3D＝fcam(P2D)，实现简化计算，并且进行和P3D＝fcam(P2D)的计算通常是通过定点化或查找表实现的，因此导致和P3D＝fcam(P2D)并不是完全等价的逆操作，多次反复计算之后会导致累计误差增加，通过本实施例上述方式简化计算，可以消除累计误差，提高计算的精度。
图9为本发明的另一种图像处理方法的流程图，图10为图9所示的流程图的示意图，本实施例为对输入图像进行畸变矫正、虚拟现实和电子防抖处理的具体实施方式，如图9所示，本实施例的方法可以包括：
步骤501、获取输入图像的二维坐标点。
其中，步骤501的具体解释说明可以参见图2所示实施例的步骤101，此处不再赘述。
步骤502、根据相机的参数和畸变矫正模型对所述二维坐标点进行二维-三维转换操作，获取第一处理结果。
其中，该步骤502即实现如图10所示的2D到3D的转换。具体的，根据相机的参数和畸变矫正模型对二维坐标点进行二维-三维转换操作，即将二维坐标点映射为入射射线。
其中以P3D表示第一处理结果，P2D表示二维坐标点。相应的，步骤202可以为，根据公式P3D＝fpin(P2D)，获取第一处理结果P3D。
需要说明的是，与上述图7所示实施例不同，本实施例可以进行畸变矫正、虚拟现实和电子防抖处理，当完成三种处理时，需要先执行步骤502进行畸变矫正。本实施例的第一处理结果为P3D＝fpin(P2D)。
步骤503、对所述第一处理结果进行虚拟现实和电子防抖处理，获取第二处理结果。
其中，该第一旋转矩阵为虚拟现实处理过程中所使用的旋转矩阵，是根据观察者的姿态角度参数确定的。该第二旋转矩阵为电子防抖处理过程中所使用的旋转矩阵，是根据与相机相连接的惯性测量单元获取的测量参数确定的。该步骤503即实现如图10所示的3D至3D再至3D的旋转处理，即根据第一旋转矩阵和第二旋转矩阵对步骤502得到的入射射线进行旋转，获取第二处理结果，即如图10所示先进行虚拟现实处理然后再进行电子防抖处理。
可以理解的，步骤503也可以先进行电子防抖处理然后再进行虚拟现实处理。
其中，以P′3D表示第二处理结果，RVR表示第一旋转矩阵，RIS表示第二旋转矩阵。步骤503的一种可实现方式可以为，根据公式P′3D＝RISRVRP3D，获取第二处理结果P′3D。将步骤502的公式带入P′3D＝RISRVRP3D中，可以得到P′3D＝RISRVRfpin(P2D)。
需要说明的是，步骤405的另一种可实现方式为，根据公式P′3D＝RVRRISP3D，获取第二处理结果P′3D。将步骤502的公式带入P′3D＝RVRRISP3D中，可以得到P′3D＝RVRRISfpin(P2D)。
步骤504、将所述第二处理结果映射至二维图像坐标系。
具体的，将经过步骤503旋转处理后的入射射线映射至二维图像坐标系，可以得到输出图像，该输出图像为经过畸变矫正、电子防抖和虚拟现实处理操作后的图像。该步骤504即实现如图10所示的3D至2D的映射。
其中，以P′2D表示映射至所述二维图像坐标系中的坐标点。相应的，步骤504可以为，根据公式将所述第二处理结果映射至二维图像坐标系。其中，函数可以根据需求进行灵活设置。
将步骤503的公式P′3D＝RISRVRfpin(P2D)带入可以得到
将步骤503的公式P′3D＝RVRRISfpin(P2D)带入可以得到
本实施例，通过根据相机的参数和畸变矫正模型对获取的输入图像的二维坐标点进行二维-三维转换操作，获取第一处理结果，对所述第一处理结果进行虚拟现实和电子防抖处理，获取第二处理结果，将所述第二处理结果映射至二维图像坐标系，得到输出图像，从而实现对输入图像的快速处理，以完成畸变矫正、电子防抖和虚拟现实处理操作，可以有效降低计算复杂度高，缩短计算时长，提升图像处理效率。
并且，本申请通过上述方式完成畸变矫正、虚拟现实和电子防抖处理操作，无需在P3D＝fcam(P2D)之后和P′3D＝RISRVRP3D(或者P′3D＝RVRRISP3D)之前，再进行和P3D＝fcam(P2D)，实现简化计算，并且进行和P3D＝fcam(P2D)的计算通常是通过定点化或查找表实现的，因此导致和P3D＝fcam(P2D)并不是完全等价的逆操作，多次反复计算之后会导致累计误差增加，通过本实施例上述方式简化计算，可以消除累计误差，提高计算的精度。
图11为本发明的一种图像处理装置的结构示意图，如图11所示，本实施例的装置可以包括：镜头(未示出)、图像传感器11和处理器12，其中，图像传感器11用于采集二维图像，将所述二维图像作为输入图像，处理器12用于获取输入图像的二维坐标点，对所述二维坐标点根据相机成像模型或畸变矫正模型进行二维-三维转换操作，获取第一处理结果；对所述第一处理结果进行虚拟现实、电子防抖至少一项处理，获取第二处理结果将所述第二处理结果映射至二维图像坐标系。
所述处理器12用于：根据相机的参数和相机成像模型对所述二维坐标点进行二维-三维转换操作，获取第一处理结果；或者，根据相机的参数和畸变矫正模型对所述二维坐标点进行二维-三维转换操作，获取第一处理结果。
所述处理器12用于，根据第一旋转矩阵对所述第一处理结果进行虚拟现实处理。
所述处理器12用于，根据第二旋转矩阵对所述第一处理结果进行电子防抖处理。
其中，所述第一旋转矩阵为根据观察者的姿态角度参数确定的，根据所述第一旋转矩阵处理所述第一处理结果获取所述第二处理结果。
所述处理器12还用于：获取所述观察者的姿态角度参数。
所述第二旋转矩阵为根据与相机相连接的惯性测量单元获取的测量参数确定的，所述处理器12用于根据所述第二旋转矩阵处理所述第一处理结果获取所述第二处理结果。
所述处理器12还用于：从与相机相连接的惯性测量单元获取所述测量参数，所述处理器12还用于根据所述测量参数确定所述第二旋转矩阵；或者，所述处理器12还用于从与相机相连接的惯性测量单元获取所述第二旋转矩阵，所述第二旋转矩阵为所述惯性测量单元根据所述测量参数确定的。
其中，所述相机成像模型包括小孔成像模型、等距矩形模型、立体成像模型、鱼眼镜头模型和广角镜头模型中任意一项。
本实施例的装置，可以用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
需要说明的是，本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。在本发明的实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (11)

1.一种图像处理方法，其特征在于，包括：
获取输入图像的二维坐标点；
对所述二维坐标点根据相机成像模型或畸变矫正模型进行二维-三维转换操作，获取第一处理结果；
对所述第一处理结果进行虚拟现实、电子防抖至少一项处理，获取第二处理结果；
将所述第二处理结果映射至二维图像坐标系。
2.根据权利要求1所述的方法，其特征在于，所述对所述二维坐标点根据相机成像模型或畸变矫正模型进行二维-三维转换操作，获取第一处理结果，包括：
根据相机的参数和畸变矫正模型对所述二维坐标点进行二维-三维转换操作，获取第一处理结果；或者，
根据相机的参数和相机成像模型对所述二维坐标点进行二维-三维转换操作，获取第一处理结果。
3.根据权利要求1所述的方法，其特征在于，根据第一旋转矩阵对所述第一处理结果进行虚拟现实处理。
4.根据权利要求1所述的方法，其特征在于，根据第二旋转矩阵对所述第一处理结果进行电子防抖处理。
5.根据权利要求3所述的方法，其特征在于，所述第一旋转矩阵为根据观察者的姿态角度参数确定的，根据所述第一旋转矩阵处理所述第一处理结果获取所述第二处理结果。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
获取所述观察者的姿态角度参数。
7.根据权利要求4所述的方法，其特征在于，所述第二旋转矩阵为根据与相机相连接的惯性测量单元获取的测量参数确定的，根据所述第二旋转矩阵处理所述第一处理结果获取所述第二处理结果。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
从与相机相连接的惯性测量单元获取所述测量参数，根据所述测量参数确定所述第二旋转矩阵；或者，
从与相机相连接的惯性测量单元获取所述第二旋转矩阵，所述第二旋转矩阵为所述惯性测量单元根据所述测量参数确定的。
9.根据权利要求2所述的方法，其特征在于，所述相机成像模型包括小孔成像模型、等距矩形模型、立体成像模型、鱼眼镜头模型和广角镜头模型中任意一项。
10.一种图像处理装置，其特征在于，包括：镜头、图像传感器和处理器；
所述图像传感器通过镜头采集二维图像；
所述处理器，用于实现如权利要求1至9任一项所述的图像处理方法。
11.一种计算机存储介质，其上存储有计算机程序或指令，其特征在于，当所述计算机程序或指令被处理器或计算机执行时，实现如权利要求1至9任一项所述的图像处理方法。
CN201780028205.2A 2017-11-28 2017-11-28 图像处理方法和装置 Expired - Fee Related CN109155822B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/113244 WO2019104453A1 (zh) 2017-11-28 2017-11-28 图像处理方法和装置

Publications (2)

Publication Number Publication Date
CN109155822A true CN109155822A (zh) 2019-01-04
CN109155822B CN109155822B (zh) 2021-07-27

Family

ID=64803849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780028205.2A Expired - Fee Related CN109155822B (zh) 2017-11-28 2017-11-28 图像处理方法和装置

Country Status (3)

Country Link
US (1) US20200267297A1 (zh)
CN (1) CN109155822B (zh)
WO (1) WO2019104453A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021035485A1 (zh) * 2019-08-26 2021-03-04 Oppo广东移动通信有限公司 拍摄防抖方法、装置、终端及存储介质
CN112489114A (zh) * 2020-11-25 2021-03-12 深圳地平线机器人科技有限公司 图像转换方法、装置、计算机可读存储介质及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101876533A (zh) * 2010-06-23 2010-11-03 北京航空航天大学 一种显微立体视觉校准方法
CN104833360A (zh) * 2014-02-08 2015-08-12 无锡维森智能传感技术有限公司 一种二维坐标到三维坐标的转换方法
CN104935909A (zh) * 2015-05-14 2015-09-23 清华大学深圳研究生院 一种基于深度信息的多幅图超分辨方法
CN105144687A (zh) * 2013-04-30 2015-12-09 索尼公司 图像处理装置、图像处理方法及程序
CN105227828A (zh) * 2015-08-25 2016-01-06 努比亚技术有限公司 拍摄装置和方法
CN105894574A (zh) * 2016-03-30 2016-08-24 清华大学深圳研究生院 一种双目三维重建方法
CN107038724A (zh) * 2015-10-28 2017-08-11 舆图行动股份有限公司 全景鱼眼相机影像校正、合成与景深重建方法与系统
US20170286993A1 (en) * 2016-03-31 2017-10-05 Verizon Patent And Licensing Inc. Methods and Systems for Inserting Promotional Content into an Immersive Virtual Reality World

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107346551A (zh) * 2017-06-28 2017-11-14 太平洋未来有限公司 一种光场光源定向方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101876533A (zh) * 2010-06-23 2010-11-03 北京航空航天大学 一种显微立体视觉校准方法
CN105144687A (zh) * 2013-04-30 2015-12-09 索尼公司 图像处理装置、图像处理方法及程序
CN104833360A (zh) * 2014-02-08 2015-08-12 无锡维森智能传感技术有限公司 一种二维坐标到三维坐标的转换方法
CN104935909A (zh) * 2015-05-14 2015-09-23 清华大学深圳研究生院 一种基于深度信息的多幅图超分辨方法
CN105227828A (zh) * 2015-08-25 2016-01-06 努比亚技术有限公司 拍摄装置和方法
CN107038724A (zh) * 2015-10-28 2017-08-11 舆图行动股份有限公司 全景鱼眼相机影像校正、合成与景深重建方法与系统
CN105894574A (zh) * 2016-03-30 2016-08-24 清华大学深圳研究生院 一种双目三维重建方法
US20170286993A1 (en) * 2016-03-31 2017-10-05 Verizon Patent And Licensing Inc. Methods and Systems for Inserting Promotional Content into an Immersive Virtual Reality World

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021035485A1 (zh) * 2019-08-26 2021-03-04 Oppo广东移动通信有限公司 拍摄防抖方法、装置、终端及存储介质
US11902662B2 (en) 2019-08-26 2024-02-13 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image stabilization method and apparatus, terminal and storage medium
CN112489114A (zh) * 2020-11-25 2021-03-12 深圳地平线机器人科技有限公司 图像转换方法、装置、计算机可读存储介质及电子设备
CN112489114B (zh) * 2020-11-25 2024-05-10 深圳地平线机器人科技有限公司 图像转换方法、装置、计算机可读存储介质及电子设备

Also Published As

Publication number Publication date
WO2019104453A1 (zh) 2019-06-06
CN109155822B (zh) 2021-07-27
US20200267297A1 (en) 2020-08-20

Similar Documents

Publication Publication Date Title
CN110349251B (zh) 一种基于双目相机的三维重建方法及装置
CN106875451B (zh) 相机标定方法、装置及电子设备
WO2019161813A1 (zh) 动态场景的三维重建方法以及装置和系统、服务器、介质
US20190130605A1 (en) Method and device for verification
CN108364319B (zh) 尺度确定方法、装置、存储介质及设备
EP3134868B1 (en) Generation and use of a 3d radon image
US20190096092A1 (en) Method and device for calibration
CN109615664B (zh) 一种用于光学透视增强现实显示器的标定方法与设备
CN111160298B (zh) 一种机器人及其位姿估计方法和装置
CN108230384A (zh) 图像深度计算方法、装置、存储介质和电子设备
CN106023302A (zh) 一种移动通信终端及其实现三维重建的方法及服务器
CN112733820B (zh) 障碍物信息生成方法、装置、电子设备和计算机可读介质
CN111325792B (zh) 用于确定相机位姿的方法、装置、设备和介质
TWI669683B (zh) 三維影像重建方法、裝置及其非暫態電腦可讀取儲存媒體
CN110232707A (zh) 一种测距方法及装置
CN111028205A (zh) 一种基于双目测距的眼睛瞳孔定位方法及装置
JP2016122444A (ja) 焦点スタックから適応スライス画像を生成する方法および装置
CN107749069A (zh) 图像处理方法、电子设备和图像处理系统
CN109155822A (zh) 图像处理方法和装置
CN114549289A (zh) 图像处理方法、装置、电子设备和计算机存储介质
CN110930444B (zh) 一种基于双边优化的点云匹配方法、介质、终端和装置
CN114972634A (zh) 基于特征体素融合的多视角三维可变形人脸重建方法
CN113436267B (zh) 视觉惯导标定方法、装置、计算机设备和存储介质
CN113971719A (zh) 一种神经辐射场采样与重建的系统、方法及设备
CN109859313B (zh) 3d点云数据获取方法、装置、3d数据生成方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210727