CN115375568A - 图像处理方法、装置、电子设备和计算机可读存储介质 - Google Patents

图像处理方法、装置、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN115375568A
CN115375568A CN202210957672.6A CN202210957672A CN115375568A CN 115375568 A CN115375568 A CN 115375568A CN 202210957672 A CN202210957672 A CN 202210957672A CN 115375568 A CN115375568 A CN 115375568A
Authority
CN
China
Prior art keywords
data
image
determining
coordinate
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210957672.6A
Other languages
English (en)
Inventor
李响
刘聪越
吴少颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202210957672.6A priority Critical patent/CN115375568A/zh
Publication of CN115375568A publication Critical patent/CN115375568A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种图像处理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取初始RAW图像数据和对应的陀螺仪数据；将所述初始RAW图像数据转换为初始YUV图像数据；基于陀螺仪与图像传感器之间的位置关系，根据所述陀螺仪数据确定所述图像传感器在采集所述初始RAW图像数据时的抖动轨迹；根据所述图像传感器的抖动轨迹确定所述图像传感器对应的模糊核；根据所述模糊核对所述初始YUV图像数据中的Y通道数据进行去模糊处理，得到目标YUV图像。该方法可以减少计算冗余，提高运算速度，同时可得到清晰度更高的目标YUV图像。

Description

图像处理方法、装置、电子设备和计算机可读存储介质
技术领域
本申请涉及影像技术领域，特别是涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。
背景技术
随着科技的发展，诸如手机、平板电脑等电子设备，在人们的工作、学习和日常交流等方面的使用率也越来越高。电子设备中通常配置有摄像头，具备拍照、摄像功能，由于摄像头器件小，感光面积也小，在拍照过程中，用户的手可能会抖动，导致采集的图像数据模糊，尤其是在夜间的暗光环境中，为了增加传感器的进光量，曝光时长会更长，最终获取的图像也更加模糊。这是因为快门时间内，手部抖动的范围超过了传感器单个像素的尺寸。
为了去除由手部抖动造成的图像模糊，常用的方法是使用相应的去模糊算法对因为抖动而模糊的图像进行去模糊处理，但是相应算法的计算冗余太大。
发明内容
本申请实施例提供了一种图像处理方法、装置、电子设备、计算机可读存储介质，可以在有效去除图像模糊的同时减少去模糊算法的计算冗余。
第一方面，本申请提供了一种图像处理方法。所述方法包括：
获取初始RAW图像数据和对应的陀螺仪数据；
将所述初始RAW图像数据转换为初始YUV图像数据；
基于陀螺仪与图像传感器之间的位置关系，根据所述陀螺仪数据确定所述图像传感器在采集所述初始RAW图像数据时的抖动轨迹；
根据所述图像传感器的抖动轨迹确定所述图像传感器对应的模糊核；
根据所述模糊核对所述初始YUV图像数据中的Y通道数据进行去模糊处理，得到目标YUV图像。
第二方面，本申请还提供了一种图像处理装置。所述装置包括：
初始数据获取模块，用于获取初始RAW图像数据和对应的陀螺仪数据；
图像格式转换模块，用于将所述初始RAW图像数据转换为初始YUV图像数据；
抖动轨迹确定模块，用于基于陀螺仪与图像传感器之间的位置关系，根据所述陀螺仪数据确定所述图像传感器在采集所述初始RAW图像数据时的抖动轨迹；
模糊核确定模块，用于根据所述图像传感器的抖动轨迹确定所述图像传感器对应的模糊核；
抖动模糊处理模块，用于根据所述模糊核对所述初始YUV图像数据中的Y通道数据进行去模糊处理，得到目标YUV图像。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取初始RAW图像数据和对应的陀螺仪数据；
将所述初始RAW图像数据转换为初始YUV图像数据；
基于陀螺仪与图像传感器之间的位置关系，根据所述陀螺仪数据确定所述图像传感器在采集所述初始RAW图像数据时的抖动轨迹；
根据所述图像传感器的抖动轨迹确定所述图像传感器对应的模糊核；
根据所述模糊核对所述初始YUV图像数据中的Y通道数据进行去模糊处理，得到目标YUV图像。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取初始RAW图像数据和对应的陀螺仪数据；
将所述初始RAW图像数据转换为初始YUV图像数据；
基于陀螺仪与图像传感器之间的位置关系，根据所述陀螺仪数据确定所述图像传感器在采集所述初始RAW图像数据时的抖动轨迹；
根据所述图像传感器的抖动轨迹确定所述图像传感器对应的模糊核；
根据所述模糊核对所述初始YUV图像数据中的Y通道数据进行去模糊处理，得到目标YUV图像。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取初始RAW图像数据和对应的陀螺仪数据；
将所述初始RAW图像数据转换为初始YUV图像数据；
基于陀螺仪与图像传感器之间的位置关系，根据所述陀螺仪数据确定所述图像传感器在采集所述初始RAW图像数据时的抖动轨迹；
根据所述图像传感器的抖动轨迹确定所述图像传感器对应的模糊核；
根据所述模糊核对所述初始YUV图像数据中的Y通道数据进行去模糊处理，得到目标YUV图像。
上述图像处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品，根据陀螺仪数据确定图像传感器在采集初始RAW图像数据时的抖动轨迹，根据抖动轨迹可准确确定图像传感器的模糊核，根据模糊核对初始YUV图像数据中的Y通道数据进行去模糊处理，由于抖动造成的模糊程度对各个颜色通道的模糊是相同的，因此针对图像细节更多的Y通道数据进行去模糊处理，可以大大减少算法的计算量，避免不必要的计算冗余，提高运算速度，同时通过更加准确的模糊核可实现较好的去模糊效果，得到清晰度更高的目标YUV图像。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中图像处理方法的应用环境图；
图2为一个实施例中图像处理方法的流程图；
图3为一个实施例中步骤206的流程图；
图4为一个实施例中步骤302的流程图；
图5为一个实施例中步骤402的流程图；
图6为一个实施例中以陀螺仪为中心建立的空间直角坐标系示意图；
图7为一个实施例中以陀螺仪为中心建立的极坐标系示意图；
图8为一个实施例中步骤208的流程图；
图9为一个实施例中电子设备在与图像传感器相面垂直的方向上抖动产生弥散圆斑的示意图；
图10为一个实施例中图像传感器中目标位置在移动过程中产生弥散圆斑的示意图；
图11为一个实施例中目标位置对应的第一模糊核的计算方式示意图；
图12为一个实施例中根据模糊核对卷积神经网络进行训练的流程示意图；
图13为另一个实施例中图像处理方法的流程示意图；
图14为另一个实施例中图像处理方法的流程示意图；
图15为一个实施例中图像处理装置的结构框图；
图16为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的图像处理方法，以运行在电子设备上为例进行说明。如图1所示，电子设备100可以是终端也可以是服务器，终端可以是但不限于是各种个人计算机、照相机、扫描仪、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。
在一个实施例中，电子设备具有摄像头、陀螺仪(gyroscope)等部件，电子设备的操作系统可以包括Android(安卓)、IOS(Input Output System)、Windows Phone、Windows等等，可以支持多种应用的运行，例如，地图应用、游戏应用等等。摄像头是一种图像数据的采集装置，可以用于拍摄，可以是前置或后置的，摄像头一般可以包括镜头、基座、红外滤波片、图像传感器、电路板等部件。陀螺仪可以测量角速度和加速度，具有高动态特性。可以理解地，陀螺仪并非是安装在摄像头中的传感器，而是电子设备中一个通用的传感器，可同时供多个应用进行调用，以进行相关的业务操作。例如，相机应用可以调用陀螺仪进行图像处理，地图应用可以调用陀螺仪进行导航，游戏应用可以调用陀螺仪进行AR(AugmentedReality，增强现实)三维建模等。
在一个实施例中，如图2所示，提供了一种图像处理方法，包括以下步骤202至步骤210。
步骤202，获取初始RAW图像数据和对应的陀螺仪数据。
初始RAW图像数据，是指图像传感器获取的尚未被处理、打印或编辑过的原始图像文件。
本实施例中，电子设备在接收到摄像头的启动指令时，可以调用摄像头在曝光时长内采集初始RAW图像数据，同时，调用陀螺仪测量对应的陀螺仪数据，例如角速度数据和加速度数据。摄像头的启动指令是指启动摄像头的指示，可以通过点击相机应用，或者按下指定按键等方式触发摄像头的启动指令。在电子设备发生抖动时，陀螺仪可以测量抖动前后或者是指定时间内的陀螺仪数据。可选地，电子设备可获取曝光时长内采集的初始RAW图像数据和陀螺仪数据。
在一个可选的实施例中，图像传感器输出的原始数据在经过坏点校正(Bad PixelCorrection，BPC)、黑电平校正(Black Level Correction，BLC)以及镜头渐晕校正(LensShadow Correction，LSC)、降噪及自动白平衡校正(Automatic White Balance，AWB)之后，得到初始RAW图像数据。坏点校正，是指图像传感器中的传感器上每一光线采集的点形成的阵列工艺存在缺陷，或光信号进行转换的过程中出现错误，造成图像上有些像素的信息有误，对有缺陷的像素进行校正。黑电平，是指当图像数据为0时对应的信号电平，实际情况中图像传感器电路中存在暗电流，导致没有光线输入的时候也有一定的输出电压，需要通过校正将这部分输出值去除，使得传感器电路的输出电压与输入的亮度成正比。由于镜头的光学特性，传感器影像区的边缘区域接收的光强比中心小，会造成中心和周边亮度不一致的现象，因此，需要通过LSC使得通过镜头发生衰减的能量回复到衰减前的状态。
步骤204，将初始RAW图像数据转换为初始YUV图像数据。
电子设备可以将初始RAW图像数据转换为初始YUV图像数据。可选地，电子设备可以将初始RAW图像数据转换为RGB(红绿蓝)图像数据，然后将RGB图像数据转换为对应的初始YUV图像数据。其中，Y表示明亮度(Luminance或Luma)，即灰阶值，U和V表示的是色度(Chrominance或Chroma)，描述图像的色彩及饱和度。
步骤206，基于陀螺仪与图像传感器之间的位置关系，根据陀螺仪数据确定图像传感器在采集初始RAW图像数据时的抖动轨迹。
由于陀螺仪和图像传感器通常安装在电子设备的不同位置，因此，在获取陀螺仪数据后，需要基于陀螺仪与图像传感器之间的位置关系，通过陀螺仪数据确定图像传感器在采集初始RAW图像数据时的抖动轨迹。
可选地，可以将陀螺仪与图像传感器建立在同一坐标系中，使用陀螺仪的坐标来表征图像传感器的坐标。例如，以陀螺仪为原点建立空间直角坐标系及对应的极坐标系，可以通过获取的陀螺仪数据或者陀螺仪的极坐标值，根据极坐标与空间直角坐标之间的转换关系，可得到对应空间直角坐标系中图像传感器的坐标值。
由于在电子设备发生抖动时，陀螺仪数据也在不断发生变化，可通过设置预设采样时长，其中，采集初始RAW图像数据的曝光时长可以包括多个预设采样时长，每间隔预设采样时长对陀螺仪数据进行一次采集，每次采集得到的陀螺仪数据都会对应一个陀螺仪的极坐标，根据极坐标与空间直角坐标之间的转换关系，得到对应图像传感器在空间直角坐标系中的坐标，根据每次采集的陀螺仪数据对应的图像传感器的坐标，将图像传感器的坐标按照预设顺序连接，可得到图像传感器的抖动轨迹。
可选地，可以将图像传感器划分为多个区域，每个区域至少包括一个目标位置，根据陀螺仪数据确定每个目标位置在采集初始RAW图像数据时的抖动轨迹，从而得到每个区域在采集初始RAW图像数据时的抖动轨迹，最终得到图像传感器在采集初始RAW图像数据时的抖动轨迹。
步骤208，根据图像传感器的抖动轨迹确定图像传感器对应的模糊核。
图像传感器的抖动轨迹通常是通过图像传感器上至少一个目标位置的抖动轨迹来进行表征。针对一个目标位置的抖动轨迹来说，可以将该目标位置的抖动轨迹对应的坐标直接作为对应的点扩散函数(Point Spread Function，PSF)，但是针对景深较浅的镜头来说，当垂直于图像传感器像面的方向的坐标改变时，会导致相应方向的弥散斑的大小发生变化，因此，可以根据目标位置的抖动轨迹对应的坐标以及相应弥散斑的大小，确定目标位置在各个坐标时对应的点扩散函数，进一步根据点扩散函数确定该目标位置对应的模糊核(Blur Kernel)。
其中，点光源(即星点)经过光学系统后在图像传感器像面前后不同截面上所成的衍射像的光强分布即为弥散斑。弥散圆斑即具有圆形状的弥散斑。点扩散函数，用于表征输入物为一点光源时其输出像的光场分布。模糊核实际上是一个矩阵，清晰图像与模糊核卷积后导致图像变得模糊，因此叫模糊核。模糊核是卷积核的一种，图像卷积操作的本质是矩阵卷积。也就是说，图像模糊可以看作是清晰图像卷积模糊核得到模糊图像的过程。
可选地，电子设备可以根据目标位置的抖动轨迹对应的坐标和弥散圆斑，确定目标位置对应的模糊核，基于各个目标位置对应的模糊核可确定图像传感器对应的模糊核。
步骤210，根据模糊核对初始YUV图像数据中的Y通道数据进行去模糊处理，得到目标YUV图像。
可以理解地，初始RAW图像数据是电子设备采集的，具有抖动模糊，对应地，初始YUV图像数据也具有抖动模糊。根据模糊核的定义，通过模糊核对初始YUV图像数据中的Y通道数据进行去模糊处理，可得到清晰的目标YUV图像。
可选地，可以通过模糊核对初始YUV图像数据中的Y通道数据进行解卷积处理，得到目标YUV图像。
可选地，可以基于模糊核，将已有的清晰图像进行卷积得到对应的模糊图像，通过清晰图像和模糊图像组成的图像对，对卷积神经网络进行训练，得到目标卷积神经网络，将初始YUV图像数据中的Y通道数据输入目标卷积神经网络中，可得到目标YUV图像。
上述图像处理方法中，根据陀螺仪数据确定图像传感器在采集初始RAW图像数据时的抖动轨迹，根据抖动轨迹可准确确定图像传感器的模糊核，根据模糊核对初始YUV图像数据中的Y通道数据进行去模糊处理，由于抖动造成的模糊程度对各个颜色通道的模糊是相同的，因此针对图像细节更多的Y通道数据进行去模糊处理，可以大大减少算法的计算量，避免不必要的计算冗余，提高运算速度，同时通过更加准确的模糊核可实现较好的去模糊效果，得到清晰度更高的目标YUV图像。另外，电子设备使用原有的陀螺仪，即可辅助对初始RAW图像数据进行去模糊处理，相比于传统的OIS(Optical Image Stabilizer，光学图像稳定器)的方式，可以节约硬件成本。
在一个实施例中，如图3所示，图像传感器包括多个区域；步骤206中根据陀螺仪数据确定图像传感器在采集初始RAW图像数据时的抖动轨迹，包括以下步骤302至步骤304。
步骤302，针对图像传感器的每个区域，根据陀螺仪数据确定每个区域在采集初始RAW图像数据时的第一抖动轨迹。
本实施例中，图像传感器包括多个区域，具体将图像传感器划分为多个区域的划分方式可以根据需要进行设置。例如，图像传感器的长宽比为4:3时，将图像传感器均匀划分为16*12个区域。
可以理解地，图像传感器中的区域是用于做空间非一致去模糊的，每个区域在采集初始RAW图像数据时的第一抖动轨迹不同，对应的模糊核也不相同，初始RAW图像数据中每个区域使用对应的模糊核进行去模糊处理。
可选地，图像传感器的每个区域至少包括一个目标位置，根据陀螺仪数据确定目标位置在采集初始RAW图像数据时的第二抖动轨迹，根据区域中每个目标位置对应的第二抖动轨迹，确定该区域在采集初始RAW图像数据时的第一抖动轨迹。
步骤304，根据各个区域对应的第一抖动轨迹，确定图像传感器在采集初始RAW图像数据时的抖动轨迹。
可选地，将图像传感器中所有区域对应的第一抖动轨迹，作为图像传感器在采集初始RAW图像数据时的抖动轨迹。示例性说明，图像传感器包括A区域、B区域和C区域，将图像传感器中A区域对应的第一抖动轨迹，作为图像传感器中A区域在采集初始RAW图像数据时的抖动轨迹，将图像传感器中B区域对应的第一抖动轨迹，作为图像传感器中B区域在采集初始RAW图像数据时的抖动轨迹，将图像传感器中C区域对应的第一抖动轨迹，作为图像传感器中C区域在采集初始RAW图像数据时的抖动轨迹。
本实施例中，针对图像传感器的每个区域，根据陀螺仪数据，可以确定图像传感器上各区域的第一抖动轨迹，根据各个区域的第一抖动轨迹可以确定相应区域的模糊核，从而可以针对初始RAW图像数据中的对应区域进行去模糊处理，得到各个区域更清晰的目标RAW图像。
在一个实施例中，如图4所示，每个区域至少包括一个目标位置；针对图像传感器的每个区域，根据陀螺仪数据确定每个区域在采集所述初始RAW图像数据时的第一抖动轨迹的步骤302，包括以下步骤402至步骤406。
步骤402，针对每个目标位置，根据陀螺仪数据确定目标位置从第一坐标变换到第二坐标的仿射矩阵；其中，第一坐标对应的第一采样时刻与第二坐标对应的第二采样时刻间隔预设采样时长。
本实施例中，图像传感器上的每个区域至少包括一个目标位置。其中，每个区域中的目标位置的具体位置和数量均可以根据需要进行设置。示例性地，区域中的目标位置可以是该区域的中心点或边缘点等。
可选地，在曝光时长内，间隔预设采样时长对陀螺仪数据进行采集，根据每次采集的陀螺仪数据确定目标位置从第一坐标变换到第二坐标的仿射矩阵，其中，第一坐标对应的第一采样时刻与第二坐标对应的第二采样时刻间隔预设采样时长。示例性地，t1时刻目标位置对应第一坐标，从t1时刻开始间隔预设时长Δt后到达t2时刻，在t2时刻采集陀螺仪数据，在t2时刻目标位置对应的是第二坐标，当要确定目标位置的第二坐标时，根据t1时刻和t2时刻之间的陀螺仪数据可确定第一坐标变换到第二坐标的仿射矩阵。预设采样时长可根据需要进行设置。
步骤404，根据仿射矩阵，确定目标位置在采集初始RAW图像数据时的第二抖动轨迹。
根据每次采集的陀螺仪数据，确定目标位置从第一坐标变换到第二坐标的仿射矩阵，从而根据第一坐标和仿射矩阵得到位置变动后的第二坐标，当得到目标位置在所有采样时刻对应的坐标时，根据采样时刻由小到大或由大到小的顺序将对应坐标连接，即可得到目标位置在采集初始RAW图像数据时的第二抖动轨迹。
步骤406，根据区域上各个目标位置所对应的第二抖动轨迹，确定区域在采集初始RAW图像数据时的第一抖动轨迹。
可选地，当区域中包括一个目标位置时，则将该目标位置对应的第二抖动轨迹作为该区域在采集初始RAW图像数据时的第一抖动轨迹。当区域中包括至少两个目标位置时，可以将各个目标位置对应的第二抖动轨迹的平均值，作为该区域在采集初始RAW图像数据时的第一抖动轨迹。
需要说明的是，若区域中包括至少两个目标位置，还可以采用其他方式确定对应区域的第一抖动轨迹，如加权平均、如筛选处理等方式，在此不做限定。可以理解地，在使用筛选处理的方式确定区域的第一抖动轨迹时，可以根据预设筛选条件从各个目标位置对应的第二抖动轨迹中筛选出一个目标位置对应的第二抖动轨迹，作为该区域对应的第一抖动轨迹。
本实施例中，根据区域中的目标位置对应的第二抖动轨迹确定区域在采集初始RAW图像数据时的第一抖动轨迹，可以更准确地确定图像传感器中每个区域对应的第一抖动轨迹，根据第一抖动轨迹确定区域对应的模糊核，最终得到各个区域更清晰的目标RAW图像。
在一个实施例中，如图5所示，陀螺仪数据包括加速度数据和角速度数据；步骤402中根据陀螺仪数据确定目标位置从第一坐标变换到第二坐标的仿射矩阵，包括以下步骤502至步骤506。
步骤502，根据加速度数据，确定陀螺仪从第一采样时刻到第二采样时刻的平移距离；以及根据角速度数据，确定陀螺仪从第一采样时刻到第二采样时刻的旋转角度。
陀螺仪数据包括加速度数据和角速度数据，其中，加速度数据包括线性加速度数据。对线性加速度数据进行二次积分，可得到陀螺仪从第一采样时刻到第二采样时刻的平移距离，即第一坐标到第二坐标在各坐标轴方向上的平移距离。对角速度进行二次积分，可得到陀螺仪从第一采样时刻到第二采样时刻的旋转角度，即是第一坐标到第二坐标对应各坐标轴的旋转角度。
步骤504，根据平移距离，确定目标位置从第一坐标变换到第二坐标的平移量；以及根据旋转角度，确定目标位置从第一坐标变换到第二坐标的旋转量。
可选地，电子设备获取陀螺仪和图像传感器之间的位置关系，基于该位置关系建立以陀螺仪为中心的坐标系，当确定陀螺仪从第一采样时刻到第二采样时刻对应的平移距离和旋转角度时，对应可以确定图像传感器中目标位置从第一采样时刻到第二采样时刻之间的平移量和旋转量。
步骤506，根据平移量和旋转量，确定目标位置从第一坐标变换到第二坐标的仿射矩阵。
可选地，根据第一坐标和平移量，得到第一平移坐标，根据第一坐标和旋转量，得到第一旋转坐标；根据第一平移坐标和第一旋转坐标，可得到第二坐标，例如，可以将第一平移坐标和第二旋转坐标相加，得到第二坐标。
根据仿射矩阵，确定目标位置在采集所述初始RAW图像数据时的第二抖动轨迹的步骤404，包括：
根据各个预设采样时长对应的仿射矩阵，确定目标位置在各采样时刻对应的坐标；其中，各采样时刻对应的坐标用于表征第二抖动轨迹。
在确定预设采样时长的仿射矩阵对应的第二坐标后，电子设备根据各个预设采样时长对应的仿射矩阵，可以确定目标位置在各采样时刻对应的坐标，目标位置在各采样时刻对应的坐标即表征目标位置的第二抖动轨迹。
在一个示例中，如图6所示，以陀螺仪为中心建立空间直角坐标系，那么，陀螺仪的坐标为(0,0,0)，选取图像传感器的中心点作为目标位置，目标位置的初始坐标作为第一坐标为(x0,y0,z0)，图像传感器边缘点的坐标为(xi,yi,zi)。
在曝光时长T内，电子设备每间隔预设采样时长Δt采集一次陀螺仪数据，采样次数n＝T/Δt，对每次采集的陀螺仪数据进行两次时间上的积分，得到陀螺仪分别在X方向、Y方向及Z方向的平移距离和旋转角度，再将陀螺仪在X方向、Y方向及Z方向的平移距离和旋转角度，分别转换为图像传感器在X方向、Y方向及Z方向的平移量和旋转量。
电子设备将目标位置在X方向、Y方向及Z方向的平移量和对应方向的初始坐标相加，得到预设采样时长后目标位置在X方向、Y方向及Z方向上的坐标值，如下公式(1)所示。
Figure BDA0003792015710000111
其中，x0、y0、z0分别是图像传感器在X方向、Y方向和Z方向的初始坐标的坐标值，Δx、Δy、Δz分别是目标位置经过预设采样时长在X方向、Y方向和Z方向的平移量，
Figure BDA0003792015710000112
Figure BDA0003792015710000113
分别是目标位置经过预设采样时长在X方向、Y方向和Z方向对应的坐标值，
Figure BDA0003792015710000114
是第一平移坐标。
对于轴上的旋转，可以通过极坐标系与空间直角坐标系之间的映射关系，得到各个方向对应的旋转量。如图7所示为以陀螺仪为中心的极坐标系，陀螺仪的坐标为(0，0)，图像传感器在Z轴上旋转Δωz的角度，若目标位置在极坐标系中的初始坐标作为第一坐标为(x0,y0,z0)，旋转后的坐标为(x0′，y0′,z0′)。
在预设采样时长内，当Z轴发生旋转时，其在XY平面上的投影会发生位置变换，经过极坐标变换后可得到Z轴旋转对应的第一旋转坐标，如公式(2)所示。
Figure BDA0003792015710000115
同理，对于X轴和Y轴的旋转，也可以得到对应的第一旋转坐标。针对于当X轴旋转时，对应的第一旋转坐标如公式(3)所示：
Figure BDA0003792015710000116
针对于Y轴旋转时，对应的第一旋转坐标如公式(4)所示：
Figure BDA0003792015710000117
其中，Δωz，Δωx和Δωy分别是在Z轴、X轴和Y轴上的旋转量，可以理解的是，目标位置是在轴上旋转，那么对应方向的坐标不变，例如，在Z轴上旋转，那么Z方向的坐标不变。
在实际应用中，目标位置在预设采样时长内可能在X轴、Y轴和Z轴中的至少一个轴发生旋转，也可能都不发生旋转，那么，此时只有平移，即只会产生平移量。
将发生旋转时对应旋转方向的各旋转坐标值相加，得到第一旋转坐标。例如，当X轴和Z轴旋转时，则将X轴旋转对应的
Figure BDA0003792015710000121
和Z轴旋转对应的
Figure BDA0003792015710000122
相加，将X轴旋转对应的
Figure BDA0003792015710000123
和Z轴旋转对应的
Figure BDA0003792015710000124
相加，将X轴旋转对应的
Figure BDA0003792015710000125
和Z轴旋转对应的
Figure BDA0003792015710000126
相加，得到第一旋转坐标。
将第一平移坐标和第一旋转坐标对应的坐标值相加，得到第二坐标。
在此需要说明的是，上述公式(1)至公式(4)均属于目标位置从第一坐标变换到第二坐标的仿射矩阵。根据实际应用中发生旋转的坐标轴选取对应的仿射矩阵，例如，当只有Z轴发生旋转时，那么仿射矩阵为公式(1)和公式(2)。
可选的，电子设备将图像传感器上目标位置每间隔预设采样时长得到的第二坐标组合，得到目标位置的第二抖动轨迹。示例性地，目标位置的初始坐标为(x0,y0,z0)，每间隔预设采样时长得到的第二坐标为
Figure BDA0003792015710000127
其中，n为正整数，那么目标位置的第二抖动轨迹为
Figure BDA0003792015710000128
对于图像传感器上其他位置的第二抖动轨迹，也可以使用上述相同的方法计算得到，在此不再赘述。
本实施例中，电子设备根据预设采样时长内的加速度数据和角速度数据，确定陀螺仪在预设采样时长内的平移距离和旋角度，进而得到图像传感器上目标位置对应的平移量和旋转量，根据平移量和旋转量确定相应的仿射矩阵，根据仿射矩阵可确定目标位置每间隔预设采样时长对应的第二坐标，从而准确确定目标位置对应的第二抖动轨迹。
在一个实施例中，如图8所示，根据图像传感器的抖动轨迹确定图像传感器对应的模糊核的步骤208，包括步骤802至步骤808。
步骤802，根据目标位置在各采样时刻对应的坐标，确定目标位置在各采样时刻对应坐标的点扩散函数。
可选地，在图像传感器像面方向上发生的抖动，只需要考虑相应抖动发生的位置变化，不会造成抖动造成的弥散斑大小发生变化，即可以将目标位置在各采样时刻对应的坐标作为目标位置在各采样时刻对应的点扩散函数。
在与图像传感器像面方向垂直的方向发生抖动时，会导致因抖动造成的弥散斑大小发生变化，则根据目标位置在各采样时刻对应的坐标和弥散斑大小，确定目标位置在采样时刻对应坐标的点扩散函数。例如，图像传感器像面处于X方向和Y方向上，那么与图像传感器像面方向垂直的方向为Z方向。
步骤804，根据点扩散函数，确定目标位置对应的第一模糊核。
可选地，可以将目标位置在各采样时刻对应坐标的点扩散函数进行积分，得到目标位置对应的第一模糊核。进一步地，可以将目标位置在各采样时刻对应坐标的点扩散函数相加再计算平均值，得到目标位置对应的第一模糊核。
步骤806，根据各个目标位置对应的第一模糊核，得到区域对应的第二模糊核。
可选地，电子设备将区域中各个目标位置对应的第一模糊核进行积分，得到该区域对应的第二模糊核。进一步地，电子设备可以将各个目标位置对应的第一模糊核相加求平均值，得到该区域对应的第二模糊核。或者，电子设备可以将各个目标位置对应的第一模糊核进行加权平均，得到该区域对应的第二模糊核，例如，可以根据该区域中各目标位置所在的具体位置情况来确定各目标位置对应的权重。再或者，电子设备可以将各个目标位置对应的第一模糊核的中间值，作为该区域对应的第二模糊核。
步骤808，根据各个区域对应的第二模糊核，确定图像传感器对应的模糊核。
图像传感器包括多个区域，每个区域对应一个第二模糊核，在得到所有区域对应的第二模糊核后，得到图像传感器对应的模糊核。
本实施例中，电子设备通过目标位置在各个坐标对应的点扩散函数确定对应的第一模糊核，然后根据区域中各个目标位置对应的第一模糊核确定区域对应的第二模糊核，从而得到图像传感器对应的模糊核，可准确确定图像传感器的模糊核，避免单个位置的模糊核数据带来误差。
在一些实施例中，根据目标位置在各采样时刻对应的坐标，确定目标位置在各采样时刻对应坐标的点扩散函数的步骤802，包括：
根据目标位置在各采样时刻对应的坐标和拍照参数，确定目标位置在各采样时刻对应坐标的点扩散函数。
可选地，当电子设备在与图像传感器像面垂直的方向上发生抖动时，目标位置的理想的成像点会弥散成较大的圆斑。如图9所示，电子设备在拍摄过程中在与图像传感器像面垂直的方向上发生抖动，拍摄对象的相对位置由A点移动到B点，则电子设备中图像传感器像面上生成弥散圆斑。虽然在与图像传感器像面垂直的方向上发生抖动并未引起模糊核的移动，但会改变模糊核的大小。
电子设备基于目标位置在各采样时刻对应的坐标和弥散圆斑，确定目标位置在各采样时刻对应的坐标的点扩散函数。可选地，电子设备获取目标位置在各个采样时刻对应的坐标及每个坐标对应的弥散圆斑；将每个坐标调整至对应弥散圆斑的尺寸，得到每个坐标对应的点扩散函数。其中，弥散圆斑的尺寸包括弥散圆斑的直径、半径、周长和面积等信息。弥散圆斑的尺寸可以反映出对应模糊核的尺寸。每个坐标对应的弥散圆斑的尺寸可以相同，也可以不同。
本实施例中，拍照参数是指拍摄图像时的参数，包括焦距、透镜的直径、拍摄对象的位置到透镜的距离、像距等。电子设备通过确定弥散圆斑的尺寸可得到图像传感器上的弥散圆斑。
在一个示例中，结合图9说明，可以通过以下公式(5)计算弥散圆斑的尺寸。
Figure BDA0003792015710000141
其中，δ是弥散圆斑的直径，μB是B点到透镜的距离，μA是A点到透镜的距离，f是焦距，D是透镜的直径，Δz是与图像传感器像面垂直的方向上的移动距离。其中，电子设备中定焦镜头的μA参数已知，获取到与图像传感器像面垂直的方向上的移动距离Δz，则可以计算出μB参数，再获取焦距f和透镜的直径D，则可以计算出弥散圆斑的直径。
针对图像传感器中每个区域中的目标位置，均可以采用上述方式得到对应的点扩散函数。如图10所示，在曝光时长内的t1时刻，某一个区域中的目标位置的坐标为(x1，y1，z1)，产生的弥散圆斑直径为1个像素大小；在t2时刻，该目标位置的坐标为(x2，y2，z2)，即该目标位置在x方向上移动(x2-x1)的距离，在y方向上移动(y2-y1)的距离，并且基于图像传感器在z方向上的移动距离(z2-z1)，确定图像传感器成像面上的弥散圆斑的直径；在t3时刻，该目标位置的坐标为(x3，y3，z3)，即该目标位置在x方向上移动(x3-x2)的距离，在y方向上移动(y3-y2)的距离，并且基于图像传感器在z方向上的移动距离(z3-z2)，确定图像传感器成像面上的弥散圆斑的直径。其中，(x2-x1)、(y2-y1)、(z2-z1)、(x3-x2)、(y3-y2)、(z3-z2)均用于表征前后坐标值之间的差值。
本实施例中，根据目标位置在各采样时刻对应的坐标和拍照参数确定各个坐标对应的点扩散函数，点扩散函数不仅考虑了目标位置在各个时刻对应的坐标，即第二抖动轨迹，还考虑了电子设备在与图像传感器像面垂直的方向上移动所产生的弥散圆斑，可以更准确地表征电子设备在相应方向上移动所产生的模糊核。
在一些实施例中，根据点扩散函数，确定目标位置对应的第一模糊核，包括：计算目标位置对应的各个点扩散函数的平均值，将平均值作为目标位置对应的第一模糊核。
可选地，电子设备对目标位置的第二抖动轨迹和弥散圆斑进行积分处理，得到目标位置对应的第一模糊核。在一个示例中，如图11所示，电子设备获取曝光时长内t1时刻、t2时刻、t3时刻直到tn时刻的第二移动轨迹和弥散圆斑，在时间上积分，例如先求和再求取平均值，得到目标位置对应的第一模糊核。
在一个实施例中，根据模糊核对初始YUV图像数据中的Y通道数据进行去模糊处理，得到目标YUV图像的步骤210，包括：根据模糊核生成模糊Y通道图像，并根据模糊Y通道图像对卷积神经网络进行训练，得到目标卷积神经网络；将初始YUV图像数据中的Y通道数据输入目标卷积神经网络，得到目标YUV图像。
可选地，在得到图像传感器中的每个区域对应的第一模糊核后，根据各个第一模糊核将清晰图像的对应区域进行模糊化，可以是将清晰图像的对应区域与对应的第一模糊核进行卷积，得到对应区域的模糊图像，将所有区域的模糊图像拼接得到清晰图像对应的模糊图像。
根据清晰图像中的Y通道图像和清晰图像对应的模糊图像中的Y通道图像组成的图像对，对卷积神经网络进行训练，当满足预设训练条件时，得到目标卷积神经网络。其中，清晰图像可以是满足图像清晰度要求的图像，具体获取清晰图像的方式不作具体限定。训练条件可以根据具体应用场景进行设置，例如可以是达到预设训练次数或者是损失函数值小于预设值等。本实施例中，将初始YUV图像数据中的Y通道数据输入目标卷积神经网络，得到对应去模糊后的Y通道数据，根据去模糊后的Y通道数据可得到清晰的目标YUV图像。
在一个示例中，根据模糊核对卷积神经网络进行训练的流程示意图如图12所示，将获取的RGB清晰图像进行Gamma(伽马校正)、CCM(Color Correction，色彩校正)、AWB(Automatic White Balance，自动白平衡)等处理后，得到第一图像，使用模糊核对第一图像进行卷积，并对卷积结果进行增噪处理，得到模糊RAW图像；将第一图像作为清晰RAW图像；将模糊RAW图像和清晰RAW图像再次进行Gamma、CCM、AWB处理后转换为对应的模糊RGB图像和清晰RGB图像，将模糊RGB图像和清晰RGB图像转换为对应的模糊YUV图像和清晰YUV图像，根据模糊YUV图像中的模糊Y通道图像和清晰YUV图像中的清晰Y通道图像组成的图像对，对卷积神经网络进行训练，满足预设训练条件后，得到目标卷积神经网络。
本实施例中根据模糊核生成模糊Y通道图像，根据清晰图像中的清晰Y通道图像和模糊图像中的模糊Y通道图像对卷积神经网络进行训练，得到目标卷积神经网络，通过将模糊的初始YUV图像数据中的Y通道数据输入目标卷积神经网络中，即可方便快速地得到清晰度较高的目标YUV图像。
在一个实施例中，根据模糊核对初始YUV图像数据中的Y通道数据进行去模糊处理，得到目标YUV图像的步骤210，包括：采用与Y通道数据对应位置的模糊核，对Y通道数据进行解卷积，得到第一图像；将各个第一图像进行拼接，得到目标YUV图像。
可选地，根据Y通道数据所对应的图像传感器中的区域，采用对应区域所对应的第二模糊核，对相应Y通道数据进行解卷积，得到第一图像。例如，若Y通道数据对应图像传感器中的第一个区域，则采用第一个区域对应的第二模糊核对Y通道数据进行解卷积，得到第一图像。其中，解卷积可以使用维纳滤波、Patch-wise、Richard-Lucy等解卷积算法。
在一个示例中，采用对应区域所对应的第二模糊核对相应Y通道数据进行解卷积，与Y通道对应的U通道和V通道不作处理，那么，根据解卷积后的Y通道数据和初始YUV图像数据中的U通道数据和V通道数据，得到第一图像。将各个区域对应的第一图像进行拼接，得到目标YUV图像。
本实施例中，采用与Y通道数据对应位置的模糊核对Y通道进行解卷积，得到第一图像，进而得到目标YUV图像，可使得解卷积后的Y通道数据的清晰度更高，从而得到更清晰的目标YUV图像。
在一个实施例中，图像处理方法的流程如图13所示，图像传感器输出的原始RAW图像数据经过坏点校正、黑电平校正以及镜头渐晕校正、降噪及AWB后，得到初始RAW图像数据；将初始RAW图像数据转换为初始RGB图像数据，例如通过插值转换为初始RGB图像数据；将初始RGB图像数据进行gamma校正、CCM处理后转换为初始YUV图像数据，对初始YUV图像数据中的Y通道数据进行去模糊处理，得到目标YUV图像，对目标YUV图像进行降噪、锐化等处理后得到目标图像。
本实施例中，通过对初始YUV图像数据中的Y通道数据进行去模糊处理，在去模糊之前进行的处理流程均为线性处理，降噪、锐化等非线性处理流程在得到目标YUV数据之后进行，可使得对因为抖动产生模糊的图像恢复更加准确，即得到的目标图像的清晰度更高，同时，减少了去模糊算法的计算量，避免多通道计算冗余，提高了运算速度。
在一个实施例中，图像处理方法的流程如图14所示，开启相机快门进行曝光，在曝光时长内，采集初始RAW图像数据和对应的陀螺仪数据；根据图像传感器和陀螺仪的位置关系，建立相应坐标系可使用统一的标准表征陀螺仪位置和图像传感器位置，并根据陀螺仪数据确定图像传感器在采集初始RAW图像数据时坐标变化对应的仿射矩阵；根据各仿射矩阵确定图像传感器的抖动轨迹，根据图像传感器的抖动轨迹确定图像传感器在曝光时长内的模糊核；将初始RAW图像数据进行第一部分的图像处理流程处理后得到初始YUV图像数据，根据模糊核对初始YUV图像数据中的Y通道数据进行去模糊处理，得到目标YUV图像，进一步地，对目标YUV图像进行第二部分的图像处理流程，得到清晰的目标图像。其中，第一部分的图像处理流程例如可以是坏点校正、黑电平校正以及镜头渐晕校正、降噪、格式转换等处理流程，第二部分的图像处理流程例如可以是降噪、锐化等处理流程。
本实施例中，通过对图像细节更多的Y通道数据进行去模糊处理，可以大大减少算法的计算量，提高运算速度，同时通过准确的模糊核可实现较好的去模糊效果，得到清晰度更高的目标YUV图像，实现去除图像模糊的同时减少模糊算法计算冗余。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像处理方法的图像处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像处理装置实施例中的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。
在一个实施例中，如图15所示，提供了一种图像处理装置，包括：初始数据获取模块1502、图像格式转换模块1504、抖动轨迹确定模块1506、模糊核确定模块1508和抖动模糊处理模块1510，其中：
初始数据获取模块1502，用于获取初始RAW图像数据和对应的陀螺仪数据；
图像格式转换模块1504，用于将所述初始RAW图像数据转换为初始YUV图像数据；
抖动轨迹确定模块1506，用于基于陀螺仪与图像传感器之间的位置关系，根据所述陀螺仪数据确定所述图像传感器在采集所述初始RAW图像数据时的抖动轨迹；
模糊核确定模块1508，用于根据所述图像传感器的抖动轨迹确定所述图像传感器对应的模糊核；
抖动模糊处理模块1510，用于根据所述模糊核对所述初始YUV图像数据中的Y通道数据进行去模糊处理，得到目标YUV图像。
在一个实施例中，图像传感器包括多个区域；抖动轨迹确定模块1506还用于：针对图像传感器的每个区域，根据陀螺仪数据确定每个区域在采集初始RAW图像数据时的第一抖动轨迹；根据各个区域对应的第一抖动轨迹，确定图像传感器在采集初始RAW图像数据时的抖动轨迹。
在一个实施例中，每个区域至少包括一个目标位置；抖动轨迹确定模块1506还用于：针对每个目标位置，根据陀螺仪数据确定目标位置从第一坐标变换到第二坐标的仿射矩阵；其中，第一坐标对应的第一采样时刻与第二坐标对应的第二采样时刻间隔预设采样时长；根据仿射矩阵，确定目标位置在采集初始RAW图像数据时的第二抖动轨迹；根据区域上各个目标位置所对应的第二抖动轨迹，确定区域在采集初始RAW图像数据时的第一抖动轨迹。
在一个实施例中，陀螺仪数据包括加速度数据和角速度数据；抖动轨迹确定模块1506还用于：根据所述加速度数据，确定所述陀螺仪从所述第一采样时刻到所述第二采样时刻的平移距离；以及根据所述角速度数据，确定所述陀螺仪从所述第一采样时刻到所述第二采样时刻的旋转角度；根据所述平移距离，确定所述目标位置从所述第一坐标变换到所述第二坐标的平移量；以及根据所述旋转角度，确定所述目标位置从所述第一坐标变换到所述第二坐标的旋转量；根据所述平移量和旋转量，确定所述目标位置从所述第一坐标变换到所述第二坐标的仿射矩阵。根据各个所述预设采样时长对应的仿射矩阵，确定所述目标位置在各采样时刻对应的坐标；所述各采样时刻对应的坐标用于表征所述第二抖动轨迹。
在一个实施例中，模糊核确定模块1508还用于：根据所述目标位置在各采样时刻对应的坐标，确定所述目标位置在各采样时刻对应坐标的点扩散函数；根据所述点扩散函数，确定所述目标位置对应的第一模糊核；根据各个所述目标位置对应的第一模糊核，得到所述区域对应的第二模糊核；根据各个所述区域对应的第二模糊核，确定所述图像传感器对应的模糊核。
在一个实施例中，模糊核确定模块1508还用于：根据所述目标位置在各采样时刻对应的坐标和拍照参数，确定所述目标位置在各采样时刻对应坐标的点扩散函数。
在一个实施例中，模糊核确定模块1508还用于：计算所述目标位置对应的各个点扩散函数的平均值，将所述平均值作为所述目标位置对应的第一模糊核。
在一个实施例中，抖动模糊处理模块1510还用于：根据所述模糊核生成模糊Y通道图像，并根据所述模糊Y通道图像对卷积神经网络进行训练，得到目标卷积神经网络；将所述初始YUV图像数据中的Y通道数据输入所述目标卷积神经网络，得到所述目标YUV图像。
在一个实施例中，抖动模糊处理模块1510还用于：采用与所述Y通道数据对应位置的模糊核，对所述Y通道数据进行解卷积，得到第一图像；将各个所述第一图像进行拼接，得到所述目标YUV图像。
上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图16所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。
本领域技术人员可以理解，图16中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像处理方法的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方法。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (13)

1.一种图像处理方法，其特征在于，包括：
获取初始RAW图像数据和对应的陀螺仪数据；
将所述初始RAW图像数据转换为初始YUV图像数据；
基于陀螺仪与图像传感器之间的位置关系，根据所述陀螺仪数据确定所述图像传感器在采集所述初始RAW图像数据时的抖动轨迹；
根据所述图像传感器的抖动轨迹确定所述图像传感器对应的模糊核；
根据所述模糊核对所述初始YUV图像数据中的Y通道数据进行去模糊处理，得到目标YUV图像。
2.根据权利要求1所述的方法，其特征在于，所述图像传感器包括多个区域；所述根据所述陀螺仪数据确定所述图像传感器在采集所述初始RAW图像数据时的抖动轨迹，包括：
针对所述图像传感器的每个所述区域，根据所述陀螺仪数据确定每个所述区域在采集所述初始RAW图像数据时的第一抖动轨迹；
根据各个区域对应的第一抖动轨迹，确定所述图像传感器在采集所述初始RAW图像数据时的抖动轨迹。
3.根据权利要求2所述的方法，其特征在于，所述每个区域至少包括一个目标位置；所述针对所述图像传感器的每个所述区域，根据所述陀螺仪数据确定每个所述区域在采集所述初始RAW图像数据时的第一抖动轨迹，包括：
针对每个所述目标位置，根据所述陀螺仪数据确定所述目标位置从第一坐标变换到第二坐标的仿射矩阵；所述第一坐标对应的第一采样时刻与所述第二坐标对应的第二采样时刻间隔预设采样时长；
根据所述仿射矩阵，确定所述目标位置在采集所述初始RAW图像数据时的第二抖动轨迹；
根据所述区域上各个目标位置所对应的第二抖动轨迹，确定所述区域在采集所述初始RAW图像数据时的第一抖动轨迹。
4.根据权利要求3所述的方法，其特征在于，所述陀螺仪数据包括加速度数据和角速度数据；所述根据所述陀螺仪数据确定所述目标位置从第一坐标变换到第二坐标的仿射矩阵，包括：
根据所述加速度数据，确定所述陀螺仪从所述第一采样时刻到所述第二采样时刻的平移距离；以及根据所述角速度数据，确定所述陀螺仪从所述第一采样时刻到所述第二采样时刻的旋转角度；
根据所述平移距离，确定所述目标位置从所述第一坐标变换到所述第二坐标的平移量；以及根据所述旋转角度，确定所述目标位置从所述第一坐标变换到所述第二坐标的旋转量；
根据所述平移量和旋转量，确定所述目标位置从所述第一坐标变换到所述第二坐标的仿射矩阵；
所述根据所述仿射矩阵，确定所述目标位置在采集所述初始RAW图像数据时的第二抖动轨迹，包括：
根据各个所述预设采样时长对应的仿射矩阵，确定所述目标位置在各采样时刻对应的坐标；所述各采样时刻对应的坐标用于表征所述第二抖动轨迹。
5.根据权利要求4所述的方法，其特征在于，所述根据所述图像传感器的抖动轨迹确定图像传感器对应的模糊核，包括：
根据所述目标位置在各采样时刻对应的坐标，确定所述目标位置在各采样时刻对应坐标的点扩散函数；
根据所述点扩散函数，确定所述目标位置对应的第一模糊核；
根据各个所述目标位置对应的第一模糊核，得到所述区域对应的第二模糊核；
根据各个所述区域对应的第二模糊核，确定所述图像传感器对应的模糊核。
6.根据权利要求5所述的方法，其特征在于，所述根据所述目标位置在各采样时刻对应的坐标，确定所述目标位置在各采样时刻对应坐标的点扩散函数，包括：
根据所述目标位置在各采样时刻对应的坐标和拍照参数，确定所述目标位置在各采样时刻对应坐标的点扩散函数。
7.根据权利要求5所述的方法，其特征在于，所述根据所述点扩散函数，确定所述目标位置对应的第一模糊核，包括：
计算所述目标位置对应的各个点扩散函数的平均值，将所述平均值作为所述目标位置对应的第一模糊核。
8.根据权利要求1所述的方法，其特征在于，所述根据所述模糊核对所述初始YUV图像数据中的Y通道数据进行去模糊处理，得到目标YUV图像，包括：
根据所述模糊核生成模糊Y通道图像，并根据所述模糊Y通道图像对卷积神经网络进行训练，得到目标卷积神经网络；
将所述初始YUV图像数据中的Y通道数据输入所述目标卷积神经网络，得到所述目标YUV图像。
9.根据权利要求1所述的方法，其特征在于，所述根据所述模糊核对所述初始YUV图像数据中的Y通道数据进行去模糊处理，得到目标YUV图像，包括：
采用与所述Y通道数据对应位置的模糊核，对所述Y通道数据进行解卷积，得到第一图像；
将各个所述第一图像进行拼接，得到所述目标YUV图像。
10.一种图像处理装置，其特征在于，包括：
初始数据获取模块，用于获取初始RAW图像数据和对应的陀螺仪数据；
图像格式转换模块，用于将所述初始RAW图像数据转换为初始YUV图像数据；
抖动轨迹确定模块，用于基于陀螺仪与图像传感器之间的位置关系，根据所述陀螺仪数据确定所述图像传感器在采集所述初始RAW图像数据时的抖动轨迹；
模糊核确定模块，用于根据所述图像传感器的抖动轨迹确定所述图像传感器对应的模糊核；
抖动模糊处理模块，用于根据所述模糊核对所述初始YUV图像数据中的Y通道数据进行去模糊处理，得到目标YUV图像。
11.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至9中任一项所述的方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的方法的步骤。
13.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
CN202210957672.6A 2022-08-10 2022-08-10 图像处理方法、装置、电子设备和计算机可读存储介质 Pending CN115375568A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210957672.6A CN115375568A (zh) 2022-08-10 2022-08-10 图像处理方法、装置、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210957672.6A CN115375568A (zh) 2022-08-10 2022-08-10 图像处理方法、装置、电子设备和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN115375568A true CN115375568A (zh) 2022-11-22

Family

ID=84065669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210957672.6A Pending CN115375568A (zh) 2022-08-10 2022-08-10 图像处理方法、装置、电子设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN115375568A (zh)

Similar Documents

Publication Publication Date Title
CN109194876B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
US10708525B2 (en) Systems and methods for processing low light images
CN110717942B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US9444991B2 (en) Robust layered light-field rendering
CN113992861B (zh) 一种图像处理方法及图像处理装置
US20200285883A1 (en) Image processing method, image processing apparatus, learnt model manufacturing method, and image processing system
CN108234858B (zh) 图像虚化处理方法、装置、存储介质及电子设备
Delbracio et al. Removing camera shake via weighted fourier burst accumulation
US20180350043A1 (en) Shallow Depth Of Field Rendering
CN107704798B (zh) 图像虚化方法、装置、计算机可读存储介质和计算机设备
US20220270345A1 (en) Subject detection method and apparatus, electronic device, and computer-readable storage medium
WO2018210308A1 (zh) 图像虚化处理方法、装置、存储介质及电子设备
CN108038886A (zh) 双目摄像系统标定方法、装置及其汽车
CN113628134B (zh) 图像降噪方法及装置、电子设备及存储介质
WO2024093763A1 (zh) 全景图像处理方法、装置、计算机设备、介质和程序产品
CN111371987B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US20230033956A1 (en) Estimating depth based on iris size
US9900503B1 (en) Methods to automatically fix flash reflection at capture time
CN109672810B (zh) 图像处理设备、图像处理方法和存储介质
CN109155822B (zh) 图像处理方法和装置
CN114862734A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN115375568A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN115375567A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN114782280A (zh) 图像处理方法和装置
CN107087114B (zh) 一种拍摄的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination