CN115297260A - 图像处理方法及其装置 - Google Patents
图像处理方法及其装置 Download PDFInfo
- Publication number
- CN115297260A CN115297260A CN202210907830.7A CN202210907830A CN115297260A CN 115297260 A CN115297260 A CN 115297260A CN 202210907830 A CN202210907830 A CN 202210907830A CN 115297260 A CN115297260 A CN 115297260A
- Authority
- CN
- China
- Prior art keywords
- image
- matrix
- rotation
- rotation angle
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 230000009466 transformation Effects 0.000 claims abstract description 72
- 238000012545 processing Methods 0.000 claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000012937 correction Methods 0.000 claims abstract description 20
- 238000003702 image correction Methods 0.000 claims abstract description 16
- 239000011159 matrix material Substances 0.000 claims description 127
- 230000005484 gravity Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 abstract description 12
- 238000003062 neural network model Methods 0.000 description 20
- 238000012549 training Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
Abstract
本申请公开了一种图像处理方法及其装置，属于电子技术领域。方法包括：在连续拍摄多张图像的情况下，获取多张图像中的第一图像的第一姿态参数；基于第一姿态参数，确定第一图像相对于第二图像的变换方式，第二图像为多张图像中除第一图像之外的任一图像；基于变换方式对第一图像进行图像矫正处理，以使矫正处理后的第一图像的旋转角度与第二图像的旋转角度相同。
Description
技术领域
本申请属于电子技术领域，具体涉及一种图像处理方法及其装置。
背景技术
随着电子技术的飞速发展，手机和平板电脑等电子设备越来越普及，并逐渐成为人们日常生活中不可缺少的工具。其中，摄像功能作为电子设备的重要功能之一，其可以通过摄像模组拍摄用户所处环境的事物并生成图像，从而可以实现通过图像记录用户生活中的点点滴滴。
目前，用户可能需要使用电子设备连续拍摄多帧图像，例如，通过拍摄多帧图像合成全景图像，等等。但是，在电子设备连续拍摄多帧图像的情况下，由于用户手持的电子设备可能发生活动(如旋转或者抖动等)，导致前后拍摄的图像之间产生畸变，从而降低电子设备的拍摄质量。
发明内容
本申请实施例的目的是提供一种图像处理方法及其装置，能够解决因前后拍摄的图像之间产生畸变，而导致电子设备的拍摄质量低的问题。
第一方面，本申请实施例提供了一种图像处理方法，包括：
在连续拍摄多张图像的情况下，获取多张图像中的第一图像的第一姿态参数；
基于第一姿态参数，确定第一图像相对于第二图像的变换方式，第二图像为多张图像中除第一图像之外的任一图像；
基于变换方式对第一图像进行图像矫正处理，以使矫正处理后的第一图像的旋转角度与第二图像的旋转角度相同。
第二方面，本申请实施例提供了一种图像处理装置，包括：
姿态参数获取模块，用于在连续拍摄多张图像的情况下，获取多张图像中的第一图像的第一姿态参数；
变换方式确定模块，用于基于第一姿态参数，确定第一图像相对于第二图像的变换方式，第二图像为多张图像中除第一图像之外的任一图像；
矫正处理模块，用于基于变换方式对第一图像进行图像矫正处理，以使矫正处理后的第一图像的旋转角度与第二图像的旋转角度相同。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
在本申请实施例中，在电子设备连续拍摄多张图像的情况下，通过获取多张图像中第一图像的第一姿态参数；基于该第一姿态参数，确定第一图像相对于多张图像中第二图像的变换方式；基于该变换方式，可以对第一图像进行图像矫正处理，使得矫正处理后的第一图像的旋转角度与第二图像的旋转角度相同。如此，通过对各图像相对于其之前拍摄的图像进行矫正处理，可以实现两张拍摄图像的旋转角度相同，从而可以消除拍摄的多张图像中，因电子设备活动导致旋转角度不同而产生图像之间的畸变，进而提升电子设备的拍摄质量。
附图说明
图1是本申请提供的图像处理方法的实施例的流程示意图；
图2是本申请提供的图像处理装置的实施例的结构示意图；
图3是本申请提供的电子设备的实施例的结构示意图；
图4是本申请提供的电子设备的另一实施例的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法、装置和电子设备进行详细地说明。
请参见图1，是本申请实施例提供的图像处理方法的流程示意图。该图像处理方法应用于电子设备，如图1，上述方法包括如下步骤101至步骤103。
步骤101、在连续拍摄多张图像的情况下，获取多张图像中的第一图像的第一姿态参数，第一姿态参数用于表征拍摄第一图像时电子设备发生旋转的角度
上述连续拍摄多张图像，可以是电子设备是在连续拍摄模式或者全景拍摄模式下拍摄得到多张图像。
其中，在上述连续拍摄模式下，电子设备可以是按照预设频率拍摄多张图像并分别保存；而在上述全景拍摄模式下，可以是电子设备连续拍摄得到多张图像并拼接成全景图像。
上述获取第一图像的第一姿态参数，可以是在拍摄第一图像的情况下，电子设备直接实时检测到拍摄该第一图像时的第一姿态参数。
或者，上述获取第一图像的第一姿态参数，也可以是电子设备在拍摄得到第一图像之后，电子设备读取存储的与第一图像对应的第一姿态参数，该第一姿态参数为在拍摄第一图像时由电子设备检测得到。
例如，电子设备可以检测得其在拍摄图像时的姿态参数，并将检测得到的姿态参数作为第一图像的图像数据进行存储，然后，电子设备在完成拍摄之后，可以读取该第一图像的图像数据，并获取到图像数据中的姿态参数作为上述第一姿态参数。
上述第一图像可以是上述多张图像中的任意图像，例如，在电子设备通过连续拍摄模式拍摄到N张图像之后，电子设备可以是将该N张图像中的任意图像作为上述第一图像，N为大于1的整数。
需要说明的是，上述第一图像可以是一张图像，也可以是多张图像，从而可以实现对多张图像中的至少一张图像进行图像矫正处理。
例如，在上述N张图像中，电子设备可以将其中一张图像作为参考图像(即第二图像)，而将其余N-1张图像分别作为待矫正图像(即第二图像)，实现对该N-1张图像相对于参考图像的图像矫正处理。
上述第一图像可以是电子设备自动在多张图像中确定的图像；或者，也可以是电子设备接收到用户的输入的情况下，根据该用户的输入确定的图像。
例如，电子设备可以将上述N张图像中除第一张图像之外的图像分别确定为上述第一图像；或者，在电子设备接收到用户对上述N张图像中至少一张图像的按压输入的情况下，响应于该至少一张图像，确定该至少一张图像中的每一张图像分别为上述第一图像，等等。
上述第一姿态参数可以为拍摄上述第一图像时电子设备发生旋转的角度的参数。具体地，第一姿态参数包括第一角速度和第二角速度等中的至少一项，第一角速度为在俯仰(pitch)轴上的角速度，第二角速度为相对重力方向在滚动(roll)轴上角速度。
例如，在电子设备拍摄图像时，可以通过其陀螺仪检测在pitch轴上的角速度，以及通过重力传感器检测相对重力方向在滚动roll轴上的角速度，等等。
步骤102、基于第一姿态参数，确定第一图像相对于第二图像的变换方式，第二图像为多张图像中除第一图像之外的任一图像。
上述第二图像可以是上述多张图像中除上述第一图像之外的任一图像，且该第二图像可以是电子设备自动确定的图像，或者，也可以是用用户在上述多张图像中选择的图像。
例如，在上述N张图像中，电子设备可以是默认将拍摄的第一张图像作为上述第二图像；或者，也可以是在电子设备接收到用户对N张图像中任一张图像输入双击操作的情况下，确定该双攻击操作所对应的图像为第二图像，等等。
上述变换方式能够描述第一图像和第二图像之间的旋转角度的差异。具体地，上述变换方式可以包括变换关系矩阵，即电子设备可以基于第一姿态参数，确定第一图像相对于第二图像的变换关系矩阵。
上述基于第一姿态参数，确定上述变换方式，可以包括：将第一姿态参数和第二姿态参数输入至目标神经网络模型中，由目标神经网络模型输出上述变换方式，其中，该第二姿态参数可以是用于表征拍摄上述第二图像时电子设备发生旋转的角度。例如，可以是通过目标神经网络模型输出上述变换关系矩阵。
上述目标神经网络模型可以是通过大量的训练样本训练得到，该训练样本可以包括：连续拍摄的两张历史图像的姿态参数，以及该两张历史图像之间的历史变换方式。其中，该历史变换方式可以人工标注或者计算得到得到等。
上述通过大量的训练样本训练得到目标神经网络模型，可以是将训练样本中两张历史图像的姿态参数输入至待训练神经网络模型中，由初始神经网络模型输出的预测变换方式，并根据预测变换放肆与历史变换方式之间的差异确定待训练神经网络模型是否满足预设条件(例如，待训练神经网络模型的精度达到预设精度等)，若否，则调节待训练神经网络模型的网络参数，以实现对待训练神经网络模型的迭代；若否，则重新执行训练步骤，即：将训练样本中两张历史图像的姿态参数输入至待训练神经网络模型中，由初始神经网络模型输出的预测变换方式，并根据预测变换方式与历史变换方式确定待训练神经网络模型是否满足预设条件，直至待训练神经网络模型满足预设条件。
步骤103、基于变换方式对第一图像进行图像矫正处理，得到目标图像，以使矫正处理后的第一图像的旋转角度与第二图像的旋转角度相同。上述基于变换方式对第一图像矫正处理，可以是将第一图像旋转至与变换方式对应的角度，使得旋转后的第一图像的旋转角度与第二图像的旋转角度相同。
在上述变换方式包括上述变换关系矩阵的情况下，上述基于变换方式对第一图像进行图像矫正处理，得到目标图像，可以是基于变换关系矩阵对第一图像进行图像矫正处理，得到目标图像。
例如，在电子设备拍摄N张图像的过程中，若电子设备拍摄到第K(K为大于1且小于或者等于N的整数)张图像，则电子设备可以获取第K张图像相对于第1张图像的变换关系矩阵，并通过该变换关系矩阵调整第K张图像的旋转角度，使得第K张图像的旋转角度与第1张图像的旋转角度相同，从而可以保证拍摄得到的N张图像的旋转角度均相同。
本申请实施例中，在电子设备连续拍摄多张图像的情况下，通过获取多张图像中第一图像的第一姿态参数；基于该第一姿态参数，确定第一图像相对于多张图像中第二图像的变换方式；基于该变换方式，可以对第一图像进行图像矫正处理，使得矫正处理后的第一图像的旋转角度与第二图像的旋转角度相同。如此，通过对各图像相对于其之前拍摄的图像进行矫正处理，可以实现两张拍摄图像的旋转角度相同，从而可以消除拍摄的多张图像中，因电子设备活动导致旋转角度不同而产生图像之间的畸变，进而提升电子设备的拍摄质量。在一些实施方式中，上述基于第一姿态参数，确定第一图像相对于第二图像的变换方式，包括：
基于第一姿态参数，确定拍摄第一图像时电子设备的旋转角度，第一姿态参数为拍摄第一图像时电子设备发生旋转的角度；
生成与旋转角度对应的第一旋转矩阵；
基于第一旋转矩阵和第二旋转矩阵，确定第一图像相对于第二图像的变换关系矩阵，其中，第二旋转矩阵为与第二图像的第二姿态参数对应的旋转矩阵，第二姿态参数为拍摄第二图像时电子设备的姿态参数。
上述基于所述变换方式对所述第一图像进行图像矫正处理，可以包括：
基于所述变换关系矩阵对所述第一图像进行图像矫正处理。
本实施方式中，电子设备可以基于第一姿态参数，确定拍摄上述第一图像时电子设备的旋转角度，然后生成与该旋转角度对应的第一旋转矩阵，最后基于第一旋转矩阵以及第二图像的第二旋转矩阵，确定上述变换关系矩阵，从而使得确定上述变换关系矩阵的结果更准确且效率更高。
上述基于第一姿态参数，确定拍摄第一图像时电子设备的旋转角度，可以是对第一姿态参数进行积分计算，得到拍摄该第一图像时电子设备的旋转角度。
在确定拍摄第一图像时电子设备的旋转角度之后，电子设备可以将该旋转角度转换为三维坐标系中的空间矩阵，得到上述第一旋转矩阵。
具体地，生成与旋转角度对应的旋转矩阵，可以是通过如下公式(1)实现：
θ表示旋转角度；
R(t)表示旋转矩阵(如第一旋转矩阵或者第二旋转矩阵)。
上述基于第一旋转矩阵和第二旋转矩阵，确定第一图像相当于第二图像的变换关系矩阵，可以是电子设备将上述第一旋转矩阵和第二旋转矩阵输入至预设神经网络模型中，通过该预设神经网络模型输出上述变换关系矩阵。
上述预设神经网络模型可以是通过预设训练样本训练得到，该预设训练样本可以包括两个图像对应的旋转矩阵以及预设变换关系矩阵。由于预设神经网络模型的训练过程与上述目标神经网络模型的训练过程类似，在此并不进行赘述。
上述第二旋转矩阵可以是由第二图像的第二姿态参数确定，其可以是预先确定并缓存在电子设备中，也可以是在对第一图像的矫正处理过程中实时确定，且第二旋转矩阵的确定过程与第一旋转矩阵的确定过程类似，在此也不进行赘述。
在一些实施方式中，上述基于第一旋转矩阵和第二旋转矩阵，计算得到第一图像相对于第二图像的变换关系矩阵，包括：
基于第一旋转矩阵与电子设备的内参矩阵，计算得到第一图像中目标对象的第一图像坐标；以及，基于第二旋转矩阵与内参矩阵，计算得到第二图像中目标对象的第二图像坐标，其中，第一图像坐标和第二图像坐标为在世界坐标系中的坐标；
基于第一图像坐标与第二图像坐标，计算得到第一图像相对于第二图像的变换关系矩阵。
在本申请实施方式中，通过第一旋转矩阵和内参矩阵，计算得到第一图像中目标对象在世界坐标系中的第一图像坐标；以及，通过第二旋转矩阵和内参矩阵，计算得到第二图像中目标对象在世界坐标系中的第二图像坐标；并基于世界坐标系中的第一图像坐标和第二图像坐标，计算得到上述变换关系矩阵，从而进一步提升确定的变换关系矩阵的准确性，进一步提升拍摄质量。
上述目标对象可以是在上述第一图像和第二图像中共同存在的像素点或者像素区域，等等。
在本申请实施方式中，通过旋转矩阵和内参矩阵，计算得到图像中目标对象的在世界坐标系中的图像坐标，可以通过如下公式(2)实现：
x＝KR(t)X (2)
x表示目标对象在世界坐标系中的图像坐标；
K表示内参矩阵；
X表示一个世界坐标点。
如此，可以通过如下公式(3)计算得到上述第一图像坐标：
xi＝KR(ti)X (3)
xi表示第一图像坐标；
R(ti)表示第一旋转矩阵。
同样地，可以通过如下公式(4)计算得到上述第一图像坐标：
xj＝KR(tj)X (4)
xj表示第一图像坐标；
R(tj)表示第一旋转矩阵。
由于第一图像坐标和第二图像坐标是相对同一世界坐标点，故上述基于第一图像坐标与第二图像坐标，计算得到第一图像相对于第二图像的变换关系矩阵，可以由公式(3)和公式(4)，可以推导得到：
xj＝KR(tj)(R(ti)K)-1xi (5)
然后，对公式(5)进行转换，可以得到：
xj＝KR(tj)RT(ti)K-1xi (6)
RT(ti)表示R-1(ti)。
最后，对公式(6)进一步转换，可以得到：
xj＝W(tj，ti)xi (7)
W(tj，ti)表示上述变换关系矩阵。
在一些实施方式中，第一姿态参数包括第一角速度和第二角速度中的至少一项，第一角速度为在pitch轴上的角速度，第二角速度为相对重力方向在roll轴上角速度；
其中，在第一姿态参数包括第一角速度的情况下，第一图像在pitch轴上的旋转角度与第二图像在pitch轴上的旋转角度相同；
在第一姿态参数包括第二角速度的情况下，第一图像在roll轴上的旋转角度与第二图像在roll轴上的旋转角度相同。
在本申请实施方式中，上述第一姿态参数可以包括pitch轴上的角速度以及相对重力方向在roll轴上的角速度，从而使得可以实现电子设备对其拍摄的图像在pitch轴或者roll轴上的旋转角度的矫正。
例如，在电子设备拍摄第K幅图像的情况下，电子设备可以通过陀螺仪获取在pitch轴上的角速度，以及通过重力传感器获取相对于重力方向在roll轴上的角速度，并分别通过在pitch轴上的角速度确定在pitch轴上的旋转角度，以及，通过相对于重力方向在roll轴上的角速度，确定在roll轴上的旋转角度；
进一步地，通过旋转角度确定与pitch轴对应的旋转矩阵：
，以及，通过旋转角度确定与roll轴对应的旋转矩阵：
然后，根据与pitch轴对应的旋转矩阵可以确定第一变换关系矩阵：
xj＝W(t(j,yj)，t(i,yi))xi (10)
W(t(j,yj)，t(i,yi))表示第一变换关系矩阵；
以及，根据与roll轴对应的旋转矩阵可以确定第二变换关系矩阵：
xj＝W(t(j,zj)，t(i,zi))xi (10)
W(t(j,zj)，t(i,zi))表示第二变换关系矩阵；
最后，通过第一变换关系矩阵调节上述第一图像在pitch轴上的旋转角度，以及，通过第二变换关系矩阵调节上述第一图像在roll轴上的旋转角度，使得第一图像与第二图像在pitch轴上以及roll轴上的旋转角度均相同。
在一些实施方式中，上述第二图像为第一图像的前一帧图像。
或者，第二图像可以为多张图像中，拍摄时电子设备发生旋转的角度小于或者等于预设角度的图像。
在本申请实施方式中，可以是将上述第一图像的前一帧图像，或者拍摄时电子设备发生旋转的角度小于或者等于预设角度的图像确定为上述第二图像，从而使得选取作为参照的第二图像的方式更灵活。
上述预设角度可以是根据实际需要预先设置于电子设备中。例如，可以是在电子设备中设置上述预设角度为0、5°、10°或者15°，等等。
在上述第二图像为拍摄时电子设备发生旋转的角度小于或者等于预设角度的图像的情况下，上述第二图像可以是在拍摄得到上述多张图像之后，电子设备在比较各图像拍摄时电子设备的旋转角度和预设角度，确定旋转的角度小于或者等于预设角度的第二图像。
在一些实施方式中，在第二图像为多张图像中，拍摄时电子设备发生旋转的角度小于或者等于预设角度的图像的情况下，上述在连续拍摄得到多张图像的情况下，获取多张图像中的第一图像的第一姿态参数之前，还包括：
在接收到第一输入的情况下，显示拍摄预览界面；
根据电子设备的姿态参数在预览拍摄界面中显示提示信息，提示信息用于提示用户调整电子设备的旋转角度；
在用户基于提示信息调整电子设备的旋转角度为预设角度，且接收到用户的第二输入的情况下，拍摄得到第二图像。
在本申请实施方式中，通过在预览界面中显示提示信息，从而可以是实现用户根据提示信息调整中拍摄时的旋转角度至预设角度，并在该预设角度下拍摄得到第二图像，从而可以降低电子设备获取第二图像的运算量，提升电子设备的拍摄效率。
本申请实施例中，上述电子设备在获取到矫正处理之后的第一图像之后，可以是将该第一图像与第二图像关联并保存。
在一些实施方式中，上述基于变换关系矩阵对第一图像进行图像矫正处理，得到目标图像之后，还包括：
对多张图像进行矫正处理的图像进行拼接，得到全景图像。
在本申请实施方式中，通过对多张图像进行矫正处理的图像进行拼接，得到全景图像，可以实现提升电子设备拍摄全景图像的图像质量。
上述对多张图像进行矫正处理的图像，可以是该多张图像中一张或者多张图像作过图像矫正处理。
本申请实施例提供的图像处理方法，执行主体可以为图像处理装置。本申请实施例中以图像处理装置执行图像处理方法为例，说明本申请实施例提供的图像处理装置。
如图2所示，是本申请实施例提供的图像处理装置的结构示意图。如图2所示，该装置200包括：
姿态参数获取模块201，用于在连续拍摄多张图像的情况下，获取多张图像中的第一图像的第一姿态参数；
变换方式确定模块202，用于基于第一姿态参数，确定第一图像相对于第二图像的变换方式，第二图像为多张图像中除第一图像之外的任一图像；
矫正处理模块203，用于基于变换方式对第一图像进行图像矫正处理，以使矫正处理后的第一图像的旋转角度与第二图像的旋转角度相同。
在一些实施方式中，变换方式确定模块202，包括：
旋转角度确定单元，用于基于第一姿态参数，确定拍摄第一图像时电子设备的旋转角度，其中，第一姿态参数为拍摄第一图像时所述电子设备发生旋转的角度；
旋转矩阵生成单元，用于生成与旋转角度对应的第一旋转矩阵；
关系矩阵确定单元，用于基于第一旋转矩阵和第二旋转矩阵，确定第一图像相对于第二图像的变换关系矩阵，其中，第二旋转矩阵为与第二图像的第二姿态参数对应的旋转矩阵，第二姿态参数为拍摄第二图像时电子设备的姿态参数。
矫正处理模块203，具体可以用于：
基于所述变换关系矩阵对所述第一图像进行图像矫正处理。
在一些实施方式中，关系矩阵确定单元，包括：
图像坐标计算子单元，用于基于第一旋转矩阵与电子设备的内参矩阵，计算得到第一图像中目标对象的第一图像坐标；以及，基于第二旋转矩阵与内参矩阵，计算得到第二图像中目标对象的第二图像坐标，其中，第一图像坐标和第二图像坐标为在世界坐标系中的坐标；
关系矩阵确定子单元，用于基于第一图像坐标与第二图像坐标，计算得到第一图像相对于第二图像的变换关系矩阵。
在一些实施方式中，第一姿态参数包括第一角速度和第二角速度中的至少一项，第一角速度为在俯仰pitch轴上的角速度，第二角速度为相对重力方向在滚动roll轴上角速度。
其中，在第一姿态参数包括第一角速度的情况下，第一图像在pitch轴上的旋转角度与第二图像在pitch轴上的旋转角度可以相同。
在第一姿态参数包括第二角速度的情况下，第一图像在roll轴上的旋转角度与第二图像在roll轴上的旋转角度可以相同。
在一些实施方式中，第二图像为第一图像的前一帧图像；或者，
第二图像为多张图像中，拍摄时电子设备发生旋转的角度小于或者等于预设角度的图像。
在一些实施方式中，在第二图像为多张图像中，拍摄时电子设备发生旋转的角度小于或者等于预设角度的图像的情况下，装置200还包括：
预览界面显示模块，用于在接收到第一输入的情况下，显示拍摄预览界面；
提示信息显示模块，用于根据电子设备的姿态参数在预览拍摄界面中显示提示信息，提示信息用于提示用户调整电子设备的旋转角度；
拍摄模块，用于在用户基于提示信息调整电子设备的旋转角度为预设角度，且接收到用户的第二输入的情况下，拍摄得到第二图像。
在一些实施方式中，装置200还包括：
拼接模块，用于对多张图像进行矫正处理的图像进行拼接，得到全景图像。
本申请实施例提供的图像处理装置能够实现图1的方法实施例实现的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本申请实施例中的图像处理装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personalcomputer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的图像处理装置能够实现图1的方法实施例实现的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
可选地，如图3所示，本申请实施例还提供一种电子设备300，包括处理器301和存储器302，存储器302上存储有可在处理器301上运行的程序或指令，该程序或指令被处理器301执行时实现上述图像处理方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。
图4为实现本申请实施例的电子设备的硬件结构示意图。
该电子设备400包括但不限于：射频单元401、网络模块402、音频输出单元403、输入单元404、传感器405、显示单元406、用户输入单元407、接口单元408、存储器409、以及处理器410等部件。
本领域技术人员可以理解，电子设备400还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器410逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图4中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，处理器410，用于：
在连续拍摄多张图像的情况下，获取多张图像中的第一图像的第一姿态参数；
基于第一姿态参数，确定第一图像相对于第二图像的变换方式，第二图像为多张图像中除第一图像之外的任一图像；
基于变换方式对第一图像进行图像矫正处理，以使矫正处理后的第一图像的旋转角度与第二图像的旋转角度相同。
在一些实施方式中，处理器410，具体用于：
基于第一姿态参数，确定拍摄第一图像时电子设备的旋转角度,第一姿态参数为拍摄第一图像时电子设备发生旋转的角度；
生成与旋转角度对应的第一旋转矩阵；
基于第一旋转矩阵和第二旋转矩阵，确定第一图像相对于第二图像的变换关系矩阵，其中，第二旋转矩阵为与第二图像的第二姿态参数对应的旋转矩阵，第二姿态参数为拍摄第二图像时电子设备的姿态参数；
基于变换关系矩阵对第一图像进行图像矫正处理。
在一些实施方式中，处理器410，具体用于：
基于第一旋转矩阵与电子设备的内参矩阵，计算得到第一图像中目标对象的第一图像坐标；以及，基于第二旋转矩阵与内参矩阵，计算得到第二图像中目标对象的第二图像坐标，其中，第一图像坐标和第二图像坐标为在世界坐标系中的坐标；
基于第一图像坐标与第二图像坐标，计算得到第一图像相对于第二图像的变换关系矩阵。
在一些实施方式中，第一姿态参数包括第一角速度和第二角速度中的至少一项，第一角速度为在俯仰pitch轴上的角速度，第二角速度为相对重力方向在滚动roll轴上角速度。
其中，在第一姿态参数包括第一角速度的情况下，第一图像在pitch轴上的旋转角度与第二图像在pitch轴上的旋转角度可以相同。
在第一姿态参数包括第二角速度的情况下，第一图像在roll轴上的旋转角度与第二图像在roll轴上的旋转角度可以相同。
在一些实施方式中，第二图像为第一图像的前一帧图像；或者，
第二图像为多张图像中，拍摄时电子设备发生旋转的角度小于或者等于预设角度的图像。
在一些实施方式中，在第二图像为多张图像中，拍摄时电子设备发生旋转的角度小于或者等于预设角度的图像的情况下，显示单元406，用于：
在接收到第一输入的情况下，显示拍摄预览界面；
根据电子设备的姿态参数在预览拍摄界面中显示提示信息，提示信息用于提示用户调整电子设备的旋转角度；
处理器410，还用于：
在用户基于提示信息调整电子设备的旋转角度为预设角度，且接收到用户的第二输入的情况下，拍摄得到第二图像。
在一些实施方式中，处理器410，还用于：
对多张图像进行矫正处理的图像进行拼接，得到全景图像。
本申请实施例提供的电子设备能够实现图1的方法实施例实现的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解的是，本申请实施例中，输入单元404可以包括图形处理器(GraphicsProcessing Unit，GPU)4041和麦克风4042，图形处理器4041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元406可包括显示面板4061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板4061。用户输入单元407包括触控面板4071以及其他输入设备4072中的至少一种。触控面板4071，也称为触摸屏。触控面板4071可包括触摸检测装置和触摸控制器两个部分。其他输入设备4072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
存储器409可用于存储软件程序以及各种数据。存储器409可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器409可以包括易失性存储器或非易失性存储器，或者，存储器409可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器409包括但不限于这些和任意其它适合类型的存储器。
处理器410可包括一个或多个处理单元；可选的，处理器410集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器410中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
在连续拍摄多张图像的情况下，获取所述多张图像中的第一图像的第一姿态参数；
基于所述第一姿态参数，确定所述第一图像相对于第二图像的变换方式，所述第二图像为所述多张图像中除所述第一图像之外的任一图像；
基于所述变换方式对所述第一图像进行图像矫正处理，以使矫正处理后的所述第一图像的旋转角度与所述第二图像的旋转角度相同。
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一姿态参数，确定所述第一图像相对于第二图像的变换方式，包括：
基于所述第一姿态参数，确定拍摄所述第一图像时电子设备的旋转角度，其中，所述第一姿态参数为拍摄所述第一图像时所述电子设备发生旋转的角度；
生成与所述旋转角度对应的第一旋转矩阵；
基于所述第一旋转矩阵和第二旋转矩阵，确定所述第一图像相对于第二图像的变换关系矩阵，其中，所述第二旋转矩阵为与所述第二图像的第二姿态参数对应的旋转矩阵，所述第二姿态参数为拍摄所述第二图像时所述电子设备的姿态参数；
所述基于所述变换方式对所述第一图像进行图像矫正处理，包括：
基于所述变换关系矩阵对所述第一图像进行图像矫正处理。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一旋转矩阵和第二旋转矩阵，确定所述第一图像相对于第二图像的变换关系矩阵，包括：
基于所述第一旋转矩阵与所述电子设备的内参矩阵，计算得到所述第一图像中目标对象的第一图像坐标；以及，基于所述第二旋转矩阵与所述内参矩阵，计算得到所述第二图像中所述目标对象的第二图像坐标，其中，所述第一图像坐标和所述第二图像坐标为在世界坐标系中的坐标；
基于所述第一图像坐标与所述第二图像坐标，计算得到所述第一图像相对于第二图像的变换关系矩阵。
4.根据权利要求1所述的方法，其特征在于，所述第一姿态参数包括第一角速度和第二角速度中的至少一项，所述第一角速度为在俯仰pitch轴上的角速度，所述第二角速度为相对重力方向在滚动roll轴上角速度，其中：
在所述第一姿态参数包括所述第一角速度的情况下，所述第一图像在所述pitch轴上的旋转角度与所述第二图像在所述pitch轴上的旋转角度相同；
在所述第一姿态参数包括所述第二角速度的情况下，所述第一图像在所述roll轴上的旋转角度与所述第二图像在所述roll轴上的旋转角度相同。
5.根据权利要求1所述的方法，其特征在于，所述第二图像为所述多张图像中，拍摄时所述电子设备发生旋转的角度小于或者等于预设角度的图像；
所述在连续拍摄得到多张图像的情况下，获取所述多张图像中的第一图像的第一姿态参数之前，还包括：
在接收到第一输入的情况下，显示拍摄预览界面；
根据所述电子设备的姿态参数在所述预览拍摄界面中显示提示信息，所述提示信息用于提示用户调整所述电子设备的旋转角度；
在所述用户基于所述提示信息调整所述电子设备的旋转角度为预设角度，且接收到所述用户的第二输入的情况下，拍摄得到所述第二图像。
6.一种图像处理装置，其特征在于，包括：
姿态参数获取模块，用于在连续拍摄多张图像的情况下，获取所述多张图像中的第一图像的第一姿态参数；
变换方式确定模块，用于基于所述第一姿态参数，确定所述第一图像相对于第二图像的变换方式，所述第二图像为所述多张图像中除所述第一图像之外的任一图像；
矫正处理模块，用于基于所述变换方式对所述第一图像进行图像矫正处理，以使矫正处理后的第一图像的旋转角度与所述第二图像的旋转角度相同。
7.根据权利要求6所述的装置，其特征在于，所述变换方式确定模块，包括：
旋转角度确定单元，用于基于所述第一姿态参数，确定拍摄所述第一图像时所述电子设备的旋转角度，其中，所述第一姿态参数为拍摄所述第一图像时电子设备发生旋转的角度；
旋转矩阵生成单元，用于生成与所述旋转角度对应的第一旋转矩阵；
关系矩阵确定单元，用于基于所述第一旋转矩阵和第二旋转矩阵，确定所述第一图像相对于第二图像的变换关系矩阵，其中，所述第二旋转矩阵为与所述第二图像的第二姿态参数对应的旋转矩阵，所述第二姿态参数为拍摄所述第二图像时所述电子设备的姿态参数；
所述矫正处理模块，具体用于：
基于所述变换关系矩阵对所述第一图像进行图像矫正处理。
8.根据权利要求7所述的装置，其特征在于，所述关系矩阵确定单元，包括：
图像坐标计算子单元，用于基于所述第一旋转矩阵与所述电子设备的内参矩阵，计算得到所述第一图像中目标对象的第一图像坐标；以及，基于所述第二旋转矩阵与所述内参矩阵，计算得到所述第二图像中所述目标对象的第二图像坐标，其中，所述第一图像坐标和所述第二图像坐标为在世界坐标系中的坐标；
关系矩阵确定子单元，用于基于所述第一图像坐标与所述第二图像坐标，计算得到所述第一图像相对于第二图像的变换关系矩阵。
9.根据权利要求6所述的装置，其特征在于，所述第一姿态参数包括第一角速度和第二角速度中的至少一项，所述第一角速度为在pitch轴上的角速度，所述第二角速度为相对重力方向在roll轴上角速度，其中：
在所述第一姿态参数包括所述第一角速度的情况下，所述第一图像在所述pitch轴上的旋转角度与所述第二图像在所述pitch轴上的旋转角度相同；
在所述第一姿态参数包括所述第二角速度的情况下，所述第一图像在所述roll轴上的旋转角度与所述第二图像在所述roll轴上的旋转角度相同。
10.根据权利要求6所述的装置，其特征在于，所述第二图像为所述多张图像中，拍摄时所述电子设备发生旋转的角度小于或者等于预设角度的图像；
所述装置，还包括：
预览界面显示模块，用于在接收到第一输入的情况下，显示拍摄预览界面；
提示信息显示模块，用于根据所述电子设备的姿态参数在所述预览拍摄界面中显示提示信息，所述提示信息用于提示用户调整所述电子设备的旋转角度；
拍摄模块，用于在所述用户基于所述提示信息调整所述电子设备的旋转角度为预设角度，且接收到所述用户的第二输入的情况下，拍摄得到所述第二图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210907830.7A CN115297260A (zh) | 2022-07-29 | 2022-07-29 | 图像处理方法及其装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210907830.7A CN115297260A (zh) | 2022-07-29 | 2022-07-29 | 图像处理方法及其装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115297260A true CN115297260A (zh) | 2022-11-04 |
Family
ID=83826454
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210907830.7A Pending CN115297260A (zh) | 2022-07-29 | 2022-07-29 | 图像处理方法及其装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115297260A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111787232A (zh) * | 2020-08-03 | 2020-10-16 | 海能达通信股份有限公司 | 基于云台摄像机的图像处理方法、设备及存储介质 |
| CN113841386A (zh) * | 2020-08-26 | 2021-12-24 | 深圳市大疆创新科技有限公司 | 图像矫正方法和装置、图像采集设备和存储介质 |
| CN114785957A (zh) * | 2022-05-26 | 2022-07-22 | 维沃移动通信有限公司 | 拍摄方法及其装置 |
-
2022
- 2022-07-29 CN CN202210907830.7A patent/CN115297260A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111787232A (zh) * | 2020-08-03 | 2020-10-16 | 海能达通信股份有限公司 | 基于云台摄像机的图像处理方法、设备及存储介质 |
| CN113841386A (zh) * | 2020-08-26 | 2021-12-24 | 深圳市大疆创新科技有限公司 | 图像矫正方法和装置、图像采集设备和存储介质 |
| CN114785957A (zh) * | 2022-05-26 | 2022-07-22 | 维沃移动通信有限公司 | 拍摄方法及其装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10200613B2 (en) | Video stabilization for mobile devices | |
| WO2019134516A1 (zh) | 全景图像生成方法、装置、存储介质及电子设备 | |
| JP2022531186A (ja) | 情報処理方法、装置、電子機器、記憶媒体およびプログラム | |
| CN114125305A (zh) | 拍摄方法、装置及设备 | |
| CN110942064B (zh) | 图像处理方法、装置和电子设备 | |
| CN115379118B (zh) | 摄像头切换方法、装置、电子设备和可读存储介质 | |
| CN114785957A (zh) | 拍摄方法及其装置 | |
| CN115297260A (zh) | 图像处理方法及其装置 | |
| CN115278049A (zh) | 拍摄方法及其装置 | |
| CN114390206A (zh) | 拍摄方法、装置和电子设备 | |
| CN114339051A (zh) | 拍摄方法、装置、电子设备和可读存储介质 | |
| CN114125297A (zh) | 视频拍摄方法、装置、电子设备及存储介质 | |
| CN113888435A (zh) | 图像处理方法、装置、电子设备和可读存储介质 | |
| CN113660420A (zh) | 视频帧处理方法和视频帧处理装置 | |
| CN112261262A (zh) | 图像校准方法和装置、电子设备和可读存储介质 | |
| CN112738398A (zh) | 一种图像防抖方法、装置和电子设备 | |
| CN117745528A (zh) | 图像处理方法及其装置 | |
| CN113014823B (zh) | 摄像装置的防抖处理方法、系统、设备及存储介质 | |
| WO2024017175A1 (zh) | 拍摄预览方法、装置、电子设备及存储介质 | |
| CN114500842A (zh) | 视觉惯性标定方法及其装置 | |
| CN112367468B (zh) | 图像处理方法、装置及电子设备 | |
| CN115278071A (zh) | 图像处理方法、装置、电子设备和可读存储介质 | |
| CN115242981A (zh) | 视频播放方法、视频播放装置和电子设备 | |
| CN115421640A (zh) | 图像处理方法及其装置 | |
| CN116342992A (zh) | 图像处理方法和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |