CN108322642A - 一种图像数据的处理方法和装置 - Google Patents
一种图像数据的处理方法和装置 Download PDFInfo
- Publication number
- CN108322642A CN108322642A CN201810020068.4A CN201810020068A CN108322642A CN 108322642 A CN108322642 A CN 108322642A CN 201810020068 A CN201810020068 A CN 201810020068A CN 108322642 A CN108322642 A CN 108322642A
- Authority
- CN
- China
- Prior art keywords
- image data
- acceleration
- mobile terminal
- angular speed
- obtains
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000001133 acceleration Effects 0.000 claims abstract description 118
- 238000012545 processing Methods 0.000 claims abstract description 48
- 238000011084 recovery Methods 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 36
- 238000006073 displacement reaction Methods 0.000 claims description 31
- 230000005484 gravity Effects 0.000 claims description 21
- 238000003672 processing method Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 9
- 239000000203 mixture Substances 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 abstract description 9
- 230000000694 effects Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 206010044565 Tremor Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000010207 Bayesian analysis Methods 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供了一种图像数据的处理方法和装置,应用在移动终端中,该方法包括:采集第一图像数据并测量角速度和加速度;依据所述角速度和所述加速度对所述第一图像数据进行去模糊处理,获得第二图像数据。在复原第一图像数据的过程中复用移动终端常规配置的陀螺仪、加速度传感器,无需额外配置专门的硬件,成本低,通过陀螺仪、加速度传感器进行去模糊处理,避免采用复杂的算法预估抖动,大大减少了复原处理的复杂度,从而提高了复原处理的速度,而且,角速度与加速度是移动终端真实的状态,相比预估的精确度更高,从而提高了复原的效果。
Description
技术领域
本发明涉及通信的技术领域,特别是涉及一种图像数据的处理方法和一种图像数据的处理装置。
背景技术
随着科技的发展,诸如手机、平板电脑等移动终端,在人们的工作、学习、日常交流等各方面的使用率也越来越高。移动终端中通常配置有摄像头(Camera),具备拍照、摄像功能,由于摄像头器件小,感光面积也小,在拍照过程中,用户的手可能会抖动,导致采集的图像数据模糊,尤其在夜晚等暗光环境中,由于光线的不足,摄像头的曝光时间会增长,手的微小抖动可能会造成采集的图像数据模糊不清。
为了获得清晰的图像数据,目前通常采用如下两种方式消除抖动的影响:
1、光学防抖
在此方式中,摄像头设置独立的传感器,用于检测移动终端的抖动,调整镜光进行补偿,从而抵消抖动带来的影响。
2、电子防抖
在此方式中,通过算法对模糊的图像数据进行复原。
由于光学防抖需要定制专门的硬件,成本高,选用电子防抖的情况较多。
但是,这种方式需要通过先验的知识预估抖动,例如,假设模糊的图像数据服从泊松(Poission)分布,采用最大似然法进行估计,是一种基于贝叶斯分析的迭代算法,算法复杂,处理速度较慢,而且,预估的精确度较低,导致复原的效果差。
发明内容
鉴于上述问题,为了解决上述对模糊的图像数据复原处理速度较慢,复原的效果差的问题,本发明实施例提出了一种图像数据的处理方法和相应的一种图像数据的处理装置。
依据本发明的一个方面,提供了一种图像数据的处理方法,应用在移动终端中,包括:
采集第一图像数据并测量角速度和加速度;
依据所述角速度和所述加速度对所述第一图像数据进行去模糊处理,获得第二图像数据。
可选地,所述依据所述角速度和所述加速度对所述第一图像数据进行去模糊处理,获得第二图像数据,包括:
依据所述角速度和所述加速度确定所述移动终端在采集第一图像数据时的抖动轨迹;
根据所述抖动轨迹对所述第一图像数据进行去模糊处理,获得第二图像数据。
可选地,所述依据所述角速度和所述加速度确定所述移动终端在采集第一图像数据时的抖动轨迹,包括:
对所述角速度进行积分,获得所述移动终端在采集所述第一图像数据时的旋转角度;
采用所述加速度计算所述移动终端在采集所述第一图像数据时的移动距离;
基于所述移动距离和所述旋转角度在所述第一图像数据中定位模糊位置;
将所述模糊位置组成所述移动终端在采集所述第一图像数据时的抖动轨迹。
可选地,所述采用所述加速度计算所述移动终端在采集所述第一图像数据时的移动距离,包括:
对所述加速度进行低通滤波,获得重力加速度;
在所述加速度的基础上去除所述重力加速度,获得线性加速度;
对所述线性加速度进行二次积分,获得所述移动终端在采集所述第一图像数据时的移动距离。
可选地,所述旋转角度包括x轴转角和y轴转角,所述移动距离包括x轴距离、y轴距离;
所述基于所述移动距离和所述旋转角度在所述第一图像数据中定位模糊位置,包括:
查询采集所述第一图像数据时的焦距;
将所述x轴转角的正切值和所述y轴转角的正切值组成转角矩阵;
将所述x轴距离和所述y轴距离组成第一距离矩阵;
将所述焦距与所述转角矩阵相乘,获得第二距离矩阵;
将所述第一距离矩阵与所述第二距离矩阵相加,获得在所述第一图像数据中的模糊位置。
可选地,所述将所述模糊位置组成所述移动终端在采集所述第一图像数据时的抖动轨迹,包括:
查询采集所述第一图像数据时的曝光时间;
组合处于所述曝光时间内的模糊位置,获得所述移动终端在采集所述第一图像数据时的抖动轨迹。
可选地,所述根据所述抖动轨迹对所述第一图像数据进行去模糊处理,获得第二图像数据,包括:
将所述抖动轨迹设置为模糊核;
基于所述模糊核对所述第一图像数据进行去卷积并去除噪声,获得第二图像数据。
可选地,所述将所述抖动轨迹设置为模糊核,包括:
对所述抖动轨迹进行插值处理;
将插值处理之后的抖动轨迹设置为模糊核。
根据本发明的另一方面,提供了一种图像数据的处理装置,应用在移动终端中,包括:
测量组件,用于采集第一图像数据并测量角速度和加速度;
图像复原组件,用于依据所述角速度和所述加速度对所述第一图像数据进行去模糊处理,获得第二图像数据。
可选地,所述图像复原组件包括:
抖动轨迹确定模块,用于依据所述角速度和所述加速度确定所述移动终端在采集第一图像数据时的抖动轨迹;
图像去模糊模块,用于根据所述抖动轨迹对所述第一图像数据进行去模糊处理,获得第二图像数据。
可选地,所述抖动轨迹确定模块包括:
旋转角度获得子模块,用于对所述角速度进行积分,获得所述移动终端在采集所述第一图像数据时的旋转角度;
移动距离计算子模块,用于采用所述加速度计算所述移动终端在采集所述第一图像数据时的移动距离;
模糊位置定位子模块,用于基于所述移动距离和所述旋转角度在所述第一图像数据中定位模糊位置;
抖动轨迹组成子模块,用于将所述模糊位置组成所述移动终端在采集所述第一图像数据时的抖动轨迹。
可选地,所述移动距离计算子模块包括:
低通滤波单元,用于对所述加速度进行低通滤波,获得重力加速度;
重力去除单元,用于在所述加速度的基础上去除所述重力加速度,获得线性加速度;
线性加速度积分单元,用于对所述线性加速度进行二次积分,获得所述移动终端在采集所述第一图像数据时的移动距离。
可选地,所述旋转角度包括x轴转角和y轴转角,所述移动距离包括x轴距离、y轴距离;
所述模糊位置定位子模块包括:
焦距查询单元,用于查询采集所述第一图像数据时的焦距;
转角矩阵组成单元,用于将所述x轴转角的正切值和所述y轴转角的正切值组成转角矩阵;
第一距离矩阵组成单元,用于将所述x轴距离和所述y轴距离组成第一距离矩阵;
第二距离矩阵获得单元,用于将所述焦距与所述转角矩阵相乘,获得第二距离矩阵;
矩阵相加单元,用于将所述第一距离矩阵与所述第二距离矩阵相加,获得在所述第一图像数据中的模糊位置。
可选地,所述抖动轨迹组成子模块包括:
曝光时间查询单元,用于查询采集所述第一图像数据时的曝光时间;
模糊位置组合单元,用于组合处于所述曝光时间内的模糊位置,获得所述移动终端在采集所述第一图像数据时的抖动轨迹。
可选地,所述图像去模糊模块包括:
模糊核设置子模块,用于将所述抖动轨迹设置为模糊核;
去卷积子模块,用于基于所述模糊核对所述第一图像数据进行去卷积并去除噪声,获得第二图像数据。
可选地,所述模糊核设置子模块包括:
轨迹插值单元,用于对所述抖动轨迹进行插值处理;
插值设置单元,用于将插值处理之后的抖动轨迹设置为模糊核。
本发明实施例包括以下优点:
本发明实施例在采集第一图像数据的同时,测量角速度与加速度,采用角速度与加速度对模糊的第一图像数据进行去模糊处理,获得清晰的第二图像数据,在复原第一图像数据的过程中复用移动终端常规配置的陀螺仪、加速度传感器,无需额外配置专门的硬件,成本低,通过陀螺仪、加速度传感器进行去模糊处理,避免采用复杂的算法预估抖动,大大减少了复原处理的复杂度,从而提高了复原处理的速度,而且,角速度与加速度是移动终端真实的状态,相比预估的精确度更高,从而提高了复原的效果。
附图说明
图1是本发明一个实施例的一种图像数据的处理方法的步骤流程图;
图2是本发明一个实施例的另一种图像数据的处理方法的步骤流程图;
图3是本发明一个实施例的另一种图像数据的处理方法的步骤流程图;
图4是本发明一个实施例的一种图像数据的运动模糊模型的示意图;
图5是本发明一个实施例的一种旋转角度对于图像数据模糊影响的示意图;
图6是本发明一个实施例的一种抖动轨迹的示意图;
图7是本发明一个实施例的一种图像数据的处理装置的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1,示出了本发明一个实施例的一种图像数据的处理方法的步骤流程图,具体可以包括如下步骤:
步骤101,采集第一图像数据并测量角速度和加速度。
步骤102,依据所述角速度和所述加速度对所述第一图像数据进行去模糊处理,获得第二图像数据。
在具体实现中,本发明实施例可以应用在移动终端中,例如,手机、平板电脑、可穿戴设备(如VR(Virtual Reality,虚拟现实)眼镜、VR头盔、智能手表)等等,本发明实施例对此不加以限制。
在移动终端中,具有摄像头、陀螺仪加速度传感器等部件。
移动终端的操作系统包括Android(安卓)、IOS、Windows Phone、Windows等等,可以支持多种应用的运行,例如,地图应用、游戏应用等等。
其中,摄像头是一种图像数据的采集设备,可以用于拍照和拍摄,可以是前置的(即安装在移动终端的正面),也可以是后置的(即安装在移动终端的背面),本发明实施例对此也不加以限制。
摄像头一般可以包括镜头(Lens)、基座(Holder)、红外滤波片(IR)、图像感应处理器(Sensor)、电路板等部件。
陀螺仪可以测量角速度,具有高动态特性,它是一个间接测量器件,测量的是角度的导数,即角速度,将角速度对时间积分可以得到角度。
这些应用可以通过调用陀螺仪进行相关的业务操作,例如,地图应用可以调用陀螺仪进行导航,游戏应用可以调用陀螺仪进行AR(Augmented Reality,增强现实)的三维建模等等。
加速度传感器通过MEMS(Micro-Electro-Mechanical System,微机电系统)等技术检测惯性力造成的微小形变,可以用于测量加速度,包括重力加速度。
于是,在静止或匀速运动(匀速直线运动)的时候,加速度传感器测量的是重力加速度,而重力加速度与R坐标系(绝对坐标系)是固连的,通过这种关系,可以计算加速度传感器所在平面与地面的角度关系,也就是横滚角和俯仰角。
在本发明实施例中,若接收到摄像头的启动指令,则可以调用摄像头采集第一图像数据,与此同时(尤其是在曝光时),调用陀螺仪测量角速度、调用加速度传感器测量加速度。
其中,摄像头的启动指令是指启动摄像头的指示,用户可以通过点击相机应用,或者,按下指定的物理按键等方式触发摄像头的启动指令。
需要说明的是,陀螺仪并非安装在摄像头中的传感器,而是移动终端中一个通用的传感器,各个应用均可调用,以进行相关的业务操作。
例如,地图应用可以调用陀螺仪进行导航,游戏应用可以调用陀螺仪进行AR(Augmented Reality,增强现实)的三维建模,等等。
在本发明实施例中,通过陀螺仪测量的角速度与加速度传感器测量的加速度,即可对模糊的第一图像数据进行去模糊处理,获得清晰的第二图像数据。
本发明实施例在采集第一图像数据的同时,测量角速度与加速度,采用角速度与加速度对模糊的第一图像数据进行去模糊处理,获得清晰的第二图像数据,在复原第一图像数据的过程中复用移动终端常规配置的陀螺仪、加速度传感器,无需额外配置专门的硬件,成本低,通过陀螺仪、加速度传感器进行去模糊处理,避免采用复杂的算法预估抖动,大大减少了复原处理的复杂度,从而提高了复原处理的速度,而且,角速度与加速度是移动终端真实的状态,相比预估的精确度更高,从而提高了复原的效果。
参照图2,示出了本发明一个实施例的另一种图像数据的处理方法的步骤流程图,具体可以包括如下步骤:
步骤201,采集第一图像数据并测量角速度和加速度。
步骤202,依据所述角速度和所述加速度确定所述移动终端在采集第一图像数据时的抖动轨迹。
步骤203,根据所述抖动轨迹对所述第一图像数据进行去模糊处理,获得第二图像数据。
在本发明实施例中,通过陀螺仪测量的角速度与加速度传感器测量的加速度,可以确定移动终端在采集第一图像数据时,相对于某个原始点的相对位置,进而组成其抖动轨迹,是移动终端真实的抖动轨迹,通过该抖动轨迹拟合运动模糊模型,即可对模糊的第一图像数据进行去模糊处理,获得清晰的第二图像数据。
参照图3,示出了本发明一个实施例的另一种图像数据的处理方法的步骤流程图,具体可以包括如下步骤:
步骤301,采集第一图像数据并测量角速度和加速度。
在本发明实施例中,依据图像数据的运动模糊模型,模糊的图像数据可以看作是清晰的图像数据与模糊核之间做卷积运算加上噪声的合成:
其中,B表示模糊的图像数据,L表示清晰的图像数据,K表示模糊核,N表示噪声,表示卷积运算符号。
对于模糊的图像数据,B和N是已知的,而L和K都是未知的,为了得到L,可以对模糊核K进行估算。
由于移动终端的抖动,导致同一物体出现在第一图像数据的不同位置上,从而导致了图像数据的模糊。
如图4所示,在对象空间(object space)401存在一点(X,Y,Z),由于抖动,移动终端的摄像头移动至一系列的位置k(k=1,k=2,…,k=K,K为正整数)上,对应于这一系列的位置k(k=1,k=2,…,k=K),对象空间401上的该点(X,Y,Z)在成像平面(image plane)402上生成一系列数据点((x1,y1),(x2,y2),…,(xK,yK)),形成抖动轨迹(motion trajectory)403。
因此,模糊核与用户手持移动终端的抖动相关,也称作点扩散轨迹。
在本发明实施例中,可以通过调用移动终端内置的陀螺仪、加速度传感器捕捉移动终端的抖动。
步骤302,对所述角速度进行积分,获得所述移动终端在采集所述第一图像数据时的旋转角度。
在具体实现中,陀螺仪输出的角速度w,对角速度进行积分则可以得到移动终端的旋转角度θ。
进一步而言,陀螺仪输出的角速度w包括x轴方向的角速度wx、y轴上的角速度wy、z轴上的角速度wz。
对x轴方向的角速度wx进行积分,则可以获得移动终端围绕x轴旋转的角度θx,即θx=∫wxdt。
对y轴方向的角速度wy进行积分,则可以获得移动终端围绕y轴旋转的角度θy,即θy=∫wydt。
对z轴方向的角速度wz进行积分,则可以获得移动终端围绕z轴旋转的翻滚角θz,即θz=∫wzdt。
步骤303,采用所述加速度计算所述移动终端在采集所述第一图像数据时的移动距离。
在具体实现中,测量出移动终端的加速度,通过运动模型的计算,则可以获知移动终端在采集所述第一图像数据时的移动距离。
在本发明的一个实施例中,步骤303可以包括如下子步骤:
子步骤S11,对所述加速度进行低通滤波,获得重力加速度。
在具体实现中,加速度传感器测量的加速度携带的是带重力加速度,在移动终端处于静止状态下,加速度的模值一般接近重力加速度的模值(如9.81m/s2)。
若移动终端处于移动状态,运动的幅度决定了加速度的模值的大小,由于有额外的线性加速度,所以,加速度传感器测量的加速度可以认为包含线性加速度、重力加速度与噪声:
ax=gx+ax+nx
ay=gy+ay+ny
az=gz+az+nz
其中,ax,ay,az表示在x轴、y轴、z轴测量到的加速度,ax,ay,az表示在x轴、y轴、z轴的线性加速度,gx,gy,gz表示在x轴、y轴、z轴的重力加速度,nx,ny,nz表示在x轴、y轴、z轴的噪声。
在拍照时,用户一般会对准待拍照的对象,抖动较小,因此,噪声较小,可以忽略。
此时,通过对加速度传感器测量到加速度进行低通滤波,可以计算出重力加速度:
其中,α是低通滤波的常数,在0至1之间。
子步骤S12,在所述加速度的基础上去除所述重力加速度,获得线性加速度。
在加速度(ax,ay,az)的基础上,减去重力加速度(gx,gy,gz),则可以获得线性加速度(ax,ay,az),即移动终端真实的加速度。
子步骤S13,对所述线性加速度进行二次积分,获得所述移动终端在采集所述第一图像数据时的移动距离。
对线性加速度进行二次积分,则可以获得移动终端在采集所述第一图像数据时的移动距离:
x(t)=∫∫ax(t)dt
y(t)=∫∫ay(t)dt
z(t)=∫∫az(t)dt
其中,t表示运动时间(如曝光时间),x(t),y(t),z(t)表示在x轴、y轴、z轴的移动距离。
步骤304,基于所述移动距离和所述旋转角度在所述第一图像数据中定位模糊位置。
在具体实现中,通过陀螺仪、加速度传感器可以监测移动终端在采集第一图像数据时(尤其是曝光时)的运动变化,从而测量移动终端的旋转角度、运动漂移的变化,这些旋转角度、运动漂移的变化可以对应到第一图像数据中的位置信息,作为模糊位置。
在本发明的一个实施例中,步骤304可以包括如下子步骤:
子步骤S21,查询采集所述第一图像数据时的焦距。
子步骤S22,将所述x轴转角的正切值和所述y轴转角的正切值组成转角矩阵。
子步骤S23,将所述x轴距离和所述y轴距离组成第一距离矩阵。
子步骤S24,将所述焦距与所述转角矩阵相乘,获得第二距离矩阵。
子步骤S25,将所述第一距离矩阵与所述第二距离矩阵相加,获得在所述第一图像数据中的模糊位置。
在本发明实施例中,旋转角度包括x轴转角(即围绕x轴的旋转角度θx)和y轴转角(即围绕y轴的旋转角度θy),移动距离包括x轴距离(即在x轴的移动距离x(t))、y轴距离(即在y轴的移动距离y(t))。
如图5所示,围绕z轴旋转的角度θz、在z轴的移动距离z(t)与摄像头的感光器件是在同一平面内,因此,这两者的变化并不会对第一图像数据的模糊造成较大的影响。
因此,在本发明实施例中,以x轴转角θx的正切值、y轴转角θy的正切值组成转角矩阵,乘以焦距转换成第二距离矩阵,获知旋转时的平移距离(即),以x轴距离x(t)、y轴距离y(t)组成第一距离矩阵,获知运动时的平移距离,定位在第一图像数据中的模糊位置,忽略围绕z轴旋转的角度θz、在z轴的移动距离z(t),以减小运算量,提高处理速度,同时,保证复原的精确率:
其中,pr为模糊位置,为在x轴的模糊位置,为在y轴的模糊位置,di为采集第一图像数据时的焦距。
步骤305,将所述模糊位置组成所述移动终端在采集所述第一图像数据时的抖动轨迹。
在具体实现中,如图6所示,模糊位置为第一图像数据上的像素位置(pixelposition),将像素位置组成在一起,则可以作为移动终端在采集所述第一图像数据时的抖动轨迹。
在本发明的一个实施例中,步骤305可以包括如下子步骤:
子步骤S31,查询采集所述第一图像数据时的曝光时间。
子步骤S32,组合处于所述曝光时间内的模糊位置,获得所述移动终端在采集所述第一图像数据时的抖动轨迹。
在本发明实施例中,将曝光时间τ内的模糊位置pr综合在一起,则可以得到在采集第一图像数据时,由于移动终端的抖动而产生的抖动轨迹:
其中,为抖动轨迹,pr为模糊位置。
步骤306,将所述抖动轨迹设置为模糊核。
在具体实现中,若抖动轨迹中的模糊位置较为密集,则该抖动轨迹可以直接设置为模糊核。
若抖动轨迹中的模糊位置较为稀疏,则可以对抖动轨迹进行插值处理,将插值处理之后的抖动轨迹设置为模糊核。
步骤307,基于所述模糊核对所述第一图像数据进行去卷积并去除噪声,获得第二图像数据。
若得到了模糊核,则可以采用模糊核计算清晰的第二图像数据。
进一步而言,依据图像数据的运动模糊模型,以模糊核对模糊的第一图像数据去卷积并去除噪声,则可以获得清晰的第二图像数据。
需要说明的是,在某些情况下,噪声可以忽略,即可以将噪声视为空。
在本发明实施例的一个示例中,可以采用维纳滤波,基于模糊核对所述第一图像数据进行去卷积并去除噪声:
其中,F(L)为第二图像数据的离散傅里叶变换,F(K)为模糊核的离散傅里叶变换,F(B)为第一图像数据的离散傅里叶变换,Φ为信噪比。
当然,上述去模糊的方法(即维纳滤波)只是作为示例,在实施本发明实施例时,可以根据实际情况设置其他去模糊的方法,例如,Lucy-Richardson(LR),等等,本发明实施例对此不加以限制。另外,除了上述去模糊的方法外,本领域技术人员还可以根据实际需要采用其它去模糊的方法,本发明实施例对此也不加以限制。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图7,示出了本发明一个实施例的一种图像数据的处理装置的结构框图,应用在移动终端中,具体可以包括如下模块:
测量模块701,用于采集第一图像数据并测量角速度和加速度;
图像复原组件702,用于依据所述角速度和所述加速度对所述第一图像数据进行去模糊处理,获得第二图像数据。
在本发明的一个实施例中,所述图像复原组件702包括:
抖动轨迹确定模块,用于依据所述角速度和所述加速度确定所述移动终端在采集第一图像数据时的抖动轨迹;
图像去模糊模块,用于根据所述抖动轨迹对所述第一图像数据进行去模糊处理,获得第二图像数据。
在本发明的一个实施例中,所述抖动轨迹确定模块包括:
旋转角度获得子模块,用于对所述角速度进行积分,获得所述移动终端在采集所述第一图像数据时的旋转角度;
移动距离计算子模块,用于采用所述加速度计算所述移动终端在采集所述第一图像数据时的移动距离;
模糊位置定位子模块,用于基于所述移动距离和所述旋转角度在所述第一图像数据中定位模糊位置;
抖动轨迹组成子模块,用于将所述模糊位置组成所述移动终端在采集所述第一图像数据时的抖动轨迹。
在本发明的一个实施例中,所述移动距离计算子模块包括:
低通滤波单元,用于对所述加速度进行低通滤波,获得重力加速度;
重力去除单元,用于在所述加速度的基础上去除所述重力加速度,获得线性加速度;
线性加速度积分单元,用于对所述线性加速度进行二次积分,获得所述移动终端在采集所述第一图像数据时的移动距离。
在本发明的一个实施例中,所述旋转角度包括x轴转角和y轴转角,所述移动距离包括x轴距离、y轴距离;
所述模糊位置定位子模块包括:
焦距查询单元,用于查询采集所述第一图像数据时的焦距;
转角矩阵组成单元,用于将所述x轴转角的正切值和所述y轴转角的正切值组成转角矩阵;
第一距离矩阵组成单元,用于将所述x轴距离和所述y轴距离组成第一距离矩阵;
第二距离矩阵获得单元,用于将所述焦距与所述转角矩阵相乘,获得第二距离矩阵;
矩阵相加单元,用于将所述第一距离矩阵与所述第二距离矩阵相加,获得在所述第一图像数据中的模糊位置。
在本发明的一个实施例中,所述抖动轨迹组成子模块包括:
曝光时间查询单元,用于查询采集所述第一图像数据时的曝光时间;
模糊位置组合单元,用于组合处于所述曝光时间内的模糊位置,获得所述移动终端在采集所述第一图像数据时的抖动轨迹。
在本发明的一个实施例中,所述图像去模糊模块包括:
模糊核设置子模块,用于将所述抖动轨迹设置为模糊核;
去卷积子模块,用于基于所述模糊核对所述第一图像数据进行去卷积并去除噪声,获得第二图像数据。
在本发明的一个实施例中,所述模糊核设置子模块包括:
轨迹插值单元,用于对所述抖动轨迹进行插值处理;
插值设置单元,用于将插值处理之后的抖动轨迹设置为模糊核。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本发明实施例在采集第一图像数据的同时,测量角速度与加速度,采用角速度与加速度对模糊的第一图像数据进行去模糊处理,获得清晰的第二图像数据,在复原第一图像数据的过程中复用移动终端常规配置的陀螺仪、加速度传感器,无需额外配置专门的硬件,成本低,通过陀螺仪、加速度传感器进行去模糊处理,避免采用复杂的算法预估抖动,大大减少了复原处理的复杂度,从而提高了复原处理的速度,而且,角速度与加速度是移动终端真实的状态,相比预估的精确度更高,从而提高了复原的效果。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种图像数据的处理方法和一种图像数据的处理装置,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种图像数据的处理方法,其特征在于,应用在移动终端中,包括:
采集第一图像数据并测量角速度和加速度;
依据所述角速度和所述加速度对所述第一图像数据进行去模糊处理,获得第二图像数据。
2.根据权利要求1所述的方法,其特征在于,所述依据所述角速度和所述加速度对所述第一图像数据进行去模糊处理,获得第二图像数据,包括:
依据所述角速度和所述加速度确定所述移动终端在采集第一图像数据时的抖动轨迹;
根据所述抖动轨迹对所述第一图像数据进行去模糊处理,获得第二图像数据。
3.根据权利要求2所述的方法,其特征在于,所述依据所述角速度和所述加速度确定所述移动终端在采集第一图像数据时的抖动轨迹,包括:
对所述角速度进行积分,获得所述移动终端在采集所述第一图像数据时的旋转角度;
采用所述加速度计算所述移动终端在采集所述第一图像数据时的移动距离;
基于所述移动距离和所述旋转角度在所述第一图像数据中定位模糊位置;
将所述模糊位置组成所述移动终端在采集所述第一图像数据时的抖动轨迹。
4.根据权利要求3所述的方法,其特征在于,所述采用所述加速度计算所述移动终端在采集所述第一图像数据时的移动距离,包括:
对所述加速度进行低通滤波,获得重力加速度;
在所述加速度的基础上去除所述重力加速度,获得线性加速度;
对所述线性加速度进行二次积分,获得所述移动终端在采集所述第一图像数据时的移动距离。
5.根据权利要求3或4所述的方法,其特征在于,所述旋转角度包括x轴转角和y轴转角,所述移动距离包括x轴距离、y轴距离;
所述基于所述移动距离和所述旋转角度在所述第一图像数据中定位模糊位置,包括:
查询采集所述第一图像数据时的焦距;
将所述x轴转角的正切值和所述y轴转角的正切值组成转角矩阵;
将所述x轴距离和所述y轴距离组成第一距离矩阵;
将所述焦距与所述转角矩阵相乘,获得第二距离矩阵;
将所述第一距离矩阵与所述第二距离矩阵相加,获得在所述第一图像数据中的模糊位置。
6.根据权利要求3所述的方法,其特征在于,所述将所述模糊位置组成所述移动终端在采集所述第一图像数据时的抖动轨迹,包括:
查询采集所述第一图像数据时的曝光时间;
组合处于所述曝光时间内的模糊位置,获得所述移动终端在采集所述第一图像数据时的抖动轨迹。
7.根据权利要求2或3或4或6所述的方法,其特征在于,所述根据所述抖动轨迹对所述第一图像数据进行去模糊处理,获得第二图像数据,包括:
将所述抖动轨迹设置为模糊核;
基于所述模糊核对所述第一图像数据进行去卷积并去除噪声,获得第二图像数据。
8.根据权利要求7所述的方法,其特征在于,所述将所述抖动轨迹设置为模糊核,包括:
对所述抖动轨迹进行插值处理;
将插值处理之后的抖动轨迹设置为模糊核。
9.一种图像数据的处理装置,其特征在于,应用在移动终端中,包括:
测量组件,用于采集第一图像数据并测量角速度和加速度;
图像复原组件,用于依据所述角速度和所述加速度对所述第一图像数据进行去模糊处理,获得第二图像数据。
10.根据权利要求9所述的方法,其特征在于,所述图像复原组件包括:
抖动轨迹确定模块,用于依据所述角速度和所述加速度确定所述移动终端在采集第一图像数据时的抖动轨迹;
图像去模糊模块,用于根据所述抖动轨迹对所述第一图像数据进行去模糊处理,获得第二图像数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810020068.4A CN108322642A (zh) | 2018-01-09 | 2018-01-09 | 一种图像数据的处理方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810020068.4A CN108322642A (zh) | 2018-01-09 | 2018-01-09 | 一种图像数据的处理方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108322642A true CN108322642A (zh) | 2018-07-24 |
Family
ID=62894932
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810020068.4A Pending CN108322642A (zh) | 2018-01-09 | 2018-01-09 | 一种图像数据的处理方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108322642A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1856024A (zh) * | 2005-04-26 | 2006-11-01 | 奥林巴斯映像株式会社 | 图像获取装置 |
US20170138534A1 (en) * | 2014-06-30 | 2017-05-18 | SZ DJI Technology Co., Ltd. | Method, device, and apparatus for gimbal parameter adjustment |
CN107040722A (zh) * | 2017-04-27 | 2017-08-11 | 维沃移动通信有限公司 | 一种拍摄方法及移动终端 |
CN107395961A (zh) * | 2017-07-07 | 2017-11-24 | 青岛海信移动通信技术股份有限公司 | 一种图像数据的复原方法和装置 |
-
2018
- 2018-01-09 CN CN201810020068.4A patent/CN108322642A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1856024A (zh) * | 2005-04-26 | 2006-11-01 | 奥林巴斯映像株式会社 | 图像获取装置 |
US20170138534A1 (en) * | 2014-06-30 | 2017-05-18 | SZ DJI Technology Co., Ltd. | Method, device, and apparatus for gimbal parameter adjustment |
CN107040722A (zh) * | 2017-04-27 | 2017-08-11 | 维沃移动通信有限公司 | 一种拍摄方法及移动终端 |
CN107395961A (zh) * | 2017-07-07 | 2017-11-24 | 青岛海信移动通信技术股份有限公司 | 一种图像数据的复原方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11057567B2 (en) | Anti-shake method and apparatus for panoramic video, and portable terminal | |
CN107409206B (zh) | 用于多相机无线装置的实时校准 | |
CN107113420B (zh) | 利用单个像机的三维成像 | |
JP6128389B2 (ja) | 撮像装置 | |
CN106911889B (zh) | 图像模糊校正设备和倾斜校正设备及其控制方法 | |
JP4010753B2 (ja) | 形状計測システムと撮像装置と形状計測方法及び記録媒体 | |
CN105635588B (zh) | 一种稳像方法及装置 | |
JP6098874B2 (ja) | 撮像装置および画像処理装置 | |
CN106896940B (zh) | 虚拟物品呈现效果控制方法及装置 | |
CN107809590B (zh) | 一种拍照方法和装置 | |
US11042984B2 (en) | Systems and methods for providing image depth information | |
TW201303795A (zh) | 用於影像穩定之方法及系統 | |
WO2013184313A1 (en) | Motion-based image stitching | |
US10506163B2 (en) | Systems and methods for synchronizing sensor data | |
WO2017173933A1 (zh) | 一种物品图像的展示方法、装置及系统 | |
US20080166114A1 (en) | Image deblurring system | |
JP5977611B2 (ja) | ブレ量検出装置、撮像装置及びブレ量検出方法 | |
JP5920863B2 (ja) | 画像処理装置 | |
CN109040525B (zh) | 图像处理方法、装置、计算机可读介质及电子设备 | |
CN114338994A (zh) | 光学防抖方法、装置、电子设备和计算机可读存储介质 | |
JP2023543250A (ja) | ジャイロスコープ回転方向を生成する方法及びコンピュータ機器 | |
TW201003567A (en) | Method and related device for image restoration for an electronic device | |
CN107395961A (zh) | 一种图像数据的复原方法和装置 | |
WO2018019039A1 (zh) | 移动终端的图像合成方法、装置及移动终端 | |
CN108322642A (zh) | 一种图像数据的处理方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180724 |
|
RJ01 | Rejection of invention patent application after publication |