CN118413739A - 电子稳像方法、电子稳像装置、介质及设备 - Google Patents
电子稳像方法、电子稳像装置、介质及设备 Download PDFInfo
- Publication number
- CN118413739A CN118413739A CN202310070144.3A CN202310070144A CN118413739A CN 118413739 A CN118413739 A CN 118413739A CN 202310070144 A CN202310070144 A CN 202310070144A CN 118413739 A CN118413739 A CN 118413739A
- Authority
- CN
- China
- Prior art keywords
- image stabilization
- equipment
- image
- mode
- current frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006641 stabilisation Effects 0.000 title claims abstract description 136
- 238000011105 stabilization Methods 0.000 title claims abstract description 136
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000000087 stabilizing effect Effects 0.000 claims description 129
- 238000001914 filtration Methods 0.000 claims description 44
- 230000003068 static effect Effects 0.000 claims description 30
- 238000006073 displacement reaction Methods 0.000 claims description 27
- 238000013507 mapping Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Landscapes
- Studio Devices (AREA)
Abstract
本申请提供一种电子稳像方法、电子稳像装置、计算机可读存储介质及电子设备,涉及电子稳像技术领域,该方法可以通过设备姿态数据确定设备稳像模式,进而基于设备稳像模式对当前帧进行稳像处理,而不是通过预设滤波强度对设备姿态数据进行滤波,因此,相较于相关技术,本申请可以区分设备当前所处的情况(即,设备稳像模式),并在此基础上进行后续的稳像处理,以应对设备所处的各种情况,可以保证设备静止取景时的画面稳定性,并保证设备运动取景时的画面跟手性。
Description
技术领域
本申请涉及电子稳像技术领域,具体而言,涉及一种电子稳像方法、电子稳像装置、计算机可读存储介质及电子设备。
背景技术
电子稳像技术(Electronic Image Stabilization,EIS)是指,使用电子机械稳像系统来减少设备拍摄时的图像抖动。这种技术通常在数码相机和手机相机中使用,可以在低光照条件下获得更清晰、更高分辨率的图像。其中,电子稳像系统通常使用一个高速运动感应器来检测设备的运动,并使用电子机械系统来对镜头进行微调,以减少图像抖动。
拍照预览场景指的是,在拍照前,显示屏可以预先显示预览图像,以便于用户检查并调整构图、曝光、焦点等各项参数,用户调整完成后可以按下快门按键。这种功能可以帮助用户获得更好的拍摄效果。
在拍照预览场景下,用户可以移动设备以使得准心瞄准待摄目标,在这种情况下,用户预期画面是尽可能稳定的,通过上述的电子稳像技术,可以基于预设滤波强度对设备姿态数据进行滤波,以得到平稳的姿态轨迹,进而,基于平稳的姿态轨迹对包含待摄目标的取景画面进行稳像处理,最后得到稳像结果。但是,上述方式并不适用于设备所处的任何情况(如,设备处于运动情况、设备处于静止情况),比如说,在设备处于运动情况时,基于上述方式进行稳像的画面会存在跟手性较差。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解,因此可以包括不构成对本领域普通技术人员已知的相关技术的信息。
发明内容
本申请的目的在于提供一种电子稳像方法、电子稳像装置、计算机可读存储介质及电子设备,可以通过设备姿态数据确定设备稳像模式,进而基于设备稳像模式对当前帧进行稳像处理,而不是通过预设滤波强度对设备姿态数据进行滤波,因此,相较于相关技术,本申请可以区分设备当前所处的情况(即,设备稳像模式),并在此基础上进行后续的稳像处理,以应对设备所处的各种情况,可以保证设备静止取景时的画面稳定性,并保证设备运动取景时的画面跟手性。
本申请的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本申请的实践而习得。
根据本申请的一方面,提供一种电子稳像方法,该方法包括:
获取设备姿态数据和当前帧;
根据设备姿态数据确定设备稳像模式;
基于设备稳像模式对当前帧进行稳像处理,得到稳像结果。
根据本申请的一方面,提供一种电子稳像装置,该装置包括:
数据获取单元,用于获取设备姿态数据和当前帧;
稳像模式确定单元,用于根据设备姿态数据确定设备稳像模式;
稳像单元,用于基于设备稳像模式对当前帧进行稳像处理,得到稳像结果。
根据本申请的一方面,提供一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述的各种可选实现方式中提供的方法。
根据本申请的一方面,提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任意一项的方法。
根据本申请的一方面,提供一种电子设备,包括:处理器;以及存储器,用于存储处理器的可执行指令;其中,处理器配置为经由执行可执行指令来执行上述任意一项的方法。
本申请示例性实施例可以具有以下部分或全部有益效果:
在本申请的一示例实施方式所提供的电子稳像方法中,可以通过设备姿态数据确定设备稳像模式,进而基于设备稳像模式对当前帧进行稳像处理,而不是通过预设滤波强度对设备姿态数据进行滤波,因此,相较于相关技术,本申请可以区分设备当前所处的情况(即,设备稳像模式),并在此基础上进行后续的稳像处理,以应对设备所处的各种情况,可以保证设备静止取景时的画面稳定性,并保证设备运动取景时的画面跟手性。此外,由于本申请可以基于设备稳像模式对当前帧进行稳像处理,因此可见,对于同一当前帧来说,不同设备稳像模式下处理得到的稳像结果可以是不同的,相较于相关技术,本申请具备更强的场景适应性,可以处理得到适应于当前的设备稳像模式的稳像结果,保证了不同设备稳像模式下的稳像效果。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示意性示出了根据本申请的一个实施例的电子稳像方法的流程图;
图2示意性示出了根据本申请的一个实施例的用于实现电子稳像方法的模块结构示意图;
图3示意性示出了根据本申请的一个实施例的设备稳像模式确定模块的处理逻辑示意图;
图4示意性示出了根据本申请的另一个实施例的电子稳像方法的流程图;
图5示意性示出了根据本申请的一个实施例的电子稳像装置的结构示意图;
图6示意性示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本申请将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本申请的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本申请的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本申请的各方面变得模糊。
请参阅图1,图1示意性示出了根据本申请的一个实施例的电子稳像方法的流程图。如图1所示,该方法包括如下步骤。
步骤S110:获取设备姿态数据和当前帧。
步骤S120:根据设备姿态数据确定设备稳像模式。
步骤S130:基于设备稳像模式对当前帧进行稳像处理,得到稳像结果。
实施图1所示的方法,可以通过设备姿态数据确定设备稳像模式,进而基于设备稳像模式对当前帧进行稳像处理,而不是通过预设滤波强度对设备姿态数据进行滤波,因此,相较于相关技术,本申请可以区分设备当前所处的情况(即,设备稳像模式),并在此基础上进行后续的稳像处理,以应对设备所处的各种情况,可以保证设备静止取景时的画面稳定性,并保证设备运动取景时的画面跟手性。此外,由于本申请可以基于设备稳像模式对当前帧进行稳像处理,因此可见,对于同一当前帧来说,不同设备稳像模式下处理得到的稳像结果可以是不同的,相较于相关技术,本申请具备更强的场景适应性,可以处理得到适应于当前的设备稳像模式的稳像结果,保证了不同设备稳像模式下的稳像效果。
下面,对于本示例实施方式的上述步骤进行更加详细的说明。
在步骤S110中,获取设备姿态数据和当前帧。
具体地,当设备(如,手机、平板电脑等)处于拍照预览模式时,摄像模组启动并将采集到的实时画面通过显示屏展示给用户,用户可以根据显示屏展示的实时画面调整拍摄角度、焦点等参数,在此过程中,如果用户需要调整参数,通常会移动设备所处的位置,以使得实时画面符合拍照的预期。为了使用户在预览场景下获得更佳的预览画面效果,本申请可以获取实时地获取设备姿态数据以及当前帧,其中,当前帧是相对于时间来说的,可以理解为,每个时间点对应的帧即为这个时间点的当前帧,例如,2023.1.1-12:00:30获取到的帧即为2023.1.1-12:00:30的当前帧,2023.1.1-12:00:40获取到的帧即为2023.1.1-12:00:40的当前帧。此外,设备姿态数据可以理解为用于表征起始位姿旋转至当前位姿的一种数据。
作为一种可选的实施例,获取设备姿态数据,包括:获取陀螺仪上传的角速度数据;对角速度数据进行积分处理,得到设备姿态数据。这样可以获取到用于实现稳像的设备姿态数据,通过设备姿态数据可以更有效、更便捷地实现所需的稳像效果。
具体地,陀螺仪(Gyroscope,gyro)是一种传感器,用于内置于设备,以测量设备的角速度,通过角速度可以确定出设备的旋转方向和角度。此外,陀螺仪通常可以包含一个转子和一个固定结构,当转子旋转时会产生电动势,从而可以检测到旋转速率。通过陀螺仪上传的角速度数据可以便于得到设备姿态数据,其中,角速度数据可以用于表征设备相对于某一个参考系的旋转速率,该角速度数据可以表示为三维向量,分别表示绕x轴、y轴、z轴的转动速度。进而,由于陀螺仪生成角速度数据是实时的,因此,可以通过对于接收到的多个离散角速度数据进行积分计算,可以得到当前所需的设备姿态数据。
在步骤S120中,根据设备姿态数据确定设备稳像模式。
具体地,设备稳像模式可以包括但并不限于:运动姿态模式和静止姿态模式,对于设备稳像模式的种类,本申请实施例不作限定。
作为一种可选的实施例,根据设备姿态数据确定设备稳像模式,包括:根据设备姿态数据计算设备角位移;在设备稳像模式为运动姿态模式时,若设备角位移小于静止阈值,将设备稳像模式切换为静止姿态模式;在设备稳像模式为静止姿态模式时,若设备角位移大于运动阈值,将设备稳像模式切换为运动姿态模式。这样可以根据设备角位移确定设备稳像模式,通过区分运动姿态模式和静止姿态模式可以为用户提供适合当下模式的稳像效果。
具体地,设备角位移指的是设备的旋转增量,可以根据设备姿态数据可以确定出设备的当前位置和历史位置,根据当前位置和历史位置可以计算出设备角位移。
进入预览模式时默认的设备稳像模式为运动姿态模式,若检测到单位时间(如,1s、10ms等)内的设备角位移小于静止阈值,则说明用户正在等待对焦或是其他情况,可以将设备稳像模式切换为静止姿态模式;若检测到单位时间内的设备角位移大于等于静止阈值,则不切换设备稳像模式。
进一步地,此时设备稳像模式为静止姿态模式,若单位时间内的设备角位移大于运动阈值,则说明用户正在变更拍摄角度或是其他情况,可以再从静止姿态模式切换为运动姿态模式;若检测到单位时间内的设备角位移小于等于运动阈值,则不切换设备稳像模式。
其中,运动姿态模式和静止姿态模式对应于不同的滤波强度,同一帧在运动姿态模式和静止姿态模式下的稳像结果是不同的。
其中,运动阈值和静止阈值可以相等也可以不相等,本申请实施例不作限定,运动阈值和静止阈值之间不存在大小关系、先后关系等关联关系。
在步骤S130中,基于设备稳像模式对当前帧进行稳像处理,得到稳像结果。
具体地,在基于设备稳像模式对当前帧进行稳像处理,得到稳像结果之前,可以对当前帧进行二维等距离的帧格点采样,进而可以得到均匀分布至当前帧的格点,这些格点可以作为计算帧格点映射关系的输入。
作为一种可选的实施例,基于设备稳像模式对当前帧进行稳像处理,得到稳像结果,包括:根据设备稳像模式确定当前滤波参数;基于当前滤波参数对当前帧进行稳像处理,得到稳像结果。这样可以通过设备稳像模式确定当前滤波参数,即,提升了当前滤波参数的个性化程度,相较于相关技术中使用的预设滤波参数,本申请可以基于个性化的当前滤波参数为用户提供更佳的稳像效果。
作为一种可选的实施例,基于当前滤波参数对当前帧进行稳像处理,得到稳像结果,包括:获取历史帧的历史姿态数据;基于当前滤波参数、历史姿态数据、设备姿态数据对设备姿态数据进行滤波,得到目标姿态数据;根据目标姿态数据对当前帧进行稳像处理,得到稳像结果。这样可以通过当前滤波参数和历史姿态数据实现适应于当前模式的滤波,以得到目标姿态数据,基于目标姿态数据可以实现效果更佳的稳像效果。
具体地,历史帧的历史姿态数据可以理解为,当前帧的前一帧对应的历史姿态数据,也可以理解为,当前帧的前N帧分别对应的历史姿态数据,本申请实施例不作限定;其中,N为正整数。基于当前滤波参数和历史姿态数据以及设备姿态数据对设备姿态数据进行滤波,可以滤除设备姿态数据中的一些远离平滑姿态轨迹的离散数据,得到的目标姿态数据可以表示为平稳的姿态轨迹。
作为一种可选的实施例,根据目标姿态数据对当前帧进行稳像处理,得到稳像结果,包括:根据目标姿态数据、设备姿态数据计算设备旋转量;根据设备旋转量以及设备内参模型计算当前帧和稳像帧之间的帧格点映射关系;基于帧格点映射关系,从当前帧中确定与稳像帧中各稳像格点对应的位置,以得到稳像帧的稳像格点位置对应关系;基于稳像格点位置对应关系对当前帧进行稳像处理,得到稳像结果。这样可以通过设备旋转量以及设备内参模型计算出帧格点映射关系,再基于帧格点映射关系进行格点稳像,据此进行帧稳像可以得到精度更高的稳像结果。
具体地,根据目标姿态数据和设备姿态数据可以计算得到,设备在单位时间内的设备旋转量,设备旋转量可以用于量化设备的位姿变化。此外,设备内参模型可以理解为部署于设备内部的用于计算稳像前后帧格点映射关系的模型,进而,根据设备旋转量以及设备内参模型,可以计算得到当前帧和稳像帧之间的帧格点映射关系;其中,稳像帧可以理解为所需的稳像结果的图像基础,确定稳像帧与当前帧之间的位置对应关系并对当前帧的像素值进行插值,可以得到包含像素值的稳像帧,即,最终的稳像结果。
其中,具体的实施方式在于,由于帧格点映射关系表征了当前帧中各个格点在稳像帧中的位置,因此,基于该帧格点映射关系可以反向从当前帧中确定出稳像帧中各稳像格点的位置,以得到稳像帧的稳像格点位置对应关系;其中,稳像格点位置对应关系可以用于从当前帧中找到与稳像格点对应的位置,稳像格点可以是对稳像帧进行均匀采样得到的。
作为一种可选的实施例,基于稳像格点位置对应关系对当前帧进行稳像处理,得到稳像结果,包括:基于稳像格点位置对应关系以及插值处理方式,从当前帧中确定所述稳像帧中各像素对应的位置,得到像素位置对应关系;根据像素位置对应关系对当前帧进行邻域像素插值,以获得稳像帧中各像素对应的值,作为稳像结果。这样可以通过对像素位置以及像素值的插值处理,得到准确的稳像结果。
具体地,由于稳像格点位置对应关系仅限定了稳像帧中各稳像格点在当前帧中的对应位置,为了寻找稳像帧中各像素在当前帧中的对应位置,可以基于稳像格点位置对应关系对当前帧进行位置插值,以确定出稳像帧中各像素在当前帧中的对应位置,即,得到了像素位置对应关系。其中,位置插值的具体方式可以为:基于稳像格点在当前帧中的对应位置(表示为坐标),以及稳像帧中像素与稳像格点的位置关系,推算出像素在当前帧中的对应位置。
进一步地,由于像素位置对应关系可以明确稳像帧和当前帧之间的位置映射,基于像素位置对应关系,可以对当前帧中的像素值进行邻域像素插值,以确定出稳像帧中各像素对应的像素值,进而可以得到稳像结果。其中,邻域像素插值的具体方式可以为:计算邻域像素值的均值作为该像素的像素值、将邻域像素值的最大值作为该像素的像素值等任一方式,本申请实施例不作限定。
请参阅图2,图2示意性示出了根据本申请的一个实施例的用于实现电子稳像方法的模块结构示意图。如图2所示,该模块结构示意图可以包括:设备姿态数据生成模块210、设备稳像模式确定模块220、姿态数据滤波模块230、帧格点采样模块240、格点稳像模块250。
其中,设备姿态数据生成模块210,用于获取陀螺仪上传的角速度数据,进而对角速度数据进行积分处理,得到设备姿态数据。
其中,设备稳像模式确定模块220,用于根据设备姿态数据计算设备角位移,在设备稳像模式为运动姿态模式时,若设备角位移小于静止阈值,将设备稳像模式切换为静止姿态模式,在设备稳像模式为静止姿态模式时,若设备角位移大于运动阈值,将设备稳像模式切换为运动姿态模式。
其中,姿态数据滤波模块230,用于基于当前滤波参数、历史姿态数据、设备姿态数据对设备姿态数据进行滤波,得到目标姿态数据并将目标姿态数据发送至格点稳像模块250。
其中,帧格点采样模块240,用于对当前帧进行二维等距离的帧格点采样,进而可以得到均匀分布至当前帧的格点。
其中,格点稳像模块250,用于根据目标姿态数据、设备姿态数据计算设备旋转量,并根据设备旋转量以及设备内参模型计算当前帧和稳像帧之间的帧格点映射关系,进而基于帧格点映射关系,从当前帧中确定与稳像帧中各稳像格点对应的位置,以得到稳像帧的稳像格点位置对应关系。以及,基于稳像格点位置对应关系以及插值处理方式,从当前帧中确定所述稳像帧中各像素对应的位置,得到像素位置对应关系,进而根据像素位置对应关系对当前帧进行邻域像素插值,以获得稳像帧中各像素对应的值,作为稳像结果。
请参阅图3,图3示意性示出了根据本申请的一个实施例的设备稳像模式确定模块的处理逻辑示意图。如图3所示,当接收到设备姿态数据之后,可以通过角位移计算模块300计算出设备角位移。进一步地,基于上一帧处于运动姿态模式的情况,若设备角位移小于静止阈值,将设备稳像模式切换为静止姿态模式;基于上一帧处于静止姿态模式的情况,若设备角位移大于运动阈值,将设备稳像模式切换为运动姿态模式。
请参阅图4,图4示意性示出了根据本申请的另一个实施例的电子稳像方法的流程图。如图4所示,该电子稳像方法包括:步骤S410~步骤S420。
步骤S410:获取陀螺仪上传的角速度数据,进而对角速度数据进行积分处理,得到设备姿态数据,并获取当前帧。
步骤S412:根据设备姿态数据计算设备角位移,在设备稳像模式为运动姿态模式时,若设备角位移小于静止阈值,将设备稳像模式切换为静止姿态模式,在设备稳像模式为静止姿态模式时,若设备角位移大于运动阈值,将设备稳像模式切换为运动姿态模式。
步骤S414:根据设备稳像模式确定当前滤波参数、历史帧的历史姿态数据。
步骤S416:基于当前滤波参数、历史姿态数据、设备姿态数据对设备姿态数据进行滤波,得到目标姿态数据。
步骤S418:根据目标姿态数据、设备姿态数据计算设备旋转量,并根据设备旋转量以及设备内参模型计算当前帧和稳像帧之间的帧格点映射关系,进而基于帧格点映射关系,从当前帧中确定与稳像帧中各稳像格点对应的位置,以得到稳像帧的稳像格点位置对应关系。
步骤S420:基于稳像格点位置对应关系以及插值处理方式,从当前帧中确定所述稳像帧中各像素对应的位置,得到像素位置对应关系,进而根据像素位置对应关系对当前帧进行邻域像素插值,以获得稳像帧中各像素对应的值,作为稳像结果。
需要说明的是,步骤S410~步骤S420与图1所示的各步骤及其实施例相对应,针对步骤S410~步骤S420的具体实施方式,请参阅图1所示的各步骤及其实施例,此处不再赘述。
可见,实施图4所示的方法,可以通过设备姿态数据确定设备稳像模式,进而基于设备稳像模式对当前帧进行稳像处理,而不是通过预设滤波强度对设备姿态数据进行滤波,因此,相较于相关技术,本申请可以区分设备当前所处的情况(即,设备稳像模式),并在此基础上进行后续的稳像处理,以应对设备所处的各种情况,可以保证设备静止取景时的画面稳定性,并保证设备运动取景时的画面跟手性。此外,由于本申请可以基于设备稳像模式对当前帧进行稳像处理,因此可见,对于同一当前帧来说,不同设备稳像模式下处理得到的稳像结果可以是不同的,相较于相关技术,本申请具备更强的场景适应性,可以处理得到适应于当前的设备稳像模式的稳像结果,保证了不同设备稳像模式下的稳像效果。
请参阅图5,图5示意性示出了根据本申请的一个实施例中的电子稳像装置的结构框图。如图5所示,该电子稳像装置500可以包括如下单元。
数据获取单元501,用于获取设备姿态数据和当前帧;
稳像模式确定单元502,用于根据设备姿态数据确定设备稳像模式;
稳像单元503,用于基于设备稳像模式对当前帧进行稳像处理,得到稳像结果。
可见,实施图5所示的装置,可以通过设备姿态数据确定设备稳像模式,进而基于设备稳像模式对当前帧进行稳像处理,而不是通过预设滤波强度对设备姿态数据进行滤波,因此,相较于相关技术,本申请可以区分设备当前所处的情况(即,设备稳像模式),并在此基础上进行后续的稳像处理,以应对设备所处的各种情况,可以保证设备静止取景时的画面稳定性,并保证设备运动取景时的画面跟手性。此外,由于本申请可以基于设备稳像模式对当前帧进行稳像处理,因此可见,对于同一当前帧来说,不同设备稳像模式下处理得到的稳像结果可以是不同的,相较于相关技术,本申请具备更强的场景适应性,可以处理得到适应于当前的设备稳像模式的稳像结果,保证了不同设备稳像模式下的稳像效果。
作为一种可选的实施例,数据获取单元501获取设备姿态数据,包括:
获取陀螺仪上传的角速度数据;
对角速度数据进行积分处理,得到设备姿态数据。
可见,实施该可选的实施例,可以获取到用于实现稳像的设备姿态数据,通过设备姿态数据可以更有效、更便捷地实现所需的稳像效果。
作为一种可选的实施例,稳像模式确定单元502根据设备姿态数据确定设备稳像模式,包括:
根据设备姿态数据计算设备角位移;
在设备稳像模式为运动姿态模式时,若设备角位移小于静止阈值,将设备稳像模式切换为静止姿态模式;
在设备稳像模式为静止姿态模式时,若设备角位移大于运动阈值,将设备稳像模式切换为运动姿态模式。
可见,实施该可选的实施例,可以根据设备角位移确定设备稳像模式,通过区分运动姿态模式和静止姿态模式可以为用户提供适合当下模式的稳像效果。
作为一种可选的实施例,稳像单元503基于设备稳像模式对当前帧进行稳像处理,得到稳像结果,包括:
根据设备稳像模式确定当前滤波参数;
基于当前滤波参数对当前帧进行稳像处理,得到稳像结果。
可见,实施该可选的实施例,可以通过设备稳像模式确定当前滤波参数,即,提升了当前滤波参数的个性化程度,相较于相关技术中使用的预设滤波参数,本申请可以基于个性化的当前滤波参数为用户提供更佳的稳像效果。
作为一种可选的实施例,稳像单元503基于当前滤波参数对当前帧进行稳像处理,得到稳像结果,包括:
获取历史帧的历史姿态数据;
基于当前滤波参数、历史姿态数据、设备姿态数据对设备姿态数据进行滤波,得到目标姿态数据;
根据目标姿态数据对当前帧进行稳像处理,得到稳像结果。
可见,实施该可选的实施例,可以通过当前滤波参数和历史姿态数据实现适应于当前模式的滤波,以得到目标姿态数据,基于目标姿态数据可以实现效果更佳的稳像效果。
作为一种可选的实施例,稳像单元503根据目标姿态数据对当前帧进行稳像处理,得到稳像结果,包括:
根据目标姿态数据、设备姿态数据计算设备旋转量;
根据设备旋转量以及设备内参模型计算当前帧和稳像帧之间的帧格点映射关系;
基于帧格点映射关系,从当前帧中确定与稳像帧中各稳像格点对应的位置,以得到稳像帧的稳像格点位置对应关系;
基于稳像格点位置对应关系对当前帧进行稳像处理,得到稳像结果。
可见,实施该可选的实施例,可以通过设备旋转量以及设备内参模型计算出帧格点映射关系,再基于帧格点映射关系进行格点稳像,据此进行帧稳像可以得到精度更高的稳像结果。
作为一种可选的实施例,稳像单元503基于稳像格点位置对应关系对当前帧进行稳像处理,得到稳像结果,包括:
基于稳像格点位置对应关系以及插值处理方式,从当前帧中确定所述稳像帧中各像素对应的位置,得到像素位置对应关系;
根据像素位置对应关系对当前帧进行邻域像素插值,以获得稳像帧中各像素对应的值,作为稳像结果。
可见,实施该可选的实施例,可以通过对像素位置以及像素值的插值处理,得到准确的稳像结果。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
由于本申请的示例实施例的电子稳像装置的各个功能模块与上述电子稳像装置的示例实施例的步骤对应,因此对于本申请装置实施例中未披露的细节,请参照本申请上述的电子稳像装置的实施例。
请参阅图6,图6示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
需要说明的是,图6示出的电子设备的计算机系统600仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示,计算机系统600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的程序或者从储存部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有系统操作所需的各种程序和数据。CPU601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607;包括硬盘等的储存部分608;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入储存部分608。
特别地,根据本申请的实施例,下文参考流程图描述的过程可以被实现为计算机软件程序。例如,本申请的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时,执行本申请的方法和装置中限定的各种功能。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现上述实施例中的方法。
需要说明的是,本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由权利要求指出。
Claims (10)
1.一种电子稳像方法,其特征在于,包括:
获取设备姿态数据和当前帧;
根据所述设备姿态数据确定设备稳像模式;
基于所述设备稳像模式对所述当前帧进行稳像处理,得到稳像结果。
2.根据权利要求1所述的方法,其特征在于,获取设备姿态数据,包括:
获取陀螺仪上传的角速度数据;
对所述角速度数据进行积分处理,得到设备姿态数据。
3.根据权利要求1所述的方法,其特征在于,根据所述设备姿态数据确定设备稳像模式,包括:
根据所述设备姿态数据计算设备角位移;
在所述设备稳像模式为运动姿态模式时,若所述设备角位移小于静止阈值,将所述设备稳像模式切换为静止姿态模式;
在所述设备稳像模式为静止姿态模式时,若所述设备角位移大于运动阈值,将所述设备稳像模式切换为运动姿态模式。
4.根据权利要求1所述的方法,其特征在于,基于所述设备稳像模式对所述当前帧进行稳像处理,得到稳像结果,包括:
根据所述设备稳像模式确定当前滤波参数;
基于所述当前滤波参数对所述当前帧进行稳像处理,得到稳像结果。
5.根据权利要求4所述的方法,其特征在于,基于所述当前滤波参数对所述当前帧进行稳像处理,得到稳像结果,包括:
获取历史帧的历史姿态数据;
基于所述当前滤波参数、所述历史姿态数据、所述设备姿态数据对所述设备姿态数据进行滤波,得到目标姿态数据;
根据所述目标姿态数据对所述当前帧进行稳像处理,得到稳像结果。
6.根据权利要求5所述的方法,其特征在于,根据所述目标姿态数据对所述当前帧进行稳像处理,得到稳像结果,包括:
根据所述目标姿态数据、所述设备姿态数据计算设备旋转量;
根据所述设备旋转量以及设备内参模型计算当前帧和稳像帧之间的帧格点映射关系;
基于所述帧格点映射关系,从所述当前帧中确定与所述稳像帧中各稳像格点对应的位置,以得到所述稳像帧的稳像格点位置对应关系;
基于所述稳像格点位置对应关系对所述当前帧进行稳像处理,得到稳像结果。
7.根据权利要求6所述的方法,其特征在于,基于所述稳像格点位置对应关系对所述当前帧进行稳像处理,得到稳像结果,包括:
基于所述稳像格点位置对应关系以及插值处理方式,从所述当前帧中确定所述稳像帧中各像素对应的位置,得到像素位置对应关系;
根据所述像素位置对应关系对所述当前帧进行邻域像素插值,以获得所述稳像帧中各像素对应的值,作为稳像结果。
8.一种电子稳像装置,其特征在于,包括:
数据获取单元,用于获取设备姿态数据和当前帧;
稳像模式确定单元,用于根据所述设备姿态数据确定设备稳像模式;
稳像单元,用于基于所述设备稳像模式对所述当前帧进行稳像处理,得到稳像结果。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的方法。
10.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310070144.3A CN118413739A (zh) | 2023-01-28 | 2023-01-28 | 电子稳像方法、电子稳像装置、介质及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310070144.3A CN118413739A (zh) | 2023-01-28 | 2023-01-28 | 电子稳像方法、电子稳像装置、介质及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118413739A true CN118413739A (zh) | 2024-07-30 |
Family
ID=91999850
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310070144.3A Pending CN118413739A (zh) | 2023-01-28 | 2023-01-28 | 电子稳像方法、电子稳像装置、介质及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118413739A (zh) |
-
2023
- 2023-01-28 CN CN202310070144.3A patent/CN118413739A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9479709B2 (en) | Method and apparatus for long term image exposure with image stabilization on a mobile device | |
CN110035228B (zh) | 摄像头防抖系统、方法、电子设备和计算机可读存储介质 | |
US9313419B2 (en) | Image processing apparatus and image pickup apparatus where image processing is applied using an acquired depth map | |
US20160360111A1 (en) | Combined Optical And Electronic Image Stabilization | |
CN114449173B (zh) | 光学防抖控制方法、装置、存储介质与电子设备 | |
EP3346308A1 (en) | Detection device, detection method, detection program, and imaging device | |
US20170111574A1 (en) | Imaging apparatus and imaging method | |
CN107615744B (zh) | 一种图像拍摄参数的确定方法及摄像装置 | |
CN112040126A (zh) | 拍摄方法、装置、电子设备及可读存储介质 | |
US10623644B2 (en) | Image pick-up apparatus and control method thereof | |
CN115701125B (zh) | 图像防抖方法与电子设备 | |
CN114125411B (zh) | 投影设备校正方法、装置、存储介质以及投影设备 | |
EP4016985A1 (en) | Image processing method and apparatus, electronic device, and computer-readable storage medium | |
CN110177213B (zh) | 陀螺仪参数调整方法和装置、终端、计算机可读存储介质 | |
EP3267675B1 (en) | Terminal device and photographing method | |
CN114390186A (zh) | 视频拍摄方法及电子设备 | |
CN114567727B (zh) | 拍摄控制系统、方法及装置、存储介质和电子设备 | |
CN118413739A (zh) | 电子稳像方法、电子稳像装置、介质及设备 | |
EP4013030A1 (en) | Image processing method and apparatus, and electronic device and computer-readable storage medium | |
JP5182395B2 (ja) | 撮像装置、撮像方法および撮像プログラム | |
CN115022540B (zh) | 防抖控制方法、装置及系统、电子设备 | |
CN116934654B (zh) | 图像模糊度的确定方法及其相关设备 | |
CN114157848B (zh) | 投影设备校正方法、装置、存储介质以及投影设备 | |
US12120428B2 (en) | Image processing method and device, electronic device, and computer-readable storage medium | |
US10951829B2 (en) | Image capturing apparatus and method for controlling display |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |