CN117750215A - 拍摄参数更新方法和电子设备 - Google Patents
拍摄参数更新方法和电子设备 Download PDFInfo
- Publication number
- CN117750215A CN117750215A CN202310864877.4A CN202310864877A CN117750215A CN 117750215 A CN117750215 A CN 117750215A CN 202310864877 A CN202310864877 A CN 202310864877A CN 117750215 A CN117750215 A CN 117750215A
- Authority
- CN
- China
- Prior art keywords
- image frame
- optical flow
- frame
- target
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000003287 optical effect Effects 0.000 claims abstract description 162
- 239000013598 vector Substances 0.000 claims abstract description 50
- 238000010586 diagram Methods 0.000 claims description 56
- 238000006073 displacement reaction Methods 0.000 claims description 37
- 238000003384 imaging method Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种拍摄参数更新方法和电子设备,属于成像技术领域。具体方案包括:获取第一图像帧;确定第一图像帧的目标光流幅值图,并将目标光流幅值图输入第一网络模型,得到向量;根据向量确定目标参数,并将拍摄参数更新为目标参数;其中,第一图像帧对应第一运动场景,第一网络模型为第一运动场景的下的参数预测模型。
Description
技术领域
本申请属于成像技术领域,具体涉及一种拍摄参数更新方法和电子设备。
背景技术
在运动场景下,电子设备拍摄的图像很容易出现人像运动拖影或成片模糊的问题。通常可以通过减小快门的曝光时长来缓解运动拖影或成片模糊问题。
在相关技术中,可以根据拍摄场景的亮度以及拍摄对象的运动速度来进行运动估计,从而确定曝光时长。
然而,通过这种处理方式得到的曝光时长很容易出现过大或过短的情况,拍摄效果很不稳定。
发明内容
本申请实施例的目的是提供一种拍摄参数更新方法和电子设备,能够解决相关技术中确定曝光时长的方式使拍摄效果不稳定的问题。
第一方面,本申请实施例提供了一种拍摄参数更新方法,该方法包括:获取第一图像帧;确定第一图像帧的目标光流幅值图,并将目标光流幅值图输入第一网络模型,得到向量;根据向量确定目标参数,并将拍摄参数更新为目标参数;其中,第一图像帧对应第一运动场景,第一网络模型为第一运动场景的下的参数预测模型。
第二方面,本申请实施例提供了一种拍摄参数更新装置,包括:获取模块和处理模块;获取模块,用于获取第一图像帧;处理模块,用于确定第一图像帧的目标光流幅值图,并将目标光流幅值图输入第一网络模型,得到向量;根据向量确定目标参数,并将拍摄参数更新为目标参数;其中,第一图像帧对应第一运动场景,第一网络模型为第一运动场景的下的参数预测模型。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
第六方面,本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
在本申请实施例中,获取第一图像帧;确定第一图像帧的目标光流幅值图,并将目标光流幅值图输入第一网络模型,得到向量;根据向量确定目标参数,并将拍摄参数更新为目标参数;其中,第一图像帧对应第一运动场景,第一网络模型为第一运动场景的下的参数预测模型。通过该方案,由于第一网络模型为第一运动场景的下的参数预测模型,而第一图像帧对应第一运动场景,因此通过第一网络模型确定目标参数可以实现网络模型基于运动场景的细分,从而提高第一网络模型与第一运动场景的匹配度,提高对拍摄参数的预测准确度,进而提高拍摄效果的稳定性。
附图说明
图1是本申请实施例提供的拍摄参数更新方法的流程示意图之一;
图2是本申请实施例提供的拍摄参数更新方法的处理流程示意图之一;
图3是本申请实施例提供的拍摄参数更新方法的处理流程示意图之二;
图4是本申请实施例提供的拍摄参数更新方法的流程示意图之二;
图5是本申请实施例提供的拍摄参数更新装置的结构示意图;
图6是本申请实施例提供的电子设备的结构示意图;
图7是本申请实施例提供的电子设备的硬件示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的拍摄参数更新方法进行详细地说明。
本申请实施例提供的拍摄参数更新方法,该拍摄参数更新方法的执行主体可以为电子设备或者电子设备中能够实现该拍摄参数更新方法的功能模块或功能实体,本申请实施例提及的电子设备包括但不限于手机、平板电脑、电脑、相机、可穿戴设备等,下面以电子设备作为执行主体为例对本申请实施例提供的拍摄参数更新方法进行说明。
如图1所示,本申请实施例提供了一种拍摄参数更新方法,该方法可以包括步骤101-步骤103:
步骤101、获取第一图像帧。
可选地,上述第一图像帧为电子设备使用历史拍摄参数拍摄的图像帧,该第一图像帧中的拍摄对象可以为处于运动状态的对象,例如,该拍摄对象可以正在做跑步或者跳跃等运动。
需要说明的是,本申请实施例中的拍摄参数可以包括以下任一项:亮度、对比度、曝光时长、焦距、视场角等。
步骤102、确定第一图像帧的目标光流幅值图,并将目标光流幅值图输入第一网络模型,得到向量。
其中,第一图像帧对应第一运动场景,第一网络模型为第一运动场景的下的参数预测模型。
可选地,电子设备确定第一图像帧的目标光流幅值图,包括:电子设备根据第一图像帧与第二图像帧确定目标光流幅值图,该第二图像帧对应的时间戳早于第一图像帧对应的时间戳。
可选地,上述第二图像帧可以包括至少一个图像帧。该至少一个图像帧中的每个图像帧对应的时间戳均早于第一图像帧对应的时间戳。由于相邻两个图像帧可以生成一个光流幅值图,因此,在第二图像帧包括多个图像帧的情况下,目标光流幅值图可以包括多个光流幅值图。
可选地,在根据第一图像帧与第二图像帧确定目标光流幅值图之前,电子设备可以先对第一图像帧和第二图像帧进行预处理,该预处理过程可以包括:维数缩放、像素顺序调整以及像素值归一化处理等。
具体地,电子设备可以基于第一网络模型对输入信息的格式要求,对第一图像帧和第二图像帧进行维数缩放和像素顺序调整,例如,电子设备可以先将第一图像帧和第二图像帧的维度分别缩放到【384,512,3】,然后再将第一图像帧和第二图像帧的像素转换为RGB顺序。之后,由于彩色图像的像素值范围为(0,255),因此需要将第一图像帧和第二图像帧的像素值归一化到(0,1)之间。
由于可以对第一图像帧和第二图像帧进行预处理,因此可以使第一图像帧和第二图像帧满足第一网络模型对输入信息的格式要求,从而为得到向量提供基础。
需要说明的是,光流幅值图可以用于表示每个像素点整体的运动幅度。目标光流幅值图可以用于表示第二图像帧与第一图像帧之间每个像素点整体的运动幅度,因此,电子设备可以根据第一图像帧与第二图像帧确定目标光流幅值图。
基于上述方案,可以根据第一图像帧与第二图像帧确定目标光流幅值图,由于第二图像帧对应的时间戳早于第一图像帧对应的时间戳,因此可以确定第一图像帧中像素的光流变化,从而确定运动对象的运动信息。
可选地,上述第二图像帧可以包括第三图像帧和第四图像帧,第一帧间隔与第二帧间隔相同,第一帧间隔为第三图像帧与第四图像帧之间的帧间隔,第二帧间隔为第四图像帧与第一图像帧之间的帧间隔。电子设备根据第一图像帧与第二图像帧确定目标光流幅值图,包括:电子设备确定第三图像帧与第四图像帧之间的第一像素位移量、第四图像帧与第一图像帧之间的第二像素位移量,基于第一像素位移量形成第一光流幅值图,基于第二像素位移量形成第二光流幅值图;将第一光流幅值图与第二光流幅值图合并处理,得到目标光流幅值图。
具体地,电子设备确定第一像素位移量和第二像素位移量后,可以基于第一像素位移量形成第一光流幅值图,基于第二像素位移量形成第二光流幅值图,最后,电子设备可以将第一光流幅值图与第二光流幅值图在第三维上合并成一个多维数组,其维度为【384,512,2】。
可选地,电子设备可以通过光流L2范数指标使第一像素位移量转换为第一光流幅值图、第二像素位移量转换为第二光流幅值图。
具体地,电子设备可以将第一像素位移量通过光流L2范数指标转化为维数为【384,512,1】的第一光流幅值图F01,将第二像素位移量通过光流L2范数指标转化为维数为【384,512,1】的第二光流幅值图F02。
可选地,上述光流L2范数指标的公式为即逐像素在第三维上的二次方求和平方根。
基于上述方案,由于第二图像帧可以包括第三图像帧和第四图像帧,目标光流幅值图为第一光流幅值图与第二光流幅值图合并生成的,因此,可以综合考虑多对图像帧中运动对象的运动信息,从而提高预测结果的准确度。
可选地,在第二图像帧包括多个图像帧的情况下,电子设备可以根据预设帧间隔确定第一图像帧。
示例性地,以预设帧间隔为1为例、电子设备已经拍摄的相邻图像帧包括图像帧1、图像帧2以及图像帧3为例,若第三图像帧为图像帧1,第四图像帧为图像帧3,则当电子设备拍摄得到图像帧4后,由于图像帧4与图像帧3之间的帧间隔为0,因此,电子设备可以舍弃图像帧4;当电子设备拍摄得到图像帧5后,由于图像帧5与图像帧3之间的帧间隔为1,因此,电子设备可以获取图像帧5并将图像帧5确定为第一图像帧。
可选地,电子设备确定第三图像帧与第四图像帧的第一光流幅值图,包括:电子设备将第三图像帧与第四图像帧输入第二网络模型,得到第一光流矢量图;根据第一光流矢量图确定第一像素位移量;其中,第二网络模型用于预测图像间的运动信息。
具体地,电子设备可以获取第三图像帧I0、第四图像帧I1以及第一图像帧I2,并将第三图像帧I0和第四图像帧I1输入第二网络模型,从而得到维数为【384,512,2】的第一光流矢量图FV01,将第四图像帧I1和第一图像帧I2输入第二网络模型,从而得到维数为【384,512,2】的第二光流矢量图FV02,其中,第三个维度表示每个像素点在x方向和y方向的光流运动偏差。之后,电子设备可以根据第一光流矢量图FV01确定第一像素位移量,根据第二光流矢量图FV02确定第二像素位移量。
基于上述方案,由于可以确定两个图像帧的像素位移量,因此可以确定图像帧中运动对象的整体运动幅度,从而为确定拍摄参数提供参考。
可选地,在将第一光流幅值图与第二光流幅值图合并处理,得到目标光流幅值图之前,电子设备可以先确定第一光流幅值图的第一外接框、以及第二光流幅值图的第二外接框;将第一光流幅值图中第一外接框以外区域的光流幅值降低为预设幅值,将第二光流幅值图中第二外接框以外区域的光流幅值降低为预设幅值。
示例性地,如图2所示,电子设备可以通过第二网络模型得到第一光流幅值图31和第二光流幅值图32,之后,电子设备可以识别第一光流幅值图31的第一外接框33、以及第二光流幅值图32的第二外接框34,最后,电子设备可以将第一外接框33以外区域的光流幅值降低为预设幅值,将第二外接框34以外区域的光流幅值降低为预设幅值。
基于上述方案,由于可以将第一光流幅值图中第一外接框以外区域的光流幅值降低为预设幅值,将第二光流幅值图中第二外接框以外区域的光流幅值降低为预设幅值,因此可以消除镜头抖动等背景引入的全局光流信息,从而降低相机抖动或背景物体晃动引入的光流幅值对整体运动幅值的影响,进而提高拍摄参数的预测准确度。
可选地,在将目标光流幅值图输入第一网络模型之前,电子设备可以先确定第一图像帧对应的运动场景,再根据第一图像帧的运动场景确定第一网络模型。
可选地,电子设备可以基于第三网络模型确定第一图像帧对应的第一运动场景。其中,第三网络模型可以用于预测图像帧中拍摄对象参与的运动场景。
可选地,上述第三网络模型可以通过卷积神经类网络(Convolutional NeuralNetwork,CNN)构建。该第三网络模型为以场景图像为输入、以对应的运动场景为输出,对CNN分类网络进行训练得到的。
可选地,上述场景图像对应的运动场景可以包括但不限于以下至少一项:跑步、跳绳、打羽毛球、踢足球等。
示例性地,若电子设备拍摄的第一图像帧中的拍摄对象正在跑步,则电子设备通过将第一图像帧输入第三网络模型,可以对第一图像帧的运动场景进行识别,从而将跑步确定为第一运动场景。
可选地,确定第一图像帧的运动场景为第一运动场景之后,电子设备可以确定与第一运动场景对应的第一网络模型。该第一网络模型可以用于预测第一运动场景下与拍摄对象匹配的拍摄参数。
可选地,一种运动场景可以对应一种第一网络模型,在确定第一运动场景后,电子设备可以确定与第一运动场景对应的第一网络模型。
示例性地,如图3所示,第三网络模型的输出为N个运动场景中的一个,以第一运动场景为运动场景1为例。电子设备通过第三网络模型确定第一图像帧对应的运动场景1后,可以进一步确定运动场景1对应的第一网络模型1。
需要说明的是,一个运动场景对应的第一网络模型的训练数据仅包括该运动场景下的场景图像。例如,若第一网络模型对应的运动场景为跑步场景,则该第一网络模型的训练数据均为跑步图像。
可选地,在确定与第一运动场景对应的第一网络模型后,电子设备可以将目标光流幅值图输入第一网络模型,得到向量。
步骤103、根据向量确定目标参数,并将拍摄参数更新为目标参数。
可选地,电子设备根据向量确定目标参数,包括:电子设备根据向量确定对应不同置信度的待选参数,将置信度最大的待选参数确定为所述目标参数。
具体地,第一网络模型输出的向量可以为多维度的全连接层向量,电子设备可以通过softmax激活函数将向量转换为对应不同置信度的待选参数,最后将置信度最大的待选参数确定为目标参数。
示例性地,以拍摄参数为曝光时长为例。向量可以为5维的全连接层向量,5个维度可以分别对应曝光时长1/50秒、曝光时长为1/160秒、曝光时长为1/320秒、曝光时长为1/640秒以及曝光时长为1/1280秒。softmax激活函数可以确定每个维度的待选参数对应的置信度,若曝光时长为1/320秒对应的置信度最大,则可以将曝光时长1/320秒确定为目标参数。
基于上述方案,由于可以根据向量确定对应不同置信度的待选参数,并将置信度最大的待选参数确定为目标参数,因此,可以根据置信度选择出最适合的拍摄参数,从而可以提高图像的清晰度。
可选地,在将拍摄参数更新为目标参数后,电子设备可以使用目标参数拍摄第一图像帧的下一个图像帧。
可选地,在将拍摄参数更新为目标参数后,电子设备可以将第四图像帧从图像帧I1更新为图像帧I0,将第一图像帧从图像帧I2更新为图像帧I1,并根据预设帧间隔获取新的第一图像帧,以及将新的第一图像帧确定为图像帧I2。
在本申请实施例中,由于第一网络模型为第一运动场景的下的参数预测模型,而第一图像帧对应第一运动场景,因此通过第一网络模型确定目标参数可以实现网络模型基于运动场景的细分,从而提高第一网络模型与第一运动场景的匹配度,提高对拍摄参数的预测准确度,进而提高拍摄效果的稳定性。
可选地,如图4所示,本申请实施例提供的拍摄参数更新方法还可以包括步骤104-步骤106:
步骤104、获取第一网络模型的目标训练数据。
可选地,上述目标训练数据为训练集中的一个训练数据,可以包括图像帧41、图像帧42以及图像帧43。
可选地,目标训练数据可以对应一个标注值。该标注值为目标训练数据中图像显示效果最佳的图像帧对应的拍摄参数。
示例性地,以拍摄参数为曝光时长为例。用户可以使用三脚架固定6台同一型号的相机,分别在专业模式使用曝光时长1/50,1/160,1/320,1/640和1/1280秒,采集同一个运动对象在相同时刻、相同拍摄角度的运动动作视频。再对不同曝光时长的视频进行抽帧,形成同一帧的多个图像帧序列对,最后通过人工标注的方式将当前成像清晰且无噪点的最佳曝光档位确定为该多个图像帧序列对的标注值。
步骤105、对目标训练数据进行维数缩放,得到第一数据。
步骤106、对第一数据进行像素顺序调整,得到第二数据。
步骤107、对第二数据进行像素值归一化处理,得到第三数据。
步骤108、对第三数据进行光流幅值图转换,得到第三光流幅值图。
步骤109、对第三光流幅值图进行外接框以外区域的光流幅值降低处理,得到第四光流幅值图。
需要说明的是,上述步骤105-109中的维数缩放、像素顺序调整、像素值归一化处理、光流幅值图转换、外接框以外区域的光流幅值降低处理等过程的具体处理方式可以参考步骤102中的相关描述,此处不再赘述。
步骤110、基于第四光流幅值图对第一网络模型进行模型训练。
可选地,在将图像帧41、图像帧42以及图像帧43对应的目标光流幅值图输入第一网络模型后可以得到输出向量值,之后,电子设备可以通过公式(1)计算输出向量值与目标训练数据的标注值之间的损失,并根据计算结果更新第一网络模型的模型参数。
在本申请实施例中,由于可以通过目标训练数据对第一网络模型进行模型训练,因此可以将第一网络模型用于拍摄参数的预测。
本申请实施例提供的拍摄参数更新方法,执行主体可以为拍摄参数更新装置。本申请实施例中以拍摄参数更新装置执行拍摄参数更新方法为例,说明本申请实施例提供的拍摄参数更新装置。
如图5所示,本申请实施例还提供一种拍摄参数更新装置500,包括:获取模块501和处理模块502;获取模块501,用于获取第一图像帧;处理模块502,用于确定第一图像帧的目标光流幅值图,并将目标光流幅值图输入第一网络模型,得到向量;根据向量确定目标参数,并将拍摄参数更新为目标参数;其中,第一图像帧对应第一运动场景,第一网络模型为第一运动场景的下的参数预测模型。
可选地,处理模块502,具体用于根据第一图像帧与第二图像帧确定目标光流幅值图,第二图像帧对应的时间戳早于第一图像帧对应的时间戳。
可选地,第二图像帧包括第三图像帧和第四图像帧,第一帧间隔与第二帧间隔相同,第一帧间隔为第三图像帧与第四图像帧之间的帧间隔,第二帧间隔为第四图像帧与第一图像帧之间的帧间隔;处理模块502,具体用于确定第三图像帧与第四图像帧之间的第一像素位移量、第四图像帧与第一图像帧之间的第二像素位移量,基于第一像素位移量形成第一光流幅值图,基于第二像素位移量形成第二光流幅值图;将第一光流幅值图与第二光流幅值图合并处理,得到目标光流幅值图。
可选地,处理模块502,具体用于将第三图像帧与第四图像帧输入第二网络模型,得到第一光流矢量图;根据第一光流矢量图确定第一像素位移量;其中,第二网络模型用于预测图像间的运动信息。
可选地,处理模块502,还用于确定第一光流幅值图的第一外接框、以及第二光流幅值图的第二外接框;将第一光流幅值图中第一外接框以外区域的光流幅值降低为预设幅值,将第二光流幅值图中第二外接框以外区域的光流幅值降低为预设幅值。
可选地,处理模块502,具体用于根据向量确定对应不同置信度的待选参数,将置信度最大的待选参数确定为目标参数。
在本申请实施例中,由于第一网络模型为第一运动场景的下的参数预测模型,而第一图像帧对应第一运动场景,因此通过第一网络模型确定目标参数可以实现网络模型基于运动场景的细分,从而提高第一网络模型与第一运动场景的匹配度,提高对拍摄参数的预测准确度,进而提高拍摄效果的稳定性。
本申请实施例中的拍摄参数更新装置可以是电子设备,也可以是电子设备中的部件,例如集成电路或芯片。该电子设备可以是终端,也可以为除终端之外的其他设备。示例性的,电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device,MID)、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobilepersonal computer,UMPC)、上网本或者个人数字助理(personal digital assistant,PDA)等,还可以为服务器、网络附属存储器(Network Attached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的拍摄参数更新装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为iOS操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的拍摄参数更新装置能够实现图1至图4的方法实施例实现的各个过程,为避免重复,这里不再赘述。
可选地,如图6所示,本申请实施例还提供一种电子设备600,包括处理器601和存储器602,存储器602上存储有可在所述处理器601上运行的程序或指令,该程序或指令被处理器601执行时实现上述拍摄参数更新方法实施例的各个步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图7为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备700包括但不限于:射频单元701、网络模块702、音频输出单元703、输入单元704、传感器705、显示单元706、用户输入单元707、接口单元708、存储器709、以及处理器710等部件。
本领域技术人员可以理解,电子设备700还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器710逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图7中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,处理器710,用于获取第一图像帧;确定第一图像帧的目标光流幅值图,并将目标光流幅值图输入第一网络模型,得到向量;根据向量确定目标参数,并将拍摄参数更新为目标参数;其中,第一图像帧对应第一运动场景,第一网络模型为第一运动场景的下的参数预测模型。
在本申请实施例中,由于第一网络模型为第一运动场景的下的参数预测模型,而第一图像帧对应第一运动场景,因此通过第一网络模型确定目标参数可以实现网络模型基于运动场景的细分,从而提高第一网络模型与第一运动场景的匹配度,提高对拍摄参数的预测准确度,进而提高拍摄效果的稳定性。
可选地,处理器710,具体用于根据第一图像帧与第二图像帧确定目标光流幅值图,第二图像帧对应的时间戳早于第一图像帧对应的时间戳。
在本申请实施例中,可以根据第一图像帧与第二图像帧确定目标光流幅值图,由于第二图像帧对应的时间戳早于第一图像帧对应的时间戳,因此可以确定第一图像帧中像素的光流变化,从而确定运动对象的运动信息。
可选地,第二图像帧包括第三图像帧和第四图像帧,第一帧间隔与第二帧间隔相同,第一帧间隔为第三图像帧与第四图像帧之间的帧间隔,第二帧间隔为第四图像帧与第一图像帧之间的帧间隔;处理器710,具体用于确定第三图像帧与第四图像帧之间的第一像素位移量、第四图像帧与第一图像帧之间的第二像素位移量,基于第一像素位移量形成第一光流幅值图,基于第二像素位移量形成第二光流幅值图;将第一光流幅值图与第二光流幅值图合并处理,得到目标光流幅值图。
在本申请实施例中,由于第二图像帧可以包括第三图像帧和第四图像帧,目标光流幅值图为第一光流幅值图与第二光流幅值图合并生成的,因此,可以综合考虑多对图像帧中运动对象的运动信息,从而提高预测结果的准确度。
可选地,处理器710,具体用于将第三图像帧与第四图像帧输入第二网络模型,得到第一光流矢量图;根据第一光流矢量图确定第一像素位移量;其中,第二网络模型用于预测图像间的运动信息。
在本申请实施例中,由于可以确定两个图像帧的像素位移量,因此可以确定图像帧中运动对象的整体运动幅度,从而为确定拍摄参数提供参考。
可选地,处理器710,还用于确定第一光流幅值图的第一外接框、以及第二光流幅值图的第二外接框;将第一光流幅值图中第一外接框以外区域的光流幅值降低为预设幅值,将第二光流幅值图中第二外接框以外区域的光流幅值降低为预设幅值。
在本申请实施例中,由于可以将第一光流幅值图中第一外接框以外区域的光流幅值降低为预设幅值,将第二光流幅值图中第二外接框以外区域的光流幅值降低为预设幅值,因此可以消除镜头抖动等背景引入的全局光流信息,从而降低相机抖动或背景物体晃动引入的光流幅值对整体运动幅值的影响,进而提高拍摄参数的预测准确度。
可选地,处理器710,具体用于根据向量确定对应不同置信度的待选参数,将置信度最大的待选参数确定为目标参数。
在本申请实施例中,由于可以根据向量确定对应不同置信度的待选参数,并将置信度最大的待选参数确定为目标参数,因此,可以根据置信度选择出最适合的拍摄参数,从而可以提高图像的清晰度。
应理解的是,本申请实施例中,输入单元704可以包括图形处理器(GraphicsProcessing Unit,GPU)7041和麦克风7042,图形处理器7041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元706可包括显示面板7061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板7061。用户输入单元707包括触控面板7071以及其他输入设备7072中的至少一种。触控面板7071,也称为触摸屏。触控面板7071可包括触摸检测装置和触摸控制器两个部分。其他输入设备7072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
存储器709可用于存储软件程序以及各种数据。存储器709可主要包括存储程序或指令的第一存储区和存储数据的第二存储区,其中,第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外,存储器709可以包括易失性存储器或非易失性存储器,或者,存储器709可以包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本申请实施例中的存储器709包括但不限于这些和任意其它适合类型的存储器。
处理器710可包括一个或多个处理单元;可选的,处理器710集成应用处理器和调制解调处理器,其中,应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作,调制解调处理器主要处理无线通信信号,如基带处理器。可以理解的是,上述调制解调处理器也可以不集成到处理器710中。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述拍摄参数更新方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述拍摄参数更新方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如上述拍摄参数更新方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对相关技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (14)
1.一种拍摄参数更新方法,其特征在于,包括:
获取第一图像帧;
确定所述第一图像帧的目标光流幅值图,并将所述目标光流幅值图输入第一网络模型,得到向量;
根据所述向量确定目标参数,并将拍摄参数更新为所述目标参数;
其中,所述第一图像帧对应第一运动场景,所述第一网络模型为所述第一运动场景的下的参数预测模型。
2.根据权利要求1所述的拍摄参数更新方法,其特征在于,所述确定所述第一图像帧的目标光流幅值图,包括:
根据所述第一图像帧与第二图像帧确定所述目标光流幅值图,所述第二图像帧对应的时间戳早于所述第一图像帧对应的时间戳。
3.根据权利要求2所述的拍摄参数更新方法,其特征在于,所述第二图像帧包括第三图像帧和第四图像帧,第一帧间隔与第二帧间隔相同,所述第一帧间隔为所述第三图像帧与所述第四图像帧之间的帧间隔,所述第二帧间隔为所述第四图像帧与所述第一图像帧之间的帧间隔;
所述根据所述第一图像帧与第二图像帧确定所述目标光流幅值图,包括:
确定所述第三图像帧与所述第四图像帧之间的第一像素位移量、所述第四图像帧与所述第一图像帧之间的第二像素位移量,基于所述第一像素位移量形成所述第一光流幅值图,基于所述第二像素位移量形成所述第二光流幅值图;
将所述第一光流幅值图与所述第二光流幅值图合并处理,得到所述目标光流幅值图。
4.根据权利要求3所述的拍摄参数更新方法,其特征在于,所述确定所述第三图像帧与所述第四图像帧的第一像素位移量,包括:
将所述第三图像帧与所述第四图像帧输入第二网络模型,得到第一光流矢量图;
根据所述第一光流矢量图确定所述第一像素位移量;
其中,所述第二网络模型用于预测图像间的运动信息。
5.根据权利要求3所述的拍摄参数更新方法,其特征在于,所述将所述第一光流幅值图与所述第二光流幅值图合并处理,得到所述目标光流幅值图之前,所述方法还包括:
确定所述第一光流幅值图的第一外接框、以及所述第二光流幅值图的第二外接框;
将所述第一光流幅值图中所述第一外接框以外区域的光流幅值降低为预设幅值,将所述第二光流幅值图中所述第二外接框以外区域的光流幅值降低为所述预设幅值。
6.根据权利要求1所述的拍摄参数更新方法,其特征在于,所述根据所述向量确定目标参数,包括:
根据所述向量确定对应不同置信度的待选参数,将置信度最大的待选参数确定为所述目标参数。
7.一种拍摄参数更新装置,其特征在于,包括:获取模块和处理模块;
所述获取模块,用于获取第一图像帧;
所述处理模块,用于确定所述第一图像帧的目标光流幅值图,并将所述目标光流幅值图输入第一网络模型,得到向量;根据所述向量确定目标参数,并将拍摄参数更新为所述目标参数;
其中,所述第一图像帧对应第一运动场景,所述第一网络模型为所述第一运动场景的下的参数预测模型。
8.根据权利要求7所述的拍摄参数更新装置,其特征在于,所述处理模块,具体用于根据所述第一图像帧与第二图像帧确定所述目标光流幅值图,所述第二图像帧对应的时间戳早于所述第一图像帧对应的时间戳。
9.根据权利要求8所述的拍摄参数更新装置,其特征在于,所述第二图像帧包括第三图像帧和第四图像帧,第一帧间隔与第二帧间隔相同,所述第一帧间隔为所述第三图像帧与所述第四图像帧之间的帧间隔,所述第二帧间隔为所述第四图像帧与所述第一图像帧之间的帧间隔;
所述处理模块,具体用于确定所述第三图像帧与所述第四图像帧之间的第一像素位移量、所述第四图像帧与所述第一图像帧之间的第二像素位移量,基于所述第一像素位移量形成所述第一光流幅值图,基于所述第二像素位移量形成所述第二光流幅值图;将所述第一光流幅值图与所述第二光流幅值图合并处理,得到所述目标光流幅值图。
10.根据权利要求9所述的拍摄参数更新装置,其特征在于,所述处理模块,具体用于将所述第三图像帧与所述第四图像帧输入第二网络模型,得到第一光流矢量图;根据所述第一光流矢量图确定所述第一像素位移量;其中,所述第二网络模型用于预测图像间的运动信息。
11.根据权利要求9所述的拍摄参数更新装置,其特征在于,所述处理模块,还用于确定所述第一光流幅值图的第一外接框、以及所述第二光流幅值图的第二外接框;将所述第一光流幅值图中所述第一外接框以外区域的光流幅值降低为预设幅值,将所述第二光流幅值图中所述第二外接框以外区域的光流幅值降低为所述预设幅值。
12.根据权利要求7所述的拍摄参数更新装置,其特征在于,所述处理模块,具体用于根据所述向量确定对应不同置信度的待选参数,将置信度最大的待选参数确定为所述目标参数。
13.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-6任一项所述的拍摄参数更新方法。
14.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1-6任一项所述的拍摄参数更新方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310864877.4A CN117750215A (zh) | 2023-07-14 | 2023-07-14 | 拍摄参数更新方法和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310864877.4A CN117750215A (zh) | 2023-07-14 | 2023-07-14 | 拍摄参数更新方法和电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117750215A true CN117750215A (zh) | 2024-03-22 |
Family
ID=90280025
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310864877.4A Pending CN117750215A (zh) | 2023-07-14 | 2023-07-14 | 拍摄参数更新方法和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117750215A (zh) |
-
2023
- 2023-07-14 CN CN202310864877.4A patent/CN117750215A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220222776A1 (en) | Multi-Stage Multi-Reference Bootstrapping for Video Super-Resolution | |
CN112822412B (zh) | 曝光方法、装置、电子设备和存储介质 | |
CN113099122A (zh) | 拍摄方法、装置、设备和存储介质 | |
CN114390201A (zh) | 对焦方法及其装置 | |
CN113489909B (zh) | 拍摄参数的确定方法、装置及电子设备 | |
CN108259767B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
US9686470B2 (en) | Scene stability detection | |
CN113866782A (zh) | 图像处理方法、装置及电子设备 | |
US20230164446A1 (en) | Imaging exposure control method and apparatus, device and storage medium | |
CN108495038B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
WO2023001110A1 (zh) | 神经网络训练方法、装置及电子设备 | |
CN112637496B (zh) | 图像矫正方法及装置 | |
CN113891005B (zh) | 拍摄方法、装置及电子设备 | |
CN115496664A (zh) | 一种模型训练方法、装置、电子设备及可读存储介质 | |
CN115623313A (zh) | 图像处理方法、图像处理装置、电子设备、存储介质 | |
CN115439386A (zh) | 图像融合方法、装置、电子设备和存储介质 | |
CN112788236B (zh) | 视频帧处理方法、装置、电子设备和可读存储介质 | |
CN117750215A (zh) | 拍摄参数更新方法和电子设备 | |
CN114782280A (zh) | 图像处理方法和装置 | |
CN114339051A (zh) | 拍摄方法、装置、电子设备和可读存储介质 | |
CN112367470B (zh) | 图像处理方法、装置及电子设备 | |
CN116012262B (zh) | 一种图像处理方法、模型训练方法及电子设备 | |
CN114143448B (zh) | 拍摄方法、装置、电子设备及可读存储介质 | |
CN116342992A (zh) | 图像处理方法和电子设备 | |
CN116261043A (zh) | 对焦距离确定方法、装置、电子设备和可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |