CN112911149B - 图像输出方法、装置、电子设备及可读存储介质 - Google Patents
图像输出方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN112911149B CN112911149B CN202110121879.5A CN202110121879A CN112911149B CN 112911149 B CN112911149 B CN 112911149B CN 202110121879 A CN202110121879 A CN 202110121879A CN 112911149 B CN112911149 B CN 112911149B
- Authority
- CN
- China
- Prior art keywords
- video
- input
- video frame
- jitter
- displacement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请实施例公开了一种图像输出方法、装置、电子设备及可读存储介质,该方法包括:接收对第一视频的第一输入,第一视频包括多个视频帧;响应于第一输入,根据第一视频的位移参数序列对视频帧进行角度校正,得到第一视频帧;与第一视频帧对应的位移参数满足预设位移条件;其中,位移参数序列根据任意两个连续的视频帧之间的位移参数确定;根据第一视频帧输出长曝光图像。根据本申请实施例,能够提升长曝光图像的质量。
Description
技术领域
本申请实施例涉及信息处理领域,尤其涉及一种图像输出方法、装置、电子设备及可读存储介质。
背景技术
目前,电子设备的功能也越来越强大,其中,流光快门由于可以拍出具有特殊光影的长曝光图片而广受用户欢迎。长曝光图片是指采用较长的曝光时间,可以记录拍摄对象在曝光时间内的运动轨迹,例如光轨和流水等。
在实现本申请过程中,申请人发现现有技术中至少存在如下问题:
用户拍摄长曝光图像时,由于用户手持电子设备容易产生抖动,导致拍摄得到的长曝光图片的质量较差。
发明内容
本申请实施例提供一种图像输出方法、装置、电子设备及可读存储介质,能够解决拍摄得到的长曝光图片的质量较差的问题。
为了解决上述技术问题,本申请是这样实现的:
第一方面,本申请实施例提供了一种图像输出方法,该方法可以包括:
接收对第一视频的第一输入,第一视频包括多个视频帧;
响应于第一输入,根据第一视频的位移参数序列对视频帧进行角度校正,得到第一视频帧;与第一视频帧对应的位移参数满足预设位移条件;其中,位移参数序列根据任意两个连续的视频帧之间的位移参数确定;
根据第一视频帧输出长曝光图像。
第二方面,本申请实施例提供了一种图像输出装置,该装置可以包括:
接收模块,用于接收对第一视频的第一输入,第一视频包括多个视频帧;
校正模块,用于响应于第一输入,根据第一视频的位移参数序列对视频帧进行角度校正,得到第一视频帧;与第一视频帧对应的位移参数满足预设位移条件;其中,位移参数序列根据任意两个连续的视频帧之间的位移参数确定;
输出模块,用于根据第一视频帧输出长曝光图像。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序或指令,程序或指令被处理器执行时实现如第一方面的方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,可读存储介质上存储程序或指令,程序或指令被处理器执行时实现如第一方面的方法的步骤。
第五方面,本申请实施例提供了一种芯片,芯片包括处理器和通信接口,通信接口和处理器耦合,处理器用于运行程序或指令,实现如第一方面的方法。
本申请实施例中,接收并响应于用户对第一视频的第一输入,根据第一视频的位移参数序列对视频帧进行角度校正,得到第一视频帧;根据第一视频帧输出长曝光图像,由于位移参数序列是根据第一视频中的任意两个连续的视频帧之间的位移参数确定的,所以位移参数序列可以体现第一视频的位移情况;而且,根据位移参数序列对视频帧进行角度校正后得到的第一视频帧对应的位移参数满足了预设位移条件,可以校正由于电子设备不稳定造成的存在抖动的视频帧,所以基于第一视频帧输出的长曝光图像的效果更好。
附图说明
从下面结合附图对本申请的具体实施方式的描述中可以更好地理解本申请其中,相同或相似的附图标记表示相同或相似的特征。
图1为本申请实施例提供的图像输出方法的一种应用场景示意图;
图2为本申请实施例提供的一种图像输出方法的流程图;
图3为本申请实施例提供的一种用于显示选择目标视频片段的示意图;
图4为本申请实施例提供的一种用于显示关键特征点的示意图;
图5为本申请实施例提供的一种用于显示校正视频帧的示意图;
图6为本申请实施例提供的一种用于显示第一视频帧的示意图;
图7为本申请实施例提供的一种图像输出装置结构示意图;
图8为本申请实施例提供的一种电子设备的硬件结构示意图;
图9是本申请实施例提供的另一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
本申请实施例提供的图像输出方法至少可以应用于下述应用场景中,下面进行说明。
目前,单反相机可以通过调节快门速度可以实现长曝光效果,将光与影结合,拍摄出出具有高级感的摄影作品。其中,长曝光摄影通常使用长时间快门(通常大于2秒)来拍摄图像,能够模糊移动物体(如行驶中的汽车和水流)。通过长曝光摄影得到的长曝光图像中的移动物体会模糊,静止物体会保持清晰。
长曝光摄影的中较为常见的动态拍摄对象可以包括:摩天轮和游乐园游乐设施,星迹,过往火车和汽车的灯光,移动的海水,移动的云,瀑布等。经由长曝光摄影拍摄得到的长曝光图像中包括拍摄对象的动态信息和静态信息。
目前电子设备的流光快门功能也可以实现长曝光效果。电子设备的流光快门功能对拍摄要求较高,在拍摄的过程中要求电子设备保持稳定。但是在实际的用户手持电子设备进行拍摄长曝光图像的过程中,由于抖动容易导致无法获得用户想要的拍摄效果,即得到的长曝光图像的质量较差。
如图1所示,图1中的左图,是是电子设备抖动地拍摄时,拍摄得到的长曝光图像1;图1中的右图,是电子设备稳定地拍摄时,拍摄得到的长曝光图像2。长曝光图像1和长曝光图像2均是对同一拍摄对象进行拍摄得到的,拍摄对象在拍摄过程的运动轨迹类似圆形轨迹。从图中也可以看出,拍摄时的抖动相应体现在了拍摄对象在长曝光图像1中的显示效果上。长曝光图像1的质量不如长曝光图像2的质量。由于拍摄时的抖动导致拍摄得到的长曝光图像的质量较差。
针对相关技术出现的问题,本申请实施例提供一种图像输出方法、装置、电子设备及存储介质,能够解决解决拍摄得到的长曝光图像的质量较差的问题。
本申请实施例提供的方法,除了可以应用到上述应用场景之外,还可以应用到拍摄出的长曝光图像质量不好的场景中。
通过本申请实施例提供的方法,通过响应于用户对第一视频的第一输入,根据第一视频的位移参数序列对视频帧进行角度校正,得到第一视频帧;根据第一视频帧输出长曝光图像,由于位移参数序列是根据第一视频中的任意两个连续的视频帧之间的位移参数确定的,所以位移参数序列可以体现第一视频的位移情况;而且,根据位移参数序列对视频帧进行角度校正后得到的第一视频帧对应的位移参数满足了预设位移条件,可以将由于电子设备不稳定造成的存在抖动的视频帧校正为正常的显示效果,所以基于第一视频帧合成的长曝光图像的效果更好。
基于上述应用场景,下面对本申请实施例提供的图像输出方法进行详细说明。
图2为本申请实施例提供的一种图像输出方法的流程图。
如图2所示,该图像输出方法可以包括步骤210-步骤230,该方法应用于图像输出装置,具体如下所示:
步骤210,接收对第一视频的第一输入,第一视频包括多个视频帧。
步骤220,响应于第一输入,根据第一视频的位移参数序列对视频帧进行角度校正,得到第一视频帧;与第一视频帧对应的位移参数满足预设位移条件;其中,位移参数序列根据任意两个连续的视频帧之间的位移参数确定。
步骤230,根据第一视频帧输出长曝光图像。
本申请实施例提供的图像输出方法中,通过响应于用户对第一视频的第一输入,根据第一视频的位移参数序列对视频帧进行角度校正,得到第一视频帧;根据第一视频帧生成并输出长曝光图像,由于位移参数序列是根据第一视频中的任意两个连续的视频帧之间的位移参数确定的,所以位移参数序列可以体现第一视频的位移情况;而且,根据位移参数序列对视频帧进行角度校正后得到的第一视频帧对应的位移参数满足了预设位移条件,可以将由于电子设备不稳定造成的存在抖动的视频帧校正为正常的显示效果,所以基于第一视频帧合成的长曝光图像的效果更好。
下面,对步骤210-步骤230的内容分别进行描述:
首先,涉及步骤210。
接收对第一视频的第一输入,第一视频包括多个视频帧。
其中,第一视频可以为电子设备的本地视频,也可以为线上视频。
第一输入可以为对第一视频的按压输入、滑动输入或点击输入等等。
然后,涉及步骤220。
具体地,首先,对视频帧中的关键特征点进行匹配,得到相匹配的关键特征点;然后,基于相匹配的关键特征点确定视频帧之间的位移参数;根据任意两个连续的视频帧之间的位移参数确定位移参数序列;接着,响应于第一输入,根据第一视频的位移参数序列对视频帧进行角度校正,得到第一视频帧,直至角度校正得到的第一视频帧对应的位移参数满足预设位移条件。
在一种可能的实施例中,步骤220,具体可以包括以下步骤:
响应于第一输入,显示第一视频中的多个第一视频片段对应的第一标识,第一视频片段的抖动参数满足预设抖动条件;抖动参数根据第一视频片段中的任意两个连续的视频帧之间的位移参数确定;接收对多个第一标识中的目标标识的第二输入;目标标识对应目标视频片段;响应于第二输入,根据位移参数序列对目标视频片段中的视频帧进行角度校正,得到第一视频帧。
如图3所示,响应于第一输入,显示第一视频中的多个第一视频片段对应的第一标识,其中,第一视频片段的抖动参数满足预设抖动条件。这样,可以初步筛选出抖动情况比较轻微的视频片段,以供用户从中选择。
然后,响应于用户从对多个第一标识中选择目标标识的第二输入,根据位移参数序列对目标视频片段中的视频帧进行角度校正,得到第一视频帧。
其中,对于不同视频场景的图像合成场景,其对应的抖动容忍度也是不同的,即第一视频片段的抖动参数与第一视频片段的视频场景是相关的。可以基于场景检测结果进行抖动评估,比如“流水瀑布”对应的抖动参数可以大于“车水马龙”对应的抖动参数。
首先,可以基于角点检测或者光流法,确定任意两个连续的视频帧之间的位移参数,根据多帧的平均位移参数确定抖动参数。
这里,通过显示根据第一视频的视频抖动参数从第一视频中确定的多个第一视频片段,可以将视频抖动参数满足预设条件的第一视频片段筛选出来,用于用户从中选择进行后期的合成,可以保证合成效果;然后响应于用户对视频抖动参数满足预设条件的第一视频片段中的目标视频片段的第二输入,对目标视频片段中的视频帧进行角度校正,得到第一视频帧。由此,第一视频帧的抖动情况大大减弱,进而提升后续的长曝光图像合成效果。
作为本申请的一种实现方式,为了提升长曝光图像的合成效果,在上述涉及到的显示第一视频中的多个第一视频片段的步骤之前,还可以包括以下步骤:
基于图像语义分割对第一视频进行场景识别,将第一视频切分为多个第二视频片段,第二视频片段与视频场景一一对应;确定第二视频片段的抖动参数;将抖动参数小于预设抖动阈值的第二视频片段确定为第一视频片段。
其中,上述涉及到的视频场景可以包括:车水马龙、夜景涂鸦、行人雾化、绚丽星轨、流水瀑布、光轨合成、瀑布雾化、行人消除等。针对不同的视频场景有特定的处理方式。第一视频中可能对应多个视频场景,因此,首先需要通过图像语义分割对第一视频进行视频场景识别,将第一视频切分为多个第二视频片段。
若检测到第二视频片段的抖动参数符合要求,则将抖动参数小于预设抖动阈值的第二视频片段确定为第一视频片段。若检测到第二视频片段的抖动参数均符合要求,则将第二视频片段均确定为第一视频片段。
由此,通过图像语义分割对第一视频进行场景识别,将第一视频切分为多个与视频场景一一对应的第二视频片段,能够便于后期合成不同效果的长曝光图像。另外还可以根据各个第二视频片段的视频场景来确定各个第二视频片段的抖动参数,这样可以根据不同的视频场景,精准地从第一视频片段中确定出第二视频片段,进而提升后续长曝光图像的效果。
另外可以响应于用户对第一视频片段调整输入,对第一视频片段进行剪辑处理,以调整第一视频片段的时长。
作为本申请的一种实现方式,为了提升长曝光图像的合成质量,在上述涉及到的确定第二视频片段的视频抖动参数的步骤之前,还可以包括以下步骤:
在多个第二视频片段的抖动参数均大于预设抖动阈值的情况下,显示提示信息,提示信息用于指示更换第一视频;接收对提示信息的第三输入;
在第三输入为确认输入的情况下,响应于第三输入,显示第二视频,第二视频与第一视频的相似度大于预设阈值;
在第三输入为取消输入的情况下,响应于第三输入,将第二视频片段确定为第一视频片段。
后台进行视频场景检测,判断视频是否符合要求,若检测结果显示不符合要求,可以在界面显示提示信息“该第一视频合成效果可能不佳,是否继续?”,同时在界面下方显示场景相关度高且推荐合成的第二视频,供用户选择。
在第三输入为确认输入的情况下,即用户同意更换第一视频。响应于第三输入,显示与第一视频的相似度大于预设阈值的第二视频;在第三输入为取消输入的情况下,即用户不同意更换第一视频。响应于第三输入,将第二视频片段确定为第一视频片段。
由此,通过在第二视频片段的抖动参数均大于预设抖动阈值的情况下,显示用于指示更换第一视频的提示信息,以提示用户可以更换抖动参数更合适的视频进行合成长曝光图像,进而能够提升长曝光图像的合成质量。
在一种可能的实施例中,上述涉及到的根据第一视频的位移参数序列对视频帧进行角度校正,得到第一视频帧的步骤中,具体可以包括以下步骤:
对视频帧中的关键特征点进行匹配,得到相匹配的关键特征点,关键特征点为视频帧中的静态对象的特征点;根据相匹配的关键特征点对视频帧进行角度校正,得到第一视频帧。
其中,关键特征点可以为视频帧中的静态对象的特征点。静态对象可以为建筑物等不会移动的对象。若静态对象为建筑物,则建筑物的顶点可以作为关键特征点。
如图4所示,确定视频帧A中的关键特征点A1,A1在视频帧A中的位置为第一位置坐标,视频帧B中的关键特征点B1,B1在视频帧A中的位置为的第一位置坐标。关键特征点A1和关键特征点B1均为同一建筑物的同一顶点,那么A1和B1即为相匹配的关键特征点。
如图5所示,基于相匹配的关键特征点A1和关键特征点B1,对视频帧A和视频帧B进行角度校正,使视频帧A和视频帧B对齐。
然后,对视频帧A和视频帧B对进行角度校正,校正后的视频帧A和视频帧B即为第一视频帧。如图6所示,校正后得到的第一视频帧中的静态对象基本趋进于静态对象本身的存在状态,可以将由于拍摄不稳定导致的错位情况校正。
可以理解的是,视频帧的关键特征点可以为多个,上述仅作为示例性说明。
在一种可能的实施例中,上述涉及到的确定第二视频片段的抖动参数的步骤中,具体可以包括以下步骤:
识别第二视频片段中的每个视频帧的关键特征点;确定关键特征点在任意两个连续的视频帧之间的位移参数;根据位移参数确定抖动参数。
具体地,首先可以基于角点检测算法和LK稀疏光流阀算法,确定视频帧中的关键特征点,基于关键特征点在任意两个连续的视频帧之间的位移参数,然后将位移参数的平均值确定为抖动参数。抖动参数用于筛选出符合长曝光图像合成要求的视频片段。
其中,角点检测(Features from Accelerated Segment Test,FAST)检测是对兴趣点所在圆周上的16个像素点进行判断,若判断后的当前中心像素点为暗或亮,将决定其是否为角点。若某像素点与其周围领域内足够多的像素点处于不同的区域,则该像素点可能为角点,也就是某些属性与众不同。基于角点检测算法可以快速准确地识别出视频帧中的关键特征点。
其中,LK稀疏光流阀算法,全称为Lucas-Kanade光流。LK光流对应用场景提出了三个假设先验:亮度恒定,即假设像素在运动过程中亮度恒定;像素偏移小,即检测光流的两帧之间不能有过大的像素偏移,否则LK光流会检测失败;空间一致性,即当前帧相邻的像素在下一帧应该也是相邻的,这样便于求解图像块的梯度进而寻找到匹配的像素。基于LK稀疏光流阀算法可以快速准确地识别出视频帧中的关键特征点。
其中,确定关键特征点在任意两个连续的视频帧之间的位移参数的步骤中,具体可以包括:确定关键特征点A1在视频帧A中的第一位置坐标,以及确定关键特征点B1在视频帧B中的第二位置坐标,根据上述第一位置坐标和第二位置坐标,确定关键特征点在任意两个连续的视频帧之间的位移方向和位移距离,然后根据位移方向和位移距离确定关键特征点在任意两个连续的视频帧之间的位移参数。
在一种可能的实施例中,上述涉及到的根据位移参数序列对目标视频片段中的视频帧进行角度校正,得到第一视频帧,具体可以包括以下步骤:
确定目标视频片段对应的目标视频场景;基于目标视频场景,从目标视频片段中的视频帧中抽取第二视频帧;根据位移参数序列对第二视频帧进行角度校正,得到第一视频帧。
基于目标视频片段对应的目标视频场景,可以按照预设抽取比例从目标视频片段中的视频帧中抽取第二视频帧。比如,若目标视频片段对应的目标视频场景为车水马龙,则可以从视频帧中抽取四分之一数量的视频帧,作为第二视频帧;若目标视频片段对应的目标视频场景为行人雾化,则可以从视频帧中抽取一半数量的视频帧,作为第二视频帧。
根据位移参数序列对第二视频帧进行角度校正,得到第一视频帧,可以校正因拍摄不稳定带来的视频帧中显示内容的抖动模糊和错位。
另外,若没有检测出目标视频片段对应的目标视频场景,可以通过目标视频片段的拍摄时间确定目标视频片段对应的目标视频场景。比如,若拍摄时间为白天,则目标视频场景可以为“行人雾化”;若拍摄时间为夜晚,则目标视频场景可以为“车水马龙”。
最后,涉及步骤230。
经过上述步骤对视频帧校正,能够修正由于拍摄不稳定带来的视频帧的抖动模糊和错位,得到第一视频帧。即第一视频帧的质量都因上述校正而相应提升了,因此根据第一视频帧输出的长曝光图像的质量也会相应地提高。
作为本申请的一种实现方式,为了满足用户的个性化需求,在上述涉及到的根据第一视频帧输出长曝光图像的步骤之后,还可以包括以下步骤:
接收第四输入;响应于第四输入,更新目标视频片段对应的目标场景;基于更新后的目标场景合成目标视频片段对应的长曝光图像。
在长曝光图像输出后,为了满足用户的个性化需求,可以响应于第四输入,在图像输出界面显示其它目标场景的长曝光图像,即基于更新后的目标场景合成目标视频片段对应的长曝光图像。以使用户可以从中选择。
由此,通过响应于第四输入,更新目标视频片段对应的目标场景,并基于更新后的目标场景合成目标视频片段对应的长曝光图像,可以根据用户期望的目标场景合成长曝光图像,提升用户体验。
综上,在本申请实施例中,通过响应于用户对第一视频的第一输入,根据第一视频的位移参数序列对视频帧进行角度校正,得到第一视频帧;根据第一视频帧输出长曝光图像,由于位移参数序列是根据第一视频中的任意两个连续的视频帧之间的位移参数确定的,所以位移参数序列可以体现第一视频的位移情况;而且,根据位移参数序列对视频帧进行角度校正后得到的第一视频帧对应的位移参数满足了预设位移条件,可以将由于电子设备不稳定造成的存在抖动的视频帧校正为正常的显示效果,所以基于第一视频帧合成的长曝光图像的效果更好。
需要说明的是,本申请实施例提供的图像输出方法,执行主体可以为图像输出装置,或者该图像输出装置中的用于执行加载图像输出方法的控制模块。本申请实施例中以图像输出装置执行加载图像输出方法为例,说明本申请实施例提供的图像输出方法。
另外,基于上述图像输出方法,本申请实施例还提供了一种图像输出装置,具体结合图7进行详细说明。
图7为本申请实施例提供的一种图像输出装置结构示意图。
如图7所示,该图像输出装置700可以包括:
接收模块710,用于接收对第一视频的第一输入,第一视频包括多个视频帧。
校正模块720,用于响应于第一输入,根据第一视频的位移参数序列对视频帧进行角度校正,得到第一视频帧;与第一视频帧对应的位移参数满足预设位移条件;其中,位移参数序列根据任意两个连续的视频帧之间的位移参数确定。
输出模块730,用于根据第一视频帧输出长曝光图像。
在一种可能的实施例中,校正模块,包括:
显示模块,用于响应于第一输入,显示第一视频中的多个第一视频片段对应的第一标识,第一视频片段的抖动参数满足预设抖动条件;抖动参数根据第一视频片段中的任意两个连续的视频帧之间的位移参数确定。
接收模块,还用于接收对多个第一标识中的目标标识的第二输入;目标标识对应目标视频片段。
校正模块,具体用于响应于第二输入,根据位移参数序列对目标视频片段中的视频帧进行角度校正,得到第一视频帧。
在一种可能的实施例中,该图像输出装置700还可以包括:
识别模块,用于基于图像语义分割对第一视频进行场景识别,将第一视频切分为多个第二视频片段,第二视频片段与视频场景一一对应。
确定模块,用于确定第二视频片段的抖动参数。
确定模块,还用于将抖动参数小于预设抖动阈值的第二视频片段确定为第一视频片段。
在一种可能的实施例中,显示模块,还用于在多个第二视频片段的抖动参数均大于预设抖动阈值的情况下,显示提示信息,提示信息用于指示更换第一视频。
接收模块,还用于接收对提示信息的第三输入。
显示模块,还用于在第三输入为确认输入的情况下,响应于第三输入,显示第二视频,第二视频与第一视频的相似度大于预设阈值。
确定模块,还用于在第三输入为取消输入的情况下,响应于第三输入,将第二视频片段确定为第一视频片段。
在一种可能的实施例中,识别模块,还用于识别第二视频片段中的每个视频帧的关键特征点。
确定模块,具体用于:确定关键特征点在任意两个连续的视频帧之间的位移参数。
确定模块,具体用于:根据位移参数确定抖动参数。
在一种可能的实施例中,确定模块,具体用于:确定目标视频片段对应的目标视频场景。
校正模块包括抽取模块,抽取模块,用于基于目标视频场景,从目标视频片段中的视频帧中抽取第二视频帧。
校正模块,具体用于根据位移参数序列对第二视频帧进行角度校正,得到第一视频帧。
在一种可能的实施例中,该图像输出装置700还可以包括:
匹配模块,用于对视频帧中的关键特征点进行匹配,得到相匹配的关键特征点,关键特征点为视频帧中的静态对象的特征点。
校正模块,具体用于根据相匹配的关键特征点对视频帧进行角度校正,得到第一视频帧。
在一种可能的实施例中,接收模块,还用于接收第四输入。
该图像输出装置700还可以包括:
更新模块,用于响应于第四输入,更新目标视频片段对应的目标场景。
合成模块,用于基于更新后的目标场景合成目标视频片段对应的长曝光图像。
综上,本申请实施例提供的图像输出装置,通过响应于用户对第一视频的第一输入,根据第一视频的位移参数序列对视频帧进行角度校正,得到第一视频帧;根据第一视频帧输出长曝光图像,由于位移参数序列是根据第一视频中的任意两个连续的视频帧之间的位移参数确定的,所以位移参数序列可以体现第一视频的位移情况;而且,根据位移参数序列对视频帧进行角度校正后得到的第一视频帧对应的位移参数满足了预设位移条件,可以将由于电子设备不稳定造成的存在抖动的视频帧校正为正常的显示效果,所以基于第一视频帧合成的长曝光图像的效果更好。
本申请实施例中的图像输出装置,可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personaldigital assistant,PDA)等,非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的图像输出装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的图像输出装置能够实现图2-图6的方法实施例中图像输出装置实现的各个过程,为避免重复,这里不再赘述。
可选地,如图8所示,本申请实施例还提供一种电子设备800,包括处理器801,存储器802,存储在存储器802上并可在处理器801上运行的程序或指令,该程序或指令被处理器801执行时实现上述聊天群组的创建方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要注意的是,本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。
图9为本申请实施例提供的另一种电子设备的硬件结构示意图。
该电子设备900包括但不限于:射频单元901、网络模块902、音频输出单元903、输入单元904、传感器905、显示单元906、用户输入单元907、接口单元908、存储器909、以及处理器910等部件。其中,输入单元904可以包括图形处理器9041和麦克风9042;显示单元906可以包括显示面板9061;用户输入单元907可以包括触控面板9071以及其他输入设备9072;存储器909可以包括应用程序和操作系统。
本领域技术人员可以理解,电子设备900还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器910逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图9中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
用户输入单元907,用于接收对第一视频的第一输入,第一视频包括多个视频帧。
处理器910,用于响应于第一输入,根据第一视频的位移参数序列对视频帧进行角度校正,得到第一视频帧;与第一视频帧对应的位移参数满足预设位移条件;其中,位移参数序列根据任意两个连续的视频帧之间的位移参数确定。
处理器910,用于根据第一视频帧输出长曝光图像。
可选地,显示单元906,用于响应于第一输入,显示第一视频中的多个第一视频片段对应的第一标识,第一视频片段的抖动参数满足预设抖动条件;抖动参数根据第一视频片段中的任意两个连续的视频帧之间的位移参数确定。
用户输入单元907,还用于接收对多个第一标识中的目标标识的第二输入;目标标识对应目标视频片段。
处理器910,具体用于响应于第二输入,根据位移参数序列对目标视频片段中的视频帧进行角度校正,得到第一视频帧。
可选地,处理器910,用于基于图像语义分割对第一视频进行场景识别,将第一视频切分为多个第二视频片段,第二视频片段与视频场景一一对应。
处理器910,用于确定第二视频片段的抖动参数。
处理器910,还用于将抖动参数小于预设抖动阈值的第二视频片段确定为第一视频片段。
可选地,显示单元906,还用于在多个第二视频片段的抖动参数均大于预设抖动阈值的情况下,显示提示信息,提示信息用于指示更换第一视频。
用户输入单元907,还用于接收对提示信息的第三输入。
显示单元906,还用于在第三输入为确认输入的情况下,响应于第三输入,显示第二视频,第二视频与第一视频的相似度大于预设阈值。
处理器910,还用于在第三输入为取消输入的情况下,响应于第三输入,将第二视频片段确定为第一视频片段。
处理器910,还用于识别第二视频片段中的每个视频帧的关键特征点。
处理器910,还用于确定关键特征点在任意两个连续的视频帧之间的位移参数。
处理器910,还用于根据位移参数确定抖动参数。
可选地,处理器910,用于确定目标视频片段对应的目标视频场景。
校正模块包括抽取模块,抽取模块,用于基于目标视频场景,从目标视频片段中的视频帧中抽取第二视频帧。
处理器910,用于根据位移参数序列对第二视频帧进行角度校正,得到第一视频帧。
可选地,处理器910,用于对视频帧中的关键特征点进行匹配,得到相匹配的关键特征点,关键特征点为视频帧中的静态对象的特征点。
处理器910,用于根据相匹配的关键特征点对视频帧进行角度校正,得到第一视频帧。
可选地,用户输入单元907,还用于接收第四输入。
处理器910,用于响应于第四输入,更新目标视频片段对应的目标场景。
显示单元906,还用于基于更新后的目标场景合成目标视频片段对应的长曝光图像。
本申请实施例中,通过响应于用户对第一视频的第一输入,根据第一视频的位移参数序列对视频帧进行角度校正,得到第一视频帧;根据第一视频帧输出长曝光图像,由于位移参数序列是根据第一视频中的任意两个连续的视频帧之间的位移参数确定的,所以位移参数序列可以体现第一视频的位移情况;而且,根据位移参数序列对视频帧进行角度校正后得到的第一视频帧对应的位移参数满足了预设位移条件,可以将由于电子设备不稳定造成的存在抖动的视频帧校正为正常的显示效果,所以基于第一视频帧合成的长曝光图像的效果更好。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述图像输出方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述图像输出方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (11)
1.一种图像输出方法,其特征在于,所述方法包括:
接收对第一视频的第一输入,所述第一视频包括多个视频帧;
响应于所述第一输入,根据所述第一视频的位移参数序列对所述视频帧进行角度校正,得到第一视频帧;与所述第一视频帧对应的位移参数满足预设位移条件;其中,所述位移参数序列根据任意两个连续的所述视频帧之间的位移参数确定;
根据所述第一视频帧输出长曝光图像;
所述响应于所述第一输入,根据所述第一视频的位移参数序列对所述视频帧进行角度校正,得到第一视频帧,包括:
响应于所述第一输入,显示所述第一视频中的多个第一视频片段对应的第一标识,所述第一视频片段的抖动参数满足预设抖动条件;所述第一视频片段的抖动参数根据所述第一视频片段中的任意两个连续的视频帧之间的位移参数确定;
接收对多个所述第一标识中的目标标识的第二输入;所述目标标识对应目标视频片段;
响应于所述第二输入,根据所述位移参数序列对所述目标视频片段中的视频帧进行角度校正,得到所述第一视频帧;
在所述显示所述第一视频中的多个第一视频片段之前,所述方法还包括:
基于图像语义分割对所述第一视频进行场景识别,将所述第一视频切分为多个第二视频片段,所述第二视频片段与视频场景一一对应;
确定第二视频片段的抖动参数,所述第二视频片段的抖动参数根据所述第二视频片段中的任意两个连续的视频帧之间的位移参数确定;
将抖动参数小于预设抖动阈值的第二视频片段确定为所述第一视频片段。
2.根据权利要求1所述的方法,其特征在于,在所述确定所述第二视频片段的视频抖动参数之后,所述方法还包括:
在所述多个第二视频片段的抖动参数均大于所述预设抖动阈值的情况下,显示提示信息,所述提示信息用于指示更换所述第一视频;
接收对所述提示信息的第三输入;
在所述第三输入为确认输入的情况下,响应于所述第三输入,显示第二视频,所述第二视频与所述第一视频的相似度大于预设阈值;
在所述第三输入为取消输入的情况下,响应于所述第三输入,将所述第二视频片段确定为所述第一视频片段。
3.根据权利要求1所述的方法,其特征在于,所述确定所述第二视频片段的抖动参数,包括:
识别所述第二视频片段中的每个视频帧的关键特征点;
确定所述关键特征点在任意两个连续的视频帧之间的位移参数;
根据所述位移参数确定所述抖动参数。
4.根据权利要求1所述的方法,其特征在于,所述根据所述位移参数序列对所述目标视频片段中的视频帧进行角度校正,得到所述第一视频帧,包括:
确定所述目标视频片段对应的目标视频场景;
基于所述目标视频场景,从所述目标视频片段中的所述视频帧中抽取第二视频帧;
根据所述位移参数序列对所述第二视频帧进行角度校正,得到所述第一视频帧。
5.根据权利要求1所述的方法,其特征在于,所述根据所述第一视频的位移参数序列对所述视频帧进行角度校正,得到第一视频帧,包括:
对所述视频帧中的关键特征点进行匹配,得到相匹配的关键特征点,所述关键特征点为所述视频帧中的静态对象的特征点;
根据相匹配的所述关键特征点对所述视频帧进行角度校正,得到所述第一视频帧。
6.根据权利要求1所述的方法,其特征在于,在所述根据所述第一视频帧输出长曝光图像之后,所述方法还包括:
接收第四输入;
响应于所述第四输入,更新所述目标视频片段对应的目标场景;
基于更新后的目标场景合成所述目标视频片段对应的长曝光图像。
7.一种图像输出装置,其特征在于,包括:
接收模块,用于接收对第一视频的第一输入,所述第一视频包括多个视频帧;
校正模块,用于响应于所述第一输入,根据所述第一视频的位移参数序列对所述视频帧进行角度校正,得到第一视频帧;与所述第一视频帧对应的位移参数满足预设位移条件;其中,所述位移参数序列根据任意两个连续的所述视频帧之间的位移参数确定;
输出模块,用于根据所述第一视频帧输出长曝光图像;
所述校正模块,包括:
显示模块,用于响应于所述第一输入,显示所述第一视频中的多个第一视频片段对应的第一标识,所述第一视频片段的抖动参数满足预设抖动条件;所述抖动参数根据所述第一视频片段中的任意两个连续的视频帧之间的位移参数确定;
所述接收模块,还用于接收对多个所述第一标识中的目标标识的第二输入;所述目标标识对应目标视频片段;
所述校正模块,具体用于响应于所述第二输入,根据所述位移参数序列对所述目标视频片段中的视频帧进行角度校正,得到所述第一视频帧;
所述装置还包括:
识别模块,用于基于图像语义分割对所述第一视频进行场景识别,将所述第一视频切分为多个第二视频片段,所述第二视频片段与视频场景一一对应;
确定模块,用于确定第二视频片段的抖动参数,所述第二视频片段的抖动参数根据所述第二视频片段中的任意两个连续的视频帧之间的位移参数确定;
所述确定模块,还用于将抖动参数小于预设抖动阈值的第二视频片段确定为所述第一视频片段。
8.根据权利要求7所述的装置,其特征在于,所述显示模块,还用于在所述多个第二视频片段的抖动参数均大于所述预设抖动阈值的情况下,显示提示信息,所述提示信息用于指示更换所述第一视频;
所述接收模块,还用于接收对所述提示信息的第三输入;
所述显示模块,还用于在所述第三输入为确认输入的情况下,响应于所述第三输入,显示第二视频,所述第二视频与所述第一视频的相似度大于预设阈值;
所述确定模块,还用于在所述第三输入为取消输入的情况下,响应于所述第三输入,将所述第二视频片段确定为所述第一视频片段。
9.根据权利要求7所述的装置,其特征在于,所述识别模块,还用于识别所述第二视频片段中的每个视频帧的关键特征点;
所述确定模块,具体用于:确定所述关键特征点在任意两个连续的视频帧之间的位移参数;
所述确定模块,具体用于:根据所述位移参数确定所述抖动参数。
10.一种电子设备,其特征在于,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-6任一项所述的图像输出方法的步骤。
11.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1-6任一项所述的图像输出方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110121879.5A CN112911149B (zh) | 2021-01-28 | 2021-01-28 | 图像输出方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110121879.5A CN112911149B (zh) | 2021-01-28 | 2021-01-28 | 图像输出方法、装置、电子设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112911149A CN112911149A (zh) | 2021-06-04 |
CN112911149B true CN112911149B (zh) | 2022-08-16 |
Family
ID=76119959
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110121879.5A Active CN112911149B (zh) | 2021-01-28 | 2021-01-28 | 图像输出方法、装置、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112911149B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113259592B (zh) * | 2021-06-10 | 2023-04-18 | 维沃移动通信有限公司 | 拍摄方法、装置、电子设备及存储介质 |
CN114727151A (zh) * | 2022-04-20 | 2022-07-08 | 深圳市艾酷通信软件有限公司 | 视频画面处理方法、装置、电子设备及可读存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110012337A (zh) * | 2019-03-28 | 2019-07-12 | 联想(北京)有限公司 | 视频截取方法、装置和电子设备 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8228400B2 (en) * | 2009-04-17 | 2012-07-24 | Sony Corporation | Generation of simulated long exposure images in response to multiple short exposures |
CN102096912A (zh) * | 2009-12-14 | 2011-06-15 | 北京中星微电子有限公司 | 一种图像处理方法及装置 |
KR101578600B1 (ko) * | 2013-03-22 | 2015-12-17 | 가시오게산키 가부시키가이샤 | 이미지 처리 장치, 이미지 처리 방법 및 컴퓨터로 읽을 수 있는 기록 매체 |
US9407832B2 (en) * | 2014-04-25 | 2016-08-02 | Himax Imaging Limited | Multi-exposure imaging system and method for eliminating rolling shutter flicker |
CN109194878B (zh) * | 2018-11-08 | 2021-02-19 | 深圳市闻耀电子科技有限公司 | 视频图像防抖方法、装置、设备和存储介质 |
CN112087593B (zh) * | 2019-06-14 | 2022-10-14 | 富士通株式会社 | 视频配置的更新装置、方法以及电子设备 |
-
2021
- 2021-01-28 CN CN202110121879.5A patent/CN112911149B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110012337A (zh) * | 2019-03-28 | 2019-07-12 | 联想(北京)有限公司 | 视频截取方法、装置和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN112911149A (zh) | 2021-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9479709B2 (en) | Method and apparatus for long term image exposure with image stabilization on a mobile device | |
CN106982387B (zh) | 弹幕的显示、推送方法及装置及弹幕应用系统 | |
CN111586319B (zh) | 视频的处理方法和装置 | |
US10528820B2 (en) | Colour look-up table for background segmentation of sport video | |
CN112911149B (zh) | 图像输出方法、装置、电子设备及可读存储介质 | |
CN111614905A (zh) | 图像处理方法、图像处理装置和电子设备 | |
US11954880B2 (en) | Video processing | |
CN113114933A (zh) | 图像拍摄方法、装置、电子设备和可读存储介质 | |
CN114554285A (zh) | 视频插帧处理方法、视频插帧处理装置和可读存储介质 | |
CN113259592B (zh) | 拍摄方法、装置、电子设备及存储介质 | |
CN112367465B (zh) | 图像输出方法、装置及电子设备 | |
CN111914739A (zh) | 智能跟随方法、装置、终端设备和可读存储介质 | |
CN114173059B (zh) | 一种视频编辑系统、方法及装置 | |
CN114650370A (zh) | 图像拍摄方法、装置、电子设备及可读存储介质 | |
CN114913471A (zh) | 一种图像处理方法、装置和可读存储介质 | |
CN112672057B (zh) | 拍摄方法及装置 | |
CN115801977A (zh) | 分割视频的多模态系统、分割多媒体的多模态系统及方法 | |
CN111507142A (zh) | 人脸表情图像处理方法、装置和电子设备 | |
CN112887623B (zh) | 图像生成方法、装置及电子设备 | |
CN111654623B (zh) | 拍照方法、装置和电子设备 | |
CN113891005A (zh) | 拍摄方法、装置及电子设备 | |
CN111988520B (zh) | 一种画面切换方法、装置、电子设备及存储介质 | |
CN112887611A (zh) | 图像处理方法、装置、设备和存储介质 | |
CN112887653A (zh) | 一种信息处理方法和信息处理装置 | |
CN112367464A (zh) | 图像输出方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |