CN117319785A - 车载短视频拍摄生成方法、装置、设备及存储介质 - Google Patents
车载短视频拍摄生成方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117319785A CN117319785A CN202311246268.9A CN202311246268A CN117319785A CN 117319785 A CN117319785 A CN 117319785A CN 202311246268 A CN202311246268 A CN 202311246268A CN 117319785 A CN117319785 A CN 117319785A
- Authority
- CN
- China
- Prior art keywords
- video
- vehicle
- shooting
- short video
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000003860 storage Methods 0.000 title claims abstract description 21
- 230000001276 controlling effect Effects 0.000 claims abstract description 9
- 230000002596 correlated effect Effects 0.000 claims abstract description 7
- 230000000875 corresponding effect Effects 0.000 claims description 39
- 230000007704 transition Effects 0.000 claims description 31
- 238000005457 optimization Methods 0.000 claims description 21
- 230000003993 interaction Effects 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 15
- 210000001747 pupil Anatomy 0.000 claims description 14
- 239000000463 material Substances 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 239000012634 fragment Substances 0.000 claims description 9
- 238000012502 risk assessment Methods 0.000 claims description 9
- 241000533950 Leucojum Species 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 3
- 210000003128 head Anatomy 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 16
- 238000010586 diagram Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 12
- 238000004590 computer program Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000011499 joint compound Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/65—Control of camera operation in relation to power supply
- H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种车载短视频拍摄生成方法、装置、设备及存储介质,该方法包括:响应于接收到的视频拍摄指令,对目标车辆车外环境中的图像特征点进行识别;若识别到车外环境中存在预设图像特征点,则获取目标车辆的第一车速,并根据第一车速确定拍摄车外环境的摄像装置的旋转角速度,其中,第一车速与旋转角速度呈正相关;基于旋转角速度控制摄像装置向预设图像特征点旋转,直至预设图像特征点位于拍摄画面正中时进行视频拍摄,生成短视频。该方法通过控制摄像装置根据车辆速度所确定的旋转角速度跟踪锁定预设图像特征点,使预设图像特征点始终保持在画面正中,提高了拍摄画面的画面效果,增强了短视频的生成效果,提升了用户体验。
Description
技术领域
本发明涉及车载应用技术领域,尤其涉及一种车载短视频拍摄生成方法、装置、设备及存储介质。
背景技术
随着短视频和流媒体内容在移动互联网时代的兴起,短视频已成为人们记录、与分享生活的常用形式,同时,智能网联汽车的兴起,使得行车旅拍也愈加普及,主要是通过前视摄像头或者车载相机进行车外旅途风景的拍摄。但在行车拍摄过程中,仍存在以下痛点:(1)需要用户手动触发拍摄,存在一定的驾驶安全风险;(2)行车中一些震撼且难忘的风景一闪而过,难以精准抓拍;(3)拍摄与剪辑分开,短视频不能一体化完成,不仅麻烦,且会增加拍摄成本,降低用户使用兴趣。
在相关技术中,利用车载设备进行行车旅拍的方案,后台是在持续录制,对车机算力的消耗巨大,并且在拍摄过程中,不能保证所拍摄的目标对象始终处于拍摄画面的正中,影响了拍摄效果,导致生成的短视频整体效果欠佳,而对于短视频的生成也不能一体化完成,需要在拍摄完成后再进行视频的剪辑、处理,影响了用户的体验感。
发明内容
为了对披露的实施例的一些方面有基本的理解,下面给出了简单的概括。所述概括不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围,而是作为后面的详细说明的序言。
鉴于以上所述现有技术的缺点,本发明公开了车载短视频拍摄生成方法、装置、设备及存储介质,用于解决上述技术问题中的至少之一。
第一方面,本申请提供了一种车载短视频拍摄生成方法,所述方法包括:响应于接收到的视频拍摄指令,对目标车辆车外环境中的图像特征点进行识别;若识别到所述车外环境中存在预设图像特征点,则获取所述目标车辆的第一车速,并根据所述第一车速确定拍摄所述车外环境的摄像装置的旋转角速度,其中,所述第一车速与所述旋转角速度呈正相关;基于所述旋转角速度控制所述摄像装置向所述预设图像特征点旋转,直至所述预设图像特征点位于拍摄画面正中时进行视频拍摄,生成短视频。
于本发明一实施例中,所述直至所述预设图像特征点位于拍摄画面正中时进行视频拍摄,包括:在所述预设图像特征点位于拍摄画面正中时开始拍摄,并确定所述拍摄画面中所述预设图像特征点所占用的像素总数量;基于所述像素总数量计算获得所述预设图像特征点的有效像素剩余量;当监测到所述拍摄画面中所述预设图像特征点所占用的像素数量小于或等于所述有效像素剩余量时,结束拍摄。
于本发明一实施例中,所述视频拍摄还包括:将拍摄帧率从第一预设帧率调节为第二预设帧率进行视频拍摄,其中,所述第一预设帧率为识别所述预设图像特征点所对应的拍摄帧率,所述第二预设帧率大于所述第一预设帧率。
于本发明一实施例中,响应于接收到的视频拍摄指令之前,还包括:当检测到所述目标车辆内有且仅有驾驶员时,则获取驾驶风险评定项,所述风险评定项包括用户视线离地时间、用户瞳孔直径、所述目标车辆的第二速度与车辆环境;若所述目标车辆到目标拍摄兴趣点的行驶时间达到触发阈值,则根据所述用户视线离地时间、所述用户瞳孔直径、所述第二速度与所述车辆环境预估所述目标车辆当前所处的风险等级,以确定目标交互方式,向用户发送第一问询请求确定是否进行视频拍摄。
于本发明一实施例中,所述则根据所述用户视线离地时间、所述用户瞳孔直径、所述第二速度与所述车辆环境预估所述目标车辆当前所处的风险等级,包括:根据所述驾驶风险评定项各自所对应的安全指数标准,确定所述用户视线离地时间、所述用户瞳孔直径、所述第二速度与所述车辆环境各自对应的安全指数,其中,所述车辆环境包括拍摄兴趣点拥堵情况与道路情况;将各所述安全指数分别进行加权计算,获得驾驶风险指数;依据所述驾驶风险指数确定所述目标车辆当前所处的风险等级。
于本发明一实施例中,所述生成短视频,还包括:基于所述目标车辆车外环境进行多次视频拍摄,并将拍摄的视频标定场景标签保存至视频素材库;对所述视频素材库中的多个视频依次进行拼接、优化处理,生成所述短视频。
于本发明一实施例中,所述对所述视频素材库中的多个视频依次进行拼接、优化处理,生成所述短视频,包括:从所述视频素材库中提取多个精彩片段,并根据各精彩片段各自对应的场景标签进行拼接处理获得拼接视频;确定所述拼接视频的视频特征,基于所述视频特征在模板库中匹配出与所述拼接视频相对应的风格模板和运镜模板,所述视频特征包括精彩片段数量、单段时长、场景标签以及片段与片段之间拼接方案;根据所述风格模板和所述运镜模板对所述拼接视频进行优化,生成所述短视频。
于本发明一实施例中,所述根据所述风格模板和所述运镜模板对所述拼接视频进行优化,包括:预估所述目标车辆当前所处的风险等级以确定目标交互方式,向用户发送第二问询请求确定是否添加所述运镜模板。
于本发明一实施例中,所述向用户发送第二问询请求确定是否添加所述运镜模板之后,还包括:若未接收到添加指令,则根据所述风格模板一次优化后的视频生成所述短视频;若接收到所述添加指令且所述添加指令中携带有用户选择的目标运镜,则响应于所述添加指令根据所述目标运镜对一次优化后的视频进行二次优化,生成所述短视频;若接收到所述添加指令且所述添加指令中未携带有用户选择的目标运镜,则响应于所述添加指令根据默认运镜对一次优化后的视频进行二次优化,生成所述短视频。
于本发明一实施例中,所述向用户发送第一问询请求确定是否进行视频拍摄之前,还包括:根据兴趣点库对地图信息中的兴趣点进行识别,其中,所述兴趣点库中的兴趣点包括风景、名胜古迹、特殊公路;若在所述地图信息中识别到一个拍摄兴趣点,则将所述拍摄兴趣点作为所述目标拍摄兴趣点,若在所述地图信息中识别到多个拍摄兴趣点,则从所述多个拍摄兴趣点中确定出距离所述目标车辆最近的拍摄兴趣点最为所述目标拍摄兴趣点;获取所述目标车辆相对于所述目标拍摄兴趣点的第一距离以及所述目标车辆的第三速度;根据所述第一距离与所述第三速度计算获得行驶时间,并判断所述行驶时间是否达到触发阈值;若确定所述行驶时间达到所述触发阈值,则向用户发送所述第一问询请求。
于本发明一实施例中,所述对所述目标车辆车外环境中的图像特征点进行识别之后,还包括:若未识别到环境中存在所述预设图像特征点,则继续对所述目标车辆车外环境中的图像特征点进行识别,并获取所述目标车辆驶离所述目标拍摄兴趣点的第二距离;将所述第二距离与距离阈值进行比较;若所述第二距离大于所述距离阈值,则停止识别环境中的图像特征点,直至距离下一目标拍摄兴趣点的行驶时间达到触发阈值。
于本发明一实施例中,所述并将拍摄的视频标定场景标签保存至视频素材库,包括:识别所述视频中的所有图像特征点;将各图像特征点与图像特征库进行匹配,确定各图像特征点所属的子库,其中,所述图像特征库由多个子库组成,每个子库对应一个场景标签,所述场景标签包括星空、海、雪花、极昼;获取各图像特征点所对应的场景标签,并进行标记;将携带场景标签的所述视频保存至所述视频素材库,其中,所述视频标定有至少一个场景标签。
于本发明一实施例中,所述从所述视频素材库中提取多个精彩片段,并根据各精彩片段各自对应的场景标签进行拼接处理获得拼接视频,包括:将各拍摄视频输入精彩片段识别模型中,获得多个精彩片段,其中,各精彩片段都对应有场景标签,各场景标签对应的编辑素材包括文字、图像与音乐至少之一;基于排序算法模型将多个精彩片段进行排序,并根据各精彩片段各自对应的场景标签所对应的编辑素材对各精彩片段进行编辑;在两个精彩片段之间插入过渡帧或过渡动画,获得所述拼接视频。
于本发明一实施例中,所述在两个精彩片段之间插入过渡帧或过渡动画,包括:计算前一个精彩片段的尾帧与后一段精彩片段的首帧之间的相似度;将所述相似度与相似度阈值进行比较;若所述相似度高于所述相似度阈值,则基于融合算法生成所述过渡帧,并将所述过渡帧插入所述两个精彩片段之间;若所述相似度低于所述相似度阈值,则在所述两个精彩片段之间插入所述过渡动画。
于本发明一实施例中,所述生成短视频之后,还包括:自动保存所述短视频至车载相册,并预估所述目标车辆当前所处的风险等级以确定目标交互方式;当所述风险等级为第一预设等级时,语音提示用户已生成所述短视频,并向用户播放所述短视频;当所述风险等级为第二预设等级时,语音提示用户已生成所述短视频以及可在所述车载相册中查看所述短视频。
于本发明一实施例中,所述生成短视频之后,还包括:通过短视频播放界面的分享按钮生成短视频分享指令,响应于所述短视频分享指令对所述短视频进行分享操作。
第二方面,本申请提供了一种车载短视频拍摄生成装置,所述装置包括:识别模块,用于响应于接收到的视频拍摄指令,对目标车辆车外环境中的图像特征点进行识别;确定模块,用于若识别到所述车外环境中存在预设图像特征点,则获取所述目标车辆的第一车速,并根据所述第一车速确定拍摄所述车外环境的摄像装置的旋转角速度,其中,所述第一车速与所述旋转角速度呈正相关;视频拍摄生成模块,用于基于所述旋转角速度控制所述摄像装置向所述预设图像特征点旋转,直至所述预设图像特征点位于拍摄画面正中时进行视频拍摄,生成短视频。
第三方面,本申请提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行时,使得电子设备实现第一方面描述的车载短视频拍摄生成方法。
第四方面,本申请提供了一种计算机可读存储介质,其上存储有计算机程序,当计算机程序被计算机的处理器执行时,使计算机执行第一方面描述的车载短视频拍摄生成方法。
如上所述,本发明实施例提供的一种车载短视频拍摄生成方法、装置、设备及存储介质,具有以下有益效果:
(1)通过控制摄像装置根据车辆速度所确定的旋转角速度跟踪锁定预设图像特征点,使预设图像特征点始终保持在画面正中,实现了行车中拍摄对象的精准拍摄,提高了拍摄画面的画面效果;
(2)当用户确认拍摄后,响应于接收到的视频拍摄指令,开启短视频拍摄功能,并对车外环境中的图像特征点进行识别,当识别到环境中存在预设图像特征点时进入视频拍摄,通过识别到图像特征点时进行一段视频的拍摄,避免了后台持续录制对车机算力的消耗;
(3)智能化地完成了车载短视频的拍摄与生成,从拍摄到生成一步到位,无需用户进行操作,丰富旅行生活,增强用户体验感。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术者来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1是本申请的一示例性实施例示出的车载短视频拍摄生成方法的流程图;
图2是本申请的一示例性实施例示出的预估车辆的风险等级的流程图;
图3是本申请的一示例性实施例示出的风险等级与交互方式的对应关系图;
图4是本申请的一示例性实施例示出的摄像装置旋转拍摄的示意图;
图5是本申请的一示例性实施例示出的图像特征库的结构示意图;
图6是本申请的一示例性实施例示出的场景标签标定示意图;
图7是本申请的一示例性实施例示出的精彩片段提取示意图;
图8是本申请的一示例性实施例示出的过渡动画与过渡帧插入示意图;
图9是本申请的一示例性实施例示出的录制拍摄的流程图;
图10是本申请的一示例性实施例示出的生成拼接视频的流程图;
图11是本申请的一示例性实施例示出的运镜优化的流程图;
图12是本申请的一示例性实施例示出的车载短视频分享示意图;
图13是本申请的一示例性实施例示出的车载短视频拍摄生成装置的框图;
图14是本申请的一实施例提供的电子设备的一种结构示意图。
具体实施方式
以下将参照附图和优选实施例来说明本发明的实施方式,本领域技术人员可由本说明书中所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。应当理解,优选实施例仅为了说明本发明,而不是为了限制本发明的保护范围。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
在下文描述中,探讨了大量细节,以提供对本发明实施例的更透彻的解释,然而,对本领域技术人员来说,可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的,在其他实施例中,以方框图的形式而不是以细节的形式来示出公知的结构和设备,以避免使本发明的实施例难以理解。
随着短视频和流媒体内容在移动互联网时代的兴起以及智能网联汽车的兴起,行车旅拍也愈加普及,通过前视摄像头或者车载相机进行车外旅途风景的拍摄,增强了用户旅途过程中的趣味性。但经本申请发明人研究发现,利用车载设备进行行车旅拍的方案中,仍存在缺陷,例如,后台是在持续录制,对车机算力的消耗巨大,并且在拍摄过程中,不能保证所拍摄的目标对象始终处于拍摄画面的正中,影响了拍摄效果,导致生成的短视频整体效果欠佳,而对于短视频的生成也不能一体化完成,需要在拍摄完成后再进行视频的剪辑、处理,影响了用户的体验感。
由此,请参见图1,图1是本申请的一示例性实施例示出的车载短视频拍摄生成方法的流程图。应理解的是,该方法也可以适用于其它的示例性实施环境,并由其它实施环境中的设备具体执行,本实施例不对该方法所适用的实施环境进行限制。
如图1所示,在一示例性的实施例中,车载短视频拍摄生成方法至少包括步骤S110至步骤S130,详细介绍如下:
步骤S110,响应于接收到的视频拍摄指令,对目标车辆车外环境中的图像特征点进行识别。
需要说明的是,车载短视频拍摄生成装置中搭建有一图像特征库,包括但不限于星空、海、雪花、极昼等子库,该图像特征库具有持续扩充功能,能够不断学习生成或者通过人工添加素材进行定期更新,增加所包含的子库,图像特征点能够反映图像本质特征,能够标识图像中目标物体,如上述的星空、海、雪花、极昼等,车载拍摄装置在接收到用户的拍摄指令后,便会开启拍摄功能,但此时并没有进行视频拍摄,而是响应于拍摄指令根据图像特征库对目标车辆车外环境中的图像特征点进行识别,在识别到图像特征点后进行视频拍摄,这样,能够保证所拍摄的视频是用户所感兴趣的内容。
在一实施例中,响应于接收到的视频拍摄指令之前,还包括:当检测到目标车辆内有且仅有驾驶员时,则获取驾驶风险评定项,风险评定项包括用户视线离地时间、用户瞳孔直径、目标车辆的第二速度与车辆环境;若目标车辆到目标拍摄兴趣点的行驶时间达到触发阈值,则根据用户视线离地时间、用户瞳孔直径、第二速度与车辆环境预估目标车辆当前所处的风险等级,以确定目标交互方式,向用户发送第一问询请求确定是否进行视频拍摄。
考虑到目标车辆内有且仅有驾驶员时,用户的驾驶状况在发出视频拍摄指令时,可能会影响整车驾驶安全的问题,因此,需要对用户当前驾驶的风险等级进行评估,所以先要获取用于进行风险等级评估的获取驾驶风险评定项。
需要说明的是,用户视线离地时间基于DMS(Driver Monitor System,驾驶疲劳检测系统)摄像头识别确认,用户视线离地时间越长安全指数越低;用户瞳孔直径也是由DMS摄像头识别获取,用户瞳孔直径越小安全指数越低;车辆第一速度由轮速传感器获取,车辆第一速度越快安全指数越低;车辆环境基于地图信息获取,包括获取拍摄兴趣点(Point OfInteres,POI)拥堵情况和道路情况,其中,安全指数:非铺装路面(雪地、岩石、沙地、泥地、涉水等路面)<铺装路面,拥堵路况<常规路况,拍摄兴趣点越拥堵安全指数越低。
考虑到用户的驾驶状况在发出拍摄指令时,可能会影响整车驾驶安全的问题,因此,在目标车辆到目标拍摄兴趣点的行驶时间达到触发阈值时,需要对用户当前驾驶的风险等级进行评估,从而确定目标车辆当前所处的风险等级,进一步确定用户与目标车辆之间的目标交互方式,向用户发送第一问询请求确定是否进行视频拍摄,其询问方式基于用户当前驾驶的风险等级来确认,能够在保证用户安全驾驶的基础上,向用户发送第一问询以及接受用户拍摄指令。
具体地,请参见图2,图2是本申请的一示例性实施例示出的预估车辆的风险等级的流程图,如图2所示,预估车辆的风险等级至少包括步骤S210至步骤S230,如下:步骤S210,根据驾驶风险评定项各自所对应的安全指数标准,确定用户视线离地时间、用户瞳孔直径、第二速度与车辆环境各自对应的安全指数,其中,车辆环境包括拍摄兴趣点拥堵情况与道路情况;步骤S220,将各安全指数分别进行加权计算,获得驾驶风险指数;步骤S230,依据驾驶风险指数确定目标车辆当前所处的风险等级。
需要说明的是,将各安全指数分别进行加权计算由人机交互安全指数模型完成,计算公式为D=D1*w1+D2*w2+D3*w3+D4*w4,其中,D为驾驶风险指数,D1为用户视线离地时间对应的安全指数,D2为用户瞳孔直径对应的安全指数,D3为车辆第一速度对应的安全指数,D4为车辆环境对应的安全指数,w1~w4分别为各项对应的权重系数,通过模型不断训练获取最优值,基于驾驶风险指数的大小,风险等级被划分为高、中、低、极低四个等级。
还需要说明的是,在不同风险等级时用户与车辆之间的人机交互方式不同,以确保用户驾驶安全。请参见图3,图3是本申请的一示例性实施例示出的风险等级与交互方式的对应关系图,如图3所示,风险等级与交互方式具有一一对应关系,当前风险等级为高时,例如高速行驶、复杂路段等,交互方式为车辆通过语音提示用户降级驾驶风险等级后可进行视频拍摄,用户不能进行有关拍摄的操作;当风险等级为中时,例如较低速行驶、制动驾驶在简单路段等,交互方式为车辆通过语音和中控界面同时询问用户是否进入视频拍摄,用户通过语音回复方式(如我要拍短视频、我要录影等)选择是否进入视频拍摄;当风险等级为低时,例如低速行驶,交互方式为车辆通过语音和中控界面同时询问用户是否进入视频拍摄,用户通过语音回复和/或触控方式选择是否进入视频拍摄,触控方式包括方向盘按键触控;当风险等级为极低时,例如驻车状态、自动驾驶在简单路段等,交互方式为车辆通过语音和中控界面同时询问用户是否进入视频拍摄,用户通过语音回复和/或触控方式选择是否进入视频拍摄,其中,触控方式包括中控界面触控和方向盘按键触控。
在一实施例中,向用户发送第一问询请求确定是否进行视频拍摄之前,还包括:根据兴趣点库对地图信息中的兴趣点进行识别,其中,兴趣点库中的兴趣点包括风景、名胜古迹、特殊公路;若在地图信息中识别到一个拍摄兴趣点,则将拍摄兴趣点作为目标拍摄兴趣点,若在地图信息中识别到多个拍摄兴趣点,则从多个拍摄兴趣点中确定出距离目标车辆最近的拍摄兴趣点作为目标拍摄兴趣点;获取目标车辆相对于目标拍摄兴趣点的第一距离以及目标车辆的第三速度;根据第一距离与第三速度计算获得行驶时间,并判断行驶时间是否达到触发阈值;若确定行驶时间达到触发阈值,则向用户发送第一问询请求。
需要说明的是,图像特征库相当于兴趣点库的一个子集,即兴趣点的范围要大于预设图像特征点,例如,兴趣点可以是一片海,而预设图像特征点可以是海上的一搜船,当识别到海的时候,向用户发送第一问询请求确认是否拍摄,而当识别到海上的船的时候进行拍摄。
还需要说明的是,兴趣点(POI)库会定期更新,地图信息表征的是车辆当前所处的环境信息,而地图信息中能够与兴趣点库中的兴趣点相匹配的点为拍摄兴趣点,根据车辆当前所处的环境不同,地图信息中可能存在多个拍摄兴趣点。
在该实施例中,车机上电开机后,GNSS(Global Navigation Satellite System,全球导航卫星系统)、车载拍摄装置后台启动,目标车辆行驶过程中,GNSS检测到距离目标拍摄兴趣点的行驶时间为触发阈值t分钟时,其中t=L/v,L为目标车辆相对于目标拍摄兴趣点的第一距离,v为第二速度,当然,作为一种可能的实施例,行驶时间处于触发阈值上下一定范围内即可,根据行驶时间是否达到触发阈值,决定是否进行视频拍摄,这样,能够保证拍摄的视频包含用户感兴趣的内容。
在一实施例中,对目标车辆车外环境中的图像特征点进行识别之后,还包括:若未识别到环境中存在预设图像特征点,则继续对目标车辆车外环境中的图像特征点进行识别,并获取目标车辆驶离目标拍摄兴趣点的第二距离;将第二距离与距离阈值进行比较;若第二距离大于距离阈值,则停止识别环境中的图像特征点,直至距离下一目标拍摄兴趣点的行驶时间达到触发阈值。
在该实施例中,在目标车辆驶离目标拍摄兴趣点的第二距离大于距离阈值时,若仍没有识别到环境中存在预设图像特征点,则停止识别环境中的图像特征点,直至距离下一目标拍摄兴趣点的行驶时间达到触发阈值时才开始继续识别,这样,避免车载拍摄装置一直进行目标拍摄兴趣点的识别,能够有效减少车机算力的消耗。
步骤S120,若识别到车外环境中存在预设图像特征点,则获取目标车辆的第一车速,并根据第一车速确定拍摄车外环境的摄像装置的旋转角速度,其中,第一车速与旋转角速度呈正相关。
预设图像特征点为能够标识图像特征库中所包含的星空、海、雪花、极昼等目标物体的特征点。当识别到预设图像特征点后,根据目标车辆的第一速度确定摄像装置的旋转角速度,以为跟踪锁定预设图像特征点做准备,使预设图像特征点始终保持在画面正中,这样,能够实现行车中拍摄对象的精准拍摄。
而考虑到目标车辆边行驶摄像装置边对预设图像特征点进行拍摄时,摄像装置相对于预设图像特征点的朝向就会发生改变,为了保证预设图像特征点能够一直处于摄像装置拍摄画面的正中央,便根据目标车辆当前的速度确定拍摄装置旋转角速度,然后基于旋转角速度控制拍摄装置旋转,使得预设图像特征点能够一直处于拍摄装置拍摄画面的正中央。另外,第一车速与旋转角速度呈正相关,即目标车辆的第一车速越大,拍摄装置的旋转角速度越大,目标车辆的第一车速越小,拍摄装置的旋转角速度越小,这样能够保证拍摄装置旋转角速度与车辆速度动态匹配。
需要说明的是,摄像装置的摄像头为云台摄像头,其中,云台摄像头指可旋转的摄像机,通常可以水平、俯仰两个角度旋转,有些可以偏航方向旋转,云台摄像头与常规摄像头的区别在于增加了旋转功能,因此在视频拍摄过程中,有旋转拍摄、指定角度拍摄等额外功能,除了能够增加视频的拍摄角度外,在车载短视频拍摄生成的其他操作中,云台摄像头与常规摄像头并无差别。
步骤S130,基于旋转角速度控制摄像装置向预设图像特征点旋转,直至预设图像特征点位于拍摄画面正中时进行视频拍摄,生成短视频。
通过控制摄像装置根据车辆速度所确定的旋转角速度跟踪锁定预设图像特征点,使预设图像特征点始终保持在画面正中,实现了行车中拍摄对象的精准拍摄,提高了拍摄画面的画面效果,增强了短视频的生成效果,同时,智能化地完成了车载短视频的拍摄与生成,从拍摄到生成一步到位,无需用户进行操作,丰富旅行生活,增强用户体验感。
在一实施例中,直至预设图像特征点位于拍摄画面正中时进行视频拍摄,包括:在预设图像特征点位于拍摄画面正中时开始拍摄,并确定拍摄画面中预设图像特征点所占用的像素总数量;基于像素总数量计算获得预设图像特征点的有效像素剩余量;当监测到拍摄画面中预设图像特征点所占用的像素数量小于或等于有效像素剩余量时,结束拍摄。
在预设图像特征点位于拍摄画面正中时开始视频拍摄,而在该实施例中,考虑到当拍摄装置旋转角度达到极限后,基于目标车辆一直处于行驶状态,预设图像特征点便逐渐偏移拍摄画面正中央,拍摄效果便下降,因此,监测到拍摄画面中预设图像特征点所占用的像素数量小于或等于有效像素剩余量时或拍摄时长大于或等于预设拍摄时长时,结束此次拍摄,直至再次识别到环境中存在预设图像特征点时,开始下一次拍摄。应当理解的是,当监测到拍摄时长大于或等于预设拍摄时长时,也会结束此次拍摄。其中,预设拍摄时长是指识别到预设图像特征点后,车载拍摄装置进行该段视频拍摄的时长,应当理解的是,本申请不对预设拍摄时长进行限制,用户可以根据具体情况设置,或者通过车载短视频拍摄生成装置自动根据车外环境选择较优的预设拍摄时长。
还需要说明的是,若假设像素总数量为X,则有效像素剩余量X1=X-dx*t,其中,t为时间。
请参见图4,图4是本申请的一示例性实施例示出的摄像装置旋转拍摄的示意图。如图4所示,在目标车辆行驶过程中,拍摄装置会进行旋转,保证预设图像特征点能够处于拍摄画面的正中央。
在一实施例中,视频拍摄包括:将拍摄帧率从第一预设帧率调节为第二预设帧率进行视频拍摄,其中,第一预设帧率为识别预设图像特征点所对应的拍摄帧率,第二预设帧率大于第一预设帧率。
在该实施例中,进行预设图像特征点识别时,使用第一预设帧率,进行视频拍摄时,将拍摄帧率调高,即使用第二预设帧率,这样,在预设图像特征点识别缓存过程中,能够有效降低拍摄装置的内存消耗,并且还保证了视频拍摄过程中的高帧率,增强拍摄效果。需要说明的是,对于第一预设帧率和第二预设帧率的具体大小不做限制,可以根据不同情况,例如不同类型的拍摄装置具体设置。
在一实施例中,生成短视频,还包括:基于目标车辆车外环境进行多次视频拍摄,并将拍摄的视频标定场景标签保存至视频素材库;对视频素材库中的多个视频依次进行拼接、优化处理,生成短视频。
在该实施例中,基于目标车辆车外环境进行多次视频拍摄,即基于预设拍摄时长对车外环境进行多次视频拍摄,需要说明的是,预设拍摄时长,是指识别到预设图像特征点后,车载拍摄装置进行该段视频拍摄的时长,应当理解的是,本申请不对预设拍摄时长进行限制,用户可以根据具体情况设置,或者通过车载短视频拍摄生成装置自动根据车外环境选择较优的预设拍摄时长。在该实施例中,当识别到环境中存在预设图像特征点时,基于预设拍摄时长对车外环境进行视频拍摄,通过识别到图像特征点时进行一段视频的拍摄以及根据预设拍摄时长结束一段视频的拍摄,避免了后台持续录制对车机算力的消耗。
请参见图5,图5是本申请的一示例性实施例示出的图像特征库的结构示意图。如图5所示,图像特征库包括多个子库,例如云雾、星空、雪花、昼夜、海等子库,需要说明的是,每个子库都对应有编辑素材,即编辑素材与场景标签相对应,编辑素材能够实现对各场景标签下的视频或片段进行文字、图像、音乐等内容上的编辑。
具体地,并将拍摄的视频标定场景标签保存至视频素材库,包括:识别视频中的所有图像特征点;将各图像特征点与图像特征库进行匹配,确定各图像特征点所属的子库,其中,图像特征库由多个子库组成,每个子库对应一个场景标签,场景标签包括星空、海、雪花、极昼;获取各图像特征点所对应的场景标签,并进行标记;将携带场景标签的视频保存至视频素材库,其中,视频标定有至少一个场景标签。
在该实施例中,将拍摄的视频标定场景标签是将拍摄的视频中各个片段都标定上对应的场景标签,使得后续提取出的精彩片段都能够携带相应的场景标签。
请参见图6,图6是本申请的一示例性实施例示出的场景标签标定示意图,如图6所示,①~⑨以及X均为拍摄的片段,一个方框中的片段为一段完整视频,ABCD为四个场景标签,例如分别为雪花、星空、大海、云雾,每段完整视频对应多个场景标签。第一个方框包含①X②③X五个片段,涉及了ABC三个场景标签,第二个方框包含④⑤X⑥X五个片段,也涉及了ABC三个场景标签,第三个方框包含⑦⑧⑨XX五个片段,涉及了BCD三个标签。
具体地,对视频素材库中的多个视频依次进行拼接、优化处理,生成短视频,包括:从视频素材库中提取多个精彩片段,并根据各精彩片段各自对应的场景标签进行拼接处理获得拼接视频;确定拼接视频的视频特征,基于视频特征在模板库中匹配出与拼接视频相对应的风格模板和运镜模板,视频特征包括精彩片段数量、单段时长、场景标签以及片段与片段之间拼接方案;根据风格模板和运镜模板对拼接视频进行优化,生成短视频。
需要说明的是,摄像装置识别到环境中存在预设图像特征点时,基于预设拍摄时长对车外环境进行视频拍摄,通过识别到图像特征点时进行一段视频的拍摄以及根据预设拍摄时长结束一段视频的拍摄,此时获得一段视频。此后,在车载拍摄装置又识别到环境中存在预设图像特征点时,又基于预设拍摄时长对车外环境进行视频拍摄,因此,视频素材库中存储的有多个视频,多个精彩片段可能从一个视频中提取获得的,也可能是从不同视频中提取获得的。
另外,车载短视频拍摄生成装置中还存储有模板库,包括风格模板和运镜模板,其中,风格模板包括但不限于滤镜、贴纸、特效等,运镜模板包括但不限于希区柯克、图像翻转等,根据拼接视频的视频特征在模板库中匹配出风格模板和运镜模板,根据匹配出的风格模板和运镜模板对拼接视频进行整体风格与运镜的优化,进一步有效提升短视频生成效果。
作为一种可能的实施例,基于多个精彩片段可以生成多种短视频,该多种短视频的拼接、优化等风格不同,用户可以在生成的多种短视频中选择出属于自己偏好的短视频。
具体地,从视频素材库中提取多个精彩片段,并根据各精彩片段各自对应的场景标签进行拼接处理获得拼接视频,包括:将各拍摄视频输入精彩片段识别模型中,获得多个精彩片段,其中,各精彩片段都对应有场景标签,各场景标签对应的编辑素材包括文字、图像与音乐至少之一;基于排序算法模型将多个精彩片段进行排序,并根据各精彩片段各自对应的场景标签所对应的编辑素材对各精彩片段进行编辑;在两个精彩片段之间插入过渡帧或过渡动画,获得拼接视频。
需要说明的是,精彩片段识别模型是预先训练好的,模型训练方式为现有技术中的成熟技术,此处不做详述,排序算法模型同理。应当理解的是,对于精彩片段识别模型和排序算法模型需要进行定期的更新训练,这样,能够保证获得的精彩片段更加贴合用户感兴趣的内容,以及保证精彩片段的排序方式最优化,同时,在两个精彩片段之间插入过渡帧或过渡动画,能使得获得拼接视频中,各精彩片段之间的过渡平缓,该实施例既保证了短视频内容的丰富性,又保证了短视频整体的连贯性,提升用户观看体验。
继续以图6为例,若识别到其中①②③④⑤⑥⑦⑧⑨为精彩片段,则对这些片段进行提取,请参见图7,图7是本申请的一示例性实施例示出的精彩片段提取示意图,如图7所示,精彩片段①②③④⑤⑥⑦⑧⑨都有各自对应的场景标签。
具体地,在两个精彩片段之间插入过渡帧或过渡动画,包括:计算前一个精彩片段的尾帧与后一段精彩片段的首帧之间的相似度;将相似度与相似度阈值进行比较;若相似度高于相似度阈值,则基于融合算法生成过渡帧,并将过渡帧插入两个精彩片段之间;若相似度低于相似度阈值,则在两个精彩片段之间插入过渡动画。
继续以图6、图7为例,请参见图8,图8是本申请的一示例性实施例示出的过渡动画与过渡帧插入示意图,如图8所示,若排序算法模型根据场景标签类型进行排序,作为一种可能的排序方式为①⑤②④⑧③⑥⑨⑦,其中,①⑤对应场景标签A,②④⑧对应场景标签B,③⑥⑨对应场景标签C,⑦对应场景标签D,而其中y、z、r为过渡帧/过渡动画,需要说明的是,①⑤之间的过渡帧/过渡动画、②④⑧之间的过渡帧/过渡动画以及③⑥⑨之间的过渡帧/过渡动画在图8中并没有示出。
在一可能的实施例中,从视频素材库中提取多个精彩片段之前,还包括:确定视频素材库中的视频数量,并判断视频数量是否达到预设数量阈值;当视频数量达到预设数量阈值时,则从视频素材库中提取多个精彩片段。
在该实施例中,当视频数量达到预设数量阈值时,才从视频素材库中提取多个精彩片段,在视频数量足够多的情况下进行精彩片段的提取,能够保证获得数量足够多的精彩片段,从而保证短视频内容的丰富性。
在一可能的实施例中,车载短视频拍摄生成装置具有双线工作能力,在进行精彩片段的提取时,可以继续录制视频用于下一次的车载短视频制作。
在一可能的实施例中,可以根据用户发出的停止拍摄指令而结束拍摄,在结束拍摄后,车载短视频拍摄生成装置也会从视频素材库中提取多个精彩片段进行后续的生成车载短视频的操作。
在一实施例中,根据风格模板和运镜模板对拼接视频进行优化,包括:预估目标车辆当前所处的风险等级以确定目标交互方式,向用户发送第二问询请求确定是否添加运镜模板。
需要说明的是,不同的用户对于是否进行运镜优化的选择不同,有的用户不喜欢运镜效果,有的喜欢在短视频中添加运镜增强短视频的视觉感受,因此,是否添加运镜模板需要问询用户,也意味着需要与用户进行人机交互,考虑到驾驶安全,在进行人机交互前均需要预估目标车辆当前所处的风险等级以确定目标交互方式,对于风险等级的预估方式以及风险等级与交互方式的一一对应关系在前述部分已经进行了详细的描述,此处不再赘述。
在一实施例中,向用户发送第二问询请求确定是否添加运镜模板之后,还包括:若未接收到添加指令,则根据风格模板一次优化后的视频生成短视频;若接收到添加指令且添加指令中携带有用户选择的目标运镜,则响应于添加指令根据目标运镜对一次优化后的视频进行二次优化,生成短视频;若接收到添加指令且添加指令中未携带有用户选择的目标运镜,则响应于添加指令根据默认运镜对一次优化后的视频进行二次优化,生成短视频。
需要说明的是,所采用的默认运镜是根据拼接视频的视频特征从模板库中匹配出运镜模板,也就是说,默认运镜并不是固定的,而是根据每次拼接视频的视频特征不同而变化的。
在一实施例中,生成短视频之后,还包括:自动保存短视频至车载相册,并预估目标车辆当前所处的风险等级;当风险等级为第一预设等级时,语音提示用户已生成短视频,并向用户播放短视频;当风险等级为第二预设等级时,语音提示用户已生成短视频以及可在车载相册中查看短视频。
在该实施例中,短视频生成后,车载短视频拍摄生成装置会根据目标车辆当前所处的风险等级确定是否播放该短视频,因此,需要预估目标车辆当前所处的风险等级,以保证用户驾驶安全。另外,对于风险等级的预估方式在前述部分已经进行了详细的描述,此处不再赘述。
需要说明的是,第一预设等级可以是前述的风险等级极低和风险等级低两种情况,第二预设等级可以是前述的风险等级中和风险等级高两种情况,根据风险等级不同确定是否向用户播放生成的短视频,可以避免在存在驾驶危险时向用户播放短视频,保证用户驾车安全。
请参见图9,图9是本申请的一示例性实施例示出的录制拍摄的流程图,如图9所示,开启视频拍摄功能后,识别车外环境中的图像特征点,若没有识别到预设图像特征点则继续识别车外环境中的图像特征点,若识别到预设图像特征点则录制该段视频,同时,根据图像特征库确定该段视频中各片段的场景标签,并对各片段进行场景标签的标定,录制并标定结束后将视频保存至视频素材库,然后判断视频素材库中的视频数量是否达到预设数量阈值或用户是否主动停止视频拍摄,若视频数量没有达到预设数量阈值,或者视频数量没有达到预设数量阈值且用户没有主动停止拍摄,则继续车外环境中的图像特征点,进行下一段视频拍摄,若视频数量达到预设数量阈值,或者用户主动停止拍摄,则进入视频制作,即精彩片段的提取、拼接片段的生成。
请参见图10,图10是本申请的一示例性实施例示出的生成拼接视频的流程图,如图10所示,开始视频制作后,进行精彩片段识别,判断在各视频中是否识别到图像特征点,若没有,则继续进行精彩片段的识别,若识别到图像特征点,则进行精彩片段提取,并进行该精彩片段的缓存,并实时判断是否已经对视频素材库中的所有视频进行了精彩片段的识别,若否,则继续进行精彩片段的识别,若是,则基于图像特征库对各精彩片段进行排列组合,然后确认第X段片段尾帧与X+1段片段首帧相似度,进一步判断该相似度是否高于设定阈值,若否,则基于图像特征库选择过渡动画插入两个精彩片段之间,若是,则生成过渡帧并插入两个精彩片段之间,然后生成拼接视频,进入拼接视频的优化。
请参见图11,图11是本申请的一示例性实施例示出的运镜优化的流程图,如图11所示,在对拼接视频进行风格模板优化后,向用户确认是否增加运镜,用用户选择否,则结束,即根据风格模板优化后的视频生成短视频,若用户选择是,则根据用户从模板库的运镜模板库中选择的运镜模板进行运镜优化,生成短视频,然后结束,若用户确定要增加运镜,但是没有选择具体的运镜,则根据拼接视频的视频特征从模板库的运镜模板库中匹配的运镜模板进行运镜优化,生成短视频,然后结束。
在一实施例中,生成短视频之后,还包括:通过短视频播放界面的分享按钮生成短视频分享指令,响应于短视频分享指令对短视频进行分享操作。
在该实施例中,用户可将生成的短视频一键分享到手机app以及其他车载应用中,能够丰富旅行生活,提升趣味性。请参见图12,图12是本申请的一示例性实施例示出的短视频分享示意图,如图12所示,在短视频的播放界面存在分享按钮,用户可通过分享按钮生成短视频分享指令,车机响应于短视频分享指令跳转至第三方应用,对短视频进行分享操作,第三方应用包括但不限于手机app、微信、朋友圈、抖音以及微博等,同时,在点击分享按钮后出现的弹框中还有取消分享按钮,可以取消短视频分享。
上述的车载短视频拍摄生成方法,具有以下有益效果:
(1)通过控制摄像装置根据车辆速度所确定的旋转角速度跟踪锁定预设图像特征点,使预设图像特征点始终保持在画面正中,实现了行车中拍摄对象的精准拍摄,提高了拍摄画面的画面效果;
(2)当用户确认拍摄后,响应于接收到的视频拍摄指令,开启短视频拍摄功能,并对车外环境中的图像特征点进行识别,当识别到环境中存在预设图像特征点时进入视频拍摄,通过识别到图像特征点时进行一段视频的拍摄,避免了后台持续录制对车机算力的消耗;
(3)智能化地完成了车载短视频的拍摄与生成,从拍摄到生成一步到位,无需用户进行操作,丰富旅行生活,增强用户体验感。
请参见图13,图13是本申请的一示例性实施例示出的车载短视频拍摄生成装置的框图。应理解的是,该装置也可以适用于其它的示例性实施环境,并本实施例不对该装置所适用的实施环境进行限制。
如图13所示,在一示例性的实施例中,车载短视频拍摄生成装置至少包括识别模块1310、确定模块1320与视频拍摄生成模块1330,详细介绍如下:
识别模块1310,用于响应于接收到的视频拍摄指令,对目标车辆车外环境中的图像特征点进行识别;
确定模块1320,用于若识别到车外环境中存在预设图像特征点,则获取目标车辆的第一车速,并根据第一车速确定拍摄车外环境的摄像装置的旋转角速度,其中,第一车速与旋转角速度呈正相关;
视频拍摄生成模块1330,用于基于旋转角速度控制摄像装置向预设图像特征点旋转,直至预设图像特征点位于拍摄画面正中时进行视频拍摄,生成短视频。
需要说明的是,上述实施例所提供的车载短视频拍摄生成装置与上述实施例所提供的车载短视频拍摄生成方法属于同一构思,其中各个模块执行操作的内容已经在方法实施例中进行了详细描述,此处不再赘述。
请参见图14,图14是本申请的一实施例提供的电子设备的一种结构示意图。图14示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。需要说明的是,图14示出的电子设备的计算机系统1400仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图14所示,计算机系统1400包括中央处理单元(Central Processing Unit,CPU)1401,其可以根据存储在只读存储器(Read-Only Memory,ROM)1402中的程序或者从储存部分1408加载到随机访问存储器(Random Access Memory,RAM)1403中的程序而执行各种适当的动作和处理,例如执行上述实施例中的方法。在RAM1403中,还存储有系统操作所需的各种程序和数据。CPU1401、ROM 1402以及RAM1403通过总线1404彼此相连。输入/输出(Input/Output,I/O)接口1405也连接至总线1404。
以下部件连接至I/O接口1405:包括键盘、鼠标等的输入部分1406;包括诸如阴极射线管(Cathode Ray Tube,CRT)、液晶显示器(Liquid Crystal Display,LCD)等以及扬声器等的输出部分1407;包括硬盘等的储存部分1408;以及包括诸如LAN(Local AreaNetwork,局域网)卡、调制解调器等的网络接口卡的通信部分1409。通信部分1409经由诸如因特网的网络执行通信处理。驱动器1410也根据需要连接至I/O接口1405。可拆卸介质1411,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1410上,以便于从其上读出的计算机程序根据需要被安装入储存部分1408。
特别地,根据本申请的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本申请的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中,该计算机程序可以通过通信部分1409从网络上被下载和安装,和/或从可拆卸介质1411被安装。在该计算机程序被中央处理单元(CPU)1401执行时,执行本申请的系统中限定的各种功能。
需要说明的是,本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被计算机的处理器执行时,使计算机执行如上述的车载短视频拍摄生成方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的,也可以是单独存在,而未装配入该电子设备中。
上述实施例仅示例性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。
Claims (19)
1.一种车载短视频拍摄生成方法,其特征在于,所述方法包括:
响应于接收到的视频拍摄指令,对目标车辆车外环境中的图像特征点进行识别;
若识别到所述车外环境中存在预设图像特征点,则获取所述目标车辆的第一车速,并根据所述第一车速确定拍摄所述车外环境的摄像装置的旋转角速度,其中,所述第一车速与所述旋转角速度呈正相关;
基于所述旋转角速度控制所述摄像装置向所述预设图像特征点旋转,直至所述预设图像特征点位于拍摄画面正中时进行视频拍摄,生成短视频。
2.根据权利要求1所述的车载短视频拍摄生成方法,其特征在于,所述直至所述预设图像特征点位于拍摄画面正中时进行视频拍摄,包括:
在所述预设图像特征点位于拍摄画面正中时开始拍摄,并确定所述拍摄画面中所述预设图像特征点所占用的像素总数量;
基于所述像素总数量计算获得所述预设图像特征点的有效像素剩余量;
当监测到所述拍摄画面中所述预设图像特征点所占用的像素数量小于或等于所述有效像素剩余量时,结束拍摄。
3.根据权利要求2所述的车载短视频拍摄生成方法,其特征在于,所述视频拍摄还包括:
将拍摄帧率从第一预设帧率调节为第二预设帧率进行视频拍摄,其中,所述第一预设帧率为识别所述预设图像特征点所对应的拍摄帧率,所述第二预设帧率大于所述第一预设帧率。
4.根据权利要求1所述的车载短视频拍摄生成方法,其特征在于,所述响应于接收到的视频拍摄指令之前,还包括:
当检测到所述目标车辆内有且仅有驾驶员时,则获取驾驶风险评定项,所述风险评定项包括用户视线离地时间、用户瞳孔直径、所述目标车辆的第二速度与车辆环境;
若所述目标车辆到目标拍摄兴趣点的行驶时间达到触发阈值,则根据所述用户视线离地时间、所述用户瞳孔直径、所述第二速度与所述车辆环境预估所述目标车辆当前所处的风险等级,以确定目标交互方式,向用户发送第一问询请求确定是否进行视频拍摄。
5.根据权利要求4所述的车载短视频拍摄生成方法,其特征在于,所述则根据所述用户视线离地时间、所述用户瞳孔直径、所述第二速度与所述车辆环境预估所述目标车辆当前所处的风险等级,包括:
根据所述驾驶风险评定项各自所对应的安全指数标准,确定所述用户视线离地时间、所述用户瞳孔直径、所述第二速度与所述车辆环境各自对应的安全指数,其中,所述车辆环境包括拍摄兴趣点拥堵情况与道路情况;
将各所述安全指数分别进行加权计算,获得驾驶风险指数;
依据所述驾驶风险指数确定所述目标车辆当前所处的风险等级。
6.根据权利要求1所述的车载短视频拍摄生成方法,其特征在于,所述生成短视频,还包括:
基于所述目标车辆车外环境进行多次视频拍摄,并将拍摄的视频标定场景标签保存至视频素材库;
对所述视频素材库中的多个视频依次进行拼接、优化处理,生成所述短视频。
7.根据权利要求6所述的车载短视频拍摄生成方法,其特征在于,所述对所述视频素材库中的多个视频依次进行拼接、优化处理,生成所述短视频,包括:
从所述视频素材库中提取多个精彩片段,并根据各精彩片段各自对应的场景标签进行拼接处理获得拼接视频;
确定所述拼接视频的视频特征,基于所述视频特征在模板库中匹配出与所述拼接视频相对应的风格模板和运镜模板,所述视频特征包括精彩片段数量、单段时长、场景标签以及片段与片段之间拼接方案;
根据所述风格模板和所述运镜模板对所述拼接视频进行优化,生成所述短视频。
8.根据权利要求7所述的车载短视频拍摄生成方法,其特征在于,所述根据所述风格模板和所述运镜模板对所述拼接视频进行优化,包括:
预估所述目标车辆当前所处的风险等级以确定目标交互方式,向用户发送第二问询请求确定是否添加所述运镜模板。
9.根据权利要求8所述的车载短视频拍摄生成方法,其特征在于,所述向用户发送第二问询请求确定是否添加所述运镜模板之后,还包括:
若未接收到添加指令,则根据所述风格模板一次优化后的视频生成所述短视频;
若接收到所述添加指令且所述添加指令中携带有用户选择的目标运镜,则响应于所述添加指令根据所述目标运镜对一次优化后的视频进行二次优化,生成所述短视频;
若接收到所述添加指令且所述添加指令中未携带有用户选择的目标运镜,则响应于所述添加指令根据默认运镜对一次优化后的视频进行二次优化,生成所述短视频。
10.根据权利要求4至5任一项所述的车载短视频拍摄生成方法,其特征在于,所述向用户发送第一问询请求确定是否进行视频拍摄之前,还包括:
根据兴趣点库对地图信息中的兴趣点进行识别,其中,所述兴趣点库中的兴趣点包括风景、名胜古迹、特殊公路;
若在所述地图信息中识别到一个拍摄兴趣点,则将所述拍摄兴趣点作为所述目标拍摄兴趣点,若在所述地图信息中识别到多个拍摄兴趣点,则从所述多个拍摄兴趣点中确定出距离所述目标车辆最近的拍摄兴趣点作为所述目标拍摄兴趣点;
获取所述目标车辆相对于所述目标拍摄兴趣点的第一距离以及所述目标车辆的第三速度;
根据所述第一距离与所述第三速度计算获得行驶时间,并判断所述行驶时间是否达到触发阈值;
若确定所述行驶时间达到所述触发阈值,则向用户发送所述第一问询请求。
11.根据权利要求1至9任一项所述的车载短视频拍摄生成方法,其特征在于,所述对所述目标车辆车外环境中的图像特征点进行识别之后,还包括:
若未识别到环境中存在所述预设图像特征点,则继续对所述目标车辆车外环境中的图像特征点进行识别,并获取所述目标车辆驶离所述目标拍摄兴趣点的第二距离;
将所述第二距离与距离阈值进行比较;
若所述第二距离大于所述距离阈值,则停止识别环境中的图像特征点,直至距离下一目标拍摄兴趣点的行驶时间达到触发阈值。
12.根据权利要求6至9任一项所述的车载短视频拍摄生成方法,其特征在于,所述并将拍摄的视频标定场景标签保存至视频素材库,包括:
识别所述视频中的所有图像特征点;
将各图像特征点与图像特征库进行匹配,确定各图像特征点所属的子库,其中,所述图像特征库由多个子库组成,每个子库对应一个场景标签,所述场景标签包括星空、海、雪花、极昼;
获取各图像特征点所对应的场景标签,并进行标记;
将携带场景标签的所述视频保存至所述视频素材库,其中,所述视频标定有至少一个场景标签。
13.根据权利要求7至9任一项所述的车载短视频拍摄生成方法,其特征在于,所述从所述视频素材库中提取多个精彩片段,并根据各精彩片段各自对应的场景标签进行拼接处理获得拼接视频,包括:
将各拍摄视频输入精彩片段识别模型中,获得多个精彩片段,其中,各精彩片段都对应有场景标签,各场景标签对应的编辑素材包括文字、图像与音乐至少之一;
基于排序算法模型将多个精彩片段进行排序,并根据各精彩片段各自对应的场景标签所对应的编辑素材对各精彩片段进行编辑;
在两个精彩片段之间插入过渡帧或过渡动画,获得所述拼接视频。
14.根据权利要求13所述的车载短视频拍摄生成方法,其特征在于,所述在两个精彩片段之间插入过渡帧或过渡动画,包括:
计算前一个精彩片段的尾帧与后一段精彩片段的首帧之间的相似度;
将所述相似度与相似度阈值进行比较;
若所述相似度高于所述相似度阈值,则基于融合算法生成所述过渡帧,并将所述过渡帧插入所述两个精彩片段之间;
若所述相似度低于所述相似度阈值,则在所述两个精彩片段之间插入所述过渡动画。
15.根据权利要求4至5任一项所述的车载短视频拍摄生成方法,其特征在于,所述生成短视频之后,还包括:
自动保存所述短视频至车载相册,并预估所述目标车辆当前所处的风险等级;
当所述风险等级为第一预设等级时,语音提示用户已生成所述短视频,并向用户播放所述短视频;
当所述风险等级为第二预设等级时,语音提示用户已生成所述短视频以及可在所述车载相册中查看所述短视频。
16.根据权利要求15所述的车载短视频拍摄生成方法,其特征在于,所述生成短视频之后,还包括:
通过短视频播放界面的分享按钮生成短视频分享指令,响应于所述短视频分享指令对所述短视频进行分享操作。
17.一种车载短视频拍摄生成装置,其特征在于,所述装置包括:
识别模块,用于响应于接收到的视频拍摄指令,对目标车辆车外环境中的图像特征点进行识别;
确定模块,用于若识别到所述车外环境中存在预设图像特征点,则获取所述目标车辆的第一车速,并根据所述第一车速确定拍摄所述车外环境的摄像装置的旋转角速度,其中,所述第一车速与所述旋转角速度呈正相关;
视频拍摄生成模块,用于基于所述旋转角速度控制所述摄像装置向所述预设图像特征点旋转,直至所述预设图像特征点位于拍摄画面正中时进行视频拍摄,生成短视频。
18.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述电子设备实现如权利要求1至16任一项所述的车载短视频拍摄生成方法。
19.一种计算机可读存储介质,其特征在于,其上存储有计算机可读指令,当所述计算机可读指令被计算机的处理器执行时,使计算机执行权利要求1至16任一项所述的车载短视频拍摄生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311246268.9A CN117319785A (zh) | 2023-09-25 | 2023-09-25 | 车载短视频拍摄生成方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311246268.9A CN117319785A (zh) | 2023-09-25 | 2023-09-25 | 车载短视频拍摄生成方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117319785A true CN117319785A (zh) | 2023-12-29 |
Family
ID=89284320
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311246268.9A Pending CN117319785A (zh) | 2023-09-25 | 2023-09-25 | 车载短视频拍摄生成方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117319785A (zh) |
-
2023
- 2023-09-25 CN CN202311246268.9A patent/CN117319785A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111626208B (zh) | 用于检测小目标的方法和装置 | |
Michieli et al. | Adversarial learning and self-teaching techniques for domain adaptation in semantic segmentation | |
WO2020042349A1 (zh) | 一种应用于车辆定位的定位初始化方法及车载终端 | |
KR20190039915A (ko) | 자율 주행 차량 내에서 미디어 콘텐츠를 표시하기 위한 시스템 및 방법 | |
CN108399752A (zh) | 一种驾驶违章预判方法、装置、服务器和介质 | |
CN113793297B (zh) | 位姿确定方法、装置、电子设备及可读存储介质 | |
CN110188482B (zh) | 一种基于智能驾驶的测试场景创建方法及装置 | |
CN113762252A (zh) | 无人机智能跟随目标确定方法、无人机和遥控器 | |
CN105701458B (zh) | 基于车载设备获取图像识别车辆外部信息的方法及系统 | |
EP2892027A1 (en) | Detective information registration device, method of controlling detective information registration device and control program for detective information registration device | |
CN111666898B (zh) | 用于识别车辆所属类别的方法和装置 | |
CN111179162B (zh) | 一种特殊环境下的定位初始化方法及车载终端 | |
WO2020082777A1 (zh) | 车位检测方法及装置 | |
CN115119045B (zh) | 基于车载多摄像头的视频生成方法、装置及车载设备 | |
CN110876011A (zh) | 基于图像识别技术的行车拍摄方法及车辆 | |
CN115861884A (zh) | 复杂场景下视频多目标跟踪方法、系统、设备及介质 | |
CN109544981B (zh) | 图像处理方法、装置、设备和介质 | |
CN113160406A (zh) | 道路三维重建方法、装置、存储介质及电子设备 | |
CN117319785A (zh) | 车载短视频拍摄生成方法、装置、设备及存储介质 | |
JP5557036B2 (ja) | 退出判定装置、退出判定プログラム及び退出判定方法 | |
CN115588180A (zh) | 地图生成方法、装置、电子设备、介质和程序产品 | |
JP7147464B2 (ja) | 画像選択装置及び画像選択方法 | |
JP2011214961A (ja) | 基準パターン情報生成装置、方法、プログラムおよび一般車両位置特定装置 | |
CN110705493A (zh) | 车辆行驶环境的检测方法、系统、电子设备及存储介质 | |
JP4949205B2 (ja) | 情報処理端末、情報処理方法、処理プログラムおよびコンピュータに読み取り可能な記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |