CN114467294A - 视频生成方法、装置、可移动平台和存储介质 - Google Patents
视频生成方法、装置、可移动平台和存储介质 Download PDFInfo
- Publication number
- CN114467294A CN114467294A CN202080067415.4A CN202080067415A CN114467294A CN 114467294 A CN114467294 A CN 114467294A CN 202080067415 A CN202080067415 A CN 202080067415A CN 114467294 A CN114467294 A CN 114467294A
- Authority
- CN
- China
- Prior art keywords
- shooting
- background music
- track
- alternative
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 230000033001 locomotion Effects 0.000 claims abstract description 86
- 230000009471 action Effects 0.000 claims description 16
- 230000033764 rhythmic process Effects 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 12
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000013461 design Methods 0.000 description 9
- 230000008451 emotion Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 230000002567 autonomic effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
一种视频生成方法、装置、可移动平台和存储介质。其中,方法包括:获取用于生成视频信息的至少一个场景特征和安全移动范围;确定用于生成视频信息的背景音乐;在安全移动范围内,确定与背景音乐和至少一个场景特征相对应的至少一个目标拍摄轨迹;基于背景音乐和至少一个目标拍摄轨迹对可移动平台进行控制,生成与至少一个场景特征相对应的目标视频。本实施例提供的技术方案,不仅可以提高目标视频的生成质量和效率,对用户的拍摄技能和视频剪辑技能要求较低,视频拍摄中所包括的至少一个场景特征与背景音乐之间的匹配度较高;并且,可以基于不同的目标拍摄轨迹生成与不同的目标视频,提高了目标视频生成的灵活可靠性,满足了用户的个性化需求。
Description
技术领域
本发明实施例涉及视频技术领域,尤其涉及一种视频生成方法、装置、可移动平台和存储介质。
背景技术
随着可移动平台技术的飞速发展,可移动平台的应用领域越来越广泛,以无人机作为可移动平台为例,其在拍摄技术领域已经得到了广泛应用。在利用无人机进行飞行拍摄时,可以获得拍摄视频,然后用户可以根据喜好对拍摄视频搭配背景音乐,并可以手动或者自动地对视频进行剪辑。
然而,上述视频生成方法存在以下缺陷:现有技术中只能先拍摄获得视频之后,才能对拍摄视频匹配音乐,并可以手动或者自动地对视频进行剪辑,在手动进行视频剪辑操作时,不仅对剪辑技能要求较高,并且剪辑过程费时费力。
发明内容
本发明实施例提供了一种视频生成方法、装置、可移动平台和存储介质,可以将拍摄内容、背景音乐以及现场场景进行融合,生成一视频信息,这样无需用户对视频信息进行后剪辑处理,同时也可以降低用户的拍摄门槛,减少用户的拍摄负担和制作成本,有利于提升用户体验。
本发明的第一方面是为了提供一种视频生成方法,包括:
获取用于生成视频信息的至少一个场景特征和安全移动范围;
确定用于生成视频信息的背景音乐;
在所述安全移动范围内,确定与所述背景音乐和所述至少一个场景特征相对应的至少一个目标拍摄轨迹;
基于所述背景音乐和所述至少一个目标拍摄轨迹对可移动平台进行控制,生成与所述至少一个场景特征相对应的目标视频。
本发明的第二方面是为了提供一种视频生成装置,包括:
存储器,用于存储计算机程序;
处理器,用于运行所述存储器中存储的计算机程序以实现:
获取用于生成视频信息的至少一个场景特征和安全移动范围;
确定用于生成视频信息的背景音乐;
在所述安全移动范围内,确定与所述背景音乐和所述至少一个场景特征相对应的至少一个目标拍摄轨迹;
基于所述背景音乐和所述至少一个目标拍摄轨迹对可移动平台进行控制,生成与所述至少一个场景特征相对应的目标视频。
本发明的第三方面是为了提供一种可移动平台,包括:
平台主体;
上述第二方面所述的视频生成装置,设置于所述平台主体上,用于生成与场景特征相对应的视频。
本发明的第四方面是为了提供一种计算机可读存储介质,所述存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,所述程序指令用于第一方面所述的视频生成方法。
本发明实施例提供的视频生成方法、装置、可移动平台和存储介质,可以基于用户确定的背景音乐或者基于场景特征所确定的背景音乐来确定至少一个目标拍摄轨迹,而后可以基于背景音乐和至少一个目标拍摄轨迹控制可移动平台进行移动,有效地实现了可以通过设置于可移动平台上的图像采集装置生成目标视频,这样不仅可以提高目标视频的生成质量和效率,对用户的拍摄技能和视频剪辑技能的要求较低,并且,视频拍摄效果与背景音乐之间的匹配度较高,同时可以减少用户的拍摄负担和制作成本;此外,所生成视频的目标拍摄轨迹不单一,即可以基于同一场景特征、不同背景音乐可以生成不同的目标视频,基于不用场景特征、同一背景音乐也可以生成不同的目标视频,从而提高了目标视频生成的灵活可靠性,满足了用户的个性化需求,有利于提升用户体验,进一步提高了该视频生成方法使用的稳定可靠性。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本发明实施例提供的一种视频生成方法的原理示意图;
图2为本发明实施例提供的一种视频生成方法的流程示意图;
图3为本发明实施例提供的确定用于生成视频信息的背景音乐的流程示意图;
图4为本发明实施例提供的在所述安全移动范围内,确定与所述背景音乐和所述至少一个场景特征相对应的目标拍摄轨迹的流程示意图;
图5为本发明实施例提供的获取每个备选拍摄轨迹与所述背景音乐之间的第二匹配度的流程示意图;
图6为本发明实施例提供的基于所述背景音乐和所述至少一个目标拍摄轨迹对可移动平台进行控制,生成与所述至少一个场景特征相对应的目标视频的流程示意图;
图7为本发明实施例提供的基于所述背景音乐和所述至少一个目标拍摄轨迹对可移动平台进行控制,生成与所述场景特征相对应的视频片段的流程示意图;
图8为本发明应用实施例提供的一种视频生成方法的流程示意图一;
图9为本发明应用实施例提供的一种视频生成方法的流程示意图二;
图10为本发明应用实施例提供的一种视频生成方法的流程示意图三;
图11为本发明实施例提供的一种视频生成装置的结构示意图;
图12为本发明实施例提供的一种可移动平台的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。
为了便于理解本申请的技术方案,下面对现有技术进行简要说明:
目前,以无人机作为可移动平台为例,在采用遥控器控制无人机进行飞行拍摄,或者,在控制无人机按照一定的自主飞行功能进行拍摄时,可以获得拍摄视频。而后,用户可以根据个人喜好对拍摄视频搭配背景音乐,并可以手动或者自动地对视频进行剪辑。然而,上述视频生成方法存在以下缺陷:
(1)对拍摄视频进行剪辑操作的技能要求和成本高;
(2)拍摄效果与背景音乐之间的匹配难度较高;
(3)现有的拍摄模式和使用效果较为单一,多次使用之后容易产生审美疲劳;
(4)对于需要手动飞行拍摄的视频片段,新手用户的拍摄质量不高,无法保证生成视频的质量和效果。
为了解决上述技术问题,本实施例提供了一种视频生成方法、装置、可移动平台和存储介质。其中,参考附图1所示,上述视频生成方法的执行主体可以为视频生成装置,该视频生成装置可以设置于可移动平台上,并且,该视频生成装置通信连接有控制终端,该控制终端可以向视频生成装置发送视频生成请求,在视频生成装置获取到视频生成请求之后,则可以基于视频生成请求进行视频生成操作。具体的,可以基于视频生成请求获取用于生成视频信息的至少一个场景特征和安全移动范围,确定用于生成视频信息的背景音乐,并在安全移动范围内,确定与背景音乐和至少一个场景特征相对应的至少一个目标拍摄轨迹;而后基于背景音乐和至少一个目标拍摄轨迹对可移动平台进行控制,生成与至少一个场景特征相对应的目标视频,从而有效地实现了对目标视频进行生成的质量和效率。
本实施例提供的视频生成方法,可以基于用户确定的背景音乐或者基于场景特征所确定的背景音乐来确定至少一个目标拍摄轨迹,而后可以基于背景音乐和至少一个目标拍摄轨迹控制可移动平台进行移动,有效地实现了可以通过设置于可移动平台上的图像采集装置生成目标视频,这样不仅可以提高目标视频的生成质量和效率,对用户的拍摄技能和视频剪辑技能的要求较低,并且,视频拍摄效果与背景音乐之间的匹配度较高,同时可以减少用户的拍摄负担和制作成本;此外,所生成视频的目标拍摄轨迹不单一,即可以基于同一场景特征、不同背景音乐可以生成不同的目标视频,基于不用场景特征、同一背景音乐也可以生成不同的目标视频,从而提高了目标视频生成的灵活可靠性,满足了用户的个性化需求,有利于提升用户体验,进一步提高了该视频生成方法使用的稳定可靠性。
下面结合附图,对本发明中一种视频生成方法、装置、可移动平台和存储介质的一些实施方式作详细说明。在各实施例之间不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
图2为本发明实施例提供的一种视频生成方法的流程示意图;在上述实施例的基础上,继续参考附图1-图2所示,本实施例提供了一种视频生成方法,该方法的执行主体可以为视频生成装置,可以理解的是,该视频生成装置可以实现为软件、或者软件和硬件的组合,具体的,该视频生成方法可以包括:
步骤S201:获取用于生成视频信息的至少一个场景特征和安全移动范围。
步骤S202:确定用于生成视频信息的背景音乐。
步骤S203:在安全移动范围内,确定与背景音乐和至少一个场景特征相对应的至少一个目标拍摄轨迹。
步骤S204:基于背景音乐和至少一个目标拍摄轨迹对可移动平台进行控制,生成与至少一个场景特征相对应的目标视频。
下面对上述各个步骤的具体实现方式和实现效果进行详细说明:
步骤S201:获取用于生成视频信息的至少一个场景特征和安全移动范围。
其中,在用户存在视频生成需求时,则可以通过控制终端生成视频生成请求,并将视频生成请求发送至视频生成装置,从而使得视频生成装置可以基于视频生成请求获取用于生成视频信息的至少一个场景特征和安全移动范围。在一些实例中,所获得的至少一个场景特征可以包括以下至少之一:在场景中可拍摄对象的位置特征、在场景中可拍摄对象的轮廓特征、在场景中可拍摄对象之间的相对位置特征,可拍摄对象可以包括以下至少之一:人物对象、动物对象、植物对象、景物对象等等。可以理解的是,场景特征不仅可以包括上述所描述的特征,本领域技术人员还可以根据具体的应用需求和设计需求对场景特征进行配置,例如,场景特征还可以包括背景特征,背景特征可以包括背景颜色、背景区域等等。安全移动范围是指在生成视频信息时,可移动平台能够进行安全移动所对应的范围,该安全移动范围可以包括以下至少之一:安全的陆地移动范围、安全的空域移动范围、安全的海域移动范围等等。
另外,本实施例对于获取用于生成视频信息的至少一个场景特征和安全移动范围的具体实现方式不做限定,本领域技术人员可以根据具体的应用需求和设计需求进行设置。在一些实例中,获取用于生成视频信息的至少一个场景特征和安全移动范围可以包括:获取用于控制可移动平台进行移动的预设移动参数;基于预设移动参数控制可移动平台进行移动,通过设置于可移动平台上的图像采集装置确定至少一个场景特征和安全移动范围。
具体的,可移动平台可以包括以下至少之一:无人机、云台、无人车、无人船等等;可以理解的是,不同的可移动平台可以对应有不同的预设移动参数。例如,在可移动平台包括无人机时,预设移动参数可以包括以下至少之一:无人机的预设高度参数、无人机的预设飞行轨迹、无人机上云台的运动轨迹、无人机上图像采集装置的变焦动作参数。在可移动平台包括以下至少之一:云台、无人车、无人船时,预设移动参数可以包括以下至少之一:预设移动轨迹、可移动平台上云台的运动轨迹、可移动平台上图像采集装置的变焦动作参数。
此外,对于上述的用于控制可移动平台进行移动的预设移动参数而言,本实施例对于预设移动参数的具体获取方式不做限定,本领域技术人员可以根据具体的应用需求和设计需求进行设置,例如,预设移动参数可以存储在预设区域中,通过访问预设区域即可获取到用于控制可移动平台进行移动的预设移动参数。或者,预设移动参数可以是用户直接输入至视频生成装置的,从而使得视频生成装置可以稳定地获取到预设移动参数。
在获取到预设移动参数之后,则可以基于预设移动参数控制可移动平台进行移动,在基于预设移动参数控制可移动平台进行移动的过程中,可以通过设置于可移动平台上的图像采集装置来确定至少一个场景特征和安全移动范围,从而有效地保证了对至少一个场景特征和安全移动范围进行获取的准确可靠性。
当然的,本领域技术人员也可以采用其他的方式来获取用于生成视频信息的至少一个场景特征和安全移动范围,只要能够保证对用于生成视频信息的至少一个场景特征和安全移动范围进行获取的准确可靠性即可,在此不再赘述。
步骤S202:确定用于生成视频信息的背景音乐。
其中,在获取到视频生成请求之后,可以基于视频生成请求确定用于生成视频信息的背景音乐。具体的,本实施例对于确定用于生成视频信息的背景音乐的具体实现方式不做限定,本领域技术人员可以根据具体的应用需求和设计需求进行设置,例如,用户可以针对视频生成装置直接上传音乐,并将上传的音乐直接确定为背景音乐。在一些实例中,确定用于生成视频信息的背景音乐可以包括:获取多个备选背景音乐;检测用户针对任一备选背景音乐所输入的执行操作;将执行操作所对应的备选背景音乐,确定为用于生成视频信息的背景音乐。
具体的,视频生成装置中可以包括存储器,存储器中预先存储有多个备选背景音乐,在获取到视频生成请求之后,则可以基于视频生成请求获取多个备选背景音乐。举例来说,多个备选背景音乐包括:音乐A、音乐B、音乐C和音乐D,上述多个备选背景音乐可以通过UI界面进行显示,以通过UI界面与用户进行交互操作。此时,通过UI界面可以检测用户针对任一背景音乐所输入的执行操作,在检测到针对音乐C所输入的执行操作时,则可以将音乐C确定为用于生成视频信息的背景音乐。在检测到用户针对多个背景音乐所输入的执行操作时,则可以将最后一次执行操作所对应的音乐确定为用于生成视频信息的背景音乐。
当然的,本领域技术人员也可以采用其他的方式来确定用于生成视频信息的背景音乐,只要能够保证对用于生成视频信息的背景音乐进行确定的准确可靠性即可,在此不再赘述。
需要注意的是,本实施例中步骤S202与步骤S201之间的执行顺序不做限定,本领域技术人员可以根据具体的应用需求和设计需求进行设置,例如:步骤S202可以与步骤S201同时执行,或者,步骤S202可以在步骤S201之前执行或者之后执行。
步骤S203:在安全移动范围内,确定与背景音乐和至少一个场景特征相对应的至少一个目标拍摄轨迹。
其中,在获取到安全移动范围和背景音乐之后,可以基于背景音乐、安全移动范围和至少一个场景特征进行分析处理,以确定与背景音乐和至少一个场景特征相对应的至少一个目标拍摄轨迹。具体的,本实施例对于确定与背景音乐和至少一个场景特征相对应的至少一个目标拍摄轨迹的具体实现方式不做限定,例如:预先训练有机器学习模型,上述的机器学习模型被训练为用于基于安全移动范围、背景音乐和至少一个场景特征确定至少一个目标拍摄轨迹。之后,在获取到安全移动范围、背景音乐和至少一个场景特征之后,则可以将安全移动范围、背景音乐和至少一个场景特征输入至机器学习模型中,从而可以获得至少一个目标拍摄轨迹。
当然的,本领域技术人员也可以采用其他的方式来确定与背景音乐和至少一个场景特征相对应的至少一个目标拍摄轨迹,只要能够保证对与背景音乐和至少一个场景特征相对应的至少一个目标拍摄轨迹进行确定的准确可靠性即可,在此不再赘述。
步骤S204:基于背景音乐和至少一个目标拍摄轨迹对可移动平台进行控制,生成与至少一个场景特征相对应的目标视频。
在获取到背景音乐和至少一个目标拍摄轨迹之后,则可以基于背景音乐和至少一个目标拍摄轨迹对可移动平台进行控制,从而可以生成与至少一个场景特征相对应的目标视频,该目标视频即是融合有背景音乐、且与至少一个场景特征相对应的视频信息。
本实施例提供的视频生成方法,通过获取用于生成视频信息的至少一个场景特征和安全移动范围,确定用于生成视频信息的背景音乐,并且在安全移动范围内,确定与背景音乐和至少一个场景特征相对应的至少一个目标拍摄轨迹,而后基于背景音乐和至少一个目标拍摄轨迹对可移动平台进行控制,生成与至少一个场景特征相对应的目标视频,该方法不仅可以提高目标视频的生成质量和效率,对用户的拍摄技能和视频剪辑技能要求较低,并且,视频拍摄效果与背景音乐之间的匹配度较高,同时可以减少用户的拍摄负担和制作成本;此外,所生成视频的目标拍摄轨迹不单一,即可以基于同一场景特征、不同背景音乐可以生成不同的目标视频,基于不用场景特征、同一背景音乐也可以生成不同的目标视频,从而提高了目标视频生成的灵活可靠性,满足了用户的个性化需求,有利于提升用户体验,进一步提高了该视频生成方法使用的稳定可靠性。
图3为本发明实施例提供的确定用于生成视频信息的背景音乐的流程示意图;在上述实施例的基础上,参考附图3所示,本实施例提供了另一种确定用于生成视频信息的背景音乐的实现方式,具体的,本实施例中的确定用于生成视频信息的背景音乐可以包括:
步骤S301:获取多个备选背景音乐。
步骤S302:在多个备选背景音乐中,基于至少一个场景特征确定用于生成视频信息的背景音乐,背景音乐的音乐风格与视频信息中的至少一个场景特征相匹配。
其中,预先设置有多个备选背景音乐,上述多个备选背景音乐可以存储在预设区域中,在获取到视频生成请求之后,则可以基于视频生成请求获取多个备选背景音乐。在获取到多个备选背景音乐中,可以对至少一个场景特征进行分析处理,以确定用于生成视频信息的背景音乐,所确定的背景音乐的音乐风格与视频信息中的至少一个场景特征相匹配。举例来说:在至少一个场景特征中包括荒漠特征时,可以匹配较为低沉的背景音乐;在至少一个场景特征中包括田野溪流特征时,可以匹配较为舒缓的背景音乐;在至少一个场景特征中包括大海特征时,可以匹配较为气势磅礴的背景音乐等等。
在一些实例中,音乐风格包括以下至少之一:音乐类型、音乐特征,其中,音乐类型可以包括以下至少之一:古典音乐、流行音乐、蓝调歌曲、摇滚乐、爵士乐等等;音乐特征可以包括:音乐曲调、音乐节奏、音乐和声、音乐力度、音乐速度。当然的,音乐特征还可以包括其他的特征,本实施例可以根据具体的应用需求和设计需求对音乐特征进行设置,例如:音乐特征可以包括音乐节拍等等。
对于音乐曲调而言,也称为音乐旋律,高低起伏的乐音可以按一定的节奏有秩序地横向组织起来,就形成曲调。曲调是音乐形式中最重要的表现手段,是音乐的本质,是音乐的决定性因素。曲调的进行方向是变幻无穷的,基本的进行方向有三种:“水平进行”、“上行”和“下行”。相同音的进行方向称水平进行;由低音向高音方向进行称上行;由高音向低音方向进行称下行。曲调的常见进行方式有:“同音反复”、“级进”和“跳进”。依音阶的相邻音进行称为级进,三度的跳进称小跳,四度和四度以上的跳进称大跳。
对于音乐节奏而言,音乐节奏是指音乐运动中音的长短和强弱。音乐节奏常被比喻为音乐的骨架。节奏是音乐中的重拍和弱拍周期性地、有规律地重复进行。传统音乐称节奏为“板眼”,“板”相当于强拍;“眼”相当于次强拍(中眼)或弱拍。音乐和声包括“和弦”及“和声进行”。和弦通常是由三个或三个以上的乐音按一定的法则纵向(同时)重叠而形成的音响组合。和弦的横向组织就是和声进行,和声有明显的浓、淡、厚、薄的色彩作用;还有构成分句、分乐段和终止乐曲的作用。音乐力度是指音乐中音的强弱程度。音乐速度是指音乐进行的快慢,按拍/分钟作为速度的单位。音乐节拍是指强弱有别的一系列拍子在一定时间内重复出现。
另外,本实施例对于在多个备选背景音乐中,基于至少一个场景特征确定用于生成视频信息的背景音乐的具体实现方式不做限定,本领域技术人员可以根据具体的应用需求和设计需求进行设置。在一些实例中,本实施例中的在多个备选背景音乐中,基于至少一个场景特征确定用于生成视频信息的背景音乐可以包括:获取每个备选背景音乐的音乐风格与至少一个场景特征之间的音乐匹配度;将音乐匹配度最高的备选背景音乐,确定为用于生成视频信息的背景音乐。
具体的,在获取到多个备选背景音乐之后,可以确定多个备选背景音乐的音乐风格,而后可以利用预设分析算法或者预设分析规则对备选背景音乐的音乐风格与至少一个场景特征进行分析处理,以获取每个备选背景音乐的音乐风格与至少一个场景特征之间的音乐匹配度。在获取到每个备选背景音乐的音乐风格与至少一个场景特征之间的音乐匹配度之后,则可以将音乐匹配度最高的备选背景音乐确定为用于生成视频信息的背景音乐,从而使得背景音乐与至少一个场景特征之间的匹配度较高。
本实施例中,通过获取多个备选背景音乐,而后在多个备选背景音乐中,基于至少一个场景特征确定用于生成视频信息的背景音乐,所确定的背景音乐的音乐风格与视频信息中的至少一个场景特征相匹配,进一步保证了对目标视频进行生成的质量和效率。
图4为本发明实施例提供的在安全移动范围内,确定与背景音乐和至少一个场景特征相对应的目标拍摄轨迹的流程示意图;在上述实施例的基础上,继续参考附图4所示,本实施例提供了一种确定与背景音乐和至少一个场景特征相对应的目标拍摄轨迹的实现方式,具体的,本实施例中的在安全移动范围内,确定与背景音乐和至少一个场景特征相对应的目标拍摄轨迹可以包括:
步骤S401:在安全移动范围内,确定与至少一个场景特征相对应的至少一个备选拍摄轨迹。
其中,在获取到安全移动范围和至少一个场景特征之后,则可以对安全移动范围和至少一个场景特征进行分析处理,以确定与至少一个场景特征相对应的至少一个备选拍摄轨迹。在一些实例中,在安全移动范围内,确定与至少一个场景特征相对应的至少一个备选拍摄轨迹可以包括:获取用于对场景特征进行分析处理的第一美学原则;在安全移动范围内,基于第一美学原则生成与至少一个场景特征相对应的至少一个备选拍摄轨迹。
具体的,预先设置有用于对场景特征进行分析处理的第一美学原则,在对第一美学原则进行设置完毕之后,则可以将第一美学原则存储在预设区域中,通过访问预设区域即可获取到第一美学原则。在获取到第一美学原则之后,则可以基于第一美学原则在安全移动范围内生成与至少一个场景特征相对应的至少一个备选拍摄轨迹,该至少一个备选拍摄轨迹用于供可移动平台在安全移动范围内进行移动操作。
在一些实例中,该第一美学原则可以包括以下至少之一:备选拍摄轨迹与场景特征中可拍摄对象的轮廓边缘相平行;备选拍摄轨迹与场景特征中可拍摄对象的轮廓边缘相垂直;备选拍摄轨迹用于标识与场景特征中可拍摄对象之间的拍摄距离逐渐变大;备选拍摄轨迹用于标识与场景特征中可拍摄对象之间的拍摄距离逐渐变小;备选拍摄轨迹用于标识与场景特征中可拍摄对象之间的拍摄角度逐渐变大;备选拍摄轨迹用于标识与场景特征中可拍摄对象之间的拍摄角度逐渐变小。
可以理解的是,第一美学原则所包括的内容并不限于上说所描述的内容,本领域技术人员还可以根据具体的应用场景和设计需求进行配置,在此不再赘述。
步骤S402:在至少一个备选拍摄轨迹中,确定与背景音乐和至少一个场景特征相对应的目标拍摄轨迹。
具体的,在获取到至少一个备选拍摄轨迹中,可以对背景音乐和至少一个场景特征与每个备选拍摄轨迹之间的匹配度,而后可以将匹配度最高的备选拍摄轨迹确定为与背景音乐和至少一个场景特征相对应的目标拍摄轨迹,进而保证了对目标拍摄轨迹进行确定的准确可靠性。
在一些实例中,在至少一个备选拍摄轨迹中,确定与背景音乐和至少一个场景特征相对应的目标拍摄轨迹可以包括:获取每个备选拍摄轨迹与至少一个场景特征之间的第一匹配度;获取每个备选拍摄轨迹与背景音乐之间的第二匹配度;基于第一匹配度和第二匹配度,确定每个备选拍摄轨迹与背景音乐和至少一个场景特征之间的匹配度信息;将匹配度信息最高的备选拍摄轨迹,确定为与背景音乐和至少一个场景特征相对应的目标拍摄轨迹。
其中,在获取到多个备选拍摄轨迹、背景音乐和至少一个场景特征之后,则可以对多个备选拍摄轨迹与至少一个场景特征之间进行分析匹配,获得每个拍摄轨迹与至少一个场景特征之间的第一匹配度;相类似的,可以对多个备选拍摄轨迹与背景音乐之间进行分析匹配,获得每个拍摄轨迹与背景音乐之间的第二匹配度。
在获取到第一匹配度和第二匹配度之后,则可以对第一匹配度和第二匹配度进行分析处理,以确定每个备选拍摄轨迹与背景音乐和至少一个场景特征之间的匹配度信息。具体的,可以对第一匹配度和第二匹配度进行加权求和,获得每个备选拍摄轨迹与背景音乐和至少一个场景特征之间的匹配度信息。在获取到匹配度信息之后,则可以将匹配度信息最高的备选拍摄轨迹,确定为与背景音乐和至少一个场景特征相对应的目标拍摄轨迹,从而有效地保证了对目标拍摄轨迹进行确定的准确可靠性。
可以理解,在一些实施例中,也可以只利用第二匹配度在至少一个备选拍摄轨迹确定与背景音乐相对应的目标拍摄轨迹。
本实施例中,通过在安全移动范围内,确定与至少一个场景特征相对应的至少一个备选拍摄轨迹,而后可以在至少一个备选拍摄轨迹中确定与背景音乐和至少一个场景特征相对应的目标拍摄轨迹,这样不仅保证了对目标拍摄轨迹进行确定的准确可靠性,并且有利于基于目标拍摄轨迹对可移动平台进行控制,进一步保证了对目标视频进行生成的质量和效率。
图5为本发明实施例提供的获取每个备选拍摄轨迹与背景音乐之间的第二匹配度的流程示意图;在上述实施例的基础上,继续参考附图5所示,本实施例提供了一种获取每个备选拍摄轨迹与背景音乐之间的第二匹配度,具体的,本实施例中的获取每个备选拍摄轨迹与背景音乐之间的第二匹配度可以包括:
步骤S501:对背景音乐进行断句分析,确定背景音乐中所包括的至少一个乐句以及与乐句相对应的时间信息。
步骤S502:采用滑窗方式对每个备选拍摄轨迹与背景音乐中所包括的至少一个乐句以及时间信息进行分析匹配,获得备选拍摄轨迹与背景音乐之间的第二匹配度。
其中,对于背景音乐而言,其可以是由多个乐句所构成,每个乐句可以对应有相同或者不同的时间信息,为了能够准确地获取到背景音乐与备选拍摄轨迹之间的匹配度,在获取到背景音乐之后,可以利用现有的预设算法对背景音乐进行断句分析,以确定背景音乐中所包括的至少一个乐句以及与乐句相对应的时间信息。
在获取到至少一个乐句以及与乐句相对应的时间信息之后,则可以采用滑窗方式对每个备选拍摄轨迹与背景音乐中所包括的至少一个乐句以及时间信息进行分析匹配,从而可以获得备选拍摄轨迹与背景音乐之间的第二匹配度。
在一些实例中,采用滑窗方式对每个备选拍摄轨迹与背景音乐中所包括的至少一个乐句以及时间信息进行分析匹配,获得备选拍摄轨迹与背景音乐之间的第二匹配度可以包括:获取背景音乐中乐句的乐句特征和乐句时长;确定备选拍摄轨迹所对应的拍摄特征;获取乐句特征与拍摄特征之间的第一匹配分值、以及乐句时长与拍摄特征之间的第二匹配分值;基于第一匹配分值和第二匹配分值,确定备选拍摄轨迹与背景音乐之间的第二匹配度。
具体的,在获取到背景音乐之后,则可以对背景音乐进行分析处理,以获取背景音乐中乐句的乐句特征和乐句时长,其中,乐句特征可以包括以下至少之一:乐句曲调、乐句内容、乐句节奏、乐句速度、乐句力度。相类似的,在获取到备选拍摄轨迹之后,可以对备选拍摄轨迹进行分析处理,以确定备选拍摄轨迹所对应的拍摄特征,拍摄特征可以包括以下至少之一:拍摄高度变化特征、拍摄角度变化特征、拍摄对象变化特征、拍摄时长特征。
在获取到乐句特征、拍摄特征和乐句时长之后,可以利用预先训练好的机器学习模型或者预设规则对乐句特征与拍摄特征进行分析处理,以获得乐句特征与拍摄特征之间的第一匹配分值;相类似的,也可以采用上述相同的方式来确定乐句时长与拍摄特征之间的第二匹配分值。在获取到第一匹配分值和第二匹配分值之后,则可以对第一匹配分值和第二匹配分值进行分析处理,以确定备选拍摄轨迹与背景音乐之间的第二匹配度。在一些实例中,基于第一匹配分值和第二匹配分值,确定备选拍摄轨迹与背景音乐之间的第二匹配度可以包括:对第一匹配分值和第二匹配分值进行加权求和,获得备选拍摄轨迹与背景音乐之间的第二匹配度。
本实施例中,通过对背景音乐进行断句分析,确定背景音乐中所包括的至少一个乐句以及与乐句相对应的时间信息,而后采用滑窗方式对每个备选拍摄轨迹与背景音乐中所包括的至少一个乐句以及时间信息进行分析匹配,从而可以准确、有效地获得备选拍摄轨迹与背景音乐之间的第二匹配度,进一步保证了基于第二匹配度来确定与背景音乐和至少一个场景特征相对应的目标拍摄轨迹的准确程度。
图6为本发明实施例提供的基于背景音乐和至少一个目标拍摄轨迹对可移动平台进行控制,生成与至少一个场景特征相对应的目标视频的流程示意图;参考附图6所示,本实施例提供了一种生成与至少一个场景特征相对应的目标视频的实现方式,具体的,本实施例中的基于背景音乐和至少一个目标拍摄轨迹对可移动平台进行控制,生成与至少一个场景特征相对应的目标视频可以包括:
步骤S601:基于背景音乐和至少一个目标拍摄轨迹对可移动平台进行控制,生成与场景特征相对应的视频片段。
步骤S602:对所有的视频片段进行合成,生成与场景特征相对应的目标视频。
其中,在获取到背景音乐和至少一个目标拍摄轨迹之后,则可以基于背景音乐和至少一个目标拍摄轨迹对可移动平台进行控制,这样在可移动平台按照至少一个目标拍摄轨迹进行移动的过程中,可以通过设置于可移动平台上的图像采集装置生成与场景特征相对应的视频片段。可以理解的是,在场景特征的数量为多个时,所生成的视频片段的数量也可以为多个,且多个视频片段与场景特征相对应。在获取到与场景特征相对应的一个或多个视频片段之后,可以对所有的视频片段进行合成,从而可以生成与场景特征相对应的目标视频,该目标视频是指与场景特征相匹配、且直接融合有背景音乐的视频信息,进一步保证了对目标视频进行生成的质量和效率。
本实施例中,通过基于背景音乐和至少一个目标拍摄轨迹对可移动平台进行控制,生成与场景特征相对应的视频片段,而后对所有的视频片段进行合成,这样有效地保证了对与场景特征相对应的目标视频进行生成的质量和效率,进一步提高了该视频生成方法的实用性。
图7为本发明实施例提供的基于背景音乐和至少一个目标拍摄轨迹对可移动平台进行控制,生成与场景特征相对应的视频片段的流程示意图;在上述实施例的基础上,参考附图7所示,本实施例提供了一种生成与场景特征相对应的视频片段的实现方式,具体的,本实施例中的基于背景音乐和至少一个目标拍摄轨迹对可移动平台进行控制,生成与场景特征相对应的视频片段可以包括:
步骤S701:基于背景音乐确定与目标拍摄轨迹相对应的拍摄起始点和拍摄参数。
其中,对于目标拍摄轨迹而言,每个目标拍摄轨迹对应有拍摄起始点和拍摄参数,拍摄参数是指用于对可移动平台和/或对位于可移动平台上图像采集装置进行控制的参数,例如:拍摄参数可以包括以下至少之一:移动速度、姿态信息、曝光度、快门速度、焦距等等。为了能够保证目标视频的生成质量和效率,在获取到背景音乐之后,则可以基于背景音乐对目标拍摄轨迹进行分析处理,以确定与目标拍摄轨迹相对应的拍摄起始点和拍摄参数。
在一些实例中,基于背景音乐确定与目标拍摄轨迹相对应的拍摄起始点和拍摄参数可以包括:获取用于对背景音乐进行分析处理的第二美学原则;识别背景音乐中乐句的乐句特征和乐句时长;基于第二美学原则、乐句特征和乐句时长,确定与目标拍摄轨迹相对应的拍摄起始点和拍摄参数。
其中,第二美学原则可以包括以下至少之一:乐句时长与目标拍摄轨迹所需要的拍摄时间相同;乐句风格类型与目标拍摄轨迹所对应的拍摄风格类型相匹配;乐句节奏与目标拍摄轨迹所对应的拍摄节奏相匹配;乐句速度与目标拍摄轨迹所对应的拍摄速度相匹配;乐句内容与目标拍摄轨迹所对应的拍摄对象相匹配。可以理解的是,第二美学原则所包括的内容并不限于上说所描述的内容,本领域技术人员还可以根据具体的应用场景和设计需求进行配置,例如:在乐句特征为轻快音乐类型时,与目标拍摄轨迹相对应的拍摄参数用于标识轨迹变化或者场景切换速度较快;在乐句特征为激昂音乐类型时,则与目标拍摄轨迹相对应的拍摄起始点用于标识视场角更大,在此不再赘述。
具体的,在对第二美学原则进行设置完毕之后,则可以将第二美学原则存在预设区域中,通过访问预设区域即可获取到用于对背景音乐进行分析处理的第二美学原则。此外,在获取到背景音乐之后,还可以对背景音乐进行分析处理,以识别背景音乐中乐句的乐句特征和乐句时长,其中,乐句特征可以包括以下至少之一:乐句风格类型、乐句曲调、乐句内容、乐句节奏、乐句速度、乐句力度。另外,本实施例中识别背景音乐中乐句的乐句特征和乐句时长的具体实现方式与上述实施例中获取背景音乐中乐句的乐句特征和乐句时长的实现方式相类似,具体可参考上述陈述内容,在此不再赘述。
在获取到第二美学原则、乐句特征和乐句时长之后,则可以基于第二美学原则对乐句特征、乐句时长和目标拍摄轨迹进行分析处理,以确定与目标拍摄轨迹相对应的拍摄起始点和拍摄参数,这样使得所确定的拍摄起始点和拍摄参数与背景音乐的匹配度较高,进一步提高了对目标拍摄轨迹所对应的拍摄起始点和拍摄参数进行确定的准确可靠性。
步骤S702:基于目标拍摄轨迹、与目标拍摄轨迹相对应的拍摄起始点和拍摄参数对可移动平台进行控制,生成与场景特征相对应的视频片段。
其中,在获取到目标拍摄轨迹、与目标拍摄轨迹相对应的拍摄起始点和拍摄参数之后,则可以基于目标拍摄轨迹、与目标拍摄轨迹相对应的拍摄起始点和拍摄参数对可移动平台进行控制,这样在可移动平台按照上述参数进行移动的过程中,则可以通过位于可移动平台上的图像采集装置生成与场景特征相对应的视频片段,该视频片段的数量可以为一个或多个。
在一些实例中,在可移动平台包括无人机时,拍摄参数可以包括速度参数;此时,基于目标拍摄轨迹、与目标拍摄轨迹相对应的拍摄起始点和拍摄参数对可移动平台进行控制,生成与场景特征相对应的视频片段可以包括:基于目标拍摄轨迹所对应的拍摄起始点和速度参数,确定位于无人机上云台的云台控制参数以及位于无人机上图像采集装置的拍摄控制参数;根据目标拍摄轨迹、拍摄起始点、速度参数、云台控制参数和拍摄控制参数对无人机、位于无人机上的云台以及图像采集装置进行控制,生成与场景特征相对应的视频片段。
具体的,在获取到目标拍摄轨迹所对应的拍摄起始点和速度参数之后,则可以对目标拍摄轨迹、拍摄起始点和速度参数进行分析处理,以确定位于无人机上云台的云台控制参数以及位于无人机上图像采集装置的拍摄控制参数,上述的云台控制参数可以包括以下至少之一:云台运行轨迹、云台上电机的力度信息,云台上滤波器的配置参数;而拍摄控制参数可以包括以下至少之一:相机焦距参数、相机光圈参数、相机快门参数。
在获取到云台控制参数和拍摄控制参数之后,则可以基于目标拍摄轨迹、拍摄起始点、速度参数、云台控制参数和拍摄控制参数对无人机、位于无人机上的云台以及图像采集装置进行控制,从而可以准确、有效地生成与场景特征相对应的视频片段,进而便于基于所获得的视频片段生成与所有场景特征相对应的目标视频,提高了对目标视频进行生成的质量和效率。
具体应用时,本应用实施例提供了一种视频生成方法,该视频生成方法可以实现用户选定背景音乐或者获取现场背景音乐,并对背景音乐进行解析,提取音乐特征(包括:音乐情绪类型、音乐特征序列等等),同时结合可移动平台所在拍摄空间的场景特征,确定为用于控制可移动平台的拍摄轨迹,再基于拍摄轨迹控制可移动平台和设置于可移动平台上的图像采集装置进行拍摄动作。举例来说,在无人机为可移动平台时,拍摄轨迹可以包括用于控制无人机的飞行轨迹、用于控制机载云台的运动轨迹、用于控制图像采集装置的相机变焦动作和每段片段的拍摄开关时间点等等,这样可以直接生成融合有背景音乐、且与场景特征相匹配的目标视频。
具体的,参考附图8所示,以无人机作为可移动平台为例进行说明,本实施例中的方法可以包括以下步骤:
步骤1:用户通过用于实现自动生成视频信息的应用程序APP选择一首背景音乐(本步骤可省略)。
步骤2:用户选择执行一键视频功能。
步骤3:控制无人机飞行至一定高度,按照某一飞行轨迹进行移动,通过设置于无人机上的图像采集装置提取起飞地点及周边一定距离内的场景特征以及安全飞行空域范围。
步骤4:基于场景特征和安全飞行空域范围,同时遵循一定的美学规则,生成若干段的备选拍摄轨迹。
举例来说,在场景特征中包括一座塔,则可以生成针对上述场景特征“塔”的环绕拍摄轨迹、俯冲拉近拍摄轨迹、升高远离拍摄轨迹等备选拍摄轨迹;在场景特征中包括海岸线,则可以针对上述场景特征“海岸线”生成沿海岸线俯拍轨迹、垂直穿过海岸线俯拍轨迹等备选拍摄轨迹。
步骤5:如果步骤1被省略,则可以从备选曲库中选择与场景特征相匹配的背景音乐。
具体的,所选择的背景音乐的音乐情绪与场景特征相关联,例如:在场景特征包括“荒漠场景”特征时,则所选择的背景音乐可以为低沉的音乐;在场景特征包括“田野溪流”特征时,则所选择的背景音乐可以为舒缓的音乐。
步骤6:对被选定的背景音乐进行乐句的断句分析和时间信息。
步骤7:采用滑窗的方式,对断句分析和时间信息进行分析处理,以在备选拍摄轨迹中确定与背景音乐相对应的至少一个目标拍摄轨迹。
其中,目标拍摄轨迹与场景特征、背景音乐(如音乐情绪类型、音乐特征序列)的匹配度满足预设要求。
步骤8:基于背景音乐中所包括的各个乐句时长以及乐句特征,基于一定的美学规则,设定各目标拍摄轨迹相对应的拍摄起始点和速度参数。
步骤9:基于目标拍摄轨迹所对应的拍摄起始点和速度参数,映射为最终的无人机的飞行轨迹、云台运动参数以及变焦镜头参数以及相应的拍摄参数,并执行飞行和拍摄动作。
步骤10:将拍摄的若干视频片段与选定的背景音乐合成出片,生成目标视频。
步骤11:完成一键拍摄视频操作。
参考附图9所示,以云台作为可移动平台为例进行说明,本实施例中的方法可以包括以下步骤:
步骤101:选定背景音乐。
步骤102:解析背景音乐,生成音乐情绪类型和音乐特征序列;同时通过全景拍摄等拍摄手段获取用于生成视频信息的至少一个场景特征和安全移动范围。
步骤103:在安全移动范围内,确定与背景音乐和至少一个场景特征相对应的至少一个目标拍摄轨迹以及拍摄参数,其中,目标拍摄轨迹与音乐情绪类型、音乐特征序列以及场景特征相匹配,拍摄参数可以包括:云台运动轨迹、相机变焦动作等等。
步骤104:利用目标拍摄轨迹以及拍摄参数控制云台以及设置于云台上的图像采集装置执行自主拍摄过程。
步骤105:将自主拍摄的视频与背景音乐直接合成,生成目标视频。
参考附图10所示,以云台作为可移动平台为例进行说明,本实施例中的方法可以包括以下步骤:
步骤201:获取现场背景音乐。
步骤202:解析现场背景音乐,确定现场背景音乐的音乐类型和音乐特征,同时通过全景拍摄等拍摄手段获取用于生成视频信息的至少一个场景特征和安全移动范围。
其中,音乐类型可以包括音乐情绪类型和音乐风格类型,音乐风格类型可以包括:古典音乐、流行音乐、蓝调歌曲、摇滚乐、爵士乐等等;音乐特征可以包括:音乐曲调、音乐节奏、音乐和声、音乐力度、音乐速度。
步骤203:基于已解析的音乐类型和音乐特征,预测后续的音乐特征序列。
步骤204:将预测的音乐特征序列及场景特征和安全移动范围,确定与背景音乐和至少一个场景特征相对应的至少一个目标拍摄轨迹以及拍摄参数,其中,目标拍摄轨迹与音乐情绪类型、音乐特征序列以及场景特征相匹配,拍摄参数可以包括:云台运动轨迹、相机变焦动作等等。
其中,对于背景音乐而言,可以获取背景音乐中所包括的乐句,每个乐句可以对应至少一个镜头,而不同的乐句之间可以对应不同的镜头,这样可以确定需要进行转场镜头的拍摄参数。
另外,在获取到音乐类型之后,可以基于不同的音乐类型确定不同类型的目标拍摄轨迹,例如,在音乐类型为比较轻快的音乐时,目标拍摄轨迹可以为移动速度较快的拍摄轨迹、较为频繁的拍摄轨迹变化和场景切换等等;在音乐类型为比较激昂的音乐时,目标拍摄轨迹可以为场景比较大的拍摄轨迹等等。在音乐特征序列为向上的曲调时,目标拍摄轨迹可以为无人机的上升轨迹或者云台的向上运动轨迹;在音乐特征序列为有规律的强弱音时,目标拍摄轨迹可以对应于相机镜头变焦的聚焦动作,或者,目标拍摄轨迹也可以为无人机的上升轨迹或者云台的向上运动轨迹;在音乐特征序列为一段节奏时,目标拍摄轨迹可以为一段连续的拍摄轨迹。
可以理解的是,不同乐特征序列及场景特征所对应的目标拍摄轨迹类型和拍摄参数之间可以存在交叠情况。
步骤205:从某个时间点开始录制现场背景音乐,并按照之前生成的目标拍摄轨迹执行自主拍摄过程。
步骤206:将自主拍摄的视频与背景音乐直接合成,生成目标视频。
本应用实施例提供的视频生成方法,在用户预先指定好背景音乐之后,可以启动一键视频生成功能,具体可以由无人机自主完成场景特征提取、安全移动范围探查之后,可以结合背景音乐特征,生成与场景特征和背景音乐特征匹配程度较高的至少一个目标拍摄轨迹,而后可以基于背景音乐和至少一个目标拍摄轨迹对无人机进行控制,从而可以自主完成无人机的飞行和拍摄动作,最后将拍摄视频与背景音乐直接合成出片(时长如10-20s),从而可以直接获得满足需求的目标视频。
或者,在用户没有预先指定背景音乐时,可以由无人机在完成场景特征提取、安全移动范围探查之后,从音乐曲库中自主选择匹配程度最高的背景音乐;提取背景音乐的音乐情绪类型和音乐特征序列,而后基于场景特征、音乐情绪类型和音乐特征序列映射生成至少一个目标拍摄轨迹;而后可以基于背景音乐和至少一个目标拍摄轨迹对无人机进行控制,从而可以自主完成无人机的飞行和拍摄动作,最后将拍摄视频与背景音乐直接合成出片(时长如10-20s),从而可以直接获得满足需求的目标视频。
本实施例中所提供的方法,不仅可以满足新手用户的视频生成需求,具体可以进行安全、快速生成质量较高的视频信息,视频信息的生成效果可以随拍摄场景和背景音乐的不同而多变,并且有相当的不可预测性,对用户更具新鲜感和神秘感,可以引导用户多玩多分享,从而提高了目标视频生成的灵活可靠性,满足了用户的个性化需求,有利于提升用户体验,进一步提高了该视频生成方法使用的稳定可靠性。
图11为本发明实施例提供的一种视频生成装置的结构示意图;参考附图11所示,本实施例提供了一种视频生成装置,该视频生成装置可以执行上述图2所示的视频生成方法。该视频生成装置可以包括:
存储器12,用于存储计算机程序;
处理器11,用于运行存储器12中存储的计算机程序以实现:
获取用于生成视频信息的至少一个场景特征和安全移动范围;
确定用于生成视频信息的背景音乐;
在安全移动范围内,确定与背景音乐和至少一个场景特征相对应的至少一个目标拍摄轨迹;
基于背景音乐和至少一个目标拍摄轨迹对可移动平台进行控制,生成与至少一个场景特征相对应的目标视频。
其中,视频生成装置的结构中还可以包括通信接口13,用于电子设备与其他设备或通信网络通信。
在一些实例中,在处理器获取用于生成视频信息的至少一个场景特征和安全移动范围时,处理器用于:获取用于控制可移动平台进行移动的预设移动参数;基于预设移动参数控制可移动平台进行移动,通过设置于可移动平台上的图像采集装置确定至少一个场景特征和安全移动范围。
在一些实例中,可移动平台包括:无人机;预设移动参数包括以下至少之一:无人机的预设高度参数、无人机的预设飞行轨迹、无人机上云台的运动轨迹、无人机上图像采集装置的变焦动作参数。
在一些实例中,可移动平台包括以下至少之一:云台、无人车、无人船;预设移动参数包括以下至少之一:预设移动轨迹、可移动平台上云台的运动轨迹、可移动平台上图像采集装置的变焦动作参数。
在一些实例中,在处理器11确定用于生成视频信息的背景音乐时,处理器11用于:获取多个备选背景音乐;检测用户针对任一备选背景音乐所输入的执行操作;将执行操作所对应的备选背景音乐,确定为用于生成视频信息的背景音乐。
在一些实例中,在处理器11确定用于生成视频信息的背景音乐时,处理器11用于:获取多个备选背景音乐;在多个备选背景音乐中,基于至少一个场景特征确定用于生成视频信息的背景音乐,背景音乐的音乐风格与视频信息中的至少一个场景特征相匹配。
在一些实例中,在处理器11在多个备选背景音乐中,基于至少一个场景特征确定用于生成视频信息的背景音乐时,处理器11用于:获取每个备选背景音乐的音乐风格与至少一个场景特征之间的音乐匹配度;将音乐匹配度最高的备选背景音乐,确定为用于生成视频信息的背景音乐。
在一些实例中,在处理器11在安全移动范围内,确定与背景音乐和至少一个场景特征相对应的目标拍摄轨迹时,处理器11用于:在安全移动范围内,确定与至少一个场景特征相对应的至少一个备选拍摄轨迹;在至少一个备选拍摄轨迹中,确定与背景音乐和至少一个场景特征相对应的目标拍摄轨迹。
在一些实例中,在处理器11在安全移动范围内,确定与至少一个场景特征相对应的至少一个备选拍摄轨迹时,处理器11用于:获取用于对场景特征进行分析处理的第一美学原则;在安全移动范围内,基于第一美学原则生成与至少一个场景特征相对应的至少一个备选拍摄轨迹。
在一些实例中,第一美学原则包括以下至少之一:备选拍摄轨迹与场景特征中可拍摄对象的轮廓边缘相平行;备选拍摄轨迹与场景特征中可拍摄对象的轮廓边缘相垂直;备选拍摄轨迹用于标识与场景特征中可拍摄对象之间的拍摄距离逐渐变大;备选拍摄轨迹用于标识与场景特征中可拍摄对象之间的拍摄距离逐渐变小;备选拍摄轨迹用于标识与场景特征中可拍摄对象之间的拍摄角度逐渐变大;备选拍摄轨迹用于标识与场景特征中可拍摄对象之间的拍摄角度逐渐变小。
在一些实例中,在处理器11在至少一个备选拍摄轨迹中,确定与背景音乐和至少一个场景特征相对应的目标拍摄轨迹时,处理器11用于:获取每个备选拍摄轨迹与至少一个场景特征之间的第一匹配度;获取每个备选拍摄轨迹与背景音乐之间的第二匹配度;基于第一匹配度和第二匹配度,确定每个备选拍摄轨迹与背景音乐和至少一个场景特征之间的匹配度信息;
将匹配度信息最高的备选拍摄轨迹,确定为与背景音乐和至少一个场景特征相对应的目标拍摄轨迹。
在一些实例中,在处理器11获取每个备选拍摄轨迹与背景音乐之间的第二匹配度时,处理器11用于:对背景音乐进行断句分析,确定背景音乐中所包括的至少一个乐句以及与乐句相对应的时间信息;采用滑窗方式对每个备选拍摄轨迹与背景音乐中所包括的至少一个乐句以及时间信息进行分析匹配,获得备选拍摄轨迹与背景音乐之间的第二匹配度。
在一些实例中,在处理器11采用滑窗方式对每个备选拍摄轨迹与背景音乐中所包括的至少一个乐句以及时间信息进行分析匹配,获得备选拍摄轨迹与背景音乐之间的第二匹配度时,处理器11用于:获取背景音乐中乐句的乐句特征和乐句时长;确定备选拍摄轨迹所对应的拍摄特征;获取乐句特征与拍摄特征之间的第一匹配分值、以及乐句时长与拍摄特征之间的第二匹配分值;基于第一匹配分值和第二匹配分值,确定备选拍摄轨迹与背景音乐之间的第二匹配度。
在一些实例中,拍摄特征包括以下至少之一:拍摄高度变化特征、拍摄角度变化特征、拍摄对象变化特征、拍摄时长特征。
在一些实例中,在处理器11基于第一匹配分值和第二匹配分值,确定备选拍摄轨迹与背景音乐之间的第二匹配度时,处理器11用于:对第一匹配分值和第二匹配分值进行加权求和,获得备选拍摄轨迹与背景音乐之间的第二匹配度。
在一些实例中,在处理器11基于背景音乐和至少一个目标拍摄轨迹对可移动平台进行控制,生成与至少一个场景特征相对应的目标视频时,处理器11用于:基于背景音乐和至少一个目标拍摄轨迹对可移动平台进行控制,生成与场景特征相对应的视频片段;对所有的视频片段进行合成,生成与场景特征相对应的目标视频。
在一些实例中,在处理器11基于背景音乐和至少一个目标拍摄轨迹对可移动平台进行控制,生成与场景特征相对应的视频片段时,处理器11用于:基于背景音乐确定与目标拍摄轨迹相对应的拍摄起始点和拍摄参数;基于目标拍摄轨迹、与目标拍摄轨迹相对应的拍摄起始点和拍摄参数对可移动平台进行控制,生成与场景特征相对应的视频片段。
在一些实例中,在处理器11基于背景音乐确定与目标拍摄轨迹相对应的拍摄起始点和速度参数时,处理器11用于:获取用于对背景音乐进行分析处理的第二美学原则;识别背景音乐中乐句的乐句特征和乐句时长;基于第二美学原则、乐句特征和乐句时长,确定与目标拍摄轨迹相对应的拍摄起始点和拍摄参数。
在一些实例中,乐句特征包括以下至少之一:乐句风格类型、乐句曲调、乐句内容、乐句节奏、乐句速度、乐句力度。
在一些实例中,第二美学原则包括以下至少之一:乐句时长与目标拍摄轨迹所需要的拍摄时间相同;乐句风格类型与目标拍摄轨迹所对应的拍摄风格类型相匹配;乐句节奏与目标拍摄轨迹所对应的拍摄节奏相匹配;乐句速度与目标拍摄轨迹所对应的拍摄速度相匹配;乐句内容与目标拍摄轨迹所对应的拍摄对象相匹配。
在一些实例中,在可移动平台包括无人机时,拍摄参数包括速度参数;在处理器11基于目标拍摄轨迹、与目标拍摄轨迹相对应的拍摄起始点和拍摄参数对可移动平台进行控制,生成与场景特征相对应的视频片段时,处理器11用于:基于目标拍摄轨迹所对应的拍摄起始点和速度参数,确定位于无人机上云台的云台控制参数以及位于无人机上图像采集装置的拍摄控制参数;根据目标拍摄轨迹、拍摄起始点、速度参数、云台控制参数和拍摄控制参数对无人机、位于无人机上的云台以及图像采集装置进行控制,生成与场景特征相对应的视频片段。
在一些实例中,云台控制参数包括以下至少之一:云台运行轨迹、云台上电机的力度信息,云台上滤波器的配置参数;拍摄控制参数包括以下至少之一:相机焦距参数、相机光圈参数、相机快门参数。
在一些实例中,场景特征包括以下至少之一:在场景中可拍摄对象的位置特征、在场景中可拍摄对象的轮廓特征、在场景中可拍摄对象之间的相对位置特征。
图11所示装置可以执行图1至图10所示中的实施例的方法,本实施例未详细描述的部分,可参考对图1至图10所示中的实施例的相关说明。该技术方案的执行过程和技术效果参见图1至图10所示实施例中的描述,在此不再赘述。
图12为本发明实施例提供的一种可移动平台的结构示意图,参考附图12所示,本实施例提供了一种可移动平台,该可移动平台可以包括:
平台主体21;
上述图11所示的视频生成装置22,设置于平台主体21上,用于生成与场景特征相对应的视频。
其中,平台主体21可以随可移动平台的类型而不同,例如,当可移动平台为手持云台时,平台主体21可以为手柄,当可移动平台为无人机时,平台主体21可以为无人机的机身。可以理解,可移动平台包括但不限于上述说明的类型。
图12所示实施例提供的可移动平台的具体实现原理和实现效果与图11所对应的视频生成装置的具体实现原理和实现效果相一致,具体可参考上述陈述内容,在这里不再赘述。
另外,本发明实施例提供了一种计算机可读存储介质,存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,程序指令用于实现上述图1-图10的视频生成方法。
以上各个实施例中的技术方案、技术特征在与本相冲突的情况下均可以单独,或者进行组合,只要未超出本领域技术人员的认知范围,均属于本申请保护范围内的等同实施例。
在本发明所提供的几个实施例中,应该理解到,所揭露的相关检测装置和方法,可以通过其它的方式实现。例如,以上所描述的检测装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,检测装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得计算机处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、磁盘或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (48)
1.一种视频生成方法,其特征在于,包括:
获取用于生成视频信息的至少一个场景特征和安全移动范围;
确定用于生成视频信息的背景音乐;
在所述安全移动范围内,确定与所述背景音乐和所述至少一个场景特征相对应的至少一个目标拍摄轨迹;
基于所述背景音乐和所述至少一个目标拍摄轨迹对可移动平台进行控制,生成与所述至少一个场景特征相对应的目标视频。
2.根据权利要求1所述的方法,其特征在于,获取用于生成视频信息的至少一个场景特征和安全移动范围,包括:
获取用于控制可移动平台进行移动的预设移动参数;
基于所述预设移动参数控制所述可移动平台进行移动,通过设置于所述可移动平台上的图像采集装置确定所述至少一个场景特征和安全移动范围。
3.根据权利要求2所述的方法,其特征在于,
所述可移动平台包括:无人机;
所述预设移动参数包括以下至少之一:无人机的预设高度参数、无人机的预设飞行轨迹、无人机上云台的运动轨迹、无人机上图像采集装置的变焦动作参数。
4.根据权利要求2所述的方法,其特征在于,
所述可移动平台包括以下至少之一:云台、无人车、无人船;
所述预设移动参数包括以下至少之一:预设移动轨迹、可移动平台上云台的运动轨迹、可移动平台上图像采集装置的变焦动作参数。
5.根据权利要求1所述的方法,其特征在于,确定用于生成视频信息的背景音乐,包括:
获取多个备选背景音乐;
检测用户针对任一备选背景音乐所输入的执行操作;
将所述执行操作所对应的备选背景音乐,确定为用于生成视频信息的背景音乐。
6.根据权利要求1所述的方法,其特征在于,确定用于生成视频信息的背景音乐,包括:
获取多个备选背景音乐;
在所述多个备选背景音乐中,基于所述至少一个场景特征确定用于生成视频信息的背景音乐,所述背景音乐的音乐风格与所述视频信息中的至少一个场景特征相匹配。
7.根据权利要求6所述的方法,其特征在于,在所述多个备选背景音乐中,基于所述至少一个场景特征确定用于生成视频信息的背景音乐,包括:
获取每个备选背景音乐的音乐风格与所述至少一个场景特征之间的音乐匹配度;
将所述音乐匹配度最高的备选背景音乐,确定为用于生成视频信息的背景音乐。
8.根据权利要求1所述的方法,其特征在于,在所述安全移动范围内,确定与所述背景音乐和所述至少一个场景特征相对应的目标拍摄轨迹,包括:
在所述安全移动范围内,确定与所述至少一个场景特征相对应的至少一个备选拍摄轨迹;
在所述至少一个备选拍摄轨迹中,确定与所述背景音乐和所述至少一个场景特征相对应的目标拍摄轨迹。
9.根据权利要求8所述的方法,其特征在于,在所述安全移动范围内,确定与所述至少一个场景特征相对应的至少一个备选拍摄轨迹,包括:
获取用于对所述场景特征进行分析处理的第一美学原则;
在所述安全移动范围内,基于所述第一美学原则生成与所述至少一个场景特征相对应的至少一个备选拍摄轨迹。
10.根据权利要求9所述的方法,其特征在于,所述第一美学原则包括以下至少之一:
所述备选拍摄轨迹与所述场景特征中可拍摄对象的轮廓边缘相平行;
所述备选拍摄轨迹与所述场景特征中可拍摄对象的轮廓边缘相垂直;
所述备选拍摄轨迹用于标识与所述场景特征中可拍摄对象之间的拍摄距离逐渐变大;
所述备选拍摄轨迹用于标识与所述场景特征中可拍摄对象之间的拍摄距离逐渐变小;
所述备选拍摄轨迹用于标识与所述场景特征中可拍摄对象之间的拍摄角度逐渐变大;
所述备选拍摄轨迹用于标识与所述场景特征中可拍摄对象之间的拍摄角度逐渐变小。
11.根据权利要求8所述的方法,其特征在于,在所述至少一个备选拍摄轨迹中,确定与所述背景音乐和所述至少一个场景特征相对应的目标拍摄轨迹,包括:
获取每个备选拍摄轨迹与所述至少一个场景特征之间的第一匹配度;
获取每个备选拍摄轨迹与所述背景音乐之间的第二匹配度;
基于所述第一匹配度和第二匹配度,确定每个备选拍摄轨迹与所述背景音乐和所述至少一个场景特征之间的匹配度信息;
将所述匹配度信息最高的备选拍摄轨迹,确定为与所述背景音乐和所述至少一个场景特征相对应的目标拍摄轨迹。
12.根据权利要求11所述的方法,其特征在于,获取每个备选拍摄轨迹与所述背景音乐之间的第二匹配度,包括:
对所述背景音乐进行断句分析,确定所述背景音乐中所包括的至少一个乐句以及与所述乐句相对应的时间信息;
采用滑窗方式对每个备选拍摄轨迹与所述背景音乐中所包括的至少一个乐句以及所述时间信息进行分析匹配,获得所述备选拍摄轨迹与所述背景音乐之间的第二匹配度。
13.根据权利要求12所述的方法,其特征在于,采用滑窗方式对每个备选拍摄轨迹与所述背景音乐中所包括的至少一个乐句以及所述时间信息进行分析匹配,获得所述备选拍摄轨迹与所述背景音乐之间的第二匹配度,包括:
获取所述背景音乐中乐句的乐句特征和乐句时长;
确定所述备选拍摄轨迹所对应的拍摄特征;
获取所述乐句特征与所述拍摄特征之间的第一匹配分值、以及所述乐句时长与所述拍摄特征之间的第二匹配分值;
基于所述第一匹配分值和所述第二匹配分值,确定所述备选拍摄轨迹与所述背景音乐之间的第二匹配度。
14.根据权利要求13所述的方法,其特征在于,所述拍摄特征包括以下至少之一:拍摄高度变化特征、拍摄角度变化特征、拍摄对象变化特征、拍摄时长特征。
15.根据权利要求13所述的方法,其特征在于,基于所述第一匹配分值和所述第二匹配分值,确定所述备选拍摄轨迹与所述背景音乐之间的第二匹配度,包括:
对所述第一匹配分值和所述第二匹配分值进行加权求和,获得所述备选拍摄轨迹与所述背景音乐之间的第二匹配度。
16.根据权利要求1所述的方法,其特征在于,基于所述背景音乐和所述至少一个目标拍摄轨迹对可移动平台进行控制,生成与所述至少一个场景特征相对应的目标视频,包括:
基于所述背景音乐和所述至少一个目标拍摄轨迹对可移动平台进行控制,生成与所述场景特征相对应的视频片段;
对所有的视频片段进行合成,生成与所述场景特征相对应的目标视频。
17.根据权利要求16所述的方法,其特征在于,基于所述背景音乐和所述至少一个目标拍摄轨迹对可移动平台进行控制,生成与所述场景特征相对应的视频片段,包括:
基于所述背景音乐确定与所述目标拍摄轨迹相对应的拍摄起始点和拍摄参数;
基于所述目标拍摄轨迹、与所述目标拍摄轨迹相对应的拍摄起始点和拍摄参数对所述可移动平台进行控制,生成与所述场景特征相对应的视频片段。
18.根据权利要求17所述的方法,其特征在于,基于所述背景音乐确定与所述目标拍摄轨迹相对应的拍摄起始点和速度参数,包括:
获取用于对所述背景音乐进行分析处理的第二美学原则;
识别所述背景音乐中乐句的乐句特征和乐句时长;
基于所述第二美学原则、乐句特征和乐句时长,确定与所述目标拍摄轨迹相对应的拍摄起始点和拍摄参数。
19.根据权利要求18所述的方法,其特征在于,所述乐句特征包括以下至少之一:乐句风格类型、乐句曲调、乐句内容、乐句节奏、乐句速度、乐句力度。
20.根据权利要求19所述的方法,其特征在于,所述第二美学原则包括以下至少之一:
所述乐句时长与所述目标拍摄轨迹所需要的拍摄时间相同;
所述乐句风格类型与所述目标拍摄轨迹所对应的拍摄风格类型相匹配;
所述乐句节奏与所述目标拍摄轨迹所对应的拍摄节奏相匹配;
所述乐句速度与所述目标拍摄轨迹所对应的拍摄速度相匹配;
所述乐句内容与所述目标拍摄轨迹所对应的拍摄对象相匹配。
21.根据权利要求17所述的方法,其特征在于,在所述可移动平台包括无人机时,所述拍摄参数包括速度参数;基于所述目标拍摄轨迹、与所述目标拍摄轨迹相对应的拍摄起始点和拍摄参数对所述可移动平台进行控制,生成与所述场景特征相对应的视频片段,包括:
基于所述目标拍摄轨迹所对应的拍摄起始点和速度参数,确定位于所述无人机上云台的云台控制参数以及位于所述无人机上图像采集装置的拍摄控制参数;
根据所述目标拍摄轨迹、拍摄起始点、速度参数、云台控制参数和所述拍摄控制参数对所述无人机、位于无人机上的云台以及图像采集装置进行控制,生成与所述场景特征相对应的视频片段。
22.根据权利要求21所述的方法,其特征在于,所述云台控制参数包括以下至少之一:云台运行轨迹、云台上电机的力度信息,所述云台上滤波器的配置参数;所述拍摄控制参数包括以下至少之一:相机焦距参数、相机光圈参数、相机快门参数。
23.根据权利要求1-22中任意一项所述的方法,其特征在于,
所述场景特征包括以下至少之一:在场景中可拍摄对象的位置特征、在场景中可拍摄对象的轮廓特征、在场景中可拍摄对象之间的相对位置特征。
24.一种视频生成装置,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于运行所述存储器中存储的计算机程序以实现:
获取用于生成视频信息的至少一个场景特征和安全移动范围;
确定用于生成视频信息的背景音乐;
在所述安全移动范围内,确定与所述背景音乐和所述至少一个场景特征相对应的至少一个目标拍摄轨迹;
基于所述背景音乐和所述至少一个目标拍摄轨迹对可移动平台进行控制,生成与所述至少一个场景特征相对应的目标视频。
25.根据权利要求24所述的装置,其特征在于,在所述处理器获取用于生成视频信息的至少一个场景特征和安全移动范围时,所述处理器用于:
获取用于控制可移动平台进行移动的预设移动参数;
基于所述预设移动参数控制所述可移动平台进行移动,通过设置于所述可移动平台上的图像采集装置确定所述至少一个场景特征和安全移动范围。
26.根据权利要求25所述的装置,其特征在于,
所述可移动平台包括:无人机;
所述预设移动参数包括以下至少之一:无人机的预设高度参数、无人机的预设飞行轨迹、无人机上云台的运动轨迹、无人机上图像采集装置的变焦动作参数。
27.根据权利要求25所述的装置,其特征在于,
所述可移动平台包括以下至少之一:云台、无人车、无人船;
所述预设移动参数包括以下至少之一:预设移动轨迹、可移动平台上云台的运动轨迹、可移动平台上图像采集装置的变焦动作参数。
28.根据权利要求24所述的装置,其特征在于,在所述处理器确定用于生成视频信息的背景音乐时,所述处理器用于:
获取多个备选背景音乐;
检测用户针对任一备选背景音乐所输入的执行操作;
将所述执行操作所对应的备选背景音乐,确定为用于生成视频信息的背景音乐。
29.根据权利要求24所述的装置,其特征在于,在所述处理器确定用于生成视频信息的背景音乐时,所述处理器用于:
获取多个备选背景音乐;
在所述多个备选背景音乐中,基于所述至少一个场景特征确定用于生成视频信息的背景音乐,所述背景音乐的音乐风格与所述视频信息中的至少一个场景特征相匹配。
30.根据权利要求29所述的装置,其特征在于,在所述处理器在所述多个备选背景音乐中,基于所述至少一个场景特征确定用于生成视频信息的背景音乐时,所述处理器用于:
获取每个备选背景音乐的音乐风格与所述至少一个场景特征之间的音乐匹配度;
将所述音乐匹配度最高的备选背景音乐,确定为用于生成视频信息的背景音乐。
31.根据权利要求24所述的装置,其特征在于,在所述处理器在所述安全移动范围内,确定与所述背景音乐和所述至少一个场景特征相对应的目标拍摄轨迹时,所述处理器用于:
在所述安全移动范围内,确定与所述至少一个场景特征相对应的至少一个备选拍摄轨迹;
在所述至少一个备选拍摄轨迹中,确定与所述背景音乐和所述至少一个场景特征相对应的目标拍摄轨迹。
32.根据权利要求31所述的装置,其特征在于,在所述处理器在所述安全移动范围内,确定与所述至少一个场景特征相对应的至少一个备选拍摄轨迹时,所述处理器用于:
获取用于对所述场景特征进行分析处理的第一美学原则;
在所述安全移动范围内,基于所述第一美学原则生成与所述至少一个场景特征相对应的至少一个备选拍摄轨迹。
33.根据权利要求32所述的装置,其特征在于,所述第一美学原则包括以下至少之一:
所述备选拍摄轨迹与所述场景特征中可拍摄对象的轮廓边缘相平行;
所述备选拍摄轨迹与所述场景特征中可拍摄对象的轮廓边缘相垂直;
所述备选拍摄轨迹用于标识与所述场景特征中可拍摄对象之间的拍摄距离逐渐变大;
所述备选拍摄轨迹用于标识与所述场景特征中可拍摄对象之间的拍摄距离逐渐变小;
所述备选拍摄轨迹用于标识与所述场景特征中可拍摄对象之间的拍摄角度逐渐变大;
所述备选拍摄轨迹用于标识与所述场景特征中可拍摄对象之间的拍摄角度逐渐变小。
34.根据权利要求31所述的装置,其特征在于,在所述处理器在所述至少一个备选拍摄轨迹中,确定与所述背景音乐和所述至少一个场景特征相对应的目标拍摄轨迹时,所述处理器用于:
获取每个备选拍摄轨迹与所述至少一个场景特征之间的第一匹配度;
获取每个备选拍摄轨迹与所述背景音乐之间的第二匹配度;
基于所述第一匹配度和第二匹配度,确定每个备选拍摄轨迹与所述背景音乐和所述至少一个场景特征之间的匹配度信息;
将所述匹配度信息最高的备选拍摄轨迹,确定为与所述背景音乐和所述至少一个场景特征相对应的目标拍摄轨迹。
35.根据权利要求34所述的装置,其特征在于,在所述处理器获取每个备选拍摄轨迹与所述背景音乐之间的第二匹配度时,所述处理器用于:
对所述背景音乐进行断句分析,确定所述背景音乐中所包括的至少一个乐句以及与所述乐句相对应的时间信息;
采用滑窗方式对每个备选拍摄轨迹与所述背景音乐中所包括的至少一个乐句以及所述时间信息进行分析匹配,获得所述备选拍摄轨迹与所述背景音乐之间的第二匹配度。
36.根据权利要求35所述的装置,其特征在于,在所述处理器采用滑窗方式对每个备选拍摄轨迹与所述背景音乐中所包括的至少一个乐句以及所述时间信息进行分析匹配,获得所述备选拍摄轨迹与所述背景音乐之间的第二匹配度时,所述处理器用于:
获取所述背景音乐中乐句的乐句特征和乐句时长;
确定所述备选拍摄轨迹所对应的拍摄特征;
获取所述乐句特征与所述拍摄特征之间的第一匹配分值、以及所述乐句时长与所述拍摄特征之间的第二匹配分值;
基于所述第一匹配分值和所述第二匹配分值,确定所述备选拍摄轨迹与所述背景音乐之间的第二匹配度。
37.根据权利要求36所述的装置,其特征在于,所述拍摄特征包括以下至少之一:拍摄高度变化特征、拍摄角度变化特征、拍摄对象变化特征、拍摄时长特征。
38.根据权利要求36所述的装置,其特征在于,在所述处理器基于所述第一匹配分值和所述第二匹配分值,确定所述备选拍摄轨迹与所述背景音乐之间的第二匹配度时,所述处理器用于:
对所述第一匹配分值和所述第二匹配分值进行加权求和,获得所述备选拍摄轨迹与所述背景音乐之间的第二匹配度。
39.根据权利要求24所述的装置,其特征在于,在所述处理器基于所述背景音乐和所述至少一个目标拍摄轨迹对可移动平台进行控制,生成与所述至少一个场景特征相对应的目标视频时,所述处理器用于:
基于所述背景音乐和所述至少一个目标拍摄轨迹对可移动平台进行控制,生成与所述场景特征相对应的视频片段;
对所有的视频片段进行合成,生成与所述场景特征相对应的目标视频。
40.根据权利要求39所述的装置,其特征在于,在所述处理器基于所述背景音乐和所述至少一个目标拍摄轨迹对可移动平台进行控制,生成与所述场景特征相对应的视频片段时,所述处理器用于:
基于所述背景音乐确定与所述目标拍摄轨迹相对应的拍摄起始点和拍摄参数;
基于所述目标拍摄轨迹、与所述目标拍摄轨迹相对应的拍摄起始点和拍摄参数对所述可移动平台进行控制,生成与所述场景特征相对应的视频片段。
41.根据权利要求40所述的装置,其特征在于,在所述处理器基于所述背景音乐确定与所述目标拍摄轨迹相对应的拍摄起始点和速度参数时,所述处理器用于:
获取用于对所述背景音乐进行分析处理的第二美学原则;
识别所述背景音乐中乐句的乐句特征和乐句时长;
基于所述第二美学原则、乐句特征和乐句时长,确定与所述目标拍摄轨迹相对应的拍摄起始点和拍摄参数。
42.根据权利要求41所述的装置,其特征在于,所述乐句特征包括以下至少之一:乐句风格类型、乐句曲调、乐句内容、乐句节奏、乐句速度、乐句力度。
43.根据权利要求42所述的装置,其特征在于,所述第二美学原则包括以下至少之一:
所述乐句时长与所述目标拍摄轨迹所需要的拍摄时间相同;
所述乐句风格类型与所述目标拍摄轨迹所对应的拍摄风格类型相匹配;
所述乐句节奏与所述目标拍摄轨迹所对应的拍摄节奏相匹配;
所述乐句速度与所述目标拍摄轨迹所对应的拍摄速度相匹配;
所述乐句内容与所述目标拍摄轨迹所对应的拍摄对象相匹配。
44.根据权利要求40所述的装置,其特征在于,在所述可移动平台包括无人机时,所述拍摄参数包括速度参数;在所述处理器基于所述目标拍摄轨迹、与所述目标拍摄轨迹相对应的拍摄起始点和拍摄参数对所述可移动平台进行控制,生成与所述场景特征相对应的视频片段时,所述处理器用于:
基于所述目标拍摄轨迹所对应的拍摄起始点和速度参数,确定位于所述无人机上云台的云台控制参数以及位于所述无人机上图像采集装置的拍摄控制参数;
根据所述目标拍摄轨迹、拍摄起始点、速度参数、云台控制参数和所述拍摄控制参数对所述无人机、位于无人机上的云台以及图像采集装置进行控制,生成与所述场景特征相对应的视频片段。
45.根据权利要求44所述的装置,其特征在于,所述云台控制参数包括以下至少之一:云台运行轨迹、云台上电机的力度信息,所述云台上滤波器的配置参数;所述拍摄控制参数包括以下至少之一:相机焦距参数、相机光圈参数、相机快门参数。
46.根据权利要求24-45中任意一项所述的装置,其特征在于,
所述场景特征包括以下至少之一:在场景中可拍摄对象的位置特征、在场景中可拍摄对象的轮廓特征、在场景中可拍摄对象之间的相对位置特征。
47.一种可移动平台,其特征在于,包括:
平台主体;
如权利要求24-46中任一项所述的视频生成装置,设置于所述平台主体上,用于生成与场景特征相对应的视频。
48.一种计算机可读存储介质,其特征在于,所述存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,所述程序指令用于实现权利要求1-23中任意一项所述的视频生成方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2020/136139 WO2022126317A1 (zh) | 2020-12-14 | 2020-12-14 | 视频生成方法、装置、可移动平台和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114467294A true CN114467294A (zh) | 2022-05-10 |
Family
ID=81404398
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080067415.4A Pending CN114467294A (zh) | 2020-12-14 | 2020-12-14 | 视频生成方法、装置、可移动平台和存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN114467294A (zh) |
WO (1) | WO2022126317A1 (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170187993A1 (en) * | 2015-12-29 | 2017-06-29 | Echostar Technologies L.L.C. | Unmanned aerial vehicle integration with home automation systems |
CN108377334A (zh) * | 2018-04-03 | 2018-08-07 | 优视科技有限公司 | 短视频拍摄方法、装置及电子终端 |
CN110771150A (zh) * | 2018-09-29 | 2020-02-07 | 深圳市大疆创新科技有限公司 | 视频处理方法、装置、拍摄系统及计算机可读存储介质 |
US20200075033A1 (en) * | 2018-09-04 | 2020-03-05 | Babblelabs, Inc. | Data Driven Radio Enhancement |
CN111328387A (zh) * | 2019-07-19 | 2020-06-23 | 深圳市大疆创新科技有限公司 | 云台控制方法、设备和计算机可读存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170110112A1 (en) * | 2015-10-16 | 2017-04-20 | Artificial Perception Technologies, Inc. | Normalized, User Adjustable, Stochastic, Lightweight, Media Environment |
CN111083354A (zh) * | 2019-11-27 | 2020-04-28 | 维沃移动通信有限公司 | 一种视频录制方法及电子设备 |
-
2020
- 2020-12-14 WO PCT/CN2020/136139 patent/WO2022126317A1/zh active Application Filing
- 2020-12-14 CN CN202080067415.4A patent/CN114467294A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170187993A1 (en) * | 2015-12-29 | 2017-06-29 | Echostar Technologies L.L.C. | Unmanned aerial vehicle integration with home automation systems |
CN108377334A (zh) * | 2018-04-03 | 2018-08-07 | 优视科技有限公司 | 短视频拍摄方法、装置及电子终端 |
US20200075033A1 (en) * | 2018-09-04 | 2020-03-05 | Babblelabs, Inc. | Data Driven Radio Enhancement |
CN110771150A (zh) * | 2018-09-29 | 2020-02-07 | 深圳市大疆创新科技有限公司 | 视频处理方法、装置、拍摄系统及计算机可读存储介质 |
CN111328387A (zh) * | 2019-07-19 | 2020-06-23 | 深圳市大疆创新科技有限公司 | 云台控制方法、设备和计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2022126317A1 (zh) | 2022-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10482872B2 (en) | Speech recognition apparatus and speech recognition method | |
EP3662981A2 (en) | Method and system for generating a recording of video game gameplay | |
US11223760B2 (en) | Video processing method and device, shooting system, and computer-readable storage medium | |
US20150318020A1 (en) | Interactive real-time video editor and recorder | |
US11785328B2 (en) | System and camera device for capturing images | |
US20110122154A1 (en) | Image capturing apparatus, image processing apparatus, control method thereof and program | |
CN111294488B (zh) | 摄像设备及其控制方法和存储介质 | |
KR102484257B1 (ko) | 전자 장치, 그의 문서 표시 방법 및 비일시적 컴퓨터 판독가능 기록매체 | |
CN111953910B (zh) | 基于人工智能的视频处理方法、装置及电子设备 | |
CN103428461A (zh) | 一种授课影像录制的系统和方法 | |
JP7278307B2 (ja) | コンピュータプログラム、サーバ装置、端末装置及び表示方法 | |
CN114155322A (zh) | 一种场景画面的展示控制方法、装置以及计算机存储介质 | |
Ottl et al. | Group-level speech emotion recognition utilising deep spectrum features | |
JP5152583B2 (ja) | 撮影装置、撮影案内方法、及びプログラム | |
WO2014179749A1 (en) | Interactive real-time video editor and recorder | |
CN113689879A (zh) | 实时驱动虚拟人的方法、装置、电子设备及介质 | |
Lancaster | Basic cinematography: a creative guide to visual storytelling | |
CN110139021B (zh) | 辅助拍摄方法及终端设备 | |
CN114467294A (zh) | 视频生成方法、装置、可移动平台和存储介质 | |
KR20230093683A (ko) | 영상 편집 장치에서 인공지능을 이용하여 영상 데이터를 자동으로 편집하는 장치 및 방법 | |
Messina et al. | The future of media production through multi-drones’ eyes | |
CN109979569B (zh) | 一种数据处理方法及装置 | |
WO2022249522A1 (ja) | 情報処理装置、情報処理方法及び情報処理システム | |
JP4774825B2 (ja) | 演技評価装置及び方法 | |
CN112492400A (zh) | 互动方法、装置、设备以及通信方法、拍摄方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |