CN112164128A - 一种车载多媒体的音乐可视化交互方法、计算机设备 - Google Patents
一种车载多媒体的音乐可视化交互方法、计算机设备 Download PDFInfo
- Publication number
- CN112164128A CN112164128A CN202010929366.2A CN202010929366A CN112164128A CN 112164128 A CN112164128 A CN 112164128A CN 202010929366 A CN202010929366 A CN 202010929366A CN 112164128 A CN112164128 A CN 112164128A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- music
- current
- audio data
- animation image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000003993 interaction Effects 0.000 title claims abstract description 29
- 230000000007 visual effect Effects 0.000 title claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims abstract description 27
- 238000012800 visualization Methods 0.000 claims description 19
- 210000003108 foot joint Anatomy 0.000 claims description 16
- 210000000629 knee joint Anatomy 0.000 claims description 16
- 230000033001 locomotion Effects 0.000 claims description 9
- 230000033764 rhythmic process Effects 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 230000001953 sensory effect Effects 0.000 abstract description 5
- 230000009466 transformation Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 210000000988 bone and bone Anatomy 0.000 description 5
- 238000010586 diagram Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/205—3D [Three Dimensional] animation driven by audio data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
- G06F9/453—Help systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种车载多媒体的音乐可视化交互方法、计算机设备，所述方法包括：步骤S1、当车载多媒体音乐播放器启动时，获取车载多媒体音乐播放器加载的当前音频数据；步骤S2、对所述当前音频数据进行分析，确定所述当前音频数据的音乐类型，并根据该音乐类型生成对应的当前乐谱数据；其中所述当前乐谱数据包括曲风格标识码和音高矩阵数据；步骤S3、根据所述当前乐谱数据获得对应的当前虚拟动画形象数据包；步骤S4、将所述当前虚拟动画形象数据包发送至车载助手，以控制所述车载助手根据所述当前虚拟动画形象数据包进行虚拟动画形象展示。本发明能够提升用户闲暇时听音乐的视觉感官体验，人机交互性和系统可玩性。
Description
技术领域
本发明涉及车载多媒体技术领域，具体涉及一种车载多媒体的音乐可视化交互方法、计算机设备。
背景技术
随着人们生活水平的提高，大多数家庭已经拥有小汽车。汽车与人们的生活息息相关，渐渐地汽车已不仅仅作为一种代步工具出现在人们的视野中，闲暇时光人们亦在车内小憩放松。此时音乐便成为不可或缺的一部分，同时加入一定的音乐可视化元素，将给予更佳的用户休闲体验和人机交互。
目前的汽车大都是通过灯光、显示颜色等来实现车载音乐的可视化，车辆内配备套的多媒体可视化系统过于单一，大众化，并无突出亮点；甚至大多汽车并不具备该交互功能，缺失了部分用户娱乐与感官体验。
发明内容
本发明的目的在于提出一种车载多媒体的音乐可视化交互方法、计算机设备，以提升用户闲暇时听音乐的视觉感官体验，人机交互性和系统可玩性。
为实现上述目的，本发明实施例提出一种车载多媒体的音乐可视化交互方法，包括：
步骤S1、当车载多媒体音乐播放器启动时，获取车载多媒体音乐播放器加载的当前音频数据；
步骤S2、对所述当前音频数据进行分析，确定所述当前音频数据的音乐类型，并根据该音乐类型生成对应的当前乐谱数据；其中所述当前乐谱数据包括对应的曲风格标识码和音高矩阵数据；
步骤S3、根据所述当前乐谱数据获得对应的当前虚拟动画形象数据包；其中所述当前虚拟动画形象数据包包括虚拟人物模型以及与所述曲风格标识码对应的动画背景画面；
步骤S4、将所述当前虚拟动画形象数据包发送至车载助手，以控制所述车载助手，在车载多媒体音乐播放器播放当前音频数据时根据所述当前虚拟动画形象数据包同步进行虚拟动画形象展示；其中所述虚拟动画形象展示包括所述虚拟人物模型在所述动画背景画面中，按照所述音高矩阵数据所对应的音乐节奏舞动。
可选地，所述步骤S3包括：
所述步骤S3包括：
判断所述当前音频数据是否为过往播放过的音频数据；
如果是，则根据所述当前乐谱数据从车辆本地缓存数据中获得对应的当前虚拟动画形象数据包；
如果否，则根据所述当前乐谱数据生成对应的当前虚拟动画形象数据包。
可选地，所述步骤S3包括：
将所述当前乐谱数据发送至服务器，并接收所述服务器下发的当前虚拟动画形象数据包；
其中：服务器判断所述当前音频数据是否为过往播放过的音频数据；如果是，则所述服务器根据所述当前乐谱数据从服务器缓存数据中获得对应的当前虚拟动画形象数据包；如果否，则所述服务器根据所述当前乐谱数据生成对应的当前虚拟动画形象数据包。
可选地，所述根据所述当前乐谱数据生成对应的当前虚拟动画形象数据包，具体包括：
对所述当前乐谱数据进行解析，提取所述当前乐谱数据中的乐曲风格标识码和音高矩阵数据；
根据所述乐曲风格标识码确定对应的动画背景画面；并且，将所述音高矩阵数据映射至配置有运动骨骼关节的虚拟人物模型上得到虚拟动画人物数据；以及
根据所述动画背景画面和所述虚拟动画人物数据生成当前虚拟动画形象数据包。
可选地，所述虚拟人物模型配置有头部关节、腰部关节、左膝关节、左脚关节、右膝关节、右脚关节、左臂关节和右臂关节；
所述虚拟人物模型舞动过程中，所述腰部关节的动作坐标区域为四象限区域；当播放的音频数据为高音时，所述腰部关节在第一象限区域和第二象限区域进行随机坐标赋值；当播放的音频数据为高音时，所述腰部关节在第三象限区域和第四象限区域进行随机坐标赋值；并且，所述头部关节、左膝关节、左脚关节、右膝关节、右脚关节、左臂关节和右臂关节基于正向运动学，根据所述腰部关节的坐标值进行相应的坐标赋值。
可选地，所述步骤S1还包括：
当车载多媒体音乐播放器启动时，获取所述车载多媒体音乐播放器的播放列表中的候选音频数据；其中所述候选音频数据为用户预先设置的偏好音频数据；
所述步骤S2还包括：
对所述候选音频数据进行分析，确定所述候选音频数据的音乐类型，并根据该音乐类型生成对应的候选乐谱数据；
所述步骤S3还包括：
根据所述候选乐谱数据获得对应的候选虚拟动画形象数据包；
所述步骤S4还包括：
将所述候选虚拟动画形象数据包发送至车载助手，以控制所述车载助手，在车载多媒体音乐播放器播放候选音频数据时根据所述候选虚拟动画形象数据包进行虚拟动画形象展示。
可选地，所述方法还包括：
在播放所述下一待播音频数据之前，执行以下指令：获取所述车载多媒体音乐播放器的下一待播音频数据；对所述下一待播音频数据进行分析，确定所述下一待播音频数据的音乐类型，并根据该音乐类型生成对应的下一乐谱数据；以及，根据所述下一乐谱数据获得对应的下一虚拟动画形象数据包，并将所述下一虚拟动画形象数据包缓存于车辆本地；
当所述车载多媒体音乐播放器播放所述下一待播音频数据时，从车辆本地缓存数据中获得所述下一虚拟动画形象数据包，将所述下一虚拟动画形象数据包发送至车载助手，以控制所述车载助手，在车载多媒体音乐播放器播放所述下一待播音频数据时根据所述当前虚拟动画形象数据包进行虚拟动画形象展示。
可选地，所述方法还包括：
在执行上述步骤S4时，实时获取所述车载多媒体音乐播放器的工作状态，并根据所述工作状态执行相应指令；其中：
如果所述工作状态为继续播放下一待播音频数据，则重复上述步骤S1～S4；
如果所述工作状态为暂停播放，则暂停虚拟动画形象展示；
如果所述工作状态为结束播放，则结束虚拟动画形象展示。
可选地，所述方法还包括：
当所述车载多媒体音乐播放器结束播放时，将所述车载多媒体音乐播放器的下一待播音频数据缓存于车辆本地；并且，在下一次开启车载多媒体音乐播放器时，获取缓存在车辆本地的该下一待播音频数据，并将该下一待播音频数据作为当前音频数据，重复上述步骤S1～S4。
本发明实施例还提出一种计算机设备，包括：存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行根据上述实施例所述音乐可视化交互方法的步骤。
本发明实施例提出一种车载多媒体的音乐可视化交互方法、计算机设备，当车载多媒体音乐播放器启动时，获取车载多媒体音乐播放器加载的当前音频数据，根据所述当前音频数据进行分析得到当前乐谱数据获得对应的当前虚拟动画形象数据包；其中所述当前虚拟动画形象数据包包括虚拟人物模型以及与所述曲风格标识码对应的动画背景画面；将所述当前虚拟动画形象数据包发送至车载助手，使得在车载多媒体音乐播放器播放所述当前音频数据时，所述车载助手同步根据所述当前虚拟动画形象数据包进行虚拟动画形象展示；其中所述虚拟动画形象展示包括所述虚拟人物模型在所述动画背景画面中，按照所述音高矩阵数据所对应的音乐节奏舞动，从而有助于提升用户闲暇时听音乐的视觉感官体验，以及车载多媒体的人机交互性和系统可玩性。
本发明的其它特征和优点将在随后的说明书中阐述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例中一种车载多媒体的音乐可视化交互的方法的流程图。
图2为本发明一实施例中虚拟人物模型示意图。
图3为本发明一实施例中虚拟人物模型的关节变换原理图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。另外，为了更好的说明本发明，在下文的具体实施例中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的手段未作详细描述，以便于凸显本发明的主旨。
参阅图1，本发明的一实施例提出一种车载多媒体的音乐可视化交互方法，包括：
步骤S1、当车载多媒体音乐播放器启动时，获取车载多媒体音乐播放器加载的当前音频数据；
具体而言，车载多媒体音乐播放器的启动可以是手动按键启动，或手动触控启动，也可以是智能语音启动。
步骤S2、对所述当前音频数据进行分析，确定所述当前音频数据的音乐类型，并根据该音乐类型生成对应的当前乐谱数据；其中所述当前乐谱数据包括对应的曲风格标识码和音高矩阵数据；
具体而言，所述音乐类型包括但不限于为民谣、摇滚、流行、古典等，此处对音乐类型不进行赘述；其中，不同音乐类型配置不同的曲风格标识码。
步骤S3、根据所述当前乐谱数据获得对应的当前虚拟动画形象数据包；其中所述当前虚拟动画形象数据包包括虚拟人物模型以及与所述曲风格标识码对应的动画背景画面；
具体而言，不同的乐曲风格分别置不同的动画背景画面；示例性地，在曲风格标识码对应为民谣时，置车载显示屏上的动画播放界面为动态的水墨画背景；又示例性地，在曲风格标识码对应为摇滚时，置车载显示屏上的动画播放界面为跳跃音符背景；示例性地，在曲风格标识码对应为流行曲时，置车载显示屏上的动画播放界面为灯光闪耀的舞台背景。
步骤S4、将所述当前虚拟动画形象数据包发送至车载助手，以控制所述车载助手，在车载多媒体音乐播放器播放当前音频数据时根据所述当前虚拟动画形象数据包同步进行虚拟动画形象展示；其中所述虚拟动画形象展示包括所述虚拟人物模型在所述动画背景画面中，按照所述音高矩阵数据所对应的音乐节奏舞动。
具体而言，音高是指各种音调高低不同的声音，即音的高度，音的基本特征的一种。音的高低是由振动频率决定的，两者成正相关关系：频率高则音"高"，反之则"低"。本实施例中用矩阵来表示音频数据的音高特征。本实施例设置了虚拟人物模型来根据音高矩阵数据，在音频数据播放过程中，同步按照所述音高矩阵数据所对应的音乐节奏进行舞动，实现有踩点以及律动跟随的虚拟动画形象的动态播放，从而提升用户闲暇时听音乐的视觉感官体验，车载多媒体的人机交互性和系统可玩性。
其中，所述步骤S3可以由云端服务器或者车辆端来执行，两种方式分别具有各自的优点，具体如下：
可选地，在一具体实施例中，所述步骤S3包括：将所述当前乐谱数据发送至服务器，并接收所述服务器下发的当前虚拟动画形象数据包；其中：服务器判断所述当前音频数据是否为过往播放过的音频数据；如果是，则所述服务器根据所述当前乐谱数据从服务器缓存数据中获得对应的当前虚拟动画形象数据包；如果否，则所述服务器根据所述当前乐谱数据生成对应的当前虚拟动画形象数据包。
具体而言，过往播放过的音频数据产生的形象数据包会缓存在云端，形成历史记录，在下次播放对应音频数据时直接调用，之前未播放的音频数据则可以在云端生成。本实施例中由云端服务器接收车辆上送的乐谱数据，并根据乐谱数据生成对应的虚拟动画形象数据包，由云端服务器执行这一功能，能够减少车辆端的硬件性能要求，从而降低车辆端的配置要求，避免车辆端实现这一功能而占用其他功能的计算资源。
可选地，在一具体实施例中，所述步骤S3包括：判断所述当前音频数据是否为过往播放过的音频数据；如果是，则根据所述当前乐谱数据从车辆本地缓存数据中获得对应的当前虚拟动画形象数据包；如果否，则根据所述当前乐谱数据生成对应的当前虚拟动画形象数据包。
具体而言，过往播放过的音频数据产生的虚拟人物形象数据包会缓存在车辆本地，形成历史记录，在下次播放对应音频数据时直接调用，之前未播放的音频数据则可以提前或实时生成。本实施例中的虚拟动画形象数据包由车辆本地生成，相对于上述由云端服务器实现的方案，可以避免因网络故障或云端服务器故障造成的数据下发延误问题。
可选地，基于以上2个具体实施例，所述根据所述当前乐谱数据生成对应的当前虚拟动画形象数据包，具体包括：
步骤S301、对所述当前乐谱数据进行解析，提取所述当前乐谱数据中的乐曲风格标识码和音高矩阵数据；
步骤S302、根据所述乐曲风格标识码确定对应的动画背景画面；并且，将所述音高矩阵数据映射至配置有运动骨骼关节的虚拟人物模型上得到虚拟动画人物数据；以及
步骤S303、根据所述动画背景画面和所述虚拟动画人物数据生成当前虚拟动画形象数据包。
具体地，参阅图2，本实施例中所述虚拟人物模型配置有头部关节、腰部关节、左膝关节、左脚关节、右膝关节、右脚关节、左臂关节和右臂关节等八个主要的人体运动骨骼关节。
在所述虚拟人物模型舞动过程中，所述腰部关节的动作坐标区域为四象限区域；当播放的音频数据为高音时，所述腰部关节在第一象限区域和第二象限区域进行随机坐标赋值；当播放的音频数据为高音时，所述腰部关节在第三象限区域和第四象限区域进行随机坐标赋值；并且，所述头部关节、左膝关节、左脚关节、右膝关节、右脚关节、左臂关节和右臂关节基于正向运动学，根据所述腰部关节的坐标值进行相应的坐标赋值。
具体而言，本实施例中所述腰部关节为的优先级为第一优先级，其余的头部关节、左膝关节、左脚关节、右膝关节、右脚关节、左臂关节和右臂关节为平行优先级。简单来说，就是其余的头部关节、左膝关节、左脚关节、右膝关节、右脚关节、左臂关节和右臂关节是需要根据所述腰部关节的坐标值来进行坐标赋值更新，以实现所述虚拟人物模型的舞动动作。
本实施例中虚拟人物模型的骨骼运动更新主要和两个矩阵有关，分别是初始变换矩阵和组合变换矩阵，初始变换矩阵表示骨骼的初始位置，也即虚拟人物模型初始状态，而组合变换矩阵主要被用于计算骨骼的各种运动，两者共同实现骨骼位置的更新。根据骨骼运动动画原理，对虚拟人模型逐帧渲染需要每帧更新每个骨骼关节点，利用骨骼之间的层次性上层父节点运动传递给子关节运动中。正向运动学利用给定的确定状态向量，按照正向运动学方程计算出各个关节的位置。本实施例中正向运动学原理是：对于根节点的变换只需应用平移矩阵和旋转矩阵更新状态，而对于子节点则从根节点逐级应用旋转矩阵遍历到目标子节点，计算出各个关节在模型坐标系下的三维位置和旋转。
举例而言，某关节的模型空间姿势由j姿势变化至M姿势(j→M)，可通过从该关节遍历至根节点，在每个关节乘以其局部姿势(j→p(j))算出。
参阅图3，将根节点的父节点定义为模型空间，即M(0)＝M。关节J2的模型空间姿势便可写作：
M2→M＝M2→1M1→0M0→M；
类似地，关节J5模型空间姿势可写为：
M5→M＝M5→4M4→3M3→0M0→M；
因此，任何关节j的全局姿势可写为：
进一步地，任何关节j到世界坐标系的变换可写为：
Mj→W＝Mj→MMM→W；
其中，每次乘法迭代意味着i变成p(i)，p(i)即关节i的父节点，且M(0)＝M。
MM→W表示从虚拟人物模型的模型坐标系到世界坐标系下的变换矩阵。当某一时刻t，映射到关节j的变换矩阵为Mt-j，则有：
Mt-j＝Mj-p(j)Mj→W；
Mj-p(j)＝Mt-jMj→W；
在骨骼更新时，关节j的变换只需从初始矩阵乘以Mj-p(j)即可
可选地，在一具体实施例中，所述步骤S1还包括：当车载多媒体音乐播放器启动时，获取所述车载多媒体音乐播放器的播放列表中的候选音频数据；其中所述候选音频数据为用户预先设置的偏好音频数据；
所述步骤S2还包括：对所述候选音频数据进行分析，确定所述候选音频数据的音乐类型，并根据该音乐类型生成对应的候选乐谱数据；
所述步骤S3还包括：根据所述候选乐谱数据获得对应的候选虚拟动画形象数据包；
所述步骤S4还包括：将所述候选虚拟动画形象数据包发送至车载助手，以控制所述车载助手，在车载多媒体音乐播放器播放候选音频数据时根据所述候选虚拟动画形象数据包进行虚拟动画形象展示。
具体而言，本实施例中提前获取用户设置的偏好音频数据作为候选音频数据，并进行处理提前得到候选虚拟动画形象数据包，一般而言，用户在使用音乐播放器播放音频数据时，会选择自己偏好音频数据，又或者，用户选择随机播放模式时，多媒体系统也会优先播放偏好音频数据，因此，本实施例中提前得到候选虚拟动画形象数据包，能够更好地响应音乐播放器的播放内容，及时地同步进行虚拟动画展示。
可选地，在一具体实施例中，所述方法还包括：
在播放所述下一待播音频数据之前，执行以下指令：获取所述车载多媒体音乐播放器的下一待播音频数据；对所述下一待播音频数据进行分析，确定所述下一待播音频数据的音乐类型，并根据该音乐类型生成对应的下一乐谱数据；以及，根据所述下一乐谱数据获得对应的下一虚拟动画形象数据包，并将所述下一虚拟动画形象数据包缓存于车辆本地；
当所述车载多媒体音乐播放器播放所述下一待播音频数据时，从车辆本地缓存数据中获得所述下一虚拟动画形象数据包，将所述下一虚拟动画形象数据包发送至车载助手，以控制所述车载助手，在车载多媒体音乐播放器播放所述下一待播音频数据时根据所述当前虚拟动画形象数据包进行虚拟动画形象展示。
具体而言，当用户选择按音乐列表进行列表播放模式时，本实施例可以提前获得下一待播音频数据所对应的虚拟动画形象数据包，因此，能够更好地响应音乐播放器的播放内容，及时地同步进行虚拟动画展示。
可选地，在一具体实施例中，所述方法还包括：
在执行上述步骤S4时，实时获取所述车载多媒体音乐播放器的工作状态，并根据所述工作状态执行相应指令；其中：
如果所述工作状态为继续播放下一待播音频数据，则重复上述步骤S1～S4；
如果所述工作状态为暂停播放，则暂停虚拟动画形象展示；
如果所述工作状态为结束播放，则结束虚拟动画形象展示。
可选地，在一具体实施例中，所述方法还包括：
当所述车载多媒体音乐播放器结束播放时，将所述车载多媒体音乐播放器的下一待播音频数据缓存于车辆本地；并且，在下一次开启车载多媒体音乐播放器时，获取缓存在车辆本地的该下一待播音频数据，并将该下一待播音频数据作为当前音频数据，重复上述步骤S1～S4。
具体而言，音乐播放器一般在重新启动之后，会继续上一次播放列表的音乐播放，因此，本实施例中在音乐播放器上次结束播放时，将所述车载多媒体音乐播放器的下一待播音频数据缓存于车辆本地，能够更好地做到数据流程衔接。
并且，上述实施例所述车载多媒体的音乐可视化交互方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，实现所述音乐可视化交互方法的软件功能单元可以存储在一个计算机可读取存储介质中。
示例性地，所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
此外，本发明的另一实施例还提出另一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行根据上述实施例所述的车载多媒体的音乐可视化交互方法的步骤。
当然，所述计算机设备还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该计算机设备还可以包括其他用于实现设备功能的部件，在此不做赘述。
示例性的，所述计算机程序可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述计算机设备中的执行过程。
所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机设备的控制中心，利用各种接口和线路连接整个所述计算机设备的各个部分。
所述存储器可用于存储所述计算机程序和/或单元，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或单元，以及调用存储在存储器内的数据，实现所述计算机设备的各种功能。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (10)
1.一种车载多媒体的音乐可视化交互方法，其特征在于，包括：
步骤S1、当车载多媒体音乐播放器启动时，获取车载多媒体音乐播放器加载的当前音频数据；
步骤S2、对所述当前音频数据进行分析，确定所述当前音频数据的音乐类型，并根据该音乐类型生成对应的当前乐谱数据；其中所述当前乐谱数据包括对应的曲风格标识码和音高矩阵数据；
步骤S3、根据所述当前乐谱数据获得对应的当前虚拟动画形象数据包；其中所述当前虚拟动画形象数据包包括虚拟人物模型以及与所述曲风格标识码对应的动画背景画面；
步骤S4、将所述当前虚拟动画形象数据包发送至车载助手，以控制所述车载助手，在车载多媒体音乐播放器播放当前音频数据时根据所述当前虚拟动画形象数据包同步进行虚拟动画形象展示；其中所述虚拟动画形象展示包括所述虚拟人物模型在所述动画背景画面中，按照所述音高矩阵数据所对应的音乐节奏舞动。
2.根据权利要求1所述的车载多媒体的音乐可视化交互方法，其特征在于，所述步骤S3包括：
判断所述当前音频数据是否为过往播放过的音频数据；
如果是，则根据所述当前乐谱数据从车辆本地缓存数据中获得对应的当前虚拟动画形象数据包；
如果否，则根据所述当前乐谱数据生成对应的当前虚拟动画形象数据包。
3.根据权利要求1所述的车载多媒体的音乐可视化交互方法，其特征在于，所述步骤S3包括：
将所述当前乐谱数据发送至服务器，并接收所述服务器下发的当前虚拟动画形象数据包；
其中：服务器判断所述当前音频数据是否为过往播放过的音频数据；如果是，则所述服务器根据所述当前乐谱数据从服务器缓存数据中获得对应的当前虚拟动画形象数据包；如果否，则所述服务器根据所述当前乐谱数据生成对应的当前虚拟动画形象数据包。
4.根据权利要求2或3所述的车载多媒体的音乐可视化交互方法，其特征在于，所述根据所述当前乐谱数据生成对应的当前虚拟动画形象数据包，具体包括：
对所述当前乐谱数据进行解析，提取所述当前乐谱数据中的乐曲风格标识码和音高矩阵数据；
根据所述乐曲风格标识码确定对应的动画背景画面；并且，将所述音高矩阵数据映射至配置有运动骨骼关节的虚拟人物模型上得到虚拟动画人物数据；以及
根据所述动画背景画面和所述虚拟动画人物数据生成当前虚拟动画形象数据包。
5.根据权利要求4所述的车载多媒体的音乐可视化交互方法，其特征在于，所述虚拟人物模型配置有头部关节、腰部关节、左膝关节、左脚关节、右膝关节、右脚关节、左臂关节和右臂关节；
所述虚拟人物模型舞动过程中，所述腰部关节的动作坐标区域为四象限区域；当播放的音频数据为高音时，所述腰部关节在第一象限区域和第二象限区域进行随机坐标赋值；当播放的音频数据为高音时，所述腰部关节在第三象限区域和第四象限区域进行随机坐标赋值；并且，所述头部关节、左膝关节、左脚关节、右膝关节、右脚关节、左臂关节和右臂关节基于正向运动学，根据所述腰部关节的坐标值进行相应的坐标赋值。
6.根据权利要求1～3任一项所述的车载多媒体的音乐可视化交互方法，其特征在于，所述步骤S1还包括：
当车载多媒体音乐播放器启动时，获取所述车载多媒体音乐播放器的播放列表中的候选音频数据；其中所述候选音频数据为用户预先设置的偏好音频数据；
所述步骤S2还包括：
对所述候选音频数据进行分析，确定所述候选音频数据的音乐类型，并根据该音乐类型生成对应的候选乐谱数据；
所述步骤S3还包括：
根据所述候选乐谱数据获得对应的候选虚拟动画形象数据包；
所述步骤S4还包括：
将所述候选虚拟动画形象数据包发送至车载助手，以控制所述车载助手，在车载多媒体音乐播放器播放候选音频数据时根据所述候选虚拟动画形象数据包进行虚拟动画形象展示。
7.根据权利要求1～3任一项所述的车载多媒体的音乐可视化交互方法，其特征在于，所述方法还包括：
在播放所述下一待播音频数据之前，执行以下指令：获取所述车载多媒体音乐播放器的下一待播音频数据；对所述下一待播音频数据进行分析，确定所述下一待播音频数据的音乐类型，并根据该音乐类型生成对应的下一乐谱数据；以及，根据所述下一乐谱数据获得对应的下一虚拟动画形象数据包，并将所述下一虚拟动画形象数据包缓存于车辆本地；
当所述车载多媒体音乐播放器播放所述下一待播音频数据时，从车辆本地缓存数据中获得所述下一虚拟动画形象数据包，将所述下一虚拟动画形象数据包发送至车载助手，以控制所述车载助手，在车载多媒体音乐播放器播放所述下一待播音频数据时根据所述当前虚拟动画形象数据包进行虚拟动画形象展示。
8.根据权利要求1～3任一项所述的车载多媒体的音乐可视化交互方法，其特征在于，所述方法还包括：
在执行上述步骤S4时，实时获取所述车载多媒体音乐播放器的工作状态，并根据所述工作状态执行相应指令；其中：
如果所述工作状态为继续播放下一待播音频数据，则重复上述步骤S1～S4；
如果所述工作状态为暂停播放，则暂停虚拟动画形象展示；
如果所述工作状态为结束播放，则结束虚拟动画形象展示。
9.根据权利要求1～3任一项所述的车载多媒体的音乐可视化交互方法，其特征在于，所述方法还包括：
当所述车载多媒体音乐播放器结束播放时，将所述车载多媒体音乐播放器的下一待播音频数据缓存于车辆本地；并且，在下一次开启车载多媒体音乐播放器时，获取缓存在车辆本地的该下一待播音频数据，并将该下一待播音频数据作为当前音频数据，重复上述步骤S1～S4。
10.一种计算机设备，包括：存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行根据权利要求1-9中任一项所述音乐可视化交互方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010929366.2A CN112164128A (zh) | 2020-09-07 | 2020-09-07 | 一种车载多媒体的音乐可视化交互方法、计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010929366.2A CN112164128A (zh) | 2020-09-07 | 2020-09-07 | 一种车载多媒体的音乐可视化交互方法、计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112164128A true CN112164128A (zh) | 2021-01-01 |
Family
ID=73857867
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010929366.2A Pending CN112164128A (zh) | 2020-09-07 | 2020-09-07 | 一种车载多媒体的音乐可视化交互方法、计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112164128A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113157369A (zh) * | 2021-04-07 | 2021-07-23 | 杭州网易云音乐科技有限公司 | 音乐播放互动方法、装置、存储介质与电子设备 |
| CN114919407A (zh) * | 2022-05-30 | 2022-08-19 | 广州小鹏汽车科技有限公司 | 基于车辆座舱的娱乐交互方法、装置及车辆 |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060156906A1 (en) * | 2005-01-18 | 2006-07-20 | Haeker Eric P | Method and apparatus for generating visual images based on musical compositions |
| JP2006314065A (ja) * | 2005-05-09 | 2006-11-16 | Sony Corp | 再生装置、再生方法及び再生プログラム |
| KR20070025384A (ko) * | 2005-09-01 | 2007-03-08 | (주)아이알큐브 | 춤추는 아바타를 생성하는 방법 및 서버와 춤추는 아바타를이용한 응용 서비스 제공 방법 |
| JP2009050471A (ja) * | 2007-08-27 | 2009-03-12 | Sony Corp | 動き特徴提示装置、動き特徴提示方法及び動き特徴提示プログラム |
| CN101693371A (zh) * | 2009-09-30 | 2010-04-14 | 深圳先进技术研究院 | 跟踪音乐节拍跳舞的机器人 |
| WO2014129017A1 (ja) * | 2013-02-22 | 2014-08-28 | クラリオン株式会社 | 車両用ヘッドアップディスプレー装置 |
| CN106445460A (zh) * | 2016-10-18 | 2017-02-22 | 渡鸦科技（北京）有限责任公司 | 控制方法及装置 |
| JP2017056747A (ja) * | 2015-09-14 | 2017-03-23 | 三菱電機株式会社 | 表示制御装置、表示装置および音像位置制御方法 |
| US20170251324A1 (en) * | 2016-02-25 | 2017-08-31 | Bertrand Stelandre | Reproducing audio signals in a motor vehicle |
| CN107393571A (zh) * | 2017-08-18 | 2017-11-24 | 深圳市路畅科技股份有限公司 | 一种车载导航仪显示音乐信息的方法 |
| CN108200446A (zh) * | 2018-01-12 | 2018-06-22 | 北京蜜枝科技有限公司 | 虚拟形象的线上多媒体互动系统及方法 |
| US20180246697A1 (en) * | 2017-02-24 | 2018-08-30 | Samsung Electronics Co., Ltd. | Electronic device and method for executing music-related application |
| CN108961367A (zh) * | 2018-06-21 | 2018-12-07 | 珠海金山网络游戏科技有限公司 | 三维虚拟偶像直播中角色形象变形的方法、系统及装置 |
| CN109615682A (zh) * | 2018-12-07 | 2019-04-12 | 北京微播视界科技有限公司 | 动画生成方法、装置、电子设备及计算机可读存储介质 |
| CN110399523A (zh) * | 2019-07-25 | 2019-11-01 | 上海博泰悦臻电子设备制造有限公司 | 基于车载终端的音乐播放方法及系统、存储介质及车载终端 |
| CN110641476A (zh) * | 2019-08-16 | 2020-01-03 | 广汽蔚来新能源汽车科技有限公司 | 基于车载机器人的交互方法、装置、控制器和存储介质 |
| CN110866968A (zh) * | 2019-10-18 | 2020-03-06 | 平安科技（深圳）有限公司 | 基于神经网络生成虚拟人物视频的方法及相关设备 |
| CN110875940A (zh) * | 2018-08-31 | 2020-03-10 | 比亚迪股份有限公司 | 基于虚拟机器人的应用程序调用方法、装置和设备 |
| CN110888678A (zh) * | 2019-10-22 | 2020-03-17 | 安信通科技（澳门）有限公司 | 一种车载设备的音乐随动控制方法及系统 |
| CN111477224A (zh) * | 2020-03-23 | 2020-07-31 | 一汽奔腾轿车有限公司 | 一种人车虚拟交互系统 |
-
2020
- 2020-09-07 CN CN202010929366.2A patent/CN112164128A/zh active Pending
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060156906A1 (en) * | 2005-01-18 | 2006-07-20 | Haeker Eric P | Method and apparatus for generating visual images based on musical compositions |
| JP2006314065A (ja) * | 2005-05-09 | 2006-11-16 | Sony Corp | 再生装置、再生方法及び再生プログラム |
| KR20070025384A (ko) * | 2005-09-01 | 2007-03-08 | (주)아이알큐브 | 춤추는 아바타를 생성하는 방법 및 서버와 춤추는 아바타를이용한 응용 서비스 제공 방법 |
| JP2009050471A (ja) * | 2007-08-27 | 2009-03-12 | Sony Corp | 動き特徴提示装置、動き特徴提示方法及び動き特徴提示プログラム |
| CN101693371A (zh) * | 2009-09-30 | 2010-04-14 | 深圳先进技术研究院 | 跟踪音乐节拍跳舞的机器人 |
| WO2014129017A1 (ja) * | 2013-02-22 | 2014-08-28 | クラリオン株式会社 | 車両用ヘッドアップディスプレー装置 |
| JP2017056747A (ja) * | 2015-09-14 | 2017-03-23 | 三菱電機株式会社 | 表示制御装置、表示装置および音像位置制御方法 |
| US20170251324A1 (en) * | 2016-02-25 | 2017-08-31 | Bertrand Stelandre | Reproducing audio signals in a motor vehicle |
| CN106445460A (zh) * | 2016-10-18 | 2017-02-22 | 渡鸦科技（北京）有限责任公司 | 控制方法及装置 |
| US20180246697A1 (en) * | 2017-02-24 | 2018-08-30 | Samsung Electronics Co., Ltd. | Electronic device and method for executing music-related application |
| CN107393571A (zh) * | 2017-08-18 | 2017-11-24 | 深圳市路畅科技股份有限公司 | 一种车载导航仪显示音乐信息的方法 |
| CN108200446A (zh) * | 2018-01-12 | 2018-06-22 | 北京蜜枝科技有限公司 | 虚拟形象的线上多媒体互动系统及方法 |
| CN108961367A (zh) * | 2018-06-21 | 2018-12-07 | 珠海金山网络游戏科技有限公司 | 三维虚拟偶像直播中角色形象变形的方法、系统及装置 |
| CN110875940A (zh) * | 2018-08-31 | 2020-03-10 | 比亚迪股份有限公司 | 基于虚拟机器人的应用程序调用方法、装置和设备 |
| CN109615682A (zh) * | 2018-12-07 | 2019-04-12 | 北京微播视界科技有限公司 | 动画生成方法、装置、电子设备及计算机可读存储介质 |
| CN110399523A (zh) * | 2019-07-25 | 2019-11-01 | 上海博泰悦臻电子设备制造有限公司 | 基于车载终端的音乐播放方法及系统、存储介质及车载终端 |
| CN110641476A (zh) * | 2019-08-16 | 2020-01-03 | 广汽蔚来新能源汽车科技有限公司 | 基于车载机器人的交互方法、装置、控制器和存储介质 |
| CN110866968A (zh) * | 2019-10-18 | 2020-03-06 | 平安科技（深圳）有限公司 | 基于神经网络生成虚拟人物视频的方法及相关设备 |
| CN110888678A (zh) * | 2019-10-22 | 2020-03-17 | 安信通科技（澳门）有限公司 | 一种车载设备的音乐随动控制方法及系统 |
| CN111477224A (zh) * | 2020-03-23 | 2020-07-31 | 一汽奔腾轿车有限公司 | 一种人车虚拟交互系统 |
Non-Patent Citations (3)
| Title |
|---|
| KAZUHIRO NAKADAI; TAKESHI MIZUMOTO; KEISUKE NAKAMURA: "Robot-Audition-based Human-Machine Interface for a Car", 《2015 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS)》, 31 December 2015 (2015-12-31) * |
| 张彦铎, 吴华: "基于情感计算的多机器人舞蹈系统设计", 哈尔滨工业大学学报, no. 07, 30 July 2004 (2004-07-30) * |
| 李小华: "虚拟现实健身车系统的多通道交互设计及用户体验研究", 《CNKI》, 26 April 2019 (2019-04-26) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113157369A (zh) * | 2021-04-07 | 2021-07-23 | 杭州网易云音乐科技有限公司 | 音乐播放互动方法、装置、存储介质与电子设备 |
| CN114919407A (zh) * | 2022-05-30 | 2022-08-19 | 广州小鹏汽车科技有限公司 | 基于车辆座舱的娱乐交互方法、装置及车辆 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109462776B (zh) | 一种视频特效添加方法、装置、终端设备及存储介质 | |
| CN108615055B (zh) | 一种相似度计算方法、装置及计算机可读存储介质 | |
| JP7460600B2 (ja) | 現在のゲームシナリオに基づくストリーミングゲームのためのグラフィカルオーバレイの実施 | |
| US7338373B2 (en) | Method and apparatus for generating sounds in a video game | |
| JP6805422B2 (ja) | 装置、プログラム及び情報処理方法 | |
| CN112164128A (zh) | 一种车载多媒体的音乐可视化交互方法、计算机设备 | |
| WO2023015921A1 (zh) | 动画数据处理方法、非易失性存储介质及电子装置 | |
| JP2010022646A (ja) | プログラム、情報記憶媒体および画像生成システム | |
| WO2006006590A1 (ja) | 画像処理プログラム、記録媒体及び装置 | |
| US9044632B2 (en) | Information processing apparatus, information processing method and recording medium storing program | |
| US8002636B2 (en) | Storage medium storing game program, game apparatus, communication game system and game control method | |
| JP2022505118A (ja) | 画像処理方法、装置、ハードウェア装置 | |
| JP3350654B2 (ja) | 画像生成システム及び情報記憶媒体 | |
| CN112044053A (zh) | 虚拟场景中的信息处理方法、装置、设备及存储介质 | |
| JP4372571B2 (ja) | ゲーム装置およびゲームプログラム | |
| US20020089521A1 (en) | Recording medium, program, image processing method, and image processing device | |
| CN115624740A (zh) | 一种虚拟现实设备及其控制方法、装置、系统及互动系统 | |
| JP2992499B2 (ja) | 画像処理方法及び装置、記録媒体 | |
| JP6576544B2 (ja) | 情報処理装置、情報処理方法、コンピュータ読み取り可能な記憶媒体 | |
| CN112750184A (zh) | 数据处理、动作驱动与人机交互方法及设备 | |
| JPH1153570A (ja) | 画像処理装置及び画像処理方法並びに記録媒体 | |
| JPH10326353A (ja) | ３次元キャラクタアニメーション表示装置および３次元動きデータ伝送システム | |
| CN114567783B (zh) | 一种驾车游戏的处理方法、装置及计算机存储介质 | |
| WO2021085105A1 (ja) | 情報処理装置、提案装置、情報処理方法および提案方法 | |
| JP2001148035A (ja) | 画像処理 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |