CN104700860A - 律动图像化方法及系统 - Google Patents

Abstract

一种律动图像化方法及系统，可根据音频特征和个人的图像特征产生可视化的律动图像。该律动图像化方法为先取得个人图像，从其中取得图像以建构一个人化图像，由音频中取得音频特征，取得对应此音频特征的个人化律动设定数据，之后可依据音频、个人化图像以及个人化律动设定数据产生一个人化律动图像。经整合多个产生的个人化律动图像可进而产生一群体化律动图像。

Description

律动图像化方法及系统

技术领域

本发明涉及一种律动图像化方法、系统以及电脑可读取记录介质，特别是指根据个人或群体产生的声音或体感信息产生可视化律动图像的方法以及相关系统。

背景技术

个人在听音乐的时候会随着音乐的节奏摇摆，甚至是随着乐音吟唱，现有的技术中，有些音乐播放器播放音乐时，其中会显示随着音乐起伏变化的几何图形，但并无法依据个人的律动或特色来产生个人化的显示图像。

若处于一个演唱会或是群众聚集的场合，每个人之间可能会随着现场的音乐或是气氛互动，为了凝聚群体气氛，众人可以将手机当成荧光棒，随着现场音乐节奏摆动，藉此拉近表演者与观众的距离。这些可视为多人的律动，目前也未能够将多人的律动来产生群体化的显示图像。

现有技术并未提出有效的机制，让个人或群众可以将其依据音乐而产生的律动转换成视觉效果，以将律动图像化，进而可将律动图像进行分享或是共享。目前的音乐分享机制多半只是将音乐文件分享、或是提供音乐链接等，缺少个人律动分享的机制，多数情况下仅能播放音乐或显示多媒体画面，也缺乏互动感。

发明内容

有别于现阶段的音乐分享方式仅限于传递音乐文件或链接的方式，本说明书披露一种律动图像化方法、系统以及电脑可读取记录介质，可根据音频和个人的图像特征产生可视化的律动图像的技术，律动图像反映出个人或群体共同的律动，可藉此来显示个人或群体根据音频而产生的情绪、反应或是气氛等。

根据说明书所载实施例之一，律动图像化方法步骤可取得一个人图像，比如由便携式电子装置拍摄取得，并由个人图像取得其中的个人图像特征，之后将根据图像特征建构一个人化图像。接着可由音频中所取得的音频特征，以从预设的多个律动设定数据中取得对应此音频特征的一个人化律动设定数据。之后，依据音频、个人化图像以及个人化律动设定数据产生一个人化律动图像。

另一实施例中还可通过便携式电子装置的体感单元取得一体感信号，以能依据前述音频、个人化图像、个人化律动设定数据以及此体感信号产生可以反映出体感动作的个人化律动图像。

其中，上述的音频和个人化律动设定数据将确定个人化图像的律动方式和律动频率；而体感信号确定个人化图像的显示强度；以及将根据律动方式、律动频率以及显示强度产生个人化律动图像。

再一实施例中则通过一伺服主机整合了多数个人化律动图像而产生一群体化律动图像。

相关的律动图像化系统可经由一便携式电子装置来操作，或者由便携式电子装置并配合一远程伺服主机来进行操作。系统的主要元件包括取得图像的图像获取单元、接收音频的音频获取单元、取得个人图像特征或/与音频特征的特征获取单元、运算得出个人化律动图像的运算单元，以及显示个人化律动图像的显示单元。还进一步时可包括取得加速度信号的体感单元。

为了能更进一步了解本发明为实现既定目的所采取的技术、方法及效果，请参阅以下有关本发明的详细说明、附图，相信本发明的目的、特征以及特点，当可由此得以深入且具体的了解，然而附图与附件仅提供参考与说明，并非用来对本发明加以限制。

附图说明

图1所示为显示于一电子装置的律动图像的实施例示意图；

图2显示产生群体化律动图像的实施例示意图；

图3显示本发明另一实施例中产生群体化律动图像化的系统架构示意图；

图4显示本发明律动图像化系统的第一实施例的示意图；

图5显示本发明律动图像化系统的第二实施例的示意图；

图6显示本发明律动图像化系统的第三实施例的示意图；

图7显示为实现本发明律动图像化方法的架构实施例示意图；

图8显示本发明律动图像化方法的实施例流程之一；

图9显示本发明律动图像化方法中建构立体脸部图像的实施例流程之一；

图10显示本发明律动图像化方法的实施例流程之二；

图11显示本发明律动图像化方法中确定个人化图像对应音频特征的呈现方法的实施例流程之一；

图12显示本发明律动图像化方法的实施例流程之三。

【符号说明】

便携式电子装置10           显示屏幕101

便携式电子装置201、202、203

显示屏幕20                 律动图像205

网络30                     便携式电子装置301、302、303

伺服主机32                 显示屏幕305

运算单元401                显示单元402

特征获取单元403            图像获取单元404

音频获取单元405

运算单元501                显示单元502

特征获取单元503            存储单元504

数据库509                  体感单元505

音频获取单元506            外部音源561

内部文件562                图像获取单元507

通信单元508

便携式电子装置61           图像获取单元611

音频获取单元612      显示单元613

通信单元614          伺服主机62

特征获取单元621      运算单元622

网络单元623

摄影机701            音乐数据库702

麦克风703            体感检测704

图像获取705          音频特征分析706

情绪判断707          图像特征分析708

特征模型比对709      人脸图像建构710

个人化律动图像711    输出712

脸部图像81           音源82

数据库83

步骤S801～S809律动图像化方法流程

步骤S901～S907建构立体脸部图像流程

步骤S101～S108律动图像化方法流程

步骤S111～S115确定个人化图像呈现方法流程

步骤S121～S125律动图像化方法流程

具体实施方式

本说明书提出一种律动图像化方法、系统以及电脑可读取记录介质，其可根据音频和个人的图像特征产生可视化的律动图像的技术，以便反映出个人或群体共同的律动。

更进一步，律动图像是根据音频和个人或群体产生体感信号所产生可视化的律动图像。举例来说，一个人在聆听音乐时，可经由手持、配戴且具有体感单元可感测律动的电子装置（如智能手机、平板电脑、智能眼镜、智能手表或其他可安装体感单元的电子装置），与音乐一起摇动，所产生的体感信号可经由本系统来产生个人化的律动图像。又例如，在一个群众聚集的场合，比如演奏会、演唱会、群众活动等，在一音频播放的时间内，群众可能会有一致的情绪或律动，通过此律动图像化方法与系统，可以整合多人的个人化律动图像，产生一个群体化的律动图像，以反映出当时情绪、情境或气氛。

通过执行本说明书所提出的律动图像化方法后，最终产生的个人化律动图像可呈现于一个具有显示器的便携式电子装置上，如图1所示为显示于一电子装置的律动图像的实施例示意图。以下实施例中所述的连接，可以是经由有线或无线通信网络进行连接，也可以是经由总线、序列数据通信接口（如RS232）或其他方式进行电性连接。

图1中显示有一便携式电子装置10，比如具有显示屏幕101的手机或平板电脑，优选为其中具有照相机、显示器、体感单元（如加速度传感器、陀螺仪）的移动装置。当使用者手持此便携式电子装置10挥舞、摇动，其中的体感单元将感测到便携式电子装置10产生的体感信号，此体感信号可用来判断出使用者的律动。

在一些实施例中，本发明的系统可设置于便携式电子装置10中，通过便携式电子装置10中的照相机取得使用者或是特定人的脸部图像，经由此脸部图像取得个人图像特征以及建构一个人化图像，之后当使用者挥舞着便携式电子装置10，通过其中的体感单元体感信号，如一种加速度信号，这个信号可以通过解析取得律动的强度、节奏等信息；便携式电子装置10另外可由本身产生的音乐信号，或是通过麦克风收音的外部音频，解析其中频域信号得出音频特征，例如频率、节奏、音量变化、强度变化、曲风等，找出对应的个人化律动设定数据。依据上述的音乐信号、个人化图像以及个人化律动设定数据，便携式电子装置10可产生个人化律动图像，呈现在显示屏幕101上，例如人脸图像依据一特定频律进行左右晃动。律动图像，还可以通过不同颜色、几何图形改变、图像变化、速度变化、不同律动方式（如旋转、点头、跳动…）等，来反映出个人对于此音乐信号的情绪、反应或感受，显示的图像则可以为平面图像或立体图像。

图2则显示通过执行本发明所提出产生群体化律动图像的实施例示意图。

在此实施方式中，本发明的系统分别设置于多人的便携式电子装置和一伺服主机中，便携式电子装置可经由通信网络和伺服主机进行通信。多人的便携式电子装置201、202、203可如图1所示，情境例如在一个演唱会中，现场产生一音乐信号（如演奏音乐或歌唱），当多人通过各自手持的便携式电子装置201、202、203可分别产生每个人对应的个人化律动图像，即时传送到伺服主机（未显示于此图中），据以产生并在一个显示屏幕20上呈现一个群体化的律动图像205，此群体化的律动图像205可以是众多的个人化律动图像进行组合而产生，或是另外产生可对应多人的情境、情绪、节奏或强度的图像或图形，例如人越多、强度越高时，图像中的闪光亮度就越强等。

藉此，在实际应用时，可以通过律动图像反映出现场情绪，可以加强现场视觉效果。其中特定节奏信号可以比对得出情绪参数，律动图像的变化强度可能是多数个人化律动的平均值。

图3显示本发明另一实施例中产生群体化律动图像化的系统架构示意图。

在此实施例中，通过网络30或是特定通信手段连接了各端装置，包括使用者端的各种便携式电子装置301、302、303，便携式电子装置301、302、303分别包含有用来检测体感信号的体感单元，取得各装置的体感信号，并通过网络传送到伺服主机32，由伺服主机32直接依据各便携式电子装置301、302、303的体感信号来产生群体化律动图像。

伺服主机32产生群体化的律动图像之后，可以呈现在一个公共显示屏幕305上，如设置于特定场合的大型显示屏，也可分别传送回各个便携式电子装置301、302、303的显示屏幕上。

此实施例也可结合社群网络来进行应用。比如，伺服主机32还包含建构一个社群网站，便携式电子装置301、302、303的使用者可以是在同一群组内的使用者并登录该社群网站，此群组可以是事先建立、或是临时组成的群组、或是可以由社群网站自动根据各便携式电子装置的位置信息在同一地点内而建立。如图显示，便携式电子装置301、302、303的使用者登录伺服主机32的社群网站后，伺服主机32可以同时取得这些装置内产生的律动信息、使用者登录账号及其个人信息等，即时产生并显示在显示屏幕305上的群体化律动图像，而此群体化律动图像中进一步可以显示使用者的登入账号、个人信息、或是社群网络好友关系等等。

上述伺服主机32并不限定为特定形式的运算器，甚至可由参与此次律动运算的多个便携式电子装置301、302、303中的一个，通过网络取得其他装置的律动信息，形成律动图像后再传给其他提供信息的装置显示。

第一实施例：

接着，本发明实施例之一可参阅如图4所示的本发明律动图像化系统的第一实施例示意图。

为实现根据个人图像特征与音频产生个人化律动图像的目的，本发明说明书提出一种律动图像化系统，律动图像化系统至少包括取得图像的图像获取单元404，如设置于便携式电子装置内的照相机模块，藉此产生个人图像，并可通过运算能力分析出图像特征。系统包括有接收音频的音频获取单元405，用以取得系统内的音频，包括播放音乐、声音文件所产生的音频，或以收音电路取得外部声音，经取得音频后，可以利用系统的运算能力获取出音频特征。

系统还包括一取得个人图像特征或/与音频特征的特征获取单元403，其中个人图像特征即由上述图像获取单元404取得的图像获取而来，而音频特征由音频获取单元405所接收的音频获取而来。

系统包括有一运算单元401，连接上述特征获取单元403，可以根据特征获取单元403取得的个人图像特征和音频特征，依据该音频特征，从预设的多个律动设定数据中取得对应该音频特征的一个人化律动设定数据，根据该音频、该个人图像特征以及该个人化律动设定数据，产生个人化律动图像。之后系统通过显示单元402显示个人化律动图像。预设的多个律动设定数据，可以事先建立并储存在运算单元401中或另一储存单元中，每一律动设定数据分别对应一个或多个音频特征。

第二实施例：

延续前述系统实施例，可参阅如图5所示的本发明律动图像化系统的第二实施例示意图，律动图像化系统还包括一体感单元505，例如为一加速度传感器可产生一加速度信号，并传送到运算单元501，以便根据所接收的加速度信号还产生个人化律动图像，实施例可参考图5所示的律动图像化系统实施例示意图。

律动图像化系统设有作为整合各部电路/软件单元产生的信号而运算产生结果的运算单元501，系统内各电路单元相互连接，图中显示的图像获取单元507用以取得图像，特别是具有个人化特色的图像，比如脸部图像，接着可由特征获取单元503取得图像特征。更进一步时，为了产生律动效果，图像特征将可解构成多种符号图形、几何图形的组合，在同时呈现个人化特征外，图形还可依据律动的信息而变化，值得一提的是，图像的律动主要是可依据音频特征来变化，优选的方式是事先建立一些规则模型，例如图像颜色变换、尺寸变化、位置移动、形状改变、旋转、摇摆的频率可依据音频的节拍快慢而定。例如，当音频特征为对应一快乐情绪时，可从预设的多个律动设定数据中找出对应快乐情绪的个人化律动设定数据，此个人化律动设定数据可以设定图像颜色为表示快乐的蓝色，形状改变和摇摆的频率为较快速，位置移动为较大等。

系统包括可以取得声音信号的音频获取单元506，包括通过麦克风取得外部音源（561）的信号，比如外部音响、环境或是使用者的声音，也可取得内部文件（562）所播放产生的声音信号。音频同样可由特征获取单元503取得其中频率（节奏快慢）、音高低起伏、强度（音量强弱）等的音频特征，频率、强度特征可以反映出声音的情绪，比如特定曲风可以反映出特定情绪、某种节奏对比到某种情绪等。

系统还包括一个体感单元505，比如便携式电子装置内的加速度传感器，用以检测使用者对此便携式电子装置是否有摇晃或摆动的动作，这些动作通常是反映出使用者在特定场合、聆听音乐时摆动形成的律动或情绪。

系统中可设有一个存储单元504，除了作为系统操作时信号暂存存储空间外，还可设有一数据库509，数据库509可储存有各种音频、体感信号与情绪比对的信息，可以是情绪本体、数据对照表、判断逻辑、类神经网络、文本分析或情绪词典、或其他可用以进行比对的信息。也就是说，上述音频、体感信号经过分析后，可判断出其对应的情绪，而此对应情绪可以在本发明中经由一个人化或是群体化的律动图像呈现出来。

系统中的通信单元508用以处理信号传输，特别如装置之间的信号传输、伺服主机与终端装置的通信等，显示单元502则用以处理律动图像的信号，最后则呈现在终端的显示装置上，比如用一个便携式电子装置的显示屏幕呈现，或以一个公共区域的显示屏幕所呈现。

根据实施例，上述律动图像化系统可以植于一便携式电子装置中，也就是电子装置本身的运算功能可以根据图像特征、音频特征，甚或是体感的信号来产生即时的个人化律动图像。

再根据另一实施例，律动图像化系统可以包括一个或多个终端的便携式电子装置与连线一个远程的伺服主机。举例来说，便携式电子装置为产生图像以及特征获取的装置，而运算产生律动图像的工作则由伺服主机负责。

第三实施例：

图6显示本发明的律动图像化系统的第三实施例的示意图，此例显示系统由便携式电子装置61和伺服主机62组成，且分别担负不同的工作。

在此实施例中，便携式电子装置61为终端由使用者持有的移动装置，主要为取得个人化的信息，比如通过便携式电子装置61上的图像获取单元611取得个人化图像，如脸部图像；通过便携式电子装置61的音频获取单元612取得装置61所播放或是外部接收的音频，因此可以得到个人化的音频特征；便携式电子装置61的显示单元613则是用以处理个人化图像信号、以及处理最后要显示出来的个人化律动图像。之后，可通过便携式电子装置61的通信单元614与其他装置、服务器分享律动信息。

配合图12所记载的本发明律动图像化方法中产生群体化律动图像的实施例流程。当要形成群体化律动图像时，便携式电子装置61可将个人化律动图像和音频传送至伺服主机62。多个使用者可分别使用对应的便携式电子装置以产生对应的个人化律动图像，并经由一通信网络将这些个人化律动图像传送到伺服主机62，伺服主机62端因此在特定实施例时可以取得多笔的个人化律动信息（图12，步骤S121），并整合多笔个人化律动图像（图12，步骤S123），产生出一群体化的律动图像（图12，步骤S125）。例如，当每个使用者的个人化律动图像为一人脸时，将多个人脸汇集成一图像并同时摆动，又或者是将不同人脸进行组合配对，产生互动的图像等。

伺服主机62具有网络单元623，通过网络与终端装置连线，其中特征获取单元621处理由各终端的便携式电子装置61取得的各种个人化的信息后，获取其中的特征，经运算单元622运算多笔律动信息后产生一个群体化的内容。之后可通过网络将群体化的律动图像传送到特定目标，包括大型显示屏幕、各便携式电子装置等。

也就是，在图6所示的系统架构下，律动图像化系统的工作分别由终端与服务器端的装置分散处理，上述取得图像信号的图像获取单元611、取得声音信号的音频获取单元612以及负责终端显示的显示单元613可设置于便携式电子装置61中；而需要通过演算获取特征（音频或图像）的特征获取单元621以及运算单元622则可设置于伺服主机62中。藉此架构便携式电子装置可以更为轻省地产生图像信号和音频，运算则集中在可以同时负责多端信号获取与特征运算的伺服主机中。

除上述律动图像化系统架构，律动图像化系统并不排除分别都载于各个便携式电子装置以及伺服主机上，其中每一个便携式电子装置都设置有获取图像获取、取得音频、特征获取、数据运算以及通信的功能；而伺服主机则可通过网络即时取得由各便携式电子装置所传送的图像信号、音频而进行运算，或直接由多个便携式电子装置接收所传送的个人化律动图像，整合产生一群体化律动图像。

图7显示为实现本发明律动图像化方法的架构实施例示意图，其中呈现出实现本发明律动图像化方法的系统架构，其中特别模块化各部分功能，藉此描述系统处理各种功能模块执行的工作。

摄影机701为设置于便携式电子装置上的照相模块，如手机或平板电脑的照相机，拍摄图像后由装置的图像获取705功能取得图像信号，并储存到装置的存储器中。接着，通过便携式电子装置的运算能力产生一个个人化图像，比如是装置中图像特征分析708功能，通过图像特征分析708取得图像中的特征，若图像为一个脸部图像，即以图像特征分析708判断出脸部器官，因此可以取得脸部器官的相对位置，再以人脸图像建构710功能由图像建构出一个人脸图像。这个人脸图像可以一个经过解构过的画面呈现，比如通过图案中分离的各种元素的变动，比如大小尺寸变化、形状改变、颜色变化、闪烁、位置移动等的律动图像效果。依此可以产生个人化律动图像711，可参考图1。

便携式电子装置本身可储存有特定音乐文件，如装置内储存的音乐数据库702，音乐数据库702还可以设置于外部服务器，通过串流下载音频文件的技术取得与播放。本说明书即利用软件方法解析出音频中的频率特征，如装置内的音频特征分析706功能，音频特征为利用一数据库所载的声音模型比对音频在一时间片段内采用的频域信号特征所得出，这些音频特征经特征模型比对709处理可以取得比如是音乐的节奏、速度、强度等音频特征，再以情绪判断707的功能，比如通过数据库、比对表等方式对应到特定的情绪，所判断出的情绪可以确定出上述律动图像的表示方式，可结合前述音频特征形成个人化律动图像711。

便携式电子装置可具有如麦克风703等的收音模块，通过麦克风703取得使用者的声音、外部环境的声音，同样可以经过音频特征分析706功能解析频域信号，以经过特征模型比对709取得声音的节奏、速度、强度等参数，同样执行情绪判断707功能对比到特定情绪，也可做为律动图像表示方式的参考。

便携式电子装置可具有体感检测704的相关电路模块，因此可以感测到使用者操作便携式电子装置的律动信号，比如摇动便携式电子装置产生的加速度信号，同样可以通过分析根据体感信号判断便携式电子装置的摆动幅度、节奏、指向等，经过情绪判断707功能而对应到特定情绪，更是用来配合上述音频特征确定出律动图像的表示方式，以产生个人化律动图像711。

当根据上述各种律动信息的全部或是部分特征所产生的个人化律动图像711后，图像信号可以通过便携式电子装置的通信功能，或经过无线网络，或经过移动通信网络，将图像输出（712），包括输出到外部的伺服主机、分享到特定网络主机、社群服务、或是其他使用者。

实现上述律动图像化系统时的实施例流程可参阅本说明书图8至图12所示的流程图。

其中图8显示本发明律动图像化方法的实施例流程，步骤一开始如S801，先取得一个图像，比如是由便携式电子装置上的照相模块所拍摄的图像，如脸部图像（81），但也不排除由照片文件所选取，或是其他具有个人化特色的图像，例如用来代表使用者的依漫画造型人物或动物图形。

接着如步骤S803，经取得个人图像特征后，建构个人化脸部图像，建构个人化图像时，图像可以通过符号图形、几何图形，或是其他图形的组合所呈现，这些图形将可根据此例由音源（82）获取出的音频特征（步骤S805）变换。这些个人化图像、音频特征经数据库（83）比对后，可以形成一个人化律动设定数据（步骤S807）。

其中个人化律动设定数据记载个人化图像对应音频时的律动方式和律动频率，因此可以根据音频和个人化律动设定数据确定个人化图像的律动方式和频率。其中参考的信息还可加上体感信号，使得系统可以根据体感信号确定个人化图像的显示强度。使得系统可以依据音频、个人化图像、个人化律动设定数据所载的律动方式、律动频率、显示强度而产生个人化律动图像。

音频随着时间变化，经获取出其中频率、强度的特征后，可以通过图像变化反映出律动，产生个人化律动图像（步骤S809），个人化律动比如图形颜色、尺寸、移动等的变化。

将音频转换为可视化图形的方式可有多种，其中之一（并非用来限制本发明实施方式）的技术可参阅TW200731095（公开日：2007/08/16）所披露的用于加强音乐播放的自动可视化的技术。其中技术先自音频流中导出至少一元素，配合一个选择的可视化数据，就是一个动态或静态图像数据，自动与音频流同步。系统可以从音频中取得频率、时间、能量（强度），甚至空间位置等特征，这些特征可以比对出预先的可视化效果，随着时间触发而组合这些比对得出的视觉效果，形成可视化的图像。

上述将图像解构形成几何图形的方式有多种，其中之一（并不限于此案，仅供参考）可参阅先前技术美国专利第8502826号（公告日：2013/8/6）所披露的音乐可视化系统与方法，可以将音乐波形转换成几何图形。

将音乐波形转换成几何图形的过程中，前述专利披露先定义出几种图形变化，比如移动、颜色等，配合图形数据，并应用三角函数原理（trigonometric function）执行图形转换，对应到音乐波形后，可以形成随着时间演进的图形变化。

通过脸部图像建构个人化图像的例子，可参阅图9显示建构一种立体脸部图像的实施例流程。

步骤S901表示系统先取得脸部图像，接着如步骤S903，通过图像识别技术从脸部图像识别出各脸部器官，至少一个脸部器官的位置，如个人五官之一，其他也可包括脸型，甚至是身形（高矮胖瘦），优选地则是可以得到特定器官与其余脸部器官的相对位置（步骤S903），如眼睛、鼻子、嘴巴、耳朵等之间的距离和比例。再引入立体模型（步骤S905），根据特定的至少一个脸部器官位置，以及此器官和脸部图像中其余脸部器官的相对位置，可以建构出一个立体脸部图像（步骤S907），在终端显示器上可以呈现出一个立体的脸部图像，此图像同样可以各种符号、几何图形所组合的图像，可以配合音频特征同步变化。其中随音频获取出的律动特征组合不同颜色和律动变化，产生出立体动画效果。

上述立体脸部图像建构的技术引入一立体模型，其中涉及的技术可为多种，其中一种如型态脸部模型（Morphable Face Model），先取得脸部图像的形状（shape）与组织（texture），通过比对一个模型库中的系数，点对点地形成一个立体脸部图像，将脸部的形状与组织表示为一个向量空间，藉此描绘出立体图像。

图10接着显示本发明律动图像化方法的另一实施例流程。

开始如步骤S101，先取得图像特征，藉此建构个人化图像（步骤S102），经形成二维或是立体图像后，系统从一音频取得音频特征（步骤S103），从预设的多个律动设定数据（数据库）中取得对应所取得音频特征的个人化律动设定资料（步骤S104），接着根据音频、个人化图像与个人化律动设定数据确定个人化图像的律动方式与频率（步骤S105）。

在此实施例，在形成个人化律动图像前，可以同时取得体感信号（步骤S106），比如上述由使用者所操作的便携式电子装置中的感测电路所取得的体感信号，体感信号因为反映出使用者挥动的强度，因此可以藉此确定个人化图像的显示强度（步骤S107），最后形成根据音频变动的个人化律动图像（步骤S108）。

上述确定情绪的技术可参阅图11所示的本发明律动图像化方法中确定个人化图像对应音频特征的呈现方法实施例流程，其中步骤显示先比对声音模型以及音频在一时间内的频域信号特征（步骤S111），再由音频特征确定情绪参数（步骤S113），根据这些情绪参数能确定出上述由便携式电子装置产生的个人化图像的色彩、背景与/或光线变化（步骤S115），且变化方式也不限于特定方式。

音频确定情绪的技术有多种实施方式，其中之一（并非用于限定本发明实施方式）如美国公开专利第20090132593号（公开日：2009/05/21）所披露的通过情绪分类播放多媒体文件的技术。其中披露先定义出情绪分类，比如忧郁、热情、喜悦的，依此建立心理模型（psychology model）。此专利技术即可以根据情绪分类来播放多媒体文件，音乐的基本元素有速度（speed）、强度（intensity）、节奏（rhythm）、旋律（melody）、音色（tonecolor）等，接着据此将依照音乐情感分类对应判断出多媒体播放列表，使用者可根据当下情感选择对应的音乐播放列表。

此专利提出一种音乐情绪分类单元，即获取出音乐的元素，然后，比对预设的心理模型，以根据对应到的心理模型判断出音乐的情绪分类。

然而，本发明从音频判断出情绪的技术并不限于通过软件分析音频频域特征判断情绪的方式，判断情绪可用分析技术如情绪本体（ontology）、类神经网络、文本分析或情绪词典（歌词）等。比如可应用音乐的曲风分析，比如通过节奏快慢判断出曲风，曲风也表示一种情绪；或直接从歌词解析出情绪。其中可根据事先建立歌曲对应情绪的数据库对比出曲风与情绪的关联、歌词与情绪的关联来判断情绪。

本发明还提出一种电脑可读取记录介质，其中记载执行上述说明书所载的律动图像化方法的指令集，实现本发明产生个人化律动图像的目的的指令集包括有取得一图像的指令，比如为执行于便携式电子装置的指令；包括由图像取得个人图像特征的指令，获取特征的指令可执行于便携式电子装置内，也可能执行于伺服主机端；指令集包括根据个人图像特征建构一个人化图像的指令，同样可以执行于便携式电子装置内，或是伺服主机端；指令集包括可以取得一音频的指令，比如由便携式电子装置内部播放的声音文件，或是通过麦克风接收的外部音频；以及由音频获取出音频特征的指令，此特征获取的指令可执行于便携式电子装置或是伺服主机内。

指令集还包括从预设的多个律动设定数据中取得对应音频特征的一个人化律动设定数据的指令，并能依据音频、个人化图像以及个人化律动设定数据而产生一个人化律动图像的指令，并包括显示个人化律动图像的指令。

因此，本发明说明书所提出的律动图像化的技术能根据个人或群体产生的声音或体感信息产生可视化的律动图像，包括可依据音频、个人化图像以及个人化律动设定数据产生的个人化律动图像，且能经整合多个个人化律动数据后，产生群体化律动图像。通过随着音频显示的个人化律动图像可以提升个人聆听音乐的乐趣，若通过在线演唱会现场和群众分享、和朋友分享互动等不同的社群分享模式，还可产生具有共鸣的群聚式体验。

然而以上所述仅为本发明的优选可行实施例，非因此局限本发明的专利范围，因此凡是运用本发明说明书和附图内容所为的等效结构变化，均同理包含于本发明的范围内，合予陈明。

Claims (16)

1.一种律动图像化方法，其特征在于，所述律动图像化方法包括：

由一图像取得个人图像特征；

根据所述个人图像特征建构一个人化图像；

由一音频中取得一音频特征，以从预设的多个律动设定数据中取得对应所述音频特征的一个人化律动设定数据；以及

依据所述音频、所述个人化图像以及所述个人化律动设定数据产生一个人化律动图像。

2.根据权利要求1所述的律动图像化方法，其特征在于，所述图像由一便携式电子装置所载的一照相机模块所拍摄，并储存于一存储器中。

3.根据权利要求2所述的律动图像化方法，其特征在于，所述便携式电子装置执行依据所述音频、所述个人化图像以及所述个人化律动设定数据产生所述个人化律动图像的步骤。

4.根据权利要求2所述的律动图像化方法，其特征在于，所述便携式电子装置还包括一体感单元，以取得所述便携式电子装置的一体感信号，以依据所述音频、所述个人化图像、所述个人化律动设定数据以及所述体感信号产生所述个人化律动图像。

5.根据权利要求4所述的律动图像化方法，其特征在于，所述个人化律动设定数据为所述个人化图像对应所述音频时的律动方式和律动频率，且依据所述音频、所述个人化图像、所述个人化律动设定数据以及所述体感信号以产生所述个人化律动图像，其中：

根据所述音频和所述个人化律动设定数据确定所述个人化图像的律动方式和律动频率；

根据所述体感信号确定所述个人化图像的显示强度；以及

根据所述律动方式、所述律动频率以及所述显示强度产生所述个人化律动图像。

6.根据权利要求1所述的律动图像化方法，其特征在于，所述图像为一脸部图像，所述个人图像特征为所述脸部图像中至少一个脸部器官的位置，以及与所述脸部图像中其余脸部器官的相对位置。

7.根据权利要求6所述的律动图像化方法，其特征在于，所述个人化图像为引入一立体模型，根据所述脸部器官位置以及和所述脸部图像中其余脸部器官的相对位置，以建构立体脸部图像。

8.根据权利要求1所述的律动图像化方法，其特征在于，所述律动图像化方法还包括以下步骤：

由所述音频特征确定对应所述音频的一情绪；以及

依据所述情绪确定所述个人化图像的色彩、背景、或光线变化。

9.根据权利要求8所述的律动图像化方法，其特征在于，所述音频特征为利用一数据库所载的声音模型比对所述音频在一时间片段内采用的频域信号特征所得出。

10.根据权利要求1所述的律动图像化方法，其特征在于，所述个人化律动图像与所述音频整合产生一多媒体文件并传送至一伺服主机。

11.根据权利要求10所述的律动图像化方法，其特征在于，所述律动图像化方法还包括以下步骤：

由多个使用者分别使用对应的便携式电子装置以产生对应的个人化律动图像；

经由一通信网络将所述个人化律动图像传送到所述伺服主机；以及

由所述伺服主机接收所述个人化律动图像，整合产生一群体化律动图像。

12.一种律动图像化系统，其特征在于，所述律动图像化系统包括：

一取得图像的图像获取单元；

一接收音频的音频获取单元；

一取得个人图像特征和音频特征的特征获取单元，其中所述个人图像特征由所述图像获取单元取得的图像获取而来，所述音频特征由所述音频获取单元所接收的音频获取而来；

一运算单元，连接所述特征获取单元，根据取得所述个人图像特征与所述音频特征从预设的多个律动设定数据中取得对应所述音频特征的一个人化律动设定数据，根据所述音频、所述个人图像特征以及所述个人化律动设定数据产生一个人化律动图像；以及

一显示所述个人化律动图像的显示单元。

13.根据权利要求12所述的律动图像化系统，其特征在于，所述律动图像化系统植于一便携式电子装置中，用以形成所述个人化律动图像。

14.根据权利要求13所述的律动图像化系统，其特征在于，所述律动图像化系统还包括一取得加速度信号的体感单元，所述运算单元还接收所述加速度信号以得出所述个人化律动图像。

15.根据权利要求12所述的律动图像化系统，其特征在于，所述图像获取单元、所述音频获取单元以及所述显示单元设置于一便携式电子装置中，所述特征获取单元和所述运算单元设置于一伺服主机中，且所述便携式电子装置还包括一通信单元，所述通信单元与所述伺服主机连线，用以将所述图像和所述音频传送至所述伺服主机，且接收所述个人化律动图像以在所述显示单元中显示。

16.根据权利要求12所述的律动图像化系统，其特征在于，所述律动图像化系统分别设置于多个便携式电子装置以及一伺服主机中，其中每一个所述便携式电子装置均设置有所述图像获取单元、所述音频获取单元、所述特征获取单元、所述运算单元以及一通信单元，以供每一个使用者分别将对应的所述个人化律动图像传送至所述伺服主机，且所述伺服主机取得多个所述便携式电子装置所传送的所述个人化律动图像，整合产生一群体化律动图像。