CN110268467B - 显示控制系统以及显示控制方法 - Google Patents

显示控制系统以及显示控制方法 Download PDF

Info

Publication number
CN110268467B
CN110268467B CN201880010777.2A CN201880010777A CN110268467B CN 110268467 B CN110268467 B CN 110268467B CN 201880010777 A CN201880010777 A CN 201880010777A CN 110268467 B CN110268467 B CN 110268467B
Authority
CN
China
Prior art keywords
music
moving image
lyrics
data
lyric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880010777.2A
Other languages
English (en)
Other versions
CN110268467A (zh
Inventor
斋藤迅
沼田耕平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cotodama Inc
Original Assignee
Cotodama Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cotodama Inc filed Critical Cotodama Inc
Publication of CN110268467A publication Critical patent/CN110268467A/zh
Application granted granted Critical
Publication of CN110268467B publication Critical patent/CN110268467B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/685Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using automatically derived transcript of audio data, e.g. lyrics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/361Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/361Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/368Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/036Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal of musical genre, i.e. analysing the style of musical pieces, usually for selection, filtering or classification
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/061Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of musical phrases, isolation of musically relevant segments, e.g. musical thumbnail generation, or for temporal structure analysis of a musical piece, e.g. determination of the movement sequence of a musical work
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005Non-interactive screen display of musical or status data
    • G10H2220/011Lyrics displays, e.g. for karaoke applications
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/075Musical metadata derived from musical analysis or for use in electrophonic musical instruments
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/075Musical metadata derived from musical analysis or for use in electrophonic musical instruments
    • G10H2240/085Mood, i.e. generation, detection or selection of a particular emotional content or atmosphere in a musical piece
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00Acoustics not otherwise provided for
    • G10K15/04Sound-producing devices

Abstract

本公开的一个方面的方法包含:对语言数据进行获取,其中,语言数据表示与通过音响设备进行再现的音相对应的语言;以及基于语言数据,将动态图像显示在显示设备上,其中,动态图像以文字形式包含与通过音响设备进行再现的音相对应的语言。将动态图像显示在显示设备上包括:从多种动态图像中选择类别与进行再现的音所对应的语言相关联的动态图像,并将所选类别的动态图像显示在显示设备上。

Description

显示控制系统以及显示控制方法
相关申请的交叉引用
本国际申请要求2017年2月7日在日本专利局提交的日本发明专利申请第2017-020337号的优先权,所述日本发明专利申请的全部内容通过引用而并入本文。
技术领域
本公开涉及显示控制系统以及显示控制方法。
背景技术
已知有配合着乐曲的再现来显示动态图像的乐曲再现系统。申请人已经公开了利用与乐曲类型相对应的动态图像将歌词显示在显示设备上的系统(例如参照专利文献1)。
现有技术文献
专利文献
专利文献1:国际公开第2016/143907号
发明内容
发明要解决的问题
关于动态图像显示的技术,尚存在为了在显示设备上显示与再现音的印象相符的动态图像而加以改善的余地。根据本公开的一个方面,希望提供新型的系统以及方法,以在显示设备上显示与再现音的印象相符的恰当的动态图像。
解决问题的技术方案
本公开的一个方面的显示控制系统具有:获取部,该获取部构成为获取语言数据,其中,语言数据表示与通过音响设备进行再现的音相对应的语言;以及显示控制部,该显示控制部构成为基于该语言数据将动态图像显示在显示设备上,其中,动态图像以文字形式包含与通过音响设备进行再现的音相对应的语言。
显示控制部从多种动态图像中选择类别与进行再现的音所对应的语言相关联的动态图像,并将所选类别的动态图像作为以文字形式包含该语言的动态图像显示在显示设备上。根据该显示控制系统,可以使用与再现音赋予听众的印象相符的动态图像将对应的语言显示在显示设备上。
通过音响设备进行再现的音可以是乐曲。在这种情况下,获取部可以构成为,获取通过音响设备进行再现的乐曲的歌词数据作为语言数据。显示控制部可以从多种动态图像中选择类别与进行再现的乐曲的歌词相对应的动态图像,并配合着通过音响设备进行再现的乐曲的进展,在显示设备上显示所选类别的动态图像,即,显示以文字形式包含乐曲的歌词的动态图像。根据该显示控制系统,可以使用与所歌唱的歌词的印象相符的动态图像并配合着乐曲的再现将歌词显示在显示设备上。
根据本公开的一个方面,显示控制部可以构成为,对歌词数据进行分析,并从多种动态图像中选择类别与进行再现的乐曲的歌词内容相对应的动态图像,并将所选类别的动态图像显示在显示设备上。
根据本公开的一个方面,上述多种动态图像各自可以包含用于装饰歌词的装饰用动态图像。在这种情况下,对类别与歌词内容相对应的动态图像的选择可以包含对与歌词内容相对应的装饰用动态图像的选择。装饰用动态图像可以是作为歌词的背景图像而显示的动态图像。
根据本公开的一个方面,上述多种动态图像各自可以与一个以上的单词建立对应关系。显示控制部可以构成为,从多种动态图像中选择类别为与乐曲的歌词中包含的单词建立对应关系的动态图像。
根据本公开的一个方面,显示控制部可以构成为,将乐曲的歌词的至少一部分输入到预先进行了机器学习的分类器中,并从分类器获取与该输入相对应的歌词内容的分类信息,作为与该输入相对应的分类器的输出。显示控制部还可以构成为,基于获取的分类信息,从多种动态图像中选择类别与进行再现的乐曲的歌词内容相对应的动态图像。
根据本公开的一个方面,显示控制部可以构成为,在通过将乐曲的歌词整体进行分割而定义的每个区间,从多种动态图像中选择类别与区间的歌词内容相对应的动态图像。以每个区间为单位选择动态图像能够在乐曲再现时显示符合于歌词情节的动态图像。
根据本公开的一个方面,显示控制部可以构成为,对由歌词数据所确定的乐曲的再现长度与由用于乐曲再现的乐曲数据所确定的乐曲的再现长度之间的误差进行判断,当误差大于基准时,以选择类别为比误差小于基准时变化缓慢的动态图像的方式,从多种动态图像中选择类别与歌词内容相对应的动态图像。通过将变化缓慢的动态图像显示在显示设备上,能够抑制将乐曲再现与动态图像的显示之间产生了延时的印象带给用户的可能性。
根据本公开的一个方面,显示控制部可以构成为,从多种动态图像中选择类别与进行再现的乐曲的歌词语言相对应的动态图像,并将所选类别的动态图像显示在显示设备上。
歌词语言的不同会影响歌词的文字量或显示速度。歌词语言可能会影响用户感受到的乐曲的印象。因此,基于歌词语言选择动态图像有助于显示与乐曲的印象相符的动态图像。
根据本公开的一个方面,显示控制部可以构成为,从多种动态图像中选择类别与进行再现的乐曲的发行时间相对应的动态图像,并将所选类别的动态图像显示在显示设备上。
发行时间较早的乐曲和发行时间较新的乐曲赋予用户的乐曲印象会有所不同。因此,基于发行时间选择动态图像有助于显示与乐曲的印象相符的动态图像。
根据本公开的一个方面,可以提供一种与上述显示控制系统相对应的显示控制方法。该显示控制方法可以是由1个以上的计算机/1个以上的处理器所执行的方法。
根据本公开的一个方面,可以提供一种显示控制方法,其包括:对语言数据进行获取,其中,语言数据表示与通过音响设备进行再现的音相对应的语言;以及基于该语言数据,将动态图像显示在显示设备上,其中,动态图像以文字形式包含与通过音响设备进行再现的音相对应的语言。
将动态图像显示在显示设备上可以包括:从多种动态图像中选择类别与进行再现的音所对应的语言相关联的动态图像,并将所选类别的动态图像作为以文字形式包含上述语言的动态图像显示在显示设备上。
根据本公开的一个方面,通过音响设备进行再现的音可以是乐曲。进行获取可以包括:获取通过音响设备进行再现的乐曲的歌词数据作为语言数据。将动态图像显示在显示设备上可以包括:从多种动态图像中选择类别与进行再现的乐曲的歌词相对应的动态图像,并配合着通过音响设备进行再现的乐曲的进展,在显示设备上显示所选类别的动态图像,即,显示以文字形式包含乐曲的歌词的动态图像。
根据本公开的一个方面,将动态图像显示在显示设备上可以包括:对歌词数据进行分析,并从多种动态图像中选择类别与进行再现的乐曲的歌词内容相对应的动态图像,并将所选类别的动态图像显示在显示设备上。
将动态图像显示在显示设备上可以包括:从多种动态图像中选择类别与进行再现的乐曲的歌词语言相对应的动态图像,并将所选类别的动态图像显示在显示设备上。
将动态图像显示在显示设备上可以包括:从多种动态图像中选择类别与进行再现的乐曲的发行时间相对应的动态图像,并将所选类别的动态图像显示在显示设备上。
根据本公开的一个方面,可以提供一种计算机程序,其具备用于使计算机执行上述显示控制方法的指令。根据本公开的一个方面,也可以提供一种计算机程序,其具备用于使计算机作为显示控制系统中的获取部和显示控制部中的至少一者而发挥作用的指令。还可以提供一种记录有上述这些计算机程序的计算机可读取的非临时性实体记录介质。
附图说明
图1是表示乐曲再现系统的概略结构的框图。
图2是表示便携式通信终端以及音响再现装置的概略结构的框图。
图3是表示歌词数据结构的图。
图4是表示动态图像数据结构的图。
图5是表示在便携式通信终端以及音响再现装置的控制单元中实现的功能的框图。
图6是表示再现计划生成部所执行的指令接收处理的流程图。
图7是表示动态图像的示例的图。
图8是表示第一变形例的指令接收处理的流程图。
图9是表示第二变形例的指令接收处理的流程图。
图10是表示第三变形例的乐曲再现系统的概略结构的框图。
图11是表示第三变形例的指令接收处理的流程图。
图12是表示第四变形例的乐曲再现系统的概略结构的框图。
图13是表示第四变形例的指令接收处理的流程图。
图14是表示动态图像的示例的图。
附图标记的说明
1、3、4…乐曲再现系统;10…便携式通信终端;11…控制单元;
11A…CPU;11B…RAM;13…存储单元;15…用户界面;
17…通信单元;50…音响再现装置;51…控制单元;51A…CPU;
51B…RAM;53…存储单元;54…扬声器;55…显示器;
57…通信单元;70、90、95…服务器设备;111…主控制部;
113…第一发送控制部;115…第二发送控制部;
511、611、711…再现计划生成部;513…再现控制部;
515…显示控制部;951…分类器;D1…乐曲数据;
D2、D31、D32…动态图像数据;D21…分量数据;
D211…文本运动定义数据;D212…背景运动定义数据;D22…条件数据;
DL…歌词数据;SR…再现用信号;SP…再现位置信号;TC…时间码
具体实施方式
以下参照附图说明本公开例示的实施方式。
图1所示的本实施方式的乐曲再现系统1具有便携式通信终端10、音响再现装置50、第一服务器设备70、以及第二服务器设备90。便携式通信终端10例如可以是智能电话或者平板式计算机终端。
在该乐曲再现系统1中,便携式通信终端10对乐曲数据D1进行再现处理,并向音响再现装置50发送乐曲数据D1的再现用信号SR以及再现位置信号SP。便携式通信终端10在进行该再现处理之前,向音响再现装置50发送乐曲信息数据DF,该乐曲信息数据DF包含能够对基于乐曲数据D1进行再现的乐曲加以识别的信息。
音响再现装置50基于从便携式通信终端10接收到的乐曲信息数据DF,从第一服务器设备70获取与作为再现处理对象的乐曲数据D1相对应的歌词数据DL,并从第二服务器设备90获取表示相应乐曲的类型的乐曲类型数据DG以及表示该乐曲的乐曲结构的乐曲结构数据DS。在此所述的乐曲类型(以下称为曲类型)可以理解为是与歌词内容无关的诸如流行音乐、摇滚音乐、雷鬼音乐等乐曲的分类。
音响再现装置50基于来自便携式通信终端10的再现用信号SR,从扬声器54输出相对应的乐曲,并基于来自便携式通信终端10的再现位置信号SP,配合着乐曲的再现将动态图像显示在显示器55上。动态图像中包含歌词。音响再现装置50基于从第一服务器设备70获取的歌词数据DL以及从第二服务器设备90获取的曲类型数据DG和乐曲结构数据DS,来确定该动态图像的显示形式。
通过由蓝牙(Bluetooth:注册商标)代表的近距离无线通信和无线LAN通信中的至少一者来实现便携式通信终端10与音响再现装置50之间的通信。通过广域网来实现音响再现装置50与第一服务器设备70之间的通信以及音响再现装置50与第二服务器设备90之间的通信。广域网例如是因特网。
如图2所示,便携式通信终端10具有控制单元11、存储单元13、用户界面15以及通信单元17。控制单元11具有CPU11A和RAM11B。CPU11A按照存储单元13所存储的计算机程序执行处理。RAM11B在CPU11A执行处理时作为工作区使用。以下将CPU11A按照计算机程序所执行的处理作为便携式通信终端10或者控制单元11所执行的处理而加以说明。
存储单元13存储各种计算机程序以及数据。存储单元13存储的数据中包含一个或多个乐曲数据D1。存储单元13例如由闪速存储器构成。
用户界面15具有显示装置以及触控面板。用户界面15受到控制单元11的控制,而在显示装置上显示各种映象,并向控制单元11输入经由触控面板而来自用户的操作信号。通信单元17构成为能够进行近距离无线通信以及无线LAN通信。控制单元11经由该通信单元17与音响再现装置50进行无线通信。
音响再现装置50具有控制单元51、存储单元53、扬声器54、显示器55以及通信单元57。控制单元51具有CPU51A以及RAM51B,CPU51A按照各种计算机程序执行处理。RAM51B在CPU51A执行处理时作为工作区使用。以下将CPU51A按照计算机程序所执行的处理作为音响再现装置50或者控制单元51所执行的处理而加以说明。
存储单元53存储各种计算机程序以及数据。存储单元53存储的数据中包含对应于每种曲类型的动态图像数据D2(参照图4)。音响再现装置50可以构成为,能够通过广域网从外部的服务器设备获取这些动态图像数据D2。
扬声器54具有对应于多个不同的音域的多个扬声器单元以及放大器,并将从控制单元51输入的音频信号转换成音声后加以输出。显示器55构成为例如液晶显示器。显示器55受到控制单元51的控制,而在乐曲再现期间显示包含歌词在内的动态图像。在显示器55上显示的动态图像包含文字图像的变化以及背景图像的变化。背景图像位于文字图像的背景处,以装饰文字图像。
与便携式通信终端10相同,通信单元57也构成为能够进行近距离无线通信以及无线LAN通信。控制单元51经由该通信单元57与便携式通信终端10进行近距离通信或者无线LAN通信。控制单元51经由该通信单元57与配置于广域网的第一服务器设备70以及第二服务器设备90进行通信。
第一服务器设备70构成为,按照来自音响再现装置50的请求信号,将音响再现装置50所请求的歌词数据DL发送给音响再现装置50。歌词数据DL构成为将乐曲的歌词至少按行划分并进行记述。该歌词数据DL构成为,在乐曲的歌词整体中的多个地点以规定的记述方式嵌入有表示该地点的歌唱开始时刻的时间码TC。时间码TC对应于以再现乐曲的开头为原点时的对应地点的再现位置或者再现时刻。图3概念性地示出了标注有时间码TC的歌词数据DL的结构。根据图3,歌词数据DL在每行歌词的开头具有时间码TC,并且在每行的中间地点也具有时间码TC。
第二服务器设备90构成为,按照来自音响再现装置50的请求信号,将音响再现装置50所请求的乐曲的曲类型数据DG以及乐曲结构数据DS发送给音响再现装置50。
作为第二服务器设备90,已知有如下服务器设备,该服务器设备在理解乐曲的重复结构或变调的同时对乐曲具有的音乐性元素进行自动分析,并将基于该分析结果的乐曲结构数据DS连同曲类型数据DG一起进行存储。例如,流行音乐的乐曲结构数据DS包含能够确定乐曲所具有的“前奏”、“A段旋律(主歌)”、“B段旋律(前置副歌)”、“高潮段(副歌)”、“C段旋律(桥段)”、“结尾(尾声)”、“间奏”等段落的信息。“A段旋律”、“B段旋律”、“高潮段”以及“C段旋律”是日本市场的表达。如括号所示,“A段旋律”、“B段旋律”、“高潮段”以及“C段旋律”依次对应于“主歌”、“前置副歌”、“副歌”以及“桥段”。
该乐曲结构数据DS包含能够对作为构成乐曲的段落的以下段落加以确定的信息,即,以曲调变化地点为分界的段落、展示反复性的段落、以及与展示高潮的高潮段(副歌)等相对应的段落。
接下来,参照图4对音响再现装置50的存储单元53所存储的动态图像数据D2的结构进行说明。根据本实施方式,存储单元53按照每种曲类型存储动态图像数据D2。每个动态图像数据D2用于定义乐曲再现时应该显示在显示器55上的文字图像以及背景图像的动态图像。
如图4所示,动态图像数据D2具有多个分量数据D21和对应于每个段落的条件数据D22。从多个分量数据D21中选择一个加以使用。每个条件数据D22用于定义在相应的段落应使用的分量数据D21。
每个分量数据D21具有该分量数据D21的识别码(ID),并且具有文本运动定义数据D211和背景运动定义数据D212,其中,文本运动定义数据D211用于定义应该显示在显示器55上的文字图像(例如歌词)的运动,背景运动定义数据D212用于定义应该显示在显示器55上的背景图像的运动。
文本运动定义数据D211用于定义文字图像的字体类型、字体大小以及运动模式与速度。文本运动定义数据D211可被理解成并非定义文字本身。动态图像中显示的文字是与歌词或者其他乐曲相关的文字。背景运动定义数据D212用于定义背景图像的类型、运动模式以及速度。
可以理解为分量数据D21的群组中包含有仅用来定义背景图像的动态图像的分量数据D21。该分量数据D21可以是不具有文本运动定义数据D211的分量数据,或者可以是虽然形式上具有文本运动定义数据D211,但实质上文本运动定义数据D211为空的分量数据。
如图4所示的每个条件数据D22按歌词内容的每一个类别定义在相应的段落中应使用的分量数据D21。以下将歌词内容的类别仅表记为歌词类别。如图所示,条件数据D22按每一个歌词类别而具有与歌词类别的识别码即分类码D221建立关联的特征数据D223以及识别码(ID),其中,特征数据D223表示歌词内容的特征;识别码(ID)是在显示包含着属于该歌词类别的歌词的动态图像时应该使用的分量数据D21的识别码(ID)。
特征数据D223可以通过包含1个以上关键词的关键词群组来表示歌词内容的特征。在这种情况下,包含一个以上属于特征数据D223所示的关键词群组的单词的歌词可以被判断为属于与该特征数据D223相对应的歌词类别。特征数据D223可以通过关键词的分布来表示歌词内容的特征。在这种情况下,具有与特征数据D223所示的关键词分布相符的单词分布的歌词可以被判断为属于与该特征数据D223相对应的歌词类别。
可以理解为条件数据D22包括:用于定义在不存在歌词时应该使用的分量数据D21的信息。即,条件数据D22可以具有与歌词类别为“无歌词”的分类码D221建立关联的、在不存在歌词时应该使用的分量数据D21的识别码。
可以理解为条件数据D22包括:用于定义在歌词内容不明确时,换言之,也就是在难以对歌词内容进行确切分类时应该使用的分量数据D21的信息。即,条件数据D22可以具有与歌词类别为“其他”的分类码D221建立关联的、在歌词内容不明确时应该使用的分量数据D21的识别码。
接下来,参照图5对通过便携式通信终端10的控制单元11以及音响再现装置50的控制单元51实现的功能的具体内容进行说明。控制单元11通过执行计算机程序,而作为主控制部111、第一发送控制部113以及第二发送控制部115发挥作用。
若用户通过用户界面15输入对存储在存储单元13中的乐曲数据D1之一进行再现的指令,则主控制部111经由通信单元17向音响再现装置50发送附带有乐曲信息数据DF的动作指令,其中,给该乐曲信息数据DF对应于由再现指令所指定的作为再现处理对象的乐曲数据D1。
乐曲数据D1构成为在乐曲数据主体附带有元数据D11(参照图1)。元数据D11包括曲名、曲专辑名以及歌手名(艺术家名)等乐曲信息。主控制部111参照该元数据D11,向音响再现装置50发送附带有乐曲信息数据DF的动作指令,其中,该乐曲信息数据DF对应于作为再现处理对象的乐曲数据D1。乐曲信息数据DF可以包括元数据D11中包含的乐曲信息的全部或者其中一部分。该乐曲信息数据DF用于音响再现装置50从服务器设备70、90获取与作为再现处理对象的乐曲数据D1相对应的歌词数据DL、曲类型数据DG以及乐曲结构数据DS。
若主控制部111响应于该动作指令而接收到由音响再现装置50发送的准备完成通知,则指示第一发送控制部113以及第二发送控制部115开始执行处理。
第一发送控制部113按照上述开始执行处理的指令,对乐曲数据D1执行再现处理,由此,经由通信单元17向音响再现装置50发送乐曲数据D1的再现用信号SR。由第一发送控制部113执行的再现处理可以是以下处理,即,对乐曲数据D1进行解码直到音响再现装置50处于能够从扬声器54输出乐曲的状态为止。在本实施方式中,作为上述再现处理,由第一发送控制部113执行用于实现乐曲数据D1的流再现的处理。
第二发送控制部115按照上述开始执行处理的指令,经由通信单元17向音响再现装置50发送再现位置信号SP,再现位置信号SP表示由第一发送控制部113进行再现处理的乐曲数据D1的再现位置。第二发送控制部115可以从第一发送控制部113获取由第一发送控制部113管理的再现位置的信息,并发送表示该再现位置的再现位置信号SP。
音响再现装置50的控制单元51通过执行计算机程序,而作为再现计划生成部511、再现控制部513、以及显示控制部515发挥作用。
再现计划生成部511构成为,响应来自便携式通信终端10的动作指令,从第一服务器设备70获取歌词数据DL,从第二服务器设备90获取曲类型数据DG以及乐曲结构数据DS,并基于这些获取的数据生成动态图像的再现计划。
生成的再现计划是配合着该乐曲从乐曲开头再现到结尾而在显示器55上显示的动态图像的显示控制用数据。再现计划具体定义在由再现位置信号SP确定的乐曲的各个再现位置处应该显示的动态图像。显示控制部515按照该再现计划控制显示器55,以按照再现计划在显示器55上显示动态图像。可以用显示控制部515能够解释的控制指令来表述再现计划。
为了生成再现计划,再现计划生成部511构成为反复执行如图6所示的指令接收处理。根据该指令接收处理,再现计划生成部511会待机到直至经由通信单元57接收到从便携式通信终端10发送的动作指令为止(S110)。
若接收到动作指令(S110:是),则再现计划生成部511基于从便携式通信终端10接收到的动作指令中附带的乐曲信息数据DF,从第一服务器设备70获取与便携式通信终端10要进行再现处理的乐曲数据D1相对应的歌词数据DL(S120)。
并且,再现计划生成部511基于上述乐曲信息数据DF,从第二服务器设备90获取与便携式通信终端10要进行再现处理的乐曲数据D1相对应的曲类型数据DG以及乐曲结构数据DS(S125)。
然后,再现计划生成部511参照获取的曲类型数据DG辨别待进行再现的乐曲的曲类型,并将多个动态图像数据D2中的曲类型与待进行再现的乐曲相对应的动态图像数据D2选定为作为参照对象的动态图像数据D2(S130)。
选择了动态图像数据D2后,再现计划生成部511通过反复执行S140~S170的处理,以由获取的乐曲结构数据DS确定的乐曲的每个段落为单位,参照作为参照对象的动态图像数据D2所具有的该段落的条件数据D22,从该动态图像数据D2所具有的多个分量数据D21中选择用于显示动态图像的分量数据D21。具体而言,以每个段落为单位选择歌词类别与该段落的歌词内容相对应的分量数据D21作为要使用的分量数据D21。
在S140中,再现计划生成部511将乐曲所包含的多个段落中的一个段落选定为处理对象段落。然后从歌词数据DL中提取处理对象段落的歌词部分(S150),并对提取的歌词部分进行分析,以选择与处理对象段落的歌词类别相对应的分量数据D21作为在处理对象段落中要使用的分量数据D21(S160)。
例如,再现计划生成部511可以对提取的歌词部分进行分析,并生成表示该歌词内容的特征的特征数据。对歌词部分进行分析的处理可以是从歌词部分提取一个或多个关键词的处理。特征数据可以是表示提取的关键词的列表或者表示提取的关键词的分布的数据。
再现计划生成部511对由处理对象段落的歌词部分所生成的特征数据和处理对象段落的条件数据D22所示出的各歌词类别的特征数据进行比较,将特征最相符的特征数据的歌词类别判断为处理对象段落的歌词类别,并选择与该歌词类别建立关联的分量数据D21作为要使用的分量数据D21(S160)。
例如,再现计划生成部511可以将与如下特征数据D223建立对应关系的歌词类别判断为处理对象段落的歌词类别,该特征数据D223具有从处理对象段落的歌词部分提取的关键词。通过以在歌词类别之间不出现重复的方式分配关键词,而能够根据从处理对象段落的歌词部分提取的关键词确定一个歌词类别。或者,再现计划生成部511可以将与如下特征数据D223建立对应关系的歌词类别判断为处理对象段落的歌词类别,该特征数据D223具有的关键词分布与从处理对象段落的歌词部分提取的关键词的分布相符。
在处理对象段落的歌词类别不明确的情况下,再现计划生成部511可以选择用于歌词类别为“不明确”的分量数据D21作为在该处理对象段落中要使用的分量数据D21。在处理对象段落不存在歌词的情况下,再现计划生成部511可以选择用于歌词类别为“无歌词”的分量数据D21。
再现计划生成部511判断是否对乐曲所包含的所有段落均已执行了S150~S160的处理(S170)。并且,若判断未对所有段落执行上述处理(S170:否),则转移到S140,将未处理的段落中的一个段落选定为处理对象段落,并执行S150以后的处理。若再现计划生成部511判断对所有段落均已执行了上述处理(S170:是),则转移到S180。
在S180中,再现计划生成部511基于歌词数据DL和乐曲结构数据DS、以及在S160中选择的对应每个段落的分量数据D21,生成再现计划,该再现计划用于在乐曲的各个再现位置处,按照所对应的分量数据D21将文字图像(歌词)以及背景图像的动态图像显示在显示器55上。
即,再现计划生成部511生成如下再现计划,该再现计划用于使显示控制部515按照再现位置信号SP控制显示器55,以配合着乐曲的进展(再现位置的变化),使显示器55按照对应段落的分量数据D21所具有的文本运动定义数据D211来显示文字图像(歌词)的动态图像,以及按照同一分量数据D21所具有的背景运动定义数据D212来显示背景图像的动态图像。
此时,再现计划生成部511按照歌词数据DL包含的时间码TC生成再现计划,以使得在乐曲的与每个时间码TC相对应的每个再现位置处,将对应的歌词部分的动态图像显示在显示器55上。
若再现计划生成部511如上所述生成再现计划,则转移到S190,并向便携式通信终端10发送准备完成通知。根据准备完成通知,在便携式通信终端10中开始执行乐曲数据D1的再现处理,并发送再现用信号SR以及再现位置信号SP。
再现控制部513经由通信单元57从便携式通信终端10接收该再现用信号SR,并将音频信号输入到扬声器54,由此经由扬声器54实现乐曲再现,其中,该音频信号用于令扬声器54输出基于该再现用信号SR的音声。
显示控制部515经由通信单元57接收来自便携式通信终端10的再现位置信号SP,并基于再现位置信号SP且按照上述再现计划控制显示器55,以在显示器55上显示与来自扬声器54的输出音声相对应的动态图像。这样,控制单元51将显示器55控制成:配合着再现乐曲的进展而在显示器55上显示动态图像,该动态图像是包含歌词的文字图像的动态图像,并且是符合歌词内容的文字图像以及背景图像的动态图像。
符合歌词内容的动态图像可以是对应于由歌词内容联想到的人的感情、场面以及环境等的动态图像。用户对文字图像的动态图像的印象会根据字体类型、大小、运动、位置变化速度以及形状变化速度等产生变化。字体类型中存在有给人温柔印象的带圆度的字体类型、给人严肃印象的带棱角的字体类型、女性化的字体类型以及男性化的字体类型。
背景图像的动态图像可以是例如简单的几何图形的动态图像。在这种情况下,用户对背景图像的动态图像印象会根据例如几何图形的形状、大小、运动、位置变化速度以及形状变化速度等产生变化。按照此观点,例如可以通过手动创建动态图像数据D2。
例如,可以在所唱的歌词较为伤感的乐曲的再现位置处,将模仿“眼泪”、“雨”等让人联想起此类的背景图像的动态图像显示在显示器55上。例如,可以在所唱的歌词与秋天有关的乐曲的再现位置处显示会联想到落叶的背景图像的动态图像。可以在所唱的歌词与冬天有关的乐曲的再现位置处显示会联想到飘雪的背景图像的动态图像。可以在所唱的歌词与愤怒或打击有关的乐曲的再现位置处显示如图7所示的会联想到打雷的背景图像的动态图像。可以在所唱的歌词与恋爱有关的乐曲的再现位置处显示心形的背景图像的动态图像。
可以在与这些歌词内容的印象相符的背景图像的动态图像上显示使用与歌词内容的印象相符的字体的文字图像的动态图像。如上所述,文字图像的速度以及运动的不同也会带给用户不同的印象。作为运动模式可以列举例如文字图像如悬浮般进行曲线运动的模式、以及文字图像如倾泻般进行直线运动的模式。在文字图像的速度以及运动模式方面也以与歌词内容的印象相符的形式来显示动态图像。文字图像的动态图像可以包含1个以上的文字图像的移动、旋转以及字体大小的改变。
以上对本实施方式的乐曲再现系统1的结构进行了说明。根据该乐曲再现系统1,再现计划生成部511从第一服务器设备70获取通过扬声器54进行再现的乐曲的歌词数据DL。并且,再现计划生成部511从第二服务器设备90获取进行再现的乐曲的曲类型数据DG以及乐曲结构数据DS,并从存储单元53读取出动态图像数据D2。
再现计划生成部511基于如上获取的再现乐曲的歌词数据DL、曲类型数据DG以及乐曲结构数据DS,生成包含着与乐曲的歌词内容相对应的文字图像以及背景图像的动态图像的再现计划。显示控制部515配合着乐曲的进展,即,按照再现位置信号SP来控制显示器55,以按照该再现计划在显示器55上显示动态图像。由此,显示控制部515配合着乐曲的进展在显示器55上显示包含乐曲的歌词在内的动态图像。
特别是,根据本实施方式,再现计划生成部511以乐曲结构数据DS所确定的乐曲的每个段落为单位,按照该段落的歌词内容来确定要使用的分量数据D21,以生成再现计划,并且,显示控制部515按照该再现计划,基于再现乐曲的结构以及歌词内容的变化而将动态图像显示在显示器55上。因此,音响再现装置50能够配合着乐曲的进展以丰富的表现方式在显示器55上显示动态图像,从而能够进一步愉悦用户。
接下来对变形例进行说明。变形例的乐曲再现系统中,仅一部分结构以及处理不同于上述实施方式的乐曲再现系统1。因此,下文对于变形例的乐曲再现系统的结构以及处理中的与上述实施方式的乐曲再现系统1共同的结构以及处理标注和上述实施方式相同的符号并省略其说明。
[第一变形例]
第一变形例的乐曲再现系统构成为,图4所示的存储单元53具有对应于歌词的每种语言的动态图像数据D2,以取代对应于每种曲类型的动态图像数据D2,并且,再现计划生成部511执行如图8所示的指令接收处理,以取代如图6所示的指令接收处理。具体而言,再现计划生成部511构成为,不执行S130的处理而执行S131的处理。
第一变形例的指令接收处理包含S131的处理以取代S130的处理,除此之外,与图6所示的上述实施方式的指令接收处理相同。虽然未在图8中示出,不过,再现计划生成部511可以在执行S131的处理后,与上述实施方式同样地执行S140之后的处理。
在S131中,再现计划生成部511参照歌词数据DL来辨别与再现乐曲相对应的歌词的语言。然后,将与辨别出的歌词语言相对应的动态图像数据D2选定为作为参照对象的动态图像数据D2。接下来,在S140以后的处理中,利用该动态图像数据D2生成再现计划。显示控制部515按照该再现计划,将与歌词语言相符的文字图像(歌词)以及背景图像的动态图像显示在显示器55上。
动态图像数据D2的创建者在创建歌词的每种语言的动态图像数据D2时,可以考虑语言之间歌词的文字个数的不同以及发话语速的不同,以定义与文字个数以及发话语速相符的文字图像以及背景图像的动态图像的方式,来创建各种语言的动态图像数据D2。
例如,在因存在汉字而使得歌词的文字个数较少并且发话语速较慢的日语中,可以有意义地使用依次逐字显示歌词的动态图像,而在比日语歌词的文字个数多且发话语速快的英语中,不能有意义地使用依次逐字显示歌词的动态图像。在英语中,为了将歌词意义传达给用户,并非以文字为单位进行显示而是以单词为单位或者以单词以上的单位进行显示更为有效。动态图像数据D2的创建者也可以考虑语言之间关于书写方向的差异,以使文字图像的运动符合书写方向的方式来定义动态图像。这里所说的书写方向的一例包含纵向(竖写)以及横向(横写)。
根据本变形例,音响再现装置50可以根据再现乐曲的歌词语言来切换所显示的动态图像。因此,能够通过显示与歌词语言相符的动态图像来进一步愉悦用户。
[第二变形例]
第二变形例的乐曲再现系统构成为,图4所示的存储单元53具有对应于乐曲的各个发行时间的动态图像数据D2,以取代对应于每种曲类型的动态图像数据D2,并且,再现计划生成部511执行如图9所示的指令接收处理,以取代如图6所示的指令接收处理。具体而言,再现计划生成部511构成为,不执行S130的处理,而执行S132的处理,并将与再现乐曲的发行时间相对应的动态图像数据D2选定为参照对象。
第二变形例的指令接收处理包含S132的处理以取代S130的处理,除此之外,与如图6所示的上述实施方式的指令接收处理相同。虽然未在图9中示出,不过,再现计划生成部511可以在执行S132的处理后,与上述实施方式同样地执行S140之后的处理。
在S132中,再现计划生成部511辨别再现乐曲的发行时间。例如,发行时间按每10年进行划分。例如,再现计划生成部511可以辨别再现乐曲的发行时间是1960年以前、1960年代、70年代、80年代、90年代、2000年代、2010年代以及1年以内的发行时间中的哪一个时间。用于辨别发行时间的信息可以包含在乐曲信息数据DF或者歌词数据DL中。
在S132中,再现计划生成部511将与上述辨别出的发行时间相对应的动态图像数据D2选定为作为参照对象的动态图像数据D2。再现计划生成部511在S140以后的处理中,利用该动态图像数据D2生成再现计划。显示控制部515按照该再现计划,将与发行时间相符的文字图像(歌词)以及背景图像的动态图像显示在显示器55上。
动态图像数据D2的创建者在创建对应于每个发行时间的动态图像数据D2时,可以考虑听乐曲的用户对该发行时间的乐曲通常感受到的印象,以定义动态图像的方式,来创建每个发行时间的动态图像数据D2。
例如,对发行时间较新的乐曲,可以在显示器55上显示令人感到新奇的动态图像,而对发行时间较早的乐曲,可以在显示器55上显示令人感到怀旧的动态图像。例如可以通过将如同播放老胶片电影时出现的竖纹和不清晰感显示在文字图像以及背景图像的动态图像上,而令用户感到怀旧。例如可以利用动态图像清晰感或图案新颖性等令用户感到新奇。
根据本实施方式,音响再现装置50可以根据再现乐曲的发行时间来切换所显示的动态图像。因此,能够通过显示与再现乐曲的新旧相符的动态图像来进一步愉悦用户。
[第三变形例]
第三变形例的乐曲再现系统3除了便携式通信终端10、音响再现装置50、第一服务器设备70、第二服务器设备90之外,还具有如图10所示的第三服务器设备95。并且,取代上述实施方式的再现计划生成部511的再现计划生成部611构成为,和第三服务器设备95进行通信,以向第三服务器设备95询问处理对象段落的歌词类别,并从第三服务器设备95获取处理对象段落的歌词类别的分类码。
第三服务器设备95具有针对于歌词的输入而输出该歌词的分类码的分类器951。由使用训练数据的机器学习构建分类器951。例如,操作者可以以歌词的每个样本为单位,利用手动操作判断该样本的歌词类别。操作者可以以每个样本为单位,使样本和所判断的歌词类别的分类码建立关联,以创建训练数据。操作者可以以使得分类器951的输入输出与该训练数据的群组所表示的歌词与分类码之间的关系建立关联的方式,令未图示出的学习器对分类器951的设计参数进行机器学习。由此,能够创建分类器951。作为机器学习算法,已知有各种各样的算法。在分类器951中可以应用这些众所周知的机器学习算法。
再现计划生成部611构成为,执行如图11所示的指令接收处理,以取代如图6所示的指令接收处理。若再现计划生成部611开始执行如图11所示的指令接收处理,则与上述实施方式的再现计划生成部511同样地执行S110~S150的处理。之后,再现计划生成部611执行S161、S162的处理,以取代S160的处理,从而选择在处理对象段落要使用的分量数据D21。然后,和上述实施方式相同,再现计划生成部611将执行S170以后的处理。
在S161中,再现计划生成部611向第三服务器设备95发送包含着在S150中提取的歌词部分的歌词类别的询问信号,并从第三服务器设备95接收包含着分类器951针对于该歌词类别的输入而输出的分类码的信号,作为其应答信号。
在S162中,再现计划生成部611基于从第三服务器设备95接收到的应答信号所表示的分类码,并参照处理对象段落的条件数据D22来确定与该分类码D221建立关联的分量数据D21,并选择所确定的分量数据D21作为在处理对象段落中要使用的分量数据D21。之后,再现计划生成部611执行S170以后的处理。
根据本变形例,再现计划生成部611通过第三服务器设备95将各段落的歌词部分输入到预先进行了机器学习的分类器951中,并从分类器951获取与该输入相对应的歌词类别的分类码,作为与该输入相对应的分类器951的输出。再现计划生成部611基于上述获取的分类码D221,从多个分量数据D21中选择用于定义与再现乐曲的歌词内容相符的动态图像的分量数据D21,并生成动态图像的再现计划。
根据本变形例,可以使用进行了机器学习的分类器951以高精度对各段落的歌词进行分类。因此,能够构建可根据歌词内容恰当地显示动态图像的乐曲再现系统3。
[第四变形例]
第四变形例的乐曲再现系统4具有基本上和上述实施方式的乐曲再现系统1相同的硬件结构。不过,如图12所示,该乐曲再现系统4构成为,取代上述实施方式的再现计划生成部511的再现计划生成部711不从第二服务器设备90获取曲类型数据DG以及乐曲结构数据DS便生成再现计划。该再现计划生成部711执行如图13所示的指令接收处理,以取代如图6所示的指令接收处理。
若再现计划生成部711开始执行如图13所示的指令接收处理,则与上述实施方式同样地执行S110、S120的处理,之后,执行S210以后的处理。
在S210中,对基于乐曲数据D1的乐曲再现时长P1与歌词数据DL示出的乐曲时长P2之间的误差E=|P1-P2|是否小于预先规定的阈值进行判断。
可以从便携式通信终端10获取该判断所需的再现时长P1的信息。例如,便携式通信终端10可以通过使向音响再现装置50发送的乐曲信息数据DF中包含由乐曲数据D1确定的再现时长P1的信息,来向音响再现装置50提供再现时长P1的信息。在本变形例中,歌词数据DL可以具有乐曲时长P2的信息。
再现计划生成部711根据误差E是否小于阈值,从音响再现装置50的存储单元53所存储的多个动态图像数据D31、D32(参照图12)中选择用于生成再现计划的动态图像数据(S220、S230)。
在本变形例中,音响再现装置50的存储单元53具有第一动态图像数据D31和第二动态图像数据D32,以取代上述实施方式中对应每种曲类型的动态图像数据D2。动态图像数据D31、D32各自均具有多个分量数据D21、以及一个条件数据D22。与上述实施方式相同,该条件数据D22用于定义每个歌词类别应使用的分量数据D21。
第一动态图像数据D31用于定义在误差E小于阈值的环境下应显示的动态图像。第二动态图像数据D32用于定义在误差E大于或等于阈值的环境下应显示的动态图像。
因此,若再现计划生成部711判断误差E小于阈值(S210:是),则转移到S220,并将动态图像数据D31、D32中的第一动态图像数据D31选定为作为参照对象的动态图像数据。另一方面,若再现计划生成部711判断误差E大于或等于阈值(S210:否),则转移到S230,并将动态图像数据D31、D32中的第二动态图像数据D32选定为作为参照对象的动态图像数据。
之后,再现计划生成部711转移到S240,参照在S220或者S230中选择的动态图像数据,来选择每一行歌词要使用的分量数据D21,并生成再现计划(S240~S280)。
即,再现计划生成部711参照歌词数据DL将乐曲所包含的歌词中的一行选定为作为处理对象的歌词部分(S240)。然后,从歌词数据DL中提取作为处理对象的歌词部分(S250),并对所提取的歌词部分进行分析,以选择与该歌词部分所属的歌词类别相对应的分量数据D21,作为在该歌词部分的歌唱区间要使用的分量数据D21(S260)。
可以参照上述选择的动态图像数据中包含的一个条件数据D22(图12),以与上述实施方式中的S160的处理相同的方式进行分量数据D21的选择。或者也可以以与第三变形例的S161、S162相同的方式进行分量数据D21的选择。
再现计划生成部711在执行S260的处理后,判断是否已对歌词包含的所有的行执行了S250~S260的处理(S270)。并且,若判断为未对所有的行执行上述处理(S270:否),则转移到S240,把未处理的一行选定为作为处理对象的歌词部分,并执行S250以后的处理。
若再现计划生成部711判断为已对所有的行都执行了上述处理(S270:是),则转移到S280。
在S280中,再现计划生成部711基于歌词数据DL以及在S260中选择的歌词的每一行的分量数据D21,生成再现计划,该再现计划用于在乐曲的各个再现位置,按照在S260中的选择,将文字图像(歌词)以及背景图像的动态图像显示在显示器55上。
即,再现计划生成部711生成用于使显示控制部515按照再现位置信号SP控制显示器55的再现计划,以使得在对歌词的每一行进行歌唱时,显示器55按照与所歌唱的行的歌词类别建立对应关系的分量数据D21具有的文本运动定义数据D211,显示文字图像(歌词)的动态图像,以及按照同一分量数据D21具有的背景运动定义数据D212,显示背景图像的动态图像。
对于乐曲中的从开始演奏直至开始歌唱这一段不存在歌词的乐曲起首区间、以及从歌唱结束直至乐曲的演奏结束这一段不存在歌词的乐曲末尾区间,再现计划生成部711基于作为参照对象的动态图像数据所具有的歌词类别为“无歌词”的分量数据D21,生成再现计划,以在显示器55上显示该区间特有的动态图像。
若再现计划生成部711如上所述在S280中生成了再现计划,则转移到S290,并向便携式通信终端10发送准备完成通知。基于以该准备完成通知作为契机而从便携式通信终端10发送过来的再现用信号SR,通过再现控制部513以及扬声器54进行乐曲再现,并且,基于再现位置信号SP以及上述再现计划,通过显示控制部515以及显示器55进行与乐曲的进展以及歌词内容相对应的动态图像的显示。
根据本变形例,如上所述根据基于乐曲数据D1的乐曲的再现时长P1与歌词数据DL示出的乐曲时长P2之间的误差E的大小,而分别使用动态图像数据D31、D32。
在误差E较大的情况下,如果以变化较激烈的动态图像来展现歌词,则有可能让用户明显感觉到动态图像和实际歌唱的歌词之间的时间滞差。由于歌词数据DL所设定的乐曲的音源与进行再现处理的乐曲数据D1的音源之间的差异而有可能产生误差E。
在误差E大于或等于阈值的情况下,如果创建动态图像数据D31、D32以显示类别为比误差E小于阈值时变化缓慢的动态图像,则能够抑制用户明显感觉到时间滞差的情况,从而能够在显示器55上显示与乐曲进展相符的恰当的动态图像。
例如,作为一行歌词的表现方法,可以考虑如图14的左区域所示的在歌唱该一行歌词期间将整行显示在显示器55上的方法,除此以外,还可以考虑在此期间,按时间顺序依次显示构成一行的多个文字的方法。图14的左区域示出沿时间轴t持续显示歌词“ABCDE”的方式。图14的右区域示出沿相同的时间轴t依次显示构成歌词“ABCDE”的文字的方式。在文字图像的动态图像中,前者是类别为变化较缓慢的动态图像的一例,后者是类别为比前者变化激烈的动态图像的一例。
按照上述主旨,动态图像数据D31、D32的创建者可以以如下方式创建动态图像数据D31、D32的分量数据D21以及条件数据D22,即:对于与相同的歌词类别建立对应关系的第一动态图像数据D31的分量数据D21以及第二动态图像数据D32的分量数据D21,使得由第二动态图像数据D32的分量数据D21定义的动态图像成为类别为比由第一动态图像数据D31的分量数据D21定义的动态图像变化缓慢的动态图像。
以上对包括变形例在内的本公开例示的实施方式进行了说明,不过本公开不限于上述实施方式,可以采用各种方式。例如,动态图像的显示形式不限于上述各示例。也可以仅设置一个全部乐曲类型通用的动态图像数据D2。既可以以每个段落为单位基于歌词内容对动态图像进行切换,也可以以每行歌词为单位基于歌词内容对动态图像进行切换,还可以以通过将乐曲的歌词整体划分得更小而定义的每个区间为单位基于歌词内容对动态图像进行切换。
可以将音响再现装置50的功能的一部分或者全部编入便携式通信终端10。即,便携式通信终端10可以构成为将动态图像数据D2存储到存储单元13。便携式通信终端10的控制单元11可以构成为,经由通信单元17从服务器设备70、90获取与作为再现处理对象的乐曲数据D1相对应的歌词数据DL、曲类型数据DG以及乐曲结构数据DS。控制单元11可以基于从服务器设备70、90获取的数据,在基于乐曲数据D1对乐曲进行再现时,配合着乐曲的进展将动态图像显示在用户界面15具有的显示装置上。可以从便携式通信终端10的扬声器(未图示)输出基于乐曲数据D1的再现音。
在将音响再现装置50具有的所有功能实质上编入便携式通信终端10的情况下,乐曲再现系统1中不需要音响再现装置50。即,可以在乐曲再现系统1、3、4中取代便携式通信终端10以及音响再现装置50而设置集成了作为便携式通信终端10以及音响再现装置50的功能的单一装置。可以利用具有一个以上的处理器和一个以上的存储器的系统来实现作为便携式通信终端10以及音响再现装置50的功能。
便携式通信终端10可以构成为,将音响再现装置50仅用作扬声器54以及显示器55。即,便携式通信终端10可以构成为,将基于乐曲数据D1的再现用信号、以及用于显示与其同步的动态图像的影像信号作为流信号发送给音响再现装置50,或者将由上述再现用信号和上述影像信号合并而成的信号作为流信号发送给音响再现装置50。在这种情况下,音响再现装置50可以进行如下动作,即,基于来自便携式通信终端10的接收信号从扬声器54再现乐曲,并将动态图像显示在显示器55上。便携式通信终端10也可以置换成台式电脑等不具备便携性的其他电子设备。
本公开的技术可以应用到与乐曲以外的再现音相对应的动态图像的显示上。可以根据与再现音相对应的话语的意思从多种动态图像中选择动态图像,也可以用所选择的动态图像显示与再现音相对应的话语。例如,当从扬声器54输出播报天气的音声时,可以在显示器55上显示与天气相对应的动态图像。
此外,可将上述实施方式中1个构成元素具有的功能分散到多个构成元素中。也可将多个构成元素具有的功能合并到1个构成元素中。可省略上述一实施方式的构成的一部分。也可以将上述一实施方式的至少一部分构成添加到上述其他实施方式的构成中,或将上述一实施方式的至少一部分构成与上述其他实施方式的构成进行置换。由记载在权利要求书的语句确定的技术思想所包含的所有形态均为本公开的实施方式。
用语间的对应关系如下所述。扬声器54对应于音响设备的一例,显示器55对应于显示设备的一例。再现计划生成部511、611、711执行的S120、S125的处理对应于获取部执行的处理的一例。再现计划生成部511、611、711执行的S130~S190、S210~S290的处理以及显示控制部515基于再现计划执行的对显示器55的显示控制对应于显示控制部执行的处理的一例。

Claims (17)

1.一种显示控制系统,其特征在于,具有:
获取部,所述获取部构成为获取通过音响设备进行再现的乐曲的歌词数据;以及
显示控制部,所述显示控制部构成为基于由所述获取部获取的所述歌词数据,将动态图像显示在显示设备上,其中,所述动态图像与通过所述音响设备进行再现的乐曲相对应,并且
所述显示控制部对由所述歌词数据所确定的所述乐曲的再现长度与由用于所述乐曲再现的乐曲数据所确定的乐曲的再现长度之间的误差进行判断,当所述误差大于基准时,以选择类别为在歌唱一行歌词期间将该一行歌词整行显示的动态图像的方式,从多种动态图像中选择类别与所述进行再现的乐曲的歌词内容相对应的动态图像,当所述误差小于基准时,选择在歌唱一行歌词期间按时间顺序依次显示构成该一行的多个文字的动态图像,并配合着通过所述音响设备进行再现的乐曲的进展,在所述显示设备上显示所选类别的动态图像,即,显示以文字形式包含所述乐曲的歌词的动态图像。
2.根据权利要求1所述的显示控制系统,其特征在于,
所述多种动态图像各自包含用于装饰所述歌词的装饰用动态图像,
对类别与所述歌词内容相对应的动态图像的选择包含对与所述歌词内容相对应的装饰用动态图像的选择。
3.根据权利要求1所述的显示控制系统,其特征在于,
所述多种动态图像各自与一个以上的单词建立对应关系,
所述显示控制部从所述多种动态图像中选择类别为与所述乐曲的歌词中包含的单词建立对应关系的动态图像。
4.根据权利要求2所述的显示控制系统,其特征在于,
所述多种动态图像各自与一个以上的单词建立对应关系,
所述显示控制部从所述多种动态图像中选择类别为与所述乐曲的歌词中包含的单词建立对应关系的动态图像。
5.根据权利要求1所述的显示控制系统,其特征在于,
所述显示控制部将所述乐曲的歌词的至少一部分输入到预先进行了机器学习的分类器中,并从所述分类器获取与所述输入相对应的歌词内容的分类信息,作为与所述输入相对应的所述分类器的输出,再基于获取的所述分类信息,从所述多种动态图像中选择类别与所述进行再现的乐曲的歌词内容相对应的动态图像。
6.根据权利要求1~5中的任一项所述的显示控制系统,其特征在于,
所述显示控制部在通过将所述乐曲的歌词整体进行分割而定义的每个区间,从所述多种动态图像中选择类别与该区间的歌词内容相对应的动态图像。
7.根据权利要求1~5中的任一项所述的显示控制系统,其特征在于,
所述显示控制部从所述多种动态图像中选择类别与所述进行再现的乐曲的歌词语言相对应的动态图像,并将所选类别的动态图像显示在所述显示设备上。
8.根据权利要求1~5中的任一项所述的显示控制系统,其特征在于,
所述显示控制部从所述多种动态图像中选择类别与所述进行再现的乐曲的发行时间相对应的动态图像,并将所选类别的动态图像显示在所述显示设备上。
9.一种显示控制方法,其特征在于,包括:
获取通过音响设备进行再现的乐曲的歌词数据;以及
基于所述歌词数据,将动态图像显示在显示设备上,其中,所述动态图像与通过所述音响设备进行再现的乐曲相对应,并且
将所述动态图像显示在所述显示设备上包括:
对由所述歌词数据所确定的所述乐曲的再现长度与由用于所述乐曲再现的乐曲数据所确定的乐曲的再现长度之间的误差进行判断,
当所述误差大于基准时,以选择类别为在歌唱一行歌词期间将该一行歌词整行显示的动态图像的方式,从多种动态图像中选择类别与所述进行再现的乐曲的歌词内容相对应的动态图像,
当所述误差小于基准时,选择在歌唱一行歌词期间按时间顺序依次显示构成该一行的多个文字的动态图像,
并配合着通过所述音响设备进行再现的乐曲的进展,在所述显示设备上显示所选类别的动态图像,即,显示以文字形式包含所述乐曲的歌词的动态图像。
10.根据权利要求9所述的显示控制方法,其特征在于,
所述多种动态图像各自包含用于装饰所述歌词的装饰用动态图像,
对类别与所述歌词内容相对应的动态图像的选择包含对与所述歌词内容相对应的装饰用动态图像的选择。
11.根据权利要求9所述的显示控制方法,其特征在于,
所述多种动态图像各自与一个以上的单词建立对应关系,
对类别与所述歌词内容相对应的动态图像的选择包含:从所述多种动态图像中选择类别为与所述乐曲的歌词中包含的单词建立对应关系的动态图像。
12.根据权利要求10所述的显示控制方法,其特征在于,
所述多种动态图像各自与一个以上的单词建立对应关系,
对类别与所述歌词内容相对应的动态图像的选择包含:从所述多种动态图像中选择类别为与所述乐曲的歌词中包含的单词建立对应关系的动态图像。
13.根据权利要求9所述的显示控制方法,其特征在于,
对类别与所述歌词内容相对应的动态图像的选择包含:将所述乐曲的歌词的至少一部分输入到预先进行了机器学习的分类器中,并从所述分类器获取与所述输入相对应的歌词内容的分类信息,作为与所述输入相对应的所述分类器的输出,再基于获取的所述分类信息,从所述多种动态图像中选择类别与所述进行再现的乐曲的歌词内容相对应的动态图像。
14.根据权利要求9~13中的任一项所述的显示控制方法,其特征在于,
对类别与所述歌词内容相对应的动态图像的选择包含:在通过将所述乐曲的歌词整体进行分割而定义的每个区间,从所述多种动态图像中选择类别与该区间的歌词内容相对应的动态图像。
15.根据权利要求9~13中的任一项所述的显示控制方法,其特征在于,
对类别与所述歌词内容相对应的动态图像的选择包含:从所述多种动态图像中选择类别与所述进行再现的乐曲的歌词语言相对应的动态图像。
16.根据权利要求9~13中的任一项所述的显示控制方法,其特征在于,
对类别与所述歌词内容相对应的动态图像的选择包含:从所述多种动态图像中选择类别与所述进行再现的乐曲的发行时间相对应的动态图像。
17.一种可计算机读取的记录介质,其存储有计算机程序,所述可计算机读取的记录介质的特征在于,
当由处理器执行所述计算机程序时,执行如权利要求9~13中的任一项所述的方法。
CN201880010777.2A 2017-02-07 2018-02-06 显示控制系统以及显示控制方法 Active CN110268467B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017020337A JP6978028B2 (ja) 2017-02-07 2017-02-07 表示制御システム、表示制御方法、及び、プログラム
JP2017-020337 2017-02-07
PCT/JP2018/004048 WO2018147286A1 (ja) 2017-02-07 2018-02-06 表示制御システム及び表示制御方法

Publications (2)

Publication Number Publication Date
CN110268467A CN110268467A (zh) 2019-09-20
CN110268467B true CN110268467B (zh) 2022-11-01

Family

ID=63107506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880010777.2A Active CN110268467B (zh) 2017-02-07 2018-02-06 显示控制系统以及显示控制方法

Country Status (5)

Country Link
US (1) US11386150B2 (zh)
EP (1) EP3582216B1 (zh)
JP (1) JP6978028B2 (zh)
CN (1) CN110268467B (zh)
WO (1) WO2018147286A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004354423A (ja) * 2003-05-27 2004-12-16 Xing Inc 音楽再生装置及びその映像表示方法
CN101520808A (zh) * 2008-02-29 2009-09-02 索尼株式会社 用于显像音频数据的方法
EP2251871A1 (en) * 2009-05-15 2010-11-17 Fujitsu Limited Portable information processing apparatus and content replaying method
CN102737676A (zh) * 2011-04-05 2012-10-17 索尼公司 音乐播放装置、音乐播放方法、程序及数据创建装置
JP2015228595A (ja) * 2014-05-31 2015-12-17 株式会社エクシング サーバ装置及びプログラム
WO2016143907A1 (ja) * 2015-03-12 2016-09-15 株式会社Six 楽曲再生システム、データ出力装置、及び楽曲再生方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5465240A (en) * 1993-01-05 1995-11-07 Mankovitz; Roy J. Apparatus and methods for displaying text in conjunction with recorded audio programs
BR0006168A (pt) * 1999-05-28 2001-04-17 Matsushita Electric Ind Co Ltd Cartão de memória de semicondutor, aparelho de reprodução, aparelho de gravação, processo de reprodução, processo de gravação, e um meio de armazenamento legìvel por computador
JP4545106B2 (ja) * 2006-03-16 2010-09-15 株式会社エクシング 配信方法、配信システム、携帯端末機、及びコンピュータプログラム
JP2010165160A (ja) * 2009-01-15 2010-07-29 Kddi Corp 楽曲分類装置、楽曲検索システム及びコンピュータプログラム
JP6474292B2 (ja) * 2015-03-24 2019-02-27 株式会社第一興商 カラオケ装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004354423A (ja) * 2003-05-27 2004-12-16 Xing Inc 音楽再生装置及びその映像表示方法
CN101520808A (zh) * 2008-02-29 2009-09-02 索尼株式会社 用于显像音频数据的方法
EP2251871A1 (en) * 2009-05-15 2010-11-17 Fujitsu Limited Portable information processing apparatus and content replaying method
CN102737676A (zh) * 2011-04-05 2012-10-17 索尼公司 音乐播放装置、音乐播放方法、程序及数据创建装置
JP2012220582A (ja) * 2011-04-05 2012-11-12 Sony Corp 音楽再生装置、音楽再生方法、プログラム、およびデータ作成装置
JP2015228595A (ja) * 2014-05-31 2015-12-17 株式会社エクシング サーバ装置及びプログラム
WO2016143907A1 (ja) * 2015-03-12 2016-09-15 株式会社Six 楽曲再生システム、データ出力装置、及び楽曲再生方法

Also Published As

Publication number Publication date
EP3582216A1 (en) 2019-12-18
WO2018147286A1 (ja) 2018-08-16
EP3582216B1 (en) 2022-12-14
CN110268467A (zh) 2019-09-20
EP3582216A4 (en) 2020-10-21
US11386150B2 (en) 2022-07-12
US20200034386A1 (en) 2020-01-30
JP6978028B2 (ja) 2021-12-08
JP2018128529A (ja) 2018-08-16

Similar Documents

Publication Publication Date Title
CN108492817B (zh) 一种基于虚拟偶像的歌曲数据处理方法及演唱交互系统
CN108806655B (zh) 歌曲的自动生成
US20240107127A1 (en) Video display method and apparatus, video processing method, apparatus, and system, device, and medium
US8719029B2 (en) File format, server, viewer device for digital comic, digital comic generation device
JP4985974B2 (ja) コミュニケーション支援方法、システムおよびサーバ装置
WO2018200267A1 (en) Automatic song generation
EP2680254A2 (en) Sound synthesis method and sound synthesis apparatus
US10878789B1 (en) Prediction-based communication latency elimination in a distributed virtualized orchestra
US11562520B2 (en) Method and apparatus for controlling avatars based on sound
US10748515B2 (en) Enhanced real-time audio generation via cloud-based virtualized orchestra
CN111145777A (zh) 一种虚拟形象展示方法、装置、电子设备及存储介质
CN108885869A (zh) 控制包含语音的音频数据的回放
CN115082602B (zh) 生成数字人的方法、模型的训练方法、装置、设备和介质
KR20120129015A (ko) 어학 컨텐츠 생성 방법 및 이를 위한 단말기
CN110268467B (zh) 显示控制系统以及显示控制方法
KR102541008B1 (ko) 화면해설 컨텐츠를 제작하는 방법 및 장치
JP7036014B2 (ja) 音声処理装置および方法
KR20130076852A (ko) 어학 컨텐츠 생성 방법 및 이를 위한 단말기
KR20180078197A (ko) 이 보이스북 편집장치 및 재생장치
JP6979738B1 (ja) サーバおよびアニメーション推薦システム、アニメーション推薦方法、プログラム
KR102488623B1 (ko) 영상 컨텐츠에 대한 합성음 실시간 생성에 기반한 컨텐츠 편집 지원 방법 및 시스템
KR102265102B1 (ko) 키네틱 타이포그래피가 적용된 자막에 대한 편집방법 및 그 전자장치
KR102353797B1 (ko) 영상 컨텐츠에 대한 합성음 실시간 생성에 기반한 컨텐츠 편집 지원 방법 및 시스템
KR102235027B1 (ko) 박자 시각화 장치, 방법 및 성악용 박자 보표
CN113486643A (zh) 歌词合成方法、终端设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant