CN101661783B - 信息处理设备以及信息处理方法 - Google Patents

信息处理设备以及信息处理方法 Download PDF

Info

Publication number
CN101661783B
CN101661783B CN200910168489.2A CN200910168489A CN101661783B CN 101661783 B CN101661783 B CN 101661783B CN 200910168489 A CN200910168489 A CN 200910168489A CN 101661783 B CN101661783 B CN 101661783B
Authority
CN
China
Prior art keywords
content
data
datas
moving image
music
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200910168489.2A
Other languages
English (en)
Other versions
CN101661783A (zh
Inventor
宫崎丽子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101661783A publication Critical patent/CN101661783A/zh
Application granted granted Critical
Publication of CN101661783B publication Critical patent/CN101661783B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/061—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of musical phrases, isolation of musically relevant segments, e.g. musical thumbnail generation, or for temporal structure analysis of a musical piece, e.g. determination of the movement sequence of a musical work
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/571—Chords; Chord sequences
    • G10H2210/576—Chord progression
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005—Non-interactive screen display of musical or status data
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs

Abstract

一种信息处理设备以及信息处理方法。信息处理设备包括：存储部分，用于存储多个内容数据和所述多个内容数据的特征数据；以及生成部分，用于针对多个内容数据的每个内容数据生成运动图像，每个所述运动图像具有根据相应内容数据的所述特征数据的运动，并用于生成包括所述多个内容数据的每个内容数据的运动图像的列表屏幕，其中，所述多个内容数据包括除当前播放目标以外的内容数据。

Description

信息处理设备以及信息处理方法
技术领域
本发明涉及一种信息处理设备、程序以及一种信息处理方法。
背景技术
近年来，具有音乐播放功能的信息处理设备(诸如个人计算机(PC)和便携式音乐播放装置)已经变得普遍。这种信息处理设备显示在其内部存储的多个音乐数据的列表屏幕，并播放由用户在列表屏幕上选择的音乐数据。
此外，通常在列表屏幕上为每个音乐数据显示诸如标题和艺术家名的信息。此外，通过在列表屏幕上可视地显示音乐数据的细节，可以期望增强音乐数据选择的方便性。考虑这些，对音乐数据的可视化进行了研究。
例如，JP-A-2000-207417公开了一种信息处理设备，用于在列表屏幕上显示音乐数据的频率成分的分布。此外，JP-A-2006-331155公开了一种用于选择性地显示表示内容的静止图像的显示装置。相似地，JP-A-2003-242164公开了一种用于根据乐段的特征量来生成用于缩略图的静止图像的装置。
发明内容
然而，传统的可视化只是在列表屏幕上将音乐数据表达为静止图像。因此，可以通过该可视化的静止图像来为用户提供的信息量是有限的。
因此，考虑到上述问题完成了本发明，希望提供一种新的改进了的信息处理设备、程序以及信息处理方法，能够用运动图像来表达内容数据的特征。
根据本发明的实施例，提供一种信息处理设备，包括：存储部分，存储多个内容数据和所述多个内容数据的特征数据；以及生成部分，用于针对所述多个内容数据的每个内容数据生成运动图像，每个所述运动图像具有根据相应内容数据的特征数据的运动，并用于生成包括所述多个内容数据的每个内容数据的运动图像的列表屏幕，其中，多个内容数据包括除当前播放目标以外的内容数据。
所述特征数据可以包括所述多个内容数据的每个内容数据的速度信息，以及所述生成部分可以生成这样的运动图像：随着所述多个内容数据的每个内容数据的速度变快，所述运动图像的运动更有活力。
所述列表屏幕还包括与所述多个内容数据的每个内容数据相对应的闪现部分，所述特征数据可以包括所述多个内容数据的每个内容数据的每个频率范围的强度信息，所述信息处理设备还包括检测部分，用于基于每个频率范围的强度信息检测所述多个内容数据的每个内容数据的节拍，以及所述生成部分可以根据由所述检测部分检测到的所述多个内容数据的每个内容数据的节拍在所述闪现部分中闪现图像。
所述多个内容数据的每个内容数据可以是音乐数据，以及所述每个频率范围的强度信息可以指示音乐数据中的副歌部分的每个频率范围的强度。
一个或多个颜色可以被分配给所述多个内容数据的相应流派，以及所述运动图像可以由所述一个或多个颜色中分配给所述运动图像所对应的内容数据的流派的至少一个颜色形成。
所述运动图像所对应的内容数据中包括的信号峰的数目越大，在所述一个或多个颜色中，用来形成所述运动图像的颜色的数目就越多。
所述信息处理设备还可以包括：分析部分，用于分析所述多个内容数据的每个内容数据，并用于获取所述多个内容数据的每个内容数据的特征数据。
根据本发明另一个实施例，提供一种程序，用于使计算机作为以下部分工作：存储部分，存储多个内容数据和所述多个内容数据的特征数据；以及生成部分，用于生成具有根据所述多个内容数据的每个内容数据的所述特征数据的运动的运动图像，并用于生成所述多个内容数据的、包括所述多个内容数据的每个内容数据的运动图像的列表屏幕。
根据本发明再一个实施例，提供一种信息处理方法，包括步骤：在存储介质中存储多个内容数据和所述多个内容数据的特征数据；针对多个内容数据的每个内容数据生成运动图像，所述运动图像与所述多个内容数据的每个内容数据相对应，并且每个所述运动图像具有根据相应内容数据的所述特征数据的运动；以及生成包括与所述多个内容数据的每个内容数据相对应的运动图像的列表屏幕，其中，多个内容数据包括除当前播放目标以外的内容数据。
根据上述本发明的实施例，可以用运动图像来表达内容数据的特征。
附图说明
图1是示出根据本实施例的信息处理系统的总体结构的说明图。
图2是示出PC的硬件结构的框图。
图3是示出根据本实施例的PC的结构的功能框图。
图4是示出音乐数据的分割的说明图。
图5是示出分段数据和封装数据的具体例子的说明图。
图6是示出根据本实施例的便携装置的结构的功能方框图。
图7是示出常规列表屏幕的例子的说明图。
图8是示出图标列表屏幕的例子的说明图。
图9是示出封套格子屏幕的例子的说明图。
图10是示出图标格子屏幕的例子的说明图。
图11是示出音乐数据的集簇与特征之间的关系的说明图。
图12是示出每个集簇中的方块的颜色布置的说明图。
图13是示出与第一音乐数据相对应的运动图像图标和闪现部分的说明图。
图14是示出与速度比第一音乐数据快的第二音乐数据相对应的运动图像图标和闪现部分的说明图。
图15是示出根据本实施例的信息处理系统的操作流程的顺序图。
具体实施方式
下文中，将参考附图来详细描述本发明的优选实施例。注意，在说明书及附图中，功能和结构实质上相同的结构元件用同一附图标记来表示，并且省略这些结构元件的重复说明。
将按下面所示顺序来描述该“本发明的优选实施例”。
(1)根据本实施例的信息处理系统的总体结构
(2)引出本实施例的原委
(3)PC的构造
(4)便携装置的构造
(5)根据本实施例的信息处理系统的操作
(6)结论和补充
(1)根据本实施例的信息处理系统的总体结构
(术语的说明)
首先，在描述根据本实施例的信息处理系统1的总体结构之前，下面将说明在本说明书中使用的术语。下面的说明只是各个术语的含义的例子，每个术语也可以包括其它的含义。
-内容数据
包括音频数据(诸如音乐、演讲和无线电节目)、视频数据(诸如电影、电视节目、视频节目、照片、文档、绘画和图表)以及杂项数据(诸如游戏和软件)的概念。
-速度
音乐中节拍的速度、节拍间隔。速度信息是指示特定速度(诸如四分音符＝60)的信息。
-节拍
音乐的节奏，或者音乐中的时间点。
-副歌(refrain)
音乐由例如A曲调、B曲调、副歌、结尾等构成，而该副歌在这些元素中对应着音乐的动人部分。
-流派(genre)
音乐的风格和类型。流派可以是例如家庭音乐、环境音乐、电子音乐、爵士乐、mesomusic、流行音乐、轻柔音乐(mellow music)/日本传统歌谣、咖啡音乐(café music)、bossa nova音乐等。
<信息处理系统的总体结构>
图1是示出根据本实施例的信息处理系统1的总体结构的说明图。如图1所示，信息处理系统1包括便携装置10、通信网络12、PC 20和内容服务器30。
通信网络12是从连接到通信网络12的装置传送信息的有线或无线传输线路。例如，通信网络12可以由公共网络(诸如因特网、电话网和卫星网)、包括以太网(注册商标)的各种局域网(LAN)、或广域网(WAN)构成。此外，通信网络12也可以由诸如因特网协议-虚拟专用网(IP-VPN)的租用线路网构成。
内容服务器30存储各种内容数据。此外，内容服务器30经由通信网络12与便携装置10和PC 20连接，并响应于例如来自便携装置10和PC20的请求发送内容数据。此外，在本实施例中，说明将集中在所述内容数据为音乐数据的例子上。
PC 20将通过任意方法获得的音乐数据发送给便携装置10。例如，PC 20可以从经由通信网络12连接的内容服务器30或从诸如致密盘(CD)的存储介质获得音乐数据。此外，PC 20也可以生成所获音乐数据的列表屏幕，并对由用户在列表屏幕上选择的音乐数据进行播放。
便携装置10从经由通信网络12连接的内容服务器30或者从PC 20获取音乐数据，生成所获音乐数据的列表屏幕并在显示部分16上显示该列表屏幕。此外，便携装置10对由用户经由操作部分18在列表屏幕上选择的音乐数据进行播放。
此外，在图1中，所示便携装置10和PC 20只是作为信息处理设备的例子，但信息处理设备不限于这种例子。例如，信息处理设备可以是家庭视频处理设备(DVD录像机、视频录像机等)、个人数字助理(PDA)、家庭游戏机或家用电器。此外，信息处理设备还可以是移动电话、个人手持电话系统(PHS，Personal Handyphone System)、便携式音乐播放装置、便携式视频处理装置或者便携式游戏机。
(2)引出本实施例的原委
如上所述，根据本实施例的便携装置10生成音乐数据的列表屏幕。在该列表屏幕中一般包括诸如每个音乐数据的标题和艺术家名的信息。此外，通过在列表屏幕上可视地显示音乐数据的细节，可以期望增强音乐数据选择的方便性。考虑到这一点，关于音乐数据的可视化进行了下面所述的研究。
(1)在图表上绘制多个乐段的分类结果。
(2)当乐段的声源未知时识别声源，并用图像表达乐器或人声。
(3)分析乐段的节奏或和弦进行模式，并用图像表达相应的流派。
(4)计算乐段的信号特征量(signal feature quantity)，并将该乐段和与该特征量相匹配的现有照片或图像关联起来。
(5)计算乐段的信号特征量，并生成与该特征量相匹配的图像。
(6)基于正在播放的乐段的信号信息进行可视化(一般可视化)。
然而，在上述(1)中，由于多个乐段被绘制在二维平面上，所以能够被表示的特征量被限制为二维。此外，即使使用颜色和形状，该特征量也只能在最多约4维上进行表达。因此，对于上述(1)，难以表达这样的情形：一些特征量彼此相似，而其它的特征量彼此完全不同；或者，特征量彼此接近，但难以表达“在特征量之间存在的差异程度”。
此外，对于上述(2)和(3)，由于用户难以从图像上想象音乐的情绪，因此，存在这样的情形：难以传达多个乐段之间的差异。
此外，对于上述(4)，存在这样的问题：可能没有适合所选乐段的印象的“现有的照片或图像”。此外，由于哪个图像适合乐段的印象取决于每个用户的看法，所以，乐段的特征量(feature amount)和图像的特征量之间的相似性需要与每个用户进行关联。
此外，对于上述(5)，由于生成了与乐段相匹配的图像，所以，与上述(4)相比，可以预期“歌曲和图像之间更紧密的相关性”。然而，乐段的播放时间是可变的时间序列信息，从3分钟或更短(例如，流行歌曲)到1小时或更长(例如，古其音乐)，因此，用有限大小的静止图像对其进行表达是困难的。此外，对于上述(6)，由于“乐段中当前正在播放的部分被可视化了”，所以，不能将上述(6)应用到音乐播放之前的“选择处理”。
因此，考虑到上述问题，完成了根据本实施例的PC 20和便携装置10。根据本实施例所述的PC 20和便携装置10，可以使用运动图像在列表屏幕上表达音乐数据的特征。下面将详细说明PC 20和便携装置10。
(3)PC的结构
首先，参考图2来描述根据本实施例的PC 20的硬件结构。图2是示出PC 20的硬件结构的框图。PC 20包括中央处理单元(CPU)201、只读存储器(ROM)202、随机存取存储器(RAM)203以及主机总线204。此外，PC 20包括：桥205、外部总线206、接口207、输入单元208、输出单元210、存储单元(HDD)211、驱动器212以及通信单元215。
CPU 201起算术操作处理单元和控制单元的作用，并根据各种程序控制PC 20的总体操作。此外，CPU 201也可以是微处理器。ROM 202存储要由CPU 201使用的程序、运算参数等。RAM 203临时存储CPU 201在其运行时要使用的程序、在程序的执行中适当变化的参数等。CPU 201、ROM 202和RAM 203通过由CPU总线等构造的主机总线204互联起来。
主机总线204被经由桥205连接到诸如外设部件互连/接口(PCI)总线的外部总线206。此外，主机总线204、桥205和外部总线206不一定要分开构造，它们的功能可以在单一总线中实现。
输入单元208由供用户输入信息的输入装置(诸如鼠标、键盘、触摸面板、按钮、麦克风、开关或控制杆)、用于基于用户的输入产生输入信号并将该输入信号输出到CPU 201的输入控制电路等构造。PC 20的用户可以通过操作输入单元208向PC 20输入各种数据或发出处理操作的指令。
输出单元210包括显示单元，诸如阴极射线管(CRT)显示装置、液晶显示(LCD)装置、有机发光二极管(OLED)装置或灯等。此外，输出单元210包括音频输出装置，诸如扬声器或耳机等。输出单元210输出例如播放的内容。具体说，显示单元以文本或图像的形式显示各种信息，诸如播放的视颜数据。另一方面，音频输出单元将播放的音频数据等转换成声音并将其输出。
存储单元211是用于存储数据的装置，被配置为根据本实施例的PC20的存储部分的例子。存储单元211可以包括：存储介质、用于在存储介质中记录数据的记录单元、用于从存储介质中读出数据的读出单元、用于删除存储介质中所存储的数据的删除单元等。存储单元211由例如硬盘驱动器(HDD)构造而成。存储单元211驱动硬盘，并存储要由CPU 201执行的程序以及各种数据。此外，存储单元211存储后面描述的音乐数据、分段数据和封装数据。
驱动器212是存储介质的读出器/写入器，它内置在PC 20中或外部附连到PC 20。驱动器212读出附连的可移动存储介质24(诸如，磁盘、光盘、磁光盘或半导体存储器)中存储的信息，并将该信息输出到RAM203。
通信单元215是由通信装置等构造的通信接口，用于连接到例如通信网络12和便携装置10。此外，通信单元215可以是与无线局域网(LAN)兼容的通信装置、与无线USB兼容的通信装置或进行有线通信的有线通信装置。通信单元215经由通信网络12从内容服务器30接收或向内容服务器30发送各种数据(诸如音乐数据)。
此外，上面参考图2描述了PC 20的硬件结构。由于便携装置10的硬件可以被构造为实质与PC 20的硬件相同，所以省略其说明。
图3是示出根据本实施例的PC 20的结构的功能框图。如图3所示，PC 20包括：通信部分216、数据获取部分220、存储部分224、分析部分228、操作输入部分232以及便携装置管理部分236。
通信部分216对应着图2所示的通信单元215，它具有用于向内容服务器30和便携装置10发送/从内容服务器30和便携装置10接收各种数据的发送部分和接收部分的功能。
数据获取部分220通过任意方法来获取音乐数据。例如，数据获取部分220可以向内容服务器30请求音乐数据，且可以获取响应于该请求从内容服务器30发出的音乐数据。或者，数据获取部分220也可以从存储有音乐数据的存储介质中读出音乐数据。
存储部分224是用于存储各种数据的存储介质。例如，存储部分224存储由数据获取部分220获取的音乐数据。此外，存储部分224存储由分析部分228给出的音乐数据的分析结果(分段数据、封装数据)。
此外，这种存储部分224对应着图2所示的存储单元211，并且可以是诸如非易失性存储器、磁盘、光盘或磁光(MO)盘的存储介质。非易失性存储器可以是例如电可擦除可编程只读存储器(EEPROM)或可擦除可编程ROM(EPROM)。此外，磁盘可以是硬盘、盘状磁盘等。此外，光盘可以是致密盘(CD)、可记录的数字通用盘(DVD-R)、蓝光(Blu-ray)盘(BD：注册商标)等。
分析部分228对由数据获取部分220获取的音乐数据进行分析，并获取音乐数据的特征数据(诸如分段数据或封装数据)。例如，分析部分228将某个音乐数据分成多个片段，并获取每个片段的特征数据(音乐特征量)。下面将描述音乐数据的分割以及分段数据和封装数据。
图4是示出音乐数据的分割的说明图。首先，分析部分228将被表达为如图4中上面的图所示的时域中的音乐信号的音乐数据划分成多个有意义的片段，如图4中中间的图所示。可以通过使用例如MATLAB MIR工具箱来进行该划分。
随后，分析部分228对每个片段进行分析，并在所分析的片段中检测副歌部分，如图4中下面的图所示。例如，分析部分228可以基于下面三个假设中的至少一个假设来检测副歌部分。
-假设1
副歌部分涉及可接受并且合适的长度(例如，7.7到40秒)。
-假设2
当长的部分被重复(例如，A曲调、B曲调和副歌被重复)时，该长的部分的结束部分非常可能是副歌部分。
-假设3
当某个部分是约为其大小一半的部分的重复时，该部分非常可能是副歌部分。
此外，副歌(合唱)部分的检测也可以用“Masataka Goto：SmartMusicKIOSK：Music Listening Station with Chorus-Search Function，Proceedings of Interaction 2003of IPSJ(日本信息处理协会，InformationProcessing Society of Japan)，pp.9-16，2003年2月”中所描述的方法来进行。
然后，分析部分228提取所检测到的副歌部分(或整个音乐数据)的分段数据和封装数据。在图5中示出了分段数据和封装数据的具体例子。
图5是示出分段数据和封装数据的具体例子的说明图。如图5所示，当音乐数据的标题为“音轨A”时，音乐数据的分段数据被表达为“Data￥segment2￥_TrackA.csv”。此外，音乐数据的每个片段的封装数据被表达为“Data￥envelope2￥_TrackA_1.csv”。
此外，分段数据包括下面的数据，如图5所示。
-片段ID
-片段开始时间(时间_开始，Time_begin)
-片段结束时间(时间_结束，Time_end)
-播放时间(长度，Length)
-副歌可能性的程度(副歌，Refrain)
指示副歌可能性的参数。Max＝1.0。
-调性(Key)
C＝1、C#＝2、D＝3、D#＝4、E＝5、F＝6、F#＝7、G＝8、G#＝9、A＝10、A#＝11、B＝12
-大调/小调(模式，Mode)
大调＝1，小调＝2
-速度(Tempo)
-起奏的数目(起奏，Onsets)
片段中信号峰的数目
-频段的数目(频段，Bank)
片段中的信号在频域中被分成的数目。
-封装数据的数目(Env)
片段中封装数据的数目。
-最大水平(最大水平，Max Level)
此外，封装数据是这样的数据：其中，各个频段的信号强度以时间序列的方式来描述，如图5所示。此外，在图5中示出了将每个片段划分成10个频段(频率范围)的例子。此外，频段1(频段_1)为最低的频率范围，而频段10(频段_10)为最高的频率范围。此外，信号强度的最大值被表达为“1”。
这里，返回参考图3对PC 20的结构的说明，操作输入部分232基于用户操作来接受指令和输入。例如，操作输入部分232可以包括鼠标、键盘等。
便携装置管理部分236对要存储在便携装置10中的音乐数据进行管理。例如，当操作输入部分232接受了来自用户的对某个音乐数据的转移指令时，便携装置管理部分236将音乐数据转移到便携装置10。此外，当通信部分216和便携装置10彼此连接时，便携装置管理部分236也可以自动地(并有选择地)将存储部分224中存储的音乐数据转移到便携装置10。这里，同音乐数据的转移一起，便携装置管理部分236也将音乐数据的分段数据和封装数据转移到便携装置10。
(4)便携装置的结构
随后，参考图6到图14，描述根据本实施例的便携装置10的结构。
图6是示出根据本实施例的便携装置10的结构的功能框图。如图6所示，便携装置10包括：通信部分116、数据管理部分120、存储部分124、显示生成部分128、节拍检测部分132、播放部分136、显示部分16以及操作部分18。
通信部分116是到PC 20的接口，它从PC 20接收音乐数据、分段数据、封装数据等。数据管理部分120将由通信部分116接收到的音乐数据、分段数据和封装数据存储在存储部分124中。此外，便携装置10也可以从内容服务器30直接获取音乐数据。此外，尽管在本实施例中主要描述PC 20分析音乐数据并获取分段数据和封装数据的例子，但本发明不限于该例子。例如，便携装置10可以分析从PC 20接收到的音乐数据并获取分段数据和封装数据。此外，PC 20和便携装置10这两者的功能可以在PC 20或在便携装置10中实现。
存储部分124存储音乐数据、分段数据和封装数据。和PC 20的存储部分224一样，存储部分124可以是诸如非易失性存储器、磁盘、光盘、MO盘等的存储介质。
显示生成部分128具有用于生成要在显示部分16上显示的各种列表屏幕的生成部分的功能。列表屏幕可以是常规列表屏幕、图标列表屏幕、封套格子屏幕、图标格子屏幕等。下面，将在图7到图10中示出列表屏幕的例子。
图7是示出常规列表屏幕的例子的说明图。如图7所示，常规列表屏幕包括：指示域42(包括正在播放的音乐数据的音轨标题、艺术家名和播放/暂停按钮)、封套照片44、唱片信息46以及音轨信息47A到47C。当用户选择了音轨信息47A到47C的任何一个时，便携装置10的播放部分136将播放目标切换到与音轨信息47A到47C的所选信息相对应的音乐数据。
此外，常规列表屏幕包括显示切换图标52、54、56和58。当选择了显示切换图标54时，显示生成部分128将显示切换到图标列表屏幕；当选择了显示切换图标56时，显示生成部分128将显示切换到封套格子屏幕；当选择了显示切换图标58时，显示生成部分128将显示切换到图标格子屏幕。
图8是示出图标列表屏幕的例子的说明图。如图8所示，除了指示域42、封套照片44、唱片信息46以及音轨信息47A到47C之外，图标列表屏幕还包括运动图像图标48A到48C和闪现部分49A和49B。
运动图像图标48A到48C的每一个对应着一段音乐数据，并且具有根据相应音乐数据的特征的运动。此外，图像被在闪现部分49A和49B中重复地闪现。此外，在图8所示的时刻，指示了与运动图像图标48C配对的闪现部分中的图像是关闭的。此外，运动图像图标48和闪现部分49的细节将在后面进行描述。
此外，当用户在图标列表屏幕上选择了音轨信息47A到47C和运动图像图标48A到48C的任一个时，便携装置10的播放部分136将播放目标切换到相应的音乐数据。此外，当选择了显示切换图标52时，显示生成部分128将显示切换到常规列表屏幕；当选择了显示切换图标56时，显示生成部分128将显示切换到封套格子屏幕；当选择了显示切换图标58时，显示生成部分128将显示切换到图标格子屏幕。
图9是示出封套格子屏幕的例子的说明图。如图9所示，封套格子屏幕包括指示域42以及封套照片44A到44I。封套照片44A到44I的每一个都是音乐数据所属唱片的封套照片。
此外，当用户在封套格子屏幕上选择了封套照片44A到44I的一个时，便携装置10的播放部分136将播放目标切换到与封套照片44A到44I中所选的一个封套照片相对应的音乐数据。此外，当选择了显示切换图标52时，显示生成部分128将显示切换到常规列表屏幕；当选择了显示切换图标54时，显示生成部分128将显示切换到图标列表屏幕；当选择了显示切换图标58时，显示生成部分128将显示切换到图标格子屏幕。
图10是示出图标格子屏幕的例子的说明图。如图10所示，图标格子屏幕包括：指示域42、运动图像图标48A到48I以及与运动图像图标48A到48I相配对的闪现部分49。
当用户在图标格子屏幕上选择了运动图像图标48A到48I中的一个时，便携装置10的播放部分136将播放目标切换到相应的音乐数据。此外，当选择了显示切换图标52时，显示生成部分128将显示切换到常规列表屏幕；当选择了显示切换图标54时，显示生成部分128将显示切换到图标列表屏幕；当选择了显示切换图标56时，显示生成部分128将显示切换到封套格子屏幕。
随后，将详细描述运动图像图标48和闪现部分49。
(闪现部分)
便携装置10的节拍检测部分132基于存储部分124中存储的封装数据来检测每个音乐数据的节拍。这里，由于节拍趋向于出现在低频带中，所以，节拍检测部分132可以检测低频带(例如频段1)中的封装数据的信号强度超过预定值的定时，作为节拍。
然后，显示生成部分128根据由节拍检测部分132检测到的节拍在闪现部分49中使图像闪现。具体说，显示生成部分128在由节拍检测部分132检测到节拍的定时在闪现部分49中使图像闪现。此外，在闪现部分49中闪现图像的时候，显示生成部分128可以用图像的亮度来表达节拍的力度(低频带中的信号强度)。另外，在附图中示出这样的例子：其中，闪现部分49中的图像是方形。然而，闪现部分49中的图像的形状和颜色可以是任何形状和颜色，并且可以与下面描述的音乐数据集簇或运动图像的颜色安排相匹配。
(运动图像图标)
在生成运动图像图标时，显示生成部分128将每个音乐数据都分类到图11所示的9个集簇(流派)中的一个集簇。
图11是示出音乐数据的集簇与特征之间的关系的说明图。在图11中，横轴指示音乐数据中小调的比例，而纵轴指示音乐数据的速度和音量的参数。此外，在图12中示出了图11中包括的每个方块的颜色安排。在图12中，“0”对应着家庭音乐，“1”对应着环境音乐，而“2”对应着电子音乐。相似地，“3”对应着爵士乐，“4”对应着mesomusic，“5”对应着流行音乐，“6”对应着轻柔音乐(mellow music)/日本传统歌谣，“7”对应着咖啡音乐，而“8”对应着bossa nova音乐。此外，每个集簇中的方块从左面的列算起顺序地对应着a到j。这样，尽管每个方块的颜色安排是不同的，但为了使附图清晰起见，在图11中只特别地示出家庭音乐中包括的方块的颜色。
这里，以下面的方式来计算速度和音量的参数混合。
水平＝1.0-(片段的低音量时间/片段的播放时间)
混合＝音乐速度的平均速度×水平
因此，在快速而响亮的音乐的音乐数据中，小调比例低的欢快音乐的音乐数据被分类为电子音乐，小调比例高的忧郁音乐的音乐数据被分类为家庭音乐，而小调比例不高也不低的音乐的音乐数据被分类为环境音乐。此外，可以预先设置用于估计小调比例的高或低的阈值和用于估计参数混合的阈值。此外，可以基于分段数据中包括的大调/小调(模式)来识别小调的比例。
此外，在慢速而平静的音乐的音乐数据中，小调比例低的欢快音乐的音乐数据被分类为bossa nova音乐，小调比例高的忧郁音乐的音乐数据被分类为轻柔音乐/日本传统歌谣，而小调比例不高也不低的音乐的音乐数据被分类为咖啡音乐。
此外，在具有中间参数混合的音乐的音乐数据中，小调比例低的欢快音乐的音乐数据被分类为流行音乐，小调比例高的忧郁音乐的音乐数据被分类为爵士乐，而小调比例不高也不低的音乐的音乐数据被分类为mesomusic。
在被分类的集簇中的各行中，当配置音乐数据的每个分段数据的起奏(onsets)的总数变得较大时，由便携装置10来选择较低的行中包括的颜色。因此，起奏的总数越大，所选择的颜色就越多。
此外，显示生成部分128通过移动以上述方式选择的颜色方块、以与每个片段的速度成比例的变化幅度(速度)来生成运动图像图标48。将参考图13和图14来描述运动图像图标48中的运动。
图13是示出与第一音乐数据相对应的运动图像图标48A和闪现部分49A的说明图。如图13所示，显示生成部分128生成由每个所选颜色的区域形成的运动图像图标48A。此外，显示生成部分128根据当前片段的速度随时间连续地改变运动图像图标48A内的每个颜色区域的位置和大小。此外，当处理当前不是播放部分136的播放目标的音乐数据时，运动图像图标48A重复进行与在对音乐数据中的所获取的分段数据的一部分(例如，副歌部分)进行循环播放时的运动相同的运动。此外，当处理当前是播放部分136的播放目标的音乐数据时，运动图像图标48A与当前正在播放的位置同步地进行运动。
图14是示出与在音乐速度上比第一音乐数据快的第二音乐数据相对应的运动图像图标48F和闪现部分49F的说明图。这里，图13和图14中每个图之间的时间间隔是相同的。在这种情形中，如图14所示，显示生成部分128生成具有比与第一音乐数据相对应的运动图像图标48A更有活力的运动的运动图像图标48F。此外，当每个颜色区域的运动速度更快并且每个颜色区域的尺寸的变化速度更快时，运动图像图标48的运动就表达得更有活力。此外，颜色区域的顺序和运动方向是任意的。
如上所述，根据本实施例的便携装置10能够在列表屏幕(诸如图标列表屏幕或图标格子屏幕)上显示运动图像图标48和闪现部分49。与使用静止图像的情形相比，采用这样的配置：用户能够从列表屏幕上的运动图像图标48和闪现部分49获得更大量的与音乐数据的特征相关的信息。因此，根据本实施例的便携装置10的用户能够从音乐数据的列表屏幕上高效地搜寻具有期望特征的音乐数据。
此外，在本实施例中，描述了这样的例子：其中，生成了运动图像图标48，其具有根据音乐数据特征的颜色安排和运动幅度。然而，本发明不限于该例子。例如，显示生成部分128也可以生成这样的运动图像图标：其中，对象的形状、外表等根据音乐数据的特征而变化。
(5)根据本实施例的信息处理系统的操作
接下来，将参考图15来描述根据本实施例的信息处理系统1的操作流程。
图15是示出根据本实施例的信息处理系统1的操作流程的顺序图。如图15所示，首先，PC 20的分析部分228分析音乐数据，并获得分段数据和封装数据(S304)。然后，PC 20的便携装置管理部分236将音乐数据、分段数据和封装数据传输到便携装置10(S308)。便携装置10的存储部分124存储从PC 20传输的音乐数据、分段数据和封装数据(S312)。
然后，便携装置10的显示生成部分128基于分段数据生成运动图像图标48(S316)。具体说，如上所述，基于分段数据，将音乐数据分类到9个集簇之一中，基于起奏的总数来选择要使用的颜色，并且根据音乐速度改变由所选颜色的区域形成的图像。此外，节拍检测部分132基于封装数据来检测音乐数据的节拍(S320)，且显示生成部分128生成包括根据所检测到的节拍而闪现的闪现部分49以及运动图像图标48的列表屏幕(S324)。然后，便携装置10的播放部分136开始播放由用户在列表屏幕上选择的音乐数据(S328)。
(6)结论和补充
如上所述，根据本实施例的便携装置10能够在音乐数据的列表屏幕上显示具有根据每个音乐数据的特征的颜色安排和运动的运动图像图标48。采用这种配置，用户能够基于运动图像图标48更直观地掌握音乐数据的特征。此外，在本实施例中，由于运动图像图标48可以主要针对音乐数据的副歌部分生成，所以，能够不考虑整个音乐数据的长度而使音乐数据的有代表性的特征可视化。
本领域技术人员应该明白，基于设计要求和其它因素，可以进行各种变型、组合、子组合和改变，只要在所附权利要求书及其等同物的范围内即可。
例如，在上述实施例中，描述了这样的例子：其中，便携装置10上提供的操作部分18是按钮。然而，本发明不限于这种例子。作为变型的例子，便携装置10可以被提供具有触摸面板，并且用户操作可以通过该触摸面板来检测。此外，上述9个集簇以及将音乐数据分类到其中一个集簇的分类方法只是例子，可以使用任意分类方法将音乐数据分类到任意集簇中的一个集簇中。
此外，上面描述了这样的例子：其中，PC 20的分析部分228分析音乐数据并获取分段数据和封装数据。然而，本发明不限于该例子。例如，内容服务器30可以与传输音乐数据一起传输音乐数据的分段数据和封装数据。此外，上面描述了这样的例子：其中，音乐数据由便携装置10分类到9个集簇之一中。然而，本发明不限于该例子。例如，可以预先将音乐数据被分类到的集簇添加到该音乐数据，作为属性数据。此外，通过使用分段数据和封装数据，能够轻易并大量地生成具有其它设计的运动图像图标。
此外，在本说明书中，由信息处理系统1执行的每一个步骤不一定按顺序图所示的顺序来按时间顺序进行。例如，由信息处理系统1执行的每个步骤可以包括并行处理或作为单个步骤的处理(例如，并行处理或对象处理)。
也可以生成计算机程序，该程序引导硬件(诸如内置在PC 20或便携装置10中的CPU 201、ROM 202、RAM 203等)去完成与上述PC 20或便携装置10的每个结构相对应的功能。也提供存储计算机程序的存储介质。也可以通过构造图3和图6的功能框图中所示的每个功能块使用硬件来进行所述一系列处理。
本申请包含与2008年8月26日在日本专利局所提交的日本优先专利申请JP 2008-216154中所公布的主题相关的主题，其整个内容通过引用包含于此。

Claims (8)

1.一种信息处理设备，包括：
存储部分，存储多个内容数据和所述多个内容数据的特征数据；以及
生成部分，用于针对所述多个内容数据的每个内容数据生成运动图像，每个所述运动图像具有根据相应内容数据的特征数据的运动，并用于生成包括所述多个内容数据的每个内容数据的运动图像的列表屏幕，
其中，所述多个内容数据包括除当前播放目标以外的内容数据。
2.根据权利要求1所述的信息处理设备，其中
所述特征数据包括所述多个内容数据的每个内容数据的速度信息，以及
所述生成部分生成这样的运动图像：随着所述多个内容数据的每个内容数据的速度变快，所述运动图像的运动更有活力。
3.根据权利要求2所述的信息处理设备，其中
所述列表屏幕还包括与所述多个内容数据的每个内容数据相对应的闪现部分，
所述特征数据包括所述多个内容数据的每个内容数据的每个频率范围的强度信息，
所述信息处理设备还包括检测部分，用于基于每个频率范围的强度信息检测所述多个内容数据的每个内容数据的节拍，以及
所述生成部分根据由所述检测部分检测到的所述多个内容数据的每个内容数据的节拍在所述闪现部分中闪现图像。
4.根据权利要求3所述的信息处理设备，其中
所述多个内容数据的每个内容数据是音乐数据，以及
所述每个频率范围的强度信息指示音乐数据中的副歌部分的每个频率范围的强度。
5.根据权利要求2所述的信息处理设备，其中
一个或多个颜色被分配给所述多个内容数据的相应流派，以及
所述运动图像由所述一个或多个颜色中分配给所述运动图像所对应的内容数据的流派的至少一个颜色形成。
6.根据权利要求5所述的信息处理设备，其中
所述运动图像所对应的内容数据中包括的信号峰的数目越大，在所述一个或多个颜色中，用来形成所述运动图像的颜色的数目就越多。
7.根据权利要求1到6中任一个所述的信息处理设备，还包括：
分析部分，用于分析所述多个内容数据的每个内容数据，并用于获取所述多个内容数据的每个内容数据的特征数据。
8.一种信息处理方法，包括步骤：
在存储介质中存储多个内容数据和所述多个内容数据的特征数据；
针对所述多个内容数据的每个内容数据生成运动图像，所述运动图像与所述多个内容数据的每个内容数据相对应，并且每个所述运动图像具有根据相应内容数据的所述特征数据的运动；以及
生成包括与所述多个内容数据的每个内容数据相对应的运动图像的列表屏幕，
其中，所述多个内容数据包括除当前播放目标以外的内容数据。
CN200910168489.2A 2008-08-26 2009-08-26 信息处理设备以及信息处理方法 Expired - Fee Related CN101661783B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008216154 2008-08-26
JP2008216154A JP4692596B2 (ja) 2008-08-26 2008-08-26 情報処理装置、プログラム、および情報処理方法
JP2008-216154 2008-08-26

Publications (2)

Publication Number Publication Date
CN101661783A CN101661783A (zh) 2010-03-03
CN101661783B true CN101661783B (zh) 2012-10-03

Family

ID=41724696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910168489.2A Expired - Fee Related CN101661783B (zh) 2008-08-26 2009-08-26 信息处理设备以及信息处理方法

Country Status (3)

Country Link
US (1) US8681157B2 (zh)
JP (1) JP4692596B2 (zh)
CN (1) CN101661783B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102055845A (zh) * 2010-11-30 2011-05-11 深圳市五巨科技有限公司 移动通信终端及其音乐播放器图片切换方法
US8577876B2 (en) * 2011-06-06 2013-11-05 Met Element, Inc. System and method for determining art preferences of people
US20130237317A1 (en) * 2012-03-12 2013-09-12 Samsung Electronics Co., Ltd. Method and apparatus for determining content type of video content
US9606620B2 (en) 2015-05-19 2017-03-28 Spotify Ab Multi-track playback of media content during repetitive motion activities
US9798514B2 (en) * 2016-03-09 2017-10-24 Spotify Ab System and method for color beat display in a media content environment
CN106055671B (zh) * 2016-06-03 2022-06-14 腾讯科技（深圳）有限公司 一种多媒体数据处理方法及其设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003242164A (ja) * 2002-02-19 2003-08-29 Matsushita Electric Ind Co Ltd 楽曲検索再生装置、及びそのシステム用プログラムを記録した媒体
CN101028561A (zh) * 2006-02-13 2007-09-05 索尼株式会社 内容再现列表产生装置及方法、及记录程序的记录介质
WO2008099251A1 (en) * 2007-02-15 2008-08-21 Nokia Corporation Visualization of information associated with applications in user interfaces

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2519616B2 (ja) * 1991-09-30 1996-07-31 株式会社ジャルコ Ｐｌｌ回路を用いた音楽に合わせて光る観賞用ライト点滅装置
JP3617113B2 (ja) * 1995-04-21 2005-02-02 ヤマハ株式会社 楽譜情報表示装置
JPH10124288A (ja) * 1996-10-21 1998-05-15 Olympus Optical Co Ltd アイコン表示装置
JPH10161838A (ja) * 1996-11-29 1998-06-19 Nec Corp Ｇｕｉ活用ボタン
JP4337158B2 (ja) 1999-01-20 2009-09-30 ソニー株式会社 情報提供装置及び情報提供方法
JP2001118084A (ja) * 1999-10-18 2001-04-27 Toshiba Corp オブジェクト表示制御システムおよび記録媒体
US7589727B2 (en) * 2005-01-18 2009-09-15 Haeker Eric P Method and apparatus for generating visual images based on musical compositions
JP3974624B2 (ja) 2005-05-27 2007-09-12 松下電器産業株式会社 表示装置
US7650570B2 (en) * 2005-10-04 2010-01-19 Strands, Inc. Methods and apparatus for visualizing a music library
JP2007272880A (ja) * 2006-03-08 2007-10-18 Fuji Xerox Co Ltd アイコン生成装置、アイコン生成プログラムおよびアイコン生成方法
JP2008158734A (ja) * 2006-12-22 2008-07-10 Kenwood Corp コンテンツ表示装置及びコンテンツ表示方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003242164A (ja) * 2002-02-19 2003-08-29 Matsushita Electric Ind Co Ltd 楽曲検索再生装置、及びそのシステム用プログラムを記録した媒体
CN101028561A (zh) * 2006-02-13 2007-09-05 索尼株式会社 内容再现列表产生装置及方法、及记录程序的记录介质
WO2008099251A1 (en) * 2007-02-15 2008-08-21 Nokia Corporation Visualization of information associated with applications in user interfaces

Also Published As

Publication number Publication date
JP4692596B2 (ja) 2011-06-01
US8681157B2 (en) 2014-03-25
US20100053192A1 (en) 2010-03-04
CN101661783A (zh) 2010-03-03
JP2010055140A (ja) 2010-03-11

Similar Documents

Publication Publication Date Title
CN101160615B (zh) 音乐内容重放设备和音乐内容重放方法
CN101661783B (zh) 信息处理设备以及信息处理方法
US6916978B2 (en) Systems and methods for creating, modifying, interacting with and playing musical compositions
US8921678B2 (en) Generating tones by combining sound materials
JP4469891B2 (ja) 情報処理装置及び情報処理プログラム
WO2017028686A1 (zh) 一种信息处理方法、终端设备及计算机存储介质
JP4962067B2 (ja) 楽曲再生装置、楽曲再生方法、および楽曲再生プログラム
JP2008532200A (ja) 再生リストを作成するためのスキャンシャッフル
CN103839559A (zh) 音频文件制作方法及终端设备
CN105051820B (zh) 信息处理设备和信息处理方法
JP2015081982A (ja) 電子楽器及びプログラム
JP2012058877A (ja) プレイリスト作成装置
JP2007071903A (ja) 楽曲創作支援装置
JP4313343B2 (ja) 携帯端末装置および情報表示方法
JP5510207B2 (ja) 楽音編集装置及びプログラム
JP4313340B2 (ja) 携帯端末装置および選曲方法
JP2006317872A (ja) 携帯端末装置および楽曲表現方法
WO2023273440A1 (zh) 一种生成多种音效的方法、装置和终端设备
CN113724673B (zh) 节奏型编辑器构建及节奏型编辑器生成节奏并保存节奏的方法
KR102112048B1 (ko) 악기 연주 기능을 지원하는 전자 장치 및 그의 제어 방법
JP4299747B2 (ja) 電子早見本装置
US11527225B2 (en) Sensor module, system of modules for a piano keyboard, and corresponding method
JP3873872B2 (ja) 演奏情報記録装置及びプログラム
JP2006251054A (ja) 楽音制御装置
Tomczak On the development of an interface framework in chipmusic: theoretical context, case studies and creative outcomes

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121003

Termination date: 20150826

EXPY Termination of patent right or utility model