CN102870109A - 类别生成程序、类别生成装置以及类别生成方法 - Google Patents

类别生成程序、类别生成装置以及类别生成方法 Download PDF

Info

Publication number
CN102870109A
CN102870109A CN2010800656773A CN201080065677A CN102870109A CN 102870109 A CN102870109 A CN 102870109A CN 2010800656773 A CN2010800656773 A CN 2010800656773A CN 201080065677 A CN201080065677 A CN 201080065677A CN 102870109 A CN102870109 A CN 102870109A
Authority
CN
China
Prior art keywords
classification
melody
word
video
video information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800656773A
Other languages
English (en)
Other versions
CN102870109B (zh
Inventor
藤本阳子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Client Computing Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN102870109A publication Critical patent/CN102870109A/zh
Application granted granted Critical
Publication of CN102870109B publication Critical patent/CN102870109B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种类别生成装置,其接收乐曲,提取接收到的乐曲所具有的视频信息,并将提取出的视频信息按照每个特征进行分解。然后,类别生成装置对经分解的各个视频信息,生成表示该视频信息的特征的类别。此外,类别生成装置从接收到的乐曲的视频信息中提取文字信息,并将提取出的文字信息分解为单词。然后,类别生成装置针对分解所得到的各个单词,生成能够联想到是该单词所表示的类别。此外,类别生成装置针对生成的各个类别,计算出场时间与出场次数的相加值除以文字信息中含有的总单词数和乐曲的总时间的相加值而得到的出现率,将类别与出现率关联起来。

Description

类别生成程序、类别生成装置以及类别生成方法
技术领域
本发明涉及类别生成程序、类别生成装置以及类别生成方法。
背景技术
作为将乐曲在列表等中进行分类的手法,以往所利用的分类手法使用了对乐曲自身付加的乐曲标题、作曲人、演唱艺人等文字信息。
例如已公开了这样的手法:将包含多个乐曲的模拟声音转换为数字声音,对每段乐曲确定曲首和曲尾。接下来,对与确定了曲首和曲尾的乐曲相关的文字信息(元信息)进行文字识别。然后,将确定了曲首和曲尾的乐曲与文字识别结果关联起来,由此对乐曲进行分类。
此外还公开了这样的手法:从乐曲的元信息中提取标题、演唱艺人名、类型、评论文字、速度、节拍、节奏等各个项目。然后,将提取出的各项目和提取源的乐曲关联起来,由此将乐曲分为多个类别。
在先技术文献
专利文献
专利文献1:日本特表2006-515099号公报
专利文献2:日本特开2007-26425号公报
发明内容
发明要解决的问题
但是,在以往的技术中,由于使用对乐曲付加的文字信息来对乐曲分类,因而在乐曲所付加的文字信息的信息量较少的情况下,存在无法准确地对乐曲进行分类的课题。
此外,在不利用对乐曲附加的信息而利用速度和/或曲调等音乐特征来分类的情况下,变成了专业性分类,而不是一般用户能够利用的通用性分类。此外,也考虑过对乐曲附加文字信息来分类的手法,但是对每个乐曲生成并附加文字信息的作业非常麻烦,因而并不现实。
本申请所公开的技术是鉴于上述问题而提出的,目的是提供一种类别生成程序、类别生成装置以及类别生成方法,即使在对乐曲附加的文字信息较少的情况下,也能够对乐曲准确地分类。
用于解决课题的手段
在本申请所公开的类别生成程序、类别生成装置以及类别生成方法的一个方式中,使计算机上执行:乐曲接收步骤,其接收乐曲;视频分解步骤,其提取通过所述乐曲接收步骤接收到的乐曲中所具有的视频信息,并将提取出的视频信息按照每个特征进行分解;类别生成步骤,其对通过所述视频分解步骤分解的各个视频信息,生成表示该视频信息的特征的类别。
发明效果
根据本申请所公开的类别生成程序、类别生成装置以及类别生成方法的一个方式,即使在乐曲所附加的文字信息较少的情况下,也能获得对乐曲准确分类的效果。
附图说明
图1是示出实施例1涉及的类别生成装置的结构的框图。
图2是示出实施例2涉及的类别生成装置的结构的框图。
图3是示出场景DB(数据库)中存储的信息的示例的图。
图4是示出单词DB中存储的信息的示例的图。
图5是示出计数用DB中存储的信息的示例的图。
图6是示出乐曲信息DB中存储的信息的示例的图。
图7是示出曲目列表画面的示例的图。
图8是示出曲目列表的画面细节的示例的图。
图9是示出曲目列表的菜单画面的示例的图。
图10是示出各类别的曲目列表画面的示例的图。
图11是示出实施例2涉及的类别生成装置的处理流程的流程图。
图12是示出单词解析处理的流程的流程图。
图13是示出视频解析处理的流程的流程图。
图14是示出执行类别生成程序的计算机系统的示例的图。
具体实施方式
下面,基于附图,对本申请所公开的类别生成程序、类别生成装置以及类别生成方法的实施例进行详细说明。另外,本发明并不限定于本实施例。
实施例1
图1是示出实施例1涉及的类别生成装置的结构的框图。该类别生成装置1可应用于计算机等信息处理装置,也可应用于录制电视节目的录像机或便携播放机等视频处理设备或便携型音乐播放机等各种装置。
如图1所示,类别生成装置1具有乐曲接收部1a、视频分解部1b和类别生成部1c。乐曲接收部1a接收乐曲。另外,乐曲接收部1a可以经由网络或播放线路等来进行接收,也可从存储介质中读取录制的信息。
视频分解部1b提取由乐曲接收部1a接收到的乐曲所具有的视频信息,并将提取出的视频信息按照每个特征进行分解。然后,类别生成部1c对由视频分解部1b分解的各像信息,生成表示该视频信息的特征的类别。其结果是,即使在对乐曲附加的文字信息较少的情况下,也能对乐曲准确地进行分类。
[实施例2]
另外,本申请的所公开的类别生成装置也可具有图1所示的控制部以外的各种控制部。另外,在实施例2中说明了实施例1所说明的类别生成装置以外的具有控制部等的类别生成装置的一个示例。
[类别生成装置的结构]
首先,使用图2对实施例2涉及的类别生成装置的结构进行说明。图2是示出实施例2涉及的类别生成装置的结构的框图。如图2所示,类别生成装置10具有通信控制I/F部11、输入部12、显示部13、存储部14和控制部20。
通信控制I/F部11是与其他装置连接的接口,具有例如调谐器或机顶盒等,接收播放的电视节目并输出至后述的乐曲检测部21。此外,通信控制I/F部11经由互联网等网络接收电视节目等并输出至乐曲检测部21。
输入部12是键盘和鼠标等,接收来自用户的例如类别处理开始或结束等各种操作指示,并将接收到的信息输出至控制部20等。此外,输入部12也能够接收CD或DVD等存储介质。输入部12从接收的存储介质中读取信息并输出至乐曲检测部21。下述的显示部13还与鼠标联动从而实现定点设备功能。显示部13是输出各种信息的输出单元,例如是显示下述曲目列表显示部27输出的乐曲信息等的监视器或扬声器。
存储部14是保存控制部20的各种处理所需的数据以及程序的半导体存储元件或者是硬盘等存储装置。该存储部14具有场景DB14a、单词DB 14b、计数用DB 14c和乐曲信息DB 14d。
场景DB 14a相关联地存储了表示视频特征的场景和被认为是该场景所表示的类别。例如,如图3所示那样,场景DB 14a以「编号、场景特征、类别1、类别2、类别3」的方式存储着「1、雪多、雪、冬天、白色」或「2、有彩灯、夜间、圣诞节、-」等。
此处所存储的「编号」是区分场景DB 14a中存储的记录的识别符。「场景特征」是表示分解视频时的场景特征的信息,「类别1、类别2、类别3」表示场景的类别。例如,「1、雪多、雪、冬天、白色」表示雪多的场景具有雪、冬天、白色的类别。此外,「2、有彩灯、夜间、圣诞节、-」表示存在彩灯的场景具有夜间、圣诞节的类别。另外,图3是示出场景DB中存储的信息的示例的图。
单词DB 14b相关联地存储了单词和能够联想到是该单词所表示的类别。例如,如图4所示那样,单词DB 14b以「编号、单词、类别1、类别2、类别3」的方式存储了「1、雪、雪、冬天、白色」或「2、圣诞老人、圣诞节、冬天、-」等。
在此处,所存储的「编号」是区分单词DB 14b中存储的记录的识别符。「单词」是已得到的单词,「类别1、类别2、类别3」是表示单词的类别。例如,「1、雪、雪、冬天、白色」表示单词「雪」具有雪、冬天、白色的类别。此外,「2、圣诞老人、圣诞节、冬天、-」表示单词「圣诞老人」具有圣诞节、冬天的类别。另外,图4是示出单词DB中存储的信息的示例的图。
计数用DB 14c临时保存为了对提取出的乐曲进行类别的加权而由控制部20生成的各种信息。例如,图5所示那样,计数用DB 14c以「编号、类别、出场次数、出场时间(分钟)、出现率」的方式存储了「1、冬天、12、10、80%」或「2、圣诞节、11、0、40%」等。
在此处,存储的「编号」是区分计数用DB 14c中存储的记录的识别符。「类别」是由单词解析部24或视频解析部22分类的类别。「出场次数」是由单词解析部24计数的类别的总出场次数,「出场时间」是由视频解析部22计数的类别的总出场时间。「出现率」是由出现率计算部26计算出的类别的出现率。
作为一个示例,「1、冬天、12、10、80%」表示类别=冬天在乐曲中作为单词出场了12次,作为视频出场了10分钟,其出现率是80%。此外,「2、圣诞节、11、0、40%」表示类别=圣诞节在乐曲中作为单词出场了11次,作为视频未出场,其出现率是40%。另外,图5是示出计数用DB中存储的信息的示例的图。
乐曲信息DB 14d存储由乐曲检测部21检测出的乐曲的类别分类结果。例如,如图6所示那样,乐曲信息DB 14d存储了「编号、文件名、乐曲开始位置、乐曲结束位置、节目标题、节目播放日期时间、乐曲标题、乐曲演唱者名、乐曲作词家名、乐曲作曲家名、乐曲歌词、类别」。
作为一个示例,对「1、A、0:11:15、0:16:30、AAA、2009.01.02、圣诞节之歌、aaa、aaa、aaa、ABCDE……、冬天80%/圣诞节40%」进行说明。在该情况下,在表示在“节目播放日期时间=2009.01.02”时播放的“节目标题=AAA”的节目的文件名=A中,在该节目的0:11:15~0:16:30之间演奏了乐曲。此外,该乐曲的标题是“圣诞节之歌”,乐曲演唱者名、乐曲作词家名以及乐曲的作曲家是aaa。此外,关于该“圣诞节之歌”,生成了:歌词=ABCDE……,类别为冬天(80%)和圣诞节(40%)。
作为一个示例,对「2、A、0:32:48、0:35:11、AAA、2009.01.02、生日歌、bbb、abc、aaa、FGHIJ……、生日25%」进行说明。在该情况下,在表示在“节目播放日期时间=2009.01.02”时播放的“节目标题=AAA”的节目的文件名=A中,在该节目的0:32:48~0:35:11之间演奏了乐曲。并且,该乐曲的标题是“生日歌”,乐曲的演唱者名是bbb,乐曲的作词家姓名是abc,乐曲的作曲家是aaa。此外,该“生日歌”生成了:歌词=FGHIJ……,类别生日(25%)。另外,图6是示出乐曲信息DB中存储的信息的示例的图。
控制部20是例如CPU(Central Processing Unit)等的电子电路,该CPU具有用于保存OS(Operating System)等控制程序、规定各种处理步骤等的程序以及所需数据的内部存储器。该控制部20具有乐曲检测部21、视频解析部22、文字信息提取部23、单词解析部24、节目信息提取部25、出现率计算部26和曲目列表显示部27。
乐曲检测部21从由通信控制I/F部11或输入部12接收的节目等视频数据中检测乐曲部分。例如,乐曲检测部21从视频数据中检测乐曲的开始位置和乐曲的结束位置,并将其与表示该视频数据的文件名相关联地保存在乐曲信息DB 14d中。此外,乐曲检测部21将接收到的视频数据或从视频数据中提取出的乐曲部分分别输出至视频解析部22、文字信息提取部23、节目信息提取部25和出现率计算部26。
视频解析部22提取并解析由乐曲检测部21提取出的乐曲部分的视频部分,并根据视频特征生成类别(元信息)。然后,视频解析部22在类别的生成结束时,将结束通知输出至出现率计算部26。
例如,假设视频解析部22解析文件名为A的节目的乐曲部分X的视频,得到了「雪多」的场景。在该情况下,视频解析部22参照场景DB 14a,取得作为「雪多」场景的类别的「雪、冬天、白色」。接下来,视频解析部22计算乐曲部分X中的「雪多」场景的出场时间(例如10分钟)。然后,视频解析部22将类别「雪、冬天、白色」的各自的出场时间设为10分钟,并将它们保存于计数用DB 14c。
此外,在视频解析部22解析乐曲部分X的视频而未能取得「有彩灯」场景的情况下,将与「有彩灯」场景对应的类别「夜间、圣诞节」的各自的出场时间设为0分钟并保存于计数用DB 14c。
该视频解析部22对从乐曲部分得到的全部场景执行上述处理,并计量各类别在全部乐曲中的出场总时间。也就是说,视频解析部22在上述示例之外,在从乐曲部分得到的其他场景的类别是「雪」的情况下,计量该其他场景的出场时间(例如5分钟)。然后,视频解析部22对上述示例所取得的「雪、10分钟」加上新计量的「5分钟」,并将所得到的「雪、15分钟」保存于计数用DB 14c。
文字信息提取部23提取并解析由乐曲检测部21提取出的乐曲部分的文字部分,从而取得乐曲信息。然后,文字信息提取部23将取得的乐曲信息与乐曲检测部21在乐曲信息DB 14d中保存的文件名、乐曲开始位置和乐曲结束位置相关联进行保存。此外,文字信息提取部23将从乐曲部分提取出的文字部分输出至单词解析部24。
例如,文字信息提取部23从乐曲部分的文字部分取得「乐曲标题、乐曲演唱者、乐曲作词家、乐曲作曲家、乐曲歌词」,并保存于乐曲信息DB 14d。另外,在此处取得的信息能够根据乐曲信息DB 14d存储的信息而任意地变更。此外,文字信息提取部23对于从乐曲部分的文字部分无法取得的信息,保存「无题」或「不能取得」等信息。
单词解析部24将由文字信息提取部23提取出的乐曲的文字部分分解为单词并生成类别。然后,单词解析部24在类别的生成结束时,将结束通知输出至出现率计算部26。例如,单词解析部24将由文字信息提取部23提取出的「乐曲标题」和「歌词」分别分解为单词。此外,单词解析部24将得到的总单词数输出至出现率计算部26。
作为一个示例,假设单词解析部24解析文件名为A的节目的乐曲部分X中的「乐曲标题」和「歌词」,得到单词「雪」。该情况下,单词解析部24参照单词DB 14b,取得作为单词「雪」的类别的「雪、冬天、白色」。接下来,单词解析部24计算乐曲部分X中的单词「雪」的出场次数(例如5次)。然后,单词解析部24将类别「雪、冬天、白色」出场次数计为5次,并将它们保存于计数用DB 14c。
此外,在单词解析部24解析乐曲部分X的文字部分而无法取得单词「梦」情况下,将与单词「梦」对应的类别的各自的出场时间计为0分并保存于计数用DB 14c。
该单词解析部24对从文字部分得到的全部单词执行上述的处理,并计量各类别在全部乐曲中的出场总次数。也就是说,假设单词解析部24在上述示例之外从文字部分得到单词「圣诞老人」。在该情况下,单词解析部24参照单词DB 14b,取得作为单词「圣诞老人」的类别的「圣诞节、冬天」。接下来,单词解析部24计算乐曲部分X中的单词「圣诞老人」的出场次数(例如7次)。然后,单词解析部24将类别「雪、冬天、白色」的出场次数计为7次,并将它们保存于计数用DB 14c。在此时,由于单词解析部24计量了在上述示例中取得的「冬天、5次」,所以将两者相加所得的「冬天、12次」保存于计数用DB 14c。
从而,对于由视频解析部22和单词解析部24双方取得的类别,将出场时间和出场次数双方保存于计数用DB 14c。此外,对于由视频解析部22取得但无法由单词解析部24取得的类别,将出场次数=0以及所计量的出场时间保存于计数用DB 14c。此外,对于无法由视频解析部22取得但已由单词解析部24取得的类别,将出场时间=0以及所计量的出场次数保存于计数用DB 14c。
节目信息提取部25从乐曲检测部21接收到的视频数据中取得节目信息。然后,节目信息提取部25在节目信息的取得结束时,将结束通知输出至出现率计算部26。例如,节目信息提取部25在视频数据是电视节目、录制节目或DVD等信息的情况下,从视频数据取得「节目标题、播放日期时间」。然后,节目信息提取部25将取得的「节目标题、播放日期时间」与乐曲检测部21在乐曲信息DB 14d中保存的文件名、乐曲开始位置和乐曲结束位置相关联进行保存。
出现率计算部26对于计数用DB 14c中保存的类别,使用出场次数和/或出场时间来加权。例如,出现率计算部26根据乐曲信息DB 14d计算那些在计数用DB 14c中被登记的类别所被检测出的乐曲的演奏时间。具体地说,出现率计算部26取得检测出类别「冬天」的乐曲「文件名=A」的乐曲开始位置和乐曲结束位置,并根据他们计算演奏时间。此外,出现率计算部26从单词解析部24接收从检测出类别为「冬天」的乐曲中所得到的总单词数。
然后,在类别的「出场次数=n2」、「出场时间=m2」,含有类别的乐曲的「总演奏时间=n1」、乐曲「总单词数=m1」的情况下,使出现率计算部26用「(m2+n2)/(m1+n1)×100」计算出的值来进行加权。此外,出现率计算部26对计数用DB 14c中保存的类别也计算上述运算式从而计算权重。然后,出现率计算部26将类别和权重相关联而得到的类别信息与取得该类别的文件名相关联地保存于乐曲信息DB14d。
例如,假设从文件名=A的乐曲取得的类别为「冬天」的「出场次数为14」、「出场时间为10」,含有类别的乐曲的「总演奏时间=5」、乐曲的「总单词数=25」。在该情况下,作为类别「冬天」的权重,出现率计算部26计算为「(14+10)/(5+25)×100=80」。然后,出现率计算部26将「冬天、80%」作为文件名=A的类别而保存于乐曲信息DB 14d。
曲目列表显示部27根据来自用户的请求,根据存储于乐曲信息DB 14d中的信息,生成曲目列表,并在显示部13上显示输出。例如,在由输入部12从用户接收到曲目列表显示指示的情况下,曲目列表显示部27显示如图7所示那样的曲目列表画面。图7所示的画面示例是显示乐曲信息DB 14d中存储的乐曲的标题的画面。曲目列表显示部27从存储于乐曲信息DB 14d中的信息中取得「标题、乐曲的演唱者、节目播放日期时间、节目标题、类别」,并对它们附加「显示详细数据」按钮,生成图7的画面。另外,曲目列表显示部27通过设置「追加乐曲」和「编辑乐曲信息」按钮,使用户的编辑操作成为可能。也就是说,用户通过点击「追加乐曲」或「编辑乐曲信息」按钮,能够编辑乐曲信息DB 14d中存储的信息。
此外,在用户点击了图7的画面中的「显示详细数据」按钮的情况下,曲目列表显示部27显示如图8所示那样的乐曲的详细信息。也就是说,曲目列表显示部27将乐曲信息DB 14d中存储的信息作为乐曲的详细信息来显示。
此外,在由输入部12从用户接收到曲目列表显示指示的情况下,曲目列表显示部27也能够显示如图9所示那样的菜单画面。通过显示该菜单画面,曲目列表显示部27能够提供以用户期望的信息进行排序的画面。例如,曲目列表显示部27在如图9所示那样的菜单画面的「按类别显示」被点击的情况下,从乐曲信息DB 14d取得类别,并如图10所示那样,针对取得的类别「冬天」、「离别」分别显示乐曲标题。
具体地说,曲目列表显示部27从乐曲信息DB 14d取得类别,对每一个取得的类别取得包含该类别的标题。然后,曲目列表显示部27针对每一个取得的类别显示与取得的标题对应的记录。另外,图7是示出曲目列表画面的示例的图,图8是示出曲目列表的详细画面的示例的图,图9是示出曲目列表的菜单画面的示例的图,图10是示出按类别的曲目列表画面的示例的图。
[类别生成装置的处理流程]
接下来,使用图11~图13对类别生成装置的处理流程进行说明。图11是示出实施例2涉及的类别生成装置的处理流程的流程图,图12是示出单词解析处理的流程的流程图,图13是示出视频解析处理的流程的流程图。
(类别生成装置的处理流程)
如图11所示那样,类别生成装置10的乐曲检测部21在接收到视频数据时(步骤S101:是),从视频数据提取乐曲部分(步骤S102)。
接下来,单词解析部24对提取出的乐曲的文字部分执行单词解析处理,生成类别并保存于计数用DB 14c(步骤S103)。另外,在此时,文字信息提取部23从乐曲中取得作为文字信息的「乐曲标题、乐曲的演唱者、乐曲的作词家、乐曲的作曲家、乐曲的歌词」并保存于乐曲信息DB 14d。
接下来,视频解析部22提取并解析由乐曲检测部21提取出的乐曲部分的视频部分,根据视频特征生成类别并保存于计数用DB 14c(步骤S104)。另外,在此时,节目信息提取部25从乐曲中取得「节目标题、播放日期时间」并保存于乐曲信息DB14d。
然后,出现率计算部26对计数用DB 14c中保存的类别,使用出场次数和/或出场时间来生成权重并保存于计数用DB 14c(步骤S105)。
之后,出现率计算部26将保存于计数用DB 14c中的各个类别的出场次数和出场时间、权重保存于乐曲信息DB 14d(步骤S106)。然后,出现率计算部26对计数用DB 14c清零(步骤S107)。
(单词解析处理的流程)
接下来,对在图11的步骤S103执行的单词解析处理进行说明。如图12所示那样,类别生成装置10的单词解析部24从乐曲提取文字信息(步骤S201),并将提取出的文字信息分解为单词(步骤S202)。另外,在单词解析对象的文字信息由文字信息提取部23提取的情况下,可不执行步骤S201。
接下来,单词解析部24对根据文字信息得到的总单词数进行计数(步骤S203),并取得一个所得到的单词(步骤S204)。然后,单词解析部24判定取得的单词是否已在单词DB 14b中登记(步骤S205)。
然后,在取得的单词已在单词DB 14b中登记的情况下(步骤S205:是),单词解析部24从单词DB 14b取得与该单词相关联的类别(步骤S206)。接下来,单词解析部24判定取得的类别是否已在计数用DB 14c中登记(步骤S207)。
然后,在取得的类别已在计数用DB 14c中登记的情况下(步骤S207:是),单词解析部24递增该类别的出场次数(步骤S208)。另一方面,在取得的类别未在计数用DB 14c中登记的情况下(步骤S207:否),单词解析部24在计数用DB 14c中新生成该类别的记录,并递增出场次数(步骤S209)。
此外,在步骤S205中,在取得的单词未在单词DB 14b中登记的情况下(步骤S205:否),单词解析部24判定未执行步骤S205~步骤S208的处理的单词是否存在(步骤S210)。
然后,在存在未处理的单词的情况下(步骤S210:是),单词解析部24取得未处理的单词并执行步骤S205以后的处理。另一方面,在不存在未处理的单词的情况下(步骤S210:否),单词解析部24结束单词解析处理。
(视频解析处理的流程)
接下来,对在图11的步骤S104中执行的视频解析处理进行说明。如图13所示那样,类别生成装置10的视频解析部22从乐曲提取视频信息(步骤S301),取得乐曲的总时间(步骤S302)。接下来,视频解析部22将提取出的视频信息按照每个特征(每个场景)进行分解(步骤S303)。
接下来,视频解析部22取得一个从视频信息中所得到的场景(步骤S304)并判定该场景是否已在场景DB 14a登记(步骤S305)。
然后,在取得的场景已在场景DB 14a中登记的情况下(步骤S305:是),视频解析部22从场景DB 14a取得与该场景相关联的类别(步骤S306)。接下来,视频解析部22判定取得的类别是否已在计数用DB 14c中登记(步骤S307)。
然后,在取得的类别已在计数用DB 14c中登记的情况下(步骤S307:是),视频解析部22对该类别的出场时间进行计数(步骤S308)。另一方面,在取得的类别未在计数用DB 14c中登记的情况下(步骤S307:否),视频解析部22在计数用DB 14c中新生成该类别的记录并对出场时间进行计数(步骤S309)。
此外,在取得的场景未在场景DB 14a中登记的情况下(步骤S305:否),视频解析部22判定未执行步骤S305~步骤S308的处理的场景是否存在(步骤S310)。
然后,在存在未处理的场景的情况下(步骤S310:是),视频解析部22取得未处理的场景并执行步骤S305以后的处理。另一方面,在不存在未处理的场景的情况下(步骤S310:否),视频解析部22结束视频解析处理。
[实施例2的效果]
这样,根据实施例2,即使在乐曲元信息不足的情况下,在具有视频信息情况下,能够根据该视频的特征生成表示乐曲整体印象的类别,并通过使用其元数据而对乐曲分类。并且,能够省去用户预先对乐曲赋予元数据的麻烦。
以往,即使持有含有乐曲的视频,除非用户自行输入元数据并进行整理,否则难以查找喜好的曲目并播放其视频。因此,为了欣赏音乐而收集并灵活运用视频,很难轻松做到。根据实施例1,不仅省去了用户输入元数据的麻烦,由于可以作为元数据追加类别,使得能够知晓仅靠乐曲标题难以想象到的曲目的内容,所以可以容易地进行分类和整理。其结果是,难以处理的视频数据变成能够轻松地欣赏音乐的数据,从而能够提供新的价值。
[实施例3]
到此已对本发明的实施例进行了说明,但是本发明可以实施为上述的实施例以外的各种不同的方式。因此,下面对不同的实施例进行说明。
(加权)
例如,可以对单词DB 14b或场景DB 14a中存储的类别进行加权。具体地说,假设单词=雪,类别1=雪×1.2,类别2=冬天×1.0,类别3=白色×0.8。这样,在计算出场次数时,使用该权重。也就是说,类别雪的出场次数以1.2倍进行计算,类别白色的出场次数以0.8倍进行计算。另外,上述的实施例等的类别涉及的数字仅是示例,并不限定于这些示例。此外,在实施例中自动地进行了乐曲的视频数据的检测,但优选的是,还能够手动指定任意的视频数据后再检测乐曲部分进行追加。
(系统)
此外,在本实施例说明的各处理之中,作为自动进行的处理而说明的处理的全部或一部分也可以手动进行。或者,作为手动进行的处理而说明的处理的全部或一部分也可以以公知的方法自动进行。另外,除了特别说明的情况之外,对于含有上述记载或附图中所示的处理步骤、控制过程、具体名称、各种数据和参数的信息,可以任意地变更。
此外,图示的各装置的各结构要素是功能概念性的结构,并非一定要物理地构成为图示那样。即,对例如文字信息提取部23单词解析部24进行整合等的各装置的分拆/整合的具体方式并不限定于图示的方式。也就是说,可以构成为其全部或一部分根据各种负荷或使用状况等而以任意的单位进行功能性或物理性的分拆/整合。此外,在各装置中进行的各处理功能,其全部或任意一部分可由CPU以及在该CPU中解析执行的程序来实现,或者可以实现为基于有线逻辑的硬件。
(程序)
此外,在上述的实施例中所说明的各种处理可以通过在个人计算机或工作站等的计算机系统上执行预先准备的程序来实现。因此,在下面,对执行具有与上述的实施例同样的功能的程序的计算机系统的一个示例进行说明。
图14是示出执行类别生成程序的计算机系统100的图。如图14所示那样,计算机系统100具有RAM 101、HDD 102、ROM 103、CPU 104。在此处,在ROM 103中预先存储有发挥与上面的实施例同样的功能的程序。也就是说,如图14所示那样,预先存储有乐曲检测程序103a、视频解析程序103b、文字信息提取程序103c、单词解析程序103d。此外,在ROM 103中预先存储有节目信息提取程序103e、出现率计算程序103f及曲目列表显示程序103g。
然后,在CPU 104中,通过读取并执行这些程序103a~103g,如图14所示那样,形成各处理。也就是说,形成乐曲检测处理104a、视频解析处理104b、文字信息提取处理104c、单词解析处理104d、节目信息提取处理104e、出现率计算处理104f及曲目列表显示处理104g。
另外,乐曲检测处理104a对应于图2所示的乐曲检测部21,同样地,视频解析处理104b对应于视频解析部22。此外,文字信息提取处理104c对应于文字信息提取部23,单词解析处理104d对应于单词解析部24。此外,节目信息提取处理104e对应于节目信息提取部25,出现率计算处理104f对应于出现率计算部26,曲目列表显示处理104g对应于曲目列表显示部27。
此外,在HDD 102中设置有场景表102a、单词表102b、计数用表102c及乐曲信息表102d。场景表102a对应于图2所示的场景DB14a,单词表102b对应于单词DB14b,计数用表102c对应于计数用DB14c,乐曲信息表102d对应于乐曲信息DB14d。
此外,上述的程序103a~103g不需要一定存储在ROM 103中。也可以存储在例如计算机系统100中插入的软磁盘(FD)、CD-ROM、DVD盘、磁光盘、IC卡等「可移动物理介质」中。此外,也可以存储在计算机系统100的内部和外部具有的硬盘驱动器(HDD)等「固定用物理介质」中。此外,也可以存储在经由公共线路、互联网、LAN、WAN等与计算机系统100连接的「其他计算机系统」。因此,计算机系统100可以从它们中读取并执行程序。
即,这些其他实施例所述的程序是以计算机可读取的方式记录在上述的「可移动物理介质」、「固定用物理介质」、「通信介质」等记录介质中的程序。并且,计算机系统100通过从这种记录介质中读取程序并执行从而实现与上述的实施例同样的功能。另外,该其他实施例所述的程序并不限定于由计算机系统100来执行。例如,在其他计算机系统或服务器执行程序的情况下,或着它们联动执行程序的情况下,也可以同样应用本发明。
符号说明
10类别生成装置
11通信控制I/F部
12输入部
13显示部
14存储部
14a场景DB
14b单词DB
14c计数用DB
14d乐曲信息DB
20控制部
21乐曲检测部
22视频解析部
23文字信息提取部
24单词解析部
25节目信息提取部
26出现率计算部
27曲目列表显示部

Claims (8)

1.一种类别生成程序,其用于使计算机执行以下步骤:
乐曲接收步骤,接收乐曲;
视频分解步骤,提取通过所述乐曲接收步骤接收到的乐曲所具有的视频信息,并将提取出的视频信息按照每个特征进行分解;以及
类别生成步骤,针对通过所述视频分解步骤分解的各个视频信息,生成表示该视频信息的特征的类别。
2.根据权利要求1所述的类别生成程序,其特征在于,
在所述类别生成步骤中,对生成的各个所述类别,计量分类为该类别的视频信息在所述乐曲中出场的出场时间,并将所述类别与出场时间关联起来。
3.根据权利要求1或2所述的类别生成程序,其特征在于,其还使所述计算机执行:
文字信息提取步骤,信息处理装置从通过所述乐曲接收步骤接收到的乐曲的视频信息中提取文字信息;以及
单词分解步骤,将通过所述文字信息提取步骤提取出的文字信息分解为单词,
在所述类别生成步骤中,对通过所述单词分解步骤得到的各个单词,生成能够联想到是该单词所表示的类别。
4.根据权利要求3所述的类别生成程序,其特征在于,
在所述类别生成步骤中,针对生成的各个所述类别,计量分类为该类别的单词在所述乐曲中出场的出场次数,并将所述类别和出场次数关联起来。
5.根据权利要求1~4的任何一项所述的类别生成程序,其特征在于,
在所述类别生成步骤中,将生成的各个所述类别、所述出场时间与所述出场次数关联起来。
6.根据权利要求1所述的类别生成程序,其特征在于,
在所述类别生成步骤中,针对生成的各个所述类别,计算所述出场时间与所述出场次数的相加值除以所述文字信息中所含的总单词数与所述乐曲的总时间的相加值而得到的出现率,并将所述类别与出现率关联起来。
7.一种类别生成装置,其特征在于,该类别生成装置具有:
乐曲接收部,其接收乐曲;
视频分解部,其提取由所述乐曲接收部接收的乐曲所具有的视频信息,并将提取出的视频信息按照每个特征进行分解;以及
类别生成部,其对经所述视频分解部分解的各个视频信息,生成表示该视频信息的特征的类别。
8.一种由信息处理装置执行的类别生成方法,其特征在于,包括以下步骤:
乐曲接收步骤,接收乐曲;
视频分解步骤,提取通过所述乐曲接收步骤接收到的乐曲所具有的视频信息,并将提取出的视频信息按照每个特征进行分解;以及
类别生成步骤,对通过所述视频分解步骤分解的各个视频信息,生成表示该视频信息的特征的类别。
CN201080065677.3A 2010-03-26 2010-03-26 类别生成装置以及类别生成方法 Expired - Fee Related CN102870109B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/055451 WO2011118037A1 (ja) 2010-03-26 2010-03-26 カテゴリ生成プログラム、カテゴリ生成装置およびカテゴリ生成方法

Publications (2)

Publication Number Publication Date
CN102870109A true CN102870109A (zh) 2013-01-09
CN102870109B CN102870109B (zh) 2016-03-02

Family

ID=44672626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080065677.3A Expired - Fee Related CN102870109B (zh) 2010-03-26 2010-03-26 类别生成装置以及类别生成方法

Country Status (6)

Country Link
US (1) US9047916B2 (zh)
EP (1) EP2551780A4 (zh)
JP (1) JP5516720B2 (zh)
KR (1) KR101469021B1 (zh)
CN (1) CN102870109B (zh)
WO (1) WO2011118037A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10002136B2 (en) * 2015-07-27 2018-06-19 Qualcomm Incorporated Media label propagation in an ad hoc network
US10127943B1 (en) 2017-03-02 2018-11-13 Gopro, Inc. Systems and methods for modifying videos based on music
US11017811B1 (en) * 2020-01-09 2021-05-25 Lenovo (Singapore) Pte. Ltd. Playback speed optimization
US11797548B2 (en) * 2021-09-22 2023-10-24 Entres LLC Achievement based rating system and methods with a dynamic taxonomy

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1357746A2 (en) * 2002-04-16 2003-10-29 Microsoft Corporation Describing media content in terms of degrees
US20040131255A1 (en) * 2003-01-02 2004-07-08 Yaacov Ben-Yaacov Automatic digital music library builder
JP2006190010A (ja) * 2005-01-05 2006-07-20 Brother Ind Ltd コンテンツ配信装置、コンテンツ配信方法、コンテンツ配信プログラム及びそれを記憶した記憶媒体
US20100076991A1 (en) * 2008-09-09 2010-03-25 Kabushiki Kaisha Toshiba Apparatus and method product for presenting recommended information

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3517349B2 (ja) * 1998-03-18 2004-04-12 日本電信電話株式会社 音楽映像分類方法、装置および音楽映像分類プログラムを記録した記録媒体
US6690391B1 (en) * 2000-07-13 2004-02-10 Sony Corporation Modal display, smooth scroll graphic user interface and remote command device suitable for efficient navigation and selection of dynamic data/options presented within an audio/visual system
JP4752623B2 (ja) 2005-06-16 2011-08-17 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
KR100925256B1 (ko) * 2007-05-03 2009-11-05 인하대학교 산학협력단 음성 및 음악을 실시간으로 분류하는 방법
JP4788810B2 (ja) * 2009-08-17 2011-10-05 ソニー株式会社 楽曲同定装置及び方法、楽曲同定配信装置及び方法
JP4999015B2 (ja) * 2009-08-27 2012-08-15 株式会社Kddi研究所 動画像データの分類装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1357746A2 (en) * 2002-04-16 2003-10-29 Microsoft Corporation Describing media content in terms of degrees
US20040131255A1 (en) * 2003-01-02 2004-07-08 Yaacov Ben-Yaacov Automatic digital music library builder
JP2006190010A (ja) * 2005-01-05 2006-07-20 Brother Ind Ltd コンテンツ配信装置、コンテンツ配信方法、コンテンツ配信プログラム及びそれを記憶した記憶媒体
US20100076991A1 (en) * 2008-09-09 2010-03-25 Kabushiki Kaisha Toshiba Apparatus and method product for presenting recommended information

Also Published As

Publication number Publication date
JPWO2011118037A1 (ja) 2013-07-04
KR20120137376A (ko) 2012-12-20
WO2011118037A1 (ja) 2011-09-29
EP2551780A1 (en) 2013-01-30
KR101469021B1 (ko) 2014-12-04
JP5516720B2 (ja) 2014-06-11
US9047916B2 (en) 2015-06-02
CN102870109B (zh) 2016-03-02
US20130071089A1 (en) 2013-03-21
EP2551780A4 (en) 2013-09-04

Similar Documents

Publication Publication Date Title
KR101489107B1 (ko) 멜로디 식별을 이용한 미디어 권한 관리
US8280889B2 (en) Automatically acquiring acoustic information about music
US20050015713A1 (en) Aggregating metadata for media content from multiple devices
US20060026634A1 (en) Creating standardized playlists and maintaining coherency
CN101185138B (zh) 显示装置
US20080189330A1 (en) Probabilistic Audio Networks
US20090055390A1 (en) Information sorting device and information retrieval device
JP2000067033A (ja) シ―ケンス情報生成方法及びシ―ケンス情報生成装置
JP2006501502A (ja) オーディオトラックのオーディオサムネイルを生成するシステムおよび方法
JP2012511189A (ja) コレクションプロファイルの生成及びコレクションプロファイルに基づく通信のための装置及び方法
WO2008004181A2 (en) Methods and devices for managing a play-list of digital content
US20060253207A1 (en) Methods, computer-readable media, and data structures for building an authoritative database of digital audio identifier elements and identifying media items
CN102870109B (zh) 类别生成装置以及类别生成方法
CN109190879B (zh) 一种训练改编水平评价模型、评价改编水平的方法及装置
US20090132510A1 (en) Device for enabling to represent content items through meta summary data, and method thereof
US20100063952A1 (en) Music Information Processing Apparatus, Music Delivering System, And Music Information Processing Method That Can Satisfy A Request From A User
JP4898272B2 (ja) プレイリスト検索装置およびプレイリスト検索方法
CN106775567B (zh) 一种音效匹配方法及系统
US20090292731A1 (en) Method And Apparatus For Generating A Composite Media File
US20040182225A1 (en) Portable custom media server
CN113486209A (zh) 一种音频曲目识别方法、设备及可读存储介质
JP3529254B2 (ja) カラオケ装置
CN101023427A (zh) 提供符合性信息的方法
US20240012855A1 (en) Method, service server and computer-readable medium for matching music usage log and copyright holder
Waters et al. Music metadata in a new key: Metadata and annotation for music in a digital world

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190220

Address after: Kanagawa

Patentee after: Fujitsu Personal Computer Co., Ltd.

Address before: Kawasaki, Kanagawa, Japan

Patentee before: Fujitsu Ltd.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160302

Termination date: 20190326