CN111192567A - 一种智能设备的交互信息的生成方法及装置 - Google Patents
一种智能设备的交互信息的生成方法及装置 Download PDFInfo
- Publication number
- CN111192567A CN111192567A CN201911376685.9A CN201911376685A CN111192567A CN 111192567 A CN111192567 A CN 111192567A CN 201911376685 A CN201911376685 A CN 201911376685A CN 111192567 A CN111192567 A CN 111192567A
- Authority
- CN
- China
- Prior art keywords
- information
- domain
- structured data
- sentence
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000003993 interaction Effects 0.000 title claims description 14
- 230000002452 interceptive effect Effects 0.000 claims abstract description 32
- 230000007246 mechanism Effects 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 6
- 229910052573 porcelain Inorganic materials 0.000 description 15
- 239000000203 mixture Substances 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000014509 gene expression Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 240000007817 Olea europaea Species 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 239000000796 flavoring agent Substances 0.000 description 3
- 235000019634 flavors Nutrition 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241001342895 Chorus Species 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 240000005373 Panax quinquefolius Species 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 244000097160 Peniocereus greggii Species 0.000 description 1
- 235000007529 Peniocereus greggii var greggii Nutrition 0.000 description 1
- 235000009777 Peniocereus greggii var transmontanus Nutrition 0.000 description 1
- 241001425800 Pipa Species 0.000 description 1
- 241000220317 Rosa Species 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 235000013405 beer Nutrition 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- HAORKNGNJCEJBX-UHFFFAOYSA-N cyprodinil Chemical compound N=1C(C)=CC(C2CC2)=NC=1NC1=CC=CC=C1 HAORKNGNJCEJBX-UHFFFAOYSA-N 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 231100000225 lethality Toxicity 0.000 description 1
- 210000001161 mammalian embryo Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/027—Concept to speech synthesisers; Generation of natural phrases from machine-based concepts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- User Interface Of Digital Computer (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明公开了一种智能设备的交互信息的生成方法及装置,该方法包括获取用户的查询信息,查询信息包括关键词,根据关键词从结构化数据库中确定出关键词对应的结构化数据,结构化数据包括多个关键信息域和多个句子域,多个句子域是根据音视频作品的鉴赏信息和歌词信息确定的,根据结构化数据和预设的词汇表,通过带有注意力机制和copy机制的语言生成模型生成与所述用户交互的交互信息。通过增加句子域的结构化数据,并依据带有注意力机制和copy机制的语言生成模型在生成交互信息时copy句子域的结构化数据,可以丰富交互信息的内容,提高智能设备的智能化以及用户的体验。
Description
技术领域
本发明实施例涉及智能家居技术领域,尤其涉及一种智能设备的交互信息的生成方法及装置。
背景技术
科技发展日新月异,电子产品带给我们不一样的娱乐体验。智能电视、智能音箱、智能手机、平板电脑等电子产品,毫不犹豫地侵蚀了我们的生活。这些电子产品因为“智能化”更靠近我们。也正是因为智能家居内产品的智能化,使用户对智能产品的表现就有了更高的要求,语音交互体验显得尤为直观。
目前,智能家居中智能电视、智能音箱等智能产品大多使用基于固定模板的回复方式,这种基于固定模板的回复方式的缺点在于:(1)支持的句式说法单一;(2)不能生成新的东西;(3)表达不够自然生动。同时,智能电视、智能音箱等智能设备在反馈用户查询时,只是简单找到对应的影视资源或音乐资源,没有和查询结果相关的其他更多的语音交互。
发明内容
本发明实施例提供一种智能设备的交互信息的生成方法及装置,用以丰富反馈给用户的回复信息的内容,提高用户体验。
第一方面,本发明实施例提供一种智能设备的交互信息的生成方法,包括:
获取用户的查询信息;所述查询信息包括关键词;
根据所述关键词从结构化数据库中确定出所述关键词对应的结构化数据,所述结构化数据包括多个关键信息域和多个句子域,所述多个句子域是根据音视频作品的鉴赏信息和歌词信息确定的;
根据所述结构化数据和预设的词汇表,通过带有注意力机制和copy机制的语言生成模型生成与所述用户交互的交互信息,所述语音生成模型是对预设的结构化数据和交互信息的映射关系的训练集进行训练学习得到的。
上述技术方案中,通过增加句子域的结构化数据,并依据带有注意力机制和copy机制的语言生成模型在生成交互信息时copy句子域的结构化数据,可以丰富交互信息的内容,提高智能设备的智能化以及用户的体验。
可选的,所述多个句子域包括下述信息任意组合:评论域、歌词域、感受域或故事域;
所述根据音视频作品的鉴赏信息和歌词信息确定所述句子域,包括:
获取确定出所述鉴赏信息中的所述音视频作品的歌词,将预设字数的高潮部分或核心部分的歌词确定为所述歌词域;
第二方面,本发明实施例提供一种智能设备的交互信息的生成装置,包括:
获取单元,用于获取用户的查询信息;所述查询信息包括关键词;
处理单元,用于根据所述关键词从结构化数据库中确定出所述关键词对应的结构化数据,所述结构化数据包括多个关键信息域和多个句子域,所述多个句子域是根据音视频作品的鉴赏信息和歌词信息确定的;根据所述结构化数据和预设的词汇表,通过带有注意力机制和copy机制的语言生成模型生成与所述用户交互的交互信息,所述语音生成模型是对预设的结构化数据和交互信息的映射关系的训练集进行训练学习得到的。
可选的,所述多个句子域包括下述信息任意组合:评论域、歌词域、感受域或故事域;
所述处理单元具体用于:
将所述鉴赏信息进行分段,得到多个子句;确定所述多个子句的积极得分,将积极得分最高且大于设定阈值的子句确定为所述评论域;
将预设字数的高潮部分或核心部分的歌词信息确定为所述歌词域。
第三方面,本发明实施例还提供一种计算设备,包括:
存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的程序指令,按照获得的程序执行上述智能设备的交互信息的生成方法。
第四方面,本发明实施例还提供一种计算机可读非易失性存储介质,包括计算机可读指令,当计算机读取并执行所述计算机可读指令时,使得计算机执行上述智能设备的交互信息的生成方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种系统架构的示意图;
图2为本发明实施例提供的一种智能设备的交互信息的生成方法的流程示意图;
图3为本发明实施例提供的一种智能设备的交互信息的生成装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
图1示例性的示出了本发明实施例所适用的一种系统架构,该系统架构可以为智能设备100,该智能设备100可以包括处理器110、通信接口120和存储器130。
其中,通信接口120用于其他设备进行通信,收发其他设备传输的数据,实现通信。
处理器110是智能设备100的控制中心,利用各种接口和路线连接整个智能设备100的各个部分,通过运行或执行存储在存储器130内的软件程序/或模块,以及调用存储在存储器130内的数据,执行智能设备100的各种功能和处理数据。可选地,处理器110可以包括一个或多个处理单元。
存储器130可用于存储软件程序以及模块,处理器110通过运行存储在存储器130的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器 130可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据业务处理所创建的数据等。此外,存储器130可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
需要说明的是,上述图1所示的结构仅是一种示例,本发明实施例对此不做限定。
需要说明的是,本发明实施例是适用于音视频作品的,也就是音乐作品和音视频作品,为了便于描述,下面在具体解释的过程中将以音乐作品为例,本发明实施例尽是示例作用,在具体实施过程中,可以根据实际应用进行调整。
语言生成可以应用于智能电视、智能音箱、智能手机等电子设备,在反馈用户查询时与用户做更多交互,极大提升用户体验。语言生成主要有基于神经网络模型的文本生成方法和模板式文本生成方法。这两种方法都基于一个词汇表,基于词汇表中的词生成一整个句子。
对于用户查询,检索到相应的作品。音乐作品相关的内容包括:音乐名、作词、作曲、发行时间、音乐风格、主题、歌词、歌曲鉴赏,创造背景在我们知识库中是结构化数据,如表1所示。可以基于data2Text编码-解码模型,输入影片结构化数据,生成文本。这里的文本生成是用语言生成模型学习一个X 到response的映射,X就是知识库中的结构化数据,response就是生成文本,即反馈给用户的回复。
表1:音乐作品的结构化数据
但是现有的data2Text编码-解码模型基于词汇表来生成文本,要求输入的结构化数据的信息域是词汇,所以歌词信息和鉴赏信息不能很好的利用,这就限制了生成文本内容的丰富度。
基于上述描述,图2详细的示出了本发明实施例提供的一种智能设备的交互信息的生成方法的流程,该流程可以由智能设备的交互信息的生成装置执行。
如图2所示,该流程具体包括:
步骤201,获取用户的查询信息。
查询信息可以包括关键词,若用户输入的信息是一段文字,则可以提取这段文字中各关键词。例如“我想听青花瓷”,可以提取出关键词“青花瓷”。
步骤202,根据所述关键词从结构化数据库中确定出所述关键词对应的结构化数据。
在本发明实施例中结构化数据库中的每个结构化数据可以包括多个关键信息域和多个句子域,该多个句子域是根据音视频作品的鉴赏信息和歌词信息确定的。例如,以音乐作品为例,目前的结构化数据中一般包括多个关键信息域:音乐名、作词、作曲、发行时间、音乐风格、主题域、副标题。
而本发明实施例在该基础上增加了多个句子域,该多个句子域可以包括下述信息任意组合:评论域、歌词域、感受域或故事域。以音乐作品为例,本发明实施例中的结构化数据可以包括:音乐名、作词、作曲、发行时间、音乐风格、主题域、副标题、评论域、歌词域、感受域和故事域。该主题域是通过LDA主题模型获得的。
具体的,可以将鉴赏信息进行分段,得到多个子句;确定多个子句的积极得分,将积极得分最高且大于设定阈值的子句确定为评论域。将预设字数的高潮部分或核心部分的歌词信息确定为歌词域。设定阈值和预设字数可以依据经验设置。
举例来说,在对音乐作品的鉴赏信息进行处理时,首先把鉴赏信息分段为多个子句。子句需要是意义完整,独立,不依赖于上下文的句子。子句的字数也需要小于给定阈值。然后,确定所述多个子句的积极得分,将积极得分最高且大于设定阈值的子句确定为所述评论域。评论域可以包含多个维度,每个维度为一个评论子句。评论域的子句独立于上下文,使其可以直接生成在反馈语句中,而不降低生成语句整体流畅度。确定短句的积极得分的方案可以依据现有技术中语句情感数据确定的方式,本发明实施例对此不作具体限定。
在确定歌词域时,首先获取音乐作品的歌词,将符合预设字数范围的高潮部分或核心部分的歌词确定为歌词域。其中预设字数可以依据经验设置。
具体的可以通过下述示例来详细解释各个句子域:
示例一,音乐作品青花瓷的鉴赏信息为:
从《东风破》里的“一盏离愁孤灯伫立在窗口”到《发如雪》中的“你发如雪凄美了离别”再到《千里之外》里的黯然神伤“我送你离开,千里之外,你无声黑白”,离恨是歌者永恒的主题。《青花瓷》又是一首周杰伦演唱的中国风,但它这种离愁别绪被描写得更加婉转细腻,隐藏得愈加含蓄而韵味别生,仿佛青橄榄在口,可以慢慢回味。
论意境,《青花瓷》宛然一出烟雨朦胧的江南水墨山水,水云萌动之间依稀可见伊人白衣素袂裙带纷飞;论词句,《青花瓷》却是一幅笔端蕴秀临窗写就的素心笺,走笔曲折只因心似双丝网,中有千千结;论曲调,《青花瓷》仿佛微风中静静流淌石上的山泉溪涧,清泠透亮而又蜿蜒回环多有不尽之意;这三者叠加至一处,《青花瓷》一曲正如其名,恰似那“自顾自美丽”的青瓷极品,洗尽铅华,古朴典雅,清新流畅。古筝撩拨,牙板清脆,琵琶淙淙,《青花瓷》的中国风分外动人。周杰伦用“素胚”“仕女”“汉隶”等系列词汇描摹了传世青花瓷的风采,周杰伦的唱腔柔情而古朴,略带江南戏曲的雏形,绝妙填词配复古音乐,构成了一阕R&B佳作。
基于上述鉴赏信息可以得到:
a.评论域:一出烟雨朦胧的江南水墨山水。
b.歌词域:自顾自美丽。
c.感受域:仿佛青橄榄在口,可以慢慢回味。
d.主题域:离恨。
示例二,音乐作品《凉凉》的鉴赏信息为:
《凉凉》词意优美,旋律悠扬,撩人心弦,歌词丝丝入扣,旋律和歌词中所展现的点点忧伤,与杨宗纬和张碧晨的声音融合在一起,用歌声将白浅与夜华的三生纠葛娓娓道来,一句“凉凉三生三世恍然如梦”唱出了漫长岁月中的太多无奈和感慨,阳刚细腻和深情沧桑的两种嗓音碰撞,仿佛已经将听众代入那一场旷世绮恋中去。
杨宗纬用醇净细腻的声线,演绎夜华三生三世心系一人的情深不渝;张碧晨则用温柔唱出白浅对这份命中注定的惊世之爱,从憧憬、心碎到不悔的心声。
基于上述鉴赏信息可以得到:
a.评论域:词意优美,旋律悠扬。
b.歌词域:凉凉三生三世恍然如梦。
c.感受域:漫长岁月中太多无奈和感慨。
d.主题域:爱情。
e.故事域:白浅与夜华的三生纠葛,旷世绮恋。
示例三,音乐作品《东风破》的鉴赏信息为:
当《东风破》的琵琶曲萦绕在时空之中,似在伴奏,又似在哭泣。
周杰伦在《叶惠美》这张专辑中曲风颇有突破,其中《东风破》利用中国古典乐器琵琶及古代的诗词情调,并借用拥有中国古风的曲调且融入西方的 R&B曲风,歌词具有中国文化内涵,使用新派唱法和编曲技巧烘托歌曲氛围,产生含蓄、忧愁、幽雅、轻快等歌曲风格,自此“三古三新”(古辞赋、古文化、古旋律、新唱法、新编曲、新概念)中国风的曲风特点基本成型。
《东风破》延续了其惯用风格,看似不搭调却极富想像力,曲曲风行却蹦发出来的超强杀伤力,有着特殊的语境,并且用接近诗句的表达方式来书写。
基于上述鉴赏信息可以得到:
a.评论域:歌词具有中国文化内涵。
b.歌词域:谁在用琵琶弹奏一曲东风破。
c.感受域:琵琶曲萦绕在时空之中,似在伴奏,又似在哭泣。
d.主题域:离恨。
示例四,音乐作品《千里之外》的鉴赏信息为:
在《千里之外》这首歌曲里,周杰伦以R&B曲风搭配费玉清美声的唱腔,呈现强烈对比,制造出反差冲突,两种不同唱法的混合讲述了一个很凄美、感人的爱情故事,两种唱法的交替不仅完美的呼应了曾经与现在,也将两重心理展现地淋漓尽致,两种男声音色交替结合、错落有秩。周杰伦与费玉清合唱的《千里之外》,R&B特有的节奏之下后响起的费氏唱腔,拼接得恰到好处。
《千里之外》的歌词描述了一段大时代的烽火儿女情愫,一句“琴声何来、生死难猜”点出战火年代的爱情多以悲剧收场。歌词细腻描写对已逝爱的感触与感伤,方文山流畅的文笔帮歌曲加分不少。延续上一张专辑《发如雪》的悲情,周杰伦和费玉清以男男对唱的方式唱出大时代的悲歌。曲风截然不同的费玉清和周杰伦演绎的这首对唱歌曲更能经得起时间的考验。
泰式钟声营造的中国风揭开故事的序幕,方文山诗意的歌词描述了那个属于徐志摩与陆小曼的年代。感人的旋律与画面由周杰伦一手包办,从音乐到故事的发想,再延伸到音乐电影的拍摄,周杰伦一气呵成,编织这出可歌可泣的时代大剧。
《千里之外》之所以成功,原因不是单一的。首先周杰伦回到中国传统小调的世界里,发掘了更多的美感;《千里之外》正是抓住了传统音乐的精华,简单流畅的旋律瞬间就让听众为之陶醉。其二在于费玉清的相助;费玉清出道多年,演绎这首歌不仅游刃有余,也给周杰伦的R&B留足了发挥空间。其三是方文山的歌词;在这首歌曲里,方文山用平实的白描手法,勾勒出时空交错的老上海画面。
周杰伦的第三首中国风歌曲请来了台湾地区的情歌诗人费玉清老师合作,两个完全不搭调的声音在这首歌中完美融合。二十世纪初的上海,一切还是那么撩人,舞榭歌台,纸醉金迷,在欲望和金钱膨胀的年代,一个歌院里的小帮工,爱上了那个玫瑰一样的歌姬,为了她,他可以等,他可以看着她,送入别人的怀抱,为了金钱装出笑容,他可以跟着她,一路送到千里之外,只为见她回眸,那倾城一笑。歌曲充满了民国时期的风情万种,方文山的词极其淡雅,少了胭脂俗粉的困扰,千里之外更像是退去铅华后一首让我们静静欣赏的作品。
基于上述鉴赏信息可以得到:
a.评论域:简单流畅的旋律瞬间就让听众为之陶醉。
b.歌词域:琴声何来、生死难猜。
c.感受域:退去铅华后一首让我们静静欣赏的作品。
d.主题域:凄美、感人的爱情。
e.故事域:为了她,他可以等。
步骤203,根据所述结构化数据和预设的词汇表,通过带有注意力机制和copy机制的语言生成模型生成与所述用户交互的交互信息。
该语言生成模型是对预设的结构化数据和交互信息的映射关系的训练集进行训练学习得到的。该语言生成模型可以是一个序列到序列的模型(seq2seq 模型),分为编码阶段和解码阶段,语言生成模型的输入是结构化数据X,输出是交互信息Y,序列到序列的语言生成模型中融入了注意力机制和copy机制,用于对句子域中的句子进行复制生成,最终输出每个时间步t上的词的概率分布等于词汇表中词的概率分布加上注意力分布。
结构化数据中通常包含信息丰富但频率较低的单词,这些单词对于语音表达很重要,因此应适当地使用这些单词可以生成有意义的句子。词汇表中的词量有限,词汇表的大小影响模型变量和矩阵的维度,矩阵维度增加导致模型计算量增加,间接影响生成时间。但当词汇表无法很好地覆盖结构化数据中的稀有单词时,如果通过扩大词汇表中的词汇量来解决此问题,因为扩大词汇量,就会相应的延长文本生成时间。因此,在本发明实施例中,通过将Copy机制应用到智能家居的智能电视、智能音箱等设备中,来解决该问题。
Copy机制的使用,使得语言生成模型生成时,可以从输入的结构化数据中的复制内容或从目标词汇表中取词进行文本生成。
语言的基本元素:字、词、句。也就是说除了词汇表中的词,也可以用句 子作为生成元素。就像人说话、写作,也会学一些好句子。
为了可以用句子作为生成元素,也就是作为结构化数据的一部分,需要设置句子与其他词的位置关系。结构化数据可以包括:音乐名、作词、作曲、发行时间、音乐风格、主题、副标题。如果还像现有技术中的语言生成那样,生成一句“音乐的作词是谁,作曲是谁,XX邀您一起听”,很显然是不会对用户体验有提升的。所以为了使得生成的语句表达的更加生动、具体,语言生成模型应该学习一些内容生动的句子,说一些表达更优美的句子。
为了使这些“好句子”能够融入生成的上下文中。这需要语言生成模型在训练语料时,同时学习这些“好句子”在生成语句中的位置。这些“好句子”可以是表达完整的短句,从而直接在训练语句中以逗号与上下文分割,将这些短句独立为半句。再让语言生成模型学习这种位置关系,训练时,建立这些半句与结构化数据X中对应维度的映射。
由于这些“好句子”可以作为结构化数据中的维度,但是不能把““好句子”放入词汇表。因此可以使用带有copy机制的语音生成模型,Copy机制的使用,使得交互信息生成时,可以直接从结构化数据中复制这些“好句”。
以音乐作品《青花瓷》为例:
结构化数据包括:{音乐名:青花瓷;歌曲原唱:周杰伦;作词:方文山;作曲:周杰伦;音乐风格_1:流行;音乐风格_2:中国风;副标题:周杰伦演唱歌曲;发行时间:2007年;所属专辑:我很忙;主题域:离恨;评论域:一出烟雨朦胧的江南水墨山水;歌词域:自顾自美丽;感受域:仿佛青橄榄在口,可以慢慢回味}。
依据各结构化数据和词汇表,可以生成的交互信息包括:
Y1:我也喜欢周杰伦演唱的这首中国风歌曲。
Y2:《青花瓷》中有一种离恨,仿佛青橄榄在口,可以慢慢回味。
Y3:一起来听《青花瓷》,一出烟雨朦胧的江南水墨山水。
Y4:自顾自美丽,一曲《青花瓷》送给你。
自然语言生成模型会生成一个交互信息,对于相同的用户指令,每次生成的交互信息不同。
上述实施例表明,获取用户的查询信息,查询信息包括关键词,根据关键词从结构化数据库中确定出关键词对应的结构化数据,结构化数据包括多个关键信息域和多个句子域,多个句子域是根据音视频作品的鉴赏信息和歌词信息确定的,根据结构化数据和预设的词汇表,生成与用户交互的交互信息,语音生成模型是对预设的结构化数据和交互信息的映射关系的训练集进行训练学习得到的。通过增加句子域的结构化数据,并依据带有注意力机制和copy机制的语言生成模型在生成交互信息时copy句子域的结构化数据,可以丰富交互信息的内容,提高智能设备的智能化以及用户的体验。
基于相同的技术构思,图3示例性的示出了本发明实施例提供的一种智能设备的交互信息的生成装置的结构,该装置可以执行智能设备的交互信息的生成流程。
如图3所示,该装置具体包括:
获取单元301,用于获取用户的查询信息;所述查询信息包括关键词;
处理单元302,用于根据所述关键词从结构化数据库中确定出所述关键词对应的结构化数据,所述结构化数据包括多个关键信息域和多个句子域,所述多个句子域是根据音视频作品的鉴赏信息和歌词信息确定的;根据所述结构化数据和预设的词汇表,通过带有注意力机制和copy机制的语言生成模型生成与所述用户交互的交互信息,所述语音生成模型是对预设的结构化数据和交互信息的映射关系的训练集进行训练学习得到的。
可选的,所述多个句子域包括下述信息任意组合:评论域、歌词域、感受域或故事域;
所述处理单元302具体用于:
将所述鉴赏信息进行分段,得到多个子句;确定所述多个子句的积极得分,将积极得分最高且大于设定阈值的子句确定为所述评论域;
将预设字数的高潮部分或核心部分的歌词信息确定为所述歌词域。
基于相同的技术构思,本发明实施例还提供了一种计算设备,包括:
存储器,用于存储程序指令;
处理器,用于调用存储器中存储的程序指令,按照获得的程序执行上述智能设备的交互信息的生成方法。
基于相同的技术构思,本发明实施例还提供了一种计算机可读非易失性存储介质,包括计算机可读指令,当计算机读取并执行计算机可读指令时,使得计算机执行上述智能设备的交互信息的生成方法。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和 /或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/ 或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (6)
1.一种智能设备的交互信息的生成方法,其特征在于,包括:
获取用户的查询信息;所述查询信息包括关键词;
根据所述关键词从结构化数据库中确定出所述关键词对应的结构化数据,所述结构化数据包括多个关键信息域和多个句子域,所述多个句子域是根据音视频作品的鉴赏信息和歌词信息确定的;
根据所述结构化数据和预设的词汇表,通过带有注意力机制和copy机制的语言生成模型生成与所述用户交互的交互信息,所述语音生成模型是对预设的结构化数据和交互信息的映射关系的训练集进行训练学习得到的。
2.如权利要求1所述的方法,其特征在于,所述多个句子域包括下述信息任意组合:评论域、歌词域、感受域或故事域;
所述根据音视频作品的鉴赏信息和歌词信息确定所述句子域,包括:
将所述鉴赏信息进行分段,得到多个子句;确定所述多个子句的积极得分,将积极得分最高且大于设定阈值的子句确定为所述评论域;
将预设字数的高潮部分或核心部分的歌词信息确定为所述歌词域。
3.一种智能设备的交互信息的生成装置,其特征在于,包括:
获取单元,用于获取用户的查询信息;所述查询信息包括关键词;
处理单元,用于根据所述关键词从结构化数据库中确定出所述关键词对应的结构化数据,所述结构化数据包括多个关键信息域和多个句子域,所述多个句子域是根据音视频作品的鉴赏信息和歌词信息确定的;根据所述结构化数据和预设的词汇表,通过带有注意力机制和copy机制的语言生成模型生成与所述用户交互的交互信息,所述语音生成模型是对预设的结构化数据和交互信息的映射关系的训练集进行训练学习得到的。
4.如权利要求3所述的装置,其特征在于,所述多个句子域包括下述信息任意组合:评论域、歌词域、感受域或故事域;
所述处理单元具体用于:
将所述鉴赏信息进行分段,得到多个子句;确定所述多个子句的积极得分,将积极得分最高且大于设定阈值的子句确定为所述评论域;
将预设字数的高潮部分或核心部分的歌词信息确定为所述歌词域。
5.一种计算设备,其特征在于,包括:
存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的程序指令,按照获得的程序执行权利要求1至2任一项所述的方法。
6.一种计算机可读非易失性存储介质,其特征在于,包括计算机可读指令,当计算机读取并执行所述计算机可读指令时,使得计算机执行如权利要求1至2任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911376685.9A CN111192567B (zh) | 2019-12-27 | 2019-12-27 | 一种智能设备的交互信息的生成方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911376685.9A CN111192567B (zh) | 2019-12-27 | 2019-12-27 | 一种智能设备的交互信息的生成方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111192567A true CN111192567A (zh) | 2020-05-22 |
CN111192567B CN111192567B (zh) | 2023-05-02 |
Family
ID=70709470
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911376685.9A Active CN111192567B (zh) | 2019-12-27 | 2019-12-27 | 一种智能设备的交互信息的生成方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111192567B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107133209A (zh) * | 2017-03-29 | 2017-09-05 | 北京百度网讯科技有限公司 | 基于人工智能的评论生成方法及装置、设备与可读介质 |
CN108376131A (zh) * | 2018-03-14 | 2018-08-07 | 中山大学 | 基于seq2seq深度神经网络模型的关键词抽取方法 |
CN109657212A (zh) * | 2018-12-13 | 2019-04-19 | 武汉大学 | 一种基于词移距离结合词向量的音乐文案生成方法 |
CN109800390A (zh) * | 2018-12-21 | 2019-05-24 | 北京石油化工学院 | 一种个性化情感摘要的计算方法与装置 |
CN109885683A (zh) * | 2019-01-29 | 2019-06-14 | 桂林远望智能通信科技有限公司 | 一种基于K-means模型和神经网络模型的生成文本摘要的方法 |
WO2019118256A1 (en) * | 2017-12-15 | 2019-06-20 | Microsoft Technology Licensing, Llc | Generation of text from structured data |
CN109992775A (zh) * | 2019-03-25 | 2019-07-09 | 浙江大学 | 一种基于高级语义的文本摘要生成方法 |
CN110119765A (zh) * | 2019-04-18 | 2019-08-13 | 浙江工业大学 | 一种基于Seq2seq框架的关键词提取方法 |
-
2019
- 2019-12-27 CN CN201911376685.9A patent/CN111192567B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107133209A (zh) * | 2017-03-29 | 2017-09-05 | 北京百度网讯科技有限公司 | 基于人工智能的评论生成方法及装置、设备与可读介质 |
WO2019118256A1 (en) * | 2017-12-15 | 2019-06-20 | Microsoft Technology Licensing, Llc | Generation of text from structured data |
CN108376131A (zh) * | 2018-03-14 | 2018-08-07 | 中山大学 | 基于seq2seq深度神经网络模型的关键词抽取方法 |
CN109657212A (zh) * | 2018-12-13 | 2019-04-19 | 武汉大学 | 一种基于词移距离结合词向量的音乐文案生成方法 |
CN109800390A (zh) * | 2018-12-21 | 2019-05-24 | 北京石油化工学院 | 一种个性化情感摘要的计算方法与装置 |
CN109885683A (zh) * | 2019-01-29 | 2019-06-14 | 桂林远望智能通信科技有限公司 | 一种基于K-means模型和神经网络模型的生成文本摘要的方法 |
CN109992775A (zh) * | 2019-03-25 | 2019-07-09 | 浙江大学 | 一种基于高级语义的文本摘要生成方法 |
CN110119765A (zh) * | 2019-04-18 | 2019-08-13 | 浙江工业大学 | 一种基于Seq2seq框架的关键词提取方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111192567B (zh) | 2023-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
McCracken | Real Men Don't Sing: Crooning in American Culture | |
Long | Beautiful monsters: Imagining the classic in musical media | |
Booth et al. | More than Bollywood: Studies in Indian popular music | |
Rambarran | Virtual Music: Sound, Music, and Image in the Digital Era | |
Taylor et al. | Using music to interact with a virtual character | |
Esse | Encountering the improvvisatrice in Italian Opera | |
Lazarescu-Thois | From sync to surround: Walt Disney and its contribution to the aesthetics of music in animation | |
Gaunt | 13 African American Women Between Hopscotch and Hip-Hop | |
Eckstein | Torpedoing the authorship of popular music: a reading of Gorillaz'‘Feel Good Inc.’ | |
CN111192567A (zh) | 一种智能设备的交互信息的生成方法及装置 | |
Ede | Japanized flamenco: Sensory shifts in a transcultural relocation of a dance genre | |
Dhondup | Dancing to the beat of modernity: the rise and development of Tibetan pop music | |
Skjerseth | Music’s Visual Waves: Popular Music Technology and Audiovisual Aesthetics | |
Yang | A genre analysis of popular music in Taiwan | |
Majumdar | Disco Dancer and the Idioms of the Global-Popular | |
Milian | Intermedial Modernism: Music, Dance, and Sound | |
Ingamells | Grandchildren of Experimental Music-performing the compositional act by creating intriguing situations in which musical sound may occur | |
Wong | Musical Analysis in BTS'Most Beautiful Moment in Life | |
Ding | The Protection and Inheritance of Suzhou Opera | |
Shin | Singing Through Impossible Modernization: Sopyonje and National Cinema in the Era of Globalization | |
Huang | China Wind Music: Constructing an Imagined Cultural China | |
Shnur | Video Clip and Artiste’s Image as Tools of the Song Hit’s Mediavirus Action Strengthening (Based on the Ukrainian and Russian Compositions of Late 20th–Early 21st Centuries) | |
Wnezhuo | Research and Analysis of the Communication Strategy of Music Variety Shows: master’s thesis | |
Jin | Rewriting the Exotic: Acculturation in Musical Theatre Translation | |
Ou-Yang | Visualization of Music: An Aesthetic Study of the Combination of Music and Animation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 266100 Songling Road, Laoshan District, Qingdao, Shandong Province, No. 399 Applicant after: Qingdao Hisense Smart Life Technology Co.,Ltd. Applicant after: HISENSE Co.,Ltd. Address before: 266100 Songling Road, Laoshan District, Qingdao, Shandong Province, No. 399 Applicant before: QINGDAO HISENSE SMART HOME SYSTEMS Co.,Ltd. Applicant before: HISENSE Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |