CN111221987A - 混合音频标记方法和装置 - Google Patents
混合音频标记方法和装置 Download PDFInfo
- Publication number
- CN111221987A CN111221987A CN201911397491.7A CN201911397491A CN111221987A CN 111221987 A CN111221987 A CN 111221987A CN 201911397491 A CN201911397491 A CN 201911397491A CN 111221987 A CN111221987 A CN 111221987A
- Authority
- CN
- China
- Prior art keywords
- audio
- current object
- identity
- time period
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000001360 synchronised effect Effects 0.000 claims abstract description 12
- 230000001815 facial effect Effects 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000002372 labelling Methods 0.000 description 6
- 238000000926 separation method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005034 decoration Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/432—Query formulation
- G06F16/433—Query formulation using audio data
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种混合音频标记方法和装置。其中,该方法包括:获取待标记的第一音频,和与第一音频同步的第一视频,其中,第一音频中包括多个对象的音频,第一视频中包括多个对象的面部信息;识别第一视频中当前对象的口型,得到当前对象产生音频的第一时间段,其中,多个对象中包括当前对象;为第一音频中处于第一时间段的目标音频添加当前对象的身份标识。本发明解决了对混合音频进行标记效率低的技术问题。
Description
技术领域
本发明涉及计算机领域,具体而言,涉及一种混合音频标记方法和装置。
背景技术
现有技术中,在对预定场景进行录音之后,录音中通常包含了多个人的音频信息,录音内容为混合音频。而在对混合音频中的音频信息进行分割前,通常需要对混合音频中的音频进行身份的标记,以区分每一句是由谁说的。而标记方法,一般为人为的播放混合音频,并将混合音频中的每一段是谁的音频进行标记。
而若是采用上述方法,则对混合音频进行标记的效率低,进一步造成对混合音频进行分离的效率低。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种混合音频标记方法和装置,以至少解决对混合音频进行标记效率低的技术问题。
根据本发明实施例的一个方面,提供了一种混合音频标记方法,包括:获取待标记的第一音频,和与上述第一音频同步的第一视频,其中,上述第一音频中包括多个对象的音频,上述第一视频中包括上述多个对象的面部信息;识别上述第一视频中当前对象的口型,得到上述当前对象产生音频的第一时间段,其中,上述多个对象中包括上述当前对象;为上述第一音频中处于上述第一时间段的目标音频添加上述当前对象的身份标识。
作为一种可选的示例,上述识别上述第一视频中上述当前对象的口型,得到上述当前对象产生音频的第一时间段包括:识别上述第一视频的每一帧中,上述当前对象的第一面部信息;将上述第一面部信息中,口型处于打开状态的第一帧图像所在的时间点作为上述第一时间段的开始时间点;将上述第一面部信息中,口型处于打开状态的最后一针图像所在的时间点作为上述第一时间段的结束时间点。
作为一种可选的示例,在为上述第一音频中处于上述第一时间段的上述目标音频添加上述当前对象的上述身份标识之前,上述方法还包括:将上述当前对象的第一面部信息与数据库中预存的多个面部信息进行比对,其中,上述数据库中预存的每一个上述面部信息对应一个身份标识;在上述第一面部信息与上述数据库中的当前面部信息的相似度大于或等于第二阈值的情况下,将上述当前面部信息对应的身份标识确定为上述当前对象的身份标识;在上述第一面部信息与上述数据库中的每个上述面部信息的相似度均小于上述第二阈值的情况下,为上述当前对象创建身份标识;将上述当前对象的上述第一面部信息与上述当前对象的身份标识保存到上述数据库中。
作为一种可选的示例,在为上述第一音频中处于上述第一时间段的上述目标音频添加上述当前对象的上述身份标识之后,上述方法还包括:将上述目标音频转换成第一文字信息;获取上述当前对象的目标文字信息,其中,上述目标文字信息为上述第一视频中上述当前对象陈述的内容;在上述第一文字信息与上述目标文字信息相似度大于或等于第一阈值的情况下,将上述第一文字信息添加到与上述当前对象的身份标识对应的存储位置;在上述第一文字信息与上述目标文字信息相似度小于第一阈值的情况下,删除为上述目标音频添加的上述身份标识。
作为一种可选的示例,在为上述第一音频中处于上述第一时间段的上述目标音频添加上述当前对象的上述身份标识之后,上述方法还包括:从上述第一音频中截取上述目标音频;将截取的上述目标音频存储到与上述当前对象的身份标识对应的存储位置。
根据本发明实施例的另一方面,还提供了一种混合音频标记装置,包括:第一获取单元,用于获取待标记的第一音频,和与上述第一音频同步的第一视频,其中,上述第一音频中包括多个对象的音频,上述第一视频中包括上述多个对象的面部信息;识别单元,用于识别上述第一视频中当前对象的口型,得到上述当前对象产生音频的第一时间段,其中,上述多个对象中包括上述当前对象;第一添加单元,用于为上述第一音频中处于上述第一时间段的目标音频添加上述当前对象的身份标识。
作为一种可选的示例,上述识别单元包括:识别模块,用于识别上述第一视频的每一帧中,上述当前对象的第一面部信息;第一确定模块,用于将上述第一面部信息中,口型处于打开状态的第一帧图像所在的时间点作为上述第一时间段的开始时间点;第二确定模块,用于将上述第一面部信息中,口型处于打开状态的最后一针图像所在的时间点作为上述第一时间段的结束时间点。
作为一种可选的示例,上述装置还包括:比对单元,用于在为上述第一音频中处于上述第一时间段的上述目标音频添加上述当前对象的上述身份标识之前,将上述当前对象的第一面部信息与数据库中预存的多个面部信息进行比对,其中,上述数据库中预存的每一个上述面部信息对应一个身份标识;确定单元,用于在上述第一面部信息与上述数据库中的当前面部信息的相似度大于或等于第二阈值的情况下,将上述当前面部信息对应的身份标识确定为上述当前对象的身份标识;创建单元,用于在上述第一面部信息与上述数据库中的每个上述面部信息的相似度均小于上述第二阈值的情况下,为上述当前对象创建身份标识;保存单元,用于将上述当前对象的上述第一面部信息与上述当前对象的身份标识保存到上述数据库中。
作为一种可选的示例,上述装置还包括:转换单元,用于在为上述第一音频中处于上述第一时间段的上述目标音频添加上述当前对象的上述身份标识之后,将上述目标音频转换成第一文字信息;第二获取单元,用于获取上述当前对象的目标文字信息,其中,上述目标文字信息为上述第一视频中上述当前对象陈述的内容;第二添加单元,用于在上述第一文字信息与上述目标文字信息相似度大于或等于第一阈值的情况下,将上述第一文字信息添加到与上述当前对象的身份标识对应的存储位置;删除单元,用于在上述第一文字信息与上述目标文字信息相似度小于第一阈值的情况下,删除为上述目标音频添加的上述身份标识。
作为一种可选的示例,上述装置还包括:截取单元,用于在为上述第一音频中处于上述第一时间段的上述目标音频添加上述当前对象的上述身份标识之后,从上述第一音频中截取上述目标音频;存储单元,用于将截取的上述目标音频存储到与上述当前对象的身份标识对应的存储位置。
在本发明实施例中,采用获取待标记的第一音频,和与上述第一音频同步的第一视频,其中,上述第一音频中包括多个对象的音频,上述第一视频中包括上述多个对象的面部信息;识别上述第一视频中当前对象的口型,得到上述当前对象产生音频的第一时间段,其中,上述多个对象中包括上述当前对象;为上述第一音频中处于上述第一时间段的目标音频添加上述当前对象的身份标识的方式,通过识别视频当前对象说话的时间段,从而给对应的第一音频中对应的时间段添加当前对象的身份标识,从而可以为第一音频添加多个对象的身份标识,区分第一音频的各个时间段,提高了对混合音频进行标识的效率,进而解决了对混合音频进行标记效率低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种可选的混合音频标记方法的流程示意图;
图2是根据本发明实施例的一种可选的混合音频标记装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面,提供了一种混合音频标记方法,可选地,作为一种可选的实施方式,如图1所示,上述混合音频标记方法包括:
S102,获取待标记的第一音频,和与第一音频同步的第一视频,其中,第一音频中包括多个对象的音频,第一视频中包括多个对象的面部信息;
S104,识别第一视频中当前对象的口型,得到当前对象产生音频的第一时间段,其中,多个对象中包括当前对象;
S106,为第一音频中处于第一时间段的目标音频添加当前对象的身份标识。
可选地,上述混合音频标记方法可以但不限于应用于可以计算数据的终端上,例如手机、平板电脑、笔记本电脑、PC机等终端上,终端可以通过网络与服务器进行交互,上述网络可以包括但不限于无线网络或有线网络。其中,该无线网络包括:WIFI及其他实现无线通信的网络。上述有线网络可以包括但不限于:广域网、城域网、局域网。上述服务器可以包括但不限于任何可以进行计算的硬件设备。
可选地,本方案可以应用于对混合语音进行分离或者分离前的标记过程中。混合语音的类型不做限制。如会议语音、记录交易过程的语音,记录服务过程的语音等。
例如,以会议混合语音为例,对会议混合语音进行分离前,通常需要对各个时间段进行标记,以区分混合语音的各个时间段是谁在数话。可以获取会议的视频和会议的音频记录,视频与音频记录同步。通过识别视频中每一个对象的面部信息,确定每一个对象的发声时间段。在将该时间段标注到音频记录中。从而可以得到每一段音频记录对应的发声者。
可选地,本方案中在识别一个当前对象的口型时,可以识别第一视频的每一帧中,当前对象的第一面部信息;将第一面部信息中,口型处于打开状态的第一帧图像所在的时间点作为第一时间段的开始时间点;将第一面部信息中,口型处于打开状态的最后一针图像所在的时间点作为第一时间段的结束时间点。
例如,第一视频中包括当前对象的面部信息的时间段有30秒,则识别30秒中,哪一帧的视频帧是第一张口型打开的视频帧,那一张视频帧是最后一张口型打开的视频帧。口型打开可以为口型上下嘴唇距离大于预定阈值。通过识别到口型的张开的时间段,从而确定出当前对象发声的第一时间段。
可选地,可以为每一位对象设置对应的身份标识。例如,预先设置数据库,数据库中存储有多个对象的面部信息与身份标识。在获取当前对象的第一面部信息之后,比对第一面部信息与数据库中的每一个面部信息,确定当前对象的身份标识。若是数据库中没有匹配的面部信息,则将第一面部信息保存到数据库中,并添加对应的身份标识。身份标识可以添加临时的身份标识,如仅以不同的数字起区分作用,或者记录详细的身份标识,如具体身份等。
可选地,本方案中在识别口型的过程中,还可以识别出当前对象所陈述的内容。如,通过识别视频,识别出当前对象陈述的内容为内容1,在通过第一时间段标记目标音频后,将目标音频转换成第一文字信息,例如为内容2,比对内容1与内容2,若是两者相同或者相似度大于或等于第一阈值,则确定出当前对象陈述的内容,将该内容存储到与当前对象对应的存储位置。若是两者不相同,则说明标注的目标音频可能存在错误,此时,可以删除为目标音频添加的身份标识,重新标注或者取消标注。在标注目标音频后,还可以将目标音频从第一音频中复制或者裁剪出来,然后将截取出来的目标音频存储到与当前对象对应的存储位置。
以下结合一个具体示例进行说明。在多人场景中,利用摄像头获取视频图像,对视频图像进行人脸识别,并对人脸识别结果进行标记,得到脸部ID。
获取脸部ID:提取视频图像中的人脸特征,将人脸特征与人脸模型库进行比对,若从人脸模型库中能够匹配到相应的人脸特征模板,则将相匹配的人脸特征模板对应的脸部ID赋予该人脸特征;若无相匹配的人脸特征模板,则对该人脸特征进行新赋值(得到一个新的ID),并将该人脸特征存放到人脸模型库中。该方法可以获取到每一位对象的身份标识。数据库中可以预存有员工或者固定参会人员等需要预先准备的人员的信息。
对视频图像进行口型图像识别,得到口型识别结果;其中,口型识别结果包括:发音判断结果和发音时间段。
将脸部ID与发音时间段进行聚类,获得每个脸部ID对应的发音时间段。
利用语音采集设备获取多人混合语音,对多人混合语音进行语音识别和标记处理,将语音时长与发音时间段进行比较,判断同步性得到同步性结果,若语音时长与发音时间段同步,则在该语音时长对应的语音识别文本上添加发音时间段对应的人脸ID;从而达到确认每段语音识别文本的发音主体的目的。还可以对语音进行分段:判断语音之间的停顿时间,若停顿时间大于一个预设时间值,则认为这是一段语音。
还可以识别口型得到每一位对象陈述的内容,将标记的语音转换为文字,比对文字与陈述的内容,以确定标注过程是否正确。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面,还提供了一种用于实施上述混合音频标记方法的混合音频标记装置。如图2所示,该装置包括:
(1)第一获取单元202,用于获取待标记的第一音频,和与第一音频同步的第一视频,其中,第一音频中包括多个对象的音频,第一视频中包括多个对象的面部信息;
(2)识别单元204,用于识别第一视频中当前对象的口型,得到当前对象产生音频的第一时间段,其中,多个对象中包括当前对象;
(3)第一添加单元206,用于为第一音频中处于第一时间段的目标音频添加当前对象的身份标识。
可选地,本方案可以应用于对混合语音进行分离或者分离前的标记过程中。混合语音的类型不做限制。如会议语音、记录交易过程的语音,记录服务过程的语音等。
例如,以会议混合语音为例,对会议混合语音进行分离前,通常需要对各个时间段进行标记,以区分混合语音的各个时间段是谁在数话。可以获取会议的视频和会议的音频记录,视频与音频记录同步。通过识别视频中每一个对象的面部信息,确定每一个对象的发声时间段。在将该时间段标注到音频记录中。从而可以得到每一段音频记录对应的发声者。
可选地,本方案中在识别一个当前对象的口型时,可以识别第一视频的每一帧中,当前对象的第一面部信息;将第一面部信息中,口型处于打开状态的第一帧图像所在的时间点作为第一时间段的开始时间点;将第一面部信息中,口型处于打开状态的最后一针图像所在的时间点作为第一时间段的结束时间点。
例如,第一视频中包括当前对象的面部信息的时间段有30秒,则识别30秒中,哪一帧的视频帧是第一张口型打开的视频帧,那一张视频帧是最后一张口型打开的视频帧。口型打开可以为口型上下嘴唇距离大于预定阈值。通过识别到口型的张开的时间段,从而确定出当前对象发声的第一时间段。
可选地,可以为每一位对象设置对应的身份标识。例如,预先设置数据库,数据库中存储有多个对象的面部信息与身份标识。在获取当前对象的第一面部信息之后,比对第一面部信息与数据库中的每一个面部信息,确定当前对象的身份标识。若是数据库中没有匹配的面部信息,则将第一面部信息保存到数据库中,并添加对应的身份标识。身份标识可以添加临时的身份标识,如仅以不同的数字起区分作用,或者记录详细的身份标识,如具体身份等。
可选地,本方案中在识别口型的过程中,还可以识别出当前对象所陈述的内容。如,通过识别视频,识别出当前对象陈述的内容为内容1,在通过第一时间段标记目标音频后,将目标音频转换成第一文字信息,例如为内容2,比对内容1与内容2,若是两者相同或者相似度大于或等于第一阈值,则确定出当前对象陈述的内容,将该内容存储到与当前对象对应的存储位置。若是两者不相同,则说明标注的目标音频可能存在错误,此时,可以删除为目标音频添加的身份标识,重新标注或者取消标注。在标注目标音频后,还可以将目标音频从第一音频中复制或者裁剪出来,然后将截取出来的目标音频存储到与当前对象对应的存储位置。
以下结合一个具体示例进行说明。在多人场景中,利用摄像头获取视频图像,对视频图像进行人脸识别,并对人脸识别结果进行标记,得到脸部ID。
获取脸部ID:提取视频图像中的人脸特征,将人脸特征与人脸模型库进行比对,若从人脸模型库中能够匹配到相应的人脸特征模板,则将相匹配的人脸特征模板对应的脸部ID赋予该人脸特征;若无相匹配的人脸特征模板,则对该人脸特征进行新赋值(得到一个新的ID),并将该人脸特征存放到人脸模型库中。该方法可以获取到每一位对象的身份标识。数据库中可以预存有员工或者固定参会人员等需要预先准备的人员的信息。
对视频图像进行口型图像识别,得到口型识别结果;其中,口型识别结果包括:发音判断结果和发音时间段。
将脸部ID与发音时间段进行聚类,获得每个脸部ID对应的发音时间段。
利用语音采集设备获取多人混合语音,对多人混合语音进行语音识别和标记处理,将语音时长与发音时间段进行比较,判断同步性得到同步性结果,若语音时长与发音时间段同步,则在该语音时长对应的语音识别文本上添加发音时间段对应的人脸ID;从而达到确认每段语音识别文本的发音主体的目的。还可以对语音进行分段:判断语音之间的停顿时间,若停顿时间大于一个预设时间值,则认为这是一段语音。
还可以识别口型得到每一位对象陈述的内容,将标记的语音转换为文字,比对文字与陈述的内容,以确定标注过程是否正确。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种混合音频标记方法,其特征在于,包括:
获取待标记的第一音频,和与所述第一音频同步的第一视频,其中,所述第一音频中包括多个对象的音频,所述第一视频中包括所述多个对象的面部信息;
识别所述第一视频中当前对象的口型,得到所述当前对象产生音频的第一时间段,其中,所述多个对象中包括所述当前对象;
为所述第一音频中处于所述第一时间段的目标音频添加所述当前对象的身份标识。
2.根据权利要求1所述的方法,其特征在于,所述识别所述第一视频中所述当前对象的口型,得到所述当前对象产生音频的第一时间段包括:
识别所述第一视频的每一帧中,所述当前对象的第一面部信息;
将所述第一面部信息中,口型处于打开状态的第一帧图像所在的时间点作为所述第一时间段的开始时间点;
将所述第一面部信息中,口型处于打开状态的最后一针图像所在的时间点作为所述第一时间段的结束时间点。
3.根据权利要求1所述的方法,其特征在于,在为所述第一音频中处于所述第一时间段的所述目标音频添加所述当前对象的所述身份标识之前,所述方法还包括:
将所述当前对象的第一面部信息与数据库中预存的多个面部信息进行比对,其中,所述数据库中预存的每一个所述面部信息对应一个身份标识;
在所述第一面部信息与所述数据库中的当前面部信息的相似度大于或等于第二阈值的情况下,将所述当前面部信息对应的身份标识确定为所述当前对象的身份标识;
在所述第一面部信息与所述数据库中的每个所述面部信息的相似度均小于所述第二阈值的情况下,为所述当前对象创建身份标识;
将所述当前对象的所述第一面部信息与所述当前对象的身份标识保存到所述数据库中。
4.根据权利要求1至3任意一项所述的方法,其特征在于,在为所述第一音频中处于所述第一时间段的所述目标音频添加所述当前对象的所述身份标识之后,所述方法还包括:
将所述目标音频转换成第一文字信息;
获取所述当前对象的目标文字信息,其中,所述目标文字信息为所述第一视频中所述当前对象陈述的内容;
在所述第一文字信息与所述目标文字信息相似度大于或等于第一阈值的情况下,将所述第一文字信息添加到与所述当前对象的身份标识对应的存储位置;
在所述第一文字信息与所述目标文字信息相似度小于第一阈值的情况下,删除为所述目标音频添加的所述身份标识。
5.根据权利要求1至3任意一项所述的方法,其特征在于,在为所述第一音频中处于所述第一时间段的所述目标音频添加所述当前对象的所述身份标识之后,所述方法还包括:
从所述第一音频中截取所述目标音频;
将截取的所述目标音频存储到与所述当前对象的身份标识对应的存储位置。
6.一种混合音频标记装置,其特征在于,包括:
第一获取单元,用于获取待标记的第一音频,和与所述第一音频同步的第一视频,其中,所述第一音频中包括多个对象的音频,所述第一视频中包括所述多个对象的面部信息;
识别单元,用于识别所述第一视频中当前对象的口型,得到所述当前对象产生音频的第一时间段,其中,所述多个对象中包括所述当前对象;
第一添加单元,用于为所述第一音频中处于所述第一时间段的目标音频添加所述当前对象的身份标识。
7.根据权利要求6所述的装置,其特征在于,所述识别单元包括:
识别模块,用于识别所述第一视频的每一帧中,所述当前对象的第一面部信息;
第一确定模块,用于将所述第一面部信息中,口型处于打开状态的第一帧图像所在的时间点作为所述第一时间段的开始时间点;
第二确定模块,用于将所述第一面部信息中,口型处于打开状态的最后一针图像所在的时间点作为所述第一时间段的结束时间点。
8.根据权利要求6所述的装置,其特征在于,所述装置还包括:
比对单元,用于在为所述第一音频中处于所述第一时间段的所述目标音频添加所述当前对象的所述身份标识之前,将所述当前对象的第一面部信息与数据库中预存的多个面部信息进行比对,其中,所述数据库中预存的每一个所述面部信息对应一个身份标识;
确定单元,用于在所述第一面部信息与所述数据库中的当前面部信息的相似度大于或等于第二阈值的情况下,将所述当前面部信息对应的身份标识确定为所述当前对象的身份标识;
创建单元,用于在所述第一面部信息与所述数据库中的每个所述面部信息的相似度均小于所述第二阈值的情况下,为所述当前对象创建身份标识;
保存单元,用于将所述当前对象的所述第一面部信息与所述当前对象的身份标识保存到所述数据库中。
9.根据权利要求6至8任意一项所述的装置,其特征在于,所述装置还包括:
转换单元,用于在为所述第一音频中处于所述第一时间段的所述目标音频添加所述当前对象的所述身份标识之后,将所述目标音频转换成第一文字信息;
第二获取单元,用于获取所述当前对象的目标文字信息,其中,所述目标文字信息为所述第一视频中所述当前对象陈述的内容;
第二添加单元,用于在所述第一文字信息与所述目标文字信息相似度大于或等于第一阈值的情况下,将所述第一文字信息添加到与所述当前对象的身份标识对应的存储位置;
删除单元,用于在所述第一文字信息与所述目标文字信息相似度小于第一阈值的情况下,删除为所述目标音频添加的所述身份标识。
10.根据权利要求6至8任意一项所述的装置,其特征在于,所述装置还包括:
截取单元,用于在为所述第一音频中处于所述第一时间段的所述目标音频添加所述当前对象的所述身份标识之后,从所述第一音频中截取所述目标音频;
存储单元,用于将截取的所述目标音频存储到与所述当前对象的身份标识对应的存储位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911397491.7A CN111221987A (zh) | 2019-12-30 | 2019-12-30 | 混合音频标记方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911397491.7A CN111221987A (zh) | 2019-12-30 | 2019-12-30 | 混合音频标记方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111221987A true CN111221987A (zh) | 2020-06-02 |
Family
ID=70807972
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911397491.7A Pending CN111221987A (zh) | 2019-12-30 | 2019-12-30 | 混合音频标记方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111221987A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112837690A (zh) * | 2020-12-30 | 2021-05-25 | 科大讯飞股份有限公司 | 一种音频数据生成方法、音频数据转写方法及其装置 |
CN113643708A (zh) * | 2021-08-27 | 2021-11-12 | 京东方科技集团股份有限公司 | 参会人声纹识别方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106782545A (zh) * | 2016-12-16 | 2017-05-31 | 广州视源电子科技股份有限公司 | 一种将音视频数据转化成文字记录的系统和方法 |
CN108346427A (zh) * | 2018-02-05 | 2018-07-31 | 广东小天才科技有限公司 | 一种语音识别方法、装置、设备及存储介质 |
CN109905764A (zh) * | 2019-03-21 | 2019-06-18 | 广州国音智能科技有限公司 | 一种视频中目标人物语音截取方法及装置 |
-
2019
- 2019-12-30 CN CN201911397491.7A patent/CN111221987A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106782545A (zh) * | 2016-12-16 | 2017-05-31 | 广州视源电子科技股份有限公司 | 一种将音视频数据转化成文字记录的系统和方法 |
CN108346427A (zh) * | 2018-02-05 | 2018-07-31 | 广东小天才科技有限公司 | 一种语音识别方法、装置、设备及存储介质 |
CN109905764A (zh) * | 2019-03-21 | 2019-06-18 | 广州国音智能科技有限公司 | 一种视频中目标人物语音截取方法及装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112837690A (zh) * | 2020-12-30 | 2021-05-25 | 科大讯飞股份有限公司 | 一种音频数据生成方法、音频数据转写方法及其装置 |
CN112837690B (zh) * | 2020-12-30 | 2024-04-16 | 科大讯飞股份有限公司 | 一种音频数据生成方法、音频数据转写方法及其装置 |
CN113643708A (zh) * | 2021-08-27 | 2021-11-12 | 京东方科技集团股份有限公司 | 参会人声纹识别方法、装置、电子设备及存储介质 |
CN113643708B (zh) * | 2021-08-27 | 2024-01-23 | 京东方科技集团股份有限公司 | 参会人声纹识别方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106782545B (zh) | 一种将音视频数据转化成文字记录的系统和方法 | |
US11315366B2 (en) | Conference recording method and data processing device employing the same | |
WO2021175019A1 (zh) | 音视频录制引导方法、装置、计算机设备及存储介质 | |
CN112037791B (zh) | 会议纪要转录方法、设备和存储介质 | |
CN109474763A (zh) | 一种基于语音、语义的ai智能会议系统及其实现方法 | |
US20160189713A1 (en) | Apparatus and method for automatically creating and recording minutes of meeting | |
CN109361825A (zh) | 会议纪要记录方法、终端及计算机存储介质 | |
CN112053691B (zh) | 会议辅助方法、装置、电子设备及存储介质 | |
CN107564531A (zh) | 基于声纹特征的会议记录方法、装置及计算机设备 | |
CN110211590B (zh) | 一种会议热点的处理方法、装置、终端设备及存储介质 | |
US20160189103A1 (en) | Apparatus and method for automatically creating and recording minutes of meeting | |
CN111048095A (zh) | 一种语音转写方法、设备及计算机可读存储介质 | |
CN109829691B (zh) | 基于位置和深度学习多重生物特征的c/s打卡方法和装置 | |
CN111221987A (zh) | 混合音频标记方法和装置 | |
CN112468761A (zh) | 一种智能会议记录系统 | |
CN112053692A (zh) | 语音识别处理方法、装置及存储介质 | |
CN114556469A (zh) | 数据处理方法、装置、电子设备和存储介质 | |
CN111223487B (zh) | 一种信息处理方法及电子设备 | |
CN104202458A (zh) | 一种自动保存联系人信息的方法和智能终端 | |
CN112235470A (zh) | 基于语音识别的来电客户跟进方法、装置及设备 | |
CN109345427B (zh) | 一种结合人脸识别和行人识别技术的教室视频点到方法 | |
CN109817223A (zh) | 基于音频指纹的音素标记方法及装置 | |
CN114239610A (zh) | 多国语言语音辨识及翻译方法与相关的系统 | |
CN111583932A (zh) | 一种基于人声模型的声音分离方法和装置以及设备 | |
CN105338282B (zh) | 一种信息处理方法和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200602 |