CN106205633A - 一种模仿、表演练习打分系统 - Google Patents
一种模仿、表演练习打分系统 Download PDFInfo
- Publication number
- CN106205633A CN106205633A CN201610525832.4A CN201610525832A CN106205633A CN 106205633 A CN106205633 A CN 106205633A CN 201610525832 A CN201610525832 A CN 201610525832A CN 106205633 A CN106205633 A CN 106205633A
- Authority
- CN
- China
- Prior art keywords
- scoring
- image
- video
- evaluated
- analyzer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009471 action Effects 0.000 claims abstract description 61
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 238000004364 calculation method Methods 0.000 claims abstract description 14
- 230000000007 visual effect Effects 0.000 claims abstract description 12
- 239000002537 cosmetic Substances 0.000 claims description 26
- 230000008921 facial expression Effects 0.000 claims description 17
- 230000001360 synchronised effect Effects 0.000 claims description 10
- 239000002131 composite material Substances 0.000 claims description 6
- 230000001755 vocal effect Effects 0.000 claims description 6
- 238000000034 method Methods 0.000 claims description 5
- 238000007689 inspection Methods 0.000 claims description 2
- 238000010009 beating Methods 0.000 claims 2
- 238000012549 training Methods 0.000 abstract description 3
- 239000000463 material Substances 0.000 abstract description 2
- 210000000744 eyelid Anatomy 0.000 description 15
- 210000004709 eyebrow Anatomy 0.000 description 9
- 210000001747 pupil Anatomy 0.000 description 8
- 210000000216 zygoma Anatomy 0.000 description 8
- 241000208340 Araliaceae Species 0.000 description 7
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 7
- 235000003140 Panax quinquefolius Nutrition 0.000 description 7
- 239000000284 extract Substances 0.000 description 7
- 235000008434 ginseng Nutrition 0.000 description 7
- 238000006073 displacement reaction Methods 0.000 description 6
- 208000002193 Pain Diseases 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 230000033764 rhythmic process Effects 0.000 description 5
- 208000031481 Pathologic Constriction Diseases 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000001215 vagina Anatomy 0.000 description 2
- 241001122315 Polites Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种模仿、表演练习打分系统，该打分系统包括可视设备、网络信息获取模块、参照图像视频存储器、待评分图像视频存储器、时间轴控制器、图像提取器、声纹提取器、表情评分检索模块、动作评分检索模块、声音评分检索模块、表情评分分析器、动作评分分析器、声音评分分析器、评分计算模块和输出装置，可视设备与待评分图像视频存储器连接，网络信息获取模块与参照图像视频存储器连接；评分计算模块分别与表情评分分析器、动作评分分析器和声音评分分析器连接。该打分系统能够从声音、表情、动作等多个方面对模仿者或者表演者的表现进行评价，为爱好者或者表演类院校提供学习参考教材支持，也可以应用于专业及业余模特的训练。
Description
技术领域
本发明涉及智能评价技术领域，具体涉及一种模仿、表演练习打分系统。
背景技术
现有技术中，对于模仿秀、模特、跳舞、体操等模仿或表演项目来说，通常都是由专家评委现场目测打分，主观性强，容易出现主观性偏差。而且对于练习者来说，在日常练习过程中，不可能有专家评委亲自来打分，导致练习者无法准确判断自己的表现是否与被模仿者相似或者表演是否达到预期的目标。
近年来也出现了一种自动打分系统，但是这种打分系统通常只是针对类似卡拉OK这种歌唱类的表演来打分的，例如公开号为CN102103857A的中国专利文献公开了一种演唱打分系统，包括演唱声音采集模块、演唱声音标准模型模块、演唱声音参考模型模块、通用语音识别打分模块、咬字得分模块、得分规整模块、显示器；所述演唱声音采集模块采集输出演唱声音信号到所述语音识别打分模块；所述演唱声音标准模型模块，包括演唱声音标准模型，通过采集多个发音咬字准确的歌唱声音数据，对这批数据进行训练，得到咬字准确的语音识别模型，该咬字准确的语音识别模型作为演唱声音标准模型；所述演唱声音参考模型模块包括演唱声音参考模型，通过采集多个带有咬字不准或者与歌词不匹配的歌唱声音数据，对这批数据进行训练，得到咬字不准确的语音识别模型，该咬字不准确的语音识别模型作为演唱声音参考模型；演唱声音标准及参考模型的充分训练要求对性别、目标客户年龄段、各种口音的完整覆盖；所述通用语音识别打分模块，将演唱声音采集模块采集传来的演唱声音信号，分别与所述演唱声音标准模型、演唱声音参考模型进行匹配，输出对应的演唱声音标准声学得分信号及演唱声音参考声学得分信号到所述咬字得分模块；所述演唱声音标准声学得分信号中包括有演唱者演唱的歌词中各个字的标准声学得分，所述演唱声音参考声学得分信号中包括有该首歌词中各个字的参考声学得分；所述咬字得分模块，将所述演唱声音标准声学得分信号中的演唱者演唱的歌词中各个字的标准声学得分，分别同所述演唱声音参考声学得分信号中的该首歌词中各个字的参考声学得分相减，得到该首歌词中各个字的声学得分差，并将该首歌词中各个字的声学得分差取算术平均后得到该演唱咬字得分，输出咬字得分信号到所述得分规整模块。
现有技术中的这种打分系统只能针对演唱声音进行打分，无法针对表情、动作进行评价，并不能满足模仿秀、模特、跳舞、体操等模仿或表演项目的表演者或者练习者在日常练习或者正式表演过程中都能使用的要求。
发明内容
本发明的目的在于提供一种能够适合于模仿秀、模特、跳舞、体操等模仿或表演项目的表演者或者练习者在日常练习或者正式表演过程中使用的模仿、表演练习打分系统。
为实现上述目的，本发明所述的模仿、表演练习打分系统包括可视设备、网络信息获取模块、参照图像视频存储器、待评分图像视频存储器、时间轴控制器、图像提取器、声纹提取器、表情评分检索模块、动作评分检索模块、声音评分检索模块、表情评分分析器、动作评分分析器、声音评分分析器、评分计算模块和输出装置，所述可视设备与待评分图像视频存储器连接，所述网络信息获取模块与参照图像视频存储器连接；所述时间轴控制器分别与参照图像视频存储器和待评分图像视频存储器连接；所述图像提取器分别与参照图像视频存储器和待评分图像视频存储器连接；所述声纹提取器分别与参照图像视频存储器和待评分图像视频存储器连接；所述表情评分检索模块和动作评分检索模块均与图像提取器连接；所述声音评分检索模块与声纹提取器连接；所述表情评分分析器与表情评分检索模块连接；所述动作评分分析器与动作评分检索模块连接；所述声音评分分析器与声音评分检索模块连接；所述评分计算模块分别与表情评分分析器、动作评分分析器和声音评分分析器连接；所述输出装置分别与评分计算模块和图像提取器连接。
所述可视设备包括多个高速摄像镜头，多个高速摄像镜头设置在不同的位置，用于从不同的角度对用户进行拍摄，并将拍到的内容存储到待评分图像视频存储器中。
所述网络信息获取模块用于连接互联网并从互联网上获取参照图像视频，并将参照图像视频存储到参照图像视频存储器中。
所述时间轴控制器用于控制待评分图像视频存储器中存储的待评分视频与参照图像视频存储器中存储的与待评分视频对应的参照视频以同步的时间轴在输出装置上显示。
所述输出装置包括显示屏和扬声器。
所述图像提取器用于从在输出装置上显示的待评分视频和与待评分视频对应的参照视频中提取待评分图像和对应的参照图像，所述待评分图像和对应的参照图像在同步的时间轴上处于同一时刻。
所述声纹提取器用于从在输出装置上显示的待评分视频和与待评分视频对应的参照视频中提取待评分声纹信息和对应的参照声纹信息，所述评分声纹信息和对应的参照声纹信息在同步的时间轴上处于同一时刻。
所述表情评分检索模块用于对比图像提取器提取的待评分图像和对应的参照图像中人物的面部表情；所述动作评分检索模块用于对比图像提取器提取的待评分图像和对应的参照图像中人物的动作；所述声音评分检索模块用于对比声纹提取器提取的待评分声纹信息和对应的参照声纹信息；还包括着装和化妆打分模块，该着装和化妆打分模块与图像提取器连接；该着装和化妆打分模块用于对比图像提取器提取的待评分图像和对应的参照图像中人物的着装和化妆。
所述表情评分分析器根据所述表情评分检索模块得出的待评分图像和对应的参照图像中人物的面部表情的对比结果，对待评分客户的表情进行打分；所述动作评分分析器根据所述动作评分检索模块得出的待评分图像和对应的参照图像中人物的动作的对比结果，对待评分客户的动作进行打分；所述声音评分分析器根据所述声音评分检索模块得出的待评分声纹信息和对应的参照声纹信息的对比结果，对待评分客户的声音进行打分；着装和化妆打分模块根据待评分图像和对应的参照图像中人物的着装和化妆的对比结果，对待评分客户的着装和化妆进行打分。
所述评分计算模块根据所述表情评分分析器、所述动作评分分析器和所述声音评分分析器以及所述着装和化妆打分模块得出的打分结果计算平均值或加权平均值，作为待评分客户的综合分数，并通过输出装置输出该综合分数。
本发明具有如下优点：本发明所述的模仿、表演练习打分系统能够从声音、表情、动作、着装和化妆等多个方面对模仿者或者表演者的表现进行评价，为爱好者或者表演类院校提供学习参考教材支持，也可以应用于专业及业余模特的训练。
附图说明
图1是本发明所述的模仿、表演练习打分系统的结构示意图。
具体实施方式
以下实施例用于说明本发明，但不用来限制本发明的范围。
如图1所示，本发明所述的模仿、表演练习打分系统包括可视设备、网络信息获取模块、参照图像视频存储器、待评分图像视频存储器、时间轴控制器、图像提取器、声纹提取器、表情评分检索模块、动作评分检索模块、声音评分检索模块、表情评分分析器、动作评分分析器、声音评分分析器、评分计算模块和输出装置，所述可视设备与待评分图像视频存储器连接，所述网络信息获取模块与参照图像视频存储器连接；所述时间轴控制器分别与参照图像视频存储器和待评分图像视频存储器连接；所述图像提取器分别与参照图像视频存储器和待评分图像视频存储器连接；所述声纹提取器分别与参照图像视频存储器和待评分图像视频存储器连接；所述表情评分检索模块和动作评分检索模块均与图像提取器连接；所述声音评分检索模块与声纹提取器连接；所述表情评分分析器与表情评分检索模块连接；所述动作评分分析器与动作评分检索模块连接；所述声音评分分析器与声音评分检索模块连接；所述评分计算模块分别与表情评分分析器、动作评分分析器和声音评分分析器连接；所述输出装置分别与评分计算模块和图像提取器连接。
所述可视设备包括多个高速摄像镜头，多个高速摄像镜头设置在不同的位置，用于从不同的角度对用户进行拍摄，并将拍到的内容存储到待评分图像视频存储器中。
所述网络信息获取模块用于连接互联网并从互联网上获取参照图像视频，并将参照图像视频存储到参照图像视频存储器中。参照图像视频既可以是图片，也可以是视频。例如可以是名人表演的视频片段或照片、知名模特走秀的视频片段或照片等。这样的参照图像视频可以作为参照与用户自己的表演进行对比，从而判断用户的表演与参照图像视频中的内容是否相似，并进而根据相识度进行打分。用户的表演也可以根据不同的难度区分为不同的等级，例如参照图像视频如果是照片，可以作为入门级难度供用户进行模仿练习，用户只需要模仿一个表情即可。初级可以将参照图像视频设定为一段简单的视频片段，用户需要模仿简单的表情、动作和声音。中级、高级可以将参照图像视频设定为更为复杂的表演片段，需要用户安装更高层次的要求进行模仿或表演。
所述时间轴控制器用于控制待评分图像视频存储器中存储的待评分视频与参照图像视频存储器中存储的与待评分视频对应的参照视频以同步的时间轴在输出装置上显示。
所述输出装置包括显示屏和扬声器。
待评分视频与对应的参照视频以同步的时间轴在输出装置上显示一方面是为了评价用户表演的节奏是否与参照视频中的节奏吻合，另一方面是为了在节奏吻合的情况下，分析用户的表情、动作和声音与参照视频中的表情、动作和声音的相似度。待评分视频与对应的参照视频以同步的时间轴在输出装置的显示屏上同屏显示也方便用户自己进行对比，找出差距并有针对性地进行改进。
所述图像提取器用于从在输出装置上显示的待评分视频和与待评分视频对应的参照视频中提取待评分图像和对应的参照图像，所述待评分图像和对应的参照图像在同步的时间轴上处于同一时刻。在用户的表演节奏与参照视频中的节奏一致的情况下，在同步的时间轴上处于同一时刻的待评分图像和对应的参照图像可以用来进行对比，进而分析二者的表情和动作是否相似。
所述声纹提取器用于从在输出装置上显示的待评分视频和与待评分视频对应的参照视频中提取待评分声纹信息和对应的参照声纹信息，所述评分声纹信息和对应的参照声纹信息在同步的时间轴上处于同一时刻。
声纹是对语音中所蕴含的、能表征和标识说话人身份的特征参数及基于这些特征参数所建立的声纹模型的总称。严格来说，很难找到两个声纹完全一样的人。对于模仿表演来说，声纹信息越接近，表明模仿的声音与被模仿的声音越像。通常声纹建模只需要几十秒有效语音(有效语音是指去掉一段语音中的静音及噪音之后的语音)，而声纹识别只需几秒钟的有效语音即可，有很高的识别精度，也可以灵活地调整参数从而适应不同应用的需求。
所述表情评分检索模块用于对比图像提取器提取的待评分图像和对应的参照图像中人物的面部表情；所述动作评分检索模块用于对比图像提取器提取的待评分图像和对应的参照图像中人物的动作；所述声音评分检索模块用于对比声纹提取器提取的待评分声纹信息和对应的参照声纹信息。
所述表情评分检索模块首先在参照图像视频存储器中检索参照图像中的人物在没有任何面部表情的情况下的图像，如果参照图像视频存储器中没有，则通知网络信息获取模块连接互联网并从互联网上搜索参照图像中的人物在没有任何面部表情的情况下的图像，然后所述表情评分检索模块选取参照图像中人物在没有任何面部表情的情况下的眉梢末端、眉毛中点、眼角内侧、眼角外侧、瞳孔、上眼皮中点、下眼皮中点、颧骨最高点、鼻尖、嘴角左边缘、嘴角右边缘、上嘴唇中点和下嘴唇中点作为参考点，计算在同步的时间轴上处于选定的时刻的参照图像中的人物的眉梢末端、眉毛中点、眼角内侧、眼角外侧、瞳孔、上眼皮中点、下眼皮中点、颧骨最高点、鼻尖、嘴角左边缘、嘴角右边缘、上嘴唇中点和下嘴唇中点相对于在没有任何面部表情的情况下的图像中的各参考点的位移，并将该位移对应到平面直角坐标中以X坐标分量和Y坐标分量来表示。
所述表情评分检索模块同样在待评分图像视频存储器中检索待评分图像中的人物在没有任何面部表情的情况下的图像，如果待评分图像视频存储器中没有，则通知所述可视设备获取待评分图像中的人物在没有任何面部表情的情况下的图像并存储到待评分图像视频存储器中。然后所述表情评分检索模块选取待评分图像中的人物在没有任何面部表情的情况下的眉梢末端、眉毛中点、眼角内侧、眼角外侧、瞳孔、上眼皮中点、下眼皮中点、颧骨最高点、鼻尖、嘴角左边缘、嘴角右边缘、上嘴唇中点和下嘴唇中点作为参考点，计算在同步的时间轴上处于选定的时刻的待评分图像中的人物的眉梢末端、眉毛中点、眼角内侧、眼角外侧、瞳孔、上眼皮中点、下眼皮中点、颧骨最高点、鼻尖、嘴角左边缘、嘴角右边缘、上嘴唇中点和下嘴唇中点相对于在没有任何面部表情的情况下的图像中的各参考点的位移，并将该位移对应到平面直角坐标中以X坐标分量和Y坐标分量来表示。
由于参照图像中的人物与待评分图像中的人物的脸型可能存在差异，仅仅通过参照图像中的人物的表情导致的X坐标分量和Y坐标分量与待评分图像中的人物的表情导致的X坐标分量和Y坐标分量进行对比，还不能准确地判断待评分图像中的人物的表情与参照图像中的人物的表情是否相似，因此面部表情的对比需要将模仿者的表情与被模仿者的表情做无量纲化处理。
无量纲化处理的具体方法为：选取参照图像中的人物的下巴最低点至头顶的距离作为参考值，计算在同步的时间轴上处于选定的时刻的参照图像中的人物的眉梢末端、眉毛中点、眼角内侧、眼角外侧、瞳孔、上眼皮中点、下眼皮中点、颧骨最高点、鼻尖、嘴角左边缘、嘴角右边缘、上嘴唇中点和下嘴唇中点相对于在没有任何面部表情的情况下的图像中的各参考点的位移在平面直角坐标中的X坐标分量和Y坐标分量相对于参照图像中的人物的下巴最低点至头顶的距离这一参考值的百分比，将眉梢末端、眉毛中点、眼角内侧、眼角外侧、瞳孔、上眼皮中点、下眼皮中点、颧骨最高点、鼻尖、嘴角左边缘、嘴角右边缘、上嘴唇中点和下嘴唇中点各自单独计算的百分比数值分别相加，得到参照百分比，记为M。
同时选取待评分图像中的人物的下巴最低点至头顶的距离作为参考值，计算在同步的时间轴上处于选定的时刻的待评分图像中的人物的眉梢末端、眉毛中点、眼角内侧、眼角外侧、瞳孔、上眼皮中点、下眼皮中点、颧骨最高点、鼻尖、嘴角左边缘、嘴角右边缘、上嘴唇中点和下嘴唇中点相对于在没有任何面部表情的情况下的图像中的各参考点的位移在平面直角坐标中的X坐标分量和Y坐标分量相对于待评分图像中的人物的下巴最低点至头顶的距离这一参考值的百分比，将眉梢末端、眉毛中点、眼角内侧、眼角外侧、瞳孔、上眼皮中点、下眼皮中点、颧骨最高点、鼻尖、嘴角左边缘、嘴角右边缘、上嘴唇中点和下嘴唇中点各自单独计算的百分比数值分别相加，得到待评分百分比，记为N。
以M和N这两个百分比作为比较对象进行比较，进一步作为判断待评分图像中的人物的表情与参照图像中的人物的表情是否相似的判断依据。具体来说，假如参照百分比M为5％，而待评分百分比N为6％，N减去M得到的数值的绝对值越小，则表示待评分图像中的人物的表情与参照图像中的人物的表情越相似，表情评分会越高。
同样地，所述动作评分检索模块根据与表情评分检索模块类似的原理，对参照图像中的人物与待评分图像中的人物分别构建三维人物模型，从而将参照图像中的人物与待评分图像中的人物的动作数据化，通过将数据化后的参照图像中的人物与待评分图像中的人物的动作进行比较，作为动作评分的依据。
所述声音评分检索模块将声纹提取器提取的待评分声纹信息和对应的参照声纹信息直接进行对比，作为声音评分的依据。
还包括着装和化妆打分模块，该着装和化妆打分模块与图像提取器连接；该着装和化妆打分模块用于对比图像提取器提取的待评分图像和对应的参照图像中人物的着装和化妆。
所述表情评分分析器根据所述表情评分检索模块得出的待评分图像和对应的参照图像中人物的面部表情的对比结果，对待评分客户的表情进行打分；所述动作评分分析器根据所述动作评分检索模块得出的待评分图像和对应的参照图像中人物的动作的对比结果，对待评分客户的动作进行打分；所述声音评分分析器根据所述声音评分检索模块得出的待评分声纹信息和对应的参照声纹信息的对比结果，对待评分客户的声音进行打分；着装和化妆打分模块根据待评分图像和对应的参照图像中人物的着装和化妆的对比结果，对待评分客户的着装和化妆进行打分。
所述评分计算模块根据所述表情评分分析器、所述动作评分分析器和所述声音评分分析器以及所述着装和化妆打分模块得出的打分结果计算平均值或加权平均值，作为待评分客户的综合分数，并通过输出装置输出该综合分数。所述表情评分分析器、所述动作评分分析器和所述声音评分分析器得出的打分结果各自的权重可以由用户指定，例如对于模仿秀来说，表情、动作、声音同样重要，可以设定所述表情评分分析器、所述动作评分分析器和所述声音评分分析器得出的打分结果各自的权重相等。对于模特走秀来说，可能更注重动作和表情，可以将声音评分分析器得出的打分结果的权重设定为0，将所述表情评分分析器、所述动作评分分析器得出的打分结果的权重设定为分别为50％。
输出装置的显示屏上可以同时输出所述表情评分分析器、所述动作评分分析器和所述声音评分分析器以及所述着装和化妆打分模块得出的打分结果，还可以将所述表情评分检索模块得出的待评分图像和对应的参照图像中人物的面部表情的对比结果、所述动作评分检索模块得出的待评分图像和对应的参照图像中人物的动作的对比结果以及所述声音评分检索模块得出的待评分声纹信息和对应的参照声纹信息的对比结果和待评分图像和对应的参照图像中人物的着装和化妆的对比结果分别输出，以方便用户发现自己哪里表现的不够好。例如对于模仿秀用户来说，可以分析到底是表情不对，还是声音不对，还是动作哪个地方有欠缺。输出装置既可以通过文字输出的方式在显示屏上输出，也可以通过语音输出的方式在扬声器上输出。例如通过扬声器告诉用户：“你笑的那么僵硬，能不能斯文点”。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
Claims (10)
1.一种模仿、表演练习打分系统，其特征在于，所述打分系统包括可视设备、网络信息获取模块、参照图像视频存储器、待评分图像视频存储器、时间轴控制器、图像提取器、声纹提取器、表情评分检索模块、动作评分检索模块、声音评分检索模块、表情评分分析器、动作评分分析器、声音评分分析器、评分计算模块和输出装置，所述可视设备与待评分图像视频存储器连接，所述网络信息获取模块与参照图像视频存储器连接；所述时间轴控制器分别与参照图像视频存储器和待评分图像视频存储器连接；所述图像提取器分别与参照图像视频存储器和待评分图像视频存储器连接；所述声纹提取器分别与参照图像视频存储器和待评分图像视频存储器连接；所述表情评分检索模块和动作评分检索模块均与图像提取器连接；所述声音评分检索模块与声纹提取器连接；所述表情评分分析器与表情评分检索模块连接；所述动作评分分析器与动作评分检索模块连接；所述声音评分分析器与声音评分检索模块连接；所述评分计算模块分别与表情评分分析器、动作评分分析器和声音评分分析器连接；所述输出装置分别与评分计算模块和图像提取器连接。
2.如权利要求1所述的模仿、表演练习打分系统，其特征在于，所述可视设备包括多个高速摄像镜头，多个高速摄像镜头设置在不同的位置，用于从不同的角度对用户进行拍摄，并将拍到的内容存储到待评分图像视频存储器中。
3.如权利要求2所述的模仿、表演练习打分系统，其特征在于，所述网络信息获取模块用于连接互联网并从互联网上获取参照图像视频，并将参照图像视频存储到参照图像视频存储器中。
4.如权利要求3所述的模仿、表演练习打分系统，其特征在于，所述时间轴控制器用于控制待评分图像视频存储器中存储的待评分视频与参照图像视频存储器中存储的与待评分视频对应的参照视频以同步的时间轴在输出装置上显示。
5.如权利要求4所述的模仿、表演练习打分系统，其特征在于，所述输出装置包括显示屏和扬声器。
6.如权利要求5所述的模仿、表演练习打分系统，其特征在于，所述图像提取器用于从在输出装置上显示的待评分视频和与待评分视频对应的参照视频中提取待评分图像和对应的参照图像，所述待评分图像和对应的参照图像在同步的时间轴上处于同一时刻。
7.如权利要求6所述的模仿、表演练习打分系统，其特征在于，所述声纹提取器用于从在输出装置上显示的待评分视频和与待评分视频对应的参照视频中提取待评分声纹信息和对应的参照声纹信息，所述评分声纹信息和对应的参照声纹信息在同步的时间轴上处于同一时刻。
8.如权利要求7所述的模仿、表演练习打分系统，其特征在于，所述表情评分检索模块用于对比图像提取器提取的待评分图像和对应的参照图像中人物的面部表情；所述动作评分检索模块用于对比图像提取器提取的待评分图像和对应的参照图像中人物的动作；所述声音评分检索模块用于对比声纹提取器提取的待评分声纹信息和对应的参照声纹信息；还包括着装和化妆打分模块，该着装和化妆打分模块与图像提取器连接；该着装和化妆打分模块用于对比图像提取器提取的待评分图像和对应的参照图像中人物的着装和化妆。
9.如权利要求8所述的模仿、表演练习打分系统，其特征在于，所述表情评分分析器根据所述表情评分检索模块得出的待评分图像和对应的参照图像中人物的面部表情的对比结果，对待评分客户的表情进行打分；所述动作评分分析器根据所述动作评分检索模块得出的待评分图像和对应的参照图像中人物的动作的对比结果，对待评分客户的动作进行打分；所述声音评分分析器根据所述声音评分检索模块得出的待评分声纹信息和对应的参照声纹信息的对比结果，对待评分客户的声音进行打分；着装和化妆打分模块根据待评分图像和对应的参照图像中人物的着装和化妆的对比结果，对待评分客户的着装和化妆进行打分。
10.如权利要求9所述的模仿、表演练习打分系统，其特征在于，所述评分计算模块根据所述表情评分分析器、所述动作评分分析器和所述声音评分分析器以及所述着装和化妆打分模块得出的打分结果计算平均值或加权平均值，作为待评分客户的综合分数，并通过输出装置输出该综合分数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610525832.4A CN106205633B (zh) | 2016-07-06 | 2016-07-06 | 一种模仿、表演练习打分系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610525832.4A CN106205633B (zh) | 2016-07-06 | 2016-07-06 | 一种模仿、表演练习打分系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106205633A true CN106205633A (zh) | 2016-12-07 |
| CN106205633B CN106205633B (zh) | 2019-10-18 |
Family
ID=57465886
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610525832.4A Expired - Fee Related CN106205633B (zh) | 2016-07-06 | 2016-07-06 | 一种模仿、表演练习打分系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106205633B (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106851093A (zh) * | 2016-12-30 | 2017-06-13 | 中南大学 | 一种微笑评分方法及其系统 |
| CN106910506A (zh) * | 2017-02-23 | 2017-06-30 | 广东小天才科技有限公司 | 一种通过声音模仿识别人物角色的方法及装置 |
| CN107257338A (zh) * | 2017-06-16 | 2017-10-17 | 腾讯科技（深圳）有限公司 | 媒体数据处理方法、装置及存储介质 |
| CN107978308A (zh) * | 2017-11-28 | 2018-05-01 | 广东小天才科技有限公司 | 一种k歌评分方法、装置、设备及存储介质 |
| CN109101942A (zh) * | 2018-08-27 | 2018-12-28 | 苏州健雄职业技术学院 | 一种智能现实互动交流传递机器人表情模拟方法及系统 |
| CN109345104A (zh) * | 2018-09-25 | 2019-02-15 | 博跃恒民康(深圳)智能化科技有限公司 | 一种用户能力提升方法、系统及存储介质 |
| CN109508656A (zh) * | 2018-10-29 | 2019-03-22 | 重庆中科云丛科技有限公司 | 一种舞蹈评级自动判别方法、系统及计算机可读存储介质 |
| CN109712449A (zh) * | 2019-03-06 | 2019-05-03 | 武汉几古几古科技有限公司 | 一种提高幼儿学习积极性的智能教育学习系统 |
| CN109887524A (zh) * | 2019-01-17 | 2019-06-14 | 深圳壹账通智能科技有限公司 | 一种演唱评分方法、装置、计算机设备及存储介质 |
| CN109886110A (zh) * | 2019-01-17 | 2019-06-14 | 深圳壹账通智能科技有限公司 | 微表情评分方法、装置、计算机设备及存储介质 |
| CN110135697A (zh) * | 2019-04-15 | 2019-08-16 | 平安科技（深圳）有限公司 | 情感训练方法、装置、计算机设备和存储介质 |
| CN110148072A (zh) * | 2018-02-12 | 2019-08-20 | 庄龙飞 | 运动课程评分方法与系统 |
| CN110634116A (zh) * | 2018-05-30 | 2019-12-31 | 杭州海康威视数字技术股份有限公司 | 一种面部图像评分方法及摄像机 |
| CN111292773A (zh) * | 2020-01-13 | 2020-06-16 | 北京大米未来科技有限公司 | 音视频合成的方法、装置、电子设备及介质 |
| CN112102125A (zh) * | 2020-08-31 | 2020-12-18 | 湖北美和易思教育科技有限公司 | 一种基于面部识别的学生技能评测方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104160257A (zh) * | 2012-03-02 | 2014-11-19 | 株式会社资生堂 | 涂布动作评价装置及涂布动作评价方法 |
| CN104598867A (zh) * | 2013-10-30 | 2015-05-06 | 中国艺术科技研究所 | 一种人体动作自动评估方法及舞蹈评分系统 |
| CN105050673A (zh) * | 2013-04-02 | 2015-11-11 | 日本电气方案创新株式会社 | 面部表情评分装置、舞蹈评分装置、卡拉ok装置以及游戏装置 |
| CN105637512A (zh) * | 2013-08-22 | 2016-06-01 | 贝斯普客公司 | 用于创造定制产品的方法和系统 |
| US20160156771A1 (en) * | 2014-11-28 | 2016-06-02 | Samsung Electronics Co., Ltd. | Electronic device, server, and method for outputting voice |
| CN105700682A (zh) * | 2016-01-08 | 2016-06-22 | 北京乐驾科技有限公司 | 基于视觉和语音的智能性别、情绪识别检测系统及方法 |
-
2016
- 2016-07-06 CN CN201610525832.4A patent/CN106205633B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104160257A (zh) * | 2012-03-02 | 2014-11-19 | 株式会社资生堂 | 涂布动作评价装置及涂布动作评价方法 |
| CN105050673A (zh) * | 2013-04-02 | 2015-11-11 | 日本电气方案创新株式会社 | 面部表情评分装置、舞蹈评分装置、卡拉ok装置以及游戏装置 |
| CN105637512A (zh) * | 2013-08-22 | 2016-06-01 | 贝斯普客公司 | 用于创造定制产品的方法和系统 |
| CN104598867A (zh) * | 2013-10-30 | 2015-05-06 | 中国艺术科技研究所 | 一种人体动作自动评估方法及舞蹈评分系统 |
| US20160156771A1 (en) * | 2014-11-28 | 2016-06-02 | Samsung Electronics Co., Ltd. | Electronic device, server, and method for outputting voice |
| CN105700682A (zh) * | 2016-01-08 | 2016-06-22 | 北京乐驾科技有限公司 | 基于视觉和语音的智能性别、情绪识别检测系统及方法 |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106851093A (zh) * | 2016-12-30 | 2017-06-13 | 中南大学 | 一种微笑评分方法及其系统 |
| CN106910506A (zh) * | 2017-02-23 | 2017-06-30 | 广东小天才科技有限公司 | 一种通过声音模仿识别人物角色的方法及装置 |
| CN107257338A (zh) * | 2017-06-16 | 2017-10-17 | 腾讯科技（深圳）有限公司 | 媒体数据处理方法、装置及存储介质 |
| WO2018228037A1 (zh) * | 2017-06-16 | 2018-12-20 | 腾讯科技（深圳）有限公司 | 媒体数据处理方法、装置及存储介质 |
| CN107978308A (zh) * | 2017-11-28 | 2018-05-01 | 广东小天才科技有限公司 | 一种k歌评分方法、装置、设备及存储介质 |
| CN110148072A (zh) * | 2018-02-12 | 2019-08-20 | 庄龙飞 | 运动课程评分方法与系统 |
| CN110634116A (zh) * | 2018-05-30 | 2019-12-31 | 杭州海康威视数字技术股份有限公司 | 一种面部图像评分方法及摄像机 |
| CN110634116B (zh) * | 2018-05-30 | 2022-04-05 | 杭州海康威视数字技术股份有限公司 | 一种面部图像评分方法及摄像机 |
| CN109101942A (zh) * | 2018-08-27 | 2018-12-28 | 苏州健雄职业技术学院 | 一种智能现实互动交流传递机器人表情模拟方法及系统 |
| CN109101942B (zh) * | 2018-08-27 | 2021-06-04 | 苏州健雄职业技术学院 | 一种智能现实互动交流传递机器人表情模拟方法及系统 |
| CN109345104A (zh) * | 2018-09-25 | 2019-02-15 | 博跃恒民康(深圳)智能化科技有限公司 | 一种用户能力提升方法、系统及存储介质 |
| CN109508656A (zh) * | 2018-10-29 | 2019-03-22 | 重庆中科云丛科技有限公司 | 一种舞蹈评级自动判别方法、系统及计算机可读存储介质 |
| CN109887524A (zh) * | 2019-01-17 | 2019-06-14 | 深圳壹账通智能科技有限公司 | 一种演唱评分方法、装置、计算机设备及存储介质 |
| CN109886110A (zh) * | 2019-01-17 | 2019-06-14 | 深圳壹账通智能科技有限公司 | 微表情评分方法、装置、计算机设备及存储介质 |
| CN109712449A (zh) * | 2019-03-06 | 2019-05-03 | 武汉几古几古科技有限公司 | 一种提高幼儿学习积极性的智能教育学习系统 |
| CN110135697A (zh) * | 2019-04-15 | 2019-08-16 | 平安科技（深圳）有限公司 | 情感训练方法、装置、计算机设备和存储介质 |
| CN111292773A (zh) * | 2020-01-13 | 2020-06-16 | 北京大米未来科技有限公司 | 音视频合成的方法、装置、电子设备及介质 |
| CN112102125A (zh) * | 2020-08-31 | 2020-12-18 | 湖北美和易思教育科技有限公司 | 一种基于面部识别的学生技能评测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106205633B (zh) | 2019-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106205633B (zh) | 一种模仿、表演练习打分系统 | |
| CN105022929B (zh) | 一种人格特质值测验的认知准确度分析方法 | |
| CN105426827B (zh) | 活体验证方法、装置和系统 | |
| CN106851216B (zh) | 一种基于人脸和语音识别的课堂行为监控系统及方法 | |
| CN105813548B (zh) | 用于评估至少一个面部临床体征的方法 | |
| CN108764120B (zh) | 一种人体规范动作评价方法 | |
| CN105989842B (zh) | 对比声纹相似度的方法、装置及其在数字娱乐点播系统中的应用 | |
| CN106448701B (zh) | 一种声乐综合训练系统 | |
| JP6234563B2 (ja) | 訓練システム | |
| Frutos et al. | Computer game to learn and enhance speech problems for children with autism | |
| US20200178883A1 (en) | Method and system for articulation evaluation by fusing acoustic features and articulatory movement features | |
| CN111081371A (zh) | 基于虚拟现实的孤独症早期筛查评估系统及方法 | |
| CN111428175A (zh) | 基于微表情识别的在线课程推荐方法及相关设备 | |
| CN109621331A (zh) | 辅助健身方法、装置及存储介质、服务器 | |
| WO2008142481A2 (en) | Adaptive voice-feature-enhanced matchmaking method and system | |
| KR20150024180A (ko) | 발음 교정 장치 및 방법 | |
| CN111539245B (zh) | 一种基于虚拟环境的cpr技术训练评价方法 | |
| CN111126280A (zh) | 基于融合手势识别的失语症患者辅助康复训练系统及方法 | |
| TWI294107B (en) | A pronunciation-scored method for the application of voice and image in the e-learning | |
| CN108615439A (zh) | 用于制定能力训练方案的方法、装置、设备及介质 | |
| CN113658584A (zh) | 智能化发音矫正方法及系统 | |
| CN108175426A (zh) | 一种基于深度递归型条件受限玻尔兹曼机的测谎方法 | |
| CN112885168B (zh) | 一种基于ai的沉浸式言语反馈训练系统 | |
| Liu et al. | An interactive speech training system with virtual reality articulation for Mandarin-speaking hearing impaired children | |
| Yu | Computer-aided english pronunciation accuracy detection based on lip action recognition algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20191018 Termination date: 20200706 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |