CN112861784A - 答题方法及装置 - Google Patents

答题方法及装置 Download PDF

Info

Publication number
CN112861784A
CN112861784A CN202110252283.9A CN202110252283A CN112861784A CN 112861784 A CN112861784 A CN 112861784A CN 202110252283 A CN202110252283 A CN 202110252283A CN 112861784 A CN112861784 A CN 112861784A
Authority
CN
China
Prior art keywords
target
question
user
answer
multimedia data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110252283.9A
Other languages
English (en)
Other versions
CN112861784B (zh
Inventor
胡笑颜
王承博
陆晓鸽
门宇雯
王冠宇
彭旸
郭常圳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ape Power Future Technology Co Ltd
Original Assignee
Beijing Ape Power Future Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ape Power Future Technology Co Ltd filed Critical Beijing Ape Power Future Technology Co Ltd
Publication of CN112861784A publication Critical patent/CN112861784A/zh
Application granted granted Critical
Publication of CN112861784B publication Critical patent/CN112861784B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G09B7/04Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student characterised by modifying the teaching programme in response to a wrong answer, e.g. repeating the question, supplying a further explanation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本申请提供答题方法及装置,其中所述答题方法包括:获取并展示目标用户针对目标问题的多媒体数据;基于所述多媒体数据获得所述目标用户针对所述目标问题的答复信息;通过将所述答复信息与所述目标问题的预设答案进行对比,获得针对所述目标问题的答复结果;展示所述多媒体数据以及所述答复结果。

Description

答题方法及装置
技术领域
本申请涉及数据处理技术领域,特别涉及答题方法及装置、计算设备和计算机可读存储介质。
背景技术
随着互联网的发展,线上做题的方式也越来越多样,然而目前的做题方式中,并无详细地记录做题者的做题过程,因此做题者自身或他人也无法更准确地分析做题者的具体情况,需要提供更可靠的方案。
发明内容
有鉴于此,本申请实施例提供了答题方法及装置、计算设备和计算机可读存储介质,以解决现有技术中存在的技术缺陷。
根据本申请实施例的第一方面,提供了一种答题方法,包括:
获取并展示目标用户针对目标问题的多媒体数据;
基于所述多媒体数据获得所述目标用户针对所述目标问题的答复信息;
通过将所述答复信息与所述目标问题的预设答案进行对比,获得针对所述目标问题的答复结果;
展示所述多媒体数据以及所述答复结果。
根据本申请实施例的第二方面,提供了一种答题装置,包括:
获取模块,被配置为获取并展示目标用户针对目标问题的多媒体数据;
获得模块,被配置为基于所述多媒体数据获得所述目标用户针对所述目标问题的答复信息;
对比模块,被配置为通过将所述答复信息与所述目标问题的预设答案进行对比,获得针对所述目标问题的答复结果;
展示模块,被配置为展示所述多媒体数据以及所述答复结果。
根据本申请实施例的第三方面,提供了一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,所述处理器执行所述指令时实现所述答题方法的步骤。
根据本申请实施例的第四方面,提供了一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现所述答题方法的步骤。
本申请实施例提供的答题方法,通过获取并展示目标用户针对目标问题的多媒体数据,以便目标用户或其他用户对答题过程进行观察,纠正不良的答题习惯,并提高答题的趣味性,再基于所述多媒体数据获得所述目标用户针对所述目标问题的答复信息,通过将所述答复信息与所述目标问题的预设答案进行对比,获得针对所述目标问题的答复结果,并进一步展示所述多媒体数据所述答复结果,以供目标用户或他人可以清楚了解其答题过程的状态以及答题结果,并进一步通过展示该过程促进目标用户的答题效果以及答题动力。
附图说明
图1是本申请实施例提供的计算设备的结构框图;
图2是本申请实施例提供的一种答题方法的流程图;
图3是本申请实施例提供的一种答题方法中目标问题以及目标用户的展示的示意图;
图4是本申请实施例提供的一种答题方法中第一种答题过程的示意图;
图5是本申请实施例提供的一种答题方法中第二种答题过程的示意图;
图6是本申请实施例提供的一种答题方法中第三种答题过程的示意图;
图7是本申请实施例提供的一种答题方法中第四种答题过程的示意图;
图8是本申请实施例提供的一种答题方法中第五种答题过程的示意图;
图9是本申请实施例提供的一种答题方法中第六种答题过程的示意图;
图10是本申请实施例提供的应用于答题场景的一种答题方法的流程图;
图11是本申请实施例提供的一种答题装置的结构示意图;
图12是本申请实施例提供的一种视频生成方法的流程图;
图13是本申请实施例提供的应用于答题场景的一种视频生成方法的流程图;
图14是本申请实施例提供的一种视频生成方法的示意图;
图15是本申请实施例提供的一种视频生成装置的结构示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施的限制。
在本申请一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请一个或多个实施例。在本申请一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本申请一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。
在本申请中,提供了答题方法及装置、计算设备和计算机可读存储介质,在下面的实施例中逐一进行详细说明。
图1示出了根据本申请一实施例的计算设备100的结构框图。该计算设备100的部件包括但不限于存储器110和处理器120。处理器120与存储器110通过总线130相连接,数据库150用于保存数据。
计算设备100还包括接入设备140,接入设备140使得计算设备100能够经由一个或多个网络160通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备140可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC))中的一个或多个,诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口,等等。
在本申请的一个实施例中,计算设备100的上述部件以及图1中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图1所示的计算设备结构框图仅仅是出于示例的目的,而不是对本申请范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备100可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或PC的静止计算设备。计算设备100还可以是移动式或静止式的服务器。
其中,处理器120可以执行图2所示的一种答题方法中的步骤。图2示出了本申请一实施例提供的一种答题方法的流程图,该方法包括步骤202至步骤208。
步骤202,获取并展示目标用户针对目标问题的多媒体数据。
具体的,所述目标用户为针对目标问题答题的用户,目标问题可以是任意学科的问题(比如英语朗读问题、数学计算问题等)、调查的问题(比如调查健康问题、调查使用习惯问题等)、趣味问题(比如猜字问题、猜词问题等)等,在此不做限制;而多媒体数据,包括通过拍摄设备和录音设备,拍摄和录制的目标用户针对目标问题的答题过程,而获得的多媒体数据,具体的,所述多媒体数据包括下述至少一项:视频数据、音频数据、文字数据、图片数据,在此不做限制。
本申请实施例,通过录制目标用户的答题过程的多媒体数据,并针对目标用户对目标问题的答复立即进行反馈,提升了目标用户的做题体验,并有助于根据展示的多媒体数据清楚地了解目标用户的答题情况。
实际应用中,目标问题可以是从题库中按照预设的选题规则选择出来的,而题库中的每个问题包括问题序号、问题标识、题面、预设答案和/或对应的评分标准等,以便目标用户可以在答题过程中,或答题结束后可以获得目标问题的相关信息,本申请中提及的目标问题可以理解为目标问题的题面。
具体实施时,以上目标问题可以是资源多媒体,而资源多媒体中可以包括目标问题的图片信息、文字信息、语音信息、预设答案和/或评分信息等,在此不做限制;该资源多媒体与拍摄的视频数据以及录制的音频数据是共同进行展示的,其中,视频数据以及音频数据是采集的用户侧的数据,而目标问题以及目标问题相关的信息可以是应用端携带或从服务端获取的多媒体文件,这些多媒体文件根据用户答题的情况进行获取并展示,它们展示的方式以及展示位置是多种多样的,比如,可以将目标问题添加至上述视频数据中,以视频方式进行展示,此外,目标问题也可以单独以文字或图片方式在视频数据之外进行展示,在此不做限制。
进一步的,在所述目标问题包括猜词问题的情况下,所述猜词问题中每个字以图像的形式进行展示。具体实施时,猜词问题中的词可以是一个字、两个字或多个字等,在此不做限制。
如图3所示,猜词问题中的词为四字成语,这四字成语中的每个字分别以图1、图2、图3、图4的形式进行展示,这些图片即为上述资源多媒体的一部分。
具体实施时,在目标用户答题之前,需要先确定待回答的目标问题,而目标问题的确定方式是多种多样的,本申请实施例提供的一种可选实施方式中,所述获取并展示目标用户针对目标问题的多媒体数据之前,还包括:
通过对采集到的包含目标用户的图像区域进行识别,确定所述目标用户的用户特征;
基于所述用户特征对应的问题难度值,确定目标问题。
其中,用户特征,包括目标用户的年龄、性别或职业等,在此不做限制。实际应用中,可以通过拍摄设备采集包含目标对象的图像,并对采集到的包含目标用户的图像区域进行识别。
而对采集到的包含目标用户的图像区域进行识别,可以理解为对该图像区域中的人脸或人体进行特征识别或特征提取,从而基于识别出/提取的特征,确定目标用户的用户特征。此外,还可以根据目标用户的注册信息等,确定目标用户的用户特征,进而确定问题难度值,在此不做限制。
具体实施时,可以预先设置各个用户特征对应的问题难度值,也设置各种问题难度值对应的问题,则根据确定的用户特征对应的问题难度值,再从确定问题难度值对应的问题中确定目标问题,比如可以在问题难度值对应的问题中随机确定目标问题,或按照预先设定的问题选取规则确定目标问题,在此不做限制。
需要说明的是,在目标用户为至少两个,且目标问题为至少两个的情况下,可以针对每个问题指定对应的答题用户,因此,需要分别按照不同的目标用户的用户特征,为每个目标用户确定不同的难度的问题,从而使选取的目标问题与目标用户的适配度更高,比如,有两个目标用户,目标用户A为中年人,目标用户B为小孩,则可以通过对包含目标用户的图像区域进行识别,确定出每个目标用户的年龄层,从而根据针对不同的年龄层设置的不同的问题难度值,确定针对目标用户A设置的目标问题,并确定针对目标用户B设置的目标问题。
本申请实施例,通过识别采集到的目标用户的图像区域,确定目标用户的用户特征,从而给目标用户选择适合难度的问题,增加了选题的灵活性,也增加了用户的答题体验。
具体实施时,本申请实施例提供的一种可选实施方式中,获取并展示目标用户针对目标问题的多媒体数据,具体通过如下方式实现:
开启拍摄设备实时进行拍摄,获得包含目标用户的视频数据;
通过录音设备实时进行录音,获得音频数据;
将所述视频数据、所述音频数据以及目标问题作为所述多媒体数据进行获取并展示。
具体实施时,目标用户在答题过程中,可以通过拍摄设备实时拍摄目标用户针对目标问题的答题过程,并通过录音设备实时对目标用户的答题过程进行录音,且实时获取拍摄的视频数据以及录制的音频数据,此外,还可以是获取事先录制好的多媒体数据,在此并不做限制。
以用户A针对问题1进行答题为例,用户A点击开始答题按钮进行答题,则开启拍摄设备进行拍摄获得视频数据,并开启录音设备进行录音获得音频数据,并在实时拍摄录音的过程中,获取问题1并实时获取针对问题1的视频数据、录音数据,作为用户A针对问题1提供的多媒体数据M并展示。
进一步的,为了增加目标用户做题的趣味性以及积极性,还可以在目标用户做题的过程中播放背景音乐,本申请实施例提供的一种可选实施方式中,所述通过录音设备实时进行录音,获得音频数据,包括:
开启播放设备播放背景音乐,并开启录音设备进行录音,获得包含背景音乐的音频数据。
具体的,在录音设备实时对目标用户的答题过程进行录音的过程中,播放设备播放背景音乐,则在录音的过程中将背景音乐一并录入,获得包含背景音乐的音频数据。
实际应用中,获取并展示目标用户针对目标问题提供的多媒体数据,可以使目标用户直观地看到和/或听到所录制的多媒体数据以及所要答复的目标问题,从而了解自身的答题情况。
需要说明的是,获取并展示目标用户针对目标问题的多媒体数据,可以将目标问题添加至多媒体数据中包含的视频数据中进行展示,而添加的位置可以是任意的位置,在此并不做限制。
可选的,所述目标问题以题版的形式进行展示。
沿用上例,在上述实时获取视频数据以及音频数据作为用户A针对问题1提供的多媒体数据M的基础上,将获取的问题1添加至视频数据中,并进行实时展示。
为了保障目标用户对目标问题具有良好的读题视角,以提高目标用户的答题体验,本申请在用户的答题过程中,实时地根据目标用户的位置调整目标问题的展示位置,具体的,本申请实施例提供的一种可选实施方式中,所述展示获取的所述多媒体数据以及所述目标问题,具体采用如下方式实现:
对所述多媒体数据中视频数据的图像帧进行人脸定位和/或人体姿态定位,获取所述图像帧中人脸和/或人体的位置信息;
根据所述位置信息以及预设的展示规则,确定所述目标问题的展示位置;
按照所述展示位置,将所述目标问题添加至所述视频数据中,并展示所述多媒体数据。
具体的,对所述多媒体数据中的图像帧进行人脸定位和/或人体姿态定位,是指通过人脸识别或姿态识别,识别多媒体数据中视频数据的图像帧中的人脸或人体,并进一步确定图像帧中的人脸和人体在图像帧中的位置信息,具体实施时,此位置信息可以是坐标信息,此外还可以是确定的区域信息,比如左下角,正中,右下角等,在此不做限制。
进一步,根据位置信息以及预设的展示规则,确定目标问题的展示位置,具体的,展示规则是指预设的位置信息与展示位置的对应关系,比如,展示位置为与位置信息相对,或者展示位置在人脸的正上方等,在此不做限制,并在确定展示位置之后,将所述目标问题和多媒体数据进行融合展示。
沿用上例,在实时展示多媒体数据M以及目标问题的过程中,实时对视频数据的图像帧进行人脸定位,获取图像帧中人脸的位置信息X,并根据该位置信息X,以及预先设置的展示规则,确定展示位置为位置信息X的正下方,将问题1添加至位置信息X的正下方进行展示。
此外,为了使目标用户在答题的过程中,能够明确具体的答题时间,从而对答题时间有更好的把控,提高答题的效率,本申请实施例提供的一种可选实施方式中,在展示获取并展示所述多媒体数据基础上,展示针对目标问题的答复时间,具体采用如下方式实现:
开启计时程序针对所述目标问题进行答复计时,所述计时程序对应的时间计数值按照时间单位进行递增或者递减;
展示所述时间计数值。
具体的,所述计数程序,是用于统计答复的时长,在开启计时程序之初,计时程序会对应一个初始的时间计数值,在进行计时的过程中,此时间计数值会按照时间单位进行递增或者递减,其中,所述时间单位,是对目标问题的答复时长的计量单位,可以根据实际的需要进行设置,比如,秒、毫秒等。
比如,预设的答题时间为60秒,在展示问题1之后,开启一个从60秒开始按照秒级进行倒计时的计时程序,将计时程序对应的时间计数值进行展示,实际应用中,可以将所述时间计数值在多媒体数据中的视频数据中进行实时展示,此外,还可以将该时间计数值在多媒体数据之外的用户界面进行展示,在此不做限制。实际应用中,在用户答复完成目标问题的情况下,可以停止计时。
进一步的,为了增加用户答题的趣味性,可以针对答题者增加吐字效果,本申请实施例提供的一种可选实施方式中,所述获取并展示目标用户针对目标问题的多媒体数据之后,还包括:
检测所述多媒体数据中音频数据的人声数据,并检测所述人声数据中任意一个字音;
对所述任意一个字音进行识别,获得所述任意一个字音对应的文字;
确定所述多媒体数据中视频数据的图像帧中目标用户的嘴部所在的第一位置;
控制所述文字以动态的形式从所述第一位置移出,以展示所述文字。
其中,人声数据是指录制的人体的发声的数据,所述字音,可以理解为文字的发音,每个文字都有对应的发音,而每完成一个文字的发音之后,则可以对这个文字的发音进行识别。
实际应用中,由于很多字拥有相同的读音,为了提高识别准确度,可以在完成几个字的发音之后,根据已有的发音,再识别这些字音对应的文字,此外,为了进一步地提高识别准确率,可以在目标用户回答完成之后,根据上下文,识别用户的答复信息,并在识别到答复信息的基础上,将用户的答复信息中的每个字从嘴部移出的方式进行展示。
具体的,目标用户的嘴部的第一位置,可以理解为目标用户的嘴部在视频帧中所处的位置信息,而控制文字以动态的形式从第一位置移出,可以是控制文字以飘动的形式、也可以采用渐变的形式等预设的动画形式从第一位置移出,具体实施时,当文字从第一位置移出后,可以以渐变的形式消失或以飘出视频帧所在范围的方式消失,在此不做限制。
步骤204,基于所述多媒体数据获得所述目标用户针对所述目标问题的答复信息。
具体实施时,目标用户采用的答题方式不同,则基于所述多媒体数据获得所述目标用户针对所述目标问题的答复信息的方式也是不同的,比如,用户可以通过在纸张或题板上书写目标问题的答复信息,在这种情况下,则可以识别多媒体数据中视频数据的视频帧中的文字,获得所述目标用户针对所述目标问题的答复信息;此外,目标用户还可以通过肢体动作书写或比划目标问题的答案,在这种情况下,则可以在多媒体数据中视频数据的视频帧中提取目标用户的肢体变化特征,获得所述目标用户针对所述目标问题的答复信息,在此不做限制。
实际应用中,在目标用户通过声音和/或口型进行答题情况下,本申请实施例提供的一种可选实施方式中,所述基于所述多媒体数据获得所述目标用户针对所述目标问题的答复信息,具体采用如下方式实现:
基于所述多媒体数据中的音频数据和/或从所述多媒体数据中视频数据的图像帧中提取所述目标用户的口型变化特征,获得所述目标用户针对所述目标问题的答复信息。
需要说明的是,在目标用户通过语音的方式进行答题,可以获取多媒体数据中的音频数据,该音频数据是在拍摄过程中实时录制的,以便采集目标用户针对目标问题的答复。
具体实施时,本申请实施例提供的一种可选实施方式中,所述基于所述多媒体数据获得所述目标用户针对所述目标问题的答复信息,具体采用如下方式实现:
检测所述多媒体数据中音频数据中的人声数据;
在检测到所述人声数据的情况下,根据所述人声数据对所述音频数据进行截取,获得目标音频数据;
对所述目标音频数据中的人声数据进行识别,获得所述目标音频数据对应的文本信息,将所述文本信息作为所述答复信息。
进一步的,为了控制目标用户的答题时间,以提升目标用户的做题效率,还可以检测预设时间区间内所述多媒体数据中音频数据中的人声数据;在检测到所述人声数据的情况下,根据所述人声数据对所述音频数据进行截取,获得目标音频数据;对所述目标音频数据中的人声数据进行识别,获得所述目标音频数据对应的文本信息,将所述文本信息作为所述答复信息。
其中,所述预设时间区间是预设的针对目标问题的答题时间,具体的,检测预设时间区间内音频数据的人声数据,可以通过语音端点检测(Voice Activity Detection,VAD)算法实现,由于可能存在目标在预设时间区间内没有答题的情况,因此存在没有人声数据的情况,而在检测到人声数据的情况,对音频数据中预设时间内的人声数据进行截取,获得目标用户针对目标问题的答复数据,即目标音频数据,对目标音频数据中的人声数据进行识别,则可以获得答复数据对应的文本信息,将文本信息作为目标用户针对目标问题的答复信息。
实际应用中,目标用户完成答复之后,可以提交针对目标问题的完成指令,在获取目标用户针对目标问题提交的完成指令之后,获取展示目标问题以及获取完成指令之间的音频数据的人声数据,作为目标用户针对目标问题的答复数据。
沿用上例,预设时间区间为60秒,检测60秒内多媒体数据M中音频数据中的人声数据,在检测到人声数据的情况下,通过VAD算法检测人声数据的起止端点,按照起止端点对音频数据进行截取,获得目标音频数据V,并对目标音频数据V中的人声数据进行语音识别,获得所述人声数据对应的答复信息。
在上述检测预设时间区间内所述音频数据中的人声数据的基础上,还存在未检测到人声数据的情况,本申请实施例提供的一种可选实施方式中,在未检测到所述人声数据的情况下,将所述答复信息确定为未完成。
实际应用中,若在预设时间区间内,在展示时间计数值,对目标问题的答题时间进行倒计时展示,以提醒用户还剩余多少答题时间,在时间计数值清零时,仍未检测到人声数据,则确定目标用户未完成目标问题,将目标问题的答复信息确定为未完成,避免了目标用户未在预设时间区间之内未答题的情况下,出现答复信息不明确的情况,通过确定答复信息为未完成,也有利于在存在多个问题的情况下,根据答复信息对未答题的问题进行统计。
此外,考虑到用户所处的环境可能比较嘈杂,若在嘈杂环境中通过语音识别目标用户的答复信息,可能识别的并不准确,为了保障在嘈杂环境对目标用答复信息的识别,还可以从所述多媒体数据中视频数据的图像帧中提取所述目标用户的口型变化特征,获得所述目标用户针对所述目标问题的答复信息。
具体的,可以通过特征提取模型从所述多媒体数据中视频数据的图像帧中提取所述目标用户的口型变化特征;并通过对所述口型变化特征进行口型识别,获得所述口型变化特征对应的发音信息;再对所述发音信息进行语音识别获得所述目标用户针对所述目标问题的答复信息。
具体实施时,口型识别可以采用预先训练完成的口型识别模型进行实现,此外,也可以采用其他方式进行实现,在此不做限制。
进一步的,为了进一步提高针对答复信息提高的准确性,还可以采用语音识别以及口型识别二者结合,目标用户的答复信息进行识别,具体的,可以基于所述多媒体数据中的音频数据,获得所述目标用户针对所述目标问题的第一答复信息;从所述视频数据的图像帧中提取所述目标用户的口型变化特征;通过对所述口型变化特征进行识别,获得所述口型变化特征对应的发音信息;对所述发音信息进行识别,获得所述目标用户针对所述目标问题的第一答复信息;通过所述第二答复信息对所述第一答复信息进行修正,或通过所述第一答复信息对所述第二答复信息进行修正,获得所述目标用户针对所述目标问题的答复信息。
其中,第一答复信息,是通过对音频数据进行语音识别获得的答复信息;第二答复信息,是通过识别视频数据中视频帧中口型变化获得的答复信息;实际应用中,由于获得的第一答复信息或第二答复信息中可能存在不准确的地方,则可以彼此作为参照从而对自身进行修正,从而获得更准确的答复信息。
实际应用中,为了增加答题的灵活性,本申请实施例提供的一种可选实施方式中,所述目标用户包括:至少两个目标用户;
相应的,所述基于所述多媒体数据获得所述目标用户针对所述目标问题的答复信息,包括:
所述基于所述多媒体数据获得所述至少两个目标用户中任一用户针对所述目标问题的答复信息。
实际应用中,在针对目标问题的答题过程中,目标用户可以是一个目标用户,也可以两个目标用户或多个目标用户,在此不做限制,而在目标用户为至少两个目标用户的情况下,可以不限定针对目标问题的答题者,即两个目标用户任一一个目标用户都可以对该目标问题进行答题,从而获取其针对目标问题的答复信息。
此外,在任一目标用户完成针对目标问题的答复之后,可以对该任一目标用户的答题数量进行记录,此外,还可以进一步记录该任一目标用户回答了哪个目标问题,以便对每个目标用户的答题情况进行跟踪回顾。
本申请实施例,允许多人参与共同针对目标问题进行答复,增加了游戏中用户的趣味性以及参与感。
步骤206,通过将所述答复信息与所述目标问题的预设答案进行对比,获得针对所述目标问题的答复结果。
具体的,答复结果,可以理解为针对答复信息的正确性进行的评价,该答复结果可以采用评分(比如60分、80分等)的形式进行表示,还可以采用星级(比如三星、五星等)的形式进行表示,在此不做限定。
本申请实施例,在上述获取目标问题的答复信息的基础上,将答复信息与目标问题的预设答案进行对比,判断此答复信息是否为目标问题的正确答案,而无需人工对答复信息进行批改,减少了人工成本。
具体实施时,由于目标问题可能不仅仅是选择题,若是选择题则可以直接通过对比,确定目标用户的答复信息是正确或者错误,若是计算题或问答题,则需要对目标用户的答复信息进行更深层次的分析,且按照目标用户的答复程度,获得相应的答复结果,以便更准确地对目标用户的答复信息进行判断,本申请实施例提供的一种可选实施方式中,通过目标问题的评分标准,对答复信息进行,具体采用如下方式实现:
根据所述目标问题的问题标识,获取所述目标问题的所述预设答案;
按照预设的评分标准,将所述预设答案以及所述答复信息进行对比,获得针对所述答复信息的评分;
将所述评分以及所述答复信息作为所述答复结果。
具体的,问题标识可以是字符串或编码串,其可以唯一地标识一个问题,则根据问题标识,可以获取目标问题的预设答案,即标准的正确答案,再按照评分标准,将预设答案中的评分点与答复信息中的评分点一一进行对比,进而确定答复信息的评分,并将评分以及答复信息共同作为答复结果,以供目标用户进行查看。
进一步的,在目标问题为猜词问题,且目标用户回答有错误的情况下,本申请实施例提供的一种可选实施方式中,所述通过将所述答复信息与所述目标问题的预设答案进行对比,获得针对所述目标问题的答复结果,具体采用如下方式进行实现:
将所述答复信息与所述目标问题的预设答案进行比对,获得所述答复信息与所述预设答案不一致的错误字/词以及针对所述目标问题的答复结果;
将所述错误字/词在所述猜词问题中对应的图像和/或所述答复结果中答复信息内对应的字/词进行突出显示。
具体的,在将目标问题的答复信息与目标问题的预设答案进行对比的过程中,可以对比答复信息中的每个字与预设答案中的每个字是否一致,若是,则将不一致的字/词作为错误字/词,并将猜词问题中与该错误字/词对应的图像进行突出显示,和/或,将答复结果中答复信息内与错误字/词对应的字/词进行突出显示,以便标记出错误的字/词,使目标用户明白其答错的内容。
实际应用中,针对错误字/词对应的图像和/或答复信息内字/词进行突出显示的方式是多种多样的,比如,可以通过打叉的方式进行突出显示,也可以采用加边框的方式进行突出显示等,在此不做限制。
步骤208,展示所述多媒体数据以及所述答复结果。
具体的,在获得答复结果的基础上,展示多媒体数据以及答复结果,具体的,如图4所示,在多媒体数据的视频数据的视频帧中目标问题在目标用户的正上方进行展示,在获得答复结果后,将目标问题以及答复结果共同在目标用户的正上方进行展示。
此外,还可以将目标问题以及答复结果分别在不同的位置进行展示,在此不做限制。
进一步的,在目标用户为至少两个目标用户的基础上,本申请实施例提供的一种可选实施方式中,展示所述答复结果,具体采用如下方式实现:
在所述任一用户对应的展示区域展示所述答复结果中的所述答复信息和/或所述答复信息对应的评分。
实际应用中,为了更好地区分是哪个用户对目标问题进行了作答,也便于答题者更方便地对其答复结果中的内容进行观看,可以将答复结果中的答复信息和/或答复信息对应的评分,在答题者(即至少两个用户中针对目标问题进行作答的任一用户)对应的展示区域进行展示。
具体实施时,可以根据该任一用户的图像区域在多媒体数据中视频数据的视频帧中所处的位置,确定该任一用户对应的展示区域,比如,存在两个目标用户,而该答题者处于视频帧的左边,而另一目标用户处于视频帧的右边,则将该答题者的答复结果中的答复信息和/或答复信息对应的评分在视频帧的左边(答题者对应的展示区域)进行展示。
进一步的,为了增加答复结果的展示效果,使答复结果的展示更加灵活多样,本申请实施例提供的一种可选实施方式中,所述答复结果中的所述答复信息对应的评分和/或所述答复信息以预设的动画形式进行展示。
其中,预设的动画形式可以是多种多样的,具体的,可以针对不同的目标问题预先设置不同的动画形式,或根据答复结果的准确程度设置不同的动画形式等,在此不做限制,比如,在答复结果中答复信息对应的评分超过预设评分阈值的情况下,展示一种动画形式,在答复结果中答复信息对应的评分未超过预设评分阈值的情况下,展示另一种动画形式。
此外,针对答复信息和答复信息对应的评分还可以分别设置不同的动画形式,在此不做限制。
再进一步的,针对答复信息的动画展示,本申请实施例提供的一种可选实施方式中,所述答复信息以预设的动画形式进行展示,还包括:
确定所述多媒体数据中视频数据的图像帧中目标用户的嘴部所在的第一位置,以及所述答复信息中每个文字在所述图像帧中对应的目标位置;
控制每个文字以动态的形式从所述第一位置移动至所述目标位置,以展示每个文字。
在已经获得目标用户针对目标问题的答复信息的情况下,可以清楚了解答复信息中包含的文字的数量,并可以基于文字的数量,可以确定文字之间的间隔并显示高度等信息,从而确定每个文字对应的目标位置。
具体的,对每个文字的则控制答复信息中的每个文字形成吐字效果的时候,可以先确定每个文字的起始位置(即嘴部所在第一位置)以及每个位置的目标位置,以便控制这些文字从第一位置以动态的形式移动至目标位置,即形成将答复信息中每个文字从嘴部吐出移动至对应的目标位置的效果,增加了答复信息展示的趣味性。
在上述展示多媒体数据以及答复结果的基础上,本申请实施例提供的一种可选实施方式中,所述答题方法,还包括:
根据所述多媒体数据以及所述答复结果,生成目标视频。
具体的,将多媒体视频中的视频数据与答复结果进行结合,比如,可以按照答复时间,将答复结果添加至多媒体数据中的视频数据中,从而获得目标视频,使目标用户可以对针对目标问题的答复结果以及答复过程进行回顾学习,此外,还便于目标用户将目标视频分享至他人,以使他人对目标用户的答题过程进行监督或了解,以提高目标用户的学习动力以及效率。
实际应用中,还可以在上述多媒体数据答复结果的基础上,结合目标问题的正确答案,以及对正确答案的深入解析,共同生成目标视频,使目标用户及时了解正确答案,并对正确答案进行学习,纠正自身答题的错误。
进一步的,在上述展示多媒体数据以及答复结果的基础上,本申请实施例提供的一种可选实施方式中,所述展示所述多媒体数据以及所述答复结果之后,还包括:
采集并展示所述目标用户针对所述答复结果进行回应的表达视频。
本申请实施例提供的一种可选实施方式中,所述答题方法,还包括:
根据所述多媒体数据、所述答复结果以及所述表达视频,生成目标视频。
具体实施时,为了丰富目标用户的答复过程,在向目标用户展示答复结果之后,可以继续采集目标用户的动态视频,这时目标用户可以针对该答复结果进行回应,比如若答复结果正确或评分较高,则可以做出庆祝动作,若答复结果错误或评分较低,则可以做出鼓励动作等;进一步的,采集目标用户针对答复结果的回应(比如:表情、动作、言语等),生成表达视频并展示,可以使用户记录自己对于答复结果/目标问题/答题过程的情态,增加了答题的趣味性。
例如,在针对目标问题设置的答题时间为60s的情况下,目标用户在30s的时候就完成了答题,则可以使目标用户采用剩余的30s针对答复结果展示动作或进行言语表达,以便录制目标用户所展示的动作或进行的言语表达生成表达视频。
进一步的,在生成表达视频的基础上,将该表达视频、上述多媒体数据并答复结果进行结合,生成目标视频,以便增加对目标用户的答题过程的记录信息,提高了目标视频的精彩性以及多样性。
实际应用中,还存在目标问题包括两个或两个以上的情况,为了更加清楚条理地记录目标用户针对至少两个问题的答题过程,本申请实施例提供的一种可选实施方式中,所述目标问题包括:至少两个问题,将所述至少两个问题中的第i个问题设置为所述目标问题,执行步骤202-208,并通过所述答复结果更新累计答复结果,其中,i从1开始取值且i为正整数;
判断所述至少两个问题是否均已回答完毕,若否,i自增1,将第i个问题设置为所述目标问题,继续执行步骤202-步骤208并通过所述答复结果更新累计答复结果;
若是,输出累计答复结果,结束所述方法。
实际应用中,在目标用户的答题过程中包括至少两个问题的情况,可以依次将每个问题设置为目标问题,循环执行上述步骤202-步骤208,展示针对每个问题的答题过程并答复结果,并将目标用户针对每个目标问题的答复结果进行累加,形成累计答复结果,即通过答复结果更新累计答复结果。
具体实施时,在答复完成所述至少两个问题的情况下,输出该累计答复结果,可以理解为将该累计答复结果进行展示,比如,可以将该累计答复结果展示在用户界面中,也可以采用弹出框的形式进行展示,此外,还可以再将累计答复结果添加至多媒体数据中的视频数据中以视频形式展示,在此不做限制。
如图5所示,目标用户针对至少两个目标问题进行答复,目标用户A在答复完成目标问题1之后,展示目标问题1以及对应的答复结果1,在答复完成目标问题2之后,展示目标问题2以及对应的答复结果2,并在答复完成全部问题之后,展示目标用户A的累计答复结果。
进一步的,在存在至少两个问题的基础上,还可能存在至少两个目标问题的情况,本申请实施例提供的一种可选实施方式中,所述目标用户包括:至少两个目标用户;
相应的,所述基于所述多媒体数据获得所述目标用户针对所述目标问题的答复信息,包括:
确定所述至少两个目标用户中针对所述目标问题的答复用户;
基于所述多媒体数据,获得所述答复用户针对目标问题的答复信息;
相应的,所述通过所述答复结果更新累计答复结果,包括:通过每个答复用户的答复结果更新每个答复用户的累计答复结果。
实际应用中,在存在至少两个目标用户的情况下,可以先确定每个目标问题的答复用户(即目标问题的答题者),并获得答复用户的答复信息,从而基于答复用户的答复信息,确定答复用户针对目标问题的答复结果。
在确定答复用户的答复结果的基础上,则可以分别统计每个答复用户的答复情况,即将每个答复用户的答复结果进行累加,从而形成每个答复用户的累计答复结果,使得答复结果以及累计答复结果的统计更加灵活,也更加全面地体现了目标用户的答题情况。
在所述至少两个目标用户可以在视频数据的视频帧中同时出现,轮流针对至少两个目标问题进行答复的情况下,如图6所示,以两个目标用户为例,目标用户包括目标用户A以及目标用户B,两人共同针对目标问题进行答复,目标用户A在答复完成目标问题1之后,展示目标问题1以及对应的答复结果1,目标用户B在答复完成目标问题2之后,展示目标问题2以及对应的答复结果2,在答题过程中不断统计目标用户A的累计答复结果以及目标用户B的累计答复结果,并在答复完成全部问题之后,展示目标用户A的累计答复结果以及目标用户B的累计答复结果。
此外,还可以如图7所示,目标用户A在答复完成目标问题1之后,展示目标问题1以及对应的答复结果1,目标用户B在答复完成目标问题2之后,展示目标问题2以及对应的答复结果2,并在答复完成全部问题之后,展示目标用户A以及目标用户B共同针对目标问题的累计答复结果。
具体实施时,本申请实施例提供的第一种可选实施方式中,所述确定所述至少两个目标用户中针对所述目标问题的答复用户,具体采用如下方式进行实现:
通过对所述多媒体数据中的音频数据进行声纹识别和/或通过对所述多媒体数据中视频数据的图像帧进行人脸识别,确定所述至少两个目标用户中针对所述目标问题的答复用户。
具体的,在目标用户为多个目标用户的情况下,为了更好地区分是哪个目标用户进行了答题,可以预先录制每个目标用户的声纹和/或人脸图像,以便在目标用户进行答题过程中,将多媒体数据的音频数据中录制的声纹与预存的声纹进行比对,确定至少两个目标用户中哪个目标用户为答复用户(即声纹识别),和/或将多媒体数据中视频数据的视频帧中的人脸与预存的人脸图像进行比对,确定至少两个目标用户中哪个目标用户为答复用户(即人脸识别)。
此外,还可以采用将声纹识别和人脸识别结合的方式,确定答复用户,具体的,先通过对所述多媒体数据中的音频数据进行声纹识别,确定所述至少两个目标用户中针对所述目标问题的第一答复用户;再通过对所述多媒体数据中视频数据的图像帧进行人脸识别,确定所述至少两个目标用户中针对所述目标问题的第二答复用户;判断所述第一答复用户与所述第二答复用户是否为同一用户;若是,表明通过声纹识别的第一答复用户或人脸识别的第二答复用户都是准确的,则将所述第一答复用户或所述第二答复用户确定为所述答复用户;若否,表明答题的用户和视频数据中展示的用户并非同一个人,则可以展示相关的提示信息,以提醒视频数据中用户自己进行针对目标问题的作答,极大地避免了用户在答题过程中作弊的情况。
具体实施时,声纹识别可以采用声纹识别模型进行实现,而人脸识别可以采用人脸识别模型进行实现,此外,还可以采用其他方式进行实现,在此不做限制。
实际应用中,除所述至少两个目标用户可以在视频数据的视频帧中同时出现,轮流针对至少两个目标问题进行答复之外,每个目标用户也可以交替出现在拍摄设备的拍摄范围内,轮流针对至少两个目标问题进行答复,使多媒体体数据中视频数据的视频帧中交替出现每个目标用户的答题过程,以此体现团队协作,也增加了答题的趣味性,如图8所示,目标用户A以及目标用户B,两人共同针对目标问题进行答复,目标用户A在答复完成目标问题1之后,展示目标问题1以及对应的答复结果1,并轮到目标用户B作答,目标用户B在答复完成目标问题2之后,展示目标问题2以及对应的答复结果2,接下来又轮到目标用户A作答,目标用户A在答复完成目标问题3之后,展示目标问题3以及对应的答复结果3,并在答题过程中不断统计目标用户A的累计答复结果以及目标用户B的累计答复结果,在完成全部问题的答复之后,展示目标用户A的累计答复结果以及目标用户B的累计答复结果。
此外,还可以如图9所示,在目标用户A在答复完成目标问题1之后,展示目标问题1以及对应的答复结果1,目标用户B在答复完成目标问题2之后,展示目标问题2以及对应的答复结果2,目标用户A在答复完成目标问题3之后,展示目标问题3以及对应的答复结果3,在完成全部问题的答复之后,展示目标用户A以及目标用户B共同针对目标问题的累计答复结果。
实际应用中,还存在至少两个目标用户,针对同一个目标问题进行抢答的情况,本申请实施例提供的第二种可选实施方式中,所述确定所述至少两个目标用户中针对所述目标问题的答复用户,包括:
确定每个目标用户针对所述目标问题的答复时间;
基于所述答复时间,确定所述至少两个目标用户中针对所述目标问题的答复用户。
实际应用中,在存在至少两个目标用户针对目标问题进行抢答的情况下,需要先确定每个目标用户针对目标问题的答复时间,并将答复时间最早的用户作为答复用户,具体的,确定每个目标用户针对目标问题的答复时间的方式是多种多样的,比如,可以识别每个目标用户的声纹出现的时间作为答复时间,此外,还可以识别每个目标用户出现连续口型变化的时间作为答复时间等,在此不做限制。
需要说明的是,若任一一个目标用户没有作答,则可以理解为其答复时间是无限晚。
本申请实施例,通过确定每个目标用户的答复时间,并进一步基于答复时间,确定针对目标问题的答复用户,使各个目标用户之间可以竞争对目标问题的答复,增加了目标用户的答题乐趣,并潜在地增加了目标用户的答题效率以及答题动力。
进一步的,在上述多媒体数据包括:包含背景音乐的音频数据的基础上,相应的,生成的目标视频中也包含背景音乐,避免了查看目标视频的枯燥感,并增加了查看目标视频的轻松感以及趣味性。也为了保障背景音乐在目标视频中声音质量以及稳定性,本申请实施例提供的一种可选实施方式中,所述根据所述多媒体数据以及所述答复结果,生成目标视频步骤执行之后,还包括:
根据声音指纹,将所述音频数据中包含的背景音乐与所述播放设备播放的所述背景音乐对齐;
通过将对齐后的所述包含的背景音乐与所述播放的背景音乐进行融合的方式,将所述目标视频与所述背景音乐进行融合,获得第二目标视频。
具体的,所述声音指纹,是指音频中独特的特征,根据声音指纹可以识别与之同样的声音,本申请实施例,通过声音指纹将音频数据中包含的背景音乐与播放设备播放的背景音乐中相同的特征,按照时间顺序进行对齐,通过将对齐后的包含的背景音乐与播放设备播放的背景音乐进行融合,更新所述目标视频,获得第二目标视频。
实际应用中,目标用户在完成目标问题的答复之后,还可以继续进行答题,并进而生成相应的视频,不仅丰富了目标用户所需答复的问题,也增加了问题的完整度,本申请实施例提供的一种可选实施方式中,在展示多媒体数据以及答复结果之后,确定针对目标用户的下一个问题,具体采用如下方式实现:
在所述目标问题所属的题库中确定第二目标问题;
将所述第二目标问题作为所述目标问题,并返回执行所述获取并展示目标用户针对目标问题的多媒体数据步骤。
具体实施时,在所述目标问题所属的题库中确定第二目标问题的方式是多种多样的,比如,按照所述目标问题的问题序号从小到大的顺序,确定第二目标问题,或者按照预设问题顺序,确定第二目标问题等,在此不做限制。
在确定第二目标问题之后,还可以返回执行上述步骤202,通过重复上述步骤202-步骤208,展示针对第二目标问题的答题过程,并生成针对第二问题的答题视频,进而将目标视频与第二目标问题对应的答题视频进行组合,形成针对两个问题的答题视频,同样的方式,还可以获得针对多个问题的答题视频。
进一步的,本申请实施例提供的一种可选实施方式中,根据目标用户针对目标问题的答复结果,确定第二目标问题,具体采用如下方式实现:
按照所述目标问题所属的问题类型,以及所述目标问题对应的难度值,在所述目标问题所属的题库中确定第二目标问题。
具体实施时,可以将答复结果中包含的答复信息评分与评分阈值进行比较,其中,评分阈值用于表明答复信息的正确性,在答复信息的评分大于或等于评分阈值的情况下,表明目标用户对目标问题的答复基本或者完全是正确的,在答复信息的评分小于评分阈值的情况下,表明目标用户对目标问题的答复大多是错误的。
所述目标问题所属的问题类型,表明目标问题对应的知识点,不同问题类型对应不同的知识点,而目标问题对应的难度值,表明针对问题对该知识点所挖掘的深度,可以以具体数值表示,数值越大,难度值越高,此外,还可以以等级表示,等级越高,难度越高等,在此不做限制;在答复信息的评分大于或等于评分阈值的情况下,可以通过提高目标问题所属的问题类型的难度和/或改变题目类型等方式,选择下一个问题,即第二目标问题。而在答复信息的评分小于评分阈值的情况下,针对目标用户在答题中出现的错误,选择与目标问题类似的知识点以及难度值相似的第二目标问题,或选择类似知识点的难度较低的第二目标问题,有助于目标用户掌握目标问题对应的知识点,提高目标用户的学习效果。
综上所述,本申请实施例提供的一种答题方法,通过获取并展示目标用户针对目标问题的多媒体数据,以便目标用户或其他用户对答题过程进行观察,纠正不良的答题习惯,并提高答题的趣味性,再基于所述多媒体数据获得所述目标用户针对所述目标问题的答复信息,通过将所述答复信息与所述目标问题的预设答案进行对比,获得针对所述目标问题的答复结果,并进一步展示所述多媒体数据以及所述答复结果,以供目标用户或他人可以清楚了解其答题过程的状态以及答题结果,并进一步通过展示该过程促进目标用户的答题效果以及答题动力。
下述结合图10,以本申请一实施例的一种答题方法在答题场景中的应用为例,对所述答题方法进行进一步说明。其中,图10示出了本申请一实施例提供的应用于答题场景的一种答题方法的流程图,具体包括以下步骤:
步骤1002,基于接收的答题指令,开启拍摄设备实时进行拍摄,获得包含目标用户的视频数据。
具体的,所述答题指令,可以理解为开启针对目标问题的答复指令,所述目标用户包括至少一个目标用户。
步骤1004,通过录音设备实时进行录音,获得音频数据。
步骤1006,将所述视频数据、所述音频数据以及目标问题作为多媒体数据进行获取。
步骤1008,对所述多媒体数据中视频数据的图像帧进行人脸定位和/或人体姿态定位,获取所述图像帧中人脸和/或人体的位置信息。
步骤1010,根据所述位置信息以及预设的展示规则,确定所述目标问题的展示位置。
步骤1012,按照所述展示位置,将所述目标问题添加至所述视频数据中,并展示所述多媒体数据。
具体的,如图3所示,将目标问题在目标用户的正上方进行展示。
步骤1014,检测预设时间区间内所述音频数据中的人声数据。
步骤1016,在检测到所述人声数据的情况下,根据所述人声数据对所述音频数据进行截取,获得目标音频数据。
步骤1018,对所述目标音频数据中的人声数据进行识别,获得所述目标音频数据对应的文本信息,将所述文本信息作为答复信息。
步骤1020,根据所述目标问题的问题标识,获取所述目标问题的所述预设答案。
步骤1022,按照预设的评分标准,将所述预设答案以及所述答复信息进行对比,获得针对所述答复信息的评分。
步骤1024,将所述评分以及所述答复信息作为所述目标问题的答复结果。
步骤1026,展示所述多媒体数据以及所述答复结果。
步骤1028,按照所述目标问题所属的问题类型,以及所述目标问题对应的难度值,在所述目标问题所属的题库中确定第二目标问题。
其中,第二目标问题,可以理解为用户答题过程中继目标问题之后的第二个问题。
具体的,在确定第二目标问题的基础上,将第二目标问题作为所述目标问题,重复执行上述步骤1002-步骤1026,展示针对第二目标问题的答题过程以及答复结果,此外,还可以通过答复结果更新累计答复结果,以此类推,进行至少两个问题中其他问题的答复,并不断对答复结果进行累计,从而更新累计答复结果。
综上所述,本申请实施例提供的一种答题方法,通过获取并展示目标用户针对目标问题的多媒体数据,以便目标用户或其他用户对答题过程进行观察,纠正不良的答题习惯,并提高答题的趣味性,再基于所述多媒体数据中的音频数据,获得所述目标用户针对所述目标问题的答复信息,通过将所述答复信息与所述目标问题的预设答案进行对比,获得针对所述目标问题的答复结果,并进一步展示所述多媒体数据以及所述答复结果,以供目标用户或他人可以清楚了解其答题过程的状态以及答题结果,并进一步通过展示该过程促进目标用户的答题效果以及答题动力。
与上述一种答题方法实施例相对应,本申请还提供了一种答题装置实施例,图11示出了本申请一实施例提供的一种答题装置的结构示意图。如图11所示,该装置包括:
获取模块1102,被配置为获取并展示目标用户针对目标问题的多媒体数据;
获得模块1104,被配置为基于所述多媒体数据获得所述目标用户针对所述目标问题的答复信息;
对比模块1106,被配置为通过将所述答复信息与所述目标问题的预设答案进行对比,获得针对所述目标问题的答复结果;
展示模块1108,被配置为展示所述多媒体数据以及所述答复结果。
可选地,所述答题装置,还包括:
生成模块,被配置为根据所述多媒体数据以及所述答复结果,生成目标视频。
可选地,所述目标问题包括:至少两个问题,将所述至少两个问题中的第i个问题设置为所述目标问题,依次运行所述获取模块1102、所述获得模块1104、所述对比模块1106以及所述展示模块1108,并通过所述答复结果更新累计答复结果,其中,i从1开始取值且i为正整数;
判断所述至少两个问题是否均已回答完毕,若否,i自增1,将第i个问题设置为所述目标问题,继续依次运行所述获取模块1102、所述获得模块1104、所述对比模块1106以及所述展示模块1108并通过所述答复结果更新累计答复结果;
若是,输出累计答复结果,结束所述方法。
可选地,所述目标用户包括:至少两个目标用户;
相应的,所述获得模块1104,包括:
确定子模块,被配置为确定所述至少两个目标用户中针对所述目标问题的答复用户;
获得信息子模块,被配置为基于所述多媒体数据,获得所述答复用户针对目标问题的答复信息;
相应的,所述通过所述答复结果更新累计答复结果,包括:通过每个答复用户的答复结果更新每个答复用户的累计答复结果。
可选地,所述确定子模块,进一步被配置为:
通过对所述多媒体数据中的音频数据进行声纹识别和/或通过对所述多媒体数据中视频数据的图像帧进行人脸识别,确定所述至少两个目标用户中针对所述目标问题的答复用户。
可选地,所述确定子模块,进一步被配置为:
确定每个目标用户针对所述目标问题的答复时间;
基于所述答复时间,确定所述至少两个目标用户中针对所述目标问题的答复用户。
可选地,所述获得模块1104,进一步被配置为:
基于所述多媒体数据中的音频数据和/或从所述多媒体数据中视频数据的图像帧中提取所述目标用户的口型变化特征,获得所述目标用户针对所述目标问题的答复信息。
可选地,所述目标用户包括:至少两个目标用户;
相应的,所述获得模块1104,包括:
所述基于所述多媒体数据获得所述至少两个目标用户中任一用户针对所述目标问题的答复信息。
可选地,展示所述答复结果,进一步被配置为:
在所述任一用户对应的展示区域展示所述答复结果中的所述答复信息和/或所述答复信息对应的评分。
可选地,所述答复结果中的所述答复信息对应的评分和/或所述答复信息以预设的动画形式进行展示。
可选地,所述答复信息以预设的动画形式进行展示,还包括:
确定所述多媒体数据中视频数据的图像帧中目标用户的嘴部所在的第一位置,以及所述答复信息中每个文字在所述图像帧中对应的目标位置;
控制每个文字以动态的形式从所述第一位置移动至所述目标位置,以展示每个文字。
可选地,所述答题装置,还包括:
检查模块,被配置为检测所述多媒体数据中音频数据的人声数据,并检测所述人声数据中任意一个字音;
识别模块,被配置为对所述任意一个字音进行识别,获得所述任意一个字音对应的文字;
确定位置模块,被配置为确定所述多媒体数据中视频数据的图像帧中目标用户的嘴部所在的第一位置;
控制模块,被配置为控制所述文字以动态的形式从所述第一位置移出,以展示所述文字。
可选地,所述答题装置,还包括:
确定特征模块,被配置为通过对采集到的包含目标用户的图像区域进行识别,确定所述目标用户的用户特征;
确定问题模块,被配置为基于所述用户特征对应的问题难度值,确定目标问题。
可选地,所述答题装置,还包括:
采集模块,被配置为采集并展示所述目标用户针对所述答复结果进行回应的表达视频。
可选地,所述答题装置,还包括:
生成视频模块,被配置为根据所述多媒体数据、所述答复结果以及所述表达视频,生成目标视频。
可选的,所述获得模块1104,包括:
检测子模块,被配置为检测预设时间区间内所述音频数据中的人声数据;
截取子模块,被配置为在检测到所述人声数据的情况下,根据所述人声数据对所述音频数据进行截取,获得目标音频数据;
识别子模块,被配置为对所述目标音频数据中的人声数据进行识别,获得所述目标音频数据对应的文本信息,将所述文本信息作为所述答复信息。
可选的,所述获得模块1104,还包括:
确定子模块,被配置为在未检测到所述人声数据的情况下,将所述答复信息确定为未完成。
可选的,所述获取模块1102,包括:
定位子模块,被配置为对所述多媒体数据中视频数据的图像帧进行人脸定位和/或人体姿态定位,获取所述图像帧中人脸和/或人体的位置信息;
确定位置子模块,被配置为根据所述位置信息以及预设的展示规则,确定所述目标问题的展示位置;
第一展示子模块,被配置为按照所述展示位置,将所述目标问题添加至所述视频数据中,并展示所述多媒体数据。
可选的,所述对比模块1106,包括:
获取答案子模块,被配置为根据所述目标问题的问题标识,获取所述目标问题的所述预设答案;
获得评分子模块,被配置为按照预设的评分标准,将所述预设答案以及所述答复信息进行对比,获得针对所述答复信息的评分;将所述评分以及所述答复信息作为所述答复结果。
可选的,所述获取模块1102,包括:
开启拍摄子模块,被配置为开启拍摄设备实时进行拍摄,获得包含目标用户的视频数据;
开启录音子模块,被配置为通过录音设备实时进行录音,获得音频数据;
获取数据子模块,被配置为将所述视频数据、所述音频数据以及目标问题作为所述多媒体数据进行获取并展示。
可选的,所述开启录音子模块,还被配置为:
开启播放设备播放背景音乐,并开启录音设备进行录音,获得包含背景音乐的音频数据。
可选的,所述答题装置,还包括:
对齐模块,被配置为根据声音指纹,将所述音频数据中包含的背景音乐与所述播放设备播放的背景音乐对齐;
融合模块,被配置为通过将对齐后的所述包含的背景音乐与所述播放的背景音乐进行融合的方式,将所述目标视频与所述背景音乐进行融合,获得第二目标视频。
可选的,所述答题装置,还包括:
确定问题模块,被配置为在所述目标问题所属的题库中确定第二目标问题;将所述第二目标问题作为所述目标问题,并运行所述获取模块1102。
可选的,所述确定问题模块,还被配置为:
按照所述目标问题所属的问题类型,以及所述目标问题对应的难度值,在所述目标问题所属的题库中确定第二目标问题。
可选的,所述获取模块1102,包括:
计时子模块,被配置为开启计时程序针对所述目标问题进行答复计时,所述计时程序对应的时间计数值按照时间单位进行递增或者递减;
展示计时子模块,被配置为展示所述时间计数值。
可选地,所述目标问题包括:猜词问题,其中,所述猜词问题中每个字以图像的形式进行展示。
可选地,所述对比模块1106,包括:
对比子模块,被配置为将所述答复信息与所述目标问题的预设答案进行比对,获得所述答复信息与所述预设答案不一致的错误字/词以及针对所述目标问题的答复结果;
显示子模块,被配置为将所述错误字/词在所述猜词问题中对应的图像和/或所述答复结果中答复信息内对应的字/词进行突出显示。
需要说明的是,装置权利要求中的各组成部分应当理解为实现该程序流程各步骤或该方法各步骤所必须建立的功能模块,各个功能模块并非实际的功能分割或者分离限定。由这样一组功能模块限定的装置权利要求应当理解为主要通过说明书记载的计算机程序实现该解决方案的功能模块构架,而不应当理解为主要通过硬件方式实现该解决方案的实体装置。
上述为本实施例的一种答题装置的示意性方案。需要说明的是,该答题装置的技术方案与上述的一种答题方法的技术方案属于同一构思,答题装置的技术方案未详细描述的细节内容,均可以参见上述一种答题方法的技术方案的描述。
本申请一实施例中还提供一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,所述处理器执行所述指令时实现所述的答题方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的答题方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述答题方法的技术方案的描述。
本申请一实施例还提供一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现如前所述答题方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的答题方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述答题方法的技术方案的描述。
本申请实施例还提供了视频生成方法及装置、计算设备和计算机可读存储介质,以解决现有技术中存在的技术缺陷,具体如下所示:
1、一种视频生成方法,包括:
获取目标用户针对目标问题的多媒体数据;
展示获取的所述多媒体数据以及所述目标问题;
基于所述多媒体数据中的音频数据,获得所述目标用户针对所述目标问题的答复信息;
通过将所述答复信息与所述目标问题的预设答案进行对比,获得针对所述目标问题的答复结果;
根据所述多媒体数据、所述目标问题以及所述答复结果,生成目标视频。
2、根据1所述的视频生成方法,所述基于所述多媒体数据中的音频数据,获得所述目标用户针对所述目标问题的答复信息,包括:
检测预设时间区间内所述音频数据中的人声数据;
在检测到所述人声数据的情况下,根据所述人声数据对所述音频数据进行截取,获得目标音频数据;
对所述目标音频数据中的人声数据进行识别,获得所述目标音频数据对应的文本信息,将所述文本信息作为所述答复信息。
3、根据2所述的视频生成方法,所述检测预设时间区间内所述音频数据中的人声数据步骤执行之后,还包括:
在未检测到所述人声数据的情况下,将所述答复信息确定为未完成。
4、根据1所述的视频生成方法,所述展示获取的所述多媒体数据以及所述目标问题,包括:
对所述多媒体数据中视频数据的图像帧进行人脸定位和/或人体姿态定位,获取所述图像帧中人脸和/或人体的位置信息;
根据所述位置信息以及预设的展示规则,确定所述目标问题的展示位置;
按照所述展示位置,将所述目标问题在所述视频数据中进行展示。
5、根据1所述的视频生成方法,所述通过将所述答复信息与所述目标问题的预设答案进行对比,获得针对所述目标问题的答复结果,包括:
根据所述目标问题的问题标识,获取所述目标问题的所述预设答案;
按照预设的评分标准,将所述预设答案以及所述答复信息进行对比,获得针对所述答复信息的评分;
将所述评分以及所述答复信息作为所述答复结果。
6、根据1所述的视频生成方法,所述获取目标用户针对目标问题的多媒体数据,包括:
开启拍摄设备实时进行拍摄,获得包含目标用户的视频数据;
通过录音设备实时进行录音,获得所述音频数据;
将所述视频数据以及所述音频数据作为所述多媒体数据进行获取。
7、根据6所述的视频生成方法,所述通过录音设备实时进行录音,获得所述音频数据,包括:
开启播放设备播放背景音乐,并开启录音设备进行录音,获得包含背景音乐的音频数据。
8、根据7所述的视频生成方法,所述根据所述多媒体数据、所述目标问题以及所述答复结果,生成目标视频步骤执行之后,还包括:
根据声音指纹,将所述音频数据中包含的背景音乐与所述播放设备播放的背景音乐对齐;
通过将对齐后的所述包含的背景音乐与所述播放的背景音乐进行融合的方式,将所述目标视频与所述背景音乐进行融合,获得第二目标视频。
9、根据1所述的视频生成方法,所述根据所述多媒体数据、所述目标问题以及所述答复结果,生成目标视频步骤执行之后,还包括:
在所述目标问题所属的题库中确定第二目标问题;
将所述第二目标问题作为所述目标问题,并返回执行所述获取目标用户针对目标问题的多媒体数据步骤。
10、根据9所述的视频生成方法,所述在所述目标问题所属的题库中确定第二目标问题,包括:
按照所述目标问题所属的问题类型,以及所述目标问题对应的难度值,在所述目标问题所属的题库中确定第二目标问题。
11、根据1所述的视频生成方法,所述展示获取的所述多媒体数据以及所述目标问题,包括:
开启计时程序针对所述目标问题进行答复计时,所述计时程序对应的时间计数值按照时间单位进行递增或者递减;
将所述目标问题以及所述时间计数值在所述多媒体数据的视频数据中进行展示。
12、一种视频生成装置,包括:
获取模块,被配置为获取目标用户针对目标问题的多媒体数据;
展示模块,被配置为展示获取的所述多媒体数据以及所述目标问题;
获得模块,被配置为基于所述多媒体数据中的音频数据,获得所述目标用户针对所述目标问题的答复信息;
对比模块,被配置为通过将所述答复信息与所述目标问题的预设答案进行对比,获得针对所述目标问题的答复结果;
生成模块,被配置为根据所述多媒体数据、所述目标问题以及所述答复结果,生成目标视频。
13、一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,所述处理器执行所述指令时实现1-11任意一项所述方法的步骤。
14、一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现1-11任意一项所述方法的步骤。
上述处理器120可以执行图12所示的一种视频生成方法中的步骤。图12示出了本申请一实施例提供的一种视频生成方法的流程图,该方法包括步骤1202至步骤1210。
步骤1202,获取目标用户针对目标问题的多媒体数据。
具体的,所述目标用户为针对目标问题答题的用户,目标问题可以是任意学科的问题或者调查的问题等,在此不做限制;而多媒体数据,包括通过拍摄设备和录音设备,拍摄和录制的目标用户针对目标问题的答题过程,而获得的多媒体数据,具体的,所述多媒体数据包括但不限于视频数据、音频数据、文字数据、图片数据等,在此不做限制。
本申请实施例,通过录制目标用户的答题过程的多媒体数据,并针对目标用户对目标问题的答复立即进行反馈,提升了目标用户的做题体验,并有助于目标用户以及他人查看目标视频,清楚地了解目标用户的答题情况。
实际应用中,目标问题可以是从题库中按照预设的选题规则选择出来的,而题库中的每个问题,包括但不限于问题序号、问题标识、题面、预设答案以及对应的评分标准,以便答题用户可以在答题过程中,或答题结束后可以获得目标问题的相关信息,本申请中提及的目标问题可以理解为目标问题的题面。
具体实施时,本申请实施例提供的一种可选实施方式中,获取目标用户针对目标问题的多媒体数据,具体通过如下方式实现:
开启拍摄设备实时进行拍摄,获得包含目标用户的视频数据;
通过录音设备实时进行录音,获得所述音频数据;
将所述视频数据以及所述音频数据作为所述多媒体数据进行获取。
具体实施时,目标用户在答题过程中,可以通过拍摄设备实时拍摄目标用户针对目标问题的答题过程,并通过录音设备实时对目标用户的答题过程进行录音,且实时获取拍摄的视频数据以及录制的音频数据,此外,还可以是获取事先录制好的多媒体数据,在此并不做限制。
以用户A针对问题1进行答题为例,用户A点击开始答题按钮进行答题,则开启拍摄设备进行拍摄获得视频数据,并开启录音设备进行录音获得音频数据,并在实时拍摄录音的过程中,实时获取针对问题1的视频数据以及录音数据,作为用户A针对问题1提供的多媒体数据M。
进一步的,为了增加目标用户做题的趣味性以及积极性,还可以在目标用户做题的过程中播放背景音乐,本申请实施例提供的一种可选实施方式中,所述通过录音设备实时录音声音,获得所述音频数据,包括:
开启播放设备播放背景音乐,并开启录音设备进行录音,获得包含背景音乐的音频数据。
具体的,在录音设备实时对目标用户的答题过程进行录音的过程中,播放设备播放背景音乐,则在录音的过程中将背景音乐一并录入,获得包含背景音乐的音频数据。
步骤1204,展示获取的所述多媒体数据以及所述目标问题。
实际应用中,在获取到目标用户针对目标问题提供的多媒体数据的基础上,展示所获取的多媒体数据以及目标问题,以便目标用户可以直观地看到和/或听到所录制的多媒体数据以及所要答复的目标问题。
需要说明的是,展示获取的所述多媒体数据以及所述目标问题,可以将目标问题添加至多媒体数据中包含的视频数据中进行展示,而添加的位置可以是任意的位置,在此并不做限制。
可选的,所述目标问题以题版的形式进行展示。
沿用上例,在上述实时获取视频数据以及音频数据作为用户A针对问题1提供的多媒体数据M的基础上,将获取的问题1添加至视频数据中,并进行实时展示。
为了保障目标用户对目标问题具有良好的读题视角,以提高目标用户的答题体验,本申请在用户的答题过程中,实时地根据目标用户的位置调整目标问题的展示位置,具体的,本申请实施例提供的一种可选实施方式中,所述展示获取的所述多媒体数据以及所述目标问题,具体采用如下方式实现:
对所述多媒体数据中视频数据的图像帧进行人脸定位和/或人体姿态定位,获取所述图像帧中人脸和/或人体的位置信息;
根据所述位置信息以及预设的展示规则,确定所述目标问题的展示位置;
按照所述展示位置,将所述目标问题在所述视频数据中进行展示。
具体的,对所述多媒体数据中的图像帧进行人脸定位和/或人体姿态定位,是指通过人脸识别或姿态识别,识别多媒体数据中视频数据的图像帧中的人脸或人体,并进一步确定图像帧中的人脸和人体在图像帧中的位置信息,具体实施时,此位置信息可以是坐标信息,此外还可以是确定的区域信息,比如左下角,正中,右下角等,在此不做限制。
进一步,根据位置信息以及预设的展示规则,确定目标问题的展示位置,具体的,展示规则是指预设的位置信息与展示位置的对应关系,比如,展示位置为与位置信息相对,或者展示位置在人脸的正上方等,在此不做限制,并在确定展示位置之后,将所述目标问题和多媒体数据进行融合展示。
沿用上例,在实时展示多媒体数据M以及目标问题的过程中,实时对视频数据的图像帧进行人脸定位,获取图像帧中人脸的位置信息X,并根据该位置信息X,以及预先设置的展示规则,确定展示位置为位置信息X的正下方,将问题1添加至位置信息X的正下方进行展示。
此外,为了使目标用户在答题的过程中,能够明确具体的答题时间,从而对答题时间有更好的把控,提高答题的效率,本申请实施例提供的一种可选实施方式中,在展示获取的所述多媒体数据以及所述目标问题的基础上,展示针对目标问题的答复时间,具体采用如下方式实现:
开启计时程序针对所述目标问题进行答复计时,所述计时程序对应的时间计数值按照时间单位进行递增或者递减;
将所述目标问题以及所述时间计数值在所述多媒体数据的视频数据中进行展示。
具体的,所述计数程序,是用于统计答复的时长,在开启计时程序之初,计时程序会对应一个初始的时间计数值,在进行计时的过程中,此时间计数值会按照时间单位进行递增或者递减,其中,所述时间单位,是对目标问题的答复时长的计量单位,可以根据实际的需要进行设置,比如,秒、毫秒等。
比如,预设的答题时间为60秒,在展示问题1之前,开启一个从60按照秒进行倒计时的计时程序,将计时程序对应的时间计数值以及目标问题在视频数据中进行实时展示。
步骤1206,基于所述多媒体数据中的音频数据,获得所述目标用户针对所述目标问题的答复信息。
需要说明的是,本申请设定目标用户通过语音的方式进行答题,因此获取的多媒体数据中的音频数据,是在拍摄过程中实时录制的音频数据,以便采集目标用户针对目标问题的答复。
具体实施时,为了控制目标用户的答题时间,以提升目标用户的做题效率,本申请实施例提供的一种可选实施方式中,所述基于所述多媒体数据中的音频数据,获得所述目标用户针对所述目标问题的答复信息,具体采用如下方式实现:
检测预设时间区间内所述音频数据中的人声数据;
在检测到所述人声数据的情况下,根据所述人声数据对所述音频数据进行截取,获得目标音频数据;
对所述目标音频数据中的人声数据进行识别,获得所述目标音频数据对应的文本信息,将所述文本信息作为所述答复信息。
其中,所述预设时间区间是预设的针对目标问题的答题时间,具体的,检测预设时间区间内音频数据的人声数据,可以通过语音端点检测(Voice Activity Detection,VAD)算法实现,由于可能存在目标在预设时间区间内没有答题的情况,因此存在没有人声数据的情况,而在检测到人声数据的情况,对音频数据中预设时间内的人声数据进行截取,获得目标用户针对目标问题的答复数据,即目标音频数据,对目标音频数据中的人声数据进行识别,则可以获得答复数据对应的文本信息,将文本信息作为目标用户针对目标问题的答复信息。
实际应用中,目标用户完成答复之后,提交针对目标问题的完成指令,在获取目标用户针对目标问题提交的完成指令之后,获取展示目标问题以及获取完成指令之间的音频数据的人声数据,作为目标用户针对目标问题的答复数据。
沿用上例,预设时间区间为60秒,检测60秒内多媒体数据M中音频数据中的人声数据,在检测到人声数据的情况下,通过VAD算法检测人声数据的起止端点,按照起止端点对音频数据进行截取,获得目标音频数据V,并对目标音频数据V中的人声数据进行语音识别,获得所述人声数据对应的答复信息。
在上述检测预设时间区间内所述音频数据中的人声数据的基础上,还存在未检测到人声数据的情况,本申请实施例提供的一种可选实施方式中,在未检测到所述人声数据的情况下,将所述答复信息确定为未完成。
实际应用中,若在预设时间区间内,在展示时间计数值,对目标问题的答题时间进行倒计时展示,以提醒用户还剩余多少答题时间,在时间计数值清零时,仍未检测到人声数据,则确定目标用户未完成目标问题,将目标问题的答复信息确定为未完成,避免了目标用户未在预设时间区间之内未答题的情况下,出现答复信息不明确的情况,通过确定答复信息为未完成,也有利于在存在多个问题的情况下,根据答复信息对未答题的问题进行统计。
步骤1208,通过将所述答复信息与所述目标问题的预设答案进行对比,获得针对所述目标问题的答复结果。
具体的,在上述获取目标问题的答复信息的基础上,将答复信息与目标问题的预设答案进行对比,判断此答复信息是否为目标问题的正确答案,而无需人工进行答复信息的批改,减少了人工成本。
具体实施时,由于目标问题可能不仅仅是选择题,若是选择题则可以直接通过对比,确定目标用户的答复信息是正确或者错误,若是计算题或问答题,则需要对目标用户的答复信息进行更深层次的分析,且按照目标用户的答复程度,获得相应的答复结果,以便更准确地对目标用户的答复信息进行判断,本申请实施例提供的一种可选实施方式中,通过目标问题的评分标准,对答复信息进行,具体采用如下方式实现:
根据所述目标问题的问题标识,获取所述目标问题的所述预设答案;
按照预设的评分标准,将所述预设答案以及所述答复信息进行对比,获得针对所述答复信息的评分;
将所述评分以及所述答复信息作为所述答复结果。
具体的,问题标识可以是字符串或编码串,其可以唯一地标识一个问题,则根据问题标识,可以获取目标问题的预设答案,即标准的正确答案,再按照评分标准,将预设答案中的评分点与答复信息中的评分点一一进行对比,进而确定答复信息的评分,并将评分以及答复信息共同作为答复结果,以供目标用户进行查看。
步骤1210,根据所述多媒体数据、所述目标问题以及所述答复结果,生成目标视频。
具体的,在获得答复结果的基础上,将多媒体数据、目标问题以及答复结果进行结合,生成目标视频,具体的,将多媒体视频中的视频数据与目标问题按照上述步骤1204中的展示方式进行结合,并进一步为视频数据添加对应的音频数据,且在获得答复结果的基础上,按照答复时间,将答复结果添加至视频数据中,获得目标视频,使目标用户可以立即获知其答复结果,提高了目标用户的学习动力以及效率。
实际应用中,还可以在上述多媒体数据、目标问题以及答复结果的基础上,结合目标问题的正确答案,以及对正确答案的深入解析,共同生成目标视频,使目标用户及时了解正确答案,并对正确答案进行学习,纠正自身答题的错误。
进一步的,在上述多媒体数据包括:包含背景音乐的音频数据的基础上,相应的,生成的目标视频中也包含背景音乐,避免了查看目标视频的枯燥感,并增加了查看目标视频的轻松感以及趣味性。
而为了保障背景音乐在目标视频中声音质量以及稳定性,本申请实施例提供的一种可选实施方式中,所述根据所述多媒体数据、所述目标问题以及所述答复结果,生成目标视频步骤执行之后,还包括:
根据声音指纹,将所述音频数据中包含的背景音乐与所述播放设备播放的所述背景音乐对齐;
通过将对齐后的所述包含的背景音乐与所述播放的背景音乐进行融合的方式,将所述目标视频与所述背景音乐进行融合,获得第二目标视频。
具体的,所述声音指纹,是指音频中独特的特征,根据声音指纹可以识别与之同样的声音,本申请实施例,通过声音指纹将音频数据中包含的背景音乐与播放设备播放的背景音乐中相同的特征,按照时间顺序进行对齐,通过将对齐后的包含的背景音乐与播放设备播放的背景音乐进行融合,更新所述目标视频,获得第二目标视频。
实际应用中,目标用户在完成目标问题的答复之后,还可以继续进行答题,并进而生成相应的视频,不仅丰富了目标用户所需答复的问题,也增加了问题的完整度,本申请实施例提供的一种可选实施方式中,在生成目标视频之后,确定针对目标用户的下一个问题,具体采用如下方式实现:
在所述目标问题所属的题库中确定第二目标问题;
将所述第二目标问题作为所述目标问题,并返回执行所述获取目标用户针对目标问题的多媒体数据步骤。
具体实施时,在所述目标问题所属的题库中确定第二目标问题的方式是多种多样的,比如,按照所述目标问题的问题序号从小到大的顺序,确定第二目标问题,或者按照预设问题顺序,确定第二目标问题等,在此不做限制。
在确定第二目标问题之后,还可以返回执行上述步骤1202,通过重复上述步骤1202-步骤1210,生成针对第二目标问题的答题视频,进而将目标视频与第二目标问题对应的答题视频进行组合,形成针对两个问题的答题视频,同样的方式,还可以获得针对多个问题的答题视频。
进一步的,本申请实施例提供的一种可选实施方式中,根据目标用户针对目标问题的答复结果,确定第二目标问题,具体采用如下方式实现:
按照所述目标问题所属的问题类型,以及所述目标问题对应的难度值,在所述目标问题所属的题库中确定第二目标问题。
具体实施时,可以将答复结果中包含的答复信息评分与评分阈值进行比较,其中,评分阈值用于表明答复信息的正确性,在答复信息的评分大于或等于评分阈值的情况下,表明目标用户对目标问题的答复基本或者完全是正确的,在答复信息的评分小于评分阈值的情况下,表明目标用户对目标问题的答复大多是错误的。
所述目标问题所属的问题类型,表明目标问题对应的知识点,不同问题类型对应不同的知识点,而目标问题对应的难度值,表明针对问题对该知识点所挖掘的深度,可以以具体数值表示,数值越大,难度值越高,此外,还可以以等级表示,等级越高,难度越高等,在此不做限制;在答复信息的评分大于或等于评分阈值的情况下,可以通过提高目标问题所属的问题类型的难度和/或改变题目类型等方式,选择下一个问题,即第二目标问题,而在答复信息的评分小于评分阈值的情况下,针对目标用户在答题中出现的错误,选择与目标问题类似的知识点以及难度值相似的第二目标问题,或选择类似知识点的难度较低的第二目标问题,有助于目标用户掌握目标问题对应的知识点,提高目标用户的学习效果。
上述为本实施例的一种视频生成方法。需要说明的是,该视频生成方法的技术方案与上述的答题方法的技术方案属于同一构思,视频生成方法的技术方案未详细描述的细节内容,均可以参见上述答题方法的技术方案的描述。
综上所述,本申请实施例提供的一种视频生成方法,通过获取目标用户针对目标问题的多媒体数据,并展示获取的多媒体数据以及所述目标问题,以便目标用户或其他用户对答题过程进行观察,纠正不良的答题习惯,并基于所述多媒体数据中的音频数据,获得所述目标用户针对所述目标问题的答复信息,通过将所述答复信息与所述目标问题的预设答案进行对比,获得针对所述目标问题的答复结果,并进一步根据所述多媒体数据、所述目标问题以及所述答复结果,生成目标视频,以供目标用户或他人可以根据目标视频立即确定目标用户的答复反馈,以促进目标用户进行反思,并进一步促进了目标用户的学习效果以及学习动力。
下述结合图13,以本申请一实施例的一种视频生成方法在答题场景中的应用为例,对所述视频生成方法进行进一步说明。其中,图13示出了本申请一实施例提供的应用于答题场景的一种视频生成方法的流程图,具体包括以下步骤:
步骤1302,基于接收的答题指令,开启拍摄设备实时进行拍摄,获得包含目标用户的视频数据。
步骤1304,通过录音设备实时进行录音,获得音频数据。
步骤1306,将所述视频数据以及所述音频数据作为多媒体数据进行获取。
步骤1308,对所述多媒体数据中视频数据的图像帧进行人脸定位和/或人体姿态定位,获取所述图像帧中人脸和/或人体的位置信息。
步骤1310,根据所述位置信息以及预设的展示规则,确定所述目标问题的展示位置。
步骤1312,按照所述展示位置,将所述目标问题在所述视频数据中进行展示。
具体的,如图14所示,将目标问题在目标用户的正上方进行展示。
步骤1314,检测预设时间区间内所述音频数据中的人声数据。
步骤1316,在检测到所述人声数据的情况下,根据所述人声数据对所述音频数据进行截取,获得目标音频数据。
步骤1318,对所述目标音频数据中的人声数据进行识别,获得所述目标音频数据对应的文本信息,将所述文本信息作为答复信息。
步骤1320,根据所述目标问题的问题标识,获取所述目标问题的所述预设答案。
步骤1322,按照预设的评分标准,将所述预设答案以及所述答复信息进行对比,获得针对所述答复信息的评分。
步骤1324,将所述评分以及所述答复信息作为所述目标问题的答复结果。
步骤1326,根据所述多媒体数据、所述目标问题以及所述答复结果,生成目标视频。
具体的,如图14所示,将目标问题在目标用户的正上方进行展示后,再结合目标用户针对目标问题的答复结果,生成目标视频,在获得答复结果后,将目标问题以及答复结果共同在目标用户的正上方进行展示。
步骤1328,按照所述目标问题所属的问题类型,以及所述目标问题对应的难度值,在所述目标问题所属的题库中确定第二目标问题。
具体的,在确定第二目标问题的基础上,将第二目标问题作为所述目标问题,重复执行上述步骤1302-步骤1326,生成针对第二目标问题的目标视频,此外,还可以在生成目标视频的基础上,继续出题,并进行答题,将针对各个问题生成的目标视频组合成为一个针对多个问题的答题视频。
综上所述,本申请实施例提供的一种视频生成方法,通过获取目标用户针对目标问题的多媒体数据,并展示获取的多媒体数据以及所述目标问题,以便目标用户或其他用户对答题过程进行观察,纠正不良的答题习惯,并基于所述多媒体数据中的音频数据,获得所述目标用户针对所述目标问题的答复信息,通过将所述答复信息与所述目标问题的预设答案进行对比,获得针对所述目标问题的答复结果,并进一步根据所述多媒体数据、所述目标问题以及所述答复结果,生成目标视频,以供目标用户或他人可以根据目标视频立即确定目标用户的答复反馈,以促进目标用户进行反思,并进一步促进了目标用户的学习效果以及学习动力。
与上述一种视频生成方法实施例相对应,本申请还提供了一种视频生成装置实施例,图15示出了本申请一实施例提供的一种视频生成装置的结构示意图。如图15所示,该装置包括:
获取模块1502,被配置为获取目标用户针对目标问题的多媒体数据;
展示模块1504,被配置为展示获取的所述多媒体数据以及所述目标问题;
获得模块1506,被配置为基于所述多媒体数据中的音频数据,获得所述目标用户针对所述目标问题的答复信息;
对比模块1508,被配置为通过将所述答复信息与所述目标问题的预设答案进行对比,获得针对所述目标问题的答复结果;
生成模块1510,被配置为根据所述多媒体数据、所述目标问题以及所述答复结果,生成目标视频。
可选的,所述获得模块1506,包括:
检测子模块,被配置为检测预设时间区间内所述音频数据中的人声数据;
截取子模块,被配置为在检测到所述人声数据的情况下,根据所述人声数据对所述音频数据进行截取,获得目标音频数据;
识别子模块,被配置为对所述目标音频数据中的人声数据进行识别,获得所述目标音频数据对应的文本信息,将所述文本信息作为所述答复信息。
可选的,所述获得模块1506,还包括:
确定子模块,被配置为在未检测到所述人声数据的情况下,将所述答复信息确定为未完成。
可选的,所述展示模块1504,包括:
定位子模块,被配置为对所述多媒体数据中视频数据的图像帧进行人脸定位和/或人体姿态定位,获取所述图像帧中人脸和/或人体的位置信息;
确定位置子模块,被配置为根据所述位置信息以及预设的展示规则,确定所述目标问题的展示位置;
第一展示子模块,被配置为按照所述展示位置,将所述目标问题在所述视频数据中进行展示。
可选的,所述对比模块1508,包括:
获取答案子模块,被配置为根据所述目标问题的问题标识,获取所述目标问题的所述预设答案;
获得评分子模块,被配置为按照预设的评分标准,将所述预设答案以及所述答复信息进行对比,获得针对所述答复信息的评分;将所述评分以及所述答复信息作为所述答复结果。
可选的,所述获取模块1502,包括:
开启拍摄子模块,被配置为开启拍摄设备实时进行拍摄,获得包含目标用户的视频数据;
开启录音子模块,被配置为通过录音设备实时进行录音,获得所述音频数据;
获取数据子模块,被配置为将所述视频数据以及所述音频数据作为所述多媒体数据进行获取。
可选的,所述开启录音子模块,还被配置为:
开启播放设备播放背景音乐,并开启录音设备进行录音,获得包含背景音乐的音频数据。
可选的,所述视频生成装置,还包括:
对齐模块,被配置为根据声音指纹,将所述音频数据中包含的背景音乐与所述播放设备播放的背景音乐对齐;
融合模块,被配置为通过将对齐后的所述包含的背景音乐与所述播放的背景音乐进行融合的方式,将所述目标视频与所述背景音乐进行融合,获得第二目标视频。
可选的,所述视频生成装置,还包括:
确定问题模块,被配置为在所述目标问题所属的题库中确定第二目标问题;将所述第二目标问题作为所述目标问题,并返回执行所述获取目标用户针对目标问题的多媒体数据步骤。
可选的,所述确定问题模块,还被配置为:
按照所述目标问题所属的问题类型,以及所述目标问题对应的难度值,在所述目标问题所属的题库中确定第二目标问题。
可选的,所述展示模块1504,包括:
计时子模块,被配置为开启计时程序针对所述目标问题进行答复计时,所述计时程序对应的时间计数值按照时间单位进行递增或者递减;
展示计时子模块,被配置为将所述目标问题以及所述时间计数值在所述多媒体数据的视频数据中进行展示。
需要说明的是,装置权利要求中的各组成部分应当理解为实现该程序流程各步骤或该方法各步骤所必须建立的功能模块,各个功能模块并非实际的功能分割或者分离限定。由这样一组功能模块限定的装置权利要求应当理解为主要通过说明书记载的计算机程序实现该解决方案的功能模块构架,而不应当理解为主要通过硬件方式实现该解决方案的实体装置。
上述为本实施例的一种视频生成装置的示意性方案。需要说明的是,该视频生成装置的技术方案与上述的一种视频生成方法的技术方案属于同一构思,视频生成装置的技术方案未详细描述的细节内容,均可以参见上述一种视频生成方法的技术方案的描述。
本申请一实施例中还提供一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,所述处理器执行所述指令时实现所述的视频生成方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的视频生成方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述视频生成方法的技术方案的描述。
本申请一实施例还提供一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现如前所述视频生成方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的视频生成方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述视频生成方法的技术方案的描述。
上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本申请的内容,可作很多的修改和变化。本申请选取并具体描述这些实施例,是为了更好地解释本申请的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。

Claims (27)

1.一种答题方法,其特征在于,包括:
S1:获取并展示目标用户针对目标问题的多媒体数据;
S2:基于所述多媒体数据获得所述目标用户针对所述目标问题的答复信息;
S3:通过将所述答复信息与所述目标问题的预设答案进行对比,获得针对所述目标问题的答复结果;
S4:展示所述多媒体数据以及所述答复结果。
2.根据权利要求1所述的答题方法,其特征在于,还包括:
根据所述多媒体数据以及所述答复结果,生成目标视频。
3.根据权利要求1所述的答题方法,其特征在于,所述目标问题包括:至少两个问题,将所述至少两个问题中的第i个问题设置为所述目标问题,执行步骤S1-S4,并通过所述答复结果更新累计答复结果,其中,i从1开始取值且i为正整数;
判断所述至少两个问题是否均已回答完毕,若否,i自增1,将第i个问题设置为所述目标问题,继续执行S1-S4并通过所述答复结果更新累计答复结果;
若是,输出累计答复结果,结束所述方法。
4.根据权利要求3所述的答题方法,其特征在于,所述目标用户包括:至少两个目标用户;
相应的,所述基于所述多媒体数据获得所述目标用户针对所述目标问题的答复信息,包括:
确定所述至少两个目标用户中针对所述目标问题的答复用户;
基于所述多媒体数据,获得所述答复用户针对目标问题的答复信息;
相应的,所述通过所述答复结果更新累计答复结果,包括:通过每个答复用户的答复结果更新每个答复用户的累计答复结果。
5.根据权利要求4所述的答题方法,其特征在于,所述确定所述至少两个目标用户中针对所述目标问题的答复用户,包括:
通过对所述多媒体数据中的音频数据进行声纹识别和/或通过对所述多媒体数据中视频数据的图像帧进行人脸识别,确定所述至少两个目标用户中针对所述目标问题的答复用户。
6.根据权利要求4所述的答题方法,其特征在于,所述确定所述至少两个目标用户中针对所述目标问题的答复用户,包括:
确定每个目标用户针对所述目标问题的答复时间;
基于所述答复时间,确定所述至少两个目标用户中针对所述目标问题的答复用户。
7.根据权利要求1所述的答题方法,其特征在于,所述基于所述多媒体数据获得所述目标用户针对所述目标问题的答复信息,包括:
基于所述多媒体数据中的音频数据和/或从所述多媒体数据中视频数据的图像帧中提取所述目标用户的口型变化特征,获得所述目标用户针对所述目标问题的答复信息。
8.根据权利要求1所述的答题方法,其特征在于,所述目标用户包括:至少两个目标用户;
相应的,所述基于所述多媒体数据获得所述目标用户针对所述目标问题的答复信息,包括:
所述基于所述多媒体数据获得所述至少两个目标用户中任一用户针对所述目标问题的答复信息。
9.根据权利要求8所述的答题方法,其特征在于,展示所述答复结果,包括:
在所述任一用户对应的展示区域展示所述答复结果中的所述答复信息和/或所述答复信息对应的评分。
10.根据权利要求1所述的答题方法,其特征在于,所述答复结果中的所述答复信息对应的评分和/或所述答复信息以预设的动画形式进行展示。
11.根据权利要求10所述的答题方法,其特征在于,所述答复信息以预设的动画形式进行展示,还包括:
确定所述多媒体数据中视频数据的图像帧中目标用户的嘴部所在的第一位置,以及所述答复信息中每个文字在所述图像帧中对应的目标位置;
控制每个文字以动态的形式从所述第一位置移动至所述目标位置,以展示每个文字。
12.根据权利要求1所述的答题方法,其特征在于,所述获取并展示目标用户针对目标问题的多媒体数据之后,还包括:
检测所述多媒体数据中音频数据的人声数据,并检测所述人声数据中任意一个字音;
对所述任意一个字音进行识别,获得所述任意一个字音对应的文字;
确定所述多媒体数据中视频数据的图像帧中目标用户的嘴部所在的第一位置;
控制所述文字以动态的形式从所述第一位置移出,以展示所述文字。
13.根据权利要求1所述的答题方法,其特征在于,所述获取并展示目标用户针对目标问题的多媒体数据之前,还包括:
通过对采集到的包含目标用户的图像区域进行识别,确定所述目标用户的用户特征;
基于所述用户特征对应的问题难度值,确定目标问题。
14.根据权利要求1任意一项所述的答题方法,其特征在于,所述展示所述多媒体数据以及所述答复结果之后,还包括:
采集并展示所述目标用户针对所述答复结果进行回应的表达视频。
15.根据权利要求14所述的答题方法,其特征在于,还包括:
根据所述多媒体数据、所述答复结果以及所述表达视频,生成目标视频。
16.根据权利要求1所述的答题方法,其特征在于,所述展示目标用户针对目标问题的多媒体数据,包括:
对所述多媒体数据中视频数据的图像帧进行人脸定位和/或人体姿态定位,获取所述图像帧中人脸和/或人体的位置信息;
根据所述位置信息以及预设的展示规则,确定所述目标问题的展示位置;
按照所述展示位置,将所述目标问题添加至所述视频数据中,并展示所述多媒体数据。
17.根据权利要求2所述的答题方法,其特征在于,所述获取并展示目标用户针对目标问题的多媒体数据,包括:
开启拍摄设备实时进行拍摄,获得包含目标用户的视频数据;
通过录音设备实时进行录音,获得音频数据;
将所述视频数据、所述音频数据以及目标问题作为所述多媒体数据进行获取并展示。
18.根据权利要求17所述的答题方法,其特征在于,所述通过录音设备实时进行录音,获得音频数据,包括:
开启播放设备播放背景音乐,并开启录音设备进行录音,获得包含背景音乐的音频数据。
19.根据权利要求18所述的答题方法,其特征在于,所述根据所述多媒体数据以及所述答复结果,生成目标视频步骤执行之后,还包括:
根据声音指纹,将所述音频数据中包含的背景音乐与所述播放设备播放的背景音乐对齐;
通过将对齐后的所述包含的背景音乐与所述播放的背景音乐进行融合的方式,将所述目标视频与所述背景音乐进行融合,获得第二目标视频。
20.根据权利要求2所述的答题方法,其特征在于,所述根据所述多媒体数据以及所述答复结果,生成目标视频步骤执行之后,还包括:
在所述目标问题所属的题库中确定第二目标问题;
将所述第二目标问题作为所述目标问题,并返回执行所述获取并展示目标用户针对目标问题的多媒体数据步骤。
21.根据权利要求20所述的答题方法,其特征在于,所述在所述目标问题所属的题库中确定第二目标问题,包括:
按照所述目标问题所属的问题类型,以及所述目标问题对应的难度值,在所述目标问题所属的题库中确定第二目标问题。
22.根据权利要求1所述的答题方法,其特征在于,所述获取并展示目标用户针对目标问题的多媒体数据之后,还包括:
开启计时程序针对所述目标问题进行答复计时,所述计时程序对应的时间计数值按照时间单位进行递增或者递减;
展示所述时间计数值。
23.根据权利要求1-22任意一项所述的答题方法,其特征在于,所述目标问题包括:猜词问题,其中,所述猜词问题中每个字以图像的形式进行展示。
24.根据权利要求23所述的答题方法,其特征在于,所述通过将所述答复信息与所述目标问题的预设答案进行对比,获得针对所述目标问题的答复结果,还包括:
将所述答复信息与所述目标问题的预设答案进行比对,获得所述答复信息与所述预设答案不一致的错误字/词以及针对所述目标问题的答复结果;
将所述错误字/词在所述猜词问题中对应的图像和/或所述答复结果中答复信息内对应的字/词进行突出显示。
25.一种答题装置,其特征在于,包括:
获取模块,被配置为获取并展示目标用户针对目标问题的多媒体数据;
获得模块,被配置为基于所述多媒体数据获得所述目标用户针对所述目标问题的答复信息;
对比模块,被配置为通过将所述答复信息与所述目标问题的预设答案进行对比,获得针对所述目标问题的答复结果;
展示模块,被配置为展示所述多媒体数据以及所述答复结果。
26.一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,其特征在于,所述处理器执行所述指令时实现权利要求1-24任意一项所述方法的步骤。
27.一种计算机可读存储介质,其存储有计算机指令,其特征在于,该指令被处理器执行时实现权利要求1-24任意一项所述方法的步骤。
CN202110252283.9A 2020-08-19 2021-03-08 答题方法及装置 Active CN112861784B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010839622.9A CN111985395A (zh) 2020-08-19 2020-08-19 视频生成方法及装置
CN2020108396229 2020-08-19

Publications (2)

Publication Number Publication Date
CN112861784A true CN112861784A (zh) 2021-05-28
CN112861784B CN112861784B (zh) 2024-02-20

Family

ID=73435117

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010839622.9A Pending CN111985395A (zh) 2020-08-19 2020-08-19 视频生成方法及装置
CN202110252283.9A Active CN112861784B (zh) 2020-08-19 2021-03-08 答题方法及装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202010839622.9A Pending CN111985395A (zh) 2020-08-19 2020-08-19 视频生成方法及装置

Country Status (1)

Country Link
CN (2) CN111985395A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114566167A (zh) * 2022-02-28 2022-05-31 安徽淘云科技股份有限公司 语音答题方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000019259A (ko) * 1998-09-10 2000-04-06 김종남 외국어 말하기 평가 시스템
WO2018072390A1 (zh) * 2016-10-19 2018-04-26 深圳市鹰硕技术有限公司 一种课堂教学的录制和点播的方法及系统
CN108495194A (zh) * 2018-03-21 2018-09-04 优酷网络技术(北京)有限公司 答题过程中的视频播放方法、计算机存储介质及终端设备
CN109543011A (zh) * 2018-10-16 2019-03-29 深圳壹账通智能科技有限公司 问答数据处理方法、装置、计算机设备和存储介质
CN110706536A (zh) * 2019-10-25 2020-01-17 北京猿力未来科技有限公司 一种语音答题方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000019259A (ko) * 1998-09-10 2000-04-06 김종남 외국어 말하기 평가 시스템
WO2018072390A1 (zh) * 2016-10-19 2018-04-26 深圳市鹰硕技术有限公司 一种课堂教学的录制和点播的方法及系统
CN108495194A (zh) * 2018-03-21 2018-09-04 优酷网络技术(北京)有限公司 答题过程中的视频播放方法、计算机存储介质及终端设备
CN109543011A (zh) * 2018-10-16 2019-03-29 深圳壹账通智能科技有限公司 问答数据处理方法、装置、计算机设备和存储介质
CN110706536A (zh) * 2019-10-25 2020-01-17 北京猿力未来科技有限公司 一种语音答题方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘淇;陈恩红;朱天宇;黄振亚;吴润泽;苏喻;胡国平;: "面向在线智慧学习的教育数据挖掘技术研究", 模式识别与人工智能, no. 01 *
吴丽萍, 林晓燕, 吴银柱: "多媒体通用试题库及测试模块的设计与实现", 东北师大学报(自然科学版), no. 01 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114566167A (zh) * 2022-02-28 2022-05-31 安徽淘云科技股份有限公司 语音答题方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN112861784B (zh) 2024-02-20
CN111985395A (zh) 2020-11-24

Similar Documents

Publication Publication Date Title
CN107203953B (zh) 一种基于互联网、表情识别和语音识别的教学系统及其实现方法
CN110706536B (zh) 一种语音答题方法及装置
Rho et al. An experiential learning approach to learning manual communication through a virtual reality environment
KR20120065111A (ko) 몰입도 평가 기반 맞춤형 온라인 학습 방법 및 시스템
CN113377200B (zh) 基于vr技术的交互式培训方法及装置、存储介质
CN109621331A (zh) 辅助健身方法、装置及存储介质、服务器
JP2018205638A (ja) 集中度評価機構
CN109766412A (zh) 一种基于图像识别的学习内容获取方法及电子设备
KR102158910B1 (ko) 부모의 성향과 아이의 성향을 동시에 고려한 육아가이드를 제공하는 육아코칭 및 상담 서비스 제공방법 및 제공시스템
CN109410984B (zh) 一种朗读评分的方法及电子设备
CN109754653A (zh) 一种个性化教学的方法及系统
CN112070865A (zh) 课堂互动方法、装置、存储介质及电子设备
CN112861784A (zh) 答题方法及装置
CN108664842B (zh) 一种唇动识别模型的构建方法及系统
CN111601061B (zh) 一种视频录制信息处理方法及电子设备
Jaafar et al. Usability study of enhanced salat learning approach using motion recognition system.
US20230316949A1 (en) Communication skills training
JP6930754B2 (ja) 学習支援装置及び出題方法
CN110413130B (zh) 基于动作捕捉的虚拟现实手语学习、测试和评价方法
CN107423311B (zh) 提供在线诊断学习的方法和装置
CN111078992A (zh) 一种听写内容生成方法及电子设备
WO2022255483A1 (ja) 情報処理装置、情報処理プログラム、及び情報処理方法
Tung et al. Pianow-piano self-learning assistant in mixed reality
US20230315984A1 (en) Communication skills training
KR20090068590A (ko) 받아쓰기 게임 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant