CN111126009A - 表单填写方法、装置、终端设备及存储介质 - Google Patents

表单填写方法、装置、终端设备及存储介质 Download PDF

Info

Publication number
CN111126009A
CN111126009A CN201911277941.9A CN201911277941A CN111126009A CN 111126009 A CN111126009 A CN 111126009A CN 201911277941 A CN201911277941 A CN 201911277941A CN 111126009 A CN111126009 A CN 111126009A
Authority
CN
China
Prior art keywords
input information
information
input
voice input
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911277941.9A
Other languages
English (en)
Inventor
杨国基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhuiyi Technology Co Ltd
Original Assignee
Shenzhen Zhuiyi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhuiyi Technology Co Ltd filed Critical Shenzhen Zhuiyi Technology Co Ltd
Priority to CN201911277941.9A priority Critical patent/CN111126009A/zh
Publication of CN111126009A publication Critical patent/CN111126009A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/10Payment architectures specially adapted for electronic funds transfer [EFT] systems; specially adapted for home banking systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Accounting & Taxation (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Finance (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)

Abstract

本申请实施例提供了一种表单填写方法、装置、终端设备及存储介质。该方法包括:在显示待填写表单的过程中,接收第一语音输入信息,该待填写表单中包括多个待选择输入框;对第一语音输入信息进行识别,得到识别结果;从多个待选择输入框中确定与识别结果对应的目标输入框;接收第二语音输入信息,并将第二语音输入信息转化为文本输入信息;将文本输入信息填写至所述目标输入框中。本申请通过接收第一语音输入信息,确定与第一语音输入信息对应的目标输入框,并接收第二语音输入信息,将第二语音输入信息对应的文本输入信息填写至目标输入框中,从而可以在表单填写的全程使用语音控制填写操作,完成复杂且精确的输入。

Description

表单填写方法、装置、终端设备及存储介质
技术领域
本申请涉及人机交互技术领域,更具体地,涉及一种表单填写方法、装置、终端设备及存储介质。
背景技术
随着语音识别技术的快速发展,语音识别技术已经被应用在许多领域,例如信号处理、模式识别、概率论和信息论、发生机理和听觉机理、人工智能等等。其中,在人机交互中可以将语音作为输入方式与机器进行交互,但目前利用语音进行交互仅限于简单的指令,无法进行复杂、精确的输入。
发明内容
本申请实施例提出了一种表单填写方法、装置、终端设备及存储介质,以解决上述问题。
第一方面,本申请实施例提供了一种表单填写方法,应用于终端设备,所述方法包括:在显示待填写表单的过程中,接收第一语音输入信息,所述待填写表单中包括多个待选择输入框;对所述第一语音输入信息进行识别,得到识别结果;从所述多个待选择输入框中确定与所述识别结果对应的目标输入框;接收第二语音输入信息,并将所述第二语音输入信息转化为文本输入信息;将所述文本输入信息填写至所述目标输入框中。
可选地,所述从所述多个待选择输入框中确定与所述识别结果对应的目标输入框之后,还包括:将所述待填写表单的输入焦点从初始位置切换到所述目标输入框。
可选地,所述将所述文本输入信息填写至所述目标输入框中之后,还包括:接收第三语音输入信息;对所述第三语音输入信息进行识别,得到第三语音输入信息的识别结果;基于所述第三语音输入信息的识别结果对所述文本输入信息进行编辑。
可选地,当所述表单为转账表单,所述文本输入信息为转账金额时,所述将所述文本输入信息填写至所述目标输入框中之后,还包括:判断所述文本输入信息对应的金额是否大于金额阈值;当所述金额大于金额阈值时,获取包含人脸信息的图像信息;对所述图像信息进行情绪分析,得到情绪特征;判断所述情绪特征是否满足预警情绪特征;当所述情绪特征满足预警情绪特征时,退出所述表单。
可选地,所述接收第二语音输入信息之后,还包括:对所述第二语音输入信息进行类型识别,获得所述第二语音输入信息的类型;判断所述第二语音输入信息的类型是否满足所述目标输入框支持的类型;当所述第二语音输入信息的类型满足所述目标输入框支持的类型时,将所述第二语音输入信息转化为文本输入信息;当所述第二语音输入信息的类型不满足所述目标输入框支持的类型时,提示用户重新输入信息。
可选地,所述方法还包括:接收输入方式切换指令,所述输入方式切换指令用于切换输入信息的方式;基于所述输入方式切换指令,将语音输入方式切换为外设输入方式,所述外设输入方式包括键盘输入方式、触摸屏输入方式以及鼠标输入方式中的至少一种;接收基于所述外设输入方式输入的信息。
可选地,所述方法还包括:在预设时长内没有接收到语音输入信息时,检测显示所述待填写表单的终端设备前是否有用户存在;当检测到所述终端设备前有用户存在时,输出提示信息,所述提示信息用于引导所述用户进行表单填写。
第二方面,本申请实施例提供了一种表单填写装置,应用于终端设备,该装置包括:第一信息接收模块,用于在显示待填写表单的过程中,接收第一语音输入信息,所述待填写表单中包括多个待选择输入框;第一信息识别模块,用于对所述第一语音输入信息进行识别,得到识别结果;输入框确定模块,用于从所述多个待选择输入框中确定与所述识别结果对应的目标输入框;第二信息接收模块,用于接收第二语音输入信息,并将所述第二语音输入信息转化为文本输入信息;输入信息填写模块,用于将所述文本输入信息填写至所述目标输入框中。
可选地,所述表单填写装置还包括:焦点切换模块,用于将所述待填写表单的输入焦点从初始位置切换到所述目标输入框。
可选地,所述表单填写装置还包括:第三信息接收模块,用于接收第三语音输入信息;第三信息识别模块,用于对所述第三语音输入信息进行识别,得到第三语音输入信息的识别结果;信息编辑模块,用于基于所述第三语音输入信息的识别结果对所述文本输入信息进行编辑。
可选地,当所述表单为转账表单,所述文本输入信息为转账金额时,所述表单填写装置还包括:金额判断模块,用于判断所述文本输入信息对应的金额是否大于金额阈值;图像信息获取模块,用于当所述金额大于金额阈值时,获取包含人脸信息的图像信息;情绪分析模块,用于对所述图像信息进行情绪分析,得到情绪特征;情绪特征判断模块,用于判断所述情绪特征是否满足预警情绪特征;表单退出模块,用于当所述情绪特征满足预警情绪特征时,退出所述表单。
可选地,所述表单填写装置还包括:类型识别模块,用于对所述第二语音输入信息进行类型识别,获得所述第二语音输入信息的类型;类型判断模块,用于判断所述第二语音输入信息的类型是否满足所述目标输入框支持的类型;信息转化模块,用于当所述第二语音输入信息的类型满足所述目标输入框支持的类型时,将所述第二语音输入信息转化为文本输入信息;信息提示模块,用于当所述第二语音输入信息的类型不满足所述目标输入框支持的类型时,提示用户重新输入信息。
可选地,所述表单填写装置还包括:切换指令接收模块,用于接收输入方式切换指令,所述输入方式切换指令用于切换输入信息的方式;外设方式切换模块,用于基于所述输入方式切换指令,将语音输入方式切换为外设输入方式,所述外设输入方式包括键盘输入方式、触摸屏输入方式以及鼠标输入方式中的至少一种;输入信息接收模块,用于接收基于所述外设输入方式输入的信息。
可选地,所述表单填写装置还包括:用户检测模块,用于在预设时长内没有接收到语音输入信息时,检测显示所述待填写表单的终端设备前是否有用户存在;提示信息输出模块,用于当检测到所述终端设备前有用户存在时,输出提示信息,所述提示信息用于引导所述用户进行表单填写。
第三方面,本申请实施例提供了一种终端设备,包括存储器和处理器,所述存储器耦接到所述处理器,所述存储器存储指令,当所述指令由所述处理器执行时所述处理器执行上述方法。
第四方面,本申请实施例提供了一种计算机可读取存储介质,该计算机可读取存储介质中存储有程序代码,该程序代码可被处理器调用执行如上述第一方面所述的方法。
本申请实施例提供了一种表单填写方法、装置、终端设备及存储介质。在显示待填写表单的过程中,接收第一语音输入信息,该待填写表单中包括多个待选择输入框;对第一语音输入信息进行识别,得到识别结果;从多个待选择输入框中确定与识别结果对应的目标输入框;接收第二语音输入信息,并将第二语音输入信息转化为文本输入信息;将文本输入信息填写至所述目标输入框中。从而通过接收第一语音输入信息,确定与第一语音输入信息对应的目标输入框,并接收第二语音输入信息,将第二语音输入信息对应的文本输入信息填写至目标输入框中,使得可以在表单填写的全程使用语音控制填写操作,完成复杂且精确的输入。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了一种适用于本申请实施例的应用环境示意图;
图2示出了本申请实施例提供的待填写表单的示例图;
图3示出了本申请实施例提供的一表单填写方法的流程示意图;
图4示出了本申请实施例提供的另一表单填写方法的流程示意图;
图5示出了本申请实施例提供的又一表单填写方法的流程示意图;
图6示出了本申请实施例提供的再一表单填写方法的流程示意图;
图7示出了本申请实施例提供的还一表单填写方法的流程示意图;
图8示出了本申请实施例提供的又再一表单填写方法的流程示意图;
图9示出了本申请实施例提供的还再一表单填写方法的流程示意图;
图10示出了本申请实施例提供的表单填写装置的结构框图;
图11示出了本申请实施例的用于执行根据本申请实施例的表单填写方法的终端设备的结构框图。
图12示出了本申请实施例的用于保存或者携带实现根据本申请实施例的表单填写方法的程序代码的存储单元。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
随着语音识别技术的快速发展,语音识别技术已经被应用在许多领域,例如信号处理、模式识别、概率论和信息论、发生机理和听觉机理、人工智能等等。其中,在人机交互中可以将语音作为输入方式与机器进行交互,但目前利用语音进行交互仅限于简单的指令,无法进行复杂、精确的输入。
当前的表单填写,已经不仅仅局限于手动输入的方式,已经能够实现通过语音来完成填写任务,然而,目前仅仅能够实现将文字输入表单的操作,一些填写操作还需要通过人工操作、或结合设备提示来完成,使得在表单填写的过程中,不能全程使用语音进行填写操作。
为了解决上述问题,发明人提出了本申请实施例中的表单填写方法、装置、终端设备及存储介质,通过接收第一语音输入信息,确定与第一语音输入信息对应的目标输入框,并接收第二语音输入信息,将第二语音输入信息对应的文本输入信息填写至目标输入框中,从而可以在表单填写的全程使用语音控制填写操作,完成复杂且精确的输入。
为便于更好的理解本申请实施例提供的表单填写方法、装置、终端设备及存储介质,下面先对适用于本申请实施例的应用环境进行描述。
请参阅图1,图1示出了一种适用于本申请实施例的应用环境示意图。本申请实施例提供的表单填写方法可以应用于如图1所示的多态交互系统100。多态交互系统100包括终端设备110以及服务器120,服务器120与终端设备110通信连接。其中,服务器120可以是传统服务器,也可以是云端服务器,在此不作具体限定。
其中,终端设备110可以是具有显示屏且支持数据输入的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机和可穿戴式电子设备等。具体的,数据输入可以是基于终端设备110上具有的语音模块输入语音、字符输入模块输入字符等。
其中,终端设备110可以显示如图2所示的待填写表单130,并接收用户基于待填写表单130的输入信息。终端设备110接收到用户输入的信息后,可以将该信息发送至服务器120,使得服务器120可以接收该信息并进行处理及存储,服务器120还可以接收该信息并根据该信息返回一个对应的输出信息至终端设备110。在一些实施方式中,终端设备110在接收到服务器120返回的输出信息时,可以在终端设备110的显示屏上显示与该输出信息对应的文字或图形,实现与用户的交互。在图2示出的待填写表单的示例图中,待填写表单130包括输入框131,其中,输入框131的数量为至少一个,终端设备110可以根据第一语音输入信息的识别结果从多个输入框131中确定与识别结果对应的目标输入框。待填写表单130还可以包括输入焦点132,输入焦点132可以位于输入框131中。其中,图2所示的待填写表单的内容及结构仅为示例,具体的表单内容及结构在此不做限定。
在一些实施方式中,对用户输入的信息进行处理的装置也可以设置于终端设备110上,使得终端设备110无需依赖与服务器120建立通信即可实现与用户的交互,此时多态交互系统100可以只包括终端设备110。
上述的应用环境仅为方便理解所作的示例,可以理解的是,本申请实施例不仅局限于上述应用环境。
下面将通过具体实施例对本申请实施例提供的表单填写方法、装置、终端设备及存储介质进行详细说明。
请参阅图3,图3示出了本申请实施例提供的一表单填写方法的流程示意图。本实施例提供的表单填写方法可以应用于具有显示屏或其他图像输出装置的终端设备,终端设备可以是智能手机、平板电脑、穿戴式智能终端等电子设备。
在具体的实施例中,表单填写方法可应用于如图10所示的表单填写装置200以及图11所示的终端设备110。下面将针对图3所示的流程进行详细的阐述。上述的表单填写方法具体地可以包括以下步骤:
步骤S110:在显示待填写表单的过程中,接收第一语音输入信息,待填写表单中包括多个待选择输入框。
在本申请实施例中,可以将语音作为输入方式,对表单进行填写操作。具体地,在显示待填写表单的过程中,可以接收第一语音输入信息。在一些实施方式中,终端设备可以在接收到表单填写的指令时,显示待填写表单。其中,表单填写的指令可以是由作用于终端设备的触控操作触发的,也可以是通过语音输入的方式触发的,还可以是基于终端设备利用摄像头等图像采集设备采集到的图像触发的,该表单填写的指令触发方式在此不做限定。
在一些实施方式中,终端设备可以在接收到表单填写的指令时,显示待填写表单。在显示待填写表单的过程中,终端设备可以接收由内置或外接的拾音器等音频采集设备采集到的第一语音输入信息,进而基于第一语音输入信息对待填写表单进行操作。其中,待填写表单中包括多个待选择输入框,输入框可以包括文本输入框、下拉菜单、多选按钮、单选按钮中的至少一种。
在一些实施方式中,可以将对输入框进行选择的语音输入信息作为第一语音输入信息,其中,第一语音输入信息可以是输入框的名称,例如,对于“转账金额”输入框,第一语音输入信息可以“金额”;也可以是输入框的别名,例如,对于转账收款人的输入框,第一语音输入信息可以是别名“收款方”、“收款户口”或“收款户名”等;还可以是输入框的位置,例如,第一语音输入信息可以是“第一行的输入框”,在此不做限定。
步骤S120:对第一语音输入信息进行识别,得到识别结果。
在进入表单交互页面时,即在显示待填写表单的过程中,可以开启语音识别(automatic speech recognition,ASR)进程,从而可以将语音输入信息转换成文本信息。因此,在本申请实施例中,可以对第一语音输入信息进行识别,得到识别结果,其中,识别结果可以是第一语音输入信息对应的文本信息。
在一些实施方式中,可通过深度学习技术,对第一语音输入信息进行识别,得到识别结果。具体地,可将第一语音输入信息输入已训练的第一语音识别模型,以得到该第一语音识别模型输出的与第一语音输入信息对应的识别结果。其中,第一语音识别模型可以是预先基于大量真人说话时的语音输入信息以及语音输入信息对应的识别结果的训练样本,通过神经网络训练得到的,在此并不做限定。
需要说明的是,上述第一语音识别模型可以采用循环神经网络(recurrentneural network,RNN)模型,也可以采用长短期记忆网络(long short term memory,LSTM),本实施例在此不对所用识别模型进行其他限定和赘述。
在一些实施方式中,第一语音识别模型可以运行于服务器中,由服务器基于第一语音输入信息通过第一语音识别模型将其转换为对应的识别结果。也可以运行于终端设备本地,使得可以在离线环境下提供服务。
步骤S130:从多个待选择输入框中确定与识别结果对应的目标输入框。
本申请实施例的表单填写方法是在表单填写的全程使用语音作为输入方式,第一语音输入信息可以是用于对表单中需要填写的输入框进行选择。因此,在本申请实施例中,对第一语音输入信息进行识别得到识别结果后,可以从多个待选择输入框中确定与识别结果对应的目标输入框。
在一些实施方式中,可以将识别结果输入焦点控制模块,由焦点控制模块从多个待选择输入框中确定与识别结果对应的目标输入框。
在一些实施方式中,可以预先存储有识别结果与目标输入框的对应关系,进而可以通过识别结果从多个待选择输入框中确定与识别结果对应的目标输入框。例如,如图2所示的待填写表单,当待填写表单为转账表单时,待填写表单中包括“转账金额”输入框、“收款方”输入框以及“卡号”输入框等多个待选择输入框,接收到第一语音输入信息为“转账金额”时,可以识别出文本信息转账金额作为识别结果,通过识别结果与目标输入框的对应关系,查找到与转账金额对应的目标输入框为“转账金额”输入框,即可以将“转账金额”输入框确定为目标输入框。
在一些实施方式中,由于语言习惯的不同,对于同一个输入框不同用户可能有不同的读法,例如,对于“年龄”输入框,“年龄”、“年纪”、“岁数”等都可指代年龄。因此,可以通过机器学习模型确定目标输入框,具体地,可以预先获取大量的样本识别结果以及与样本识别结果对应的样本输入框作为训练样本集,并将训练样本集输入机器学习模型进行训练,得到机器学习模型,从而可以将识别结果输入该机器学习模型,得到与识别结果对应的目标输入框。
步骤S140:接收第二语音输入信息,并将第二语音输入信息转化为文本输入信息。
在本申请实施例中,确定目标输入框后,可以接收第二语音输入信息,并将第二语音输入信息转化为文本输入信息。在一些实施方式中,第二语音输入信息可以是由内置或外接的拾音器等音频采集设备采集到的。
在一些实施方式中,可以通过深度学习技术,将第二语音输入信息转化为文本输入信息。具体地,可将第二语音输入信息输入已训练的第二语音识别模型,以得到该第二语音识别模型输出的与第二语音输入信息对应的文本输入信息。其中,第二语音识别模型可以是预先基于大量真人说话时的语音输入信息以及语音输入信息对应的文本内容的训练样本,通过神经网络训练得到的,在此并不做限定。其中,第二语音识别模型可以与上述第一语音识别模型为同一个语音识别模型,即可以获取一个语音识别模型,该语音识别模型可以根据第一语音输入信息输出第一语音输入信息对应的文本信息,也可以根据第二语音输入信息输出第二语音输入信息对应的文本输入信息。进一步地,第二语音识别模型也可以是与上述第一语音识别模型不同的语音识别模型,在此不做限定。
需要说明的是,上述第二语音识别模型可以采用循环神经网络(recurrentneural network,RNN)模型,也可以采用长短期记忆网络(long short term memory,LSTM),具体识别模型本实施例在此不做限定。
步骤S150:将文本输入信息填写至目标输入框中。
第二语音输入信息可以是在输入框中填写的内容,因此,在本申请实施例中,可以将文本输入信息填写至目标输入框中。在一些实施方式中,可以将转化得到的文本输入信息输入焦点控制模块,由焦点控制模块将文本输入信息填写至目标输入框中。例如,如图2所示的待填写表单,当待填写表单为转账表单时,待填写表单中包括“转账金额”输入框、“收款方”输入框以及“卡号”输入框等多个待选择输入框,根据接收到的第一语音输入信息为“转账金额”,确定与转账金额对应的“金额”输入框。接收第二语音输入信息为“三百元”,将第二语音输入信息转化为文字输入信息“300”,并将“300”填写至“转账金额”输入框中。
上述实施例提供的表单填写方法,在显示待填写表单的过程中,接收第一语音输入信息,该待填写表单中包括多个待选择输入框;对第一语音输入信息进行识别,得到识别结果;从多个待选择输入框中确定与识别结果对应的目标输入框;接收第二语音输入信息,并将第二语音输入信息转化为文本输入信息;将文本输入信息填写至所述目标输入框中。上述实施例通过接收第一语音输入信息,确定与第一语音输入信息对应的目标输入框,并接收第二语音输入信息,将第二语音输入信息对应的文本输入信息填写至目标输入框中,从而可以在表单填写的全程使用语音控制填写操作,完成复杂且精确的输入。
请参阅图4,图4示出了本申请实施例提供的另一表单填写方法的流程示意图,该方法包括:
步骤S210:在显示待填写表单的过程中,接收第一语音输入信息,待填写表单中包括多个待选择输入框。
步骤S220:对第一语音输入信息进行识别,得到识别结果。
步骤S230:从多个待选择输入框中确定与识别结果对应的目标输入框。
其中,步骤S210-步骤S230的具体描述请参阅步骤S110-步骤S130,在此不再赘述。
步骤S240:将待填写表单的输入焦点从初始位置切换到目标输入框。
在本申请实施例,从多个待选择输入框中确定了与识别结果对应的目标输入框,还可以将待填写表单的输入焦点从初始位置切换到目标输入框,以方便在目标输入框中填写相应的内容。
在一些实施方式中,为了方便用户确认输入焦点所在的位置,可以将输入焦点显示在输入框中,如图2所示的待填写表单,可以将输入焦点132显示在输入框131中。输入焦点可以用如图2所示的线条表示,也可以用闪烁的线条表示,还可以用光标来表示,在此不做限定。进一步地,输入焦点也可以不显示在输入框中。
在一些实施方式中,确定了第一语音输入信息对应的目标输入框后,可以确定目标输入框所在位置,并将输入焦点从初始位置切换到目标输入框中。例如,如图2所示的待填写表单,输入焦点位于“收款方”输入框中,当第一语音输入信息的识别结果对应的目标输入框为“卡号”输入框时,可以将输入焦点从“收款方”输入框切换到“卡号”输入框中。
步骤S250:接收第二语音输入信息,并将第二语音输入信息转化为文本输入信息。
步骤S260:将文本输入信息填写至目标输入框中。
其中,步骤S250-步骤S260的具体描述请参阅步骤S140-步骤S150,在此不再赘述。
上述实施例提供的表单填写方法,在显示待填写表单的过程中,接收第一语音输入信息,待填写表单中包括多个待选择输入框;对第一语音输入信息进行识别,得到识别结果;从多个待选择输入框中确定与识别结果对应的目标输入框;将待填写表单的输入焦点从初始位置切换到目标输入框;接收第二语音输入信息,并将第二语音输入信息转化为文本输入信息;将文本输入信息填写至目标输入框中。上述实施例通过根据第一语音输入信息确定与第一语音输入信息对应的目标输入框,将待填写表单的输入焦点从初始位置切换到目标输入框中,从而可以通过语音控制待填写表单的输入焦点,使得输入焦点切换到对应的输入框中,减少用户的操作。
请参阅图5,图5示出了本申请实施例提供的又一表单填写方法的流程示意图,该方法包括:
步骤S310:在显示待填写表单的过程中,接收第一语音输入信息,待填写表单中包括多个待选择输入框。
步骤S320:对第一语音输入信息进行识别,得到识别结果。
步骤S330:从多个待选择输入框中确定与识别结果对应的目标输入框。
步骤S340:接收第二语音输入信息,并将第二语音输入信息转化为文本输入信息。
步骤S350:将文本输入信息填写至目标输入框中。
其中,步骤S310-步骤S350的具体描述请参阅步骤S110-步骤S150,在此不再赘述。
步骤S360:接收第三语音输入信息。
在本申请实施例中,将文本输入信息填写至目标输入框中后,还可以接收第三语音输入信息,其中,第三语音输入信息可以用于对上述文本输入信息进行编辑。在一些实施方式中,第三语音输入信息可以是由内置或外接的拾音器等音频采集设备采集到的。
步骤S370:对第三语音输入信息进行识别,得到第三语音输入信息的识别结果。
在一些实施方式中,可以通过深度学习技术,对第三语音输入信息进行识别,得到第三语音输入信息的识别结果。具体地,可将第三语音输入信息输入已训练的第三语音识别模型,以得到该第三语音识别模型输出的第三语音输入信息的识别结果。其中,第三语音识别模型可以是预先基于大量真人说话时的第三语音输入信息以及第三语音输入信息的识别结果的训练样本,通过神经网络训练得到的,在此并不做限定。其中,第三语音识别模型可以与上述第一语音识别模型、第二语音识别模型为同一个语音识别模型,即可以获取一个语音识别模型,该语音识别模型可以根据第一语音输入信息输出第一语音输入信息对应的识别结果,也可以根据第二语音输入信息输出第二语音输入信息对应的文本输入信息,还可以根据第三语音输入信息输出第三语音输入信息的识别结果。进一步地,第三语音识别模型也可以是与上述第一语音识别模型、第二语音识别模型均不同的语音识别模型,在此不做限定。
需要说明的是,上述第二语音识别模型可以采用循环神经网络(recurrentneural network,RNN)模型,也可以采用长短期记忆网络(long short term memory,LSTM),具体识别模型本实施例在此不做限定。
步骤S380:基于第三语音输入信息的识别结果对文本输入信息进行编辑。
在本申请实施例中,可以基于第三语音输入信息的识别结果对文本输入信息进行编辑。具体地,可以是对已填写至目标输入框中的文本输入信息进行编辑,其中,对文本输入信息进行编辑,可以是对文本输入信息进行修改,例如,输入框中的文本输入信息为“300”,当第三语音输入信息为“改为400”时,则可以根据第三语音输入信息的识别结果,将输入框中的文本输入信息改为“400”。在一些实施方式中,对文本输入信息进行编辑,也可以是对文本输入信息进行删减或增加,例如,输入框中的文本输入信息为“628491”,第三语音输入信息为“删掉9和1”,则根据第三语音输入信息对输入框中文本输入信息进行删减,得到经过编辑后的文本输入信息“6284”。
上述实施例提供的表单填写方法,在显示待填写表单的过程中,接收第一语音输入信息,待填写表单中包括多个待选择输入框;对第一语音输入信息进行识别,得到识别结果;从多个待选择输入框中确定与识别结果对应的目标输入框;接收第二语音输入信息,并将第二语音输入信息转化为文本输入信息;将文本输入信息填写至目标输入框中;接收第三语音输入信息;对第三语音输入信息进行识别,得到第三语音输入信息的识别结果;基于第三语音输入信息的识别结果对文本输入信息进行编辑。上述实施例通过对接收到的第三语音输入信息进行识别,并基于第三语音输入信息的识别结果对文本输入信息进行编辑,从而可以在表单填写过程中,通过语音对输入框中的内容进行编辑,进一步减少用户的操作。
请参阅图6,图6示出了本申请实施例提供的再一表单填写方法的流程示意图,当表单为转账表单,文本输入信息为转账金额时,该方法包括:
步骤S410:在显示待填写表单的过程中,接收第一语音输入信息,待填写表单中包括多个待选择输入框。
步骤S420:对第一语音输入信息进行识别,得到识别结果。
步骤S430:从多个待选择输入框中确定与识别结果对应的目标输入框。
步骤S440:接收第二语音输入信息,并将第二语音输入信息转化为文本输入信息。
步骤S450:将文本输入信息填写至目标输入框中。
其中,步骤S410-步骤S450的具体描述请参阅步骤S110-步骤S150,在此不再赘述。
步骤S460:判断文本输入信息对应的金额是否大于金额阈值。
当待填写表单为转账表单,文本输入信息为转账金额时,转账表单通常与用户的资金变动相关,由于转账表单的特殊性,在本申请实施例中,为了保证用户的资金账户的安全,在转账金额大于一定阈值时,可以通过结合用户的脸部信息确定是否进行转账操作,从而提高转账的安全性。
在本申请实施例中,可以判断文本输入信息对应的金额是否大于金额阈值。具体地,可以预先设置金额阈值,金额阈值可以是由用户自行设置的,也可以是由系统根据用户的账户余额设置的,还可以是由系统根据用户的历史支出习惯设置的,在此不做限定。在一些实施方式中,将文本输入信息对应的金额与金额阈值进行比较,从而判断文本输入信息对应的金额是否大于金额阈值。
步骤S470:当金额大于金额阈值时,获取包含人脸信息的图像信息。
在本申请实施例中,当金额大于金额阈值时,可以获取包含人脸信息的图像信息。具体地,可以将文本输入信息对应的金额与金额阈值进行比较,例如,文本输入信息对应的金额为15000元,金额阈值为10000元,则文本输入信息对应的金额是大于金额阈值的,可以表明当前转账操作可能存在风险,于是可以获取包含人脸信息的图像信息。
在一些实施方式中,终端设备在与用户进行交互时,可以利用摄像头等图像采集设备实时采集包含用户的视频。得到包含用户的视频后,可以对采集到的视频进行识别,获取包含人脸信息的图像信息;也可以对视频进行分解,提取出包含人脸信息的图像信息。
步骤S480:对图像信息进行情绪分析,得到情绪特征。
在本申请实施例中,可以对图像信息进行情绪分析,得到情绪特征。
在一些实施方式中,终端设备对包含人脸信息的图像信息进行情绪分析,以获取用户的情绪特征。其中,情绪特征可以用于表征人脸图像中人物的情绪。在一些实施例中,情绪特征所表征的情绪可以包括兴奋、愉快、幸福、满足、放松、冷静等正面情绪,也可以包括疲劳、无聊、压抑、沮丧、愤怒、紧张等负面情绪,在此不限定。
在一些实施方式中,可以通过深度学习技术,对图像信息进行情绪分析。作为一种方式,可以将图像信息输入已训练的情绪识别模型,得到该情绪识别模型输出的情绪特征。具体地,在一些实施方式中,情绪识别模型可以预先基于大量真人说话时的图像信息以及图像中的人脸呈现的情绪特征的训练样本,通过神经网络训练得到的。训练样本可以包括输入样本及输出样本,输入样本可以包括图像信息,输出样本可以为图像中人物的情绪特征,从而已训练的情绪识别模型可以用于根据获取的图像信息,输出图像中人物的情绪特征。
其中,情绪识别模型可以采用循环神经网络(recurrent neural network,RNN)模型、卷积神经网络(convolutional neural networks,CNN)模型、双向长短时记忆循环神经网络(bi-directional long short-term memory,BiLSTM)模型、变分自编码器(variational autoencoder,VAE)模型等机器学习模型,在此不做限定。例如,情绪识别模型还可以是采用上述机器学习模型的变体或组合等。
步骤S490:判断情绪特征是否满足预警情绪特征。
在本申请实施例中,当获得了用户的情绪特征后,可以判断该情绪特征是否满足预警情绪特征,从而确保用户当前的转账操作是否是正常的。具体地,可以将情绪特征与预警情绪特征进行对比,以此判断情绪特征是否满足预警情绪特征。其中预警情绪特征可以是用户自行设置的,也可以是由系统预先设置的,在此不做限定。预警情绪特征可以是用于表示用户非稳定的情绪特征,例如,焦虑、恐惧、紧张等负面情绪。
步骤S500:当情绪特征满足预警情绪特征时,退出表单。
在本申请实施例中,当情绪特征满足预警情绪特征时,可以退出表单。即当情绪特征满足预警情绪特征时,表明用户处于非稳定的状态,当前操作可能是非本人意愿的操作,那么可以退出表单,停止转账的操作,以保证用户资产的安全。具体地,在得到用户的情绪特征后,可以将情绪特征与预警情绪特征进行对比。例如,当得到的情绪特征为紧张时,且预警情绪特征也为紧张时,可以认为当前的情绪特征满足预警情绪特征,则可以退出表单。
在一些实施方式中,还可以对第一语音输入信息、第二语音输入信息以及图像信息都进行情绪识别,以获得更为准确的情绪特征。
在一些实施方式中,步骤S460还可以在步骤S440之后执行,即可以在将第二语音输入信息转化为文本输入信息之后,执行判断文本输入信息对应的金额是否大于金额阈值。当文本输入信息对应的金额不大于金额阈值,或情绪特征不满足预警情绪特征时,可以将文本输入信息填写至目标输入框中。
上述实施例提供的表单填写方法,在显示待填写表单的过程中,接收第一语音输入信息,待填写表单中包括多个待选择输入框;对第一语音输入信息进行识别,得到识别结果;从多个待选择输入框中确定与识别结果对应的目标输入框;接收第二语音输入信息,并将第二语音输入信息转化为文本输入信息;将文本输入信息填写至目标输入框中;判断文本输入信息对应的金额是否大于金额阈值;当金额大于金额阈值时,获取包含人脸信息的图像信息;对图像信息进行情绪分析,得到情绪特征;判断情绪特征是否满足预警情绪特征;当情绪特征满足预警情绪特征时,退出表单。上述实施例通过在转账金额大于金额阈值时,对包含人脸信息的图像信息进行情绪分析得到情绪特征,根据情绪特征是否满足预警情绪特征,确定对表单的操作,从而提升在表单填写的全程中使用语音控制填写操作的安全性,提高转账的安全性。
请参阅图7,图7示出了本申请实施例提供的还一表单填写方法的流程示意图,该方法包括:
步骤S610:在显示待填写表单的过程中,接收第一语音输入信息,待填写表单中包括多个待选择输入框。
步骤S620:对第一语音输入信息进行识别,得到识别结果。
步骤S630:从多个待选择输入框中确定与识别结果对应的目标输入框。
步骤S640:接收第二语音输入信息。
其中,步骤S610-步骤S640的具体描述请参阅步骤S110-步骤S140,在此不再赘述。
步骤S650:对第二语音输入信息进行类型识别,获得第二语音输入信息的类型。
在本申请实施例中,接收第二语音输入信息后,可以对第二语音输入信息进行类型识别,获得第二语音输入信息的类型,从而根据第二语音输入信息的类型确定是否可以将第二语音输入信息对应的文本输入信息填写至目标输入框中,以此提高表单填写的准确度。
在一些实施方式中,可以预先获取大量的语音输入信息以及语音输入信息对应的类型作为训练样本集,并将训练样本集输入机器学习模型进行训练,得到对应的语音类型识别模型,从而可以将第二语音输入信息输入该语音类型识别模型,得到第二语音输入信息的类型。
步骤S660:判断第二语音输入信息的类型是否满足目标输入框支持的类型。
在本申请实施例中,获得第二语音输入信息的类型后,可以判断第二语音输入信息的类型是否满足目标输入框支持的类型,从而确定是否可以将第二语音输入信息对应的文本输入信息填写至该目标输入框。具体地,可以将第二语音输入信息的类型与目标输入框支持的类型进行匹配,从而判断第二语音输入信息的类型是否满足目标输入框支持的类型。其中,目标输入框支持的类型与目标输入框的类型相关,例如,目标输入框为“转账金额”输入框,则目标输入框支持的类型可以为数字;目标输入框为“年龄”输入框,则目标输入框支持的类型可以为不大于三位数的数字。
步骤S670:当第二语音输入信息的类型满足目标输入框支持的类型时,将第二语音输入信息转化为文本输入信息。
在本申请实施例中,当第二语音输入信息的类型满足目标输入框支持的类型时,可以将第二语音输入信息转化为文本输入信息。例如,目标输入框为“性别”输入框,第二语音输入信息为“女”,第二语音输入信息的类型则可以是表征性别的词,则可以得到第二语音输入信息的类型满足目标输入框支持的类型,于是可以将第二语音输入信息转化为文本输入信息。
步骤S680:当第二语音输入信息的类型不满足目标输入框支持的类型时,提示用户重新输入信息。
在本申请实施例中,当第二语音输入信息的类型不满足目标输入框支持的类型时,可以提示用户重新输入信息。例如,目标输入框为“年龄”输入框,第二语音输入信息为“女”,第二语音输入信息的类型为表征性别的词,而目标输入框支持的类型为数字,则可以得到第二语音输入信息的类型不满足目标输入框支持的类型,于是可以提示用户重新输入信息。
上述实施例提供的表单填写方法,在显示待填写表单的过程中,接收第一语音输入信息,待填写表单中包括多个待选择输入框;对第一语音输入信息进行识别,得到识别结果;从多个待选择输入框中确定与识别结果对应的目标输入框;接收第二语音输入信息;对第二语音输入信息进行类型识别,获得第二语音输入信息的类型;判断第二语音输入信息的类型是否满足目标输入框支持的类型;当第二语音输入信息的类型满足目标输入框支持的类型时,将第二语音输入信息转化为文本输入信息;当第二语音输入信息的类型不满足目标输入框支持的类型时,提示用户重新输入信息。上述实施例通过对第二语音输入信息进行类型识别,根据第二语音输入信息的类型是否满足目标输入框支持的类型,确定对表单的操作方式,从而提升使用语音填写表单的准确度和精确度。
请参阅图8,图8示出了本申请实施例提供的又再一表单填写方法的流程示意图,该方法包括:
步骤S710:接收输入方式切换指令,输入方式切换指令用于切换输入信息的方式。
本申请实施例提供的表单填写方法,待填写表单的界面可以与现有的界面相同,于是可以在用户不方便使用语音时,可以切换为其他的外设输入方式。因此,在本申请实施例中,可以接收输入方式切换指令,该输入方式切换指令用于切换输入信息的方式。在一些实施方式中,输入方式切换指令,可以是通过作用于终端设备的触控操作触发的,也可以是基于终端设备利用摄像头等图像采集设备采集到的图像触发的,具体触发方式在此不做限定。
步骤S720:基于输入方式切换指令,将语音输入方式切换为外设输入方式,外设输入方式包括键盘输入方式、触摸屏输入方式以及鼠标输入方式中的至少一种。
输入方式切换指令,可以是将语音输入方式切换为图像输入方式,也可以是将语音输入方式切换为外设输入方式。在本申请实施例中,基于输入方式切换指令,可以将语音输入方式切换为外设输入方式,其中,外设输入方式可以是指通过外接设备,控制输入框的选择以及输入框的内容,在一些实施方式中,外接设备可以包括键盘、触摸屏以及鼠标中的至少一种,因此,外设输入方式可以包括键盘输入方式、触摸屏输入方式以及鼠标输入方式中的至少一种。例如,可以将语音输入方式切换为键盘输入方式,也可以将语音输入方式切换为键盘输入方式和鼠标输入方式。
步骤S730:接收基于外设输入方式输入的信息。
在本申请实施例中,基于输入方式切换指令,将语音输入方式切换为外设输入方式,可以接收基于外设输入方式输入的信息。在一些实施方式中,当外设输入方式为键盘输入方式,则可以接收通过键盘输入方式输入的信息,并基于输入的信息对表单进行填写操作。在一些实施方式中,当外设输入方式为触摸屏输入方式,则可以接收作用于屏幕的触控操作得到的输入信息对表单进行操作。在一些实施方式中,当外设输入方式为鼠标输入方式,则可以接收基于鼠标的点击操作对应的输入信息对表单进行操作。
在一些实施方式中,步骤S710-步骤S730可以在步骤S110-步骤S150、步骤S210-步骤S260、步骤S310-步骤S380、步骤S410-步骤S500、步骤S610-步骤S670中的任一步骤之后执行,即在表单填写的整个过程中,都可以进行输入方式的切换。
上述实施例提供的表单填写方法,接收输入方式切换指令,输入方式切换指令用于切换输入信息的方式;基于输入方式切换指令,将语音输入方式切换为外设输入方式,外设输入方式包括键盘输入方式、触摸屏输入方式以及鼠标输入方式中的至少一种;接收基于外设输入方式输入的信息。上述实施例通过将输入方式切换为外设输入方式,从而使得用户可以根据自身的需要选择不同的输入方式对表单进行填写,进而提升用户的表单填写体验。
请参阅图9,图9示出了本申请实施例提供的还再一表单填写方法的流程示意图,该方法包括:
步骤S810:在预设时长内没有接收到语音输入信息时,检测显示待填写表单的终端设备前是否有用户存在。
用户在填写表单时,若出现疑惑或不会填写的情况,通常会长时间没有语音的输入,此时终端设备有可能因为长时间未接收到语音输入,认定没有语音输入而退出表单,给用户带来不便。因此,在本申请实施例中,在预设时长内没有接收到语音输入信息时,可以检测显示待填写表单的终端设备前是否有用户存在,从而确定是否退出表单。其中,预设时长可以是用户自行设置的,也可以是由系统预先设置的,在此不做限定。
在一些实施方式中,可以通过利用终端设备的摄像头等图像采集设备,采集终端设备前的图像,对图像进行识别,判断是否有用户存在。由于终端设备可能安置在人流量大的场所,进一步地,可以对图像进行识别,判断是否有用户,且用户是否面朝终端设备的正面,以此确定是否有人体存在。
在一些实施方式中,还可以通过红外装置,检测用户到终端设备的距离,当用户到终端设备的距离较近时,可以确定终端设备前有用户存在。具体的用户存在检测方式在此不做限定。
步骤S820:当检测到终端设备前有用户存在时,输出提示信息,提示信息用于引导用户进行表单填写。
在本申请实施例中,当检测到终端设备前有用户存在时,可以输出提示信息,其中,提示信息用于引导用户进行表单填写。在一些实施方式中,可以根据上述检测方式检测是否有用户存在,当检测到终端设备前有用户存在时,即可以表明用户在填写表单时可能遇到了问题,此时,则可以输出提示信息,引导用户进行表单填写。其中,提示信息可以是通过语音形式输出的,也可以是以文字的形式展示在表单的显示界面,还可以是以图片的形式展示在表单的显示界面,在此不做限定。提示信息可以包括表单填写的操作指南等。
在一些实施方式中,当检测到终端设备前有用户存在时,可以输出提示信息给相关的工作人员,由工作人员为用户提供帮助。其中,该提示信息可以包括终端设备的位置以及待填写表单的类型。例如,若该表单为银行的转账表单,则在检测到终端设备前有用户存在时,可以输出提示信息给银行的工作人员,告知银行工作人员终端设备的位置,由银行工作人员到达该终端设备,并为用户提供相应的帮助。
上述实施例提供的表单填写方法,在预设时长内没有接收到语音输入信息时,检测显示待填写表单的终端设备前是否有用户存在;当检测到终端设备前有用户存在时,输出提示信息,提示信息用于引导用户进行表单填写。上述实施例通过在长时间未接收到语音输入信息时,检测是否有用户存在,当有用户存在时,引导用户进行表单填写,从而可以在用户不知道如何填写表单时,给用户提供指导操作,使得用户可以根据指导进行表单的填写,进一步提升用户的表单填写体验。
请参阅图10,图10示出了本申请实施例提供的表单填写装置200的结构框图。下面将针对图10所示的框图进行阐述,该表单填写装置200包括:第一信息接收模块210、第一信息识别模块220、输入框确定模块230、第二信息接收模块240以及输入信息填写模块250,其中:
第一信息接收模块210,用于在显示待填写表单的过程中,接收第一语音输入信息,待填写表单中包括多个待选择输入框。
第一信息识别模块220,用于对第一语音输入信息进行识别,得到识别结果。
输入框确定模块230,用于从多个待选择输入框中确定与识别结果对应的目标输入框。
第二信息接收模块240,用于接收第二语音输入信息,并将第二语音输入信息转化为文本输入信息。
输入信息填写模块250,用于将文本输入信息填写至目标输入框中。
进一步地,表单填写装置200还包括:焦点切换模块,其中:
焦点切换模块,用于将待填写表单的输入焦点从初始位置切换到目标输入框。
进一步地,表单填写装置200还包括:第三信息接收模块、第三信息识别模块以及信息编辑模块,其中:
第三信息接收模块,用于接收第三语音输入信息。
第三信息识别模块,用于对第三语音输入信息进行识别,得到第三语音输入信息的识别结果。
信息编辑模块,用于基于第三语音输入信息的识别结果对文本输入信息进行编辑。
进一步地,当表单为转账表单,文本输入信息为转账金额时,表单填写装置200还包括:金额判断模块、图像信息获取模块、情绪分析模块、情绪特征判断模块以及表单退出模块,其中:
金额判断模块,用于判断文本输入信息对应的金额是否大于金额阈值。
图像信息获取模块,用于当金额大于金额阈值时,获取包含人脸信息的图像信息。
情绪分析模块,用于对图像信息进行情绪分析,得到情绪特征。
情绪特征判断模块,用于判断情绪特征是否满足预警情绪特征。
表单退出模块,用于当情绪特征满足预警情绪特征时,退出表单。
进一步地,表单填写装置200还包括:类型识别模块、类型判断模块、信息转化模块以及信息提示模块,其中:
类型识别模块,用于对第二语音输入信息进行类型识别,获得第二语音输入信息的类型。
类型判断模块,用于判断第二语音输入信息的类型是否满足目标输入框支持的类型。
信息转化模块,用于当第二语音输入信息的类型满足目标输入框支持的类型时,将第二语音输入信息转化为文本输入信息。
信息提示模块,用于当第二语音输入信息的类型不满足目标输入框支持的类型时,提示用户重新输入信息。
进一步地,表单填写装置200还包括:切换指令接收模块、外设方式切换模块以及输入信息接收模块,其中:
切换指令接收模块,用于接收输入方式切换指令,输入方式切换指令用于切换输入信息的方式。
外设方式切换模块,用于基于输入方式切换指令,将语音输入方式切换为外设输入方式,外设输入方式包括键盘输入方式、触摸屏输入方式以及鼠标输入方式中的至少一种。
输入信息接收模块,用于接收基于外设输入方式输入的信息。
进一步地,表单填写装置200还包括:用户检测模块以及提示信息输出模块,其中:
用户检测模块,用于在预设时长内没有接收到语音输入信息时,检测显示待填写表单的终端设备前是否有用户存在。
提示信息输出模块,用于当检测到终端设备前有用户存在时,输出提示信息,提示信息用于引导用户进行表单填写。
本申请实施例提供的表单填写装置用于实现前述方法实施例中相应的表单填写方法,并具有相应的方法实施例的有益效果,在此不再赘述。
所属领域的技术人员可以清楚地了解到,本申请实施例提供的表单填写装置能够实现前述方法实施例中的各个过程,为描述的方便和简洁,上述描述装置和模块的具体工作过程,可以参阅前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本申请实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
请参阅图11,其示出了本申请实施例提供的一种终端设备110的结构框图。该终端设备110可以是智能手机、平板电脑、电子书等能够运行应用程序的终端设备。本申请中的终端设备110可以包括一个或多个如下部件:处理器111、存储器112以及一个或多个应用程序,其中一个或多个应用程序可以被存储在存储器112中并被配置为由一个或多个处理器111执行,一个或多个程序配置用于执行如前述方法实施例所描述的方法。
处理器111可以包括一个或者多个处理核。处理器111利用各种接口和线路连接整个终端设备110内的各个部分,通过运行或执行存储在存储器112内的指令、程序、代码集或指令集,以及调用存储在存储器112内的数据,执行终端设备110的各种功能和处理数据。可选地,处理器111可以采用数字信号处理(digital signal processing,DSP)、现场可编程门阵列(field-programmable gate array,FPGA)、可编程逻辑阵列(programmable logicarray,PLA)中的至少一种硬件形式来实现。处理器111可集成中央处理器(centralprocessing unit,CPU)、图像处理器(graphics processing unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器111中,单独通过一块通信芯片进行实现。
存储器112可以包括随机存储器(random access memory,RAM),也可以包括只读存储器(read-only memory,ROM)。存储器112可用于存储指令、程序、代码、代码集或指令集。存储器112可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端设备110在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
请参阅图12,其示出了本申请实施例提供的一种计算机可读取存储介质的结构框图。该计算机可读取存储介质300中存储有程序代码,所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读取存储介质300可以是诸如闪存、电可擦除可编程只读存储器(electrically-erasable programmable read-only memory,EEPROM)、可擦除可编程只读存储器(erasable programmable read only memory,EPROM)、硬盘或者ROM之类的电子存储器。可选地,计算机可读取存储介质300包括非易失性计算机可读介质(non-transitorycomputer-readable storage medium)。计算机可读取存储介质300具有执行上述方法中的任何方法步骤的程序代码310的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码310可以例如以适当形式进行压缩。
综上所述,本申请实施例提供的表单填写方法、装置、终端设备及存储介质,该方法包括:在显示待填写表单的过程中,接收第一语音输入信息,该待填写表单中包括多个待选择输入框;对第一语音输入信息进行识别,得到识别结果;从多个待选择输入框中确定与识别结果对应的目标输入框;接收第二语音输入信息,并将第二语音输入信息转化为文本输入信息;将文本输入信息填写至所述目标输入框中。从而通过接收第一语音输入信息,确定与第一语音输入信息对应的目标输入框,并接收第二语音输入信息,将第二语音输入信息对应的文本输入信息填写至目标输入框中,使得可以在表单填写的全程使用语音控制填写操作,完成复杂且精确的输入。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种表单填写方法,其特征在于,所述方法包括:
在显示待填写表单的过程中,接收第一语音输入信息,所述待填写表单中包括多个待选择输入框;
对所述第一语音输入信息进行识别,得到识别结果;
从所述多个待选择输入框中确定与所述识别结果对应的目标输入框;
接收第二语音输入信息,并将所述第二语音输入信息转化为文本输入信息;
将所述文本输入信息填写至所述目标输入框中。
2.根据权利要求1所述的方法,其特征在于,所述从所述多个待选择输入框中确定与所述识别结果对应的目标输入框之后,还包括:
将所述待填写表单的输入焦点从初始位置切换到所述目标输入框。
3.根据权利要求1所述的方法,其特征在于,所述将所述文本输入信息填写至所述目标输入框中之后,还包括:
接收第三语音输入信息;
对所述第三语音输入信息进行识别,得到第三语音输入信息的识别结果;
基于所述第三语音输入信息的识别结果对所述文本输入信息进行编辑。
4.根据权利要求1所述的方法,其特征在于,当所述表单为转账表单,所述文本输入信息为转账金额时,所述将所述文本输入信息填写至所述目标输入框中之后,还包括:
判断所述文本输入信息对应的金额是否大于金额阈值;
当所述金额大于金额阈值时,获取包含人脸信息的图像信息;
对所述图像信息进行情绪分析,得到情绪特征;
判断所述情绪特征是否满足预警情绪特征;
当所述情绪特征满足预警情绪特征时,退出所述表单。
5.根据权利要求1所述的方法,其特征在于,所述接收第二语音输入信息之后,还包括:
对所述第二语音输入信息进行类型识别,获得所述第二语音输入信息的类型;
判断所述第二语音输入信息的类型是否满足所述目标输入框支持的类型;
当所述第二语音输入信息的类型满足所述目标输入框支持的类型时,将所述第二语音输入信息转化为文本输入信息;
当所述第二语音输入信息的类型不满足所述目标输入框支持的类型时,提示用户重新输入信息。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述方法还包括:
接收输入方式切换指令,所述输入方式切换指令用于切换输入信息的方式;
基于所述输入方式切换指令,将语音输入方式切换为外设输入方式,所述外设输入方式包括键盘输入方式、触摸屏输入方式以及鼠标输入方式中的至少一种;
接收基于所述外设输入方式输入的信息。
7.根据权利要求1-5任一项所述的方法,其特征在于,所述方法还包括:
在预设时长内没有接收到语音输入信息时,检测显示所述待填写表单的终端设备前是否有用户存在;
当检测到所述终端设备前有用户存在时,输出提示信息,所述提示信息用于引导所述用户进行表单填写。
8.一种表单填写装置,其特征在于,所述装置包括:
第一信息接收模块,用于在显示待填写表单的过程中,接收第一语音输入信息,所述待填写表单中包括多个待选择输入框;
第一信息识别模块,用于对所述第一语音输入信息进行识别,得到识别结果;
输入框确定模块,用于从所述多个待选择输入框中确定与所述识别结果对应的目标输入框;
第二信息接收模块,用于接收第二语音输入信息,并将所述第二语音输入信息转化为文本输入信息;
输入信息填写模块,用于将所述文本输入信息填写至所述目标输入框中。
9.一种终端设备,其特征在于,包括存储器和处理器,所述存储器耦接到所述处理器,所述存储器存储指令,当所述指令由所述处理器执行时所述处理器执行如权利要求1-7任一项所述的方法。
10.一种计算机可读取存储介质,其特征在于,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行如权利要求1-7任一项所述的方法。
CN201911277941.9A 2019-12-12 2019-12-12 表单填写方法、装置、终端设备及存储介质 Pending CN111126009A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911277941.9A CN111126009A (zh) 2019-12-12 2019-12-12 表单填写方法、装置、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911277941.9A CN111126009A (zh) 2019-12-12 2019-12-12 表单填写方法、装置、终端设备及存储介质

Publications (1)

Publication Number Publication Date
CN111126009A true CN111126009A (zh) 2020-05-08

Family

ID=70498572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911277941.9A Pending CN111126009A (zh) 2019-12-12 2019-12-12 表单填写方法、装置、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN111126009A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111782171A (zh) * 2020-06-22 2020-10-16 Oppo(重庆)智能科技有限公司 一种信息输入方法、装置、设备及存储介质
CN111967235A (zh) * 2020-08-31 2020-11-20 平安国际智慧城市科技股份有限公司 表单处理方法、装置、计算机设备及存储介质
CN112863506A (zh) * 2020-12-30 2021-05-28 平安普惠企业管理有限公司 业务信息采集方法、装置、计算机设备及可读存储介质
CN112927062A (zh) * 2021-01-21 2021-06-08 平安普惠企业管理有限公司 基于语音识别的业务申请处理方法、装置和计算机设备
CN113254698A (zh) * 2021-06-23 2021-08-13 江苏盖睿健康科技有限公司 一种具备辅助填写功能的表格设计方法及系统
CN113299289A (zh) * 2021-03-30 2021-08-24 阿里巴巴新加坡控股有限公司 信息录入方法、装置及电子设备
CN113486639A (zh) * 2021-07-02 2021-10-08 国网电子商务有限公司 表单的生成方法及装置、电子设备、存储介质
CN114385054A (zh) * 2021-12-08 2022-04-22 北京云测信息技术有限公司 表单填写方法、装置、电子设备及存储介质
CN114546189A (zh) * 2020-11-26 2022-05-27 百度在线网络技术(北京)有限公司 向页面输入信息的方法和装置
CN115204127A (zh) * 2022-09-19 2022-10-18 深圳市北科瑞声科技股份有限公司 基于远程流调的表单填写方法、装置、设备及介质
CN115841098A (zh) * 2023-02-24 2023-03-24 天津爱波瑞科技发展有限公司 基于数据识别的交互式批量填充方法与系统
CN117057325A (zh) * 2023-10-13 2023-11-14 湖北华中电力科技开发有限责任公司 一种应用于电网领域表单填写方法、系统和电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794203A (zh) * 2015-04-24 2015-07-22 中国科学院南京地理与湖泊研究所 一种藻类计数数据语音快速录入及报表生成系统和方法
CN105786797A (zh) * 2016-02-23 2016-07-20 北京云知声信息技术有限公司 一种基于语音输入的信息处理方法及装置
CN107168551A (zh) * 2017-06-13 2017-09-15 重庆小雨点小额贷款有限公司 一种表单填写的输入方法
CN107357772A (zh) * 2017-07-04 2017-11-17 贵州小爱机器人科技有限公司 表单填写方法、装置和计算机设备
CN107785021A (zh) * 2017-08-02 2018-03-09 上海壹账通金融科技有限公司 语音输入方法、装置、计算机设备和介质
CN109656510A (zh) * 2017-10-11 2019-04-19 腾讯科技(深圳)有限公司 一种网页中语音输入的方法及终端
CN109829706A (zh) * 2018-12-15 2019-05-31 深圳壹账通智能科技有限公司 基于人脸识别的转账方法、装置、计算机设备及存储介质
CN109840318A (zh) * 2019-01-04 2019-06-04 上海上湖信息技术有限公司 一种表单项的填写方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794203A (zh) * 2015-04-24 2015-07-22 中国科学院南京地理与湖泊研究所 一种藻类计数数据语音快速录入及报表生成系统和方法
CN105786797A (zh) * 2016-02-23 2016-07-20 北京云知声信息技术有限公司 一种基于语音输入的信息处理方法及装置
CN107168551A (zh) * 2017-06-13 2017-09-15 重庆小雨点小额贷款有限公司 一种表单填写的输入方法
CN107357772A (zh) * 2017-07-04 2017-11-17 贵州小爱机器人科技有限公司 表单填写方法、装置和计算机设备
CN107785021A (zh) * 2017-08-02 2018-03-09 上海壹账通金融科技有限公司 语音输入方法、装置、计算机设备和介质
CN109656510A (zh) * 2017-10-11 2019-04-19 腾讯科技(深圳)有限公司 一种网页中语音输入的方法及终端
CN109829706A (zh) * 2018-12-15 2019-05-31 深圳壹账通智能科技有限公司 基于人脸识别的转账方法、装置、计算机设备及存储介质
CN109840318A (zh) * 2019-01-04 2019-06-04 上海上湖信息技术有限公司 一种表单项的填写方法及系统

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111782171A (zh) * 2020-06-22 2020-10-16 Oppo(重庆)智能科技有限公司 一种信息输入方法、装置、设备及存储介质
CN111967235A (zh) * 2020-08-31 2020-11-20 平安国际智慧城市科技股份有限公司 表单处理方法、装置、计算机设备及存储介质
CN111967235B (zh) * 2020-08-31 2023-06-27 深圳赛安特技术服务有限公司 表单处理方法、装置、计算机设备及存储介质
CN114546189A (zh) * 2020-11-26 2022-05-27 百度在线网络技术(北京)有限公司 向页面输入信息的方法和装置
CN114546189B (zh) * 2020-11-26 2024-03-29 百度在线网络技术(北京)有限公司 向页面输入信息的方法和装置
CN112863506A (zh) * 2020-12-30 2021-05-28 平安普惠企业管理有限公司 业务信息采集方法、装置、计算机设备及可读存储介质
CN112927062A (zh) * 2021-01-21 2021-06-08 平安普惠企业管理有限公司 基于语音识别的业务申请处理方法、装置和计算机设备
CN113299289A (zh) * 2021-03-30 2021-08-24 阿里巴巴新加坡控股有限公司 信息录入方法、装置及电子设备
CN113254698A (zh) * 2021-06-23 2021-08-13 江苏盖睿健康科技有限公司 一种具备辅助填写功能的表格设计方法及系统
CN113486639A (zh) * 2021-07-02 2021-10-08 国网电子商务有限公司 表单的生成方法及装置、电子设备、存储介质
CN114385054A (zh) * 2021-12-08 2022-04-22 北京云测信息技术有限公司 表单填写方法、装置、电子设备及存储介质
CN114385054B (zh) * 2021-12-08 2023-12-19 北京云测信息技术有限公司 表单填写方法、装置、电子设备及存储介质
CN115204127B (zh) * 2022-09-19 2023-01-06 深圳市北科瑞声科技股份有限公司 基于远程流调的表单填写方法、装置、设备及介质
CN115204127A (zh) * 2022-09-19 2022-10-18 深圳市北科瑞声科技股份有限公司 基于远程流调的表单填写方法、装置、设备及介质
CN115841098A (zh) * 2023-02-24 2023-03-24 天津爱波瑞科技发展有限公司 基于数据识别的交互式批量填充方法与系统
CN117057325A (zh) * 2023-10-13 2023-11-14 湖北华中电力科技开发有限责任公司 一种应用于电网领域表单填写方法、系统和电子设备
CN117057325B (zh) * 2023-10-13 2024-01-05 湖北华中电力科技开发有限责任公司 一种应用于电网领域表单填写方法、系统和电子设备

Similar Documents

Publication Publication Date Title
CN111126009A (zh) 表单填写方法、装置、终端设备及存储介质
CN110807388B (zh) 交互方法、装置、终端设备及存储介质
CN114938360B (zh) 一种基于即时通讯应用的数据处理方法和装置
CN110598576B (zh) 一种手语交互方法、装置及计算机介质
CN111145754B (zh) 语音输入方法、装置、终端设备及存储介质
CN110517685B (zh) 语音识别方法、装置、电子设备及存储介质
CN107632980A (zh) 语音翻译方法和装置、用于语音翻译的装置
CN112750186B (zh) 虚拟形象切换方法、装置、电子设备及存储介质
CN105518657B (zh) 信息处理设备、信息处理方法及计算机可读记录介质
CN110826441B (zh) 交互方法、装置、终端设备及存储介质
CN110534109B (zh) 语音识别方法、装置、电子设备及存储介质
WO2020024620A1 (zh) 语音信息的处理方法以及装置、设备和存储介质
CN109086276B (zh) 数据翻译方法、装置、终端及存储介质
CN110931006A (zh) 基于情感分析的智能问答方法及相关设备
CN112735396A (zh) 语音识别纠错方法、装置及存储介质
CN110349577B (zh) 人机交互方法、装置、存储介质及电子设备
CN113822187A (zh) 手语翻译、客服、通信方法、设备和可读介质
CN110858291A (zh) 字符切分方法及装置
CN113851029A (zh) 一种无障碍通信方法和装置
CN111144125B (zh) 文本信息处理方法、装置、终端设备及存储介质
KR20150066882A (ko) 다중 사용자 기반의 대화 처리 방법 및 이를 수행하는 장치
WO2023093280A1 (zh) 语音控制方法、装置、电子设备及存储介质
CN114373464A (zh) 文本展示方法、装置、电子设备及存储介质
CN111667829B (zh) 信息处理方法及装置、存储介质
CN113780013A (zh) 一种翻译方法、设备和可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200508