CN109684623A - 辅助填表设备、系统、方法、装置及存储介质 - Google Patents

辅助填表设备、系统、方法、装置及存储介质 Download PDF

Info

Publication number
CN109684623A
CN109684623A CN201811630101.1A CN201811630101A CN109684623A CN 109684623 A CN109684623 A CN 109684623A CN 201811630101 A CN201811630101 A CN 201811630101A CN 109684623 A CN109684623 A CN 109684623A
Authority
CN
China
Prior art keywords
filling
hand
list
area
fill
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811630101.1A
Other languages
English (en)
Inventor
周永吉
王浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou Little Love Robot Technology Co Ltd
Original Assignee
Guizhou Little Love Robot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou Little Love Robot Technology Co Ltd filed Critical Guizhou Little Love Robot Technology Co Ltd
Priority to CN201811630101.1A priority Critical patent/CN109684623A/zh
Publication of CN109684623A publication Critical patent/CN109684623A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/174Form filling; Merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例公开了一种辅助填表设备、系统、方法、装置及存储介质。所述设备包括:填表台、拍摄装置、填写提示装置,以及分别与拍摄装置以及填写提示装置相连的控制器;填表台包括用于放置手写表单的填表区;拍摄装置,用于拍摄与所述填表区匹配的图像;控制器,用于如果确定填表区内当前放置有手写表单,则通过拍摄装置实时检测在填表区内出现的笔尖,根据笔尖的出现位置确定用户针对手写表单的当前填表位置,获取与当前填表位置对应的填写提示信息发送至填写提示装置进行展示。本发明实施例的技术方案可以根据用户不同的填表位置,对用户的填写内容进行有效提示,以缩短用户的手写表单填写时间,相应提高用户的表单填写效率。

Description

辅助填表设备、系统、方法、装置及存储介质
技术领域
本发明实施例涉及数据处理技术,尤其涉及一种辅助填表设备、系统、方法、装置及存储介质。
背景技术
随着计算机技术的不断发展,人们在很多场景下可以实现无纸化操作。但是,银行、集团财务机构或者政府服务机构等在进行业务办理时,一般仍需要人们手动填写各种相关业务单据。在这些需要手动填写的表单中,一般预先打印有项目名称(例如,“姓名”或者“年龄”等),以及与项目名称对应的空白区域,以供用户填写相应的项目内容。
在用户手动填写表单的过程中,有时会因为对某些项目名称的不理解,而需要专门的服务人员进行指引填写;此外,用户有时还会因为对某些项目名称的理解有误而对某些项目内容进行了误填写,使得已经填写完成的表单作废。
上述情况的发生,既延长了用户的表单填写时间,又增加了人工服务的成本,使得在包含手动填写表单的业务场景下,业务的办理效率低下。
发明内容
本发明实施例提供了一种辅助填表设备、系统、方法、装置及存储介质,以实现在用户填表过程中对用户进行有效的填表提示。
第一方面,本发明实施例提供了一种辅助填表设备,包括:填表台、拍摄装置、填写提示装置,以及分别与所述拍摄装置以及所述填写提示装置相连的控制器;
所述填表台包括用于进行手写操作的平面,在所述平面上设置有填表区,所述填表区用于放置手写表单;
所述拍摄装置,用于拍摄与所述填表区匹配的图像;
所述控制器,用于如果确定所述填表区内当前放置有手写表单,则通过所述拍摄装置实时检测在填表区内出现的笔尖,并根据所述笔尖的出现位置确定用户针对所述手写表单的当前填表位置,获取与所述当前填表位置对应的填写提示信息发送至所述填写提示装置进行展示;
所述填写提示装置,用于展示接收到的所述填写提示信息。
第二方面,本发明实施例提供了一种辅助填表系统,包括如本发明任意实施例所述的辅助填表设备以及服务器;
所述辅助填表系统还包括:麦克风以及通信模块,所述麦克风以及所述通信模块分别与所述控制器相连;所述服务器以有线和/或无线的方式,与所述辅助填表设备中的通信模块相连;
所述麦克风用于拾取用户的语音指令,并将所述语音指令发送至所述控制器;
所述控制器,还用于:将所述填表交互问题通过所述通信模块发送至服务器,并通过所述通信模块接收所述服务器反馈的所述填表交互答案;将所述填表交互答案发送至所述填写提示装置进行展示;
所述填写提示装置,还用于:展示接收到的所述填表交互答案;
所述服务器,用于接收所述辅助填表设备中的控制器通过所述通信模块发送的填表交互问题,调用语义理解引擎获取与所述填表交互问题对应的填表交互答案,并将所述填表交互答案发送至所述辅助填表设备的所述通信模块。
第三方面,本发明实施例还提供了一种辅助填表方法,应用于如本发明任意实施例所述的辅助填表设备中,包括:
如果确定填表区内当前放置有手写表单,则通过拍摄装置实时检测在填表区内出现的笔尖;
根据所述笔尖的出现位置确定用户针对所述手写表单的当前填表位置;
获取与所述当前填表位置对应的填写提示信息发送至填写提示装置进行展示。
第四方面,本发明实施例还提供了一种辅助填表方法,包括:
根据用户发送的第一用户指令,向所述用户发放设定类型的手写表单;
在所述用户的表单填写过程中,采用如本发明任意实施例所述的辅助填表方法,向所述用户提供填写提示信息;
根据所述用户发送的第二用户指令,向所述用户收取填写完成的所述手写表单。
第五方面,本发明实施例还提供了一种辅助填表装置,应用于如本发明任意实施例所述的辅助填表设备中,包括:
笔尖检测模块,用于如果确定填表区内当前放置有手写表单,则通过拍摄装置实时检测在填表区内出现的笔尖;
当前填表位置确定模块,用于根据所述笔尖的出现位置确定用户针对所述手写表单的当前填表位置;
填写提示信息展示模块,用于获取与所述当前填表位置对应的填写提示信息发送至填写提示装置进行展示。
第六方面,本发明实施例还提供了一种辅助填表装置,包括:
手写表单发放模块,用于根据用户发送的第一用户指令,向所述用户发放设定类型的手写表单;
填写提示信息提供模块,用于在所述用户的表单填写过程中,采用如本发明任意实施例所述的辅助填表方法,向所述用户提供填写提示信息;
手写表单收取模块,用于根据所述用户发送的第二用户指令,向所述用户收取填写完成的所述手写表单。
第七方面,本发明实施例还提供了一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明任一实施例所述的辅助填表方法。
本发明实施例提供了一种辅助填表设备、系统、方法、装置及存储介质,通过实时检测在填表区内出现的笔尖,并根据笔尖的出现位置确定笔尖在填表区内的笔尖位置坐标,在与填表区内当前放置的手写表单匹配的表单坐标映射关系中,获取与所述笔尖位置坐标匹配的目标手写输入框作为用户针对手写表单的当前填表位置的技术方案,可以实现在用户填写手写表单的过程中,实时确定用户的当前填表位置,进而可以根据用户不同的填表位置,对用户的填写内容进行有效提示,以缩短用户的手写表单填写时间,相应提高用户的表单填写效率。
附图说明
图1a是本发明实施例一中的一种辅助填表设备的结构示意图;
图1b是本发明实施例一中的一种摄像头设置位置的显示示意图;
图1c是本发明实施例一中的一种高拍仪设置位置显示示意图;
图1d是本发明实施例一中的一种投影仪以及投影区域设置位置的显示示意图;
图2是本发明实施例二中的一种辅助填表设备的结构示意图;
图3是本发明实施例三中的一种辅助填表系统的结构示意图;
图4a是本发明实施例四中的一种辅助填表方法的流程图;
图4b是本发明实施例四中的一种手写表单的手写输入框与填表区内对应坐标范围之间的映射关系示意图;
图5a是本发明实施例五中的一种辅助填表方法的流程图;
图5b是本发明实施例五中的一种手写表单与填表区之间偏转角的示意图;
图6a是本发明实施例六中的一种辅助填表方法的流程图;
图6b是本发明实施例六中的一种在填表区图像中识别出笔尖边缘点的流程示意图;
图7是本发明实施例七中的一种辅助填表方法的流程图;
图8是本发明实施例八中的一种辅助填表装置的结构图;
图9是本发明实施例九中的另一种辅助填表装置的结构图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
为了便于理解本发明实施例的内容,先介绍一下智能问答中的问答知识点以及语义表达式的相关概念进行简单介绍:
为了便于说明,首先对本发明实施例的应用场景进行简单介绍。本发明各实施例的方法主要适用于用户将需要手动填写相关内容的表单(也即,手写表单)放入辅助填表设备的填表区中,并在该填表区中对该手写表单进行填写。其中,填表区的区域大小一般与手写表单的大小相一致,或者,在填表区中标识有手写表单的放置区域,这样设置的原因是要预先建立手写表单中各点坐标与填表区中对应点的坐标的对应关系,以实现当通过拍摄装置在填表区中检测到用户用于进行书写的笔尖时,通过上述对应关系,可以将笔尖位置映射至手写表单中,进而在手写表单中各个手写输入框在手写表单中的位置均已知的情况下,准确确定出用户当前正在填写哪一个手写输入框,也即,确定出用户针对手写表单的当前填表位置。进而,辅助填表设备可以根据用户的当前填表位置,对用户进行有效的填表提示。
实施例一
图1a是本发明实施例一中提供的一种辅助填表设备的结构示意图。如图1a所示,辅助填表设备包括:填表台110、拍摄装置120、填写提示装置130,以及分别与拍摄装置120以及填写提示装置130相连的控制器140。
填表台110包括用于进行手写操作的平面1101(也即,如图1a中A、B、C以及D点围成的平面),在平面1101上设置有填表区1102,填表区1102用于放置手写表单。
需要说明的是,在图1a中示出的立方体形状的填表台仅作为一种示例,实际上,填表台可以根据实际需要的放置环境或者放置位置,设置为各种形状或者样式,本实施例对此并不进行限制。可选的,填表台的形状以方便用户在站立或者坐下的场景下,使用该填表区1102进行手写表单的填写为宜。其中,为了保证用户能够便捷的填写该表单,需要保证该填表台上设置有一个平面1101,并在该平面1101上设置有放置手写表单的填表区1102。平面1101可以为一个水平面,也可以为与水平面呈一定角度的平面,以方便用于手写为宜。
可选的,填表区的尺寸,与辅助填表设备中所适合填写的手写表单的尺寸相一致,或者,填表区的尺寸可以大于手写表单的尺寸,另外需要在填表区中标识有手写表单的放置区域。
拍摄装置120,用于拍摄与填表区1102匹配的图像。
在本实施例中,需要通过拍摄装置120实时拍摄与填表区1102匹配的图像,并根据该图像实时检测在填表区1102内出现的笔尖,进而根据笔尖检测结果,最终确定用户针对手写表单的当前填表位置。
可选的,拍摄装置120可以设置在辅助填表设备之上,并且该拍摄装置120的拍摄区域能够完整覆盖填表区1102,或者说能够完整覆盖填表区1102中放置有手写表单的区域位置,以实现对手写表单中出现的笔尖进行准确检测。
其中,拍摄装置120可以为摄像头,或者高拍仪,或者是上述两者的组合,以实现对填表区1102中的出现的笔尖进行准确检测。
作为示例而非限定,图1b是本发明实施例一中的一种摄像头设置位置的显示示意图,在本实施例中,摄像头通过L型支撑结构1201设置于填表区的上部,其中,L型支撑结构1201的长边的一端设置于填表台的平面上,例如,通过一体成型的方式设置于该平面上,或者也可以通过设置在该平面上的插接件,可拆卸的设置于该平面上。L型支撑结构1201的短边朝向填表区的一侧设置有摄像头1202。
其中,摄像头1202的拍摄区域(例如,如图1b中所示的E、H、G以及F点组成的近圆形平面)需要能够完整覆盖填表区,以实现对该填表区中出现的笔尖的准确捕捉。
作为示例而非限定,图1c是本发明实施例一中的一种高拍仪设置位置显示示意图。其中,高拍仪是一种市面上的成熟产品,通过在该高拍仪的底部放置待拍摄的内容,可以由该高拍仪提供的拍摄组件快速获取待拍摄内容的图像。相应的,在本实施例中,为了进一步简化辅助填表设备的实现复杂度,可以直接使用高拍仪1203作为辅助填表设备的拍摄装置120。
相应的,如图1c所示,高拍仪1203的底面与填表台的平面贴近设置,在高拍仪1203的底面上设置有填表区。
控制器140,用于如果确定填表区1102内当前放置有手写表单,则通过拍摄装置120实时检测在填表区1102内出现的笔尖,并根据笔尖的出现位置确定用户针对手写表单的当前填表位置,获取与当前填表位置对应的填写提示信息发送至填写提示装置130进行展示。
如前所述,需要预先建立有至少一个类型的手写表单与填表区内对应坐标范围之间的映射关系,相应的,在控制器140确定填表区内当前放置有手写表单时,可以根据放置的手写表单的类型(例如,取款用表单或者存款用表单等),获取匹配的表单坐标映射关系。其中,表单坐标映射关系中包括:手写表单的至少一个手写输入框与填表区内对应坐标范围之间的映射关系。
考虑到用户在手写填表的过程中,手写笔的笔尖在手写表单中的位置,即代表了用户针对手写表单的当前填表位置。相应的,通过使用拍摄装置120,实时拍摄填表区内的填表区图像,进而可以建立填表区图像中各个图像像素点与填表区中各个位置坐标点之间的映射关系。此时,在通过图像识别技术在实时拍摄的填表区图像中检测出笔尖时,可以根据笔尖图像在填表区图像中的图像坐标,以及上述填表区图像中各个图像像素点与填表区中各个坐标点之间的映射关系,计算笔尖在填表区内的笔尖位置坐标。
在获取笔尖在填表区内的笔尖位置坐标,以及手写表单的至少一个手写输入框与填表区内对应坐标范围之间的映射关系之后,可以便捷的确定出笔尖当前命中的手写输入框,进而可以将上述命中的手写输入框作为用户针对手写表单的当前填表位置。
填写提示装置130,用于展示接收到的填写提示信息。
在本实施例中,针对在用户手动填写表单的过程中,有时会因为对某些项目名称的不理解需要专门的服务人员进行指引填写,此外,用户有时还会因为对某些项目名称的理解有误而对某些项目内容进行了误填写,使得已经填写完成的表单作废的情况发生时,既延长了用户的表单填写时间,又增加了人工服务的成本,使得在包含手动填写表单的业务场景下,业务的办理效率低下。提出了在确定出用户当前填写的目标手写输入框后,根据不同的手写输入框,向用户提供不同类型的提示信息,以避免用户对当前需要填写的内容有疑惑或者有误解,以节约用户的填表时间。
相应的,通过在控制器140中预先建立手写输入框与对应填写提示信息之间的映射关系,可以在确定用户当前正在填写手写输入框后,将与该手写输入框对应的填写提示信息进行展示。
例如,如果确定用户当前正在填写与“政治面貌”对应的手写输入框,则可以将“中共党员以及群众中选择填写”这一对应的填写提示信息提供给用户。
可选的,可以在该辅助填表设备中,设置对应的语音播放装置(扬声器或者音响等)、显示屏或者投影装置,以对该填写提示信息进行展示。
可选的,填写提示装置包括下述一个或多个的组合:扬声器、显示屏以及投影仪;
所述扬声器,用于对填写提示信息进行语音播放;
所述显示屏,用于对填写提示信息进行屏幕显示;
所述投影仪,用于将填写提示信息在填表台中设定的投影区域内进行投影显示。
相应的,控制器140,分别与扬声器、显示屏或者投影仪相连。
其中,扬声器设置于该填表台110之上,可选的,扬声器的数量可以为1个或者多个,可以设置于填表台的一个或者多个外表面上。例如,设置于该平面1101之上,或者与该平面1101相邻的一个或者多个侧边上;
显示屏设置于该填表台110之上,可选的,显示屏可以内嵌于平面1101之内,且贴近填表区1102设置,以方便用户在填表过程无需抬头,可以直接查看相应的填写提示信息,或者,显示屏可以通过设定支撑结构设置于平面1101之上,且该显示屏朝向使用该填表台110的填表用户。
投影仪,设置于填表台110之上,且投影仪的投影区域设置于平面1101上,或者设置于填表台110中与平面1101相连的一个向上延伸面上。
在一个具体例子中,可以在如图1b的L型支撑结构的短边朝向填表区的位置,同时设置一个小型投影仪,该投影仪的投影区域在平面1101上,该投影区域与填表区具有全部或者部分的重叠,通过在该投影区域内显示填写提示信息,可以实现用户在填表过程中,无需抬头,即可便捷获取相应的填写提示信息的效果。
在另一个具体例子中,如图1d所示,在填表台110之上,还包括一个或者多个与平面1101相连的向上延伸面。相应的,可以在平面1101的一端(填表用户填表时所站位的一端)设置投影仪1204,该投影仪可以在填表用户填表时所朝向的一个延伸面上形成投影区域1205,并在该投影区域1205内显示对应的填写提示信息。
本发明实施例提供了一种辅助填表设备,通过拍摄装置、填写提示装置、以及分别与拍摄装置以及填写提示装置相连的控制器之间的共同配置,可以实现在用户填写手写表单的过程中,实时确定用户的当前填表位置,进而可以根据用户不同的填表位置,对用户的填写内容进行有效提示,以缩短用户的手写表单填写时间,相应提高用户的表单填写效率。
实施例二
图2是本发明实施例二中提供的一种辅助填表设备的结构示意图。如图2所示,辅助填表设备包括:填表台210、设置在填表台上的填表区220、控制器230、身份信息扫描部件240、打印部件250、打印出入口260、高拍仪270、显示屏280、麦克风290、扬声器2100以及通信模块2110。
其中,身份信息扫描部件240、打印部件250、打印出入口260、高拍仪270、显示屏280、麦克风290、扬声器2100以及通信模块2110分别与控制器230相连。其中,控制器230、打印部件250以及通信模块2110可以设置在该填表台210的内部或者外部(例如,外表面),本实施例对此并不进行限制。
填表台210包括用于进行手写操作的平面,在平面上设置有填表区220,填表区220用于放置手写表单;
高拍仪270,用于拍摄与填表区220匹配的图像;
控制器230,用于如果确定填表区220内当前放置有手写表单,则通过高拍仪270实时检测在填表区内出现的笔尖,并根据笔尖的出现位置确定用户针对手写表单的当前填表位置,获取与当前填表位置对应的填写提示信息发送至显示屏280进行显示,以及将填写提示信息发送至扬声器2100进行播放。
在本实施例中,同时选择显示屏280以及扬声器2100对填写提示信息进行展示,可以实现在嘈杂环境下或者针对一些具有听力或者视力障碍的人,也可以获取到填写提示信息,进一步扩展了本发明实施例技术方案的应用场景以及适用人群,进一步提高了用户的使用体验,以及方案的通用性及适用性。
在本实施例中,辅助填表设备还可以包括:身份信息扫描部件240、打印部件250以及打印出入口260,身份信息扫描部件240以及打印部件250分别与控制器230相连,打印部件250与打印出入口260相连。
身份信息扫描部件240,用于对用户贴近的身份认证物品(例如,身份证、户口本、医保卡或者驾照等包括有磁性存储区域的物品)进行识别,并将身份识别结果发送至控制器230。
打印部件250,与打印出入口260相连,用于对通过打印出入口260输入的待打印手写表单进行扫描,并将表单扫描结果提供给控制器230;接收控制器230发送的打印控制信息,并根据打印控制信息,对待打印手写表单进行打印并输出;
控制器230,用于根据接收的身份识别结果以及表单扫描结果生成打印控制信息,并将打印控制信息发送至打印部件250,打印控制信息用于控制打印部件250将与身份识别结果匹配的身份信息预先打印于待打印手写表单中。
通过上述设置,可以实现对用户的基本信息(例如,姓名,年龄或者身份证号等信息,)的获取,并提前打印至用户需要填写的手写表单内,以最大程度的减少用户需要手写的工作量,丰富了该辅助填表设备的功能,进一步节约了用户的填表时间。
在本实施例中,辅助填表设备还可以包括:麦克风290,麦克风290与控制器230相连;
麦克风290(例如,选择麦克风阵列)用于拾取用户的语音指令,并将语音指令发送至控制器230;
其中,麦克风290,设置于填表台之上,可以贴近该填表区设置,以方便用户在填表过程中直接发问而无需进行一定的姿态调整或者移动。例如,可以将麦克风290内嵌于该填表台中的平面内,或者设置在与该平面相连的一个或者多个向上延伸面之上。图2仅是对麦克风290的设置方式的一种示例。
控制器230,还用于:根据语音指令提取填表交互问题,并获取与填表交互问题匹配的填表交互答案;将填表交互答案发送至填写提示装置进行展示;
填写提示装置(也即,如图2中的显示屏280以及扬声器2100),还用于:展示接收到的填表交互答案。
具体的,可以进一步在用户填表过程中,接收用户主动提出的填表中遇到的问题(也即,填表交互问题),并基于该填表交互问题获取匹配的填表交互答案提供给用户。具体的,用户可以通过语音、手势或者文本输入等方式输入上述填表交互问题。基于该填表交互问题,可以通过本地搜索或者服务器查询或者转人工的方式,获取与填表交互问题匹配的填表交互答案,并将该填表交互答案通过语音播报、屏幕显示或者投影的方式提供给当前的填表用户。
这样设置的好处是:进一步缩短用户的手写表单填写时间,提高用户的表单填写效率。
在本实施例中,辅助填表设备还可以包括:通信模块2110,通信模块2110与控制器230相连;
控制器230具体用于:将填表交互问题通过通信模块发送至服务器,并通过通信模块接收服务器反馈的填表交互答案。
这样设置的好处是,可以减少服务填表设备本地的计算以及存储量,减少服务填表设备本地的计算量。
本发明实施例提供了一种辅助填表设备,通过各个硬件设备之间的共同配置,可以实现在用户填写手写表单的过程中,实时确定用户的当前填表位置,进而可以根据用户不同的填表位置,对用户的填写内容进行有效提示,以缩短用户的手写表单填写时间,相应提高用户的表单填写效率。
实施例三
图3是本发明实施例三中提供的一种辅助填表系统的结构示意图。图3所示,辅助填表系统包括:如本发明任一实施例的辅助填表设备310以及服务器320。
辅助填表设备310,包括:填表台3101、拍摄装置3102、填写提示装置3103,以及分别与拍摄装置3102以及填写提示装置3103相连的控制器3104;
填表台3101包括用于进行手写操作的平面,在平面上设置有填表区,填表区用于放置手写表单;
拍摄装置3102,用于拍摄与填表区匹配的图像;
控制器3104,用于如果确定填表区内当前放置有手写表单,则通过拍摄装置实时检测在填表区内出现的笔尖,并根据笔尖的出现位置确定用户针对手写表单的当前填表位置,获取与当前填表位置对应的填写提示信息发送至填写提示装置3103进行展示;
填写提示装置3103,用于展示接收到的填写提示信息。
辅助填表系统310还包括:麦克风3105以及通信模块3106,麦克风3105以及通信模块3106分别与控制器3104相连;服务器320以有线和/或无线的方式,与辅助填表设备310中的通信模块3106相连。
麦克风3105用于拾取用户的语音指令,并将语音指令发送至控制器3104;
控制器3104,还用于:将填表交互问题通过通信模块3106发送至服务器320,并通过通信模块3106接收服务器320反馈的填表交互答案;将填表交互答案发送至填写提示装置3103进行展示;
填写提示装置3103,还用于:展示接收到的填表交互答案;
服务器320,用于接收辅助填表设备中的控制器3104通过通信模块3106发送的填表交互问题,调用语义理解引擎获取与填表交互问题对应的填表交互答案,并将填表交互答案发送至辅助填表设备310的通信模块3106。
在本实施例中,服务器320中预先配置有语义理解引擎(问答系统),通过该语义理解引擎,服务器可以获取与填表交互问题匹配的填表交互答案并发送至辅助填表设备310的通信模块3106(例如,Wi-Fi模块或者移动通信模块(3G或者4G等)等),由通信模块3106发送至控制器3104进行后续处理。
本发明实施例提供的辅助填表系统,通过辅助填表设备与服务器的共同配合,可以实现在用户填写手写表单的过程中,实时确定用户的当前填表位置,并根据用户不同的填表位置,对用户的填写内容进行有效提示,以缩短用户的手写表单填写时间,相应提高用户的表单填写效率的同时,还可以实时根据用户提出的填表交互问题有针对性的反馈对应的填表交互答案,以进一步缩短用户的手写表单填写时间,提高用户的表单填写效率。
实施例四
图4a为本发明实施例四提供的一种辅助填表方法的流程图,本实施例可适用于本发明任意实施例所述的辅助填表设备在用户手写填表的过程中,对用户进行填表提示的情况,该方法可以由本发明实施例提供的辅助填表装置来执行,该装置可采用软件和/或硬件的方式实现,并一般可以集成在用于提供辅助填表服务的辅助填表设备中,典型的,集成于该辅助填表设备的控制器中。如图4a所示,本实施例的方法具体包括:
S410、如果确定填表区内当前放置有手写表单,则通过拍摄装置实时检测在填表区内出现的笔尖。
在本实施例中,通过拍摄装置实时获取的与填表区匹配的图像,实时检测在填表区内出现的笔尖。
在本实施例中,在确定填表区内当前放置有手写表单之后,还可以包括:获取与填表区内当前放置的手写表单匹配的表单坐标映射关系。
其中,表单坐标映射关系中包括:手写表单的至少一个手写输入框与填表区内对应坐标范围之间的映射关系。
在本实施例中,可以根据用户输入的表单填写指令或者其他表单填写指令确定填表区内当前放置有手写表单,或者,也可以通过实时拍摄填表区内的图像的方式,动态对填表区内当前放置的手写表单进行检测。
如前所述,需要预先建立有至少一个类型的手写表单与填表区内对应坐标范围之间的映射关系,相应的,在确定填表区内当前放置有手写表单时,可以根据放置的手写表单的类型(例如,取款用表单或者存款用表单等),获取匹配的表单坐标映射关系。其中,表单坐标映射关系中包括:手写表单的至少一个手写输入框与填表区内对应坐标范围之间的映射关系。
在图4b中示出了本发明实施例四中的一种的手写表单的手写输入框与填表区内对应坐标范围之间的映射关系示意图。如图4b所示,一种类型的手写表单中预先打印有多个项目名称,例如:“姓名”、“性别”以及“出生年月日”等。在每个项目名称的相邻位置,预留有需要用户手动填写相应内容的手写输入框(空白框)。在将该手写表单放置于填表区的设定位置后,就可以建立该手写表单中的各个手写输入框与填表区内对应坐标范围之间的映射关系。在图4b示例出与上述手写表单的左上角在填表区内对应的坐标值为(0,0),并相应确定与“姓名”相邻的手写输入框的左上角在填表区内对应的坐标值为(20,5),右下角在填表区内对应的坐标值为(40,15)。则与“姓名”对应的手写输入框在填表区内对应的坐标范围为:(20,5)-(40,15)。据此,可以相应建立一种类型的手写表单中全部手写输入框与填写区内对应坐标范围之间的映射关系。
S420、根据笔尖的出现位置确定用户针对手写表单的当前填表位置。
如前所述,由于预先获取与填表区内当前放置的手写表单匹配的表单坐标映射关系,在本实施例中,根据笔尖的出现位置确定用户针对手写表单的当前填表位置可以包括:根据笔尖的出现位置确定笔尖在填表区内的笔尖位置坐标;在坐标映射关系中,获取与笔尖位置坐标匹配的目标手写输入框作为用户针对手写表单的当前填表位置。
其中,考虑到用户在手写填表的过程中,手写笔的笔尖在手写表单中的位置,即代表了用户针对手写表单的当前填表位置。相应的,在本实施例中使用固定设置的拍摄装置(例如,摄像头或者高拍仪等),实时拍摄填表区内的填表区图像,进而可以建立填表区图像中各个图像像素点与填表区中各个位置坐标点之间的映射关系。此时,在通过图像识别技术在实时拍摄的填表区图像中检测出笔尖时,可以根据笔尖图像在填表区图像中的图像坐标,以及上述填表区图像中各个图像像素点与填表区中各个坐标点之间的映射关系,计算笔尖在填表区内的笔尖位置坐标。
在本实施例中,在获取笔尖在填表区内的笔尖位置坐标,以及手写表单的至少一个手写输入框与填表区内对应坐标范围之间的映射关系之后,可以便捷的确定出笔尖当前命中的手写输入框,进而可以将上述命中的手写输入框作为用户针对手写表单的当前填表位置。
在一个具体例子中,如果确定出的笔尖位置坐标为(37,7),上述笔尖位置坐标处于与“姓名”对应的手写输入框在填表区内对应的坐标范围,也即:(20,5)-(40,15)内。因此,可以确定出用户当前正在填写与“姓名”对应的手写输入框。
S430、获取与当前填表位置对应的填写提示信息发送至填写提示装置进行展示。
通过S410以及S420,可以简单、快捷且准确的确定出用户当前正在填写的手写输入框。相应的,可以预先建立全部(或者部分)手写输入框与对应的填写提示信息之间的映射关系。例如,仅建立用户易填错手写输入框,或者是会有疑问的手写输入框与对应填写提示信息之间的映射关系。
相应的,可以在用户填写至一个手写输入框时,对用户进行有效的语音或者图像提示,以减少用户提问、思考或者填错后重新填写所造成的时间消耗,大大提高了用户的表单填写效率。例如,如果确定用户当前正在填写与“政治面貌”对应的手写输入框,则将“中共党员以及群众中选择填写”这一填写提示信息提供给用户。
其中,填写提示装置包括下述一个或多个的组合:扬声器、显示屏以及投影仪;
所述扬声器,用于对填写提示信息进行语音播放;
所述显示屏,用于对填写提示信息进行屏幕显示;
所述投影仪,用于将填写提示信息在填表台中设定的投影区域内进行投影显示。
本发明实施例提供了一种辅助填表方法,通过实时检测在填表区内出现的笔尖,并根据笔尖的出现位置确定笔尖在填表区内的出现位置,根据笔尖的出现位置确定用户针对手写表单的当前填表位置的技术方案,可以实现在用户填写手写表单的过程中,实时确定用户的当前填表位置,并可以根据用户不同的填表位置,对用户的填写内容进行有效提示,以缩短用户的手写表单填写时间,相应提高用户的表单填写效率。
在上述各实施例的基础上,所述方法还可以包括:
如果通过拍摄装置检测到用户完成对手写表单的填写,则拍摄与填表区匹配的第三填表区图像;对第三填表区图像进行光学字符识别,并根据光学字符识别结果,生成用户填表信息;对用户填表信息进行信息预审,和/或信息化归档。
目前,业务办理机构虽然需要用户手写表单以完成相应的业务办理流程,但是,为了便于后续的存档以及管理,一般仍需要对手写表单进行电子化存档。相应的,在本实施例中,可以首先检测用户是否完成手写表单的填写,在确定用户填写完成后,对用户填写完成手写表单进行拍照,得到与填写完成的手写表单对应的第三填表区图像,并基于该第三填表区图像,分析确定用户基于该手写表单的填写内容。
具体的,确定用户是否完成对手写表单的填写的方式可以为:检测用户输入的结束填写指令,或者实时检测用户当前填写的手写输入框,如果确定用户填写至手写表单的最后一个手写输入框,则等待设定时长(例如:30s或者40s等)后,确定用户完成对手写表单的填写。
在本实施例中,在通过光学字符识别技术获取用户填表信息之后,可以通过设定的预设规则对上述信息中的部分信息进行预审,例如,确定与“年龄”这一字段对应的用户填表信息的取值范围为(1-130),则如果识别出针对该字段的用户填表信息不满足上述取值范围,则直接对上述内容进行异常标注。
通过上述信息预审,和/或信息化归档的操作,可以进一步扩展辅助填表设备的功能,减少人工处理手写表单的时间。
实施例五
图5a为本发明实施例五提供的一种辅助填表方法的流程图,本实施例以上述实施例为基础进行优化,在本实施例中,将获取与填表区内当前放置的手写表单匹配的表单坐标映射关系的操作进行具体化。相应的,本发明实施例的方法包括:
S510、实时拍摄与填表区匹配的第一填表区图像。
在本实施例中,通过实时拍摄与填表区匹配的第一填表区图像,确定该填表区内是否放置或者存在有手写表单。
可选的,可以通过在填表区上方设置的拍摄装置,实时获取第一填表区图像。
S520、判断根据第一填表区图像是否识别出填表区内存在有手写表单:若是,执行S530;否则,返回执行S510。
在本实施例中,可以预先在第一填表区图像中放置有手写表单,并相应拍摄多张图像作为标准图像,并根据上述多张标准图像,提取至少一个图像特征作为标准特征。相应的,在获取第一填表区图像后,可以将第一填表区图像的图像特征与上述标准特征进行比对,并根据比对结果确定填表区内是否存在有手写表单。
S530、对手写表单进行边缘检测,并获取检测出的目标边缘与标准线之间的偏转角。其中,标准线与填表区的一个边缘关联。
在本实施例中,为了进一步提高手写表单的当前填表位置的确定结果的准确性,发明人进一步考虑到手写表单偏离填表区的情况,以对最终结果进行有效修正。
其中,在图5b中示出了本发明实施例五中的一种手写表单与填表区之间偏转角的示意图。其中,通过边缘检测技术,可以确定出手写表单的目标边缘在第一填表区图像中的图像位置,并预先设定标准线在第一填表区图像中的图像位置,其中,标准线与目标边缘的位置,和/或方向相关联。通过将检测出的目标边缘与预设的标准线进行比对,可以进而确定出两者之间的偏转角,也即:角α。上述角α可以用来对后续计算得到的笔尖位置坐标进行修正。
S540、根据第一填表区图像,确定手写表单的表单类型。
可选的,可以直接获取用户手动输入的表单类型。此外,为了进一步降低用户的工作量,提高整个方法的智能型,在本实施例中可以自动完成对手写表单的表单类型的识别,并根据识别结果选取匹配的表单坐标映射关系。
可选的,可以针对不同类型的手写表单训练不同的表单类型识别模型,进而可以在获取拍摄有手写表单的第一填表区图像后,将上述第一填表区图像分别输入至上述表单类型识别模型中,并根据表单类型识别模型的输出结果,确定出手写表单的表单类型。
可选的,确定手写表单的表单类型还可以为:在第一填表区图像中,识别手写表单的表单轮廓;根据识别出的表单轮廓,确定与手写表单对应的表头区域;对表头区域进行光学字符识别,并根据光学字符识别结果确定手写表单的表单类型。
考虑到表单类型可以通过表头区域的文本内容进行简单、有效的识别确认。因此,可以通过轮廓识别技术首先在第一填表区图像中确定表单轮廓,并基于该表单轮廓确定表头区域。在确定出表头区域后,基于光学字符识别技术,在表头区域中识别出对应的表头文字,进而可以由该表头文字确定该手写表单的表单类型。
S550、获取与表单类型匹配的表单坐标映射关系,作为与填表区中当前放置的手写表单匹配的表单坐标映射关系。
在本实施例中,可以在本地预存与每个表单类型分别对应的表单坐标映射关系,并通过本地匹配的方式,获取与表单类型匹配的表单坐标映射关系;或者,获取与表单类型匹配的表单坐标映射关系的方式还可以为:将表单类型发送至服务器,并获取服务器反馈的与表单类型匹配的表单坐标映射关系。
其中,表单坐标映射关系中包括:手写表单的至少一个手写输入框与填表区内对应坐标范围之间的映射关系。
S560、实时检测在填表区内出现的笔尖,并根据笔尖的出现位置确定笔尖在填表区内的笔尖位置坐标。
S570、根据偏转角,对笔尖位置坐标进行坐标修正。
如前所述,表单坐标映射关系是指将手写表单完全映射至填表区后的坐标映射结果,或者说在上述表单坐标映射关系中,手写表单的目标边缘是与标准线相重合的。因此,在手写表单的目标边缘与标准线之间有偏转角α时,直接将笔尖位置坐标映射至表单坐标映射关系时,会存在相应的误差,因此,需要首先根据偏转角,对笔尖位置坐标进行坐标修正。具体修正方式为将上述笔尖位置坐标沿x轴,按照偏转角α的展开方向,旋转α后得到。
具体的,可以根据公式:计算笔尖位置坐标(x,y)的修正结果(x′,y′)。
S580、在坐标映射关系中,获取与笔尖位置坐标匹配的目标手写输入框作为用户针对手写表单的当前填表位置。
S590、获取与当前填表位置对应的填写提示信息发送至填写提示装置进行展示。
本发明实施例的技术方案通过对放置在填表区的手写表单进行边缘检测,并根据边缘检测结果确定手写表单偏离填表区的偏转角后,根据偏转角对确定的笔尖位置坐标进行修正,可以保证最终得到的当前填表位置更加准确。进而可以根据用户不同的填表位置,对用户的填写内容进行有效提示,以缩短用户的手写表单填写时间,相应提高用户的表单填写效率。
实施例六
图6a为本发明实施例六提供的一种辅助填表方法的流程图,本实施例以上述实施例为基础进行优化,在本实施例中,将实时检测在填表区内出现的笔尖,并根据笔尖的出现位置确定笔尖在填表区内的笔尖位置坐标的操作进行具体化。相应的,本发明实施例的方法包括:
S610、获取与填表区内当前放置的手写表单匹配的表单坐标映射关系。
其中,表单坐标映射关系中包括:手写表单的至少一个手写输入框与填表区内对应坐标范围之间的映射关系。
S620、实时拍摄与填表区匹配的第二填表区图像,并在第二填表区图像中进行笔尖检测。
S630、判断是否在第二填表区图像中检测到笔尖:若是,执行S640;否则,返回执行S620。
在本实施例中所谓的笔尖是指包括笔头以及笔头边缘点(实际用于手写的边缘点)笔尖区域。其中,可以预先构造与上述笔尖区域匹配的标准笔尖图像。通过将上述标准笔尖图像在第二填表区图像中进行比对,并根据比对结果,检测第二填表区图像中是否存在笔尖。
具体的,可以得到与第二填表区图像对应的图像矩阵,以及与标准笔尖图像对应的标准矩阵,通过将上述图像矩阵与标准矩阵之间进行卷积运算,可以根据运算结果中包括的矩阵元素的最大值,确定第二填表区图像中是否存在笔尖。
S640、在第二填表图像中获取笔尖检测区域,并在笔尖检测区域内确定笔尖边缘点。
在图6b中示出了一种在填表区图像中识别出笔尖边缘点的流程示意图。如图6b所示,在第二填表图像中检测到笔尖后,可以相应在第二填表图像中获取笔尖检测区域。通过在笔尖检测区域内进行边缘点,和/或极限点检测的方式,可以最终在笔尖检测区域内确定笔尖边缘点。
S650、根据笔尖边缘点在第二填表区图像中的图像坐标,以及图像坐标与填表区位置坐标之间的映射关系,获取与笔尖边缘点匹配的填表区坐标作为笔尖位置坐标。
在本实施例中,在第二填表区图像中确定出笔尖边缘点后的图像坐标后,基于图像坐标与填表区位置坐标之间的映射关系,可以最终获取与笔尖边缘点匹配的填表区坐标作为笔尖位置坐标。
S660、在坐标映射关系中,获取与笔尖位置坐标匹配的目标手写输入框作为用户针对手写表单的当前填表位置。
S670、获取与当前填表位置对应的填写提示信息发送至填写提示装置进行展示。
本发明实施例的技术方案通过实时拍摄与填表区匹配的第二填表区图像,在第二填表区图像中进行笔尖检测,在第二填表图像中获取笔尖检测区域,并在笔尖检测区域内确定笔尖边缘点的方式确定笔尖位置坐标的方式,可以进一步提高当前填表位置的确定结果的准确性。
实施例七
图7为本发明实施例七提供的一种辅助填表方法的流程图,本实施例可适用于本发明任意实施例所述的辅助填表设备在用户手写填表的过程中,对用户进行填表提示的情况,该方法可以由本发明实施例提供的辅助填表装置来执行,该装置可采用软件和/或硬件的方式实现,并一般可以集成在用于提供辅助填表服务的辅助填表设备中,典型的,集成于该辅助填表设备的控制器中。如图7所示,本实施例的方法具体包括:
S710、根据用户发送的第一用户指令,向用户发放设定类型的手写表单。
其中,第一用户指令可以是用户选择某一类型的手写表单所触发生成的指令,通过上述指令,可以直接确定用户所需类型的手写表单,并向用户相应发放对应类型的手写表单;第一用户指令还可以为用户选择办理某一类型业务(例如,存款或者取款等)所触发生成的指令,通过上述指令,可以根据业务类型与表单类型之间的对应关系,确定用户所需类型的手写表单,并向用户相应发放对应类型的手写表单。
S720、在用户的表单填写过程中,采用如本发明任意实施例所述的方法,向用户提供填写提示信息。
在本实施例中,采用本发明任意实施例所述的方法,实时确定用于针对手写表单的当前填表位置,并基于上述当前填表位置,对用户进行有效的填表提示。
S730、根据用户发送的第二用户指令,向用户收取填写完成的手写表单。
其中,第二用户指令可以为用户确认填表完成所触发生成的指令,或则用户填写至手写表单的最后一个手写输入框后所触发生成的指令,在检测到上述指令后,可以相应开启一个表单存放箱,并指示用户将已经填写完成的手写表单放入上述表单存放箱中,以向用户收取填写完成的手写表单。
本发明实施例的技术方案通过根据用户发送的第一用户指令,向用户发放设定类型的手写表单,在用户的表单填写过程中,采用如本发明任意实施例所述的方法,向用户提供填写提示信息,并根据用户发送的第二用户指令,向用户收取填写完成的手写表单的方式,可以实现通过填表提示设备完全自助式的实现手写表单的发放,辅助填表以及最终的表单回收等操作,无需任何工作人员的介入以及参与,对用户的填写内容进行有效提示的同时,进一步降低了人工成本,大大节约了人力资源的投入。
实施例八
图8为本发明实施例八提供的一种辅助填表装置的结构图。所述辅助填表装置应用于如本发明任意实施例所述的辅助填表设备中,如图8所示,所述装置包括:笔尖检测模块810、当前填表位置确定模块820以及填写提示信息展示模块830。其中:
笔尖检测模块810,用于如果确定填表区内当前放置有手写表单,则通过拍摄装置实时检测在填表区内出现的笔尖;
当前填表位置确定模块820,用于根据笔尖的出现位置确定用户针对手写表单的当前填表位置;
填写提示信息展示模块830,用于获取与当前填表位置对应的填写提示信息发送至填写提示装置进行展示。
本发明实施例提供了一种辅助填表装置,通过实时检测在填表区内出现的笔尖,并根据笔尖的出现位置确定笔尖在填表区内的出现位置,根据笔尖的出现位置确定用户针对手写表单的当前填表位置的技术方案,可以实现在用户填写手写表单的过程中,实时确定用户的当前填表位置,并可以根据用户不同的填表位置,对用户的填写内容进行有效提示,以缩短用户的手写表单填写时间,相应提高用户的表单填写效率。
在上述各实施例的基础上,所述装置还可以包括:
表单坐标映射关系获取模块,用于在确定填表区内当前放置有手写表单之后,获取与填表区内当前放置的手写表单匹配的表单坐标映射关系;
其中,表单坐标映射关系中包括:手写表单的至少一个手写输入框与填表区内对应坐标范围之间的映射关系;
相应的,当前填表位置确定模块820,可以具体包括:
笔尖位置坐标确定单元,用于根据笔尖的出现位置确定笔尖在填表区内的笔尖位置坐标;
目标手写输入框获取单元,用于在坐标映射关系中,获取与笔尖位置坐标匹配的目标手写输入框作为用户针对手写表单的当前填表位置。
在上述各实施例的基础上,表单坐标映射关系获取模块,可以具体包括:
表单类型确定单元,用于根据第一填表区图像,确定手写表单的表单类型,其中,第一填表区图像为拍摄装置实时拍摄的,且被识别出填表区内当前放置有手写表单的图像;
映射关系获取单元,用于获取与表单类型匹配的表单坐标映射关系,作为与填表区中当前放置的手写表单匹配的表单坐标映射关系。
在上述各实施例的基础上,表单类型确定单元可以具体用于:在填表区图像中,识别手写表单的表单轮廓;
根据识别出的表单轮廓,确定与手写表单对应的表头区域;
对表头区域进行光学字符识别,并根据光学字符识别结果确定手写表单的表单类型。
在上述各实施例的基础上,映射关系获取单元,可以具体用于:
将表单类型发送至服务器,并获取服务器反馈的与表单类型匹配的表单坐标映射关系。
在上述各实施例的基础上,笔尖位置坐标确定单元,可以具体用于:
获取第二填表区图像,第二填表区图像为拍摄装置实时拍摄的,且被检测出笔尖的图像;
在第二填表图像中获取笔尖检测区域,并在笔尖检测区域内确定笔尖边缘点;
根据笔尖边缘点在第二填表区图像中的图像坐标,以及图像坐标与填表区位置坐标之间的映射关系,获取与笔尖边缘点匹配的填表区坐标作为笔尖位置坐标。
在上述各实施例的基础上,所述装置还可以包括:
偏转角检测单元,用于在确定填表区内当前放置有手写表单之后,对手写表单进行边缘检测,并获取检测出的目标边缘与标准线之间的偏转角,标准线与填表区的一个边缘关联;
相应的,所述装置还可以包括:坐标修正模块,用于在根据笔尖的出现位置确定笔尖在填表区内的笔尖位置坐标之后,根据偏转角,对笔尖位置坐标进行坐标修正。
在上述各实施例的基础上,所述装置还可以包括,后处理模块,用于:
如果通过拍摄装置检测到用户完成对手写表单的填写,则拍摄与填表区匹配的第三填表区图像;
对第三填表区图像进行光学字符识别,并根据光学字符识别结果,生成用户填表信息;
对用户填表信息进行信息预审,和/或信息化归档。
在上述各实施例的基础上,还可以包括,预打印模块,用于:
接收的身份信息扫描模块识别的身份识别结果,以及打印部件对待打印手写表单扫描得到的表单扫描结果;
根据身份识别结果以及表单扫描结果生成打印控制信息,并将打印控制信息发送至打印部件,打印控制信息用于控制打印部件将与身份识别结果匹配的身份信息预先打印于待打印手写表单中。
在上述各实施例的基础上,还可以包括:
填表交互问题提取模块,用于接收麦克风拾取的语音指令,并根据语音指令提取填表交互问题;
填表交互答案获取模块,用于获取与填表交互问题匹配的填表交互答案;
填表交互答案展示模块,用于将填表交互答案发送至填写提示装置进行展示。
在上述各实施例的基础上,填表交互答案获取模块可以具体用于:
将填表交互问题通过通信模块发送至服务器,并通过通信模块接收服务器反馈的填表交互答案。
本发明实施例所提供的辅助填表装置可执行本发明任意实施例所提供的辅助填表方法,具备执行方法相应的功能模块和有益效果。
实施例九
图9为本发明实施例九提供的一种辅助填表装置的结构图。所述辅助填表装置应用于如本发明任意实施例所述的辅助填表设备中,如图9所示,所述装置包括:手写表单发放模块910、填写提示信息提供模块920以及手写表单收取模块930,其中:
手写表单发放模块910,用于根据用户发送的第一用户指令,向用户发放设定类型的手写表单;
填写提示信息提供模块920,用于在用户的表单填写过程中,采用如本发明任意实施例辅助填表方法,向用户提供填写提示信息;
手写表单收取模块930,用于根据用户发送的第二用户指令,向用户收取填写完成的手写表单。
本发明实施例的技术方案通过根据用户发送的第一用户指令,向用户发放设定类型的手写表单,在用户的表单填写过程中,采用如本发明任意实施例所述的方法,向用户提供填写提示信息,并根据用户发送的第二用户指令,向用户收取填写完成的手写表单的方式,可以实现通过填表提示设备完全自助式的实现手写表单的发放,辅助填表以及最终的表单回收等操作,无需任何工作人员的接入以及参与,对用户的填写内容进行有效提示,缩短用户的手写表单填写时间,提高用户的表单填写效率的同时,进一步降低了人工成本,大大节约了人力资源的投入。
本发明实施例所提供的辅助填表装置可执行本发明任意实施例所提供的辅助填表方法,具备执行方法相应的功能模块和有益效果。
实施例十
本发明实施例十提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请所有发明实施例提供的辅助填表方法:
也即:该程序被处理器执行时实现:如果确定填表区内当前放置有手写表单,则通过拍摄装置实时检测在填表区内出现的笔尖;根据笔尖的出现位置确定用户针对手写表单的当前填表位置;获取与当前填表位置对应的填写提示信息发送至填写提示装置进行展示。
或者,该程序被处理器执行时实现如本申请所有发明实施例提供的辅助填表方法:
也即:该程序被处理器执行时实现:根据用户发送的第一用户指令,向用户发放设定类型的手写表单;
在用户的表单填写过程中,采用如本发明任意实施例所述的方法,向用户提供填写提示信息;
根据用户发送的第二用户指令,向用户收取填写完成的手写表单。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (22)

1.一种辅助填表设备,其特征在于,包括:填表台、拍摄装置、填写提示装置,以及分别与所述拍摄装置以及所述填写提示装置相连的控制器;
所述填表台包括用于进行手写操作的平面,在所述平面上设置有填表区,所述填表区用于放置手写表单;
所述拍摄装置,用于拍摄与所述填表区匹配的图像;
所述控制器,用于如果确定所述填表区内当前放置有手写表单,则通过所述拍摄装置实时检测在填表区内出现的笔尖,并根据所述笔尖的出现位置确定用户针对所述手写表单的当前填表位置,获取与所述当前填表位置对应的填写提示信息发送至所述填写提示装置进行展示;
所述填写提示装置,用于展示接收到的所述填写提示信息。
2.根据权利要求1所述的设备,其特征在于,还包括:身份信息扫描部件、打印部件以及打印出入口,所述身份信息扫描部件以及所述打印部件分别与所述控制器相连,所述打印部件与所述打印出入口相连;
所述身份信息扫描部件,用于对用户贴近的身份认证物品进行识别,并将身份识别结果发送至所述控制器;
所述打印部件,用于对通过所述打印出入口输入的待打印手写表单进行扫描,并将表单扫描结果提供给所述控制器;接收所述控制器发送的打印控制信息,并根据所述打印控制信息,对待打印手写表单进行打印并输出;
所述控制器,用于根据接收的所述身份识别结果以及所述表单扫描结果生成打印控制信息,并将所述打印控制信息发送至所述打印部件,所述打印控制信息用于控制所述打印部件将与所述身份识别结果匹配的身份信息预先打印于所述待打印手写表单中。
3.根据权利要求1所述的设备,其特征在于,所述拍摄装置包括:摄像头,和/或高拍仪;
所述摄像头通过L型支撑结构设置于所述填表区的上部,其中,所述L型支撑结构的长边的一端设置于所述填表台的平面上,所述L型支撑结构的短边朝向所述填表区的一侧设置有所述摄像头;
所述高拍仪的底面与所述填表台的平面贴近设置,在所述高拍仪的底面上设置有所述填表区。
4.根据权利要求1所述的设备,其特征在于,所述填写提示装置包括下述一个或多个的组合:扬声器、显示屏以及投影仪;
所述扬声器,用于对所述填写提示信息进行语音播放;
所述显示屏,用于对所述填写提示信息进行屏幕显示;
所述投影仪,用于将所述填写提示信息在所述填表台中设定的投影区域内进行投影显示。
5.根据权利要求1-4中任一项所述的设备,其特征在于,还包括:麦克风,所述麦克风与所述控制器相连;
所述麦克风用于拾取用户的语音指令,并将所述语音指令发送至所述控制器;
所述控制器,还用于:根据所述语音指令提取填表交互问题,并获取与所述填表交互问题匹配的填表交互答案;将所述填表交互答案发送至所述填写提示装置进行展示;
所述填写提示装置,还用于:展示接收到的所述填表交互答案。
6.根据权利要求5所述的设备,其特征在于,还包括:通信模块,所述通信模块与所述控制器相连;
所述控制器具体用于:将所述填表交互问题通过所述通信模块发送至服务器,并通过所述通信模块接收所述服务器反馈的所述填表交互答案。
7.一种辅助填表系统,其特征在于,包括:如权利要求1所述的辅助填表设备以及服务器;
所述辅助填表系统还包括:麦克风以及通信模块,所述麦克风以及所述通信模块分别与所述控制器相连;所述服务器以有线和/或无线的方式,与所述辅助填表设备中的通信模块相连;
所述麦克风用于拾取用户的语音指令,并将所述语音指令发送至所述控制器;
所述控制器,还用于:将所述填表交互问题通过所述通信模块发送至服务器,并通过所述通信模块接收所述服务器反馈的所述填表交互答案;将所述填表交互答案发送至所述填写提示装置进行展示;
所述填写提示装置,还用于:展示接收到的所述填表交互答案;
所述服务器,用于接收所述辅助填表设备中的控制器通过所述通信模块发送的填表交互问题,调用语义理解引擎获取与所述填表交互问题对应的填表交互答案,并将所述填表交互答案发送至所述辅助填表设备的所述通信模块。
8.一种辅助填表方法,应用于如权利要求1-6任一项所述的辅助填表设备中,其特征在于,包括:
如果确定填表区内当前放置有手写表单,则通过拍摄装置实时检测在填表区内出现的笔尖;
根据所述笔尖的出现位置确定用户针对所述手写表单的当前填表位置;
获取与所述当前填表位置对应的填写提示信息发送至填写提示装置进行展示。
9.根据权利要求8所述的方法,其特征在于,在确定填表区内当前放置有手写表单之后,还包括:
获取与填表区内当前放置的手写表单匹配的表单坐标映射关系;
其中,所述表单坐标映射关系中包括:所述手写表单的至少一个手写输入框与所述填表区内对应坐标范围之间的映射关系;
根据所述笔尖的出现位置确定用户针对所述手写表单的当前填表位置,包括:
根据所述笔尖的出现位置确定所述笔尖在所述填表区内的笔尖位置坐标;
在所述坐标映射关系中,获取与所述笔尖位置坐标匹配的目标手写输入框作为用户针对所述手写表单的当前填表位置。
10.根据权利要求9所述的方法,其特征在于,获取与填表区内当前放置的手写表单匹配的表单坐标映射关系,包括:
根据第一填表区图像,确定所述手写表单的表单类型,其中,所述第一填表区图像为所述拍摄装置实时拍摄的,且被识别出填表区内当前放置有手写表单的图像;
获取与所述表单类型匹配的表单坐标映射关系,作为与填表区中当前放置的手写表单匹配的表单坐标映射关系。
11.根据权利要求10所述的方法,其特征在于,根据所述第一填表区图像,确定所述手写表单的表单类型,包括:
在所述填表区图像中,识别所述手写表单的表单轮廓;
根据识别出的所述表单轮廓,确定与所述手写表单对应的表头区域;
对所述表头区域进行光学字符识别,并根据光学字符识别结果确定所述手写表单的表单类型。
12.根据权利要求10所述的方法,其特征在于,获取与所述表单类型匹配的表单坐标映射关系,包括:
将所述表单类型发送至服务器,并获取所述服务器反馈的与所述表单类型匹配的表单坐标映射关系。
13.根据权利要求12所述的方法,其特征在于,根据所述笔尖的出现位置确定所述笔尖在所述填表区内的笔尖位置坐标,包括:
获取第二填表区图像,所述第二填表区图像为所述拍摄装置实时拍摄的,且被检测出笔尖的图像;
在所述第二填表图像中获取笔尖检测区域,并在所述笔尖检测区域内确定笔尖边缘点;
根据所述笔尖边缘点在所述第二填表区图像中的图像坐标,以及图像坐标与填表区位置坐标之间的映射关系,获取与所述笔尖边缘点匹配的填表区坐标作为所述笔尖位置坐标。
14.根据权利要求9-13任一项所述的方法,其特征在于,在确定填表区内当前放置有手写表单之后,还包括:
对所述手写表单进行边缘检测,并获取检测出的目标边缘与标准线之间的偏转角,所述标准线与所述填表区的一个边缘关联;
在根据所述笔尖的出现位置确定所述笔尖在所述填表区内的笔尖位置坐标之后,还包括:
根据所述偏转角,对所述笔尖位置坐标进行坐标修正。
15.根据权利要求12所述的方法,其特征在于,还包括:
如果通过所述拍摄装置检测到用户完成对所述手写表单的填写,则拍摄与所述填表区匹配的第三填表区图像;
对所述第三填表区图像进行光学字符识别,并根据光学字符识别结果,生成用户填表信息;
对所述用户填表信息进行信息预审,和/或信息化归档。
16.根据权利要求8所述的方法,其特征在于,还包括:
接收的身份信息扫描模块识别的身份识别结果,以及打印部件对待打印手写表单扫描得到的表单扫描结果;
根据所述身份识别结果以及所述表单扫描结果生成打印控制信息,并将所述打印控制信息发送至所述打印部件,所述打印控制信息用于控制所述打印部件将与所述身份识别结果匹配的身份信息预先打印于所述待打印手写表单中。
17.根据权利要求8所述的方法,其特征在于,还包括:
接收麦克风拾取的语音指令,并根据所述语音指令提取填表交互问题;
获取与所述填表交互问题匹配的填表交互答案;
将所述填表交互答案发送至所述填写提示装置进行展示。
18.根据权利要求17所述的方法,其特征在于,获取与所述填表交互问题匹配的填表交互答案,包括:
将所述填表交互问题通过通信模块发送至服务器,并通过所述通信模块接收所述服务器反馈的所述填表交互答案。
19.一种辅助填表方法,其特征在于,包括:
根据用户发送的第一用户指令,向所述用户发放设定类型的手写表单;
在所述用户的表单填写过程中,采用如权利要求8-18任一项所述的方法,向所述用户提供填写提示信息;
根据所述用户发送的第二用户指令,向所述用户收取填写完成的所述手写表单。
20.一种辅助填表装置,应用于如权利要求1-6任一项所述的辅助填表设备中,其特征在于,包括:
笔尖检测模块,用于如果确定填表区内当前放置有手写表单,则通过拍摄装置实时检测在填表区内出现的笔尖;
当前填表位置确定模块,用于根据所述笔尖的出现位置确定用户针对所述手写表单的当前填表位置;
填写提示信息展示模块,用于获取与所述当前填表位置对应的填写提示信息发送至填写提示装置进行展示。
21.一种辅助填表装置,其特征在于,包括:
手写表单发放模块,用于根据用户发送的第一用户指令,向所述用户发放设定类型的手写表单;
填写提示信息提供模块,用于在所述用户的表单填写过程中,采用如权利要求8-18任一项所述的方法,向所述用户提供填写提示信息;
手写表单收取模块,用于根据所述用户发送的第二用户指令,向所述用户收取填写完成的所述手写表单。
22.一种计算机存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求8-18中任一所述的辅助填表方法,或者,实现如权利要求19所述的辅助填表方法。
CN201811630101.1A 2018-12-28 2018-12-28 辅助填表设备、系统、方法、装置及存储介质 Pending CN109684623A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811630101.1A CN109684623A (zh) 2018-12-28 2018-12-28 辅助填表设备、系统、方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811630101.1A CN109684623A (zh) 2018-12-28 2018-12-28 辅助填表设备、系统、方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN109684623A true CN109684623A (zh) 2019-04-26

Family

ID=66190993

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811630101.1A Pending CN109684623A (zh) 2018-12-28 2018-12-28 辅助填表设备、系统、方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN109684623A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110889341A (zh) * 2019-11-12 2020-03-17 广州供电局有限公司 基于ai的表单图像识别方法、装置、计算机设备和存储介质
CN112379818A (zh) * 2020-11-12 2021-02-19 平安普惠企业管理有限公司 信息提示方法、装置及存储介质
CN113761849A (zh) * 2020-06-15 2021-12-07 北京沃东天骏信息技术有限公司 一种填写文档的提示方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101506802A (zh) * 2006-07-14 2009-08-12 埃森哲环球服务有限公司 用于监控远程表单填写的系统、方法和计算机程序产品
CN103544136A (zh) * 2012-07-09 2014-01-29 上海博路信息技术有限公司 一种表单自动录入方法
US20160048494A1 (en) * 2014-08-14 2016-02-18 Alibaba Group Holding Limited Form filling method and related terminal
CN205334474U (zh) * 2015-12-31 2016-06-22 广东金赋信息科技有限公司 一种电子表单终端填表装置
CN206133809U (zh) * 2016-09-13 2017-04-26 万达信息股份有限公司 政务服务自助终端设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101506802A (zh) * 2006-07-14 2009-08-12 埃森哲环球服务有限公司 用于监控远程表单填写的系统、方法和计算机程序产品
CN103544136A (zh) * 2012-07-09 2014-01-29 上海博路信息技术有限公司 一种表单自动录入方法
US20160048494A1 (en) * 2014-08-14 2016-02-18 Alibaba Group Holding Limited Form filling method and related terminal
CN205334474U (zh) * 2015-12-31 2016-06-22 广东金赋信息科技有限公司 一种电子表单终端填表装置
CN206133809U (zh) * 2016-09-13 2017-04-26 万达信息股份有限公司 政务服务自助终端设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110889341A (zh) * 2019-11-12 2020-03-17 广州供电局有限公司 基于ai的表单图像识别方法、装置、计算机设备和存储介质
CN113761849A (zh) * 2020-06-15 2021-12-07 北京沃东天骏信息技术有限公司 一种填写文档的提示方法和装置
CN112379818A (zh) * 2020-11-12 2021-02-19 平安普惠企业管理有限公司 信息提示方法、装置及存储介质

Similar Documents

Publication Publication Date Title
EP3373202B1 (en) Verification method and system
US8264325B2 (en) Biometric authentication apparatus and biometric data registration apparatus
CN109684623A (zh) 辅助填表设备、系统、方法、装置及存储介质
CN105518708A (zh) 用于验证活体人脸的方法、设备和计算机程序产品
WO2018076622A1 (zh) 图像处理方法、装置及终端
JP2001216386A (ja) 化粧支援装置
CN111597938A (zh) 活体检测、模型训练方法及装置
CN109274883A (zh) 姿态矫正方法、装置、终端及存储介质
CN109117753A (zh) 部位识别方法、装置、终端及存储介质
US20190125492A1 (en) Image simulation method for orthodontics and image simulation device thereof
CN112669422B (zh) 仿真3d数字人生成方法、装置、电子设备及存储介质
US20230251745A1 (en) Systems and methods for providing on-screen virtual keyboards
US12014829B2 (en) Image processing and presentation techniques for enhanced proctoring sessions
CN111182387B (zh) 一种学习互动方法及智能音箱
CN109739353A (zh) 一种基于手势、语音、视线追踪识别的虚拟现实交互系统
US11436439B2 (en) System and method for generating label candidates related to recognition target for selection and learning
JP2000259834A (ja) 人物認識装置における登録装置及びその方法
CN110400119A (zh) 基于人工智能的面试方法、装置、计算机设备和存储介质
CN109492212A (zh) 辅助填表设备、系统、方法、装置及存储介质
CN209514619U (zh) 辅助填表设备及系统
CN112785741B (zh) 签到系统和方法、计算机设备和存储设备
CN114363547A (zh) 一种双录装置、双录交互控制方法
CN109986553B (zh) 一种主动交互的机器人、系统、方法及存储装置
CN111258410B (zh) 一种人机交互设备
CN112153269A (zh) 应用于电子设备的图片显示方法、装置、介质与电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190426

RJ01 Rejection of invention patent application after publication