CN107085734A - 智能业务受理机器人 - Google Patents

智能业务受理机器人 Download PDF

Info

Publication number
CN107085734A
CN107085734A CN201710371170.4A CN201710371170A CN107085734A CN 107085734 A CN107085734 A CN 107085734A CN 201710371170 A CN201710371170 A CN 201710371170A CN 107085734 A CN107085734 A CN 107085734A
Authority
CN
China
Prior art keywords
list
robot
image
service
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710371170.4A
Other languages
English (en)
Inventor
邾明明
朱亚鸽
徐文华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANJING SINO-DEVICE TECHNOLOGY Inc
Original Assignee
NANJING SINO-DEVICE TECHNOLOGY Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANJING SINO-DEVICE TECHNOLOGY Inc filed Critical NANJING SINO-DEVICE TECHNOLOGY Inc
Priority to CN201710371170.4A priority Critical patent/CN107085734A/zh
Publication of CN107085734A publication Critical patent/CN107085734A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种智能业务受理机器人，包括机器人本体，所述机器人本体胸部上具有触摸屏的操作平台，包括机器人本体内部由业务资料图像采集处理模块、表单图像识别检测模块、语音交互识别模块、模板库、营销应用网络和机器人业务系统装置共同构成，所述机器人业务系统装置基于J2EE分布式体系架构，B/S模式；所述机器人本体腰部及头顶部位分别安装有高清摄像机进行图像采集；所述业务资料图像采集处理模块接受所述高清摄像机采集的客户纸质表单资料识别并上传至所述营销应用网络存档备份，建立客户档案库并联网管理。本发明是为电力营业厅量身打造的业务受理服务机器人，具有自助服务的标准化、低成本、便利性的特点。

Description

智能业务受理机器人
技术领域
本发明涉及电能电网领域，具体而言，尤其是涉及智能电网供电营业厅中的智能机器人。
背景技术
现有营业厅正面临着日益增大、新业务推广和VIP客户差异化服务需求的压力和挑战。大量流程化、标准化、低附加值的基础服务如缴费、基本业务办理、信息查询等占用了绝大多数营业资源，严重限制了各种新业务推广能力。
发明内容
针对现有技术中存在的问题，本发明的目的是设计一种业务受理机器人，它是为电力营业厅量身打造的业务受理服务机器人。自助服务的标准化、低成本、便利性的特点，使其成为分流、承担基础服务的最佳选择。
为了实现上述发明目的，本发明采用的技术方案为：一种智能业务受理机器人，其特征在于：包括机器人本体，所述机器人本体胸部上具有触摸屏的操作平台，包括机器人本体内部由业务资料图像采集处理模块、表单图像识别检测模块、语音交互识别模块、模板库、营销应用网络和机器人业务系统装置共同构成，所述机器人业务系统装置基于J2EE分布式体系架构，B/S模式；
所述机器人本体腰部及头顶部位分别安装有高清摄像机进行图像采集；所述业务资料图像采集处理模块接受所述高清摄像机采集的客户纸质表单资料识别并上传至所述营销应用网络存档备份，建立客户档案库并联网管理；
所述表单图像识别检测模块，图像检测通过分析纸质表单上面的局部特征实现，要求被识别表单具有一定的纹理图案，以便在图像处理中能够提取到足够的局部特征；所述纸质表单具有一定的纹理图案，在目标图像中提取局部特征点，并且这些特征点在视角变化的情况下仍然能被提取到；对提取到的特征点计算描述向量，该描述向量在视角变化的情况下具有一定的不变性；表单的检测通过对特征点的匹配实现；
所述表单图像识别检测模块对输入的图像进行处理，检测图像中存在的表单，并标示出表单出现的位置及区域；所述表单图像识别检测模块基于Harr特征及Adaboost检测算法实现，该算法是对大量的表单样本与不含表单的样本进行处理，提取Harr特征，并训练以单个Harr特征为输入的弱分类器，最后利用Adaboost算法将弱分类器进行组合，实现对表单的强检测。
所述机器人业务系统装置通过所述表单图像识别检测模块从输入图像中找到表单图像区域，对于检测到的表单和模板库中的表单进行预处理，先通过几处特定特征模版，通过模版匹配方法寻找图像中的特定特征位置，在找到特定特征位置后，按照特定特征距离计算对表单图像进行规整；规整后通过提取尺度不变特征变换SIFI的特征点并计算特征点的描述向量，一方面构成识别模版库，另一方面将待识别表单图像和模板库进行特征点匹配，实现表单的识别；所述机器人业务系统装置通过摄像头把印刷体或手写体文稿扫描成图像，然后通过识光学字符识别OCR技术别成计算机可直接处理的字符。
所述语音交互识别模块，通过对语音信号进行预处理和分析计算可抽取出所需的语音特征，并以此建立语音识别所需的模板库；当对语音进行识别时，则将系统中存放的语音模板与输入的语音信号的特征进行比较，并根据一定的算法和策略，找出一系列最优的与输入的语音匹配的模板，最后输出识别结果。
有益效果：本发明具有自助服务的标准化、低成本、便利性的特点，智能业务受理机器人使其成为分流、承担基础服务的最佳选择。
附图说明
图1，本发明实施例的业务受理流程图。
图2，本发明实施例的机器人业务系统网络接入图。
图3，本发明实施例的图像检测流程图。
图4，本发明实施例的表单图像识别流程图。
图5，本发明实施例的语音识别的训练图。
图6，本发明实施例的语音识别的处理流程图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。
本实施例的智能业务受理机器人为电力营业厅量身打造的业务受理服务机器人。以机器人胸口的触摸屏为操作平台，使用了图像、语音、视频等各种多媒体手段相结合的方式，提供了电量电费查询、广告播放、业务办理，电力法规宣传，用电常识，二代身份证识别，现金缴费、电费发票自助打印，形成一套完整电力自助服务的解决方案。业务系统模块如表5-1所示。
基于电力营业厅应用环境的业务受理机器人设计业务受理流程如图1所示，本实施例的业务受理流程图。
机器人上整个业务系统基于J2EE分布式体系架构，B/S模式，J2EE的本质及核心就是为了达到平台无关性的要求，本系统能运行在Windows、Unix、Linux等操作系统上，使得系统的延伸能力得到强有力的保证；同时摒弃了传统的C/S系统方案，采用B/S模式，开发、维护等几乎所有工作也都集中在服务器端，当企业对网络应用进行升级时，只需更新服务器端的软件就可以，这减轻了异地用户系统维护与升级的成本。
机器人业务系统网络接入如图2所示。
业务资料图像采集处理模块。
在机器人业务系统的“业务办理”功能模块中，许多业务需要客户提供必要的表单资料，机器人需要通过视觉技术识別客户资料并上传至营销应用网络存档备份，建立客户档案库并联网管理。
表单识别时，机器人需要完成以下两个工作：
(1)检测摄像头采集到的图像，并与模板库对比，确认表单类表。
(2)识别关键区域客户填写信息。
机器视觉是智能业务受理机器人环境感知与业务受理的一个部分。作为业务机器人，为了完成一些具体的表单录入业务，机器人必须要能够识别环境中特定的业务表单。
机器视觉的主要任务就是采用图像处理的手段来实现上述需求。总体而言，机器视觉部分的主要功能可以划分为两个部分，即表单图像识别检测及字符识别。机器视觉部分的传感器为分别配置在机器人腰部及头顶部位的两台摄像机，采用高清摄像头进行图像采集。
表单图像识别检测模块。
表单图像识别检测模块通过分析纸质表单上面的局部特征实现，这要求被识别表单具有一定的纹理图案，以便在图像处理中能够提取到足够的局部特征。
检测方法的主要思路为：目标表单具有一定的纹理图案，于是可以在目标图像中提取局部特征点，并且这些特征点在视角变化的情况下仍然能被提取到；对提取到的特征点计算描述向量，该描述向量在视角变化的情况下具有一定的不变性；于是表单的检测可以通过对特征点的匹配实现。整个检测的流程如图3所示，本实施例的图像检测流程图。
表单图像识别检测模块对输入的图像进行处理，检测图像中存在的表单，并标示出表单出现的位置及区域。检测模块基于Harr特征及Adaboost检测算法实现，该算法的思路是对大量的表单样本与不含表单的样本进行处理，提取Harr特征，并训练以单个Harr特征为输入的弱分类器，最后利用Adaboost算法将弱分类器进行组合，实现对表单的强检测。
表单识别的具体流程如图4所示。
由于设计了表单图像识别检测模块，系统可以从输入图像中找到表单图像区域。对于检测到的表单和模板库中的表单都进行了预处理，先通过几处特定特征模版，通过模版匹配方法寻找图像中的特定特征位置(如企业LOGO等)，在找到特定特征位置后，按照特定特征距离计算对表单图像进行规整。规整后通过提取SIFI(Scale Invariant FeatureTransform，尺度不变特征变换)特征点并计算特征点的描述向量，一方面构成识别模版库，另一方面将待识别表单图像和模板库进行特征点匹配，实现表单的识别。
本识别算法的特点在于识别速率较高，其原因有两个方面；一是图像为单样本库，在相同识别目标数的情况下，需要匹配的特征点数要少；二是进行了图像检测，仅对表单区域内的特征进行匹配，可以在光照变化，复杂背景下实现了对表单图像的识别。
机器人将客户提供表单检测认定后，下一步就需要把客户填写的相关信息通过图像处理提交给业务系统，以便业务办理与信息存档。
OCR(Optical Character Recognition，光学字符识别)技术，是通过摄像头把印刷体或手写体文稿扫描成图像，然后识别成计算机可直接处理的字符。
语音交互识别模块。
在机器人业务系统的＂业务办理＂功能模块中，许多业务办理可以通过语音的方式，采用人机交互进行办理。
语音识别原理。
语音识别的过程可归结为模式识别和匹配。通过对语音信号进行预处理和分析计算可抽取出所需的语音特征，并以此建立语音识别所需的模板。而当对语音进行识别时，则需要将系统中存放的语音模板与输入的语音信号的特征进行比较，并根据一定的算法和策略，找出一系列最优的与输入的语音匹配的模板，最后输出识别结果。
第一步是系统“训练”阶段，任务是建立识别基本单元的语音参考样本；第二步是“识别”阶段，按照一定的准则和测度与参考样本进行比较，通过判决得出识别结果。本系统是基于小识别词汇量的特定人语音识别系统。
语音识别的训练过程如图5所示。将己知的语音信号经由端点侦测(End PointDetection)及特征参数求取(Feature Extraction)而产生标准的语音参考样本。
语音识别的处理步骤如图6所示，将待测的语音信号，经与图5同样的处理步骤求得特征参数后再与前述的标准语音参考样本对比，找出最相似的参考样本作为辨识的结果。
若依使用者的限制而言语音识别可分为特定人语音与非特定人语音识别。
非特定人语音识别。
使用本系统前不需要事先学习便能直接使用。一套最佳的语音识别系统是不须经过学习便能进行语音识别的，但通常识别率都比较低。
特定人语音识别
使用特定人语音识别系统前，须先把使用者的语音参考样本存入当成比对的资料库，即特定人语音识别系统在使用前就必须先进行图5的训练学习步骤。
以上的实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。本发明未涉及的技术均可通过现有的技术加以实现。

Claims (1)

1.一种智能业务受理机器人，其特征在于：包括机器人本体，所述机器人本体胸部上具有触摸屏的操作平台，包括机器人本体内部由业务资料图像采集处理模块、表单图像识别检测模块、语音交互识别模块、模板库、营销应用网络和机器人业务系统装置共同构成，所述机器人业务系统装置基于J2EE分布式体系架构，B/S模式；
所述机器人本体腰部及头顶部位分别安装有高清摄像机进行图像采集；所述业务资料图像采集处理模块接受所述高清摄像机采集的客户纸质表单资料识别并上传至所述营销应用网络存档备份，建立客户档案库并联网管理；
所述表单图像识别检测模块，图像检测通过分析纸质表单上面的局部特征实现，要求被识别表单具有一定的纹理图案，以便在图像处理中能够提取到足够的局部特征；所述纸质表单具有一定的纹理图案，在目标图像中提取局部特征点，并且这些特征点在视角变化的情况下仍然能被提取到；对提取到的特征点计算描述向量，该描述向量在视角变化的情况下具有一定的不变性；表单的检测通过对特征点的匹配实现；
所述表单图像识别检测模块对输入的图像进行处理，检测图像中存在的表单，并标示出表单出现的位置及区域；所述表单图像识别检测模块基于Harr特征及Adaboost检测算法实现，该算法是对大量的表单样本与不含表单的样本进行处理，提取Harr特征，并训练以单个Harr特征为输入的弱分类器，最后利用Adaboost算法将弱分类器进行组合，实现对表单的强检测。
所述机器人业务系统装置通过所述表单图像识别检测模块从输入图像中找到表单图像区域，对于检测到的表单和模板库中的表单进行预处理，先通过几处特定特征模版，通过模版匹配方法寻找图像中的特定特征位置，在找到特定特征位置后，按照特定特征距离计算对表单图像进行规整；规整后通过提取尺度不变特征变换SIFI的特征点并计算特征点的描述向量，一方面构成识别模版库，另一方面将待识别表单图像和模板库进行特征点匹配，实现表单的识别；所述机器人业务系统装置通过摄像头把印刷体或手写体文稿扫描成图像，然后通过识光学字符识别OCR技术别成计算机可直接处理的字符。
所述语音交互识别模块，通过对语音信号进行预处理和分析计算可抽取出所需的语音特征，并以此建立语音识别所需的模板库；当对语音进行识别时，则将系统中存放的语音模板与输入的语音信号的特征进行比较，并根据一定的算法和策略，找出一系列最优的与输入的语音匹配的模板，最后输出识别结果。
CN201710371170.4A 2017-05-24 2017-05-24 智能业务受理机器人 Pending CN107085734A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710371170.4A CN107085734A (zh) 2017-05-24 2017-05-24 智能业务受理机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710371170.4A CN107085734A (zh) 2017-05-24 2017-05-24 智能业务受理机器人

Publications (1)

Publication Number Publication Date
CN107085734A true CN107085734A (zh) 2017-08-22

Family

ID=59608860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710371170.4A Pending CN107085734A (zh) 2017-05-24 2017-05-24 智能业务受理机器人

Country Status (1)

Country Link
CN (1) CN107085734A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109741012A (zh) * 2018-12-17 2019-05-10 国网浙江省电力有限公司 智能财务结算机器人系统及一体机设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1268732A (zh) * 2000-03-31 2000-10-04 清华大学 基于语音识别专用芯片的特定人语音识别、语音回放方法
CN102324035A (zh) * 2011-08-19 2012-01-18 广东好帮手电子科技股份有限公司 口型辅助语音识别术在车载导航中应用的方法及系统
CN103577817A (zh) * 2012-07-24 2014-02-12 阿里巴巴集团控股有限公司 表单识别方法与装置
CN105260727A (zh) * 2015-11-12 2016-01-20 武汉大学 基于图像处理与序列标注的学术文献语义再结构化方法
CN105354550A (zh) * 2015-11-03 2016-02-24 华东师范大学 一种基于图像局部特征点配准的表单内容提取方法
CN105550642A (zh) * 2015-12-08 2016-05-04 康佳集团股份有限公司 基于多尺度线性差分特征低秩表示的性别识别方法及系统
CN105894873A (zh) * 2016-06-01 2016-08-24 北京光年无限科技有限公司 一种面向智能机器人的儿童教学方法和装置
CN106295546A (zh) * 2016-08-05 2017-01-04 淮阴工学院 一种基于视频的交通标志检测与识别方法
CN106683676A (zh) * 2017-03-13 2017-05-17 安徽朗巴智能科技有限公司 一种机器人控制用语音识别系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1268732A (zh) * 2000-03-31 2000-10-04 清华大学 基于语音识别专用芯片的特定人语音识别、语音回放方法
CN102324035A (zh) * 2011-08-19 2012-01-18 广东好帮手电子科技股份有限公司 口型辅助语音识别术在车载导航中应用的方法及系统
CN103577817A (zh) * 2012-07-24 2014-02-12 阿里巴巴集团控股有限公司 表单识别方法与装置
CN105354550A (zh) * 2015-11-03 2016-02-24 华东师范大学 一种基于图像局部特征点配准的表单内容提取方法
CN105260727A (zh) * 2015-11-12 2016-01-20 武汉大学 基于图像处理与序列标注的学术文献语义再结构化方法
CN105550642A (zh) * 2015-12-08 2016-05-04 康佳集团股份有限公司 基于多尺度线性差分特征低秩表示的性别识别方法及系统
CN105894873A (zh) * 2016-06-01 2016-08-24 北京光年无限科技有限公司 一种面向智能机器人的儿童教学方法和装置
CN106295546A (zh) * 2016-08-05 2017-01-04 淮阴工学院 一种基于视频的交通标志检测与识别方法
CN106683676A (zh) * 2017-03-13 2017-05-17 安徽朗巴智能科技有限公司 一种机器人控制用语音识别系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109741012A (zh) * 2018-12-17 2019-05-10 国网浙江省电力有限公司 智能财务结算机器人系统及一体机设备

Similar Documents

Publication Publication Date Title
CN105069622B (zh) 一种面向移动终端的人脸识别支付系统和方法
Li et al. Real time eye detector with cascaded convolutional neural networks
CN105678612A (zh) 移动端原始凭证电子化智能填单系统及方法
CN103605972A (zh) 一种基于分块深度神经网络的非限制环境人脸验证方法
Türkyılmaz et al. License plate recognition system using artificial neural networks
CN104200239A (zh) 一种基于图像特征融合识别的签名鉴伪系统及方法
CN110490238A (zh) 一种图像处理方法、装置及存储介质
CN105117708A (zh) 人脸表情识别的方法和装置
CN110472652A (zh) 基于语义引导的少量样本分类方法
CN108537143B (zh) 一种基于重点区域特征比对的人脸识别方法与系统
CN109544523A (zh) 基于多属性人脸比对的人脸图像质量评价方法及装置
CN103258157A (zh) 一种基于手指信息的在线笔迹认证方法及系统
CN107127766A (zh) 智能电网业务受理机器人
CN103605993B (zh) 一种基于面向场景判别性分析的图像到视频人脸识别方法
Krishneswari et al. A review on palm print verification system
CN109740417A (zh) 发票类型识别方法、装置、存储介质和计算机设备
Yang et al. Fingerprint verification based on invariant moment features and nonlinear BPNN
CN106530070A (zh) 一种应用人脸识别技术的实名制办税业务方法
CN102592142A (zh) 一种基于计算机系统的手写签名稳定性评估方法
CN109119163A (zh) 基于面部识别的健康检测方法及其系统
CN103136546A (zh) 线上签名的多维度验证方法、装置
CN102129557A (zh) 一种基于lda子空间学习的人脸识别方法
CN103942572A (zh) 一种基于双向压缩数据空间维度缩减的面部表情特征提取方法和装置
CN107085734A (zh) 智能业务受理机器人
CN110909678B (zh) 一种基于宽度学习网络特征提取的人脸识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170822