CN111653280A - 车牌信息处理方法和装置 - Google Patents
车牌信息处理方法和装置 Download PDFInfo
- Publication number
- CN111653280A CN111653280A CN202010528044.7A CN202010528044A CN111653280A CN 111653280 A CN111653280 A CN 111653280A CN 202010528044 A CN202010528044 A CN 202010528044A CN 111653280 A CN111653280 A CN 111653280A
- Authority
- CN
- China
- Prior art keywords
- license plate
- plate number
- user
- information
- whole
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 48
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 238000012790 confirmation Methods 0.000 claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000002372 labelling Methods 0.000 claims abstract description 36
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000013135 deep learning Methods 0.000 claims abstract description 23
- 230000008569 process Effects 0.000 claims abstract description 13
- 230000000977 initiatory effect Effects 0.000 claims abstract description 12
- 238000013519 translation Methods 0.000 claims abstract description 9
- 230000004044 response Effects 0.000 claims abstract description 8
- 230000015654 memory Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 125000004122 cyclic group Chemical group 0.000 claims description 4
- 238000012937 correction Methods 0.000 abstract description 23
- 238000000605 extraction Methods 0.000 abstract description 16
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- AZFKQCNGMSSWDS-UHFFFAOYSA-N MCPA-thioethyl Chemical compound CCSC(=O)COC1=CC=C(Cl)C=C1C AZFKQCNGMSSWDS-UHFFFAOYSA-N 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/22—Interactive procedures; Man-machine interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Acoustics & Sound (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Character Discrimination (AREA)
Abstract
本发明公开车牌信息处理方法和装置，其中，一种车牌信息处理方法，包括：响应于在车牌号获取对话场景中获取到用户的经由自动语音识别转译后的车牌信息，基于深度学习的序列标注算法对车牌信息进行处理形成第一车牌号；判断第一车牌号中是否包含预设易混淆字符；若第一车牌号中包含预设易混淆字符，主动针对第一车牌号中所包含的预设易混淆字符向用户发起确认；获取经由用户对第一车牌号中所包含的预设易混淆字符确认后的第二车牌号；以及基于第二车牌号向用户发起整个车牌号的确认，获取经由整个车牌号确认后的第三车牌号并输出第三车牌号。通过多轮提取和纠正的过程，极大地提升了车牌信息抽取的准确率。
Description
技术领域
本发明属于智能车载技术领域，尤其涉及车牌信息处理方法和装置。
背景技术
现有技术中，存在基于模式匹配的车牌信息抽取方法，一般采用正则表达式来匹配文本中的车牌信息。
在我国，一般民用车牌号码组合有三部分(港澳台车牌暂不考虑):
1、车牌号第一位是汉字，代表该车户口所在省份的简称，取值包括31个省、直辖市、自治区的简称；
2、第二位是英文字母，代表该车所在地的地市一级代码，取值包括24个英文字母，O和I不能使用；
3、第三部分是车牌号的后五位或六位(传统燃油车是5位，新能源汽车有6位)，是由10个数字和24个英文字母组成的序列,英文中O和I不能使用。其中特殊车辆的最后一位可以是挂、学、警、港、澳、使、领。
由于车牌信息的组成比较简单和规范，从文本中抽取车牌信息往往会采用正则表达式的方法，比如车牌号的正则表达式匹配模式为“[京津沪渝冀晋辽吉黑苏皖浙闽赣鲁豫鄂湘粤琼川陕甘青蒙桂藏宁新云贵][A-Z][A-HJ-NP-Z0-9]{4,5}[A-HJ-NP-Z0-9挂学警港澳使领]”。
发明人在实现本申请的过程中发现，现有方案至少存在以下缺陷：
基于正则表达式模式匹配的方法，可以精确的抽取出文本中的车牌信息，但是在智能语音客服中，由于语音识别(ASR，Automatic Speech Recognition)引擎转译的车牌往往会有错误，导致大量的车牌信息无法抽取出来，召回率比较低，智能客服的任务完成率也相对比较低。
发明内容
本发明实施例提供一种车牌信息处理方法及装置，用于至少解决上述技术问题之一。
第一方面，本发明实施例提供一种车牌信息处理方法，包括：响应于在车牌号获取对话场景中获取到用户的经由自动语音识别转译后的车牌信息，基于深度学习的序列标注算法对所述车牌信息进行处理形成第一车牌号；判断所述第一车牌号中是否包含预设易混淆字符；若所述第一车牌号中包含所述预设易混淆字符，主动针对所述第一车牌号中所包含的预设易混淆字符向所述用户发起确认；获取经由所述用户对所述第一车牌号中所包含的预设易混淆字符确认后的第二车牌号；以及基于所述第二车牌号向所述用户发起整个车牌号的确认，获取经由整个车牌号确认后的第三车牌号并输出所述第三车牌号。
第二方面，本发明实施例提供一种车牌信息处理装置，包括：序列标注处理模块，配置为响应于在车牌号获取对话场景中获取到用户的经由自动语音识别转译后的车牌信息，基于深度学习的序列标注算法对所述车牌信息进行处理形成第一车牌号；易混淆字符判断模块，配置为判断所述第一车牌号中是否包含预设易混淆字符；易混淆字符确认模块，配置为若所述第一车牌号中包含所述预设易混淆字符，主动针对所述第一车牌号中所包含的预设易混淆字符向所述用户发起确认；确认车牌号获取模块，配置为获取经由所述用户对所述第一车牌号中所包含的预设易混淆字符确认后的第二车牌号；以及第一整体确认模块，配置为基于所述第二车牌号向所述用户发起整个车牌号的确认，获取经由整个车牌号确认后的第三车牌号并输出所述第三车牌号。
第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的车牌信息处理方法的步骤。
第四方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行本发明任一实施例的车牌信息处理方法的步骤。
本申请的方法和装置提供的方案通过先获取自动语音识别转译用户语音指令后得到的车牌信息，基于深度学习的序列标注算法对该车牌信息进行处理形成第一车牌号进行第一次车牌号抽取和纠正，然后判断该第一车牌号中是否包含预设易混淆字符，若包含则主动向用户发起易混淆字符确认进行第二次车牌号纠正，最后再整个向用户确认一次，进行第三次车牌号纠正，通过上述三次车牌号抽取和纠正可以极大地提高最后获得的车牌号的准确度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种车牌信息处理方法的流程图；
图2为本发明一实施例提供的另一种车牌信息处理方法的流程图；
图3为本发明一实施例提供的又一种车牌信息处理方法的流程图；
图4为本发明一实施例提供的还一种车牌信息处理方法的流程图；
图5为本发明一实施例提供的再一种车牌信息处理方法的流程图；
图6为本发明一实施例提供的一种车牌信息处理方法的一具体实施例的车牌号抽取和纠正流程图；
图7是本发明实施例的车牌信息处理方案一具体实施例的序列标注模型的处理过程示意图；
图8为本发明一实施例提供的一种车牌信息处理装置的框图；
图9是本发明一实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，其示出了本申请的车牌信息处理方法的一实施例的流程图，本实施例的车牌信息处理方法可以适用于需要采集车牌信息的场景，例如政务热线12345挪车场景和汽车4S店的智能语音客服场景，本申请在此没有限制。
如图1所示，在步骤101中，响应于在车牌号获取对话场景中获取到用户的经由自动语音识别转译后的车牌信息，基于深度学习的序列标注算法对车牌信息进行处理形成第一车牌号；
在步骤102中，判断第一车牌号中是否包含预设易混淆字符；
在步骤103中，若第一车牌号中包含预设易混淆字符，主动针对第一车牌号中所包含的预设易混淆字符向用户发起确认；
在步骤104中，获取经由用户对第一车牌号中所包含的预设易混淆字符确认后的第二车牌号；
在步骤105中，基于第二车牌号向用户发起整个车牌号的确认，获取经由整个车牌号确认后的第三车牌号并输出第三车牌号。
在本实施例中，对于步骤101，车牌信息处理装置在车牌号获取对话场景中首先获取到用户的语音指令，然后经由自动语音识别转译该语音指令后得到车牌信息，例如该车牌信息可以是“车牌号是苏EB四零二E”，然后基于深度学习的序列标注算法对车牌信息进行处理形成第一车牌号，该第一车牌号可以是“苏EB四零二E”。对于步骤102，车牌信息处理装置判断第一车牌号中是否包含预设易混淆字符，例如，预设易混淆字符可以是“1”和“E”，“G”和“J”，“B”和“D”，在此不再赘述，本申请在此没有限制。
之后，对于步骤103，若第一车牌号中包含预设易混淆字符，车牌信息处理装置主动针对第一车牌号中所包含的预设易混淆字符向用户发起确认，譬如第一车牌号中包含了“1”或“E”，则需要向用户确认到底是“1”或“E”，如果有多个易混淆字符时，则需要进行多次确认，在此不再赘述，本申请在此没有限制。然后，对于步骤104，车牌信息处理装置获取经由用户对第一车牌号中所包含的预设易混淆字符确认后的第二车牌号。最后，对于步骤105，车牌信息处理装置基于该第二车牌号向用户发起整个车牌号的确认，获取经由整个车牌号确认后的第三车牌号并输出第三车牌号。
本实施例的方法通过先获取自动语音识别转译用户语音指令后得到的车牌信息，基于深度学习的序列标注算法对该车牌信息进行处理形成第一车牌号进行第一次车牌号抽取和纠正，然后判断该第一车牌号中是否包含预设易混淆字符，若包含则主动向用户发起易混淆字符确认进行第二次车牌号纠正，最后再整个向用户确认一次，进行第三次车牌号纠正，通过上述三次车牌号抽取和纠正可以极大地提高最后获得的车牌号的准确度。
进一步参考图2，其示出了本申请一实施例提供的另一种车牌信息处理方法的流程图。该流程图主要是针对流程图图1中步骤102“所述判断所述第一车牌号中是否包含预设易混淆字符”之后的步骤进一步限定的步骤的流程图。
如图2所示，在步骤201中，若所述第一车牌号中不包含预设易混淆字符，基于所述第一车牌号向所述用户发起整个车牌号的确认；
在步骤202中，获取经由所述用户对整个车牌号确认后的第四车牌号并输出所述第四车牌号。
在本实施例中，对于步骤201，若所述第一车牌号中不包含预设易混淆字符，车牌信息处理装置基于该第一车牌号向所述用户发起整个车牌号的确认。然后，对于步骤202，获取经由用户对整个车牌号确认后的第四车牌号并输出所述第四车牌号。例如之前获取的第一车牌号为“赣A49965”，其中不包含预设易混淆字符，然后可以直接让用户确认整个车牌号是不是准确，如果用户确认整个车牌号准确则可以直接输出该确认后的车牌号。从而可以在没有混淆字符的情况下直接进行整体确认，节约流程，加快处理进度。
进一步参考图3，本发明一实施例提供的又一种车牌信息处理方法的流程图。该流程图主要是针对图1和图2中“整个车牌号的确认”流程进一步限定的步骤的流程图。
如图3所示，在步骤301中，询问所述用户整个车牌号是否正确；
在步骤302中，若所述用户确认整个车牌号正确，输出正确的车牌号；
在步骤303中，若所述用户确认整个车牌号不正确，接收所述用户纠正后的整个车牌号，并再次询问所述用户整个车牌号是否正确直至用户确认整个车牌号正确，输出正确的车牌号。
在本实施例中，对于步骤301，车牌信息处理装置可以询问用户整个车牌号是否正确；然后，对于步骤302，若该用户确认整个车牌号正确，则输出用户确认的正确的车牌号；最后，对于步骤303中，若用户确认整个车牌号不正确，用户就会对车牌号进行纠正，可以获取用户纠正后的整个车牌号，然后再次询问纠正后的整个车牌号是否正确直至用户确认纠正后的整个车牌号正确，输出正确的车牌号，可能纠正的过程不止一次。一方面，每一次用户纠正之后都需要确认用户当次纠正后的车牌号是否准确，就可以更好地获取到准确度更高的车牌号。另一方面，如果纠正的过程过多的话，例如用户口音比较重，机器始终无法识别出正确的车牌号，此时可以让人工客服接入，进一步提高最终确认的车牌号的准确度。
继续参考图4，其示出了本发明一实施例提供的还一种车牌信息处理方法的流程图。该流程图主要是针对图1中步骤101“响应于在车牌号获取对话场景中获取到用户的经由自动语音识别转译后的车牌信息，基于深度学习的序列标注算法对所述车牌信息进行处理形成第一车牌号”进一步限定的步骤的流程图。
如图4所示，在步骤401中，响应于在车牌号获取对话场景中接收到用户的语音指令，对所述语音指令进行自动语音识别处理得到文本信息；
在步骤402中，判断所述文本信息中是否包含车牌信息；
在步骤403中，若所述文本信息中包含车牌信息，基于深度学习的序列标注算法对所述车牌信息进行处理形成第一车牌号。
在本实施例中，对于步骤401，车牌信息处理装置在车牌号获取对话场景中接收到用户的语音指令后，对语音指令进行自动语音识别处理得到与该语音指令对应的文本信息。然后对于步骤402，判断该文本信息中是否包含车牌信息。之后，对于步骤403，如果文本信息中包含车牌信息，则可以基于深度学习的序列标注算法对该车牌信息进行处理形成第一车牌号。从而通过对用户的语音进行识别转文本之后判断文本中是否包含车牌信息，包含的话再进行后续的多次车牌号提取和纠正的工作。
在一些可选的实施例中，在所述判断所述文本信息中是否包含车牌信息之后，所述方法还包括：若所述文本信息中不包含车牌信息，提示用户给出车牌信息。因此在车牌号获取的对话场景中，如果用户的语音中并不包含车牌信息，则需要提示用户提供车牌信息。具体提示的方式或者内容在此不再赘述，本申请在此没有限制。
进一步参考图5，其示出了本发明一实施例提供的再一种车牌信息处理方法的流程图。该流程图主要是针对流程图图1中步骤101中“基于深度学习的序列标注算法对所述车牌信息进行处理形成第一车牌号”进一步限定的步骤的流程图。
如图5所示，在步骤501中，经由循环神经网络和条件随机场结合的算法对所述车牌信息进行抽取和纠正并得到每个字符的标签；
在步骤502中，对每个字符的标签进行后处理转换成第一车牌号。
在本实施例中，对于步骤501，基于深度学习的序列标注算法可以是循环神经网络和条件随机场结合的算法，通过该结合的算法对车牌信息中的车牌号进行抽取和纠正，输出的可能是车牌号中每一个字符的标签，例如B-苏，I-J之类的，可以采用BIO标注的方式进行标注，其中B-X表示类别X的开始字符，I-X表示类别X的中间字符，O表示其他字符。然后对于步骤502，对每个字符的标签进行后处理转换成第一车牌号，根据标签对其中的一些东西进行整合然后去掉标签得到最终的车牌号。例如标签为B-苏、B-E、B-J、I-J、B-C、B-八、B-七、B-五，整合成车牌号就是“苏EJC八七五”。通过采用上述循环神经网络和条件随机场结合的算法进行车牌号的抽取和纠正，可以对车牌号进行一次初略的机器纠正。
下面对通过描述发明人在实现本发明的过程中遇到的一些问题和对最终确定的方案的一个具体实施例进行说明，以使本领域技术人员更好地理解本申请的方案。
首先，本领域技术人员一般在进行车牌信息获取时，通常采用的方法有：
1、优化ASR识别的效果；
2、针对不同的表达方式不断扩充正则表达式。
不容易想到的原因：
1、出现ASR识别错误时，优化的焦点往往聚焦于优化ASR的声学模型和语言模型；
2、车牌的文本信息较少，而且还有ASR错误，通过文本信息来纠正的想法不容易想到；
3、在智能语音客服的对话场景中，一般是用户主动纠正，由机器人自发纠正的情况较少。
本申请实施例的方案通过以下方案解决上述现有技术中存在的技术问题：
A、通过基于深度学习的序列标注算法对ASR转译后的车牌信息进行学习，能够抽取并纠正识别错误的车牌号；
B、客服机器人针对车牌中比较容易混淆的字符主动发起信息确认；
C、用户可以对错误信息主动纠正，客服机器人结合上文信息给出正确的车牌号码。
在政务热线12345挪车和汽车4S店的智能语音客服场景下，需要用户语音输入车牌号进行信息查询。而在对话过程中，车牌号的识别和理解的准确率不高，导致客服的任务完成率较低。本专利主要在ASR转译后的车牌基础上，采用自然语言处理(NLP)和对话管理(DM)技术来抽取车牌信息，且对ASR转译错误的车牌进行纠正，完成用户的交互目的。车牌号抽取与纠正的流程图如图6所示。
整个车牌号的抽取和纠正方法主要包含三个模块。
1)序列标注模块：通过基于深度学习的序列标注算法对ASR转译出来的车牌信息进行抽取和部分纠正，该模块将车牌的抽取和纠正任务转换成序列标注任务。
在语音交互过程中，由于口音和表达方式的多样性，ASR的识别结果容易出错，比如用户的表达“苏EB四零二E”，ASR错误的识别成“收益比四零二一”，这种错误导致基于规则的车牌信息抽取方法无法获得正确的车牌。针对此种情况，我们提出了基于序列标注算法的车牌抽取与纠正方法，采用循环神经网络和条件随机场结合的算法进行车牌号的抽取和纠正。
车牌号的组成字符有72个，其中包括31个省、直辖市、自治区的缩写，24个英文字母，10个数字字符(数字字符采用汉字，这是因为数字“1”的读音有“一”和“幺”两种，而“一”和“E”是读音容易混淆的字符，“幺”则读音明确，本发明会在后续步骤中对容易混淆的字符特殊处理，因此不会将汉字转成阿拉伯数字)，7个特殊车牌的汉字字符。我们把这72个字符看做72个类别，采用BIO标注的方式进行标注，其中B-X表示类别X的开始字符，I-X表示类别X的中间字符，O表示其他字符。比如“苏E丁沟C八七五”的标注格式如下:
“车牌是收益比四零二一”的标注格式如下：
本发明中的序列标注模型采用双向长短时记忆网络(BLSTM，bidirectionallong-short term memory network)和条件随机场(CRF，conditional random field)相结合的网络结构，如图7所示。
整个网络的输出是每个字符的标签，模型输出的结果需要后处理将标签转换成具体的车牌。经过序列标注模块得到的车牌不仅对正常的车牌号说法和带有描述性词语的车牌号说法都能够准确的抽取，而且对于ASR识别错误的车牌说法也有一定的纠正效果。
2)特殊字符确认模块：客服机器人针对车牌中比较容易混淆的字符主动发起信息确认。
在客服对话交互中，对话机器人对抽取出来的车牌信息进行判断，对其中比较容易混淆的字符进行再次确认，进一步起到了纠正部分ASR识别错误的情况。车牌中的1和E，2和R，7和T是读音比较相近的字符。一旦序列标注模块抽取的车牌中包含这几个字符,客服机器人就会主动向用户进行确认。例如，经过序列标注模块得到的车牌号仍然会存在一定的错误，“苏EB四零二E”的ASR识别结果“收益比四二零一”，经过序列标注模块得到的结果是“苏EB四二零一”，对话机器人判断出该车牌号中存在发音特殊的字符“一”，会主动问用户“最后一位是数字一还是字母E”，通过用户确认的信息“是字母”，可以确定最终的车牌号是“苏EB四二零E”。若用户的说法是“苏EB四二零幺”，系统则不会对“幺”再做确认。
3)用户主动纠正模块：用户主动对车牌中的错误信息进行纠正，客服机器人结合上文信息给出正确的车牌号码。
经过序列标注模块和特殊字符确认模块，已经能够得到比较准确的车牌。此时，对话机器人会向用户进行车牌号的确认，如果车牌中还是存在一些错误，在对话过程中，用户可以主动进行车牌号的纠正。机器人可以根据用户的纠正信息来修正结果，识别出真实的车牌。
对话场景如下：
机器人：请提供一下车牌号码
用户：苏EJ九L一3
机器人：请问第六位是数字一还是字母E
用户：是字母E
机器人：跟您确认下，车牌号是苏EJ九LE三吗？
用户：不是苏E是苏D
机器人：跟您确认下，车牌号是苏DJ九LE三吗
用户：是的
当机器人向用户确认车牌号是否正确时，若用户的回答是对车牌信息的纠正，机器人会根据用户的纠正信息，将原车牌中的部分字符进行替换，从而得到最终正确的车牌号码。在该模块中，需要NLP解析出“车牌纠正”这个意图，由于这个意图说法相对简单，因此在本发明中使用的是基于规则匹配的意图分类。
在本发明实施例中，整个车牌号的提取过程经过了三个模块。第一步经过序列标注模块能够初步提取车牌信息，该模块采用基于深度学习的序列标注模型对车牌号的组成规律进行学习,不但能抽取正常的车牌号，而且对于识别错误的车牌有一定的纠正作用。在第二步的特殊字符确认模块，系统主动发起的信息确认，对于容易混淆的特殊字符再次起到了纠正的效果。若此时提取的车牌还存在错误，在第三步的用户主动纠正模块中，针对车牌号中错误的部分，用户主动发起信息纠正，进一步提升了车牌信息抽取的准确率。相比于原始基于正则表达式的车牌抽取方法，本发明极大的提升了车牌抽取的准确度，提高了客服任务的完成度，改善了交互体验。
请参考图8，其示出了本发明一实施例提供的一种车牌信息处理装置的框图。
如图8所示，车牌信息处理装置800，包括序列标注处理模块810、易混淆字符判断模块820、易混淆字符确认模块830、确认车牌号获取模块840和第一整体确认模块850。
其中，序列标注处理模块810，配置为响应于在车牌号获取对话场景中获取到用户的经由自动语音识别转译后的车牌信息，基于深度学习的序列标注算法对所述车牌信息进行处理形成第一车牌号；易混淆字符判断模块820，配置为判断所述第一车牌号中是否包含预设易混淆字符；混淆字符确认模块830，配置为若所述第一车牌号中包含所述预设易混淆字符，主动针对所述第一车牌号中所包含的预设易混淆字符向所述用户发起确认；确认车牌号获取模块840，配置为获取经由所述用户对所述第一车牌号中所包含的预设易混淆字符确认后的第二车牌号；以及第一整体确认模块850，配置为基于所述第二车牌号向所述用户发起整个车牌号的确认，获取经由整个车牌号确认后的第三车牌号并输出所述第三车牌号。
在一些可选的实施例中，上述装置还包括：第二整体确认模块(图中未示出)，配置为若所述第一车牌号中不包含预设易混淆字符，基于所述第一车牌号向所述用户发起整个车牌号的确认；获取经由所述用户对整个车牌号确认后的第四车牌号并输出所述第四车牌号。
应当理解，图8中记载的诸模块与参考图1、图2、图3、图4和图5中描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征以及相应的技术效果同样适用于图8中的诸模块，在此不再赘述。
值得注意的是，本申请的实施例中的模块并不用于限制本申请的方案，例如接收模块可以描述为接收语音识别请求的模块。另外，还可以通过硬件处理器来实现相关功能模块，例如接收模块也可以用处理器实现，在此不再赘述。
在另一些实施例中，本发明实施例还提供了一种非易失性计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的车牌信息处理方法；
作为一种实施方式，本发明的非易失性计算机存储介质存储有计算机可执行指令，计算机可执行指令设置为：
响应于在车牌号获取对话场景中获取到用户的经由自动语音识别转译后的车牌信息，基于深度学习的序列标注算法对所述车牌信息进行处理形成第一车牌号；
判断所述第一车牌号中是否包含预设易混淆字符；
若所述第一车牌号中包含所述预设易混淆字符，主动针对所述第一车牌号中所包含的预设易混淆字符向所述用户发起确认；
获取经由所述用户对所述第一车牌号中所包含的预设易混淆字符确认后的第二车牌号；
基于所述第二车牌号向所述用户发起整个车牌号的确认，获取经由整个车牌号确认后的第三车牌号并输出所述第三车牌号。
非易失性计算机可读存储介质可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据车牌信息处理装置的使用所创建的数据等。此外，非易失性计算机可读存储介质可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，非易失性计算机可读存储介质可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至车牌信息处理装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本发明实施例还提供一种计算机程序产品，计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，使计算机执行上述任一项车牌信息处理方法。
图9是本发明实施例提供的电子设备的结构示意图，如图9所示，该设备包括：一个或多个处理器910以及存储器920，图9中以一个处理器910为例。车牌信息处理方法的设备还可以包括：输入装置930和输出装置940。处理器910、存储器920、输入装置930和输出装置940可以通过总线或者其他方式连接，图9中以通过总线连接为例。存储器920为上述的非易失性计算机可读存储介质。处理器910通过运行存储在存储器920中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例车牌信息处理方法。输入装置930可接收输入的数字或字符信息，以及产生与车牌信息处理装置的用户设置以及功能控制有关的键信号输入。输出装置940可包括显示屏等显示设备。
上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。
作为一种实施方式，上述电子设备应用于车牌信息处理装置中，包括：
至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够：
响应于在车牌号获取对话场景中获取到用户的经由自动语音识别转译后的车牌信息，基于深度学习的序列标注算法对所述车牌信息进行处理形成第一车牌号；
判断所述第一车牌号中是否包含预设易混淆字符；
若所述第一车牌号中包含所述预设易混淆字符，主动针对所述第一车牌号中所包含的预设易混淆字符向所述用户发起确认；
获取经由所述用户对所述第一车牌号中所包含的预设易混淆字符确认后的第二车牌号；
基于所述第二车牌号向所述用户发起整个车牌号的确认，获取经由整个车牌号确认后的第三车牌号并输出所述第三车牌号。
本申请实施例的电子设备以多种形式存在，包括但不限于：
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种车牌信息处理方法，包括：
响应于在车牌号获取对话场景中获取到用户的经由自动语音识别转译后的车牌信息，基于深度学习的序列标注算法对所述车牌信息进行处理形成第一车牌号；
判断所述第一车牌号中是否包含预设易混淆字符；
若所述第一车牌号中包含所述预设易混淆字符，主动针对所述第一车牌号中所包含的预设易混淆字符向所述用户发起确认；
获取经由所述用户对所述第一车牌号中所包含的预设易混淆字符确认后的第二车牌号；
基于所述第二车牌号向所述用户发起整个车牌号的确认，获取经由整个车牌号确认后的第三车牌号并输出所述第三车牌号。
2.根据权利要求1所述的方法，其中，在所述判断所述第一车牌号中是否包含预设易混淆字符之后，所述方法还包括：
若所述第一车牌号中不包含预设易混淆字符，基于所述第一车牌号向所述用户发起整个车牌号的确认；
获取经由所述用户对整个车牌号确认后的第四车牌号并输出所述第四车牌号。
3.根据权利要求1或2中任一项所述的方法，其中，所述整个车牌号的确认包括：
询问所述用户整个车牌号是否正确；
若所述用户确认整个车牌号正确，输出正确的车牌号；
若所述用户确认整个车牌号不正确，接收所述用户纠正后的整个车牌号，并再次询问所述用户整个车牌号是否正确直至用户确认整个车牌号正确，输出正确的车牌号。
4.根据权利要求1所述的方法，其中，所述响应于在车牌号获取对话场景中获取到用户的经由自动语音识别转译后的车牌信息，基于深度学习的序列标注算法对所述车牌信息进行处理形成第一车牌号包括：
响应于在车牌号获取对话场景中接收到用户的语音指令，对所述语音指令进行自动语音识别处理得到文本信息；
判断所述文本信息中是否包含车牌信息；
若所述文本信息中包含车牌信息，基于深度学习的序列标注算法对所述车牌信息进行处理形成第一车牌号。
5.根据权利要求4所述的方法，其中，在所述判断所述文本信息中是否包含车牌信息之后，所述方法还包括：
若所述文本信息中不包含车牌信息，提示用户给出车牌信息。
6.根据权利要求1-5中任一项所述的方法，其中，所述基于深度学习的序列标注算法对所述车牌信息进行处理形成第一车牌号包括：
经由循环神经网络和条件随机场结合的算法对所述车牌信息进行抽取和纠正并得到每个字符的标签；
对每个字符的标签进行后处理转换成第一车牌号。
7.一种车牌信息处理装置，包括：
序列标注处理模块，配置为响应于在车牌号获取对话场景中获取到用户的经由自动语音识别转译后的车牌信息，基于深度学习的序列标注算法对所述车牌信息进行处理形成第一车牌号；
易混淆字符判断模块，配置为判断所述第一车牌号中是否包含预设易混淆字符；
易混淆字符确认模块，配置为若所述第一车牌号中包含所述预设易混淆字符，主动针对所述第一车牌号中所包含的预设易混淆字符向所述用户发起确认；
确认车牌号获取模块，配置为获取经由所述用户对所述第一车牌号中所包含的预设易混淆字符确认后的第二车牌号；
第一整体确认模块，配置为基于所述第二车牌号向所述用户发起整个车牌号的确认，获取经由整个车牌号确认后的第三车牌号并输出所述第三车牌号。
8.根据权利要求7所述的装置，还包括：
第二整体确认模块，配置为若所述第一车牌号中不包含预设易混淆字符，基于所述第一车牌号向所述用户发起整个车牌号的确认；获取经由所述用户对整个车牌号确认后的第四车牌号并输出所述第四车牌号。
9.一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行权利要求1-7中任一项所述的车牌信息处理方法的步骤。
10.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010528044.7A CN111653280A (zh) | 2020-06-10 | 2020-06-10 | 车牌信息处理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010528044.7A CN111653280A (zh) | 2020-06-10 | 2020-06-10 | 车牌信息处理方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111653280A true CN111653280A (zh) | 2020-09-11 |
Family
ID=72350663
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010528044.7A Withdrawn CN111653280A (zh) | 2020-06-10 | 2020-06-10 | 车牌信息处理方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111653280A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113781790A (zh) * | 2021-08-31 | 2021-12-10 | 深圳市捷顺科技实业股份有限公司 | 一种识别车牌的方法及停车场终端 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108197625A (zh) * | 2017-12-18 | 2018-06-22 | 北京云星宇交通科技股份有限公司 | 一种校正车牌识别的方法及系统 |
| WO2020008556A1 (ja) * | 2018-07-04 | 2020-01-09 | 三菱重工機械システム株式会社 | 車両ナンバー特定装置、車両ナンバー特定方法およびプログラム |
| CN111143525A (zh) * | 2019-12-17 | 2020-05-12 | 广东广信通信服务有限公司 | 车辆信息获取方法、装置和智能移车系统 |
-
2020
- 2020-06-10 CN CN202010528044.7A patent/CN111653280A/zh not_active Withdrawn
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108197625A (zh) * | 2017-12-18 | 2018-06-22 | 北京云星宇交通科技股份有限公司 | 一种校正车牌识别的方法及系统 |
| WO2020008556A1 (ja) * | 2018-07-04 | 2020-01-09 | 三菱重工機械システム株式会社 | 車両ナンバー特定装置、車両ナンバー特定方法およびプログラム |
| CN111143525A (zh) * | 2019-12-17 | 2020-05-12 | 广东广信通信服务有限公司 | 车辆信息获取方法、装置和智能移车系统 |
Non-Patent Citations (1)
| Title |
|---|
| 知乎: "小A智能客服，车牌识别解决方案", 《HTTPS://ZHUANLAN.ZHIHU.COM/P/129641635》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113781790A (zh) * | 2021-08-31 | 2021-12-10 | 深圳市捷顺科技实业股份有限公司 | 一种识别车牌的方法及停车场终端 |
| CN113781790B (zh) * | 2021-08-31 | 2022-08-12 | 深圳市捷顺科技实业股份有限公司 | 一种识别车牌的方法及停车场终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108446322B (zh) | 一种智能问答系统的实现方法和装置 | |
| CN103679452A (zh) | 支付验证方法、装置及系统 | |
| US11126882B2 (en) | Method and device for license plate positioning | |
| CN109410664B (zh) | 一种发音纠正方法及电子设备 | |
| US9601107B2 (en) | Speech recognition system, recognition dictionary registration system, and acoustic model identifier series generation apparatus | |
| CN108447471A (zh) | 语音识别方法及语音识别装置 | |
| CN109256125B (zh) | 语音的离线识别方法、装置与存储介质 | |
| CN104916283A (zh) | 语音识别方法和装置 | |
| CN103106061A (zh) | 语音输入方法和装置 | |
| JP2020004382A (ja) | 音声対話方法及び装置 | |
| CN109785834B (zh) | 一种基于验证码的语音数据样本采集系统及其方法 | |
| CN105227557A (zh) | 一种帐号处理方法及装置 | |
| CN112084317A (zh) | 预训练语言模型的方法和装置 | |
| CN109493611A (zh) | 一种车牌识别方法及装置 | |
| CN115100659A (zh) | 文本识别方法、装置、电子设备和存储介质 | |
| CN111611365A (zh) | 一种对话系统的流程控制方法、装置、设备及存储介质 | |
| CN111653280A (zh) | 车牌信息处理方法和装置 | |
| CN113051384A (zh) | 基于对话的用户画像抽取方法及相关装置 | |
| CN111400463A (zh) | 对话响应方法、装置、设备和介质 | |
| CN113299294A (zh) | 任务型对话机器人交互方法、装置、设备及存储介质 | |
| CN111353493B (zh) | 文本图像方向校正方法及装置 | |
| CN113205809A (zh) | 语音唤醒方法和装置 | |
| CN111079726B (zh) | 一种图像处理方法及电子设备 | |
| CN104468932A (zh) | 自动记录通话内容中数字信息的方法和装置 | |
| CN111680514B (zh) | 信息处理和模型训练方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 215123 building 14, Tengfei Innovation Park, 388 Xinping street, Suzhou Industrial Park, Suzhou City, Jiangsu Province Applicant after: Sipic Technology Co.,Ltd. Address before: 215123 building 14, Tengfei Innovation Park, 388 Xinping street, Suzhou Industrial Park, Suzhou City, Jiangsu Province Applicant before: AI SPEECH Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200911 |
|
| WW01 | Invention patent application withdrawn after publication |