CN112700312A - 物品对象的结算方法、服务器、客户端及系统 - Google Patents

物品对象的结算方法、服务器、客户端及系统 Download PDF

Info

Publication number
CN112700312A
CN112700312A CN202110310972.0A CN202110310972A CN112700312A CN 112700312 A CN112700312 A CN 112700312A CN 202110310972 A CN202110310972 A CN 202110310972A CN 112700312 A CN112700312 A CN 112700312A
Authority
CN
China
Prior art keywords
settlement
settled
free
item
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110310972.0A
Other languages
English (en)
Inventor
张飞云
王强
刘树春
汪祖臣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koubei Shanghai Information Technology Co Ltd
Zhejiang Koubei Network Technology Co Ltd
Original Assignee
Koubei Shanghai Information Technology Co Ltd
Zhejiang Koubei Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koubei Shanghai Information Technology Co Ltd, Zhejiang Koubei Network Technology Co Ltd filed Critical Koubei Shanghai Information Technology Co Ltd
Priority to CN202110310972.0A priority Critical patent/CN112700312A/zh
Publication of CN112700312A publication Critical patent/CN112700312A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0633Lists, e.g. purchase orders, compilation or processing
    • G06Q30/0635Processing of requisition or of purchase orders
    • G06Q30/0637Approvals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images

Abstract

本发明公开了一种物品对象的结算方法、服务器、客户端及系统,该方法包括:将获取到的物品结算图像发送给结算服务器,接收结算服务器针对从物品结算图像中提取的各个物品对象进行识别后得到的包含待结算对象的对象识别结果;展示与待结算对象相对应的第一结算界面,响应于针对第一结算界面中包含的任一待结算对象的触发操作,向结算服务器发送与任一待结算对象相对应的免结算请求;展示针对任一待结算对象执行免结算处理后得到的第二结算界面,通过第二结算界面执行物品对象的结算处理。该方式能够针对识别得到的待结算对象触发免结算请求,从而使手机等干扰物品能够在第二结算界面中免于计价。

Description

物品对象的结算方法、服务器、客户端及系统
技术领域
本发明涉及通信领域,具体涉及一种物品对象的结算方法、服务器、客户端及系统。
背景技术
现有技术中,智慧收银系统可以直接对客户拿到的物品进行拍照,对拍照图像进行物品检测,识别出物品种类和名称,然后根据信息管理系统提供的菜品价格对菜品进行结算,实现自助收银。
但在有些情况下,用户的随身物品,如手机、手表等,可能会与待结算的物品放置在一起,此时,智慧收银系统通常会将这类随身物品误识别为待结算的物品,从而导致结算不准确,需要后期执行退款操作。由此可见,现有的智慧收银系统准确性较低,存在着用户多付款以及退款难的问题。
发明内容
鉴于上述问题,提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的物品对象的结算方法、服务器、客户端及系统。
根据本发明实施例的一个方面,提供了一种物品对象的结算方法,包括:
将获取到的与物品结算区域相对应的物品结算图像发送给结算服务器,接收所述结算服务器针对从所述物品结算图像中提取的各个物品对象进行识别后得到的包含至少一个待结算对象的对象识别结果;
展示与所述对象识别结果中包含的至少一个待结算对象相对应的第一结算界面,响应于针对所述第一结算界面中包含的任一待结算对象的触发操作,向所述结算服务器发送与所述任一待结算对象相对应的免结算请求;
展示针对所述任一待结算对象执行免结算处理后得到的第二结算界面,通过所述第二结算界面执行物品对象的结算处理。
可选的,所述接收所述结算服务器针对从所述物品结算图像中提取的各个物品对象进行识别后得到的包含至少一个待结算对象的对象识别结果包括:
所述结算服务器针对所述物品结算图像进行分割处理,根据分割处理结果提取所述物品结算图像中包含的各个物品对象;
通过预先训练得到的对象识别模型判断所述物品结算图像中包含的各个物品对象是否为待结算对象;
接收所述结算服务器根据判断结果生成的包含至少一个待结算对象的对象识别结果。
可选的,所述通过预先训练得到的对象识别模型判断所述物品结算图像中包含的各个物品对象是否为待结算对象具体包括:
查询所述物品结算图像中包含的各个物品对象是否属于预设的免结算集合,结合查询结果判断所述物品结算图像中包含的各个物品对象是否为待结算对象;
并且,所述免结算请求用于供结算服务器将所述任一待结算对象添加到所述预设的免结算集合中;其中,所述免结算集合用于识别从物品结算图像中提取的各个物品对象是否为免结算对象。
可选的,所述接收所述结算服务器根据判断结果生成的包含至少一个待结算对象的对象识别结果包括:
接收所述结算服务器查询预先配置的与各个待结算对象相对应的计价信息后,生成的包含所述至少一个待结算对象的计价信息的对象识别结果。
可选的,所述向所述结算服务器发送与所述任一待结算对象相对应的免结算请求之后,进一步包括:
所述结算服务器获取与所述免结算集合中包含的各个免结算对象相对应的免结算样本图像,根据所述免结算样本图像对所述对象识别模型进行微调,以使微调后的对象识别模型作用于后续的对象识别过程。
可选的,所述向所述结算服务器发送与所述任一待结算对象相对应的免结算请求包括:
向所述结算服务器发送包含与所述任一待结算对象相对应的对象类型信息的免结算请求,以供所述结算服务器将所述任一待结算对象添加到免结算集合所包含的与所述对象类型信息相对应的类型子集合中;
其中,所述对象类型信息包括:干扰物品类型、和/或免单物品类型,则所述免结算集合所包含的与所述对象类型信息相对应的类型子集合包括:干扰类型子集合、和/或免单类型子集合。
可选的,所述响应于针对所述第一结算界面中包含的任一待结算对象的触发操作,向所述结算服务器发送与所述任一待结算对象相对应的免结算请求包括:
响应于针对所述第一结算界面中包含的任一待结算对象的触发操作,展示用于设置所述任一待结算对象的对象类型的对象设置窗口;其中,所述对象设置窗口中展示有多个候选对象类型;
根据检测到的针对任一候选对象类型触发的类型选择指令或类型修改指令,获取与所述任一待结算对象相对应的对象类型信息。
可选的,所述免结算集合中包含的各个免结算对象相对应的免结算样本图像包括:所述干扰类型子集合中包含的各个干扰物品相对应的干扰样本图像。
可选的,所述针对所述任一待结算对象执行免结算处理包括:
将所述任一待结算对象所对应的计价信息调整为零;或者,将所述任一待结算对象从所述第一结算界面中剔除。
根据本发明实施例的又一个方面,提供了一种物品对象的结算方法,包括:
接收结算客户端发送的与物品结算区域相对应的物品结算图像,提取所述物品结算图像中包含的各个物品对象,针对提取的各个物品对象进行识别,得到包含至少一个待结算对象的对象识别结果;
向所述结算客户端返回对象识别结果,以供所述结算客户端展示与所述对象识别结果中包含的各个待结算对象相对应的第一结算界面;
接收所述结算客户端针对所述第一结算界面中包含的任一待结算对象触发的免结算请求;
向所述结算客户端发送与所述任一待结算对象相对应的免结算处理指令,以供所述结算客户端展示针对所述任一待结算对象执行免结算处理后得到的第二结算界面以执行结算处理。
可选的,所述提取所述物品结算对象中包含的各个物品对象包括:针对所述物品结算图像进行分割处理,根据分割处理结果提取所述物品结算图像中包含的各个物品对象;
所述针对提取的各个物品对象进行识别,得到包含至少一个待结算对象的对象识别结果包括:
通过预先训练得到的对象识别模型判断所述物品结算图像中包含的各个物品对象是否为待结算对象;
根据判断得到的待结算对象,生成包含至少一个待结算对象的对象识别结果。
可选的,所述通过预先训练得到的对象识别模型判断所述物品结算图像中包含的各个物品对象是否为待结算对象进一步包括:
查询所述物品结算图像中包含的各个物品对象是否属于预设的免结算集合,结合查询结果判断所述物品结算图像中包含的各个物品对象是否为待结算对象;
并且,所述接收所述结算客户端针对所述第一结算界面中包含的任一待结算对象触发的免结算请求之后,进一步包括:将所述任一待结算对象添加到所述预设的免结算集合中;其中,所述免结算集合用于识别从物品结算图像中提取的各个物品对象是否为待结算对象。
可选的,所述根据判断得到的待结算对象,生成包含至少一个待结算对象的对象识别结果包括:
查询预先配置的与各个待结算对象相对应的计价信息,生成包含所述至少一个待结算对象的计价信息的对象识别结果。
可选的,所述将所述任一待结算对象添加到免结算集合中之后,进一步包括:
获取与所述免结算集合中包含的各个免结算对象相对应的免结算样本图像,根据所述免结算样本图像对所述对象识别模型进行微调,以使微调后的对象识别模型作用于后续的对象识别过程。
可选的,所述获取与所述免结算集合中包含的各个免结算对象相对应的免结算样本图像包括:
当接收到所述免结算请求时,提取所述免结算请求中包含的对象标识,获取与所述对象标识相对应的免结算对象的免结算样本图像,并将获取到的免结算样本图像存储至免结算样本集合中;
当满足预设条件时,从所述免结算样本集合中获取与所述免结算集合中包含的各个免结算对象相对应的免结算样本图像;
其中,所述预设条件包括以下中的至少一个:距离上一次模型微调操作的时间间隔达到预设时间阈值、所述免结算样本集合中存储的免结算样本图像的数量达到预设数量阈值、以及当前时段属于业务低峰时段。
可选的,所述免结算请求中包含对象类型信息,则所述将所述任一待结算对象添加到免结算集合中具体包括:将所述任一待结算对象添加到免结算集合所包含的与所述对象类型信息相对应的类型子集合中;
其中,所述对象类型信息包括:干扰物品类型、和/或免单物品类型,则所述免结算集合所包含的与所述对象类型信息相对应的类型子集合包括:干扰类型子集合、和/或免单类型子集合。
可选的,所述方法执行之前,进一步包括:
获取由各个待结算样本得到的正样本集合,以及由各个干扰样本得到的负样本集合;
对所述正样本集合以及所述负样本集合进行训练,得到所述对象识别模型。
根据本发明实施例的又一个方面,提供了一种物品对象的结算客户端,包括:
结果接收模块,适于将获取到的与物品结算区域相对应的物品结算图像发送给结算服务器,接收所述结算服务器针对从所述物品结算图像中提取的各个物品对象进行识别后得到的包含至少一个待结算对象的对象识别结果;
免结算触发模块,适于展示与所述对象识别结果中包含的至少一个待结算对象相对应的第一结算界面,响应于针对所述第一结算界面中包含的任一待结算对象的触发操作,向所述结算服务器发送与所述任一待结算对象相对应的免结算请求;
展示结算模块,适于展示针对所述任一待结算对象执行免结算处理后得到的第二结算界面,通过所述第二结算界面执行物品对象的结算处理。
可选的,所述结果接收模块具体适于:
接收所述结算服务器针对所述物品结算图像进行分割处理并提取所述物品结算图像中包含的各个物品对象,通过预先训练得到的对象识别模型和/或通过所述免结算集合判断所述物品结算图像中包含的各个物品对象是否为待结算对象后生成的包含至少一个待结算对象的对象识别结果。
可选的,所述结果接收模块进一步适于:
查询所述物品结算图像中包含的各个物品对象是否属于预设的免结算集合,结合查询结果判断所述物品结算图像中包含的各个物品对象是否为待结算对象;
并且,所述免结算请求用于供结算服务器将所述任一待结算对象添加到所述预设的免结算集合中;其中,所述免结算集合用于识别从物品结算图像中提取的各个物品对象是否为免结算对象。
可选的,所述结果接收模块具体适于:
接收所述结算服务器查询预先配置的与各个待结算对象相对应的计价信息后,生成的包含所述至少一个待结算对象的计价信息的对象识别结果。
可选的,所述免结算触发模块具体适于:
向所述结算服务器发送包含与所述任一待结算对象相对应的对象类型信息的免结算请求,以供所述结算服务器将所述任一待结算对象添加到免结算集合所包含的与所述对象类型信息相对应的类型子集合中;
其中,所述对象类型信息包括:干扰物品类型、和/或免单物品类型,则所述免结算集合所包含的与所述对象类型信息相对应的类型子集合包括:干扰类型子集合、和/或免单类型子集合。
可选的,所述免结算触发模块具体适于:
响应于针对所述第一结算界面中包含的任一待结算对象的触发操作,展示用于设置所述任一待结算对象的对象类型的对象设置窗口;其中,所述对象设置窗口中展示有多个候选对象类型;
根据检测到的针对任一候选对象类型触发的类型选择指令或类型修改指令,获取与所述任一待结算对象相对应的对象类型信息。
可选的,所述免结算集合中包含的各个免结算对象相对应的免结算样本图像包括:所述干扰类型子集合中包含的各个干扰物品相对应的干扰样本图像。
可选的,所述展示结算模块具体适于:
将所述任一待结算对象所对应的计价信息调整为零;或者,将所述任一待结算对象从所述第一结算界面中剔除。
根据本发明实施例的又一个方面,提供了一种物品对象的结算服务器,包括:
提取模块,适于接收结算客户端发送的与物品结算区域相对应的物品结算图像,提取所述物品结算图像中包含的各个物品对象;
识别模块,适于针对提取的各个物品对象进行识别,得到包含至少一个待结算对象的对象识别结果;
结果返回模块,适于向所述结算客户端返回对象识别结果,以供所述结算客户端展示与所述对象识别结果中包含的各个待结算对象相对应的第一结算界面;
请求接收模块,适于接收所述结算客户端针对所述第一结算界面中包含的任一待结算对象触发的免结算请求;
免结算触发模块,适于向所述结算客户端发送与所述任一待结算对象相对应的免结算处理指令,以供所述结算客户端展示针对所述任一待结算对象执行免结算处理后得到的第二结算界面以执行结算处理。
可选的,所述提取模块具体适于:针对所述物品结算图像进行分割处理,根据分割处理结果提取所述物品结算图像中包含的各个物品对象;
所述识别模块具体适于:通过预先训练得到的对象识别模型判断所述物品结算图像中包含的各个物品对象是否为待结算对象;根据判断得到的待结算对象,生成包含至少一个待结算对象的对象识别结果。
可选的,所述识别模块进一步适于:
查询所述物品结算图像中包含的各个物品对象是否属于预设的免结算集合,结合查询结果判断所述物品结算图像中包含的各个物品对象是否为待结算对象;
并且,所述请求接收模块进一步适于:将所述任一待结算对象添加到所述预设的免结算集合中;其中,所述免结算集合用于识别从物品结算图像中提取的各个物品对象是否为待结算对象。
可选的,所述识别模块具体适于:
查询预先配置的与各个待结算对象相对应的计价信息,生成包含所述至少一个待结算对象的计价信息的对象识别结果。
可选的,所述请求接收模块进一步适于:
获取与所述免结算集合中包含的各个免结算对象相对应的免结算样本图像,根据所述免结算样本图像对所述对象识别模型进行微调,以使微调后的对象识别模型作用于后续的对象识别过程。
可选的,所述请求接收模块具体适于:
当接收到所述免结算请求时,提取所述免结算请求中包含的对象标识,获取与所述对象标识相对应的免结算对象的免结算样本图像,并将获取到的免结算样本图像存储至免结算样本集合中;
当满足预设条件时,从所述免结算样本集合中获取与所述免结算集合中包含的各个免结算对象相对应的免结算样本图像;
其中,所述预设条件包括以下中的至少一个:距离上一次模型微调操作的时间间隔达到预设时间阈值、所述免结算样本集合中存储的免结算样本图像的数量达到预设数量阈值、以及当前时段属于业务低峰时段。
可选的,所述免结算请求中包含对象类型信息,则所述请求接收模块具体适于:将所述任一待结算对象添加到免结算集合所包含的与所述对象类型信息相对应的类型子集合中;
其中,所述对象类型信息包括:干扰物品类型、和/或免单物品类型,则所述免结算集合所包含的与所述对象类型信息相对应的类型子集合包括:干扰类型子集合、和/或免单类型子集合。
可选的,所述服务器进一步包括:
模型训练模块,适于获取由各个待结算样本得到的正样本集合,以及由各个干扰样本得到的负样本集合;对所述正样本集合以及所述负样本集合进行训练,得到所述对象识别模型。
根据本发明实施例的又一个方面,提供了一种物品对象的结算系统,包括:上述的订单配送服务器、以及上述的订单配送客户端。
根据本发明实施例的又一方面,提供了一种电子设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行上述物品对象的结算方法对应的操作。
根据本发明实施例的再一方面,提供了一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如上述物品对象的结算方法对应的操作。
在本发明实施例提供的物品对象的结算方法、服务器、客户端及系统中,能够针对第一结算界面中包含的任一待结算对象执行触发操作,从而向结算服务器发送与任一待结算对象相对应的免结算请求;相应的,展示针对任一待结算对象执行免结算处理后得到的第二结算界面,通过第二结算界面执行物品对象的结算处理。由此可见,该方式能够针对识别得到的待结算对象触发免结算请求,从而使手机等干扰物品能够在第二结算界面中免于计价,从而避免因误识别而导致结算不准确的问题。
上述说明仅是本发明实施例技术方案的概述,为了能够更清楚了解本发明实施例的技术手段,而可依照说明书的内容予以实施,并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明实施例的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明实施例的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例提供的物品对象的结算方法的流程图;
图2示出了本发明另一实施例提供的物品对象的结算方法的流程图;
图3示出了本发明实施例提供的物品对象的结算客户端的结构示意图;
图4示出了本发明实施例提供的电子设备的结构示意图;
图5示出了本发明实施例提供的物品对象的结算服务器的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
图1示出了本发明实施例提供的物品对象的结算方法的流程图,如图1所示,该方法包括以下步骤:
步骤S110:将获取到的与物品结算区域相对应的物品结算图像发送给结算服务器,接收所述结算服务器针对从所述物品结算图像中提取的各个物品对象进行识别后得到的包含至少一个待结算对象的对象识别结果。
具体的,结算客户端通过拍照或扫描等方式获取与物品结算区域相对应的物品结算图像。其中,物品结算区域可以为营业员收银区域、用户自助收银区域等,相应的,物品结算图像中包含多个待结算的物品对象。结算服务器针对物品结算图像进行分割操作,以提取其中包含的各个物品对象。由于物品对象既可能是待结算对象,也可能是免结算对象(如手机等干扰物品或免费的餐品等),因此,结算服务器需要进一步对物品对象进行识别,以判断物品对象是否为待结算对象。结算客户端接收结算服务器返回的包含至少一个待结算对象的对象识别结果。其中,该对象识别结果中包含结算服务器识别出的属于待结算对象的物品对象。
步骤S120:展示与对象识别结果中包含的至少一个待结算对象相对应的第一结算界面,响应于针对第一结算界面中包含的任一待结算对象的触发操作,向结算服务器发送与任一待结算对象相对应的免结算请求。
具体的,结算客户端根据对象识别结果中包含的至少一个待结算对象,展示第一结算界面,该第一结算界面中包含对象识别结果中的各个待结算对象。其中,第一结算界面中的每个待结算对象具有对应的触发操作入口,通过触发操作入口能够针对该待结算对象执行触发操作,进而向结算服务器发送与该待结算对象相对应的免结算请求。相应的,结算服务器根据免结算请求执行免结算处理。
考虑到结算服务器在上一步骤中的识别结果可能出现错误,例如,可能将手机等干扰物品误识别为待结算对象,因此,用户(如收银用户或自助结算用户等)能够针对识别错误的任一待结算对象触发免结算请求,该免结算请求用于通知服务器执行免结算处理。
步骤S130:展示针对任一待结算对象执行免结算处理后得到的第二结算界面,通过第二结算界面执行物品对象的结算处理。
具体的,第二结算界面与第一结算界面相比,将误识别的待结算对象调整为免结算对象,从而防止用户错误支付。具体调整方式可以有多种。例如,在一种调整方式中,将与免结算请求相对应的待结算对象从第一结算界面中剔除,从而得到不包含与免结算请求相对应的待结算对象的第二结算界面。又如,在另一种调整方式中,将与免结算请求相对应的待结算对象的计价信息修改为零,从而使得该待结算对象无需用户支付。具体实施时,本领域技术人员可灵活选择多种方式生成第二结算界面,本发明对此不作限定。
由此可见,该方式能够针对识别得到的待结算对象触发免结算请求,从而使手机等干扰物品能够在第二结算界面中免于计价,从而避免因误识别而导致结算不准确的问题。
图2示出了本发明另一个实施例提供的物品对象的结算方法的流程图。如图2所示,该方法包括以下步骤:
步骤S200:根据收集到的样本集合训练对象识别模型。
其中,对象识别模型用于识别物品结算图像中包含的各个待结算对象,通常情况下,物品结算图像中包含多个物品对象,而每个物品对象既可能是待结算对象,也可能是免结算对象。其中,待结算对象是指:需要用户支付费用方可获取的收费对象;免结算对象是指:无需用户支付费用即可获取的免费对象。相应的,待结算对象包括:餐品(如菜品、汤品、主食等)、日用商品、服装等各类物品;免结算对象包括:免费的餐品、赠送的日用商品等,还可以包括手机、手表等用户随身携带的干扰物品,本发明对待结算对象以及免结算对象的具体内涵不作限定。
具体实施时,对象识别模型可通过以下方式训练得到:结算服务器获取由各个待结算样本得到的正样本集合,以及由各个干扰样本得到的负样本集合;对正样本集合以及负样本集合进行训练,得到对象识别模型。例如,以餐品结算过程为例,作为正样本的待结算样本根据预先采集的各个餐品的标准图像得到。相应的,作为干扰样本的负样本根据预先采集的常见随身物品的物品图像得到。根据标注后的正样本以及负样本进行训练,即可得到对象识别模型,训练得到的对象识别模型具有识别待结算对象以及免结算对象的能力。
步骤S201:结算客户端将获取到的与物品结算区域相对应的物品结算图像发送给结算服务器。
具体的,结算客户端可以为面向收银用户的收银结算终端,也可以为面向消费用户的自助结算终端,本发明不限定结算客户端的具体形式,只要能够实现结算业务功能即可。结算客户端可通过多种方式获取与物品结算区域相对应的物品结算图像。例如,可通过摄像装置对物品结算区域进行拍照,从而得到与物品结算区域相对应的物品结算图像;又如,可通过扫描装置对物品结算区域进行扫描,从而得到与物品结算区域相对应的物品结算图像。
步骤S202:结算服务器接收到结算客户端发送的与物品结算区域相对应的物品结算图像后,提取物品结算图像中包含的各个物品对象;针对提取的各个物品对象进行识别,得到包含至少一个待结算对象的对象识别结果。
具体的,由于物品结算图像中包含背景区域以及多个物品对象,因此,需要从物品结算图像中提取出各个物品对象,进而识别提取出的各个物品对象是否为待结算对象。具体提取时,可通过图像分割方式实现,相应的,结算服务器针对物品结算图像进行分割处理,以便将物品区域从背景区域中分割出来,并通过分割得到各个不同的物品对象,从而根据分割处理结果提取物品结算图像中包含的各个物品对象。
由于提取出的各个物品对象既可能是待结算对象,也可能是免结算对象,因此,需要针对提取的各个物品对象进行识别,以确定其中包含的至少一个待结算对象。具体识别时,可通过多种方式实现:
在第一种实现方式中,通过预先训练得到的对象识别模型判断物品结算图像中包含的各个物品对象是否为待结算对象。具体的,可以直接将物品结算图像输入对象识别模型,根据对象识别模型的输出结果确定各个物品对象属于待结算对象或免结算对象,此时,对象识别模型具有分割提取物品结算图像中的物品对象以及识别物品对象是否为待结算对象的双重功能。或者,也可以将提取得到的各个物品对象的对象图片输入对象识别模型,根据对象识别模型的输出结果确定各个物品对象属于待结算对象或免结算对象。
在第二种实现方式中,通过预设的免结算集合判断物品结算图像中包含的各个物品对象是否为待结算对象。其中,免结算集合用于存储已知的免结算对象的对象图片、对象标识和/或对象属性信息等内容,从而滤除物品结算图像中包含的免结算对象,得到待结算对象。其中,免结算集合用于存储已知的各个免结算对象的相关信息,具体的,免结算集合可以通过免结算列表、免结算链表、免结算数据库等多种方式实现,本发明对此不作限定。
其中,上述的两种实现方式既可以单独使用,也可以结合使用。当二者结合使用时,可以先使用第一种方式识别各个待结算对象,然后,将通过对象识别模型确定的各个待结算对象与免结算集合进行匹配,根据匹配结果将对象识别模型误识别的待结算对象滤除,从而避免将免结算对象误识别为待结算对象。相应的,根据判断得到的待结算对象,生成包含至少一个待结算对象的对象识别结果。
由此可见,在通过预先训练得到的对象识别模型判断物品结算图像中包含的各个物品对象是否为待结算对象时,可以进一步查询物品结算图像中包含的各个物品对象是否属于预设的免结算集合,结合查询结果判断物品结算图像中包含的各个物品对象是否为待结算对象。例如,若物品结算图像中包含的一个物品对象属于预设的免结算集合,则说明该物品对象无需结算,因而不属于待结算对象;若物品结算图像中包含的一个物品对象不属于预设的免结算集合,则说明该物品对象需要结算,因而属于待结算对象。其中,查询物品结算图像中包含的各个物品对象是否属于预设的免结算集合的操作既可以在对象识别模型输出结果之前查询,也可以在对象识别模型输出结果之后查询,本发明对具体细节不作限定。
另外,在生成包含至少一个待结算对象的对象识别结果时,进一步通过以下方式实现:查询预先配置的与各个待结算对象相对应的计价信息,生成包含至少一个待结算对象的计价信息的对象识别结果。具体的,根据各个餐品的定价情况,预先配置与各个待结算对象相对应的计价信息,从而使对象识别结果中进一步包含与各个待结算对象相对应的计价信息。例如,第一待结算对象为“宫保鸡丁”,其对应的计价信息为20元;第二待结算对象为“鱼香肉丝”,其对应的计价信息为18元。通过计价信息能够实现后续的自动结算处理。
步骤S203:结算客户端接收结算服务器针对从物品结算图像中提取的各个物品对象进行识别后得到的包含至少一个待结算对象的对象识别结果;展示与对象识别结果中包含的至少一个待结算对象相对应的第一结算界面。
具体的,结算客户端接收到的对象识别结果中不仅包含各个待结算对象的对象属性信息(如对象名称、对象标识等),还包含各个待结算对象的计价信息。相应的,结算客户端展示的第一结算界面中不仅包含各个待结算对象的对象属性信息(如对象名称、对象标识等),还包含各个待结算对象的计价信息。由此可见,通过第一结算界面能够展示出各个待结算对象及其对应的计价信息,以便于用户进行结算支付处理。
步骤S204:响应于针对第一结算界面中包含的任一待结算对象的触发操作,向结算服务器发送与任一待结算对象相对应的免结算请求。
具体的,第一结算界面中的每个待结算对象具有对应的触发入口,该触发入口用于触发与该待结算对象相对应的触发操作。其中,每个待结算对象对应的触发入口可以为多种形式,例如,可以为热区形式、超链接形式、按钮形式等。当检测到针对任一待结算对象的触发操作时,向结算服务器发送与任一待结算对象相对应的免结算请求。
由于对象识别模型的识别结果可能具有一定的误差,因此,第一结算界面中的一个或多个待结算对象可能为误识别的免结算对象,例如,将用户的手机误识别为某一待结算的餐品。为了解决上述误识别的问题,本实施例针对第一结算界面中展示的每个待结算对象设置有对应的触发入口,以便触发与该待结算对象相对应的免结算请求。
步骤S205:结算服务器接收到结算客户端针对第一结算界面中包含的任一待结算对象触发的免结算请求时,将该任一待结算对象添加到免结算集合中。
其中,每当结算服务器接收到结算客户端针对第一结算界面中包含的任一待结算对象触发的免结算请求时,获取该免结算请求中包含的对象标识,以便将该任一待结算对象(即该待结算对象的对象标识)添加到免结算集合中。该免结算集合用于识别从物品结算图像中提取的各个物品对象是否为待结算对象。由此可见,更新后的免结算集合能够对后续获取到的物品结算图像进行更加准确的识别,避免在后续结算过程中重复出现相同的误识别情况。
另外,考虑到免结算对象的类型可能有多种,因此,结算客户端向结算服务器发送与任一待结算对象相对应的免结算请求时,具体向结算服务器发送包含与任一待结算对象相对应的对象类型信息的免结算请求,以供结算服务器将任一待结算对象添加到免结算集合所包含的与该对象类型信息相对应的类型子集合中。其中,对象类型信息包括:干扰物品类型、和/或免单物品类型,则免结算集合所包含的与对象类型信息相对应的类型子集合包括:干扰类型子集合、和/或免单类型子集合。由此可见,免结算请求中包含对象类型信息,且结算服务器具体将任一待结算对象添加到免结算集合所包含的与对象类型信息相对应的类型子集合中。
另外,为了便于用户选择与误识别的待结算对象相对应的对象类型信息,结算客户端响应于针对第一结算界面中包含的任一待结算对象的触发操作,展示用于设置任一待结算对象的对象类型的对象设置窗口;其中,对象设置窗口中展示有多个候选对象类型;根据检测到的针对任一候选对象类型触发的类型选择指令或类型修改指令,获取与任一待结算对象相对应的对象类型信息。由此可见,当用户针对任一待结算对象执行触发操作后,将展示用于设置该待结算对象的对象类型的对象设置窗口,该对象设置窗口中包含多个可供用户选择的候选对象类型,例如,候选对象类型可以包括:干扰物品类型(也可以称作黑名单物品类型)、免单物品类型(如免费的汤品、菜品、赠品等)。相应的,用户可以针对任一候选对象类型触发类型选择指令,以便将该候选对象类型确定为与该误识别的待结算对象相对应的对象类型;或者,用户可以针对任一候选对象类型触发类型修改指令,以便将该候选对象类型修改为用户指定的类型,进而将该用户指定的类型确定为与该误识别的待结算对象相对应的对象类型。其中,多个候选对象类型可通过下拉列表等各种方式呈现。另外,用户也可以通过输入类型信息的方式来设置与该误识别的待结算对象相对应的对象类型,总之,本发明不限定对象类型的设置方式。
步骤S206:结算服务器获取与免结算集合中包含的各个免结算对象相对应的免结算样本图像,根据免结算样本图像对对象识别模型进行微调,以使微调后的对象识别模型作用于后续的对象识别过程。
具体的,本步骤的执行目的在于:由结算服务器根据免结算集合中已存储的各个免结算对象,重新训练对象识别模型,以使重新训练后的对象识别模型能够准确识别与免结算集合中已存储的各个免结算对象类似的物品对象,进而提升模型识别的精度。具体实施时,当结算服务器接收到免结算请求时,提取免结算请求中包含的对象标识,获取与该对象标识相对应的免结算对象的免结算样本图像,并将获取到的免结算样本图像存储至免结算样本集合中。其中,免结算对象的免结算样本图像可以根据从物品结算图像中分割提取的误识别的待结算对象的图像得到。
例如,在结算服务器从物品结算图像中提取各个物品对象并识别其中包含的待结算对象时,进一步针对识别出的各个待结算对象分配对应的对象标识,并记录与该对象标识相对应的对象局部图像(即该待结算对象对应于物品结算图像中的局部区域的图像)。相应的,在结算服务器返回的对象识别结果中,进一步包含各个待结算对象的对象标识,因此,在结算客户端触发的免结算请求中包含的对象标识与结算服务器返回的对象识别结果中包含的各个待结算对象的对象标识匹配,结算服务器根据接收到的免结算请求中的对象标识即可获取到与该对象标识相对应的对象局部图像,该对象局部图像即为与该对象标识相对应的免结算对象的免结算样本图像。
相应的,当满足预设条件时,从免结算样本集合中获取与免结算集合中包含的各个免结算对象相对应的免结算样本图像。其中,预设条件包括以下中的至少一个:距离上一次模型微调操作的时间间隔达到预设时间阈值、免结算样本集合中存储的免结算样本图像的数量达到预设数量阈值、以及当前时段属于业务低峰时段。由此可见,在本实施例中,结算服务器能够定期或不定期地获取与免结算集合中包含的各个免结算对象相对应的免结算样本图像,从而调整对象识别模型,以使对象识别模型的精度越来越高。预设条件可由本领域技术人员灵活设定。例如,在一种方式中,每隔预设时间阈值重新训练一次对象识别模型,或每当免结算样本集合中存储的免结算样本图像的数量达到预设数量阈值时重新训练一次对象识别模型。又如,在又一种方式中,在业务低峰时段重新训练对象识别模型,以降低对线上业务的影响。具体实施时,上述两种方式可以结合使用,例如,每当根据预设时间阈值或预设数量阈值判断出重新训练对象识别模型时,进一步判断当前时段是否为业务低峰时段,若是,则触发对象识别模型的训练操作;若否,则在业务低峰时段到达时触发对象识别模型的训练操作。其中,业务低峰时段是指:业务量低于预设业务量阈值的时段,具体可通过业务操作的历史监测数据获取,例如,以餐品为例,业务低峰时段即为非就餐时段。
例如,服务器后台收集各种各样的黑名单样本(即干扰物品样本),采用小样本训练策略,在门店低峰期自动触发少样本检测方式,以便重新训练对象识别模型,进行微调,由此可以保证下次使用对象识别模型进行识别时,一旦出现上次标记过的干扰物品时,不会将该干扰物品错误检测为菜品,更加智能且鲁棒性更高。
另外,由于实际业务场景中可能仅需要准确识别干扰物品,而免单物品则不需要重新识别。原因在于:干扰物品之所以被误识别为待结算对象,本质上是由于识别算法不够准确,出现了识别误差;而免单物品被误识别为待结算对象,则通常是由于业务计费的配置方式发生了改变,例如,部分商品设置有限时免费或限量免费活动。由此可见,为了避免免单物品被误识别为待结算对象,只需要及时更新预先配置的计价信息的计价条件即可,因此,模型调整的侧重点可以仅放在干扰物品的识别功能上。相应的,上述的免结算集合中包含的各个免结算对象相对应的免结算样本图像具体为:干扰类型子集合中包含的各个干扰物品相对应的干扰样本图像。
步骤S207:结算客户端展示针对任一待结算对象执行免结算处理后得到的第二结算界面,通过第二结算界面执行物品对象的结算处理。
具体实施时,结算客户端既可以根据免结算请求直接在本地展示针对任一待结算对象执行免结算处理后得到的第二结算界面,也可以由结算服务器向结算客户端发送与任一待结算对象相对应的免结算处理指令,以供结算客户端展示针对任一待结算对象执行免结算处理后得到的第二结算界面以执行结算处理。本发明对具体执行细节不作限定。
具体的,在针对任一待结算对象执行免结算处理时,可通过多种实现方式实现:例如,在一种方式中,将任一待结算对象所对应的计价信息调整为零;又如,在又一种方式中,将任一待结算对象从第一结算界面中剔除。总之,无论采用何种免结算处理方式,只要能够确保第二结算界面中未针对免结算请求所对应的物品对象执行计费处理即可。
由此可见,在本实施例中,提出了一种黑名单模式(即干扰物品模式)以及自学习系统,可以使得结算设备在不同场景下,能够识别出物品结算区域的非结算物品(比如手机、手表、手套等),加入到免结算集合中,且能使得模型经过自学习后,避免检测到非菜品物体。本实施例中的算法在出现错误检测时,通过两种方案进行托底,以避免用户误支付。方案一为黑名单模式(即免结算集合模式),只需要用户对错误识别的物体,进行正确归类,归类到黑名单库中,黑名单库中的价格均设置为0元,因此用户实际支付金额等于真实菜品金额,无需退款操作,方便便捷用户体验好,且再次遇到该物品时候,自动可以根据免结算集合识别出此类为黑名单物体,无需用户二次操作。方案二为:算法会在门店结算低峰期,进行黑名单物体检测的少样本微调学习,从而避免后续门店使用过程中检测到该类物体。
另外,需要说明的是,本实施例中的结算客户端以及结算服务器可以为多组,例如,分别针对同一品牌下的每个连锁门店,配置至少一个结算客户端以及结算服务器,相应的,同一品牌下的每个结算服务器共用同一个对象识别模型。因此,当任一连锁门店中的结算客户端向其对应的结算服务器触发免结算请求后,该结算服务器将与该免结算请求中包含的对象标识相对应的免结算样本图像存储到免结算样本集合中。因此,在模型微调过程中,可以收集同一品牌所对应的多个结算服务器所对应的免结算样本集合,从而汇总各个结算服务器所对应的免结算样本集合,以扩充免结算样本数量,提升模型调整效果。另外,需要说明的是,通过免结算集合所对应的各个免结算样本图像,只能识别出与免结算样本图像相同的免结算物品,而一旦该免结算物品的形状、颜色、尺寸等发生改变则难以准确识别,因此,仅凭免结算集合实现的检测效果有限,通过对模型进行微调,能够使模型能够学习出免结算物品的各类特征,从而在后续过程中对存在类似特征的物品进行准确识别,从而进一步提升准确性。
综上可知,该方式能够针对识别得到的待结算对象触发免结算请求,从而使手机等干扰物品能够在第二结算界面中免于计价,从而避免因误识别而导致结算不准确的问题。并且,该方式通过免结算集合以及模型微调两种方式,能够确保识别的准确性。
图3示出了本发明又一实施例提供的一种物品对象的结算客户端的结构示意图,如图3所示,该结算客户端包括:
结果接收模块31,适于将获取到的与物品结算区域相对应的物品结算图像发送给结算服务器,接收所述结算服务器针对从所述物品结算图像中提取的各个物品对象进行识别后得到的包含至少一个待结算对象的对象识别结果;
免结算触发模块32,适于展示与所述对象识别结果中包含的至少一个待结算对象相对应的第一结算界面,响应于针对所述第一结算界面中包含的任一待结算对象的触发操作,向所述结算服务器发送与所述任一待结算对象相对应的免结算请求;
展示结算模块33,适于展示针对所述任一待结算对象执行免结算处理后得到的第二结算界面,通过所述第二结算界面执行物品对象的结算处理。可选的,所述结果接收模块具体适于:
接收所述结算服务器针对所述物品结算图像进行分割处理并提取所述物品结算图像中包含的各个物品对象,通过预先训练得到的对象识别模型判断所述物品结算图像中包含的各个物品对象是否为待结算对象后生成的包含至少一个待结算对象的对象识别结果。
可选的,所述结果接收模块进一步适于:
查询所述物品结算图像中包含的各个物品对象是否属于预设的免结算集合,结合查询结果判断所述物品结算图像中包含的各个物品对象是否为待结算对象;
并且,所述免结算请求用于供结算服务器将所述任一待结算对象添加到所述预设的免结算集合中;其中,所述免结算集合用于识别从物品结算图像中提取的各个物品对象是否为免结算对象。
可选的,所述结果接收模块具体适于:
接收所述结算服务器查询预先配置的与各个待结算对象相对应的计价信息后,生成的包含所述至少一个待结算对象的计价信息的对象识别结果。
可选的,所述免结算触发模块具体适于:
向所述结算服务器发送包含与所述任一待结算对象相对应的对象类型信息的免结算请求,以供所述结算服务器将所述任一待结算对象添加到免结算集合所包含的与所述对象类型信息相对应的类型子集合中;
其中,所述对象类型信息包括:干扰物品类型、和/或免单物品类型,则所述免结算集合所包含的与所述对象类型信息相对应的类型子集合包括:干扰类型子集合、和/或免单类型子集合。
可选的,所述免结算触发模块具体适于:
响应于针对所述第一结算界面中包含的任一待结算对象的触发操作,展示用于设置所述任一待结算对象的对象类型的对象设置窗口;其中,所述对象设置窗口中展示有多个候选对象类型;
根据检测到的针对任一候选对象类型触发的类型选择指令或类型修改指令,获取与所述任一待结算对象相对应的对象类型信息。
可选的,所述免结算集合中包含的各个免结算对象相对应的免结算样本图像包括:所述干扰类型子集合中包含的各个干扰物品相对应的干扰样本图像。
可选的,所述展示结算模块具体适于:
将所述任一待结算对象所对应的计价信息调整为零;或者,将所述任一待结算对象从所述第一结算界面中剔除。
图5示出了本发明又一实施例提供的一种物品对象的结算服务器的结构示意图,如图5所示,该结算服务器包括:
提取模块51,适于接收结算客户端发送的与物品结算区域相对应的物品结算图像,提取所述物品结算图像中包含的各个物品对象;
识别模块52,适于针对提取的各个物品对象进行识别,得到包含至少一个待结算对象的对象识别结果;
结果返回模块53,适于向所述结算客户端返回对象识别结果,以供所述结算客户端展示与所述对象识别结果中包含的各个待结算对象相对应的第一结算界面;
请求接收模块54,适于接收所述结算客户端针对所述第一结算界面中包含的任一待结算对象触发的免结算请求,将所述任一待结算对象添加到免结算集合中;其中,该免结算集合用于识别从物品结算图像中提取的各个物品对象是否为待结算对象;
免结算触发模块55,适于向所述结算客户端发送与所述任一待结算对象相对应的免结算处理指令,以供所述结算客户端展示针对所述任一待结算对象执行免结算处理后得到的第二结算界面以执行结算处理。
可选的,所述提取模块具体适于:针对所述物品结算图像进行分割处理,根据分割处理结果提取所述物品结算图像中包含的各个物品对象;
所述识别模块具体适于:通过预先训练得到的对象识别模型判断所述物品结算图像中包含的各个物品对象是否为待结算对象;根据判断得到的待结算对象,生成包含至少一个待结算对象的对象识别结果。
可选的,所述识别模块进一步适于:
查询所述物品结算图像中包含的各个物品对象是否属于预设的免结算集合,结合查询结果判断所述物品结算图像中包含的各个物品对象是否为待结算对象;
并且,所述请求接收模块进一步适于:将所述任一待结算对象添加到所述预设的免结算集合中;其中,所述免结算集合用于识别从物品结算图像中提取的各个物品对象是否为待结算对象。
可选的,所述识别模块具体适于:
查询预先配置的与各个待结算对象相对应的计价信息,生成包含所述至少一个待结算对象的计价信息的对象识别结果。
可选的,所述请求接收模块进一步适于:
获取与所述免结算集合中包含的各个免结算对象相对应的免结算样本图像,根据所述免结算样本图像对所述对象识别模型进行微调,以使微调后的对象识别模型作用于后续的对象识别过程。
可选的,所述请求接收模块具体适于:
当接收到所述免结算请求时,提取所述免结算请求中包含的对象标识,获取与所述对象标识相对应的免结算对象的免结算样本图像,并将获取到的免结算样本图像存储至免结算样本集合中;
当满足预设条件时,从所述免结算样本集合中获取与所述免结算集合中包含的各个免结算对象相对应的免结算样本图像;
其中,所述预设条件包括以下中的至少一个:距离上一次模型微调操作的时间间隔达到预设时间阈值、所述免结算样本集合中存储的免结算样本图像的数量达到预设数量阈值、以及当前时段属于业务低峰时段。
可选的,所述免结算请求中包含对象类型信息,则所述请求接收模块具体适于:将所述任一待结算对象添加到免结算集合所包含的与所述对象类型信息相对应的类型子集合中;
其中,所述对象类型信息包括:干扰物品类型、和/或免单物品类型,则所述免结算集合所包含的与所述对象类型信息相对应的类型子集合包括:干扰类型子集合、和/或免单类型子集合。
可选的,所述服务器进一步包括:
模型训练模块,适于获取由各个待结算样本得到的正样本集合,以及由各个干扰样本得到的负样本集合;对所述正样本集合以及所述负样本集合进行训练,得到所述对象识别模型。
另外,本发明又一实施例还提供了一种物品对象的结算系统,包括:上述的订单配送服务器、以及上述的订单配送客户端。
在本发明实施例提供的服务器、客户端及系统中,能够针对识别得到的待结算对象触发免结算请求,从而使手机等干扰物品能够在第二结算界面中免于计价,从而避免因误识别而导致结算不准确的问题。
本发明实施例提供了一种非易失性计算机存储介质,所述计算机存储介质存储有至少一可执行指令,该计算机可执行指令可执行上述任意方法实施例中的物品对象的结算方法。
可执行指令具体可以用于使得处理器执行上述方法中的各项操作。
图4示出了本发明实施例提供的电子设备的结构示意图,本发明具体实施例并不对电子设备的具体实现做限定。
如图4所示,该电子设备可以包括:处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。
其中:处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。通信接口404,用于与其它设备比如客户端或其它服务器等的网元通信。处理器402,用于执行程序410,具体可以执行上述用于物品对象的结算方法实施例中的相关步骤。
具体地,程序410可以包括程序代码,该程序代码包括计算机操作指令。
处理器402可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器406,用于存放程序410。存储器406可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序410具体可以用于使得处理器402执行上述方法中的各项操作。
在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明实施例也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明实施例的内容,并且上面对特定语言所做的描述是为了披露本发明实施例的较佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明实施例并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明实施例要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些或者全部部件的一些或者全部功能。本发明实施例还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明实施例的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明实施例进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明实施例可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤,除有特殊说明外,不应理解为对执行顺序的限定。

Claims (22)

1.一种物品对象的结算方法,其特征在于,包括:
将获取到的与物品结算区域相对应的物品结算图像发送给结算服务器,接收所述结算服务器针对从所述物品结算图像中提取的各个物品对象进行识别后得到的包含至少一个待结算对象的对象识别结果;
展示与所述对象识别结果中包含的至少一个待结算对象相对应的第一结算界面,响应于针对所述第一结算界面中包含的任一待结算对象的触发操作,向所述结算服务器发送与所述任一待结算对象相对应的免结算请求;
展示针对所述任一待结算对象执行免结算处理后得到的第二结算界面,通过所述第二结算界面执行物品对象的结算处理。
2.根据权利要求1所述的方法,其特征在于,所述接收所述结算服务器针对从所述物品结算图像中提取的各个物品对象进行识别后得到的包含至少一个待结算对象的对象识别结果包括:
所述结算服务器针对所述物品结算图像进行分割处理,根据分割处理结果提取所述物品结算图像中包含的各个物品对象;
通过预先训练得到的对象识别模型判断所述物品结算图像中包含的各个物品对象是否为待结算对象;
接收所述结算服务器根据判断结果生成的包含至少一个待结算对象的对象识别结果。
3.根据权利要求2所述的方法,其特征在于,所述通过预先训练得到的对象识别模型判断所述物品结算图像中包含的各个物品对象是否为待结算对象具体包括:
查询所述物品结算图像中包含的各个物品对象是否属于预设的免结算集合,结合查询结果判断所述物品结算图像中包含的各个物品对象是否为待结算对象;
并且,所述免结算请求用于供结算服务器将所述任一待结算对象添加到所述预设的免结算集合中;其中,所述免结算集合用于识别从物品结算图像中提取的各个物品对象是否为免结算对象。
4.根据权利要求2所述的方法,其特征在于,所述接收所述结算服务器根据判断结果生成的包含至少一个待结算对象的对象识别结果包括:
接收所述结算服务器查询预先配置的与各个待结算对象相对应的计价信息后,生成的包含所述至少一个待结算对象的计价信息的对象识别结果。
5.根据权利要求2-4任一所述的方法,其特征在于,所述向所述结算服务器发送与所述任一待结算对象相对应的免结算请求之后,进一步包括:
所述结算服务器获取与所述免结算集合中包含的各个免结算对象相对应的免结算样本图像,根据所述免结算样本图像对所述对象识别模型进行微调,以使微调后的对象识别模型作用于后续的对象识别过程。
6.根据权利要求3或4所述的方法,其特征在于,所述向所述结算服务器发送与所述任一待结算对象相对应的免结算请求包括:
向所述结算服务器发送包含与所述任一待结算对象相对应的对象类型信息的免结算请求,以供所述结算服务器将所述任一待结算对象添加到免结算集合所包含的与所述对象类型信息相对应的类型子集合中;
其中,所述对象类型信息包括:干扰物品类型、和/或免单物品类型,则所述免结算集合所包含的与所述对象类型信息相对应的类型子集合包括:干扰类型子集合、和/或免单类型子集合。
7.根据权利要求6所述的方法,其特征在于,所述响应于针对所述第一结算界面中包含的任一待结算对象的触发操作,向所述结算服务器发送与所述任一待结算对象相对应的免结算请求包括:
响应于针对所述第一结算界面中包含的任一待结算对象的触发操作,展示用于设置所述任一待结算对象的对象类型的对象设置窗口;其中,所述对象设置窗口中展示有多个候选对象类型;
根据检测到的针对任一候选对象类型触发的类型选择指令或类型修改指令,获取与所述任一待结算对象相对应的对象类型信息。
8.根据权利要求6所述的方法,其特征在于,所述免结算集合中包含的各个免结算对象相对应的免结算样本图像包括:所述干扰类型子集合中包含的各个干扰物品相对应的干扰样本图像。
9.根据权利要求1-4任一所述的方法,其特征在于,所述针对所述任一待结算对象执行免结算处理包括:
将所述任一待结算对象所对应的计价信息调整为零;或者,将所述任一待结算对象从所述第一结算界面中剔除。
10.一种物品对象的结算方法,其特征在于,包括:
接收结算客户端发送的与物品结算区域相对应的物品结算图像,提取所述物品结算图像中包含的各个物品对象,针对提取的各个物品对象进行识别,得到包含至少一个待结算对象的对象识别结果;
向所述结算客户端返回对象识别结果,以供所述结算客户端展示与所述对象识别结果中包含的各个待结算对象相对应的第一结算界面;
接收所述结算客户端针对所述第一结算界面中包含的任一待结算对象触发的免结算请求;
向所述结算客户端发送与所述任一待结算对象相对应的免结算处理指令,以供所述结算客户端展示针对所述任一待结算对象执行免结算处理后得到的第二结算界面以执行结算处理。
11.根据权利要求10所述的方法,其特征在于,所述提取所述物品结算对象中包含的各个物品对象包括:针对所述物品结算图像进行分割处理,根据分割处理结果提取所述物品结算图像中包含的各个物品对象;
所述针对提取的各个物品对象进行识别,得到包含至少一个待结算对象的对象识别结果包括:
通过预先训练得到的对象识别模型判断所述物品结算图像中包含的各个物品对象是否为待结算对象;
根据判断得到的待结算对象,生成包含至少一个待结算对象的对象识别结果。
12.根据权利要求11所述的方法,其特征在于,所述通过预先训练得到的对象识别模型判断所述物品结算图像中包含的各个物品对象是否为待结算对象进一步包括:
查询所述物品结算图像中包含的各个物品对象是否属于预设的免结算集合,结合查询结果判断所述物品结算图像中包含的各个物品对象是否为待结算对象;
并且,所述接收所述结算客户端针对所述第一结算界面中包含的任一待结算对象触发的免结算请求之后,进一步包括:将所述任一待结算对象添加到所述预设的免结算集合中;其中,所述免结算集合用于识别从物品结算图像中提取的各个物品对象是否为待结算对象。
13.根据权利要求11所述的方法,其特征在于,所述根据判断得到的待结算对象,生成包含至少一个待结算对象的对象识别结果包括:
查询预先配置的与各个待结算对象相对应的计价信息,生成包含所述至少一个待结算对象的计价信息的对象识别结果。
14.根据权利要求12所述的方法,其特征在于,所述将所述任一待结算对象添加到免结算集合中之后,进一步包括:
获取与所述免结算集合中包含的各个免结算对象相对应的免结算样本图像,根据所述免结算样本图像对所述对象识别模型进行微调,以使微调后的对象识别模型作用于后续的对象识别过程。
15.根据权利要求14所述的方法,其特征在于,所述获取与所述免结算集合中包含的各个免结算对象相对应的免结算样本图像包括:
当接收到所述免结算请求时,提取所述免结算请求中包含的对象标识,获取与所述对象标识相对应的免结算对象的免结算样本图像,并将获取到的免结算样本图像存储至免结算样本集合中;
当满足预设条件时,从所述免结算样本集合中获取与所述免结算集合中包含的各个免结算对象相对应的免结算样本图像;
其中,所述预设条件包括以下中的至少一个:距离上一次模型微调操作的时间间隔达到预设时间阈值、所述免结算样本集合中存储的免结算样本图像的数量达到预设数量阈值、以及当前时段属于业务低峰时段。
16.根据权利要求12-15任一所述的方法,其特征在于,所述免结算请求中包含对象类型信息,则所述将所述任一待结算对象添加到免结算集合中具体包括:将所述任一待结算对象添加到免结算集合所包含的与所述对象类型信息相对应的类型子集合中;
其中,所述对象类型信息包括:干扰物品类型、和/或免单物品类型,则所述免结算集合所包含的与所述对象类型信息相对应的类型子集合包括:干扰类型子集合、和/或免单类型子集合。
17.根据权利要求10-15任一所述的方法,其特征在于,所述方法执行之前,进一步包括:
获取由各个待结算样本得到的正样本集合,以及由各个干扰样本得到的负样本集合;
对所述正样本集合以及所述负样本集合进行训练,得到所述对象识别模型。
18.一种物品对象的结算客户端,其特征在于,包括:
结果接收模块,适于将获取到的与物品结算区域相对应的物品结算图像发送给结算服务器,接收所述结算服务器针对从所述物品结算图像中提取的各个物品对象进行识别后得到的包含至少一个待结算对象的对象识别结果;
免结算触发模块,适于展示与所述对象识别结果中包含的至少一个待结算对象相对应的第一结算界面,响应于针对所述第一结算界面中包含的任一待结算对象的触发操作,向所述结算服务器发送与所述任一待结算对象相对应的免结算请求;
展示结算模块,适于展示针对所述任一待结算对象执行免结算处理后得到的第二结算界面,通过所述第二结算界面执行物品对象的结算处理。
19.一种物品对象的结算服务器,其特征在于,包括:
提取模块,适于接收结算客户端发送的与物品结算区域相对应的物品结算图像,提取所述物品结算图像中包含的各个物品对象;
识别模块,适于针对提取的各个物品对象进行识别,得到包含至少一个待结算对象的对象识别结果;
结果返回模块,适于向所述结算客户端返回对象识别结果,以供所述结算客户端展示与所述对象识别结果中包含的各个待结算对象相对应的第一结算界面;
请求接收模块,适于接收所述结算客户端针对所述第一结算界面中包含的任一待结算对象触发的免结算请求;
免结算触发模块,适于向所述结算客户端发送与所述任一待结算对象相对应的免结算处理指令,以供所述结算客户端展示针对所述任一待结算对象执行免结算处理后得到的第二结算界面以执行结算处理。
20.一种物品对象的结算系统,其特征在于,包括:权利要求18所述的物品对象的结算客户端、以及权利要求19所述的物品对象的结算服务器。
21.一种电子设备,其特征在于,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-9中任一项所述的物品对象的结算方法对应的操作;或者,所述可执行指令使所述处理器执行如权利要求10-17中任一项所述的物品对象的结算方法对应的操作。
22.一种计算机存储介质,其特征在于,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如权利要求1-9中任一项所述的物品对象的结算方法对应的操作;或者,所述可执行指令使所述处理器执行如权利要求10-17中任一项所述的物品对象的结算方法对应的操作。
CN202110310972.0A 2021-03-24 2021-03-24 物品对象的结算方法、服务器、客户端及系统 Pending CN112700312A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110310972.0A CN112700312A (zh) 2021-03-24 2021-03-24 物品对象的结算方法、服务器、客户端及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110310972.0A CN112700312A (zh) 2021-03-24 2021-03-24 物品对象的结算方法、服务器、客户端及系统

Publications (1)

Publication Number Publication Date
CN112700312A true CN112700312A (zh) 2021-04-23

Family

ID=75515628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110310972.0A Pending CN112700312A (zh) 2021-03-24 2021-03-24 物品对象的结算方法、服务器、客户端及系统

Country Status (1)

Country Link
CN (1) CN112700312A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861886A (zh) * 2021-04-26 2021-05-28 浙江口碑网络技术有限公司 信息处理和模型训练方法、装置、电子设备和存储介质
CN115331217A (zh) * 2022-09-02 2022-11-11 烟台创迹软件有限公司 一种餐食结算方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108320404A (zh) * 2017-09-27 2018-07-24 缤果可为(北京)科技有限公司 基于神经网络的商品识别方法、装置、自助收银台
CN108550229A (zh) * 2018-04-08 2018-09-18 珠海博明视觉科技有限公司 一种人工智能自动收银方法
CN108780596A (zh) * 2016-02-29 2018-11-09 路标株式会社 信息处理系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108780596A (zh) * 2016-02-29 2018-11-09 路标株式会社 信息处理系统
CN108320404A (zh) * 2017-09-27 2018-07-24 缤果可为(北京)科技有限公司 基于神经网络的商品识别方法、装置、自助收银台
CN108550229A (zh) * 2018-04-08 2018-09-18 珠海博明视觉科技有限公司 一种人工智能自动收银方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861886A (zh) * 2021-04-26 2021-05-28 浙江口碑网络技术有限公司 信息处理和模型训练方法、装置、电子设备和存储介质
CN115331217A (zh) * 2022-09-02 2022-11-11 烟台创迹软件有限公司 一种餐食结算方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN106384273B (zh) 恶意刷单检测系统及方法
CN108335408B (zh) 用于自动售货机的物品识别方法、装置、系统及存储介质
CN107291732B (zh) 一种信息推送方法及装置
CN110795584B (zh) 一种用户标识生成方法、装置及终端设备
CN110033293B (zh) 获取用户信息的方法、装置及系统
CN112700312A (zh) 物品对象的结算方法、服务器、客户端及系统
CN109635705B (zh) 一种基于二维码和深度学习的商品识别方法及装置
CN110945552B (zh) 一种产品销量提报方法、支付方法和终端设备
CN111126098A (zh) 证件图像采集方法、装置、设备及存储介质
CN111222870A (zh) 结算方法、装置和系统
CN111382635A (zh) 一种商品类别识别方法、装置及电子设备
CN111178116A (zh) 无人售货方法、监控摄像机及系统
CN112150252A (zh) 基于信用的业务处理方法以及装置
TW201447773A (zh) 車牌辨識方法及其手持式電子裝置
CN111523348A (zh) 信息生成方法和装置、用于人机交互的设备
CN109213397A (zh) 数据处理方法、装置和用户端
CN111178347B (zh) 证件图像的模糊度检测方法、装置、设备及存储介质
CN111612656A (zh) 一种点餐方法、装置、系统和存储介质
CN115511584A (zh) 一种电商平台虚假交易订单监控方法及系统
CN110533297B (zh) 一种识别异常设备的方法及装置
CN111222377B (zh) 一种商品信息确定方法、装置及电子设备
CN111507318A (zh) 基于图像识别的离店检测方法及装置
CN110738504A (zh) 一种信息处理方法及相关设备
CN112949752B (zh) 业务预测系统的训练方法及装置
US9292541B2 (en) Method of providing online information using image information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210423