CN116934195A - 一种商品信息查验方法、装置、电子设备及存储介质 - Google Patents
一种商品信息查验方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116934195A CN116934195A CN202311187500.6A CN202311187500A CN116934195A CN 116934195 A CN116934195 A CN 116934195A CN 202311187500 A CN202311187500 A CN 202311187500A CN 116934195 A CN116934195 A CN 116934195A
- Authority
- CN
- China
- Prior art keywords
- text information
- commodity
- determining
- target
- matching degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 88
- 238000001514 detection method Methods 0.000 claims description 54
- 238000004891 communication Methods 0.000 claims description 18
- 230000008030 elimination Effects 0.000 claims description 16
- 238000003379 elimination reaction Methods 0.000 claims description 16
- 238000012795 verification Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 description 36
- 238000010586 diagram Methods 0.000 description 29
- 238000007689 inspection Methods 0.000 description 27
- 230000008569 process Effects 0.000 description 26
- 238000012549 training Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 9
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 3
- 102100032202 Cornulin Human genes 0.000 description 2
- 101000920981 Homo sapiens Cornulin Proteins 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 235000019504 cigarettes Nutrition 0.000 description 2
- 239000002537 cosmetic Substances 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/083—Shipping
- G06Q10/0831—Overseas transactions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/42—Document-oriented image-based pattern recognition based on the type of document
- G06V30/424—Postal images, e.g. labels or addresses on parcels or postal envelopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Library & Information Science (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- Entrepreneurship & Innovation (AREA)
- Strategic Management (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Quality & Reliability (AREA)
- Development Economics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Finance (AREA)
- Artificial Intelligence (AREA)
- Accounting & Taxation (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种商品信息查验方法、装置、电子设备及存储介质，获取到待查验的商品图像之后，基于文本识别模型确定出商品图像中的第一文本信息，获取数据库中的多个目标商品各自的第二文本信息，将商品图像中的第一文本信息分别和多个目标商品各自的第二文本信息进行匹配，分别确定第一文本信息和多个第二文本信息的匹配度，确定匹配度大于预设的匹配度阈值的目标商品，根据匹配度大于预设的匹配度阈值的目标商品确定待查验的商品的查验结果。本申请提供了一种自动化的商品查验方案，提高了效率，避免了人工的主观影响商品信息查验准确性的问题，提高了商品信息查验的准确性。本技术方案具有通用性、可靠性、可泛化性，符合可信赖特性。
Description
技术领域
本申请涉及机器视觉技术领域，尤其涉及一种商品信息查验方法、装置、电子设备及存储介质。
背景技术
在商品入境时，海关需要对商品进行信息查验，确定入境商品的品牌名等信息，根据商品信息查验结果检验是否存在骗税，逃商检等情况。
现有技术在进行入境商品信息查验时，一般是依靠海关人员根据经验与手机查询搜索的方式进行判断。海关人员一般采集抽查或全查两种信息查验方式，抽查会导致信息查验不完全，易造成骗税，逃商检等情况的出现，全查对于成百上千的品牌，上万种商品，消耗人力资源很大，商品信息查验的效率很低。并且，因为现有技术都是依靠人工进行商品信息查验，因此查验的准确性受到人工的主观影响，使得商品信息查验准确性不能保证。
发明内容
本申请提供了一种商品信息查验方法、装置、电子设备及存储介质，用以解决现有技术的商品信息查验效率较低和准确性较低的问题。
第一方面，本申请提供了一种商品信息查验方法，所述方法包括：
获取待查验的商品图像，将所述商品图像输入文本识别模型，基于所述文本识别模型确定所述商品图像中的第一文本信息；
获取数据库中的多个目标商品各自的第二文本信息，针对所述多个目标商品，确定所述第一文本信息与所述目标商品的第二文本信息的匹配度，若所述匹配度大于预设的匹配度阈值，根据所述目标商品确定所述待查验的商品的查验结果。
第二方面，本申请提供了一种商品信息查验装置，所述装置包括：
第一确定模块，用于获取待查验的商品图像，将所述商品图像输入文本识别模型，基于所述文本识别模型确定所述商品图像中的第一文本信息；
第二确定模块，用于获取数据库中的多个目标商品各自的第二文本信息，针对所述多个目标商品，确定所述第一文本信息与所述目标商品的第二文本信息的匹配度，若所述匹配度大于预设的匹配度阈值，根据所述目标商品确定所述待查验的商品的查验结果。
第三方面，本申请提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现所述的方法步骤。
第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现所述的方法步骤。
本申请提供了一种商品信息查验方法、装置、电子设备及存储介质，所述方法包括：获取待查验的商品图像，将所述商品图像输入文本识别模型，基于所述文本识别模型确定所述商品图像中的第一文本信息；获取数据库中的多个目标商品各自的第二文本信息，针对所述多个目标商品，确定所述第一文本信息与所述目标商品的第二文本信息的匹配度，若所述匹配度大于预设的匹配度阈值，根据所述目标商品确定所述待查验的商品的查验结果。
上述的技术方案具有如下优点或有益效果：
本申请中，获取到待查验的商品图像之后，基于文本识别模型确定出商品图像中的第一文本信息，然后获取数据库中的多个目标商品各自的第二文本信息，将商品图像中的第一文本信息分别和多个目标商品各自的第二文本信息进行匹配，也就是说分别确定第一文本信息和多个第二文本信息的匹配度，然后确定匹配度大于预设的匹配度阈值的目标商品，根据匹配度大于预设的匹配度阈值的目标商品确定待查验的商品的查验结果。本申请提供了一种自动化的商品查验方案，相较于人工查验提高了效率，并且避免了人工的主观影响商品信息查验准确性的问题，提高了商品信息查验的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的商品信息查验过程示意图；
图2为本申请提供的商品信息查验过程示意图；
图3为本申请提供的商品信息查验过程示意图；
图4为本申请提供的商品信息查验过程示意图；
图5为本申请提供的商品信息查验过程示意图；
图6为本申请提供的商品信息查验过程示意图；
图7为本申请提供的确定第一文本信息的过程示意图；
图8为本申请提供的商品信息查验架构图；
图9为本申请提供的商品信息查验流程图；
图10为本申请提供的智能查验台外观效果图；
图11为本申请提供的传统目标检测算法与旋转目标检测算法输出对比示意图；
图12为本申请提供的文本检测模型的结构图；
图13为本申请提供的文本识别模型的结构图；
图14为本申请提供的品牌名文本信息和品牌描述文本信息示意图；
图15为本申请提供的商品信息查验流程图；
图16为本申请提供的商品信息查验装置结构示意图；
图17为本申请提供的电子设备结构示意图。
具体实施方式
为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。
图1为本申请提供的商品信息查验过程示意图，该过程包括以下步骤：
S101：获取待查验的商品图像，将所述商品图像输入文本识别模型，基于所述文本识别模型确定所述商品图像中的第一文本信息。
S102：获取数据库中的多个目标商品各自的第二文本信息，针对所述多个目标商品，确定所述第一文本信息与所述目标商品的第二文本信息的匹配度，若所述匹配度大于预设的匹配度阈值，根据所述目标商品确定所述待查验的商品的查验结果；其中，分别对所述第一文本信息和所述目标商品的第二文本信息进行字符去重，根据字符去重后的所述第一文本信息和所述第二文本信息的交集字符序列，确定所述第一文本信息与所述第二文本信息的匹配度；和/或根据所述第一文本信息和所述目标商品的第二文本信息中同时出现且顺序相同的最长字符序列，确定所述第一文本信息与所述第二文本信息的匹配度。
本申请提供的商品信息查验方法应用于电子设备，该电子设备可以是PC、平板电脑、服务器等设备，也可以是具备图像分析处理能力的图像采集设备。如果电子设备为图像采集设备，图像采集设备采集到待查验的商品图像之后，执行对商品图像进行分析处理，确定待查验的商品的查验结果的过程。如果电子设备为PC、平板电脑、服务器等设备，图像采集设备采集到待查验的商品图像之后，将商品图像发送至电子设备，电子设备执行对商品图像进行分析处理，确定待查验的商品的查验结果的过程。
电子设备中配置有训练完成的文本识别模型，文本识别模型用于识别图像中的文本信息。电子设备获取待查验的商品图像之后，将商品图像输入文本识别模型，基于文本识别模型确定商品图像中的第一文本信息。第一文本信息是指商品图像中位于商品区域内的文本信息。
数据库中保存有多个目标商品各自的第二文本信息，针对多个目标商品，确定第一文本信息与该目标商品的第二文本信息的匹配度。可选的，可以确定第一文本信息与该目标商品的第二文本信息中相同字符的数量，并且确定第一文本信息和第二文本信息包含的字符的总数量，将相同字符的数量和总数量的比值作为第一文本信息与该目标商品的第二文本信息的匹配度。或者可以确定第一文本信息与该目标商品的第二文本信息中字符相同且排列顺序相同的字符数量，将字符相同且排列顺序相同的字符数量和总数量的比值作为第一文本信息与该目标商品的第二文本信息的匹配度。
电子设备中保存有预设的匹配度阈值，判断第一文本信息与多个目标商品的第二文本信息的匹配度中，是否存在大于预设的匹配度阈值的匹配度，如果存在，确定大于预设的匹配度阈值的匹配度对应的目标商品，根据大于预设的匹配度阈值的匹配度对应的目标商品的商品信息确定待查验的商品的查验结果。其中，目标商品的商品信息包括商品的品牌名、商品的价格、商品的类别等信息，可以将目标商品的商品信息作为待查验的商品的查验结果。可选的，若大于预设的匹配度阈值的匹配度对应的目标商品为多个，可以根据最大的匹配度对应的目标商品的商品信息确定待查验的商品的查验结果，也可以输出大于预设的匹配度阈值的匹配度对应的多个目标商品的商品信息，将多个目标商品的商品信息作为确定待查验的商品的查验结果，以提示管理人员根据多个目标商品的商品信息确定出最终的商品查验结果。
本申请中，获取到待查验的商品图像之后，基于文本识别模型确定出商品图像中的第一文本信息，然后获取数据库中的多个目标商品各自的第二文本信息，将商品图像中的第一文本信息分别和多个目标商品各自的第二文本信息进行匹配，也就是说分别确定第一文本信息和多个第二文本信息的匹配度，然后确定匹配度大于预设的匹配度阈值的目标商品，根据匹配度大于预设的匹配度阈值的目标商品确定待查验的商品的查验结果。本申请提供了一种自动化的商品查验方案，相较于人工查验提高了效率，并且避免了人工的主观影响商品信息查验准确性的问题，提高了商品信息查验的准确性。
本申请提供的商品信息查验方法具备通用性、可靠性和泛化性，具体如下：
通用性指的是该方法是否适用于不同类型的商品和不同语言的描述文本。在海关实际查验过程中，旅客会带各种商品（化妆品、烟、酒、包等），只要商品的外包装有对应的商品品牌和商品信息，该匹配算法就可以使用。同时OCR识别算法经过不同语言的训练，支持多种通用的语言识别，因此具有很强的通用性。
可靠性指的是该方法在匹配过程中的准确性和稳定性。该商品信息查验的文本匹配方法采用匹配品牌和文本信息相结合的方式，同时采用“查重占比”和“最长公共子序列”的方法进行双重匹配，保证了匹配的准确性；同时在保证光源的情况下，该文本匹配可以适应不同的场景。
泛化性指的是该方法在面对新的商品描述时的适应能力。该文本匹配算法不是深度学习算法，不需要进行模型训练，因此面对新的商品时，只要商品外包装有对应的商品信息，该文本匹配算法就可以进行识别与匹配，具有极强的泛化性。
数据库中的多个目标商品各自的第二文本信息包括目标商品的品牌名文本信息和品牌描述文本信息，品牌名文本信息是指目标商品的品牌名称字符信息，品牌描述文本信息是指目标商品的商品介绍的文本描述信息。
本申请中，确定待查验的商品的查验结果包括：
获取数据库中的多个目标商品各自的品牌名文本信息，针对所述多个目标商品，确定所述第一文本信息与所述目标商品的品牌名文本信息的第一匹配度；
若所述第一匹配度大于预设的第一匹配度阈值，获取所述目标商品的品牌描述文本信息，确定所述第一文本信息与所述目标商品的品牌描述文本信息的第二匹配度，若所述第二匹配度大于预设的第二匹配度阈值，根据所述目标商品确定所述待查验的商品的查验结果。
首先获取数据库中的多个目标商品各自的品牌名文本信息，然后分别确定第一文本信息与多个目标商品的品牌名文本信息的第一匹配度。可选的，可以确定第一文本信息与该目标商品的品牌名文本信息中相同字符的数量，并且确定第一文本信息和品牌名文本信息包含的字符的总数量，将相同字符的数量和总数量的比值作为第一文本信息与该目标商品的品牌名文本信息的第一匹配度。或者可以确定第一文本信息与该目标商品的品牌名文本信息中字符相同且排列顺序相同的字符数量，将字符相同且排列顺序相同的字符数量和总数量的比值作为第一文本信息与该目标商品的品牌名文本信息的第一匹配度。
电子设备中保存有预设的第一匹配度阈值，如果不存在第一匹配度大于预设的第一匹配度阈值的目标商品，则直接确定商品匹配失败。若存在第一匹配度大于预设的第一匹配度阈值的目标商品，然后再确定获取大于预设的第一匹配度阈值的目标商品的品牌描述文本信息，确定第一文本信息与目标商品的品牌描述文本信息的第二匹配度。
可选的，可以确定第一文本信息与该目标商品的品牌描述文本信息中相同字符的数量，并且确定第一文本信息和品牌描述文本信息包含的字符的总数量，将相同字符的数量和总数量的比值作为第一文本信息与该目标商品的品牌描述文本信息的第二匹配度。或者可以确定第一文本信息与该目标商品的品牌描述文本信息中字符相同且排列顺序相同的字符数量，将字符相同且排列顺序相同的字符数量和总数量的比值作为第一文本信息与该目标商品的品牌描述文本信息的第二匹配度。如果不存在第二匹配度大于预设的第二匹配度阈值的目标商品，则确定商品匹配失败。如果存在第二匹配度大于预设的第二匹配度阈值的目标商品，根据第二匹配度大于预设的第二匹配度阈值的目标商品确定待查验的商品的查验结果。
预设的第一匹配度阈值和预设的第二匹配度阈值可以相同或不同，例如预设的第一匹配度阈值为75%、80%等，预设的第二匹配度阈值为78%、80%等。
本申请中，先将待查验商品的第一文本信息与多个目标商品的品牌名文本信息进行匹配，若匹配失败则不进行后续的过程，若匹配成功，再将第一文本信息与多个目标商品的品牌描述文本信息进行匹配，若匹配成功，确定待查验的商品的查验结果。进一步提高了商品查验的准确性。
需要说明的是，若确定出的商品图像中的第一文本信息包括多行文本信息，可以将多行文本信息进行顺序拼接，将拼接后的文本信息作为第一文本信息进行匹配度的计算。并且数据库中针对每个目标商品保存的品牌名文本信息和品牌描述文本信息，若目标商品包含多行品牌名文本信息，则将多行品牌名文本信息进行顺序拼接，得到进行匹配度的计算的品牌名文本信息。若目标商品包含多行品牌描述文本信息，则将多行品牌描述文本信息进行顺序拼接，得到进行匹配度的计算的品牌描述文本信息。
或者，确定出的商品图像中的第一文本信息包括一条或多条，可以将商品图像中每一行的文本信息均作为第一文本信息，每一条第一文本信息均进行匹配度的计算。并且数据库中针对每个目标商品保存的品牌名文本信息和品牌描述文本信息，也是将目标商品每行的品牌名文本信息作为每一条品牌名文本信息进行匹配度的计算，将目标商品每行的品牌描述文本信息作为每一条品牌描述文本信息进行匹配度的计算。
再或者，基于预先训练完成的文本检测模型确定商品图像中的文本区域图像，并且输出文本区域图像对应的文本类别，文本类别包含品牌名类别和品牌描述类别。然后基于预先训练完成的文本识别模型识别文本区域图像中的文本信息。其中，将识别到的品牌名类别的文本区域图像中的文本信息作为品牌名文本信息，若品牌名文本信息为多行，将多行品牌名文本信息进行顺序拼接，得到进行匹配度的计算的品牌名文本信息。将识别到的品牌描述类别的文本区域图像中的文本信息作为品牌描述文本信息，若品牌描述文本信息为多行，将多行品牌描述文本信息进行顺序拼接，得到进行匹配度的计算的品牌描述文本信息。并且数据库中针对每个目标商品保存的品牌名文本信息和品牌描述文本信息，若目标商品包含多行品牌名文本信息，则将多行品牌名文本信息进行顺序拼接，得到进行匹配度的计算的品牌名文本信息。若目标商品包含多行品牌描述文本信息，则将多行品牌描述文本信息进行顺序拼接，得到进行匹配度的计算的品牌描述文本信息。需要说明的是，文本检测模型在进行训练时，需要标注样本图像中品牌名类别区域图像和品牌描述类别区域图像的位置信息和类别信息，以使文本检测模型能够学习区域类别识别的能力。
图2为本申请提供的商品信息查验过程示意图，包括以下步骤：
S201：获取待查验的商品图像，将所述商品图像输入文本识别模型，基于所述文本识别模型确定所述商品图像中的第一文本信息。
S202：获取数据库中的多个目标商品各自的品牌名文本信息，针对所述多个目标商品，确定所述第一文本信息与所述目标商品的品牌名文本信息的第一匹配度。
S203：若所述第一匹配度大于预设的第一匹配度阈值，获取所述目标商品的品牌描述文本信息，确定所述第一文本信息与所述目标商品的品牌描述文本信息的第二匹配度，若所述第二匹配度大于预设的第二匹配度阈值，根据所述目标商品确定所述待查验的商品的查验结果。
为了使确定第一匹配度更准确，确定所述第一文本信息与所述目标商品的品牌名文本信息的第一匹配度包括：
确定所述第一文本信息进行字符去重后的第一字符序列，确定所述目标商品的品牌名文本信息进行字符去重后的第二字符序列，以及所述第二字符序列和所述第一字符序列的第一交集字符序列；
根据所述第一字符序列、所述第二字符序列和所述第一交集字符序列，确定所述待查验的商品和所述目标商品的第一匹配度。
本申请中，首先对第一文本信息进行字符去重，将第一文本信息字符去重后得到的文本信息称为第一字符序列。例如，第一文本信息为“aabbcc”，将第一文本信息字符去重后得到的第一字符序列为“abc”。同样的，对目标商品的品牌名文本信息进行字符去重，将品牌名文本信息去重后得到的文本信息称为第二字符序列。进一步地，确定第二字符序列和第一字符序列的第一交集字符序列。例如，第一字符序列为“abc”，第二字符序列为“acd”，则第二字符序列和第一字符序列的第一交集字符序列为“ac”。
根据第一字符序列、第二字符序列和第一交集字符序列，确定待查验的商品和目标商品的第一匹配度。可选的，根据第一交集字符序列的字符长度，第一字符序列的字符长度和第二字符序列的字符长度，确定待查验的商品和目标商品的第一匹配度。字符长度是指包含的字符数量。可以先计算第一字符序列的字符长度和第二字符序列的字符长度的和值，然后根据第一交集字符序列的字符长度与上述和值的比值，确定第一匹配度。为了更准确的确定第一匹配度，可以将第一交集字符序列的字符长度乘以2，将2倍的第一交集字符序列的字符长度与上述和值的比值作为第一匹配度。
图3为本申请提供的商品信息查验过程示意图，包括以下步骤：
S301：获取待查验的商品图像，将所述商品图像输入文本识别模型，基于所述文本识别模型确定所述商品图像中的第一文本信息。
S302：获取数据库中的多个目标商品各自的品牌名文本信息，针对所述多个目标商品，确定所述第一文本信息进行字符去重后的第一字符序列，确定所述目标商品的品牌名文本信息进行字符去重后的第二字符序列，以及所述第二字符序列和所述第一字符序列的第一交集字符序列；根据所述第一字符序列、所述第二字符序列和所述第一交集字符序列，确定所述待查验的商品和所述目标商品的第一匹配度。
S303：若所述第一匹配度大于预设的第一匹配度阈值，获取所述目标商品的品牌描述文本信息，确定所述第一文本信息与所述目标商品的品牌描述文本信息的第二匹配度，若所述第二匹配度大于预设的第二匹配度阈值，根据所述目标商品确定所述待查验的商品的查验结果。
为了进一步使确定第一匹配度更准确，确定所述第一文本信息与所述目标商品的品牌名文本信息的第一匹配度包括：
确定所述第一文本信息和所述品牌名文本信息中同时出现且顺序相同的第一最长字符序列；
根据所述第一文本信息、所述品牌名文本信息和所述第一最长字符序列，确定所述待查验的商品和所述目标商品的第一匹配度。
本申请中，首先确定第一文本信息和品牌名文本信息中同时出现且顺序相同的第一最长字符序列。例如，第一文本信息为“abce”，品牌名文本信息为“bcade”，则确定第一文本信息和品牌名文本信息中同时出现且顺序相同的第一最长字符序列为“bce”。
根据第一文本信息、品牌名文本信息和第一最长字符序列，确定待查验的商品和目标商品的第一匹配度。可选的，根据第一最长字符序列的字符长度，第一文本信息的字符长度和品牌名文本信息的字符长度，确定待查验的商品和目标商品的第一匹配度。可以先计算第一文本信息的字符长度和品牌名文本信息的字符长度的和值，然后根据第一最长字符序列的字符长度与上述和值的比值，确定第一匹配度。为了更准确的确定第一匹配度，可以将第一最长字符序列的字符长度乘以2，将2倍的第一最长字符序列的字符长度与上述和值的比值作为第一匹配度。
需要说明的是，根据第一字符序列、第二字符序列和第一交集字符序列，确定待查验的商品和所述目标商品的第一匹配度。并且根据第一文本信息、品牌名文本信息和第一最长字符序列，确定待查验的商品和目标商品的第一匹配度。当确定的两个第一匹配度均大于预设的第一匹配度阈值时，再进行获取目标商品的品牌描述文本信息，确定第一文本信息与所述目标商品的品牌描述文本信息的第二匹配度，若第二匹配度大于预设的第二匹配度阈值，根据目标商品确定待查验的商品的查验结果的过程。只要任一第一匹配度不大于预设的第一匹配度阈值，则确定匹配失败。
图4为本申请提供的商品信息查验过程示意图，包括以下步骤：
S401：获取待查验的商品图像，将所述商品图像输入文本识别模型，基于所述文本识别模型确定所述商品图像中的第一文本信息。
S402：获取数据库中的多个目标商品各自的品牌名文本信息，针对所述多个目标商品，确定所述第一文本信息和所述品牌名文本信息中同时出现且顺序相同的第一最长字符序列；根据所述第一文本信息、所述品牌名文本信息和所述第一最长字符序列，确定所述待查验的商品和所述目标商品的第一匹配度。
S403：若所述第一匹配度大于预设的第一匹配度阈值，获取所述目标商品的品牌描述文本信息，确定所述第一文本信息与所述目标商品的品牌描述文本信息的第二匹配度，若所述第二匹配度大于预设的第二匹配度阈值，根据所述目标商品确定所述待查验的商品的查验结果。
为了使确定第二匹配度更准确，确定所述第一文本信息与所述目标商品的品牌描述文本信息的第二匹配度包括：
确定所述第一文本信息进行字符去重后的第一字符序列，确定所述目标商品的品牌描述文本信息进行字符去重后的第三字符序列和所述第一字符序列的第二交集字符序列；
根据所述第一字符序列和所述第二交集字符序列，确定所述待查验的商品和所述目标商品的第二匹配度。
本申请中，首先对第一文本信息进行字符去重，将第一文本信息字符去重后得到的文本信息称为第一字符序列。同样的，对目标商品的品牌描述文本信息进行字符去重，将品牌描述文本信息去重后得到的文本信息称为第三字符序列。进一步地，确定第三字符序列和第一字符序列的第二交集字符序列。
根据第一字符序列和第二交集字符序列，确定待查验的商品和目标商品的第二匹配度。可选的，根据第一字符序列的字符长度和第二交集字符序列的字符长度，确定待查验的商品和目标商品的第二匹配度。其中，可以将第二交集字符序列的字符长度与第一字符序列的字符长度的比值作为待查验的商品和目标商品的第二匹配度。
图5为本申请提供的商品信息查验过程示意图，包括以下步骤：
S501：获取待查验的商品图像，将所述商品图像输入文本识别模型，基于所述文本识别模型确定所述商品图像中的第一文本信息。
S502：获取数据库中的多个目标商品各自的品牌名文本信息，针对所述多个目标商品，确定所述第一文本信息与所述目标商品的品牌名文本信息的第一匹配度。
S503：若所述第一匹配度大于预设的第一匹配度阈值，获取所述目标商品的品牌描述文本信息，确定所述第一文本信息进行字符去重后的第一字符序列，确定所述目标商品的品牌描述文本信息进行字符去重后的第三字符序列和所述第一字符序列的第二交集字符序列；根据所述第一字符序列和所述第二交集字符序列，确定所述待查验的商品和所述目标商品的第二匹配度，若所述第二匹配度大于预设的第二匹配度阈值，根据所述目标商品确定所述待查验的商品的查验结果。
为了进一步使确定第二匹配度更准确，确定所述第一文本信息与所述目标商品的品牌描述文本信息的第二匹配度包括：
确定所述第一文本信息和所述品牌描述文本信息中同时出现且顺序相同的第二最长字符序列；
根据所述第一文本信息和所述第二最长字符序列，确定所述待查验的商品和所述目标商品的第二匹配度。
本申请中，首先确定第一文本信息和品牌描述文本信息中同时出现且顺序相同的第二最长字符序列。根据第二最长字符序列的字符长度和第一文本信息的字符长度，确定待查验的商品和目标商品的第二匹配度。其中，可以将第二最长字符序列的字符长度与第一文本信息的字符长度的比值，作为待查验的商品和目标商品的第二匹配度。
需要说明的是，根据第一字符序列和第二交集字符序列，确定待查验的商品和目标商品的第二匹配度。并且根据第一文本信息和第二最长字符序列，确定待查验的商品和目标商品的第二匹配度。当确定的两个第二匹配度均大于预设的第二匹配度阈值时，再进行根据目标商品确定待查验的商品的查验结果的过程。只要任一第二匹配度不大于预设的第二匹配度阈值，则确定匹配失败。
图6为本申请提供的商品信息查验过程示意图，包括以下步骤：
S601：获取待查验的商品图像，将所述商品图像输入文本识别模型，基于所述文本识别模型确定所述商品图像中的第一文本信息。
S602：获取数据库中的多个目标商品各自的品牌名文本信息，针对所述多个目标商品，确定所述第一文本信息与所述目标商品的品牌名文本信息的第一匹配度。
S603：若所述第一匹配度大于预设的第一匹配度阈值，获取所述目标商品的品牌描述文本信息，确定所述第一文本信息和所述品牌描述文本信息中同时出现且顺序相同的第二最长字符序列；根据所述第一文本信息和所述第二最长字符序列，确定所述待查验的商品和所述目标商品的第二匹配度，若所述第二匹配度大于预设的第二匹配度阈值，根据所述目标商品确定所述待查验的商品的查验结果。
图7为本申请提供的确定第一文本信息的过程示意图，包括以下步骤：
S701：获取包含商品在内的原始图像，将所述原始图像输入目标检测模型，基于所述目标检测模型确定所述原始图像中的商品图像。
S702：将所述商品图像输入文本检测模型，基于所述文本检测模型确定所述商品图像中的文本区域图像。
S703：将所述文本区域图像输入所述文本识别模型基于所述文本识别模型确定所述第一文本信息。
目标检测模型用于从原始图像中检测出商品图像，文本检测模型用于从商品图像中检测出文本区域图像，文本识别模型用于确定文本区域图像中的第一文本信息。通过目标检测模型和文本检测模型，可以滤除原始图像中的干扰，使得基于文本识别模型确定文本区域图像中的第一文本信息更准确。
目标检测模型的训练过程可以是：将第一训练集中的样本图像和对应的标签信息输入目标检测模型，标签信息包括样本图像中目标的位置信息。目标检测模型输出样本图像中预测的目标的位置信息，根据预测的位置信息和标签信息确定目标检测模型的损失值，在目标检测模型迭代训练的过程中，当损失值满足要求，或者迭代次数达到预设的迭代次数阈值，则目标检测模型训练完成。
文本检测模型的训练过程可以是：将第二训练集中的样本图像和对应的标签信息输入文本检测模型，标签信息包括样本图像中文本区域的位置信息。文本检测模型输出样本图像中预测的文本区域的位置信息，根据预测的位置信息和标签信息确定文本检测模型的损失值，在文本检测模型迭代训练的过程中，当损失值满足要求，或者迭代次数达到预设的迭代次数阈值，则文本检测模型训练完成。
文本识别模型的训练过程可以是：将第二训练集中的样本图像和对应的标签信息输入文本识别模型，标签信息包括样本图像中真实的文本信息。文本识别模型输出样本图像中预测的文本信息，根据预测的文本信息和标签信息确定文本识别模型的损失值，在文本识别模型迭代训练的过程中，当损失值满足要求，或者迭代次数达到预设的迭代次数阈值，则文本识别模型训练完成。
本申请提供了一种商品信息查验方法，包括但不限于对海关入境商品查验的识别与匹配。采用旋转目标检测模型解决由于旅客将商品任意角度摆放导致检测困难的问题，实现将图像中任意角度摆放的商品标记出来。采用“查重占比”和“最长公共子序列”相结合的匹配方法实现商品信息的精准匹配。由于“查重占比”方法不能按照字符的顺序进行匹配，导致容易造成误匹配，在以基础上添加最长公共子序列方法，按照字符的排列顺序进行匹配，可以很好的弥补查重占比”方法的不足。商品名为短字节（小于等于4个字符）的，经过测试，修改对应的匹配阈值，可以更好的实现短字节匹配。
下面结合附图对本申请提供的商品信息查验过程进行详细说明。
图8为本申请提供的商品信息查验架构图，硬件部分包括RGB摄像头、智能查验台、算法服务器，软件部分包括商品图像数据、后台、算法、数据库、前端交互界面。后台包括后台逻辑，算法包括商品检测算法、商品OCR识别算法和商品匹配算法，数据库包括商品信息数据库，前端交互界面用于商品信息显示。
图9为本申请提供的商品信息查验流程图，如图9所示，点击前端AI拍照，开启RGB摄像头同时进行拍照，图片传输到算法服务器，商品检测算法，商品OCR识别算法，商品与数据库的匹配算法，后台接收算法输出字段，前段商品信息详情显示。
点击前端交互界面的AI拍照按钮，会开启摄像头进行拍照，将拍摄的商品传输到算法服务器中进行处理，包括商品检测算法，获取整幅图像中的所有商品位置并分割；商品OCR识别算法，识别商品表面的文字信息；商品匹配算法，用于将识别的商品表面文字信息于商品数据库中的信息进行匹配，推荐出该商品的详细信息。在后台管理中心，后台java程序调用算法输出的字段，通过后台接口将数据传输到前端界面进行商品信息详情的显示。
图10为本申请提供的智能查验台外观效果图，在海关口岸一线，常需要对旅客携带物品进行查验与估价。现有的查验方式主要是通过人工经验辨识商品的信息，通过网络查找或人工经验判别商品的价格。在海关口岸一线中，常遇到携带大量化妆品、烟、酒等物品的水客，通常需要耗费海关工作人员大量时间进行点检。不仅需要耗费海关工作人员大量精力，而且由于商品种类繁多，海关查验人员时长不能准确评估商品的价格。图10为海关查验台的外观效果图，主要是由摄像头、照明灯、摆放商品的台面、算法服务器和工控机组成。该海关查验台基于机器视觉技术，建立一套智能入境商品查验系统，实现对查验商品品类、价格等信息进行自动识别和征税价格核算，从而提高工作效率，降低工作强度。海关进行商品查验时，旅客将入境商品放在图10的黑色台面上，摄像头拍摄的图像会传入算法服务器，经过算法处理后会将输出的结果与商品数据库中的商品信息进行匹配，输出与识别结果最相近的结果作为最终的输出，通过前端进行显示，实现对查验商品品类、价格等信息进行自动识别和征税价格核算。
本申请采用旋转目标检测模型yolov5-obb检测旅客随意摆放的商品，并将每一件商品进行分割用于OCR识别与前端商品的图像显示。利用文本检测模型DBNet和文本识别模型RCNN-CTC来定位和识别商品上的文字信息。首先利用OCR识别出的结果与数据库采用“查重占比”的方法进行匹配，在此基础上添加二次匹配，采用“最长公共子序列”方法对“查重占比”方法进行补充，进一步提高匹配的准确度。
图11为本申请提供的传统目标检测算法与旋转目标检测算法输出对比示意图，由于旅客将商品任意角度摆放，采用传统的基于矩形框的检测算法不适用。因此，针对任意角度摆放问题，引入航拍图像领域的旋转目标检测算法模型。旋转目标检测即通过计算视觉算法将图像中任意角度摆放的目标标记出来。一般的目标检测算法用四个值[x，y，w，h]表示的矩形框标记一个目标；而为了处理任意角度，旋转目标检测算法通常用五个值[x，y，w，h，\theta]或八个值[x1，y1，x2，y2，x3，y3，x4，y4]表示的旋转矩形框标记一个目标，图11展示了两种检测算法的对比。具体地，采用yolov5-obb模型，即采用yolov5模型的作为骨干网络提取目标的特征，采用旋转目标检测预测头结构作为分类和回归器。基于速度和性能折中考虑，该项目选用yolov5-m模型作为骨干结构。旋转目标检测预测头结构则是在传统的位置回归的基础上加入了角度回归，角度取值范围为[0，179]共180类。
图12为本申请提供的文本检测模型的结构图，文本检测模型即定位出图像中文本行的位置。对于海关场景，入关的商品种类繁多，包括多种语言如中文、英文、日文、韩文，同时商品经常出现艺术字设计，这些客观因素进一步增大了文本检测和识别的难度。对于文本检测模型，该项目采用统一语言的文本检测模型DBNet，其网络架构如图12所示，共包括前中后三个模块。第一模块：使用的是一个 FPN 结构，分为自底向上的卷积操作与自顶向下的上采样，以此来获取多尺度的特征。下面部分是 3x3 的卷积操作，按照卷积公式分别获取原图大小比例的 1/2、1/4、1/8、1/16、1/32 的特征图；然后自顶向下进行上采样 x2，然后与自底向上生成的相同大小的特征图融合；融合之后再采用 3x3 的卷积消除上采样的混叠效应；最后对每层输出结果进行上采样，统一为 1/4 大小的特征图。第二模块：将1/4 大小的特征图经过一系列卷积和转置卷积获取概率图 P 和阈值图 T，目的是生成与原图一样大小的特征图 P 和 T。第三模块：将特征图 P 和 T 经过可微二值化方法得到近似二值图。
DBNet运行流程为：首先输入图像经过一个特征金字塔状的骨干网络，然后通过上采集求和方式进行特征融合得到特征图F，接着利用特征图F 预测概率图P 和阈值图T，最后利用P; T 估计出近似的二值图^B。在训练阶段对概率图、阈值图和二值图进行监督学习，其中概率图和二值图共享相同的监督。在推断阶段可以直接从二值图中获取边界框或从概率图结合边界模块获取。其中骨干网络使用具有Deformable卷积的ResNet-18/50 模型。
图13为本申请提供的文本识别模型的结构图，文本识别模型以文本行图像作为输入，以文本行对应的字符串作为输出。文本识别模型按照识别架构可以分为基于CTC模型的文本识别模型和基于Attention的文本识别模型。对于海关场景，由于主要商品语言文中文、英文、韩文和日文，文字种类达到上千类，为此本项目采用适用于大规模文本类别的基于CTC的模型，具体的模型为CRNN，即RCNN-CTC，如图13所示。CRNN模由基于卷积的骨干网络、基于双向LSTM的时序结构以及基于CTC的预测结构三部分组成。其中骨干网络采用Mobilenet作为特征提取模型，用于获取图像的深度特征；时序结构为双向LSTM用于获取特征之间的上下文关系，增强特征的鲁棒性；而CTC结构则可以直接将序列特征预测为字符序列，并可以通过反向传播算法进行参数学习。
本申请采用“查重占比”和“最长公共子序列”相结合的匹配方法实现商品信息的精准匹配。在实际的匹配中，整个匹配方法的匹配流程可以分为以下步骤：
（1）首先将OCR识别的结果与商品信息数据库中的“品牌名“字段中的品牌名文本信息进行“查重占比”和“最长公共子序列”匹配，匹配出多个品牌名；
（2）之后会利用匹配出来的品牌名从商品信息数据库中的找到其对应商品的“文本”字段中的品牌描述文本信息；
（3）然后利用OCR识别的结果再与“文本“字段中的品牌描述文本信息进行“查重占比”和“最长公共子序列”匹配；
（4）最后利用匹配出的品牌名文本信息与品牌描述文本信息相结合从商品信息库中匹配出最终的商品信息（品牌名，文本，容量，价格等）。
图14为本申请提供的品牌名文本信息和品牌描述文本信息示意图，如图14所示，商品中的“ESTEELAUDER”为品牌名文本信息，“Advanced”、“Night Repair”等为品牌描述文本信息。
图15为本申请提供的商品信息查验流程图，包括以下步骤：
S801：通过查重占比匹配法确定待查验的商品图像中的第一文本信息与数据库中的各个第一目标商品各自的品牌名文本信息的第一匹配度。
S802：第一匹配度小于预设的第一匹配度阈值的第一目标商品匹配失败，对于第一匹配度不小于预设的第一匹配度阈值的第二目标商品，通过最长公共子序列匹配法继续确定第一文本信息与各个第二目标商品的品牌名文本信息第一匹配度。
S803：第一匹配度小于预设的第一匹配度阈值的第二目标商品匹配失败，对于第一匹配度不小于预设的第一匹配度阈值的第三目标商品，通过查重占比匹配法确定第一文本信息与各个第三目标商品各自的品牌名文本信息的第二匹配度。
S804：第二匹配度小于预设的第二匹配度阈值的第三目标商品匹配失败，对于第二匹配度不小于预设的第二匹配度阈值的第四目标商品，通过最长公共子序列匹配法继续确定第一文本信息与各个第四目标商品的品牌名文本信息第二匹配度。
S805：第二匹配度小于预设的第二匹配度阈值的第四目标商品匹配失败，对于第二匹配度不小于预设的第二匹配度阈值的第五目标商品，根据第二匹配度最大的第五目标商品，确定待查验的商品的查验结果。
下面对查重占比匹配法和最长公共子序列匹配法进行说明。
“查重占比”和“最长公共子序列”两种方法是以串联的方式进行匹配的，首先进行“查重占比”匹配，如果“查重占比”匹配不通过，那么不会再进行“最长公共子序列”匹配。只有通过“查重占比”匹配，才会进行“最长公共子序列”匹配。
查重占比是指在预处理阶段中进行查重的比例。在使用匹配算法进行文本等其他数据的匹配时，通常需要先进行预处理，其中一个重要的步骤是去重。去重是指对待匹配的数据进行去重处理，以避免同一数据在匹配过程中被多次处理，从而提高匹配效率和准确性。去重后需要计算实际字符与目标字符的占比情况，当去重占比大于设定的阈值时，匹配成功，否则匹配失败。例如设置的阈值为0.8。
进行“品牌名文本信息“匹配时遵循以下公式：
假设a=“aabbcc”代表OCR识别的字符（第一文本信息），b=“aabbco“代表需要进行匹配的目标字符（品牌名文本信息），那么查重占比的计算公式为：
a1 = set(a)，b1 =set(b)，sim= 2*len(a1&b1)/(len(a1) + len(b1)) ；
其中set()代表python语言中的去重函数，len()表示字符的长度，set(a)={‘a’,’b’,’c’}， set(b)= {‘a’,’b’,’c’,’o’}，len(a1&b1)表示a1和b1相同字符的长度，则sim=(2*3)/(3+4)=0.857，而例如设置的阈值为0.8，超过阈值，通过匹配。
其中进行“品牌描述文本信息“匹配时，查重占比的计算公式为：
a1 = set(a)，b1 =set(b)，sim = len(a1&b1)/len(a1)；
因为品牌名文本信息中字符都比较短，OCR识别出来的品牌名字符与商品数据库中的品牌名字符的长度相差很小，所以需要两者共有的字符*2再与两者相加所有的字符进行相除，能有效的得出其两者的匹配度；因为数据库中的品牌描述文本信息有可能有几十个字符，OCR识别的一行文本字段可能只有几个字符，但这OCR识别的这一行文本字段只要与数据库中的文本字段有重复的字符，就大概率是该商品，所以把分母设置为OCR识别的这一行文本字段的长度，如果采用两者字符长度相加，则匹配度就达不到阈值，从而存在漏匹配的可能。
以识别“LA MER”目标商品为例，OCR识别的结果为‘la mhr’，而与之进行匹配的数据库中的品牌名为“la mer”。采用查重占比方法进行匹配：a 1= set(LA MER)={‘l’,’a’,’’,’m’,’e’,’r’}，b1 = set(la mhr) = {‘l’,’a’,’ ’,’ m’,’h’,’r’}，sim = 2*len(a1&b1)/(len(a1) + len(b1)) =2*5/(6+6)=0.83，大于0.8，匹配成功。
但以识别“ESTEE LAUDER“目标商品为例，OCR识别的结果中其中有一行文本识别为‘shdasuttea lolec aoo’，而与之进行匹配的数据库中的品牌名为“estee lauder”。采用查重占比方法进行匹配：a1 = set(shdasuttea lolec aoo)={‘s’,’h’,’d’,’a’,’u’,’t’,’e’,’ ’,’l’,’o’,’c’}，b1 = set(estee lauder) = {‘e’,’s’,’t’,’ ’,’l’,’a’,’u’,’d’,’r’}，sim = 2*len(a1&b1)/(len(a1) + len(b1)) =2*8/(11+9)=0.8，显然被误匹配。
虽然查重占比可以有效的将重复度字符较高的结果匹配成功，但它的缺点就是不能按照字符的顺序进行匹配，导致容易造成误匹配。所以在此基础上添加二次匹配，即最长公共子序列匹配方法。
最长公共子序列指在两个序列中同时出现的、且在各自序列中的顺序不变的最长子序列。当最长子序列占比大于设定的阈值时，匹配成功，否则匹配失败。例如设置的阈值为0.8。
与“查重占比”一样，进行目标商品的品牌名文本信息匹配与目标商品的品牌描述文本匹配时，采用不同的匹配规则，进行“品牌名文本信息“匹配时遵循以下公式：
假设c1=’ace’代表OCR识别的字符（第一文本信息），d1=’abcde’代表需要进行匹配的目标字符（品牌名文本信息），那么其最长公共子序列csq = ’ace’，那最长公共子序列占比的“品牌名”匹配时计算公式为：
sim= 2*(len(csq))/(len(c1) + len(d1)。
其中进行“品牌描述文本信息“匹配时公式为：
sim = len(csq)/len(c1)。
上述以“查重占比”进行品牌匹配被误匹配的‘shdasuttea lolec aoo’，与之进行匹配的数据库中的品牌名为“estee lauder”，采用最长公共子序列的匹配方法，sim=2*(len(stel))/(20+12)=8/32=0.25<0.8,所以匹配失败，所以两种方式结合，可以有效的解决无匹配的情况。
“查重占比”方法由于不能按照字符的顺序进行匹配，导致容易造成误匹配，在以基础上添加最长公共子序列方法，按照字符的排列顺序进行匹配，可以很好的弥补查重占比”方法的不足。
上述阈值采用的是0.8，但针对短字符（小于等于4个字符）匹配，其阈值并不完全适用，于是针对品牌中的短字节的品牌名进行了测试，测试结果如下表1所示：
表1 短字符匹配测试结果表
综上所述：按照目前的匹配规则，匹配阈值threshold=0.8；
4个字符的品牌识别出其中连续3个字符，且不能识别错误字符才可以完成匹配；
3个字符的品牌识别出其中连续2个字符，且不能识错误字符才可以完成匹配；
2个字符的品牌必须全部识别才能完成匹配；
所以将4个字符的品牌，设置阈值threshold=0.75，容错率为识别错一个字符和漏识别一个字符，比如将Dior识别为Oior，也是匹配成功。3个字符和2个字符可以按照目前的阈值threshold=0.8进行匹配，3个字符识别错1个字符，按照匹配失败处理。
图16为本申请提供的商品信息查验装置结构示意图，包括：
第一确定模块161，用于获取待查验的商品图像，将所述商品图像输入文本识别模型，基于所述文本识别模型确定所述商品图像中的第一文本信息；
第二确定模块162，用于获取数据库中的多个目标商品各自的第二文本信息，针对所述多个目标商品，确定所述第一文本信息与所述目标商品的第二文本信息的匹配度，若所述匹配度大于预设的匹配度阈值，根据所述目标商品确定所述待查验的商品的查验结果；其中，分别对所述第一文本信息和所述目标商品的第二文本信息进行字符去重，根据字符去重后的所述第一文本信息和所述第二文本信息的交集字符序列，确定所述第一文本信息与所述第二文本信息的匹配度；和/或根据所述第一文本信息和所述目标商品的第二文本信息中同时出现且顺序相同的最长字符序列，确定所述第一文本信息与所述第二文本信息的匹配度。
第二确定模块162，用于获取数据库中的多个目标商品各自的品牌名文本信息，针对所述多个目标商品，确定所述第一文本信息与所述目标商品的品牌名文本信息的第一匹配度；若所述第一匹配度大于预设的第一匹配度阈值，获取所述目标商品的品牌描述文本信息，确定所述第一文本信息与所述目标商品的品牌描述文本信息的第二匹配度，若所述第二匹配度大于预设的第二匹配度阈值，根据所述目标商品确定所述待查验的商品的查验结果。
第二确定模块162，用于确定所述第一文本信息进行字符去重后的第一字符序列，确定所述目标商品的品牌名文本信息进行字符去重后的第二字符序列，以及所述第二字符序列和所述第一字符序列的第一交集字符序列；根据所述第一字符序列、所述第二字符序列和所述第一交集字符序列，确定所述待查验的商品和所述目标商品的第一匹配度。
第二确定模块162，用于确定所述第一文本信息和所述品牌名文本信息中同时出现且顺序相同的第一最长字符序列；根据所述第一文本信息、所述品牌名文本信息和所述第一最长字符序列，确定所述待查验的商品和所述目标商品的第一匹配度。
第二确定模块162，用于确定所述第一文本信息进行字符去重后的第一字符序列，确定所述目标商品的品牌描述文本信息进行字符去重后的第三字符序列和所述第一字符序列的第二交集字符序列；根据所述第一字符序列和所述第二交集字符序列，确定所述待查验的商品和所述目标商品的第二匹配度。
第二确定模块162，用于确定所述第一文本信息和所述品牌描述文本信息中同时出现且顺序相同的第二最长字符序列；根据所述第一文本信息和所述第二最长字符序列，确定所述待查验的商品和所述目标商品的第二匹配度。
第一确定模块161，用于获取包含商品在内的原始图像，将所述原始图像输入目标检测模型，基于所述目标检测模型确定所述原始图像中的商品图像；将所述商品图像输入文本检测模型，基于所述文本检测模型确定所述商品图像中的文本区域图像；将所述文本区域图像输入所述文本识别模型基于所述文本识别模型确定所述第一文本信息。
本申请还提供了一种电子设备，如图17所示，包括：处理器171、通信接口172、存储器173和通信总线174，其中，处理器171，通信接口172，存储器173通过通信总线174完成相互间的通信；
所述存储器173中存储有计算机程序，当所述程序被所述处理器171执行时，使得所述处理器171执行以上任一方法步骤。
上述电子设备提到的通信总线可以是外设部件互连标准（Peripheral ComponentInterconnect，PCI）总线或扩展工业标准结构（Extended Industry StandardArchitecture，EISA）总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口172用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器（Random Access Memory，RAM），也可以包括非易失性存储器（Non-Volatile Memory，NVM），例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括中央处理器、网络处理器（NetworkProcessor，NP）等；还可以是数字信号处理器（Digital Signal Processing，DSP）、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
本申请还提供了一种计算机存储可读存储介质，所述计算机可读存储介质内存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行时实现以上任一方法步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种商品信息查验方法，其特征在于，所述方法包括：
获取待查验的商品图像，将所述商品图像输入文本识别模型，基于所述文本识别模型确定所述商品图像中的第一文本信息；
获取数据库中的多个目标商品各自的第二文本信息，针对所述多个目标商品，确定所述第一文本信息与所述目标商品的第二文本信息的匹配度，若所述匹配度大于预设的匹配度阈值，根据所述目标商品确定所述待查验的商品的查验结果；其中，分别对所述第一文本信息和所述目标商品的第二文本信息进行字符去重，根据字符去重后的所述第一文本信息和所述第二文本信息的交集字符序列，确定所述第一文本信息与所述第二文本信息的匹配度；和/或根据所述第一文本信息和所述目标商品的第二文本信息中同时出现且顺序相同的最长字符序列，确定所述第一文本信息与所述第二文本信息的匹配度。
2.如权利要求1所述的方法，其特征在于，所述方法包括：
获取数据库中的多个目标商品各自的品牌名文本信息，针对所述多个目标商品，确定所述第一文本信息与所述目标商品的品牌名文本信息的第一匹配度；
若所述第一匹配度大于预设的第一匹配度阈值，获取所述目标商品的品牌描述文本信息，确定所述第一文本信息与所述目标商品的品牌描述文本信息的第二匹配度，若所述第二匹配度大于预设的第二匹配度阈值，根据所述目标商品确定所述待查验的商品的查验结果。
3.如权利要求2所述的方法，其特征在于，确定所述第一文本信息与所述目标商品的品牌名文本信息的第一匹配度包括：
确定所述第一文本信息进行字符去重后的第一字符序列，确定所述目标商品的品牌名文本信息进行字符去重后的第二字符序列，以及所述第二字符序列和所述第一字符序列的第一交集字符序列；
根据所述第一字符序列、所述第二字符序列和所述第一交集字符序列，确定所述待查验的商品和所述目标商品的第一匹配度。
4.如权利要求2或3所述的方法，其特征在于，确定所述第一文本信息与所述目标商品的品牌名文本信息的第一匹配度包括：
确定所述第一文本信息和所述品牌名文本信息中同时出现且顺序相同的第一最长字符序列；
根据所述第一文本信息、所述品牌名文本信息和所述第一最长字符序列，确定所述待查验的商品和所述目标商品的第一匹配度。
5.如权利要求2所述的方法，其特征在于，确定所述第一文本信息与所述目标商品的品牌描述文本信息的第二匹配度包括：
确定所述第一文本信息进行字符去重后的第一字符序列，确定所述目标商品的品牌描述文本信息进行字符去重后的第三字符序列和所述第一字符序列的第二交集字符序列；
根据所述第一字符序列和所述第二交集字符序列，确定所述待查验的商品和所述目标商品的第二匹配度。
6.如权利要求2或5所述的方法，其特征在于，确定所述第一文本信息与所述目标商品的品牌描述文本信息的第二匹配度包括：
确定所述第一文本信息和所述品牌描述文本信息中同时出现且顺序相同的第二最长字符序列；
根据所述第一文本信息和所述第二最长字符序列，确定所述待查验的商品和所述目标商品的第二匹配度。
7.如权利要求1所述的方法，其特征在于，获取待查验的商品图像，将所述商品图像输入文本识别模型，基于所述文本识别模型确定所述商品图像中的第一文本信息包括：
获取包含商品在内的原始图像，将所述原始图像输入目标检测模型，基于所述目标检测模型确定所述原始图像中的商品图像；
将所述商品图像输入文本检测模型，基于所述文本检测模型确定所述商品图像中的文本区域图像；
将所述文本区域图像输入所述文本识别模型基于所述文本识别模型确定所述第一文本信息。
8.一种商品信息查验装置，其特征在于，所述装置包括：
第一确定模块，用于获取待查验的商品图像，将所述商品图像输入文本识别模型，基于所述文本识别模型确定所述商品图像中的第一文本信息；
第二确定模块，用于获取数据库中的多个目标商品各自的第二文本信息，针对所述多个目标商品，确定所述第一文本信息与所述目标商品的第二文本信息的匹配度，若所述匹配度大于预设的匹配度阈值，根据所述目标商品确定所述待查验的商品的查验结果；其中，分别对所述第一文本信息和所述目标商品的第二文本信息进行字符去重，根据字符去重后的所述第一文本信息和所述第二文本信息的交集字符序列，确定所述第一文本信息与所述第二文本信息的匹配度；和/或根据所述第一文本信息和所述目标商品的第二文本信息中同时出现且顺序相同的最长字符序列，确定所述第一文本信息与所述第二文本信息的匹配度。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一项所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311187500.6A CN116934195A (zh) | 2023-09-14 | 2023-09-14 | 一种商品信息查验方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311187500.6A CN116934195A (zh) | 2023-09-14 | 2023-09-14 | 一种商品信息查验方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116934195A true CN116934195A (zh) | 2023-10-24 |
Family
ID=88386387
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311187500.6A Pending CN116934195A (zh) | 2023-09-14 | 2023-09-14 | 一种商品信息查验方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116934195A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117274972A (zh) * | 2023-11-22 | 2023-12-22 | 盛视科技股份有限公司 | 基于深度学习和传统算法的证件版面分析方法 |
| CN117576699A (zh) * | 2023-11-06 | 2024-02-20 | 华南理工大学 | 一种基于深度学习的机车工单信息智能识别方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110147433A (zh) * | 2019-05-21 | 2019-08-20 | 北京鸿联九五信息产业有限公司 | 一种基于字典树的文本模板提取方法 |
| CN111597806A (zh) * | 2020-05-21 | 2020-08-28 | 上海创蓝文化传播有限公司 | 一种基于统计模型识别短信文本模版的方法、设备及介质 |
| KR20220014015A (ko) * | 2020-07-28 | 2022-02-04 | 김영훈 | 상품 텍스트 정보 분석 및 매칭 방법 |
| CN115357765A (zh) * | 2022-08-19 | 2022-11-18 | 北京百度网讯科技有限公司 | 数据搜索方法、装置、电子设备以及存储介质 |
| CN115661516A (zh) * | 2022-10-17 | 2023-01-31 | 特赞（上海）信息科技有限公司 | 商品识别方法以及装置、存储介质、电子装置 |
| CN115937868A (zh) * | 2022-12-12 | 2023-04-07 | 江苏中烟工业有限责任公司 | 烟包标签信息匹配方法、装置、电子设备及存储介质 |
| CN116032741A (zh) * | 2021-10-27 | 2023-04-28 | 中移（杭州）信息技术有限公司 | 一种设备识别方法、装置、电子设备和计算机存储介质 |
-
2023
- 2023-09-14 CN CN202311187500.6A patent/CN116934195A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110147433A (zh) * | 2019-05-21 | 2019-08-20 | 北京鸿联九五信息产业有限公司 | 一种基于字典树的文本模板提取方法 |
| CN111597806A (zh) * | 2020-05-21 | 2020-08-28 | 上海创蓝文化传播有限公司 | 一种基于统计模型识别短信文本模版的方法、设备及介质 |
| KR20220014015A (ko) * | 2020-07-28 | 2022-02-04 | 김영훈 | 상품 텍스트 정보 분석 및 매칭 방법 |
| CN116032741A (zh) * | 2021-10-27 | 2023-04-28 | 中移（杭州）信息技术有限公司 | 一种设备识别方法、装置、电子设备和计算机存储介质 |
| CN115357765A (zh) * | 2022-08-19 | 2022-11-18 | 北京百度网讯科技有限公司 | 数据搜索方法、装置、电子设备以及存储介质 |
| CN115661516A (zh) * | 2022-10-17 | 2023-01-31 | 特赞（上海）信息科技有限公司 | 商品识别方法以及装置、存储介质、电子装置 |
| CN115937868A (zh) * | 2022-12-12 | 2023-04-07 | 江苏中烟工业有限责任公司 | 烟包标签信息匹配方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 约书亚•萨克斯（JOSHUASAXE）等: "《基于数据科学的恶意软件分析》", 机械工业出版社, pages: 70 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117576699A (zh) * | 2023-11-06 | 2024-02-20 | 华南理工大学 | 一种基于深度学习的机车工单信息智能识别方法及系统 |
| CN117274972A (zh) * | 2023-11-22 | 2023-12-22 | 盛视科技股份有限公司 | 基于深度学习和传统算法的证件版面分析方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116934195A (zh) | 一种商品信息查验方法、装置、电子设备及存储介质 | |
| CN111078908B (zh) | 一种数据标注的检测方法和装置 | |
| WO2020047420A1 (en) | Method and system for facilitating recognition of vehicle parts based on a neural network | |
| CN110175609B (zh) | 界面元素检测方法、装置及设备 | |
| CN111310826B (zh) | 样本集的标注异常检测方法、装置及电子设备 | |
| TWI716012B (zh) | 樣本標註方法、裝置、儲存媒體和計算設備、損傷類別的識別方法及裝置 | |
| US11544510B2 (en) | System and method for multi-modal image classification | |
| CN110490237B (zh) | 数据处理方法、装置、存储介质及电子设备 | |
| CN115131283A (zh) | 目标对象的缺陷检测、模型训练方法、装置、设备及介质 | |
| CN111311545A (zh) | 集装箱检测方法、装置及计算机可读存储介质 | |
| CN111311546A (zh) | 集装箱检测方法、装置及计算机可读存储介质 | |
| EP3376438A1 (en) | A system and method for detecting change using ontology based saliency | |
| CN111275682A (zh) | 集装箱检测方法、装置及计算机可读存储介质 | |
| CN117115158B (zh) | 基于深度对比学习的缺陷检测方法及装置 | |
| CN111931721B (zh) | 年检标签颜色和个数的检测方法、装置及电子设备 | |
| CN109359683B (zh) | 目标检测方法、装置、终端和计算机可读存储介质 | |
| CN116580390A (zh) | 价签内容获取方法、装置、存储介质和计算机设备 | |
| CN114140751B (zh) | 一种考场监控方法及系统 | |
| CN115018783A (zh) | 一种视频水印检测方法和装置、电子设备和存储介质 | |
| CN114998665A (zh) | 一种图像类别识别方法、装置、电子设备及存储介质 | |
| Khurat et al. | An open-source based automatic car detection system using iot | |
| Wang et al. | Learning to count objects with few exemplar annotations | |
| CN110851349A (zh) | 页面异常显示的检测方法、终端设备及存储介质 | |
| CN106446902B (zh) | 非文字图像识别方法和装置 | |
| CN116740385B (zh) | 一种设备质检方法、装置和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |