CN111931774B - 药品数据的入库方法及系统 - Google Patents

药品数据的入库方法及系统 Download PDF

Info

Publication number
CN111931774B
CN111931774B CN202011029282.XA CN202011029282A CN111931774B CN 111931774 B CN111931774 B CN 111931774B CN 202011029282 A CN202011029282 A CN 202011029282A CN 111931774 B CN111931774 B CN 111931774B
Authority
CN
China
Prior art keywords
medicine
data
image
drug
medicine data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011029282.XA
Other languages
English (en)
Other versions
CN111931774A (zh
Inventor
胡滨
于刚
张志浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yiyaowang Technology (Shanghai) Co.,Ltd.
Original Assignee
Yaofang Information Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yaofang Information Technology Shanghai Co ltd filed Critical Yaofang Information Technology Shanghai Co ltd
Priority to CN202011029282.XA priority Critical patent/CN111931774B/zh
Publication of CN111931774A publication Critical patent/CN111931774A/zh
Application granted granted Critical
Publication of CN111931774B publication Critical patent/CN111931774B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Economics (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Accounting & Taxation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Medical Preparation Storing Or Oral Administration Devices (AREA)

Abstract

本申请涉及数据处理领域，公开了一种药品数据的入库方法及系统。该方法包括：获取待入库药品的包装盒图像和说明书图像；根据从包装盒图像中提取的条形码区域所对应的数字码查询得到第一药品数据，分别对包装盒图像和说明书图像进行识别得到对应的第二药品信息和第三药品信息，该第一、第二和第三药品信息均包含相同的多个属性项；根据第一药品数据、第二药品信息和第三药品信息进行交叉验证后输出验证结果，根据该验证结果生成新增药品信息；根据该新增药品数据对该待入库药品的数据进行入库。本申请的实施方式能够有效提高药品数据录入效率和准确度，并节约了人工成本。

Description

药品数据的入库方法及系统
技术领域
本申请涉及数据处理领域，特别涉及药品数据的入库技术。
背景技术
近年来，我国医药产业处于持续、稳定、快速发展阶段，并且随着互联网的快速发展，涌现出大量的医药网站。
为了保障各医药网的药品信息的规范性，建立完整、规范的药品数据库是十分必要的
发明内容
本申请的目的在于提供一种药品数据的入库方法及系统，能够有效提高药品数据录入效率、准确度，并节约了人工成本。
本申请公开了一种药品数据的入库方法，包括：
获取待入库药品的包装盒图像和说明书图像；
从所述包装盒图像中提取条形码区域，识别所述条形码区域的数字码；
根据所述数字码查询得到包含多个属性项的第一药品数据；
对所述包装盒图像进行识别，得到包含所述多个属性项的第二药品数据；
对所述说明书图像进行识别，得到包含所述多个属性项的第三药品数据；
计算所述第一药品数据和所述第二药品数据的第一匹配度，如果所述第一匹配度低于第一预设阈值，则计算所述第一药品数据和所述第三药品数据的第二匹配度，否则根据所述第一药品数据生成新增药品数据；
如果所述第二匹配度低于第二预设阈值，则计算所述第二药品数据和所述第三药品数据的第三匹配度，否则根据所述第一药品数据生成新增药品数据；
如果所述第三匹配度高于或等于第三预设阈值，则根据所述第二药品数据生成新增药品数据，所述第三预设阈值高于所述第一预设阈值和所述第二预设阈值；
根据所述新增药品数据对所述待入库药品的数据进行入库。
在一个优选例中，所述多个属性项包括通用名、生产企业、规格和批准文号 。
在一个优选例中，还包括：
如果所述第三匹配度低于所述第三预设阈值，则将所述包装盒图像和说明书图像发送至人工终端，进行人工复核。
在一个优选例中，所述对所述包装盒图像进行识别，得到包含所述多个属性项的第二药品数据之前，还包括：
使用在imagenet数据集预训练的权重，在标注有所述多个属性项的包装盒图像数据集中对YOLO-v4网络进行迁移训练；
构建第二药品数据的第一识别模型，所述第一识别模型由所述YOLO-v4网络、Tesseract-OCR网络和关键字识别/改写规则层组成，所述YOLO-v4网络的输出层的header向量中，筛选置信度高于第四预设阈值的坐标头和分类头，并将坐标头截取的原始图像和分类头连接后作为输入导入到所述Tesseract-OCR网络进行OCR识别，并将OCR识别结果和该分类头连接到所述关键字识别/改写规则层；
所述对所述包装盒图像进行识别，得到包含所述多个属性项的第二药品数据进一步包括：
将所述包装盒图像输入到所述第一识别模型，输出得到所述第二药品数据。
在一个优选例中，所述对所述说明书图像进行识别，得到包含所述多个属性项的第三药品数据之前，还包括：
预先使用标注有所述多个属性项的说明书文本数据集训练第二识别模型，所述第二识别模型是基于BERT模型预训练的端到端NER命名实体识别和RE关系抽取模型；
所述对所述说明书图像进行识别，得到所述第三药品数据，进一步包括：
对所述说明书图像进行OCR识别得到说明书文本；
将所述说明书文本输入到已训练好的所述第二识别模型，输出得到所述第三药品数据。
在一个优选例中，所述从所述包装盒图像中提取条形码区域，识别所述条形码区域的数字码进一步包括：
使用MSER最大稳定极值区域方法，通过检测、过滤和聚类斑点的方式检测所述包装盒图像中的条形码边界，以提取所述包装盒图像中的条形码区域；
在所述条形码区域中使用贝叶斯算法读取条形码并转换为数字码；
所述根据所述数字码查询得到包含多个属性项的第一药品数据进一步包括：
根据所述数字码查询药品的通用名、生产企业、规格和批准文号以得到所述第一药品数据。
在一个优选例中，所述根据所述新增药品数据对所述待入库药品的数据进行入库，进一步包括：
将所述新增药品数据与药品数据库中的药品信息进行匹配；
如果所述药品数据库中存在完全匹配的药品信息，则丢弃所述新增药品数据；
如果所述药品数据库中存在不匹配的药品信息，则将所述新增药品数据录入所述药品数据库；
如果所述药品数据库中存在不完全匹配但相似的药品信息，则将所述新增药品数据发送到人工终端，进行人工审核。
在一个优选例中，所述如果从所述药品数据库中匹配到所述新增药品数据的部分项药品信息，则将所述新增药品数据发送到人工终端，进行人工审核之后，还包括：
判定是否为所述新增药品数据中的药品信息存在问题；
如果是则对所述新增药品数据进行人工修正后录入所述药品数据库，否则判断是否为药品数据库中的药品信息存在问题；
如果确定是药品数据库中的药品信息存在问题，则修正所述药品数据库中的药品信息后录入所述药品数据库。
本申请还公开了一种药品数据的入库系统包括：
识别模块，用于获取待入库药品的包装盒图像和说明书图像，从所述包装盒图像中提取条形码区域，识别所述条形码区域的数字码，根据所述数字码查询得到包含多个属性项的第一药品数据，对所述包装盒图像进行识别得到包含所述多个属性项的第二药品数据，对所述说明书图像进行识别得到包含所述多个属性项的第三药品数据；
计算模块，用于计算所述第一药品数据和所述第二药品数据的第一匹配度，如果所述第一匹配度低于第一预设阈值，则计算所述第一药品数据和所述第三药品数据的第二匹配度，否则根据第一药品数据生成新增药品数据，如果所述第二匹配度低于第二预设阈值，则计算所述第二药品数据和所述第三药品数据的第三匹配度，否则根据所述第一药品数据生成新增药品数据，如果所述第三匹配度高于或等于第三预设阈值，则根据所述第二药品数据生成新增药品数据，所述第三预设阈值高于所述第一预设阈值和所述第二预设阈值；
录入模块，用于根据所述新增药品数据对所述待入库药品的数据进行入库。
在一个优选例中，所述多个属性项包括通用名、生产企业、规格和批准文号。
在一个优选例中，所述计算模块还用于如果所述第三匹配度低于所述第三预设阈值，则将所述包装盒图像和说明书图像发送至人工终端，进行人工复核。
在一个优选例中，所述识别模块还包括第一识别模型，所述第一识别模型由YOLO-v4网络、Tesseract-OCR网络和关键字识别/改写规则层组成，所述YOLO-v4网络的output层的header向量中，筛选置信度高于第四预设阈值的坐标头和分类头，并将坐标头截取的原始图像和分类头连接后作为input导入到所述Tesseract-OCR网络进行OCR识别，并将OCR识别结果和该分类头连接到所述关键字识别/改写规则层，所述YOLO-v4网络预先使用在imagenet数据集预训练的权重，在标注有所述多个属性项的包装盒图像数据集中对所述YOLO-v4网络进行迁移训练；
所述识别模块还用于将所述包装盒图像输入到所述第一识别模型，输出得到所述第二药品数据。
本申请还公开了一种药品数据的入库系统包括：
存储器，用于存储计算机可执行指令；以及，
处理器，用于在执行所述计算机可执行指令时实现如前文描述的方法中的步骤。
本申请还公开了一种计算机可读存储介质所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现如前文描述的方法中的步骤。
本申请实施方式中，至少包括以下优点和效果：
构建药品数据库，在药品数据进行入库时，对该药品数据中包含相同属性项的不同来源的第一药品信息、第二药品信息和第三药品信息进行交叉验证，根据交叉验证结果生成新增药品数据，再根据所生成的新增药品数据对该药品数据进行入库，与单一验证方式相比，减小了验证结果的误差，提高了验证结果的准确性，与人工入库方式相比，提高了药品数据入库效率和准确度，并节约了人工成本。
进一步地，在对包装盒图像进行识别得到第二药品数据时，采用由 YOLO-v4网络、Tesseract-OCR网络和关键字识别/改写规则层构建的端到端第一识别模型，识别准确率高且识别速度快，进一步提高了药品数据入库效率和准确度，并节约了人工成本。
进一步地，在根据所生成的新增药品数据进行入库时，将新增药品数据与当前药品数据库中的药品信息进行匹配，对于药品数据库中存在完全匹配的药品信息的情况的新增药品数据进行丢弃，对于药品数据库中存在不匹配的药品信息的情况的新增药品数据进行录入，对于药品数据库中存在不完全匹配但相似的药品信息的情况的新增药品数据进行转人工审核，减小前述识别过程（例如“从所述包装盒图像中提取条形码区域，识别所述条形码区域的数字码”、“对所述包装盒图像进行识别得到包含所述多个属性项的第二药品数据”、“对所述说明书图像进行识别得到包含所述多个属性项的第三药品数据”等识别过程）的识别误差，进一步提高了药品数据入库的准确度。
本申请的说明书中记载了大量的技术特征，分布在各个技术方案中，如果要罗列出本申请所有可能的技术特征的组合（即技术方案）的话，会使得说明书过于冗长。为了避免这个问题，本申请上述发明内容中公开的各个技术特征、在下文各个实施方式和例子中公开的各技术特征、以及附图中公开的各个技术特征，都可以自由地互相组合，从而构成各种新的技术方案（这些技术方案均因视为在本说明书中已经记载），除非这种技术特征的组合在技术上是不可行的。例如，在一个例子中公开了特征A+B+C，在另一个例子中公开了特征A+B+D+E，而特征C和D是起到相同作用的等同技术手段，技术上只要择一使用即可，不可能同时采用，特征E技术上可以与特征C相组合，则，A+B+C+D的方案因技术不可行而应当不被视为已经记载，而A+B+C+E的方案应当视为已经被记载。
附图说明
图1是根据本申请第一实施方式的药品数据的入库方法流程示意图。
图2是根据本申请的一个示例的第二药品数据识别过程的数据流图。
图3是根据本申请第二实施方式的药品数据的入库系统结构示意图。
具体实施方式
在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
部分概念的说明：
imagenet数据集：用于视觉对象识别软件研究的大型可视化数据库。
YOLO-v4网络：是一种平衡性能和精度的one-stage目标检测网络，可以端到端直接在输出层回归目标方框的位置和类别，最新的第四代YOLOv4通过引入前沿的注意力等机制将目标检测的精度和速度提升到了一个新的高度。
Tesseract-OCR 网络：是一个开源的OCR引擎，可以识别多种格式的图像文件并将其转换成文本， Tesseract最初由HP公司开发，后来由Google维护。
OCR识别：Optical Character Recognition，指的是光学字符识别，用于从图片中读取文本。
BERT模型：全称是Bidirectional Encoder Representation fromTransformers，即一种双向Transformer的编码器，得益于其注意力和文本预训练的机制的引入，在NLP领域的11个方向大幅刷新了精度。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请的实施方式作进一步地详细描述。
本申请的第一实施方式涉及一种药品数据的入库方法，其流程如图1所示，该方法包括以下步骤：
在步骤101中，获取待入库药品的包装盒图像和说明书图像。
例如，在步骤101之前，可以例如通过图像采集装置（如摄像头、扫描仪等）采集该待入库药品的包装盒图像和说明书图像。在一个实施例中，所采集的包装盒图像包括包装盒的六个面图像，所采集的说明书图像包括说明书的所有页图像。在其他实施例中，所采集的包装盒图像也可以包括仅包装盒的部分主要面图像，所采集的说明书图像也可以仅包括说明书的部分页图像。
之后，进入步骤102，从该包装盒图像中提取条形码区域，识别该条形码区域的数字码。
之后，进入步骤103，根据该数字码查询得到包含多个属性项的第一药品数据。
该多个属性项的组成情况是多种多样的。优选地，该多个属性项包括通用名、生产企业、规格和批准文号。可选地，该多个属性项包括通用名、生产企业、规格和批准文号中的任两个或多个。可选地，该多个属性项包括商品名、生产国家、剂型、国药准字中的任两个或多个。可选地，该多个属性项包括通用名、生产企业、规格、批准文号、商品名、生产国家、剂型、国药准字中的任两个或多个。在其他实施例中，该多个属性项不限于上述类型，也可以是上述未提及的其他类型，此处不做赘述。
在一个实施例中，从该包装盒图像中的条形码区域查询得到通用名、生产企业、规格、批准文号的第一药品数据的过程如下：首先在药品的包装盒图像中查找条形码区域，例如使用MSER最大稳定极值区域方法，通过检测、过滤和聚类斑点的方式检测条形码边界以避免一般边缘检测算法的不稳定性，提取条形码区域；之后在所提取的条形码区域中使用例如贝叶斯算法读取条形码并转换为全数字码，在全数字码中例如只选择13位的GS1数字码（屏蔽20位编码的药品电子监管码）；之后调用中国商品信息服务平台查询API获取“通用名/生产企业/规格”的三个属性项信息，通过所获取的三个属性项信息调用国家药品监督管理局查询接口查询CFDA批准文号，将“通用名/生产企业/规格/CFDA批准文号”此四个属性项作为第一药品信息。在其他具体实施例中，在调用中国商品信息服务平台查询API获取“通用名/生产企业/规格”的三个属性项之后，也可以通过所获取的三个属性项调用国家药品监督管理局查询接口查询到除CFDA批准文号以外的其他属性信息。
之后，进入步骤104，对该包装盒图像进行识别，得到包含该多个属性项的第二药品数据。
在一个实施例中，在执行步骤104之前，还可以包括以下预先准备的步骤a和b：在步骤a中，使用在imagenet数据集预训练的权重，在标注有该多个属性项的包装盒图像数据集中对YOLO-v4网络进行迁移训练；之后执行步骤b，构建第二药品数据的第一识别模型，该第一识别模型由YOLO-v4网络、Tesseract-OCR 网络和关键字识别/改写规则层组成，该YOLO-v4网络的输出层的header向量中，筛选置信度高于第四预设阈值的坐标头和分类头，并将坐标头截取的原始图像和分类头连接后作为输入导入到该Tesseract-OCR网络进行OCR识别，并将OCR识别结果和该分类头连接到该关键字识别/改写规则层。其中，该Tesseract-OCR网络例如可以使用其自带中文字库直接进行OCR预测。在该实施例中，该步骤104可以进一步实现为：将该包装盒图像输入到该第一识别模型，输出得到包含该多个属性项的第二药品数据。如图2所示为一个示例的基于本实施例的第一识别模型进行的第二药品数据识别过程的数据流图，在该示例中，该第二药品数据包括的该多个属性项为“通用名、国药准字、规格、生产企业”。
之后，进入步骤105，对该说明书图像进行识别得到包含该多个属性项的第三药品数据。
在一个实施例中，该步骤105之前，还可以包括以下步骤：预先使用标注有该多个属性项的说明书文本数据集训练第二识别模型，该第二识别模型是基于BERT模型预训练的端到端NER命名实体识别和RE关系抽取模型。在该实施例中，该步骤105可以进一步实现为：对该说明书图像进行OCR识别得到说明书文本；并且将该说明书文本输入到已训练好的第二识别模型，输出得到该第三药品数据。
需要说明的是，在本实施例中，上述的步骤102、步骤103、步骤104、步骤105是依次执行的，但是在其他实施例中，上述步骤102和103、上述步骤104、上述步骤105可以并行执行或者以任意其他顺序执行。
之后，进入步骤106，计算该第一药品数据和该第二药品数据的第一匹配度。
之后，进入步骤107“判断步骤106中计算得到的该第一匹配度是否低于第一预设阈值”，如果是则进入步骤108“计算该第一药品数据和该第三药品数据的第二匹配度”，否则进入步骤111“根据该第一药品数据生成新增药品数据”。
在步骤108之后，进入步骤109“判断步骤108中计算得到的该第二匹配度是否低于第二预设阈值”，如果是则进入步骤110“计算该第二药品数据和该第三药品数据的第三匹配度”，否则进入步骤111“根据该第一药品数据生成新增药品数据”。
可选地，该第一预设阈值等于该第二预设阈值。在其他可选实施例中，该第一预设阈值也可以不等于该第二预设阈值，例如但不限于可以根据该第二药品数据和该第三药品数据的识别准确率进行设置。
在步骤110之后，进入步骤112“判断步骤110中计算得到的第三匹配度是否高于或等于第三预设阈值”，如果是则进入步骤113“根据该第二药品数据生成新增药品数据，该第三预设阈值高于该第一预设阈值和该第二预设阈值”。
可选地，该第三预设阈值远高于该第一预设阈值和该第二预设阈值。
可选地，如果该第三匹配度低于该第三预设阈值，则进入步骤114“将该包装盒图像和说明书图像发送到人工终端，进行人工复核，并根据人工复核结果生成新增药品数据”。
之后，进入步骤115，根据上述新增药品数据对该待入库药品数据进行入库。
可选地，该步骤115可以进一步包括以下步骤115a～115d：
在步骤115a中，将该新增药品数据与药品数据库中的药品信息进行匹配；之后执行步骤115b，如果该药品数据库中存在完全匹配的药品信息，则丢弃该新增药品数据；之后执行步骤115c，如果该新增药品数据与该药品数据库中药品信息都不匹配，则将该新增药品数据录入该药品数据库；之后执行步骤115d，如果该药品数据库中存在不完全匹配但相似的药品信息，则将该新增药品数据发送到人工终端，进行人工审核。在一个实施例中，可以计算新增药品数据与药品数据库中的药品信息的匹配度，如果匹配度超过预定上限，则判定为完全匹配，如果匹配度低于预定下限，则判定为不匹配，如果匹配度在上限和下限之间，则判定为不完全匹配但相似。在另一个实施例中，也可以通过预先定义的一条或多条规则判断属于完全匹配、不匹配和不完全匹配但相似中的哪一种。
为了更好的理解上述105a～105d，以“国药准字、通用名、规格、生产企业”作为该多个属性项为例进行说明。如下表1为将三种新增药品数据与药品数据库中的药品信息进行匹配的情况，其中“1”表示从药品数据库中匹配得到的药品信息；“2”、“3”、“4”分别表示三种新增药品数据中的药品信息。其中，与“1”相比，“2”是药品数据库中存在完全匹配的药品信息的情况，需要丢弃“2”对应的新增药品数据；与“1”相比，“3”是该药品数据库中存在不完全匹配但相似的药品信息的情况，需将“3”对应的新增药品数据发送到人工终端，进行人工审核；与“1”相比，“4”是该药品数据库中存在不匹配的药品信息，需将“4”对应的新增药品数据录入该药品数据库。
表1
编号 国药准字 通用名 规格 生产企业
1 H20100019 恩替卡韦分散片 0.5mg*28片 正大天晴药业集团股份有限公司
2 H20100019 恩替卡韦分散片 0.5mg*28片 正大天晴
3 H20100019 恩替卡韦分散片 0.5mg*7片*4板 正大天晴药业集团股份有限公司
4 H20153021 恩替卡韦分散片 1mg*7片 苏州东瑞制药有限公司
可选地，该步骤115d中“将该新增药品数据发送到人工终端，进行人工审核”之后，还包括：
判定是否该新增药品数据中的药品信息存在问题；
如果是则对该新增药品数据进行人工修正后录入该药品数据库，否则判断是否为药品数据库中的药品信息存在问题；
如果确定是药品数据库中的药品信息存在问题，则修正药品数据库中的药品信息后录入该药品数据库。
本申请的第二实施方式涉及一种药品数据的入库系统，其结构如图3所示，该药品数据的入库系统包括识别模块301、计算模块302和录入模块303。
具体描述为：
识别模块301，用于获取待入库药品的包装盒图像和说明书图像，从该包装盒图像中提取条形码区域，识别该条形码区域的数字码，根据该数字码查询得到包含多个属性项的第一药品数据，对该包装盒图像进行识别得到包含该多个属性项的第二药品数据，对该说明书图像进行识别得到包含该多个属性项的第三药品数据。
可选地，该系统还可以包括图像采集装置，用于采集该待入库药品的包装盒图像和说明书图像。在一个实施例中，所采集的包装盒图像包括包装盒的六个面图像，所采集的说明书图像包括说明书的所有页图像。在其他实施例中，所采集的包装盒图像也可以包括仅包装盒的部分主要面图像，所采集的说明书图像也可以仅包括说明书的部分页图像。
在一个实施例中，该识别模块还包括第一识别模型，具体的，该第一识别模型由YOLO-v4网络、Tesseract-OCR网络和关键字识别/改写规则层组成，该YOLO-v4网络的output层的header向量中，筛选置信度高于第四预设阈值的坐标头和分类头，并将坐标头截取的原始图像和分类头连接后作为input导入到该Tesseract-OCR网络进行OCR识别，并将OCR识别结果和该分类头连接到该关键字识别/改写规则层，该YOLO-v4网络预先使用在imagenet数据集预训练的权重，在标注有该多个属性项的包装盒图像数据集中对YOLO-v4网络进行迁移训练。在该实施例中，该识别模块还用于将该包装盒图像输入到该第一识别模型，输出得到包含该多个属性项的第二药品数据。
该多个属性项的组成情况是多种多样的。优选地，该多个属性项包括通用名、生产企业、规格和批准文号。可选地，该多个属性项包括通用名、生产企业、规格和批准文号中的任两个或多个。可选地，该多个属性项包括商品名、生产国家、剂型中的任两个或多个。可选地，该多个属性项包括通用名、生产企业、规格、批准文号、商品名、生产国家、剂型中的任两个或多个。在其他实施例中，该多个属性项不限于上述类型，也可以是上述未提及的其他类型，此处不做赘述。
计算模块302，用于计算该第一药品数据和该第二药品数据的第一匹配度，如果该第一匹配度低于第一预设阈值，则计算该第一药品数据和该第三药品数据的第二匹配度，否则根据第一药品数据生成新增药品数据，如果该第二匹配度低于第二预设阈值，则计算该第二药品数据和该第三药品数据的第三匹配度，否则根据该第一药品数据生成新增药品数据，如果该第三匹配度高于或等于第三预设阈值，则根据该第二药品数据生成新增药品数据，该第三预设阈值高于该第一预设阈值和该第二预设阈值。
可选地，该第一预设阈值等于该第二预设阈值。在其他可选实施例中，该第一预设阈值也可以不等于该第二预设阈值，可以根据该第二药品数据和该第三药品数据的识别准确率进行设置。可选地，该第三预设阈值远高于该第一预设阈值和该第二预设阈值。
可选地，该计算模块302还用于如果该第三匹配度低于该第三预设阈值，则将该包装盒图像和说明书图像发送到人工终端，进行人工复核，并根据人工复核结果生成新增药品数据。
录入模块303，用于根据该新增药品数据对该待入库药品的数据进行入库。
可选地，录入模块303还用于将该新增药品数据与药品数据库中的药品信息进行匹配，如果该药品数据库中存在完全匹配的药品信息，则丢弃该新增药品数据，如果该药品数据库中存在不匹配的药品信息，则将该新增药品数据录入该药品数据库，如果该药品数据库中存在不完全匹配但相似的药品信息，则将该新增药品数据发送到人工终端，进行人工审核。
第一实施方式是与本实施方式相对应的方法实施方式，第一实施方式中的技术细节可以应用于本实施方式，本实施方式中的技术细节也可以应用于第一实施方式。
需要说明的是，本领域技术人员应当理解，上述药品数据的入库系统的实施方式中所示的各模块的实现功能可参照前述药品数据的入库方法的相关描述而理解。上述药品数据的入库系统的实施方式中所示的各模块的功能可通过运行于处理器上的程序（可执行指令）而实现，也可通过具体的逻辑电路而实现。本申请实施例上述药品数据的入库系统如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read Only Memory）、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。
相应地，本申请实施方式还提供一种计算机可读存储介质，其中存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现本申请的各方法实施方式。计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于，相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读存储介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
此外，本申请实施方式还提供一种药品数据的入库系统，其中包括用于存储计算机可执行指令的存储器，以及，处理器；该处理器用于在执行该存储器中的计算机可执行指令时实现上述各方法实施方式中的步骤。其中，该处理器可以是中央处理单元(CentralProcessing Unit，简称“CPU”)，还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，简称“DSP”)、专用集成电路(Application Specific IntegratedCircuit，简称“ASIC”)等。前述的存储器可以是只读存储器(read-only memory，简称“ROM”)、随机存取存储器(random access memory，简称“RAM”)、快闪存储器（Flash）、硬盘或者固态硬盘等。本发明各实施方式所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
需要说明的是，在本专利的申请文件中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。本专利的申请文件中，如果提到根据某要素执行某行为，则是指至少根据该要素执行该行为的意思，其中包括了两种情况：仅根据该要素执行该行为、和根据该要素和其它要素执行该行为。多个、多次、多种等表达包括2个、2次、2种以及2个以上、2次以上、2种以上。
在本申请提及的所有文献都被认为是整体性地包括在本申请的公开内容中，以便在必要时可以作为修改的依据。此外应理解，以上所述仅为本说明书的较佳实施例而已，并非用于限定本说明书的保护范围。凡在本说明书一个或多个实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例的保护范围之内。

Claims (14)

1.一种药品数据的入库方法，其特征在于，包括：
获取待入库药品的包装盒图像和说明书图像；
从所述包装盒图像中提取条形码区域，识别所述条形码区域的数字码；
根据所述数字码查询得到包含多个属性项的第一药品数据；
对所述包装盒图像进行识别，得到包含所述多个属性项的第二药品数据；
对所述说明书图像进行识别，得到包含所述多个属性项的第三药品数据；
计算所述第一药品数据和所述第二药品数据的第一匹配度，如果所述第一匹配度低于第一预设阈值，则计算所述第一药品数据和所述第三药品数据的第二匹配度，否则根据所述第一药品数据生成新增药品数据；
如果所述第二匹配度低于第二预设阈值，则计算所述第二药品数据和所述第三药品数据的第三匹配度，否则根据所述第一药品数据生成新增药品数据；
如果所述第三匹配度高于或等于第三预设阈值，则根据所述第二药品数据生成新增药品数据，所述第三预设阈值高于所述第一预设阈值和所述第二预设阈值；
根据所述新增药品数据对所述待入库药品的数据进行入库。
2.如权利要求1所述的药品数据的入库方法，其特征在于，所述多个属性项包括通用名、生产企业、规格和批准文号。
3.如权利要求1所述的药品数据的入库方法，其特征在于，还包括：
如果所述第三匹配度低于所述第三预设阈值，则将所述包装盒图像和说明书图像发送至人工终端，进行人工复核。
4.如权利要求1所述的药品数据的入库方法，其特征在于，所述对所述包装盒图像进行识别，得到包含所述多个属性项的第二药品数据之前，还包括：
使用在imagenet数据集预训练的权重，在标注有所述多个属性项的包装盒图像数据集中对YOLO-v4网络进行迁移训练；
构建第二药品数据的第一识别模型，所述第一识别模型由所述YOLO-v4网络、Tesseract-OCR网络和关键字识别/改写规则层组成，所述YOLO-v4网络的输出层的header向量中，筛选置信度高于第四预设阈值的坐标头和分类头，并将坐标头截取的原始图像和分类头连接后作为输入导入到所述Tesseract-OCR网络进行OCR识别，并将OCR识别结果和该分类头连接到所述关键字识别/改写规则层；
所述对所述包装盒图像进行识别，得到包含所述多个属性项的第二药品数据进一步包括：
将所述包装盒图像输入到所述第一识别模型，输出得到所述第二药品数据。
5.如权利要求1所述的药品数据的入库方法，其特征在于，所述对所述说明书图像进行识别，得到包含所述多个属性项的第三药品数据之前，还包括：
预先使用标注有所述多个属性项的说明书文本数据集训练第二识别模型,所述第二识别模型是基于BERT模型预训练的端到端NER命名实体识别和RE关系抽取模型；
所述对所述说明书图像进行识别，得到包含所述多个属性项的第三药品数据，进一步包括：
对所述说明书图像进行OCR识别得到说明书文本；
将所述说明书文本输入到已训练好的所述第二识别模型，输出得到所述第三药品数据。
6.如权利要求2所述的药品数据的入库方法，其特征在于，所述从所述包装盒图像中提取条形码区域，识别所述条形码区域的数字码进一步包括：
使用MSER最大稳定极值区域方法，通过检测、过滤和聚类斑点的方式检测所述包装盒图像中的条形码边界，以提取所述包装盒图像中的条形码区域；
在所述条形码区域中使用贝叶斯算法读取条形码并转换为数字码；
所述根据所述数字码查询得到包含多个属性项的第一药品数据进一步包括：
根据所述数字码查询药品的通用名、生产企业、规格和批准文号以得到所述第一药品数据。
7.如权利要求1-6中任意一项所述的药品数据的入库方法，其特征在于，所述根据所述新增药品数据对所述待入库药品的数据进行入库，进一步包括：
将所述新增药品数据与药品数据库中的药品信息进行匹配；
如果所述药品数据库中存在完全匹配的药品信息，则丢弃所述新增药品数据；
如果所述药品数据库中存在不匹配的药品信息，则将所述新增药品数据录入所述药品数据库；
如果所述药品数据库中存在不完全匹配但相似的药品信息，则将所述新增药品数据发送到人工终端，进行人工审核。
8.如权利要求7所述的药品数据的入库方法，其特征在于，所述如果所述药品数据库中存在不完全匹配但相似的药品信息，则将所述新增药品数据发送到人工终端，进行人工审核之后，还包括：
判定是否为所述新增药品数据中的药品信息存在问题；
如果是则对所述新增药品数据进行人工修正后录入所述药品数据库，否则判断是否为药品数据库中的药品信息存在问题；
如果确定是药品数据库中的药品信息存在问题，则修正所述药品数据库中的药品信息后录入所述药品数据库。
9.一种药品数据的入库系统，其特征在于，包括：
识别模块，用于获取待入库药品的包装盒图像和说明书图像，从所述包装盒图像中提取条形码区域，识别所述条形码区域的数字码，根据所述数字码查询得到包含多个属性项的第一药品数据，对所述包装盒图像进行识别得到包含所述多个属性项的第二药品数据，对所述说明书图像进行识别得到包含所述多个属性项的第三药品数据；
计算模块，用于计算所述第一药品数据和所述第二药品数据的第一匹配度，如果所述第一匹配度低于第一预设阈值，则计算所述第一药品数据和所述第三药品数据的第二匹配度，否则根据第一药品数据生成新增药品数据，如果所述第二匹配度低于第二预设阈值，则计算所述第二药品数据和所述第三药品数据的第三匹配度，否则根据所述第一药品数据生成新增药品数据，如果所述第三匹配度高于或等于第三预设阈值，则根据所述第二药品数据生成新增药品数据，所述第三预设阈值高于所述第一预设阈值和所述第二预设阈值；
录入模块，用于根据所述新增药品数据对所述待入库药品的数据进行入库。
10.如权利要求9所述的药品数据的入库系统，其特征在于，所述多个属性项包括通用名、生产企业、规格和批准文号。
11.如权利要求9所述的药品数据的入库系统，其特征在于，所述计算模块还用于如果所述第三匹配度低于所述第三预设阈值，则将所述包装盒图像和说明书图像发送至人工终端，进行人工复核。
12.如权利要求9-11中任意一项所述的药品数据的入库系统，其特征在于，所述识别模块还包括第一识别模型，所述第一识别模型由YOLO-v4网络、Tesseract-OCR网络和关键字识别/改写规则层组成，所述YOLO-v4网络的output层的header向量中，筛选置信度高于第四预设阈值的坐标头和分类头，并将坐标头截取的原始图像和分类头连接后作为input导入到所述Tesseract-OCR网络进行OCR识别，并将OCR识别结果和该分类头连接到所述关键字识别/改写规则层，所述YOLO-v4网络预先使用在imagenet数据集预训练的权重，在标注有所述多个属性项的包装盒图像数据集中对所述YOLO-v4网络进行迁移训练；
所述识别模块还用于将所述包装盒图像输入到所述第一识别模型，输出得到所述第二药品数据。
13.一种药品数据的入库系统，其特征在于，包括：
存储器，用于存储计算机可执行指令；以及，
处理器，用于在执行所述计算机可执行指令时实现如权利要求1至8中任意一项所述的方法中的步骤。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现如权利要求1至8中任意一项所述的方法中的步骤。
CN202011029282.XA 2020-09-27 2020-09-27 药品数据的入库方法及系统 Active CN111931774B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011029282.XA CN111931774B (zh) 2020-09-27 2020-09-27 药品数据的入库方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011029282.XA CN111931774B (zh) 2020-09-27 2020-09-27 药品数据的入库方法及系统

Publications (2)

Publication Number Publication Date
CN111931774A CN111931774A (zh) 2020-11-13
CN111931774B true CN111931774B (zh) 2020-12-18

Family

ID=73334253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011029282.XA Active CN111931774B (zh) 2020-09-27 2020-09-27 药品数据的入库方法及系统

Country Status (1)

Country Link
CN (1) CN111931774B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112509664A (zh) * 2020-12-22 2021-03-16 微医云(杭州)控股有限公司 药房管理平台、信息处理方法、装置、设备及存储介质
CN112581014B (zh) * 2020-12-25 2023-12-08 特赞（上海）信息科技有限公司 素材准备度的统计方法、装置、设备和存储介质
CN112967787A (zh) * 2021-01-28 2021-06-15 壹健康健康产业(深圳)有限公司 一种药品信息录入方法、装置、介质及终端设备
CN113159973A (zh) * 2021-02-25 2021-07-23 华夏方圆信用评估有限公司 智慧医保基金动态监管方法及系统
CN113327093A (zh) * 2021-04-28 2021-08-31 青岛鼎信通讯股份有限公司 一种应用于电力产品的物料新增管理系统
CN113130038A (zh) * 2021-04-30 2021-07-16 康键信息技术（深圳）有限公司 药品数据匹配方法、装置、设备及存储介质
CN115510049B (zh) * 2022-11-15 2023-03-21 阿里健康科技(杭州)有限公司 药品的标品数据录入方法、装置、设备和存储介质
CN115861688B (zh) * 2022-11-22 2023-08-11 首都医科大学宣武医院 一种药品包装和容器外形建模识别和计数方法及系统
CN117556790B (zh) * 2024-01-02 2024-04-16 四川大学华西医院 医疗信息处理方法、装置、设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110288286A (zh) * 2019-05-21 2019-09-27 深圳壹账通智能科技有限公司 基于身份验证的物品入库方法、装置、设备及存储介质
CN111613291A (zh) * 2020-05-28 2020-09-01 浙江大学医学院附属第一医院 一种药物管理、分类、医护人员与患者关联系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK1889197T3 (da) * 2005-05-16 2012-02-13 Intelligent Hospital Systems Ltd Automatisk farmaceutisk blandesystem
CN107403248A (zh) * 2016-05-19 2017-11-28 阿里巴巴集团控股有限公司 物品管理方法、装置、智能储藏设备和操作系统
CN108229888B (zh) * 2018-02-01 2022-09-09 余凯 一种基于图像处理的药房库存管理系统和方法
CN110119915B (zh) * 2018-02-06 2023-10-13 阿里巴巴(中国)网络技术有限公司 对象入库处理方法、装置和系统
CN108763594A (zh) * 2018-06-27 2018-11-06 厦门海西医药交易中心有限公司 一种以医保支付为核心的药品统一编码规则、管理方法及编码识别器
CN109875209A (zh) * 2019-01-10 2019-06-14 方庆华 一种智能服药管理方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110288286A (zh) * 2019-05-21 2019-09-27 深圳壹账通智能科技有限公司 基于身份验证的物品入库方法、装置、设备及存储介质
CN111613291A (zh) * 2020-05-28 2020-09-01 浙江大学医学院附属第一医院 一种药物管理、分类、医护人员与患者关联系统

Also Published As

Publication number Publication date
CN111931774A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
CN111931774B (zh) 药品数据的入库方法及系统
CN109885692B (zh) 知识数据存储方法、装置、计算机设备和存储介质
CN110909725B (zh) 识别文本的方法、装置、设备及存储介质
US10726252B2 (en) Method of digitizing and extracting meaning from graphic objects
CN111324784B (zh) 一种字符串处理方法及装置
US9053386B2 (en) Method and apparatus of identifying similar images
AU2020279921B2 (en) Representative document hierarchy generation
CN108664574B (zh) 信息的输入方法、终端设备及介质
US20240012846A1 (en) Systems and methods for parsing log files using classification and a plurality of neural networks
CN113378710B (zh) 图像文件的版面分析方法、装置、计算机设备和存储介质
US20220236964A1 (en) Semantic code search based on augmented programming language corpus
CN116524527A (zh) 一种表格图像文本识别方法及系统
CN114005126A (zh) 表格重构方法、装置、计算机设备及可读存储介质
CN115391439A (zh) 文档数据导出方法、装置、电子设备和存储介质
CN110083731B (zh) 图像检索方法、装置、计算机设备及存储介质
US9672438B2 (en) Text parsing in complex graphical images
CN113408323B (zh) 表格信息的提取方法、装置、设备及存储介质
US10127219B2 (en) System and method for organizing and processing feature based data structures
CN115147857A (zh) 基于语义分析的对称表格文字数据结构化提取的方法及系统
US20140181124A1 (en) Method, apparatus, system and storage medium having computer executable instrutions for determination of a measure of similarity and processing of documents
CN117172212A (zh) 图纸中的目录提取方法、装置、电子设备和存储介质
CN111178349A (zh) 一种图像识别方法、装置、设备及存储介质
US11657078B2 (en) Automatic identification of document sections to generate a searchable data structure
US20230138491A1 (en) Continuous learning for document processing and analysis
CN112395292B (zh) 一种数据特征提取、匹配方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 201201 room 805, block B, building 1, 977 Shangfeng Road, Tang Town, Pudong New Area, Shanghai

Patentee after: Yiyao Yaofang Technology (Shanghai) Co.,Ltd.

Address before: 201201 room 805, block B, building 1, 977 Shangfeng Road, Tang Town, Pudong New Area, Shanghai

Patentee before: YAOFANG INFORMATION TECHNOLOGY (SHANGHAI) Co.,Ltd.

CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 201201 room 805, block B, building 1, 977 Shangfeng Road, Tang Town, Pudong New Area, Shanghai

Patentee after: Yiyaowang Technology (Shanghai) Co.,Ltd.

Address before: 201201 room 805, block B, building 1, 977 Shangfeng Road, Tang Town, Pudong New Area, Shanghai

Patentee before: Yiyao Yaofang Technology (Shanghai) Co.,Ltd.