CN116935080B - 一种针剂药品识别方法、系统及存储柜 - Google Patents

一种针剂药品识别方法、系统及存储柜 Download PDF

Info

Publication number
CN116935080B
CN116935080B CN202311207387.3A CN202311207387A CN116935080B CN 116935080 B CN116935080 B CN 116935080B CN 202311207387 A CN202311207387 A CN 202311207387A CN 116935080 B CN116935080 B CN 116935080B
Authority
CN
China
Prior art keywords
data
image data
injection
projection
injection medicine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311207387.3A
Other languages
English (en)
Other versions
CN116935080A (zh
Inventor
罗阳浩
金洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Ruiyibo Medical Equipment Co ltd
Original Assignee
Shenzhen Ruiyibo Medical Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Ruiyibo Medical Equipment Co ltd filed Critical Shenzhen Ruiyibo Medical Equipment Co ltd
Priority to CN202311207387.3A priority Critical patent/CN116935080B/zh
Publication of CN116935080A publication Critical patent/CN116935080A/zh
Application granted granted Critical
Publication of CN116935080B publication Critical patent/CN116935080B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/12—Detection or correction of errors, e.g. by rescanning the pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/146—Aligning or centring of the image pick-up or image-field
    • G06V30/1463—Orientation detection or correction, e.g. rotation of multiples of 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/19007—Matching; Proximity measures
    • G06V30/19093—Proximity measures, i.e. similarity or distance measures
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Preparation Storing Or Oral Administration Devices (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种针剂药品识别方法、系统及存储柜，方法包括：获取检测图像数据；根据检测图像数据进行分析，得到识别数据；将识别数据导入预设针剂药品识别数据模板，得到针剂药品识别数据并判断针剂药品识别数据是否完整；若是，则完成针剂药品识别；若否，则获取投影图像数据；根据投影图像数据进行分析，得到隐藏数据；将隐藏数据导入针剂药品识别数据，判断针剂药品识别数据是否完整；若是，则完成针剂药品识别；若否，则将检测图像数据和投影图像数据进行图像拼接并分析，得到拼接数据；通过拼接数据对针剂药品识别数据进行补充。本发明通过针剂药品图像及其投影图像对静止状态下的针剂药品进行数据识别，实现针剂药品自动复核。

Description

一种针剂药品识别方法、系统及存储柜
技术领域
本申请涉及数据处理和数据传输领域，更具体的，涉及一种针剂药品识别方法、系统及存储柜。
背景技术
现有针剂药品识别技术中，可以通过来改变针剂的方位或相机方位来对针剂上的信息进行识别拍摄。但是这种方式增加了大量复杂结构，不利于实现快速识别，并且在改变针剂方位时，容易造成针剂的破损。
若在针剂静止状态下进行识别，由于针剂为圆柱结构，因此导致部分信息无法正常显示而被隐藏，从而识别信息不全，容易造成针剂信息无法与系统进行比对而确认产品信息，需要管理人员辅助进行复核。
因此现有技术存在缺陷，急需改进。
发明内容
鉴于上述问题，本发明的目的是提供一种针剂药品识别方法、系统及存储柜，能够更有效更快速的对针剂药品进行识别。
本发明第一方面提供了一种针剂药品识别方法，包括：
获取检测图像数据；
根据所述检测图像数据进行分析，得到识别数据；
将所述识别数据导入预设针剂药品识别数据模板，得到针剂药品识别数据并判断所述针剂药品识别数据是否完整；
若是，则完成针剂药品识别；若否，则获取投影图像数据；
根据所述投影图像数据进行分析，得到隐藏数据；
将所述隐藏数据导入所述针剂药品识别数据，判断所述针剂药品识别数据是否完整；
若是，则完成针剂药品识别；若否，则将所述检测图像数据和所述投影图像数据进行图像拼接并分析，得到拼接数据；
通过所述拼接数据对所述针剂药品识别数据进行补充。
本方案中，还包括：
根据所述检测图像数据进行分析，得到针剂瓶体颜色数据；
根据所述针剂瓶体颜色数据对相机属性进行调整；
根据所述针剂瓶体颜色数据得到相对应投影灯透射光颜色数据。
本方案中，所述根据所述检测图像数据进行分析，得到识别数据，包括：
根据所述检测图像数据进行分析，提取所述检测图像数据中的文字图像数据；
判断所述文字图像数据是否为正向显示；
若否，则将所述文字图像数据校正为正向显示；
若是，则对所述文字图像数据进行识别，得到识别数据。
本方案中，所述对所述文字图像数据进行识别，得到识别数据，包括：
将所述文字图像数据输入至预设文字图像识别模型；
将所述文字图像数据与数据库内针剂信息进行对比，得到识别数据。
本方案中，还包括：
根据所述检测图像数据进行分析，若所述检测图像数据内存在重叠文字，则对所述检测图像数据进行镜像处理；
通过预设文字图像识别模型将所述检测图像数据和镜像后的图像数据分别与数据库内针剂信息进行对比，计算与数据库内每种针剂信息的相似度；
分别选取相似度最高的识别结果作为所述检测图像数据的正面文字数据和背面文字数据。
本方案中，所述根据所述投影图像数据进行分析，得到隐藏数据，包括：
根据所述投影图像数据进行分析，判断所述投影图像数据内的投影文字是否出现重叠；
若是，则通过调整投影灯角度，使投影文字的重叠区域分离；
通过预设文字图像识别模型将所述投影图像数据内的投影文字与数据库内针剂信息进行对比，得到隐藏数据。
本方案中，所述将所述检测图像数据和所述投影图像数据进行图像拼接并分析，得到拼接数据，包括：
分别对所述检测图像数据和投影图像数据进行特征提取，得到图像特征；
根据所述图像特征以所述检测图像数据为基准对所述投影图像数据进行透视变换；
根据所述图像特征将透视变换后的投影图像数据和所述检测图像数据进行拼接，得到拼接图像数据；
将所述拼接图像数据与数据库内针剂信息进行对比，得到拼接数据。
本发明第二方面提供了一种针剂药品识别系统，包括：
数据获取模块，用于获取检测图像数据；
数据分析模块，用于根据所述检测图像数据进行分析，得到识别数据；将所述识别数据导入预设针剂药品识别数据模板，得到针剂药品识别数据并判断所述针剂药品识别数据是否完整；若是，则完成针剂药品识别；
数据获取模块，还用于获取投影图像数据；
数据分析模块，还用于根据所述投影图像数据进行分析，得到隐藏数据；将所述隐藏数据导入所述针剂药品识别数据，判断所述针剂药品识别数据是否完整；若是，则完成针剂药品识别；若否，则将所述检测图像数据和所述投影图像数据进行图像拼接并分析，得到拼接数据；通过所述拼接数据对所述针剂药品识别数据进行补充。
本方案中，还包括：
根据所述检测图像数据进行分析，得到针剂瓶体颜色数据；
根据所述针剂瓶体颜色数据对相机属性进行调整；
根据所述针剂瓶体颜色数据得到相对应投影灯透射光颜色数据。
本方案中，所述根据所述检测图像数据进行分析，得到识别数据，包括：
根据所述检测图像数据进行分析，提取所述检测图像数据中的文字图像数据；
判断所述文字图像数据是否为正向显示；
若否，则将所述文字图像数据校正为正向显示；
若是，则对所述文字图像数据进行识别，得到识别数据。
本方案中，所述对所述文字图像数据进行识别，得到识别数据，包括：
将所述文字图像数据输入至预设文字图像识别模型；
将所述文字图像数据与数据库内针剂信息进行对比，得到识别数据。
本方案中，还包括：
根据所述检测图像数据进行分析，若所述检测图像数据内存在重叠文字，则对所述检测图像数据进行镜像处理；
通过预设文字图像识别模型将所述检测图像数据和镜像后的图像数据分别与数据库内针剂信息进行对比，计算与数据库内每种针剂信息的相似度；
分别选取相似度最高的识别结果作为所述检测图像数据的正面文字数据和背面文字数据。
本方案中，所述根据所述投影图像数据进行分析，得到隐藏数据，包括：
根据所述投影图像数据进行分析，判断所述投影图像数据内的投影文字是否出现重叠；
若是，则通过调整投影灯角度，使投影文字的重叠区域分离；
通过预设文字图像识别模型将所述投影图像数据内的投影文字与数据库内针剂信息进行对比，得到隐藏数据。
本方案中，所述将所述检测图像数据和所述投影图像数据进行图像拼接并分析，得到拼接数据，包括：
分别对所述检测图像数据和投影图像数据进行特征提取，得到图像特征；
根据所述图像特征以所述检测图像数据为基准对所述投影图像数据进行透视变换；
根据所述图像特征将透视变换后的投影图像数据和所述检测图像数据进行拼接，得到拼接图像数据；
将所述拼接图像数据与数据库内针剂信息进行对比，得到拼接数据。
本发明第三方面提供了一种针剂药品存储柜，所述针剂药品存储柜内配置有相机、投影灯和计算机可读存储介质，所述计算机可读存储介质中包括一种针剂药品识别方法程序，所述一种针剂药品识别方法程序被处理器执行时，实现如上述任一项所述的一种针剂药品识别方法的步骤。
本发明公开了一种针剂药品识别方法、系统及存储柜，方法包括：获取检测图像数据；根据检测图像数据进行分析，得到识别数据；将识别数据导入预设针剂药品识别数据模板，得到针剂药品识别数据并判断针剂药品识别数据是否完整；若是，则完成针剂药品识别；若否，则获取投影图像数据；根据投影图像数据进行分析，得到隐藏数据；将隐藏数据导入针剂药品识别数据，判断针剂药品识别数据是否完整；若是，则完成针剂药品识别；若否，则将检测图像数据和投影图像数据进行图像拼接并分析，得到拼接数据；通过拼接数据对针剂药品识别数据进行补充。本发明通过针剂药品图像及其投影图像对静止状态下的针剂药品进行数据识别，实现针剂药品自动复核。
附图说明
图1示出了本发明一种针剂药品识别方法的流程图；
图2示出了本发明一种识别数据获取方法的流程图；
图3示出了本发明一种隐藏数据获取方法的流程图；
图4示出了本发明一种针剂药品识别系统的框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了本发明一种针剂药品识别方法的流程图。
如图1所示，本发明公开了一种针剂药品识别方法，包括：
S102，获取检测图像数据；
S104，根据所述检测图像数据进行分析，得到识别数据；
S106，将所述识别数据导入预设针剂药品识别数据模板，得到针剂药品识别数据并判断所述针剂药品识别数据是否完整；
S108，若是，则完成针剂药品识别；若否，则获取投影图像数据；
S110，根据所述投影图像数据进行分析，得到隐藏数据；
S112，将所述隐藏数据导入所述针剂药品识别数据，判断所述针剂药品识别数据是否完整；
S114，若是，则完成针剂药品识别；若否，则将所述检测图像数据和所述投影图像数据进行图像拼接并分析，得到拼接数据；
S116，通过所述拼接数据对所述针剂药品识别数据进行补充。
根据本发明实施例，通过在针剂药品上方设置的相机获取针剂药品的检测图像数据，通过该检测图像数据确定待识别针剂药品的瓶体颜色数据，根据其瓶体颜色数据选择相对应的识别模板对相机属性和投影灯透射光颜色进行调整。将调整相机属性后获取的检测图像数据输入至预设文字图像识别模型，通过模型识别出待识别针剂药品正上方和正下方的文字数据，即识别数据，将其导入预设针剂药品识别数据模板中，得到针剂药品识别数据。其中，预设针剂药品识别数据模板包括针剂药品的生产批号、生产日期、容量信息和产品名称等相关信息。判断针剂药品识别数据中的每一项数据是否填写完成，若是，则完成针剂药品识别；若否，则启动投影灯将针剂瓶体侧面的隐藏信息投射至针剂药品周围的投影接收面。
通过相机获取投影接收面的投影图像数据，通过预设文字图像识别模型对投影图像数据中的文字数据进行识别，得到隐藏数据。其中，投影灯设置在针剂药品两侧的上方，其投射角度可以根据实际需求进行调整。将得到的隐藏数据对针剂药品识别数据进行补充，若针剂药品识别数据内还存在空白数据，则通过图像拼接方法对检测图像数据和投影图像数据中的不完整字符进行拼接，判断得到的拼接数据是否为数据库中记录的信息且与待识别针剂药品的已知识别数据相对应，如果对应，则将识别数据导入针剂药品识别数据中，完成针剂药品识别。
根据本发明实施例，还包括：
根据所述检测图像数据进行分析，得到针剂瓶体颜色数据；
根据所述针剂瓶体颜色数据对相机属性进行调整；
根据所述针剂瓶体颜色数据得到相对应投影灯透射光颜色数据。
需要说明的是，对针剂瓶体进行投影时，不同颜色针剂瓶体的透光率不同，因此需要根据不同颜色选择不同投影灯的透射光颜色以达到最佳的投射效果，将针剂瓶体侧面的隐藏信息精准的投射显示。然后基于针剂瓶体颜色调整相机识别精度，实现对针剂瓶体上的文字进行识别，同时对投影图像进行获取。
图2示出了本发明一种识别数据获取方法的流程图。
如图2所示，根据本发明实施例，所述根据所述检测图像数据进行分析，得到识别数据，包括：
S202，根据所述检测图像数据进行分析，提取所述检测图像数据中的文字图像数据；
S204，判断所述文字图像数据是否为正向显示；
S206，若否，则将所述文字图像数据校正为正向显示；
S208，若是，则对所述文字图像数据进行识别，得到识别数据。
需要说明的是，首先对检测图像数据内的背景图像等无关图像数据进行图像切割，保留检测图像数据中的文字图像区域部分。通过对文字图像区域进行分析，若文字图像为正向显示，则显示的区域为面向相机的一面，为针剂在正上方的文字图像；若文字图像为反向显示，则显示的区域为远离相机的一面，为针剂在正下方的文字图像。将反向显示的文字图像数据进行镜像处理，使针剂正下方的文字图像以正向显示。然后对文字图像数据的文字进行识别，得到识别数据。
根据本发明实施例，还所述对所述文字图像数据进行识别，得到识别数据，包括：
将所述文字图像数据输入至预设文字图像识别模型；
将所述文字图像数据与数据库内针剂信息进行对比，得到识别数据。
需要说明的是，预设文字图像识别模型通过历史检测图像数据训练得到，用于识别针剂上面的相关信息。例如针剂药品的生产批号、生产日期、容量信息和产品名称等。
预设文字图像识别模型首先将文字图像数据分割成多个字符图像，判断每一个字符图像中是否为一个汉字、数字或字母等完整的字符。选取完整的字符图像与数据库内的针剂信息进行对比，识别每一个字符图像所代表的字符数据，得到的识别数据。
根据本发明实施例，还包括：
根据所述检测图像数据进行分析，若所述检测图像数据内存在重叠文字，则对所述检测图像数据进行镜像处理；
通过预设文字图像识别模型将所述检测图像数据和镜像后的图像数据分别与数据库内针剂信息进行对比，计算与数据库内每种针剂信息的相似度；
分别选取相似度最高的识别结果作为所述检测图像数据的正面文字数据和背面文字数据。
需要说明的是，若检测图像数据内存在重叠文字，则表示在针剂瓶体的正上方和正下方均存在文字，在文字识别过程无法对检测图像数据中的文字进行精准识别，在这种情况下，可以通过计算字符图像与数据库内记录文字的相似度来确定该字符图像可能代表的字符，结合前后字符与数据库内针剂信息进行对比，基于数据库内已有针剂信息对存在重叠区域的文字数据进行识别。其中，镜像处理的作用为将针剂正下方文字图像以正向显示，以便于对针剂正下方文字图像进行识别。
图3示出了本发明一种隐藏数据获取方法的流程图。
如图3所示，根据本发明实施例，所述根据所述投影图像数据进行分析，得到隐藏数据，包括：
S302，根据所述投影图像数据进行分析，判断所述投影图像数据内的投影文字是否出现重叠；
S304，若是，则通过调整投影灯角度，使投影文字的重叠区域分离；
S306，通过预设文字图像识别模型将所述投影图像数据内的投影文字与数据库内针剂信息进行对比，得到隐藏数据。
需要说明的是，通常情况下，无法通过相机获取完整的针剂药品识别数据，因此需要通过投影图像得到的针剂瓶体侧面的隐藏数据对针剂药品识别数据进行补充。首先，系统根据针剂瓶体颜色相对应的投影灯透射光颜色数据启动投影灯对针剂瓶体进行投影处理，将针剂瓶体侧面的隐藏信息投影到投影接受面，投影接受面可以设置在针剂底部或两侧。在投影过程中，通过相机实时获取投影图像数据，并根据投影图像数据的清晰程度、是否存在投影重叠等条件对投影灯的投射角度进行调整，使投影文字的重叠区域分离，以达到最佳的投影效果。
根据本发明实施例，所述将所述检测图像数据和所述投影图像数据进行图像拼接并分析，得到拼接数据，包括：
分别对所述检测图像数据和投影图像数据进行特征提取，得到图像特征；
根据所述图像特征以所述检测图像数据为基准对所述投影图像数据进行透视变换；
根据所述图像特征将透视变换后的投影图像数据和所述检测图像数据进行拼接，得到拼接图像数据；
将所述拼接图像数据与数据库内针剂信息进行对比，得到拼接数据。
需要说明的是，由于针剂药品的摆放无法固定，获取检测图像数据和投影图像数据中可能存在不完整的字符图像，系统无法通过这些不完整的字符图像识别出其所对应的针剂信息。在这种情况下，可以结合检测图像数据和投影图像数据，根据二者之间的图像特征进行图像拼接，首先通过透视变换将投影图像数据映射到与检测图像数据相同的平面上，根据二者之中相同的图像特征对映射后的投影图像数据进行平移、旋转等操作，将检测图像数据和投影图像数据中的不完整字符图像进行拼接，得到拼接图像数据，并将拼接图像数据内的字符与数据库内针剂信息进行比对，判断是否为数据库中记录的信息且与待检测针剂对应，如果对应证明信息识别正确，则生成拼接数据并导入针剂药品识别数据完成针剂药品识别。
根据本发明实施例，还包括：
若无法通过调整投影灯角度使投影文字的重叠区域分离，则对投影灯亮度进行调整，使投影文字呈现不同的亮度；
根据投影图像数据的亮度值对投影图像进行拆分，对投影灯所在角度的正面文字投影和背面文字投影进行分离。
需要说明的是，首先根据投影图像数据的亮度值对投影图像数据内与投影文字无关的背景图像进行裁剪，然后对投影灯的亮度进行调整，使投影文字出现亮度差异，使投影灯所对角度的正面文字投影、背面文字投影以及重叠投影呈现不同的亮度值。根据亮度值对三个区域进行分割，得到正面文字投影区域、背面文字投影区域和重叠投影区域。将重叠投影区域分别与正面文字投影区域、背面文字投影区域进行拼接，对投影灯所在角度的正面文字投影和背面文字投影进行分离。
图4示出了本发明一种针剂药品识别系统的框图。
如图4所示，本发明第二方面提供了一种针剂药品识别系统，包括：
数据获取模块，用于获取检测图像数据；
数据分析模块，用于根据所述检测图像数据进行分析，得到识别数据；将所述识别数据导入预设针剂药品识别数据模板，得到针剂药品识别数据并判断所述针剂药品识别数据是否完整；若是，则完成针剂药品识别；
数据获取模块，还用于获取投影图像数据；
数据分析模块，还用于根据所述投影图像数据进行分析，得到隐藏数据；将所述隐藏数据导入所述针剂药品识别数据，判断所述针剂药品识别数据是否完整；若是，则完成针剂药品识别；若否，则将所述检测图像数据和所述投影图像数据进行图像拼接并分析，得到拼接数据；通过所述拼接数据对所述针剂药品识别数据进行补充。
根据本发明实施例，通过在针剂药品上方设置的相机获取针剂药品的检测图像数据，通过该检测图像数据确定待识别针剂药品的瓶体颜色数据，根据其瓶体颜色数据选择相对应的识别模板对相机属性和投影灯透射光颜色进行调整。将调整相机属性后获取的检测图像数据输入至预设文字图像识别模型，通过模型识别出待识别针剂药品正上方和正下方的文字数据，即识别数据，将其导入预设针剂药品识别数据模板中，得到针剂药品识别数据。其中，预设针剂药品识别数据模板包括针剂药品的生产批号、生产日期、容量信息和产品名称等相关信息。判断针剂药品识别数据中的每一项数据是否填写完成，若是，则完成针剂药品识别；若否，则启动投影灯将针剂瓶体侧面的隐藏信息投射至针剂药品周围的投影接收面。
通过相机获取投影接收面的投影图像数据，通过预设文字图像识别模型对投影图像数据中的文字数据进行识别，得到隐藏数据。其中，投影灯设置在针剂药品两侧的上方，其投射角度可以根据实际需求进行调整。将得到的隐藏数据对针剂药品识别数据进行补充，若针剂药品识别数据内还存在空白数据，则通过图像拼接方法对检测图像数据和投影图像数据中的不完整字符进行拼接，判断得到的拼接数据是否为数据库中记录的信息且与待识别针剂药品的已知识别数据相对应，如果对应，则将识别数据导入针剂药品识别数据中，完成针剂药品识别。
根据本发明实施例，还包括：
根据所述检测图像数据进行分析，得到针剂瓶体颜色数据；
根据所述针剂瓶体颜色数据对相机属性进行调整；
根据所述针剂瓶体颜色数据得到相对应投影灯透射光颜色数据。
需要说明的是，对针剂瓶体进行投影时，不同颜色针剂瓶体的透光率不同，因此需要根据不同颜色选择不同投影灯的透射光颜色以达到最佳的投射效果，将针剂瓶体侧面的隐藏信息精准的投射显示。然后基于针剂瓶体颜色调整相机识别精度，实现对针剂瓶体上的文字进行识别，同时对投影图像进行获取。
根据本发明实施例，所述根据所述检测图像数据进行分析，得到识别数据，包括：
根据所述检测图像数据进行分析，提取所述检测图像数据中的文字图像数据；
判断所述文字图像数据是否为正向显示；
若否，则将所述文字图像数据校正为正向显示；
若是，则对所述文字图像数据进行识别，得到识别数据。
需要说明的是，首先对检测图像数据内的背景图像等无关图像数据进行图像切割，保留检测图像数据中的文字图像区域部分。通过对文字图像区域进行分析，若文字图像为正向显示，则显示的区域为面向相机的一面，为针剂在正上方的文字图像；若文字图像为反向显示，则显示的区域为远离相机的一面，为针剂在正下方的文字图像。将反向显示的文字图像数据进行镜像处理，使针剂正下方的文字图像以正向显示。然后对文字图像数据的文字进行识别，得到识别数据。
根据本发明实施例，还所述对所述文字图像数据进行识别，得到识别数据，包括：
将所述文字图像数据输入至预设文字图像识别模型；
将所述文字图像数据与数据库内针剂信息进行对比，得到识别数据。
需要说明的是，预设文字图像识别模型通过历史检测图像数据训练得到，用于识别针剂上面的相关信息。例如针剂药品的生产批号、生产日期、容量信息和产品名称等。
预设文字图像识别模型首先将文字图像数据分割成多个字符图像，判断每一个字符图像中是否为一个汉字、数字或字母等完整的字符。选取完整的字符图像与数据库内的针剂信息进行对比，识别每一个字符图像所代表的字符数据，得到的识别数据。
根据本发明实施例，还包括：
根据所述检测图像数据进行分析，若所述检测图像数据内存在重叠文字，则对所述检测图像数据进行镜像处理；
通过预设文字图像识别模型将所述检测图像数据和镜像后的图像数据分别与数据库内针剂信息进行对比，计算与数据库内每种针剂信息的相似度；
分别选取相似度最高的识别结果作为所述检测图像数据的正面文字数据和背面文字数据。
需要说明的是，若检测图像数据内存在重叠文字，则表示在针剂瓶体的正上方和正下方均存在文字，在文字识别过程无法对检测图像数据中的文字进行精准识别，在这种情况下，可以通过计算字符图像与数据库内记录文字的相似度来确定该字符图像可能代表的字符，结合前后字符与数据库内针剂信息进行对比，基于数据库内已有针剂信息对存在重叠区域的文字数据进行识别。其中，镜像处理的作用为将针剂正下方文字图像以正向显示，以便于对针剂正下方文字图像进行识别。
根据本发明实施例，所述根据所述投影图像数据进行分析，得到隐藏数据，包括：
根据所述投影图像数据进行分析，判断所述投影图像数据内的投影文字是否出现重叠；
若是，则通过调整投影灯角度，使投影文字的重叠区域分离；
通过预设文字图像识别模型将所述投影图像数据内的投影文字与数据库内针剂信息进行对比，得到隐藏数据。
需要说明的是，通常情况下，无法通过相机获取完整的针剂药品识别数据，因此需要通过投影图像得到的针剂瓶体侧面的隐藏数据对针剂药品识别数据进行补充。首先，系统根据针剂瓶体颜色相对应的投影灯透射光颜色数据启动投影灯对针剂瓶体进行投影处理，将针剂瓶体侧面的隐藏信息投影到投影接受面，投影接受面可以设置在针剂底部或两侧。在投影过程中，通过相机实时获取投影图像数据，并根据投影图像数据的清晰程度、是否存在投影重叠等条件对投影灯的投射角度进行调整，使投影文字的重叠区域分离，以达到最佳的投影效果。
根据本发明实施例，所述将所述检测图像数据和所述投影图像数据进行图像拼接并分析，得到拼接数据，包括：
分别对所述检测图像数据和投影图像数据进行特征提取，得到图像特征；
根据所述图像特征以所述检测图像数据为基准对所述投影图像数据进行透视变换；
根据所述图像特征将透视变换后的投影图像数据和所述检测图像数据进行拼接，得到拼接图像数据；
将所述拼接图像数据与数据库内针剂信息进行对比，得到拼接数据。
需要说明的是，由于针剂药品的摆放无法固定，获取检测图像数据和投影图像数据中可能存在不完整的字符图像，系统无法通过这些不完整的字符图像识别出其所对应的针剂信息。在这种情况下，可以结合检测图像数据和投影图像数据，根据二者之间的图像特征进行图像拼接，首先通过透视变换将投影图像数据映射到与检测图像数据相同的平面上，根据二者之中相同的图像特征对映射后的投影图像数据进行平移、旋转等操作，将检测图像数据和投影图像数据中的不完整字符图像进行拼接，得到拼接图像数据，并将拼接图像数据内的字符与数据库内针剂信息进行比对，判断是否为数据库中记录的信息且与待检测针剂对应，如果对应证明信息识别正确，则生成拼接数据并导入针剂药品识别数据完成针剂药品识别。
根据本发明实施例，还包括：
若无法通过调整投影灯角度使投影文字的重叠区域分离，则对投影灯亮度进行调整，使投影文字呈现不同的亮度；
根据投影图像数据的亮度值对投影图像进行拆分，对投影灯所在角度的正面文字投影和背面文字投影进行分离。
需要说明的是，首先根据投影图像数据的亮度值对投影图像数据内与投影文字无关的背景图像进行裁剪，然后对投影灯的亮度进行调整，使投影文字出现亮度差异，使投影灯所对角度的正面文字投影、背面文字投影以及重叠投影呈现不同的亮度值。根据亮度值对三个区域进行分割，得到正面文字投影区域、背面文字投影区域和重叠投影区域。将重叠投影区域分别与正面文字投影区域、背面文字投影区域进行拼接，对投影灯所在角度的正面文字投影和背面文字投影进行分离。
本发明第三方面提供了一种针剂药品存储柜，所述针剂药品存储柜内配置有相机、投影灯和计算机可读存储介质，所述计算机可读存储介质中包括一种针剂药品识别方法程序，所述一种针剂药品识别方法程序被处理器执行时，实现如上述任一项所述的一种针剂药品识别方法的步骤。
本发明公开了一种针剂药品识别方法、系统及存储柜，方法包括：获取检测图像数据；根据检测图像数据进行分析，得到识别数据；将识别数据导入预设针剂药品识别数据模板，得到针剂药品识别数据并判断针剂药品识别数据是否完整；若是，则完成针剂药品识别；若否，则获取投影图像数据；根据投影图像数据进行分析，得到隐藏数据；将隐藏数据导入针剂药品识别数据，判断针剂药品识别数据是否完整；若是，则完成针剂药品识别；若否，则将检测图像数据和投影图像数据进行图像拼接并分析，得到拼接数据；通过拼接数据对针剂药品识别数据进行补充。本发明通过针剂药品图像及其投影图像对静止状态下的针剂药品进行数据识别，实现针剂药品自动复核。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (9)

1.一种针剂药品识别方法，其特征在于，包括：
获取检测图像数据；
根据所述检测图像数据进行分析，得到识别数据；
将所述识别数据导入预设针剂药品识别数据模板，得到针剂药品识别数据并判断所述针剂药品识别数据是否完整；
若是，则完成针剂药品识别；若否，则获取投影图像数据；
根据所述投影图像数据进行分析，得到隐藏数据；
将所述隐藏数据导入所述针剂药品识别数据，判断所述针剂药品识别数据是否完整；
若是，则完成针剂药品识别；若否，则将所述检测图像数据和所述投影图像数据进行图像拼接并分析，得到拼接数据；
通过所述拼接数据对所述针剂药品识别数据进行补充；
所述将所述检测图像数据和所述投影图像数据进行图像拼接并分析，得到拼接数据，包括：
分别对所述检测图像数据和投影图像数据进行特征提取，得到图像特征；
根据所述图像特征以所述检测图像数据为基准对所述投影图像数据进行透视变换；
根据所述图像特征将透视变换后的投影图像数据和所述检测图像数据进行拼接，得到拼接图像数据；
将所述拼接图像数据与数据库内针剂信息进行对比，得到拼接数据。
2.根据权利要求1所述的针剂药品识别方法，其特征在于，还包括：
根据所述检测图像数据进行分析，得到针剂瓶体颜色数据；
根据所述针剂瓶体颜色数据对相机属性进行调整；
根据所述针剂瓶体颜色数据得到相对应投影灯透射光颜色数据。
3.根据权利要求1所述的针剂药品识别方法，其特征在于，所述根据所述检测图像数据进行分析，得到识别数据，包括：
根据所述检测图像数据进行分析，提取所述检测图像数据中的文字图像数据；
判断所述文字图像数据是否为正向显示；
若否，则将所述文字图像数据校正为正向显示；
若是，则对所述文字图像数据进行识别，得到识别数据。
4.根据权利要求3所述的针剂药品识别方法，其特征在于，所述对所述文字图像数据进行识别，得到识别数据，包括：
将所述文字图像数据输入至预设文字图像识别模型；
所述预设文字图像识别模型通过历史检测图像数据训练得到，用于识别针剂上面的相关信息；所述相关信息包括针剂药品的生产批号、生产日期、容量信息和产品名称；
所述预设文字图像识别模型将输入的文字图像数据分割成多个字符图像，判断每一个字符图像中是否为一个完整的字符；选取完整的字符图像与数据库内的针剂信息进行对比，识别每一个字符图像所代表的字符数据，得到识别数据。
5.根据权利要求4所述的针剂药品识别方法，其特征在于，还包括：
根据所述检测图像数据进行分析，若所述检测图像数据内存在重叠文字，则对所述检测图像数据进行镜像处理；
通过预设文字图像识别模型将所述检测图像数据和镜像后的图像数据分别与数据库内针剂信息进行对比，计算与数据库内每种针剂信息的相似度；
分别选取相似度最高的识别结果作为所述检测图像数据的正面文字数据和背面文字数据。
6.根据权利要求4所述的针剂药品识别方法，其特征在于，所述根据所述投影图像数据进行分析，得到隐藏数据，包括：
根据所述投影图像数据进行分析，判断所述投影图像数据内的投影文字是否出现重叠；
若是，则通过调整投影灯角度，使投影文字的重叠区域分离；
通过预设文字图像识别模型将所述投影图像数据内的投影文字与数据库内针剂信息进行对比，得到隐藏数据。
7.一种针剂药品识别系统，其特征在于，包括：
数据获取模块，用于获取检测图像数据；
数据分析模块，用于根据所述检测图像数据进行分析，得到识别数据；将所述识别数据导入预设针剂药品识别数据模板，得到针剂药品识别数据并判断所述针剂药品识别数据是否完整；若是，则完成针剂药品识别；
数据获取模块，还用于获取投影图像数据；
数据分析模块，还用于根据所述投影图像数据进行分析，得到隐藏数据；将所述隐藏数据导入所述针剂药品识别数据，判断所述针剂药品识别数据是否完整；若是，则完成针剂药品识别；若否，则将所述检测图像数据和所述投影图像数据进行图像拼接并分析，得到拼接数据；通过所述拼接数据对所述针剂药品识别数据进行补充；
所述将所述检测图像数据和所述投影图像数据进行图像拼接并分析，得到拼接数据，包括：
分别对所述检测图像数据和投影图像数据进行特征提取，得到图像特征；
根据所述图像特征以所述检测图像数据为基准对所述投影图像数据进行透视变换；
根据所述图像特征将透视变换后的投影图像数据和所述检测图像数据进行拼接，得到拼接图像数据；
将所述拼接图像数据与数据库内针剂信息进行对比，得到拼接数据。
8.根据权利要求7所述的针剂药品识别系统，其特征在于，所述根据所述投影图像数据进行分析，得到隐藏数据，包括：
根据所述投影图像数据进行分析，判断所述投影图像数据内的投影文字是否出现重叠；
若是，则通过调整投影灯角度，使投影文字的重叠区域分离；
通过预设文字图像识别模型将所述投影图像数据内的投影文字与数据库内针剂信息进行对比，得到隐藏数据；
所述预设文字图像识别模型通过历史检测图像数据训练得到，用于识别针剂上面的相关信息；所述相关信息包括针剂药品的生产批号、生产日期、容量信息和产品名称；
所述预设文字图像识别模型将输入的文字图像数据分割成多个字符图像，判断每一个字符图像中是否为一个完整的字符；选取完整的字符图像与数据库内的针剂信息进行对比，识别每一个字符图像所代表的字符数据，得到识别数据。
9.一种针剂药品存储柜，其特征在于，所述针剂药品存储柜内配置有相机、投影灯和计算机可读存储介质，所述计算机可读存储介质中包括一种针剂药品识别方法程序，所述一种针剂药品识别方法程序被处理器执行时，实现如权利要求1至6中任一项所述的一种针剂药品识别方法的步骤。
CN202311207387.3A 2023-09-19 2023-09-19 一种针剂药品识别方法、系统及存储柜 Active CN116935080B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311207387.3A CN116935080B (zh) 2023-09-19 2023-09-19 一种针剂药品识别方法、系统及存储柜

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311207387.3A CN116935080B (zh) 2023-09-19 2023-09-19 一种针剂药品识别方法、系统及存储柜

Publications (2)

Publication Number Publication Date
CN116935080A CN116935080A (zh) 2023-10-24
CN116935080B true CN116935080B (zh) 2024-01-05

Family

ID=88390162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311207387.3A Active CN116935080B (zh) 2023-09-19 2023-09-19 一种针剂药品识别方法、系统及存储柜

Country Status (1)

Country Link
CN (1) CN116935080B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005267563A (ja) * 2004-03-22 2005-09-29 Mitsutech Kk 透明ボトル用文字認識装置
JP2008158943A (ja) * 2006-12-26 2008-07-10 Toyo Glass Co Ltd 透明又は半透明物品エンボス文字の読み取り方法及び装置
CN103886311A (zh) * 2014-03-31 2014-06-25 北京大恒图像视觉有限公司 一种用于识别瓶体侧部编码的识别系统
JP2015190872A (ja) * 2014-03-28 2015-11-02 日本山村硝子株式会社 びん底検査装置
CN107958250A (zh) * 2017-10-16 2018-04-24 燕山大学 一种基于机器视觉的西林瓶药品标签识别方法
CN111914823A (zh) * 2020-07-30 2020-11-10 西湖大学 一种用于瓶胚中模穴号识别的在线检测设备
CN113012783A (zh) * 2021-03-18 2021-06-22 深圳市瑞意博科技股份有限公司 药品复核方法、装置、计算机设备及存储介质
WO2023154256A1 (en) * 2022-02-08 2023-08-17 Amgen Inc. Visual inspection systems for containers of liquid pharmaceutical products

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005267563A (ja) * 2004-03-22 2005-09-29 Mitsutech Kk 透明ボトル用文字認識装置
JP2008158943A (ja) * 2006-12-26 2008-07-10 Toyo Glass Co Ltd 透明又は半透明物品エンボス文字の読み取り方法及び装置
JP2015190872A (ja) * 2014-03-28 2015-11-02 日本山村硝子株式会社 びん底検査装置
CN103886311A (zh) * 2014-03-31 2014-06-25 北京大恒图像视觉有限公司 一种用于识别瓶体侧部编码的识别系统
CN107958250A (zh) * 2017-10-16 2018-04-24 燕山大学 一种基于机器视觉的西林瓶药品标签识别方法
CN111914823A (zh) * 2020-07-30 2020-11-10 西湖大学 一种用于瓶胚中模穴号识别的在线检测设备
CN113012783A (zh) * 2021-03-18 2021-06-22 深圳市瑞意博科技股份有限公司 药品复核方法、装置、计算机设备及存储介质
WO2023154256A1 (en) * 2022-02-08 2023-08-17 Amgen Inc. Visual inspection systems for containers of liquid pharmaceutical products

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Medicine bottle recognition based on machine vision and deep learning in intravenous medicine dispensing robot;Haiyang Jin et al.;Proceedings of The 2022 IEEE International Conference on Real-time Computing and Robotics;第272-277页 *

Also Published As

Publication number Publication date
CN116935080A (zh) 2023-10-24

Similar Documents

Publication Publication Date Title
US10032072B1 (en) Text recognition and localization with deep learning
CN110210470B (zh) 商品信息图像识别系统
EP1516264B1 (en) Image retrieval by generating a descriptor for each spot of an image the cells of which having visual characteristics within a selected tolerance
US10217083B2 (en) Apparatus, method, and program for managing articles
CN107203778A (zh) 视网膜病变程度等级检测系统及方法
CN111223065B (zh) 图像矫正方法、不规则文本识别方法、装置、存储介质和设备
US20120275665A1 (en) Method of generating a normalized digital image of an iris of an eye
CN107403128A (zh) 一种物品识别方法及装置
CN108427959A (zh) 基于图像识别的机台状态采集方法及系统
US20170270475A1 (en) Method and a system for object recognition
CN107330430A (zh) 藏文字符识别装置与方法
CN113673500A (zh) 证件图像识别方法、装置、电子设备及存储介质
CN113012783A (zh) 药品复核方法、装置、计算机设备及存储介质
KR20220023853A (ko) 폐색영역 검출을 위한 기계학습용 데이터셋 생성 방법과 데이터셋 생성시스템
CN114119695A (zh) 一种图像标注方法、装置及电子设备
CN116935080B (zh) 一种针剂药品识别方法、系统及存储柜
JP2013528869A (ja) オブジェクトを認識する手続き
KR20180126352A (ko) 이미지로부터 텍스트 추출을 위한 딥러닝 기반 인식장치
EP4261791A1 (en) Information processing system
US9639970B2 (en) Character recognition system, character recognition program and character recognition method
US9152876B1 (en) Methods and systems for efficient handwritten character segmentation
CN116758525A (zh) 一种基于深度学习的药盒实时识别方法及系统
KR20210092552A (ko) 제품의 영양 정보를 추출하는 방법 및 장치
CN115170471A (zh) 基于图像识别模型的部件识别方法及装置
CN114743209A (zh) 处方的识别校验方法、系统、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant