CN116434256A - 药物影像辨识方法、电子设备及存储介质 - Google Patents
药物影像辨识方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116434256A CN116434256A CN202111547632.6A CN202111547632A CN116434256A CN 116434256 A CN116434256 A CN 116434256A CN 202111547632 A CN202111547632 A CN 202111547632A CN 116434256 A CN116434256 A CN 116434256A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- images
- matrix
- drug
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000003814 drug Substances 0.000 title claims abstract description 147
- 238000000034 method Methods 0.000 title claims abstract description 47
- 229940079593 drug Drugs 0.000 title claims description 96
- 239000011159 matrix material Substances 0.000 claims abstract description 118
- 238000001514 detection method Methods 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims description 41
- 230000006870 function Effects 0.000 claims description 29
- 230000015654 memory Effects 0.000 claims description 21
- 230000003190 augmentative effect Effects 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 9
- 239000003550 marker Substances 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 238000013434 data augmentation Methods 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 125000004122 cyclic group Chemical group 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 238000004590 computer program Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 239000002775 capsule Substances 0.000 description 2
- 239000003826 tablet Substances 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 229960003022 amoxicillin Drugs 0.000 description 1
- LSQZJLSUYDQPKJ-NJBDSQKTSA-N amoxicillin Chemical compound C1([C@@H](N)C(=O)N[C@H]2[C@H]3SC([C@@H](N3C2=O)C(O)=O)(C)C)=CC=C(O)C=C1 LSQZJLSUYDQPKJ-NJBDSQKTSA-N 0.000 description 1
- 239000003242 anti bacterial agent Substances 0.000 description 1
- 229940088710 antibiotic agent Drugs 0.000 description 1
- 229960002626 clarithromycin Drugs 0.000 description 1
- AGOYDEPGAOXOCK-KCBOHYOISA-N clarithromycin Chemical compound O([C@@H]1[C@@H](C)C(=O)O[C@@H]([C@@]([C@H](O)[C@@H](C)C(=O)[C@H](C)C[C@](C)([C@H](O[C@H]2[C@@H]([C@H](C[C@@H](C)O2)N(C)C)O)[C@H]1C)OC)(C)O)CC)[C@H]1C[C@@](C)(OC)[C@@H](O)[C@H](C)O1 AGOYDEPGAOXOCK-KCBOHYOISA-N 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000007919 dispersible tablet Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- LSQZJLSUYDQPKJ-UHFFFAOYSA-N p-Hydroxyampicillin Natural products O=C1N2C(C(O)=O)C(C)(C)SC2C1NC(=O)C(N)C1=CC=C(O)C=C1 LSQZJLSUYDQPKJ-UHFFFAOYSA-N 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 229940088594 vitamin Drugs 0.000 description 1
- 229930003231 vitamin Natural products 0.000 description 1
- 235000013343 vitamin Nutrition 0.000 description 1
- 239000011782 vitamin Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/19007—Matching; Proximity measures
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Public Health (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Chemical & Material Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medicinal Chemistry (AREA)
- Image Analysis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本申请涉及图像处理，提供一种药物影像辨识方法、电子设备及存储介质，所述方法包括：获取多张药物图像及待测药物图像，获取预先训练完成的药物侦测模型，药物侦测模型包括位置侦测网络、文字辨识网络及类别辨识网络，将多张药物图像输入到位置侦测网络中，得到多张目标图像，根据多张目标图像及文字辨识网络，生成多个文字特征矩阵，将多张目标图像输入到类别辨识网络中，得到多个影像特征矩阵，根据每个文字特征矩阵及对应的影像特征矩阵生成参照矩阵，基于药物侦测模型处理待测药物图像，得到待测矩阵，根据待测矩阵与每个参照矩阵的相似度生成待测药物图像的辨识结果，提高药物影像辨识的准确性。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种药物影像辨识方法、电子设备及存储介质。
背景技术
在目前的药物影像辨识方式中，需要耗费大量人力标记药物数据，当训练数据过少时还会导致训练模型的辨识准确性不佳，因此，如何提高药物影像辨识准确性，成为了亟需解决的技术问题。
发明内容
鉴于以上内容，有必要提供一种药物影像辨识方法、电子设备及存储介质，能够解决难以对药物影像进行准确且高效识别的技术问题。
本申请提供一种药物影像辨识方法，所述药物影像辨识方法包括：
获取多张药物图像及待测药物图像；
获取预先训练完成的药物侦测模型，所述药物侦测模型包括位置侦测网络、文字辨识网络及类别辨识网络；
将所述多张药物图像输入到所述位置侦测网络中，得到多张目标图像，每张目标图像中包含有单个药物的图像；
根据所述多张目标图像及所述文字辨识网络，生成多个文字特征矩阵；
将所述多张目标图像输入到所述类别辨识网络中，得到多个影像特征矩阵；
根据每个影像特征矩阵及对应的文字特征矩阵生成参照矩阵；
基于所述药物侦测模型处理所述待测药物图像，得到待测矩阵；
根据所述待测矩阵与每个参照矩阵的相似度生成所述待测药物图像的辨识结果。
根据本申请优选实施例，在将所述多张药物图像输入到所述位置侦测网络中，得到多张目标图像之前，所述药物影像辨识方法还包括：
获取位置侦测学习器及位置图像，所述位置图像包括第一图像及第二图像，所述第二图像包括多张标记图像及多张未标记图像；
使用所述第一图像对所述位置侦测学习器进行训练，得到第一预训练网络；
基于所述多张标记图像对所述第一预训练网络进行调整，得到第一标记网络；
将所述多张未标记图像输入到所述第一标记网络中，得到输出图像及每张输出图像所包含药物的预测概率值；
将大于预设阈值的预测概率值所对应的输出图像对所述第一标记网络进行调整，得到第二标记网络；
计算所述第二标记网络的第一损失值，并基于所述第一损失值对所述第二标记网络进行多次调整，直至所述第一损失值下降到最低后停止调整，得到所述位置侦测网络。
根据本申请优选实施例，在根据所述多张目标图像及所述文字辨识网络，生成多个文字特征矩阵前，所述药物影像识别方法还包括：
获取文字图像及文字辨识学习器，所述文字图像包括第三图像及第四图像；
使用所述第三图像对所述文字辨识学习器进行训练，得到第二预训练网络，其中，所述第二预训练网络包括卷积神经网络模型及循环神经网络模型；
计算所述第二预训练网络的第二损失值，并通过所述第二损失值进行反向传播，对所述第二预训练网络的参数进行多次调整，直至所述第二预训练模型达到收敛后停止调整，得到所述文字辨识网络。
根据本申请优选实施例，所述根据所述多张目标图像及所述文字辨识网络，生成多个文字特征矩阵包括：
将每张目标图像进行色彩转换，得到多张文字灰阶图像；
将每张文字灰阶图像进行二值化处理，得到多张二值化图像；
将每张二值化图像进行滤波处理，得到多张滤波图像；
定位每张滤波图像中药物文字的位置，得到文字位置；
根据所述文字位置从每张目标图像中框选出文字图像；
将每张文字图像输入到所述卷积神经网络模型进行特征提取，得到特征序列；
将所述特征序列输入到所述循环神经网络模型中，得到所述多个文字特征矩阵。
根据本申请优选实施例，在将所述多张目标图像输入到所述类别辨识网络中，得到多个影像特征矩阵之前，所述药物影像识别方法还包括：
获取类别辨识学习器，所述类别辨识学习器中使用soft-max函数作为激活函数；
计算所述类别辨识学习器的第三损失值，并基于所述第三损失值对所述类别辨识学习器进行调整，直至所述第三损失值下降到最低后停止调整，并从调整后的类别辨识学习器中删除所述激活函数，得到所述类别辨识网络。
根据本申请优选实施例，所述计算所述类别辨识学习器的第三损失值包括：
获取多张类别图像，所述多张类别图像包括多个类别；
将所述多张类别图像进行数据增广处理，得到多张增广图像；
所述第三损失值的确定公式为：
其中，
是指所述第三损失值，2是指所述多张增广图像，i是指所述多张增广图像中的第张增广图像，yi是指所述第张增广图像的类别，j是指与i的类别相同的增广图像中的第j张增广图像，yj是指所述第j张增广图像的类别，Nyi是指与i的类别相同的所有增广图像的数量，||i≠j为第一指示函数，当且仅当i＝j时取零，当i≠j时取1，||yi＝yj为第二指示函数，当且仅当yi＝yj时取零，当yi≠yj时取1，||i≠k为第三指示函数，当且仅当i＝k时取零，当i≠k时取1，zi是指将i输入到所述类别辨识网络中得到的单位向量，zj是指将j输入到所述类别辨识网络中得到的单位向量，k是指除了i之外的任意一张增广图像，zk是指将k输入到所述类别辨识网络中得到的单位向量，τ为预设的标量调节参数。
根据本申请优选实施例，所述根据每个影像特征矩阵及对应的文字特征矩阵生成参照矩阵包括：
将每个影像特征矩阵及对应的文字特征矩阵进行相加运算，得到所述参照矩阵，其中，每个影像特征矩阵及对应的文字特征矩阵具备相同的行数与列数。
根据本申请优选实施例，所述根据所述待测矩阵与每个参照矩阵的相似度生成所述待测药物图像的辨识结果包括：
计算所述待测矩阵与每个参照矩阵的相似度；
将最大的相似度所对应的参照矩阵确定为目标矩阵；
基于预设标签映射表对所述目标矩阵进行映射处理，得到所述辨识结果。
本申请提供一种电子设备，所述电子设备包括：
存储器，存储至少一个指令；及
处理器，执行所述至少一个指令以实现所述药物影像辨识方法。
本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现所述药物影像辨识方法。
由以上技术方案可以看出，使用所述多张标记图像对所述第二预训练网络进行多次调整得到所述位置侦测网络，由于所述位置侦测网络学习到了所述多张标记图像的特征，所以所述位置侦测网络能够对所述待测图像进行位置标记，在训练所述类别辨识网络时，对所述多张类别图像进行数据增广处理，避免了训练数据过少的问题，根据每个影像特征矩阵及对应的文字特征矩阵生成多个参照矩阵，将所述待测图像以相同的方式生成所述待测矩阵，计算所述待测矩阵与每个参照矩阵的相似度，并选取最大的相似度对应的参照矩阵的标签信息作为所述辨识结果，由于所述待测矩阵同时包含了所述待测图像的文字特征及图像特征，使得所述待测矩阵能够全面地反映出所述待测图像的特征，从而使得所述辨识结果的准确性更高。
附图说明
图1是本申请药物影像辨识方法的较佳实施例的应用环境图。
图2是本申请药物影像辨识方法的较佳实施例的流程图。
图3是本申请实现药物影像辨识方法的较佳实施例的电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本申请进行详细描述。
如图1所示，是本申请一种药物影像辨识方法的较佳实施例的应用环境图。所述药物影像辨识方法可应用于一个或者多个电子设备1中，所述电子设备1与摄像装置2相通信，所述摄像装置2可以是摄像头，也可以是实现拍摄的其它装置，例如，通过摄像装置2能够拍摄待测药物，得到待测药物图像。所述待测药物可以为胶囊类、片类药物，例如，阿莫西林胶囊、克拉霉素分散片等。
所述电子设备1是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括，但不限于：微处理器、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、可编程门阵列(Field－ProgrammableGateArray，FPGA)、数字信号处理器(DigitalSignalProcessor，DSP)、嵌入式设备等。
所述电子设备1可以是任何一种可与用户进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(PersonalDigitalAssistant，PDA)、游戏机、交互式网络电视(InternetProtocolTelevision，IPTV)、智能式穿戴式设备等。
所述电子设备1还可以包括网络设备和/或用户设备。其中，所述网络设备包括，但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(CloudComputing)的由大量主机或网络服务器构成的云。
所述电子设备1所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(VirtualPrivateNetwork，VPN)等。
如图2所示，是本申请一种药物影像辨识方法的较佳实施例的流程图。根据不同的需求，该流程图中各个步骤的顺序可以根据实际检测要求进行调整，某些步骤可以省略。所述方法的执行主体为电子设备，例如图1所示的电子设备1。
S10，获取多张药物图像及待测药物图像。
在本申请的至少一个实施例中，所述多张药物图像是指携带标签信息的药物图像，所述多张药物图像可用于生成参照矩阵。
所述标签信息可以包括，但不限于：药物的名称、药物的类别、药物的用法等。
在本申请的至少一个实施例中，所述待测药物图像是指没有携带所述标签信息的药物图像，所述待测药物图像中的待测药物的表面存在药物文字，所述药物文字可为字母、数字。
在本申请的至少一个实施例中，所述电子设备从预先设置的目标数据库中获取所述多张药物图像及每张药物图像对应的标签信息。
在本申请的至少一个实施例中，所述电子设备控制所述摄像装置2拍摄所述待测药物，得到所述待测药物图像。
其中，所述摄像装置2可以是摄像头。
S11，获取预先训练完成的药物侦测模型，所述药物侦测模型包括位置侦测网络、文字辨识网络及类别辨识网络。
在本申请的至少一个实施例中，所述药物侦测模型是指对所述待测图像及每张药物图像中药物的位置进行侦测的网络模型。
在本申请的至少一个实施例中，所述位置侦测网络用于从每张药物图像中框选出单个药物的图像。
在本申请的至少一个实施例中，所述文字辨识网络可以用于获取每张药物图像中的文字信息。
在本申请的至少一个实施例中，所述类别辨识网络可以用于识别每张药物图像中药物的种类。
S12，将所述多张药物图像输入到所述位置侦测网络中，得到多张目标图像，每张目标图像中包含有单个药物的图像。
在本申请的至少一个实施例中，所述目标图像是指从每张药物图像上框选出的包含有单个药物的图像。
在本申请的至少一个实施例中，在将所述多张药物图像输入到所述位置侦测网络中，得到多张目标图像之前，所述药物影像辨识方法还包括：
所述电子设备获取位置侦测学习器及位置图像，所述位置图像包括第一图像及第二图像，所述第二图像包括多张标记图像及多张未标记图像，所述电子设备使用所述第一图像对所述位置侦测学习器进行训练，得到第一预训练网络，基于所述多张标记图像对所述第一预训练网络进行调整，得到第一标记网络，所述电子设备将所述多张未标记图像输入到所述第一标记网络中，得到输出图像及每张输出图像所包含药物的预测概率值，并将大于预设阈值的预测概率值所对应的输出图像对所述第一标记网络进行调整，得到第二标记网络，进一步地，所述电子设备计算所述第二标记网络的第一损失值，并基于所述第一损失值对所述第二标记网络进行多次调整，直至所述第一损失值下降到最低后停止调整，得到所述位置侦测网络。
具体地，所述电子设备基于所述第一损失值对所述第二标记网络进行多次调整，直至所述第一损失值下降到最低后停止调整，得到所述位置侦测网络包括：
所述电子设备将所述大于预设阈值的预测概率值所对应的输出图像输入到所述第一标记网络进行训练，对所述第一标记网络的权值进行迭代更新，直至所述第一标记网络达到收敛，得到所述位置侦测网络。
其中，所述位置侦测学习器可以为目标检测器efficientDet，所述位置侦测学习器可用于对每张药物图像中单个药物的位置进行准确的定位。所述第一图像是指从预先设置的第一数据库中获取到的图像，可以是包含任意对象的图像，所述第一数据库可以为COCO数据库、ImageNet数据库及CPTN数据库等数据库。所述第一图像中包括了动物(例如，小狗，小猫等)、植物(例如，花、树等)等多个种类的物品图像，所述第二图像是指包含有药物的图像，所述第二图像可以从预先设置的第二数据库中获取。所述多张标记图像是指已经对图像中药物的位置进行标记的图像，所述多张未标记图像是指图像中药物的位置未标记的图像。
所述输出图像是指可能包括有单个药物的图像，所述输出图像可用于对所述第一标记网络进行多次调整。
所述预测概率值是指所述输出图像中包含单个药物的概率。
所述预设阈值可以自行设置，本申请对此不作限制。
所述第一预训练网络是指使用所述第一图像进行预训练后得到的网络。
所述第一标记网络是指根据所述多张标记图像对所述第一预训练网络进行再次训练后得到的网络，所述第一标记网络可用于对所述多张未标记图像进行特征标记。
所述第一损失值的计算公式为：
FL(pt)＝-αt(1-t)γlog(pt)；
其中，FL(pt)为所述第一损失值，pt为所述预测概率值，αt∈[0,1]，γ≥0。
通过上述实施方式，能够选取到第一损失值最小的第二标记网络作为所述位置侦测网络，由于所述第二标记网络学习到了所述多张标记图像的特征，从而使得所述位置侦测网络能够准确的对每张药物图像进行标记。
S13，根据所述多张目标图像及所述文字辨识网络，生成多个文字特征矩阵。
在本申请的至少一个实施例中，所述多个文字特征矩阵是指包含有所述多张目标图像中文字特征的矩阵，每个文字特征矩阵可用于生成所述参照矩阵。
在本申请的至少一个实施例中，在根据所述多张目标图像及所述文字辨识网络，生成多个文字特征矩阵前，所述药物影像识别方法还包括：
所述电子设备获取文字图像及文字辨识学习器，所述文字图像包括第三图像及第四图像，使用所述第三图像对所述文字辨识学习器进行训练，得到第二预训练网络，其中，所述第二预训练网络包括卷积神经网络模型及循环神经网络模型，所述电子设备计算所述第二预训练网络的第二损失值，并通过所述第二损失值进行反向传播，对所述第二预训练网络的参数进行多次调整，直至所述第二预训练模型达到收敛后停止调整，得到所述文字辨识网络。
其中，所述文字辨识学习器是指对每张药物图像的文字进行辨识的学习器，所述文字图像是指用于训练所述文字辨识学习器的图像，所述文字图像中包含有任意药物上所带有的文字。
所述卷积神经网络模型可以为VGG16网络，所述卷积神经网络模型可用于提取所述第四图像的文字特征。所述循环神经网络模型可以为长短期记忆网络(Long Short-TermMemory，LSTM)，所述循环神经网络模型可用于提取所述文字特征的时序信息。
所述第三图像可用于训练所述文字辨识学习器的权重，所述第四图像是指包含有任意药物文字的图像，所述药物文字可以包括，但不限于：字母、数字。所述第三图像可以从所述第一数据库中获取，所述第四图像可以从预先设置的第三数据库中获取，所述第三数据库中存储有多张药物文字的图像。
所述第二预训练网络使用的损失函数可以为连接时序分类损失函数(Connectionisttemporalclassification，CTC)。
通过上述实施方式，选取最低的第二损失值对应的第二预训练网络作为所述文字辨识网络，能够提高所述文字辨识网络的可靠性和精度，使得所述文字辨识网络能够准确地提取所述目标图像的文字特征。
在本申请的至少一个实施例中，所述电子设备根据所述多张目标图像及所述文字辨识网络，生成多个文字特征矩阵包括：
所述电子设备将每张目标图像进行色彩转换，得到多张文字灰阶图像，并将每张文字灰阶图像进行二值化处理，得到多张二值化图像，将每张二值化图像进行滤波处理，得到多张滤波图像，进一步地，所述电子设备定位每张滤波图像中药物文字的位置，得到文字位置，根据所述文字位置从每张目标图像中框选出文字图像，更进一步地，所述电子设备将每张文字图像输入到所述卷积神经网络模型进行特征提取，得到特征序列，所述电子设备将所述特征序列输入到所述循环神经网络模型中，得到所述多个文字特征矩阵。
其中，所述特征序列是指所述卷积神经网络模型对每张滤波图像进行提取所得到的特征，所述多个文字特征矩阵是指所述循环神经网络模型对所述特征序列进行提取所得到的特征。
通过上述实施方式，对每张目标图像进行色彩转换、二值化、滤波等处理，能够获得更加清晰的滤波图像，根据所述多张滤波图像能够准确的获取到文字特征，有利于生成所述文字特征矩阵。
S14，将所述多张目标图像输入到所述类别辨识网络中，得到多个影像特征矩阵。
在本申请的至少一个实施例中，所述多个影像特征矩阵是指包含有所述多张目标图像中的图像特征的矩阵。
在本申请的至少一个实施例中，在将所述多张目标图像输入到所述类别辨识网络中，得到多个影像特征矩阵之前，所述药物影像识别方法还包括：
所述电子设备获取类别辨识学习器，所述类别辨识学习器中使用soft-max函数作为激活函数，进一步地，所述电子设备计算所述类别辨识学习器的第三损失值，并基于所述第三损失值对所述类别辨识学习器进行调整，直至所述第三损失值下降到最低后停止调整，并从调整后的类别辨识学习器中删除所述激活函数，得到所述类别辨识网络。
具体地，所述电子设备获取类别辨识学习器，所述类别辨识学习器中使用soft-max函数作为激活函数包括：
所述电子设备基于resnet50网络构建所述类别辨识学习器，并将soft-max作为所述激活函数。
在本申请的至少一个实施例中，所述电子设备计算所述类别辨识学习器的第三损失值包括：
所述电子设备获取多张类别图像，所述多张类别图像包括多个类别，将所述多张类别图像进行数据增广处理，得到多张增广图像，所述多张增广图像成对存在，每对增广图像包含第一增广图像及第二增广图像，所述第一增广图像及所述第二增广图像来源于同一张类别图像。
所述多张类别图像是指取值大于预设阈值的预测概率值所对应的输出图像。
所述数据增广处理是指将每张类别图像进行旋转及裁剪等变换后得到的图像。
所述多个类别包括，但不限于：抗生素类、维生素类等。
所述第三损失值的确定公式为：
其中，
是指所述第三损失值，2是指所述多张增广图像，i是指所述多张增广图像中的第张增广图像，yi是指所述第张增广图像的类别，j是指与i的类别相同的增广图像中的第j张增广图像，yj是指所述第j张增广图像的类别，Nyi是指与i的类别相同的所有增广图像的数量，||i≠j为第一指示函数，当且仅当i＝j时取零，当i≠j时取1，||yi＝yj为第二指示函数，当且仅当yi＝yj时取零，当yi≠yj时取1，||i≠k为第三指示函数，当且仅当i＝k时取零，当i≠k时取1，zi是指将i输入到所述类别辨识网络中得到的单位向量，zj是指将j输入到所述类别辨识网络中得到的单位向量，k是指除了i之外的任意一张增广图像，zk是指将k输入到所述类别辨识网络中得到的单位向量，τ为预设的标量调节参数。
通过上述实施方式，对所述多张类别图像进行数据增广处理，扩充了训练数据，使用更多的训练数据训练得到所述类别辨识网络，能够提高所述类别辨识网络的辨识准确性。
S15，根据每个影像特征矩阵及对应的文字特征矩阵生成参照矩阵。
在本申请的至少一个实施例中，所述参照矩阵是指包含了所述多个目标图像的图像特征及文字特征的矩阵，所述参照矩阵可用于指示所述待测药物图像的标签信息。
在本申请的至少一个实施例中，所述电子设备根据每个影像特征矩阵及对应的文字特征矩阵生成参照矩阵包括：
所述电子设备将每个影像特征矩阵及对应的文字特征矩阵进行相加运算，得到所述参照矩阵，其中，每个影像特征矩阵及对应的文字特征矩阵具备相同的行数与列数。
在本申请的至少一个实施例中，生成所述参照矩阵还有其它方式，例如：所述电子设备将每个影像特征矩阵及对应的文字特征矩阵进行相乘运算，得到所述参照矩阵，或者，所述电子设备将每个影像特征矩阵及对应的文字特征矩阵进行相减运算，得到所述参照矩阵。
通过上述实施方式，能够提取每张药物图像中药物的图像特征及文字特征，并生成同时具备图像特征及文字特征的参照矩阵。
S16，基于所述药物侦测模型处理所述待测药物图像，得到待测矩阵。
在本申请的至少一个实施例中，所述待测矩阵是指包含有所述待测图像的图像特征及文字特征的矩阵。
由于生成所述待测矩阵的过程与生成所述参照矩阵一致，故本申请在此不作赘述。
通过上述实施方式，使用处理所述多张药物图像方式对所述待测图像进行处理，得到所述待测矩阵，使得所述待测矩阵及每个参照矩阵具有相同的行数及列数，更便于计算所述待测矩阵与每个参照矩阵的相似度。
S17，根据所述待测矩阵与每个参照矩阵的相似度生成所述待测药物图像的辨识结果。
在本申请的至少一个实施例中，所述辨识结果是指所述待测药物对应的标签信息。
在本申请的至少一个实施例中，所述电子设备据所述待测矩阵与每个参照矩阵的相似度生成所述待测药物图像的辨识结果包括：
所述电子设备计算所述待测矩阵与每个参照矩阵的相似度，将最大的相似度所对应的参照矩阵确定为目标矩阵，基于预设标签映射表对所述目标矩阵进行映射处理，得到所述辨识结果。
其中，所述预设标签映射表是指每个参照矩阵与对应的标签信息的映射表，所述预设标签映射表中每个参照矩阵与标签信息一一对应。
所述相似度可以包括，但不限于：余弦相似度、欧氏距离。
所述余弦相似度的计算公式为：
cosine是指所述余弦相似度，n是指所述待测矩阵及任意一个参照矩阵中的所有元素，i指所述待测矩阵及任意一个参照矩阵中的第i个元素，Ai是指所述待测矩阵中的第i个元素，Bi是指任意一个参照矩阵中的第i个元素。
具体地，所述电子设备基于预设标签映射表对所述目标矩阵进行映射处理，得到所述辨识结果包括：
所述电子设备根据所述目标矩阵确定所述待测药物在所述预设标签映射表中对应的标签信息，并将所述对应的标签信息作为所述辨识结果。
通过上述实施方式，选取最大的相似度对应的参照矩阵作为所述目标矩阵，使得所述目标矩阵对应的药物图像与所述待测药物图像更相似，将所述对应的药物图像的标签信息作为所述待测药物的标签信息，根据所述目标矩阵与标签信息的一一对应关系，能够快速找到所述待测药物的标签信息，提高了药物图像的辨识效率。
由以上技术方案可以看出，使用所述多张标记图像对所述第二预训练网络进行多次调整得到所述位置侦测网络，由于所述位置侦测网络学习到了所述多张标记图像的特征，所以所述位置侦测网络能够对所述待测图像进行位置标记，在训练所述类别辨识网络时，对所述多张类别图像进行数据增广处理，避免了训练数据过少的问题，根据每个影像特征矩阵及对应的文字特征矩阵生成多个参照矩阵，将所述待测图像以相同的方式生成所述待测矩阵，计算所述待测矩阵与每个参照矩阵的相似度，并选取最大的相似度对应的参照矩阵的标签信息作为所述辨识结果，由于所述待测矩阵同时包含了所述待测图像的文字特征及图像特征，使得所述待测矩阵能够全面地反映出所述待测图像的特征，从而使得所述辨识结果的准确性更高。
如图3所示，是本申请实现药物影像辨识方法的较佳实施例的电子设备的结构示意图。
在本申请的一个实施例中，所述电子设备1包括，但不限于，存储器12、处理器13，以及存储在所述存储器12中并可在所述处理器13上运行的计算机程序，例如药物影像辨识程序。
本领域技术人员可以理解，所述示意图仅仅是电子设备1的示例，并不构成对电子设备1的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备1还可以包括输入输出设备、网络接入设备、总线等。
所述处理器13可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器13是所述电子设备1的运算核心和控制中心，利用各种接口和线路连接整个电子设备1的各个部分，及获取所述电子设备1的操作系统以及安装的各类应用程序、程序代码等。例如，所述处理器13可以通过接口获取所述摄像装置2拍摄到的所述待测药物图像。
所述处理器13获取所述电子设备1的操作系统以及安装的各类应用程序。所述处理器13获取所述应用程序以实现上述各个药物影像辨识方法实施例中的步骤，例如图2所示的步骤。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器12中，并由所述处理器13获取，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述电子设备1中的获取过程。
所述存储器12可用于存储所述计算机程序和/或模块，所述处理器13通过运行或获取存储在所述存储器12内的计算机程序和/或模块，以及调用存储在存储器12内的数据，实现所述电子设备1的各种功能。所述存储器12可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器12可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。
所述存储器12可以是电子设备1的外部存储器和/或内部存储器。进一步地，所述存储器12可以是具有实物形式的存储器，如内存条、TF卡(Trans-flash Card)等等。
所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器获取时，可实现上述各个方法实施例的步骤。
其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可获取文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
结合图2，所述电子设备1中的所述存储器12存储多个指令以实现一种药物影像辨识方法，所述处理器13可获取所述多个指令从而实现：获取多张药物图像及待测药物图像；获取预先训练完成的药物侦测模型，所述药物侦测模型包括位置侦测网络、文字辨识网络及类别辨识网络；将所述多张药物图像输入到所述位置侦测网络中，得到多张目标图像，每张目标图像中包含有单个药物的图像；根据所述多张目标图像及所述文字辨识网络，生成多个文字特征矩阵；将所述多张目标图像输入到所述类别辨识网络中，得到多个影像特征矩阵；根据每个影像特征矩阵及对应的文字特征矩阵生成参照矩阵；基于所述药物侦测模型处理所述待测药物图像，得到待测矩阵；根据所述待测矩阵与每个参照矩阵的相似度生成所述待测药物图像的辨识结果。
具体地，所述处理器13对上述指令的具体实现方法可参考图2对应实施例中相关步骤的描述，在此不赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。本申请中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本申请的技术方案而非限制，尽管参照较佳实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或等同替换，而不脱离本申请技术方案的精神和范围。
Claims (10)
1.一种药物影像辨识方法，应用于电子设备，其特征在于，所述药物影像辨识方法包括：
获取多张药物图像及待测药物图像；
获取预先训练完成的药物侦测模型，所述药物侦测模型包括位置侦测网络、文字辨识网络及类别辨识网络；
将所述多张药物图像输入到所述位置侦测网络中，得到多张目标图像，每张目标图像中包含有单个药物的图像；
根据所述多张目标图像及所述文字辨识网络，生成多个文字特征矩阵；
将所述多张目标图像输入到所述类别辨识网络中，得到多个影像特征矩阵；
根据每个影像特征矩阵及对应的文字特征矩阵生成参照矩阵；
基于所述药物侦测模型处理所述待测药物图像，得到待测矩阵；
根据所述待测矩阵与每个参照矩阵的相似度生成所述待测药物图像的辨识结果。
2.如权利要求1所述的药物影像辨识方法，其特征在于，在将所述多张药物图像输入到所述位置侦测网络中，得到多张目标图像之前，所述药物影像辨识方法还包括：
获取位置侦测学习器及位置图像，所述位置图像包括第一图像及第二图像，所述第二图像包括多张标记图像及多张未标记图像；
使用所述第一图像对所述位置侦测学习器进行训练，得到第一预训练网络；
基于所述多张标记图像对所述第一预训练网络进行调整，得到第一标记网络；
将所述多张未标记图像输入到所述第一标记网络中，得到输出图像及每张输出图像所包含药物的预测概率值；
将大于预设阈值的预测概率值所对应的输出图像对所述第一标记网络进行调整，得到第二标记网络；
计算所述第二标记网络的第一损失值，并基于所述第一损失值对所述第二标记网络进行多次调整，直至所述第一损失值下降到最低后停止调整，得到所述位置侦测网络。
3.如权利要求1所述的药物影像辨识方法，其特征在于，在根据所述多张目标图像及所述文字辨识网络，生成多个文字特征矩阵前，所述药物影像识别方法还包括：
获取文字图像及文字辨识学习器，所述文字图像包括第三图像及第四图像；
使用所述第三图像对所述文字辨识学习器进行训练，得到第二预训练网络，其中，所述第二预训练网络包括卷积神经网络模型及循环神经网络模型；
计算所述第二预训练网络的第二损失值，并通过所述第二损失值进行反向传播，对所述第二预训练网络的参数进行多次调整，直至所述第二预训练模型达到收敛后停止调整，得到所述文字辨识网络。
4.如权利要求3所述的药物影像辨识方法，其特征在于，所述根据所述多张目标图像及所述文字辨识网络，生成多个文字特征矩阵包括：
将每张目标图像进行色彩转换，得到多张文字灰阶图像；
将每张文字灰阶图像进行二值化处理，得到多张二值化图像；
将每张二值化图像进行滤波处理，得到多张滤波图像；
定位每张滤波图像中药物文字的位置，得到文字位置；
根据所述文字位置从每张目标图像中框选出文字图像；
将每张文字图像输入到所述卷积神经网络模型进行特征提取，得到特征序列；
将所述特征序列输入到所述循环神经网络模型中，得到所述多个文字特征矩阵。
5.如权利要求1所述的药物影像辨识方法，其特征在于，在将所述多张目标图像输入到所述类别辨识网络中，得到多个影像特征矩阵之前，所述药物影像识别方法还包括：
获取类别辨识学习器，所述类别辨识学习器中使用soft-max函数作为激活函数；
计算所述类别辨识学习器的第三损失值，并基于所述第三损失值对所述类别辨识学习器进行调整，直至所述第三损失值下降到最低后停止调整，并从调整后的类别辨识学习器中删除所述激活函数，得到所述类别辨识网络。
6.如权利要求5所述的药物影像辨识方法，其特征在于，所述计算所述类别辨识学习器的第三损失值包括：
获取多张类别图像，所述多张类别图像包括多个类别；
将所述多张类别图像进行数据增广处理，得到多张增广图像；
所述第三损失值的确定公式为：
其中，是指所述第三损失值，2N是指所述多张增广图像，i是指所述多张增广图像中的第i张增广图像，yi是指所述第i张增广图像的类别，j是指与i的类别相同的增广图像中的第j张增广图像，yj是指所述第j张增广图像的类别，Nyi是指与i的类别相同的所有增广图像的数量，||i≠j为第一指示函数，当且仅当i＝j时取零，当i≠j时取1，||yi＝yj为第二指示函数，当且仅当yi＝yj时取零，当yi≠yj时取1，||i≠k为第三指示函数，当且仅当i＝k时取零，当i≠k时取1，Zi是指将i输入到所述类别辨识网络中得到的单位向量，Zj是指将j输入到所述类别辨识网络中得到的单位向量，k是指除了i之外的任意一张增广图像，Zk是指将k输入到所述类别辨识网络中得到的单位向量，τ为预设的标量调节参数。
7.如权利要求1所述的药物影像辨识方法，其特征在于，所述根据每个影像特征矩阵及对应的文字特征矩阵生成参照矩阵包括：
将每个影像特征矩阵及对应的文字特征矩阵进行相加运算，得到所述参照矩阵，其中，每个影像特征矩阵及对应的文字特征矩阵具备相同的行数与列数。
8.如权利要求1所述的药物影像辨识方法，其特征在于，所述根据所述待测矩阵与每个参照矩阵的相似度生成所述待测药物图像的辨识结果包括：
计算所述待测矩阵与每个参照矩阵的相似度；
将最大的相似度所对应的参照矩阵确定为目标矩阵；
基于预设标签映射表对所述目标矩阵进行映射处理，得到所述辨识结果。
9.一种电子设备，其特征在于，所述电子设备包括：
存储器，存储至少一个指令；及
处理器，获取所述存储器中存储的指令以实现如权利要求1至8中任意一项所述的药物影像辨识方法。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现如权利要求1至8中任意一项所述的药物影像辨识方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111547632.6A CN116434256A (zh) | 2021-12-16 | 2021-12-16 | 药物影像辨识方法、电子设备及存储介质 |
| US17/844,161 US20230196558A1 (en) | 2021-12-16 | 2022-06-20 | Medicine image recognition method, electronic device and readable storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111547632.6A CN116434256A (zh) | 2021-12-16 | 2021-12-16 | 药物影像辨识方法、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116434256A true CN116434256A (zh) | 2023-07-14 |
Family
ID=86768462
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111547632.6A Pending CN116434256A (zh) | 2021-12-16 | 2021-12-16 | 药物影像辨识方法、电子设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20230196558A1 (zh) |
| CN (1) | CN116434256A (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117197737B (zh) * | 2023-09-08 | 2024-05-28 | 数字广东网络建设有限公司 | 一种土地用途的检测方法、装置、设备及存储介质 |
-
2021
- 2021-12-16 CN CN202111547632.6A patent/CN116434256A/zh active Pending
-
2022
- 2022-06-20 US US17/844,161 patent/US20230196558A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20230196558A1 (en) | 2023-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107944020B (zh) | 人脸图像查找方法及装置、计算机装置和存储介质 | |
| WO2019169532A1 (zh) | 车牌识别方法及云系统 | |
| WO2019200781A1 (zh) | 票据识别方法、装置及存储介质 | |
| KR101889052B1 (ko) | 이미지로부터의 비-텍스트 맥락 정보에 근거하여 이미지로부터의 텍스트에 대해 기계 언어 번역을 하기 위한 기법 | |
| WO2019109526A1 (zh) | 人脸图像的年龄识别方法、装置及存储介质 | |
| WO2018166114A1 (zh) | 图片识别的方法、系统、电子装置及介质 | |
| WO2017075939A1 (zh) | 一种图像内容识别方法及装置 | |
| CN109858476B (zh) | 标签的扩充方法和电子设备 | |
| WO2017088537A1 (zh) | 一种元件分类方法及装置 | |
| WO2020164278A1 (zh) | 一种图像处理方法、装置、电子设备和可读存储介质 | |
| CN112862024B (zh) | 一种文本识别方法及系统 | |
| WO2019119396A1 (zh) | 人脸表情识别方法及装置 | |
| Chandran et al. | Missing child identification system using deep learning and multiclass SVM | |
| CN115657012B (zh) | 图像目标与雷达目标的匹配方法、装置、设备及存储介质 | |
| CN109284700B (zh) | 图像中多个人脸检测的方法、存储介质、设备及系统 | |
| CN112347997A (zh) | 一种试题检测识别方法、装置、电子设备及介质 | |
| CN115082659A (zh) | 一种图像标注方法、装置、电子设备及存储介质 | |
| CN116434256A (zh) | 药物影像辨识方法、电子设备及存储介质 | |
| CN114519401A (zh) | 一种图像分类方法及装置、电子设备、存储介质 | |
| KR20210008075A (ko) | 시각 검색 방법, 장치, 컴퓨터 기기 및 저장 매체 (video search method and apparatus, computer device, and storage medium) | |
| CN110008922A (zh) | 用于终端设备的图像处理方法、设备、装置、介质 | |
| WO2020244076A1 (zh) | 人脸识别方法、装置、电子设备及存储介质 | |
| TWI781856B (zh) | 藥物影像辨識方法、電腦設備及儲存介質 | |
| CN111402987A (zh) | 基于可见光视频的用药提醒方法、装置、设备及存储介质 | |
| CN116205723A (zh) | 基于人工智能的面签风险检测方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |