CN113486891A - 螺钉图像处理方法、装置、电子设备和存储介质 - Google Patents
螺钉图像处理方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN113486891A CN113486891A CN202110694209.2A CN202110694209A CN113486891A CN 113486891 A CN113486891 A CN 113486891A CN 202110694209 A CN202110694209 A CN 202110694209A CN 113486891 A CN113486891 A CN 113486891A
- Authority
- CN
- China
- Prior art keywords
- screw
- character
- image
- area
- nut
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 60
- 238000000034 method Methods 0.000 claims abstract description 30
- 230000011218 segmentation Effects 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000004590 computer program Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 238000005260 corrosion Methods 0.000 claims description 4
- 230000007797 corrosion Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 2
- 210000000988 bone and bone Anatomy 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241001085205 Prenanthella exigua Species 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000399 orthopedic effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请公开了一种螺钉图像处理方法装置、电子设备和存储介质。其中方法包括:获取螺钉图像,提取所述螺钉图像中的螺帽圆形区域;确定所述螺帽圆形区域的圆心和半径;根据所述螺帽圆形区域的圆心和半径,将所述螺帽圆形区域进行极坐标展开处理,获得所述螺帽圆形区域对应的第一矩形图像;提取所述第一矩形图像的字符区域,确定所述字符区域的分割位置;根据所述分割位置,将所述字符区域分割并重组,获得第二矩形图像;对所述第二矩形图像进行字符识别,获得所述螺钉图像对应的螺钉检测编号。
Description
技术领域
本发明涉及图像处理技术领域,尤其是涉及一种螺钉图像处理方法、装置、电子设备和存储介质。
背景技术
螺钉作为一种固定零件在许多场合应用,但由于螺钉种类多、体积小,不便保管,一些螺钉上的编号难以看清,使用时也不便准确区别出特定型号的螺钉。
尤其,随着医疗技术的发展,骨螺钉作为骨科手术不可或缺的手术器具使用量日益增多。但是骨螺钉的管理却一直是一个难题,主要体现在以下方面:
骨螺钉数量众多,单一场手术使用的螺钉数量就达到200颗以上;
骨螺钉的直径很小通常在1~5mm左右,因此要识别螺钉的型号通常无法肉眼看到,通常使用放大镜一颗颗看。可见骨螺钉管理复杂耗时,如果使用不当还可能影响病人的身体健康,准确识别确认螺钉编号需要大量时间。
发明内容
基于此,有必要针对上述问题,提出了一种螺钉图像处理方法、装置、电子设备和存储介质。
第一方面,提供了一种螺钉图像处理方法,包括:
获取螺钉图像,提取所述螺钉图像中的螺帽圆形区域;
确定所述螺帽圆形区域的圆心和半径;
根据所述螺帽圆形区域的圆心和半径,将所述螺帽圆形区域进行极坐标展开处理,获得所述螺帽圆形区域对应的第一矩形图像;
提取所述第一矩形图像的字符区域,确定所述字符区域的分割位置;
根据所述分割位置,将所述字符区域分割并重组,获得第二矩形图像;
对所述第二矩形图像进行字符识别,获得所述螺钉图像对应的螺钉检测编号。
第二方面,提供了一种螺钉图像处理装置,包括:
获取模块,用于获取螺钉图像,提取所述螺钉图像中的螺帽圆形区域;
转换模块,用于:确定所述螺帽圆形区域的圆心和半径,根据所述螺帽圆形区域的圆心和半径,将所述螺帽圆形区域进行极坐标展开处理,获得所述螺帽圆形区域对应的第一矩形图像;
划分模块,用于:
提取所述第一矩形图像的字符区域,确定所述字符区域的分割位置,根据所述分割位置,将所述字符区域分割并重组,获得第二矩形图像;
字符识别模块,用于对所述第二矩形图像进行字符识别,获得所述螺钉图像对应的螺钉检测编号。
第三方面,提供了一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如第一方面及其任一种可能的实现方式的步骤。
第四方面,提供了一种计算机存储介质,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由处理器加载并执行如上述第一方面及其任一种可能的实现方式的步骤。
本申请通过获取螺钉图像,提取所述螺钉图像中的螺帽圆形区域;确定所述螺帽圆形区域的圆心和半径;根据所述螺帽圆形区域的圆心和半径,将所述螺帽圆形区域进行极坐标展开处理,获得所述螺帽圆形区域对应的第一矩形图像;提取所述第一矩形图像的字符区域,确定所述字符区域的分割位置;根据所述分割位置,将所述字符区域分割并重组,获得第二矩形图像;对所述第二矩形图像进行字符识别,获得所述螺钉图像对应的螺钉检测编号,可以快速准确地识别出每颗螺钉的编号,不需要人工耗时费力辨认,便于监控螺钉规范存放和使用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
其中:
图1为本申请实施例提供的一种螺钉图像处理方法的流程示意图;
图2为本申请实施例提供的一种螺钉图像示意图;
图3为本申请实施例提供的一种路径构建示意图;
图4A为本申请实施例提供的一种极坐标展开的矩形图像示意图;
图4B为本申请实施例提供的一种字符区域的分割示意图;
图5为本申请实施例提供的一种螺钉编号处理流程示意图;
图6为本申请实施例提供的一种螺钉图像处理装置的局部结构示意图;
图7为本申请实施例提供的一种螺钉图像处理装置的结构示意图;
图8为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例中涉及到的神经网络(Neural Networks,NN)是由大量的、简单的处理单元(称为神经元)广泛地互相连接而形成的复杂网络系统,它反映了人脑功能的许多基本特征,是一个高度复杂的非线性动力学习系统。神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学能力,特别适合处理需要同时考虑许多因素和条件的、不精确和模糊的信息处理问题。
卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks),是深度学习(deeplearning)的代表算法之一。
下面结合本申请实施例中的附图对本申请实施例进行描述。
请参阅图1,图1是本申请实施例提供的一种螺钉图像处理方法的流程示意图。该方法可以应用于一种螺钉图像处理装置,该装置包括检测模块,检测模块包括螺钉摄像头。该方法可包括:
101、获取螺钉图像,提取上述螺钉图像中的螺帽圆形区域。
上述螺钉图像可以是包含螺钉头(本申请实施例中称为螺帽圆形区域)的图像,可以通过将螺钉竖直放置通过俯视视角采集。本申请实施例中的螺钉可以为任意螺钉,尤其可以为骨螺钉。骨螺钉是用于骨折部位固定的内固定器件。骨螺钉的直径很小,因此要识别螺钉的型号通常无法肉眼看到。
具体的,图2为本申请提供的一种螺钉图像示意图,如图2所示,该螺钉图像中包括螺帽圆形区域A和背景区域B,其中螺帽圆形区域A有螺钉编号。本申请实施例中可以预先训练用于识别螺帽圆形区域的网络模型,从而通过训练后的模型可以识别螺钉图像中的螺帽圆形区域。该网络模型可以是基于深度学习的神经网络模型,本申请实施例对此不做限制。
本申请实施例的执行主体可以为一种螺钉图像处理装置,可以为一种电子设备,该电子设备包括终端设备如计算机。
在一种可选的实施方式中,上述方法应用于螺钉图像处理装置,上述装置包括检测模块,上述检测模块包括螺钉摄像头;
上述获取螺钉图像,包括:
获取识别路径,根据上述识别路径控制上述检测模块按照上述识别路径运动,在每个放置有螺钉的螺钉位,通过上述螺钉摄像头采集获得上述螺钉图像。
其中,上述检测台可以放置待检测的物品,本申请实施例中检测台可放置钉盒,钉盒可设置多个放置螺钉的螺钉位,该检测模块设置有用于采集螺钉图像的摄像头,此处称为螺钉摄像头。螺钉的螺帽朝上放入钉盒的螺钉位,便于检测模块从上方对螺钉进行图像采集和识别检测。
具体的,可以通过广角摄像头(不同于螺钉摄像头)预先采集检测场景图像,分析确定出检测模块的识别路径。进而可以根据生成的识别路径控制检测模块运动,检测模块可根据识别路径中的坐标运动,每到一个检测点位置进行一次图像采集,获得相应的螺钉图像。可选的,可以在每个放置有螺钉的螺钉位,控制检测模块移动到预设检测高度的情况下,通过螺钉摄像头采集上述螺钉图像,并进行本申请实施例中的图像处理步骤。
在一种实施方式中,可以通过图像处理方法识别检测场景图像中螺钉位,确定每个螺钉位的中心位置坐标。如上述图2所示,本申请实施例中的螺钉位即使放置了螺钉,从上方可见依然为圆形,可以通过预先训练的图像检测模型,通过边缘检测,检测出图像中的各个螺钉位区域,并确定每个螺钉位的中心位置坐标。本申请实施例对所使用的具体图像检测模型类型不做限制。
本申请实施例中涉及边缘检测,是从不同视觉对象中提取有用的结构信息并大大减少要处理的数据量的一种技术,目前已广泛应用于各种计算机视觉系统。
进一步地,可以对识别得出的各个螺钉位中心坐标进行排序,达到一个最短路径。
具体的,通过给定的中心位置坐标数据,可以通过各个坐标值比较确定出起点螺钉位和终点螺钉位。在一种具体实施方式中可以首先确定出两个螺钉位作为起点螺钉位和终点螺钉位,再根据起点螺钉位和终点螺钉位的坐标和其他各个螺钉位的分布,确定出每个螺钉位的中心位置坐标;从而可以从起点开始出发直到终点构建识别路径。举例来讲,可以如图3所示,当遍历完一行的检测点就往下移动一行,再遍历这一行,最终以一个S型的顺序保存所有的坐标信息,确定识别路径。
可选的,也可以不用计算所有螺钉位的中心位置坐标,而是根据螺钉位的间距,控制检测模块的移动,本申请实施例对此不做限制。另外,对识别路径也不一定为S型,可以根据需要进行设置,此处不做限制。
102、确定上述螺帽圆形区域的圆心和半径。
103、根据上述螺帽圆形区域的圆心和半径,将上述螺帽圆形区域进行极坐标展开处理,获得上述螺帽圆形区域对应的第一矩形图像。
对螺帽圆形区域进行识别,可以确定螺帽圆形区域的圆心,进而确定半径。
极坐标系(polar coordinates)是指在平面内由极点、极轴和极径组成的坐标系。在平面上取定一点O,称为极点。从O出发引一条射线Ox,称为极轴。再取定一个单位长度,通常规定角度取逆时针方向为正。这样,平面上任一点P的位置就可以用线段OP的长度ρ以及从Ox到OP的角度θ来确定,有序数对(ρ,θ)就称为P点的极坐标,记为P(ρ,θ);ρ称为P点的极径,θ称为P点的极角。
螺帽圆形区域为圆形,可将螺帽圆形区域的圆心作为极点,根据其半径,进行极坐标展开为直线形式,获得对应的第一矩形图像,以便对其中字符进行识别。
对第一矩形图像中的字符进行识别,可以获得对应的螺钉检测编号。本申请实施例中对具体的字符识别算法不做限制,例如可选的,可以采用开源的tesseract算法进行符号识别。
104、提取上述第一矩形图像的字符区域,确定上述字符区域的分割位置。
具体的,通常螺钉的螺帽外圈印或刻有螺钉编号对应字符区域,内圈为螺钉槽,比如通常槽型为一字或十字槽,也可以是无槽,对应无字符区域。因此可以先提取上述第一矩形图像的字符区域用于识别处理,减少对部分无字符区域的处理。
为了正确识别字符,需要进行图像调整(展开后的矩形图像中的首个字符不一定是螺钉编号的第一位,也可能展开时有字符被分割,不完整)。
在一种可选的实施方式中,上述提取上述第一矩形图像的字符区域,包括:
识别出上述第一矩形图像中的分界直线,上述分界直线用于划分上述矩形图像中的上述字符区域和无字符区域;
根据上述分界直线,提取上述第一矩形图像的字符区域。
本申请实施例中可以利用预设的识别算法识别出图像中的特定特征,比如线条。通过识别算法识别极坐标展开后的矩形图像,初步划分字符区域和无字符区域。如图4A所示,为一种极坐标展开后获得的矩形图像示意图,包括字符区域C和无字符区域D,字符区域C即为标注有螺钉编号的区域,无字符区域D可以包括螺钉的各类螺钉槽,此处未画出。通常螺钉的螺帽外圈印或刻有螺钉编号对应字符区域,内圈为螺钉槽,比如通常槽型为一字或十字槽,也可以是无槽。通过上述步骤则可以识别确定矩形图像中的分界直线L,从而划分开螺帽中的字符区域C和无字符区域D。
进一步地,为了正确识别字符,需要进行图像调整(展开后的矩形图像中的首个字符不一定是螺钉编号的第一位,也可能展开时有字符被分割,不完整)。首先需要确定字符区域的分割位置,该分割位置无字符。之后可以在执行步骤105,即根据该分割位置将字符区域分割并重组,以调整字符顺序,使得所有的字符信息都得以保留完整,便于后续识别。
105、根据上述分割位置,将上述字符区域分割并重组,获得第二矩形图像。
在一种可选的实施方式中,上述确定上述字符区域的分割位置,包括:
对上述字符区域进行膨胀与腐蚀操作,确定出上述字符区域中的字符块区域;
根据上述字符块区域的位置确定分割位置,上述分割位置不经过上述字符块区域;
上述根据上述分割位置,将上述字符区域分割并重组,获得第二矩形图像,包括:
根据上述分割位置,将上述字符区域分割为两个子矩形,并将上述两个子矩形交换排列顺序进行拼接,获得上述第二矩形图像。
本申请实施例中可以通过膨胀与腐蚀操作,选出字符区域中的字符块区域。本申请实施例中涉及到的膨胀可以理解为,通过将像素添加到该图像中的对象的感知边界,扩张放大图像中的明亮白色区域;腐蚀则相反:它沿着物体边界移除像素并缩小物体的大小。通过对获得的字符区域的膨胀与腐蚀操作,将连续字符的区域连通成一块,即选出字符区域中的字符块区域,其余位置均不包含字符,可以作为确定分割位置的依据。可以从不包含字符的区域确定分割位置,比如一块不包含字符区域的中线作为一条分割线,进行分割,再将分割出的一块子图像接到另一块子图像的另一端,完成调整。
例如,可以参见图4B所示的一种字符区域的分割示意图,如图4B中展示的图像即可以为图4A中的字符区域C,此处未表示出字符。可以通过上述方法确定字符区域的分割位置,具体可以确定出该字符区域C中的分割线M(此处无字符),将其划分为C1、C2两个区域,再将两个区域重新拼接,即C1的左端与C2的右端拼接到一起,可以获得重组矩形图像,即调整后的字符区域,该方式可以解决在极坐标展开时C1左端和C2右端的字符在被分开时不完整的问题。
可选的,还可以在字符识别之前增强图像对比度,提高识别准确性。
106、对上述第二矩形图像进行字符识别,获得上述螺钉图像对应的螺钉检测编号。
本申请实施例中可以采用任意一种字符识别算法。
在一种可选的实施方式中,进行字符识别时对于无用的符号可以剔除。
在一种实施方式中,上述步骤106可包括:
对上述第二矩形图像进行字符识别,获得第一字符序列;
识别上述第一字符序列中的预设标识字符;
根据上述预设标识字符的位置对上述第一字符序列中的字符顺序进行调整,删除上述预设标识字符,获得上述螺钉图像对应的螺钉检测编号。
具体的,可以预先设置需要剔除的预设标识字符,比如“ID”或者安全认证标志CE等,在识别出全部字符之后可以按要求剔除预设标识字符再输出螺钉检测编号。由于极坐标展开时分开的位置不确定,展开并调整后的获得的待识别字符区域图像中,字符顺序可能不是正确的编号顺序,为了解决该问题,可以根据需要设置编号识别规则,以确定识别出的字符串的首位,再进行调整,得到以该首位字符起始的准确螺钉检测编号。比如通常如ID、CE等标识后则为有效的螺钉编号,即在进行字符区域分割和调整时,可以从标识字符位置进行分割,从而调整后的图像对应螺钉编号的正确字符顺序,也可以在识别字符时再确定标识字符位置作为起始点,调整识别出的字符串为螺钉编号的正确字符顺序。
可选的,在上述步骤106之后,该方法还包括:
输出上述螺帽圆形区域和上述螺钉检测编号。
本申请中螺钉图像处理方法可以用于对螺钉编号的快速识别检测,通过采集螺钉图像进行处理和字符识别,快速确定螺钉检测编号。在一种实施方式中,本申请实施例中的螺钉图像处理方法,可以应用于骨螺钉检测场景,可以准确、快速识别微小的骨螺钉编号,相比人工识别的效率以及准确性都有极大的提升。
本申请实施例中的螺钉图像处理方法还可以应用于螺钉编号核对场景。具体的,图5为本申请实施例提供的一种螺钉编号处理流程示意图,如图5所示,在前述图1实施例的基础上,获得螺钉检测编号之后,该方法还可以包括:
501、获取螺钉检测编号对应的目标螺钉位标识;
502、获取预设的螺钉位标识与螺钉预设编号的映射关系,根据上述映射关系确定上述目标螺钉位标识对应的螺钉预设编号;
503、比较上述螺钉检测编号与上述目标螺钉位标识对应的螺钉预设编号是否相同;
504、在上述螺钉检测编号与上述目标螺钉位标识对应的螺钉预设编号不相同的情况下,输出错误提示信息,上述错误提示信息用于指示上述目标螺钉位标识对应的螺钉摆放错误;
505、在上述螺钉检测编号与上述目标螺钉位标识对应的螺钉预设编号相同的情况下,确定上述目标螺钉位标识对应的螺钉摆放正确。
具体的,本申请实施例中可以预先设置上述螺钉位标识与螺钉预设编号的映射关系,可以为螺钉预设编号表的形式,在通过钉盒放置螺钉进行批量检测的场景,该映射关系指定了每个螺钉位所应该放置的螺钉(螺钉预设编号)。
钉盒中每个螺钉位具有唯一标识,比如标号,称为螺钉位标识。可以通过图像识别或者定位的方式,确定上述螺钉检测编号对应的目标螺钉位标识。再根据上述映射关系确定该目标螺钉位标识对应的螺钉预设编号,然后可以比较获得的螺钉检测编号与该目标螺钉位标识对应的螺钉预设编号是否相同,相同则表示该螺钉摆放正确,不相同则摆放错误。
在螺钉检测编号与目标螺钉位标识对应的螺钉预设编号不相同的情况下,可以输出错误提示信息,以提示该位置螺钉摆放错误。
本申请实施例中可以通过上述步骤识别钉盒中的各个螺钉是否摆放正确,即需要每个螺钉位放置对应的螺钉,以便规范管理,也便于准确取出所需要的螺钉使用。对于骨螺钉可以准确管理,避免错放错用导致手术时出错,降低医疗风险。
在一种实施方式中,可以参见图6所示的一种螺钉图像处理装置的局部结构示意图,如图6所示,该螺钉图像处理装置的检测模块包括摄像头610和激光测距仪620。其中,该激光测距仪620可以检测与骨螺钉钉盒(在检测过程中即为螺钉的螺帽)上表面的相对高度h,通过监控高度h控制对每个骨螺钉的检测高度(采集图像时的距离)一致,即而Z方向上的运动距离通过激光测距仪620来确定,具体的,当激光测距仪620测量到离钉盒为预设检测高度d的时候便停止Z方向上的运动,再通过摄像头610可以采集对应的螺钉图像,对骨螺钉进行识别,即可以执行图1所示实施例中的图像处理方法。
采用激光测距仪620,可以控制摄像头610定间隔拍摄螺钉图像,摄像头610无需自动调焦,可以采用定焦的摄像头,以节省调焦的时间,有效提高了摄像头610的识别效率,和整个检测流程的处理效率。
基于上述螺钉图像处理方法实施例的描述,本申请实施例还公开了一种螺钉图像处理装置,如图7所示,该螺钉图像处理装置700包括:
获取模块710,用于获取螺钉图像,提取所述螺钉图像中的螺帽圆形区域;
转换模块720,用于:确定所述螺帽圆形区域的圆心和半径,根据所述螺帽圆形区域的圆心和半径,将所述螺帽圆形区域进行极坐标展开处理,获得所述螺帽圆形区域对应的第一矩形图像;
划分模块730,用于:
提取所述第一矩形图像的字符区域,确定所述字符区域的分割位置,根据所述分割位置,将所述字符区域分割并重组,获得第二矩形图像;
字符识别模块740,用于对所述第二矩形图像进行字符识别,获得所述螺钉图像对应的螺钉检测编号。
其中,上述螺钉图像处理装置700可以执行如图1或图5所示实施例中方法的部分或全部步骤,此处不再赘述。
基于上述方法实施例以及装置实施例的描述,本申请实施例还提供一种电子设备。请参见图8,该电子设备800至少包括处理器801、输入设备802、输出设备803以及计算机存储介质804。其中,电子设备内的处理器801、输入设备802、输出设备803以及计算机存储介质804可通过总线或其他方式连接。
计算机存储介质804可以存储在电子设备的存储器中,上述计算机存储介质804用于存储计算机程序,上述计算机程序包括程序指令,上述处理器801用于执行上述计算机存储介质804存储的程序指令。处理器801(或称CPU(Central Processing Unit,中央处理器))是电子设备的计算核心以及控制核心,其适于实现一条或多条指令,具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能;在一个实施例中,本申请实施例上述的处理器801可以用于进行一系列的处理,包括如图1或图5所示实施例中方法的任意步骤等等。
本申请实施例还提供了一种计算机存储介质(Memory),上述计算机存储介质是电子设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机存储介质既可以包括电子设备中的内置存储介质,当然也可以包括电子设备所支持的扩展存储介质。计算机存储介质提供存储空间,该存储空间存储了电子设备的操作系统。并且,在该存储空间中还存放了适于被处理器801加载并执行的一条或多条的指令,这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是,此处的计算机存储介质可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器;可选的还可以是至少一个位于远离前述处理器的计算机存储介质。
在一个实施例中,可由处理器801加载并执行计算机存储介质中存放的一条或多条指令,以实现上述实施例中的相应步骤;具体实现中,计算机存储介质中的一条或多条指令可以由处理器801加载并执行图1或图5中方法的任意步骤,此处不再赘述。
需要说明的是,上述螺钉图像处理方法、装置、电子设备和存储介质属于一个总的发明构思,螺钉图像处理方法、装置、电子设备和存储介质实施例中的内容可相互适用。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,该模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如,多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中,或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read-onlymemory,ROM),或随机存储存储器(random access memory,RAM),或磁性介质,例如,软盘、硬盘、磁带、磁碟、或光介质,例如,数字通用光盘(digital versatile disc,DVD)、或者半导体介质,例如,固态硬盘(solid state disk,SSD)等。
Claims (10)
1.一种螺钉图像处理方法,其特征在于,包括:
获取螺钉图像,提取所述螺钉图像中的螺帽圆形区域;
确定所述螺帽圆形区域的圆心和半径;
根据所述螺帽圆形区域的圆心和半径,将所述螺帽圆形区域进行极坐标展开处理,获得所述螺帽圆形区域对应的第一矩形图像;
提取所述第一矩形图像的字符区域,确定所述字符区域的分割位置;
根据所述分割位置,将所述字符区域分割并重组,获得第二矩形图像;
对所述第二矩形图像进行字符识别,获得所述螺钉图像对应的螺钉检测编号。
2.根据权利要求1所述的螺钉图像处理方法,其特征在于,所述提取所述第一矩形图像的字符区域,包括:
识别出所述第一矩形图像中的分界直线,所述分界直线用于划分所述矩形图像中的所述字符区域和无字符区域;
根据所述分界直线,提取所述第一矩形图像的字符区域。
3.根据权利要求2所述的螺钉图像处理方法,其特征在于,所述确定所述字符区域的分割位置,包括:
对所述字符区域进行膨胀与腐蚀操作,确定出所述字符区域中的字符块区域;
根据所述字符块区域的位置确定分割位置,所述分割位置不经过所述字符块区域;
所述根据所述分割位置,将所述字符区域分割并重组,获得第二矩形图像,包括:
根据所述分割位置,将所述字符区域分割为两个子矩形,并将所述两个子矩形交换排列顺序进行拼接,获得所述第二矩形图像。
4.根据权利要求1-3任一项所述的螺钉图像处理方法,其特征在于,所述获得所述螺钉图像对应的螺钉检测编号之后,所述方法还包括:
输出所述螺帽圆形区域和所述螺钉检测编号。
5.根据权利要求1-3任一项所述的螺钉图像处理方法,其特征在于,所述方法包括:
获取所述螺钉检测编号对应的目标螺钉位标识;
获取预设的螺钉位标识与螺钉预设编号的映射关系,根据所述映射关系确定所述目标螺钉位标识对应的螺钉预设编号;
比较所述螺钉检测编号与所述目标螺钉位标识对应的螺钉预设编号是否相同;
在所述螺钉检测编号与所述目标螺钉位标识对应的螺钉预设编号不相同的情况下,输出错误提示信息,所述错误提示信息用于指示所述目标螺钉位标识对应的螺钉摆放错误;
在所述螺钉检测编号与所述目标螺钉位标识对应的螺钉预设编号相同的情况下,确定所述目标螺钉位标识对应的螺钉摆放正确。
6.根据权利要求1所述的螺钉图像处理方法,其特征在于,所述对所述第二矩形图像进行字符识别,获得所述螺钉图像对应的螺钉检测编号,包括:
对所述第二矩形图像进行字符识别,获得第一字符序列;
识别所述第一字符序列中的预设标识字符;
根据所述预设标识字符的位置对所述第一字符序列中的字符顺序进行调整,删除所述预设标识字符,获得所述螺钉图像对应的螺钉检测编号。
7.根据权利要求1所述的螺钉图像处理方法,其特征在于,所述方法应用于螺钉图像处理装置,所述装置包括检测模块,所述检测模块包括螺钉摄像头;
所述获取螺钉图像,包括:
获取识别路径,根据所述识别路径控制所述检测模块按照所述识别路径运动,在每个放置有螺钉的螺钉位,通过所述螺钉摄像头采集获得所述螺钉图像。
8.一种螺钉图像处理装置,其特征在于,包括:
获取模块,用于获取螺钉图像,提取所述螺钉图像中的螺帽圆形区域;
转换模块,用于:确定所述螺帽圆形区域的圆心和半径,根据所述螺帽圆形区域的圆心和半径,将所述螺帽圆形区域进行极坐标展开处理,获得所述螺帽圆形区域对应的第一矩形图像;
划分模块,用于:
提取所述第一矩形图像的字符区域,确定所述字符区域的分割位置,根据所述分割位置,将所述字符区域分割并重组,获得第二矩形图像;
字符识别模块,用于对所述第二矩形图像进行字符识别,获得所述螺钉图像对应的螺钉检测编号。
9.一种电子设备,其特征在于,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述的螺钉图像处理方法的步骤。
10.一种计算机可读存储介质,其特征在于,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述的螺钉图像处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110694209.2A CN113486891A (zh) | 2021-06-22 | 2021-06-22 | 螺钉图像处理方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110694209.2A CN113486891A (zh) | 2021-06-22 | 2021-06-22 | 螺钉图像处理方法、装置、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113486891A true CN113486891A (zh) | 2021-10-08 |
Family
ID=77935842
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110694209.2A Pending CN113486891A (zh) | 2021-06-22 | 2021-06-22 | 螺钉图像处理方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113486891A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114363498A (zh) * | 2022-03-16 | 2022-04-15 | 深圳市威图科视科技有限公司 | 一种应用于工业视觉检测的摄影装置 |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04113487A (ja) * | 1990-09-04 | 1992-04-14 | Nec Corp | 文字認識装置 |
WO2002052486A2 (fr) * | 2000-12-22 | 2002-07-04 | Jacques Rivaillier | Procede de formatage de messages |
US20110188754A1 (en) * | 2008-04-22 | 2011-08-04 | Tubitak-Turkiye Bilimsel Ve Teknolojik Arastirma Kurumu | Method for Automatic Region Segmentation on Cartridge Case Base and Selection of the Best Mark Region for Cartridge Case Comparison |
CN102663386A (zh) * | 2012-03-27 | 2012-09-12 | 江南大学 | 机械轴承环形分布压印字符的在线检测方法 |
JP2016102717A (ja) * | 2014-11-28 | 2016-06-02 | 東京技研工業株式会社 | ねじ類の検査方法 |
CN105783730A (zh) * | 2016-03-01 | 2016-07-20 | 珠海格力电器股份有限公司 | 螺钉的检测方法、装置、系统及检测机 |
CN107169491A (zh) * | 2017-05-19 | 2017-09-15 | 佛山市南海区广工大数控装备协同创新研究院 | 一种齿环模具编号检测方法 |
CN108304836A (zh) * | 2018-02-01 | 2018-07-20 | 上海海事大学 | 一种基于图像的图书排序检测方法 |
CN108985294A (zh) * | 2018-07-13 | 2018-12-11 | 广东工业大学 | 一种轮胎模具图片的定位方法、装置、设备及存储介质 |
CN109482515A (zh) * | 2018-11-22 | 2019-03-19 | 珠海格力智能装备有限公司 | 螺钉的分拣方法及装置、螺钉的分拣系统 |
CN109657666A (zh) * | 2018-11-23 | 2019-04-19 | 汉王科技股份有限公司 | 一种圆形印章识别方法及装置 |
CN110378886A (zh) * | 2019-07-22 | 2019-10-25 | 中国工商银行股份有限公司 | 图像比对方法、图像比对装置、电子设备和介质 |
CN110765992A (zh) * | 2019-09-23 | 2020-02-07 | 厦门大学 | 印章鉴别方法、介质、设备及装置 |
CN111259908A (zh) * | 2020-03-24 | 2020-06-09 | 中冶赛迪重庆信息技术有限公司 | 基于机器视觉的钢卷号识别方法、系统、设备及存储介质 |
CN111598831A (zh) * | 2020-03-26 | 2020-08-28 | 浙江科技学院 | 一种圆柱滚子轴承的检测方法及系统 |
CN112381081A (zh) * | 2020-11-16 | 2021-02-19 | 深圳壹账通智能科技有限公司 | 公章文字自动识别方法、装置、计算机设备及存储介质 |
CN112488095A (zh) * | 2020-12-18 | 2021-03-12 | 北京字节跳动网络技术有限公司 | 印章图像识别方法、装置和电子设备 |
-
2021
- 2021-06-22 CN CN202110694209.2A patent/CN113486891A/zh active Pending
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04113487A (ja) * | 1990-09-04 | 1992-04-14 | Nec Corp | 文字認識装置 |
WO2002052486A2 (fr) * | 2000-12-22 | 2002-07-04 | Jacques Rivaillier | Procede de formatage de messages |
US20110188754A1 (en) * | 2008-04-22 | 2011-08-04 | Tubitak-Turkiye Bilimsel Ve Teknolojik Arastirma Kurumu | Method for Automatic Region Segmentation on Cartridge Case Base and Selection of the Best Mark Region for Cartridge Case Comparison |
CN102663386A (zh) * | 2012-03-27 | 2012-09-12 | 江南大学 | 机械轴承环形分布压印字符的在线检测方法 |
JP2016102717A (ja) * | 2014-11-28 | 2016-06-02 | 東京技研工業株式会社 | ねじ類の検査方法 |
CN105783730A (zh) * | 2016-03-01 | 2016-07-20 | 珠海格力电器股份有限公司 | 螺钉的检测方法、装置、系统及检测机 |
CN107169491A (zh) * | 2017-05-19 | 2017-09-15 | 佛山市南海区广工大数控装备协同创新研究院 | 一种齿环模具编号检测方法 |
CN108304836A (zh) * | 2018-02-01 | 2018-07-20 | 上海海事大学 | 一种基于图像的图书排序检测方法 |
CN108985294A (zh) * | 2018-07-13 | 2018-12-11 | 广东工业大学 | 一种轮胎模具图片的定位方法、装置、设备及存储介质 |
CN109482515A (zh) * | 2018-11-22 | 2019-03-19 | 珠海格力智能装备有限公司 | 螺钉的分拣方法及装置、螺钉的分拣系统 |
CN109657666A (zh) * | 2018-11-23 | 2019-04-19 | 汉王科技股份有限公司 | 一种圆形印章识别方法及装置 |
CN110378886A (zh) * | 2019-07-22 | 2019-10-25 | 中国工商银行股份有限公司 | 图像比对方法、图像比对装置、电子设备和介质 |
CN110765992A (zh) * | 2019-09-23 | 2020-02-07 | 厦门大学 | 印章鉴别方法、介质、设备及装置 |
CN111259908A (zh) * | 2020-03-24 | 2020-06-09 | 中冶赛迪重庆信息技术有限公司 | 基于机器视觉的钢卷号识别方法、系统、设备及存储介质 |
CN111598831A (zh) * | 2020-03-26 | 2020-08-28 | 浙江科技学院 | 一种圆柱滚子轴承的检测方法及系统 |
CN112381081A (zh) * | 2020-11-16 | 2021-02-19 | 深圳壹账通智能科技有限公司 | 公章文字自动识别方法、装置、计算机设备及存储介质 |
CN112488095A (zh) * | 2020-12-18 | 2021-03-12 | 北京字节跳动网络技术有限公司 | 印章图像识别方法、装置和电子设备 |
Non-Patent Citations (4)
Title |
---|
LI, GP等: "The Method of Character Recognition Based on Projection Transformation Combined with LS-SVM", 《AUTOMATION EQUIPMENT AND SYSTEMS》, vol. 3, pages 3050 - 3055 * |
任永强;潘浩;李广涛;: "基于机器视觉的轴承字符识别技术的研究", 机床与液压, no. 05, pages 16 - 19 * |
陈甦欣等: "基于机器视觉的环状零件表面字符检测", 《组合机床与自动化加工技术》, no. 4, pages 131 - 134 * |
高保平;白瑞林;: "轴承压印字符自动识别算法的研究", 电视技术, no. 09, pages 148 - 151 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114363498A (zh) * | 2022-03-16 | 2022-04-15 | 深圳市威图科视科技有限公司 | 一种应用于工业视觉检测的摄影装置 |
CN114363498B (zh) * | 2022-03-16 | 2022-06-03 | 深圳市威图科视科技有限公司 | 一种应用于工业视觉检测的摄影装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108124487B (zh) | 云端抄表方法及装置 | |
US20190087647A1 (en) | Method and apparatus for facial recognition | |
CN107907775B (zh) | 接线检测方法及接线检测装置 | |
CN112464809A (zh) | 一种人脸关键点检测方法、装置、电子设备及存储介质 | |
CN109886127B (zh) | 指纹识别方法及终端设备 | |
CN113486739B (zh) | 螺钉检测方法、装置、电子设备和存储介质 | |
CN110826372B (zh) | 人脸特征点检测方法及装置 | |
CN111598913B (zh) | 一种基于机器人视觉的图像分割方法和系统 | |
CN111667474A (zh) | 骨折识别方法、装置、设备和计算机可读存储介质 | |
CN111803022A (zh) | 一种视力检测方法、检测装置、终端设备及可读存储介质 | |
CN108460346A (zh) | 指纹识别方法及装置 | |
CN112818821B (zh) | 基于可见光和红外光的人脸采集源检测方法和装置 | |
CN112613471B (zh) | 人脸活体检测方法、装置及计算机可读存储介质 | |
CN112036362A (zh) | 图像处理方法、装置、计算机设备和可读存储介质 | |
CN113486891A (zh) | 螺钉图像处理方法、装置、电子设备和存储介质 | |
CN113172636B (zh) | 一种自动手眼标定方法、装置及存储介质 | |
CN114202807A (zh) | 活体检测方法、装置、电子设备及存储介质 | |
CN109299652B (zh) | 一种用于图像定位的模型训练方法、图像定位方法及装置 | |
CN108665439B (zh) | 基板检测方法及终端设备 | |
CN112613415A (zh) | 脸部鼻型识别方法、装置、电子设备和介质 | |
CN112381799A (zh) | 一种导线断股确认方法、装置、电子设备和计算机可读存储介质 | |
CN112037202A (zh) | 体液标本质量检测方法、装置、运输装置、设备和介质 | |
JP7111694B2 (ja) | 点検支援装置、点検支援方法およびプログラム | |
CN110751158A (zh) | 一种治疗床显示器中的数字识别方法、装置及存储介质 | |
CN116128863B (zh) | 一种医学图像处理方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |