CN113486739B - 螺钉检测方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请公开了一种螺钉检测方法、装置、电子设备和存储介质。其中方法应用于包括检测模块的螺钉检测装置，检测模块包括螺钉摄像头，该方法包括：获取检测场景图像，其中包括预先设置的钉盒，钉盒包含多个螺钉位用于放置螺帽朝上的螺钉；识别检测场景图像，确定螺钉位的位置信息；根据螺钉位的位置信息，确定待识别路径；控制检测模块按照待识别路径运动，在每个放置有螺钉的螺钉位，通过螺钉摄像头采集螺钉图像；识别螺钉图像中的螺钉编号，获得螺钉编号序列；获取预设信息表，包括多个预设编号；将同一螺钉位标识所对应的螺钉编号和预设编号进行比对，确定螺钉位标识的螺钉是否摆放正确。

Description

螺钉检测方法、装置、电子设备和存储介质

技术领域

本发明涉及螺钉检测技术领域，尤其是涉及一种螺钉检测方法、装置、电子设备和存储介质。

背景技术

螺钉作为一种固定零件在许多场合应用，但由于螺钉种类多、体积小，不便保管，一些螺钉上的编号难以看清，使用时也不便准确区别出特定型号的螺钉。

尤其，随着医疗技术的发展，骨螺钉作为骨科手术不可或缺的手术器具使用量日益增多。但是骨螺钉的管理却一直是一个难题，主要体现在以下方面：

骨螺钉数量众多，单一场手术使用的螺钉数量就达到200颗以上；

骨螺钉的直径很小通常在1～5mm左右，因此要识别螺钉的型号通常无法肉眼看到，通常使用放大镜一颗颗看。

可见骨螺钉管理复杂耗时，如果使用不当还可能影响病人的身体健康。

发明内容

基于此，有必要针对上述问题，提出了一种螺钉检测方法、装置、电子设备和存储介质。

第一方面，提供了一种螺钉检测方法，应用于螺钉检测装置，所述装置包括检测模块，所述检测模块包括螺钉摄像头，所述方法包括：

获取检测场景图像，所述检测场景图像中包括预先设置的钉盒，所述钉盒包含多个螺钉位，所述螺钉位用于放置螺帽朝上的螺钉；

识别所述检测场景图像，确定所述螺钉位的位置信息；

根据所述螺钉位的位置信息，确定待识别路径，所述待识别路径上包括所述多个螺钉位；

控制所述检测模块按照所述待识别路径运动，在每个放置有螺钉的螺钉位，通过所述螺钉摄像头采集螺钉图像；

识别所述螺钉图像中的螺钉编号，获得螺钉编号序列，所述螺钉编号序列中的螺钉编号与螺钉位标识具有对应关系；

获取预设信息表，所述预设信息表中包括多个预设编号，所述预设编号与所述螺钉位标识具有对应关系；

将同一螺钉位标识所对应的螺钉编号和预设编号进行比对，确定所述螺钉位标识的螺钉是否摆放正确。

第二方面，提供了一种螺钉检测装置，包括检测模块，所述检测模块包括螺钉摄像头；所述装置还包括：

获取模块，用于获取检测场景图像，所述检测场景图像中包括预先设置的钉盒，所述钉盒包含多个螺钉位，所述螺钉位用于放置螺帽朝上的螺钉；

第一识别模块，用于识别所述检测场景图像，确定所述螺钉位的位置信息；

规划模块，用于根据所述螺钉位的位置信息，确定待识别路径，所述待识别路径上包括所述多个螺钉位；

控制检测模块，用于控制所述检测模块按照所述待识别路径运动，在每个放置有螺钉的螺钉位，通过所述螺钉摄像头采集螺钉图像；

第二识别模块，用于识别所述螺钉图像中的螺钉编号，获得螺钉编号序列，所述螺钉编号序列中的螺钉编号与螺钉位标识具有对应关系；

所述获取模块还用于，获取预设信息表，所述预设信息表中包括多个预设编号，所述预设编号与所述螺钉位标识具有对应关系；

处理模块，用于将同一螺钉位标识所对应的螺钉编号和预设编号进行比对，确定所述螺钉位标识的螺钉是否摆放正确。

第三方面，提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如第一方面及其任一种可能的实现方式的步骤。

第四方面，提供了一种计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行如上述第一方面及其任一种可能的实现方式的步骤。

本申请通过获取检测场景图像，所述检测场景图像中包括预先设置的钉盒，所述钉盒包含多个螺钉位，所述螺钉位用于放置螺帽朝上的螺钉；识别所述检测场景图像，确定所述螺钉位的位置信息；根据所述螺钉位的位置信息，确定待识别路径，所述待识别路径上包括所述多个螺钉位；控制所述检测模块按照所述待识别路径运动，在每个放置有螺钉的螺钉位，通过所述螺钉摄像头采集螺钉图像；识别所述螺钉图像中的螺钉编号，获得螺钉编号序列，所述螺钉编号序列中的螺钉编号与螺钉位标识具有对应关系；获取预设信息表，所述预设信息表中包括多个预设编号，所述预设编号与所述螺钉位标识具有对应关系；将同一螺钉位标识所对应的螺钉编号和预设编号进行比对，确定所述螺钉位标识的螺钉是否摆放正确。本申请可以通过检测模块搭配螺钉摄像头，运用图像处理等技术可以实现对每颗螺钉的编号识别以及管理，确定钉盒中的各个螺钉是否摆放正确，不需要人工耗时确认螺钉编号，就能够准确快速地识别螺钉编号并监控螺钉规范存放。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

其中：

图1为本申请实施例提供的一种螺钉检测方法的流程示意图；

图2为本申请实施例提供的一种钉盒的俯视示意图；

图3为本申请实施例提供的一种路径构建示意图；

图4为本申请实施例提供的一种螺钉检测装置的局部结构示意图；

图5为本申请实施例提供的另一种螺钉检测方法的流程示意图；

图6为本申请实施例提供的一种螺钉图像示意图；

图7A为本申请实施例提供的一种极坐标展开的矩形图像示意图；

图7B为本申请实施例提供的一种字符区域的分割示意图；

图8为本申请实施例提供的一种螺钉检测装置的结构示意图；

图9为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例中涉及到的神经网络(Neural Networks，NN)是由大量的、简单的处理单元(称为神经元)广泛地互相连接而形成的复杂网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学习系统。神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学能力，特别适合处理需要同时考虑许多因素和条件的、不精确和模糊的信息处理问题。

卷积神经网络(Convolutional Neural Networks，CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(FeedforwardNeuralNetworks)，是深度学习(deep learning)的代表算法之一。

下面结合本申请实施例中的附图对本申请实施例进行描述。

请参阅图1，图1是本申请实施例提供的一种螺钉检测方法的流程示意图。该方法可以应用于一种螺钉检测装置，该装置包括检测模块，检测模块包括螺钉摄像头。该方法可包括：

101、获取检测场景图像，上述检测场景图像中包括预先设置的钉盒，上述钉盒包含多个螺钉位，上述螺钉位用于放置螺帽朝上的螺钉。

本申请实施例中的螺钉检测装置，可以为一种电子设备，具体实现中，上述螺钉检测装置可以包括检测台和检测模块，检测台可以放置待检测的物品，本申请实施例中可放置钉盒，钉盒可设置多个放置螺钉的螺钉位，该检测模块设置有用于采集螺钉图像的摄像头，此处称为螺钉摄像头。螺钉的螺帽朝上放入钉盒的螺钉位，便于检测模块从上方对螺钉进行图像采集和识别检测。

本申请实施例中的螺钉可以为任意螺钉，尤其可以为骨螺钉。骨螺钉是用于骨折部位固定的内固定器件。骨螺钉的直径很小，因此要识别螺钉的型号通常无法肉眼看到。

上述检测场景图像可以通过场景摄像头采集，该场景摄像头可以与检测模块的螺钉摄像头不同，可以固定在检测台上方，以获取全局图像。可以理解为，首先通过场景摄像头采集检测场景图像，初步确认待检测的螺钉位，再通过移动检测模块，利用螺钉摄像头采集特写的螺钉图像来对识别螺钉。

可选的，场景摄像头可以运用超清广角摄像头。运用广角摄像头拍摄的图片不会有图像畸变，方便后续螺钉坐标位置准确的提取。为了防止影子对后续图像识别的影响，还可以采用暗箱把整个装置罩住，并且在暗箱内部的四面都布置上光带(如LED光带)，从而在螺钉识别过程中就不会存在影子，避免了外界因素的影响，提高检测准确度。

102、识别上述检测场景图像，确定上述螺钉位的位置信息。

螺钉检测装置可以对检测场景图像进行处理，识别其中钉盒的各个螺钉位，具体可以确定螺钉位的中心坐标，进而便于确定检测模块的移动路径。

可选的，钉盒的螺钉位可以为圆形孔，便于稳定放置螺钉。

举例来讲，可以参见图2所示的一种钉盒的俯视示意图，如图2所示，钉盒a为长方体，钉盒a包括矩阵排列的多个圆形孔，b为其中一个圆形孔，即是用于放置螺钉的螺钉位。本申请实施例对钉盒的样式类型和螺钉位的具体大小、数量、排列等不做限制。

在一种可选的实施方式中，在上述确定上述螺钉位的位置信息之前，上述方法还包括：

确定上述检测场景图像中的螺钉检测数目；

将上述螺钉检测数目与上述预设信息表中的螺钉数目进行比对，上述预设信息表中的螺钉数目等于上述螺钉位的数量；

若上述螺钉检测数目与上述预设信息表中的螺钉数目不一致，则确定螺钉数量有误，停止检测；

若上述螺钉检测数目与上述预设信息表中的螺钉数目一致，触发上述确定上述螺钉位的位置信息。

具体的，本申请中可以通过螺钉检测装置识别各个螺钉是否摆放正确，即需要每个螺钉位放置对应的螺钉，以便规范管理，也便于准确取出所需要的螺钉使用。

在螺钉装盒出厂等情况下，钉盒需要放满螺钉，且按要求在螺钉位摆放对应的螺钉，摆放要求可以通过预设信息表实现。即可以预先设置预设信息表，信息表中可以包含预先设定的钉盒每个螺钉位的螺钉编号，同样也可以确定出相应的螺钉数目(要求每个螺钉位放满螺钉时，该螺钉数目也等于螺钉位的数量)。因此在批量检测时，可以先识别出当前钉盒中的螺钉数量，即上述螺钉检测数目，再将螺钉检测数目与预设信息表中的螺钉数目进行比对，若螺钉检测数目与预设信息表中的螺钉数目不一致，则确定螺钉数量有误，可以停止检测，并输出提示信息。若螺钉检测数目与预设信息表中的螺钉数目一致，则可以继续处理，执行上述确定螺钉位的位置信息的步骤，在此情况下可以确定每个螺钉位的位置信息。

103、根据上述螺钉位的位置信息，确定待识别路径，上述待识别路径上包括上述多个螺钉位。

由于获取的螺钉位的位置信息杂乱无章，因此这里需要对螺钉位的位置信息进行排序，这样可以减少检测模块运行的时长。

在一种实施方式中，上述步骤102可包括：

021、确定上述检测场景图像中每个螺钉位的中心位置坐标；

上述步骤103可包括：

031、基于上述每个螺钉位的中心位置坐标，在上述多个螺钉位中确定一个起点螺钉位和一个终点螺钉位，并且以上述起点螺钉位为起点、以上述终点螺钉位为终点，构建上述待识别路径，上述识别路径上包括上述每个螺钉位的中心位置坐标。

具体的，可以通过图像处理方法识别检测场景图像中螺钉位，确定每个螺钉位的中心位置坐标。如图2所示，本申请实施例中的螺钉位即使放置了螺钉，从上方可见依然为圆形，可以通过预先训练的图像检测模型，通过边缘检测，检测出图像中的各个螺钉位区域，并确定每个螺钉位的中心位置坐标。本申请实施例对所使用的具体图像检测模型类型不做限制。

本申请实施例中涉及边缘检测，是从不同视觉对象中提取有用的结构信息并大大减少要处理的数据量的一种技术，目前已广泛应用于各种计算机视觉系统。

进一步地，可以对识别得出的各个螺钉位中心坐标进行排序，达到一个最短路径。

具体的，通过给定的中心位置坐标数据，可以通过坐标值比较确定出起点螺钉位和终点螺钉位。可以理解为，图像是由一个个像素点组成的，图像转化成数学形式就是一个矩阵，该矩阵里面的像素点位置包括列的位置(用i表示)和行的位置(用j表示)，可以表示为(i，j)。即上述获得的螺钉位的中心位置坐标实际上就是螺钉位中心像素点在矩阵中的位置坐标(i，j)。在一种实施方式中可以通过以下步骤确定待识别路径：

(1)求出第一坐标值(i min，j min)和第二坐标值(i max，j max)，将此处的两点分别作为起点和终点；

(2)根据以上两点的坐标可以求出螺钉位矩阵所构成矩形的长和宽，再根据矩形长方向上螺钉位的间距和宽方向上螺钉位的间距，便可以构建出所有螺钉位的中心位置坐标(对应检测模块的检测点)；

(3)从起点开始出发构建待识别路径，可以如图3所示，当遍历完一行的检测点就往下移动一行，再遍历这一行，最终以一个S型的顺序保存所有的坐标信息，确定待识别路径。

可选的，也可以不用计算所有螺钉位的中心位置坐标，而是根据螺钉位的间距，控制检测模块的移动，本申请实施例对此不做限制。另外，对待识别路径也不一定为S型，可以根据需要进行设置，此处不做限制。

104、控制上述检测模块按照上述待识别路径运动，在每个放置有螺钉的螺钉位，通过上述螺钉摄像头采集螺钉图像。

可以根据生成的待识别路径控制检测模块运动，检测模块可根据待识别路径中的坐标运动，每到一个检测点位置进行一次图像采集，获得相应的螺钉图像。

在一种实施方式中，可以在上述每个放置有螺钉的螺钉位，控制上述检测模块移动到预设检测高度的情况下，通过上述螺钉摄像头采集上述螺钉图像。

可以参见图4所示的一种螺钉检测装置的局部结构示意图，如图4所示，该螺钉检测装置的检测模块包括摄像头410和激光测距仪420。其中，该激光测距仪420可以检测与骨螺钉钉盒(在检测过程中即为螺钉的螺帽)上表面的相对高度h，通过监控高度h控制对每个骨螺钉的检测高度(采集图像时的距离)一致，即而Z方向上的运动距离通过激光测距仪420来确定，具体的，当激光测距仪420测量到离钉盒为预设检测高度d的时候便停止Z方向上的运动，再通过摄像头410可以采集对应的螺钉图像，对骨螺钉进行识别。

采用激光测距仪420，可以控制摄像头410定间隔拍摄螺钉图像，摄像头410无需自动调焦，可以采用定焦的摄像头，以节省调焦的时间，有效提高了摄像头410的识别效率，和整个检测流程的处理效率。

105、识别上述螺钉图像中的螺钉编号，获得螺钉编号序列，上述螺钉编号序列中的螺钉编号与螺钉位标识具有对应关系。

具体的，对于每次采集到的螺钉图像，可以进行图像处理识别图像中的字符，确定螺钉编号。其中在每个螺钉位采集的图像所识别出的螺钉编号，与该螺钉位标识对应存储。本申请实施例中可以采用各种图像预处理、图像分割、像素点坐标变换和字符识别算法进行处理，识别螺钉图像中字符，此处不做限制。

106、获取预设信息表，上述预设信息表中包括多个预设编号，上述预设编号与上述螺钉位标识具有对应关系。

本申请实施例中可以根据需要存入预设信息表，该预设信息表可以包含预先设定的钉盒每个螺钉位的螺钉编号(上述预设编号)，还包含每个螺钉位标识与预设编号的对应关系，指定了每个螺钉位要放置哪一个螺钉。此处需要检测螺钉是否按照预设信息表正确放置在钉盒中。

107、将同一螺钉位标识所对应的螺钉编号和预设编号进行比对，确定上述螺钉位标识的螺钉是否摆放正确。

具体的，可以将同一螺钉位标识所对应的螺钉编号和预设信息表中的预设编号进行比对，若该螺钉位所检测到的螺钉编号与预设编号不一致，则确定该螺钉位的螺钉摆放正确，若该螺钉位所检测到的螺钉编号与预设编号不一致，则确定该螺钉位的螺钉摆放错误，可以输出检测结果。在存在螺钉摆放错误的情况下，可以输出提示信息，展示摆放错误的螺钉位标识、该位置检测到的螺钉编号和应该放置的预设编号，提示用户进行修正，摆放正确的螺钉。

本申请还提供一种螺钉识别的方法，可以识别钉盒中摆放的所有螺钉的编号。图5是本申请实施例提供的另一种螺钉检测方法的流程示意图，该方法在图1所示实施例的基础上进行进一步描述。

具体的，在上述步骤102之后，可以识别出所有的螺钉位的位置(此时各个螺钉位可能为空也可能放置有螺钉)，进一步地，如图5所示，该方法还包括：

501、判断各个螺钉位是否放置有螺钉，获取放置有螺钉的螺钉位的位置信息作为螺钉位置信息。

502、根据上述螺钉位置信息，确定待识别路径，上述待识别路径上包括上述放置有螺钉的螺钉位。

503、控制上述检测模块按照上述待识别路径运动，在每个上述放置有螺钉的螺钉位，通过上述螺钉摄像头采集螺钉图像。

504、识别上述螺钉图像中的螺钉编号，获得螺钉编号序列，上述螺钉编号序列中的螺钉编号与螺钉位标识具有对应关系。

505、输出上述螺钉编号序列。

具体的，识别检测场景图像，确定螺钉位的位置信息之后，还可以通过对螺钉位区域的图像识别，判断各个螺钉位是否放置有螺钉，仅获取放置有螺钉的螺钉位的位置信息(螺钉位置信息)，再根据有螺钉的螺钉位的位置信息，确定待识别路径，不在空螺钉位进行停留检测，可以减少整体检测时长。

在一种可选的实施方式中，在识别出钉盒所有螺钉位的位置之后，与前述方法类似地，可以把钉盒的所有螺钉位的位置信息按预设的顺序(比如S型)遍历，获得一个位置信息的序列表，与图1中的方法相比，该序列表还多了对是否放置螺钉的标注，比如有螺钉是1，没螺钉是0；把标注为0的位置信息剔除就可以得到按预设的顺序排队的有放置螺钉的序列表，即确定了待识别路径，然后再控制上述检测模块按照该待识别路径运动，在每个放置有螺钉的螺钉位采集螺钉图像，识别对应的螺钉编号。

在完成全部螺钉检测之后可以输出上述螺钉编号序列，或者每检测一个螺钉则输出一个螺钉编号和对应的螺钉位标识，以及可以展示相应的螺钉图像，可以根据需要选择不同的展示形式，此处不做限制。

在一种可选的实施方式中，上述识别上述螺钉图像中的螺钉编号，包括：

41、提取目标螺钉图像中的螺帽圆形区域，上述目标螺钉图像为上述螺钉图像中的任一个；

42、将上述螺帽圆形区域进行极坐标展开处理，获得上述螺帽圆形区域对应的矩形图像；

43、识别上述螺帽圆形区域对应的矩形图像中的字符，获得上述目标螺钉图像对应的上述螺钉编号。

极坐标系(polar coordinates)是指在平面内由极点、极轴和极径组成的坐标系。在平面上取定一点O，称为极点。从O出发引一条射线Ox，称为极轴。再取定一个单位长度，通常规定角度取逆时针方向为正。这样，平面上任一点P的位置就可以用线段OP的长度ρ以及从Ox到OP的角度θ来确定，有序数对(ρ，θ)就称为P点的极坐标，记为P(ρ，θ)；ρ称为P点的极径，θ称为P点的极角。

具体的，图6为本申请提供的一种螺钉图像示意图，如图6所示，螺钉图像中包括螺帽圆形区域A和背景区域B，其中螺帽圆形区域A有螺钉编号。可以预先训练用于识别螺帽圆形区域的网络模型，从而通过训练后的模型可以识别螺钉图像中的螺帽圆形区域。

上述螺帽圆形区域A为圆形，可将螺帽圆形区域A的圆心作为极点，进行极坐标展开为直线形式，获得对应的矩形图像。

对矩形图像中的字符进行识别，可以获得对应的螺钉编号。本申请实施例中对具体的字符识别算法不做限制，例如可以采用开源的tesseract算法进行符号识别。

可选的，上述步骤43具体包括：

通过霍夫变换识别出上述矩形图像中的分界直线，上述分界直线用于划分上述矩形图像中的上述字符区域和无字符区域；

根据上述分界直线，提取上述字符区域，确定上述字符区域的分割位置；

根据上述分割位置，将上述字符区域分割并重组，再对重组获得的矩形图像进行字符识别，获得上述螺钉图像对应的螺钉编号。

本申请实施例中提到的霍夫变换是一种特征检测(feature extraction)，被广泛应用在图像分析(image analysis)、计算机视觉(computer vision)以及数位影像处理(digital image processing)。霍夫变换是用来辨别找出物件中的特征，例如：线条。本申请实施例中可以利用霍夫变换识别极坐标展开后的矩形图像，初步划分字符区域和无字符区域。如图7A所示，为一种极坐标展开后获得的矩形图像示意图，包括字符区域C和无字符区域D，字符区域C即为标注有螺钉编号的区域，无字符区域D可以包括螺钉的各类纹路，此处未画出。通常螺钉的螺帽外圈印或刻有螺钉编号对应字符区域，内圈为螺钉槽，比如通常槽型为一字或十字槽，也可以是无槽，对应无字符区域。通过霍夫变换则可以识别确定矩形图像中的分界直线L，从而划分开螺帽中的字符区域C和无字符区域D。

进一步地，提取上述字符区域，为了正确识别字符，需要进行图像调整(展开后的矩形图像中的首个字符不一定是螺钉编号的第一位，也可能展开时有字符被分割，不完整)。首先需要确定字符区域的分割位置，该分割位置无字符；再根据该分割位置将字符区域分割并重组，以调整字符顺序，使得所有的字符信息都得以保留完整，便于后续识别。

本申请实施例中可以通过膨胀与腐蚀操作，选出字符区域中的字符块区域。本申请实施例中涉及到的膨胀可以理解为，通过将像素添加到该图像中的对象的感知边界，扩张放大图像中的明亮白色区域；腐蚀则相反：它沿着物体边界移除像素并缩小物体的大小。通过对获得的字符区域的膨胀与腐蚀操作，将连续字符的区域连通成一块，即选出字符区域中的字符块区域，其余位置均不包含字符，可以作为确定分割位置的依据。可以从不包含字符的区域确定分割位置，比如一块不包含字符区域的中线作为一条分割线，进行分割，再将分割出的一块子图像接到另一块子图像的另一端，完成调整。

例如，可以参见图7B所示的一种字符区域的分割示意图，如图7B中展示的图像即可以为图7A中的字符区域C，此处未表示出字符。可以通过上述方法确定字符区域的分割位置，具体可以确定出该字符区域C中的分割线M(此处无字符)，将其划分为C1、C2两个区域，再将两个区域重新拼接，即C1的左端与C2的右端拼接到一起，可以获得重组矩形图像，即调整后的字符区域，该方式可以解决在极坐标展开时C1左端和C2右端的字符在被分开时不完整的问题。

可选的，还可以在字符识别之前增强图像对比度，提高识别准确性。

最后对重组获得的矩形图像进行字符识别，获得正确的螺钉编号。

在一种可选的实施方式中，进行字符识别时对于无用的符号可以剔除。可以预先设置需要剔除的字符，比如安全认证标志CE等，在识别出全部字符之后可以按要求剔除字符再输出螺钉编号。由于极坐标展开时分开的位置不确定，展开并调整后的获得的待识别字符区域图像中，字符顺序可能不是正确的编号顺序，为了解决该问题，可以根据需要设置编号识别规则，以确定识别出的字符串的首位，再进行调整，得到以该首位字符起始的准确螺钉编号。比如通常如ID、CE等标识后则为螺钉编号，即在进行字符区域分割和调整时，可以从标识字符位置进行分割，从而调整后的图像对应螺钉编号的正确字符顺序，也可以在识别字符时再确定标识字符位置作为起始点，调整识别出的字符串为螺钉编号的正确字符顺序。

本申请实施例中的螺钉检测方法，可以应用于骨螺钉检测场景，可以准确、快速识别微小的骨螺钉编号，以及核对骨螺钉摆放位置是否正确，使对骨螺钉的管理和使用更加便捷规范，不易出错。经试验，本申请中的方法每颗螺钉识别时间很短，并且随着主机性能的提升，以及机械结构稳定性的提升，识别时间结果还可以不断地缩短。相比人工识别的效率以及准确性都有极大的提升。

基于上述螺钉检测方法实施例的描述，本申请实施例还公开了一种螺钉检测装置，如图8所示，该螺钉检测装置800包括检测模块810，所述检测模块810包括螺钉摄像头811，该螺钉检测装置800还包括：

获取模块820，用于获取检测场景图像，所述检测场景图像中包括预先设置的钉盒，所述钉盒包含多个螺钉位，所述螺钉位用于放置螺帽朝上的螺钉；

第一识别模块830，用于识别所述检测场景图像，确定所述螺钉位的位置信息；

规划模块840，用于根据所述螺钉位的位置信息，确定待识别路径，所述待识别路径上包括所述多个螺钉位；

控制检测模块850，用于控制所述检测模块按照所述待识别路径运动，在每个放置有螺钉的螺钉位，通过所述螺钉摄像头采集螺钉图像；

第二识别模块860，用于识别所述螺钉图像中的螺钉编号，获得螺钉编号序列，所述螺钉编号序列中的螺钉编号与螺钉位标识具有对应关系；

所述获取模块820还用于，获取预设信息表，所述预设信息表中包括多个预设编号，所述预设编号与所述螺钉位标识具有对应关系；

处理模块870，用于将同一螺钉位标识所对应的螺钉编号和预设编号进行比对，确定所述螺钉位标识的螺钉是否摆放正确。

其中，上述螺钉检测装置800可以执行如图1或图5所示实施例中方法的部分或全部步骤，此处不再赘述。

基于上述方法实施例以及装置实施例的描述，本申请实施例还提供一种电子设备。请参见图9，该电子设备900至少包括处理器901、输入设备902、输出设备903以及计算机存储介质904。其中，电子设备内的处理器901、输入设备902、输出设备903以及计算机存储介质904可通过总线或其他方式连接。

计算机存储介质904可以存储在电子设备的存储器中，上述计算机存储介质904用于存储计算机程序，上述计算机程序包括程序指令，上述处理器901用于执行上述计算机存储介质904存储的程序指令。处理器901(或称CPU(Central Processing Unit，中央处理器))是电子设备的计算核心以及控制核心，其适于实现一条或多条指令，具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能；在一个实施例中，本申请实施例上述的处理器901可以用于进行一系列的处理，包括如图1或图5所示实施例中方法的任意步骤等等。

本申请实施例还提供了一种计算机存储介质(Memory)，上述计算机存储介质是电子设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括电子设备中的内置存储介质，当然也可以包括电子设备所支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了电子设备的操作系统。并且，在该存储空间中还存放了适于被处理器901加载并执行的一条或多条的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的计算机存储介质。

在一个实施例中，可由处理器901加载并执行计算机存储介质中存放的一条或多条指令，以实现上述实施例中的相应步骤；具体实现中，计算机存储介质中的一条或多条指令可以由处理器901加载并执行图1或图5中方法的任意步骤，此处不再赘述。

需要说明的是，上述螺钉检测方法、装置、电子设备和存储介质属于一个总的发明构思，螺钉检测方法、装置、电子设备和存储介质实施例中的内容可相互适用。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，该模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read-onlymemory，ROM)，或随机存储存储器(random access memory，RAM)，或磁性介质，例如，软盘、硬盘、磁带、磁碟、或光介质，例如，数字通用光盘(digital versatile disc，DVD)、或者半导体介质，例如，固态硬盘(solid state disk，SSD)等。

Claims (10)

1.一种螺钉检测方法，应用于螺钉检测装置，其特征在于，所述装置包括检测模块，所述检测模块包括螺钉摄像头，所述方法包括：

获取检测场景图像，所述检测场景图像中包括预先设置的钉盒，所述钉盒包含多个螺钉位，所述螺钉位用于放置螺帽朝上的螺钉；

识别所述检测场景图像，确定所述螺钉位的位置信息；

根据所述螺钉位的位置信息，确定待识别路径，所述待识别路径上包括所述多个螺钉位；

控制所述检测模块按照所述待识别路径运动，在每个放置有螺钉的螺钉位，通过所述螺钉摄像头采集螺钉图像；

识别所述螺钉图像中的螺钉编号，获得螺钉编号序列，所述螺钉编号序列中的螺钉编号与螺钉位标识具有对应关系；

获取预设信息表，所述预设信息表中包括多个预设编号，所述预设编号与所述螺钉位标识具有对应关系；

将同一螺钉位标识所对应的螺钉编号和预设编号进行比对，确定所述螺钉位标识的螺钉是否摆放正确。

2.根据权利要求1所述的螺钉检测方法，其特征在于，所述确定所述螺钉位的位置信息之前，所述方法还包括：

确定所述检测场景图像中的螺钉检测数目；

将所述螺钉检测数目与所述预设信息表中的螺钉数目进行比对，所述预设信息表中的螺钉数目等于所述螺钉位的数量；

若所述螺钉检测数目与所述预设信息表中的螺钉数目不一致，则确定螺钉数量有误，停止检测；

若所述螺钉检测数目与所述预设信息表中的螺钉数目一致，触发所述确定所述螺钉位的位置信息。

3.根据权利要求2所述的螺钉检测方法，其特征在于，所述识别所述检测场景图像，确定所述螺钉位的位置信息，包括：

确定所述检测场景图像中每个所述螺钉位的中心位置坐标；

所述根据所述螺钉位的位置信息，确定待识别路径，包括：

基于所述每个螺钉位的中心位置坐标，在所述多个螺钉位中确定一个起点螺钉位和一个终点螺钉位，并且以所述起点螺钉位为起点、以所述终点螺钉位为终点，构建所述待识别路径，所述识别路径上包括所述每个螺钉位的中心位置坐标。

4.根据权利要求1-3任一项所述的螺钉检测方法，其特征在于，所述在每个放置有螺钉的螺钉位，通过所述螺钉摄像头采集螺钉图像，包括：

在所述每个放置有螺钉的螺钉位，控制所述检测模块移动到预设检测高度的情况下，通过所述螺钉摄像头采集所述螺钉图像。

5.根据权利要求1所述的螺钉检测方法，其特征在于，所述识别所述检测场景图像，确定所述螺钉位的位置信息之后，所述方法还包括：

判断各个所述螺钉位是否放置有螺钉，获取放置有螺钉的螺钉位的位置信息作为螺钉位置信息；

所述根据所述螺钉位的位置信息，确定待识别路径，所述待识别路径上包括所述多个螺钉位，包括：

根据所述螺钉位置信息，确定所述待识别路径，所述待识别路径上包括所述放置有螺钉的螺钉位；

在所述识别所述螺钉图像中的螺钉编号，获得螺钉编号序列之后，所述方法还包括：

输出所述螺钉编号序列。

6.根据权利要求5所述的螺钉检测方法，其特征在于，所述识别所述螺钉图像中的螺钉编号，包括：

提取目标螺钉图像中的螺帽圆形区域，所述目标螺钉图像为所述螺钉图像中的任一个；

将所述螺帽圆形区域进行极坐标展开处理，获得所述螺帽圆形区域对应的矩形图像；

识别所述螺帽圆形区域对应的矩形图像中的字符，获得所述目标螺钉图像对应的所述螺钉编号。

7.根据权利要求6所述的螺钉检测方法，其特征在于，所述识别所述螺帽圆形区域对应的矩形图像中的字符，获得所述目标螺钉图像对应的所述螺钉编号，包括：

通过霍夫变换识别出所述矩形图像中的分界直线，所述分界直线用于划分所述矩形图像中的所述字符区域和无字符区域；

根据所述分界直线，提取所述字符区域，确定所述字符区域的分割位置；

根据所述分割位置，将所述字符区域分割并重组，再对重组获得的矩形图像进行字符识别，获得所述螺钉图像对应的螺钉编号。

8.一种螺钉检测装置，包括检测模块，所述检测模块包括螺钉摄像头；所述装置还包括：

获取模块，用于获取检测场景图像，所述检测场景图像中包括预先设置的钉盒，所述钉盒包含多个螺钉位，所述螺钉位用于放置螺帽朝上的螺钉；

第一识别模块，用于识别所述检测场景图像，确定所述螺钉位的位置信息；

规划模块，用于根据所述螺钉位的位置信息，确定待识别路径，所述待识别路径上包括所述多个螺钉位；

控制检测模块，用于控制所述检测模块按照所述待识别路径运动，在每个放置有螺钉的螺钉位，通过所述螺钉摄像头采集螺钉图像；

第二识别模块，用于识别所述螺钉图像中的螺钉编号，获得螺钉编号序列，所述螺钉编号序列中的螺钉编号与螺钉位标识具有对应关系；

所述获取模块还用于，获取预设信息表，所述预设信息表中包括多个预设编号，所述预设编号与所述螺钉位标识具有对应关系；

处理模块，用于将同一螺钉位标识所对应的螺钉编号和预设编号进行比对，确定所述螺钉位标识的螺钉是否摆放正确。

9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的螺钉检测方法的步骤。

10.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的螺钉检测方法的步骤。