CN118154620A - 二进制标记解码方法、装置、设备以及存储介质 - Google Patents

Abstract

本发明实施例提出了一种二进制标记解码方法、装置、设备以及存储介质，涉及视觉信息处理技术领域；能够在发生形变、阴影、模糊等场景下执行准确的二进制标记解码。所述方法包括：将目标图像输入预先设置的目标深度神经网络模型，所述目标图像包括二进制标记，所述目标深度神经网络模型基于二进制标记训练图像样本以及规则的二进制标记样本训练得到；使用所述目标深度神经网络模型对所述目标图像中对应二进制标记的像素区域进行分割；对所述分割后的像素区域进行解码。

Description

二进制标记解码方法、装置、设备以及存储介质

【技术领域】

本发明实施例涉及视觉信息处理技术领域，尤其涉及一种二进制标记解码方法、装置、设备以及存储介质。

【背景技术】

姿态估计(Pose estimation)在计算机视觉领域扮演着十分重要的角色，其中，确定现实世界和图像投影之间的对应点是重点和难点，相关领域采用识别存储能够区别不同机库信息的相关编码的二进制标记的方式解决。

例如，在无人机在降落或机器人行走的过程中，以二进制标记给无人机提供参考物，实现利用视觉信息进行空间位置的判断，能够直观、有效地提高无人机降落的精确度。

因此能够准确地解码出二进制标记的编号对于解码无人机空间位置是至关重要的。

【发明内容】

本发明实施例提供了一种二进制标记解码方法、装置、设备以及存储介质，能够在发生形变、阴影、模糊等场景下执行准确的二进制标记解码。

第一方面，本发明实施例提供一种二进制标记解码方法，应用于电子设备，所述方法包括：将目标图像输入预先设置的目标深度神经网络模型，所述目标图像包括二进制标记，所述目标深度神经网络模型基于二进制标记训练图像样本以及规则的二进制标记样本训练得到；使用所述目标深度神经网络模型对所述目标图像中对应二进制标记的像素区域进行分割；对所述分割后的像素区域进行解码。

本发明实施例提出的二进制标记解码方法利用深度学习的方法对包括二进制标记的拍摄图像进行分割，通过图像分割的方式消除光照、形变以及阴影等场景情况对拍摄图像中记载二进制标记像素区域的影响，修正了拍摄图像中记载的二进制标记的像素区域，使其更接近拍摄图像对应原始图像所记载的二进制标记，再对分割后的像素区域进行解码，实现在发生形变、阴影、模糊等的场景下执行准确的二进制标记解码。

其中一种可能的实现方式中，所述对所述分割后的像素区域进行解码，包括：

将所述分割后的像素区域中像素值大于或等于第一预设阈值的像素点赋以表示第一颜色的颜色代码值；

将所述分割后的像素区域中像素值小于所述第一预设阈值的像素点赋以表示第二颜色的颜色代码值；

按照各自赋以的颜色代码值显示所述分割后的像素区域的所有像素点。

其中一种可能的实现方式中，所述对所述分割后的像素区域进行解码，包括：

将所述分割后的像素区域分割为多个统计区域；

当任意统计区域中对应像素值大于或等于第一预设阈值的像素点超过预设数量，对该统计区域赋以第一数值；

当任意统计区域中对应像素值小于所述第一预设阈值的像素点超过所述预设数量，对该统计区域赋以第二数值。

其中一种可能的实现方式中，所述目标深度神经网络模型通过以下方法获得：

根据多个预先设置的参数编码生成多个所述规则的二进制标记样本；

获取每个所述规则的二进制标记样本对应的所述二进制标记训练图像样本；

依次利用每个所述二进制标记样本和对应的所述二进制标记训练图像样本，对预设的深度神经网络进行训练；

将经过多次所述训练的深度神经网络作为所述目标深度神经网络模型。

其中一种可能的实现方式中，所述利用每个所述二进制标记样本和对应的所述训练图像样本，对预设的深度神经网络进行训练，包括：

将所述二进制标记训练图像样本输入所述预设的深度神经网络；

获得所述预设的深度神经网络对所述二进制标记训练图像样本中二进制标记的像素区域进行图像分割后的结果，计算所述预设的深度神经网络输出的分割结果图像和所述二进制标记训练图像样本对应的二进制标记样本的损失值；

根据所述损失值对所述预设的深度神经网络进行调整；

所述将经过多次所述训练的所述预设的深度神经网络作为所述目标深度神经网络模型，包括：

当所述预设的深度神经网络输出的分割结果图像与所述二进制标记样本的损失值小于第二预设阈值，且训练次数超过第三预设阈值时，将当次训练的所述预设的深度神经网络作为所述目标深度神经网络模型。

其中一种可能的实现方式中，所述方法还包括：

对所述二进制标记训练图像样本进行角点检测；

根据所述角点检测的结果对所述二进制标记训练图像样本进行调整，所述调整后的二进制标记训练图像样本与所述二进制标记样本的差异不大于预设误差范围。

其中一种可能的实现方式中，所述二进制标记为Aruco。

第二方面，本发明实施例提供一种二进制标记解码装置，设置在电子设备中，所述装置包括：

输入模块，用于将目标图像输入预先设置的目标深度神经网络模型，所述目标图像包括二进制标记，所述目标深度神经网络模型基于二进制标记训练图像样本以及规则的二进制标记样本训练得到；

像素分割模块，用于使用所述目标深度神经网络模型对所述目标图像中对应二进制标记的像素区域进行分割；

解码模块，用于对所述分割后的像素区域进行解码。

其中一种可能的实现方式中，所述解码模块包括：

第一赋值子模块，用于将所述分割后的像素区域中像素值大于或等于第一预设阈值的像素点赋以表示第一颜色的颜色代码值；

第二赋值子模块，用于将所述分割后的像素区域中像素值小于所述第一预设阈值的像素点赋以表示第二颜色的颜色代码值；

显示子模块，用于按照各自赋以的颜色代码值显示所述分割后的像素区域的所有像素点。

其中一种可能的实现方式中，所述解码模块包括：

区域分割子模块，用于将所述分割后的像素区域分割为多个统计区域；

第三赋值子模块，用于当任意统计区域中对应像素值大于或等于第一预设阈值的像素点超过预设数量，对该统计区域赋以第一数值；

第四赋值子模块，用于当任意统计区域中对应像素值小于所述第一预设阈值的像素点超过所述预设数量，对该统计区域赋以第二数值。

其中一种可能的实现方式中，所述装置还包括模型设定模块，所述模型设定模块包括：

标记样本生成子模块，用于根据多个预先设置的参数编码生成多个所述规则的二进制标记样本；

图像样本获取子模块，用于获取每个所述规则的二进制标记样本对应的所述二进制标记训练图像样本；

训练子模块，用于依次利用每个所述二进制标记样本和对应的所述二进制标记训练图像样本，对预设的深度神经网络进行训练；

模型获得子模块，用于将经过多次所述训练的深度神经网络作为所述目标深度神经网络模型。

其中一种可能的实现方式中，所述训练子模块每次执行步骤时具体用于将所述二进制标记训练图像样本输入所述预设的深度神经网络；获得所述预设的深度神经网络对所述二进制标记训练图像样本中二进制标记的像素区域进行图像分割后的结果，计算所述预设的深度神经网络输出的分割结果图像和所述二进制标记训练图像样本对应的二进制标记样本的损失值；根据所述损失值对所述预设的深度神经网络进行调整；

所述模型获得子模块具体用于所述训练子模块每次执行步骤过程中所述预设的深度神经网络输出的分割结果图像与所述二进制标记样本的损失值小于第二预设阈值，且训练次数超过第三预设阈值时，将当次训练的所述预设的深度神经网络作为所述目标深度神经网络模型。

其中一种可能的实现方式中，所述装置还包括：

角点检测模块，用于对所述二进制标记训练图像样本进行角点检测；

调整模块，用于根据所述角点检测的结果对所述二进制标记训练图像样本进行调整，所述调整后的二进制标记训练图像样本与所述二进制标记样本的差异不大于预设误差范围。

其中一种可能的实现方式中，所述二进制标记为Aruco。

第三方面，本发明实施例提供一种设备，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面提供的方法。

第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面提供的方法。

应当理解的是，本发明实施例的第二～四方面与本发明实施例的第一方面的技术方案一致，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。

【附图说明】

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例训练目标深度神经网络模型的步骤流程图；

图2是本发明一种示例训练预先搭建的深度神经网络的流程图；

图3是本发明实施例训练目标深度神经网络模型的另一种步骤流程图；

图4是本发明一种示例训练预设深度神经网络相关图像示例图；

图5是本发明实施例提出的二进制标记解码方法步骤流程图；

图6是本发明一种示例实现对目标图像A进行二进制解码的示意图；

图7是本发明一种示例对目标图像记录Aruco标记区域的划分结果示例图；

图8是本发明另一种实施例二进制解码方法的流程图；

图9是本发明实施例提出的二进制标记解码装置的功能模块图；

图10为本发明实施例提供的一种电子设备的结构示意图。

【具体实施方式】

为了更好的理解本说明书的技术方案，下面结合附图对本发明实施例进行详细描述。

应当明确，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本说明书保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

对用于为位置提供参考信息的二进制标记准确解码对实现空间位置定位是至关重要的。相关技术通常采用传统解码方法，例如大津算法(OTSU)或基于此的改进算法，由于实际应用二进制标记的场景中存在阴影、模糊等情况，导致设备拍摄到的记录二进制标记的图像形变与记载二进制标记的原始图像存在差异，传统解码方法无法应对上述情况。

为了提高二进制标记解码的准确度，申请人利用深度学习方法将拍摄到的二进制标记图像修正至无限接近记载二进制标记的原始图像中的二进制标记可以理解为基于二进制标记对应参数生成的原始二进制矩阵；再基于修正后的无限接近原始二进制矩阵的图案进行解码。

为了更智能地实施申请人提出的将拍摄到的记录二进制标记图像修正至无限接近原始二进制标记的图案，使得该方法的应用范围更广，本发明实施例首先搭建深度神经网络，并以基于参数编码生成的规则的二进制标记样本对搭建的深度神经网络进行训练，使深度神经网络学习调整二进制标记的像素区域至规则的二进制标记能力。

图1是本发明实施例训练目标深度神经网络模型的步骤流程图，如图1所示，训练目标深度神经网络模型包括步骤：

S101：根据多个预先设置的参数编码生成多个所述规则的二进制标记样本。

二进制标记可以是Aruco标记；Aruco标记(Aruco marker)是一个二进制平方标记，由一个宽的黑边和一个内部的二进制矩阵组成，二进制矩阵用于存储能够区别不同机库信息的相关编码。

规则的二进制标记样本是直接基于参数编码生成的。

根据多个预先设置的参数编码生成多个规则的二进制标记后，由于参数编码用于区别机库信息，从而可以根据特定参数编码查找到对应该特定参数编码的规则的二进制标记样本。S102：获取每个所述规则的二进制标记样本对应的所述二进制标记训练图像样本。

二进制标记训练图像样本是在基于参数编码生成规则的二进制标记样本后，在规则的二进制标记样本基础上的到的副本。

可以采用无人机、智能自动驾驶车辆拍摄设置于不同场景的二进制标记图标，获得记载有现场二进制标记的照片作为所述二进制标记训练图像样本。

S103：依次利用每个所述规则的二进制标记样本和对应的所述二进制标记训练图像样本，对预设的深度神经网络进行训练。

读取特定规则的二进制标记样本的参数编码，根据参数编码区别机库信息，可以查找到与该特定规则的二进制标记样本对应二进制标记训练图像样本。其中，二进制标记训练图像样本是在特定规则的二进制标记样本基础上，通过拍摄等手段获得的特定规则的二进制标记样本的副本，受拍摄场景光照、阴影等因素的影响，二进制标记训练图像样本相较于特定规则的二进制标记样本，会发生形变。利用规则的二进制标记样本和对应的所述二进制标记训练图像样本训练神经网络模型，神经网络模型可以获得调整形变的二进制标记至规则的能力。

示例地，根据包含ID001的参数编码1生成的规则的二进制标记样本A和对应的二进制标记训练图像样本A可以作为单次训练的样本对；包含ID002的参数编码2生成的规则的二进制标记样本B和对应的二进制标记训练图像样本B可以作为单次训练的样本对。

预设的深度神经网络可以包括：深度卷积神经网络VGGNet、ResNet、基于区域选择网络regional proposal based等。

S104：将经过多次所述训练的深度神经网络作为所述目标深度神经网络模型。

在本发明实施例获得目标深度神经网络模型的训练过程中，二进制标记训练图像样本可以作为训练样本，规则的二进制标记样本可以作为训练样本的标签，预设的搭建的深度神经网络依据图像分割方法实现对反射扭曲或形变二进制标记的调整，使其接近规则的二进制标记。

预设的深度神经网络输出分割结果图像和规则的二进制标记样本的相差程度，也可以显示在设备，直观展示预先搭建的深度神经网络当前的训练完成情况。

本发明实施例还对训练深度神经网络的单次循环过程进行说明。

将每个规则的二进制标记样本依次作为当次训练的当前对照样本，将每个规则的二进制标记样本各自对应的二进制标记训练图像样本依次作为当前次训练的当前训练样本。

利用当前规则的二进制标记样本和对应的二进制标记训练图像样本，对预设的深度神经网络进行训练的单次循环过程包括：

S201：将所述二进制标记训练图像样本输入所述预设的深度神经网络。

S202：获得所述预设的深度神经网络对所述二进制标记训练图像样本中二进制标记的像素区域进行图像分割后的结果，计算所述预设的深度神经网络输出的分割结果图像和所述二进制标记训练图像样本对应的二进制标记样本的损失值。

预设的深度神经网络对所述二进制标记训练图像样本中二进制标记的像素区域进行图像分割，以调整二进制标记的像素区域。分割结果图像和所述二进制标记训练图像样本对应的二进制标记样本的损失值可以表示：预设的深度神经网络是否将不规则二进制标记调整至对应规则的二进制标记。S203：根据所述损失值对所述预设的深度神经网络进行调整。

根据所述损失值对所述预设的深度神经网络进行调整包括参数调整、梯度调整等。

利用不同的样本对多次训练深度神经网络后，当所述预设的深度神经网络输出的分割结果图像与所述规则的二进制标记样本的损失值小于第二预设阈值，且训练次数超过第三预设阈值，将当前次训练的所述预先设的深度神经网络作为所述目标深度神经网络模型。

示例地，训练次数超过预先设置的N次循环后，在第N+n次训练中，预设的深度神经网络输出的分割结果图像与所述规则的二进制标记样本的损失值小于第二预设阈值，可以输出当前训练的深度神经网络作为所述目标深度神经网络模型。

图2是本发明一种示例训练预先搭建的深度神经网络的流程图，如图2所示，本示例中，二进制标记可以是Aruco标记，初始化预设的深度神经网络，读取一张Aruco标记样本和对应的二进制标记训练图像样本，对应二进制标记训练图像样本输入预设的深度神经网络，预设的深度神经网络输出对图像样本进行处理后的分割结果图像，计算分割结果图像和Aruco标记样本的损失值；根据损失值，梯度回传修正网络参数。完成预设N次训练循环，且预先搭建的深度神经网络输出的分割结果图像与所述Aruco标记样本的损失值在可允许的范围内，得到目标深度神经网络模型。

图3是本发明实施例训练目标深度神经网络模型的另一种步骤流程图，如图3所示，训练目标深度神经网络模型还可以包括步骤：

S301：根据多个预先设置的参数编码生成多个所述规则的二进制标记样本。

S302：获取每个所述规则的二进制标记样本对应的所述二进制标记训练图像样本。

S303：对所述二进制标记训练图像样本进行角点检测。

S304：根据所述角点检测的结果对所述二进制标记训练图像样本进行调整，所述调整后的二进制标记训练图像样本与所述规则的二进制标记样本的差异不大于预设误差范围。

通过对二进制标记训练图像样本进行角点检测的方式，调整二进制标记训练图像样本中记载二进制标记的像素区域的边缘，处理记载二进制标记的像素区域中明显与规则的二进制标记差距较大的图像特征，使调整后的二进制标记训练图像样本与所述规则的二进制标记样本的差异不大于预设误差范围，从而保证后续训练深度神经网络能识别与基于规则的二进制标记样本获得的图像，并对基于规则的二进制标记样本获得的图像中二进制标记像素区域进行调整，实现深度神经网络的快速拟合。

S305：依次利用每个所述规则的二进制标记样本和对应调整后的所述二进制标记训练图像样本，对预设的深度神经网络进行训练；

S306：将经过多次所述训练的深度神经网络作为所述目标深度神经网络模型。图4是本发明一种示例训练预设深度神经网络相关图像示例图，如图4所示，二进制标记可以是Aruco标记，预设的深度神经网络输出的分割结果图像与二进制标记训练图像样本相比，修正了模糊等场景导致的信标扭曲或形变等情况，根据分割结果图像和Aruco标记样本之间损失值，回传梯度修正网络参数，经过多次训练的预设的深度神经网络处理图像样本后输出的分割结果图像会无限接近Aruco标记样本，获得可以修正图像中Aruco标记的目标深度神经网络模型。

本发明实施例提出的二进制标记解码方法可以应用于终端、服务器、计算机集群等电子设备；图5是本发明实施例提出的二进制标记解码方法步骤流程图，如图5所示，步骤包括：

S501：将目标图像输入预先设置的目标深度神经网络模型，所述目标图像包括二进制标记，所述目标深度神经网络模型基于二进制标记训练图像样本以及规则的二进制标记样本训练得到；

S502：使用所述目标深度神经网络模型对所述目标图像中对应二进制标记的像素区域进行分割。在本发明一种示例中，无人机或其他智能设备检测到二进制标记，通过图像采集设备获得拍摄图像，拍摄图像记载检测到具有标记的图像，可以对拍摄图像记载二进制标记的图像区域进行旋转等矫正操作，再将包括矫正后二进制标记的拍摄图像输入目标深度神经网络模型。

目标深度神经网络模型是采用本发明实施例提出的训练方法训练预设的深度神经网络得到的，用于对图像中记载二进制标记的像素区域进行图像分割，将输入的图像中记载二进制标记的像素区域修正至无限接近基于该二进制标记存储的参数编码生成的原始二进制标记，从而避免因目标图像未准确记录二进制标记导致的解码不准确。

目标图像需要定位或环境检测的场景中，设备获得的二进制标记图像。

获得目标图像的方式可以是：基于预设参数编码生成二进制标记，获取记录二进制标记的载体，将载体放置于目标场景。示例地，在机器人应用中，可以打印生成的二进制标记，得到记载有二进制标记的图纸，将二进制标记的图纸沿着仓库机器人的路径放置。当安装在机器人上的摄像头检测到图纸记录的二进制标记时，由于每个标记都有唯一的ID，并且标记在仓库中的放置位置已知，因此就可以计算机器人在仓库中的精确位置。

当处理到目标图像中因阴影、模糊等因素造成的扭曲或形变区域的特定像素点，本发明实施例设置的目标深度神经网络模型对该类特定像素点进行判定，可以准确预测该类特定像素点应该属于二进制标记中白色区域还是黑色区域，本发明实施例预先设置的目标深度神经网络模型通过上述方式针对目标图像中每个像素点进行修正，修正了目标图像中二进制标记的扭曲或形变区域，为下一步的解码提供准确参考。目标深度神经网络模型采用图像分割的方式，将属于记录参数的二进制矩阵的像素点与属于黑边背景的像素点进行划分，实现对二进制标记的修正。

S503：对所述分割后的像素区域进行解码。

不同于直接对记录有二进制标记的目标图像进行解码无法处理因模糊、光照变化、存在阴影造成的扭曲、形变等问题，申请人关注到影响二进制标记解码准确性的因素包括：记录二进制标记的图像存在因阴影、模糊等情况导致的对应二进制标记像素区域出现形变或扭曲的情况；因此，本发明实施例通过深度学习的方法将目标图像中二进制标记的像素区域的形变和扭曲进行修正，从而实现更准确的解码。

图6是本发明一种示例实现对目标图像A进行二进制解码的示意图，如图6所示，目标图像A中存在扭曲和形变，直接基于目标图像解码，无法准确分辨二进制标记的实际形状。目标图像输入目标深度神经网络模型，通过目标深度神经网络模型的分割后输出图像B，图像B中二进制矩阵与背景边界清晰，没有扭曲等形变，基于图像B进行解码更加准确。

本发明实施例提出对所述目标图像中分割后的二进制标记对应像素区域进行解码的实现方式，可以通过阈值过滤，对像素值在同一范围的像素点赋值，可视化目标深度神经网络模型的输出结果，以方便对二进制标记解码，也可以直观观察到目标深度神经网络模型的分割结果，进行及时的参数修正。在应用过程中逐渐完善目标深度神经网络模型的输出结果，提高二进制标记的解码精度，减轻对上游角点检测的要求。

S503包括子步骤：

S5031：将所述分割后的像素区域中像素值大于或等于第一预设阈值的像素点赋以表示第一颜色的颜色代码值；

S5032：将所述分割后的像素区域中像素值小于所述第一预设阈值的像素点赋以表示第二颜色的颜色代码值；

本发明一种示例中，表示第一颜色的颜色代码可以是RGB值：R(0)G(0)B(0)；表示第二颜色的颜色代码可以是RGB值：R(255)G(255)B(255)。对分割后的所述目标图像中对应二进制标记的像素点赋值颜色代码，可以在电子设备显示目标深度神经网络模型的输出，直观展示图像二进制标记中黑色边框和白色二进制矩阵的分界。

S5033：按照各自赋以的颜色代码值显示所述分割后的像素区域的所有像素点。

本发明实施例还提出对所述目标图像中分割后的二进制标记对应像素区域进行解码的另一种实现方式，电子设备对目标图像中分割后的二进制标记进行像素值统计，实现对二进制标记的解码。

S503包括子步骤：

S503-1：将所述分割后的像素区域分割为多个统计区域。统计区域可以表示对二进制标记对应像素区域划分后的最小统计区域。针对每个统计区域，将像素点划分为像素值超过第一预设阈值的像素点或像素值小于第一预设阈值的像素点，将统计区域中的像素点划分为两类，根据上述两类像素点的数量，对统计区域赋值，实现二进制标记的解码。

S503-2：当任意统计区域中对应像素值大于或等于第一预设阈值的像素点超过预设数量，对该统计区域赋以第一数值；

S503-3：当任意统计区域中对应像素值小于所述第一预设阈值的像素点超过所述预设数量，对该统计区域赋以第二数值。

图7是本发明一种示例对目标图像记录Aruco标记区域的划分结果示例图。如图7所示，Aruco标记被分割为49个统计区域，统计每个统计区域中像素值超过第一预设阈值的像素点的数量，根据统计结果得到Aruco标记的解码：0000000、0101100、0111010、0111110、0011010、0111110、0000000。

本发明另一种实施例提出另一种二进制标记解码方法，图8是本发明另一种实施例二进制解码方法的流程图，如图8所示，将目标图像输入目标深度神经网络模型，获得目标深度神经网络模型输出的分割后的目标图像，对分割后的图像进行二值化，通过阈值过滤对分割后的目标图像中像素点赋值对应颜色代码，显示分割后的目标图像；对分割后的目标图像中二进制标记区域进行解码，得到多个统计区域，分块统计每个统计区域中对应指定颜色代码的像素点的数量，完成对二进制标记的解码。

步骤包括：

S801：将目标图像输入预先设置的目标深度神经网络模型，所述目标图像包括二进制标记，所述目标深度神经网络模型基于二进制标记训练图像样本以及规则的二进制标记样本训练得到。

S802：使用所述目标深度神经网络模型对所述目标图像中对应二进制标记的像素区域进行分割。

S803：将所述分割后的像素区域中像素值大于或等于第一预设阈值的像素点赋以表示第一颜色的颜色代码值。S804：将所述分割后的像素区域中像素值小于所述第一预设阈值的像素点赋以表示第二颜色的颜色代码值。

S805：按照各自赋以的颜色代码值显示所述分割后的像素区域的所有像素点。

图9是本发明实施例提出的二进制标记解码装置的功能模块图，上述二进制标记解码装置设置在电子设备中，如图9所示，所述装置包括：

输入模块91，用于将目标图像输入预先设置的目标深度神经网络模型，所述目标图像包括二进制标记，所述目标深度神经网络模型基于二进制标记训练图像样本以及规则的二进制标记样本训练得到；

像素分割模块92，用于使用所述目标深度神经网络模型对所述目标图像中对应二进制标记的像素区域进行分割；

解码模块93，用于对所述分割后的像素区域进行解码。

图9所示实施例提供的二进制标记解码装置可用于执行本说明书图1至图8所示方法实施例的技术方案，其实现原理和技术效果可以进一步参考方法实施例中的相关描述。

可选地，所述解码模块包括：

第一赋值子模块，用于将所述分割后的像素区域中像素值大于或等于第一预设阈值的像素点赋以表示第一颜色的颜色代码值；

第二赋值子模块，用于将所述分割后的像素区域中像素值小于所述第一预设阈值的像素点赋以表示第二颜色的颜色代码值；

显示子模块，用于按照各自赋以的颜色代码值显示所述分割后的像素区域的所有像素点。

可选地，所述解码模块包括：

区域分割子模块，用于将所述分割后的像素区域分割为多个统计区域；

第三赋值子模块，用于当任意统计区域中对应像素值大于或等于第一预设阈值的像素点超过预设数量，对该统计区域赋以第一数值；

第四赋值子模块，用于当任意统计区域中对应像素值小于所述第一预设阈值的像素点超过所述预设数量，对该统计区域赋以第二数值。

可选地，所述装置还包括模型设定模块，所述模型设定模块包括：

标记样本生成子模块，用于根据多个预先设置的参数编码生成多个所述规则的二进制标记样本；

图像样本获取子模块，用于获取每个所述规则的二进制标记样本对应的所述二进制标记训练图像样本；

训练子模块，用于依次利用每个所述规则的二进制标记样本和对应的所述二进制标记训练图像样本，对预设的深度神经网络进行训练；

模型获得子模块，用于将经过多次所述训练的深度神经网络作为所述目标深度神经网络模型。

可选地，所述训练子模块每次执行步骤时具体用于将所述二进制标记训练图像样本输入所述预设的深度神经网络；获得所述预设的深度神经网络对所述二进制标记训练图像样本中二进制标记的像素区域进行图像分割后的结果，计算所述预设的深度神经网络输出的分割结果图像和所述二进制标记训练图像样本对应的规则的二进制标记样本的损失值；根据所述损失值对所述预设的深度神经网络进行调整；

所述模型获得子模块具体用于所述训练子模块每次执行步骤过程中所述预设的深度神经网络输出的分割结果图像与所述规则的二进制标记样本的损失值小于第二预设阈值，且训练次数超过第三预设阈值时，将当次训练的所述预设的深度神经网络作为所述目标深度神经网络模型。

可选地，所述装置还包括：

角点检测模块，用于对所述二进制标记训练图像样本进行角点检测；

调整模块，用于根据所述角点检测的结果对所述二进制标记训练图像样本进行调整，所述调整后的二进制标记训练图像样本与所述规则的二进制标记样本的差异不大于预设误差范围。

可选地，所述二进制标记为Aruco。

上述所示实施例提供的装置用于执行上述所示方法实施例的技术方案，其实现原理和技术效果可以进一步参考方法实施例中的相关描述，在此不再赘述。

上述所示实施例提供的装置例如可以是：芯片或者芯片模组。上述所示实施例提供的装置用于执行上述所示方法实施例的技术方案，其实现原理和技术效果可以进一步参考方法实施例中的相关描述，在此不再赘述。

关于上述实施例中描述的各个装置包含的各个模块/单元，其可以是软件模块/单元，也可以是硬件模块/单元，或者也可以部分是软件模块/单元，部分是硬件模块/单元。例如，对于应用于或集成于芯片的各个装置，其包含的各个模块/单元可以都采用电路等硬件的方式实现，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片内部集成的处理器，剩余的部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于芯片模组的各个装置，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片模组内部集成的处理器，剩余的部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于电子终端设备的各个装置，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于电子终端设备内同一组件(例如，芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于电子终端设备内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现。

图10为本发明实施例提供的一种电子设备的结构示意图，该电子设备1000包括处理器1010，存储器1011，存储在存储器1011上并可在所述处理器1010上运行的计算机程序，所述处理器1010执行所述程序时实现前述方法实施例中的步骤，实施例提供的电子设备可用于执行本上述所示方法实施例的技术方案，其实现原理和技术效果可以进一步参考方法实施例中的相关描述，在此不再赘述。

本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行本说明书图1～图8所示实施例提供的二进制标记解码方法。计算机可读存储介质可以指非易失性计算机存储介质。

上述计算机可读存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(readonly memory，ROM)、可擦式可编程只读存储器(erasable programmable read onlymemory，EPROM)或闪存、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、射频(radio frequency，RF)等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本说明书操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(localarea network，LAN)或广域网(wide area network，WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

在本发明实施例的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本说明书的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本说明书的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本说明书的实施例所属技术领域的技术人员所理解。

取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

需要说明的是，本发明实施例中所涉及的终端可以包括但不限于个人计算机(personal computer，PC)、个人数字助理(personal digital assistant，PDA)、无线手持设备、平板电脑(tablet computer)、手机、MP3播放器、MP4播放器等。

在本说明书所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本说明书各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(processor)执行本说明书各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。

Claims (10)

1.一种二进制标记解码方法，其特征在于，所述方法包括：

将目标图像输入预先设置的目标深度神经网络模型，所述目标图像包括二进制标记，所述目标深度神经网络模型基于二进制标记训练图像样本以及规则的二进制标记样本训练得到；

使用所述目标深度神经网络模型对所述目标图像中对应二进制标记的像素区域进行分割；

对所述分割后的像素区域进行解码。

2.根据权利要求1所述的方法，其特征在于，所述对所述分割后的像素区域进行解码，包括：

将所述分割后的像素区域中像素值大于或等于第一预设阈值的像素点赋以表示第一颜色的颜色代码值；

将所述分割后的像素区域中像素值小于所述第一预设阈值的像素点赋以表示第二颜色的颜色代码值；

按照各自赋以的颜色代码值显示所述分割后的像素区域的所有像素点。

3.根据权利要求1所述的方法，其特征在于，所述对所述分割后的像素区域进行解码，包括：

将所述分割后的像素区域分割为多个统计区域；

当任意统计区域中对应像素值大于或等于第一预设阈值的像素点超过预设数量，对该统计区域赋以第一数值；

当任意统计区域中对应像素值小于所述第一预设阈值的像素点超过所述预设数量，对该统计区域赋以第二数值。

4.根据权利要求1所述的方法，其特征在于，所述目标深度神经网络模型通过以下方法获得：

根据多个预先设置的参数编码生成多个所述规则的二进制标记样本；

获取每个所述规则的二进制标记样本对应的所述二进制标记训练图像样本；

依次利用每个所述规则的二进制标记样本和对应的所述二进制标记训练图像样本，对预设的深度神经网络进行训练；

将经过多次所述训练的深度神经网络作为所述目标深度神经网络模型。

5.根据权利要求4所述的方法，其特征在于，所述利用每个所述规则的二进制标记样本和对应的所述训练图像样本，对预设的深度神经网络进行训练，包括：

将所述二进制标记训练图像样本输入所述预设的深度神经网络；

获得所述预设的深度神经网络对所述二进制标记训练图像样本中二进制标记的像素区域进行图像分割后的结果，计算所述预设的深度神经网络输出的分割结果图像和所述二进制标记训练图像样本对应的二进制标记样本的损失值；

根据所述损失值对所述预设的深度神经网络进行调整；

所述将经过多次所述训练的所述预设的深度神经网络作为所述目标深度神经网络模型，包括：

当所述预设的深度神经网络输出的分割结果图像与所述规则的二进制标记样本的损失值小于第二预设阈值，且训练次数超过第三预设阈值时，将当次训练的所述预设的深度神经网络作为所述目标深度神经网络模型。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

对所述二进制标记训练图像样本进行角点检测；

根据所述角点检测的结果对所述二进制标记训练图像样本进行调整，所述调整后的二进制标记训练图像样本与所述规则的二进制标记样本的差异不大于预设误差范围。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述二进制标记为Aruco。

8.一种二进制标记解码装置，其特征在于，所述装置包括：

输入模块，用于将目标图像输入预先设置的目标深度神经网络模型，所述目标图像包括二进制标记，所述目标深度神经网络模型基于二进制标记训练图像样本以及规则的二进制标记样本训练得到；

像素分割模块，用于使用所述目标深度神经网络模型对所述目标图像中对应二进制标记的像素区域进行分割；

解码模块，用于对所述分割后的像素区域进行解码。

9.一种设备，包括：

至少一个处理器；以及

与所述处理器通信连接的至少一个存储器，其特征在于，

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至7任一所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，其特征在于，所述计算机指令使所述计算机执行如权利要求1至7任一所述的方法。