CN109816406B

CN109816406B - 一种物品标记方法、装置、设备和介质

Info

Publication number: CN109816406B
Application number: CN201910143449.6A
Authority: CN
Inventors: 闫天翼; 张德雨; 刘思宇; 田振铎; 陈端端; 吴景龙
Original assignee: Beijing Institute of Technology BIT
Current assignee: Beijing Institute of Technology BIT
Priority date: 2019-02-26
Filing date: 2019-02-26
Publication date: 2021-01-22
Anticipated expiration: 2039-02-26
Also published as: CN109816406A

Abstract

本申请提供了一种物品标记方法、装置、设备和介质，该方法包括：获取待标记图像；识别所述待标记图像中包含的物品在所述待标记图像中的位置信息；基于识别出的位置信息，确定所述物品在所述待标记图像中对应的标记区域范围；在所述标记区域范围对所述物品进行标记。

Description

一种物品标记方法、装置、设备和介质

技术领域

本申请涉及信息处理技术领域，具体而言，涉及一种物品标记方法、装置、设备和介质。

背景技术

目前，基于稳态视觉诱发电位(Steady-State Visual Evoked Potentials，SSVEP)的脑机接口(brain-computerinterface，BCI)系统已经广泛被用于医疗康复、重病监护、残障辅助等医疗领域。SSVEP的基本原理为：对使用者提供不同频率闪动的视觉激发，当使用者在关注以某一频率闪动的物品时，其脑电在经过傅里叶变换以及相应的处理后，会在某个频率上呈现出较高的能量峰值。

现有技术普遍采用的基于SSVEP脑机接口实施方式为：在屏幕的不同位置(如上、下、左、右)叠加不同频率闪动的形状，形状多为指向不同方向的箭头，当使用者将其注意力放在不同的箭头上时，使用者的脑部会形成与该箭头闪动频率相符的频率峰值，经过合理的算法提取后，即可从脑电中分析出使用者注意的方向，从而基于脑电信号控制外部系统。但是，这样用户在注视方向闪烁标签时容易走神，降低了用户对方向闪烁标签的关注度度，进而也降低了用户在注视方向闪烁标签时获取的视觉反馈的准确度。

发明内容

有鉴于此，本申请的目的在于提供一种物品标记方法、装置、设备和介质，提高了标签的被关注度。

第一方面，本申请实施例提供了一种物品标记方法，该方法包括：

获取待标记图像；

识别所述待标记图像中包含的物品在所述待标记图像中的位置信息；

基于识别出的位置信息，确定所述物品在所述待标记图像中对应的标记区域范围；

在所述标记区域范围对所述物品进行标记。

可选地，所述基于识别出的位置信息，确定所述物品在所述待标记图像中对应的标记区域范围，包括：

根据所述位置信息，确定所述物品在所述待标记图像中所属的区域范围；

将确定的所述区域范围与预设范围阈值的和值作为所述标记区域范围。

可选地，针对待标记图像中包括至少两个物品的情况；所述在所述标记区域范围对所述物品进行标记，包括：

根据每个所述物品在所述待标记图像中的位置信息，以及预设的标识确定规则，确定每个所述物品的标识；

根据每个所述物品的标识，以及预设标识与频闪频率之间的对应关系，在每个物品对应的标记区域范围中利用相应的频闪频率进行标记。

可选地，所述识别所述待标记图像中包含的物品在所述待标记图像中的位置信息，包括：

利用预先训练好的位置信息识别模型识别所述待标记图像中包含的物品在所述待标记图像中的位置信息。

可选地，该方法还包括：

获取脑电信号；

基于所述脑电信号的频率，确定与所述脑电信号对应的标记区域范围；

根据确定的所述标记区域范围对应的物品的标识所对应的空间位置信息获取相应的物品。

第二方面，本申请实施例提供了一种物品标记装置，该装置包括：

获取模块，用于获取待标记图像；

识别模块，用于识别所述待标记图像中包含的物品在所述待标记图像中的位置信息；

确定模块，用于基于识别出的位置信息，确定所述物品在所述待标记图像中对应的标记区域范围；

标记模块，用于在所述标记区域范围对所述物品进行标记。

可选地，所述确定模块具体用于：

可选地，针对待标记图像中包括至少两个物品的情况；所述标记模块具体用于：

第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述方法的步骤。

本申请实施例提供的一种物品标记方法，获取待标记图像，识别待标记图像中包含的物品在待标记图像中的位置信息，基于识别出的位置信息，确定物品在待标记图像中对应的标记区域范围，在标记区域范围对物品进行标记，通过对待标记图像中的物品进行频闪标识，提高了获取进行频闪标记的物品的准确度，提高了频闪标记物品的被关注度。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种物品标记方法的流程示意图；

图2为本申请实施例提供的一种包含一个物品的待标记图像的示意图；

图3为本申请实施例提供的一种包含三个物品的待标记图像的示意图；

图4为本申请实施例提供的一种物品标记装置的结构示意图；

图5为本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供了一种物品标记方法，如图1所示，该方法应用于基于SSVEP的脑控远程机械臂系统中，该方法包括以下步骤：

S101，获取待标记图像；

这里，待标记图像一般是通过摄像头获取的，例如，待标记图像通过双目摄像头获取，双目摄像头一般设置在脑控远程机械臂控制系统前端，双目摄像头采集到的图像能够随着机械臂末端的移动而变化，摄像头将获取的双目视频信号传输至脑控远程机械臂控制系统中的SSVEP标定输出模块，这样，在应用脑控远程机械臂控制系统进行物品取拿时，可以通过设置的摄像头获取实际应用场景中的物品图像，以便于系统对图像中的物品进行标识，使得系统可以根据标记获取相应的物品，下文进行详细叙述。

S102，识别所述待标记图像中包含的物品在所述待标记图像中的位置信息。

这里，位置信息为物品的边界点在待标记图像中的坐标信息，例如，参考图2，待标记图像中包括有正方形物品，物品在待标记图像中的位置信息分别为正方形物品中四个边界点(A、B、C、D)的坐标信息，A的坐标信息为(x₁，y₁)，B的坐标信息为(x₂，y₂)，C的坐标信息为(x₃，y₃)，D的坐标信息为(x₄，y₄)；待标记图像中包括的物品的数目根据实际情况确定，本申请对此不予限制；识别物品在图像中的位置信息的算法可以为机器学习模型、卷积神经网络模型等，对位置信息记性识别的算法在现有技术中已有详细的介绍，此处不再进行过多说明。

在识别所述待标记图像中包含的物品在所述待标记图像中的位置信息时，包括：

可以根据以下步骤训练位置信息识别模型：

获取多个样本图像以及每个样本图像中物品的位置信息，样本图像可以为包含有各种物品的图像；将样本图像作为模型的输入特征，将对应的样本图像中物品的位置信息作为模型的输出特征，训练得到位置信息识别模型。

S103，基于识别出的位置信息，确定所述物品在所述待标记图像中对应的标记区域范围；

这里，标记区域范围为包括物品在待标记图像中所属区域的范围。

在基于识别出的位置信息，确定所述物品在所述待标记图像中对应的标记区域范围，包括：

将确定的所述区域范围扩大预设倍数作为所述标记区域范围。

这里，物品在待标记图像中所属的区域范围通过物品的边界点位置信息确定，预设倍数一般为预先设置的，预设倍数可以为1.1、1.2等。

在具体实施中，在得到待标记图像中的物品的位置信息后，利用确定物品在待标记图像中所属的区域范围，在确定物品的区域范围后，将物品的区域范围扩大预设倍数，将扩大预设倍数后的区域范围作为图片的标记区域范围。

例如，延续步骤S102中的示例，待标记图像中包括正方形物品，正方形物品在待标记图像中所属的区域通过方向的四个边界点位置信息确定，正方形物品中四个边界点(A、B、C、D)的坐标信息分别为：A的坐标信息为(x₁，y₁)，B的坐标信息为(x₂，y₂)，C的坐标信息为(x₃，y₃)，D的坐标信息为(x₄，y₄)，正方形物品所属的区域范围为A、B、C、D形成的区域范围，预设倍数为β倍，将A、B、C、D形成的区域范围扩大β倍后的A、B、C、D的位置信息分别为：A0(x₁₀，y₁₀)，B0(x₂₀，y₂₀)，C0的坐标信息为(x₃₀，y₃₀)，D0的坐标信息为(x₄₀，y₄₀)，A0、B0、C0、D0确定的区域范围为标记区域范围。

S104，在所述标记区域范围对所述物品进行标记。

在待标记图像中包括至少两个物品时，在所述标记区域范围对所述物品进行标记时，包括以下步骤：

这里，标识确定规则为根据物品的位置信息按照预设方向对物品进行排序，预设方向可以为从上到下、从左到右、从下到上、从右到左；频闪频率一般为8-15赫兹，标识可以为编号，编号可以通过数字或字母或特殊符号表示；预设标识与频闪频率之间的对应关系一般为随着预设标识的增大，频闪频率逐渐增大，例如，预设标识为1、2、3，标识1对应的频率为8赫兹，标识2对应的频率为11赫兹，标识3对应的频率为13赫兹。

在具体实现的时候，根据每个物品在待标记图像中的坐标信息，按照预设方向对物品进行排序，依次确定每个物品的标识，针对每个物品，在预设标识与频闪频率之间的对应关系表中，查询与确定的该物品的标识对应的预设标识，利用查询到的预设标识对应的频闪频率在该物品对应的标记区域范围进行频闪标记。

例如，参考图3，待标记图像中包括三个物品W1、W2、W3，W1物品的位置信息分别(x_w10，y_w10)、(x_w11，y_w11)、(x_w12，y_w12)、(x_w13，y_w13)，W2物品的位置信息分别(x_w20，y_w20)、(x_w21，y_w21)、(x_w22，y_w22)、(x_w23，y_w23)，W3物品的位置信息分别(x_w30，y_w30)、(x_w31，y_w31)、(x_w32，y_w32)预设方向为从左向右，若W1位于最右侧的位置信息为(x_w10，y_w10)、W2物品位于最右侧的位置信息为(x_w20，y_w20)、W3物品位于最右侧的位置信息为(x_w31，y_w31)，且x_w10小于x_w20小于x_w31，则三个物品从左到右的排序分别为W1、W2、W3，W1对应的标识为1，W2对应的标识为2，W3对应的标识为3，预设标识与频闪频率的对应关系为：标识1对应的频率为8赫兹、标识2对应的频率为11赫兹、标识3对应的频率为13赫兹，则物品W1对应的标记区域范围以8赫兹进行频闪，物品W2对应的标记区域范围以11赫兹进行频闪，物品W3对应的标记区域范围通过透明或半透明的矩形框以13赫兹进行频闪。

在对待标记图像中的物品进行频闪频率标记后，脑控远程机械臂控制系统还可以：

获取脑电信号；

这里，脑电信号一般为稳态视觉诱发电位信号，例如，用户注视着待标记图像中的物品时，脑控远程机械臂控制系统会获取用户的脑电信号；空间位置信息为物品在空间中的坐标信息，物品在空间的坐标信息一般为三维坐标信息，物品的空间位置信息一般是利用双目摄像头中的视差，结合基于视差的三维还原算法得到的，利用双目摄像头并结合基于视差的三维还原算法得到空间位置信息的技术在现有技术中已有详细的介绍，此处不再进行过多说明。

在具体实现过程中，脑控远程机械臂控制系统获取用户在注视物品时的脑电信号，从标记区域范围对应的频率中，查询与获取的脑电信号的频率匹配的频率，将查询到的标记区域范围确定为与脑电信号对应的标记区域范围，在确定到标记区域范围后，可以确定用户注视的物品，脑控远程机械臂控制系统将标记区域范围对应的物品的标识对应的空间位置信息获取相应的物品。这样，用户在注视频闪标记的物品时，用户会更加关注物品，提高了用户对物品的关注度，同时，也提高了用户在注视频闪物品时获取的视觉反馈(如，脑电信号)的准确度。

例如，延续上一个示例，脑控远程机械臂控制系统获取的脑电信号的频率8赫兹，频闪频率为8赫兹对应的标记区域范围所对应的物品为1，脑控远程机械臂控制系统根据物品1的三维坐标信息获取物品。

本申请实施例提供的一种物品标记方法，获取待标记图像，识别待标记图像中包含的物品在待标记图像中的位置信息，基于识别出的位置信息，确定物品在待标记图像中对应的标记区域范围，在标记区域范围对物品进行标记，通过对待标记图像中的物品进行频闪标识，提高了标签的被关注度，同时，提高了用户通过注视的物品产生的脑电信号的准确度。

本申请实施例提供了一种物品标记装置，如图4所示，该装置包括：

获取模块41，用于获取待标记图像；

识别模块42，用于识别所述待标记图像中包含的物品在所述待标记图像中的位置信息；

确定模块43，用于基于识别出的位置信息，确定所述物品在所述待标记图像中对应的标记区域范围；

标记模块44，用于在所述标记区域范围对所述物品进行标记。

可选地，所述确定模块43具体用于：

可选地，针对待标记图像中包括至少两个物品的情况；所述标记模块44具体用于：

可选地，所述识别模块42具体用于：

可选地，所述获取模块41还用于：获取脑电信号；

所述确定模块43还用于：

对应于图1中的物品标记方法，本申请实施例还提供了一种计算机设备，如图5所示，该设备包括存储器1000、处理器2000及存储在该存储器1000上并可在该处理器2000上运行的计算机程序，其中，上述处理器2000执行上述计算机程序时实现上述物品标记方法的步骤。

具体地，上述存储器1000和处理器2000能够为通用的存储器和处理器，这里不做具体限定，当处理器2000运行存储器1000存储的计算机程序时，能够执行上述物品标记方法，本申请实施例提供的一种物品标记方法，获取待标记图像，识别待标记图像中包含的物品在待标记图像中的位置信息，基于识别出的位置信息，确定物品在待标记图像中对应的标记区域范围，在标记区域范围对物品进行标记，通过对待标记图像中的物品进行频闪标识，提高了标签的被关注度，同时，提高了用户通过注视的物品产生的脑电信号的准确度。

对应于图1中的物品标记方法，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述物品标记方法的步骤。

具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，本申请实施例提供的一种物品标记方法，获取待标记图像，识别待标记图像中包含的物品在待标记图像中的位置信息，基于识别出的位置信息，确定物品在待标记图像中对应的标记区域范围，在标记区域范围对物品进行标记，通过对待标记图像中的物品进行频闪标识，提高了标签的被关注度，同时，提高了用户通过注视的物品产生的脑电信号的准确度。

在本发明所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims

1.一种物品标记方法，其特征在于，该方法包括：

获取待标记图像；

在所述标记区域范围对所述物品进行标记；

其中,针对待标记图像中包括至少两个物品的情况；所述在所述标记区域范围对所述物品进行标记，包括：

2.如权利要求1所述的方法，其特征在于，所述基于识别出的位置信息，确定所述物品在所述待标记图像中对应的标记区域范围，包括：

3.如权利要求1所述的方法，其特征在于，所述识别所述待标记图像中包含的物品在所述待标记图像中的位置信息，包括：

4.如权利要求1所述的方法，其特征在于，该方法还包括：

获取脑电信号；

5.一种物品标记装置，其特征在于，该装置包括：

获取模块，用于获取待标记图像；

标记模块，用于在所述标记区域范围对所述物品进行标记；

所述确定模块具体用于：

将确定的所述区域范围与预设范围阈值的和值作为所述标记区域范围；

针对待标记图像中包括至少两个物品的情况；所述标记模块具体用于：

6.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至4任一项所述的方法的步骤。

7.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至4任一项所述的方法的步骤。