CN115497087B - 一种餐具姿态的识别系统及其方法 - Google Patents

Abstract

本发明公开了一种餐具姿态的识别系统及其方法，该系统包括餐具和处理器，以及与处理器连接的第一图像传感器、第二图像传感器；餐具的一面设有图案；处理器包括数据处理模块、数据库和数据比对模块；第一图像传感器，采集图案位于餐具的图案姿态数据；第二图像传感器，采集餐具另一面和餐具姿态数据；处理器通过数据处理模块将图案姿态数据和餐具姿态数据进行数据处理和拼接，形成餐具姿态模型，并将餐具姿态模型存储于数据库；后续基于图像传感器获取餐具的图案姿态数据，处理器通过数据比对模块获取数据库中对应的餐具姿态模型，本发明识别餐具姿态具有精准度高的特点。

Description

一种餐具姿态的识别系统及其方法

技术领域

本发明涉及智能家电设备，具体涉及一种餐具姿态的识别系统及其方法。

背景技术

实现厨房的智能化中，现有技术中有通过机械手拾取对应餐具转移到处理区域进行清洗或烘干等一系列的处理，但在具体实施过程中，因为未能判断餐具的摆放姿态，容易抓取或者吸取到如餐具的边角位，导致转移过程不稳定，应用时在转移过程中会发生了餐具脱落或甩飞的情况，参见专利文献：（CN109623842A-一种一体化厨房机器人及其控制方法、CN208228921U-一种用于视觉识别的智能洗碗机、CN217090643U-食堂餐盘清洗装置、CN205963981U-一种自动洗碗系统）。因此，到目前为止实际上难以实施的，为解决这一点，需要预先判断餐具的摆放姿态，便于后续辅助装置将其稳定转移。

综上，本次方案需要解决的首要技术问题是如何实现对各类餐具的摆放姿态进行精准识别。

发明内容

本发明的目的就在于提供一种餐具姿态的识别系统及其方法，具有识别餐具姿态精准度高的特点。

为实现上述目的，本发明提供了以下技术方案：

本发明提供的一种餐具姿态的识别系统，包括餐具和处理器，以及与处理器连接的第一图像传感器、第二图像传感器；所述餐具的一面设有图案；所述处理器包括数据处理模块、数据库和数据比对模块；所述第一图像传感器，采集所述图案位于餐具的图案姿态数据，所述图案姿态数据包括图案的中心参数、图案特征角度参数；所述第二图像传感器，采集所述餐具另一面的餐具姿态数据，所述餐具姿态数据包括餐具的中心参数、餐具特征角度参数；所述处理器通过数据处理模块将所述图案姿态数据和所述餐具姿态数据进行数据处理和拼接，形成餐具姿态模型，并将所述餐具姿态模型存储于所述数据库；后续基于图像传感器获取餐具的图案姿态数据，所述处理器通过所述数据比对模块获取所述数据库中对应的餐具姿态模型。

优选地，所述第二图像传感器还采集餐具的俯视轮廓数据，数据处理模块将所述俯视轮廓数据与所述图案姿态数据、餐具姿态数据，进行数据处理和拼接，形成餐具姿态模型。

优选地，所述处理器还连接有第三图像传感器，所述第三图像传感器采集所述餐具侧面的尺寸数据和侧视轮廓数据，通过所述数据处理模块将所述尺寸数据、所述侧视轮廓数据与所述图案姿态数据、所述俯视轮廓数据和所述餐具姿态数据进行数据处理和拼接，形成餐具姿态模型。

优选地，所述餐具放置在透明平台上，所述图案设置在餐具的底面，所述第一图像传感器、第二图像传感器分别垂直对准于所述餐具的底面和顶面，所述第三图像传感器垂直对准于所述餐具的侧面。

优选地，所述数据库中预先构建有包括餐具及图案一体的三维点云数据模型。

优选地，所述图案采用基准标记或识别码中至少一种，所述数据库对应识别码预设有对应餐具的参数信息，通过图像传感器和所述处理器进行解码得到餐具参数信息。

优选地，所述图案印制在标贴上，所述标贴设置于所述餐具的一面。

一种餐具姿态的识别方法，本方法应用于上述的餐具姿态的识别系统，该方法包括以下步骤：

S1、采集位于餐具一面的图案的图案姿态数据；

S2、采集餐具另一面的餐具姿态数据；

S3、所述处理器通过数据处理模块将所述图案姿态数据和所述餐具姿态数据进行数据处理和拼接，形成该餐具的餐具姿态模型，并储存于数据库中；

S4、识别餐具姿态时，通过图像传感器，拍摄所述图案；

S5、所述处理器基于图案姿态数据，得到对应的餐具姿态模型，从而确认餐具的姿态。

优选地，所述S3的数据库中预先构建有包括餐具及图案一体的三维点云数据模型，识别餐具姿态时，处理器识别出图案，并依据图案的图案特征角度参数匹配三维点云数据模型得出餐具的姿态。

优选地，所述S3的数据库中预设有图案，或者图案及标贴一体的欧拉角运动三维模型，基于采集到的图案姿态数据，通过处理器的欧拉角计算模块计算，进而确认餐具的姿态。

综上，本发明的有益效果在于：

1.通过设计采集图案于餐具的图案姿态数据，与采集到的餐具另一面的餐具姿态数据进行拼接，获得此时餐具的轮廓点云数据、餐具特征角度参数、以及图案的图案特征角度参数，从而形成固定的餐具姿态模型。识别时，只需通过图像传感器采集餐具的图案姿态数据，处理器即可基于此时图案姿态数据的角度参数计算出餐具的方向姿态，即可依据餐具姿态模型选取最优的点云抓取数据，具有姿态识别精密度高的特点。

2.通过预先构建餐具及图案一体的三维点云数据模型，可实现对标准化生产的固定图案方位、方向的餐具，进行直接实施姿态识别，提高了姿态识别的效率。

3.预先依据欧拉角运动原理，构建图案，或者图案及标贴一体的欧拉角运动三维模型并储存于数据库中。即使因餐具在随意摆放下产生的不同姿态，导致图像传感器拍摄到的餐具图案是偏转变形的，此时亦可通过处理器的欧拉角计算模块，依据图案的欧拉角运动的算法，匹配出图案的欧拉角运动三维模型，并依据餐具姿态模型或三维点云数据模型得出此时的餐具姿态，使得识别更为灵活和精准。

本发明其余附加技术特征所具有的有益效果将在本说明书具体实施方式部分进行说明。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明餐具姿态识别方法的流程图；

图2是本发明实施例中处理器的模块示意图；

图3是本发明实施例图像传感器与餐具的位置示意图；

图4是本发明实施例中采集图案姿态数据的示意图；

图5是本发明实施例中采集餐具姿态数据的示意图；

附图标记说明如下：

1、第一图像传感器；2、第二图像传感器；3、第三图像传感器；4、图案；5、识别码；6、标贴；7、餐具；8、透明平台；9、图案特征；10、餐具特征。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接或彼此可通讯；可以是直接相连，也可以通过中间媒介间接相连，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

实施例1

结合图1、图2所示，本发明提供的一种餐具姿态的识别系统及其方法，包括餐具和处理器，以及与处理器连接的第一图像传感器、第二图像传感器；餐具优选采用带提手的餐具，本实施例中，餐具采用带杯把的杯子，处理器采用云端服务器，图像传感器采用CCD相机。处理器包括数据处理模块、数据库和数据比对模块，数据比对模块通过现有的AI算法实现数据的比对和筛选；第一图像传感器，用于餐具数据录入时，拍摄位于餐具一面的图案的图案姿态数据；第二图像传感器，用于拍摄餐具另一面餐具姿态数据。

进一步地，本实施例中，图案印制在标贴上，标贴贴设于餐具的底面。

结合图3所示，录入餐具信息时，本实施例中餐具放置在透明平台上，第一图像传感器设置于透明平台的下方，第一图像传感器垂直对准餐具的底部，拍摄餐具的仰视图，获得图案的图案姿态数据；本实施例中第二图像传感器位于餐具上方，并垂直拍摄餐具的俯视图，获得餐具顶面的俯视轮廓数据和餐具姿态数据。

处理器通过数据处理模块将图案姿态数据、俯视轮廓数据和餐具姿态数据进行数据处理和拼接，本实施中的数据处理模块包括视觉识别系统、视觉检测系统、拼接模块，视觉识别系统将第一图像传感器、第二图像传感器拍摄到的图像经过灰度化、二值化、过滤处理得出餐具的轮廓数据，视觉检测系统对处理后的图像检测出图案姿态数据和餐具姿态数据。

所述图案姿态数据包括图案位于餐具的中心参数和图案特征角度参数，该图案的中心参数包括X轴、Y轴坐标的测量值，图案特征角度参数中的图案特征为图案凸出的带有指向性特征部分，如图4所示，本实施例是采用米字形图案的其中长度不同的一处，图案特征角度参数是以该图案的中心线为基线，以检测到的图案特征的延长线与该基线产生的夹角，作为该图案特征的角度测量值。

所述餐具姿态数据包括餐具位于背景的中心参数和餐具特征角度参数，该中心参数包括X轴、Y轴坐标，餐具特征角度参数的餐具特征为餐具的图像中凸出本体的特征性部分，如图5所示，本实施例是采用餐具的提手，餐具特征角度参数是以该餐具的中心线为基线，以检测到的餐具特征的延长线与该基线产生的夹角，作为该餐具特征的角度测量值。上述测量值通过现有的视觉检测系统进行测量实现，此处不做过多的阐述。

拼接模块将图案姿态数据和餐具姿态数据进行拼接和绑定，绑定图案特征角度参数和餐具特征角度参数，并处理制作成餐具姿态模型存储于数据库中备用。

当识别餐具姿态时，使用图像传感器拍摄位于餐具一面的图案姿态数据，处理器的数据比对模块获取所述数据库中对应图案姿态数据的餐具姿态模型，从而根据餐具姿态模型的点云数据，得到餐具此时的姿态，之后即可反馈到辅助装置根据预设稳定的点云坐标，调控位置进行餐具的抓取或下一步处理。

进一步地，图案采用基准标记或识别码中至少一种，其中基准标记包括诸如米字、星形、多边形或其他易于分辨方向的图形。处理器的数据库对应识别码预设有对应餐具的参数信息，该参数信息诸如餐具的类型、尺寸等参数，通过图像传感器拍摄并传输到处理器中进行解码得到餐具参数信息，便于处理器AI算法计算时用作参数参考，提高抓取时的识别精度。处理器中的AI算法为公知技术，并非本案的保护范围，在此这里不作过多的赘述。

实施例2

不同于实施例1对不同餐具需要预先录入，本实施例2的餐具采用标准化生产的方式，生产出同一的图案方位、方向的餐具，图案可通过光雕刻印制或者印刷方式印制于餐具的一面，也可将图案印制再标贴并统一方向贴设在餐具的同一位置，本实施例的数据库中预先构建对应此类餐具的包括餐具及图案一体的三维点云数据模型。

识别餐具姿态时，可通过图像传感器拍摄位于餐具一面，处理器通过数据处理模块和数据比对模块识别出图案并获得图案姿态数据的图案特征角度参数，依据数据库中预设三维点云数据模型通过AI算法，得出三维点云数据模型的三维转向，从而判断出餐具的姿态，后续即可控制辅助装置基于三维点云数据模型，选取需要抓取的点云坐标。

实施例3

如实施例1或实施例2，本实施例还设置有第三图像传感器，第三图像传感器连接于处理器，第三图像传感器采集餐具侧面的尺寸数据和侧视轮廓数据，尺寸数据如餐具侧视图的长、宽、高等参数，通过数据处理模块将尺寸数据、侧视轮廓数据与图案姿态数据、俯视轮廓数据和餐具姿态数据进行数据处理和拼接，形成数据更完整的餐具姿态模型，可用于补全数据库中未录入的餐具侧面尺寸数据和侧视轮廓数据，提高餐具姿态识别精度和辅助装置抓取时的精准控制。

实施例4

如实施例1-3，本实施例的数据库中预设有图案、或者图案及标贴一体的欧拉角运动三维模型，基于采集到的图案姿态数据，通过处理器的欧拉角计算模块计算，进而确认餐具的姿态。

欧拉角运动三维模型是预先对各个图案或者图案及标贴一体的自由度位姿数据，表示为[X，Y，Z，Pitch，Yaw，Roll]，其中X、Y、Z用于表示空间坐标数据，Pitch、Yaw、Roll用于表示对应欧拉角中的俯仰、偏航、桶滚，以此构成欧拉角运动三维模型的空间姿态信息。

在识别餐具姿态时，处理器对图像传感器拍摄到的图案姿态数据，可依据数据库中欧拉角运动三维模型的空间姿态信息进行补全计算，能更为精准对各角度随意摆放的餐具姿态进行识别。

综上所述，本发明一种餐具姿态的识别系统及其方法，通过设计先采集图案于餐具的图案姿态数据，与采集到的餐具另一面的餐具姿态数据进行拼接，形成固定的餐具姿态模型。因餐具姿态模型中的图案与餐具的中心参数、特征角度的参数是定向绑定的，在识别姿态时，只需通过任一图像传感器采集图案姿态数据，处理器即可基于此时图案姿态数据的角度参数计算出餐具的转动方向姿态，后续的辅助装置即可依据餐具姿态模型选取最优的抓取点进行抓取，具有姿态识别精密度高的特点。

对标准化生产固定图案方位、方向的定制餐具，通过预先构建餐具及图案一体的三维点云数据模型，即可直接通过图像传感器实施姿态识别，节省了录入的手段，提高了姿态识别的效率和精度。

并预先依据欧拉角运动原理，构建图案，或者图案及标贴一体的欧拉角运动三维模型并储存于数据库中。当餐具在随意摆放的不同姿态下，图案会因俯仰、偏航、桶滚的转动姿态下图案形变难以识别，此时处理器即可通过欧拉角计算模块，依据图案的欧拉角运动的计算方法，计算图像经旋转、位移以及缩放中至少一项操作，匹配图案的欧拉角运动三维模型，再根据餐具姿态模型或三维点云数据模型得出任意摆放的餐具更为精准的姿态识别，使得识别更为灵活。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (4)

1.一种餐具姿态的识别系统，其特征在于，包括餐具和处理器，以及与处理器连接的第一图像传感器、第二图像传感器；

所述餐具的一面设有图案；

所述处理器包括数据处理模块、数据库和数据比对模块；

所述第一图像传感器，采集所述图案位于餐具的图案姿态数据，所述图案姿态数据包括图案位于餐具的中心参数、图案特征角度参数，所述中心参数包括图案中心的X轴、Y轴坐标的测量值，所述图案特征为图案凸出的带有指向性特征部分，所述图案特征角度参数是以所述图案的中心线为基线，以检测到的图案特征的延长线与该基线产生的夹角，作为所述图案特征的角度测量值；

所述第二图像传感器，采集所述餐具另一面的餐具姿态数据，所述餐具姿态数据包括餐具位于背景的中心参数、餐具特征角度参数，所述中心参数包括餐具的X轴、Y轴坐标的测量值，所述餐具特征为所述餐具另一面的图像中凸出餐具本体的特征性部分，餐具特征角度参数的餐具特征为餐具的图像中凸出本体的特征性部分；所述餐具特征角度参数是以所述餐具的中心线为基线，以检测到的餐具特征的延长线与该基线产生的夹角，作为所述餐具特征的角度测量值；

所述第二图像传感器还采集餐具的俯视轮廓数据；

所述处理器还连接有第三图像传感器，所述第三图像传感器采集所述餐具侧面的尺寸数据和侧视轮廓数据，通过所述数据处理模块将所述尺寸数据、所述侧视轮廓数据与所述图案姿态数据、所述俯视轮廓数据和所述餐具姿态数据进行数据处理和拼接，形成餐具姿态模型；并将所述餐具姿态模型存储于所述数据库；

基于图像传感器获取餐具的图案姿态数据，所述处理器通过所述数据比对模块获取所述数据库中对应图案姿态数据的餐具姿态模型；

所述餐具放置在透明平台上，所述图案设置在餐具的底面，所述第一图像传感器、第二图像传感器分别垂直对准于所述餐具的底面和顶面，所述第三图像传感器垂直对准于所述餐具的侧面。

2.根据权利要求1所述的餐具姿态的识别系统，其特征在于，所述图案包括基准标记和识别码，所述基准标记用于分辨图案的方向，所述数据库对应识别码预设有对应餐具的参数信息，通过图像传感器和所述处理器进行解码得到餐具参数信息。

3.根据权利要求1所述的餐具姿态的识别系统，其特征在于，所述图案印制在标贴上，所述标贴设置于所述餐具的底面。

4.一种餐具姿态的识别方法，其特征在于，本方法应用于如权利要求1-3任一项的餐具姿态的识别系统，该方法包括以下步骤：

S1、利用第一图像传感器采集位于餐具一面的图案的图案姿态数据；

S2、利用第二图像传感器采集餐具另一面的餐具姿态数据和俯视轮廓数据，并利用第三图像传感器采集所述餐具侧面的尺寸数据和侧视轮廓数据；

S3、所述处理器通过数据处理模块将所述图案姿态数据、所述餐具姿态数据、所述俯视轮廓数据、所述尺寸数据和所述侧视轮廓数据进行数据处理和拼接，形成该餐具的餐具姿态模型，并储存于数据库中；

S4、识别餐具姿态时，通过图像传感器拍摄所述图案；

S5、所述处理器基于图案姿态数据，得到对应的餐具姿态模型，从而确认餐具的姿态。