CN111191551B - 商品检测的方法及装置 - Google Patents

商品检测的方法及装置 Download PDF

Info

Publication number
CN111191551B
CN111191551B CN201911342660.7A CN201911342660A CN111191551B CN 111191551 B CN111191551 B CN 111191551B CN 201911342660 A CN201911342660 A CN 201911342660A CN 111191551 B CN111191551 B CN 111191551B
Authority
CN
China
Prior art keywords
depth information
information
determining
data
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911342660.7A
Other languages
English (en)
Other versions
CN111191551A (zh
Inventor
王文琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudminds Robotics Co Ltd
Original Assignee
Cloudminds Shanghai Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Shanghai Robotics Co Ltd filed Critical Cloudminds Shanghai Robotics Co Ltd
Priority to CN201911342660.7A priority Critical patent/CN111191551B/zh
Publication of CN111191551A publication Critical patent/CN111191551A/zh
Application granted granted Critical
Publication of CN111191551B publication Critical patent/CN111191551B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例涉及目标检测识别技术领域，公开了一种商品检测的方法及装置，该方法包括：通过第一视觉采集器获取鱼眼图像，所述鱼眼图像中包括第一对象的图像；确定所述第一对象的位置信息；通过第二视觉采集器获取所述第一对象的深度信息；从包括位置信息和深度信息对应关系的数据集合中，选取第一数据；所述第一数据包括第一位置信息，第一深度信息，和第二深度信息；其中，所述第一位置与所述第一对象的位置最接近；从所述第一深度信息和所述第二深度信息中，确定与所述第一对象的深度信息最接近的深度信息；输出所述第一对象的标签，所述第一对象的标签为所述确定的深度信息所对应的标签。通过上述方式，本发明实施例可以更有效识别同种类而不同规格的物品。

Description

商品检测的方法及装置
技术领域
本发明实施例涉及目标检测识别技术领域，具体涉及一种商品检测的方法及装置。
背景技术
目前的智能货柜视觉方案主要通过鱼眼镜头作为视觉采集器对货柜中的商品进行检测识别。相比普通镜头，鱼眼镜头的视角更大，在货柜的层高有限的条件下，可以收集到整层货柜的商品的视觉信息。但是在该视觉方案中，在鱼眼镜头的视角下可能无法识别出货柜中某些同种类不同规格(比如商品的高低不同)的商品的区别。
如何检测和识别货柜中同种类不同规格商品，是需要解决的一个问题。
发明内容
鉴于上述问题，本发明实施例提供了一种商品检测的方法，可以更有效识别同种类而不同规格的物品。
根据本发明实施例的一个方面，提供了一种商品检测方法，所述方法包括：
通过第一视觉采集器获取鱼眼图像，所述鱼眼图像中包括第一对象的图像；
确定所述第一对象的位置信息；
通过第二视觉采集器获取所述第一对象的深度信息；
从包括位置信息和深度信息对应关系的数据集合中，选取第一数据；所述第一数据包括第一位置信息，第一深度信息，和第二深度信息；其中，所述第一位置与所述第一对象的位置最接近；
从所述第一深度信息和所述第二深度信息中，确定与所述第一对象的深度信息最接近的深度信息；
输出所述第一对象的标签，所述第一对象的标签为所述确定的深度信息所对应的标签。
在一种可选的方式中，该方法进一步包括：获取所述包括位置信息和深度信息对应关系的数据集合。
在一种可选的方式中，所述从包括位置信息和深度信息对应关系的数据集合中，选取第一数据包括：分别确定所述第一对象的位置信息与所述数据集合中各数据中的位置信息的差值；确定位置信息的最小差值对应的数据为第一数据。
在一种可选的方式中，所述从所述第一深度信息和所述第二深度信息中，确定与所述第一对象的深度信息最接近的深度信息包括：分别确定所述第一对象的深度信息与所述第一深度信息和第二深度信息的差值；从所述第一深度信息或者所述第二深度信息中，确定深度信息的最小差值对应的深度信息为与所述第一对象的深度信息最接近的深度信息。
根据本发明实施例的另一方面，提供了一种商品检测装置，包括：
第一视觉采集器，用于获取鱼眼图像，所述鱼眼图像中包括第一对象的图像；
处理器，用于确定所述第一对象的位置信息；
第二视觉采集器，用于获取所述第一对象的深度信息；
所述处理器，还用于从包括位置信息和深度信息对应关系的数据集合中，选取第一数据；所述第一数据包括第一位置信息，第一深度信息，和第二深度信息；其中，所述第一位置与所述第一对象的位置最接近；
所述处理器，还用于从所述第一深度信息和所述第二深度信息中，确定与所述第一对象的深度信息最接近的深度信息；
输出装置，用于输出所述第一对象的标签，所述第一对象的标签为所述确定的深度信息所对应的标签。
在一种可选的方式中，所述处理器，还用于获取所述包括位置信息和深度信息对应关系的数据集合。
在一种可选的方式中，所述处理器具体用于：分别确定所述第一对象的位置信息与所述数据集合中各数据中的位置信息的差值；确定位置信息的最小差值对应的数据为第一数据。
在一种可选的方式中，所述处理器具体用于：分别确定所述第一对象的深度信息与所述第一深度信息和第二深度信息的差值；从所述第一深度信息或者所述第二深度信息中，确定深度信息的最小差值对应的深度信息为与所述第一对象的深度信息最接近的深度信息。
根据本发明实施例的另一方面，提供了一种商品检测装置，包括：
第一获取模块，用于通过第一视觉采集器获取鱼眼图像，所述鱼眼图像中包括第一对象的图像；
第一确定模块，用于确定所述第一对象的位置信息；
第二获取模块，用于通过第二视觉采集器获取所述第一对象的深度信息；
选取模块，用于从包括位置信息和深度信息对应关系的数据集合中，选取第一数据；所述第一数据包括第一位置信息，第一深度信息，和第二深度信息；其中，所述第一位置与所述第一对象的位置最接近；
第二确定模块，用于从所述第一深度信息和所述第二深度信息中，确定与所述第一对象的深度信息最接近的深度信息；
输出模块，用于输出所述第一对象的标签，所述第一对象的标签为所述确定的深度信息所对应的标签。
在一种可选的方式中，还包括第三获取模块，用于获取所述包括位置信息和深度信息对应关系的数据集合。
在一种可选的方式中，所述选取模块包括：第一计算子单元，用于分别确定所述第一对象的位置信息与所述数据集合中各数据中的位置信息的差值；第一确定子单元，用于确定位置信息的最小差值对应的数据为第一数据。
在一种可选的方式中，所述第二确定模块包括：
第二计算子单元，用于分别确定所述第一对象的深度信息与所述第一深度信息和第二深度信息的差值；第二确定子单元，用于从所述第一深度信息或者所述第二深度信息中，确定深度信息的最小差值对应的深度信息为与所述第一对象的深度信息最接近的深度信息。
根据本发明实施例的另一方面，提供了一种商品检测设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述商品检测方法的步骤。
根据本发明实施例的又一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使所述处理器执行上述商品检测方法的步骤。
本发明实施例通过第一视觉采集器和第二视觉采集器，分别获取第一对象的位置信息和深度信息；并将该第一对象的位置信息和深度信息，与包括位置信息和深度信息对应关系的数据集合进行比对，确定与第一对象的深度信息最接近的深度信息，从而将该确定的深度信息所对应的标签确定为第一对象的标签。根据该标签，从而可以有效的识别同种类而不同规格的物品。
上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的商品检测方法流程图；
图2示出了本发明实施例提供的商品检测装置的结构示意图；
图3示出了本发明又一实施例提供的商品检测装置的结构示意图；
图4示出了本发明又一实施例提供的商品检测设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
图1示出了本发明商品检测方法实施例的流程图，该方法应用于使用广角镜头的人工智能产品中，比如智能货柜等。如图1所示，该方法包括以下步骤：
步骤101：通过第一视觉采集器获取鱼眼图像，所述鱼眼图像中包括第一对象的图像；
该第一视觉采集器获取的鱼眼图像，可以包括至少一个第一对象的图像。比如该鱼眼图像包括商品A，B，C等商品的图像。其中，第一视觉采集器是可以是任何广角镜头，比如鱼眼镜头。如果该方法应用于智能货柜中，该鱼眼镜头可以位于智能货柜每一层的顶部。
步骤102：确定所述第一对象的位置信息；
可以采用目标检测算法对第一视觉采集器获取的鱼眼图像进行检测，获取鱼眼图像中包括的对象的位置信息。比如通过检测算法可以得到商品A的位置信息(XA，YA)。如果商品A有两种规格：高度较高的商品A1和高度较低的商品A2。但是通过检测算法不能识别商品A是A1还是A2。其中目标检测算法，可以任何检测算法，只要能够对鱼眼图的检测识别。
步骤103：通过第二视觉采集器获取所述第一对象的深度信息；
该第二视觉采集器可以是任何深度镜头，比如RGB-D镜头。可在货柜的内侧角增加一个固定位置的RGB-D镜头来采集货柜指定区域中商品的深度信息。比如采集到商品A的深度信息DA。
步骤104：从包括位置信息和深度信息对应关系的数据集合中，选取第一数据；所述第一数据包括：第一位置信息，第一深度信息，和第二深度信息；其中，所述第一位置与所述第一对象的位置最接近；
包括位置信息和深度信息对应关系的数据集合可以表示为：{[(X1,Y1),DH1,DL1],[(X2,Y2),DH2,DL2],...[(Xi,Yi),DHi,DLi],...[(Xn,Yn),DHn,DLn]}。其中，(Xn,Yn)表示商品的位置信息，DHn表示高度较高的商品的深度信息，DLn表示高度较低的商品的深度信息。i＝1,2...n。
可将第一对象的位置信息与该数据集合进行比对，从该数据集合中选第一数据。
可选的，从包括位置信息和深度信息对应关系的数据集合中，选取第一数据包括：分别确定所述第一对象的位置信息与所述数据集合中各数据中的位置信息的差值；确定位置信息的最小差值对应的数据为第一数据。
比如，分别计算商品A的位置信息(XA，YA)与数据集合{[(X1,Y1),DH1,DL1],[(X2,Y2),DH2,DL2],...,[(Xn,Yn),DHn,DLn]}中每个数据中的位置信息(Xi,Yi)的差值di＝|XA-Xi|^2+|YA-Yi|^2，得到di的集合{d1,d2,...dn}。从中找到最小的di对应的数据为第一数据。比如最小的di为d3，则(X3,Y3),DH3,DL3]为第一数据。其中，第一深度信息为DH3，第二深度信息为DL3；或者第一深度信息为DL3，第二深度信息为DH3。其中第一数据的位置(X3,Y3)和商品A的位置(XA，YA)最接近。
步骤105：从所述第一深度信息和所述第二深度信息中，确定与所述第一对象的深度信息最接近的深度信息；
可将第一对象的深度信息分别与第一深度信息和第二深度信息进行比对，确定与该第一对象的深度信息最接近的深度信息。
可选的，所述从所述第一深度信息和所述第二深度信息中，确定与所述第一对象的深度信息最接近的深度信息包括：分别确定所述第一对象的深度信息与所述第一深度信息和第二深度信息的差值；从所述第一深度信息或者所述第二深度信息中，确定深度信息的最小差值对应的深度信息为与所述第一对象的深度信息最接近的深度信息。
比如，分别计算商品A的深度信息(DA)与DH3,DL3的差值，分别表示为：|DA-DH3|，|DA-DL3|。求最小值min{|DA-DH3|,|DA-DL3|}。当最小值为|DA-DH3|时，与商品A的深度信息最接近的深度信息为DH3。当最小值为|DA-DL3|时，与商品A的深度信息最接近的深度信息为DL3。
步骤106：输出所述第一对象的标签，所述第一对象的标签为所述确定的深度信息所对应的标签。
将所确定的深度信息所对应的标签，也就是商品的规格，作为第一对象的标签，并输出该第一对象的标签。
如果与商品A的深度信息最接近的深度信息为DH3，则商品A的标签就是高度较高的商品。如果与商品A的深度信息最接近的深度信息为DL3，则商品A的标签就是高度较低的商品。
本发明实施例通过第一视觉采集器和第二视觉采集器，分别获取第一对象的位置信息和深度信息；并将该第一对象的位置信息和深度信息，与包括位置信息和深度信息对应关系的数据集合进行比对，确定与第一对象的深度信息最接近的深度信息，从而将该确定的深度信息所对应的标签确定为第一对象的标签。根据该标签，从而可以有效的识别同种类而不同规格的物品。
本发明实施例提供的又一商品检测方法，跟图1所示的实施例相比，进一步包括获取所述包括位置信息和深度信息对应关系的数据集合。该数据集合，可以是预先建立的一个标准数据库。该标准数据库中数据的生成方法，可以有多种方法，比如：
在货柜每一层的顶部设置广角摄像头，比如鱼眼摄像头。在货柜的内侧角增加一个固定位置的深度摄像头，比如RGB-D相机，来采集货柜指定区域中商品的深度信息。将鱼眼镜头采集到的畸变鱼眼图像进行校正，将校正后的鱼眼图像与RGB-D摄像头采集到的RGB图像和深度图像进行映射，得到RGB-D相机在鱼眼镜头中重叠的区域，作为可摆放同种类不同规格商品的区域。将该区域内，摆满高度较高的商品A1，记录下其位置和深度信息{[(XA，YA)，DHA]}。在同样位置下将高度较高商品替换成高度较低的商品A2，记录下该位置下的高度较低的深度信息DLA。商品A1和A2都属于商品A，但是商品规格不同。也就是两种商品的高度不同。从而获得一个包括该区域内商品A的位置信息和深度信息对应关系的数据集合：{[(X1,Y1),DH1,DL1],[(X2,Y2),DH2,DL2],...[(Xi,Yi),DHi,DLi],...[(Xn,Yn),DHn,DLn]}。
图2示出了本发明商品检测装置实施例的结构示意图。如图2所示，该装置200包括：第一视觉采集器201、第二视觉采集器202、处理器203和输出装置204。
其中，第一视觉采集器201，用于获取鱼眼图像，所述鱼眼图像中包括第一对象的图像。第二视觉采集器202，用于获取所述第一对象的深度信息。比如，该装置位于智能货柜时，该第一视觉采集器201可以为鱼眼摄像头，3可以位于智能货柜每一层的顶部；该第二视觉采集器202可以为深度摄像头，比如，RGB-D摄像头，可以位于智能货柜的内侧角。
处理器203，用于确定所述第一对象的位置信息；还用于从包括位置信息和深度信息对应关系的数据集合中，选取第一数据；所述第一数据包括第一位置信息，第一深度信息，和第二深度信息；其中，所述第一位置与所述第一对象的位置最接近；还用于从所述第一深度信息和所述第二深度信息中，确定与所述第一对象的深度信息最接近的深度信息。
输出装置204，用于输出所述第一对象的标签，所述第一对象的标签为所述确定的深度信息所对应的标签。
在一种可选的方式中，该处理器203，还用于获取所述包括位置信息和深度信息对应关系的数据集合。
在一种可选的方式中，该处理器203，具体用于分别确定所述第一对象的位置信息与所述数据集合中各数据中的位置信息的差值；确定位置信息的最小差值对应的数据为第一数据。
在一种可选的方式中，该处理器203，具体用于分别确定所述第一对象的深度信息与所述第一深度信息和第二深度信息的差值；从所述第一深度信息或者所述第二深度信息中，确定深度信息的最小差值对应的深度信息为与所述第一对象的深度信息最接近的深度信息。
该装置可以用来执行上述的商品检测方法。本发明实施例通过第一视觉采集器和第二视觉采集器，分别获取第一对象的位置信息和深度信息；并将该第一对象的位置信息和深度信息，与包括位置信息和深度信息对应关系的数据集合进行比对，确定与第一对象的深度信息最接近的深度信息，从而将该确定的深度信息所对应的标签确定为第一对象的标签。根据该标签，从而可以有效的识别同种类而不同规格的物品。
图3示出了本发明商品检测装置实施例的结构示意图。如图3所示，该装置300包括：：第一获取模块301、第一确定模块302、第二获取模块303、选取模块304、第二确定模块305和输出模块306。
第一获取模块301，用于通过第一视觉采集器获取鱼眼图像，所述鱼眼图像中包括第一对象的图像。
第一确定模块302，用于确定所述第一对象的位置信息。
第二获取模块303，用于通过第二视觉采集器获取所述第一对象的深度信息。
选取模块304，用于从包括位置信息和深度信息对应关系的数据集合中，选取第一数据；所述第一数据包括第一位置信息，第一深度信息，和第二深度信息；其中，所述第一位置与所述第一对象的位置最接近。
第二确定模块305，用于从所述第一深度信息和所述第二深度信息中，确定与所述第一对象的深度信息最接近的深度信息。
输出模块306，用于输出所述第一对象的标签，所述第一对象的标签为所述确定的深度信息所对应的标签。
在一种可选的方式中，该装置还包括第三获取模块307。该第三获取模块307，用于获取所述包括位置信息和深度信息对应关系的数据集合。
在一种可选的方式中，所述选取模块304包括：第一计算子单元3041和第一确定子单元3042。其中，第一计算子单元3041，用于分别确定所述第一对象的位置信息与所述数据集合中各数据中的位置信息的差值；第一确定子单元3042，用于确定位置信息的最小差值对应的数据为第一数据。
在一种可选的方式中，所述第二确定模块305包括：第二计算子单元3051和第二确定子单元3052。其中，第二计算子单元3052，用于分别确定所述第一对象的深度信息与所述第一深度信息和第二深度信息的差值；第二确定子单元3053，用于从所述第一深度信息或者所述第二深度信息中，确定深度信息的最小差值对应的深度信息为与所述第一对象的深度信息最接近的深度信息。
该装置可以用来执行上述的商品检测方法。本发明实施例通过第一视觉采集器和第二视觉采集器，分别获取第一对象的位置信息和深度信息；并将该第一对象的位置信息和深度信息，与包括位置信息和深度信息对应关系的数据集合进行比对，确定与第一对象的深度信息最接近的深度信息，从而将该确定的深度信息所对应的标签确定为第一对象的标签。根据该标签，从而可以有效的识别同种类而不同规格的物品。
本发明实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的商品检测方法。
可执行指令具体可以用于使得处理器执行以下操作：
通过第一视觉采集器获取鱼眼图像，所述鱼眼图像中包括第一对象的图像；
确定所述第一对象的位置信息；
通过第二视觉采集器获取所述第一对象的深度信息；
从包括位置信息和深度信息对应关系的数据集合中，选取第一数据；所述第一数据包括第一位置信息，第一深度信息，和第二深度信息；其中，所述第一位置与所述第一对象的位置最接近；
从所述第一深度信息和所述第二深度信息中，确定与所述第一对象的深度信息最接近的深度信息；
输出所述第一对象的标签，所述第一对象的标签为所述确定的深度信息所对应的标签。
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：获取所述包括位置信息和深度信息对应关系的数据集合。
在一种可选的方式中，所述可执行指令使所述处理器执行以下具体操作：分别确定所述第一对象的位置信息与所述数据集合中各数据中的位置信息的差值；确定位置信息的最小差值对应的数据为第一数据。
在一种可选的方式中，所述可执行指令使所述处理器执行以下具体操作：分别确定所述第一对象的深度信息与所述第一深度信息和第二深度信息的差值；从所述第一深度信息或者所述第二深度信息中，确定深度信息的最小差值对应的深度信息为与所述第一对象的深度信息最接近的深度信息。
图4示出了本发明商品检测设备实施例的结构示意图，本发明具体实施例并不对商品检测设备的具体实现做限定。
如图4所示，该商品检测设备可以包括：处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。
其中：处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。通信接口404，用于与其它设备比如客户端或其它服务器等的网元通信。处理器402，用于执行程序410，具体可以执行上述用于商品检测设备的图形绘制方法实施例中的相关步骤。
具体地，程序410可以包括程序代码，该程序代码包括计算机操作指令。
处理器402可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。商品检测设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器406，用于存放程序410。存储器406可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序410具体可以用于使得处理器402执行以下操作：
通过第一视觉采集器获取鱼眼图像，所述鱼眼图像中包括第一对象的图像；
确定所述第一对象的位置信息；
通过第二视觉采集器获取所述第一对象的深度信息；
从包括位置信息和深度信息对应关系的数据集合中，选取第一数据；所述第一数据包括第一位置信息，第一深度信息，和第二深度信息；其中，所述第一位置与所述第一对象的位置最接近；
从所述第一深度信息和所述第二深度信息中，确定与所述第一对象的深度信息最接近的深度信息；
输出所述第一对象的标签，所述第一对象的标签为所述确定的深度信息所对应的标签。
在一种可选的方式中，所述程序410使所述处理器还执行以下操作：
获取所述包括位置信息和深度信息对应关系的数据集合。
在一种可选的方式中，所述程序410使所述处理器还执行以下具体操作：
分别确定所述第一对象的位置信息与所述数据集合中各数据中的位置信息的差值；确定位置信息的最小差值对应的数据为第一数据。
在一种可选的方式中，所述程序410使所述处理器还执行以下具体操作：
分别确定所述第一对象的深度信息与所述第一深度信息和第二深度信息的差值；从所述第一深度信息或者所述第二深度信息中，确定深度信息的最小差值对应的深度信息为与所述第一对象的深度信息最接近的深度信息。
在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。

Claims (13)

1.一种商品检测的方法，其特征在于，所述方法包括：
通过第一视觉采集器获取鱼眼图像，所述鱼眼图像中包括第一对象的图像；
确定所述第一对象的位置信息；
通过第二视觉采集器获取所述第一对象的深度信息；
从包括位置信息和深度信息对应关系的数据集合中，选取第一数据；所述第一数据包括第一位置信息，第一深度信息，和第二深度信息；其中，所述第一位置信息与所述第一对象的位置信息最接近；
从所述第一深度信息和所述第二深度信息中，确定与所述第一对象的深度信息最接近的深度信息；
输出所述第一对象的标签，所述第一对象的标签为所述与所述第一对象的深度信息最接近的深度信息所对应的标签。
2.根据权利要求1所述的方法，其特征在于，进一步包括：
获取所述包括位置信息和深度信息对应关系的数据集合。
3.根据权利要求1或2所述的方法，其特征在于，所述从包括位置信息和深度信息对应关系的数据集合中，选取第一数据包括：
分别确定所述第一对象的位置信息与所述数据集合中各数据中的位置信息的差值；
确定位置信息的最小差值对应的数据为第一数据。
4.根据权利要求1或2所述的方法，其特征在于，所述从所述第一深度信息和所述第二深度信息中，确定与所述第一对象的深度信息最接近的深度信息包括：
分别确定所述第一对象的深度信息与所述第一深度信息和第二深度信息的差值；
从所述第一深度信息或者所述第二深度信息中，确定深度信息的最小差值对应的深度信息为与所述第一对象的深度信息最接近的深度信息。
5.一种商品检测装置，其特征在于，所述装置包括：
第一视觉采集器，用于获取鱼眼图像，所述鱼眼图像中包括第一对象的图像；
处理器，用于确定所述第一对象的位置信息；
第二视觉采集器，用于获取所述第一对象的深度信息；
所述处理器，还用于从包括位置信息和深度信息对应关系的数据集合中，选取第一数据；所述第一数据包括第一位置信息，第一深度信息，和第二深度信息；其中，所述第一位置信息与所述第一对象的位置信息最接近；
所述处理器，还用于从所述第一深度信息和所述第二深度信息中，确定与所述第一对象的深度信息最接近的深度信息；
输出装置，用于输出所述第一对象的标签，所述第一对象的标签为所述与所述第一对象的深度信息最接近的深度信息所对应的标签。
6.根据权利要求5所述的装置，其特征在于，所述处理器，还用于获取所述包括位置信息和深度信息对应关系的数据集合。
7.根据权利要求5或6所述的装置，其特征在于，所述处理器具体用于：
分别确定所述第一对象的位置信息与所述数据集合中各数据中的位置信息的差值；确定位置信息的最小差值对应的数据为第一数据。
8.根据权利要求5或6所述的装置，其特征在于，所述处理器具体用于：
分别确定所述第一对象的深度信息与所述第一深度信息和第二深度信息的差值；
从所述第一深度信息或者所述第二深度信息中，确定深度信息的最小差值对应的深度信息为与所述第一对象的深度信息最接近的深度信息。
9.一种商品检测装置，其特征在于，所述装置包括：
第一获取模块，用于通过第一视觉采集器获取鱼眼图像，所述鱼眼图像中包括第一对象的图像；
第一确定模块，用于确定所述第一对象的位置信息；
第二获取模块，用于通过第二视觉采集器获取所述第一对象的深度信息；
选取模块，用于从包括位置信息和深度信息对应关系的数据集合中，选取第一数据；所述第一数据包括第一位置信息，第一深度信息，和第二深度信息；其中，所述第一位置信息与所述第一对象的位置信息最接近；
第二确定模块，用于从所述第一深度信息和所述第二深度信息中，确定与所述第一对象的深度信息最接近的深度信息；
输出模块，用于输出所述第一对象的标签，所述第一对象的标签为所述与所述第一对象的深度信息最接近的深度信息所对应的标签。
10.根据权利要求9所述的装置，其特征在于，还包括第三获取模块，用于获取所述包括位置信息和深度信息对应关系的数据集合。
11.根据权利要求9或10所述的装置，其特征在于，所述选取模块包括：
第一计算子单元，用于分别确定所述第一对象的位置信息与所述数据集合中各数据中的位置信息的差值；
第一确定子单元，用于确定位置信息的最小差值对应的数据为第一数据。
12.根据权利要求9或10所述的装置，其特征在于，所述第二确定模块包括：
第二计算子单元，用于分别确定所述第一对象的深度信息与所述第一深度信息和第二深度信息的差值；
第二确定子单元，用于从所述第一深度信息或者所述第二深度信息中，确定深度信息的最小差值对应的深度信息为与所述第一对象的深度信息最接近的深度信息。
13.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行根据权利要求1-4任一项所述的商品检测的方法的步骤。
CN201911342660.7A 2019-12-23 2019-12-23 商品检测的方法及装置 Active CN111191551B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911342660.7A CN111191551B (zh) 2019-12-23 2019-12-23 商品检测的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911342660.7A CN111191551B (zh) 2019-12-23 2019-12-23 商品检测的方法及装置

Publications (2)

Publication Number Publication Date
CN111191551A CN111191551A (zh) 2020-05-22
CN111191551B true CN111191551B (zh) 2023-07-14

Family

ID=70709345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911342660.7A Active CN111191551B (zh) 2019-12-23 2019-12-23 商品检测的方法及装置

Country Status (1)

Country Link
CN (1) CN111191551B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108447061A (zh) * 2018-01-31 2018-08-24 深圳市阿西莫夫科技有限公司 商品信息处理方法、装置、计算机设备和存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006202147A (ja) * 2005-01-21 2006-08-03 Honda Motor Co Ltd 陳列支援システムおよび陳列支援方法並びに陳列支援プログラム
EP3566193A4 (en) * 2017-01-04 2020-08-26 Aquifi, Inc. SYSTEMS AND METHODS FOR SHAPE-BASED OBJECT RECOVERY
CN109543527A (zh) * 2018-10-19 2019-03-29 北京陌上花科技有限公司 用于无人货架的商品检测方法、装置以及零售终端

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108447061A (zh) * 2018-01-31 2018-08-24 深圳市阿西莫夫科技有限公司 商品信息处理方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN111191551A (zh) 2020-05-22

Similar Documents

Publication Publication Date Title
EP3620981B1 (en) Object detection method, device, apparatus and computer-readable storage medium
US20210319582A1 (en) Method(s) and System(s) for Vehicular Cargo Management
CN109376631B (zh) 一种基于神经网络的回环检测方法及装置
CN115641332B (zh) 产品边缘外观缺陷的检测方法及装置、介质、设备
CN108573471B (zh) 图像处理装置、图像处理方法以及记录介质
CN111161346B (zh) 将商品在货架中进行分层的方法、装置和电子设备
US11741685B2 (en) Commodity identification device, non-transitory computer-readable storage medium, and learning method
CN114764778A (zh) 一种目标检测方法、目标检测模型训练方法及相关设备
CN111339887A (zh) 商品识别方法及智能货柜系统
US20210272170A1 (en) Method, Device, Electronic Apparatus and Storage Medium for Generating Order
CN114519853A (zh) 一种基于多模态融合的三维目标检测方法及系统
WO2020043351A1 (en) Method(s) and system(s) for vehicular cargo management
CN111191551B (zh) 商品检测的方法及装置
CN115908988B (zh) 一种缺陷检测模型生成方法、装置、设备以及存储介质
CN111680680A (zh) 一种目标码定位方法、装置、电子设备及存储介质
WO2022247628A1 (zh) 一种数据标注方法及相关产品
CN112819953B (zh) 三维重建方法、网络模型训练方法、装置及电子设备
CN113033578B (zh) 基于多尺度特征匹配的图像校准方法、系统、终端及介质
US11281935B2 (en) 3D object detection from calibrated 2D images
CN114445725A (zh) 一种生鲜货物的检测方法和装置
CN113793349A (zh) 目标检测方法及装置、计算机可读存储介质、电子设备
WO2011047505A1 (en) Data processing system and method
US20230386055A1 (en) Image feature matching method, computer device, and storage medium
US11393122B1 (en) Method and system for determining contextual object position
CN116152345B (zh) 一种嵌入式系统实时物体6d位姿和距离估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210127

Address after: 200000 second floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Applicant after: Dalu Robot Co.,Ltd.

Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Applicant before: CLOUDMINDS (SHENZHEN) ROBOTICS SYSTEMS Co.,Ltd.

TA01 Transfer of patent application right
CB02 Change of applicant information

Address after: 201111 Building 8, No. 207, Zhongqing Road, Minhang District, Shanghai

Applicant after: Dayu robot Co.,Ltd.

Address before: 200000 second floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Applicant before: Dalu Robot Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant