CN107886540A - 制冷设备内物品识别定位方法和制冷设备 - Google Patents

制冷设备内物品识别定位方法和制冷设备 Download PDF

Info

Publication number
CN107886540A
CN107886540A CN201710999183.6A CN201710999183A CN107886540A CN 107886540 A CN107886540 A CN 107886540A CN 201710999183 A CN201710999183 A CN 201710999183A CN 107886540 A CN107886540 A CN 107886540A
Authority
CN
China
Prior art keywords
image
target item
coordinate
refrigeration plant
rectangle frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710999183.6A
Other languages
English (en)
Other versions
CN107886540B (zh
Inventor
高洪波
刘彦甲
俞国新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Haier Smart Technology R&D Co Ltd
Haier Smart Home Co Ltd
Original Assignee
Qingdao Haier Smart Technology R&D Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Haier Smart Technology R&D Co Ltd filed Critical Qingdao Haier Smart Technology R&D Co Ltd
Priority to CN201710999183.6A priority Critical patent/CN107886540B/zh
Publication of CN107886540A publication Critical patent/CN107886540A/zh
Application granted granted Critical
Publication of CN107886540B publication Critical patent/CN107886540B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

制冷设备内物品识别定位方法：采集第一摄像头的第一图像和第二摄像头的第二图像；标定搁板的四个角部确定第一图像坐标和第二图像坐标；计算角部世界坐标；计算第一映射关系和第二映射关系；识别第一图像和第二图像中的目标物品的种类并标定目标物品的第一目标平面坐标和第二目标平面坐标，调用第一目标平面坐标和第一映射关系计算第一还原世界坐标，调用第二目标平面坐标和第二映射关系计算第二还原世界坐标。比较并判断第一还原世界坐标和第二还原世界坐标的偏差是否属于设定区间，若属于，则输出目标物品种类和识别数量，若不属于，则输出目标物品种类和校正数量。还公开一种制冷设备。本发明具有精度高且智能化程度高的优点。

Description

制冷设备内物品识别定位方法和制冷设备
技术领域
本发明涉及制冷设备技术领域，尤其涉及一种制冷设备内物品识别定位方法和一种制冷设备。
背景技术
随着生活水平的提高，人们越来越注重营养和健康。智能制冷设备通过对间室中存储食物的识别，可以为用户推荐菜谱，统计食物数量和种类，方便人们的生活。为实现上述功能，食物的智能识别是基础，准确地识别食物的种类和数量尤为重要。
现有技术中采用两种方案实现食物的识别，第一种为单RGB广角摄像头加补光的方案，具体来说为在冷藏室侧壁和门内侧的某个位置安装一个RGB广角摄像头，在对应的另一侧安装一个补光灯。这种方式无法克服食物被部分遮挡或完全遮挡的问题，容易出现遗漏，导致输出的数据不准确。第二种为RFID方案，在物品上增加RFID标签，在间室内增加RFID读写器，利用射频技术定位和统计。但是，对于非批量化生产的食物，很难逐一增加标签，这种方案的应用场所有限。
发明内容
为提高制冷设备中物品的识别精度和识别效率，本发明提供一种制冷设备内物品识别定位方法。
本发明一种制冷设备内物品识别定位方法，所述制冷设备内形成有储物间室，所述储物间室中设置有至少一个搁板，储物间室内至少设置有第一摄像头和第二摄像头，所述第一摄像头和第二摄像头的拍摄角度覆盖所述搁板；
所述识别和定位方法包括以下步骤：
采集当前帧所述第一摄像头输出的第一图像和所述第二摄像头输出的第二图像；
在所述第一图像中标定所述搁板的四个角部并确定四个角部在所述第一图像中的图像坐标，记为第一图像坐标；在所述第二图像中标定所述搁板的四个角部并确定四个角部在所述第二图像中的图像坐标，记为第二图像坐标；
设定搁板的一个角部为原点，计算四个角部的世界坐标；
根据四个角点的第一图像坐标和世界坐标计算第一映射关系，根据四个角点的第二图像坐标和世界坐标计算第二映射关系；
在线识别所述第一图像中的目标物品的种类并标定所述目标物品的第一目标平面坐标，调用所述第一目标平面坐标和所述第一映射关系计算所述目标物品的第一还原世界坐标；在线识别所述第二图像中的目标物品的种类并标定所述目标物品的第二目标平面坐标，调用所述第二目标平面坐标和所述第二映射关系计算所述目标物品的第二还原世界坐标；
比较并判断第一还原世界坐标和第二还原世界坐标之间的偏差是否属于设定区间，若属于，则输出当前在线识别的目标物品种类和识别数量，若不属于，则输出当前在线识别的目标物品种类和校正数量，所述校正数量＝所述识别数量+1。
进一步的，利用FAST-9算法分别在所述第一图像和第二图像中标定所述搁板的角部并确定角部的第一图像坐标和第二图像坐标，包括以下步骤：
利用四个相同的矩形框分别框选所述第一图像和所述第二图像中所述搁板的四个角部；
在每一个所述矩形框中全局搜索，确定具有最大FAST-9强度的点为角点并输出角点的坐标值。
优选的，所述矩形框为10mm*10mm矩形框。
更进一步的，在线识别时，包括以下步骤：
建立训练图片集合；
手动标定图片中目标物品的位置和种类，利用深度学习算法对图片集合进行训练，获得识别模型；
将所述第一图像输入至所述识别模型中，标定识别出的目标物品，确定第一图像中每一个目标物品的外接最小矩形框，以所述最小矩形框中心线上一点的坐标作为目标物品的第一目标平面坐标；
将所述第二图像输入至所述识别模型中，标定识别出的目标物品，确定第二图像中每一个目标物品的外接最小矩形框，以所述最小矩形框中心线上一点的坐标作为目标物品的第二目标平面坐标。
可选的，在线识别时，包括以下步骤：
建立训练图片集合；
手动标定图片中目标物品的位置和种类，利用深度学习算法对图片集合进行训练，获得识别模型；
将所述第一图像输入至所述识别模型中，标定识别出的目标物品，确定第一图像中每一个目标物品的初始外接矩形框，以所述初始外接矩形框底边中心点的坐标作为目标物品的第一目标平面坐标；
将所述第二图像输入至所述识别模型中，标定识别出的目标物品，确定第二图像中每一个目标物品的初始外接矩形框，以所述初始外接矩形框底边中心点的坐标作为目标物品的第二目标平面坐标。
优选的，所述设定区间的上限在(1cm,5cm)的区间范围内取值。
更进一步的，任意一个维度的偏差不属于所述设定区间，则输出当前在线识别的目标物品种类和校正数量。
本发明所提供的制冷设备内物品识别和定位方法，可以准确地检测完全遮挡或部分遮挡物品的数量，提高了物品识别率，方便用户使用，也为后续的数据处理提供了准确的数据依据。
同时还公开了一种制冷设备，采用以下所述的制冷设备内物品识别定位方法，包所述制冷设备内形成有储物间室，所述储物间室中设置有至少一个搁板储物间室内至少设置有第一摄像头和第二摄像头，所述第一摄像头和第二摄像头的拍摄角度覆盖所述搁板，包括以下步骤：
采集当前帧所述第一摄像头输出的第一图像和所述第二摄像头输出的第二图像；
在所述第一图像中标定所述搁板的四个角部并确定四个角部在所述第一图像中的图像坐标，记为第一图像坐标；在所述第二图像中标定所述搁板的四个角部并确定四个角部在所述第二图像中的图像坐标，记为第二图像坐标；
设定搁板的一个角部为原点，计算四个角部的世界坐标；
根据四个角点的第一图像坐标和世界坐标计算第一映射关系，根据四个角点的第二图像坐标和世界坐标计算第二映射关系；
在线识别所述第一图像中的目标物品的种类并标定所述目标物品的第一目标平面坐标，调用所述第一目标平面坐标和所述第一映射关系计算所述目标物品的第一还原世界坐标；在线识别所述第二图像中的目标物品的种类并标定所述目标物品的第二目标平面坐标，调用所述第二目标平面坐标和第二映射关系计算所述目标物品的第二还原世界坐标；
比较并判断第一还原世界坐标和第二还原世界坐标之间的偏差是否属于设定区间，若属于，则输出当前在线识别的目标物品种类和识别数量，若不属于，则输出当前在线识别的目标物品种类和校正数量，所述校正数量＝所述识别数量+1。
本发明所公开的制冷设备具有智能化程度高的优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所公开的制冷设备内物品识别定位方法一种具体实施例的流程图；
图2为图1所示的物品识别定位方法中的角点识别过程流程图；
图3为图1所示的物品识别定位方法中第一目标平面坐标和第二目标平面坐标第一种生成方法流程图；
图4为图1所示的物品识别定位方法中第一目标平面坐标和第二目标平面坐标第二种生成方法流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序，应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤单元。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本发明所公开的物品识别定位方法应用于制冷设备，制冷设备中存储的物品，可以是食品，还可能是药品等其它需要在制冷条件下贮藏的物品。在制冷设备内形成有储物间室，在储物间室中设置有至少一个搁板、物品等放置在所述搁板上。在正常使用状态下，搁板保持水平。储物间室内设置有第一摄像头和第二摄像头。第一摄像头和第二摄像头优选对称设置且具有相同的参数(如焦距等)，以降低图像处理的数据量。第一摄像头和第二摄像头的拍摄角度均完全覆盖所述搁板。第一摄像头和第二摄像头的成像中包含搁板的四个角部。
如图1所示，定位方法包括以下步骤：
S100，采集当前帧所述第一摄像头输出的第一图像和所述第二摄像头输出的第二图像。
S101，在所述第一图像中标定所述搁板的四个角部并确定四个角部在所述第一图像中的图像坐标，记为第一图像坐标。
S102，在所述第二图像中标定所述搁板的四个角部并确定四个角部在所述第二图像中的图像坐标，记为第二图像坐标。
如图2所示，在确定第一图像坐标和第二图像坐标时，优选利用FAST-9算法分别在第一图像和第二图像中标定所述搁板的角部。具体来说，包括以下步骤：
S200，利用四个相同的矩形框分别框选第一图像和第二图像中所述搁板的四个角部。
S201，在每一个所述矩形框中全局搜索，确定该矩形框中具有最大FAST-9强度的点为角点并输出角点的坐标值。
在设定矩形框时，根据储物空间的尺寸以及第一摄像头和第二摄像头的内参数，可以大体确定搁板的四个角部分别在第一图像和第二图像中的位置，利用四个10mm*10mm的矩形框进行框选，将四个角部分别框选在一个矩形框中。在每一个矩形框中全局搜索，确定具有最大FAST-9强度的点为角点并输出角点的坐标值，即可以确定搁板四个角部的第一图像坐标和第二图像坐标。矩形框的大小可以根据图片尺寸进行调整。
步骤S103，设定搁板的一个角部为原点，计算四个角部的世界坐标。优选设定搁板的左上角为世界坐标的原点，即可以确定在真实世界中，其它三个角部的世界坐标。
步骤S104,根据四个角点的第一图像坐标和世界坐标计算第一映射关系。
步骤S105,根据四个角点的第二图像坐标和世界坐标计算第二映射关系。
具体来说，第一映射关系是只在计算机视觉中一个平面到另一个平面的映射投影。也就是搁板平面和第一摄像头成像平面之间的投影映射关系。类似的，第二映射关系也是在计算机视觉中一个平面到另一个平面的映射投影，也就是搁板平面和第二摄像头成像平面之间的投影映射关系。以第一图像坐标为例，以齐次坐标表示的第一图像坐标为m＝[u,v,1]T，以齐次坐标表示的世界坐标为X＝[X,Y,Z,1]T,二者之间的单应性关系为s0m＝K[R,T]X,其中s0为尺度因子，K为第一摄像头内参数，R为旋转矩阵，T为平移向量。
令设定搁板所在平面为Z＝0的平面，
则可得，
定义K[r1,r2,t]为单应性矩阵H1，即第一映射关系；
可得第一映射关系H1是一个3*3的矩阵，并且有一个元素是齐次坐标，因此H有8个未知量待解。由于搁板的每一个角点有一组第一图像坐标和世界坐标，因此，每一对第一图像坐标和图像坐标可以获得两个约束关系，即两组方程，四个角点即可以提供8个方程，即可以解出8个未知量。得到第一映射关系，求解可以采用最小二乘法，也可以采用现有程序中的函数实现。
采用类似的方法，也可以计算出第二映射关系H2。
步骤S106，在线识别所述第一图像中的目标物品的种类并标定所述目标物品的第一目标平面坐标，调用所述第一目标平面坐标和所述第一映射关系计算所述目标物品的第一还原世界坐标。
步骤S107，在线识别所述第二图像中的目标物品的种类并标定所述目标物品的第二目标平面坐标，调用所述第二目标平面坐标和所述第二映射关系计算所述目标物品的第二还原世界坐标。
具体来说，如图3所示，一种可选的方式是，以在线识别出的目标物品的最小矩形框为参考生成目标物品的第一目标平面坐标和第二目标平面坐标：
步骤S300，首先，建立训练图片合集。
步骤S301，手动标定图片中目标物品的位置和种类，利用深度学习算法对图片集合进行训练，获得识别模型。
上述步骤中的深度学习算法，是现有技术中常见的算法。由于储藏间室中存储物相对来说固定，所以在本实施例中，样本训练的图片优选为500张。
步骤S302，将所述第一图像输入至所述识别模型中，标定出识别出的物品作为目标物品，确定第一图像中每一个目标物品的外接最小矩形框，以所述最小矩形框中心线上一点坐标作为目标物品的第一目标平面坐标。优选为最小矩形框的中心点的坐标。
步骤S303，将所述第二图像输入至所述识别模型中，标定出识别出的物品作为目标物品，确定第二图像中每一个目标物品的外接最小矩形框，以所述最小矩形框中心线上一点坐标作为目标物品的第二目标平面坐标，优选为最小矩形框的中心点的坐标。
选取最小矩形框，是考虑到处理图像中目标物品的变形等情况。也可以以目标物品图像的初始矩形框作为生成目标平面坐标的参考。以目标物品上下左右的边界作为初始矩形框的边界。具体来说，如图4所示，当以目标物品图像的初始矩形框作为生成目标平面坐标的参考时，在线识别包括以下步骤：
建立训练图片集合；
手动标定图片中目标物品的位置和种类，利用深度学习算法对图片集合进行训练，获得识别模型；
将所述第一图像输入至所述识别模型中，标定目标物品，确定第一图像中每一个目标物品的初始外接矩形框，以所述初始外接矩形框底边中心点的坐标作为目标物品的第一目标平面坐标；
将所述第二图像输入至所述识别模型中，标定目标物品，确定第二图像中每一个目标物品的初始外接矩形框，以所述初始外接矩形框底边中心点的坐标作为目标物品的第二目标平面坐标。
在通过上述任意一种方法得到第一目标平面坐标和第二目标平面坐标后，利用第一映射关系和第二映射关系分别将第一目标平面坐标和第二目标平面坐标还原为第一还原世界坐标和第二还原世界坐标。
步骤S108,比较并判断第一还原世界坐标和第二还原世界坐标之间的偏差是否属于设定区间，若属于，则输出当前在线识别的目标物品种类和识别数量，若不属于，则输出当前在线识别的目标物品种类和校正数量，所述校正数量＝所述识别数量+1。比较时，将每一个维度的坐标一一进行比较，如果任意一个维度的坐标偏差不属于设定区间，则输出当前在线识别的目标物品和校正数量。如果所有维度的坐标偏差均属于设定区间，则输出当前在线识别的目标物品种类和数量。优选的，设定区间的上限根据精度要求在(1cm,5cm)的区间范围内取值。
除了设置两个摄像头之外，本发明所公开的制冷设备内物品识别定位方法还可以应用于设置三个摄像头、四个摄像头或多个摄像头。如果设置有视角覆盖搁板的第三摄像头，则在第一图像和第二图像的基础上再采集当前帧的第三图像，标定第三图像中搁板的角点位置生成第三图像坐标，建立第三映射关系，利用在先识别的第三目标平面坐标和第三映射关系还原第三世界坐标，比较第一还原世界坐标、第二还原世界坐标和第三世界坐标之间的偏差是否属于设定区间。若属于，则输出在线识别的目标物品种类和识别数量。若不属于，则输出在线识别的目标物品种类和校正数量。设置四个或多个摄像头的技术方案与设置三个摄像头的技术方案类似，可以提高识别精度，适用于相对大型的制冷设备。
本发明所提供的制冷设备内物品识别和定位方法，可以准确地检测完全遮挡或部分遮挡物品的数量，提高了物品识别率，方便用户使用，也为后续的数据处理提供了准确的数据依据。
本发明还提供了一种制冷设备，采用上述实施例所公开的制冷设备内物品识别和定位方法。上述方法的具体步骤请参见上述实施例的详细描述，以及说明书附图的详细描绘，在此不再赘述，采用上述识别和定位方法的制冷设备可以实现同样的技术效果。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种制冷设备内物品识别定位方法，所述制冷设备内形成有储物间室，所述储物间室中设置有至少一个搁板，其特征在于，
储物间室内至少设置有第一摄像头和第二摄像头，所述第一摄像头和第二摄像头的拍摄角度覆盖所述搁板；
所述识别和定位方法包括以下步骤：
采集当前帧所述第一摄像头输出的第一图像和所述第二摄像头输出的第二图像；
在所述第一图像中标定所述搁板的四个角部并确定四个角部在所述第一图像中的图像坐标，记为第一图像坐标；在所述第二图像中标定所述搁板的四个角部并确定四个角部在所述第二图像中的图像坐标，记为第二图像坐标；
设定搁板的一个角部为原点，计算四个角部的世界坐标；
根据四个角点的第一图像坐标和世界坐标计算第一映射关系，根据四个角点的第二图像坐标和世界坐标计算第二映射关系；
在线识别所述第一图像中的目标物品的种类并标定所述目标物品的第一目标平面坐标，调用所述第一目标平面坐标和所述第一映射关系计算所述目标物品的第一还原世界坐标；在线识别所述第二图像中的目标物品的种类并标定所述目标物品的第二目标平面坐标，调用所述第二目标平面坐标和所述第二映射关系计算所述目标物品的第二还原世界坐标；
比较并判断第一还原世界坐标和第二还原世界坐标之间的偏差是否属于设定区间，若属于，则输出当前在线识别的目标物品种类和识别数量，若不属于，则输出当前在线识别的目标物品种类和校正数量，所述校正数量=所述识别数量+1。
2.根据权利要求1所述的制冷设备内物品识别定位方法，其特征在于，
利用FAST-9算法分别在所述第一图像和第二图像中标定所述搁板的角部并确定角部的第一图像坐标和第二图像坐标，包括以下步骤：
利用四个相同的矩形框分别框选所述第一图像和所述第二图像中所述搁板的四个角部；
在每一个所述矩形框中全局搜索，确定具有最大FAST-9强度的点为角点并输出角点的坐标值。
3.根据权利要求2所述的制冷设备内物品识别定位方法，其特征在于，所述矩形框为10mm*10mm矩形框。
4.根据权利要求2所述的制冷设备内物品识别定位方法，其特征在于，
在线识别时，包括以下步骤：
建立训练图片集合；
手动标定图片中目标物品的位置和种类，利用深度学习算法对图片集合进行训练，获得识别模型；
将所述第一图像输入至所述识别模型中，标定识别出的目标物品，确定第一图像中每一个目标物品的外接最小矩形框，以所述最小矩形框中心线上一点的坐标作为目标物品的第一目标平面坐标；
将所述第二图像输入至所述识别模型中，标定识别出的目标物品，确定第二图像中每一个目标物品的外接最小矩形框，以所述最小矩形框中心线上一点的坐标作为目标物品的第二目标平面坐标。
5.根据权利要求2所述的制冷设备内物品识别定位方法，其特征在于，
在线识别时，包括以下步骤：
建立训练图片集合；
手动标定图片中目标物品的位置和种类，利用深度学习算法对图片集合进行训练，获得识别模型；
将所述第一图像输入至所述识别模型中，标定识别出的目标物品，确定第一图像中每一个目标物品的初始外接矩形框，以所述初始外接矩形框底边中心点的坐标作为目标物品的第一目标平面坐标；
将所述第二图像输入至所述识别模型中，标定识别出的目标物品，确定第二图像中每一个目标物品的初始外接矩形框，以所述初始外接矩形框底边中心点的坐标作为目标物品的第二目标平面坐标。
6.根据权利要求4或5所述的制冷设备内物品识别定位方法，其特征在于，所述设定区间的上限在（1cm,5cm）的区间范围内取值。
7.根据权利要求6所述的制冷设备内物品识别定位方法，其特征在于，任意一个维度的偏差不属于所述设定区间，则输出当前在线识别的目标物品种类和校正数量。
8.一种制冷设备，其特征在于，采用如权利要求1至7任一项所述的制冷设备内物品识别定位方法。
CN201710999183.6A 2017-10-20 2017-10-20 制冷设备内物品识别定位方法和制冷设备 Active CN107886540B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710999183.6A CN107886540B (zh) 2017-10-20 2017-10-20 制冷设备内物品识别定位方法和制冷设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710999183.6A CN107886540B (zh) 2017-10-20 2017-10-20 制冷设备内物品识别定位方法和制冷设备

Publications (2)

Publication Number Publication Date
CN107886540A true CN107886540A (zh) 2018-04-06
CN107886540B CN107886540B (zh) 2020-12-29

Family

ID=61782215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710999183.6A Active CN107886540B (zh) 2017-10-20 2017-10-20 制冷设备内物品识别定位方法和制冷设备

Country Status (1)

Country Link
CN (1) CN107886540B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064705A (zh) * 2018-07-10 2018-12-21 上海小蚁科技有限公司 物品点检的预警方法及装置、存储介质、计算设备
CN109587628A (zh) * 2018-12-14 2019-04-05 深圳力维智联技术有限公司 一种室内实时定位方法和装置
CN113674359A (zh) * 2021-08-13 2021-11-19 珠海格力电器股份有限公司 一种对象信息检测方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090274371A1 (en) * 2001-06-05 2009-11-05 Christian Simon Efficient model-based recognition of objects using a calibrated image system
US8098958B2 (en) * 2004-04-02 2012-01-17 The Boeing Company Processing architecture for automatic image registration
CN102450006A (zh) * 2010-03-03 2012-05-09 松下电器产业株式会社 物体位置推定装置、物体位置推定方法及物体位置推定程序
CN102509304A (zh) * 2011-11-24 2012-06-20 江南大学 基于智能优化的摄像机标定方法
CN105981074A (zh) * 2014-11-04 2016-09-28 深圳市大疆创新科技有限公司 相机标定
CN106887023A (zh) * 2017-02-21 2017-06-23 成都通甲优博科技有限责任公司 用于双目摄像机标定的标定板及其标定方法和标定系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090274371A1 (en) * 2001-06-05 2009-11-05 Christian Simon Efficient model-based recognition of objects using a calibrated image system
US8098958B2 (en) * 2004-04-02 2012-01-17 The Boeing Company Processing architecture for automatic image registration
CN102450006A (zh) * 2010-03-03 2012-05-09 松下电器产业株式会社 物体位置推定装置、物体位置推定方法及物体位置推定程序
CN102509304A (zh) * 2011-11-24 2012-06-20 江南大学 基于智能优化的摄像机标定方法
CN105981074A (zh) * 2014-11-04 2016-09-28 深圳市大疆创新科技有限公司 相机标定
CN106887023A (zh) * 2017-02-21 2017-06-23 成都通甲优博科技有限责任公司 用于双目摄像机标定的标定板及其标定方法和标定系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AASHNA SHARMA ET AL.: "Monocular camera based object recognition and 3D-localization", 《2015 INTERNATIONAL CONFERENCE ON SIGNAL PROCESSING, COMPUTING AND》 *
延和,吴斌: "基于改进型神经网络的双目摄像机标定", 《西南科技大学学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064705A (zh) * 2018-07-10 2018-12-21 上海小蚁科技有限公司 物品点检的预警方法及装置、存储介质、计算设备
CN109587628A (zh) * 2018-12-14 2019-04-05 深圳力维智联技术有限公司 一种室内实时定位方法和装置
CN109587628B (zh) * 2018-12-14 2021-01-26 深圳力维智联技术有限公司 一种室内实时定位方法和装置
CN113674359A (zh) * 2021-08-13 2021-11-19 珠海格力电器股份有限公司 一种对象信息检测方法、装置、电子设备及存储介质
CN113674359B (zh) * 2021-08-13 2024-05-03 珠海格力电器股份有限公司 一种对象信息检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN107886540B (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
CN106548165B (zh) 一种基于图像分块加权的卷积神经网络的人脸识别方法
CN113532326B (zh) 用于辅助型3d扫描的系统和方法
CN104778688B (zh) 点云数据的配准方法及装置
CN106952402B (zh) 一种数据处理方法及装置
CN108322724B (zh) 图像立体匹配方法以及双目视觉设备
CN110000783A (zh) 机器人的视觉抓取方法和装置
CN102986372B (zh) 基于全景立体视觉的采摘对象的识别、分类和空间定位装置及方法
US20070092132A1 (en) Image processing method, image processing apparatus, and image processing program
CN107886540A (zh) 制冷设备内物品识别定位方法和制冷设备
CN106982312A (zh) 多光圈相机系统及其操作方法
CN109901590A (zh) 桌面机器人的回充控制方法
CN108898634A (zh) 基于双目相机视差对绣花机目标针眼进行精确定位的方法
CN108932512A (zh) 一种冰箱食材录入方法
CN107580175A (zh) 一种单镜头全景拼接的方法
CN109559349A (zh) 一种用于标定的方法和装置
CN106705849A (zh) 线结构光传感器标定方法
CN108596135A (zh) 身份识别方法及系统
CN110400278A (zh) 一种图像颜色和几何畸变的全自动校正方法、装置及设备
CN106529556A (zh) 一种仪表指示灯的视觉检测系统
CN111950440A (zh) 一种识别与定位门的方法、装置及存储介质
CN106506982A (zh) 一种获取测光参数的方法、装置及终端设备
CN110909617B (zh) 基于双目视觉的活体人脸检测方法及装置
CN104978558B (zh) 目标的识别方法及装置
CN111240217A (zh) 状态检测方法、装置、电子设备及存储介质
CN106791498B (zh) 图像定位方法、透镜阵列成像方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20201202

Address after: 266101 No. 1 Haier Road, Laoshan District, Shandong, Qingdao

Applicant after: QINGDAO HAIER SMART TECHNOLOGY R&D Co.,Ltd.

Applicant after: Haier Zhijia Co.,Ltd.

Address before: 266101 No. 1 Haier Road, Laoshan District, Shandong, Qingdao

Applicant before: QINGDAO HAIER SMART TECHNOLOGY R&D Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant