CN113076907A - 冰箱内物品信息标识方法、冰箱和计算机存储介质 - Google Patents

冰箱内物品信息标识方法、冰箱和计算机存储介质 Download PDF

Info

Publication number
CN113076907A
CN113076907A CN202110412308.7A CN202110412308A CN113076907A CN 113076907 A CN113076907 A CN 113076907A CN 202110412308 A CN202110412308 A CN 202110412308A CN 113076907 A CN113076907 A CN 113076907A
Authority
CN
China
Prior art keywords
article
closed
contour line
articles
loop contour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110412308.7A
Other languages
English (en)
Other versions
CN113076907B (zh
Inventor
高洪波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Haier Refrigerator Co Ltd
Haier Smart Home Co Ltd
Original Assignee
Qingdao Haier Refrigerator Co Ltd
Haier Smart Home Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Haier Refrigerator Co Ltd, Haier Smart Home Co Ltd filed Critical Qingdao Haier Refrigerator Co Ltd
Priority to CN202110412308.7A priority Critical patent/CN113076907B/zh
Publication of CN113076907A publication Critical patent/CN113076907A/zh
Priority to PCT/CN2021/132848 priority patent/WO2022217927A1/zh
Priority to EP21936793.5A priority patent/EP4307167A1/en
Application granted granted Critical
Publication of CN113076907B publication Critical patent/CN113076907B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25B—REFRIGERATION MACHINES, PLANTS OR SYSTEMS; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS
    • F25B29/00—Combined heating and refrigeration systems, e.g. operating alternately or simultaneously
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00—Problems to be solved
    • F25D2500/06—Stock management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Thermal Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Geometry (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Image Analysis (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)

Abstract

本发明提供一种冰箱内物品信息标识方法、冰箱和计算机存储介质，所述冰箱内物品信息标识方法包括步骤：获得冰箱内存放物品的鸟瞰图；在所述鸟瞰图中检测识别物品不同部分的边缘轮廓，得到至少一个匹配对应边缘轮廓的闭环轮廓线；查找与所述物品顶面中心区域所对应的所述闭环轮廓线，并在其内中心位置标识对应的物品信息。通过上述冰箱内物品信息标识方法，可以将因为拍摄角度问题而未标识在物品顶面中心位置的物品信息进行位置修正，并且，根据物品外包装形状不同而采用不同的修正算法，识别准确率高且速度快。

Description

冰箱内物品信息标识方法、冰箱和计算机存储介质
技术领域
本发明涉及制冷装置领域，具体地涉及一种冰箱内物品信息标识方法、冰箱和计算机存储介质。
背景技术
随着家用电器智能化的发展，对内部物品进行识别已经是智能冰箱所必需的功能。通常为了实现对冰箱内存放物品的识别，冰箱的内部储存空间内都安装有一个或多个摄像头用于拍摄冰箱内存放物品，并对拍摄的照片进行处理后生成识别结果发送到使用终端，以供用户查看。将摄像头设于物品上方可以避免物品互相遮挡的问题，而提高物品信息识别的准确率。
然而，俯视拍摄物品图像时，由于拍摄角度问题，在图像上位于摄像头取景范围两侧的物品会呈现出较大的透视关系。传统的检测方法将检测识别得到的物品信息标识在单个物品在图像上的中心位置，此时，物品信息则不会标识在物品的实际中心位置，从而造成用户在使用终端上的观感较差。
发明内容
本发明的目的在于提供一种冰箱内物品信息标识方法、冰箱和计算机存储介质。
本发明提供一种冰箱内物品信息标识方法，包括步骤：
获得冰箱内存放物品的鸟瞰图；
在所述鸟瞰图中检测识别物品不同部分的边缘轮廓，得到至少一个匹配对应边缘轮廓的闭环轮廓线；
查找与所述物品顶面中心区域所对应的所述闭环轮廓线，并在其内中心位置标识对应的物品信息。
作为本发明的进一步改进，在“获得冰箱内存放物品的鸟瞰图”之后还包括：
在所述鸟瞰图中分割出多个检测框区，每个所述检测框区对应于一个物品；
在所述检测框区域内检测识别物品不同部分的边缘轮廓。
作为本发明的进一步改进，“查找与所述物品顶面中心区域所对应的所述闭环轮廓线”具体包括：
检测识别物品外轮廓类型；
根据物品外轮廓类型选择与所述物品顶面中心区域所对应的所述闭环轮廓线。
作为本发明的进一步改进，“检测识别物品外轮廓类型”具体包括：
根据物品的闭环轮廓线形状判断物品外轮廓类型，将物品分为瓶装类物品、罐装类物品、盒装类物品和其他物品，其中，所述瓶装类物品具有多个呈圆形或椭圆形的闭环轮廓线，所述罐装类物品具有一个呈圆形或椭圆形的闭环轮廓线，所述盒装类物品具有一个或多个呈类四边形的所述闭环轮廓线。
作为本发明的进一步改进，“根据物品外轮廓类型选择与所述物品顶面中心区域所对应的所述闭环轮廓线”具体包括：
判断物品为瓶装类物品；
检测识别所述瓶装类物品对应所述检测框区内呈圆形或椭圆形的所述闭环轮廓线，并计算其内像素点个数；
选择内部像素点数量最少的闭环轮廓线为所述瓶装类物品瓶盖区域所对应的闭环轮廓线，并在其内中心位置标识物品信息。
作为本发明的进一步改进，“根据物品外轮廓类型选择与所述物品顶面中心区域所对应的所述闭环轮廓线”具体包括：
判断物品为罐装类物品；
检测识别所述罐装类物品对应所述检测框区内的圆形或椭圆形所述闭环轮廓线，并在其内中心位置标识对应的物品信息。
作为本发明的进一步改进，“根据物品外轮廓类型选择与所述物品顶面中心区域所对应的所述闭环轮廓线”具体包括：
判断物品为盒装类物品；
检测识别所述盒装类物品对应所述检测框区内呈类四边形的所述闭环轮廓线，并计算其内像素点的个数；
选择内部像素点数量最多的闭环轮廓线为所述瓶装类物品顶面中心区域所对应的闭环轮廓线，并在其内中心位置标识对应的物品信息。
作为本发明的进一步改进，“根据物品外轮廓类型选择与所述物品顶面中心区域所对应的所述闭环轮廓线”具体包括：
判断为其他物品；
在物品所述检测框区域中心位置标识对应的物品信息。
本发明还提供一种冰箱，包括：多个瓶座，摄像头以及存储器和处理器，所述摄像头设于所述瓶座底部，竖直向下设置；
所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述冰箱内物品信息标识方法的步骤。
本发明还提供一种计算机存储介质，其中存储有计算机程序，并且所述计算机程序运行时导致所述计算机存储介质的所在设备执行上述冰箱内物品信息标识方法的步骤。
本发明的有益效果是：通过识别物品图像中物品不同部分的边缘轮廓，匹配识别与其中心区域相对应的边缘轮廓，并在其中标识物品信息，可以将因为拍摄角度问题而未标识在物品顶面中心位置的物品信息进行位置修正，并且，根据物品外包装形状不同而采用不同的修正算法，识别准确率高且速度快。
附图说明
图1是本发明一实施方式中的冰箱内物品信息标识方法流程示意图。
图2是本发明一实施方式中的拍摄得到的鸟瞰图示意图。
图3是一实施方式中瓶装类物品检测与物品顶面中心区域所对应的闭环轮廓线方法的流程示意图。
图4和图5分别为瓶装类物品信息常规标识位置和在本发明中标识位置的示意简图。
图6是一实施方式中罐装类物品检测与物品顶面中心区域所对应的闭环轮廓线方法的流程示意图。
图7和图8分别为罐装类物品信息常规标识位置和在本发明中标识位置的示意简图。
图9是一实施方式中盒装类物品检测与物品顶面中心区域所对应的闭环轮廓线方法的流程示意图。
图10和图11分别为盒装类物品信息常规标识位置和在本发明中标识位置的示意简图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施方式及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施方式仅是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本申请保护的范围。
下面详细描述本发明的实施方式，实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
为方便说明，本文使用表示空间相对位置的术语来进行描述，例如“上”、“下”、“后”、“前”等，用来描述附图中所示的一个单元或者特征相对于另一个单元或特征的关系。空间相对位置的术语可以包括设备在使用或工作中除了图中所示方位以外的不同方位。例如，如果将图中的装置翻转，则被描述为位于其他单元或特征“下方”或“上方”的单元将位于其他单元或特征“下方”或“上方”。因此，示例性术语“下方”可以囊括下方和上方这两种空间方位。
如图1所示，本发明提供一种冰箱内物品信息标识方法，包括步骤：
S1：获得冰箱内存放物品的鸟瞰图1。
从上方拍摄物品得到鸟瞰图1，可避免冰箱内结构以及物品间的相互遮挡而不利于对物品信息进行检测识别，但从上方拍摄图像，由于拍摄角度问题，位于边缘处的物品在鸟瞰图1呈现出一定的透视关系，由此导致物品的实际顶面中心位置与其在图像上的中心位置存在偏差，并且通常食材信息标识位置位于物品在图像上的中心处，此时则需要对物品信息标识位置进行修正，以使得信息标识位置处于物品实际顶面中心位置处，提高图像传送到终端设备后用户的使用体验。
在本实施方中，摄像头设于瓶座底部，竖直向下设置，其用于拍摄位于其下方的瓶座内物品的信息。在其他实施方式中，摄像头也可设于冷冻室或冷藏室等冰箱内其他储存空间。
示例性的，如图2所示，为本实施方式中拍摄得到的鸟瞰图1示意图。
S2：在鸟瞰图1中检测识别物品不同部分的边缘轮廓，得到至少一个匹配对应边缘轮廓的闭环轮廓线。
示例性的，在本实施方式中，由于摄像头设于瓶座底部，因此所拍摄的物品通常为酸奶、饮料等，其顶面、侧面和瓶盖等区域之间在图像中通常具有较明显的像素灰度差异，能够被检测识别到明显的边缘轮廓线。
具体的，可以通过诸如Canny边缘检测算法等常规边缘检测算法识别鸟瞰图1中各物品不同区域的轮廓线，具体算法步骤为现有技术，在此不再赘述。
进一步的，在本发明的一些实施方式中，在步骤S2之前还包括步骤：
在鸟瞰图1中，识别其内存在的物品，在鸟瞰图1中分割出多个检测框区2，每个检测框区2对应于一个物品；
在检测框区2域内检测识别物品不同部分的边缘轮廓。
示例性的，如图所示，获得单个物品信息识别区域的检测框区2，检测框区2可以是任意的形状，每个检测框区2内存在一个物品作为检测对象目标，在检测框区2内进行后续边缘检测可以提高计算速度和提高识别的准确率。
S3：检测识别物品外轮廓类型，根据物品外轮廓类型选择与其顶面中心区域所对应的闭环轮廓线，并在其内中心位置标识物品信息。
示例性的，在本实施方式中，物品可以分为瓶装类物品3、罐装类物品4、盒装类物品5和其他物品，其中，瓶装类物品3具有瓶盖，为诸如瓶装饮料等等具有明显瓶盖的物品；罐装类物品4其俯视图外轮廓呈圆形，为诸如罐装饮料、调味酱料等外包装基本呈圆柱体的物品；盒装类物品5其俯视图形状呈类四边形，为诸如盒装奶制品等外包装基本呈长方体或正方体的物品；不属于上述三种类别的物品均归为其他物品。
具体的，有多种不同的将物品进行分类的方法，在实施例一中，包括步骤：
S31a：通过检测到的物品的闭环轮廓线识别物品外轮廓类型，将物品依照闭环轮廓线形状分为瓶装类物品3、罐装类物品4、盒装类物品5和其他物品，其中，瓶装类物品3具有多个呈圆形或椭圆形的闭环轮廓线，罐装类物品4具有一个呈圆形或椭圆形的闭环轮廓线，盒装类物品5具有呈类四边形的闭环轮廓线，不属于上述物品类别的归为其他物品。
通过上述方法，可以无需识别物品信息，避免出现物品信息识别错误而错误分类的情况。
在实施例二中，包括步骤：
S31b：通过诸如YOLO算法、SSD算法或传统的检测算法等对物品信息进行识别检测，根据物品顶面图像通过深度学习算法识别物品类别信息，根据数据库存储的物品类别与不同外轮廓类型的对应关系，将物品依照其类别信息对应分为瓶装类物品3、罐装类物品4、盒装类物品5和其他物品。
进一步的，如图3所示，根据物品外轮廓类型不同，检测与物品顶面中心区域所对应的闭环轮廓线具体包括步骤：
S321：判断物品为瓶装类物品3。
S322：检测识别瓶装类物品3对应检测框区内呈圆形或椭圆形的闭环轮廓线，并计算其内像素点个数。
S323：选择内部像素点数量最少的闭环轮廓线为瓶装类物品3瓶盖区域所对应的闭环轮廓线，并在其内中心位置标识物品信息。
通常在瓶装类物品3中，其瓶盖通常为圆形且设于物品中心区域，可用其作为标识物品信息的参照位置。圆形的瓶盖由于透视关系在拍摄后呈椭圆形，且由于瓶盖区域通常在瓶装物品中相比于瓶身部分的横截面具有更小的面积，因此通过计算像素点最少的呈圆形或呈椭圆形的闭环轮廓线即可得到瓶装类物品3瓶盖所对应的区域。只识别呈椭圆形或圆形的闭环轮廓线，可以过滤掉诸如在鸟瞰图1中呈半月型的瓶盖侧壁面等区域，避免将其识别为像素点最少的区域而造成误判。
示例性的，如图4所示，为没有进行物品信息标识位置修正时，物品信息在图上的位置。如图5所示，闭环轮廓线3a即为瓶盖所对应区域，进行修正后，物品信息则会修正到位于瓶盖中心区域。
另外，当一些物品其瓶盖表面具有圆形图案时，由于瓶盖区域已经相对较小，此时，两者的位置实际存在较高重叠，瓶盖内图案对信息标识位置的影响可忽略。
如图6所示，检测与物品顶面中心区域所对应的闭环轮廓线具体还包括步骤：
S331：判断物品为罐装类物品4。
S332：检测识别罐装类物品4对应检测框区内的圆形或椭圆形闭环轮廓线，并在其内中心位置标识对应的物品信息。
通常在罐装类物品4中，其没有瓶盖对物品顶面形状的影响，可以通过直接检测找到呈圆形或椭圆形闭环轮廓线来找到物品顶面所对应的区域，从而直接标识物品信息。
示例性的，如图7所示，为没有进行物品信息标识位置修正时，物品信息在图上的位置。如图8所示，闭环轮廓线4a即为罐装类物品4顶面所对应区域，进行修正后，物品信息则会修正到位于物品顶面中心区域。
如图9所示，检测与物品顶面中心区域所对应的闭环轮廓线具体还包括步骤：
S341：判断物品为盒装类物品5；
S342：检测识别盒装类物品对应检测框区内呈类四边形的闭环轮廓线，并计算其内像素点的个数；
S343：选择内部像素点最多的闭环轮廓线为瓶装类物品3顶面中心区域所对应的闭环轮廓线，并在其内中心位置标识对应的物品信息。
盒装类物品5主要包括外包装形状近似呈标准长方体的饮料制品、盒身呈长方体而顶端面呈楔形的奶制品、顶面为方形封盖板的酸奶等，俯视拍摄盒装类物品5时，由于透视关系，其顶端面形状近似为四边形或圆角四边形。通过检测识别其外轮廓即可得到盒装类物品5的顶端面所在位置，而选择像素点最多的闭环轮廓线，可以避免将盒装类物品5侧面区域、顶端面呈楔形奶制品包装的斜面区域等部分识别为中心区域。
示例性的，如图10所示，为没有进行物品信息标识位置修正时，物品信息在图上的位置。如图11所示，闭环轮廓线4a即为盒装类物品4顶面所对应区域，进行修正后，物品信息则会修正到位于物品顶面中心区域。
检测与物品顶面中心区域所对应的闭环轮廓线具体还包括步骤：
S351：判断为其他物品。
S352：在物品检测框区域中心位置标识物品信息。
在本实施方式中，置于冰箱瓶座内的其他物品通常为具有非规整形状的物品，如鸡蛋、蔬菜、水果等，由于其不存在含有明显轮廓线的顶端面中心位置，因此无需对其物品信息标识位置进行修正，以简化检测判断逻辑。
综上，通过上述冰箱内物品信息标识方法，可以将因为拍摄角度问题而未标识在物品顶面中心位置的物品信息进行位置修正，并且，根据物品外包装形状不同而采用不同的修正算法，识别准确率高且速度快。
本发明还提供一种冰箱，包括：多个瓶座，摄像头以及存储器和处理器，所述摄像头设于所述瓶座底部，竖直向下设置。所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述冰箱内物品信息标识方法的步骤。
本发明还提供一种计算机存储介质，其中存储有计算机程序，并且所述计算机程序运行时导致所述计算机存储介质的所在设备执行上述冰箱内物品信息标识方法的步骤。
应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。
应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (10)

1.一种冰箱内物品信息标识方法，其特征在于，包括步骤：
获得冰箱内存放物品的鸟瞰图；
在所述鸟瞰图中检测识别物品不同部分的边缘轮廓，得到至少一个匹配对应边缘轮廓的闭环轮廓线；
查找与所述物品顶面中心区域所对应的所述闭环轮廓线，并在其内中心位置标识对应的物品信息。
2.根据权利要求1所述的冰箱内物品信息标识方法，其特征在于，在“获得冰箱内存放物品的鸟瞰图”之后还包括：
在所述鸟瞰图中分割出多个检测框区，每个所述检测框区对应于一个物品；
在所述检测框区域内检测识别物品不同部分的边缘轮廓。
3.根据权利要求2所述的冰箱内物品信息标识方法，其特征在于，“查找与所述物品顶面中心区域所对应的所述闭环轮廓线”具体包括：
检测识别物品外轮廓类型；
根据物品外轮廓类型选择与所述物品顶面中心区域所对应的所述闭环轮廓线。
4.根据权利要求2所述的冰箱内物品信息标识方法，其特征在于，“检测识别物品外轮廓类型”具体包括：
根据物品的闭环轮廓线形状判断物品外轮廓类型，将物品分为瓶装类物品、罐装类物品、盒装类物品和其他物品，其中，所述瓶装类物品具有多个呈圆形或椭圆形的闭环轮廓线，所述罐装类物品具有一个呈圆形或椭圆形的闭环轮廓线，所述盒装类物品具有一个或多个呈类四边形的所述闭环轮廓线。
5.根据权利要求4所述的冰箱内物品信息标识方法，其特征在于，“根据物品外轮廓类型选择与所述物品顶面中心区域所对应的所述闭环轮廓线”具体包括：
判断物品为瓶装类物品；
检测识别所述瓶装类物品对应所述检测框区内呈圆形或椭圆形的所述闭环轮廓线，并计算其内像素点个数；
选择内部像素点数量最少的闭环轮廓线为所述瓶装类物品瓶盖区域所对应的闭环轮廓线，并在其内中心位置标识物品信息。
6.根据权利要求4所述的冰箱内物品信息标识方法，其特征在于，“根据物品外轮廓类型选择与所述物品顶面中心区域所对应的所述闭环轮廓线”具体包括：
判断物品为罐装类物品；
检测识别所述罐装类物品对应所述检测框区内的圆形或椭圆形所述闭环轮廓线，并在其内中心位置标识对应的物品信息。
7.根据权利要求4所述的冰箱内物品信息标识方法，其特征在于，“根据物品外轮廓类型选择与所述物品顶面中心区域所对应的所述闭环轮廓线”具体包括：
判断物品为盒装类物品；
检测识别所述盒装类物品对应所述检测框区内呈类四边形的所述闭环轮廓线，并计算其内像素点的个数；
选择内部像素点数量最多的闭环轮廓线为所述瓶装类物品顶面中心区域所对应的闭环轮廓线，并在其内中心位置标识对应的物品信息。
8.根据权利要求4所述的冰箱内物品信息标识方法，其特征在于，“根据物品外轮廓类型选择与所述物品顶面中心区域所对应的所述闭环轮廓线”具体包括：
判断为其他物品；
在物品所述检测框区域中心位置标识对应的物品信息。
9.一种冰箱，包括：多个瓶座，摄像头以及存储器和处理器，其特征在于，
所述摄像头设于所述瓶座底部，竖直向下设置；
所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-8中任意一项所述冰箱内物品信息标识方法的步骤。
10.一种计算机存储介质，其中存储有计算机程序，并且所述计算机程序运行时导致所述计算机存储介质的所在设备执行根据权利要求1-8中任意一项所述冰箱内物品信息标识方法的步骤。
CN202110412308.7A 2021-04-16 2021-04-16 冰箱内物品信息标识方法、冰箱和计算机存储介质 Active CN113076907B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110412308.7A CN113076907B (zh) 2021-04-16 2021-04-16 冰箱内物品信息标识方法、冰箱和计算机存储介质
PCT/CN2021/132848 WO2022217927A1 (zh) 2021-04-16 2021-11-24 冰箱内物品信息标识方法、冰箱和计算机存储介质
EP21936793.5A EP4307167A1 (en) 2021-04-16 2021-11-24 Method for identifying article information in refrigerator, and refrigerator and computer storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110412308.7A CN113076907B (zh) 2021-04-16 2021-04-16 冰箱内物品信息标识方法、冰箱和计算机存储介质

Publications (2)

Publication Number Publication Date
CN113076907A true CN113076907A (zh) 2021-07-06
CN113076907B CN113076907B (zh) 2023-03-21

Family

ID=76618009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110412308.7A Active CN113076907B (zh) 2021-04-16 2021-04-16 冰箱内物品信息标识方法、冰箱和计算机存储介质

Country Status (3)

Country Link
EP (1) EP4307167A1 (zh)
CN (1) CN113076907B (zh)
WO (1) WO2022217927A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022217927A1 (zh) * 2021-04-16 2022-10-20 青岛海尔电冰箱有限公司 冰箱内物品信息标识方法、冰箱和计算机存储介质
WO2023124088A1 (zh) * 2021-12-27 2023-07-06 青岛海尔电冰箱有限公司 冰箱内物品信息识别方法和冰箱
WO2023125491A1 (zh) * 2021-12-30 2023-07-06 青岛海尔电冰箱有限公司 特定轮廓食材管理方法、存储介质以及冰箱
WO2023185280A1 (zh) * 2022-03-31 2023-10-05 青岛海尔电冰箱有限公司 冰箱瓶座内物品信息识别方法和冰箱
WO2023185779A1 (zh) * 2022-03-29 2023-10-05 青岛海尔电冰箱有限公司 冰箱内物品信息识别方法
WO2023193752A1 (zh) * 2022-04-07 2023-10-12 青岛海尔电冰箱有限公司 冰箱内物品信息识别方法和冰箱

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012057198A1 (ja) * 2010-10-27 2012-05-03 株式会社 日立ハイテクノロジーズ 画像処理装置およびコンピュータプログラム
CN108764232A (zh) * 2018-03-30 2018-11-06 腾讯科技（深圳）有限公司 标签位置获取方法及装置
CN109816675A (zh) * 2018-12-28 2019-05-28 歌尔股份有限公司 物体的检测方法、检测装置及存储介质
CN109871727A (zh) * 2017-12-01 2019-06-11 九阳股份有限公司 一种冰箱存取方向的判断方法
CN110956642A (zh) * 2019-12-03 2020-04-03 深圳市未来感知科技有限公司 多目标跟踪识别方法、终端及可读存储介质
CN111507134A (zh) * 2019-01-31 2020-08-07 北京奇虎科技有限公司 人形姿态检测方法、装置、计算机设备及存储介质
CN111553915A (zh) * 2020-05-08 2020-08-18 深圳前海微众银行股份有限公司 物品识别检测方法、装置、设备和可读存储介质
CN111753692A (zh) * 2020-06-15 2020-10-09 珠海格力电器股份有限公司 目标对象提取方法、产品检测方法、装置、计算机和介质
CN111932775A (zh) * 2020-04-22 2020-11-13 金华苏夏信息技术有限公司 基于图像捕捉的售货机查缺系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108955070A (zh) * 2012-07-27 2018-12-07 博西华电器（江苏）有限公司 智能冰箱、包含该智能冰箱的冰箱系统及其控制方法
CN107665336A (zh) * 2017-09-20 2018-02-06 厦门理工学院 智能冰箱中基于Faster‑RCNN的多目标检测方法
CN111310586A (zh) * 2020-01-19 2020-06-19 合肥美的电冰箱有限公司 冰箱内食物的管理方法、管理装置及冰箱
CN113076907B (zh) * 2021-04-16 2023-03-21 青岛海尔电冰箱有限公司 冰箱内物品信息标识方法、冰箱和计算机存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012057198A1 (ja) * 2010-10-27 2012-05-03 株式会社 日立ハイテクノロジーズ 画像処理装置およびコンピュータプログラム
CN109871727A (zh) * 2017-12-01 2019-06-11 九阳股份有限公司 一种冰箱存取方向的判断方法
CN108764232A (zh) * 2018-03-30 2018-11-06 腾讯科技（深圳）有限公司 标签位置获取方法及装置
CN109816675A (zh) * 2018-12-28 2019-05-28 歌尔股份有限公司 物体的检测方法、检测装置及存储介质
CN111507134A (zh) * 2019-01-31 2020-08-07 北京奇虎科技有限公司 人形姿态检测方法、装置、计算机设备及存储介质
CN110956642A (zh) * 2019-12-03 2020-04-03 深圳市未来感知科技有限公司 多目标跟踪识别方法、终端及可读存储介质
CN111932775A (zh) * 2020-04-22 2020-11-13 金华苏夏信息技术有限公司 基于图像捕捉的售货机查缺系统
CN111553915A (zh) * 2020-05-08 2020-08-18 深圳前海微众银行股份有限公司 物品识别检测方法、装置、设备和可读存储介质
CN111753692A (zh) * 2020-06-15 2020-10-09 珠海格力电器股份有限公司 目标对象提取方法、产品检测方法、装置、计算机和介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WY-BD: "智能售货柜技术方案大盘点，了解无人零售新风向！", 《新闻TOM》 *
吴明清等: "基于图像识别技术的南疆红枣品种识别研究", 《塔里木大学学报》 *
谭辉磊等: "基于轮廓的猪只饮水行为识别", 《江苏农业科学》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022217927A1 (zh) * 2021-04-16 2022-10-20 青岛海尔电冰箱有限公司 冰箱内物品信息标识方法、冰箱和计算机存储介质
WO2023124088A1 (zh) * 2021-12-27 2023-07-06 青岛海尔电冰箱有限公司 冰箱内物品信息识别方法和冰箱
WO2023125491A1 (zh) * 2021-12-30 2023-07-06 青岛海尔电冰箱有限公司 特定轮廓食材管理方法、存储介质以及冰箱
WO2023185779A1 (zh) * 2022-03-29 2023-10-05 青岛海尔电冰箱有限公司 冰箱内物品信息识别方法
WO2023185280A1 (zh) * 2022-03-31 2023-10-05 青岛海尔电冰箱有限公司 冰箱瓶座内物品信息识别方法和冰箱
WO2023193752A1 (zh) * 2022-04-07 2023-10-12 青岛海尔电冰箱有限公司 冰箱内物品信息识别方法和冰箱

Also Published As

Publication number Publication date
EP4307167A1 (en) 2024-01-17
CN113076907B (zh) 2023-03-21
WO2022217927A1 (zh) 2022-10-20

Similar Documents

Publication Publication Date Title
CN113076907B (zh) 冰箱内物品信息标识方法、冰箱和计算机存储介质
US20190362178A1 (en) Object Symmetry Axis Detection Method Based on RGB-D Camera
US20230410276A1 (en) Systems and methods for object dimensioning based on partial visual information
AU2022202588B2 (en) Item identification and tracking system
WO2022217928A1 (zh) 冰箱内物品信息标识方法、冰箱和计算机存储介质
CN110705424B (zh) 一种商品陈列位置的定位方法、装置及存储介质
CN105190655A (zh) 物品管理系统、信息处理设备及其控制方法和控制程序
CN108960238B (zh) 基于多摄像头的商品识别处理方法和装置
US11721029B2 (en) Draw wire encoder based homography
CN113095240B (zh) 冰箱内物品信息识别方法、冰箱和计算机存储介质
CN107564059A (zh) 基于rgb‑d信息的物体定位方法、装置以及机器视觉系统
US11423657B2 (en) Event trigger based on region-of-interest near hand-shelf interaction
US20210124944A1 (en) Detection of object removal and replacement from a shelf
US20210124947A1 (en) Food detection using a sensor array
Mizushima et al. A low-cost color vision system for automatic estimation of apple fruit orientation and maximum equatorial diameter
US11551454B2 (en) Homography error correction using marker locations
US11301691B2 (en) Homography error correction using sensor locations
CN102043966A (zh) 基于部分主分量分析和姿态估计联合的人脸识别方法
US11674792B2 (en) Sensor array with adjustable camera positions
US20210124949A1 (en) Homography error correction
US20240177339A1 (en) Homography error correction using a disparity mapping
CN110852265A (zh) 一种应用在工业流水线上的快速目标检测和定位方法
WO2023185779A1 (zh) 冰箱内物品信息识别方法
CN115424054A (zh) 用于冰箱的图像识别方法、存储介质、系统及冰箱
WO2021256267A1 (ja) 情報処理システム、情報処理装置、及び、情報処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant