CN114708503A - 冰箱瓶座内物品信息识别方法、冰箱和计算机存储介质 - Google Patents

冰箱瓶座内物品信息识别方法、冰箱和计算机存储介质 Download PDF

Info

Publication number
CN114708503A
CN114708503A CN202210345593.XA CN202210345593A CN114708503A CN 114708503 A CN114708503 A CN 114708503A CN 202210345593 A CN202210345593 A CN 202210345593A CN 114708503 A CN114708503 A CN 114708503A
Authority
CN
China
Prior art keywords
refrigerator
view image
information
article
articles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210345593.XA
Other languages
English (en)
Inventor
高洪波
孔令磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Haier Refrigerator Co Ltd
Haier Smart Home Co Ltd
Original Assignee
Qingdao Haier Refrigerator Co Ltd
Haier Smart Home Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Haier Refrigerator Co Ltd, Haier Smart Home Co Ltd filed Critical Qingdao Haier Refrigerator Co Ltd
Priority to CN202210345593.XA priority Critical patent/CN114708503A/zh
Publication of CN114708503A publication Critical patent/CN114708503A/zh
Priority to PCT/CN2023/075856 priority patent/WO2023185280A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)

Abstract

本发明揭示了一种冰箱瓶座内物品信息识别方法，包括步骤：获取同一水平线上多个拍照位拍摄的冰箱瓶座内空间的鸟瞰图像；根据拍照位及对应于拍照位的预存瓶座像素信息，在对应的鸟瞰图像中划分出多个物品放置区域；识别每张鸟瞰图像中每个物品放置区域内的物品信息；将多个拍照位拍摄的鸟瞰图像中同一物品放置区域的识别结果相互验证；根据验证结果，输出所述冰箱瓶座内放置的物品信息。一方面可以减少瓶座内物品有遗漏未识别的情况，另一方面，通过多个方位拍摄的瓶座内鸟瞰图像识别结果相互验证也可以提高最终输出结果的可信度。

Description

冰箱瓶座内物品信息识别方法、冰箱和计算机存储介质
技术领域
本发明涉及制冷装置领域，尤其涉及一种冰箱瓶座内物品信息识别方法、冰箱和计算机存储介质。
背景技术
随着电器智能化的发展，对内部物品进行识别已经是智能冰箱所必需的功能。通常为了实现对冰箱内存放物品的识别，冰箱内部都安装有一个或多个摄像头用于采集冰箱内物品照片，并对采集到的照片进行识别处理后发送到使用终端，以供用户查看。
然而，冰箱瓶座内空间有限，如果将摄像头安装在瓶座一侧自上而下拍摄瓶座内空间，放置于瓶座另一侧的物品往往会被体积较大的物品所遮挡，而无法识别到；而如果将摄像头安装于瓶座中间自上而下拍摄瓶座内空间，那么放置于瓶座两端的物品往往会由于被其他物品遮挡而无法被识别的情况。现有技术是通过在不同方位拍摄多张瓶座内照片，利用算法将不同方位拍摄的照片进行融合，从而识别整个瓶座内物品信息，但是这种方法成本较高，且在图片融合拼接的过程中可能会出现拼接错误或有拼接误差而影响最终瓶座内物品识别结果。
发明内容
本发明的目的在于提供一种冰箱瓶座内物品信息识别方法、冰箱和计算机存储介质。
为实现上述发明目的之一，本发明一实施方式提供一种冰箱瓶座内物品信息识别方法，包括步骤：
获取同一水平线上多个拍照位拍摄的冰箱瓶座内空间的鸟瞰图像；
根据拍照位及对应于拍照位的预存瓶座像素信息，在对应的鸟瞰图像中划分出多个物品放置区域；
识别每张鸟瞰图像中每个物品放置区域内的物品信息；
将多个拍照位拍摄的鸟瞰图像中同一物品放置区域的识别结果相互验证；
根据验证结果，输出所述冰箱瓶座内放置的物品信息。
作为本发明的进一步改进，“获取同一水平线上多个拍照位拍摄的冰箱瓶座内空间的鸟瞰图像”具体包括：
获取远程控制指令，控制可移动摄像头在同一水平线上多个拍照位拍摄冰箱瓶座内空间的鸟瞰图像；
所述摄像头安装于所述冰箱顶部的滑轨上，可从所述滑轨一端移动至另一端，自上而下拍摄所述冰箱瓶座内空间。
作为本发明的进一步改进，“控制可移动摄像头在同一水平线上多个拍照位拍摄的冰箱瓶座内空间的鸟瞰图像”具体包括：
所述远程控制指令具体为冰箱门闭合信号；
控制所述摄像头在所述滑轨一端拍摄第一鸟瞰图像；
控制所述摄像头移动至所述滑轨中间位置处拍摄第二鸟瞰图像；
控制所述摄像头移动至所述滑轨另一端拍摄第三鸟瞰图像。
作为本发明的进一步改进，“根据拍照位及对应于拍照位的预存瓶座像素信息，在对应的鸟瞰图像中划分出多个物品放置区域”具体包括：
利用边缘检测算法，识别出所述鸟瞰图像中冰箱瓶座底部区域；
根据对应于拍照位的预存瓶座像素信息，定位划分所述冰箱瓶座底部区域为多个放置区域。
5.根据权利要求4所述的冰箱瓶座内物品信息识别方法，其特征在于，“根据对应于拍照位的预存瓶座像素信息，定位划分所述冰箱瓶座底部区域为多个放置区域”具体包括：
根据在所述第一鸟瞰图像中预存的冰箱瓶座像素信息，定位划分出第一物品放置区域和第二物品放置区域；
根据在所述第二鸟瞰图像中预存的冰箱瓶座像素信息，定位划分出第一物品放置区域、第二物品放置区域和第三物品放置区域；
根据在所述第三鸟瞰图像中预存的冰箱瓶座像素信息，定位划分出第二物品放置区域和第三物品放置区域；
所述第一物品放置区域、第二物品放置区域和第三物品放置区域构成整个所述冰箱瓶座底部区域。
作为本发明的进一步改进，“识别每张鸟瞰图像中每个物品放置区域内的物品信息”具体包括：
采用Yolo V3目标检测算法，标定出所述鸟瞰图像中每个物品所对应的检测框；
识别每张鸟瞰图像中每个物品放置区域内的物品数量信息。
作为本发明的进一步改进，“识别每张鸟瞰图像中每个物品放置区域内的物品信息”具体包括：
采用OCR算法，识别每张鸟瞰图像中每个物品放置区域内物品的顶面文字信息。
作为本发明的进一步改进，“将多个拍照位拍摄的鸟瞰图像中同一物品放置区域的识别结果相互验证”具体包括步骤：
将第一鸟瞰图像和第二鸟瞰图像中第一物品放置区域的识别结果相互验证，若识别结果相同，则判断该识别结果为最终输出信息；若识别结果不相同，则以第一鸟瞰图像中第一物品放置区域的识别结果作为最终输出信息；
将第一鸟瞰图像、第二鸟瞰图像和第三鸟瞰图像中第二物品放置区域的识别结果相互验证，若识别结果相同，则判断该识别结果为最终输出信息；若识别结果不相同，则以第二鸟瞰图像中第二物品放置区域的识别结果作为最终输出信息；
将第二鸟瞰图像和第三鸟瞰图像中第三物品放置区域的识别结果相互验证，若识别结果相同，则判断该识别结果为最终输出信息；若识别结果不相同，则以第三鸟瞰图像中第三物品放置区域的识别结果作为最终输出信息。
本发明提供一种冰箱，包括：冰箱瓶座，摄像头以及存储器和处理器，其特征在于，
所述冰箱瓶座顶部设有一滑动装置，所述滑动装置包括一滑轨和驱动装置；
所述摄像头可沿所述滑轨移动，自上而下拍摄所述冰箱瓶座内空间；
所述驱动装置获取所述远程控制指令，驱动可移动摄像头沿所述滑轨在不同拍照位拍摄所述冰箱瓶座内空间的鸟瞰图像；
所述远程控制指令具体为冰箱门闭合信号；
所述存储器存储可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任意一项所述冰箱瓶座内物品信息识别方法的步骤。
本发明还提供一种计算机存储介质，其中存储有计算机程序，并且所述计算机程序运行时导致所述计算机存储介质的所在设备执行根据如上任意一项所述冰箱内物品信息识别方法的步骤。
与现有技术相比，本发明提供一种冰箱瓶座内物品信息的识别方法，在同一水平线上多个拍摄位拍摄瓶座内空间鸟瞰图像，将多个拍照位拍摄的鸟瞰图像中同一物品放置区域内物品信息的识别结果相互验证，根据验证结果最后输出瓶座内的物品信息，一方面可以减少瓶座内物品有遗漏未识别的情况，另一方面，通过多个方位拍摄的瓶座内鸟瞰图像识别结果相互验证也可以提高最终输出结果的可信度。
附图说明
图1是本发明一实施方式中一种冰箱瓶座内物品信息识别方法的流程示意图。
图2是本发明一实施方式中拍摄的第一鸟瞰图像简图。
图3是本发明一实施方式中拍摄的第二鸟瞰图像简图。
图4是本发明一实施方式中拍摄的第三鸟瞰图像简图。
图5是本发明一实施方式不同拍照位拍摄的鸟瞰图像中同一物品放置区域的识别结果相互验证的方法流程示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施方式及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施方式仅是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本申请保护的范围。
下面详细描述本发明的实施方式，实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
为方便说明，本文使用表示空间相对位置的术语来进行描述，例如“上”、“下”、“后”、“前”等，用来描述附图中所示的一个单元或者特征相对于另一个单元或特征的关系。空间相对位置的术语可以包括设备在使用或工作中除了图中所示方位以外的不同方位。例如，如果将图中的装置翻转，则被描述为位于其他单元或特征“下方”或“上方”的单元将位于其他单元或特征“下方”或“上方”。因此，示例性术语“下方”可以囊括下方和上方这两种空间方位。
本发明提供一种冰箱，包括：冰箱瓶座、摄像头以及存储器和处理器，其中，在所述冰箱瓶座顶部设有一滑动装置，所述滑动装置包括一滑轨和驱动装置。
进一步的，所述摄像头安装在所述滑轨上，可沿所述滑轨移动，自上而下拍摄所述冰箱瓶座内空间。当所述冰箱门体闭合时，所述驱动装置获取所述远程控制指令，驱动可移动摄像头沿所述滑轨在不同拍照位拍摄所述冰箱内空间的鸟瞰图像，所述远程控制指令具体为冰箱门闭合信号。
更进一步的，所述存储器是可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如下所述的一种冰箱瓶座内物品信息识别方法的步骤。
如图1所示，为本发明提供一种冰箱内物品信息识别方法，包括步骤：
S1：获取同一水平线上多个拍照位拍摄的冰箱瓶座内空间的鸟瞰图像。
当所述冰箱门体关闭使所述冰箱箱体闭合时，所述冰箱的驱动装置获取远程控制指令，所述远程控制指令即为冰箱门体闭合信号，所述驱动装置驱动所述摄像头移动在所述滑轨上多个拍照位拍摄冰箱瓶座内空间的鸟瞰图像。
在本发明一实施方式中，控制所述摄像头在瓶座的左上方、正上方以及右上方三个位置拍摄瓶座内空间鸟瞰图像，所述驱动装置控制所述摄像头在所述滑轨一端，即瓶座左上方拍摄得到第一鸟瞰图像，如图2所示；所述驱动装置控制所述摄像头移动至所述滑轨中间位置处，即瓶座正上方拍摄得到第二鸟瞰图像，如图3所示；所述驱动装置控制所述摄像头移动至所述滑轨的另一端，即瓶座右上方拍摄得到第三鸟瞰图像，如图4所示。
当然在其他实施方式中，可在四个甚至多个不同拍照位拍摄瓶座内鸟瞰图像，比如控制所述摄像头在所述滑轨一端移动至另一端的过程中，每间隔一定距离拍摄一张鸟瞰图像，可以更精细、更准确地识别瓶座内物品的全部信息。
S2：根据拍照位及对应于拍照位的预存瓶座像素信息，在对应的鸟瞰图像中划分出多个物品放置区域。
由于瓶座底部和瓶座壁面材质不同，因此通过摄像头拍摄得到的瓶座底部和瓶座壁面等区域在图像中通常具有较明显的像素灰度差异，能够被检测识别到明显的边缘轮廓线。在本发明的具体实施方式中，利用边缘检测算法，识别出所述鸟瞰图像中冰箱瓶座底部区域，这里，边缘检测算法可以采用诸如Roberts、Sobel、Prewitt、Canny、Log等目前常见的算法，具体算法内容为现有技术，在此不过多赘述。
由于在不同拍照位拍摄的鸟瞰图像中冰箱瓶座底部区域的像素信息不同，可在识别算法中预存对应于不同拍照位拍摄鸟瞰图像的瓶座像素信息，根据对应于拍照位的预存瓶座像素信息，定位划分所述冰箱瓶座底部区域为多个固定的物品放置区域。
在本发明具体实施方式中，在瓶座宽度方向上将所述冰箱瓶座底部区域均分为三部分，分为第一物品放置区域A、第二物品放置区域B和第三物品放置区域C。由于摄像头在瓶座左上方和右上方拍摄的鸟瞰图像很难完全包括整个瓶座内空间的全部区域，所以只需根据预存的对应于不同拍照位的瓶座像素信息对拍摄得到的鸟瞰图像内瓶座底部区域进行相应的划分即可。当然，在本发明其他实施方式中，也可将冰箱瓶座底部区域划分为四个或更多多个物品放置区域用于后续的识别验证，提高识别算法的精度和准确度。
具体的，如图2-4所示，根据在摄像头位于瓶座左上方拍摄得到的第一鸟瞰图像中预存的冰箱瓶座像素信息，定位划分出第一物品放置区域A和第二物品放置区域B；根据在摄像头位于瓶座正上方拍摄得到的第二鸟瞰图像中预存的冰箱瓶座像素信息，定位划分出第一物品放置区域A、第二物品放置区域B和第三物品放置区域C；根据在摄像头位于瓶座右上方拍摄得到的第三鸟瞰图像中预存的冰箱瓶座像素信息，定位划分出第二物品放置区域B和第三物品放置区域C。
S3：识别每张鸟瞰图像中每个物品放置区域内的物品信息。
在本发明一实施方式中，采用Yolo V3目标检测算法，标定出每个物品放置区域内每个物品所对应的检测框，识别出每个物品放置区域内的物品数量信息。
在本发明的另一实施方式中，采用OCR算法，可用于识别每个物品放置区域内物品顶盖的文字信息，识别出每个物品放置区域内物品的种类信息或是生产日期等等。
这里，Yolo V3目标检测算法和OCR算法均为现有技术，在此不过多赘述。下面以识别每个物品放置区域内的物品数量信息来作解释说明。
具体的，如图2所示，为拍摄得到的第一鸟瞰图像，可根据预存的瓶座像素信息，识别划分出第一物品放置区域A和第二物品放置区域B。采用Yolo V3目标检测算法，标定出第一鸟瞰图像内每个物品所对应的检测框，根据物品检测框中心点的位置确定所述检测框对应的物品具体位于哪个物品放置区域内。比如物品a，由于其放置位置既占A区域，又占B区域，但是其对应的检测框中心点位置落在A区域，所以系统判断物品a放置于A区域内。所以对于第一鸟瞰图像中，可识别出第一物品放置区域A内放置有4件物品，第二物品放置区域B内放置有3件物品。
同样的，可识别图3中第一物品放置区域A内放置有3件物品，第二物品放置区域B内放置有3件物品，第三物品放置区域C内放置有2件物品；图4中第二物品放置区域B内放置有3件物品，第三物品放置区域C内放置有3件物品。
S4：将多个拍照位拍摄的鸟瞰图像中同一物品放置区域的识别结果相互验证。
如图5所示，具体包括步骤：
S41：将第一鸟瞰图像和第二鸟瞰图像中第一物品放置区域的识别结果相互验证，若识别结果相同，则判断该识别结果为最终输出信息；若识别结果不相同，则以第一鸟瞰图像中第一物品放置区域的识别结果作为最终输出信息。
如图2和图3，由于物品b放置在瓶座偏左侧角落，并且其体积较小、高度较低，所以在图3中鸟瞰图像内检测不到物品b，所以对于第一物品放置区域A，其内放置的物品信息识别结果以第一鸟瞰图像中区域A内的识别结果为准。
S42：将第一鸟瞰图像、第二鸟瞰图像和第三鸟瞰图像中第二物品放置区域的识别结果相互验证，若识别结果相同，则判断该识别结果为最终输出信息；若识别结果不相同，则以第二鸟瞰图像中第二物品放置区域的识别结果作为最终输出信息。
如图2-图4，三张鸟瞰图像中对于第二物品放置区域B内物品的识别结果相同，该识别结果为最终输出信息。但是对于其他物品放置情况，三张鸟瞰图像对于第二物品放置区域B内物品的识别结果不相同，则以第二鸟瞰图像中第二物品放置区域B的识别结果作为最终输出信息。
S43：将第二鸟瞰图像和第三鸟瞰图像中第三物品放置区域的识别结果相互验证，若识别结果相同，则判断该识别结果为最终输出信息；若识别结果不相同，则以第三鸟瞰图像中第三物品放置区域的识别结果作为最终输出结果。
如图3和图4，由于物品c放置在瓶座偏右侧角落，在图3中鸟瞰图像内往往会被其旁边物品所遮挡而检测不到，所以对于第三物品放置区域C，其内放置的物品信息识别结果以第三鸟瞰图像中区域C内的识别结果为准。
本发明另一实施方式还提出一种识别验证各个物品放置区域的方法，通过设置不同的权重值来计算得出每个物品放置区域内的物品数量。
对于第一物品放置区域A内真实放置的物品数量，可将图2和图3中对于A区域分别识别出来的结果通过公式(1)进行计算，
Figure BDA0003576431930000091
其中，NA取整数，k1＝0.8，k2＝0.2，NA1为第一鸟瞰图像中识别出A区域内放置的物品数量，NA2为第二鸟瞰图像中识别出A区域内放置的物品数量。当第一鸟瞰图像和第二鸟瞰图像中对于A区域物品数量信息的识别结果不相同时，可根据公式(1)，将两张图像中A区域的识别结果带入计算，也可得出冰箱瓶座A区域内放置的物品数量信息。
对于第二物品放置区域B内真实放置的物品数量，可将图2、图3和图4中对于B区域分别识别出来的结果通过公式(2)进行计算，
Figure BDA0003576431930000092
其中，NB取整数，k1＝0.2，k2＝0.6，k3＝0.2，NB1为第一鸟瞰图像中识别出B区域内放置的物品数量，NB2为第二鸟瞰图像中识别出B区域内放置的物品数量，NB3为第三鸟瞰图像中识别出B区域内放置的物品数量。
对于第三物品放置区域C内真实放置的物品数量，可将图3和图4中对于C区域分别识别出来的结果通过公式(3)进行计算，
Figure BDA0003576431930000101
其中，NC取整数，k1＝0.2，k2＝0.8，NC2为第二鸟瞰图像中识别出C区域内放置的物品数量，NC3为第三鸟瞰图像中识别出C区域内放置的物品数量。
S5：根据验证结果，输出所述冰箱瓶座内放置的物品信息。
根据验证结果，将第一鸟瞰图像中A区域识别结果作为最终识别结果，将第二鸟瞰图像中B区域识别结果作为最终识别结果，将第三鸟瞰图像中C区域识别结果最为最终识别结果，所以针对图2-图4，可最终输出所述冰箱瓶座内全部的物品信息。
本发明还提供一种计算机存储介质，其中存储有计算机程序，并且计算机程序运行时导致计算机存储介质的所在设备上执行上述的冰箱瓶座内物品信息识别方法的步骤。
综上所述，本发明提供一种冰箱瓶座内物品信息的识别方法，在同一水平线上多个拍摄位拍摄瓶座内空间鸟瞰图像，将多个拍照位拍摄的鸟瞰图像中同一物品放置区域内物品信息的识别结果相互验证，根据验证结果最后输出瓶座内的物品信息，一方面可以减少瓶座内物品有遗漏未识别的情况，另一方面，通过多个方位拍摄的瓶座内鸟瞰图像识别结果相互验证也可以提高最终输出结果的可信度。
应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (10)

1.一种冰箱瓶座内物品信息识别方法，其特征在于，包括步骤：
获取同一水平线上多个拍照位拍摄的冰箱瓶座内空间的鸟瞰图像；
根据拍照位及对应于拍照位的预存瓶座像素信息，在对应的鸟瞰图像中划分出多个物品放置区域；
识别每张鸟瞰图像中每个物品放置区域内的物品信息；
将多个拍照位拍摄的鸟瞰图像中同一物品放置区域的识别结果相互验证；
根据验证结果，输出所述冰箱瓶座内放置的物品信息。
2.根据权利要求1所述的冰箱瓶座内物品信息识别方法，其特征在于，“获取同一水平线上多个拍照位拍摄的冰箱瓶座内空间的鸟瞰图像”具体包括：
获取远程控制指令，控制可移动摄像头在同一水平线上多个拍照位拍摄冰箱瓶座内空间的鸟瞰图像；
所述摄像头安装于所述冰箱顶部的滑轨上，可从所述滑轨一端移动至另一端，自上而下拍摄所述冰箱瓶座内空间。
3.根据权利要求2所述的冰箱瓶座内物品信息识别方法，其特征在于，“控制可移动摄像头在同一水平线上多个拍照位拍摄的冰箱瓶座内空间的鸟瞰图像”具体包括：
所述远程控制指令具体为冰箱门闭合信号；
控制所述摄像头在所述滑轨一端拍摄第一鸟瞰图像；
控制所述摄像头移动至所述滑轨中间位置处拍摄第二鸟瞰图像；
控制所述摄像头移动至所述滑轨另一端拍摄第三鸟瞰图像。
4.根据权利要求3所述的冰箱瓶座内物品信息识别方法，其特征在于，“根据拍照位及对应于拍照位的预存瓶座像素信息，在对应的鸟瞰图像中划分出多个物品放置区域”具体包括：
利用边缘检测算法，识别出所述鸟瞰图像中冰箱瓶座底部区域；
根据对应于拍照位的预存瓶座像素信息，定位划分所述冰箱瓶座底部区域为多个放置区域。
5.根据权利要求4所述的冰箱瓶座内物品信息识别方法，其特征在于，“根据对应于拍照位的预存瓶座像素信息，定位划分所述冰箱瓶座底部区域为多个放置区域”具体包括：
根据在所述第一鸟瞰图像中预存的冰箱瓶座像素信息，定位划分出第一物品放置区域和第二物品放置区域；
根据在所述第二鸟瞰图像中预存的冰箱瓶座像素信息，定位划分出第一物品放置区域、第二物品放置区域和第三物品放置区域；
根据在所述第三鸟瞰图像中预存的冰箱瓶座像素信息，定位划分出第二物品放置区域和第三物品放置区域；
所述第一物品放置区域、第二物品放置区域和第三物品放置区域构成整个所述冰箱瓶座底部区域。
6.根据权利要求5所述的冰箱瓶座内物品信息识别方法，其特征在于，“识别每张鸟瞰图像中每个物品放置区域内的物品信息”具体包括：
采用Yolo V3目标检测算法，标定出所述鸟瞰图像中每个物品所对应的检测框；
识别每张鸟瞰图像中每个物品放置区域内的物品数量信息。
7.根据权利要求5所述的冰箱瓶座内物品信息识别方法，其特征在于，“识别每张鸟瞰图像中每个物品放置区域内的物品信息”具体包括：
采用OCR算法，识别每张鸟瞰图像中每个物品放置区域内物品的顶面文字信息。
8.根据权利要求6或7所述的冰箱瓶座内物品信息识别方法，其特征在于，“将多个拍照位拍摄的鸟瞰图像中同一物品放置区域的识别结果相互验证”具体包括步骤：
将第一鸟瞰图像和第二鸟瞰图像中第一物品放置区域的识别结果相互验证，若识别结果相同，则判断该识别结果为最终输出信息；若识别结果不相同，则以第一鸟瞰图像中第一物品放置区域的识别结果作为最终输出信息；
将第一鸟瞰图像、第二鸟瞰图像和第三鸟瞰图像中第二物品放置区域的识别结果相互验证，若识别结果相同，则判断该识别结果为最终输出信息；若识别结果不相同，则以第二鸟瞰图像中第二物品放置区域的识别结果作为最终输出信息；
将第二鸟瞰图像和第三鸟瞰图像中第三物品放置区域的识别结果相互验证，若识别结果相同，则判断该识别结果为最终输出信息；若识别结果不相同，则以第三鸟瞰图像中第三物品放置区域的识别结果作为最终输出信息。
9.一种冰箱，包括：冰箱瓶座，摄像头以及存储器和处理器，其特征在于，
所述冰箱瓶座顶部设有一滑动装置，所述滑动装置包括一滑轨和驱动装置；
所述摄像头可沿所述滑轨移动，自上而下拍摄所述冰箱瓶座内空间；
所述驱动装置获取所述远程控制指令，驱动可移动摄像头沿所述滑轨在不同拍照位拍摄所述冰箱瓶座内空间的鸟瞰图像；
所述远程控制指令具体为冰箱门闭合信号；
所述存储器存储可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1-8任意一项所述冰箱瓶座内物品信息识别方法的步骤。
10.一种计算机存储介质，其中存储有计算机程序，其特征在于，所述计算机程序运行时导致所述计算机存储介质的所在设备执行根据权利要求1-8中任意一项所述冰箱瓶座内物品信息识别方法的步骤。
CN202210345593.XA 2022-03-31 2022-03-31 冰箱瓶座内物品信息识别方法、冰箱和计算机存储介质 Pending CN114708503A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210345593.XA CN114708503A (zh) 2022-03-31 2022-03-31 冰箱瓶座内物品信息识别方法、冰箱和计算机存储介质
PCT/CN2023/075856 WO2023185280A1 (zh) 2022-03-31 2023-02-14 冰箱瓶座内物品信息识别方法和冰箱

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210345593.XA CN114708503A (zh) 2022-03-31 2022-03-31 冰箱瓶座内物品信息识别方法、冰箱和计算机存储介质

Publications (1)

Publication Number Publication Date
CN114708503A true CN114708503A (zh) 2022-07-05

Family

ID=82173572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210345593.XA Pending CN114708503A (zh) 2022-03-31 2022-03-31 冰箱瓶座内物品信息识别方法、冰箱和计算机存储介质

Country Status (2)

Country Link
CN (1) CN114708503A (zh)
WO (1) WO2023185280A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023185280A1 (zh) * 2022-03-31 2023-10-05 青岛海尔电冰箱有限公司 冰箱瓶座内物品信息识别方法和冰箱

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210134092A (ko) * 2019-03-29 2021-11-09 엘지전자 주식회사 냉장고 및 냉장고의 물품 관리 방법
CN113076907B (zh) * 2021-04-16 2023-03-21 青岛海尔电冰箱有限公司 冰箱内物品信息标识方法、冰箱和计算机存储介质
CN113095240B (zh) * 2021-04-16 2023-08-29 青岛海尔电冰箱有限公司 冰箱内物品信息识别方法、冰箱和计算机存储介质
CN113158876A (zh) * 2021-04-16 2021-07-23 青岛海尔电冰箱有限公司 冰箱内物品信息识别方法、冰箱和计算机存储介质
CN114708503A (zh) * 2022-03-31 2022-07-05 青岛海尔电冰箱有限公司 冰箱瓶座内物品信息识别方法、冰箱和计算机存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023185280A1 (zh) * 2022-03-31 2023-10-05 青岛海尔电冰箱有限公司 冰箱瓶座内物品信息识别方法和冰箱

Also Published As

Publication number Publication date
WO2023185280A1 (zh) 2023-10-05

Similar Documents

Publication Publication Date Title
US10235588B1 (en) System and method for adaptively conformed imaging of work pieces having disparate configuration
CN103189827B (zh) 对象显示装置以及对象显示方法
CN109685000A (zh) 一种基于视觉的车位检测方法及装置
EP2375376B1 (en) Method and arrangement for multi-camera calibration
WO2022217928A1 (zh) 冰箱内物品信息标识方法、冰箱和计算机存储介质
US20040153671A1 (en) Automated physical access control systems and methods
EP2993894B1 (en) Image capturing method and electronic apparatus
US20150243016A1 (en) Orientation estimation apparatus, orientation estimation method, and computer-readable recording medium storing orientation estimation computer program
US10929629B2 (en) Positional relationship detection device and positional relationship detection system
JP5001930B2 (ja) 動作認識装置及び方法
WO2022217935A1 (zh) 冰箱内物品信息识别方法和冰箱
CN108615015A (zh) 一种冰箱内部食材的识别方法、设备及图像识别系统
CN114708503A (zh) 冰箱瓶座内物品信息识别方法、冰箱和计算机存储介质
WO2023185779A1 (zh) 冰箱内物品信息识别方法
CN109544594A (zh) 多个非线性扭曲镜头下的目标追踪方法及系统
JP2013532451A (ja) 倉庫内の物体の位置を特定するための方法及び装置
US10783664B2 (en) Method for setting a camera
CN114818796A (zh) 冰箱内物品信息识别方法、冰箱和计算机存储介质
CN110070015A (zh) 图像识别方法及装置、系统
CN113824864A (zh) 食材存储设备及图像处理方法
JP4449808B2 (ja) 人物検出装置
EP4246441A1 (en) A refrigerator with a camera for automatic image cropping
KR102367118B1 (ko) 디스플레이 장치 및 그의 제어 방법
CN116416556A (zh) 物品信息识别方法、制冷设备和计算机存储介质
CN113128464B (zh) 图像识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination