CN110619266A - 目标物识别方法、装置和冰箱 - Google Patents
目标物识别方法、装置和冰箱 Download PDFInfo
- Publication number
- CN110619266A CN110619266A CN201910712357.5A CN201910712357A CN110619266A CN 110619266 A CN110619266 A CN 110619266A CN 201910712357 A CN201910712357 A CN 201910712357A CN 110619266 A CN110619266 A CN 110619266A
- Authority
- CN
- China
- Prior art keywords
- target
- target object
- image
- images
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 235000013305 food Nutrition 0.000 claims abstract description 28
- 239000000463 material Substances 0.000 claims abstract description 28
- 238000006073 displacement reaction Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 description 5
- 240000007049 Juglans regia Species 0.000 description 4
- 235000009496 Juglans regia Nutrition 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 235000020234 walnut Nutrition 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 235000001674 Agaricus brunnescens Nutrition 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000001035 drying Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 235000012055 fruits and vegetables Nutrition 0.000 description 2
- 235000018645 Allium odorum Nutrition 0.000 description 1
- 240000008654 Allium ramosum Species 0.000 description 1
- 240000002234 Allium sativum Species 0.000 description 1
- 235000005338 Allium tuberosum Nutrition 0.000 description 1
- 244000144730 Amygdalus persica Species 0.000 description 1
- 240000007087 Apium graveolens Species 0.000 description 1
- 235000015849 Apium graveolens Dulce Group Nutrition 0.000 description 1
- 235000010591 Appio Nutrition 0.000 description 1
- 235000017060 Arachis glabrata Nutrition 0.000 description 1
- 244000105624 Arachis hypogaea Species 0.000 description 1
- 235000010777 Arachis hypogaea Nutrition 0.000 description 1
- 235000018262 Arachis monticola Nutrition 0.000 description 1
- 244000189799 Asimina triloba Species 0.000 description 1
- 235000006264 Asimina triloba Nutrition 0.000 description 1
- 235000011299 Brassica oleracea var botrytis Nutrition 0.000 description 1
- 235000017647 Brassica oleracea var italica Nutrition 0.000 description 1
- 240000003259 Brassica oleracea var. botrytis Species 0.000 description 1
- 235000010149 Brassica rapa subsp chinensis Nutrition 0.000 description 1
- 235000000536 Brassica rapa subsp pekinensis Nutrition 0.000 description 1
- 241000499436 Brassica rapa subsp. pekinensis Species 0.000 description 1
- 235000004936 Bromus mango Nutrition 0.000 description 1
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 1
- 235000009467 Carica papaya Nutrition 0.000 description 1
- 241000675108 Citrus tangerina Species 0.000 description 1
- 240000000560 Citrus x paradisi Species 0.000 description 1
- 240000008067 Cucumis sativus Species 0.000 description 1
- 235000010799 Cucumis sativus var sativus Nutrition 0.000 description 1
- 240000001980 Cucurbita pepo Species 0.000 description 1
- 235000009852 Cucurbita pepo Nutrition 0.000 description 1
- 235000002767 Daucus carota Nutrition 0.000 description 1
- 244000000626 Daucus carota Species 0.000 description 1
- 240000001008 Dimocarpus longan Species 0.000 description 1
- 235000000235 Euphoria longan Nutrition 0.000 description 1
- 244000081841 Malus domestica Species 0.000 description 1
- 235000011430 Malus pumila Nutrition 0.000 description 1
- 235000015103 Malus silvestris Nutrition 0.000 description 1
- 235000014826 Mangifera indica Nutrition 0.000 description 1
- 240000007228 Mangifera indica Species 0.000 description 1
- 240000005561 Musa balbisiana Species 0.000 description 1
- 235000018290 Musa x paradisiaca Nutrition 0.000 description 1
- 241001248610 Ophiocordyceps sinensis Species 0.000 description 1
- 244000046052 Phaseolus vulgaris Species 0.000 description 1
- 240000001462 Pleurotus ostreatus Species 0.000 description 1
- 235000001603 Pleurotus ostreatus Nutrition 0.000 description 1
- 235000006040 Prunus persica var persica Nutrition 0.000 description 1
- 244000294611 Punica granatum Species 0.000 description 1
- 235000014360 Punica granatum Nutrition 0.000 description 1
- 235000014443 Pyrus communis Nutrition 0.000 description 1
- 240000001987 Pyrus communis Species 0.000 description 1
- 244000088415 Raphanus sativus Species 0.000 description 1
- 235000006140 Raphanus sativus var sativus Nutrition 0.000 description 1
- 244000061456 Solanum tuberosum Species 0.000 description 1
- 235000002595 Solanum tuberosum Nutrition 0.000 description 1
- 235000009337 Spinacia oleracea Nutrition 0.000 description 1
- 244000300264 Spinacia oleracea Species 0.000 description 1
- 235000009184 Spondias indica Nutrition 0.000 description 1
- 244000269722 Thea sinensis Species 0.000 description 1
- 235000009754 Vitis X bourquina Nutrition 0.000 description 1
- 235000012333 Vitis X labruscana Nutrition 0.000 description 1
- 240000006365 Vitis vinifera Species 0.000 description 1
- 235000014787 Vitis vinifera Nutrition 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000003056 antler Anatomy 0.000 description 1
- 229910052791 calcium Inorganic materials 0.000 description 1
- 239000011575 calcium Substances 0.000 description 1
- 235000019506 cigar Nutrition 0.000 description 1
- 235000019504 cigarettes Nutrition 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 235000004611 garlic Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000020232 peanut Nutrition 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 235000013343 vitamin Nutrition 0.000 description 1
- 229940088594 vitamin Drugs 0.000 description 1
- 229930003231 vitamin Natural products 0.000 description 1
- 239000011782 vitamin Substances 0.000 description 1
- 150000003722 vitamin derivatives Chemical class 0.000 description 1
- 238000009736 wetting Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
Abstract
本发明公开了一种本发明提出的目标物识别方法、装置和冰箱中，从摄像头拍摄的视频流中获取n张目标图像，确定每张目标图像中的目标物的位置坐标以及置信度，根据找到最佳目标图像，最后根据最佳目标图像识别出目标物，该模型中，综合考虑每张目标图像中目标物的位置坐标与目标图像中心点的距离，以及每张目标图像中目标物的置信度来确定最佳目标图像，确定的最佳目标图像满足目标物距离图像中心点位置最近且置信度最高，因此根据最佳目标图像识别出的目标物会更加准确，从而提高了识别准确性，解决了现有技术中对食材的识别不够准确的技术问题。
Description
技术领域
本发明属于图像处理技术领域，具体地说，是涉及一种目标物识别方法、装置和冰箱。
背景技术
冰箱的干湿分储技术中，将湿区的湿度保持在90%左右，使得存储于其中的水果蔬菜实现保湿且不凝露，给果蔬提供了适宜的高湿存储环境；而干区湿度保持在45%左右，干使得存储于其中的干货不受潮不变质，为鹿茸、冬虫夏草、名贵茶叶等贵重干货提供了恰当的存储环境；从而为消费者提供了干而不燥，湿而不腐的完美的解决方案。
目前，在冰箱中对于干湿分储的应用主要基于用户的操作实现，也即由用户自行根据食材的特点选择湿区或干区进行存储，但这种操作显然降低了用户的使用体验。
为提高用户的使用体验，现有技术中，存在一种识别了食材类型后，根据提示确定食材的实际放置区域的技术，但目前对冰箱的食材类型的识别，通常是通过在冰箱上使用内置摄像头+算法实现的，这其中存在的问题是：由于食材相互遮挡造成图像识别不够准确。
发明内容
本发明的目的在于提供一种目标物识别方法、装置和冰箱，解决现有技术中对食材的识别不够准确的技术问题。
为解决上述技术问题，本发明采用以下技术方案予以实现：
提出一种目标物识别方法，包括：从视频流中获取n张目标图像；确定每张目标图像中的目标物的位置坐标以及置信度；根据,确定最佳目标图像；其中，为目标物的位置坐标，α为常数，w为目标图像的宽度，h为目标图像的高度，为置信度；采用所述最佳目标图像识别目标物的种类。
进一步的，所述方法还包括：根据，确定目标物的运动方向；其中。
进一步的，从视频流中获取n张目标图像，具体包括：获取当前帧图像并识别是否存在目标物；在当前帧图像存在目标物时，获取当前帧之前的n帧图像；对获取的n帧图像分别识别是否存在目标物；在n帧图像均存在目标物且目标物均不存在位移时，确定n帧图像为所述n张目标图像。
提出一种目标物识别装置，包括：摄像头，用于获取视频流；还包括：目标图像确定模块，用于从视频流中获取n张目标图像；目标物信息计算模块，用于确定每张目标图像中的目标物的位置坐标以及置信度；最佳目标图像确定模块，用于根据,确定最佳目标图像；其中，为目标物的位置坐标，α为常数，w为目标图像的宽度，h为目标图像的高度，为置信度；识别分类模块，用于采用所述最佳目标图像识别目标物的种类。
进一步的，所述装置还包括：目标物运动方向确定模块，用于根据，确定目标物的运动方向；其中。
进一步的，所述目标图像确定模块包括：目标物识别单元，用于获取当前帧图像并识别是否存在目标物；前序图像获取单元，用于在当前帧图像存在目标物时，获取当前帧之前的n帧图像；则所述目标物识别单元对获取的n帧图像分别识别是否存在目标物；目标物位移判断单元，用于在n帧图像均存在目标物时，判断n帧图像中的目标物是否存在位移；目标图像确定单元，用于在n帧图像中的目标物均不存在位移时，确定n帧图像为所述n张目标图像。
提出一种冰箱，包括：角度传感器，用于检测冰箱门体的角度信息；还包括如上所述的目标物识别装置；其中，所述摄像头安装于冰箱内部，在根据所述角度信息确定门体处于设定角度范围内时，启动所述摄像头获取视频流。
进一步的，所述冰箱还包括：若干食材存储区；存储区分配模块，用于在所述目标识别装置识别出目标物的种类之后，根据种类确定所述目标物的存储区。
进一步的，所述冰箱还包括：提示模块，用于提示所述目标物的存储区。
与现有技术相比，本发明的优点和积极效果是：本发明提出的目标物识别方法、装置和冰箱中，摄像头获取的视频流中将食材作为目标物，首先对当前帧图像进行识别，在确定出现目标物后，根据n张连续的目标图像，确定每张目标图像中的目标物，并确定目标物的位置坐标以及置信度，根据模型找到最佳目标图像，最后根据最佳目标图像识别出目标物，该模型中，综合考虑每张目标图像中目标物的位置坐标与目标图像中心点的距离，以及每张目标图像中目标物的置信度来确定最佳目标图像，确定的最佳目标图像满足目标物距离图像中心点位置最近且置信度最高，因此根据最佳目标图像识别出的目标物会更加准确，从而提高了识别准确性，解决了现有技术中对食材的识别不够准确的技术问题。
进一步的，通过对冰箱门体开启角度的检测，在冰箱门开启到设定角度范围内时启动摄像头获取视频流，由于食材还未放置到冰箱内部，而是在放置过程中获取视频流，因此排除了其他食材对目标物的遮挡问题，避免了由于食材相互遮挡而降低食材识别准确性的问题。
结合附图阅读本发明实施方式的详细描述后，本发明的其他特点和优点将变得更加清楚。
附图说明
图1 为本发明提出的目标物识别方法的实施例流程图；
图2为本发明提出的目标识别装置的实施例架构图；
图3为本发明提出的冰箱的实施例架构图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步详细的说明。
本发明提出的目标物识别方法，如图1所示，包括如下步骤：
步骤S11：从视频流中获取n张目标图像。
本发明实施例中，以用户将目标物放置于摄像头的摄像范围内进行停留作为应用场景，通过摄像头来获取视频流，并基于视频流中的图像对目标物进行识别。摄像头获取视频流的启动条件根据实际应用情景设定，例如按键触发、接收到指令或其他用于激发识别流程的条件等。
在启动摄像头获取视频流后，采用基于深度学习CNN的目标检测算法对当前帧图像是否存在目标物进行识别，如果存在目标物，则获取当前帧图像之前的n帧图像作为分析对象，对这n帧图像中的每一帧图像进行识别，判断是否都存在目标物，若这n帧图像中均存在目标物，且目标物没有发生位移，说明用户将目标物放置于摄像头的摄像范围内，预启动目标识别程序，则将该n帧图像作为n张目标图像，采用该n张目标图像进行后续的识别处理。
若n帧图像中并不是都存在目标物，或者目标物发生了位移，则将当前帧进行存储，以便于其他“过程”使用，该“过程”例如用于将目标物放入摄像头的摄像范围内并做停留，或者在摄像头摄像范围内运动等。
上述，在启动摄像头获取视频流后，采用基于深度学习CNN的目标检测算法对当前帧图像是否存在目标物进行识别，如果当前帧中不存在目标物，则也执行向前获取若干帧图像的步骤，并识别这些帧图像中是否都存在目标物，若均不存在目标物，则表示最近一段时间内用户没有要识别目标物的动作，则可以检查缓存并清空，若部分存在目标物，则对当前帧和后续的视频流帧进行存储以备后续使用。
步骤S12：确定每张目标图像中的目标物的位置坐标以及置信度。
设n张目标图像的编号为I 1,I 2,I 3...I n，使用目标检测算法检测每张目标图像中的目标物，并确定每张目标图像中目标物的位置坐标(x 1,y 1),(x 2,y 2),(x 3,y 3)...(x n,y n)，优选中心点坐标；以及根据确定的目标物相对目标图像的位置关系确定目标物的置信度c 1,c 2,c 3...c n(0<c 1,c 2,c 3...c n<1)。
步骤S13：根据,确定最佳目标图像。
其中，为目标物的位置坐标，α为常数，w为目标图像的宽度，h为目标图像的高度，为置信度。
该模型中，综合考虑每张目标图像中目标物的位置坐标与目标图像中心点的距离，以及每张目标图像中目标物的置信度来确定最佳目标图像，确定的最佳目标图像满足目标物距离图像中心点位置最近且置信度最高。
步骤S14：采用最佳目标图像识别目标物的种类。
在找到了最佳目标图像之后，采用基于深度学习CNN的分类算法识别该最佳目标图像的目标物，根据目标物的中心点位置坐标，对最佳目标图像进行裁剪和缩放等处理输入分类识别模型进行识别分类。
最佳目标图像满足目标物距离图像中心点位置最近且置信度最高，根据最佳目标图像识别出的目标物会更加准确，从而提高了识别准确性，解决了现有技术中对食材的识别不够准确的技术问题。
本发明实施例中，除了对目标物的种类进行识别分类，还对目标物的运行方向进行识别，有利于分析目标物的运动状态，应用于冰箱时，能够分析食材的放入还是取出动作。
具体的，n帧目标图像中，目标物每帧的方向可以用向量表示，即γ 1=(x 2-x 1,y 2-y 1),γ 2=(x 3-x 2,y 3-y 2),...γ n-1=(x n-x n-1,y n-y n-1)，则给定如下公式：
，,
选定一个常数T，如果，那么在时表示目标物向第一方向运动，在时表示目标物向第二方向运动，这里第一方向和第二方向为同一直线上的相反方向。
基于上述提出的目标物识别方法，本发明还提出一种目标物识别装置，如图2所示，该装置包括摄像头21、目标图像确定模块22、目标物信息计算模块23、最佳目标图像确定模块24和识别分类模块25；摄像头21用于获取视频流；目标图像确定模块22用于从视频流中获取n张目标图像；目标物信息计算模块23用于确定每张目标图像中的目标物的位置坐标以及置信度；最佳目标图像确定模块24用于根据,确定最佳目标图像；其中，为目标物的位置坐标，α为常数，w为目标图像的宽度，h为目标图像的高度，为置信度；识别分类模块25用于采用最佳目标图像识别目标物的种类。
该装置还包括目标物运动方向确定模块26，用于根据，确定目标物的运动方向；其中。
具体的，目标图像确定模块22包括目标物识别单元221、前序图像获取单元222、目标物位移判断单元223和目标图像确定单元224；目标物识别单元221用于获取当前帧图像并识别是否存在目标物；前序图像获取单元222用于在当前帧图像存在目标物时，获取当前帧之前的n帧图像；则目标物识别单元221对获取的n帧图像分别识别是否存在目标物；目标物位移判断单元223用于在n帧图像均存在目标物时，判断n帧图像中的目标物是否存在位移；目标图像确定单元224用于在n帧图像中的目标物均不存在位移时，确定n帧图像为n张目标图像。
具体的目标物识别装置的识别方式，下面以该装置应用于冰箱为实施例进行详细说明。
本实施例中的冰箱，如图3所示，包括角度传感器31，用于检测冰箱门体的开关门角度信息，通过串口转USB连接至上述提出的目标物识别装置2上或冰箱主控板上，上电后，角度传感器31一直发送门体的角度信息给目标物识别装置，目标物识别装置还可以结合冰箱门体的关门信号，在每次关门后自动纠正或初始化角度传感器31，从而保证角度传感器31的信号与关门信号同步。
摄像头21设置于冰箱内部，优选广角镜头，保证拍摄范围覆盖整个冰箱的宽度，目标物识别装置2接收角度传感器31的角度数据，根据角度信息判断门体处于设定角度范围内时，也即在门体打开一定角度或关闭一定角度时，启动摄像头21获取视频流。
以用户开启冰箱门放置食材为例，当用户开启冰箱门体到设定角度范围内时，摄像头21启动获取视频流，用户将食材放置于摄像头21的摄像范围内稍作停留，期间，目标物识别装置根据获取的视频流，首先对当前帧图像进行识别，确定出现食材后，获取该当前帧之前的20帧图像，分别对该20帧图像进行识别，当着20帧图像均存在食材时，且食材在图像中未发生位移，则取该20帧图像为目标图像，对该20帧图像分别识别食材的位置以及确定食材的置信度，进而采用模型找出最佳目标图像，进而将最佳目标图像输入识别模型进行识别分类，确定食材的种类。
上述，通过对冰箱门体开启角度的检测，在冰箱门开启到设定角度范围内时启动摄像头获取视频流，由于食材还未放置到冰箱内部，而是在放置过程中获取视频流，因此排除了其他食材对目标物的遮挡问题，避免了由于食材相互遮挡而降低食材识别准确性的问题。
在对食材进行了准确识别分类后，可将分类结果应用于多种功能应用中，例如热量计算、食谱推荐等等。
本实施例中，冰箱还设置有若干食材存储区、存储区分配模块32和提示模块33，例如下表一所示的，按照不同存储湿度以及存储温度划分的若干区域：
表一
| 区位编号 | 温度 | 湿度 | 可放食品 |
| 区1 | 0~4度 | 90%+/-5% | 苹果、葡萄、梨、萝卜、胡萝卜、土豆、白菜、菠菜、芹菜、西兰花、金针菇、香菇、平菇 |
| 区2 | 8~12度 | 90%+/-5% | 香蕉、石榴、龙眼、桃子、芒果、木瓜、橙子、橘子、柚子、黄瓜、丝瓜、芸豆 |
| 区3 | 0~4度 | 45% | 核桃、花生、香烟、雪茄、维生素片、钙片 |
| 区4 | 0~4度 | 90%+/-5% | 韭菜、蒜苗 |
存储区分配模块32用于在目标识别装置2识别出食材的种类之后，根据食材种类确定食材的存储区；提示模块33则用于提示目标物的存储区；例如若识别出的食材为核桃，则存储区分配模块32确定核桃的存储区为区3；提示模块33发出提示信息，使用户获知核桃的存储区域在区3，在该提示下，用户只需寻找相应的区域进行放置即可。
在本实施例中，设计有推送装置，旨在根据存储区分配模块32的分配结果，控制相应区域自动开启，使得用于无需自行开启存储区门体，提高用户的操作体验。
提示模块33的提示方式可以使语音播报，可以是显示文字，可以是在相应区域闪烁的灯光等等。
上述本发明实施例中，识别模型和识别数据库可以通过云连接设置于服务器端；也可以在冰箱本地端存储，通过互联网连接进行升级等，本发明实施例不予具体限定。
应该指出的是，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。
Claims (9)
1.一种目标物识别方法，其特征在于，包括：
从视频流中获取n张目标图像；
确定每张目标图像中的目标物的位置坐标以及置信度；
根据,确定最佳目标图像；其中，为目标物的位置坐标，α为常数，w为目标图像的宽度，h为目标图像的高度，为置信度；
采用所述最佳目标图像识别目标物的种类。
2.根据权利要求1所述的目标物识别方法，其特征在于，所述方法还包括：
根据，确定目标物的运动方向；其中。
3.根据权利要求1所述的目标物识别方法，其特征在于，从视频流中获取n张目标图像，具体包括：
获取当前帧图像并识别是否存在目标物；
在当前帧图像存在目标物时，获取当前帧之前的n帧图像；
对获取的n帧图像分别识别是否存在目标物；
在n帧图像均存在目标物且目标物均不存在位移时，确定n帧图像为所述n张目标图像。
4.一种目标物识别装置，包括：
摄像头，用于获取视频流；
其特征在于，还包括：
目标图像确定模块，用于从视频流中获取n张目标图像；
目标物信息计算模块，用于确定每张目标图像中的目标物的位置坐标以及置信度；
最佳目标图像确定模块，用于根据,确定最佳目标图像；其中，为目标物的位置坐标，α为常数，w为目标图像的宽度，h为目标图像的高度，为置信度；
识别分类模块，用于采用所述最佳目标图像识别目标物的种类。
5.根据权利要求4所述的目标物识别装置，其特征在于，所述装置还包括：
目标物运动方向确定模块，用于根据，确定目标物的运动方向；其中。
6.根据权利要求4所述的目标物识别装置，其特征在于，所述目标图像确定模块包括：
目标物识别单元，用于获取当前帧图像并识别是否存在目标物；
前序图像获取单元，用于在当前帧图像存在目标物时，获取当前帧之前的n帧图像；则所述目标物识别单元对获取的n帧图像分别识别是否存在目标物；
目标物位移判断单元，用于在n帧图像均存在目标物时，判断n帧图像中的目标物是否存在位移；
目标图像确定单元，用于在n帧图像中的目标物均不存在位移时，确定n帧图像为所述n张目标图像。
7.一种冰箱，包括：
角度传感器，用于检测冰箱门体的角度信息；
其特征在于，还包括：
如权利要求4-6任一项所述的目标物识别装置；其中，所述摄像头安装于冰箱内部，在根据所述角度信息确定门体处于设定角度范围内时，启动所述摄像头获取视频流。
8.根据权利要求7所述的冰箱，其特征在于，所述冰箱还包括：
若干食材存储区；
存储区分配模块，用于在所述目标识别装置识别出目标物的种类之后，根据种类确定所述目标物的存储区。
9.根据权利要求8所述的冰箱，其特征在于，所述冰箱还包括：
提示模块，用于提示所述目标物的存储区。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910712357.5A CN110619266B (zh) | 2019-08-02 | 2019-08-02 | 目标物识别方法、装置和冰箱 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910712357.5A CN110619266B (zh) | 2019-08-02 | 2019-08-02 | 目标物识别方法、装置和冰箱 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110619266A true CN110619266A (zh) | 2019-12-27 |
| CN110619266B CN110619266B (zh) | 2024-01-19 |
Family
ID=68921544
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910712357.5A Active CN110619266B (zh) | 2019-08-02 | 2019-08-02 | 目标物识别方法、装置和冰箱 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110619266B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111242093A (zh) * | 2020-02-25 | 2020-06-05 | 湖南软金生物科技有限公司 | 一种冬虫夏草野外目标识别设备及方法 |
| CN112561930A (zh) * | 2020-12-10 | 2021-03-26 | 武汉光庭信息技术股份有限公司 | 一种对视频流中目标进行实时加框的系统及方法 |
| CN113163167A (zh) * | 2021-03-31 | 2021-07-23 | 杭州海康机器人技术有限公司 | 图像获取方法和装置 |
| CN113490049A (zh) * | 2021-08-10 | 2021-10-08 | 深圳市前海动竞体育科技有限公司 | 一种基于人工智能的体育赛事视频剪辑方法和系统 |
| CN114440544A (zh) * | 2022-02-09 | 2022-05-06 | 浙江智飨科技有限公司 | 智能食品留样柜 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105091499A (zh) * | 2015-08-18 | 2015-11-25 | 小米科技有限责任公司 | 信息生成方法及装置 |
| CN106022386A (zh) * | 2016-05-26 | 2016-10-12 | 北京新长征天高智机科技有限公司 | 一种计算机识别与人工交互结合的生活垃圾目标识别系统 |
| CN108154078A (zh) * | 2017-11-20 | 2018-06-12 | 爱图瓴（上海）信息科技有限公司 | 食材管理装置及方法 |
| WO2018210055A1 (zh) * | 2017-05-15 | 2018-11-22 | 腾讯科技（深圳）有限公司 | 增强现实处理方法及装置、显示终端及计算机存储介质 |
| CN108955068A (zh) * | 2018-04-20 | 2018-12-07 | 青岛海尔股份有限公司 | 用于盲人冰箱的食材管理方法及食材管理系统 |
| CN109413383A (zh) * | 2018-10-11 | 2019-03-01 | 海信（山东）冰箱有限公司 | 一种冰箱内部食材图像的获取方法、冰箱及图像识别系统 |
-
2019
- 2019-08-02 CN CN201910712357.5A patent/CN110619266B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105091499A (zh) * | 2015-08-18 | 2015-11-25 | 小米科技有限责任公司 | 信息生成方法及装置 |
| CN106022386A (zh) * | 2016-05-26 | 2016-10-12 | 北京新长征天高智机科技有限公司 | 一种计算机识别与人工交互结合的生活垃圾目标识别系统 |
| WO2018210055A1 (zh) * | 2017-05-15 | 2018-11-22 | 腾讯科技（深圳）有限公司 | 增强现实处理方法及装置、显示终端及计算机存储介质 |
| CN108154078A (zh) * | 2017-11-20 | 2018-06-12 | 爱图瓴（上海）信息科技有限公司 | 食材管理装置及方法 |
| CN108955068A (zh) * | 2018-04-20 | 2018-12-07 | 青岛海尔股份有限公司 | 用于盲人冰箱的食材管理方法及食材管理系统 |
| CN109413383A (zh) * | 2018-10-11 | 2019-03-01 | 海信（山东）冰箱有限公司 | 一种冰箱内部食材图像的获取方法、冰箱及图像识别系统 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111242093A (zh) * | 2020-02-25 | 2020-06-05 | 湖南软金生物科技有限公司 | 一种冬虫夏草野外目标识别设备及方法 |
| CN112561930A (zh) * | 2020-12-10 | 2021-03-26 | 武汉光庭信息技术股份有限公司 | 一种对视频流中目标进行实时加框的系统及方法 |
| CN113163167A (zh) * | 2021-03-31 | 2021-07-23 | 杭州海康机器人技术有限公司 | 图像获取方法和装置 |
| CN113490049A (zh) * | 2021-08-10 | 2021-10-08 | 深圳市前海动竞体育科技有限公司 | 一种基于人工智能的体育赛事视频剪辑方法和系统 |
| CN113490049B (zh) * | 2021-08-10 | 2023-04-21 | 深圳市前海动竞体育科技有限公司 | 一种基于人工智能的体育赛事视频剪辑方法和系统 |
| CN114440544A (zh) * | 2022-02-09 | 2022-05-06 | 浙江智飨科技有限公司 | 智能食品留样柜 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110619266B (zh) | 2024-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110619266A (zh) | 目标物识别方法、装置和冰箱 | |
| JP7004017B2 (ja) | 物体追跡システム、物体追跡方法、プログラム | |
| CN105825524B (zh) | 目标跟踪方法和装置 | |
| CN110858394B (zh) | 一种图像质量评估方法、装置、电子设备及计算机可读存储介质 | |
| De Geest et al. | Online action detection | |
| US9349218B2 (en) | Method and apparatus for controlling augmented reality | |
| US8379987B2 (en) | Method, apparatus and computer program product for providing hand segmentation for gesture analysis | |
| CN111104816A (zh) | 一种目标物的姿态识别方法、装置及摄像机 | |
| CN109882019B (zh) | 一种基于目标检测和动作识别的汽车电动尾门开启方法 | |
| CN109446942A (zh) | 目标跟踪方法、装置和系统 | |
| US20140169663A1 (en) | System and Method for Video Detection and Tracking | |
| CN106407958B (zh) | 基于双层级联的面部特征检测方法 | |
| US20140328512A1 (en) | System and method for suspect search | |
| CN108376242A (zh) | 针对视频的持续性特征描述符 | |
| JP5438601B2 (ja) | 人物動作判定装置およびそのプログラム | |
| CN106203255B (zh) | 一种基于时间对齐的行人重识别方法及系统 | |
| US20170147075A1 (en) | Determination of hand dimensions for hand and gesture recognition with a computing interface | |
| Avgerinakis et al. | Activity detection using sequential statistical boundary detection (ssbd) | |
| JP6943333B2 (ja) | オブジェクト追跡装置、オブジェクト追跡方法、及びオブジェクト追跡プログラム | |
| CN110458861A (zh) | 对象检测与跟踪方法和设备 | |
| CN112446333A (zh) | 基于重检测的球类目标跟踪方法及系统 | |
| KR20190009006A (ko) | 전역적 움직임 기반의 실시간 다중 객체 추적 장치 및 방법 | |
| CN106406507B (zh) | 图像处理方法以及电子设备 | |
| KR100545559B1 (ko) | 하 라이크 피춰/선형 판별 분석을 이용한 얼굴 인식 장치및 방법 | |
| US10915988B2 (en) | Image stitching method and related monitoring camera device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200113 Address after: 266101 No. 1 Haier Road, Laoshan District, Shandong, Qingdao Applicant after: QINGDAO HAIER SMART TECHNOLOGY R&D Co.,Ltd. Applicant after: Haier Smart Home Co., Ltd. Applicant after: Qingdao guochuang intelligent home appliance Research Institute Co.,Ltd. Address before: 266101 No. 1 Haier Road, Laoshan District, Shandong, Qingdao Applicant before: QINGDAO HAIER SMART TECHNOLOGY R&D Co.,Ltd. Applicant before: Haier Smart Home Co., Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |