CN113983737A - 冰箱及冰箱的食材定位方法 - Google Patents
冰箱及冰箱的食材定位方法 Download PDFInfo
- Publication number
- CN113983737A CN113983737A CN202111210106.0A CN202111210106A CN113983737A CN 113983737 A CN113983737 A CN 113983737A CN 202111210106 A CN202111210106 A CN 202111210106A CN 113983737 A CN113983737 A CN 113983737A
- Authority
- CN
- China
- Prior art keywords
- food material
- track
- current image
- detection frame
- target food
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000463 material Substances 0.000 title claims abstract description 183
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000001514 detection method Methods 0.000 claims description 138
- 239000011159 matrix material Substances 0.000 claims description 62
- 238000000605 extraction Methods 0.000 claims description 23
- 238000007781 pre-processing Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 9
- 230000002776 aggregation Effects 0.000 claims description 8
- 238000004220 aggregation Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 6
- 230000006872 improvement Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D11/00—Self-contained movable devices, e.g. domestic refrigerators
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D29/00—Arrangement or mounting of control or safety devices
- F25D29/005—Mounting of control devices
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D2500/00—Problems to be solved
- F25D2500/06—Stock management
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Thermal Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种冰箱及冰箱的食材定位方法，利用图像采集装置采集冰箱箱体内的图像，基于该图像，通过目标识别和追踪算法对能够实时的识别和追踪冰箱中移动的目标食材，以得到目标食材的运动轨迹，并基于箱体内的存储区域的位置划分和运动轨迹，确定目标食材的具体存取位置，从而，能够实现食材存取位置的自动识别。
Description
技术领域
本发明涉及冰箱技术领域，尤其涉及一种冰箱及冰箱的食材定位方法。
背景技术
随着物联网的发展以及人类生活水平的提高，在智能家居领域，基于冰箱的食材跟踪定位的应用研究得到了越来越多人的重视。食材的跟踪定位技术潜力巨大、应用前景广泛，在超市农产品经营过程和日常家居生活中，冰箱根据食材的定位提示购物人所需食材位置，能够节省人工成本以及时间成本，因此如何实现冰箱内的食材定位对冰箱的智能化发展具有重要意义。
发明内容
本发明实施例提供一种冰箱及冰箱的食材定位方法，能够实现食材存取位置的自动识别。
本发明一实施例提供一种冰箱，包括：
箱体，所述箱体上安装有门体，所述箱体内划分为多个存储区域；
图像采集装置，设置于所述箱体上；
控制器，其被配置为：
控制所述图像采集装置采集所述箱体内的当前图像；
从所述当前图像中识别处于移动状态的目标食材，得到所述目标食材的检测框位置；
将所述检测框位置与正在跟踪的多条轨迹进行关联匹配，得到匹配结果；
根据所述匹配结果和所述检测框位置对所述目标食材进行跟踪，得到所述目标食材的最新轨迹；
判断是否结束食材跟踪，若是，则根据所述目标食材的最新轨迹和预先获取的每一所述存储区域对应的位置信息，确定所述目标食材的存取位置，若否，则返回至所述控制所述图像采集装置采集所述箱体内的当前图像的步骤。
作为上述方案的改进，所述从所述当前图像中识别处于移动状态的目标食材，得到所述目标食材的检测框位置，包括：
对所述当前图像进行预处理，得到预处理后的当前图像；
将所述预处理后的当前图像输入特征提取网络进行特征提取，得到第一特征数据；
通过空间特征金字塔网络对所述第一特征数据进行池化，得到第二特征数据；
通过路径聚合网络对所述第二特征数据进行特征提取，得到第三特征数据；
根据所述第三特征数据进行食材检测，得到多个候选检测框及其对应的预测置信度；
根据每一所述候选检测框对应的预测置信度，对多个所述候选检测框进行去重处理，得到所述当前图像的检测框数据；
获取上一次采集的图像的检测框数据；
将所述当前图像的检测框数据与所述上一次采集的图像的检测框数据进行比对，确定所述目标食材的检测框位置。
作为上述方案的改进，所述对所述当前图像进行预处理，得到预处理后的当前图像，包括：
对所述当前图像进行缩放，得到缩放后的当前图像；
对所述缩放后的当前图像中的空白区域进行灰条填充，得到填充后的当前图像；
对所述填充后的当前图像进行归一化操作，得到预处理后的当前图像。
作为上述方案的改进，所述将所述检测框位置与正在跟踪的多条轨迹进行关联匹配，得到匹配结果，包括：
分别计算所述检测框位置与正在跟踪的多条轨迹的余弦距离和马氏距离，并构建余弦距离代价矩阵和马氏距离代价矩阵；
根据预设的余弦距离代价矩阵的权重和马氏距离代价矩阵的权重，对所述余弦距离代价矩阵和所述马氏距离代价矩阵进行加权求和，得到目标代价矩阵；
基于所述目标代价矩阵，采用匈牙利算法判断多条所述轨迹中是否存在与所述检测框位置关联的轨迹；
若是，则将关联的轨迹作为匹配结果；
若否，则计算所述检测框位置与每一所述轨迹的交并比，并构建交并比矩阵；以及，基于所述交并比矩阵，采用匈牙利算法判断多条所述轨迹中是否存在与所述检测框位置关联的轨迹，若是，则将关联的轨迹作为匹配结果，若否，则确定匹配结果为不存在关联的轨迹。
作为上述方案的改进，所述根据所述匹配结果和所述检测框位置对所述目标食材进行跟踪，得到所述目标食材的最新轨迹，包括：
当所述匹配结果为关联的轨迹时，将所述关联的轨迹作为所述目标食材的轨迹，并获取所述目标食材的轨迹对应的卡尔曼滤波器；以及，基于所述检测框位置，通过所述卡尔曼滤波器对所述目标食材的轨迹进行更新，得到所述目标食材的最新轨迹；
当所述匹配结果为不存在关联轨迹时，基于所述检测框位置建立所述目标食材的卡尔曼滤波器和轨迹，以得到所述目标食材的最新轨迹。
本发明另一实施例提供一种冰箱的食材定位方法，包括：
控制冰箱箱体上的图像采集装置采集所述箱体内的当前图像；其中，所述箱体内划分为多个存储区域；
从所述当前图像中识别处于移动状态的目标食材，得到所述目标食材的检测框位置；
将所述检测框位置与正在跟踪的多条轨迹进行关联匹配，得到匹配结果；
根据所述匹配结果和所述检测框位置对所述目标食材进行跟踪，得到所述目标食材的最新轨迹；
判断是否结束食材跟踪，若是，则根据所述目标食材的最新轨迹和预先获取的每一所述存储区域对应的位置信息，确定所述目标食材的存取位置，若否，则返回至所述控制所述图像采集装置采集所述箱体内的当前图像的步骤。
作为上述方案的改进，所述从所述当前图像中识别处于移动状态的目标食材，得到所述目标食材的检测框位置，包括：
对所述当前图像进行预处理，得到预处理后的当前图像；
将所述预处理后的当前图像输入特征提取网络进行特征提取，得到第一特征数据；
通过空间特征金字塔网络对所述第一特征数据进行池化，得到第二特征数据；
通过路径聚合网络对所述第二特征数据进行特征提取，得到第三特征数据；
根据所述第三特征数据进行食材检测，得到多个候选检测框及其对应的预测置信度；
根据每一所述候选检测框对应的预测置信度，对多个所述候选检测框进行去重处理，得到所述当前图像的检测框数据；
获取上一次采集的图像的检测框数据；
将所述当前图像的检测框数据与所述上一次采集的图像的检测框数据进行比对，确定所述目标食材的检测框位置。
作为上述方案的改进，所述对所述当前图像进行预处理，得到预处理后的当前图像，包括：
对所述当前图像进行缩放，得到缩放后的当前图像；
对所述缩放后的当前图像中的空白区域进行灰条填充，得到填充后的当前图像；
对所述填充后的当前图像进行归一化操作，得到预处理后的当前图像。
作为上述方案的改进，所述将所述检测框位置与正在跟踪的多条轨迹进行关联匹配，得到匹配结果，包括：
分别计算所述检测框位置与正在跟踪的多条轨迹的余弦距离和马氏距离，并构建余弦距离代价矩阵和马氏距离代价矩阵；
根据预设的余弦距离代价矩阵的权重和马氏距离代价矩阵的权重，对所述余弦距离代价矩阵和所述马氏距离代价矩阵进行加权求和，得到目标代价矩阵；
基于所述目标代价矩阵，采用匈牙利算法判断多条所述轨迹中是否存在与所述检测框位置关联的轨迹；
若是，则将关联的轨迹作为匹配结果；
若否，则计算所述检测框位置与每一所述轨迹的交并比，并构建交并比矩阵；以及，基于所述交并比矩阵，采用匈牙利算法判断多条所述轨迹中是否存在与所述检测框位置关联的轨迹，若是，则将关联的轨迹作为匹配结果，若否，则确定匹配结果为不存在关联的轨迹。
作为上述方案的改进，所述根据所述匹配结果和所述检测框位置对所述目标食材进行跟踪，得到所述目标食材的最新轨迹，包括：
当所述匹配结果为关联的轨迹时，将所述关联的轨迹作为所述目标食材的轨迹，并获取所述目标食材的轨迹对应的卡尔曼滤波器；以及，基于所述检测框位置，通过所述卡尔曼滤波器对所述目标食材的轨迹进行更新，得到所述目标食材的最新轨迹；
当所述匹配结果为不存在关联轨迹时，基于所述检测框位置建立所述目标食材的卡尔曼滤波器和轨迹，以得到所述目标食材的最新轨迹。
与现有技术相比，本发明实施例提供的冰箱及冰箱的食材定位方法，利用图像采集装置采集冰箱箱体内的图像，基于该图像，通过目标识别和追踪算法对能够实时的识别和追踪冰箱中移动的目标食材，以得到目标食材的运动轨迹，并基于箱体内的存储区域的位置划分和运动轨迹，确定目标食材的具体存取位置，从而，能够实现食材存取位置的自动识别。
附图说明
图1是本发明一实施例提供的一种冰箱的结构示意图；
图2是本发明一实施例提供的CSPDakNet53网络的特征提取流程示意图；
图3是本发明一实施例提供的轨迹关联匹配流程示意图；
图4是本发明一实施例提供的冰箱实现食材定位的具体流程示意图；
图5是本发明一实施例提供的冰箱的食材定位方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，是本发明一实施例提供的一种冰箱的结构示意图。
本实施例提供的冰箱100，包括：
箱体10，所述箱体10上安装有门体，所述箱体10内划分为多个存储区域；
图像采集装置20，设置于所述箱体10上；
控制器30，其被配置为：
S11、控制所述图像采集装置20采集所述箱体10内的当前图像；
S12、从所述当前图像中识别处于移动状态的目标食材，得到所述目标食材的检测框位置；
S13、将所述检测框位置与正在跟踪的多条轨迹进行关联匹配，得到匹配结果；
S14、根据所述匹配结果和所述检测框位置对所述目标食材进行跟踪，得到所述目标食材的最新轨迹；
S15、判断是否结束食材跟踪，若是，则执行步骤S16，若否，则返回至步骤S11；
S16、根据所述目标食材的最新轨迹和预先获取的每一所述存储区域对应的位置信息，确定所述目标食材的存取位置。
示例性地，所述箱体10内可以是通过多个隔板划分为多个层，每层可作为一个存储区域。在具体实施时，可以是预先通过图像采集装置20采集箱体10内的图像，并获取该图像上各存储区域的位置信息，从而得到每一存储区域对应的位置信息。
作为其中一个可选的实施方式，图像采集装置20可以是安装在箱体10顶部靠近中间的位置，图像采集装置20为可伸缩的摄像头，当进行数据采集时，控制器30可以控制摄像头探出箱体10外侧，获取最佳的拍摄角度。
在一个具体实施方式中，图像采集装置20采集的图像中包含箱体10内的完整图像信息，在另一个具体的实施方式中，图像采集装置20采集的图像中可以是至少包含用户存取食材过程中的操作区域和靠近冰箱100门体的全部隔板边缘区域的图像信息，通常第一图像是冰箱100门区域，所述冰箱100门区域包括冰箱100门体前后、以及门体至用户的区域，从而，图像采集装置20可以采集到用户存取食材过程中的动作、存取的食材以及食材与各存储区域的位置关系。
示例性地，可以是通过判断门体是否关闭来确定是否结束食材跟踪，若门体关闭，则确定食材已存取完毕，此时可确定结束食材跟踪，否则，则继续跟踪。另外，也可以是根据最新轨迹判断目标食材的位置是否发生变化来确定是否结束食材跟踪，若目标食材的位置长时间未发生变化，则确定食材已存取完毕，此时可确定结束食材跟踪，否则，则继续跟踪。
可以理解的，对目标食材进行跟踪的过程中，所得到的目标食材的最新轨迹属于正在跟踪中的轨迹。
本发明实施例提供的冰箱100，利用图像采集装置20采集冰箱100箱体10内的图像，基于该图像，通过目标识别和追踪算法对能够实时的识别和追踪冰箱100中移动的目标食材，以得到目标食材的运动轨迹，并基于箱体10内的存储区域的位置划分和运动轨迹，确定目标食材的具体存取位置，从而，能够实现食材存取位置的自动识别。
作为其中一个可选的实施例，所述从所述当前图像中识别处于移动状态的目标食材，得到所述目标食材的检测框位置，包括：
S121、对所述当前图像进行预处理，得到预处理后的当前图像；
S122、将所述预处理后的当前图像输入特征提取网络进行特征提取，得到第一特征数据；
S123、通过空间特征金字塔网络对所述第一特征数据进行池化，得到第二特征数据；
S124、通过路径聚合网络对所述第二特征数据进行特征提取，得到第三特征数据；
S125、根据所述第三特征数据进行食材检测，得到多个候选检测框及其对应的预测置信度；
S126、根据每一所述候选检测框对应的预测置信度，对多个所述候选检测框进行去重处理，得到所述当前图像的检测框数据；
S127、获取上一次采集的图像的检测框数据；
S128、将所述当前图像的检测框数据与所述上一次采集的图像的检测框数据进行比对，确定所述目标食材的检测框位置。
示例性地，本实施例中的特征提取网络为CSPDakNet53网络，如图2所示，该网络由一系列的残差块组成，利用卷积不断地进行特征提取，在此过程中特征层的宽和高不断地被压缩，通道数不断地扩张，最后得到三个大小分别为52*52*256、26*26*512、13*13*1024的有效特征层，以作为第一特征数据。空间特征金字塔网络可以是掺杂在CSPDakNet53特征层的卷积里，空间特征金字塔网络可以是分别使用四个不同尺度的最大池化对第一特征数据进行处理，最大池化卷积核大小分别为13*13、9*9、5*5、1*1，SPP结构能够极大地增加感受野，分离出上下文特征，得到第二特征数据。之后利用路径聚合网络分别从上到下和从下到上反复提取第二特征数据中的特征。
示例性地，根据所述第三特征数据进行食材检测获得的预测结果并不是直接对应最终检测框在图片上的位置，所以还需要进行解码，解码过程为将每个网格点加上它对应的水平方向的偏移和竖直方向的偏移，处理完之后就可以得到许多候选检测框的位置，再利用各候选检测框的预测置信度和位置进行非极大值抑制处理，从而得到目标检测结果。
在本实施例中，通过特征提取网络、空间特征金字塔网络和路径聚合网络进行特征提取，能够极大程度提高特征的准确性，并且，根据每一候选检测框的预测置信度进行去重处理，能够提高检测框的准确性，从而，提高了食材定位的准确性，并且，通过将当前图像的检测框数据与上一次采集的图像的检测框数据进行比对，可以快速确定正在移动中的食材对应的检测框。
进一步地，所述对所述当前图像进行预处理，得到预处理后的当前图像，包括：
S1211、对所述当前图像进行缩放，得到缩放后的当前图像；
S1212、对所述缩放后的当前图像中的空白区域进行灰条填充，得到填充后的当前图像；
S1213、对所述填充后的当前图像进行归一化操作，得到预处理后的当前图像。
在本实施例中，通过对图像进行缩放、灰条填充和归一化操作，能够保证图片不失真，从而保证食材定位的准确性。
作为其中一个可选的实施例，所述将所述检测框位置与正在跟踪的多条轨迹进行关联匹配，得到匹配结果，包括：
S131、分别计算所述检测框位置与正在跟踪的多条轨迹的余弦距离和马氏距离，并构建余弦距离代价矩阵和马氏距离代价矩阵；
S132、根据预设的余弦距离代价矩阵的权重和马氏距离代价矩阵的权重，对所述余弦距离代价矩阵和所述马氏距离代价矩阵进行加权求和，得到目标代价矩阵；
S133、基于所述目标代价矩阵，采用匈牙利算法判断多条所述轨迹中是否存在与所述检测框位置关联的轨迹；
S134、若是，则将关联的轨迹作为匹配结果；
S135、若否，则计算所述检测框位置与每一所述轨迹的交并比，并构建交并比矩阵；以及，基于所述交并比矩阵，采用匈牙利算法判断多条所述轨迹中是否存在与所述检测框位置关联的轨迹，若是，则将关联的轨迹作为匹配结果，若否，则确定匹配结果为不存在关联的轨迹。
示例性地，余弦距离可以是检测框位置的外观矩阵与正在跟踪的多条轨迹之间的余弦距离，外观矩阵指的是把检测框送入卷积神经网络得到的一个特征向量。
在本实施例中，参见图3，通过余弦距离可以得到检测框位置与每个轨迹的相似性，接着对检测框位置和每个轨迹计算其位置的马氏距离，来排除掉特征相似但是距离很远的匹配，之后把两个矩阵按照一定的权重进行相加，作为最终的代价矩阵，通过匈牙利算法进行轨迹关联匹配，若匹配失败，则进一步将检测框和每个轨迹以交并比为代价，通过匈牙利算法进行匹配，能够提高轨迹关联的准确性。
示例性地，在所述步骤S135中，若确定匹配结果为不存在关联的轨迹，还可以是删除长时间未匹配的轨迹。
作为其中一个可选的实施例，所述根据所述匹配结果和所述检测框位置对所述目标食材进行跟踪，得到所述目标食材的最新轨迹，包括：
S141、当所述匹配结果为关联的轨迹时，将所述关联的轨迹作为所述目标食材的轨迹，并获取所述目标食材的轨迹对应的卡尔曼滤波器；以及，基于所述检测框位置，通过所述卡尔曼滤波器对所述目标食材的轨迹进行更新，得到所述目标食材的最新轨迹；
S142、当所述匹配结果为不存在关联轨迹时，基于所述检测框位置建立所述目标食材的卡尔曼滤波器和轨迹，以得到所述目标食材的最新轨迹。
在本实施例中，每一正在跟踪的轨迹均对应一个卡尔曼滤波器，卡尔曼滤波器能够实现对目标的运动状态估计。若关联匹配成功，则将关联的轨迹作为匹配结果，当匹配结果为关联的轨迹时，将关联的轨迹作为目标食材的轨迹，并获取目标食材的轨迹对应的卡尔曼滤波器，以及，基于检测框位置，通过卡尔曼滤波器对目标食材进行运动状态估计，从而更新目标食材的轨迹，以得到目标食材的最新轨迹；若关联匹配失败，则确定匹配结果为不存在关联的轨迹，当匹配结果为不存在关联轨迹时，基于检测框位置新建目标食材的卡尔曼滤波器，并且新建目标食材的轨迹，以作为正在跟踪中的轨迹，以供后续进行跟踪定位。
由于冰箱100中的食材较多且结构复杂，在存取食材时，容易出现被遮挡的问题而导致食材跟踪定位失败，本实施例通过卡尔曼滤波算法进行食材跟踪，能够提升遮挡情况下食材跟踪定位的准确率。
在一个具体的实施方式中，冰箱100的具体食材定位步骤如图4所示，在此不作赘述。
参见图5，是本发明实施例提供的一种冰箱的食材定位方法的流程示意图。
本实施例提供的冰箱的食材定位方法，可以是应用于上述实施例提供的任一冰箱，具体包括：
S21、控制冰箱箱体上的图像采集装置采集所述箱体内的当前图像；其中，所述箱体内划分为多个存储区域；
S22、从所述当前图像中识别处于移动状态的目标食材，得到所述目标食材的检测框位置；
S23、将所述检测框位置与正在跟踪的多条轨迹进行关联匹配，得到匹配结果；
S24、根据所述匹配结果和所述检测框位置对所述目标食材进行跟踪，得到所述目标食材的最新轨迹；
S25、判断是否结束食材跟踪，若是，则执行步骤S26，若否，则返回至所述步骤S21；
S26、根据所述目标食材的最新轨迹和预先获取的每一所述存储区域对应的位置信息，确定所述目标食材的存取位置。
本发明实施例提供的冰箱的食材定位方法，利用图像采集装置采集冰箱箱体内的图像，基于该图像，通过目标识别和追踪算法对能够实时的识别和追踪冰箱中移动的目标食材，以得到目标食材的运动轨迹，并基于箱体内的存储区域的位置划分和运动轨迹，确定目标食材的具体存取位置，从而，能够实现食材存取位置的自动识别。
作为其中一个可选的实施例，所述从所述当前图像中识别处于移动状态的目标食材，得到所述目标食材的检测框位置，包括：
S221、对所述当前图像进行预处理，得到预处理后的当前图像；
S222、将所述预处理后的当前图像输入特征提取网络进行特征提取，得到第一特征数据；
S223、通过空间特征金字塔网络对所述第一特征数据进行池化，得到第二特征数据；
S224、通过路径聚合网络对所述第二特征数据进行特征提取，得到第三特征数据；
S225、根据所述第三特征数据进行食材检测，得到多个候选检测框及其对应的预测置信度；
S226、根据每一所述候选检测框对应的预测置信度，对多个所述候选检测框进行去重处理，得到所述当前图像的检测框数据；
S227、获取上一次采集的图像的检测框数据；
S228、将所述当前图像的检测框数据与所述上一次采集的图像的检测框数据进行比对，确定所述目标食材的检测框位置。
进一步地，所述对所述当前图像进行预处理，得到预处理后的当前图像，包括：
S2211、对所述当前图像进行缩放，得到缩放后的当前图像；
S2212、对所述缩放后的当前图像中的空白区域进行灰条填充，得到填充后的当前图像；
S2213、对所述填充后的当前图像进行归一化操作，得到预处理后的当前图像。
作为其中一个可选的实施例，所述将所述检测框位置与正在跟踪的多条轨迹进行关联匹配，得到匹配结果，包括：
S231、分别计算所述检测框位置与正在跟踪的多条轨迹的余弦距离和马氏距离，并构建余弦距离代价矩阵和马氏距离代价矩阵；
S232、根据预设的余弦距离代价矩阵的权重和马氏距离代价矩阵的权重，对所述余弦距离代价矩阵和所述马氏距离代价矩阵进行加权求和，得到目标代价矩阵；
S233、基于所述目标代价矩阵，采用匈牙利算法判断多条所述轨迹中是否存在与所述检测框位置关联的轨迹；
S234、若是，则将关联的轨迹作为匹配结果；
S235、若否，则计算所述检测框位置与每一所述轨迹的交并比，并构建交并比矩阵；以及，基于所述交并比矩阵，采用匈牙利算法判断多条所述轨迹中是否存在与所述检测框位置关联的轨迹，若是，则将关联的轨迹作为匹配结果，若否，则确定匹配结果为不存在关联的轨迹。
作为其中一个可选的实施例，所述根据所述匹配结果和所述检测框位置对所述目标食材进行跟踪，得到所述目标食材的最新轨迹，包括：
S241、当所述匹配结果为关联的轨迹时，将所述关联的轨迹作为所述目标食材的轨迹，并获取所述目标食材的轨迹对应的卡尔曼滤波器；以及，基于所述检测框位置，通过所述卡尔曼滤波器对所述目标食材的轨迹进行更新，得到所述目标食材的最新轨迹；
S242、当所述匹配结果为不存在关联轨迹时，基于所述检测框位置建立所述目标食材的卡尔曼滤波器和轨迹，以得到所述目标食材的最新轨迹。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述实施例中的方法的具体描述和有益效果，可以参考前述装置实施例中的对应描述和有益效果，在此不再赘述。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.一种冰箱，其特征在于，包括：
箱体，所述箱体上安装有门体，所述箱体内划分为多个存储区域；
图像采集装置，设置于所述箱体上；
控制器，其被配置为：
控制所述图像采集装置采集所述箱体内的当前图像；
从所述当前图像中识别处于移动状态的目标食材，得到所述目标食材的检测框位置；
将所述检测框位置与正在跟踪的多条轨迹进行关联匹配，得到匹配结果；
根据所述匹配结果和所述检测框位置对所述目标食材进行跟踪，得到所述目标食材的最新轨迹；
判断是否结束食材跟踪，若是，则根据所述目标食材的最新轨迹和预先获取的每一所述存储区域对应的位置信息，确定所述目标食材的存取位置，若否，则返回至所述控制所述图像采集装置采集所述箱体内的当前图像的步骤。
2.如权利要求1所述的冰箱，其特征在于，所述从所述当前图像中识别处于移动状态的目标食材，得到所述目标食材的检测框位置，包括：
对所述当前图像进行预处理，得到预处理后的当前图像；
将所述预处理后的当前图像输入特征提取网络进行特征提取，得到第一特征数据；
通过空间特征金字塔网络对所述第一特征数据进行池化，得到第二特征数据；
通过路径聚合网络对所述第二特征数据进行特征提取，得到第三特征数据；
根据所述第三特征数据进行食材检测，得到多个候选检测框及其对应的预测置信度；
根据每一所述候选检测框对应的预测置信度，对多个所述候选检测框进行去重处理，得到所述当前图像的检测框数据；
获取上一次采集的图像的检测框数据；
将所述当前图像的检测框数据与所述上一次采集的图像的检测框数据进行比对，确定所述目标食材的检测框位置。
3.如权利要求2所述的冰箱，其特征在于，所述对所述当前图像进行预处理，得到预处理后的当前图像，包括：
对所述当前图像进行缩放，得到缩放后的当前图像；
对所述缩放后的当前图像中的空白区域进行灰条填充，得到填充后的当前图像；
对所述填充后的当前图像进行归一化操作，得到预处理后的当前图像。
4.如权利要求1所述的冰箱，其特征在于，所述将所述检测框位置与正在跟踪的多条轨迹进行关联匹配，得到匹配结果，包括：
分别计算所述检测框位置与正在跟踪的多条轨迹的余弦距离和马氏距离，并构建余弦距离代价矩阵和马氏距离代价矩阵；
根据预设的余弦距离代价矩阵的权重和马氏距离代价矩阵的权重，对所述余弦距离代价矩阵和所述马氏距离代价矩阵进行加权求和，得到目标代价矩阵；
基于所述目标代价矩阵，采用匈牙利算法判断多条所述轨迹中是否存在与所述检测框位置关联的轨迹；
若是，则将关联的轨迹作为匹配结果；
若否，则计算所述检测框位置与每一所述轨迹的交并比，并构建交并比矩阵；以及，基于所述交并比矩阵，采用匈牙利算法判断多条所述轨迹中是否存在与所述检测框位置关联的轨迹，若是，则将关联的轨迹作为匹配结果，若否，则确定匹配结果为不存在关联的轨迹。
5.如权利要求1或4所述的冰箱，其特征在于，所述根据所述匹配结果和所述检测框位置对所述目标食材进行跟踪，得到所述目标食材的最新轨迹，包括：
当所述匹配结果为关联的轨迹时，将所述关联的轨迹作为所述目标食材的轨迹，并获取所述目标食材的轨迹对应的卡尔曼滤波器；以及，基于所述检测框位置，通过所述卡尔曼滤波器对所述目标食材的轨迹进行更新，得到所述目标食材的最新轨迹；
当所述匹配结果为不存在关联轨迹时，基于所述检测框位置建立所述目标食材的卡尔曼滤波器和轨迹，以得到所述目标食材的最新轨迹。
6.一种冰箱的食材定位方法，其特征在于，包括：
控制冰箱箱体上的图像采集装置采集所述箱体内的当前图像；其中，所述箱体内划分为多个存储区域；
从所述当前图像中识别处于移动状态的目标食材，得到所述目标食材的检测框位置；
将所述检测框位置与正在跟踪的多条轨迹进行关联匹配，得到匹配结果；
根据所述匹配结果和所述检测框位置对所述目标食材进行跟踪，得到所述目标食材的最新轨迹；
判断是否结束食材跟踪，若是，则根据所述目标食材的最新轨迹和预先获取的每一所述存储区域对应的位置信息，确定所述目标食材的存取位置，若否，则返回至所述控制所述图像采集装置采集所述箱体内的当前图像的步骤。
7.如权利要求6所述的冰箱的食材定位方法，其特征在于，所述从所述当前图像中识别处于移动状态的目标食材，得到所述目标食材的检测框位置，包括：
对所述当前图像进行预处理，得到预处理后的当前图像；
将所述预处理后的当前图像输入特征提取网络进行特征提取，得到第一特征数据；
通过空间特征金字塔网络对所述第一特征数据进行池化，得到第二特征数据；
通过路径聚合网络对所述第二特征数据进行特征提取，得到第三特征数据；
根据所述第三特征数据进行食材检测，得到多个候选检测框及其对应的预测置信度；
根据每一所述候选检测框对应的预测置信度，对多个所述候选检测框进行去重处理，得到所述当前图像的检测框数据；
获取上一次采集的图像的检测框数据；
将所述当前图像的检测框数据与所述上一次采集的图像的检测框数据进行比对，确定所述目标食材的检测框位置。
8.如权利要求7所述的冰箱的食材定位方法，其特征在于，所述对所述当前图像进行预处理，得到预处理后的当前图像，包括：
对所述当前图像进行缩放，得到缩放后的当前图像；
对所述缩放后的当前图像中的空白区域进行灰条填充，得到填充后的当前图像；
对所述填充后的当前图像进行归一化操作，得到预处理后的当前图像。
9.如权利要求6所述的冰箱的食材定位方法，其特征在于，所述将所述检测框位置与正在跟踪的多条轨迹进行关联匹配，得到匹配结果，包括：
分别计算所述检测框位置与正在跟踪的多条轨迹的余弦距离和马氏距离，并构建余弦距离代价矩阵和马氏距离代价矩阵；
根据预设的余弦距离代价矩阵的权重和马氏距离代价矩阵的权重，对所述余弦距离代价矩阵和所述马氏距离代价矩阵进行加权求和，得到目标代价矩阵；
基于所述目标代价矩阵，采用匈牙利算法判断多条所述轨迹中是否存在与所述检测框位置关联的轨迹；
若是，则将关联的轨迹作为匹配结果；
若否，则计算所述检测框位置与每一所述轨迹的交并比，并构建交并比矩阵；以及，基于所述交并比矩阵，采用匈牙利算法判断多条所述轨迹中是否存在与所述检测框位置关联的轨迹，若是，则将关联的轨迹作为匹配结果，若否，则确定匹配结果为不存在关联的轨迹。
10.如权利要求6或9所述的冰箱的食材定位方法，其特征在于，所述根据所述匹配结果和所述检测框位置对所述目标食材进行跟踪，得到所述目标食材的最新轨迹，包括：
当所述匹配结果为关联的轨迹时，将所述关联的轨迹作为所述目标食材的轨迹，并获取所述目标食材的轨迹对应的卡尔曼滤波器；以及，基于所述检测框位置，通过所述卡尔曼滤波器对所述目标食材的轨迹进行更新，得到所述目标食材的最新轨迹；
当所述匹配结果为不存在关联轨迹时，基于所述检测框位置建立所述目标食材的卡尔曼滤波器和轨迹，以得到所述目标食材的最新轨迹。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111210106.0A CN113983737A (zh) | 2021-10-18 | 2021-10-18 | 冰箱及冰箱的食材定位方法 |
| PCT/CN2022/118746 WO2023065899A1 (zh) | 2021-10-18 | 2022-09-14 | 冰箱及食材定位的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111210106.0A CN113983737A (zh) | 2021-10-18 | 2021-10-18 | 冰箱及冰箱的食材定位方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113983737A true CN113983737A (zh) | 2022-01-28 |
Family
ID=79739144
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111210106.0A Pending CN113983737A (zh) | 2021-10-18 | 2021-10-18 | 冰箱及冰箱的食材定位方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113983737A (zh) |
| WO (1) | WO2023065899A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114882349A (zh) * | 2022-03-29 | 2022-08-09 | 青岛海尔电冰箱有限公司 | 冰箱内物品目标同一性判断方法、冰箱和计算机存储介质 |
| CN115661720A (zh) * | 2022-11-10 | 2023-01-31 | 南京智蓝芯联信息科技有限公司 | 一种被遮挡车辆的目标跟踪识别方法及系统 |
| WO2023193752A1 (zh) * | 2022-04-07 | 2023-10-12 | 青岛海尔电冰箱有限公司 | 冰箱内物品信息识别方法和冰箱 |
| CN117746304A (zh) * | 2024-02-21 | 2024-03-22 | 浪潮软件科技有限公司 | 基于计算机视觉的冰箱食材识别定位方法及系统 |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050077657A (ko) * | 2004-01-30 | 2005-08-03 | 주식회사 케이티 | 인터넷 냉장고의 식품 관리 시스템 및 그 방법, 그프로그램을 저장한 기록 매체 |
| JP2017089913A (ja) * | 2015-11-04 | 2017-05-25 | 三菱電機株式会社 | 冷蔵庫及びそれを含むネットワークシステム |
| CN109816690A (zh) * | 2018-12-25 | 2019-05-28 | 北京飞搜科技有限公司 | 基于深度特征的多目标追踪方法及系统 |
| CN109840504A (zh) * | 2019-02-01 | 2019-06-04 | 腾讯科技（深圳）有限公司 | 物品取放行为识别方法、装置、存储介质及设备 |
| JP2019168134A (ja) * | 2018-03-22 | 2019-10-03 | 三菱電機株式会社 | 冷蔵庫システム |
| CN110674789A (zh) * | 2019-10-12 | 2020-01-10 | 海信集团有限公司 | 食材管理方法和冰箱 |
| CN110689560A (zh) * | 2019-10-11 | 2020-01-14 | 海信集团有限公司 | 食材管理方法和设备 |
| CN111539282A (zh) * | 2020-04-15 | 2020-08-14 | 海信集团有限公司 | 一种储藏室物品存取位置的识别方法及冰箱 |
| CN111783586A (zh) * | 2020-06-22 | 2020-10-16 | 珠海格力电器股份有限公司 | 一种食材管理方法、装置、计算设备及存储介质 |
| CN112257569A (zh) * | 2020-10-21 | 2021-01-22 | 青海城市云大数据技术有限公司 | 一种基于实时视频流的目标检测和识别方法 |
| CN112597897A (zh) * | 2020-12-24 | 2021-04-02 | 华南农业大学 | 基于深度神经网络的果园香蕉检测方法、系统、设备及介质 |
| CN112633205A (zh) * | 2020-12-28 | 2021-04-09 | 北京眼神智能科技有限公司 | 基于头肩检测的行人追踪方法及装置、电子设备、存储介质 |
| CN112861767A (zh) * | 2021-02-26 | 2021-05-28 | 北京农业信息技术研究中心 | 一种粘虫板图像上小体积害虫检测方法及系统 |
| CN112989958A (zh) * | 2021-02-22 | 2021-06-18 | 哈工大机器人集团(无锡)科创基地研究院 | 基于YOLOv4与显著性检测的安全帽佩戴识别方法 |
| CN113033604A (zh) * | 2021-02-03 | 2021-06-25 | 淮阴工学院 | 一种基于SF-YOLOv4网络模型的车辆检测方法、系统及存储介质 |
| CN113034548A (zh) * | 2021-04-25 | 2021-06-25 | 安徽科大擎天科技有限公司 | 一种适用于嵌入式终端的多目标跟踪方法及其系统 |
| CN113139402A (zh) * | 2020-01-17 | 2021-07-20 | 海信集团有限公司 | 一种冰箱 |
| CN113160274A (zh) * | 2021-04-19 | 2021-07-23 | 桂林电子科技大学 | 一种基于YOLOv4的改进DeepSort目标检测跟踪方法 |
| CN113269098A (zh) * | 2021-05-27 | 2021-08-17 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于无人机的多目标跟踪定位与运动状态估计方法 |
| CN113505726A (zh) * | 2021-07-24 | 2021-10-15 | 北京思万智瞰科技有限公司 | 一种地图中的光伏组串识别与定位方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013152681A (ja) * | 2012-01-26 | 2013-08-08 | Hitachi Consumer Electronics Co Ltd | 食材検索システム及び食材検索方法 |
| CN107763956A (zh) * | 2016-08-23 | 2018-03-06 | 海信（山东）冰箱有限公司 | 一种冰箱及其控制方法 |
| CN107763955B (zh) * | 2016-08-23 | 2020-06-09 | 海信（山东）冰箱有限公司 | 一种冰箱及其控制方法 |
| CN106897661B (zh) * | 2017-01-05 | 2020-03-27 | 合肥美的智能科技有限公司 | 一种食材图像的智能化识别方法、系统和家用电器 |
| JP2021103038A (ja) * | 2019-12-25 | 2021-07-15 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | 調理機器 |
| CN113124635B (zh) * | 2019-12-31 | 2022-05-17 | 海信集团有限公司 | 冰箱 |
| CN111444880B (zh) * | 2020-04-10 | 2023-10-31 | 海信集团有限公司 | 一种食材识别方法及冰箱 |
-
2021
- 2021-10-18 CN CN202111210106.0A patent/CN113983737A/zh active Pending
-
2022
- 2022-09-14 WO PCT/CN2022/118746 patent/WO2023065899A1/zh unknown
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050077657A (ko) * | 2004-01-30 | 2005-08-03 | 주식회사 케이티 | 인터넷 냉장고의 식품 관리 시스템 및 그 방법, 그프로그램을 저장한 기록 매체 |
| JP2017089913A (ja) * | 2015-11-04 | 2017-05-25 | 三菱電機株式会社 | 冷蔵庫及びそれを含むネットワークシステム |
| JP2019168134A (ja) * | 2018-03-22 | 2019-10-03 | 三菱電機株式会社 | 冷蔵庫システム |
| CN109816690A (zh) * | 2018-12-25 | 2019-05-28 | 北京飞搜科技有限公司 | 基于深度特征的多目标追踪方法及系统 |
| CN109840504A (zh) * | 2019-02-01 | 2019-06-04 | 腾讯科技（深圳）有限公司 | 物品取放行为识别方法、装置、存储介质及设备 |
| CN110689560A (zh) * | 2019-10-11 | 2020-01-14 | 海信集团有限公司 | 食材管理方法和设备 |
| CN110674789A (zh) * | 2019-10-12 | 2020-01-10 | 海信集团有限公司 | 食材管理方法和冰箱 |
| CN113139402A (zh) * | 2020-01-17 | 2021-07-20 | 海信集团有限公司 | 一种冰箱 |
| CN111539282A (zh) * | 2020-04-15 | 2020-08-14 | 海信集团有限公司 | 一种储藏室物品存取位置的识别方法及冰箱 |
| CN111783586A (zh) * | 2020-06-22 | 2020-10-16 | 珠海格力电器股份有限公司 | 一种食材管理方法、装置、计算设备及存储介质 |
| CN112257569A (zh) * | 2020-10-21 | 2021-01-22 | 青海城市云大数据技术有限公司 | 一种基于实时视频流的目标检测和识别方法 |
| CN112597897A (zh) * | 2020-12-24 | 2021-04-02 | 华南农业大学 | 基于深度神经网络的果园香蕉检测方法、系统、设备及介质 |
| CN112633205A (zh) * | 2020-12-28 | 2021-04-09 | 北京眼神智能科技有限公司 | 基于头肩检测的行人追踪方法及装置、电子设备、存储介质 |
| CN113033604A (zh) * | 2021-02-03 | 2021-06-25 | 淮阴工学院 | 一种基于SF-YOLOv4网络模型的车辆检测方法、系统及存储介质 |
| CN112989958A (zh) * | 2021-02-22 | 2021-06-18 | 哈工大机器人集团(无锡)科创基地研究院 | 基于YOLOv4与显著性检测的安全帽佩戴识别方法 |
| CN112861767A (zh) * | 2021-02-26 | 2021-05-28 | 北京农业信息技术研究中心 | 一种粘虫板图像上小体积害虫检测方法及系统 |
| CN113160274A (zh) * | 2021-04-19 | 2021-07-23 | 桂林电子科技大学 | 一种基于YOLOv4的改进DeepSort目标检测跟踪方法 |
| CN113034548A (zh) * | 2021-04-25 | 2021-06-25 | 安徽科大擎天科技有限公司 | 一种适用于嵌入式终端的多目标跟踪方法及其系统 |
| CN113269098A (zh) * | 2021-05-27 | 2021-08-17 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于无人机的多目标跟踪定位与运动状态估计方法 |
| CN113505726A (zh) * | 2021-07-24 | 2021-10-15 | 北京思万智瞰科技有限公司 | 一种地图中的光伏组串识别与定位方法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114882349A (zh) * | 2022-03-29 | 2022-08-09 | 青岛海尔电冰箱有限公司 | 冰箱内物品目标同一性判断方法、冰箱和计算机存储介质 |
| WO2023185832A1 (zh) * | 2022-03-29 | 2023-10-05 | 青岛海尔电冰箱有限公司 | 冰箱内物品目标同一性判断方法、冰箱和计算机存储介质 |
| CN114882349B (zh) * | 2022-03-29 | 2024-05-24 | 青岛海尔制冷电器有限公司 | 冰箱内物品目标同一性判断方法、冰箱和计算机存储介质 |
| WO2023193752A1 (zh) * | 2022-04-07 | 2023-10-12 | 青岛海尔电冰箱有限公司 | 冰箱内物品信息识别方法和冰箱 |
| CN115661720A (zh) * | 2022-11-10 | 2023-01-31 | 南京智蓝芯联信息科技有限公司 | 一种被遮挡车辆的目标跟踪识别方法及系统 |
| CN117746304A (zh) * | 2024-02-21 | 2024-03-22 | 浪潮软件科技有限公司 | 基于计算机视觉的冰箱食材识别定位方法及系统 |
| CN117746304B (zh) * | 2024-02-21 | 2024-05-14 | 浪潮软件科技有限公司 | 基于计算机视觉的冰箱食材识别定位方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023065899A1 (zh) | 2023-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113983737A (zh) | 冰箱及冰箱的食材定位方法 | |
| Bouwmans | Subspace learning for background modeling: A survey | |
| US20170213080A1 (en) | Methods and systems for automatically and accurately detecting human bodies in videos and/or images | |
| US8345984B2 (en) | 3D convolutional neural networks for automatic human action recognition | |
| CN108447078A (zh) | 基于视觉显著性的干扰感知跟踪算法 | |
| CN108500992A (zh) | 一种多功能的移动安防机器人 | |
| CN111476194B (zh) | 一种感知模组工作状态检测方法及冰箱 | |
| US20060045310A1 (en) | System and method for tracking articulated body motion | |
| CN113139402B (zh) | 一种冰箱 | |
| CN105809711A (zh) | 一种基于视频追踪的猪只运动大数据提取方法及其系统 | |
| Lee et al. | Trajectory-based vehicle tracking at low frame rates | |
| CN112633282A (zh) | 一种车辆实时跟踪方法及计算机可读存储介质 | |
| CN111860297A (zh) | 一种应用于室内固定空间的slam回环检测方法 | |
| Nourani-Vatani et al. | On the use of optical flow for scene change detection and description | |
| CN114419669A (zh) | 一种基于重识别和方位感知的实时跨摄像头行人跟踪方法 | |
| Lalonde et al. | A system to automatically track humans and vehicles with a PTZ camera | |
| Booij et al. | Efficient data association for view based SLAM using connected dominating sets | |
| Gryn et al. | Detecting motion patterns via direction maps with application to surveillance | |
| Gouiaa et al. | Human posture recognition by combining silhouette and infrared cast shadows | |
| Aloysius et al. | Human posture recognition in video sequence using pseudo 2-d hidden markov models | |
| US11315257B2 (en) | Method for real time surface tracking in unstructured environments | |
| ELBAŞI et al. | Control charts approach for scenario recognition in video sequences | |
| CN114092851A (zh) | 基于时序动作检测的监控视频异常事件检测方法 | |
| Kronfeld et al. | Swarm-supported outdoor localization with sparse visual data | |
| Hu et al. | An efficient method of human behavior recognition in smart environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220128 |
|
| RJ01 | Rejection of invention patent application after publication |