CN109784193A - 用于智能冰箱的终端数据采集装置及系统 - Google Patents
用于智能冰箱的终端数据采集装置及系统 Download PDFInfo
- Publication number
- CN109784193A CN109784193A CN201811561911.6A CN201811561911A CN109784193A CN 109784193 A CN109784193 A CN 109784193A CN 201811561911 A CN201811561911 A CN 201811561911A CN 109784193 A CN109784193 A CN 109784193A
- Authority
- CN
- China
- Prior art keywords
- commodity
- module
- image
- identification model
- angle end
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
本发明提供了一种用于智能冰箱的终端数据采集装置及系统，用于对智能冰箱进行控制，智能冰箱设置有能够开合的冰箱门，冰箱门上至少设置一用于对冰箱内商品进行商品图像采集的摄像头，包括：图像采集模块，用于当冰箱门开至一预设的角度阈值时，控制摄像头采集冰箱内商品的对应商品图像；图像识别模块，用于根据预设的商品识别模型将商品图像中的每一商品区域识别出预设置的商品编号并进而根据预设置的商品排列顺序汇总商品编号生成识别数据；数据通信模块，用于将识别数据发送至后台服务器。本发明能够生成识别数据，并根据所述识别数据还原出冰箱的排面，实现冰箱内商品排面的有效监控。
Description
技术领域
本发明涉及智能冰箱，具体地，涉及一种用于智能冰箱的终端数据采集装置及系统。
背景技术
在商场中有很多商品售卖的冰箱，进行商品的自动售卖，如进行饮料的售卖。为了提高商品的销售量，很多供应商在很多商场安放冰箱进行商品的售卖，如在很多商场中都能够看到可口可乐公司的售卖可乐的冰箱。
当商品需要追踪每一冰箱的商品摆放情况和商品销售情况时，需要付出极大的劳动力成本，需要派人员到每一冰箱面前进行数据的采集。但是冰箱内商品的销售状况是随时变化的，当销售较好的商品售完之后没有进行商品的补充，将会极大的影响到该商品的总销售量。
此外，每一冰箱大概都会有五、六层左右的摆放架，摆在中间位置的商品更容易被消费者看到，从而引起消费者的购买行为。因此，供应商可以进行销售目标进行冰箱内商品的摆放，但是冰箱一般都放置在商场中由商场进行管理，商场有可能会不按供应商的安排进行商品的摆放，影响到供应商的销售计划。
因此如果能够实时了解每一冰箱中商品的摆放情况和商品销售情况将会能够最大的发挥每一冰箱的最大的销售潜能，实现单个冰箱的利润更大化。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种用于智能冰箱的终端数据采集装置及系统。
根据本发明提供的用于智能冰箱的终端数据采集装置，用于对智能冰箱进行控制，所述智能冰箱设置有能够开合的冰箱门，所述冰箱门上至少设置一用于对冰箱内商品进行商品图像采集的摄像头，包括如下模块：
图像采集模块，用于当所述冰箱门开至一预设的角度阈值时，控制所述摄像头采集所述冰箱内商品的对应商品图像；
图像识别模块，用于根据预设的商品识别模型将所述商品图像中的每一商品区域识别出预设置的商品编号并进而根据预设置的商品排列顺序汇总所述商品编号生成识别数据；
数据通信模块，用于将所述识别数据发送至后台服务器。
优选地，当所述商品识别模型对每一商品识别时包括如下步骤：
步骤S1：通过预设置的角端识别模型对所述商品图像中智能冰箱的至少两个层列的层列架角端进行识别，至少识别出四个位于所述商品图像的两侧端部的层列架角端区域；
步骤S2：根据至少四个所述层列架角端区域与预设置的参考商品图像中的参考层列架角端区域之间的位置关系生成单应性矩阵；
步骤S3：根据所述单应性矩阵对所述商品图像进行矫正生成矫正后商品图像；
步骤S4：通过预设置的所述商品识别模型对所述矫正后商品图像进行识别，以识别出所述商品图像中的每一商品区域对应的预设置的商品编号。
优选地，所述步骤S1包括如下步骤：
步骤S101：获取多张用于角端识别的训练图像，对每一所述用于角端识别的训练图像进行角端区域的标注；
步骤S102：利用标注出角端区域的训练图像建立所述角端识别模型；
步骤S103：将所述商品图像输入所述角端识别模型进行角端区域识别。
优选地，所述步骤S2包括如下步骤：
步骤S201：建立二维坐标系，确定所述参考商品图像中的至少四个参考层列架角端区域的坐标；
步骤S202：在所述二维坐标系中，确定所述四个所述层列架角端区域的坐标；
步骤S203：根据四个所述层列架角端区域与分别对应的参考层列架角端区域之间的位置关系生成所述单应性矩阵。
优选地，所述步骤S4包括如下步骤：
步骤S401：获取多张用于商品区域识别的训练图像，对每一所述用于商品区域识别的训练图像进行商品区域的标注；
步骤S402：利用标注出商品区域的训练图像建立所述商品区域识别模型；
步骤S403：将所述商品图像输入所述商品区域识别模型进行商品区域识别。
优选地，还包括客户端模块；
所述客户端模块包括商品图像数据库、后台服务器以及排面展示模块；
所述商品图像数据库，用于存储每一所述商品编号对应的商品预设图像；
所述后台服务器，用于收到所述识别数据后，据所述识别数据中的商品编号在所述商品图片数据库调取该商品编号对应的商品预设图像，进而根据所述商品排列顺序将调取出的所述商品预设图像进行排列还原出所述冰箱的排面；
所述排面展示模块，用于对还原出所述冰箱的排面进行展示。
优选地，还包括本地管理模块；
所述本地管理模块包括传感器监控模块、错误收集模块、自动更新模块以及远程控制模块；
所述传感器监控模块，用于对所述智能冰箱的传感器采集到的传感数据进行监控和采集，所述传感器包括温度传感器、加速度传感器和门磁开关中的任一种或任多种；
所述自动更新模块，用于获取到更新后的所述角端识别模型和所述商品识别模型，并进而将更新后的所述角端识别模型和所述商品识别模型对运行中的角端识别模型和所述商品识别模型进行更新替换；
所述错误收集模块，用于所述图像采集模块、所述图像识别模块、所述数据通信模块以及所述本地管理模块运行产生的运行错误信息进行收集；
所述远程控制模块，用于对所述图像采集模块、所述图像识别模块、所述数据通信模块、所述本地管理模块进行远程控制。
根据本发明提供的用于智能冰箱的终端数据管理系统，包括多个所述的用于智能冰箱的终端数据采集装置，还包括远程管理模块和模型服务模块；
所述远程管理模块，用于通过所述终端数据采集装置的远程控制模块对所述终端数据采集装置进行远程监控和远程操作；
所述模型服务模块，用于图像识别模块中运行的角端识别模型和商品识别模型的识别准确进行追踪统计，并在运行中的所述角端识别模型和所述商品识别模型的准确度降至设定的准确度阈值后，将另一训练完成的所述角端识别模型和所述商品识别模型发送至所述终端数据采集装置中的自动更新模块对运行中的所述角端识别模型和所述商品识别模型的更新。
优选地，所述远程管理模块包括远程监控模块、远程操作模块、错误分析模块以及线下维护模块；
所述远程监控模块，用于对多个所述图像采集模块、所述图像识别模块、所述数据通信模块和所述本地管理模块的状态信息进行远程监控；
所述远程操作模块，用于通过所述远程控制模块对所述图像采集模块、所述图像识别模块、所述数据通信模块以及所述本地管理模块进行远程控制；
所述错误分析模块，用于接收所述终端数据采集装置中的运行错误信息并对所述错误信息进行分析，确定所述运行错误信息的类型；
所述线下维护模块，用于将根据所述运行错误信息的类型和数量发送至线下维护端。
优选地，所述模型服务模块包括模型准确率追踪模块、模型训练模块、模型确任模块以及模型更新模块；
所述模型准确率追踪模块，用于对所述角端识别模型和所述商品识别模型的识别准确进行追踪统计；
所述模型训练模块，用于运行中的所述角端识别模型和所述商品识别模型下降至预设定的准确度阈值时，通过所述商品图像进行另一所述角端识别模型和所述商品识别模型的训练；
所述模型确任模块，用于当另一所述角端识别模型和所述商品识别模型的准确度达到预设的准确度阈值时，确定当另一所述角端识别模型和所述商品识别模型训练完成；
所述模型更新模块，用于当另一所述角端识别模型和所述商品识别模型训练完成后，将另一所述角端识别模型和所述商品识别模型发送至所述自动更新模块。
与现有技术相比，本发明具有如下的有益效果：
本发明能够应用在智能冰箱上，当所述智能冰箱门的打开角度一预设的角度阈值时，通过图像采集模块控制摄像头进行冰箱内商品图像的采集，并根据预设值的商品识别模型对所述商品图像中的每一商品识别出商品编号，生成识别数据，接收到上述识别数据的后台服务器便能够根据商品编号调取对应的商品预设图像，进而将调取出的所述商品预设图像依次排列还原出所述冰箱的排面，实现冰箱内商品排面的有效监控。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明中智能冰箱的结构示意图；
图2为本发明中用于智能冰箱的终端数据采集装置的模块示意图；
图3为本发明中通过商品识别模型对每一商品识别的步骤流程图；
图4为本发明中进行图像矫正的步骤流程图；
图5为本发明中通过单应性矩阵进行图像矫正的原理示意图；
图6为本发明中进行图像矫正的单应性矩阵生成的步骤流程图；
图7为本发明中通过商品区域识别模型进行商品区域识别的步骤流程图；
图8为本发明中客户端模块的模块示意图；
图9为本发明中本地管理模块的模块示意图；
图10为本发明中用于智能冰箱的终端数据管理系统的模块示意图；
图11为本发明中远程管理模块的模块示意图；以及
图12为本发明中模型服务模块的模块示意图。
图中：
100 为智能冰箱；
200 为摄像头。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
图2为本发明中用于智能冰箱的终端数据采集装置的模块示意图，如图2所示，本发明中提供的用于智能冰箱的终端数据采集装置，用于对智能冰箱进行控制，所述智能冰箱设置有能够开合的冰箱门，所述冰箱门上至少设置一用于对冰箱内商品进行商品图像采集的摄像头，包括如下模块：
图像采集模块，用于当所述冰箱门开至一预设的角度阈值时，控制所述摄像头采集所述冰箱内商品的对应商品图像；
图像识别模块，用于根据预设的商品识别模型将所述商品图像中的每一商品区域识别出预设置的商品编号并进而根据预设置的商品排列顺序汇总所述商品编号生成识别数据；
数据通信模块，用于将所述识别数据发送至后台服务器。
在本实施例中，所述商品排列顺序为从左到右从上到下的顺序，即最上层的排在最左侧的商品为第一个商品，排列在最下层的排在最右侧的商品为最后一个商品。在变形例中，也可以根据需要对商品排列顺序设置为其他顺序。
在本实施例中，所述角度阈值可以设置为在40°至50°之间，具体为，所述角度阈值设置为45°。
在本实施例中，采用陀螺仪姿态传感器进行所述冰箱门打开角度的进行测量，所述陀螺仪姿态传感器的电压为3.3V-5V，电流<10mA，尺寸为51.3mm×36mm×15mm，测量精度为0.05°，加速度的量程为±16g，角速度的量程为±2000°/s，角度的量程为±180°；测量维度中，加速度、角速度、姿态角均为3维，输出频率为100Hz。
在本变形例中，还可以采用门磁开关对所述冰箱门打开角度的进行测量。
在本实施例中，所述商品编号为每一商品的SKU(Stock Keeping Unit，库存量单位)编码。在变形例，还可以采用每一供应商根据需要自设定的商品编号。
在本实施例中，所述通信模块采用4G通信模块。在变形例中还可以采用基于蜂窝的窄带物联网(Narrow Band Internet of Things,NB-IoT)进行通信。
在本实施例中，所述智能冰箱100的结构如图1所示，所述智能冰箱100的冰箱门上至少设置一用于对冰箱内商品进行商品图像采集的摄像头200。
当所述智能冰箱门的打开角度一预设的角度阈值时，本发明通过图像采集模块控制摄像头进行冰箱内商品图像的采集，并根据预设值的商品识别模型对所述商品图像中的每一商品识别出商品编号，生成识别数据，接收到上述识别数据的后台服务器便能够根据商品编号调取对应的商品预设图像，进而将调取出的所述商品预设图像依次排列还原出所述冰箱的排面，实现冰箱内商品排面的有效监控。
图3为本发明中通过商品识别模型对每一商品识别的步骤流程图，如图3所示，当所述商品识别模型对每一商品识别时包括如下步骤：
步骤S1：通过预设置的角端识别模型对所述商品图像中智能冰箱的至少两个层列的层列架角端进行识别，至少识别出四个位于所述商品图像的两侧端部的层列架角端区域；
步骤S2：根据至少四个所述层列架角端区域与预设置的参考商品图像中的参考层列架角端区域之间的位置关系生成单应性矩阵；
步骤S3：根据所述单应性矩阵对所述商品图像进行矫正生成矫正后商品图像；
步骤S4：通过预设置的所述商品识别模型对所述矫正后商品图像进行识别，以识别出所述商品图像中的每一商品区域对应的预设置的商品编号。
图4为本发明中进行图像矫正的步骤流程图，如图4所示，所述步骤S1包括如下步骤：
步骤S101：获取多张用于角端识别的训练图像，对每一所述用于角端识别的训练图像进行角端区域的标注；
步骤S102：利用标注出角端区域的训练图像建立所述角端识别模型；
步骤S103：将所述商品图像输入所述角端识别模型进行角端区域识别。
图5为本发明中通过单应性矩阵进行图像矫正的原理示意图，如图5所示，所述步骤S2包括如下步骤：
步骤S201：建立二维坐标系，确定所述参考商品图像中的至少四个参考层列架角端区域的坐标；
步骤S202：在所述二维坐标系中，确定所述四个所述层列架角端区域的坐标；
步骤S203：根据四个所述层列架角端区域与分别对应的参考层列架角端区域之间的位置关系生成所述单应性矩阵。
在本实施例中，所述角端识别模型和所述商品识别模型采用卷积神经网络结构，在深度学习框架下进行训练得到。
图6为本发明中进行图像矫正的单应性矩阵生成的步骤流程图，如图6所示，根据本领域公知常识，同一层列的层列架角端区域位于一水平直线上，位于同一侧端部的层列架角端区域位于一竖直直线上。依次作为已知条件，将所述商品图像中的四个位于的两侧端部的层列架角端区域进行移动，四个位于层列架角端区域呈矩形作为目标结果，便可生成所述单应性矩阵，进而实现对所述商品图像的矫正。
图7为本发明中通过商品区域识别模型进行商品区域识别的步骤流程图，如图7所示，所述步骤S4包括如下步骤：
步骤S401：获取多张用于商品区域识别的训练图像，对每一所述用于商品区域识别的训练图像进行商品区域的标注；
步骤S402：利用标注出商品区域的训练图像建立所述商品区域识别模型；
步骤S403：将所述商品图像输入所述商品区域识别模型进行商品区域识别。
图8为本发明中客户端模块的模块示意图，如图8所示，本发明中用于智能冰箱的终端数据采集装置，还包括客户端模块；
所述客户端模块包括商品图像数据库、后台服务器以及排面展示模块；
所述商品图像数据库，用于存储每一所述商品编号对应的商品预设图像；
所述后台服务器，用于收到所述识别数据后，据所述识别数据中的商品编号在所述商品图片数据库调取该商品编号对应的商品预设图像，进而根据所述商品排列顺序将调取出的所述商品预设图像进行排列还原出所述冰箱的排面；
所述排面展示模块，用于对还原出所述冰箱的排面进行展示。
图9为本发明中本地管理模块的模块示意图，如图9所示，本发明中用于智能冰箱的终端数据采集装置，还包括本地管理模块；
所述本地管理模块包括传感器监控模块、错误收集模块、自动更新模块以及远程控制模块；
所述传感器监控模块，用于对所述智能冰箱的传感器采集到的传感数据进行监控和采集，所述传感器包括温度传感器、加速度传感器和门磁开关中的任一种或任多种；
所述自动更新模块，用于获取到更新后的所述角端识别模型和所述商品识别模型，并进而将更新后的所述角端识别模型和所述商品识别模型对运行中的角端识别模型和所述商品识别模型进行更新替换；
所述错误收集模块，用于所述图像采集模块、所述图像识别模块、所述数据通信模块以及所述本地管理模块运行产生的运行错误信息进行收集；
所述远程控制模块，用于对所述图像采集模块、所述图像识别模块、所述数据通信模块、所述本地管理模块进行远程控制。
在本实施例中，所述远程控制模块采用teamviewer和vnc viewer进行远程操作。
在变形例中，所述本地管理模块还包括心跳信息监控模块和出厂设置恢复模块；
所述心跳信息监控模块，用于将所述图像采集模块、所述图像识别模块、所述数据通信模块的状态信息发送至云端；
更为具体的，所述状态信息包括本发明中用于智能冰箱的终端数据采集装置的网络连接信息，CPU占用信息、摄像头的状态信息、角端识别模型和商品识别模型的工作状态信息、
所述出厂设置恢复模块，用于对所述图像采集模块、所述图像识别模块、所述数据通信模块的状态信息、所述本地管理模块恢复至出厂设置。
更为具体地，所述错误收集模块可以用来根据发送至商品图像数据库的所述商品图像对所述冰箱的排面核查，并对识别数据的错误进行收集。
图10为本发明中用于智能冰箱的终端数据管理系统的模块示意图，如图10所示，本发明提供的用于智能冰箱的终端数据管理系统，包括多个所述的用于智能冰箱的终端数据采集装置，还包括远程管理模块和模型服务模块；
所述远程管理模块，用于通过所述终端数据采集装置的远程控制模块对所述终端数据采集装置进行远程监控和远程操作；
所述模型服务模块，用于运行中的所述角端识别模型和所述商品识别模型的识别准确进行追踪统计，并在运行中的所述角端识别模型和所述商品识别模型的准确度降至设定的准确度阈值后，将另一训练完成的所述角端识别模型和所述商品识别模型发送至所述自动更新模块对运行中的所述角端识别模型和所述商品识别模型的更新。
图11为本发明中远程管理模块的模块示意图，如图11所示，所述远程管理模块包括远程监控模块、远程操作模块、错误分析模块以及线下维护模块；
所述远程监控模块，用于对多个所述图像采集模块、所述图像识别模块、所述数据通信模块和所述本地管理模块的状态信息进行远程监控；
所述远程操作模块，用于通过所述远程控制模块对所述图像采集模块、所述图像识别模块、所述数据通信模块以及所述本地管理模块进行远程控制；
所述错误分析模块，用于接收所述终端数据采集装置中的运行错误信息并对所述错误信息进行分析，确定所述运行错误信息的类型；
所述线下维护模块，用于将根据所述运行错误信息的类型和数量发送至线下维护端。
在本实施例中，可以对所述运行错误信息在错误信息数据库中进行检索，确定所述运行错误信息的类型；
在本实施例中，可以设定当所述维护端的数量大于一预设的数值时，才将所述运行错误信息的类型发生至维护端，也可以当维护端收到预设的数值的运行错误信息时，由装有维护端的人员外出进行修理。
图12为本发明中模型服务模块的模块示意图，如图12所示，所述模型服务模块包括模型准确率追踪模块、模型训练模块、模型确任模块以及模型更新模块；
所述模型准确率追踪模块，用于对所述角端识别模型和所述商品识别模型的识别准确进行追踪统计；
所述模型训练模块，用于运行中的所述角端识别模型和所述商品识别模型下降至预设定的准确度阈值时，通过所述商品图像进行另一所述角端识别模型和所述商品识别模型的训练；
所述模型确任模块，用于当另一所述角端识别模型和所述商品识别模型的准确度达到预设的准确度阈值时，确定当另一所述角端识别模型和所述商品识别模型训练完成；
所述模型更新模块，用于当另一所述角端识别模型和所述商品识别模型训练完成后，将另一所述角端识别模型和所述商品识别模型发送至所述自动更新模块。
在本实施例中，当所述模型更新模块控制所述自动更新模块的角端识别模型和商品识别模型进行自动更新时，能够根据对一区域或多区域内的多个或单个本发明中用于智能冰箱的终端数据采集装置中的角端识别模型和商品识别模型进行更新。
在本实施例中，本发明能够应用在智能冰箱上，当所述智能冰箱门的打开角度一预设的角度阈值时，通过图像采集模块控制摄像头进行冰箱内商品图像的采集，并根据预设值的商品识别模型对所述商品图像中的每一商品识别出商品编号，生成识别数据，接收到上述识别数据的后台服务器便能够根据商品编号调取对应的商品预设图像，进而将调取出的所述商品预设图像依次排列还原出所述冰箱的排面，实现冰箱内商品排面的有效监控。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。
Claims (10)
1.一种用于智能冰箱的终端数据采集装置，用于对智能冰箱进行控制，所述智能冰箱设置有能够开合的冰箱门，所述冰箱门上至少设置一用于对冰箱内商品进行商品图像采集的摄像头，其特征在于，包括如下模块：
图像采集模块，用于当所述冰箱门开至一预设的角度阈值时，控制所述摄像头采集所述冰箱内商品的对应商品图像；
图像识别模块，用于根据预设的商品识别模型将所述商品图像中的每一商品区域识别出预设置的商品编号并进而根据预设置的商品排列顺序汇总所述商品编号生成识别数据；
数据通信模块，用于将所述识别数据发送至后台服务器。
2.根据权利要求1所述的用于智能冰箱的终端数据采集装置，其特征在于，当所述商品识别模型对每一商品识别时包括如下步骤：
步骤S1：通过预设置的角端识别模型对所述商品图像中智能冰箱的至少两个层列的层列架角端进行识别，至少识别出四个位于所述商品图像的两侧端部的层列架角端区域；
步骤S2：根据至少四个所述层列架角端区域与预设置的参考商品图像中的参考层列架角端区域之间的位置关系生成单应性矩阵；
步骤S3：根据所述单应性矩阵对所述商品图像进行矫正生成矫正后商品图像；
步骤S4：通过预设置的所述商品识别模型对所述矫正后商品图像进行识别，以识别出所述商品图像中的每一商品区域对应的预设置的商品编号。
3.根据权利要求2所述的用于智能冰箱的终端数据采集装置，其特征在于，所述步骤S1包括如下步骤：
步骤S101：获取多张用于角端识别的训练图像，对每一所述用于角端识别的训练图像进行角端区域的标注；
步骤S102：利用标注出角端区域的训练图像建立所述角端识别模型；
步骤S103：将所述商品图像输入所述角端识别模型进行角端区域识别。
4.根据权利要求2所述的用于智能冰箱的终端数据采集装置，其特征在于，所述步骤S2包括如下步骤：
步骤S201：建立二维坐标系，确定所述参考商品图像中的至少四个参考层列架角端区域的坐标；
步骤S202：在所述二维坐标系中，确定所述四个所述层列架角端区域的坐标；
步骤S203：根据四个所述层列架角端区域与分别对应的参考层列架角端区域之间的位置关系生成所述单应性矩阵。
5.根据权利要求2所述的用于智能冰箱的终端数据采集装置，其特征在于，所述步骤S4包括如下步骤：
步骤S401：获取多张用于商品区域识别的训练图像，对每一所述用于商品区域识别的训练图像进行商品区域的标注；
步骤S402：利用标注出商品区域的训练图像建立所述商品区域识别模型；
步骤S403：将所述商品图像输入所述商品区域识别模型进行商品区域识别。
6.根据权利要求1所述的用于智能冰箱的终端数据采集装置，其特征在于，还包括客户端模块；
所述客户端模块包括商品图像数据库、后台服务器以及排面展示模块；
所述商品图像数据库，用于存储每一所述商品编号对应的商品预设图像；
所述后台服务器，用于收到所述识别数据后，据所述识别数据中的商品编号在所述商品图片数据库调取该商品编号对应的商品预设图像，进而根据所述商品排列顺序将调取出的所述商品预设图像进行排列还原出所述冰箱的排面；
所述排面展示模块，用于对还原出所述冰箱的排面进行展示。
7.根据权利要求2所述的用于智能冰箱的终端数据采集装置，其特征在于，还包括本地管理模块；
所述本地管理模块包括传感器监控模块、错误收集模块、自动更新模块以及远程控制模块；
所述传感器监控模块，用于对所述智能冰箱的传感器采集到的传感数据进行监控和采集，所述传感器包括温度传感器、加速度传感器和门磁开关中的任一种或任多种；
所述自动更新模块，用于获取到更新后的所述角端识别模型和所述商品识别模型，并进而将更新后的所述角端识别模型和所述商品识别模型对运行中的角端识别模型和所述商品识别模型进行更新替换；
所述错误收集模块，用于所述图像采集模块、所述图像识别模块、所述数据通信模块以及所述本地管理模块运行产生的运行错误信息进行收集；
所述远程控制模块，用于对所述图像采集模块、所述图像识别模块、所述数据通信模块、所述本地管理模块进行远程控制。
8.一种用于智能冰箱的终端数据管理系统，包括多个权利要求1至7任一项所述的用于智能冰箱的终端数据采集装置，其特征在于，还包括远程管理模块和模型服务模块；
所述远程管理模块，用于通过所述终端数据采集装置的远程控制模块对所述终端数据采集装置进行远程监控和远程操作；
所述模型服务模块，用于图像识别模块中运行的角端识别模型和商品识别模型的识别准确进行追踪统计，并在运行中的所述角端识别模型和所述商品识别模型的准确度降至设定的准确度阈值后，将另一训练完成的所述角端识别模型和所述商品识别模型发送至所述终端数据采集装置中的自动更新模块对运行中的所述角端识别模型和所述商品识别模型的更新。
9.根据权利要求8所述的用于智能冰箱的终端数据管理系统，其特征在于，所述远程管理模块包括远程监控模块、远程操作模块、错误分析模块以及线下维护模块；
所述远程监控模块，用于对多个所述图像采集模块、所述图像识别模块、所述数据通信模块和所述终端数据采集装置的本地管理模块的状态信息进行远程监控；
所述远程操作模块，用于通过所述远程控制模块对所述图像采集模块、所述图像识别模块、所述数据通信模块以及所述本地管理模块进行远程控制；
所述错误分析模块，用于接收所述终端数据采集装置中的运行错误信息并对所述错误信息进行分析，确定所述运行错误信息的类型；
所述线下维护模块，用于将根据所述运行错误信息的类型和数量发送至线下维护端。
10.根据权利要求8所述的用于智能冰箱的终端数据管理系统，其特征在于，所述模型服务模块包括模型准确率追踪模块、模型训练模块、模型确任模块以及模型更新模块；
所述模型准确率追踪模块，用于对所述角端识别模型和所述商品识别模型的识别准确进行追踪统计；
所述模型训练模块，用于运行中的所述角端识别模型和所述商品识别模型下降至预设定的准确度阈值时，通过所述商品图像进行另一所述角端识别模型和所述商品识别模型的训练；
所述模型确任模块，用于当另一所述角端识别模型和所述商品识别模型的准确度达到预设的准确度阈值时，确定当另一所述角端识别模型和所述商品识别模型训练完成；
所述模型更新模块，用于当另一所述角端识别模型和所述商品识别模型训练完成后，将另一所述角端识别模型和所述商品识别模型发送至所述自动更新模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811561911.6A CN109784193A (zh) | 2018-12-20 | 2018-12-20 | 用于智能冰箱的终端数据采集装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811561911.6A CN109784193A (zh) | 2018-12-20 | 2018-12-20 | 用于智能冰箱的终端数据采集装置及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109784193A true CN109784193A (zh) | 2019-05-21 |
Family
ID=66497446
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811561911.6A Pending CN109784193A (zh) | 2018-12-20 | 2018-12-20 | 用于智能冰箱的终端数据采集装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109784193A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110334768A (zh) * | 2019-07-08 | 2019-10-15 | 创新奇智(重庆)科技有限公司 | 一种冰柜陈列检测方法、系统及电子设备 |
| CN110377318A (zh) * | 2019-07-25 | 2019-10-25 | 四川爱创科技有限公司 | 用于智能货柜的商品识别模型动态更新方法 |
| CN112990115A (zh) * | 2021-04-21 | 2021-06-18 | 广州市玄武无线科技股份有限公司 | 一种用于冰柜陈列识别的拍摄方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102184405B (zh) * | 2011-04-19 | 2012-12-26 | 清华大学 | 图像采集分析方法 |
| CN104871198A (zh) * | 2012-12-04 | 2015-08-26 | 日本电气株式会社 | 商品信息处理装置、其数据处理方法和程序 |
| CN105698482A (zh) * | 2016-04-01 | 2016-06-22 | 青岛海尔股份有限公司 | 冰箱内储物信息的确定方法与冰箱 |
| CN105953520A (zh) * | 2016-05-06 | 2016-09-21 | 青岛海尔股份有限公司 | 智能冰箱控制方法及其控制系统 |
| CN106326990A (zh) * | 2016-08-25 | 2017-01-11 | 合肥美菱股份有限公司 | 一种智能冰箱远程故障诊断及服务系统及其方法 |
| CN107945378A (zh) * | 2017-12-01 | 2018-04-20 | 湖南深拓智能设备股份有限公司 | 一种履带式自动售货机及其自动售货方法 |
| CN108734162A (zh) * | 2018-04-12 | 2018-11-02 | 上海扩博智能技术有限公司 | 商品图像中目标识别方法、系统、设备及存储介质 |
-
2018
- 2018-12-20 CN CN201811561911.6A patent/CN109784193A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102184405B (zh) * | 2011-04-19 | 2012-12-26 | 清华大学 | 图像采集分析方法 |
| CN104871198A (zh) * | 2012-12-04 | 2015-08-26 | 日本电气株式会社 | 商品信息处理装置、其数据处理方法和程序 |
| CN105698482A (zh) * | 2016-04-01 | 2016-06-22 | 青岛海尔股份有限公司 | 冰箱内储物信息的确定方法与冰箱 |
| CN105953520A (zh) * | 2016-05-06 | 2016-09-21 | 青岛海尔股份有限公司 | 智能冰箱控制方法及其控制系统 |
| CN106326990A (zh) * | 2016-08-25 | 2017-01-11 | 合肥美菱股份有限公司 | 一种智能冰箱远程故障诊断及服务系统及其方法 |
| CN107945378A (zh) * | 2017-12-01 | 2018-04-20 | 湖南深拓智能设备股份有限公司 | 一种履带式自动售货机及其自动售货方法 |
| CN108734162A (zh) * | 2018-04-12 | 2018-11-02 | 上海扩博智能技术有限公司 | 商品图像中目标识别方法、系统、设备及存储介质 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110334768A (zh) * | 2019-07-08 | 2019-10-15 | 创新奇智(重庆)科技有限公司 | 一种冰柜陈列检测方法、系统及电子设备 |
| CN110334768B (zh) * | 2019-07-08 | 2023-08-22 | 创新奇智(重庆)科技有限公司 | 一种冰柜陈列检测方法、系统及电子设备 |
| CN110377318A (zh) * | 2019-07-25 | 2019-10-25 | 四川爱创科技有限公司 | 用于智能货柜的商品识别模型动态更新方法 |
| CN112990115A (zh) * | 2021-04-21 | 2021-06-18 | 广州市玄武无线科技股份有限公司 | 一种用于冰柜陈列识别的拍摄方法及系统 |
| CN112990115B (zh) * | 2021-04-21 | 2021-09-14 | 广州市玄武无线科技股份有限公司 | 一种用于冰柜陈列识别的拍摄方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109784193A (zh) | 用于智能冰箱的终端数据采集装置及系统 | |
| US11521248B2 (en) | Method and system for tracking objects in an automated-checkout store based on distributed computing | |
| CN108416901A (zh) | 智能货柜内货品识别方法及装置、智能货柜 | |
| US11887051B1 (en) | Identifying user-item interactions in an automated facility | |
| CN109905696A (zh) | 一种基于加密流量数据的视频服务体验质量的识别方法 | |
| CN106355367A (zh) | 仓库监控管理装置 | |
| CN107370983A (zh) | 用于视频监控系统的行踪轨迹的获取方法和装置 | |
| US20150120237A1 (en) | Staying state analysis device, staying state analysis system and staying state analysis method | |
| CN106026393B (zh) | 一种电网线路智能巡线及运行安全风险预测系统及方法 | |
| CN107636702A (zh) | 集成式资产完整性管理系统 | |
| CN109214306A (zh) | 货架扫货机器人及货架扫货系统 | |
| CN110068332A (zh) | 基于可穿戴设备的变电站巡检路径规划装置及方法 | |
| CN110246160A (zh) | 视频目标的检测方法、装置、设备及介质 | |
| US20220391796A1 (en) | System and Method for Mapping Risks in a Warehouse Environment | |
| US11475657B2 (en) | Machine learning algorithm trained to identify algorithmically populated shopping carts as candidates for verification | |
| CN111626201A (zh) | 商品检测方法、装置及可读存储介质 | |
| CN109269707A (zh) | 可识别信息化云管控风机螺母拧紧工艺检测方法 | |
| CN110119914A (zh) | 对象补货处理方法、装置和系统 | |
| CN111274934A (zh) | 在仓储管理中智能监控叉车运行轨迹的实现方法和系统 | |
| US10628792B2 (en) | Systems and methods for monitoring and restocking merchandise | |
| Mohanraj et al. | Smart warehouse monitoring using IoT | |
| CN116543540B (zh) | 基于物联网的水池液位在线智能监测感知系统及感知方法 | |
| CN108154115A (zh) | 基于摄像头场景的对象识别方法及装置、计算设备 | |
| KR20100041177A (ko) | 자동 물류 시스템 및 그 제어방법 | |
| US20220309784A1 (en) | System and method for populating a virtual shopping cart based on a verification of algorithmic determinations of items selected during a shopping session in a physical store |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190521 |
|
| RJ01 | Rejection of invention patent application after publication |