CN113114895A - 货柜的控制方法、货柜和可读存储介质 - Google Patents

Abstract

本发明提供了一种货柜的控制方法、货柜和可读存储介质。其中，货柜的控制方法包括：基于摄像模组位于预设拍摄位置，控制摄像模组拍摄以得到柜体的目标图像；根据目标图像，确定货柜中的货品信息。从而只需一张目标图像即可展现柜体中指定区域的所有货品，进而一次性获取柜体中指定区域的所有货品的相关信息，能够有效减少摄像模组的使用数量，大大降低摄像模组成本和人工成本，而且还能避免对柜体不同区域进行拍摄，大大节省上传目标图像流量和上传返回结果时间。

Description

货柜的控制方法、货柜和可读存储介质

技术领域

本发明涉及家用电器技术领域，具体而言，涉及一种货柜的控制方法、一种货柜和一种可读存储介质。

背景技术

相关技术中，货柜通过柜机每个隔层之间设置的相机，或者人为现场拍照或者视频的方式，来获知货柜中货品的情况。但需要使用多个摄像模组模组或多余人力去现场处理，设备和人力成本高，而且不能展示开门后整个柜机商品直面的牌面情况。此外，在信号不稳定的情况下，较大视频和图片上传时间较长，而且会有上传失败的情况，浪费物联网大量流量费用，影响用户的使用体验。

发明内容

本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。

为此，本发明的第一方面提供了一种货柜的控制方法。

本发明的第二方面还提供了一种货柜。

本发明的第三方面还提供了一种可读存储介质。

有鉴于此，本发明的第一方面提出了一种货柜的控制方法，包括：基于摄像模组位于预设拍摄位置，控制摄像模组拍摄以得到柜体的目标图像；根据目标图像，确定货柜中的货品信息。

本发明提供的控制方法，由于摄像模组设置在柜门上，当柜门开启，摄像模组能够跟随柜门移动，并逐渐远离柜体，摄像模组的拍摄方向也逐渐变化，从而利用一个摄像模组即可对货柜的柜体整体进行拍摄。

进一步地，当检测到摄像模组运动到预设的预设拍摄位置，此时，摄像模组位于与柜体正面(柜体开口所在的平面)成垂直角度的位置，也即摄像模组的拍摄方向为正面角度，或者摄像模组水平移动到稍微偏离正面角度的位置，说明摄像模组的镜头拍摄的视场角正好满足清晰拍摄柜体内货品的条件。则控制摄像模组对柜体进行拍摄，以得到柜体的目标图像，其中，目标图像能够显示出柜体指定区域内存放的所有货品。再通过对目标图像的处理，确定出货柜中货品的相关信息(货品信息)。一方面，将摄像模组设置在柜门上，使得摄像模组能够与柜体产生一定的距离，从而只需一个摄像模组即可自动对柜体整体进行拍摄，有效减少摄像模组的使用数量，大大降低摄像模组成本和人工成本。再一方面，由于在摄像模组位于与柜体正面垂直的位置或稍微偏离与柜体正面垂直的位置时才采集目标图像，使得柜体能够居中于目标图像，只需一张目标图像即可展现柜体中指定区域的所有货品，进而一次性获取柜体中指定区域的所有货品的相关信息，避免对柜体不同区域进行拍摄，大大节省上传目标图像流量和上传返回结果时间，且有利于减少采集到的图像的存储空间。又一方面，摄像模组能够尽可能准确的从货品的正面进行拍摄，使得目标图像中的货品更加贴合柜体中的实物，不仅方便用户直观了解目前货柜中货品的牌面情况，而且能够提高通过目标图像识别货品信息的准确度，能够为用户统计货品提供更加可靠的依据。

需要说明的是，货柜包括柜体、柜门和摄像模组。柜体具有开口，柜体内设置有货架，用户能够通过开口取放货品。柜门与柜体转动连接，柜门能够开启或关闭柜体的开口。摄像模组设于柜门，摄像模组被配置为拍摄柜体，具体地，摄像模组设于未与柜体转动连接的柜门高度方向的门框上，且处于门框中间区域，以便于完整拍摄柜体。

根据本发明提供的上述的货柜的控制方法，还可以具有以下附加技术特征：

在上述技术方案中，进一步地，还包括：基于柜门处于开启状态，控制摄像模组拍摄以得到柜体的预览图像；处理预览图像，确定柜体的至少一个特征点在预览图像中的位置信息；基于位置信息属于预设位置信息范围，确定摄像模组位于预设拍摄位置。

在该技术方案中，当检测到柜门开启，也即柜门的一侧具有远离柜体的运动趋势时，控制摄像模组开启，并按照预设时间间隔周期性采集柜体的预览图像。对预览图像进行图像识别处理，得到柜体的至少一个特征点在预览图像中的位置信息。比对位置信息和预设的位置信息范围，若位置信息属于预设位置信息范围内，判定摄像模组已经位于预设拍摄位置，并控制摄像模组停止拍摄预览图像。从而无需设置距离传感器或角运动传感器等组件，通过货柜本身设置的摄像模组，即可对摄像模组所处的位置进行判断，在保证能够准确识别货品信息的基础上，降低货柜成本。

具体地，特征点可根据货柜结构、用户需求合理设置，位置信息包括特征点在预览图像中的坐标信息，两个特征点之间的距离，一个特征点相对于另一特征点的位置关系等。

进一步地，在货柜未放置货品时，开启柜门以使摄像模组移动至预设拍摄位置，此时控制摄像模组对柜体进行拍摄，得到基准图像，对基准图像进行图形识别处理，利用基准图像中各个特征点的位置信息和预设误差，设置预设位置信息范围。

在上述任一技术方案中，进一步地，货柜的控制方法还包括：根据预设特征点和预设位置信息范围之间的对应关系，确定至少一个特征点中每一个特征点对应的预设位置信息范围。

在该技术方案中，在比对位置信息和预设的位置信息范围之前，先根据识别到的特征点调取对应的预设位置信息范围。具体地，处理器中预先设置了不同的预设特征点和预设位置信息范围之间的对应关系，预设特征点和预设位置信息范围一一对应，当通过预览图像识别到的特征点与预设特征点相同，则将预设特征点对应的预设位置信息范围作为用于与特征点进行比对的依据。从而利用预设特征点和预设位置信息范围之间的对应关系，能够得到至少一个特征点中每一个特征点对应的预设位置信息范围。进而为不同的特征点针对性的选择合适的预设位置信息范围，保障摄像模组所处的位置判断的准确性。

进一步地，当特征点为多个时，多个特征点中任一特征点属于其对应的预设位置信息范围时，即可判定摄像模组位于预设拍摄位置；或者，多个特征点中每一个特征点均属于其对应的预设位置信息范围时，判定摄像模组位于预设拍摄位置。

在上述任一技术方案中，进一步地，特征点包括以下至少一项：柜体内的光源、柜体内的货架、柜体的边框。

在该技术方案中，特征点尽可能选择柜体中不会被货品摆放影响的结构，从而避免因货品遮挡特征点或特征点位置变化导致的误判。具体地，特征点可以是柜体内的光源、柜体内的货架、柜体的边框等。

在上述任一技术方案中，进一步地，货柜的控制方法还包括：获取柜门的开度；基于开度属于预设开度范围，确定摄像模组位于预设拍摄位置。

在该技术方案中，对于摄像模组是否位于预设拍摄位置的判断方式，还可以利用柜门的开度。具体地，获取柜门的开度，比较开度和预设开度范围。若开度属于预设开度范围内，说明柜门上的摄像模组位于与柜体正面成垂直角度的位置，或者摄像模组水平移动到稍微偏离正面角度的位置，此时摄像模组的镜头拍摄的视场角正好满足清晰拍摄柜体内货品的条件，则确定摄像模组位于预设拍摄位置。从而简化摄像模组位置判定的逻辑，无需进行图像识别等操作，降低处理器运行压力，降低处理器对运算能力的需求。

在上述任一技术方案中，进一步地，根据目标图像，确定货柜中的货品信息，包括：识别目标图像中的货品特征；根据预设货品特征和预设货品信息之间的对应关系，确定货品特征对应的货品信息，其中，货品信息包括以下至少一项：种类、数量、尺寸、位置。

在该技术方案中，货柜的处理器内预存有图像识别模型和预设货品特征和预设货品信息之间的对应关系，利用该模型识别目标图像中的货品特征，结合预设货品特征和预设货品信息之间的对应关系，查找货品特征对应的货品信息。即使货柜处于离线状态同样能够实现货品信息的识别，不仅能够提高货品信息的识别效率，还能够降低货品信息的识别条件，扩大货柜的应用场景，而且还能节省上传所需的流量和时间，满足用户多方面的需求。其中，货品信息包括但不限于以下至少一项：种类、数量、尺寸、位置。

在上述任一技术方案中，进一步地，货柜能够与服务器通信连接；根据目标图像，确定货柜中的货品信息，包括：发送目标图像至服务器；接收服务器返回的货品信息。

在该技术方案中，在货柜与服务器通信连接的情况下，当采集到目标图像之后，将发送目标图像上传至云端服务器，以使服务器对目标图像进行处理，进而能通过服务器识别出目标图像中的货品信息，最后，服务器将货品信息返回至本地货柜。从而减轻处理器的负担，保证处理器高效、稳定运行，并且降低处理器对运算能力的需求，有利于降低货柜成本。

进一步地，在识别出货柜的货品信息之后，还可以将货品信息发送给与货柜通信连接的货柜管理员的终端上，以便于管理员实时监控货柜中货品的情况。

在上述任一技术方案中，进一步地，货柜还包括显示屏，控制方法还包括：控制显示屏显示货品信息。

在该技术方案中，在识别出货柜的货品信息之后，还可以通过显示屏将货品信息展示给用户，方便用户直观了解目前货柜中货品的情况，有利于用户对货品进行查找和清点，提升货柜的便捷性。

在上述任一技术方案中，进一步地，货柜包括门锁，控制方法还包括：响应于柜门的开启指令，识别货柜的检测区域内的验证信息；基于验证信息与权限信息相同，控制门锁开启。

在该技术方案中，柜门和柜体设置相适配的门锁，门锁用于控制柜门与柜体的开合。当用户想要开启柜门时，可向货柜下达柜门的开启指令。货柜响应于柜门的开启指令，启动对货柜的检测区域内的验证信息的识别操作。得到验证信息后，比较验证信息和权限信息，当验证信息和权限信息相同，说明该用户具备开启柜门的权限，此时，解锁门锁，以便于用户开启柜门取放货品。从而通过对用户验证信息的检测，对用户权限进行验证，进而提高货柜的安全性。

其中，所述验证信息包括但以下至少一种：身份信息、支付信息、手势信息。

在上述任一技术方案中，进一步地，货柜包括转动组件，转动组件用于转动摄像模组，识别货柜的检测区域内的验证信息，包括：控制转动组件运动，以使摄像模组的视场位于检测区域；控制摄像模组拍摄以得到检测区域的验证图像；识别验证图像中的验证信息。

在该技术方案中，货柜包括转动组件，转动组件与柜门连接，摄像模组的镜头安装在转动组件上，当转动组件运动，转动组件能够带动镜头转动。当需要采集用户的验证信息时，控制转动组件运动，以将摄像模组的视场调整至检测区域，此时利用摄像模组对检测区域进行拍摄，以采集检测区域的验证图像，通过对验证图像进行处理，确定验证图像中的验证信息。从而利用转动组件即可实现对摄像模组视场的调节，无需设置额外的针对检测区域的摄像模组，进一步节省货柜成本。

可以理解的是，但检测到门锁开启后，转动组件迅速恢复至初始位置，也即能够使摄像模组的视场朝向柜体的位置，以便于后续对柜体的目标图像进行采集。

根据本发明的第二方面，还提出了一种货柜，包括：柜体，具有开口；柜门，与柜体转动连接，柜门能够打开或关闭开口；摄像模组，设于柜门，摄像用于拍摄柜体；存储器，储存有程序或指令；处理器，与摄像模组电连接，处理器执行程序或指令时实现第一方面提出的货柜的控制方法。因此该货柜具备第一方面提出的货柜的控制方法的全部有益效果，为避免重复，不再过多赘述。

在上述任一技术方案中，进一步地，货柜还包括：显示屏，设于柜体或柜门，且与处理器电连接，显示屏用于显示货柜的货品信息。

在该技术方案中，货柜的柜体或柜门上还设置有显示屏，且显示屏位于柜体或柜门朝向用的一侧，以便于用户查看显示屏上显示的内容。当处理器获得到货柜的货品信息之后，还可以通过显示屏将货品信息展示给用户，方便用户直观了解目前货柜中货品的情况，有利于用户对货品进行查找和清点，提升货柜的便捷性。

在上述任一技术方案中，进一步地，货柜还包括：门锁，设于柜体和/或柜门，且与处理器电连接。

在该技术方案中，货柜的柜体和/或柜门上还设置有门锁，门锁用于控制柜门与柜体的开合，以对柜体内部空间进行保护，提高货柜安全性。

在上述任一技术方案中，进一步地，货柜还包括：转动组件，设于柜体，且与摄像模组连接，转动组件与处理器电连接，转动组件用于转动摄像模组。

在该技术方案中，货柜还包括转动组件。转动组件设置在柜体上，转动组件与摄像模组的镜头连接，转动组件运动能够带动镜头转动，从而调节摄像模组视场，进而提高摄像模组的拍摄灵活度，提升摄像模组的可应用个范围。

在上述任一技术方案中，进一步地，货柜还包括：角运动传感器，与处理器电连接，角运动传感器用于检测柜门的开度；和/或通信装置，与处理器电连接，通信装置用于建立货柜和服务器之间的通信连接以及货柜和终端之间的通信连接。

根据本发明的第三方面，提出了一种可读存储介质，其上存储有程序或指令，程序或指令被处理器执行时执行第一方面提出货柜的控制方法。因此该可读存储介质具备第一方面提出的货柜的控制方法的全部有益效果，为避免重复，不再过多赘述。

本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1示出了本发明一个实施例的货柜的控制方法的流程示意图之一；

图2示出了本发明一个实施例的货柜的控制方法的流程示意图之二；

图3示出了本发明一个实施例的货柜的控制方法的流程示意图之三；

图4示出了本发明一个实施例的货柜的控制方法的流程示意图之四；

图5示出了本发明一个实施例的货柜的控制方法的流程示意图之五；

图6示出了本发明一个实施例的货柜的控制方法的流程示意图之六；

图7示出了本发明一个实施例的货柜的控制方法的流程示意图之七；

图8示出了本发明一个实施例的货柜的控制方法的流程示意图之八；

图9示出了本发明一个实施例的货柜的控制方法的流程示意图之九；

图10示出了本发明一个实施例的货柜的主视图；

图11示出了图1所示实施例的货柜的俯视图。

其中，图10至图11中附图标记与部件名称之间的对应关系为：

100货柜，110柜体，120柜门，130摄像模组，140显示屏。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

下面参照图1至图11描述根据本发明一些实施例所述的货柜的控制方法、货柜和可读存储介质。

实施例1：

如图1所示，根据本发明第一方面的一个实施例，提出了一种货柜的控制方法，该方法包括：

步骤102，基于摄像模组位于预设拍摄位置，控制摄像模组拍摄以得到柜体的目标图像；

步骤104，根据目标图像，确定货柜中的货品信息。

在该实施例中，由于摄像模组设置在柜门上，当柜门开启，摄像模组能够跟随柜门移动，并逐渐远离柜体，摄像模组的拍摄方向也逐渐变化，从而利用一个摄像模组即可对货柜的柜体整体进行拍摄。

进一步地，当检测到摄像模组运动到预设的预设拍摄位置，此时，摄像模组位于与柜体正面(柜体开口所在的平面)成垂直角度的位置，也即摄像模组的拍摄方向为正面角度，或者摄像模组水平移动到稍微偏离正面角度的位置，说明摄像模组的镜头拍摄的视场角正好满足清晰拍摄柜体内货品的条件。则控制摄像模组对柜体进行拍摄，以得到柜体的目标图像，其中，目标图像能够显示出柜体指定区域内存放的所有货品。再通过对目标图像的处理，确定出货柜中货品的相关信息(货品信息)。一方面，将摄像模组设置在柜门上，使得摄像模组能够与柜体产生一定的距离，从而只需一个摄像模组即可自动对柜体整体进行拍摄，有效减少摄像模组的使用数量，大大降低摄像模组成本和人工成本。再一方面，由于在摄像模组位于与柜体正面垂直的位置或稍微偏离与柜体正面垂直的位置时才采集目标图像，使得柜体能够居中于目标图像，只需一张目标图像即可展现柜体中指定区域的所有货品，进而一次性获取柜体中指定区域的所有货品的相关信息，避免对柜体不同区域进行拍摄，大大节省上传目标图像流量和上传返回结果时间，且有利于减少采集到的图像的存储空间。又一方面，摄像模组能够尽可能准确的从货品的正面进行拍摄，使得目标图像中的货品更加贴合柜体中的实物，不仅方便用户直观了解目前货柜中货品的牌面情况，而且能够提高通过目标图像识别货品信息的准确度，能够为用户统计货品提供更加可靠的依据。

具体地，预设拍摄位置可以是一个区域，也可以是一个位置点，摄像模组位于预设拍摄位置时，摄像模组的镜头拍摄的视场角的范围为80°～100°，当摄像模组位于与柜体正面成垂直角度的位置时，摄像模组拍摄的视场角为90°(正面角度)。

需要说明的是，货柜包括柜体、柜门和摄像模组。柜体具有开口，柜体内设置有货架，用户能够通过开口取放货品。柜门与柜体转动连接，柜门能够开启或关闭柜体的开口。摄像模组设于柜门，摄像模组被配置为拍摄柜体，具体地，摄像模组设于未与柜体转动连接的柜门高度方向的门框上，且处于门框中间区域，以便于完整拍摄柜体。

值得一提的是，在获取目标图像之后，还可对目标图像进行去噪处理、对齐处理等预处理，以提高货品信息的识别准确度。

实施例2：

如图2所示，根据本发明的一个实施例，提出了一种货柜的控制方法，该方法包括：

步骤202，基于柜门处于开启状态，控制摄像模组拍摄以得到柜体的预览图像；

步骤204，处理预览图像，确定柜体的至少一个特征点在预览图像中的位置信息；

步骤206，位置信息是否属于预设位置信息范围，若是，进入步骤208，若否，进入步骤202；

步骤208，确定摄像模组位于预设拍摄位置，并控制摄像模组拍摄以得到柜体的目标图像；

步骤210，根据目标图像，确定货柜中的货品信息。

在该实施例中，当检测到柜门开启，也即柜门的一侧具有远离柜体的运动趋势时，控制摄像模组开启，并按照预设时间间隔周期性采集柜体的预览图像。对预览图像进行图像识别处理，得到柜体的至少一个特征点在预览图像中的位置信息。比对位置信息和预设的位置信息范围，若位置信息属于预设位置信息范围内，判定摄像模组已经位于预设拍摄位置，并控制摄像模组停止拍摄预览图像。从而无需设置距离传感器或角运动传感器等组件，通过货柜本身设置的摄像模组，即可对摄像模组所处的位置进行判断，在保证能够准确识别货品信息的基础上，降低货柜成本。

具体地，特征点可根据货柜结构、用户需求合理设置，位置信息包括特征点在预览图像中的坐标信息，两个特征点之间的距离，一个特征点相对于另一特征点的位置关系等。

值得一提的是，预览图像用于判断摄像模组是否达到预设拍摄位置，无需对预览图像进行存储，在获得当前采样时刻的预览图像后，即可将前一采样时刻的预览图像删除，大大节省图像的内存占用。而且，在拍摄预览画面时，可根据特征点执行对焦操作，以调整焦距，将焦点落在对特征点上，使对特征点成像清晰，从而提高位置信息的识别准确度，有利于准确判断摄像模组所处的位置。

进一步地，在货柜未放置货品时，开启柜门以使摄像模组移动至预设拍摄位置，此时控制摄像模组对柜体进行拍摄，得到基准图像，用户能够预先设置基准图像中的至少一个特征点，通过处理器对基准图像进行图形识别处理，并利用基准图像中各个特征点的位置信息和预设误差，设置预设位置信息范围。

此外，摄像模组在采集到预览图像之后，可将其投射到传感器上，然后预览图像被转换成电信号，电信号再经过模数转换变为数字信号，数字信号经过DSP(数字信号处理)加工处理，再被送到处理器中进行处理，最终输出至显示屏上，使得用户能够看见的实时预览画面，用户能够通过显示屏，在预览画面上选择用于进行摄像模组位置判断的特征点，处理器根据用户选择的特征点与预设位置信息范围进行比较，以确定摄像模组是否达到预设拍摄位置。

需要说明的是，特征点尽可能选择柜体中不会被货品摆放影响的结构，从而避免因货品遮挡特征点或特征点位置变化导致的误判。具体地，特征点可以是柜体内的光源、柜体内的货架、柜体的边框等。例如，特征点为柜体两侧安装的灯条，预览图像中的柜内灯条坐标位置处于图像居中且垂直于整个图像位置的时候，摄像模组正好正面垂直对着柜体内货品的拍摄位置，此时控制摄像模组采集目标图像。特征点为柜体的边框的左上端点和右上端点时，预览图像中的左上端点和右上端点的横坐标之差达到第一预设距离，且纵坐标小于第二预设距离时，确定摄像模组位于预设拍摄位置，此时控制摄像模组采集目标图像。

实施例3：

如图3所示，根据本发明的一个实施例，提出了一种货柜的控制方法，该方法包括：

步骤302，基于柜门处于开启状态，控制摄像模组拍摄以得到柜体的预览图像；

步骤304，处理预览图像，确定柜体的至少一个特征点在预览图像中的位置信息；

步骤306，根据预设特征点和预设位置信息范围之间的对应关系，确定至少一个特征点中每一个特征点对应的预设位置信息范围；

步骤308，位置信息是否属于预设位置信息范围，若是，进入步骤310，若否，进入步骤302；

步骤310，确定摄像模组位于预设拍摄位置，并控制摄像模组拍摄以得到柜体的目标图像；

步骤312，根据目标图像，确定货柜中的货品信息。

在该实施例中，在比对位置信息和预设的位置信息范围之前，先根据识别到的特征点调取对应的预设位置信息范围。具体地，处理器中预先设置了不同的预设特征点和预设位置信息范围之间的对应关系，预设特征点和预设位置信息范围一一对应，当通过预览图像识别到的特征点与预设特征点相同，则将预设特征点对应的预设位置信息范围作为用于与特征点进行比对的依据。从而利用预设特征点和预设位置信息范围之间的对应关系，能够得到至少一个特征点中每一个特征点对应的预设位置信息范围。进而为不同的特征点针对性的选择合适的预设位置信息范围，保障摄像模组所处的位置判断的准确性。

进一步地，当特征点为多个时，多个特征点中任一特征点属于其对应的预设位置信息范围时，即可判定摄像模组位于预设拍摄位置；或者，多个特征点中每一个特征点均属于其对应的预设位置信息范围时，判定摄像模组位于预设拍摄位置。

实施例4：

如图4所示，根据本发明的一个实施例，提出了一种货柜的控制方法，该方法包括：

步骤402，获取柜门的开度；

步骤404，开度属于预设开度范围，若是，进入步骤406，若否，进入步骤402；

步骤406，确定摄像模组位于预设拍摄位置；

步骤408，控制摄像模组拍摄以得到柜体的目标图像；

步骤410，根据目标图像，确定货柜中的货品信息。

在该实施例中，对于摄像模组是否位于预设拍摄位置的判断方式，还可以利用柜门的开度。具体地，获取柜门的开度，比较开度和预设开度范围。若开度属于预设开度范围内，说明柜门上的摄像模组位于与柜体正面成垂直角度的位置，或者摄像模组水平移动到稍微偏离正面角度的位置，此时摄像模组的镜头拍摄的视场角正好满足清晰拍摄柜体内货品的条件，则确定摄像模组位于预设拍摄位置。从而简化摄像模组位置判定的逻辑，无需进行图像识别等操作，降低处理器运行压力，降低处理器对运算能力的需求。

具体地，可以在货柜上设置有角运动传感器，例如，陀螺仪。通过角运动传感器检测柜门的开度。柜门的开度范围为0～100°，预设开度范围可根据货柜的尺寸合理设置，例如50°～70°，如图11所示，当柜门的开度α为60°时，摄像模组位于柜体的正前方，也即摄像模组位于与柜体正面成垂直角度的位置。

实施例5：

如图5所示，根据本发明的一个实施例，提出了一种货柜的控制方法，该方法包括：

步骤502，基于摄像模组位于预设拍摄位置，控制摄像模组拍摄以得到柜体的目标图像；

步骤504，识别目标图像中的货品特征；

步骤506，根据预设货品特征和预设货品信息之间的对应关系，确定货品特征对应的货品信息。

在该实施例中，货柜的处理器内预存有图像识别模型和预设货品特征和预设货品信息之间的对应关系，利用该模型识别目标图像中的货品特征，结合预设货品特征和预设货品信息之间的对应关系，查找货品特征对应的货品信息。即使货柜处于离线状态同样能够实现货品信息的识别，不仅能够提高货品信息的识别效率，还能够降低货品信息的识别条件，扩大货柜的应用场景，而且还能节省上传所需的流量和时间，满足用户多方面的需求。其中，货品信息包括但不限于以下至少一项：种类、数量、尺寸、位置。

例如，识别到货品特征包括高度和颜色，对应关系中记录高度小于预设高度且颜色为红色的货品为可乐，统计高度小于预设高度且颜色为红色的货品的数量即为可乐的数量。识别到货品特征包括货品底部至目标图像底边的放置距离，对应关系中记录放置距离小于第一预设距离为货品放置在货柜一层，放置距离小于第二预设距离，且大于第一预设距离为货品放置在货柜二层。

进一步地，当货柜为自动售货机时，当本次检测得到的货品数量相对于前一次监测得到了货品数量有所减少，说明该货品已出售，可根据货品的减少数量和货品种类对应的单价，计算前一次检测至本次检测的期间的销售额，以便于用户进行统计，提升用户的使用体验。

实施例6：

如图6所示，根据本发明的一个实施例，提出了一种货柜的控制方法，该方法包括：

步骤602，基于摄像模组位于预设拍摄位置，控制摄像模组拍摄以得到柜体的目标图像；

步骤604，发送目标图像至服务器；

步骤606，接收服务器返回的货品信息；

步骤608，控制显示屏显示货品信息。

在该实施例中，在货柜与服务器通信连接的情况下，当采集到目标图像之后，将发送目标图像上传至云端服务器，以使服务器对目标图像进行处理，进而能通过服务器识别出目标图像中的货品信息，最后，服务器将货品信息返回至本地货柜。从而减轻处理器的负担，保证处理器高效、稳定运行，并且降低处理器对运算能力的需求，有利于降低货柜成本。并且，在识别出货柜的货品信息之后，还可以通过显示屏将货品信息展示给用户，方便用户直观了解目前货柜中货品的情况，有利于用户对货品进行查找和清点，提升货柜的便捷性。

进一步地，在识别出货柜的货品信息之后，还可以将货品信息发送给与货柜通信连接的货柜管理员的终端上，以便于管理员实时监控货柜中货品的情况。

可以理解的是，根据显示屏上显示的货品信息的类型，自动调节显示屏的显示亮度。从而区分不同的货品信息，并进行针对性的突出显示，从而便于用户快速感知较为关键的货品信息。例如，显示屏上显示的货品数量的信息相较于货品尺寸信息可适当调亮。

实施例7：

如图7所示，根据本发明的一个实施例，提出了一种货柜的控制方法，该方法包括：

步骤702，响应于柜门的开启指令，识别货柜的检测区域内的验证信息；

步骤704，验证信息是否与权限信息相同，若是，进入步骤706，若否，进入步骤718；

步骤706，控制门锁开启；

步骤708，控制摄像模组拍摄以得到柜体的预览图像；

步骤710，处理预览图像，确定柜体的至少一个特征点在预览图像中的位置信息；

步骤712，位置信息是否属于预设位置信息范围，若是，进入步骤714，若否，进入步骤708；

步骤714，确定摄像模组位于预设拍摄位置，并控制摄像模组拍摄以得到柜体的目标图像；

步骤716，根据目标图像，确定并显示货柜中的货品信息；

步骤718，输出开门失败的提示信息。

在该实施例中，柜门和柜体设置相适配的门锁，门锁用于控制柜门与柜体的开合。当用户想要开启柜门时，可向货柜下达柜门的开启指令。货柜响应于柜门的开启指令，启动对货柜的检测区域内的验证信息的识别操作。得到验证信息后，比较验证信息和权限信息，当验证信息和权限信息相同，说明该用户具备开启柜门的权限，此时，解锁门锁，以便于用户开启柜门取放货品。从而通过对用户验证信息的检测，对用户权限进行验证，进而提高货柜的安全性。

其中，所述验证信息包括但以下至少一种：身份信息、支付信息、手势信息，身份信息包括人脸信息、指纹信息或二维码信息等。例如，通过身份信息验证用户是否进行了有效身份注册，进而区分货柜管理员和顾客，只有管理员具备开启柜门的权限，具体地，用户可通过智能终端扫描货柜上的二维码，以触发柜门的开启指令。智能终端如智能手机、平板电脑、智能手表等。还可以通过第三方信用平台查询用户的信用，或者是否通过售货柜平台查询用户是否有充值余额等方式判断用户的验证信息是否满足权限信息。

进一步地，货柜还能实时检测门锁的开关状态及用户是否正常打开或者关闭的柜门。当柜门的开度却由大变为0，也即用户的关门操作，但门锁仍处于开启状态，则判定无法正常关闭柜门，此时向货柜的管理员发送警告信息，以及时提醒管理员进行维修，进而有利于防止货品丢失。

具体地，检测区域的位置可根据实际需求合理设置，例如，可以是货柜正面的区域，亦可以是显示屏四周的区域。

实施例8：

如图8所示，根据本发明的一个实施例，提出了一种货柜的控制方法，该方法包括：

步骤802，响应于柜门的开启指令，控制转动组件运动，以使摄像模组的视场位于检测区域；

步骤804，控制摄像模组拍摄以得到检测区域的验证图像；

步骤806，识别验证图像中的验证信息；

步骤808，验证信息是否与权限信息相同，若是，进入步骤810，若否，进入步骤822；

步骤810，控制门锁开启；

步骤812，控制摄像模组拍摄以得到柜体的预览图像；

步骤814，处理预览图像，确定柜体的至少一个特征点在预览图像中的位置信息；

步骤816，位置信息是否属于预设位置信息范围，若是，进入步骤818，若否，进入步骤812；

步骤818，确定摄像模组位于预设拍摄位置，并控制摄像模组拍摄以得到柜体的目标图像；

步骤820，根据目标图像，确定并显示货柜中的货品信息；

步骤822，输出开门失败的提示信息。

在该实施例中，货柜包括转动组件，转动组件与柜门连接，摄像模组的镜头安装在转动组件上，当转动组件运动，转动组件能够带动镜头转动。当需要采集用户的验证信息时，控制转动组件运动，以将摄像模组的视场调整至检测区域，此时利用摄像模组对检测区域进行拍摄，以采集检测区域的验证图像，通过对验证图像进行处理，确定验证图像中的验证信息。从而利用转动组件即可实现对摄像模组视场的调节，无需设置额外的针对检测区域的摄像模组，进一步节省货柜成本。

可以理解的是，但检测到门锁开启后，转动组件迅速恢复至初始位置，也即能够使摄像模组的视场朝向柜体的位置，以便于后续对柜体的目标图像进行采集。

实施例9：

如图9所示，根据本发明的一个具体实施例，提出了一种货柜的控制方法包括：

步骤902，基于检测到开门信号，相机启动；

步骤904，检测灯条坐标位置；

步骤906，当灯条坐标位置处于画面居中，且垂直于整个画面位置，抓取关键帧的目标图像；

步骤908，将目标图像上传服务器识别；

步骤910，返回识别结果；

步骤912，将识别结果显示在货柜显示屏上；

步骤914，将识别结果显示在货柜后台上。

在该实施例中，利用展示货柜门上的单个识别相机(摄像模组)。当货柜开门后，主控检测到开门信号，启动门边框内部相机预览，当相机检测到门开到一定角度的时候，相机预览图像中的柜体内部灯条坐标位置处于画面居中，且垂直于整个画面位置的时候，相机正好正面垂直对着柜体内商品拍摄位置，这时候相机启动拍照抓取识别的一张关键帧的目标图像，上传云端服务器进行算法处理，算法处理时候后返回结果在本地，可以在显示屏显示出结果(货品信息)，也可以在货柜后台(管理者终端)显示结果数据。从而能够减少摄像模组使用数量的同时大大降低相机成本和人力成本。由于抓取关键帧只有一张图像，大大节省流量和上传返回结果时间。货柜显示屏能够展示显示牌面识别结果，方便向用户展示。而且关键帧的目标图像能够抓取整机居中图片，方便客户直观了解目前货柜牌面情况。

实施例10：

如图10和图11所示，根据本发明第二方面的实施例，提出了一种货柜100，包括：柜体110、柜门120、摄像模组130、存储器(图中未示出)和处理器(图中未示出)。

详细地，柜体110具有开口，柜体110内设置有货架，用户能够通过开口取放货品。柜门120与柜体110转动连接，柜门120能够开启或关闭柜体110的开口。摄像模组130设于柜门120，摄像模组130被配置为拍摄柜体110。存储器，储存有程序或指令；处理器，与摄像模组130电连接，处理器执行程序或指令时实现第一方面实施例提出的货柜100的控制方法。

在该实施例中，处理器能够在摄像模组130位于预设拍摄位置的情况下，控制摄像模组130对柜体110进行拍摄，以得到柜体110的目标图像，其中，目标图像能够显示出柜体110指定区域内存放的所有货品。再通过对目标图像的处理，确定出货柜100中货品的相关信息(货品信息)。一方面，将摄像模组130设置在柜门120上，使得摄像模组130能够与柜体110产生一定的距离，从而只需一个摄像模组130即可自动对柜体110整体进行拍摄，有效减少摄像模组130的使用数量，大大降低摄像模组130成本和人工成本。再一方面，由于在摄像模组130位于与柜体110正面垂直的位置或稍微偏离与柜体110正面垂直的位置时才采集目标图像，使得柜体110能够居中于目标图像，只需一张目标图像即可展现柜体110中指定区域的所有货品，进而一次性获取柜体110中指定区域的所有货品的相关信息，避免对柜体110不同区域进行拍摄，大大节省上传目标图像流量和上传返回结果时间，且有利于减少采集到的图像的存储空间。又一方面，摄像模组130能够尽可能准确的从货品的正面进行拍摄，使得目标图像中的货品更加贴合柜体110中的实物，不仅方便用户直观了解目前货柜100中货品的牌面情况，而且能够提高通过目标图像识别货品信息的准确度，能够为用户统计货品提供更加可靠的依据。

具体地，摄像模组130设于未与柜体110转动连接的柜门120高度方向的门框上，且处于门框中间区域，以便于完整拍摄柜体110。

实施例11：

如图10所示，根据本发明的一个实施例，包括上述实施例限定的特征，以及进一步地：货柜100还包括显示屏140和门锁(图中未示出)。

详细地，显示屏140，设于柜体110且与处理器电连接，显示屏140用于显示货柜100的货品信息。门锁设于柜体110和/或柜门120，且与处理器电连接。

在该实施例中，货柜100的柜体110上还设置有显示屏140，且显示屏140位于柜体110朝向用的一侧，以便于用户查看显示屏140上显示的内容。当处理器获得到货柜100的货品信息之后，还可以通过显示屏140将货品信息展示给用户，方便用户直观了解目前货柜100中货品的情况，有利于用户对货品进行查找和清点，提升货柜100的便捷性。

进一步地，货柜100的柜体110和/或柜门120上还设置有门锁，门锁用于控制柜门120与柜体110的开合，以对柜体110内部空间进行保护，提高货柜100安全性。

具体地，当用户想要开启柜门120时，可向货柜100下达柜门120的开启指令。货柜100响应于柜门120的开启指令，启动对货柜100的检测区域内的验证信息的识别操作。得到验证信息后，比较验证信息和权限信息，当验证信息和权限信息相同，说明该用户具备开启柜门120的权限，此时，解锁门锁，以便于用户开启柜门120取放货品。从而通过对用户验证信息的检测，对用户开门的权限进行验证，从而防止无关人员随意开启货柜100，有效防止货柜100内的货品丢失。

实施例12：

根据本发明的一个实施例，包括上述任一实施例限定的特征，以及进一步地：货柜还包括转动组件。

详细地，转动组件设于柜体，且与摄像模组连接。转动组件与处理器电连接，转动组件用于转动摄像模组。

在该实施例中，转动组件设置在柜体上，转动组件与摄像模组的镜头连接，转动组件运动能够带动镜头转动，从而调节摄像模组视场，进而提高摄像模组的拍摄灵活度，提升摄像模组的可应用个范围。

具体地，当需要采集用户的验证信息时，控制转动组件运动，以将摄像模组的视场调整至检测区域，此时利用摄像模组对检测区域进行拍摄，以采集检测区域的验证图像，处理器通过对验证图像进行处理，确定验证图像中的验证信息。从而无需设置额外的针对检测区域的摄像模组，进一步节省货柜成本。

当然，在摄像模组设置在柜门的门框上时，还可通过转动组件使镜头偏离门框与柜体之间的位置，避免摄像模组阻碍柜门关闭。

实施例13：

根据本发明的一个实施例，包括上述任一实施例限定的特征，以及进一步地：货柜还包括角运动传感器和通信装置。

详细地，角运动传感器与处理器电连接，角运动传感器用于检测柜门的开度。通信装置与处理器电连接，通信装置用于建立货柜和服务器之间的通信连接以及货柜和终端之间的通信连接。

在该实施例中，利用角运动传感器能够对柜门的开度进行检测，当处理器检测到门体的开度属于预设开度范围内，说明柜门上的摄像模组位于与柜体正面成垂直角度的位置，或者摄像模组水平移动到稍微偏离正面角度的位置，此时摄像模组的镜头拍摄的视场角正好满足清晰拍摄柜体内货品的条件，则确定摄像模组位于预设拍摄位置，进而可控制摄像模组采集能够体现柜体整体的目标图像，以便于准确识别货柜的货品信息。

进一步地，通过通信装置可使货柜接入网络，以便于发送目标图像至服务器进行图像识别，还能够将识别到的货品信息发送至货柜管理者的终端，实现了货柜的远程监控。

实施例14：

根据本发明第三方面的实施例，提出了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时执行第一方面提出的货柜的控制方法。因此该计算机可读存储介质具备第一方面提出的货柜的控制方法的全部有益效果，在此不再赘述。

在本发明中，术语“多个”则指两个或两个以上，除非另有明确的限定。术语“安装”、“相连”、“连接”、“固定”等均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；“相连”可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种货柜的控制方法，其特征在于，所述货柜包括柜体、柜门、摄像模组，所述摄像模组设于所述柜门，所述摄像模组用于拍摄所述柜体，所述控制方法包括：

基于所述摄像模组位于预设拍摄位置，控制所述摄像模组拍摄以得到所述柜体的目标图像；

根据所述目标图像，确定所述货柜中的货品信息。

2.根据权利要求1所述的货柜的控制方法，其特征在于，还包括：

基于所述柜门处于开启状态，控制所述摄像模组拍摄以得到所述柜体的预览图像；

处理所述预览图像，确定所述柜体的至少一个特征点在所述预览图像中的位置信息；

基于所述位置信息属于预设位置信息范围，确定所述摄像模组位于所述预设拍摄位置。

3.根据权利要求2所述的货柜的控制方法，其特征在于，还包括：

根据预设特征点和所述预设位置信息范围之间的对应关系，确定至少一个特征点中每一个特征点对应的所述预设位置信息范围。

4.根据权利要求2所述的货柜的控制方法，其特征在于，

所述特征点包括以下至少一项：所述柜体内的光源、所述柜体内的货架、所述柜体的边框。

5.根据权利要求1所述的货柜的控制方法，其特征在于，还包括：

获取所述柜门的开度；

基于所述开度属于预设开度范围，确定所述摄像模组位于所述预设拍摄位置。

6.根据权利要求1所述的货柜的控制方法，其特征在于，所述根据所述目标图像，确定所述货柜中的货品信息，包括：

识别所述目标图像中的货品特征；

根据预设货品特征和预设货品信息之间的对应关系，确定所述货品特征对应的所述货品信息，

其中，所述货品信息包括以下至少一项：种类、数量、尺寸、位置。

7.根据权利要求1所述的货柜的控制方法，其特征在于，所述货柜能够与服务器通信连接；所述根据所述目标图像，确定所述货柜中的货品信息，包括：

发送所述目标图像至所述服务器；

接收所述服务器返回的所述货品信息。

8.根据权利要求1至7中任一项所述的货柜的控制方法，其特征在于，所述货柜还包括显示屏，所述控制方法还包括：

控制所述显示屏显示所述货品信息。

9.根据权利要求1至7中任一项所述的货柜的控制方法，其特征在于，所述货柜包括门锁，所述控制方法还包括：

响应于所述柜门的开启指令，识别所述货柜的检测区域内的验证信息；

基于所述验证信息与权限信息相同，控制所述门锁开启。

10.根据权利要求9所述的货柜的控制方法，其特征在于，所述货柜包括转动组件，所述转动组件用于转动所述摄像模组，所述识别所述货柜的检测区域内的验证信息，包括：

控制所述转动组件运动，以使摄像模组的视场位于所述检测区域；

控制所述摄像模组拍摄以得到所述检测区域的验证图像；

识别所述验证图像中的验证信息。

11.一种货柜，其特征在于，包括：

柜体；

柜门，与所述柜体转动连接；

摄像模组，设于所述柜门，所述摄像用于拍摄所述柜体；

存储器，储存有程序或指令；

处理器，与所述摄像模组电连接，所述处理器执行所述程序或所述指令时实现如权利要求1至10中任一项所述的货柜的控制方法。

12.根据权利要求11所述的货柜，其特征在于，还包括：

显示屏，设于所述柜体或所述柜门，且与所述处理器电连接，所述显示屏用于显示所述货柜的货品信息。

13.根据权利要求11所述的货柜，其特征在于，还包括：

门锁，设于所述柜体和/或所述柜门，所述门锁与所述处理器电连接。

14.根据权利要求11所述的货柜，其特征在于，还包括：

转动组件，设于所述柜体，且与所述摄像模组连接，所述转动组件与所述处理器电连接，所述转动组件用于转动所述摄像模组。

15.一种可读存储介质，其上存储有程序或指令，其特征在于，所述程序或所述指令被处理器执行时执行如权利要求1至10中任一项所述的货柜的控制方法。

Images