CN110418051A - 用于智能冰箱的图像处理装置、智能冰箱和智能头盔 - Google Patents

Abstract

本申请实施例公开了图像处理装置，包括：第一球形摄像头，设于冰箱箱体的内壁上，视野容纳冰箱门上所有物品，基于第一控制指令转动和/或拍摄图像；第二摄像头，设于冰箱门的内壁上，视野容纳冰箱箱体内所有物品，基于第二控制指令转动和/或拍摄图像；检测组件，检测冰箱门的开闭状态，并将检测的状态信号发送至控制中心；控制中心，响应于状态信号指示冰箱门在关闭过程中停留并且停留角度符合全景拍摄角度，向第一球形摄像头发送第一控制指令，并向第二球形摄像头发送第二控制指令，以及响应于所拍摄的待拼接图像均拍摄完整，确定已标记物品的全景图。该实施例降低了智能冰箱采集全景图像的成本，提高了智能冰箱的图像识别率。

Description

用于智能冰箱的图像处理装置、智能冰箱和智能头盔

技术领域

本申请涉及物流技术领域，具体涉及物流自动化技术领域，尤其涉及用于智能冰箱的图像处理装置、智能冰箱和智能头盔。

背景技术

随着物联网和各种传感器应用技术的高速发展，智能冰箱逐渐走进了人们的生活。目前智能冰箱的智能性大多集中在食物图像识别、在线购物、食物管理和大屏幕应用等方面。其中，图像识别是智能冰箱智能化的最重要功能之一。

目前市面上的智能冰箱，其摄像设备采用固定位置和固定视角的摄像头，通过采用多个摄像头来拓宽拍摄范围，以便尽可能拍到冰箱内各个位置放置的食材。

发明内容

本申请实施例的目的在于提出一种用于智能冰箱的图像处理装置、智能冰箱和智能头盔。

第一方面，本申请实施例提供了一种用于智能冰箱的图像处理装置，图像处理装置包括：第一球形摄像头，设于冰箱箱体的内壁上，视野容纳冰箱门上所有物品，接收控制中心的第一控制指令，根据第一控制指令转动和/或拍摄图像，并将转动结果和/或拍摄的图像发送至控制中心，拍摄的图像包括第一全景图像的待拼接图像；第二球形摄像头，设于冰箱门的内壁上，视野容纳冰箱箱体内所有物品，接收控制中心的第二控制指令，根据第二控制指令转动和/或拍摄图像，并将转动结果和/或拍摄的图像发送至控制中心，拍摄的图像包括第二全景图像的待拼接图像；检测组件，被配置成检测冰箱门的开闭状态，并将检测的状态信号发送至控制中心；控制中心，响应于状态信号指示冰箱门在关闭过程中停留并且停留角度符合全景拍摄角度，向第一球形摄像头发送第一控制指令，并向第二球形摄像头发送第二控制指令，以及基于均拍摄完整的第一全景图像的待拼接图像和第二全景图像的待拼接图像，在本地或云端服务器确定已标记物品的全景图。

在一些实施例中，控制中心进一步被配置成：响应于状态信号指示冰箱门在关闭过程中停留且停留角度符合全景拍摄角度，经由第一控制指令指示第一球形摄像头拍摄第一定位图像；根据第一定位图像，经由第一控制指令调整第一摄像头的视角，使得第一摄像头所拍摄的物品位于第一摄像头所拍摄的图像的预定位置；以及经由第二控制指令指示第二球形摄像头拍摄第二定位图像；根据第二定位图像，经由第二控制指令调整第二摄像头的视角，使得第二摄像头所拍摄的物品位于第二摄像头所拍摄的图像的预设位置。

在一些实施例中，控制中心进一步被配置成：经由第一控制指令，指示第一球形摄像头由预定位置向左旋转至视野中出现冰箱门的左边缘，从左向右旋转并持续拍摄图像直至拍摄到冰箱门的右边缘，回复至预定位置，由预定位置向上旋转至视野中出现冰箱门的上边缘，由上向下旋转并持续拍摄图像直至拍摄到冰箱门的下边缘，得到第一全景图像的待拼接图像；以及经由第二控制指令，指示第二球形摄像头由预设位置向左旋转至视野中出现冰箱箱体的左边缘，从左向右旋转并持续拍摄图像直至拍摄到冰箱箱体的右边缘，回复至预设位置，由预设位置向上旋转至视野中出现冰箱箱体上的上边缘，由上向下旋转并持续拍摄图像直至拍摄到冰箱箱体的下边缘，得到第二全景图像的待拼接图像。

在一些实施例中，图像处理装置还包括：云端服务器，被配置成接收第一全景图像的待拼接图像和第二全景图像的待拼接图像，拼接所接收的待拼接图像，得到包含冰箱内所有物品的全景图，识别并标记全景图中的物品，得到已标记物品的全景图。

在一些实施例中，云端服务器进一步被配置成：将已标记物品的全景图下发至控制中心。

在一些实施例中，控制中心进一步被配置成：响应于状态信号指示冰箱门在关闭过程中且当前角度符合定点拍摄角度，指示第一球形摄像头旋转至默认位置并拍摄第一定点图像，指示第二球形摄像头旋转至预置位置并拍摄第二定点图像，响应于冰箱门关闭且第一全景图像的待拼接图像或第二全景图像的待拼接图像未拍摄完整，将第一定点图像和第二定点图像上传至云端服务器。

在一些实施例中，云端服务器进一步被配置成：接收第一定点图像和第二定点图像，分别识别并标记第一定点图像和第二定点图像中的物品，得到已标记物品的第一定点图像和已标记物品的第二定点图像。

在一些实施例中，云端服务器进一步被配置成：将已标记物品的第一定点图像和已标记物品的第二定点图像下发至控制中心。

第二方面，本申请实施例提供了一种智能冰箱，包括：如上述任意一项实施例的用于智能冰箱的图像处理装置。

第三方面，本申请实施例提供了一种用于如上述实施例的智能冰箱的智能头盔，包括：陀螺仪，被配置成检测用户的头部动作，将检测的头部动作信息发送至智能芯片；智能芯片，被配置成从智能冰箱中读取以下至少一项：已标记物品的全景图、已标记物品的第一定点图像以及已标记物品的第二定点图像；基于读取的图像，确定对应头部动作信息的虚拟图像，将虚拟图像发送至显示组件；显示组件，被配置成向用户呈现虚拟图像。

本申请上述实施例提供的用于智能冰箱的图像处理装置、智能冰箱和智能头盔，通过在图像处理装置中设置第一球形摄像头，设于冰箱箱体的内壁上，视野容纳冰箱门上所有物品，接收控制中心的第一控制指令，根据第一控制指令转动和/或拍摄图像，并将转动结果和/或拍摄的第一全景图像的待拼接图像发送至控制中心；设置第二摄像头，设于冰箱门的内壁上，视野容纳冰箱箱体内所有物品，接收控制中心的第二控制指令，根据第二控制指令转动和/或拍摄图像，并将转动结果和/或拍摄的第二全景图像的待拼接图像发送至控制中心；设置检测组件，被配置成检测冰箱门的开闭状态，并将检测的状态信号发送至控制中心；以及设置控制中心，响应于状态信号指示冰箱门在关闭过程中停留并且停留角度符合全景拍摄角度，向第一球形摄像头发送第一控制指令，并向第二球形摄像头发送第二控制指令，以及基于均拍摄完整的第一全景图像的待拼接图像和第二全景图像的待拼接图像，在本地或云端服务器确定已标记物品的全景图，减少了拍照所用的摄像头，降低了智能冰箱采集全景图像的成本，并且由于全景图像减少了拍照死角，因此提高了智能冰箱的图像识别率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出了根据本申请实施例的用于智能冰箱的图像处理装置的一个实施例的示例性结构图；

图2示出了根据本申请实施例的用于智能冰箱的图像处理装置的另一个实施例的示例性结构图；

图3示出了根据本申请实施例的用于智能冰箱的图像处理装置的示例性应用场景；

图4示出了根据本申请实施例的用于智能冰箱的智能头盔的示例性结构图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。本领域技术人员还将理解的是，虽然本文中可使用用语“第一”、“第二”等来描述各种球形摄像头、控制指令、定位图像、全景图像、定点图像、拍摄位置等，但是这些球形摄像头、控制指令、定位图像、全景图像、定点图像、拍摄位置不应被这些用语限制。这些用语仅用于将一个球形摄像头、控制指令、定位图像、全景图像、定点图像与其它球形摄像头、控制指令、定位图像、全景图像、定点图像、拍摄位置区分开。

如图1所示，本申请实施例的用于智能冰箱的图像处理装置100包括：第一球形摄像头110、第二球形摄像头120、检测组件130和控制中心140。

其中，第一球形摄像头110，设于冰箱箱体的内壁上，视野容纳冰箱门上所有物品，接收控制中心的第一控制指令，根据第一控制指令转动和/或拍摄图像，并将转动结果和/或拍摄的图像发送至控制中心，拍摄的图像包括第一全景图像的待拼接图像。第二球形摄像头120，设于冰箱门的内壁上，视野容纳冰箱箱体内所有物品，接收控制中心的第二控制指令，根据第二控制指令转动和/或拍摄图像，并将转动结果和/或拍摄的图像发送至控制中心，拍摄的图像包括第二全景图像的待拼接图像。检测组件130，被配置成检测冰箱门的开闭状态，并将检测的状态信号发送至控制中心。控制中心140，响应于状态信号指示冰箱门在关闭过程中停留并且停留角度符合全景拍摄角度，向第一球形摄像头发送第一控制指令，并向第二球形摄像头发送第二控制指令，以及基于均拍摄完整的第一全景图像的待拼接图像和第二全景图像的待拼接图像，在本地或云端服务器确定已标记物品的全景图。

在本实施例中，第一球形摄像头110的视角至少在相互垂直的两个方向具有自由度。第一球形摄像头110的设置位置，可以为冰箱箱体的内壁上能够使得第一球形摄像头的视野容纳冰箱门上的所有物品的位置。例如，第一球形摄像头可以设置于以下任一位置：通过支架吊于冰箱箱体的顶部边沿；通过支架固定在冰箱箱体远离冰箱门转轴的一侧的侧壁边沿；嵌入冰箱箱体的顶部边沿；以及嵌入冰箱箱体的侧壁边沿。第一球形摄像头可以根据控制中心的第一控制指令转动和/或拍摄第一全景图像的待拼接图像，并将拍摄的图像发送至控制中心。这里的第一控制指令，是指用于控制第一球形摄像头的指令，可以为单个指令，也可以为多个指令。

第二球形摄像头120的视角至少在相互垂直的两个方向具有自由度。可以设于冰箱门的内壁上能够使得第二球形摄像头的视野容纳冰箱箱体内所有物品的位置。例如，第二球形摄像头可以设置于以下任一位置：采用支架固定于冰箱门的顶部，采用支架固定于冰箱门的底部，采用支架固定于冰箱门的任一侧边，以及嵌入冰箱门上的置物盒中。第二球形摄像头可以根据控制中心的第二控制指令转动和/或拍摄第二全景图像的待拼接图像，并将拍摄的图像发送至控制中心。这里的第二控制指令，是指用于控制第二球形摄像头的指令，可以为单个指令，也可以为多个指令。

检测组件130，可以采用测量仪器来测量冰箱门与冰箱的相对位置，以便后续根据该相对位置来确定冰箱门的状态为处于关闭状态、打开并停留于某一状态、打开运动过程中还是关闭运动过程中。这里的测量仪器，可以为现有技术或未来发展的技术中能够测量冰箱门与冰箱的相对位置的测量仪器，本申请对此不作限定。例如，这里的测量仪器可以为位移传感器，包括：将感应到的距离改变信号转换为电信号的直线位移传感器，或者将感应到的角度改变信号转换为电信号的角度位移传感器。

控制中心140，可以采用CPU处理器、FPGA处理器、DSP处理器、ARM处理器或其它控制芯片来实现。控制中心可以根据检测组件检测到的相对位置，来确定冰箱门的开闭状态，之后，基于该开闭状态，控制第一球形摄像头和第二球形摄像头这两者的运动和/或拍摄。

具体地，控制中心若判断出冰箱门的开闭状态信号指示冰箱门在关闭过程中停留，停留的角度符合全景拍摄角度，那么控制中心可以进一步判断第一球形摄像头和第二球形摄像头是否位于拍摄所需要的位置。例如，可以安装对于摄像头方位进行监测的监测组件，监测摄像头的视角是否对准需要被拍摄的物品区域。又例如，可以根据当前摄像头所拍摄的物品所在的区域，来调整各个摄像头的视角。

若第一球形摄像头和第二球形摄像头位于拍摄所需要的位置，可以直接拍摄冰箱箱体和冰箱门上的图像。

若第一球形摄像头和第二球形摄像头不位于拍摄所需要的位置，可以首先经由第一控制指令中的摄像头调整指令，指示第一球形摄像头调节至拍摄过程中所需要的位置；以及经由第二控制指令中的摄像头调整指令，指示第二球形摄像头调节至拍摄过程中所需要的位置。之后，经由第一控制指令中的旋转拍摄指令，指示第一球形摄像头拍摄上述冰箱门的第一全景图像的待拼接图像；经由第二控制指令中的旋转拍摄指令，指示第二球形摄像头拍摄上述冰箱箱体的第二全景图像的待拼接图像。

这里的拍摄所需要的位置，为预先设定的第一球形摄像头和第二球形摄像头可以直接进行拍摄的位置。例如，第一球形摄像头直接进行拍摄的位置可以为所拍摄的食材在图像的中心区域内时第一摄像头所在的位置，或者所拍摄的定位目标位于图像的中间位置时第一摄像头所在的位置；同理，第二球形摄像头直接进行拍摄的位置也可以为所拍摄的食材在图像的中心区域内时第二球形摄像头所在的位置，或者所拍摄的定位目标位于图像的中间位置时第二球形摄像头所在的位置。

在接收到第一全景图像的待拼接图像和第二全景图像的待拼接图像之后，控制中心可以判断这两张待拼接图像是否均拍摄完整，若是，则可以对这些图像进行后续处理。例如，在本地或云端拼接图像并识别和标记图像中的物品，以得到标记所有物品的全景图像。这里的拍摄完整，是指第一球形摄像头和第二球形摄像头分别按照第一控制指令中的旋转拍摄指令和第二控制指令中的旋转拍摄指令拍摄完毕，并将拍摄的照片存储于本地。

本申请的上述实施例提供的用于智能冰箱的图像处理装置，通过在冰箱箱体的内壁和冰箱门的内壁上分别设置视野可以容纳所有被拍摄对象的球形摄像头，来采集冰箱内所有物品的全景图像，以期后续进行图像的拼接、识别和标记，得到已标记冰箱内所有物品的全景图，从而实现后续实现智能冰箱的展示和控制，这一过程中由于减少了拍照所用的摄像头，降低了智能冰箱采集全景图像的成本，并且由于全景图像减少了拍照死角，因此提高了智能冰箱的图像识别率。

以下结合图2，对本申请实施例的用于智能冰箱的图像处理装置的另一个实施例进行描述。

如图2所示，用于智能冰箱的图像处理装置200包括：第一球形摄像头210、第二球形摄像头220、检测组件230、控制中心240和云端服务器250。

第一球形摄像头210，设于冰箱箱体的内壁上，视野容纳冰箱门上所有物品，连接控制中心以响应于第一控制指令中的定位拍摄指令，拍摄定位图像并将定位图像发送至控制中心，以及响应于第一控制指令中的视角调整指令调整第一球形摄像头使得第一摄像头所拍摄的物品位于第一摄像头所拍摄的图像的预定位置，响应于第一控制指令中的旋转拍摄指令，由预定位置向左旋转至视野中出现冰箱门的左边缘，从左向右旋转并持续拍摄图像直至拍摄到冰箱门的右边缘，回复至预定位置，由预定位置向上旋转至视野中出现冰箱门的上边缘，由上向下旋转并持续拍摄图像直至拍摄到冰箱门的下边缘，得到第一全景图像的待拼接图像，并将转动结果和/或拍摄的第一全景图像的待拼接图像发送至控制中心。

在本实施例中，第一球形摄像头110的视角至少在相互垂直的两个方向具有自由度。第一球形摄像头110的设置位置，可以为冰箱箱体的内壁上能够使得第一球形摄像头的视野容纳冰箱门上的所有物品的位置。例如，第一球形摄像头可以设置于以下任一位置：通过支架吊于冰箱箱体的顶部边沿；通过支架固定在冰箱箱体远离冰箱门转轴的一侧的侧壁边沿；嵌入冰箱箱体的顶部边沿；以及嵌入冰箱箱体的侧壁边沿。

与图2中的实施例不同的是，第一球形摄像头可以响应于第一控制指令中的定位拍摄指令，拍摄第一定位图像；响应于第一控制指令中的视角调整指令，对第一摄像头的拍摄视角进行调整，以便达到较好的拍摄视角。另外，响应于第一控制指令中的旋转拍摄指令，旋转拍摄过程为从左至右以及从上至下旋转拍摄。这一过程中，第一摄像头所拍摄得到的图像集合，即为第一全景图像的待拼接图像。之后，第一球形摄像头将其所拍摄的图像发送至控制中心。

第二球形摄像头220，设于冰箱门的内壁上，视野容纳冰箱箱体内所有物品，连接控制中心以响应于第二控制指令中的定位拍摄指令，拍摄定位图像并将定位图像发送至控制中心，以及响应于第二控制指令中的视角调整指令调整第二球形摄像头使得第二摄像头所拍摄的物品位于第二摄像头所拍摄的图像的预定位置，响应于第二控制指令中的旋转拍摄指令，由预设位置向左旋转至视野中出现冰箱箱体的左边缘，从左向右旋转并持续拍摄图像直至拍摄到冰箱箱体的右边缘，回复至预设位置，由预设位置向上旋转至视野中出现冰箱箱体上的上边缘，由上向下旋转并持续拍摄图像直至拍摄到冰箱箱体的下边缘，得到第二全景图像的待拼接图像，并将转动结果和/或拍摄的第二全景图像的待拼接图像发送至控制中心。

在本实施例中，第二球形摄像头120的视角至少在相互垂直的两个方向具有自由度。可以设于冰箱门的内壁上能够使得第二球形摄像头的视野容纳冰箱箱体内所有物品的位置。例如，第二球形摄像头可以设置于以下任一位置：采用支架固定于冰箱门的顶部，采用支架固定于冰箱门的底部，采用支架固定于冰箱门的任一侧边，以及嵌入冰箱门上的置物盒中。第二球形摄像头可以根据控制中心的第二控制指令转动和/或拍摄第二全景图像的待拼接图像，并将拍摄的图像发送至控制中心。

与图2中的实施例不同的是，第二球形摄像头可以响应于第二控制指令中的定位拍摄指令，拍摄第二定位图像；响应于第二控制指令中的视角调整指令，对第二摄像头的拍摄视角进行调整，以便达到较好的拍摄视角。另外，响应于第二控制指令中的旋转拍摄指令，旋转拍摄过程为从左至右以及从上至下旋转拍摄。这一过程中，第二摄像头所拍摄得到的图像集合，即为第二全景图像的待拼接图像。之后，第二球形摄像头将其所拍摄的图像发送至控制中心。

检测组件230，被配置成检测冰箱箱体的开闭状态，并将检测的状态信号发送至控制中心。

在本实施例中，可以采用测量仪器来测量冰箱门与冰箱的相对位置，以便后续根据该相对位置来确定冰箱门的状态为处于关闭状态、打开并停留于某一状态、打开运动过程中还是关闭运动过程中。这里的测量仪器，可以为现有技术或未来发展的技术中能够测量冰箱门与冰箱的相对位置的测量仪器，本申请对此不作限定。例如，这里的测量仪器可以为位移传感器，包括：将感应到的距离改变信号转换为电信号的直线位移传感器，或者将感应到的角度改变信号转换为电信号的角度位移传感器。

控制中心240，被配置成响应于所述状态信号指示所述冰箱门在关闭过程中停留且停留角度符合全景拍摄角度，经由第一控制指令中的定位拍摄指令指示第一球形摄像头拍摄第一定位图像，根据第一定位图像，经由第一控制指令中的视角调整指令调整第一摄像头的视角，使得第一摄像头所拍摄的物品位于第一摄像头所拍摄的图像的预定位置；以及经由第二控制指令中的定位拍摄指令指示第二球形摄像头拍摄第二定位图像，根据第二定位图像，经由第二控制指令中的视角调整指令调整第二摄像头的视角，使得第二摄像头所拍摄的物品位于第二摄像头所拍摄的图像的预设位置；以及向第一球形摄像头发送第一控制指令中的旋转拍摄指令，并向第二球形摄像头发送第二控制指令中的旋转拍摄指令，以及基于均拍摄完整的第一全景图像的待拼接图像和第二全景图像的待拼接图像，在本地或云端服务器确定已标记物品的全景图。

在本实施例中，控制中心可以采用CPU处理器、FPGA处理器、DSP处理器、ARM处理器或其它控制芯片来实现。控制中心可以根据检测组件检测到的相对位置，来确定冰箱门的开闭状态，之后，基于该开闭状态，控制第一球形摄像头和第二球形摄像头这两者的运动和/或拍摄。

具体地，控制中心可以根据第一定位图像，判断第一球形摄像头所拍摄的物品是否位于所拍摄的图像的预定位置，若是，可以不再调整第一球形摄像头的位置。若否，可以计算当第一球形摄像头所拍摄的物品位于所拍摄的图像的预定位置时第一球形摄像头所对应的第一拍摄视角，并将基于第一拍摄视角确定的第一控制指令的视角调整指令发送至第一球形摄像头。这里的预定位置，为预先设定的可以满足第一球形摄像头拍照质量的位置。例如，预定位置可以为所拍摄的图像的中间点、所拍摄的图像的中心区域或所拍摄的图像的预先设定的区域。

同时，控制中心可以根据第二定位图像，判断第二球形摄像头所拍摄的物品是否位于所拍摄的图像的预设位置。若是，可以不再调整第二球形摄像头的位置。若否，则计算当第二球形摄像头所拍摄的物品位于所拍摄的图像的预设位置时第二球形摄像头所对应的第二拍摄视角，并将基于第二拍摄视角确定的第二控制指令的视角调整指令发送至第二球形摄像头。这里的预设位置，为预先设置的可以满足第二球形摄像头拍照质量的位置。例如，预设位置可以为所拍摄的图像的中间点、所拍摄的图像的中心区域或所拍摄的图像的预先设置的区域。

然后，控制中心可以分别经由第一控制指令的旋转拍摄指令指示第一球形摄像头拍摄上述冰箱门的第一全景图像的待拼接图像、经由第二控制指令的旋转拍摄指令指示第二球形摄像头拍摄上述冰箱箱体的第二全景图像的待拼接图像。

最后，在接收到第一全景图像的待拼接图像和第二全景图像的待拼接图像之后，控制中心可以判断第一全景图像的待拼接图像和第二全景图像的待拼接图像是否均拍摄完整，若是，可以对这些图像进行后续处理。例如，在本地或云端拼接图像并识别和标记图像中的物品，以得到标记所有物品的全景图像。

这里的拍摄完整，是指第一球形摄像头和第二球形摄像头分别按照第一控制指令中的旋转拍摄指令和第二控制指令中的旋转拍摄指令拍摄完毕，并将拍摄的照片存储于本地。

本领域技术人员应当理解，当第一球形摄像头和第二球形摄像头分别进行定位完毕后，第一球形摄像头和第二球形摄像头进行全景拍摄的过程可以为其它进行全景拍摄的过程，本申请对此并不限定。例如，第一球形摄像头和第二球形摄像头可以先上下方向旋转拍摄、后左右方向旋转拍摄，或者先后沿其它两个相互垂直的方向旋转拍摄。

在本实施例的一些可选实现方式中，控制中心进一步被配置成：响应于状态信号指示冰箱门在关闭过程中且当前角度符合定点拍摄角度，指示第一球形摄像头旋转至默认位置并拍摄第一定点图像，指示第二球形摄像头旋转至预置位置并拍摄第二定点图像，响应于冰箱门关闭且第一全景图像的待拼接图像或第二全景图像的待拼接图像未拍摄完整，将第一定点图像和第二定点图像上传至云端服务器。

在本实现方式中，无论第一球形摄像头和第二球形摄像头是在旋转拍摄状态还是已经拍摄结束停留在各自的第一拍摄位置和第二拍摄位置，智能冰箱的检测组件都在全程检测冰箱门的状态信号。

当系统检测到的状态信号指示冰箱门进入定点拍摄角度，第一球形摄像头和第二球形摄像头会迅速归位到默认位置，默认位置是系统设定的、方便传统图像识别进行图片拍摄的位置。

第一球形摄像头和第二球形摄像头归位到默认位置在瞬间完成，第一球形摄像头和第二球形摄像头会进行自动拍摄，得到第一定点照片和第二定点照片，并将第一定点照片和第二定点照片存储到冰箱本地。

当智能冰箱的冰箱门已关上，控制中心会判断第一全景图像的待拼接图像或第二全景图像的待拼接图像是否拍摄完整，如果判断未拍摄完整，控制中心会将第一定点照片和第二定点照片上传至云端服务器。这里的拍摄完整，是指全景拍摄完毕，第一球形摄像头和第二球形摄像头完成了上下左右的旋转拍摄，并把图像存到了冰箱本地。

本领域技术人员应当理解，定点拍摄角度为预先设定的一个进行拍摄的角度，在该角度摄像头直接归位至默认位置进行拍摄。例如，定点拍摄角度可以为冰箱门关闭至60度至30度之间的任一角度，在该角度，摄像头可以归位至默认位置从而快速抓拍照片。

本领域技术人员还应当理解，全景拍摄角度为位于预先设定的拍摄角度区间。若当前角度符合该拍摄角度区间中，摄像头可以在当前角度进行定位视角以及旋转拍摄。例如，全景拍摄角度可以为冰箱门关闭至90度至30度。若当前角度位于冰箱门关闭至90度至30度之间，那么当前角度符合全景拍摄角度。

云端服务器250，被配置成接收第一全景图像的待拼接图像和第二全景图像的待拼接图像，拼接所接收的待拼接图像，得到包含冰箱内所有物品的全景图，识别并标记全景图中的物品，得到已标记物品的全景图。

在本实施例中，云端服务器在接收到智能冰箱上传的图像后，将旋转拍摄的多角度图片进行处理，拼接成包含冰箱内所有物品的全景图。本领域技术人员可以理解，这里的全景图，是指包含冰箱内全部食材的拼接图片。在完成全景图的拼接后，云端服务器会继续完成图像识别、图片美化和物品标记，以待后续将已标记物品的全景图返回智能冰箱、或在AR(增强现实技术，Augmented Reality，简称AR)或VR(虚拟现实技术，Virtual Reality，简称VR)调用已标记物品的全景图。

在本实施例的一些可选实现方式中，云端服务器进一步被配置成：将已标记物品的全景图下发至控制中心。在这里，通过将已标记物品的全景图下发至控制中心，可以方便用户在智能冰箱的本地呈现界面查看基于已标记物品的全景图呈现的冰箱内的物品和物品的识别结果。

与上述可选实现方式中控制中心会将第一定点照片和第二定点照片上传至云端服务器相对应，在一些可选实现方式中，云端服务器进一步被配置成：接收第一定点图像和第二定点图像，分别识别并标记第一定点图像和第二定点图像中的物品，得到已标记物品的第一定点图像和已标记物品的第二定点图像。在这里，通过对第一定点图像和第二定点图像的识别，可以作为全景图像识别不完整时的补充识别结果，以便进行后续应用。

进一步地，云端服务器还可以被配置成：将已标记物品的第一定点图像和已标记物品的第二定点图像下发至控制中心。在这里，通过将已标记物品的第一定点图像和已标记物品的第二定点图像下发至控制中心，可以方便用户在智能冰箱本地的呈现界面查看冰箱内基于已标记物品的第一定点图像和已标记物品的第二定点图像确定的物品和物品的识别结果。

本申请的上述实施例提供的用于智能冰箱的图像处理装置，采集冰箱内所有物品的全景图像，以期后续进行图像的拼接、识别和标记，得到已标记冰箱内所有物品的全景图，从而实现后续实现智能冰箱的展示和智能应用，这一过程中由于减少了拍照所用的摄像头，降低了智能冰箱采集全景图像的成本，并且由于全景图像减少了拍照死角，因此提高了智能冰箱的图像识别率。在一些实施例中，智能冰箱还可以采集第一定点图像和第二定点图像，以期代替未拍摄完整的全景图像进行图像的拼接、识别和标记，得到已标记物品的第一定点图像和第二定点图像，由于在这些实施例中增加了智能冰箱拍摄的用于识别和呈现的图像，降低了智能冰箱采集图像的成本，并提高了智能冰箱的图像识别率。

下面结合图3，对本申请实施例的用于智能冰箱的图像处理装置的控制中心为例，描述智能冰箱的图像处理过程的一个示例性应用场景。

在图3中，用于智能冰箱的图像处理装置包括：位移传感器310、第一球形摄像头320、第二球形摄像头330、控制中心340和云端服务器350。

智能冰箱的图像处理过程的示例性应用场景300包括：

首先，检测组件310，检测冰箱门的开闭状态，并将检测的状态信号发送至控制中心340。

之后，控制中心340，响应于状态信号301指示冰箱门在关闭过程中停留并且停留角度302与全景拍摄角度303的对比结果为相符合304，向第一球形摄像头发送第一控制指令305，并向第二球形摄像头发送第二控制指令306。

之后，第一球形摄像头320，设于冰箱箱体的内壁上，视野容纳冰箱门上所有物品，连接控制中心340以基于控制中心340的第一控制指令305转动和/或拍摄图像，并将转动结果和/或拍摄的第一全景图像的待拼接图像307发送至控制中心。与此同时，第二球形摄像头330，设于冰箱门的内壁上，视野容纳冰箱箱体内所有物品，连接控制中心340以基于控制中心340的第二控制指令306转动和/或拍摄图像，并将转动结果和/或拍摄的第二全景图像的待拼接图像308发送至控制中心。

之后，控制中心340，响应于第一全景图像的待拼接图像307和第二全景图像的待拼接图像308均拍摄完整，基于第一全景图像的待拼接图像和第二全景图像的待拼接图像，在本地或云端服务器确定已标记物品的全景图350。

最后，云端服务器350，接收第一全景图像的待拼接图像307和第二全景图像的待拼接图像308，拼接所接收的待拼接图像，得到包含冰箱内所有物品的全景图，识别并标记全景图中的物品，得到已标记物品的全景图309，将已标记物品的全景图309下发至控制中心。

应当理解，上述图3中所示出的用于智能冰箱的图像处理装置的应用场景，仅为用于智能冰箱的图像处理装置的示例性应用场景，并不代表对本申请的限定。例如，第一球形摄像头和第二球形摄像头也可以采用其它的拍摄方法分别获取全景图像的拼接图像，例如先上下旋转拍摄再左右旋转拍摄得到全景图像的拼接图像，或者在其它两个相互垂直的方向旋转拍摄得到全景图像的拼接图像，在此不再赘述。应当理解，本申请的上述应用场景中提供的用于智能冰箱的图像处理装置，可以提高智能冰箱中物品的识别率。

本申请还提供了一种智能冰箱的实施例，包括：如上述实施例中任意一个实施例所述的用于智能冰箱的图像处理装置。该智能冰箱可以提高智能冰箱中物品的识别率。

请参考图4，本申请还提供了一种用于如上述的智能冰箱的智能头盔的实施例。

如图4所示，智能头盔包括：陀螺仪410、智能芯片420和显示组件430。

陀螺仪410，被配置成检测用户的头部动作，将检测的头部动作信息发送至智能芯片。

在本实施例中，是运用物体高速旋转时角动量很大、旋转轴会一直稳定指向一个方向的性质所制造出来的定向仪器，能够精确地确定运动物体的方位。该陀螺仪可以实时检测用户的抬头、低头、头左转和头右转动作。

智能芯片420，被配置成从智能冰箱中读取以下至少一项：已标记物品的全景图、已标记物品的第一定点图像以及已标记物品的第二定点图像；基于读取的图像，确定对应头部动作信息的虚拟图像，将虚拟图像发送至显示组件。

在本实施例中，对应头部动作信息的虚拟图像可以在智能头盔上以VR、AR等形式进行应用。

显示组件430，被配置成向用户呈现虚拟图像。

在本实施例中，用户配戴智能头盔可以VR方式查看冰箱内食物，用户抬头看到的是第二球形摄像头上转拍摄的图像，低头看到的第二球形摄像头下转拍摄的图像，用户右转头看到的是第二球形摄像头右转拍摄的图像，左转头看到是第二球形摄像头左转拍摄的图像。当用户戴着头盔转向冰箱门体时，展现在用户眼前的是第一球形摄像头拍摄的冰箱门体上放置的食材图像，同样当用户向不同方向转头时，展现在用户眼前的也是第一球形摄像头在不同方向拍摄的图像。另外，智能头盔和智能冰箱的大显示屏的应用让用户在冰箱屏幕上VR场景购物成为现实。本发明实施案例基于智能头盔，还可以实现一些AR场景的应用，比如戴上头盔可以让用户感受置身世界著名餐厅里采用冰箱中的食材用餐的情景。应当理解，本申请实施例中智能头盔带来的VR、AR体验还有很多，在此不再一一展开。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种用于智能冰箱的图像处理装置，所述图像处理装置包括：

第一球形摄像头，设于冰箱箱体的内壁上，视野容纳冰箱门上所有物品，接收控制中心的第一控制指令，根据第一控制指令转动和/或拍摄图像，并将转动结果和/或拍摄的图像的待拼接图像发送至所述控制中心，所述拍摄的图像包括第一全景图像的待拼接图像；

第二球形摄像头，设于冰箱门的内壁上，视野容纳所述冰箱箱体内所有物品，接收所述控制中心的第二控制指令，根据所述第二控制指令转动和/或拍摄图像，并将转动结果和/或拍摄的图像发送至所述控制中心，所述拍摄的图像包括第二全景图像的待拼接图像；

检测组件，被配置成检测冰箱门的开闭状态，并将检测的状态信号发送至所述控制中心；

所述控制中心，响应于所述状态信号指示所述冰箱门在关闭过程中停留并且停留角度符合全景拍摄角度，向所述第一球形摄像头发送所述第一控制指令，并向所述第二球形摄像头发送所述第二控制指令，以及基于均拍摄完整的所述第一全景图像的待拼接图像和所述第二全景图像的待拼接图像，在本地或云端服务器确定已标记物品的全景图。

2.根据权利要求1所述的图像处理装置，其中，所述控制中心进一步被配置成：

响应于所述状态信号指示所述冰箱门在关闭过程中停留且停留角度符合全景拍摄角度，经由所述第一控制指令指示所述第一球形摄像头拍摄第一定位图像；根据所述第一定位图像，经由所述第一控制指令调整所述第一摄像头的视角，使得所述第一摄像头所拍摄的物品位于所述第一摄像头所拍摄的图像的预定位置；以及

经由所述第二控制指令指示所述第二球形摄像头拍摄第二定位图像，根据所述第二定位图像；经由所述第二控制指令调整所述第二摄像头的视角，使得所述第二摄像头所拍摄的物品位于所述第二摄像头所拍摄的图像的预设位置。

3.根据权利要求2所述的图像处理装置，其中，所述控制中心进一步被配置成：

经由所述第一控制指令，指示所述第一球形摄像头由所述预定位置向左旋转至视野中出现所述冰箱门的左边缘，从左向右旋转并持续拍摄图像直至拍摄到所述冰箱门的右边缘，回复至所述预定位置，由所述预定位置向上旋转至视野中出现所述冰箱门的上边缘，由上向下旋转并持续拍摄图像直至拍摄到所述冰箱门的下边缘，得到所述第一全景图像的待拼接图像；以及

经由所述第二控制指令，指示所述第二球形摄像头由所述预设位置向左旋转至视野中出现所述冰箱箱体的左边缘，从左向右旋转并持续拍摄图像直至拍摄到所述冰箱箱体的右边缘，回复至所述预设位置，由所述预设位置向上旋转至视野中出现所述冰箱箱体上的上边缘，由上向下旋转并持续拍摄图像直至拍摄到所述冰箱箱体的下边缘，得到所述第二全景图像的待拼接图像。

4.根据权利要求3所述的图像处理装置，其中，所述图像处理装置还包括：

所述云端服务器，被配置成接收所述第一全景图像的待拼接图像和所述第二全景图像的待拼接图像，拼接所接收的待拼接图像，得到包含冰箱内所有物品的全景图，识别并标记所述全景图中的物品，得到已标记物品的全景图。

5.根据权利要求4所述的图像处理装置，其中，所述云端服务器进一步被配置成：将所述已标记物品的全景图下发至所述控制中心。

6.根据权利要求3-5任意一项所述的图像处理装置，其中，所述控制中心进一步被配置成：

响应于所述状态信号指示所述冰箱门在关闭过程中且当前角度符合定点拍摄角度，指示第一球形摄像头旋转至默认位置并拍摄第一定点图像，指示所述第二球形摄像头旋转至预置位置并拍摄第二定点图像，响应于所述冰箱门关闭且所述第一全景图像的待拼接图像或所述第二全景图像的待拼接图像未拍摄完整，将所述第一定点图像和所述第二定点图像上传至云端服务器。

7.根据权利要求6所述的图像处理装置，其中，所述云端服务器进一步被配置成：接收所述第一定点图像和所述第二定点图像，分别识别并标记所述第一定点图像和所述第二定点图像中的物品，得到已标记物品的第一定点图像和已标记物品的第二定点图像。

8.根据权利要求7所述的图像处理装置，其中，所述云端服务器进一步被配置成：将所述已标记物品的第一定点图像和所述已标记物品的第二定点图像下发至所述控制中心。

9.一种智能冰箱，包括：如权利要求1-8中任意一项所述的用于智能冰箱的图像处理装置。

10.一种用于如权9所述的智能冰箱的智能头盔，包括：

陀螺仪，被配置成检测用户的头部动作，将检测的头部动作信息发送至智能芯片；

所述智能芯片，被配置成从所述智能冰箱中读取以下至少一项：已标记物品的全景图、已标记物品的第一定点图像以及已标记物品的第二定点图像；基于读取的图像，确定对应所述头部动作信息的虚拟图像，将所述虚拟图像发送至显示组件；

所述显示组件，被配置成向用户呈现所述虚拟图像。