CN109413383A - 一种冰箱内部食材图像的获取方法、冰箱及图像识别系统 - Google Patents

Abstract

本发明的实施例公开一种冰箱内部食材图像的获取方法、冰箱及图像识别系统，涉及家用电器领域，能够确保获取冰箱内部所有食材的清晰完整图像。该冰箱内部食材图像的获取方法，所述冰箱内部设置有摄像头和显示器，所述显示器用于显示摄像头拍摄区域的图像；该方法包括：当确定所述食材在摄像头拍摄区域的预定位置时，控制所述摄像头对所述食材拍照，获取具有所述食材的拍摄图像。

Description

一种冰箱内部食材图像的获取方法、冰箱及图像识别系统

技术领域

本发明的实施例涉及家用电器领域，尤其涉及一种冰箱内部食材图像的获取方法、冰箱及图像识别系统。

背景技术

目前，大部分的智能冰箱都实现了对内部食材的识别功能。通常为了在冰箱上实现对冰箱内部食材的准确识别，冰箱的每个层架都对应安装一个或多个摄像头用于拍摄食材，并对拍摄的照片进行处理后生成识别结果直接显示在冰箱的显示界面或者发送至与冰箱连接的移动终端，例如手机。

目前，冰箱内部食材的识别技术是基于在冰箱门框上安装摄像头拍摄的食材的图像进行的。例如：在关门的过程中实现抓拍，食材在无遮挡或者小部分遮挡的情况下才能获得清晰完整的食材图像，从而实现食材的识别。通常情况下用户的冷藏室内放的食品比较错乱，且冷藏室中靠近内部的食品可能被完全遮挡，因此通过传统的识别技术并不能获取清晰完整的食材图像；这样只有冷藏室中靠近外部的食材能够获取清晰完整的食材图像，并被识别，时间长久后，用户并不能完全知道冷藏室中的食材，不能做到完全的食材管理，而手动录入不能体现智能冰箱的特点。

发明内容

本发明的实施例提供一种冰箱内部食材图像的获取方法、冰箱及图像识别系统，能够确保获取冰箱内部所有食材的清晰完整图像。

第一方面，提供一种冰箱内部食材图像的获取方法，冰箱内部设置有摄像头和显示器，所述显示器用于显示摄像头拍摄区域的图像；该方法包括：当确定所述食材在摄像头拍摄区域的预定位置时，控制所述摄像头对所述食材拍照，获取具有所述食材的拍摄图像。在上述方案中，由于摄像头可以采集拍摄区域的图像，并且可以在显示器显示摄像头拍摄区域的图像，因此当用户将食材放入冰箱时，只要将食材经过摄像头拍摄区域的预定位置，使得食材能够显示在显示器上，则可以通过摄像头对所述食材拍照，获取具有所述食材的拍摄图像；由于食材的图像完整清晰的显示在显示器，因此在用户逐步将食材放入冰箱的过程中，可能确保获取冰箱内部所有食材的清晰完整图像。

第二方面，提供一种冰箱，所述冰箱内部设置有摄像头和显示器，所述显示器用于显示摄像头拍摄区域的图像；该冰箱还包括：所述处理单元，用于当确定所述食材在摄像头拍摄区域的预定位置时，控制所述摄像头对所述食材拍照，获取具有所述食材的拍摄图像。

第三方面，提供一种冰箱，包括通信接口、处理器、存储器、总线；所述存储器用于存储计算机执行指令，所述处理器与所述存储器通过所述总线连接，当所述冰箱运行时，所述处理器执行所述存储器存储的计算机执行指令，以使所述冰箱执行如上述的冰箱内部食材图像的获取方法。

第四方面，提供一种计算机存储介质，包括指令，当所述指令在计算机上运行时，使得所述计算机执行如上述的冰箱内部食材图像的获取方法。

第五方面，提供一种图像识别系统，包括网络服务器以及如上述的冰箱；其中，所述冰箱用于将具有所述食材的拍摄图像发送至所述网络服务器；所述网络服务器用于识别所述拍摄图像所包含的食材。

可以理解地，上述提供的任一种图像识别系统、冰箱或计算机存储介质均用于执行上文所提供的第一方面对应的方法，因此，其所能达到的有益效果可参考上文第一方面的方法以及下文具体实施方式中对应的方案的有益效果，此处不再赘述。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的实施例提供的一种图像识别系统的示意图；

图2为本发明的实施例提供的一种冰箱的结构示意图；

图3为本发明的实施例提供的一种冰箱内部食材图像的获取方法示意图；

图4为本发明的实施例提供的一种预定区域的图像示意图；

图5为本发明的另一实施例提供的一种冰箱的结构示意图；

图6为本发明的又一实施例提供的一种冰箱的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

随着智能家用电器的发展，大部分的智能冰箱都实现了对内部食材的识别功能。通常为了在冰箱上实现对冰箱内部食材的准确识别，冰箱的每个层架都对应安装一个或多个摄像头用于拍摄食材，并对拍摄的照片进行处理后生成识别结果直接显示在冰箱的显示界面或者发送至与冰箱连接的移动终端，例如手机。当前，冰箱内部食材的识别技术是基于在冰箱门框上安装摄像头拍摄的食材的图像进行的。例如：在关门的过程中实现抓拍，食材在无遮挡或者小部分遮挡的情况下才能获得清晰完整的食材图像，从而实现食材的识别。通常情况下用户的冷藏室内放的食品比较错乱，且冷藏室中靠近内部的食品可能被完全遮挡，因此通过传统的识别技术并不能获取清晰完整的食材图像；这样只有冷藏室中靠近外部的食材能够获取清晰完整的食材图像。

为解决上述问题，本发明的实施例提供一种冰箱内部食材图像的获取方法，该方法应用于如下图1示出的场景的图像识别系统，具体包括：冰箱11、图像处理服务器12以及终端设备13(例如手机、ipad等)，其中终端设备13可以为集成在冰箱11上的具有显示功能显示装置。此外，冰箱11、图像处理服务器12以及终端设备13通过无线接入设备14进行通信，示例性的，无线接入设备14可以为WiFi设备。其中，冰箱11中设置有摄像头和显示器，如图2所示，摄像头可以设置在冷藏室的顶部(图2中示出的C处，冰箱顶部中间偏左)，显示器可以设置在冷藏室的底部(图2中示出的B处，冷藏室左侧抽屉上方)；当然为了操作方便，摄像头也可以设置在其他便于采集食材的图像的位置，例如也可以是冰箱的门体内部或者外部；显示器设置于冷藏室底部是便于用户观察，当然设置于其他位置例如设置于冰箱门的内侧门体上，或者冰箱的冷藏室的内侧壁上，只要是方便用户打开冰箱门时，能够便于用户观察的位置均是可以的。其中，冷藏室抽屉中通常布设有照明电路，因此显示器的电路布线可以在原有照明电路的基础上增加电源线，摄像头在冰箱箱体内侧与显示器连接。

基于上述的场景本申请的实施例提供一种冰箱内部食材图像的获取方法，参照图3所示，包括如下步骤：

101、显示器显示摄像头拍摄区域的图像。

其中，冰箱冷藏门开启的时候启动显示器和摄像头，关闭冷藏门时关闭显示器和摄像头。这样在开启冷藏门时，可以通过摄像头对拍摄区域进行拍摄，例如，摄像头设置于冰箱内部时，可以是对冰箱内部拍摄，并将摄像头拍摄区域的图像发送至显示器显示。其中，为降低成本，摄像头可以采用小角度摄像头。

其中，当用户打开冰箱门将食材放入冰箱时，还包括如下步骤102。

102、当确定食材在摄像头拍摄区域的预定位置时，通过摄像头对食材拍照，获取具有食材的拍摄图像。

其中，具有食材的拍摄图像用于识别其包含的食材，基于图1示出的系统，具体的，可以将具有食材的拍摄图像发送至用于图像识别的网络服务器，由该网络服务器对具有食材的拍摄图像进行识别，识别其所包含的食材，并将识别结果返回冰箱或者用户的终端设备。其中，识别结果可以是食材种类、营养成分、放入日期等等，当然在识别有误时，也可以是用户直接通过终端设备13输入或修改识别结果。此外，也可以将摄像头采集的具有食材的拍摄图像发送至网络服务器，但是，可以将显示器的图像中除预定区域外的其他区域的图像虚化处理，避免其他区域存在食材时，对食材识别结果造成影响，即可以保证网络服务器仅对预定区域的图像进行识别。比如，对于显示像素960*1024的显示器，预定区域可以为像素(200，300)-(800,900)的范围，参照图4所示，这样仅将用户准备放入冰箱的食材显示在该预定区域，网络服务器对预定区域的图像进行识别，以摄像头设置在冰箱内部为例，即使冰箱的搁架上有其它食物，也不会影响本次的识别效果。此外，虽然对其他区域进行了图像虚化处理，但是在用户将食材移入摄像头的边缘区域时，食材的图像可以显示在该预定区域外的其他区域，这样用户可以根据其他区域虚化的图像确定食材的位置，进而将食材移动至合适的位置，使得食材显示在显示器的预定区域。

此外，为使用户具有更好的体验，例如，当食材在摄像头拍摄区域的预定位置悬停时，预定区域会出现食材的图像，为提示用户对食材进行拍照，该方案还包括：当确定食材的图像显示在显示器的预定区域时，发出提示信息。参照图4所示，提示信息可以为在食材的图像边缘显示的矩形框，这样用户在显示器上观察到食材周围的矩形框时，会触发对食材进行拍照，用户也可以在预定区域看到食材的图像，保证了食材的图像的完整和清晰度，若在显示器的预定区域食材显示的不够完整或不够清晰，用户可以通过调整食材悬停的位置，直至在预定区域看到食材的完整和清晰图像。其中，冰箱可以通过边缘识别算法识别食材的边缘，并在食材的边缘显示矩形框。另外，提示信息还可以是提示音，例如，快门声、滴答声等等。

另外，为获得完整和清晰的食材的图像，用户可能需要时间对食材的位置进行调整，例如，从食材进入摄像头拍摄区域，至食材在显示器上形成完整和清晰的食材的图像，可能需要若干秒，这样用户将食材放入冰箱时，能够观察到显示器上显示的摄像头拍摄区域的图像，并且能够直接观察到显示器的预定区域是否出现食材的图像，并调整食材的位置，使得在显示器的预定区域显示食材的图像。这样，通过将食材在摄像头的拍摄区域的预定位置悬停一段后对食材进行拍照，即当确定所述食材在摄像头拍摄区域的预定位置悬停超过预定时长时，控制所述摄像头对所述食材拍照。

另外，为获得完整和清晰的食材的图像，在通过摄像头对食材拍照前，还包括：当确定食材的图像显示在显示器的预定区域时，接收用户触发的拍照指令，根据拍照指令对食材拍照。例如，显示屏持续在预定区域的图像中显示食材超过1s，而图像周围没有出现矩形框，或者为发出提示音时，用户主动触发拍照指令，例如可以是通过触摸硬件的拍照按钮或者触摸显示屏上指示拍照功能的按钮。这样，由于用户可以在显示器的预定区域看到食材的图像，因此可以配合移动食材悬停的位置，若观察到在预定区域食材显示的不够完整或不够清晰，用户可以调整食材悬停的位置，直至在预定区域看到食材的完整和清晰图像；然后触发拍照指令，对食材拍照。例如，可以是在显示器上未显示矩形框时，若用户观察到在预定区域食材的完整和清晰图像，用户主动触发拍照指令。

这样，由于摄像头可以采集拍摄区域的图像，并且可以在显示器显示摄像头拍摄区域的图像，因此当用户将食材放入冰箱时，只要将食材经过摄像头拍摄区域的预定位置，使得食材能够显示在显示器上，则可以通过摄像头摄像头对所述食材拍照，获取具有所述食材的拍摄图像；由于食材的图像完整清晰的显示在显示器，因此在用户逐步将食材放入冰箱的过程中，可能确保获取冰箱内部所有食材的清晰完整图像。

参照图5所示，提供一种冰箱，冰箱内部设置有摄像头和显示器，显示器用于显示摄像头拍摄区域的图像；该冰箱还包括：

所述处理单元51，用于当确定所述食材在摄像头拍摄区域的预定位置时，控制所述摄像头对所述食材拍照，获取具有所述食材的拍摄图像。

在一种示例性的方案中，提示单元52，用于当确定所述食材的图像显示在所述显示器的预定区域时，发出提示信息。

在一种示例性的方案中，所述提示信息包括：在所述食材的图像边缘显示的矩形框，或者提示音。

在一种示例性的方案中，所述处理单元51，还用于当确定所述食材在摄像头拍摄区域的预定位置悬停超过预定时长时，控制所述摄像头对所述食材拍照。

在一种示例性的方案中，所述处理单元51还用于当确定所述食材的图像显示在所述显示器的预定区域时，接收用户触发的拍照指令，根据所述拍照指令对所述食材拍照。

在采用集成的模块的情况下，冰箱包括：存储单元、处理单元以及接口单元。处理单元用于对冰箱的动作进行控制管理，例如，处理单元用于支持终端设备执行图3中的过程102；接口单元用于支持冰箱与其他设备的信息交互例如与摄像头以及显示器以及其他设备的交互。存储单元，用于存储冰箱的程序代码和数据。

其中，以处理单元为处理器，存储单元为存储器，接口单元为通信接口为例。其中，冰箱参照图6中所示，包括通信接口601、处理器602、存储器603和总线604，通信接口601、处理器602通过总线604与存储器603相连。

处理器602可以是一个通用中央处理器(Central Processing Unit，CPU)，微处理器，特定应用集成电路(Application-Specific Integrated Circuit，ASIC)，或一个或多个用于控制本申请方案程序执行的集成电路。

存储器603可以是只读存储器(Read-Only Memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(Random Access Memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(ElectricallyErasable Programmable Read-only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。

其中，存储器603用于存储执行本申请方案的应用程序代码，并由处理器602来控制执行。通讯接口601用于与其他设备进行信息交互，例如与图像处理服务器以及终端设备的信息交互。处理器602用于执行存储器603中存储的应用程序代码，从而实现本申请实施例中所述的方法。

此外，还提供一种计算存储媒体(或介质)，包括在被执行时进行上述实施例中的冰箱执行的方法操作的指令。另外，还提供一种计算机程序产品，包括上述计算存储媒体(或介质)。

其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，其作用在此不再赘述。

应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称:read-only memory，英文简称：ROM)、随机存取存储器(英文全称：random access memory，英文简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种冰箱内部食材图像的获取方法，其特征在于，所述冰箱内部设置有摄像头和显示器，所述显示器用于显示摄像头拍摄区域的图像；该方法包括：

当确定所述食材在摄像头拍摄区域的预定位置时，控制所述摄像头对所述食材拍照，获取具有所述食材的拍摄图像。

2.根据权利要求1所述的冰箱内部食材图像的获取方法，其特征在于，控制所述摄像头对所述食材拍照前，还包括：当确定所述食材的图像显示在所述显示器的预定区域时，发出提示信息。

3.根据权利要求2所述的冰箱内部食材图像的获取方法，其特征在于，所述提示信息包括：在所述食材的图像边缘显示的矩形框，或者提示音。

4.根据权利要求1所述的冰箱内部食材图像的获取方法，其特征在于，控制所述摄像头对所述食材拍照，包括：当确定所述食材在摄像头拍摄区域的预定位置悬停超过预定时长时，控制所述摄像头对所述食材拍照。

5.根据权利要求1所述的冰箱内部食材图像的获取方法，其特征在于，控制所述摄像头对所述食材拍照前，还包括：当确定所述食材的图像显示在所述显示器的预定区域时，接收用户触发的拍照指令，根据所述拍照指令对所述食材拍照。

6.一种冰箱，其特征在于，所述冰箱内部设置有摄像头和显示器，所述显示器用于显示摄像头拍摄区域的图像；该冰箱还包括：

所述处理单元，用于当确定所述食材在摄像头拍摄区域的预定位置时，控制所述摄像头对所述食材拍照，获取具有所述食材的拍摄图像。

7.根据权利要求6所述的冰箱，其特征在于，还包括：提示单元，用于当确定所述食材的图像显示在所述显示器的预定区域时，发出提示信息。

8.根据权利要求7所述的冰箱，其特征在于，所述提示信息包括：在所述食材的图像边缘显示的矩形框，或者提示音。

9.根据权利要求6所述的冰箱，其特征在于，所述处理单元，还用于当确定所述食材在摄像头拍摄区域的预定位置悬停超过预定时长时，控制所述摄像头对所述食材拍照。

10.根据权利要求6所述的冰箱，其特征在于，所述处理单元还用于当确定所述食材的图像显示在所述显示器的预定区域时，接收用户触发的拍照指令，根据所述拍照指令对所述食材拍照。

11.一种冰箱，其特征在于，包括通信接口、处理器、存储器、总线；所述存储器用于存储计算机执行指令，所述处理器与所述存储器通过所述总线连接，当所述冰箱运行时，所述处理器执行所述存储器存储的计算机执行指令，以使所述冰箱执行如权利要求1-5任一项所述的冰箱内部食材图像的获取方法。

12.一种计算机存储介质，包括指令，其特征在于，当所述指令在计算机上运行时，使得所述计算机执行如权利要求1-5任一项所述的冰箱内部食材图像的获取方法。

13.一种图像识别系统，其特征在于，包括网络服务器以及如权利要求6-11任一项所述的冰箱；

其中，所述冰箱用于将具有所述食材的拍摄图像发送至所述网络服务器；

所述网络服务器用于识别所述拍摄图像所包含的食材。