CN114514405B - 冷藏库内的图像数据处理方法和冷藏库 - Google Patents

Abstract

本发明的冷藏库内的图像数据处理方法是对拍摄范围中包含合计多个食品收纳区域的1个或2个以上的摄像装置拍摄到的图像数据进行处理的冷藏库内的图像数据处理方法，其包括并执行以下处理：切取处理(S392)，从由摄像装置拍摄到的1个或2个以上的图像数据中切取分别包含食品收纳区域的多个部分；合成处理(S396)，使用多个部分生成1个图像数据；和输出处理，输出通过合成处理合成后的1个图像数据。

Description

冷藏库内的图像数据处理方法和冷藏库

技术领域

本发明涉及冷藏库内的图像数据处理方法和冷藏库。

背景技术

在冷藏库中，出于冷藏库内的库存管理等目的，提出了利用摄像机对冷藏库内进行拍摄的方案。根据专利文献1所记载的冷藏库，“包括：划分有至少1个拍摄范围的多个贮藏室；对至少1个拍摄范围进行拍摄的多个库内摄像机、或者对多个拍摄范围进行拍摄的至少1个库内摄像机；和将多个拍摄范围的图像存储于存储装置，并与显示图像的操作显示装置进行通信的控制装置”。而且记载有，在操作显示装置中，“在通过手指触摸而左右移动(在智能手机、平板终端的触摸面板上实施的所谓的轻扫(swipe)操作、轻击(flip)操作)来进行指示冷藏室内的图像的移动的动作时，控制装置使在使用者从冷藏库的正面侧观察冷藏室内的观察状态下位于与冷藏室内相反的指示方向的门的门搁架侧的图像与冷藏室内的图像相连地显示”。

现有技术文献

专利文献

专利文献1：日本专利6296908号公报

发明内容

发明要解决的课题

专利文献1所记载的冷藏库为了同时观察冷藏室内和门的门搁架，在操作显示装置中要求用户进行轻扫操作、轻击操作。

用于解决课题的方法

考虑到上述情况而完成的本发明的冷藏库内的图像数据处理方法是对拍摄范围内包含合计多个食品收纳区域的1个或2个以上的摄像装置拍摄到的图像数据进行处理的冷藏库内的图像数据处理方法，其特征在于：包含并执行如下处理：切取处理(例如，S392)，从由摄像装置拍摄到的1个或2个以上的图像数据中切取分别包含食品收纳区域的多个部分；合成处理(例如，S396)，使用多个部分生成1个图像数据；和输出处理(例如，S40)，输出在合成处理中合成的1个图像数据。关于本发明的其他方式，在后述的实施方式中进行说明。

附图说明

图1是表示第1实施方式的冷藏库的主视图。

图2A是表示第1实施方式的冷藏库的侧视图。

图2B是收纳了第1实施方式的摄像装置的情况下的侧视图。

图3是表示打开第1实施方式的冷藏库的门的状态的主视图。

图4是表示打开第1实施方式的冷藏库的门的状态的俯视图。

图5A是表示第1实施方式的摄像装置的主视图。

图5B是表示第1实施方式的摄像装置的侧视图。

图5C是表示第1实施方式的摄像装置的侧截面图。

图6是表示第1实施方式的摄像装置的立体图。

图7是表示第1实施方式的冷藏库的摄像系统的结构图。

图8是表示第1实施方式的手动拍摄设定时的处理的流程图。

图9是表示第1实施方式的自动拍摄设定时的处理的流程图。

图10是表示第1实施方式的图像处理的流程图。

图11是表示图像处理前的库内的图像。

图12是表示各收纳部的切取处理的图像。

图13是表示各收纳部的畸变校正处理的图像。

图14是表示各收纳部的旋转处理的图像。

图15是表示各图像的梯形校正处理的图像。

图16是表示各图像的合成处理的图像。

图17是表示第2实施方式的冷藏库的抽拉部拉出了的状态的侧视图。

图18是表示第2实施方式的冷藏库的抽拉部的切取处理的图像。

图19是表示第2实施方式的冷藏库的抽拉部的放大处理的图像。

图20是表示第2实施方式的包含抽拉部的各图像的合成处理的图像。

图21是表示第2实施方式的包含抽拉部的各图像的合成处理的图像的另一例。

图22A是表示摄像装置的通常时的状态的说明图。

图22B是表示摄像装置的收纳中途的状态的说明图。

图22C是表示摄像装置的收纳时的状态的说明图。

具体实施方式

适当参照附图对用于实施本发明的方式(实施方式)进行详细说明。在实施方式中公开的动作流程等的控制步骤的顺序只要不相互矛盾，就能够前后调换顺序或同时执行。

＜＜第1实施方式＞＞

图1是表示第1实施方式的冷藏库100的主视图。图2A是表示第1实施方式的冷藏库100的侧视图。图2B是收纳了第1实施方式的摄像装置30的情况下的侧视图。图3是表示打开第1实施方式的冷藏库100的门的状态的主视图。图4是表示打开第1实施方式的冷藏库100的门的状态的俯视图。此外，在以下的说明中，以6门的冷藏库100为例进行说明，但并不限定于6门。

如图1所示，冷藏库100的隔热箱体(箱体10)从上方起按照冷藏室1、左右并排设置的制冰室2和上层冷冻室3、蔬菜室4、下层冷冻室5的顺序具有贮藏室。冷藏库100包括对各个贮藏室的开口进行开闭的门。这些门是对冷藏室1的开口进行开闭的左右分割的旋转式的冷藏室门1a、1b，和对制冰室2、上层冷冻室3、蔬菜室4、下层冷冻室5的开口分别进行开闭的抽拉式的制冰室门2a、上层冷冻室门3a、蔬菜室门4a、下层冷冻室门5a。另外，蔬菜室4和下层冷冻室5的位置也可以变更上下配置。另外，将制冰室2、上层冷冻室3和下层冷冻室5统称为冷冻室7。

为了将冷藏室门1a、1b固定于冷藏库100，门铰链(省略附图标记)设置于冷藏室1的上部和下部。如图3、图4所示，当开闭冷藏室门1a、1b时，设置有门收纳部11a(门收纳部a)、11b(门收纳部b)。

冷藏室1是将库内设为冷藏温度区域(0℃以上)的例如平均4℃左右的冷藏贮藏室。冷冻室7是将库内设为冷冻温度区域(小于0℃)的例如平均为-18℃左右的冷冻贮藏室。蔬菜室4是使库内为冷藏温度区域的例如平均为6℃左右的冷藏贮藏室，是抑制了食品的干燥的冷藏贮藏室。

冷藏库100在贮藏室的外侧上部的大致中央部配置有用于拍摄库内的摄像装置30。即，设置在冷藏库100的箱体(隔热箱体)的上方的大致中央部。在箱体的门关闭的情况下，摄像装置30的透镜34(参照图5A、图5B)位于比贮藏室的开口缘面10a靠前方的位置，优选位于比冷藏室门1a、1b(门)靠前方的位置。即，将摄像装置30设置在贮藏室之外，能够俯瞰地拍摄包含门收纳部11a、11b的库内的状况。

另外，摄像装置30具有前后滑动移动的机构(在与贮藏室开口垂直的方向上滑动的机构)，能够跨冷藏库100的门前表面地前后移动。例如，如图2B所示，由于能够移动到比门前表面靠后方或比贮藏室开口的缘面靠后方的位置，所以在包装时不影响进深尺寸。另外，冷藏库向运输卡车的装载数量不会减少，即使在设置后，在不使用摄像装置30时也能够将其收纳而遮挡拍摄范围。通过进行遮挡，也能够构成为考虑到不希望摄像机的拍摄区域总是进入自身的生活范围等的用户需求。

在冷藏室门1b设置有在利用摄像装置30手动拍摄时使用的拍摄按钮39(接受来自用户的拍摄指令的拍摄指令接受部)。拍摄按钮39也可以设置于冷藏室门1a、箱体或者门的其他区域。

图5A是表示第1实施方式的摄像装置30的主视图。图5B是表示第1实施方式的摄像装置30的侧视图。图5C是表示第1实施方式的摄像装置30的侧截面图(图5A的AA截面图)。图6是表示第1实施方式的摄像装置30的立体图。

摄像装置30由壳部31和盖部32构成，在壳部31的前方具有摄像机33(摄像部)、作为鱼眼透镜的透镜34。如图6所示，透镜34被遮光壁35包围。在遮光壁35的附近具有多个照明部38。

如图5C所示，在壳部31的内部收纳有控制SoC41和无线LAN单元42。控制SoC41(System on a chip，片上系统)是集成电路，该集成电路设计成在集成电路的1个芯片上，除了以处理器核心为代表的一般的微控制器所具有的功能之外，还集成应用目的的功能等，协作地作为系统发挥功能。另外，控制SoC41是集成电路的一例，也可以用其他集成电路等代替。

设置在贮藏室外的摄像装置30俯瞰地拍摄门收纳部11a、11b和贮藏室内部。

进一步说明摄像装置30的特征。

(1)摄像装置30所使用的摄像机33能够拍摄180度以上的广角，通过具有鱼眼透镜，在打开门时能够俯瞰地视觉辨认库内整体。

(2)摄像装置30的摄像机用的透镜34位于比冷藏库的门前表面靠前的位置，由此，即使在仅打开蔬菜室4和下层冷冻室5的抽拉部6时也能够拍摄库内的状态。

(3)摄像装置30包括照明部38，通过使用能够调整为适于拍摄的照度的库外的照明部38进行拍摄，能够得到视觉辨认性高的图像。设置于冷藏库内的照明的照度比较高，因此在用摄像机拍摄时收纳物的反射较强，拍摄图像容易成为泛白(blown out highlight)的图像。因此，在本实施方式中，在拍摄时，熄灭库内照明，点亮库外的照明部38来进行拍摄。另外，照明部38的照明具有指向性以照射库内、打开门时的门收纳部11a、11b、第2贮藏室(例如蔬菜室4、下层冷冻室5)的整体。

(4)摄像装置30通过具有遮光壁35，照明部38的直接光不会进入拍摄范围，由此能够得到抑制了反射、泛白的视觉辨认性高的图像。

(5)通过在摄像装置30的照明部38与透镜34之间设置遮挡直接照射的光的遮光壁35，能够使照明的设置位置尽量靠近透镜34，因此能够形成为紧凑的外形，进而还能够得到防止透镜34损伤的效果。

(6)摄像装置30具有前后滑动移动的机构，能够跨冷藏库100的门前表面地前后移动，因此在包装时不影响进深尺寸。另外，冷藏库相对于运输卡车的装载数量不会减少，即使在设置后，在不使用摄像装置30时也能够将其收纳，遮挡拍摄范围。

(7)摄像装置30包括通信单元(无线LAN单元42)，从通信单元发送的图像数据例如经由家庭内的无线路由器(例如家庭内路由器53(参照图7))供给到服务器54(参照图7)。详情后述。

(8)摄像装置30的电源供给和传递拍摄指令的通信电路与冷藏库主体侧连接。冷藏库主体从工频电源等接受电力供给。摄像装置30的电源能够经由冷藏库主体从工频电源取得。另外，也可以用充电电池来驱动摄像装置30。

图7是表示第1实施方式的冷藏库100的摄像系统的结构图。作为门(门)侧的传感器，还设置有分别检测冷藏室门1a、1b、制冰室门2a、上层冷冻室门3a、蔬菜室门4a、下层冷冻室门5a的开闭状态的门传感器(未图示)等。

在冷藏库100的上部配置有装载有作为控制装置的一部分的CPU(CentralProcessing Unit：中央处理器)、ROM(Read Only Memory：只读存储器)、RAM(RandomAccess Memory：随机存取存储器)等存储器、接口电路等的主微机52(处理装置、控制装置、控制部)。主微机52基于来自门传感器或拍摄按钮39的信息，进行拍摄库内的摄像系统的控制。另外，主微机52还进行向摄像装置30的电源供给。

主微机52在自动拍摄设定时，当基于来自门传感器的门的打开角度等信息检测到规定角度以上时，向控制SoC41发送拍摄指令。控制SoC41向摄像机33发出拍摄指示，从摄像机33取得未处理的图像数据。例如，如图10所示，控制SoC41对未处理的图像数据执行图像处理。另一方面，主微机52在手动拍摄设定时，当检测到拍摄按钮39被操作时，向控制SoC41发送摄影指令。之后的处理与自动拍摄设定时相同。

如上所述，摄像装置30设置有能够与家庭内路由器53连接的无线LAN单元42。通过设置该无线LAN单元42，能够将在控制SoC41中处理完毕的库内图像数据经由家庭内路由器53发送到服务器54。服务器54根据来自用户所拥有的智能手机55等移动设备或个人计算机等的库内图像显示请求，发送库内图像数据。由此，用户能够掌握库内的状况。

图8是表示第1实施方式的手动拍摄设定时的处理的流程图。适当参照图7进行说明。主微机52在来自设定装置(未图示)的设定是摄像机拍摄设定时(摄像机设定有效(ON))的情况下(S31)，利用门传感器判断门是否被打开(门被打开？)(S32)，在门被打开的情况下(S32，是(YES))，进入S33。另一方面，在门没被打开的情况下(S32，否(NO))，主微机52返回S32。

在S33中，主微机52判断是否有拍摄按钮39的操作(按下)，在有拍摄按钮39的按下的情况下(S33，是)，进入S34，在没有拍摄按钮39的按下的情况下(S33，否)，返回S32。

在S34中，主微机52向控制SoC41发出拍摄指令，进行库内的照明的熄灭和库外照明(照明部38)的点亮(S35)。控制SoC41向摄像机33发出拍摄指令来进行拍摄(S36)。然后，主微机52进行库内的照明的点亮和库外照明(照明部38)的熄灭(S37)。

摄像机33向控制SoC41发送未处理图像数据(S38)，控制SoC41实施库内图像校正处理(图像处理)(S39)。关于图像处理的详细内容，参照图10在后面叙述。

控制SoC41经由无线LAN单元42、家庭内路由器53对已处理图像数据实施向服务器54的图像输出处理(图像更新)(S40)。服务器54在图像被更新后，通知用户的移动设备等(S41)。

以上是手动拍摄设定时的处理。

图9是表示第1实施方式的自动拍摄设定时的处理的流程图。适当参照图7进行说明。此外，省略与图8相同的处理的说明。主微机52在来自设定装置(未图示)的设定是摄像机自动拍摄设定时(摄像机自动设定有效)的情况下(S31A)，利用门传感器判断门是否被打开(门被打开？)(S32)，在门被打开的情况下(S32，是)，进入S33A。另一方面，在门没被打开的情况下(S32，否)，主微机52返回S32。

在S33A中，主微机52判断门的打开角度是否为规定角度以上(例如，门角度85度以上)，在门的打开角度为规定角度以上的情况下(S33A，是)，进入S34，在门的打开角度小于规定角度的情况下(S33A，否)，返回S32。S34至S41与图13相同。此外，在S33A中，在对开式的冷藏室1的情况下，在冷藏室门1a、1b中的至少任一个门的打开角度为规定角度的情况下(S33A，是)，进入S34。

以上是自动拍摄设定时的处理。

进一步说明冷藏库100的摄像系统的特征。

(1A)具有检测冷藏库的门的打开角度的检测部(例如，主微机52)，在检测部判断为规定角度(例如，85度)以上的情况下，能够自动地进行拍摄。

(2A)在进行拍摄时，库内照明熄灭，摄像装置30的照明点亮，由此不仅调整为适合拍摄的照度，还具有向使用者通知拍摄的时刻的效果。

(3A)具有在冷藏库100的抽拉距离成为一定值以上时检测出来的检测部(例如，设置于抽拉部6)，通过利用检测部检测抽拉的操作并自动地进行拍摄，能够将蔬菜室、冷冻室的拍摄范围保持为大致一定范围。

(4A)在冷藏库的门具有拍摄用按钮(例如，拍摄按钮39)，在用户按下拍摄用按钮时，库内照明熄灭，在摄像装置30的照明点亮之后进行拍摄，因此容易识别进行拍摄的时刻。

(5A)对拍摄到的图像进行图像校正处理，通过利用广角摄像机校正畸变的图像，能够提供接近使用者的视线的图像。

(6A)具有使用者能够经由便携电话等确认上述图像的应用服务，上述图像能够利用设置于门(door)和上述抽拉部的检测部，自动地判断拍摄到的图像是哪个收纳室的图像。

如以上说明的那样，本实施方式的冷藏库100具有：前方开口的贮藏室(例如，冷藏室1)；设置于贮藏室前表面并具有能够转动的收纳部(例如，门收纳部11a、11b)的门(例如，冷藏室门1a、1b)；检测门的打开角度的开门角度检测单元；利用开门检测单元检测门打开的情况而照亮贮藏室的照明装置；设置于贮藏室外侧上部大致中央的摄像装置(例如，摄像装置30)；摄像装置具有广角视野的鱼眼透镜(例如，透镜34)；在拍摄时点亮的照明装置(例如，照明部38)；和发送拍摄到的图像数据的通信单元(例如，无线LAN单元42)。冷藏库100具有控制装置(例如，主微机52)，该控制装置在由开门角度检测单元检测到规定的打开角度时，对摄像装置进行拍摄指令。

在门打开了的状态下，由摄像装置拍摄到的图像如图11所示，由于广角视野的鱼眼透镜的作用，在1个拍摄图像中，不仅能够将贮藏室收纳在拍摄范围内，还能够将门收纳部整体收纳在拍摄范围内。而且，也能够将抽拉收纳部的蔬菜室(例如蔬菜室4)、冷冻室(例如下层冷冻室5)收纳于该拍摄范围，不需要如专利文献1那样在各收纳室分别设置多个摄像装置，也不需要用于变更拍摄范围的复杂且高价的驱动装置、驱动控制。

由摄像装置拍摄到的图像即使保持原样也足以掌握库内的收纳物的状态，但由于鱼眼透镜的作用，图像弯曲，靠近摄像装置的对象物的畸变更大。另外，由于是从冷藏库上方看的视野图像，所以与通常使用者观察的配置于从冷藏库正面看的视野的位置关系不同，在视觉辨认性的方面存在改善的余地。

根据本实施方式，通过进行接下来的图像处理(S39)，能够将由具有广角视野的鱼眼透镜的摄像装置30拍摄到的有畸变的弯曲的图像，以接近从平时使用者观察冷藏库的正面观察的视野的位置关系的状态提供库内图像。

图10是表示第1实施方式的图像处理(S39)的流程图。参照图11至图16对各处理的图像进行说明。图11是表示图像处理前的库内(作为冷藏室1内的贮藏库c、作为门收纳部11a的门收纳部a、作为门收纳部11b的门收纳部b)的图像。图12是表示各收纳部的切取处理的图像。图13是表示各收纳部的畸变校正处理的图像。图14是表示各收纳部的旋转处理的图像。图15是表示各图像的梯形校正处理的图像。图16是表示各图像的合成处理的图像。

主微机52输入上述的拍摄图像(参照图11)(S391)，以分别包括各收纳部的范围的方式切取加工(切取处理)为扇形(S392)。具体而言，如图12所示，主微机52进行切取冷藏室1的内部图像、门收纳部11a、11b各自的图像、例如切取扇形的处理(参照图12)。

接着，主微机52进行由于鱼眼透镜的作用而弯曲的各收纳部的图像的畸变校正加工(畸变校正处理)(S393)。具体而言，如图13所示，主微机52进行冷藏室1的内部图像、门收纳部11a、11b的弯曲的图像各自的畸变校正处理。作为该畸变校正处理，能够使用各种公知的校正算法，例如能够执行预先(例如冷藏库出厂前)设定了参数的校准处理来校正畸变。

接着，主微机52进行图像旋转处理，该处理将畸变校正处理后的各收纳部的图像分别旋转至成为使用者的观察状态即从正面观察的视野的朝向(S394)。具体而言，如图14所示，主微机52以成为使用者的观察状态即从正面观察的视野的方式将门收纳部11a配置在左侧，同样地将门收纳部11b配置在右侧。

接着，主微机52对在进深方向上畸变为梯形的图像进行畸变校正加工(梯形校正处理)使其成为长方形(S395)。具体而言，如图15所示，主微机52对冷藏室1的内部图像、门收纳部11a、11b的图像进行梯形校正处理。例如执行作为透视投影变换及其补充处理的最邻近法、lanczos法等处理，能够将大致梯形或扇形的收纳部的图像变换为大致长方形。

接着，主微机52对在S395中生成的图像进行图像合成处理，生成为1张图像(S396)。将该图像显示在智能手机55(参照图7)的应用程序上。其中，实施方式表示的是1个例子，各工序可以适当地前后调整顺序。

第1实施方式的冷藏库内的图像数据处理方法是对具有在拍摄范围内包含多个食品收纳区域的广角透镜的摄像装置拍摄到的图像数据进行处理的冷藏库内的图像数据处理方法，其特征在于，包括并执行以下处理：切取处理(S392)，从由摄像装置30拍摄到的图像数据切取多个部分；合成处理(S396)，对通过切取处理切取到的图像进行合成；和输出处理(S40)，将通过合成处理合成后的图像作为1个图像数据输出。通过切取处理，能够从所输入的拍摄图像(图11)中除去不是食品收纳区域的区域、例如未拍摄到食品而仅拍摄到冷藏库的壁面、库外的地面等的区域的至少一部分。通过对切取出的各食品收纳区域的图像进行合成处理，合成后的图像(图16)对于显示该图像的例如智能手机55的显示画面整体，能够提高所显示的食品收纳区域的比例。在本实施方式中，对由1个摄像装置30拍摄到的1个图像执行切取处理，但也可以准备2个以上的摄像装置，拍摄2个以上的图像，分别切取含有在各个图像数据中包含的食品收纳区域的部分。

像这样，本实施方式的特征在于，食品收纳区域相对于图像数据整体所占的面积大小的比例，与利用广角透镜拍摄到的图像数据相比，合成处理后的图像较大。例如，如果比较图11和图16，则显现食品的区域变大，对于用户而言能够容易观察。

本实施方式的特征在于：通过切取处理切取出的多个部分的隔开距离在合成处理后变短。例如，如果将图12与图16进行比较，则图16所示的门收纳部a、贮藏库c、门收纳部b的隔开距离比图12所示的门收纳部a、贮藏库c、门收纳部b的隔开距离小，对于用户而言能够容易观察。另外，由于像门收纳部和贮藏库、2个门收纳部那样，将在实际距离中彼此隔开距离的多个收纳区域作为1个图像输出，因此不用像专利文献1那样使用户进行轻扫操作、轻击操作来切换显示图像，就能够容易观察整体。特别是，2个门收纳部以分别配置于不同的位置的门铰链为旋转轴且彼此向相反方向转动而打开，因此实际的隔开距离在冷藏库中比较大。

在本实施方式中，冷藏室1以对开式的贮藏室的例子进行了说明，但也能够应用于单开的贮藏室的情况。

＜＜第2实施方式＞＞

在第1实施方式中，对冷藏室1(第1贮藏室)的图像合成处理进行了说明，但并不限定于此。在第2实施方式中，对包括冷藏室1(第1贮藏室)和蔬菜室4等(第2贮藏室)的图像合成处理进行说明。

图17是表示将第2实施方式的冷藏库100的抽拉部6拉出了的状态的侧视图。图18是表示第2实施方式的冷藏库的抽拉部6的切取处理的图像。图19是表示第2实施方式的冷藏库的抽拉部6的放大处理的图像。用于拍摄库内的摄像装置30能够拍摄抽拉部6内。因此，能够根据抽拉部6的图像掌握收纳状态。

图20是表示第2实施方式的包含抽拉部6的各图像的合成处理的图像。在图20中，与图16相比，抽拉部6(第2贮藏库d)的图像也被合成。由此，用户能够一次性掌握包含冷藏室1(第1贮藏室)和蔬菜室4等(第2贮藏室)的收纳状态。另外，图16是从图12所示的拍摄图像进行了合成处理的图像。

即，冷藏库100的特征在于，至少具有对开式的第1贮藏室和在前后方向打开的第2贮藏室，切取处理对第1贮藏室和第2贮藏室进行。另外，冷藏库100也可以至少具有对开式的第1贮藏室和在前后方向打开的第2贮藏室，在第1贮藏室具有门收纳部，切取处理对第1贮藏室的库内、门收纳部和第2贮藏室进行。切取处理能够在检测到第2贮藏室的打开时进行第2贮藏室的切取。

图21是表示包含第2实施方式的抽拉部6的各图像的合成处理的图像的另一例。由于设想会显示图像的智能手机55的显示画面大多为长方形，因此如图21所示，也能够将门收纳部a、b的位置从贮藏库c的侧方移动，以使得合成后的图像整体成为长方形。在图21的例子中，以贮藏库c为中心使门收纳部a、b向与第2贮藏库d相反的一侧移动。

即，将至少1个门收纳部、第1贮藏室的库内和第2贮藏室分别作为食品收纳区域来执行切取处理。在合成处理中，配置成至少1个门收纳部和第2贮藏室隔着第1贮藏室的库内位于彼此相反的一侧。

＜＜摄像装置的变形例＞＞

在第1实施方式中，对摄像装置30具有滑动机构的情况进行了说明，但并不限定于此。在变形例中，说明折叠机构。

图22A是表示摄像装置30的通常时的状态的说明图。图22B是表示摄像装置30的收纳中途的状态的说明图。图22C是表示摄像装置30的收纳时的状态的说明图。

冷藏库100(参照图1)包括：形成前方开口的贮藏室的箱体；设置于贮藏室外的摄像装置30；和将所述摄像装置30以能够相对于至少与开口垂直的方向移动的方式进行支承的支承部45(铰链部)。

如图22A～图22C所示，摄像装置30的具有摄像机33的前端部构成为能够从支承部45起折叠(二折方式)，在包装时不影响进深尺寸，因此冷藏库相对于运输卡车的装载数量不会减少，即使在设置后，在不使用摄像装置30时也能够将其收纳，遮挡拍摄范围。

另外，摄像装置30也能够向观察库内的方向公转(绕铰链部以圆形轨迹移动；绕轴公转)。由于在圆形轨迹中存在箱体，因此能够公转的角度在从与公转面正交的方向观察时小于360°。此时，也可以在摄像装置30安装能够赋予公转方向的力的驱动部，控制为在摄像时窥视冷藏室等库内的角度。例如，在拍摄时，能够使摄像装置30位于门的移动轨迹内。通过采用这样的方式，能够更有效地对库内进行拍摄，而且在拍摄结束后能够恢复到门的移动轨迹外，或者公转到比门、贮藏室的前方开口的缘面靠后方的位置而将其收纳，其特征在于，容易加长将支承部45(铰链部)与摄像机连接的臂。

此外，本发明并不限定于上述的第1实施方式和第2实施方式，包括各种变形例。例如，上述的实施方式为了容易理解地说明本发明而详细地进行了说明，并不限定于必须包括所说明的全部结构。另外，对于上述实施方式的结构的一部分，能够进行其他结构的添加、删除、置换。例如，图3的拍摄按钮39可以设置于冷藏室门1a，也可以设置于抽拉部6的上表面。另外，也可以准备多个用于拍摄的摄像装置，使用分别拍摄到的图像所包含的食品收纳区域的图像数据，合成处理为1个图像。

根据本实施方式的冷藏库100，对由具有设置于贮藏室的外侧的鱼眼透镜(广角透镜)的摄像装置拍摄到的弯曲图像进行畸变校正、切取加工、合成，输出1张图像，由此，能够使显示操作装置上的图像切换操作为最小限度，并且能够提供接近使用者的观察状态的库内图像。

具有设于贮藏室外的鱼眼透镜等广角透镜的摄像装置，从上方俯瞰地拍摄包含门收纳部的贮藏室内部，进行弯曲了的图像的畸变校正、各收纳部的切取加工、加工后的图像合成，通过这些图像处理，能够用1张图像以接近使用者的视线的状态提供冷藏库内的状况，库内状况的识别变得容易。另外，由于不需要设置许多摄像装置、或具有可变的复杂控制的摄像装置，因此在成本方面占优势，能够解决因收纳物靠近透镜而导致的透镜的损伤、拍摄范围的阻碍等问题。用户在外出目的地也能够通过图像确认冷藏库内的最新的状况，能够带来不必要的购物、食品损失的降低。

附图标记说明

1 冷藏室(第1贮藏室)

1a、1b 冷藏室门

2 制冰室(第2贮藏室)

2a 制冰室门

3 上层冷冻室(第2贮藏室)

3a 上层冷冻室门

4 蔬菜室(第2贮藏室)

4a 蔬菜室门

5 下层冷冻室(第2贮藏室)

5a 下层冷冻室门

6 抽拉部

10 箱体

10a 开口缘面

11a、11b 门收纳部

30 摄像装置

31 壳部

32 盖部

33 摄像机(摄像部)

34 透镜(广角透镜)

35 遮光壁

38 照明部

39 拍摄按钮(拍摄指令接受部)

41 控制SoC(输出部)

42 无线LAN单元

45 支承部(铰链部)

51 门传感器

52 主微机(处理装置)

53 家庭内路由器

54 服务器

55 智能手机

100 冷藏库。

Claims (9)

1.一种冷藏库内的图像数据处理方法，其特征在于：

所述冷藏库包括：在前方具有开口的贮藏室；用于开闭该开口的、设置有门收纳部的旋转式的门；和配置在所述贮藏室的外侧的、具有广角视野的透镜的摄像装置，

所述摄像装置在所述门打开的状态下拍摄图像数据，

以在一个该图像数据中包含所述贮藏室和所述门收纳部的方式配置所述摄像装置和所述透镜，

执行切取处理，从由所述摄像装置拍摄到的1个图像数据中，切取分别包含作为食品收纳区域的所述贮藏室和所述门收纳部的多个部分。

2.如权利要求1所述的冷藏库内的图像数据处理方法，其特征在于：

在所述切取处理中，除去不是所述食品收纳区域的区域的至少一部分。

3.如权利要求1所述的冷藏库内的图像数据处理方法，其特征在于：

执行下述处理：

合成处理，使用多个所述部分生成1个图像数据；和

输出处理，输出在所述合成处理中合成的1个所述图像数据，

食品收纳区域相对于所述合成处理后的图像数据整体所占的面积的比例，大于食品收纳区域相对于所述摄像装置拍摄到的图像数据整体所占的面积的比例。

4.如权利要求3所述的冷藏库内的图像数据处理方法，其特征在于：

通过所述切取处理切取出的多个所述食品收纳区域的隔开距离，在所述合成处理后变短。

5.如权利要求1所述的冷藏库内的图像数据处理方法，其特征在于：

所述冷藏库至少具有作为所述贮藏室的第1贮藏室和抽拉打开的第2贮藏室，

将所述第1贮藏室的库内、所述门收纳部和所述第2贮藏室分别作为所述食品收纳区域来执行所述切取处理。

6.一种冷藏库，其特征在于，包括：

在前方具有开口的贮藏室；

用于开闭该开口的、设置有门收纳部的旋转式的门；和

配置在所述贮藏室的外侧的、具有广角视野的透镜的摄像装置，

所述摄像装置在所述门打开的状态下拍摄图像数据，

以在一个该图像数据中包含所述贮藏室和所述门收纳部的方式配置所述摄像装置和所述透镜，

从由所述摄像装置拍摄到的1个图像数据中，切取分别包含作为食品收纳区域的所述贮藏室和所述门收纳部的多个部分。

7.如权利要求6所述的冷藏库，其特征在于：

所述摄像装置能够通过公转从所述开口向前方和后方移动。

8.如权利要求6所述的冷藏库，其特征在于：

具有配置在所述贮藏室内的照明装置，

在所述摄像装置进行拍摄时，将所述照明装置熄灭而执行拍摄。

9.如权利要求8所述的冷藏库，其特征在于：

所述摄像装置具有照明部，

在所述摄像装置进行拍摄时，将所述照明部点亮而执行拍摄。