CN117716436A - 区域管理设备和程序 - Google Patents

区域管理设备和程序 Download PDF

Info

Publication number
CN117716436A
CN117716436A CN202280049854.1A CN202280049854A CN117716436A CN 117716436 A CN117716436 A CN 117716436A CN 202280049854 A CN202280049854 A CN 202280049854A CN 117716436 A CN117716436 A CN 117716436A
Authority
CN
China
Prior art keywords
health index
food
management
food material
health
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280049854.1A
Other languages
English (en)
Inventor
林大介
稻田圭介
森泰久
加藤功记
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Global Life Solutions Inc
Original Assignee
Hitachi Global Life Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Global Life Solutions Inc filed Critical Hitachi Global Life Solutions Inc
Publication of CN117716436A publication Critical patent/CN117716436A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Operations Research (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Biomedical Technology (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Pathology (AREA)
  • Economics (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)

Abstract

现有技术中,在关于贮藏库的食材的建议中,没有考虑当前的库存的营养素,存在成为库存过剩的原因的可能性,或是没有考虑过去的摄取营养素,并不清楚能够预防多长期间的购买不足。为了解决上述课题,作为本发明的区域管理设备的一例的贮藏食材的冷藏库(1)中,具有:识别上述冷藏库(1)的管理区域的使用状况的识别部(124);基于上述使用状况、确定对于规定使用者推荐摄取的营养素、计算与该营养素相应的健康指数的健康指数计算部(126);和显示上述健康指数的显示部(128)。

Description

区域管理设备和程序
技术领域
本发明涉及进行关于包括食材的物品的收纳和贮藏(以下简称为贮藏)的信息处理的区域管理设备。其中,特别涉及进行与包括库内库存的使用状况相应的信息提供的技术。另外,区域管理设备中,在进行贮藏的贮藏库之外,也包括用于对其管理的计算机、便携终端、网络服务器、以及包括其中至少一者的库内管理系统(区域管理系统)。进而,贮藏库只要能够贮藏物品即可,包括冷藏库、收纳柜和地板收纳等食品柜、食品贮藏室、物品架等。
背景技术
当前,与健康意识的提高相应地,存在进行不足营养价值和食材等的建议的技术。例如,存在根据用户摄取的过去某一期间的菜单取得摄取营养素,根据与应当摄取的营养素的差,计算不足营养素,计算适当的菜单的技术(专利文献1)。专利文献1中,记载了“计算任意期间中使用的菜单的总营养价值量,展示能够摄取在营养均衡方面看来不足的营养价值的菜单”。
另外,存在考虑当前库存的营养素、建议优先购买补充不足的营养素的低成本的食材的技术(专利文献2)。专利文献2中,记载了“同时实现基于库存食材的总性价比评价的优先消费食材的展示、和使价格与消费者的不足营养素补给的均衡即性价比最优的推荐购买食材的展示的冷藏库”。
现有技术文献
专利文献
专利文献1:日本特开2002-251518号公报
专利文献2:日本特开2006-90646号公报
发明内容
发明要解决的课题
此处,在不足营养价值和食材等的建议中,通过考虑贮藏库的库存(库内库存)等使用状况,能够进行更适合使用者的建议。但是,专利文献1中,没有考虑当前库存的营养素,存在成为库存过剩的原因的可能性。另外,专利文献2中,没有考虑过去的摄取营养素,虽然存在能够抑制库存过剩的可能性,但并不清楚能够预防多长期间的购买不足。如上所述,专利文献1和2中,难以进行符合使用者的摄取状况的建议。
用于解决课题的方法
为了解决上述课题,本发明中,对于使用者,考虑今后推荐摄取的营养素,使用表示使用者的营养状况的管理标志。更优选基于与贮藏库的使用状况相应的推荐摄取的营养素,计算与营养素相应的健康指标。另外,生成与包括健康指标或营养参数的健康管理标志相应的、关于用于摄取营养素的食谱的建议信息。
更具体而言,本发明包括以下(1)(2)的结构。
(1)一种进行关于食材的贮藏的信息处理的区域管理设备,其具有:识别部,其识别关于所述贮藏的管理区域的使用状况;健康指数计算部,其基于所述使用状况,确定对于规定使用者推荐摄取的营养素,计算与该营养素相应的健康指数;和输出部,其输出所述健康指数。
(2)一种进行关于食材的贮藏的信息处理的区域管理设备,其具有:识别部,其识别关于所述贮藏的管理区域的使用状况;健康管理标志计算部和健康指标计算部,其基于关于所述贮藏的管理区域的所述使用状况,确定对于规定使用者推荐摄取的营养素,计算表示所述使用者的营养状况的健康管理标志;建议信息生成部,其与所述健康管理标志相应地,生成关于用于摄取确定出的所述营养素的食谱的建议信息;和输出部,其输出所述建议信息。
另外,本发明中,包括使用上述(1)(2)的区域管理设备的健康管理方法和计算机程序。另外,(1)(2)的区域管理设备包括贮藏库和便携终端等计算机。进而,包括上述贮藏库和计算机的系统和子系统也包括在本发明的区域管理设备中。
发明效果
根据本发明,能够进行符合包括使用者的摄取的状况的关于营养素的摄取的建议。
上述以外的课题、结构和效果将通过以下实施方式的说明而说明。
附图说明
图1是实施例中的库内管理系统的整体结构图。
图2是表示实施例1中的库内管理处理的流程图。
图3是表示用摄像机拍摄的鱼眼摄像机图像CG的一例的图。
图4是表示将鱼眼摄像机图像CG转换为平面图像得到的图像的一例的图。
图5是表示实施例中使用的食材营养成分表的一例的图。
图6是表示建议信息的显示例的图。
图7是表示便携终端上显示的订购画面的一例的图。
图8是表示实施例中的库内管理处理的流程图。
图9是表示实施例2中显示的健康食谱的一例的图。
图10是表示在冷藏库主体的库内设置了摄像机的例子的图。
图11是表示进行库内管理处理的便携终端7的结构的图。
具体实施方式
以下,基于附图说明本发明的实施方式。本实施方式中,使用贮藏库作为区域管理设备。本实施方式中,识别贮藏库的使用状况,基于它计算营养参数和健康指数作为与使用者应当摄取的营养素相应的、表示使用者的营养状况的管理标志。然后,基于计算出的管理标志,建议关于用于摄取使用者应当摄取的营养素的食谱的信息。关于该食谱的信息中,包括料理内容即食谱、推荐追加的追加食材、食谱的烹饪方法。
后述的实施例中,作为贮藏库举出冷藏库为例进行说明。但是,本实施方式的贮藏库不限于冷藏库,也包括物品架等。另外,不限定于特定的库和架等家具或家电,也能够设为保管用户消费的食材的区域(以下有时称为管理区域)。例如,能够设为用户的自家的全部区域。实施例中,作为管理区域的一例,说明贮藏库的库内。有时将管理区域中保管的作为管理对象的食材称为管理食材。
另外,作为拍摄部,举出摄像机为例进行说明。但是,本实施方式不限于摄像机,也能够广泛应用于重量传感器和霉菌毒素检测等的传感器信息、IC标签信息、包装信息的文字识别等。
另外,本实施方式中,识别部进行管理区域的管理,例如识别贮藏库的食材和使用者消费的食材等使用状况。以下实施例中,识别部使用拍摄部的拍摄结果进行识别,但也可以采用与使用者对智能手机等便携终端7和贮藏库自身的输入相应地进行识别的结构。另外,本实施方式和以下实施例中,作为物品,举出食材为例进行说明。另外,食材可以是材料,也可以是已烹饪的食品和调味料。另外,以下各实施例中的库内管理系统(区域管理系统)和后述的各装置及其组合包括在本发明的区域管理设备中。
(实施例1)
首先,使用图1~图7,说明实施例1。图1是实施例1和后述的实施例2中的库内管理系统(区域管理系统)的整体结构图。库内管理系统是冷藏库1经由网络CN与便携终端7、网络服务器8和计算机9相互连接而构成的。以下,对于各装置进行说明。
首先,冷藏库1包括控制部10、和作为“贮藏库主体”的冷藏库主体20。
另外,作为外部装置的便携终端7,是由冷藏库1的用户(使用者)使用的终端。便携终端7如后所述,显示从冷藏库1发送的食材订购一览。便携终端7能够用平板、智能手机、PC等信息处理装置实现。另外,实施例1和2的主要处理用冷藏库1(控制部10)执行,但也可以用便携终端7执行,也可以由冷藏库1和便携终端7分担执行。关于这一点,使用图11在后文中叙述。
另外,网络服务器8中,例如包括网络超市和食谱网站等。冷藏库1通过与其通信,能够购买食材和获取烹饪方法、食谱等。另外,计算机9是用于发布进行实施例1和2中的信息摘要等用的机器学习模型等的计算机。
接着,对于冷藏库1的详情进行说明。在冷藏库主体20的上部,安装拍摄库内的摄像机50。另外,摄像机的位置不限于库外,也可以是库内。图10是表示在冷藏库主体20的库内设置了摄像机50a~e的例子的图。摄像机50a和摄像机50b是在门上部设置的例子。另外,摄像机50c是在主体内部上部设置的例子。如此一般,各摄像机也能够设置在冷藏库主体20内部的上方以外的位置。作为其例子,可以举出摄像机50d和摄像机50e的位置。摄像机50d设置在门中央部,摄像机50e设置在库内下部。另外,摄像机的设置位置和数量并不限定于图10的例子。特别是设置的数量在1台以上即可。
另外,控制冷藏库1的控制部10例如包括处理器11、存储装置12、与网络CN连接的通信部(图中I/F)14、I/O接口13(图中I/O)。另外,存储装置12包括由易失性或非易失性的存储器构成的主存储装置、和由闪存或硬盘驱动器等构成的辅助存储装置。
也能够将存储装置12中存储的计算机程序和数据的一部分或全部经由通信网络CN发送至外部。反之,也能够从外部的计算部9等经由通信网络CN对存储装置12发送计算机程序和数据并存储。
另外,也能够对于控制部10连接闪存或硬盘驱动器等存储介质MM,在存储装置12与存储介质MM之间传输计算机程序和数据的一部分或全部。
在存储装置12中,存储了实现拍摄部121、图像转换部123、识别部124、表控制部125、健康指数计算部126、建议信息生成部127、显示部128、订购部129、和库内控制部130的规定的计算机程序。另外,存储装置12中,包括图像缓冲122。但是,图像缓冲122也可以是独立的结构。
然后,处理器11通过执行该各计算机程序,而实现各功能部(除上述121~130中的图像缓冲122之外)。即,图1中的存储装置12的各功能部相当于程序。因此,能够将该各部改称为各计算机程序,后述的各部的处理、功能是处理器11用各计算机程序实现的。但是,该各部也可以用专用硬件或FPGA(Field Programmable Gate Array)等实现。另外,进而,这些计算机程序可以构成为1个或不足图示数量的数量。该情况下,各功能部能够构成为计算机模块(也简称为模块)。
如上所述,处理器11通过按照计算机程序执行处理,而作为提供规定功能的功能部工作。例如,处理器11通过按照图像转换程序执行处理而作为图像转换部123发挥功能。对于其他计算机程序也是同样的。进而,处理器11也作为提供各计算机程序执行的多个处理各自的功能的功能部工作。另外,本实施例中,用处理器11这1个处理器执行计算机程序,但也可以用多个处理器执行。
拍摄部121经由I/O接口13从摄像机50取得摄像机图像,将取得的摄像机图像保存至图像缓冲122。作为“摄像机部”的摄像机50构成为鱼眼摄像机。摄像机50例如具有鱼眼或广角镜头。
图像转换部123将用鱼眼或广角镜头拍摄的摄像机图像转换为平面图像。将用鱼眼或广角镜头拍摄的图像展开为平面图像的情况下,能够使用公知技术,所以省略说明。
识别部124由基于学习的图像识别部和基于规则的图像识别部构成。基于学习的图像识别部和基于规则的图像识别部分别根据转换后的平面图像识别库内的食材。基于学习的图像识别部例如包括预先进行了学习的深度学习等机器学习模型,在输入平面图像时,输出平面图像中包括的食材的识别结果。
另外,基于规则的图像识别部在输入平面图像时,基于规则识别库内的食材。基于规则的图像识别部对于输入的平面图像进行区域分割,按每个区域进行物品的标记,用文本输出识别出的标签的内容。另外,该基于学习的图像识别部和基于规则的图像识别部分别能够应用公知技术。
本实施例的识别部124使用图像识别冷藏库1的使用状况,但不限定于如上所述。该情况下,拍摄部121、图像缓冲122和图像转换部123能够省略。然后,代替它们地设置用于识别部124中的识别的结构。例如,使用重量传感器的情况下,设置进行用于使重量与食材对应的处理的功能部。
另外,表控制部125控制规定每种食材的营养成分的食材营养成分表T1(参考图5)的内容。即,表控制部125访问食材营养成分表T1,在其他功能部中使用其结果。食材营养成分表T1设置在表控制部125的内部。另外,食材营养成分表T1的营养成分是用健康指数计算部126计算健康指数时的营养基准(基准值)。作为该营养成分,可以举出文部科学省的“日本食材标准成分表2020年版”的值为例。
但是,食材营养成分表T1不限于本例,也可以由食材制造商等独自创建每种食材的营养成分的值。
另外,健康指数计算部126根据库内健康指数(管理区域健康指数)和消费健康指数计算健康指数。该计算中包括前期准备。该前期准备由以下2个阶段构成。第一阶段中,健康指数计算部126从表控制部125参照识别出的食材的营养素、即营养成分的值。作为该营养素,举出蛋白质、脂肪、碳水化合物为例。但是,实施例1和2也能够广泛应用于维生素和矿物质等营养素。
第二阶段中,健康指数计算部126对于识别出的各食材,在蛋白质、脂肪、碳水化合物的类别内进行合计,计算合计的蛋白质、脂肪、碳水化合物的比例。作为该比例,例如能够是将关注的食材的蛋白质、脂肪、碳水化合物分别转换为能量的情况下的、相对于总能量的比例。
另外,在计算库内健康指数时,健康指数计算部126对合计的蛋白质、脂肪、碳水化合物的比例与基准值进行比较,计算各库内营养参数。另外,本实施例中,作为基准值,使用表示厚生劳动省的“日本人的膳食摄取基准”(2020年版)的值的(式1-1)作为其一例。
p*:f*:c*=13~20:20~30:50~65……(式1-1)
其中:
p*+f*+c*=100……(式1-2)
此处,p*是蛋白质的摄取基准值,f*是脂肪的摄取基准值,c*是碳水化合物的摄取基准值。但是,基准值不限于厚生劳动省的值,也可以由食材制造商等独自设定基准值。也可以接受用户的人种、性别、年龄等的输入,考虑这些信息地设定。另外,也可以从用户接受各营养素的基准值的设定。
此处,营养参数是表示库内的食材等管理对象的食材的营养素的信息。因此,该值越高,则能够对用户建议越多量地购买含有该营养素的食材。另外,营养参数由库内营养参数和消费营养参数构成。某一营养素的营养参数将2种以上营养素作为全体,表示某一营养素相对于全体的比例。本实施例中,如上所述,作为营养素,以蛋白质、脂肪、和碳水化合物这3种作为全体进行说明。
另外,库内健康指数是对100减去蛋白质、脂肪、碳水化合物的各库内营养参数的绝对值而计算出的。该计算中,使用(式2-1)~(式2-5)。另外,库内健康指数如(式2-6)所表达,是0以上100以下的值。但是,数学式不限定于(式2-1)~(式2-6),也可以使用其他数学式。
库内健康指数=100-|npip|-|npif|-|npic|……(式2-1)
npip=xt2-p*……(式2-2)
npif=yt2-f*……(式2-3)
npic=zt2-c*……(式2-4)
其中:
xt2+yt2+zt2=100……(式2-5)
0≤库内健康指数≤100……(式2-6)
此处,npip是蛋白质的库内营养参数,npif是脂肪的库内营养参数,npic是碳水化合物的库内营养参数。另外,xt2是当前识别出的库内食材的蛋白质的比例,yt2是当前识别出的库内食材的脂肪的比例,zt2是当前识别出的库内食材的碳水化合物的比例。
即,关于某一营养素的库内营养参数的绝对值,表示了管理区域中保管的食材的营养素的比例以何种程度偏离作为基准的比例。因此,能够理解为某一营养素的库内营养参数的绝对值表示假设用户摄取了管理区域的全部食材的情况下,从现在到完成摄取这些食材的、用户的某一营养素的摄取均衡以何种程度偏离基准。
库内健康指数是对任意决定的最大值(本实施例中是100)减去各营养素的库内营养参数的绝对值的总和得到的。因此,库内健康指数表示作为管理对象的区域中保管的食材的营养素的均衡,即用户按现状的管理食材生活的情况下用户将会摄取的营养素的营养均衡的程度。
另外,消费健康指数是对100减去蛋白质、脂肪、碳水化合物的各消费营养参数的绝对值而计算出的。该计算中,使用(式3-1)~(式3-5)。
另外,消费健康指数如(式3-6)所表达,是0以上100以下的值。但是,数学式不限定于(式3-1)~(式3-6),也可以使用其他数学式。
首先,确定从过去的任意时机到现在消费的管理食材,计算该消费的管理食材含有的各营养素(本实施例中是蛋白质、脂肪、和碳水化合物)的总能量。即,计算从过去的任意时机到现在被用户摄取的各营养素的总能量。接着,对于各营养素,分别除以总能量。由此,能够计算出从过去的任意时机到现在被用户摄取的各营养素的比例。将它们分别称为蛋白质、脂肪、和碳水化合物的消费营养参数,分别定义为npcp、npcf、npcc。这些消费的管理食材的信息,能够用贮藏库中设置的摄像机等识别。详情另外记载。
即:
消费健康指数100-|npcp|-|npcf|-|npcc|……(式3-1)
npcp=(从过去的任意时机到现在被用户摄取的蛋白质的比例)……(式3-2)
npcf=(从过去的任意时机到现在被用户摄取的脂肪的比例)……(式3-3)
npcc=(从过去的任意时机到现在被用户摄取的碳水化合物的比例)……(式3-4)
npcp+npcf+npcc=100……(式3-5)
0≤消费健康指数≤100……(式3-6)
即,某一营养素的消费营养参数的绝对值,表示从用于指定的过去的时机到现在、消费管理区域的食材的人物即用户或与用户共同生活的人物消费的某一营养素相对于摄取总能量的比例。
消费健康指数是对任意决定的最大值(本实施例中是100)减去各营养素的消费营养参数的绝对值的总和得到的。因此,消费健康指数表示从用于指定的过去的时机到现在、消费管理区域的食材的人物已消费的营养素的保持均衡的程度。
另外,健康指数按库内健康指数与消费健康指数的例如相加平均计算。
该计算中,使用(式4)。
健康指数=(库内健康指数+消费健康指数)/2……(式4)
该健康指数的评价按A(80~100);非常好、B(60~79):好、C(40~59):普通、D(20~39):需要改善,E(0~19):非常需要改善这5个级别进行,但不限于此,也可以由制造商独自设定。因此,使用库内健康指数和消费健康指数计算出的健康指数,表示从用户指定的过去的时机直到完成摄取当前的管理食材、用户摄取的营养均衡。这样,能够考虑过去规定期间的摄取营养素的均衡和的当前的管理食材的营养均衡双方,评价营养均衡。
使用库内健康指数和消费健康指数计算出的健康指数,不限于用相加平均计算,能够用相乘平均或其他某种平均化的计算等、用没有妨碍的方法计算。
另外,库内健康指数是基于对库内识别出的各食材的营养素计算出的值。根据库内健康指数,例如能够以保持库内的健康营养均衡的方式对用户建议追加食材。
作为库内健康指数的计算例,当前时刻等规定时机识别出的库内食材的营养素的比例是蛋白质:脂肪:碳水化合物=20:35:45的情况下,与营养摄取量的基准值比例p*、f*、c*进行比较时,蛋白质在基准值范围内,脂肪比基准值上限多5,碳水化合物比基准值下限少5。该情况下,假设将脂肪的基准值设定为上限、将碳水化合物的基准值设定为下限,为了保持库内的健康均衡,而生成购买高碳水化合物的食材的建议信息,并建议。该比例的例子中的库内营养参数是npip=0、npif=-5、npic=5。另外,库内健康指数是100-5-5=90。
这样,为了提高库内健康指数或维持较高,而建议应当取得的食材,由此管理食材的营养均衡变好。进而,易于用管理食材充足地烹饪营养均衡好的菜单,易于减少必要的购物次数。
消费健康指数是根据判断为用户在从现在起在过去的某一期间内摄取的各食材的营养素计算出的值。根据消费健康指数,例如能够根据时序差分的消费营养均衡对用户建议适合消费的食材或优选的菜单。
对于时序差分,能够从前一天、2、3天前、1周前等中由用户自由地选择N天。因此,能够进行库内的库存可以持续至用户指定的N天后的购物建议。
作为该消费健康指数的计算例,考虑用户将时序差分设定为前一天、前一天消费的食材的营养素相对于总摄取能量的比例是蛋白质:脂肪:碳水化合物=23:37:40的情况。与营养摄取量的基准值比例p*、f*、c*进行比较时,蛋白质比基准值上限多3,脂肪比基准值上限多7,碳水化合物比基准值下限少10。可知碳水化合物的摄取比例较低。该情况下,为了调整时序差分的消费营养均衡,能够建议高碳水化合物的食材或菜单。消费营养参数是npcp=3、npcf=7、npcc=-10。另外,消费健康指数是100-3-7-10=80。
另外,健康指数是基于库存食材信息(库内健康指数)和食材消费历史(消费健康指数)计算出的。因此,健康指数是与营养素相应的指数,更优选采用基于营养参数的更易于理解的信息。
另外,基于健康指数和营养参数、即健康管理标志,考虑库内的库存量和应当摄取的营养素地建议应当追加购买的食材量。健康指数目的在于易于在库内确保在营养方面上今后应当摄取的食材的必要充分量。这样,健康管理标志表示使用者的营养状况,更优选包括健康指数和营养参数。
采用上述举例的库内健康指数和消费健康指数的值时,健康指数是库内健康指数(=90)+消费健康指数(=80)/2=85。营养参数是将库内营养参数与消费营养参数相加,npp=npip+npcp=3,npf=npif+npcf=2,npc=npic+npcc=-5。
另外,健康指数计算部126能够计算出作为与健康管理指数同样的一种健康管理标志的营养参数,所以能够视为一种健康管理标志计算部。
另外,建议信息生成部127包括追加食材决定部1271和健康食谱信息生成部1272。追加食材决定部1271中,为了提高健康指数,基于营养参数,考虑库内的库存量和应当摄取的营养素地建议应当追加购买的食材量。由此,在营养方面易于在库内确保在营养方面上今后应当摄取的食材的必要充分量。
上述举出的例子的情况下,健康指数是85,营养参数是npp=3、npf=2、npc=-5,因此建议购买蛋白质和脂肪的比例高、碳水化合物的比例低的食材,目的在于使健康指数提高。作为建议的追加购买食材例,可以举出蛋等。
另外,健康食谱信息生成部1272中,显示可以用库内食材制作的食谱,建议健康指数更高的食谱。用于追加购买的指标与健康指数无关,可以使用库内健康指数、消费健康指数中的某一方、或多个组合。由此,能够建议能够有效地摄取优选的营养素的丰富的食谱,易于抑制食物浪费地制作食谱。食谱信息可以从互联网上取得,也可以由制造商等独自创建表。食谱信息能够用公知技术取得。关于食谱信息的显示,设想按健康指数顺序排列显示,但不限于此,也可以不排列优先顺位地一览显示。
另外,建议信息生成部127也可以进而设置确定食谱所示的料理的烹饪方法的烹饪方法确定部。进而,建议信息生成部127也可以采用设置追加食材决定部1271、健康食谱信息生成部1272和烹饪方法确定部中的至少1方的结构。另外,烹饪方法确定部优选与健康食谱信息生成部1272同样地从外部装置获取烹饪方法。
另外,显示部128在未图示的冷藏库1上设置的液晶显示器等显示装置上显示健康指数和库内健康指数、消费健康指数、当前的库内营养均衡、过去消费的食材营养均衡、库内食材、追加购买食材、健康食谱等。另外,不需要显示上述中的全部,也可以仅显示某一项。此处,显示部128也可以实现为I/O接口13和I/F14等输出部。
另外,订购部129中,在便携终端7或冷藏库液晶显示器等显示装置上一览显示为了提高健康指数而建议追加购买的食材,自动订购显示的食材。或者,也可以通过用户按下订购按钮而对网络超市半自动订购食材。订购时的指标不仅是健康指数,也可以是库内健康指数或消费健康指数。另外,订购部129也可以不包括在处理中而省略。
另外,库内控制部130控制未图示的电动机和压缩机,控制冷藏库1的库内的温度和湿度。
接着,使用图3和图4,对于用摄像机50拍摄的图像进行说明。图3是表示用摄像机50拍摄的鱼眼摄像机图像GC的一例的图。本实施例的摄像机50是鱼眼镜头,在图4中示出用它拍摄的鱼眼摄像机图像GC。此处,难以直接使用该鱼眼摄像机图像CG使识别部124实施食材的识别。即,因为机器学习模型的学习阶段中,用没有畸变的图像实施学习,所以难以直接识别因鱼眼或广角镜头52而畸变的鱼眼摄像机图像GC。
因此,图像转换部123将用鱼眼镜头拍摄的含有畸变的图像转换为平面图像。为此,与上述计算机9协作地进行学习。此处,图4是表示将鱼眼摄像机图像GC转换为平面图像得到的图像的一例的图。为此,图像转换部123通过将除去畸变后的右门展开图像G32和正面展开图像G33和左门展开图像G34和上部展开图像G31合成,而生成识别用图像G30。
作为除去畸变的方法,可以使用公知的摄像机校准技术。作为一例,可以预先使用标板等畸变修正后的图案已知的图像,提取畸变修正前和修正后的特征点,基于这些特征点的位置坐标,推定鱼眼摄像机的参数。
以上,用摄像机50拍摄的图像的说明结束,接着对于本实施例的处理进行说明。
图2是表示由控制部10进行的库内管理处理的一例的流程图。首先,在步骤S16中,拍摄部121取得用摄像机50拍摄的可见光图像。
另外,拍摄部121优选将取得的可见光图像作为摄像机图像GC保存在图像缓冲122中。
接着,在步骤S17中,图像转换部123从图像缓冲122读取步骤S16中拍摄的摄像机图像GC,将鱼眼图像展开为平面图像。
接着,在步骤S18中,识别部124的基于学习的图像识别部接受由图像转换部123生成的识别用图像G30的输入,使从计算机9获取的机器学习模型执行食材的图像识别。另外,识别部124的基于规则的图像识别部接受由图像转换部123生成的识别用图像G30的输入,基于规则执行食材的图像识别,输出识别出的标签的内容。另外,基于学习的图像识别和基于规则的图像识别的处理顺序不限定于上述,也可以并行地执行。
接着,在步骤S19中,在健康指数计算部126中,使用食材营养成分表T1,计算健康指数。另外,该健康指数中,优选包括库内健康指数和消费健康指数。图5是表示食材营养成分表T1的一例的图。
基于食材营养成分表T1计算用识别部124识别出的库内食材的营养素的比例。为此,本步骤中,健康指数计算部126基于从库内识别出的各食材的营养素计算库内健康指数。库内健康指数是基于当前的用户的库存食材信息计算出的。库内健康指数目的在于为了基于消费健康指数对用户建议追加食材而保持库内营养均衡。
接着,在步骤S20中,健康指数计算部126基于判断为用户从现在起在过去的某一期间内摄取的食材消费历史计算消费健康指数。为此,健康指数计算部126能够根据库内的食材的时序差分(变化)、基于用户消费的食材,计算消费健康指数。为了该计算,识别部124优选根据库内的食材的时序变化确定由用户消费的食材即消费食材。
此处,消费健康指数目的在于与库内健康指数一同根据时序差分的消耗量均衡对用户建议适合消费的食材。对于时序差分,能够从前一天、2、3天前、1周前等中由用户自由地选择N天。因此,能够进行库内的库存可以持续至用户指定的N天后的购物建议。
接着,在步骤S21中,健康指数计算部126基于当前的用户的库存食材信息(库内健康指数)和食材消费历史(消费健康指数)计算健康指数。健康指数优选是与对于用户推荐摄取的营养素相应的指数,更优选是为了易于在库内确保在营养方面上今后应当摄取的食材的必要充分量的信息。
接着,在步骤S22中,建议信息生成部127的追加食材决定部1271确定追加食材。作为其一例,追加食材决定部1271为了提高健康指数,而基于营养参数,考虑库内的库存量和应当摄取的营养素地确定推荐购买的食材及其量,并输出。由此,在营养方面易于在库内确保在营养方面上今后应当摄取的食材的必要充分量。
此处,在以下示出步骤S22的一个具体例。追加食材决定部1271得知各营养素的不足。例如,蛋白质:不足30,脂肪:不足70等。接着追加食材决定部1271对于不足量最多的营养素(上述中是脂肪),从食材营养成分表T1中检索匹配的食材。例如,检索到坚果(脂肪:47.6)。
然后,追加食材决定部1271加上检索到的食材的营养素,计算新的不足值。上述例子中,成为蛋白质:不足10.2,脂肪:不足17.6。
接着,追加食材决定部1271检索新的不足量最多的营养素的食材。该情况下,追加食材决定部1271从食材营养成分表T1中检索用于满足脂肪:17.6的食材。另外,在不足量最多的营养素的食材的检索中,任意营养素过剩的情况下,追加食材决定部1271可以采用取消检索到的食材、检索营养素其次大的食材的结构,也可以直接采用检索结果。另外,也可以采用从用户接受是否进行取消的判断的结构。
另外,追加食材决定部1271也可以基于各营养素的不足的比例,用组合优化的算法进行计算,确定食材。该情况下,优选以使食材的量(个数、重量)最小的方式进行计算。
接着,在步骤S23中,显示部128将健康指数和库内健康指数、消费健康指数、当前的库内营养均衡、过去消费的食材营养均衡、库内贮藏的食材、追加食材、健康食谱、烹饪方法等显示在显示装置或便携终端7上。另外,不需要显示上述中的全部,也可以仅显示某一项。
此处,对于该显示例进行说明。首先,图6是表示建议信息的显示例的图。本显示可以用显示装置和便携终端7中的某一方执行,对于用便携终端7进行显示的情况进行说明。便携终端7如上所述能够用所谓智能手机实现。便携终端7不限于智能手机,也可以是平板型终端、可穿戴终端、膝上型终端等。另外,在便携终端7中运行的库内管理用应用程序经由网络CN,与冷藏库1定期或不定期地通信。另外,对于该应用程序(库内管理应用720),使用图11在后文中叙述。
接着,对于图6进行说明。图6所示的显示例分为左侧上部61和左侧左下部62、左侧右下部63、右侧部64。在左侧上部61,显示健康指数和综合评价。在左侧左下部62,显示库内食材信息(库内健康指数)和库内营养均衡。在左侧右下部63,显示消费食材信息(消费健康指数)和消费营养均衡。在右侧部64,显示为了提高健康指数、而考虑库内的库存量和应当摄取的营养素地建议应当新追加购买的食材。此处,显示的建议信息只要是关于用于摄取营养素的膳食菜单的信息即可,不限定于图6。
另外,在建议追加购买的含有较多营养素的食材中,也可以优先显示或仅显示用户过去消费率高的食材。作为其例子,对于建议与图6不同的追加食材的情况进行说明。该情况下,举出建议追加购买蛋白质、且经常食用含有较多蛋白质的纳豆和蛋的情况。这样的情况下的显示中,作为含有较多蛋白质的食材的显示,按香肠、猪肉、火腿、纳豆、蛋的顺序显示。但是,根据用户的食材消费历史得知存在特别多食用纳豆和蛋的倾向。该情况下,在下次的显示中,可以按纳豆、蛋、火腿、猪肉、香肠的顺序显示,或者仅显示纳豆和蛋。此处,建议信息的显示例的说明结束,返回图2,继续说明库内管理处理。
接着,在步骤S24中,订购部129在便携终端7或显示装置上一览显示建议追加购买的食材,自动订购显示的食材,或者也可以通过用户按下订购按钮而对网络超市半自动订购食材。另外,订购部129也可以不包括在处理中而省略。
此处,对于本步骤中的显示例进行说明。图7是表示便携终端7上显示的订购画面的一例的图。该订购画面是在触摸面板703上作为食材订购一览73显示的。该食材订购一览73包括从冷藏库1接收的建议追加购买的食材。
在食材订购一览73的下方,显示订购目标74和订购按钮75。检测出冷藏库1的用户对订购按钮75的操作时,对订购目标74发送食材订购一览73的内容。另外,图7中,示出了显示单个订购目标74的例子,但也可以显示多个订购目标74,能够由用户在订购时选择。或者,也可以从预先登记的多个订购目标中,与食材的种类相应地选择订购目标。
另外,追加食材决定部1271中生成食材订购一览73的时机,不限定于用摄像机50对库内拍摄后,能够定期或不定期地实施。
另外,示出了拍摄部121对冷藏库1的库内拍摄之后、实施食材的图像识别和食材订购一览73的生成和发送的例子,但不限定于此。例如,控制部10也可以将根据摄像机图像GC的识别结果计算出的食材订购一览73保持在存储装置12中,在从便携终端7接受了食材订购一览73的请求的情况下,将最新的食材订购一览73发送至便携终端7。由此,冷藏库1的用户通过参考便携终端7,即使在外出中也能够迅速地得知应当追加购买的食材。
进而,识别部124的机器学习模型能够与食材的包装的变更和追加等相应地更新为最新的机器学习模型。例如,可以将从未图示的服务器接收的机器学习模型更新为识别部124的机器学习模型。
如上所述,本实施例中,能够使用用户的物品消费历史(消费健康指数)、和当前的用户的贮藏库内物品信息(库内健康指数)计算健康指数,考虑库内的库存量和应当摄取的营养素地建议应当追加购买的食材量。关于物品消费历史(消费健康指数),通过由用户自由地选择过去时序差分的天数,能够进行贮藏库内的库存可以持续至选择的天数后的购物建议。
(实施例2)
使用图8和图9,对于建议用于提高健康指数的健康食谱的实施例2进行说明。本实施例中,以与实施例1的不同为中心进行说明。本实施例中,在可以用库内食材制作的食谱中,对用户建议健康指数更高的食谱。
图8是表示用控制部10进行的本实施例中执行的库内管理处理的例子的流程图。本处理的步骤S16~S18、S24与图2所述的步骤S16~S18、S24相同,所以省略说明。本处理中,新追加了步骤S25、S26。另外,本实施例的结构能够采用与实施例1同样的结构。
首先,在步骤S25中,健康食谱信息生成部1272对于可以用识别出的库内食材制作的食谱按健康指数顺序排列显示,建议健康指数更高的食谱。由此,建议能够有效地摄取优选的营养素的丰富的健康食谱,易于抑制食物浪费地制作食谱。另外,也可以不是按健康指数顺序排列,而是按库内健康指数或消费健康指数顺序排列。
接着,在步骤S26中,显示部128在便携终端7或显示装置等上,在健康指数和追加食材之外,也显示库内食材和健康食谱。图9是表示本步骤中显示的健康食谱一览65的一例的图。图9中,分为左侧部66和右侧部67。用显示部128在左侧部66显示库内食材的一览。另外,用显示部128在右侧部67按健康指数从高到低的顺序显示可以用库内食材制作的食谱。
另外,用户也能够与重视健康和重视耐力、活动等相应地自由指定健康食谱的种类。作为例子,可以举出料理种类指定1、料理种类指定2、料理种类指定3。料理种类指定1是重视均衡,是主食、主菜、副菜、汤、牛奶/乳制品、水果。料理种类指定2能够选择以鱼为中心或以肉为中心、以蔬菜为中心等。料理种类指定3能够选择重视健康大:夫妇家庭想要每日健康时、重视健康中:今天想要略不在意健康指数地进食时、重视耐力:想要让参加部活动后回家的孩子多吃时、活动:生日和考试通过庆祝等想要庆祝时等。
这样构成的本实施例也发挥与第一实施例同样的作用效果。进而,本实施例中,通过根据库内食材建议健康指数提高的食谱,能够建议能够有效地摄取优选的营养素的丰富的食谱,易于抑制食物浪费地制作食谱。
以上各实施例的库内管理处理是用冷藏库1的控制部10执行的,但也能够用其他装置执行。以下,对于用便携终端7进行库内管理处理的一个变形例进行说明。在图11中示出进行本变形例的库内管理处理的便携终端7的结构。本例的便携终端7具有处理器701、存储装置702、触摸面板703和通信部704。便携终端7如上所述,能够用智能手机等信息处理装置(计算机)实现。
然后,处理器701和存储装置702具有与图1所示的控制部10同样的功能。另外,触摸面板703作为输入输出部发挥功能。进而,通信部704与网络CN连接。该连接可以是无线的也可以是有线的。
此处,对于存储装置702中存储的、追加执行本变形例的处理的库内管理应用720(库内管理程序)进行说明。库内管理应用720由识别模块721、表控制模块722、健康指数计算模块723、建议信息生成模块724、订购模块725和库内控制指示模块726构成。另外,建议信息生成模块724由追加食材决定模块7241、健康食谱信息生成模块7242构成。它们构成为1个计算机程序(应用),但也可以用独立的计算机程序构成各模块,也可以将一部分模块合并实现为计算机程序。
另外,该各模块执行与图1所示的功能部同样的功能。即,具有以下对应关系。
识别模块721:识别部124
表控制模块722:表控制部125
健康指数计算模块723:健康指数计算部126
建议信息生成模块724:建议信息生成部127
追加食材决定模块7241:追加食材决定部1271
健康食谱信息生成模块7242:健康食谱信息生成部1272
订购模块725:订购部129
库内控制指示模块726:库内控制部130
另外,如上所述各模块执行与对应的功能部同样的处理,但库内控制指示模块726优选进而管理库内食材等的使用状况。
例如,库内控制指示模块726取得用户的输入和从食材的编码读取的信息,识别部124识别对应的食材。
另外,库内管理应用720优选经由网络CN对便携终端7发布。因此,网络CN用互联网实现。
根据以上各实施例和变形例,能够使用用户的物品消费历史(消费健康指数)、和当前的用户的贮藏库内物品信息(库内健康指数)计算健康指数,考虑库内的库存量和应当摄取的营养素地建议应当追加购买的食材量。关于物品消费历史(消费健康指数),通过由用户自由地选择过去时序差分的天数,能够进行贮藏库内的库存可以持续至选择的天数后的购物建议。
以上,本发明的说明结束,但本发明不限定于上述各实施例,包括各种变形例。例如,上述各实施例是为了更好地理解本发明而详细说明的,并不限定于必须具备上述说明的全部结构。
能够将某个实施例的结构的一部分置换为其他实施例的结构。也能够在某个实施例的结构上添加其他实施例的结构。对于各实施例的结构的一部分,能够删除、或追加其他结构、或置换为其他结构。
对于上述各结构、功能、处理部、处理单元等,例如可以通过在集成电路中设计等而用硬件实现其一部分或全部。另外,上述各结构、功能等,也可以通过处理器解释、执行实现各功能的程序而用软件实现。实现各功能的程序、表、文件等信息,能够保存在存储装置中。该存储装置中,包括非易失性半导体存储器、硬盘驱动器、SSD(Solid State Drive)等存储设备、或者IC卡、SD卡、DVD等计算机可读取的非暂时性数据存储介质。
另外,控制线和信息线示出了认为说明上必要的,并不一定示出了产品上全部的控制线和信息线。实际上也可以认为几乎全部结构都相互连接。
进而,上述实施例能够适当组合,这些实施例的组合也包括在本发明的范围中。
附图标记说明
1:冷藏库
7:便携终端
8:网络服务器
9:计算机
10:控制部
12:存储装置
121:拍摄部
20:冷藏库主体
50:摄像机
123:图像转换部
124:识别部
125:表控制部
126:健康指数计算部
127:建议信息生成部
128:显示部
129:订购部。

Claims (11)

1.一种区域管理设备,进行关于食材的贮藏的信息处理,其特征在于,具有:
识别部,其识别关于所述贮藏的管理区域的使用状况;
健康指数计算部,其基于所述使用状况,确定对于规定使用者推荐摄取的营养素,计算与该营养素相应的健康指数;和
输出部,其输出所述健康指数。
2.如权利要求1所述的区域管理设备,其特征在于:
所述识别部,作为所述使用状况,识别所述管理区域中收纳的管理食材、和所述管理区域中贮藏的食材中被消费了的消费食材,
所述健康指数计算部,使用与所述管理食材的营养素相应的管理区域健康指数和与所述消费食材的营养素相应的消费健康指数,计算所述健康指数。
3.如权利要求2所述的区域管理设备,其特征在于:
所述健康指数计算部,
计算表示所述消费食材的营养素的消费营养参数和表示所述管理食材的营养素的管理区域营养参数,
使用所述消费营养参数计算所述消费健康指数,
使用所述管理区域营养参数计算所述管理区域健康指数。
4.如权利要求3所述的区域管理设备,其特征在于:
所述健康指数计算部,还参照存储有表示每种食材的营养成分的食材营养成分表的存储部,使用所述食材营养成分表,确定所述管理食材和所述消费食材的营养素。
5.如权利要求2所述的区域管理设备,其特征在于:
所述健康指数计算部,作为所述消费健康指数,与所述消费食材中的从大致现在回溯的过去的期间内消费了的食材的营养素相应地进行计算。
6.如权利要求2所述的区域管理设备,其特征在于:
所述输出部与所述管理区域健康指数和所述消费健康指数中的至少一者相应地,输出与优选消费的食材、应当新获取的食材、或优选的菜单中的任意者关联的信息。
7.一种进行关于食材的贮藏的信息处理的区域管理设备,其特征在于,具有:
识别部,其识别关于所述贮藏的管理区域的使用状况;
健康管理标志计算部和健康指标计算部,其基于关于所述贮藏的管理区域的所述使用状况,确定对于规定使用者推荐摄取的营养素,计算表示所述使用者的营养状况的健康管理标志;
建议信息生成部,其与所述健康管理标志相应地,生成关于用于摄取确定出的所述营养素的食谱的建议信息;和
输出部,其输出所述建议信息。
8.如权利要求7所述的区域管理设备,其特征在于:
所述建议信息生成部具有决定追加食材的追加食材决定部、生成所述食谱的健康食谱信息生成部和确定所述食谱的烹饪方法的烹饪方法确定部中的至少一者。
9.如权利要求8所述的区域管理设备,其特征在于:
所述健康管理标志计算部,作为所述健康管理标志,计算表示所述推荐摄取的营养素的营养参数和与所述推荐摄取的营养素相应的健康指标中的至少一者。
10.如权利要求7所述的区域管理设备,其特征在于:
所述输出部输出所述建议信息和所述健康管理标志。
11.一种程序,其特征在于:
使1个以上处理器执行如权利要求1~10中任一项所述的区域管理设备的处理。
CN202280049854.1A 2021-10-12 2022-06-21 区域管理设备和程序 Pending CN117716436A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021167311A JP2023057695A (ja) 2021-10-12 2021-10-12 領域管理機器およびプログラム
JP2021-167311 2021-10-12
PCT/JP2022/024657 WO2023062880A1 (ja) 2021-10-12 2022-06-21 領域管理機器およびプログラム

Publications (1)

Publication Number Publication Date
CN117716436A true CN117716436A (zh) 2024-03-15

Family

ID=85988267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280049854.1A Pending CN117716436A (zh) 2021-10-12 2022-06-21 区域管理设备和程序

Country Status (3)

Country Link
JP (1) JP2023057695A (zh)
CN (1) CN117716436A (zh)
WO (1) WO2023062880A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000348122A (ja) * 1999-06-09 2000-12-15 Matsushita Electric Ind Co Ltd 履歴データベース装置
JP2013250699A (ja) * 2012-05-31 2013-12-12 Nikon Corp 献立支援装置、献立支援方法
JP7433833B2 (ja) * 2019-10-16 2024-02-20 株式会社日立ソリューションズ・クリエイト 献立提供システム

Also Published As

Publication number Publication date
JP2023057695A (ja) 2023-04-24
WO2023062880A1 (ja) 2023-04-20

Similar Documents

Publication Publication Date Title
US20210383457A1 (en) Self-shopping refrigerator
JP3171825U (ja) 健康管理機能を具有する電子スケール
US9165320B1 (en) Automatic item selection and ordering based on recipe
US20140095479A1 (en) Device, method, and system for recipe recommendation and recipe ingredient management
JP2016057022A (ja) 食材管理システム
US20170358020A1 (en) Informed food selection in a particular eating environment
CN104933504A (zh) 营养分析系统及其程序、顾客终端、商店终端及服务器
JP6903523B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2020181491A (ja) システム、プログラム、及び方法
US20140255883A1 (en) System and method for automated monitoring of food and beverage intake, determining associated nutritional information and comparing with a predetermined dietary plan
CN104216939A (zh) 饮食控管系统及方法
US20220406215A1 (en) Systems and methods for dynamically providing dynamic nutritional guidance
US20150254789A1 (en) System and method for providing an adaptive menu
CN110853728A (zh) 一种健康推荐信息处理系统以及方法
US10917753B2 (en) Electronic device and method for providing information by electronic device
CN112349385A (zh) 基于冷藏系统的食谱推荐方法、装置、设备及存储介质
CN117716436A (zh) 区域管理设备和程序
JP7226757B2 (ja) 健康管理支援装置、健康管理支援方法、およびプログラム
JP2020144583A (ja) 算出装置、算出方法および算出プログラム
CN114388102A (zh) 饮食推荐方法及装置和电子设备
KR20220032784A (ko) 헬스케어 제품 추천 정보 제공 방법 및 시스템
GB2498710A (en) Providing healthy diet advice based on calories
JP2022053343A (ja) 情報処理プログラム
JP2021168062A (ja) 情報処理装置及びプログラム
JP7345810B1 (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination