CN115759492B - 一种基于卷积神经网络算法的仓储管理方法及系统 - Google Patents

一种基于卷积神经网络算法的仓储管理方法及系统 Download PDF

Info

Publication number
CN115759492B
CN115759492B CN202211313512.4A CN202211313512A CN115759492B CN 115759492 B CN115759492 B CN 115759492B CN 202211313512 A CN202211313512 A CN 202211313512A CN 115759492 B CN115759492 B CN 115759492B
Authority
CN
China
Prior art keywords
warehouse
storage
result
transportation
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211313512.4A
Other languages
English (en)
Other versions
CN115759492A (zh
Inventor
郭海波
谢涛
杨欢欢
李妍洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Yeyichen Technology Co ltd
Original Assignee
Sichuan Yeyichen Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Yeyichen Technology Co ltd filed Critical Sichuan Yeyichen Technology Co ltd
Priority to CN202211313512.4A priority Critical patent/CN115759492B/zh
Publication of CN115759492A publication Critical patent/CN115759492A/zh
Application granted granted Critical
Publication of CN115759492B publication Critical patent/CN115759492B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种基于卷积神经网络算法的仓储管理方法及系统,涉及仓储运输装置技术领域,方法包括:采集仓库数据生成区域标识结果,对物品信息分析得到整合分析结果,仓储运输装置的装置信息、整合分析结果和区域标识结果一并生成运输规划结果,仓储运输装置通过运输规划结果进行目标仓储物品的实时运输管理,且得到仓储运输装置实时位置数据,再通过图像采集装置对仓库进行实时图像采集,基于卷积神经网络进行实时图像采集结果的特征识别生成障碍识别数据,以上为基础进行仓储运输装置的仓储控制反馈,解决了现有技术中仓储运输规划效果差、运输效率低、运输技术落后,实现了及时准确的路径规划调整,提高运输效率,保障运输智能性的技术效果。

Description

一种基于卷积神经网络算法的仓储管理方法及系统
技术领域
本发明涉及仓储运输装置技术领域,具体涉及一种基于卷积神经网络算法的仓储管理方法及系统。
背景技术
随着我国市场经济体制的不断完善,生产力的高速发展,作为企业管理的核心:仓库管理已成为企业发展竞争力的关键因素。但是在管理中,现有大型仓储运输系统中经常存在仓储物品多而繁杂,通过人员进行仓储运输的手段逐渐被淘汰,更多的是依赖于智能设备进行仓储的智能化运输,进而提高仓储过程的智能性,提高仓储效率,将人从机械的仓储劳动中解放出来。
现有技术中在通过智能设备仓储运输时,不能根据仓储物品、仓储运输装置的信息进行准确实时规划控制,进而导致仓储运输规划效果不佳、运输效率低、运输不智能的技术问题。
发明内容
本申请提供了一种基于卷积神经网络算法的仓储管理方法及系统,解决了现有技术中不能根据仓储物品、仓储运输装置的信息进行准确实时规划控制,进而导致仓储运输规划效果不佳、运输效率低、运输不智能的技术问题,通过结合物品信息、仓储运输装置和实时障碍识别,进而进行及时准确的路径规划调整,提高运输效率,保障运输的智能性的技术效果。
鉴于上述问题,本申请提供了一种基于卷积神经网络算法的仓储管理方法及系统。
第一方面,本申请提供了一种基于卷积神经网络算法的仓储管理方法,所述方法包括:采集仓库数据,基于所述仓库数据进行区域标识,生成区域标识结果;获得目标仓储物品的物品信息,对所述物品信息进行整合分析,生成整合分析结果;采集所述仓储运输装置的装置信息,基于所述装置信息、所述整合分析结果和所述区域标识结果进行仓储运输规划,生成运输规划结果;通过所述运输规划结果基于所述仓储运输装置进行所述目标仓储物品的实时运输管理,并获得所述仓储运输装置的实时位置数据;通过所述图像采集装置进行仓库的实时图像采集,并基于卷积神经网络进行实时图像采集结果的特征识别,生成障碍识别数据;通过所述运输规划结果、所述实时位置数据和所述障碍识别数据进行所述仓储运输装置的仓储控制反馈。
第二方面,本申请提供了一种基于卷积神经网络算法的仓储管理系统,所述系统包括:区域标识模块:所述区域标识模块用于采集仓库数据,基于所述仓库数据进行区域标识,生成区域标识结果;整合分析模块:所述整合分析模块用于获得目标仓储物品的物品信息,对所述物品信息进行整合分析,生成整合分析结果;运输规划模块:所述运输规划模块用于采集所述仓储运输装置的装置信息,基于所述装置信息、所述整合分析结果和所述区域标识结果进行仓储运输规划,生成运输规划结果;实时位置数据模块:所述实时位置数据模块用于通过所述运输规划结果基于所述仓储运输装置进行所述目标仓储物品的实时运输管理,并获得所述仓储运输装置的实时位置数据;识别障碍模块:所述识别障碍模块用于通过所述图像采集装置进行仓库的实时图像采集,并基于卷积神经网络进行实时图像采集结果的特征识别,生成障碍识别数据;控制仓储模块:所述控制仓储模块用于通过所述运输规划结果、所述实时位置数据和所述障碍识别数据进行所述仓储运输装置的仓储控制反馈。
本申请中提供的一个或多个技术方案,至少具有如下技术效果或优点:
本发明公开了一种基于卷积神经网络算法的仓储管理方法及系统,涉及仓储运输装置技术领域,方法包括:采集仓库数据生成区域标识结果,对物品信息分析得到整合分析结果,仓储运输装置的装置信息、整合分析结果和区域标识结果一并生成运输规划结果,仓储运输装置通过运输规划结果进行目标仓储物品的实时运输管理,且得到仓储运输装置实时位置数据,再通过图像采集装置对仓库进行实时图像采集,基于卷积神经网络进行实时图像采集结果的特征识别生成障碍识别数据,以上为基础进行仓储运输装置的仓储控制反馈,解决了现有技术中仓储运输规划效果差、运输效率低、运输技术落后,实现了及时准确的路径规划调整,提高运输效率,保障运输智能性的技术效果。
附图说明
图1为本申请提供了一种基于卷积神经网络算法的仓储管理方法流程示意图;
图2为本申请提供了一种基于卷积神经网络算法的仓储管理方法中整合约束信息分析结果流程示意图;
图3为本申请提供了一种基于卷积神经网络算法的仓储管理方法中障碍特征识别流程示意图;
图4为本申请提供了一种基于卷积神经网络算法的仓储管理系统结构示意图。
附图标记说明:区域标识模块a,整合分析模块b,运输规划模块c,实时位置数据模块d,识别障碍模块e,控制仓储模块f。
具体实施方式
本申请通过提供一种基于卷积神经网络算法的仓储管理方法及系统,涉及仓储运输装置技术领域,方法包括:采集仓库数据生成区域标识结果,对物品信息分析得到整合分析结果,仓储运输装置的装置信息、整合分析结果和区域标识结果一并生成运输规划结果,仓储运输装置通过运输规划结果进行目标仓储物品的实时运输管理,且得到仓储运输装置实时位置数据,再通过图像采集装置对仓库进行实时图像采集,基于卷积神经网络进行实时图像采集结果的特征识别生成障碍识别数据,以上为基础进行仓储运输装置的仓储控制反馈,解决了现有技术中仓储运输规划效果差、运输效率低、运输技术落后,实现了及时准确的路径规划调整,提高运输效率,保障运输智能性的技术效果。
实施例一
如图1所示,本申请提供了一种基于卷积神经网络算法的仓储管理方法,其方法应用于仓储管理系统,仓储管理系统与图像采集装置、仓储运输装置通信连接,其方法包括:
步骤S100:采集仓库数据,基于所述仓库数据进行区域标识,生成区域标识结果;
具体而言,本申请实施例提供的仓储管理系统用于对目标物体的物品基础信息,包括但不仅限于物品名称、物品大小、物品所属类别、物品货号等进行整理、统计以及管控,图像采集装置用于对目标物体进行图像信息的采集,同时获取实时图像信息进行记录与管控,其图像采集装置可以是摄像头,摄像机,相机,扫描仪,或其他带有拍照功能的设备,仓储运输装置通信用于在对目标物体进行运输的过程中,实时监测运输道路信息同时进行判断道路是否存在障碍物,并对障碍物进行动静监测,以此来在仓储运输的过程中对障碍物进行有效规避,首先,采集仓库数据,其包含仓库覆盖范围、仓库边界区域、仓库物体区域、仓库空间结构、仓库内部通道区域等,在这些信息的基础上,对该仓库数据再进行仓库区域的特定区域标识,再进一步由其特定区域标识来生成其所属标识结果,从而为后期仓储运输装置在进行运输时所生成的仓储控制反馈提供参考依据。
步骤S200:获得目标仓储物品的物品信息,对物品信息进行整合分析,生成整合分析结果;
具体而言,获取目标仓储物品的物品信息,其中仓储物品的物品信息包含但不仅限于物品名称、物品大小、物品所属类别、物品货号等,再对该物品信息进行整理、统计以及管控,从而进一步进行对仓储物品的物品信息的整合与分析,以此生成仓储物品的物品信息的整合分析结果,将仓储物品的物品信息的整合分析结果为基准从而为后期仓储运输规划提供参考依据。
步骤S300:采集仓储运输装置的装置信息,基于装置信息、整合分析结果和区域标识结果进行仓储运输规划,生成运输规划结果;具体而言,采集并获取仓储运输装置的装置信息,其中仓储运输装置可以是立体货架、堆垛机、室内搬运车、出入输送设备、分拣系统、升降设备(提升机或升降机)、以及计算机管理和监控系统等,在其装置信息的基础上,与储物品的物品信息的整合分析结果和仓库数据标识结果进行仓储运输规划,其中仓储运输规划是指在仓库中物品在被需要拿取以及存放时,包括装载时间,装载次数、卸载时间,卸载位置,卸载规划等等,路线、分配运输装置的数量、每次运输的多少等等,可以对该目标物品进行定位以及实时监测及更新物品位置,并制定在仓库中对物品的拿取及存放路线、分配运输装置的数量、每次运输的多少等,同时不仅需要实时同步物品位置信息及仓储运输装置,还需要对仓储运输装置到物品位置的路线进行规划以及规避途中障碍,在此基础上进一步生成运输规划结果,以该运输规划结果为基准,为后去获得仓储运输装置的实时位置数据以及仓储运输装置的仓储控制反馈作为参考。
步骤S400:通过运输规划结果基于仓储运输装置进行目标仓储物品的实时运输管理,并获得仓储运输装置的实时位置数据;
具体而言,在仓储运输装置对目标仓储物品进行实时运输管理的基础上,其中仓储运输装置可以是立体货架、堆垛机、室内搬运车、出入输送设备、分拣系统、升降设备(提升机或升降机)、以及计算机管理和监控系统等,该仓储运输装置同时对仓储物品进行当下的拿取以及存放,实时的对仓储物品进行运输管理,并在仓储运输装置的运输规划结果中获得仓库区域的标识结果、仓储物品的详细信息以及该仓储运输装置的装置信息,从而进一步获得仓储运输装置的实时位置数据,以此为后期进行仓储运输装置的仓储控制反馈提供参考依据。
步骤S500:通过图像采集装置进行仓库的实时图像采集,并基于卷积神经网络进行实时图像采集结果的特征识别,生成障碍识别数据;
具体而言,确定各个仓储物品、货架、仓库大小、仓库通道、仓库边界以及其他仓储运输装置等仓库内静止与运动物体的位置,从而通过图像采集装置进行仓库的实时图像采集,该图像采集装置可以是但不仅限于是摄像头,摄像机,相机,扫描仪,或其他带有拍照功能的设备,进一步对各个物体在仓库中静态或动态的位置变化进行采集,并在卷积神经网络的基础上对该实时图像采集结果同时进行同步实时的特征识别,示例性的,其图像采集装置将每间隔0.25秒采集一次仓库图像信息,并对所采集到的图像信息进行区域性的等块划分,再根据每一个等块所捕捉到的图像信息进行遍历、识别,以此来进一步确定所采集到的图像中各个物体在各个等块中的位置,对所采集到的图像中每一个识别出的物体进行位置标识与记录,在图像采集装置采集到第一次图像间隔0.25秒后采集到第二次图像时,其中第二次图像为捕捉到第一次图像后0.25秒所捕捉到的图像,将第二次图像信息中检索识别到的等块划分中各个物体位置信息与第一次图像信息中检索识别到的等块划分中各个物体位置信息进行深度重合比对,筛查出位置信息重合的物体,从而进一步检测出仓库内物体位置变化,并同时在每次捕捉图像信息的同时,重点排查所划分等块中仓库道路部分,将全通道仓库道路无障碍时的图像划定为仓储运输装置可正常运行状态,并将实时采集到的仓库图像与全通道仓库道路无障碍时的图像进行等块划分内的实时道路比对,通过两者比对来判定仓库道路中是否存在障碍物,从而进一步生成仓库道路障碍识别数据,以便对后续的仓储运输装置的仓储控制反馈进行合理的判断。
步骤S600:通过运输规划结果、实时位置数据和障碍识别数据进行仓储运输装置的仓储控制反馈。
具体而言,以仓储运输装置的运输规划结果、仓储运输装置的实时位置数据以及通过图像采集装置生成的障碍识别数据为基准,通过仓储运输装置的装置信息、仓储物品的详细信息整合分析结果与仓库区域标识结果进行仓储运输规划从而生成的仓储运输规划结果基于目标仓储物品的实时运输管理来生成仓储运输装置的实时位置数据,而其二者又与图像采集装置通过卷积神经网络进行的实时图像采集结果的特征比对所生成的障碍识别数据相结合,进而进行对仓库中仓储运输装置的仓储控制反馈,其中仓储运输装置包含但不仅限于立体货架、堆垛机、室内搬运车、出入输送设备、分拣系统、升降设备(提升机或升降机)、以及计算机管理和监控系统等,从而通过该仓储运输装置,进一步得到仓储控制反馈,其中仓储控制反馈是对仓储运输装置在仓库中运行进行制约、调整以求达到仓储运输装置在仓库中进行最大效率的合理化运行。
进一步的,采集仓库的各项数据,对仓库各项数据进行归纳、分析及统计,以此为基础对仓库数据进行区域标识,进一步生成区域标识结果,并在目标仓储物品中获取仓储物品的详细信息,同时对所有仓储物品的信息进行整合分析而后得到整合分析结果,再对仓储运输装置的装置信息进行采集,在所获得的装置信息的基础上,同时与仓储物品信息整合分析结果和区域标识结果进一步对仓储运输装置进行运输规划,以此生成运输规划结果,再通过仓储运输装置的运输规划结果以仓储运输装置进行目标仓储物品的实时运输管理为基础,同时获得仓储运输装置的实时位置数据,来为后期仓储运输装置的仓储控制反馈提供参考数据,再进一步基于卷积神经网络进行实时图像采集结果的特征识别,同时通过图像采集装置进行仓库的实时图像采集,进而生成障碍识别数据,在此基础上,通过运输规划结果、实时位置数据和障碍识别数据进行仓储运输装置的仓储控制反馈,对仓库仓储物品进行仓储运输规划,对仓储运输规划进行优化,以及时准确的路径规划调整、提高运输效率来保障运输智能性的技术效果。
进一步而言,如图2所示,本申请步骤S200还包括:
步骤S210:获得目标仓储物品的物品属性数据,基于物品属性数据进行目标仓储物品的仓储顺序排序,获得排序约束信息;
步骤S220:获得目标仓储物品的订单需求信息,基于订单需求信息生成订单排序约束信息;
步骤S230:对订单排序约束信息和排序约束信息进行整合评价,生成整合约束信息;
步骤S240:通过整合约束信息生成整合分析结果。
具体而言,基于仓储物品属性数据,即仓储物品的大小、仓储物品的可存放时间、仓储物品的名称、仓储物品大小、仓储物品所属类别以及仓储物品的货号等,对仓储物品进行分类顺序管理,其分类顺序管理是指依照仓储物品被赋予的属性,进行按照仓储物品的大小或按照仓储物品的存放时间亦或是按照仓储物品的货号进行顺序排列存放,从而获得仓储物品排序约束信息,即整合后的按照顺序存放的仓储物品信息,再进一步对仓储物品的订单需求信息进行获取,在订单中对仓储物品的需求量进行统计整理,将需求量由大到小依次对仓储物品货号进行排列,以此生成订单排序约束信息,从而明确订单对仓储物品的供需关系,再将所归纳统计出的仓储物品的排序约束信息与订单排序约束信息进行整合,进一步生成整合约束信息,再通过所获得的整合约束信息最终生成整合分析结果,该整合分析结果是指根据订单的需求量找到所对应的仓储物品,再由该供需关系对仓储物品排序的基础上,增加订单需求量约束,示例性的,存在某一仓储物品,假设根据货号排序在最末进行存放,但该仓储物品又是订单需求量最大的,即可根据供需关系进行位置或是仓库存放量进行调整,例如需求量大的仓储物品可给其留出的存放量也大,或是需求量大需要经常拿取的可将仓储物品调整到方便拿取的适当位置,以便为后续的仓储运输装置的拿取以及存放进行合理化管控。
进一步而言,如图3所示,本申请步骤S500还包括:
步骤S510:设定周期识别节点;
步骤S520:通过周期识别节点中的第一节点进行实时图像采集结果的特征识别,获得特征识别结果;
步骤S530:当特征识别结果为不存在障碍特征时,则对第一节点开启动静检测,关闭特征识别;
步骤S540:当动静检测检测出现动态特征和/或到达第二节点时,则重新开启特征识别,其中,第二节点为周期识别节点中第一节点的后一节点。
具体而言,将图像采集装置所采集到的图像信息进行周期性的识别节点设定,举例而言,其图像采集装置将每间隔0.25秒采集一次仓库图像信息,在通过周期识别节点中所采集到的第一节点并同时进行对该节点的图像采集结果进行特征识别,即每0.25秒所采集到的图像信息视为一个节点,并对所采集到的图像信息进行区域性的等块划分,再根据每一个等块所捕捉到的图像信息进行遍历、识别,以此来进一步确定所采集到的图像中各个物体在各个等块中的位置,对所采集到的图像中每一个识别出的物体进行位置标识与记录,在图像采集装置采集到第一节点的图像间隔0.25秒后采集到第二节点图像时,其中第二节点图像为捕捉到第一节点图像后0.25秒所捕捉到的图像,将第二次图像信息中检索识别到的等块划分中各个物体位置信息与第一次图像信息中检索识别到的等块划分中各个物体位置信息进行深度重合比对,筛查出位置信息重合的物体,从而进一步检测出仓库内物体位置变化,并同时在每次捕捉图像信息的同时,重点排查所划分等块中仓库道路部分,将全通道仓库道路无障碍时的图像划定为仓储运输装置可正常运行状态,并将实时采集到的仓库图像与全通道仓库道路无障碍时的图像进行等块划分内的实时道路比对,通过两者比对来判定仓库道路中是否存在障碍物,当该特征识别结果判定为不存在障碍特征时,则对该第一节点开启动静监测,即关闭每0.25秒时图像采集装置进行捕捉实时图像,来使得图像采集装置若不分情况进行持续性捕捉实时图像造成的浪费,包括该仓储运输装置的电力以及自带内存和其他不必要的计算,而当图像采集装置感应道路中出现动作时,再进行卷积识别,即当出现动态动作时将动态卷积特征为进行特征比对的卷积模块,获得仓储运输装置在仓库道路中运行的大数据的统计结果,并根据大数据统计结果下的仓库中不同的道路进行分类,对不同形态的仓库道路进行特征提取,根据特征提取结果获得第一特征,将第一特征作为第一卷积特征,对仓库分区结果的图像进行特征匹配,根据不同位置处的特征卷积结果判断目标障碍位置与目标特征的匹配程度,获得特征匹配度的计算结果,即图像采集装置未获得动态特征捕捉结果时,同时关闭特征识别来避免导致不断进行卷积识别所造成的资源浪费,而当动静监测检测出动态特征和/或到达第二节点时,则图像采集装置重新开启特征识别,其第二节点为该周期识别节点中的第一节点的后一节点,从而进一步生成仓库道路障碍识别数据,以便对后续的仓储运输装置的仓储控制反馈进行合理的判断。
进一步而言,本申请步骤S520还包括:
入库
步骤S521:当特征识别结果为存在障碍特征时,则通过所述特征识别结果进行初始定位,基于初始定位结果匹配所述关联图像采集装置;
步骤S522:通过所述关联图像采集装置进行图像采集,得到新增图像;
步骤S523:对所述实时图像采集结果和所述新增图像进行障碍的卷积特征识别,基于识别结果生成所述障碍识别数据,其中,所述障碍识别数据包括障碍位置数据、影响空间坐标数据;
步骤S524:通过所述障碍识别数据进行所述仓储运输装置的仓储控制反馈。
具体而言,将图像采集装置所采集到的图像信息进行周期性的识别节点设定后,所获得的实时图像采集结果特征识别,当该特征识别结果判定为存在障碍特征时,则会进一步对特征识别结果中存在障碍特征的物体进行初始位置的标识定位,从而基于存在障碍特征的物体的初始定位结果进行匹配关联图像采集装置,即该关联图像采集装置只对该存在障碍特征的物体进行实时图像采集,从而得到该存在障碍特征的物体的新增图像,再基于所采集到的实时图像采集结果与新增图像进行障碍的卷积特征识别,示例性的,根据两个图像比对将会检测出仓库中的动静变化,并同时判断此时是否存在有动态特征的物体,若判定出现动态特征时,再用卷积神经网络算法识别比对的方式进行实现,示例性的,根据图像采集装置所获取的图像信息,在所获取的图像信息的基础上,对该图像信息进行等分,同时根据图像等分中第一个区域设为起始点,即所获得的第一区域,标识为零点区域,再从第一区域开始进行遍历,将每一个区域中所得到的信息与仓库中无障碍时的特征进行匹配,从而生成仓库道路信息,后续每一次仓储运输装置在仓库道路中的动作以及变化,均以所述零点位置为基准点,并将变化信息进行标识记录,再通过对区域进行标识和分区,对仓储运输装置的动作以及仓库道路进行区域分区编码,为后续准确定位仓储运输装置,与仓库道路无障碍特征进行对比,提高捕捉仓储装置的准确性,为判定是否存在障碍物的精确性夯实了基础,再进一步基于该障碍的卷积特征识别结果生成障碍识别数据,其中,障碍识别数据包括障碍位置数据与影响空间坐标数据,其中障碍位置数据是指在遍历等块划分的区域时,对目标障碍进行区域块的定位,以此来精准获得目标障碍所在位置,以此得到障碍位置数据,并同时以仓库西南角作为坐标原点,以仓库由西南角往东作为x轴,以仓库由西南角往北作为y轴,以西南角向上作为z轴,以米为单位构建出仓库的空间坐标系,以坐标系中的(x,y,z)对仓库内的包括仓储物品、仓储运输装置以及所存在的目标障碍物用坐标进行精准的定位,即在障碍识别数据中对目标障碍物也用坐标进行定位,从而导致影响该空间坐标数据,进而生成影响空间坐标数据,进一步在获得障碍识别数据的基础上,为后续仓储运输装置的仓储控制反馈提供参考。
进一步而言,本申请步骤S524还包括:
步骤S5241:根据运输规划结果、实时位置数据和障碍位置数据匹配影响仓储运输装置集合;
步骤S5242:根据影响空间坐标数据进行影响仓储运输装置集合的通行评价,生成通行评价结果;
步骤S5243:基于通行评价结果进行仓储运输装置的运输路径调整。
具体而言,以仓储运输装置的运输规划结果、仓储运输装置的实时位置数据以及通过图像采集装置生成的障碍识别数据为基准,通过仓储运输装置的装置信息、仓储物品的详细信息整合分析结果与仓库区域标识结果进行仓储运输规划从而生成的仓储运输规划结果基于目标仓储物品的实时运输管理来生成仓储运输装置的实时位置数据,而其二者又与图像采集装置通过卷积神经网络进行的实时图像采集结果的特征比对所生成的障碍识别数据相结合,进而匹配影响仓储运输装置集合,该影响仓储运输装置集合是指包含但不仅限于对仓储运输装置的实时位置定位、仓库中的道路规划结果以及判定道路中的障碍物坐标,在此基础上进行三者的分析、归纳以及整合,从而生成影响仓储运输装置集合,进而进一步将影响空间坐标数据进行影响仓储运输装置集合的通行评价,再生成通行评价结果,该通行评价结果是指根据上述所获得的仓储运输装置的精准定位坐标以及对仓储运输装置的实时位置定位、仓库中的道路规划结果以及判定道路中的障碍物坐标,进一步进行归纳、整理与总结,以此基础上判断包括仓储运输装置的避障路线及仓储运输装置到达目的地的最短距离等,再由该通行评价结果进行对仓储运输装置的运输路径调整,其中包括如何生成最优路线使得该仓储运输装置在规避障碍的同时进行最短距离的规划,以此来为后期仓储运输装置的仓储控制反馈打好基础。
进一步而言,本申请步骤S5243还包括:
步骤S52431:基于通行评价结果获得通行仓储运输装置集合,根据实时位置数据进行通行仓储运输装置集合的通行顺序规划,生成通行顺序规划结果;
步骤S52432:获得顺序规划结果的第一通行仓储运输装置的装置信息,通过装置信息和影响空间坐标数据进行通行速度约束,构建第一通行时间节点;
步骤S52433:通过第一通行时间节点进行第二通行仓储运输装置的速度约束调整,其中,第二通行仓储运输装置为第一通行仓储运输装置的相邻后通行装置;
步骤S52434:根据第一通行时间节点和速度约束调整进行通行仓储运输装置集合的通行管理。
具体而言,由通行评价结果可以获得该仓储运输装置的集合,再根据实时定位得到各个仓储运输装置停放位置的不同,由各个仓储运输装置的停放位置来进行通行顺序规划,示例性的,在获得各个仓储运输装置的实时定位的基础上,当需要拿取一个仓储物品时,根据仓储运输装置的实时定位来找到离需要拿取的目标仓储物品最近的一个仓储运输装置,使得在损耗最小的基础上来对目标仓储物品进行拿取,进而生成仓储运输装置的顺序规划结果,在通过顺序规划对各个仓储运输装置进行出发顺序的规划后,各个仓储运输装置将根据其顺序规划结果进行运作,在获得顺序规划结果的第一通行仓储运输装置的装置信息,再由该装置信息包含但不仅限于仓储运输装置的类型、速度等与其影响空间坐标系数据进行速度约束,从而进一步构建出第一通行时间节点,即该仓储运输装置根据实时定位所运输的仓库路段不同,因此所遇到的障碍也不同,假设上坡时,该仓储运输装置检测到前方有障碍物后进行速度约束调整,可以是降速50%,但由于障碍物在上坡上,该障碍物可能会朝着坡下滚落,此时该仓储运输装置可调整降速为100%,来避免与障碍物的碰撞,故需要在仓储运输装置在运输的过程中对其速度进行制约,同时也可以避免与后车或前车发生偶发性的碰撞所导致的损失,由此生成该仓储运输装置的第一通行时间节点,即该仓储运输装置在何时间点到达何实时地点,进而通过该第一通行时间点进行第二通行仓库运输装置的速度约束调整,即在两辆相邻的仓储运输装置中,根据前车速度的快慢来约束并调整后车的速度,以避免不必要的碰撞及事故,最后根据其第一通行时间节点,即仓储运输装置在运行道路上遇到或未遇到障碍物时和对该仓储运输装置的速度约束调整进行仓储运输装置集合的通行管理,以其作为仓储运输装置的仓储控制反馈的参考之一。
进一步而言,本申请步骤S52434还包括:
步骤S524341:对通行仓储运输装置集合进行障碍通行评价,生成通行时间评价集合;
步骤S524342:通过所述通行时间评价集合获得通行滞后时间值;
步骤S524343:依据所述通行顺序规划结果进行逐次通行滞后时间值比对;
步骤S524344:当存在通行滞后时间值不满足预设时间阈值的第三通行仓储运输装置时,则将所述第三通行仓储运输装置进行路径更改。
具体而言,获取仓储运输装置的实时位置集合同时对当仓储运输装置在运输的过程中遇到障碍时则会进行避障的路径规划,以此所损耗的时间生成通行时间评价集合,在此基础上获得在仓储运输装置遇到障碍时的通行滞后时间值包括该仓储运输装置为避障停滞的时间单位,再进一步通过仓储运输装置的通行时间评价集合对各个仓储运输装置逐个进行通行滞后时间值比对,即存在两个相邻的仓储运输装置,前车在遇到障碍时需要进行避障,假设前车为第一辆遇到障碍的仓储运输装置并且每个仓储运输装置的避障时间相等,其避障时间为a,而后车需要等待前车避障后再进行避障则后车的避障时间则为2a,以此类推,而当存在通行滞后时间值不满足预设时间阈值的第三仓储运输装置时,其预设时间值是指若避障的时间成本大于绕路的时间成本则视为损耗时间,故当出现损耗时间时,将第三通行仓储运输装置则会进行路径修改,以此保证不会出现上述损耗时间,以此来完善仓储运输装置的仓储控制反馈。
实施例二
基于与前述实施例中一种基于卷积神经网络算法的仓储管理方法相同的发明构思,如图4所示,本申请提供了一种基于卷积神经网络算法的仓储管理系统,所述系统包括:
区域标识模块a:所述区域标识模块a用于所述区域标识模块用于采集仓库数据,基于所述仓库数据进行区域标识,生成区域标识结果;
整合分析模块b:所述整合分析模块b用于所述整合分析模块用于获得目标仓储物品的物品信息,对所述物品信息进行整合分析,生成整合分析结果;
运输规划模块c:所述运输规划模块c用于所述运输规划模块用于采集所述仓储运输装置的装置信息,基于所述装置信息、所述整合分析结果和所述区域标识结果进行仓储运输规划,生成运输规划结果;
实时位置数据模块d:所述实时位置数据模块d用于所述实时位置数据模块用于通过所述运输规划结果基于所述仓储运输装置进行所述目标仓储物品的实时运输管理,并获得所述仓储运输装置的实时位置数据;
识别障碍模块e:所述识别障碍模块e用于所述识别障碍模块用于通过所述图像采集装置进行仓库的实时图像采集,并基于卷积神经网络进行实时图像采集结果的特征识别,生成障碍识别数据;
控制仓储模块f:所述控制仓储模块f用于所述控制仓储模块用于通过所述运输规划结果、所述实时位置数据和所述障碍识别数据进行所述仓储运输装置的仓储控制反馈。
进一步而言,所述系统还包括:
仓储物品排序模块:其中仓储物品排序模块用于获得目标仓储物品的物品属性数据,基于物品属性数据进行目标仓储物品的仓储顺序排序,获得排序约束信息;
订单排序约束模块:其中订单排序约束模块用于获得目标仓储物品的订单需求信息,基于订单需求信息生成订单排序约束信息;
整合约束信息模块:其中整合约束信息模块用于对订单排序约束信息和排序约束信息进行整合评价,生成整合约束信息;
分析结果模块:其中分析结果模块用于通过整合约束信息生成整合分析结果。
进一步而言,所述系统还包括:
周期识别节点模块:其中周期识别节点模块用于设定周期识别节点;
特征识别模块:其中特征识别模块用于通过周期识别节点中的第一节点进行实时图像采集结果的特征识别,获得特征识别结果;
特征识别判定模块:其中特征识别判定模块用于当特征识别结果为不存在障碍特征时,则对第一节点开启动静检测,关闭特征识别;
检测模块:其中检测模块用于当动静检测检测出现动态特征和/或到达第二节点时,则重新开启特征识别,其中,第二节点为周期识别节点中第一节点的后一节点。
进一步而言,所述系统还包括:
障碍图像采集模块:其中障碍图像采集用于当特征识别结果为存在障碍特征时,则通过特征识别结果进行初始定位,基于初始定位结果匹配关联图像采集装置;
新增图像模块:其中新增图像模块用于通过关联图像采集装置进行图像采集,得到新增图像;
障碍识别模块:其中障碍识别模块用于对实时图像采集结果和新增图像进行障碍的卷积特征识别,基于识别结果生成障碍识别数据,其中,障碍识别数据包括障碍位置数据、影响空间坐标数据;
仓储控制反馈模块:其中仓储控制反馈模块用于通过障碍识别数据进行仓储运输装置的仓储控制反馈。
进一步而言,所述系统还包括:
仓储运输装置集合模块:其中仓储运输装置集合模块用于根据运输规划结果、实时位置数据和障碍位置数据匹配影响仓储运输装置集合;
通行评价模块:其中通行评价模块用于根据影响空间坐标数据进行影响仓储运输装置集合的通行评价,生成通行评价结果;
调整运输路径模块:其中调整运输路径模块用于基于通行评价结果进行仓储运输装置的运输路径调整。
进一步而言,所述系统还包括:
通行规划模块:其中通行规划模块用于基于通行评价结果获得通行仓储运输装置集合,根据实时位置数据进行通行仓储运输装置集合的通行顺序规划,生成通行顺序规划结果;
速度约束模块:其中速度约束模块用于获得顺序规划结果的第一通行仓储运输装置的装置信息,通过装置信息和影响空间坐标数据进行通行速度约束,构建第一通行时间节点;
速度约束调整模块:其中速度约束调整模块用于通过第一通行时间节点进行第二通行仓储运输装置的速度约束调整,其中,第二通行仓储运输装置为第一通行仓储运输装置的相邻后通行装置;
通行管理模块:其中通行管理模块用于根据第一通行时间节点和速度约束调整进行通行仓储运输装置集合的通行管理。
进一步而言,所述系统还包括:
时间评价集合模块:其中时间评价集合模块用于对通行仓储运输装置集合进行障碍通行评价,生成通行时间评价集合;
滞后时间模块:其中滞后时间模块用于通过通行时间评价集合获得通行滞后时间值;
比对模块:其中比对模块用于依据通行顺序规划结果进行逐次通行滞后时间值比对;
路径更改模块:其中路径更改模块用于当存在通行滞后时间值不满足预设时间阈值的第三通行仓储运输装置时,则将第三通行仓储运输装置进行路径更改。
本说明书通过前述对一种基于卷积神经网络算法的仓储管理方法的详细描述,本领域技术人员可以清楚的知道本实施例中一种基于卷积神经网络算法的仓储管理方法及系统,对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (4)

1.一种基于卷积神经网络算法的仓储管理方法,其特征在于,所述方法应用于仓储管理系统,所述仓储管理系统与图像采集装置、仓储运输装置通信连接,所述方法包括:
采集仓库数据,基于所述仓库数据进行区域标识,生成区域标识结果;
获得目标仓储物品的物品信息,对所述物品信息进行整合分析,生成整合分析结果;
采集所述仓储运输装置的装置信息,基于所述装置信息、所述整合分析结果和所述区域标识结果进行仓储运输规划,生成运输规划结果;
通过所述运输规划结果基于所述仓储运输装置进行所述目标仓储物品的实时运输管理,并获得所述仓储运输装置的实时位置数据;
通过所述图像采集装置进行仓库的实时图像采集,并基于卷积神经网络进行实时图像采集结果的特征识别,生成障碍识别数据;
通过所述运输规划结果、所述实时位置数据和所述障碍识别数据进行所述仓储运输装置的仓储控制反馈;
所述方法还包括:
设定周期识别节点;
通过所述周期识别节点中的第一节点进行所述实时图像采集结果的特征识别,获得特征识别结果;
当特征识别结果为不存在障碍特征时,则对所述第一节点开启动静检测,关闭特征识别;
当动静检测检测出现动态特征和/或到达第二节点时,则重新开启特征识别,其中,所述第二节点为所述周期识别节点中所述第一节点的后一节点;
所述仓储管理系统与关联图像采集装置通信连接,所述方法还包括:
当特征识别结果为存在障碍特征时,则通过所述特征识别结果进行初始定位,基于初始定位结果匹配所述关联图像采集装置;
通过所述关联图像采集装置进行图像采集,得到新增图像;
对所述实时图像采集结果和所述新增图像进行障碍的卷积特征识别,基于识别结果生成所述障碍识别数据,其中,所述障碍识别数据包括障碍位置数据、影响空间坐标数据;
通过所述障碍识别数据进行所述仓储运输装置的仓储控制反馈;
根据所述运输规划结果、所述实时位置数据和障碍位置数据匹配影响仓储运输装置集合,所述影响仓储运输装置集合包含对仓储运输装置的实时位置定位、仓库中的道路规划结果以及判定道路中的障碍物坐标进行的分析、归纳以及整合;
根据所述影响空间坐标数据进行所述影响仓储运输装置集合的通行评价,生成通行评价结果,所述通行评价结果是指根据获得的仓储运输装置的精准定位坐标以及对仓储运输装置的实时位置定位、仓库中的道路规划结果以及判定道路中的障碍物坐标,进行判断得到包括仓储运输装置的避障路线及仓储运输装置到达目的地的最短距离;
基于所述通行评价结果进行所述仓储运输装置的运输路径调整;
基于所述通行评价结果获得通行仓储运输装置集合,根据所述实时位置数据进行所述通行仓储运输装置集合的通行顺序规划,生成通行顺序规划结果;
获得所述顺序规划结果的第一通行仓储运输装置的装置信息,通过所述装置信息和所述影响空间坐标数据进行通行速度约束,构建第一通行时间节点;
通过所述第一通行时间节点进行第二通行仓储运输装置的速度约束调整,其中,所述第二通行仓储运输装置为所述第一通行仓储运输装置的相邻后通行装置;
根据所述第一通行时间节点和速度约束调整进行所述通行仓储运输装置集合的通行管理。
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
获得所述目标仓储物品的物品属性数据,基于所述物品属性数据进行所述目标仓储物品的仓储顺序排序,获得排序约束信息;
获得所述目标仓储物品的订单需求信息,基于所述订单需求信息生成订单排序约束信息;
对所述订单排序约束信息和所述排序约束信息进行整合评价,生成整合约束信息;
通过所述整合约束信息生成所述整合分析结果。
3.如权利要求1所述的方法,其特征在于,所述方法还包括:
对通行仓储运输装置集合进行障碍通行评价,生成通行时间评价集合;
通过所述通行时间评价集合获得通行滞后时间值;
依据所述通行顺序规划结果进行逐次通行滞后时间值比对;
当存在通行滞后时间值不满足预设时间阈值的第三通行仓储运输装置时,则将所述第三通行仓储运输装置进行路径更改。
4.一种基于卷积神经网络算法的仓储管理系统,其特征在于,所述仓储管理系统与图像采集装置、仓储运输装置通信连接,所述系统包括:
区域标识模块:所述区域标识模块用于采集仓库数据,基于所述仓库数据进行区域标识,生成区域标识结果;
整合分析模块:所述整合分析模块用于获得目标仓储物品的物品信息,对所述物品信息进行整合分析,生成整合分析结果;
运输规划模块:所述运输规划模块用于采集所述仓储运输装置的装置信息,基于所述装置信息、所述整合分析结果和所述区域标识结果进行仓储运输规划,生成运输规划结果;
实时位置数据模块:所述实时位置数据模块用于通过所述运输规划结果基于所述仓储运输装置进行所述目标仓储物品的实时运输管理,并获得所述仓储运输装置的实时位置数据;
识别障碍模块:所述识别障碍模块用于通过所述图像采集装置进行仓库的实时图像采集,并基于卷积神经网络进行实时图像采集结果的特征识别,生成障碍识别数据;
控制仓储模块:所述控制仓储模块用于通过所述运输规划结果、所述实时位置数据和所述障碍识别数据进行所述仓储运输装置的仓储控制反馈;
周期识别节点模块:其中周期识别节点模块用于设定周期识别节点;
特征识别模块:其中特征识别模块用于通过周期识别节点中的第一节点进行实时图像采集结果的特征识别,获得特征识别结果;
特征识别判定模块:其中特征识别判定模块用于当特征识别结果为不存在障碍特征时,则对第一节点开启动静检测,关闭特征识别;
检测模块:其中检测模块用于当动静检测检测出现动态特征和/或到达第二节点时,则重新开启特征识别,其中,第二节点为周期识别节点中第一节点的后一节点;
障碍图像采集模块:其中障碍图像采集用于当特征识别结果为存在障碍特征时,则通过特征识别结果进行初始定位,基于初始定位结果匹配关联图像采集装置;
新增图像模块:其中新增图像模块用于通过关联图像采集装置进行图像采集,得到新增图像;
障碍识别模块:其中障碍识别模块用于对实时图像采集结果和新增图像进行障碍的卷积特征识别,基于识别结果生成障碍识别数据,其中,障碍识别数据包括障碍位置数据、影响空间坐标数据;
仓储控制反馈模块:其中仓储控制反馈模块用于通过障碍识别数据进行仓储运输装置的仓储控制反馈;
仓储运输装置集合模块:其中仓储运输装置集合模块用于根据运输规划结果、实时位置数据和障碍位置数据匹配影响仓储运输装置集合,所述影响仓储运输装置集合包含对仓储运输装置的实时位置定位、仓库中的道路规划结果以及判定道路中的障碍物坐标进行的分析、归纳以及整合;
通行评价模块:其中通行评价模块用于根据影响空间坐标数据进行影响仓储运输装置集合的通行评价,生成通行评价结果,所述通行评价结果是指根据获得的仓储运输装置的精准定位坐标以及对仓储运输装置的实时位置定位、仓库中的道路规划结果以及判定道路中的障碍物坐标,进行判断得到包括仓储运输装置的避障路线及仓储运输装置到达目的地的最短距离;
调整运输路径模块:其中调整运输路径模块用于基于通行评价结果进行仓储运输装置的运输路径调整;
通行规划模块:其中通行规划模块用于基于通行评价结果获得通行仓储运输装置集合,根据实时位置数据进行通行仓储运输装置集合的通行顺序规划,生成通行顺序规划结果;
速度约束模块:其中速度约束模块用于获得顺序规划结果的第一通行仓储运输装置的装置信息,通过装置信息和影响空间坐标数据进行通行速度约束,构建第一通行时间节点;
速度约束调整模块:其中速度约束调整模块用于通过第一通行时间节点进行第二通行仓储运输装置的速度约束调整,其中,第二通行仓储运输装置为第一通行仓储运输装置的相邻后通行装置;
通行管理模块:其中通行管理模块用于根据第一通行时间节点和速度约束调整进行通行仓储运输装置集合的通行管理。
CN202211313512.4A 2022-10-25 2022-10-25 一种基于卷积神经网络算法的仓储管理方法及系统 Active CN115759492B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211313512.4A CN115759492B (zh) 2022-10-25 2022-10-25 一种基于卷积神经网络算法的仓储管理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211313512.4A CN115759492B (zh) 2022-10-25 2022-10-25 一种基于卷积神经网络算法的仓储管理方法及系统

Publications (2)

Publication Number Publication Date
CN115759492A CN115759492A (zh) 2023-03-07
CN115759492B true CN115759492B (zh) 2024-03-26

Family

ID=85353135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211313512.4A Active CN115759492B (zh) 2022-10-25 2022-10-25 一种基于卷积神经网络算法的仓储管理方法及系统

Country Status (1)

Country Link
CN (1) CN115759492B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117151584A (zh) * 2023-08-29 2023-12-01 安徽三禾一信息科技有限公司 一种远程管理的仓库控制方法及系统
CN117218112B (zh) * 2023-11-03 2024-02-06 江苏森途信息技术有限公司 一种基于视频分析的危废仓库超量识别系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110780671A (zh) * 2019-10-30 2020-02-11 华南理工大学 一种基于全局视觉的仓储导航智能车调度方法
CN112036773A (zh) * 2020-09-29 2020-12-04 劢微机器人科技(深圳)有限公司 Agv小车任务分配方法、设备、存储介质及装置
CN112581067A (zh) * 2021-02-23 2021-03-30 苏州澳昆智能机器人技术有限公司 一种仓库管理方法和系统
CN113031603A (zh) * 2021-03-05 2021-06-25 湖南大学 一种基于任务优先级的多物流机器人协同路径规划方法
CN113156886A (zh) * 2021-04-30 2021-07-23 南京理工大学 一种智能物流路径规划方法及系统
CN113566823A (zh) * 2021-06-30 2021-10-29 南京轩世琪源软件科技有限公司 运输机器人在未知环境中的路径规划方法及系统
CN115187178A (zh) * 2022-09-09 2022-10-14 南方电网数字电网研究院有限公司 一种物资仓储管理方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10579949B2 (en) * 2016-11-16 2020-03-03 Wipro Limited Methods and systems for facilitating transportation of articles in warehouses using video analytics

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110780671A (zh) * 2019-10-30 2020-02-11 华南理工大学 一种基于全局视觉的仓储导航智能车调度方法
CN112036773A (zh) * 2020-09-29 2020-12-04 劢微机器人科技(深圳)有限公司 Agv小车任务分配方法、设备、存储介质及装置
CN112581067A (zh) * 2021-02-23 2021-03-30 苏州澳昆智能机器人技术有限公司 一种仓库管理方法和系统
CN113031603A (zh) * 2021-03-05 2021-06-25 湖南大学 一种基于任务优先级的多物流机器人协同路径规划方法
CN113156886A (zh) * 2021-04-30 2021-07-23 南京理工大学 一种智能物流路径规划方法及系统
CN113566823A (zh) * 2021-06-30 2021-10-29 南京轩世琪源软件科技有限公司 运输机器人在未知环境中的路径规划方法及系统
CN115187178A (zh) * 2022-09-09 2022-10-14 南方电网数字电网研究院有限公司 一种物资仓储管理方法及系统

Also Published As

Publication number Publication date
CN115759492A (zh) 2023-03-07

Similar Documents

Publication Publication Date Title
CN115759492B (zh) 一种基于卷积神经网络算法的仓储管理方法及系统
CN101719315B (zh) 一种基于中间件的动态交通信息采集方法
CN113191459B (zh) 一种基于路侧激光雷达的在途目标分类方法
Mazimpaka et al. Trajectory data mining: A review of methods and applications
CN105225090B (zh) 自动化仓储管理系统及方法
CN104303193B (zh) 基于聚类的目标分类
CN105282758A (zh) WiFi室内定位系统指纹数据库自适应动态构建方法
Yan et al. Towards Semantic Trajectory Data Analysis: A Conceptual and Computational Approach.
KR100982622B1 (ko) 물류비용 예측을 기반으로 하는 최적 허브 입지 검색 방법
CN108694216B (zh) 一种多源对象关联方法及装置
CN106323301A (zh) 一种道路情报的获取方法及装置
CN103049787A (zh) 一种基于头肩特征的人数统计方法和系统
CN115167408B (zh) 一种基于光伏电站的巡检路线规划系统
CN109726890B (zh) 一种基于平行车联网的车辆调度管理平台及方法
CN113379099B (zh) 一种基于机器学习与copula模型的高速公路交通流自适应预测方法
CN109300328A (zh) 一种基于灯引控制的智能返回寻车引导系统及引导方法
CN107193994A (zh) 基于海量数据的企业决策点挖掘方法及其系统
CN111056258B (zh) 一种智能调整传送带的方法和装置
Glushkov et al. Development of reliable models of signal-controlled intersections
WO2024011889A1 (zh) 信息识别方法、装置及存储介质
KR20050087676A (ko) 무인주차장 관리 시스템 및 방법
CN113516319A (zh) 基于人工智能和大数据的垃圾车路线优化方法及系统
CN114664080B (zh) 一种交叉口公交车辆信号优先效果评价方法
Liu et al. Research on parking guidance system based on computer vision
Francis et al. Machine Learning based Vacant Space Detection for Smart Parking Solutions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant