CN113877827B - 物流件抓取方法、抓取设备及存储介质 - Google Patents

物流件抓取方法、抓取设备及存储介质 Download PDF

Info

Publication number
CN113877827B
CN113877827B CN202111083893.7A CN202111083893A CN113877827B CN 113877827 B CN113877827 B CN 113877827B CN 202111083893 A CN202111083893 A CN 202111083893A CN 113877827 B CN113877827 B CN 113877827B
Authority
CN
China
Prior art keywords
logistics
target
grabbing
determining
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111083893.7A
Other languages
English (en)
Other versions
CN113877827A (zh
Inventor
王品
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Eai Technology Co ltd
Original Assignee
Shenzhen Eai Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Eai Technology Co ltd filed Critical Shenzhen Eai Technology Co ltd
Priority to CN202111083893.7A priority Critical patent/CN113877827B/zh
Publication of CN113877827A publication Critical patent/CN113877827A/zh
Application granted granted Critical
Publication of CN113877827B publication Critical patent/CN113877827B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C3/00—Sorting according to destination
    • B07C3/02—Apparatus characterised by the means used for distribution
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C3/00—Sorting according to destination
    • B07C3/10—Apparatus characterised by the means used for detection ofthe destination
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • B65G43/08—Control devices operated by article or material being fed, conveyed or discharged
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/34—Devices for discharging articles or materials from conveyor 
    • B65G47/42—Devices for discharging articles or materials from conveyor  operated by article or material being conveyed and discharged
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Abstract

本申请公开了一种物流件抓取方法、抓取设备及存储介质，物流件抓取方法应用于抓取设备，包括：响应于目标物流件抓取指令采集环境图像，并根据环境图像确定目标物流件的第一模糊位置，其中，第一模糊位置在目标物流件的外轮廓区域内；根据第一模糊位置确定抓取位置，并移动至抓取位置；采集包含目标物流件的物流件图像，并根据物流件图像确定目标物流件的第二模糊位置、以及目标物流件上的目标文本标识位置；根据第二模糊位置与目标文本标识位置确定物流件目标位置；根据物流件目标位置对目标物流件进行抓取。通过两次采集图像并结合目标物流件上目标文本标识的位置确定物流件的目标位置以执行抓取，能准确且稳定地对物流件进行抓取操作。

Description

物流件抓取方法、抓取设备及存储介质
技术领域
本申请涉及物件抓取领域，尤其涉及一种物流件抓取方法、抓取设备及存储介质。
背景技术
目前，人们常常相互寄收物流件，并由物流公司对这些物流件进行运送。物流公司在处理这些物流件时，需要动用人工对物流件抓取、分拣、并运送。
但使用人力进行物流件抓取的方案成本较高，而且人工抓取较为费时费力，同时，使用机器对物流件进行抓取容易出现失误，抓取操作不够准确，而且当物流件距离机器过近时，机器也难以进行抓取，影响了物流件抓取的稳定性。
因此，如何准确且稳定地对物流件进行抓取操作，是本领域技术人员正在研究的热门课题。
发明内容
本申请提供一种物流件抓取方法、抓取设备及存储介质，旨在准确地对物流件进行抓取操作。
第一方面，本申请提供了一种物流件抓取方法，应用于抓取设备，包括：
响应于目标物流件抓取指令采集环境图像，并根据环境图像确定目标物流件的第一模糊位置，其中，第一模糊位置在目标物流件的外轮廓区域内；
根据第一模糊位置确定抓取位置，并移动至抓取位置；
采集包含目标物流件的物流件图像，并根据物流件图像确定目标物流件的第二模糊位置、以及目标物流件上的目标文本标识位置；
根据第二模糊位置与目标文本标识位置确定物流件目标位置；
根据物流件目标位置对目标物流件进行抓取。
可选的，目标物流件抓取指令包括目标物流件的颜色特征，根据环境图像确定目标物流件的第一模糊位置，包括：
基于预设的畸变消除模型，消除环境图像中的畸变得到消畸图像；
对消畸图像进行轮廓识别，以获取消畸图像中多个物流件的外轮廓；
根据每一外轮廓区域内的颜色特征与目标物流件的颜色特征确定消畸图像中目标物流件对应的外轮廓，以目标物流件对应的外轮廓区域作为第一模糊位置。
可选的，根据每一外轮廓区域内的颜色特征与目标物流件的颜色特征确定消畸图像中目标物流件对应的外轮廓，包括：
对每一物流件的外轮廓区域内的像素进行颜色特征提取，得到对应的颜色特征阵列；
根据颜色特征阵列计算出平均颜色特征，并以平均颜色特征作为对应外轮廓的颜色特征；
计算每一外轮廓的颜色特征与目标物流件的颜色特征的相似度，并以颜色特征相似度最高的外轮廓作为目标物流件对应的外轮廓。
可选的，根据第一模糊位置确定抓取位置，包括：
获取第一模糊位置的位置中心，并根据位置中心确定可抓取区域；
获取抓取设备在环境图像预设的可移动轨迹；
获取可移动轨迹和可抓取区域的重合区域；
获取重合区域多个位置点的位置信息，并根据多个位置信息确定抓取设备的抓取位置。
可选的，根据第一模糊位置确定抓取位置，包括：
获取第一模糊位置的位置中心，并根据位置中心确定可抓取区域；
获取环境图像中障碍物对应的位置信息及种类信息；
根据位置信息及种类信息构建抓取设备的可移动轨迹；
获取可移动轨迹和可抓取区域的重合区域；
获取重合区域多个位置点的位置信息，并根据多个位置信息确定抓取设备的抓取位置。
可选的，根据位置信息及种类信息构建抓取设备的可移动轨迹，包括：
根据种类信息确定与种类信息对应的障碍物高度与占地范围；
获取抓取设备的可爬升高度，并根据可爬升高度与障碍物高度确定障碍物是否可翻越；
根据不可翻越的障碍物的位置信息与占地范围确定环境图像中的可翻越区域；
获取抓取设备的行驶宽度，并根据行驶宽度与可翻越区域的宽度确定抓取设备的可移动轨迹。
可选的，确定目标物流件上的目标文本标识位置，包括：
基于预设的文本识别模型对物流件图像进行识别，获得目标物流件表面的多个文本标识的信息，其中，文本标识的信息至少包括轮廓位置、及标识内容；
根据标识内容从多个文本标识中筛选出目标文本标识；
根据目标文本标识对应的轮廓位置，确定目标文本标识位置。
可选的，根据第二模糊位置与目标文本标识位置确定物流件目标位置，包括：
根据物流件图像构建虚拟坐标系；
根据第二模糊位置与目标文本标识位置在物流件图像中的相对位置，确定第二模糊位置与目标文本标识位置在虚拟坐标系中的相对位置；
以第二模糊位置与目标文本标识位置在虚拟坐标系中的相对位置的中点作为物流件目标位置。
第二方面，本申请实施例还提供了一种抓取设备，包括：图像采集机构、移动机构、抓取机构、处理器、存储器、以及存储在存储器上并可被处理器执行的计算机程序，其中计算机程序被处理器执行时，实现上述的物流件抓取方法的步骤。
第三方面，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其中计算机程序被处理器执行时，实现上述的物流件抓取方法的步骤。
本申请实施例提供了一种物流件抓取方法，应用于抓取设备，该方法包括：响应于目标物流件抓取指令采集环境图像，并根据环境图像确定目标物流件的第一模糊位置；根据第一模糊位置确定抓取位置，并移动至抓取位置；采集包含目标物流件的物流件图像，并根据物流件图像确定目标物流件的第二模糊位置、以及目标物流件上的目标文本标识位置；根据第二模糊位置与目标文本标识位置确定物流件目标位置；根据物流件目标位置对目标物流件进行抓取。通过两次采集图像以获取目标物流件的定位，并结合目标物流件的定位与目标物流件上目标文本标识的位置确定物流件的目标位置以执行抓取，因此，实现了准确且稳定地对物流件进行抓取操作。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的物流件抓取方法的应用场景示意图；
图2是本发明实施例提供的一种抓取设备的结构示意框图；
图3是本发明实施例提供的物流件抓取方法的流程示意图；
图4是图3物流件抓取方法中抓取位置确定步骤流程示意图；
图5是本申请一实施例提供的物流件抓取方法中抓取位置确定步骤的场景示意图；
图6是图3物流件抓取方法中目标文本标识位置确定步骤流程示意图；
图7是图3物流件抓取方法中物流件目标位置确定步骤流程示意图；
附图标记：10、目标物流件；101、目标文本标识；20、抓取设备；201、图像采集机构；202、抓取机构；203、移动机构；204、存储器；205、处理器；206、系统总线；207、控制装置。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参阅图1，本发明实施例提供的物流件抓取方法的应用场景示意图。
目标物流件10可以放置在任意位置，其表面设置有预设的目标文本标识101。
抓取设备20指的是可以自动执行抓取动作的设备，例如智能机器人、自动机械手、智能抓取机器等设备，抓取设备20可以放置在预设的初始位置，响应于外界输入的指令执行动作。
抓取设备20上设置有图像采集机构201、抓取机构202、移动机构203、控制装置207。
图像采集机构201，用于采集环境图像以及包含目标物流件10的物流件图像，该图像采集机构201包括但不限于激光雷达、摄像头等。
抓取机构202，用于抓取目标物流件10，如，该抓取机构202为机械手。
移动机构203，用于驱动抓取设备20进行移动，如，移动机构203为轮组机构或履带机构。
控制装置207，与图像采集机构201、抓取机构202、移动机构203通信连接，以控制图像采集机构201、抓取机构202、移动机构203协同完成目标物流件的抓取操作。
可以理解的是，目标物流件10、图像采集机构201的具体位置及具体数量可以根据使用情况进行选择，本发明实施例对此不做限定。
具体的，抓取设备20的控制装置207通过图像采集机构201采集环境图像，并根据环境图像确定目标物流件10的第一模糊位置，然后根据第一模糊位置确定抓取位置，并通过控制装置207控制移动机构203移动至抓取位置。到达抓取位置后，控制装置207再次通过图像采集机构201采集包含目标物流件10的物流件图像，并根据物流件图像确定目标物流件10的第二模糊位置、以及目标物流件10上的目标文本标识101的位置，然后根据第二模糊位置与目标文本标识101的位置确定物流件目标位置，最后根据物流件目标位置控制抓取机构202对目标物流件10进行抓取。
需知，图1中的场景仅用于解释本申请实施例提供的物流件抓取方法，但并不构成对本申请实施例提供的物流件抓取方法应用场景的具体限定。
如图2所示，控制装置207包括处理器204、存储器205。其中，图像采集机构201、抓取机构202、移动机构203、处理器204、以及存储器205通过系统总线206连接，该系统总线206比如为I2C(Inter-integrated Circuit)总线。
具体地，处理器204可以是微控制单元(Micro-controller Unit，MCU)、中央处理单元(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等。
具体地，存储器205可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等，存储器205上存储有可被所述处理器204执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现本申请提供的物流件抓取方法的步骤。
在一些实施方式中，处理器204用于运行存储在存储器中的计算机程序，并在执行计算机程序时实现如下步骤：
响应于目标物流件抓取指令采集环境图像，并根据环境图像确定目标物流件的第一模糊位置，其中，第一模糊位置在目标物流件的外轮廓区域内；
根据第一模糊位置确定抓取位置，并移动至抓取位置；
采集包含目标物流件的物流件图像，并根据物流件图像确定目标物流件的第二模糊位置、以及目标物流件上的目标文本标识位置；
根据第二模糊位置与目标文本标识位置确定物流件目标位置；
根据物流件目标位置对目标物流件进行抓取。
在一些实施方式中，目标物流件抓取指令包括目标物流件的颜色特征，根据环境图像确定目标物流件的第一模糊位置，包括：
基于预设的畸变消除模型，消除环境图像中的畸变得到消畸图像；
对消畸图像进行轮廓识别，以获取消畸图像中多个物流件的外轮廓；
根据每一外轮廓区域内的颜色特征与目标物流件的颜色特征确定消畸图像中目标物流件对应的外轮廓，以目标物流件对应的外轮廓区域作为第一模糊位置。
在一些实施方式中，根据每一外轮廓区域内的颜色特征与目标物流件的颜色特征确定消畸图像中目标物流件对应的外轮廓，包括：
对每一物流件的外轮廓区域内的像素进行颜色特征提取，得到对应的颜色特征阵列；
根据颜色特征阵列计算出平均颜色特征，并以平均颜色特征作为对应外轮廓的颜色特征；
计算每一外轮廓的颜色特征与目标物流件的颜色特征的相似度，并以颜色特征相似度最高的外轮廓作为目标物流件对应的外轮廓。
在一些实施方式中，根据第一模糊位置确定抓取位置，包括：
获取第一模糊位置的位置中心，并根据位置中心确定可抓取区域；
获取抓取设备在环境图像预设的可移动轨迹；
获取可移动轨迹和可抓取区域的重合区域；
获取重合区域多个位置点的位置信息，并根据多个位置信息确定抓取设备的抓取位置。
在一些实施方式中，根据第一模糊位置确定抓取位置，包括：
获取第一模糊位置的位置中心，并根据位置中心确定可抓取区域；
获取环境图像中障碍物对应的位置信息及种类信息；
根据位置信息及种类信息构建抓取设备的可移动轨迹；
获取可移动轨迹和可抓取区域的重合区域；
获取重合区域多个位置点的位置信息，并根据多个位置信息确定抓取设备的抓取位置。
在一些实施方式中，根据位置信息及种类信息构建抓取设备的可移动轨迹，包括：
根据种类信息确定与种类信息对应的障碍物高度与占地范围；
获取抓取设备的可爬升高度，并根据可爬升高度与障碍物高度确定障碍物是否可翻越；
根据不可翻越的障碍物的位置信息与占地范围确定环境图像中的可翻越区域；
获取抓取设备的行驶宽度，并根据行驶宽度与可翻越区域的宽度确定抓取设备的可移动轨迹。
在一些实施方式中，确定目标物流件上的目标文本标识位置，包括：
基于预设的文本识别模型对物流件图像进行识别，获得目标物流件表面的多个文本标识的信息，其中，文本标识的信息至少包括轮廓位置、及标识内容；
根据标识内容从多个文本标识中筛选出目标文本标识；
根据目标文本标识对应的轮廓位置，确定目标文本标识位置。
在一些实施方式中，根据第二模糊位置与目标文本标识位置确定物流件目标位置，包括：
根据物流件图像构建虚拟坐标系；
根据第二模糊位置与目标文本标识位置在物流件图像中的相对位置，确定第二模糊位置与目标文本标识位置在虚拟坐标系中的相对位置；
以第二模糊位置与目标文本标识位置在虚拟坐标系中的相对位置的中点作为物流件目标位置。
本领域技术人员可以理解，图2中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的抓取设备的限定，具体的抓取设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
以下将结合抓取设备的工作原理，对本申请实施例提供的物流件抓取方法进行详细说明。
请参阅图3，图3为本发明实施例提供的物流件抓取方法的流程示意图。
如图3所示，本申请实施例中，以该物流件抓取方法应用于抓取设备为例进行说明，其中，该物流件抓取方法具体包括步骤S1-S5。
步骤S1：响应于目标物流件抓取指令采集环境图像，并根据所述环境图像确定所述目标物流件的第一模糊位置，其中，所述第一模糊位置在所述目标物流件的外轮廓区域内。
其中，环境图像可以是二值图像、点云图像、彩色图像中的至少一种，以下使用彩色图像为例进行具体说明。
在一些实施方式中，抓取设备包括环境图像采集按键，响应于用户对该环境图像采集按键的触发操作，生成目标物流件抓取指令，并根据该目标物流件抓取指令控制图像采集机构采集环境图像。用户对环境图像采集按键的触发操作可以是用户对环境图像采集按键的单击操作、双击操作、长按操作等操作中的其中一种。
在另一些实施方式中，终端设备获取用户触发的目标物流件抓取指令，并向抓取设备发送目标物流件抓取指令。抓取设备获取该目标物流件抓取指令，并根据该目标物流件抓取指令控制图像采集机构采集环境图像。其中，环境图像可以是真实环境下预设范围内的环境图像，图像采集机构根据真实环境下预设的范围标识确定预设范围，并对真实环境下的预设范围执行图像采集，以获取环境图像。
环境图像的采集完成后，基于采集得到的环境图像，确定目标物流件的第一模糊位置。具体地，对采集到的环境图像进行消畸处理以及进行轮廓识别，得到目标物流件对应的外轮廓区域，并根据目标物流件对应的外轮廓区域确定目标物流件的第一模糊位置，其中，第一模糊位置在目标物流件的外轮廓区域内。
在一些实施方式中，目标物流件抓取指令包括目标物流件的颜色特征，根据环境图像确定目标物流件的第一模糊位置，具体包括以下步骤：
基于预设的畸变消除模型，消除环境图像中的畸变得到消畸图像；
对消畸图像进行轮廓识别，以获取消畸图像中多个物流件的外轮廓；
根据每一外轮廓区域内的颜色特征与目标物流件的颜色特征确定消畸图像中目标物流件对应的外轮廓，在目标物流件的外轮廓区域内确定第一模糊位置。
其中，预设的畸变消除模型是通过机器学习实现对图像的双线性内插法处理，并使用大量消畸前后的图像样本对该畸变消除模型进行模型训练。将环境图像输入预设的畸变消除模型，并获取输出的消畸图像，以消除环境图像中的畸变，环境图像中的畸变包括但不限于鱼眼畸变、枕形畸变、桶形畸变。
可以理解的是，采集得到的环境图像以及对环境图像消畸处理得到的消畸图像中包含了与目标物流件一同放置在相同环境内的多个物流件，对消畸图像进行轮廓识别，得到了放置在预设范围内的多个物流件在消畸图像中对应的外轮廓。
在一些实施方式中，将消畸图像输入预设的边缘识别算法模型，以对消畸图像进行轮廓识别，其中，预设的边缘识别算法模型可以是Laplace算法模型、Roberts算法模型、Sobel算法模型、或HED(Holistically-Nested Edge Detection)算法模型中的任意一种，将消畸图像输入预设的边缘识别算法模型得到多个物流件在消畸图像中对应的外轮廓。
基于识别得到的多个物流件的外轮廓，将每一外轮廓区域内的颜色特征与目标物流件的颜色特征进行单独对比，以确定消畸图像中目标物流件对应的外轮廓，并将目标物流件对应的外轮廓区域作为第一模糊位置。
在一些实施方式中，根据每一外轮廓区域内的颜色特征与目标物流件的颜色特征确定消畸图像中目标物流件对应的外轮廓，具体包括以下步骤：
对每一物流件的外轮廓区域内的像素进行颜色特征提取，得到对应的颜色特征阵列；
根据颜色特征阵列计算出平均颜色特征，并以平均颜色特征作为对应外轮廓的颜色特征；
计算每一外轮廓的颜色特征与目标物流件的颜色特征的相似度，并以颜色特征相似度最高的外轮廓作为目标物流件对应的外轮廓。
对每一物流件的外轮廓区域内的像素进行颜色特征提取，得到对应的颜色特征阵列，颜色特征阵列包括了多个像素的颜色特征；根据多个像素的颜色特征计算出平均颜色特征，并以平均颜色特征作为对应外轮廓的颜色特征；计算每一外轮廓的颜色特征与目标物流件的颜色特征的相似度，并以颜色特征相似度最高的外轮廓作为目标物流件对应的外轮廓。
可以理解的是，像素颜色特征可以采用HSV颜色特征模型、RGB颜色特征模型、以及HSL颜色特征模型中的任意一种进行表征，在以下的实施方式中，使用HSV颜色特征模型为例进行具体说明。在HSV颜色特征模型中，表征颜色的参数包括：色调(H)、饱和度(S)、以及明度(V)，像素的颜色特征可表示为(H的参数、S的参数、V的参数)的形式。其中，色调(H)的取值范围是0～360，饱和度(S)的取值范围是0～1，而明度(V)的取值范围是0～255。
在一些实施方式中，对外轮廓区域内的所有像素进行HSV颜色特征提取，得到所有像素的HSV颜色特征，并以阵列的形式存储得到的所有像素的HSV颜色特征，得到颜色特征阵列，重复上述步骤获得每一外轮廓所对应的颜色特征阵列。
在另一些实施方式中，首先对外轮廓区域内的所有像素进行滤除处理，再将滤除处理后留下的像素进行HSV颜色特征的提取。具体地，将外轮廓区域内的所有像素输入预设的滤除模型，将外轮廓边沿区域对应的像素进行滤除，并将其中明度过高或过低的像素点滤除，以将图像采集机构拍摄失误带来的无效像素消除，减少了后续步骤中颜色特征阵列的大小，并减轻了抓取设备的计算量与运行负担。
得到颜色特征阵列后，根据颜色特征阵列计算出平均颜色特征具体包括：对颜色特征阵列中的所有像素的色调、饱和度以及明度分别计算平均值，获得颜色特征阵列对应的平均色调、平均饱和度以及平均明度，并组合平均色调、平均饱和度以及平均明度得到平均的HSV颜色特征。
示例性地，假设对一外轮廓区域内的像素进行滤除处理后得到以下4个像素及像素的HSV颜色特征：
像素1的HSV颜色特征(H：285、S：0.4、V：200)。
像素2的HSV颜色特征(H：260、S：0.6、V：170)。
像素3的HSV颜色特征(H：175、S：0.7、V：215)。
像素4的HSV颜色特征(H：100、S：0.3、V：135)。
经计算可得四个像素的平均色调为210、平均饱和度为0.5以及平均明度为180，组合平均色调、平均饱和度以及平均明度，得到四个像素的平均的HSV颜色特征(H：210、S：0.5、V：180)，并以此作为对应外轮廓的颜色特征。重复上述步骤，获得了每一外轮廓对应的颜色特征。
得到每一外轮廓对应的颜色特征后，调取目标物流件抓取指令中包括的目标物流件的颜色特征，并计算每一外轮廓的颜色特征与目标物流件的颜色特征的相似度，并以颜色特征相似度最高的外轮廓作为目标物流件对应的外轮廓，然后以目标物流件对应的外轮廓区域作为第一模糊位置。
在一些实施方式中，基于目标物流件对应的外轮廓区域计算该外轮廓区域的质心，并以外轮廓区域的质心作为第一模糊位置。
步骤S2：根据第一模糊位置确定抓取位置，并移动至抓取位置。
可以理解的是，抓取机构在预设的初始位置控制图像采集机构采集环境图像是用于确定目标物流件在预设范围中的第一模糊位置，以使抓取机构根据第一模糊位置确定抓取位置，并控制抓取机构移动至抓取位置。
在一些实施方式中，根据第一模糊位置确定抓取位置，具体包括以下步骤：
获取所述第一模糊位置的位置中心，并根据所述位置中心确定可抓取区域；
获取所述抓取设备在所述环境图像预设的可移动轨迹；
获取所述可移动轨迹和所述可抓取区域的重合区域；
获取所述重合区域多个位置点的位置信息，并根据多个所述位置信息确定所述抓取设备的抓取位置。
其中，第一模糊位置可以是一个位置点，也可以是一个位置范围，获取对应的位置点或是对应位置范围的质心作为第一模糊位置的位置中心，并根据位置中心确定可抓取区域。
在一些实施方式中，由于抓取设备的抓取机构存在离目标物流件太近或太远时难以抓取的情况，因此可抓取区域上的任意一点与位置中心的距离应在预设的数值区间内，结合以上条件可以得到可抓取区域为一环形区域，且该环形区域的圆心为第一模糊位置的位置中心，环形区域的内径与外径可根据实际进行调整。
需要说明的是，可移动轨迹即是抓取设备可以自行移动到达的区域，获取抓取设备在环境图像预设的可移动轨迹，然后获取可移动轨迹和可抓取区域的重合区域，并获取重合区域多个位置点的位置信息，根据多个位置信息确定抓取设备的抓取位置，抓取位置即为抓取设备对目标物流件执行抓取动作的具体位置。
其中，环境图像的可移动轨迹可以预先存储在抓取设备中，也可以由抓取设备解析目标物流件抓取指令，以获取环境图像的可移动轨迹。在此之后，抓取设备获取可移动轨迹和可抓取区域的重合区域中多个位置点的位置信息，并根据多个位置信息确定抓取设备的抓取位置。
请参阅图4，在另一些实施方式中，所述根据所述第一模糊位置确定抓取位置，包括步骤S21-S25：
步骤S21：获取所述第一模糊位置的位置中心，并根据所述位置中心确定可抓取区域；
步骤S22：获取所述环境图像中障碍物对应的位置信息及种类信息；
步骤S23：根据所述位置信息及所述种类信息构建所述抓取设备的可移动轨迹；
步骤S24：获取所述可移动轨迹和所述可抓取区域的重合区域；
步骤S25：获取所述重合区域多个位置点的位置信息，并根据多个所述位置信息确定所述抓取设备的抓取位置。
首先获取第一模糊位置的位置中心，并根据位置中心确定可抓取区域。具体地，第一模糊位置可以是一个位置点，也可以是一个位置范围，获取对应的位置点或是对应位置范围的质心作为第一模糊位置的位置中心，并根据位置中心确定可抓取区域。
在一些实施方式中，由于抓取设备的抓取机构存在离目标物流件太近或太远时难以抓取的情况，因此可抓取区域上的任意一点与位置中心的距离应在预设的数值区间内，结合以上条件可以得到可抓取区域为一环形区域，且该环形区域的圆心为第一模糊位置的位置中心，环形区域的内径与外径可根据实际进行调整。
抓取设备预先存储了各种障碍物种类对应的参照外轮廓，基于预设的边缘识别算法模型对环境图像进行轮廓识别，得到环境中多个障碍物对应的外轮廓，并根据障碍物的外轮廓与参照外轮廓的相似度确定该障碍物最接近的种类，即获取对应的种类信息，然后通过轮廓识别确定障碍物在环境图像上的相对位置，以获取对应的位置信息。
其中，环境图像中障碍物的种类至少包括：减速带、墙体、及与目标物流件摆放在同一环境的其它物流件。
通过以上步骤获取障碍物对应的位置信息及种类信息后，根据位置信息及种类信息构建抓取设备的可移动轨迹，可以理解的是，可移动轨迹即是抓取设备可以自行移动到达的区域，抓取设备在初始位置出发可绕开或翻越阻碍物到达可移动轨迹上的点。
在一些实施方式中，根据位置信息及种类信息构建抓取设备的可移动轨迹具体包括：
根据所述种类信息确定与所述种类信息对应的障碍物高度与占地范围；
获取所述抓取设备的可爬升高度，并根据所述可爬升高度与所述障碍物高度确定所述障碍物是否可翻越；
根据不可翻越的所述障碍物的位置信息与占地范围确定所述环境图像中的可翻越区域；
获取所述抓取设备的行驶宽度，并根据所述行驶宽度与所述可翻越区域的宽度确定所述抓取设备的可移动轨迹。
其中，抓取设备预先存储了障碍物种类信息对应的障碍物高度与占地范围，根据环境图像中各障碍物的种类信息可获取对应的障碍物高度与占地范围，然后获取抓取设备的可爬升高度，并根据可爬升高度与障碍物高度确定障碍物是否可翻越。
具体地，获取可爬升高度后，将多个障碍物高度与可爬升高度进行比较，当障碍物高度小于可爬升高度时，得出抓取设备可翻越该障碍物，否则视为抓取设备不可翻越该障碍物。
根据不可翻越的障碍物的位置信息与占地范围确定环境图像中的可翻越区域，可以理解的是，可翻越区域由可翻越的障碍物的占地范围与没有识别到障碍物的范围组成。然后获取抓取设备的行驶宽度，并根据行驶宽度与可翻越区域的宽度从可翻越区域中去除抓取设备无法行驶到达的区域，以确定抓取设备的可移动轨迹，其中，抓取设备的行驶宽度可以是抓取设备在平面投影的最长宽度，以确保抓取设备可行驶到达可移动轨迹上的点。确定抓取设别的可移动轨迹与可抓取区域后，获取可移动轨迹与可抓取区域的重叠区域，并在该重叠区域中确定抓取位置，控制抓取机构移动至抓取位置。
具体地，根据行驶宽度与可翻越区域的宽度从可翻越区域中去除抓取设备无法行驶到达的区域，以确定抓取设备的可移动轨迹包括：在可翻越区域中确定宽度小于行驶宽度的第一行驶禁区，并确定抓取设备从初始位置出发到达需经第一行驶禁区才能到达的第二行驶禁区，在可翻越区域中去除上述的第一行驶禁区与第二行驶禁区，便得到抓取设备的可移动轨迹。获取可移动轨迹和可抓取区域的重合区域，获取重合区域多个位置点的位置信息，并根据多个位置信息确定所述抓取设备的抓取位置。
示例性地，当分拣设备的移动机构为轮组机构时，获取分拣设备的可爬升高度具体包括：获取轮组结构中车轮的轮径，并根据轮径计算分拣设备的可爬升高度。假设计算得到抓取设备的可爬升高度为25cm，通过轮廓识别得到某一障碍物的种类为减速带并获取得到减速带对应的障碍物高度为5cm，则可比较得出该减速带对应的占地范围属于可翻越区域。
进一步地，请参阅图5，图5为本申请一实施例中确定抓取位置步骤的场景示意图。
其中，O区域为目标物流件所在环境中的一个矩形区域，A1区域为O区域内确定的可翻越区域，S是目标物流件的初始位置，在A1区域中去除宽度小于行驶宽度的第一行驶禁区、以及抓取设备从初始位置出发到达需经第一行驶禁区才能到达的第二行驶禁区，便获得可移动轨迹对应的区域，即A2区域。
B区域为位于O区域内的可抓取区域，且B区域为以第一模糊位置为圆心构建的环形区域。获取A区域与B区域的重叠区域，即为区域C，获取区域C中多个位置点的位置信息，并根据多个位置信息确定抓取设备的抓取位置。
在一些实施方式中，确定可移动轨迹和可抓取区域的重合区域后，在该重合区域的边缘选取等距的多个位置点，以根据多个位置点确定抓取设备的抓取位置。示例性地，可以以多个位置点的平面中心作为抓取位置。
在一些实施方式中，对于重叠区域中多个位置点的位置信息，根据位置信息计算重叠区域中与第一模糊位置直线距离最近的点位，并以该点位作为抓取位置。
在另一些实施方式中，抓取设备预先存储了预设范围内的多个辅助抓取点。抓取设备获取位于区域C内部的多个辅助抓取点，并根据这些位于区域C内部的辅助抓取点的位置计算出其中与第一模糊位置直线距离最近的辅助抓取点，作为抓取位置。
确定抓取位置后，抓取设备通过控制移动机构行驶至抓取位置，具体地，抓取设备根据获取的可移动轨迹以及抓取位置规划移动路径，以使抓取设备控制移动机构根据移动路径进行移动并停在抓取位置，以进行后续的物流件抓取方法的步骤。
步骤S3：采集包含所述目标物流件的物流件图像，并根据所述物流件图像确定所述目标物流件的第二模糊位置、以及所述目标物流件上的目标文本标识位置。
抓取设备停在抓取位置，采集包含目标物流件的物流件图像，并根据物流件图像确定目标物流件的第二模糊位置、以及目标物流件上的目标文本标识位置。
可以理解的是，抓取设备在抓取位置确定的目标物流件的第二模糊位置相比于抓取设备在初始位置确定的第一模糊位置要更为精准，且抓取设备在抓取位置采集的物流件图像相比于环境图像更容易获取目标物流件上的目标文本标识位置及相关信息。
请参阅图6，在一些实施方式中，步骤S3中确定所述目标物流件上的目标文本标识位置，具体包括步骤S31-S33：
步骤S31：基于预设的文本识别模型对所述物流件图像进行识别，获得所述目标物流件表面的多个文本标识的信息，其中，所述文本标识的信息至少包括轮廓位置、及标识内容。
可以理解的是，由于各物流件的包装过程存在差异，因此目标物流件的表面可能会存在多个文本标识，而且，物流件图像可能包含了目标物流件以外的物流件，因此物流件图像中可能包含了目标文本标识以外的其它文本标识，显然其它文本标识会影响目标文本标识位置的获取过程。
使用预设的文本识别模型对物流件图像进行识别，获得物流件图像中多个文本标识的信息，文本标识的信息至少包括轮廓位置、及标识内容，以上的多个文本标识包括目标文本标识，也可能包括其它文本标识。其中，预设的文本识别模型可以采用DB网络模型(Differentiable Binarization Net)与CRNN网络(Convolutional Recurrent NeuralNetwork)进行组合。具体地，采用DB网络模型进行文本框检测，以获取第一文本标识的标识轮廓信息，并以MoblieNet为骨干的CRNN网络进行文字识别，以获取第一文本标识的文本内容信息。
步骤S32：根据所述标识内容从所述多个文本标识中筛选出所述目标文本标识。
具体地，获取预设的目标标识内容，将多个文本标识的标识内容与目标标识内容进行比对，标识内容与目标标识内容相同的文本标识即为目标文本标识。
在一些实施方式中，目标物流件抓取指令包含了目标标识内容，以使抓取设备从多个文本标识中筛选出目标文本标识。
步骤S33：根据所述目标文本标识对应的轮廓位置，确定所述目标文本标识位置。
确定目标文本标识后，根据目标文本标识的轮廓位置确定目标文本标识位置。具体地，根据轮廓位置确定目标文本标识的轮廓内区域，以该轮廓内区域的质心作为目标文本标识位置。
步骤S4：根据所述第二模糊位置与所述目标文本标识位置确定物流件目标位置。
以第二模糊位置与目标文本标识位置连线上的一点作为物流件目标位置。示例性地，可以将第二模糊位置与目标文本标识位置连线上的中点确定为物流件目标位置，也可在第二模糊位置与目标文本标识位置的连线上基于预先设定的系数确定物流件目标位置。
请参阅图7，在一些实施方式中，步骤S4具体包括步骤S41-S43：
步骤S41：根据所述物流件图像构建虚拟坐标系；
步骤S42：根据所述第二模糊位置与所述目标文本标识位置在所述物流件图像中的相对位置，确定所述第二模糊位置与所述目标文本标识位置在所述虚拟坐标系中的相对位置；
步骤S43：以所述第二模糊位置与所述目标文本标识位置在所述虚拟坐标系中的相对位置的中点作为物流件目标位置。
具体地，抓取设备根据物流件图像构建虚拟坐标系，并根据第二模糊位置与目标文本标识位置在物流件图像中的相对位置，确定第二模糊位置与目标文本标识位置在虚拟坐标系中分别对应的位置。然后以上述两个位置的中点作为物流件目标位置，以使抓取设备根据物流件目标位置对目标物流件执行抓取动作。
在另一些实施方式中，根据第二模糊位置与目标文本标识位置确定物流件目标位置，具体包括：获取第二模糊位置与目标文本标识位置在物流件图像中的相对位置的中点，根据物流件图像构建与预设区域对应的虚拟坐标系，并根据物流件图像里中点的相对位置确定中点在虚拟坐标系中的相对位置，并以中点在虚拟坐标系中的相对位置作为物流件目标位置。
可以理解的是，当目标物流件过大或距离抓取设备过近时，根据物流件图像可能无法确定目标物流件的第二模糊位置，而当目标文本标识损坏或被遮盖时，根据物流件图像可能无法确定目标物流件上的目标文本标识位置，因此第二模糊位置与目标文本标识位置中任一位置不能确定时，以另一位置作为物流件目标位置。
通过结合第二模糊位置与目标文本标识位置，提升了位置确定的准确性，也避免了第二模糊位置与目标文本标识位置中任一位置不能确定时，无法确定物流件目标位置的情况，提升了位置确定的稳定性。
步骤S5：根据所述物流件目标位置对目标物流件进行抓取。
可以理解的是，物流件目标位置相比于抓取设备在初始位置确定的第一模糊位置要更为精准，且当无法确定第二模糊位置时，可以结合文本标识的位置确定物流件目标位置，解决了目标物流件过大或距离抓取设备过近导致无法识别出目标物流件外轮廓的问题。
获取物流件目标位置后，驱动抓取机构根据物流件目标位置对目标物流件执行抓取动作，提升了抓取的精准度与稳定性。
本申请提供的物流件抓取方法通过采集环境图像，并根据环境图像确定目标物流件的第一模糊位置；根据第一模糊位置确定抓取位置，并移动至抓取位置；采集包含目标物流件的物流件图像，并根据物流件图像确定目标物流件的第二模糊位置、以及目标物流件上的目标文本标识位置；根据第二模糊位置与目标文本标识位置确定物流件目标位置；根据物流件目标位置对目标物流件进行抓取。通过两次采集图像以获取目标物流件的定位，并结合目标物流件的定位与目标物流件上目标文本标识的位置确定物流件的目标位置以执行抓取，提升了抓取目标物流件的精准度与稳定性。
本申请的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器204执行所述程序指令，实现上述实施例提供的物流件抓取方法的步骤，具体实施可参见前面的实施例，在此不再赘述。
其中，计算机可读存储介质可以是前述实施例的存储器205的内部存储单元，例如存储器205的硬盘或内存。计算机可读存储介质也可以是存储器205的外部存储设备，例如存储器205上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)等。
由于该计算机可读存储介质中所存储的计算机程序，可以执行本申请实施例所提供的任一种物流件抓取方法，因此，可以实现本申请实施例所提供的任一种物流件抓取方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。以上所述，仅是本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种物流件抓取方法，其特征在于，应用于抓取设备，所述方法包括：
响应于目标物流件抓取指令采集环境图像，并根据所述环境图像确定所述目标物流件的第一模糊位置，其中，所述第一模糊位置在所述目标物流件的外轮廓区域内；
根据所述第一模糊位置确定抓取位置，并移动至所述抓取位置；
采集包含所述目标物流件的物流件图像，并根据所述物流件图像确定所述目标物流件的第二模糊位置、以及所述目标物流件上的目标文本标识位置；
根据所述第二模糊位置与所述目标文本标识位置确定物流件目标位置；
根据所述物流件目标位置对目标物流件进行抓取；
其中，所述目标物流件抓取指令包括目标物流件的颜色特征，所述根据所述环境图像确定所述目标物流件的第一模糊位置，包括：
基于预设的畸变消除模型，消除所述环境图像中的畸变得到消畸图像；
对所述消畸图像进行轮廓识别，以获取所述消畸图像中多个物流件的外轮廓；
对每一所述物流件的外轮廓区域内的像素进行颜色特征提取，得到对应的颜色特征阵列；
根据所述颜色特征阵列计算出平均颜色特征，并以所述平均颜色特征作为对应外轮廓的颜色特征；
计算每一所述外轮廓的颜色特征与目标物流件的颜色特征的相似度，以颜色特征相似度最高的外轮廓作为所述目标物流件对应的外轮廓，以所述目标物流件对应的外轮廓区域作为所述第一模糊位置。
2.根据权利要求1所述的物流件抓取方法，其特征在于，所述根据所述第一模糊位置确定抓取位置，包括：
获取所述第一模糊位置的位置中心，并根据所述位置中心确定可抓取区域；
获取所述抓取设备在所述环境图像预设的可移动轨迹；
获取所述可移动轨迹和所述可抓取区域的重合区域；
获取所述重合区域多个位置点的位置信息，并根据多个所述位置信息确定所述抓取设备的抓取位置。
3.根据权利要求1所述的物流件抓取方法，其特征在于，所述根据所述第一模糊位置确定抓取位置，包括：
获取所述第一模糊位置的位置中心，并根据所述位置中心确定可抓取区域；
获取所述环境图像中障碍物对应的位置信息及种类信息；
根据所述位置信息及所述种类信息构建所述抓取设备的可移动轨迹；
获取所述可移动轨迹和所述可抓取区域的重合区域；
获取所述重合区域多个位置点的位置信息，并根据多个所述位置信息确定所述抓取设备的抓取位置。
4.根据权利要求3所述的物流件抓取方法，其特征在于，所述根据所述位置信息及所述种类信息构建所述抓取设备的可移动轨迹，包括：
根据所述种类信息确定与所述种类信息对应的障碍物高度与占地范围；
获取所述抓取设备的可爬升高度，并根据所述可爬升高度与所述障碍物高度确定所述障碍物是否可翻越；
根据不可翻越的所述障碍物的位置信息与占地范围确定所述环境图像中的可翻越区域；
获取所述抓取设备的行驶宽度，并根据所述行驶宽度与所述可翻越区域的宽度确定所述抓取设备的可移动轨迹。
5.根据权利要求1所述的方法，其特征在于，所述确定所述目标物流件上的目标文本标识位置，包括：
基于预设的文本识别模型对所述物流件图像进行识别，获得所述目标物流件表面的多个文本标识的信息，其中，所述文本标识的信息至少包括轮廓位置、及标识内容；
根据所述标识内容从所述多个文本标识中筛选出所述目标文本标识；
根据所述目标文本标识对应的轮廓位置，确定所述目标文本标识位置。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述根据所述第二模糊位置与所述目标文本标识位置确定物流件目标位置，包括：
根据所述物流件图像构建虚拟坐标系；
根据所述第二模糊位置与所述目标文本标识位置在所述物流件图像中的相对位置，确定所述第二模糊位置与所述目标文本标识位置在所述虚拟坐标系中的相对位置；
以所述第二模糊位置与所述目标文本标识位置在所述虚拟坐标系中的相对位置的中点作为物流件目标位置。
7.一种抓取设备，其特征在于，包括：图像采集机构、移动机构、抓取机构、处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如权利要求1-6任一项所述的物流件抓取方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如权利要求1-6任一项所述的物流件抓取方法的步骤。
CN202111083893.7A 2021-09-14 2021-09-14 物流件抓取方法、抓取设备及存储介质 Active CN113877827B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111083893.7A CN113877827B (zh) 2021-09-14 2021-09-14 物流件抓取方法、抓取设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111083893.7A CN113877827B (zh) 2021-09-14 2021-09-14 物流件抓取方法、抓取设备及存储介质

Publications (2)

Publication Number Publication Date
CN113877827A CN113877827A (zh) 2022-01-04
CN113877827B true CN113877827B (zh) 2023-06-16

Family

ID=79009641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111083893.7A Active CN113877827B (zh) 2021-09-14 2021-09-14 物流件抓取方法、抓取设备及存储介质

Country Status (1)

Country Link
CN (1) CN113877827B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003196649A (ja) * 2001-12-28 2003-07-11 Nikon Corp 画像処理装置および画像処理プログラム
CN104574440A (zh) * 2014-12-30 2015-04-29 安科智慧城市技术（中国）有限公司 一种视频运动目标跟踪方法及装置
CN110333869A (zh) * 2019-06-26 2019-10-15 深圳玩智商科技有限公司 Ros机器人调试装置、方法、计算机设备以及程序产品
CN112561882A (zh) * 2020-12-16 2021-03-26 深圳市六合智能感知系统科技有限公司 物流的分拣方法、系统、设备及存储介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6801334B1 (en) * 1998-05-28 2004-10-05 Fuji Photo Film Co., Ltd. Index print producing method, image processing system, image processing method and image processing device
JP4456304B2 (ja) * 2000-09-04 2010-04-28 富士通株式会社 歪み補正方式
JP4241072B2 (ja) * 2003-02-07 2009-03-18 富士フイルム株式会社 バーコード読取装置
JP4882374B2 (ja) * 2003-06-12 2012-02-22 株式会社ニコン 画像処理方法、画像処理プログラム、画像処理装置
JP2007088781A (ja) * 2005-09-21 2007-04-05 Fuji Xerox Co Ltd 画像処理装置および処理方法
EP2680590B1 (en) * 2011-02-21 2016-07-27 FUJIFILM Corporation Color image pick-up element
JP5802524B2 (ja) * 2011-11-21 2015-10-28 株式会社Pfu 画像処理装置、画像処理方法、および画像処理プログラム
JP6500500B2 (ja) * 2015-02-27 2019-04-17 富士通株式会社 画像判定装置、画像判定方法、及びプログラム
CN107016387B (zh) * 2016-01-28 2020-02-28 苏宁云计算有限公司 一种识别标签的方法及装置
TWI616843B (zh) * 2016-09-12 2018-03-01 粉迷科技股份有限公司 動態影像去背方法、系統與電腦可讀取儲存裝置
CN108466268A (zh) * 2018-03-27 2018-08-31 苏州大学 一种货物分类搬运方法、系统及移动机器人和存储介质
CN108748148B (zh) * 2018-06-04 2021-03-16 常州信息职业技术学院 一种智能攀爬机器人用智能电气控制系统及其控制方法
CN110059702B (zh) * 2019-03-29 2021-10-22 北京奇艺世纪科技有限公司 一种物体轮廓识别方法及装置
CN111428731B (zh) * 2019-04-04 2023-09-26 深圳市联合视觉创新科技有限公司 基于机器视觉的多类目标识别定位方法、装置和设备
CN110245257B (zh) * 2019-05-31 2023-11-21 创新先进技术有限公司 推送信息的生成方法及装置
CN110335312A (zh) * 2019-06-17 2019-10-15 武汉大学 一种基于神经网络的目标空间定位方法及装置
CN111243017A (zh) * 2019-12-24 2020-06-05 广州中国科学院先进技术研究所 基于3d视觉的智能机器人抓取方法
CN111319044B (zh) * 2020-03-04 2022-08-09 达闼科技（北京）有限公司 物品抓取方法、装置、可读存储介质及抓取机器人
CN111906785A (zh) * 2020-07-23 2020-11-10 谈斯聪 多模式综合信息识别移动式双臂机器人装置系统及方法
CN113110325A (zh) * 2021-04-12 2021-07-13 谈斯聪 一种多臂分拣作业移动投递装置、最优化的管理系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003196649A (ja) * 2001-12-28 2003-07-11 Nikon Corp 画像処理装置および画像処理プログラム
CN104574440A (zh) * 2014-12-30 2015-04-29 安科智慧城市技术（中国）有限公司 一种视频运动目标跟踪方法及装置
CN110333869A (zh) * 2019-06-26 2019-10-15 深圳玩智商科技有限公司 Ros机器人调试装置、方法、计算机设备以及程序产品
CN112561882A (zh) * 2020-12-16 2021-03-26 深圳市六合智能感知系统科技有限公司 物流的分拣方法、系统、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种针对GAN生成的天文图像评价方法研究;张光华;王福豹;段渭军;;计算机仿真(01);全文 *
基于视觉的智能搬运机器人实验平台;朱佑滔;何志琴;施文烨;;电子世界(16);全文 *

Also Published As

Publication number Publication date
CN113877827A (zh) 2022-01-04

Similar Documents

Publication Publication Date Title
US11631192B2 (en) Robot climbing control method and device and storage medium and robot
DE112017002154B4 (de) Mobiler Roboter und Steuerverfahren für einen mobilen Roboter
Rovira-Más et al. Hough-transform-based vision algorithm for crop row detection of an automated agricultural vehicle
CN112136505B (zh) 一种基于视觉选择注意机制的水果采摘顺序规划方法
CN111445368B (zh) 基于机器视觉与深度学习的垃圾分类方法、装置及设备
CN103345644B (zh) 在线训练的目标检测方法及装置
CN107944403B (zh) 一种图像中的行人属性检测方法及装置
Ali et al. Visual tree detection for autonomous navigation in forest environment
CN108491807B (zh) 一种奶牛发情行为实时监测方法及系统
Gondal et al. Early pest detection from crop using image processing and computational intelligence
Maier et al. Self-supervised obstacle detection for humanoid navigation using monocular vision and sparse laser data
CN111738995A (zh) 一种基于rgbd图像的目标检测方法、装置及计算机设备
Farag Real-time detection of road lane-lines for autonomous driving
Lin et al. Development of navigation system for tea field machine using semantic segmentation
CN109858331A (zh) 自动驾驶清洁车垃圾识别清理方法
CN114445440A (zh) 一种应用于自行走设备的障碍物识别方法及自行走设备
CN111191557B (zh) 一种标志识别定位方法、标志识别定位装置及智能设备
Mangaonkar et al. Fruit harvesting robot using computer vision
CN113877827B (zh) 物流件抓取方法、抓取设备及存储介质
CN113894050B (zh) 物流件分拣方法、分拣设备及存储介质
CN108335308A (zh) 一种橙子自动检测方法、系统以及机器人智能零售终端
US20230100238A1 (en) Methods and systems for determining the 3d-locations, the local reference frames and the grasping patterns of grasping points of an object
CN112417944A (zh) 一种机器人控制方法及电子设备
AU2021368390B2 (en) Multi-target recognition system and method for follow-up robot based on coded thermal infrared mark
Nooraiyeen Robotic vehicle for automated detection of leaf diseases

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant