CN110772651A - 基于机器视觉的鞋内紫外定向杀菌的方法和装置 - Google Patents
基于机器视觉的鞋内紫外定向杀菌的方法和装置 Download PDFInfo
- Publication number
- CN110772651A CN110772651A CN201911144817.5A CN201911144817A CN110772651A CN 110772651 A CN110772651 A CN 110772651A CN 201911144817 A CN201911144817 A CN 201911144817A CN 110772651 A CN110772651 A CN 110772651A
- Authority
- CN
- China
- Prior art keywords
- shoe
- target
- mechanical arm
- computer controller
- ultraviolet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001954 sterilising effect Effects 0.000 title claims abstract description 109
- 238000004659 sterilization and disinfection Methods 0.000 title claims abstract description 99
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000033001 locomotion Effects 0.000 claims abstract description 40
- 239000003086 colorant Substances 0.000 claims description 10
- 238000003708 edge detection Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000005728 strengthening Methods 0.000 claims description 6
- 230000003313 weakening effect Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 12
- 230000009471 action Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 239000012636 effector Substances 0.000 description 4
- 210000002683 foot Anatomy 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- IKCLCGXPQILATA-UHFFFAOYSA-N 2-chlorobenzoic acid Chemical compound OC(=O)C1=CC=CC=C1Cl IKCLCGXPQILATA-UHFFFAOYSA-N 0.000 description 2
- 244000052616 bacterial pathogen Species 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000004804 winding Methods 0.000 description 2
- 241000894006 Bacteria Species 0.000 description 1
- 208000014770 Foot disease Diseases 0.000 description 1
- 241000233866 Fungi Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000009395 breeding Methods 0.000 description 1
- 230000001488 breeding effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000003071 parasitic effect Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 201000004647 tinea pedis Diseases 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
- A61L2/00—Methods or apparatus for disinfecting or sterilising materials or objects other than foodstuffs or contact lenses; Accessories therefor
- A61L2/02—Methods or apparatus for disinfecting or sterilising materials or objects other than foodstuffs or contact lenses; Accessories therefor using physical phenomena
- A61L2/08—Radiation
- A61L2/10—Ultraviolet radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
- A61L2/00—Methods or apparatus for disinfecting or sterilising materials or objects other than foodstuffs or contact lenses; Accessories therefor
- A61L2/24—Apparatus using programmed or automatic operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
- A61L2/00—Methods or apparatus for disinfecting or sterilising materials or objects other than foodstuffs or contact lenses; Accessories therefor
- A61L2/26—Accessories or devices or components used for biocidal treatment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
- A61L2202/00—Aspects relating to methods or apparatus for disinfecting or sterilising materials or objects
- A61L2202/10—Apparatus features
- A61L2202/14—Means for controlling sterilisation processes, data processing, presentation and storage means, e.g. sensors, controllers, programs
Landscapes
- Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Manipulator (AREA)
Abstract
本发明提供了一种基于机器视觉的鞋内紫外定向杀菌的方法和装置，应用于鞋柜，包括：摄像头，上位机控制器，紫外杀菌模块，下位机控制器和机械臂，其中，装置设置于鞋柜内部，紫外杀菌模块设置于机械臂的末端；摄像头，用于采集鞋柜内的目标鞋子的图像；上位机控制器，用于对图像进行识别分析，得到目标鞋子的鞋口位置坐标；下位机控制器，用于基于鞋口位置坐标控制机械臂的运动姿态，使得紫外杀菌模块深入目标鞋子的内部；紫外杀菌模块，用于对目标鞋子的内部进行杀菌操作。本发明缓解了现有技术中鞋子杀菌设备存在的体积大，无法深入鞋内，限制了其使用范围及环境的技术问题。
Description
技术领域
本发明涉及鞋内杀菌技术领域，尤其是涉及一种基于机器视觉的鞋内紫外定向杀菌的方法和装置。
背景技术
传统家庭鞋柜主要作为一种家具，用于存放鞋具用品。然而，脚湿脚臭、足癣等卫生问题导致足疾恶性循环，鞋子内部作为病菌滋生和传播的温床，亟需净化。
近期出现的电子鞋柜集成了烘烤、熏香，且内置紫外汞灯，对鞋子消毒。利用紫外线作用消除细菌、霉菌和真菌是本领域公知的技术方法，但是现有技术中利用紫外泵灯进行杀菌存在着体积大，无法深入鞋内，限制了其使用范围及环境。
发明内容
有鉴于此，本发明的目的在于提供一种基于机器视觉的鞋内紫外定向杀菌的方法和装置，以缓解了现有技术中鞋子杀菌设备存在的体积大，无法深入鞋内，限制了其使用范围及环境的技术问题。
第一方面，本发明实施例提供了一种基于机器视觉的鞋内紫外定向杀菌的装置，应用于鞋柜，包括：摄像头，上位机控制器，紫外杀菌模块，下位机控制器和机械臂，其中，所述装置设置于所述鞋柜内部，所述紫外杀菌模块设置于所述机械臂的末端；所述摄像头，用于采集所述鞋柜内的目标鞋子的图像；所述上位机控制器，用于对所述图像进行识别分析，得到所述目标鞋子的鞋口位置坐标；所述下位机控制器，用于基于所述鞋口位置坐标控制所述机械臂的运动姿态，使得所述紫外杀菌模块深入所述目标鞋子的内部；所述紫外杀菌模块，用于对所述目标鞋子的内部进行杀菌操作。
进一步地，所述机械臂包括多个旋转关节，所述旋转关节由舵机构成。
进一步地，所述装置还包括：夹持器，所述机械臂的末端通过所述夹持器与所述紫外杀菌模块相连接。
进一步地，所述紫外杀菌模块包括：光源驱动器和紫外LED光源模组，其中，所述光源驱动器与所述紫外LED光源模组相连接，所述紫外LED光源模组固定于所述夹持器上；所述光源驱动器，用于为所述LED光源模组提供电驱动；所述LED光源模组，用于对目标鞋子内部进行杀菌操作。
进一步地，所述下位机控制器还用于：通过控制所述夹持器，以使所述LED光源模组在所述目标鞋子内部分别沿水平和垂直于所述目标鞋子的搁板平面做环绕运动，进行杀菌操作。
进一步地，所述上位机控制器还用于：将所述图像转换到HSV色彩空间进行色彩分割操作，强化感兴趣颜色，弱化无关颜色得到感兴趣区域；对所述感兴趣区域进行Canny边缘检测，得到目标轮廓；所述目标轮廓为所述目标鞋子的鞋口轮廓；计算所述目标轮廓的中心坐标，将所述中心坐标作为所述鞋口位置坐标。
进一步地，所述下位机控制器还用于：确定所述机械臂的初始位置坐标；基于所述鞋口位置坐标和所述初始位置坐标，解算所述机械臂的旋转角度和伸长长度；基于所述旋转角度和所述伸长长度控制所述机械臂的运动姿态，使得所述紫外杀菌模块深入所述目标鞋子内部。
第二方面，本发明实施例还提供了一种基于机器视觉的鞋内紫外定向杀菌的方法，应用于第一方面所述的装置，包括：通过所述摄像头采集所述鞋柜内的目标鞋子的图像；通过所述上位机控制器对所述图像进行识别分析，得到所述目标鞋子的鞋口位置坐标；通过所述下位机控制器基于所述鞋口位置坐标，控制所述机械臂的运动姿态，使得所述紫外杀菌模块深入所述目标鞋子的内部；通过紫外杀菌模块对所述目标鞋子的内部进行杀菌操作。
进一步地，通过所述上位机控制器对所述图像进行识别分析，得到所述目标鞋子的鞋口位置坐标，包括：将所述图像转换到HSV色彩空间进行色彩分割操作，强化感兴趣颜色，弱化无关颜色得到感兴趣区域；对所述感兴趣区域进行Canny边缘检测，得到目标轮廓；所述目标轮廓为所述目标鞋子的鞋口轮廓；计算所述目标轮廓的中心坐标，将所述中心坐标作为所述鞋口位置坐标。
进一步地，通过所述下位机控制器基于所述鞋口位置坐标，控制所述机械臂的运动姿态，使得所述紫外杀菌模块深入所述目标鞋子的内部，包括：确定所述机械臂的初始位置坐标；基于所述鞋口位置坐标和所述初始位置坐标，解算所述机械臂的旋转角度和伸长长度；通过下位机控制器基于所述旋转角度和所述伸长长度控制所述机械臂的运动姿态，使得所述紫外杀菌模块深入所述目标鞋子的内部。
本发明提供了一种基于机器视觉的鞋内紫外定向杀菌的方法和装置，应用于鞋柜，包括：摄像头，上位机控制器，紫外杀菌模块，下位机控制器和机械臂，其中，装置设置于鞋柜内部，紫外杀菌模块设置于机械臂的末端；摄像头，用于采集鞋柜内的目标鞋子的图像；上位机控制器，用于对图像进行识别分析，得到目标鞋子的鞋口位置坐标；下位机控制器，用于基于鞋口位置坐标控制机械臂的运动姿态，使得紫外杀菌模块深入目标鞋子的内部；紫外杀菌模块，用于对目标鞋子的内部进行杀菌操作。本发明通过在鞋柜内集成智能杀菌的装置，利用机器视觉智能识别鞋口，通过机械臂运动控制进行定位，完成鞋内各部位的全方位杀菌，缓解了现有技术中鞋子杀菌设备存在的体积大，无法深入鞋内，限制了其使用范围及环境的技术问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于机器视觉的鞋内紫外定向杀菌的装置的示意图；
图2为本发明实施例提供的一种基于机器视觉的鞋内紫外定性杀菌的装置的控制系统设计框架示意图；
图3为本发明实施例提供的一种基于机器视觉的鞋内紫外定性杀菌的装置的硬件框架示意图；
图4为本发明实施例提供的一种上位机控制器的软件设计流程图；
图5为本发明实施例提供的一种下位机控制器的软件设计流程图；
图6为本发明实施例提供的一种基于机器视觉的鞋内紫外定向杀菌的方法的流程图；
图7为本发明实施例提供的一种D-H参数模型示意图；
图8为本发明实施例提供的一种机械臂的旋转自由度的示意图；
图9为本发明实施例提供的一种机械臂结构三维示意图；
图10为本发明实施例提供的一种机械臂的简易线段示意图；
图11为本发明实施例提供的一种机械臂的平面示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
目前鞋子杀菌的一个主要缺点是杀菌效果欠佳，致使一些病菌寄生在鞋体内部，反复感染。有鉴于此，本发明提供了一种在家庭鞋柜内集成智能杀菌的装置。利用机器视觉智能识别鞋口，通过机械臂运动控制进行定位，设计自由曲面透镜对紫外线定向，完成鞋内各部位的全方位杀菌。
图1是根据本发明实施例提供的一种基于机器视觉的鞋内紫外定向杀菌的装置的示意图，该装置应用于鞋柜。具体地，如图1所示，该装置包括：上位机控制器10，摄像头20，下位机控制器30，机械臂40和紫外杀菌模块50。其中，紫外杀菌模块50设置于机械臂40的末端。
具体地，本发明实施例提供的基于机器视觉的鞋内紫外定向杀菌装置设置于鞋柜内部，优选地，该装置设置于鞋柜内部的顶部隔板位置。
摄像头20，用于采集鞋柜内的目标鞋子的图像。
上位机控制器10，用于对图像进行识别分析，得到目标鞋子的鞋口位置坐标。
下位机控制器30，用于基于鞋口位置坐标控制机械臂40的运动姿态，使得紫外杀菌模块50深入目标鞋子的内部。
紫外杀菌模块50，用于对目标鞋子的内部进行杀菌操作。可选地，紫外光源为CoBLED光源。
本发明提供的一种基于机器视觉的鞋内紫外定向杀菌的装置，通过在鞋柜内集成智能杀菌的装置，利用机器视觉智能识别鞋口，通过机械臂运动控制进行定位，完成鞋内各部位的全方位杀菌，缓解了现有技术中鞋子杀菌设备存在的体积大，无法深入鞋内，限制了其使用范围及环境的技术问题。
在本发明实施例的一个可选实施方式中，基于机器视觉的鞋内紫外定向杀菌的装置包括：下位机控制系统，上位机控制系统和紫外杀菌模块。
其中，下位机控制系统包括下位机控制器和机械臂，机械臂由若干舵机关节组成，每个关节的旋转角度可控制；下位机控制器，通过调节机械臂的各个舵机关节，来控制机械臂的运动姿态，定位到目标鞋口位置，控制机械臂使得紫外光源深入目标鞋子内部。
紫外光源模组固定于机械臂末端的夹持器上，用于对目标鞋子内部进行杀菌操作。
上位机控制系统包括摄像头和上位机控制器，固定于鞋柜内放置鞋子的底板顶部，摄像头用于采集鞋柜内的目标鞋子的图像；上位机控制器用于对图像进行识别分析，得到目标鞋子的鞋口位置坐标。
可选地，如图1所示，机械臂40包括多个旋转关节，旋转关节由舵机构成。
优选地，本发明实施例中的机械臂40采用六个旋转关节来构成六自由度的机械臂，旋转关节全部由舵机构成，相较于工业机械臂采用的伺服电机，其具有能耗小、成本低等特点。
在本发明实施例中，视觉系统由摄像头20配备上位机控制器10构成，为机械臂提供视觉支持。
可选地，如图1所示，下位机控制器还包括：夹持器60，机械臂的末端通过夹持器与紫外杀菌模块相连接。
可选地，紫外杀菌模块包括：光源驱动器和紫外LED光源模组，其中，光源驱动器与紫外LED光源模组相连接，紫外LED光源模组固定于夹持器60上。
具体地，光源驱动器用于为LED光源模组提供电驱动；实施例典型的LED光源一般选用3*3的方形CoB LED，直流电流300mA驱动，前向电压15-20V，采用PWM调光。
LED光源模组，用于对目标鞋子内部进行杀菌操作。
在本发明实施例中，下位机控制器主要用于机械臂40的运动控制，实现目标抓取。本发明实施例提供的基于机器视觉的鞋内紫外定性杀菌的装置的控制系统设计框架如图2所示。
优选地，在本发明实施例中，下位机控制器控制机械臂在三维空间的运行需要进行运动学姿态解算，其中涉及到大量的浮点运算，故选用具备浮点运算单元的STM32F407作为主控制芯片。另外机械臂的关节由六个舵机组成，采用六路PWM波进行舵机驱动。考虑到程序复杂，额外使用一个LED作为程序指示灯，并使用一个按键用于初始化机械臂姿态模式，上位机通过串口与下位机进行信息交换，设计框图如图3所示。
上位机控制器主要通过摄像头识别目标坐标信息，并将坐标信息通过串口发送给下位机控制器，上位机的图像处理采用OpenCV函数库来实现。
具体地，上位机控制器的程序设计流程是通过摄像头采集图像，将图像转换到HSV色彩空间进行色彩分割，通过模糊降噪处理得到包含目标信息的灰度图像，对该图像进行轮廓检测，得到目标轮廓，最后计算出目标的中心坐标。将坐标转换到实际空间坐标系，并将该坐标通过串口协议发送给下位机。上位机控制器的软件设计流程如图4所示。
具体地，上位机控制器通过如下步骤得到鞋口位置坐标：
将图像转换到HSV色彩空间进行色彩分割操作，强化感兴趣颜色，弱化无关颜色得到感兴趣区域；
对感兴趣区域进行Canny边缘检测，得到目标轮廓；其中，目标轮廓为目标鞋子的鞋口轮廓；
计算目标轮廓的中心坐标，将中心坐标作为鞋口位置坐标。
具体地，基于寻找到的目标轮廓开始寻找目标轮廓的中心坐标，将中心坐标作为鞋口位置坐标。由于目标轮廓大小有限且连续，可以通过筛选目标轮廓上的水平和垂直方向上的最大值和最小值，进行均值计算，从而得到鞋口位置的中心坐标。
在本发明实施例中，下位机控制器的软件处理流程主要完成的功能包括接收上位机控制器发送的鞋口位置的中心坐标、改进的机械臂运动学逆解算法(三自由度共平面解析法)、控制机械臂的旋转关节，以及将机械臂的执行器运动到目标位置处，实行旋转。一次杀菌操作完成之后，机械臂等待上位机控制器发送下一次动作指令。下位机控制器软件处理流程如图5所示。
可选地，上位机控制器中还包括蜂鸣器。具体地，上位机控制器将目标的坐标信息通过串口发送给下位机控制器以后，下位机控制器进行机械臂逆运动学姿态解算，末端执行器完成一次旋转环绕杀菌动作。杀菌完成以后蜂鸣器鸣叫，作为一次操作完成的标志。
在本发明实施例中，摄像头识别的目标位置是基于它本身的图像，检测的坐标是图像上的坐标。也就是说还需要将摄像头的图像坐标转换到工作平面上的实际距离，而机械臂又是独立于工作平面放置的。因此需要校正摄像头、工作平面以及机械臂三者的坐标空间，使三者的坐标空间一致，这样才能实现目标抓取。
由此，在开始工作之前需要进行坐标标定工作。可选地，通过机械臂初始化按键，将机械臂的姿态固定为标准工作状态，以便三者坐标系的标定。
可选地，在本发明实施例中，下位机控制器控制紫外光源对鞋内进行杀菌的过程如下：下位机控制器通过控制夹持器，以使LED光源模组在目标鞋子内部分别沿水平和垂直于目标鞋子的搁板平面做环绕运动，进行杀菌操作。
可选地，下位机控制器控制机械臂的控制逻辑如下：
确定机械臂的初始位置坐标；
基于鞋口位置坐标和初始位置坐标，解算机械臂的旋转角度和伸长长度；
通过下位机控制器基于旋转角度和伸长长度控制机械臂的运动，使得紫外光源深入目标鞋子内部。
在本发明实施例中，利用STM32具有的串口资源，可以将数据打包成一帧具有特定格式的数据包，再通过串口将数据按照自定义协议发送给下位机。
在本发明实施例中，机械臂定位目标需要知道目标的坐标信息即目标X坐标和Y坐标，同时还需要知道当前定位目标的颜色。当机械臂正处于定位目标的过程中，应该停止发送目标坐标直至机械臂当前定位完成，因此还需要设置一个标志位来表示机械臂的运行状态。
本发明实施例中，摄像头采集到的一帧图像大小为640*480，其中X轴坐标的取值范围为[0,640]，而Y轴坐标的取值范围为[0,480]，上一小节串口配置为每次发送8位数据，单次发送的数据最大值为255，因此需要将X坐标和Y坐标的16位数据分解为两个8位数据，按照低位在前高位在后的顺序分别发送。
为保证数据传输不会错乱，还需要加入帧头和帧尾，以避免下位机数据接收错位。综上所述约定一帧数据格式如表1所示：
表1一帧数据格式
由于本发明实施例中的摄像头、工作平面、机械臂三者的相对位置没有固定，而实际工作中需要三者的空间坐标形成统一，这样机械臂才能正确定位鞋口。因此在坐标转换之前需要先进行摄像头与工作平面的相对位置标定。具体地，摄像头采集的一幅图像大小为640*480。可以通过人为调整使得摄像头的视野范围涵盖工作平面内的所有区域。同时使工作平面的最上端与摄像头采集图像的最上端重合。这样有利于图像坐标转换到实际坐标。
可选地，摄像头检测到的目标坐标是相对于一幅图像的位置信息，为了使机械臂能正确移动到目标位置，需要将目标坐标转换到实际工作平面上的绝对坐标系。由在上位机控制器将摄像头、串口等设备初始化完成以后，进行一次位置标定。利用位置标定得到的参数将每帧图像获取的目标坐标转换到绝对坐标系中。
尽管摄像头采集的图像存在畸变，但这些畸变在本发明实施例中并不会严重影响到机械臂的定位精度，故可以忽略掉这些畸变(工业实际生产中需要考虑摄像头畸变对图像的影响来增加机械臂操作的可靠性)。在不考虑图像畸变的情况下，图像坐标与实际坐标成比例缩放。因此只需要在上位机控制器初始化完成以后采集工作平面的长宽坐标，利用工作平面的长宽坐标和工作平面的实际长度之间的比例关系，就可以大致计算出目标在绝对坐标系中的位置。
下面举例说明本发明实施例提供的下位机控制器的部分软件设计部分。
六路PWM信号输出：控制舵机旋转需要给舵机输入周期为20ms的PWM信号。由于本发明实施例使用的是数字舵机，只需要发送一次正确的合适的高电平，就能实现控制舵机的目的。但是在这个信号中对于一个周期内的高电平时间必须严格控制在0.5ms到2.5ms之间，对其一个周期内低电平的时间要求并不是很严格。
舵机的控制信号中高电平的时长为500μs到2500μs，低电平的时长为17500μs到20000μs。对于一个高电平为500μs的舵机控制信号，可以将其分解为500μs的高电平、2000μs的低电平、17500μs的低电平。同样的，对于一个高电平为1000μs的舵机控制信号，可以将其分解为1000μs的高电平、1500μs的低电平、17500μs的低电平。因此将20ms的周期视为8个2500μs组合，在这8个2500μs的时间里实现对八路舵机的高电平进行控制和辅助低电平进行控制。当下一个20ms到来时，重复对这8路信号进行控制，从而达到了使用一个定期器同时输出8路PWM信号的功能。
舵机转动速度控制：对于机械臂的控制，舵机的响应不需要迅速执行。对于不同的动作，对于舵机转动的速度要求不同。因此，需要增加对舵机转动速度的控制。具体地，将舵机运动到指定脉宽对应的位置分解为多个小的旋转步骤，经过一系列步骤，舵机最终会到达指定脉宽对应的位置。将舵机动作幅度从0度到90度的旋转过程中均匀添加为50个停顿点，通过改变每个停顿点停顿的时间长短来实现对舵机动作幅度从0度到90度的平均速度的控制。
由以上描述可知，本发明实施例提供了一种基于机器视觉的鞋内紫外定向杀菌的装置，包括上位机部分和下位机部分，上位机部分主要用于采集摄像头视频流数据，并针对每一帧图像进行目标检测。将检测到的目标坐标转换到实际工作平面上的参考系，并利用COM口将数据以帧的形式发送至下位机。下位机接收到坐标数据后，进行运动学解算，并控制关节舵机执行定位操作，最后通过控制紫外光源完成对鞋内杀菌操作。本发明实施例具有以下技术效果：
(1)鞋内全覆盖杀菌，可以弥补传统消毒方法的不足；
(2)体积小巧，可以深入鞋内进行杀菌，极大的扩展了其使用范围及环境；
(3)定向的紫外线辐射，避免了对人体有害的紫外辐射和泄漏问题。
实施例二：
图6是根据本发明实施例提供的一种基于机器视觉的鞋内紫外定向杀菌的方法的流程图，该方法应用于上述实施例一的装置。如图6所示，该方法具体包括如下步骤：
步骤S102，通过摄像头采集鞋柜内的目标鞋子的图像。
步骤S104，通过上位机控制器对图像进行识别分析，得到目标鞋子的鞋口位置坐标。
步骤S106，通过下位机控制器基于鞋口位置坐标，控制机械臂的运动姿态，使得紫外杀菌模块深入目标鞋子的内部。
步骤S108，通过紫外杀菌模块对目标鞋子的内部进行杀菌操作。
本发明实施例提供了一种基于机器视觉的鞋内紫外定向杀菌的方法，上位机通过摄像头对鞋柜内的鞋口进行目标识别；下位机控制六自由度机械臂的运动姿态，机械臂末端夹持CoB LED光源的紫外杀菌模块；下位机首先将光源定位到鞋口，紫外光源以鞋内空间为目标面，利用扩展光源的自由曲面来定向鞋内空间的光照度，设定光源运动的角速度完成鞋内定向杀菌，缓解了现有技术中鞋子杀菌设备存在的体积大，无法深入鞋内，限制了其使用范围及环境的技术问题。
可选地，步骤S104具体包括如下步骤：
步骤S1041，将图像转换到HSV色彩空间进行色彩分割操作，强化感兴趣颜色，弱化无关颜色得到感兴趣区域；
步骤S1042，对感兴趣区域进行canny边缘检测，得到目标轮廓；目标轮廓为目标鞋子的鞋口轮廓；
步骤S1043，计算目标轮廓的中心坐标，将中心坐标作为鞋口位置坐标。
可选地，步骤S106具体包括如下步骤：
步骤S1061，确定机械臂的初始位置坐标；
步骤S1062，基于鞋口位置坐标和初始位置坐标，解算机械臂的旋转角度和伸长长度；
步骤S1063，通过下位机控制器基于旋转角度和伸长长度控制机械臂的运动，使得紫外光源深入目标鞋子内部。
优选地，在本发明实施例中，利用改进的D-H参数法，结合矩阵运算求解机械臂的运动参数，从而确定机械臂的目标位置坐标。具体地，改进的D-H参数法，结合矩阵运算求解机械臂的运动参数过程如下：
首先确定机械臂的D-H参数模型：机械臂由一系列的关节和连杆按任意的顺序连接而成，这些关节可能是平移的或旋转的，连杆可能是任意长度的。所以，在对机械臂进行运动学分析时，必须先对机械臂进行建模。为了确定D-H参数模型，首先对机械臂的每个关节指定一个本地参考坐标系，如图7所示，Zi轴与Ai+1关节轴重合，Xi轴与公法线li重合，方向沿li由Ai+1轴线指向Ai+2轴线，Yi轴按右手定则判定方向建立关节坐标系。
定义连杆参数如下：θi为Xi-1轴到Xi轴绕Zi轴旋转角度。di为Xi-1轴到Xi轴沿Zi轴平移距离。li为Zi-1轴到Zi轴沿Xi轴平移距离。αi为Zi-1轴到Zi轴绕Xi轴旋转角度。相邻两坐标系之间的变化矩阵可表示为：
通过对机械臂的建模分析，可以得到本系统采用的六自由度机械臂D-H参数模型的参数表，如表2所示。
表2.六自由度机械臂D-H参数模型的参数表
然后对机械臂与工作平面的位置进行标定：通过按键使机械臂进入位置标定状态，这个时候的机械臂刚好处于能定位的最近位置，调整机械臂与工作平面的相对位置，使机械臂此时的执行器末端刚好处于工作平面的最边缘的中间位置。以及，获取机械臂的关节和机械臂末端坐标。具体地，在本发明实施例中，获取机械臂六关节坐标和机械臂末端坐标。
最后结合矩阵运算求解机械臂的运动参数：机械臂为六自由度机械臂，图8是根据本发明实施例提供的一种机械臂的旋转自由度的示意图，图9是根据本发明实施例提供的一种机械臂的三维示意图，图10是根据本发明实施例提供的一种机械臂的简易线段示意图。其中，图8中的1,2,3,4,5,6分别对应图9中的1,2,3,4,5,6,图8中的A、B、C、D、E、F分别对应机械臂的6个自由度的运动方向。图8或图9中的5、4、3三个关节无论如何旋转，都使得对应三个关节组成的臂(对应于图10中的线段OC，CB，BA)在运动中位于同一个平面。
具体地，机械臂对应关节与鞋口示意如图10所示：5点为机械臂底座中心，1点为目标鞋口上方5-10cm距离，A点(1点)为夹持器所在位置，为方便描述线段，用图中字母符号代替。
算法步骤及说明：
步骤S1，基于机械臂六关节坐标和机械臂末端坐标，确定标号为6的关节的旋转角度。具体地，如图10所示，由于5,4,3,1四个关节构成的三个臂位于一个平面X，6关节旋转将确定构成的是哪一个具体平面，在确定A点为目标面的鞋口正上方中点后，连接6和A点的直线即在平面X内。因此第一步首先通过6关节坐标和A点坐标(由前述的摄像头、工作平面以及机械臂三者的坐标空间校正确定的)，确定6关节的旋转角度θ1(6关节在上图中没画出)。
步骤S2，确定多个机械臂之间的夹角角度。具体地，如图10所示，由于OO’已知，则OA已知，此时将运动控制简化至OABC构成的四边形中，且四个边长均已知。考虑到A点为执行器末端需要深入鞋口，则AB与n平面的夹角受到鞋内高度，鞋口大小限制(通过识别出鞋子类型，根据鞋子类型确定AB与n平面的最小夹角θ2)，由于角OAO’已知，则角OAB可求出。已知四边形边长和一个夹角，则四边形形状确定，可快速计算出四个角度。
步骤S3，判断鞋口位置坐标是否超出机械臂末端所能达到的范围，如果超出，则发出报警信息。具体地，确定A点最远的距离为OCBA构成一条直线的距离，寻找的最大范围为OCBA构成直线条件下，且与n平面夹角小于θ2情况下，直线绕OO’旋转后的一个圆面内是否包括鞋口位置坐标在内，当定位目标点(即鞋口位置坐标)超出圆面范围报警。
步骤S4，根据鞋子类型，A点垂直n平面下降一个距离d，由于垂直下降，下降后的OA’与原来四边形仍在一个平面，θ1不变。为保证顺利进入鞋内，B’A’与n平面夹角不变，可得到下降后的B’点。此时已知三角形三边OB’,OC’,C’B’长度，确定三角形各内角角度。若OC’+C’B’<OB’报警。
实施例三：
本发明实施例还提供了另一种基于机器视觉的鞋内紫外定向杀菌的方法，应用于上述实施例一中的装置，具体步骤如下：
(1)智能杀菌启动按键：点亮鞋柜内的照明光源，通过USB摄像头完整扫描到鞋柜内放置鞋子的隔板，停止扫描后建立视频图像坐标，并标定机械臂运动的定位基准面和视频图像坐标之间的对应关系。读取视频图像，单次循环采集一帧图像，进行光照补偿、中值滤波、边缘检测等图像算法处理，来判定鞋口轮廓。
(2)鞋口的平面目标识别：根据鞋口的大小及边缘连续性特征，对二维平面坐标进行遍历，检测到目标轮廓。通过搜寻目标轮廓的极值(最大值和最小值)，计算出鞋口在一帧图像中的平面位置。
(3)机械臂的空间运动定位：选取鞋口对应的搁板上方15cm-20cm的平行平面作为机械臂运动的定位基准面。图11是根据本发明实施例提供的一种机械臂的平面示意图，其中JT表示旋转关节，如图11所示，六自由度机械臂包括底座旋转关节(JT1)，中间三个定位关节(从底座往上依次为JT2，JT3，JT4)，末端执行器旋转关节(JT5)和执行器抓取关节(JT6)。
(4)夹持器运动至杀菌中心点的定位：考虑到不同鞋子的鞋口高度不同，从定位目标面到鞋内的杀菌中心点为一段长度范围为0-10cm的直线距离，此时采用水平辅助摄像头或者手动设定的方式给出机械臂的二次运动定位，该定位采用上述实施例二中的改进D-H参数法，结合矩阵运算求解机械臂的运动参数。
(5)选用9-16颗平面阵列式紫外LED作为鞋内杀菌光源，辐射波长280nm，功率范围9-15W，将鞋内前脚板位置处设定为照明目标面，在点光源优化的自由曲面基础上，对比劣化光斑的照度分布和杀菌预期的光照度分布，获取预期照明区域内各点的反馈优化系数，建立扩展光源与目标平面的能量对应关系，构造基于鞋内前脚板区域的杀菌照明的二次自由曲面透镜。
(6)当定位到鞋内中心点时，机械臂末端执行器夹持的紫外CoB LED在舵机的控制下，沿平行和垂直于鞋子搁板的平面分别做环绕运动，运动角速度范围为0.0175rad/s-1rad/s，分别扫描2次后结束，机械臂沿原路返回待命。
其中，步骤(3)的具体实现包括如下步骤：
(3.1)机械臂启动。进行位置标定状态，机械臂执行器末端位于工作平面矩形边线的中点位置。
(3.2)通过鞋口中心坐标信息的确定，计算机械臂底座旋转关节(JT1)与鞋口中心坐标的直线路径，从而算出机械臂底座旋转关节(JT1)在自身底座平面上需要转动的角度θ1。
(3.3)JT2的空间位置基本与JT1重合，设计的JT2，JT3，JT4三个关节的旋转运动总在由这三个轴点构成的平面上，且JT5总位于目标平面。运动控制的求解采用基于机械臂逆运动学的平面简化算法，将JT2垂直映射到定位目标面上(JT2’)，构成了已知边长的四边形，满足边长条件的四边形不止一个。本发明优化JT2’、JT3和JT4构成的θ3。根据实际定位特征，该角度选取90°和180°两种情况，即可实现机械臂执行器达到在其伸长的极限最小最大值范围内的任意位置。
最后进行目标定位：通过实际位置坐标可以计算出机械臂底座旋转舵机的旋转角度以及机械臂伸长的距离，再通过平面解析得到机械臂的运动学逆解。通过得到的逆解，控制各个旋转舵机将机械臂的执行末端运动至目标位置。
当机械臂末端的执行器到达指定的目标位置过程后，执行平面旋转操作，旋转角度和时间可控，随后机械臂恢复到直立状态，蜂鸣器鸣叫一声，等待上位机的下一次定位指令。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种基于机器视觉的鞋内紫外定向杀菌的装置，其特征在于，应用于鞋柜，包括：摄像头，上位机控制器，紫外杀菌模块，下位机控制器和机械臂，其中，所述装置设置于所述鞋柜内部，所述紫外杀菌模块设置于所述机械臂的末端；
所述摄像头，用于采集所述鞋柜内的目标鞋子的图像；
所述上位机控制器，用于对所述图像进行识别分析，得到所述目标鞋子的鞋口位置坐标；
所述下位机控制器，用于基于所述鞋口位置坐标控制所述机械臂的运动姿态，使得所述紫外杀菌模块深入所述目标鞋子的内部；
所述紫外杀菌模块，用于对所述目标鞋子的内部进行杀菌操作。
2.根据权利要求1所述的装置，其特征在于，所述机械臂包括多个旋转关节，所述旋转关节由舵机构成。
3.根据权利要求1所述的装置，其特征在于，所述装置还包括：夹持器，所述机械臂的末端通过所述夹持器与所述紫外杀菌模块相连接。
4.根据权利要求3所述的装置，其特征在于，所述紫外杀菌模块包括：光源驱动器和紫外LED光源模组，其中，所述光源驱动器与所述紫外LED光源模组相连接，所述紫外LED光源模组固定于所述夹持器上；
所述光源驱动器，用于为所述LED光源模组提供电驱动；
所述LED光源模组，用于对目标鞋子内部进行杀菌操作。
5.根据权利要求4所述的装置，其特征在于，所述下位机控制器还用于：通过控制所述夹持器，以使所述LED光源模组在所述目标鞋子内部分别沿水平和垂直于所述目标鞋子的搁板平面做环绕运动，进行杀菌操作。
6.根据权利要求1所述的装置，其特征在于，所述上位机控制器还用于：
将所述图像转换到HSV色彩空间进行色彩分割操作，强化感兴趣颜色，弱化无关颜色得到感兴趣区域；
对所述感兴趣区域进行Canny边缘检测，得到目标轮廓；所述目标轮廓为所述目标鞋子的鞋口轮廓；
计算所述目标轮廓的中心坐标，将所述中心坐标作为所述鞋口位置坐标。
7.根据权利要求1所述的装置，其特征在于，所述下位机控制器还用于：
确定所述机械臂的初始位置坐标；
基于所述鞋口位置坐标和所述初始位置坐标，解算所述机械臂的旋转角度和伸长长度；
基于所述旋转角度和所述伸长长度控制所述机械臂的运动姿态，使得所述紫外杀菌模块深入所述目标鞋子内部。
8.一种基于机器视觉的鞋内紫外定向杀菌的方法，其特征在于，应用于权利要求1所述的装置，包括：
通过所述摄像头采集所述鞋柜内的目标鞋子的图像；
通过所述上位机控制器对所述图像进行识别分析，得到所述目标鞋子的鞋口位置坐标；
通过所述下位机控制器基于所述鞋口位置坐标，控制所述机械臂的运动姿态，使得所述紫外杀菌模块深入所述目标鞋子的内部；
通过所述紫外杀菌模块对所述目标鞋子的内部进行杀菌操作。
9.根据权利要求8所述的方法，其特征在于，通过所述上位机控制器对所述图像进行识别分析，得到所述目标鞋子的鞋口位置坐标，包括：
将所述图像转换到HSV色彩空间进行色彩分割操作，强化感兴趣颜色，弱化无关颜色得到感兴趣区域；
对所述感兴趣区域进行Canny边缘检测，得到目标轮廓；所述目标轮廓为所述目标鞋子的鞋口轮廓；
计算所述目标轮廓的中心坐标，将所述中心坐标作为所述鞋口位置坐标。
10.根据权利要求8所述的方法，其特征在于，通过所述下位机控制器基于所述鞋口位置坐标，控制所述机械臂的运动姿态，使得所述紫外杀菌模块深入所述目标鞋子的内部，包括：
确定所述机械臂的初始位置坐标；
基于所述鞋口位置坐标和所述初始位置坐标，解算所述机械臂的旋转角度和伸长长度；
通过下位机控制器基于所述旋转角度和所述伸长长度控制所述机械臂的运动姿态，使得所述紫外杀菌模块深入所述目标鞋子的内部。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911144817.5A CN110772651A (zh) | 2019-11-19 | 2019-11-19 | 基于机器视觉的鞋内紫外定向杀菌的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911144817.5A CN110772651A (zh) | 2019-11-19 | 2019-11-19 | 基于机器视觉的鞋内紫外定向杀菌的方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110772651A true CN110772651A (zh) | 2020-02-11 |
Family
ID=69392178
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911144817.5A Pending CN110772651A (zh) | 2019-11-19 | 2019-11-19 | 基于机器视觉的鞋内紫外定向杀菌的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110772651A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111973775A (zh) * | 2020-08-27 | 2020-11-24 | 湖州瑞博鞋业有限公司 | 一种便于对鞋子内外消毒的鞋子加工消毒设备 |
| KR20220059882A (ko) * | 2020-11-03 | 2022-05-10 | 부산과학기술대학교 산학협력단 | 신발 관리 방법 및 장치 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090046394A (ko) * | 2007-11-06 | 2009-05-11 | 박효상 | 구두닦이 로봇 자판기 |
| CN104107452A (zh) * | 2014-08-01 | 2014-10-22 | 陈学红 | 一种自来水箱除菌装置 |
| CN105054887A (zh) * | 2015-08-17 | 2015-11-18 | 应后右 | 智能洗鞋机器人 |
| US20160035079A1 (en) * | 2011-07-08 | 2016-02-04 | Restoration Robotics, Inc. | Calibration and Transformation of a Camera System's Coordinate System |
| CN106272424A (zh) * | 2016-09-07 | 2017-01-04 | 华中科技大学 | 一种基于单目相机和三维力传感器的工业机器人抓取方法 |
| CN106667075A (zh) * | 2016-11-23 | 2017-05-17 | 重庆向日葵机器人有限公司 | 带机械手的家用智能鞋柜及控制方法 |
| CN206462958U (zh) * | 2016-11-23 | 2017-09-05 | 张兰勇 | 一种全自动洗鞋机 |
| US10131051B1 (en) * | 2016-08-12 | 2018-11-20 | Amazon Technologies, Inc. | Anticipation-based robotic object grasping |
| CN109079777A (zh) * | 2018-08-01 | 2018-12-25 | 北京科技大学 | 一种机械臂手眼协调作业系统 |
| CN110125036A (zh) * | 2019-04-25 | 2019-08-16 | 广东工业大学 | 一种基于模板匹配的自识别分拣系统和方法 |
| CN110251042A (zh) * | 2019-06-18 | 2019-09-20 | 深圳动原创新技术有限公司 | 一种清洁机器人和清洁方法 |
-
2019
- 2019-11-19 CN CN201911144817.5A patent/CN110772651A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090046394A (ko) * | 2007-11-06 | 2009-05-11 | 박효상 | 구두닦이 로봇 자판기 |
| US20160035079A1 (en) * | 2011-07-08 | 2016-02-04 | Restoration Robotics, Inc. | Calibration and Transformation of a Camera System's Coordinate System |
| CN104107452A (zh) * | 2014-08-01 | 2014-10-22 | 陈学红 | 一种自来水箱除菌装置 |
| CN105054887A (zh) * | 2015-08-17 | 2015-11-18 | 应后右 | 智能洗鞋机器人 |
| US10131051B1 (en) * | 2016-08-12 | 2018-11-20 | Amazon Technologies, Inc. | Anticipation-based robotic object grasping |
| CN106272424A (zh) * | 2016-09-07 | 2017-01-04 | 华中科技大学 | 一种基于单目相机和三维力传感器的工业机器人抓取方法 |
| CN106667075A (zh) * | 2016-11-23 | 2017-05-17 | 重庆向日葵机器人有限公司 | 带机械手的家用智能鞋柜及控制方法 |
| CN206462958U (zh) * | 2016-11-23 | 2017-09-05 | 张兰勇 | 一种全自动洗鞋机 |
| CN109079777A (zh) * | 2018-08-01 | 2018-12-25 | 北京科技大学 | 一种机械臂手眼协调作业系统 |
| CN110125036A (zh) * | 2019-04-25 | 2019-08-16 | 广东工业大学 | 一种基于模板匹配的自识别分拣系统和方法 |
| CN110251042A (zh) * | 2019-06-18 | 2019-09-20 | 深圳动原创新技术有限公司 | 一种清洁机器人和清洁方法 |
Non-Patent Citations (3)
| Title |
|---|
| 唐燕妮: "《基于视觉引导的陶瓷瓶口定位机器人设计》", 《电子测试》 * |
| 荆学东编: "《工业机器人技术》", 31 July 2018, 上海：上海科学技术出版社 * |
| 陈朝大等编: "《单片机原理与应用 实验实训和课程设计》", 30 June 2014, 武汉：华中科技大学出版社 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111973775A (zh) * | 2020-08-27 | 2020-11-24 | 湖州瑞博鞋业有限公司 | 一种便于对鞋子内外消毒的鞋子加工消毒设备 |
| KR20220059882A (ko) * | 2020-11-03 | 2022-05-10 | 부산과학기술대학교 산학협력단 | 신발 관리 방법 및 장치 |
| KR102426697B1 (ko) | 2020-11-03 | 2022-07-29 | 부산과학기술대학교 산학협력단 | 신발 관리 방법 및 장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3691417B1 (en) | Automatic stage lighting tracking system and control method therefor | |
| EP3458919B1 (en) | Robot assisted object learning vision system | |
| JP5688825B2 (ja) | カメラシステムの座標系の較正および変換 | |
| CN108834576A (zh) | 一种基于双目视觉的柑橘采摘机器人及其实现方法 | |
| CN106853639A (zh) | 一种手机电池自动化装配系统及其控制方法 | |
| CN110772651A (zh) | 基于机器视觉的鞋内紫外定向杀菌的方法和装置 | |
| CN103271784A (zh) | 基于双目视觉的人机交互式机械手控制系统和控制方法 | |
| CN111267106A (zh) | 一种基于视觉的智能体温检测机器人及检测方法 | |
| CN105451461B (zh) | 基于scara机器人的pcb板定位方法 | |
| EP3383593A1 (en) | A method for teaching an industrial robot to pick parts | |
| CN111702755B (zh) | 一种基于多目立体视觉的机械臂智能控制系统 | |
| Miseikis et al. | Automatic calibration of a robot manipulator and multi 3d camera system | |
| CN110170995A (zh) | 一种基于立体视觉的机器人快速示教方法 | |
| JP4543001B2 (ja) | ロボットに用いられる情報通信システム | |
| CN110963298A (zh) | 基于视觉跟随的取料装置及方法 | |
| CN110666801A (zh) | 一种复杂工件匹配定位的抓取工业机器人 | |
| CN107717987A (zh) | 一种具有视觉系统的工业机器人及其控制方法 | |
| CN106695784A (zh) | 一种机器人视觉控制系统 | |
| WO2020005677A1 (en) | Lighting devices with automatic lighting adjustment | |
| JP2014069272A (ja) | キャリブレーション装置、および撮像装置のキャリブレーション方法 | |
| JP2017006990A (ja) | ロボット、制御装置、及び制御方法 | |
| JP2010058243A (ja) | ピッキング装置 | |
| Jia et al. | Real-time color-based sorting robotic arm system | |
| CN112991356A (zh) | 机械臂在复杂环境下的快速分割方法 | |
| Shen et al. | A multi-view camera-projector system for object detection and robot-human feedback |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200211 |