CN102120326A - 一种基于图像处理技术的机器手抓握滑移检测方法及装置 - Google Patents
一种基于图像处理技术的机器手抓握滑移检测方法及装置 Download PDFInfo
- Publication number
- CN102120326A CN102120326A CN 201110007519 CN201110007519A CN102120326A CN 102120326 A CN102120326 A CN 102120326A CN 201110007519 CN201110007519 CN 201110007519 CN 201110007519 A CN201110007519 A CN 201110007519A CN 102120326 A CN102120326 A CN 102120326A
- Authority
- CN
- China
- Prior art keywords
- grasping
- frame
- mechanical hand
- image processing
- sensitive chip
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开一种基于图像处理技术的机器手抓握滑移检测方法及装置。该检测方法是通过LED光源经光学系统将光束照射被抓握物体表面，表面光反射到CMOS感光芯片转换为电信号矩阵，通过数字信号处理器对当前帧和前一帧图像对比计算，得到被抓握物体的位移和方向；该检测装置包括内部成像模块、图像信号处理模块、数据通讯模块和控制计算机；内部成像模块由LED光源、光学系统和CMOS感光芯片组成；图像信号处理模块包括A/D转换器、帧存储器和数字信号处理器。本发明的方法和装置可以准确地检测出被抓握物体是否产生滑动以及滑动量的大小，其检测灵敏度比较高。
Description
技术领域
本发明涉及机器手滑移检测技术，尤其涉及一种对机器手抓握物体时滑移现象的传感检测方法及其装置。
背景技术
机器手是机器人的关键部件之一，其主要功能为握持住被抓物体，其根据机器人作业要求进行设计的，机械手的性能对机器人作业效率的发挥影响很大。设计一个能抓握不同形状物体的机械手是人们追逐的主要目标．机器人的很多用途都要求机器人具有软抓取功能，软抓取是指机器人在抓取未知属性的物体时，能根据物体重量和表面等因素以适当的夹持力，使物体变形尽可能小并抓起物体。机器人触觉传感技术是实现智能机器人的关键技术之一，触觉传感器是机器人与环境直接作用的必需媒介，是模仿人手使之具有接触觉、滑动觉、热觉等感知功能。控制夹持力来防止目标物体与机器手之间发生相对滑动，最终协助机器人完成抓取和操作任务。滑动信号的检测是实现机器手夹持力控制的反馈信息，是机器人完成高精度抓取与操作任务的关键所在。
目前用来检测机器手与抓握对象间滑移现象的方法有如下几种：
(1) 磁力式滑觉传感器中，滑动物体引起滚轮滚动，用磁铁和静止的磁头，或用光传感器进行检测，这种传感器只能检测到一个方向的滑动。
(2) 球式传感器用球代替滚轮。可以检测各个方向的滑动。
(3) 振动式滑觉传感器表面伸出的触针能和物体接触，物体滚动时，触针与物体接触而产生振动，这个振动由压点传感器或磁场线圈结构的微小位移计检测。
(4) 光电滑觉传感器是利用光电效应原理。将机械的滑动通过光信号转换为电脉冲信号加以检测。
但以上的滑觉传感器分别存在的灵敏度低，检测的滑动方向固定等缺点。
发明内容
本发明的目的是提出一种灵敏度高，能够有效可靠地检测机器手抓握滑动信号，基于图像处理技术的机器手抓握滑移检测方法。
本发明的另一目的是提出一种灵敏度高，基于图像处理技术的机器手抓握滑移检测装置。
本发明的一种基于图像处理技术的机器手抓握滑移检测方法的技术方案为：
1）机器手内部的LED光源照射到被抓握物体表面，其反射光经光学透镜聚焦于CMOS感光芯片上；
2）CMOS感光芯片将光信号转换为二维电信号矩阵，该电信号矩阵经模数转换后存入帧存储器；
3）数字信号处理器从帧存储器读出帧图像，将当前帧图像信号与前一帧的图像信号进行对比分析，计算出两帧图像中被抓握物体滑动的位移和方向。
本发明的一种基于图像处理技术的机器手抓握滑移检测装置的技术方案为：包括内部成像模块、图像信号处理模块、数据通讯模块和控制计算机；内部成像模块由LED光源、光学系统和CMOS感光芯片组成，该LED光源发出的光经光学系统和被抓握物体表面反射到CMOS感光芯片；图像信号处理模块包括A/D转换器、帧存储器和数字信号处理器；该A/D转换器的数据输入端与CMOS感光芯片连接，其输出端通过与帧存储器相连；数字信号处理器的数据输入端与帧存储器相连，其输出端通过数据通讯模块与控制计算机相连。
本发明的方法和装置经过对机器手抓握物体表面的图像采集识别，能准确地检测出被抓握物体是否产生滑动以及滑动量的大小，其检测灵敏度比较高。
附图说明
图1是检测装置示意图；
图2是内部成像模块示意图；
图3是相邻两次采样图移动对比图；
图4是本发明的实施图；
其中，1－LED光源，2－光学系统，3－CMOS感光芯片，4－A/D转换器，5－地址译码器，6－数字信号处理器，7－USB通讯模块，8－控制计算机，9－帧存储器，10－第一凸透镜, 11－反光镜，12－被抓握物体，13－第二凸透镜,14－机器手，15－内部成像模块,16-当前帧，17-前一帧；
具体实施方式
下面结合附图对具体实施方式做进一步的说明。
基于图像处理技术的机器手抓握滑移检测方法为：
1）机器手内部的LED光源经光路照射到被抓握物体表面，其反射光经光学透镜聚焦于CMOS感光芯片上；
2）CMOS感光芯片将光信号转换为二维电信号矩阵，该电信号矩阵经模数转换后存入帧存储器；
3）数字信号处理器从帧存储器读出帧图像，将当前帧图像信号与前一帧的图像信号进行对比分析，计算出两帧图像中被抓握物体滑动的位移和方向。其具体做法为对当前帧和前一帧上的特征区域进行比较，计算出特征区域的移动位移和方向，从而确定被抓握物体滑动的位移和方向。
如图1所示，基于图像处理技术的机器手抓握滑移检测装置，包括内部成像模块15、图像信号处理模块、数据通讯模块和控制计算机8；内部成像模块15由LED光源1、光学系统2和CMOS感光芯片3组成，该LED光源1发出的光经光学系统2和被抓握物体12表面反射到CMOS感光芯片3；图像信号处理模块包括A/D转换器4、帧存储器9和数字信号处理器6；该A/D转换器4的数据输入端与CMOS感光芯片3连接，其输出端通过地址译码器5与帧存储器9相连；数字信号处理器6的数据输入端通过地址译码器5与帧存储器9相连，输出端通过数据通讯模块与控制计算机8相连，该数据通讯模块为USB通讯模块。
本检测装置的安装如图4所示，其中内部成像模块15安装在机器手14的内部，并在被抓握物体12方向开有小孔，该小孔能通过光源发射的光和物体表面反射的光。
本发明的实现过程为：如图2所示，发光二极管光源1经第一光学透镜10转换为平行光束并经反射镜11反射后照亮被抓握物体12表面，其表面反射一部分光线经第二光学透镜13成像到CMOS感光芯片3上。CMOS感光芯片是由数百个光电器件组成的矩阵，图像就在CMOS上转换为二维矩阵电信号，经A/D转换器4和地址译码器5转换为二维数字图像信号并存储到帧存储器9中。数字信号处理器6从帧存储器9中读取当前帧二维数字图像信号和前一帧二维数字图像信号，并对两帧图像进行数字矩阵分析，分析过程如图3所示，由于相邻的两幅图像存在相同的特征区域，通过对比这些特征点区域的位置变化信息，便可以判断出机器手被抓握物体12表面的移动方向与距离，这个分析结果最终被转换为二维坐标X和Y的偏移量ΔX和ΔY，并经USB通讯模块7发送到控制计算机8，从而实现机器手被抓握物体的滑移检测。
CMOS感光芯片3的光电成像的感应度为400DPI时，分辨率可达0.06mm，即可以检测被抓握物体0.06mm 的微小滑动；光电成像的系统目前可达到5000帧/秒的刷新率，即可以检测到被抓握物体的高速滑动现象。
Claims (5)
1.一种基于图像处理技术的机器手抓握滑移检测方法，其特征在于包括如下步骤：
1）机器手内部的LED光源照射到被抓握物体表面，其反射光经光学透镜聚焦于CMOS感光芯片上；
2）CMOS感光芯片将光信号转换为二维电信号矩阵，该电信号矩阵经模数转换后存入帧存储器；
3）数字信号处理器从帧存储器读出帧图像，将当前帧图像信号与前一帧的图像信号进行对比分析，计算出两帧图像中被抓握物体滑动的位移和方向。
2.根据权利要求1所述的一种基于图像处理技术的机器手抓握滑移检测方法，其特征在于，步骤3）中对当前帧和前一帧上的特征区域进行比较，计算出特征区域的移动位移和方向，从而确定被抓握物体滑动的位移和方向。
3.实现权利要求1的一种基于图像处理技术的机器手抓握滑移检测方法的装置，包括内部成像模块（15）、图像信号处理模块、数据通讯模块和控制计算机（8），其特征在于，所述内部成像模块由LED光源（1）、光学系统（2）和CMOS感光芯片（3）组成，该LED光源（1）发出的光经光学系统（2）和被抓握物体（12）表面反射到CMOS感光芯片（3）；所述图像信号处理模块包括A/D转换器（4）、帧存储器（9）和数字信号处理器（6）；该A/D转换器（4）的数据输入端与CMOS感光芯片（3）连接，其输出端通过与帧存储器（9）相连；所述数字信号处理器（6）的数据输入端与帧存储器（9）相连，其输出端通过数据通讯模块与控制计算机（8）相连。
4.根据权利要求3所述的一种基于图像处理技术的机器手抓握滑移检测装置，其特征在于，所述CMOS感光芯片（3）将光信号转换为二维电信号矩阵。
5.根据权利要求3所述的一种基于图像处理技术的机器手抓握滑移检测装置，其特征在于，所述数字信号处理器（6）读取帧存储器（9）中的当前帧和前一帧，对当前帧和前一帧上的特征区域进行比较，计算出特征区域的移动位移和方向，从而确定被抓握物体（12）滑动的位移和方向。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011100075199A CN102120326B (zh) | 2011-01-14 | 2011-01-14 | 一种基于图像处理技术的机器手抓握滑移检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011100075199A CN102120326B (zh) | 2011-01-14 | 2011-01-14 | 一种基于图像处理技术的机器手抓握滑移检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102120326A true CN102120326A (zh) | 2011-07-13 |
| CN102120326B CN102120326B (zh) | 2012-11-28 |
Family
ID=44249041
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2011100075199A Active CN102120326B (zh) | 2011-01-14 | 2011-01-14 | 一种基于图像处理技术的机器手抓握滑移检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102120326B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102564319A (zh) * | 2011-12-30 | 2012-07-11 | 清华大学 | 利用图像处理技术检测晶圆直线传输中滑移量的方法 |
| CN107322601A (zh) * | 2017-08-14 | 2017-11-07 | 山东大学 | 一种被机械手夹取的物体的姿态变化检测装置及方法 |
| CN109239388A (zh) * | 2018-09-10 | 2019-01-18 | 清华大学深圳研究生院 | 一种电子皮肤的触觉动态感知方法 |
| US20210146532A1 (en) * | 2019-11-15 | 2021-05-20 | Massachusetts Institute Of Technology | Tactile dexterity and control |
| CN115108316A (zh) * | 2022-08-29 | 2022-09-27 | 民航成都物流技术有限公司 | 行李拾取夹具、设备以及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1067505A (zh) * | 1991-06-05 | 1992-12-30 | 北京理工大学 | 组合式触觉传感器 |
| US5321353A (en) * | 1992-05-13 | 1994-06-14 | Storage Technolgy Corporation | System and method for precisely positioning a robotic tool |
| JPH09290383A (ja) * | 1996-04-25 | 1997-11-11 | Atr Ningen Joho Tsushin Kenkyusho:Kk | 画像情報によるマニピュレータ制御方法 |
| CN101402199A (zh) * | 2008-10-20 | 2009-04-08 | 北京理工大学 | 基于视觉的手眼式低伺服精度机器人移动目标抓取方法 |
-
2011
- 2011-01-14 CN CN2011100075199A patent/CN102120326B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1067505A (zh) * | 1991-06-05 | 1992-12-30 | 北京理工大学 | 组合式触觉传感器 |
| US5321353A (en) * | 1992-05-13 | 1994-06-14 | Storage Technolgy Corporation | System and method for precisely positioning a robotic tool |
| JPH09290383A (ja) * | 1996-04-25 | 1997-11-11 | Atr Ningen Joho Tsushin Kenkyusho:Kk | 画像情報によるマニピュレータ制御方法 |
| CN101402199A (zh) * | 2008-10-20 | 2009-04-08 | 北京理工大学 | 基于视觉的手眼式低伺服精度机器人移动目标抓取方法 |
Non-Patent Citations (1)
| Title |
|---|
| 《北京机械工业学院学报》 20061231 李仕雄等 无标定机械臂视觉伺服控制的实验设计 第5-7页 1-5 第21卷, 第3期 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102564319A (zh) * | 2011-12-30 | 2012-07-11 | 清华大学 | 利用图像处理技术检测晶圆直线传输中滑移量的方法 |
| CN102564319B (zh) * | 2011-12-30 | 2014-03-12 | 清华大学 | 利用图像处理技术检测晶圆直线传输中滑移量的方法 |
| CN107322601A (zh) * | 2017-08-14 | 2017-11-07 | 山东大学 | 一种被机械手夹取的物体的姿态变化检测装置及方法 |
| CN107322601B (zh) * | 2017-08-14 | 2019-06-28 | 山东大学 | 一种被机械手夹取的物体的姿态变化检测装置及方法 |
| CN109239388A (zh) * | 2018-09-10 | 2019-01-18 | 清华大学深圳研究生院 | 一种电子皮肤的触觉动态感知方法 |
| CN109239388B (zh) * | 2018-09-10 | 2020-09-25 | 清华大学深圳研究生院 | 一种电子皮肤的触觉动态感知方法 |
| US20210146532A1 (en) * | 2019-11-15 | 2021-05-20 | Massachusetts Institute Of Technology | Tactile dexterity and control |
| US11878415B2 (en) * | 2019-11-15 | 2024-01-23 | Massachusetts Institute Of Technology | Tactile dexterity and control |
| CN115108316A (zh) * | 2022-08-29 | 2022-09-27 | 民航成都物流技术有限公司 | 行李拾取夹具、设备以及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102120326B (zh) | 2012-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102120326B (zh) | 一种基于图像处理技术的机器手抓握滑移检测方法及装置 | |
| US8971565B2 (en) | Human interface electronic device | |
| Shimonomura et al. | Robotic grasp control with high-resolution combined tactile and proximity sensing | |
| CN101859439A (zh) | 一种用于人机交互的运动追踪装置及其追踪方法 | |
| WO1994011845A1 (en) | Device and method for determining movement of a surface | |
| JP2003148919A (ja) | ３次元相対運動を検出する装置及び方法 | |
| Andrussow et al. | Minsight: A Fingertip‐Sized Vision‐Based Tactile Sensor for Robotic Manipulation | |
| CN106032980A (zh) | 触觉传感器及使用触觉传感器的感测方法 | |
| CN101231158A (zh) | 基于液体变焦透镜的微小物体三维外形尺寸的快速检测装置 | |
| Kumagai et al. | Event-based tactile image sensor for detecting spatio-temporal fast phenomena in contacts | |
| CN110119208B (zh) | 悬浮显示成像装置及悬浮显示触控方法 | |
| Tada et al. | An imaging system of incipient slip for modelling how human perceives slip of a fingertip | |
| JP5439977B2 (ja) | 動作判定システム、動作判定装置およびプログラム | |
| Rahman et al. | Person to camera distance measurement based on eye-distance | |
| Pisharady et al. | Kinect based body posture detection and recognition system | |
| CN100375902C (zh) | 电磁继电器动态特性的测试方法 | |
| CN107020634A (zh) | 一种射频连接器装配机器人的控制系统 | |
| CN102103421A (zh) | 操作输入装置和方法、程序和电子设备 | |
| CN102944693A (zh) | 基于面阵快速场同步ccd图像传感器的测速系统及测速方法 | |
| CN104699279A (zh) | 可悬浮操作的位移检测装置和包含该装置的电脑系统 | |
| Wimmer | FlyEye: grasp-sensitive surfaces using optical fiber | |
| Fan et al. | ViTacTip: Design and Verification of a Novel Biomimetic Physical Vision-Tactile Fusion Sensor | |
| Xian et al. | A marker locating method based on gray centroid algorithm and its application to displacement and strain measurement | |
| CN103245782B (zh) | 胶体金法在线检测仪 | |
| CN103019415B (zh) | 一种检测物体相对于表面移动的方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| ASS | Succession or assignment of patent right |
Owner name: LIYANG CHANGDA TECHNOLOGY TRANSFER CENTER CO., LTD Free format text: FORMER OWNER: CHANGZHOU UNIVERSITY Effective date: 20141202 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| COR | Change of bibliographic data |
Free format text: CORRECT: ADDRESS; FROM: 213164 CHANGZHOU, JIANGSU PROVINCE TO: 213311 CHANGZHOU, JIANGSU PROVINCE |
|
| TR01 | Transfer of patent right |
Effective date of registration: 20141202 Address after: Daitou town of Liyang City Ferry Street 213311 Jiangsu city of Changzhou province 8-2 No. 7 Patentee after: Liyang Chang Technology Transfer Center Co., Ltd. Address before: Gehu Lake Road Wujin District 213164 Jiangsu city of Changzhou province No. 1 Patentee before: Changzhou University |
|
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20110713 Assignee: Jiangsu Ironman Machine Tools Co., Ltd. Assignor: Liyang Chang Technology Transfer Center Co., Ltd. Contract record no.: 2015320000520 Denomination of invention: Manipulator arm grabbing and sliding detection method and device based on image processing technology Granted publication date: 20121128 License type: Exclusive License Record date: 20150629 |
|
| LICC | Enforcement, change and cancellation of record of contracts on the licence for exploitation of a patent or utility model |