CN102120326B - 一种基于图像处理技术的机器手抓握滑移检测方法及装置 - Google Patents

一种基于图像处理技术的机器手抓握滑移检测方法及装置 Download PDF

Info

Publication number
CN102120326B
CN102120326B CN2011100075199A CN201110007519A CN102120326B CN 102120326 B CN102120326 B CN 102120326B CN 2011100075199 A CN2011100075199 A CN 2011100075199A CN 201110007519 A CN201110007519 A CN 201110007519A CN 102120326 B CN102120326 B CN 102120326B
Authority
CN
China
Prior art keywords
frame
grasping
sensitive chip
frame memory
mechanical hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2011100075199A
Other languages
English (en)
Other versions
CN102120326A (zh
Inventor
俞竹青
付俊勇
于勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liyang Chang Technology Transfer Center Co., Ltd.
Original Assignee
Changzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou University filed Critical Changzhou University
Priority to CN2011100075199A priority Critical patent/CN102120326B/zh
Publication of CN102120326A publication Critical patent/CN102120326A/zh
Application granted granted Critical
Publication of CN102120326B publication Critical patent/CN102120326B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开一种基于图像处理技术的机器手抓握滑移检测方法及装置。该检测方法是通过LED光源经光学系统将光束照射被抓握物体表面，表面光反射到CMOS感光芯片转换为电信号矩阵，通过数字信号处理器对当前帧和前一帧图像对比计算，得到被抓握物体的位移和方向；该检测装置包括内部成像模块、图像信号处理模块、数据通讯模块和控制计算机；内部成像模块由LED光源、光学系统和CMOS感光芯片组成；图像信号处理模块包括A/D转换器、帧存储器和数字信号处理器。本发明的方法和装置可以准确地检测出被抓握物体是否产生滑动以及滑动量的大小，其检测灵敏度比较高。

Description

一种基于图像处理技术的机器手抓握滑移检测方法及装置
技术领域
本发明涉及机器手滑移检测技术，尤其涉及一种对机器手抓握物体时滑移现象的传感检测方法及其装置。
背景技术
机器手是机器人的关键部件之一，其主要功能为握持住被抓物体，其根据机器人作业要求进行设计的，机械手的性能对机器人作业效率的发挥影响很大。设计一个能抓握不同形状物体的机械手是人们追逐的主要目标．机器人的很多用途都要求机器人具有软抓取功能，软抓取是指机器人在抓取未知属性的物体时，能根据物体重量和表面等因素以适当的夹持力，使物体变形尽可能小并抓起物体。机器人触觉传感技术是实现智能机器人的关键技术之一，触觉传感器是机器人与环境直接作用的必需媒介，是模仿人手使之具有接触觉、滑动觉、热觉等感知功能。控制夹持力来防止目标物体与机器手之间发生相对滑动，最终协助机器人完成抓取和操作任务。滑动信号的检测是实现机器手夹持力控制的反馈信息，是机器人完成高精度抓取与操作任务的关键所在。
目前用来检测机器手与抓握对象间滑移现象的方法有如下几种：
(1) 磁力式滑觉传感器中，滑动物体引起滚轮滚动，用磁铁和静止的磁头，或用光传感器进行检测，这种传感器只能检测到一个方向的滑动。
(2) 球式传感器用球代替滚轮。可以检测各个方向的滑动。
(3) 振动式滑觉传感器表面伸出的触针能和物体接触，物体滚动时，触针与物体接触而产生振动，这个振动由压点传感器或磁场线圈结构的微小位移计检测。
(4) 光电滑觉传感器是利用光电效应原理。将机械的滑动通过光信号转换为电脉冲信号加以检测。
但以上的滑觉传感器分别存在的灵敏度低，检测的滑动方向固定等缺点。
发明内容
本发明的目的是提出一种灵敏度高，能够有效可靠地检测机器手抓握滑动信号，基于图像处理技术的机器手抓握滑移检测方法。
本发明的另一目的是提出一种灵敏度高，基于图像处理技术的机器手抓握滑移检测装置。
本发明的一种基于图像处理技术的机器手抓握滑移检测方法的技术方案为：
1）机器手内部的LED光源照射到被抓握物体表面，其反射光经光学透镜聚焦于CMOS感光芯片上；
2）CMOS感光芯片将光信号转换为二维电信号矩阵，该电信号矩阵经模数转换后存入帧存储器；
3）数字信号处理器从帧存储器读出帧图像，将当前帧图像信号与前一帧的图像信号进行对比分析，计算出两帧图像中被抓握物体滑动的位移和方向。
本发明的一种基于图像处理技术的机器手抓握滑移检测装置的技术方案为：包括内部成像模块、图像信号处理模块、数据通讯模块和控制计算机；内部成像模块由LED光源、光学系统和CMOS感光芯片组成，该LED光源发出的光经光学系统和被抓握物体表面反射到CMOS感光芯片；图像信号处理模块包括A/D转换器、帧存储器和数字信号处理器；该A/D转换器的数据输入端与CMOS感光芯片连接，其输出端通过与帧存储器相连；数字信号处理器的数据输入端与帧存储器相连，其输出端通过数据通讯模块与控制计算机相连。
本发明的方法和装置经过对机器手抓握物体表面的图像采集识别，能准确地检测出被抓握物体是否产生滑动以及滑动量的大小，其检测灵敏度比较高。
附图说明
图1是检测装置示意图；
图2是内部成像模块示意图；
图3是相邻两次采样图移动对比图；
图4是本发明的实施图；
其中，1－LED光源，2－光学系统，3－CMOS感光芯片，4－A/D转换器，5－地址译码器，6－数字信号处理器，7－USB通讯模块，8－控制计算机，9－帧存储器，10－第一凸透镜, 11－反光镜，12－被抓握物体，13－第二凸透镜,14－机器手，15－内部成像模块,16-当前帧，17-前一帧；
具体实施方式
下面结合附图对具体实施方式做进一步的说明。
基于图像处理技术的机器手抓握滑移检测方法为：
1）机器手内部的LED光源经光路照射到被抓握物体表面，其反射光经光学透镜聚焦于CMOS感光芯片上；
2）CMOS感光芯片将光信号转换为二维电信号矩阵，该电信号矩阵经模数转换后存入帧存储器；
3）数字信号处理器从帧存储器读出帧图像，将当前帧图像信号与前一帧的图像信号进行对比分析，计算出两帧图像中被抓握物体滑动的位移和方向。其具体做法为对当前帧和前一帧上的特征区域进行比较，计算出特征区域的移动位移和方向，从而确定被抓握物体滑动的位移和方向。
如图1所示，基于图像处理技术的机器手抓握滑移检测装置，包括内部成像模块15、图像信号处理模块、数据通讯模块和控制计算机8；内部成像模块15由LED光源1、光学系统2和CMOS感光芯片3组成，该LED光源1发出的光经光学系统2和被抓握物体12表面反射到CMOS感光芯片3；图像信号处理模块包括A/D转换器4、帧存储器9和数字信号处理器6；该A/D转换器4的数据输入端与CMOS感光芯片3连接，其输出端通过地址译码器5与帧存储器9相连；数字信号处理器6的数据输入端通过地址译码器5与帧存储器9相连，输出端通过数据通讯模块与控制计算机8相连，该数据通讯模块为USB通讯模块。
本检测装置的安装如图4所示，其中内部成像模块15安装在机器手14的内部，并在被抓握物体12方向开有小孔，该小孔能通过光源发射的光和物体表面反射的光。
本发明的实现过程为：如图2所示，发光二极管光源1经第一光学透镜10转换为平行光束并经反射镜11反射后照亮被抓握物体12表面，其表面反射一部分光线经第二光学透镜13成像到CMOS感光芯片3上。CMOS感光芯片是由数百个光电器件组成的矩阵，图像就在CMOS上转换为二维矩阵电信号，经A/D转换器4和地址译码器5转换为二维数字图像信号并存储到帧存储器9中。数字信号处理器6从帧存储器9中读取当前帧二维数字图像信号和前一帧二维数字图像信号，并对两帧图像进行数字矩阵分析，分析过程如图3所示，由于相邻的两幅图像存在相同的特征区域，通过对比这些特征点区域的位置变化信息，便可以判断出机器手被抓握物体12表面的移动方向与距离，这个分析结果最终被转换为二维坐标X和Y的偏移量ΔX和ΔY，并经USB通讯模块7发送到控制计算机8，从而实现机器手被抓握物体的滑移检测。
CMOS感光芯片3的光电成像的感应度为400DPI时，分辨率可达0.06mm，即可以检测被抓握物体0.06mm 的微小滑动；光电成像的系统目前可达到5000帧/秒的刷新率，即可以检测到被抓握物体的高速滑动现象。

Claims (5)

1.一种基于图像处理技术的机器手抓握滑移检测方法，其特征在于包括如下步骤：
1）机器手内部的LED光源照射到被抓握物体表面，其反射光经光学透镜聚焦于CMOS感光芯片上；
2）CMOS感光芯片将光信号转换为二维电信号矩阵，该电信号矩阵经模数转换后存入帧存储器；
3）数字信号处理器从帧存储器读出帧图像，将当前帧图像信号与前一帧的图像信号进行对比分析，计算出两帧图像中被抓握物体滑动的位移和方向。
2.根据权利要求1所述的一种基于图像处理技术的机器手抓握滑移检测方法，其特征在于，步骤3）中对当前帧和前一帧上的特征区域进行比较，计算出特征区域的移动位移和方向，从而确定被抓握物体滑动的位移和方向。
3.一种实现权利要求1的基于图像处理技术的机器手抓握滑移检测方法的装置，包括内部成像模块（15）、图像信号处理模块、数据通讯模块和控制计算机（8），其特征在于，所述内部成像模块由LED光源（1）、光学系统（2）和CMOS感光芯片（3）组成，该LED光源（1）发出的光经光学系统（2）和被抓握物体（12）表面反射到CMOS感光芯片（3）；所述图像信号处理模块包括A/D转换器（4）、帧存储器（9）和数字信号处理器（6）；该A/D转换器（4）的数据输入端与CMOS感光芯片（3）连接，其输出端通过与帧存储器（9）相连；所述数字信号处理器（6）的数据输入端与帧存储器（9）相连，其输出端通过数据通讯模块与控制计算机（8）相连。
4.根据权利要求3所述的装置，其特征在于，所述CMOS感光芯片（3）将光信号转换为二维电信号矩阵。
5.根据权利要求3所述的装置，其特征在于，所述数字信号处理器（6）读取帧存储器（9）中的当前帧和前一帧图像信号，对当前帧和前一帧上的特征区域进行比较，计算出特征区域的移动位移和方向，从而确定被抓握物体（12）滑动的位移和方向。
CN2011100075199A 2011-01-14 2011-01-14 一种基于图像处理技术的机器手抓握滑移检测方法及装置 Active CN102120326B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2011100075199A CN102120326B (zh) 2011-01-14 2011-01-14 一种基于图像处理技术的机器手抓握滑移检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011100075199A CN102120326B (zh) 2011-01-14 2011-01-14 一种基于图像处理技术的机器手抓握滑移检测方法及装置

Publications (2)

Publication Number Publication Date
CN102120326A CN102120326A (zh) 2011-07-13
CN102120326B true CN102120326B (zh) 2012-11-28

Family

ID=44249041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011100075199A Active CN102120326B (zh) 2011-01-14 2011-01-14 一种基于图像处理技术的机器手抓握滑移检测方法及装置

Country Status (1)

Country Link
CN (1) CN102120326B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102564319B (zh) * 2011-12-30 2014-03-12 清华大学 利用图像处理技术检测晶圆直线传输中滑移量的方法
CN107322601B (zh) * 2017-08-14 2019-06-28 山东大学 一种被机械手夹取的物体的姿态变化检测装置及方法
CN109239388B (zh) * 2018-09-10 2020-09-25 清华大学深圳研究生院 一种电子皮肤的触觉动态感知方法
WO2021097166A1 (en) * 2019-11-15 2021-05-20 Massachusetts Institute Of Technology Tactile dexterity and control
CN115108316A (zh) * 2022-08-29 2022-09-27 民航成都物流技术有限公司 行李拾取夹具、设备以及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1067505A (zh) * 1991-06-05 1992-12-30 北京理工大学 组合式触觉传感器
US5321353A (en) * 1992-05-13 1994-06-14 Storage Technolgy Corporation System and method for precisely positioning a robotic tool
CN101402199A (zh) * 2008-10-20 2009-04-08 北京理工大学 基于视觉的手眼式低伺服精度机器人移动目标抓取方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3151149B2 (ja) * 1996-04-25 2001-04-03 株式会社エイ・ティ・アール人間情報通信研究所 画像情報によるマニピュレータ制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1067505A (zh) * 1991-06-05 1992-12-30 北京理工大学 组合式触觉传感器
US5321353A (en) * 1992-05-13 1994-06-14 Storage Technolgy Corporation System and method for precisely positioning a robotic tool
CN101402199A (zh) * 2008-10-20 2009-04-08 北京理工大学 基于视觉的手眼式低伺服精度机器人移动目标抓取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JP特开平9-290383A 1997.11.11
李仕雄等.无标定机械臂视觉伺服控制的实验设计.《北京机械工业学院学报》.2006,第21卷(第3期),第5-7页. *

Also Published As

Publication number Publication date
CN102120326A (zh) 2011-07-13

Similar Documents

Publication Publication Date Title
CN102120326B (zh) 一种基于图像处理技术的机器手抓握滑移检测方法及装置
US8971565B2 (en) Human interface electronic device
CN104755874B (zh) 具有多个光源的运动传感器装置
TWI360064B (en) System and method for an optical navigation device
CN101859439A (zh) 一种用于人机交互的运动追踪装置及其追踪方法
WO1994011845A1 (en) Device and method for determining movement of a surface
Shimonomura et al. Robotic grasp control with high-resolution combined tactile and proximity sensing
JP2003148919A (ja) ３次元相対運動を検出する装置及び方法
Wimmer FlyEye: grasp-sensitive surfaces using optical fiber
CN109060285B (zh) 一种螺旋弹簧动态振动特性的检测装置及方法
JP4754913B2 (ja) 位置検出装置、情報入力装置、及びモーションスイッチ
JP5439977B2 (ja) 動作判定システム、動作判定装置およびプログラム
Kumagai et al. Event-based tactile image sensor for detecting spatio-temporal fast phenomena in contacts
JP2008524696A (ja) 差分画像の相関を用いて運動を算定する方法およびシステム
Andrussow et al. Minsight: A Fingertip‐Sized Vision‐Based Tactile Sensor for Robotic Manipulation
TWI254581B (en) Method and device for detecting image movements
CN104699279A (zh) 可悬浮操作的位移检测装置和包含该装置的电脑系统
Guo et al. Measurement of three-dimensional deformation and load using vision-based tactile sensor
Xian et al. A marker locating method based on gray centroid algorithm and its application to displacement and strain measurement
CN103245782B (zh) 胶体金法在线检测仪
CN112652060A (zh) 一种基于粒子图像测速法的多模态视触觉传感系统及方法
CN103019415B (zh) 一种检测物体相对于表面移动的方法及设备
Zhou et al. Learning to predict friction and classify contact states by tactile sensor
Yamaguchi et al. Optical skin for robots: Tactile sensing and whole-body vision
US10318077B2 (en) Coherent illumination for touch point identification

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: LIYANG CHANGDA TECHNOLOGY TRANSFER CENTER CO., LTD

Free format text: FORMER OWNER: CHANGZHOU UNIVERSITY

Effective date: 20141202

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 213164 CHANGZHOU, JIANGSU PROVINCE TO: 213311 CHANGZHOU, JIANGSU PROVINCE

TR01 Transfer of patent right

Effective date of registration: 20141202

Address after: Daitou town of Liyang City Ferry Street 213311 Jiangsu city of Changzhou province 8-2 No. 7

Patentee after: Liyang Chang Technology Transfer Center Co., Ltd.

Address before: Gehu Lake Road Wujin District 213164 Jiangsu city of Changzhou province No. 1

Patentee before: Changzhou University

EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20110713

Assignee: Jiangsu Ironman Machine Tools Co., Ltd.

Assignor: Liyang Chang Technology Transfer Center Co., Ltd.

Contract record no.: 2015320000520

Denomination of invention: Manipulator arm grabbing and sliding detection method and device based on image processing technology

Granted publication date: 20121128

License type: Exclusive License

Record date: 20150629

LICC Enforcement, change and cancellation of record of contracts on the licence for exploitation of a patent or utility model