CN116152167A - 滑动检测方法、装置、介质、设备 - Google Patents
滑动检测方法、装置、介质、设备 Download PDFInfo
- Publication number
- CN116152167A CN116152167A CN202211594621.8A CN202211594621A CN116152167A CN 116152167 A CN116152167 A CN 116152167A CN 202211594621 A CN202211594621 A CN 202211594621A CN 116152167 A CN116152167 A CN 116152167A
- Authority
- CN
- China
- Prior art keywords
- visual
- visual touch
- image
- sliding
- edge point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 401
- 230000000007 visual effect Effects 0.000 claims abstract description 346
- 238000012545 processing Methods 0.000 claims abstract description 96
- 238000000034 method Methods 0.000 claims abstract description 71
- 238000000605 extraction Methods 0.000 claims abstract description 52
- 230000008569 process Effects 0.000 claims abstract description 32
- 238000004891 communication Methods 0.000 claims description 21
- 238000003384 imaging method Methods 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000003706 image smoothing Methods 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 14
- 230000001629 suppression Effects 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 11
- 230000003287 optical effect Effects 0.000 claims description 9
- 238000009499 grossing Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 6
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 9
- 229910002027 silica gel Inorganic materials 0.000 description 9
- 239000000741 silica gel Substances 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 239000003550 marker Substances 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种滑动检测方法、装置、介质、设备，涉及人工智能技术领域，主要目的在于改善现有由于仅采集触觉方面的数据进行滑动检测，种类单一且干扰较多，导致滑动检测的精度以及鲁棒性较低的技术问题。包括：在视触觉传感器与目标对象相互接触的过程中，通过所述视触觉传感器中设置的双目相机实时采集多帧连续的视触觉检测图像；基于边缘特征提取算法分别对各帧所述视触觉检测图像进行边缘提取处理，得到各帧所述视触觉检测图像的边缘点区域；根据各帧所述视触觉检测图像的边缘点区域的重合度、边缘点区域的灰度参数的连续度以及边缘点区域的深度参数的连续度，生成所述视触觉传感器和所述目标对象的滑动检测结果。
Description
技术领域
本申请涉及人工智能技术领域，特别是涉及一种滑动检测方法、装置、介质、设备。
背景技术
随着人工智能技术的发展，人们放在智能机器人研发方面的精力也日渐增多。其中，抓取任务作为许多如拾起、搬运等任务的基础任务在智能机器人的研发中占有十分重要的地位。在智能机器人的抓取过程中，滑动检测可以起到协助智能机器人调整抓取力度以及抓取策略的作用，以保证抓取的稳定性，从而实现更加灵巧和精确地抓取控制。此外，通过检测初始滑动还可以很大程度上避免滑动的发生，这也为在智能机器人抓取过程中实现更加稳定的操作提供了直接的判断信息。
目前，针对滑动检测的研究大多集中在通过触觉模态感知来检测滑动。然而，由于获取到的数据中往往包含了许多干扰，并且仅采集触觉方面的数据，种类单一，进而导致滑动检测的精度以及鲁棒性较低。
发明内容
有鉴于此，本申请提供一种滑动检测方法、装置、介质、设备，主要目的在于改善现有由于仅采集触觉方面的数据进行滑动检测，种类单一且干扰较多，导致滑动检测的精度以及鲁棒性较低的技术问题。
依据本申请一个方面，提供了一种滑动检测方法，包括：
在视触觉传感器与目标对象相互接触的过程中，通过所述视触觉传感器中设置的双目相机实时采集多帧连续的视触觉检测图像；
基于边缘特征提取算法分别对各帧所述视触觉检测图像进行边缘提取处理，得到各帧所述视触觉检测图像的边缘点区域；
根据各帧所述视触觉检测图像的边缘点区域的重合度、边缘点区域的灰度参数的连续度以及边缘点区域的深度参数的连续度，生成所述视触觉传感器和所述目标对象的滑动检测结果。
优选的，根据各帧所述视触觉检测图像的边缘点区域的重合度、边缘点区域的灰度参数的连续度以及边缘点区域的深度参数的连续度，生成所述视触觉传感器和所述目标对象的滑动检测结果，具体包括：
根据各帧所述视触觉检测图像的边缘点区域的重合度，生成所述视触觉传感器和所述目标对象的第一滑动检测结果；
若所述第一滑动检测结果为未发生滑动，则根据各帧所述视触觉检测图像的边缘点区域的灰度参数的连续度，生成所述视触觉传感器和所述目标对象的第二滑动检测结果；
若所述第二滑动检测结果为未发生滑动，则根据各帧所述视触觉检测图像的边缘点区域的深度参数的连续度，生成所述视触觉传感器和所述目标对象的第三滑动检测结果；
根据所述第三滑动检测结果，生成所述视触觉传感器和所述目标对象的滑动检测结果。
优选的，所述根据各帧所述视触觉检测图像的边缘点区域的重合度，生成所述视触觉传感器和所述目标对象的第一滑动检测结果，具体包括：
获取各帧所述视触觉检测图像的边缘点区域的重合区域；
若所述重合区域中不存在共同标记点位，或所述重合区域中所包含的标记点位的数量发生变化，则所述视触觉传感器和所述目标对象的第一滑动检测结果为发生滑动；
否则，所述第一滑动检测结果为未发生滑动。
优选的，所述根据各帧所述视触觉检测图像的边缘点区域的灰度参数的连续度，生成所述视触觉传感器和所述目标对象的第二滑动检测结果，具体包括：
获取所述重合区域中所包含的共同标记点位在各帧所述视触觉检测图像中的灰度参数；
分别计算各个所述共同标记点位在相邻两帧所述视触觉检测图像中的灰度参数差分；
计算多个所述共同标记点位在相邻两帧所述视触觉检测图像中的灰度参数差分的和，得到相邻两帧所述视触觉检测图像中所有共同标记点位的灰度参数差分和；
将多个所述相邻两帧所述视触觉检测图像中所有共同标记点位的灰度参数差分和进行求和处理，得到灰度参数差分累加值；
若所述灰度参数差分累加值超过预设灰度参数差分累加阈值，则所述视触觉传感器和所述目标对象的第二滑动检测结果为发生滑动；
否则，所述第二滑动检测结果为未发生滑动。
优选的，所述根据各帧所述视触觉检测图像的边缘点区域的深度参数的连续度，生成所述视触觉传感器和所述目标对象的第三滑动检测结果，具体包括：
获取各个标记点位在各帧所述视触觉检测图像中的视差参数，根据所述视差参数确定各个所述标记点位在各帧所述视触觉检测图像中的深度参数；
分别计算各个所述标记点位在相邻两帧所述视触觉检测图像中的深度参数差分；
计算多个所述标记点位在相邻两帧所述视触觉检测图像中的深度参数差分的和，得到相邻两帧所述视触觉检测图像中所有标记点位的深度参数差分和；
将多个所述相邻两帧视触觉检测图像中所有标记点位的深度参数差分和进行求和处理，得到深度参数差分累加值；
若所述深度参数差分累加值超过预设深度参数差分累加阈值，则所述视触觉传感器和所述目标对象的第三滑动检测结果为发生滑动；
否则，所述第三滑动检测结果为未发生滑动。
优选的，所述基于边缘特征提取算法分别对各帧所述视触觉检测图像进行边缘提取处理，得到各帧所述视触觉检测图像的边缘点区域，具体包括：
基于非极大值抑制算法确定所述视触觉检测图像的灰度参数的梯度幅值以及梯度方向；
对所述梯度幅值进行非极大值抑制处理，得到初始边缘点区域，将初始边缘点区域作为所述视触觉检测图像的边缘点区域。
优选的，所述方法还包括：
基于双阈值检测算法，对所述初始边缘点区域进行优化处理，得到优化后的边缘点区域，将所述优化后的边缘点区域作为所述视触觉检测图像的边缘点区域。
优选的，所述基于非极大值抑制算法确定所述视触觉检测图像的灰度参数的梯度幅值以及梯度方向之前，所述方法还包括：
基于高斯滤波器对所述视触觉检测图像进行平滑处理，得到平滑处理后的视触觉检测图像，以基于所述平滑处理后的视触觉检测图像进行边缘提取处理。
优选的，所述基于边缘特征提取算法分别对各帧所述视触觉检测图像进行边缘提取处理之前，所述方法还包括：
分别对多帧所述视触觉检测图像进行图像预处理，所述图像预处理包括图像灰度转化处理以及图像平滑处理；
所述图像灰度转化处理，具体包括：
基于灰度加权平均算法将所述视触觉检测图像转化为灰度图像，所述视触觉检测图像为彩度图像；
所述图像平滑处理，具体包括：
获取所述灰度图像所包含的各个像素点周围预设数量像素点的灰度值中间值；
分别将各个所述像素点的灰度值替换为所述灰度值中间值，生成图像平滑处理后的图像，以基于所述图像平滑处理后的图像进行边缘提取处理。
优选的，通过所述视触觉传感器中设置的双目相机实时采集多帧连续的视触觉检测图像之前，所述方法还包括：
对所述视触觉传感器所携带的双目相机进行双目相机标定处理以及双目相机极线校正处理；
所述双目相机标定处理，具体包括：
对双目相机进行标定处理，得到所述双目相机的内部参数、外部参数以及畸变系数，所述内部参数用于表征所述双目相机的内部几何特性和光学特性，所述外部参数用于表征相机坐标系与世界坐标系之间的位置关系，所述畸变参数用于对所述双目相机拍摄得到的图像进行修正；
基于所述内部参数、所述外部参数以及所述畸变系数对所述视触觉检测图像进行校正，生成校正后的视触觉检测图像；
所述双目相机极线校正处理，具体包括：
基于预设旋转矩阵对第一相机进行旋转处理，以使得所述第一相机的成像平面的极点到无限远；
基于预设旋转矩阵以及所述外部参数中所包含的旋转矩阵对第二相机进行旋转处理；
调整坐标系尺度，以使得所述第一相机的成像平面与所述第二相机的成像平面在相同平面上。
优选的，所述通过所述视触觉传感器中设置的双目相机实时采集多帧连续的视触觉检测图像之前，所述方法还包括：
在所述视触觉传感器与所述目标对象之间相互接触之前，在所述视触觉传感器上选取预设数量的标记点位，其中，所述视触觉检测图像的边缘点区域包括至少一个标记点位。
依据本申请另一个方面，提供了一种滑动检测装置，包括：
采集模块，用于在视触觉传感器与目标对象相互接触的过程中，通过所述视触觉传感器中设置的双目相机实时采集多帧连续的视触觉检测图像；
提取模块，用于基于边缘特征提取算法分别对各帧所述视触觉检测图像进行边缘提取处理，得到各帧所述视触觉检测图像的边缘点区域；
检测模块，用于根据各帧所述视触觉检测图像的边缘点区域的重合度、边缘点区域的灰度参数的连续度以及边缘点区域的深度参数的连续度，生成所述视触觉传感器和所述目标对象的滑动检测结果。
优选的，所述检测模块，具体包括：
第一检测单元，用于根据各帧所述视触觉检测图像的边缘点区域的重合度，生成所述视触觉传感器和所述目标对象的第一滑动检测结果；
第二检测单元，用于若所述第一滑动检测结果为未发生滑动，则根据各帧所述视触觉检测图像的边缘点区域的灰度参数的连续度，生成所述视触觉传感器和所述目标对象的第二滑动检测结果；
第三检测单元，用于若所述第二滑动检测结果为未发生滑动，则根据各帧所述视触觉检测图像的边缘点区域的深度参数的连续度，生成所述视触觉传感器和所述目标对象的第三滑动检测结果；
生成单元，用于根据所述第三滑动检测结果，生成所述视触觉传感器和所述目标对象的滑动检测结果。
优选的，所述第一检测单元，具体包括：
第一获取子单元，用于获取各帧所述视触觉检测图像的边缘点区域的重合区域；
第一确定子单元，用于若所述重合区域中不存在共同标记点位，或所述重合区域中所包含的标记点位的数量发生变化，则所述视触觉传感器和所述目标对象的第一滑动检测结果为发生滑动；
所述第一确定子单元，还用于否则，所述第一滑动检测结果为未发生滑动。
优选的，所述第二检测单元，具体包括：
第二获取子单元，用于获取所述重合区域中所包含的共同标记点位在各帧所述视触觉检测图像中的灰度参数；
第一计算子单元，用于分别计算各个所述共同标记点位在相邻两帧所述视触觉检测图像中的灰度参数差分；
所述第一计算子单元，还用于计算多个所述共同标记点位在相邻两帧所述视触觉检测图像中的灰度参数差分的和，得到相邻两帧所述视触觉检测图像中所有共同标记点位的灰度参数差分和；
第一求和子单元，用于将多个所述相邻两帧所述视触觉检测图像中所有共同标记点位的灰度参数差分和进行求和处理，得到灰度参数差分累加值；
第二确定子单元，用于若所述灰度参数差分累加值超过预设灰度参数差分累加阈值，则所述视触觉传感器和所述目标对象的第二滑动检测结果为发生滑动；
所述第二确定子单元，还用于否则，所述第二滑动检测结果为未发生滑动。
优选的，所述第二检测单元，具体包括：
第三获取子单元，用于获取各个标记点位在各帧所述视触觉检测图像中的视差参数，根据所述视差参数确定各个所述标记点位在各帧所述视触觉检测图像中的深度参数；
第二计算子单元，用于分别计算各个所述标记点位在相邻两帧所述视触觉检测图像中的深度参数差分；
所述第二计算子单元，还用于计算多个所述标记点位在相邻两帧所述视触觉检测图像中的深度参数差分的和，得到相邻两帧所述视触觉检测图像中所有标记点位的深度参数差分和；
第二求和子单元，用于将多个所述相邻两帧视触觉检测图像中所有标记点位的深度参数差分和进行求和处理，得到深度参数差分累加值；
第三确定子单元，用于若所述深度参数差分累加值超过预设深度参数差分累加阈值，则所述视触觉传感器和所述目标对象的第三滑动检测结果为发生滑动；
所述第三确定子单元，还用于否则，所述第三滑动检测结果为未发生滑动。
优选的，所述提取模块，具体包括：
确定单元，用于基于非极大值抑制算法确定所述视触觉检测图像的灰度参数的梯度幅值以及梯度方向；
抑制单元，用于对所述梯度幅值进行非极大值抑制处理，得到初始边缘点区域，将初始边缘点区域作为所述视触觉检测图像的边缘点区域。
优选的，所述提取模块还包括：
检测单元，用于基于双阈值检测算法，对所述初始边缘点区域进行优化处理，得到优化后的边缘点区域，将所述优化后的边缘点区域作为所述视触觉检测图像的边缘点区域。
优选的，所述确定单元之前，所述提取模块还包括：
平滑单元，用于基于高斯滤波器对所述视触觉检测图像进行平滑处理，得到平滑处理后的视触觉检测图像，以基于所述平滑处理后的视触觉检测图像进行边缘提取处理。
优选的，所述提取模块之前，所述装置还包括：
预处理模块，用于分别对多帧所述视触觉检测图像进行图像预处理，所述图像预处理包括图像灰度转化处理以及图像平滑处理；
所述图像灰度转化处理，具体包括：
基于灰度加权平均算法将所述视触觉检测图像转化为灰度图像，所述视触觉检测图像为彩度图像；
所述图像平滑处理，具体包括：
获取所述灰度图像所包含的各个像素点周围预设数量像素点的灰度值中间值；
分别将各个所述像素点的灰度值替换为所述灰度值中间值，生成图像平滑处理后的图像，以基于所述图像平滑处理后的图像进行边缘提取处理。
优选的，通过采集模块之前，所述装置还包括：
初始化模块，对所述视触觉传感器所携带的双目相机进行双目相机标定处理以及双目相机极线校正处理；
所述初始化模块，具体用于：
对双目相机进行标定处理，得到所述双目相机的内部参数、外部参数以及畸变系数，所述内部参数用于表征所述双目相机的内部几何特性和光学特性，所述外部参数用于表征相机坐标系与世界坐标系之间的位置关系，所述畸变参数用于对所述双目相机拍摄得到的图像进行修正；
基于所述内部参数、所述外部参数以及所述畸变系数对所述视触觉检测图像进行校正，生成校正后的视触觉检测图像。
所述初始化模块，还用于：
基于预设旋转矩阵对第一相机进行旋转处理，以使得所述第一相机的成像平面的极点到无限远；
基于预设旋转矩阵以及所述外部参数中所包含的旋转矩阵对第二相机进行旋转处理；
调整坐标系尺度，以使得所述第一相机的成像平面与所述第二相机的成像平面在相同平面上。
优选的，所述采集模块之前，所述装置还包括：
选取模块，用于在所述视触觉传感器与所述目标对象之间相互接触之前，在所述视触觉传感器上选取预设数量的标记点位，其中，所述视触觉检测图像的边缘点区域包括至少一个标记点位。
根据本申请的又一方面，提供了一种存储介质，所述存储介质中存储有至少一条可执行指令，所述可执行指令使处理器执行如上述滑动检测方法对应的操作。
根据本申请的再一方面，提供了一种终端，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一条可执行指令，所述可执行指令使所述处理器执行上述滑动检测方法对应的操作。
借由上述技术方案，本申请实施例提供的技术方案至少具有下列优点：
本申请提供了一种滑动检测方法、装置、介质、设备，首先在视触觉传感器与目标对象相互接触的过程中，通过所述视触觉传感器中设置的双目相机实时采集多帧连续的视触觉检测图像；其次基于边缘特征提取算法分别对各帧所述视触觉检测图像进行边缘提取处理，得到各帧所述视触觉检测图像的边缘点区域；最后根据各帧所述视触觉检测图像的边缘点区域的重合度、边缘点区域的灰度参数的连续度以及边缘点区域的深度参数的连续度，生成所述视触觉传感器和所述目标对象的滑动检测结果。与现有技术相比，本申请实施例通过设置在视触觉传感器的双目相机实时采集视触觉传感器与目标对象相互接触的过程中的多帧连续的视触觉检测图像，并提取每帧图像的边缘点区域，根据其边缘点区域的变化生成滑动检测结果，通过从多角度判断是否滑动，提高了滑动检测的精度以及鲁棒性；并且依次根据边缘点区域的重合度、灰度参数的连续度以及深度参数的连续度进行判断，只要检测出滑动则停止后续步骤，保证了滑动检测精度的同时有效的降低了数据的计算量，从而降低了运算资源的消耗。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本申请实施例提供的一种滑动检测方法流程图；
图2示出了本申请实施例提供的视触觉传感器示意图；
图3示出了本申请实施例提供的另一种滑动检测方法流程图；
图4示出了本申请实施例提供的坐标系示意图；
图5示出了本申请实施例提供的坐标系转化流程图；
图6示出了本申请实施例提供的相机极线校正示意图；
图7示出了本申请实施例提供的双目测距模型图；
图8示出了本申请实施例提供的图像预处理流程图；
图9示出了本申请实施例提供的滑动检测流程图；
图10示出了本申请实施例提供的整体流程图；
图11示出了本申请实施例提供的一种滑动检测装置组成框图；
图12示出了本申请实施例提供的一种终端的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
需要说明的是，本申请提供的滑动检测方法，可以应用于终端，例如终端可以是各种商业用途大平板、手机或电脑、普通消费平板电脑、智能电视、便携计算机终端，也可以是台式计算机等固定终端。为方便阐述，本申请中以终端为执行主体进行举例说明。
本申请实施例可以应用于计算机系统/服务器，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
本申请实施例提供了一种滑动检测方法，可以应用于智能机器人控制端，如图1所示，该方法包括：
101、在视触觉传感器与目标对象相互接触的过程中，通过视触觉传感器中设置的双目相机实时采集多帧连续的视触觉检测图像。
本申请实施例中，当前执行端可以是智能机器人的控制端，通过检测视触觉传感器与目标对象之间是否发生滑动，以完成抓取任务。其中，目标对象可以是任何物品。视触觉传感器，如图2所示，主要由多层软体硅胶、双目相机、支撑体以及光源(LED灯)四个部分组成。可选的，可以将多层软体硅胶部分设置为半球体，其余部分设置为圆柱体，以模拟人体指尖，以更准确的检测目标对象相对视触觉传感器的滑动情况，并且成本低廉易组装。优选的，可以选择两个RGB摄像头作为双目相机，实时采集视触觉传感器与目标对象相互接触的过程中视触觉检测图像，从而根据视触觉检测图像的中多层软体硅胶的变化确定，目标物体相对视触觉传感器的滑动情况。
102、基于边缘特征提取算法分别对各帧视触觉检测图像进行边缘提取处理，得到各帧视触觉检测图像的边缘点区域。
可以理解的是，若目标对象与视触觉传感器之间发生滑动，必然会引起多层软体硅胶的形变，而发生形变的部位一定是在边缘区域，因此，本申请实施例中，基于边缘特征提取算法，如Canny算子，对各帧视触觉检测图像中拍摄到的多层软体硅胶的边缘区域进行提取。
需要说明的是，基于边缘特征提取算法提取出的边缘区域是由许多个像素点构成的，因此，得到的边缘区域为边缘点区域。
103、根据各帧视触觉检测图像的边缘点区域的重合度、边缘点区域的灰度参数的连续度以及边缘点区域的深度参数的连续度，生成视触觉传感器和目标对象的滑动检测结果。
可以理解的是，图像序列中的像素在时间域上相邻帧之间的变化是具有相关性的，由连续性定理可知，若物体没有发生相对滑动，则不同帧对应边缘点区域的相同标记点的像素连续、灰度值连续且深度连续。基于此，本申请实施例中，首先根据各帧视触觉检测图像的边缘点区域的重合度进行滑动检测，若未检测出滑动，再根据各帧视触觉检测图像的边缘点区域的灰度参数的连续度进行滑动检测，若仍未检测出滑动，最后再根据各帧视触觉检测图像的边缘点区域的深度参数的连续度进行滑动检测，并生成滑动检测结果。只要检测出滑动则停止后续步骤，保证了滑动检测精度的同时有效的降低了数据的计算量，从而降低了运算资源的消耗。
需要说明的是，由于只要物体发生滑动，呈半球形的硅胶软体一定会发生形变，基于此，根据各帧视触觉检测图像的边缘点区域的深度参数的连续度进行滑动检测一定会检测出是否发生了滑动，但是，由于该算法较为复杂，运算资源消耗巨大，因此，将其设置于检测流程的最后，如果之前的步骤中已检测出发生滑动，则无需再根据深度参数的连续度进行滑动检测，只有在之前的步骤中未检测出发生滑动，方触发该检测步骤，保证了滑动检测精度的同时又有效的降低了数据的计算量，从而降低了运算资源的消耗。
与现有技术相比，本申请实施例通过设置在视触觉传感器的双目相机实时采集视触觉传感器与目标对象相互接触的过程中的多帧连续的视触觉检测图像，并提取每帧图像的边缘点区域，根据其边缘点区域的变化生成滑动检测结果，通过从多角度判断是否滑动，提高了滑动检测的精度以及鲁棒性；并且依次根据边缘点区域的重合度、灰度参数的连续度以及深度参数的连续度进行判断，只要检测出滑动则停止后续步骤，保证了滑动检测精度的同时有效的降低了数据的计算量，从而降低了运算资源的消耗。
本申请实施例提供了另一种滑动检测方法，如图3所示，该方法包括：
201、对视触觉传感器所携带的双目相机进行双目相机标定处理以及双目相机极线校正处理。
需要说明的是，相机成像的几何模型决定了场景中物体可视面某点的世界坐标值与其在图像中的对应点图像坐标值之间的相互关系，本申请实施例中通过对双目相机进行双目相机标定处理，得到双目相机的内部参数、外部参数以及畸变系数，其中，内部参数用于表征双目相机的内部几何特性和光学特性，外部参数用于表征相机坐标系与世界坐标系之间的位置关系，畸变参数用于对双目相机拍摄得到的图像进行修正。具体的，双目相机的标定所涉及的4个坐标系，如图4所示，其中，图像像素坐标系表示为(u,v)，是根据图像建立的，坐标原点通常建立在图像的第一个像素点上；图像物理坐标系表示为O-xy，坐标原点通常建立在图像的中心像素点上；相机坐标系表示为Oc-XcYcZc，坐标原点通常建立在左相机的光心上；世界坐标系表示为Ow-XwYwZw，坐标原点可以建立在任何位置。假设图像坐标系原点表示为(u0,v0)，单位为mm，dx和dy分别表示每一列和每一行代表多少mm，即1pixel＝dxmm，像素坐标系与世界坐标系的转化关系可以表示为：
其中，M表示内参矩阵，即内部参数，R3×3表示旋转矩阵，T3×1表示为平移向量，用于将目标对象从世界坐标系移动到相机坐标系，是根据摄像机相对于场景的方向和位置决定，P表示外参矩阵，即外部参数。像素坐标系与世界坐标系的转化关系所对应的转化流程，如图5所示。基于此，可以得到双目相机的内部参数以及外部参数。优选的，再根据棋盘格标定法，利用Matlab标定工具箱对双目相机进行标定。具体的，先运用图像特征点之间对应关系估计畸变系数，再构造出优化函数从而不断的进行迭代求精，从而得到双目相机的畸变系数。基于内部参数、外部参数以及畸变系数对视触觉检测图像进行校正，生成校正后的视触觉检测图像，该校正后的视触觉检测图像相对于真实目标对象的失真较小。
进一步的，对双目相机进行双目相机极线校正处理，以使得将双目相机所包含的左、右相机在视野上对准到同一观察平面上，使得相机上像素行是严格对齐的，保证左、右相机成像面平行且行对齐，匹配点在同一行，从而节约数据处理时间。极线校正过程如图6所述，假设两个相机绕着各自的光心旋转，当旋转到两个摄像机的焦平面共面的时候，使得原来的图像平面R0转换为Rn。具体的，首先基于预设旋转矩阵Rrec旋转左相机(即第一相机)，使得左成像平面(即第一相机的成像平面)的极点到无限远处；再基于预设旋转矩阵Rrec以及外部参数中所包含的旋转矩阵R3×3旋转右相机(即第二相机)，最后调整坐标系尺度，以使得第一相机的成像平面与第二相机的成像平面在相同平面上。相应的，实施例步骤201中双目相机标定处理，具体包括：对双目相机进行标定处理，得到双目相机的内部参数、外部参数以及畸变系数，内部参数用于表征双目相机的内部几何特性和光学特性，外部参数用于表征相机坐标系与世界坐标系之间的位置关系，畸变参数用于对双目相机拍摄得到的图像进行修正；基于内部参数、外部参数以及畸变系数对视触觉检测图像进行校正，生成校正后的视触觉检测图像。双目相机极线校正处理，具体包括：基于预设旋转矩阵对第一相机进行旋转处理，以使得第一相机的成像平面的极点到无限远；基于预设旋转矩阵以及外部参数中所包含的旋转矩阵对第二相机进行旋转处理；调整坐标系尺度，以使得第一相机的成像平面与第二相机的成像平面在相同平面上。
202、在视触觉传感器与目标对象之间相互接触之前，在视触觉传感器上选取预设数量的标记点位。
其中，视触觉检测图像的边缘点区域包括至少一个标记点位。本申请实施例中，由于视触觉传感器中的双目相机的拍摄角度和硅胶软体层的位置相对恒定，可以利用菲波那契网格在多层硅胶软体层找出N个均匀分布的标记点，N的数量可由具体实验决定，此时左右图像中标记点的像素坐标表示为(ui,vi),i＝1,2,...,N。另外，还可以分别以左右相机的光心作为原点，根据视触觉传感器的设计参数，基于AD-Census算法完成立体匹配，得到视差，具体的，根据如图7所示的双目测距模型，将左相机作为主相机，即相机坐标系对应为左相机的相机坐标系。设点P表示目标对象，pl和pr分别表示其在两个相机中的成像点，xl和xr分别表示对应的横坐标。Ol和Or分别表示两台相机的光心，b表示两个相机之间的距离，又称为基线距离。设物点P在两幅图像的映射点的横坐标差为d＝xl-xr(即视差)，其深度值为Z，f表示左右相机的焦距。由相似三角形定理可得如下公式：
根据上述公式可以计算出多层软体硅胶没有发生形变时的初始深度Z0＝{h0,i(ui,vi),i＝1,2,...,N}以及灰度值
至此完成程序的初始化，可以将其设为第0帧。/>
需要说明的是，在选取标记点位时，需要保证至少有1个标记点位落在第1帧的边缘点区域内，以作为参照。
203、在视触觉传感器与目标对象相互接触的过程中，通过视触觉传感器中设置的双目相机实时采集多帧连续的视触觉检测图像。
本申请实施例中，可以通过实验确定采集视触觉检测图像的数量，例如，视触觉检测图像的数量n≥6。
204、分别对多帧视触觉检测图像进行图像预处理。
其中，图像预处理包括图像灰度转化处理以及图像平滑处理。本申请实施例中，将视触觉检测图像进行图像预处理，目的是改善图像的视觉效果，提高图像清晰度，同时使得更有利于计算机的处理，便于各种特征分析。具体的，首先对视触觉检测图像中各个像素点的每一个通道赋予不同的权重从而得到加权平均值，实现彩度图像向灰度图像的转化。进一步的，将灰度图像中所包含的各个像素点的灰度值用该像素点的一个邻域中各像素灰度点值的中值代替，以使得周围的像素值接近真实值，从而消除孤立的噪声点，滤去图像中的高频噪声和随机噪声，具体的，处理流程如图8所示。
相应的，图像灰度转化处理，具体包括：基于灰度加权平均算法将视触觉检测图像转化为灰度图像，视触觉检测图像为彩度图像；图像平滑处理，具体包括：获取灰度图像所包含的各个像素点周围预设数量像素点的灰度值中间值；分别将各个像素点的灰度值替换为灰度值中间值，生成图像平滑处理后的图像，以基于图像平滑处理后的图像进行边缘提取处理。
205、基于边缘特征提取算法分别对各帧视触觉检测图像进行边缘提取处理，得到各帧视触觉检测图像的边缘点区域。
本申请实施例中，首先利用一阶偏导数的有限差分求取梯度的强度和方向，使用的一阶差分卷积模板为：
其中，f(x,y)表示视触觉检测图像的灰度值，
表示卷积运算，那么可知
其中，φ(x,y)表示幅值，θφ表示相应的方向。进一步的，在得到全局的梯度以后还不能完全确定边缘信息，需要保留下局部梯度的极大值点，同时抑制非极大值，即将非局部极大值的点进行置零以得到更细化的边缘信息。具体的，将当前像素的梯度强度与沿正负梯度方向上的两个像素进行比较，如果当前像素的梯度强度与另外两个像素相比最大，则该像素点保留为边缘点，否则该像素点将被抑制，从而得到初始边缘点区域，可将初始边缘点区域作为视触觉检测图像的边缘点区域。然而，初始边缘点区域仍然可能存在由于噪声和颜色变化引起的一些边缘像素。为了解决这些杂散响应，优选的，可以基于弱梯度值过滤边缘像素，并保留具有高梯度值的边缘像素，以使得剩余的像素可以更准确地表示图像中的实际边缘。具体的，可以通过选择高低阈值T1，T2来实现，其中，T1<T2，其数值的选择取决于视触觉检测图像的内容。φ表示边缘像素的梯度值，则令：
使边缘尽可能闭合，形成边缘点区域Sj。
可选的，为了改善图像的视觉效果，提高图像清晰度，同时使得更有利于计算机的处理，便于特征分析，在对边缘点区域进行提取前，还可以预先使用高斯滤波器对视触觉检测图像进行平滑处理，以滤除高斯噪声，公式如下：
其中，σ表示标准差，G(x,y)表示高斯函数，(x,y)表示视触觉检测图像的像素坐标。
相应的，实施例步骤205具体包括：基于非极大值抑制算法确定视触觉检测图像的灰度参数的梯度幅值以及梯度方向；对梯度幅值进行非极大值抑制处理，得到初始边缘点区域，将初始边缘点区域作为视触觉检测图像的边缘点区域。进一步的，作为一种优选的实施方式，还包括：基于双阈值检测算法，对初始边缘点区域进行优化处理，得到优化后的边缘点区域，将优化后的边缘点区域作为视触觉检测图像的边缘点区域。优选的，作为另一种优选的实施方式，基于非极大值抑制算法确定视触觉检测图像的灰度参数的梯度幅值以及梯度方向之前，实施例方法还包括：基于高斯滤波器对视触觉检测图像进行平滑处理，得到平滑处理后的视触觉检测图像，以基于平滑处理后的视触觉检测图像进行边缘提取处理。
206、根据各帧视触觉检测图像的边缘点区域的重合度、边缘点区域的灰度参数的连续度以及边缘点区域的深度参数的连续度，生成视触觉传感器和目标对象的滑动检测结果。
本申请实施例中，用
表示各帧视触觉检测图像的边缘点区域的重合区域，其中，Sj表示第j帧中的边缘点区域，S表示它们重合的区域。
设落在S1上的标记点位有M1个，通过对标记点位个数的取值，确保至少有1个标记点位落在第1帧的边缘点区域S1,即M1≥1。假设有M(0≤M<N)个标记点位落在S上，满足
其中，M＝0表示边缘点重合区域无共同标记点，则说明目标对象的相对位置发生了变化；M≠M1表示边缘点重合区域标记点的个数发生了变化，则说明目标对象发生移动。若满足上述其一，则可确定这连续的帧中边缘点区域发生了明显变化，视触觉传感器和目标对象发生滑动，此时停止判断。否则进入后续的流程。
进一步的，考虑视触觉检测图像的色彩信息，结合灰度值进行判断。设M(1≤M<N)个点的灰度参数分别表示为
定义相邻两帧视触觉检测图像中的灰度参数差分表示为
为了减弱噪声的影响，可设
满足
其中，δ1表示灰度参数差分累加值，τ1表示预设灰度参数差分累加阈值。若满足上述公式，则说明若相邻帧中的边缘点区域的灰度值变化较大，即视触觉检测图像产生了明显变化，视触觉传感器和目标对象发生滑动，此时停止判断。若没有超过也不能说明物体没有发生相对滑动，例如较小的物体或者是边缘区域特征不明显的物体发生滑动、无纹理的物体的匀速往返运动等，因此还需要进行后续的判断流程。
进一步的，由于视触觉传感器与目标对象接触的部分为半球形的硅胶软体，因此只要发生滑动，则一定会发生形变，
标记点位的深度变化是最能反映目标对象是否发生了相对滑动的因素，可以通过AD-Census算法计算出每帧中标记点位的视差参数，根据
得到深度参数Zj＝{hj,i(ui,vi),i＝1,2,...,N},j＝1,2,...,n计算标记点位在相邻两帧视触觉检测图像中的深度参数差分
h'j,i＝hj,i(ui,vi)-hj-1,i(ui,vi)，满足
其中，δ2表示深度参数差分累加值，τ2表示预设深度参数差分累加阈值。若满足上述公式，则说明相邻帧中的边缘点区域的深度差变化较大，视触觉传感器和目标对象发生滑动，否则说明未发生滑动。
需要说明的是，由于根据视触觉检测图像的边缘点区域的深度参数的连续度检测滑动计算量较大，耗时较久，因此作为最后一个判断流程。
在具体的应用场景中，实施例步骤206的检测流程，如图9所示。
相应的，实施例步骤206具体包括：根据各帧所触觉检测图像的边缘点区域的重合度，生成视触觉传感器和目标对象的第一滑动检测结果；若第一滑动检测结果为未发生滑动，则根据各帧视触觉检测图像的边缘点区域的灰度参数的连续度，生成视触觉传感器和目标对象的第二滑动检测结果；若第二滑动检测结果为未发生滑动，则根据各帧视触觉检测图像的边缘点区域的深度参数的连续度，生成视触觉传感器和目标对象的第三滑动检测结果；根据第三滑动检测结果，生成视触觉传感器和目标对象的滑动检测结果。其中，根据各帧视触觉检测图像的边缘点区域的重合度，生成视触觉传感器和目标对象的第一滑动检测结果，具体包括：获取各帧视触觉检测图像的边缘点区域的重合区域；若重合区域中不存在共同标记点位，或重合区域中所包含的标记点位的数量发生变化，则视触觉传感器和目标对象的第一滑动检测结果为发生滑动；否则，第一滑动检测结果为未发生滑动。进一步的，根据各帧视触觉检测图像的边缘点区域的灰度参数的连续度，生成视触觉传感器和目标对象的第二滑动检测结果，具体包括：获取重合区域中所包含的共同标记点位在各帧视触觉检测图像中的灰度参数；分别计算各个共同标记点位在相邻两帧视触觉检测图像中的灰度参数差分；计算多个共同标记点位在相邻两帧视触觉检测图像中的灰度参数差分的和，得到相邻两帧视触觉检测图像中所有共同标记点位的灰度参数差分和；将多个相邻两帧视触觉检测图像中所有共同标记点位的灰度参数差分和进行求和处理，得到灰度参数差分累加值；若灰度参数差分累加值超过预设灰度参数差分累加阈值，则视触觉传感器和目标对象的第二滑动检测结果为发生滑动；否则，第二滑动检测结果为未发生滑动。进一步的，根据各帧视触觉检测图像的边缘点区域的深度参数的连续度，生成视触觉传感器和目标对象的第三滑动检测结果，具体包括：获取各个标记点位在各帧视触觉检测图像中的视差参数，根据视差参数确定各个标记点位在各帧视触觉检测图像中的深度参数；分别计算各个标记点位在相邻两帧视触觉检测图像中的深度参数差分；计算多个标记点位在相邻两帧视触觉检测图像中的深度参数差分的和，得到相邻两帧视触觉检测图像中所有标记点位的深度参数差分和；将多个相邻两帧视触觉检测图像中所有标记点位的深度参数差分和进行求和处理，得到深度参数差分累加值；若深度参数差分累加值超过预设深度参数差分累加阈值，则视触觉传感器和目标对象的第三滑动检测结果为发生滑动；否则，第三滑动检测结果为未发生滑动。
在具体的应用场景中，整体流程如图10所示。
本申请提供了一种滑动检测方法，首先在视触觉传感器与目标对象相互接触的过程中，通过所述视触觉传感器中设置的双目相机实时采集多帧连续的视触觉检测图像；其次基于边缘特征提取算法分别对各帧所述视触觉检测图像进行边缘提取处理，得到各帧所述视触觉检测图像的边缘点区域；最后根据各帧所述视触觉检测图像的边缘点区域的重合度、边缘点区域的灰度参数的连续度以及边缘点区域的深度参数的连续度，生成所述视触觉传感器和所述目标对象的滑动检测结果。与现有技术相比，本申请实施例通过设置在视触觉传感器的双目相机实时采集视触觉传感器与目标对象相互接触的过程中的多帧连续的视触觉检测图像，并提取每帧图像的边缘点区域，根据其边缘点区域的变化生成滑动检测结果，通过从多角度判断是否滑动，提高了滑动检测的精度以及鲁棒性；并且依次根据边缘点区域的重合度、灰度参数的连续度以及深度参数的连续度进行判断，只要检测出滑动则停止后续步骤，保证了滑动检测精度的同时有效的降低了数据的计算量，从而降低了运算资源的消耗。
进一步的，作为对上述图1所示方法的实现，本申请实施例提供了一种滑动检测装置，如图11所示，该装置包括：
采集模块31，提取模块32，检测模块33。
采集模块31，用于在视触觉传感器与目标对象相互接触的过程中，通过所述视触觉传感器中设置的双目相机实时采集多帧连续的视触觉检测图像；
提取模块32，用于基于边缘特征提取算法分别对各帧所述视触觉检测图像进行边缘提取处理，得到各帧所述视触觉检测图像的边缘点区域；
检测模块33，用于根据各帧所述视触觉检测图像的边缘点区域的重合度、边缘点区域的灰度参数的连续度以及边缘点区域的深度参数的连续度，生成所述视触觉传感器和所述目标对象的滑动检测结果。
优选的，所述检测模块，具体包括：
第一检测单元，用于根据各帧所述视触觉检测图像的边缘点区域的重合度，生成所述视触觉传感器和所述目标对象的第一滑动检测结果；
第二检测单元，用于若所述第一滑动检测结果为未发生滑动，则根据各帧所述视触觉检测图像的边缘点区域的灰度参数的连续度，生成所述视触觉传感器和所述目标对象的第二滑动检测结果；
第三检测单元，用于若所述第二滑动检测结果为未发生滑动，则根据各帧所述视触觉检测图像的边缘点区域的深度参数的连续度，生成所述视触觉传感器和所述目标对象的第三滑动检测结果；
生成单元，用于根据所述第三滑动检测结果，生成所述视触觉传感器和所述目标对象的滑动检测结果。
优选的，所述第一检测单元，具体包括：
第一获取子单元，用于获取各帧所述视触觉检测图像的边缘点区域的重合区域；
第一确定子单元，用于若所述重合区域中不存在共同标记点位，或所述重合区域中所包含的标记点位的数量发生变化，则所述视触觉传感器和所述目标对象的第一滑动检测结果为发生滑动；
所述第一确定子单元，还用于否则，所述第一滑动检测结果为未发生滑动。
优选的，所述第二检测单元，具体包括：
第二获取子单元，用于获取所述重合区域中所包含的共同标记点位在各帧所述视触觉检测图像中的灰度参数；
第一计算子单元，用于分别计算各个所述共同标记点位在相邻两帧所述视触觉检测图像中的灰度参数差分；
所述第一计算子单元，还用于计算多个所述共同标记点位在相邻两帧所述视触觉检测图像中的灰度参数差分的和，得到相邻两帧所述视触觉检测图像中所有共同标记点位的灰度参数差分和；
第一求和子单元，用于将多个所述相邻两帧所述视触觉检测图像中所有共同标记点位的灰度参数差分和进行求和处理，得到灰度参数差分累加值；
第二确定子单元，用于若所述灰度参数差分累加值超过预设灰度参数差分累加阈值，则所述视触觉传感器和所述目标对象的第二滑动检测结果为发生滑动；
所述第二确定子单元，还用于否则，所述第二滑动检测结果为未发生滑动。
优选的，所述第二检测单元，具体包括：
第三获取子单元，用于获取各个标记点位在各帧所述视触觉检测图像中的视差参数，根据所述视差参数确定各个所述标记点位在各帧所述视触觉检测图像中的深度参数；
第二计算子单元，用于分别计算各个所述标记点位在相邻两帧所述视触觉检测图像中的深度参数差分；
所述第二计算子单元，还用于计算多个所述标记点位在相邻两帧所述视触觉检测图像中的深度参数差分的和，得到相邻两帧所述视触觉检测图像中所有标记点位的深度参数差分和；
第二求和子单元，用于将多个所述相邻两帧视触觉检测图像中所有标记点位的深度参数差分和进行求和处理，得到深度参数差分累加值；
第三确定子单元，用于若所述深度参数差分累加值超过预设深度参数差分累加阈值，则所述视触觉传感器和所述目标对象的第三滑动检测结果为发生滑动；
所述第三确定子单元，还用于否则，所述第三滑动检测结果为未发生滑动。
优选的，所述提取模块，具体包括：
确定单元，用于基于非极大值抑制算法确定所述视触觉检测图像的灰度参数的梯度幅值以及梯度方向；
抑制单元，用于对所述梯度幅值进行非极大值抑制处理，得到初始边缘点区域，将初始边缘点区域作为所述视触觉检测图像的边缘点区域。
优选的，所述提取模块还包括：
检测单元，用于基于双阈值检测算法，对所述初始边缘点区域进行优化处理，得到优化后的边缘点区域，将所述优化后的边缘点区域作为所述视触觉检测图像的边缘点区域。
优选的，所述确定单元之前，所述提取模块还包括：
平滑单元，用于基于高斯滤波器对所述视触觉检测图像进行平滑处理，得到平滑处理后的视触觉检测图像，以基于所述平滑处理后的视触觉检测图像进行边缘提取处理。
优选的，所述提取模块之前，所述装置还包括：
预处理模块，用于分别对多帧所述视触觉检测图像进行图像预处理，所述图像预处理包括图像灰度转化处理以及图像平滑处理；
所述图像灰度转化处理，具体包括：
基于灰度加权平均算法将所述视触觉检测图像转化为灰度图像，所述视触觉检测图像为彩度图像；
所述图像平滑处理，具体包括：
获取所述灰度图像所包含的各个像素点周围预设数量像素点的灰度值中间值；
分别将各个所述像素点的灰度值替换为所述灰度值中间值，生成图像平滑处理后的图像，以基于所述图像平滑处理后的图像进行边缘提取处理。
优选的，通过采集模块之前，所述装置还包括：
初始化模块，对所述视触觉传感器所携带的双目相机进行双目相机标定处理以及双目相机极线校正处理。
所述初始化模块，具体用于：
对双目相机进行标定处理，得到所述双目相机的内部参数、外部参数以及畸变系数，所述内部参数用于表征所述双目相机的内部几何特性和光学特性，所述外部参数用于表征相机坐标系与世界坐标系之间的位置关系，所述畸变参数用于对所述双目相机拍摄得到的图像进行修正；
基于所述内部参数、所述外部参数以及所述畸变系数对所述视触觉检测图像进行校正，生成校正后的视触觉检测图像。
所述初始化模块，还用于：
基于预设旋转矩阵对第一相机进行旋转处理，以使得所述第一相机的成像平面的极点到无限远；
基于预设旋转矩阵以及所述外部参数中所包含的旋转矩阵对第二相机进行旋转处理；
调整坐标系尺度，以使得所述第一相机的成像平面与所述第二相机的成像平面在相同平面上。
优选的，所述采集模块之前，所述装置还包括：
选取模块，用于在所述视触觉传感器与所述目标对象之间相互接触之前，在所述视触觉传感器上选取预设数量的标记点位，其中，所述视触觉检测图像的边缘点区域包括至少一个标记点位。
本申请提供了一种滑动检测装置，首先在视触觉传感器与目标对象相互接触的过程中，通过所述视触觉传感器中设置的双目相机实时采集多帧连续的视触觉检测图像；其次基于边缘特征提取算法分别对各帧所述视触觉检测图像进行边缘提取处理，得到各帧所述视触觉检测图像的边缘点区域；最后根据各帧所述视触觉检测图像的边缘点区域的重合度、边缘点区域的灰度参数的连续度以及边缘点区域的深度参数的连续度，生成所述视触觉传感器和所述目标对象的滑动检测结果。与现有技术相比，本申请实施例通过设置在视触觉传感器的双目相机实时采集视触觉传感器与目标对象相互接触的过程中的多帧连续的视触觉检测图像，并提取每帧图像的边缘点区域，根据其边缘点区域的变化生成滑动检测结果，通过从多角度判断是否滑动，提高了滑动检测的精度以及鲁棒性；并且依次根据边缘点区域的重合度、灰度参数的连续度以及深度参数的连续度进行判断，只要检测出滑动则停止后续步骤，保证了滑动检测精度的同时有效的降低了数据的计算量，从而降低了运算资源的消耗。
根据本申请一个实施例提供了一种存储介质，所述存储介质存储有至少一条可执行指令，该计算机可执行指令可执行上述任意方法实施例中的滑动检测方法。
基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。
图12示出了根据本申请一个实施例提供的一种终端的结构示意图，本申请具体实施例并不对终端的具体实现做限定。
如图12所示，该计算机设备可以包括：处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。
其中：处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。
通信接口404，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器402，用于执行程序410，具体可以执行上述滑动检测方法实施例中的相关步骤。
具体地，程序410可以包括程序代码，该程序代码包括计算机操作指令。
处理器402可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。计算机设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器406，用于存放程序410。存储器406可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序410具体可以用于使得处理器402执行以下操作：
在视触觉传感器与目标对象相互接触的过程中，通过所述视触觉传感器中设置的双目相机实时采集多帧连续的视触觉检测图像；
基于边缘特征提取算法分别对各帧所述视触觉检测图像进行边缘提取处理，得到各帧所述视触觉检测图像的边缘点区域；
根据各帧所述视触觉检测图像的边缘点区域的重合度、边缘点区域的灰度参数的连续度以及边缘点区域的深度参数的连续度，生成所述视触觉传感器和所述目标对象的滑动检测结果。
存储介质中还可以包括操作系统、网络通信模块。操作系统是管理上述滑动检测的实体设备硬件和软件资源的程序，支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信，以及与信息处理实体设备中其它硬件和软件之间通信。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
可能以许多方式来实现本申请的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本申请的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本申请实施为记录在记录介质中的程序，这些程序包括用于实现根据本申请的方法的机器可读指令。因而，本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。
显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本申请的保护范围之内。
Claims (14)
1.一种滑动检测方法，应用于智能机器人控制端，其特征在于，包括：
在视触觉传感器与目标对象相互接触的过程中，通过所述视触觉传感器中设置的双目相机实时采集多帧连续的视触觉检测图像；
基于边缘特征提取算法分别对各帧所述视触觉检测图像进行边缘提取处理，得到各帧所述视触觉检测图像的边缘点区域；
根据各帧所述视触觉检测图像的边缘点区域的重合度、边缘点区域的灰度参数的连续度以及边缘点区域的深度参数的连续度，生成所述视触觉传感器和所述目标对象的滑动检测结果。
2.根据权利要求1所述的方法，其特征在于，所述根据各帧所述视触觉检测图像的边缘点区域的重合度、边缘点区域的灰度参数的连续度以及边缘点区域的深度参数的连续度，生成所述视触觉传感器和所述目标对象的滑动检测结果，具体包括：
根据各帧所述视触觉检测图像的边缘点区域的重合度，生成所述视触觉传感器和所述目标对象的第一滑动检测结果；
若所述第一滑动检测结果为未发生滑动，则根据各帧所述视触觉检测图像的边缘点区域的灰度参数的连续度，生成所述视触觉传感器和所述目标对象的第二滑动检测结果；
若所述第二滑动检测结果为未发生滑动，则根据各帧所述视触觉检测图像的边缘点区域的深度参数的连续度，生成所述视触觉传感器和所述目标对象的第三滑动检测结果；
根据所述第三滑动检测结果，生成所述视触觉传感器和所述目标对象的滑动检测结果。
3.根据权利要求2所述的方法，其特征在于，所述根据各帧所述视触觉检测图像的边缘点区域的重合度，生成所述视触觉传感器和所述目标对象的第一滑动检测结果，具体包括：
获取各帧所述视触觉检测图像的边缘点区域的重合区域；
若所述重合区域中不存在共同标记点位，或所述重合区域中所包含的标记点位的数量发生变化，则所述视触觉传感器和所述目标对象的第一滑动检测结果为发生滑动；
否则，所述第一滑动检测结果为未发生滑动。
4.根据权利要求2所述的方法，其特征在于，所述根据各帧所述视触觉检测图像的边缘点区域的灰度参数的连续度，生成所述视触觉传感器和所述目标对象的第二滑动检测结果，具体包括：
获取所述重合区域中所包含的共同标记点位在各帧所述视触觉检测图像中的灰度参数；
分别计算各个所述共同标记点位在相邻两帧所述视触觉检测图像中的灰度参数差分；
计算多个所述共同标记点位在相邻两帧所述视触觉检测图像中的灰度参数差分的和，得到相邻两帧所述视触觉检测图像中所有共同标记点位的灰度参数差分和；
将多个所述相邻两帧所述视触觉检测图像中所有共同标记点位的灰度参数差分和进行求和处理，得到灰度参数差分累加值；
若所述灰度参数差分累加值超过预设灰度参数差分累加阈值，则所述视触觉传感器和所述目标对象的第二滑动检测结果为发生滑动；
否则，所述第二滑动检测结果为未发生滑动。
5.根据权利要求2所述的方法，其特征在于，所述根据各帧所述视触觉检测图像的边缘点区域的深度参数的连续度，生成所述视触觉传感器和所述目标对象的第三滑动检测结果，具体包括：
获取各个标记点位在各帧所述视触觉检测图像中的视差参数，根据所述视差参数确定各个所述标记点位在各帧所述视触觉检测图像中的深度参数；
分别计算各个所述标记点位在相邻两帧所述视触觉检测图像中的深度参数差分；
计算多个所述标记点位在相邻两帧所述视触觉检测图像中的深度参数差分的和，得到相邻两帧所述视触觉检测图像中所有标记点位的深度参数差分和；
将多个所述相邻两帧视触觉检测图像中所有标记点位的深度参数差分和进行求和处理，得到深度参数差分累加值；
若所述深度参数差分累加值超过预设深度参数差分累加阈值，则所述视触觉传感器和所述目标对象的第三滑动检测结果为发生滑动；
否则，所述第三滑动检测结果为未发生滑动。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述基于边缘特征提取算法分别对各帧所述视触觉检测图像进行边缘提取处理，得到各帧所述视触觉检测图像的边缘点区域，具体包括：
基于非极大值抑制算法确定所述视触觉检测图像的灰度参数的梯度幅值以及梯度方向；
对所述梯度幅值进行非极大值抑制处理，得到初始边缘点区域，将初始边缘点区域作为所述视触觉检测图像的边缘点区域。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
基于双阈值检测算法，对所述初始边缘点区域进行优化处理，得到优化后的边缘点区域，将所述优化后的边缘点区域作为所述视触觉检测图像的边缘点区域。
8.根据权利要求6所述的方法，其特征在于，所述基于非极大值抑制算法确定所述视触觉检测图像的灰度参数的梯度幅值以及梯度方向之前，所述方法还包括：
基于高斯滤波器对所述视触觉检测图像进行平滑处理，得到平滑处理后的视触觉检测图像，以基于所述平滑处理后的视触觉检测图像进行边缘提取处理。
9.根据权利要求1至5任一项所述的方法，其特征在于，所述基于边缘特征提取算法分别对各帧所述视触觉检测图像进行边缘提取处理之前，所述方法还包括：
分别对多帧所述视触觉检测图像进行图像预处理，所述图像预处理包括图像灰度转化处理以及图像平滑处理；
所述图像灰度转化处理，具体包括：
基于灰度加权平均算法将所述视触觉检测图像转化为灰度图像，所述视触觉检测图像为彩度图像；
所述图像平滑处理，具体包括：
获取所述灰度图像所包含的各个像素点周围预设数量像素点的灰度值中间值；
分别将各个所述像素点的灰度值替换为所述灰度值中间值，生成图像平滑处理后的图像，以基于所述图像平滑处理后的图像进行边缘提取处理。
10.根据权利要求1至5任一项所述的方法，其特征在于，通过所述视触觉传感器中设置的双目相机实时采集多帧连续的视触觉检测图像之前，所述方法还包括：
对所述视触觉传感器所携带的双目相机进行双目相机标定处理以及双目相机极线校正处理；
所述双目相机标定处理，具体包括：
对双目相机进行标定处理，得到所述双目相机的内部参数、外部参数以及畸变系数，所述内部参数用于表征所述双目相机的内部几何特性和光学特性，所述外部参数用于表征相机坐标系与世界坐标系之间的位置关系，所述畸变参数用于对所述双目相机拍摄得到的图像进行修正；
基于所述内部参数、所述外部参数以及所述畸变系数对所述视触觉检测图像进行校正，生成校正后的视触觉检测图像；
所述双目相机极线校正处理，具体包括：
基于预设旋转矩阵对第一相机进行旋转处理，以使得所述第一相机的成像平面的极点到无限远；
基于预设旋转矩阵以及所述外部参数中所包含的旋转矩阵对第二相机进行旋转处理；
调整坐标系尺度，以使得所述第一相机的成像平面与所述第二相机的成像平面在相同平面上。
11.根据权利要求1至5任一项所述的方法，其特征在于，所述通过所述视触觉传感器中设置的双目相机实时采集多帧连续的视触觉检测图像之前，所述方法还包括：
在所述视触觉传感器与所述目标对象之间相互接触之前，在所述视触觉传感器上选取预设数量的标记点位，其中，所述视触觉检测图像的边缘点区域包括至少一个标记点位。
12.一种滑动检测装置，位于智能机器人控制端，其特征在于，包括：
采集模块，用于在视触觉传感器与目标对象相互接触的过程中，通过所述视触觉传感器中设置的双目相机实时采集多帧连续的视触觉检测图像；
提取模块，用于基于边缘特征提取算法分别对各帧所述视触觉检测图像进行边缘提取处理，得到各帧所述视触觉检测图像的边缘点区域；
检测模块，用于根据各帧所述视触觉检测图像的边缘点区域的重合度、边缘点区域的灰度参数的连续度以及边缘点区域的深度参数的连续度，生成所述视触觉传感器和所述目标对象的滑动检测结果。
13.一种存储介质，所述存储介质中存储有至少一条可执行指令，其特征在于，所述可执行指令使处理器执行如权利要求1-11中任一项所述的滑动检测方法对应的操作。
14.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一条可执行指令，其特征在于，所述可执行指令使所述处理器执行如权利要求1-11中任一项所述的滑动检测方法对应的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211594621.8A CN116152167B (zh) | 2022-12-13 | 2022-12-13 | 滑动检测方法、装置、介质、设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211594621.8A CN116152167B (zh) | 2022-12-13 | 2022-12-13 | 滑动检测方法、装置、介质、设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116152167A true CN116152167A (zh) | 2023-05-23 |
| CN116152167B CN116152167B (zh) | 2024-04-05 |
Family
ID=86338027
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211594621.8A Active CN116152167B (zh) | 2022-12-13 | 2022-12-13 | 滑动检测方法、装置、介质、设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116152167B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140354540A1 (en) * | 2013-06-03 | 2014-12-04 | Khaled Barazi | Systems and methods for gesture recognition |
| CN104850850A (zh) * | 2015-04-05 | 2015-08-19 | 中国传媒大学 | 一种结合形状和颜色的双目立体视觉图像特征提取方法 |
| CN107844750A (zh) * | 2017-10-19 | 2018-03-27 | 华中科技大学 | 一种水面全景图像目标检测识别方法 |
| CN110060284A (zh) * | 2019-04-25 | 2019-07-26 | 王荩立 | 一种基于触觉感知的双目视觉环境探测系统及方法 |
| CN110634137A (zh) * | 2019-09-26 | 2019-12-31 | 杭州鲁尔物联科技有限公司 | 一种基于视觉感知的桥梁变形的监测方法、装置及设备 |
| WO2021093534A1 (zh) * | 2019-11-12 | 2021-05-20 | Oppo广东移动通信有限公司 | 主体检测方法和装置、电子设备、计算机可读存储介质 |
| CN113450335A (zh) * | 2021-06-30 | 2021-09-28 | 湖南三一华源机械有限公司 | 一种路沿检测方法、路沿检测装置及路面施工车辆 |
| CN113673515A (zh) * | 2021-08-20 | 2021-11-19 | 国网上海市电力公司 | 一种计算机视觉目标检测算法 |
| CN114119553A (zh) * | 2021-11-28 | 2022-03-01 | 长春理工大学 | 一种以十字激光为基准的双目视觉异面圆孔检测方法 |
| CN115439424A (zh) * | 2022-08-23 | 2022-12-06 | 成都飞机工业（集团）有限责任公司 | 一种无人机航拍视频图像智能检测方法 |
-
2022
- 2022-12-13 CN CN202211594621.8A patent/CN116152167B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140354540A1 (en) * | 2013-06-03 | 2014-12-04 | Khaled Barazi | Systems and methods for gesture recognition |
| CN104850850A (zh) * | 2015-04-05 | 2015-08-19 | 中国传媒大学 | 一种结合形状和颜色的双目立体视觉图像特征提取方法 |
| CN107844750A (zh) * | 2017-10-19 | 2018-03-27 | 华中科技大学 | 一种水面全景图像目标检测识别方法 |
| CN110060284A (zh) * | 2019-04-25 | 2019-07-26 | 王荩立 | 一种基于触觉感知的双目视觉环境探测系统及方法 |
| CN110634137A (zh) * | 2019-09-26 | 2019-12-31 | 杭州鲁尔物联科技有限公司 | 一种基于视觉感知的桥梁变形的监测方法、装置及设备 |
| WO2021093534A1 (zh) * | 2019-11-12 | 2021-05-20 | Oppo广东移动通信有限公司 | 主体检测方法和装置、电子设备、计算机可读存储介质 |
| CN113450335A (zh) * | 2021-06-30 | 2021-09-28 | 湖南三一华源机械有限公司 | 一种路沿检测方法、路沿检测装置及路面施工车辆 |
| CN113673515A (zh) * | 2021-08-20 | 2021-11-19 | 国网上海市电力公司 | 一种计算机视觉目标检测算法 |
| CN114119553A (zh) * | 2021-11-28 | 2022-03-01 | 长春理工大学 | 一种以十字激光为基准的双目视觉异面圆孔检测方法 |
| CN115439424A (zh) * | 2022-08-23 | 2022-12-06 | 成都飞机工业（集团）有限责任公司 | 一种无人机航拍视频图像智能检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| HU CHENG等: "A Robot Grasping System With Single-Stage Anchor-Free Deep Grasp Detector", 《IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT》, vol. 71, pages 1 - 12 * |
| 李小青: "基于环境吸引域的机器人优化抓取和柔顺装配方法研究", 《中国博士学位论文全文数据库 信息科技辑》, no. 08, pages 140 - 23 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116152167B (zh) | 2024-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107330439B (zh) | 一种图像中物体姿态的确定方法、客户端及服务器 | |
| WO2018176938A1 (zh) | 红外光斑中心点提取方法、装置和电子设备 | |
| Zhang et al. | An image stitching algorithm based on histogram matching and SIFT algorithm | |
| CN111401266B (zh) | 绘本角点定位的方法、设备、计算机设备和可读存储介质 | |
| CN107516322B (zh) | 一种基于对数极空间的图像物体大小和旋转估计计算方法 | |
| CN109472820B (zh) | 单目rgb-d相机实时人脸重建方法及装置 | |
| CN107767456A (zh) | 一种基于rgb‑d相机的物体三维重建方法 | |
| JP2014112055A (ja) | カメラ姿勢の推定方法およびカメラ姿勢の推定システム | |
| CN108362205B (zh) | 基于条纹投影的空间测距方法 | |
| CN116129037B (zh) | 视触觉传感器及其三维重建方法、系统、设备及存储介质 | |
| JP2017182785A (ja) | ビジョンシステムで画像内のプローブを効率的に採点するためのシステム及び方法 | |
| CN114862973B (zh) | 基于固定点位的空间定位方法、装置、设备及存储介质 | |
| CN113744307A (zh) | 一种基于阈值动态调整的图像特征点跟踪方法和系统 | |
| CN111192308B (zh) | 图像处理方法及装置、电子设备和计算机存储介质 | |
| JP6086491B2 (ja) | 画像処理装置およびそのデータベース構築装置 | |
| US11954817B2 (en) | Method of plane tracking | |
| US9098746B2 (en) | Building texture extracting apparatus and method thereof | |
| CN116152167B (zh) | 滑动检测方法、装置、介质、设备 | |
| JP6080424B2 (ja) | 対応点探索装置、そのプログラムおよびカメラパラメータ推定装置 | |
| CN113436269B (zh) | 图像稠密立体匹配方法、装置和计算机设备 | |
| CN112907728B (zh) | 基于摄像头和边缘计算的船舶场景还原和定位方法及系统 | |
| CN114913287A (zh) | 一种三维人体模型重建方法及系统 | |
| CN114638891A (zh) | 基于图像和点云融合的目标检测定位方法与系统 | |
| CN109308706B (zh) | 一种通过图像处理得到三维曲面面积的方法 | |
| CN110706289B (zh) | 姿态测量方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |