CN109766784A - 基于单目图像的胶囊机器人交互控制方法 - Google Patents
基于单目图像的胶囊机器人交互控制方法 Download PDFInfo
- Publication number
- CN109766784A CN109766784A CN201811571942.XA CN201811571942A CN109766784A CN 109766784 A CN109766784 A CN 109766784A CN 201811571942 A CN201811571942 A CN 201811571942A CN 109766784 A CN109766784 A CN 109766784A
- Authority
- CN
- China
- Prior art keywords
- image
- capsule robot
- stomach
- intestine
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
Abstract
本发明提出一种基于单目图像的胶囊机器人交互控制方法,能够使得胶囊机器人的运动方向沿着胃肠孔腔的弯曲方向前进。该方法通过胶囊机器人前端的单目相机采集胃肠图像,对所述胃肠图像进行处理,提取胃肠结构的褶皱轮廓信息,重建出胃肠局部三维结构;将所述胃肠局部三维结构结合位姿检测机构提供的相机位姿信息进行交互控制来调整胶囊机器人的前进方向。
Description
技术领域
本发明属于图像处理的交互控制领域,尤其涉及一种基于单目图像的胶囊机器人交互控制方法。
背景技术
胶囊机器人在胃肠检查过程中,利用前端的单目相机采集胃肠环境图像,根据图像中的孔腔信息来指导胶囊机器人的前进方向。由于肠道结构的复杂性,在实际的操作中经常会遇到胶囊机器人顶在肠壁上或是被肠道褶皱遮挡,这会导致图像中没有可用信息,丢失胶囊机器人正确的前进方向。
目前,在这种情况下,主要依靠人为的经验或是随机的调整运动方向以摆脱可视信息丢失的情况,难以实现快速准确的姿态控制。
发明内容
本发明提出一种基于单目图像的胶囊机器人交互控制方法,能够使得胶囊机器人的运动方向沿着胃肠孔腔的弯曲方向前进。
本发明通过以下技术方案实现:
一种基于单目图像的胶囊机器人交互控制方法,通过胶囊机器人前端的单目相机采集胃肠图像,对所述胃肠图像进行处理,提取胃肠结构的褶皱轮廓信息,重建出胃肠局部三维结构;将所述胃肠局部三维结构结合相机位姿信息来调整胶囊机器人的前进方向。
进一步地,对胶囊机器人采集的胃肠图像进行分块处理,对每个子图像块进行滤波和特征提取。
进一步地,所述胃肠图像进行分块采用以下方式,胃肠图像的分辨率为M*N,图像的行和列方向上分别都分成n段(n为奇数),形成n*n个分辨率为M/n*N/n的图像子块。
进一步地,所述单目相机采集胃肠图像后,通过图像平均灰度信息判断是否找到肠道孔腔,如果图像中包括孔腔信息则利用相机内参数构造成像模型,得到孔腔方向的三维向量并计算调整胶囊机器人的偏航角和俯仰角,使得孔腔区域落在图像中间区域。
进一步地,所述单目相机采集胃肠图像后,通过图像平均灰度信息判断是否找到肠道孔腔,如果图像中不包括孔腔信息则控制胶囊机器人分别以偏航角±δ0和俯仰角±δ0向四个方向进行旋转,再通过计算相应旋转后采集图像的各子块平均灰度信息,找到平均灰度最小的子块为目标区域,利用相机内参数构造成像模型,得到目标区域方向的三维向量并计算调整胶囊机器人的偏航角和俯仰角,使得目标区域落在图像中间区域,重复此过程直至在图像中找到孔腔区域。
进一步地,所述重建出胃肠局部三维结构采用以下方式:根据所述成像模型构造反向映射模型,将采集到的胃肠图像中二维褶皱轮廓信息转换到三维空间,并根据Lambertian反射定理计算出深度信息,重建出胃肠局部的三维结构。
进一步地,所述二维褶皱轮廓信息采用以下方式获得:对肠道孔腔的图像进行预处理滤除噪声,并采用Canny算法进行边缘检测提取出非连续的轮廓线段;通过形态学操作去除掉噪声引起的假边缘,得到候选轮廓集合A,保留轮廓线集合中属于同一褶皱的轮廓做平滑连接。
进一步地,判断所述集合A中属于同一褶皱的方法如下:在轮廓线集合A中找到端点间距离最小的两段轮廓线,然后计算两端点分别与孔腔中心点连接所形成的夹角、两端点连线分别与两段轮廓线所选端点的切线形成的夹角,如果第一个夹角角度小于θ0度,并且第二、三个夹角角度同时小于θ1度,那么就认为这两段轮廓线属于同一褶皱。
进一步地,以相邻褶皱间的中心连线作为规划路径,计算出胶囊机器人的调整方向和距离。
进一步地,当胶囊机器人在行进过程中,通过定位模块计算出在世界坐标系下的相机位姿,利用世界坐标系下重建局部模型中相机所在位置,找到距离最近的前后两个闭合褶皱轮廓的中心点,连接两个中心点形成在三维空间中的前进轨迹矢量,计算出相机到直线的距离d和方向n,控制胶囊机器人沿着n方向移动距离d,使得胶囊机器人回到规划的运动轨迹上。
进一步地,所述单目相机固连在胶囊机器人上。
本发明的有益效果:
采用本发明的交互控制方法,通过胶囊机器人前端的单目相机采集胃肠图像,对图像进行处理提取胃肠结构的褶皱轮廓信息,重建出胃肠局部三维结构;结合位姿检测机构提供的相机位姿信息进行交互控制,使得胶囊机器人的运动方向能够沿着胃肠孔腔的弯曲方向前进。
附图说明
图1为本发明胶囊机器人的姿态调整示意图;
图2为本发明中将二维的褶皱轮廓反向映射到三维空间坐标图;
图3为本发明胶囊机器人前进示意图。
具体实施方式
下面结合附图对本发明进行进一步描述。
本发明提供一种主动胶囊机器人胃肠检查过程中,通过胶囊机器人前端的单目相机采集胃肠图像,对所述胃肠图像进行处理,提取胃肠结构的褶皱轮廓信息,重建出胃肠局部三维结构;将所述胃肠局部三维结构结合相机位姿信息来调整胶囊机器人的前进方向。具体步骤如下:
步骤一,对胶囊机器人采集图像进行分块处理,对每个子图像块进行滤波和特征提取得到方向信息,使得胶囊机器人能够沿着肠道孔腔的方向行进。
本步骤的主要执行过程如下:胶囊机器人采集图像分辨率为960*720,在图像的行和列方向上分别都分成三段,形成9个分辨率为320*240的图像子块,即中心子块和周围八个方向上的子块;计算每个子块的RGB通道图像的平均灰度,找出满足以下条件:RGB三个通道的图像平均灰度值都小于一个设定阈值PTh的所有图像子块,将符合条件的所有子块区域合并为一个区域。如果该区域为非空,那么计算该区域的重心坐标,若该坐标在中心子块区域内,则继续执行步骤三;若不在中心子块区域内则继续执行步骤二对胶囊机器人的姿态进行调整。
如果计算每个子块的RGB通道图像的平均灰度都不满足小于一个设定阈值PTh的条件,那么此时控制胶囊机器人分别以偏航角±δ0和俯仰角±δ0向四个方向进行旋转,在完成旋转控制后分别采集图像,再次对四幅图像进行分块处理并计算每个子块的RGB通道图像的平均灰度,找到平均灰度最小的子块,继续执行步骤二对胶囊机器人的姿态进行调整;若该子块的平均灰度值大于阈值PTh,则继续执行上述处理过程,直至找到子块的平均灰度值小于阈值PTh结束。
步骤二,根据上一步得到的方向信息对胶囊机器人的姿态进行调整。
本步骤的主要执行过程如下:如果上一步计算得到的目标区域为非空,那么控制胶囊机器人向当前图像中灰度均值最小的子块区域I0的重心P移动;为了表示胶囊机器人的空间位姿,建立全局坐标系OXYZ和局部相机坐标系oxyz,假设起始时刻全局坐标系OZ轴与局部坐标系oz轴重合,现需要调整oz轴指向OP的方向,如图一所示。图中图像坐标系为OiXiYi,原点O为相机光轴与图像中心的交点。
假设子块区域I0的重心P在图像中的坐标为(xi,yi),在局部相机坐标系下的坐标为(xc,yc,zc),则根据相机成像关系可得的单位方向矢量为
其中,f为相机焦距。
通过系统的定位模块计算出起始时刻相机在全局坐标系下的位姿,得到胶囊机器人在相机坐标系下绕oy轴的初始旋转角度(偏航角)α0和绕ox轴的初始旋转角度(俯仰角)β0;利用旋转矩阵变换,将的单位方向矢量从相机坐标系变换到世界坐标系下:
而在世界坐标系下又可以表示为下式,其中α为世界坐标系下的偏航角,β为世界坐标系下的俯仰角。
则根据式(2)和(3)可得α和β分别为:
通过上述计算过程可以得到的α和β即为修正胶囊机器人前进方向的调整偏航角度和俯仰角度。这样目标区域的重心坐标落在图像的中心子块中。
步骤三,对肠道孔腔的图像进行提取褶皱轮廓边缘信息,根据相机的成像模型将二维的褶皱轮廓反向映射到三维空间。
本步骤的主要执行过程如下:对肠道孔腔的图像进行预处理滤除噪声,并采用Canny算法进行边缘检测提取出非连续的轮廓线段;通过形态学操作去除掉噪声引起的假边缘,得到候选轮廓集合A,保留的轮廓线集合A中属于同一褶皱的轮廓做平滑连接,判断属于同一褶皱的标准如下:集合A中找到端点间距离最小的两段轮廓线,然后计算两端点分别与孔腔中心点连接所形成的夹角、两端点连线分别与两段轮廓线所选端点的切线形成的夹角,如果第一个夹角角度小于30度,并且第二、三个夹角角度同时小于45度,那么就认为这两段轮廓线属于同一褶皱,将这两个端点进行平滑连接形成一段新轮廓,并把新轮廓放回到集合A中继续执行此过程,直到集合A中没有满足标准的轮廓线为止。对集合A中的非闭合轮廓,按照此轮廓线内侧邻近一层的闭合轮廓的对应位置上的轮廓形状进行等比例拟合处理。
利用相机标定得到内参矩阵可以建立起相机的映射模型,通过映射模型把得到的二维闭合褶皱轮廓上的像素点沿着通过光心的光线映射到三维空间上。如图2所示,通过反向映射可以把像素点u转化成三维空间向量根据Lambertian反射定理可以计算出像素点的深度信息du,根据公式一得到该点的三维信息。
其中,(x(u),y(u))分别为像素点u的二维坐标。δu为反向映射向量与Z轴夹角,ru为点u到图像中心的距离。
步骤四,在胶囊机器人重建出局部三维结构后,利用定位模块给出全局位姿。
本步骤的主要执行过程如下:在胶囊机器人调整自身姿态,使得前端相机对准肠道孔腔方向,并利用采集图像初次重建出局部三维肠道结构模型,通过系统的定位模块计算出相机当前的全局坐标系下的位姿矩阵MG;而此时相机位置定义为重建肠道模型局部坐标系的原点,相机光轴方向为局部坐标系的Y轴正向,局部坐标系下相机位姿矩阵为ML;控制胶囊机器人沿着重建局部模型的前向相邻两个褶皱轮廓的中心点连线方向前进,期间相机的光轴与肠道弯曲方向相一致,则从起始帧开始利用每帧包含孔腔的图像重建出局部三维模型,根据光流法对轮廓信息进行追踪计算出运动矢量,用运动信息找出两帧图像中共有的轮廓,并用共有轮廓的三维点集按照对应关系分别放入集合(Qx,Qy,Qz)和(Px,Py,Pz),然后通过求解公式六所示最小二乘方程得到运动矩阵Mat3D。
为了提高精度,采用连续多帧配准方法找到具有最小均方误差的结果为最优配准模型,得到相机的运动矩阵Mi;则轮廓上的三维点集在世界坐标系下的坐标Pw为:
此时,通过系统的定位模块计算出在世界坐标系下的相机位姿MG′,利用世界坐标系下重建局部模型中相机所在位置pG′,找到距离最近的前后两个闭合褶皱轮廓的中心点pc1和pc2,连接两个中心点形成在三维空间中的前进轨迹矢量计算出相机到直线的距离d和方向控制胶囊机器人沿着方向移动距离d,使得胶囊机器人回到规划的运动轨迹上;然后计算相机朝向方向与前进轨迹矢量间的夹角θ,即两个局部坐标系的Y轴之间的夹角,如公式八所示;通过系统控制单元调整相机朝向与前进轨迹矢量平行,这样就在相机视野里找到了肠道孔腔的弯曲方向,具体如图三所示。
Claims (10)
1.一种基于单目图像的胶囊机器人交互控制方法,其特征在于,通过胶囊机器人前端的单目相机采集胃肠图像,对所述胃肠图像进行处理,提取胃肠结构的褶皱轮廓信息,重建出胃肠局部三维结构;将所述胃肠局部三维结构结合相机位姿信息来调整胶囊机器人的前进方向。
2.如权利要求1所述的一种基于单目图像的胶囊机器人交互控制方法,其特征在于,对胶囊机器人采集的胃肠图像进行分块处理,对每个子图像块进行滤波和特征提取。
3.如权利要求2所述的一种基于单目图像的胶囊机器人交互控制方法,其特征在于,胃肠图像的分辨率为M*N,所述胃肠图像进行分块采用以下方式,图像的行和列方向上分别都分成n段,其中n为奇数,形成n*n个分辨率为M/n*N/n的图像子块。
4.如权利要求1所述的一种基于单目图像的胶囊机器人交互控制方法,其特征在于,所述单目相机采集胃肠图像后,通过图像平均灰度信息判断是否找到肠道孔腔,如果图像中包括孔腔信息则利用相机内参数构造成像模型,得到孔腔方向的三维向量并计算调整胶囊机器人的偏航角和俯仰角,使得孔腔区域落在图像中间区域。
5.如权利要求1所述的一种基于单目图像的胶囊机器人交互控制方法,其特征在于,所述单目相机采集胃肠图像后,如果图像中不包括孔腔信息则控制胶囊机器人分别以偏航角和俯仰角向四个方向进行旋转,找到平均灰度最小的子块为目标区域,利用相机内参数构造成像模型,得到目标区域的三维向量并计算调整胶囊机器人的偏航角和俯仰角,使得目标区域落在图像中间区域,重复此过程直至在图像中找到孔腔区域。
6.如权利要求4或5所述的一种基于单目图像的胶囊机器人交互控制方法,其特征在于,所述重建出胃肠局部三维结构采用以下方式:根据所述成像模型构造反向映射模型,根据反向映射模型将采集到的胃肠图像中二维褶皱轮廓信息转换到三维空间,并根据Lambertian反射定理计算出深度信息,重建出胃肠局部的三维结构。
7.如权利要求6所述的一种基于单目图像的胶囊机器人交互控制方法,其特征在于,所述二维褶皱轮廓信息采用以下方式获得:对肠道孔腔的图像进行预处理滤除噪声,并采用Canny算法进行边缘检测提取出非连续的轮廓线段;通过形态学操作去除掉噪声引起的假边缘,得到候选轮廓集合A,保留轮廓线集合中属于同一褶皱的轮廓并做平滑连接。
8.如权利要求7所述的一种基于单目图像的胶囊机器人交互控制方法,其特征在于,判断所述集合A属于同一褶皱的方法如下:在轮廓线集合A中找到端点间距离最小的两段轮廓线,然后计算两端点分别与孔腔中心点连接所形成的夹角、两端点连线分别与两段轮廓线所选端点的切线形成的夹角,如果第一个夹角角度小于θ0度,并且第二、三个夹角角度同时小于θ1度,那么就认为这两段轮廓线属于同一褶皱。
9.如权利要求7或8所述的一种基于单目图像的胶囊机器人交互控制方法,其特征在于,以相邻褶皱间的中心连线作为规划路径,计算出胶囊机器人的调整方向和距离。
10.如权利要求9所述的一种基于单目图像的胶囊机器人交互控制方法,其特征在于,通过定位模块计算出在世界坐标系下的相机位姿,利用世界坐标系下重建局部模型中相机所在位置,找到距离最近的前后两个闭合褶皱轮廓的中心点,连接两个中心点形成在三维空间中的前进轨迹矢量,计算出相机到直线的距离d和方向n,控制胶囊机器人沿着方向n移动距离d,使得胶囊机器人回到规划的运动轨迹上;然后计算相机朝向方向与前进轨迹矢量间的夹角θ,即两个局部坐标系的Y轴之间的夹角,通过系统控制单元调整相机朝向与前进轨迹矢量平行。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811571942.XA CN109766784A (zh) | 2018-12-21 | 2018-12-21 | 基于单目图像的胶囊机器人交互控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811571942.XA CN109766784A (zh) | 2018-12-21 | 2018-12-21 | 基于单目图像的胶囊机器人交互控制方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109766784A true CN109766784A (zh) | 2019-05-17 |
Family
ID=66452022
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811571942.XA Pending CN109766784A (zh) | 2018-12-21 | 2018-12-21 | 基于单目图像的胶囊机器人交互控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109766784A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110065075A (zh) * | 2019-05-29 | 2019-07-30 | 哈尔滨工业大学 | 一种基于视觉的空间细胞机器人外部状态感知方法 |
CN110599501A (zh) * | 2019-09-05 | 2019-12-20 | 北京理工大学 | 一种胃肠结构的真实尺度三维重建及可视化方法 |
CN113706638A (zh) * | 2021-10-28 | 2021-11-26 | 迈步医疗科技(江苏)有限公司 | 基于智能物联网制药搅拌机智能控制方法及系统 |
CN116076995A (zh) * | 2023-02-03 | 2023-05-09 | 浙江势通机器人科技有限公司 | 用于胶囊内窥镜的扫描控制方法和扫描控制系统 |
Citations (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050154277A1 (en) * | 2002-12-31 | 2005-07-14 | Jing Tang | Apparatus and methods of using built-in micro-spectroscopy micro-biosensors and specimen collection system for a wireless capsule in a biological body in vivo |
US20060039587A1 (en) * | 2004-08-23 | 2006-02-23 | Samsung Electronics Co., Ltd. | Person tracking method and apparatus using robot |
TWI285542B (en) * | 2005-05-06 | 2007-08-21 | Neovictory Technology Company | Active type capsule endoscope capable of being operated three-dimensionally |
KR100853516B1 (ko) * | 2006-11-15 | 2008-08-21 | 충북대학교 산학협력단 | 캡슐 내시경의 내장 모델링 및 자세 측정 방법 및 이방법을 수행하기 위한 시스템 |
KR100867570B1 (ko) * | 2005-03-30 | 2008-11-10 | 이재주 | 캡슐형 물리치료 장치 |
CN101669809A (zh) * | 2009-09-24 | 2010-03-17 | 上海交通大学 | 主动可控式胶囊内镜机器人系统 |
CN101706609A (zh) * | 2009-11-23 | 2010-05-12 | 常州达奇信息科技有限公司 | 基于图像处理的显微镜快速自动聚焦方法 |
US20130053641A1 (en) * | 2011-08-25 | 2013-02-28 | Industry Foundation Of Chonnam National University | Micro robot system and capsule endoscope system for examining a tubular digestive system |
US8401279B2 (en) * | 2009-08-03 | 2013-03-19 | Honda Motor Co., Ltd. | Environment recognition system, environment recognition method and robot |
CN103528571A (zh) * | 2013-10-12 | 2014-01-22 | 上海新跃仪表厂 | 单目立体视觉相对位姿测量方法 |
CN204318702U (zh) * | 2014-12-02 | 2015-05-13 | 上海理鑫光学科技有限公司 | 一种采集三维图像的胶囊内窥镜 |
CN104983385A (zh) * | 2015-05-21 | 2015-10-21 | 大连理工大学 | 一种主被动双半球形胶囊机器人及其姿态调整与转弯驱动控制方法 |
CN105425791A (zh) * | 2015-11-06 | 2016-03-23 | 武汉理工大学 | 一种基于视觉定位的群机器人控制系统及方法 |
WO2016061418A1 (en) * | 2014-10-15 | 2016-04-21 | Vincent Suzara | Magnetic field structures, field generators, navigation and imaging for untethered robotic device enabled medical procedure |
CN107230203A (zh) * | 2017-05-19 | 2017-10-03 | 重庆理工大学 | 基于人眼视觉注意机制的铸件缺陷识别方法 |
CN107909010A (zh) * | 2017-10-27 | 2018-04-13 | 北京中科慧眼科技有限公司 | 一种道路障碍物检测方法与装置 |
CN108042093A (zh) * | 2017-11-14 | 2018-05-18 | 重庆金山医疗器械有限公司 | 一种胶囊内镜的控制方法、装置及系统 |
JP2018146347A (ja) * | 2017-03-03 | 2018-09-20 | 株式会社キーエンス | 画像処理装置、画像処理方法、及びコンピュータプログラム |
CN108636830A (zh) * | 2018-05-10 | 2018-10-12 | 苏州大学 | 基于机器视觉的胶囊缺陷检测分拣的方法、装置及设备 |
CN108685560A (zh) * | 2017-04-12 | 2018-10-23 | 香港生物医学工程有限公司 | 用于机器人内窥镜的自动化转向系统和方法 |
CN108711166A (zh) * | 2018-04-12 | 2018-10-26 | 浙江工业大学 | 一种基于四旋翼无人机的单目相机尺度估计方法 |
-
2018
- 2018-12-21 CN CN201811571942.XA patent/CN109766784A/zh active Pending
Patent Citations (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050154277A1 (en) * | 2002-12-31 | 2005-07-14 | Jing Tang | Apparatus and methods of using built-in micro-spectroscopy micro-biosensors and specimen collection system for a wireless capsule in a biological body in vivo |
US20060039587A1 (en) * | 2004-08-23 | 2006-02-23 | Samsung Electronics Co., Ltd. | Person tracking method and apparatus using robot |
KR100867570B1 (ko) * | 2005-03-30 | 2008-11-10 | 이재주 | 캡슐형 물리치료 장치 |
TWI285542B (en) * | 2005-05-06 | 2007-08-21 | Neovictory Technology Company | Active type capsule endoscope capable of being operated three-dimensionally |
KR100853516B1 (ko) * | 2006-11-15 | 2008-08-21 | 충북대학교 산학협력단 | 캡슐 내시경의 내장 모델링 및 자세 측정 방법 및 이방법을 수행하기 위한 시스템 |
US8401279B2 (en) * | 2009-08-03 | 2013-03-19 | Honda Motor Co., Ltd. | Environment recognition system, environment recognition method and robot |
CN101669809A (zh) * | 2009-09-24 | 2010-03-17 | 上海交通大学 | 主动可控式胶囊内镜机器人系统 |
CN101706609A (zh) * | 2009-11-23 | 2010-05-12 | 常州达奇信息科技有限公司 | 基于图像处理的显微镜快速自动聚焦方法 |
US20130053641A1 (en) * | 2011-08-25 | 2013-02-28 | Industry Foundation Of Chonnam National University | Micro robot system and capsule endoscope system for examining a tubular digestive system |
CN103528571A (zh) * | 2013-10-12 | 2014-01-22 | 上海新跃仪表厂 | 单目立体视觉相对位姿测量方法 |
WO2016061418A1 (en) * | 2014-10-15 | 2016-04-21 | Vincent Suzara | Magnetic field structures, field generators, navigation and imaging for untethered robotic device enabled medical procedure |
CN204318702U (zh) * | 2014-12-02 | 2015-05-13 | 上海理鑫光学科技有限公司 | 一种采集三维图像的胶囊内窥镜 |
CN104983385A (zh) * | 2015-05-21 | 2015-10-21 | 大连理工大学 | 一种主被动双半球形胶囊机器人及其姿态调整与转弯驱动控制方法 |
CN105425791A (zh) * | 2015-11-06 | 2016-03-23 | 武汉理工大学 | 一种基于视觉定位的群机器人控制系统及方法 |
JP2018146347A (ja) * | 2017-03-03 | 2018-09-20 | 株式会社キーエンス | 画像処理装置、画像処理方法、及びコンピュータプログラム |
CN108685560A (zh) * | 2017-04-12 | 2018-10-23 | 香港生物医学工程有限公司 | 用于机器人内窥镜的自动化转向系统和方法 |
CN107230203A (zh) * | 2017-05-19 | 2017-10-03 | 重庆理工大学 | 基于人眼视觉注意机制的铸件缺陷识别方法 |
CN107909010A (zh) * | 2017-10-27 | 2018-04-13 | 北京中科慧眼科技有限公司 | 一种道路障碍物检测方法与装置 |
CN108042093A (zh) * | 2017-11-14 | 2018-05-18 | 重庆金山医疗器械有限公司 | 一种胶囊内镜的控制方法、装置及系统 |
CN108711166A (zh) * | 2018-04-12 | 2018-10-26 | 浙江工业大学 | 一种基于四旋翼无人机的单目相机尺度估计方法 |
CN108636830A (zh) * | 2018-05-10 | 2018-10-12 | 苏州大学 | 基于机器视觉的胶囊缺陷检测分拣的方法、装置及设备 |
Non-Patent Citations (6)
Title |
---|
ANASTASIOS KOULAOUZIDIS,ET AL: "《Three-dimensional image reconstruction in capsule endoscopy》", 《WORLD JOURNAL OF GASTROENTEROLOGY》 * |
孙颖: "《胶囊机器人弯曲环境驱动控制策略优化》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
张永顺等: "《磁场与视觉共融的多模态胶囊机器人人机交互控制》", 《机器人》 * |
张震: "《医疗内窥镜视觉导航技术研究》", 《中国优秀博硕士学位论文全文数据库(博士) 工程科技II辑》 * |
胡超等: "《基于胶囊内窥镜图像的肠胃道三维重建技术》", 《传感技术学报》 * |
赵黎明: "《基于单目视觉的港口AGV自主导航关键技术研究》", 《中国优秀硕士学位论文全文数据库 信息科技II辑》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110065075A (zh) * | 2019-05-29 | 2019-07-30 | 哈尔滨工业大学 | 一种基于视觉的空间细胞机器人外部状态感知方法 |
CN110065075B (zh) * | 2019-05-29 | 2021-11-02 | 哈尔滨工业大学 | 一种基于视觉的空间细胞机器人外部状态感知方法 |
CN110599501A (zh) * | 2019-09-05 | 2019-12-20 | 北京理工大学 | 一种胃肠结构的真实尺度三维重建及可视化方法 |
CN110599501B (zh) * | 2019-09-05 | 2022-02-11 | 北京理工大学 | 一种胃肠结构的真实尺度三维重建及可视化方法 |
CN113706638A (zh) * | 2021-10-28 | 2021-11-26 | 迈步医疗科技(江苏)有限公司 | 基于智能物联网制药搅拌机智能控制方法及系统 |
CN113706638B (zh) * | 2021-10-28 | 2022-02-25 | 迈步医疗科技(江苏)有限公司 | 基于智能物联网制药搅拌机智能控制方法及系统 |
CN116076995A (zh) * | 2023-02-03 | 2023-05-09 | 浙江势通机器人科技有限公司 | 用于胶囊内窥镜的扫描控制方法和扫描控制系统 |
CN116076995B (zh) * | 2023-02-03 | 2023-09-01 | 浙江势通机器人科技有限公司 | 用于胶囊内窥镜的扫描控制方法和扫描控制系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109766784A (zh) | 基于单目图像的胶囊机器人交互控制方法 | |
CN107392964B (zh) | 基于室内特征点和结构线结合的室内slam方法 | |
CN104484648B (zh) | 基于轮廓识别的机器人可变视角障碍物检测方法 | |
CN108801135B (zh) | 核燃料棒位姿自动识别装置 | |
US9613420B2 (en) | Method for locating a camera and for 3D reconstruction in a partially known environment | |
CN109448041A (zh) | 一种胶囊内镜图像三维重建方法及系统 | |
CN109242954B (zh) | 基于模板变形的多视角三维人体重建方法 | |
US20170019655A1 (en) | Three-dimensional dense structure from motion with stereo vision | |
CN105243637B (zh) | 一种基于三维激光点云进行全景影像拼接方法 | |
CN111091076B (zh) | 基于立体视觉的隧道限界数据测量方法 | |
CN106846417A (zh) | 基于视觉里程计的单目红外视频三维重建方法 | |
CN109801360B (zh) | 基于图像的胃肠三维重构和可视化方法 | |
CN110363838B (zh) | 基于多球面相机模型的大视野图像三维重构优化方法 | |
CN106485207B (zh) | 一种基于双目视觉图像的指尖检测方法及系统 | |
CN109115184B (zh) | 基于非合作目标协同测量方法及系统 | |
CN110243307A (zh) | 一种自动化三维彩色成像与测量系统 | |
CN109685855A (zh) | 一种道路云监控平台下的摄像机标定优化方法 | |
CN110599501B (zh) | 一种胃肠结构的真实尺度三维重建及可视化方法 | |
CN111060006A (zh) | 一种基于三维模型的视点规划方法 | |
CN102651145A (zh) | 股骨三维模型可视化方法 | |
CN116188558A (zh) | 基于双目视觉的立体摄影测量方法 | |
CN116883590A (zh) | 一种三维人脸点云优化方法、介质及系统 | |
CN113256789B (zh) | 一种三维实时人体姿态重建方法 | |
CN108109130A (zh) | 基于激光光斑的自适应窗口立体视觉匹配方法 | |
CN117611438A (zh) | 一种基于单目图像的2d车道线到3d车道线的重构方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190517 |