CN112700499A - 一种辐照环境下基于深度学习的视觉定位仿真方法及系统 - Google Patents
一种辐照环境下基于深度学习的视觉定位仿真方法及系统 Download PDFInfo
- Publication number
- CN112700499A CN112700499A CN202011218235.XA CN202011218235A CN112700499A CN 112700499 A CN112700499 A CN 112700499A CN 202011218235 A CN202011218235 A CN 202011218235A CN 112700499 A CN112700499 A CN 112700499A
- Authority
- CN
- China
- Prior art keywords
- image
- algorithm
- camera
- data
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000013135 deep learning Methods 0.000 title claims abstract description 30
- 230000000007 visual effect Effects 0.000 title claims abstract description 12
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 91
- 238000001514 detection method Methods 0.000 claims abstract description 34
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 238000001914 filtration Methods 0.000 claims abstract description 14
- 230000004927 fusion Effects 0.000 claims abstract description 12
- 239000000284 extract Substances 0.000 claims abstract description 5
- 235000002566 Capsicum Nutrition 0.000 claims abstract description 4
- 239000006002 Pepper Substances 0.000 claims abstract description 4
- 235000016761 Piper aduncum Nutrition 0.000 claims abstract description 4
- 235000017804 Piper guineense Nutrition 0.000 claims abstract description 4
- 235000008184 Piper nigrum Nutrition 0.000 claims abstract description 4
- 150000003839 salts Chemical class 0.000 claims abstract description 4
- 244000203593 Piper nigrum Species 0.000 claims abstract 2
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 10
- 239000002245 particle Substances 0.000 claims description 8
- 238000004806 packaging method and process Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 230000009191 jumping Effects 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 238000009795 derivation Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 239000000725 suspension Substances 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000006073 displacement reaction Methods 0.000 claims description 2
- 238000012805 post-processing Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 11
- 238000011176 pooling Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 241000722363 Piper Species 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000002915 spent fuel radioactive waste Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E30/00—Energy generation of nuclear origin
- Y02E30/30—Nuclear fission reactors
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种辐照环境下基于深度学习的视觉定位仿真方法及系统，系统包括核热室支架平台、工业双目相机、PC；工业相机获取作业平台视频流，PC逐帧提取图片，采用视觉算法获取不同种类目标对象的位置信息，并在基于Unity3D引擎的VR平台中重构；方法包括双目相机的标定与畸变矫正；核环境下被污染的图像中值滤波预处理算法，消除图片椒盐噪声；yolo.v4目标检测与BM双目立体匹配融合算法，生成目标种类与三维位置；本发明采用yolo.v4深度学习算法，检测速度超过传统视觉检测算法，识别对象种类理论上可以达到无穷多，单纯通过视觉信息，实现了核热室多目标识别，定位及VR实时重构，指导热室机械手对目标对象的作业。
Description
技术领域
本发明属于核工业智能化仿真与实时图像处理领域，特别是一种辐照环境下基于深度学习的视觉定位仿真方法及系统。
背景技术
核工业动力机械手作为核电维护远程操作的重大装备，可应用于人类无法(或者限制)进入的极端恶劣强辐照环境中进行繁重复杂的工作，尤其适用于乏燃料后处理和核设施退役。
虽然机械手从出现至今经历了50多年的发展过程，诞生了很多不同种类的机械手，它们在各种工作环境里大展才能，已经具有了成熟完备的技术体系。然而我国目前对核工业动力机械手的研究却仍处于起步阶段。其原因很大程度在于：大型机械手的操作，尤其是在高风险核环境下，为了保证安全性与精度，需要获取足够的环境与操作对象目标信息，指导机械手作业，这仅仅凭借操作者的肉眼与经验手动操作是完全不够的；即便市场目前存在一些较为成熟的与机械手配套的遥操作仿真控制系统。但由于核环境高能粒子的作用下，大部分对环境数据采集必不可少的精密传感器会寿命大大减少甚至失灵，从而只能采用简单工业相机去采集此类数据。而此时若单纯对采集到的数据用传统的机器视觉图像处理技术如OpenCV边缘检测等相关算法获取相关信息，其结果效果差、精度低、速度慢，需要大量的特征提取才只能粗略的分割出单一的某一个目标对象，同时还会受如光照、距离、等条件制约，显然面对整个目标环境及多种类操作目标对象的信息获取需求，是远远不足的。
发明内容
辐照环境下基于深度学习的视觉定位仿真方法及系统，适用于强辐照环境下工程作业场合，如核热室、核反应堆等，在这种极其严酷的环境下，无需高精度防辐射能力低的传感器，实现端到端的对环境信息仿真与操作对象目标实时定位，精确指导核工业机械手的遥操作作业。
实现本发明目的的技术解决方案为：
一种辐照环境下基于深度学习的立体视觉定位仿真方法，包括以下步骤：
步骤1、搭建辐照环境下的机械手作业对象识别定位系统；
步骤2、进行相机标定和畸变矫正，对相机的内外参数进行标定，计算相机的内外参数，得到相机坐标系与世界坐标系之间的关系，并在图像径向方向上进行畸变矫正，减少图像失真；
步骤3、进行强辐照环境图像预处理：对双目相机收集到的实时视频流逐帧提取图像，并对传输到PC端的图像进行中值滤波预处理，消除强辐照环境下因高能粒子对图像的干扰产生的椒盐噪声；
步骤4、将处理好的图像作为输入，采用yolo.v4目标检测与BM双目立体匹配融合算法，一方面通过yolo.v4深度学习模型中进行图像中目标对象的检测识别，以及二维定位；另一方面利用BM双目立体匹配算法，获取场景深度图信息；对坐标进行同尺寸映射解码，然后再将检测到的各类目标对象对应的二维坐标信息向深度图进行映射，采用坐标索引得到相应位置的深度，组成三维空间坐标返回到融合算法模型中；
步骤5、将检测识别到的不同种类目标对象及其对应的三维坐标，打包成数据流，对数据流中数据采用逻辑判断及分段求取中位数的方法进行过滤，剔除受深度图空洞产生的异常数据，筛选出有效坐标信息输入到VR仿真平台中；
步骤6、利用脚本将输入到VR仿真平台中的目标对象类别信息进行索引，调取其在仿真平台中预先建模好的模型，并通过其对应的三维坐标信息在对应位置实时重构。
一种强辐照环境下基于深度学习的立体视觉定位仿真系统，由核热室支架平台、工业双目相机图像采集模块、基于PC端的图像处理模块构成；
所述图像处理模块包括相机标定矫正模块、图像预处理模块、目标识别定位模块、VR仿真模块；
所述工业双目相机设置在位于热室中心得悬挂支架平台上；所述工业双目相机和PC相连，工业双目相机实时采集核热室环境视频信息，逐帧提取图像信息后，传递到图像处理模块；
所述的相机标定矫正子模块用于相机标定和畸变矫正，对相机的内外参数进行标定，计算相机的内外参数，得到相机坐标系与世界坐标系之间的关系，并在图像径向方向上进行畸变矫正，减少图像失真；
所述图像预处理子模块采用中值滤波算法实现，用于对工业双目相机传输到PC端的图像进行预处理，消除由于环境中高能粒子对图像产生的噪声污染；
所述目标识别定位子模块采用yolo.v4深度学习与BM双目立体匹配融合算法，实现对场景中所需检测所有目标对象的种类与三维位置信息进行实时动态捕捉；
所述VR仿真子模块基于Unity3D引擎搭建VR虚拟现实仿真平台，对核热室环境及场景相关目标对象进行预建模，当数据流传输到仿真中时，通过数据中检测到的目标对象的类别调取相对应模型，实现对应三维坐标位置进行实时重构。
本发明与现有技术相比，其显著优点是：
(1)本发明基于Unity3D开发引擎搭建的VR仿真平台，对结构化环境进行预建模同时根据深度学习算法由机器视觉获取的目标对象的实时信息在平台中对所有目标对象进行动态重构，使操作员无需通过肉眼，直接通过仿真平台即可对作业环境进行监控，高效精确的操作强辐照环境机械手作业。
(2)将yolo.v4深度学习算法与传统cv立体匹配算法相结合，构建融合算法，将二维目标识别定位拓展到三维，摒弃了传统视觉的特征提取，构建卷积神经网络模型直接实现端到端的图片输入种类位置信息输出，该融合算法与传统机器视觉相比，识别速度更快、精度更高，而在一些如光照不足、相机动态运动等特殊情况下，性能加优越，同时由于卷积神经网络属于监督学习模型，具备高鲁棒性，理论上可同时识别的目标对象种类无穷多，为不同种多目标的识别提供了可行性。
(3)采用中值筛选与上下文比对过滤算法，解决异常图片帧目标对象遗漏以及深度图空洞等问题，为仿真环境中目标的实时重构提供了信息来源。
附图说明
图1为本发明的方法流程图。
图2为本发明系统结构图。
图3为yolo.v4目标检测与BM立体匹配融合算法结构图。
图4为双目深度信息获取原理图。
图5为中值筛选与上下文比对过滤算法及目标仿真环境重构算法流程图。
具体实施方式
下面结合附图及具体实施例对本发明做进一步的介绍。
结合图1，本实施例的一种强辐照环境下基于深度学习的立体视觉定位仿真方法，包括以下步骤：
步骤1、搭建强辐照环境操作对象识别定位系统，识别定位系统主要包括；核热室支架平台，双目相机，PC；所述工业双目相机设置在位于热室中心距离地面1.5m得悬挂支架平台上；工业双目相机和PC相连，相机实时采集核热室(强辐照)环境视频信息，逐帧提取图像信息后，传递到PC端图像处理模块；系统世界坐标系原点定在相机左目光心处，为后续定位算法提供基础；
步骤2、进行相机标定和畸变矫正，采用张正友标定的方法对相机的内外参数进行标定，计算相机的内外参数，得到相机坐标系与世界坐标系之间的关系，并在图像径向方向上进行畸变矫正，减少图像失真，具体流程如下：
2.1、根据张正友标定原理有：
其中s为尺度因子，A为相机内参矩阵，R为旋转矩阵，t为平移向量，[u v 1]T为相机坐标系中的坐标，[X Y 1]T为世界坐标系中的坐标。
2.2、令：H＝[h1 h2 h3]＝λA[r1 r2 t]
其中H为单应性矩阵，每张图像经过哈里斯角点获取都能计算出一个单应性矩阵，λ为s的倒数，定义：
hi＝[hi1 hi2 hi3]T，i取1,2,3；
vij＝[hi1hj1 hi1hj2+hi2hj1 hi2hj2 hi3hj1+hi1hj3 hi3hj2+hi2hj3 hi3hj3]，j取1,2,3；
2.3、经推导转化为
即Vb＝0
V矩阵是2*6矩阵，每张照片能建立两个方程组，使用黑白棋盘格作为标定板，使用三张以上的图像就能建立六个方程组，求出内参矩阵A，对于外参矩阵R和t,有：
r1＝λA-1h1,r2＝λA-1h2，t＝λA-1h3，λ＝1/||A-1h1||
即可计算出外参矩阵，最后最大似然法对内外参数进行优化，得到优化后的内外参数，从而完成相机的标定。
2.4、对于相机畸变有数学公式对相机畸变进行矫正，只计算径向方向上的桶形失真，数学表达式为：
u＝u+(u-u0)[k1(x2+y2)+k2(x2+y2)]
其中(u,v)是理想无畸变的像素坐标，
是实际畸变后的像素坐标。(u0,v0)代表主点，(x,y)是理想无畸变的连续图像坐标，k1和k2为分别为第一阶、第二阶的畸变参数。推导得：
其中令
记做：Dk＝d
则可得：k＝[k1 k2]T＝(DTD)-1DTd，计算即可得到畸变系数。
2.5、在得到内外参数和畸变系数后，即可根据步骤1中的坐标方程关系式和步骤2.4中的畸变数学表达式计算出相机坐标系中点对应的世界坐标。
步骤3、进行强辐照环境图像预处理：对双目相机收集到的实时视频流逐帧提取图像，并对传输到PC端的图像进行中值滤波预处理，消除强辐照环境下因高能粒子对图像的干扰产生的椒盐噪声，具体流程如下：
3.1、对双目相机获取的视频流进行左右目分割，单张图尺寸为600×480，逐帧提取图像信息；
3.2、选择一个3×3像素尺寸的窗口，并用该窗口沿相机端传输来的图像数据进行或列方向的移位滑动，滑动步长为1个像素；
3.3、每次移动后，对窗内的诸像素灰度值进行排序；
3.4、用排序所得中值替代窗口中心位置的原始像素灰度值；
3.5、将处理后的图片返回到PC端，用作后续算法输入。
步骤4、结合图3，将处理好的图像作为输入，采用yolo.v4目标检测与BM双目立体匹配融合算法，一方面通过yolo.v4深度学习模型中进行图像中目标对象的检测识别，以及二维定位；另一方面利用BM双目立体匹配算法，获取场景深度图信息；由于用于检测识别的图片被统一调整到了标准尺寸(416×416)，而深度图则是由原图尺寸生成。为了保证朝深度图坐标映射的正确，需对坐标进行解码，然后再将检测到的各类目标对象对应的二维坐标信息向深度图进行映射，采用坐标索引得到其相应位置的深度，组成三维空间坐标返回到融合算法模型中，具体流程为：
4.1、对于yolo.v4深度学习算法：其分为两个模块组成，其一为训练模块：目标是检测核环境下五种操作对象，分别为齿轮、电动磨光机、电动螺丝刀、监控摄像头、核废料桶，通过Python爬虫技术在互联网上采集图像数据，同时购置了相应的5类对象，防辐射桶60L-160L容积数量15个、防辐射摄像头5只、电动螺丝刀10把、各类尺寸防辐射铅箱10个。在核热室实验室中，将上述对象随机摆置。图像数据采集规则为保证每张图片中大小目标数量均衡，远近目标对象数目合理。同时不断随机改变场景中各操作对象的相对位置以及同类对象数量，选取不同视角拍摄共收集五类对象相关图片各1000张，并采用LabelImage软件在图片中给目标对象建立标签；
将带标签的数据集导入yolo.v4模型训练算法中进行神经网络的训练，获取相关参数及卷积核权重，导入yolo.v4检测算法中。训练算法结构主要包含：
(1)卷积层：通过搭建卷积神经网络结构，采用卷积核卷积训练集中的输入图像数据特征图，提取语义信息、位置信息等。
(2)池化层：采用独特的SPP池化层结构，SPP模块中，使用kernel＝{1×1,5×5,9×9,13×13}的最大池化的方式，再将不同尺度的特征图进行Concat操作。这里最大池化采用padding操作，移动的步长stride为1，比如13×13的输入特征图，使用5×5大小的池化核池化，padding＝2，因此池化后的特征图仍然是13×13大小。该层作用为压缩数据和参数的量，减小算法运行时的过拟合风险。
(3)激活函数：采用新型的激活函数：y＝x*tanh(ln(1+ex))
其中x为输入值、y为输出到下一个神经元节点的值。
(4)损失函数：损失函数＝置信度损失函数+分类损失函数+回归损失函数；其中置信度损失函数与分类损失函数采用交叉熵损失，而回归损失函数采用CIOU-loss：
其中IoU为预测框与真实框的交并比，d为两个框中心点之间的欧氏距离，c为闭包对角线距离，α为权衡参数，υ为衡量长宽比一致性的参数。
(5)NMS非极大抑制算法：
根据前向传播中获得候选框的对象分类概率做排序：例如某组类别概率排序为A<B<C<D<E<F；先标记最大概率矩形框F是我们要保留下来的；从最大概率矩形框F开始，分别判断A～E与F的重叠度IOU(两框的交并比)是否大于某个设定的阈值，假设B、D与F的重叠度超过阈值，那么就扔掉B、D；从剩下的矩形框A、C、E中，选择概率最大的E，标记为要保留下来的，然后判读E与A、C的重叠度，舍弃重叠度超过设定阈值的矩形框；对整张图获得的所有候选框一直进行该算法操作，标记完所有要保留下来的矩形框。
(6)反向传播模块：
采用SGD随机梯度下降算法反向传播，更新每一层特征层中卷积核的权重值。
将分割以及预处理好的图像数据，选其左目图像拉伸到416×416标准尺寸后作为yolo.v4检测算法的输入。yolo.v4的检测算法与训练算法结构基本一致，区别为由于有预先训练好的权重的导入，不需要模型反向传播去更新模型相关权重；
yolo.v4深度学习检测算法在结合了多种trick：特征金字塔PANnet、Mosaic数据增强、CSPDarknet53主干网络、Mish激活函数、SPP模块、CIOU-loss。这些均已开源的Trick代码后，经过调参，不论是AP值(衡量算法对场景目标检测的召回率与精确度的综合指标)还是fps值(检测速度指标)在基于coco标准数据集下均大大超过其他目前常用深度学习检测算法。
在检测算法中，经过已获得训练权重的卷积神经网络的特征提取，由设置好尺寸的anchor锚点框在图片有可能出现目标对象的区域进行预测，并微调框的尺寸大小及位置，预测框中目标的种类置信度；接着通过NMS算法筛选anchor。最终保留的bounding box格式为Xmin,Ymin,Xmax,Ymax；四个坐标值按顺序分别为：左边框横坐标、上边框纵坐标、右边框横坐标、下边框纵坐标，其检测到的框内对象即为所得。取保留anchor的中点值(Xmax/2-Xmin/2,Ymax/2-Ymin/2)作为目标位置。按600×480与416×416之间对应的拉伸比例解码坐标将((Xmax/2-Xmin/2)×600/416，(Ymax/2-Ymin/2)×480/416)，作为坐标实际原图位置。
4.2对于立体匹配算法，将左右双目图像数据作为立体匹配算法的输入，对输入的图像数据，采用BM算法匹配代价计算，找到环境中同一个像素点在两图中各自对应位置；接着代价空间聚合方便视差计算；然后计算左右图两点视差图，
深度信息计算结合图4：OL和OR是左右相机的光心，它们的光轴和各自的成像平面如图所示。假设两相机的内部和外部参数完全相同，焦距为f，光心之间的距离(基线)为B，两台相机在同一平面上，机他们的投影中心的Y坐标相等。同一时刻空间点p(x,y,z)在两相机上成像点分别为Pleft和Pright。于是有：
由三角几何关系有：
其中Xleft和Xright分别在左、右相机的图像平面下讨论；它们的坐标系在各自的图像平面坐标系下的坐标，原点分别为各自光轴与像平面的交点。而f和B是常值,Y也是基于图像坐标系,x,y,z则是基于左相机坐标系，原点为OL。
坐标z即为深度信息。
接着进行视差化后处理，具体有左右一致性检测，对右目匹配像素点反向匹配左目，验证匹配的准确性；进行视差偏差约束，去孤立像素点。对获得的视差进行优化。最终输出深度图信息；
将检测算法解码后的坐标输入立体匹配输出的深度图中索引到相应位置的深度信息返回给检测算法，与其本身的二维坐标，种类，组合在一起进行打包输出。打包后标准数据流格式为“～齿轮，X1，Y1，Z1～齿轮，X2，Y2，Z2～核废料桶，X3，Y3，Z3……”。
步骤5、结合图5，将检测识别到的不同种类目标对象及其对应的三维坐标，打包成数据流，对数据流中数据采用逻辑判断及分段求取中位数的方法进行过滤，筛选出有效坐标信息输入到VR仿真平台中；具体步骤如下：
5.1、接收打包好的实时传输的标准格式数据流：“～A，X1，Y1，Z1～B，X2，Y2，Z2～C，X3，Y3，Z3……”其中：A,B,C为目标对象种类，Xi,Yi,Zi(i∈1，2，3……)，为图像帧中对应场景第i个被检测对象的三维坐标集合，i为模型依次检测出的目标对象序号，用“～”分隔；
5.2、终端发出捕捉指令，捕捉该时间点往后传来得数据；
5.3、对第n组数据执行判断1：所有数据中不存在INF单词；
5.4、若判断结果为非，丢弃此组数据，返回坐标数据异常，令n+1，并跳至步骤5.3；
5.5、若判断结果为是，执行判断2：该组数据中物体个数与前一组一致；
5.6、若判断结果为非，保留个数较多的那组；令n+1，并跳至步骤5.3；
5.7、若判断结果为是，保留该组数据，令n+1，并跳至步骤5.3；
5.8、当计数器记得保留数据组数等于9时，取9组数据每个对象的坐标中位数作为该对象的最终坐标；
5.9、调取unity 3DMAX库中已经创建好的对应类型名字的模型包，并按其最终坐标，在VR仿真环境中重构。返回5.2等待下次捕捉指令。
结合图2，本发明还提出一种搭建强辐照环境操作对象识别定位系统，由核热室支架平台、工业双目相机图像采集模块、基于PC端的图像处理模块构成；
所述工业双目相机设置在位于热室中心距离地面1.5m得悬挂支架平台上；工业双目相机和PC相连，相机实时采集核热室(强辐照)环境视频信息，逐帧提取图像信息后，传递到PC端图像处理模块；系统世界坐标系原点定在相机左目光心处，为后续定位算法提供基础；
所述图像处理模块包括相机标定矫正模块、图像预处理模块、目标识别定位模块、VR仿真模块四个子模块；
所述的相机标定矫正子模块进行相机标定和畸变矫正，采用张正友标定的方法对相机的内外参数进行标定，计算相机的内外参数，得到相机坐标系与世界坐标系之间的关系，并在图像径向方向上进行畸变矫正，减少图像失真；工作过程为：
采用张正友标定的方法对相机的内外参数进行标定获得工业双目相机的旋转矩阵与位移矩阵参数：R、T。当有图片输入时，通过R、T矩阵转换得到相机坐标系与世界坐标系之间的关系，并在图像径向方向上进行畸变矫正，只计算径向方向上的桶形失真，数学表达式为：
u＝u+(u-u0)[k1(x2+y2)+k2(x2+y2)]
其中(u,v)是理想无畸变的像素坐标，
是实际畸变后的像素坐标；(u0,v0)代表主点，(x,y)是理想无畸变的连续图像坐标，k1和k2为分别为第一阶、第二阶的畸变参数；推导得：
其中令
记做：Dk＝d
则可得：k＝[k1 k2]T＝(DTD)-1DTd，计算即可得到畸变系数。
所述图像预处理子模块采用中值滤波算法实现，用以对工业双目相机传输到PC端的图像进行预处理，消除由于环境中高能粒子对图像产生的噪声污染；工作过程为：
对双目相机获取的视频流进行左右目分割，逐帧提取图像信息；接着选择一个3×3像素尺寸的窗口，并用该窗口沿相机端传输来的图像数据进行或列方向的移位滑动，滑动步长为1个像素，每次移动后，对窗内的诸像素灰度值进行从小到大排序；用排序所得中值替代窗口中心位置的原始像素灰度值，将处理后的图片返回到PC端，用作后续算法输入。
所述目标识别定位子模块采用yolo.v4深度学习与BM双目立体匹配融合算法，实现对场景中所需检测所有目标对象的种类与三维位置信息进行实时动态捕捉；工作过程为：
将分割以及预处理好的图像数据，选其左目图像拉伸到416×416标准尺寸后作为yolo.v4检测算法与立体匹配算法的输入；在检测算法中，经过已获得训练权重的卷积神经网络的特征提取，由设置好尺寸的anchor锚点框在图片有可能出现目标对象的区域进行预测，并微调框的尺寸大小及位置同时预测框中目标的种类置信度；接着通过NMS算法筛选anchor锚点，按原图与416×416之间拉伸比例解码预测位置坐标在实际原图位置；在立体匹配算法中，对输入的左右目图像数据，采用BM算法匹配代价计算；接着代价空间聚合进行视差计算，输出深度图信息。最后将检测算法解码后的坐标输入立体匹配输出的深度图中索引到相应位置的深度信息返回给检测算法，与其本身的二维坐标，种类，组合在一起进行打包输出。
所述VR仿真子模块基于Unity3D引擎搭建VR虚拟现实仿真平台，对核热室环境及场景相关目标对象进行预建模，当数据流传输到仿真中时，通过数据中检测到的目标对象的类别调取相对应模型，实现对应三维坐标位置进行实时重构。工作流程为：
接收打包好的实时传输的标准格式数据流：“～A，X1，Y1，Z1～B，X2，Y2，Z2～C，X3，Y3，Z3……”其中：A,B,C为目标对象种类，Xi,Yi,Zi(i∈1，2，3……)为对应场景中被检测对象的三维坐标，用“～”分隔；接着对数据流进行上下文比对筛选，保证获取最全的场景目标信息流；最后进行中值数据筛选，避免深度信息空洞问题，获得稳定的最终位置坐标；调取unity3DMAX库中已经创建好的对应类型名字的模型包，并按其最终位置坐标，在VR仿真环境中重构。
本发明中强辐照环境下基于深度学习的立体视觉定位仿真方法及系统的核心算法：yolo.v4深度学习检测算法与BM立体匹配算法均可更新替换，未来可以有更优化的改进算法产出时，只需简单的模块替换即可获得更优良的性能。同时当工作场景发生改变时深度学习算法的鲁棒性可以适应该改变，当需要仿真更多其他类目标对象时，无需改变算法结构，只需在Unity中对新的目标建模，同时采集目标对象的数据集输入yolo.v4训练算法模块进行训练即可。
Claims (10)
1.一种辐照环境下基于深度学习的立体视觉定位仿真方法，其特征在于，包括以下步骤：
步骤1、搭建辐照环境下的机械手作业对象识别定位系统；
步骤2、进行相机标定和畸变矫正，对相机的内外参数进行标定，计算相机的内外参数，得到相机坐标系与世界坐标系之间的关系，并在图像径向方向上进行畸变矫正，减少图像失真；
步骤3、进行强辐照环境图像预处理：对双目相机收集到的实时视频流逐帧提取图像，并对传输到PC端的图像进行中值滤波预处理，消除强辐照环境下因高能粒子对图像的干扰产生的椒盐噪声；
步骤4、将处理好的图像作为输入，采用yolo.v4目标检测与BM双目立体匹配融合算法，一方面通过yolo.v4深度学习模型中进行图像中目标对象的检测识别，以及二维定位；另一方面利用BM双目立体匹配算法，获取场景深度图信息；对坐标进行同尺寸映射解码，然后再将检测到的各类目标对象对应的二维坐标信息向深度图进行映射，采用坐标索引得到相应位置的深度，组成三维空间坐标返回到融合算法模型中；
步骤5、将检测识别到的不同种类目标对象及其对应的三维坐标，打包成数据流，对数据流中数据采用逻辑判断及分段求取中位数的方法进行过滤，剔除受深度图空洞产生的异常数据，筛选出有效坐标信息输入到VR仿真平台中；
步骤6、利用脚本将输入到VR仿真平台中的目标对象类别信息进行索引，调取其在仿真平台中预先建模好的模型，并通过其对应的三维坐标信息在对应位置实时重构。
2.根据权利要求1所述的强辐照环境下基于深度学习的立体视觉定位仿真方法，其特征在于，步骤2进行相机标定和畸变矫正，只计算径向方向上的桶形失真，计算过程为：
u＝u+(u-u0)[k1(x2+y2)+k2(x2+y2)]
其中(u,v)是理想无畸变的像素坐标，
是实际畸变后的像素坐标；(u0,v0)代表主点，(x,y)是理想无畸变的连续图像坐标，k1和k2为分别为第一阶、第二阶的畸变参数；推导得：
其中令
记做：Dk＝d
则可得：k＝[k1 k2]T＝(DTD)-1DTd，计算即可得到畸变系数。
3.根据权利要求1所述的强辐照环境下基于深度学习的立体视觉定位仿真方法，其特征在于，步骤3对图像进行中值滤波去噪预处理，消除强辐照环境下高能粒子对图片质量的影响，具体步骤如下：
3.1、对双目相机获取的视频流进行左右目分割，逐帧提取图像信息；
3.2、选择窗口，并用该窗口沿相机端传输来的图像数据进行或列方向的移位滑动，滑动步长为1个像素；
3.3、每次移动后，对窗内的诸像素灰度值进行从小到大排序；
3.4、用排序所得中值替代窗口中心位置的原始像素灰度值；
3.5、将处理后的图片返回到PC端，用作后续算法输入。
4.根据权利要求1所述的强辐照环境下基于深度学习的立体视觉定位仿真方法，其特征在于，，步骤4采用yolo.v4进行目标识别定位、场景深度图生成，并对获取到的目标二维位置信息进行解码映射到场景深度图中，进行目标对象深度索引，组成三维空间坐标，具体步骤如下：
4.1、通过Python爬虫技术在互联网上收集目标对象相关图片，并通过真实场景布置模拟实际热室的环境，采集图像数据，结合网络爬虫获得图像数据，对整体数据集进行扩充，并在图片中给目标对象建立标签；
4.2、将带标签的数据集导入yolo.v4模型训练算法中进行神经网络的训练，获取相关参数及卷积核权重，导入yolo.v4检测算法中；
4.3、将分割以及预处理好的图像数据，选其左目图像拉伸到标准尺寸后作为yolo.v4检测算法的输入；
4.4、同时将左双目图像数据作为立体匹配算法的输入；
4.5在检测算法中，经过已获得训练权重的卷积神经网络的特征提取，由设置好尺寸的anchor锚点框在图片有可能出现目标对象的区域进行预测，并微调框的尺寸大小及位置，预测框中目标的种类置信度；接着通过NMS算法筛选anchor锚点；最终保留的boundingbox，及其检测到的框内对象即为所得；取保留anchor中点作为目标位置；按原图与标准尺寸之间拉伸比例解码坐标在实际原图位置；
4.6在立体匹配算法中，对输入的左右目图像数据，采用BM算法匹配代价计算，找到环境中同一个点在两图中各自对应位置；接着代价空间聚合方便视差计算；然后计算左右图两点视差，并视差化后处理对获得的视差进行优化，最终输出深度图信息。
4.7将检测算法解码后的坐标输入立体匹配输出的深度图中索引到相应位置的深度信息返回给检测算法，与本身的二维坐标，种类，组合在一起进行打包输出。
5.根据权利要求1所述的强辐照环境下基于深度学习的立体视觉定位仿真方法，其特征在于，步骤5筛选出有效坐标信息输入到VR仿真平台，具体步骤如下：
5.1、接收打包好的实时传输的标准格式数据流：“～A，X1，Y1，Z1～B，X2，Y2，Z2～C，X3，Y3，Z3……”其中：A,B,C为目标对象种类，i为模型依次检测出的目标对象序号i∈1，2，3……，Xi,Yi,Zi为图像帧中对应场景第i个被检测对象的三维坐标集合；
5.2、终端发出捕捉指令，捕捉该时间点往后传来得数据；
5.3、对第n组数据执行判断1：所有数据中不存在INF单词；
5.4、若判断结果为非，丢弃此组数据，返回坐标数据异常，令n+1，并跳至步骤5.3；
5.5、若判断结果为是，执行判断2：该组数据中物体个数与前一组一致；
5.6、若判断结果为非，保留个数较多的那组；令n+1，并跳至步骤5.3；
5.7、若判断结果为是，保留该组数据，令n+1，并跳至步骤5.3；
5.8、当计数器记得保留数据组数等于9时，取9组数据每个对象的坐标中位数作为该对象的最终坐标；
5.9、调取unity 3DMAX库中已经创建好的对应类型名字的模型包，并按其最终坐标，在VR仿真环境中重构，返回5.2等待下次捕捉指令。
6.一种强辐照环境下基于深度学习的立体视觉定位仿真系统，其特征在于，由核热室支架平台、工业双目相机图像采集模块、基于PC端的图像处理模块构成；
所述图像处理模块包括相机标定矫正模块、图像预处理模块、目标识别定位模块、VR仿真模块；
所述工业双目相机设置在位于热室中心得悬挂支架平台上；所述工业双目相机和PC相连，工业双目相机实时采集核热室环境视频信息，逐帧提取图像信息后，传递到图像处理模块；
所述的相机标定矫正子模块用于相机标定和畸变矫正，对相机的内外参数进行标定，计算相机的内外参数，得到相机坐标系与世界坐标系之间的关系，并在图像径向方向上进行畸变矫正，减少图像失真；
所述图像预处理子模块采用中值滤波算法实现，用于对工业双目相机传输到PC端的图像进行预处理，消除由于环境中高能粒子对图像产生的噪声污染；
所述目标识别定位子模块采用yolo.v4深度学习与BM双目立体匹配融合算法，实现对场景中所需检测所有目标对象的种类与三维位置信息进行实时动态捕捉；
所述VR仿真子模块基于Unity3D引擎搭建VR虚拟现实仿真平台，对核热室环境及场景相关目标对象进行预建模，当数据流传输到仿真中时，通过数据中检测到的目标对象的类别调取相对应模型，实现对应三维坐标位置进行实时重构。
7.根据权利要求6所述的辐照环境下基于深度学习的视觉定位仿真系统，其特征在于，所述相机标定矫正子模块工作过程为：
对相机的内外参数进行标定获得工业双目相机的旋转矩阵与位移矩阵参数，当有图片输入时，通过矩阵转换得到相机坐标系与世界坐标系之间的关系，并在图像径向方向上进行畸变矫正，只计算径向方向上的桶形失真：
其中(u,v)是理想无畸变的像素坐标，
是实际畸变后的像素坐标；(u0,v0)代表主点，(x,y)是理想无畸变的连续图像坐标，k1和k2为分别为第一阶、第二阶的畸变参数；推导得：
其中令
记做：Dk＝d
则可得：k＝[k1 k2]T＝(DTD)-1DTd，计算即可得到畸变系数。
8.根据权利要求6所述的辐照环境下基于深度学习的视觉定位仿真系统，其特征在于，所述图像预处理子模块工作过程为：对双目相机获取的视频流进行左右目分割，逐帧提取图像信息；接着选择一个窗口，并用该窗口沿相机端传输来的图像数据进行或列方向的移位滑动，滑动步长为1个像素，每次移动后，对窗内的诸像素灰度值进行从小到大排序；用排序所得中值替代窗口中心位置的原始像素灰度值，将处理后的图片返回到PC端。
9.根据权利要求6所述的辐照环境下基于深度学习的视觉定位仿真系统，其特征在于，所述目标识别定位子模块工作过程为：将分割以及预处理好的图像数据，选左目图像拉伸到标准尺寸后作为yolo.v4检测算法与立体匹配算法的输入；在检测算法中，经过已获得训练权重的卷积神经网络的特征提取，由设置好尺寸的anchor锚点框在图片有可能出现目标对象的区域进行预测，并微调框的尺寸大小及位置同时预测框中目标的种类置信度；接着通过NMS算法筛选anchor锚点，按原图与标准尺寸之间拉伸比例解码预测位置坐标在实际原图位置；在立体匹配算法中，对输入的左右目图像数据，采用BM算法匹配代价计算；接着代价空间聚合进行视差计算，输出深度图信息；最后将检测算法解码后的坐标输入立体匹配输出的深度图中索引到相应位置的深度信息返回给检测算法，与其本身的二维坐标，种类，组合在一起进行打包输出。
10.根据权利要求6所述的辐照环境下基于深度学习的视觉定位仿真系统，其特征在于，所述VR仿真子模块工作流程为：接收打包好的实时传输的标准格式数据流：“～A，X1，Y1，Z1～B，X2，Y2，Z2～C，X3，Y3，Z3……”其中：A,B,C为目标对象种类，i为模型依次检测出的目标对象序号i∈1，2，3……，Xi,Yi,Zi为图像帧中对应场景第i个被检测对象的三维坐标集合；接着对数据流进行上下文比对筛选，保证获取最全的场景目标信息流；最后进行中值数据筛选，获得稳定的最终位置坐标；调取unity 3DMAX库中已经创建好的对应类型名字的模型包，并按最终位置坐标，在VR仿真环境中重构。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011218235.XA CN112700499B (zh) | 2020-11-04 | 2020-11-04 | 一种辐照环境下基于深度学习的视觉定位仿真方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011218235.XA CN112700499B (zh) | 2020-11-04 | 2020-11-04 | 一种辐照环境下基于深度学习的视觉定位仿真方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112700499A true CN112700499A (zh) | 2021-04-23 |
| CN112700499B CN112700499B (zh) | 2022-09-13 |
Family
ID=75505848
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011218235.XA Active CN112700499B (zh) | 2020-11-04 | 2020-11-04 | 一种辐照环境下基于深度学习的视觉定位仿真方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112700499B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113256568A (zh) * | 2021-05-09 | 2021-08-13 | 长沙长泰智能装备有限公司 | 一种基于深度学习的机器视觉板材计数通用系统及方法 |
| CN113311839A (zh) * | 2021-05-24 | 2021-08-27 | 盛天智能机器人(广东)有限责任公司 | 一种用于公共区域消毒的智能机器人控制方法及其控制系统 |
| CN113420704A (zh) * | 2021-06-18 | 2021-09-21 | 北京盈迪曼德科技有限公司 | 一种基于视觉传感器的物体识别方法、装置及机器人 |
| CN113524194A (zh) * | 2021-04-28 | 2021-10-22 | 重庆理工大学 | 基于多模特征深度学习的机器人视觉抓取系统的目标抓取方法 |
| CN113723389A (zh) * | 2021-08-30 | 2021-11-30 | 广东电网有限责任公司 | 一种支柱式绝缘子定位方法及装置 |
| CN113838144A (zh) * | 2021-09-14 | 2021-12-24 | 杭州印鸽科技有限公司 | 一种基于机器视觉和深度学习的uv打印机上物件定位方法 |
| CN113838132A (zh) * | 2021-09-22 | 2021-12-24 | 中国计量大学 | 一种基于卷积神经网络的单分子定位方法 |
| CN114283119A (zh) * | 2021-12-02 | 2022-04-05 | 上海韦地科技集团有限公司 | 一种耐辐照摄像机控制系统 |
| CN114445393A (zh) * | 2022-02-07 | 2022-05-06 | 无锡雪浪数制科技有限公司 | 一种基于多视觉传感器的螺栓装配工序检测方法 |
| CN114663752A (zh) * | 2022-02-28 | 2022-06-24 | 江苏大学 | 一种基于机器视觉的食用豆产量智能估计方法、系统 |
| CN114748086A (zh) * | 2021-12-21 | 2022-07-15 | 首都医科大学附属北京友谊医院 | Ct扫描方法和系统、电子设备和计算机可读存储介质 |
| CN115296738A (zh) * | 2022-07-28 | 2022-11-04 | 吉林大学 | 一种基于深度学习的无人机可见光相机通信方法及其系统 |
| CN116894796A (zh) * | 2023-09-11 | 2023-10-17 | 归芯科技(深圳)有限公司 | 图像降噪和畸变矫正联合处理方法及装置 |
| CN117726948A (zh) * | 2024-02-07 | 2024-03-19 | 成都白泽智汇科技有限公司 | 一种基于神经网络模型的双目图像处理方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108876855A (zh) * | 2018-05-28 | 2018-11-23 | 哈尔滨工程大学 | 一种基于深度学习的海参检测和双目视觉定位方法 |
| CN109934848A (zh) * | 2019-03-07 | 2019-06-25 | 贵州大学 | 一种基于深度学习的运动物体精准定位的方法 |
| CN109948514A (zh) * | 2019-03-15 | 2019-06-28 | 中国科学院宁波材料技术与工程研究所 | 基于单目标三维重建的工件快速识别与定位方法 |
| CN111862196A (zh) * | 2019-04-30 | 2020-10-30 | 瑞典爱立信有限公司 | 检测平板物体的通孔的方法、装置和计算机可读存储介质 |
-
2020
- 2020-11-04 CN CN202011218235.XA patent/CN112700499B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108876855A (zh) * | 2018-05-28 | 2018-11-23 | 哈尔滨工程大学 | 一种基于深度学习的海参检测和双目视觉定位方法 |
| CN109934848A (zh) * | 2019-03-07 | 2019-06-25 | 贵州大学 | 一种基于深度学习的运动物体精准定位的方法 |
| CN109948514A (zh) * | 2019-03-15 | 2019-06-28 | 中国科学院宁波材料技术与工程研究所 | 基于单目标三维重建的工件快速识别与定位方法 |
| CN111862196A (zh) * | 2019-04-30 | 2020-10-30 | 瑞典爱立信有限公司 | 检测平板物体的通孔的方法、装置和计算机可读存储介质 |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113524194A (zh) * | 2021-04-28 | 2021-10-22 | 重庆理工大学 | 基于多模特征深度学习的机器人视觉抓取系统的目标抓取方法 |
| CN113256568A (zh) * | 2021-05-09 | 2021-08-13 | 长沙长泰智能装备有限公司 | 一种基于深度学习的机器视觉板材计数通用系统及方法 |
| CN113311839A (zh) * | 2021-05-24 | 2021-08-27 | 盛天智能机器人(广东)有限责任公司 | 一种用于公共区域消毒的智能机器人控制方法及其控制系统 |
| CN113420704A (zh) * | 2021-06-18 | 2021-09-21 | 北京盈迪曼德科技有限公司 | 一种基于视觉传感器的物体识别方法、装置及机器人 |
| CN113723389A (zh) * | 2021-08-30 | 2021-11-30 | 广东电网有限责任公司 | 一种支柱式绝缘子定位方法及装置 |
| CN113838144A (zh) * | 2021-09-14 | 2021-12-24 | 杭州印鸽科技有限公司 | 一种基于机器视觉和深度学习的uv打印机上物件定位方法 |
| CN113838132A (zh) * | 2021-09-22 | 2021-12-24 | 中国计量大学 | 一种基于卷积神经网络的单分子定位方法 |
| CN113838132B (zh) * | 2021-09-22 | 2023-08-04 | 中国计量大学 | 一种基于卷积神经网络的单分子定位方法 |
| CN114283119A (zh) * | 2021-12-02 | 2022-04-05 | 上海韦地科技集团有限公司 | 一种耐辐照摄像机控制系统 |
| CN114748086A (zh) * | 2021-12-21 | 2022-07-15 | 首都医科大学附属北京友谊医院 | Ct扫描方法和系统、电子设备和计算机可读存储介质 |
| CN114748086B (zh) * | 2021-12-21 | 2023-08-08 | 首都医科大学附属北京友谊医院 | Ct扫描方法和系统、电子设备和计算机可读存储介质 |
| CN114445393B (zh) * | 2022-02-07 | 2023-04-07 | 无锡雪浪数制科技有限公司 | 一种基于多视觉传感器的螺栓装配工序检测方法 |
| CN114445393A (zh) * | 2022-02-07 | 2022-05-06 | 无锡雪浪数制科技有限公司 | 一种基于多视觉传感器的螺栓装配工序检测方法 |
| CN114663752A (zh) * | 2022-02-28 | 2022-06-24 | 江苏大学 | 一种基于机器视觉的食用豆产量智能估计方法、系统 |
| CN114663752B (zh) * | 2022-02-28 | 2024-04-12 | 江苏大学 | 一种基于机器视觉的食用豆产量智能估计方法、系统 |
| CN115296738A (zh) * | 2022-07-28 | 2022-11-04 | 吉林大学 | 一种基于深度学习的无人机可见光相机通信方法及其系统 |
| CN115296738B (zh) * | 2022-07-28 | 2024-04-16 | 吉林大学 | 一种基于深度学习的无人机可见光相机通信方法及其系统 |
| CN116894796A (zh) * | 2023-09-11 | 2023-10-17 | 归芯科技(深圳)有限公司 | 图像降噪和畸变矫正联合处理方法及装置 |
| CN116894796B (zh) * | 2023-09-11 | 2023-12-26 | 归芯科技(深圳)有限公司 | 图像降噪和畸变矫正联合处理方法及装置 |
| CN117726948A (zh) * | 2024-02-07 | 2024-03-19 | 成都白泽智汇科技有限公司 | 一种基于神经网络模型的双目图像处理方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112700499B (zh) | 2022-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112700499B (zh) | 一种辐照环境下基于深度学习的视觉定位仿真方法及系统 | |
| Ichnowski et al. | Dex-nerf: Using a neural radiance field to grasp transparent objects | |
| CN109544679B (zh) | 管道内壁的三维重建方法 | |
| CN101443817B (zh) | 用于确定场景的三维重建时的对应关系的方法和装置 | |
| CN108053449A (zh) | 双目视觉系统的三维重建方法、装置及双目视觉系统 | |
| CN105046743A (zh) | 一种基于全局变分技术的超高分辨率三维重建方法 | |
| CN115272271A (zh) | 一种基于双目立体视觉的管道缺陷检测与定位测距系统 | |
| CN115345822A (zh) | 一种面向航空复杂零件的面结构光自动化三维检测方法 | |
| CN107483911A (zh) | 一种基于多目图像传感器的信号处理方法及系统 | |
| CN108665484B (zh) | 一种基于深度学习的危险源识别方法与系统 | |
| CN110298330B (zh) | 一种输电线路巡检机器人单目检测与定位方法 | |
| CN112630469B (zh) | 一种基于结构光和多光场相机的三维检测方法 | |
| CN113762358A (zh) | 一种基于相对深度训练的半监督学习三维重建方法 | |
| CN111768452A (zh) | 一种基于深度学习的非接触式自动贴图方法 | |
| CN111027415A (zh) | 一种基于偏振图像的车辆检测方法 | |
| CN115082254A (zh) | 一种变电站精益管控数字孪生系统 | |
| CN111914615A (zh) | 基于立体视觉的消防区域可通过性分析系统 | |
| CN114648669A (zh) | 一种域自适应双目视差计算的动车组故障检测方法及系统 | |
| CN113256699A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN107679542B (zh) | 一种双摄像头立体视觉识别方法及系统 | |
| CN116468769A (zh) | 一种基于图像的深度信息估计方法 | |
| CN115578460A (zh) | 基于多模态特征提取与稠密预测的机器人抓取方法与系统 | |
| Basak et al. | Monocular depth estimation using encoder-decoder architecture and transfer learning from single RGB image | |
| CN114639115A (zh) | 一种人体关键点与激光雷达融合的3d行人检测方法 | |
| CN114998532B (zh) | 一种基于数字图像重建的三维影像视觉传达优化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |