CN109308693A - 由一台ptz相机构建的目标检测和位姿测量单双目视觉系统 - Google Patents

由一台ptz相机构建的目标检测和位姿测量单双目视觉系统 Download PDF

Info

Publication number
CN109308693A
CN109308693A CN201810992235.1A CN201810992235A CN109308693A CN 109308693 A CN109308693 A CN 109308693A CN 201810992235 A CN201810992235 A CN 201810992235A CN 109308693 A CN109308693 A CN 109308693A
Authority
CN
China
Prior art keywords
image
ptz camera
target
camera
ptz
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810992235.1A
Other languages
English (en)
Other versions
CN109308693B (zh
Inventor
王睿
黄然
冯遂舟
许婧文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201810992235.1A priority Critical patent/CN109308693B/zh
Publication of CN109308693A publication Critical patent/CN109308693A/zh
Application granted granted Critical
Publication of CN109308693B publication Critical patent/CN109308693B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供的由一台PTZ相机构建的目标检测和位姿测量单双目视觉系统，包括PTZ相机及控制系统，精密位移滑台及驱动装置，图像处理系统。该系统控制PTZ相机在精密线性滑台上做直线运动，只需单台相机即可实现双目视觉系统的功能；以基于深度学习的目标检测模型作为基础框架，构建了目标物体检测模块；在PTZ相机保持Zoom不变时，利用不同Pan‑Tilt下拍摄到的任意场景的两幅图像对PTZ相机所有内参数进行即时自标定；通过所提出的对彩色畸变图像实现特征点高精度匹配的算法，构建了三维位姿测量模块；因此该单双目视觉系统只使用一台PTZ相机，既可以实现单目相机的功能，如目标检测与跟踪等；也可以实现双目系统的功能，如双目三维测量、机器人视觉导引等。

Description

由一台PTZ相机构建的目标检测和位姿测量单双目视觉系统
技术领域：
本发明所设计的由一台PTZ相机构建的目标检测和位姿测量单双目视觉系统属于机器视觉技术领域，具体涉及了系统的构建和控制策略，基于深度学习的目标检测模型及基于改进图像匹配算法的三维位姿测量方法。
背景技术：
计算机视觉目前已经成为计算机技术研究课题中最受关注的学科之一，而随着对计算机视觉研究的深入，各种单目或双目视觉系统已经在视频监控、航空航天、工业生产、三维测量、机器人导引等领域得到了广泛应用。
单目视觉系统无法获得场景的三维信息，而目前常用的双目视觉系统虽然可以解决这个问题，但是绝大多数双目视觉系统都采用了两个定焦相机且两相机内部参数需要保持一致，这大大增加了生产成本，同时这种双目视觉系统无法兼具单目视觉系统的功能，如视频监控、目标检测与跟踪等。
目标检测是单目视觉系统的重要应用，在过去几十年中，国内外已有大量的文献专注于研究目标检测，并提出了很多可行的方法使得目标检测可以不受光照，尺寸，遮挡等环境因素的影响。图像目标检测的方法多数基于外观模型，主要有基于生成式模型的检测和基于判别式模型的检测。近些年来，随着深度学习的兴起，大批学者提出将深度神经网络应用于目标物体检测，如R-CNN，FASTER RCNN，YOLO等，由神经网络提取得到的特征具有更好的泛化能力，因此神经网络在目标检测中往往可以取得更加鲁棒，准确的效果。
曲道奎等学者在专利中(曲道奎.一种单摄像头模拟双目视觉系统及方法[P].沈阳：CN104637048A,2015-05-20.)曾提出了一种单目模拟双目视觉系统的方法，该方法可以只用单个相机实现双目视觉系统的功能，但只提出了一种单目相机构建双目系统的硬件组成方法而没有包含保证系统高精度测量的图像处理算法；
王睿、朱正丹等学者在专利中(王睿，朱正丹.融合颜色信息和全局信息的SIFT特征匹配算法[P].北京：CN104361573A，2015-02-18.)提出了一种新型特征匹配算法，该算法通过构造彩色图像中的颜色描述子和全局描述子并与经典SIFT特征点描述子相融合，实现了彩色图像匹配点的提取，但该算法的特征点描述子维度较高，影响算法运行速度，同时该算法并没有考虑图像中可能存在的畸变情况，因此在畸变图像中可能会出现误匹配现象。
针对上述问题，本发明提出了一种由一台PTZ相机构建的目标检测和位姿测量单双目视觉系统，只需单台PTZ相机便可兼具单目视觉系统与双目视觉系统的功能，该系统利用基于深度学习的目标检测模型作为基础框架,实现了目标检测的功能，并提出了改进的图像匹配算法，保证了该系统在三维位姿测量时的精度，使得本发明具有简单高效且精度高的特点。
发明内容：
本发明要解决的技术问题是构建由一台PTZ相机实现高精度目标检测和位姿测量的单双目视觉系统。
本发明采用如下技术方案：
由一台PTZ相机构建的目标检测和位姿测量单双目视觉系统，总设计图如图1所示。此系统由PTZ相机及控制系统(如图1中C1所示)，精密位移滑台及驱动装置(如图1中所示，E1为滑杆，E2为滑台驱动装置)，图像处理系统三部分构成，进而完成对目标物体(如图1中T所示)的检测及三维位姿测量。
PTZ相机及控制系统和精密位移滑台及驱动装置的特征在于：PTZ相机及控制系统可控制PTZ相机进行Pan-Tilt旋转及Zoom变焦操作，并拍摄场景图像；利用驱动装置控制PTZ相机在滑台上做直线运动，并控制PTZ相机在滑台上两个不同的位置获取场景图像，从而只需单台相机即可实现双目视觉系统的功能；所拍摄的图像可通过图像采集装置传输到图像处理系统中进行处理，图像处理的部分结果可作为反馈信息，用于自动控制PTZ相机的Pan-Tilt-Zoom运动和精密位移滑台的运动；
图像处理系统，其特征在于：该系统采用了基于深度学习的目标检测模型和本发明提出的图像匹配算法对图像进行处理，此单双目视觉系统中，单目系统具有对目标物体的检测功能，双目系统具有对目标的三维位姿测量功能。包括以下具体步骤：
步骤(1)、控制单目PTZ相机进行Pan-Tilt旋转，拍摄图像序列，传输到图像处理系统，以基于深度学习的目标检测模型作为基础框架，在图像序列中对目标物体进行实时检测，确定目标物体在图像上的位置信息和类别信息。当图像帧中检测到目标物体时，将目标物体在图像上的位置和大小信息作为反馈信号，调整PTZ相机的Pan-Tilt-Zoom运动参量，使目标图像的面积约为整幅图像的1/2～2/3，目标图像基本位于图像的中心，并将此时的PTZ相机的Pan-Tilt-Zoom设为预置位；
步骤(2)、在完成步骤(1)的目标检测后，保持单目PTZ相机Zoom不变，利用其在不同Pan-Tilt下拍摄到的任意场景的两图像中的静止重叠区域对PTZ相机所有内参数(焦距，主点及畸变参数)进行即时自标定；
步骤(3)、完成步骤(2)的自标定后将PTZ调至预置位，将所需的直线位移转换为相应的指令，利用驱动装置控制PTZ相机在滑台上做直线运动指定距离至终点，从而构造双目视觉系统；并控制PTZ相机在直线运动的起始点和终止点各获取一幅包含目标的场景图像，然后采用本发明提供的改进图像匹配算法对该双目图像进行匹配处理，在融合了全局信息和颜色信息的同时采用自适应滤波器抑制了图像畸变对于匹配结果的影响；
步骤(4)、将步骤(3)得到的特征点匹配结果应用于经典的八点算法，通过获取目标上匹配点的世界坐标之后，可以间接获取目标相对于双目视觉系统中起始位置处相机的位姿，从而实现目标物体的三维位姿测量，并使得测量结果具有较高精度。附图说明：
图1为本发明总体结构示意图
图2为本发明使用一个实例物体进行目标检测的结果
图3为本发明一个实例中所拍摄的双目图像
图4为双目图像的特征点匹配结果
图5为本发明所述改进匹配算法整体流程图
具体实施方式：
为了更好地理解被发明的技术方案，下面将结合附图对本发明实施方式作进一步地详细描述。如图1所示，本发明的由一台PTZ相机构建的单双目视觉系统主要由三个部分组成：PTZ相机及控制系统，精密位移滑台及驱动装置，图像处理系统。
主要的工作流程包括以下步骤：
1.搭建单双目视觉系统：将PTZ相机安装在精密位移滑台的滑座上，并将滑台与驱动装置相连，驱动装置为具有直线运行功能的驱动装置，可驱动滑台进行水平直线位移。例如伺服电机及其控制系统，可以将所需的直线位移转换为相应的指令并控制滑台位移指定距离，从而构造双目视觉系统的基线。本实施例中，通过一个PTZ相机在滑台做直线运动时在起始点和终止点拍摄两幅具有重叠区域的场景图像，实现双目视觉系统的功能。单双目系统获得的图像经由图像处理系统处理，并将部分结果作为反馈信号，进而控制PTZ相机及精密位移滑台完成目标检测及三维位姿测量的功能。
2.检测目标物体：本发明利用有监督的，以深度学习为基础的目标检测模型构建目标检测系统。该系统划分为两个阶段，训练阶段和检测阶段。在训练阶段，利用大量包含目标物体的图像作为训练样本(可由实际拍摄或数据合成获取)，进行多层卷积操作计算样本的特征，通过大量的线下训练获得具有在非结构化环境进行实例目标识别的检测器。在检测阶段，由单目PTZ相机进行Pan-Tilt旋转，拍摄图像序列，检测器在图像序列中对目标物体进行实时检测。当图像帧中检测到目标物体时，训练得到的目标检测模型会首先在图像上生成候选框，并计算图片的卷积特征，然后进行候选框的分类与回归，从而实现目标物体的识别与定位，确定目标物体在图像上的位置信息、类别信息和尺寸信息。图2为使用一个实例物体进行目标检测的结果。
3.完成PTZ相机的内参标定：在完成步骤2所述目标检测之后，将目标物体在图像上的位置和尺寸信息作为反馈信号，调整PTZ相机的Pan-Tilt-Zoom运动参量，使目标图像的面积约为整幅图像的1/2～2/3，目标图像基本位于图像的中心。将此时的PTZ相机的Pan-Tilt-Zoom设为预置位，进行内参标定。图3为一个实例中在PTZ相机保持Zoom不变时，利用不同Pan-Tilt下拍摄到的任意场景的两幅图像。先估计两幅场景图像之间的单应性矩阵H和图像畸变系数ε，然后采用数学中的Givens矩阵对单应性矩阵分解，得到PTZ相机的四个内部参数(α，f，u0，v0)，从而完成对PTZ相机五个内部参数(ε，α，f，u0，v0)的自标定，其中ε为图像畸变系数，α为比例系数，f为焦距，(u0，v0)为主点。
4.控制相机拍摄双目图像：在完成步骤3所述相机标定后，将PTZ相机重新调整至预置位，作为起始位置(如图1所示的D1位置)，控制PTZ相机获取一幅图像，随后将所需的直线位移转换为相应的指令，利用驱动装置控制PTZ相机在滑台上做直线运动指定距离至终止位置(如图1所示的D2位置)获取另一幅图像，这样就实现了以一台PTZ相机在滑台上直线运动并获取双目图像来代替两台相机的功能。
5.对双目图像进行匹配处理：基于步骤4获取的双目图像，图像处理系统采用本算法提供的图像匹配算法对其进行匹配处理，得到匹配点集。本发明所提出的匹配算法基于经典的SURF匹配算法，具体步骤如下：
5.1构建Hessian矩阵：基于步骤4中获取的双目图像，在每个图像点(x,y)上都建立Hessian矩阵，如下式：
其中，Lxx是在x位置高斯二阶偏导与图像的卷积，σ是卷积模板尺度。用盒状卷积模板Dxx、Dxy、Dxy分别代替Lxx、Lxy、Lxy，可得Hessian矩阵的近似Happrox，其行列式的值为：
det(Happrox)＝DxxDyy-(wDxy)2 (2)
5.2基于自适应滤波的方法构造尺度空间：对于每组金字塔的每层图像，图像中的不同位置的像素采用尺寸不同的模板对其进行滤波，考虑到图像中存在畸变，像素点(x,y)位置的卷积模板为其中ε为步骤3得到的图像畸变系数，从而可以构造新高斯金字塔尺度空间检测极值点。采用经典SURF匹配算法就得到了64维改进的SURF描述子。
5.3结合全局信息和颜色信息的特征点描述：每个特征点都对应各自的主方向，以保持旋转不变性。在特征点周围构造一个正方形邻域来构建一个考虑图像畸变情况的64维特征点描述子向量。以每个特征点为中心，分别建立半径等于k×σ的同心圆坐标，本发明中，取k＝32，σ是特征点所对应的尺度，通过Hessian矩阵来描述特征点主曲率，并进行反向高斯加权处理，形成32维全局信息描述子。在同心圆坐标系的基础上计算特征点的颜色不变量，构造32维的颜色描述子，最后归一化描述子，可使描述子在光照变化中具有鲁棒性。改进匹配算法的描述子框架如(3)式所示：
式中S为步骤5.2生成的64维改进SURF描述子，G为32维全局信息描述子，C为32维颜色信息描述子，γ1与γ2分别为权重。融合上面三种描述子生成共128维特征描述子，如图4所示。
5.4完成特征点匹配：构建描述子框架之后，通过寻找另一幅图像的描述子完成匹配。通过计算各部分描述子向量的欧式距离并加权组合，设定一个阀值，完成特征点的匹配并得到匹配点集，得到的匹配结果如图5所示。
6.三维位姿测量：基于步骤5所获得的匹配点集，可以利用经典归一化八点法对双目视觉模块的外参进行标定，通过求取目标特征点的世界坐标确定其相对于双目视觉系统中起始位置处相机的位姿，完成三维测量等任务，由于改进的匹配算法性能更好并可以得到鲁棒的匹配点集，一定程度上也保证了双目视觉模块外参标定及目标三维位姿测量的精度。
当选用本发明提供的单双目视觉系统进行三维位姿测量时，PTZ相机将如图1所示在滑台的两个不同位置拍摄同一场景的两幅图像，通过后续图像处理来完成测量任务。在本实例中，在完成目标检测后，目标物体正处在PTZ相机光轴附近。假设双目系统的基线长度为B，PTZ相机像元大小为ΔT，PTZ相机焦距为f，待测目标与双目系统基线的垂直距离为d，在测量目标三维位姿(x,y,z,θx,θy,θz)时，z轴测量相对误差大于x轴和y轴测量相对误差，因此只对z轴测量相对误差进行分析，其测量相对误差可以表示为εz＝dΔT/(Bf-dΔT)；根据上述计算公式并参考常用PTZ相机选型，计算得到的z轴测量相对误差如下表所示：
表1.双目视觉系统z轴测量误差
对计算结果进行分析可知，当被测目标与本系统距离越远时，z轴相对测量误差越大；对于某固定距离的待测目标，保持双目系统基线长不变，适当增加PTZ相机的焦距，可减小测量误差；保持PTZ相机焦距不变，增加双目系统基线长度，同样可提高测量精度；为使某个距离di处的待测目标测量相对误差小于ε1，则调整本模块基线长度与焦距使二者满足Bf＝diΔT/ε1+diΔT即可满足测量任务；因此，在实际应用中，本发明所提供的单双目视觉系统可通过PTZ相机的变焦和双目系统基线的调整使得测量误差满足不同的应用需求。
以上所述，仅为本发明的较佳实例而已，并非用于限定本发明的保护范围。

Claims (2)

1.由一台PTZ相机构建的目标检测和位姿测量单双目视觉系统，包括PTZ相机及控制系统，精密位移滑台及驱动装置，图像处理系统；
所述PTZ相机及控制系统包括一台PTZ相机及控制PTZ相机Pan-Tilt-Zoom功能的云台系统；
所述精密位移滑台及驱动装置包括一个精密二维线性滑台及与其相连的电机控制系统；
所述图像处理系统包括相应的图像采集装置，基于深度学习的目标检测模型和本发明提出的图像匹配算法；
PTZ相机及控制系统和精密位移滑台及驱动装置的特征在于：PTZ相机及控制系统可控制PTZ相机进行Pan-Tilt旋转及Zoom变焦操作，并拍摄场景图像；利用驱动装置控制PTZ相机在滑台上做直线运动，并控制PTZ相机在滑台上两个不同的位置获取场景图像，从而只需单台相机即可实现双目视觉系统的功能；所拍摄的图像可通过图像采集装置传输到图像处理系统中进行处理，图像处理的部分结果可作为反馈信息，用于自动控制PTZ相机的Pan-Tilt-Zoom运动和精密位移滑台的运动。
2.根据权利要求1所述的图像处理系统的特征在于：该系统采用了基于深度学习的目标检测模型和本发明提出的图像匹配算法对图像进行处理，此单双目视觉系统中，单目系统具有对目标物体的检测功能，双目系统具有对目标的三维位姿测量功能，包括以下具体步骤：
步骤(1)、控制单目PTZ相机进行Pan-Tilt旋转，拍摄图像序列，传输到图像处理系统，以基于深度学习的目标检测模型作为基础框架，在图像序列中对目标物体进行实时检测，确定目标物体在图像上的位置信息和类别信息；当图像帧中检测到目标物体时，将目标物体在图像上的位置和大小信息作为反馈信号，调整PTZ相机的Pan-Tilt-Zoom运动参量，使目标图像的面积约为整幅图像的1/2～2/3，目标图像基本位于图像的中心，并将此时的PTZ相机的Pan-Tilt-Zoom设为预置位；
步骤(2)、在完成步骤(1)的目标检测后，保持单目PTZ相机Zoom不变，利用其在不同Pan-Tilt下拍摄到的任意场景的两图像中的静止重叠区域对PTZ相机所有内参数，包括焦距、主点及畸变参数，进行即时自标定；
步骤(3)、完成步骤(2)的自标定后将PTZ调至预置位，将所需的直线位移转换为相应的指令，利用驱动装置控制PTZ相机在滑台上做直线运动指定距离至终点，从而构造双目视觉系统，并控制PTZ相机在直线运动的起始点和终止点各获取一幅包含目标的场景图像，然后采用本发明提供的改进图像匹配算法对该双目图像进行匹配处理，在融合了全局信息和颜色信息的同时采用自适应滤波器抑制了图像畸变对于匹配结果的影响；
步骤(4)、将步骤(3)得到的特征点匹配结果应用于经典的八点算法，通过获取目标上匹配点的世界坐标之后，可以间接获取目标相对于双目视觉系统中起始位置处相机的位姿，从而实现目标物体的三维位姿测量，并使得测量结果具有较高精度。
CN201810992235.1A 2018-08-29 2018-08-29 由一台ptz相机构建的目标检测和位姿测量单双目视觉系统 Active CN109308693B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810992235.1A CN109308693B (zh) 2018-08-29 2018-08-29 由一台ptz相机构建的目标检测和位姿测量单双目视觉系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810992235.1A CN109308693B (zh) 2018-08-29 2018-08-29 由一台ptz相机构建的目标检测和位姿测量单双目视觉系统

Publications (2)

Publication Number Publication Date
CN109308693A true CN109308693A (zh) 2019-02-05
CN109308693B CN109308693B (zh) 2023-01-24

Family

ID=65224310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810992235.1A Active CN109308693B (zh) 2018-08-29 2018-08-29 由一台ptz相机构建的目标检测和位姿测量单双目视觉系统

Country Status (1)

Country Link
CN (1) CN109308693B (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110336991A (zh) * 2019-06-28 2019-10-15 深圳数位传媒科技有限公司 一种基于双目相机的环境提示方法及装置
CN110332887A (zh) * 2019-06-27 2019-10-15 中国地质大学（武汉） 一种基于特征光标点的单目视觉位姿测量系统及方法
CN110342134A (zh) * 2019-07-23 2019-10-18 珠海市一微半导体有限公司 一种基于双目视觉的垃圾分类识别系统及其方法
CN110470216A (zh) * 2019-07-10 2019-11-19 湖南交工智能技术有限公司 一种三镜头高精度视觉测量方法及装置
CN111222395A (zh) * 2019-10-21 2020-06-02 杭州飞步科技有限公司 目标检测方法、装置与电子设备
CN111369617A (zh) * 2019-12-31 2020-07-03 浙江大学 一种基于卷积神经网络的单目视图的3d目标检测方法
CN111583342A (zh) * 2020-05-14 2020-08-25 中国科学院空天信息创新研究院 一种基于双目视觉的目标快速定位方法及装置
CN111739094A (zh) * 2020-06-24 2020-10-02 北京卫星环境工程研究所 微小目标的位姿获取方法、系统、装置和介质
CN111913499A (zh) * 2020-07-17 2020-11-10 天津大学 基于单目视觉slam及深度不确定性分析的云台控制方法
CN111932602A (zh) * 2020-07-20 2020-11-13 华东交通大学 一种基于变焦双目立体视觉的三维重建方法
CN112053324A (zh) * 2020-08-03 2020-12-08 上海电机学院 一种基于深度学习的复杂物料体积测量方法
CN112098092A (zh) * 2020-09-11 2020-12-18 北京航空航天大学 一种结合深度学习和机器视觉的滚动轴承振动测量方法
CN112254672A (zh) * 2020-10-15 2021-01-22 天目爱视（北京）科技有限公司 一种高度可调的智能3d信息采集设备
CN112287906A (zh) * 2020-12-18 2021-01-29 中汽创智科技有限公司 一种基于深度特征融合的模板匹配跟踪方法及系统
CN112633161A (zh) * 2020-12-21 2021-04-09 重庆英卡电子有限公司 基于高空云台识别的松材线虫病枯死树检测定位方法
CN113137922A (zh) * 2020-01-17 2021-07-20 宝山钢铁股份有限公司 基于机器视觉的无缝连轧管长度在线测量方法及测量装置
CN113658265A (zh) * 2021-07-16 2021-11-16 北京迈格威科技有限公司 相机标定方法、装置、电子设备及存储介质
CN113781576A (zh) * 2021-09-03 2021-12-10 北京理工大学 多自由度位姿实时调整的双目视觉检测系统、方法、装置
CN113834425A (zh) * 2020-06-23 2021-12-24 华晨宝马汽车有限公司 用于在中心物流库中对物体进行三维测量的方法和装置
CN113838151A (zh) * 2021-10-15 2021-12-24 西安维沃软件技术有限公司 相机标定方法、装置、设备及介质
CN113989699A (zh) * 2021-09-30 2022-01-28 哈尔滨工业大学 基于单目视觉和深度学习的结构全场位移稠密测量方法、装置、设备及存储介质
CN115272491A (zh) * 2022-08-12 2022-11-01 哈尔滨工业大学 双目ptz相机动态自标定方法
CN116539068A (zh) * 2023-07-03 2023-08-04 国网山西省电力公司电力科学研究院 一种视觉测量系统柔性自检调节装置及方法
CN117750204A (zh) * 2023-11-14 2024-03-22 东南大学 输送线上运动目标的视觉同速跟踪拍摄方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103278139A (zh) * 2013-05-06 2013-09-04 北京航空航天大学 一种可变焦单双目视觉传感装置
CN103984961A (zh) * 2014-05-30 2014-08-13 成都西物信安智能系统有限公司 一种用于检测车底异物的图像检测方法
CN104361573A (zh) * 2014-09-26 2015-02-18 北京航空航天大学 融合颜色信息和全局信息的sift特征匹配算法
CN104574339A (zh) * 2015-02-09 2015-04-29 上海安威士科技股份有限公司 一种用于视频监控的多尺度柱面投影全景图像生成方法
CN104637048A (zh) * 2013-11-13 2015-05-20 沈阳新松机器人自动化股份有限公司 一种单摄像头模拟双目视觉系统及方法
WO2015161816A1 (en) * 2014-04-25 2015-10-29 Tencent Technology (Shenzhen) Company Limited Three-dimensional facial recognition method and system
CN105959514A (zh) * 2016-04-20 2016-09-21 河海大学 一种弱目标成像检测装置及方法
CN106530358A (zh) * 2016-12-15 2017-03-22 北京航空航天大学 仅用两幅场景图像标定ptz摄像机的方法
CN108055501A (zh) * 2017-11-22 2018-05-18 天津市亚安科技有限公司 一种目标检测及跟踪的视频监控系统及方法
CN108416791A (zh) * 2018-03-01 2018-08-17 燕山大学 一种基于双目视觉的并联机构动平台位姿监测与跟踪方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103278139A (zh) * 2013-05-06 2013-09-04 北京航空航天大学 一种可变焦单双目视觉传感装置
CN104637048A (zh) * 2013-11-13 2015-05-20 沈阳新松机器人自动化股份有限公司 一种单摄像头模拟双目视觉系统及方法
WO2015161816A1 (en) * 2014-04-25 2015-10-29 Tencent Technology (Shenzhen) Company Limited Three-dimensional facial recognition method and system
CN103984961A (zh) * 2014-05-30 2014-08-13 成都西物信安智能系统有限公司 一种用于检测车底异物的图像检测方法
CN104361573A (zh) * 2014-09-26 2015-02-18 北京航空航天大学 融合颜色信息和全局信息的sift特征匹配算法
CN104574339A (zh) * 2015-02-09 2015-04-29 上海安威士科技股份有限公司 一种用于视频监控的多尺度柱面投影全景图像生成方法
CN105959514A (zh) * 2016-04-20 2016-09-21 河海大学 一种弱目标成像检测装置及方法
CN106530358A (zh) * 2016-12-15 2017-03-22 北京航空航天大学 仅用两幅场景图像标定ptz摄像机的方法
CN108055501A (zh) * 2017-11-22 2018-05-18 天津市亚安科技有限公司 一种目标检测及跟踪的视频监控系统及方法
CN108416791A (zh) * 2018-03-01 2018-08-17 燕山大学 一种基于双目视觉的并联机构动平台位姿监测与跟踪方法

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110332887B (zh) * 2019-06-27 2020-12-08 中国地质大学（武汉） 一种基于特征光标点的单目视觉位姿测量系统及方法
CN110332887A (zh) * 2019-06-27 2019-10-15 中国地质大学（武汉） 一种基于特征光标点的单目视觉位姿测量系统及方法
CN110336991B (zh) * 2019-06-28 2021-07-13 深圳数位传媒科技有限公司 一种基于双目相机的环境提示方法及装置
CN110336991A (zh) * 2019-06-28 2019-10-15 深圳数位传媒科技有限公司 一种基于双目相机的环境提示方法及装置
CN110470216A (zh) * 2019-07-10 2019-11-19 湖南交工智能技术有限公司 一种三镜头高精度视觉测量方法及装置
CN110342134A (zh) * 2019-07-23 2019-10-18 珠海市一微半导体有限公司 一种基于双目视觉的垃圾分类识别系统及其方法
CN111222395A (zh) * 2019-10-21 2020-06-02 杭州飞步科技有限公司 目标检测方法、装置与电子设备
CN111222395B (zh) * 2019-10-21 2023-05-23 杭州飞步科技有限公司 目标检测方法、装置与电子设备
CN111369617A (zh) * 2019-12-31 2020-07-03 浙江大学 一种基于卷积神经网络的单目视图的3d目标检测方法
CN111369617B (zh) * 2019-12-31 2022-06-21 浙江大学 一种基于卷积神经网络的单目视图的3d目标检测方法
CN113137922A (zh) * 2020-01-17 2021-07-20 宝山钢铁股份有限公司 基于机器视觉的无缝连轧管长度在线测量方法及测量装置
CN111583342B (zh) * 2020-05-14 2024-02-23 中国科学院空天信息创新研究院 一种基于双目视觉的目标快速定位方法及装置
CN111583342A (zh) * 2020-05-14 2020-08-25 中国科学院空天信息创新研究院 一种基于双目视觉的目标快速定位方法及装置
CN113834425A (zh) * 2020-06-23 2021-12-24 华晨宝马汽车有限公司 用于在中心物流库中对物体进行三维测量的方法和装置
CN113834425B (zh) * 2020-06-23 2024-03-26 华晨宝马汽车有限公司 用于在中心物流库中对物体进行三维测量的方法和装置
CN111739094A (zh) * 2020-06-24 2020-10-02 北京卫星环境工程研究所 微小目标的位姿获取方法、系统、装置和介质
CN111913499B (zh) * 2020-07-17 2023-11-14 天津大学 基于单目视觉slam及深度不确定性分析的云台控制方法
CN111913499A (zh) * 2020-07-17 2020-11-10 天津大学 基于单目视觉slam及深度不确定性分析的云台控制方法
CN111932602A (zh) * 2020-07-20 2020-11-13 华东交通大学 一种基于变焦双目立体视觉的三维重建方法
CN111932602B (zh) * 2020-07-20 2024-04-05 华东交通大学 一种基于变焦双目立体视觉的三维重建方法
CN112053324A (zh) * 2020-08-03 2020-12-08 上海电机学院 一种基于深度学习的复杂物料体积测量方法
CN112098092A (zh) * 2020-09-11 2020-12-18 北京航空航天大学 一种结合深度学习和机器视觉的滚动轴承振动测量方法
CN112254672A (zh) * 2020-10-15 2021-01-22 天目爱视（北京）科技有限公司 一种高度可调的智能3d信息采集设备
CN112254672B (zh) * 2020-10-15 2022-02-15 天目爱视（北京）科技有限公司 一种高度可调的智能3d信息采集设备
CN112287906A (zh) * 2020-12-18 2021-01-29 中汽创智科技有限公司 一种基于深度特征融合的模板匹配跟踪方法及系统
CN112633161B (zh) * 2020-12-21 2023-05-09 重庆英卡电子有限公司 基于高空云台识别的松材线虫病枯死树检测定位方法
CN112633161A (zh) * 2020-12-21 2021-04-09 重庆英卡电子有限公司 基于高空云台识别的松材线虫病枯死树检测定位方法
CN113658265A (zh) * 2021-07-16 2021-11-16 北京迈格威科技有限公司 相机标定方法、装置、电子设备及存储介质
CN113781576A (zh) * 2021-09-03 2021-12-10 北京理工大学 多自由度位姿实时调整的双目视觉检测系统、方法、装置
CN113781576B (zh) * 2021-09-03 2024-05-07 北京理工大学 多自由度位姿实时调整的双目视觉检测系统、方法、装置
CN113989699A (zh) * 2021-09-30 2022-01-28 哈尔滨工业大学 基于单目视觉和深度学习的结构全场位移稠密测量方法、装置、设备及存储介质
CN113838151B (zh) * 2021-10-15 2023-11-17 西安维沃软件技术有限公司 相机标定方法、装置、设备及介质
CN113838151A (zh) * 2021-10-15 2021-12-24 西安维沃软件技术有限公司 相机标定方法、装置、设备及介质
CN115272491A (zh) * 2022-08-12 2022-11-01 哈尔滨工业大学 双目ptz相机动态自标定方法
CN116539068A (zh) * 2023-07-03 2023-08-04 国网山西省电力公司电力科学研究院 一种视觉测量系统柔性自检调节装置及方法
CN116539068B (zh) * 2023-07-03 2023-09-08 国网山西省电力公司电力科学研究院 一种视觉测量系统柔性自检调节装置及方法
CN117750204A (zh) * 2023-11-14 2024-03-22 东南大学 输送线上运动目标的视觉同速跟踪拍摄方法及装置

Also Published As

Publication number Publication date
CN109308693B (zh) 2023-01-24

Similar Documents

Publication Publication Date Title
CN109308693A (zh) 由一台ptz相机构建的目标检测和位姿测量单双目视觉系统
CN109859272B (zh) 一种自动对焦双目摄像头标定方法及装置
CN109308722B (zh) 一种基于主动视觉的空间位姿测量系统及方法
CN110142785A (zh) 一种基于目标检测的巡检机器人视觉伺服方法
CN105809640B (zh) 基于多传感器融合的低照度视频图像增强方法
CN111160269A (zh) 一种人脸关键点检测方法及装置
CN105716542B (zh) 一种基于柔性特征点的三维数据拼接方法
CN108564065B (zh) 一种基于ssd的电缆隧道明火识别方法
CN110334701B (zh) 数字孪生环境下基于深度学习和多目视觉的数据采集方法
CN108731587A (zh) 一种基于视觉的无人机动态目标跟踪与定位方法
CN110458025A (zh) 一种基于双目摄像头的人员识别与定位方法
CN109711400A (zh) 一种识别模拟指针式仪表读数的电力巡检方法和装置
Zou et al. Microarray camera image segmentation with Faster-RCNN
CN109974853B (zh) 基于多光谱复合的仿生视觉目标检测与跟踪方法
CN109146949B (zh) 一种基于视频数据的3d测量及信息获取装置
CN102693543A (zh) 室外环境下变焦云台摄像机全自动标定方法
CN114677531B (zh) 一种融合多模态信息的水面无人艇目标检测与定位方法
Li et al. Vision-based target detection and positioning approach for underwater robots
CN116996771A (zh) 一种基于多种传感器与深度强化学习的自动拍摄控制装置及控制方法
CN205466320U (zh) 一种基于多镜头的智能机械手
CN112489141B (zh) 车载摄像头单板单图带中继镜的产线标定方法及装置
CN208653473U (zh) 图像采集设备、3d信息比对装置、配套物生成装置
Cao et al. Boosting image super-resolution via fusion of complementary information captured by multi-modal sensors
CN113033470B (zh) 一种轻量型目标检测方法
Shan et al. Maritime target detection based on electronic image stabilization technology of shipborne camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant