CN113327244A - 一种基于计算机视觉的手柄控制器led灯定位方法和系统 - Google Patents

一种基于计算机视觉的手柄控制器led灯定位方法和系统 Download PDF

Info

Publication number
CN113327244A
CN113327244A CN202110708618.3A CN202110708618A CN113327244A CN 113327244 A CN113327244 A CN 113327244A CN 202110708618 A CN202110708618 A CN 202110708618A CN 113327244 A CN113327244 A CN 113327244A
Authority
CN
China
Prior art keywords
handle controller
led lamp
computer vision
positioning
dimensional image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110708618.3A
Other languages
English (en)
Other versions
CN113327244B (zh
Inventor
程会云
王西颖
史明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing IQIYI Intelligent Technology Co Ltd
Original Assignee
Nanjing IQIYI Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing IQIYI Intelligent Technology Co Ltd filed Critical Nanjing IQIYI Intelligent Technology Co Ltd
Priority to CN202110708618.3A priority Critical patent/CN113327244B/zh
Publication of CN113327244A publication Critical patent/CN113327244A/zh
Application granted granted Critical
Publication of CN113327244B publication Critical patent/CN113327244B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了基于计算机视觉的手柄控制器led灯定位方法和系统，包括：通过多个摄像头获取手柄控制器多个使用状态下的二维图像；利用计算机视觉方法对所述二维图像中的led灯进行定位。相对于现有技术而言，本发明的技术方案结合红外光学定位技术和可见光定位技术，利用计算机视觉方法定位跟踪空间中带有led灯的红外手柄来实现VR设备的空间定位交互功能，能够对手柄控制器的实时跟踪，具有稳定性耐用性高，成本低的优点。

Description

一种基于计算机视觉的手柄控制器led灯定位方法和系统
技术领域
本发明涉及VR空间定位交互技术领域，尤其涉及一种基于计算机视觉的手柄控制器led灯定位方法和系统。
背景技术
随着科技的发展，VR设备逐渐应用于人们的生活，消费者可以佩戴VR头戴式显示设备，手持手柄控制器，从而实现VR空间定位交互，获得良好的交互体验。
然而，就目前的常见的定位方法主要有三种：
一是激光定位。激光定位技术是通过在空间内安装数个可发射激光的装置，对空间发射横竖两个方向扫射的激光，被定位的物体上放置了多个激光感应接收器，通过计算两束光线到达定位物体的角度差，从而得到物体的三维坐标。激光定位技术优势在于定位精度高，不会因为遮挡而无法定位，反应速度极快，几乎无延迟，同时可支持多个目标定位，可移动范围比较广；缺点是成本高，利用机械方式来控制激光扫描，稳定性和耐用性差。
二是红外定位。红外光学定位技术是通过在空间内安装多个红外发射摄像头，从而对整个空间进行覆盖拍摄，被定为的物体表面安装了红外反光点，摄像头发出的红外光经反光点反射后，摄像头再捕捉到这些经反射的红外光，然后通过后续程序计算后便能得到被定位物体的空间坐标。红外光学定位技术的优势在于复杂程度低，使用寿命长，连接方便，成本也相对较低；缺点是受摄像头视角影响，用户的活动范围不能太大，使用角度比较受限，并且不支持太多物体的定位。
三是可见光定位。可见光定位技术通过摄像头利用可见光捕捉被追踪物体的位置信息，通过不同的被追踪物体上安装能发出不同颜色的发光灯，摄像头捕捉到这些颜色光点从而区分不同的被追踪物体以及位置信息。可见光定位技术的优势在于成本低廉，灵敏度高，稳定性和耐用性都很好，而且无需后续复杂的算法，技术实现难度小。不足之处在于定位精度相对较差，抗遮挡性差，对周围环境光照条件比较敏感。
综上所述，现有技术在稳定性、耐用性、成本等方面存在不同程度的应用缺陷，当前缺少一种能够兼顾上述问题的定位技术。
发明内容
有鉴于此，本发明实施例提出一种基于计算机视觉的手柄控制器led灯定位方法和系统，结合红外光学定位技术和可见光定位技术，利用计算机视觉方法定位跟踪空间中带有led灯的红外手柄来实现VR设备的空间定位交互功能，能够对手柄控制器的实时跟踪，具有稳定性耐用性高，成本低的优点。
本发明的一实施例提出一种基于计算机视觉的手柄控制器led灯定位方法，包括：
通过多个摄像头获取手柄控制器多个使用状态下的二维图像；
利用计算机视觉方法对所述二维图像中的led灯进行定位。
进一步地，在上述的基于计算机视觉的手柄控制器led灯定位方法中，所述利用计算机视觉方法对所述二维图像中的led灯进行定位包括：
利用滑动窗口策略对所述二维图像进行遍历；
对每次滑动窗口遍历后的二维图像区域进行特征提取；
利用分类器对提取到的特征进行分类；
针对分类结果中包含手柄控制器的区域，利用阈值分割方法计算得到每个led灯在所述二维图像中的成像；
对分割错误的图像进行过滤。
进一步地，在上述的基于计算机视觉的手柄控制器led灯定位方法中，所述利用滑动窗口策略对所述二维图像进行遍历包括：
对滑动窗口的尺寸进行选择；
利用滑动窗口对所述二维图像进行遍历，每次滑动窗口扫描图像的重叠度为窗口较短边的一半。
进一步地，在上述的基于计算机视觉的手柄控制器led灯定位方法中，所述对滑动窗口的尺寸进行选择包括：
统计人工体学手臂相对相机的最大作业范围；
根据所述最大作业范围计算所述手柄控制器在图像中的尺寸范围；
将所述尺寸范围分为多个区间段，每个所述区间段具有不同的宽高比，根据不同的宽高比类型形成多种滑动窗口。
进一步地，在上述的基于计算机视觉的手柄控制器led灯定位方法中，所述对每次滑动窗口遍历后的二维图像区域进行特征提取包括：
根据应用的计算容量设计特征金子塔FPN网络；
利用所述特征金子塔FPN网络对遍历后的二维图像区域进行特征提取。
进一步地，在上述的基于计算机视觉的手柄控制器led灯定位方法中，所述利用分类器对提取到的特征进行分类包括：
使用支持向量机SVM分类器对提取到的特征进行分类；
根据所述手柄控制器在候选区域的位置判断所述候选区域是否完整包含手柄控制器；
若未完整包含，则舍弃所述候选区域。
进一步地，在上述的基于计算机视觉的手柄控制器led灯定位方法中，所述针对分类结果中包含手柄控制器的区域，利用阈值分割方法计算得到每个led灯在所述二维图像中的成像包括：
对包含所述手柄控制器的候选区域计算自适应阈值，其中，所述自适应阈值的计算方法包括；
利用所述自适应阈值对所述候选区域进行阈值分割进而得到每个led灯在所述二维图像中的成像。
进一步地，在上述的基于计算机视觉的手柄控制器led灯定位方法中，所述对分割错误的图像进行过滤包括：
根据人体工学手臂相对相机的最大作业范围统计不同距离下的led灯成像大小和形态特征；
根据所述成像大小和形态特征去除误分割的图像。
进一步地，所述根据所述成像大小和形态特征去除误分割的图像包括：
将所述led灯成像大小和形态特征作为led成像的先验信息；
根据所述候选区域的大小和相似三角形原理估计手柄控制器与相机的距离，并从所述先验信息中得到所述距离对应的成像大小和形态特征以去除误分割的图像，其中，根据下式计算所述手柄控制器与相机距离：
depth＝(scale_t*f)/scale_p
其中，depth为所述手柄控制器与相机距离，scale_p为物体的最大成像尺寸，scale_t为真实空间中物体的最大尺寸，f为焦距。
本发明的另一实施例提出一种基于计算机视觉的手柄控制器led灯定位系统，包括：
获取单元，用于通过多个摄像头获取手柄控制器多个使用状态下的二维图像；
定位计算单元，用于利用计算机视觉方法对所述二维图像中的led灯进行定位。
本发明的再一实施例提出一种计算机可读存储介质，其存储有计算机程序，在所述计算机程序被执行时，实施根据上述的支持VR一体机多维度内容聚合展示的方法。
本发明实施例提出的基于计算机视觉的手柄控制器led灯定位方法和系统，包括：首先，通过多个摄像头获取手柄控制器多个使用状态下的二维图像，多个摄像头组合可以扩大VR设备的视野，可以完全捕捉运动过程中手柄控制器的成像；进而利用计算机视觉方法对所述二维图像中的led灯进行定位，通过计算控制器上的led灯的成像与相机的关系，完成对led灯的空间定位，从而实现对手柄控制器空间定位以及对手柄控制器的实时跟踪，具有稳定性耐用性高，成本低的优点。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。
图1示出了本发明实施例基于计算机视觉的手柄控制器led灯定位方法的流程示意图；
图2示出了本发明实施例步骤S102的流程示意图；
图3示出了本发明实施例步骤S201的流程示意图；
图4示出了本发明实施例步骤S301的流程示意图；
图5示出了本发明实施例步骤S202的流程示意图；
图6示出了本发明实施例去除误分割的图像的示意图；
图7示出了本发明实施例一种基于计算机视觉的手柄控制器led灯定位系统结构示意图。
主要元件符号说明：
10-获取单元；20-定位计算单元。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例1
本发明实施例着重解决手柄控制器上的led灯定位问题。在VR空间定位交互系统中，通过利用外部摄像头捕获手柄控制器对应的二维图像，利用计算机视觉方法定位手柄控制器上led灯在二维图像中的坐标，进而对led灯进行三维建模，实现对手柄控制器的实时跟踪，从而完成VR的空间定位交互。本发明实施例中涉及的手柄控制器的led灯个数不少于5个，且为红外手柄。
请参照图1，本实施例提出一种基于计算机视觉的手柄控制器led灯定位方法，包括：
步骤S101，通过多个摄像头获取手柄控制器多个使用状态下的二维图像；
步骤S102，利用计算机视觉方法对所述二维图像中的led灯进行定位。
具体地，由于摄像头的视角范围有限，单个摄像头无法完全捕捉运动过程中手柄的成像，多个摄像头组合可以扩大VR设备的视野FOV，因此本发明实施例通过多个摄像头获取得到手柄控制器对应的多幅二维图像。通常，摄像头数目以保证VR设备上下左右的FOV需求范围为宜。
示范性地，参照图2，步骤S102包括：
步骤S201，利用滑动窗口策略对二维图像进行遍历；
步骤S202，对每次滑动窗口遍历后的二维图像区域进行特征提取；
步骤S203，利用分类器对提取到的特征进行分类；
步骤S204，针对分类结果中包含手柄控制器的区域，利用阈值分割方法计算得到每个led灯在二维图像中的成像；
步骤S205，对分割错误的图像进行过滤。
具体地，本发明实施例中用来定位的红外手柄控制器的led灯个数n在5个以上，以辅助后续的三维建模工作。步骤S202中的二维图像区域指对二维图像进行滑动窗口遍历后识别的区域。
示范性地，参照图3，步骤S201包括：
步骤S301，对滑动窗口的尺寸进行选择；
步骤S302，利用滑动窗口对二维图像进行遍历，每次滑动窗口扫描图像的重叠度为窗口较短边的一半。
示范性地，参照图4，步骤S301包括：
步骤S401，统计人工体学手臂相对相机的最大作业范围；
步骤S402，根据最大作业范围计算手柄控制器在二维图像中的尺寸范围；
步骤S403，将尺寸范围分为多个区间段，每个区间段具有不同的宽高比，根据不同的宽高比类型形成多种滑动窗口。
具体地，由于控制器在运动过程中与摄像机的远近和角度不同，控制器在二维图像中的成像存在尺度和姿态各异，因此对滑动窗口的选择有很高的要求。
通过统计人体工学手臂相对相机的最大作业范围可知，普通人手臂相对相机的最大直线作业范围是0-100cm，根据相机与手柄控制器的距离，每隔20cm控制器的成像尺度有一次大的改变。据此，本发明实施例对此设计5种比例划分，5种比例划分可形成9种宽高比，分别为1:1；1:2,1:3,1:4,1:5；2:3,2:5；3:5；4:5，9种宽高比又可以扩成18种尺度。通过统计人体工学手臂相对相机的最大作业范围，计算得到控制器在图像中的尺度范围(C1,C2)，为了更精细地覆盖住不同尺度的目标，将(C1,C2)分成10个区间，每个区间对应18种比例，则总共包含180种滑动窗口，即可设置共180种滑动窗口遍历二维图像。每次滑动窗口扫描图像的重叠度为窗口较短边的一半，能够保证扫描窗口以更大的概率包含控制器，并满足控制器在扫描窗口的中心
示范性地，参照图5，步骤S202包括：
步骤S501，根据应用的计算容量设计特征金子塔FPN网络；
步骤S502，利用特征金子塔FPN网络对遍历后的二维图像区域进行特征提取。
具体地，由于不同图像区域对应的控制器成像尺寸和形态各不相同，一般的网络仅能对同一个尺寸的图片进行网络训练，存在较大应用局限性。为更好地适应不同尺寸图片的需要，本发明实施例构建了一个较小的特征金子塔FPN网络来适应更多尺寸的图片，进而进行特征提取。另外，由于需要实现对控制器的实时跟踪，对计算的时效性要求比较高，因此采用金字塔FPN网络来对图像进行特征提取，能够在有效提取图像特征的同时，兼顾目标的多尺度信息。需要注意的是，由于神经网络伴随着大量的计算，因此需要根据用于进行手柄led灯定位的应用本身所需的计算容量来设计尺寸合适的FPN网络。
示范性地，步骤S203包括：
使用支持向量机SVM分类器对提取到的特征进行分类；
根据所述手柄控制器在候选区域的位置判断所述候选区域是否完整包含手柄控制器；
若未完整包含，则舍弃所述候选区域。
具体地，使用SVM分类器对提取到的特征进行分类以判断候选区域是否包含控制器，当候选区域只包含控制器一部分时，则不认为该候选区域包含控制器。本发明实施例中不需要对SVM分类器进行额外处理，只需在制作训练集过程中指定好样本的类别。
示范性地，步骤S204包括：
对包含手柄控制器的候选区域计算自适应阈值，其中，自适应阈值的计算方法包括，但不限于，大律法；
利用自适应阈值对所述候选区域进行阈值分割进而得到每个led灯在所述二维图像中的成像。
具体地，通过前述过程确定包含控制器的候选区域后，针对候选区域计算自适应阈值，并利用自适应阈值对所述候选区域进行阈值分割进而得到每个led灯在所述二维图像中的成像。
示范性地，步骤S205包括：
根据人体工学手臂相对相机的最大作业范围统计不同距离下的led灯成像大小和形态特征；
根据成像大小和形态特征去除误分割的图像。
具体地，由于传统阈值分割的鲁棒性差，会产生比较多的误分割目标。通过候选区域的大小，结合相机参数可以估计控制器与相机的距离，离相机近的led成像大，离相机远的led成像小，根据人体工学手臂相对相机的最大作业范围，统计不同距离阶段的led成像大小、形态特征。本发明实施例通过尺度阈值、形态阈值去除误分割目标，滤除错误检测的结果可参照图6进行理解。图6中，o为相机光圈中心，scale_p为图像平面中物体的最大scale,scale_t为真实空间中物体的最大scale，f为焦距，depth为真实空间中物体离相机的距离。根据相机成像的相似三角形原理(depth/f)＝(scale_t)/scale_p，可得depth＝(scale_t*f)/scale_p。根据人体工学手臂相对相机的最大作业范围，多次采集图像，统计不同距离对应led的成像大小和形态，作为led成像的先验信息，通过候选区域的大小可以估计控制器与相机的距离depth,然后从先验信息中得到当前depth对应的成像大小和形态，从而去除误分割的目标。
本发明实施例提出的基于计算机视觉的手柄控制器led灯定位方法，首先，通过多个摄像头获取手柄控制器多个使用状态下的二维图像，多个摄像头组合可以扩大VR设备的视野，可以完全捕捉运动过程中手柄控制器的成像；通过人体工学手臂的可作业范围，设计不同宽高比、不同尺度的滑动窗口，对二维图像进行遍历，对通过滑动窗口遍历得到的候选区域，通过一个比较小的FPN网络进行特征提取实现对图片的训练，利用svm分类器对提取到的特征进行分类，得到包含控制器的候选区域，并根据候选区域大小，预估手柄控制器与相机的距离，进而通过计算控制器上的led灯的成像与相机的关系，完成对led灯的空间定位，从而实现对手柄控制器空间定位以及对手柄控制器的实时跟踪，具有稳定性耐用性高，成本低的优点。
实施例2:
参照图7，一种基于计算机视觉的手柄控制器led灯定位系统，包括：
获取单元10，用于通过多个摄像头获取手柄控制器多个使用状态下的二维图像；
定位计算单元20，用于利用计算机视觉方法对所述二维图像中的led灯进行定位。
可以理解，上述的一种基于计算机视觉的手柄控制器led灯定位系统对应于实施例1的一种基于计算机视觉的手柄控制器led灯定位方法。实施例1中的任何可选项也适用于本实施例，这里不再详述。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于计算机视觉的手柄控制器led灯定位方法，其特征在于，包括：
通过多个摄像头获取手柄控制器多个使用状态下的二维图像；
利用计算机视觉方法对所述二维图像中的led灯进行定位。
2.根据权利要求1所述的基于计算机视觉的手柄控制器led灯定位方法，其特征在于，所述利用计算机视觉方法对所述二维图像中的led灯进行定位包括：
利用滑动窗口策略对所述二维图像进行遍历；
对每次滑动窗口遍历后的二维图像区域进行特征提取；
利用分类器对提取到的特征进行分类；
针对分类结果中包含手柄控制器的区域，利用阈值分割方法计算得到每个led灯在所述二维图像中的成像；
对分割错误的图像进行过滤。
3.根据权利要求2所述的基于计算机视觉的手柄控制器led灯定位方法，其特征在于，所述利用滑动窗口策略对所述二维图像进行遍历包括：
对滑动窗口的尺寸进行选择；
利用滑动窗口对所述二维图像进行遍历，每次滑动窗口扫描图像的重叠度为窗口较短边的一半。
4.根据权利要求2所述的基于计算机视觉的手柄控制器led灯定位方法，其特征在于，所述对滑动窗口的尺寸进行选择包括：
统计人工体学手臂相对相机的最大作业范围；
根据所述最大作业范围计算所述手柄控制器在图像中的尺寸范围；
将所述尺寸范围分为多个区间段，每个所述区间段具有不同的宽高比，根据不同的宽高比类型形成多种滑动窗口。
5.根据权利要求4所述的基于计算机视觉的手柄控制器led灯定位方法，其特征在于，所述对每次滑动窗口遍历后的二维图像区域进行特征提取包括：
根据应用的计算容量设计特征金子塔FPN网络；
利用所述特征金子塔FPN网络对遍历后的二维图像区域进行特征提取。
6.根据权利要求5所述的基于计算机视觉的手柄控制器led灯定位方法，其特征在于，所述利用分类器对提取到的特征进行分类包括：
使用支持向量机SVM分类器对提取到的特征进行分类；
根据所述手柄控制器在候选区域的位置判断所述候选区域是否完整包含手柄控制器；
若未完整包含，则舍弃所述候选区域。
7.根据权利要求6所述的基于计算机视觉的手柄控制器led灯定位方法，其特征在于，所述针对分类结果中包含手柄控制器的区域，利用阈值分割方法计算得到每个led灯在所述二维图像中的成像包括：
对包含所述手柄控制器的候选区域计算自适应阈值，其中，所述自适应阈值的计算方法包括；
利用所述自适应阈值对所述候选区域进行阈值分割进而得到每个led灯在所述二维图像中的成像。
8.根据权利要求7所述的基于计算机视觉的手柄控制器led灯定位方法，其特征在于，所述对分割错误的图像进行过滤包括：
根据人体工学手臂相对相机的最大作业范围统计不同距离下的led灯成像大小和形态特征；
根据所述成像大小和形态特征去除误分割的图像。
9.根据权利要求8所述的基于计算机视觉的手柄控制器led灯定位方法，其特征在于，所述根据所述成像大小和形态特征去除误分割的图像包括：
将所述led灯成像大小和形态特征作为led成像的先验信息；
根据所述候选区域的大小和相似三角形原理估计手柄控制器与相机的距离，并从所述先验信息中得到所述距离对应的成像大小和形态特征以去除误分割的图像，其中，根据下式计算所述手柄控制器与相机距离：
depth＝(scale_t*f)/scale_p
其中，depth为所述手柄控制器与相机距离，scale_p为物体的最大成像尺寸，scale_t为真实空间中物体的最大尺寸，f为焦距。
10.一种基于计算机视觉的手柄控制器led灯定位系统，其特征在于，包括：
获取单元，用于通过多个摄像头获取手柄控制器多个使用状态下的二维图像；
定位计算单元，用于利用计算机视觉方法对所述二维图像中的led灯进行定位。
CN202110708618.3A 2021-06-25 2021-06-25 一种基于计算机视觉的手柄控制器led灯定位方法和系统 Active CN113327244B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110708618.3A CN113327244B (zh) 2021-06-25 2021-06-25 一种基于计算机视觉的手柄控制器led灯定位方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110708618.3A CN113327244B (zh) 2021-06-25 2021-06-25 一种基于计算机视觉的手柄控制器led灯定位方法和系统

Publications (2)

Publication Number Publication Date
CN113327244A true CN113327244A (zh) 2021-08-31
CN113327244B CN113327244B (zh) 2024-09-13

Family

ID=77424689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110708618.3A Active CN113327244B (zh) 2021-06-25 2021-06-25 一种基于计算机视觉的手柄控制器led灯定位方法和系统

Country Status (1)

Country Link
CN (1) CN113327244B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130121560A1 (en) * 2011-11-14 2013-05-16 Ryusuke Hirai Image processing device, method of processing image, and image display apparatus
CN105205480A (zh) * 2015-10-31 2015-12-30 潍坊学院 一种复杂场景中人眼定位方法及系统
CN106768361A (zh) * 2016-12-19 2017-05-31 北京小鸟看看科技有限公司 与vr头戴设备配套的手柄的位置追踪方法和系统
CN107329593A (zh) * 2017-06-28 2017-11-07 歌尔科技有限公司 一种vr手柄定位方法及装置
CN107784291A (zh) * 2017-11-03 2018-03-09 北京清瑞维航技术发展有限公司 基于红外视频的目标检测跟踪方法和装置
CN109583343A (zh) * 2018-11-21 2019-04-05 荆门博谦信息科技有限公司 一种鱼类图像处理系统和方法
CN110490903A (zh) * 2019-08-12 2019-11-22 中国科学院光电技术研究所 一种双目视觉测量中多目标快速捕获与跟踪方法
CN110609622A (zh) * 2019-09-18 2019-12-24 深圳市瑞立视多媒体科技有限公司 结合3d与虚拟现实技术实现多人交互方法、系统及介质
CN112070159A (zh) * 2020-09-07 2020-12-11 焦点科技股份有限公司 一种多尺度滑窗相似图片检测方法
CN112527102A (zh) * 2020-11-16 2021-03-19 青岛小鸟看看科技有限公司 头戴式一体机系统及其6DoF追踪方法和装置
CN112541424A (zh) * 2020-12-07 2021-03-23 南京工程学院 复杂环境下行人跌倒的实时检测方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130121560A1 (en) * 2011-11-14 2013-05-16 Ryusuke Hirai Image processing device, method of processing image, and image display apparatus
CN105205480A (zh) * 2015-10-31 2015-12-30 潍坊学院 一种复杂场景中人眼定位方法及系统
CN106768361A (zh) * 2016-12-19 2017-05-31 北京小鸟看看科技有限公司 与vr头戴设备配套的手柄的位置追踪方法和系统
CN107329593A (zh) * 2017-06-28 2017-11-07 歌尔科技有限公司 一种vr手柄定位方法及装置
CN107784291A (zh) * 2017-11-03 2018-03-09 北京清瑞维航技术发展有限公司 基于红外视频的目标检测跟踪方法和装置
CN109583343A (zh) * 2018-11-21 2019-04-05 荆门博谦信息科技有限公司 一种鱼类图像处理系统和方法
CN110490903A (zh) * 2019-08-12 2019-11-22 中国科学院光电技术研究所 一种双目视觉测量中多目标快速捕获与跟踪方法
CN110609622A (zh) * 2019-09-18 2019-12-24 深圳市瑞立视多媒体科技有限公司 结合3d与虚拟现实技术实现多人交互方法、系统及介质
CN112070159A (zh) * 2020-09-07 2020-12-11 焦点科技股份有限公司 一种多尺度滑窗相似图片检测方法
CN112527102A (zh) * 2020-11-16 2021-03-19 青岛小鸟看看科技有限公司 头戴式一体机系统及其6DoF追踪方法和装置
CN112541424A (zh) * 2020-12-07 2021-03-23 南京工程学院 复杂环境下行人跌倒的实时检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GIRSHICK R, ET AL.: "Rich feature hierarchies for accurate object detection and semantic segmentation", 《PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, pages 580 - 587 *

Also Published As

Publication number Publication date
CN113327244B (zh) 2024-09-13

Similar Documents

Publication Publication Date Title
EP3650807B1 (en) Handheld large-scale three-dimensional measurement scanner system simultaneously having photography measurement and three-dimensional scanning functions
US10915783B1 (en) Detecting and locating actors in scenes based on degraded or supersaturated depth data
WO2018157286A1 (zh) 一种识别方法、设备以及可移动平台
US9330307B2 (en) Learning based estimation of hand and finger pose
CN110084243B (zh) 一种基于二维码和单目相机的档案识别与定位方法
KR101453234B1 (ko) 워크 취출 장치
JP4612635B2 (ja) 低照度の深度に適応可能なコンピュータ視覚を用いた移動物体検出
JP5343042B2 (ja) 点群データ処理装置および点群データ処理プログラム
US20200380229A1 (en) Systems and methods for text and barcode reading under perspective distortion
CN109923583A (zh) 一种姿态的识别方法、设备及可移动平台
JP2013101045A (ja) 物品の３次元位置姿勢の認識装置及び認識方法
CN111383263A (zh) 机器人抓取物体系统、方法及装置
JP2010256253A (ja) 三次元計測用画像撮影装置及びその方法
JP2018113021A (ja) 情報処理装置およびその制御方法、プログラム
CN113269801A (zh) 用于处理候选边缘的方法和计算系统
CN113696180A (zh) 机器人自动回充方法、装置、存储介质及机器人系统
JP6659095B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2018195070A (ja) 情報処理装置、情報処理方法、及びプログラム
KR101346510B1 (ko) 지면 특징점을 사용한 영상 주행 기록 시스템 및 방법
CN113327244B (zh) 一种基于计算机视觉的手柄控制器led灯定位方法和系统
CN110599407B (zh) 基于向下倾角方向的多台tof相机人体降噪方法及系统
CN113125434A (zh) 图像分析系统和控制拍摄样本图像的方法
Lin et al. A monocular target pose estimation system based on an infrared camera
JP4546155B2 (ja) 画像処理方法、画像処理装置および画像処理プログラム
EP2509028B1 (en) Method and system for optically detecting and localizing a two-dimensional, 2D, marker in 2D scene data, and marker therefor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant