CN112288876A - 远距离ar识别服务器及系统 - Google Patents
远距离ar识别服务器及系统 Download PDFInfo
- Publication number
- CN112288876A CN112288876A CN202011172298.6A CN202011172298A CN112288876A CN 112288876 A CN112288876 A CN 112288876A CN 202011172298 A CN202011172298 A CN 202011172298A CN 112288876 A CN112288876 A CN 112288876A
- Authority
- CN
- China
- Prior art keywords
- identification
- athlete
- recognition
- server
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005516 engineering process Methods 0.000 claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000004458 analytical method Methods 0.000 claims abstract description 19
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims description 20
- 239000011521 glass Substances 0.000 claims description 13
- 230000001815 facial effect Effects 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 3
- 230000003190 augmentative effect Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 11
- 230000003993 interaction Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 238000000605 extraction Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000012512 characterization method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000037308 hair color Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 1
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种用于AR观赛与赛事解析的远距离AR识别服务器及系统，所述远距离AR识别服务器包括：接收模块，用于接收一个或多个高清摄像机拍摄的比赛画面；AR处理模块，用于采用AR远距离识别技术对比赛画面进行AR算法处理，得到AR比赛画面；推送模块，用于将所述AR比赛画面并推送到AR终端。本发明能够实现流畅的超远距离的AR观赛和赛事解析服务。
Description
技术领域
本发明涉及计算机技术领域，尤其是涉及一种用于AR观赛与赛事解析的远距离AR识别服务系统。
背景技术
增强现实技术(Augmented Reality，简称AR)，是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。增强现实技术通过叠加虚拟元素，可以将信息以更舒适、更新奇的方式传递给用户，让信息更加个性化、形象化，并焕发新的生机。通过AR技术，让参与者与虚拟对象进行实时互动，从而获得一种奇妙的视觉体验，而且能够突破空间、时间以及其它客观限制，感受到在真实世界中无法亲身经历的体验。弥补现实空间的不足，可将重要信息与现实空间相结合，供使用者查阅。
目前的AR技术系统，主要分为三个层次，最底层为数据层，由关系型数据库提供支撑，MYSQL为服务器端数据库，作为主数据库使用；SQLLite为手机或手持设备端数据缓存，用来提升响应速度或支撑离线使用；中间的服务层依托底层数据库，通过socket和webservice等通信手段，对终端设备提供数据服务。系统最上层为终端设备，由AR眼镜或移动设备作为展现端，为用户提供AR信息输出，如图1所示。
AR技术的目标是借助光电显示技术、交互技术、计算机图形技术和可视化技术等，产生现实环境中不存在的虚拟对象，并通过注册技术将虚拟对象准确地“放置”在真实环境中，使用户处于一种融合的环境中,不能区分真实和虚拟，用户所感知到的只是一个真实和虚拟相融合的唯一存在的世界，并能与之交互。
因此，一个典型的系统一般应包含以下几个组成部分①用户②真实场景获取模块,根据所采用透视方式的不同,分为视频式和光学式两种③跟踪注册模块,实时获取用户视点位置和相机位置,并据此来计算虚拟物体从虚拟坐标系到世界坐标系的坐标转换④虚拟场景生成模块,根据跟踪注册数据和用户的交互活动,在视平面上绘制和渲染虚拟物体⑤人机交互模块,实时捕获和识别用户的交互活动⑥虚实融合与显示模块,将虚拟场景与真实场景的视频进行合并处理,并最终显示给用户。
综合考虑各方面的因素,以视频透视式系统作为研究对象，划分其功能模块，如图2所示，图中跟踪注册与实时人机交互模块是该系统中最为重要的部分，具体又分为数据采集和数据处理两部分。对采集到的数据进行计算和处理，完成数据校正、矩阵转换、三维跟踪注册、碰撞检测、抓取手势识别以及其他操作识别等多个人机交互问题的算法实现等。跟踪注册与实时人机交互模块的输出信息，经过通信和控制模块传递给其他相应模块虚拟场景渲染模块主要完成虚拟三维场景的制作和动画实现等。内容场景融合模块完成具有实时景深模拟和光照效果的虚实场景融合。真实场景采集与处理模块根据交互模块传来的注册信息完成摄像头的标定以及视点位置的实时定位与跟踪，然后通过摄像头和视频采集卡来完成真实场景的采集显示模块包括用户视频透视式头盔显示器，和多用户立体视觉投影,分别供交互用户和观摩用户使用通信与控制模块是整个系统的枢纽，不但是系统的通信中心，还是整个系统的监控中心。
目前业内的主要AR(增强现实)技术应用，都是通过手机摄像头，或者AR眼镜来进行环境识别，然后叠加虚拟信息。但是，手机的摄像头和AR眼镜摄像头的识别距离在5米以内，无法提供5米以上的远距离AR(增强现实)识别。大部分体育场馆，赛道与观众席最远距离远远超过5米，在这种环境下，无法通过手机摄像头或AR眼镜去观看和识别赛场信息，也就不能提供任何远距离的AR观赛和赛事解析服务，以致观众的感受不那么好。
发明内容
本发明的目的在于提供一种用于AR观赛与赛事解析的远距离AR识别服务器及系统，旨在解决现有技术中的上述问题。
本发明提供一种用于AR观赛与赛事解析的远距离AR识别服务器，包括：
接收模块，用于接收一个或多个高清摄像机拍摄的比赛画面；
AR处理模块，用于采用AR远距离识别技术对比赛画面进行AR算法处理，得到AR比赛画面；
推送模块，用于将所述AR比赛画面并推送到AR终端。
本发明提供一种用于AR观赛与赛事解析的远距离AR识别系统，包括用于AR观赛与赛事解析的远距离AR识别服务器，还包括：
一个或多个高清摄像机，用于拍摄比赛画面，并将拍摄的比赛画面通过网络传输到AR服务器；
AR终端(手机或AR眼镜)，用于接收AR服务器推送的AR比赛画面并进行显示。
采用本发明实施例，在比赛场地上安装专用高清摄像机，结合新的AR超远距离识别技术，完成与手机或AR眼镜的互联互通，实现流畅的超远距离的AR观赛和赛事解析服务。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是现有技术中的AR技术系统的三个层次的示意图；
图2是现有技术中的AR技术系统处理示意图；
图3是本发明实施例的用于AR观赛与赛事解析的远距离AR识别服务器的示意图；
图4是本发明实施例的系统架构的示意图；
图5是本发明实施例的人脸识别核心能力分布的示意图；
图6是本发明实施例的人脸注册实现方式的示意图；
图7是本发明实施例的信息控制后台人物识别追踪的流程图；
图8是本发明实施例的AR识别服务器的多个相关子服务器的系统架构示意图；
图9是本发明实施例的AR观赛展示的示意图；
图10是本发明实施例的运动员身份识别展示的示意图；
图11是本发明实施例的人脸识别展示的示意图；
图12是本发明实施例的身份识别辅助措施展示的示意图；
图13是本发明实施例的监控画面选择的示意图；
图14是本发明实施例的用于AR观赛与赛事解析的远距离AR识别系统。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“坚直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。此外，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
装置实施例
根据本发明实施例，提供了一种用于AR观赛与赛事解析的远距离AR识别服务器，图3是本发明实施例的用于AR观赛与赛事解析的远距离AR识别服务器的示意图，如图3所示，根据本发明实施例的用于AR观赛与赛事解析的远距离AR识别服务器具体包括：
接收模块30，用于接收一个或多个高清摄像机拍摄的比赛画面；
AR处理模块32，用于采用AR远距离识别技术对比赛画面进行AR算法处理，得到AR比赛画面；在本发明实施例中，AR服务器采用AR远距离识别outside-in技术。所述AR处理模块32具体用于：
通过三维空间注册技术对其显示场景中的图像或物体进行追踪和定位，并基于人脸识别技术进行运动员身份识别，获取运动员身份信息和赛事信息，通过计算虚拟世界与现实世界坐标系的对应关系，将运动员身份信息和赛事信息按照正确的空间透视关系叠加到现实场景确定位置，得到AR比赛画面。
在基于人脸识别技术进行运动员身份识别时，通过身份识别辅助处理辅助进行运动员身份识别，其中，身份识别辅助处理的参数包括：面部特征、体态、身着衣服颜色、号码牌、和/或出场位置。
通过信息控制后台建立运动员专属身份库，通过所述运动员专属身份库，基于人脸识别技术和身份识别辅助处理进行运动员身份识别，建立运动员身份标签。
通过信息控制后台输入运动员的综合信息，根据所述各个运动员的综合信息通过后台算法进行训练，形成运动员专属身份库。
在极端条件下运动员身份识别失败的情况下，通过信息控制后台提供的输入接口获取手动辅助识别信息。
推送模块34，用于将所述AR比赛画面并推送到AR终端。
以下结合附图，对本发明实施例的上述技术方案进行详细说明。
图4是本发明实施例的系统架构的示意图，如图4所示，1.本发明实施例提供的一种基于AR远距离识别技术的远距离AR识别服务器，用于体育场馆智慧场馆的AR观赛与赛事解析，包括5G网络、高清摄像机、AR远距离识别outside-in技术。通过外置摄像头识别现场状态、经过服务器算法处理、再叠加到手机或AR眼镜中。
下面对运动员身份识别进行详细说明。
目前对于人物识别来说，最直接(成熟)的方案为人脸识别。它是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫做人像识别、面部识别。
人脸识别技术特点具体包括：
非强制性：用户不需要专门配合人脸采集设备，几乎可以在无意识的状态下就可获取人脸图像，这样的取样方式没有“强制性”；
非接触性：用户不需要和设备直接接触就能获取人脸图像；
并发性：在实际应用场景下可以进行多个人脸的分拣、判断及识别；
在本发明实施例中，如图5所示，人脸识别实施步骤具体包括：
1、人脸图像预处理
对于人脸的图像预处理是基于人脸检测结果，对图像进行处理并最终服务于特征提取的过程。系统获取的原始图像由于受到各种条件的限制和随机干扰，往往不能直接使用，必须在图像处理的早期阶段对它进行灰度校正、噪声过滤等图像预处理。对于人脸图像而言，其预处理过程主要包括人脸图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化等。
2、人脸图像特征提取
人脸识别系统可使用的特征通常分为视觉特征、像素统计特征、人脸图像变换系数特征、人脸图像代数特征等。人脸特征提取就是针对人脸的某些特征进行的。人脸特征提取，也称人脸表征，它是对人脸进行特征建模的过程。人脸特征提取的方法归纳起来分为两大类：一种是基于知识的表征方法；另外一种是基于代数特征或统计学习的表征方法。
基于知识的表征方法主要是根据人脸器官的形状描述以及他们之间的距离特性来获得有助于人脸分类的特征数据，其特征分量通常包括特征点间的欧氏距离、曲率和角度等。人脸由眼睛、鼻子、嘴、下巴等局部构成，对这些局部和它们之间结构关系的几何描述，可作为识别人脸的重要特征，这些特征被称为几何特征。基于知识的人脸表征主要包括基于几何特征的方法和模板匹配法。
3、人脸图像匹配与识别
提取的人脸图像的特征数据与数据库中存储的特征模板进行搜索匹配，通过设定一个阈值，当相似度超过这一阈值，则把匹配得到的结果输出。人脸识别就是将待识别的人脸特征与已得到的人脸特征模板进行比较，根据相似程度对人脸的身份信息进行判断。这一过程又分为两类：一类是确认，是一对一进行图像比较的过程，另一类是辨认，是一对多进行图像匹配对比的过程。
在本发明实施例中，还可以根据需要进行身份识别辅助措施，除了人脸识别外，为了应对复杂、多变的比赛环境，识别输入物料还要根据项目实施过程中的调试情况，适当增加如下维度的辅助验证：面部特征(包括：发色、发型)、体态、身着衣服颜色、号码牌、以及出场位置等。人脸注册实现方式如图6所示。
如图7所示，在本发明实施例中，还可以通过信息控制后台，输入“运动员照片(面部特征,包括：发色、发型等)、过往比赛视频、体态、身着衣服颜色、号码牌、出场位置”等综合信息。后台算法可训练形成该运动员专属身份库，用于实时比赛的人物识别与跟踪，从而建立运动员身份标签。
同时，赛事信息后台系统可编辑包括“运动员姓名、过往成绩、赛事数据”等信息。将运动员身份标签与对应的信息相结合，反馈给显示系统供观赛者观看。如果识别系统在极端条件下无法识别运动员，还可通过后台系统手动辅助识别，增强用户体验。
在本发明实施例中，将人脸识别与三维空间注册技术相结合，以下对三维空间注册技术进行详细说明。
AR应用系统在实现过程中涉及到多方面的因素。作为一个多学科交叉的新兴研究领域，该领域的权威学者曾对系统及其所涉及的技术给出了一个较为详尽的综述。他提出AR系统有3个突出特点①真实世界和虚拟世界的信息集成(虚实融合)②具有实时交互性③三维尺度空间中定位增添虚拟物体三维跟踪注册。
增强现实的目标是通过向真实场景中添加虚拟物体来加强对真实世界的感知。因此，如何确定虚拟物体的空间位姿信息,并据此将其精确地“放置”到真实场景中，即三维跟踪注册技术，就成为了系统的关键技术之一，也是一切后续工作的基础和前提。因此，跟踪注册的高精度一直是增强现实研究者们追求的目标之一。目前，定位技术可以分为绝对定位技术和相对定位技术，比较常用的跟踪系统主要有计算机视觉跟踪、光学式跟踪、超声跟踪、惯性跟踪、磁力跟踪、机械式跟踪、全球卫星定位系统等。
三维空间注册技术即通过对显示场景中的图像或物体进行追踪和定位，通过计算虚拟世界与现实世界坐标系的对应关系，实现将虚拟物体按照正确的空间透视关系叠加到现实场景确定位置。目前可基于光学或深度摄相机的图像实时识别追踪和基于传感器的物体运动追踪两种实现方式。
基于图像识别追踪的三维空间注册
基于图像识别追踪的三维空间注册技术可使用光学摄像机对平面识别标识图像的特征点提取，或使用深度摄像机对现实物体的立体轮廓及距离进行识别追踪。这两种方式都可以实时计算虚拟与现实世界坐标系对应关系，并将虚拟物体准确叠加到现实场景中的平面识别标识或者物体上。目前通过光学摄像机可实现平面矩形图案、二维编码、自然图像以及立体物体的实时识别追踪；通过深度摄像机可以实现人体骨骼、轮廓与动作的识别追踪。基于图像识别追踪的三维空间注册技术，适用于不需要特殊硬件辅助的增强现实应用，使用者只需要拥有安装摄像头的电脑、手持移动设备对准现实场景中的平面图像或者物体就可以获得增强现实展示体验。但此技术对识别追踪的速度、准确性、环境光的适应能力以及对多识别标识同时追踪的容错能力有极高的要求，用以确保增强现实应用的稳定性。目前用于提高基于图像识别追踪增强现实应用性能的主要方法包括：使用图像分割与光流法(optical flow)相结合，实现对快速运动模糊图像中识别标识的高效与准确的运动捕捉；使用位移与旋转运动平滑过滤器减少图像识别误差带来的抖动影响；通过对现实环境亮度的实时检测并对图像亮度阈值进行相应调整实现对不同光线条件的自适应能力；通过平面自然图像特征点的离线(offline)与在线实时(online)训练提取提高自然图像识别的速度与适应性；为支持应用的跨平台能力，对无浮点运算能力移动平台设备的算法优化以提高移动平台的图像识别追踪计算速度。
基于传感器实现物体运动追踪的三维空间注册
基于传感器实现物体运动追踪的三维空间注册是将三自由度(3DOF)或者六自由度(6DOF)的运动追踪传感器与摄像机或者现实物体绑定，通过实时的摄像机或者物体的姿态与位置的捕捉来准确计算出需要叠加的数字虚拟物体的相对空间位置。物体姿态的捕捉一般通过带陀螺仪的姿态传感器、电子罗盘、重力加速计等传感器来实现。物体位置的追踪一般通过卫星定位(GPS)或者移动基站辅助的定位(AGPS)技术，全新一代的智能手机平台，如Android或者iOS，都有利用内置GPS结合姿态传感器开发室外低精度的位置相关增强现实应用的能力。在特定环境，如无GPS信号的室内，为实现更精确的物体位置追踪，一般会采用无线信号空间定位系统，以及精度更高的运动姿态捕捉传感器。这种基于高精度运动捕捉传感器的三维空间注册方式，由于不受环境光线的限制并且精度更高，适用于一些比较专业的增强现实应用，比如与头戴显示设备结合的虚拟仿真，以及与摄像机摇臂运动捕捉结合的电视台现场实时视频特效等。
结合图像识别追踪与传感器运动追踪的混合三维注册算法
在硬件条件允许的情况下，结合图像识别与传感器运动捕捉技术的混合三维空间注册算法，可以充分发挥两种技术各自的优势，提高增强现实应用的稳定性与环境适应性。
摄像机视频帧捕捉后，首先进行基于图像特征点提取的识别标识识别(recognition)或追踪(track)。如果图象识别追踪成功，即预定义识别标识的特征点可以在视频图像中被准确定位，则可以通过标定了内外参数的摄像机参数计算出用于准确叠加3D虚拟模型的空间变换矩阵；若识别追踪失败，则通过6DOF运动传感器追踪当前视频帧摄像机的位置与姿态变化，并结合之前一帧已知的3D虚拟模型空间变换矩阵计算当前视频帧对应新的空间变换矩阵。3D渲染引擎在视频帧图像之上通过计算出的空间变换矩阵移动3D模型或者动画并叠加显示，以实现虚实结合的展示效果。
如图8所示，本发明实施例的用于AR观赛与赛事解析的远距离AR识别服务器还可以包含多个相关子服务器，其中，录制服务器为所有提供音视频录制服务，便于查看历史记录；媒体服务器包含内容转发用于将特定视频流推向特定用户，以及业务流程的服务；实时转码服务器将智能眼镜终端上传到音视频数据转码到固定视频格式及(VP8)，智能眼镜端不做转码只做采集数据和压缩数据。跨协议网关为数据传输提供打通服务。
在本发明实施例中，如图13所示，还可以根据用户的操作，选择某台高清摄像机所拍摄的画面。
综上所述，本发明实施例的技术方案具有以下优点：
(1)通过在比赛场地上安装专用高清摄像机，通过5G网络部署，利用5G网络大宽带、高可靠、低延时等特点，结合新的AR(增强现实)超远距离识别技术，完成与手机或AR眼镜的互联互通，实现流畅的超远距离的AR(增强现实)观赛和赛事解析服务，其展示结果如图9-13所示。
(2)增强现实技术通过叠加虚拟元素，可以将信息以更舒适、更新奇的方式传递给用户，让信息更加个性化、形象化，并焕发新的生机。
(3)通过AR技术，让参与者与虚拟对象进行实时互动，从而获得一种奇妙的视觉体验，而且能够突破空间、时间以及其它客观限制，感受到在真实世界中无法亲身经历的体验。
(4)弥补现实空间的不足，可将重要信息与现实空间相结合，供使用者查阅。
系统实施例
根据本发明实施例，提供了一种用于AR观赛与赛事解析的远距离AR识别系统，图14是本发明实施例的用于AR观赛与赛事解析的远距离AR识别系统，本发明实施例的系统包括上述装置实施例中的用于AR观赛与赛事解析的远距离AR识别服务器140，还包括：
一个或多个高清摄像机142，用于拍摄比赛画面，并将拍摄的比赛画面通过网络传输到AR服务器；其中，上述网络为5G网络。如图13所示，在本发明实施例中，可以选择某个高清摄像机传输的画面。
AR终端144，用于接收AR服务器推送的AR比赛画面并进行显示。上述AR终端144包括：移动终端、AR眼镜、以及大屏幕显示器。
也就是说，AR观赛显示时，可以将数据传输到现场大屏，供大多数观众观看；可以将数据传输到手机上，供现场及场外观众观看；也可以将数据传输到AR眼镜上，供现场VIP观看。
用于AR观赛与赛事解析的远距离AR识别服务器140已经在上述装置实施例中进行了详细的说明，在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种用于AR观赛与赛事解析的远距离AR识别服务器，其特征在于，包括：
接收模块，用于接收一个或多个高清摄像机拍摄的比赛画面；
AR处理模块，用于采用AR远距离识别技术对比赛画面进行AR算法处理，得到AR比赛画面；
推送模块，用于将所述AR比赛画面并推送到AR终端。
2.根据权利要求1所述的远距离AR识别服务器，其特征在于，所述AR服务器采用AR远距离识别outside-in技术。
3.根据权利要求1所述的远距离AR识别服务器，其特征在于，所述AR处理模块具体用于：
通过三维空间注册技术对其显示场景中的图像或物体进行追踪和定位，并基于人脸识别技术进行运动员身份识别，获取运动员身份信息和赛事信息，通过计算虚拟世界与现实世界坐标系的对应关系，将运动员身份信息和赛事信息按照正确的空间透视关系叠加到现实场景确定位置，得到AR比赛画面。
4.根据权利要求1所述的远距离AR识别服务器，其特征在于，所述AR处理模块具体用于：
在基于人脸识别技术进行运动员身份识别时，通过身份识别辅助处理辅助进行运动员身份识别，其中，身份识别辅助处理的参数包括：面部特征、体态、身着衣服颜色、号码牌、和/或出场位置。
5.根据权利要求1或4所述的远距离AR识别服务器，其特征在于，所述AR处理模块具体用于：
通过信息控制后台建立运动员专属身份库，通过所述运动员专属身份库，基于人脸识别技术和身份识别辅助处理进行运动员身份识别，建立运动员身份标签。
6.根据权利要求5所述的远距离AR识别服务器，其特征在于，所述AR处理模块具体用于：
通过信息控制后台输入运动员的综合信息，根据所述各个运动员的综合信息通过后台算法进行训练，形成运动员专属身份库。
7.根据权利要求1所述的远距离AR识别服务器，其特征在于，所述AR处理模块具体用于：
在极端条件下运动员身份识别失败的情况下，通过信息控制后台提供的输入接口获取手动辅助识别信息。
8.一种用于AR观赛与赛事解析的远距离AR识别系统，其特征在于，包括权利要求1至7中任一项所述的用于AR观赛与赛事解析的远距离AR识别服务器，还包括：
一个或多个高清摄像机，用于拍摄比赛画面，并将拍摄的比赛画面通过网络传输到AR服务器；
AR终端，用于接收AR服务器推送的AR比赛画面并进行显示。
9.根据权利要求8所述的系统，其特征在于，所述网络为5G网络。
10.根据权利要求8所述的系统，其特征在于，所述AR终端包括：移动终端、AR眼镜、以及大屏幕显示器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011172298.6A CN112288876A (zh) | 2020-10-28 | 2020-10-28 | 远距离ar识别服务器及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011172298.6A CN112288876A (zh) | 2020-10-28 | 2020-10-28 | 远距离ar识别服务器及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112288876A true CN112288876A (zh) | 2021-01-29 |
Family
ID=74374118
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011172298.6A Pending CN112288876A (zh) | 2020-10-28 | 2020-10-28 | 远距离ar识别服务器及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112288876A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115314630A (zh) * | 2022-01-24 | 2022-11-08 | 李宁 | 一种基于图像识别分析技术的婚庆摄影摄像智能化调控管理系统 |
| CN116206087A (zh) * | 2023-04-28 | 2023-06-02 | 深圳市其域创新科技有限公司 | 超视距增强显示系统以及方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180032031A1 (en) * | 2016-08-01 | 2018-02-01 | Integem Inc. | Methods and systems for photorealistic human holographic augmented reality communication with interactive control in real-time |
| CN107871120A (zh) * | 2017-11-02 | 2018-04-03 | 汕头市同行网络科技有限公司 | 基于机器学习的体育赛事理解系统及方法 |
| CN108449362A (zh) * | 2018-05-02 | 2018-08-24 | 成都云门金兰科技有限公司 | 基于虚拟现实成像的交互系统 |
-
2020
- 2020-10-28 CN CN202011172298.6A patent/CN112288876A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180032031A1 (en) * | 2016-08-01 | 2018-02-01 | Integem Inc. | Methods and systems for photorealistic human holographic augmented reality communication with interactive control in real-time |
| CN107871120A (zh) * | 2017-11-02 | 2018-04-03 | 汕头市同行网络科技有限公司 | 基于机器学习的体育赛事理解系统及方法 |
| CN108449362A (zh) * | 2018-05-02 | 2018-08-24 | 成都云门金兰科技有限公司 | 基于虚拟现实成像的交互系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115314630A (zh) * | 2022-01-24 | 2022-11-08 | 李宁 | 一种基于图像识别分析技术的婚庆摄影摄像智能化调控管理系统 |
| CN116206087A (zh) * | 2023-04-28 | 2023-06-02 | 深圳市其域创新科技有限公司 | 超视距增强显示系统以及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102959616B (zh) | 自然交互的交互真实性增强 | |
| CN104376118B (zh) | 基于全景图的精确标注兴趣点的户外移动增强现实方法 | |
| CN103731583B (zh) | 用于拍照智能化合成、打印处理方法 | |
| CN110544301A (zh) | 一种三维人体动作重建系统、方法和动作训练系统 | |
| CN107925753A (zh) | 利用动态相机进行3d图像捕捉的方法和系统 | |
| CN107105333A (zh) | 一种基于视线追踪技术的vr视频直播交互方法与装置 | |
| CN104169965A (zh) | 用于多拍摄装置系统中图像变形参数的运行时调整的系统、方法和计算机程序产品 | |
| CN108958469B (zh) | 一种基于增强现实的在虚拟世界增加超链接的方法 | |
| CN112954292B (zh) | 一种基于增强现实的数字博物馆导览系统和方法 | |
| CN112815923B (zh) | 视觉定位方法和装置 | |
| CN112207821B (zh) | 视觉机器人的目标搜寻方法及机器人 | |
| CN114401414A (zh) | 沉浸式直播的信息显示方法及系统、信息推送方法 | |
| Reimat et al. | Cwipc-sxr: Point cloud dynamic human dataset for social xr | |
| CN106780754A (zh) | 一种混合现实方法及系统 | |
| CN112288876A (zh) | 远距离ar识别服务器及系统 | |
| CN109859100A (zh) | 虚拟背景的显示方法、电子设备和计算机可读存储介质 | |
| CN114332429A (zh) | 增强现实ar场景的展示方法及装置 | |
| CN109214350A (zh) | 一种光照参数的确定方法、装置、设备及存储介质 | |
| CN114882106A (zh) | 位姿确定方法和装置、设备、介质 | |
| CN114387679A (zh) | 基于递归卷积神经网络实现视线估计与注意力分析的系统及其方法 | |
| CN114358112A (zh) | 视频融合方法、计算机程序产品、客户端及存储介质 | |
| WO2022041182A1 (zh) | 音乐推荐方法和装置 | |
| CN112675527A (zh) | 一种基于vr技术的家庭教育游戏系统及方法 | |
| CN112954313A (zh) | 一种对全景图像感知质量的计算方法 | |
| CN112330753A (zh) | 一种增强现实系统的目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |