CN104504685B - 一种增强现实摄像机虚拟标签实时高精度定位方法 - Google Patents

一种增强现实摄像机虚拟标签实时高精度定位方法 Download PDF

Info

Publication number
CN104504685B
CN104504685B CN201410726365.2A CN201410726365A CN104504685B CN 104504685 B CN104504685 B CN 104504685B CN 201410726365 A CN201410726365 A CN 201410726365A CN 104504685 B CN104504685 B CN 104504685B
Authority
CN
China
Prior art keywords
real
time
video camera
camera
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410726365.2A
Other languages
English (en)
Other versions
CN104504685A (zh
Inventor
俞翔
罗中亮
胡颖
李江明
张永涛
刘玉姣
覃学松
毛亮
王胜
刘新波
汪刚
黄振江
刘双广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gosuncn Technology Group Co Ltd
Original Assignee
Gosuncn Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gosuncn Technology Group Co Ltd filed Critical Gosuncn Technology Group Co Ltd
Priority to CN201410726365.2A priority Critical patent/CN104504685B/zh
Publication of CN104504685A publication Critical patent/CN104504685A/zh
Application granted granted Critical
Publication of CN104504685B publication Critical patent/CN104504685B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种增强现实摄像机虚拟标签实时高精度定位方法，包括添加保存标签过程和实时更新标签坐标过程。本发明的增强现实摄像机能够实现虚拟标签添加功能，且在摄像机转动和镜头焦距变化的情况下，虚拟标签能够实时跟随标注物移动，定位准确。

Description

一种增强现实摄像机虚拟标签实时高精度定位方法
技术领域
本发明属于增强现实摄像机显示领域，尤其涉及一种增强现实摄像机虚拟标签实时高精度定位方法。
背景技术
现有的普通摄像机一般不具备虚拟标签添加功能，不利于用户体验，而现有的增强现实摄像机现已具备了虚拟标签添加功能，可以供用户在视频画面上添加虚拟标签，但是它还是存有技术缺陷，当它在转动和镜头焦距变化的情况下，视频画面中的物体位置发生了变化，但虚拟标签不会移动，无法紧跟被标注物体，当镜头变倍造成的虚拟标签过于密集时，高阶标签将会不显示，这些情况都容易误导用户，不利于用户了解监控视频画面的实时情况，不利于用户体验。
发明内容
为了克服现有技术存在的技术缺陷，本发明提供了一种增强现实摄像机虚拟标签实时高精度定位方法，它能够解决增强现实摄像机转动时虚拟标签不能跟随被标注物体的问题，便于用户了解监控视频画面的实时情况，增强了用户体验。
本发明采用的技术方案如下：
一种增强现实摄像机虚拟标签实时高精度定位方法，包括实时更新标签坐标过程，其过程为：当增强现实摄像机转动或镜头变倍时，通过摄像机三个维度参数p、t、V的实时更新与原标签点的三维坐标(P，T)，采用3D-2D公式和公式P＝p+ΔP计算出原标签点在二维视频画面的新二维坐标(Δx，Δy)，从而在二维视频画面实现虚拟标签点实时跟随标注物，其中：p为摄像机改变状态后镜头水平角度；t为摄像机改变状态后镜头垂直角度；V为摄像机改变状态后水平视场角；P为标签点在三维球面极坐标系下的水平角度；T为标签点在三维球面极坐标系下的垂直角度；二维视频画面为分辨率为W×H的平面；Δx和Δy分别为增强现实摄像机转动或镜头变倍后标签点离二维画面中心新的水平偏移和垂直偏移；R为球面半径，且ΔP为差量表示。另外，摄像机改变状态指的是摄像机转动或者镜头变倍情况。
当增强现实摄像机转动或者变倍时，原标注物在新的二维视频画面的位置与原先不同，这时需要重新计算新的标签点的二维坐标，而本发明在增加现实摄像机里采用3D-2D公式能够实时快速更新新的标签位置，使得虚拟标签实时跟踪被标注物体。这里需要说明的是原标注物也即原标签点的三维坐标(P，T)是世界坐标下的，摄像机自转不影响，只是影响标签在镜头中的成像位置，也即影响二维视频画面的位置，也即二维坐标(Δx，Δy)改变。
另外，3D-2D公式经过整理还可化为如下公式：
在实时更新标签坐标过程前还进行了添加保存标签过程，其过程为：所述原标签点三维坐标(P，T)是增强现实摄像机转动或变倍前在原二维视频画面中通过2D-3D公式和公式P＝p+ΔP获取的，所述公式还需要结合ΔP＝arctanΔP和T＝arctanT进行计算，其中：式子里的Δx和Δy分别为增强现实摄像机转动或变倍前标签点离二维画面中心的水平偏移和垂直偏移，且它们根据二维视频画面分辨率确定的；p为摄像机改变状态前实时镜头水平角度；t为摄像机改变状态前实时镜头垂直角度；P为标签点在三维球面极坐标系下的水平角度；T为标签点在三维球面极坐标系下的垂直角度；V为摄像机改变状态前实时水平视场角；ΔP为差量表示；R为球面半径，且
这里需要说明的是，原Δx和Δy的获取：比如要在屏幕位置上添加标签，用户一点击，这个位置的二维坐标就可以知道了，举例比如在视频画面的(300，400)的坐标上添加标签，放到1920X1080这个分辨率下，离中心的位置就可以算了，也就可以确定出Δx和Δy。
所述摄像机改变状态后实时水平视场角V或所述摄像机改变状态前实时水平视场角V是通过摄像机的zoom电机控制改变获取的。
所述摄像机改变状态后实时水平视场角V或所述摄像机改变状态前实时水平视场角V获取的具体过程：在摄像机镜头倍率变化过程中，实时获取zoom电机控制的镜头组位置，且位置值和镜头视场角有一一对应的关系。
与现有技术相比，本发明具有的有益效果为：增强现实的摄像机能够实现虚拟标签添加功能，且在摄像机转动和镜头焦距变化的情况下，虚拟标签能够实时跟随标注物移动，定位准确。
附图说明
图1为本发明流程图；
图2为本发明系统建模图；
图3为本发明二维坐标系示意图；
图4为本发明镜头倍率与电机位置的关系对应表；
图5为增加现实摄像机未改变状态前添加标签效果图；
图6为增加现实摄像机改变状态后标签实时更新效果图；
图7为本发明电机焦距位置与水平视场角对应表；
图8为本发明电机焦距位置与水平视场角对应图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细描述。
实施例
如图1所示，本发明增强现实摄像机采用增强现实球机，为了实现虚拟坐标实时跟随标注物，采用了增强现实摄像机虚拟标签实时高精度定位方法，其包括添加保存标签过程和实时更新标签坐标过程，本发明具备条件如下：
能够实时获取的高精度云台俯仰角(精确到0.01°)；
能够实时获取的镜头视场角(水平视场角V)；
经过归一化的云台俯仰角坐标，(P,T)＝(0,0)时为水平正北方向。
如图2所示，O为三维极坐标圆心，也就是球机机芯镜头位置；射线OI为镜头指向，浅灰色矩形平面fov为镜头所看到的视场范围，其与OI垂直，MN和AB分别是fov的水平和垂直中间线；深灰色矩形fov’为矩形fov在水平面XOY上的投影。E点为二维视频画面上待换算的目标点，Δx和Δy为E在二维画面上到画面中心I的水平和垂直坐标偏移(单位：像素)。E’和I’分别为E和I在水平面上的投影。x轴为水平航向角(Pan)和垂直倾角(Tilt)都为0°的方向，射线OI也就是当前镜头指向的极坐标设为(p,t)。Δx和Δy，也就是离画面中心的水平和垂直偏移。
可以实时获得的数据有：
∠XOI’(也就是球机镜头极坐标p)和∠IOI’(也就是球机镜头极坐标t)；
视场角∠MON和MN与AB的比值(如果是1080P的视频分辨率，比值就是16:9)；
如图3所示，添加保存标签过程：当需要在视频画面增加一个新标签点时，点击视频画面上一点，可以得到这个点和画面中心点的偏移Δx和Δy；同时还知道当前球机云台的三个维度参数：p(水平角度)、t(垂直角度)、V(视场角)。那么可以通过2D-3D公式，换算出这个点在球面坐标下的坐标(P,T)。其过程如下：
根据以上说明可以知道需要求得的是∠XOE’和∠EOE’，也就E点的球面极坐标E(P,T)。
设P为∠XOE’的角度，ΔP为∠E’OI’的角度，T为∠EOE’的角度，球面半径为R，V为水平视场角∠MON，二维视频画面fov为分辨率W×H的平面。
那么有：
P＝p+ΔP
而2D-3D转换公式如下：
实时更新标签坐标过程：当在画面中显示标签时，将所有标签的(P,T)坐标取出，结合球机云台的三个维度参数p、t、V，使用3D-2D公式和P＝p+ΔP，就可得出每个标签在画面中距离中心点的像素坐标Δx和Δy。这样，当球机转动或镜头变倍时，实时更新了p、t、V，从而所有标签换算出来的直角坐标都同步改变了，从而实现标签始终紧贴被标注物的效果。
如图4所示，为本发明选择一机芯的放大倍率和电机位置的关系对应表，所述摄像机改变状态后实时水平视场角V或所述摄像机改变状态前实时水平视场角V是通过摄像机的zoom电机控制改变获取的，具体过程：在摄像机镜头倍率变化过程中，实时获取zoom电机控制的镜头组位置，且位置值和镜头视场角有一一对应的关系。也即通过焦距查出倍率，倍率对应了这种镜头的视场角，比如选用具有20倍倍率的电动镜头，视场角范围为2.9～55.4度，当1X的时候水平视场角为55.4度，20X的时候水平视场角为2.9度。倍率对应视场角范围在选取镜头倍率时就可以在镜头规格书查到。
如图7所示，实际使用要求的水平视场角精度要求更高，可动手测量更多点位，形成一个更精确的查找表，使用时通过插值计算得出，精度在1°以内。焦距和水平视场角不是比例线性关系，但是是单调的，如图8。
如图5为摄像机未转动前视频画面添加的标签，通过本发明的增强现实摄像机虚拟标签实时高精度定位方法实现了如图6的效果图，从图中可以观察到标签实时跟随被标注物。

Claims (6)

1.一种增强现实摄像机虚拟标签实时高精度定位方法，其特征在于，包括实时更新标签坐标过程，其过程如下：
当增强现实摄像机转动或镜头变倍时，通过摄像机三个维度参数p、t、V的实时更新与原标签点的三维坐标(P，T)，采用3D-2D公式和公式P＝p+ΔP计算出原标签点在二维视频画面的新二维坐标(Δx，Δy)，从而在二维视频画面实现虚拟标签点实时跟随标注物，其中：
p为摄像机改变状态后实时镜头水平角度；
t为摄像机改变状态后实时镜头垂直角度；
V为摄像机改变状态后实时水平视场角；
P为标签点在三维球面极坐标系下的水平角度；
T为标签点在三维球面极坐标系下的垂直角度；
二维视频画面为分辨率为W×H的平面；
Δx和Δy分别为增强现实摄像机转动或镜头变倍后标签点离二维画面中心新的水平偏移和垂直偏移；
R为球面半径，且
ΔP为差量表示。
2.根据权利要求1所述的增强现实摄像机虚拟标签实时高精度定位方法，其特征在于，在实时更新标签坐标过程前还进行了添加保存标签过程，其过程如下：
所述原标签点三维坐标(P，T)是增强现实摄像机转动或镜头变倍前在原二维视频画面中通过2D-3D公式和公式P＝p+ΔP获取的，其中：
p为摄像机改变状态前实时镜头水平角度；
t为摄像机改变状态前实时镜头垂直角度；
P为标签点在三维球面极坐标系下的水平角度；
T为标签点在三维球面极坐标系下的垂直角度；
V为摄像机改变状态前实时水平视场角；
二维视频画面为分辨率为W×H的平面；
Δx和Δy分别为增强现实摄像机转动或变倍前标签点离二维画面中心的水平偏移和垂直偏移，且它们根据二维视频画面分辨率确定；
ΔP为差量表示；
R为球面半径，且
3.根据权利要求1所述的增强现实摄像机虚拟标签实时高精度定位方法，其特征在于，所述摄像机改变状态后实时水平视场角V是通过摄像机的zoom电机控制改变获取的。
4.根据权利要求2所述的增强现实摄像机虚拟标签实时高精度定位方法，其特征在于，所述摄像机改变状态前实时水平视场角V是通过摄像机的zoom电机控制改变获取的。
5.根据权利要求3所述的增强现实摄像机虚拟标签实时高精度定位方法，其特征在于，所述摄像机改变状态后实时水平视场角V获取的具体过程：在摄像机镜头倍率变化过程中，实时获取zoom电机控制的镜头组位置，且位置值和镜头水平视场角有一一对应的关系。
6.根据权利要求4所述的增强现实摄像机虚拟标签实时高精度定位方法，其特征在于，所述摄像机改变状态前实时水平视场角V获取的具体过程：在摄像机镜头倍率变化过程中，实时获取zoom电机控制的镜头组位置，且位置值和镜头水平视场角有一一对应的关系。
CN201410726365.2A 2014-12-04 2014-12-04 一种增强现实摄像机虚拟标签实时高精度定位方法 Active CN104504685B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410726365.2A CN104504685B (zh) 2014-12-04 2014-12-04 一种增强现实摄像机虚拟标签实时高精度定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410726365.2A CN104504685B (zh) 2014-12-04 2014-12-04 一种增强现实摄像机虚拟标签实时高精度定位方法

Publications (2)

Publication Number Publication Date
CN104504685A CN104504685A (zh) 2015-04-08
CN104504685B true CN104504685B (zh) 2017-12-08

Family

ID=52946079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410726365.2A Active CN104504685B (zh) 2014-12-04 2014-12-04 一种增强现实摄像机虚拟标签实时高精度定位方法

Country Status (1)

Country Link
CN (1) CN104504685B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108650465A (zh) * 2018-05-17 2018-10-12 深圳市零壹移动互联系统有限公司 摄像机画面增强现实标签的计算方法、装置及电子设备
CN108810473A (zh) * 2018-06-15 2018-11-13 高新兴科技集团股份有限公司 一种在移动平台上实现gps映射摄像机画面坐标的方法及系统

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107154072A (zh) * 2016-03-02 2017-09-12 彭昌兰 无人机监控设备的图像处理方法及装置
CN106303246A (zh) * 2016-08-23 2017-01-04 刘永锋 基于虚拟实现的实时视频获取方法
CN106648360B (zh) * 2016-11-30 2020-11-17 深圳市泛海三江科技发展有限公司 一种3d球机的定位方法及装置
CN106991706B (zh) * 2017-05-08 2020-02-14 北京德火新媒体技术有限公司 一种拍摄校准方法及系统
CN108810462A (zh) * 2018-05-29 2018-11-13 高新兴科技集团股份有限公司 一种基于位置信息的摄像机视频联动方法及系统
CN108769781B (zh) * 2018-06-14 2019-02-26 视云融聚（广州）科技有限公司 一种视频标签定位方法
CN110298889B (zh) * 2019-06-13 2021-10-19 高新兴科技集团股份有限公司 一种视频标签调节方法、系统和设备
CN110365995A (zh) * 2019-07-22 2019-10-22 视云融聚（广州）科技有限公司 在视频中融合增强现实标签的流媒体服务方法及系统
CN113066099B (zh) * 2019-12-13 2023-12-19 视云融聚（广州）科技有限公司 一种基于球形坐标系的摄像机标签轨迹跟随方法
CN112019747B (zh) * 2020-09-01 2022-06-17 北京德火科技有限责任公司 基于云台传感器的前景跟踪方法
CN112672057B (zh) * 2020-12-25 2022-07-15 维沃移动通信有限公司 拍摄方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547105A (zh) * 2010-10-04 2012-07-04 三星电子株式会社 生成并再现运动图像数据的方法及使用该方法的照相设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9286323B2 (en) * 2013-02-25 2016-03-15 International Business Machines Corporation Context-aware tagging for augmented reality environments

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547105A (zh) * 2010-10-04 2012-07-04 三星电子株式会社 生成并再现运动图像数据的方法及使用该方法的照相设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于CPLD的高分辨力视频展台快速自动聚焦方法及实现;余孟凤等;《光学仪器》;20101231;第32卷(第6期);第24-29页 *
增强现实浏览器的密集热点定位与显示;张钰 等;《计算机应用》;20140510;第34卷(第5期);第1435-1438页，第1462 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108650465A (zh) * 2018-05-17 2018-10-12 深圳市零壹移动互联系统有限公司 摄像机画面增强现实标签的计算方法、装置及电子设备
CN108810473A (zh) * 2018-06-15 2018-11-13 高新兴科技集团股份有限公司 一种在移动平台上实现gps映射摄像机画面坐标的方法及系统
CN108810473B (zh) * 2018-06-15 2020-09-01 高新兴科技集团股份有限公司 一种在移动平台上实现gps映射摄像机画面坐标的方法及系统

Also Published As

Publication number Publication date
CN104504685A (zh) 2015-04-08

Similar Documents

Publication Publication Date Title
CN104504685B (zh) 一种增强现实摄像机虚拟标签实时高精度定位方法
CN105758426B (zh) 移动机器人的多传感器的联合标定方法
CN106934772B (zh) 一种全景图像或视频的水平校准方法、系统及便携式终端
Song et al. Survey on camera calibration technique
CN107358633A (zh) 一种基于三点标定物的多相机内外参标定方法
US10063792B1 (en) Formatting stitched panoramic frames for transmission
CN102842117B (zh) 显微视觉系统中运动误差矫正方法
CN105809701A (zh) 全景视频姿态标定方法
CN104320587A (zh) 一种室外云台摄像机的自动获取取景范围的方法
CN106060527B (zh) 一种扩展双目相机定位范围的方法和装置
CN106408551A (zh) 一种监控装置控制的方法及装置
KR100962557B1 (ko) 증강현실 구현 장치 및 증강현실 구현 방법
CN104519340A (zh) 基于多深度图像变换矩阵的全景视频拼接方法
CN111199560A (zh) 一种视频监控的定位方法及视频监控系统
CN107016707B (zh) 一种集成成像超大三维场景拍摄图像校正方法
CN107274341A (zh) 基于固定拼接参数的快速双目鱼眼全景图像拼接方法
CN104657970B (zh) 一种全自动双目内窥镜的标定方法及标定系统
CN109120901B (zh) 一种摄像机间画面切换的方法
CN104655106B (zh) 基于gps rtk和全景影像的自主定位定向测图方法
CN106127115A (zh) 一种基于全景和常规视觉的混合视觉目标定位方法
CN104739514A (zh) 大视场下手术器械的自动跟踪定位方法
CN105631454B (zh) 一种球机定位方法、设备及球机
CN105513074B (zh) 一种羽毛球机器人相机以及车身到世界坐标系的标定方法
CN102252661A (zh) 一种应用于机器视觉的球状体三维定位方法
CN104807405A (zh) 一种基于光线角度标定的三维坐标测量方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20150408

Assignee: Guangzhou Kaide Finance Leasing Co.,Ltd.

Assignor: GOSUNCN TECHNOLOGY GROUP Co.,Ltd.

Contract record no.: 2019990000223

Denomination of invention: Enhanced reality video camera virtual tag real-time high-precision positioning method

Granted publication date: 20171208

License type: Exclusive License

Record date: 20190709

EE01 Entry into force of recordation of patent licensing contract
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Enhanced reality video camera virtual tag real-time high-precision positioning method

Effective date of registration: 20190807

Granted publication date: 20171208

Pledgee: Guangzhou Kaide Finance Leasing Co.,Ltd.

Pledgor: GOSUNCN TECHNOLOGY GROUP Co.,Ltd.

Registration number: Y2019990000037

EC01 Cancellation of recordation of patent licensing contract
EC01 Cancellation of recordation of patent licensing contract

Assignee: Guangzhou Kaide Finance Leasing Co.,Ltd.

Assignor: GOSUNCN TECHNOLOGY GROUP Co.,Ltd.

Contract record no.: 2019990000223

Date of cancellation: 20220922

PC01 Cancellation of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20220922

Granted publication date: 20171208

Pledgee: Guangzhou Kaide Finance Leasing Co.,Ltd.

Pledgor: GOSUNCN TECHNOLOGY GROUP Co.,Ltd.

Registration number: Y2019990000037