CN109828673B - 一种ar识别中跟随物体的交互方法及系统 - Google Patents

一种ar识别中跟随物体的交互方法及系统 Download PDF

Info

Publication number
CN109828673B
CN109828673B CN201910126751.0A CN201910126751A CN109828673B CN 109828673 B CN109828673 B CN 109828673B CN 201910126751 A CN201910126751 A CN 201910126751A CN 109828673 B CN109828673 B CN 109828673B
Authority
CN
China
Prior art keywords
pow
screen
component
scale
offset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910126751.0A
Other languages
English (en)
Other versions
CN109828673A (zh
Inventor
周田涛
陆垂志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Hc System Control Technology Co ltd
Original Assignee
Shanghai Hc System Control Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Hc System Control Technology Co ltd filed Critical Shanghai Hc System Control Technology Co ltd
Priority to CN201910126751.0A priority Critical patent/CN109828673B/zh
Publication of CN109828673A publication Critical patent/CN109828673A/zh
Application granted granted Critical
Publication of CN109828673B publication Critical patent/CN109828673B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种AR识别中跟随物体的交互方法及系统，包括：位置获取步骤：通过摄像头获取物体的空间位置信息；偏移缩放获取步骤：通过所述空间位置信息获取物体的相对偏移和缩放比率；二维坐标计算步骤：根据所述相对偏移和所述缩放比率，计算得到物体在屏幕中的二维坐标；组件生成步骤：生成组件显示在屏幕中对应的物体上；循环跟随步骤：循环执行所述位置获取步骤至所述组件生成步骤，使所述组件实时跟随屏幕中的物体移动。本发明生成的组件实时跟随被识别物体移动，计算方法简单，跟随效果好，移动屏幕或者识别物体移动时，组件紧贴识别物体。

Description

一种AR识别中跟随物体的交互方法及系统
技术领域
本发明涉及数据处理技术领域，具体地，涉及一种AR识别中跟随物体的交互方法及系统。
背景技术
增强现实技术(Augmented Reality，简称AR)，是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。这种技术1990年提出。随着随身电子产品CPU运算能力的提升，预期增强现实的用途将会越来越广。
公开号为CN109085924A的发明专利，公开了一种基于AR的智能设备的管理方法和装置，控制设备采集智能设备的图像，根据智能设备的图像，获取智能设备的身份标识，根据智能设备的身份标识，获取智能设备的状态信息，将智能设备的状态信息和智能设备的图像通过AR技术叠加后显示。该方法用户只需要打开控制app后对智能设备进行拍照，根据智能设备的图像识别智能设备的身份标识，自动触发智能设备的状态信息的获取，方便快捷。并且在显示智能设备的状态信息时，将智能设备的状态信息和智能设备的图像通过AR技术叠加后显示，提高了用户体验。然而，其缺陷在于：信息是通过纹理贴图的方式进行显示，无法直接进行交互；控制通过单独控制页面，增加了复杂性；信息未实时跟随被识别物体，交互体验差。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种AR识别中跟随物体的交互方法及系统。
根据本发明提供的一种AR识别中跟随物体的交互方法，包括：
位置获取步骤：通过摄像头获取物体的空间位置信息；
偏移缩放获取步骤：通过所述空间位置信息获取物体的相对偏移和缩放比率；
二维坐标计算步骤：根据所述相对偏移和所述缩放比率，计算得到物体在屏幕中的二维坐标；
组件生成步骤：生成组件显示在屏幕中对应的物体上；
循环跟随步骤：循环执行所述位置获取步骤至所述组件生成步骤，使所述组件实时跟随屏幕中的物体移动。
较佳的，所述空间位置信息包括视口变换矩阵C和投影矩阵P。
较佳的，通过所述视口变换矩阵C和所述投影矩阵P做矩阵运算，得到X，Y方向的相对偏移(xOffset，yOffse)和缩放比率scale。
较佳的，根据物体在屏幕中心位置和缩放比率，将生成的组件分布在物体在屏幕的投影上。
较佳的，组件的位置(xn,yn)计算公式如下：
xn＝(xcenter+offsetXn)/Math.pow(scale,pow)；
yn＝(ycenter+offsetYn)/Math.pow(scale,pow)；
其中，xcenter和ycenter是物体在屏幕中的二维坐标，offsetXn和offsetYn是第n个组件的相对偏移，Math.pow是指数函数，Math.pow(scale,pow)，是scale的pow次方，即scalepow，pow为幂方数。
根据本发明提供的一种AR识别中跟随物体的交互系统，包括：
位置获取模块：通过摄像头获取物体的空间位置信息；
偏移缩放获取模块：通过所述空间位置信息获取物体的相对偏移和缩放比率；
二维坐标计算模块：根据所述相对偏移和所述缩放比率，计算得到物体在屏幕中的二维坐标；
组件生成模块：生成组件显示在屏幕中对应的物体上；
循环跟随模块：循环执行所述位置获取模块至所述组件生成模块，使所述组件实时跟随屏幕中的物体移动。
较佳的，所述空间位置信息包括视口变换矩阵C和投影矩阵P。
较佳的，通过所述视口变换矩阵C和所述投影矩阵P做矩阵运算，得到X，Y方向的相对偏移(xOffset，yOffse)和缩放比率scale。
较佳的，根据物体在屏幕中心位置和缩放比率，将生成的组件分布在物体在屏幕的投影上。
较佳的，组件的位置(xn,yn)计算公式如下：
xn＝(xcenter+offsetXn)/Math.pow(scale,pow)；
yn＝(ycenter+offsetYn)/Math.pow(scale,pow)；
其中，xcenter和ycenter是物体在屏幕中的二维坐标，offsetXn和offsetYn是第n个组件的相对偏移，Math.pow是指数函数，Math.pow(scale,pow)，是scale的pow次方，即scalepow，pow为幂方数。
与现有技术相比，本发明具有如下的有益效果：
本发明生成的组件(包括可进行交互的系统组件)实时跟随被识别物体移动，计算方法简单，跟随效果好，移动屏幕或者识别物体移动时，组件紧贴识别物体，组件可进行交互。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的工作流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
如图1所示，本发明提供的一种AR识别中跟随物体的交互方法，包括：
位置获取步骤：通过摄像头获取物体的空间位置信息；
偏移缩放获取步骤：通过空间位置信息获取物体的相对偏移和缩放比率；
二维坐标计算步骤：根据相对偏移和缩放比率，计算得到物体在屏幕中的二维坐标；
组件生成步骤：生成组件显示在屏幕中对应的物体上；
循环跟随步骤：循环执行位置获取步骤至组件生成步骤，使组件实时跟随屏幕中的物体移动。
其中，空间位置信息包括视口变换矩阵C和投影矩阵P。
通过视口变换矩阵C和投影矩阵P做矩阵运算，得到X，Y方向的相对偏移(xOffset，yOffse)和缩放比率scale。
根据物体在屏幕中心位置、缩放比率和坐标系转换，将生成的组件分布在物体在屏幕的投影上。坐标系转换是指空间坐标转换到二维屏幕坐标，根据相对偏移和坐标系转换，得到物体投影中心在屏幕的位置xcenter和ycenter。
组件的位置(xn,yn)计算公式如下：
xn＝(xcenter+offsetXn)/Math.pow(scale,pow)；
yn＝(ycenter+offsetYn)/Math.pow(scale,pow)；
其中，xcenter和ycenter是物体在屏幕中的二维坐标，offsetXn和offsetYn是第n个组件的相对偏移，Math.pow是指数函数，Math.pow(scale,pow)，是scale的pow次方，即scalepow，pow为幂方数。
当改变所述摄像头与所述被识别物距离时，即改变缩放比率scale，组件分布范围会相应的放大、收缩；距离变小时，scale变大，组件显示范围变大，距离变大时，scale变小，组件显示范围变小。
所述组件可展示信息，通过点击或移动进行交互，点击后展示更多信息；点击更多信息，跳转其他关联信息页面。所述组件也可通过所述被识别物体相对摄像头移动进行交互，当所述组件移动到屏幕中心时，展示更多信息。
循环跟随步骤的频率高于人眼反应能力，物体相对摄像头移动时,所述组件会实时跟随所述被识别物体移动。
举例来说：
用户在识别物体时，终端位置为A，返回视口矩阵为C1，投影矩阵为P1，计算得到物体在终端屏幕投影偏移为[xCenter1，yCenter1]和缩放比率scale1，组件M显示在物体左上角，距离物体相对偏移为[xOffsetM,yOffsetM],最终计算得到物体在终端屏幕坐标为[x1,y1].
x1＝(xCenter1+xOffsetM)/Math.pow(scale1,pow)
y1＝(yCenter1+yOffsetM)/Math.pow(scale1,pow)
当终端屏幕或者物体移动时(终端屏幕相对物体移动)，返回视口矩阵为C2，投影矩阵为P2，计算得到物体在终端屏幕投影偏移为[xCenter1，yCenter1]和缩放比率scale2，显示在左上角的组件M的位置更新为[x2,y2].
x1＝(xCenter2+xOffsetM)/Math.pow(scale2,pow)
y1＝(yCenter2+yOffsetM)/Math.pow(scale2,pow)
在上述一种AR识别中跟随物体的交互方法的基础上，本发明还提供一种AR识别中跟随物体的交互系统，包括：
位置获取模块：通过摄像头获取物体的空间位置信息；
偏移缩放获取模块：通过所述空间位置信息获取物体的相对偏移和缩放比率；
二维坐标计算模块：根据所述相对偏移和所述缩放比率，计算得到物体在屏幕中的二维坐标；
组件生成模块：生成组件显示在屏幕中对应的物体上；
循环跟随模块：循环执行所述位置获取模块至所述组件生成模块，使所述组件实时跟随屏幕中的物体移动。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (2)

1.一种AR识别中跟随物体的交互方法，其特征在于，包括：
位置获取步骤：通过摄像头获取物体的空间位置信息；
偏移缩放获取步骤：通过所述空间位置信息获取物体的相对偏移和缩放比率；
二维坐标计算步骤：根据所述相对偏移和所述缩放比率，计算得到物体在屏幕中的二维坐标；
组件生成步骤：生成组件显示在屏幕中对应的物体上；
所述组件可展示信息，通过点击或移动进行交互，点击后展示更多信息；点击所述更多信息，跳转其他关联信息页面；或通过被识别物体相对摄像头移动进行交互，当所述组件移动到屏幕中心时，展示更多信息；
循环跟随步骤：循环执行所述位置获取步骤至所述组件生成步骤，使所述组件实时跟随屏幕中的物体移动；
所述空间位置信息包括视口变换矩阵C和投影矩阵P；
通过所述视口变换矩阵C和所述投影矩阵P做矩阵运算，得到屏幕上的X，Y方向的相对偏移(xOffset，yOffse)和缩放比率scale；
根据物体在屏幕中心位置和缩放比率，将生成的组件分布在物体在屏幕的投影上；
物体在屏幕中的位置(xn,yn)计算公式如下：
xn＝(xcenter+offsetXn)/Math.pow(scale,pow)；
yn＝(ycenter+offsetYn)/Math.pow(scale,pow)；
其中，xcenter和ycenter是物体投影中心在屏幕中的二维坐标，组件距离物体相对偏移为offsetXn和offsetYn，Math.pow是指数函数，Math.pow(scale,pow)，是scale的pow次方，即scalepow，pow为幂方数。
2.一种AR识别中跟随物体的交互系统，其特征在于，包括：
位置获取模块：通过摄像头获取物体的空间位置信息；
偏移缩放获取模块：通过所述空间位置信息获取物体的相对偏移和缩放比率；
二维坐标计算模块：根据所述相对偏移和所述缩放比率，计算得到物体在屏幕中的二维坐标；
组件生成模块：生成组件显示在屏幕中对应的物体上；所述组件可展示信息，通过点击或移动进行交互，点击后展示更多信息；点击更多信息，跳转其他关联信息页面；或通过被识别物体相对摄像头移动进行交互，当所述组件移动到屏幕中心时，展示更多信息；
循环跟随模块：循环执行所述位置获取模块至所述组件生成模块，使所述组件实时跟随屏幕中的物体移动；
所述空间位置信息包括视口变换矩阵C和投影矩阵P；
通过所述视口变换矩阵C和所述投影矩阵P做矩阵运算，得到屏幕上的X，Y方向的相对偏移(xOffset，yOffse)和缩放比率scale；
根据物体在屏幕中心位置和缩放比率，将生成的组件分布在物体在屏幕的投影上；
物体在屏幕中的位置(xn,yn)计算公式如下：
xn＝(xcenter+offsetXn)/Math.pow(scale,pow)；
yn＝(ycenter+offsetYn)/Math.pow(scale,pow)；
其中，xcenter和ycenter是物体投影中心在屏幕中的二维坐标，组件距离物体相对偏移为offsetXn和offsetYn，Math.pow是指数函数，Math.pow(scale,pow)，是scale的pow次方，即scalepow，pow为幂方数。
CN201910126751.0A 2019-02-20 2019-02-20 一种ar识别中跟随物体的交互方法及系统 Active CN109828673B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910126751.0A CN109828673B (zh) 2019-02-20 2019-02-20 一种ar识别中跟随物体的交互方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910126751.0A CN109828673B (zh) 2019-02-20 2019-02-20 一种ar识别中跟随物体的交互方法及系统

Publications (2)

Publication Number Publication Date
CN109828673A CN109828673A (zh) 2019-05-31
CN109828673B true CN109828673B (zh) 2022-12-06

Family

ID=66863923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910126751.0A Active CN109828673B (zh) 2019-02-20 2019-02-20 一种ar识别中跟随物体的交互方法及系统

Country Status (1)

Country Link
CN (1) CN109828673B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102147257A (zh) * 2010-12-27 2011-08-10 北京数字冰雹信息技术有限公司 基于用户视野的地理信息检索和导航系统
CN106095094A (zh) * 2016-06-10 2016-11-09 北京行云时空科技有限公司 增强现实投影与现实交互的方法和装置
CN107656505A (zh) * 2017-08-21 2018-02-02 杭州太若科技有限公司 使用增强现实设备控制人机协作的方法、装置和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5831764B2 (ja) * 2012-10-26 2015-12-09 カシオ計算機株式会社 画像表示装置及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102147257A (zh) * 2010-12-27 2011-08-10 北京数字冰雹信息技术有限公司 基于用户视野的地理信息检索和导航系统
CN106095094A (zh) * 2016-06-10 2016-11-09 北京行云时空科技有限公司 增强现实投影与现实交互的方法和装置
CN107656505A (zh) * 2017-08-21 2018-02-02 杭州太若科技有限公司 使用增强现实设备控制人机协作的方法、装置和系统

Also Published As

Publication number Publication date
CN109828673A (zh) 2019-05-31

Similar Documents

Publication Publication Date Title
US11308347B2 (en) Method of determining a similarity transformation between first and second coordinates of 3D features
US7755608B2 (en) Systems and methods of interfacing with a machine
JP7337104B2 (ja) 拡張現実によるモデル動画多平面インタラクション方法、装置、デバイス及び記憶媒体
US9619105B1 (en) Systems and methods for gesture based interaction with viewpoint dependent user interfaces
US8681179B2 (en) Method and system for coordinating collisions between augmented reality and real reality
US20140104394A1 (en) System and method for combining data from multiple depth cameras
US10909744B1 (en) Simulating garment with wrinkles based on physics based cloth simulator and machine learning model
CN108133454B (zh) 空间几何模型图像切换方法、装置、系统及交互设备
CN104656893A (zh) 一种信息物理空间的远程交互式操控系统及方法
KR100971667B1 (ko) 증강 책을 통한 실감 콘텐츠를 제공하는 방법 및 장치
Schütt et al. Semantic interaction in augmented reality environments for microsoft hololens
Fadzli et al. VoxAR: 3D modelling editor using real hands gesture for augmented reality
CN109828673B (zh) 一种ar识别中跟随物体的交互方法及系统
CN103700128A (zh) 移动设备及其增强显示方法
Zocco et al. Touchless interaction for command and control in military operations
Fischbach et al. smARTbox: out-of-the-box technologies for interactive art and exhibition
Simões et al. Unlocking augmented interactions in short-lived assembly tasks
Carozza et al. An immersive hybrid reality system for construction training
CN115552364A (zh) 多端协同的显示更新方法及装置
Rattarom et al. A framework for polynomial model with head pose in low cost gaze estimation
Shi et al. Error elimination method in moving target tracking in real-time augmented reality
RE Low cost augmented reality for industrial problems
Sonkar Augmented Reality in Environment
Selvakumaran et al. Scalable AR Integration Pipeline for Immersive Textbook Learning Experience
McDonald Hand interaction in augmented reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant