CN110399039A - 一种基于眼动跟踪的虚实场景融合方法 - Google Patents
一种基于眼动跟踪的虚实场景融合方法 Download PDFInfo
- Publication number
- CN110399039A CN110399039A CN201910595334.0A CN201910595334A CN110399039A CN 110399039 A CN110399039 A CN 110399039A CN 201910595334 A CN201910595334 A CN 201910595334A CN 110399039 A CN110399039 A CN 110399039A
- Authority
- CN
- China
- Prior art keywords
- eye
- parameter
- tracking
- eye movement
- actual situation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Abstract
本发明公开了一种基于眼动跟踪的虚实场景融合方法，包括步骤：S1，计算摄像机的参数，参数包括摄像机的内参数和外参数，然后将环境图像坐标与摄像机坐标进行转换；S2，基于坐标转换，通过眼动摄像头获取眼动轨迹图像，然后检测眼动图像的角点特征，提取目标对象，并存储到服务器端，在服务器端对提取的特征信息进行标记处理，并形成标识；S3，特征匹配，检测S2步骤中标识，并将S2步骤中标记处理后的数据进行运动特征点匹配，对匹配的特征点跟踪处理，生成轨迹记录，并存储轨迹记录。本发明提高了系统的跟踪精度，扩大了跟踪范围，增强了系统的可靠性和鲁棒性，在扩展时间上和空间上的观测范围更广，增强了数据的可信任度和分辨能力。
Description
技术领域
本发明涉及增强现实技术领域，更为具体地，涉及一种基于眼动跟踪的虚实场景融合方法。
背景技术
增强现实(Augmented Reality，简称AR)，指通过计算机系统提供的信息增加用户对现实世界感知的技术，将虚拟的信息应用到真实世界，并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现对现实的增强。在视觉化的增强现实中，用户利用头盔显示器，把真实世界与计算机图形多重合成在一起。
在国外已经有许多实际的应用，在德国，工程技术人员，在进行机械安装、维修、调式时，通过头盔显示器，可以将原来不能呈现的机器内部结构，以及它的相关信息、数据完全呈现出来，并可以按照计算机的提示，来进行工作，解决技术难题，使我们的工作非常方便、快捷、准确。但是，现有的虚实融合技术存在跟踪精度差，可靠性差，观测范围小等问题，且没有眼动跟踪检测功能等。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于眼动跟踪的虚实场景融合方法，提高了整个系统的跟踪精度，扩大了跟踪范围，增强了系统的可靠性和鲁棒性，在扩展时间上和空间上的观测范围更广，增强了数据的可信任度和系统的分辨能力。
本发明的目的是通过以下技术方案来实现的：
一种基于眼动跟踪的虚实场景融合方法，包括：
S1，计算摄像机的参数，所述参数包括摄像机的内参数和外参数，然后将环境图像坐标与摄像机坐标进行转换；
S2，基于坐标转换，通过眼动摄像头获取眼动轨迹图像，然后检测眼动图像的角点特征，提取目标对象，并存储到服务器端，在服务器端对提取的特征信息进行标记处理，并形成标识；
S3，特征匹配，检测S2步骤中所述标识，并将S2步骤中标记处理后的数据进行运动特征点匹配，对匹配的特征点跟踪处理，生成轨迹记录，并存储轨迹记录；
S4，确定虚拟信息的位置和方向，根据轨迹记录的特征点相对于虚拟图形的位置和方向角，以及根据摄像机的内部参数和外部参数，确定所添加的虚拟信息在真实空间中的映射位置；
S5，确认了所述映射位置后，将所述虚拟信息渲染到图像中，然后输出增强现实图像到显示输出设备。
进一步的，所述摄像机包括眼动摄像头。
进一步的，在步骤S2中，通过眼动摄像头经矫正，获取眼动轨迹与背景图像数据。
进一步的，在步骤S4中，所述虚拟信息包括虚拟图形信息。
进一步的，所述虚拟图形信包括二维虚拟图形和三维虚拟图形中的任一种。
进一步的，在步骤S2中，对所述标识进行编号，在特征匹配时能够利用编号进行匹配。
本发明的有益效果是：
(1)本发明提高了整个系统的跟踪精度，扩大了跟踪范围，增强了系统的可靠性和鲁棒性，在扩展时间上和空间上的观测范围更广，增强了数据的可信任度和分辨能力，能够对眼动进行跟踪检测等。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的步骤流程示意图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。本说明书中公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的电路，软件或方法。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在对实施例进行描述之前，需要对一些必要的术语进行解释。例如：
若本申请中出现使用“第一”、“第二”等术语来描述各种元件，但是这些元件不应当由这些术语所限制。这些术语仅用来区分一个元件和另一个元件。因此，下文所讨论的“第一”元件也可以被称为“第二”元件而不偏离本发明的教导。应当理解的是，若提及一元件“连接”或者“联接”到另一元件时，其可以直接地连接或直接地联接到另一元件或者也可以存在中间元件。相反地，当提及一元件“直接地连接”或“直接地联接”到另一元件时，则不存在中间元件。
在本申请中出现的各种术语仅仅用于描述具体的实施方式的目的而无意作为对本发明的限定，除非上下文另外清楚地指出，否则单数形式意图也包括复数形式。
当在本说明书中使用术语“包括”和/或“包括有”时，这些术语指明了所述特征、整体、步骤、操作、元件和/或部件的存在，但是也不排除一个以上其他特征、整体、步骤、操作、元件、部件和/或其群组的存在和/或附加。
如图1所示，一种基于眼动跟踪的虚实场景融合方法，包括：
S1，计算摄像机的参数，所述参数包括摄像机的内参数和外参数，然后将环境图像坐标与摄像机坐标进行转换；
S2，基于坐标转换，通过眼动摄像头获取眼动轨迹图像，然后检测眼动图像的角点特征，提取目标对象，并存储到服务器端，在服务器端对提取的特征信息进行标记处理，并形成标识；
S3，特征匹配，检测S2步骤中所述标识，并将S2步骤中标记处理后的数据进行运动特征点匹配，对匹配的特征点跟踪处理，生成轨迹记录，并存储轨迹记录；
S4，确定虚拟信息的位置和方向，根据轨迹记录的特征点相对于虚拟图形的位置和方向角，以及根据摄像机的内部参数和外部参数，确定所添加的虚拟信息在真实空间中的映射位置；
S5，确认了所述映射位置后，将所述虚拟信息渲染到图像中，然后输出增强现实图像到显示输出设备。
进一步的，所述摄像机包括眼动摄像头。
进一步的，在步骤S2中，通过眼动摄像头经矫正，获取眼动轨迹与背景图像数据。
进一步的，在步骤S4中，所述虚拟信息包括虚拟图形信息。
进一步的，所述虚拟图形信包括二维虚拟图形和三维虚拟图形中的任一种。
进一步的，在步骤S2中，对所述标识进行编号，在特征匹配时能够利用编号进行匹配。
实施例1
如图1所示，一种基于眼动跟踪的虚实场景融合方法，包括：
S1，计算摄像机的参数，参数包括摄像机的内参数和外参数，然后将环境图像坐标与摄像机坐标进行转换；
S2，基于坐标转换，通过眼动摄像头获取眼动轨迹图像，然后检测眼动图像的角点特征，提取目标对象，并存储到服务器端，在服务器端对提取的特征信息进行标记处理，并形成标识；
S3，特征匹配，检测S2步骤中标识，并将S2步骤中标记处理后的数据进行运动特征点匹配，对匹配的特征点跟踪处理，生成轨迹记录，并存储轨迹记录；
S4，确定虚拟信息的位置和方向，根据轨迹记录的特征点相对于虚拟图形的位置和方向角，以及根据摄像机的内部参数和外部参数，确定所添加的虚拟信息在真实空间中的映射位置；
S5，确认了映射位置后，将虚拟信息渲染到图像中，然后输出增强现实图像到显示输出设备。
在本实施例中的其余技术特征，本领域技术人员均可以根据实际情况进行灵活选用和以满足不同的具体实际需求。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实现本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的算法，方法或系统等，均在本发明的权利要求书请求保护的技术方案限定技术保护范围之内。
对于前述的方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和单元并不一定是本申请所必须的。
本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法实现所描述的功能，但是这种实现不应超出本发明的范围。
所揭露的系统、模块和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例，仅仅是示意性的，例如，所述单元的划分，可以仅仅是一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以说通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述分立部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例的方案的目的。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、ROM、RAM等。
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。
Claims (6)
1.一种基于眼动跟踪的虚实场景融合方法，其特征在于，包括：
S1，计算摄像机的参数，所述参数包括摄像机的内参数和外参数，然后将环境图像坐标与摄像机坐标进行转换；
S2，基于坐标转换，通过眼动摄像头获取眼动轨迹图像，然后检测眼动图像的角点特征，提取目标对象，并存储到服务器端，在服务器端对提取的特征信息进行标记处理，并形成标识；
S3，特征匹配，检测S2步骤中所述标识，并将S2步骤中标记处理后的数据进行运动特征点匹配，对匹配的特征点跟踪处理，生成轨迹记录，并存储轨迹记录；
S4，确定虚拟信息的位置和方向，根据轨迹记录的特征点相对于虚拟图形的位置和方向角，以及根据摄像机的内部参数和外部参数，确定所添加的虚拟信息在真实空间中的映射位置；
S5，确认了所述映射位置后，将所述虚拟信息渲染到图像中，然后输出增强现实图像到显示输出设备。
2.根据权利要求1所述的一种基于眼动跟踪的虚实场景融合方法，其特征在于，所述摄像机包括眼动摄像头。
3.根据权利要求1所述的一种基于眼动跟踪的虚实场景融合方法，其特征在于，在步骤S2中，通过眼动摄像头经矫正，获取眼动轨迹与背景图像数据。
4.根据权利要求1所述的一种基于眼动跟踪的虚实场景融合方法，其特征在于，在步骤S4中，所述虚拟信息包括虚拟图形信息。
5.根据权利要求1所述的一种基于眼动跟踪的虚实场景融合方法，其特征在于，所述虚拟图形信包括二维虚拟图形和三维虚拟图形中的任一种。
6.根据权利要求1所述的一种基于眼动跟踪的虚实场景融合方法，其特征在于，在步骤S2中，对所述标识进行编号，在特征匹配时能够利用编号进行匹配。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910595334.0A CN110399039A (zh) | 2019-07-03 | 2019-07-03 | 一种基于眼动跟踪的虚实场景融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910595334.0A CN110399039A (zh) | 2019-07-03 | 2019-07-03 | 一种基于眼动跟踪的虚实场景融合方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110399039A true CN110399039A (zh) | 2019-11-01 |
Family
ID=68323762
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910595334.0A Pending CN110399039A (zh) | 2019-07-03 | 2019-07-03 | 一种基于眼动跟踪的虚实场景融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110399039A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115623336A (zh) * | 2022-11-07 | 2023-01-17 | 北京拙河科技有限公司 | 一种亿级摄像设备的图像跟踪方法及装置 |
| CN117148959A (zh) * | 2023-02-27 | 2023-12-01 | 荣耀终端有限公司 | 眼动追踪的帧率调整方法及相关装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106846237A (zh) * | 2017-02-28 | 2017-06-13 | 山西辰涵影视文化传媒有限公司 | 一种基于Unity3D的增强实现方法 |
| CN107656613A (zh) * | 2017-09-08 | 2018-02-02 | 国网山东省电力公司电力科学研究院 | 一种基于眼动追踪的人机交互系统及其工作方法 |
| WO2018134897A1 (ja) * | 2017-01-17 | 2018-07-26 | マクセル株式会社 | 位置姿勢検出装置、ａｒ表示装置、位置姿勢検出方法およびａｒ表示方法 |
| CN109086726A (zh) * | 2018-08-10 | 2018-12-25 | 陈涛 | 一种基于ar智能眼镜的局部图像识别方法及系统 |
| JP2019067195A (ja) * | 2017-10-02 | 2019-04-25 | 株式会社コロプラ | 情報処理方法、コンピュータ、及びプログラム |
-
2019
- 2019-07-03 CN CN201910595334.0A patent/CN110399039A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018134897A1 (ja) * | 2017-01-17 | 2018-07-26 | マクセル株式会社 | 位置姿勢検出装置、ａｒ表示装置、位置姿勢検出方法およびａｒ表示方法 |
| CN106846237A (zh) * | 2017-02-28 | 2017-06-13 | 山西辰涵影视文化传媒有限公司 | 一种基于Unity3D的增强实现方法 |
| CN107656613A (zh) * | 2017-09-08 | 2018-02-02 | 国网山东省电力公司电力科学研究院 | 一种基于眼动追踪的人机交互系统及其工作方法 |
| JP2019067195A (ja) * | 2017-10-02 | 2019-04-25 | 株式会社コロプラ | 情報処理方法、コンピュータ、及びプログラム |
| CN109086726A (zh) * | 2018-08-10 | 2018-12-25 | 陈涛 | 一种基于ar智能眼镜的局部图像识别方法及系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115623336A (zh) * | 2022-11-07 | 2023-01-17 | 北京拙河科技有限公司 | 一种亿级摄像设备的图像跟踪方法及装置 |
| CN115623336B (zh) * | 2022-11-07 | 2023-06-30 | 北京拙河科技有限公司 | 一种亿级摄像设备的图像跟踪方法及装置 |
| CN117148959A (zh) * | 2023-02-27 | 2023-12-01 | 荣耀终端有限公司 | 眼动追踪的帧率调整方法及相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102541812B1 (ko) | 거울상을 포함하는 시야 내의 증강 현실 | |
| CN110415358A (zh) | 一种实时三维跟踪方法 | |
| CN107292949B (zh) | 场景的三维重建方法、装置及终端设备 | |
| US8144238B2 (en) | Image processing apparatus and method | |
| JP6507730B2 (ja) | 座標変換パラメータ決定装置、座標変換パラメータ決定方法及び座標変換パラメータ決定用コンピュータプログラム | |
| CN108830894A (zh) | 基于增强现实的远程指导方法、装置、终端和存储介质 | |
| US8644551B2 (en) | Systems and methods for tracking natural planar shapes for augmented reality applications | |
| CN111709874B (zh) | 图像调整的方法、装置、电子设备及存储介质 | |
| CN112148197A (zh) | 增强现实ar交互方法、装置、电子设备及存储介质 | |
| Barandiaran et al. | Real-time optical markerless tracking for augmented reality applications | |
| CN104169965A (zh) | 用于多拍摄装置系统中图像变形参数的运行时调整的系统、方法和计算机程序产品 | |
| KR20090117531A (ko) | 혼합현실 구현 시스템 및 그 방법 | |
| CN112882576B (zh) | Ar交互方法、装置、电子设备及存储介质 | |
| CN110569006B (zh) | 显示方法、装置、终端设备及存储介质 | |
| KR101892740B1 (ko) | 통합 이미지 마커 생성 방법 및 그 방법을 수행하는 시스템 | |
| CN110399039A (zh) | 一种基于眼动跟踪的虚实场景融合方法 | |
| CN110427100A (zh) | 一种基于深度摄像头的动作姿态捕捉系统 | |
| CN108430032B (zh) | 一种实现vr/ar设备位置共享的方法及设备 | |
| US11665332B2 (en) | Information processing apparatus, control method thereof and storage medium | |
| CN110349504A (zh) | 一种基于ar的博物馆导览系统 | |
| CN106296796B (zh) | 信息处理方法、信息处理装置及用户设备 | |
| CN110310325B (zh) | 一种虚拟测量方法、电子设备及计算机可读存储介质 | |
| CN113178017A (zh) | Ar数据展示方法、装置、电子设备及存储介质 | |
| KR101888837B1 (ko) | 스테레오 매칭 시스템의 전처리 장치 | |
| KR101910931B1 (ko) | 고유코드를 이용한 푸드 3d 증강현실 서비스 제공 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |