CN109725728B - 一种ar设备的显示修正方法和装置 - Google Patents

一种ar设备的显示修正方法和装置 Download PDF

Info

Publication number
CN109725728B
CN109725728B CN201811653173.8A CN201811653173A CN109725728B CN 109725728 B CN109725728 B CN 109725728B CN 201811653173 A CN201811653173 A CN 201811653173A CN 109725728 B CN109725728 B CN 109725728B
Authority
CN
China
Prior art keywords
matrix
upr
equipment
visual angle
projection matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811653173.8A
Other languages
English (en)
Other versions
CN109725728A (zh
Inventor
尚浩强
王欣
陈鹏
刘桦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics China R&D Center, Samsung Electronics Co Ltd filed Critical Samsung Electronics China R&D Center
Priority to CN201811653173.8A priority Critical patent/CN109725728B/zh
Publication of CN109725728A publication Critical patent/CN109725728A/zh
Application granted granted Critical
Publication of CN109725728B publication Critical patent/CN109725728B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种AR设备的显示修正方法和装置，其中，方法包括：AR设备启动时根据当前的人眼位置，生成当前的用户视角矩阵；所述AR设备根据本设备的图像采集部件与本设备的屏幕之间的相对位置、所述图像采集部件的拍摄配置参数和所述用户视角矩阵，生成当前的用户视角渲染UPR投影矩阵；所述AR设备根据所述UPR投影矩阵，进行用户视角渲染，并显示相应的用户视角渲染场景。采用本发明，能够修正图像畸变的问题，且实现成本低。

Description

一种AR设备的显示修正方法和装置
技术领域
本发明涉及移动通信技术，特别是涉及一种增强现实(AR)设备的显示修正方法和装置。
背景技术
现有的AR技术中，屏幕显示的图像和使用者眼睛观察到的实际图像，有着相当的畸变。如图1所示，通常AR设备使用时，显示的图像内容边界和人眼观察到的实际图像不一致。同时，AR设备显示的图像不能随着设备的晃动，视角的转变，以及使用者的眼睛的位置变化而变化，使得使用者观察到的AR图像无法同实际看到的景象完美过渡，让AR的体验不完美。
目前针对上述图像畸变的问题，已提出的解决方案通常需要添加额外的图像采用部件(如两个摄像机或相机)，从而导致实现成本较高。
发明内容
有鉴于此，本发明的主要目的在于提供一种AR设备的显示修正方法和装置，能够修正图像畸变的问题，且实现成本低。
为了达到上述目的，本发明提出的技术方案为：
一种AR设备显示修正方法，包括：
AR设备启动时根据当前的人眼位置，生成当前的用户视角矩阵；
所述AR设备根据本设备的图像采集部件与本设备的屏幕之间的相对位置、所述图像采集部件的拍摄配置参数和所述用户视角矩阵，生成当前的用户视角渲染UPR投影矩阵；
所述AR设备根据所述UPR投影矩阵，进行用户视角渲染，并显示相应的用户视角渲染场景。
较佳地，所述方法进一步包括：
所述AR设备对人眼位置进行实时跟踪，根据当前的人眼位置，生成用户视角矩阵；
判断当前是否达到预设的UPR投影矩阵更新条件，如果是，则利用当前的用户视角矩阵，对当前的所述UPR投影矩阵进行更新。
较佳地，所述UPR投影矩阵更新条件包括当前的用户视角变化量达到预设的视角变化阈值和/或所述UPR投影矩阵的使用时间达到预设时间阈值。
较佳地，按照
Figure BDA0001928793660000021
生成当前的用户视角矩阵，其中，Pe为所述用户视角矩阵，所述人眼位置的坐标为[ex,ey,ez]。
较佳地，按照PUPR＝PeMr→sMr，计算当前的用户视角渲染UPR投影矩阵；其中，Mr→s为根据所述图像采集部件与所述屏幕之间的相对位置构建的相对位置向量，所述Mr为根据所述图像采集部件的拍摄配置参数构建的拍摄参数向量。
本发明实施例还提供了一种AR设备显示修正装置，设于AR设备中，包括：
视角矩阵生成单元，用于根据当前的人眼位置，生成当前的用户视角矩阵；
UPR投影矩阵生成单元，用于根据AR设备的图像采集部件与AR设备的屏幕之间的相对位置、所述图像采集部件的拍摄配置参数和所述用户视角矩阵，计算当前的用户视角渲染UPR投影矩阵；
场景渲染单元，用于根据所述UPR投影矩阵，进行用户视角渲染，并显示相应的用户视角渲染场景。
较佳地，所述视角矩阵生成单元，进一步用于对人眼位置进行实时跟踪，根据当前的人眼位置，生成用户视角矩阵；判断当前是否达到预设的UPR投影矩阵更新条件，如果是，则触发UPR投影矩阵生成单元利用当前的用户视角矩阵，对当前的所述UPR投影矩阵进行更新。
较佳地，所述UPR投影矩阵更新条件包括当前的用户视角变化量达到预设的视角变化阈值和/或所述UPR投影矩阵的使用时间达到预设时间阈值。
较佳地，所述视角矩阵生成单元，用于按照
Figure BDA0001928793660000031
生成当前的用户视角矩阵，其中，Pe为所述用户视角矩阵，所述人眼位置的坐标为[ex,ey,ez]。
较佳地，所述视角矩阵生成单元，用于按照PUPR＝PeMr→sMr，生成当前的用户视角渲染UPR投影矩阵；其中，Mr→s为根据所述图像采集部件与所述屏幕之间的相对位置构建的相对位置向量，所述Mr为根据所述图像采集部件的拍摄配置参数构建的拍摄参数向量。
本发明实施例还提供了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储指令，其特征在于，所述指令在由处理器执行时使得所述处理器执行如上述的AR设备显示修正方法的步骤。
本发明实施例还提供了一种电子设备，包括如上述的非易失性计算机可读存储介质、以及可访问所述非易失性计算机可读存储介质的所述处理器。
综上所述，本发明实施例提出的AR设备显示修正方案中，AR设备根据人眼位置，生成用户视角矩阵；然后根据本设备的图像采集部件与本设备的屏幕之间的相对位置、所述图像采集部件的拍摄配置参数以及当前得到的所述用户视角矩阵，生成当前的UPR投影矩阵；最后，基于该UPR投影矩阵，进行用户视角渲染。如此，通过利用AR设备的图像采集装置和相关传感器，将AR设备拍摄到的图像结合人眼的位置、AR设备的位置、拍摄配置参数等，进行修正，可以达到与人眼实际观察的图像相统一，能够有效修正图像畸变的问题，且不需要额外增加图像采集设备，从而使得应用成本较低。
附图说明
图1为现有的AR设备显示图像畸变示意图；
图2为本发明实施例的方法流程示意图；
图3为本发明实施例实现的图像畸变修正示意图；
图4-6为本发明实施例的应用场景示例图；
图7-10为本发明实施例的应用领域示例效果图；
图11为本发明实施例的装置结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明作进一步地详细描述。
本发明的主要设计思想是：通过设备的摄像头和相关传感器，结合人眼的位置、AR设备的位置、角度等参数，对AR设备拍摄到的图像进行修正，以达到与人眼实际观察的图像相统一，并且由于不需要额外添加图像采集设备，从而可以有效降低实现成本。
图2为本发明实施例的方法流程示意图，如图2所示，该实施例实现的AR设备显示修正方法主要包括：
步骤201、AR设备启动时根据当前的人眼位置，生成当前的用户视角矩阵。
较佳地，可以按照
Figure BDA0001928793660000041
生成当前的用户视角矩阵，其中，Pe为所述用户视角矩阵，所述人眼位置的坐标为[ex,ey,ez]。
步骤202、所述AR设备根据本设备的图像采集部件与本设备的屏幕之间的相对位置、所述图像采集部件的拍摄配置参数和所述用户视角矩阵，生成当前的用户视角渲染UPR投影矩阵。
较佳地，可以按照PUPR＝PeMr→sMr，计算当前的用户视角渲染UPR投影矩阵。
其中，Mr→s为根据所述图像采集部件与所述屏幕之间的相对位置构建的相对位置向量。该相对位置即两者分别在预设坐标系上的x轴、y轴和z轴上的坐标差值，即(dx,dy,dz)。考虑到UPR投影矩阵的运算需要，可以按照
Figure BDA0001928793660000051
构建Mr→s。
所述Mr为根据所述图像采集部件的拍摄配置参数构建的拍摄参数向量。
在实际应用中，所述拍摄配置参数可由本领域技术人员根据实际需要选择合适的参数，例如，可以包括分辨率、帧率、焦距和/或光圈等参数，但不限于此。
在实际应用中，在构建所述Mr时，为便于计算，可以先对所述拍摄配置参数进行归一化处理，然后再利用归一化处理后的参数生成相应的拍摄参数向量。
步骤203、所述AR设备根据所述UPR投影矩阵，进行用户视角渲染，并显示相应的用户视角渲染场景。
进一步地，AR设备启动后可以采用下述方法实时地根据当前的人眼位置，对UPR投影矩阵进行更新，以实时修正屏幕显示的图像，时刻保持显示图像与实际观察图像无缝对过渡。
所述AR设备对人眼位置进行实时跟踪，根据当前的人眼位置，生成用户视角矩阵；判断当前是否达到预设的UPR投影矩阵更新条件，如果是，则利用当前的用户视角矩阵，对当前的所述UPR投影矩阵进行更新。
这里，具体可以使用2D面部识别技术并结合3D模型，实现人眼位置的追踪，其方法已为本领域技术人员所掌握，在此不再赘述。
较佳地，所述UPR投影矩阵更新条件可以包括当前的用户视角变化量达到预设的视角变化阈值和/或所述UPR投影矩阵的使用时间达到预设时间阈值，但不限于此。
在上述实施例提出的AR设备显示修正方法中，AR设备根据当前的人眼位置，生成用户视角矩阵；然后根据本设备的图像采集部件与本设备的屏幕之间的相对位置、所述图像采集部件的拍摄配置参数以及当前得到的所述用户视角矩阵，生成当前的UPR投影矩阵；最后，基于该UPR投影矩阵，进行用户视角渲染。如此，能够有效修正图像畸变的问题，使得为用户呈现的修正后的图像可以与人眼实际观察的图像相统一(如图3所示)，且不需要额外增加图像采集设备，从而具有较低的实现成本。
具体利用上述方法实施例可以实现如图4-6所示的几种情景优化：
1，AR设备移动时，AR设备可以检测到AR设备与人眼的位移和视角变化，自动修正显示图像，如图4所示。
2，人眼位置发生移动时，AR设备可以检测到AR设备与人眼的位移和视角变化，自动修正显示图像，如图5所示。
3，AR设备发生转动的时候，AR设备可以检测到AR设备与人眼的位移和视角变化，自动修正显示图像，如图6所示。
本发明实施例提供的AR设备显示图像修正方案，具体应用的领域可以包括：无畸变导航、无畸变AR游戏、医疗美容中的妆容对比、身体造影以及设计效果的展示等等(如图7-图10所示)，不限于此。
与上述方法实施例相对应，本发明实施例还提供了一种AR设备显示修正装置，设于AR设备中，如图11所示，该装置包括：
视角矩阵生成单元，用于根据当前的人眼位置，生成当前的用户视角矩阵；
UPR投影矩阵生成单元，用于根据AR设备的图像采集部件与AR设备的屏幕之间的相对位置、所述图像采集部件的拍摄配置参数和所述用户视角矩阵，计算当前的用户视角渲染UPR投影矩阵；
场景渲染单元，用于根据所述UPR投影矩阵，进行用户视角渲染，并显示相应的用户视角渲染场景。
较佳地，所述视角矩阵生成单元，进一步用于对人眼位置进行实时跟踪，根据当前的人眼位置，生成用户视角矩阵；判断当前是否达到预设的UPR投影矩阵更新条件，如果是，则触发UPR投影矩阵生成单元利用当前的用户视角矩阵，对当前的所述UPR投影矩阵进行更新。
较佳地，所述UPR投影矩阵更新条件包括当前的用户视角变化量达到预设的视角变化阈值和/或所述UPR投影矩阵的使用时间达到预设时间阈值。
较佳地，所述视角矩阵生成单元，用于按照
Figure BDA0001928793660000071
生成当前的用户视角矩阵，其中，Pe为所述用户视角矩阵，所述人眼位置的坐标为[ex,ey,ez]。
较佳地，所述视角矩阵生成单元，用于按照PUPR＝PeMr→sMr，生成当前的用户视角渲染UPR投影矩阵；其中，Mr→s为根据所述图像采集部件与所述屏幕之间的相对位置构建的相对位置向量，所述Mr为根据所述图像采集部件的拍摄配置参数构建的拍摄参数向量。
本发明实施例还提供了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储指令，其特征在于，所述指令在由处理器执行时使得所述处理器执行如上述的AR设备显示修正方法的步骤。
本发明实施例还提供了一种电子设备，包括如上述的非易失性计算机可读存储介质、以及可访问所述非易失性计算机可读存储介质的所述处理器。
另外，本发明的每一个实施例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然，数据处理程序构成了本发明。此外，通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和或内存)中执行。因此，这样的存储介质也构成了本发明。存储介质可以使用任何类型的记录方式，例如纸张存储介质(如纸带等)、磁存储介质(如软盘、硬盘、闪存等)、光存储介质(如CD-ROM等)、磁光存储介质(如MO等)等。
因此本发明还公开了一种存储介质，其中存储有数据处理程序，该数据处理程序用于执行本发明上述方法的任何一种实施例。
另外，本发明所述的方法步骤除了可以用数据处理程序来实现，还可以由硬件来实现，例如，可以由逻辑门、开关、专用集成电路(ASIC)、可编程逻辑控制器和嵌入微控制器等来实现。因此这种可以实现本发明所述方法的硬件也可以构成本发明。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种AR设备显示修正方法，其特征在于，包括：
AR设备启动时根据当前的人眼位置，生成当前的用户视角矩阵；
所述AR设备根据本设备的图像采集部件与本设备的屏幕之间的相对位置、所述图像采集部件的拍摄配置参数和所述用户视角矩阵，生成当前的用户视角渲染UPR投影矩阵；
所述AR设备根据所述UPR投影矩阵，进行用户视角渲染，并显示相应的用户视角渲染场景。
2.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
所述AR设备对人眼位置进行实时跟踪，根据当前的人眼位置，生成用户视角矩阵；
判断当前是否达到预设的UPR投影矩阵更新条件，如果是，则利用当前的用户视角矩阵，对当前的所述UPR投影矩阵进行更新。
3.根据权利要求2所述的方法，其特征在于，所述UPR投影矩阵更新条件包括当前的用户视角变化量达到预设的视角变化阈值和/或所述UPR投影矩阵的使用时间达到预设时间阈值。
4.根据权利要求1所述的方法，其特征在于，按照
Figure FDA0001928793650000011
生成当前的用户视角矩阵，其中，Pe为所述用户视角矩阵，所述人眼位置的坐标为[ex,ey,ez]。
5.根据权利要求4所述的方法，其特征在于，按照PUPR＝PeMr→sMr，生成当前的用户视角渲染UPR投影矩阵；其中，Mr→s为根据所述图像采集部件与所述屏幕之间的相对位置构建的相对位置向量，所述Mr为根据所述图像采集部件的拍摄配置参数构建的拍摄参数向量。
6.一种AR设备显示修正装置，其特征在于，设于AR设备中，包括：
视角矩阵生成单元，用于根据当前的人眼位置，生成当前的用户视角矩阵；
UPR投影矩阵生成单元，用于根据AR设备的图像采集部件与AR设备的屏幕之间的相对位置、所述图像采集部件的拍摄配置参数和所述用户视角矩阵，计算当前的用户视角渲染UPR投影矩阵；
场景渲染单元，用于根据所述UPR投影矩阵，进行用户视角渲染，并显示相应的用户视角渲染场景。
7.根据权利要求6所述的装置，其特征在于，所述视角矩阵生成单元，进一步用于对人眼位置进行实时跟踪，根据当前的人眼位置，生成用户视角矩阵；判断当前是否达到预设的UPR投影矩阵更新条件，如果是，则触发UPR投影矩阵生成单元利用当前的用户视角矩阵，对当前的所述UPR投影矩阵进行更新。
8.根据权利要求7所述的装置，其特征在于，所述UPR投影矩阵更新条件包括当前的用户视角变化量达到预设的视角变化阈值和/或所述UPR投影矩阵的使用时间达到预设时间阈值。
9.根据权利要求6所述的装置，其特征在于，所述视角矩阵生成单元，用于按照
Figure FDA0001928793650000021
生成当前的用户视角矩阵，其中，Pe为所述用户视角矩阵，所述人眼位置的坐标为[ex,ey,ez]。
10.根据权利要求9所述的装置，其特征在于，所述视角矩阵生成单元，用于按照PUPR＝PeMr→sMr，生成当前的用户视角渲染UPR投影矩阵；其中，Mr→s为根据所述图像采集部件与所述屏幕之间的相对位置构建的相对位置向量，所述Mr为根据所述图像采集部件的拍摄配置参数构建的拍摄参数向量。
11.一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储指令，其特征在于，所述指令在由处理器执行时使得所述处理器执行如权利要求1至5中任一项所述的AR设备显示修正方法的步骤。
12.一种电子设备，其特征在于，包括如权利要求11所述的非易失性计算机可读存储介质、以及可访问所述非易失性计算机可读存储介质的所述处理器。
CN201811653173.8A 2018-12-29 2018-12-29 一种ar设备的显示修正方法和装置 Active CN109725728B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811653173.8A CN109725728B (zh) 2018-12-29 2018-12-29 一种ar设备的显示修正方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811653173.8A CN109725728B (zh) 2018-12-29 2018-12-29 一种ar设备的显示修正方法和装置

Publications (2)

Publication Number Publication Date
CN109725728A CN109725728A (zh) 2019-05-07
CN109725728B true CN109725728B (zh) 2022-02-08

Family

ID=66299539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811653173.8A Active CN109725728B (zh) 2018-12-29 2018-12-29 一种ar设备的显示修正方法和装置

Country Status (1)

Country Link
CN (1) CN109725728B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021237430A1 (en) * 2020-05-26 2021-12-02 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method of controlling image creating display device, and image creating display device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600672A (zh) * 2016-11-29 2017-04-26 上海金陵电子网络股份有限公司 一种基于网络的分布式同步渲染系统和方法
CN108921050A (zh) * 2018-06-14 2018-11-30 华中科技大学 一种基于移动端的虚拟现实图像处理系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106412562B (zh) * 2015-07-31 2019-10-25 深圳超多维科技有限公司 三维场景中显示立体内容的方法及其系统
CN105704468B (zh) * 2015-08-31 2017-07-18 深圳超多维光电子有限公司 用于虚拟和现实场景的立体显示方法、装置及电子设备
TW201901528A (zh) * 2017-05-22 2019-01-01 宏達國際電子股份有限公司 眼球追蹤方法、電子裝置及非暫態電腦可讀取記錄媒體
CN107564089B (zh) * 2017-08-10 2022-03-01 腾讯科技（深圳）有限公司 三维图像处理方法、装置、存储介质和计算机设备
CN108830939B (zh) * 2018-06-08 2022-06-10 杭州群核信息技术有限公司 一种基于混合现实的场景漫游体验方法及体验系统
CN109063671A (zh) * 2018-08-20 2018-12-21 三星电子（中国）研发中心 用于智能化妆的方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600672A (zh) * 2016-11-29 2017-04-26 上海金陵电子网络股份有限公司 一种基于网络的分布式同步渲染系统和方法
CN108921050A (zh) * 2018-06-14 2018-11-30 华中科技大学 一种基于移动端的虚拟现实图像处理系统

Also Published As

Publication number Publication date
CN109725728A (zh) 2019-05-07

Similar Documents

Publication Publication Date Title
CN107646126B (zh) 用于移动设备的相机姿态估计
CN109743892B (zh) 虚拟现实内容的显示方法和装置
US9253480B2 (en) Image display device, image display method, and image correction method
US9030493B2 (en) Image processing system, method and apparatus, and computer-readable medium recording image processing program
CN110322542B (zh) 重建真实世界3d场景的视图
CN109445103B (zh) 显示画面的更新方法及装置、储存介质、电子装置
CN109791433A (zh) 预测式中心凹虚拟现实系统
KR20180027361A (ko) 증강 현실 장면을 재생할 때 자동 줌을 위한 방법들, 디바이스들, 및 시스템들
CN109074681A (zh) 信息处理装置、信息处理方法和程序
KR102539427B1 (ko) 화상 처리장치, 화상 처리방법, 및 기억매체
CN103414844A (zh) 视频抖动修正方法及装置
US8965105B2 (en) Image processing device and method
CN112348968B (zh) 增强现实场景下的展示方法、装置、电子设备及存储介质
KR20180043609A (ko) 디스플레이 장치 및 디스플레이 장치의 영상 처리 방법
CN109840946B (zh) 虚拟对象显示方法及装置
JP2017195552A (ja) 画像処理装置および画像処理方法
KR101148508B1 (ko) 모바일 기기 디스플레이의 표시 장치 및 그 방법, 이를 이용하는 모바일 기기
CN108830944B (zh) 光学透视式三维近眼显示系统及显示方法
CN110895433B (zh) 用于增强现实中用户交互的方法和装置
CN109725728B (zh) 一种ar设备的显示修正方法和装置
US20230047470A1 (en) Information processing apparatus, information processing method, and computer-readable recording medium
CN108027646B (zh) 一种终端显示防抖方法及装置
JP2004326179A (ja) 画像処理装置、画像処理方法および画像処理プログラムならびに画像処理プログラムを記録した記録媒体
CN109934168B (zh) 人脸图像映射方法及装置
JP6456551B1 (ja) 光学機器制御装置、光学機器制御方法、及び光学機器制御プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant