CN113347410A - 一种利用陀螺仪辅助人眼追踪的3d显示方法及装置 - Google Patents

一种利用陀螺仪辅助人眼追踪的3d显示方法及装置 Download PDF

Info

Publication number
CN113347410A
CN113347410A CN202110608293.1A CN202110608293A CN113347410A CN 113347410 A CN113347410 A CN 113347410A CN 202110608293 A CN202110608293 A CN 202110608293A CN 113347410 A CN113347410 A CN 113347410A
Authority
CN
China
Prior art keywords
gyroscope
human eye
data
display
pitch angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110608293.1A
Other languages
English (en)
Other versions
CN113347410B (zh
Inventor
贺曙
高炜
徐万良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Future Technology Co ltd
Original Assignee
Guangdong Future Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Future Technology Co ltd filed Critical Guangdong Future Technology Co ltd
Priority to CN202110608293.1A priority Critical patent/CN113347410B/zh
Publication of CN113347410A publication Critical patent/CN113347410A/zh
Application granted granted Critical
Publication of CN113347410B publication Critical patent/CN113347410B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种利用陀螺仪辅助人眼追踪的3D显示方法及装置，用于使观看者能够对3D场景进行更全面实时的的观察3D显示，陀螺仪辅助人眼追踪的装置包括摄像头，陀螺仪，数据处理器，3D显示模块，所述数据处理器分别于陀螺仪、摄像头、3D显示模块电性连接，利用陀螺仪高帧率数据以填补所述摄像头低帧率数据产生的帧间空白时间，依据陀螺仪数据和运动惯性计算人眼位置，从而填补了摄像头捕捉人眼的帧间空隙，使得3D显示延迟更低。

Description

一种利用陀螺仪辅助人眼追踪的3D显示方法及装置
【技术领域】
本发明涉及人眼识别跟踪及3D显示技术领域，特别涉及一种利用陀螺仪辅助人眼追踪的3D显示方法及装置。
【背景技术】
裸眼3D技术是根据人眼的视差来实现的，即人的左眼和右眼在观察同一个目标时会有图像上的差异，左眼看到的影像跟右眼看到的影像在大脑里合成就成为我们看到的3D内容；由此，通过在屏幕上做一些处理，将存在视差的图像分别映射到人的左眼和右眼，人看起来就是3D影像了。
然而市场上主流移动设备的前置摄像头最高帧率为30fps，捕捉人眼并计算空间位置需消耗大量资源而帧率更低，因其帧率过低使得使用者在移动设备上玩裸眼3d游戏或手抖的时候容易导致相机无法实时的捕捉到人眼的位置，且无法即时的对游戏的场景进行旋转操作，容易出现延迟现象，影响使用者的体验。
【发明内容】
为了克服目前现有技术中前置摄像头帧率较低导致相机无法实时的捕捉到人眼的位置且无法即时的对游戏的场景进行旋转操作的问题，本发明提供一种利用陀螺仪辅助人眼追踪的3D显示方法及装置。
本发明为解决上述技术问题，提供的技术方案如下：本发明提供了一种利用陀螺仪辅助人眼追踪的显示方法及装置，用于使观看者能够对3D场景进行全面的观察，该方法包括以下步骤，
步骤S1：通过摄像头对人眼进行检测，每一次检测到人眼位置时计算得出初始人眼位置数据；
步骤S2：当所述3D显示场景下一次刷新时，获取当前时刻所述陀螺仪的俯仰角变化值；
步骤S3：将所述陀螺仪的俯仰角变化值与所述初始人眼位置数据叠加以得出最终人眼位置角度数据，将所述最终人眼位置角度数据上传至3D显示模块以调整所述3D显示场景。
优选地，在所述步骤S1中，所述初始人眼位置数据包括所述人眼与显示屏之间的观察角度数据和观察距离数据，所述显示屏为用于将3D显示场景图像化的设备，
所述计算得出初始人眼位置数据，包括：
通过所述摄像头获取人脸图像，确定所述人脸图像中左瞳孔位置(x1，y1)和右瞳孔位置(x2，y2)；
根据所述左瞳孔位置(x1，y1)和所述右瞳孔位置(x2，y2)计算图像左右瞳距；
通过所述左右瞳孔相对画面原点的偏离，计算得出横向视角为α＝(x2-x1)*A，纵向视角为β＝(y2-y1)*A，其中所述A为视角校准常量数据；
根据所述横向视角和所述纵向视角计算出观察角度δ，并根据所述观察角度δ计算观察距离数据M＝l*B/cosδ，其中所述B为视距校准常量数据，所述l用于表示所述左右瞳距。。
优选地，在所述步骤S2中，通过所述摄像头获取人脸图像，计算出最终人眼位置数据，并对所述3D显示模块构建的3D显示场景进行刷新，获取当前时刻陀螺仪俯仰角值并存储。
优选地，所述步骤S2进一步包括以下步骤：所述步骤S2进一步包括以下步骤：
步骤S21：读取存储的所述陀螺仪的第一俯仰角值V1；
步骤S22：监听显示屏刷新指令，计算出所述陀螺仪在显示屏刷新时的第二俯仰角值V2；
步骤S23：根据所述第一俯仰角值V1和所述第二俯仰角值V2得出所述陀螺仪的俯仰角变化值，并存储所述第二俯仰角值V2；
在所述步骤S21中，所述第一俯仰角值V1在三维标准坐标系的坐标值为(aax1,aay1,aaz1)；
在所述步骤S22中，所述第二俯仰角值V2在三维标准坐标系的坐标值为(aax2,aay2,aaz2)；
在所述步骤S23中，所述俯仰角变化值的计算公式为：Vp＝V2-V1，其中Vp为所述陀螺仪在所述显示屏刷新前后的俯仰角变化值，所述俯仰角变化值Vp在三维标准坐标系中的坐标值为(aax2-aax1，aay2-aay1，aaz2-aaz1)优选地，在所述步骤S1中，所述人眼与所述显示屏之间的角度数据为V0，其在三维标准坐标系中的坐标值为(Ax0，Ay0,Az0)，所述V0代表当前所述人眼与所述显示屏在三维标准坐标系中的角度关系。在所述步骤S3中，所述最终人眼位置角度数据为Vx，其计算公式为：Vx＝V0+Vp。
优选地，所述步骤S3进一步包括以下步骤：所述最终人眼位置角度数据Vx输入到所述3D显示模块后，所述3D显示模块根据所述最终人眼位置角度数据Vx将当前3D显示场景进行旋转，其中，所述3D显示场景的旋转角度，与人眼位置变化角度为相反方向，并具有线性关系，比例为人眼到屏幕距离比3D场景中景物的实际景深，并乘以调节参数。
本发明还提供一种利用陀螺仪辅助人眼追踪的装置，摄像头，陀螺仪，数据处理器，3D显示模块，所述数据处理器分别与所述陀螺仪、所述摄像头所述、3D显示模块电性连接，利用所述陀螺仪的高帧率数据以填补所述摄像头的低帧率数据产生的帧间空白。
与现有技术相比，本发明提供的一种利用陀螺仪辅助人眼追踪的3D显示方法及装置，具有以下优点：
(1)在本发明涉及的利用陀螺仪辅助人眼追踪的3D显示方法及装置中，利用陀螺仪可以在短时间内高频次输出设备姿态信息的特点，通过陀螺仪计算出在相邻两次人眼检测之间陀螺仪的俯仰角变化值以即时输出设备的俯仰状态(即姿态信息)，使得摄像头的帧间空白时间得到了弥补，在一定程度上降低了对摄像头帧率的需求；可以理解的是传统的设备通常只通过前置的摄像头对人眼的位置进行捕捉识别以对虚拟场景进行调整(例如旋转操作等)，然而因传统的摄像头输出帧率过低使得使用者在移动设备上玩裸眼3d游戏的时候容易导致相机无法实时的捕捉到人眼的位置，且无法即时的对游戏的场景进行旋转操作，容易出现延迟现象，而本发明通过增加陀螺仪辅助摄像头对人眼位置进行捕捉识别，不仅提高了输出效率，更有利于降低摄像头的输出帧率，一方面使得设备对摄像头的要求降低，另一方面降低了对摄像头的损耗，提高了设备的耐久性。
(2)在本发明涉及的利用陀螺仪辅助人眼追踪的显示方法及装置中，通过将陀螺仪的俯仰角变化值与初始人眼位置数据叠加以得出最终人眼角度数据，初始人眼位置数据实际上就是前置的摄像头通过人眼检测捕捉到的人眼位置信息，而陀螺仪的俯仰角变化值则记录了每个相邻两次人眼检测中设备的姿态变化信息(包括设备的俯仰角变化信息，即俯仰角变化值)，可以理解的是，通过将初始人眼位置数据及俯仰角变化值相叠加，即可得出精确可靠的最终人眼角度数据以通过立体游戏引擎来调整虚拟场景，计算方便，不需要过多的计算量就可以得出精确可靠的结果，节约了成本更提高了工作效率；进一步地，由于该最终人眼角度数据是通过结合摄像头的图像捕捉技术及陀螺仪的动态捕捉技术得到的，使得最终得出的最终人眼角度数据更为精确可靠，有效地提升了设备的性能，优化了用户的使用体验。
(3)本发明涉及的利用陀螺仪辅助人眼追踪的3D显示方法及装置通过增加陀螺仪以辅助摄像头对人眼位置进行捕捉识别，有效地分担了摄像头的工作压力，使得摄像头的的功耗得到了降低，可以理解的是，摄像头功耗的降低使得设备的整体功耗也得到了降低，节约了能源的同时也使得设备的持续使用时间更为长久，提升了设备的耐用性。
(4)在本发明涉及的利用陀螺仪辅助人眼追踪的3D显示方法及装置中，市场上主流移动设备的前摄最高帧率为30fps，在移动设备上玩游戏触摸屏幕的时候在玩裸眼3d游戏的时候，不可避免的会造成设备轻微的晃动，摄像头无法实时的捕捉到人眼的位置，而本发明通过陀螺仪辅助前置摄像头对人眼位置进行捕捉，即使在晃动中也可以通过陀螺仪实时传输设备的俯仰角变化值对人眼检测的工作进行辅助，解决了传统设备容易因为设备晃动从而导致摄像头无法实时捕捉人眼位置的问题，有效地提升了设备的性能，有利于用户体验的优化。
【附图说明】
图1是本发明第一实施例提供的一种利用陀螺仪辅助人眼追踪的3D显示方法的流程示意框图；
图2是本发明第一实施例提供的一种利用陀螺仪辅助人眼追踪的3D显示方法之步骤S2的流程示意框图；
图3是本发明第一实施例提供的一种利用陀螺仪辅助人眼追踪的3D显示方法之步骤S3的流程示意框图；
图4是本发明第一实施例提供的一种利用陀螺仪辅助人眼追踪的装置之结构示意图。
附图标记：
1、利用陀螺仪辅助人眼追踪的装置；11、显示屏；12、摄像头；13、陀螺仪；14、数据处理器；15、3D显示模块。
【具体实施方式】
为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图及实施实例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的，例如本实施例中，俯仰变化值包括九轴陀螺仪的所有角度数据变化。
请参阅图1，本发明第一实施例提供了一种利用陀螺仪13辅助人眼追踪的3D显示方法及装置，用于使观看者能够对3D场景进行全面的观察，该方法包括以下步骤，步骤S1：通过摄像头12对人眼进行检测，每一次检测到人眼位置时计算得出初始人眼位置数据；步骤S2：当所述3D显示场景下一次刷新时，获取当前时刻所述陀螺仪13的俯仰角变化值；步骤S3：将所述陀螺仪13的俯仰角变化值与所述初始人眼位置数据叠加以得出最终人眼角度数据，并将所述最终人眼位置角度数据上传至3D显示模块以调整所述3D显示场景。
具体地，在步骤S1中，初始人眼位置数据包括所述人眼与所述显示屏11之间的观察角度数据和观察距离数据，所述显示屏11为用于将将3D显示场景图像化的设备；所述计算得出初始人眼位置数据，具体包括：通过所述摄像头12获取人脸图像，确定所述人脸图像中左瞳孔位置(x1，y1)和右瞳孔位置(x2，y2)；根据所述左瞳孔位置(x1，y1)和所述右瞳孔位置(x2，y2)计算图像左右瞳距；通过所述左右瞳孔相对画面原点的偏离，计算得出横向视角为α＝(x2-x1)*A，纵向视角为β＝(y2-y1)*A，其中所述A为视角校准常量数据；根据所述横向视角和所述纵向视角计算出观察角度δ，并根据所述观察角度δ计算观察距离数据M＝l*B/cosδ，其中所述B为视距校准常量数据，所述l用于表示所述左右瞳距。
需要说明的是，所述左右瞳孔相对画面原点的偏离，为所述左右瞳孔之间的中点相对画面原点的偏离。
在本发明第一实施例提供的利用陀螺仪13辅助人眼追踪的3D显示方法中，利用所述陀螺仪13可以在短时间内高频次输出设备姿态信息的特点，通过所述陀螺仪13计算出在相邻两次人眼检测之间所述陀螺仪13的俯仰角变化值以即时输出所述设备的俯仰状态(即姿态信息)，使得所述摄像头12的帧间空白时间得到了弥补，在一定程度上降低了对所述摄像头12帧率的需求；可以理解的是传统的设备通常只通过前置的所述摄像头12对人眼的位置进行捕捉识别以对虚拟场景进行调整(例如旋转操作等)，然而因传统的摄像头12输出帧率过低使得使用者在移动设备上玩裸眼3d游戏的时候容易导致相机无法实时的捕捉到人眼的位置，且无法即时的对游戏的场景进行旋转操作，容易出现延迟现象，而本发明通过增加陀螺仪13辅助摄像头12对人眼位置进行捕捉识别，不仅提高了输出效率，更有利于降低摄像头12的输出帧率，一方面使得设备对摄像头12的要求降低，另一方面降低了对摄像头12的损耗，提高了设备的耐久性。
请参阅图2，在步骤S2中，所述摄像头12获取人脸图像，计算出最终人眼位置数据，并在每一次对人眼位置进行检测后均会对所述3D显示模块构建的3D显示场景进行刷新，即刷新所述显示屏11上显示的图像信息，获取当前时刻所述陀螺仪13的俯仰角值并存储；步骤S2进一步包括以下步骤：步骤S21：读取存储的所述陀螺仪13的第一俯仰角值V1；步骤S22：监听所述显示屏11刷新指令，计算出所述陀螺仪在显示屏刷新时的第二俯仰角值V2；步骤S23：根据所述第一俯仰角值V1和所述第二俯仰角值V2得出所述陀螺仪13的俯仰角变化值，并存储所述第二俯仰角值V2；在所述步骤S21中，所述第一俯仰角值V1在三维标准坐标系的坐标值为(aax1,aay1,aaz1)；在所述步骤S22中，所述第二俯仰角值V2在三维标准坐标系的坐标值为(aax2,aay2,aaz2)，通过三维空间坐标可以直观地反映人眼与设备之间的角度关系，有利于后期计算与观察；在所述步骤S23中，所述俯仰角变化值的计算公式为：Vp＝V2-V1，其中Vp为所述陀螺仪13在所述显示屏刷新前后的俯仰角变化值，所述俯仰角变化值Vp在三维标准坐标系中的坐标值为(aax2-aax1，aay2-aay1，aaz2-aaz1)。
可以理解的是，通过将所述陀螺仪13的俯仰角变化值与初始人眼位置数据叠加以得出最终人眼角度数据，初始人眼位置数据实际上就是前置的摄像头12通过人眼检测捕捉到的人眼位置信息，而陀螺仪13的俯仰角变化值则记录了每个相邻两次人眼检测中设备的姿态变化信息(包括设备的俯仰角变化信息，即俯仰角变化值)，可以理解的是，通过将初始人眼位置数据及俯仰角变化值相叠加，即可得出精确可靠的最终人眼角度数据以通过立体游戏引擎来调整虚拟场景，计算方便，不需要过多的计算量就可以得出精确可靠的结果，节约了成本更提高了工作效率；进一步地，由于该最终人眼角度数据是通过结合摄像头12的图像捕捉技术及陀螺仪13的动态捕捉技术得到的，使得最终得出的最终人眼角度数据更为精确可靠，有效地提升了设备的性能，优化了用户的使用体验。
具体地，在所述步骤S1中，所述人眼与所述显示屏之间的角度数据为V0，其在三维标准坐标系中的坐标值为(Ax0，Ay0,Az0)，所述V0代表当前所述人眼与所述显示屏11在三维标准坐标系中的角度关系；
具体地，在所述步骤S3中，所述最终人眼位置角度数据为Vx，其计算公式为：Vx＝V0+Vp。将陀螺仪13的俯仰角变化值与初始人眼位置数据叠加，最终可以得出精确可靠的最终人眼角度数据。
具体地，步骤S3进一步包括以下步骤，具体如图3所述：所述最终人眼位置角度数据Vx输入到所述3D显示模块后，即步骤S31：所述3D显示模块接收所述最终人眼位置角度数据Vx；S32：所述3D显示模块根据所述最终人眼位置角度数据Vx将当前3D显示场景进行旋转或移动，其中，所述3D显示场景的旋转角度，与人眼位置变化角度为相反方向，并具有线性关系，比例为人眼到屏幕距离比3D场景中景物的实际景深，并乘以调节参数，以带给用户体验更为真实的3D虚拟场景。进一步地，市场上主流移动设备的前摄最高帧率为30fps，而陀螺仪13可以每秒输出1000次设备当前的姿态信息，即1ms即可输出一次设备的俯仰状态，远超前置摄像头1230fps的输出速度，故利用陀螺仪13可以高频率、高速率输出设备的俯仰状态的这一特点，极大地提升了人眼检测(及捕捉识别人眼位置)的效率；可以理解的是，当用户在移动设备上玩游戏触摸屏幕的时候在玩裸眼3d游戏的时候，不可避免的会造成设备轻微的晃动，摄像头12无法实时的捕捉到人眼的位置，而本发明通过陀螺仪13辅助前置摄像头12对人眼位置进行捕捉，即使在晃动中也可以通过陀螺仪13实时传输设备的俯仰角变化值对人眼检测的工作进行辅助，解决了传统设备容易因为设备晃动从而导致摄像头12无法实时捕捉人眼位置的问题，有效地提升了设备的性能，有利于用户体验的优化。
请参阅图4，本发明还提供一种利用陀螺仪13辅助人眼追踪的装置1，利用陀螺仪13辅助人眼追踪的装置适用于上述利用陀螺仪13辅助人眼追踪的显示方法；利用陀螺仪13辅助人眼追踪的装置包括摄像头12及陀螺仪13、数据处理器14和3D显示模块15，所述数据处理器14分别与所述陀螺仪13、所述摄像头12、所述3D显示模块15电性连接，利用所述陀螺仪13的高帧率数据以填补所述摄像头12的低帧率数据产生的帧间空白。
具体地，本发明涉及的利用陀螺仪13辅助人眼追踪的3D显示方法及装置通过增加陀螺仪13以辅助摄像头12对人眼位置进行捕捉识别，有效地分担了摄像头12的工作压力，使得摄像头12的的功耗得到了降低，可以理解的是，摄像头12功耗的降低使得设备的整体功耗也得到了降低，节约了能源的同时也使得设备的持续使用时间更为长久，提升了设备的耐用性。
与现有技术相比，本发明提供的一种利用陀螺仪辅助人眼追踪的显示方法及装置，具有以下优点：
(1)在本发明涉及的利用陀螺仪辅助人眼追踪的显示方法及装置中，利用陀螺仪可以在短时间内高频次输出设备姿态信息的特点，通过陀螺仪计算出在相邻两次人眼检测之间陀螺仪的俯仰角变化值以即时输出设备的俯仰状态(即姿态信息)，使得摄像头的帧间空白时间得到了弥补，在一定程度上降低了对摄像头帧率的需求；可以理解的是传统的设备通常只通过前置的摄像头对人眼的位置进行捕捉识别以对虚拟场景进行调整(例如旋转操作等)，然而因传统的摄像头输出帧率过低使得使用者在移动设备上玩裸眼3d游戏的时候容易导致相机无法实时的捕捉到人眼的位置，且无法即时的对游戏的场景进行旋转操作，容易出现延迟现象，而本发明通过增加陀螺仪辅助摄像头对人眼位置进行捕捉识别，不仅提高了输出效率，更有利于降低摄像头的输出帧率，一方面使得设备对摄像头的要求降低，另一方面降低了对摄像头的损耗，提高了设备的耐久性。
(2)在本发明涉及的利用陀螺仪辅助人眼追踪的显示方法及装置中，通过将陀螺仪的俯仰角变化值与初始人眼位置数据叠加以得出最终人眼角度数据，初始人眼位置数据实际上就是前置的摄像头通过人眼检测捕捉到的人眼位置信息，而陀螺仪的俯仰角变化值则记录了每个相邻两次人眼检测中设备的姿态变化信息(包括设备的俯仰角变化信息，即俯仰角变化值)，可以理解的是，通过将初始人眼位置数据及俯仰角变化值相叠加，即可得出精确可靠的最终人眼角度数据以通过立体游戏引擎来调整虚拟场景，计算方便，不需要过多的计算量就可以得出精确可靠的结果，节约了成本更提高了工作效率；进一步地，由于该最终人眼角度数据是通过结合摄像头的图像捕捉技术及陀螺仪的动态捕捉技术得到的，使得最终得出的最终人眼角度数据更为精确可靠，有效地提升了设备的性能，优化了用户的使用体验。
(3)本发明涉及的利用陀螺仪辅助人眼追踪的显示方法及装置通过增加陀螺仪以辅助摄像头对人眼位置进行捕捉识别，有效地分担了摄像头的工作压力，使得摄像头的的功耗得到了降低，可以理解的是，摄像头功耗的降低使得设备的整体功耗也得到了降低，节约了能源的同时也使得设备的持续使用时间更为长久，提升了设备的耐用性。
(4)在本发明涉及的利用陀螺仪辅助人眼追踪的显示方法及装置中，市场上主流移动设备的前摄最高帧率为30fps，在移动设备上玩游戏触摸屏幕的时候在玩裸眼3d游戏的时候，不可避免的会造成设备轻微的晃动，摄像头无法实时的捕捉到人眼的位置，而本发明通过陀螺仪辅助前置摄像头对人眼位置进行捕捉，即使在晃动中也可以通过陀螺仪实时传输设备的俯仰角变化值对人眼检测的工作进行辅助，解决了传统设备容易因为设备晃动从而导致摄像头无法实时捕捉人眼位置的问题，有效地提升了设备的性能，有利于用户体验的优化。

Claims (7)

1.一种利用陀螺仪辅助人眼追踪的3D显示方法，用于使观看者能够对3D显示场景进行全面和实时的观察，其特征在于：该方法包括以下步骤，
步骤S1：通过摄像头对人眼进行检测，每一次检测到人眼位置时计算得出初始人眼位置数据；
步骤S2：当所述3D显示场景下一次刷新时，获取当前时刻所述陀螺仪的俯仰角变化值；
步骤S3：将所述陀螺仪的俯仰角变化值与所述初始人眼位置数据叠加以得出最终人眼位置角度数据，将所述最终人眼位置角度数据上传至3D显示模块以调整所述3D显示场景。
2.如权利要求1所述的一种利用陀螺仪辅助人眼追踪的3D显示方法，其特征在于，包括：
在所述步骤S1中，所述初始人眼位置数据包括所述人眼与显示屏之间的观察角度数据和观察距离数据，所述显示屏为用于将3D显示场景图像化的设备，
所述计算得出初始人眼位置数据，包括：
通过所述摄像头获取人脸图像，确定所述人脸图像中左瞳孔位置(x1，y1)和右瞳孔位置(x2，y2)；
根据所述左瞳孔位置(x1，y1)和所述右瞳孔位置(x2，y2)计算图像左右瞳距；
通过所述左右瞳孔相对画面原点的偏离，计算得出横向视角为α＝(x2-x1)*A，纵向视角为β＝(y2-y1)*A，其中所述A为视角校准常量数据；
根据所述横向视角和所述纵向视角计算出观察角度δ，并根据所述观察角度δ计算观察距离数据M＝l*B/cosδ，其中所述B为视距校准常量数据，所述l用于表示所述左右瞳距。
3.如权利要求1所述的一种利用陀螺仪辅助人眼追踪的3D显示方法，其特征在于，包括：
在所述步骤S2中，通过所述摄像头获取人脸图像，计算出最终人眼位置数据，并对所述3D显示模块构建的3D显示场景进行刷新，获取当前时刻陀螺仪俯仰角值并存储。
4.如权利要求3所述的一种利用陀螺仪辅助人眼追踪的3D显示方法，其特征在于，包括：
所述步骤S2进一步包括以下步骤：
步骤S21：读取存储的所述陀螺仪的第一俯仰角值V1；
步骤S22：监听显示屏刷新指令，计算出所述陀螺仪在显示屏刷新时的第二俯仰角值V2；
步骤S23：根据所述第一俯仰角值V1和所述第二俯仰角值V2得出所述陀螺仪的俯仰角变化值，并存储所述第二俯仰角值V2；
在所述步骤S21中，所述第一俯仰角值V1在三维标准坐标系的坐标值为(aax1,aay1,aaz1)；
在所述步骤S22中，所述第二俯仰角值V2在三维标准坐标系的坐标值为(aax2,aay2,aaz2)；
在所述步骤S23中，所述俯仰角变化值的计算公式为：Vp＝V2-V1，其中Vp为所述陀螺仪在所述显示屏刷新前后的俯仰角变化值，所述俯仰角变化值Vp在三维标准坐标系中的坐标值为(aax2-aax1，aay2-aay1，aaz2-aaz1)。
5.如权利要求3所述的一种利用陀螺仪辅助人眼追踪的3D显示方法，其特征在于：
在所述步骤S1中，所述人眼与所述显示屏之间的角度数据为V0，其在三维标准坐标系中的坐标值为(Ax0，Ay0,Az0)，所述V0代表当前所述人眼与所述显示屏在三维标准坐标系中的角度关系；
在所述步骤S3中，所述最终人眼位置角度数据为Vx，其计算公式为：Vx＝V0+Vp。
6.如权利要求5所述的一种利用陀螺仪辅助人眼追踪的3D显示方法，其特征在于：所述步骤S3进一步包括以下步骤：
所述最终人眼位置角度数据Vx输入到所述3D显示模块后，所述3D显示模块根据所述最终人眼位置角度数据Vx将当前3D显示场景进行旋转，其中，所述3D显示场景的旋转角度，与人眼位置变化角度为相反方向，并具有线性关系。
7.一种利用陀螺仪辅助人眼追踪的装置，其特征在于：所述利用陀螺仪辅助人眼追踪的装置适用于如权利要求1-6任一项所述的利用陀螺仪辅助人眼追踪的3D显示方法；
所述利用陀螺仪辅助人眼追踪的装置包括：摄像头，陀螺仪，数据处理器，3D显示模块，所述数据处理器分别与所述陀螺仪、所述摄像头、所述3D显示模块电性连接，利用所述陀螺仪的高帧率数据以填补所述摄像头的低帧率数据产生的帧间空白。
CN202110608293.1A 2021-06-01 2021-06-01 一种利用陀螺仪辅助人眼追踪的3d显示方法及装置 Active CN113347410B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110608293.1A CN113347410B (zh) 2021-06-01 2021-06-01 一种利用陀螺仪辅助人眼追踪的3d显示方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110608293.1A CN113347410B (zh) 2021-06-01 2021-06-01 一种利用陀螺仪辅助人眼追踪的3d显示方法及装置

Publications (2)

Publication Number Publication Date
CN113347410A true CN113347410A (zh) 2021-09-03
CN113347410B CN113347410B (zh) 2022-12-30

Family

ID=77474075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110608293.1A Active CN113347410B (zh) 2021-06-01 2021-06-01 一种利用陀螺仪辅助人眼追踪的3d显示方法及装置

Country Status (1)

Country Link
CN (1) CN113347410B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114928739A (zh) * 2022-02-11 2022-08-19 广东未来科技有限公司 3d显示方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08339042A (ja) * 1995-06-12 1996-12-24 Minolta Co Ltd 映像表示装置
CN1845612A (zh) * 2005-04-08 2006-10-11 三星电子株式会社 使用混合位置跟踪系统的三维显示装置和方法
US20120038627A1 (en) * 2010-08-12 2012-02-16 Samsung Electronics Co., Ltd. Display system and method using hybrid user tracking sensor
CN102681849A (zh) * 2012-05-07 2012-09-19 禹芙蓉 手持移动终端的数字时间3d显示方法
CN108600733A (zh) * 2018-05-04 2018-09-28 成都泰和万钟科技有限公司 一种基于人眼跟踪的裸眼3d显示方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08339042A (ja) * 1995-06-12 1996-12-24 Minolta Co Ltd 映像表示装置
CN1845612A (zh) * 2005-04-08 2006-10-11 三星电子株式会社 使用混合位置跟踪系统的三维显示装置和方法
US20120038627A1 (en) * 2010-08-12 2012-02-16 Samsung Electronics Co., Ltd. Display system and method using hybrid user tracking sensor
CN102681849A (zh) * 2012-05-07 2012-09-19 禹芙蓉 手持移动终端的数字时间3d显示方法
CN108600733A (zh) * 2018-05-04 2018-09-28 成都泰和万钟科技有限公司 一种基于人眼跟踪的裸眼3d显示方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114928739A (zh) * 2022-02-11 2022-08-19 广东未来科技有限公司 3d显示方法、装置及存储介质
WO2023216619A1 (zh) * 2022-02-11 2023-11-16 广东未来科技有限公司 3d 显示方法和 3d 显示设备

Also Published As

Publication number Publication date
CN113347410B (zh) 2022-12-30

Similar Documents

Publication Publication Date Title
CN109615703B (zh) 增强现实的图像展示方法、装置及设备
US10269177B2 (en) Headset removal in virtual, augmented, and mixed reality using an eye gaze database
CN108921050B (zh) 一种基于移动端的虚拟现实图像处理系统
US8848035B2 (en) Device for generating three dimensional surface models of moving objects
WO2012046270A1 (en) Generation of depth data based on spatial light pattern
US20100182409A1 (en) Signal processing device, image display device, signal processing method, and computer program
CN104584531A (zh) 图像处理装置以及图像显示装置
US20140300703A1 (en) Image processing apparatus, image processing method, and program
TWI788739B (zh) 3d顯示設備、3d圖像顯示方法
CN110163898A (zh) 一种深度信息配准方法及装置
EP3779892A1 (en) Light-field image generation system, image display system, shape information acquisition server, image generation server, display device, light-field image generation method and image display method
KR101198557B1 (ko) 시청자세를 반영하는 3차원 입체영상 생성 시스템 및 방법
CN110969706B (zh) 增强现实设备及其图像处理方法、系统以及存储介质
US20210377515A1 (en) Information processing device, information processing method, and program
CN113347410B (zh) 一种利用陀螺仪辅助人眼追踪的3d显示方法及装置
Tong et al. Optical distortions in VR bias the perceived slant of moving surfaces
CN113259650A (zh) 一种基于人眼追踪立体影像显示方法、装置、介质及系统
JP5759439B2 (ja) 映像コミュニケーションシステム及び映像コミュニケーション方法
KR20130076050A (ko) 깊이 카메라를 이용한 3차원 집적영상 획득방법 및 디스플레이 장치
CN220913659U (zh) 一种三维模型重建装置
CN107644680A (zh) 健康状态检测方法、装置和终端设备
KR102461980B1 (ko) 3차원 지도의 생성 방법
RU2490819C1 (ru) Способ получения стереоскопических телевизионных изображений с автоматическим измерением предметного пространства в реальном времени
Hallerbach Development of a toolset and benchmark framework for monocular event-based depth extraction
Pelletier et al. Real-time free viewpoint video from a range sensor and color cameras

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant