CN114356081A - 图像校正方法、装置、电子设备及头戴显示设备 - Google Patents
图像校正方法、装置、电子设备及头戴显示设备 Download PDFInfo
- Publication number
- CN114356081A CN114356081A CN202111560897.XA CN202111560897A CN114356081A CN 114356081 A CN114356081 A CN 114356081A CN 202111560897 A CN202111560897 A CN 202111560897A CN 114356081 A CN114356081 A CN 114356081A
- Authority
- CN
- China
- Prior art keywords
- acceleration
- head
- mounted display
- display device
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000003702 image correction Methods 0.000 title claims abstract description 17
- 230000001133 acceleration Effects 0.000 claims abstract description 238
- 238000001514 detection method Methods 0.000 claims abstract description 56
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000006073 displacement reaction Methods 0.000 claims description 37
- 238000004590 computer program Methods 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000005452 bending Methods 0.000 claims 3
- 230000003190 augmentative effect Effects 0.000 abstract description 12
- 239000011521 glass Substances 0.000 description 23
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 210000001097 facial muscle Anatomy 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本公开涉及一种图像校正方法、装置、电子设备及头戴显示设备，涉及增强现实设备的图像处理技术领域，所述方法包括：获取头戴显示设备的第一加速度和第二加速度，其中，所述第一加速度表征所述头戴显示设备的检测部的检测部加速度，所述第二加速度表征所述头戴显示设备的设定标定部的标定部加速度，所述检测部和所述设定标定部在所述头戴显示设备按照预设间隔设置；根据所述第一加速度和所述第二加速度，得到所述头戴显示设备的目标偏移量，其中，所述目标偏移量表征所述头戴显示设备的佩戴者的眼睛与所述显示部件的相对偏移量；根据所述目标偏移量对所述头戴显示设备的待显示图像进行校正。
Description
技术领域
本公开实施例涉及增强现实设备的图像处理技术领域，更具体地，涉及图像校正方法、装置、电子设备及头戴显示设备。
背景技术
近年来，增强现实(Augmented Reality，下文简称为AR)技术逐渐兴起，AR应用越来越受到大众的欢迎，相应的AR眼镜的需求与日俱增。
人们在佩戴AR眼镜的过程中也会出现一些问题，例如，当AR眼镜的佩戴者在使用的过程中与人交谈时，面部肌肉自然会出现舒张，面部肌肉的舒张又会造成AR眼镜上下抖动，从而使得AR眼镜中的图像来回晃动，严重影响了佩戴者的使用体验。
基于上述缺点，为了提高消费者的使用体验，解决因佩戴者的交谈带来的图像抖动是亟需解决的问题。
发明内容
本公开实施例的一个目的是提供一种图像校正方法、装置、电子设备及头戴显示设备的新的技术方案。
根据本公开的第一方面，提供一种图像校正方法，应用于头戴显示设备，所述头戴显示设备包括显示部件和穿戴本体，所述显示部件用于显示图像，所述穿戴本体用于固定所述显示部件，所述方法包括：获取头戴显示设备的第一加速度和第二加速度，其中，所述第一加速度表征所述头戴显示设备的检测部的检测部加速度，所述第二加速度表征所述头戴显示设备的设定标定部的标定部加速度，所述检测部和所述标定部在所述头戴显示设备按照预设间隔设置；根据所述第一加速度和所述第二加速度，得到所述头戴显示设备的目标偏移量，其中，所述目标偏移量表征所述头戴显示设备的佩戴者的眼睛与所述显示部件的相对偏移量；根据所述目标偏移量对所述头戴显示设备的待显示图像进行校正。
可选地，所述根据所述第一加速度和所述第二加速度，得到所述头戴显示设备的目标偏移量，包括：对所述第一加速度和所述第二加速度进行矢量计算，得到目标加速度，所述目标加速度包括加速度值和方向信息；根据所述目标加速度，得到所述目标偏移量。
可选地，所述根据所述目标加速度，得到所述目标偏移量，包括：对所述目标加速度进行积分运算，得到所述头戴显示设备的位移值；根据所述位移值和所述目标加速度的方向信息得到所述目标偏移量，其中，所述头戴显示设备的偏移方向与所述目标加速度的方向信息一致。
可选地，所述根据所述目标偏移量对所述头戴显示设备的待显示图像进行校正，包括：对所述待显示图像进行与所述目标偏移量的方向相反、位移值相同的补偿校正。
可选地，所述检测部为多个，所述获取头戴显示设备的第一加速度和第二加速度，包括：获取所述头戴显示设备的多个所述检测部的所述检测部加速度，根据多个所述检测部加速度的均值，得到所述第一加速度；以及，获取多个所述设定标定部的多个所述标定部加速度，根据多个所述标定部加速度的均值，得到所述第二加速度。
根据本公开的第二方面，还提供了一种图像校正装置，所述装置包括：数据获取模块，用于获取头戴显示设备的第一加速度和第二加速度，其中，所述头戴显示设备包括显示部件和穿戴本体，所述显示部件用于显示图像，所述穿戴本体用于固定所述显示部件，所述第一加速度表征所述头戴显示设备的检测部的检测部加速度，所述第二加速度表征所述头戴显示设备的设定标定部的标定部加速度，所述检测部和所述标定部在所述头戴显示设备按照预设间隔设置；数据处理模块，用于根据所述第一加速度和所述第二加速度，得到所述头戴显示设备的目标偏移量，其中，所述目标偏移量表征所述头戴显示设备的佩戴者的眼睛与所述显示部件的相对偏移量；校正模块，用于根据所述目标偏移量对所述头戴显示设备的待显示图像进行校正。
根据本公开的第三方面，还提供了一种电子设备，包括存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序，以实现根据第一方面中任意一项所述的方法。
根据本公开的第四方面，提供一种头戴显示设备，包括：穿戴部件，所述穿戴部件包括显示部件和穿戴本体，所述显示部件用于显示待显示图像，所述穿戴本体用于固定所述显示部件；加速度传感器，所述加速度传感器包括第一加速度传感器和第二加速度传感器，所述第一加速度传感器设置于所述穿戴部件的检测部，用于获取所述检测部的第一加速度，所述第二加速度传感器设置于所述穿戴部件的设定标定部，用于获取所述设定标定部的第二加速度；处理器，所述处理器与所述加速度传感器和所述显示部件电连接，所述处理器用于根据所述第一加速度和第二加速度得到所述头戴显示设备的目标偏移量，根据所述目标偏移量对所述待显示图像进行校正。
可选地，所述显示部件为镜片，所述穿戴本体包括镜框和镜腿，所述镜框为检测部，所述第一加速度传感器设置于所述镜框边缘，所述镜腿包括与佩戴者耳部相匹配的弯折部，所述弯折部为设定标定部，第二加速度传感器设置于所述弯折部。
根据本公开的第五方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序在被处理器执行时实现根据本公开的第一方面所述的方法。
本公开实施例的一个有益效果在于，本实施例能够根据头戴显示设备不同部位的加速度数据，得到头戴显示设备与佩戴者的相对加速度，从而获取头戴显示设备与佩戴者的相对偏移量；根据该相对偏移量对待显示的图像进行校正，能够使待显示的图像与佩戴者保持相对稳定，很好的解决由于佩戴者说话时的抖动带来的图像抖动问题，提高用户体验。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开实施例的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本公开的实施例，并且连同其说明一起用于解释本公开实施例的原理。
图1为本实施例提供的一种图像校正方法的步骤流程图；
图2为本实施例提供的目标加速度的矢量图；
图3为本实施例提供的一种图像校正装置的结构框图；
图4是根据一个实施例的电子设备的方框原理图；
图5是根据一个实施例的头戴显示设备的硬件结构连接关系示意图；
图6是根据一个实施例的头戴显示设备的立体视图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开实施例的一个应用场景为用户使用头戴显示设备，尤其是一种AR眼镜的场景。
在实现的过程中，在用户使用AR眼镜，且正在与他人交谈的情况下，会出现因为面部肌肉的运动导致增强现实眼镜的图像显示出现抖动的问题。
针对以上实施方式存在的技术问题，发明人提出了一种图像校正方法，通过检测AR眼镜的检测部的加速度、设定标定部的加速度，来得到镜片相对于佩戴者的相对加速度，根据所述相对加速度得到AR眼镜的相对位移量，根据该相对位移量对图像进行补偿。
下面，参照附图描述根据本发明的各个实施例和例子。
如图1所示，本实施例的图像校正方法可以包括如下步骤S110～S130：
S110、获取头戴显示设备的第一加速度和第二加速度。
本实施例中，头戴显示设备包括显示部件和穿戴部件，例如，显示部件为镜片，用于展示待显示图片，穿戴本体用于实现头戴显示设备与佩戴者的固定，例如增强现实眼镜的镜架，或者增强现实头盔的壳体。
以显示部件为镜片为例，在佩戴者说话时，由于嘴部或眼部的动作会带动镜片上下移动，此时镜片会相对于佩戴者的眼睛产生相对位移，为了检测镜片相对于佩戴者眼睛产生的相对位移，本实施例需要获取头戴显示设备的第一加速度和第二加速度。
其中，第一加速度表征头戴显示设备的检测部的检测部加速度，其中，检测部可以设于镜框，也可以设于镜腿，第二加速表征头戴显示设备的设定标定部的标定部加速度，检测部和标定部在头戴显示设备按照预设间隔设置。例如，检测部设置在镜框上，设定标定部设置在镜腿上；检测部与标定部同时设置在镜腿上，可以理解的是头戴显示设备是实体，其上的任意两点之间的距离是固定的，因此可以根据实际需求在头戴显示设备设置具有预设间隔的检测部和设定标定部，预设间隔要小于头戴显示设备上最远两点之间的距离。
需要说明的是，设定标定部可以是相对于佩戴者相对静止的标定部，也可以是相对于佩戴者相对运动的标定部。
在一些例子中，头戴显示设备也可以是增强现实头盔等AR设备，例如，在对增强现实头盔进行图像校正的情况下，设定标定部可以是头盔上与佩戴者接触的部位。
本实施例中，为了提高校正的精度，第一加速度可以是多个检测部的加速度的均值，即获取关于头戴显示设备的多个检测部加速度，根据多个检测部加速度的均值，得到第一加速度。
在一个例子中，多个检测部加速度可以是一个加速度传感器采集到的多次检测部加速度值，也可以是多个加速度传感器采集到的对应的检测部加速度值。
本实施例中，为了提高校正的精度，第二加速度可以是多个标定部加速度的均值，即获取关于设定标定部的多个标定部加速度，根据多个标定部加速度的均值，得到第二加速度。
本实施例中，加速度传感器可以是三轴加速度传感器。
可以理解的是第一加速度和第二加速度是矢量，也就是第一加速度和第二加速度是具有大小和方向的矢量。
S120、根据第一加速度和第二加速度，得到头戴显示设备的目标偏移量。
本实施例中，目标偏移量表征头戴显示设备的佩戴者的眼睛与显示部件的相对偏移量。
本实施例中，以检测部为增强现实眼镜的镜框，显示部件为镜片为例，设定标定部与佩戴者相对静止为例，由于镜片固定设置在镜框内，因此镜片与镜框的相对于眼部上下或左右的方向上的加速度是相同的。由步骤S110可知，第一加速度表征镜片加速度，第二加速度表征设定标定部的标定部加速度，设定标定部相对于佩戴者相对静止，而当佩戴者说话时，如果镜片相对于佩戴者是运动的，也就是说，镜片相对于设定标定部是运动的，那么，第一加速度与第二加速度的差值也就是镜片与设定标定部的相对加速度，由于加速度是速度的变化率，速度又是位移的变化率。即加速度是速度的导数，速度是位移的导数，因此加速度是位移的二阶导数。因此可以镜片与设定标定部的相对加速度得到镜片与设定标定部的相对距离，也就是目标偏移量。
本实施例中，对第一加速度和第二加速度进行矢量计算，得到目标加速度，目标加速度包括加速度值和方向信息。上述目标加速度即为镜片与设定标定部的相对加速度。
参考图2，图2为目标加速度的矢量计算图。图2中，a2为第一加速度，a1为第二加速度，a2为目标加速度，其中，a3＝a2-a1，即对第一加速度和第二加速度进行矢量计算，得到目标加速度。
本实施例中，得到目标加速度之后，根据目标加速度，得到目标偏移量。可以理解的是目标偏移量包括偏移的方向以及偏移的具体位移，因此，本实施例中，对目标加速度进行积分运算，得到头戴显示设备的位移值；根据位移值和目标加速度的方向信息得到目标偏移量。需要说明的是，头戴显示设备的偏移方向与所述目标加速度的方向信息一致。
在一个例子中，加速度的积分是速度，速度的积分是位移，因此对加速度进行二次积分可以得到位移，即对目标加速度进行积分运算，得到头戴显示设备的位移值。
例如，目标偏移量可以是向上偏移1厘米。
需要说明的是，在另一个例子中，设定标定部与佩戴者也可以是相对运动的，可以理解的是，在头戴显示设备抖动的过程中，眼镜与佩戴者接触的部位相对于佩戴者是相对运动的，但是由于眼镜在出厂时是固定的实体，其眼镜本体上任意两点的距离是相对固定的，若设定标定部是头戴显示设备与镜片具有设定距离的位置，即检测部与设定标定部在头戴显示设备按照预设间隔设置。
例如，设定标定部可以是头戴显示设备的镜腿与镜片之间具有固定距离3厘米的位置处、4厘米的位置处、5厘米的位置处等，具体固定距离值不做限定。
基于上述例子，由于检测部和设定标定部的距离固定，则可以根据第一加速度得到检测部的检测部位移，根据第二加速度得到设定标定部的标定部位移，由于检测部和设定标定部在同一物体的不同部位，则检测部位移和标定部位移的差值，则为镜片与设定标定部的相对位移，也就是根据第一加速度和第二加速度，得到头戴显示设备的目标偏移量，此时目标偏移量为检测部位移和标定部位移的差值。
在另一个实施例中，检测部和设定标定部设于镜框的两端，从而可以检测显示部件在镜框所在平面上的翻转，可以根据检测部和设定标定部计算出左右眼的镜片相对于眼镜在镜片所在平面出的翻转位移，即目标偏移量。
S130、根据目标偏移量对头戴显示设备的待显示图像进行校正。
本实施例中，可以根据目标偏移量的位移值对待显示图像进行位移校正，以及，根据目标偏移量的方向信息对待显示图像进行方向校正。
可以理解的是，S120得到的是目标偏移量是头戴显示设备的实际运动方向和位移量，为了使显示的虚拟画面始终处于佩戴者眼睛的正前方，也就是显示的图像与佩戴者眼睛保持相对稳定，那么待显示的画面需要与增强显示眼镜的实际运动方向相反。即对显示图像进行与所述目标偏移量的方向相反、位移值相同的补偿校正。
例如：AR眼镜向上抖动位移值S，将相应的待显示图像向下移动S进行补偿；同理，当AR眼镜向下抖动位移值S时，将相应的待显示图像向上移动S进行补偿。
根据以上步骤S110～S130可知，本实施例能够根据头戴显示设备不同部位的加速度数据，得到头戴显示设备与佩戴者的相对加速度，从而获取头戴显示设备与佩戴者的相对偏移量；根据该相对偏移量对待显示的图像进行校正，能够使待显示的图像与佩戴者保持相对稳定，很好的解决由于佩戴者说话时的抖动带来的图像抖动问题，提高用户体验。
<设备实施例>
图3是根据一个实施例的装置的原理框图。如图3所示，该图像校正装置300可以包括：
数据获取模块301，用于获取头戴显示设备的第一加速度和第二加速度，其中，头戴显示设备包括显示部件和穿戴本体，所述显示部件用于显示图像，所述穿戴本体用于固定所述显示部件，所述第一加速度表征所述头戴显示设备的检测部的检测部加速度，所述第二加速度表征所述头戴显示设备的设定标定部的标定部加速度，所述检测部和所述设定标定部在所述头戴显示设备按照预设间隔设置。
数据处理模块302，用于根据所述第一加速度和所述第二加速度，得到所述头戴显示设备的目标偏移量，其中，所述目标偏移量表征所述头戴显示设备的佩戴者的眼睛与显示部件的相对偏移量；
校正模块303，用于根据所述目标偏移量对所述头戴显示设备的待显示图像进行校正。
在一个实施例中，该数据处理模块302，用于对所述第一加速度和所述第二加速度进行矢量计算，得到目标加速度，所述目标加速度包括加速度值和方向信息；根据所述目标加速度，得到所述目标偏移量。
在一个实施例中，该数据处理模块302，用于对所述目标加速度进行积分运算，得到所述头戴显示设备的位移值；根据所述位移值和所述目标加速度的方向信息得到所述目标偏移量，其中，所述头戴显示设备的偏移方向与所述目标加速度的方向信息一致。
在一个实施例中，该校正模块303，用于对所述显示图像进行与所述目标偏移量的方向相反、位移值相同的补偿校正。
在一个实施例中，该数据获取模块301，用于获取所述头戴显示设备的多个所述检测部的所述检测部加速度，根据多个所述检测部加速度的均值，得到所述第一加速度；以及，获取多个所述设定标定部的多个所述标定部加速度，根据多个所述标定部加速度的均值，得到所述第二加速度。
具体的各模块的功能，在上述方法实施例中均有描述，在此不再赘述。
本实施例能够根据头戴显示设备不同部位的加速度数据，得到头戴显示设备与佩戴者的相对加速度，从而获取头戴显示设备与佩戴者的相对偏移量；根据该相对偏移量对待显示的图像进行校正，能够使待显示的图像与佩戴者保持相对稳定，很好的解决由于佩戴者说话时的抖动带来的图像抖动问题，提高用户体验。
图4是根据另一个实施例的电子设备的硬件结构示意图。
如图4所示，该电子设备400包括处理器410和存储器420，该存储器420用于存储可执行的计算机程序，该处理器410用于根据该计算机程序的控制，执行如以上任意方法实施例的方法。
以上电子设备400的各模块可以由本实施例中的处理器410执行存储器410存储的计算机程序实现，也可以通过其他电路结构实现，在此不做限定。
本实施例能够根据头戴显示设备不同部位的加速度数据，得到头戴显示设备与佩戴者的相对加速度，从而获取头戴显示设备与佩戴者的相对偏移量；根据该相对偏移量对待显示的图像进行校正，能够使待显示的图像与佩戴者保持相对稳定，很好的解决由于佩戴者说话时的抖动带来的图像抖动问题，提高用户体验。
本实施例还提供一种头戴显示设备500，参考图5，包括：穿戴部件501、加速度传感器504和处理器502。
穿戴部件501包括显示部件503和穿戴本体，显示部件用于显示待显示图像，穿戴本体用于固定显示部件503，且穿戴本体可以是增强现实眼镜架或者增强现实头盔等便于佩戴的架构。
加速度传感器504包括第一加速度传感器5041和第二加速度传感器5042，第一加速度传感器5041设置于穿戴部件的检测部，用于获取检测部的第一加速度，第二加速度传感器5042设置于穿戴部件的设定标定部，用于获取设定标定部的第二加速度。
处理器502设置在穿戴部件内，处理器502与加速度传感器504和显示部件503电连接，处理器用于根据第一加速度和第二加速度得到头戴显示设备的目标偏移量，根据所述目标偏移量对所述待显示图像进行校正。具体地，处理器用于获取头戴显示设备的第一加速度和第二加速度，其中，所述第一加速度表征所述头戴显示设备的检测部的检测部加速度，所述第二加速度表征所述头戴显示设备的设定标定部的标定部加速度，所述检测部和所述设定标定部在所述头戴显示设备按照预设间隔设置；根据所述第一加速度和所述第二加速度，得到所述头戴显示设备的目标偏移量，其中，所述目标偏移量表征所述头戴显示设备的佩戴者的眼睛与所述显示部件的相对偏移量；根据所述目标偏移量对所述头戴显示设备的待显示图像进行校正。
具体地，处理器的功能在上述方法实施例中均有描述，在此不再赘述。
本实施例以头戴显示设备为增强现实眼镜为例，参考图6，显示部件503为镜片，穿戴本体包括镜框505和镜腿506，镜框为检测部，第一加速度传感器5041设置于镜框边缘，镜腿506包括与佩戴者耳部相匹配的弯折部5061，弯折部5061为设定标定部，第二加速度传感器5042设置于弯折部弯折部5061。此设计能够让第一加速度更加贴近镜片的加速度，让第二加速度更加贴近佩戴者的眼部加速度，从而得到的目标偏移量更加准确。
当然检测部和设定标定部也可以是穿戴部件的其他具有预设间隔的两个位置。
本实施例能够根据头戴显示设备不同部位的加速度数据，得到头戴显示设备与佩戴者的相对加速度，从而获取头戴显示设备与佩戴者的相对偏移量；根据该相对偏移量对待显示的图像进行校正，能够使待显示的图像与佩戴者保持相对稳定，很好的解决由于佩戴者说话时的抖动带来的图像抖动问题，提高用户体验。
本实施例能够根据头戴显示设备不同部位的加速度数据，得到头戴显示设备与佩戴者的相对加速度，从而获取头戴显示设备与佩戴者的相对偏移量；根据该相对偏移量对待显示的图像进行校正，能够使待显示的图像与佩戴者保持相对稳定，很好的解决由于佩戴者说话时的抖动带来的图像抖动问题，提高用户体验。
本实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，所述计算机程序在被处理器执行时实现根据头戴显示设备的图像优化方法。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。
Claims (10)
1.一种图像校正方法，其特征在于，应用于头戴显示设备，所述头戴显示设备包括显示部件和穿戴本体，所述显示部件用于显示图像，所述穿戴本体用于固定所述显示部件，所述方法包括：
获取头戴显示设备的第一加速度和第二加速度，其中，所述第一加速度表征所述头戴显示设备的检测部的检测部加速度，所述第二加速度表征所述头戴显示设备的设定标定部的标定部加速度，所述检测部和所述设定标定部在所述头戴显示设备按照预设间隔设置；
根据所述第一加速度和所述第二加速度，得到所述头戴显示设备的目标偏移量，其中，所述目标偏移量表征所述头戴显示设备的佩戴者的眼睛与所述显示部件的相对偏移量；
根据所述目标偏移量对所述头戴显示设备的待显示图像进行校正。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一加速度和所述第二加速度，得到所述头戴显示设备的目标偏移量，包括：
对所述第一加速度和所述第二加速度进行矢量计算，得到目标加速度，所述目标加速度包括加速度值和方向信息；
根据所述目标加速度，得到所述目标偏移量。
3.根据权利要求2所述的方法，其特征在于，所述根据所述目标加速度，得到所述目标偏移量，包括：
对所述目标加速度进行积分运算，得到所述头戴显示设备的位移值；
根据所述位移值和所述目标加速度的方向信息得到所述目标偏移量，其中，所述头戴显示设备的偏移方向与所述目标加速度的方向信息一致。
4.根据权利要求1所述的方法，其特征在于，所述根据所述目标偏移量对所述头戴显示设备的待显示图像进行校正，包括：
对所述待显示图像进行与所述目标偏移量的方向相反、位移值相同的补偿校正。
5.根据权利要求1所述的方法，其特征在于，所述检测部为多个，所述获取头戴显示设备的第一加速度和第二加速度，包括：
获取所述头戴显示设备的多个所述检测部的所述检测部加速度，根据多个所述检测部加速度的均值，得到所述第一加速度；以及，获取多个所述设定标定部的多个所述标定部加速度，根据多个所述标定部加速度的均值，得到所述第二加速度。
6.一种图像校正装置，其特征在于，所述装置包括：
数据获取模块，用于获取头戴显示设备的第一加速度和第二加速度，其中，所述头戴显示设备包括显示部件和穿戴本体，所述显示部件用于显示图像，所述穿戴本体用于固定所述显示部件，所述第一加速度表征所述头戴显示设备的检测部的检测部加速度，所述第二加速度表征所述头戴显示设备的设定标定部的标定部加速度，所述检测部和所述设定标定部在所述头戴显示设备按照预设间隔设置；
数据处理模块，用于根据所述第一加速度和所述第二加速度，得到所述头戴显示设备的目标偏移量，其中，所述目标偏移量表征所述头戴显示设备的佩戴者的眼睛与所述显示部件的相对偏移量；
校正模块，用于根据所述目标偏移量对所述头戴显示设备的待显示图像进行校正。
7.一种电子设备，包括存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序，以实现根据权利要求1-6中任意一项所述的方法。
8.一种头戴显示设备，其特征在于，包括：
穿戴部件，所述穿戴部件包括显示部件和穿戴本体，所述显示部件用于显示待显示图像，所述穿戴本体用于固定所述显示部件；
加速度传感器，所述加速度传感器包括第一加速度传感器和第二加速度传感器，所述第一加速度传感器设置于所述穿戴部件的检测部，用于获取所述检测部的第一加速度，所述第二加速度传感器设置于所述穿戴部件的设定标定部，用于获取所述设定标定部的第二加速度；
处理器，所述处理器与所述加速度传感器和所述显示部件电连接，所述处理器用于根据所述第一加速度和第二加速度得到所述头戴显示设备的目标偏移量，根据所述目标偏移量对所述待显示图像进行校正。
9.根据权利要求8所述的头戴显示设备，其特征在于，所述显示部件为镜片，所述穿戴本体包括镜框和镜腿，所述镜框为检测部，所述第一加速度传感器设置于所述镜框边缘，所述镜腿包括与佩戴者耳部相匹配的弯折部，所述弯折部为设定标定部，第二加速度传感器设置于所述弯折部。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-5中任意一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111560897.XA CN114356081A (zh) | 2021-12-20 | 2021-12-20 | 图像校正方法、装置、电子设备及头戴显示设备 |
| PCT/CN2021/140876 WO2023115460A1 (zh) | 2021-12-20 | 2021-12-23 | 图像校正方法、装置、电子设备及头戴显示设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111560897.XA CN114356081A (zh) | 2021-12-20 | 2021-12-20 | 图像校正方法、装置、电子设备及头戴显示设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114356081A true CN114356081A (zh) | 2022-04-15 |
Family
ID=81100402
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111560897.XA Pending CN114356081A (zh) | 2021-12-20 | 2021-12-20 | 图像校正方法、装置、电子设备及头戴显示设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114356081A (zh) |
| WO (1) | WO2023115460A1 (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107610044A (zh) * | 2017-08-29 | 2018-01-19 | 歌尔科技有限公司 | 图像处理方法、计算机可读存储介质及虚拟现实头戴设备 |
| US20180217664A1 (en) * | 2015-11-30 | 2018-08-02 | Alps Electric Co., Ltd. | Calibration method, portable device, and computer-readable storage medium |
| CN111866493A (zh) * | 2020-06-09 | 2020-10-30 | 青岛小鸟看看科技有限公司 | 基于头戴显示设备的图像校正方法、装置及设备 |
| CN111968176A (zh) * | 2020-07-17 | 2020-11-20 | 歌尔科技有限公司 | 头戴设备的位姿确定方法、装置、设备及存储介质 |
| CN112213856A (zh) * | 2014-07-31 | 2021-01-12 | 三星电子株式会社 | 可穿戴眼镜和经由可穿戴眼镜显示图像的方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3827426A4 (en) * | 2018-07-24 | 2022-07-27 | Magic Leap, Inc. | AD SYSTEMS AND PROCEDURES FOR DETERMINING A REGISTRATION BETWEEN AN AD AND A USER'S EYES |
-
2021
- 2021-12-20 CN CN202111560897.XA patent/CN114356081A/zh active Pending
- 2021-12-23 WO PCT/CN2021/140876 patent/WO2023115460A1/zh unknown
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112213856A (zh) * | 2014-07-31 | 2021-01-12 | 三星电子株式会社 | 可穿戴眼镜和经由可穿戴眼镜显示图像的方法 |
| US20180217664A1 (en) * | 2015-11-30 | 2018-08-02 | Alps Electric Co., Ltd. | Calibration method, portable device, and computer-readable storage medium |
| CN107610044A (zh) * | 2017-08-29 | 2018-01-19 | 歌尔科技有限公司 | 图像处理方法、计算机可读存储介质及虚拟现实头戴设备 |
| CN111866493A (zh) * | 2020-06-09 | 2020-10-30 | 青岛小鸟看看科技有限公司 | 基于头戴显示设备的图像校正方法、装置及设备 |
| CN111968176A (zh) * | 2020-07-17 | 2020-11-20 | 歌尔科技有限公司 | 头戴设备的位姿确定方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023115460A1 (zh) | 2023-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12008151B2 (en) | Tracking and drift correction | |
| US10650533B2 (en) | Apparatus and method for estimating eye gaze location | |
| CN113168733B (zh) | 一种眼镜虚拟试戴系统和方法 | |
| EP3195595B1 (en) | Technologies for adjusting a perspective of a captured image for display | |
| CN111602082B (zh) | 用于包括传感器集成电路的头戴式显示器的位置跟踪系统 | |
| US8970495B1 (en) | Image stabilization for color-sequential displays | |
| US20150097772A1 (en) | Gaze Signal Based on Physical Characteristics of the Eye | |
| US11662589B2 (en) | Geometry modeling of eyewear devices with flexible frames | |
| CN106782260B (zh) | 用于虚拟现实运动场景的显示方法及装置 | |
| US11353955B1 (en) | Systems and methods for using scene understanding for calibrating eye tracking | |
| CN114356082A (zh) | 增强现实设备的图像优化方法、装置、电子设备及系统 | |
| JP2018067115A (ja) | プログラム、追跡方法、追跡装置 | |
| CN112655202B (zh) | 用于头戴式显示器的鱼眼镜头的减小带宽立体失真校正 | |
| US20210185293A1 (en) | Depth data adjustment based on non-visual pose data | |
| CN113170090A (zh) | 头戴式显示装置 | |
| CN110895433A (zh) | 用于增强现实中用户交互的方法和装置 | |
| CN108027646B (zh) | 一种终端显示防抖方法及装置 | |
| JP7400721B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN114356081A (zh) | 图像校正方法、装置、电子设备及头戴显示设备 | |
| US11988901B2 (en) | Two-eye tracking based on measurements from a pair of electronic contact lenses | |
| KR20180061956A (ko) | 눈 위치 예측 방법 및 장치 | |
| US20240095958A1 (en) | Methods for Infield Camera Calibrations | |
| JP7402660B2 (ja) | 頭部装着型表示装置、頭部装着型表示装置の制御方法 | |
| US20230068868A1 (en) | Display device, control method thereof, and recording medium | |
| EP4177712A1 (en) | Method and system for characterizing eye movements |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20221122 Address after: No. 500, Songling Road, Laoshan District, Qingdao, Shandong 266101 Applicant after: GOERTEK TECHNOLOGY Co.,Ltd. Address before: 261061 workshop 1, phase III, Geer Photoelectric Industrial Park, 3999 Huixian Road, Yongchun community, Qingchi street, high tech Zone, Weifang City, Shandong Province Applicant before: GoerTek Optical Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right |