CN114078092A - 一种图像处理的方法、装置、电子设备及存储介质 - Google Patents

一种图像处理的方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114078092A
CN114078092A CN202010803372.3A CN202010803372A CN114078092A CN 114078092 A CN114078092 A CN 114078092A CN 202010803372 A CN202010803372 A CN 202010803372A CN 114078092 A CN114078092 A CN 114078092A
Authority
CN
China
Prior art keywords
data
initial
image data
pose
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010803372.3A
Other languages
English (en)
Inventor
郑征世
钱小兵
陈俊
郝志坚
周鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN202010803372.3A priority Critical patent/CN114078092A/zh
Priority to EP21855442.6A priority patent/EP4198874A4/en
Priority to PCT/CN2021/110960 priority patent/WO2022033389A1/zh
Publication of CN114078092A publication Critical patent/CN114078092A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/604—Rotation of whole images or parts thereof using coordinate rotation digital computer [CORDIC] devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例涉及计算机图像学技术领域，公开了一种图像处理的方法、装置、电子设备及存储介质。本发明中图像处理的方法，包括：将终端在初始时刻的初始位姿数据发送至服务端，所述初始时刻为当前时刻之前的时刻；接收所述服务端根据所述初始位姿数据返回的初始图像数据，所述初始图像数据包括与所述初始位姿数据对应的二维图像数据；获取所述终端在当前时刻的目标位姿数据；根据所述初始位姿数据以及所述目标位姿数据，对所述二维图像数据进行调整，获得与当前时刻对应的目标图像数据。采用本申请实施例，能够避免虚拟现实终端出现因网络延时导致不能在刷新周期内显示与终端位姿对应的图像的问题，同时降低虚拟设备的硬件要求。

Description

一种图像处理的方法、装置、电子设备及存储介质
技术领域
本发明涉及计算机图像学技术领域，特别涉及一种图像处理的方法、装置、电子设备及存储介质。
背景技术
目前在使用虚拟现实(Virtual Reality，“VR”)终端时，常常会出现终端无法同步渲染出与终端动作相对应的画面，即虚拟现实终端显示的画面中一部分为上一次显示的图像，一部分为新渲染的图像，导致使虚拟现实终端使用者看到的连续显示的画面出现迟滞、卡顿的问题，甚至使用者会出现头晕的问题。目前采用对画面旋转、位移等异步扭曲技术解决本地VR渲染不及时导致的画面刷新显示问题，例如，异步时间扭曲(Asynchronous Timewarp，“ATW”)、异步空间扭曲(Asynchronous Space warp，“ASW”)等。
异步扭曲技术在实施过程中，GPU中渲染线程和ATW线程异步运行，渲染线程和ATW线程在每次同步之前，ATW线程根据渲染线程的最后一帧图像生成新的待显示图像。然而，当检测到渲染线程无法在刷新周期内渲染出新的待显示图像时，ATW线程需要抢占渲染线程；因此需要GPU硬件支持合理的抢占粒度，例如，在90赫兹，帧之间的间隔大约是11ms(1/90Hz)，为了保证ATW线程可以生成一帧新的图像，需要ATW线程能够抢占渲染线程并且运行时间少于11ms；同时还要求操作系统和驱动程序支持使GPU抢占。可见，异步扭曲技术对虚拟现实终端的硬件需要较高；若由服务端对进行图像渲染，由于存在网络延时，也会导致的终端无法同步渲染出与终端动作相对应的画面。
发明内容
本发明实施例的目的在于提供一种图像处理的方法，能够避免虚拟现实终端出现因网络延时导致不能在刷新周期内显示与终端位姿对应的图像的问题，同时降低虚拟设备的硬件要求。
为实现上述目的，本申请实施例提供了一种图像处理的方法，包括：将终端在初始时刻的初始位姿数据发送至服务端，初始时刻为当前时刻之前的时刻；接收服务端根据初始位姿数据返回的初始图像数据，初始图像数据包括与初始位姿数据对应的二维图像数据；获取终端在当前时刻的目标位姿数据；根据初始位姿数据以及目标位姿数据，对二维图像数据进行调整，获得与目标位姿数据对应的目标图像数据。
为实现上述目的，本申请实施例还提供了一种图像处理的装置，包括：发送模块、接收模块、获取模块和调整模块；发送模块用于将终端在初始时刻的初始位姿数据发送至服务端，初始时刻为当前时刻之前的时刻；接收模块用于接收服务端根据初始位姿数据返回的初始图像数据，初始图像数据包括与初始位姿数据对应的二维图像数据；获取模块用于获取终端在当前时刻的目标位姿数据；调整模块用于根据初始位姿数据以及目标位姿数据，对二维图像数据进行调整，获得与目标位姿数据对应的目标图像数据。
为实现上述目的，本申请实施例还提供了一种电子设备，包括：至少一个处理器；以及，
与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的图像处理的方法。
为实现上述目的，本申请实施例还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述的图像处理的方法。
本申请提出的图像处理的方法，由服务端根据终端的初始位姿数据返回初始图像数据，该初始图像数据中包括与初始位姿数据对应的二维图像数据，终端根据当前时刻的目标位姿数据和初始位姿数据对二维图像数据进行调整，生成与目标位姿数据对应的目标图像数据；确保了终端显示的二维图像数据始终与该终端当前的位姿对应，由于二维图像数据的维度低，对二维图像数据调整的速度快，使得即使出现了网络延迟，也可以确保调整后的二维图像数据在刷新周内及时刷新，从而避免出现因网路延迟导致图像在刷新周期内刷新不及时的问题，提高了终端显示图像的效果；另外，服务端将该初始图像数据发送至终端，使得终端无需进行复杂的渲染操作，提高了图像显示的速度，降低了终端设备的硬件要求；且终端生成目标图像的过程中无需终端的GPU硬件支持合理的抢占粒度，也无需终端的操作系统和驱动程序支持使GPU抢占，进一步降低了终端的硬件需求，更利于虚拟现实终端的推广。
附图说明
图1是根据本发明第一实施例中图像处理的方法的流程图；
图2是根据本发明第二实施例中图像处理的方法的流程图；
图3是根据本发明第三实施例中图像处理的方法的流程图；
图4是根据本发明第四实施例中图像处理的装置的结构框图；
图5是根据本发明第五实施例中电子设备的结构框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本申请的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
云化虚拟现实技术是通过服务端对虚拟现实终端待显示的图像进行渲染，可以大大减少本地虚拟现实终端的渲染引起的设备功耗，降低虚拟现实终端的硬件要求；且随着5G技术的不断发展，提高了网络传输的速度，进一步提高了云化虚拟现实技术的应用。但是，网络传输通常存在网络延迟，VR终端无法在刷新周期内同步渲染出与终端动作相对应的画面，导致用户看到的连续图像出现卡顿、抖动等问题，严重影响用户的使用。
本发明的第一实施方式涉及一种图像处理的方法，该图像处理的方法应用于虚拟现实终端，该VR终端可以时头戴式VR眼镜、头盔等。其流程如图1所示：
步骤101：将终端在初始时刻的初始位姿数据发送至服务端，初始时刻为当前时刻之前的时刻。
步骤102：接收服务端根据初始位姿数据返回的初始图像数据，初始图像数据包括与初始位姿数据对应的二维图像数据。
步骤103：获取终端在当前时刻的目标位姿数据。
步骤104：根据初始位姿数据以及目标位姿数据，对二维图像数据进行调整，获得与目标位姿数据对应的目标图像数据。
本申请提出的图像处理的方法，由服务端根据终端的初始位姿数据返回初始图像数据，该初始图像数据中包括与初始位姿数据对应的二维图像数据，终端根据当前时刻的目标位姿数据和初始位姿数据对二维图像数据进行调整，生成与目标位姿数据对应的目标图像数据；确保了终端显示的二维图像数据始终与该终端当前的位姿对应，由于二维图像数据的维度低，对二维图像数据调整的速度快，使得即使出现了网络延迟，也可以确保调整后的二维图像数据在刷新周内及时刷新，从而避免出现因网路延迟导致图像在刷新周期内刷新不及时的问题，提高了终端显示图像的效果；另外，服务端将该初始图像数据发送至终端，使得终端无需进行复杂的渲染操作，提高了图像显示的速度，降低了终端设备的硬件要求；且终端生成目标图像的过程中无需终端的GPU硬件支持合理的抢占粒度，也无需终端的操作系统和驱动程序支持使GPU抢占，进一步降低了终端的硬件需求，更利于虚拟现实终端的推广。
本发明的第二实施方式涉及一种图像处理的方法，第二实施例是对第一实施例中的步骤101-103进行的具体说明，其流程具体如图2所示：
步骤201：将终端在初始时刻的初始位姿数据发送至服务端，初始时刻为当前时刻之前的时刻。
具体地，虚拟现实终端可以实时获取自身的位姿数据，位姿数据包括该终端的姿态数据以及位置数据。初始时刻为当前时刻之前的时刻，例如，当前时刻为t1；该初始时刻t0<t1；该初始时刻与当前时刻之间的间隔可以小于预设间隔，例如预设间隔可以为5s、1ms,0.1ms；预设间隔也可以与采集终端的位姿数据的时间间隔相同。
需要说明的是，初始时刻并不是固定的时刻，是根据当前时刻动态变化的时刻，例如，若当前时刻为第80秒的时刻，初始时刻小于第80秒的时刻即可，可以是第79秒、第78秒等。
初始位姿数据的形式可以有多种，本示例中不限制该初始位姿数据的类型，例如，本示例中初始位姿数据的表达形式可以是矩阵。终端将采集到的初始位姿数据发送至服务端。
终端通过自身的传感器可以实时获取自身的位姿数据，传感器可以是陀螺仪、激光定位装置等。
步骤202：接收服务端根据初始位姿数据返回的初始图像数据，初始图像数据包括与初始位姿数据对应的二维图像数据。
具体地，服务端可以预先存储虚拟现实终端所处空间的三维图像数据；例如，预先存储多个游戏场景的三维图像数据，游戏场景如树林、密室、邮轮等地方。服务端接收到该初始位姿数据后，服务端根据该初始位姿数据，可以将该终端在初始时刻的位姿下所观察到的立体图像数据渲染为与该初始位姿数据对应的二维图像数据，该二维图像数据与该初始时刻对应，同时也与该初始位姿数据对应。
值得一提的是，渲染图像是将高维度的图像数据转换为低维度的图像数据，终端接收到二维图像数据后，使得终端可以快速的绘制该低纬度的二维图像数据，可以降低终端的资源使用，提高显示图像的速度。
需要说明的是，该初始图像数据包括该二维图像数据、该二维图像数据中每个像素点对应的深度数据、以及每个像素点对应的颜色信息。
此外，服务端还可以将二维图像数据以及对应的初始位姿数据同时返回该终端，从而可以确保终端的初始位姿数据和二维图像数据一一对应。
步骤203：获取终端在当前时刻的目标位姿数据。
具体地，在接收到初始图像数据之后，可以获取终端在当前时刻的目标位姿数据。获取的方式与步骤201的过程大致相同。目标位姿数据同理可以包括：终端在当前时刻的姿态数据和位置数据，姿态数据例如可以是终端旋转的角度，位置数据可以是终端当前时刻所处的空间坐标。
步骤204：获取二维图像数据的在屏幕坐标系下的初始坐标数据以及各深度数据。
具体地，初始图像数据中包括二维图像数据在屏幕坐标系下的坐标，将该坐标作为二维图像数据的初始坐标数据，例如，二维图像在屏幕坐标系下的初始坐标数据可以表示为(Xcurrent,Ycurrent)T。初始图像数据中还包括该二维图像数据中每个像素点对应的深度数据和颜色信息。颜色信息具体可以为RGB三原色各自的色值；深度数据可以表示为：DepthBuffer(Xcurrent,Ycurrent)。
步骤205：根据初始坐标数据、各深度数据以及预设的坐标系转换关系，将初始坐标数据转换为基于世界坐标系下的第一转换坐标数据。
在一个例子中，根据第一转换关系以及各深度数据，将初始坐标数据转换为基于标准设备坐标系的第一标准设备坐标；从初始位姿数据中获取位姿矩阵以及投影矩阵；根据位姿矩阵、投影矩阵、第一标准设备坐标以及第二转化关系，得到第一转换坐标数据。
具体地，可以获取该终端屏幕的宽度、屏幕高度等信息。例如，屏幕宽度ScreenWidth和屏幕高度ScreenHeight,则有0≤Xcurrent≤ScreenWidth，0≤Ycurrent≤ScreenHeight。二维图像数据中每个像素点对应的颜色信息表示为ColorBuffer，深度数据以DepthBuffer表示。屏幕空间坐标系下各像素点对应深度为DepthBuffer(Xcurrent,Ycurrent)。
预设的坐标转换关系包括：屏幕坐标系与标准设备坐标系之间转换的第一转换关系，以及标准设备坐标系与世界坐标系之间转换的第二转换关系。
本示例中，第一转换关系为：
x＝2*Xcurrent/ScreenWidth-1；y＝2*Ycurrent/ScreenHeight-1；
z＝DepthBuffer(Xcurrent,Ycurrent)；w＝1.0 公式(1)；
其中，初始坐标数据可以表示为(Xcurrent,Ycurrent)T，屏幕宽度ScreenWidth和屏幕高度ScreenHeight,且0≤Xcurrent≤ScreenWidth，0≤Ycurrent≤ScreenHeight；w为预设的值，用于表征图像数据呈现近大远小的特征；其中，z表示标准设备坐标系中的纵轴。
根据公式(1)可将初始坐标数据(Xcurrent,Ycurrent)T，转换为标准设备坐标系下的第一标准设备坐标，即得到的第一标准设备坐标表示为(x,y,z,w)T。
具体地，标准设备坐标系与世界坐标系之间转换的第二转换关系可以表示为：
(x_world,y_world,z_world,w_world)T＝Rcurrent-1*P-1*(x,y,z,w)T 公式(2)；
其中，(x_world,y_world,z_world,w_world)T表示世界坐标系下的坐标，在本示例中表示为第一转换坐标数据，(x,y,z,w)T表示第一标准设备坐标，P表示该三维图像数据转为二维图像数据的投影矩阵；Rcurrent表示初始时刻终端的初始位姿数据，该初始位姿数据可以以矩阵的形式表示。
根据公式(2)所表示的第二转换关系，可以将第一标准化设备坐标(x,y,z,w)T转换为在世界坐标系下的第一转换坐标数据(x_world,y_world,z_world,w_world)T。
步骤206：将第一转换坐标数据作为基于世界坐标系下目标位姿数据对应的第二转换坐标数据。
在一个例子中，将该第一转换坐标作为世界坐标系下目标位姿数据对应的第二转换坐标数据，即：
(x_world_n,y_world_n,z_world_n,w_world_n)T＝(x_world,y_world,z_world,w_world)T
其中，(x_world_n,y_world_n,z_world_n,w_world_n)T表示为在世界坐标系下目标位姿数据对应的坐标；(x_world,y_world,z_world,w_world)T表示第一转换坐标数据。
步骤207：根据第二转换坐标数据以及坐标转换关系，生成目标图像数据。
在一个例子中，根据第二转换坐标数据、目标位姿数据、投影矩阵以及第二转换关系，获得标准设备坐标系下与目标位姿数据对应的第二标准设备坐标数据；根据第一转换关系，将第二标准设备坐标数据转化为基于屏幕坐标系下的目标坐标数据；将二维图像数据中每个像素点的颜色信息映射至目标坐标数据中对应的像素点，形成目标图像数据。
具体地，根据第二转换关系，即公式(2)可知；
(x_world_n,y_world_n,z_world_n,w_world_n)T＝Rnext-1*P-1*(x’,y’,z’,w’)T
公式(3)；
其中，(x’,y’,z’,w’)T表示当前时刻对应的第二标准设备坐标数据。对公式(3)进行简单的变形，即可得到：
(x’,y’,z’,w’)T＝P*Rnext*(x_world_n,y_world_n,z_world_n,w_world_n)T
由于
(x_world_n,y_world_n,z_world_n,w_world_n)T＝(x_world,y_world,z_world,w_world)T
则，(x’,y’,z’,w’)T＝P*Rnext*(x_world,y_world,z_world,w_world)T公式(4)；
其中，Rnext表示目标位姿数据，本示例中以矩阵形式表示；P为投影矩阵。(x’,y’,z’,w’)T表示目标位姿数据对应的第二标准设备坐标数据。
根据第一转换关系，可以将第二标准设备坐标数据转换为在当前时刻屏幕坐标系下的坐标；
Xnext＝ScreenWidth*(x’+1)/2；Ynext＝ScreenHeight*(y’+1)/2； 公式(5)；
当前时刻的屏幕坐标表示为(Xnext,Ynext)T。
在得到当前时刻图像数据基于屏幕坐标系下的目标坐标数据后，将二维图像数据中每个像素点的颜色信息映射至目标坐标数据中对应的像素点，形成目标图像数据。
例如，二维图像数据中的坐标(0，0)点对应的color1，该坐标(0，0)，变换后为(3，0)位置，则将该(3，0)的位置像素点填充为color1。
需要说明的是，步骤204至步骤207是对步骤103的具体说明。
本发明的第三实施方式涉及一种图像处理的方法。本实施方式是对第二实施方式的进一步改进，主要改进之处在于：本实施方式中终端根据时间标识信息查找与该二维图像数据对应的初始位姿数据，该图像处理的方法其的流程如图3所示。
步骤301：将终端在初始时刻的初始位姿数据发送至服务端。
该步骤301与步骤201大致相同，此处将不再赘述。
步骤302：将用于表征初始时刻的时间标识信息发送至服务端。
具体地，该时间标识信息可以根据实际应用进行设置，例如，该时间标识信息可以是初始时刻的时间戳。将初始时刻的时间戳发送值服务端，该时间戳可以与初始位姿数据同时发送值服务端。也可以在初始位姿数据发送后，将该时间戳上传服务端。
步骤303：将时间标识信息作为索引，在位姿缓冲队列中存储对应的初始位姿数据。
具体地，可以将时间标识信息作为索引在终端中缓存初始位姿数据，以便后续终端可以根据时间戳快速查找初始位姿数据。例如，可以在终端中设置位姿矩阵缓冲队列，将初始位姿数据存储在该位姿矩阵缓冲队列中，并以时间戳作为初始位姿数据的索引。
步骤304：接收服务端根据初始位姿数据返回的初始图像数据。
具体地，该初始图像数据还包括：时间标识信息。服务端可以将初始图像数据以及该时间标识信息一同下发至终端。终端中可以设置接收线程和解码线程，该接收线程和解码线程可以异步运行，以提高终端的显示图像的速度。该接收线程用于接收二维图像数据和对应时间标识信息。解码线程用于对二维图像数据进行解码。
步骤305：将二维图像数据存储于第一缓冲队列中以及将时间标识信息存储于第二缓冲队列中。
具体地，终端可以设置第一缓冲队列以及第二缓冲队列，第一缓冲队列用于缓存接收到的二维图像数据，第二缓冲队列用于存储与初始时刻对应的时间标识信息。该解码线程用于从第一缓冲队列中获取二维图像数据进行解码。
步骤306：若检测到二维图像数据被解码后，则从第二缓冲队列中读取时间标识信息。
具体地，由于接收线程与解码线程异步运行，若检测到二维图像数据被解码后，则从第二缓冲队列中读取时间标识信息，从而可以确保获取到与二维图像数据对应的初始位姿数据。例如，若每解码一帧二维图像数据，则从第二缓冲队列中读取与该二维图像数据对应的时间标识信息。
步骤307：根据时间标识信息，从位姿缓冲队列中读取初始位姿数据。
具体地，由于初始位姿数据是以时间标识信息进行存储的，故可以通过时间标识信息，读取出与该时间标识信息对应的初始位姿数据。例如，初始时刻为T1时刻，对应的初始位姿数据为Rcurret，根据该T1，即可从位姿矩阵缓冲队列中读取该Rcurrent。
步骤308：获取终端在当前时刻的目标位姿数据。
与第二实施方式中的步骤203大致相同，此处将不再进行赘述。
步骤309：根据初始位姿数据以及目标位姿数据，对二维图像数据进行调整，获得与当前时刻对应的目标图像数据。
与第二实施方式中步骤204至步骤207大致相同，此处将不再进行赘述。
本实施方式中提供的图像处理的方法，初始图像数据中包括与初始时刻对应的时间标识信息，使得服务端无需返回初始位姿数据，终端根据该时间标识信息，即可读取该初始位姿数据，提高了获取初始位姿数据的速度，同时设置第一缓冲队列和第二缓冲队列，使得解码可以异步进行，进一步提高显示图像数据的速度。
本发明第四实施方式涉及一种图像处理的装置，其结构框图如图4所示，包括：发送模块401、接收模块402、获取模块403和调整模块404。
发送模块401用于将终端在初始时刻的初始位姿数据发送至服务端，初始时刻为当前时刻之前的时刻；接收模块402用于接收服务端根据初始位姿数据返回的初始图像数据，初始图像数据包括与初始位姿数据对应的二维图像数据；获取模块403用于获取终端在当前时刻的目标位姿数据；调整模块404用于根据初始位姿数据以及目标位姿数据，对二维图像数据进行调整，获得与目标位姿数据对应的目标图像数据。
不难发现，本实施方式为与第一实施方式相对应的装置实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。
本发明第五实施方式涉及一种电子设备，其结构框图如图5所示，该电子设备包括：至少一个处理器501；以及，与至少一个处理器501通信连接的存储器502；其中，存储器502存储有可被至少一个处理器501执行的指令，指令被至少一个处理器501执行，以使至少一个处理器501能够执行上述的图像处理的方法。
其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路链接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。
处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
本发明第六实施方式涉及一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述的图像处理的方法。
本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种图像处理的方法，其特征在于，包括：
将终端在初始时刻的初始位姿数据发送至服务端，所述初始时刻为当前时刻之前的时刻；
接收所述服务端根据所述初始位姿数据返回的初始图像数据，所述初始图像数据包括与所述初始位姿数据对应的二维图像数据；
获取所述终端在当前时刻的目标位姿数据；
根据所述初始位姿数据以及所述目标位姿数据，对所述二维图像数据进行调整，获得与所述目标位姿数据对应的目标图像数据。
2.根据权利要求1所述的图像处理的方法，其特征在于，所述初始图像数据还包括：所述二维图像数据中每个像素点对应的深度数据；
所述根据所述初始位姿数据以及所述目标位姿数据，对所述二维图像数据进行调整，获得与所述目标位姿数据对应的目标图像数据，包括：
获取所述二维图像数据的在屏幕坐标系下的初始坐标数据以及各所述深度数据；
根据所述初始坐标数据、各所述深度数据以及预设的坐标系转换关系，将所述初始坐标数据转换为基于世界坐标系下的第一转换坐标数据；
将所述第一转换坐标数据作为基于所述世界坐标系下所述目标位姿数据对应的第二转换坐标数据；
根据所述第二转换坐标数据以及所述坐标转换关系，生成所述目标图像数据。
3.根据权利要求1或2所述的图像处理的方法，其特征在于，所述接收所述服务端根据所述初始位姿数据返回的初始图像数据之前，所述方法还包括：
将用于表征所述初始时刻的时间标识信息发送至所述服务端；
将所述时间标识信息作为索引，在所述位姿缓冲队列中存储对应的所述初始位姿数据。
4.根据权利要求3所述的图像处理的方法，其特征在于，所述初始图像数据还包括：所述时间标识信息；
所述根据所述初始位姿数据以及所述目标位姿数据，对所述二维图像数据进行调整，获得与所述目标位姿数据对应的目标图像数据之前，所述方法还包括：
根据所述时间标识信息，从所述位姿缓冲队列中读取所述初始位姿数据。
5.根据权利要求4所述的图像处理的方法，其特征在于，所述根据所述时间标识信息，从所述位姿缓冲队列中读取所述初始位姿数据之前，所述方法还包括：
将所述二维图像数据存储于第一缓冲队列中以及将所述时间标识信息存储于第二缓冲队列中；
若检测到所述二维图像数据被解码后，则从所述第二缓冲队列中读取所述时间标识信息。
6.根据权利要求2所述的图像处理的方法，其特征在于，所述坐标转换关系包括：屏幕坐标系与标准设备坐标系之间转换的第一转换关系，以及所述标准设备坐标系与世界坐标系之间转换的第二转换关系；
所述根据所述初始坐标数据、各所述深度数据以及预设的坐标系转换关系，将所述初始坐标数据转换为基于世界坐标系下的第一转换坐标数据，包括：
根据所述第一转换关系以及各所述深度数据，将所述初始坐标数据转换为基于所述标准设备坐标系的第一标准设备坐标数据；
从所述初始位姿数据中获取位姿矩阵以及投影矩阵；
根据所述位姿矩阵、所述投影矩阵、所述第一标准设备坐标数据以及所述第二转化关系，得到所述第一转换坐标数据。
7.根据权利要求6所述的图像处理的方法，其特征在于，所述根据所述第二转换坐标数据以及所述坐标转换关系，生成所述目标图像数据，包括：
根据所述第二转换坐标数据、所述目标位姿数据、所述投影矩阵以及所述第二转换关系，获得所述标准设备坐标系下与所述目标位姿数据对应的第二标准设备坐标数据；
根据所述第一转换关系，将所述第二标准设备坐标数据转化为基于所述屏幕坐标系下的目标坐标数据；
将所述二维图像数据中每个像素点的颜色信息映射至所述目标坐标数据中对应的像素点，形成所述目标图像数据。
8.一种图像处理的装置，其特征在于，包括：发送模块、接收模块、获取模块和调整模块；
所述发送模块用于将终端在初始时刻的初始位姿数据发送至服务端，所述初始时刻为当前时刻之前的时刻；
所述接收模块用于接收所述服务端根据所述初始位姿数据返回的初始图像数据，所述初始图像数据包括与所述初始位姿数据对应的二维图像数据；
所述获取模块用于获取所述终端在当前时刻的目标位姿数据；
所述调整模块用于根据所述初始位姿数据以及所述目标位姿数据，对所述二维图像数据进行调整，获得与所述目标位姿数据对应的目标图像数据。
9.一种电子设备，其特征在于，包括：至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一所述的图像处理的方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的图像处理的方法。
CN202010803372.3A 2020-08-11 2020-08-11 一种图像处理的方法、装置、电子设备及存储介质 Pending CN114078092A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010803372.3A CN114078092A (zh) 2020-08-11 2020-08-11 一种图像处理的方法、装置、电子设备及存储介质
EP21855442.6A EP4198874A4 (en) 2020-08-11 2021-08-05 IMAGE PROCESSING METHOD AND DEVICE AS WELL AS ELECTRONIC DEVICE AND STORAGE MEDIUM
PCT/CN2021/110960 WO2022033389A1 (zh) 2020-08-11 2021-08-05 一种图像处理的方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010803372.3A CN114078092A (zh) 2020-08-11 2020-08-11 一种图像处理的方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114078092A true CN114078092A (zh) 2022-02-22

Family

ID=80247666

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010803372.3A Pending CN114078092A (zh) 2020-08-11 2020-08-11 一种图像处理的方法、装置、电子设备及存储介质

Country Status (3)

Country Link
EP (1) EP4198874A4 (zh)
CN (1) CN114078092A (zh)
WO (1) WO2022033389A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115423920B (zh) * 2022-09-16 2024-01-30 如你所视(北京)科技有限公司 Vr场景的处理方法、装置和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104699247A (zh) * 2015-03-18 2015-06-10 北京七鑫易维信息技术有限公司 一种基于机器视觉的虚拟现实交互系统及方法
CN107977082A (zh) * 2017-12-19 2018-05-01 亮风台（上海）信息科技有限公司 一种用于呈现ar信息的方法及系统
CN110246182A (zh) * 2019-05-29 2019-09-17 深圳前海达闼云端智能科技有限公司 基于视觉的全局地图定位方法、装置、存储介质和设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
US10909761B1 (en) * 2016-07-07 2021-02-02 Google Llc 2D video with option for projected viewing in modeled 3D space
CN106780601B (zh) * 2016-12-01 2020-03-27 北京未动科技有限公司 一种空间位置追踪方法、装置及智能设备
JP7140527B2 (ja) * 2018-03-30 2022-09-21 キヤノン株式会社 電子機器及びその制御方法
CN110555883B (zh) * 2018-04-27 2022-07-22 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置及存储介质
CN109521879B (zh) * 2018-11-19 2022-02-18 杭州易现先进科技有限公司 交互式投影控制方法、装置、存储介质及电子设备
CN111277797B (zh) * 2020-02-03 2022-03-18 重庆特斯联智慧科技股份有限公司 一种用于安防监视的vr立体成像系统
CN111627116B (zh) * 2020-05-29 2024-02-27 联想(北京)有限公司 图像渲染控制方法、装置及服务器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104699247A (zh) * 2015-03-18 2015-06-10 北京七鑫易维信息技术有限公司 一种基于机器视觉的虚拟现实交互系统及方法
CN107977082A (zh) * 2017-12-19 2018-05-01 亮风台（上海）信息科技有限公司 一种用于呈现ar信息的方法及系统
CN110246182A (zh) * 2019-05-29 2019-09-17 深圳前海达闼云端智能科技有限公司 基于视觉的全局地图定位方法、装置、存储介质和设备

Also Published As

Publication number Publication date
EP4198874A4 (en) 2024-02-14
WO2022033389A1 (zh) 2022-02-17
EP4198874A1 (en) 2023-06-21

Similar Documents

Publication Publication Date Title
US10360832B2 (en) Post-rendering image transformation using parallel image transformation pipelines
CN106919360B (zh) 一种头部姿态补偿方法及装置
US5546530A (en) Method and apparatus for rendering graphical images using parallel processing
US10997929B2 (en) Display scene processing method and device and storage medium
US20150194128A1 (en) Generating a low-latency transparency effect
CN109743626B (zh) 一种图像显示方法、图像处理方法和相关设备
CN105094289B (zh) 一种实现图形用户交互界面的方法、设备及系统
US9766458B2 (en) Image generating system, image generating method, and information storage medium
US20160378177A1 (en) Visualized content transmission control method, sending method and apparatuses thereof
CN113330478B (zh) 一种在虚拟、增强或混合现实系统中的方法
CN109074152B (zh) 一种虚拟现实图像发送方法及装置
WO2022089046A1 (zh) 虚拟现实显示方法、装置及存储介质
CN109766006B (zh) 虚拟现实场景的显示方法、装置及设备
US20160378178A1 (en) Visualized content transmission control method, sending method and apparatuses thereof
CN115802076A (zh) 一种三维模型分布式云端渲染方法、系统及电子设备
CN114078092A (zh) 一种图像处理的方法、装置、电子设备及存储介质
CN113219668B (zh) 用于刷新头戴式显示设备的屏幕的方法、装置及电子设备
CN110119199B (zh) 实时渲染影像的追踪系统、方法及非暂态电脑可读取媒体
CN112017242B (zh) 显示方法及装置、设备、存储介质
CN109753155B (zh) 头戴显示设备、其驱动方法及虚拟现实显示装置
US12034908B2 (en) Stereoscopic-image playback device and method for generating stereoscopic images
CN113596569A (zh) 图像处理方法、装置和计算机可读存储介质
US11954786B2 (en) Reprojection for high field rate displays
US20240355033A1 (en) Reprojection for high field rate displays
CN112911268B (zh) 一种图像的显示方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination