CN115576470A - 图像处理方法和装置、增强现实系统及介质 - Google Patents

图像处理方法和装置、增强现实系统及介质 Download PDF

Info

Publication number
CN115576470A
CN115576470A CN202211203824.XA CN202211203824A CN115576470A CN 115576470 A CN115576470 A CN 115576470A CN 202211203824 A CN202211203824 A CN 202211203824A CN 115576470 A CN115576470 A CN 115576470A
Authority
CN
China
Prior art keywords
image
area
region
area image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211203824.XA
Other languages
English (en)
Inventor
杨青河
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN202211203824.XA priority Critical patent/CN115576470A/zh
Publication of CN115576470A publication Critical patent/CN115576470A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开涉及智能眼镜技术领域，具体涉及一种图像处理方法和装置、增强现实系统及介质。所述图像处理方法包括：接收终端设备发送的图像数据；其中，所述图像数据是由所述终端设备对第一图像进行预设处理得到的数据；所述预设处理包括：获取第一图像中的第一区域图像和第二区域图像，所述第一区域图像对应于注视点区域，所述第二区域图像对应于非注视点区域；获取所述第一区域图像和所述第二区域图像在所述第一图像中的位置关系信息；按照预设的缩小比例，缩小所述第二区域图像的尺寸；所述图像数据包括：所述第一区域图像、缩小后的所述第二区域图像、所述位置关系信息、所述缩小比例；根据所述图像数据还原出有损的第一图像。

Description

图像处理方法和装置、增强现实系统及介质
技术领域
本公开涉及智能眼镜技术领域，更具体地，涉及一种图像处理方法和装置、增强现实系统及介质。
背景技术
随着虚拟现实技术和增强现实技术的不断发展，出现了很多的VR以及AR的产品。在现有的技术中，VR和AR技术一般依托于头戴设备来实现。而现有头戴设备作为集成度非常高的高新技术产品，在设计时除了要关注佩戴的舒适性之外，还要关注整个产品的重量以及体积。目前产品都在向小型化、轻量化方向发展，这给产品的设计带来新的挑战。
对于分离式的VR、AR产品来说，目前在渲染VR、AR眼镜中的图像时，终端设备需要将图像完整的数据传输给VR、AR眼镜，VR、AR眼镜再对图像数据进行还原，整体的计算量较大，功耗过高，直接影响了产品的续航和用户的使用体验，同时，也阻碍了头戴产品向小型化、轻量化方向的发展。
发明内容
本公开的一个目的是提供一种适用于增强现实产品的图像处理方法和装置、增强现实系统及介质。
根据本公开的第一方面，提供了一种图像处理方法，其特征在于，应用于头戴显示设备，所述方法包括：接收终端设备发送的图像数据；其中，所述图像数据是由所述终端设备对第一图像进行预设处理得到的数据；所述预设处理包括：获取第一图像中的第一区域图像和第二区域图像，所述第一区域图像对应于注视点区域，所述第二区域图像对应于非注视点区域；获取所述第一区域图像和所述第二区域图像在所述第一图像中的位置关系信息；按照预设的缩小比例，缩小所述第二区域图像的尺寸；所述图像数据包括：所述第一区域图像、缩小后的所述第二区域图像、所述位置关系信息、所述缩小比例；根据所述图像数据还原出有损的第一图像。
可选地，所述根据所述图像数据还原出有损的第一图像，包括：根据所述缩小比例，对所述缩小后的所述第二区域图像进行放大处理，还原出有损的所述第二区域图像；根据所述位置关系信息，将所述第一区域图像和有损的所述第二区域图像组合成有损的所述第一图像。
可选地，所述按照预设的缩小比例，缩小所述第二区域图像的尺寸，包括：在保持所述第二区域图像的与所述第一区域图像邻接的部分的尺寸不变的情况下，按照预设的缩小比例，缩小所述第二区域图像的尺寸；所述预设处理还包括：按照所述位置关系信息，将所述第一区域图像、缩小后的所述第二区域图像合成为第二图像；所述图像数据包括：所述第二图像、所述位置关系信息、所述缩小比例、第一位置信息、第二位置信息；其中，所述第一位置信息是所述第一区域图像在所述第二图像中的位置信息，所述第二位置信息是缩小后的所述第二区域图像在所述第二图像中的位置信息。
可选地，所述根据所述图像数据还原出有损的第一图像；根据所述第一位置信息，从所述第二图像中获取所述第一区域图像；根据所述第二位置信息，从所述第二图像中获取所述缩小后的所述第二区域图像；根据所述缩小比例，对所述缩小后的所述第二区域图像进行放大处理，还原出有损的所述第二区域图像；根据所述位置关系信息，将所述第一区域图像和有损的所述第二区域图像组合成有损的所述第一图像。
可选地，所述第二区域图像包括多个子区域图像；所述按照预设的缩小比例，缩小所述第二区域图像的尺寸，包括：按照各个子区域图像各自对应的缩小比例，缩小各个子区域图像的尺寸；其中，所述子区域图像与所述第一区域图像在所述第一图像中的距离越远，缩小比例越大。
可选地，所述预设处理由所述终端设备中的显示处理器执行。
根据本公开的第二方面，提供了一种头戴显示设备，具有处理器和存储器，所述存储器中存储有计算机指令，所述计算机指令被处理器执行时实现上述第一方面任一项所述的方法的步骤
根据本公开的第三方面，提供了一种增强现实系统，包括无线通信连接的头戴显示设备和终端设备。所述终端设备包括显示处理器，所述头戴显示设备包括图像处理器。所述显示处理器用于：获取第一图像中的第一区域图像和第二区域图像，所述第一区域图像对应于注视点区域，所述第二区域图像对应于非注视点区域；获取所述第一区域图像和所述第二区域图像在所述第一图像中的位置关系信息；按照预设的缩小比例，缩小所述第二区域图像的尺寸；通过所述无线通信连接，将所述第一区域图像、缩小后的所述第二区域图像、所述位置关系信息、所述缩小比例发送给所述头戴显示设备。所述图像处理器，用于根据所述第一区域图像、缩小后的所述第二区域图像、所述位置关系信息、所述缩小比例还原出有损的第一图像。
根据本公开的第四方面，提供了一种增强现实系统，包括无线通信连接的头戴显示设备和终端设备。所述终端设备包括显示处理器，所述头戴显示设备包括图像处理器。所述显示处理器用于：获取第一图像中的第一区域图像和第二区域图像，所述第一区域图像对应于注视点区域，所述第二区域图像对应于非注视点区域；获取所述第一区域图像和所述第二区域图像在所述第一图像中的位置关系信息；在保持所述第二区域图像的与所述第一区域图像邻接的部分的尺寸不变的情况下，按照预设的缩小比例，缩小所述第二区域图像的尺寸；按照所述位置关系信息，将所述第一区域图像、缩小后的所述第二区域图像合成为第二图像；通过所述无线通信连接，将所述第二图像、所述位置关系信息、所述缩小比例、第一位置信息、第二位置信息发送给所述头戴显示设备。所述图像处理器，用于根据所述第二图像、所述位置关系信息、所述缩小比例、第一位置信息、第二位置信息还原出有损的第一图像。其中，所述第一位置信息是所述第一区域图像在所述第二图像中的位置信息，所述第二位置信息是缩小后的所述第二区域图像在所述第二图像中的位置信息。
根据本公开的第五方面，提供了一种存储介质，其上存储有计算机指令，所述计算机指令被处理器执行时实现上述第一方面任一项所述的方法的步骤。
根据本公开的实施例的图像处理方法，头戴显示设备接收终端设备发送的，在保留第一图像中的注视点区域的基础上，缩小非注释点区域的图像数据，再将图像数据还原为第一图像，从而降低传输数据量，减小传输延迟，在不影响用户关注的注视点区域的图像的质量的基础上，使头戴显示设备在还原图像时的计算量更小，节省了头戴显示设备的功耗，增加了头戴显示设备的续航能力，同时，在设备上可以搭载低容量电池，降低整体重量，提升用户的体验。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本公开的实施例，并且连同其说明一起用于解释本公开的原理。
图1是可以用于实施根据本公开的实施例的计算设备的示意性框图。
图2是可以用于实施根据本公开的实施例的系统的示意性框图。
图3示出了本公开实施例的图像处理方法的流程图。
图4示出了本公开实施例的图像处理方法的例子的示意图之一。
图5示出了本公开实施例的图像处理方法的例子的示意图之二。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图1示出了根据另一个实施例的计算设备的硬件示意性框图。
如图1所示，计算设备100包括处理器102、可读存储介质104。
计算设备100还可以包括显示屏110、用户接口112、摄像头114、音频/视频接口116、传感器118和通信部件120等。此外，计算设备100还可以还包括电源管理芯片106以及电池108等。
计算设备100可以各种智能设备等，例如，智能手机、虚拟现实眼镜、增强现实眼镜等。图1所示的各个部件仅仅是示意性的。计算设备100可以包括图1所示的部件中的一个或多个，而不必包括图1中的全部部件。图1所示的计算设备100仅是解释性的，并且决不是为了要限制这里的实施例、其应用或用途。
处理器102可以是各种处理器。可读存储介质104可以存储计算设备100运行所需的底层软件、系统软件、应用软件、数据等。可读存储介质104可以包括多种形式的存储器，例如，ROM、RAM、Flash等。
显示屏110可以是液晶显示屏、OLED显示屏等。在一个例子中，显示屏110可以是触摸屏。用户可以通过显示屏110进行输入操作。此外，用户还可以通过触摸屏进行指纹识别等。
用户接口112可以包括USB接口、闪电接口、键盘等。
摄像头114可以是单摄像头，也可以是多摄像头。此外，摄像头114可以用于用户的面容识别。
音频/视频接口116例如可以包括扬声器接口、麦克风接口、诸如HDMI的视频传输接口等。
传感器118例如可以包括陀螺仪、加速度计、温度传感器、湿度传感器、压力传感器等等。例如，通过传感器可以确定计算设备周围的环境等。
通信部件120例如可以包括WiFi通信部件、蓝牙通信部件、3G、4G和5G通信部件等。通过通信部件120，计算设备100可以被布置中网络中。
电源管理芯片106可以用于管理输入计算设备100电源功率，还可以对电池108进行管理，以保证较大的利用效率。电池108例如是锂离子电池等。
图1所示的计算设备仅是解释性的，并且决不是为了要限制这里的实施例、其应用或用途。
图2是可以用于实施根据本公开的实施例的系统的示意性框图。图2示出了多个终端设备21、23、智能眼镜22、24以及通信网络20。在网络20中可以设置多个服务器201、202。终端设备21、23、智能眼镜22、24以及服务器201、202中的每个例如可以是图1所示的计算设备。根据一个实施例的计算设备包括至少一个处理器和至少一个可读存储介质。在该实施例中，所述至少一个处理器和至少一个可读存储介质可以被分布在终端设备21、23、智能眼镜22、24以及服务器201、202中。所述可读存储介质存储可执行指令。当所述处理器执行所述可执行指令时，所述可执行指令使得所述处理器实现根据实施例所述的方法。服务器201、202可以用于协助终端设备21、23中的处理。
智能眼镜22和智能眼镜24可以连接到网络20，并且还可以通过诸如蓝牙等的通信方式分别与终端设备21、22连接。在一个实施例中，智能眼镜22和智能眼镜24仅通过诸如蓝牙等的通信方式分别与终端设备21、22连接。
本申请实施例公开了一种图像处理方法，该方法应用于头戴设备，例如VR、AR眼镜等，如图1所示，该方法包括步骤S11-S12。
步骤S11，接收终端设备发送的图像数据；其中，图像数据是由终端设备对第一图像进行预设处理得到的数据；预设处理包括：获取第一图像中的第一区域图像和第二区域图像，第一区域图像对应于注视点区域，第二区域图像对应于非注视点区域；获取第一区域图像和第二区域图像在第一图像中的位置关系信息；按照预设的缩小比例，缩小第二区域图像的尺寸；图像数据包括：第一区域图像、缩小后的第二区域图像、位置关系信息、缩小比例。
在本实施例的一个示例中，增强现实系统可以包括头戴显示设备和终端设备，其中头戴显示设备和终端设备之间可以通过无线通信连接。具体的，头戴显示设备可以是AR、VR、XR等智能眼镜，终端设备可以是手机、平板电脑等终端设备。
在本实施例的一个示例中，终端设备中的图像如果要显示到头戴显示设备例如AR眼镜上时，需要先对该图像进行预设处理。具体的，预设处理可以包括通过头戴显示设备捕捉用户在第一图像上的注视点区域，将用户在第一图像上的注视点区域的图像确定为第一区域图像，并将其他区域的图像确定为第二区域图像。
在本实施例的一个示例中，可以建立第一图像的图像坐标系，在坐标系中确定出第一区域图像和第二区域图像，例如，在第一区域、第二区域为矩形时，可以通过矩形的四个顶点的坐标，来确定第一区域、第二区域图像的位置。在确定了第一区域图像和第二区域图像的位置之后，就可以确定第一区域图像与第二区域图像之间的位置关系。
在本实施例的一个示例中，预设处理由终端设备中的显示处理器执行。
在确定第二区域图像之后，就可以根据预设的缩小比例，对第二区域图像缩小，具体的，预设处理可以通过终端设备中的DPU(display process unit，显示处理器)对第二区域图像按照预设比例进行缩放。例如，在预设比例为1:4时，对第二区域图像按照预设比例进行缩放，可以是将第二区域图像中每四个相邻的像素点，只保留其中的一个。通过这种方式，按照预设比例将第二区域图像的尺寸进行的缩小，同时，第二区域图像带有的信息量，也会按照预设比例缩小。
在本实施例的一个示例中，终端设备可以基于无线通信连接，将第一区域图像、缩小后的第二区域图像、第一区域图像和第二区域图像的位置关系，以及第二区域图像的缩小比例，一起发送至增强现实系统中的头戴显示设备上。
步骤S12，根据所述图像数据还原出有损的第一图像。
在本实施例的一个示例中，根据图像数据还原出有损的第一图像，包括：根据缩小比例，对缩小后的第二区域图像进行放大处理，还原出有损的第二区域图像，根据位置关系信息，将第一区域图像和有损的第二区域图像组合成有损的第一图像。
在本实施例的一个示例中，头戴显示设备中的GPU(graphics processing unit，图像处理器)，在接收到图像数据之后，可以根据图像数据，对第一图像进行还原。具体的，可以根据预设的缩小比例，对缩小后的第二区域图像进行放大处理。对缩小后的第二区域图像进行放大处理，可以是将第二区域图像中的每个像素都按照预设比例进行复制，将其尺寸进行放大。在第二区域图像经过缩小和放大后，相较于处理之前，第二区域图像可能会相对模糊，即有损的第二区域图像。在还原出有损的第二区域图像后，就可以根据第二区域图像与第一区域图像的位置关系，将有损的第二区域图像和第一区域图像组合成有损的第一图像，即注视点区域清晰，非注视点区域相对模糊的图像。在头戴显示设备还原出有损的第一图像后，就可以在头戴显示设备上显示对应的图像。
在本例中，头戴显示设备接收终端设备发送的，在保留第一图像中的注视点区域的基础上，缩小非注释点区域的图像数据，再将图像数据还原为第一图像，从而降低传输数据量，减小传输延迟，在不影响用户关注的注视点区域的图像的质量的基础上，使头戴显示设备在还原图像时的计算量更小，节省了头戴显示设备的功耗，增加了头戴显示设备的续航能力，同时，在设备上可以搭载低容量电池，降低整体重量，提升用户的体验。
在本实施例的一个示例中，按照预设的缩小比例，缩小第二区域图像的尺寸，包括：在保持第二区域图像的与第一区域图像邻接的部分的尺寸不变的情况下，按照预设的缩小比例，缩小第二区域图像的尺寸，预设处理还包括：按照位置关系信息，将第一区域图像、缩小后的第二区域图像合成为第二图像，图像数据包括：第二图像、位置关系信息、缩小比例、第一位置信息、第二位置信息；其中，第一位置信息是第一区域图像在第二图像中的位置信息，第二位置信息是缩小后的第二区域图像在第二图像中的位置信息。
在本实施例的一个示例中，在按照预设比例缩小第二区域图像的尺寸时，可以保持第二区域图像与第一区域图像临接部分不变，缩小其余第二区域图像的尺寸，如图4所示。另外，由于第二区域图像与第一区域图像的临接部分不变，因此，可以按照第二图像与第一图像的位置关系，将缩小后的第二区域图像和第一区域图像进行合成，获得第二图像。
在本实施例的一个示例中，终端设备可以基于无线通信连接，将第二图像、第一区域图像和第二区域图像的位置关系信息，第一区域图像在第二图像中的位置信息和第二位置信息是缩小后的第二区域图像在第二图像中的位置信息。一起发送至增强现实系统中的头戴显示设备上。
在本实施例的一个示例中，根据图像数据还原出有损的第一图像，根据第一位置信息，从第二图像中获取第一区域图像，根据第二位置信息，从第二图像中获取缩小后的第二区域图像，根据缩小比例，对缩小后的第二区域图像进行放大处理，还原出有损的第二区域图像，根据位置关系信息，将第一区域图像和有损的第二区域图像组合成有损的第一图像。
在本实施例的一个示例中，头戴显示设备在接收到图像数据之后，可以根据第一位置信息，从第二图像中获取第一区域图像，即注视点区域的清晰的图像。以及根据第二位置信息，从第二图像中获取到缩小后的第二图像，即缩小后的非注视点区域的图像。在获得缩小后的第二图像后，根据预设的缩小比例，对缩小后的第二区域图像进行放大处理，具体的，对缩小后的第二区域图像进行放大处理，可以是将第二区域图像中除了图像临接部分的每个像素都按照预设比例进行复制，将其尺寸进行还原。还原出有损的第二区域图像。
在还原出有损的第二区域图像后，就可以根据第二区域图像与第一区域图像的位置关系，将有损的第二区域图像和第一区域图像组合成有损的第一图像，即注视点区域清晰，非注视点区域相对模糊的图像。
在本例中，头戴显示设备接收终端设备发送的，在保留第一图像中的注视点区域的基础上，缩小非注释点区域的图像数据，再将图像数据还原为第一图像，从而降低传输数据量，减小传输延迟，在不影响用户关注的注视点区域的图像的质量的基础上，使头戴显示设备在还原图像时的计算量更小，节省了头戴显示设备的功耗，增加了头戴显示设备的续航能力，同时，在设备上可以搭载低容量电池，降低整体重量，提升用户的体验。
在本实施例的一个示例中，第二区域图像包括多个子区域图像，按照预设的缩小比例，缩小第二区域图像的尺寸，包括：按照各个子区域图像各自对应的缩小比例，缩小各个子区域图像的尺寸；其中，子区域图像与第一区域图像在第一图像中的距离越远，缩小比例越大。
在本实施例的一个示例中，第二区域图像可以按照与第一图像的距离，分为不同的子区域图像。例如，如图5所示，第二区域图像可以根据图像与第一区域图像在第一图像中的距离来划分子区域图像。距离第一区域较近的子区域图像为第一子区域图像，距离第一区域较远的子区域图像为第二子区域图像。每个子区域图像可以根据其与第一区域图像在第一图像中的距离，确定该子区域的缩小比例，距离第一区域图像越近，缩小比例越小，距离第一区域图像越远，缩小比例越大。例如，图5中第一子区域图像可以以1:2的缩小比例进行缩放，而距离第一区域图像更远的第二子区域图像以1:4的缩小比例进行缩放。
例如，图1所示的计算设备可以用于执行上面根据图3-5所描述的方法。例如，可读存储介质204存储可执行指令。当处理器102执行可执行指令时，所述可执行指令使得处理器102实现图3-4所描述的图像处理方法。
如图2所示，诸如智能手机的终端设备23和智能眼镜24可以组成用于图像处理的系统。智能眼镜例如可以是增强现实眼镜、虚拟现实眼镜等。
本实施例提供了一种头戴显示设备，该头戴显示设备包括处理器和存储器；所述存储器中存储有计算机指令，所述计算机指令被所述处理器运行时执行上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
在本实施例还提供了一种增强现实系统，包括无线通信连接的头戴显示设备和终端设备。终端设备包括显示处理器，头戴显示设备包括图像处理器。显示处理器用于：获取第一图像中的第一区域图像和第二区域图像，第一区域图像对应于注视点区域，第二区域图像对应于非注视点区域；获取第一区域图像和第二区域图像在第一图像中的位置关系信息；按照预设的缩小比例，缩小第二区域图像的尺寸；通过无线通信连接，将第一区域图像、缩小后的第二区域图像、位置关系信息、缩小比例发送给头戴显示设备。图像处理器，用于根据第一区域图像、缩小后的第二区域图像、位置关系信息、缩小比例还原出有损的第一图像。
在本实施例还提供了一种增强现实系统，包括无线通信连接的头戴显示设备和终端设备。终端设备包括显示处理器，头戴显示设备包括图像处理器。显示处理器用于：获取第一图像中的第一区域图像和第二区域图像，第一区域图像对应于注视点区域，第二区域图像对应于非注视点区域；获取第一区域图像和第二区域图像在第一图像中的位置关系信息；在保持第二区域图像的与第一区域图像邻接的部分的尺寸不变的情况下，按照预设的缩小比例，缩小第二区域图像的尺寸；按照位置关系信息，将第一区域图像、缩小后的第二区域图像合成为第二图像；通过无线通信连接，将第二图像、位置关系信息、缩小比例、第一位置信息、第二位置信息发送给头戴显示设备。图像处理器，用于根据第二图像、位置关系信息、缩小比例、第一位置信息、第二位置信息还原出有损的第一图像。其中，第一位置信息是第一区域图像在第二图像中的位置信息，第二位置信息是缩小后的第二区域图像在第二图像中的位置信息。
本实施例提供了一种计算机可读存储介质，该存储介质中存储有可执行命令，该可执行命令被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本公开的内容还可以包括计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令，即，可执行指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是，但不限于，电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、计算设备和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的计算设备、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的计算设备来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种图像处理方法，其特征在于，应用于头戴显示设备，所述方法包括：
接收终端设备发送的图像数据；其中，所述图像数据是由所述终端设备对第一图像进行预设处理得到的数据；所述预设处理包括：获取第一图像中的第一区域图像和第二区域图像，所述第一区域图像对应于注视点区域，所述第二区域图像对应于非注视点区域；获取所述第一区域图像和所述第二区域图像在所述第一图像中的位置关系信息；按照预设的缩小比例，缩小所述第二区域图像的尺寸；所述图像数据包括：所述第一区域图像、缩小后的所述第二区域图像、所述位置关系信息、所述缩小比例；
根据所述图像数据还原出有损的第一图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述图像数据还原出有损的第一图像，包括：
根据所述缩小比例，对所述缩小后的所述第二区域图像进行放大处理，还原出有损的所述第二区域图像；
根据所述位置关系信息，将所述第一区域图像和有损的所述第二区域图像组合成有损的所述第一图像。
3.根据权利要求1所述的图像处理方法，其特征在于，所述按照预设的缩小比例，缩小所述第二区域图像的尺寸，包括：在保持所述第二区域图像的与所述第一区域图像邻接的部分的尺寸不变的情况下，按照预设的缩小比例，缩小所述第二区域图像的尺寸；
所述预设处理还包括：按照所述位置关系信息，将所述第一区域图像、缩小后的所述第二区域图像合成为第二图像；
所述图像数据包括：所述第二图像、所述位置关系信息、所述缩小比例、第一位置信息、第二位置信息；其中，所述第一位置信息是所述第一区域图像在所述第二图像中的位置信息，所述第二位置信息是缩小后的所述第二区域图像在所述第二图像中的位置信息。
4.根据权利要求3所述的图像处理方法，其特征在于，所述根据所述图像数据还原出有损的第一图像；
根据所述第一位置信息，从所述第二图像中获取所述第一区域图像；
根据所述第二位置信息，从所述第二图像中获取所述缩小后的所述第二区域图像；
根据所述缩小比例，对所述缩小后的所述第二区域图像进行放大处理，还原出有损的所述第二区域图像；
根据所述位置关系信息，将所述第一区域图像和有损的所述第二区域图像组合成有损的所述第一图像。
5.根据权利要求1所述的图像处理方法，其特征在于，所述第二区域图像包括多个子区域图像；
所述按照预设的缩小比例，缩小所述第二区域图像的尺寸，包括：按照各个子区域图像各自对应的缩小比例，缩小各个子区域图像的尺寸；其中，所述子区域图像与所述第一区域图像在所述第一图像中的距离越远，缩小比例越大。
6.根据权利要求1-5任一项所述的图像处理方法，其特征在于，所述预设处理由所述终端设备中的显示处理器执行。
7.一种头戴显示设备，其特征在于，处理器和存储器；所述存储器中存储有计算机指令，所述计算机指令被所述处理器运行时执行权利要求1-6中任一项所述的图像处理方法。
8.一种增强现实系统，其特征在于，包括无线通信连接的头戴显示设备和终端设备；
所述终端设备包括显示处理器，所述头戴显示设备包括图像处理器；
所述显示处理器用于：获取第一图像中的第一区域图像和第二区域图像，所述第一区域图像对应于注视点区域，所述第二区域图像对应于非注视点区域；获取所述第一区域图像和所述第二区域图像在所述第一图像中的位置关系信息；按照预设的缩小比例，缩小所述第二区域图像的尺寸；通过所述无线通信连接，将所述第一区域图像、缩小后的所述第二区域图像、所述位置关系信息、所述缩小比例发送给所述头戴显示设备；
所述图像处理器，用于根据所述第一区域图像、缩小后的所述第二区域图像、所述位置关系信息、所述缩小比例还原出有损的第一图像。
9.一种增强现实系统，其特征在于，包括无线通信连接的头戴显示设备和终端设备；
所述终端设备包括显示处理器，所述头戴显示设备包括图像处理器；
所述显示处理器用于：获取第一图像中的第一区域图像和第二区域图像，所述第一区域图像对应于注视点区域，所述第二区域图像对应于非注视点区域；获取所述第一区域图像和所述第二区域图像在所述第一图像中的位置关系信息；在保持所述第二区域图像的与所述第一区域图像邻接的部分的尺寸不变的情况下，按照预设的缩小比例，缩小所述第二区域图像的尺寸；按照所述位置关系信息，将所述第一区域图像、缩小后的所述第二区域图像合成为第二图像；通过所述无线通信连接，将所述第二图像、所述位置关系信息、所述缩小比例、第一位置信息、第二位置信息发送给所述头戴显示设备；
所述图像处理器，用于根据所述第二图像、所述位置关系信息、所述缩小比例、第一位置信息、第二位置信息还原出有损的第一图像；
其中，所述第一位置信息是所述第一区域图像在所述第二图像中的位置信息，所述第二位置信息是缩小后的所述第二区域图像在所述第二图像中的位置信息。
10.一种计算机存储介质，其上存储有计算机指令，所述计算机指令被处理器运行时执行权利要求1-6中任一项所述的图像处理方法。
CN202211203824.XA 2022-09-29 2022-09-29 图像处理方法和装置、增强现实系统及介质 Pending CN115576470A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211203824.XA CN115576470A (zh) 2022-09-29 2022-09-29 图像处理方法和装置、增强现实系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211203824.XA CN115576470A (zh) 2022-09-29 2022-09-29 图像处理方法和装置、增强现实系统及介质

Publications (1)

Publication Number Publication Date
CN115576470A true CN115576470A (zh) 2023-01-06

Family

ID=84582777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211203824.XA Pending CN115576470A (zh) 2022-09-29 2022-09-29 图像处理方法和装置、增强现实系统及介质

Country Status (1)

Country Link
CN (1) CN115576470A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116382549A (zh) * 2023-05-22 2023-07-04 昆山嘉提信息科技有限公司 基于视觉反馈的图像处理方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116382549A (zh) * 2023-05-22 2023-07-04 昆山嘉提信息科技有限公司 基于视觉反馈的图像处理方法及装置
CN116382549B (zh) * 2023-05-22 2023-09-01 昆山嘉提信息科技有限公司 基于视觉反馈的图像处理方法及装置

Similar Documents

Publication Publication Date Title
TWI550548B (zh) 於中段排序架構中利用訊框對訊框之同調性的技術
CN110070496B (zh) 图像特效的生成方法、装置和硬件装置
US9153201B2 (en) Real-time order-independent transparent rendering
CN115576470A (zh) 图像处理方法和装置、增强现实系统及介质
CN107959845B (zh) 图像数据传输的方法、装置、客户端装置及头戴显示设备
CN110288523B (zh) 图像生成方法和装置
CN116563740A (zh) 基于扩展现实的控制方法、装置、电子设备和存储介质
CN116228952A (zh) 一种虚拟对象挂载方法、装置、设备及介质
CN115861510A (zh) 对象渲染方法、装置、电子设备、存储介质及程序产品
CN113836455A (zh) 特效渲染方法、装置、设备、存储介质及计算机程序产品
CN116527993A (zh) 视频的处理方法、装置、电子设备、存储介质和程序产品
CN113703704A (zh) 界面显示方法、头戴式显示设备和计算机可读介质
WO2013180729A1 (en) Rendering multiple remote graphics applications
US20130307860A1 (en) Preempting Fixed Function Media Devices
US9705964B2 (en) Rendering multiple remote graphics applications
CN117575882B (zh) 顶点缓冲区的更新方法、装置及存储介质
CN112395826B (zh) 文字特效处理方法及装置
CN116738088A (zh) 一种显示方法、装置、电子设备和存储介质
CN117193915A (zh) 终端的控制方法、装置、电子设备和存储介质
CN113302678A (zh) 动态图像控制方法、程序以及显示装置
TWI502539B (zh) 用於隨機柵格化之使用線性邊界的淘汰技術
CN117215688A (zh) 控制方法、装置、电子设备及介质
CN117572960A (zh) 控制方法、装置、控制设备及介质
CN115103148A (zh) 一种视频实现方法、装置、电子设备及可读存储介质
CN117132608A (zh) 图像处理方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination