CN112261408A - 用于头戴显示设备的图像处理方法、装置及电子设备 - Google Patents

用于头戴显示设备的图像处理方法、装置及电子设备 Download PDF

Info

Publication number
CN112261408A
CN112261408A CN202010974865.3A CN202010974865A CN112261408A CN 112261408 A CN112261408 A CN 112261408A CN 202010974865 A CN202010974865 A CN 202010974865A CN 112261408 A CN112261408 A CN 112261408A
Authority
CN
China
Prior art keywords
image
processed
pixel point
region
weight value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010974865.3A
Other languages
English (en)
Other versions
CN112261408B (zh
Inventor
于东壮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN202010974865.3A priority Critical patent/CN112261408B/zh
Publication of CN112261408A publication Critical patent/CN112261408A/zh
Priority to EP21868605.3A priority patent/EP4142288A4/en
Priority to PCT/CN2021/118172 priority patent/WO2022057782A1/zh
Priority to US17/881,820 priority patent/US20220382053A1/en
Application granted granted Critical
Publication of CN112261408B publication Critical patent/CN112261408B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Abstract

本公开实施例公开了用于头戴显示设备的图像处理方法、装置及电子设备，该方法包括：获取待处理图像和眼球追踪信息；根据所述眼球追踪信息确定眼球在所述待处理图像上的第一感兴趣区域；为所述待处理图像中每一像素点分配权重值，其中，位于所述第一感兴趣区域的像素点的权重值高于位于其他区域的像素点的权重值，所述其他区域为所述第一感兴趣区域以外的区域；根据所述每一像素点对应的权重值调整每一像素点的像素值，获得处理后的图像。

Description

用于头戴显示设备的图像处理方法、装置及电子设备
技术领域
本公开实施例涉及视频处理技术领域，更具体地，本公开实施例涉及一种用于头戴显示设备的图像处理方法、用于头戴显示设备的图像装置及电子设备。
背景技术
虚拟现实(Virtual Reality，简称VR)是近年来出现的高新技术。随着虚拟现实行业的蓬勃发展，用户使用过程中，虚拟与现实的交互需求日益剧增。
目前，视频编码技术被广泛应用于虚拟现实VR领域。在用户通过PC(PersonalComputer，个人计算机)端的VR头戴显示设备进行VR视频直播、观看VR视频、体验VR游戏时，需要通过视频编码技术对PC端渲染出的视频内容进行编码压缩，将编码压缩后的视频文件通过网络传输给头戴显示设备，以便头戴显示设备呈现给用户。为了方便视频的传输，通常对待渲染的图像进行简单分区，并降低非关注区域的分辨率，以减小视频体积，从而提高传输速度，缩短头戴显示设备的显示延迟。而采用这种方式处理视频，图像的关注区域和非关注区域被突兀分隔，存在较大的反差，影响视频的显示效果。并且，降低非关注区域的分辨率容易造成像素点的融合，出现大片亮点，影响用户的视觉体验。
因此，有必要提供一种新的用于头戴显示设备的图像处理方法，以在保证视频质量的同时减小视频体积。
发明内容
本公开实施例的目的在于提供一种保证视频质量的同时减小视频体积的图像处理方案。
根据本公开实施例第一方面，提供了一种用于头戴显示设备的图像处理方法，所述方法包括：
获取待处理图像和眼球追踪信息；
根据所述眼球追踪信息确定眼球在所述待处理图像上的第一感兴趣区域；
为所述待处理图像中每一像素点分配权重值，其中，位于所述第一感兴趣区域的像素点的权重值高于位于其他区域的像素点的权重值，所述其他区域为所述第一感兴趣区域以外的区域；
根据所述每一像素点对应的权重值调整每一像素点的像素值，获得处理后的图像。
可选地，所述眼球追踪信息包括眼球在所述待处理图像上的注视区域的中心点和半径、接收间隔时间内眼球在所述待处理图像上的最大移动角度；所述根据所述眼球追踪信息确定眼球在所述待处理图像上的第一感兴趣区域的步骤包括：
根据最大移动角度确定接收间隔时间内眼球在待处理图像上的最大位移；
在所述最大位移大于等于所述注视区域的半径的情况下，根据所述注视区域的中心点和所述最大位移确定第一感兴趣区域；
在所述最大位移小于所述注视区域的半径的情况下，将所述注视区域确定为第一感兴趣区域。
可选地，所述方法还包括确定眼球在所述待处理图像上的最大移动角度，包括；
获取接收间隔时间内眼球在所述待处理图像上的实际移动角度；
在所述实际移动角度大于等于头戴显示设备的视场角的情况下，将所述头戴显示设备的视场角作为接收间隔时间内眼球在待处理图像上的最大移动角度；
在所述实际移动角度小于头戴显示设备的视场角的情况下，将所述实际移动角度作为接收间隔时间内眼球在待处理图像上的最大移动角度。
可选地，所述为所述待处理图像中每一像素点分配权重值的步骤包括：
为所述待处理图像中的每一像素点分配第一权重值，其中，所述像素点对应的第一权重值由中心轴至两侧边缘呈降低趋势；
为所述第一感兴趣区域中的每一像素点分配第二权重值，其中，所述像素点对应的第二权重值由所述第一感兴趣区域的中心至边缘呈降低趋势；
将所述第一感兴趣区域中的每一像素点对应的第一权重值和第二权重值进行加权平均计算，确定所述第一感兴趣区域中的每一像素点的第三权重值。
可选地，所述为所述待处理图像中每一像素点分配权重值的步骤包括：
对所述待处理图像进行区域划分，得到多个第一图像区域；
为每一第一图像区域分配第四权重值，其中，所述第一图像区域对应的第四权重值由中心轴至两侧边缘呈降低趋势；
对所述第一感兴趣区域进行区域划分，得到多个第二图像区域；
为每一第二图像区域分配第五权重值，其中，所述第二图像区域对应的第五权重值由所述第一感兴趣区域的中心点至边缘呈降低趋势；
根据像素点所在的第一图像区域对应的第四权重值和所述像素点所在的第二图像区域对应的第五权重值，确定所述待处理图像中每一像素点的权重值。
可选地，所述根据所述每一像素点对应的权重值调整每一像素点的像素值，获得处理后的图像的步骤包括：
根据预先建立的所述权重值与图像信息量化步长的映射关系，确定所述待处理图像中每一所述像素点对应的图像信息量化步长；
根据每一所述像素点对应的图像信息量化步长调整每一像素点的像素值，获得处理后的图像。
可选地，所述方法还包括：
对依序排列的多帧所述处理后的图像进行视频编码，获得目标视频。
可选地，所述方法还包括：
对所述处理后的图像进行卷积运算，得到卷积运算结果；
根据卷积运算结果确定所述处理后的图像的第二感兴趣区域；
基于所述第二感兴趣区域，采用预定的感兴趣区域编码算法对依序排列的多帧所述处理后的图像进行视频编码，获得目标视频。
根据本公开实施例的第二方面，提供了一种用于头戴显示设备的图像处理装置，所述装置包括：
获取模块，用于获取待处理图像和眼球追踪信息；
第一感兴趣区域确定模块，用于根据所述眼球追踪信息确定眼球在所述待处理图像上的第一感兴趣区域；
权重值确定模块，用于为所述待处理图像中每一像素点分配权重值，其中，位于所述第一感兴趣区域的像素点的权重值高于位于其他区域的像素点的权重值，所述其他区域为所述第一感兴趣区域以外的区域；
图像处理模块，用于根据所述每一像素点对应的权重值调整每一像素点的像素值，获得处理后的图像；
或者，
所述装置包括处理器和存储器，所述存储器存储有计算机指令，所述计算机指令被所述处理器运行时，执行本公开实施例的第一方面任一项所述的方法。
根据本公开实施例第三方面，提供了一种电子设备，包括头戴显示设备和本公开实施例的第二方面所述的用于头戴显示设备的图像处理装置。
根据本公开实施例，根据眼球追踪信息预测眼球在待处理图像上的第一感兴趣区域，并为待处理图像中的每一像素点分配权重值，根据像素点对应的权重值对像素点的像素值进行调整，在保证图像质量的同时，可以降低图像处理的复杂度。
根据本公开实施例，处理后的图像在第一感兴趣区域可以维持图像的原有状态，而在第一感兴趣区域以外的区域，图像的色度和对比度等可以根据像素点的权重值自然过渡，图像的显示效果更好。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为可用于实现本公开实施例的电子设备的硬件配置示意图；
图2为本公开实施例的用于头戴显示设备的图像处理方法的流程示意图；
图3为本公开实施例的眼球在待处理图像上的最大位移的示意图；
图4为本公开实施例的第一感兴趣区域的示意图；
图5为本公开实施例的第一感兴趣区域的示意图；
图6为本公开实施例的对待处理图像进行区域划分的示意图；
图7为本公开实施例的用于头戴显示设备的图像处理装置的结构方框图；
图8为本公开实施例的用于头戴显示设备的图像处理装置的结构方框图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
<硬件配置>
如图1所示，本发明实施例提供的电子设备100的硬件配置的框图。
参见图1所示，电子设备100包括头戴显示设备1000和PC端2000。头戴显示设备1000与PC端2000通信连接。
本公开实施例中，该头戴显示设备1000可以应用于VR视频直播、观看VR视频、体验VR游戏等场景。该头戴显示设备1000与PC端2000连接，用于从PC端2000获取目标视频，并向用户呈现目标视频。
PC端2000用于根据头戴显示设备1000的位姿数据对待处理的待处理图像进行处理，对依序排列的多帧处理后的图像进行视频编码得到目标视频，并将目标视频传输给头戴显示设备1000。目标视频例如可以是VR全景视频、VR游戏视频等。
头戴显示设备1000例如可以是VR(虚拟现实，Virtual Reality)设备、AR(增强现实，Augmented Reality)设备及MR(混合现实，Mixed Reality)设备等。
在一个实施例中，头戴显示设备1000可以如图1所示，包括处理器1100、存储器1200、接口装置1300、通信装置1400、显示装置1500、输入装置1600、音频装置1700、惯性测量单元1800、摄像头1900等。
其中，处理器1100例如可以是中央处理器CPU、微处理器MCU等。存储器1200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1300例如包括串行总线接口(包括USB接口)、并行总线接口、高清多媒体接口HDMI接口等。通信装置1400例如能够进行有线或无线通信。显示装置1500例如是液晶显示屏、LED显示屏、触摸显示屏等。输入装置1600例如包括触摸屏、键盘、体感输入等。音频装置1700可以用于输入/输出语音信息。惯性测量单元1800可以用于测量头戴显示设备1000的位姿变化。摄像头1900可以用于获取图像信息。
尽管在图1中对头戴显示设备1000示出了多个装置，但是，本发明可以仅涉及其中的部分装置，例如头戴显示设备1000只涉及处理器1100和存储器1200。
PC端2000可以是具有图像处理功能的计算机。在一个实施例中，PC端2000可以如图1所示，包括处理器2100、存储器2200、接口装置2300、通信装置2400、显示装置2500、输入装置2600。处理器2100可以是满足性能要求的台式机处理器、移动版处理器等，在此不做限定。存储器2200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置2300例如包括各种总线接口，例如串行总线接口(包括USB接口)、并行总线接口、高清多媒体接口HDMI接口等。通信装置2400例如能够进行有线或无线通信。显示装置2500例如是液晶显示屏、LED显示屏、触摸显示屏等。输入装置2600例如可以包括触摸屏、键盘等。在另外的实施例中，PC端2000还可以包括扬声器、麦克风等等，在此不做限定。尽管在图1中示出了PC端2000的多个装置，但是，本发明可以仅涉及其中的部分装置，例如，PC端2000只涉及存储器2200和处理器2100。
在一个实施例中，PC端2000的存储器2200用于存储指令，该指令用于控制处理器2100执行相应的步骤，从而为本实施例的用于头戴显示设备的图像处理方法提供相关的支持。
应当理解的是，尽管图1仅示出一个头戴显示设备1000和PC端2000，但不意味着限制各自的数量，电子设备100中可以包含多个头戴显示设备1000和多个PC端2000。
在一个实施例中，头戴显示设备1000也可以与服务器通信连接。该服务器可以具有类似于PC端2000的硬件配置。该服务器可以和头戴显示设备1000进行通信。服务器的存储器用于存储指令，该指令用于控制服务器的处理器执行相应的步骤，从而为本实施例的用于头戴显示设备的图像处理方法提供相关的支持。
在上述描述中，技术人员可以根据本公开所提供的方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。
图1所示的电子设备仅是解释性的，并且决不是为了要限制本公开、其应用或用途。
<方法实施例>
参见图2所示，说明本公开实施例提供的用于头戴显示设备的图像处理方法。该方法涉及到PC端或者服务器，PC端或者服务器可以与头戴显示设备连接，PC端或者服务器用于根据头戴显示设备的位姿数据对待处理的待处理图像进行处理，对依序排列的多帧处理后的图像进行视频编码得到目标视频，并将目标视频传输给头戴显示设备，以供头戴显示设备呈现给用户。该PC端可以是如图1所示的PC端2000，头戴显示设备可以是如图1所示的头戴显示设备1000。
该用于头戴显示设备的图像处理方法包括以下步骤S201-S204。
S201、获取待处理图像和眼球追踪信息。
待处理图像可以根据用于在头戴显示设备显示的目标视频获得。该目标视频可以根据头戴显示设备的运行程序生成。该目标视频例如可以是VR全景视频、VR游戏视频等。待目标视频包括依序排列的多帧待处理图像，通过对每一帧待处理图像进行处理，从而对依序排列的多帧处理后的图像进行视频编码，获得目标视频。
眼球追踪信息可以是从头戴显示设备获取的。更具体地，眼球追踪信息可以通过设置在头戴显示设备上的眼球追踪模块采集的。根据眼球追踪信息可以确定眼球在待处理图像上的第一感兴趣区域，基于第一感兴趣区域对待处理图像进行处理，在保证图像质量的同时，可以降低图像的复杂度。
在获取待处理图像和眼球追踪信息之后，进入步骤S202。
S202、根据眼球追踪信息确定眼球在待处理图像上的第一感兴趣区域。
在一个实施例中，眼球追踪信息可以包括眼球在待处理图像上的注视区域的中心点和半径、接收间隔时间内眼球在待处理图像上的最大移动角度。在该实施例中，根据眼球追踪信息确定眼球在待处理图像上的第一感兴趣区域的步骤，可以进一步包括S301-S303。
S301、根据最大移动角度确定接收间隔时间内眼球在待处理图像上的最大位移。
接收间隔时间可以反映眼球追踪信息的获取时间与眼球追踪信息的采集时间之间的时延。接收间隔时间可以根据工程经验或者仿真试验经验进行设定。PC端或者服务器获取到眼球追踪信息的时间与眼球追踪信息的采集时间之间存在一定的时间延迟，根据眼球在待处理图像上的注视区域的中心点和半径、以及在接收间隔时间内眼球在待处理图像上的最大移动角度，可以确定主眼球在待处理图像上的最大位移，进一步可以预测出第一感兴趣区域。
在一个实施例中，该用于头戴显示设备的图像处理方法还包括确定目标移动角度的步骤，该步骤可以包括S401-S403。
S401、获取接收间隔时间内眼球在待处理图像上的实际移动角度。
在一个更具体的例子中，接收间隔时间内眼球在待处理图像上的实际移动角度可以直接通过设置在头戴显示设备上的眼球追踪模块采集。
在另一个更具体的例子中，接收间隔时间内眼球在待处理图像上的实际移动角度可以根据眼球移动速度和接收间隔时间确定。具体地，基于如下公式(1)计算出接收间隔时间内眼球在待处理图像上的最大移动角度。
D＝V*S (1)
其中，D为接收间隔时间内眼球在待处理图像上的最大移动角度，V为眼球移动速度，S为接收间隔时间。接收间隔时间S和眼球移动速度V可以根据实际经验进行设定。根据统计数据，眼球通过在2度/秒的速度内可以进行有效聚焦。基于此，眼球移动速度例如可以是2度/秒。
S402、在实际移动角度大于等于头戴显示设备的视场角的情况下，将头戴显示设备的视场角作为接收间隔时间内眼球在待处理图像上的最大移动角度。
S403、在实际移动角度小于头戴显示设备的视场角的情况下，将实际移动角度作为接收间隔时间内眼球在待处理图像上的最大移动角度。
在该实施例中，PC端或者服务器可以预先获取头戴显示设备的设备参数，该设备参数包括头戴显示设备的视场角和头戴显示设备的三维投影半径。头戴显示设备的视场角可以反映用户可以通过头戴显示设备观看的视野范围。该视场角可以是水平视场角。如果实际移动角度大于等于头戴显示设备的视场角，说明眼球的实际移动角度超出头戴显示设备的视野范围，此时将头戴显示设备的视场角作为接收间隔时间内眼球在待处理图像上的最大移动角度。如果实际移动角度小于头戴显示设备的视场角，说明眼球的实际移动角度在头戴显示设备的视野范围内，此时实际移动角度即为接收间隔时间内眼球在待处理图像上的最大移动角度。
在确定出接收间隔时间内眼球在待处理图像上的最大移动角度之后，根据该最大移动角度确定接收间隔时间内眼球在待处理图像上的最大位移。
在一个更具体的例子中，根据最大移动角度和头戴显示设备的三维投影半径确定接收间隔时间内眼球在待处理图像上的最大位移。具体地，基于如下公式(2)计算出接收间隔时间内眼球在待处理图像上的最大位移。
L＝sin D*R (2)
其中，L为接收间隔时间内眼球在待处理图像上的最大位移；D为接收间隔时间内眼球在待处理图像上的最大移动角度；R为头戴显示设备的三维投影半径。
结合图3对计算接收间隔时间内眼球在待处理图像上的最大位移L的原理进行说明。参见图3所示，A点为头戴显示设备的相机的位置(即眼球位置)，B点为眼球在待处理图像上的注视区域的中心点，线段AC为头戴显示设备的三维投影半径R，BC为接收间隔时间内眼球在待处理图像上的最大位移。基于此，根据公式(2)可以计算出的接收间隔时间内眼球在待处理图像上的最大位移L。根据公式(2)计算出的接收间隔时间内眼球在待处理图像上的最大位移L为近似值。根据本公开实施例，基于公式(2)得到的最大位移可以反映接收间隔时间内眼球的真实移动位移。根据本公开实施例，基于公式(2)确定接收间隔时间内眼球在待处理图像上的最大位移，可以简化算法。
S302、在最大位移大于等于注视区域的半径的情况下，根据注视区域的中心点和最大位移确定第一感兴趣区域。
在该实施例中，在最大位移大于等于注视区域的半径的情况下，说明在PC端或服务器获取到眼球追踪信息时，眼球在待处理图像上可能的最大位移超出已确定的注视区域。对此，可以根据接收间隔时间内眼球在待处理图像上的最大位移重新预测眼球在待处理图像上的感兴趣区域，即得到第一感兴趣区域。本公开实施例确定出的第一感兴趣区域对注视区域进行了扩大，可以避免眼球追踪信息的获取时间与眼球追踪信息的采集时间之间的时延的影响，提高感兴趣区域预测的准确性，从而便于后续对图像的处理。
第一感兴趣区域可以是包括注视区域的任意规则或不规则区域，也就是说第一感兴趣区域的范围大于注视区域的范围。第一感兴趣区域可以是圆形区域，也可以是椭圆形区域。
在第一感兴趣区域为椭圆形区域的情况下，参见图4所示，以注视区域的中心点为起点沿眼球的移动方向做线段，该线段的长度为接收间隔时间内眼球在待处理图像上的最大位移L，以该线段的两个顶点作为椭圆的两个焦点，形成的椭圆形区域为第一感兴趣区域。该椭圆形区域的大小可以根据注视区域的大小而定。例如，该椭圆形区域至少包括注视区域。
S303、在最大位移小于注视区域的半径的情况下，将注视区域确定为第一感兴趣区域。
在该实施例中，在最大位移小于注视区域的半径的情况下，说明在PC端或服务器获取到眼球追踪信息时，眼球在待处理图像上可能的最大位移在注视区域内。对此，将注视区域作为第一感兴趣区域。
注视区域可以是任意规则或不规则区域，也就是说第一感兴趣区域可以是任意规则或不规则区域。第一感兴趣区域可以是圆形区域，也可以是椭圆形区域。在第一感兴趣区域为圆形区域的情况下，参见图5所示，第一感兴趣区域为以注视区域的中心点为圆点、半径r为的圆形区域。
在确定眼球在待处理图像上的第一感兴趣区域之后，进入步骤S203。
S203、为待处理图像中每一像素点分配权重值，其中，位于第一感兴趣区域的像素点的权重值高于位于其他区域的像素点的权重值，其他区域为第一感兴趣区域以外的区域。
在该实施例中，为第一感兴趣区域的像素点分配较高的权重值，而为其他区域分配较低的权重值，并根据像素点对应的权重值对位于不同区域的像素点的像素值做不同程度的调整，在保留第一感兴趣区域的图像信息的同时，减少权重值较低的区域的像素点的图像信息，从而在保证图像质量的同时，可以降低图像处理的复杂度，提高处理速度。
在一个实施例中，可以根据像素点的位置为待处理图像中的每一像素点分配权重值。在另一个实施例中，也可以对待处理图像进行区域划分，为划分后的图像区域分配权重值，位于图像区域内的所有像素点的权重值相同。
下面对根据像素点的位置为待处理图像中的每一像素点分配权重值的过程进行说明。该过程可以包括S501-S503。
S501、为待处理图像中的每一像素点分配第一权重值，其中，像素点对应的第一权重值由中心轴至两侧边缘呈降低趋势。
在该实施例中，该中心轴可以是横向中轴。像素点对应的第一权重值由中心轴至两侧边缘呈降低趋势，也就是说，像素点对应的第一权重值由中心轴至两侧边缘逐渐降低。像素点距离中心轴的距离不同，图像的畸变程度不同，可以根据待处理图像中的像素点距离中心轴的远近分配第一权重值。
S502、为第一感兴趣区域中的每一像素点分配第二权重值，其中，像素点对应的第二权重值由第一感兴趣区域的中心至边缘呈降低趋势。
在该实施例中，按照像素点距离第一感兴趣区域的中心点的远近分配第二权重值。像素点对应的第二权重值由第一感兴趣区域的中心至边缘呈降低趋势，也就是说，像素点距离第一感兴趣区域的中心点越近，即感兴趣程度越大，分配较高的第二权重值，像素点距离第一感兴趣区域的中心点越远，即感兴趣程度越小，分配较低的第二权重值。
根据本公开实施例，按照像素点距离第一感兴趣区域的中心点的远近分配第二权重值，以结合后续步骤基于不同的权重值图像的每一像素点的像素值进行调整，减少第一感兴趣区域以外的区域的像素点的图像信息，以合理降低待处理图像的局部区域的色度和对比度，从而在降低图像处理复杂度的同时，保证第一感兴趣区域的图像质量。根据本公开实施例，像素点对应的第二权重值由第一感兴趣区域的中心至边缘逐渐降低，可以使图像变化更平滑，提高图像的显示效果。
S503、将第一感兴趣区域中的每一像素点对应的第一权重值和第二权重值进行加权平均计算，确定第一感兴趣区域中的每一像素点的第三权重值。
在该实施例中，位于第一感兴趣区域的像素点具有第一权重值和第二权重值，可以根据第一权重值和第二权重值，可以确定位于第一感兴趣区域的像素点的第三权重值。
根据本公开实施例，为待处理图像中的每一像素点分配权重值，以根据权重值的不同，每一像素点的像素值做不同的调整，可以减少第一感兴趣区域以外的区域的像素点的图像信息，为第一感兴趣区域的像素点保留较多的图像信息，以合理降低待处理图像的局部区域的色度和对比度，从而在降低图像处理复杂度的同时，保证第一感兴趣区域的图像质量。
根据本公开实施例，像素点对应的第一权重值由中心轴至两侧边缘逐渐降低，像素点对应的第二权重值由第一感兴趣区域的中心至边缘逐渐降低，可以使图像变化更平滑，避免感兴趣区域和非感兴趣区域的突然过渡，提高图像的显示效果。
下面根据划分后的图像区域分配权重值的过程进行说明。该过程可以包括S601-S605。
S601、对待处理图像进行区域划分，得到多个第一图像区域。
在该实施例中，可以根据头戴显示设备的视场角对待处理图像进行划分，即沿水平视场角的延伸方向对待处理图像进行区域划分。第一图像区域可以是任意规则或者不规则区域。例如，第一图像区域可以是条形区域。
S602、为每一第一图像区域分配第四权重值，其中，第一图像区域对应的第四权重值由中心轴至两侧边缘呈降低趋势。
每一第一图像区域具体不同的第四权重值。根据第一图像区域的权重值可以确定位于该第一图像区域的像素点的权重值，位于第一图像区域的每一像素点的权重值相同。
S603、对第一感兴趣区域进行区域划分，得到多个第二图像区域。
在该实施例中，可以从第一感兴趣区域的中心点向边缘进行区域划分。第二图像区域可以是任意规则或者不规则区域。例如，第二图像区域可以是圆形区域或者环形区域。
S604、为每一第二图像区域分配第五权重值，其中，第二图像区域对应的第五权重值由第一感兴趣区域的中心点至边缘呈降低趋势。
每一第二图像区域具体不同的第四权重值。根据第二图像区域的权重值可以确定位于该第二图像区域的像素点的权重值，位于第二图像区域的每一像素点的权重值相同。
S605、根据像素点所在的第一图像区域对应的第四权重值和像素点所在的第二图像区域对应的第五权重值，确定待处理图像中每一像素点的权重值。
在该实施例中，位于第一感兴趣区域的像素点可以是处于其中一个第一图像区域内，也可以是处于其中一个第二图像区域内。基于此，可以根据像素点所在的第一图像区域对应的第四权重值和像素点所在的第二图像区域对应的第五权重值，确定待处理图像中每一像素点的权重值。
下面结合附图以一个更具体的例子对根据划分后的图像区域分配权重值的过程进行说明。
步骤一，沿待处理图像的横向中轴对待处理图像的左右两部分进行对称分区，得到2n个第一图像区域，其中，n为正整数，且n≥2。分别为每一第一图像区域分配权重值W1n，第一图像区域的权重值从待处理图像的横向中轴向左右两侧边缘递减。例如，参见图6所示，将待处理图像划分为2*6个第一图像区域，从待处理图像的横向中轴向左第一图像区域的权重值分别为W11、W12、W13、W14、W15、W16，从待处理图像的横向中轴向右第一图像区域的权重值分别为W11、W12、W13、W14、W15、W16。
步骤二，从第一感兴趣区域的中心点向边缘进行环形分区，得到k个第二图像区域,，其中，k为正整数，且k≥2。也就是将第一感兴趣区域分为中心的圆形区域和外部的多个环形区域。分别为每一第二图像区域分配权重值W2k，第二图像区域的权重值从第一感兴趣区域的中心点至边缘递减。参见图6所示，将待处理图像的第一感兴趣区域划分4个第二图像区域(中间的一个圆形区域和外侧的3个环形区域)，从第一感兴趣区域的中心点至边缘第二图像区域的权重值分别为W21、W22、W23、W24。
步骤三，确定待处理图像中每一像素点对应的权重值。具体地，基于如下公式(3)计算出每一像素点对应的权重值。
W(x,y)＝K1*W1n+K2*W2k (3)
其中，W(x,y)为待处理图像中每一像素点对应的权重值，W1n为第一图像区域对应的权重值，K1为第一图像区域对应的权重系数，W2k为第二图像区域对应的权重值，K2为第二图像区域对应的权重值。
在该步骤中，像素点位于第一图像区域时，第一图像区域对应的权重系数K1为1，第二图像区域对应的权重系数K2为0，也就是该像素点对应的权重值为该像素点所在的第一图像区域对应的权重值。像素点位于第一图像区域与第二图像区域的重叠区域，也就是像素点位于第一感兴趣区域时，该像素点对应的权重值可以根据上述公式(3)计算。例如，参见图6所示，像素点(x1,y1)对应的权重值为W13，像素点(x2,y2)对应的权重值为(K1*W11+K2*W23)。
根据本公开实施例，对待处理图像进行区域划分，为每一图像区域分配权重值，进一步根据图像区域的权重值可以确定出像素点的权重值，从而结合后续步骤，可以根据每一像素点的权重值对该像素点的像素值做出不同程度的调整。本公开实施例提供的图像处理方法，可以减少第一感兴趣区域以外的区域的像素点的图像信息，为第一感兴趣区域的像素点保留较多的图像信息，以合理降低待处理图像的局部区域的色度和对比度，从而在降低图像处理复杂度的同时，保证第一感兴趣区域的图像质量。
根据本公开实施例，通过对待处理图像进行区域划分，为每一图像区域分配权重值，可以使位于同一图像区域的像素点具有相同的权重值，从而结合后续步骤可以将位于同一图像区域的像素点的像素值做相同的调整，进一步的可以降低图像处理的复杂度。
根据本公开实施例，第一图像区域对应的第四权重值由中心轴至两侧边缘呈降低趋势，以及第二图像区域对应的第五权重值由第一感兴趣区域的中心点至边缘呈降低趋势，结合后续步骤对图像进行处理，可以使图像变化更平滑，避免感兴趣区域和非感兴趣区域的突然过渡，可以提高图像的显示效果。本公开实施例提供的图像处理方法，处理后的图像在第一感兴趣区域可以维持图像的原有状态，而在第一感兴趣区域以外的区域，图像的色度和对比度等可以根据像素点的权重值自然过渡，图像的显示效果更好。
在确定待处理图像中每一像素点的权重值之后，进入步骤S204。
S204、根据每一像素点对应的权重值调整每一像素点的像素值，获得处理后的图像。
在一个实施例中，根据每一像素点对应的权重值调整每一像素点的像素值，获得处理后的图像的步骤，可以进一步包括：S701-S702。
S701、根据预先建立的权重值与图像信息量化步长的映射关系，确定待处理图像中每一像素点对应的图像信息量化步长；
图像信息量化步长可以用于重新量化像素点的像素值。图像信息量化步长可以根据像素点的表示格式进行设定。例如，对于RGB24格式，也就是每个像素点用24位表示RGB值(像素值)，图像信息量化步长的取值范围为1～256，图像信息量化步长例如可以是1、2、32或64等。进一步地，预先对不同的权重值设定不同的图像信息量化步长，并存储像素点对应的权重值与图像信息量化步长的映射关系。例如，对较高的权重值设定较小的图像信息量化步长，对较低的权重值设定较大的图像信息量化步长。
S702、根据每一像素点对应的图像信息量化步长调整每一像素点的像素值，获得处理后的图像。
下面以一个具体的例子说明根据每一像素点对应的图像信息量化步长调整每一像素点的像素值的过程。
以3色24位的像素点为例，假设待处理图像中像素点X的像素值为(R＝117,G＝63,B＝244)，该像素点X对应的权重值较低，该像素点X对应的图像信息量化步长为64。R分量为117处于64～128区间，取该区间的中位数96为重新量化后的R分量；G分量为63处于0～64区间，取该区间的中位数32为重新量化后的G分量；B分量为244处于192～256区间，取该区间的中位数224为重新量化后的B分量；即调整后的像素点X的像素值(RGB值)为(R＝96,G＝32,B＝224)。
假设待处理图像中像素点Y的像素值为(R＝81,G＝223,B＝129)，该像素点Y对应的权重值较低，该像素点Y对应的图像信息量化步长为2。R分量为81处于80～82区间，取该区间的中位数81为重新量化后的R分量；G分量为223处于222～224区间，取该区间的中位数223为重新量化后的G分量；B分量为129处于128～130区间，取该区间的中位数129为重新量化后的B分量；即调整后的像素点X的像素值(RGB值)保持为(R＝81,G＝223,B＝129)。
根据本公开实施例，通过将像素点对应的权重值与图像信息量化步长关联，对于权重值较低的像素点，可以采用较大的图像信息量化步长重新确定像素值，从而可以减少该像素点的图像信息，以降低图像处理的复杂度，以合理降低待处理图像的局部区域的色度和对比度；对于权重值较高的像素点，可以采用较小的图像信息量化步长重新确定像素值，从而可以保留较多的图像信息，以保证图像的质量。
根据本公开实施例，对于位于同一图像区域的像素点，采用相同的图像信息量化步长调整像素点的像素值，可以进一步降低图像处理的复杂度。
在一个实施例中，在获得处理后的图像之后，该图像处理方法还包括：对依序排列的多帧处理后的图像进行视频编码，获得目标视频。
根据本公开实施例，根据眼球追踪信息预测眼球在待处理图像上的第一感兴趣区域，并为待处理图像中的每一像素点分配权重值，根据像素点对应的权重值对像素点的像素值进行调整，在保证图像质量的同时，可以降低图像处理的复杂度，从而可以降低视频编码的复杂度，提高视频编码速度。并且，可以降低编码后的视频的体积，提高视频的传输速度，减少显示延迟，提高用户体验。
在一个实施例中，在获得处理后的图像之后，该图像处理方法还包括：S801-S803。
S801、对处理后的图像进行卷积运算，得到卷积运算结果。
S802、根据卷积运算结果确定处理后的图像的第二感兴趣区域。
在该实施例中，对于宽度为w，高度为h的图像，可以采用宽度为w/4、高度为h/4的卷积核遍历处理后的图像，获得每个卷积核的卷积运算结果。该卷积运算结果可以是卷积核的权重值总和W(sum)，统计出卷积核的权重值总和W(sum)最高的区域，该区域为第二感兴趣区域。
S803、基于第二感兴趣区域，采用预定的感兴趣区域编码算法对依序排列的多帧所述处理后的图像进行视频编码，获得目标视频。
预定的感兴趣区域编码算法例如可以是h264算法或者h265算法。
根据本公开实施例，基于第二感兴趣区域，采用预定的感兴趣区域编码算法对依序排列的多帧所述处理后的图像进行视频编码，可以增强感兴趣区域。根据本公开实施例，对处理后的图像进行卷积运算，可以使图像更平滑。
<装置实施例一>
参见图7所示，本公开实施例提供了用于头戴显示设备的图像处理装置70，该图像处理装置70包括获取模块71、第一感兴趣区域确定模块72、权重值确定模块73和图像处理模块74。
该获取模块71用于获取待处理图像和眼球追踪信息。
该第一感兴趣区域确定模块72用于根据眼球追踪信息确定眼球在待处理图像上的第一感兴趣区域。
在一个实施例中，眼球追踪信息包括眼球在待处理图像上的注视区域的中心点和半径、接收间隔时间内眼球在待处理图像上的最大移动角度。
该第一感兴趣区域确定模块72具体用于根据最大移动角度确定接收间隔时间内眼球在待处理图像上的最大位移。
该第一感兴趣区域确定模块72具体还用于在最大位移大于等于注视区域的半径的情况下，根据注视区域的中心点和所述最大位移确定第一感兴趣区域。
该第一感兴趣区域确定模块72具体还用于在最大位移小于注视区域的半径的情况下，将注视区域确定为第一感兴趣区域。
在一个实施例中，该图像处理装置70还包括最大移动角度确定模块。
该最大移动角度确定模块用于获取接收间隔时间内眼球在待处理图像上的实际移动角度。
该最大移动角度确定模块还用于在实际移动角度大于等于头戴显示设备的视场角的情况下，将头戴显示设备的视场角作为接收间隔时间内眼球在待处理图像上的最大移动角度。
该最大移动角度确定模块还用于在实际移动角度小于头戴显示设备的视场角的情况下，将实际移动角度作为接收间隔时间内眼球在待处理图像上的最大移动角度。
该权重值确定模块73用于为待处理图像中每一像素点分配权重值，其中，位于第一感兴趣区域的像素点的权重值高于位于其他区域的像素点的权重值，其他区域为第一感兴趣区域以外的区域。
在一个实施例中，该权重值确定模块73具体用于为待处理图像中的每一像素点分配第一权重值，其中，像素点对应的第一权重值由中心轴至两侧边缘呈降低趋势。
该权重值确定模块73具体用于为第一感兴趣区域中的每一像素点分配第二权重值，其中，像素点对应的第二权重值由第一感兴趣区域的中心至边缘呈降低趋势。
该权重值确定模块73具体用于将第一感兴趣区域中的每一像素点对应的第一权重值和第二权重值进行加权平均计算，确定第一感兴趣区域中的每一像素点的第三权重值。
在一个实施例中，该权重值确定模块73具体还用于对待处理图像进行区域划分，得到多个第一图像区域。
该权重值确定模块73具体还用于为每一第一图像区域分配第四权重值，其中，第一图像区域对应的第四权重值由中心轴至两侧边缘呈降低趋势。
该权重值确定模块73具体还用于对第一感兴趣区域进行区域划分，得到多个第二图像区域。
该权重值确定模块73具体还用于为每一第二图像区域分配第五权重值，其中，第二图像区域对应的第五权重值由第一感兴趣区域的中心点至边缘呈降低趋势。
该权重值确定模块73具体还用于根据像素点所在的第一图像区域对应的第四权重值和所述像素点所在的第二图像区域对应的第五权重值，确定所述待处理图像中每一像素点的权重值。
该图像处理模块74用于根据每一像素点对应的权重值调整每一像素点的像素值，获得处理后的图像。
在一个实施例中，该图像处理模块74具体用于根据预先建立的所述权重值与图像信息量化步长的映射关系，确定所述待处理图像中每一所述像素点对应的图像信息量化步长。
该图像处理模块74具体还用于根据每一所述像素点对应的图像信息量化步长调整每一像素点的像素值，获得处理后的图像。
在一个实施例中，该图像处理装置70还包括视频编码模块75。
该视频编码模块75用于对依序排列的多帧所述处理后的图像进行视频编码，获得目标视频。
在一个实施例中，该视频编码模块75还用于对所述处理后的图像进行卷积运算，得到卷积运算结果。
该视频编码模块75还用于根据卷积运算结果确定所述处理后的图像的第二感兴趣区域。
该视频编码模块75还用于基于所述第二感兴趣区域，采用预定的感兴趣区域编码算法对依序排列的多帧所述处理后的图像进行视频编码，获得目标视频。
参见图8所示，本公开实施例提供了用于头戴显示设备的图像处理装置80，该图像处理装置80包括处理器81和存储器82。存储器82用于存储计算机程序，计算机程序被处理器81执行时实现前述任一实施例公开的用于头戴显示设备的图像处理方法。
<装置实施例二>
本公开实施例还提供了一种电子设备。该电子设备包括头戴显示设备和图像处理装置。
在一个实施例中，该头戴显示设备可以是如图1所示的头戴显示设备1000。在一个实施例中，该头戴显示设备可以是虚拟现实(Virtual Reality，VR)设备、增强现实(Augmented Reality，AR)设备或者混合现实(Mixed Reality)设备等智能设备。
在一个实施例中，该图像处理装置可以是如图7所示的用于头戴显示设备的图像处理装置70，也可以是如图8所示的用于头戴显示设备的图像处理装置80。在一个实施例中，该图像处理装置可以是如图1所示的PC端2000。
该图像处理装置与头戴显示设备连接。该图像处理装置用于根据头戴显示设备的位姿数据对待处理的待处理图像进行处理，对依序排列的多帧处理后的图像进行视频编码得到目标视频，并将目标视频传输给头戴显示设备。该头戴显示设备用于向用户呈现目标视频。
根据本公开实施例，根据眼球追踪信息预测眼球在待处理图像上的第一感兴趣区域，并为待处理图像中的每一像素点分配权重值，根据像素点对应的权重值对像素点的像素值进行调整，在保证图像质量的同时，可以降低图像处理的复杂度。
根据本公开实施例，处理后的图像在第一感兴趣区域可以维持图像的原有状态，而在第一感兴趣区域以外的区域，图像的色度和对比度等可以根据像素点的权重值自然过渡，图像的显示效果更好。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分相互参见即可，每个实施例重点说明的都是与其他实施例的不同之处，但本领域技术人员应当清楚的是，上述各实施例可以根据需要单独使用或者相互结合使用。另外，对于装置实施例而言，由于其是与方法实施例相对应，所以描述得比较简单，相关之处参见方法实施例的对应部分的说明即可。以上所描述的系统实施例仅仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“如“语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)网连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种用于头戴显示设备的图像处理方法，其特征在于，所述方法包括：
获取待处理图像和眼球追踪信息；
根据所述眼球追踪信息确定眼球在所述待处理图像上的第一感兴趣区域；
为所述待处理图像中每一像素点分配权重值，其中，位于所述第一感兴趣区域的像素点的权重值高于位于其他区域的像素点的权重值，所述其他区域为所述第一感兴趣区域以外的区域；
根据所述每一像素点对应的权重值调整每一像素点的像素值，获得处理后的图像。
2.根据权利要求1所述的方法，其中，所述眼球追踪信息包括眼球在所述待处理图像上的注视区域的中心点和半径、接收间隔时间内眼球在所述待处理图像上的最大移动角度；所述根据所述眼球追踪信息确定眼球在所述待处理图像上的第一感兴趣区域的步骤包括：
根据最大移动角度确定接收间隔时间内眼球在待处理图像上的最大位移；
在所述最大位移大于等于所述注视区域的半径的情况下，根据所述注视区域的中心点和所述最大位移确定第一感兴趣区域；
在所述最大位移小于所述注视区域的半径的情况下，将所述注视区域确定为第一感兴趣区域。
3.根据权利要求2所述的方法，其中，所述方法还包括确定眼球在所述待处理图像上的最大移动角度，包括；
获取接收间隔时间内眼球在所述待处理图像上的实际移动角度；
在所述实际移动角度大于等于头戴显示设备的视场角的情况下，将所述头戴显示设备的视场角作为接收间隔时间内眼球在待处理图像上的最大移动角度；
在所述实际移动角度小于头戴显示设备的视场角的情况下，将所述实际移动角度作为接收间隔时间内眼球在待处理图像上的最大移动角度。
4.根据权利要求1所述的方法，其中，所述为所述待处理图像中每一像素点分配权重值的步骤包括：
为所述待处理图像中的每一像素点分配第一权重值，其中，所述像素点对应的第一权重值由中心轴至两侧边缘呈降低趋势；
为所述第一感兴趣区域中的每一像素点分配第二权重值，其中，所述像素点对应的第二权重值由所述第一感兴趣区域的中心至边缘呈降低趋势；
将所述第一感兴趣区域中的每一像素点对应的第一权重值和第二权重值进行加权平均计算，确定所述第一感兴趣区域中的每一像素点的第三权重值。
5.根据权利要求1所述的方法，其中，所述为所述待处理图像中每一像素点分配权重值的步骤包括：
对所述待处理图像进行区域划分，得到多个第一图像区域；
为每一第一图像区域分配第四权重值，其中，所述第一图像区域对应的第四权重值由中心轴至两侧边缘呈降低趋势；
对所述第一感兴趣区域进行区域划分，得到多个第二图像区域；
为每一第二图像区域分配第五权重值，其中，所述第二图像区域对应的第五权重值由所述第一感兴趣区域的中心点至边缘呈降低趋势；
根据像素点所在的第一图像区域对应的第四权重值和所述像素点所在的第二图像区域对应的第五权重值，确定所述待处理图像中每一像素点的权重值。
6.根据权利要求1所述的方法，其中，所述根据所述每一像素点对应的权重值调整每一像素点的像素值，获得处理后的图像的步骤包括：
根据预先建立的所述权重值与图像信息量化步长的映射关系，确定所述待处理图像中每一所述像素点对应的图像信息量化步长；
根据每一所述像素点对应的图像信息量化步长调整每一像素点的像素值，获得处理后的图像。
7.根据权利要求1所述的方法，其中，所述方法还包括：
对依序排列的多帧所述处理后的图像进行视频编码，获得目标视频。
8.根据权利要求1所述的方法，其中，所述方法还包括：
对所述处理后的图像进行卷积运算，得到卷积运算结果；
根据卷积运算结果确定所述处理后的图像的第二感兴趣区域；
基于所述第二感兴趣区域，采用预定的感兴趣区域编码算法对依序排列的多帧所述处理后的图像进行视频编码，获得目标视频。
9.一种用于头戴显示设备的图像处理装置，其特征在于，包括：
获取模块，用于获取待处理图像和眼球追踪信息；
第一感兴趣区域确定模块，用于根据所述眼球追踪信息确定眼球在所述待处理图像上的第一感兴趣区域；
权重值确定模块，用于为所述待处理图像中每一像素点分配权重值，其中，位于所述第一感兴趣区域的像素点的权重值高于位于其他区域的像素点的权重值，所述其他区域为所述第一感兴趣区域以外的区域；
图像处理模块，用于根据所述每一像素点对应的权重值调整每一像素点的像素值，获得处理后的图像；
或者，
所述装置包括处理器和存储器，所述存储器存储有计算机指令，所述计算机指令被所述处理器运行时，执行权利要求1-8任一项所述的方法。
10.一种电子设备，其特征在于，包括头戴显示设备和如权利要求9所述的用于头戴显示设备的图像处理装置。
CN202010974865.3A 2020-09-16 2020-09-16 用于头戴显示设备的图像处理方法、装置及电子设备 Active CN112261408B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010974865.3A CN112261408B (zh) 2020-09-16 2020-09-16 用于头戴显示设备的图像处理方法、装置及电子设备
EP21868605.3A EP4142288A4 (en) 2020-09-16 2021-09-14 IMAGE PROCESSING METHOD AND APPARATUS FOR A HEAD-MOUNTED DISPLAY AND ELECTRONIC DEVICE
PCT/CN2021/118172 WO2022057782A1 (zh) 2020-09-16 2021-09-14 用于头戴显示设备的图像处理方法、装置及电子设备
US17/881,820 US20220382053A1 (en) 2020-09-16 2022-08-05 Image processing method and apparatus for head-mounted display device as well as electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010974865.3A CN112261408B (zh) 2020-09-16 2020-09-16 用于头戴显示设备的图像处理方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN112261408A true CN112261408A (zh) 2021-01-22
CN112261408B CN112261408B (zh) 2023-04-25

Family

ID=74231736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010974865.3A Active CN112261408B (zh) 2020-09-16 2020-09-16 用于头戴显示设备的图像处理方法、装置及电子设备

Country Status (4)

Country Link
US (1) US20220382053A1 (zh)
EP (1) EP4142288A4 (zh)
CN (1) CN112261408B (zh)
WO (1) WO2022057782A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022057782A1 (zh) * 2020-09-16 2022-03-24 青岛小鸟看看科技有限公司 用于头戴显示设备的图像处理方法、装置及电子设备
CN115660789A (zh) * 2022-11-23 2023-01-31 成都信息工程大学 基于智慧电商平台的产品图像管理系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106162177A (zh) * 2016-07-08 2016-11-23 腾讯科技（深圳）有限公司 视频编码方法和装置
CN106484116A (zh) * 2016-10-19 2017-03-08 腾讯科技（深圳）有限公司 媒体文件的处理方法和装置
US20170236252A1 (en) * 2016-02-12 2017-08-17 Qualcomm Incorporated Foveated video rendering
CN109240493A (zh) * 2018-08-22 2019-01-18 联想(北京)有限公司 一种控制方法及电子设备
CN110213587A (zh) * 2019-07-08 2019-09-06 北京达佳互联信息技术有限公司 视频编码方法、装置、电子设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102157655B1 (ko) * 2016-02-17 2020-09-18 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
US10419771B2 (en) * 2017-02-08 2019-09-17 Zpeg, Inc. Method and system for improved image compression
CN108965847B (zh) * 2017-05-27 2020-04-14 华为技术有限公司 一种全景视频数据的处理方法及装置
CN112912825A (zh) * 2018-10-24 2021-06-04 Pcms控股公司 用于虚拟现实的感兴趣区域估计的系统和方法
KR102420039B1 (ko) * 2019-05-16 2022-07-13 삼성전자주식회사 전자 장치 및 이의 제어 방법
CN112261408B (zh) * 2020-09-16 2023-04-25 青岛小鸟看看科技有限公司 用于头戴显示设备的图像处理方法、装置及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170236252A1 (en) * 2016-02-12 2017-08-17 Qualcomm Incorporated Foveated video rendering
CN106162177A (zh) * 2016-07-08 2016-11-23 腾讯科技（深圳）有限公司 视频编码方法和装置
CN106484116A (zh) * 2016-10-19 2017-03-08 腾讯科技（深圳）有限公司 媒体文件的处理方法和装置
CN109240493A (zh) * 2018-08-22 2019-01-18 联想(北京)有限公司 一种控制方法及电子设备
CN110213587A (zh) * 2019-07-08 2019-09-06 北京达佳互联信息技术有限公司 视频编码方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022057782A1 (zh) * 2020-09-16 2022-03-24 青岛小鸟看看科技有限公司 用于头戴显示设备的图像处理方法、装置及电子设备
CN115660789A (zh) * 2022-11-23 2023-01-31 成都信息工程大学 基于智慧电商平台的产品图像管理系统

Also Published As

Publication number Publication date
EP4142288A4 (en) 2023-09-06
CN112261408B (zh) 2023-04-25
US20220382053A1 (en) 2022-12-01
WO2022057782A1 (zh) 2022-03-24
EP4142288A1 (en) 2023-03-01

Similar Documents

Publication Publication Date Title
US11109011B2 (en) Virtual reality with interactive streaming video and likelihood-based foveation
US11321906B2 (en) Asynchronous time and space warp with determination of region of interest
US11025959B2 (en) Probabilistic model to compress images for three-dimensional video
US10313665B2 (en) Behavioral directional encoding of three-dimensional video
CN113347405B (zh) 缩放相关的方法和装置
US20180189980A1 (en) Method and System for Providing Virtual Reality (VR) Video Transcoding and Broadcasting
WO2017193576A1 (zh) 一种视频分辨率的适应方法、装置及虚拟现实终端
CN108702454B (zh) 用于视频显示的方法、系统和计算设备
US10048924B2 (en) Facilitation of concurrent consumption of media content by multiple users using superimposed animation
US20220382053A1 (en) Image processing method and apparatus for head-mounted display device as well as electronic device
US11119719B2 (en) Screen sharing for display in VR
US11138460B2 (en) Image processing method and apparatus
CN108881894B (zh) Vr多媒体的体验质量确定方法及装置
CN111198610B (zh) 一种全景视频的视场控制方法、装置、设备及存储介质
CN113315999A (zh) 虚拟现实优化方法、装置、设备及存储介质
CN111277857B (zh) 一种流媒体调度方法及装置
CN111880869A (zh) 画面调整方法、装置和系统
US20180220134A1 (en) Video compression for non-uniform resolution requirements
WO2022230253A1 (ja) 情報処理装置及び情報処理方法
CN115552358A (zh) 用于在用于远程终端的电话会议和远程呈现中进行视口共享时减轻晕动症的技术
CN116324905A (zh) 主观评分中的资格测试

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant