CN113676774B - 图像处理方法、图像处理装置、显示装置和存储介质 - Google Patents

图像处理方法、图像处理装置、显示装置和存储介质 Download PDF

Info

Publication number
CN113676774B
CN113676774B CN202110961496.9A CN202110961496A CN113676774B CN 113676774 B CN113676774 B CN 113676774B CN 202110961496 A CN202110961496 A CN 202110961496A CN 113676774 B CN113676774 B CN 113676774B
Authority
CN
China
Prior art keywords
image
distortion
recoded
information
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110961496.9A
Other languages
English (en)
Other versions
CN113676774A (zh
Inventor
李文宇
张小乔
苗京花
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202110961496.9A priority Critical patent/CN113676774B/zh
Publication of CN113676774A publication Critical patent/CN113676774A/zh
Application granted granted Critical
Publication of CN113676774B publication Critical patent/CN113676774B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像处理方法、图像处理装置、显示装置和计算机可读存储介质。图像处理方法包括步骤：获取用户的注视点信息和掩膜图像信息，根据注视点信息生成第一图像和第二图像，第一图像的分辨率小于第二图像的分辨率，分别对第一图像和第二图像进行反畸变处理得到第一反畸变图像和第二反畸变图像，根据掩膜图像信息对第一反畸变图像进行重新编码得到重编码图像，将第二反畸变图像和重编码图像拼接得到合成图像并在合成图像保存注视点信息，将合成图像发送至显示装置进行显示。本申请通过对低分辨率的反畸变图像进行重新编码，去除了反畸变图像中无效像素，极大程度上降低了图像传输带宽，提升了系统刷新帧率。

Description

图像处理方法、图像处理装置、显示装置和存储介质
技术领域
本申请涉及显示技术，特别涉及一种图像处理方法、图像处理装置、显示装置和存储介质。
背景技术
随着高分辨率VR系统越来越多的出现在市场上，带宽的压力越来越多的成为限制VR发展的主要制约因素。因此，如何降低系统端传输带宽，提升系统帧率成了亟待解决的问题。
发明内容
本申请提供了一种图像处理方法，用于图像处理装置，所述图像处理方法包括：
获取用户的注视点信息和掩膜图像信息；
根据所述注视点信息生成第一图像和第二图像，所述第一图像的分辨率小于所述第二图像的分辨率；
分别对所述第一图像和所述第二图像进行反畸变处理得到第一反畸变图像和第二反畸变图像；
根据所述掩膜图像信息对所述第一反畸变图像进行重新编码得到重编码图像；
将所述第二反畸变图像和所述重编码图像拼接得到合成图像并在所述合成图像保存所述注视点信息；
将所述合成图像发送至显示装置进行显示。
在某些实施方式中，所述图像处理方法还包括：
根据所述显示装置的硬件参数确定正常显示图像和反畸变图像的坐标对应关系；
根据所述坐标对应关系生成掩膜图像；
确定所述掩膜图像中的有效像素；
将每行所述有效像素的起始位置和末尾位置作为所述掩膜图像信息。
在某些实施方式中，所述根据所述掩膜图像信息对所述第一反畸变图像进行重新编码得到重编码图像，包括：
依次根据每行所述有效像素的起始位置和末尾位置获取所述第一反畸变图像对应的待编码像素；
依次将获取的所述待编码像素首尾相连得到待编码像素序列；
将所述待编码像素序列按预设像素数量逐行排列生成所述重编码图像。
在某些实施方式中，所述将所述第二反畸变图像和所述重编码图像拼接得到所述合成图像并在所述合成图像保存所述注视点信息，还包括：
在所述合成图像第一行保存所述注视点信息。
在某些实施方式中，根据所述注视点信息生成第一图像和第二图像，包括：
获取待显示图像；
确定注视点在所述待显示图像的位置；
根据所述待显示图像在所述位置预设范围内的区域生成所述第二图像。
本申请还提供了一种图像处理方法，用于显示装置，所述图像处理方法包括：
获取掩膜图像信息和获取图像处理装置发送的合成图像；
解析所述合成图像得到注视点信息、重编码图像和第二反畸变图像；
根据所述掩膜图像信息对所述重编码图像进行解码得到第一反畸变图像；
根据所述注视点信息、所述第一反畸变图像和所述第二反畸变图像生成输出图像；
显示所述输出图像。
在某些实施方式中，所述解析所述合成图像得到注视点信息、重编码图像和第二反畸变图像，包括：
解析所述合成图像第一行得到所述注视点信息；
分离所述合成图像得到重编码图像和所述第二反畸变图像。
在某些实施方式中，所述图像处理方法还包括：
根据所述显示装置的硬件参数确定正常显示图像和反畸变图像的坐标对应关系；
根据所述坐标对应关系生成掩膜图像；
确定所述掩膜图像中的有效像素；
将每行所述有效像素的起始位置和末尾位置作为所述掩膜图像信息并存储在所述显示装置的寄存器中。
在某些实施方式中，所述根据所述掩膜图像信息对所述重编码图像进行解码得到第一反畸变图像，包括：
将所述重编码图像的多行像素首尾相连得到待解码像素序列；
根据所述有效像素的起始位置和末尾位置依次从所述待解码像素序列中提取多行解码像素；
根据所述有效像素的起始位置和末尾位置将多行所述解码像素依次排列生成所述第一反畸变图像。
本申请还提供了一种图像处理装置，包括：
第一获取模块，用于获取用户的注视点信息和掩膜图像信息；
第一生成模块，用于根据所述注视点信息生成第一图像和第二图像，所述第一图像的分辨率小于所述第二图像的分辨率；
处理模块，用于分别对所述第一图像和所述第二图像进行反畸变处理得到第一反畸变图像和第二反畸变图像；
编码模块，用于根据所述掩膜图像信息对所述第一反畸变图像进行重新编码得到重编码图像；
合成模块，用于将所述第二反畸变图像和所述重编码图像拼接得到所述合成图像并在所述合成图像保存所述注视点信息；
控制模块，用于将所述合成图像发送至显示装置进行显示。
本申请还提供了一种显示装置，包括：
第二获取模块，用于获取掩膜图像信息和图像处理装置发送的合成图像；
解析模块，用于解析所述合成图像得到注视点信息、重编码图像和第二反畸变图像；
解码模块，用于根据所述掩膜图像信息对所述重编码图像进行解码得到第一反畸变图像；
第二生成模块，用于根据所述注视点信息、所述第一反畸变图像和所述第二反畸变图像生成输出图像；
显示模块，用于显示所述输出图像。
本申请提供了一种包含计算机程序非易失性计算机可读存储介质，当所述计算机程序被处理器执行时，使得所述处理器执行上述任意一项所述图像处理方法。
本申请实施方式的图像处理方法、图像处理装置、显示装置和计算机可读存储介质中，通过获取到用户注视区域的相关信息，从而根据注视区域将即将显示的图像渲染生成分辨率不同的第一图像和第二图像，其中，第二图像为较高分辨率的注视区域的图像，第一图像为分辨率较低的注视区域以外的图像，从而在保证用户观看体验的同时能够减小渲染时间，提升效率，并对图像进行畸变校正处理，得到校正后的第一反畸变图像和第二反畸变图像，然后再根据反畸变掩膜图像信息对较低分辨率的第一反畸变图像进行重新编码处理得到重编码图像以去除图像中的包含的无效像素，使得重编码图像不会再包含无效像素，降低了重编码图像的分辨率，最后再将第二反畸变图像和重编码图像拼接得到合成图像，如此，在保证了图像显示效果的同时，极大的降低了总传输图像分辨率，提升了系统刷新帧率。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本申请某些实施方式的图像处理方法的流程示意图。
图2是本申请某些实施方式的图像处理装置的模块示意图。
图3是本申请某些实施方式的掩膜图像示意图。
图4是本申请某些实施方式的反畸变处理的场景示意图。
图5-6本申请某些实施方式的图像处理方法的流程示意图。
图7是申请某些实施方式的图像处理方法的场景示意图。
图8-9是本申请某些实施方式的图像处理方法的流程示意图。
图10是本申请某些实施方式的显示装置的模块示意图。
图11-13本申请某些实施方式的图像处理方法的流程示意图。
具体实施方式
下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。
请参阅图1，本申请实施方式提供一种图像处理方法，用于图像处理装置，图像处理方法包括步骤：
01，获取用户的注视点信息和掩膜图像信息；
02，根据注视点信息生成第一图像和第二图像，第一图像的分辨率小于第二图像的分辨率；
03，分别对第一图像和第二图像进行反畸变处理得到第一反畸变图像和第二反畸变图像；
04，根据掩膜图像信息对第一反畸变图像进行重新编码得到重编码图像；
05，将第二反畸变图像和重编码图像拼接得到合成图像并在合成图像保存注视点信息；和
06，将合成图像发送至显示装置进行显示。
请进一步参阅图2，本申请实施方式提供了一种图像处理装置10。图像处理装置10包括第一获取模块110、第一生成模块120、处理模块130、编码模块140、合成模块150以及控制模块160。
步骤01可以由第一获取模块110实现，步骤02可以由第一生成模块120实现，步骤03可以由处理模块130实现，步骤04可以由编码模块140实现，步骤05可以由合成模块150实现，步骤06可以由控制模块160实现。或者说，第一获取模块110可以用于获取用户的注视点信息和掩膜图像信息。第一生成模块120可以用于根据注视点信息生成第一图像和第二图像，第一图像的分辨率小于第二图像的分辨率。处理模块130可以用于分别对第一图像和第二图像进行反畸变处理得到第一反畸变图像和第二反畸变图像。编码模块140可以用于根据掩膜图像信息对第一反畸变图像进行重新编码得到重编码图像，合成模块150可以用于将第二反畸变图像和重编码图像拼接得到合成图像并在合成图像保存注视点信息，控制模块160可以用于将合成图像发送至显示装置进行显示。
本申请还提供了一种虚拟现实设备，包括处理器，处理器可以用于获取用户的注视点信息和掩膜图像信息，根据注视点信息生成第一图像和第二图像，第一图像的分辨率小于第二图像的分辨率，分别对第一图像和第二图像进行反畸变处理得到第一反畸变图像和第二反畸变图像，根据掩膜图像信息对第一反畸变图像进行重新编码得到重编码图像，将第二反畸变图像和重编码图像拼接得到合成图像并在合成图像保存注视点信息，将合成图像发送至显示装置进行显示。
这些实施方式的图像处理方法、图像处理装置10和虚拟现实设备中，通过获取到用户注视区域的相关信息，从而根据注视区域将即将显示的图像渲染生成分辨率不同的第一图像和第二图像，其中，第二图像为较高分辨率的注视区域的图像，第一图像为分辨率较低的注视区域以外的图像，从而在保证用户观看体验的同时能够减小渲染时间，提升效率，并对图像进行畸变校正处理，得到校正后的第一反畸变图像和第二反畸变图像，然后再根据反畸变掩膜图像信息对较低分辨率的第一反畸变图像进行重新编码处理得到重编码图像以去除图像中的包含的无效像素，使得重编码图像不会再包含无效像素，降低了重编码图像的分辨率，最后再将第二反畸变图像和重编码图像拼接得到合成图像，如此，在保证了图像显示效果的同时，极大的降低了总传输图像分辨率，提升了系统刷新帧率。
在一些实施方式中，虚拟现实设备可以为虚拟现实眼镜、虚拟现实头盔等电子设备。本实施方式以虚拟现实设备是虚拟现实眼镜为例进行说明，也即是说，图像处理方法和图像处理装置100应用于但不限于虚拟现实眼镜。图像处理装置100可以是预安装于虚拟现实的硬件或软件，并在虚拟现实眼镜上启动运行时可以执行该图像处理方法。例如，图像处理装置100可以是虚拟现实眼镜的底层软件代码段或者说是操作系统的一部分。
在一些实施方式中，图像处理装置100可以是一定方式组装以具有前述功能的分立元件、或者是以集成电路形式存在具有前述功能的芯片、又或者是在计算机上运行时使得计算机具有前述功能的计算机软件代码段。
在一些实施方式中，作为硬件，图像处理装置100可以是独立或者作为额外增加的外围元件加装到计算机或者计算机系统。图像处理装置100也可以集成到计算机或者计算机系统，例如，图像处理装置100是虚拟现实设备的一部分时，图像处理装置100可以集成到处理器上。
具体地，可采用眼球跟踪(EyeTracking)技术获取得到用户的注视点信息，例如，虚拟现实设备可包括有视觉传感器(例如红外传感器)，眼球跟踪技术能够通过视觉传感器实时追踪到用户的人眼瞳孔位置，进而，在获取到人眼瞳孔位置后，可根据人眼瞳孔位置的注视方向从而确定用户的视觉焦点(注视点信息)。
请结合图3，掩膜图像信息可以是指掩膜图像中的内容信息，掩膜图像的内容信息可包括有效信息和无效信息，其中，有效信息是白色像素，无效信息(四个边角)为黑色像素。掩膜图像可以是由正常图像反畸变后的形状。掩膜图像可预先存储于虚拟现实设备中的存储介质中，例如，虚拟现实设备包括存储卡，则掩膜图像可存储在存储卡中，处理器可从存储卡中获取调用。
进一步地，获取待显示图像，并通过视点渲染技术确定注视点在待显示图像的位置，再以注视点在待显示图像中的位置为中心，将预设范围内的区域进行渲染生成第二图像，则待显示图像中预设范围以外的区域进行渲染生成第一图像。需要说明的是，注视点渲染技术是指对注视区域进行高清渲染，其他区域进行低分辨率渲染，从而可以减小渲染压力和传输带宽。其中，第二图像为注视区域内的图像，分辨率较高，第一图像为注视区域以外的图像，分辨率较低。第一图像和第二图像合并可拼成一张完整图像，或者说，第一图像和第二图像为一张完整待渲染图像中的局部图像。第一图像可以为圆形、椭圆形、矩形或者其它不规则图形等。
可以理解地，人眼的视网膜成像的特点，在一定的视场范围内，人眼对RGB颜色的分辨率是比较高的，而超过一定的视场范围内，人眼的分辨率开始下降，也即是，人眼只有在注视区域内的可以感知较为清晰的画面，而非注视区域范围则感知的画面较为模糊。因此，根据人眼的视网膜成像特点，通过视点渲染技术结合注视点信息将待渲染图像渲染生成分辨率不同的第一图像和第二图像，既保证了用户的视觉观看体验，同时，可以减小渲染压力和传输带宽。
进而，在生成第一图像和第二图像后，进行反畸变处理得到第一反畸变图像和第二反畸变图像。可理解，由于本申请控制方法应用于虚拟现实设备，在虚拟现实设备中为了形成虚拟现实视觉，引入了光学镜片，其原理是利用凸透镜在焦点以内成正立放大的虚像，将显示屏显示的画面由光学系统放大至远处，所以人眼看到的是类似于大银幕画面的图像。但由于透镜本身的特性，同时也不可避免地引入了畸变，若不对畸变的画面进行处理，则用户体验到的画面是扭曲的。因此，为了使用户体验到没有畸变的画面，需要在画面从GPU渲染出来抛到屏幕之前对图像进行反畸变处理。如此，保证了后期输出的显示图像正常显示，提升了用户体验。
请结合图4，由于在反畸变处理后得到的第一反畸变图像中，画面产生形变，使得第一反畸变图像中包括了有效像素区域(显示图像)和无效像素区域，而无效像素区域不显示图像内容，因此，为了降低第一反畸变图像的分辨率，需要去除无效像素区域中的无效像素，因此，可将根据掩膜图像中的黑色像素以及白色像素对第一反畸变图像进行重新编码处理得到无效像素减少的重编码图像。需要说明的是，掩膜图像的尺寸可以和第一反畸变图像的尺寸相同。
更进一步地，将重编码图像将第二反畸变图像和重编码图像拼接得到完整的合成图像，并在合成图像保存注视点信息，使得合成图像减小了分辨率，从而极大程度上降低了图像传输带宽，提升了虚拟现实设备的刷新帧率。如此，在将合成图像发送至显示装置进行显示时，能够保证图像显示效果的同时，还提升了虚拟现实设备的刷新帧率。
此外，需要说明的是，本方案不单适用有注视点的高低清图像显示方案，也适用于普通的传统VR显示系统。
请参阅图5，在某些实施方式中，在步骤01之前，图像处理方法还包括：
07，根据显示装置的硬件参数确定正常显示图像和反畸变图像的坐标对应关系；
08，根据坐标对应关系生成掩膜图像；
09，确定掩膜图像中的有效像素；
10，将每行有效像素的起始位置和末尾位置作为掩膜图像信息。
请进一步参阅图2，在某些实施方式中，07-10可以由处理模块130实现，或者说，处理模块130可以用于根据显示装置的硬件参数确定正常显示图像和反畸变图像的坐标对应关系，并根据坐标对应关系生成掩膜图像，再确定掩膜图像中的有效像素，以及将每行有效像素的起始位置和末尾位置作为掩膜图像信息。
在某些实施方式中，处理器可以用于获取用户的注视点信息和掩膜图像信息，根据注视点信息生成第一图像和第二图像，第一图像的分辨率小于第二图像的分辨率，分别对第一图像和第二图像进行反畸变处理得到第一反畸变图像和第二反畸变图像，根据掩膜图像信息对第一反畸变图像进行重新编码得到重编码图像，将第二反畸变图像和重编码图像拼接得到合成图像并在合成图像保存注视点信息，将合成图像发送至显示装置进行显示。
需要说明的是，在本实施方式中，显示装置可以是虚拟现实设备中的显示端，例如，显示装置可以是虚拟现实设备中的屏幕、光学透镜等。其中，显示装置的硬件参数可以是光学透镜的相关参数(例如折射率)。
可以理解地，由上述已知，光学透镜本身的特性，在正常显示图像经过光学透镜后会发生畸变，产生失真，因此，可根据光学透镜的硬件参数从而确定正常图像到反畸变图像的坐标映射关系，进而根据坐标映射关系生成掩膜图像。掩膜图像包括有效像素和无效像素，其中，有效像素与正常图像中的像素一一对应。
进一步地，可例如matlab等软件对掩膜图像中的每一行的有效像素进行计数，并确定每一行有效像素的起始位置和末尾位置。并以将每行有效像素的起始位置和末尾位置作为掩膜图像信息。
如此，可得到掩膜图像中的掩膜图像信息。进而可根据掩膜图像信息对第一反畸变图像进行重新编码，得到去除了无效像素的重编码图像。
请结合图6，在某些实施方式中，步骤04包括子步骤：
041，依次根据每行有效像素的起始位置和末尾位置获取第一反畸变图像对应的待编码像素；
042，依次将获取的待编码像素首尾相连得到待编码像素序列；
043，将待编码像素序列按预设像素数量逐行排列生成重编码图像。
请进一步参阅图2，在某些实施方式中，子步骤041-043可以由编码模块140实现。或者说，编码模块140可以用于依次根据每行有效像素的起始位置和末尾位置获取第一反畸变图像对应的待编码像素，并依次将获取的待编码像素首尾相连得到待编码像素序列，以及将待编码像素序列按预设像素数量逐行排列生成重编码图像。
在某些实施方式中，处理器用于依次根据每行有效像素的起始位置和末尾位置获取第一反畸变图像对应的待编码像素，并依次将获取的待编码像素首尾相连得到待编码像素序列，以及将待编码像素序列按预设像素数量逐行排列生成重编码图像。
可理解，掩膜图像是根据正常图像到反畸变图像的坐标映射关系得到，且与光学透镜参数相关，而第一反畸变图像是由正常图像进行反畸变处理得到，而反畸变处理与也与光学透镜参数相关，因此，掩膜图像的有效像素的位置与第一反畸变图像的有效像素的位置对应，也即是，第一反畸变图像中每行有效像素的起始位置和末尾位置与掩膜图像中有效像素的起始位置和末尾位置相对应，从第一反畸变图像的每行待编码像素之间的像素为有效像素。
请结合图7，因此，在确定了第一反畸变图像的有效像素后，依次将获取的有效首尾相连得到待编码像素序列，并将待编码像素序列按预设像素数量逐行排列，生成重编码图像。其中，重编码图像中的宽和高与第二反畸变图像结合构建得到，也即是，重编码图像中的每一行像素的数量以及行数与第二反畸变图像相关。
请参阅图8，在某些实施方式中，步骤05包括子步骤：
051，在合成图像第一行保存注视点信息。
在某些实施方式中，子步骤051由合成模块150实现。或者说，合成模块150可以用于在合成图像第一行保存注视点信息。
在某些实施方式中，处理器用于在合成图像第一行保存注视点信息。
如此，便于后续显示装置根据注视点信息，而将由合成图像解析得到的高清图像和低清图像拼接在一起，从而在屏幕显示。
请结合图9，本申请还公开了一种图像处理方法，用于显示装置，图像处理方法包括：
11，获取掩膜图像信息和图像处理装置发送的合成图像；
12，解析合成图像得到注视点信息、重编码图像和第二反畸变图像；
13，根据掩膜图像信息对重编码图像进行解码得到第一反畸变图像；
14，根据注视点信息、第一反畸变图像和第二反畸变图像生成输出图像；
15，显示输出图像。
请参阅图10，本申请还提供了一种显示装置200，包括第二获取模块210、解析模块220、解码模块230、第二生成模块240和显示模块250。
步骤11可以由第二获取模块210实现，步骤12可以由解析模块220实现，步骤13可以由解码模块230实现，步骤14可以由第二生成模块240实现，步骤15可以由显示模块25实现。或者说，第二获取模块210可以用于获取掩膜图像信息和图像处理装置发送的合成图像。解析模块220可以用于解析合成图像得到注视点信息、重编码图像和第二反畸变图像。解码模块230可以用于根据掩膜图像信息对重编码图像进行解码得到第一反畸变图像。第二生成模块240可以用于根据注视点信息、第一反畸变图像和第二反畸变图像生成输出图像，显示模块250可以用于显示输出图像。
在某些实施方式中，虚拟现实设备还包括显示屏，处理器可以用于获取掩膜图像信息和图像处理装置发送的合成图像，解析合成图像得到注视点信息、重编码图像和第二反畸变图像，根据掩膜图像信息对重编码图像进行解码得到第一反畸变图像，根据注视点信息、第一反畸变图像和第二反畸变图像生成输出图像，显示屏可以用于显示输出图像。
本申请的图像处理方法、显示装置以及虚拟显示设备中，通过解析合成图像，还原生成注视点信息、重编码图像和第二反畸变图像，并通过掩膜图像信息对重编码图像进行解码，从而得到第一反畸变图像，再根据注视点信息将第一反畸变图像和第二反畸变图像进行拼接生成并显示输出图像，如此，保证了图像显示效果。
在本实施方式中，显示装置可以为虚拟现实设备的显示部分，例如，虚拟现实设备的屏幕。
显示装置可以与上述中的图像处理装置电连接，用于接收图像处理装置发送的合成图像。掩膜图像信息可以是从图像处理装置得到，也可以由显示装置处理得到。
请结合图像11，在某些实施方式中，步骤12包括子步骤：
121，解析合成图像第一行得到注视点信息；
122，分离合成图像得到重编码图像和第二反畸变图像。
请进一步地结合图10，在某些实施方式中，子步骤121和122可以由解析模块220实现。或者说，解析模块220可以用于解析合成图像第一行得到注视点信息；以及分离合成图像得到重编码图像和第二反畸变图像。
在某些实施方式中，处理器可以用于解析合成图像第一行得到注视点信息；以及分离合成图像得到重编码图像和第二反畸变图像。
如此，通过解析合成图像第一行得到注视点信息，进而在得到重编码图像以及第二反畸变图像，并将重编码图像进行处理得到第一反畸变图像后，从而可以根据注视点信息将第一反畸变图像和第二反畸变图像进行拼接成一张显示图像进行显示，保证了虚拟现实设备的显示效果。
请参阅图12，在某些实施方式中，在步骤11之前，图像处理方法还包括：
16，根据显示装置的硬件参数确定正常显示图像和反畸变图像的坐标对应关系；
17，根据坐标对应关系生成掩膜图像；
18，确定掩膜图像中的有效像素；
19，将每行有效像素的起始位置和末尾位置作为掩膜图像信息并存储在显示装置的寄存器中。
请进一步地结合图10，在某些实施方式中，步骤16-19可以由解析模块220实现。或者说，解析模块220用于根据显示装置的硬件参数确定正常显示图像和反畸变图像的坐标对应关系，并根据坐标对应关系生成掩膜图像，再确定掩膜图像中的有效像素，以及将每行有效像素的起始位置和末尾位置作为掩膜图像信息并存储在显示装置的寄存器中。
在某些实施方式中，处理器用于根据显示装置的硬件参数确定正常显示图像和反畸变图像的坐标对应关系，并根据坐标对应关系生成掩膜图像，再确定掩膜图像中的有效像素，以及将每行有效像素的起始位置和末尾位置作为掩膜图像信息并存储在显示装置的寄存器中。
需要说明的是，在本实施方式中，显示装置可以是虚拟现实设备中的显示端，例如，显示装置可以是虚拟现实设备中的屏幕、光学透镜等。其中，显示装置的硬件参数可以是光学透镜的相关参数(例如折射率)。
可以理解地，由于掩膜图像信息反映的是显示图像透过光学透镜后得到反畸变图像的轮廓形状，掩膜图像信息只与光学透镜的参数相关，而与显示图像的具体内容无关，因此，只需获取一次的掩膜图像信息，再保存在寄存器中。如此，通过获取掩膜图像信息后并保存在寄存器中，而避免了每次重新计算获取到掩膜图像信息，从而便于后续从存储器中提取到掩膜图像信息而对重编码图像进行解码得到第一反畸变图像。
请结合图13，在某些实施方式中，步骤13包括子步骤：
131，将重编码图像的多行像素首尾相连得到待解码像素序列；
132，根据有效像素的起始位置和末尾位置依次从待解码像素序列中提取多行解码像素；
133，根据有效像素的起始位置和末尾位置将多行解码像素依次排列生成第一反畸变图像。
请进一步参阅图10，在某些实施方式中，子步骤131-133可以由解码模块230实现。或者说，解码模块230可以用于将重编码图像的多行像素首尾相连得到待解码像素序列，并根据有效像素的起始位置和末尾位置依次从待解码像素序列中提取多行解码像素，以及根据有效像素的起始位置和末尾位置将多行解码像素依次排列生成第一反畸变图像。
可理解，由于重编码图像由掩膜图像信息对第一反畸变图像进行重新编码得到，而在编码过程中，是先获取第一反畸变图像对应位置的待编码像素，并待编码像素首尾相连得到待编码像素序列，以及待编码像素序列按预设像素数量逐行排列。因此，要重新得到第一反畸变图像，需要将逐行排列的待编码像素序列连接，进行在根据有效像素的起始位置和末尾位置得到每一行的解码像素，再还原生成第一反畸变图像。
如此，通过将重编码图像还原得到第一反畸变图像，从而可以将第一反畸变图像和第二反畸变图像进行拼接得到完整的显示图像，保证正常显示。
本申请提供了一种包含计算机程序的非易失性计算机可读存储介质160计算机程序160被处理器120执行时，使得处理器120执行上述图像处理方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其他任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种图像处理方法，用于图像处理装置，其特征在于，包括：
获取用户的注视点信息和掩膜图像信息；
根据所述注视点信息生成第一图像和第二图像，所述第一图像的分辨率小于所述第二图像的分辨率；
分别对所述第一图像和所述第二图像进行反畸变处理得到第一反畸变图像和第二反畸变图像；
根据所述掩膜图像信息对所述第一反畸变图像进行重新编码得到重编码图像；
将所述第二反畸变图像和所述重编码图像拼接得到合成图像并在所述合成图像保存所述注视点信息；
将所述合成图像发送至显示装置进行显示；
所述根据所述掩膜图像信息对所述第一反畸变图像进行重新编码得到重编码图像，包括：
依次根据每行有效像素的起始位置和末尾位置获取所述第一反畸变图像对应的待编码像素；
依次将获取的所述待编码像素首尾相连得到待编码像素序列；
将所述待编码像素序列按预设像素数量逐行排列生成所述重编码图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：
根据所述显示装置的硬件参数确定正常显示图像和反畸变图像的坐标对应关系；
根据所述坐标对应关系生成掩膜图像；
确定所述掩膜图像中的所述有效像素；
将每行所述有效像素的起始位置和末尾位置作为所述掩膜图像信息。
3.根据权利要求1所述的图像处理方法，其特征在于，所述将所述第二反畸变图像和所述重编码图像拼接得到所述合成图像并在所述合成图像保存所述注视点信息，还包括：
在所述合成图像第一行保存所述注视点信息。
4.根据权利要求3所述的图像处理方法，其特征在于，根据所述注视点信息生成第一图像和第二图像，包括：
获取待显示图像；
确定注视点在所述待显示图像的位置；
根据所述待显示图像在所述位置的预设范围内的区域生成所述第二图像。
5.一种图像处理方法，用于显示装置，其特征在于，包括：
获取掩膜图像信息和获取图像处理装置发送的合成图像；
解析所述合成图像得到注视点信息、重编码图像和第二反畸变图像；
根据所述掩膜图像信息对所述重编码图像进行解码得到第一反畸变图像；
根据所述注视点信息、所述第一反畸变图像和所述第二反畸变图像生成输出图像；
显示所述输出图像；
所述根据所述掩膜图像信息对所述重编码图像进行解码得到第一反畸变图像还包括：
将所述重编码图像的多行像素首尾相连得到待解码像素序列；
根据有效像素的起始位置和末尾位置依次从所述待解码像素序列中提取多行解码像素；
根据所述有效像素的起始位置和末尾位置将多行所述解码像素依次排列生成所述第一反畸变图像。
6.根据权利要求5所述的图像处理方法，其特征在于，所述解析所述合成图像得到注视点信息、重编码图像和第二反畸变图像，包括：
解析所述合成图像第一行得到所述注视点信息；
分离所述合成图像得到重编码图像和所述第二反畸变图像。
7.根据权利要求5所述的图像处理方法，其特征在于，所述图像处理方法还包括：
根据所述显示装置的硬件参数确定正常显示图像和反畸变图像的坐标对应关系；
根据所述坐标对应关系生成掩膜图像；
确定所述掩膜图像中的有效像素；
将每行所述有效像素的起始位置和末尾位置作为所述掩膜图像信息并存储在所述显示装置的寄存器中。
8.一种图像处理装置，其特征在于，包括：
第一获取模块，用于获取用户的注视点信息和掩膜图像信息；
第一生成模块，用于根据所述注视点信息生成第一图像和第二图像，所述第一图像的分辨率小于所述第二图像的分辨率；
处理模块，用于分别对所述第一图像和所述第二图像进行反畸变处理得到第一反畸变图像和第二反畸变图像；
编码模块，用于根据所述掩膜图像信息对所述第一反畸变图像进行重新编码得到重编码图像；
合成模块，用于将所述第二反畸变图像和所述重编码图像拼接得到合成图像并在所述合成图像保存所述注视点信息；
控制模块，用于将所述合成图像发送至显示装置进行显示；
所述编码模块还用于：
依次根据每行有效像素的起始位置和末尾位置获取所述第一反畸变图像对应的待编码像素；
依次将获取的所述待编码像素首尾相连得到待编码像素序列；
将所述待编码像素序列按预设像素数量逐行排列生成所述重编码图像。
9.一种显示装置，其特征在于，包括：
第二获取模块，用于获取掩膜图像信息和图像处理装置发送的合成图像；
解析模块，用于解析所述合成图像得到注视点信息、重编码图像和第二反畸变图像；
解码模块，用于根据所述掩膜图像信息对所述重编码图像进行解码得到第一反畸变图像；
第二生成模块，用于根据所述注视点信息、所述第一反畸变图像和所述第二反畸变图像生成输出图像；
显示模块，用于显示所述输出图像；
所述解码模块还用于：
将所述重编码图像的多行像素首尾相连得到待解码像素序列；
根据有效像素的起始位置和末尾位置依次从所述待解码像素序列中提取多行解码像素；
根据所述有效像素的起始位置和末尾位置将多行所述解码像素依次排列生成所述第一反畸变图像。
10.一种包含计算机程序的非易失性计算机可读存储介质，其特征在于，当所述计算机程序被处理器执行时，使得所述处理器执行权利要求1-4中任一项所述图像处理方法，或权利要求5-7中任一项所述的图像处理方法。
CN202110961496.9A 2021-08-20 2021-08-20 图像处理方法、图像处理装置、显示装置和存储介质 Active CN113676774B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110961496.9A CN113676774B (zh) 2021-08-20 2021-08-20 图像处理方法、图像处理装置、显示装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110961496.9A CN113676774B (zh) 2021-08-20 2021-08-20 图像处理方法、图像处理装置、显示装置和存储介质

Publications (2)

Publication Number Publication Date
CN113676774A CN113676774A (zh) 2021-11-19
CN113676774B true CN113676774B (zh) 2024-04-09

Family

ID=78544615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110961496.9A Active CN113676774B (zh) 2021-08-20 2021-08-20 图像处理方法、图像处理装置、显示装置和存储介质

Country Status (1)

Country Link
CN (1) CN113676774B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140113066A (ko) * 2013-03-15 2014-09-24 한국전자통신연구원 차폐 영역 정보를 기반으로 하는 다시점 영상 생성 방법 및 장치
CN108076384A (zh) * 2018-01-02 2018-05-25 京东方科技集团股份有限公司 一种基于虚拟现实的图像处理方法、装置、设备和介质
CN109636715A (zh) * 2019-02-01 2019-04-16 京东方科技集团股份有限公司 图像数据的传输方法、装置及存储介质
CN112887646A (zh) * 2021-01-22 2021-06-01 京东方科技集团股份有限公司 图像处理方法及装置、扩展现实系统、计算机设备及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140113066A (ko) * 2013-03-15 2014-09-24 한국전자통신연구원 차폐 영역 정보를 기반으로 하는 다시점 영상 생성 방법 및 장치
CN108076384A (zh) * 2018-01-02 2018-05-25 京东方科技集团股份有限公司 一种基于虚拟现实的图像处理方法、装置、设备和介质
CN109636715A (zh) * 2019-02-01 2019-04-16 京东方科技集团股份有限公司 图像数据的传输方法、装置及存储介质
CN112887646A (zh) * 2021-01-22 2021-06-01 京东方科技集团股份有限公司 图像处理方法及装置、扩展现实系统、计算机设备及介质

Also Published As

Publication number Publication date
CN113676774A (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
US10930252B2 (en) Dividing image data into regional images of different resolutions based on a gaze point and transmitting the divided image data
US10319114B2 (en) Foveated compression of display streams
US11373337B2 (en) Image processing method of virtual reality and apparatus thereof
KR20200142539A (ko) 동적 포비티드 파이프라인
KR101916099B1 (ko) 화상 생성 장치, 화상 추출 장치, 화상 생성 방법, 및 화상 추출 방법
US11366315B2 (en) Image processing apparatus, method for controlling the same, non-transitory computer-readable storage medium, and system
JP7261642B2 (ja) 画像処理方法、画像処理装置、およびヘッドマウントディスプレイ
US11917167B2 (en) Image compression method and apparatus, image display method and apparatus, and medium
CN111147883A (zh) 直播方法、装置、头戴显示设备和可读存储介质
CN112015273B (zh) 虚拟现实系统的数据传输方法及相关装置
CN113676774B (zh) 图像处理方法、图像处理装置、显示装置和存储介质
US9172941B2 (en) Moving image processing device and moving image processing method
CN107087153B (zh) 3d图像生成方法、装置及vr设备
CN114466228B (zh) 一种提高投屏显示流畅度的方法、设备及存储介质
JP7365184B2 (ja) 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法
US20140056524A1 (en) Image processing device, image processing method, and program
CN112150345A (zh) 图像处理方法及装置、视频处理方法和发送卡
US10440345B2 (en) Display control methods and apparatuses
CN115348437B (zh) 视频处理方法、装置、设备及存储介质
CN114520905B (zh) 图像处理方法、图像显示方法及图像显示系统
Hoffman et al. 65‐2: Sensitivity to Peripheral Artifacts in VR Display Systems
JP2013168902A (ja) 画像処理装置、表示装置および画像処理方法
Mohona et al. 75‐2: The Effect of Chromatic Aberration Correction on Visually Lossless Compression
CN108093302B (zh) 一种视频流文件压缩传输的方法及系统
CN118037557A (zh) 一种图像数据的处理方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant