CN109509150A - 图像处理方法和装置、显示装置、虚拟现实显示系统 - Google Patents

图像处理方法和装置、显示装置、虚拟现实显示系统 Download PDF

Info

Publication number
CN109509150A
CN109509150A CN201811406796.5A CN201811406796A CN109509150A CN 109509150 A CN109509150 A CN 109509150A CN 201811406796 A CN201811406796 A CN 201811406796A CN 109509150 A CN109509150 A CN 109509150A
Authority
CN
China
Prior art keywords
image
frame
picture frame
image processing
processing method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811406796.5A
Other languages
English (en)
Inventor
李文宇
孙玉坤
苗京花
王雪丰
彭金豹
李治富
赵斌
李茜
范清文
索健文
刘亚丽
陈丽莉
张�浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201811406796.5A priority Critical patent/CN109509150A/zh
Publication of CN109509150A publication Critical patent/CN109509150A/zh
Priority to US16/514,056 priority patent/US20200167896A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/053—Detail-in-context presentations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0252—Improving the response speed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00—Solving problems of bandwidth in display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开涉及一种图像处理方法和装置、显示装置、虚拟现实显示系统。图像处理方法包括：将第一图像和第二图像分别在不同的帧中进行渲染，相应得到第一图像帧和第二图像帧，其中，所述第一图像来自用户注视区域，所述第二图像来自其他区域，所述第一图像帧的分辨率高于所述第二图像帧的分辨率；交替传输所述第一图像帧和第二图像帧。

Description

图像处理方法和装置、显示装置、虚拟现实显示系统
技术领域
本公开涉及显示领域，特别涉及一种图像处理方法和装置、显示装置、虚拟现实显示系统、以及计算机可读存储介质。
背景技术
随着显示技术的快速发展，对于显示质量的要求越来越高。一方面要求高分辨率，另一方面要求高刷新帧率，这对于图像处理技术提出了很高的要求。相关图像处理技术很难同时满足高分辨率和高刷新帧率这两方面的要求。
发明内容
为此，本公开提出一种能够同时实现高分辨率和高刷新帧率的方案。
根据本公开实施例的第一方面，提供了一种图像处理方法，包括：将第一图像和第二图像分别在不同的帧中进行渲染，相应得到第一图像帧和第二图像帧，其中，所述第一图像来自用户注视区域，所述第二图像来自其他区域，所述第一图像帧的分辨率高于所述第二图像帧的分辨率；交替传输所述第一图像帧和第二图像帧。
在一些实施例中，交替传输包括：每传输N个图像帧，传输1个第二图像帧，N为大于1的正整数。
在一些实施例中，所述图像处理方法还包括：判断在当前帧中渲染所述第一图像还是第二图像。
在一些实施例中，设当前帧为第M帧，M为正整数：在M/N是整数的情况下，渲染所述第二图像；在M/N不是整数的情况下，渲染所述第一图像。
在一些实施例中，所述图像处理方法还包括：存储接收的第一图像帧和第二图像帧；将存储的第一图像帧和第二图像帧结合为完整图像。
在一些实施例中，所述结合包括：拼接相邻的第一图像帧和第二图像帧。
在一些实施例中，所述结合还包括：对相邻的第一图像帧和第二图像帧进行边界融合；拉伸所述第二图像帧。
在一些实施例中，所述图像处理方法还包括：利用眼球追踪技术获取所述用户注视区域。
在一些实施例中，所述图像处理方法还包括：对渲染后的第一图像帧和第二图像帧中的至少一个进行图像算法处理。
根据本公开实施例的第二方面，提供了一种图像处理装置，包括：渲染单元，被配置为将第一图像和第二图像分别在不同的帧中进行渲染，相应得到第一图像帧和第二图像帧，其中，所述第一图像来自用户注视区域，所述第二图像来自其他区域，所述第一图像帧的分辨率高于所述第二图像帧的分辨率；传输单元，被配置为交替传输所述第一图像帧和第二图像帧。
根据本公开实施例的第三方面，提供了一种图像处理装置，包括：存储器；和耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如前述任一实施例所述的图像处理方法。
根据本公开实施例的第四方面，提供了一种显示装置，包括前述任一实施例的图像处理装置。
根据本公开实施例的第五方面，提供了一种显示装置，包括：图像处理器，被配置为执行如前述任一实施例所述的图像处理方法；显示器，被配置为显示结合第一图像帧和第二图像帧得到的完整图像。
在一些实施例中，所述显示装置还包括：图像传感器，被配置为拍摄用户眼球的图像。
根据本公开实施例的第六方面，提供了一种虚拟现实显示系统，包括前述任一实施例的显示装置。
根据本公开实施例的第七方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如前述任一实施例所述的图像处理方法。
在上述实施例中，通过分别在不同的帧中渲染高清图像和非高清图像，交替传输高清图像和非高清图像，可以显著降低渲染压力和图像传输带宽，从而在保证高分辨率的同时提升刷新帧率。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
图1是示出根据本公开一些实施例的图像处理方法的流程图；
图2是示出根据本公开另一些实施例的图像处理方法的流程图；
图3A是示出对比示例的图像处理方法的示意图；
图3B是示出根据本公开一些实施例的图像处理方法的示意图；
图4是示出根据本公开一些实施例与对比示例的图像处理方法的效果对比图；
图5A是示出根据本公开一些实施例的图像处理装置的框图；
图5B是示出根据本公开另一些实施例的图像处理装置的框图；
图6是示出根据本公开一些实施例的显示装置的框图；
图7是示出用于实现本公开一些实施例的计算机系统的框图。
应当明白，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。此外，相同或类似的参考标号表示相同或类似的构件。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。对示例性实施例的描述仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。本公开可以以许多不同的形式实现，不限于这里所述的实施例。提供这些实施例是为了使本公开透彻且完整，并且向本领域技术人员充分表达本公开的范围。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置应被解释为仅仅是示例性的，而不是作为限制。
本公开使用的所有术语(包括技术术语或者科学术语)与本公开所属领域的普通技术人员理解的含义相同，除非另外特别定义。还应当理解，在诸如通用字典中定义的术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
图1是示出根据本公开一些实施例的图像处理方法的框图。如图1所示，图像处理方法包括步骤S1和S3。
在步骤S1，将第一图像和第二图像分别在不同的帧中进行渲染，相应得到第一图像帧和第二图像帧。
第一图像来自用户注视区域，第二图像来自除用户注视区域之外的其他区域。在一些实施例中，在第K帧中，对用户注视区域的图像(即第一图像)进行高分辨率的渲染，得到第一图像帧，其中K为正整数。在第L帧中，对其他区域的图像(即第二图像)进行低分辨率的渲染，得到第二图像帧，其中L为与K不同的正整数。相应地，第一图像帧的分辨率高于第二图像帧的分辨率。可以利用图像处理器进行渲染。
在步骤S3，交替传输所述第一图像帧和第二图像帧。
在一些实施例中，交替传输包括：每传输N个图像帧，传输1个第二图像帧，N为大于1的正整数。下面为了描述的方便，将高分辨率的第一图像帧称为高清图像帧，而将低分辨率的第二图像帧称为非高清图像帧。
以N＝2为例，即每传输2个图像帧，就传输1个非高清图像帧。也就是说，若奇数帧传输高清图像帧，偶数帧就传输非高清图像帧。当然，这里的交替传输也意味着交替渲染。仍以N＝2为例，即由每渲染1帧图像，就传输1帧图像。也就是说，若奇数帧渲染非高清图像，则偶数帧渲染高清图像；相应地，在奇数帧传输非高清图像帧，在偶数帧传输高清图像帧。
高清图像帧和非高清图像帧在显示前结合为完整图像。N可以根据实际需要取不同的正整数，只要能够保证结合得到的完整图像人眼感受不到明显内容错位即可。例如，N还可以为3、4或5。
在一些实施例中，图像处理方法还包括：判断在当前帧中渲染高清图像还是非高清图像。设当前帧为第M帧，其中M为正整数，可以根据M和N之间的关系，来判断渲染和传输哪种图像。例如，在M/N是整数的情况下，渲染并传输非高清图像；而在M/N不是整数的情况下，渲染并传输高清图像。
以N＝5为例，即每5帧图像中，渲染1帧非高清图像和4帧高清图像。若M＝4，有M/N＝4/5，即M/N不是整数，渲染并传输高清图像。如M＝5，有M/N＝5/5，即M/N是整数，渲染并传输非高清图像。
在一些实施例中，通过DisplayPort接口传输图像。在另一些实施例中，通过HDMI接口(High Definition Multimedia Interface，高清晰度多媒体接口)传输图像。
图2是示出根据本公开另一些实施例的图像处理方法的流程图。图2与图1的不同之处在于，还包括步骤S0、S2和S4-S5。下面将仅描述图2与图1的不同之处，相同之处不再赘述。
在步骤S0，获取用户注视区域，例如，利用眼球追踪技术获取用户注视区域。
在一些实施例中，利用相机等图像传感器拍摄用户眼球的图像，并分析眼球的图像得到注视位置(即注视点坐标)，进而获取用户注视区域。
在步骤S2，对渲染后的高清图像帧和非高清图像帧中的至少一个进行图像算法处理。
在一些实施例中，图像算法包括反畸变算法。由于图像经过透镜会产生畸变，为了使人眼经过透镜看到正常图像，可以利用反畸变算法对正常图像进行与畸变对应的相反映射，得到反畸变图像，该反畸变图像经过透镜畸变后，人眼经过透镜可以看到正常图像。
在另一些实施例中，图像算法包括局部调光(Local Dimming)算法。以液晶显示屏为例，显示区域可以分成多个分区，利用局部调光算法可以单独实时控制每个分区的背光。由此，可以根据每个分区对应的图像内容来控制每个分区的背光，从而可以提升显示对比度。
应当理解，图像算法还可以包括图像增强算法等图像处理算法。在一些实施例中，既对渲染后的高清图像帧又对渲染后的非高清图像帧进行图像算法处理。这样，对于两种图像帧结合得到的完整图像来说，显示效果更好。
在步骤S4，存储接收的高清图像帧和非高清图像帧。
在一些实施例中，利用存储卡等存储装置来存储接收的图像帧，以便实现分别接收的高清图像帧与非高清图像帧的错帧结合，例如，当前接收的高清图像帧与之前存储的非高清图像帧的结合。
在步骤S5，将存储的高清图像帧和非高清图像帧结合为完整图像。
在一些实施例中，结合包括：拼接相邻的高清图像帧和非高清图像帧。例如，可以先根据注视点坐标得到高清图像帧在显示屏幕上的位置，然后在此基础上进行高清图像帧与非高清图像帧的拼接。
仍以N＝5为例，在M＝5的情况下，即在第5帧，可以将第5帧的非高清图像帧与已存储的第4帧的高清图像帧进行拼接，以得到完整图像。类似地，在第6、7、8、9帧，均渲染并传输高清图像。在此情况下，可以将第6、7、8、9帧的高清图像帧分别与已存储的前1帧非高清图像帧(即第5帧)进行拼接，以得到完整图像。
在另一些实施例中，结合还包括：对相邻的高清图像帧和非高清图像帧进行边界融合。
边界融合能够保证人眼余光看到的其他区域是注视区域的自然延伸，以避免余光感受到内容错位等不匹配现象。例如，可以对高清区域与非高清区域的边界进行融合，使得拼接的完整图像边界过渡平滑。根据实际需要，可以采取不同的算法来实现边界融合。例如，在N较小的情况下，可以采取较为简单的加权平均算法，这样可以在低计算成本的情况下满足内容匹配的要求。
在又一些实施例中，结合还包括：拉伸非高清图像帧。例如，在拼接成完整图像之前，可以将非高清图像帧拉伸为高分辨率的图像帧。
将低分辨率的非高清图像帧进行拉伸后，可以在高分辨率的屏幕上进行显示。作为示例，对于分辨为1080*1080的非高清图像帧，通过插值等方法可以拉伸为分辨率为2160*2160的高清图像帧，从而可以在分辨率为2160*2160的屏幕上进行显示。
下面以单眼为例，结合图3A和图3B来比较相关技术和本公开实施例的图像处理方法。图3A是示出对比示例的图像处理方法的示意图。图3B是示出根据本公开一些实施例的图像处理方法的示意图。
如图3A所示，对比示例的图像处理方法包括：步骤30，根据眼球追踪技术获得注视点坐标；步骤31，渲染注视区域的高清图像和其他区域的非高清图像；步骤32，对高清和非高清图像进行图像算法处理；步骤33，传输处理后的高清和非高清图像；步骤34，拼接高清和非高清图像，以便显示完整图像。
如图3B所示，根据本公开实施例的图像处理方法包括：步骤S0，获取用户注视区域；步骤S1，将第一图像和第二图像分别在不同的帧中进行渲染，相应得到第一图像帧和第二图像帧，以N＝2且先渲染非高清图像为例，则在奇数帧中渲染非高清图像，而在偶数帧渲染高清图像；步骤S2，对渲染后的图像帧进行图像算法处理；步骤S3，交替传输高清图像帧和非高清图像帧；步骤S4，存储接收的图像帧；步骤S5，将高清图像帧和非高清图像帧结合为完整图像以便显示。
比较图3A和图3B可以得到：在对比示例的图像处理方法中，在一帧时间内，需要渲染两幅图像，且单眼需要传输两幅图像；而在本公开实施例的图像处理方法中，在一帧时间内，仅需要渲染一幅图像，而且单眼仅需要传输一幅图像。因此，利用本公开实施例的图像处理方法，可以显著降低渲染压力和图像传输带宽，从而在保证高分辨率的同时提升刷新帧率。
图4是示出根据本公开一些实施例与对比示例的图像处理方法的效果对比图。
图4示出不同图像处理方法的时序图。以一桢的处理包括渲染阶段、图像处理阶段和等待信号阶段为例来描述图4。即，在图4中讨论的一桢时间为相邻的同步信号Vsync之间的时间，主要包括渲染时间和图像算法处理的时间，不包括图像传输时间和拼接时间。假设在第K帧渲染了一幅图像，Vsync信号到来后，渲染的图像将被传输到结合阶段，同时开始在第K+1帧渲染另一幅图像。结合阶段接收到图像后，进行拼接等结合处理，以便最终显示。
在一些实施例中，图像传输前的阶段，例如渲染、图像算法处理可以由软件来实现；而图像传输后的阶段，例如结合、显示可以由硬件实现。两个不同阶段对应的一帧时间可以是相等的，并且可以是并行的。
如图4所示，采用对比示例的图像处理方法，在一帧时间内，不管是渲染还是图像算法处理，单眼都需要处理两幅图像，即高清图像和非高清图像，所用时间为T0。与之不同地，采用本公开实施例的图像处理方法，在一帧时间内，单眼只渲染一幅图像，图像算法也只对一幅图像进行处理，所用时间为T1或T2。从原理上分析以及从时序图上直观显示可知，T0远大于T1。由于T1和T2一般近乎相等，所以T0近乎是T1的两倍。
进一步地，采用本公开实施例的图像处理方法，单眼每帧传输的图像只有一幅，即相比于对比示例还提高了传输速度，避免了传输带宽限制对帧率的限制。
综上所述，本公开实施例的图像处理方法既降低了渲染压力，又避免了传输带宽受限，在保证高分辨率的同时极大提高了显示刷新帧率。
图5A是示出根据本公开一些实施例的图像处理装置的结构示意图。如图5A所示，图像处理装置50A包括：渲染单元510A和传输单元530A。
渲染单元510A被配置为将第一图像和第二图像分别在不同的帧中进行渲染，相应得到第一图像帧和第二图像帧，例如可以执行如图1或图2所示的步骤S1。如前所述，第一图像来自用户注视区域，第二图像来自其他区域。由于对第一图像进行高分辨率的渲染，而对第二图像进行低分辨率的渲染，相应地，第一图像帧的分辨率高于第二图像帧的分辨率。
传输单元530A，被配置为交替传输第一图像帧和第二图像帧，例如可以执行如图1或图2所示的步骤S3。如前所述，交替传输可以表示每传输N个图像帧，就传输1个第二图像帧。
在一些实施例中，图像处理装置50A还包括：获取单元500A，被配置为利用眼球追踪技术获取用户注视区域，例如可以执行如图2所示的步骤S0。
图像处理装置50A还可以包括：图像算法处理单元520A，被配置为对渲染后的第一图像帧和第二图像帧中的至少一个进行图像算法处理，例如可以执行如图2所示的步骤S2。
在另一些实施例中，图像处理装置50A还包括：存储单元540A，被配置为存储接收的图像帧，例如可以执行如图2所示的步骤S4。如前所述，可以利用利用存储卡等来存储接收的图像帧，以便实现分别接收的高清图像帧与非高清图像帧的错帧结合。
在又一些实施例中，图像处理装置还包括：结合单元550A，被配置为将接收的第一图像帧和第二图像帧结合为完整图像，例如可以执行如图2所示的步骤S5。如前所述，结合可以包括拼接相邻的第一图像帧和第二图像帧。结合还可以包括拉伸第二图像帧。结合也可以包括对相邻的第一图像帧和第二图像帧进行边界融合，使得拼接的完整图像边界过渡平滑。
图5B是示出根据本公开另一些实施例的图像处理装置的框图，
如图5B所示，图像处理装置50B包括：存储器510B以及耦接至该存储器510B的处理器520B。存储器520B用于存储执行图像处理方法对应实施例的指令。处理器520B被配置为基于存储在存储器520B中的指令，执行本公开中任意一些实施例中的图像处理方法。
应当理解，前述图像处理方法中的各个步骤都可以通过处理器来实现，并且可以软件、硬件、固件或其结合的任一种方式实现。
除了图像处理方法、装置之外，本公开实施例还可采用在一个或多个包含有计算机程序指令的非易失性存储介质上实施的计算机程序产品的形式。因此，本公开实施例还提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现前述任意实施例中的图像处理方法。
本公开实施例还提供一种显示装置，包括前述任一实施例所述的图像处理装置。
图6是示出根据本公开一些实施例的显示装置的框图。如图6所示，显示装置60包括图像传感器610、图像处理器120和显示器630。
图像传感器610被配置为拍摄用户眼球的图像。分析眼球的图像，可以得到注视位置，进而获取用户注视区域。在一些实施例中，图像传感器包括相机。
图像处理器620被配置为执行前述任一实施例所述的图像处理方法。即，图像处理器620可以执行步骤S0至S5中的一些步骤，例如执行步骤S1和S3。
显示器630被配置为显示结合第一图像帧和第二图像帧得到的完整图像。在一些实施例中，显示器包括液晶显示器。在另一些实施例中，显示器包括OLED(Organic Light-Emitting Diode，有机发光二极管)显示器。
在一些实施例中，显示装置可以为：手机、平板电脑、电视机、笔记本电脑、数码相框、导航仪等任何具有显示功能的产品或部件。
本公开实施例还提供一种虚拟现实(VR)显示系统，包括前述任一实施例所述的显示装置。利用本公开实施例的显示装置，可以提供超高分辨率的SmartView-VR系统。
图7是示出用于实现本公开一些实施例的计算机系统的框图。
如图7所示，计算机系统可以通用计算设备的形式表现。计算机系统包括存储器710、处理器720和连接不同系统组件的总线700。
存储器710例如可以包括系统存储器、非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。系统存储器可以包括易失性存储介质，例如随机存取存储器(RAM)和/或高速缓存存储器。非易失性存储介质例如存储有执行显示方法的对应实施例的指令。非易失性存储介质包括但不限于磁盘存储器、光学存储器、闪存等。
处理器720可以用通用处理器、数字信号处理器(DSP)、应用专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑设备、分立门或晶体管等分立硬件组件方式来实现。相应地，诸如判断模块和确定模块的每个模块，可以通过中央处理器(CPU)运行存储器中执行相应步骤的指令来实现，也可以通过执行相应步骤的专用电路来实现。
总线700可以使用多种总线结构中的任意总线结构。例如，总线结构包括但不限于工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、外围组件互连(PCI)总线。
计算机系统还可以包括输入输出接口730、网络接口740、存储接口750等。这些接口730、740、750以及存储器710和处理器720之间可以通过总线700连接。输入输出接口730可以为显示器、鼠标、键盘等输入输出设备提供连接接口。网络接口740为各种联网设备提供连接接口。存储接口740为软盘、U盘、SD卡等外部存储设备提供连接接口。
至此，已经详细描述了本公开的各种实施例。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改或者对部分技术特征进行等同替换。本公开的范围由所附权利要求来限定。

Claims (16)

1.一种图像处理方法，包括：
将第一图像和第二图像分别在不同的帧中进行渲染，相应得到第一图像帧和第二图像帧，其中，所述第一图像来自用户注视区域，所述第二图像来自其他区域，所述第一图像帧的分辨率高于所述第二图像帧的分辨率；
交替传输所述第一图像帧和第二图像帧。
2.根据权利要求1所述的图像处理方法，其中，交替传输包括：每传输N个图像帧，传输1个第二图像帧，N为大于1的正整数。
3.根据权利要求2所述的图像处理方法，还包括：判断在当前帧中渲染所述第一图像还是第二图像。
4.根据权利要求2所述的图像处理方法，其中，设当前帧为第M帧，M为正整数：
在M/N是整数的情况下，渲染所述第二图像；
在M/N不是整数的情况下，渲染所述第一图像。
5.根据权利要求1所述的图像处理方法，还包括：
存储接收的第一图像帧和第二图像帧；
将存储的第一图像帧和第二图像帧结合为完整图像。
6.根据权利要求5所述的图像处理方法，其中，所述结合包括：拼接相邻的第一图像帧和第二图像帧。
7.根据权利要求6所述的图像处理方法，其中，所述结合还包括：
对相邻的第一图像帧和第二图像帧进行边界融合；
拉伸所述第二图像帧。
8.根据权利要求1所述的图像处理方法，还包括：获取所述用户注视区域。
9.根据权利要求1所述的图像处理方法，还包括：
对渲染后的第一图像帧和第二图像帧中的至少一个进行图像算法处理。
10.一种图像处理装置，包括：
渲染单元，被配置为将第一图像和第二图像分别在不同的帧中进行渲染，相应得到第一图像帧和第二图像帧，其中，所述第一图像来自用户注视区域，所述第二图像来自其他区域，所述第一图像帧的分辨率高于所述第二图像帧的分辨率；
传输单元，被配置为交替传输所述第一图像帧和第二图像帧。
11.一种图像处理装置，包括：
存储器；和耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1至9中任一项所述的图像处理方法。
12.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1至9中任一项所述的图像处理方法。
13.一种显示装置，包括：如权利要求10或11所述的图像处理装置。
14.一种显示装置，包括：
图像处理器，被配置为执行如权利要求1至9中任一项所述的图像处理方法；和
显示器，被配置为显示结合第一图像帧和第二图像帧得到的完整图像。
15.根据权利要求14所述的显示装置，还包括：
图像传感器，被配置为拍摄用户眼球的图像。
16.一种虚拟现实显示系统，包括：如权利要求13至15中任一项所述的显示装置。
CN201811406796.5A 2018-11-23 2018-11-23 图像处理方法和装置、显示装置、虚拟现实显示系统 Pending CN109509150A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811406796.5A CN109509150A (zh) 2018-11-23 2018-11-23 图像处理方法和装置、显示装置、虚拟现实显示系统
US16/514,056 US20200167896A1 (en) 2018-11-23 2019-07-17 Image processing method and device, display device and virtual reality display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811406796.5A CN109509150A (zh) 2018-11-23 2018-11-23 图像处理方法和装置、显示装置、虚拟现实显示系统

Publications (1)

Publication Number Publication Date
CN109509150A true CN109509150A (zh) 2019-03-22

Family

ID=65750492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811406796.5A Pending CN109509150A (zh) 2018-11-23 2018-11-23 图像处理方法和装置、显示装置、虚拟现实显示系统

Country Status (2)

Country Link
US (1) US20200167896A1 (zh)
CN (1) CN109509150A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110488977A (zh) * 2019-08-21 2019-11-22 京东方科技集团股份有限公司 虚拟现实显示方法、装置、系统及存储介质
CN110767184A (zh) * 2019-11-28 2020-02-07 京东方科技集团股份有限公司 背光亮度处理方法、系统、显示设备及介质
CN110910509A (zh) * 2019-11-21 2020-03-24 Oppo广东移动通信有限公司 图像处理方法以及电子设备和存储介质
CN111785229A (zh) * 2020-07-16 2020-10-16 京东方科技集团股份有限公司 一种显示方法、装置及系统
CN114630097A (zh) * 2022-03-15 2022-06-14 中国电信股份有限公司 图像处理方法、装置、系统及计算机可读存储介质
CN114935971A (zh) * 2021-02-05 2022-08-23 京东方科技集团股份有限公司 显示驱动芯片、显示装置和显示驱动方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114554173B (zh) * 2021-11-17 2024-01-30 北京博良胜合科技有限公司 基于Cloud XR的云端简化注视点渲染的方法以及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120229460A1 (en) * 2011-03-12 2012-09-13 Sensio Technologies Inc. Method and System for Optimizing Resource Usage in a Graphics Pipeline
CN107153519A (zh) * 2017-04-28 2017-09-12 北京七鑫易维信息技术有限公司 图像传输方法、图像显示方法以及图像处理装置
CN107809641A (zh) * 2017-11-13 2018-03-16 北京京东方光电科技有限公司 图像数据传输方法、处理方法及图像处理设备、显示设备
CN108665521A (zh) * 2018-05-16 2018-10-16 京东方科技集团股份有限公司 图像渲染方法、装置、系统、计算机可读存储介质及设备
WO2018200993A1 (en) * 2017-04-28 2018-11-01 Zermatt Technologies Llc Video pipeline

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070248277A1 (en) * 2006-04-24 2007-10-25 Scrofano Michael A Method And System For Processing Image Data
US10842379B2 (en) * 2016-01-29 2020-11-24 Siemens Healthcare Gmbh Multi-modality image fusion for 3D printing of organ morphology and physiology
US20190335077A1 (en) * 2018-04-25 2019-10-31 Ocusell, LLC Systems and methods for image capture and processing

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120229460A1 (en) * 2011-03-12 2012-09-13 Sensio Technologies Inc. Method and System for Optimizing Resource Usage in a Graphics Pipeline
CN107153519A (zh) * 2017-04-28 2017-09-12 北京七鑫易维信息技术有限公司 图像传输方法、图像显示方法以及图像处理装置
WO2018200993A1 (en) * 2017-04-28 2018-11-01 Zermatt Technologies Llc Video pipeline
CN110574375A (zh) * 2017-04-28 2019-12-13 苹果公司 视频流水线
CN107809641A (zh) * 2017-11-13 2018-03-16 北京京东方光电科技有限公司 图像数据传输方法、处理方法及图像处理设备、显示设备
CN108665521A (zh) * 2018-05-16 2018-10-16 京东方科技集团股份有限公司 图像渲染方法、装置、系统、计算机可读存储介质及设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110488977A (zh) * 2019-08-21 2019-11-22 京东方科技集团股份有限公司 虚拟现实显示方法、装置、系统及存储介质
CN110910509A (zh) * 2019-11-21 2020-03-24 Oppo广东移动通信有限公司 图像处理方法以及电子设备和存储介质
CN110767184A (zh) * 2019-11-28 2020-02-07 京东方科技集团股份有限公司 背光亮度处理方法、系统、显示设备及介质
CN110767184B (zh) * 2019-11-28 2021-02-12 京东方科技集团股份有限公司 背光亮度处理方法、系统、显示设备及介质
CN111785229A (zh) * 2020-07-16 2020-10-16 京东方科技集团股份有限公司 一种显示方法、装置及系统
CN114935971A (zh) * 2021-02-05 2022-08-23 京东方科技集团股份有限公司 显示驱动芯片、显示装置和显示驱动方法
CN114630097A (zh) * 2022-03-15 2022-06-14 中国电信股份有限公司 图像处理方法、装置、系统及计算机可读存储介质

Also Published As

Publication number Publication date
US20200167896A1 (en) 2020-05-28

Similar Documents

Publication Publication Date Title
CN109509150A (zh) 图像处理方法和装置、显示装置、虚拟现实显示系统
US20170345398A1 (en) Minimal-latency tracking and display for matching real and virtual worlds in head-worn displays
WO2018205593A1 (zh) 显示控制装置和方法以及显示系统
US9159278B2 (en) Overdrive method, apparatus, and display device
CN105872419A (zh) 一种显示方法、装置及液晶电视
US10080009B2 (en) Method and system for obtaining images for 3D reconstruction and method and system for 3D reconstruction
US11783445B2 (en) Image processing method, device and apparatus, image fitting method and device, display method and apparatus, and computer readable medium
US20160321976A1 (en) Optical compensation system and optical compensation method thereof
US11334307B2 (en) Image display method and video processing device
US9972276B2 (en) Display device, display system and display method
CN109725701A (zh) 显示面板和装置、图像处理方法和装置、虚拟现实系统
CN105205787A (zh) 用于对ldr视频序列进行动态范围扩展的方法和设备
US10440315B2 (en) Apparatus and method for switching video signal
US20210366083A1 (en) Picture processing method and device
US20150154801A1 (en) Electronic device including transparent display and method of controlling the electronic device
CN103905745A (zh) 一种视频帧中重影时间戳的识别方法
CN105657268A (zh) 一种基于多分辨率的多视点视频拼接融合算法
US20200168001A1 (en) Display unit for ar/vr/mr systems
CN107799051A (zh) 显示装置以及用于使用该显示装置显示图像的方法
CN110767184B (zh) 背光亮度处理方法、系统、显示设备及介质
WO2016165158A1 (zh) 一种显示面板的驱动方法和驱动系统
CN109889765A (zh) 视频处理方法、视频处理装置和会议系统
CN106161987A (zh) 一种多图像同屏显示方法及多图像同屏显示系统
US20160364842A1 (en) Image processing device and image processing method
Bako et al. Embedded implementation of a real-time motion estimation method in video sequences

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination