CN114520905B - 图像处理方法、图像显示方法及图像显示系统 - Google Patents
图像处理方法、图像显示方法及图像显示系统 Download PDFInfo
- Publication number
- CN114520905B CN114520905B CN202011301129.8A CN202011301129A CN114520905B CN 114520905 B CN114520905 B CN 114520905B CN 202011301129 A CN202011301129 A CN 202011301129A CN 114520905 B CN114520905 B CN 114520905B
- Authority
- CN
- China
- Prior art keywords
- image
- display
- gazing
- mode
- display mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 title claims description 60
- 238000012545 processing Methods 0.000 claims abstract description 110
- 238000005070 sampling Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 9
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 18
- 230000005540 biological transmission Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/2092—Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
- H04N13/289—Switching between monoscopic and stereoscopic modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/368—Image reproducers using viewer tracking for two or more viewers
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
Abstract
一种图像处理方法,包括:确定显示模式;根据所述显示模式对应的图像处理方式,对原始图像数据进行处理,得到目标图像数据;将目标图像数据传输给图像显示端,以使图像显示端根据所述显示模式对应的扫描显示方式进行图像显示。其中,目标图像数据的分辨率小于或等于原始图像数据的分辨率,且目标图像数据携带所述显示模式的指示信息。
Description
技术领域
本文涉及但不限于图像处理技术领域,尤指一种图像处理方法、图像显示方法及图像显示系统。
背景技术
随着显示设备(例如,虚拟现实系统中的显示器件)在分辨率和刷新率方面的提升,计算机设备传输至显示设备的图像数据量越来越大,对传输带宽的要求越来越高。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本公开实施例提供一种图像处理方法、图像显示方法及图像显示系统。
一方面,本公开实施例提供了一种图像处理方法,包括:确定显示模式;根据所述显示模式对应的图像处理方式,对原始图像数据进行处理,得到目标图像数据;将所述目标图像数据传输给图像显示端,以使所述图像显示端根据所述显示模式对应的扫描显示方式进行图像显示。所述目标图像数据的分辨率小于或等于所述原始图像数据的分辨率,且所述目标图像数据携带所述显示模式的指示信息。
在一些示例性实施方式中,所述显示模式为以下之一:常规显示模式、二维显示模式、三维显示模式、立体光场显示模式。
在一些示例性实施方式中,所述确定显示模式,包括以下至少之一:
根据运行的应用类型,确定与所述应用类型匹配的显示模式;
响应于用户操作,确定所述用户操作所选择的显示模式。
在一些示例性实施方式中,所述对原始图像数据进行处理之前,所述方法还包括:根据图像显示端的同时观看人数和每个人的人眼注视参数,启动单人模式或多人模式。所述根据所述显示模式对应的图像处理方式,对原始图像数据进行处理,得到目标图像数据,包括:根据所述显示模式对应的单人模式或多人模式下的图像处理方式,对原始图像数据进行处理,得到目标图像数据。
在一些示例性实施方式中,所述根据图像显示端的同时观看人数和每个人的人眼注视参数,启动单人模式或多人模式,包括:当所述图像显示端的同时观看人数为一个人,或者,所述图像显示端的同时观看人数为多个人,且所述多个人的人眼注视参数指示同一注视区域,则启动单人模式;当所述图像显示端的同时观看人数为多个人,且所述多个人的人眼注视参数指示至少两个注视区域,则启动多人模式。
在一些示例性实施方式中,所述显示模式为常规显示模式,根据所述常规显示模式对应的单人模式或多人模式下的图像处理方式得到的目标图像数据的分辨率与所述原始图像数据的分辨率相同。
在一些示例性实施方式中,所述显示模式为二维显示模式。所述根据所述显示模式对应的单人模式或多人模式下的图像处理方式,对原始图像数据进行处理,得到目标图像数据,包括:根据在所述图像显示端采集到的人眼注视参数,将所述原始图像数据对应的原始图像划分为至少一个注视区域和多个非注视区域,对所述至少一个注视区域采用原分辨率采样得到至少一个注视图像,对所述多个非注视区域采用压缩分辨率采样得到对应的多个非注视图像;将所述至少一个注视图像和多个非注视图像进行拼接,得到目标图像数据。
在一些示例性实施方式中,所述根据所述显示模式对应的多人模式下的图像处理方式,对原始图像数据进行处理,得到目标图像数据,还包括:对所述至少一个注视图像进行分割,形成多个矩形的注视子图像;将所述多个注视子图像和多个非注视图像重新排布后,得到目标图像数据。
在一些示例性实施方式中,所述显示模式为三维显示模式,所述原始图像数据包括:左眼图像和右眼图像。所述根据所述显示模式对应的单人模式或多人模式下的图像处理方式,对原始图像数据进行处理,得到目标图像数据,包括:根据在所述图像显示端采集到的人眼注视参数,将所述左眼图像划分为至少一个第一注视区域和多个第一非注视区域,将所述右眼图像划分为至少一个第二注视区域和多个第二非注视区域,对所述至少一个第一注视区域和至少一个第二注视区域采用原分辨率采样得到至少一个第一注视图像和至少一个第二注视图像,对所述多个第一非注视区域和多个第二非注视区域采用压缩分辨率采样得到多个第一非注视图像和多个第二非注视图像;将所述至少一个第一注视图像、至少一个第二注视图像、多个第一非注视图像和多个第二非注视图像进行拼接,得到目标图像数据。
在一些示例性实施方式中,所述显示模式为立体光场显示模式;所述原始图像数据包括:多个单元图像。所述根据所述显示模式对应的单人模式或多人模式下的图像处理方式,对原始图像数据进行处理,得到目标图像数据,包括:针对任一单元图像,根据在所述图像显示端采集到的人眼注视参数,将所述单元图像划分为至少一个注视区域和多个非注视区域,对所述至少一个注视区域采用原分辨率采样得到至少一个注视图像,对所述多个非注视区域采用压缩分辨率采样得到多个非注视图像;将根据所述多个单元图像得到的多个注视图像和多个非注视图像进行拼接,得到目标图像数据,所述目标图像数据包括多帧图像数据。
另一方面,本公开实施例提供一种图像显示方法,包括:接收目标图像数据;通过解析所述目标图像数据,确定显示模式;根据所述显示模式对应的扫描显示方式,在图像显示端的显示器上进行图像显示。
在一些示例性实施方式中,所述显示模式为以下之一:常规显示模式、二维显示模式、三维显示模式、立体光场显示模式。
在一些示例性实施方式中,所述根据所述显示模式对应的扫描显示方式,在图像显示端的显示器上进行图像显示,包括:
当所述显示模式为常规显示模式,则根据所述图像显示端的显示器分辨率和所述目标图像数据对应的待显示图像的分辨率之间的关系,在所述显示器上显示所述待显示图像;
当所述显示模式为二维显示模式,则根据所述图像显示端的显示器分辨率与所述目标图像数据对应的待显示图像的分辨率之间的关系,采用降低分辨率的方式在所述显示器的注视区域显示所述待显示图像中的注视图像,在所述显示器的非注视区域显示所述待显示图像中的非注视图像;
当所述显示模式为三维显示模式,则根据所述图像显示端的显示器分辨率与所述目标图像数据对应的待显示图像的分辨率之间的关系,采用降低分辨率的方式在所述显示器的注视区域采用融合方式显示左眼图像和右眼图像对应的注视图像,在所述显示器的非注视区域显示所述待显示图像中的非注视图像;
当所述显示模式为立体光场显示模式,则根据所述图像显示端的显示器分辨率与所述目标图像数据对应的待显示图像的分辨率之间的关系,采用降低分辨率的方式在所述显示器的注视区域采用融合方式或者时分复用方式显示多个单元图像对应的注视图像,在所述显示器的非注视区域显示所述待显示图像中的非注视图像。
另一方面,本公开实施例提供一种图像显示系统,包括:图像处理端和图像显示端。所述图像处理端,配置为确定显示模式,根据所述显示模式对应的图像处理方式,对原始图像数据进行处理,得到目标图像数据,并将所述目标图像数据传输给所述图像显示端。其中,所述目标图像数据的分辨率小于或等于所述原始图像数据的分辨率,且所述目标图像数据携带所述显示模式的指示信息。所述图像显示端,配置为接收所述目标图像数据,通过解析所述目标图像数据,确定显示模式,根据所述显示模式对应的扫描显示方式,在图像显示端的显示器上进行图像显示。
另一方面,本公开实施例提供一种终端设备,包括:存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时实现如上所述的图像处理方法。
另一方面,本公开实施例提供一种终端设备,包括:显示器、存储器和处理器;所述显示器与处理器连接,配置为提供显示界面;所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时实现如上所述的图像显示方法。
另一方面,本公开实施例提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的图像处理方法。
另一方面,本公开实施例提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的图像显示方法。
在阅读理解了附图和详细描述后,可以明白其他方面。
附图说明
附图用来提供对本公开技术方案的进一步理解,并且构成说明书的一部分,与本公开的实施例一起用于解释本公开的技术方案,并不构成对本公开技术方案的限制。附图中一个或多个部件的形状和大小不反映真实比例,目的只是示意说明本公开内容。
图1为本公开至少一实施例的图像显示系统的示意图;
图2为本公开至少一实施例的常规显示模式的示意图;
图3为本公开至少一实施例的二维显示模式的单人模式下的一种示意图;
图4为本公开至少一实施例的二维显示模式的单人模式下的另一种示意图;
图5为本公开至少一实施例的二维显示模式的多人模式下的一种示意图;
图6为本公开至少一实施例的三维显示模式的一种示意图;
图7为一种图像显示端的示意图;
图8为本公开至少一实施例的立体光场模式的一种示意图;
图9为本公开至少一实施例的图像处理方法的流程示意图;
图10为本公开至少一实施例的图像显示方法的流程示意图;
图11为本公开至少一实施例的一种终端设备的示意图;
图12为本公开至少一实施例的另一种终端设备的示意图。
具体实施方式
本公开描述了多个实施例,但是该描述是示例性的,而不是限制性的,并且对于本领域的普通技术人员来说显而易见的是,在本公开所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合,并在实施方式中进行了讨论,但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外,任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用,或可以替代任何其它实施例中的任何其他特征或元件。
本公开包括并设想了与本领域普通技术人员已知的特征和元件的组合。本公开已经公开的实施例、特征和元件也可以与任何常规特征或元件组合,以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合,以形成另一个由权利要求限定的独特的发明方案。因此,应当理解,在本公开中示出或讨论的任何特征可以单独地或以任何适当的组合来实现。因此,除了根据所附权利要求及其等同替换所做的限制以外,实施例不受其它限制。此外,可以在所附权利要求的保护范围内进行多种修改和改变。
此外,在描述具有代表性的实施例时,说明书可能已经将方法或过程呈现为特定的步骤序列。然而,在该方法或过程不依赖于本文所述步骤的特定顺序的程度上,该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的,其它的步骤顺序也是可能的。因此,说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外,针对该方法或过程的权利要求不应限于按照所写顺序执行它们的步骤,本领域技术人员可以容易地理解,这些顺序可以变化,并且仍然保持在本公开实施例的精神和范围内。
本公开中的“第一”、“第二”、“第三”等序数词是为了避免构成要素的混同而设置,而不是为了在数量方面上进行限定的。本公开中的“多个”表示两个或两个以上的数量。
本公开实施例提供一种图像处理方法、图像显示方法及图像显示系统,可以提供多种显示模式,以满足用户针对不同场景下的显示需求。而且,可以在保证显示效果的同时减少数据传输量,降低传输压力。
本公开至少一实施例提供一种图像显示系统,包括:图像处理端和图像显示端。图像处理端,配置为确定显示模式,根据所述显示模式对应的图像处理方式,对原始图像数据进行处理,得到目标图像数据,并将目标图像数据传输给图像显示端。其中,目标图像数据的分辨率小于或等于原始图像数据的分辨率,且目标图像数据携带所述显示模式的指示信息。图像显示端,配置为接收目标图像数据,通过解析目标图像数据,确定显示模式,根据所述显示模式对应的扫描显示方式,在图像显示端的显示器上进行图像显示。
本实施例提供的图像显示系统支持根据用户需求,进行显示模式的切换,且图像处理端采用显示模式对应的数据处理方式进行图像处理,图像显示端采用显示模式对应的扫描显示方式进行图像显示,使得每种显示模式都能达到最佳的显示状态,满足用户对不同使用场景的需求。
下面以图像显示系统为虚拟现实系统为例对本实施例的方案进行举例说明。虚拟现实(VR,Virtual Reality)技术是一种可以创建和体验虚拟世界的计算机仿真系统,利用计算机生成一种模拟环境,是一种多源信息融合、交互式的三维动态视景和实体行为的仿真系统。
图1为本公开至少一实施例的图像显示系统的示意图。在一些示例性实施方式中,如图1所示,图像显示系统包括图像处理端和图像显示端。图像处理端可以为具有可编程、可输出图像的处理设备,例如个人计算机(PC,Personal Computer)。图像显示端可以为具有高分辨率和高刷新率的显示设备,例如包括液晶显示器或有机发光二极管(OLED)显示器。图像处理端和图像显示端可以通过有线方式(例如,信号线)或无线方式(例如,WIFI、蓝牙等)连接,以实现两者之间的数据通信。然而,本实施例对此并不限定。
在一些示例中,如图1所示,图像处理端配置为识别出显示模式,根据显示模式对应的图像处理方式,对原始图像数据进行处理,得到目标图像数据,并将目标图像数据传输给图像显示端。其中,目标图像数据携带显示模式的指示信息;例如,显示模式的指示信息可以为模式标签,模式标签可以添加在目标图像数据的数据头。图像显示端接收到目标图像数据后,通过解析目标图像数据,确定显示模式,然后根据显示模式对应的扫描显示方式,在显示器上进行图像显示。其中,图像显示端可以从目标图像数据的数据头解析出显示模式的指示信息,并根据该指示信息确定显示模式,然后采用所述显示模式对应的扫描显示方式进行图像显示。
在一些示例中,图像处理系统设置有多种显示模式,例如包括:常规显示模式、二维显示模式、三维显示模式以及立体光场显示模式。其中,常规显示模式可以适用于普通办公场景,二维显示模式可以适用于游戏场景,三维显示模式可以适用于观影场景,立体光场显示模式可以适用于设计场景。本示例性实施方式通过设计适用于不同场景的多种显示模式,并给每种显示模式匹配对应的图像处理方式和扫描显示方式,可以满足不同使用场景的显示需求,从而提高用户体验。然而,本实施例对于显示模式的种类并不限定。在一些示例中,可以根据实际使用场景的显示需求来设计对应的显示模式。
在一些示例中,图像处理端可以运行显示模式自识别切换服务,通过显示模式自识别切换服务的识别结果来确定符合当前需求的显示模式。例如,根据图像处理端启动的应用信息来识别所属的应用类型,并确定与该应用类型匹配的显示模式。其中,应用信息可以包括以下至少之一:应用开发商的数字签名、应用名称。在一些示例中,在应用首次启动时确定对应的显示模式之后,可以记录该应用与显示模式的对应关系,在该应用再次启动时,可以直接根据记录的对应关系来启动对应的显示模式。或者,在一些示例中,可以根据用户操作来确定显示模式。例如,用户可以在图像处理端的操作界面上手动对显示模式进行选择,从多个显示模式中选取与当前使用场景匹配的显示模式。然而,本实施例对此并不限定。
在一些示例中,图像处理端在确定显示模式之前,会先区分当前使用场景为单人模式还是多人模式。然后,图像处理端在确定显示模式之后,根据显示模式对应的单人模式下的图像处理方式或多人模式下的图像处理方式进行图像处理。然而,本实施例对此并不限定。在一些示例中,在图像处理端确定显示模式之后,会进一步区分当前使用场景为单人模式还是多人模式,然后,根据显示模式对应的单人模式下的图像处理方式或多人模式下的图像处理方式进行图像处理。本示例性实施方式通过区分单人模式和多人模式,并结合显示模式提供不同的图像处理方式,可以在保证每个人的观看效果的前提下减少传输数据,从而保证图像显示效果,提高用户体验。
在一些示例中,在图像显示端通过人脸检测设备检测是否有多个人同时观看显示器,若只检测到一张人脸(即同时观看人数为一个人),则启动单人模式;若检测到多张人脸(即同时观看人数为多个人),则启动多人模式判断。其中,根据每个人的人眼注视参数(例如,每一张人脸的双眼情况)计算出其注视区域,对所有人的注视区域进行分析,若所有人均注视同一注视区域,则启动单人模式,若所有人的注视区域为两个或两个以上,则启动多人模式。本示例性实施例对于根据每个人的人眼注视参数确定注视区域的方式并不限定,本领域技术人员可以采用通用算法来实现,故于此不再赘述。
下面对四种显示模式的图像处理方式和扫描显示方式进行举例说明。
图2为本公开至少一实施例的常规显示模式的示意图。在一些示例性实施方式中,常规显示模式适应于普通办公场景,在普通办公场景下对于显示帧率要求不高,因此,在常规显示模式的单人模式和多人模式下,图像处理端均无需对原始图像数据进行多分辨率渲染(MRS,Multi-Resolution Rendering),可以直接将原始图像数据添加模式标签后,作为目标图像数据传输给图像显示端。其中,原始图像数据的分辨率需要符合人眼视度PPD60的需求。例如,原始图像数据的分辨率至少为4K分辨率,例如分辨率为4096*2160。
在本示例性实施方式中,图像显示端接收到目标图像数据之后,可以根据目标图像数据携带的模式标签,确定当前处于常规显示模式,并在显示器采用与常规显示模式对应的扫描显示方式进行图像显示。常规显示模式对应的扫描显示方式可以包括:根据目标图像数据对应的待显示图像的分辨率与图像显示端的显示器分辨率之间的关系,在显示器显示待显示图像。在本示例中,待显示图像即为原始图像数据对应的原始图像。当原始图像的分辨率与显示器分辨率相同时,直接在显示器显示原始图像;当原始图像的分辨率大于显示器分辨率时,采用降低分辨率的方式在显示器显示原始图像。然而,本实施例对此并不限定。
在一些示例中,如图2(a)所示,原始图像的分辨率为W*H;如图2(b)所示,图像显示端的显示器分辨率为pW*qH,W、H、p、q均为正数。例如,在p=2,q=2时,图像显示端可以采用降低分辨率的方式在显示器上显示原始图像。其中,显示器在显示过程中以两行子像素为一组进行扫描,且相邻两行子像素中同一列子像素的亮度数据相同。
在一些示例性实施方式中,二维显示模式可以适用于游戏场景,在游戏场景下对于显示帧率要求较高,因此,在二维显示模式下,图像处理端采用MRS方式对原始图像数据进行处理,并对处理后的图像数据添加模式标签后,形成目标图像数据,然后将目标图像数据传输给图像显示端。图像显示端接收并解析目标图像数据后,可以确定当前的显示模式,并根据该显示模式对应的扫描显示方式进行图像显示。
图3为本公开至少一实施例的二维显示模式的一种示意图。图3所示为二维显示模式对应的单人模式下的图像处理方式和扫描显示方式。在一些示例中,根据在图像显示端采集到的人眼注视参数,可以将原始图像数据对应的原始图像划分为一个注视区域(例如,以人眼的注视点为中心的高清区域)和多个非注视区域(例如,注视区域周边的区域,这些区域的分辨率可以降低)。如图3(a)所示,原始图像可以按照九宫格形式划分为九个区域。其中,注视区域A为九个区域的中心区域,且注视区A为矩形区域。多个非注视区域包括:位于注视区域A正上方的区域C1、位于注视区域A正下方的区域C2、位于注视区域A正右方的区域B2、位于注视区域A正左方的区域B1、位于注视区域A左上方的区域D1、位于注视区域A左下方的区域D4、位于注视区域A右上方的区域D2、位于注视区域A右下方的区域D3。每个非注视区域可以为矩形。
在一些示例中,如图3(a)和(b)所示,对注视区域A采用原分辨率采样得到注视图像a;对区域B1和B2采用横向分辨率压缩4倍、纵向分辨率保持不变的方式进行采样得到非注视图像b1和b2;对区域C1和C2采用横向分辨率保持不变、纵向分辨率压缩4倍的方式进行采样得到非注视图像c1和c2;对区域D1至D4采用横向分辨率压缩4倍、纵向分辨率压缩4倍的方式进行采样得到非注视图像d1至d4。在一些示例中,如图3(a)所示,原始图像的像素总数为12W*12H,注视图像a的像素总数为4W*4H,非注视图像b1的像素总数为W*4H,非注视图像b2的像素总数为W*4H,非注视图像c1的像素总数为4W*H,非注视图像c2的像素总数为4W*H,非注视图像d1至d4中每个注视图像的像素总数为W*H。图3(b)所示为注视图像和多个非注视图像拼接后的压缩图像。如图3(b)所示,压缩图像的像素总数为6W*6H。相比于原始图像,压缩图像的横向及纵向分辨率都是原始图像分辨率的一半,如此一来,在图像处理端至图像显示端的数据传输过程中可以节省75%的带宽。
在一些示例中,图像显示端接收到目标图像数据之后,通过解析目标图像数据,可以根据目标图像数据携带的模式标签,切换至与二维显示模式对应的扫描显示方式。如图3(c)所示,图像显示端的显示器分辨率为24W*24H,图像显示端可以采用降低分辨率的方式在显示器上进行图像显示。其中,在显示过程中针对显示器的注视区域A和非注视区域B1和B2,以两行子像素为一组进行扫描,且相邻两行子像素中同一列子像素的亮度数据相同;针对显示器的非注视区域C1、C2以及D1至D4,以八行子像素为一组进行扫描,且相邻八行子像素中同一列子像素的亮度数据相同。
图4为本公开至少一实施例的二维显示模式的另一种示意图。图4所示为二维显示模式对应的单人模式的另一种图像处理方式。在一些示例性实施方式中,如图4所示,根据在图像显示端采集到的人眼注视参数,可以将原始图像数据对应的原始图像划分为一个注视区域A和多个非注视区域。多个非注视区域包括:位于注视区域A正左方的区域B1、位于注视区域A正右方的区域B2、位于注视区域A上方的区域C1、位于注视区域A下方的区域C2。注视区域和非注视区域可以均为矩形。
在一些示例中,如图4所示,对注视区域A采用原分辨率采样得到注视图像a;对区域B1、B2、C1和C2均采用横向分辨率压缩2倍、纵向分辨率压缩2倍的方式进行采样,得到非注视图像b1、b2、c1和c2。对注视图像a和非注视图像b1、b2、c1和c2进行排列组合后形成目标图像数据。其中,可以按照先注视图像后非注视图像的顺序进行排列组合。在本示例中,可以将两帧原始图像进行处理后的压缩图像拼接后传输给图像显示端,以达到节约传送带宽的目的。在本示例中,目标图像数据携带图像排布信息,以便于图像显示端通过解析目标图像数据后进行图像还原。在一些示例中,以节约传输带宽为原则进行两帧压缩图像的拼接。然而,本实施例对于压缩图像的拼接方式并不限定。
图5为本公开至少一实施例的二维显示模式的另一种示意图。图5所示为二维显示模式对应的多人模式的一种图像处理方式。在一些示例中,如图5所示,根据在图像显示端采集到的人眼注视参数,可以确定两个注视区域,这两个注视区域存在重叠,通过对这两个注视区域进行组合可以得到非矩形的注视区域A。将原始图像划分为注视区域A和多个非注视区域。多个非注视区域包括:位于注视区域A正左方的区域B1、位于注视区域A正右方的区域B2、位于注视区域A上方的区域C1、位于注视区域A下方的区域C2、位于注视区域A右上角的区域F2、位于注视区域左下角的区域F1。非注视区域均为矩形。在另一些示例中,根据在图像显示端采集到的人眼注视参数,可以确定多个相互独立的注视区域,即注视区域之间没有重叠。然而,本实施例对此并不限定。
在一些示例中,如图5所示,对注视区域A采用原分辨率采样得到注视图像,并对注视图像进行分割得到三个注视子图像g1至g3,三个注视子图像均为矩形。对区域B1、B2、C1、C2、F1和F2均采用横向分辨率压缩2倍、纵向分辨率压缩2倍的方式进行采样,得到非注视图像b1、b2、c1、c2、f1和f2。对注视子图像g1至g3、非注视图像b1、b2、c1、c2、f1和f2进行排列组合,并在重新排布后的图像空白区域添加图像分割排布信息后形成目标图像数据。图像分割排布信息用于图像显示端解压还原待显示图像时使用。其中,图像重排可以按照先排布注视子图像,后排布非注视图像的顺序进行。然而,本实施例对此并不限定。本示例性实施方式可以保证多人观看时的画面质量,并且降低数据传输带宽,保证图像刷新率,从而提高用户体验。
关于图4和图5所示的二维显示模式对应的扫描显示方式可以参照图3所示实施例的描述,故于此不再赘述。
在一些示例性实施方式中,三维显示模式适用于影片观看场景,例如观看3D影片。在三维显示模式下,图像处理端采用MRS方式对原始图像数据进行处理,并对处理后的压缩图像添加模式标签,形成目标图像数据,然后将目标图像数据传输给图像显示端。图像显示端根据三维显示模式对应的扫描显示方式在显示器进行图像显示。
图6为本公开至少一实施例的三维显示模式的示意图。图6所示为三维显示模式对应的单人模式下的图像处理方式和扫描显示方式。在三维显示模式下,原始图像数据包括左(L)眼图像和右(R)眼图像。例如,原始图像数据可以由LR相机拍摄得到的两张图像组成。在一些示例中,根据在图像显示端采集到的人眼注视参数,可以分别对左眼图像和右眼图像进行注视区域和非注视区域的划分。如图6(a)所示,左眼图像和右眼图像的划分方式相同,均按照九宫格形式划分为九个区域,左眼图像的中间区域为注视区域A1,右眼图像的中间区域为注视区域A2,其余区域均为非注视区域。
在一些示例中,如图6(a)和(b)所示,对注视区域A1和A2采用原分辨率采样得到注视图像a1和a2。对左眼图像的非注视区域D1和右眼图像的非注视区域D2采用横向分辨率保持不变、纵向分辨率压缩4倍的方式进行采样得到两个非注视图像,并将两个非注视图像拼接得到非注视图像c;对左眼图像的非注视区域E1和右眼图像的非注视区域E2采用横向分辨率保持不变、纵向分辨率压缩4倍的方式进行采样得到两个非注视图像,并将两个非注视图像拼接得到非注视图像e。对左眼图像的非注视区域B1采用横向分辨率压缩4倍、纵向分辨率保持不变的方式进行采样得到非注视图像b1,对右眼图像的非注视区域C2采用横向分辨率压缩4倍、纵向分辨率保持不变的方式进行采样得到非注视图像c2。对左眼图像的非注视区域F1和H1采用横向分辨率压缩4倍、纵向分辨率压缩4倍的方式进行采样得到非注视图像f1和h1,对右眼图像的非注视区域G2和L2采用横向分辨率压缩4倍、纵向分辨率压缩4倍的方式进行采样得到非注视图像g2和l2。对得到的注视图像和非注视图像进行拼接可以得到如图6(b)所示的图像。如图6(a)和(b)所示,原始图像数据的像素总数为12W*12H*2,注视图像a1和a2的像素总数为4W*4H*2,非注视图像b1和c2中每个非注视图像的像素总数为W*4H,非注视图像c和e中每个非注视图像的像素总数均为4W*H*2,非注视图像f1、h1、g2和l2中每个非注视图像的像素总数为W*H。如图6(b)所示,注视图像和非注视图像拼接后的图像的像素总数为10W*6H。在本示例中,图像处理端至图像显示端的数据传输过程中单帧数据传输可以节省约79.1%的带宽。
在一些示例中,图像显示端接收到目标图像数据之后,通过解析目标图像数据,可以根据目标图像数据携带的模式标签,切换至与三维显示模式对应的扫描显示方式。如图6(c)所示,图像显示端的显示器分辨率为24W*24H,则图像显示端可以采用降低分辨率的方式在显示器上进行图像显示。其中,在显示过程中,针对显示器的注视区域A和非注视区域B和C,以两行子像素为一组进行扫描,且相邻两行子像素中同一列子像素的亮度数据相同;针对显示器的非注视区域D、E、F、G、H以及L,以八行子像素为一组进行扫描,且相邻八行子像素中同一列子像素的亮度数据相同。而且,在注视区域A可以对注视图像a1和a2进行融合显示。本实施例对于注视图像a1和a2的融合方式并不限定。
在一些示例中,在三维显示模式下,图像处理端可以对左眼图像进行MRS处理得到对应的压缩图像,对右眼图像进行MRS处理得到对应的压缩图像,然后将两个压缩图像拼接后传输给图像显示端,由图像显示端通过两个显示器分别进行显示。换言之,在三维显示模式下,左眼图像和右眼图像可以独立处理和显示。然而,本实施例对此并不限定。
在一些示例中,在三维显示模式的多人模式下的图像处理方式中,针对左眼图像和右眼图像的处理方式可以参照二维显示模式的多人模式下的图像处理方式,故于此不再赘述。三维显示模式的多人模式下的扫描显示方式可以与单人模式下的扫描显示方式类似,故于此不再赘述。
在一些示例性实施方式中,立体光场显示模式适用于设计场景。在立体光场显示模式下,图像处理端采用MRS方式对原始图像数据进行处理,并对处理后的压缩图像添加模式标签,形成目标图像数据,然后将目标图像数据传输给图像显示端。图像显示端根据立体光场显示模式对应的扫描显示方式在显示器进行图像显示。
图7为本公开至少一实施例的图像显示端的示意图。在一些示例性实施方式中,如图7所示,图像显示端可以包括一块高分辨率的显示面板11和一个透镜阵列12。在显示面板11上显示的二维图像可以称之为单元图像阵列,经过透镜阵列12的折射,单元图像阵列的不同部分在空间相交,并从不同方向进入观察者的眼睛10,形成立体图像。
图8为本公开至少一实施例的立体光场显示模式的示意图。图8所示为立体光场显示模式对应的单人模式下的图像处理方式和扫描显示方式。在立体光场显示模式下,原始图像数据包括多个单元图像,例如原始图像数据包括由2*2的相机阵列拍摄的四张不同图像。在一些示例中,根据在图像显示端采集到的人眼注视参数,可以分别对多个单元图像进行注视区域和非注视区域的划分。如图8(a)所示,四个单元图像的分辨率相同,且划分方式也相同,均按照九宫格形式划分为九个区域。每个单元图像的中间区域为注视区域,其余区域为非注视区域。注视区域和非注视区域均为矩形。
在一些示例中,如图8(b)所示,对四个单元图像的注视区域(即注视区域A1、A2、A3和A4)采用原分辨率采样得到四个注视图像a1至a4。对第一单元图像M1的非注视区域D1和第二单元图M2的非注视区域D2采用横向分辨率保持不变、纵向分辨率压缩4倍的方式进行采样得到两个非注视图像,并将这两个非注视图像拼接得到非注视图像d1;对第一单元图像M1的非注视区域E1和第二单元图像M2的非注视区域E2采用横向分辨率保持不变、纵向分辨率压缩4倍的方式进行采样得到两个非注视图像,并将这两个非注视图像拼接得到非注视图像e1。对第一单元图像M1的非注视区域B1采用横向分辨率压缩4倍、纵向分辨率保持不变的方式进行采样得到非注视图像b1,对第二单元图像M2的非注视区域C2采用横向分辨率压缩4倍、纵向分辨率保持不变的方式进行采样得到非注视图像c2。对第一单元图像M1的非注视区域F1和H1采用横向分辨率压缩4倍、纵向分辨率压缩4倍的方式进行采样得到非注视图像f1和h1,对第二单元图像M2的非注视区域G2和L2采用横向分辨率压缩4倍、纵向分辨率压缩4倍的方式进行采样得到非注视图像g2和l2。对第一单元图像M1和第二单元图像M2的注视图像和非注视图像进行拼接可以得到如图8(b)所示的压缩图像Q1。同理,对第三单元图像M3和第四单元图像M4的注视图像和非注视图像进行拼接可以得到如图8(b)所示的压缩图像Q2。压缩图像Q1和压缩图像Q2可以通过两帧目标图像数据(例如,奇偶帧)传输给图像显示端。
在一些示例中,如图8(a)所示,原始图像数据的像素总数为12W*12H*4,注视图像a1、a2、a3和a4中每个注视图像的像素总数为4W*4H,非注视图像b1、c2、b3和c4中每个非注视图像的像素总数为W*4H,非注视图像d1、d2、e1和e2中每个非注视图像的像素总数为4W*H*2,非注视图像f1、f3、h1、h3、g2、g4、l2和l4中每个非注视图像的像素总数为W*H。如图8(b)所示,压缩图像Q1和Q2的像素总数分别为10W*6H。即,单帧目标图像数据的像素总数为10W*6H。在本示例中,图像处理端至图像显示端的数据传输过程中单帧数据传输可以节省约89.76%的带宽。
在一些示例中,图像显示端接收到目标图像数据之后,通过解析目标图像数据,可以根据目标图像数据携带的模式标签,切换至与立体光场显示模式对应的扫描显示方式。图8(c)所示为与第一单元图像和第二单元图像对应的显示器,该显示器分辨率为24W*24H,则图像显示端可以采用降低分辨率的方式在显示器上进行图像显示。其中,在显示过程中,针对显示器的注视区域A和非注视区域B和C,以两行子像素为一组进行扫描,且相邻两行子像素中同一列子像素的亮度数据相同;针对显示器的非注视区域D、E、F、G、H和L,以八行子像素为一组进行扫描,且相邻八行子像素中同一列子像素的亮度数据相同。而且,在注视区域A可以对注视图像a1和a2进行融合显示或时分复用显示。本实施例对于注视图像a1和a2的融合方式和时分复用方式并不限定。
在一些示例中,在立体光场显示模式下,针对多个单元图像,图像处理端可以对每个单元图像进行MRS处理得到对应的压缩图像,然后将多个压缩图像拼接后传输给图像显示端,由图像显示端通过多个显示器分别进行显示。换言之,在三维显示模式下,多个单元图像可以独立处理和显示。然而,本实施例对此并不限定。
在一些示例中,在立体光场显示模式的多人模式下的图像处理方式中,针对每个单元图像的处理方式可以参照二维显示模式的多人模式下的图像处理方式,故于此不再赘述。立体光场显示模式的多人模式下的扫描显示方式可以与单人模式下的扫描显示方式类似,故于此不再赘述。
本示例性实施例根据人眼视觉特性需求提供了具有多种显示模式的图像显示系统,通过设置每种显示模式对应的数据处理方式和扫描显示方式,可以在有限带宽的情况下满足不同使用场景的显示需求,保证了显示效果,并降低了传输压力。
图9为本公开至少一实施例提供的图像处理方法的流程图。如图9所示,本公开至少一实施例还提供一种图像处理方法,包括:
S11、确定显示模式;
S12、根据所述显示模式对应的图像处理方式,对原始图像数据进行处理,得到目标图像数据;
S13、将目标图像数据传输给图像显示端,以使图像显示端根据所述显示模式对应的扫描显示方式进行图像显示。
其中,目标图像数据的分辨率小于或等于原始图像数据的分辨率,且目标图像数据携带显示模式的指示信息。
在一些示例性实施方式中,显示模式为以下之一:常规显示模式、二维显示模式、三维显示模式、立体光场显示模式。然而,本实施例对此并不限定。在一些示例中,可以根据实际场景需求来设计对应的显示模式。
在一些示例性实施方式中,确定显示模式,包括以下至少之一:根据运行的应用类型,确定与所述应用类型匹配的显示模式;响应于用户操作,确定所述用户操作所选择的显示模式。在一些示例中,图像处理端可以自动进行显示模式的识别,或者结合用户操作来确认显示模式。然而,本实施例对此并不限定。在一些示例中,可以根据实际应用场景的需求来设置显示模式的识别方式。
在一些示例性实施方式中,对原始图像数据进行处理之前,本实施例的图像处理方法还包括:根据图像显示端的同时观看人数和每个人的人眼注视参数,启动单人模式或多人模式。其中,根据所述显示模式对应的图像处理方式,对原始图像数据进行处理,得到目标图像数据,包括:根据显示模式对应的单人模式或多人模式下的图像处理方式,对原始图像数据进行处理,得到目标图像数据。在本示例性实施方式中,通过结合多人模式判断和显示模式判断,可以给不同使用场景下提供最优的显示效果,以满足用户的不同需求。
在一些示例性实施方式中,根据图像显示端的同时观看人数和每个人的人眼注视参数,启动单人模式或多人模式,包括:当图像显示端的同时观看人数为一个人,或者,图像显示端的同时观看人数为多个人,且多个人的人眼注视参数指示同一注视区域,则启动单人模式;当图像显示端的同时观看人数为多个人,且多个人的人眼注视参数指示至少两个注视区域,则启动多人模式。本示例性实施方式对于根据人眼注视参数确定注视区域的方式并不限定。
在一些示例性实施方式中,显示模式为常规显示模式,根据常规显示模式对应的单人模式或多人模式下的图像处理方式得到的目标图像数据的分辨率与原始图像数据的分辨率相同。本示例性实施方式可以满足普通办公场景的需求。
在一些示例性实施方式中,显示模式为二维显示模式。根据显示模式对应的单人模式或多人模式下的图像处理方式,对原始图像数据进行处理,得到目标图像数据,包括:根据在图像显示端采集到的人眼注视参数,将原始图像数据对应的原始图像划分为至少一个注视区域和多个非注视区域,对所述至少一个注视区域采用原分辨率采样得到至少一个注视图像,对多个非注视区域采用压缩分辨率采样得到对应的多个非注视图像;将所述至少一个注视图像和多个非注视图像进行拼接,得到目标图像数据。本示例性实施方式可以满足游戏场景的需求。
在一些示例性实施方式中,根据显示模式对应的多人模式下的图像处理方式,对原始图像数据进行处理,得到目标图像数据,还包括:对所述至少一个注视图像进行分割,形成多个矩形的注视子图像;将所述多个注视子图像和多个非注视图像重新排布后,得到目标图像数据。在本示例性实施方式中,在二维显示模式下针对多人模式进行图像处理,以满足多人观看需求。
在一些示例性实施方式中,显示模式为三维显示模式,所述原始图像数据包括:左眼图像和右眼图像。根据显示模式对应的单人模式或多人模式下的图像处理方式,对原始图像数据进行处理,得到目标图像数据,包括:根据在图像显示端采集到的人眼注视参数,将所述左眼图像划分为至少一个第一注视区域和多个第一非注视区域,将所述右眼图像划分为至少一个第二注视区域和多个第二非注视区域,对所述至少一个第一注视区域和至少一个第二注视区域采用原分辨率采样得到至少一个第一注视图像和至少一个第二注视图像,对所述多个第一非注视区域和多个第二非注视区域采用压缩分辨率采样得到多个第一非注视图像和多个第二非注视图像;将所述至少一个第一注视图像、至少一个第二注视图像、多个第一非注视图像和多个第二非注视图像进行拼接,得到目标图像数据。本示例性实施方式中可以满足三维观影场景的需求。
在一些示例性实施方式中,显示模式为立体光场显示模式;所述原始图像数据包括:多个单元图像。根据显示模式对应的单人模式或多人模式下的图像处理方式,对原始图像数据进行处理,得到目标图像数据,包括:针对任一单元图像,根据在图像显示端采集到的人眼注视参数,将所述单元图像划分为至少一个注视区域和多个非注视区域,对所述至少一个注视区域采用原分辨率采样得到至少一个注视图像,对所述多个非注视区域采用压缩分辨率采样得到多个非注视图像;将根据多个单元图像得到的多个注视图像和多个非注视图像进行拼接,得到目标图像数据,所述目标图像数据包括多帧图像数据。本示例性实施方式可以满足立体设计场景下的需求。
关于本实施例的图像处理方法的实现过程可以参照前述实施例的说明,故于此不再赘述。
图10为本公开至少一实施例提供的图像显示方法的流程图。如图10所示,本示例性实施方式提供的图像显示方法,包括:
S21、接收目标图像数据;
S22、通过解析目标图像数据,确定显示模式;
S23、根据所述显示模式对应的扫描显示方式,在图像显示端的显示器上进行图像显示。
在一些示例性实施方式中,显示模式为以下之一:常规显示模式、二维显示模式、三维显示模式、立体光场显示模式。
在一些示例性实施方式中,根据所述显示模式对应的扫描显示方式,在图像显示端的显示器上进行图像显示,包括:当显示模式为常规显示模式,则根据所述图像显示端的显示器分辨率和目标图像数据对应的待显示图像的分辨率之间的关系,在所述显示器上显示所述待显示图像;当显示模式为二维显示模式,则根据所述图像显示端的显示器分辨率与待显示图像的分辨率之间的关系,采用降低分辨率的方式在所述显示器的注视区域显示所述待显示图像中的注视图像,在所述显示器的非注视区域显示所述待显示图像中的非注视图像;当显示模式为三维显示模式,则根据所述图像显示端的显示器分辨率与待显示图像的分辨率之间的关系,采用降低分辨率的方式在所述显示器的注视区域采用融合方式显示左眼图像和右眼图像对应的注视图像,在所述显示器的非注视区域显示所述待显示图像中的非注视图像;当显示模式为立体光场显示模式,则根据所述图像显示端的显示器分辨率与待显示图像的分辨率之间的关系,采用降低分辨率的方式在所述显示器的注视区域采用融合方式或者时分复用方式显示多个单元图像对应的注视图像,在所述显示器的非注视区域显示所述待显示图像中的非注视图像。本示例性实施方式可以满足多种使用场景下的显示需求。
关于本实施例的图像显示方法的实现过程可以参照前述实施例的说明,故于此不再赘述。
图11为本公开至少一实施例提供的一种终端设备的示意图。如图11所示,本实施例提供的终端设备(比如,个人计算机等设备),包括:处理器201和存储器202。其中,处理器201和存储器202可以通过总线连接。存储器202适于存储计算机程序,该计算机程序被处理器201执行时实现上述实施例提供的图像处理方法的步骤。
在一些示例中,图11中所示的终端设备的结构并不构成对终端设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者提供不同的部件布置。
在一些示例中,处理器201可以包括但不限于微处理器(MCU,MicrocontrollerUnit)或可编程逻辑器件(FPGA,Field Programmable Gate Array)等的处理装置。存储器202可以存储应用软件的软件程序以及模块,如本实施例中的图像处理方法对应的程序指令或模块,处理器201通过运行存储在存储器202内的软件程序以及模块,从而执行多种功能应用以及数据处理,比如实现本实施例提供的图像处理方法。存储器202可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些示例中,存储器202可包括相对于处理器201远程设置的存储器,这些远程存储器可以通过网络连接至终端设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
图12为本公开至少一实施例提供的另一种终端设备的示意图。如图12所示,本实施例的终端设备(比如,头戴式显示器等设备),包括:处理器301、存储器302以及显示器303。其中,处理器301、存储器302以及显示器303可以通过总线连接。显示器303适于提供显示界面;存储器302适于存储计算机程序,该计算机程序被处理器301执行时实现上述实施例提供的图像显示方法的步骤。
在一些示例中,图12中所示的终端设备的结构并不构成对终端设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者提供不同的部件布置。
在一些示例中,处理器301可以包括但不限于微处理器(MCU,MicrocontrollerUnit)或可编程逻辑器件(FPGA,Field Programmable Gate Array)等的处理装置。存储器302可以存储应用软件的软件程序以及模块,如本实施例中的图像显示方法对应的程序指令或模块,处理器301通过运行存储在存储器302内的软件程序以及模块,从而执行多种功能应用以及数据处理,比如实现本实施例提供的图像显示方法。存储器302可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些示例中,存储器302可包括相对于处理器301远程设置的存储器,这些远程存储器可以通过网络连接至终端设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
在一些示例中,显示器303可以包括显示面板,比如,液晶显示器、有机发光二极管等。示例性地,触控面板可以覆盖在显示面板上,当触控面板检测到在其上或附近的触摸操作后,传输给处理器301以确定触摸事件的类型,随后处理器301根据触摸事件的类型在显示面板上提供相应的视觉输出。示例性地,触控面板和显示面板可以作为两个独立的部件来实现终端设备的输入和输出功能,或者,触控面板和显示面板可以集成在一起来实现输入和输出功能。然而,本实施例对此并不限定。
本公开至少一实施例还提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的图像处理方法。
本公开至少一实施例还提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的图像显示方法。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器,如数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
虽然本公开所揭露的实施方式如上,但所述的内容仅为便于理解本公开而采用的实施方式,并非用以限定本公开。任何本公开所属领域内的技术人员,在不脱离本公开所揭露的精神和范围的前提下,可以在实施的形式及细节上进行任何的修改与变化,但本公开的专利保护范围,仍须以所附的权利要求书所界定的范围为准。
Claims (14)
1.一种图像处理方法,其特征在于,包括:
确定显示模式,根据图像显示端的同时观看人数和每个人的人眼注视参数,启动单人模式或多人模式;
根据所述显示模式对应的单人模式或多人模式下的图像处理方式,对原始图像数据进行处理,得到目标图像数据;所述目标图像数据的分辨率小于或等于所述原始图像数据的分辨率,且所述目标图像数据携带所述显示模式的指示信息;
将所述目标图像数据传输给图像显示端,以使所述图像显示端根据所述显示模式对应的扫描显示方式进行图像显示;
所述显示模式为以下之一:常规显示模式、二维显示模式、三维显示模式、立体光场显示模式。
2.根据权利要求1所述的方法,其特征在于,所述确定显示模式,包括以下至少之一:
根据运行的应用类型,确定与所述应用类型匹配的显示模式;
响应于用户操作,确定所述用户操作所选择的显示模式。
3.根据权利要求1所述的方法,其特征在于,所述根据图像显示端的同时观看人数和每个人的人眼注视参数,启动单人模式或多人模式,包括:
当所述图像显示端的同时观看人数为一个人,或者,所述图像显示端的同时观看人数为多个人,且所述多个人的人眼注视参数指示同一注视区域,则启动单人模式;
当所述图像显示端的同时观看人数为多个人,且所述多个人的人眼注视参数指示至少两个注视区域,则启动多人模式。
4.根据权利要求1所述的方法,其特征在于,所述显示模式为常规显示模式,根据所述常规显示模式对应的单人模式或多人模式下的图像处理方式得到的目标图像数据的分辨率与所述原始图像数据的分辨率相同。
5.根据权利要求1所述的方法,其特征在于,所述显示模式为二维显示模式;
所述根据所述显示模式对应的单人模式或多人模式下的图像处理方式,对原始图像数据进行处理,得到目标图像数据,包括:
根据在所述图像显示端采集到的人眼注视参数,将所述原始图像数据对应的原始图像划分为至少一个注视区域和多个非注视区域,对所述至少一个注视区域采用原分辨率采样得到至少一个注视图像,对所述多个非注视区域采用压缩分辨率采样得到对应的多个非注视图像;
将所述至少一个注视图像和多个非注视图像进行拼接,得到目标图像数据。
6.根据权利要求5所述的方法,其特征在于,所述根据所述显示模式对应的多人模式下的图像处理方式,对原始图像数据进行处理,得到目标图像数据,还包括:
对所述至少一个注视图像进行分割,形成多个矩形的注视子图像;
将所述多个注视子图像和多个非注视图像重新排布后,得到目标图像数据。
7.根据权利要求1所述的方法,其特征在于,所述显示模式为三维显示模式,所述原始图像数据包括:左眼图像和右眼图像;
所述根据所述显示模式对应的单人模式或多人模式下的图像处理方式,对原始图像数据进行处理,得到目标图像数据,包括:
根据在所述图像显示端采集到的人眼注视参数,将所述左眼图像划分为至少一个第一注视区域和多个第一非注视区域,将所述右眼图像划分为至少一个第二注视区域和多个第二非注视区域,对所述至少一个第一注视区域和至少一个第二注视区域采用原分辨率采样得到至少一个第一注视图像和至少一个第二注视图像,对所述多个第一非注视区域和多个第二非注视区域采用压缩分辨率采样得到多个第一非注视图像和多个第二非注视图像;
将所述至少一个第一注视图像、至少一个第二注视图像、多个第一非注视图像和多个第二非注视图像进行拼接,得到目标图像数据。
8.根据权利要求1所述的方法,其特征在于,所述显示模式为立体光场显示模式;所述原始图像数据包括:多个单元图像;
所述根据所述显示模式对应的单人模式或多人模式下的图像处理方式,对原始图像数据进行处理,得到目标图像数据,包括:
针对任一单元图像,根据在所述图像显示端采集到的人眼注视参数,将所述单元图像划分为至少一个注视区域和多个非注视区域,对所述至少一个注视区域采用原分辨率采样得到至少一个注视图像,对所述多个非注视区域采用压缩分辨率采样得到多个非注视图像;
将根据所述多个单元图像得到的多个注视图像和多个非注视图像进行拼接,得到目标图像数据,所述目标图像数据包括多帧图像数据。
9.一种图像显示方法,其特征在于,包括:
接收目标图像数据;
通过解析所述目标图像数据,确定显示模式;
根据所述显示模式对应的扫描显示方式,在图像显示端的显示器上进行图像显示;
所述显示模式为以下之一:常规显示模式、二维显示模式、三维显示模式、立体光场显示模式;
所述根据所述显示模式对应的扫描显示方式,在图像显示端的显示器上进行图像显示,包括:
当所述显示模式为常规显示模式,则根据所述图像显示端的显示器分辨率和所述目标图像数据对应的待显示图像的分辨率之间的关系,在所述显示器上显示所述待显示图像;
当所述显示模式为二维显示模式,则根据所述图像显示端的显示器分辨率与所述目标图像数据对应的待显示图像的分辨率之间的关系,采用降低分辨率的方式在所述显示器的注视区域显示所述待显示图像中的注视图像,在所述显示器的非注视区域显示所述待显示图像中的非注视图像;
当所述显示模式为三维显示模式,则根据所述图像显示端的显示器分辨率与所述目标图像数据对应的待显示图像的分辨率之间的关系,采用降低分辨率的方式在所述显示器的注视区域采用融合方式显示左眼图像和右眼图像对应的注视图像,在所述显示器的非注视区域显示所述待显示图像中的非注视图像;
当所述显示模式为立体光场显示模式,则根据所述图像显示端的显示器分辨率与所述目标图像数据对应的待显示图像的分辨率之间的关系,采用降低分辨率的方式在所述显示器的注视区域采用融合方式或者时分复用方式显示多个单元图像对应的注视图像,在所述显示器的非注视区域显示所述待显示图像中的非注视图像。
10.一种图像显示系统,其特征在于,包括:图像处理端和图像显示端;
所述图像处理端,配置为确定显示模式,根据图像显示端的同时观看人数和每个人的人眼注视参数,启动单人模式或多人模式,根据所述显示模式对应的单人模式或多人模式下的图像处理方式,对原始图像数据进行处理,得到目标图像数据,并将所述目标图像数据传输给所述图像显示端;其中,所述目标图像数据的分辨率小于或等于所述原始图像数据的分辨率,且所述目标图像数据携带所述显示模式的指示信息;所述显示模式为以下之一:常规显示模式、二维显示模式、三维显示模式、立体光场显示模式;
所述图像显示端,配置为接收所述目标图像数据,通过解析所述目标图像数据,确定显示模式,根据所述显示模式对应的扫描显示方式,在图像显示端的显示器上进行图像显示。
11.一种终端设备,其特征在于,包括:存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至8中任一项所述的图像处理方法。
12.一种终端设备,其特征在于,包括:显示器、存储器和处理器;所述显示器与处理器连接,配置为提供显示界面;所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时实现如权利要求9所述的图像显示方法。
13.一种计算机可读存储介质,其特征在于,存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的图像处理方法。
14.一种计算机可读存储介质,其特征在于,存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求9所述的图像显示方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011301129.8A CN114520905B (zh) | 2020-11-19 | 2020-11-19 | 图像处理方法、图像显示方法及图像显示系统 |
US17/359,506 US11800079B2 (en) | 2020-11-19 | 2021-06-26 | Image processing method, image display method and image display system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011301129.8A CN114520905B (zh) | 2020-11-19 | 2020-11-19 | 图像处理方法、图像显示方法及图像显示系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114520905A CN114520905A (zh) | 2022-05-20 |
CN114520905B true CN114520905B (zh) | 2024-04-19 |
Family
ID=81588506
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011301129.8A Active CN114520905B (zh) | 2020-11-19 | 2020-11-19 | 图像处理方法、图像显示方法及图像显示系统 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11800079B2 (zh) |
CN (1) | CN114520905B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007058182A (ja) * | 2005-07-28 | 2007-03-08 | Shinsedai Kk | 画像表示装置、二次元ピクセルデータ配列を生成する方法、及び互換プロセッサ |
JP2012165358A (ja) * | 2011-02-08 | 2012-08-30 | Fujifilm Corp | 立体視画像表示装置 |
CN102789769A (zh) * | 2012-07-05 | 2012-11-21 | 青岛海信电器股份有限公司 | 3d液晶显示驱动方法及3d液晶显示系统 |
CN105635624A (zh) * | 2014-10-27 | 2016-06-01 | 华为技术有限公司 | 视频图像的处理方法、设备及系统 |
CN105847789A (zh) * | 2016-03-31 | 2016-08-10 | 深圳多哚新技术有限责任公司 | 一种基于vr图像的显示屏驱动的方法和装置 |
CN107894666A (zh) * | 2017-10-27 | 2018-04-10 | 杭州光粒科技有限公司 | 一种头戴式多深度立体图像显示系统及显示方法 |
CN110267025A (zh) * | 2019-07-03 | 2019-09-20 | 京东方科技集团股份有限公司 | 虚拟3d显示的渲染方法、装置以及其显示方法、系统 |
CN110383811A (zh) * | 2018-06-29 | 2019-10-25 | 深圳市大疆创新科技有限公司 | 图像处理方法及装置、第一电子设备和图像处理系统 |
CN111192544A (zh) * | 2018-11-14 | 2020-05-22 | 腾讯科技(深圳)有限公司 | 投屏控制方法、装置、计算机可读存储介质和计算机设备 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001043077A1 (fr) * | 1999-12-06 | 2001-06-14 | Fujitsu Limited | Procede et dispositif d'affichage d'images |
KR100828358B1 (ko) * | 2005-06-14 | 2008-05-08 | 삼성전자주식회사 | 영상 디스플레이 모드 전환 방법, 장치, 및 그 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체 |
CN100374907C (zh) * | 2006-01-27 | 2008-03-12 | 张凯明 | 裸眼可视液晶快门光筛立体图像显示装置及其显示方法 |
GB2498954B (en) * | 2012-01-31 | 2015-04-15 | Samsung Electronics Co Ltd | Detecting an object in an image |
EP2950180B1 (en) * | 2013-01-24 | 2020-09-02 | Huawei Device Co., Ltd. | Method for determining screen display mode and terminal device |
KR102192986B1 (ko) * | 2014-05-23 | 2020-12-18 | 삼성전자주식회사 | 영상 디스플레이 장치 및 영상 디스플레이 방법 |
US10656720B1 (en) * | 2015-01-16 | 2020-05-19 | Ultrahaptics IP Two Limited | Mode switching for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments |
KR20210054653A (ko) * | 2019-11-05 | 2021-05-14 | 삼성디스플레이 주식회사 | 3차원 영상을 표시하는 표시 장치 |
WO2021237065A1 (en) * | 2020-05-21 | 2021-11-25 | Looking Glass Factory, Inc. | System and method for holographic image display |
-
2020
- 2020-11-19 CN CN202011301129.8A patent/CN114520905B/zh active Active
-
2021
- 2021-06-26 US US17/359,506 patent/US11800079B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007058182A (ja) * | 2005-07-28 | 2007-03-08 | Shinsedai Kk | 画像表示装置、二次元ピクセルデータ配列を生成する方法、及び互換プロセッサ |
JP2012165358A (ja) * | 2011-02-08 | 2012-08-30 | Fujifilm Corp | 立体視画像表示装置 |
CN102789769A (zh) * | 2012-07-05 | 2012-11-21 | 青岛海信电器股份有限公司 | 3d液晶显示驱动方法及3d液晶显示系统 |
CN105635624A (zh) * | 2014-10-27 | 2016-06-01 | 华为技术有限公司 | 视频图像的处理方法、设备及系统 |
CN105847789A (zh) * | 2016-03-31 | 2016-08-10 | 深圳多哚新技术有限责任公司 | 一种基于vr图像的显示屏驱动的方法和装置 |
CN107894666A (zh) * | 2017-10-27 | 2018-04-10 | 杭州光粒科技有限公司 | 一种头戴式多深度立体图像显示系统及显示方法 |
CN110383811A (zh) * | 2018-06-29 | 2019-10-25 | 深圳市大疆创新科技有限公司 | 图像处理方法及装置、第一电子设备和图像处理系统 |
CN111192544A (zh) * | 2018-11-14 | 2020-05-22 | 腾讯科技(深圳)有限公司 | 投屏控制方法、装置、计算机可读存储介质和计算机设备 |
CN110267025A (zh) * | 2019-07-03 | 2019-09-20 | 京东方科技集团股份有限公司 | 虚拟3d显示的渲染方法、装置以及其显示方法、系统 |
Also Published As
Publication number | Publication date |
---|---|
US20220159230A1 (en) | 2022-05-19 |
CN114520905A (zh) | 2022-05-20 |
US11800079B2 (en) | 2023-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8564647B2 (en) | Color management of autostereoscopic 3D displays | |
TWI683281B (zh) | 用於產生三維影像之方法及裝置 | |
JP5544361B2 (ja) | 三次元ビデオ信号を符号化するための方法及びシステム、三次元ビデオ信号を符号化するための符号器、三次元ビデオ信号を復号するための方法及びシステム、三次元ビデオ信号を復号するための復号器、およびコンピュータ・プログラム | |
TWI357987B (en) | A three-dimension image display device and a displ | |
JP2003111101A (ja) | 立体画像処理方法、装置、およびシステム | |
CN104054123A (zh) | 多个内容项的同时显示 | |
US8723920B1 (en) | Encoding process for multidimensional display | |
JP2012010309A (ja) | 立体視映像表示装置、および立体視映像表示装置の動作方法 | |
KR102174258B1 (ko) | 무안경 3d 디스플레이 장치 및 그 제어 방법 | |
KR20120075829A (ko) | 적응적 부화소 렌더링 장치 및 방법 | |
TW201004313A (en) | Video signal with depth information | |
US11601637B2 (en) | Multifocal display devices and methods | |
US10466543B2 (en) | Pixel geometries for spatially multiplexed stereo 3D displays | |
CN114520905B (zh) | 图像处理方法、图像显示方法及图像显示系统 | |
US20110187835A1 (en) | Apparatus for compensating 3d image in projector and method thereof | |
CN107767412A (zh) | 一种图像处理方法及装置 | |
US20130088485A1 (en) | Method of storing or transmitting auto-stereoscopic images | |
CN114466174B (zh) | 一种多视点3d图像编码方法、设备、系统和存储介质 | |
Jumisko-Pyykkö et al. | Subjective evaluation of mobile 3D video content: depth range versus compression artifacts | |
US9681115B2 (en) | In-painting method for 3D stereoscopic views generation using left and right images and a depth map | |
EP2549760A2 (en) | Method for improving three-dimensional display quality | |
KR101567710B1 (ko) | 특수 안경을 착용한 관찰자만 정보를 볼 수 있는 디스플레이 시스템 | |
CN116996658A (zh) | 图像显示方法、系统、设备及存储介质 | |
CN103002296A (zh) | 立体影像显示方法及立体影像显示系统 | |
Didier et al. | How to ensure a good depth perception on a light field display |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |