CN107945138B

CN107945138B - 一种图片处理方法和装置

Info

Publication number: CN107945138B
Application number: CN201711298687.1A
Authority: CN
Inventors: 高博; 李越; 史天阔; 李亚飞; 孙伟; 姬治华; 刘金星; 薛子姣; 陈相逸
Original assignee: BOE Technology Group Co Ltd; Beijing BOE Optoelectronics Technology Co Ltd
Current assignee: BOE Technology Group Co Ltd; Beijing BOE Optoelectronics Technology Co Ltd
Priority date: 2017-12-08
Filing date: 2017-12-08
Publication date: 2020-04-03
Anticipated expiration: 2037-12-08
Also published as: WO2019109699A1; US20210366083A1; CN107945138A; US11615509B2

Abstract

本发明提供了一种图片处理方法和装置，包括：集成电路芯片IC接收图形处理器GPU发送的待处理图片；所述IC对待处理图片进行预处理；所述IC对预处理后的图片进行反畸变处理；所述IC输出反畸变处理后的图片，以进行显示，从而解决了目前反畸变处理效率低的问题。

Description

一种图片处理方法和装置

技术领域

本发明涉及图片处理领域，特别是涉及一种图片处理方法和装置。

背景技术

在目前的虚拟现实VR设备中，由于光学透镜的存在，需对输出图像进行反畸变处理(Counter-Distortion)，该工作通常由图形处理器(Graphics Processing Unit，GPU)进行。GPU进行反畸变不可避免的会造成延时，在一般应用时该延时不会影响视觉体验，但是随着VR设备的发展，对设备的快速响应性提出了越来越高的要求，该延时不可避免的会影响用户体验。

此外，VR设备的显示屏幕的分辨率越来越高，GPU需要处理的数据越来越多，对GPU的性能以及功耗都提出了越来越高的要求，如何降低甚至消除GPU在反畸变方面的压力显得非常重要。

发明内容

本发明提供了一种图片处理方法和装置，以解决目前反畸变处理效率低的问题。

为了解决上述问题，本发明公开了一种图片处理方法，包括：

集成电路芯片IC接收图形处理器GPU发送的待处理图片；

所述IC对待处理图片进行预处理；

所述IC对预处理后的图片进行反畸变处理；

所述IC输出反畸变处理后的图片，以进行显示。

可选的，所述IC接收图形处理器GPU发送的待处理图片，包括：

所述IC接收所述GPU发送的高清待处理图片及其数据地址，并将该高清待处理图片及其数据地址进行存储；

所述IC接收GPU发送的低清待处理图片。

可选的，所述IC对待处理图片进行预处理，包括：

对所述低清待处理图片进行放大处理；

根据所述数据地址识别所述高清待处理图片的待处理区域；

对所述待处理区域进行低清处理；

将经低清处理后的高清待处理图片与放大处理后的低清待处理图片进行融合。

可选的，所述经低清处理后的高清待处理图片呈椭圆形或圆形。

可选的，所述对待处理区域进行低清处理，包括：

提取待处理区域中单元区域的一个像素；

将所述像素在所述单元区域内进行复制，以替代所述单元区域。

可选的，将经低清处理后的高清待处理图片与放大处理后的低清待处理图片进行融合，包括：

将经低清处理后的高清待处理图片设置在所述放大处理后的低清待处理图片的中央位置，进行融合；或者，

将经低清处理后的高清待处理图片设置在所述放大处理后的低清待处理图片的人眼追踪位置，进行融合。

可选的，所述IC接收GPU发送的待处理图片，包括：

所述IC接收GPU发送的待处理图片，所述待处理图片中包含高清区域和经压缩处理后的边缘低清区域。

可选的，所述IC对待处理图片进行预处理，包括：

对待处理图片的边缘低清区域进行放大处理。

可选的，在所述IC对预处理后的图片进行反畸变处理之后，还包括：

在所述反畸变处理后的图片中，对所述边缘低清区域对应的指定区域，按照预设指数，进行纵向降采样处理；

所述IC输出反畸变处理后的图片，包括：

所述IC输出纵向降采样处理后的图片，以进行显示。

可选的，所述方法还包括：

在显示所述IC输出的纵向降采样处理后的图片时，控制GOA单元根据所述预设指数对所述指定区域多行同开。

为了解决上述问题，本发明还公开了一种图片处理装置，所述装置设置在IC中，所述装置包括：

图像接收模块，用于接收图形处理器GPU发送的待处理图片；

预处理模块，用于对待处理图片进行预处理；

反畸变模块，用于将预处理后的图片进行反畸变处理；

输出模块，用于输出所述反畸变模块处理后的图片，以进行显示。

可选的，图像接收模块用于接收所述GPU发送的高清待处理图片及其数据地址，并将该高清待处理图片及其数据地址进行存储；

接收所述GPU发送的低清待处理图片。

可选的，所述预处理模块包括：

放大单元，用于对所述低清待处理图片进行放大处理；

识别单元，用于根据所述数据地址识别所述高清待处理图片的待处理区域；

低清处理单元，用于对所述待处理区域进行低清处理；

融合单元，用于将经低清处理后的高清待处理图片与放大处理后的低清待处理图片进行融合，其中，所述经低清处理后的高清待处理图片呈椭圆形或圆形。

可选的，所述低清处理单元用于提取待处理区域中单元区域的一个像素；将所述像素在所述单元区域内进行复制，以替代所述单元区域。

可选的，融合单元，用于将经低清处理后的高清待处理图片设置在所述放大处理后的低清待处理图片的中央位置，进行融合；或者，将经低清处理后的高清待处理图片设置在所述放大处理后的低清待处理图片的人眼追踪位置，进行融合。

与现有技术相比，本发明包括以下优点：

首先，本发明IC对GPU发送的待处理图片进行预处理，并且使用IC对预处理后的图片进行反畸变处理，IC输出反畸变处理后的图片，并进行显示，由于反畸变处理在IC中完成，有效降低了GPU的工作量，同时也提高了反畸变处理的效率。

其次，本发明待处理图片分为高清待处理图片和低清待处理图片，并且GPU将高清待处理图片和低清待处理图片分别传输到IC中进行融合，有效降低了数据传输带宽和传输功耗。

当然，实施本申请的任一产品不一定需要同时达到以上所述的所有优点。

附图说明

图1是本发明实施例一所述一种图片处理方法的流程图；

图2-a是本发明低清待处理图片的示意图；

图2-b是本发明对低清待处理图片进行放大处理的示意图；

图3是本发明将高清待处理图片处理成椭圆形的示意图；

图4-a是本发明待处理区域中的单元区域的像素分布示意图；

图4-b是本发明单元区域进行像素复制的示意图；

图5是本发明在中央位置进行融合的示意图；

图6是本发明根据人眼追踪的位置进行融合的示意图；

图7是本发明实施例二所述一种图片处理方法的流程图；

图8-a是本发明待处理图片的示意图；

图8-b是本发明对边缘低清区域进行放大处理后的示意图；

图8-c是本发明对边缘低清区域进行纵向降采样后的示意图；

图9-a是本发明对边缘低清区域像素分布进行纵向降采样后的示意图；

图9-b是本发明对边缘低清区域进行多行同开的示意图；

图10是本发明实施例三所述一种图片处理装置的结构框图；

图11是本发明实施例三所述一种图片处理装置的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例一

参照图1，其示出了本发明实施例一所述一种图片处理方法的流程图，具体包括：

步骤101：集成电路芯片IC接收图形处理器GPU发送的待处理图片。

GPU发送的待处理图片包括高清待处理图片和低清待处理图片，IC将接收所述GPU发送的高清待处理图片及其数据地址，并将该高清待处理图片及其数据地址进行存储。

在实际应用中，可以将高清待处理图片及其数据地址存储在IC的RAM，也可以存储其他位置，对此本发明不做具体限制。

所述IC接收GPU发送的低清待处理图片。

步骤102：所述IC对待处理图片进行预处理。

可选的，所述IC对待处理图片进行预处理，包括：

步骤1021：对所述低清待处理图片进行放大处理。

IC可以根据显示屏的分辨率对低清待处理图片进行放大处理，同时对待处理图片进行横向和纵向放大处理，也可以只进行横向放大处理或者纵向放大处理。

例如：低清待处理图片如图2-a所示，将图2-a中的低清待处理图片的横向和纵向均进行4倍放大处理，放大处理后的图片如图2-b所示，实际上是将低清待处理图片的一个像素复制为16个像素，而不进行插值放大，这样可以减少IC所占用的资源。

步骤1022：根据所述数据地址识别所述高清待处理图片的待处理区域。

该待处理区域具体可以是高清待处理图片中的边缘区域。

由于高清待处理图片存储于RAM之中，因此可以根据数据地址判断是否需要对高清待处理图片的待处理区域进行低清处理。该数据地址并非是在RAM中的存储地址，而是表明各像素在高清图片中的位置的数据，由于高清待处理图片的中心位置是根据眼球追踪确定的，高清待处理图片的大小是确定的，因此可以确定高清待处理图片中的边缘区域，由于数据在RAM中存储时是顺序存储的，因此可以判断高清待处理图片的待处理区域的位置，在RAM中确定待处理区域位置的方法可以采用现有方法确定，在此不再赘述。

步骤1023：对所述待处理区域进行低清处理。

由于之前高清待处理图片是方形的，考虑到人眼的视觉特性，在横轴上人眼的视野范围更宽广，因此可以将高清待处理图片处理成椭圆形或者圆形，如图3所示，其中，图3中的a区域为待处理区域，该待处理区域包括多个单元区域，图3中的b区域为经低清处理后的高清待处理图片。

在实际应用中，采用如下方法对待处理区域进行低清处理：

提取待处理区域中单元区域的一个像素。

将该像素在所述单元区域内进行复制，以替代所述单元区域。

该待处理区域包括多个单元区域，一个单元区域可以包含多个像素。例如：16个像素，对待处理区域中的各单元区域的处理均可以采用图4-a至图4-b所示的方式。

例如：以图3中的a区域中的待处理区域中的单元区域为例，说明对待处理区域进行低清处理的过程。

图4-a为单元区域中的像素分布，其中，单元区域为16个像素，分别为1-16，然后将该单元区域按照每16个像素只保留一个像素，例如：只保留像素1，将该像素1在单元区域内进行复制，得到图4-b，然后用图4-b替代单元区域。

需要说明的是，该示例是以保留1为例，进行说明，实际操作中也可以保留2-16中任意一个，然后在进行像素的复制，从而对待处理区域的低清处理，也就是说通过像素复制的方式降低了待处理区域的像素。

步骤1024：将经低清处理后的高清待处理图片与放大处理后的低清待处理图片进行融合。

在实际应用中，采用如下方法将经低清处理后的高清待处理图片与放大处理后的低清待处理图片进行融合：

将经低清处理后的高清待处理图片设置在所述放大处理后的低清待处理图片的中央位置，进行融合。

一般情况下，用户注视点在图片的中间，因此可以采用将经低清处理后的高清待处理图片设置在所述放大处理后的低清待处理图片的中央位置，进行融合，如图5所示。

或者，

在实际应用中，还可以根据人眼追踪位置进行融合，如图6所示，其中，人眼追踪的位置在如图6中A所示的位置，因此将经低清处理后的高清待处理图片设置在所述放大处理后的低清待处理图片的人眼追踪位置，进行融合。通过在人眼注视点进行高清显示，非注视区进行低清显示。此方式不仅可以满足人眼视觉需求，还减少了图片数据，降低了传输和处理图片所需功耗。

步骤103：所述IC对预处理后的图片进行反畸变处理。

在实际应用中，可以采用如下方法对预处理后的图片进行反畸变处理：

一种方式是：采用多项式拟合的方式对处理后的图片进行反畸变处理。

另一种方式是：采用网格方法对处理后的图片进行反畸变处理。

步骤104：所述IC输出反畸变处理后的图片，以进行显示。

在实际应用中，IC可以直接输出反畸变处理后的图片，通过显示面板进行显示，也可以将IC输出反畸变处理后的图片输出给图像处理BV3模块，该BV3模块对反畸变处理后的图片进行处理，然后将处理后的图片在显示面板进行显示。

本实施例，首先，IC对GPU发送的待处理图片进行预处理，并且使用IC对预处理后的图片进行反畸变处理，IC输出反畸变处理后的图片，并进行显示，由于反畸变处理在IC中完成，有效降低了GPU的工作量，同时也提高了反畸变处理的效率。

其次，本发明待处理图片分为高清待处理图片和低清待处理图片，并且GPU将高清待处理图片和低清待处理图片传输到IC中进行融合，有效降低了数据传输带宽和传输功耗。

实施例二

参照图7，其示出了本发明实施例二所述一种图片处理方法的流程图，具体包括：

步骤701：集成电路芯片IC接收图形处理器GPU发送的待处理图片。

所述IC接收GPU发送的待处理图片，该待处理图片中包含高清区域和经压缩处理后的边缘低清区域。

步骤702：所述IC对待处理图片进行预处理。

所述IC对待处理图片进行预处理，包括：对待处理图片的边缘低清区域进行放大处理。

由于边缘低清区域是进行过压缩处理的，因此需要对边缘的低清区域进行放大处理，在实际应用中，IC可以根据边缘压缩的比例进行放大处理，IC也可以根据显示屏的分辨率对边缘低清区域进行放大处理，可以同时对边缘低清区域进行横向和纵向放大处理，也可以只进行横向放大处理或者纵向放大处理。

例如：待处理图片为2K*2K的图片，如图8-a所示，其中，A区域、F区域、C区域均为非高清区，B区域为高清区。其中，F区域包括的F1区域、F2区域、F3区域和F4区域是按照横向和纵向进行1/4进行压缩的，而A区域包括的A1区域和A2区域是按照纵向1/4进行压缩的，而C区域包括：C1区域和C2区域是按照横向1/4进行压缩的。由于之前A区域、F区域、C区域和B区域按照前述方式进行压缩，因此可以采用该方式进行对待处理图片的边缘低清区域进行放大处理，放大后的预处理的图片为4K*4K的图片，如图8-b所示。

步骤703：所述IC对预处理后的图片进行反畸变处理。

步骤704：在反畸变处理后的图片中，对所述边缘低清区域对应的指定区域，按照预设指数，进行纵向降采样处理。

步骤705：所述IC输出纵向降采样处理后的图片，以进行显示。

步骤706：在显示所述IC输出的纵向降采样处理后的图片时，控制GOA单元根据所述预设指数对所述指定区域多行同开。

例如：将图8-b所示图片进行步骤703后，对非高清区域进行纵向1/4降采样，得到图8-c所示的2K*4K的图片。

图8-c所示的2K*4K的图片中，F1区域、F2区域、F3区域和F4区域、A1区域、A2区域、C1区域和C2区域均为边缘低清区域，而B区域为高清区域，因此需要对边缘低清区域的指定区域进行多行同开，而对高清区域则进行单独开启。

以图8-c中的第一行为例，说明对所述边缘低清区域对应的指定区域，按照预设指数，进行纵向降采样处理的方式。如第一行中的图片中像素为16个像素，从1-16，如图4-a所示，采用每4行只保留1行数据的方式，进行纵向降采样处理后，则得到图9-a，对第一行进行4行同开，即控制GOA电路对相邻4行开关同时打开，向4行像素同时充电，此时4行像素显示数据相同，显示效果如图9-b所示。对图8-c中的第三行同样采用第一行的处理方式，而对高清区进行单行开启，经过上述处理从而实现了2K*2K的图片到4K*2K的图片显示。

本实施例，IC对GPU发送的待处理图片进行预处理，并且使用IC对预处理后的图片进行反畸变处理，IC输出反畸变处理后的图片，并进行显示，由于反畸变处理在IC中完成，有效降低了GPU的工作量，同时也提高了反畸变处理的效率。

需要说明的是，对于前述的方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明所必需的。

基于上述方法实施例的说明，本发明还提供了相应的装置实施例，来实现上述方法实施例所述的内容。

实施例三

参照图10，其示出了本发明实施例三所述一种图片处理装置的结构图，所述装置设置在IC中，具体包括：

图形接收模块1001，用于接收图形处理器GPU发送的待处理图片。

预处理模块1002，用于对待处理图片进行预处理。

反畸变模块1003，用于将预处理后的图片进行反畸变处理。

输出模块1004，用于输出所述反畸变模块处理后的图片，以进行显示。

可选的，图像接收模块用于接收所述GPU发送的高清待处理图片及其数据地址，并将该高清待处理图片及其数据地址进行存储。接收GPU发送的低清待处理图片。

可选的，所述预处理模块，包括：

放大单元，用于对所述低清待处理图片进行放大处理；

低清处理单元，用于对所述待处理区域进行低清处理；

低清处理单元用于提取待处理区域中单元区域的一个像素。将该像素在所述单元区域内进行复制，以替代所述单元区域。

实施例四

参照图11，其示出了本发明实施例四所述一种图片处理装置的结构图，所述装置设置在IC中，具体包括：

图形接收模块1101，用于接收图形处理器GPU发送的待处理图片。

预处理模块1102，用于对待处理图片进行预处理。

反畸变模块1103，用于将预处理后的图片进行反畸变处理。

输出模块1104，用于输出所述反畸变模块处理后的图片，以进行显示。

可选的，所述图形接收模块用于接收GPU发送的待处理图片，所述待处理图片中包含高清区域和经压缩处理后的边缘低清区域。

可选的，预处理模块用于对待处理图片的边缘低清区域进行放大处理。

可选的，所述装置还包括：降采样模块1105，用于在所述反畸变处理后的图片中，对所述边缘低清区域对应的指定区域，按照预设指数，进行纵向降采样处理。

输出模块还用于所述IC输出纵向降采样处理后的图片，以进行显示。

可选的，所述装置还包括：GOA单元1106，在显示所述IC输出的纵向降采样处理后的图片时，控制所述GOA单元根据所述预设指数对所述指定区域多行同开。

对于上述装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域技术人员易于想到的是：上述各个实施例的任意组合应用都是可行的，故上述各个实施例之间的任意组合都是本发明的实施方案，但是由于篇幅限制，本说明书在此就不一一详述了。

在本发明中，“组件”、“装置”、“系统”等等指应用于计算机的相关实体，如硬件、硬件和软件的组合、软件或执行中的软件等。详细地说，例如，组件可以、但不限于是运行于处理器的过程、处理器、对象、可执行组件、执行线程、程序和/或计算机。还有，运行于服务器上的应用程序或脚本程序、服务器都可以是组件。一个或多个组件可在执行的过程和/或线程中，并且组件可以在一台计算机上本地化和/或分布在两台或多台计算机之间，并可以由各种计算机可读介质运行。组件还可以根据具有一个或多个数据包的信号，例如，来自一个与本地系统、分布式系统中另一组件交互的，和/或在因特网的网络通过信号与其它系统交互的数据的信号通过本地和/或远程过程来进行通信。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

而且，上文中的“和/或”表示本文既包含了“和”的关系，也包含了“或”的关系，其中：如果方案A与方案B是“和”的关系，则表示某实施例中可以同时包括方案A和方案B；如果方案A与方案B是“或”的关系，则表示某实施例中可以单独包括方案A，或者单独包括方案B。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

以上对本发明所提供的一种图片处理方法和装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种图片处理方法，其特征在于，包括：

集成电路芯片IC接收图形处理器GPU发送的待处理图片，包括：

所述IC接收GPU发送的低清待处理图片；

所述IC对待处理图片进行预处理；

所述IC对预处理后的图片进行反畸变处理；

所述IC输出反畸变处理后的图片，以进行显示；

所述IC对待处理图片进行预处理，包括：

对所述低清待处理图片进行放大处理；

根据所述数据地址识别所述高清待处理图片的待处理区域；

对所述待处理区域进行低清处理；

2.根据权利要求1所述的方法，其特征在于，所述经低清处理后的高清待处理图片呈椭圆形或圆形。

3.根据权利要求1所述的方法，其特征在于，所述对待处理区域进行低清处理，包括：

提取待处理区域中单元区域的一个像素；

4.根据权利要求1所述的方法，其特征在于，将经低清处理后的高清待处理图片与放大处理后的低清待处理图片进行融合，包括：

5.根据权利要求1所述的方法，其特征在于，所述IC接收GPU发送的待处理图片，包括：

6.根据权利要求5所述的方法，其特征在于，所述IC对待处理图片进行预处理，包括：

对待处理图片的边缘低清区域进行放大处理。

7.根据权利要求6所述的方法，其特征在于，在所述IC对预处理后的图片进行反畸变处理之后，还包括：

所述IC输出反畸变处理后的图片，包括：

所述IC输出纵向降采样处理后的图片，以进行显示。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

9.一种图片处理装置，其特征在于，所述装置设置在IC中，所述装置包括：

图像接收模块，用于接收图形处理器GPU发送的待处理图片；

所述图像接收模块用于接收所述GPU发送的高清待处理图片及其数据地址，并将该高清待处理图片及其数据地址进行存储；接收所述GPU发送的低清待处理图片；

预处理模块，用于对待处理图片进行预处理；

反畸变模块，用于将预处理后的图片进行反畸变处理；

输出模块，用于输出所述反畸变模块处理后的图片，以进行显示；

所述预处理模块包括：

放大单元，用于对所述低清待处理图片进行放大处理；

低清处理单元，用于对所述待处理区域进行低清处理；

10.根据权利要求9所述的装置，其特征在于，所述低清处理单元用于提取待处理区域中单元区域的一个像素；将所述像素在所述单元区域内进行复制，以替代所述单元区域。

11.根据权利要求9所述的装置，其特征在于，融合单元，用于将经低清处理后的高清待处理图片设置在所述放大处理后的低清待处理图片的中央位置，进行融合；或者，将经低清处理后的高清待处理图片设置在所述放大处理后的低清待处理图片的人眼追踪位置，进行融合。