CN114078102A - 图像处理装置和虚拟现实设备 - Google Patents

Abstract

本申请涉及图像处理技术领域，公开了一种图像处理装置，包括：图像预处理单元，被配置为对待处理图像进行预处理以得到预处理图像，以及输出待处理图像和预处理图像中至少之一；图像融合单元，被配置为基于透明度对来自AP和图像预处理单元中至少之一的至少两个图像进行图像融合，以得到融合图像。本申请提供的图像处理装置，由独立于中央处理器的图像融合单元进行图像融合处理，提高了图像融合处理的速度，能够尽量避免中央处理器进行图像融合处理时所导致的时延问题。本申请还公开了一种虚拟现实设备。

Description

图像处理装置和虚拟现实设备

技术领域

本申请涉及图像处理技术领域，例如涉及一种图像处理装置和虚拟现实设备。

背景技术

在进行图像融合(Image Fusion)处理时，待融合的图像都要先发送到中央处理器CPU，中央处理器对图像进行融合处理，将进行融合处理后的图像发送到显示单元，显示单元显示经过中央处理器进行融合处理后的图像。

在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：当图像需要进行融合处理时，都是中央处理器对图像进行融合处理，同时，中央处理器还需要对其他数据进行处理，使得中央处理器处理的数据量过大，从而不能及时对图像进行融合处理，最终导致融合后的图像在显示时产生时延，从而降低了用户体验。

发明内容

为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。该概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。

本公开实施例提供了一种图像处理装置和虚拟现实设备，以尽量避免中央处理器进行图像融合处理时所导致的时延问题。

本公开实施例提供的图像处理装置，包括：

图像预处理单元，被配置为对待处理图像进行预处理以得到预处理图像，以及输出待处理图像和预处理图像中至少之一；

图像融合单元，被配置为基于透明度对来自应用处理器(AP)和图像预处理单元中至少之一的至少两个图像进行图像融合，以得到融合图像。

在一些实施例中，图像预处理单元，可以包括：

接收单元，被配置为接收待处理图像；

第一处理单元，被配置为对待处理图像进行预处理，以得到预处理图像；

第一输出单元，被配置为向图像融合单元输出预处理图像；

至少一个第二输出单元，被配置为向AP输出待处理图像和预处理图像中至少之一。

在一些实施例中，图像预处理单元，还可以包括：缓存单元，被配置为缓存待处理图像。

在一些实施例中，缓存单元，可以包括：

接收单元的输入寄存器，以及第一处理单元的接收寄存器中至少之一。

在一些实施例中，第一处理单元，可以被配置为通过以下方式中至少之一对待处理图像进行预处理：

以像素为单位对待处理图像进行预处理；

以行或列为单位对待处理图像进行预处理。

在一些实施例中，待处理图像和预处理图像可以均为完整图像。

在一些实施例中，图像处理装置还可以包括：图像获取单元，被配置为获得待处理图像。

在一些实施例中，图像融合单元，可以被配置为基于如下内容进行图像融合：

图像透明度，或

图像透明度和景深信息。

在一些实施例中，待处理图像可以包括至少两个原始图像；

图像融合单元，可以被配置为对至少两个原始图像进行图像融合。

在一些实施例中，原始图像可以包括原始随动图像和原始参考图像中的至少一种。

在一些实施例中，图像处理装置还可以包括AP，被配置为：

获得增强图像；或

获得增强化现实图像、虚拟随动图像和虚拟参考图像中至少两种。

在一些实施例中，增强图像可以包括虚拟图像和增强化现实图像中至少之一。

在一些实施例中，虚拟图像可以包括虚拟随动图像和虚拟参考图像中至少之一。

在一些实施例中，待处理图像可以包括原始图像；应用处理器，可以被配置为获得增强图像；图像融合单元，可以被配置为对原始图像和增强图像进行图像融合。可选地，应用处理器，可以被配置为获得增强化现实图像、虚拟随动图像和虚拟参考图像中的至少两种；图像融合单元，可以被配置为对增强化现实图像、虚拟随动图像和虚拟参考图像中的至少两种进行图像融合。

在一些实施例中，图像融合单元，还可以被配置为：对接收到的原始图像进行处理，以得到局部图像。

在一些实施例中，图像融合单元，可以被配置为：根据原始图像的方位角信息确定原始图像的显示区域，以得到显示区域中的局部图像。

在一些实施例中，图像处理装置还可以包括初始化单元，被配置为：对图像处理装置中的单元进行参数配置。

在一些实施例中，图像处理装置能够与显示器件通信，可以被配置为：将图像预处理单元、图像融合单元中至少之一所得到的图像发送给显示器件用于显示。

在一些实施例中，图像处理装置可以设置于芯片。

在一些实施例中，图像处理装置可以设置于专用芯片。

本申请提供的虚拟现实设备，包括：显示器件，以及上述的图像处理装置。

在一些实施例中，显示器件能够进行2D显示，或3D显示。

本公开实施例提供的图像处理装置和虚拟现实设备，可以实现以下技术效果：

由独立于中央处理器的图像融合单元进行图像融合处理，提高了图像融合处理的速度，能够尽量避免中央处理器进行图像融合处理时所导致的时延问题。

以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。

附图说明

至少一个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：

图1是本公开实施例提供的图像处理装置的结构示意图；

图2是本公开实施例提供的图像预处理单元的结构示意图；

图3是本公开实施例提供的图像预处理单元的另一结构示意图；

图4是本公开实施例提供的缓存单元的结构示意图；

图5是本公开实施例提供的图像处理装置的另一结构示意图；

图6是本公开实施例提供的图像处理装置的另一结构示意图；

图7是本公开实施例提供的图像处理装置的另一结构示意图；

图8是本公开实施例提供的图像处理装置的另一结构示意图；

图9是本公开实施例提供的图像处理装置的设置原理图；

图10是本公开实施例提供的图像处理装置的另一设置原理图；

图11是本公开实施例提供的虚拟现实设备的结构示意图。

附图标记：

100：图像处理装置；101：图像预处理单元；103：图像融合单元；105：接收单元；1051：输入寄存器；107：第一处理单元；1071：接收寄存器；109：第一输出单元；111：第二输出单元；113：缓存单元；115：图像获取单元；117：AP；119：初始化单元；121：显示器件；200：芯片；300：专用芯片；400：虚拟现实设备。

具体实施方式

为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，至少一个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。

参见图1，本公开实施例提供了一种图像处理装置100，包括：

图像预处理单元101，被配置为对待处理图像进行预处理以得到预处理图像，以及输出待处理图像和预处理图像中至少之一；

图像融合单元103，被配置为基于透明度对来自AP 117和图像预处理单元101中至少之一的至少两个图像进行图像融合，以得到融合图像。

这样，可以由独立于中央处理器的图像融合单元103进行图像融合处理，提高了图像融合处理的速度，能够尽量避免中央处理器进行图像融合处理时所导致的时延问题。

参见图2，在一些实施例中，图像预处理单元101，可以包括：

接收单元105，被配置为接收待处理图像；

第一处理单元107，被配置为对待处理图像进行预处理，以得到预处理图像；

第一输出单元109，被配置为向图像融合单元103输出预处理图像；

至少一个第二输出单元111，被配置为向AP 117输出待处理图像和预处理图像中至少之一。

图2中示出了一个第二输出单元111。可选地，第二输出单元111的数量也可以为两个或两个以上。

在一些实施例中，第一输出单元109、第二输出单元111可以是能够实现数据传输的通信接口。

在一些实施例中，第一处理单元107可以对待处理图像进行视觉处理，例如：色彩增强处理。可选地，第一处理单元107也可以对待处理图像进行透传处理，以作为传输通路直接传输待处理图像。

参见图3，在一些实施例中，图像预处理单元101，还可以包括：缓存单元113，被配置为缓存待处理图像。可选地，接收单元105、第一输出单元109、第二输出单元111可以获得缓存单元113所缓存的待处理图像。

参见图4，在一些实施例中，缓存单元113，可以包括：

接收单元105的输入寄存器1051，以及第一处理单元107的接收寄存器1071中至少之一。

在一些实施例中，缓存单元113可以独立于接收单元105以及第一处理单元107，且可以将接收单元105的输入寄存器1051，以及第一处理单元107的接收寄存器1071中至少之一设置于缓存单元113中作为缓存单元113的一部分。可选地，缓存单元113可以作为接收单元105的输入寄存器1051而存在，或者作为第一处理单元107的接收寄存器1071而存在，或者作为接收单元105的输入寄存器1051、以及第一处理单元107的接收寄存器1071而存在。

在一些实施例中，第一处理单元107，可以被配置为通过以下方式中至少之一对待处理图像进行预处理：

以像素为单位对待处理图像进行预处理；

以行或列为单位对待处理图像进行预处理。

在一些实施例中，在以像素为单位对待处理图像进行预处理时，第一处理单元107可以对待处理图像的单个像素或像素矩阵进行预处理。

在一些实施例中，像素矩阵可以包括呈阵列排布的多个像素，例如：行列式排布的多个像素。可选地，多个像素的阵列排布方式可以不同于上述的行列式，而是呈其他阵列形状的排布方式，例如：圆形、椭圆形、三角形等阵列排布方式。

在一些实施例中，在以行或列为单位对待处理图像进行预处理时，第一处理单元107可以对待处理图像的至少一行像素或至少一列像素进行预处理。可选地，第一处理单元107也可以对待处理图像的至少一行像素、以及至少一列像素进行预处理。

在一些实施例中，待处理图像和预处理图像可以均为完整图像。

在一些实施例中，待处理图像和预处理图像中的至少之一为完整图像，而非完整图像的一部分。

参见图5，在一些实施例中，图像处理装置100还可以包括：图像获取单元115，被配置为获得待处理图像。可选地，图像获取单元115可以为摄像设备或雷达。可选地，摄像设备可以为摄像头。

在一些实施例中，在由图像获取单元115获得待处理图像的情况下，原始获得的待处理图像和预处理图像中的至少之一可以为完整图像，而非完整图像的一部分。

在一些实施例中，图像融合单元103，可以被配置为基于如下内容进行图像融合：

图像透明度，或

图像透明度和景深信息。

在一些实施例中，在基于图像透明度进行图像融合时，图像融合单元103可以对需要融合的图像的对应像素进行基于图像透明度的叠加，以基于叠加后所得的像素得到融合图像。

在一些实施例中，在基于图像透明度和景深信息进行图像融合时，图像融合单元103可以对需要融合的图像的对应像素进行基于景深信息的叠加，并基于需要融合的上述图像的图像透明度对叠加后所得的像素进行透明度调整，以基于透明度调整后所得的像素得到融合图像。可选地，图像融合单元103也可以对需要融合的图像的对应像素进行基于图像透明度的叠加，并基于需要融合的上述图像的景深信息对叠加后所得的像素进行景深调整，以基于景深调整后所得的像素得到融合图像。

在一些实施例中，待处理图像可以包括至少两个原始图像；

图像融合单元103，可以被配置为对至少两个原始图像进行图像融合。

在一些实施例中，原始图像可以是不经过任何处理的基于真实场景得到的真实场景图像，例如：对真实场景进行图像采集所得到的真实场景图像。

在一些实施例中，原始图像可以包括原始随动图像和原始参考图像中的至少一种。

在一些实施例中，原始随动图像可以为摄像头获取的基于真实场景的图像(例如：全景图像)。可选地，原始随动图像可以随着用户视角的变化而变化，原始参考图像可以是固定的或可移动的，可以不随用户视角的变化而变化。

在一些实施例中，图像融合单元103对至少两个原始图像进行图像融合时，可以对至少两个原始随动图像进行图像融合；或对至少两个原始参考图像进行图像融合；或对至少一个原始随动图像和至少一个原始参考图像进行图像融合。

参见图6，在一些实施例中，图像处理装置100还可以包括AP 117，被配置为：

获得增强图像；或

获得增强化现实图像、虚拟随动图像和虚拟参考图像中至少两种。

在一些实施例中，增强图像可以包括虚拟图像和增强化现实图像中至少之一。

在一些实施例中，虚拟图像可以包括虚拟随动图像和虚拟参考图像中至少之一。

在一些实施例中，待处理图像可以包括原始图像；

应用处理器，可以被配置为获得增强图像；

图像融合单元103，可以被配置为对原始图像和增强图像进行图像融合；

或，

应用处理器，可以被配置为获得增强化现实图像、虚拟随动图像和虚拟参考图像中的至少两种；

图像融合单元103，可以被配置为对增强化现实图像、虚拟随动图像和虚拟参考图像中的至少两种进行图像融合。

在一些实施例中，应用处理器可以从存储介质中直接获取增强图像。可选地，应用处理器可以基于某一图像生成增强图像，例如：基于原始图像生成增强图像。可选地，应用处理器可以基于自身逻辑生成增强图像。

在一些实施例中，增强化现实图像可以是对真实场景图像进行增强后得到的图像，例如：增强化现实图像可以是对真实场景图像进行色彩增强后得到的图像。

在一些实施例中，虚拟图像可以是凭空创造出的图像，例如，凭空创造出的黑洞场景的图像，宇宙飞船外的场景图像或宇宙飞船船舱内的场景图像，等。可选地，虚拟随动图像可以是宇宙飞船外的场景图像，可以基于用户视角的变化而变化。可选地，虚拟参考图像可以是宇宙飞船船舱内的场景图像，例如：宇宙飞船船舱内的操作台，可以不随用户视角的变化而变化。

在一些实施例中，图像融合单元103，还可以被配置为：对接收到的原始图像进行处理，以得到局部图像。

在一些实施例中，原始图像可以是全景图像或非全景图像。可选地，可以对以非全景图像形式存在的原始图像进行拼接、融合等处理，以得到全景图像。

在一些实施例中，全景图像可以是通过全景摄像头对场景进行拍摄得到的。可选地，全景图像可以是已经进行过渲染处理的图像。

在一些实施例中，图像融合单元103，可以被配置为：根据原始图像的方位角信息确定原始图像的显示区域，以得到显示区域中的局部图像。

在一些实施例中，图像融合单元103可以根据方位传感器(例如：陀螺仪)的方向信息调整方位角信息。可选地，图像融合单元103可以根据用户指令(例如：触摸信号、手势信号、鼠标输入信号，等)调整方位角信息。

参见图7，在一些实施例中，图像处理装置100还可以包括初始化单元119，被配置为：对图像处理装置100中的单元进行参数配置。可选地，初始化单元119可以对图像处理装置100中的部分或全部单元/器件进行参数配置，以使完成参数配置的单元/器件能够正常工作。

参见图8，在一些实施例中，图像处理装置100能够与显示器件121通信，被配置为：将图像预处理单元101、图像融合单元103中至少之一所得到的图像发送给显示器件121用于显示。

参见图9，在一些实施例中，图像处理装置100可以设置于芯片200。

参见图10，在一些实施例中，图像处理装置100可以设置于通用芯片或专用芯片300，例如：专用集成电路(ASIC)芯片。

在一些实施例中，图像处理装置100中的部分或全部单元/器件可以本地或异地设置。可选地，显示器件121可以本地或异地设置，以进行相应的本地或异地显示。

参见图11，本公开实施例提供了一种虚拟现实设备400，包括：显示器件121，以及上述的图像处理装置100。

在一些实施例中，显示器件121能够进行2D显示，或3D显示。

在一些实施例中，显示器件121还可以包括用于支持显示器正常运转的其他构件，例如：通信接口、框架、控制电路等构件中的至少之一。

本公开实施例提供的图像处理装置和虚拟现实设备，能够由独立于中央处理器的图像融合单元进行图像融合处理，提高了图像融合处理的速度，能够尽量避免中央处理器进行图像融合处理时所导致的时延问题。

以上描述和附图充分地示出了本公开的实施例，以使本领域技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。本公开实施例的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。当用于本申请中时，虽然术语“第一”、“第二”等可能会在本申请中使用以描述各元件，但这些元件不应受到这些术语的限制。这些术语仅用于将一个元件与另一个元件区别开。比如，在不改变描述的含义的情况下，第一元件可以叫做第二元件，并且同样地，第二元件可以叫做第一元件，只要所有出现的“第一元件”一致重命名并且所有出现的“第二元件”一致重命名即可。第一元件和第二元件都是元件，但可以不是相同的元件。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括该要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。

本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。本领域技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

在附图中，考虑到清楚性和描述性，可以夸大元件或层等结构的宽度、长度、厚度等。当元件或层等结构被称为“设置在”(或“安装在”、“铺设在”、“贴合在”、“涂布在”等类似描述)另一元件或层“上方”或“上”时，该元件或层等结构可以直接“设置在”上述的另一元件或层“上方”或“上”，或者可以存在与上述的另一元件或层之间的中间元件或层等结构，甚至有一部分嵌入上述的另一元件或层。

Claims (22)

1.一种图像处理装置，其特征在于，包括：

图像预处理单元，被配置为对待处理图像进行预处理以得到预处理图像，以及输出所述待处理图像和所述预处理图像中至少之一；

图像融合单元，被配置为基于透明度对来自应用处理器AP和所述图像预处理单元中至少之一的至少两个图像进行图像融合，以得到融合图像。

2.根据权利要求1所述的图像处理装置，其特征在于，所述图像预处理单元，包括：

接收单元，被配置为接收所述待处理图像；

第一处理单元，被配置为对所述待处理图像进行预处理，以得到所述预处理图像；

第一输出单元，被配置为向所述图像融合单元输出所述预处理图像；

至少一个第二输出单元，被配置为向所述AP输出所述待处理图像和所述预处理图像中至少之一。

3.根据权利要求2所述的图像处理装置，其特征在于，所述图像预处理单元，还包括：缓存单元，被配置为缓存所述待处理图像。

4.根据权利要求3所述的图像处理装置，其特征在于，所述缓存单元，包括：

所述接收单元的输入寄存器，以及所述第一处理单元的接收寄存器中至少之一。

5.根据权利要求2所述的图像处理装置，其特征在于，所述第一处理单元，被配置为通过以下方式中至少之一对所述待处理图像进行预处理：

以像素为单位对所述待处理图像进行预处理；

以行或列为单位对所述待处理图像进行预处理。

6.根据权利要求1所述的图像处理装置，其特征在于，所述待处理图像和所述预处理图像均为完整图像。

7.根据权利要求1所述的图像处理装置，其特征在于，还包括：图像获取单元，被配置为获得所述待处理图像。

8.根据权利要求1至7任一项所述的图像处理装置，其特征在于，所述图像融合单元，被配置为基于如下内容进行所述图像融合：

图像透明度，或

图像透明度和景深信息。

9.根据权利要求8所述的图像处理装置，其特征在于，所述待处理图像包括至少两个原始图像；

所述图像融合单元，被配置为对所述至少两个原始图像进行图像融合。

10.根据权利要求9所述的图像处理装置，其特征在于，所述原始图像包括原始随动图像和原始参考图像中的至少一种。

11.根据权利要求8所述的图像处理装置，其特征在于，还包括所述AP，被配置为：

获得增强图像；或

获得增强化现实图像、虚拟随动图像和虚拟参考图像中至少两种。

12.根据权利要求11所述的图像处理装置，其特征在于，所述增强图像包括虚拟图像和所述增强化现实图像中至少之一。

13.根据权利要求12所述的图像处理装置，其特征在于，所述虚拟图像包括所述虚拟随动图像和所述虚拟参考图像中至少之一。

14.根据权利要求11所述的图像处理装置，其特征在于，

所述待处理图像包括原始图像；

所述应用处理器，被配置为获得所述增强图像；

所述图像融合单元，被配置为对所述原始图像和所述增强图像进行图像融合；

或，

所述应用处理器，被配置为获得所述增强化现实图像、所述虚拟随动图像和所述虚拟参考图像中的至少两种；

所述图像融合单元，被配置为对所述增强化现实图像、虚拟随动图像和虚拟参考图像中的至少两种进行图像融合。

15.根据权利要求1至14任一项所述的图像处理装置，其特征在于，所述图像融合单元，还被配置为：对接收到的原始图像进行处理，以得到局部图像。

16.根据权利要求15所述的图像处理装置，其特征在于，所述图像融合单元，被配置为：根据所述原始图像的方位角信息确定所述原始图像的显示区域，以得到所述显示区域中的局部图像。

17.根据权利要求1所述的图像处理装置，其特征在于，还包括初始化单元，被配置为：对所述图像处理装置中的单元进行参数配置。

18.根据权利要求1所述的图像处理装置，其特征在于，所述图像处理装置能够与显示器件通信，被配置为：将所述图像预处理单元、所述图像融合单元中至少之一所得到的图像发送给所述显示器件用于显示。

19.根据权利要求1所述的图像处理装置，其特征在于，所述图像处理装置设置于芯片。

20.根据权利要求19所述的图像处理装置，其特征在于，所述图像处理装置设置于专用芯片。

21.一种虚拟现实设备，其特征在于，包括：显示器件，以及如权利要求1至20任一项所述的图像处理装置。

22.根据权利要求21所述的虚拟现实设备，其特征在于，所述显示器件能够进行2D显示，或3D显示。

Images