CN106303493A

CN106303493A - 图像处理方法及装置

Info

Publication number: CN106303493A
Application number: CN201510278207.XA
Authority: CN
Inventors: 罗艳青; 简培云; 刘宁
Original assignee: 深圳超多维光电子有限公司
Current assignee: Shenzhen Super Technology Co Ltd
Priority date: 2015-05-27
Filing date: 2015-05-27
Publication date: 2017-01-04
Anticipated expiration: 2035-05-27
Also published as: CN106303493B; US20160350955A1

Abstract

本发明涉及一种图像处理方法及装置，其中，所述方法包括：获取两幅待处理视图，所述两幅待处理图像为第一视图和第二视图，所述第一视图和第二视图为2D图像；根据用户指令，确定需要为所述待处理视图增加的特效素材数据；根据特效属性信息，将所述特效素材数据与所述第一视图和第二视图融合，获得具有3D特效效果的视图，其中，所述特效素材数据对应的同一素材在与所述第一视图和第二视图融合后，在水平位置上具有视差；所述特效属性信息包括特效素材在所述待处理视图中的位置信息、变化信息以及需要生成的视图帧数；存储所述具有3D特效效果的视图。本发明可以使用户获得较佳的3D观看效果，改善用户体验。

Description

图像处理方法及装置

技术领域

本发明涉及立体显示技术领域，具体涉及一种图像处理方法及装置。

背景技术

在立体显示技术中，人机交互不局限于二维平面，目前已拓展到三维空间。为追求真实感，在三维空间中的交互必须与视觉效果紧密结合。随着智能手机、平板电脑等便携式电子设备的普及，用户可以通过摄像头等拍摄照片或视频，并且通过软件对拍摄的照片或视频进行处理，例如，美化、修饰等。但是现有技术中对照片或者视频的处理，仍局限于增加平面效果，而不能增加立体动态效果，随着人们对立体显示效果越来越高的追求，如何在用户拍摄或者便携式电子设备存储的图像数据中增加立体动态修饰效果，是目前亟待解决的问题。

发明内容

本发明的目的是提供一种图像处理方法，以实现对平面图像增加立体动态特效，使得用户能够在立体显示设备上观看修饰后的平面图像，并且观看到立体动态特效。

为实现上述目的，本发明第一方面提供了一种图像处理方法，该种方法包括：

获取两幅待处理视图，所述两幅待处理图像为第一视图和第二视图，所述第一视图和第二视图为2D图像；

接收用户指令，确定需要为所述待处理视图增加的特效素材数据；

根据特效属性信息，将所述特效素材数据与所述第一视图和第二视图融合，获得具有3D特效效果的视图，其中，所述特效素材数据对应的同一素材在与所述第一视图和第二视图融合后，在水平位置上具有视差；所述特效属性信息包括特效素材数据在所述待处理视图中的位置信息以及需要生成的视图帧数；

存储所述具有3D特效效果的视图。

依照本发明较佳实施例所述的方法，其中，所述第一视图和第二视图相同，所述获取两幅待处理视图，之前，进一步包括：

获取待处理的所述第一视图；

对所述第一视图进行复制，获得所述第二视图。

依照本发明较佳实施例所述的方法，其中，所述接收用户指令、确定需要为所述待处理视图增加的特效素材数据，进一步包括：

接收用户对应用程序中列表的选择指令，确定所述特效素材数据。

依照本发明较佳实施例所述的方法，其中，所述接收用户指令、确定需要为所述待处理视图增加的特效素材数据；进一步包括：

接收用户输入的文字信息指令，在特效素材数据库中查找所述特效素材数据。

依照本发明较佳实施例所述的方法，其中，所述特效属性信息通过用户输入指令确定、或者通过存储模型中的预存信息确定。

依照本发明较佳实施例所述的方法，其中，所述根据特效属性信息，将所述特效素材数据与所述第一视图和第二视图融合，获得具有3D特效效果的视图，具体包括：

根据所述特效属性信息中每一帧视图对应的位置信息，将每一帧视图对应大小的所述特效素材数据与每幅视图在对应位置合成，所述合成包括像素数据更改，所述像素数据更改具体包括将所述每幅视图中所述对应位置的像素数据替换为所述特性素材数据的像素。

依照本发明较佳实施例所述的方法，其中，在所述根据特效属性信息，将所述特效素材数据与所述第一视图和第二视图融合，获得具有3D特效效果的视图，之前，还包括：

为融合前的所述第一视图或所述第二视图增加边框。

依照本发明较佳实施例所述的方法，其中，所述存储所述具有3D特效效果的视图，进一步包括：

将融合后的与所述第一视图对应的每一帧视图、按顺序存储；

将融合后的与所述第二视图对应的每一帧视图、按顺序存储。

将融合后每一帧中的所述第一视图与所述第二视图进行合成，组成与特效属性信息中帧数对应的视图序列；

按照顺序存储所述视图序列。

将融合后的与所述第二视图对应的每一帧视图、按顺序存储；

将每一帧视图对应的边框，按顺序存储。

按照顺序存储所述视图序列；

将每一帧视图对应的边框，按顺序存储。

将融合后每一帧中的所述第一视图与所述第二视图以及边框进行合成，组成与特效属性信息中帧数对应的带有边框的视图序列。

第二方面，本发明实施例提供了一种图像处理装置，所述装置包括：

视图获取单元，用于接收两幅待处理视图，所述两幅待处理图像为第一视图和第二视图，所述第一视图和第二视图为2D图像；

素材获取单元，用于根据用户指令，确定需要为所述待处理视图增加的特效素材数据；

合成单元、用于根据特效属性信息，将所述特效素材数据与所述第一视图和第二视图融合，获得具有3D特效效果的视图，其中，所述特效素材数据对应的同一素材在与所述第一视图和第二视图融合后，在水平位置上具有视差；所述特效属性信息包括特效素材数据在所述待处理视图中的位置信息以及需要生成的视图帧数；

存储单元、用于存储所述具有3D特效效果的视图。

本发明实施例提供的图像处理方法，能够对获取到的两幅待处理视图，根据用户指令所确定的特效素材数据和特效属性信息，将特效素材数据与待处理的2D视图融合，获得具有3D特效效果的视图，以使得用户能够获得较佳3D观看效果，满足用户需求。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的图像处理方法的一种效果示意图；

图2为本发明实施例提供的图像处理方法的流程图；

图3是本发明实施例中的一种待处理视图的示意图；

图4是本发明实施例中对图3所示的待处理视图的复制效果图；

图5是本发明实施例中为每帧视图增加动态特效的过程参考图；

图6是本发明另一实施例中为待处理视图增加边框的效果示意图；

图7是本发明实施例提供的图像处理装置一种实施例的结构图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。需要说明的是，在不会产生冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不局限于下面公开的具体实施例的限制。在本发明的具体实施方式中，为了便于区分，采用了“第一”、“第二”等术语来区分不同的技术特征，需要时可以将该类术语进行更换，不应理解为对本发明的限制。

本发明实施例提供的图像处理方法，可以应用于立体拍照或者其他图像处理领域，例如应用于具有拍照功能的移动通信终端、平板电脑等，其中优选可以应用于具有光栅等分光器件的3D手机、平板电脑等便携式电子设备中，但是并不局限于此，该种图像处理方法也可以应用于普通的2D手机。以获得类似图1中所示的，可以在智能手机中观看具有3D动态特效的视图。例如，用户通过智能手机拍摄了2D图像之后，希望对图像进行美化，增加动态3D效果，例如增加漂浮的羽毛、雪花、气泡、雨滴等动态效果，则可以通过本实施例提供的图像处理方法，获得用户所希望得到的效果。

有鉴于此，本发明实施例第一方面提供了一种图像处理方法，图2是该实施例提供的图像处理方法的流程图，由图2可见，该实施例可以包括：

S201、获取两幅待处理视图，所述两幅待处理图像为第一视图和第二视图，所述第一视图和第二视图为2D图像；

在本实施例中，为了能够获得3D观看效果，必须具有两幅视图，两幅视图上的特效素材需要相同，并且具有水平视差，而作为背景的待处理视图，则需要有两幅，也就是第一视图和第二视图。

在优选的实施例中，两幅视图完全相同，例如尺寸、内容、颜色等，其中第二视图可以是得到第一视图后，复制获得，也可以基于相同场景，重复拍摄得到。

在其他的实施例中，第一视图和第二视图也可以不同，例如第一视图是具有内容(例如风景、人物等作为背景)的视图，而第二视图为空白或者具有透明网格的图像，在第二视图中增加特效素材后，与第一视图合成后，能够保持第一视图中原始的背景。

更进一步的，待处理图像可以来源于用户通过摄像头拍摄得到、也可以从电子设备的存储器中获取到、也可以通过网络下载、传输等手段获得，不作为限制，优选来源于用户通过摄像头拍摄获得的图像。

S202、接收用户指令，确定需要为所述待处理视图增加的特效素材数据；

在该步骤中，电子设备(例如智能手机)可以根据接收到的用户指令，确定需要为待处理视图增加的特效素材数据。例如，在本发明实施例作为一种通过应用程序实现的实施例中，用户可以通过应用程序提供的选择列表选择需要增加的特效素材数据，也可以通过应用程序提供的搜索界面，选择特效素材数据，或者通过预设的模板或者模型，选择特效素材数据，不多赘述。

S203、根据特效属性信息，将所述特效素材数据与所述第一视图和第二视图融合，获得具有3D特效效果的视图；

具体而言，在该步骤中、电子设备可以根据特效属性信息、将特效素材数据与待处理视图进行合成，从而获得具有3D特效效果的视图。

更具体地说，所述特效素材数据对应的同一素材在与所述第一视图和第二视图融合后，在水平位置上具有视差；所述特效属性信息包括特效素材数据在所述待处理视图中的位置信息以及需要生成的视图帧数，当帧数达到一定数目时，在播放时，才能够观测到动态效果。

在将特效素材与待处理视图进行融合时，具有多种方式可以实现，例如，在选择蝴蝶作为特效素材的实施例中，可以将图片某一位置区域的像素替换为气泡素材对应的像素数据，即可得到所需的合成视图。

需要注意的是，在一帧3D效果视图中，通常包含两幅视图，也就是第一视图增加特效素材后的视图和第二视图增加特效后的视图，同种素材在与第一视图和第二视图分别融合时，通常具有视差，该视差可以通过位置信息确定，例如第一视图上的位置坐标为(100,100，其中图像行坐标和列坐标均为100，相应在第二视图上的行列坐标为(102,100)。在不同帧中的每幅视图中的特效素材合成位置，可以随机，也可以根据与用户的交互确定，或者通过一定的规律确定，例如运动轨迹算法确定，不多赘述。

S204、存储所述具有3D特效效果的视图。

具体而言，在通过步骤S201-S203为2D图像增加3D效果之后，可以具体3D效果的多帧视图存储，例如存储为MP4格式或者其他可播放的格式，之后，在3D设备上播放，即可观测到2D背景图像上的3D动态效果。

可参考图3所示，其为本发明实施例中电子设备获取到的一张待处理2D视图，用户需要通过电子设备为该视图增加3D漂浮雪花的动态效果，该视图可以是用户下载获得，也可以是用户通过拍摄获得，不多赘述。

在电子设备根据用户指令，确定了需要处理的视图之后，对图3所示的视图进行复制，获得两幅并列的相同的2D视图，如图4所示。之后，电子设备可以根据用户指令确定用户希望为视图增加的动态特效素材，例如用户通过列表，选中雪花作为动态素材。

其中，特效属性中的位置信息可以是通过随机算法生成的，也可以是通过用户点击屏幕确定的，帧数可以通过模型确定，也可以通过用户输入信息确定，特效属性信息还可以包括，变化信息可以是大小变化信息，也可以是轨迹变化信息，还可以是颜色变化信息。

之后，根据所述特效属性信息中每一帧视图对应的位置信息，将每一帧视图对应大小的所述特效素材与每幅视图在对应位置合成，所述合成包括像素数据更改，例如将所述每幅视图中所述对应位置的像素数据替换为所述特性素材数据的像素。

可参考图5，每一帧图像中的每一个雪花特效素材的位置各不相同，但是每一帧中的两幅视图上雪花特效素材的位置都具有偏移，不同帧上雪花的位置又有所区别，因此，当多帧视图连续播放时，即可观看到动态的效果，特别是当多帧包含两幅增加了特效素材的视图在3D设备上播放时，由于特效素材在横向上具有视差，因此可以观测到3D效果，尽管背景为非立体的2D图像，但是仍旧能够观测到3D特效，例如图1所示。

例如，为了让雪花在3D屏幕上能看到立体效果，左图和右图的雪花位置在水平方向有偏移，偏移大小也可以是围绕一定范围随机出现。此外，也可以以模板的形式为视图增加3D动态特效，通过模板中相关信息来生成雪花，模板中包含雪花的位置、大小、一帧视图中两视图中对应位置的视差、雪花的运动轨迹等信息。

交互式方法生成雪花的思路是用户点击处先出现雪花，然后按圆形、放射性等方式向四周扩散。

交互式生成算法流程与随机生成方法也相似，区别在于，交互式生成算法第一帧生成的位置一般是围绕用户的触点生成效果，运动模型可以采用圆形运动模型，以用户触点为圆心，在半径为r处的效果，运动到r'，r'＝kr，k是标量，并不会改变r的方向。

以上是特效融合的几种实现方式，不多赘述。

通过上述的方案，能够实现在3D观看设备上观测3D效果，但是，对于2D设备，则不能观测到3D效果，只能观测到两张具有雪花的多张连续动态图，类似GIF动图，为此，为了使得用户在2D设备上也能观测3D效果，在步骤S203之后，也就是根据特效属性信息，将所述特效素材数据与所述第一视图和第二视图融合，获得具有3D特效效果的视图，之前，还可以包括：电子设备为融合前的第一视图或第二视图增加边框，更具体的说，为每一帧中的两视图之一增加边框，在增加边框之后，再进行特效增加。可参考图6。当多帧带有边框的2D视图连续播放时，用户也能够感受到类似3D动态效果，从而达到2D和3D兼容的效果。

需要注意的是在需要增加边框的实施例中，如果第一视图和第二视图不相同，例如第二视图为空白视图，则需要选择具有内容的视图。

在通过前述的实施例对待处理视图增加了3D动态特效之后，电子设备需要存储具有3D特效效果的视图。具体有以下的几种：

第一种，将融合后的与第一视图对应的每一帧视图、按顺序存储，之后，将融合后的与第二视图对应的每一帧视图、按顺序存储。存储之后，进行分别打包。在需要播放时依序组合后进行播放。

第二种、将融合后每一帧中的第一视图与所述第二视图进行合成，组成与特效属性信息中帧数对应的视图序列；按照顺序存储所述视图序列。存储之后，进行打包。在需要播放时依序进行播放。

此外，为了满足传输需求，还可以只将待处理的图像进行存储、并且把动态特效属性信息以及素材信息进行打包之后进行存储，之后。接收到该些信息的电子设备，可以直接根据接收到的信息中的上述信息，进行图像处理，得到与发送方相同的具有相同3D动态效果的视图，由于只传输了待处理图像和相应的动态特效属性信息，可以大大节省传输数据量。

在需要增加边框的实施例中，所述存储具有3D特效效果的视图，可以是如下的几种方案：

将每一帧视图对应的边框、按顺序存储。

用户如果在3D设备上进行播放，则可以直接打开播放，而如果需要传输到不具有3D显示功能的2D设备上，则可以选择只传输边框序列和融合后的一个视图序列，而无需全部传输，可以减少传输数据。

或者，将融合后每一帧中的所述第一视图与所述第二视图进行合成，组成与特效属性信息中帧数对应的视图序列；

按照顺序存储所述视图序列；

将每一帧视图对应的边框、按顺序存储。

在该实施例中，在3D设备上传输和观看时，可以只传输视图序列，而不传输边框序列，而在传输给2D设备时，则需要传输边框序列，组合后再进行播放。

此外，所述存储具有3D特效效果的视图，还可以将融合后每一帧中的第一视图与所述第二视图以及边框进行合成，组成与特效属性信息中帧数对应的带有边框的视图序列。在传输时，需要传输全部的视图序列，在2D设备上播放时，也能直接播放观看类似3D动态的效果，不多赘述。

通过上述实施例，本发明实施例提供的图像处理方法，能够对获取到的两幅相同的待处理视图，根据用户指令所确定的需要为所述待处理视图增加的特效素材数据和特效属性信息，将特效素材数据与待处理的2D视图融合，获得具有3D特效效果的视图，以使得用户能够获得较佳3D观测效果，满足用户需求。

相应的，本发明实施例提供了一种图像处理装置，可参考图7，所述装置包括：

视图获取单元701，用于获取两幅待处理视图，所述两幅待处理图像为第一视图和第二视图，所述第一视图和第二视图为2D图像；

素材获取单元702，用于接收用户指令，确定需要为所述待处理视图增加的特效素材数据；

合成单元703，用于根据特效属性信息，将所述特效素材数据与所述第一视图和第二视图融合，获得具有3D特效效果的视图，其中，所述特效素材数据对应的同一素材在与所述第一视图和第二视图融合后，在水平位置上具有视差；所述特效属性信息包括特效素材数据在所述待处理视图中的位置信息以及需要生成的视图帧数；

存储单元704，用于存储所述具有3D特效效果的视图。

该实施例是与前述方法实施例对应的装置实施例，因此不多赘述。

本发明实施例提供的图像处理装置，能够对获取到的两幅待处理视图，为所述待处理视图增加的特效素材数据和特效属性信息，将特效素材数据与待处理的2D视图融合，获得具有3D特效效果的视图，以使得用户能够获得较佳3D观测效果，满足用户需求。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种图像处理方法，其特征在于，所述方法包括：

存储所述具有3D特效效果的视图。

2.如权利要求1所述的方法，其特征在于，所述第一视图和第二视图相同，所述获取两幅待处理视图，之前，还包括：

获取待处理的所述第一视图；

对所述第一视图进行复制，获得所述第二视图。

3.如权利要求1所述的方法，其特征在于，所述接收用户指令、确定需要为所述待处理视图增加的特效素材数据，进一步包括：

4.如权利要求1所述的方法，其特征在于，所述接收用户指令、确定需要为所述待处理视图增加的特效素材数据，进一步包括：

5.如权利要求1所述的方法，其特征在于，所述特效属性信息通过用户输入指令确定、或者通过存储模型中的预存信息确定。

6.如权利要求5所述的方法，其特征在于，所述根据特效属性信息，将所述特效素材数据与所述第一视图和第二视图融合，获得具有3D特效效果的视图，具体包括：

根据所述特效属性信息中每一帧视图对应的位置信息，将每一帧视图对应的所述特效素材数据与每幅视图在对应位置合成，所述合成包括像素数据更改，所述像素数据更改具体包括将所述每幅视图中所述对应位置的像素数据替换为所述特性素材数据的像素。

7.如权利要求2所述的方法，其特征在于，在所述根据特效属性信息，将所述特效素材数据与所述第一视图和第二视图融合，获得具有3D特效效果的视图，之前，还包括：

为融合前的所述第一视图或所述第二视图增加边框。

8.如权利要求1所述的方法，其特征在于，所述存储所述具有3D特效效果的视图，进一步包括：

将融合后的与所述第一视图对应的每一帧视图，按顺序存储；

将融合后的与所述第二视图对应的每一帧视图，按顺序存储。

9.如权利要求1所述的方法，其特征在于，所述存储所述具有3D特效效果的视图，进一步包括：

按照顺序存储所述视图序列。

10.如权利要求7所述的方法，其特征在于，所述存储所述具有3D特效效果的视图，进一步包括：

将融合后的与所述第二视图对应的每一帧视图，按顺序存储；

将每一帧视图对应的边框，按顺序存储。

11.如权利要求7所述的方法，其特征在于，所述存储所述具有3D特效效果的视图，进一步包括：

按照顺序存储所述视图序列；

将每一帧视图对应的边框，按顺序存储。

12.如权利要求7所述的方法，其特征在于，所述存储所述具有3D特效效果的视图，进一步包括：

将融合后每一帧中的所述第一视图与所述第二视图以及边框进行合成，组成与所述特效属性信息中帧数对应的带有所述边框的视图序列。

13.一种图像处理装置，其特征在于，所述装置包括：

视图获取单元，用于获取两幅待处理视图，所述两幅待处理图像为第一视图和第二视图，所述第一视图和第二视图为2D图像；

素材获取单元，用于接收用户指令，确定需要为所述待处理视图增加的特效素材数据；

合成单元，用于根据特效属性信息，将所述特效素材数据与所述第一视图和第二视图融合，获得具有3D特效效果的视图，其中，所述特效素材数据对应的同一素材在与所述第一视图和第二视图融合后，在水平位置上具有视差；所述特效属性信息包括特效素材数据在所述待处理视图中的位置信息以及需要生成的视图帧数；

存储单元，用于存储所述具有3D特效效果的视图。