CN108076291A - 一种图像数据的虚化处理方法、装置和移动终端 - Google Patents
一种图像数据的虚化处理方法、装置和移动终端 Download PDFInfo
- Publication number
- CN108076291A CN108076291A CN201711465486.6A CN201711465486A CN108076291A CN 108076291 A CN108076291 A CN 108076291A CN 201711465486 A CN201711465486 A CN 201711465486A CN 108076291 A CN108076291 A CN 108076291A
- Authority
- CN
- China
- Prior art keywords
- image data
- processing
- parallax
- virtualization
- carried out
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 126
- 230000009977 dual effect Effects 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000009499 grossing Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- 238000003708 edge detection Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 20
- 238000013461 design Methods 0.000 description 10
- 230000006854 communication Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 241000208340 Araliaceae Species 0.000 description 5
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 5
- 235000003140 Panax quinquefolius Nutrition 0.000 description 5
- 235000008434 ginseng Nutrition 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000001737 promoting effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000012905 input function Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006116 polymerization reaction Methods 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供了一种图像数据的虚化处理方法、装置和移动终端，该方法包括：调用双摄像头采集第一图像数据、第二图像数据；采用所述第一图像数据与所述第二图像数据计算视差图像数据；根据所述视差图像数据对所述第一图像数据进行虚化处理。通过复用已有的双摄像头即可计算出视差图像数据进行虚化处理，无需配置专门的景深传感器，大大降低了成本，并且，也无需运行测量景深的算法，降低了运算量，从而降低了拍照的时间消耗。
Description
技术领域
本发明涉及通信的技术领域，特别是涉及一种图像数据的虚化处理方法、一种图像数据的虚化处理装置和一种移动终端。
背景技术
随着移动通信技术的发展，诸如手机、智能穿戴设备等移动终端越来越普及，给人们在生活、学习、工作带来了极大的便利。
移动终端通常配置有摄像头，可以用于对人像和产品进行拍照，其中,通过景深来虚化背景以强化主体是一种常见的拍摄手法。
在拍照时实现景深的因素主要有大光圈、长焦距，但是，在移动终端中，受限于体积无法满足大光圈、长焦距。
因此，在移动终端中，通常配置专门的景深传感器，在拍照时测量景深，按照景深进行虚化处理，实现虚化背景的效果。
但是，景深传感器的成本较高，并且，测量景深的算法较为复杂，运算量大，导致拍照的时间消耗较长。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种图像数据的虚化处理方法和相应的一种图像数据的虚化处理装置、一种移动终端。
第一方面，本发明实施例中提供了一种图像数据的虚化处理方法，包括：
调用双摄像头采集第一图像数据、第二图像数据；
采用所述第一图像数据与所述第二图像数据计算视差图像数据；
根据所述视差图像数据对所述第一图像数据进行虚化处理。
在一个可能的设计中，还包括：
对所述双摄像头进行标定处理；
依据所述标定处理的结果对所述第一图像数据与所述第二图像数据进行校正处理。
在一个可能的设计中，在所述根据所述视差图像数据对所述第一图像数据进行虚化处理之前，还包括：
检测所述第一图像数据的边缘；
基于已检测边缘的所述第一图像数据对所述视差图像数据进行空洞填补处理和/或平滑处理。
在一个可能的设计中，所述根据所述视差图像数据对所述第一图像数据进行虚化处理，包括：
将所述视差图像数据映射至所述第一图像数据，以确定所述第一图像数据的视差值；
按照所述视差值对所述第一图像数据进行虚化处理。
在一个可能的设计中，所述按照所述视差值对所述第一图像数据进行虚化处理，包括：
查找所述视差值所属的视差范围；
对所述第一图像数据标记所述视差范围对应的掩码值；
查询所述掩码值对应的虚化强度；
按照所述虚化强度对所述第一图像数据进行虚化处理。
在一个可能的设计中，所述按照所述视差值对所述第一图像数据进行虚化处理，还包括：
提升所述第一图像数据的亮度值。
第二方面，本发明实施例提供了一种图像数据的虚化处理装置，包括：
图像数据采集模块，用于调用双摄像头采集第一图像数据、第二图像数据；
视差图像数据计算模块，用于采用所述第一图像数据与所述第二图像数据计算视差图像数据；
虚化处理模块，用于根据所述视差图像数据对所述第一图像数据进行虚化处理。
在一个可能的设计中，还包括：
标定处理模块，用于对所述双摄像头进行标定处理；
校正处理模块，用于依据所述标定处理的结果对所述第一图像数据与所述第二图像数据进行校正处理。
在一个可能的设计中，还包括：
边缘检测模块，用于检测所述第一图像数据的边缘；
优化处理模块，用于基于已检测边缘的所述第一图像数据对所述视差图像数据进行空洞填补处理和/或平滑处理。
在一个可能的设计中，所述虚化处理模块包括：
视差值确定子模块，用于将所述视差图像数据映射至所述第一图像数据，以确定所述第一图像数据的视差值；
视差虚化子模块，用于按照所述视差值对所述第一图像数据进行虚化处理。
在一个可能的设计中，所述视差虚化子模块包括：
视差范围查找单元，用于查找所述视差值所属的视差范围；
掩码值标记单元，用于对所述第一图像数据标记所述视差范围对应的掩码值；
虚化强度查询单元，用于查询所述掩码值对应的虚化强度；
强度虚化单元，用于按照所述虚化强度对所述第一图像数据进行虚化处理。
在一个可能的设计中，所述视差虚化子模块还包括：
亮度提升单元，用于提升所述第一图像数据的亮度值。
第三方面，本发明实施例提供了一种移动终端，包括处理器和存储器；
所述存储器用于存储支持执行所述的图像数据的虚化处理的程序；
所述处理器被配置为用于执行所述存储器中存储的程序。
第四方面，本发明实施例提供了一种计算机存储介质，用于储存为上述移动终端所用的计算机软件指令，其包含用于执行上述方面为移动终端所设计的程序。
在本发明实施例中，调用双摄像头采集第一图像数据、第二图像数据，采用第一图像数据与第二图像数据计算视差图像数据，根据视差图像数据对第一图像数据进行虚化处理，通过复用已有的双摄像头即可计算出视差图像数据进行虚化处理，无需配置专门的景深传感器，大大降低了成本，并且，也无需运行测量景深的算法，降低了运算量，从而降低了拍照的时间消耗。
本发明的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的一种图像数据的虚化处理方法实施例的步骤流程图；
图2示出了根据本发明一个实施例的另一种图像数据的虚化处理方法实施例的步骤流程图；
图3A-图3G示出了根据本发明一个实施例的一种图像数据的虚化示例图；
图4示出的是与本发明实施例提供的移动终端相关的手机的部分结构的框图；以及
图5示出的是与本发明实施例提供的移动终端相关的手机的部分结构的框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
参照图1，示出了根据本发明一个实施例的一种图像数据的虚化处理方法实施例的步骤流程图，具体可以包括如下步骤：
步骤101，调用双摄像头采集第一图像数据、第二图像数据。
在具体实现中，本发明实施例可以应用在移动终端中，例如，手机、平板电脑、个人数字助理、穿戴设备(如眼镜、手表等)等等。
这些移动终端的操作系统可以包括Android(安卓)、IOS、Windows Phone、Windows等等。
在移动终端中，配置双摄像头，用于拍照、录像等，该双摄像头配置在移动终端的正面时，可以称之为前置摄像头，配置在移动终端的背面时，可以称之为后置摄像头。
所谓双摄像头，可以指按照一定规则(如相隔一定距离、形成一定夹角等)布置的两个摄像头，这两个摄像头可以水平设置，也可以垂直设置，还可以应用其他设置方式，本发明实施例对此不加以限制。
在实际应用中，双摄像头一般包括一个主摄像头和一个辅助摄像头，根据不同的应用需求和侧重点，通常具有以下几种不同的组合形式：
在一个示例中，双摄像头的其中一个摄像头可以用于采集彩色的图像数据，另一个摄像头也可以用于采集彩色的图像数据。
在另一个示例中，双摄像头的其中一个摄像头可以采集彩色的图像数据，另一个摄像头可以采集黑白的图像数据。
在另一个示例中，双摄像头的其中一个摄像头可以应用广角镜头，另一个摄像头可以应用长焦镜头。
在另一个示例中，双摄像头的其中一个摄像头可以采集彩色的图像数据，另一个摄像头可以采集深度图像数据。
当然，上述双摄像头只是作为示例，在实施本发明实施例时，可以根据实际情况设置其他双摄像头，本发明实施例对此不加以限制。另外，除了上述双摄像头外，本领域技术人员还可以根据实际需要采用其它双摄像头，本发明实施例对此也不加以限制。
在本发明实施例中，可以调用双摄像头，对待拍摄的对象(如人物、风景等)采集图像数据，其中一个摄像头采集第一图像数据、另一个摄像头采集第二图像数据。
步骤102，采用所述第一图像数据与所述第二图像数据计算视差图像数据。
在具体实现中，可以对第一图像数据、第二图像数据进行立体匹配，通过找出第一图像数据、第二图像数据的对应关系，根据三角测量原理，得到视差图像数据。
立体匹配通常包括：
(1)、代价计算。
计算第一图像数据一个像素和第二图像数据一个像素之间的代价。
(2)、代价聚合。
一般基于点之间的匹配很容易受噪声的影响，往往真实匹配的像素的代价并不是最低。所以，在点的周围建立一个窗口window，让像素块和像素块之间进行比较，提高可靠性。
代价聚合往往是局部算法或者半全局算法使用，全局算法抛弃了窗口window，采用基于全图信息的方式建立能量函数。
(3)、深度赋值。
这一步可以区分局部算法与全局算法，局部算法直接优化代价聚合模型。而全局算法，要建立一个能量函数，能量函数的数据项往往就是代价聚合公式，例如，DoubleBP。输出的是一个粗略的视差图。
(4)、结果优化。
对上一步得到的粗估计的视差图进行精确计算，策略有很多，例如planefitting、BP、动态规划、等等。
以SGM(semi-global matching)为例，SGM是一种用于计算双目视觉中disparity的半全局匹配算法。在OpenCV中的实现为semi-global block matching(SGBM)。
在SGBM中，过选取每个像素点的disparity(视差值)，组成一个disparity map(视差地区)，设置一个和disparity map相关的全局能量函数，使这个能量函数最小化，以达到求解每个像素最优disparity的目的。
步骤103，根据所述视差图像数据对所述第一图像数据进行虚化处理。
在获得了视差图像数据之后，根据投影模型可以得到原始的第一图像数据的三维信息，以此进行虚化处理。
在本发明实施例中，调用双摄像头采集第一图像数据、第二图像数据，采用第一图像数据与第二图像数据计算视差图像数据，根据视差图像数据对第一图像数据进行虚化处理，通过复用已有的双摄像头即可计算出视差图像数据进行虚化处理，无需配置专门的景深传感器，大大降低了成本，并且，也无需运行测量景深的算法，降低了运算量，从而降低了拍照的时间消耗。
参照图2，示出了根据本发明一个实施例的一种图像数据的虚化处理方法实施例的步骤流程图，具体可以包括如下步骤：
步骤201，对所述双摄像头进行标定处理。
标定处理的目的是计算双摄像头的内参、外参。
其中，内参指双摄像头的坐标与像素坐标间的关系。
外参是指双摄像头在世界坐标中的位置和方向信息。
在具体实现中，标定处理可以包括张正友标定法、比较有影响力的方法是Tsai标定法，等等，一般是已知一些世界坐标中的点坐标和对应图像中的坐标计算投影矩阵，然后计算内参、外参。
进一步地，可以包括如下类别：
1、使用3D标定靶的标定方法；
2、使用2D平面靶的标定方法；
3、使用1D目标(基于直线)的标定方法；
4、自标定方法(不需要标定物)；
5、消失点与正交方法。
步骤202，调用双摄像头采集第一图像数据、第二图像数据。
例如，如图3A所示，调用双摄像头对桌面采集图像数据，包括位于左侧的彩色的第一图像数据、位于右侧的黑白的第二图像数据。
步骤203，依据所述标定处理的结果对所述第一图像数据与所述第二图像数据进行校正处理。
由于工艺制造一般无法达到绝对对齐，因此，在本发明实施例中，可以采用标定处理的结果(内参、外参)对第一图像数据与第二图像数据进行校正处理，使得两个摄像头的成像平面应处于同一平面，即使得第一图像数据与第二图像数据对齐，降低视差图像数据的计算量。
例如，采用图3A所示的第一图像数据、第二图像数据进行校正，获得如图3B所示的图像数据。
步骤204，采用所述第一图像数据与所述第二图像数据计算视差图像数据。
例如，采用图3B所示的校正后的图像数据，计算获得如图3C所示的视差图像数据。
步骤205，检测所述第一图像数据的边缘。
在本发明实施例中，可以通过sobel算子、canny算子、Harris算子等方式对第一图像数据进行边缘的检测，用以增强第一图像数据的边缘，为空洞填补处理和/或平滑处理进行准备。
例如，对图3A所示的第一图像数据进行边缘检测，可以获得如图3D所示的图像数据。
步骤206，基于已检测边缘的所述第一图像数据对所述视差图像数据进行空洞填补处理和/或平滑处理。
空洞填补处理是指通过图像计算斑块面积的方法过虑一些小的斑块。
平滑处理使用的是具有一些边缘保护的滤波器，例如，导向滤波器或双边滤波器。
例如，基于图3D所示的图像数据，对图3C所示的视差图像数据进行空洞填补处理、平滑处理，则可以获得图3E所示的图像数据。
步骤207，将所述视差图像数据映射至所述第一图像数据，以确定所述第一图像数据的视差值。
对于视差图像数据，将其映射到原图(即第一图像数据)，根据原图(即第一图像数据)的焦点坐标可以获得焦点处的视差值。
步骤208，按照所述视差值对所述第一图像数据进行虚化处理。
视差值与深度存在一定的负相关，距离像面越近的点，在双摄像头中的视差值越大，距离像面越远的点，在双摄像头中的视差越小。
因此，可以依据视差值对第一图像数据进行虚化处理，若突出前景、虚化背景，则视差值越小，虚化处理的强度越大，若突出背景、虚化前景，则视差值越大，虚化处理的强度越大。
在本发明的一个实施例中，步骤208进一步可以包括如下子步骤：
子步骤S11，查找所述视差值所属的视差范围。
子步骤S12，对所述第一图像数据标记所述视差范围对应的掩码值。
子步骤S13，提升所述第一图像数据的亮度值。
子步骤S14，查询所述掩码值对应的虚化强度。
子步骤S15，按照所述虚化强度对所述第一图像数据进行虚化处理。
在本示例中，可以预先划分多个视差范围，每个视差范围以掩码值进行表示，每个掩码值具有对应的虚化强度。
因此，对于第一图像数据的每个像素点，可以查找其视差值所属的视差范围，并标记对应的掩码值，同时，对第一图像数据进行提亮，然后，基于不同的掩码值进行虚化处理。
假设掩码值与视差范围正相关，若突出前景、虚化背景，则掩码值越小，虚化处理的强度越大，若突出背景、虚化前景，则掩码值越大，虚化处理的强度越大。
例如，按照图3E所示的视差图像数据，可以对图3A所示的第一图像数据标记相应的掩码值，获得图3F所示的图像数据，不同层次的颜色代表不同的掩码值，并按照该掩码值进行虚化处理，获得图3G所示的图像数据，突出前景、虚化背景。
对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图4，示出了根据本发明一个实施例的一种图像数据的虚化处理装置实施例的结构框图，具体可以包括如下模块：
图像数据采集模块401，用于调用双摄像头采集第一图像数据、第二图像数据；
视差图像数据计算模块402，用于采用所述第一图像数据与所述第二图像数据计算视差图像数据；
虚化处理模块403，用于根据所述视差图像数据对所述第一图像数据进行虚化处理。
在本发明的一个实施例中，还包括：
标定处理模块，用于对所述双摄像头进行标定处理；
校正处理模块，用于依据所述标定处理的结果对所述第一图像数据与所述第二图像数据进行校正处理。
在本发明的一个实施例中，还包括：
边缘检测模块，用于检测所述第一图像数据的边缘；
优化处理模块，用于基于已检测边缘的所述第一图像数据对所述视差图像数据进行空洞填补处理和/或平滑处理。
在本发明的一个实施例中，所述虚化处理模块403包括：
视差值确定子模块，用于将所述视差图像数据映射至所述第一图像数据，以确定所述第一图像数据的视差值；
视差虚化子模块，用于按照所述视差值对所述第一图像数据进行虚化处理。
在本发明的一个实施例中，所述视差虚化子模块包括：
视差范围查找单元，用于查找所述视差值所属的视差范围；
掩码值标记单元，用于对所述第一图像数据标记所述视差范围对应的掩码值；
虚化强度查询单元，用于查询所述掩码值对应的虚化强度；
强度虚化单元，用于按照所述虚化强度对所述第一图像数据进行虚化处理。
在本发明的一个实施例中，所述视差虚化子模块还包括：
亮度提升单元，用于提升所述第一图像数据的亮度值。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明实施例还提供了移动终端，如图5所示，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该移动终端可以为包括手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Pointof Sales，销售终端)、车载电脑等任意终端设备，以终端为手机为例：
图5示出的是与本发明实施例提供的移动终端相关的手机的部分结构的框图。参考图5，手机包括：射频(Radio Frequency，RF)电路510、存储器520、输入单元530、显示单元540、传感器550、音频电路560、无线保真(wireless fidelity，WiFi)模块570、处理器580、以及电源590等部件。本领域技术人员可以理解，图5中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图5对手机的各个构成部件进行具体的介绍：
RF电路510可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器580处理；另外，将设计上行的数据发送给基站。通常，RF电路510包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier，LNA)、双工器等。此外，RF电路510还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication，GSM)、通用分组无线服务(General Packet RadioService，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。
存储器520可用于存储软件程序以及模块，处理器580通过运行存储在存储器520的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器520可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元530可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元530可包括触控面板531以及其他输入设备532。触控面板531，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板531上或在触控面板531附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板531可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器580，并能接收处理器580发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板531。除了触控面板531，输入单元530还可以包括其他输入设备532。具体地，其他输入设备532可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元540可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元540可包括显示面板541，可选的，可以采用液晶显示器(Liquid CrystalDisplay，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板541。进一步的，触控面板531可覆盖显示面板541，当触控面板531检测到在其上或附近的触摸操作后，传送给处理器580以确定触摸事件的类型，随后处理器580根据触摸事件的类型在显示面板541上提供相应的视觉输出。虽然在图5中，触控面板531与显示面板541是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板531与显示面板541集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器550，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板541的亮度，接近传感器可在手机移动到耳边时，关闭显示面板541和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路560、扬声器561，传声器562可提供用户与手机之间的音频接口。音频电路560可将接收到的音频数据转换后的电信号，传输到扬声器561，由扬声器561转换为声音信号输出；另一方面，传声器562将收集的声音信号转换为电信号，由音频电路560接收后转换为音频数据，再将音频数据输出处理器580处理后，经RF电路510以发送给比如另一手机，或者将音频数据输出至存储器520以便进一步处理。
WiFi属于短距离无线传输技术，手机通过WiFi模块570可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图5示出了WiFi模块570，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器580是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器520内的软件程序和/或模块，以及调用存储在存储器520内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器580可包括一个或多个处理单元；优选的，处理器580可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器580中。
手机还包括给各个部件供电的电源590(比如电池)，优选的，电源可以通过电源管理系统与处理器580逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本发明实施例中，该移动终端所包括的处理器580还具有以下功能：
调用双摄像头采集第一图像数据、第二图像数据；
采用所述第一图像数据与所述第二图像数据计算视差图像数据；
根据所述视差图像数据对所述第一图像数据进行虚化处理。
可选地，该移动终端所包括的处理器580还具有以下功能：
对所述双摄像头进行标定处理；
依据所述标定处理的结果对所述第一图像数据与所述第二图像数据进行校正处理。
可选地，该移动终端所包括的处理器580还具有以下功能：
检测所述第一图像数据的边缘；
基于已检测边缘的所述第一图像数据对所述视差图像数据进行空洞填补处理和/或平滑处理。
可选地，该移动终端所包括的处理器580还具有以下功能：
将所述视差图像数据映射至所述第一图像数据，以确定所述第一图像数据的视差值；
按照所述视差值对所述第一图像数据进行虚化处理。
可选地，该移动终端所包括的处理器580还具有以下功能：
查找所述视差值所属的视差范围；
对所述第一图像数据标记所述视差范围对应的掩码值；
查询所述掩码值对应的虚化强度；
按照所述虚化强度对所述第一图像数据进行虚化处理。
可选地，该移动终端所包括的处理器580还具有以下功能：
提升所述第一图像数据的亮度值。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上对本发明所提供的一种图像数据的虚化处理方法、一种图像数据的虚化处理装置和一种移动终端进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
本发明实施例公开了A1、一种图像数据的虚化处理方法，包括：
调用双摄像头采集第一图像数据、第二图像数据；
采用所述第一图像数据与所述第二图像数据计算视差图像数据；
根据所述视差图像数据对所述第一图像数据进行虚化处理。
A2、如A1所述的方法，还包括：
对所述双摄像头进行标定处理；
依据所述标定处理的结果对所述第一图像数据与所述第二图像数据进行校正处理。
A3、如A1所述的方法，在所述根据所述视差图像数据对所述第一图像数据进行虚化处理之前，还包括：
检测所述第一图像数据的边缘；
基于已检测边缘的所述第一图像数据对所述视差图像数据进行空洞填补处理和/或平滑处理。
A4、如A1或A2或A3所述的方法，所述根据所述视差图像数据对所述第一图像数据进行虚化处理，包括：
将所述视差图像数据映射至所述第一图像数据，以确定所述第一图像数据的视差值；
按照所述视差值对所述第一图像数据进行虚化处理。
A5、如A4所述的方法，所述按照所述视差值对所述第一图像数据进行虚化处理，包括：
查找所述视差值所属的视差范围；
对所述第一图像数据标记所述视差范围对应的掩码值；
查询所述掩码值对应的虚化强度；
按照所述虚化强度对所述第一图像数据进行虚化处理。
A6、如A5所述的方法，所述按照所述视差值对所述第一图像数据进行虚化处理，还包括：
提升所述第一图像数据的亮度值。
本发明实施例公开了B7、一种图像数据的虚化处理装置，包括：
图像数据采集模块，用于调用双摄像头采集第一图像数据、第二图像数据；
视差图像数据计算模块，用于采用所述第一图像数据与所述第二图像数据计算视差图像数据；
虚化处理模块，用于根据所述视差图像数据对所述第一图像数据进行虚化处理。
B8、如B7所述的装置，还包括：
标定处理模块，用于对所述双摄像头进行标定处理；
校正处理模块，用于依据所述标定处理的结果对所述第一图像数据与所述第二图像数据进行校正处理。
B9、如B7所述的装置，还包括：
边缘检测模块，用于检测所述第一图像数据的边缘；
优化处理模块，用于基于已检测边缘的所述第一图像数据对所述视差图像数据进行空洞填补处理和/或平滑处理。
B10、如B7或B8或B9所述的装置，所述虚化处理模块包括：
视差值确定子模块，用于将所述视差图像数据映射至所述第一图像数据，以确定所述第一图像数据的视差值；
视差虚化子模块，用于按照所述视差值对所述第一图像数据进行虚化处理。
B11、如B10所述的装置，所述视差虚化子模块包括：
视差范围查找单元，用于查找所述视差值所属的视差范围；
掩码值标记单元，用于对所述第一图像数据标记所述视差范围对应的掩码值；
虚化强度查询单元，用于查询所述掩码值对应的虚化强度；
强度虚化单元，用于按照所述虚化强度对所述第一图像数据进行虚化处理。
B12、如B11所述的装置，所述视差虚化子模块还包括：
亮度提升单元，用于提升所述第一图像数据的亮度值。
本发明实施例公开了C13、一种移动终端，包括处理器和存储器；
所述存储器用于存储支持执行A1至A6中所述的图像数据的虚化处理的程序；
所述处理器被配置为用于执行所述存储器中存储的程序。
Claims (10)
1.一种图像数据的虚化处理方法，包括：
调用双摄像头采集第一图像数据、第二图像数据；
采用所述第一图像数据与所述第二图像数据计算视差图像数据；
根据所述视差图像数据对所述第一图像数据进行虚化处理。
2.如权利要求1所述的方法，其特征在于，还包括：
对所述双摄像头进行标定处理；
依据所述标定处理的结果对所述第一图像数据与所述第二图像数据进行校正处理。
3.如权利要求1所述的方法，其特征在于，在所述根据所述视差图像数据对所述第一图像数据进行虚化处理之前，还包括：
检测所述第一图像数据的边缘；
基于已检测边缘的所述第一图像数据对所述视差图像数据进行空洞填补处理和/或平滑处理。
4.如权利要求1或2或3所述的方法，其特征在于，所述根据所述视差图像数据对所述第一图像数据进行虚化处理，包括：
将所述视差图像数据映射至所述第一图像数据，以确定所述第一图像数据的视差值；
按照所述视差值对所述第一图像数据进行虚化处理。
5.如权利要求4所述的方法，其特征在于，所述按照所述视差值对所述第一图像数据进行虚化处理，包括：
查找所述视差值所属的视差范围；
对所述第一图像数据标记所述视差范围对应的掩码值；
查询所述掩码值对应的虚化强度；
按照所述虚化强度对所述第一图像数据进行虚化处理。
6.如权利要求5所述的方法，其特征在于，所述按照所述视差值对所述第一图像数据进行虚化处理，还包括：
提升所述第一图像数据的亮度值。
7.一种图像数据的虚化处理装置，包括：
图像数据采集模块，用于调用双摄像头采集第一图像数据、第二图像数据；
视差图像数据计算模块，用于采用所述第一图像数据与所述第二图像数据计算视差图像数据；
虚化处理模块，用于根据所述视差图像数据对所述第一图像数据进行虚化处理。
8.如权利要求7所述的装置，其特征在于，还包括：
标定处理模块，用于对所述双摄像头进行标定处理；
校正处理模块，用于依据所述标定处理的结果对所述第一图像数据与所述第二图像数据进行校正处理。
9.如权利要求7所述的装置，其特征在于，还包括：
边缘检测模块，用于检测所述第一图像数据的边缘；
优化处理模块，用于基于已检测边缘的所述第一图像数据对所述视差图像数据进行空洞填补处理和/或平滑处理。
10.一种移动终端，包括处理器和存储器；
所述存储器用于存储支持执行权利要求1至权利要求6中所述的图像数据的虚化处理的程序；
所述处理器被配置为用于执行所述存储器中存储的程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711465486.6A CN108076291A (zh) | 2017-12-28 | 2017-12-28 | 一种图像数据的虚化处理方法、装置和移动终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711465486.6A CN108076291A (zh) | 2017-12-28 | 2017-12-28 | 一种图像数据的虚化处理方法、装置和移动终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108076291A true CN108076291A (zh) | 2018-05-25 |
Family
ID=62155931
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711465486.6A Pending CN108076291A (zh) | 2017-12-28 | 2017-12-28 | 一种图像数据的虚化处理方法、装置和移动终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108076291A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108848367A (zh) * | 2018-07-26 | 2018-11-20 | 宁波视睿迪光电有限公司 | 一种图像处理的方法、装置及移动终端 |
| CN109274939A (zh) * | 2018-09-29 | 2019-01-25 | 成都臻识科技发展有限公司 | 一种基于三摄像头模组的停车场出入口监控方法及系统 |
| WO2019237981A1 (en) * | 2018-06-15 | 2019-12-19 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image compensation method, image compensation apparatus, and electronic device |
| CN112233150A (zh) * | 2020-09-09 | 2021-01-15 | 北京迈格威科技有限公司 | 图像处理和虚化方法、装置、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102436671A (zh) * | 2011-08-16 | 2012-05-02 | 上海交通大学 | 一种基于深度值非线性变换的虚拟视点绘制方法 |
| CN103238168A (zh) * | 2010-12-03 | 2013-08-07 | 夏普株式会社 | 图像处理装置、图像处理方法及图像处理程序 |
| US20140085296A1 (en) * | 2012-09-26 | 2014-03-27 | Samsung Electronics Co., Ltd. | Apparatus and method for processing multi-view image |
| CN106952222A (zh) * | 2017-03-17 | 2017-07-14 | 成都通甲优博科技有限责任公司 | 一种交互式图像虚化方法及装置 |
| CN107248137A (zh) * | 2017-04-27 | 2017-10-13 | 努比亚技术有限公司 | 一种实现图像处理的方法及移动终端 |
| CN107493432A (zh) * | 2017-08-31 | 2017-12-19 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、移动终端及计算机可读存储介质 |
-
2017
- 2017-12-28 CN CN201711465486.6A patent/CN108076291A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103238168A (zh) * | 2010-12-03 | 2013-08-07 | 夏普株式会社 | 图像处理装置、图像处理方法及图像处理程序 |
| CN102436671A (zh) * | 2011-08-16 | 2012-05-02 | 上海交通大学 | 一种基于深度值非线性变换的虚拟视点绘制方法 |
| US20140085296A1 (en) * | 2012-09-26 | 2014-03-27 | Samsung Electronics Co., Ltd. | Apparatus and method for processing multi-view image |
| CN106952222A (zh) * | 2017-03-17 | 2017-07-14 | 成都通甲优博科技有限责任公司 | 一种交互式图像虚化方法及装置 |
| CN107248137A (zh) * | 2017-04-27 | 2017-10-13 | 努比亚技术有限公司 | 一种实现图像处理的方法及移动终端 |
| CN107493432A (zh) * | 2017-08-31 | 2017-12-19 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、移动终端及计算机可读存储介质 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019237981A1 (en) * | 2018-06-15 | 2019-12-19 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image compensation method, image compensation apparatus, and electronic device |
| US10567659B2 (en) | 2018-06-15 | 2020-02-18 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image compensation method, electronic device and computer-readable storage medium |
| CN108848367A (zh) * | 2018-07-26 | 2018-11-20 | 宁波视睿迪光电有限公司 | 一种图像处理的方法、装置及移动终端 |
| CN109274939A (zh) * | 2018-09-29 | 2019-01-25 | 成都臻识科技发展有限公司 | 一种基于三摄像头模组的停车场出入口监控方法及系统 |
| CN112233150A (zh) * | 2020-09-09 | 2021-01-15 | 北京迈格威科技有限公司 | 图像处理和虚化方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107507239B (zh) | 一种图像分割方法及移动终端 | |
| CN104135609B (zh) | 辅助拍照方法、装置及终端 | |
| CN107958469A (zh) | 一种双摄像头的标定方法、装置、系统和移动终端 | |
| EP3410391A1 (en) | Image blurring method, electronic device and computer readable storage medium | |
| CN108076291A (zh) | 一种图像数据的虚化处理方法、装置和移动终端 | |
| JP2021513278A (ja) | 画像処理方法および関連デバイス | |
| CN109213728A (zh) | 基于增强现实的文物展示方法及系统 | |
| CN103871051A (zh) | 图像处理方法、装置和电子设备 | |
| CN109165606B (zh) | 一种车辆信息的获取方法、装置以及存储介质 | |
| CN109068043A (zh) | 一种移动终端的图像成像方法及装置 | |
| CN104463105B (zh) | 路牌识别方法及装置 | |
| CN107592466A (zh) | 一种拍照方法及移动终端 | |
| CN105828068A (zh) | 一种对摄像头进行遮挡检测的方法、装置及终端设备 | |
| CN108195390A (zh) | 一种导航方法、装置及移动终端 | |
| CN107124556A (zh) | 对焦方法、装置、计算机可读存储介质和移动终端 | |
| CN104751404A (zh) | 一种图像变换的方法及装置 | |
| CN107846583A (zh) | 一种图像阴影补偿方法及移动终端 | |
| CN107172349B (zh) | 移动终端拍摄方法、移动终端及计算机可读存储介质 | |
| US11425355B2 (en) | Depth image obtaining method, image capture device, and terminal | |
| CN109213885A (zh) | 基于增强现实的汽车展示方法及系统 | |
| CN107682639A (zh) | 一种图像处理方法、装置及移动终端 | |
| CN107864336A (zh) | 一种图像处理方法、移动终端 | |
| EP3416130A1 (en) | Method, device and nonvolatile computer-readable medium for image composition | |
| CN108209925A (zh) | 一种人体身高的测量方法、装置和移动终端 | |
| CN111127541B (zh) | 车辆尺寸的确定方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180525 |
|
| RJ01 | Rejection of invention patent application after publication |