CN106651755A - 一种终端全景图像处理方法、装置及终端 - Google Patents

一种终端全景图像处理方法、装置及终端 Download PDF

Info

Publication number
CN106651755A
CN106651755A CN201611020684.7A CN201611020684A CN106651755A CN 106651755 A CN106651755 A CN 106651755A CN 201611020684 A CN201611020684 A CN 201611020684A CN 106651755 A CN106651755 A CN 106651755A
Authority
CN
China
Prior art keywords
depth
image
depth information
overlapping region
information value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611020684.7A
Other languages
English (en)
Inventor
闫明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yulong Computer Telecommunication Scientific Shenzhen Co Ltd
Original Assignee
Yulong Computer Telecommunication Scientific Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yulong Computer Telecommunication Scientific Shenzhen Co Ltd filed Critical Yulong Computer Telecommunication Scientific Shenzhen Co Ltd
Priority to CN201611020684.7A priority Critical patent/CN106651755A/zh
Priority to PCT/CN2016/112775 priority patent/WO2018090455A1/zh
Publication of CN106651755A publication Critical patent/CN106651755A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种终端全景图像处理方法、装置及终端，该终端全景图像处理方法包括：通过全景拍摄获取相邻的两帧景深图像，并获取分别对应的深度信息值；确定两帧景深图像的场景重叠区域，并得到重叠区域的图像；利用深度信息值对重叠区域的图像进行景深平滑处理，并将处理后的图像进行全景拼接；采用上述方案，利用相邻两帧景深图像分别的深度信息值对重叠区域的图像进行景深平滑处理，使得得到的全景图像具有背景虚化效果，立体感强，层次感强，景物重点突出，拼接过渡自然，视觉效果好。

Description

一种终端全景图像处理方法、装置及终端
技术领域
本发明涉及终端技术领域，尤其涉及一种终端全景图像处理方法、装置及终端。
背景技术
目前，在使用手机进行全景拍摄时，基本上都是采用单摄像头拍摄的方式，将手机平移进行拍摄，在平移的过程中，需要用户平稳地水平移动手机，在准确移动到取景框中箭头标识的地方时，拍摄下一张图像，将前后两张图像拼接，在旋转180度后，得到一张全景图像。
由于单摄像头无法采集图像的深度信息，所以单摄像头拍摄得到的全景图像没有背景虚化，无法体现出立体感与层次感。
如果平移速度过快，会使拼接后的图像过渡不自然，两张图像没有完全融合，产生失真现象。
发明内容
本发明主要解决的技术问题是，提供一种终端全景图像处理方法、装置及终端，解决现有技术中，采用单摄像头拍摄得到的全景图像没有背景虚化，无法体现出立体感与层次感，拼接后得到的全景图像过渡不自然的问题。
为解决上述技术问题，本发明提供一种终端全景图像处理方法，包括：
通过全景拍摄获取相邻的两帧景深图像，并获取分别对应的深度信息值；
确定两帧景深图像的场景重叠区域，并得到重叠区域的图像；
利用深度信息值对重叠区域的图像进行景深平滑处理，并将处理后的图像进行全景拼接。
其中，利用深度信息值对重叠区域的图像进行景深平滑处理包括：
对相邻的两帧景深图像分别对应的深度信息值计算深度信息均值；
利用深度信息均值对重叠区域的图像进行景深调整。
其中，利用深度信息值对重叠区域的图像进行景深平滑处理包括：
将重叠区域的图像纵向划分成至少二等分子图像；
对相邻的两帧景深图像分别对应的深度信息值计算深度信息和值；
根据深度信息和值和相邻的两帧景深图像分别对应的深度信息值确定各等分子图像的深度信息值，使得相邻等分子图像的深度信息差值相等；
利用各等分子图像的深度信息值对对应的等分子图像进行景深调整。
其中，确定两帧景深图像的场景重叠区域包括：
将相邻的两帧景深图像进行相向步进移动，确定预重叠区域；
计算预重叠区域的相似性指数；
当相似性指数是否满足预设的标准指数时，将预重叠区域确定为场景重叠区域。
其中，计算预重叠区域的相似性指数包括：
计算预重叠区域图像的灰度值分布直方图；
利用欧式距离计算算法计算两个灰度图像的距离；
将距离作为相似性指数。
为解决上述技术问题，本发明提供一种终端全景图像处理装置，包括：
获取模块，用于通过全景拍摄获取相邻的两帧景深图像，并获取分别对应的深度信息值；
确定模块，用于确定两帧景深图像的场景重叠区域，并得到重叠区域的图像；
景深平滑处理模块，用于利用深度信息值对重叠区域的图像进行景深平滑处理；
全景拼接模块，用于将景深平滑处理模块处理后的图像进行全景拼接。
其中，景深平滑处理模块包括：
第一计算子模块，用于对相邻的两帧景深图像分别对应的深度信息值计算深度信息均值；
第一景深调整子模块，用于利用深度信息均值对重叠区域的图像进行景深调整。
其中，景深平滑处理模块包括：
划分子模块，用于将重叠区域的图像纵向划分成至少二等分子图像；
第二计算子模块，用于对相邻的两帧景深图像分别对应的深度信息值计算深度信息和值；
第一确定子模块，用于根据深度信息和值和相邻的两帧景深图像分别对应的深度信息值确定各等分子图像的深度信息值，使得相邻等分子图像的深度信息差值相等；
第二景深调整子模块，用于利用各等分子图像的深度信息值对对应的等分子图像进行景深调整。
其中，确定模块包括：
第二确定子模块，用于将相邻的两帧景深图像进行相向步进移动，确定预重叠区域；
第三计算子模块，用于计算预重叠区域的相似性指数；
第三确定子模块，用于当相似性指数是否满足预设的标准指数时，将预重叠区域确定为场景重叠区域。
其中，第三计算子模块具体用于计算预重叠区域图像的灰度值分布直方图；利用欧式距离计算算法计算两个灰度图像的距离；将距离作为相似性指数。
为解决上述技术问题，本发明提供一种终端，包括上述的终端全景图像处理装置。
根据本发明提供的一种终端全景图像处理方法、装置及终端，该终端全景图像处理方法包括：通过全景拍摄获取相邻的两帧景深图像，并获取分别对应的深度信息值；确定两帧景深图像的场景重叠区域，并得到重叠区域的图像；利用深度信息值对重叠区域的图像进行景深平滑处理，并将处理后的图像进行全景拼接；采用上述方案，利用相邻两帧景深图像分别的深度信息值对重叠区域的图像进行景深平滑处理，使得得到的全景图像具有背景虚化效果，立体感强，层次感强，景物重点突出，拼接过渡自然，视觉效果好。
附图说明
图1为本发明实施例一提供的一种终端全景图像处理方法的流程图；
图2为本发明实施例二提供的一种终端全景图像处理装置的示意图；
图3为本发明实施例二提供的另一种终端全景图像处理装置的示意图；
图4为本发明实施例三提供的一种终端的示意图；
图5为本发明实施例四提供的另一种终端的示意图。
具体实施方式
应当理解的是，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
下面通过具体实施方式结合附图对本发明作进一步详细说明。
实施例一
本实施例提供一种终端全景图像处理方法，参见图1，图1为本实施例提供的一种终端全景图像处理方法的流程图，该终端全景图像处理方法包括以下步骤：
S11：通过全景拍摄获取相邻的两帧景深图像，并获取分别对应的深度信息值。
例如通过终端的两颗摄像头同时拍摄第一帧景象，利用立体匹配算法得到该景象的景深图像，记为景深图像A；然后水平向右平移摄像头2cm距离，再次采用两颗摄像头同时拍摄第二帧景象，利用立体匹配算法得到该景象的景深图像，记为景深图像B。
在获取到了景深图像A和景深图像B，还需确定出景深图像A的深度信息值以及景深图像B的深度信息值。
景深图像B是景深图像A平移了一小段距离后得到的图像，因此，景深图像B与景深图像A大部分场景是重叠的。
其中，立体匹配算法就是在两幅图象的匹配基元之间建立对应关系的过程，它是双目立体视觉系统的关键。实际上，任何计算机视觉系统中都包含一个作为其核心的匹配算法，因而对于匹配算法的研究是极为重要的。
为了比较全面地考察匹配算法，不妨将双目立体视觉的匹配算法扩展到更一般的情况来分析：假设给定两幅同一环境的图象，这两幅图象可能由于摄取的时间、方位或方式的不同而有差别，如双目立体视觉系统所摄取的两幅图象、地图与遥感或航测图象等，若要找到彼此对应的部分，一般有两种考虑途径:(1)灰度分布的相关性；(2)特征分布的相似性。因而就有两类算法：(1)基于灰度的算法(intensity based)；(2)基于特征的算法(feature based)。如果按照控制策略分，有如下几种：(1)粗到精多层次结构(coarse-to-fine，hierarchical)；(2)引入约束条件的松驰法(constraints，relaxation)；(3)多级表示的决策结构(multilevel representation)。
S12：确定两帧景深图像的场景重叠区域，并得到重叠区域的图像。
S12中确定两帧景深图像的场景重叠区域包括：
首先将相邻的两帧景深图像进行相向步进移动，确定预重叠区域；
例如将上述的景深图像A向右移动，将景深图像B向左移动，且景深图像A、景深图像B在进行一次移动的过程中，移动的幅度都是相等的。
然后计算预重叠区域的相似性指数；
其中，计算预重叠区域的相似性指数包括：
计算预重叠区域图像的灰度值分布直方图；获取从0-255灰度值的分布直方图；
利用欧式距离计算算法计算两个灰度图像的距离；
将距离作为相似性指数；
最后当相似性指数是否满足预设的标准指数时，将预重叠区域确定为场景重叠区域。
相似性指数不满足预设的标准指数，则继续移动景深图像A和景深图像B，直至预重叠区域的相似性指数满足预设的标准指数。
在另一种实施方式中，也可以将景深图像B从景深图像A最左处开始，往右平移，若预重叠区域的相似性指数不满足预设的标准指数，则继续移动景深图像B，直至相似性指数满足预设的标准指数。
S13：利用深度信息值对重叠区域的图像进行景深平滑处理，并将处理后的图像进行全景拼接。
在一种实施方式中，S13中利用深度信息值对重叠区域的图像进行景深平滑处理包括：
对相邻的两帧景深图像分别对应的深度信息值计算深度信息均值；
利用深度信息均值对重叠区域的图像进行景深调整。
例如上述的景深图像A的深度信息值为a，景深图像B的深度信息值为b，则景深图像A、景深图像B的深度信息均值为(a+b)/2；利用(a+b)/2对景深图像A与景深图像B的重叠区域的图像进行景深调整。
根据(a+b)/2，对景深图像A与景深图像B的重叠区域的图像进行背景虚化；虚化时，深度信息值越大的区域进行中值滤波变得模糊，深度信息值越小的区域进行图像锐化变得清晰。以此类推，完成所有拍摄图像的虚化与拼接工作后得到全景图像。
在另一种实施方式中，S13中利用深度信息值对重叠区域的图像进行景深平滑处理包括：
将重叠区域的图像纵向划分成至少二等分子图像；
对相邻的两帧景深图像分别对应的深度信息值计算深度信息和值；
根据深度信息和值和相邻的两帧景深图像分别对应的深度信息值确定各等分子图像的深度信息值，使得相邻等分子图像的深度信息差值相等；
利用各等分子图像的深度信息值对对应的等分子图像进行景深调整。
例如，景深图像A的深度信息值为1，景深图像B的深度信息值为5，将景深图像A、景深图像B的重叠区域的图像纵向划分成三等分子图像，从左到右依次记为等分子图像C、等分子图像D、等分子图像E，要使相邻等分子图像的深度信息差值相等，所以等分子图像C的深度信息值为2、等分子图像D的深度信息值为3、等分子图像E的深度信息值为4，然后再利用深度信息值2对等分子图像C进行景深调整，利用深度信息值3对等分子图像D进行景深调整，用深度信息值4对等分子图像E进行景深调整。以此类推，完成所有拍摄图像的虚化与拼接工作后得到全景图像。
通过本实施例的实施，利用相邻两帧景深图像分别的深度信息值对重叠区域的图像进行景深平滑处理，使得得到的全景图像具有背景虚化效果，立体感强，层次感强，景物重点突出，拼接过渡自然，视觉效果好。
实施例二
本实施例提供一种终端全景图像处理装置，参见图2，图2为本实施例提供的一种终端全景图像处理装置的示意图，该终端全景图像处理装置包括：获取模块21、确定模块22、景深平滑处理模块23、全景拼接模块24，其中，
获取模块21，用于通过全景拍摄获取相邻的两帧景深图像，并获取分别对应的深度信息值。
例如通过终端的两颗摄像头同时拍摄第一帧景象，利用立体匹配算法得到该景象的景深图像，记为景深图像A；然后水平向右平移摄像头2cm距离，再次采用两颗摄像头同时拍摄第二帧景象，利用立体匹配算法得到该景象的景深图像，记为景深图像B。
在获取到了景深图像A和景深图像B，还需确定出景深图像A的深度信息值以及景深图像B的深度信息值。
景深图像B是景深图像A平移了一小段距离后得到的图像，因此，景深图像B与景深图像A大部分场景是重叠的。
确定模块22，用于确定两帧景深图像的场景重叠区域，并得到重叠区域的图像；
其中，确定模块22包括：
第二确定子模块221，用于将相邻的两帧景深图像进行相向步进移动，确定预重叠区域；
例如将上述的景深图像A向右移动，将景深图像B向左移动，且景深图像A、景深图像B在进行一次移动的过程中，移动的幅度都是相等的。
第三计算子模块222，用于计算预重叠区域的相似性指数；
其中，第三计算子模块222具体用于计算预重叠区域图像的灰度值分布直方图；获取从0-255灰度值的分布直方图；利用欧式距离计算算法计算两个灰度图像的距离；将距离作为相似性指数。
第三确定子模块223，用于当相似性指数是否满足预设的标准指数时，将预重叠区域确定为场景重叠区域。
相似性指数不满足预设的标准指数，则继续移动景深图像A和景深图像B，直至预重叠区域的相似性指数满足预设的标准指数。
在另一种实施方式中，也可以将景深图像B从景深图像A最左处开始，往右平移，若预重叠区域的相似性指数不满足预设的标准指数，则继续移动景深图像B，直至相似性指数满足预设的标准指数。
景深平滑处理模块23，用于利用深度信息值对重叠区域的图像进行景深平滑处理。
在一种实施方式中，景深平滑处理模块23包括：
第一计算子模块231，用于对相邻的两帧景深图像分别对应的深度信息值计算深度信息均值；
第一景深调整子模块232，用于利用深度信息均值对重叠区域的图像进行景深调整。
例如上述的景深图像A的深度信息值为a，景深图像B的深度信息值为b，则景深图像A、景深图像B的深度信息均值为(a+b)/2；利用(a+b)/2对景深图像A与景深图像B的重叠区域的图像进行景深调整。
根据(a+b)/2，对景深图像A与景深图像B的重叠区域的图像进行背景虚化；虚化时，深度信息值越大的区域进行中值滤波变得模糊，深度信息值越小的区域进行图像锐化变得清晰。以此类推，完成所有拍摄图像的虚化与拼接工作后得到全景图像。
在另一种实施方式中，参见图3，图3为本实施例提供的另一种终端全景图像处理装置的示意图，景深平滑处理模块23包括：
划分子模块233，用于将重叠区域的图像纵向划分成至少二等分子图像；
第二计算子模块234，用于对相邻的两帧景深图像分别对应的深度信息值计算深度信息和值；
第一确定子模块235，用于根据深度信息和值和相邻的两帧景深图像分别对应的深度信息值确定各等分子图像的深度信息值，使得相邻等分子图像的深度信息差值相等；
第二景深调整子模块236，用于利用各等分子图像的深度信息值对对应的等分子图像进行景深调整。
例如景深图像A的深度信息值为1，景深图像B的深度信息值为5，将景深图像A、景深图像B的重叠区域的图像纵向划分成三等分子图像，从左到右依次记为等分子图像C、等分子图像D、等分子图像E，要使相邻等分子图像的深度信息差值相等，所以等分子图像C的深度信息值为2、等分子图像D的深度信息值为3、等分子图像E的深度信息值为4，然后再利用深度信息值2对等分子图像C进行景深调整，利用深度信息值3对等分子图像D进行景深调整，用深度信息值4对等分子图像E进行景深调整。以此类推，完成所有拍摄图像的虚化与拼接工作后得到全景图像。
全景拼接模块24，用于将景深平滑处理模块23处理后的图像进行全景拼接。
通过本实施例的实施，利用相邻两帧景深图像分别的深度信息值对重叠区域的图像进行景深平滑处理，使得得到的全景图像具有背景虚化效果，立体感强，层次感强，景物重点突出，拼接过渡自然，视觉效果好。
实施例三
本实施例提供一种终端，参见图4，图4为本实施例提供的一种终端的示意图，该终端包括实施例二中的终端全景图像处理装置。
终端通过全景拍摄获取相邻的两帧景深图像，并获取分别对应的深度信息值。
例如通过终端的两颗摄像头同时拍摄第一帧景象，利用立体匹配算法得到该景象的景深图像，记为景深图像A；然后水平向右平移摄像头2cm距离，再次采用两颗摄像头同时拍摄第二帧景象，利用立体匹配算法得到该景象的景深图像，记为景深图像B。
在获取到了景深图像A和景深图像B，还需确定出景深图像A的深度信息值以及景深图像B的深度信息值。
景深图像B是景深图像A平移了一小段距离后得到的图像，因此，景深图像B与景深图像A大部分场景是重叠的。
终端确定两帧景深图像的场景重叠区域，并得到重叠区域的图像。
其中，确定两帧景深图像的场景重叠区域包括：
首先将相邻的两帧景深图像进行相向步进移动，确定预重叠区域；
例如将上述的景深图像A向右移动，将景深图像B向左移动，且景深图像A、景深图像B在进行一次移动的过程中，移动的幅度都是相等的。
然后计算预重叠区域的相似性指数；
其中，计算预重叠区域的相似性指数包括：
计算预重叠区域图像的灰度值分布直方图；获取从0-255灰度值的分布直方图；
利用欧式距离计算算法计算两个灰度图像的距离；
将距离作为相似性指数；
最后当相似性指数是否满足预设的标准指数时，将预重叠区域确定为场景重叠区域。
相似性指数不满足预设的标准指数，则继续移动景深图像A和景深图像B，直至预重叠区域的相似性指数满足预设的标准指数。
在另一种实施方式中，也可以将景深图像B从景深图像A最左处开始，往右平移，若预重叠区域的相似性指数不满足预设的标准指数，则继续移动景深图像B，直至相似性指数满足预设的标准指数。
终端利用深度信息值对重叠区域的图像进行景深平滑处理，并将处理后的图像进行全景拼接。
在一种实施方式中，利用深度信息值对重叠区域的图像进行景深平滑处理包括：
对相邻的两帧景深图像分别对应的深度信息值计算深度信息均值；
利用深度信息均值对重叠区域的图像进行景深调整。
例如上述的景深图像A的深度信息值为a，景深图像B的深度信息值为b，则景深图像A、景深图像B的深度信息均值为(a+b)/2；利用(a+b)/2对景深图像A与景深图像B的重叠区域的图像进行景深调整。
根据(a+b)/2，对景深图像A与景深图像B的重叠区域的图像进行背景虚化；虚化时，深度信息值越大的区域进行中值滤波变得模糊，深度信息值越小的区域进行图像锐化变得清晰。以此类推，完成所有拍摄图像的虚化与拼接工作后得到全景图像。
在另一种实施方式中，利用深度信息值对重叠区域的图像进行景深平滑处理包括：
将重叠区域的图像纵向划分成至少二等分子图像；
对相邻的两帧景深图像分别对应的深度信息值计算深度信息和值；
根据深度信息和值和相邻的两帧景深图像分别对应的深度信息值确定各等分子图像的深度信息值，使得相邻等分子图像的深度信息差值相等；
利用各等分子图像的深度信息值对对应的等分子图像进行景深调整。
例如景深图像A的深度信息值为1，景深图像B的深度信息值为5，将景深图像A、景深图像B的重叠区域的图像纵向划分成三等分子图像，从左到右依次记为等分子图像C、等分子图像D、等分子图像E，要使相邻等分子图像的深度信息差值相等，所以等分子图像C的深度信息值为2、等分子图像D的深度信息值为3、等分子图像E的深度信息值为4，然后再利用深度信息值2对等分子图像C进行景深调整，利用深度信息值3对等分子图像D进行景深调整，用深度信息值4对等分子图像E进行景深调整。以此类推，完成所有拍摄图像的虚化与拼接工作后得到全景图像。
通过本实施例的实施，利用相邻两帧景深图像分别的深度信息值对重叠区域的图像进行景深平滑处理，使得得到的全景图像具有背景虚化效果，立体感强，层次感强，景物重点突出，拼接过渡自然，视觉效果好。
实施例四
为了便于更好地实施实施例一中的终端全景图像处理方法，本实施例提供了用于实施实施例一中的终端全景图像处理方法的终端，参见图5，图5为本实施例提供的一种终端的示意图；该终端包括处理器51、存储器52；
存储器52可以存储由处理器51执行的处理和控制操作的软件程序等等，或者可以暂时地存储己经输出或将要输出的数据(例如，音频数据等)。
存储器52可以包括至少一种类型的存储介质，存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等等。
处理器51通常执行终端的总体操作。例如处理器51执行图像深度信息值的获取、对图像的景深平滑处理等相关的控制和处理。
存储器52内存储有多个指令以实现实施例一中的终端全景图像处理方法，处理器51执行多个指令以实现：
通过全景拍摄获取相邻的两帧景深图像，并获取分别对应的深度信息值。
例如通过终端的两颗摄像头同时拍摄第一帧景象，利用立体匹配算法得到该景象的景深图像，记为景深图像A；然后水平向右平移摄像头2cm距离，再次采用两颗摄像头同时拍摄第二帧景象，利用立体匹配算法得到该景象的景深图像，记为景深图像B。
在获取到了景深图像A和景深图像B，还需确定出景深图像A的深度信息值以及景深图像B的深度信息值。
景深图像B是景深图像A平移了一小段距离后得到的图像，因此，景深图像B与景深图像A大部分场景是重叠的。
确定两帧景深图像的场景重叠区域，并得到重叠区域的图像。
其中，确定两帧景深图像的场景重叠区域包括：
首先将相邻的两帧景深图像进行相向步进移动，确定预重叠区域；
例如将上述的景深图像A向右移动，将景深图像B向左移动，且景深图像A、景深图像B在进行一次移动的过程中，移动的幅度都是相等的。
然后计算预重叠区域的相似性指数；
其中，计算预重叠区域的相似性指数包括：
计算预重叠区域图像的灰度值分布直方图；获取从0-255灰度值的分布直方图；
利用欧式距离计算算法计算两个灰度图像的距离；
将距离作为相似性指数；
最后当相似性指数是否满足预设的标准指数时，将预重叠区域确定为场景重叠区域。
相似性指数不满足预设的标准指数，则继续移动景深图像A和景深图像B，直至预重叠区域的相似性指数满足预设的标准指数。
在另一种实施方式中，也可以将景深图像B从景深图像A最左处开始，往右平移，若预重叠区域的相似性指数不满足预设的标准指数，则继续移动景深图像B，直至相似性指数满足预设的标准指数。
利用深度信息值对重叠区域的图像进行景深平滑处理，并将处理后的图像进行全景拼接。
在一种实施方式中，利用深度信息值对重叠区域的图像进行景深平滑处理包括：
对相邻的两帧景深图像分别对应的深度信息值计算深度信息均值；
利用深度信息均值对重叠区域的图像进行景深调整。
例如上述的景深图像A的深度信息值为a，景深图像B的深度信息值为b，则景深图像A、景深图像B的深度信息均值为(a+b)/2；利用(a+b)/2对景深图像A与景深图像B的重叠区域的图像进行景深调整。
根据(a+b)/2，对景深图像A与景深图像B的重叠区域的图像进行背景虚化；虚化时，深度信息值越大的区域进行中值滤波变得模糊，深度信息值越小的区域进行图像锐化变得清晰。以此类推，完成所有拍摄图像的虚化与拼接工作后得到全景图像。
在另一种实施方式中，利用深度信息值对重叠区域的图像进行景深平滑处理包括：
将重叠区域的图像纵向划分成至少二等分子图像；
对相邻的两帧景深图像分别对应的深度信息值计算深度信息和值；
根据深度信息和值和相邻的两帧景深图像分别对应的深度信息值确定各等分子图像的深度信息值，使得相邻等分子图像的深度信息差值相等；
利用各等分子图像的深度信息值对对应的等分子图像进行景深调整。
例如景深图像A的深度信息值为1，景深图像B的深度信息值为5，将景深图像A、景深图像B的重叠区域的图像纵向划分成三等分子图像，从左到右依次记为等分子图像C、等分子图像D、等分子图像E，要使相邻等分子图像的深度信息差值相等，所以等分子图像C的深度信息值为2、等分子图像D的深度信息值为3、等分子图像E的深度信息值为4，然后再利用深度信息值2对等分子图像C进行景深调整，利用深度信息值3对等分子图像D进行景深调整，用深度信息值4对等分子图像E进行景深调整。以此类推，完成所有拍摄图像的虚化与拼接工作后得到全景图像。
通过本实施例的实施，利用相邻两帧景深图像分别的深度信息值对重叠区域的图像进行景深平滑处理，使得得到的全景图像具有背景虚化效果，立体感强，层次感强，景物重点突出，拼接过渡自然，视觉效果好。
显然，本领域的技术人员应该明白，上述本发明实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储介质(ROM/RAM、磁碟、光盘)中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。所以，本发明不限制于任何特定的硬件和软件结合。
以上内容是结合具体的实施方式对本发明实施例所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (11)

1.一种终端全景图像处理方法，其特征在于，包括：
通过全景拍摄获取相邻的两帧景深图像，并获取分别对应的深度信息值；
确定所述两帧景深图像的场景重叠区域，并得到重叠区域的图像；
利用所述深度信息值对所述重叠区域的图像进行景深平滑处理，并将处理后的图像进行全景拼接。
2.根据权利要求1所述的终端全景图像处理方法，其特征在于，所述利用所述深度信息值对所述重叠区域的图像进行景深平滑处理包括：
对所述相邻的两帧景深图像分别对应的深度信息值计算深度信息均值；
利用所述深度信息均值对所述重叠区域的图像进行景深调整。
3.根据权利要求1所述的终端全景图像处理方法，其特征在于，所述利用所述深度信息值对所述重叠区域的图像进行景深平滑处理包括：
将重叠区域的图像纵向划分成至少二等分子图像；
对所述相邻的两帧景深图像分别对应的深度信息值计算深度信息和值；
根据所述深度信息和值和所述相邻的两帧景深图像分别对应的深度信息值确定各等分子图像的深度信息值，使得相邻等分子图像的深度信息差值相等；
利用各等分子图像的深度信息值对对应的等分子图像进行景深调整。
4.根据权利要求1-3任一项所述的终端全景图像处理方法，其特征在于，所述确定所述两帧景深图像的场景重叠区域包括：
将所述相邻的两帧景深图像进行相向步进移动，确定预重叠区域；
计算预重叠区域的相似性指数；
当所述相似性指数是否满足预设的标准指数时，将所述预重叠区域确定为场景重叠区域。
5.根据权利要求4所述的终端全景图像处理方法，其特征在于，所述计算预重叠区域的相似性指数包括：
计算预重叠区域图像的灰度值分布直方图；
利用欧式距离计算算法计算两个灰度图像的距离；
将所述距离作为相似性指数。
6.一种终端全景图像处理装置，其特征在于，包括：
获取模块，用于通过全景拍摄获取相邻的两帧景深图像，并获取分别对应的深度信息值；
确定模块，用于确定所述两帧景深图像的场景重叠区域，并得到重叠区域的图像；
景深平滑处理模块，用于利用所述深度信息值对所述重叠区域的图像进行景深平滑处理；
全景拼接模块，用于将所述景深平滑处理模块处理后的图像进行全景拼接。
7.根据权利要求6所述的终端全景图像处理装置，其特征在于，所述景深平滑处理模块包括：
第一计算子模块，用于对所述相邻的两帧景深图像分别对应的深度信息值计算深度信息均值；
第一景深调整子模块，用于利用所述深度信息均值对所述重叠区域的图像进行景深调整。
8.根据权利要求6所述的终端全景图像处理装置，其特征在于，所述景深平滑处理模块包括：
划分子模块，用于将重叠区域的图像纵向划分成至少二等分子图像；
第二计算子模块，用于对所述相邻的两帧景深图像分别对应的深度信息值计算深度信息和值；
第一确定子模块，用于根据所述深度信息和值和所述相邻的两帧景深图像分别对应的深度信息值确定各等分子图像的深度信息值，使得相邻等分子图像的深度信息差值相等；
第二景深调整子模块，用于利用各等分子图像的深度信息值对对应的等分子图像进行景深调整。
9.根据权利要求6-8任一项所述的终端全景图像处理装置，其特征在于，所述确定模块包括：
第二确定子模块，用于将所述相邻的两帧景深图像进行相向步进移动，确定预重叠区域；
第三计算子模块，用于计算预重叠区域的相似性指数；
第三确定子模块，用于当所述相似性指数是否满足预设的标准指数时，将所述预重叠区域确定为场景重叠区域。
10.根据权利要求9所述的终端全景图像处理装置，其特征在于，所述第三计算子模块具体用于计算预重叠区域图像的灰度值分布直方图；利用欧式距离计算算法计算两个灰度图像的距离；将所述距离作为相似性指数。
11.一种终端，其特征在于，包括如权利要求6-10任一项所述的终端全景图像处理装置。
CN201611020684.7A 2016-11-17 2016-11-17 一种终端全景图像处理方法、装置及终端 Pending CN106651755A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201611020684.7A CN106651755A (zh) 2016-11-17 2016-11-17 一种终端全景图像处理方法、装置及终端
PCT/CN2016/112775 WO2018090455A1 (zh) 2016-11-17 2016-12-28 一种终端全景图像处理方法、装置及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611020684.7A CN106651755A (zh) 2016-11-17 2016-11-17 一种终端全景图像处理方法、装置及终端

Publications (1)

Publication Number Publication Date
CN106651755A true CN106651755A (zh) 2017-05-10

Family

ID=58807574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611020684.7A Pending CN106651755A (zh) 2016-11-17 2016-11-17 一种终端全景图像处理方法、装置及终端

Country Status (2)

Country Link
CN (1) CN106651755A (zh)
WO (1) WO2018090455A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108024058A (zh) * 2017-11-30 2018-05-11 广东欧珀移动通信有限公司 图像虚化处理方法、装置、移动终端和存储介质
CN108038825A (zh) * 2017-12-12 2018-05-15 维沃移动通信有限公司 一种图像处理方法及移动终端
CN109008942A (zh) * 2018-09-15 2018-12-18 中山大学中山眼科中心 一种基于裂隙灯平台的全眼光学相干断层成像装置及成像方法
CN109104576A (zh) * 2018-10-29 2018-12-28 努比亚技术有限公司 一种全景拍摄方法、穿戴设备及计算机可读存储介质
CN110276774A (zh) * 2019-06-26 2019-09-24 Oppo广东移动通信有限公司 物体的绘图方法、装置、终端和计算机可读存储介质
CN110278366A (zh) * 2018-03-14 2019-09-24 虹软科技股份有限公司 一种全景图像虚化方法、终端及计算机可读存储介质
WO2020134123A1 (zh) * 2018-12-28 2020-07-02 中兴通讯股份有限公司 全景拍摄方法及装置、相机、移动终端

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876722A (zh) * 2018-06-19 2018-11-23 国网浙江省电力有限公司温州供电公司 一种vr全景视图制作方法
CN109509148B (zh) * 2018-10-12 2023-08-29 广州小鹏汽车科技有限公司 一种全景环视图像拼接融合方法和装置
CN112102307B (zh) * 2020-09-25 2023-10-20 杭州海康威视数字技术股份有限公司 全局区域的热度数据确定方法、装置及存储介质
CN114125296B (zh) * 2021-11-24 2024-08-09 维沃移动通信有限公司 图像处理方法、装置、电子设备和可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101593350A (zh) * 2008-05-30 2009-12-02 日电（中国）有限公司 深度自适应视频拼接的方法、装置和系统
CN101673395A (zh) * 2008-09-10 2010-03-17 深圳华为通信技术有限公司 图像拼接方法及装置
CN101923709A (zh) * 2009-06-16 2010-12-22 日电（中国）有限公司 图像拼接方法与设备
JP2011259168A (ja) * 2010-06-08 2011-12-22 Fujifilm Corp 立体パノラマ画像撮影装置
CN104318517A (zh) * 2014-11-19 2015-01-28 北京奇虎科技有限公司 一种图像拼接处理方法、装置及客户端
CN104519340A (zh) * 2014-12-30 2015-04-15 余俊池 基于多深度图像变换矩阵的全景视频拼接方法
CN105407280A (zh) * 2015-11-11 2016-03-16 广东欧珀移动通信有限公司 全景图像合成方法和系统
CN105574838A (zh) * 2014-10-15 2016-05-11 上海弘视通信技术有限公司 多目相机的图像配准和拼接方法及其装置
CN106023073A (zh) * 2016-05-06 2016-10-12 安徽伟合电子科技有限公司 一种图像拼接系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101593350A (zh) * 2008-05-30 2009-12-02 日电（中国）有限公司 深度自适应视频拼接的方法、装置和系统
CN101673395A (zh) * 2008-09-10 2010-03-17 深圳华为通信技术有限公司 图像拼接方法及装置
CN101923709A (zh) * 2009-06-16 2010-12-22 日电（中国）有限公司 图像拼接方法与设备
JP2011259168A (ja) * 2010-06-08 2011-12-22 Fujifilm Corp 立体パノラマ画像撮影装置
CN105574838A (zh) * 2014-10-15 2016-05-11 上海弘视通信技术有限公司 多目相机的图像配准和拼接方法及其装置
CN104318517A (zh) * 2014-11-19 2015-01-28 北京奇虎科技有限公司 一种图像拼接处理方法、装置及客户端
CN104519340A (zh) * 2014-12-30 2015-04-15 余俊池 基于多深度图像变换矩阵的全景视频拼接方法
CN105407280A (zh) * 2015-11-11 2016-03-16 广东欧珀移动通信有限公司 全景图像合成方法和系统
CN106023073A (zh) * 2016-05-06 2016-10-12 安徽伟合电子科技有限公司 一种图像拼接系统

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108024058B (zh) * 2017-11-30 2019-08-02 Oppo广东移动通信有限公司 图像虚化处理方法、装置、移动终端和存储介质
CN108024058A (zh) * 2017-11-30 2018-05-11 广东欧珀移动通信有限公司 图像虚化处理方法、装置、移动终端和存储介质
CN108038825A (zh) * 2017-12-12 2018-05-15 维沃移动通信有限公司 一种图像处理方法及移动终端
CN110278366B (zh) * 2018-03-14 2020-12-01 虹软科技股份有限公司 一种全景图像虚化方法、终端及计算机可读存储介质
CN110278366A (zh) * 2018-03-14 2019-09-24 虹软科技股份有限公司 一种全景图像虚化方法、终端及计算机可读存储介质
US11393076B2 (en) 2018-03-14 2022-07-19 Arcsoft Corporation Limited Blurring panoramic image blurring method, terminal and computer readable storage medium
CN109008942A (zh) * 2018-09-15 2018-12-18 中山大学中山眼科中心 一种基于裂隙灯平台的全眼光学相干断层成像装置及成像方法
CN109104576A (zh) * 2018-10-29 2018-12-28 努比亚技术有限公司 一种全景拍摄方法、穿戴设备及计算机可读存储介质
WO2020134123A1 (zh) * 2018-12-28 2020-07-02 中兴通讯股份有限公司 全景拍摄方法及装置、相机、移动终端
CN111385461A (zh) * 2018-12-28 2020-07-07 中兴通讯股份有限公司 全景拍摄方法及装置、相机、移动终端
CN111385461B (zh) * 2018-12-28 2022-08-02 中兴通讯股份有限公司 全景拍摄方法及装置、相机、移动终端
US11523056B2 (en) 2018-12-28 2022-12-06 Zte Corporation Panoramic photographing method and device, camera and mobile terminal
CN110276774A (zh) * 2019-06-26 2019-09-24 Oppo广东移动通信有限公司 物体的绘图方法、装置、终端和计算机可读存储介质

Also Published As

Publication number Publication date
WO2018090455A1 (zh) 2018-05-24

Similar Documents

Publication Publication Date Title
CN106651755A (zh) 一种终端全景图像处理方法、装置及终端
US20200160040A1 (en) Three-dimensional living-body face detection method, face authentication recognition method, and apparatuses
US9569854B2 (en) Image processing method and apparatus
CN108463787B (zh) 多视角图像的注视校正
CN106899781A (zh) 一种图像处理方法及电子设备
CN105308625B (zh) 可变形表情检测器
CN110489951A (zh) 风险识别的方法、装置、计算机设备和存储介质
US9690980B2 (en) Automatic curation of digital images
CN110023989B (zh) 一种素描图像的生成方法及装置
CN111080669B (zh) 一种图像反射分离方法及装置
CN112446322B (zh) 眼球特征检测方法、装置、设备及计算机可读存储介质
CN107610046A (zh) 背景虚化方法、装置及系统
US11393076B2 (en) Blurring panoramic image blurring method, terminal and computer readable storage medium
CN112241940B (zh) 一种多张多聚焦图像融合方法及装置
CN109308704A (zh) 背景剔除方法、装置、计算机设备及存储介质
CN107395990A (zh) 相位对焦方法及装置、终端、计算机装置及可读存储介质
CN114419091A (zh) 一种前景抠图方法、装置及电子设备
CN114549394A (zh) 一种基于深度学习的肿瘤病灶区域语义分割方法及系统
CN117496019B (zh) 一种驱动静态图像的图像动画处理方法及系统
US20200092444A1 (en) Playback method, playback device and computer-readable storage medium
CN105893578B (zh) 一种照片选择的方法及装置
CN114005066B (zh) 基于hdr的视频帧图像处理方法、装置、计算机设备及介质
Cao et al. Automatic image cropping via the novel saliency detection algorithm
CN113538269A (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
CN117351118B (zh) 一种结合深度信息的轻量化固定背景抠像方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170510