CN107123092B - 一种实时切换全景图像视角的方法和装置 - Google Patents

一种实时切换全景图像视角的方法和装置 Download PDF

Info

Publication number
CN107123092B
CN107123092B CN201710291795.XA CN201710291795A CN107123092B CN 107123092 B CN107123092 B CN 107123092B CN 201710291795 A CN201710291795 A CN 201710291795A CN 107123092 B CN107123092 B CN 107123092B
Authority
CN
China
Prior art keywords
spliced
image
registration
images
parts
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710291795.XA
Other languages
English (en)
Other versions
CN107123092A (zh
Inventor
戎海峰
刘锦
余立兵
李克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Yuan Feng Automotive Electronics Co Ltd
Original Assignee
Yuanfeng Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yuanfeng Technology Co Ltd filed Critical Yuanfeng Technology Co Ltd
Priority to CN201710291795.XA priority Critical patent/CN107123092B/zh
Publication of CN107123092A publication Critical patent/CN107123092A/zh
Application granted granted Critical
Publication of CN107123092B publication Critical patent/CN107123092B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种实时切换全景图像视角的方法和装置。该方法包括：通过多个广角镜头获取多个待拼接的图像；通过触摸屏获取用户滑动的向量；根据所述向量对所述图像的待拼接部分进行配准；平移配准后的所述图像。针对多个广角镜头获取到的待拼接的图像，在拼接时考虑滑动的情形，在拼接配准的同时实现平移配准，与拼接之后再平移相比，能显著提高图像处理速度，满足实时切换视角的要求；并且能通过配准解决拼接部分边界模糊的问题，实现用户滑动查看时的平滑显示效果。

Description

一种实时切换全景图像视角的方法和装置
技术领域
本发明涉及全景图像处理技术，尤其涉及一种实时切换全景图像视角的方法和装置。
背景技术
现有技术能够采用两个以上的鱼眼镜头采集图像，再经过后期拼接得到360度的全景图像，广泛应用于广角摄影、虚拟现实、驾驶辅助等场景。当我们需要在移动设备(如手机、车载后视镜)上查看一副全景图像时，由于移动设备的分辨率、屏幕尺寸和视角的限制，一屏只能显示全景图像的一部分视角图像，这时候就需要通过左右或上下滑动来改变视角，直到显示完一副360度全景图像。
部分场景中，全景图像必须实时更新显示，就要求在移动设备上能够实时滑动切换显示不同视角的图像。现有技术中，常用的手段为显示完一屏的图像，滑动后再切换到下一屏的图像，中间会有切换的明显痕迹，不能做到平滑切换；或者每次完成图像拼接后都先加载固定视角的图像，用户在此基础上滑动查看，滑动过程中图像不更新。这些方法的图像计算量大，对运算平台的要求较高，会增加产品的成本；并且滑动查看时图像不够平滑、容易模糊，在拼接边界的亚像素精度部分容易出现重影等。
发明内容
本发明的目的在于提出一种实时切换全景图像视角的方法和装置，能够针对拼接的全景图像，实现用户滑动查看时的平滑显示效果。
为达此目的，本发明采用以下技术方案：
一方面，本发明提供一种实时切换全景图像视角的方法，包括：
通过多个广角镜头获取多个待拼接的图像；
通过触摸屏获取用户滑动的向量；
根据所述向量对所述图像的待拼接部分进行配准；
平移配准后的所述图像。
其中，根据所述向量对所述图像的待拼接部分进行配准，包括：
获取多个待拼接的图像中相邻两幅图像的待拼接部分；
根据傅里叶变换法和所述向量，计算出能将相邻两幅图像的待拼接部分配准的配准点。
相应的，平移配准后的所述图像，包括：
根据所述配准点分别计算相邻两幅图像的待拼接部分的平移量；
根据所述平移量分别平移相邻两幅图像的待拼接部分。
进一步的，平移配准后的所述图像，还包括：
根据矩阵变换法和所述向量，对所述图像的非拼接部分进行平移。
进一步的，平移配准后的所述图像之后，包括：
若平移后的所述图像超出了所述触摸屏一端的边界，则将超出边界部分的图像在所述触摸屏的另一端循环显示。
另一方面，本发明提供一种实时切换全景图像视角的装置，包括：
多个广角镜头模块，用于获取多个待拼接的图像；
触摸屏模块，用于获取用户滑动的向量；
拼接配准模块，用于根据所述向量对所述图像的待拼接部分进行配准；
图像平移模块，用于平移配准后的所述图像。
其中，所述拼接配准模块具体用于：
获取多个待拼接的图像中相邻两幅图像的待拼接部分；
根据傅里叶变换法和所述向量，计算出能将相邻两幅图像的待拼接部分配准的配准点。
相应的，所述图像平移模块具体用于：
根据所述拼接配准模块计算出的所述配准点分别计算相邻两幅图像的待拼接部分的平移量；
根据所述平移量分别平移相邻两幅图像的待拼接部分。
进一步的，所述图像平移模块具体还用于：
根据矩阵变换法和所述向量，对所述图像的非拼接部分进行平移。
进一步的，所述图像平移模块还用于：在平移配准后的所述图像之后，
若平移后的所述图像超出了所述触摸屏一端的边界，则将超出边界部分的图像在所述触摸屏的另一端循环显示。
本发明的有益效果为：
针对多个广角镜头获取到的待拼接的图像，在拼接时考虑滑动的情形，在拼接配准的同时实现平移配准，与拼接之后再平移相比，能显著提高图像处理速度，满足实时切换视角的要求；并且能通过配准解决拼接部分边界模糊的问题，实现用户滑动查看时的平滑显示效果。
附图说明
图1是本发明实施例一提供的实时切换全景图像视角的方法的流程图；
图2是本发明实施例二提供的实时切换全景图像视角的装置的结构示意图。
具体实施方式
为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面将结合附图对本发明实施例的技术方案作进一步的详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例一
本实施例提供一种实时切换全景图像视角的方法，适用于在屏幕较小的移动设备上滑动查看全景图像的情形，该方法由一种实时切换全景图像视角的装置来执行，该装置由软件和/硬件实现，一般集成于手机、平板电脑、带显示屏的车载后视镜等移动设备。
实时切换全景图像视角的方法包括如下步骤：
S11，通过多个广角镜头获取多个待拼接的图像。
根据实际需要设置广角镜头的数量，相邻两个广角镜头采集到的图像之间有重叠部分。为了得到全景图像，需要对图像之间的重叠部分进行拼接。
S12，通过触摸屏获取用户滑动的向量。
用户对触摸屏进行滑动操作时，可获取到用户滑动的方向和距离，表示成滑动的向量。本实施例中为方便后续计算，采用向量坐标的形式表示，如(x’,y’)，取向左滑动为正方向。
S13，根据所述向量对所述图像的待拼接部分进行配准。
获取多个待拼接的图像中相邻两幅图像的待拼接部分；根据傅里叶变换法和所述向量，计算出能将相邻两幅图像的待拼接部分配准的配准点。
本实施例采用的是基于互功率谱的全局运动检测方法，可以对存在平移、旋转、缩放情况的图像做运动检测，实现对图像的快速配准。其理论基础是傅里叶变换，目前在傅里叶变换领域有了离散傅氏变换的快速算法(Fast Fourier Transformation，FFT)，因此速度较快，在图像配准、模式识别特征匹配等有着广泛应用。
傅里叶变换算法的原理是：
图像进行平移变换时，假设图像f2(x,y)是由图像f1(x,y)平移(x0,y0)后得到，即满足f2(x,y)＝f1(x+x0,y+y0)……(1)；
将(1)式反应到频域可得：
Figure GDA0003197957970000051
根据(2)式得到互功率谱如下：
Figure GDA0003197957970000052
对互功率谱做傅里叶反变换可得到一个狄拉克函数(脉冲函数)，再寻找这个函数的峰值点对应的坐标，即可得到配准点。
S14，平移配准后的所述图像。
针对多个待拼接图像的拼接部分，根据所述配准点分别计算相邻两幅图像的待拼接部分的平移量，即图像要从原始位置移动到配准点的位置需要平移的距离；根据所述平移量分别平移相邻两幅图像的待拼接部分。平移后的相邻两幅图像能够在配准点配准，拼接无边界、无痕迹。
对图像进行拼接和平移都需要计算配准点，在计算拼接的配准点时，将平移的向量考虑进去，对拼接算法的复杂度的增加不会太多，与先拼接再平移相比，计算速度有较大的提高，并且避免了先拼接再平移产生的画面时延。优选的，当图像的滑动为单一维度的滑动时，即仅发生左右滑动或上下滑动时，向量的纵坐标或者横坐标取值为0，此时利用该方法的计算量会大大减少。
针对多个待拼接图像的非拼接部分，根据矩阵变换法和所述向量，对所述图像的非拼接部分进行平移。
假设坐标(x2,y2)是坐标(x1,y1)平移(x0,y0)后得到的，那么：
Figure GDA0003197957970000061
根据矩阵变换法，可以实现图像的简单平移。
S15，若平移后的所述图像超出了所述触摸屏一端的边界，则将超出边界部分的图像在所述触摸屏的另一端循环显示。
对于拼接之后形成360度环形图像的全景图像，在显示屏上滑动显示时，被滑出屏幕一端的部分将循环出现在屏幕的另一端，并且图像连续。
本实施例针对多个广角镜头获取到的待拼接的图像，在拼接时考虑滑动的情形，在拼接配准的同时实现平移配准，与拼接之后再平移相比，能显著提高图像处理速度，满足实时切换视角的要求；并且能通过配准解决拼接部分边界模糊的问题，实现用户滑动查看时的平滑显示效果。
实施例二
本实施例提供一种实时切换全景图像视角的装置，用于执行上述实施例所述的实时切换全景图像视角的方法，解决相同的技术问题，达到相同的技术效果。
该装置包括：多个广角镜头模块21、触摸屏模块22、拼接配准模块23和图像平移模块24。
多个广角镜头模块21用于获取多个待拼接的图像。
触摸屏模块22用于获取用户滑动的向量。
拼接配准模块23用于根据所述向量对所述图像的待拼接部分进行配准。
图像平移模块24用于平移配准后的所述图像。
其中，所述拼接配准模块23具体用于：
获取多个待拼接的图像中相邻两幅图像的待拼接部分；根据傅里叶变换法和所述向量，计算出能将相邻两幅图像的待拼接部分配准的配准点。
相应的，所述图像平移模块24具体用于：
根据所述拼接配准模块23计算出的所述配准点分别计算相邻两幅图像的待拼接部分的平移量；根据所述平移量分别平移相邻两幅图像的待拼接部分。
进一步的，所述图像平移模块24具体还用于：
根据矩阵变换法和所述向量，对所述图像的非拼接部分进行平移。
进一步的，所述图像平移模块24还用于：在平移配准后的所述图像之后，若平移后的所述图像超出了所述触摸屏一端的边界，则将超出边界部分的图像在所述触摸屏的另一端循环显示。
本实施例运用多个广角镜头获取多个待拼接的图像，在拼接配准的同时实现平移配准，与拼接之后再平移相比，能显著提高图像处理速度，满足实时切换视角的要求；并且能通过配准解决拼接部分边界模糊的问题，实现用户滑动查看时的平滑显示效果。
以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理，而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明的保护范围之内。

Claims (2)

1.一种实时切换全景图像视角的方法，其特征在于：
通过多个广角镜头获取多个待拼接的图像；
通过触摸屏获取用户滑动的向量；
根据所述向量对所述图像的待拼接部分进行配准；
平移配准后的所述图像；
若平移后的所述图像超出了所述触摸屏一端的边界，则将超出边界部分的图像在所述触摸屏的另一端循环显示；
其中，所述根据所述向量对所述图像的待拼接部分进行配准，包括：
获取多个待拼接的图像中相邻两幅图像的待拼接部分；
根据傅里叶变换法和所述向量，计算用于相邻两幅图像的待拼接部分拼接和平移配准的配准点；
所述平移配准后的所述图像，包括：
根据矩阵变换法和所述向量，对所述图像的非拼接部分进行平移；
根据所述配准点分别计算相邻两幅图像的待拼接部分的平移量；
根据所述平移量分别平移相邻两幅图像的待拼接部分；
所述根据傅里叶变换法和所述向量，计算用于相邻两幅图像的待拼接部分拼接和平移配准的配准点，包括：
根据第一图像f1(x,y)和所述向量得到第二图像f2(x,y)，将所述第二图像f2(x,y)反应到频域并计算得到互功率谱，根据对所述互功率谱做傅里叶反变换得到一个狄拉克函数，根据所述狄拉克函数峰值点对应的坐标确定所述待拼接部分配准的配准点。
2.一种实时切换全景图像视角的装置，其特征在于，包括：
多个广角镜头模块，用于获取多个待拼接的图像；
触摸屏模块，用于获取用户滑动的向量；
拼接配准模块，用于根据所述向量对所述图像的待拼接部分进行配准；
图像平移模块，用于平移配准后的所述图像；若平移后的所述图像超出了所述触摸屏一端的边界，则将超出边界部分的图像在所述触摸屏的另一端循环显示；
所述拼接配准模块具体用于：获取多个待拼接的图像中相邻两幅图像的待拼接部分；根据傅里叶变换法和所述向量，计算用于相邻两幅图像的待拼接部分拼接和平移配准的配准点；
所述图像平移模块具体用于：根据矩阵变换法和所述向量，对所述图像的非拼接部分进行平移；根据所述拼接配准模块计算出的所述配准点分别计算相邻两幅图像的待拼接部分的平移量；根据所述平移量分别平移相邻两幅图像的待拼接部分；
所述根据傅里叶变换法和所述向量，计算用于相邻两幅图像的待拼接部分拼接和平移配准的配准点，包括：
根据第一图像f1(x,y)和所述向量得到第二图像f2(x,y)，将所述第二图像f2(x,y)反应到频域并计算得到互功率谱，根据对所述互功率谱做傅里叶反变换得到一个狄拉克函数，根据所述狄拉克函数峰值点对应的坐标确定所述待拼接部分配准的配准点。
CN201710291795.XA 2017-04-28 2017-04-28 一种实时切换全景图像视角的方法和装置 Active CN107123092B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710291795.XA CN107123092B (zh) 2017-04-28 2017-04-28 一种实时切换全景图像视角的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710291795.XA CN107123092B (zh) 2017-04-28 2017-04-28 一种实时切换全景图像视角的方法和装置

Publications (2)

Publication Number Publication Date
CN107123092A CN107123092A (zh) 2017-09-01
CN107123092B true CN107123092B (zh) 2021-10-12

Family

ID=59725197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710291795.XA Active CN107123092B (zh) 2017-04-28 2017-04-28 一种实时切换全景图像视角的方法和装置

Country Status (1)

Country Link
CN (1) CN107123092B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107767461A (zh) * 2017-09-27 2018-03-06 珠海研果科技有限公司 一种全景图像跳转方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102314679A (zh) * 2010-03-22 2012-01-11 微软公司 使用加速计信息来确定图片和视频图像的方向
CN104181884A (zh) * 2014-08-11 2014-12-03 厦门立林科技有限公司 一种基于全景视图的智能家居控制装置及方法
CN204090039U (zh) * 2014-10-16 2015-01-07 北京十方慧通科技有限公司 一体化大场景全景视频监控装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100455266C (zh) * 2005-03-29 2009-01-28 深圳迈瑞生物医疗电子股份有限公司 宽景成像处理方法
US20100194851A1 (en) * 2009-02-03 2010-08-05 Aricent Inc. Panorama image stitching
CN101577795A (zh) * 2009-06-17 2009-11-11 深圳华为通信技术有限公司 一种实现全景图像的实时预览的方法和装置
CN103810686A (zh) * 2014-02-27 2014-05-21 苏州大学 无缝拼接全景辅助驾驶系统及方法
CN103971352A (zh) * 2014-04-18 2014-08-06 华南理工大学 一种基于广角镜头的快速图像拼接方法
CN106598428A (zh) * 2016-11-29 2017-04-26 宇龙计算机通信科技(深圳)有限公司 播放全景视频的方法、系统及终端设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102314679A (zh) * 2010-03-22 2012-01-11 微软公司 使用加速计信息来确定图片和视频图像的方向
CN104181884A (zh) * 2014-08-11 2014-12-03 厦门立林科技有限公司 一种基于全景视图的智能家居控制装置及方法
CN204090039U (zh) * 2014-10-16 2015-01-07 北京十方慧通科技有限公司 一体化大场景全景视频监控装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于主动全景立体视觉传感器的室内场景三维重建;周静恺;《中国优秀硕士学位论文全文数据库信息科技辑（月刊）》;20160415(第04期);4.3.5节 *
基于全景视图管理的3D图像拼接方法研究与实现;沈柯;《中国优秀硕士学位论文全文数据库信息科技辑（月刊）》;20160415(第04期);1.2、2.2、2.4、3.3.3及3.4节 *

Also Published As

Publication number Publication date
CN107123092A (zh) 2017-09-01

Similar Documents

Publication Publication Date Title
CN101673395B (zh) 图像拼接方法及装置
EP3281400A1 (en) Automated generation of panning shots
US9959600B2 (en) Motion image compensation method and device, display device
US20070211955A1 (en) Perspective correction panning method for wide-angle image
SG176327A1 (en) A system and method of image processing
CN110766706A (zh) 图像融合方法、装置、终端设备及存储介质
CN109005334A (zh) 一种成像方法、装置、终端和存储介质
CN103813099A (zh) 一种基于特征点匹配的视频防抖方法
WO2014110954A1 (en) Method, device and computer-readable storage medium for panoramic image completion
CN110084765B (zh) 一种图像处理方法、图像处理装置及终端设备
CN110651295B (zh) 图像处理设备、图像处理方法和程序
US8644645B2 (en) Image processing device and processing method thereof
JP2012198077A (ja) ステレオカメラ装置、視差画像生成方法
CN103247020A (zh) 一种基于径向特征的鱼眼图像展开方法
CN107633497A (zh) 一种图像景深渲染方法、系统及终端
CN113837936A (zh) 一种全景图像的生成方法和装置
CN106846243A (zh) 在设备移动过程中获得三维俯视全景图的方法及装置
CN114616586A (zh) 图像标注方法、装置、电子设备及计算机可读存储介质
NL2029657A (en) Accurate optical flow estimation in stereo pairs of equirectangular images
CN107123092B (zh) 一种实时切换全景图像视角的方法和装置
CN108492254B (zh) 图像采集系统及方法
Tasson et al. FPGA-based pedestrian detection under strong distortions
Lee et al. Fast-rolling shutter compensation based on piecewise quadratic approximation of a camera trajectory
Lin et al. Real-time low-cost omni-directional stereo vision via bi-polar spherical cameras
CN112017138B (zh) 一种基于场景三维结构的图像拼接方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20170830

Address after: 523808, building 1, 2 and 4, building A, 18 industrial East Road, Songshan hi tech Industrial Development Zone, Guangdong, Dongguan

Applicant after: Guangdong Yuan Feng automotive electronics company limited

Address before: 523808, No. 18, industrial East Road, Songshan hi tech Industrial Development Zone, Guangdong, Dongguan

Applicant before: GUANGDONG YUANFENG ELECTRONIC TECHNOLOGY CO., LTD.

Applicant before: Dongguan YF Technology Co., Ltd.

Applicant before: Guangdong Yuan Feng automotive electronics company limited

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: No.18, Industrial Road East, Songshanhu Park, Dongguan, Guangdong 523000

Applicant after: Yuanfeng Technology Co.,Ltd.

Address before: 523808 1st, 2nd and 4th floors, building a, No.18, Gongye East Road, Songshanhu high tech Industrial Development Zone, Dongguan City, Guangdong Province

Applicant before: GUANGDONG YUANFENG AUTOMOTIVE ELECTRONIC Co.,Ltd.

GR01 Patent grant
GR01 Patent grant