CN109166178A - 一种视觉特性与行为特性融合的全景图像显著图生成方法及系统 - Google Patents

一种视觉特性与行为特性融合的全景图像显著图生成方法及系统 Download PDF

Info

Publication number
CN109166178A
CN109166178A CN201810811052.5A CN201810811052A CN109166178A CN 109166178 A CN109166178 A CN 109166178A CN 201810811052 A CN201810811052 A CN 201810811052A CN 109166178 A CN109166178 A CN 109166178A
Authority
CN
China
Prior art keywords
panoramic image
visual
saliency map
domain
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810811052.5A
Other languages
English (en)
Other versions
CN109166178B (zh
Inventor
丁颖
刘延伟
刘科栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Information Engineering of CAS
Original Assignee
Institute of Information Engineering of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Information Engineering of CAS filed Critical Institute of Information Engineering of CAS
Priority to CN201810811052.5A priority Critical patent/CN109166178B/zh
Publication of CN109166178A publication Critical patent/CN109166178A/zh
Application granted granted Critical
Publication of CN109166178B publication Critical patent/CN109166178B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种视觉特性与行为特性融合的全景图像显著图生成方法及系统。本方法为:1)将全景图像从等矩形域转换到球面域、再从球面域转换到视角域,得到该全景图像对应的视角平面图像;2)使用高斯差分滤波处理该视角平面图像,得到图像中每个像素在视觉空间的DoG值;3)利用每个像素对应的DoG值与平均DoG值之间的欧几里德距离值表示对应像素在整幅全景图像上的视觉特征显著性,得到该全景图像对应的视觉特征显著图SV;4)根据用户的实际头部运动数据得到用户观看全景图像的行为特性显著图Sb;5)将该视觉特征显著图SV与该行为特性显著图Sb融合得到最终的全景图像显著图S。本发明大大提升了全景图像的显示效果。

Description

一种视觉特性与行为特性融合的全景图像显著图生成方法及 系统
技术领域
本发明计算机软件技术领域,涉及一种视觉特性与行为特性融合的全景图像显著图生成方法及系统。
背景技术
近年来,全景图像因其可以捕捉周围场景的广阔视野而受到关注。通过使用头戴式显示器(HMD),全景图像可以给观众带来身临其境的视觉体验。基于这种特征,全景图像已被广泛应用于许多虚拟现实(VR)应用中。
全景图像的空间大小比传统图像大得多,在现有条件下进行全景图像的存储和传输十分困难,然而人的视觉注意机制(Visual Attention Mechanism)是一种具有选择性的注意,用户通常只关注整个全景图像的一小部分。从整个图像区分显著区域进而对全景图像进行压缩,可以很大程度上缓解全景图像存储和传输的压力。目前,传统平面图像的显著性检测算法有很多,虽然这些显著检测算法可以直接应用于全景图像,但由于全景图像的特性,通常不能获得完美的显著性图。
首先,全景图像与传统平面图像观看方式不同。对于传统平面图像,用户直接在屏幕上观看图像,用户所看到的内容与图像完全相同。对于全景图像,用户通常通过HMD观看到全景图像的某个视角。视角是全景图像的一部分经过几何投影得到的,用户所看到的内容与全景图像上对应区域不完全相同。
其次,与传统的平面二维图像不同,全景图像的显著性还受到用户观看行为的影响。这是因为观看者的眼睛和头部方向决定了所观看到的视角的位置。一般情况下,长时间仰视或俯视是很不舒服的,因此,人们更喜欢在与人眼平行的范围内进行扫视。
为了处理上述问题,本发明提出了一种在视角域融合视觉特征和观看行为特性的全景图像显著性检测方法。
发明内容
考虑到全景图像的特殊性,本发明设计通过在视角域中融合用户视觉特征和行为特征来实现显著性图的生成方法及系统,整个全景图像的显著性检测技术框架如图1所示。本发明首先在视角域中使用高斯差分(DoG)滤波来提取视觉空间每个像素的频率差异,并计算全景图像域中每个视角中心与其它视角之间的对比度,以此生成视觉特征显著图。通过建立数学模型,根据实际头部运动数据可以得到用户观看全景图像的行为特性函数,进而生成行为特性显著图。将视觉特征显著图与行为特性显著图融合得到最终的显著性图。
本发明的技术方案为:
一种视觉特性与行为特性融合的全景图像显著图生成方法,其步骤包括:
1)将全景图像从等矩形域转换到球面域、再从球面域转换到视角域,得到该全景图像对应的视角平面图像;
2)使用高斯差分滤波处理该视角平面图像,得到该视角平面图像中每个像素在视觉空间的DoG值;
3)利用每个像素对应的DoG值与平均DoG值之间的欧几里德距离值表示对应像素在整幅全景图像上的视觉特征显著性,得到该全景图像对应的视觉特征显著图SV
4)根据用户的实际头部运动数据得到用户观看全景图像的行为特性显著图Sb
5)将该视觉特征显著图SV与该行为特性显著图Sb融合得到最终的全景图像显著图S。
进一步的,视角域中的点(m,n)的所述DoG值为其中,σ1和σ2是高斯滤波器的标准差。
σ1=1.6σ2
进一步的,视觉特征显著图其中,DV(u,v)是全景图像中的点(u,v)对应的DoG值,是全景图像中所有点对应的DoG值的平均DoG值。
进一步的,行为特性显著图其中,表示全景图像上的纬度。
进一步的,全景图像显著图S=max(N(SV),N(Sb));其中,N()表示归一化操作。
进一步的,利用公式将全景图像从等矩形域转换到球面域,然后利用公式将球面域转换到视角域;其中,(u,v)表示等矩形域表示的全景图像中的一个点,(x,y,z)表示全景图像中的点(u,v)在球面上的笛卡尔坐标,(m,n)是全景图像中的点(u,v)在视角投影上的二维齐次坐标;(m0,n0)是视角域的中心点Q的坐标;f是全景图像球面的半径,w、h分别是视角平面图像的宽度和高度,fovx、fovy分别为头戴式显示器中每只眼睛的水平视野和垂直视野,R为旋转矩阵。
进一步的,旋转矩阵其中,θ为点Q的经度,为点Q的纬度。
一种视觉特性与行为特性融合的全景图像显著图生成系统,其特征在于,包括坐标转换模块、视觉特征显著图SV生成模块、行为特性显著图Sb生成模块和融合模块;其中,
坐标转换模块,用于将全景图像从等矩形域转换到球面域、再从球面域转换到视角域,得到该全景图像对应的视角平面图像;
视觉特征显著图SV生成模块,利用高斯差分滤波处理该视角平面图像,得到该视角平面图像中每个像素在视觉空间的DoG值;然后利用每个像素对应的DoG值与平均DoG值之间的欧几里德距离值表示对应像素在整幅全景图像上的视觉特征显著性,得到该全景图像对应的视觉特征显著图SV
行为特性显著图Sb生成模块,用于根据用户的实际头部运动数据得到用户观看全景图像的行为特性显著图Sb
融合模块,用于将该视觉特征显著图SV与该行为特性显著图Sb融合得到最终的全景图像显著图S。
与现有技术相比,本发明的积极效果为:
从用户角度出发,在视角域进行显著性检测;解释了全景图像中赤道部分更受用户关注的原因,并给出了相应解决方案,大大提升了全景图像的显示效果。本发明与现有方法的效果对比如表所示,其中CC越大表示效果越好。
算法 本发明 SalNet360 ML_NET+EB
线性相关系数(CC) 0.658 0.548 0.49
附图说明
图1为视觉特性与行为特性融合的全景图像显著性检测技术架构图;
图2为全景图像球面域、视角域与等矩形投影之间的关系图;
图3为全景图像纬度与用户观看概率之间的关系图。
具体实施方式
下面结合附图对本发明进行进一步描述。
全景图像的等矩形投影面、球面、视角平面之间的关系图如图2所示。左边矩形表示全景图像的等矩形投影,球体表示全景图像的球面表示,视角是与球相切于点Q的切面ABCD,其中点Q是视角对应的切面ABCD的中心。
假设E(x,y,z)表示全景图像中的一个点在球面上的笛卡尔坐标,E′(m,n)是其在视角投影上的二维齐次坐标,E″(u,v)表示其在等矩形投影上的2D齐次坐标图像。它们之间的转换关系为:
其中,(m0,n0)是视角域中点Q的坐标,f是全景图像球面的半径。fx和fy与HMD中视角的大小和每只眼睛的视野有关,如果w和h分别是视角平面图像的宽度和高度,fovx和fovy为HMD中每只眼睛的水平视野和垂直视野,则R为旋转矩阵,若中心视点Q的经度和纬度为则R的表示方式为:
为了准确捕获视觉特征,本发明使用DoG处理视角平面的图像,表示方式如下:
其中(m,n)是视角域中的点的坐标,σ1和σ2是高斯滤波器的标准差(σ1=1.6σ2)。
本发明利用每个像素的高斯差分值(DoG值)与所有像素的平均DoG之间的欧几里德距离值表示其在整幅全景图像上的视觉特征显著性:
其中SV是视觉特征显著图,DV(u,v)是全景图像中点(u,v)对应的DoG值,是全景图像中所有点对应的DoG值的平均DoG值,表示为其中W和H分别是全景图像的宽和高。
根据用户的头部位置数据,本发明绘制了观看概率与全景图像上的纬度的关系(如图3)。在图3中,圆点表示用户的观看位置数据。从图上可以看到,在零度附近,观看概率达到最高值,-π/3和π/3之间的区域占了大部分的观看概率。从图3可以看出观看概率和纬度之间的关系大致符合数学函数,通过建模,本发明得到他们之间的关系如下:
其中表示全景图像上的纬度,Pg表示用户观看概率,Sb是行为特征显著图。某一个区域,用户观看的概率越大说明用户越关注,即该区域显著性越高。
最后,本发明融合视觉特征显著图和观看行为特征显著图来获得最终的全景图像显著图,最终的显著图表示如下:
S=max(N(SV),N(Sb)) (7)
其中SV是视觉特征显著图,Sb是行为特征显著图,N()表示归一化操作,max是取最大值操作。
尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领域的研究人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来说,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (10)

1.一种视觉特性与行为特性融合的全景图像显著图生成方法,其步骤包括:
1)将全景图像从等矩形域转换到球面域、再从球面域转换到视角域,得到该全景图像对应的视角平面图像;
2)使用高斯差分滤波处理该视角平面图像,得到该视角平面图像中每个像素在视觉空间的DoG值;
3)利用每个像素对应的DoG值与平均DoG值之间的欧几里德距离值表示对应像素在整幅全景图像上的视觉特征显著性,得到该全景图像对应的视觉特征显著图SV
4)根据用户的实际头部运动数据得到用户观看全景图像的行为特性显著图Sb
5)将该视觉特征显著图SV与该行为特性显著图Sb融合得到最终的全景图像显著图S。
2.如权利要求1所述的方法,其特征在于,视角域中的点(m,n)的所述DoG值为其中,σ1和σ2是高斯滤波器的标准差。
3.如权利要求2所述的方法,其特征在于,σ1=1.6σ2
4.如权利要求1所述的方法,其特征在于,视觉特征显著图其中,DV(u,v)是全景图像中的点(u,v)对应的DoG值,是全景图像中所有点对应的DoG值的平均DoG值。
5.如权利要求1所述的方法,其特征在于,行为特性显著图 其中,表示全景图像上的纬度。
6.如权利要求1所述的方法,其特征在于,全景图像显著图S=max(N(SV),N(Sb));其中,N()表示归一化操作。
7.如权利要求1所述的方法,其特征在于,利用公式将全景图像从等矩形域转换到球面域,然后利用公式将球面域转换到视角域;其中,(u,v)表示等矩形域表示的全景图像中的一个点,(x,y,z)表示全景图像中的点(u,v)在球面上的笛卡尔坐标,(m,n)是全景图像中的点(u,v)在视角投影上的二维齐次坐标;(m0,n0)是视角域的中心点Q的坐标;f是全景图像球面的半径,w、h分别是视角平面图像的宽度和高度,fovx、fovy分别为头戴式显示器中每只眼睛的水平视野和垂直视野,R为旋转矩阵。
8.如权利要求7所述的方法,其特征在于,旋转矩阵其中,θ为点Q的经度,为点Q的纬度。
9.一种视觉特性与行为特性融合的全景图像显著图生成系统,其特征在于,包括坐标转换模块、视觉特征显著图SV生成模块、行为特性显著图Sb生成模块和融合模块;其中,
坐标转换模块,用于将全景图像从等矩形域转换到球面域、再从球面域转换到视角域,得到该全景图像对应的视角平面图像;
视觉特征显著图SV生成模块,利用高斯差分滤波处理该视角平面图像,得到该视角平面图像中每个像素在视觉空间的DoG值;然后利用每个像素对应的DoG值与平均DoG值之间的欧几里德距离值表示对应像素在整幅全景图像上的视觉特征显著性,得到该全景图像对应的视觉特征显著图SV
行为特性显著图Sb生成模块,用于根据用户的实际头部运动数据得到用户观看全景图像的行为特性显著图Sb
融合模块,用于将该视觉特征显著图SV与该行为特性显著图Sb融合得到最终的全景图像显著图S。
10.如权利要求9所述的系统,其特征在于,视角域中的点(m,n)的所述DoG值为其中,σ1和σ2是高斯滤波器的标准差;视觉特征显著图其中,DV(u,v)是全景图像中的点(u,v)对应的DoG值,是全景图像中所有点对应的DoG值的平均DoG值;行为特性显著图 其中,表示全景图像上的纬度。
CN201810811052.5A 2018-07-23 2018-07-23 一种视觉特性与行为特性融合的全景图像显著图生成方法及系统 Active CN109166178B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810811052.5A CN109166178B (zh) 2018-07-23 2018-07-23 一种视觉特性与行为特性融合的全景图像显著图生成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810811052.5A CN109166178B (zh) 2018-07-23 2018-07-23 一种视觉特性与行为特性融合的全景图像显著图生成方法及系统

Publications (2)

Publication Number Publication Date
CN109166178A true CN109166178A (zh) 2019-01-08
CN109166178B CN109166178B (zh) 2020-10-16

Family

ID=64898060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810811052.5A Active CN109166178B (zh) 2018-07-23 2018-07-23 一种视觉特性与行为特性融合的全景图像显著图生成方法及系统

Country Status (1)

Country Link
CN (1) CN109166178B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110827193A (zh) * 2019-10-21 2020-02-21 国家广播电视总局广播电视规划院 基于多通道特征的全景视频显著性检测方法
CN111178163A (zh) * 2019-12-12 2020-05-19 宁波大学 基于立方体投影格式的立体全景图像显著区域预测方法
CN115361596A (zh) * 2022-07-04 2022-11-18 浙江大华技术股份有限公司 全景视频数据处理方法、装置、电子装置和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070286526A1 (en) * 2006-03-20 2007-12-13 GENERAL DYNAMICS C4 SYSTEMS and ARIZONA BOARD OF REGENTS FOR AND ON BEHALF OF ARIZONA STATE Methods for Multi-Point Descriptors for Image Registrations
CN105069434A (zh) * 2015-08-12 2015-11-18 河海大学常州校区 一种视频中人体动作行为识别方法
CN105469390A (zh) * 2015-11-17 2016-04-06 哈尔滨工程大学 一种基于改进Seam Carving的全景海天线提取方法
CN105825503A (zh) * 2016-03-10 2016-08-03 天津大学 基于视觉显著性的图像质量评价方法
CN106331686A (zh) * 2015-07-01 2017-01-11 上海视见电子科技有限公司 基于空域心理视觉的图像信息显示系统及方法
CN107301620A (zh) * 2017-06-02 2017-10-27 西安电子科技大学 基于相机阵列的全景成像方法
CN107346436A (zh) * 2017-06-29 2017-11-14 北京以萨技术股份有限公司 一种融合图像分类的视觉显著性检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070286526A1 (en) * 2006-03-20 2007-12-13 GENERAL DYNAMICS C4 SYSTEMS and ARIZONA BOARD OF REGENTS FOR AND ON BEHALF OF ARIZONA STATE Methods for Multi-Point Descriptors for Image Registrations
CN106331686A (zh) * 2015-07-01 2017-01-11 上海视见电子科技有限公司 基于空域心理视觉的图像信息显示系统及方法
CN105069434A (zh) * 2015-08-12 2015-11-18 河海大学常州校区 一种视频中人体动作行为识别方法
CN105469390A (zh) * 2015-11-17 2016-04-06 哈尔滨工程大学 一种基于改进Seam Carving的全景海天线提取方法
CN105825503A (zh) * 2016-03-10 2016-08-03 天津大学 基于视觉显著性的图像质量评价方法
CN107301620A (zh) * 2017-06-02 2017-10-27 西安电子科技大学 基于相机阵列的全景成像方法
CN107346436A (zh) * 2017-06-29 2017-11-14 北京以萨技术股份有限公司 一种融合图像分类的视觉显著性检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RAFAEL MONROY等: ""SalNet360:Saliency maps for omni-directional images with CNN"", 《SIGNAL PROCESSING IMAGE COMMUNICATION》 *
YUCHEN ZHU等: ""The prediction of head and eye movement for 360 degree images"", 《SIGNAL PROCESSING:IMAGE COMMUNICATION》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110827193A (zh) * 2019-10-21 2020-02-21 国家广播电视总局广播电视规划院 基于多通道特征的全景视频显著性检测方法
CN110827193B (zh) * 2019-10-21 2023-05-09 国家广播电视总局广播电视规划院 基于多通道特征的全景视频显著性检测方法
CN111178163A (zh) * 2019-12-12 2020-05-19 宁波大学 基于立方体投影格式的立体全景图像显著区域预测方法
CN111178163B (zh) * 2019-12-12 2023-06-09 宁波大学 基于立方体投影格式的立体全景图像显著区域预测方法
CN115361596A (zh) * 2022-07-04 2022-11-18 浙江大华技术股份有限公司 全景视频数据处理方法、装置、电子装置和存储介质

Also Published As

Publication number Publication date
CN109166178B (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
US11107232B2 (en) Method and apparatus for determining object posture in image, device, and storage medium
Tateno et al. Distortion-aware convolutional filters for dense prediction in panoramic images
US10992881B2 (en) Apparatus and methods for the storage of overlapping regions of imaging data for the generation of optimized stitched images
US10595004B2 (en) Electronic device for generating 360-degree three-dimensional image and method therefor
US9438878B2 (en) Method of converting 2D video to 3D video using 3D object models
US9729787B2 (en) Camera calibration and automatic adjustment of images
US11748906B2 (en) Gaze point calculation method, apparatus and device
WO2012153447A1 (ja) 画像処理装置、映像処理方法、プログラム、集積回路
CN112017222B (zh) 视频全景拼接与三维融合方法及装置
CN110956583B (zh) 球面图像处理方法、装置及服务器
US20180144212A1 (en) Method and device for generating an image representative of a cluster of images
CN107798704B (zh) 一种用于增强现实的实时图像叠加方法及装置
CN109166178B (zh) 一种视觉特性与行为特性融合的全景图像显著图生成方法及系统
CN114143528B (zh) 多视频流融合方法、电子设备、存储介质
CN110363116A (zh) 基于gld-gan的不规则人脸矫正方法、系统及介质
CN113518996A (zh) 从多视图视觉数据进行损坏检测
JP2015022510A (ja) 自由視点画像撮像装置およびその方法
Xu et al. Layout-guided novel view synthesis from a single indoor panorama
US20220342365A1 (en) System and method for holographic communication
CN105809729A (zh) 一种虚拟场景的球形全景渲染方法
KR101148508B1 (ko) 모바일 기기 디스플레이의 표시 장치 및 그 방법, 이를 이용하는 모바일 기기
Shan et al. Discrete spherical image representation for cnn-based inclination estimation
WO2022126921A1 (zh) 全景图片的检测方法、装置、终端及存储介质
da Silveira et al. Omnidirectional visual computing: Foundations, challenges, and applications
Bergmann et al. Gravity alignment for single panorama depth inference

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant