CN109166178B - 一种视觉特性与行为特性融合的全景图像显著图生成方法及系统 - Google Patents

一种视觉特性与行为特性融合的全景图像显著图生成方法及系统 Download PDF

Info

Publication number
CN109166178B
CN109166178B CN201810811052.5A CN201810811052A CN109166178B CN 109166178 B CN109166178 B CN 109166178B CN 201810811052 A CN201810811052 A CN 201810811052A CN 109166178 B CN109166178 B CN 109166178B
Authority
CN
China
Prior art keywords
panoramic image
saliency map
visual
image
domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810811052.5A
Other languages
English (en)
Other versions
CN109166178A (zh
Inventor
丁颖
刘延伟
刘科栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Information Engineering of CAS
Original Assignee
Institute of Information Engineering of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Information Engineering of CAS filed Critical Institute of Information Engineering of CAS
Priority to CN201810811052.5A priority Critical patent/CN109166178B/zh
Publication of CN109166178A publication Critical patent/CN109166178A/zh
Application granted granted Critical
Publication of CN109166178B publication Critical patent/CN109166178B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种视觉特性与行为特性融合的全景图像显著图生成方法及系统。本方法为：1)将全景图像从等矩形域转换到球面域、再从球面域转换到视角域，得到该全景图像对应的视角平面图像；2)使用高斯差分滤波处理该视角平面图像，得到图像中每个像素在视觉空间的DoG值；3)利用每个像素对应的DoG值与平均DoG值之间的欧几里德距离值表示对应像素在整幅全景图像上的视觉特征显著性，得到该全景图像对应的视觉特征显著图SV；4)根据用户的实际头部运动数据得到用户观看全景图像的行为特性显著图Sb；5)将该视觉特征显著图SV与该行为特性显著图Sb融合得到最终的全景图像显著图S。本发明大大提升了全景图像的显示效果。

Description

一种视觉特性与行为特性融合的全景图像显著图生成方法及 系统
技术领域
本发明计算机软件技术领域，涉及一种视觉特性与行为特性融合的全景图像显著图生成方法及系统。
背景技术
近年来，全景图像因其可以捕捉周围场景的广阔视野而受到关注。通过使用头戴式显示器(HMD)，全景图像可以给观众带来身临其境的视觉体验。基于这种特征，全景图像已被广泛应用于许多虚拟现实(VR)应用中。
全景图像的空间大小比传统图像大得多，在现有条件下进行全景图像的存储和传输十分困难，然而人的视觉注意机制(Visual Attention Mechanism)是一种具有选择性的注意，用户通常只关注整个全景图像的一小部分。从整个图像区分显著区域进而对全景图像进行压缩，可以很大程度上缓解全景图像存储和传输的压力。目前，传统平面图像的显著性检测算法有很多，虽然这些显著检测算法可以直接应用于全景图像，但由于全景图像的特性，通常不能获得完美的显著性图。
首先，全景图像与传统平面图像观看方式不同。对于传统平面图像，用户直接在屏幕上观看图像，用户所看到的内容与图像完全相同。对于全景图像，用户通常通过HMD观看到全景图像的某个视角。视角是全景图像的一部分经过几何投影得到的，用户所看到的内容与全景图像上对应区域不完全相同。
其次，与传统的平面二维图像不同，全景图像的显著性还受到用户观看行为的影响。这是因为观看者的眼睛和头部方向决定了所观看到的视角的位置。一般情况下，长时间仰视或俯视是很不舒服的，因此，人们更喜欢在与人眼平行的范围内进行扫视。
为了处理上述问题，本发明提出了一种在视角域融合视觉特征和观看行为特性的全景图像显著性检测方法。
发明内容
考虑到全景图像的特殊性，本发明设计通过在视角域中融合用户视觉特征和行为特征来实现显著性图的生成方法及系统，整个全景图像的显著性检测技术框架如图1所示。本发明首先在视角域中使用高斯差分(DoG)滤波来提取视觉空间每个像素的频率差异，并计算全景图像域中每个视角中心与其它视角之间的对比度，以此生成视觉特征显著图。通过建立数学模型，根据实际头部运动数据可以得到用户观看全景图像的行为特性函数，进而生成行为特性显著图。将视觉特征显著图与行为特性显著图融合得到最终的显著性图。
本发明的技术方案为：
一种视觉特性与行为特性融合的全景图像显著图生成方法，其步骤包括：
1)将全景图像从等矩形域转换到球面域、再从球面域转换到视角域，得到该全景图像对应的视角平面图像；
2)使用高斯差分滤波处理该视角平面图像，得到该视角平面图像中每个像素在视觉空间的DoG值；
3)利用每个像素对应的DoG值与平均DoG值之间的欧几里德距离值表示对应像素在整幅全景图像上的视觉特征显著性，得到该全景图像对应的视觉特征显著图SV；
4)根据用户的实际头部运动数据得到用户观看全景图像的行为特性显著图Sb；
5)将该视觉特征显著图SV与该行为特性显著图Sb融合得到最终的全景图像显著图S。
进一步的，视角域中的点(m，n)的所述DoG值为
Figure BDA0001739135270000021
其中，σ1和σ2是高斯滤波器的标准差。
σ1＝1.6σ2。
进一步的，视觉特征显著图
Figure BDA0001739135270000022
其中，DV(u,v)是全景图像中的点(u,v)对应的DoG值，
Figure BDA0001739135270000023
是全景图像中所有点对应的DoG值的平均DoG值。
进一步的，行为特性显著图
Figure BDA0001739135270000024
其中，
Figure BDA0001739135270000025
表示全景图像上的纬度。
进一步的，全景图像显著图S＝max(N(SV),N(Sb))；其中，N()表示归一化操作。
进一步的，利用公式
Figure BDA0001739135270000026
将全景图像从等矩形域转换到球面域，然后利用公式
Figure BDA0001739135270000027
将球面域转换到视角域；其中，(u，v)表示等矩形域表示的全景图像中的一个点，(x，y，z)表示全景图像中的点(u，v)在球面上的笛卡尔坐标，(m，n)是全景图像中的点(u，v)在视角投影上的二维齐次坐标；(m0,n0)是视角域的中心点Q的坐标；f是全景图像球面的半径，
Figure BDA0001739135270000028
w、h分别是视角平面图像的宽度和高度，fovx、fovy分别为头戴式显示器中每只眼睛的水平视野和垂直视野，R为旋转矩阵。
进一步的，旋转矩阵
Figure BDA0001739135270000031
其中，θ为点Q的经度，
Figure BDA0001739135270000032
为点Q的纬度。
一种视觉特性与行为特性融合的全景图像显著图生成系统，其特征在于，包括坐标转换模块、视觉特征显著图SV生成模块、行为特性显著图Sb生成模块和融合模块；其中，
坐标转换模块，用于将全景图像从等矩形域转换到球面域、再从球面域转换到视角域，得到该全景图像对应的视角平面图像；
视觉特征显著图SV生成模块，利用高斯差分滤波处理该视角平面图像，得到该视角平面图像中每个像素在视觉空间的DoG值；然后利用每个像素对应的DoG值与平均DoG值之间的欧几里德距离值表示对应像素在整幅全景图像上的视觉特征显著性，得到该全景图像对应的视觉特征显著图SV；
行为特性显著图Sb生成模块，用于根据用户的实际头部运动数据得到用户观看全景图像的行为特性显著图Sb；
融合模块，用于将该视觉特征显著图SV与该行为特性显著图Sb融合得到最终的全景图像显著图S。
与现有技术相比，本发明的积极效果为：
从用户角度出发，在视角域进行显著性检测；解释了全景图像中赤道部分更受用户关注的原因，并给出了相应解决方案，大大提升了全景图像的显示效果。本发明与现有方法的效果对比如表所示，其中CC越大表示效果越好。
算法 本发明 SalNet360 ML_NET+EB
线性相关系数(CC) 0.658 0.548 0.49
附图说明
图1为视觉特性与行为特性融合的全景图像显著性检测技术架构图；
图2为全景图像球面域、视角域与等矩形投影之间的关系图；
图3为全景图像纬度与用户观看概率之间的关系图。
具体实施方式
下面结合附图对本发明进行进一步描述。
全景图像的等矩形投影面、球面、视角平面之间的关系图如图2所示。左边矩形表示全景图像的等矩形投影，球体表示全景图像的球面表示，视角是与球相切于点Q的切面ABCD，其中点Q是视角对应的切面ABCD的中心。
假设E(x，y，z)表示全景图像中的一个点在球面上的笛卡尔坐标，E′(m，n)是其在视角投影上的二维齐次坐标，E″(u，v)表示其在等矩形投影上的2D齐次坐标图像。它们之间的转换关系为：
Figure BDA0001739135270000041
Figure BDA0001739135270000042
其中,(m0,n0)是视角域中点Q的坐标，f是全景图像球面的半径。fx和fy与HMD中视角的大小和每只眼睛的视野有关，如果w和h分别是视角平面图像的宽度和高度，fovx和fovy为HMD中每只眼睛的水平视野和垂直视野，则
Figure BDA0001739135270000043
R为旋转矩阵，若中心视点Q的经度和纬度为
Figure BDA0001739135270000044
则R的表示方式为：
Figure BDA0001739135270000045
为了准确捕获视觉特征，本发明使用DoG处理视角平面的图像，表示方式如下：
Figure BDA0001739135270000046
其中(m，n)是视角域中的点的坐标，σ1和σ2是高斯滤波器的标准差(σ1＝1.6σ2)。
本发明利用每个像素的高斯差分值(DoG值)与所有像素的平均DoG之间的欧几里德距离值表示其在整幅全景图像上的视觉特征显著性：
Figure BDA0001739135270000047
其中SV是视觉特征显著图，DV(u,v)是全景图像中点(u，v)对应的DoG值，
Figure BDA0001739135270000048
是全景图像中所有点对应的DoG值的平均DoG值，表示为
Figure BDA0001739135270000049
其中W和H分别是全景图像的宽和高。
根据用户的头部位置数据，本发明绘制了观看概率与全景图像上的纬度的关系(如图3)。在图3中，圆点表示用户的观看位置数据。从图上可以看到，在零度附近，观看概率达到最高值，-π/3和π/3之间的区域占了大部分的观看概率。从图3可以看出观看概率和纬度之间的关系大致符合数学函数，通过建模，本发明得到他们之间的关系如下：
Figure BDA0001739135270000051
其中
Figure BDA0001739135270000052
表示全景图像上的纬度，Pg表示用户观看概率,Sb是行为特征显著图。某一个区域，用户观看的概率越大说明用户越关注，即该区域显著性越高。
最后，本发明融合视觉特征显著图和观看行为特征显著图来获得最终的全景图像显著图，最终的显著图表示如下：
S＝max(N(SV),N(Sb)) (7)
其中SV是视觉特征显著图，Sb是行为特征显著图，N()表示归一化操作，max是取最大值操作。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的研究人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (9)

1.一种视觉特性与行为特性融合的全景图像显著图生成方法，其步骤包括：
1)将全景图像从等矩形域转换到球面域、再从球面域转换到视角域，得到该全景图像对应的视角平面图像；
2)使用高斯差分滤波处理该视角平面图像，得到该视角平面图像中每个像素在视觉空间的DoG值；
3)利用每个像素对应的DoG值与平均DoG值之间的欧几里德距离值表示对应像素在整幅全景图像上的视觉特征显著性，得到该全景图像对应的视觉特征显著图SV；
4)根据用户的实际头部运动数据得到用户观看全景图像的行为特性显著图Sb；其中，行为特性显著图
Figure FDA0002493498840000011
Figure FDA0002493498840000012
表示全景图像上的纬度；
5)将该视觉特征显著图SV与该行为特性显著图Sb融合得到最终的全景图像显著图S。
2.如权利要求1所述的方法，其特征在于，视角域中的点(m，n)的所述DoG值为
Figure FDA0002493498840000013
其中，σ1和σ2是高斯滤波器的标准差。
3.如权利要求2所述的方法，其特征在于，σ1＝1.6σ2。
4.如权利要求1所述的方法，其特征在于，视觉特征显著图
Figure FDA0002493498840000014
其中，DV(u，v)是全景图像中的点(u，v)对应的DoG值，
Figure FDA0002493498840000015
是全景图像中所有点对应的DoG值的平均DoG值。
5.如权利要求1所述的方法，其特征在于，全景图像显著图S＝max(N(SV)，N(Sb))；其中，N()表示归一化操作。
6.如权利要求1所述的方法，其特征在于，利用公式
Figure FDA0002493498840000016
将全景图像从等矩形域转换到球面域，然后利用公式
Figure FDA0002493498840000017
将球面域转换到视角域；其中，(u，v)表示等矩形域表示的全景图像中的一个点，(x，y，z)表示全景图像中的点(u，v)在球面上的笛卡尔坐标，(m，n)是全景图像中的点(u，v)在视角投影上的二维齐次坐标；(m0,n0)是视角域的中心点Q的坐标；f是全景图像球面的半径，
Figure FDA0002493498840000018
w、h分别是视角平面图像的宽度和高度，fovx、fovy分别为头戴式显示器中每只眼睛的水平视野和垂直视野，R为旋转矩阵。
7.如权利要求6所述的方法，其特征在于，旋转矩阵
Figure FDA0002493498840000021
其中，θ为点Q的经度，
Figure FDA0002493498840000022
为点Q的纬度。
8.一种视觉特性与行为特性融合的全景图像显著图生成系统，其特征在于，包括坐标转换模块、视觉特征显著图SV生成模块、行为特性显著图Sb生成模块和融合模块；其中，
坐标转换模块，用于将全景图像从等矩形域转换到球面域、再从球面域转换到视角域，得到该全景图像对应的视角平面图像；
视觉特征显著图SV生成模块，利用高斯差分滤波处理该视角平面图像，得到该视角平面图像中每个像素在视觉空间的DoG值；然后利用每个像素对应的DoG值与平均DoG值之间的欧几里德距离值表示对应像素在整幅全景图像上的视觉特征显著性，得到该全景图像对应的视觉特征显著图SV；
行为特性显著图Sb生成模块，用于根据用户的实际头部运动数据得到用户观看全景图像的行为特性显著图Sb；其中，行为特性显著图
Figure FDA0002493498840000023
Figure FDA0002493498840000024
表示全景图像上的纬度；
融合模块，用于将该视觉特征显著图SV与该行为特性显著图Sb融合得到最终的全景图像显著图S。
9.如权利要求8所述的系统，其特征在于，视角域中的点(m，n)的所述DoG值为
Figure FDA0002493498840000025
其中，σ1和σ2是高斯滤波器的标准差；视觉特征显著图
Figure FDA0002493498840000026
其中，DV(u，v)是全景图像中的点(u,v)对应的DoG值，
Figure FDA0002493498840000027
是全景图像中所有点对应的DoG值的平均DoG值。
CN201810811052.5A 2018-07-23 2018-07-23 一种视觉特性与行为特性融合的全景图像显著图生成方法及系统 Active CN109166178B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810811052.5A CN109166178B (zh) 2018-07-23 2018-07-23 一种视觉特性与行为特性融合的全景图像显著图生成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810811052.5A CN109166178B (zh) 2018-07-23 2018-07-23 一种视觉特性与行为特性融合的全景图像显著图生成方法及系统

Publications (2)

Publication Number Publication Date
CN109166178A CN109166178A (zh) 2019-01-08
CN109166178B true CN109166178B (zh) 2020-10-16

Family

ID=64898060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810811052.5A Active CN109166178B (zh) 2018-07-23 2018-07-23 一种视觉特性与行为特性融合的全景图像显著图生成方法及系统

Country Status (1)

Country Link
CN (1) CN109166178B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110827193B (zh) * 2019-10-21 2023-05-09 国家广播电视总局广播电视规划院 基于多通道特征的全景视频显著性检测方法
CN111178163B (zh) * 2019-12-12 2023-06-09 宁波大学 基于立方体投影格式的立体全景图像显著区域预测方法
CN115361596A (zh) * 2022-07-04 2022-11-18 浙江大华技术股份有限公司 全景视频数据处理方法、装置、电子装置和存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8417060B2 (en) * 2006-03-20 2013-04-09 Arizona Board Of Regents For And On Behalf Of Arizona State University Methods for multi-point descriptors for image registrations
CN106331686A (zh) * 2015-07-01 2017-01-11 上海视见电子科技有限公司 基于空域心理视觉的图像信息显示系统及方法
CN105069434B (zh) * 2015-08-12 2018-06-05 河海大学常州校区 一种视频中人体动作行为识别方法
CN105469390B (zh) * 2015-11-17 2018-04-27 哈尔滨工程大学 一种基于改进Seam Carving的全景海天线提取方法
CN105825503B (zh) * 2016-03-10 2019-04-23 天津大学 基于视觉显著性的图像质量评价方法
CN107301620B (zh) * 2017-06-02 2019-08-13 西安电子科技大学 基于相机阵列的全景成像方法
CN107346436B (zh) * 2017-06-29 2020-03-24 北京以萨技术股份有限公司 一种融合图像分类的视觉显著性检测方法

Also Published As

Publication number Publication date
CN109166178A (zh) 2019-01-08

Similar Documents

Publication Publication Date Title
US11107232B2 (en) Method and apparatus for determining object posture in image, device, and storage medium
US10595004B2 (en) Electronic device for generating 360-degree three-dimensional image and method therefor
Tateno et al. Distortion-aware convolutional filters for dense prediction in panoramic images
US9729787B2 (en) Camera calibration and automatic adjustment of images
US9438878B2 (en) Method of converting 2D video to 3D video using 3D object models
US11748906B2 (en) Gaze point calculation method, apparatus and device
WO2012153447A1 (ja) 画像処理装置、映像処理方法、プログラム、集積回路
CN109166178B (zh) 一种视觉特性与行为特性融合的全景图像显著图生成方法及系统
CN110956583B (zh) 球面图像处理方法、装置及服务器
CN107798704B (zh) 一种用于增强现实的实时图像叠加方法及装置
CN113518996A (zh) 从多视图视觉数据进行损坏检测
US20220342365A1 (en) System and method for holographic communication
Shan et al. Discrete spherical image representation for cnn-based inclination estimation
WO2022126921A1 (zh) 全景图片的检测方法、装置、终端及存储介质
Bergmann et al. Gravity alignment for single panorama depth inference
CN108022204A (zh) 一种柱面全景视频转换为球面全景视频的方法
Dedhia et al. Saliency prediction for omnidirectional images considering optimization on sphere domain
Nam et al. An efficient algorithm for generating harmonized stereoscopic 360° VR images
CN111178163B (zh) 基于立方体投影格式的立体全景图像显著区域预测方法
CN110913199B (zh) 一种vr图像传输方法
Zhao et al. Stripe sensitive convolution for omnidirectional image dehazing
US20240137481A1 (en) Method And Apparatus For Generating Stereoscopic Display Contents
JP2017010555A (ja) 画像処理方法及び画像処理装置
Li et al. Object detection in omnidirectional images based on spherical cnn
US20230326128A1 (en) Techniques for processing multiplane images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant