CN110191347A - 基于特征点检测的全景视频的传输方法 - Google Patents

基于特征点检测的全景视频的传输方法 Download PDF

Info

Publication number
CN110191347A
CN110191347A CN201910373251.7A CN201910373251A CN110191347A CN 110191347 A CN110191347 A CN 110191347A CN 201910373251 A CN201910373251 A CN 201910373251A CN 110191347 A CN110191347 A CN 110191347A
Authority
CN
China
Prior art keywords
characteristic point
region
user
point detection
panoramic video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910373251.7A
Other languages
English (en)
Other versions
CN110191347B (zh
Inventor
范益波
杨吉喆
周思远
孟子皓
池俊
曾晓洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN201910373251.7A priority Critical patent/CN110191347B/zh
Publication of CN110191347A publication Critical patent/CN110191347A/zh
Application granted granted Critical
Publication of CN110191347B publication Critical patent/CN110191347B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明属于全景视频传输技术领域，具体为基于特征点检测的全景视频的传输方法。本发明方法包括：根据用户端的视野情况得到相应的视野范围；将用户的视野范围根据需求划分成若干个面积相等的区域；对这每个区域利用FAST特征点检测算法进行特征点检测；得到每个区域的特征点数目后进行比较，得到特征点数目最多的区域；记录好此区域中心的位置，将其反馈给服务器端，服务器端将其作为用户视野的中心，选择相应的视频内容及其对应清晰度，发送给用户。本发明可大大提高用户的观看体验。

Description

基于特征点检测的全景视频的传输方法
技术领域
本发明属于全景视频技术领域，具体涉及全景视频的传输方法。
背景技术
在全景视频领域，有两个大方向，一是全景视频的投影，另一个是全景视频的传输。对于全景视频的投影，是要把原始的全景视频投影到矩形平面上，以此来满足现行的编码标准；用户端还需要将得到的平面视频尽量均匀地重新投影到球面上，来提高用户的观看体验。对于全景视频的传输，由于全景视频拥有相比于普通视频更多的信息量，其会占用更多的带宽，对现有的技术条件产生巨大的压力。所以在全景视频传输过程中，对于视频内容进行分类处理，为了尽可能的提高用户的观看质量，对于用户视野范围内的内容以高清模式发送，对于视野范围外的内容按照一定的清晰度排列规则进行排布后发送，这样就能有效的减小带宽的占用量。
在实际情况中，由于有传输延时的存在，采用上述传输策略后，会导致用户的视野范围内总是会存在不是最高清晰度的内容，从而使用户的观看体验下降。针对这个策略存在的不足，研究过程中有以下几种考虑方法：
(1)金字塔模型：对于用户的视野范围分配最高清晰度，根据周围的区域与用户视野之间的距离，从中间向外清晰度按照一定的规则依次降低；
(2)恒定角速度模型：当用户转换视角时，将用户的视角运动信息(视角位置，视角运动方向和速度)进行记录，将其反馈给服务器端，服务器端将用户的视角运动视为恒定角速度，计算用户在一个往返延时后的视野范围，提前发送相应的内容；
(3)恒定角加速度模型：同(2)，只是服务器端将用户的运动视为恒定角加速模式；
(4)拉普拉斯补偿模型：对于用户的运动预测同(2)，在此基础上，对于相应发送内容进行补偿，根据加速度的方向，按照和视野范围的边界距离以拉普拉斯分布的规律，进行清晰度分配补偿。
本发明使用特征点检测的预测模型，通过特征点的密度特征来判断用户接下来可能的视野范围，能够有效的预测用户的视野范围，将相应的视频内容提前发送给用户，从而提高了用户的视野内视频的清晰度，提高了用户的观看体验。
发明内容
本发明的目的在于提出一种在降低全景视频传输带宽的前提下，有效提高用户观看体验的基于特征点检测的全景视频传输的方法。
本发明提出的基于特征点检测的全景视频传输的方法，具体步骤为：
(1)根据用户端的视野情况得到相应的视野范围；
(2)将用户的视野范围根据需求划分成若干个面积相等的区域；
(3)对这每个区域利用FAST特征点检测算法进行特征点检测；
(4)得到每个区域的特征点数目后，进行比较，得到特征点数目最多的区域；
(5)记录好此区域中心的位置，将其反馈给服务器端，服务器端将其作为用户视野的中心，选择相应的视频内容及其对应清晰度，发送给用户；
(6)用户对于得到的视频内容解码播放后，重复上述步骤(1)-(5)。
本发明中，对视野范围划分区域时，如果区域过少，会使得预测准确性下降；如果区域过多，特征点检测所需要的时间增加，所以需要采用一定的规则进行选取；一般是根据整个画面中特征点的数目划分区域个数，具体划分块数为：
numfeature表示画面中特征点的数目。
本发明中，使用FAST特征点检测算法进行特征点检测，在保证准确率的前提下，提高运算速度，参见图2所示，具体步骤为：
(1)取一个像素点P，以及在他周围半径为3的像素圆；
(2)将其同周围的像素点做差；
(3)判断是否有9个或12个像素与P点像素值差值绝对值大于阈值，是则为特征点，否则不是；判断9个像素情况对应算法记为FAST-9，判断12个像素点情况对应算法记为FAST-12；
(4)取以像素点P为中心的3x3或5x5的像素邻域，里面像素点通过(3)计算差值绝对值和最大的特征点，为所求的特征点。
本发明中，用户端和服务器端交互使用socket通信。
附图说明
图1为本发明方法框图。
图2为FAST特征点检测算法示意图。
图3为本发明方法结果示意图。
图4为全景视频播放画面(可以随意改变视角)。
图5为本发明提升观看质量量化示意图。
具体实施方式
下面结合附图和实施例对本发明做进一步的描述。
图1为本发明的流程框图，对于用户观看全景视频，随着时间推移，会看到一帧帧画面，对每一帧画面进行分析。
(1)根据用户端的视野情况得到相应的视野范围，参见图4所示。
(2)将用户的视野范围根据需求划分成若干个面积相等的区域(具体操作见下面步骤(4)中的(*))。
(3)对这每个区域利用FAST特征点检测算法进行特征点检测；
当得到一帧画面后，对其使用FAST算法进行特征点检测，其流程如图2所示，具体步骤为：
1)首先对于一个点P，取以P点为中心，半径为3的像素圆，从1到16定义上面的像素点；设定一个阈值M，用来衡量点P与周围像素的差异。首先计算像素点2和像素点10与点P像素值差的绝对值，将其与阈值M比较，若都小于阈值M，则P点不为特征点；否则进入下一步判断；接着计算像素点2、6、10、14与点P像素值差的绝对值，如果有3个差值绝对值大于阈值M，则进入下一步判断；否则排除点P；然后计算从像素点1到像素点16与点P像素值差值的绝对值，如果有9个差值的绝对值大于阈值M(这是FAST-9，还有FAST-12，只是对应的超过阈值的差值个数)，则表示这个点是特征点，否则不是；
2)若仅以此判断特征点，可能会导致在一个很小的区域里所有的像素点都是特征点，因此需要对一个区域进行筛选，引入一个评判标准s，对于先前得到的特征点P，取其一个3x3或者5x5的领域，若只有一个特征点P，则其即为所求；如果有多个特征点，则分别计算其s值，取最大的s对应的点为特征点；而s为“伪”特征点，周围16个点与其像素值差值绝对值的和；通过公式(2)计算得到；
p表示像素点P的像素值；pi表示以点P为中心半径为3的像素圆上每一个像素点的像素值；P3x3表示以点P为中心的一个3X3的像素邻域。
(4)得到每个区域的特征点数目后，进行比较，得到特征点数目最多的区域；
对一帧画面得到特征点以及相应的数目后，根据公式(3)划分成面积相等nxn的区域(*)，通过公式(4)，对这每个区域计算特征点的密度，得到特征点密度最大的区域；
表示画面划分成nxn区域后，每一个区域的面积；s∈Vtile表示每一块nxn的区域都是在当前视野范围。
(5)记录好此区域中心的位置，将其反馈给服务器端，服务器端将其作为用户视野的中心，确定视野范围，选择相应的视频内容及其对应的码流清清晰度，作为用户接下来观看的视频内容，发送给用户；
用户端得到服务器端发送的码流文件后进行解码播放，从而看到新的视频内容；
在得到了新的视野画面后，重复上述步骤，从而达到了在用户整个观看过程中优化用户观看体验的效果。
图3即为一副单独拿出来的画面进行测试的结果。得到这副画面进行相应特征点检测的测试后，最后得到了特征点密度最大的区域，同时对若干样本进行测试后得到，特征点密度最大的区域为关注度最高的区域，即用户观看频率最大的区域，达到了优化观看体验的效果。
图4表示对于观看全景视频，可以360°的改变观看视角，选择自己感兴趣的内容，量化来看，根据视线与参考系的方位形成坐标，从而得到视点位置，而用户的视野范围大小是固定的，以此为中心，根据观看设备和用户本身进行调整，就能得到用户具体的视野范围和相应内容，从而进行后续操作。
图5说明。其中横坐标表示传输延时，纵坐标表示观看质量。观看质量的具体含义为视野范围内视频内容对应清晰度和其对应面积的加权求和，观看质量越高表示用户的观看体验越好。对于其中的曲线，n表示不做预测，v表示恒定角速度预测模型，a表示恒定角加速度预测模型，p表示金字塔模型，l表示拉普拉斯补偿模型，f表示本发明的模型。通过图像可以看出，本发明的观看质量提升曲线先增加后减少，在一定延时的调节下，对于用户的观看质量能提升到99％，即能准确预测用户的观看内容。对于曲线的走势，解释如下：当用户视野内出现特征点密度更高的区域后，用户的视角移动存在时间，因此移动时间以延时的形式反映出来，也体现出本模型在存在一定延时的情况下能很好的发挥作用，此外，视角移动速度能影响本发明的工作效率，在测试的过程中是用鼠标模拟视角变化，存在移动速度较慢的情况，真实情况有所提升。

Claims (5)

1.一种基于特征点检测的全景视频传输的方法，其特征在于，具体步骤为：
（1）根据用户端的视野情况得到相应的视野范围；
（2）将用户的视野范围根据需求划分成若干个面积相等的区域；
（3）对上述每个区域利用FAST特征点检测算法进行特征点检测；
（4）得到每个区域的特征点数目后，进行比较，得到特征点数目最多的区域；
（5）记录好此区域中心的位置，将其反馈给服务器端，服务器端将其作为用户视野的中心，选择相应的视频内容及其对应清晰度，发送给用户；
（6）用户对于得到的视频内容解码播放后，重复上述步骤(1)-(5)。
2. 根据权利要求1所述的基于特征点检测的全景视频传输的方法，其特征在于，步骤（2）中所述将用户的视野范围根据需求划分成若干个面积相等的区域，是根据整个画面中特征点的数目划分区域个数，划分块数为：
（1）
表示画面中特征点的数目。
3.根据权利要求1所述的基于特征点检测的全景视频传输的方法，其特征在于，步骤（3）中所述使用FAST特征点检测算法进行特征点检测，具体步骤为：
（1）取一个像素点P，以及在他周围半径为3像素点的圆；
（2）将其同周围的像素点做差；
（3）判断是否有9个或12个像素与P点像素值差值绝对值大于阈值，是，则为特征点，否，则不是特征点；
（4）取以像素点P为中心的3x3或5x5的像素邻域，里面像素点通过（3）计算差值绝对值和最大的特征点，为所求的特征点。
4.根据权利要求1所述的基于特征点检测的全景视频传输的方法，其特征在于，步骤（4）中所述得到每个区域的特征点数目后，进行比较，得到特征点数目最多的区域；具体为：
对一帧画面得到特征点以及相应的数目后，根据公式（3）划分成面积相等nxn的区域：
（3）
通过公式（4），对这每个区域计算特征点的密度，得到特征点密度最大的区域；
（4）
表示画面划分成nxn区域后，每一个区域的面积；表示每一块nxn的区域都是在当前视野范围。
5.根据权利要求1所述的基于特征点检测的全景视频传输的方法，其特征在于，用户端和服务器端交互使用socket通信。
CN201910373251.7A 2019-05-06 2019-05-06 基于特征点检测的全景视频的传输方法 Active CN110191347B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910373251.7A CN110191347B (zh) 2019-05-06 2019-05-06 基于特征点检测的全景视频的传输方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910373251.7A CN110191347B (zh) 2019-05-06 2019-05-06 基于特征点检测的全景视频的传输方法

Publications (2)

Publication Number Publication Date
CN110191347A true CN110191347A (zh) 2019-08-30
CN110191347B CN110191347B (zh) 2021-06-04

Family

ID=67715708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910373251.7A Active CN110191347B (zh) 2019-05-06 2019-05-06 基于特征点检测的全景视频的传输方法

Country Status (1)

Country Link
CN (1) CN110191347B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106873933A (zh) * 2017-02-24 2017-06-20 联想(北京)有限公司 显示方法及电子设备
KR101806840B1 (ko) * 2016-12-15 2017-12-11 인천대학교 산학협력단 다수의 카메라를 이용한 고해상도 ３６０도 동영상 생성 시스템
CN109448054A (zh) * 2018-09-17 2019-03-08 深圳大学 基于视觉融合的目标分步定位方法、应用、装置及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101806840B1 (ko) * 2016-12-15 2017-12-11 인천대학교 산학협력단 다수의 카메라를 이용한 고해상도 ３６０도 동영상 생성 시스템
CN106873933A (zh) * 2017-02-24 2017-06-20 联想(北京)有限公司 显示方法及电子设备
CN109448054A (zh) * 2018-09-17 2019-03-08 深圳大学 基于视觉融合的目标分步定位方法、应用、装置及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨帆 等: "面向头盔显示的加密全景视频播放系统_杨帆", 《微型电脑应用》 *

Also Published As

Publication number Publication date
CN110191347B (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN103679698B (zh) 用于检测和跟踪移动对象的系统和方法
Chiariotti A survey on 360-degree video: Coding, quality of experience and streaming
CN108648161B (zh) 非对称核卷积神经网络的双目视觉障碍物检测系统及方法
CN101682794B (zh) 用于处理深度相关信息的方法、装置和系统
CN101023662B (zh) 用于运动矢量处理的方法和设备
CN101946514B (zh) 使用自适应搜索范围的真实运动矢量估计
US9135744B2 (en) Method for filling hole-region and three-dimensional video system using the same
US10540791B2 (en) Image processing apparatus, and image processing method for performing scaling processing based on image characteristics
KR20090006068A (ko) 동영상 시퀀스를 수정하는 방법 및 그 장치
KR20090084563A (ko) 비디오 영상의 깊이 지도 생성 방법 및 장치
US9123133B1 (en) Method and apparatus for moving object detection based on cerebellar model articulation controller network
KR20110134147A (ko) 입체 영상 오류 개선 방법 및 장치
US20210122367A1 (en) Methods, devices, media, and apparatuses of detecting moving object, and of intelligent driving control
CN105282530B (zh) 基于背景建模的自动白平衡实现方法及装置
CN110688905A (zh) 一种基于关键帧的三维物体检测与跟踪方法
CN106875389A (zh) 基于运动显著性的立体视频质量评价方法
CN106447718B (zh) 一种2d转3d深度估计方法
US20150131732A1 (en) Method of motion estimation and image processing apparatus using the same
CN106384359A (zh) 运动目标跟踪方法和电视
CN102447870A (zh) 静止物体检测方法和运动补偿装置
CN108270945A (zh) 一种运动补偿去噪方法及装置
EP2391135B1 (en) Method and device for processing depth image sequence
CN104142730A (zh) 一种手势跟踪结果映射成鼠标事件的方法
CN105208407B (zh) 用于处理视频数据流的设备和方法
WO2020195767A1 (ja) ３ｄモデル送信装置、及び、３ｄモデル受信装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant