CN108269229A - 一种全景图像或视频的像素位置分布优化方法 - Google Patents

一种全景图像或视频的像素位置分布优化方法 Download PDF

Info

Publication number
CN108269229A
CN108269229A CN201611261410.7A CN201611261410A CN108269229A CN 108269229 A CN108269229 A CN 108269229A CN 201611261410 A CN201611261410 A CN 201611261410A CN 108269229 A CN108269229 A CN 108269229A
Authority
CN
China
Prior art keywords
pixel
spherical surface
row
latitude
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611261410.7A
Other languages
English (en)
Other versions
CN108269229B (zh
Inventor
朱立松
熊智辉
贾非
张勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CCTV INTERNATIONAL NETWORKS WUXI Co Ltd
Original Assignee
CCTV INTERNATIONAL NETWORKS WUXI Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CCTV INTERNATIONAL NETWORKS WUXI Co Ltd filed Critical CCTV INTERNATIONAL NETWORKS WUXI Co Ltd
Priority to CN201611261410.7A priority Critical patent/CN108269229B/zh
Publication of CN108269229A publication Critical patent/CN108269229A/zh
Application granted granted Critical
Publication of CN108269229B publication Critical patent/CN108269229B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/073—Transforming surfaces of revolution to planar images, e.g. cylindrical surfaces to planar images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了计算机多媒体信息处理技术领域的一种全景图像或视频的像素位置分布优化方法，该全景图像或视频的像素位置分布优化方法的具体步骤如下：S1：使用拍摄设备获取球面上欧几里得坐标点(x，y，z)的像素值，并将这些像素值存储在有像素点的矩平面上；S2：推导出球面上每一行像素点的纬度值；S3：利用S(β)函数来控制像素向赤道附近集中的程度；S4：将矩平面的像素点映射到球面进行播放，本发明使得球面全景视频的像素点在球面上的分布更加优化，即球面赤道附近的像素点较密，而球面两极附近的像素点较稀疏，更加符合用户观赏的习惯。

Description

一种全景图像或视频的像素位置分布优化方法
技术领域
本发明涉及计算机多媒体信息处理技术领域，具体为一种全景图像或视频的像素位置分布优化方法。
背景技术
全景视频是虚拟现实(VR，Virtual Reality)的一种表现形式，它能将720°的场景呈现给观众，使观众得到沉浸式的观赏体验。目前全景视频常采用球面投影的方式。当有球面显示设备时，采用球面投影方式的全景视频可以在球面显示设备上直接播放。当没有球面显示设备，只有平面显示设备时，可以使用一种折中的播放方法，即假设平面播放设备是一个窗口，用户通过该窗口只能看到全景视野中的一部分。用户可通过鼠标拖动等方式控制自己在全景视野中的视角。
另一方面全景视频仍然采用矩形平面的方式来表示和存储，即在制作全景视频时要将球面映射为矩形平面。经过从“球面→矩面”的映射之后图像出现了较为严重的畸变，然而这种畸变正是所需要的，因为若该视频在球面播放器上播放，则畸变自动消失。若该视频通过“视窗式全景播放器”播放，那么播放器将根据用户选定的观察视角，将全景视频中的某个子区域投影到视窗平面上，这一过程称为反畸变。经过变换后，球面两极附近的像素点密度较大，球面赤道附近的像素点密度较小。这种情况很容易理解，因为矩平面上边缘的像素点都被映射到球面北极附近，而矩平面下边缘的像素点都被映射到球面南极附近，这就造成了球面两极的像素点密度大，而球面赤道附近的像素点密度小。这种像素点在球面上的不均衡分布正好与球面全景视频的观赏需求相背离，原因是大部分情况下用户主要观赏球面中位于赤道附近的景物，位于球面北极的景物通常是天空或屋顶，位于球面南极的景物通常是地面。所以有效像素分布的不均衡造成了用户需要观赏的区域的像素点较少，而用户不需要观赏的区域的像素点较多。为此，我们提出了一种全景图像或视频的像素位置分布优化方法投入使用，以解决上述问题。
发明内容
本发明的目的在于提供一种全景图像或视频的像素位置分布优化方法，以解决上述背景技术中提出的球面全景图像/视频的像素点分布不均衡，球面两极附近的像素点密度大，而球面赤道附近的像素点密度小，不符合用户的观赏需求的问题。
为实现上述目的，本发明提供如下技术方案：一种全景图像或视频的像素位置分布优化方法，该全景图像或视频的像素位置分布优化方法的具体步骤如下：
S1：制作全景视频时，使用拍摄设备获取球面上欧几里得坐标点(x，y，z)的像素值，并将这些像素值存储在有像素点的矩平面上；
S2：推导出球面上每一行像素点的纬度值，明确像素行在纬度上的具体位置；
S3：利用S(β)函数来控制像素向赤道附近集中的程度；
S4：在进行全景视频播放时，将矩平面的像素点映射到球面进行播放。
优选的，所述步骤S2中，当矩形平面上的像素点行数为奇数行时，设行号为(…,-2,-1,0,1,2,…),则第0行的纬度为
α0＝0
第1行的纬度角为
第2行的纬度角为
第-1行的纬度角为
第-2行的纬度角为
当矩平面的像素点行数为偶数行时，设行号为(…,-2,-1,1,2,…),则第1行的纬度为
第2行的纬度为
第-1行的纬度为
第-2行的纬度为
其中c为像素点列数，S为控制函数。
优选的，所述步骤S3中，任意满足以下4个条件的控制函数S(β)都可以作为控制像素点向球面赤道附近集中程度的函数：
⑴在S(β)函数中，S(β)在β＞0时为递增函数，在β＜0时为递减函数；
⑵S(β)＞0；
⑶S(β)为一个以x＝0为轴对称的下凸函数；
⑷S(β)应满足条件对于一个有r行c列像素点的矩平面，并假设球面半径为R，则球面面积为4πR2，则每一列像素点所占据的球面面积为将代入得到表示每一列像素所占据的球面面积，而也表示每一列像素点所占据的球面面积。
优选的，所述步骤S4中，矩形平面上任意一点的坐标为(x，y)，则该点对应的球坐标为(x，y，R)，则
其中R为球面半径，C为像素点列数，将球坐标(x，y，R)变换为欧几里得坐标(x，y，z)，
其中坐标原点位于球心，正下方为x轴方向，东方为y轴方向，正前方为z轴方向，x′、y′、z′对应像素点在三维坐标中的位置。
与现有技术相比，本发明的有益效果是：本发明使得球面全景视频的像素点在球面上的分布更加优化，即球面赤道附近的像素点较密，而球面两极附近的像素点较稀疏，更加符合用户观赏的习惯。
附图说明
图1为本发明工作流程图；
图2为本发明球面像素点分布图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种技术方案：一种全景图像或视频的像素位置分布优化方法，该全景图像或视频的像素位置分布优化方法的具体步骤如下：
S1：制作全景视频时，使用拍摄设备获取球面上欧几里得坐标点(x，y，z)的像素值，并将这些像素值存储在有像素点的矩平面上；
S2：推导出球面上每一行像素点的纬度值，明确像素行在纬度上的具体位置，当矩形平面上的像素点行数为奇数行时，设行号为(…,-2,-1,0,1,2,…),则第0行的纬度为
α0＝0
第1行的纬度角为
第2行的纬度角为
第-1行的纬度角为
第-2行的纬度角为
当矩平面的像素点行数为偶数行时，设行号为(…,-2,-1,1,2,…),则第1行的纬度为
第2行的纬度为
第-1行的纬度为
第-2行的纬度为
其中c为像素点列数，S为控制函数。
S3：利用S(β)函数来控制像素向赤道附近集中的程度，请参阅图2，在球面上任取四个相邻的像素点ABCD，其中AB和CD所在的弧线是球面上的水平线(实际上是水平圆切面的圆弧)，AC和BD所在的弧线是球面上的垂直线(实际上是垂直圆切面的圆弧)。若想要单位球面面积上的像素点个数相同，一个办法是使球面上任意四个相邻的像素点围成的球面面积相等，设球半径为R，A、B两点位于北纬角α，C、D两点位于北纬角β，共有c列像素点，则ABCD围成的球面面积为积分后可得若要求球面赤道附近的像素点密度高，而球面两极附近像素点密度低，即要求单位像素所占据的球面面积S是维度角的递增函数(北维，在南维维度值为负，则单位像素所占据的球面面积S应该是维度角的递减函数)，于是将式中的S替换成S(β)可推导出或由以上可知，任意满足以下4个条件的控制函数S(β)都可以作为控制像素点向球面赤道附近集中程度的函数：
⑴在S(β)函数中，S(β)在β＞0时为递增函数，在β＜0时为递减函数；
⑵S(β)＞0；
⑶S(β)为一个以x＝0为轴对称的下凸函数；
⑷S(β)应满足条件对于一个有r行c列像素点的矩平面，并假设球面半径为R，则球面面积为4πR2，则每一列像素点所占据的球面面积为将代入得到表示每一列像素所占据的球面面积，而也表示每一列像素点所占据的球面面积，所以有前述的等式成立；
S4：在进行全景视频播放时，将矩平面的像素点映射到球面进行播放，矩形平面上任意一点的坐标为(x，y)，则该点对应的球坐标为(x，y，R)，则
其中R为球面半径，c为像素点列数，将球坐标(x，y，R)变换为欧几里得坐标(x，y，z)，
其中坐标原点位于球心，正下方为x轴方向，东方为y轴方向，正前方为z轴方向，x′、y′、z′对应像素点在三维坐标中的位置。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种全景图像或视频的像素位置分布优化方法，其特征在于：全景图像或视频的像素位置分布优化方法的具体步骤如下：
S1：制作全景视频时，使用拍摄设备获取球面上欧几里得坐标点(x，y，z)的像素值，并将这些像素值存储在有像素点的矩平面上；
S2：推导出球面上每一行像素点的纬度值，明确像素行在纬度上的具体位置；
S3：利用S(β)函数来控制像素向赤道附近集中的程度；
S4：在进行全景视频播放时，将矩平面的像素点映射到球面进行播放。
2.根据权利要求1所述的一种全景图像或视频的像素位置分布优化方法，其特征在于：所述步骤S2中，当矩形平面上的像素点行数为奇数行时，设行号为(…,-2,-1,0,1,2,…),则第0行的纬度为α0＝0
第1行的纬度角为
第2行的纬度角为
第-1行的纬度角为
第-2行的纬度角为
当矩平面的像素点行数为偶数行时，设行号为(…,-2,-1,1,2,…),则第1行的纬度为
第2行的纬度为
第-1行的纬度为
第-2行的纬度为
其中c为像素点列数，S为控制函数。
3.根据权利要求1所述的一种全景图像或视频的像素位置分布优化方法，其特征在于：所述步骤S3中，任意满足以下4个条件的控制函数S(β)都可以作为控制像素点向球面赤道附近集中程度的函数：
⑴在S(β)函数中，S(β)在β＞0时为递增函数，在β＜0时为递减函数；
⑵S(β)＞0；
⑶S(β)为一个以x＝0为轴对称的下凸函数；
⑷S(β)应满足条件对于一个有r行c列像素点的矩平面，并假设球面半径为R，则球面面积为4πR2，则每一列像素点所占据的球面面积为将代入得到表示每一列像素所占据的球面面积，而也表示每一列像素点所占据的球面面积，所以有前述等式成立。
4.根据权利要求1所述的一种全景图像或视频的像素位置分布优化方法，其特征在于：所述步骤S4中，矩形平面上任意一点的坐标为(x，y)，则该点对应的球坐标为(x，y，R)，则
其中R为球面半径，c为像素点列数，将球坐标(x，y，R)变换为欧几里得坐标(x，y，z)，
其中坐标原点位于球心，正下方为x轴方向，东方为y轴方向，正前方为z轴方向，x′、y′、z′对应像素点在三维坐标中的位置。
CN201611261410.7A 2016-12-30 2016-12-30 一种全景图像或视频的像素位置分布优化方法 Active CN108269229B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611261410.7A CN108269229B (zh) 2016-12-30 2016-12-30 一种全景图像或视频的像素位置分布优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611261410.7A CN108269229B (zh) 2016-12-30 2016-12-30 一种全景图像或视频的像素位置分布优化方法

Publications (2)

Publication Number Publication Date
CN108269229A true CN108269229A (zh) 2018-07-10
CN108269229B CN108269229B (zh) 2021-08-06

Family

ID=62755028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611261410.7A Active CN108269229B (zh) 2016-12-30 2016-12-30 一种全景图像或视频的像素位置分布优化方法

Country Status (1)

Country Link
CN (1) CN108269229B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113483739A (zh) * 2021-07-14 2021-10-08 中国科学院长春光学精密机械与物理研究所 海上目标位置测量方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101123722A (zh) * 2007-09-25 2008-02-13 北京智安邦科技有限公司 全景视频智能监控方法和系统
KR20120017901A (ko) * 2010-08-20 2012-02-29 주식회사 유오케이 Ｐｏｉ 정보 생성시스템 및 생성방법
CN103020900A (zh) * 2012-11-15 2013-04-03 北京小米科技有限责任公司 一种图像处理方法及装置
CN103217221A (zh) * 2013-03-22 2013-07-24 北京航空航天大学 一种基于图像拼接的空冷凝汽器散热面温度场测量方法
CN103402052A (zh) * 2007-07-29 2013-11-20 奈米光子有限公司 利用旋转对称广角透镜获得全景和直线性图像的方法和装置
CN103763479A (zh) * 2013-12-31 2014-04-30 深圳英飞拓科技股份有限公司 实时高速高清全景视频的拼接装置及其方法
KR101392978B1 (ko) * 2014-02-04 2014-05-08 (주)나인정보시스템 하이브리드 병렬처리를 이용한 영상 내 영역 라벨링 장치 및 방법
CN104246795A (zh) * 2012-03-01 2014-12-24 Geo半导体有限公司 用于超广角透镜图像的自适应透视修正的方法和系统
CN104333675A (zh) * 2014-10-20 2015-02-04 长春理工大学 一种基于球面投影的全景电子稳像方法
JP5676092B2 (ja) * 2009-09-18 2015-02-25 株式会社ローラン パノラマ画像生成方法及びパノラマ画像生成プログラム
CN104700355A (zh) * 2015-03-31 2015-06-10 百度在线网络技术（北京）有限公司 室内二维平面图的生成方法、装置和系统
CN105678693A (zh) * 2016-01-25 2016-06-15 成都易瞳科技有限公司 全景视频浏览播放方法
CN105809729A (zh) * 2016-03-04 2016-07-27 深圳华强数码电影有限公司 一种虚拟场景的球形全景渲染方法
CN106127691A (zh) * 2016-07-12 2016-11-16 北京大学深圳研究生院 全景图像映射方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103402052A (zh) * 2007-07-29 2013-11-20 奈米光子有限公司 利用旋转对称广角透镜获得全景和直线性图像的方法和装置
CN101123722A (zh) * 2007-09-25 2008-02-13 北京智安邦科技有限公司 全景视频智能监控方法和系统
JP5676092B2 (ja) * 2009-09-18 2015-02-25 株式会社ローラン パノラマ画像生成方法及びパノラマ画像生成プログラム
KR20120017901A (ko) * 2010-08-20 2012-02-29 주식회사 유오케이 Ｐｏｉ 정보 생성시스템 및 생성방법
CN104246795A (zh) * 2012-03-01 2014-12-24 Geo半导体有限公司 用于超广角透镜图像的自适应透视修正的方法和系统
CN103020900A (zh) * 2012-11-15 2013-04-03 北京小米科技有限责任公司 一种图像处理方法及装置
CN103217221A (zh) * 2013-03-22 2013-07-24 北京航空航天大学 一种基于图像拼接的空冷凝汽器散热面温度场测量方法
CN103763479A (zh) * 2013-12-31 2014-04-30 深圳英飞拓科技股份有限公司 实时高速高清全景视频的拼接装置及其方法
KR101392978B1 (ko) * 2014-02-04 2014-05-08 (주)나인정보시스템 하이브리드 병렬처리를 이용한 영상 내 영역 라벨링 장치 및 방법
CN104333675A (zh) * 2014-10-20 2015-02-04 长春理工大学 一种基于球面投影的全景电子稳像方法
CN104700355A (zh) * 2015-03-31 2015-06-10 百度在线网络技术（北京）有限公司 室内二维平面图的生成方法、装置和系统
CN105678693A (zh) * 2016-01-25 2016-06-15 成都易瞳科技有限公司 全景视频浏览播放方法
CN105809729A (zh) * 2016-03-04 2016-07-27 深圳华强数码电影有限公司 一种虚拟场景的球形全景渲染方法
CN106127691A (zh) * 2016-07-12 2016-11-16 北京大学深圳研究生院 全景图像映射方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
罗立宏 等: "基于灰度累积评价的全景图像自动拼接算法", 《兰州理工大学学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113483739A (zh) * 2021-07-14 2021-10-08 中国科学院长春光学精密机械与物理研究所 海上目标位置测量方法
CN113483739B (zh) * 2021-07-14 2022-05-13 中国科学院长春光学精密机械与物理研究所 海上目标位置测量方法

Also Published As

Publication number Publication date
CN108269229B (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
JP5250598B2 (ja) 画像表示装置および画像表示方法
US20180063513A1 (en) Stitching frames into a panoramic frame
CN105137705B (zh) 一种虚拟球幕的创建方法和装置
CN106028115A (zh) 视频播放方法和装置
CN101561988A (zh) 一种全景图展示方法
CN103139580A (zh) 一种三维全景空间立体图像生成方法
CN108282694A (zh) 全景视频渲染方法、装置及电子设备
CN111292389B (zh) 一种图像处理的方法和装置
CN106296686A (zh) 一种用静态和动态摄像机相结合对运动物体逐帧三维重构方法
JP2023182760A (ja) ゲームプログラム、情報処理装置、および方法
CN116741061B (zh) 高密度小间距led球幕屏及其设计方法
CN108124108A (zh) 一种球面全景图像/视频中像素均衡方法
CN113347373A (zh) 通过ar空间定位实时制作特效视频的图像处理方法
CN111047711B (zh) 一种沉浸式可交互Box影像制作方法
CN108012160B (zh) 一种基于全景视频的台标插入方法
CN108269229A (zh) 一种全景图像或视频的像素位置分布优化方法
CN108022204B (zh) 一种柱面全景视频转换为球面全景视频的方法
CN105915885A (zh) 鱼眼图像的3d交互显示方法和系统
CN107408024A (zh) 十字形显示装置
CN107123080A (zh) 显示全景内容的方法及装置
CN114449169B (zh) 一种将全景视频展现在cave空间中的裁剪方法及系统
WO2023015868A1 (zh) 图像背景生成方法及装置、计算机可读存储介质
US20210082174A1 (en) Image processing apparatus, image processing method, and storage medium
WO2016155126A1 (zh) 用于显示屏显示立体图像或视频的装置和方法
CN108040241B (zh) 一种球面全景视频转换为柱面全景视频的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant