CN113542679B - 一种图像播放方法及装置 - Google Patents

一种图像播放方法及装置 Download PDF

Info

Publication number
CN113542679B
CN113542679B CN202110701981.2A CN202110701981A CN113542679B CN 113542679 B CN113542679 B CN 113542679B CN 202110701981 A CN202110701981 A CN 202110701981A CN 113542679 B CN113542679 B CN 113542679B
Authority
CN
China
Prior art keywords
playing
dome camera
visual angle
model
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110701981.2A
Other languages
English (en)
Other versions
CN113542679A (zh
Inventor
郑美燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Visual Technology Co Ltd
Original Assignee
Hisense Visual Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Visual Technology Co Ltd filed Critical Hisense Visual Technology Co Ltd
Priority to CN202110701981.2A priority Critical patent/CN113542679B/zh
Publication of CN113542679A publication Critical patent/CN113542679A/zh
Application granted granted Critical
Publication of CN113542679B publication Critical patent/CN113542679B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Abstract

本发明实施例提供一种图像播放方法及装置,该方法包括:播放设备接收球型摄像机拍摄的监控图像和属性信息;播放设备根据属性信息和/或所述监控图像确定球型摄像机的播放模型;属性信息中包含球型摄像机的唯一标识,播放模型是根据球型摄像机的可视视角参数确定的,可视视角参数用于表征球型摄像机的可视区域;播放设备根据播放模型播放监控图像,其中,不同的可视视角参数对应不同的播放模型。上述方法可使得播放模型的播放曲面与监控图像的曲面吻合。相比于现有技术通过平面播放器播放曲面图像而产生畸变来说,本申请通过与曲面图像完全匹配的播放模型进行播放,可以消除该畸变。

Description

一种图像播放方法及装置
技术领域
本申请涉及计算机技术领域,尤其涉及一种图像播放方法及装置。
背景技术
随着社会与日俱增的不断发展,电子科技的日新月异,信息时代的促进,监控设备在系统与功能方面不断被创新智能化,人性化。安防监控系统也在人们日常中逐渐被重视普及起来。
目前,普及性较好的监控设备包括球型摄像机和枪型摄像机;其中,枪型摄像机的外观类似长的四方体或者长的圆柱体,安装方式为用支架壁装,还需要另外配置防护罩。枪型摄像机一般安装在通道内,厂房或者停车场等区域。主要应用于没有灯光照度低地下库、仓库、监控城市道路、小区室外环境等;在仅监视景物的位置或移动时,可选用枪式摄像机。球型摄像机外形是半球形状,安装方式是吸顶安装。具有自带的精致防护罩和安装支架,大多用于室内小范围的监控场合:没有灯光的或者灯光较暗的半公共区、酒店走廊、政府办公大楼、医院、小区、室内大厅等场所。因此,家用监控设备一般选择球型摄像机,用户可以将球型摄像机连接网络,再通过安装有专用软件或浏览器的连接网络的终端,从监控系统云端获取家里的监控视频。整个过程无须铺设专用视频传输和信号控制电缆,极大地提高了整个监控系统的稳定性和可靠性。另外,还可以通过专用软件或浏览器中的控制界面控制球型摄像机的监控角度,以实施全方位监控。但是,由于终端的专用软件和浏览器使用的是平面播放器,因此,当用户通过专用软件或用浏览器观看球型摄像机的监控视频时,会存在畸变现象。
因此,目前亟需一种图像播放方法及装置,用于消除球型摄像机的监控视频播放畸变现象。
发明内容
本发明实施例提供一种图像播放方法及装置,用于消除球型摄像机的监控视频播放畸变现象。
第一方面,本发明实施例提供一种图像播放方法,该方法包括:
播放设备接收球型摄像机拍摄的监控图像和属性信息;
所述播放设备根据所述属性信息和/或所述监控图像确定所述球型摄像机的播放模型;所述属性信息中包含所述球型摄像机的唯一标识,所述播放模型是根据所述球型摄像机的可视视角参数确定的网格实现的,所述可视视角参数用于表征所述球型摄像机的可视区域;
所述播放设备根据所述播放模型播放所述监控图像,其中,不同的可视视角参数对应不同的播放模型。
上述方法中,播放设备接收球型摄像机拍摄的监控图像和属性信息后,可以根据球型摄像机的属性信息和/或所述监控图像确定该球型摄像机的播放模型,其中,若播放设备中已经包含该球型摄像机的唯一标识对应的播放模型,则可以根据属性信息中的唯一标识直接确定播放模型,并使用该播放模型进行播放;若播放设备中未包含该球型摄像机的唯一标识对应的播放模型,但属性信息中包含可视视角参数,则可以根据可视视角参数确定该球型摄像机对应的播放模型,并使用该播放模型进行播放;若播放设备中未包含该球型摄像机的唯一标识对应的播放模型,且属性信息中未包含可视视角参数,则可以根据监控图像确定该球型摄像机的可视视角参数,进一步根据可视视角参数确定该球型摄像机对应的播放模型,并使用该播放模型进行播放。也就是说,播放模型的播放曲面与监控图像的曲面吻合。相比于现有技术通过平面播放器播放曲面图像而产生畸变来说,本申请通过与曲面图像完全匹配的播放模型进行播放,可以消除该畸变。
可选的,所述播放模型是根据所述球型摄像机的可视视角参数确定的,包括:所述播放设备根据所述可视视角参数确定所述球型摄像机的可视区域;所述播放设备通过Mesh类确定所述可视区域对应的Mesh网格;所述播放设备确定所述Mesh网格中每个Mesh对象的属性数据,从而得到所述播放模型;所述属性数据包括顶点坐标,法线,纹理坐标,三角形绘制序列。
上述方法中,根据可视视角参数确定球型摄像机的可视区域,播放设备通过Mesh类确定可视区域对应的Mesh网格。如此,可以保证播放模型的播放曲面的大小与监控图像的大小相同。播放设备确定Mesh网格中每个Mesh对象的顶点坐标属性数据、法线属性数据、纹理坐标属性数据、三角形绘制序列属性数据,从而得到播放模型。如此,可以准确建立播放模型,使得播放模型的播放曲面与监控图像完全吻合,有效消除现有技术中平面播放器播放产生的畸变。
可选的,所述监控图像为深度图像,所述可视视角参数通过如下方式获得,包括:所述播放设备根据所述深度图像中像素点的二维坐标、所述像素点的深度信息和小孔相机模型获取所述深度图像中像素点的三维坐标;所述播放设备根据中心像素点的三维坐标和参考像素点的三维坐标确定所述球型摄像机的姿态,所述参考像素点为所述深度图像中的中心像素点周围符合设定条件的像素点;所述播放设备根据所述球型摄像机的姿态和至少一个参考像素点的三维坐标,确定所述可视视角参数。
上述方法中,若用户没有预先输入可视视角数据,则具有获取深度图像功能的球型摄像机可以将获取的深度图像传输至播放设备,播放设备可以将深度图像的图像数据:像素点的二维坐标、像素点的深度信息,通过小孔相机模型转化为三维坐标;进一步,播放设备可以根据深度图像中的中心像素点的三维坐标、参考像素点的三维坐标和直角坐标系与球坐标系的关系确定球型摄像机的姿态,进一步根据姿态和参考像素点获取可视视角数据,以建立该球型摄像机对应的播放模型。如此,即使播放设备中没有播放模型,也可以实现根据深度图像建立该球型摄像机对应的播放模型。
可选的,所述中心像素点坐标为(X0,Y0,Z0),所述参考像素点包括左上角像素点(X1,Y1,Z1)、右上角像素点(X2,Y2,Z2)、左下角像素点(X3,Y3,Z3)和右下角像素点(X4,Y4,Z4);
所述播放设备根据中心像素点的三维坐标和参考像素点的三维坐标确定所述球型摄像机的姿态,包括:
所述播放设备确定若|X10-X20|<α,且|Y10-Y30|<β,则所述球型摄像机处于正视姿态;其中,X1-X0=X10、X2-X0=X20、Y1-Y0=Y10、Y2-Y0=Y30
若|X10-X20|≥α,所述球型摄像机具有左右视角姿态;
若|Y10-Y30|≥β,所述球型摄像机具有上下视角姿态。
上述方法中,根据中心像素点的三维坐标和参考像素点的三维坐标确定球型摄像机的姿态。如此,确定球型摄像机的姿态后,获取球型摄像机的可视视角数据,可以提高建立该球型摄像机对应的播放模型的准确性。
可选的,所述播放设备根据所述球型摄像机的姿态和至少一个参考像素点的三维坐标,确定所述可视视角参数,包括:若所述球型摄像机处于所述正视姿态,所述播放设备确定所述球型摄像机的左右可视视角数据为
Figure GDA0004119183380000041
上下可视视角数据为
Figure GDA0004119183380000042
其中,所述左右可视视角数据和所述上下可视视角数据通过如下公式得到:
Figure GDA0004119183380000043
Figure GDA0004119183380000044
Figure GDA0004119183380000045
上述方法中,若球型摄像机处于正视姿态,则可以认为,该监控图像的中心像素点就是球型摄像机的正视姿态的中心像素点,则可以根据中心像素点和左上角像素点的三维坐标的关系直接确定球型摄像机的左右可视视角数据和上下可视视角数据。
可选的,所述播放设备根据所述球型摄像机的姿态和至少一个参考像素点的三维坐标,确定所述可视视角参数,包括:若所述球型摄像机处于左右视角姿态,所述播放设备确定所述球型摄像机的左右可视视角数据为(θ1,θ2);其中,令中心像素点(X0,Y0,Z0)为(0,0,Z0);所述左右可视视角数据通过如下公式得到:
Figure GDA0004119183380000051
Figure GDA0004119183380000052
上述方法中,若球型摄像机处于左右视角姿态,则可以认为:该监控图像的中心像素点不是球型摄像机的正视姿态的中心像素点,在左右视角的维度,将中心像素点的(X0,Y0)移动到(0,0),则可以根据中心像素点和左上角像素点的三维坐标、右上角像素点的三维坐标的关系直接确定球型摄像机的左右可视视角数据。
可选的,所述播放设备根据所述球型摄像机的姿态和至少一个参考像素点的三维坐标,确定所述可视视角参数,包括:若所述球型摄像机处于俯视姿态或仰视姿态,所述播放设备确定所述球型摄像机的上下可视视角数据为
Figure GDA0004119183380000055
其中,所述上下可视视角数据通过如下公式得到:
令中心像素点(X0,Y0,Z0)为(0,0,Z0);
Figure GDA0004119183380000053
Figure GDA0004119183380000054
上述方法中,若球型摄像机处于上下视角姿态,则可以认为:该监控图像的中心像素点不是球型摄像机的正视姿态的中心像素点,在上下视角的维度,将中心像素点的(X0,Y0)移动到(0,0),则可以根据中心像素点和右上角像素点的三维坐标、右下角像素点的三维坐标的关系直接确定球型摄像机的左右可视视角数据。
可选的,所述播放设备为VR播放设备,所述VR播放设备中包含姿态检测电路,还包括:所述VR播放设备通过所述姿态检测电路获取到用户的姿态数据,并将所述姿态数据传输至所述球型摄像机,使得所述球型摄像机根据所述姿态数据调整拍摄角度。
上述方法中,若播放设备为VR播放设备,则可以检测并获取用户的姿态数据,控制球型摄像机的拍摄角度。相比于现有技术中通过专用软件或浏览器的控制台来控制球型摄像机来说,本申请可以简化控制球型摄像机的动作。
第二方面,本发明实施例提供一种图像播放装置,该装置包括:
接收模块,用于接收球型摄像机拍摄的监控图像和属性信息;
处理模块,用于根据所述属性信息和/或所述监控图像确定所述球型摄像机的播放模型;所述属性信息中包含所述球型摄像机的唯一标识,所述播放模型是根据所述球型摄像机的可视视角参数确定的,所述可视视角参数用于表征所述球型摄像机的可视区域;
所述处理模块还用于,根据所述播放模型播放所述监控图像,其中,不同的可视视角参数对应不同的播放模型。
第三方面,本申请实施例还提供一种计算设备,包括:存储器,用于存储程序;处理器,用于调用所述存储器中存储的程序,按照获得的程序执行如第一方面的各种可能的设计中所述的方法。
第四方面,本申请实施例还提供一种计算机可读非易失性存储介质,包括计算机可读程序,当计算机读取并执行所述计算机可读程序时,使得计算机执行如第一方面的各种可能的设计中所述的方法。
本申请的这些实现方式或其他实现方式在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像播放的架构示意图;
图2为本发明实施例提供的一种图像播放方法的流程示意图;
图3为本发明实施例提供的一种图像播放方法的流程示意图;
图4为本发明实施例提供的一种图像播放方法的流程示意图;
图5为本发明实施例提供的一种三角形索引示意图;
图6为本发明实施例提供的一种小程序的灰度发布装置示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
图1为本发明实施例提供的一种图像播放的系统架构,播放设备103中包含球型摄像机101对应的播放模型;当球型摄像机101拍摄到监控图像后,将该监控图像和自身属性信息通过网络102发送至播放设备103。播放设备103根据属性信息中的球型摄像机101的唯一标识确定对应的播放模型,通过该播放模型播放该监控图像。或者,播放设备103中不包含球型摄像机101对应的播放模型;当球型摄像机101拍摄到监控图像后,将该监控图像和自身属性信息通过网络102发送至播放设备103。播放设备103根据属性信息中的球型摄像机101的可视视角参数建立对应的播放模型,通过该播放模型播放该监控图像;或者,当属性信息中不包含可视视角参数时,播放设备103根据监控图像获取球型摄像机101的可视视角参数,并根据该可视视角参数建立对应的播放模型,通过该播放模型播放该监控图像。其中的播放模型是通过球型摄像机101的可视视角参数确定的。如此,使得该播放模型完全符合球型摄像机101的可视视角参数;则球型摄像机101基于其可视视角拍摄的监控图像,可以通过与其完全吻合的播放模型播放;可以解决现有技术中平面播放器播放监控图像导致的畸变问题。
基于此,本申请实施例提供了一种图像播放方法的流程,如图2所示,包括:
步骤201、播放设备接收球型摄像机拍摄的监控图像和属性信息;
此处,属性信息可以为球型摄像机的设备型号、IP地址、设备编号、可视视角参数等等,可以根据需要具体设置,这里的属性信息只是一种示例,并不对具体实施做限制。
步骤202、所述播放设备根据所述属性信息和/或所述监控图像确定所述球型摄像机的播放模型;所述属性信息中包含所述球型摄像机的唯一标识,所述播放模型是根据所述球型摄像机的可视视角参数确定的,所述可视视角参数用于表征所述球型摄像机的可视区域;
步骤203、所述播放设备根据所述播放模型播放所述监控图像,其中,不同的可视视角参数对应不同的播放模型。
上述方法中,播放设备接收球型摄像机拍摄的监控图像和属性信息后,可以根据球型摄像机的属性信息确定该球型摄像机的播放模型,其中,若播放设备中已经包含该球型摄像机的唯一标识对应的播放模型,则可以根据属性信息中的唯一标识直接确定播放模型,并使用该播放模型进行播放;若播放设备中未包含该球型摄像机的唯一标识对应的播放模型,但属性信息中包含可视视角参数,则可以根据可视视角参数确定该球型摄像机对应的播放模型,并使用该播放模型进行播放;若播放设备中未包含该球型摄像机的唯一标识对应的播放模型,且属性信息中未包含可视视角参数,则可以根据监控图像确定该球型摄像机的可视视角参数,进一步根据可视视角参数确定该球型摄像机对应的播放模型,并使用该播放模型进行播放。也就是说,播放模型的播放曲面与监控图像的曲面吻合。相比于现有技术通过平面播放器播放曲面图像而产生畸变来说,本申请通过与曲面图像完全匹配的播放模型进行播放,可以消除该畸变。
本申请实施例提供了一种播放模型获取方法,所述播放模型是根据所述球型摄像机的可视视角参数确定的,包括:所述播放设备根据所述可视视角参数确定所述球型摄像机的可视区域;所述播放设备通过Mesh类确定所述可视区域对应的Mesh网格;所述播放设备确定所述Mesh网格中每个Mesh对象的属性数据,从而得到所述播放模型;所述属性数据包括顶点坐标,法线,纹理坐标,三角形绘制序列。此处,可视视角参数可以包括球型摄像机的拍摄范围;如,当将球型摄像机固定以后,以球型摄像机为球心;球型摄像机的拍摄范围为左右120°、上下96°的球形范围;球型摄像机的可观察范围为360°、上下120°的球形范围。相应的,Mesh网格左右两边到球心的边的夹角为120°、上下两边到球心的边的夹角为96°。Mesh网格中包含Mesh对象,将每个Mesh对象的属性数据,即,顶点坐标,法线,纹理坐标赋值到对应的Mesh对象,进而进行三角形绘制,得到播放模型。在一种示例中,Mesh对象的属性数据包括:对应三角形中的一个顶点坐标信息(包括顶点坐标的法线,法线为经过标准化的顶点坐标))、该三角形中三个坐标点的集合(包括顶点坐标和三角形中另外两个角对应的顶点坐标)、该三个顶点坐标点的赋值顺序(索引信息,以顶点坐标为起始)。如此,根据Mesh对象的属性数据找到顶点坐标,赋值顶点及其法线,以及依照三角形中三个坐标点的集合和三个坐标点赋值顺序依次赋值获取完整三角形,针对每个Mesh对象以此类推,即可获取播放模型。这里每个Mesh对象对应的三个坐标点的赋值顺序并不一定完全相同,可以存在逆时针赋值顺序,也可以存在逆时针赋值顺序等等。
本申请实施例提供了一种可视视角参数获取方法,所述监控图像为深度图像,所述可视视角参数通过如下方式获得,包括:所述播放设备根据所述深度图像中像素点的二维坐标、所述像素点的深度信息和小孔相机模型获取所述深度图像中像素点的三维坐标;所述播放设备根据中心像素点的三维坐标和参考像素点的三维坐标确定所述球型摄像机的姿态,所述参考像素点为所述深度图像中的中心像素点周围符合设定条件的像素点;所述播放设备根据所述球型摄像机的姿态和至少一个参考像素点的三维坐标,确定所述可视视角参数。也就是说,当播放设备中没有可视视角参数时,播放设备可以根据接收的深度图像获取可视视角参数,进一步根据可视视角参数建立播放模型。其中,深度图像中不止包含像素点的二维坐标,还包含该像素点与拍摄物体的距离,即,该像素点的深度信息;则根据各个像素点与拍摄物体的距离可以获取又一维度信息。根据小孔相机模型的方法将该二维坐标和深度信息输入,即可获取深度图像中像素点的三维坐标。之后,找到深度图像中的中心像素点,并确定该中心像素点的参考像素点,这里参考像素点可以是一个或多个,可以根据具体需求确定;根据中心像素点的三维坐标和参考像素点的三维坐标之间的关系确定球型摄像机的姿态,进一步确定可视视角参数。
本申请实施例提供了一种球型摄像机姿态判断方法,所述中心像素点坐标为(X0,Y0,Z0),所述参考像素点包括左上角像素点(X1,Y1,Z1)、右上角像素点(X2,Y2,Z2)、左下角像素点(X3,Y3,Z3)和右下角像素点(X4,Y4,Z4);所述播放设备根据中心像素点的三维坐标和参考像素点的三维坐标确定所述球型摄像机的姿态,包括:所述播放设备确定若|X10-X20|<α,且|Y10-Y30|<β,则所述球型摄像机处于正视姿态;其中,X1-X0=X10、X2-X0=X20、Y1-Y0=Y10、Y2-Y0=Y30;若|X10-X20|≥α,所述球型摄像机具有左右视角姿态;若|Y10-Y30|≥β,所述球型摄像机具有上下视角姿态。
本申请实施例提供了一种获取可视视角数据方法,所述播放设备根据所述球型摄像机的姿态和至少一个参考像素点的三维坐标,确定所述可视视角参数,包括:
若所述球型摄像机处于所述正视姿态,所述播放设备确定所述球型摄像机的左右可视视角数据为
Figure GDA0004119183380000101
上下可视视角数据为
Figure GDA0004119183380000102
其中,所述左右可视视角数据和所述上下可视视角数据通过如下公式得到:
Figure GDA0004119183380000111
Figure GDA0004119183380000112
Figure GDA0004119183380000113
本申请实施例提供了一种获取左右可视视角数据方法,所述播放设备根据所述球型摄像机的姿态和至少一个参考像素点的三维坐标,确定所述可视视角参数,包括:若所述球型摄像机处于所述左右视角姿态,所述播放设备确定所述球型摄像机的左右可视视角数据为(θ1,θ2);其中,令中心像素点(X0,Y0,Z0)为(0,0,Z0);所述左右可视视角数据通过如下公式得到:
Figure GDA0004119183380000114
Figure GDA0004119183380000115
本申请实施例提供了一种获取上下可视视角数据方法,所述播放设备根据所述球型摄像机的姿态和至少一个参考像素点的三维坐标,确定所述可视视角参数,包括:若所述球型摄像机处于所述上下视角姿态,所述播放设备确定所述球型摄像机的上下可视视角数据为
Figure GDA0004119183380000116
其中,令中心像素点(X0,Y0,Z0)为(0,0,Z0),所述上下可视视角数据通过如下公式得到:
Figure GDA0004119183380000117
Figure GDA0004119183380000118
本申请实施例提供了一种球型摄像机的拍摄角度调整方法,所述播放设备为VR播放设备,所述VR播放设备中包含姿态检测电路,还包括:所述VR播放设备通过所述姿态检测电路获取到用户的姿态数据,并将所述姿态数据传输至所述球型摄像机,使得所述球型摄像机根据所述姿态数据调整拍摄角度。也就是说,VR播放设备可以根据用户的姿态数据遥控球型摄像机,使得用户无需动手就可以调整拍摄角度。如,当用户低头时,VR播放设备将用户低头的速度和角度等信息传输至球型摄像机,使得球型摄像机根据该信息调整拍摄角度,用户即可在VR播放设备中看到对应的图像播放。
基于上述流程,本申请实施例提供了一种图像播放方法的流程,如图3所示,包括:
步骤301、播放设备接收球型摄像机的可视视角参数。
步骤302、播放设备根据可视视角参数确定球型摄像机的可视区域。
步骤303、播放设备通过Mesh类确定可视区域对应的Mesh网格;其中,可以将可视区域划分获取多个长方形或正方形,这里以长方形为例,则通过水平长方形与垂直长方形的乘积表示可视区域。
步骤304、播放设备根据(水平长方形数量+1)*(垂直长方形数量+1)获取该可视区域中的顶点个数。
步骤305、播放设备计算三角形数量为:水平长方形数量*垂直长方形数量*2。
步骤306、播放设备获取各个顶点的三维坐标信息。
步骤307、播放设备获取每个三角形对应的坐标集合,即,三角形的顶点坐标和三角形中另外两个角对应的顶点坐标的坐标集合。
步骤308、播放设备获取每个三角形的索引信息;如,三角形的顶点坐标为A,另外两个角对应的顶点坐标分别为B和C,则索引信息为A-B-C-A;三角形的顶点坐标为A,另外两个角对应的顶点坐标分别为D和B,则索引信息为A-D-B-A;如图5所示。
步骤309、播放设备将顶点坐标和法线、坐标集合和索引信息赋值给Mesh网格,获得播放模型。其中,播放模型可以与球型摄像机的IP地址或标识、型号、可视视角参数等属性信息对应存储;与播放模型对应存储的属性信息一定是球型摄像机在发送监控图像时携带的属性信息。
步骤310、播放设备接收球型摄像机拍摄的监控图像和属性信息。
步骤311、播放设备通过该播放模型播放该监控图像。即,根据拍摄该监控图像的球型摄像机的IP地址或标识、型号等属性信息获取对应的播放模型,通过该播放模型播放该监控图像。
步骤312、播放设备中的姿态检测电路获取到用户的姿态数据,并将该姿态数据传输至球型摄像机,使得球型摄像机根据所述姿态数据调整拍摄角度。
这里需要说明的是,上述流程步骤的执行顺序并不唯一,步骤301至步骤309针对同一个球型摄像机,可以只执行一次,后续播放设备可以直接根据该播放模型播放该球型摄像机拍摄的图像,即,后续循环执行步骤310和步骤311。步骤312可以在步骤310和步骤311前后执行。
基于上述流程,本申请实施例提供了一种图像播放方法的流程,如图4所示,包括:
步骤401、接收球型摄像机拍摄的监控图像和属性信息;该监控图像为深度图像;确定该属性信息中是否包含可视视角参数,若包含,则直接执行步骤405,否则执行步骤402。
步骤402、播放设备根据该深度图像中像素点的二维坐标、该像素点的深度信息和小孔相机模型获取该深度图像中像素点的三维坐标。
步骤403、播放设备根据中心像素点的三维坐标和参考像素点的三维坐标确定球型摄像机的姿态。
步骤404、播放设备根据球型摄像机的姿态和至少一个参考像素点的三维坐标,确定可视视角参数
步骤405、播放设备根据可视视角参数确定球型摄像机的可视区域。
步骤406、播放设备通过Mesh类确定可视区域对应的Mesh网格。
步骤407、播放设备根据(水平长方形数量+1)*(垂直长方形数量+1)获取该可视区域中的顶点个数。
步骤408、播放设备计算三角形数量为:水平长方形数量*垂直长方形数量*2。
步骤409、播放设备获取各个顶点的三维坐标信息。
步骤410、播放设备获取每个三角形对应的坐标集合。
步骤411、播放设备获取每个三角形的索引信息。
步骤412、播放设备将顶点坐标和法线、坐标集合和索引信息赋值给Mesh网格,获得播放模型。
步骤413、播放设备通过该播放模型播放该深度图像。
步骤414、播放设备中的姿态检测电路获取到用户的姿态数据,并将该姿态数据传输至球型摄像机,使得球型摄像机根据所述姿态数据调整拍摄角度。
这里需要说明的是,上述流程步骤的执行顺序并不唯一,步骤402至步骤412针对同一个球型摄像机,可以只执行一次,后续播放设备可以直接根据该播放模型播放该球型摄像机拍摄的图像,即,后续循环执行步骤401和步骤413。步骤414可以在步骤413前后执行。
基于同样的构思,本发明实施例提供一种图像播放装置,图6为本申请实施例提供的一种图像播放装置示意图,如图6示,包括:
接收模块601,用于接收球型摄像机拍摄的监控图像和属性信息;
处理模块602,用于根据所述属性信息和/或所述监控图像确定所述球型摄像机的播放模型;所述属性信息中包含所述球型摄像机的唯一标识,所述播放模型是根据所述球型摄像机的可视视角参数确定的,所述可视视角参数用于表征所述球型摄像机的可视区域;
所述处理模块602还用于,根据所述播放模型播放所述监控图像,其中,不同的可视视角参数对应不同的播放模型。
可选的,所述处理模块602具体用于,根据所述可视视角参数确定所述球型摄像机的可视区域;通过Mesh类确定所述可视区域对应的Mesh网格;确定所述Mesh网格中每个Mesh对象的属性数据,从而得到所述播放模型;所述属性数据包括顶点坐标,法线,纹理坐标,三角形绘制序列。
可选的,所述处理模块602具体用于,根据所述深度图像中像素点的二维坐标、所述像素点的深度信息和小孔相机模型获取所述深度图像中像素点的三维坐标;根据中心像素点的三维坐标和参考像素点的三维坐标确定所述球型摄像机的姿态,所述参考像素点为所述深度图像中的中心像素点周围符合设定条件的像素点;根据所述球型摄像机的姿态和至少一个参考像素点的三维坐标,确定所述可视视角参数。
可选的,所述中心像素点坐标为(X0,Y0,Z0),所述参考像素点包括左上角像素点(X1,Y1,Z1)、右上角像素点(X2,Y2,Z2)、左下角像素点(X3,Y3,Z3)和右下角像素点(X4,Y4,Z4);可选的,所述处理模块602具体用于,确定若|X10-X20|<α,且|Y10-Y30|<β,则所述球型摄像机处于正视姿态;其中,X1-X0=X10、X2-X0=X20、Y1-Y0=Y10、Y2-Y0=Y30;若|X10-X20|≥α,所述球型摄像机具有左右视角姿态;若|Y10-Y30|≥β,所述球型摄像机具有上下视角姿态。
可选的,所述处理模块602具体用于,若所述球型摄像机处于所述正视姿态,确定所述球型摄像机的左右可视视角数据为
Figure GDA0004119183380000151
上下可视视角数据为
Figure GDA0004119183380000152
其中,所述左右可视视角数据和所述上下可视视角数据通过如下公式得到:
Figure GDA0004119183380000153
Figure GDA0004119183380000154
Figure GDA0004119183380000155
可选的,所述处理模块602具体用于,若所述球型摄像机处于所述左右视角姿态,确定所述球型摄像机的左右可视视角数据为(θ1,θ2);其中,令中心像素点(X0,Y0,Z0)为(0,0,Z0);所述左右可视视角数据通过如下公式得到:
Figure GDA0004119183380000161
Figure GDA0004119183380000162
可选的,所述处理模块602具体用于,若所述球型摄像机处于所述上下视角姿态,确定所述球型摄像机的上下可视视角数据为
Figure GDA0004119183380000165
其中,令中心像素点(X0,Y0,Z0)为(0,0,Z0),所述上下可视视角数据通过如下公式得到:
Figure GDA0004119183380000163
Figure GDA0004119183380000164
可选的,所述处理模块602还用于,通过所述姿态检测电路获取到用户的姿态数据,并将所述姿态数据传输至所述球型摄像机,使得所述球型摄像机根据所述姿态数据调整拍摄角度。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种图像播放方法,其特征在于,应用于设置有平面播放器的播放设备,所述方法包括:
所述播放设备接收球型摄像机拍摄的监控图像和属性信息,其中,所述球型摄像机拍摄的监控图像为深度图像;
所述播放设备根据所述属性信息和/或所述监控图像确定所述球型摄像机的播放模型;其中,所述属性信息中包含所述球型摄像机的唯一标识,所述播放模型是根据所述球型摄像机的可视视角参数确定的,所述可视视角参数用于表征所述球型摄像机的可视区域;所述播放模型的播放曲面与所述监控图像的曲面吻合;
所述播放设备根据所述播放模型通过所述平面播放器播放所述监控图像,其中,不同的可视视角参数对应不同的播放模型以避免单个播放模型在处理不同可视视角参数的监控图像时在所述平面播放器中产生的畸变。
2.如权利要求1中所述的方法,其特征在于,所述播放模型是根据所述球型摄像机的可视视角参数确定的,包括:
所述播放设备根据所述可视视角参数确定所述球型摄像机的可视区域;
所述播放设备通过Mesh类确定所述可视区域对应的Mesh网格;
所述播放设备确定所述Mesh网格中每个Mesh对象的属性数据,从而得到所述播放模型;所述属性数据包括顶点坐标,法线,纹理坐标,三角形绘制序列。
3.如权利要求1中所述的方法,其特征在于,所述监控图像为深度图像,所述可视视角参数通过如下方式获得,包括:
所述播放设备根据所述深度图像中像素点的二维坐标、所述像素点的深度信息和小孔相机模型获取所述深度图像中像素点的三维坐标;
所述播放设备根据中心像素点的三维坐标和参考像素点的三维坐标确定所述球型摄像机的姿态,所述参考像素点为所述深度图像中的中心像素点周围符合设定条件的像素点;
所述播放设备根据所述球型摄像机的姿态和至少一个参考像素点的三维坐标,确定所述可视视角参数。
4.如权利要求3中所述的方法,其特征在于,所述中心像素点坐标为(X0,Y0,Z0),所述参考像素点包括左上角像素点(X1,Y1,Z1)、右上角像素点(X2,Y2,Z2)、左下角像素点(X3,Y3,Z3)和右下角像素点(X4,Y4,Z4);
所述播放设备根据中心像素点的三维坐标和参考像素点的三维坐标确定所述球型摄像机的姿态,包括:
所述播放设备确定若|X10-X20|<α,且|Y10-Y30|<β,则所述球型摄像机处于正视姿态;其中,X1-X0=X10、X2-X0=X20、Y1-Y0=Y10、Y2-Y0=Y30
若|X10-X20|≥α,所述球型摄像机具有左右视角姿态;
若|Y10-Y30|≥β,所述球型摄像机具有上下视角姿态。
5.如权利要求4中所述的方法,其特征在于,所述播放设备根据所述球型摄像机的姿态和至少一个参考像素点的三维坐标,确定所述可视视角参数,包括:
若所述球型摄像机处于所述正视姿态,所述播放设备确定所述球型摄像机的左右可视视角数据为
Figure FDA0004119183370000021
上下可视视角数据为
Figure FDA0004119183370000022
其中,所述左右可视视角数据和所述上下可视视角数据通过如下公式得到:
Figure FDA0004119183370000023
Figure FDA0004119183370000024
Figure FDA0004119183370000025
6.如权利要求4中所述的方法,其特征在于,所述播放设备根据所述球型摄像机的姿态和至少一个参考像素点的三维坐标,确定所述可视视角参数,包括:
若所述球型摄像机处于所述左右视角姿态,
所述播放设备确定所述球型摄像机的左右可视视角数据为(θ1,θ2);其中,令中心像素点(X0,Y0,Z0)为(0,0,Z0);所述左右可视视角数据通过如下公式得到:
Figure FDA0004119183370000031
Figure FDA0004119183370000032
7.如权利要求4中所述的方法,其特征在于,所述播放设备根据所述球型摄像机的姿态和至少一个参考像素点的三维坐标,确定所述可视视角参数,包括:
若所述球型摄像机处于所述上下视角姿态,
所述播放设备确定所述球型摄像机的上下可视视角数据为
Figure FDA0004119183370000033
其中,令中心像素点(X0,Y0,Z0)为(0,0,Z0),所述上下可视视角数据通过如下公式得到:
Figure FDA0004119183370000034
Figure FDA0004119183370000035
8.如权利要求1至7中任一项所述的方法,其特征在于,所述播放设备为VR播放设备,所述VR播放设备中包含姿态检测电路,还包括:
所述VR播放设备通过所述姿态检测电路获取到用户的姿态数据,并将所述姿态数据传输至所述球型摄像机,使得所述球型摄像机根据所述姿态数据调整拍摄角度。
9.一种图像播放装置,其特征在于,所述装置包括:
接收模块,用于接收球型摄像机拍摄的监控图像和属性信息,其中,所述球型摄像机拍摄的监控图像为深度图像;
处理模块,用于根据所述属性信息和/或所述监控图像确定所述球型摄像机的播放模型所述属性信息中包含所述球型摄像机的唯一标识,所述播放模型是根据所述球型摄像机的可视视角参数确定的,所述可视视角参数用于表征所述球型摄像机的可视区域;所述播放模型的播放曲面与所述监控图像的曲面吻合;
所述处理模块还用于,根据所述播放模型通过平面播放器播放所述监控图像,其中,不同的可视视角参数对应不同的播放模型以避免单个播放模型在处理不同可视视角参数的监控图像时在所述平面播放器中产生的畸变。
10.一种计算机设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于调用所述存储器中存储的计算机程序,按照获得的程序执行如权利要求1至8任一权利要求所述的方法。
CN202110701981.2A 2021-06-24 2021-06-24 一种图像播放方法及装置 Active CN113542679B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110701981.2A CN113542679B (zh) 2021-06-24 2021-06-24 一种图像播放方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110701981.2A CN113542679B (zh) 2021-06-24 2021-06-24 一种图像播放方法及装置

Publications (2)

Publication Number Publication Date
CN113542679A CN113542679A (zh) 2021-10-22
CN113542679B true CN113542679B (zh) 2023-05-02

Family

ID=78125766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110701981.2A Active CN113542679B (zh) 2021-06-24 2021-06-24 一种图像播放方法及装置

Country Status (1)

Country Link
CN (1) CN113542679B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114327329A (zh) * 2021-12-07 2022-04-12 海信视像科技股份有限公司 一种图像的曲面显示方法及设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107343165A (zh) * 2016-04-29 2017-11-10 杭州海康威视数字技术股份有限公司 一种监控方法、设备及系统
CN106792151A (zh) * 2016-12-29 2017-05-31 上海漂视网络科技有限公司 一种虚拟现实全景视频播放方法
CN109348185A (zh) * 2018-11-21 2019-02-15 广东领域集团有限公司 一种交通监测vr摄像系统及通过虚拟现实进行监控的方法
CN111325824B (zh) * 2019-07-03 2023-10-10 杭州海康威视系统技术有限公司 图像数据展示方法、装置、电子设备及存储介质
CN112866627B (zh) * 2019-11-28 2024-03-05 上海华为技术有限公司 一种三维视频监控方法及相关设备

Also Published As

Publication number Publication date
CN113542679A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
JP6951595B2 (ja) 住宅のデータ収集およびモデル生成方法
CN109947886B (zh) 图像处理方法、装置、电子设备及存储介质
KR101637990B1 (ko) 임의의 위치들을 가지는 디스플레이 구성 요소들 상에 3차원 콘텐츠의 공간적으로 상호 연관된 렌더링
US9392248B2 (en) Dynamic POV composite 3D video system
US20180150148A1 (en) Handheld interactive device and projection interaction method therefor
CN108668108B (zh) 一种视频监控的方法、装置及电子设备
JP2005517253A (ja) 潜入型見張りを提供する方法及び装置
TW202109450A (zh) 一種圖像處理方法、設備和儲存介質
CN107396069A (zh) 监控展示方法、装置及系统
WO2021190649A1 (en) Method and device for collecting images of a scene for generating virtual reality data
CN113542679B (zh) 一种图像播放方法及装置
KR102199772B1 (ko) 3차원 모델 데이터 생성 방법
CN114442805A (zh) 一种监控场景展示方法、系统、电子设备及存储介质
CN112308103B (zh) 生成训练样本的方法和装置
JP2012216074A (ja) 画像処理装置、画像処理装置の制御方法、及びプログラム
CN113835352B (zh) 一种智能设备控制方法、系统、电子设备及存储介质
CN110737326A (zh) 虚拟对象的显示方法、装置、终端设备及存储介质
KR20200143293A (ko) 실시간 다원 ar 방송을 위한 증강 현실 영상 생성 방법 및 장치
CN115713616A (zh) 一种房源空间模型生成方法、装置、终端设备及存储介质
CN115904188A (zh) 户型图的编辑方法、装置、电子设备及存储介质
EP3882846A1 (en) Method and device for collecting images of a scene for generating virtual reality data
CN112565866B (zh) 焦点控制方法、系统、设备及存储介质
KR20190085681A (ko) 실감형 vr 영상의 제공 방법 및 이를 위한 서버 장치
CN111242107B (zh) 用于设置空间中的虚拟对象的方法和电子设备
CN109769091B (zh) 一种图像拍摄方法及移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant