CN106911902B - 视频图像传输方法、接收方法及装置 - Google Patents

视频图像传输方法、接收方法及装置 Download PDF

Info

Publication number
CN106911902B
CN106911902B CN201710152928.5A CN201710152928A CN106911902B CN 106911902 B CN106911902 B CN 106911902B CN 201710152928 A CN201710152928 A CN 201710152928A CN 106911902 B CN106911902 B CN 106911902B
Authority
CN
China
Prior art keywords
image
transmission
hot spot
video
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710152928.5A
Other languages
English (en)
Other versions
CN106911902A (zh
Inventor
张广东
智勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Le Wo Information Technology Co Ltd
Whaley Technology Co Ltd
Original Assignee
Shanghai Le Wo Information Technology Co Ltd
Whaley Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Le Wo Information Technology Co Ltd, Whaley Technology Co Ltd filed Critical Shanghai Le Wo Information Technology Co Ltd
Priority to CN201710152928.5A priority Critical patent/CN106911902B/zh
Publication of CN106911902A publication Critical patent/CN106911902A/zh
Application granted granted Critical
Publication of CN106911902B publication Critical patent/CN106911902B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268Signal distribution or switching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/06Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/067Reshaping or unfolding 3D tree structures onto 2D planes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种视频图像传输方法、接收方法及装置,所述方法包括:获取全景视频图像,所述全景视频图像上包括有热点范围;将所述全景视频图像转化为平面展开图像,所述平面展开图像上包括与所述热点范围对应的热点图像剪裁区域;将所述平面展开图像拆分为多个图像分片,从所述图像分片中提取所述热点图像剪裁区域对应的图像分片以组成第一传输图像;对所述第一传输图像采用第一编码方式进行编码并传输。通过将全景视频图像展开为平面图像,然后将所述平面图像拆分为多个图像分片,提取全景视频图像中热点范围对应的图像分片组成第一传输图像并进行编码传输,减少了全景视频图像在传输过程中占用的带宽。

Description

视频图像传输方法、接收方法及装置
技术领域
本发明涉及图像传输技术领域,具体而言,涉及一种视频图像传输方法、接收方法及装置。
背景技术
在视频图像的传播过程中,传输效率十分重要。现有技术的全景视频图像传输方法中,对整个全景视频图像画面进行传输,传输的视频画面中大量无用的信息占用了大量传输带宽,传输效率不理想。
发明内容
为了克服现有技术中的上述不足,本发明的目的在于提供一种视频图像传输方法,应用于视频发送设备,所述方法包括:
获取全景视频图像;
将所述全景视频图像转化为平面展开图像,所述平面展开图像上包括热点图像剪裁区域;
将所述平面展开图像拆分为多个图像分片,从所述图像分片中提取所述热点图像剪裁区域对应的图像分片以组成第一传输图像;
对所述第一传输图像采用第一编码方式进行编码并传输。
本发明的另一目的在于提供一种视频图像传输装置,应用于视频发送设备,所述方法还包括:
视频获取模块,用于获取全景视频图像;
展开模块,用于将所述全景视频图像转化为平面展开图像,所述平面展开图像上包括热点图像剪裁区域;
拆分模块,用于将所述平面展开图像拆分为多个图像分片,从所述图像分片中提取所述热点图像剪裁区域对应的图像分片以组成第一传输图像;
第一编码模块,用于对所述第一传输图像采用第一编码方式进行编码并传输。
本发明的另一目的在于提供一种视频图像接收方法,应用于视频接收设备,所述视频接收设备与执行本发明中视频图像传输方法的视频发送设备通信连接,所述方法包括:
接收传输的所述第一传输图像,根据所述第一传输图像获得热点图像剪裁区域,通过虚拟场景生成非热点图像剪裁区域;
将所述热点图像剪裁区域及所述非热点图像剪裁区域拼接还原形成全景视频图像。
本发明的另一目的在于提供一种视频图像接收装置,应用于视频接收设备,所述视频接收设备与执行本发明中视频图像传输方法的视频发送设备通信连接,所述装置包括:
第一接收模块,用于接收传输的所述第一传输图像,根据所述第一传输图像获得热点图像剪裁区域,通过虚拟场景生成非热点图像剪裁区域;
第一视频还原模块,用于将所述热点图像剪裁区域及所述非热点图像剪裁区域拼接还原形成全景视频图像。
本发明的另一目的在于提供一种视频图像接收方法,应用于视频接收设备,所述视频接收设备与执行本发明中视频图像传输方法的视频发送设备通信连接,所述方法包括:
接收传输的所述第一传输图像,根据所述第一传输图像获得热点图像剪裁区域,接收传输的所述第二传输图像,根据所述第二传输图像获得非热点图像剪裁区域;
将所述热点图像剪裁区域及所述非热点图像剪裁区域拼接还原形成全景视频图像。
本发明的另一目的在于提供一种视频图像接收装置,应用于视频接收设备,所述视频接收设备与执行本发明中视频图像传输方法的视频发送设备通信连接,所述装置包括:
第二接收模块,用于接收传输的所述第一传输图像,根据所述第一传输图像获得热点图像剪裁区域,接收传输的所述第二传输图像,根据所述第二传输图像获得非热点图像剪裁区域;
第二视频还原模块,用于将所述热点图像剪裁区域及所述非热点图像剪裁区域拼接还原形成全景视频图像。
相对于现有技术而言,本发明具有以下有益效果:
本发明提供的视频图像传输方法、接收方法及装置,通过将全景视频图像展开为平面图像,然后将所述平面图像拆分为多个图像分片,提取全景视频图像中热点范围对应的图像分片组成第一传输图像并进行编码传输,减少了全景视频图像在传输过程中占用的带宽。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的视频发送设备与视频接收设备的交互示意图;
图2为本发明实施例提供的视频发送设备的示意图
图3为本发明实施例提供的视频图像传输方法的流程示意图;
图4为本发明实施例提供的正八面体模型示意图之一;
图5为本发明实施例提供的正八面体模型示意图之二;
图6为本发明实施例提供的球体模型示意图;
图7为本发明实施例提供的正八面体模型展开示意图;
图8为本发明实施例提供的球体模型展开示意图;
图9为本发明实施例提供的视频图像传输装置的示意图。
图标:10-视频传输系统;100-视频发送设备;200-视频接收设备;110-视频图像传输装置;111-视频获取模块;112-展开模块;113-拆分模块;114-第一编码模块;115-第二编码模块;120-存储器;130-处理器。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中,需要说明的是,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
如图1所示,是本发明较佳实施例提供的视频传输系统10的示意图,所述视频传输系统10可以包括视频发送设备100以及视频接收设备200。所述视频传输设备100用于将获取的全景视频图像进行处理后传输,所述视频接收设备200用于接收并解析还原全景视频图像。
如图2所示,是图1所示的视频发送设备100的方框示意图。所述视频发送设备100包括视频图像传输装置110、存储器120以及处理器130。
所述存储器120以及处理器130各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述视频图像传输装置110包括至少一个可以软件或固件(firmware)的形式存储于所述存储器120中或固化在所述视频发送设备100的操作系统(operating system,OS)中的软件功能模块。所述处理器130用于执行所述存储器120中存储的可执行模块,例如所述视频图像传输装置110所包括的软件功能模块及计算机程序等。
其中,所述存储器120可以是,但不限于,随机存取存储器(Random AccessMemory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(ProgrammableRead-Only Memory,PROM),可擦除只读存储器(Erasable Programmable Read-OnlyMemory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory,EEPROM)等。其中,存储器120用于存储程序,所述处理器130在接收到执行指令后,执行所述程序。
请参照图3,图3为一种视频图像传输方法的流程图,所述方法应用于图1所示视频发送设备100,以下将对所述方法包括各个步骤进行详细阐述。
步骤S110,获取全景视频图像,所述全景视频图像上包括有热点范围。
所述全景视频图像为以图像采集点为中心,周围360°空间的视频图像画面,可以将所述全景视频图像画面看作以观察点为中心,分布在一球体内壁上的图像。
在本实施例中,对全景视频图像进行处理,所述全景视频图像中包括预先设置的热点范围,所述热点范围可以为所述全景视频图像中包含有效信息内容较丰富的图像范围或指定的感兴趣区域(region of interest,ROI),在进行全景视频图像处理时,所述热点范围需要较大幅度地保留原始图像信息。
步骤S120,将所述全景视频图像转化为平面展开图像,所述平面展开图像上包括与所述热点范围对应的热点图像剪裁区域。
在本实施例中,先将所述全景视频图像投影至一立体模型,然后,将所述立体模型上的图像转化为平面展开图像。
在本实施例的一种实施方式中,请参照图4,所述立体模型可以为正八面体模型。以所述正八面体模型中心水平面上120°的视野范围(θ=120°)为中心水平面视野范围。请参照图5,所述中心水平面视野范围所述正八面体模型的交点与所述正八面体模型上顶点及下顶点所形成区域为所述热点图像剪裁区域。
在本实施例的另一种实施方式中,所述立体模型可以为球体模型。由于所述全景视频图像一般都基于球体模型,故在本实施方式中,可以直接对所述全景视频图像进行处理。请参照图6,所述热点图像剪裁区域为将所述球体表面做等距圆柱展开后,展开图像中与所述热点范围对应的一矩形区域。
值得说明的是,上述立体模型设置方式并不构成对本实施例方案的限制,在本实施例的其他实施方式中也可以采用其他不同的立体模型来实现。
步骤S130,将所述平面展开图像拆分为多个图像分片,从所述图像分片中提取所述热点图像剪裁区域对应的图像分片以组成第一传输图像。
以步骤S120中所述情形为例,请参照图7,当所述立体模型为正八面体模型时,将所述全景视频图像投影至所述正八面体模型后,将所述正八面体模型的8个面展开到一个平面,得到8个三角形图像。按照所述热点图像剪裁区域在所述正八面体模型上的投影,对所述8个三角形图像进行切分得到多个图像分片,包括图像分片a、b、c、d、e、f、A、B、C、D、E、F、G、H、I以及J。
请参照图8,当所述立体模型为球体模型时,将所述全景视频图像投影至所述球体模型后,将所述球体模型按照球体表面的展开算法展开为一个平面,得到一个矩形平面展开图像。按照所述热点图像剪裁区域在所述球体模型上的投影,对所述矩形平面展开图像进行切分得到多个图像分片,包括图像分片p、Q、R、S以及T。
由于获得的图像分片多为不规则的形状,对不规则图像进行编码时传输效率不高。故在本实施例中,从所述图像分片中提取所述热点图像剪裁区域对应的图像分片,将提取的图像分片拼接为矩形的第一传输图像。
请再次参照图7,当所述立体模型为正八面体模型时,提取与所述热点图像剪裁区域对应的图像分片a、b、c、d、e及f,拼接组成为一矩形的第一传输图像。
请再次参照图8,当所述立体模型为球体模型时,所述热点图像剪裁区对应图像分片p,将图像分片p作为第一传输图像。
步骤S140,对所述第一传输图像采用第一编码方式进行编码并传输。
由于所述第一传输图像包含所述热点范围的内容,故在本实施例中,采用编码后清晰度较高的第一编码方式对所述第一传输图像进行编码,以尽量保证第一传输图像的清晰度。
进一步地,请再次参照图3,在本实施例中,所述全景视频图像上还包括非热点范围,所述平面展开图像上包括与所述非热点范围对应的非热点图像剪裁区域。所述方法还可以包括步骤S150。
步骤S150,从所述图像分片中提取所述非热点图像剪裁区域对应的图像分片以组成第二传输图像,对所述第二传输图像采用第二编码方式进行编码并传输。
为保证所述非热点图像剪裁区域的传输效率,在本实施例中,同样需要将所述非热点图像剪裁区域对应的图像分片拼接为矩形。
具体地,请再次参照图7,当所述立体模型为正八面体模型时,提取与所述非热点图像剪裁区域对应的图像分片A、B、C、D、E、F、G、H、I及J,拼接组成为一矩形的第二传输图像。
请再次参照图8,当所述立体模型为球体模型时,提取与所述非热点图像剪裁区域对应的矩形的图像分片Q、R、S及T,拼接组成为一矩形的第二传输图像。
由于所述第二传输图像包含非热点范围的内容,相对所述第一传输图像,不需要较高的清晰度或即时性。故在本实施例中,对第二传输图像采用与所述第一编码方式不同的第二编码方式进行编码传输。所述第二编码方式可以为以下形式或其之间的组合:
方式一,由于所述第二传输图像可以不需要很好的即时性,可以通过减低所述第二传输图像编码频率的方式减少其传输占用的带宽。在本实施列中,可以每间隔一预设时长将所述第二传输图像编码为一张图片并进行传输,其中,所述预设时长大于所述第一编码方式中对编码每帧图像的间隔时长。在本实施例中,所述预设时长可以设置为一固定时长(如,5秒),也可以设置为动态调整,检测所述非热点图像剪裁区域画面变化的程度,以决定是否编码一张新的图片。
方式二,由于所述第二传输图像可以不需要很高的清晰度,可以通过减低编码码率的方式减少其传输占用的带宽。在本实施例中,采用码率低于所述第一编码方式的第二编码方式对所述第二传输图像进行编码传输。值得说明的是,在本实施例中,第二编码方式也可以采用相比于第一编码方式清晰度更低的其他视频格式的编码方式。
本实施例中还提供一种应用于图1所示视频接收设备200的视频接收方法。下面对这些步骤进行详细阐述。
所述视频接收设备200接收传输的所述第一传输图像,根据所述第一传输图像获得热点图像剪裁区域,通过虚拟场景生成非热点图像剪裁区域。
然后将所述热点图像剪裁区域及所述非热点图像剪裁区域拼接还原形成全景视频图像。
由于非热点图像剪裁区域的图像重要程度不高,可以仅传输热点图像剪裁区域的图像,而将非热点图像剪裁区域直接使用虚拟场景代替,以进一步减少传输带宽的占用。
本实施例中还提供另一种应用于图1所示视频接收设备200的视频接收方法。
所述视频接收设备200接收传输的所述第一传输图像,根据所述第一传输图像获得热点图像剪裁区域,接收传输的所述第二传输图像,根据所述第二传输图像获得非热点图像剪裁区域。
然后将所述热点图像剪裁区域及所述非热点图像剪裁区域拼接还原形成全景视频图像。
请参照图9,本实施例还提供一种视频图像传输装置110,所述装置应用于图1所示的视频发送设备100,所述装置包括视频获取模块111、展开模块112、拆分模块113以及第一编码模块114。
所述视频获取模块111,用于获取全景视频图像,所述全景视频图像上包括有热点范围。本实施例中,所述视频获取模块111可用于执行图3所示的步骤S110,关于所述视频获取模块111的具体描述可参对所述步骤S110的描述。
所述展开模块112,用于将所述全景视频图像转化为平面展开图像,所述平面展开图像上包括与所述热点范围对应的热点图像剪裁区域。本实施例中,所述展开模块112可用于执行图3所示的步骤S120,关于所述展开模块112的具体描述可参对所述步骤S120的描述。
具体地,所述展开模块112进行图像展开的方式,包括:
将所述全景视频图像投影至一立体模型,将所述立体模型上的图像转化为平面展开图像。
进一步地,在本实施例的一种实施方式中,所述立体模型包括正八面体模型;所述展开模块112将所述立体模型上的图像转化为平面展开图像的方式,包括:
将所述正八面体模型上的图像展开为8个三角形平面展开图像。
在本实施例的另一种实施方式中,所述立体模型包括球体模型;所述展开模块112将所述立体模型上的图像转化为平面展开图像的方式,包括:
通过球体图像展开算法将所述球体模型上的图像转换为矩形平面展开图像。
所述拆分模块113,用于将所述平面展开图像拆分为多个图像分片,从所述图像分片中提取所述热点图像剪裁区域对应的图像分片以组成第一传输图像。本实施例中,所述拆分模块113可用于执行图3所示的步骤S130,关于所述拆分模块113的具体描述可参对所述步骤S130的描述。
具体地,所述拆分模块113进行图像分片拆分的方式,包括:
从所述图像分片中提取所述热点图像剪裁区域对应的图像分片,将提取的图像分片拼接为矩形的第一传输图像。
所述第一编码模块114,用于对所述第一传输图像采用第一编码方式进行编码并传输。本实施例中,所述第一编码模块114可用于执行图3所示的步骤S140,关于所述第一编码模块114的具体描述可参对所述步骤S140的描述。
进一步地,请再次参照图9,所述平面展开图像上包括非热点图像剪裁区域,所述装置还可以包括第二编码模块115。
所述第二编码模块115,用于从所述图像分片中提取所述非热点图像剪裁区域对应的图像分片以组成第二传输图像,对所述第二传输图像采用第二编码方式进行编码并传输。本实施例中,所述第二编码模块115可用于执行图3所示的步骤S140,关于所述第二编码模块115的具体描述可参对所述步骤S140的描述。
具体地,在本实施例的一种实施方式中,所述第二编码模块115进行编码并传输的步骤,包括:
每间隔一预设时长将所述第二传输图像编码为一张图片并进行传输。
在本实施例的另一种实施方式中,所述第二编码模块115进行编码并传输的步骤,包括:
采用码率低于所述第一编码方式的第二编码方式对所述第二传输图像进行编码传输。
本实施例中还提供一种应用于图1所示视频接收设备200的视频图像接收装置,所述装置可以包括:第二接收模块以及第二视频还原模块。
所述第一接收模块,用于接收传输的所述第一传输图像,根据所述第一传输图像获得热点图像剪裁区域,通过虚拟场景生成非热点图像剪裁区域;
所述第一视频还原模块,用于将所述热点图像剪裁区域及所述非热点图像剪裁区域拼接还原形成全景视频图像。
本实施例中还提供一种应用于图1所示视频接收设备200的视频图像接收装置,所述装置可以包括:第一接收模块及第一视频还原模块。
所述第二接收模块,用于接收传输的所述第一传输图像,根据所述第一传输图像获得热点图像剪裁区域,接收传输的所述第二传输图像,根据所述第二传输图像获得非热点图像剪裁区域;
所述第二视频还原模块,用于将所述热点图像剪裁区域及所述非热点图像剪裁区域拼接还原形成全景视频图像。
基于上述设计,本实施例提供的视频图像传输方法可以有效减少传输带宽。请再次参照图5,以所述立体模型为正八面体模型为例,所述平面展开图像中,的原始宽与高分别为w和h,其中,图像分片a中∠α=45°,∠β=15°(即
Figure BDA0001246158120000111
),则可得拼接后的所述第一传输图像的宽高分别为:
Figure BDA0001246158120000112
Figure BDA0001246158120000121
拼接后的所述第二传输图像的宽高分别为:
Figure BDA0001246158120000122
Figure BDA0001246158120000123
因此,假设第一传输图像与第二传输图像均以相同码率传输,所占带宽为原始带宽的若第二传输图像仅传输图片,则所占带宽约为原始带宽的
Figure BDA0001246158120000125
(即约等于13.7%)。可见,本实施例提供的视频图像传输方法可以大大减少视频传输时占用的带宽。
综上所述,本发明提供的视频图像传输方法、接收方法及装置,通过将全景视频图像展开为平面图像,然后将所述平面图像拆分为多个图像分片,提取全景视频图像中热点范围对应的图像分片组成第一传输图像并采用第一编码方式进行编码传输。提取非热点范围对应的图像分片组成第二传输图像,并采用不同于第一编码方式的第二传输图像进行编码传输。如此减少了非热点范围在传输过程中占用的带宽。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (14)

1.一种视频图像传输方法,应用于视频发送设备,其特征在于,所述方法包括:
获取全景视频图像,所述全景视频图像上包括有热点范围和非热点范围;
将所述全景视频图像转化为平面展开图像,所述平面展开图像上包括与所述热点范围对应的热点图像剪裁区域和与所述非热点范围对应的非热点图像剪裁区域;
将所述平面展开图像拆分为多个图像分片,从所述图像分片中提取所述热点图像剪裁区域对应的图像分片,将提取的图像分片拼接为矩形的第一传输图像;对所述第一传输图像采用第一编码方式进行编码并传输;
从所述图像分片中提取所述非热点图像剪裁区域对应的图像分片,将提取的图像分片拼接为矩形的第二传输图像;对所述第二传输图像采用第二编码方式进行编码并传输。
2.根据权利要求1所述的方法,其特征在于,所述将所述全景视频图像转化为平面展开图像的步骤,包括:
将所述全景视频图像投影至一立体模型,将所述立体模型上的图像转化为平面展开图像。
3.根据权利要求2所述的方法,其特征在于,所述立体模型包括正八面体模型;所述将所述立体模型上的图像转化为平面展开图像的步骤,包括:
将所述正八面体模型上的图像展开为8个三角形平面展开图像。
4.根据权利要求2所述的方法,其特征在于,所述立体模型包括球体模型;所述将所述立体模型上的图像转化为平面展开图像的步骤,包括:
通过球体图像展开算法将所述球体模型上的图像转换为矩形平面展开图像。
5.根据权利要求1所述的方法,其特征在于,所述对所述第二传输图像采用第二编码方式进行编码并传输的步骤,包括:
每间隔一预设时长将所述第二传输图像编码为一张图片并进行传输。
6.根据权利要求1所述的方法,其特征在于,所述对所述第二传输图像采用第二编码方式进行编码并传输的步骤,包括:
采用码率低于所述第一编码方式的第二编码方式对所述第二传输图像进行编码传输。
7.一种视频图像接收方法,应用于视频接收设备,其特征在于,所述视频接收设备与执行权利要求1-6任意一项视频图像传输方法的视频发送设备通信连接,所述方法包括:
接收传输的所述第一传输图像,根据所述第一传输图像获得热点图像剪裁区域,接收传输的所述第二传输图像,根据所述第二传输图像获得非热点图像剪裁区域;
将所述热点图像剪裁区域及所述非热点图像剪裁区域拼接还原形成全景视频图像。
8.一种视频图像传输装置,应用于视频发送设备,其特征在于,所述装置包括:
视频获取模块,用于获取全景视频图像,所述全景视频图像上包括有热点范围和非热点范围;
展开模块,用于将所述全景视频图像转化为平面展开图像,所述平面展开图像上包括与所述热点范围对应的热点图像剪裁区域和与所述非热点范围对应的非热点图像剪裁区域;
拆分模块,用于将所述平面展开图像拆分为多个图像分片,从所述图像分片中提取所述热点图像剪裁区域对应的图像分片,将提取的图像分片拼接为矩形的第一传输图像;
第一编码模块,用于对所述第一传输图像采用第一编码方式进行编码并传输;
第二编码模块,用于从所述图像分片中提取所述非热点图像剪裁区域对应的图像分片以组成第二传输图像,对所述第二传输图像采用第二编码方式进行编码并传输。
9.根据权利要求8所述的装置,其特征在于,所述展开模块进行图像展开的方式,包括:
将所述全景视频图像投影至一立体模型,将所述立体模型上的图像转化为平面展开图像。
10.根据权利要求9所述的装置,其特征在于,所述立体模型包括正八面体模型;所述展开模块将所述立体模型上的图像转化为平面展开图像的方式,包括:
将所述正八面体模型上的图像展开为8个三角形平面展开图像。
11.根据权利要求10所述的装置,其特征在于,所述立体模型包括球体模型;所述展开模块将所述立体模型上的图像转化为平面展开图像的方式,包括:
通过球体图像展开算法将所述球体模型上的图像转换为矩形平面展开图像。
12.根据权利要求8所述的装置,其特征在于,所述第二编码模块进行编码并传输的步骤,包括:
每间隔一预设时长将所述第二传输图像编码为一张图片并进行传输。
13.根据权利要求8所述的装置,其特征在于,所述第二编码模块进行编码并传输的步骤,包括:
采用码率低于所述第一编码方式的第二编码方式对所述第二传输图像进行编码传输。
14.一种视频图像接收装置,应用于视频接收设备,其特征在于,所述视频接收设备与执行权利要求1-6任意一项视频图像传输方法的视频发送设备通信连接,所述装置包括:
第二接收模块,用于接收传输的所述第一传输图像,根据所述第一传输图像获得热点图像剪裁区域,接收传输的所述第二传输图像,根据所述第二传输图像获得非热点图像剪裁区域;
第二视频还原模块,用于将所述热点图像剪裁区域及所述非热点图像剪裁区域拼接还原形成全景视频图像。
CN201710152928.5A 2017-03-15 2017-03-15 视频图像传输方法、接收方法及装置 Active CN106911902B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710152928.5A CN106911902B (zh) 2017-03-15 2017-03-15 视频图像传输方法、接收方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710152928.5A CN106911902B (zh) 2017-03-15 2017-03-15 视频图像传输方法、接收方法及装置

Publications (2)

Publication Number Publication Date
CN106911902A CN106911902A (zh) 2017-06-30
CN106911902B true CN106911902B (zh) 2020-01-07

Family

ID=59187047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710152928.5A Active CN106911902B (zh) 2017-03-15 2017-03-15 视频图像传输方法、接收方法及装置

Country Status (1)

Country Link
CN (1) CN106911902B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107395984A (zh) * 2017-08-25 2017-11-24 北京佰才邦技术有限公司 一种视频传输的方法及装置
JP7043255B2 (ja) 2017-12-28 2022-03-29 キヤノン株式会社 電子機器及びその制御方法
JP2019121857A (ja) 2017-12-28 2019-07-22 キヤノン株式会社 電子機器及びその制御方法
CN109978753B (zh) * 2017-12-28 2023-09-26 北京京东尚科信息技术有限公司 绘制全景热力图的方法和装置
CN108235131B (zh) * 2018-01-30 2020-07-03 重庆邮电大学 一种基于dash的全景视频自适应传输方法
CN108307166A (zh) * 2018-03-09 2018-07-20 嘀拍信息科技南通有限公司 一种新的全景视频传输投影模型
US10841662B2 (en) * 2018-07-27 2020-11-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for inserting advertisement content in 360° immersive video
CN112312159A (zh) * 2019-07-30 2021-02-02 华为技术有限公司 视频的缓存方法和装置
CN112055175B (zh) * 2020-08-28 2023-03-24 浙江大华技术股份有限公司 基于视频分区的协商传输方法、电子设备以及计存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006016782A1 (en) * 2004-08-13 2006-02-16 Industry Academic Cooperation Foundation Kyunghee University Method and apparatus to encode image, and method and apparatus to decode image data
WO2015024362A1 (zh) * 2013-08-19 2015-02-26 华为技术有限公司 一种图像处理方法及设备
CN106060570A (zh) * 2016-06-30 2016-10-26 北京奇艺世纪科技有限公司 一种全景视频图像播放、编码方法及装置
CN106454321A (zh) * 2016-10-26 2017-02-22 深圳市道通智能航空技术有限公司 全景视频的处理方法、装置及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102209241B (zh) * 2011-05-25 2013-07-03 杭州华三通信技术有限公司 一种基于多子图的视频编解码方法及其装置
KR101844032B1 (ko) * 2014-12-26 2018-05-14 주식회사 케이티 파노라믹 비디오 영상의 관심 영역의 영상 전송 방법, 장치 및 디바이스
CN204993576U (zh) * 2015-07-21 2016-01-20 杭州海康威视数字技术股份有限公司 摄像机及集成电路板

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006016782A1 (en) * 2004-08-13 2006-02-16 Industry Academic Cooperation Foundation Kyunghee University Method and apparatus to encode image, and method and apparatus to decode image data
WO2015024362A1 (zh) * 2013-08-19 2015-02-26 华为技术有限公司 一种图像处理方法及设备
CN106060570A (zh) * 2016-06-30 2016-10-26 北京奇艺世纪科技有限公司 一种全景视频图像播放、编码方法及装置
CN106454321A (zh) * 2016-10-26 2017-02-22 深圳市道通智能航空技术有限公司 全景视频的处理方法、装置及系统

Also Published As

Publication number Publication date
CN106911902A (zh) 2017-06-30

Similar Documents

Publication Publication Date Title
CN106911902B (zh) 视频图像传输方法、接收方法及装置
EP2916543B1 (en) Method for coding/decoding depth image and coding/decoding device
KR101848191B1 (ko) 이미지 압축 방법, 장치 및 서버
CN101273635B (zh) 使用相机参数对多视图画面编码和解码的设备和方法
CN111247562A (zh) 使用混合变换的点云压缩
JP2019509662A5 (zh)
US20100250588A1 (en) Image searching system and image searching method
CN108198229B (zh) 冗余像素减轻
JP7184050B2 (ja) 符号化装置、符号化方法、復号装置、および復号方法
CN105898344A (zh) 一种全景视频的播放方法和装置
CN107945101B (zh) 图像处理方法和装置
CN107610171B (zh) 图像处理方法及其装置
CN107360354B (zh) 拍照方法、装置、移动终端和计算机可读存储介质
CN113989468A (zh) 一种全景漫游的生成方法、装置及计算机设备
JP5779116B2 (ja) 画像符号化方法、画像符号化装置及び画像符号化プログラム
CN108257086B (zh) 一种全景照片处理的方法及装置
CN113411637B (zh) 画面处理方法与装置
US11973981B2 (en) Coding and decoding of an omnidirectional video
JP2018032938A (ja) 画像処理装置、画像処理の方法およびプログラム
CN107807736B (zh) 3d场景交互装置、系统和交互方法
JP5906165B2 (ja) 仮想視点画像合成装置、仮想視点画像合成方法及び仮想視点画像合成プログラム
CN112422907B (zh) 图像处理方法、装置及系统
EP3518198A1 (en) Video image transmission apparatus, information processing apparatus, system, information processing method, and program
CN112487858A (zh) 一种视频生成方法及装置
CN112204624A (zh) 模型自动剪切的方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant