CN115118882B - 一种全景相机图像传输方法、装置及设备 - Google Patents
一种全景相机图像传输方法、装置及设备 Download PDFInfo
- Publication number
- CN115118882B CN115118882B CN202210742405.7A CN202210742405A CN115118882B CN 115118882 B CN115118882 B CN 115118882B CN 202210742405 A CN202210742405 A CN 202210742405A CN 115118882 B CN115118882 B CN 115118882B
- Authority
- CN
- China
- Prior art keywords
- panoramic
- information
- panoramic image
- image information
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000005540 biological transmission Effects 0.000 title claims abstract description 51
- 238000004891 communication Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 9
- 230000008569 process Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000010485 coping Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Studio Devices (AREA)
Abstract
本申请实施例涉及图像处理领域,公开了一种全景相机图像传输方法、装置及设备。本申请实施例涉及全景相机图像传输方法包括:获取至少一个第一全景图像信息;分别对至少一个全景图像信息编码,得到至少一组编码信息,每个第一全景图像信息对应一组编码信息;发送至少一组编码信息至服务器;依据预存储在服务器的至少一个参考帧以及与每个参考帧对应的每个编码信息,得到至少一个第二全景图像信息发送至客户端。可见,本技术方案将原有的图像采集设备传输至服务器的全景图像信息替换为编码信息,使服务器通过预存储的参考帧结合接收的编码信息完成全景图像的拼接,并将其发送至客户端,因此减少了传输全景相机图像所占用的资源。
Description
技术领域
本发明实施例涉及图像处理领域,涉及一种全景相机图像传输方法、装置及设备。
背景技术
全景相机技术是近几年流行并开始广泛应用的特殊摄像技术,通过多个镜头、传感器系统以及图像拼接实现对三维空间360°或720°的影像获取。全景相机技术应用在旅游业场景时,通常被用来为固定景区中的不同游客提供图片拍摄。通过多个镜头完成景区照片拍摄后,将拍摄的照片发送至云端服务器,再由服务器端完成拼接得到全景照片并发送至客户端。
由于全景照片的分辨率较高,通过网络传输需要占用大量传输资源。现有的全景相机图像处理技术中,通过视频编码的方式对全景照片中的冗余信息进行压缩以解决上述问题。在旅游业中,由于每个全景相机镜头所捕获景区中的照片信息较为离散,并且视频编码无法将离散的照片信息合成视频流。这样也就无法采用视频编码的方式进行压缩。若仅采用图片压缩技术对个别帧信息进行压缩,实际对减少传输过程的资源占用效果并不明显。
发明内容
本申请实施例提供了一种全景相机图像传输方法、装置及设备,以解决现有全景相机对图像传输占用资源较大的问题。
第一方面,本申请实施例提供了一种全景相机图像传输方法,所述方法包括:
获取至少一个第一全景图像信息;
分别对所述至少一个全景图像信息编码,得到至少一组编码信息,每个第一全景图像信息对应一组编码信息;
发送至少一组编码信息至服务器;
依据预存储在服务器的至少一个参考帧以及与每个参考帧对应的每个编码信息,得到至少一个第二全景图像信息,所述第二全景图像信息作为目标全景图像信息用于发送至客户端。
在一些可能的实施方式中,所述第一全景图像信息包括:至少两个图像信息,所述至少两个图像信息中均由预先设置在不同位置的至少两台图像采集设备得到,每个图像信息对应一台图像采集设备。这样,可以通过不同方位的图像采集设备对不同区域的图像信息进行捕捉,并以此构建所有区域下的全景图像信息。
在一些可能的实施方式中,在获取至少一个第一全景图像信息之前,所述全景相机图像传输方法还包括:获取至少一个参考全景图像信息,依据所述至少一个参考全景图像得到至少一个参考帧,每个参考全景图像对应一个参考帧。这样,后续可以采用帧间预测的方式,利用参考帧以及相应的编码信息实现对图像信息的拼接,以此减小传输全景相机图像所占用的资源。
在一些可能的实施方式中,所述编码信息包括:参考帧的序号、运动矢量以及预测残差。这样,后续可以采用帧间预测的方式,利用参考帧以及相应的编码信息实现对图像信息的拼接,以此减小传输全景相机图像所占用的资源。
在一些可能的实施方式中,在得到至少一个参考帧之后,获取至少一个第一全景图像信息之前,所述全景相机图像传输方法还包括:发送所有参考帧至服务器,使所述服务器得到所述所有参考帧。这样,可以使服务器利用参考帧以及相应的编码信息实现对图像信息的拼接,以此减小传输全景相机图像所占用的资源。
在一些可能的实施方式中,依据预存储在服务器的至少一个参考帧以及与每个参考帧对应的每个编码信息,得到至少一个第二全景图像信息的实现方式包括:图像拼接以及图像配准。这样,可以使服务器依据预先存储的参考帧以及由全景相机传输的编码信息得到全景相机所拍摄的全景图像信息,以此减小传输全景相机图像所占用的资源。
在一些可能的实施方式中,所述全景相机图像传输方法还包括:依据预设周期获取至少一个参考全景图像。这样,可以保证固定场景对应的参考帧随时间更新,以此提高服务器得到第二全景图像与实际全景相机获取的图像之间的相似度,使发送至客户端的目标全景图像信息更准确。
在一些可能的实施方式中,分别对所述至少一个全景图像信息编码,得到至少一组编码信息之外,所述方法还包括:得到至少一个全景图像帧序号,每个所述全景图像帧序号对应一个全景图像信息,每个所述全景图像帧序号对应一组编码信息,所述全景图像帧序号用于区分全景图像信息。这样,可以保证全景图像信息之间的独立性,用于应对多需求场景,保证全景图像信息收发以及传递的准确性。
在一些可能的实施方式中,发送至少一组编码信息至服务器之外,所述方法还包括:发送至少一组帧序号至服务器,用于是服务器区分所述第二全景图像信息。这样,可以保证服务器发送每个客户端的作为目标全景信息的第二全景图像信息与对应客户端匹配关系的准确性。
第二方面,本申请实施例还提供了一种全景相机图像传输装置,所述装置包括:
获取模块,用于获取至少一个第一全景图像信息;
编码模块,用于分别对所述至少一个全景图像信息编码,得到至少一组编码信息,每个第一全景图像信息对应一组编码信息;
发送模块,用于发送至少一组编码信息至服务器;
拼接模块,用于依据预存储在服务器的至少一个参考帧以及与每个参考帧对应的每个编码信息,得到至少一个第二全景图像信息,所述第二全景图像信息作为目标全景图像信息用于发送至客户端。
第三方面,本申请实施例还提供了一种电子设备,所诉电子设备包括:存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令执行第一方面或第一方面任一可能的实施方式中的方法。
第四方面,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行第一方面或第一方面任一可能的实施方式中的方法。
本申请实施例提供了一种全景相机图像传输方法的技术方案,本方案中,首先获取至少一个第一全景图像信息,而后分别对所述至少一个全景图像信息编码,得到至少一组编码信息,每个第一全景图像信息对应一组编码信息,之后发送至少一组编码信息至服务器,最后,依据预存储在服务器的至少一个参考帧以及与每个参考帧对应的每个编码信息,得到至少一个第二全景图像信息,所述第二全景图像信息作为目标全景图像信息用于发送至客户端,以此来减小传输全景相机图像所占用的资源。可见,本技术方案将原有的图像采集设备传输至服务器的全景图像信息替换为编码信息,使服务器通过预存储的参考帧结合接收的编码信息完成全景图像的拼接,并将其发送至客户端。过程中传输的信息由原本的图像信息替换为编码信息,因此减少了传输全景相机图像所占用的资源。
附图说明
图1是本申请实施例提供的全景相机图像获取示意图;
图2是本申请实施例提供的全景相机图像传输方法流程示意图;
图3使本申请实施例提供的全景相机图像传输装置结构示意图。
图4是本申请实施例提供的全景相机图像传输设备示例性结构示意图。
具体实施方式
本申请以下实施例中所使用的术语是为了描述可选实施方式的目的,而非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式。还应当理解,尽管在以下实施例中可能采用术语第一、第二等来描述某一类对象,但所述对象不限于这些术语。这些术语用来将该类对象的具体对象进行区分。例如,以下实施例中可能采用术语第一、第二等来描述的其他类对象同理,此处不再赘述。
本申请实施例提供了一种全景相机图像传输方法的技术方案,本方案中,首先获取至少一个第一全景图像信息,而后分别对所述至少一个全景图像信息编码,得到至少一组编码信息,每个第一全景图像信息对应一组编码信息,之后发送至少一组编码信息至服务器,最后,依据预存储在服务器的至少一个参考帧以及与每个参考帧对应的每个编码信息,得到至少一个第二全景图像信息,所述第二全景图像信息作为目标全景图像信息用于发送至客户端,以此来减小传输全景相机图像所占用的资源。可见,本技术方案将原有的图像采集设备传输至服务器的全景图像信息替换为编码信息,使服务器通过预存储的参考帧结合接收的编码信息完成全景图像的拼接,并将其发送至客户端。过程中传输的信息由原本的图像信息替换为编码信息,因此减少了传输全景相机图像所占用的资源。
本申请实施例涉及的任一电子设备可以是诸如手机、平板电脑、可穿戴设备(例如,智能手表、智能手环等)、笔记本电脑、台式计算机和车载设备等电子设备。该电子设备预先安装有软件部署应用程序。可以理解的是,本申请实施例对电子设备的具体类型不作任何限制。
全景相机技术是近几年流行并开始广泛应用的特殊摄像技术,通过多个镜头、传感器系统以及图像拼接实现对三维空间360°或720°的影像获取。全景相机技术应用在旅游业场景时,通常被用来为固定景区中的不同游客提供图片拍摄。通过多个镜头完成景区照片拍摄后,将拍摄的照片发送至云端服务器,再由服务器端完成拼接得到全景照片并发送至客户端。
由于全景照片的分辨率较高,通过网络传输需要占用大量传输资源。现有的全景相机图像处理技术中,通过视频编码的方式对全景照片中的冗余信息进行压缩以解决上述问题。在旅游业中,由于每个全景相机镜头所捕获景区中的照片信息较为离散,并且视频编码无法将离散的照片信息合成视频流。这样也就无法采用视频编码的方式进行压缩。若仅采用图片压缩技术对个别帧信息进行压缩,实际对减少传输过程的资源占用效果并不明显。
通常的,应用在景区的全景相机包括至少两个图像采集设备(例如镜头或者独立的相机),如图1所示,应用在景区的全景相机四周(或者其它的不同方位以及角度)设置有4个图像采集设备(一号图像采集设备、二号图像采集设备、三号图像采集设备以及四号图像采集设备),用于捕捉以全景相机位置为圆心的360°游客和景区景色的图像。通过每个独立设置的图像采集设备对各自视野内区域的图像信息(一号图像采集设备获取景色A图像信息、二号图像采集设备获取景色B图像信息、三号图像采集设备获取景色C图像信息以及四号图像采集设备获取游客图像信息)进行采集,然后将各自采集到的图像信息进行拼接,得到应用在景区内的所述全景相机放置区域下的全景图像信息。
明显的,在获取景区场景对应的全景图像信息中,在一段固定的时间段内,主要的变化特征是游客,例如在某处溶洞的景区中,溶洞场景中不同方位的景色在通常一天之内不会有过于明显的变化(钟乳石不会一天之内明显生长或者所处位置发生变化),但是在一天之内固定区域的景区场景中可以有很多游客,并且可以有不同的游客对固定区域的景区场景提出进行全景拍摄的需求。对于此,我们通过以下方式进行全景相机的图像传输,以减少传输所占用的资源。
下面是对几个示例性实施方式的描述,对本申请实施例的技术方案以及本申请的技术方案产生的技术效果进行说明。
在本申请的第一方面,提出了一种全景相机图像传输方法,参见图2,图2是本申请实施例提供的全景相机图像传输方法流程示意图,包括以下步骤:
获取至少一个第一全景图像信息;
分别对所述至少一个全景图像信息编码,得到至少一组编码信息,每个第一全景图像信息对应一组编码信息;
发送至少一组编码信息至服务器;
依据预存储在服务器的至少一个参考帧以及与每个参考帧对应的每个编码信息,得到至少一个第二全景图像信息,所述第二全景图像信息作为目标全景图像信息用于发送至客户端。
可选的,在获取至少一个第一全景图像信息之前,所述全景相机图像传输方法还包括:获取至少一个参考全景图像,依据所述至少一个参考全景图像得到至少一个参考帧,每个参考全景图像对应一个参考帧。这样,后续可以采用帧间预测的方式,利用参考帧以及相应的编码信息实现对图像信息的拼接,以此减小传输全景相机图像所占用的资源。
一种可能的实施方式中,在全景相机在某一处景区初始部署的时刻(如上述在获取至少一个第一全景图像之前),即全景相机内部以及服务器端没有任何图像数据(即没有参考全景图像以及第一全景图像)。所述全景相机通过自身的至少两个图像采集设备进行图像获取,以全景相机有4个独立的图像采集设备为例,那么全景相机可以同时收获分别来自每个图像采集设备的图像信息,这些图像信息分别记作:A-1、B-1、C-1以及D-1,这些图像信息可以构成一组全景图像信息。所述全景相机在获取图像信息之后,可以同时将所述图像信息以及全景图像信息存储到全景相机本地。并且可以将所述全景图像信息发送至服务器(所述图像信息也可同步发送至服务器),由服务器进行服务器端存储以及发送至客户端。存储在全景相机的全景图像信息以及服务器端全景图像信息可以作为后续帧间预测的参考帧使用。
可选的,当游客多次使用所述全景相机后,所述全景相机以及服务器端内部也就存储了多组图像信息(即存储了多组参考全景图像信息)。由于每个游客或者游客发出的需求对应1个全景图像信息(假定每个游客需求拍摄一张全景照片)。此时对全景相机存储的全景图像信息进行编号处理,即使用全景真图像序号,用以建立每个全景图像信息与每个游客的对应关系。这样,可以保证全景图像信息之间的独立性,用于应对多需求场景,保证全景图像信息收发以及传递的准确性。
一种可能的实施方式中,在所述全景相机和服务器端存储了一定量的图像信息以及全景图像信息之后。在全景相机获取当前客户拍照需求的情况时,采用所述全景相机图像传输方法进行传输。示例性的,当前客户拍照需求得到的图像信息为(A-9、B-9、C-9以及D-9),由这些图像信息可以得到一个图像组Z9(即由A-9、B-9、C-9以及D-9得到的第一全景图像信息),对图像组Z9使用帧间预测的方法进行编码,也就是基于已经存储的全景图像信息作为参考帧(即获取至少一个参考全景图像信息,依据所述至少一个参考全景图像得到至少一个参考帧,每个参考全景图像对应一个参考帧。),并对当前帧(即当前客户拍照需求的Z9、A-9、B-9、C-9以及D-9)进行帧间预测编码,得到相应的编码信息。但是必须需求当前帧为可编辑帧(例如B帧或者P帧)。
可选的,所述编码信息包括:参考帧的序号、运动矢量以及预测残差。这样,后续可以采用帧间预测的方式,利用参考帧以及相应的编码信息实现对图像信息的拼接,以此减小传输全景相机图像所占用的资源。
具体的,针对当前帧进行帧间预测编码的过程,当前帧的每一个块是基于参考帧和运动矢量进行预测的进一步的,编码器在计算出最优的运动矢量后,计算预测残差,对于当前帧的每个块对应的预测残差需要输入至变换器之后再输入至编码器、熵编码器后进行传输。
可选的,由于使用变换器再重建信号的过程中易造成失真,因此在预测残差的过程中可以将当前帧的每个块对应的预测残差直接输入至高精度量化器后输入至熵编码器。
一种可能的实施方式中,依据预存储在服务器的至少一个参考帧以及与每个参考帧对应的每个编码信息,得到至少一个第二全景图像信息的实现方式包括:图像拼接以及图像配准。这样,可以使服务器依据预先存储的参考帧以及由全景相机传输的编码信息得到全景相机所拍摄的全景图像信息,以此减小传输全景相机图像所占用的资源。
可选的,在全景相机得到Z9以及与之对应的编码信息后,将Z9对应的编码信息发送至服务器端。所述服务器端接收到Z9对应的编码信息,识别所述编码信息中的参考帧序号(也就是Z9对应的参考帧序号),在预先存储的参考全景图像信息中找出与参考帧序号对应的参考全景图像信息作为参考帧,并且基于相应的运动矢量以及残差对Z9进行服务器端重建,即得到第二全景图像信息。
一种可能的实施方式中,发送至少一组编码信息至服务器之外,所述方法还包括:发送至少一组帧序号至服务器,用于是服务器区分所述第二全景图像信息。这样,可以保证服务器发送每个客户端的作为目标全景信息的第二全景图像信息与对应客户端匹配关系的准确性。
一种可能的实施方式中,所述全景相机图像传输方法还包括:依据预设周期获取至少一个参考全景图像。这样,可以保证固定场景对应的参考帧随时间更新,以此提高服务器得到第二全景图像与实际全景相机获取的图像之间的相似度,使发送至客户端的目标全景图像信息更准确。
可选的,服务器端可以根据本地存储的全景图像信息的使用情况对已存储在服务器端的图像信息以及全景图像信息进行适当清理,例如:对存储时长超过预设阈值或者使用频率低于预设阈值的图像信息以及全景图像信息进行删除。
可选的,服务器端还可以根据压缩率进行服务器本地的全景图像信息更新,例如全景相机工作环境从白天环境转入到夜间环境,服务器对白天环境的全景图想信息进行删除,并存储新的全景图像信息作为参考全景图像信息。
上述实施例从第一全景图像信息的获取、第一全景图像信息的编码、编码信息的发送以及第二全景图像信息的得到等方面,对本申请实施例提供的全景相机图像传输方法的各实施方式进行了介绍。应理解,第一全景图像信息的获取、第一全景图像信息的编码、编码信息的发送以及第二全景图像信息的得到等的处理步骤,本申请实施例可以以硬件或硬件和计算机软件的结合形式来实现上述功能。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
例如,若上述实现步骤通过软件模块来实现相应的功能。如图3所示,全景相机图像传输装置可以包括获取模块,编码模块,发送模块以及拼接模块。所述全景相机图像传输装置可用于执行上述全景相机图像传输方法的部分或全部操作。
例如:
获取模块,用于获取至少一个第一全景图像信息;
编码模块,用于分别对所述至少一个全景图像信息编码,得到至少一组编码信息,每个第一全景图像信息对应一组编码信息;
发送模块,用于发送至少一组编码信息至服务器;
拼接模块,用于依据预存储在服务器的至少一个参考帧以及与每个参考帧对应的每个编码信息,得到至少一个第二全景图像信息,所述第二全景图像信息作为目标全景图像信息用于发送至客户端。
由此可见,本申请实施例提供了一种全景相机图像传输的装置,本方案中,
首先获取至少一个第一全景图像信息,而后分别对所述至少一个全景图像信息编码,得到至少一组编码信息,每个第一全景图像信息对应一组编码信息,之后发送至少一组编码信息至服务器,最后,依据预存储在服务器的至少一个参考帧以及与每个参考帧对应的每个编码信息,得到至少一个第二全景图像信息,所述第二全景图像信息作为目标全景图像信息用于发送至客户端,以此来减小传输全景相机图像所占用的资源。可见,本技术方案将原有的图像采集设备传输至服务器的全景图像信息替换为编码信息,使服务器通过预存储的参考帧结合接收的编码信息完成全景图像的拼接,并将其发送至客户端。过程中传输的信息由原本的图像信息替换为编码信息,因此减少了传输全景相机图像所占用的资源。
可以理解的是,以上各个模块的功能可以集成到硬件实体实现,例如,获取模块和发送模块可以集成到收发器实现,编码模块以及拼接模块可以集成在处理器实现,实现上述各模块功能的程序和指令,可以维护在存储器中。如图4所示,提供了一种电子设备,电子设备包括处理器,收发器以及存储器,其中收发器用于获取至少一个第一全景图像信息以及每个所述编码信息对应的学习结果获取,存储器用于存储前述部署装置预装的程序/代码,也可以存储用于处理器执行的代码等。当处理器运行存储器存储的代码过程中,使得电子设备执行上述方法中软件部署方法的部分或全部操作。
具体过程详见上述方法的实施例所述,此处不再详述。
具体实现中,对应前述电子设备,本申请实施例还提供一种计算机存储介质,其中,设置在电子设备中的计算机存储介质可存储有程序,该程序执行时,可实施包括上述软件部署方法的各实施例中的部分或全部步骤。该存储介质均可为磁碟、光盘、只读存储记忆体(read-only memory,ROM)或随机存储记忆体(random access memory,RAM)等。
以上模块或单元的一个或多个可以软件、硬件或二者结合来实现。当以上任一模块或单元以软件实现的时候,所述软件以计算机程序指令的方式存在,并被存储在存储器中,处理器可以用于执行所述程序指令并实现以上方法流程。所述处理器可以包括但不限于以下至少一种:中央处理单元(central processing unit,CPU)、微处理器、数字信号处理器(DSP)、微控制器(microcontroller unit,MCU)、或人工智能处理器等各类运行软件的计算设备,每种计算设备可包括一个或多个用于执行软件指令以进行运算或处理的核。该处理器可以内置于SoC(片上系统)或专用集成电路(application specific integratedcircuit,ASIC),也可是一个独立的半导体芯片。该处理器内处理用于执行软件指令以进行运算或处理的核外,还可进一步包括必要的硬件加速器,如现场可编程门阵列(fieldprogrammable gate array,FPGA)、PLD(可编程逻辑器件)、或者实现专用逻辑运算的逻辑电路。
当以上模块或单元以硬件实现的时候,该硬件可以是CPU、微处理器、DSP、MCU、人工智能处理器、ASIC、SoC、FPGA、PLD、专用数字电路、硬件加速器或非集成的分立器件中的任一个或任一组合,其可以运行必要的软件或不依赖于软件以执行以上方法流程。
进一步的,图4中还可以包括总线接口,总线接口可以包括任意数量的互联的总线和桥,具体由处理器代表的一个或多个处理器和存储器代表的存储器的各种电路链接在一起。总线接口还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口提供接口。收发器提供用于在传输介质上与各种其他设备通信的单元。处理器负责管理总线架构和通常的处理,存储器可以存储处理器在执行操作时所使用的数据。
当以上模块或单元使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
应理解,在本申请的各种实施例中,各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对实施例的实施过程构成任何限定。
本说明书的各个部分均采用递进的方式进行描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点介绍的都是与其他实施例不同之处。尤其,对于装置和系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例部分的说明即可。
尽管已描述了本申请的可选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
以上所述的具体实施方式,对本申请的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本申请的具体实施方式而已,并不用于限定本申请的保护范围,凡在本申请的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本发明的保护范围之内。
Claims (8)
1.一种全景相机图像传输方法,其特征在于,所述方法包括:
获取至少一个第一全景图像信息,所述第一全景图像信息包括:至少两个图像信息,所述至少两个图像信息中均由预先设置在不同位置的至少两台图像采集设备得到,每个图像信息对应一台图像采集设备;
分别对所述至少一个全景图像信息编码,得到至少一组编码信息,每个第一全景图像信息对应一组编码信息,得到至少一个全景图像帧序号,每个所述全景图像帧序号对应一个全景图像信息,每个所述全景图像帧序号对应一组编码信息,所述全景图像帧序号用于区分全景图像信息;
发送至少一组编码信息至服务器,发送至少一个全景图像帧序号至服务器;
依据预存储在服务器的至少一个参考帧以及与每个参考帧对应的每个编码信息,得到至少一个第二全景图像信息,实现方式包括:图像拼接以及图像配准;
所述第二全景图像信息作为目标全景图像信息用于发送至客户端。
2.根据权利要求1所述的全景相机图像传输方法,其特征在于,在获取至少一个第一全景图像信息之前,所述全景相机图像传输方法还包括:获取至少一个参考全景图像,依据所述至少一个参考全景图像得到至少一个参考帧,每个参考全景图像对应一个参考帧。
3.根据权利要求1所述的全景相机图像传输方法,其特征在于,所述编码信息包括:参考帧的序号、运动矢量以及预测残差。
4.根据权利要求2所述的全景相机图像传输方法,其特征在于,在得到至少一个参考帧之后,获取至少一个第一全景图像信息之前,所述全景相机图像传输方法还包括:发送所有参考帧至服务器,使所述服务器得到所述所有参考帧。
5.根据权利要求2所述的全景相机图像传输方法,其特征在于,所述全景相机图像传输方法还包括:依据预设周期获取至少一个参考全景图像。
6.一种全景相机图像传输装置,其特征在于,所述传输装置包括:
获取模块,用于获取至少一个第一全景图像信息,所述第一全景图像信息包括:至少两个图像信息,所述至少两个图像信息中均由预先设置在不同位置的至少两台图像采集设备得到,每个图像信息对应一台图像采集设备;
编码模块,用于分别对所述至少一个全景图像信息编码,得到至少一组编码信息,每个第一全景图像信息对应一组编码信息,得到至少一个全景图像帧序号,每个所述全景图像帧序号对应一个全景图像信息,每个所述全景图像帧序号对应一组编码信息,所述全景图像帧序号用于区分全景图像信息;
发送模块,用于发送至少一组编码信息至服务器,发送至少一个全景图像帧序号至服务器;
拼接模块,用于依据预存储在服务器的至少一个参考帧以及与每个参考帧对应的每个编码信息,得到至少一个第二全景图像信息,实现方式包括:图像拼接以及图像配准;所述第二全景图像信息作为目标全景图像信息用于发送至客户端。
7.一种电子设备,其特征在于,所述电子设备包括:存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令执行权利要求1-5中任一项所述的方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210742405.7A CN115118882B (zh) | 2022-06-27 | 2022-06-27 | 一种全景相机图像传输方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210742405.7A CN115118882B (zh) | 2022-06-27 | 2022-06-27 | 一种全景相机图像传输方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115118882A CN115118882A (zh) | 2022-09-27 |
CN115118882B true CN115118882B (zh) | 2024-05-03 |
Family
ID=83330575
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210742405.7A Active CN115118882B (zh) | 2022-06-27 | 2022-06-27 | 一种全景相机图像传输方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115118882B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108399600A (zh) * | 2018-02-23 | 2018-08-14 | 清华-伯克利深圳学院筹备办公室 | 一种全景成像系统及方法 |
CN108600769A (zh) * | 2018-04-16 | 2018-09-28 | 西安万像电子科技有限公司 | 图像传输方法、装置及系统 |
CN108650460A (zh) * | 2018-05-10 | 2018-10-12 | 深圳视点创新科技有限公司 | 服务器、全景视频的存储和传输方法和计算机存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9992502B2 (en) * | 2016-01-29 | 2018-06-05 | Gopro, Inc. | Apparatus and methods for video compression using multi-resolution scalable coding |
-
2022
- 2022-06-27 CN CN202210742405.7A patent/CN115118882B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108399600A (zh) * | 2018-02-23 | 2018-08-14 | 清华-伯克利深圳学院筹备办公室 | 一种全景成像系统及方法 |
CN108600769A (zh) * | 2018-04-16 | 2018-09-28 | 西安万像电子科技有限公司 | 图像传输方法、装置及系统 |
CN108650460A (zh) * | 2018-05-10 | 2018-10-12 | 深圳视点创新科技有限公司 | 服务器、全景视频的存储和传输方法和计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115118882A (zh) | 2022-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10931851B2 (en) | Image stitching with electronic rolling shutter correction | |
US10404926B2 (en) | Warp processing for image capture | |
CN111353948B (zh) | 一种图像降噪方法、装置及设备 | |
JP7516675B2 (ja) | ポーズ推定方法及び関連する装置 | |
JP7451576B2 (ja) | ポイントクラウドデータ処理方法及び装置 | |
US11922599B2 (en) | Video super-resolution processing method and apparatus | |
CN114079779B (zh) | 图像处理方法、智能终端及存储介质 | |
JP2017520944A (ja) | 3dラドン画像の生成および使用 | |
CN112270755B (zh) | 三维场景构建方法、装置、存储介质与电子设备 | |
CN115226406A (zh) | 图像生成装置、图像生成方法、记录介质生成方法、学习模型生成装置、学习模型生成方法、学习模型、数据处理装置、数据处理方法、推断方法、电子装置、生成方法、程序和非暂时性计算机可读介质 | |
CN113689372A (zh) | 图像处理方法、设备、存储介质及程序产品 | |
US11620816B1 (en) | Hardware efficient RoI align | |
CN111652933B (zh) | 基于单目相机的重定位方法、装置、存储介质与电子设备 | |
WO2017205597A1 (en) | Image signal processing-based encoding hints for motion estimation | |
CN115118882B (zh) | 一种全景相机图像传输方法、装置及设备 | |
CN112385235A (zh) | 光场编码和解码的预测 | |
CN105357575A (zh) | 一种视频图像处理装置和方法 | |
CN113473084A (zh) | 数据发送方法、数据接收方法及相关终端和存储介质 | |
CN116228607B (zh) | 图像处理方法和电子设备 | |
CN116723264B (zh) | 确定目标位置信息的方法、设备及存储介质 | |
CN116563186B (zh) | 一种基于专用ai感知芯片的实时全景感知系统及方法 | |
CN114979669A (zh) | 成像系统、成像系统操作方法及编码装置 | |
CN118155109A (zh) | 视频处理方法及装置、计算机可读存储介质和电子设备 | |
US10303974B1 (en) | Approximate cross-check for real-time feature matching | |
WO2023113917A1 (en) | Hybrid framework for point cloud compression |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |