CN115426488B - 一种虚拟现实图像数据传输方法、系统及芯片 - Google Patents

一种虚拟现实图像数据传输方法、系统及芯片 Download PDF

Info

Publication number
CN115426488B
CN115426488B CN202211374544.5A CN202211374544A CN115426488B CN 115426488 B CN115426488 B CN 115426488B CN 202211374544 A CN202211374544 A CN 202211374544A CN 115426488 B CN115426488 B CN 115426488B
Authority
CN
China
Prior art keywords
data
user equipment
server
information
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211374544.5A
Other languages
English (en)
Other versions
CN115426488A (zh
Inventor
王嘉诚
张少仲
张栩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongcheng Hualong Computer Technology Co Ltd
Original Assignee
Zhongcheng Hualong Computer Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongcheng Hualong Computer Technology Co Ltd filed Critical Zhongcheng Hualong Computer Technology Co Ltd
Priority to CN202211374544.5A priority Critical patent/CN115426488B/zh
Publication of CN115426488A publication Critical patent/CN115426488A/zh
Application granted granted Critical
Publication of CN115426488B publication Critical patent/CN115426488B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种虚拟现实图像数据传输方法、系统及芯片，涉及图像数据传输领域，其中所述方法包括：用户设备向服务器上报的位姿信息和运动信息；服务器根据运动信息以及位姿数据确定绝对角度范围；服务器将包含绝对角度范围的部分传输指示发送给采集设备；采集设备根据部分传输指示将全景RGB中的部分数据和与全景RGB中的部分数据对应的点云数据上传到服务器；服务器将接收到采集设备上传的数据进行点位匹配和重新压缩后发送给用户设备；用户设备对所述重新压缩的虚拟现实图像数据进行解码后进行显示。通过本发明的方法可以减少虚拟图像数据传输的数据量，减小传输带宽，使得用户在接收和显示虚拟图像时的卡顿情况得到改善，提高了用户体验。

Description

一种虚拟现实图像数据传输方法、系统及芯片
技术领域
本发明属于图像数据传输领域，尤其涉及一种虚拟现实图像数据传输方法、系统及芯片。
背景技术
随着5G和虚拟现实技术的快速发展，数字孪生技术得以运用于各类领域，如在工业领域中，如果一些现场作业环境恶劣的场景下，可以使用数字孪生技术使得检测人员在远端通过虚拟现实设备产生一比一复原的现场作业场景，复合现代设备人们对工作环境不断提升的要求。但虚拟现实图像数据量巨大，当前5G网络仍然无法满足虚拟现实图像实时采集、实时传输、实时显示的应用需求，需要提出一种当前网络情况下，尽量减小传输虚拟现实图像传输数据量的方式。
发明内容
针对上述现有技术中存在的缺陷，本发明提供一种虚拟现实图像数据传输方法，用于采集设备，所述方法包括：
实时采集全景RGB数据和与全景RGB数据对应的点云数据，根据接收的部分传输指示，将全景RGB中的部分数据和与全景RGB中的部分数据对应的点云数据上传到服务器；
其中，所述部分传输指示由服务器发送给采集设备，服务器接收用户设备的位姿信息和运动信息，根据运动信息计算在下一传输时段所需数据的角度范围，以及根据用户设备的位姿数据确定绝对角度范围，服务器将包含所述绝对角度范围的部分传输指示发送给采集设备；
其中，根据运动信息计算在下一传输时段所需数据的角度范围，以及根据用户设备的位姿数据确定绝对角度范围包括，
步骤一，计算下一传输时段所需数据的角度信息
Figure 27383DEST_PATH_IMAGE001
：
Figure 424866DEST_PATH_IMAGE002
，
其中，
Figure 170100DEST_PATH_IMAGE003
为用户设备在当前传输时段的平均角速度信息,当
Figure 248914DEST_PATH_IMAGE004
时为顺时针方向的角速度信息，当
Figure 278050DEST_PATH_IMAGE005
时为逆时针方向的角速度信息，
Figure 315276DEST_PATH_IMAGE006
为用户设备在当前传输时段的平均加速度信息，
Figure 62652DEST_PATH_IMAGE007
为用户设备下一传输时段的时长，其中
Figure 492628DEST_PATH_IMAGE007
为用户从多个预设传输时段时长中选择的并预存在服务器中的本次业务的传输时段时长数值；
步骤二，确定绝对角度R的取值范围：
Figure 376270DEST_PATH_IMAGE008
,
其中，
Figure 787660DEST_PATH_IMAGE009
为用户设备在水平方向上的位姿角度，当用户设备朝向正北时，所述用户设备在水平方向上的位姿角度
Figure 756753DEST_PATH_IMAGE009
取值为0，
Figure 239687DEST_PATH_IMAGE010
为所述用户设备的视角范围，所述用户设备在建立业务连接将所述视角范围上报给所述服务器，由所述服务器进行预存；
其中，所述采集设备接收所述部分传输指示，获取其中的绝对角度范围，结合自身位置和角度信息，确定需要传输数据的部分摄像头，以及所述部分摄像头采集数据角度范围对应的激光雷达数据的采集角度，保存并传输所述部分摄像头的全景RGB数据和对应角度的激光雷达采集的点云数据。
其中，所述采集设备包括6个摄像头，所述6个摄像头安装角度间隔为60度，每个摄像头朝向反延伸线可以汇聚于同一点上；
其中，所述采集设备上安装有360度扫描的激光雷达用于探测，实时采集点云数据。
其中，所述采集设备获取绝对角度范围后，确定需要传输数据的摄像头最少个数，再根据当前每个摄像头对应的绝对角度范围，来确定需要保存传输数据的具体摄像头；
当所述采集设备确定的需要保存传输数据的具体摄像头个数大于所述最小个数时，调整所述采集设备的角度重新确定需要保存传输数据的具体摄像头。
本发明还提出了一种虚拟现实图像数据传输方法，用于服务器，所述方法包括：
服务器根据用户设备上报的位姿信息和运动信息，根据运动信息计算在下一传输时段所需数据的角度范围，以及根据用户设备的位姿数据确定绝对角度范围；服务器将包含所述绝对角度范围的部分传输指示发送给采集设备；用于指示采集设备根据接收的部分传输指示，将全景RGB中的部分数据和与全景RGB中的部分数据对应的点云数据上传到服务器，服务器将接收到采集设备上传的数据进行点位匹配重新压缩后发送给用户设备；
其中，根据运动信息计算在下一传输时段所需数据的角度范围，以及根据用户设备的位姿数据确定绝对角度范围包括，
步骤一，计算下一传输时段所需数据的角度信息
Figure 731498DEST_PATH_IMAGE001
：
Figure 579368DEST_PATH_IMAGE002
，
其中，
Figure 35757DEST_PATH_IMAGE003
为用户设备在当前传输时段的平均角速度信息,当
Figure 56803DEST_PATH_IMAGE004
时为顺时针方向的角速度信息，当
Figure 915037DEST_PATH_IMAGE005
时为逆时针方向的角速度信息，
Figure 933809DEST_PATH_IMAGE006
为用户设备在当前传输时段的平均加速度信息，
Figure 362647DEST_PATH_IMAGE007
为用户设备下一传输时段的时长，其中
Figure 187384DEST_PATH_IMAGE007
为用户从多个预设传输时段时长中选择的并预存在服务器中的本次业务的传输时段时长数值；
步骤二，确定绝对角度R的取值范围：
Figure 900125DEST_PATH_IMAGE011
,
其中，
Figure 89798DEST_PATH_IMAGE009
为用户设备在水平方向上的位姿角度，当用户设备朝向正北时，所述用户设备在水平方向上的位姿角度
Figure 520779DEST_PATH_IMAGE009
取值为0，
Figure 368781DEST_PATH_IMAGE010
为所述用户设备的视角范围，所述用户设备在建立业务连接将自身设备的所述视角范围上报给所述服务器，由所述服务器进行预存；
其中，所述采集设备接收所述部分传输指示，获取其中的绝对角度范围，结合自身位置和角度信息，确定需要传输数据的部分摄像头，以及所述部分摄像头采集数据角度范围对应的激光雷达数据的采集角度，保存并传输所述部分摄像头的全景RGB数据和对应角度的激光雷达采集的点云数据。
其中，服务器根据网络带宽情况和用户设备的处理能力，将采集设备上传的虚拟现实图像信息重新压缩后再发送给用户设备。
本发明还提出了一种虚拟现实图像数据传输方法，用于用户设备，所述方法包括：
用户设备向服务器上报位姿信息和运动信息，服务器根据用户设备的能力信息和带宽情况向用户设备发送重新压缩的虚拟现实图像数据，用户设备对所述重新压缩的虚拟现实图像数据进行解码后进行显示；
其中，所述服务器根据运动信息计算在下一传输时段所需数据的角度范围，以及根据用户设备的位姿数据确定绝对角度范围；服务器将包含所述绝对角度范围的部分传输指示发送给采集设备；用于指示采集设备根据接收的部分传输指示，将全景RGB中的部分数据和与全景RGB中的部分数据对应的点云数据上传到服务器，服务器将接收到采集设备上传的数据重新压缩后发送给用户设备；
其中，根据运动信息计算在下一传输时段所需数据的角度范围，以及根据用户设备的位姿数据确定绝对角度范围包括，
步骤一，计算下一传输时段所需数据的角度信息
Figure 201607DEST_PATH_IMAGE001
：
Figure 358919DEST_PATH_IMAGE002
，
其中，
Figure 214880DEST_PATH_IMAGE003
为用户设备在当前传输时段的平均角速度信息,当
Figure 115840DEST_PATH_IMAGE004
时为顺时针方向的角速度信息，当
Figure 819485DEST_PATH_IMAGE005
时为逆时针方向的角速度信息，
Figure 147698DEST_PATH_IMAGE006
为用户设备在当前传输时段的平均加速度信息，
Figure 490954DEST_PATH_IMAGE007
为用户设备下一传输时段的时长，其中
Figure 930026DEST_PATH_IMAGE007
为用户从多个预设传输时段时长中选择的并预存在服务器中的本次业务的传输时段时长数值；
步骤二，确定绝对角度R的取值范围：
Figure 737445DEST_PATH_IMAGE011
,
其中，
Figure 439822DEST_PATH_IMAGE009
为用户设备在水平方向上的位姿角度，当用户设备朝向正北时，所述用户设备在水平方向上的位姿角度
Figure 814915DEST_PATH_IMAGE009
取值为0，
Figure 57678DEST_PATH_IMAGE010
为所述用户设备的视角范围，所述用户设备在建立业务连接将自身设备的所述视角范围上报给所述服务器，由所述服务器进行预存；
其中，所述采集设备接收所述部分传输指示，获取其中的绝对角度范围，结合自身位置和角度信息，确定需要传输数据的部分摄像头，以及所述部分摄像头采集数据角度范围对应的激光雷达数据的采集角度，保存并传输所述部分摄像头的全景RGB数据和对应角度的激光雷达采集的点云数据。
其中，用户设备基于动传感器和定位模块获取位姿信息和运动信息，所述动传感器包括3D加速度传感器、陀螺仪、地磁传感器。
本发明还提出了一种虚拟现实图像数据传输系统，由采集设备，以及服务器，以及用户设备组成。
本发明还提出了一种虚拟现实图像数据传输芯片，用于执行计算机可读存储介质上的程序实现上述采集设备的功能，或者用于执行计算机可读存储介质上的程序实现上述服务器的功能，或者用于执行计算机可读存储介质上的程序实现上述用户设备的功能。
与现有技术相比，通过本发明的方法使得采集设备可以根据用户设备的运动信息和位姿信息确定需要上传的数据量，并根据用户设备的能力和网络情况重新压缩数据，尽量减少虚拟图像数据传输的数据量，减小传输带宽，使得用户在接收和显示虚拟图像时的卡顿情况得到改善，提高了用户体验。
附图说明
通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：
图1是示出根据本发明实施例的一种虚拟现实图像数据传输方法；
图2是示出根据本发明实施例的一种虚拟现实图像数据传输系统。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测（陈述的条件或事件）”可以被解释成为“当确定时”或“响应于确定”或“当检测（陈述的条件或事件）时”或“响应于检测（陈述的条件或事件）”。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者装置中还存在另外的相同要素。
下面结合附图详细说明本发明的可选实施例。
实施例一、
如图1所示，一种虚拟现实图像数据传输方法，用于采集设备，所述方法包括：
实时采集全景RGB数据和与全景RGB数据对应的点云数据，根据接收的部分传输指示，将全景RGB中的部分数据和与全景RGB中的部分数据对应的点云数据上传到服务器；
在采集设备中，同时通过摄像头获取全景RGB数据和点云数据，经过服务器的处理后可以将对应的点云和RGB点位对应起来，例如通过尺寸不变换特征进行匹配等方式，服务器再将匹配好的数据发送给用户设备，这样在VR用户设备上显示可以同时呈现RGB信息和深度信息，形成虚拟现实场景的图像，可以帮助检测人员准确和真实的获取数字孪生工业场景中的实际情况，做出准确的判断。
其中，所述部分传输指示由服务器发送给采集设备，服务器接收用户设备的位姿信息和运动信息，根据运动信息计算在下一传输时段所需数据的角度范围，以及根据用户设备的位姿数据确定绝对角度范围，服务器将包含所述绝对角度范围的部分传输指示发送给采集设备；
其中，根据运动信息计算在下一传输时段所需数据的角度范围，以及根据用户设备的位姿数据确定绝对角度范围包括，
步骤一，计算下一传输时段所需数据的角度信息
Figure 985182DEST_PATH_IMAGE001
：
Figure 655198DEST_PATH_IMAGE002
，
其中，
Figure 707468DEST_PATH_IMAGE003
为用户设备在当前传输时段的平均角速度信息,当
Figure 504653DEST_PATH_IMAGE004
时为顺时针方向的角速度信息，当
Figure 21085DEST_PATH_IMAGE005
时为逆时针方向的角速度信息，
Figure 862002DEST_PATH_IMAGE006
为用户设备在当前传输时段的平均加速度信息，
Figure 463885DEST_PATH_IMAGE007
为用户设备下一传输时段的时长，其中
Figure 799183DEST_PATH_IMAGE007
为用户从多个预设传输时段时长中选择的并预存在服务器中的本次业务的传输时段时长数值；
步骤二，确定绝对角度R的取值范围：
Figure 373383DEST_PATH_IMAGE011
,
其中，
Figure 385202DEST_PATH_IMAGE009
为用户设备在水平方向上的位姿角度，当用户设备朝向正北时，所述用户设备在水平方向上的位姿角度
Figure 474381DEST_PATH_IMAGE009
取值为0，
Figure 597057DEST_PATH_IMAGE010
为所述用户设备的视角范围，所述用户设备在建立业务连接将自身设备的所述视角范围上报给所述服务器，由所述服务器进行预存；
位姿信息包括水平方向上的角度信息，和仰角信息，本发明中只需要根据水平方向上的位姿信息来确定角度范围即可。
不同的用户设备的视角范围不同，从90度到110度都比较常规，也有其他视角范围的，所以在传输业务初始建立时，用户设备将自身设备的视角范围上传给服务器，服务器对该数据进行存储，便于之后确定传输角度范围。
其中，所述采集设备接收所述部分传输指示，获取其中的绝对角度范围，结合自身位置和角度信息，确定需要传输数据的部分摄像头，以及所述部分摄像头采集数据角度范围对应的激光雷达数据的采集角度，保存并传输所述部分摄像头的全景RGB数据和对应角度的激光雷达采集的点云数据。
一种可选的实施例中，所述采集设备包括6个摄像头，所述6个摄像头安装角度间隔为60度，每个摄像头朝向反延伸线可以汇聚于同一点上；
一种可选的实施例中，所述采集设备上安装有360度扫描的激光雷达用于探测，实时采集点云数据。
一种可选的实施例中，所述采集设备获取绝对角度范围后，确定需要传输数据的摄像头最少个数，再根据当前每个摄像头对应的绝对角度范围，来确定需要保存传输数据的具体摄像头；
当所述采集设备确定的需要保存传输数据的具体摄像头个数大于所述最小个数时，调整所述采集设备的角度重新确定需要保存传输数据的具体摄像头。
举例说明，采集设备上的6个摄像头的角度分别对应0-59,60-119,120-179，180-239,240-299,300 -359,即以60度划分整个360范围，默认情况下，正北方向一般设置成0度方向，角度数值顺时针递增，如果采集设备获得的绝对角度范围为50-189度，绝对角度范围的0度是对应到正北向的，角度数值顺时针递增，绝对角度范围为140度，140/60=2.33,采集设备确定需要最少三个摄像头即可采集到140度范围，但是假设当前采集设备位于默认方向上，即采集设备自身的0度位置对应于正北向的时候，需要调用0-59,60-119,120-179，180-239四个摄像头才可以获得50-189度的数据，此时可以将采集设备顺时针转动10度，使得通过三个摄像头的采集数据即可完成对应角度范围的数据采集。
通过本发明的方法使得采集设备可以根据用户设备的运动信息和位姿信息确定需要上传的数据量，并根据用户设备的能力和网络情况重新压缩数据，尽量减少虚拟图像数据传输的数据量，减小传输带宽，使得用户在接收和显示虚拟图像时的卡顿情况得到改善，提高了用户体验。
实施例二、
如图1所示，本发明提出的一种虚拟现实图像数据传输方法，用于服务器，所述方法包括：
服务器接收用户设备上报的位姿信息和运动信息，根据运动信息计算在下一传输时段所需数据的角度范围，以及根据用户设备的位姿数据确定绝对角度范围；服务器将包含所述绝对角度范围的部分传输指示发送给采集设备；用于指示采集设备根据接收的部分传输指示，将全景RGB中的部分数据和与全景RGB中的部分数据对应的点云数据上传到服务器，服务器将接收到采集设备上传的数据进行点位匹配和重新压缩后发送给用户设备；
其中，根据运动信息计算在下一传输时段所需数据的角度范围，以及根据用户设备的位姿数据确定绝对角度范围包括，
步骤一，计算下一传输时段所需数据的角度信息
Figure 838814DEST_PATH_IMAGE001
：
Figure 287113DEST_PATH_IMAGE002
，
其中，
Figure 598008DEST_PATH_IMAGE003
为用户设备在当前传输时段的平均角速度信息,当
Figure 727638DEST_PATH_IMAGE004
时为顺时针方向的角速度信息，当
Figure 73169DEST_PATH_IMAGE005
时为逆时针方向的角速度信息，
Figure 192171DEST_PATH_IMAGE006
为用户设备在当前传输时段的平均加速度信息，
Figure 255942DEST_PATH_IMAGE007
为用户设备下一传输时段的时长，其中
Figure 189263DEST_PATH_IMAGE007
为用户从多个预设传输时段时长中选择的并预存在服务器中的本次业务的传输时段时长数值；
步骤二，确定绝对角度R的取值范围：
Figure 389300DEST_PATH_IMAGE011
,
其中，
Figure 913822DEST_PATH_IMAGE009
为用户设备在水平方向上的位姿角度，当用户设备朝向正北时，所述用户设备在水平方向上的位姿角度
Figure 215622DEST_PATH_IMAGE009
取值为0，
Figure 952634DEST_PATH_IMAGE010
为所述用户设备的视角范围，所述用户设备在建立业务连接将自身设备的所述视角范围上报给所述服务器，由所述服务器进行预存；
其中，所述采集设备接收所述部分传输指示，获取其中的绝对角度范围，结合自身位置和角度信息，确定需要传输数据的部分摄像头，以及所述部分摄像头采集数据角度范围对应的激光雷达数据的采集角度，保存并传输所述部分摄像头的全景RGB数据和对应角度的激光雷达采集的点云数据。
服务器根据角速度变化，可以预测用户在接下来的一个传输时间段可能需要的数据角度范围，因为一个传输时间段时间较短，而且在工业检测场景下，检测人员通常不会进行大幅度扭头、转动，突然转头等操作，一般会缓慢运动使得观察结果更加准确，且在佩戴VR设备的情况下，大幅度切换图像也会造成眩晕等不适，在场景视野比较开阔的情况下，检测人员一般也不会大幅度左右运动等动作，减少自己的不适，基于这些应用和设备特点，使得服务器对数据传输的角度预测也是相对可靠的。
一种可选的实施例中，服务器根据网络带宽情况和用户设备的处理能力，将采集设备上传的虚拟现实图像信息重新压缩后再发送给用户设备。
服务器对上传的RGB图像点位和点云图进行匹配可以采用尺度不变换特征进行特征点提取后，匹配点线结构进行对应特征点匹配。
例如，当带宽情况不太理想时，服务器对上传的RGB图像点位和点云图进行匹配后，再传输给用户设备进行的压缩时，可以将数据量压缩得更小，减小网络情况不佳的影响。并且压缩数据时需要考虑用户设备的能力情况，向用于设备传输等于或低于其能力处理上限的数据包，避免造成用户设备的图像卡顿、延迟高、发烫等情况。
通过本发明的方法使得采集设备可以根据用户设备的运动信息和位姿信息确定需要上传的数据量，并根据用户设备的能力和网络情况重新压缩数据，尽量减少虚拟图像数据传输的数据量，减小传输带宽，使得用户在接收和显示虚拟图像时的卡顿情况得到改善，提高了用户体验。
实施例三、
如图1所示，本发明提出的一种虚拟现实图像数据传输方法，用于用户设备，所述方法包括：
用户设备向服务器上报位姿信息和运动信息，服务器根据用户设备的能力信息和带宽情况向用户设备发送重新压缩的虚拟现实图像数据，用户设备对所述重新压缩的虚拟现实图像数据进行解码后进行显示；
其中，所述服务器根据运动信息计算在下一传输时段所需数据的角度范围，以及根据用户设备的位姿数据确定绝对角度范围；服务器将包含所述绝对角度范围的部分传输指示发送给采集设备；用于指示采集设备根据接收的部分传输指示，将全景RGB中的部分数据和与全景RGB中的部分数据对应的点云数据上传到服务器，服务器将接收到采集设备上传的数据重新压缩后发送给用户设备；
其中，根据运动信息计算在下一传输时段所需数据的角度范围，以及根据用户设备的位姿数据确定绝对角度范围包括，
步骤一，计算下一传输时段所需数据的角度信息
Figure 7177DEST_PATH_IMAGE001
：
Figure 702601DEST_PATH_IMAGE002
，
其中，
Figure 740964DEST_PATH_IMAGE003
为用户设备在当前传输时段的平均角速度信息,当
Figure 563558DEST_PATH_IMAGE004
时为顺时针方向的角速度信息，当
Figure 472608DEST_PATH_IMAGE005
时为逆时针方向的角速度信息，
Figure 807774DEST_PATH_IMAGE006
为用户设备在当前传输时段的平均加速度信息，
Figure 802275DEST_PATH_IMAGE007
为用户设备下一传输时段的时长，其中
Figure 677827DEST_PATH_IMAGE007
为用户从多个预设传输时段时长中选择的并预存在服务器中的本次业务的传输时段时长数值；
步骤二，确定绝对角度R的取值范围：
Figure 457695DEST_PATH_IMAGE011
,
其中，
Figure 760501DEST_PATH_IMAGE009
为用户设备在水平方向上的位姿角度，当用户设备朝向正北时，所述用户设备在水平方向上的位姿角度
Figure 445560DEST_PATH_IMAGE009
取值为0，
Figure 124803DEST_PATH_IMAGE010
为所述用户设备的视角范围，所述用户设备在建立业务连接将自身设备的所述视角范围上报给所述服务器，由所述服务器进行预存；
其中，所述采集设备接收所述部分传输指示，获取其中的绝对角度范围，结合自身位置和角度信息，确定需要传输数据的部分摄像头，以及所述部分摄像头采集数据角度范围对应的激光雷达数据的采集角度，保存并传输所述部分摄像头的全景RGB数据和对应角度的激光雷达采集的点云数据。
一种可选的实施例中，用户设备基于动传感器和定位模块获取位姿信息和运动信息，所述动传感器包括3D加速度传感器、陀螺仪、地磁传感器。
一种可选的实施例中，用户设备可以是VR设备，或者XR设备。
通过本发明的方法使得采集设备可以根据用户设备的运动信息和位姿信息确定需要上传的数据量，并根据用户设备的能力和网络情况重新压缩数据，尽量减少虚拟图像数据传输的数据量，减小传输带宽，使得用户在接收和显示虚拟图像时的卡顿情况得到改善，提高了用户体验。
实施例四、
如图2所示，本发明提出的一种虚拟现实图像数据传输系统，由采集设备，以及服务器，以及用户设备组成。
由服务器根据用户设备的运动信息和位姿信息计算获得绝对角度信息，将指令发送给采集设备，指示采集设备进行对应的采集数据保存和上传，再重新压缩后转发给用户设备。
实施例五、
本发明还提出了一种虚拟现实图像数据传输芯片，用于执行计算机可读存储介质上的程序实现上述采集设备的功能，或者用于执行计算机可读存储介质上的程序实现上述服务器的功能，或者用于执行计算机可读存储介质上的程序实现上述用户设备的功能。
所述芯片可以是处理器芯片、DSP芯片、FPGA芯片、AD/DA芯片或者是其他可用于数据处理的芯片，也包括配合数据处理的存储器芯片。处理器执行存储介质上的指令或者数据可以实现的各类功能，需要说明的是，计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF（射频）等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。
以上介绍了本发明的较佳实施方式，旨在使得本发明的精神更加清楚和便于理解，并不是为了限制本发明，凡在本发明的精神和原则之内，所做的修改、替换、改进，均应包含在本发明所附的权利要求概括的保护范围之内。

Claims (9)

1.一种虚拟现实图像数据传输方法，用于采集设备，所述方法包括：
实时采集全景RGB数据和与全景RGB数据对应的点云数据，根据接收的部分传输指示，将全景RGB中的部分数据和与全景RGB中的部分数据对应的点云数据上传到服务器；
其中，所述部分传输指示由服务器发送给采集设备，服务器接收用户设备的位姿信息和运动信息，根据运动信息计算在下一传输时段所需数据的角度范围，以及根据用户设备的位姿数据确定绝对角度范围，服务器将包含所述绝对角度范围的部分传输指示发送给采集设备；
其中，根据运动信息计算在下一传输时段所需数据的角度范围，以及根据用户设备的位姿数据确定绝对角度范围包括，
步骤一，计算下一传输时段所需数据的角度信息
Figure 318385DEST_PATH_IMAGE001
：
Figure 960719DEST_PATH_IMAGE002
，
其中，
Figure 440242DEST_PATH_IMAGE003
为用户设备在当前传输时段的平均角速度信息，当
Figure 142619DEST_PATH_IMAGE004
时为顺时针方向的角速度信息，当
Figure 707592DEST_PATH_IMAGE005
时为逆时针方向的角速度信息，
Figure 174125DEST_PATH_IMAGE006
为用户设备在当前传输时段的平均加速度信息，
Figure 508154DEST_PATH_IMAGE007
为用户设备下一传输时段的时长，其中
Figure 381432DEST_PATH_IMAGE007
为用户从多个预设传输时段时长中选择的并预存在服务器中的本次业务的传输时段时长数值；
步骤二，确定绝对角度R的取值范围：
Figure 433702DEST_PATH_IMAGE008
，
其中，
Figure 417839DEST_PATH_IMAGE009
为用户设备在水平方向上的位姿角度，当用户设备朝向正北时，所述用户设备在水平方向上的位姿角度
Figure 137533DEST_PATH_IMAGE009
取值为0，
Figure 916133DEST_PATH_IMAGE010
为所述用户设备的视角范围，所述用户设备在建立业务连接将所述视角范围上报给所述服务器，由所述服务器进行预存；
其中，所述采集设备接收所述部分传输指示，获取其中的绝对角度范围，结合自身位置和角度信息，确定需要传输数据的部分摄像头，以及所述部分摄像头采集数据角度范围对应的激光雷达数据的采集角度，保存并传输所述部分摄像头的全景RGB数据和对应角度的激光雷达采集的点云数据。
2.如权利要求1所述的方法，其特征在于，
所述采集设备包括6个摄像头，所述6个摄像头安装角度间隔为60度，每个摄像头朝向反延伸线可以汇聚于同一点上。
3.如权利要求1所述的方法，其特征在于，
所述采集设备上安装有360度扫描的激光雷达用于探测，实时采集点云数据。
4.如权利要求1所述的方法，其特征在于，
所述采集设备获取绝对角度范围后，确定需要传输数据的摄像头最少个数，再根据当前每个摄像头对应的绝对角度范围，来确定需要保存传输数据的具体摄像头；
当所述采集设备确定的需要保存传输数据的具体摄像头个数大于所述最少个数时，调整所述采集设备的角度重新确定需要保存传输数据的具体摄像头。
5.一种虚拟现实图像数据传输方法，用于服务器，所述方法包括：
服务器根据用户设备上报的位姿信息和运动信息，根据运动信息计算在下一传输时段所需数据的角度范围，以及根据用户设备的位姿数据确定绝对角度范围；服务器将包含所述绝对角度范围的部分传输指示发送给采集设备；用于指示采集设备根据接收的部分传输指示，将全景RGB中的部分数据和与全景RGB中的部分数据对应的点云数据上传到服务器，服务器将接收到采集设备上传的数据进行点位匹配和重新压缩后发送给用户设备；
其中，根据运动信息计算在下一传输时段所需数据的角度范围，以及根据用户设备的位姿数据确定绝对角度范围包括，
步骤一，计算下一传输时段所需数据的角度信息
Figure 721278DEST_PATH_IMAGE001
：
Figure 243526DEST_PATH_IMAGE011
，
其中，
Figure 817727DEST_PATH_IMAGE003
为用户设备在当前传输时段的平均角速度信息，当
Figure 767228DEST_PATH_IMAGE004
时为顺时针方向的角速度信息，当
Figure 794090DEST_PATH_IMAGE005
时为逆时针方向的角速度信息，
Figure 120029DEST_PATH_IMAGE006
为用户设备在当前传输时段的平均加速度信息，
Figure 548737DEST_PATH_IMAGE007
为用户设备下一传输时段的时长，其中
Figure 403560DEST_PATH_IMAGE007
为用户从多个预设传输时段时长中选择的并预存在服务器中的本次业务的传输时段时长数值；
步骤二，确定绝对角度R的取值范围：
Figure 917718DEST_PATH_IMAGE012
，
其中，
Figure 47348DEST_PATH_IMAGE009
为用户设备在水平方向上的位姿角度，当用户设备朝向正北时，所述用户设备在水平方向上的位姿角度
Figure 64983DEST_PATH_IMAGE009
取值为0，
Figure 887445DEST_PATH_IMAGE010
为所述用户设备的视角范围，所述用户设备在建立业务连接将所述视角范围上报给所述服务器，由所述服务器进行预存；
其中，所述采集设备接收所述部分传输指示，获取其中的绝对角度范围，结合自身位置和角度信息，确定需要传输数据的部分摄像头，以及所述部分摄像头采集数据角度范围对应的激光雷达数据的采集角度，保存并传输所述部分摄像头的全景RGB数据和对应角度的激光雷达采集的点云数据。
6.如权利要求5所述的方法，其特征在于，服务器根据网络带宽情况和用户设备的处理能力，将采集设备上传的虚拟现实图像信息重新压缩后再发送给用户设备。
7.一种虚拟现实图像数据传输方法，用于用户设备，所述方法包括：
用户设备向服务器上报位姿信息和运动信息，服务器根据用户设备的能力信息和带宽情况向用户设备发送重新压缩的虚拟现实图像数据，用户设备对所述重新压缩的虚拟现实图像数据进行解码后进行显示；
其中，所述服务器根据运动信息计算在下一传输时段所需数据的角度范围，以及根据用户设备的位姿数据确定绝对角度范围；服务器将包含所述绝对角度范围的部分传输指示发送给采集设备；用于指示采集设备根据接收的部分传输指示，将全景RGB中的部分数据和与全景RGB中的部分数据对应的点云数据上传到服务器，服务器将接收到采集设备上传的数据重新压缩后发送给用户设备；
其中，根据运动信息计算在下一传输时段所需数据的角度范围，以及根据用户设备的位姿数据确定绝对角度范围包括，
步骤一，计算下一传输时段所需数据的角度信息
Figure 623320DEST_PATH_IMAGE001
：
Figure 288132DEST_PATH_IMAGE013
，
其中，
Figure 160273DEST_PATH_IMAGE003
为用户设备在当前传输时段的平均角速度信息，当
Figure 153637DEST_PATH_IMAGE004
时为顺时针方向的角速度信息，当
Figure 376808DEST_PATH_IMAGE005
时为逆时针方向的角速度信息，
Figure 848241DEST_PATH_IMAGE006
为用户设备在当前传输时段的平均加速度信息，
Figure 106047DEST_PATH_IMAGE007
为用户设备下一传输时段的时长，其中
Figure 4732DEST_PATH_IMAGE007
为用户从多个预设传输时段时长中选择的并预存在服务器中的本次业务的传输时段时长数值；
步骤二，确定绝对角度R的取值范围：
Figure 715200DEST_PATH_IMAGE012
，
其中，
Figure 724744DEST_PATH_IMAGE009
为用户设备在水平方向上的位姿角度，当用户设备朝向正北时，所述用户设备在水平方向上的位姿角度
Figure 102636DEST_PATH_IMAGE009
取值为0，
Figure 906644DEST_PATH_IMAGE010
为所述用户设备的视角范围，所述用户设备在建立业务连接将所述视角范围上报给所述服务器，由所述服务器进行预存；
其中，所述采集设备接收所述部分传输指示，获取其中的绝对角度范围，结合自身位置和角度信息，确定需要传输数据的部分摄像头，以及所述部分摄像头采集数据角度范围对应的激光雷达数据的采集角度，保存并传输所述部分摄像头的全景RGB数据和对应角度的激光雷达采集的点云数据。
8.如权利要求7所述的方法，其特征在于，用户设备基于动传感器和定位模块获取位姿信息和运动信息，所述动传感器包括3D加速度传感器、陀螺仪、地磁传感器。
9.一种虚拟现实图像数据传输系统，由用于执行权利要求1-3中任一项方法所述的采集设备，以及用于执行权利要求4-6任一项方法所述的服务器，以及用于执行权利要求7-8任一项方法所述的用户设备组成。
CN202211374544.5A 2022-11-04 2022-11-04 一种虚拟现实图像数据传输方法、系统及芯片 Active CN115426488B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211374544.5A CN115426488B (zh) 2022-11-04 2022-11-04 一种虚拟现实图像数据传输方法、系统及芯片

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211374544.5A CN115426488B (zh) 2022-11-04 2022-11-04 一种虚拟现实图像数据传输方法、系统及芯片

Publications (2)

Publication Number Publication Date
CN115426488A CN115426488A (zh) 2022-12-02
CN115426488B true CN115426488B (zh) 2023-01-10

Family

ID=84207947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211374544.5A Active CN115426488B (zh) 2022-11-04 2022-11-04 一种虚拟现实图像数据传输方法、系统及芯片

Country Status (1)

Country Link
CN (1) CN115426488B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109801358A (zh) * 2018-12-06 2019-05-24 宁波市电力设计院有限公司 一种基于slam扫描和点云影像融合的变电站三维勘测方法
CN110634190A (zh) * 2019-09-24 2019-12-31 赵岩 一种远程摄像vr体验系统
CN112073640A (zh) * 2020-09-15 2020-12-11 贝壳技术有限公司 全景信息采集位姿获取方法及装置、系统
CN112634318A (zh) * 2020-12-31 2021-04-09 中国海洋大学 一种水下维修机器人的遥操作系统和方法
CN113570721A (zh) * 2021-09-27 2021-10-29 贝壳技术有限公司 三维空间模型的重建方法、装置和存储介质
CN114322828A (zh) * 2021-12-15 2022-04-12 云南昆钢电子信息科技有限公司 一种基于激光雷达扫描角度切换的点云采样系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111857329B (zh) * 2020-05-26 2022-04-26 北京航空航天大学 注视点计算方法、装置及设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109801358A (zh) * 2018-12-06 2019-05-24 宁波市电力设计院有限公司 一种基于slam扫描和点云影像融合的变电站三维勘测方法
CN110634190A (zh) * 2019-09-24 2019-12-31 赵岩 一种远程摄像vr体验系统
CN112073640A (zh) * 2020-09-15 2020-12-11 贝壳技术有限公司 全景信息采集位姿获取方法及装置、系统
CN112634318A (zh) * 2020-12-31 2021-04-09 中国海洋大学 一种水下维修机器人的遥操作系统和方法
CN113570721A (zh) * 2021-09-27 2021-10-29 贝壳技术有限公司 三维空间模型的重建方法、装置和存储介质
CN114322828A (zh) * 2021-12-15 2022-04-12 云南昆钢电子信息科技有限公司 一种基于激光雷达扫描角度切换的点云采样系统及方法

Also Published As

Publication number Publication date
CN115426488A (zh) 2022-12-02

Similar Documents

Publication Publication Date Title
US6762789B1 (en) Omnidirectional video output method and apparatus
US9794518B2 (en) Method and system for converting privacy zone planar images to their corresponding pan/tilt coordinates
KR20140053885A (ko) 모바일 컴퓨팅 디바이스에서의 파노라마 비디오 이미징을 위한 장치 및 방법
US8175332B2 (en) Upper troposphere and lower stratosphere wind direction, speed, and turbidity monitoring using digital imaging and motion tracking
US8983121B2 (en) Image processing apparatus and method thereof
EP3629309A2 (en) Drone real-time interactive communications system
US20090303351A1 (en) Dynamic image display method, dynamic image display system, and wide-angle dynamic image capturing device
WO2017169369A1 (ja) 情報処理装置、情報処理方法、プログラム
JPH11510342A (ja) 移動部品を用いないカメラを用いた画像分割、画像形成および処理装置と方法
JP2002259985A (ja) 画像監視方法、画像監視装置及び記憶媒体
CN113056904A (zh) 图像传输方法、可移动平台及计算机可读存储介质
WO2021035756A1 (zh) 基于飞行器的巡检方法、设备及存储介质
US10447926B1 (en) Motion estimation based video compression and encoding
KR100961719B1 (ko) 지리정보 시스템을 이용한 카메라 위치제어 방법 및 장치
CN113992860B (zh) 基于云边协同的行为识别方法、装置、电子设备和介质
CN115442637A (zh) 直播特效渲染方法、装置、设备、可读存储介质及产品
CN115426488B (zh) 一种虚拟现实图像数据传输方法、系统及芯片
JP2020178237A (ja) 映像処理装置、映像処理方法及び映像処理プログラム
US11102448B2 (en) Image capturing apparatus, image processing system, image processing method, and recording medium
CN109688381B (zh) Vr监控方法、装置、设备及存储介质
KR102149277B1 (ko) 촬영된 영상에 관한 데이터 프로토콜을 설정하는 단말기 및 방법
US20220269397A1 (en) Systems and methods for interactive maps
JP4680087B2 (ja) 画像伝送装置
JP2000209569A (ja) 遠隔監視装置および遠隔監視方法ならびに遠隔監視システム
JP4333255B2 (ja) 監視装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant