CN115695441A - 基于p2p技术的三维人体虚拟社交系统及方法 - Google Patents
基于p2p技术的三维人体虚拟社交系统及方法 Download PDFInfo
- Publication number
- CN115695441A CN115695441A CN202211183895.8A CN202211183895A CN115695441A CN 115695441 A CN115695441 A CN 115695441A CN 202211183895 A CN202211183895 A CN 202211183895A CN 115695441 A CN115695441 A CN 115695441A
- Authority
- CN
- China
- Prior art keywords
- rgb
- user
- data
- module
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000005516 engineering process Methods 0.000 title claims abstract description 22
- 230000011664 signaling Effects 0.000 claims abstract description 66
- 230000005540 biological transmission Effects 0.000 claims abstract description 23
- 238000012546 transfer Methods 0.000 claims description 79
- 239000011159 matrix material Substances 0.000 claims description 77
- 239000003999 initiator Substances 0.000 claims description 24
- 230000001360 synchronised effect Effects 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 7
- 238000007906 compression Methods 0.000 description 11
- 230000006835 compression Effects 0.000 description 11
- 230000007547 defect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000002245 particle Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000003997 social interaction Effects 0.000 description 2
- 206010033799 Paralysis Diseases 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009365 direct transmission Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开一种基于P2P技术的三维人体虚拟社交系统及方法，其技术方案为：采用去中心化的P2P的传输架构，通过一台信令服务器对用户进行两两间的端到端管道连接，将原本集中在云端的实际计算任务分离至各个端到端连接之中，实现了节点计算量和用户数的解耦；端到端连接管道采用WebRTC技术和抗噪声编码技术以流的方式传输实际数据。本发明解决了集中式架构无法用于成千上万大规模用户并且不够稳定的问题，保证数据质量的同时实现实时性传输，基于流传输的方式保证用户数据无法被监听和篡改，隐私不会遭到泄露。
Description
技术领域
本发明涉及图像处理技术领域，更进一步涉及虚拟现实社交实现技术领域中的一种基于P2P技术的三维人体虚拟社交系统及方法。本发明可以实现VR、MR虚拟环境下多个网络用户的任意两两端到端连接、实时重建并显示对方的三维完整人体和音频等信息。
背景技术
相比静态的文字和图片，音视频系统是更让用户有代入感和沉浸式的信息展示形式。音视频模式社交能够实现“更快拉近彼此距离”的交友模式，可以让彼此迅速了解。互动性更强，便捷的会话发起，更即时的回复，更畅快的沟通，更私密的社交圈子。音视频模式社交更加人性化，社交性更强，并且具备更强的服务性。但音视频交互并不能充分利用VR、MR软硬件的能力，无法给处于VR、MR环境中的用户提供更沉浸式、信息更充分的交互体验。随着VR、MR的日渐发展，越来越多的人购买VR、MR设备沉浸入VR、MR虚拟世界中，但是由于有限的网络带宽限制，一般要么只提供普通的消息收发能力或者提供二维的网络音视频通话功能，VR、MR环境中一直没有一款能充分挖掘VR、MR软硬件能力的真正的实时展示三维人体数据的远程社交系统。WebRTC是Google发起的一个免费的开源项目，WebRTC的目标是通过定义一系列可以在不同设备上运行的WebRTC API，为移动应用程序和Web浏览器提供实时通信能力。WebRTC实现了浏览器之间建立直接的端到端对等通信，在不安装额外的插件或特定的本地应用程序的条件下，音频和视频的传输可以在两端直接进行。
电子科技大学在其申请的专利文献“一种基于实时人体三维重建的VR社交系统及其方法”(专利申请号CN201710375619.4，申请公布号CN 107194964 A)中公开了一种基于实时人体三维重建的VR社交系统及其方法。该专利申请公开的系统采用的是中心式架构包括终端和云端模块。终端，用于三维场景选择、在区域内采集用户未带头显时的人体离线编码数据、在区域内实时采集人体编码数据和显示融合场景的三维人体以及同步接收由所述云端打包输出关于配准实时三维人体和三维场景的融合数据流。所述云端，离线解码分类人体离线编码数据、由解码分类得到的离线数据重建三维人体模型且在三维人体模型中获得脸部三维坐标范围；还同步接收由所述终端采集的人体编码数据和定位数据、解码分类人体编码数据、由解码分类得到的实时数据重建实时三维人体、由三维人体模型脸部配准并替换实时三维人体脸部且由定位数据导入配准的实时三维人体至选择指令对应的三维场景。该系统存在的不足之处是，采用的是中心式架构，所有终端对应到一个云端，这种架构将所有计算放在云端，对于云端的性能要求特别高，而且随着用户数量的增长对云端的性能要求会呈现指数性增长，无法用于成千上万地大规模用户。此外稳定也不够，一旦中心节点出现故障或网络状况差等问题，直接会对所有终端用户产生影响导致系统瘫痪。该专利申请公开的方法的实现步骤是，终端获取三维场景点云、三维人体模型重建，保存传感器相机内参、传感器之间的位置转换矩阵，并对数据使用自主编码解码的方式进行数据压缩编码，然后将数据同步传输到云端，在云端完成数据解码后对三维场景和三维人体进行重建并计算实时人体位姿，接着把云端处理后的数据发送给终端，并在终端中显示。该方法存在的不足之处是，采用的是自主编码解码的方式进行数据压缩，但是解码和编码本身就有时间开销，对于完整人体三维数据这种每秒上千万字节的数据根本无法做到实时性，并且用户视角的计算等处理也是在云端进行的这也加重了实时性的困难。除此之外，由于需要在云端进行中间处理，所以需要在云端存储终端用户数据，这会带来安全性和隐私性问题，一旦云端被黑客入侵或监听，所有终端的数据全部都会被盗取或篡改，隐私遭到泄露。
发明内容
本发明技术的目的在于针对现有技术的不足，提出一种基于P2P技术的三维人体虚拟社交系统及方法，旨在解决现有技术无法用于成千上万地大规模用户，大量处理放到云端导致系统无法做到实时性，采用中心式架构导致一旦云端出现故障直接会对所有终端用户产生影响导致系统瘫痪，以及用户数据存在被盗取或篡改、隐私遭到泄露问题。
为实现上述目的，本发明的具体思路是：由于本发明采用去中心化的端到端的传输架构，用一个信令服务器对用户进行两两间的端到端管道连接，信令服务器只用于创建两两用户间的端到端管道连接，将原本集中在云端的实际计算任务分离至各个端到端连接之中，实现了节点计算量和用户数的解耦，解决了集中式架构因云端复杂度会随用户数呈指数关系而无法用于成千上万大规模用户的问题。本发明的各个连接管道之间是相互独立的，任意一对两两用户连接管道断线或延时等都不会对其他的两两用户连接管道产生影响，从而提升了整个系统的稳定性。端到端连接管道采用WebRTC技术传输实际数据，利用WebRTC的高压缩率实现了完整三维人体数据这种超大数据量的实时性传输。通过WebRTC的流媒体传输特性，数据只会在管道中的各个节点之间以流的方式流动传输而不会被缓存记录下来，使得用户数据无法被监听和篡改，隐私不会遭到泄露。
为实现上述目的，本发明的系统包括用户寻呼模块，端到端管道建立模块，数据采集模块，端到端管道传输模块和数据显示模块：
所述用户寻呼模块，用于使用MD5算法对每个请求注册的用户信息进行加密，并将每个加密后的用户信息存入数据库中；为每个加密后的用户信息生成一一对应的8位的寻呼号作为该用户的身份标识符，将加密后的用户信息与其身份标识符组成该用户的映射关系加入到寻呼模块中的用户列表中；寻呼模块向对端用户进行寻呼，判断对端用户是否为符合连接条件的用户，若为符合连接条件的用户，用户发起方与信令服务器建立WebSocket连接，将寻呼号和请求连接命令一起发送给信令服务器；信令服务器接收到请求连接命令后，根据寻呼号在信令服务器内部的用户列表中查找对端用户的IP地址；如果查找不到此寻呼号对应的对端用户的IP地址，信令服务器通知用户发起方无效寻呼号；否则，信令服务器向该IP地址处发起网络连接请求；信令服务器判断对端用户属于不可连接用户后，通知用户发起方无法连接；否则，为双方用户交换SDP描述信息；根据SDP描述信息判断双方设备情况是否符合端到端管道连接要求，若符合端到端管道连接要求，为双方建立端到端管道连接后，双方用户断开与信令服务器的网络连接，只保留用户发起方和对端用户间的端到端管道连接，否则，通知用户发起方端到端管道连接建立失败；若不为符合连接条件的用户，寻呼模块通知寻呼用户连接失败并显示连接失败原因；
所述数据采集模块，通过每台RGB-D相机采集人体对应部位数据，输出按时间同步后的彩色数据流和深度数据流；利用颜色对齐变换公式，将每台RGB-D相机输出的按时间同步后的彩色数据流中的每一帧RGB图像变换到对应时刻的深度图像；采用YUV420p方式，对RGB图像进行压缩编码；对深度图像中的16比特的深度数据，按照低位扩充抗噪声编码的方式进行编码，形成24比特的抗噪声编码深度数据；将所有RGB-D相机生成的已编码YUV数据流和已编码深度数据图像排列成混合数据帧后，通过端到端连接管道发送到对端用户；
所述数据显示模块，从端到端连接管道接收混合数据帧，从混合数据帧中分离出各RGB-D相机的已编码YUV图像数据和已编码深度图像数据；对已编码YUV图像数据和已编码深度图像数据进行解码，生成解码后的RGB图像和深度图像；对深度图像使用深度相机的内参矩阵进行二维到三维的反投影变换，生成三维空间中的点云数据，从对齐后的RGB图像中读取对应的R、G、B数值对点云数据进行渲染；将每台RGB-D相机的三维空间点使用转移参数矩阵O1,j变换到基准相机的深度模块坐标系下的三维空间点，形成完整的三维空间点云。
本发明方法的具体步骤包括如下：
步骤1，用户向寻呼服务器模块注册信息：
步骤1.1，寻呼模块使用MD5算法对每个请求注册的用户信息进行加密，并将每个加密后的用户信息存入数据库中；
步骤1.2，寻呼模块为每个加密后的用户信息生成一一对应的8位的寻呼号作为该用户的身份标识符，将加密后的用户信息与其身份标识符组成该用户的映射关系加入到寻呼模块中的用户列表中；
步骤2，生成转移参数矩阵：
步骤2.1，使用至少6台RGB-D相机摆放于人体四周，随机选定一台作为基准相机，以基准点开始按逆时针逐层向上依次对其余RGB-D相机进行编号；
步骤2.2，对每个两两相邻的RGB-D相机中的RGB模块进行相机标定，得到平移参数矩阵和旋转参数矩阵，将它们组合成转移参数矩阵；
步骤2.3，计算两两相邻的RGB-D相机中Depth模块间的转移参数矩阵；
步骤2.4，计算每台RGB-D相机中的Depth模块与基准点RGB-D相机中的Depth模块间的转移参数矩阵；
步骤3，建立端到端管道：
步骤3.1，寻呼模块向对端用户进行寻呼，判断对端用户是否为符合条件的用户，若是，则执行步骤3.2，否则，执行步骤3.3；
步骤3.2，寻呼模块为双方建立端到端管道连接，其步骤如下：
步骤3.2.1，用户发起方与信令服务器建立WebSocket连接，将寻呼号和请求连接命令一起发送给信令服务器；
步骤3.2.2，信令服务器接收到请求连接命令后，根据寻呼号在信令服务器内部的用户列表中查找对端用户的IP地址；如果查找不到此寻呼号对应的对端用户的IP地址，信令服务器通知用户发起方无效寻呼号；否则，信令服务器向该IP地址处发起网络连接请求；
步骤3.2.3，信令服务器判断对端用户是否属于不可连接用户，若是，则信令服务器通知用户发起方无法连接；否则，执行步骤3.2.4；
步骤3.2.4，寻呼模块为双方用户交换SDP描述信息；
步骤3.2.5，寻呼模块根据SDP描述信息判断双方设备情况是否符合端到端管道连接要求，若是，寻呼模块为双方建立端到端管道连接后执行步骤3.2.6，否则，寻呼模块通知用户发起方端到端管道连接建立失败；
步骤3.2.6，双方用户断开与信令服务器的网络连接，只保留用户发起方和对端用户间的端到端管道连接；
步骤3.3，寻呼模块通知寻呼用户连接失败并显示连接失败原因；
步骤4，交换转移参数矩阵：
步骤4.1，自定义用于承载转移参数矩阵的数据结构Transfer；
步骤4.2，将转移参数矩阵中的元素值进行类型转换后赋值到Transfer对象的data数组中的对应位置；
步骤4.3，将赋值后的Transfer对象序列化为二进制的字节数组，通过端对端连接管道将二进制的字节数组发送到对端用户；
步骤4.4，将接收到的二进制字节数组反序列化成Transfer对象；
步骤4.5，根据Transfer对象中的data数组恢复出转移参数矩阵；
步骤5，发送处理后的数据：
步骤5.1，数据采集模块通过每台RGB-D相机采集人体对应部位数据，输出按时间同步后的彩色数据流和深度数据流；
步骤5.2，利用颜色对齐变换公式，将每台RGB-D相机输出的按时间同步后的彩色数据流中的每一帧RGB图像变换到对应时刻的深度图像；
步骤5.3，采用YUV420p方式，对RGB图像进行压缩编码；
步骤5.4，对深度图像中的16比特的深度数据，按照低位扩充抗噪声编码的方式进行编码，形成24比特的抗噪声编码深度数据；
步骤5.5，将所有RGB-D相机生成的已编码YUV数据流和已编码深度数据图像排列成混合数据帧后，通过端到端连接管道发送到对端用户；
步骤6，显示接收的数据；
步骤6.1，数据显示模块从端到端连接管道接收混合数据帧，从混合数据帧中分离出各RGB-D相机的已编码YUV图像数据和已编码深度图像数据；
步骤6.2，数据显示模块对已编码YUV图像数据和已编码深度图像数据进行解码，生成解码后的RGB图像和深度图像；
步骤6.3，数据显示模块对深度图像使用深度相机的内参矩阵进行二维到三维的反投影变换，生成三维空间中的点云数据，从对齐后的RGB图像中读取对应的R、G、B数值对点云数据进行渲染；
步骤6.4，数据显示模块将每台RGB-D相机的三维空间点使用转移参数矩阵变换到基准相机的深度模块坐标系下的三维空间点，形成完整的三维空间点云；
步骤6.5，使用点云处理算法，依次对反投影后生成的三维空间点云进行平滑、滤波操作，去除抗噪声编码未能完全去除的噪声；
步骤6.6，使用孔洞填充技术，填补因RGB-D相机的深度模块精度受限而导致的三维点云中的孔洞；
步骤6.7，对生成的三维点云和每个三维空间点对应的R,G,B数据，以三维人体点云模型的方式在虚拟环境下进行显示。
本发明与现有技术相比，具有如下优点：
第一，由于本发明的系统采用去中心化的端到端的架构，基于去中心化的端到端的架构哪怕其中一对正在通话的两端断线了，也不会对别的正在通话的用户对产生影响，克服了现有技术使用中心式架构系统导致的一旦中心节点出现故障或网络状况差，直接会对所有终端用户产生影响的不足，使得本发明的提高了系统的稳定性。
第二，由于本发明的系统采用信令服务器转接加端到端连接的方式，通过将实际的数据收发和三维人体重建处理，从云端下沉到每一对的端到端用户，克服了现有技术的系统使用中心式架构将所有的计算放到云端处理，导致的云端复杂性会随着用户数呈指数型增长而无法为大量用户同时提供服务的缺陷，使得本发明的系统可以为成千上万的大规模用户同时提供服务。
第三，由于本发明的方法使用WebRTC技术和抗噪声编码技术实时传输人体三维数据，克服了传统压缩编码的压缩率对于数据量巨大的三维人体数据无法在有限网络带宽内做到实时性的不足，使得本发明的方法在保证数据传输质量的同时具有更低的网络流量开销、更高的帧刷新率的优点。
第四，由于本发明的方法采用流传输方式进行数据传输，通话双方的数据不会被任意的中间节点监控，通话结束后不会存在任何的数据记录残留，克服了现有技术中间节点需要先缓存数据然后进行处理时数据被盗取或篡改的缺陷，使得本发明的方法具有数据安全和用户隐私得到保护的优点。
附图说明
图1是本发明的系统框架图；
图2是本发明的方法流程图；
图3是本发明的深度数据的抗噪声编码的示意图；
图4是本发明的混合数据帧排列图。
具体实施方式
下面结合附图和实施例，对本发明的做进一步的描述。
参照图1和实施例，对本发明的系统做进一步的详细描述。
三维人体虚拟社交系统，包括用户寻呼模块，端到端管道建立模块，数据采集模块，端到端管道传输模块和数据显示模块：
所述用户寻呼模块，用于使用MD5算法对每个请求注册的用户信息进行加密，并将每个加密后的用户信息存入数据库中；为每个加密后的用户信息生成一一对应的8位的寻呼号作为该用户的身份标识符，将加密后的用户信息与其身份标识符组成该用户的映射关系加入到寻呼模块中的用户列表中；寻呼模块向对端用户进行寻呼，判断对端用户是否为符合连接条件的用户，若为符合连接条件的用户，用户发起方与信令服务器建立WebSocket连接，将寻呼号和请求连接命令一起发送给信令服务器；信令服务器接收到请求连接命令后，根据寻呼号在信令服务器内部的用户列表中查找对端用户的IP地址；如果查找不到此寻呼号对应的对端用户的IP地址，信令服务器通知用户发起方无效寻呼号；否则，信令服务器向该IP地址处发起网络连接请求；信令服务器判断对端用户属于不可连接用户后，通知用户发起方无法连接；否则，为双方用户交换SDP描述信息；根据SDP描述信息判断双方设备情况是否符合端到端管道连接要求，若符合端到端管道连接要求，为双方建立端到端管道连接后，双方用户断开与信令服务器的网络连接，只保留用户发起方和对端用户间的端到端管道连接，否则，通知用户发起方端到端管道连接建立失败；若不为符合连接条件的用户，寻呼模块通知寻呼用户连接失败并显示连接失败原因；
所述数据采集模块，通过每台RGB-D相机采集人体对应部位数据，输出按时间同步后的彩色数据流和深度数据流；利用颜色对齐变换公式，将每台RGB-D相机输出的按时间同步后的彩色数据流中的每一帧RGB图像变换到对应时刻的深度图像；采用YUV420p方式，对RGB图像进行压缩编码；对深度图像中的16比特的深度数据，按照低位扩充抗噪声编码的方式进行编码，形成24比特的抗噪声编码深度数据；将所有RGB-D相机生成的已编码YUV数据流和已编码深度数据图像排列成混合数据帧后，通过端到端连接管道发送到对端用户；
所述数据显示模块，从端到端连接管道接收混合数据帧，从混合数据帧中分离出各RGB-D相机的已编码YUV图像数据和已编码深度图像数据；对已编码YUV图像数据和已编码深度图像数据进行解码，生成解码后的RGB图像和深度图像；对深度图像使用深度相机的内参矩阵进行二维到三维的反投影变换，生成三维空间中的点云数据，从对齐后的RGB图像中读取对应的R、G、B数值对点云数据进行渲染；将每台RGB-D相机的三维空间点使用转移参数矩阵O1,j变换到基准相机的深度模块坐标系下的三维空间点，形成完整的三维空间点云。
参照图2和实施例，对本发明基于WebRTC的端到端传输方法的具体实现步骤做进一步的详细描述。
步骤1，用户向寻呼服务器模块注册信息。
步骤1.1，寻呼模块使用MD5算法对每个请求注册的用户信息进行加密，并将每个加密后的用户信息存入数据库中；
步骤1.2，寻呼模块为每个加密后的用户信息生成一一对应的8位的寻呼号作为该用户的身份标识符，将加密后的用户信息与其身份标识符组成该用户的映射关系加入到寻呼模块中的用户列表中；
本发明的实施例中用户指的是网络环境下的一台电脑，实际上还可以是能接入网络的形如Hololens2的任意VR、MR虚拟设备，用户寻呼模块是指在公网环境下运行的一个服务器程序，寻呼号码是信令服务器程序中根据用户信息生成的一串8位的字符串。本发明实施例中用户模块指的是一台公网下的信令服务器，数据库存放在此信令服务器上，数据库中存放寻呼号和用户信息组成的映射关系，其中用户信息又由MD5加密后的用户名、用户密码、用户IP、端口号组成。
步骤2，生成转移参数矩阵。
步骤2.1，本发明的实施例是将6台RGB-D相机以2层设置，其中每层按等边三角形的形式摆放3台，从底层3台RGB-D相机中随机选定一台编号为1，以基准点开始按逆时针逐层向上依次对其余RGB-D相机进行编号。
步骤2.2，对每个两两相邻的RGB-D相机中的RGB模块进行张氏几何标定，得到两个参数矩阵：3*3的旋转参数矩阵R和3*1的平移参数矩阵T；将两个矩阵R，T与一个矩阵0T 3组成转移参数矩阵
其中，
表示[0,0,0]矩阵。
步骤2.3，利用Pi,j＝Ni -1Mi,jNj公式，计算两两相邻的RGB-D相机中Depth模块间的转移参数矩阵；其中，Pi,j表示第i台RGB-D相机中Depth模块与第j台RGB-D相机中Depth模块间的转移参数矩阵，Ni表示第i台RGB-D相机的RGB模块和Depth模块间的内置转移矩阵，上角标-1表示求逆操作，Nj表示第j台的RGB-D相机的RGB模块和Depth模块间的内置转移矩阵，Mi,j表示第i台RGB-D相机的RGB模块和第j台RGB-D相机中的RGB模块间组成的转移参数矩阵。
步骤2.4，利用
公式，计算每台RGB-D相机中的Depth模块与基准点RGB-D相机中的Depth模块间的转移参数矩阵；其中，O1,j表示基准点RGB-D相机中Depth模块与第j台RGB-D相机中Depth模块间的转移参数矩阵，Pi,i+1＝Ni -1Mi,i+1Ni+1，其中，Pi,i+1表示第i台RGB-D相机中Depth模块与第i+1台RGB-D相机中Depth模块间的转移参数矩阵，Ni表示第i台RGB-D相机的RGB模块和Depth模块间的内置转移矩阵，上角标-1表示求逆操作，Ni+1表示第i+1台的RGB-D相机的RGB模块和Depth模块间的内置转移矩阵，Mi,i+1表示第i台RGB-D相机的RGB模块和第i+1台RGB-D相机中的RGB模块间组成的转移参数矩阵。
步骤3，建立端到端管道。
步骤3.1，使用寻呼模块进行寻呼。
寻呼模块基于寻呼号对对端用户进行寻呼，判断对端用户是否符合连接条件，如果符合条件则进入端到端管道建立过程，否则寻呼模块通知发起方连接失败并显示连接失败原因。
本发明的实施例是以一个在虚拟环境下的已注册信息的用户A，请求呼叫另一个虚拟环境下的已注册信息用户B为例说明建立两个用户之间的端到端连接的过程。用户A和用户B由于缺少对方的IP信息无法直接建立连接，需要先通过存有所有用户IP地址信息的信令服务器进行连接前的判断过程，如果符合连接要求，再通过寻呼模块为用户A和用户B建立端到端连接。
第一步，用户A与信令服务器建立WebSocket连接，用户A将寻呼号和请求连接命令一起发送给信令服务器；
第二步，信令服务器接收到请求连接命令后，根据寻呼号在信令服务器内部的用户列表中查找用户B的IP地址；
如果查找不到此寻呼号对应的用户B的IP地址，信令服务器通知用户A无效寻呼号；
如果查到此寻呼号对应的用户B的IP地址，信令服务器向该IP地址处发起TCP(Transmission Control Protocol)网络连接请求。
第三步，信令服务器根据TCP连接建立情况分别执行如下处理：
如果用户B属于不可连接用户，则信令服务器通知用户A无法连接；
如果用户B属于可连接用户，则用户双方开始进行端到端连接；
所述的不可连接用户指的是如下几种情况中的一种情形：
第一种，用户未登录虚拟环境；
第二种，用户已经建立端到端连接。
第四步，寻呼模块为双方交换SDP(Session Description Protocal)描述信息；所述SDP描述信息：是基于SDP协议的一种数据格式，用于两个会话实体之间的媒体协商，并达成一致，属信令语言族，采用文本(字符)描述形式。SDP描述信息由许多文本行组成，文本行的格式为<类型>＝<值>，<类型>是一个字母，<值>是结构化的文本串，其格式依<类型>而定。SDP包括以下一些方面：会话的名称和目的、会话存活时间、包含在会话中的媒体信息(包括：媒体类型(video,audio,etc)、传输协议(RTP/UDP/IP,H.320,etc)、媒体格式(H.261video,MPEG video,etc)、多播或远端(单播)地址和端口)、为接收媒体而需的信息(addresses,ports,formats,etc)、使用的带宽信息、可信赖的接洽信息(Contactinformation)
第五步，寻呼模块根据SDP描述信息判断双方设备情况是否符合端到端管道连接要求，若是，寻呼模块为双方建立端到端管道连接后执行第六步，否则，寻呼模块通知用户A端到端管道连接建立失败；所述的双方设备情况符合端到端管道连接要求指的是：SDP描述信息中每一种类型的值都符合最低版本要求。
端对端连接管道成功建立后用户双方可以使用端对端连接管道内置的数据收发API直接收发数据。
第六步，用户A向信令服务器主动断开网络连接，等信令服务器断开与用户A的网络连接后，接着信令服务器主动断开与用户B的网络连接，只保留用户A和用户B间的端到端管道连接。
步骤4，交换转移参数矩阵：
步骤4.1，自定义一个Transfer数据结构，其中包括一个成员flag标识此对象的用途，有一个装载实际数据的byte类型的数组data，数组长度根据flag不同而不同，如：当flag为O时，此时数组实际长度为16*8；其中，flag取值O表示传输转移参数矩阵。其中Transfer的数据结构为：Class Transfer{Character flag＝‘0’；Integer length；Byte[]data；public Transfer(Character flag){if(flag＝＝‘O’){length＝16*8；data＝new Integer[length]；}}}
步骤4.2，由于将RGB-D相机的转移参数矩阵中的每个元素是浮点型类型，按照IEE754规则转换成byte型的数据，按照转换转换前后每个元素的下标对应关系将byte型数据赋给Transfer对象的data数组中的对应位置，得到与该转移参数矩阵对应的赋值后Transfer对象。所述的下标对应关系为：转移参数矩阵的第i行第j列的数据元素，按IEE754规则转换成byte型数据后赋值给data数组的从下标(4*(i-1)+(j-1))*8开始的8个字节的数据段中。例如：转移参数矩阵的第1行第1列的元素值为1.5，此时先将1.5转换成8字节的byte型数据00111111 11111000 00000000 00000000 00000000 00000000 0000000000000000，将这个8字节的byte数据赋值给data的(4*(1-1)+(1-1))*8＝0下标处。
步骤4.3，将每个赋值后的Transfer对象按照JSON(JavaScript ObjectNotation)序列化规则序列化为该对象对应的二进制的字节数组，通过用户A和用户B的端对端管道的发送API(Application Programming Interface)将二进制的字节数组发送到对端。
步骤4.4，将接收到的二进制字节数组按照JSON序列化规则反序列化成Transfer对象。
步骤4.5，根据Transfer对象中的data数组恢复出转移参数矩阵；
步骤5，发送处理后的数据：
步骤5.1，采集RGB-D相机数据：
数据采集模块获取人体的彩色图像和深度图像；
由于本发明的实施例中是将6台RGB-D相机，呈上下两层，每层3台呈等边三角形形状摆放，每台采集人体的不同部位。其中，第1台RGB-D相机采集人体腰部以下左前方120度的部位，第2台RGB-D相机采集的是腰部以下正后方的部位，第3台RGB-D相机采集的是腰部以下右前方120度的部位，第4台RGB-D相机采集的是腰部往上正前方的部位，第5台RGB-D相机采集的是腰部往上左后方120度的部位，第6台RGB-D相机采集的是腰部往上右后方120度的部位。
每台RGB-D相机采集人体对应部位数据并输出按时间同步后的彩色数据流和深度数据流两部分，用于后续的三维人体重建。其中彩色数据流由按时间排布的RGB图像序列构成，深度数据流由按时间排列的深度图像序列构成。其中，数据流中的每一张图像称为一帧，按时间排布指的是RGB-D相机会根据相机开启时设置的采集间隔参数按等时间间隔采集图像,每秒输出固定数量的等间隔的图像序列，本发明实施例中使用的参数为30FPS(Frames Per Second)。按时间同步指的是深度数据流和彩色数据流的每一帧图像都是按相机内置的时间刻度对齐，即同一时刻的RGB图像对应同一时刻的深度图像。
步骤5.2，利用颜色对齐变换公式GD,j,i＝sKD,j -1NjKRGB,j -1PRGB,j,i，将每个RGB-D相机输出的按时间同步后的彩色数据流中的每一帧RGB图像变换到对应时刻的深度图像，其中，GD,j,i表示第j台RGB-D相机第i时刻的深度图像的像素的齐次坐标,GD,j,i＝[UD,VD,1]T,T表示转置操作，本发明实施例中深度图像为一张列为640个像素、行为480个像素的图片，UD表示第i时刻的深度图像中的第UD行,VD表示深度图像中的第VD列，s表示一个大于0的数字表示一个随机的尺度因子，KD,j -1表示第j台RGB-D相机的Depth模块的内参矩阵的逆，-1表示求逆操作，KRGB,j -1表示第j台RGB-D相机的RGB模块的内参矩阵，GRGB,j,i表示[URGB,VRGB,1]T表示第j台RGB-D相机第i时刻的RGB图像的像素的齐次坐标,本发明实施例中RGB图像为一张列为1920个像素、行为1080个像素的图片，URGB表示第i时刻的RGB图像中的中的第URGB行，VRGB表示RGB图像中的第VRGB行。
步骤5.3，对彩色图像进行压缩编码。
由于RGB图像有R、G、B三个通道的信息，如果不进行压缩直接传输的话会由于数据量过大导致占用过高的网络带宽，一般在传输前对RGB图像进行一次压缩编码，再通过WebRTC端到端连接管道进行传输。本发明实施例中采用YUV420p方式，对彩色图像进行压缩编码。
步骤5.4，对深度图像进行抗噪声编码。
WebRTC端到端连接管道为了增大压缩比率采用的是有损压缩编码，这种有损压缩带来极高压缩比率的同时也引入了误差，由于人眼对于色彩信息敏感度不高的特性使得RGB图像因使用WebRTC端对端连接管道传输而引入的噪声可以被忽略，但由于深度图像需要后续变换为三维空间点，会将深度图像的误差变为空间点位置的误差，由于人眼对于空间点位置信息比较敏感，所以在发送前需要对深度图像进抗噪声编码。
由于本发明实施例使用WebRTC端到端连接管道传输深度图像数据，而WebRTC技术原本是用来传输RGB图像的，这里将深度图像作为RGB图像传输会给各深度数据引入一个上下波动的误差。深度图像中的每个数据都是16比特的数据，对每个16比特的深度数据，按照图3抗噪声编码示意图中所示的低位扩充抗噪声编码的方式进行编码，形成24比特的抗噪声编码深度数据。具体的操作为，将待传输的16位的比特流分成3部分，其中第一部分为原16bit深度数据流的第16到第12位，第二部分为原16比特深度数据流的第11到第7位，第三部分为原16比特深度数据流的第6到第1位，然后把每部分以向左补0移位的方式补成8比特的字节，其中每部分放入每个8比特字节的高位。因为在传输时由于噪声而引入的波动只会影响到每8比特的低位而高位不受影响，这样在接收端将每8比特的高位部分取出再拼接成16比特的深度数据，便能为深度数据使用WebRTC端对端连接管道传输引入一定的抗噪声能力。
步骤5.5，发送生成的混合数据帧。
本发明实施例按如图4所示方式将六台RGB-D相机生成的RGB图像的已编码YUV数据流、深度图像的已编码深度数据图像排列成混合数据帧，其中Y1到Y6为尺寸1920*1080的各台RGB-D相机经YUV420p编码后的Y通道图像，U1到U6尺寸为1920*270的各台RGB-D相机经YUV420p编码后的U通道图像，V1到V6尺寸为1920*270的各台RGB-D相机经YUV420p编码后的V通道图像,D1到D6的尺寸为640*480表示的是各台RGB-D相机经过抗噪声编码后的深度图像。使用WebRTC端到端连接管道的数据收发API发送到对端。
步骤6，显示接收的数据。
步骤6.1，数据显示模块从WebRTC端到端连接管道接收混合数据帧，按图4所示方式分离出各RGB-D相机的已编码图像数据Y1到Y6、U1到U6、V1到V6和已编码深度图像数据D1到D6；
步骤6.2，对彩色编码流和深度编码流进行解码。
数据显示模块对已编码YUV图像数据和已编码深度图像数据进行解码生成解码后的RGB图像和深度图像；本系统会对双方提前约定RGB图像和深度图像的编解码方案，接收端根据约定的方案对接收的数据进行解码生成解码后的RGB图像和深度图像。
本发明的实施例中RGB图像使用的是YUV420p方式，深度图像使用的是图3所示的抗噪声编解码方案。对Y1到Y6、U1到U6、V1到V6图像使用YUV420p协议恢复出RGB图像，对于深度图像如图3抗噪声编码示意图所示，每个深度数据都是24bit的数据，将24bit切分成3个8bit的子串，取出前8bit的前5bit,中间8bit的前5bit，后8bit的前6bit，将它们按顺序拼接成16bit的深度数据。
步骤6.3，生成三维空间坐标点。
数据显示模块对深度图像使用深度相机的内参矩阵进行二维到三维的反投影变换，生成三维空间中的点云数据，然后从对齐后的RGB图像中读取对应的R、G、B数值对点云数据进行渲染；
本发明实施例中接收端接收的混合数据帧中解码后的RGB图像和深度图像是在发送端进行对齐处理后的，数据显示模块对深度图像利用对应的RGB-D相机深度模块内置的内参矩阵将深度数据中的每一个像素点进行二维到三维的反投影变换生成RGB-D相机深度模块坐标系下的三维空间点数据，然后从与深度图像对应的RGB图像中为每一个三维空间点计算R、G、B数据，数据显示模块对接收到的混合数据帧中的D1-D6六台RGB-D相机对应的深度图像分别进行上述反投影变换生成6个三维空间点数据块。
步骤6.4，将三维空间点数据变换到基准相机的深度模块坐标系。
数据显示模块将6个三维空间点数据块中的三维空间点使用转移参数矩阵O1,j变换到基准相机的深度模块坐标系下的三维空间点，形成完整的三维空间点云。
步骤6.5，对点云进行平滑滤波、孔洞填充处理。
抗噪声编码不一定能完全去除WebRTC引入的噪声，这些深度误差通过反投影变换后会变成三维空间中的空间噪点，只能通过对点云进行平滑、滤波操作来去除。此外，由于RGB-D相机的深度模块一般都是精度受限的，导致由深度图像生成的三维点云可能会存在孔洞，需要使用PCL中的孔洞填充技术来填补空洞；
本发明的实施例中使用底层互操作的方式调用PCL库来对点云进行后处理。PCL(Point Cloud Library)对各种常见点云问题都有直接的实现，但是目前PCL没有C#版本的支持，所以需要通过底层互操作的方式来实现在C#脚本中调用PCL库来对三维点云进行后处理。
步骤6.6，使用粒子系统显示三维点云。
对生成的三维点云和每个三维空间点对应的R,G,B数据，以三维人体点云模型的方式在虚拟环境下进行显示；用户在虚拟环境中可以对三维人体点云模型进行放大、缩小、旋转、位移等交互操作。
本发明的实施例中VR、MR程序是使用Unity3D引擎进行开发的，所以三维人体点云模型的显示也是使用的Unity3D下的粒子系统，由于三位完整人体点云数据量过于巨大，使用内置的Particle System模块无法正常运行，需要使用VEG模块以GPU对点云运行加速计算并显示，Unity内置的功能提供在脚本中更改组件属性的功能，在C#脚本中设置相关属性实现对三维人体点云模型的放大缩小、旋转、位移功能。
Claims (8)
1.一种基于P2P技术的三维人体虚拟社交系统，包括用户寻呼模块，端到端管道建立模块，数据采集模块，端到端管道传输模块和数据显示模块：
所述用户寻呼模块，用于使用MD5算法对每个请求注册的用户信息进行加密，并将每个加密后的用户信息存入数据库中；为每个加密后的用户信息生成一一对应的8位的寻呼号作为该用户的身份标识符，将加密后的用户信息与其身份标识符组成该用户的映射关系加入到寻呼模块中的用户列表中；寻呼模块向对端用户进行寻呼，判断对端用户是否为符合连接条件的用户，若为符合连接条件的用户，用户发起方与信令服务器建立WebSocket连接，将寻呼号和请求连接命令一起发送给信令服务器；信令服务器接收到请求连接命令后，根据寻呼号在信令服务器内部的用户列表中查找对端用户的IP地址；如果查找不到此寻呼号对应的对端用户的IP地址，信令服务器通知用户发起方无效寻呼号；否则，信令服务器向该IP地址处发起网络连接请求；信令服务器判断对端用户属于不可连接用户后，通知用户发起方无法连接；否则，为双方用户交换SDP描述信息；根据SDP描述信息判断双方设备情况是否符合端到端管道连接要求，若符合端到端管道连接要求，为双方建立端到端管道连接后，双方用户断开与信令服务器的网络连接，只保留用户发起方和对端用户间的端到端管道连接，否则，通知用户发起方端到端管道连接建立失败；若不为符合连接条件的用户，寻呼模块通知寻呼用户连接失败并显示连接失败原因；
所述数据采集模块，通过每台RGB-D相机采集人体对应部位数据，输出按时间同步后的彩色数据流和深度数据流；利用颜色对齐变换公式，将每台RGB-D相机输出的按时间同步后的彩色数据流中的每一帧RGB图像变换到对应时刻的深度图像；采用YUV420p方式，对RGB图像进行压缩编码；对深度图像中的16比特的深度数据，按照低位扩充抗噪声编码的方式进行编码，形成24比特的抗噪声编码深度数据；将所有RGB-D相机生成的已编码YUV数据流和已编码深度数据图像排列成混合数据帧后，通过端到端连接管道发送到对端用户；
所述数据显示模块，从端到端连接管道接收混合数据帧，从混合数据帧中分离出各RGB-D相机的已编码YUV图像数据和已编码深度图像数据；对已编码YUV图像数据和已编码深度图像数据进行解码，生成解码后的RGB图像和深度图像；对深度图像使用深度相机的内参矩阵进行二维到三维的反投影变换，生成三维空间中的点云数据，从对齐后的RGB图像中读取对应的R、G、B数值对点云数据进行渲染；将每台RGB-D相机的三维空间点使用转移参数矩阵O1,j变换到基准相机的深度模块坐标系下的三维空间点，形成完整的三维空间点云。
2.根据权利要求1所述系统的一种基于P2P技术的三维人体虚拟社交方法，其特征在于，使用P2P技术实时传输人体三维数据，采用P2P的流传输方式进行数据传输；该方法的具体步骤包括如下：
步骤1，用户向寻呼服务器模块注册信息：
步骤1.1，寻呼模块使用MD5算法对每个请求注册的用户信息进行加密，并将每个加密后的用户信息存入数据库中；
步骤1.2，寻呼模块为每个加密后的用户信息生成一一对应的8位的寻呼号作为该用户的身份标识符，将加密后的用户信息与其身份标识符组成该用户的映射关系加入到寻呼模块中的用户列表中；
步骤2，生成转移参数矩阵：
步骤2.1，使用至少6台RGB-D相机摆放于人体四周，随机选定一台作为基准相机，以基准点开始按逆时针逐层向上依次对其余RGB-D相机进行编号；
步骤2.2，对每个两两相邻的RGB-D相机中的RGB模块进行相机标定，得到平移参数矩阵和旋转参数矩阵，将它们组合成转移参数矩阵；
步骤2.3，计算两两相邻的RGB-D相机中Depth模块间的转移参数矩阵；
步骤2.4，计算每台RGB-D相机中的Depth模块与基准点RGB-D相机中的Depth模块间的转移参数矩阵；
步骤3，建立端到端管道：
步骤3.1，寻呼模块向对端用户进行寻呼，判断对端用户是否为符合条件的用户，若是，则执行步骤3.2，否则，执行步骤3.3；
步骤3.2，寻呼模块为双方建立端到端管道连接，其步骤如下：
步骤3.2.1，用户发起方与信令服务器建立WebSocket连接，将寻呼号和请求连接命令一起发送给信令服务器；
步骤3.2.2，信令服务器接收到请求连接命令后，根据寻呼号在信令服务器内部的用户列表中查找对端用户的IP地址；
如果查找不到此寻呼号对应的对端用户的IP地址，信令服务器通知用户发起方无效寻呼号；否则，信令服务器向该IP地址处发起网络连接请求；
步骤3.2.3，信令服务器判断对端用户是否属于不可连接用户，若是，则信令服务器通知用户发起方无法连接；否则，执行步骤3.2.4；
步骤3.2.4，寻呼模块为双方用户交换SDP描述信息；
步骤3.2.5，寻呼模块根据SDP描述信息判断双方设备情况是否符合端到端管道连接要求，若是，寻呼模块为双方建立端到端管道连接后执行步骤3.2.6，否则，寻呼模块通知用户发起方端到端管道连接建立失败；
步骤3.2.6，双方用户断开与信令服务器的网络连接，只保留用户发起方和对端用户间的端到端管道连接；
步骤3.3，寻呼模块通知寻呼用户连接失败并显示连接失败原因；
步骤4，交换转移参数矩阵：
步骤4.1，自定义用于承载转移参数矩阵的数据结构Transfer；
步骤4.2，将转移参数矩阵中的元素值进行类型转换后赋值到Transfer对象的data数组中的对应位置；
步骤4.3，将赋值后的Transfer对象序列化为二进制的字节数组，通过端对端连接管道将二进制的字节数组发送到对端用户；
步骤4.4，将接收到的二进制字节数组反序列化成Transfer对象；
步骤4.5，根据Transfer对象中的data数组恢复出转移参数矩阵；
步骤5，发送处理后的数据：
步骤5.1，数据采集模块通过每台RGB-D相机采集人体对应部位数据，输出按时间同步后的彩色数据流和深度数据流；
步骤5.2，利用颜色对齐变换公式，将每台RGB-D相机输出的按时间同步后的彩色数据流中的每一帧RGB图像变换到对应时刻的深度图像；
步骤5.3，采用YUV420p方式，对RGB图像进行压缩编码；
步骤5.4，对深度图像中的16比特的深度数据，按照低位扩充抗噪声编码的方式进行编码，形成24比特的抗噪声编码深度数据；
步骤5.5，将所有RGB-D相机生成的已编码YUV数据流和已编码深度数据图像排列成混合数据帧后，通过端到端连接管道发送到对端用户；
步骤6，显示接收的数据；
步骤6.1，数据显示模块从端到端连接管道接收混合数据帧，从混合数据帧中分离出各RGB-D相机的已编码YUV图像数据和已编码深度图像数据；
步骤6.2，数据显示模块对已编码YUV图像数据和已编码深度图像数据进行解码，生成解码后的RGB图像和深度图像；
步骤6.3，数据显示模块对深度图像使用深度相机的内参矩阵进行二维到三维的反投影变换，生成三维空间中的点云数据，从对齐后的RGB图像中读取对应的R、G、B数值对点云数据进行渲染；
步骤6.4，数据显示模块将每台RGB-D相机的三维空间点使用转移参数矩阵变换到基准相机的深度模块坐标系下的三维空间点，形成完整的三维空间点云；
步骤6.5，使用点云处理算法，依次对反投影后生成的三维空间点云进行平滑、滤波操作，去除抗噪声编码未能完全去除的噪声；
步骤6.6，使用孔洞填充技术，填补因RGB-D相机的深度模块精度受限而导致的三维点云中的孔洞；
步骤6.7，对生成的三维点云和每个三维空间点对应的R,G,B数据，以三维人体点云模型的方式在虚拟环境下进行显示。
3.根据权利要求2所述基于P2P技术的三维人体虚拟社交方法，其特征在于，步骤2.3中所述转移参数矩阵是由Pi,j＝Ni -1Mi,jNj公式得到的，其中，Pi,j表示第i台RGB-D相机中Depth模块与第j台RGB-D相机中Depth模块间的转移参数矩阵，Ni表示第i台RGB-D相机的RGB模块和Depth模块间的内置转移矩阵，上角标-1表示求逆操作，Nj表示第j台的RGB-D相机的RGB模块和Depth模块间的内置转移矩阵，Mi,j表示第i台RGB-D相机的RGB模块和第j台RGB-D相机中的RGB模块间组成的转移参数矩阵。
4.根据权利要求2所述基于P2P技术的三维人体虚拟社交方法，其特征在于，步骤3.2.3中所述的不可连接用户指的是如下几种情况中任意的一种情形：
第一种，用户未登录虚拟环境；
第二种，用户已经建立端到端连接。
5.根据权利要求2所述基于P2P技术的三维人体虚拟社交方法，其特征在于，步骤3.2.4中所述SDP描述信息为基于SDP协议的一种数据格式，用于两个会话实体之间的媒体协商，并达成一致，属信令语言族，采用文本或字符的描述形式。
6.根据权利要求2所述基于P2P技术的三维人体虚拟社交方法，其特征在于，步骤4.1中所述的数据结构Transfer为：Class Transfer{Character flag＝‘0’；Integer length；Byte[]data；public Transfer(Character flag){if(flag＝＝‘O’){length＝16*8；data＝new Integer[length]；}}}。
7.根据权利要求2所述基于P2P技术的三维人体虚拟社交方法，其特征在于，步骤5.2中所述颜色对齐变换公式为GD,j,i＝sKD,j -1NjKRGB,j -1PRGB,j,i，其中，GD,j,i表示第j台RGB-D相机第i时刻的深度图像的像素的齐次坐标,GD,j,i＝[UD,VD,1]T,T表示转置操作，UD表示第i时刻的深度图像中的第UD行,VD表示深度图像中的第VD列，s表示一个大于0的数字表示一个随机的尺度因子，KD,j -1表示第j台RGB-D相机的Depth模块的内参矩阵的逆，-1表示求逆操作，KRGB,j -1表示第j台RGB-D相机的RGB模块的内参矩阵，GRGB,j,i表示[URGB,VRGB,1]T表示第j台RGB-D相机第i时刻的RGB图像的像素的齐次坐标,URGB表示第i时刻的RGB图像中的中的第URGB行，VRGB表示RGB图像中的第VRGB行。
8.根据权利要求2所述基于P2P技术的三维人体虚拟社交方法，其特征在于，步骤6.4中所述转移参数矩阵为
其中，O1,j表示基准点RGB-D相机中Depth模块与第j台RGB-D相机中Depth模块间的转移参数矩阵，Pi,i+1＝Ni -1Mi,i+1Ni+1，其中，Pi,i+1表示第i台RGB-D相机中Depth模块与第i+1台RGB-D相机中Depth模块间的转移参数矩阵，Ni表示第i台RGB-D相机的RGB模块和Depth模块间的内置转移矩阵，上角标-1表示求逆操作，Ni+1表示第i+1台的RGB-D相机的RGB模块和Depth模块间的内置转移矩阵，Mi,i+1表示第i台RGB-D相机的RGB模块和第i+1台RGB-D相机中的RGB模块间组成的转移参数矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211183895.8A CN115695441B (zh) | 2022-09-27 | 2022-09-27 | 基于p2p技术的三维人体虚拟社交系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211183895.8A CN115695441B (zh) | 2022-09-27 | 2022-09-27 | 基于p2p技术的三维人体虚拟社交系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115695441A true CN115695441A (zh) | 2023-02-03 |
| CN115695441B CN115695441B (zh) | 2024-03-29 |
Family
ID=85063504
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211183895.8A Active CN115695441B (zh) | 2022-09-27 | 2022-09-27 | 基于p2p技术的三维人体虚拟社交系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115695441B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107194964A (zh) * | 2017-05-24 | 2017-09-22 | 电子科技大学 | 一种基于实时人体三维重建的vr社交系统及其方法 |
| CN112001926A (zh) * | 2020-07-04 | 2020-11-27 | 西安电子科技大学 | 基于多维语义映射rgbd多相机标定方法、系统及应用 |
| US20210209849A1 (en) * | 2020-01-03 | 2021-07-08 | Vangogh Imaging, Inc. | Multiple maps for 3d object scanning and reconstruction |
| CN113992810A (zh) * | 2021-10-21 | 2022-01-28 | 浙江工商大学 | 一种基于深度学习的敏捷图像加密方法 |
| US20220108481A1 (en) * | 2020-10-02 | 2022-04-07 | Samsung Eletrônica da Amazônia Ltda. | Method for compressing point clouds |
-
2022
- 2022-09-27 CN CN202211183895.8A patent/CN115695441B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107194964A (zh) * | 2017-05-24 | 2017-09-22 | 电子科技大学 | 一种基于实时人体三维重建的vr社交系统及其方法 |
| US20210209849A1 (en) * | 2020-01-03 | 2021-07-08 | Vangogh Imaging, Inc. | Multiple maps for 3d object scanning and reconstruction |
| CN112001926A (zh) * | 2020-07-04 | 2020-11-27 | 西安电子科技大学 | 基于多维语义映射rgbd多相机标定方法、系统及应用 |
| US20220108481A1 (en) * | 2020-10-02 | 2022-04-07 | Samsung Eletrônica da Amazônia Ltda. | Method for compressing point clouds |
| CN113992810A (zh) * | 2021-10-21 | 2022-01-28 | 浙江工商大学 | 一种基于深度学习的敏捷图像加密方法 |
Non-Patent Citations (1)
| Title |
|---|
| 卿都;曾碧;: "基于神经网络的三维点云生成模型研究进展", 机器人技术与应用, no. 06, 15 December 2019 (2019-12-15) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115695441B (zh) | 2024-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2234406A1 (en) | A three dimensional video communication terminal, system and method | |
| WO2016091128A1 (zh) | 图像传输方法和装置 | |
| EP4270315A1 (en) | Method and device for processing three-dimensional video, and storage medium | |
| CN112791399B (zh) | 云游戏画面的显示方法及装置、系统、介质、电子设备 | |
| CN109040786B (zh) | 摄像头数据的传输方法、装置、系统及存储介质 | |
| JP7105358B6 (ja) | データ処理方法及び装置、電子機器並びに記憶媒体 | |
| CN111479162B (zh) | 直播数据传输方法、装置以及计算机可读存储介质 | |
| CN115567661A (zh) | 视频数据的处理方法、系统、计算机设备和存储介质 | |
| CN111612177A (zh) | 基于交互语义的增强现实智能运维系统 | |
| WO2018067832A1 (en) | Geometry sequence encoder and decoder | |
| KR20050056070A (ko) | 엠펙-4 객체기술자 정보 및 구조를 이용한 3차원 동영상처리 장치 및 그 방법 | |
| WO2022075767A1 (ko) | 이동 통신 시스템에서 컨텐츠를 렌더링하는 방법 및 장치 | |
| CN113793420A (zh) | 深度信息处理方法、装置、电子设备及存储介质 | |
| WO2021147463A1 (zh) | 视频处理方法、装置及电子设备 | |
| JP7440546B2 (ja) | ポイントクラウドデータ処理装置及び方法 | |
| CN115695441B (zh) | 基于p2p技术的三维人体虚拟社交系统及方法 | |
| CN114466224B (zh) | 视频数据的编解码方法和装置、存储介质及电子设备 | |
| Radwan et al. | Implement 3D video call using cloud computing infrastructure | |
| CN116503498A (zh) | 一种画面渲染方法和相关装置 | |
| KR20220137938A (ko) | 원격 단말용 원격 회의 및 텔레프레즌스를 위한 다중 오디오 믹싱 이득을 시그널링하기 위한 기술 | |
| EP4264940A1 (en) | Method and apparatus for providing conversational services in mobile communication system | |
| CN114339282A (zh) | 直播互动中主播形象图片的传输方法及装置 | |
| CN112650596B (zh) | 目标数据的跨进程共享方法、装置、设备及存储介质 | |
| US11281422B2 (en) | Video data display method and device | |
| CN111353133B (zh) | 图像处理方法、装置和可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |