CN107749998A - 一种便携式3d扫描仪的流媒体可视化方法 - Google Patents

一种便携式3d扫描仪的流媒体可视化方法 Download PDF

Info

Publication number
CN107749998A
CN107749998A CN201710994594.6A CN201710994594A CN107749998A CN 107749998 A CN107749998 A CN 107749998A CN 201710994594 A CN201710994594 A CN 201710994594A CN 107749998 A CN107749998 A CN 107749998A
Authority
CN
China
Prior art keywords
mrow
msub
mtd
msubsup
mtr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710994594.6A
Other languages
English (en)
Other versions
CN107749998B (zh
Inventor
冯雨果
周晋
杨燕翔
徐尉羚
谢合军
刘琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xihua University
Original Assignee
Xihua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xihua University filed Critical Xihua University
Priority to CN201710994594.6A priority Critical patent/CN107749998B/zh
Publication of CN107749998A publication Critical patent/CN107749998A/zh
Application granted granted Critical
Publication of CN107749998B publication Critical patent/CN107749998B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
    • H04N21/64738—Monitoring network characteristics, e.g. bandwidth, congestion level

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Other Investigation Or Analysis Of Materials By Electrical Means (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种便携式3D扫描仪的流媒体可视化方法，包括客户端通过https请求开启设备并与设备之间进行匹配；扫描仪将原始3D模型数据传送给设备；设备对3D模型数据进行提取、融合、简化并上传至服务器；服务器对3D模型数据进行三角化操作并保存为stl结果；读取、解析stl格式的3D模型数据并生成对应的图片序列；编码图片序列生成媒体流数据；以RTMP协议对媒体流数据进行推送；客户端接收并以OSMF技术解码媒体流数据以播放。客户端与对设备连接并通过对3D模型数据进行提取、融合、简化、三角化操作，采用OSMF技术解码媒体流数据，实现实时显示，能在无插件的情况下在各个主流浏览器中正常工作。

Description

一种便携式3D扫描仪的流媒体可视化方法
技术领域
本发明涉及流媒体可视化方法领域，具体涉及一种便携式3D扫描仪的流媒体可视化方法。
背景技术
现有3D扫描仪采用的技术及其缺陷如下表所示：
目前3D扫描仪需要扫描之后将数据导入到电脑中，进行一系列的软件处理才能看到基于3D扫描数据重建后的效果，不能实时看到扫描过程中的效果，而且大多数都需要安装只能放到本地电脑上面进行可视化操作，并不能通过互联网技术进行免安装的可视化操作，且目前的流媒体技术无法高实时性，高稳定性的支持这样的3D数据在线可视化需求。
发明内容
本发明为了解决上述技术问题提供一种便携式3D扫描仪的流媒体可视化方法。
本发明通过下述技术方案实现：
一种便携式3D扫描仪的流媒体可视化方法，包括以下步骤，
A、客户端通过https请求开启设备并与设备之间进行匹配；
B、扫描仪将原始3D模型数据传送给设备；
C、设备对3D模型数据进行提取、融合、简化操作并上传至服务器；
D、服务器对3D模型数据进行三角化操作并保存为stl结果；
E、读取、解析stl格式的3D模型数据并生成对应的图片序列；
F、编码图片序列生成媒体流数据；
H、以RTMP协议对媒体流数据进行推送；
J、客户端接收并以OSMF技术解码媒体流数据以播放。
本方案中客户端通过https请求实现对设备的连接，在扫描过程中，实现实时显示。客户端通过访问设备，对3D模型数据进行预处理，任何主流浏览器在无任何插件的情况下，均可导入3D模型数据进行放大、缩小、移动等可视化操作，用户不用为了查看3D模型数据去寻找或者下载任何软件。采用OSMF技术解码媒体流数据，能在无插件的情况下在各个主流浏览器中正常工作，且不会有缓存拥堵而造成的视频抖动，同时可以通过便携式开发板的分发机制进行局域网内的共享，更加高效的显示视频，这也是通常视频解码过程中常见的问题。本技术操作流程简单，能高实时性和稳定性地在主流浏览器以及移动端中将数据显示，大大提高了用户体验和维护成本,用户能随时随地的采用便携式3D扫描仪进行扫描并实时查看结果。
步骤C中，对3D模型数据的提取采用以下方法：
Wk＝Wk+a*Error*Vk；
其中：d为点的总数；xi、yi、zi分别为i点的三维坐标；a是寻找最近的几个点的参数；Wk为最终计算出的最近点集，error为迭代次数，Vk是目标点。采用该方法能快速准确的确定点的半径，并提取特征点。
步骤C中，融合提取后的3D模型数据采用以下方法：
对数据进行坐标系转换和空间旋转；
归一化点集；
偏移点集。
具体的，融合提取后的3D模型数据具体方法为：
对数据进行坐标系转换和空间旋转：
其中：t和r代表旋转矩阵的常量，u＝1、2、3，v＝1、2、3，tu＝0，ruv＝0；如果u≠v、ruv＝1，则没有是零转换和零旋转；
归一化点集：
Np是对应点的法向量，R(pi)代表法向量的集合，mi是K范围内的点集；
偏移点集：
P＝Rk x P0+Tk
其中，Rk是K范围内的法向量集合，Tk是旋转矩阵T，K就是阈值范围，P0指起始点的集合。
步骤D中，对3D模型数据进行三角化采用以下方法：
其中：A、B、C代表构建三角形的相关点的矩阵，D代表不相关点的矩阵。
还包括交互步骤：客户端通过Javascript技术获取用户操作的鼠标信息，通过对应的端口号，以socket协议的方式传送给服务器，服务器通过步骤E至H推送媒体流数据。交互步骤中，采用socket协议，比基于Gsoap的webservice或者restful协议更加快速和稳定，生成的图片速度也更快。
还包括视频质量调整步骤：
周期性收集和判断客户端的带宽和媒体流数据的推送分辨率；
根据客户端当前带宽调整媒体流数据的推送分辨率，判断当前客户端带宽与上一周期带宽的差值，当该差值大于阈值，则调整媒体流数据的推送分辨率。
根据客户端当前带宽调整媒体流数据的推送分辨率的方法为：
客户端带宽大于400k/s，则将媒体流数据的推送分辨率调整为1024*768；
客户端带宽在150k-400k/s之间，则将媒体流数据的推送分辨率调整为640*480；
客户端带宽低于150k/s，则反馈意见给客户端。
所述视频质量调整步骤包括:
获取服务器CPU、内存运行状况，并获得服务区带宽；
当服务器CPU、内存和带宽超负荷时，根据ffmpeg的参数对媒体流数据的推送分辨率进行调整。
本方案通过实时监测用户终端和服务器的使用情况和带宽情况从而动态的改变传输的视频的质量分辨率等效果，稳定的保证了用户体验。
本发明与现有技术相比，具有如下的优点和有益效果：
1、本发明客户端通过https请求实现对设备的连接，并通过对3D模型数据进行提取、融合、简化、三角化、补洞、分割操作，采用OSMF技术解码媒体流数据，实现实时显示，且能在无插件的情况下在各个主流浏览器中正常工作，且不会有缓存拥堵而造成的视频抖动。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。
图1为本方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1
如图1所示的一种便携式3D扫描仪的流媒体可视化方法，包括以下步骤，
A、客户端通过https请求开启设备并与设备之间进行匹配；
B、扫描仪将原始3D模型数据传送给设备；
C、设备对3D模型数据进行提取、融合、简化操作并上传至服务器；
D、服务器对3D模型数据进行三角化操作并保存为stl结果；
E、读取、解析stl格式的3D模型数据并生成对应的图片序列；
F、编码图片序列生成媒体流数据；
H、以RTMP协议对媒体流数据进行推送；
J、客户端接收并以OSMF技术解码媒体流数据以播放。
实施例2
基于上述实施例，本实施例对其进行详细说明。
A、客户端通过https请求开启设备并与设备之间进行匹配；该设备可以是FPGA开发板或便携式设备，设备针对用户的请求进行用户ID和设备ID的匹配，同时客户端与设备建立TCP连接；
B、扫描仪启动并将原始3D模型数据传送给设备；
C、设备对3D模型数据进行提取、融合、简化操作并上传至服务器，以减小带宽影响；
具体的：对3D模型数据的提取采用以下方法：
Wk＝Wk+a*Error*Vk；
其中：d为点的总数；xi、yi、zi分别为i点的三维坐标；a是寻找最近的几个点的参数；Wk为最终计算出的最近点集，error为迭代次数，Vk是目标点。
步骤C中，融合提取后的3D模型数据采用以下方法：
对数据进行坐标系转换和空间旋转以将三维坐标集根据特征点进行融合和匹配，：
其中：t和r代表旋转矩阵的常量，会根据行列的限定条件进行变换；u＝1、2、3，v＝1、2、3，tu＝0，ruv＝0；如果u≠v、ruv＝1，则没有是零转换和零旋转；
归一化点集：
其中，Np是对应点的法向量，R(pi)代表法向量的集合，mi是K范围内的点集；
偏移点集：
P＝Rk x P0+Tk
其中，Rk是K范围内的法向量集合，Tk是旋转矩阵T，K就是阈值范围，P0指起始点的集合。
此公式结合ICP算法进行加强计算效果更好。
采用PCL的statistical removal方法3D模型数据进简化。
D、服务器对3D模型数据进行三角化、补洞、分割操作并保存为stl结果；
具体的：三角化操作采用以下方法：
其中：A、B、C代表构建三角形的相关点的矩阵，D代表不相关点的矩阵。
E、读取、解析stl格式的3D模型数据并生成对应的图片序列；用户在浏览器中旋转放大缩小3D模型，获取坐标信息生成对应的图片组，每一次25帧数，图片的格式是png，分辨率是1024x768。
F、将生成的图片序列根据h.264的最优设置进行快速编码，形成RTMP传输序列，每一秒15帧图片形成数据包，准备进行推送。
H、通过负载均衡技术将两组数据以RTMP的协议推送到浏览器中。
J、客户端接收并采用ActionScript应用OSMF的技术将RTMP数据包实时解码，形成流媒体可播放格式，观看。
客户端在观看时，还可与服务器进行交互。客户端通过Javascript技术获取用户操作的鼠标信息，通过对应的端口号，以socket协议的方式传送给服务器，服务器根据鼠标信息生成对应的图片序列，并通过步骤F-J完成交互。
客户端在观看时，还可对视频质量今天调整：
周期性收集和判断客户端的带宽和媒体流数据的推送分辨率，譬如每间隔一分钟进行一次该操作；
根据客户端当前带宽调整媒体流数据的推送分辨率，判断当前客户端带宽与上一周期带宽的差值，当该差值大于阈值，则调整媒体流数据的推送分辨率，该阈值可设置为200K。
根据客户端当前带宽调整媒体流数据的推送分辨率的方法为：
客户端带宽大于400k/s，则将媒体流数据的推送分辨率调整为1024*768；
客户端带宽在150k-400k/s之间，则将媒体流数据的推送分辨率调整为640*480；
客户端带宽低于150k/s，则反馈意见给客户端。
所述视频质量调整步骤包括:
获取服务器CPU、内存运行状况，并获得服务区带宽；
当服务器CPU、内存和带宽超负荷时，根据ffmpeg的参数对媒体流数据的推送分辨率进行调整。具体如下表：
本方案的方法将在扫描过程中实时并高质量的显示并能达到用户实时交互的目的，用户通过访问便携式设备的系统，对3D模型数据进行预处理，且使用任何主流浏览器且无任何插件的情况下，导入3D模型进行放大、缩小、移动等可视化操作，用户不用为了查看3D模型数据去寻找或者下载任何软件。
本技术方案首先是移动端通过4G访问便携式设备，然后利用Javascript的技术捕捉到用户的鼠标行为，通过socket协议固定的端口传输到C++中的渲染引擎，渲染引擎读取对应的模型通过传输过来的鼠标事件，根据鼠标信息生成对应的图片序列。
采用了实时监测用户终端和服务器的使用情况和带宽情况从而动态的改变传输的视频的质量分辨率等效果，稳定的保证了用户体验，所采用的流媒体调整算法是基于用户的操作行为并根据视频的I帧，B帧和P帧的关系进行最优的调整。而这部分通常的视频处理方法是根据静态的视频流进行处理，比如监控，或者视频直播，并没有基于用户的实时操作这样快速的传输响应要求。
本文提出一种基于户外便携式3D扫描仪的流媒体可视化技术，将在扫描过程中实时并高质量的显示并能达到用户实时交互的目的。本技术操作流程简单，能高实时性和稳定性地在主流浏览器以及移动端中将数据显示，大大提高了用户体验和维护成本。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种便携式3D扫描仪的流媒体可视化方法，其特征在于，包括以下步骤，
A、客户端通过https请求开启设备并与设备之间进行匹配；
B、扫描仪将原始3D模型数据传送给设备；
C、设备对3D模型数据进行提取、融合、简化操作并上传至服务器；
D、服务器对3D模型数据进行三角化操作并保存为stl结果；
E、读取、解析stl格式的3D模型数据并生成对应的图片序列；
F、编码图片序列生成媒体流数据；
H、以RTMP协议对媒体流数据进行推送；
J、客户端接收并以OSMF技术解码媒体流数据以播放。
2.根据权利要求1所述的一种便携式3D扫描仪的流媒体可视化方法，其特征在于，步骤C中，对3D模型数据的提取采用以下方法：
<mrow> <mi>d</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>z</mi> <mo>)</mo> </mrow> <mo>=</mo> <msqrt> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>d</mi> </munderover> <msubsup> <mi>W</mi> <mi>j</mi> <mn>2</mn> </msubsup> <msup> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>Y</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>Z</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>Y</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>Z</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow>
Wk＝Wk+a*Error*Vk；
其中：d为点的总数；xi、yi、zi分别为i点的三维坐标；a是寻找最近的几个点的参数；Wk为最终计算出的最近点集，error为迭代次数，Vk是目标点。
3.根据权利要求1所述的一种便携式3D扫描仪的流媒体可视化方法，其特征在于，步骤C中，融合提取后的3D模型数据采用以下步骤：
对数据进行坐标系转换和空间旋转；
归一化点集；
偏移点集。
4.根据权利要求3所述的一种便携式3D扫描仪的流媒体可视化方法，其特征在于，融合提取后的3D模型数据具体方法为：
对数据进行坐标系转换和空间旋转：
<mrow> <mi>T</mi> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>t</mi> <mn>1</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>t</mi> <mn>2</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>t</mi> <mn>3</mn> </msub> </mtd> </mtr> </mtable> </mfenced> <mi>a</mi> <mi>n</mi> <mi>d</mi> <mi> </mi> <mi>R</mi> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>r</mi> <mn>11</mn> </msub> </mtd> <mtd> <msub> <mi>r</mi> <mn>12</mn> </msub> </mtd> <mtd> <msub> <mi>r</mi> <mn>13</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>r</mi> <mn>21</mn> </msub> </mtd> <mtd> <msub> <mi>r</mi> <mn>22</mn> </msub> </mtd> <mtd> <msub> <mi>r</mi> <mn>23</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>r</mi> <mn>31</mn> </msub> </mtd> <mtd> <msub> <mi>r</mi> <mn>32</mn> </msub> </mtd> <mtd> <msub> <mi>r</mi> <mn>33</mn> </msub> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> </mrow>
其中：t和r代表旋转矩阵的常量，u＝1、2、3，v＝1、2、3，tu＝0，ruv＝0；如果u≠v、ruv＝1，则没有是零转换和零旋转；
归一化点集：
<mrow> <mi>M</mi> <mi>S</mi> <mi>E</mi> <mo>=</mo> <mfrac> <mn>1</mn> <msub> <mi>N</mi> <mi>p</mi> </msub> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <msub> <mi>N</mi> <mi>p</mi> </msub> </munderover> <mo>|</mo> <mo>|</mo> <msub> <mover> <mi>m</mi> <mo>^</mo> </mover> <mi>i</mi> </msub> <mo>-</mo> <mi>R</mi> <mrow> <mo>(</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mi>T</mi> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>,</mo> </mrow>
Np是对应点的法向量，R(pi)代表法向量的集合，mi是K范围内的点集；
偏移点集：
P＝Rk x P0+Tk
其中，Rk是K范围内的法向量集合，Tk是旋转矩阵T，K就是阈值范围，P0指起始点的集合。
5.根据权利要求1所述的一种便携式3D扫描仪的流媒体可视化方法，其特征在于，步骤D中，对3D模型数据进行三角化采用以下方法：
<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <mo>|</mo> <mtable> <mtr> <mtd> <msub> <mi>A</mi> <mi>x</mi> </msub> </mtd> <mtd> <msub> <mi>A</mi> <mi>y</mi> </msub> </mtd> <mtd> <mrow> <msubsup> <mi>A</mi> <mi>x</mi> <mn>2</mn> </msubsup> <mo>+</mo> <msubsup> <mi>A</mi> <mi>Y</mi> <mn>2</mn> </msubsup> </mrow> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> <mtr> <mtd> <msub> <mi>B</mi> <mi>X</mi> </msub> </mtd> <mtd> <msub> <mi>B</mi> <mi>Y</mi> </msub> </mtd> <mtd> <mrow> <msubsup> <mi>B</mi> <mi>X</mi> <mn>2</mn> </msubsup> <mo>+</mo> <msubsup> <mi>B</mi> <mi>Y</mi> <mn>2</mn> </msubsup> </mrow> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> <mtr> <mtd> <msub> <mi>C</mi> <mi>X</mi> </msub> </mtd> <mtd> <msub> <mi>C</mi> <mi>Y</mi> </msub> </mtd> <mtd> <mrow> <msubsup> <mi>C</mi> <mi>X</mi> <mn>2</mn> </msubsup> <mo>+</mo> <msubsup> <mi>C</mi> <mi>Y</mi> <mn>2</mn> </msubsup> </mrow> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> <mtr> <mtd> <msub> <mi>D</mi> <mi>X</mi> </msub> </mtd> <mtd> <msub> <mi>D</mi> <mi>Y</mi> </msub> </mtd> <mtd> <mrow> <msubsup> <mi>D</mi> <mi>X</mi> <mn>2</mn> </msubsup> <mo>+</mo> <msubsup> <mi>D</mi> <mi>Y</mi> <mn>2</mn> </msubsup> </mrow> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> <mo>|</mo> <mo>=</mo> <mo>|</mo> <mtable> <mtr> <mtd> <mrow> <msub> <mi>A</mi> <mi>x</mi> </msub> <mo>-</mo> <msub> <mi>D</mi> <mi>X</mi> </msub> </mrow> </mtd> <mtd> <mrow> <msub> <mi>A</mi> <mi>Y</mi> </msub> <mo>-</mo> <msub> <mi>D</mi> <mi>Y</mi> </msub> </mrow> </mtd> <mtd> <mrow> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>A</mi> <mi>X</mi> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>D</mi> <mi>X</mi> <mn>2</mn> </msubsup> </mrow> <mo>)</mo> </mrow> <mo>+</mo> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>A</mi> <mi>Y</mi> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>D</mi> <mi>Y</mi> <mn>2</mn> </msubsup> </mrow> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>B</mi> <mi>x</mi> </msub> <mo>-</mo> <msub> <mi>D</mi> <mi>X</mi> </msub> </mrow> </mtd> <mtd> <mrow> <msub> <mi>B</mi> <mi>Y</mi> </msub> <mo>-</mo> <msub> <mi>D</mi> <mi>Y</mi> </msub> </mrow> </mtd> <mtd> <mrow> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>B</mi> <mi>X</mi> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>D</mi> <mi>X</mi> <mn>2</mn> </msubsup> </mrow> <mo>)</mo> </mrow> <mo>+</mo> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>B</mi> <mi>Y</mi> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>D</mi> <mi>Y</mi> <mn>2</mn> </msubsup> </mrow> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>C</mi> <mi>x</mi> </msub> <mo>-</mo> <msub> <mi>D</mi> <mi>X</mi> </msub> </mrow> </mtd> <mtd> <mrow> <msub> <mi>C</mi> <mi>Y</mi> </msub> <mo>-</mo> <msub> <mi>D</mi> <mi>Y</mi> </msub> </mrow> </mtd> <mtd> <mrow> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>C</mi> <mi>X</mi> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>D</mi> <mi>X</mi> <mn>2</mn> </msubsup> </mrow> <mo>)</mo> </mrow> <mo>+</mo> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>C</mi> <mi>Y</mi> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>D</mi> <mi>Y</mi> <mn>2</mn> </msubsup> </mrow> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> <mo>|</mo> <mo>*</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>|</mo> <mtable> <mtr> <mtd> <mrow> <msub> <mi>A</mi> <mi>z</mi> </msub> <mo>-</mo> <msub> <mi>D</mi> <mi>z</mi> </msub> </mrow> </mtd> <mtd> <mrow> <msub> <mi>A</mi> <mi>Y</mi> </msub> <mo>-</mo> <msub> <mi>D</mi> <mi>Y</mi> </msub> </mrow> </mtd> <mtd> <mrow> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>A</mi> <mi>Z</mi> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>D</mi> <mi>Z</mi> <mn>2</mn> </msubsup> </mrow> <mo>)</mo> </mrow> <mo>+</mo> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>A</mi> <mi>Y</mi> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>D</mi> <mi>Y</mi> <mn>2</mn> </msubsup> </mrow> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>B</mi> <mi>z</mi> </msub> <mo>-</mo> <msub> <mi>D</mi> <mi>z</mi> </msub> </mrow> </mtd> <mtd> <mrow> <msub> <mi>B</mi> <mi>Y</mi> </msub> <mo>-</mo> <msub> <mi>D</mi> <mi>Y</mi> </msub> </mrow> </mtd> <mtd> <mrow> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>B</mi> <mi>Z</mi> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>D</mi> <mi>Z</mi> <mn>2</mn> </msubsup> </mrow> <mo>)</mo> </mrow> <mo>+</mo> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>B</mi> <mi>Y</mi> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>D</mi> <mi>Y</mi> <mn>2</mn> </msubsup> </mrow> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>C</mi> <mi>Z</mi> </msub> <mo>-</mo> <msub> <mi>D</mi> <mi>Z</mi> </msub> </mrow> </mtd> <mtd> <mrow> <msub> <mi>C</mi> <mi>Y</mi> </msub> <mo>-</mo> <msub> <mi>D</mi> <mi>Y</mi> </msub> </mrow> </mtd> <mtd> <mrow> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>C</mi> <mi>Z</mi> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>D</mi> <mi>Z</mi> <mn>2</mn> </msubsup> </mrow> <mo>)</mo> </mrow> <mo>+</mo> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>C</mi> <mi>Y</mi> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>D</mi> <mi>Y</mi> <mn>2</mn> </msubsup> </mrow> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> <mo>|</mo> <mo>=</mo> <mo>|</mo> <mtable> <mtr> <mtd> <mrow> <msub> <mi>A</mi> <mi>z</mi> </msub> <mo>-</mo> <msub> <mi>D</mi> <mi>z</mi> </msub> </mrow> </mtd> <mtd> <mrow> <msub> <mi>A</mi> <mi>Y</mi> </msub> <mo>-</mo> <msub> <mi>D</mi> <mi>Y</mi> </msub> </mrow> </mtd> <mtd> <mrow> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>A</mi> <mi>Z</mi> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>D</mi> <mi>Z</mi> <mn>2</mn> </msubsup> </mrow> <mo>)</mo> </mrow> <mo>+</mo> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>A</mi> <mi>Y</mi> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>D</mi> <mi>Y</mi> <mn>2</mn> </msubsup> </mrow> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>B</mi> <mi>z</mi> </msub> <mo>-</mo> <msub> <mi>D</mi> <mi>z</mi> </msub> </mrow> </mtd> <mtd> <mrow> <msub> <mi>B</mi> <mi>Y</mi> </msub> <mo>-</mo> <msub> <mi>D</mi> <mi>Y</mi> </msub> </mrow> </mtd> <mtd> <mrow> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>B</mi> <mi>Z</mi> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>D</mi> <mi>Z</mi> <mn>2</mn> </msubsup> </mrow> <mo>)</mo> </mrow> <mo>+</mo> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>B</mi> <mi>Y</mi> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>D</mi> <mi>Y</mi> <mn>2</mn> </msubsup> </mrow> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>C</mi> <mi>Z</mi> </msub> <mo>-</mo> <msub> <mi>D</mi> <mi>Z</mi> </msub> </mrow> </mtd> <mtd> <mrow> <msub> <mi>C</mi> <mi>Y</mi> </msub> <mo>-</mo> <msub> <mi>D</mi> <mi>Y</mi> </msub> </mrow> </mtd> <mtd> <mrow> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>C</mi> <mi>Z</mi> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>D</mi> <mi>Z</mi> <mn>2</mn> </msubsup> </mrow> <mo>)</mo> </mrow> <mo>+</mo> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>C</mi> <mi>Y</mi> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>D</mi> <mi>Y</mi> <mn>2</mn> </msubsup> </mrow> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> <mo>|</mo> <mo>*</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>|</mo> <mtable> <mtr> <mtd> <mrow> <msub> <mi>A</mi> <mi>x</mi> </msub> <mo>-</mo> <msub> <mi>D</mi> <mi>X</mi> </msub> </mrow> </mtd> <mtd> <mrow> <msub> <mi>A</mi> <mi>Y</mi> </msub> <mo>-</mo> <msub> <mi>D</mi> <mi>Y</mi> </msub> </mrow> </mtd> <mtd> <mrow> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>A</mi> <mi>X</mi> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>D</mi> <mi>X</mi> <mn>2</mn> </msubsup> </mrow> <mo>)</mo> </mrow> <mo>+</mo> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>A</mi> <mi>Y</mi> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>D</mi> <mi>Y</mi> <mn>2</mn> </msubsup> </mrow> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>B</mi> <mi>x</mi> </msub> <mo>-</mo> <msub> <mi>D</mi> <mi>X</mi> </msub> </mrow> </mtd> <mtd> <mrow> <msub> <mi>B</mi> <mi>Y</mi> </msub> <mo>-</mo> <msub> <mi>D</mi> <mi>Y</mi> </msub> </mrow> </mtd> <mtd> <mrow> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>B</mi> <mi>X</mi> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>D</mi> <mi>X</mi> <mn>2</mn> </msubsup> </mrow> <mo>)</mo> </mrow> <mo>+</mo> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>B</mi> <mi>Y</mi> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>D</mi> <mi>Y</mi> <mn>2</mn> </msubsup> </mrow> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>C</mi> <mi>x</mi> </msub> <mo>-</mo> <msub> <mi>D</mi> <mi>X</mi> </msub> </mrow> </mtd> <mtd> <mrow> <msub> <mi>C</mi> <mi>Y</mi> </msub> <mo>-</mo> <msub> <mi>D</mi> <mi>Y</mi> </msub> </mrow> </mtd> <mtd> <mrow> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>C</mi> <mi>X</mi> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>D</mi> <mi>X</mi> <mn>2</mn> </msubsup> </mrow> <mo>)</mo> </mrow> <mo>+</mo> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>C</mi> <mi>Y</mi> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>D</mi> <mi>Y</mi> <mn>2</mn> </msubsup> </mrow> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> <mo>|</mo> <mo>&gt;</mo> <mn>0</mn> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中：A、B、C代表构建三角形的相关点的矩阵，D代表不相关点的矩阵。
6.根据权利要求1所述的一种便携式3D扫描仪的流媒体可视化方法，其特征在于，还包括交互步骤：客户端通过Javascript技术获取用户操作的鼠标信息，通过对应的端口号，以socket协议的方式传送给服务器，服务器通过步骤E至H推送媒体流数据。
7.根据权利要求1所述的一种便携式3D扫描仪的流媒体可视化方法，其特征在于，还包括视频质量调整步骤：
周期性收集和判断客户端的带宽和媒体流数据的推送分辨率；
根据客户端当前带宽调整媒体流数据的推送分辨率，判断当前客户端带宽与上一周期带宽的差值，当该差值大于阈值，则调整媒体流数据的推送分辨率。
8.根据权利要求7所述的一种便携式3D扫描仪的流媒体可视化方法，其特征在于，根据客户端当前带宽调整媒体流数据的推送分辨率的方法为：
客户端带宽大于400k/s，则将媒体流数据的推送分辨率调整为1024*768；
客户端带宽在150k-400k/s之间，则将媒体流数据的推送分辨率调整为640*480；
客户端带宽低于150k/s，则反馈意见给客户端。
9.根据权利要求7所述的一种便携式3D扫描仪的流媒体可视化方法，其特征在于，所述视频质量调整步骤包括:
获取服务器CPU、内存运行状况，并获得服务区带宽；
当服务器CPU、内存和带宽超负荷时，根据ffmpeg的参数对媒体流数据的推送分辨率进行调整。
CN201710994594.6A 2017-10-23 2017-10-23 一种便携式3d扫描仪的流媒体可视化方法 Expired - Fee Related CN107749998B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710994594.6A CN107749998B (zh) 2017-10-23 2017-10-23 一种便携式3d扫描仪的流媒体可视化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710994594.6A CN107749998B (zh) 2017-10-23 2017-10-23 一种便携式3d扫描仪的流媒体可视化方法

Publications (2)

Publication Number Publication Date
CN107749998A true CN107749998A (zh) 2018-03-02
CN107749998B CN107749998B (zh) 2020-03-31

Family

ID=61252481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710994594.6A Expired - Fee Related CN107749998B (zh) 2017-10-23 2017-10-23 一种便携式3d扫描仪的流媒体可视化方法

Country Status (1)

Country Link
CN (1) CN107749998B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108551573A (zh) * 2018-06-12 2018-09-18 深圳中兴网信科技有限公司 影像采集方法、装置、计算机设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007058427A1 (en) * 2005-11-15 2007-05-24 Sk C & C Co.Ltd. Method for servicing garments business by using a wired or wireless network
WO2010082791A2 (ko) * 2009-01-16 2010-07-22 (주)아이옴니 패턴생성 장치 및 방법과 장갑 주문제작 장치 및 방법
CN103500013A (zh) * 2013-10-18 2014-01-08 武汉大学 基于Kinect和流媒体技术的实时三维测图系统及方法
CN103778566A (zh) * 2014-01-17 2014-05-07 广东电网公司电力科学研究院 基于三维可视化展示的火电厂监测方法
CN103823897A (zh) * 2014-03-14 2014-05-28 甘肃新空间环境科技有限公司 制种基地三维可视化地理信息系统
CN105677264A (zh) * 2016-03-17 2016-06-15 北京鲜树叶科技发展有限公司 分布厢式三维打印系统和方法
CN105946241A (zh) * 2016-07-05 2016-09-21 北京易速普瑞科技有限公司 一种新型3d打印机智能控制系统
CN106709746A (zh) * 2015-11-17 2017-05-24 北京三件客科技有限公司 3d扫描、模型测量一体化的互联网服装定制系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007058427A1 (en) * 2005-11-15 2007-05-24 Sk C & C Co.Ltd. Method for servicing garments business by using a wired or wireless network
WO2010082791A2 (ko) * 2009-01-16 2010-07-22 (주)아이옴니 패턴생성 장치 및 방법과 장갑 주문제작 장치 및 방법
CN103500013A (zh) * 2013-10-18 2014-01-08 武汉大学 基于Kinect和流媒体技术的实时三维测图系统及方法
CN103778566A (zh) * 2014-01-17 2014-05-07 广东电网公司电力科学研究院 基于三维可视化展示的火电厂监测方法
CN103823897A (zh) * 2014-03-14 2014-05-28 甘肃新空间环境科技有限公司 制种基地三维可视化地理信息系统
CN106709746A (zh) * 2015-11-17 2017-05-24 北京三件客科技有限公司 3d扫描、模型测量一体化的互联网服装定制系统
CN105677264A (zh) * 2016-03-17 2016-06-15 北京鲜树叶科技发展有限公司 分布厢式三维打印系统和方法
CN105946241A (zh) * 2016-07-05 2016-09-21 北京易速普瑞科技有限公司 一种新型3d打印机智能控制系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
余秀丽: "《基于Kinect的苹果树三维重建方法研究》", 《中国优秀硕士学位论文全文数据库》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108551573A (zh) * 2018-06-12 2018-09-18 深圳中兴网信科技有限公司 影像采集方法、装置、计算机设备及介质

Also Published As

Publication number Publication date
CN107749998B (zh) 2020-03-31

Similar Documents

Publication Publication Date Title
Zhang et al. {YuZu}:{Neural-Enhanced} volumetric video streaming
CN102930592B (zh) 基于统一资源定位符解析的云计算渲染方法
US11405695B2 (en) Training an encrypted video stream network scoring system with non-reference video scores
US20200202608A1 (en) Method and apparatus for receiving a volumetric video stream
WO2001053962A1 (en) System and method for delivering rich media content over a network
CN108965950B (zh) 一种广告监测方法和装置
Zhang et al. Efficient volumetric video streaming through super resolution
CN106303634A (zh) 一种tv设备弹幕发送系统及方法
CN101645176A (zh) 一种用于网络的三维图像交互技术
Chen et al. Learned resolution scaling powered gaming-as-a-service at scale
CN106454388A (zh) 一种用于确定直播设置信息的方法与设备
CN115190345B (zh) 用于显示媒体的协调控制方法、客户端设备及存储介质
Wang et al. Inferring end-to-end latency in live videos
CN107749998A (zh) 一种便携式3d扫描仪的流媒体可视化方法
BR112019020324A2 (pt) compactação de vídeo usando padrões de decimação em duas fases
Karim et al. Measurement of objective video quality in social cloud based on reference metric
CN113961291A (zh) 一种基于触摸手势识别与压缩表示的移动设备远程控制方法与系统
CN111866058A (zh) 数据处理方法及系统
CN113596467A (zh) 一种转码服务的检测方法、装置、电子设备及存储介质
CN110971605B (zh) 一种通过捕获数据包获取盗版游戏服务器信息的方法
CN108111880B (zh) 排障方法及排障系统
CN107872705A (zh) 一种数据采集的方法、装置和系统
CN111988537A (zh) 智能设备、矩阵墙语音交互控制的系统和方法
CN114666561B (zh) 视频融合方法、装置和系统
Crowle et al. Dynamic adaptive mesh streaming for real-time 3d teleimmersion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200331

Termination date: 20201023

CF01 Termination of patent right due to non-payment of annual fee