CN116320515B - 一种基于移动摄像设备的实时直播方法与系统 - Google Patents
一种基于移动摄像设备的实时直播方法与系统 Download PDFInfo
- Publication number
- CN116320515B CN116320515B CN202310204649.4A CN202310204649A CN116320515B CN 116320515 B CN116320515 B CN 116320515B CN 202310204649 A CN202310204649 A CN 202310204649A CN 116320515 B CN116320515 B CN 116320515B
- Authority
- CN
- China
- Prior art keywords
- time
- camera
- mobile
- real
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000005540 biological transmission Effects 0.000 claims abstract description 31
- 230000003068 static effect Effects 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims description 41
- 238000005516 engineering process Methods 0.000 claims description 19
- 230000033001 locomotion Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 14
- 238000005096 rolling process Methods 0.000 claims description 11
- 230000003287 optical effect Effects 0.000 claims description 9
- 238000013468 resource allocation Methods 0.000 claims description 6
- 230000001502 supplementing effect Effects 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 230000001133 acceleration Effects 0.000 claims description 3
- 238000007726 management method Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Studio Devices (AREA)
Abstract
一种基于移动摄像设备的实时直播方法与系统，包括用户端、移动摄像设备、控制端和访问端，在用户端输入静置物体ID后，连接到移动摄像设备，通过控制端保证移动摄像设备自动跟踪目标和实时传输，包括目标识别与跟踪模块和实时传输模块，客户通过访问端来访问直播平台，包括注册模块、登录模块和直播界面。本发明的有益效果：能够动态跟踪移动目标，并且适用于各个光线场景下跟拍，提高实时传输速率保证客户的服务质量。
Description
技术领域
本发明属于摄像技术与网络直播领域，具体涉及一种基于移动摄像设备的实时直播方法与系统。
背景技术
近年来，网络实时直播十分火热，其中目标跟踪是指对视频序列进行分析，计算出目标在每帧中的位置、大小、姿态等信息，同时还应具备鲁棒性、自适应性、实时性等要求。近十年来，随着众多国际学者的不断探索研究，目标跟踪取得了长足的进步，但由于现实世界存在很多影响跟踪的因素，要实现复杂环境下能够快速准确并且稳定的目标跟踪，仍是一项亟待解决的课题。目标跟踪的难点主要存在以下几个方面：1)复杂的背景：当背景中存在噪声或与目标相似的物体或颜色，会增加目标跟踪的难度，如噪声的话会使基于特征点的跟踪器出现问题，纹理背景可以导致基于边缘的跟踪器失效等。2)目标外观变化：目标外观变化：在跟踪过程中，存在很多客观因素会造成目标的姿态、角度、尺度以及所处光线等变化，甚至发生部分遮挡的情况，这些情况都容易造成跟踪器发生漂移，导致跟踪失败。3)遮挡：部分遮挡和全部遮挡在目标跟踪中经常发生，局部遮挡虽仍可进行跟踪，但可靠性会受较大影响：全部遮挡则会引起目标暂时消失，只能依据目标运动先验知识预测目标位置，如此时目标运动状态有变化，会导致跟踪结果出现较大偏差。
发明内容
针对上述问题，本发明旨在提供一种基于移动摄像设备的实时直播方法与系统。
本发明创造的目的通过以下技术方案实现：
一种基于移动摄像设备的实时直播方法与系统，包括用户端、移动摄像设备、控制端和访问端，用户端用来服务于静置物体，如静置汽车，每个静置物体在使用移动摄像设备时都需要输入ID账号，以登录属于静置物体自己的拍摄平台，每一个静置物体只能对应一个拍摄平台，拍摄平台被嵌入在移动机器人内，且移动机器人可装载移动拍摄设备在同一时间只能登录一个静置物体的ID账号，静置物体连接到移动摄像设备时后，开始对进行实时直播拍摄作业，由于装载了移动摄像设备在使用时是三维运动，在拍摄设备移动的过程中会造成方向性抖动和旋转性抖动，其中方向性包括水平抖动和前后抖动，旋转性抖动包括滚转抖动和偏航抖动，需要机身防抖装置和摄像头防抖装置，此外，为了适应白天和黑夜条件下的连续直播拍摄作业，摄像头包括光学摄像头、补光摄像头和红外摄像头，以保证直播在白天、弱光、夜晚条件下拍摄的连续性，为了能实时跟拍静置物体，移动摄像设备通过串口控制云台，让摄像头旋转，支持水平方向的转动，通过控制端的目标识别与跟踪模块跟踪到静置物体实时位置和相对位置，串口控制移动摄像设备的摄像头及时锁定，通过实时传输模块利用移动边缘计算技术使计算去中心化下沉到各个算力，以加速拍摄平台对实时直播数据的处理，降低时延来保证客户的服务质量，客户登录访问端就可以看到静置物体的实时直播，如果是新客户，那么需要在注册模块完成信息的注册后，通过登录模块登录直播界面以访问静置物体的实时直播作业。
进一步的，该发明提供了一种拍摄平台，在该拍摄平台下，所述用户端用来服务于静置物体，每个静置物体在使用移动摄像设备时都需要输入静置物体的ID账号，在购买该拍摄平台服务后会自动向静置物体发送一个唯一ID账号用于静置物体的使用，以登录属于静置物体自己的拍摄平台，每一个静置物体只能对应一个拍摄平台，每一个移动拍摄设备可以对应多个静置物体，但每一个移动拍摄设备在同一时间只能登录一个静置物体的ID账号，以保证移动拍摄设备在工作时的账号唯一性。
进一步的，静置物体连接到移动摄像设备时后，开始进行实时直播拍摄作业，由于移动摄像设备使用时是三维运动，在移动机器人移动的过程中会造成方向性抖动和旋转性抖动，其中方向性包括水平抖动和前后抖动，旋转性抖动包括滚转抖动和偏航抖动，需要机身防抖装置和摄像头防抖装置，通过物理移动摄像设备内的传感器来补偿相机移动，内置的加速度测量仪和陀螺仪能够计算移动摄像设备的运动和旋转，采用了四轴防抖技术，即内置的陀螺仪沿着水平、前后、滚转、偏航这四轴提供稳定性，此外，为了适应白天和黑夜条件下的连续直播拍摄作业，摄像头包括光学摄像头、补光摄像头和红外摄像头，正常状态下移动摄像设备默认的工作方式使用的摄像头是光学摄像头，当光线不好如雨水、阴天、沙尘天气，可通过补光摄像头对静置物体补光，当为夜间拍摄时，根据直播内容所需增加了红外摄像头对静置物体进行红外拍摄，以保证直播在白天、弱光、夜晚条件下拍摄的连续性，为了能及时跟拍静置物体的动态性，移动摄像设备安装了串口，支持水平方向的转动。
进一步的，通过控制端的目标识别与跟踪模块跟踪到静置物体的移动和预移动的轨迹，舵机以控制移动摄像设备的摄像头及时跟踪。
进一步的，通过实时传输模块利用移动边缘计算技术使计算去中心化下沉到各个算力，以加速拍摄平台对实时直播数据的处理，降低时延来保证客户的服务质量，利用移动边缘计算(MEC)技术将本地实时计算的任务卸载到边缘服务器中进行计算，为了保证时延最小的用户服务，搭建了边缘云(Edge-Cloud)框架，在Edge-Cloud框架内，具有安全性的边缘网络的总服务时间ST表示为：
ST＝Tsecurity+Ttransmission+Tcalculation
其中，Ttransmission为数据传输时延，Tsecurity为安全管理时延，Tcalculation为计算时延，事实上，对于某些服务，Ttransmission、Tsecurity和Tcalculation有重叠部分，因此，上式是ST的一个松散估计，松散估计为服务提供商提供一个松散的时间来完成任务，这使得超出用户时间限制的可能性比严格估计要小，移动拍摄设备的性能决定了安全措施的执行效率，考虑到广泛使用的加密算法、高级加密标准和主流的数字签名算法SHA-256，它们的执行时间可以近似地认为与数据量成正比，安全管理时延计算公式如下：
Tsecurity＝ts·cpi·dai
其中，ts为安全算法的复杂度系数，cpi表示第i个边缘节点的CPU计算能力，dai表示第i个子任务的数据量，此外，子任务的计算需要不同的执行时间，因此，在评估Ttransmission+Tcalculation的值之前，必须先建立一个资源分配方案，资源分配方案最重要的目标之一是求得Ttransmission+Tcalculation的最小值，假设有N个可用的边缘计算节点和m个在服务时被攻击的节点，用户的任务被分解成m个子任务，假设第i个子任务由第i个边缘节点处理，从用户端传输到边缘网络的任务需求的总数据量用tvt表示，将第i个子任务的计算量表示为cai。则通过边缘节点i计算第i个子任务的时间为：/>计算第i个边缘节点的CPU功耗为：/>其中，ρi为每个CPU周期消耗的能量功率系数，设vi表示上行数据速率，得到第i个子任务的传输时间为ti＝dai/vi，在形式上，基于最小服务时间的任务卸载问题可以表示为：
使得：
其中，目标函数ST是线性的，并且约束条件都是线性的，因此，对于线性规划问题，minST可由单纯型表进行最优求解。
进一步的，所述注册模块，用于新人注册账户，以建立连接，实现拍摄平台为客户服务功能。
进一步的，所述登录模块，设置登录界面，包括姓名输入栏、手机号输入栏、身份证号输入栏、验证码栏，输入相关的信息以进行安全验证，保证客户为本人操作，由拍摄平台保存客户的访问频率以及访问记录。
进一步的，所述直播界面，在客户登录后，可以选择进入静置物体的直播房间进行观看。
本发明的有益效果：能够应对各种天气在不同光照场景下进行实时直播拍摄，移动摄像设备采用了四轴防抖技术，即内置的陀螺仪可以沿着水平、前后、滚转、偏航这四个轴提供稳定性，使装载移动拍摄设备的机器人获得相对稳定的拍摄画质，并且装有了串口，通过串口控制云台，让摄像头旋转，通过目标识别与跟踪模块自动对焦并锁定静置物体，通过提取静置物体的特征以实现对静置物体的识别，实时调整舵机的旋转角度，以保证静置物体始终处于移动拍摄设备的对焦准心，实时传输模块利用了边缘计算技术，通过拍摄者周围的边缘节点实现数据的处理与分析，由于直播最核心的关键点在于实时性，边缘计算技术将复杂的、实时的、动态的视频数据下沉到周围的边缘节点，进行任务卸载，其中任务卸载包括完全卸载和部分卸载，在计算量庞大的场景下，移动拍摄设备为了释放本地计算的压力，将选择完全卸载，即所有的实时直播视频数据都会发送至目标边缘节点建立通信，在分布式节点的环境下，所产生的时延包括上传时延、执行时延和下载时延，移动拍摄设备将实时直播数据上传后由边缘节点代理处理，处理过程中会产生一定的时延，处理的过程可按需要包括编码、加密、解密、译码、图像处理等操作，最后将处理好的实时直播视屏数据进行下载，回传给移动拍摄设备，在直播界面展示给客户。此外，本发明还具有潜在的商业价值，当静置物体注册使用后，其流量和热度会带动该拍摄平台的客户流动性和活跃度，其子产业链包括电子商务、元宇宙电商平台将会应运而生，促进互联网经济血液流动的新鲜度，并扩大市场交易的份额、丰富市场交易的形式。
附图说明
利用附图对发明创造作进一步说明,但附图中的实施例不构成对本发明创造的任何限制,对于本领域的普通技术人员,在不付出创造性劳动的前提下,还可以根据以下附图获得其它的附图。
图1是本发明结构示意图。
具体实施方式
结合以下实例对本发明作进一步描述。
参见图1，本发明旨在提供一种基于移动摄像设备的实时直播方法与系统，包括用户端、移动摄像设备、控制端和访问端，用户端用来服务于静置物体，如静置汽车，每个静置物体在使用移动摄像设备时都需要输入ID账号，以登录属于静置物体自己的拍摄平台，每一个静置物体只能对应一个拍摄平台，拍摄平台被嵌入在移动机器人内，且移动机器人可装载移动拍摄设备在同一时间只能登录一个静置物体的ID账号，静置物体连接到移动摄像设备时后，开始对进行实时直播拍摄作业，由于装载了移动摄像设备在使用时是三维运动，在拍摄设备移动的过程中会造成方向性抖动和旋转性抖动，其中方向性包括水平抖动和前后抖动，旋转性抖动包括滚转抖动和偏航抖动，需要机身防抖装置和摄像头防抖装置，此外，为了适应白天和黑夜条件下的连续直播拍摄作业，摄像头包括光学摄像头、补光摄像头和红外摄像头，以保证直播在白天、弱光、夜晚条件下拍摄的连续性，为了能实时跟拍静置物体，移动摄像设备通过串口控制云台，让摄像头旋转，支持水平方向的转动，通过控制端的目标识别与跟踪模块跟踪到静置物体实时位置和相对位置，串口控制移动摄像设备的摄像头及时锁定，通过实时传输模块利用移动边缘计算技术使计算去中心化下沉到各个算力，以加速拍摄平台对实时直播数据的处理，降低时延来保证客户的服务质量，客户登录访问端就可以看到静置物体的实时直播，如果是新客户，那么需要在注册模块完成信息的注册后，通过登录模块登录直播界面以访问静置物体的实时直播作业。
进一步的，该发明提供了一种拍摄平台，在该拍摄平台下，所述用户端用来服务于静置物体，每个静置物体在使用移动摄像设备时都需要输入静置物体的ID账号，在购买该拍摄平台服务后会自动向静置物体发送一个唯一ID账号用于静置物体的使用，以登录属于静置物体自己的拍摄平台，每一个静置物体只能对应一个拍摄平台，每一个移动拍摄设备可以对应多个静置物体，但每一个移动拍摄设备在同一时间只能登录一个静置物体的ID账号，以保证移动拍摄设备在工作时的账号唯一性。
进一步的，静置物体连接到移动摄像设备时后，开始进行实时直播拍摄作业，由于移动摄像设备使用时是三维运动，在移动机器人移动的过程中会造成方向性抖动和旋转性抖动，其中方向性包括水平抖动和前后抖动，旋转性抖动包括滚转抖动和偏航抖动，需要机身防抖装置和摄像头防抖装置，通过物理移动摄像设备内的传感器来补偿相机移动，内置的加速度测量仪和陀螺仪能够计算移动摄像设备的运动和旋转，采用了四轴防抖技术，即内置的陀螺仪沿着水平、前后、滚转、偏航这四轴提供稳定性，此外，为了适应白天和黑夜条件下的连续直播拍摄作业，摄像头包括光学摄像头、补光摄像头和红外摄像头，正常状态下移动摄像设备默认的工作方式使用的摄像头是光学摄像头，当光线不好如雨水、阴天、沙尘天气，可通过补光摄像头对静置物体补光，当为夜间拍摄时，根据直播内容所需增加了红外摄像头对静置物体进行红外拍摄，以保证直播在白天、弱光、夜晚条件下拍摄的连续性，为了能及时跟拍静置物体的动态性，移动摄像设备安装了串口，支持水平方向的转动。
具体的，通过控制端的目标识别与跟踪模块跟踪到静置物体的移动和预移动的轨迹，舵机以控制移动摄像设备的摄像头及时跟踪。
优选的，通过实时传输模块利用移动边缘计算技术使计算去中心化下沉到各个算力，以加速拍摄平台对实时直播数据的处理，降低时延来保证客户的服务质量，利用移动边缘计算(MEC)技术将本地实时计算的任务卸载到边缘服务器中进行计算，为了保证时延最小的用户服务，搭建了边缘云(Edge-Cloud)框架，在Edge-Cloud框架内，具有安全性的边缘网络的总服务时间ST表示为：
ST＝Tsecurity+Ttransmission+Tcalculation
其中，Ttransmission为数据传输时延，Tsecurity为安全管理时延，Tcalculation为计算时延，事实上，对于某些服务，Ttransmission、Tsecurity和Tcalculation有重叠部分，因此，上式是ST的一个松散估计，松散估计为服务提供商提供一个松散的时间来完成任务，这使得超出用户时间限制的可能性比严格估计要小，移动拍摄设备的性能决定了安全措施的执行效率，考虑到广泛使用的加密算法、高级加密标准和主流的数字签名算法SHA-256，它们的执行时间可以近似地认为与数据量成正比，安全管理时延计算公式如下：
Tsecurity＝ts·cpi·dai
其中，ts为安全算法的复杂度系数，cpi表示第i个边缘节点的CPU计算能力，dai表示第i个子任务的数据量，此外，子任务的计算需要不同的执行时间，因此，在评估Ttransmission+Tcalculation的值之前，必须先建立一个资源分配方案，资源分配方案最重要的目标之一是求得Ttransmission+Tcalculation的最小值，假设有N个可用的边缘计算节点和m个在服务时被攻击的节点，用户的任务被分解成m个子任务，假设第i个子任务由第i个边缘节点处理，从用户端传输到边缘网络的任务需求的总数据量用tvt表示，将第i个子任务的计算量表示为cai。则通过边缘节点i计算第i个子任务的时间为：/>计算第i个边缘节点的CPU功耗为：/>其中，ρi为每个CPU周期消耗的能量功率系数，设vi表示上行数据速率，得到第i个子任务的传输时间为ti＝dai/vi，在形式上，基于最小服务时间的任务卸载问题可以表示为：
使得：
其中，目标函数ST是线性的，并且约束条件都是线性的，因此，对于线性规划问题，minST可由单纯型表进行最优求解。
具体的，所述注册模块，用于新人注册账户，以建立连接，实现拍摄平台为客户服务功能。
具体的，所述登录模块，设置登录界面，包括姓名输入栏、手机号输入栏、身份证号输入栏、验证码栏，输入相关的信息以进行安全验证，保证客户为本人操作，由拍摄平台保存客户的访问频率以及访问记录。
具体的，所述直播界面，在客户登录后，可以选择进入静置物体的直播房间进行观看。
本发明的有益效果：能够应对各种天气在不同光照场景下进行实时直播拍摄，移动摄像设备采用了四轴防抖技术，即内置的陀螺仪可以沿着水平、前后、滚转、偏航这四个轴提供稳定性，使装载移动拍摄设备的机器人获得相对稳定的拍摄画质，并且装有了串口，通过串口控制云台，让摄像头旋转，通过目标识别与跟踪模块自动对焦并锁定静置物体，通过提取静置物体的特征以实现对静置物体的识别，实时调整舵机的旋转角度，以保证静置物体始终处于移动拍摄设备的对焦准心，实时传输模块利用了边缘计算技术，通过拍摄者周围的边缘节点实现数据的处理与分析，由于直播最核心的关键点在于实时性，边缘计算技术将复杂的、实时的、动态的视频数据下沉到周围的边缘节点，进行任务卸载，其中任务卸载包括完全卸载和部分卸载，在计算量庞大的场景下，移动拍摄设备为了释放本地计算的压力，将选择完全卸载，即所有的实时直播视频数据都会发送至目标边缘节点建立通信，在分布式节点的环境下，所产生的时延包括上传时延、执行时延和下载时延，移动拍摄设备将实时直播数据上传后由边缘节点代理处理，处理过程中会产生一定的时延，处理的过程可按需要包括编码、加密、解密、译码、图像处理等操作，最后将处理好的实时直播视屏数据进行下载，回传给移动拍摄设备，在直播界面展示给客户。此外，本发明还具有潜在的商业价值，当静置物体注册使用后，其流量和热度会带动该拍摄平台的客户流动性和活跃度，其子产业链包括电子商务、元宇宙电商平台将会应运而生，促进互联网经济血液流动的新鲜度，并扩大市场交易的份额、丰富市场交易的形式。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。
Claims (7)
1.一种基于移动摄像设备的实时直播系统，包括用户端、移动摄像设备、控制端和访问端，用户端用来服务于静置物体，如静置汽车，每个静置物体在使用移动摄像设备时都需要输入ID账号，以登录属于静置物体自己的拍摄平台，每一个静置物体只能对应一个拍摄平台，拍摄平台被嵌入在移动机器人内，且移动机器人可装载移动拍摄设备在同一时间只能登录一个静置物体的ID账号，静置物体连接到移动摄像设备时，开始进行实时直播拍摄作业，由于移动摄像设备在使用时是三维运动，在拍摄设备移动的过程中会造成方向性抖动和旋转性抖动，其中方向性包括水平抖动和前后抖动，旋转性抖动包括滚转抖动和偏航抖动，需要机身防抖装置和摄像头防抖装置，此外，为了适应白天和黑夜条件下的连续直播拍摄作业，摄像头包括光学摄像头、补光摄像头和红外摄像头，以保证直播在白天、弱光、夜晚条件下拍摄的连续性，为了能实时跟拍静置物体，移动摄像设备通过串口控制云台，让摄像头旋转，支持水平方向的转动，通过控制端的目标识别与跟踪模块跟踪到静置物体实时位置和相对位置，串口控制移动摄像设备的摄像头及时锁定，通过实时传输模块利用移动边缘计算技术使计算去中心化下沉到各个算力，以加速拍摄平台对实时直播数据的处理，降低时延来保证客户的服务质量，客户登录访问端就可以看到静置物体的实时直播，如果是新客户，那么需要在注册模块完成信息的注册后，通过登录模块登录直播界面以访问静置物体的实时直播作业；
通过实时传输模块利用移动边缘计算技术使计算去中心化下沉到各个算力，以加速拍摄平台对实时直播数据的处理，降低时延来保证客户的服务质量，具体为，利用移动边缘计算(MEC)技术将本地实时计算的任务卸载到边缘服务器中进行计算，为了保证时延最小的用户服务，搭建了边缘云(Edge-Cloud)框架，在Edge-Cloud框架内，具有安全性的边缘网络的总服务时间ST表示为：
ST＝Tsecurity+Ttransmission+Tcalculation
其中，Ttransmission为数据传输时延，Tsecurity为安全管理时延，Tcalculation为计算时延，事实上，对于某些服务，Ttransmission、Tsecurity和Tcalculation有重叠部分，因此，上式是ST的一个松散估计，松散估计为服务提供商提供一个松散的时间来完成任务，这使得超出用户时间限制的可能性比严格估计要小，移动拍摄设备的性能决定了安全措施的执行效率，考虑到广泛使用的加密算法、高级加密标准和主流的数字签名算法SHA-256，它们的执行时间可以近似地认为与数据量成正比，安全管理时延计算公式如下：
Tsecurity＝ts·cpi·dai
其中，ts为安全算法的复杂度系数，cpi表示第i个边缘节点的CPU计算能力，dai表示第i个子任务的数据量，此外，子任务的计算需要不同的执行时间，因此，在评估Ttransmission+Tcalcuation的值之前，必须先建立一个资源分配方案，资源分配方案最重要的目标之一是求得Ttransmission+Tcalculation的最小值，假设有N个可用的边缘计算节点和m个在服务时被攻击的节点，用户的任务被分解成m个子任务，假设第i个子任务由第i个边缘节点处理，从用户端传输到边缘网络的任务需求的总数据量用tvt表示，将第i个子任务的计算量表示为cai；则通过边缘节点i计算第i个子任务的时间为：/>计算第i个边缘节点的CPU功耗为：其中，ρi为每个CPU周期消耗的能量功率系数，设vi表示上行数据速率，得到第i个子任务的传输时间为ti＝dai/vi，在形式上，基于最小服务时间的任务卸载问题可以表示为：
使得：
其中，目标函数ST是线性的，并且约束条件都是线性的，因此，对于线性规划问题，minST可由单纯型表进行最优求解。
2.根据权利要求1所述一种基于移动摄像设备的实时直播系统，其特征在于，该系统提供了一种拍摄平台，在该拍摄平台下，所述用户端用来服务于静置物体，每个静置物体在使用移动摄像设备时都需要输入静置物体的ID账号，在购买该拍摄平台服务后会自动向静置物体发送一个唯一ID账号用于静置物体的使用，以登录属于静置物体自己的拍摄平台，每一个静置物体只能对应一个拍摄平台，每一个移动拍摄设备可以对应多个静置物体，但每一个移动拍摄设备在同一时间只能登录一个静置物体的ID账号，以保证移动拍摄设备在工作时的账号唯一性。
3.根据权利要求1所述一种基于移动摄像设备的实时直播系统，其特征在于，静置物体连接到移动摄像设备后，开始进行实时直播拍摄作业，由于移动摄像设备使用时是三维运动，在移动机器人移动的过程中会造成方向性抖动和旋转性抖动，其中方向性包括水平抖动和前后抖动，旋转性抖动包括滚转抖动和偏航抖动，需要机身防抖装置和摄像头防抖装置，具体为，通过物理移动摄像设备内的传感器来补偿相机移动，内置的加速度测量仪和陀螺仪能够计算移动摄像设备的运动和旋转，采用了四轴防抖技术，即内置的陀螺仪沿着水平、前后、滚转、偏航这四轴提供稳定性，此外，为了适应白天和黑夜条件下的连续直播拍摄作业，摄像头包括光学摄像头、补光摄像头和红外摄像头，具体为，正常状态下移动摄像设备默认的工作方式使用的摄像头是光学摄像头，当光线不好如雨水、阴天、沙尘天气，可通过补光摄像头对静置物体补光，当为夜间拍摄时，根据直播内容所需增加了红外摄像头对静置物体进行红外拍摄，以保证直播在白天、弱光、夜晚条件下拍摄的连续性，为了能及时跟拍静置物体的动态性，移动摄像设备安装了串口，支持水平方向的转动。
4.根据权利要求1所述一种基于移动摄像设备的实时直播系统，其特征在于，通过控制端的目标识别与跟踪模块跟踪到静置物体的移动和预移动的轨迹，舵机以控制移动摄像设备的摄像头及时跟踪。
5.根据权利要求1所述一种基于移动摄像设备的实时直播系统，其特征在于，所述注册模块，用于新人注册账户，以建立连接，实现拍摄平台为客户服务功能。
6.根据权利要求1所述一种基于移动摄像设备的实时直播系统，其特征在于，所述登录模块，设置登录界面，包括姓名输入栏、手机号输入栏、身份证号输入栏、验证码栏，输入相关的信息以进行安全验证，保证客户为本人操作，由拍摄平台保存客户的访问频率以及访问记录。
7.根据权利要求1所述一种基于移动摄像设备的实时直播系统，其特征在于，所述直播界面，在客户登录后，可以选择进入静置物体的直播房间进行观看。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310204649.4A CN116320515B (zh) | 2023-03-06 | 2023-03-06 | 一种基于移动摄像设备的实时直播方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310204649.4A CN116320515B (zh) | 2023-03-06 | 2023-03-06 | 一种基于移动摄像设备的实时直播方法与系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116320515A CN116320515A (zh) | 2023-06-23 |
| CN116320515B true CN116320515B (zh) | 2023-09-08 |
Family
ID=86797229
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310204649.4A Active CN116320515B (zh) | 2023-03-06 | 2023-03-06 | 一种基于移动摄像设备的实时直播方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116320515B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006050149A (ja) * | 2004-08-03 | 2006-02-16 | Fuji Photo Film Co Ltd | 流し撮り方法および撮影装置 |
| CN107770437A (zh) * | 2017-09-08 | 2018-03-06 | 温州大学 | 无人机摄影摄像系统及其位移补偿机构 |
| CN109286833A (zh) * | 2018-09-30 | 2019-01-29 | 湖南机电职业技术学院 | 一种应用于网络直播中的信息处理方法及系统 |
| CN111476171A (zh) * | 2020-04-09 | 2020-07-31 | 腾讯科技（深圳）有限公司 | 分布式对象识别系统、方法及边缘计算设备 |
| CN112580607A (zh) * | 2021-01-05 | 2021-03-30 | 上海忘梦堂网络科技有限公司 | 一种基于视频数据结构化方法 |
| WO2021200304A1 (ja) * | 2020-03-31 | 2021-10-07 | ソニーグループ株式会社 | ライブ映像制作システム、ライブ映像制作方法及びクラウドサーバ |
| KR20220125648A (ko) * | 2021-03-05 | 2022-09-14 | 삼성전자주식회사 | 이미지 생성을 위한 전자 장치 및 전자 장치의 동작 방법 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10497272B2 (en) * | 2016-11-23 | 2019-12-03 | Broadband Education Pte. Ltd. | Application for interactive learning in real-time |
| CN114205515B (zh) * | 2020-09-18 | 2023-04-07 | 荣耀终端有限公司 | 一种视频的防抖处理方法及电子设备 |
-
2023
- 2023-03-06 CN CN202310204649.4A patent/CN116320515B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006050149A (ja) * | 2004-08-03 | 2006-02-16 | Fuji Photo Film Co Ltd | 流し撮り方法および撮影装置 |
| CN107770437A (zh) * | 2017-09-08 | 2018-03-06 | 温州大学 | 无人机摄影摄像系统及其位移补偿机构 |
| CN109286833A (zh) * | 2018-09-30 | 2019-01-29 | 湖南机电职业技术学院 | 一种应用于网络直播中的信息处理方法及系统 |
| WO2021200304A1 (ja) * | 2020-03-31 | 2021-10-07 | ソニーグループ株式会社 | ライブ映像制作システム、ライブ映像制作方法及びクラウドサーバ |
| CN111476171A (zh) * | 2020-04-09 | 2020-07-31 | 腾讯科技（深圳）有限公司 | 分布式对象识别系统、方法及边缘计算设备 |
| CN112580607A (zh) * | 2021-01-05 | 2021-03-30 | 上海忘梦堂网络科技有限公司 | 一种基于视频数据结构化方法 |
| KR20220125648A (ko) * | 2021-03-05 | 2022-09-14 | 삼성전자주식회사 | 이미지 생성을 위한 전자 장치 및 전자 장치의 동작 방법 |
Non-Patent Citations (1)
| Title |
|---|
| OGC视频直播新时代展望;尤琰;张东卓;孟晓斌;;中兴通讯技术(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116320515A (zh) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102506959B1 (ko) | 깊이 추정 시스템의 자가 감독 훈련 | |
| JP7174139B2 (ja) | 深度ヒントを使用した深度推定モデルの自己教師ありトレーニング | |
| CN109788189B (zh) | 将相机与陀螺仪融合在一起的五维视频稳定化装置及方法 | |
| US11557083B2 (en) | Photography-based 3D modeling system and method, and automatic 3D modeling apparatus and method | |
| US9924104B2 (en) | Background-differential extraction device and background-differential extraction method | |
| WO2007090945A1 (fr) | Procede pour suivre la position de la tete en temps reel dans un flux d'images video | |
| US20230316690A1 (en) | 3-D Reconstruction Using Augmented Reality Frameworks | |
| CN115690382B (zh) | 深度学习模型的训练方法、生成全景图的方法和装置 | |
| CN103985103A (zh) | 一种生成全景图片的方法和装置 | |
| CN112489121A (zh) | 视频融合方法、装置、设备、及存储介质 | |
| WO2023041013A1 (zh) | 一种无人机拍摄方法、装置、无人机及存储介质 | |
| US20180374075A1 (en) | Systems and methods for physical location verification | |
| CN116320515B (zh) | 一种基于移动摄像设备的实时直播方法与系统 | |
| Zhu et al. | PairCon-SLAM: Distributed, online, and real-time RGBD-SLAM in large scenarios | |
| CN111494947B (zh) | 摄像机移动轨迹确定方法、装置、电子设备及存储介质 | |
| WO2023241495A1 (zh) | 拍摄方法及其装置 | |
| CN107655458A (zh) | 基于gis的全景图场景自动关联方法 | |
| CN116137025A (zh) | 视频图像矫正方法及装置、计算机可读介质和电子设备 | |
| Feng et al. | Sensor synchronization for Android phone tightly-coupled visual-inertial SLAM | |
| US20240185478A1 (en) | Virtual Occlusion Mask Prediction Through Implicit Depth Estimation | |
| CA3102860C (en) | Photography-based 3d modeling system and method, and automatic 3d modeling apparatus and method | |
| TWI839513B (zh) | 用於利用深度提示之深度預估模型之自我監督訓練之電腦實施之方法及非暫時性電腦可讀儲存媒體 | |
| CN116668660A (zh) | 一种图像显示方法、装置、设备及存储介质 | |
| US20230146794A1 (en) | Video image display method and apparatus | |
| AU2021397258A1 (en) | 3-d reconstruction using augmented reality frameworks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |