CN111586390B - 一种用于周扫立体全景视频的处理方法、系统与存储介质 - Google Patents

一种用于周扫立体全景视频的处理方法、系统与存储介质 Download PDF

Info

Publication number
CN111586390B
CN111586390B CN202010326037.9A CN202010326037A CN111586390B CN 111586390 B CN111586390 B CN 111586390B CN 202010326037 A CN202010326037 A CN 202010326037A CN 111586390 B CN111586390 B CN 111586390B
Authority
CN
China
Prior art keywords
paths
video
signals
optical fiber
video streams
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010326037.9A
Other languages
English (en)
Other versions
CN111586390A (zh
Inventor
尹江明
陈小天
邵逢仙
唐新春
王大雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Aoying Chuangshi Information Technology Co ltd
Original Assignee
Hunan Aoying Chuangshi Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Aoying Chuangshi Information Technology Co ltd filed Critical Hunan Aoying Chuangshi Information Technology Co ltd
Priority to CN202010326037.9A priority Critical patent/CN111586390B/zh
Publication of CN111586390A publication Critical patent/CN111586390A/zh
Application granted granted Critical
Publication of CN111586390B publication Critical patent/CN111586390B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/22—Adaptations for optical transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明涉及VR采样控制技术领域，公开了一种用于周扫立体全景视频的处理方法、系统与存储介质，以对前端双路高速旋转探测设备探测的信息进行及时采集、处理与同步输出，以提高所形成视频的衔接性。该处理方法包括通过设于电机上的两组探测装置分别对待周扫区域进行周扫以采集到两路视频数据；采用光电转换模块分别对两路视频数据进行组帧处理得到两路视频流，对两路视频流进行同步处理得到两路并行且同步的视频流；采用串行编码方式将两路并行且同步的视频流转换为一路串行信号，并将串行信号转换为光纤信号，将光纤信号通过光电滑环进行传输。

Description

一种用于周扫立体全景视频的处理方法、系统与存储介质
技术领域
本发明涉及VR采集控制技术领域，尤其涉及一种用于周扫立体全景视频的处理方法、系统与存储介质。
背景技术
随着人工智能以及5G技术的发展，VR技术在近几年获得很大的发展并得到广泛应用。然而，目前VR技术离现场5G真3D全景VR直播还有较大的差距。目前国内外VR技术广泛采用的是多摄像机系统，利用该系统方案进行VR视频的制作计算光流进行无缝的拼接和立体渲染，由于光流的计算和深度的估计计算量巨大目前还不能做到实时合成和直播，大多采用事后合成制作视频内容。由于目前的前端探测设备在探测到信息后没有进行相应的处理，使得形成的视频场景中近处、透明、高反的物体会出现例如断裂的问题，大大影响了体验的效果。
因此，如何对前端探测设备探测的信息进行及时处理以提高所形成视频的衔接性成为一个急需解决的问题。
发明内容
本发明目的在于提供一种用于周扫立体全景视频的处理方法、系统与存储介质，以对双路高速旋转前端探测设备探测的信息进行及时采集、处理与同步输出以提高所形成视频的衔接性。
为实现上述目的，本发明提供了一种用于周扫立体全景视频的处理方法，包括以下步骤：
通过设于电机上的两组探测装置分别对待周扫区域进行周扫以采集到两路视频数据；
采用光电转换模块分别对所述两路视频数据进行组帧处理得到两路视频流，对所述两路视频流进行同步处理得到两路并行且同步的视频流；采用串行编码方式将所述两路并行且同步的视频流转换为一路串行信号，并将所述串行信号转换为光纤信号，将所述光纤信号通过光电滑环传输。
优选地，还包括；
通过数据处理模块接收所述光纤信号，将所述光纤信号转换为电信号，并解析所述电信号得到最终的全景视频。
优选地，还包括：
获取所述两组探测装置的周扫速度，当所述周扫速度超过所述光电滑环的传输带宽时，所述将所述串行信号转换为光纤信号之前还包括：采用光电转换模块对所述串行信号进行编码压缩处理，并添加编码标记作为包头信息，然后将包括所述包头的压缩数据包转换为所述光纤信号。
优选地，当所述周扫速度超过所述光电滑环的传输带宽时，所述解析所述电信号得到两路视频信号之前还包括：获取所述电信号中的压缩数据包的包头信息，若所述包头信息包括编码标记，则对所述压缩包数据进行解码处理以便于执行后续的所述解析步骤。
优选地，所述对所述两路视频流进行同步处理得到两路并行且同步的视频流包括：
通过光电转换板同时给两个探测装置发送触发信号，每发送一次触发信号，探测装置输出一次数据以确保所述两个探测出装置输出的两路视频数据是同时触发。
优选地，所述解析所述电信号得到最终的全景视频包括：
解析所述电信号得到两路视频信号；
获取所述电机的转速，根据所述电机的转速对所述两路视频信号进行同步帧提取，采用计算成像算法对同步帧提取结果进行计算得到所述最终的全景视频。
作为一个总的发明构思，本发明还提供一种用于周扫立体全景视频的处理系统，包括：
两组探测装置，用于对待周扫区域进行周扫以采集到两路视频数据；
电机，用于带动所述两组探测装置进行周扫；
光电转换模块，用于对所述两路视频数据进行组帧处理得到两路视频流，对所述两路视频流进行同步处理得到两路并行且同步的视频流；采用串行编码方式将所述两路并行且同步的视频流转换为一路串行信号，并将所述串行信号转换为光纤信号；
光电滑环，用于传输所述光纤信号。
优选地，还包括：
数据处理模块，用于接收所述光纤信号，将所述光纤信号转换为电信号，并解析所述电信号得到最终的全景视频。
优选地，所述数据处理模块包括：
解析子模块，用于解析所述电信号得到两路视频信号；
同步提取子模块，用于获取所述电机的转速，根据所述电机的转速对所述两路视频信号进行同步帧提取，采用计算成像算法对同步帧提取结果进行计算得到所述最终的全景视频。
作为一个总的发明构思，本发明还提供一种计算机存储介质，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
本发明具有以下有益效果：
本发明提供的一种用于周扫立体全景视频的处理方法、系统与存储介质，该用于周扫立体全景视频的处理方法，通过设于电机上的两组探测装置分别对待周扫区域进行周扫以采集到两路视频数据，然后对两路视频数据进行同步处理，可以获得待周扫区域的VR数据；并将同步处理后的数据转换为光纤信号进行传输，可以提高传输速率。
下面将参照附图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明优选实施例的用于周扫立体全景视频的处理方法流程图；
图2是本发明优选实施例的光电转换板的第一部分电路图；
图3是本发明优选实施例的光电转换板的第二部分电路图；
图4是本发明优选实施例的光电转换板的第三部分电路图；
图5是本发明优选实施例的光电转换板的第四部分电路图；
图6是本发明优选实施例的光电转换板的第五部分电路图；
图7是本发明优选实施例的光电转换板的第六部分电路图；
图8是本发明优选实施例的光电转换板的第七部分电路图；
图9是本发明优选实施例的光电转换板的第八部分电路图；
图10是本发明优选实施例的数据处理模块第一部分电路图；
图11是本发明优选实施例的数据处理模块第二部分电路图；
图12是本发明优选实施例的数据处理模块第三部分电路图；
图13是本发明优选实施例的5G模块电路图。
具体实施方式
以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
实施例1
如图1所示，本实施例提供一种用于周扫立体全景视频的处理方法，包括以下步骤：
通过设于电机上的两组探测装置分别对待周扫区域进行周扫以采集到两路视频数据；
采用光电转换模块分别对两路视频数据进行组帧处理得到两路视频流，对两路视频流进行同步处理得到两路并行且同步的视频流；采用串行编码方式将所述两路并行且同步的视频流转换为一路串行信号，并将串行信号转换为光纤信号，将光纤信号通过光电滑环进行传输。
上述的用于周扫立体全景视频的处理方法，通过设于电机上的两组探测装置分别对待周扫区域进行周扫以采集到两路视频数据，然后对两路视频数据进行同步处理，可以获得待周扫区域的VR数据；并将同步处理后的数据转换为光纤信号进行传输，可以提高传输速率。
需要说明的是，本实施例中，光电采集板包括两个视频输入端口，分别连接两组探测装置，进入光电采集板的视频信号共用光电采集板的同一个时钟，通过光电转换板同时给两组探测装置发送触发信号，每发送一次触发信号，探测装置输出一次数据以确保两个探测出装置输出的两路视频数据是同时触发。然后，采样同步控制算法，对两路视频数据和电机转动状态进行同步处理，使视频数据的帧头位置适中对齐电机转动后的固定起始位置，形成同步帧。
具体地，在实际情况中，若需要提升采集的视频信息的及时性，需要使用高速电机带动探测装置进行周扫，本实施例中，探测装置由镜头和线列相机组成，当线列相机的线扫速度高于光电滑环的传输带宽时，会发生前端视频流缓存溢出的情况，此时，光电转换板会启动压缩编码模块，最大限制地将视频流信息压缩到原有信息量的三分之一大小传输到后级模块。并添加编码标记作为包头信息。然后将包括包头的压缩数据包转换为光纤信号。
进一步地，通过数据处理模块将光纤信号转换为电信号，解析电信号得到最终的全景视频。
具体地，当数据处理模块接收到光纤信号时，首先将其进行转换为电信号，然后获取电信号中的压缩数据包的包头信息，若包头信息包括编码标记，则对压缩包数据进行解码处理以便于执行后续的解析步骤。
本实施例中，通过进行编解码，可以实现双路高通量的数据的传输，且能达到传输速度快的目的。
作为本实施例优选的实施方式，在解析电信号得到两路视频信号时，首先获取电机的转速，根据电机的转速对两路视频信号进行同步帧提取，采用计算成像算法对同步帧提取结果进行计算得到最终的全景视频。
实施例2
与上述方法实施例相对应地，本实施例提供用于周扫立体全景视频的处理系统，包括：
两组探测装置，用于对待周扫区域进行周扫以采集到两路视频数据；
电机，用于带动两组探测装置进行周扫；
光电转换模块，用于对两路视频数据进行组帧处理得到两路视频流，对两路视频流进行同步处理得到两路并行且同步的视频流；将两路并行且同步的视频流转换为串行信号，并将串行信号转换为光纤信号；
光电滑环，用于传输光纤信号。
作为本实施例优选的实施方式，还包括数据处理模块，用于将光纤信号转换为电信号，解析电信号得到最终的全景视频。
进一步地，数据处理模块还包括：解析子模块，用于解析电信号得到两路视频信号；同步提取子模块，用于获取电机的转速，根据电机的转速对两路视频信号进行同步帧提取，采用计算成像算法对同步帧提取结果进行计算得到最终的全景视频。
优选地，探测装置包括线列相机。
本实施例中，光电转换板包括接口、解析模块、转换模块和相关的外围电路，通过接口获取采集到的视频数据，然后通过解析模块对所述视频数据进行解析，然后通过转换模块将视频流转换为串行信号，然后将串行信号转换为光纤信号。本实施例中，接口包括接口J2和接口J3，其电路图如图2-3所示，解析模块的电路图如图4-6所示，转换模块的电路图如图7-9所示。
其中，数据处理模块的电路图如图10-12所示。需要说明的是，本实施例的电路图中引脚连接的小方框用于表示该引脚悬空。
作为本实施例优选的实施方式，该处理系统还包括5G模块，数据处理输出组件还用于将得到的全景视频信息进行压缩后通过5G网络实时发送至5G模块，通过5G模块稳定的上传到云端进行后期的处理和直播服务以便后续更快速地传输信息。其中，5G模块的电路图如图13所示。
实施例3
本实施例提供一种计算机存储介质，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种用于周扫立体全景视频的处理方法，其特征在于，包括以下步骤：
通过设于电机上的两组探测装置分别对待周扫区域进行周扫以采集到两路视频数据，探测装置由镜头和线列相机组成；
采用光电转换模块分别对所述两路视频数据进行组帧处理得到两路视频流，对所述两路视频流进行同步处理得到两路并行且同步的视频流；采用串行编码方式将所述两路并行且同步的视频流转换为一路串行信号，并将所述串行信号转换为光纤信号，将所述光纤信号通过光电滑环传输；
所述方法，还包括：
获取所述两组探测装置的周扫速度，当所述周扫速度超过所述光电滑环的传输带宽时，所述将所述串行信号转换为光纤信号之前还包括：采用光电转换模块对所述串行信号进行编码压缩处理，并添加编码标记作为包头信息，然后将包括所述包头的压缩数据包转换为所述光纤信号；
通过数据处理模块接收所述光纤信号，将所述光纤信号转换为电信号，并解析所述电信号得到最终的全景视频；
所述解析所述电信号得到最终的全景视频包括：
解析所述电信号得到两路视频信号；
获取所述电机的转速，根据所述电机的转速对所述两路视频信号进行同步帧提取，采用计算成像算法对同步帧提取结果进行计算得到所述最终的全景视频。
2.根据权利要求1所述的用于周扫立体全景视频的处理方法，其特征在于，当所述周扫速度超过所述光电滑环的传输带宽时，所述解析所述电信号得到两路视频信号之前还包括：获取所述电信号中的压缩数据包的包头信息，若所述包头信息包括编码标记，则对所述压缩数据包进行解码处理以便于执行后续的所述解析步骤。
3.根据权利要求1所述的用于周扫立体全景视频的处理方法，其特征在于，所述对所述两路视频流进行同步处理得到两路并行且同步的视频流包括：
通过光电转换板同时给两个探测装置发送触发信号，每发送一次触发信号，探测装置输出一次数据以确保所述两个探测装置输出的两路视频数据是同时触发。
4.一种用于周扫立体全景视频的处理系统，其特征在于，包括：
两组探测装置，用于对待周扫区域进行周扫以采集到两路视频数据，探测装置由镜头和线列相机组成；
电机，用于带动所述两组探测装置进行周扫；
光电转换模块，用于对所述两路视频数据进行组帧处理得到两路视频流，对所述两路视频流进行同步处理得到两路并行且同步的视频流；采用串行编码方式将所述两路并行且同步的视频流转换为一路串行信号，并将所述串行信号转换为光纤信号；将所述光纤信号通过光电滑环传输，并获取两组探测装置的周扫速度，当所述周扫速度超过所述光电滑环的传输带宽时，光电转换模块还用于对所述串行信号进行编码压缩处理，并添加编码标记作为包头信息，然后将包括所述包头的压缩数据包转换为所述光纤信号；
光电滑环，用于传输所述光纤信号；
数据处理模块，用于接收所述光纤信号，将所述光纤信号转换为电信号，并解析所述电信号得到最终的全景视频；
所述数据处理模块包括：
解析子模块，用于解析所述电信号得到两路视频信号；
同步提取子模块，用于获取所述电机的转速，根据所述电机的转速对所述两路视频信号进行同步帧提取，采用计算成像算法对同步帧提取结果进行计算得到所述最终的全景视频。
5.一种计算机存储介质，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至3任一所述方法的步骤。
CN202010326037.9A 2020-04-23 2020-04-23 一种用于周扫立体全景视频的处理方法、系统与存储介质 Active CN111586390B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010326037.9A CN111586390B (zh) 2020-04-23 2020-04-23 一种用于周扫立体全景视频的处理方法、系统与存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010326037.9A CN111586390B (zh) 2020-04-23 2020-04-23 一种用于周扫立体全景视频的处理方法、系统与存储介质

Publications (2)

Publication Number Publication Date
CN111586390A CN111586390A (zh) 2020-08-25
CN111586390B true CN111586390B (zh) 2022-06-17

Family

ID=72113116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010326037.9A Active CN111586390B (zh) 2020-04-23 2020-04-23 一种用于周扫立体全景视频的处理方法、系统与存储介质

Country Status (1)

Country Link
CN (1) CN111586390B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102469324A (zh) * 2010-10-29 2012-05-23 慧荣科技股份有限公司 立体影像撷取装置以及其控制芯片
CN203466923U (zh) * 2013-02-28 2014-03-05 河南恒茂创远电子科技有限公司 双通道二路视频光端机
CN108401551B (zh) * 2012-10-26 2015-02-04 北京理工大学 双镜头微光立体全景成像装置及其超大视场测距方法
CN106027886A (zh) * 2016-05-17 2016-10-12 深圳市极酷威视科技有限公司 一种全景视频实现同步帧的方法及系统
CN110677195A (zh) * 2019-09-29 2020-01-10 凯迈（洛阳）测控有限公司 一种适用于机载光电吊舱的数据传输装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070230586A1 (en) * 2006-03-31 2007-10-04 Masstech Group Inc. Encoding, decoding and transcoding of audio/video signals using combined parallel and serial processing techniques

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102469324A (zh) * 2010-10-29 2012-05-23 慧荣科技股份有限公司 立体影像撷取装置以及其控制芯片
CN108401551B (zh) * 2012-10-26 2015-02-04 北京理工大学 双镜头微光立体全景成像装置及其超大视场测距方法
CN203466923U (zh) * 2013-02-28 2014-03-05 河南恒茂创远电子科技有限公司 双通道二路视频光端机
CN106027886A (zh) * 2016-05-17 2016-10-12 深圳市极酷威视科技有限公司 一种全景视频实现同步帧的方法及系统
CN110677195A (zh) * 2019-09-29 2020-01-10 凯迈（洛阳）测控有限公司 一种适用于机载光电吊舱的数据传输装置

Also Published As

Publication number Publication date
CN111586390A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN101472190B (zh) 多视角摄像及图像处理装置、系统
CN102857739A (zh) 分布式全景监控系统及其方法
US20200304549A1 (en) Immersive Media Metrics For Field Of View
CN114363562B (zh) 基于云分发的5g配网监测系统和配网监测方法
CN113453086A (zh) 多机位同步云导播方法、系统、存储介质和视频编码器
CN111586390B (zh) 一种用于周扫立体全景视频的处理方法、系统与存储介质
CN112839244A (zh) 一种基于码流级别的监控视频分级加解密方法及系统
CN112291483B (zh) 视频推送方法及系统、电子设备及可读存储介质
CN113630585A (zh) 一种扩展型Camera Link相机转光纤实时传输系统及方法
CN108881119B (zh) 一种视频浓缩的方法、装置和系统
CN103051866B (zh) 网络3d 视频监控系统、方法和视频处理平台
CN212343952U (zh) 一种周扫立体全景视频采集系统
KR100898700B1 (ko) 다중 시점의 영상을 이용한 초고해상도 방송 시스템 및방법
CN114374710B (zh) 5g超高清视频与物联网监测的配网监控方法和系统
CN111787302A (zh) 基于线扫描相机的立体全景直播拍摄系统
CN107360384B (zh) 一种高速视频采集传输方法
CN111405268A (zh) 一种面向vr直播的周扫立体全景视频采集系统与采集方法
CN111385524A (zh) 模拟高清摄像机高速长距离数据传输的实现方法及系统
JP2019050441A (ja) 映像表示システム及びその制御方法とプログラム
CN115174884A (zh) 一种基于sei的多相机同步信息传输与存储方法
CN114389697B (zh) 基于光纤通信组网的阵列光场相机系统及其ai分析方法
CN102340656A (zh) 监控终端、监控系统，以及监控数据的发送方法、接收方法
CN110784706B (zh) 信息处理方法、编码装置、解码装置、系统及存储介质
CN202856907U (zh) 新型网络数字高速球
JP7382186B2 (ja) 符号化装置、復号装置、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant