CN107197139A - 全景相机的数据处理方法 - Google Patents

全景相机的数据处理方法 Download PDF

Info

Publication number
CN107197139A
CN107197139A CN201710241844.9A CN201710241844A CN107197139A CN 107197139 A CN107197139 A CN 107197139A CN 201710241844 A CN201710241844 A CN 201710241844A CN 107197139 A CN107197139 A CN 107197139A
Authority
CN
China
Prior art keywords
data
panoramic video
plug
panoramic
source file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710241844.9A
Other languages
English (en)
Other versions
CN107197139B (zh
Inventor
张显志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen AEE Technology Co Ltd
Original Assignee
Shenzhen AEE Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen AEE Technology Co Ltd filed Critical Shenzhen AEE Technology Co Ltd
Priority to CN201710241844.9A priority Critical patent/CN107197139B/zh
Publication of CN107197139A publication Critical patent/CN107197139A/zh
Application granted granted Critical
Publication of CN107197139B publication Critical patent/CN107197139B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/4061Push-to services, e.g. push-to-talk or push-to-video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)

Abstract

本发明提出一种全景相机的数据处理方法,用于全景相机的视频直播,通过将全景相机采集的图像信号和音频信号处理成全景视频数据或音视频源文件,再根据用户的实际需求,将所述全景视频数据直接推流至智能终端进行直播或预览,或者将音频源文件和视频源文件分别推送至智能终端进行全景视频合成处理,本发明的全景相机的数据处理方法,可根据用户的实际需求及应用场合的不同,选择不同的全景视频合成和推流方式,提高了利用全景相机观看直播的自主性及全景相机的适用性。

Description

全景相机的数据处理方法
技术领域
本发明涉及数码设备技术领域,尤其涉及一种全景相机的数据处理方法。
背景技术
现有的全景相机一般是直接输出全景视频,或者只是将采集到的视频画面进行存储,然后在计算机终端通过复杂的软件算法进行全景视频合成,无法根据用户的需要在全景视频的直接输出和后期合成之间进行实时切换,影响了用户利用全景相机观看直播的自主性,使得全景相机只能用于特定场合,限制了全景相机的适用性。
发明内容
本发明的主要目的在于提供一种全景相机的数据处理方法,旨在提高利用全景相机观看直播的自主性及全景相机的适用性。
为实现上述目的,本发明提出的全景相机的数据处理方法,包括以下步骤:
在侦测到移动画面或接收到直播请求指令时,采集图像信号和音频信号;
将所述图像信号和音频信号处理成全景视频数据或音视频源文件;
将所述全景视频数据推流至智能终端或云端,或将音频源文件和视频源文件推送至智能终端进行全景视频的合成处理。
进一步地,在采集图像信号和音频信号之前,智能终端与所述全景相机建立通信连接,对所述全景相机的直播参数进行设置;
在对所述全景视频数据进行推流或对所述视频源文件进行推送之前,对所述全景视频数据或视频源文件进行压缩处理。
进一步地,所述全景相机包括多路图像传感器、编解码器、及FPGA,所述将所述图像信号和音频信号处理成全景视频数据或音视频源文件的步骤,具体包括:
将所述图像信号输入多路图像传感器处理成多路图像数字信号,将所述音频信号输入所述编解码器进行编码、解码处理后输出音频数字信号;
将所述多路图像数字信号和音频数字信号同时输入所述FPGA拼接成4K或2K全景视频数据,或者将所述多路图像数字信号分成两组输入所述FPGA拼接成两组4K视频源文件、将所述音频数字信号输入所述FPGA处理成音频源文件。
进一步地,所述智能终端为App终端,所述将所述全景视频数据推流至智能终端的步骤,具体包括:
判断所述4K全景视频数据的存储和所述2K全景视频数据的推流之间是否存在冲突;
若是,则向终端用户推送包含存储选项和显示选项的提示框;
在收到App终端获取并反馈的显示指令时,向所述App终端推送所述2K全景视频数据。
进一步地,所述向所述App终端推送所述2K全景视频数据的步骤之后,还包括:
所述App终端将接收到的所述2K全景视频数据上传至云端。
进一步地,所述智能终端为App终端,所述全景相机设有4K直播开关,并通过网线连接一网络节点,所述将所述全景视频数据推流至云端的步骤,具体包括:
获取在App终端设置的全景相机的推流地址;
在获取到对所述4K直播开关执行的开启操作时,断开与App终端之间的无线通信连接,通过网线向所述网络节点推送4K全景视频数据;
所述网络节点依据所述推流地址将接收到的4K全景视频数据实时上传至云端;
在获取到对所述4K直播开关执行的关闭操作时,断开与所述网络节点之间的有线连接,恢复与App终端之间的无线通信连接。
进一步地,所述智能终端为App终端,所述全景相机设有4K直播开关,并通过网线连接一网络节点,所述将所述全景视频数据推流至云端的步骤,具体包括:
获取在App终端设置的全景相机的推流地址;
在获取到对所述4K直播开关执行的开启操作时,通过网线向所述网络节点推送4K全景视频数据,同时向所述App终端推送2K全景视频流;
所述网络节点依据所述推流地址将接收到的4K全景视频数据实时上传至云端;
在获取到对所述4K直播开关执行的关闭操作时,断开与所述网络节点之间的有线连接。
进一步地,所述将所述全景视频数据推流至云端的步骤,还包括:
所述App终端实时获取所述全景相机与网络节点之间的推流信息。
进一步地,所述智能终端为PC终端,所述将音频源文件和视频源文件推送至智能终端进行全景视频的合成处理的步骤,具体包括:
所述PC终端将推送来的音频源文件和视频源文件合成为2K、4K或6K全景视频并保存;
在接收到App终端的预览请求时,将所述2K全景视频推流至所述App终端,或将所述4K全景视频以2K格式发送给所述App终端。
进一步地,所述PC终端将推送来的音频源文件和视频源文件合成为2K、4K或6K全景视频并保存的步骤之后,还包括:
将所述2K、4K或6K全景视频上传至云端;或
将所述2K、4K或6K全景视频用于本地显示。
本发明的全景相机的数据处理方法,用于全景相机的视频直播,通过将全景相机采集的图像信号和音频信号处理成全景视频数据或音视频源文件,再根据用户的实际需求,将所述全景视频数据直接推流至智能终端进行直播或预览,或者将音频源文件和视频源文件分别推送至智能终端进行全景视频合成处理,本发明的全景相机的数据处理方法,可根据用户的实际需求及应用场合的不同,选择不同的全景视频合成和推流方式,提高了利用全景相机观看直播的自主性及全景相机的适用性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
图1为本发明的数据处理方法一实施例的流程图;
图2为图1中步骤S30的具体流程图;
图3为图1中步骤S50的第一实施例的具体流程图;
图4为图1中步骤S50的第二实施例的具体流程图;
图5为图1中步骤S50的第三实施例的具体流程图;
图6为图1中步骤S50的第四实施例的具体流程图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提出一种数据处理方法,应用于全景相机。
本发明的智能终端包括App终端和PC终端。
参照图1,图1为本发明的数据处理方法一实施例的流程图。
在本实施例中,该数据处理方法包括以下步骤:
S10:智能终端与所述全景相机建立通信连接,对所述全景相机的直播参数进行设置;
S20:在侦测到移动画面或接收到直播请求指令时,采集图像信号和音频信号;
S30:将所述图像信号和音频信号处理成全景视频数据或音视频源文件;
S40:对所述全景视频数据或视频源文件进行压缩处理;
S50:将所述全景视频数据推流至智能终端或云端,或将音频源文件和视频源文件分别推送至智能终端进行全景视频的合成处理。
在本实施例中,该数据处理方法主要用于全景相机的数据处理过程,也可以适用于其他带有图像采集功能和音频采集功能的电子设备,具体的处理过程如下:本实施例中的智能终端优选App终端,在其他实施例中该App终端也可以替换为具有无线连接功能且支持直播软件运行的PC终端。App终端用户首先需要在智能手机、平板、PDA(PersonalDigital Assistant,个人数字助手)等终端设备上下载用于观看直播的App软件,所述App终端能够与所述全景相机建立通信连接,所述通信连接可以通过移动网络建立、也可以通过无线WIFI建立、还可以通过无线蓝牙建立,所述App终端与所述全景相机建立通信连接后,对所述全景相机的直播参数进行设置,实现方式可以是在App终端与全景相机连接成功后,在App终端的显示页面上主动弹出全景相机的设置界面,该设置界面包括相机的推流地址及其他各项参数设置选项,如相机的抓取速度、拍摄质量、镜头和麦克风的开启数量等,App终端用户可以在所述设置界面对全景相机的推流地址及其他参数进行设置。
在全景相机的参数设置好之后,可以向全景相机发送直播请求指令,全景相机内设有通信单元,该通信单元一般是WiFi模块或蓝牙模块,所述WiFi模块或蓝牙模块将所述直播请求指令转送给全景相机的信号处理单元,该信号处理单元一般是DSP处理器,所述DSP处理器在接收到直播请求指令时,将所述指令传送至全景相机的镜头和麦克风,所述麦克风和镜头按照App终端用户设置的参数采集相应区域的图像画面和音频。在其他实施例中,所述全景相机还设置有移动侦测模块,通过该移动侦测模块,全景相机可以主动对某一区域进行监控,在捕捉到有移动画面时,所述全景相机启动镜头和麦克风对移动事实进行图像信号的捕捉和音频信号的拾取。
在全景相机主动或被动地采集到图像信号和音频信号后,将其分别交由与镜头连接的图像传感器和与麦克风连接的音频处理单元处理,所述图像传感器将镜头捕捉的图像画面转换为图像数字信号,所述音频处理单元为编解码器,所述麦克风通过PCM接口或IIS接口连接所述编解码器,将拾取到的声音模拟信号经过PCM接口或IIS接口转换为音频数字信号输入所述编解码器,所述图像传感器与编解码器均连接一现场可编程门阵列FPGA或一存储有视频合成程序的MCU处理器,所述FPGA或MCU将图像传感器输入的图像数字信号和编解码器输入的音频数字信号拼接成全景视频数据或单独处理成独立的音频源文件和视频源文件。
所述全景相机还包括对全景视频数据和音视频源文件进行处理的信号处理单元,该信号处理单元优选为DSP处理器,主要对所述全景视频数据和音视频源文件进行压缩、存储和推送,为了减少全景相机进行视频直播可能产生的卡顿,提高视频直播的即时性,对用于直播的待传输大数据进行压缩处理,也即对所述全景视频数据或视频源文件进行压缩处理,以提高DSP处理器的推流速度,提高全景相机进行直播的即时性。
根据终端用户的实际需要,全景相机可以将经压缩处理后的全景视频数据直接推流至App终端进行预览或直播观看,或者将将所述全景视频数据推流至云端,视频直播请求用户可以利用App终端或PC终端连接所述云端,下载相应的全景视频数据进行观看,或者直接在云端进行观看;或者根据用户的需求,将音频源文件和经压缩处理后视频源文件分别推送给App终端指定的PC终端进行全景视频的合成处理,在PC终端将所述音频源文件和视频源文件合成全景视频,然后再根据用户的请求进行App终端的直播预览、本地播放显示、及上传云端。
本实施例的数据处理方法,通过将全景相机采集的图像信号和音频信号处理成全景视频数据或音视频源文件,再根据用户的实际需求,将所述全景视频数据直接推流至App终端进行直播或预览,或者将音频源文件和视频源文件分别推送至用户指定的PC终端进行处理,本发明的全景相机的数据处理方法,可根据用户的实际需求,选择不同的全景视频合成和推流方式,提高了利用全景相机进行直播的即时性和交互性。
进一步地,参照图2,所述全景相机包括多路图像传感器、编解码器、及FPGA,所述将所述图像信号和音频信号处理成全景视频数据或音视频源文件的步骤,具体包括:
S31:将所述图像信号输入多路图像传感器处理成多路图像数字信号,将所述音频信号输入所述编解码器进行编码、解码处理后输出音频数字信号;
S32:将所述多路图像数字信号和音频数字信号同时输入所述FPGA拼接成4K或2K全景视频数据,或者将所述多路图像数字信号分成两组输入所述FPGA拼接成两组4K视频源文件、将所述音频数字信号输入所述FPGA处理成音频源文件。
在本实施例中,所述全景相机包括多路图像传感器、编解码器、及现场可编程门阵列FPGA,所述多路图像传感器的输入端通过LVDS接口连接所述FPGA,将镜头输入的图像画面信号转换为图像数字信号后输入至FPGA,所述编解码器包括主编解码器和连接所述主编解码器的从编解码器,所述主编解码器通过PCM接口连接所述FPGA,所述全景相机的相机本体上设置有四个麦克风,所述主编解码器和从编解码器分别连接所述四个麦克风中的其中两个,对麦克风拾取的音频信号进行编码和解码,然后将经过编码和解码后的音频数字信号输入所述FPGA,所述FPGA将多路图像传感器输入的多路图像数字信号和主编解码器输入的音频数字信号拼接成4K全景视频数据或2K全景视频数据,所述多路图像数字信号和音频数字信号从FPGA的多个输入口输入,经FPGA的数据通道拼接合成后从一个输出口输出LVDS标准格式的带有一路音频的4K全景视频数据或2K全景视频数据;在另一实施例中,所述全景相机还另外包括两个DSP处理器,该两个DSP处理器均连接所述FPGA的输出端,所述FPGA将所述多路图像传感器分两组输入的两组图像数字信号拼接成两组4K视频源文件后,分别将所述两组4K视频源文件分别输入所述两个DSP处理器,每一DSP处理器还连接至少一个存储器,所述存储器为DDR、Flash、或TF-Card,在所述FPGA将所述4K视频源文件推送给所述DSP处理器后,所述DSP处理器对所述4K视频源文件进行压缩、编码、IPS处理后可选择地进行存储,所述FPGA将所述主编解码器输入的音频数字信号处理成四路音频源文件,所述FPGA还连接一用于所述音频源文件存储和调取的存储器,所述存储器可以是DDR、Flash、或TF-Card,所述FPGA将处理后的音频源文件存储于所述存储器中,所述FPGA的输出端通过RMII接口或MII接口连接一PHY芯片、所述两个DSP处理器的输出端均通过RMII接口连接一PHY芯片,每一所述PHY芯片的输出端均连接一网线,所述网线通过一航空头集成后连接所述PC终端,在需要向PC终端推送时,由FPGA从所述存储器中调取所述音频源文件,通过所述PHY芯片直接推送给PC终端,由所述两DSP处理器分别将所述4K视频源文件通过各自连接的PHY芯片推送给PC终端。
进一步地,参照图3,所述智能终端为App终端,所述将所述全景视频数据推流至智能终端的步骤,具体包括:
S51a:判断所述4K全景视频数据的存储和所述2K全景视频数据的推流之间是否存在冲突;
若是,则执行步骤S52a;
S52a:向终端用户推送包含存储选项和显示选项的提示框;
S53a:在收到App终端获取并反馈的显示指令时,向所述App终端推送所述2K全景视频数据;
S54a:所述App终端将接收到的所述2K全景视频数据上传至云端。
在本实施例中,所述全景相机设有一专门的DSP处理器接收FPGA拼接好的4K全景视频数据和/或2K全景视频数据,由于DSP处理器的编码能力有限,为了保证4K或2K全景视频数据的质量,一般情况下,在对所述4K全景视频数据和2K全景视频数据进行压缩后进行存储,但是如果App终端用户请求同步直播时,所述DSP处理器在所述4K全景视频数据的存储和所述2K全景视频的推流之间就会存在优先权顺序的冲突,此时,DSP处理器在App终端发送的同步直播的指令与预设的优先存储的指令程序存在冲突时,DSP处理器会通过通信单元,也即WiFi模块或蓝牙模块向终端用户推送包含存储选项和显示选项的提示框,此时在App终端的显示界面上会显示供终端用户选择的提示复选框,如果用户选择显示选项,也即用户选择优先显示,App终端在获取到用户对所述提示框进行的选择操作后将其生成显示指令反馈给DSP处理器,DSP处理器优先对所述2K全景视频数据进行编码,将进行编码后的2K全景视频数据推流至App终端。在另一实施例中,所述App终端还可以将接收到的2K全景视频数据通过移动网络,如4G网络、3G网络或5G网络上传至云端,以便供其他连接至所述云端的用户进行下载、在线预览、或在线播放等操作。
进一步地,参照图4,所述智能终端为App终端,所述全景相机设有一4K直播开关,并通过网线连接一网络节点,所述将所述全景视频数据推流至云端的步骤,具体包括:
S51b:获取在App终端设置的全景相机的推流地址;
S52b:在获取到对所述4K直播开关执行的开启操作时,断开与App终端之间的无线通信连接,通过网线向所述网络节点推送4K全景视频数据;
S53b:所述网络节点依据所述推流地址将接收到的4K全景视频数据实时上传至云端;
S54b:在获取到对所述4K直播开关执行的关闭操作时,断开与所述网络节点之间的有线连接,恢复与App终端之间的无线通信连接。
在本实施例中,所述全景相机包括一电源棒模块,为所述全景相机提供电源支持,所述电源棒模块的电量规格在5000mAh以上,能够保证全景相机持续工作2小时,所述电源棒模块包括电源开机键、4K直播开关、电源状态指示灯、工作状态指示灯、WiFi指示灯、RJ45接口,所述电源棒模快在供电状态时,所述电源状态指示灯显示绿色,否则不显示,电量过低时显示红色,并进行闪烁;所述全景相机在工作状态时,所述工作状态指示灯显示绿色,在所述全景相机出现故障或电源棒模块的电量过低时,所述工作状态指示灯显示红色;所述全景相机通过电源棒模块上的RJ45接口连接一网络节点,所述网络节点具有数据流的复制和转发功能,如路由器,将所述全景视频向云端进行推送时,首先获取最初通过App终端设置的全景相机的推流地址,该过程可以在App终端通过WiFi或蓝牙连接到所述全景相机,对所述全景的参数进行设置时同步设置,也可以在所述全景相机通过网线连接所述网络节点时进行设置,在全景相机通过网线连接所述网络节点时,还需要测试网线是否导通以便确定所述全景相机可以通过所述网线向所述网路节点传输4K全景视频数据。在全景相机通过电源棒模块上的RJ45接口连接所述网络节点,并开启所述电源棒模块上的4K直播开关时,所述全景相机会获取到对所述4K直播开关执行的开启操作,此时,通信单元也即WiFi模块或蓝牙模块断开与App终端之间的无线通信连接,DSP处理器通过所述网线向所述网络节点推送4K全景视频数据,所述网络节点可以对获取的4K全景视频数据进行编码存储,或者直接依据所述推流地址将接收到的4K全景视频数据上传至云端,所述全景相机将所述4K全景视频数据以RTMP/RTSP格式推送给所述网络节点,再次按压所述4K直播开关,则直接关闭所述4K直播开关,在获取到所述4K直播开关执行的再次按压操作,也即关闭操作时,断开与所述网络节点之间的有线连接,所述通信单元通过WiFi或蓝牙重新建立与App终端之间的无线通信连接,以便全景相机继续向所述App终端推送2K全景视频数据流。
进一步地,参照图5,所述智能终端为App终端,所述全景相机设有一4K直播开关,并通过网线连接一网络节点,所述将所述全景视频数据推流至云端的步骤,具体包括:
S51c:获取在App终端设置的全景相机的推流地址;
S52c:在获取到对所述4K直播开关执行的开启操作时,通过网线向所述网络节点推送4K全景视频数据,同时向所述App终端推送2K全景视频流;
S53c:所述网络节点依据所述推流地址将接收到的4K全景视频数据实时上传至云端;
S54c:在获取到对所述4K直播开关执行的关闭操作时,断开与所述网络节点之间的有线连接。
在本实施例中,所述全景相机包括一电源棒模块,为所述全景相机提供电源支持,所述电源棒模块的电量规格在5000mAh以上,能够保证全景相机持续工作2小时,所述电源棒模块包括电源开机键、4K直播开关、电源状态指示灯、工作状态指示灯、WiFi指示灯、RJ45接口,所述电源棒模快在供电状态时,所述电源状态指示灯显示绿色,否则不显示,电量过低时显示红色,并进行闪烁;所述全景相机在工作状态时,所述工作状态指示灯显示绿色,在所述全景相机出现故障或电源棒模块的电量过低时,所述工作状态指示灯显示红色;所述全景相机通过电源棒模块上的RJ45接口连接一网络节点,所述网络节点具有数据流的复制和转发功能,如路由器,将所述全景视频向云端进行推送时,首先获取最初通过App终端设置的全景相机的推流地址,该过程可以在App终端通过WiFi或蓝牙连接到所述全景相机,对所述全景相机的直播参数进行设置时同步设置,也可以在所述全景相机通过网线连接所述网络节点时进行设置,在全景相机通过网线连接所述网络节点时,还需要测试网线是否导通以便确定所述全景相机可以通过所述网线向所述网路节点传输4K全景视频数据。在全景相机通过电源棒模块上的RJ45接口连接所述网络节点,并开启所述电源棒模块上的4K直播开关时,所述全景相机会获取到对所述4K直播开关执行的开启操作,此时,DSP处理器通过所述网线向所述网络节点推送4K全景视频数据,同时所述DSP处理器还向所述App终端推送2K全景视频流数据,以便在将所述4K全景视频数据上传云端的同时,还可以在App终端实现直播预览,增加了全景相机的功能性,所述网络节点可以对获取的4K全景视频数据进行编码存储,或者直接依据所述推流地址将接收到的4K全景视频数据上传至云端,所述全景相机将所述4K全景视频数据以RTMP/RTSP格式推送给所述网络节点,再次按压所述4K直播开关,则直接关闭所述4K直播开关,在获取到所述4K直播开关执行的再次按压操作,也即关闭操作时,断开与所述网络节点之间的有线连接,所述DSP处理器继续向所述App终端推送2K全景视频流数据。
进一步地,所述将所述全景视频数据推流至云端的步骤,还包括:
所述App终端实时获取所述全景相机与网络节点之间的推流信息。
在本实施例中,所述全景相机在通过有线网络向所述网络节点推送4K全景视频数据的同时,通过无线通信方式向所述App终端推送2K全景视频流数据,也即在全景相机与所述网络节点之间进行4K全景视频流的传输时,可以在所述App终端实现传输进程、传输流量、传输时间、及全景相机剩余电量等推流信息的监控,以便根据所述推流信息及时作出响应,提高全景视频数据推流的效率和安全性。
进一步地,参照图6,所述智能终端为PC终端,所述将音频源文件和视频源文件推送至智能终端进行全景视频的合成处理的步骤,具体包括:
S51d:所述PC终端将推送来的音频源文件和视频源文件合成为2K、4K或6K全景视频并保存;
S52d:在接收到App终端的预览请求时,将所述2K全景视频推流至所述App终端,或将所述4K全景视频以2K格式发送给所述App终端。
在本实施例中,所述全景相机不直接输出全景视频数据,通过FPGA将多路图像传感器输入的多路图像数字信号拼接成两组4K视频源文件输出,通过FPGA将主编解码器输入的音频数字信号处理成四路独立的音频源文件输出,然后通过所述FPGA调取所述音频源文件推送给所述PC终端,以及通过两个DSP处理器分别将所述两组4K视频源文件推送给所述PC终端,用于在所述PC终端进行全景视频的合成,所述PC终端根据应用场景的不同将推送来的音频源文件和视频源文件合成为带有立体声的2K、4K、或6K全景视频,并实时保存在所述PC终端的SSD硬盘中,所述App终端与所述PC终端建立直接或间接的通信连接,以便与所述PC终端之间实现指令或数据信息的交互,如App终端通过蓝牙或WiFi建立直接的无线连接,或者App终端通过路由器与所述PC终端建立间接的无线连接,或者App终端通过数据连接线直接与所述PC终端建立直接的有线连接,在所述PC终端接收到App终端的直播预览请求时,所述PC终端将合成好的2K全景视频通过WiFi或蓝牙直接推流至所述App终端,或者将合成好的4K全景视频以2K格式发送给所述App终端。
进一步地,参照图6,所述PC终端将推送来的音频源文件和视频源文件合成为2K、4K或6K全景视频并保存的步骤之后,还包括:
S53d:将所述2K、4K或6K全景视频上传至云端;或
S54d:将所述2K、4K或6K全景视频用于本地显示。
在本实施例中,所述PC终端将FPGA推送来的音频源文件和DSP处理器推送来的4K视频源文件合成为2K、4K或6K全景视频,再根据应用场景的不同可以选择将所述2K、4K或6K全景视频上传至云端,供链接至云端的用户进行下载、在线预览,也可以选择将所述2K、4K或6K全景视频通过HDMI接口推送至显示终端用于本地显示,增加全景相机能够实现全景视频直播显示的多样性和功能性。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种全景相机的数据处理方法,其特征在于,该数据处理方法包括以下步骤:
在侦测到移动画面或接收到直播请求指令时,采集图像信号和音频信号;
将所述图像信号和音频信号处理成全景视频数据或音视频源文件;
将所述全景视频数据推流至智能终端或云端,或将音频源文件和视频源文件推送至智能终端进行全景视频的合成处理。
2.根据权利要求1所述的数据处理方法,其特征在于,
在采集图像信号和音频信号之前,智能终端与所述全景相机建立通信连接,对所述全景相机的直播参数进行设置;
在对所述全景视频数据进行推流或对所述视频源文件进行推送之前,对所述全景视频数据或视频源文件进行压缩处理。
3.根据权利要求1或2所述的数据处理方法,其特征在于,所述全景相机包括多路图像传感器、编解码器、及FPGA,所述将所述图像信号和音频信号处理成全景视频数据或音视频源文件的步骤,具体包括:
将所述图像信号输入多路图像传感器处理成多路图像数字信号,将所述音频信号输入所述编解码器进行编码、解码处理后输出音频数字信号;
将所述多路图像数字信号和音频数字信号同时输入所述FPGA拼接成4K或2K全景视频数据,或者将所述多路图像数字信号分成两组输入所述FPGA拼接成两组4K视频源文件、将所述音频数字信号输入所述FPGA处理成音频源文件。
4.根据权利要求3所述的数据处理方法,其特征在于,所述智能终端为App终端,所述将所述全景视频数据推流至智能终端的步骤,具体包括:
判断所述4K全景视频数据的存储和所述2K全景视频数据的推流之间是否存在冲突;
若是,则向终端用户推送包含存储选项和显示选项的提示框;
在收到App终端获取并反馈的显示指令时,向所述App终端推送所述2K全景视频数据。
5.根据权利要求4所述的数据处理方法,其特征在于,所述向所述App终端推送所述2K全景视频数据的步骤之后,还包括:
所述App终端将接收到的所述2K全景视频数据上传至云端。
6.根据权利要求3所述的数据处理方法,其特征在于,所述智能终端为App终端,所述全景相机设有4K直播开关,并通过网线连接一网络节点,所述将所述全景视频数据推流至云端的步骤,具体包括:
获取在App终端设置的全景相机的推流地址;
在获取到对所述4K直播开关执行的开启操作时,断开与App终端之间的无线通信连接,通过网线向所述网络节点推送4K全景视频数据;
所述网络节点依据所述推流地址将接收到的4K全景视频数据实时上传至云端;
在获取到对所述4K直播开关执行的关闭操作时,断开与所述网络节点之间的有线连接,恢复与App终端之间的无线通信连接。
7.根据权利要求3所述的数据处理方法,其特征在于,所述智能终端为App终端,所述全景相机设有4K直播开关,并通过网线连接一网络节点,所述将所述全景视频数据推流至云端的步骤,具体包括:
获取在App终端设置的全景相机的推流地址;
在获取到对所述4K直播开关执行的开启操作时,通过网线向所述网络节点推送4K全景视频数据,同时向所述App终端推送2K全景视频流;
所述网络节点依据所述推流地址将接收到的4K全景视频数据实时上传至云端;
在获取到对所述4K直播开关执行的关闭操作时,断开与所述网络节点之间的有线连接。
8.根据权利要求7所述的数据处理方法,其特征在于,所述将所述全景视频数据推流至云端的步骤,还包括:
所述App终端实时获取所述全景相机与网络节点之间的推流信息。
9.根据权利要求3所述的数据处理方法,其特征在于,所述智能终端为PC终端,所述将音频源文件和视频源文件推送至智能终端进行全景视频的合成处理的步骤,具体包括:
所述PC终端将推送来的音频源文件和视频源文件合成为2K、4K或6K全景视频并保存;
在接收到App终端的预览请求时,将所述2K全景视频推流至所述App终端,或将所述4K全景视频以2K格式发送给所述App终端。
10.根据权利要求9所述的数据处理方法,其特征在于,所述PC终端将推送来的音频源文件和视频源文件合成为2K、4K或6K全景视频并保存的步骤之后,还包括:
将所述2K、4K或6K全景视频上传至云端;或
将所述2K、4K或6K全景视频用于本地显示。
CN201710241844.9A 2017-04-13 2017-04-13 全景相机的数据处理方法 Active CN107197139B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710241844.9A CN107197139B (zh) 2017-04-13 2017-04-13 全景相机的数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710241844.9A CN107197139B (zh) 2017-04-13 2017-04-13 全景相机的数据处理方法

Publications (2)

Publication Number Publication Date
CN107197139A true CN107197139A (zh) 2017-09-22
CN107197139B CN107197139B (zh) 2020-05-15

Family

ID=59871176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710241844.9A Active CN107197139B (zh) 2017-04-13 2017-04-13 全景相机的数据处理方法

Country Status (1)

Country Link
CN (1) CN107197139B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107846604A (zh) * 2017-11-09 2018-03-27 北京维境视讯信息技术有限公司 一种全景视频处理制作系统及方法
CN110691218A (zh) * 2019-09-09 2020-01-14 苏州臻迪智能科技有限公司 音频数据传输方法、装置、电子设备及可读存储介质
CN111083121A (zh) * 2019-11-29 2020-04-28 北京邮电大学 一种星地融合网络中的全景视频多播方法及装置
CN111193937A (zh) * 2020-01-15 2020-05-22 北京拙河科技有限公司 一种直播视频数据的处理方法、装置、设备和介质
CN114390315A (zh) * 2022-03-22 2022-04-22 南京踏实信息科技有限公司 一种基于5g通信的音视频资源的融合与分析系统
CN115514989A (zh) * 2022-08-16 2022-12-23 如你所视(北京)科技有限公司 一种数据传输方法、系统及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1404018A (zh) * 2002-09-29 2003-03-19 西安交通大学 计算机网络环境智能化场景绘制装置系统及绘制处理方法
CN200997662Y (zh) * 2007-01-08 2007-12-26 胡超 无线立体视频广播及接收装置
CN101394585A (zh) * 2007-09-18 2009-03-25 中兴通讯股份有限公司 一种移动流媒体直播业务中的准实时流系统
CN101866563A (zh) * 2009-11-27 2010-10-20 李彬清 医用教研实时视频记录系统
US20150304559A1 (en) * 2014-03-28 2015-10-22 Kogeto, Inc. Multiple camera panoramic image capture apparatus
CN105872369A (zh) * 2016-03-30 2016-08-17 沈阳泰科易科技有限公司 全景视频的生成方法和装置
CN105979246A (zh) * 2016-06-17 2016-09-28 北京疯景科技有限公司 一种拍摄全景内容的方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1404018A (zh) * 2002-09-29 2003-03-19 西安交通大学 计算机网络环境智能化场景绘制装置系统及绘制处理方法
CN200997662Y (zh) * 2007-01-08 2007-12-26 胡超 无线立体视频广播及接收装置
CN101394585A (zh) * 2007-09-18 2009-03-25 中兴通讯股份有限公司 一种移动流媒体直播业务中的准实时流系统
CN101866563A (zh) * 2009-11-27 2010-10-20 李彬清 医用教研实时视频记录系统
US20150304559A1 (en) * 2014-03-28 2015-10-22 Kogeto, Inc. Multiple camera panoramic image capture apparatus
CN105872369A (zh) * 2016-03-30 2016-08-17 沈阳泰科易科技有限公司 全景视频的生成方法和装置
CN105979246A (zh) * 2016-06-17 2016-09-28 北京疯景科技有限公司 一种拍摄全景内容的方法及装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107846604A (zh) * 2017-11-09 2018-03-27 北京维境视讯信息技术有限公司 一种全景视频处理制作系统及方法
CN110691218A (zh) * 2019-09-09 2020-01-14 苏州臻迪智能科技有限公司 音频数据传输方法、装置、电子设备及可读存储介质
CN111083121A (zh) * 2019-11-29 2020-04-28 北京邮电大学 一种星地融合网络中的全景视频多播方法及装置
CN111083121B (zh) * 2019-11-29 2021-05-14 北京邮电大学 一种星地融合网络中的全景视频多播方法及装置
CN111193937A (zh) * 2020-01-15 2020-05-22 北京拙河科技有限公司 一种直播视频数据的处理方法、装置、设备和介质
CN114390315A (zh) * 2022-03-22 2022-04-22 南京踏实信息科技有限公司 一种基于5g通信的音视频资源的融合与分析系统
CN115514989A (zh) * 2022-08-16 2022-12-23 如你所视(北京)科技有限公司 一种数据传输方法、系统及存储介质
CN115514989B (zh) * 2022-08-16 2024-04-09 如你所视(北京)科技有限公司 一种数据传输方法、系统及存储介质

Also Published As

Publication number Publication date
CN107197139B (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
CN107197139A (zh) 全景相机的数据处理方法
CN107071499A (zh) 直播系统
CN102111674B (zh) 一种移动终端播放在线视频的系统、方法及移动终端
CN103248863B (zh) 一种摄像设备、通信系统和相应的图像处理方法
JP6377784B2 (ja) オーディオビデオ同期取込によって一対多オーディオビデオストリーミングを行う方法
CN106804014A (zh) 一种基于4g无线专网的媒体直播方法
CN103414894A (zh) 一种无线实时传屏设备及方法
CN101945096A (zh) 手机面向机顶盒和pc进行视频直播的系统及其工作方法
CN102438127A (zh) 一种支持混合接入的监控装置、监控系统及监控方法
CN104506792B (zh) 一种人和宠物视频通信的方法
CN103248685A (zh) 一种基于智能手机之间p2p监控方法及系统
CN102447891A (zh) 基于fpga的多路多分辨率视频采集装置及其方法
CN107071500A (zh) 直播系统
CN103561311A (zh) 传屏方法和电视机
CN104581036B (zh) 进行视音频多屏显示的多屏控制方法及装置
CN105681307A (zh) 一种便携式摄像机影音编码存储网络传输设备
CN205987204U (zh) 一种适用于4k/h.265高清网络摄像机的数字视频监控测试仪
CN102143144B (zh) 一种通信模块、远程监控系统和远程监控终端
EP2538670B1 (en) Data processing unit
CN103391475B (zh) 显示装置及智能装置
CN103188531A (zh) 一种多源信号采集系统及方法
CN108124183B (zh) 以同步获取影音以进行一对多影音串流的方法
CN104333765A (zh) 一种视频直播流的处理方法及处理装置
CN202111782U (zh) 一种500万像素视频处理系统
CN115396621A (zh) 一种基于rk628d的网络推流控制方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PP01 Preservation of patent right

Effective date of registration: 20220411

Granted publication date: 20200515

PP01 Preservation of patent right