CN112565627A - 一种基于位图叠加的多路视频集中显示设计方法 - Google Patents

一种基于位图叠加的多路视频集中显示设计方法 Download PDF

Info

Publication number
CN112565627A
CN112565627A CN202011380932.5A CN202011380932A CN112565627A CN 112565627 A CN112565627 A CN 112565627A CN 202011380932 A CN202011380932 A CN 202011380932A CN 112565627 A CN112565627 A CN 112565627A
Authority
CN
China
Prior art keywords
video
channel
data
output
bitmap
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011380932.5A
Other languages
English (en)
Other versions
CN112565627B (zh
Inventor
高娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Jinhang Computing Technology Research Institute
Original Assignee
Tianjin Jinhang Computing Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Jinhang Computing Technology Research Institute filed Critical Tianjin Jinhang Computing Technology Research Institute
Priority to CN202011380932.5A priority Critical patent/CN112565627B/zh
Publication of CN112565627A publication Critical patent/CN112565627A/zh
Application granted granted Critical
Publication of CN112565627B publication Critical patent/CN112565627B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明涉及一种基于位图叠加的多路视频集中显示设计方法，其中，包括：获取多路视频图像：将多路视频数据发送到视频处理模块；在视频处理模块对多路视频进行融合叠加；在视频处理模块，采用动态库VGS对多路视频进行处理，对各路图像进行缩放、像素格式转换、视频存储格式转换以及压缩和解压操作，处理后的视频数据融合在VGS任务中进行位图叠加，调用动态库函数从VGS任务中取出处理后的数据发送；启动视频输出模块，进行分屏输出设置，针对窗口和显示的关系计算分屏时各路视频显示的坐标，并启动视频输出模块设备，获取视频处理模块内的视频数据进行输出显示。

Description

一种基于位图叠加的多路视频集中显示设计方法
技术领域
本发明属于linux系统下视频处理技术，特别涉及一种基于位图叠加的多路视频集中显示设计方法。
背景技术
Hi3559AV100是专业的8K Ultra HD Mobile Camera SOC，它提供了8K30/4K120广播级图像质量的数字视频录制，支持多路Sensor输入，支持H.265编码输出或影视级的RAW数据输出，并集成高性能ISP处理，同时采用先进低功耗工艺和低功耗架构设计，为用户提供了卓越的图像处理能力。
Hi3559AV100支持业界领先的多路4K Sensor输入，多路ISP图像处理，支持HDR10高动态范围技术标准，并支持多路全景硬件拼接。在支持8K30/4K120视频录制下，Hi3559AV100提供硬化的6-Dof数字防抖，减少了对机械云台的依赖。
MIPI Rx通过低电压差分信号接收原始视频数据，将接收到的串行差分信号(serial differential signal)转化为DC(Digital Camera)时序后传递给下一级模块VICAP(Video Capture)MIPI Rx支持MIPI D-PHY、LVDS(Low-Voltage DifferentialSignal)、HiSPi(High-Speed Serial Pixel Interface)等串行视频信号输入，同时兼容DC视频接口。
SLVS-EC接口由SONY公司定义，用于高帧率和高分辨率图像采集，它可以将高速串行的数据转化为DC(Digital Camera)时序后传递给下一级模块VICAP(Video Capture)。
SLVS-EC串行视频接口可以提供更高的传输带宽，更低的功耗，在组包方式上，数据的冗余度也更低。在应用中SLVS-EC接口提供了更加可靠和稳定的传输。
传统的视频输入为单通道显示，即单屏显示单路视频，此类方法无法满足多功能化视频需求，即需要单屏显示多通道视频内容。同时，传统的视频解码功能只是单纯的视频播放功能，无法满足视频再加工需求。
发明内容
本发明的目的在于提供一种基于位图叠加的多路视频集中显示设计方法，为了解决linux系统下的视频解码多路输出和视频叠加问题。
本发明一种基于位图叠加的多路视频集中显示设计方法，其中，包括：获取多路视频图像：将多路视频数据发送到视频处理模块；在视频处理模块对多路视频进行融合叠加；在视频处理模块，采用动态库VGS对多路视频进行处理，对各路图像进行缩放、像素格式转换、视频存储格式转换以及压缩和解压操作，处理后的视频数据融合在VGS任务中进行位图叠加，调用动态库函数从VGS任务中取出处理后的数据发送；启动视频输出模块，进行分屏输出设置，针对窗口和显示的关系计算分屏时各路视频显示的坐标，并启动视频输出模块设备，获取视频处理模块内的视频数据进行输出显示。
根据本发明的基于位图叠加的多路视频集中显示设计方法的一实施例，其中，根据需求确定多路视频图像的来源，不同来源启动不同的数据获取任务，从而获取图像数据。
根据本发明的基于位图叠加的多路视频集中显示设计方法的一实施例，其中，获取多路视频图像包括获取本地视频文件、网络视频流以及物理通道视频。
根据本发明的基于位图叠加的多路视频集中显示设计方法的一实施例，其中，获取本地视频文件包括：
(1)获取本地文件路径和文件名；
(2)创建循环读取文件数据的线程；
(3)判断文件是否存在，如不存在则报错退出，否则进行下一步；
(4)计算图像压缩前数据大小bufsize；
(5)动态申请bufsize大小的内存数组，用于暂存图像的数据；
(6)判断当前读取文件线程是否完成，如果完成就退出，否则进行下一步；
(7)定位读文件指针到当前可读的位置pos，pos为已读取的字节数总和，当前预读取字节数为bufsize，实际读取字节数readLen；
(8)判断当前读取操作是否成功，如果失败则发送视频流结束帧到解码模块，表示当前已没有可解码的数据，并退出该线程；如果成功，则进行下一步；
(9)判断读取的数据流模式是否为视频图像帧且编码为h264/h265，如果是则进行下一步，如果不是则进行(12)；
(10)在当前读取的数据中查找h264/h265协议帧头，如果找到则置上标志并退出查找帧头循环；
(11)在(10)查找的位置继续查找h264/h265协议帧尾，如果找到则置上标志并退出查找帧尾循环；
(12)判断当前查找结束后的数组位置，如果数组位置大于零，则记录当前数组位置到readLen；
(13)判断帧头和帧尾是否都存在，如果都存在则表示找到完整的图像帧进行下一步，如果不存在则报错且将数组位置readLen向前移动协议帧尾代表的长度endLen，返回第6步；
(14)调用动态库函数发送完整帧到解码模块，将本次读取的帧长度readLen记录到总数pos，返回到(6)。
根据本发明的基于位图叠加的多路视频集中显示设计方法的一实施例，其中，获取网络视频流包括：
使用ffmpeg动态库从网络接收视频流数据：
(1)使用ffmpeg动态库函数av_dict_set配置视频流传输过程属性；
(2)注册ffmpeg上下文环境，初始化ffmpeg内部组件，并对网络功能进行全局初始化；
(3)打开媒体文件的url地址，并进行解析；
(4)读取媒体文件的数据包获取流信息；
(5)分析数据包中音频流和视频流的个数，并记录序号；
(6)动态申请数据包packet对象，使用av_read_frame函数从数据包中读取图像帧信息；
(7)判断图像帧序号和步骤(5)中记录的视频流序号一致时，进行下一步，如果不是则进行第(10)步；
(8)判断数据包中的数据是否不为null且大小不为0，如果是则进行下一步，不是则进行第(10)步；
(9)将图像帧存入环形缓冲区并从环形缓冲区取帧发送给解码模块；
(10)释放数据包对象资源。
根据本发明的基于位图叠加的多路视频集中显示设计方法的一实施例，其中，获取物理通道视频包括：
(1)确定输入模块中MIPI RX的物理特性，根据用户需求配置输入设备dev、输入管道pipe、输入通道属性chnl，并创建对应的可操作对象；
(2)配置MIPI Rx的复用物理接口combo-PHY，接收接口的数据，根据用户对视频数据的速度和分辨率的传输要求配置不同的功能模式；
(3)启动输入模块，将接收到的数据存入内存空间。
根据本发明的基于位图叠加的多路视频集中显示设计方法的一实施例，其中，将多路视频数据发送到视频处理模块包括：
根据来源不同的多路视频，分类别从不同模块获取数据，将视频输入模块和视频解码模块分别与视频处理模块绑定，从而获得本地视频和网络视频以及物理输入通道内的图像。
根据本发明的基于位图叠加的多路视频集中显示设计方法的一实施例，其中，将多路视频数据发送到视频处理模块进一步包括：
(1)分配视频解码模块的0通道给本地视频来源，分配解码模块的1通道给网络视频来源，解码模块设备号都选0，即：srcModule1＝{dev0，chnl0}，srcModeule2＝{dev0，chnl1}；
(7)分配视频输入模块的0管道和0通道给物理通道来源，srcModule3＝{pipe0，chnl0}；
(8)在视频处理模块创建三个不同的组，每组分别都启用0通道，分别绑定视频解码模块和视频输入模块涵盖的三个不同通道，即：desModule1＝{0,0}，desModedule2＝{1,0}，desModedule2＝{2,0}；
(9)绑定各模块的设备和通道，创建数据通道：bind1＝{srcModule1,desModule1}，bind2＝{srcModule2,desModule2}，，bind3＝{srcModule3,desModule3}；
(10)根据绑定的关系，将数据导向输出到视频处理模块。
根据本发明的基于位图叠加的多路视频集中显示设计方法的一实施例，其中，在视频处理模块对多路视频进行融合叠加具体包括：
(1)创建区域对象；
首先，设置区域对象属性，背景颜色、像素格式、图像高度和宽度，视频叠加区域为扩展叠加区域，创建区域对象；
(2)将位图叠加到区域对象上；
获取位图源文件数据，将位图数据拷贝到区域对象内部显示画布上；
(3)将区域叠加到视频输出的通道上；
设定输出通道关于叠加位图的坐标属性，调用接口函数将VGS区域叠加到通道上，在对输出通道调度时将位图叠加到视频上。
根据本发明的基于位图叠加的多路视频集中显示设计方法的一实施例，其中，将叠加后的多路视频分屏输出包括：
设定视频输出参数；
输出分屏模式采用多分屏；
计算每个窗口分屏显示区域的参数；
根据参数启动输出任务：
(1)设置和启动视频输出设备；
根据设备号、输出通道类型、输出图像分辨率和帧率以及背景图像颜色启动视频输出设备；
(2)设置和启动视频输出图层设备：对比图层默认参数与目标参数，如果有差异则修改显示区域和图像的宽和高；
启动视频输出的通道：根据分屏模式参数启动输出通道；
(3)根据选用的物理接口启用相关的超高清或者高清设备获取输出通道图像进行显示。
本发明可以为解决多路视频的集中显示问题，同时采用位图叠加技术，在输出视频中进行位图叠加，为视频再加工提供了技术手段，为视频再加工和甄别提供了解决方案。
附图说明
图1为基于位图叠加的多路视频集中显示实现流程图。
具体实施方式
为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
本发明的目的是在linux平台下，解决多路视频输出问题。
本发明一种基于位图叠加的多路视频集中显示设计方法包括：
获取多路视频图像：
根据需求确定多路视频图像的来源，不同来源启动不同的数据获取任务，从而获取图像数据。
将多路视频数据发送到视频处理模块：
根据来源不同的多路视频，分类别从不同模块获取数据，同时，将视频输入模块和视频解码模块分别与视频处理模块绑定，从而获得本地视频和网络视频以及物理输入通道内的图像。
在视频处理模块对多路视频进行融合叠加：
在视频处理模块，采用动态库VGS(视频图形子系统)模块对多路视频进行处理，可以根据用户需求，对各路图像进行缩放、像素格式转换、视频存储格式转换、压缩/解压等操作，处理后的视频数据最后融合在VGS任务中进行位图叠加，调用动态库函数从VGS任务中取出处理后的数据发送到显示模块。
将叠加后的多路视频分屏输出：
启动视频输出模块，对其进行分屏输出设置，针对窗口和显示的关系计算分屏时各路视频显示的坐标，并启动视频输出模块设备，获取视频处理模块内的视频数据进行输出显示。
通过以上步骤，可以实现linux系统下的多路视频输出功能。
结合图1，为了解决linux系统下多路视频输出和叠加问题，我们采用基于分屏输出的方法。下面我们对本发明的内容作进一步描述。
一、获取多路视频图像：
根据需求确定多路视频图像的来源，不同来源启动不同的数据获取任务，从而获取图像数据。具体步骤如下：
对于本地视频文件：
(1)获取本地文件路径和文件名；
(2)创建循环读取文件数据的线程；
(3)判断文件是否存在，如不存在则报错退出，否则进行下一步；
(4)计算图像压缩前数据大小bufsize；
(5)动态申请bufsize大小的内存数组，用于暂存图像的数据；
(6)判断当前读取文件线程是否完成，如果完成就退出，否则进行下一步；
(7)定位读文件指针到当前可读的位置pos，pos为已读取的字节数总和，当前预读取字节数为bufsize，实际读取字节数readLen；
(8)判断当前读取操作是否成功，如果失败则发送视频流结束帧到解码模块，表示当前已没有可解码的数据，并退出该线程；如果成功，则进行下一步；
(9)判断读取的数据流模式是否为视频图像帧且编码为h264/h265，如果是则进行下一步，如果不是则进行第12步；
(10)在当前读取的数据中查找h264/h265协议帧头，如果找到则置上标志并退出查找帧头循环；
(11)在步骤10查找的位置继续查找h264/h265协议帧尾，如果找到则置上标志并退出查找帧尾循环；
(12)判断当前查找结束后的数组位置，如果数组位置大于零，则记录当前数组位置到readLen；
(13)判断帧头和帧尾是否都存在，如果都存在则表示找到完整的图像帧进行下一步，如果不存在则报错且将数组位置readLen向前移动协议帧尾代表的长度endLen，返回(6)；
(14)调用动态库函数发送完整帧到解码模块，将本次读取的帧长度readLen记录到总数pos，返回到(6)；
对于网络视频流：
使用ffmpeg动态库从网络接收视频流数据，具体操作如下：
(1)使用ffmpeg动态库函数av_dict_set配置视频流传输过程属性；
(2)注册ffmpeg上下文环境，初始化ffmpeg内部组件，并对网络功能进行全局初始化；
(3)打开媒体文件的url地址，并进行解析；
(4)读取媒体文件的数据包获取流信息；
(5)分析数据包中音频流和视频流的个数，并记录序号；
(6)动态申请数据包packet对象，使用av_read_frame函数从数据包中读取图像帧信息；
(7)判断图像帧序号和步骤5中记录的视频流序号一致时，进行下一步，如果不是则进行第(10)步；
(8)判断数据包中的数据是否不为null且大小不为0，如果是则进行下一步，不是则进行第(10)步；
(9)将图像帧存入环形缓冲区并从环形缓冲区取帧发送给解码模块；
(10)释放数据包对象资源；
对于物理通道视频：
通过视频输入模块采集物理通道的视频数据，具体操作如下：
(1)确定输入模块中MIPI RX的物理特性，根据用户需求配置输入设备dev、输入管道pipe、输入通道属性chnl，并创建对应的可操作对象；
(2)配置MIPI Rx的combo-PHY(复用物理接口)，接收接口的数据，根据用户对视频数据的速度和分辨率的传输要求配置不同的功能模式；
(3)启动输入模块，将接收到的数据存入内存空间。
二、将多路视频数据发送到视频处理模块
根据来源不同的多路视频，分类别从不同模块获取数据，同时，将视频输入模块和视频解码模块分别与视频处理模块绑定，从而获得本地视频和网络视频以及物理输入通道内的图像。具体步骤如下：
(1)分配视频解码模块的0通道给本地视频来源，分配解码模块的1通道给网络视频来源，解码模块设备号都选0，即：srcModule1＝{dev0，chnl0}，srcModeule2＝{dev0，chnl1}；
(2)分配视频输入模块的0管道和0通道给物理通道来源，srcModule3＝{pipe0，chnl0}；
(3)在视频处理模块创建三个不同的组，每组分别都启用0通道，分别绑定视频解码模块和视频输入模块涵盖的三个不同通道，即：desModule1＝{0,0}，desModedule2＝{1,0}，desModedule2＝{2,0}；
(4)绑定各模块的设备和通道，创建数据通道：bind1＝{srcModule1,desModule1}，bind2＝{srcModule2,desModule2}，，bind3＝{srcModule3,desModule3}；
(5)使用上述步骤的绑定关系，将数据导向输出到视频处理模块。
三、在视频处理模块对多路视频进行融合叠加
在视频处理模块，采用动态库VGS模块对多路视频进行处理，可以根据用户需求，对各路图像进行缩放、像素格式转换、视频存储格式转换、压缩/解压等操作，处理后的视频数据最后融合在VGS任务中进行位图叠加，调用动态库函数从VGS任务中取出处理后的数据发送到显示模块。具体步骤如下：
(1)创建区域对象；
首先，设置区域对象属性：视频叠加区域为扩展叠加区域，像素格式，图像高度和宽度，背景颜色。然后，根据属性参数创建区域对象。
(2)将位图叠加到区域对象上。
获取位图源文件数据，然后将位图数据拷贝到区域对象内部显示画布上。
(3)将区域叠加到视频输出的通道上；
首先，设定输出通道关于叠加位图的坐标属性，最后调用接口函数将VGS区域叠加到通道上，在对输出通道调度时就会将位图叠加到视频上。
将叠加后的多路视频分屏输出
设定视频输出参数：设备号，输出通道类型，输出分辨率，输出图像大小，输出图像缓存区大小，图像动态变化范围，输出分屏模式。
输出分屏模式采用多分屏，多分屏模式可选：{1,2,4,8,9,16,25,36,49,64}。设定两个参数：wndNum(窗口数),squreNum(区域数)。其中分屏的个数与参数之间的对应关系为{分屏数：{窗口数，区域数}}如下：
{1：{1,1},2：{2,2},4：{4,2}，8：{8,3}，9：{9,3}，16:{16,4}，25：{25,5}，36：{36，6},49：{49,7},64：{64,8}}
每个窗口分屏显示区域的参数计算公式为：
坐标X＝ALGN_DOWN((width/squreNum)*(i％squreNum),2)；
坐标Y＝ALGN_DOWN((width/squreNum)*(i/squreNum),2)；
显示区域宽度rWidth＝ALGN_DOWN(width/squreNum,2)；
显示区域高度rHeight＝ALGN_DOWN(heigh/squreNum,2)；
其中：ALGN_DOWN为向下取整，width，height为输出通道图层中图像的宽度和高度，i为窗口号，取值范围为{0，wndNum-1}。
根据参数启动输出任务：
(1)设置和启动视频输出设备；
根据设备号，输出通道类型，输出图像分辨率和帧率，背景图像颜色启动了视频输出设备。
(2)设置和启动视频输出图层设备：对比图层默认参数与目标参数，如果有差异则修改显示区域和图像的宽和高；
启动视频输出的通道：根据分屏模式参数启动输出通道。
(3)根据选用的物理接口启用相关的超高清或者高清设备获取输出通道图像进行显示。
在系统为linux的应用场景下，针对海思Hi3559AV100芯片特点，并结合解码器特性和输出通道属性，设计实现了一种linux系统下基于位图叠加的多路视频集中显示设计方案。本发明为源视频解码输出提供了不同输出通道，采用分屏输出方法，有效地解决了多路视频集中显示问题。同时，在输出视频中进行位图叠加，为视频再加工提供了技术手段。
利用上述技术方案，采用上述操作步骤，本发明可以实现linux系统下多路视频叠加输出问题，该方法已经经过了算法验证，并进行了实验检验。结果标明，该方案可以为解决多路视频的集中显示问题，同时采用位图叠加技术，为视频再加工和甄别提供了解决方案。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于位图叠加的多路视频集中显示设计方法，其特征在于，包括：
获取多路视频图像；
将多路视频数据发送到视频处理模块；
在视频处理模块对多路视频进行融合叠加；
在视频处理模块，采用动态库VGS对多路视频进行处理，对各路图像进行缩放、像素格式转换、视频存储格式转换以及压缩和解压操作，处理后的视频数据融合在VGS任务中进行位图叠加，调用动态库函数从VGS任务中取出处理后的数据发送；
启动视频输出模块，进行分屏输出设置，针对窗口和显示的关系计算分屏时各路视频显示的坐标，并启动视频输出模块设备，获取视频处理模块内的视频数据进行输出显示。
2.如权利要求1所述的基于位图叠加的多路视频集中显示设计方法，其特征在于，根据需求确定多路视频图像的来源，不同来源启动不同的数据获取任务，从而获取图像数据。
3.如权利要求1所述的基于位图叠加的多路视频集中显示设计方法，其特征在于，获取多路视频图像包括获取本地视频文件、网络视频流以及物理通道视频。
4.如权利要求3所述的基于位图叠加的多路视频集中显示设计方法，其特征在于，获取本地视频文件包括：
(1)获取本地文件路径和文件名；
(2)创建循环读取文件数据的线程；
(3)判断文件是否存在，如不存在则报错退出，否则进行下一步；
(4)计算图像压缩前数据大小bufsize；
(5)动态申请bufsize大小的内存数组，用于暂存图像的数据；
(6)判断当前读取文件线程是否完成，如果完成就退出，否则进行下一步；
(7)定位读文件指针到当前可读的位置pos，pos为已读取的字节数总和，当前预读取字节数为bufsize，实际读取字节数readLen；
(8)判断当前读取操作是否成功，如果失败则发送视频流结束帧到解码模块，表示当前已没有可解码的数据，并退出该线程；如果成功，则进行下一步；
(9)判断读取的数据流模式是否为视频图像帧且编码为h264/h265，如果是则进行下一步，如果不是则进行(12)；
(10)在当前读取的数据中查找h264/h265协议帧头，如果找到则置上标志并退出查找帧头循环；
(11)在(10)查找的位置继续查找h264/h265协议帧尾，如果找到则置上标志并退出查找帧尾循环；
(12)判断当前查找结束后的数组位置，如果数组位置大于零，则记录当前数组位置到readLen；
(13)判断帧头和帧尾是否都存在，如果都存在则表示找到完整的图像帧进行下一步，如果不存在则报错且将数组位置readLen向前移动协议帧尾代表的长度endLen，返回第6步；
(14)调用动态库函数发送完整帧到解码模块，将本次读取的帧长度readLen记录到总数pos，返回到(6)。
5.如权利要求3所述的基于位图叠加的多路视频集中显示设计方法，其特征在于，获取网络视频流包括：
使用ffmpeg动态库从网络接收视频流数据：
(1)使用ffmpeg动态库函数av_dict_set配置视频流传输过程属性；
(2)注册ffmpeg上下文环境，初始化ffmpeg内部组件，并对网络功能进行全局初始化；
(3)打开媒体文件的url地址，并进行解析；
(4)读取媒体文件的数据包获取流信息；
(5)分析数据包中音频流和视频流的个数，并记录序号；
(6)动态申请数据包packet对象，使用av_read_frame函数从数据包中读取图像帧信息；
(7)判断图像帧序号和步骤(5)中记录的视频流序号一致时，进行下一步，如果不是则进行第(10)步；
(8)判断数据包中的数据是否不为null且大小不为0，如果是则进行下一步，不是则进行第(10)步；
(9)将图像帧存入环形缓冲区并从环形缓冲区取帧发送给解码模块；
(10)释放数据包对象资源。
6.如权利要求1所述的基于位图叠加的多路视频集中显示设计方法，其特征在于，获取物理通道视频包括：
(1)确定输入模块中MIPI RX的物理特性，根据用户需求配置输入设备dev、输入管道pipe、输入通道属性chnl，并创建对应的可操作对象；
(2)配置MIPIRx的复用物理接口combo-PHY，接收接口的数据，根据用户对视频数据的速度和分辨率的传输要求配置不同的功能模式；
(3)启动输入模块，将接收到的数据存入内存空间。
7.如权利要求1所述的基于位图叠加的多路视频集中显示设计方法，其特征在于，将多路视频数据发送到视频处理模块包括：
根据来源不同的多路视频，分类别从不同模块获取数据，将视频输入模块和视频解码模块分别与视频处理模块绑定，从而获得本地视频和网络视频以及物理输入通道内的图像。
8.如权利要求7所述的基于位图叠加的多路视频集中显示设计方法，其特征在于，将多路视频数据发送到视频处理模块进一步包括：
(1)分配视频解码模块的0通道给本地视频来源，分配解码模块的1通道给网络视频来源，解码模块设备号都选0，即：srcModule1＝{dev0，chnl0}，srcModeule2＝{dev0，chnl1}；
(7)分配视频输入模块的0管道和0通道给物理通道来源，srcModule3＝{pipe0，chnl0}；
(8)在视频处理模块创建三个不同的组，每组分别都启用0通道，分别绑定视频解码模块和视频输入模块涵盖的三个不同通道，即：desModule1＝{0,0}，desModedule2＝{1,0}，desModedule2＝{2,0}；
(9)绑定各模块的设备和通道，创建数据通道：bind1＝{srcModule1,desModule1}，bind2＝{srcModule2,desModule2}，，bind3＝{srcModule3,desModule3}；
(10)根据绑定的关系，将数据导向输出到视频处理模块。
9.如权利要求1所述的基于位图叠加的多路视频集中显示设计方法，其特征在于，在视频处理模块对多路视频进行融合叠加具体包括：
(1)创建区域对象；
首先，设置区域对象属性，背景颜色、像素格式、图像高度和宽度，视频叠加区域为扩展叠加区域，创建区域对象；
(2)将位图叠加到区域对象上；
获取位图源文件数据，将位图数据拷贝到区域对象内部显示画布上；
(3)将区域叠加到视频输出的通道上；
设定输出通道关于叠加位图的坐标属性，调用接口函数将VGS区域叠加到通道上，在对输出通道调度时将位图叠加到视频上。
10.如权利要求1所述的基于位图叠加的多路视频集中显示设计方法，其特征在于，将叠加后的多路视频分屏输出包括：
设定视频输出参数；
输出分屏模式采用多分屏；
计算每个窗口分屏显示区域的参数；
根据参数启动输出任务：
(1)设置和启动视频输出设备；
根据设备号、输出通道类型、输出图像分辨率和帧率以及背景图像颜色启动视频输出设备；
(2)设置和启动视频输出图层设备：对比图层默认参数与目标参数，如果有差异则修改显示区域和图像的宽和高；
启动视频输出的通道：根据分屏模式参数启动输出通道；
(3)根据选用的物理接口启用相关的超高清或者高清设备获取输出通道图像进行显示。
CN202011380932.5A 2020-11-30 2020-11-30 一种基于位图叠加的多路视频集中显示设计方法 Active CN112565627B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011380932.5A CN112565627B (zh) 2020-11-30 2020-11-30 一种基于位图叠加的多路视频集中显示设计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011380932.5A CN112565627B (zh) 2020-11-30 2020-11-30 一种基于位图叠加的多路视频集中显示设计方法

Publications (2)

Publication Number Publication Date
CN112565627A true CN112565627A (zh) 2021-03-26
CN112565627B CN112565627B (zh) 2023-02-03

Family

ID=75046756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011380932.5A Active CN112565627B (zh) 2020-11-30 2020-11-30 一种基于位图叠加的多路视频集中显示设计方法

Country Status (1)

Country Link
CN (1) CN112565627B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112948421A (zh) * 2021-03-30 2021-06-11 重庆市规划和自然资源信息中心 规划自然资源移动查询方法
CN113132783A (zh) * 2021-04-21 2021-07-16 湛辉来 一种多机共享的多屏显示控制系统及方法
CN113625982A (zh) * 2021-07-21 2021-11-09 展讯通信（上海）有限公司 多屏显示方法及装置
CN113709398A (zh) * 2021-08-24 2021-11-26 天津津航计算技术研究所 一种基于lvds输入的视频录制设计方法
CN113709518A (zh) * 2021-08-24 2021-11-26 天津津航计算技术研究所 一种基于rtsp协议的视频实时传输模式设计方法
CN113727116A (zh) * 2021-07-21 2021-11-30 天津津航计算技术研究所 基于过滤机制的视频解码方法
CN113727114A (zh) * 2021-07-21 2021-11-30 天津津航计算技术研究所 一种可转码的视频解码方法
CN113873206A (zh) * 2021-10-30 2021-12-31 珠海研果科技有限公司 一种多路视频录制方法及系统
CN117440167A (zh) * 2023-09-28 2024-01-23 书行科技(北京)有限公司 一种视频解码方法、装置、计算机设备、介质及产品
CN117785995A (zh) * 2024-02-28 2024-03-29 江西方兴科技股份有限公司 一种基于物联网屏的数据展示方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030005120A1 (en) * 2001-06-28 2003-01-02 Madhav Mutalik Information replication system having enhanced error detection and recovery
CN106791318A (zh) * 2016-12-30 2017-05-31 南京大学 一种便携式高光谱视频实时采集和处理装置及其方法
US20170221069A1 (en) * 2016-01-13 2017-08-03 Donald Remboski Real time failure analysis and accurate warranty claim assesment
CN111818295A (zh) * 2019-04-10 2020-10-23 杭州海康威视数字技术股份有限公司 一种图像获取方法及装置
US20200396419A1 (en) * 2018-07-10 2020-12-17 Tencent Technology (Shenzhen) Company Limited Method and apparatus for generating video file, and storage medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030005120A1 (en) * 2001-06-28 2003-01-02 Madhav Mutalik Information replication system having enhanced error detection and recovery
US20170221069A1 (en) * 2016-01-13 2017-08-03 Donald Remboski Real time failure analysis and accurate warranty claim assesment
CN106791318A (zh) * 2016-12-30 2017-05-31 南京大学 一种便携式高光谱视频实时采集和处理装置及其方法
US20200396419A1 (en) * 2018-07-10 2020-12-17 Tencent Technology (Shenzhen) Company Limited Method and apparatus for generating video file, and storage medium
CN111818295A (zh) * 2019-04-10 2020-10-23 杭州海康威视数字技术股份有限公司 一种图像获取方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘浩等: "基于海思平台的NVR拼接预览方案的设计与实现", 《电子设计工程》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112948421A (zh) * 2021-03-30 2021-06-11 重庆市规划和自然资源信息中心 规划自然资源移动查询方法
CN112948421B (zh) * 2021-03-30 2022-03-18 重庆市规划和自然资源信息中心 规划自然资源移动查询方法
CN113132783B (zh) * 2021-04-21 2023-08-25 四川佳石信息技术有限公司 一种多机共享的多屏显示控制系统及方法
CN113132783A (zh) * 2021-04-21 2021-07-16 湛辉来 一种多机共享的多屏显示控制系统及方法
CN113625982A (zh) * 2021-07-21 2021-11-09 展讯通信（上海）有限公司 多屏显示方法及装置
CN113727114B (zh) * 2021-07-21 2024-04-26 天津津航计算技术研究所 一种可转码的视频解码方法
CN113727116A (zh) * 2021-07-21 2021-11-30 天津津航计算技术研究所 基于过滤机制的视频解码方法
CN113727114A (zh) * 2021-07-21 2021-11-30 天津津航计算技术研究所 一种可转码的视频解码方法
CN113727116B (zh) * 2021-07-21 2024-04-23 天津津航计算技术研究所 基于过滤机制的视频解码方法
CN113709518A (zh) * 2021-08-24 2021-11-26 天津津航计算技术研究所 一种基于rtsp协议的视频实时传输模式设计方法
CN113709518B (zh) * 2021-08-24 2023-11-28 天津津航计算技术研究所 一种基于rtsp协议的视频实时传输模式设计方法
CN113709398A (zh) * 2021-08-24 2021-11-26 天津津航计算技术研究所 一种基于lvds输入的视频录制设计方法
CN113873206A (zh) * 2021-10-30 2021-12-31 珠海研果科技有限公司 一种多路视频录制方法及系统
CN113873206B (zh) * 2021-10-30 2024-05-14 珠海研果科技有限公司 一种多路视频录制方法及系统
CN117440167A (zh) * 2023-09-28 2024-01-23 书行科技(北京)有限公司 一种视频解码方法、装置、计算机设备、介质及产品
CN117440167B (zh) * 2023-09-28 2024-05-28 书行科技(北京)有限公司 一种视频解码方法、装置、计算机设备、介质及产品
CN117785995A (zh) * 2024-02-28 2024-03-29 江西方兴科技股份有限公司 一种基于物联网屏的数据展示方法及系统

Also Published As

Publication number Publication date
CN112565627B (zh) 2023-02-03

Similar Documents

Publication Publication Date Title
CN112565627B (zh) 一种基于位图叠加的多路视频集中显示设计方法
CN112291627B (zh) 一种视频编辑方法、装置、移动终端和存储介质
US7145947B2 (en) Video data processing apparatus and method, data distributing apparatus and method, data receiving apparatus and method, storage medium, and computer program
US20170116709A1 (en) Image processing apparatus, moving image reproducing apparatus, and processing method and program therefor
US7889974B2 (en) Method and apparatus for editing images, and method and apparatus for reproducing the edited images
US8237741B2 (en) Image processing apparatus, image processing method, and image processing program
TW200414763A (en) Apparatus for receiving a digital information signal
JP2007510230A (ja) ユーザー指定情報を用いたメディアコンテンツの注釈付け
CN111727605B (zh) 用于发送和接收关于多个视点的元数据的方法及设备
US9601156B2 (en) Input/output system for editing and playing ultra-high definition image
JP2001103491A (ja) 送信装置、受信装置、およびこれらを用いた信号伝送システム
JP6270555B2 (ja) 画像処理システム、撮像装置及びその制御方法
CN112511896A (zh) 一种视频渲染方法及装置
JP2013125141A (ja) 表示装置、表示方法、送信装置および送信方法
CN112492247B (zh) 一种基于lvds输入的视频显示设计方法
US9338429B2 (en) Video processing apparatus capable of reproducing video content including a plurality of videos and control method therefor
US6335764B1 (en) Video output apparatus
JP2020524450A (ja) 多チャネル映像のための伝送システム及びその制御方法、多チャネル映像再生方法及びその装置
US20080291328A1 (en) Decoding apparatus for encoded video signals
CN110381331A (zh) 一种图像处理方法、装置、航拍设备及存储介质
CN114710707A (zh) 显示设备及视频缩略图获取方法
US20060132504A1 (en) Content combining apparatus and method
GB2541713A (en) Processing of high frame rate video data
JP2011049895A (ja) メディア品質変換装置、メディア品質変換方法およびメディア品質変換プログラム
CN104853245A (zh) 一种电影预览方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant