CN117812389A - 一种录像机、视频预览方法及电子设备 - Google Patents
一种录像机、视频预览方法及电子设备 Download PDFInfo
- Publication number
- CN117812389A CN117812389A CN202311829145.8A CN202311829145A CN117812389A CN 117812389 A CN117812389 A CN 117812389A CN 202311829145 A CN202311829145 A CN 202311829145A CN 117812389 A CN117812389 A CN 117812389A
- Authority
- CN
- China
- Prior art keywords
- image data
- frame
- video
- target
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000012545 processing Methods 0.000 claims abstract description 123
- 230000008569 process Effects 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 description 14
- 230000003139 buffering effect Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000003993 interaction Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000009467 reduction Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 239000002131 composite material Substances 0.000 description 4
- 239000013307 optical fiber Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 239000004698 Polyethylene Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- -1 polyethylene Polymers 0.000 description 2
- 229920000573 polyethylene Polymers 0.000 description 2
- 229920000915 polyvinyl chloride Polymers 0.000 description 2
- 239000004800 polyvinyl chloride Substances 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000007795 chemical reaction product Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000005059 dormancy Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Landscapes
- Television Signal Processing For Recording (AREA)
Abstract
本申请实施例提供了一种录像机、视频预览方法及电子设备,涉及数据处理技术领域,其中,一种录像机包括:图像处理单元,用于在显示内存中,写入与至少一路视频通道的图像数据对应的各帧目标图像数据;视频输出单元可以按照目标读取帧率,从显示内存中逐帧读取各帧目标图像数据,将各帧目标图像数据转换为码流数据进行输出;目标视频采集单元可以对指定接口进行数据采集,并将采集到的各帧目标图像数据写入到指定内存;编码单元,用于获取指定内存中的各帧目标图像数据,将所获取到的各帧目标图像数据,编码为符合远程预览设备所需帧率的目标码流数据,并传输至远程预览设备。可见,本方案可以提高远程预览的时效性。
Description
技术领域
本申请涉及数据处理技术领域,特别是涉及一种录像机、视频预览方法及电子设备。
背景技术
录像机通常具有远程预览功能、本地预览功能等。针对远程预览而言,在一些场景下,监控实时性要求较高。示例性的,针对码头上集装箱的装卸场景而言,操作员通过录像机的远程预览功能来远程控制集装箱的装卸,那么,监控延时越小,则在集装箱下有人或其他物体的情况时,操作员在远端控制集装箱升降将会更及时,从而使得安全性会越高。另外,在实际应用中,也存在其他监控实时要求较高的场景,例如电影拍摄,现场直播等场景。
相关技术中,针对至少一路视频通道的远程预览而言,录像机的编码单元对待进行远程传输的图像数据进行编码,得到码流数据,然后将码流数据传输至远程预览设备,以进行至少一路视频通道的画面预览。
编码单元所获取的待传递的图像数据可以由录像机的视频输出单元进行输出,然而,视频输出单元的输出帧率的设置依据远程预览设备所需的帧率,这样会存在如下问题:
若远程预览设备所需的帧率较低,那么,视频输出单元的输出帧率也会较低,导致远程预览的延时会较大,影响远程预览的时效性;并且,由于编码单元和视频输出单元之间采用软件链路进行交互,交互过程中耗时多少具有不稳定性,这对远程预览的时效性无疑也造成影响。
可见,相对于现有技术,如何降低远程预览的延时,提高远程预览的时效性,是亟待解决的问题。
发明内容
本申请实施例的目的在于提供一种录像机、视频预览方法及电子设备,以提高远程预览的时效性。具体技术方案如下:
第一方面,本申请实施例提供了一种录像机,包括:
图像处理单元,用于响应于获取到远程预览设备的针对至少一路视频通道的画面预览请求,向所述录像机的显示内存中,写入与所述至少一路视频通道的图像数据对应的各帧目标图像数据;其中,每帧目标图像数据所包含的画面内容均为待展示于所述远程预览设备的预览窗口的、针对各路视频通道的图像数据的组合画面内容;
视频输出单元,用于按照目标读取帧率,从所述显示内存中逐帧读取各帧目标图像数据,将所读取到的各帧目标图像数据转换为待传输的数据流并从指定接口进行输出;其中,所述目标读取帧率的帧率值与所述视频输出单元对应的指定刷新帧率的帧率值相同,所述指定刷新帧率为在采用所述视频输出单元进行视频显示时,能够使用的最大的显示屏刷新帧率;
目标视频采集单元,用于对所述指定接口进行数据采集,得到各帧目标图像数据,并将所得到的各帧目标图像数据写入到指定内存;
编码单元,用于获取所述指定内存中所写入的各帧目标图像数据,将所获取到的各帧目标图像数据,编码为符合所述远程预览设备所需帧率的目标码流数据,将所述目标码流数据传输至远程预览设备,以进行针对所述至少一路视频通道的画面预览。
第二方面,本申请实施例提供了一种视频预览方法,所述方法包括:
响应于获取到远程预览设备的针对至少一路视频通道的画面预览请求,生成与至少一路视频通道的图像数据对应的各帧目标图像数据;其中,各帧目标图像数据被写入到录像机的显示内存中,且各帧目标图像数据为针对所述至少一路视频通道的、符合所述远程预览设备的预览窗口内的布局需求的各帧图像数据;
按照目标读取帧率,从所述显示内存中逐帧读取各帧目标图像数据,将所读取到的各帧目标图像数据转换为待传输的数据流并通过所述录像机的视频输出单元的指定接口输出;其中,所述目标读取帧率的帧率值与所述视频输出单元对应的指定刷新帧率的帧率值相同,所述指定刷新帧率为在采用所述视频输出单元进行视频显示时,能够使用的最大的显示屏刷新帧率;
对所述指定接口进行数据采集,得到各帧目标图像数据;
将各帧目标图像数据,编码为符合所述远程预览设备所需帧率的目标码流数据,并将所述目标码流数据传输至远程预览设备,以进行针对所述至少一路视频通道的画面预览。
第三方面,本申请实施例提供了一种电子设备,包括:
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述任一视频预览方法。
本申请实施例有益效果:
本申请实施例提供的录像机的图像处理单元可以响应于获取到远程预览设备的针对至少一路视频通道的画面预览请求,向所述录像机的显示内存中,写入与至少一路视频通道的图像数据对应的各帧目标图像数据,视频输出单元可以按照目标读取帧率,从显示内存中逐帧读取各帧目标图像数据,将所读取到的各帧目标图像数据转换为待传输的数据流并从指定接口进行输出,目标视频采集单元可以对指定接口进行数据采集,得到各帧目标图像数据,并将所得到的各帧目标图像数据写入到指定内存中,编码单元可以获取指定内存中所回写的各帧目标图像数据,将所获取到的各帧目标图像数据,编码为符合远程预览设备所需帧率的目标码流数据,将目标码流数据传输至远程预览设备,以进行针对至少一路视频通道的画面预览。可见,视频输出单元可以按照目标读取帧率,从显示内存中读取各帧目标图像数据,将读取到的目标图像数据转换为待传输的数据流,并从指定接口进行输出,故视频输出单元的输出帧率不受远程预览设备所需帧率影响,在远程预览设备所需帧率较低时,视频输出单元的输出帧率也不会产生变化,与目标读取帧率一致,这样,编码单元每次从指定内存中所取得的各帧目标图像数据为最新生成的各帧目标图像数据的几率得到提升,因此,通过本方案,可以减少远程预览的延时,从而提高远程预览的时效性。另外,本申请实施例中在视频输出单元将数据流从指定接口进行输出后,目标视频采集单元可以从指定接口进行数据采集,该过程中无软件链路,处理时间是确定的,故无需帧缓存,提高了交互耗时的稳定性。以及,对于视频输出单元和目标视频采集单元之间的硬件电路仅需简单的直连,方案更为简单。
当然,实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的实施例。
图1(a)为本申请实施例提供的一种用于远程预览的系统拓扑的结构示意图;
图1(b)为本申请实施例提供的另一种用于远程预览的系统拓扑的结构示意图;
图1(c)为相关技术中的一种实现远程预览的流程示意图;
图1(d)为本申请实施例提供的一种YUV数据的结构示意图;
图1(e)为本申请实施例提供的一种本地预览的流程示意图;
图2为本申请实施例提供的一种录像机的结构示意图;
图3为本申请实施例提供的一种视频采集单元进行信号采集的流程示意图;
图4为本申请实施例提供的一种按照预览窗口布局拼接图像数据的原理示意图;
图5为本申请实施例提供的另一种视频采集单元进行信号采集的流程示意图;
图6为本申请实施例提供的一种实现远程预览的流程示意图;
图7为本申请实施例提供的一种视频预览方法的流程示意图;
图8为本申请实施例提供的一种视频预览装置的结构示意图;
图9为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员基于本申请所获得的所有其他实施例,都属于本申请保护的范围。
首先,对本申请实施例中的一些专业数据进行简单介绍:
系统低延时:是指从模拟采集到web远程取数据流预览之间的延时。
编码器:一种硬盘录像机,只有信号接入和编码功能。
DVR:硬盘录像机(Digital Video Recorder)。
CVBS:复合视频广播信号(Composite Video Broadcast Signal),也被称为复合视频,被广泛使用的标准,也叫做基带视频或RCA视频,是传统图像数据传输方法,它以模拟波形来传输数据。复合视频包含色差(色调和饱和度)和亮度(光亮)信息,并将它们同步在消隐脉冲中,用同一信号传输。
视频采集:也可以称为视频输入单元(Video Input Unit)将芯片外的视频数据通过ITU-R BT656/601/1120接口或Digital Camera接口接收,存入到指定的内存区域。在此过程中,视频输入单元可以对接收到的原始视频图像数据进行裁剪(Crop)、水平垂直缩小(Down Scaling)和水平垂直翻转(Mirror、Flip)等处理,并实现一路或多路原始视频图像输入,输出一路或多路视频图像功能。
视频处理:编码通道完成图像转化为码流的功能,具体由码率控制器和编码器协同完成。
视频输出:也可以称为视频输出单元VOU(Video Output Unit)主动从内存相应位置读取视频和图形数据,并通过相应的显示设备输出。
DDR:通常为DDR SDRAM(双倍速率同步动态随机存储器),其中,SDRAM是Synchronous Dynamic Random Access Memory的缩写,即,同步动态随机存取存储器。而DDR SDRAM是Double Data Rate SDRAM的缩写,是双倍速率同步动态随机存储器。可以理解的是,内存可以是DDR中的区域。
BT.656,一种视频采集和处理标准,它定义了一种基于并行接口的数字视频信号传输方式。该标准适用于标准分辨率的视频信号,itu-r bt.656定义了一个并行的硬件接口用来传送一路4:2:2的YCbCr的数字视频流。
BT.1120,BT1120协议的全称是ITU-R BT.1120。ITU是国际电信联盟International Telecommunication Union的简称。R是无线电通信部门(Radiocommunicationssector)的简称。BT是指广播电视业务(Broadcasting Servicetelevision)。该协议对高清晰度电视演播室信号数字接口(Digital interfaces forstudio signals with 1920×1080image formats)进行了规范,主要从支持的视频制式,数字信号编码参数,图像定时规范等进行了规范,物理接口以一个8bit的数字接口为例,全部信号采用单端信号,由1bit随路时钟,以及16bit的数据线组成。其中,8bit数据线传输YUV中亮度信号,8bit数据线传输色差信号。
需要强调的是,本申请实施例中针对显示器的刷新帧率可以使用fps作为单位,如:指定刷新帧率的单位可以是fps,表征一秒内能刷新多少次,但在表示显示器的刷新频率时可以使用hz作为单位,针对其他的帧率单位也可以是fps,如:目标读取帧率的单位可以是fps。
以及,为了更好的理解本申请,在介绍本申请实施例所提供的方案之前,首先对常见的两种关于远程预览的系统拓扑进行简单介绍,如图1(a)、图1(b)所示:
图1(a)为一种用于远程预览的系统拓扑。针对图1(a)所示的系统拓扑,远程预览的工作原理包括:模拟相机可以看作视频源,模拟相机采集模拟信号,并将采集到的模拟信号发送至录像机,录像机可以将模拟信号转换为数字信号,也就是,A/D(Analog/Digital)信号转换,再对数字信号进行DSP(Digital Signal Processing,数字信号处理),例如:分辨率调整、压缩处理等,得到数据码流,通过网络传输将数据码流传送到远程预览设备,也就是,进行DSP,并将数据码流网传至远程预览设备;相应的,远程预览设备通过PC端的解码软件,将数据码流解码为待进行展示的图像数据,并基于解码得到的图像数据在远程预览设备上进行展示,也就是,远程预览设备对数据码流进行解码,并进行显示。需要强调的是,网络传输可以通过网线+交换机进行远距离传输,也可以通过网线+光纤收发器进行远距离传输。另外,该系统拓扑的远程预览,基于网线及光纤收发器,故成本较低。
图1(b)为另一种用于远程预览的系统拓扑。针对图1(b)所示的系统拓扑,远程预览的工作原理包括:模拟相机采集模拟信号,并将采集到的模拟信号通过SYV进行远距离传输,录像机将模拟信号转换为数字信号,再进行DSP,得到数据码流,也就是,录像机先A/D信号转换,再DSP,得到数据码流;录像机将数据码流网传至远程预览设备,也就是,录像机通过网络传输将数据码流传送到远程预览设备;相应的,远程预览设备通过PC端的解码软件,将数据码流解码为待进行展示的图像数据并在远程预览设备上进行展示。
其中,模拟相机在将采集到的模拟信号远距离传输至录像机时,可以通过SYV进行远距离传输,SYV也可以称为SYV视频线,其中,S(Solid coaxial cable)表征实心同轴电缆,Y(polyethylene)表征聚乙烯,V(polyvinyl chloride)表征聚氯乙烯,也可以采用SYV视频线+光纤收发器进行远距离传输。另外,该系统拓扑的远程预览,基于SYV视频线,故成本较高。
需要强调的是,上述所介绍的用于远程预览的系统拓扑,只是常见的两种系统拓扑,本申请实施例对系统拓扑的具体结构细节不做具体限定。
另外,下面对相关技术中的远程预览方法及其缺点进行简单的介绍:
在相关技术中,针对远程预览的一种实现方式中,录像机中的编码单元所获取的待传递的图像数据可以由录像机的视频输出单元进行输出,然而,视频输出单元的输出帧率通常设置为与远程预览设备所需的帧率相一致,这样会存在如下问题:
若远程预览设备所需的帧率较低,那么,视频输出单元的输出帧率也会较低,导致远程预览的延时会较大,影响远程预览的时效性;并且,由于编码单元和视频输出单元采用软件链路进行交互,交互过程中耗时多少具有不稳定性,这对远程预览的时效性无疑也造成影响。
另外,相关技术中本地预览可以采用的系统低延时技术,涉及信号采集,图像处理,视频输出,编码,网络传输。一般的做法是,模拟相机采集信号,通过长距离(300-500m)的同轴电缆,接入到硬盘录像机中,硬盘录像机设置于操作台上,通过VGA(Video GraphicsArray,视频图形阵列)/HDMI(High Definition Multimedia Interface,高清多媒体接口)线实现本地预览。
而相关技术中的另一种远程预览方式,可以借助本地预览。如图1(c)所示,视频采集单元从视频源采集到图像数据,即视频采集,将得到的图像数据发送到图像处理单元,图像处理单元可以对图像数据进行图像处理,即图像处理,图像处理单元还可以将多路视频通道的图像数据进行拼帧,并将拼帧后的图像数据缓存至显示内存中,再由视频输出单元从显示内存中读取拼帧后的图像数据,并进行本地标清输出实现本地预览,即标清输出,其中,视频输出单元按照本地预览的需求,例如标清输出的需求,可以配置图像处理后的图像数据的帧率及分辨率,并输出至显示内存中;然后,通过手动取帧的方式,将显示内存中的图像数据,传送至图像处理单元,以复用图像处理单元对图像数据进行二次图像处理,即复用图像处理,例如:分辨率调整;将图像处理后的图像数据传送至编码单元,以由编码单元按照远程预览设备所需的帧率要求,生成码流数据,并将所生成的码流数据网传至远程预览设备,即视频编码。该方案中,远程预览过程,复用本地预览过程中显示内存中的图像数据。当然,在无需进行二次调整图像数据的分辨率时,复用图像处理的步骤也可以省略,此时,可以在视频输出单元将图像数据输出至显示内存中,通过手动取帧的方式,将显示内存中的图像数据逐帧发送到编码单元;并且,在复用本地预览的图像数据时,本地预览所利用的至少一路视频通道,与远程预览所需的至少一路视频通道是相同的。
需要强调的是,该复用本地预览以进行远程预览的方式,无疑受限于本地预览的帧率需求,在本地预览的帧率需要低于远程预览的帧率需求时,对于远程预览无疑也产生较大的延时。
需要强调的是,一般要求远程预览的全过程的延时在160ms以内,以1080p25hz的信号源为例,帧间隔为40ms,那么,在确定远程预览的延时的方式为模拟相机对着计时器(能显示毫秒),模拟相机外接一个用于显示的画面实时秒表的屏幕,远程预览设备显示的画面实时秒表与外接屏幕显示的画面实时秒表的差值,即为系统的总延时。
可以理解的是,系统延时包括各个单元的处理时间和各个单元所产生的帧缓存的延时。
其中,产生帧缓存的原因为不同单元处理时间不均匀,避免出现处理超时产生丢帧的情况,当然,在录像机正常工作的情况下,也可以不产生帧缓存,本申请实施例对此不做限定。示例性的,视频采集单元按照25fps进行图像采集,每40ms采集一帧,后级单元处理完一帧数据,要在40ms以内。但是后级单元处理时间可能偏长,视频采集单元采集到的图像数据来不及处理,会出现丢帧的情况,故视频采集单元需要缓存一帧或多帧,防止系统波动产生的丢帧。同理,视频输出单元也需要帧缓存。
下面以1080p25hz的源信号为例,对相关技术中的远程预览方法的延时进行简单分析。
视频采集耗时:按行采集需要耗时,需要2-3帧缓存;通常耗时80ms-120ms。
图像处理耗时:缩放、降噪处理需要耗时,需要1帧缓存;通常耗时40ms。
视频输出耗时:视频输出的耗时跟输出刷新帧率有关,需要1-3帧缓存;通常耗时40ms-120ms。
取帧耗时:取数据和发数据的耗时较小,主要是线程休眠和调度的耗时。
编码处理耗时:编码一帧的耗时较少,耗时一般小于10ms。
码流封装耗时:封装的耗时较少,耗时一般小于10ms。
网络传输耗时:有一定的耗时。
可见,上述硬件单元所产生的延时是大于160ms,各个硬件单元之间的交互,也存在耗时,会导致远程预览的延时较大,从而影响远程预览的时效性。
为了提高远程预览的时效性,本申请实施例提供了一种录像机。
其中,本申请实施例所提供的录像机可以为DVR(Digital Video Recorder,硬盘录像机)、NVR(Network Video Recorder,网络视频录像机)等任意能够实现预览显示的电子设备。其中,DVR是一套进行图像存储处理的计算机系统,具有对图像进行长时间录像和控制的功能。NVR多用于安防行业后端产品,其能够接入多路模拟相机,并对各路模拟相机传输过来的视频流信号进行解码显示、录像存储、网传发送等。
可以理解的是,录像机中可以包括视频采集单元,视频采集单元也可以称为VI(Video input,视频输入)模块,或,VI单元等,视频采集单元可以将视频流信号采集成指定类型的图像数据。其中,视频流信号可以是一种类型的模拟信号,视频流信号中携带了图像信息,通过采集这些图像信息以生成数字信号形式的、指定类型的图像数据流,例如:BT656数据流或BT1120数据流。其中,BT656定义了一个并行的硬件接口,其用于传送一路4:2:2的YCbCr的数字视频流,YCbCr是色彩空间的一种,通常用于影片中的影像连续处理,或是数字摄影系统中,Y为亮度(luminance),而Cb和Cr则为蓝色和红色的浓度偏移量成份。而BT1120是HDTV(High Definition Television,高清晰度电视)演播室信号数字接口,能够把4:4:4和4:4:2的视频数据编码成内嵌有同步定时基准码的视频数据流。需要强调的是,视频采集单元从功能上划分可以包括信息采集器和A/D转换器,二者可以集成在一个芯片上,也可以设置于两个芯片上,视频采集单元也可以仅包括信息采集器,本申请实施例对视频采集单元不做限定。
以及,视频输出单元也可以称为高清输出单元或高清输出引擎,表征可以输出用于本地预览高清画面的单元,目标视频采集单元也可以称为视频采集单元或视频采集模块,编码单元也可以称为编码引擎,本申请实施例对此不做具体限定。
另外,指定类型的图像数据可以为YUV类型的图像数据,其中“Y”表示明亮度,“U”和“V”表示的则是色度,其中,“U”用于描述影像色彩及饱和度,“V”用于指定像素的颜色,YUV类型的图像数据具有多种格式,例如:YUV420格式的数据、YUV422格式的数据等;当然,指定类型的图像数据并不局限于YUV类型的图像数据,例如指定类型的图像数据也可以为RGB(红绿蓝)格式的图像数据。可以理解的是,本申请实施例对图像数据的指定类型不做具体限定。
为了更好的理解该部分内容,下面将结合附图,对YUV数据在内存中的排列,进行简单介绍,如图1(d)所示:
Y表示明亮度位于整个YUV数据的上半部,而表示色度的U和V位于整个YUV数据的下半部。
具体而言,视频输入单元用于通过MIPI(Mobile Industry ProcessorInterface,移动产业处理器接口)、ITU-R等技术联盟规定的BT656和BT1120等接口接收视频流信号,并将所接收的视频流信号,转换为图像数据。
下面对本申请实施例的录像机的应用场景进行简单的介绍:
本申请实施例的录像机可以适用于对远程预览实时性要求较高的场景,示例性的,在码头的集装箱管控的场景中,需要依赖录像机实现视频远程预览,从而操作员可以在远端控制集装箱进行升降,为避免集装箱下有人或其他物体,远程预览的延时越小越安全。同理,像电影拍摄,现场直播等对远程预览实时性要求较高的场景也可以适用于该录像机,本申请实施例对录像机所应用的场景不做具体限定。
另外,本申请中的远程预览设备也可以基于场景进行变化,在码头的集装箱管控的场景中,远程预览设备可以是LCD液晶显示器,通过该LCD液晶显示器,操作员可以观察集装箱下是否有行人或物体,当然,远程预览设备也可以是LED液晶显示器,本申请实施例不做具体限定。
以及,下面结合附图对将一路高清输出采用四宫格进行输出的方式进行简单介绍:
如图1(e)所示,图中有6条视频通道,6条视频通道分别为VIDEO1-VIDEO6,视频通道中的模拟信号经过A/D信号转换,可以得到视频通道对应的数字信号,视频通道对应的数字信号经过视频采集单元进行采集,可以得到视频通道的图像数据,其中,视频采集单元VI可以包括VI0-VI7,其中,VI2-VI7用于进行视频采集,而VI0用于进行硬件回环。另外,视频采集单元VI都集成于SOC(System on Chip,系统级芯片),DDR也集成于SOC上,SOC可以对接VGA接口及HDMI接口。以及,高清输出接口配置为BT1120输出模式,并将输出模式BT1120的高清输出接口直连至视频采集单元VI0的BT1120接口。高清输出接口可以产生一路视频信号源,该信号源可以由四路视频通道的图像数据组成,也就是由1-4共四路视频通道的图像数据组成,该信号源用于远程预览。其中,高清输出接口可以支持BT.1120/HDMI/VGA三种模式,可以对上述三种格式的信号进行输出。
其中,本申请实施例所提供的录像机,包括:
图像处理单元,用于响应于获取到远程预览设备的针对至少一路视频通道的画面预览请求,向所述录像机的显示内存中,写入与所述至少一路视频通道的图像数据对应的各帧目标图像数据;其中,每帧目标图像数据所包含的画面内容均为待展示于所述远程预览设备的预览窗口的、针对各路视频通道的图像数据的组合画面内容;
视频输出单元,用于按照目标读取帧率,从所述显示内存中逐帧读取各帧目标图像数据,将所读取到的各帧目标图像数据转换为待传输的数据流并从指定接口进行输出;其中,所述目标读取帧率的帧率值与所述视频输出单元对应的指定刷新帧率的帧率值相同,所述指定刷新帧率为在采用所述视频输出单元进行视频显示时,能够使用的最大的显示屏刷新帧率;
目标视频采集单元,用于对所述指定接口进行数据采集,得到各帧目标图像数据,并将所得到的各帧目标图像数据写入到指定内存;
编码单元,用于获取所述指定内存中所写入的各帧目标图像数据,将所获取到的各帧目标图像数据,编码为符合所述远程预览设备所需帧率的目标码流数据,将所述目标码流数据传输至远程预览设备,以进行针对所述至少一路视频通道的画面预览。
可见,视频输出单元可以按照目标读取帧率,从显示内存中读取各帧目标图像数据,将读取到的目标图像数据转换为待传输的数据流,并从指定接口进行输出,故视频输出单元的输出帧率不受远程预览设备所需帧率影响,在远程预览设备所需帧率较低时,视频输出单元的输出帧率也不会产生变化,与目标读取帧率一致,这样,编码单元每次从指定内存中所取得的各帧目标图像数据为最新生成的各帧目标图像数据的几率得到提升,因此,通过本方案,可以减少远程预览的延时,从而提高远程预览的时效性。另外,本申请实施例中在视频输出单元将数据流从指定接口进行输出后,目标视频采集单元可以从指定接口进行数据采集,该过程中无软件链路,处理时间是确定的,故无需帧缓存,提高了交互耗时的稳定性。以及,对于视频输出单元和目标视频采集单元之间的硬件电路仅需简单的直连,方案更为简单。
下面将结合说明书附图,对本申请实施例所提供的录像机进行详尽的阐述。
如图2所示,本申请实施例提供一种录像机,包括:
图像处理单元210,用于响应于获取到远程预览设备的针对至少一路视频通道的画面预览请求,向所述录像机的显示内存中,写入与所述至少一路视频通道的图像数据对应的各帧目标图像数据;其中,每帧目标图像数据所包含的画面内容均为待展示于所述远程预览设备的预览窗口的、针对各路视频通道的图像数据的组合画面内容;
视频输出单元220,用于按照目标读取帧率,从所述显示内存中逐帧读取各帧目标图像数据,将所读取到的各帧目标图像数据转换为待传输的数据流并从指定接口进行输出;其中,所述目标读取帧率的帧率值与所述视频输出单元220对应的指定刷新帧率的帧率值相同,所述指定刷新帧率为在采用所述视频输出单元220进行视频显示时,能够使用的最大的显示屏刷新帧率;
目标视频采集单元230,用于对所述指定接口进行数据采集,得到各帧目标图像数据,并将所得到的各帧目标图像数据写入到指定内存;
编码单元240,用于获取所述指定内存中所写入的各帧目标图像数据,将所获取到的各帧目标图像数据,编码为符合所述远程预览设备所需帧率的目标码流数据,将所述目标码流数据传输至远程预览设备,以进行针对所述至少一路视频通道的画面预览。
需要强调的是,本申请中的图像处理单元210、视频输出单元220、目标视频采集单元230及编码单元240均为实际的物理设备,本申请实施例采用了一种硬件回环的方式,从而实现远程预览。
其中,视频通道可以是一路,也可以是多路,根据远程预览设备的预览窗口的布局需求进行设置,示例性的,若远程预览设备的预览窗口为1,也就是,在远程预览设备上不进行分屏,实现一路视频通道的画面预览即可;若远程预览设备的预览窗口为4,也就是,在远程预览设备进行4分屏时,可以实现4路视频通道的画面预览。需要强调的是,对于远程预览设备的预览窗口的布局需求,可以理解为各个视频通道的画面的排布方式,可以由用户进行制定,用户可以基于用户层的设备向录像机下发远程预览设备的预览窗口内的布局需求。另外,图像处理单元210所收到的远程预览设备的针对至少一路视频通道的画面预览请求,也可以是用户层的设备进行下发的;其中,用户层的设备可以是用户的移动手机、个人电脑PC等,本申请实施例对此不做具体限定。
需要强调的是,在一种实现方式中,视频输出单元220可以预先被配置有至少一种输出分辨率,那么,图像处理单元210向录像机的显示内存中,写入各帧目标图像数据的分辨率,可以与视频输出单元220被配置的目标输出分辨率一致,视频输出单元220被配置的目标输出分辨率,可以是与远程预览设备的预览窗口的画面分辨率的差异最小的分辨率,那么,视频输出单元220被配置的目标输出分辨率可能与远程预览设备的预览窗口的画面分辨率相同,也可能不同,示例性的,视频输出单元的标准输出时序为1280*720@60HZ,即720P60,此时,上述的视频输出单元被配置的输出分辨率为1280*720,那么,若远程预览设备的预览窗口的画面分辨率为1100*720,上述的目标输出分辨率可以是1280*720。
其中,任一视频通道的视频数据可以是由多帧的图像数据组成的,故图像处理单元210可以向录像机的显示内存中,写入至少一路视频通道的图像数据对应的各帧目标图像数据。并且,需要说明的是,图像处理单元210所基于的至少一路视频通道的图像数据,是经过录像机中的视频采集单元进行采集的图像。以及,在视频通道为多路时,且图像处理单元210在向显示内存中写入各帧目标图像数据时,图像处理单元210可以针对各路视频通道的图像数据进行拼接处理,将得到的组合画面内容可以作为目标图像数据所包含的画面内容。可以理解的是,由于图像处理单元210向显示内存中写入的各帧目标图像数据的分辨率,需要与上述的目标输出分辨率一致,那么,图像处理单元210在进行拼接处理之前,可能要对原图进行缩放,原图也就是视频通道的图像数据,从而使得拼接后的图像分辨率等于上述的目标输出分辨率,以实现达到尽量缩放到输出窗口尺寸的目的。示例性的:接入了4路1280*720@30fps信号源,远程请求1920*1080P60HZ的四宫格的预览请求,配置输出时序为1920*1080P60HZ,输出四宫格,每个输出窗口的大小为960*540,即用于拼接的图像分辨率为960*540;所以,拼接前需要将原图1280*720@30缩小到输出窗口大小960*540@30。当然,当输出窗口大小跟原图大小一致,则无需缩放原图,例如,1080P25信号接入,远程请求4K(3840*2160P30)四宫格预览,此时在拼接前无需进行缩放处理。
以及,在图像处理单元210在显示内存中,写入各帧目标图像数据后,视频输出单元220可以从显示内存中在逐帧读取各帧目标图像数据,并将各帧目标图像数据进行数据转换,将各帧目标图像数据转化为待传输的数据流,并将待传输的数据流从指定接口进行输出,该指定接口为视频输出单元220中的用于输出待传输的数据流的接口,示例性的,待传输的数据流可以是BT1120数据流,当然也可以是BT656数据流,本申请实施例对此不做限定。
需要强调的是,在视频输出单元220将待传输的数据流从指定接口进行输出时,目标视频采集单元230需具有待传输的数据流的数据类型的硬件接口,从而可以对指定接口进行数据采集,当然,在一种实现方式中,目标视频采集单元230可以从具有待传输的数据流的数据类型的硬件接口中接收待传输数据。示例性的,待传输的数据流为BT1120数据流,那么,目标视频采集单元需具有数据类型为BT1120的硬件接口,从而接收到BT1120数据流。
需要强调的是,图像处理单元210向录像机的显示内存中,写入与至少一路视频通道的图像数据对应的各帧目标图像数据时,可以按照各视频通道的视频采集帧率进行写入。为了布局清晰,在其他实施例中,详细介绍图像处理单元210向录像机的显示内存中,写入与至少一路视频通道的图像数据对应的各帧目标图像数据的过程,在此不做赘述。
可以理解的是,显示内存,也可以称为显存,可以存储用于本地预览的图像数据,而本申请实施例中的录像机针对远程预览,故图像处理单元210可以借用本地预览的显示内存,将至少一路视频通道的图像数据对应的各帧目标图像数据进行写入,视频输出单元220可以按照目标读取帧率,从显示内存中逐帧读取各帧目标图像数据,对各帧目标图像数据进行数据转换,得到待传输的数据流,并将待传输的数据流从指定接口进行输出;指定内存可以是除显示内存以外的DDR区域,指定内存用于缓存目标视频采集单元230所写入的目标图像数据,本申请实施例对指定内存不做具体限定。需要强调的是,目标读取帧率的帧率值与视频输出单元220对应的指定刷新帧率的帧率值相同,视频输出单元220对应的指定刷新帧率为在采用视频输出单元220进行视频显示时,能够使用的最大的显示屏刷新帧率,视频输出单元也可以称为高清输出引擎或高清输出单元,表征可以输出用于本地预览高清画面的单元,本申请实施例对此不做具体限定。示例性的,视频输出单元进行本地预览显示时,能够使用的最大的显示屏刷新帧率为60fps,也就是指定刷新帧率为60fps,那么,目标读取帧率与指定刷新帧率的帧率值一致,故视频输出单元220在从显示内存中读取各帧目标图像数据时,读取的帧率为60fps。
另外,视频输出单元220在进行本地预览的过程中,可以按照指定刷新帧率,从显示内存中读取各帧目标图像数据,在视频输出单元220本地输出显示时,若针对当前帧已经进行过输出显示,但是没有读取到下一帧,此时,可以将当前帧重复输出显示,该过程可以称为倍帧。
可以理解的是,在目标读取帧率大于各视频通道的视频采集帧率时,视频输出单元220可以按照目标读取帧率,从显示内存中读取各帧目标图像数据。示例性的,视频输出单元进行视频显示时,能够使用的最大的显示屏刷新帧率为60fps,那么,目标读取帧率为60fps,而各视频通道的视频采集帧率为30fps,那么,视频输出单元可以按照60fps,从显示内存中逐帧读取图像数据。
以及,在目标读取帧率不大于各视频通道的视频采集帧率的情况,那么,可能目标读取帧率等于各视频通道的视频采集帧率,也可能目标读取帧率小于各视频通道的视频采集帧率,此时,则可以直接从显示内存中读取各帧目标图像数据。示例性的,视频输出单元进行视频显示时,能够使用的最大的显示屏刷新帧率为60fps,那么,目标读取帧率为60fps,而各视频通道的视频采集帧率为60fps,此时,视频输出单元可以直接从显示内存中逐帧读取图像数据。
以及,视频输出单元220可以将读取到的各帧目标图像数据转换为待传输的数据流,可以理解为将各帧目标图像数据转换为数据流的形态,从而得到待传输的数据流,待传输的数据流的数据类型可以是BT1120,也可以是BT656,本申请实施例对此不做具体限定。
在一种实现方式中,所述待传输的数据流的数据类型为指定数据类型;
相应的,所述指定接口为从所述视频输出单元220的输出接口中选定的、用于输出指定数据类型的数据的接口。
可以理解的是,指定接口为视频输出单元220的输出接口中所选定的接口,该接口可以输出指定数据类型的数据,该指定数据类型可以是待传输的数据流的数据类型,可以是BT1120或BT656等。
可以理解的是,目标视频采集单元230响应于画面预览请求,对指定接口进行数据采集,可以得到各帧目标图像数据,再将所得到的各帧目标图像数据写入到指定内存中,需要强调的是,在将各帧目标图像数据写入到指定内存时,并不一定要逐帧进行写入。可以理解的是,指定数据类型的数据,也就是BT1120和BT656类型的数据本质上也是YUV格式的数据,故对指定数据接口进行数据采集时,可以直接采集到各帧目标图像数据
为了更好的理解关于目标视频采集单元230的内容,下面将结合附图进行简单介绍,如图3所示:
视频输出单元220从指定接口输出待传输的数据流,该数据流的类型可以是BT1120,目标视频采集单元230中的信号采集器可以对指定接口进行数据采集得到各帧目标图像数据,各帧目标图像数据为YUV数据,而BT1120类型的数据流本质上是YUV422格式的图像数据,那么,可以将得到的YUV数据写入到DDR区域中,也就是,写入到指定内存中。
可以理解的是,编码单元240获取指定内存中所写入的各帧目标图像数据后,可以将所获取到的各帧目标图像数据,编码为符合远程预览设备所需的帧率的目标码流数据,目标码流数据便于进行网络传输,在将目标码流数据传输至远程预览设备后,远程预览设备可以对目标码流数据进行解码处理,以进行针对至少一路视频通道的画面预览。以及,编码单元240的编码帧率可以是60fps,而远程预览设备所需帧率也可以是60fps。
另外,本申请实施例还可以通过减少帧缓存的方式,从而减少延时,也就是,减少各个单元的处理时间,可以设置超时时间,也可以优先单步处理,还可以提高线程优先级,从而减少处理等待时间,其中,设置超时时间,可以在各个单元的处理时间超过超时时间时,直接停止各个单元执行任务,而优先单步处理和提高线程优先级均可以优先该流程进行处理,从而减少处理等待的时间。
示例性的,可以设置超时时间为10ms,图像处理单元执行处理任务的时间超过了超时时间,此时,图像处理单元可以停止该处理任务,从而可以减少处理失败/异常的情况。
需要强调的是,本申请中的图像处理单元210、视频输出单元220、目标视频采集单元230及编码单元240是预先进行绑定的,也可以认为上述远程预览过程是基于绑定模式的,可以由应用层程序预先进行绑定,示例性的,应用层程序可以预先将视频输出单元绑定在图像处理单元之后,将目标视频采集单元绑定在视频输出单元之后,从而形成存在级联关系的各个单元;以及,将各个单元进行绑定后,每一前级单元都与后级单元进行绑定,故可以由驱动自动将前级单元生成的数据自动发送给后级单元。示例性的,图像处理单元在将各帧目标图像数据写入显示内存后,可以将各帧目标图像数据所存储的地址发送给视频输出单元,从而实现视频输出单元可以从显示内存中读取各帧目标图像数据。
需要强调的是,各个单元之间的级联绑定并没有体现在本方案的任一步骤中,该过程为由应用层程序预先预定绑定的,本申请实施例对此不做具体限定。
可见,视频输出单元可以按照目标读取帧率,从显示内存中读取各帧目标图像数据,将读取到的目标图像数据转换为待传输的数据流,并从指定接口进行输出,故视频输出单元的输出帧率不受远程预览设备所需帧率影响,在远程预览设备所需帧率较低时,视频输出单元的输出帧率也不会产生变化,与目标读取帧率一致,这样,编码单元每次从指定内存中所取得的各帧目标图像数据为最新生成的各帧目标图像数据的几率得到提升,因此,通过本方案,可以减少远程预览的延时,从而提高远程预览的时效性。另外,本申请实施例中在视频输出单元将数据流从指定接口进行输出后,目标视频采集单元可以从指定接口进行数据采集,该过程中无软件链路,处理时间是确定的,故无需帧缓存,提高了交互耗时的稳定性。以及,对于视频输出单元和目标视频采集单元之间的硬件电路仅需简单的直连,方案更为简单。
可选地,所述图像处理单元210向录像机的显示内存中,写入与至少一路视频通道的图像数据对应的各帧目标图像数据,包括步骤A1-A2:
步骤A1,按照与所述至少一路视频通道的通道数量相匹配的图像生成方式,生成所述至少一路视频通道的图像数据对应的各帧目标图像数据;
可以理解的是,在视频通道的通道数为一个的情况下,图像处理单元210具有相匹配的图像生成方式,而在视频通道的通道数为多个的情况下,图像处理单元210具有另一个相匹配的图像生成方式,从而生成至少一路视频通道的图像数据对应的各帧目标图像数据。
可选地,步骤A1,按照与所述至少一路视频通道的通道数量相匹配的图像生成方式,生成所述至少一路视频通道的图像数据对应的各帧目标图像数据,可以包括步骤A11或A12中的任一种情况:
步骤A11,在所述至少一路视频通道的通道数量为多个的情况下,按照所述远程预览设备的预览窗口布局所表征的各路视频通道的图像画面的显示位置关系,对所述至少一路视频通道的具有相匹配的时间戳的图像数据进行图像拼接,得到与所述至少一路视频通道的图像数据对应的各帧目标图像数据;
可以理解的是,步骤A11为视频通道的通道数量为多个的情况,此时,远程预览设备的预览窗口布局为多个分屏,那么,可以按照远程预览设备的预览窗口所表征的各路视频通道的图像画面的显示位置关系,对至少一路视频通道的具有相匹配的时间戳的图像数据进行图像拼接,其中,具有相匹配的时间戳的图像数据为属于同一视频帧的图像数据。
示例性的,视频通道的通道数量为4个时,远程预览设备的预览窗口也为4个,远程预览设备为4分屏,那么,各路视频通道的图像画面的显示位置关系可以左上、右上、左下及右下,此时,可以对至少一路视频通道的属于同一视频帧的图像数据进行图像拼接,可以得到4路视频通道的图像数据对应的各帧目标图像数据。那么,在具有多个预览窗口时,图像处理单元210可以先输出预览窗口大小的图像数据,然后图像处理单元210可以对各个预览窗口大小的图像数据进行图像拼接,得到至少一路视频通道的图像数据对应的各帧目标图像数据,以使得各帧目标图像数据可以满足远程预览设备的预览窗口布局,再将各帧目标图像数据缓存至显示内存中。
为了更好的理解该部分内容,下面将结合附图进行简单说明:
如图4所示,视频通道的通道数量为4个分别为video1-video4,那么,远程预览设备的预览窗口布局为4分屏,视频通道video1对应的图像数据统称为video1,视频通道video2的图像数据统称为video2,video1经过图像处理后,缓存至显示内存中,video2经过图像处理后,也缓存至显示内存中,按照远程预览设备的预览窗口布局,对video1与video2进行图像拼接,将video1拼接在4分屏的左上角,将video2拼接在4分屏的右上角,得到目标图像数据。
步骤A12,在所述至少一路视频通道的数量为一个的情况下,将一路视频通道的图像数据,作为与所述至少一路视频通道的图像数据对应的各帧目标图像数据。
可以理解的是,步骤A12为视频通道的通道数量为一个的情况,此时,远程预览设备无需进行分屏,可以直接将一路视频通道的图像数据作为至少一路视频通道的图像数据对应的各帧目标图像数据,无需对一路视频通道的图像数据进行图像拼接。
可见,本申请实施例针对视频通道的通道数量可以是一个,也可以是多个,视频通道的具体数量可以按照用户对远程预览设备的预览窗口的布局需求进行设置,故本申请中的录像机在实现远程预览的同时,最大化的满足用户的需求。
步骤A2,向所述录像机的显示内存中写入与所述至少一路视频通道的图像数据对应的各帧目标图像数据。
可以理解的是,图像处理单元210可以按照各视频通道的视频采集帧率,向录像机的显示内存中写入与至少一路视频通道的图像数据对应的各帧目标图像数据,也就是,图像处理单元210可以按照至少一路视频通道的图像数据的采集帧率,向录像机的显示内存中写入与至少一路视频通道的图像数据对应的各帧目标图像数据。
当然,图像处理单元210也可以对至少一路视频通道的图像数据进行图像处理,在图像处理后,再按照各视频通道的视频采集帧率,向录像机的显示内存中逐写入与至少一路视频通道的图像数据对应的各帧目标图像数据。
可见,本申请实施例的图像处理单元可以响应于获取到远程预览设备的针对至少一路视频通道的画面预览请求,向录像机的显示内存中,写入与至少一路视频通道的图像数据对应的各帧目标图像数据,从而便于视频输出单元可以从显示内存中逐帧读取各帧目标图像数据,从而最终实现远程预览。
可选地,在一种实现方式中,所述编码单元240将所获取到的各帧目标图像数据,编码为符合所述远程预览设备所需帧率的目标码流数据,包括步骤B1或B2中的任一种情况:
步骤B1,在所述远程预览设备所需帧率低于所述目标读取帧率的情况下,按照目标编码方式,对所获取到的各帧目标图像数据进行编码,得到符合所述远程预览设备所需帧率的目标码流数据;其中,所述目标编码方式用于在编码过程中进行丢帧,以使得所述编码单元240生成的目标码流数据的帧率符合所述远程预览设备所需帧率;
需要强调的是,在本申请实施中对于帧率均由编码单元240进行调整,按照低延时的需求来讲,编码帧率越高,延时越低。
需要强调的是,在编码单元240在进行帧率调整之前,还要检测远程预览设备所需帧率与目标读取帧率的大小关系,步骤B1是关于远程预览设备所需帧率低于目标读取帧率的情况,此时,编码单元240按照在编码过程中丢帧的方式,对所获取到的各帧目标图像数据进行编码,以使得编码单元240生成的码流数据的帧率与远程预览设备所需帧率一致。当然,在另一种实现方式中,编码单元240也可以在从指定内存中获取目标图像数据时,就采用丢帧的方式进行获取,从而所获取到的目标图像数据的帧率与远程预览设备所需帧率一致,本申请实施例对此不做具体限定。示例性的,远程预览设备所需帧率为30fps,目标读取帧率为60fps,此时,编码单元可以在编码的过程中,以编码一帧丢一帧的方式进行编码,使得编码单元生成的目标码流数据的帧率为30fps,符合远程预览设备所需帧率。
步骤B2,在所述远程预览设备所需帧率等于所述目标读取帧率的情况下,对所获取到的每帧目标图像数据进行编码处理,得到符合所述远程预览设备所需帧率的目标码流数据。
需要强调的是,步骤B2是关于远程预览设备所需帧率等于目标读取帧率的情况下,此时,编码单元240无需在对所接收的各帧目标图像数据编码的过程中进行丢帧,而是直接进行编码处理即可。示例性的,远程预览设备所需帧率为60fps,目标读取帧率也为60fps,此时,编码单元可以直接对所获取到的每帧目标图像数据进行编码处理,得到符合远程预览设备所需帧率的目标码流数据。
可见,本申请实施例中的编码单元可以按照目标编码方式,对所获取到的每帧目标图像数据进行编码处理,使得编码单元生成的目标码流数据的帧率与远程预览设备所需帧率一致,使得远程预览设备可以满足各种帧率需求,提高了远程预览的可扩展。
可选地,在一种实现方式中,所述目标视频采集单元230还用于:
在所述目标视频采集单元230将所得到的各帧目标图像数据写入到指定内存之后,检测所述目标图像数据是否符合所述远程预览设备的预览窗口内的画面分辨率;若符合,向所述编码单元240发送所述指定内存的访问地址,以使所述编码单元240基于所述指定内存的访问地址,从所述指定内存中逐帧读取目标图像数据;若不符合,向所述图像处理单元210发送所述指定内存的访问地址;
所述图像处理单元210用于基于接收到的指定内存的访问地址,从所述指定内存中逐帧读取目标图像数据,并按照所述画面分辨率,对所读取到的目标图像数据进行分辨率调整,将分辨率调整后的目标图像数据传送至所述编码单元240。
可以理解的是,目标视频采集单元230可以检测目标图像数据是否符合远程预览设备的预览窗口内的画面分辨率,远程预览设备的画面分辨率可能不是较为常见的画面分辨率,如:1358*1078,此时,目标视频采集单元230可以向图像处理单元210发送指定内存的访问地址,以使得图像处理单元210可以从指定内存中逐帧读取目标图像数据,并按照画面分辨率,对接收到的目标图像数据进行缩小处理,使得目标图像数据符合远程预览设备的预览窗口内的画面分辨率,再传送至编码单元240。
可以理解的是,目标视频采集单元230检测到目标图像符合远程预览设备的预览窗口内的画面分辨率,如:1360*1080,此时,目标视频采集单元230可以向编码单元240发送指定内存的访问地址,以使得编码单元240从指定内存中读取各帧目标图像数据,并将各帧目标图像数据编码为符合远程预览设备所需帧率的目标码流数据。
当然,从低延时的需求来讲,可以不使用图像处理进行缩放,从而使得延时更低。那么,在目标图像数据的尺寸与远程预览设备不匹配时,可以优先调整高清输出的时序,以使得高清输出时序支持的分辨率可以满足远程预览设备的图像分辨率。
另外,此处对于图像处理单元210的使用,属于复用,在视频采集单元采集到图像数据后,图像处理单元210就可以对图像数据进行图像处理并缓存于显示内存中。
可见,本申请实施例的目标视频采集单元可以检测目标图像数据是否符合远程预览设备的预览窗口内的画面分辨率,若不符合,则将指定内存的访问地址发送至图像处理单元,由图像处理单元对目标图像数据的分辨率进行缩小,使得本申请的录像机可以满足各种分辨率的远程预览设备,从而提高了远程预览的可扩展。
可选地,在一种实现方式中,视频通道为多路,目标视频采集单元230用于采集一路视频通道的图像数据,这样,录像机还可以包括至少一路视频通道各种对应的视频采集单元;
每一视频采集单元,用于从相对应的视频通道中采集图像数据,并缓存于该视频采集单元对应的目标内存中;
所述图像处理单元210,向所述录像机的显示内存中,写入与所述至少一路视频通道的图像数据对应的各帧目标图像数据之前,还用于从所述目标内存中,读取各个视频采集单元所采集的图像数据,得到至少一路视频通道的图像数据。
可以理解的是,视频采集单元可以从对应的视频通道中采集图像数据,并缓存于该视频采集单元对应的目标内存中,相应的,图像处理单元210可以从该视频采集单元对应的目标内存中读取各个视频采集单元所采集的图像数据,得到至少一路视频通道的图像数据,当然,图像处理单元210还可以对所读取到的图像数据进行预定图像处理,再将预定图像处理后的各路视频通道的图像数据,作为至少一路视频通道的图像数据,并向录像机的显示内存中,写入与至少一路视频通道的图像数据对应的各帧目标图像数据。其中,目标内存为DDR区域中的内存。
其中,对所读取到的图像数据进行预定图像处理,可以是3D降噪,锐化,图像缩放等,示例性的,图像处理单元在目标内存中读取到图像数据后,可以对读取到的图像数据进行图像尺寸缩小处理,读取到的图像数据的图像尺寸为1280*720,对图像进行缩小处理后,得到的图像的尺寸为720*360;图像处理单元在目标内存中读取到图像数据后,可以对读取到的图像数据进行3D降噪处理,使得降噪处理后的图像数据中的噪声降低,图像数据的信噪比提高,本申请实施例对预定图像处理的具体内容不做具体限定。
需要强调的是,目标视频采集单元230与多个视频采集单元在结构上并没有区别,目标视频采集单元230主要用于进行硬件回环,而多个视频采集单元用于对视频通道进行图像采集。
为了更好的理解上述关于视频采集单元的内容,下面结合附图进行简单介绍,如图5所示:
视频采集单元采集的过程为由同轴相机采集到同轴信号,也就是,模拟相机采集到模拟信号,同轴相机支持TVI/AHD/CVI/CVBS类型的模拟高清/标清信号;再由A/D转换器将同轴信号转换为数字信号,该数字信号的类型可以是BT656,信号采集器Fsend单元可以采集BT656的数字信号,按行采集,保存到DDR中。需要强调的是,信号采集器可以看作视频采集单元中的一部分。
可见,本申请实施例的录像机还可以包括视频采集单元,视频采集单元可以采集视频通道中采集图像数据,并缓存于目标内存,图像处理单元可以从目标内存中读取图像数据,得到至少一路视频通道的图像数据,并向录像机的显示内存中,写入与至少一路视频通道的图像数据对应的各帧目标图像数据,故本申请中的录像机可以采集到视频通道的图像数据,从而实现远程预览。
可选地,在一种实现方式中,本申请实施例还提供了一种远程预览的原理示意图,如图6所示:
多个视频采集单元采集视频通道的图像数据,即视频采集,将采集到的图像数据存储到目标内存中,由图像处理单元从目标内存中读取图像数据,图像处理单元可以对图像数据进行预定图像处理,即图像处理,在显示内存中,写入预定图像处理后的图像数据对应的各帧目标图像数据,视频输出单元可以从显示内存中按照目标读取帧率,从显示内存中读取各帧目标图像数据,将所读取的各帧目标图像数据转换为待传输的数据流并从指定接口进行输出,即视频输出,目标视频采集单元对指定接口进行数据采集,得到各帧目标图像数据,将所得到的目标图像数据写入到指定内存中,即复用视频采集,编码单元基于所获取到的各帧目标图像数据,对图像数据进行编码处理,即视频编码。
需要强调的是,上述所介绍的远程预览的过程为基于绑定模式的,将各个单元进行绑定后,每一前级单元都与后级单元进行绑定,故可以由驱动自动将前级单元生成的数据自动发送给后级单元,示例性的,图像处理单元在将各帧目标图像数据写入显示内存后,可以将各帧目标图像数据所存储的地址发送给视频输出单元,从而实现视频输出单元可以从显示内存中读取各帧目标图像数据。那么,驱动可以自动分配内存缓存池,可以负责内存分配和回收。
下面以1080P 25hz的源信号,目标读取帧率为60fps为例,对本申请中的视频预览方法的延时进行简单分析:
视频采集耗时,视频采集需要耗时,若后续所有流程处理耗时,超过1帧间隔,则需要1帧缓存,用于轮转,延时1帧时间,通常耗时40ms,在理想状态下,不需要帧缓存,后级的所有环节可以在一个帧间隔40ms内处理完成。
图像处理耗时,图像处理需要耗时,例如:3D降噪需要耗时,在理想状态下,图像处理时间一般小于10ms。
高清输出耗时,高清输出需要耗时,视频输出单元的最大读取帧率为60fps,刷新间隔为1000/60=16.7ms,需要1-2帧缓存,可以耗时16.6-33.2ms,在理想状态下,为前端信号,噪声低,画面干净便不需要帧缓存。
复用视频采集耗时,按行采集需要少量耗时,刷新间隔为1000/60=16.7ms,需要1-2帧缓存,可以耗时16.6-33.2ms,在理想状态下,可以在一个帧间隔40ms内完成复用视频采集,便不需要帧缓存。
编码处理耗时:编码一帧的耗时较少,耗时一般小于10ms,在理想状态下,可以在一个帧间隔40ms内完成编码处理,便不需要帧缓存。
网络传输耗时:取决于实际网络状态,有一定的耗时。
可以理解的是,远程预览设备的取流和解码预览也可以统计耗时,远程预览设备的刷新帧率会影响取流的耗时。
可见,基于本申请实施例所产生的延时在理想情况下,可以小于80ms,故本申请实施例可以减少远程预览的延时,从而提高远程预览的时效性。
可见,视频输出单元可以按照目标读取帧率,从显示内存中读取各帧目标图像数据,将读取到的目标图像数据转换为待传输的数据流,并从指定接口进行输出,故视频输出单元的输出帧率不受远程预览设备所需帧率影响,在远程预览设备所需帧率较低时,视频输出单元的输出帧率也不会产生变化,与目标读取帧率一致,这样,编码单元每次从指定内存中所取得的各帧目标图像数据为最新生成的各帧目标图像数据的几率得到提升,因此,通过本方案,可以减少远程预览的延时,从而提高远程预览的时效性。另外,本申请实施例中在视频输出单元将数据流从指定接口进行输出后,目标视频采集单元可以从指定接口进行数据采集,该过程中无软件链路,处理时间是确定的,故无需帧缓存,提高了交互耗时的稳定性。以及,对于视频输出单元和目标视频采集单元之间的硬件电路仅需简单的直连,方案更为简单。
下面结合附图介绍本申请实施例所提供的一种视频预览方法。其中,在一种实现方式中,所述视频预览方法可以应用于上述实施例中的录像机。
如图7所示,本申请实施例提供的一种视频预览方法,可以包括如下步骤:
S701,响应于获取到远程预览设备的针对至少一路视频通道的画面预览请求,生成与至少一路视频通道的图像数据对应的各帧目标图像数据;
其中,各帧目标图像数据被写入到录像机的显示内存中,且各帧目标图像数据为针对所述至少一路视频通道的、符合所述远程预览设备的预览窗口内的布局需求的各帧图像数据;
S702,按照目标读取帧率,从所述显示内存中逐帧读取各帧目标图像数据,将所读取到的各帧目标图像数据转换为待传输的数据流并通过所述录像机的视频输出单元的指定接口输出;
其中,所述目标读取帧率的帧率值与所述视频输出单元对应的指定刷新帧率的帧率值相同,所述指定刷新帧率为在采用所述视频输出单元进行视频显示时,能够使用的最大的显示屏刷新帧率;
S703,对所述指定接口进行数据采集,得到各帧目标图像数据;
S704,将各帧目标图像数据,编码为符合所述远程预览设备所需帧率的目标码流数据,并将所述目标码流数据传输至远程预览设备,以进行针对所述至少一路视频通道的画面预览。
可选地,所述生成与至少一路视频通道的图像数据对应的各帧目标图像数据,包括:
按照与所述至少一路视频通道的通道数量相匹配的图像生成方式,生成所述至少一路视频通道的图像数据对应的各帧目标图像数据;
向所述录像机的显示内存中写入与所述至少一路视频通道的图像数据对应的各帧目标图像数据。
可选地,所述按照与所述至少一路视频通道的通道数量相匹配的图像生成方式,生成所述至少一路视频通道的图像数据对应的各帧目标图像数据,包括:
在所述至少一路视频通道的通道数量为多个的情况下,按照所述远程预览设备的预览窗口布局所表征的各路视频通道的图像画面的显示位置关系,对所述至少一路视频通道的具有相匹配的时间戳的图像数据进行图像拼接,得到与所述至少一路视频通道的图像数据对应的各帧目标图像数据;
在所述至少一路视频通道的数量为一个的情况下,将一路视频通道的图像数据,作为与所述至少一路视频通道的图像数据对应的各帧目标图像数据。
可选地,所述将各帧目标图像数据,编码为符合所述远程预览设备所需帧率的目标码流数据,包括:
在所述远程预览设备所需帧率低于所述目标读取帧率的情况下,按照目标编码方式,对所获取到的各帧目标图像数据进行编码,得到符合所述远程预览设备所需帧率的目标码流数据;其中,所述目标编码方式用于在编码过程中进行丢帧,以使得所述目标码流数据的帧率符合所述远程预览设备所需帧率;
在所述远程预览设备所需帧率等于所述目标读取帧率的情况下,对所获取到的每帧目标图像数据进行编码处理,得到符合所述远程预览设备所需帧率的目标码流数据。
可选地,在所述对所述指定接口进行数据采集,得到各帧目标图像数据之后,所述方法还包括:
检测所述各帧目标图像数据是否符合所述远程预览设备的预览窗口内的画面分辨率;
若符合,执行将各帧目标图像数据,编码为符合所述远程预览设备所需帧率的目标码流数据的步骤;和/或,
若不符合,则按照所述画面分辨率,对所读取到的各帧目标图像数据进行分辨率调整,再执行将各帧目标图像数据,编码为符合所述远程预览设备所需帧率的目标码流数据的步骤。
可选地,在所述生成与至少一路视频通道的图像数据对应的各帧目标图像数据之前,所述方法还包括:
从相对应的视频通道中采集图像数据,得到至少一路视频通道的图像数据。
可选地,所述待传输的数据流的数据类型为指定数据类型;
所述指定接口为从所述视频输出单元的输出接口中选定的、用于输出所述指定数据类型的数据的接口。
可以理解的是,该视频预览方法的具体步骤已经在上述系统实施例中进行过介绍,故在此不做赘述。
可见,本申请实施例提供了一种视频预览方法,可以按照目标读取帧率,从显示内存中逐帧读取各帧目标图像数据,将读取到的目标图像数据转换为待传输的数据流,并从指定接口进行输出,输出帧率不受远程预览设备所需帧率影响,在远程预览设备所需帧率较低时,输出帧率也不会产生变化,与目标读取帧率一致,这样,每次从指定内存中所取得的各帧目标图像数据为最新生成的各帧目标图像数据的几率得到提升,因此,通过本方案,可以减少远程预览的延时,从而提高远程预览的时效性。
基于上述方法实施例,如图8所示,本申请实施例提供了一种是视频预览装置,所述装置包括:
生成模块810,用于响应于获取到远程预览设备的针对至少一路视频通道的画面预览请求,生成与至少一路视频通道的图像数据对应的各帧目标图像数据;其中,各帧目标图像数据被写入到录像机的显示内存中,且各帧目标图像数据为针对所述至少一路视频通道的、符合所述远程预览设备的预览窗口内的布局需求的各帧图像数据;
输出模块820,用于按照目标读取帧率,从所述显示内存中逐帧读取各帧目标图像数据,将所读取到的各帧目标图像数据转换为待传输的数据流并通过所述录像机的视频输出单元的指定接口输出;其中,所述目标读取帧率的帧率值与所述视频输出单元对应的指定刷新帧率的帧率值相同,所述指定刷新帧率为在采用所述视频输出单元进行视频显示时,能够使用的最大的显示屏刷新帧率;
采集模块830,用于对所述指定接口进行数据采集,得到各帧目标图像数据;
编码模块840,用于将各帧目标图像数据,编码为符合所述远程预览设备所需帧率的目标码流数据,并将所述目标码流数据传输至远程预览设备,以进行针对所述至少一路视频通道的画面预览。
可选地,所述生成模块可以包括:
生成子模块,用于按照与所述至少一路视频通道的通道数量相匹配的图像生成方式,生成所述至少一路视频通道的图像数据对应的各帧目标图像数据;
写入子模块,用于向所述录像机的显示内存中写入与所述至少一路视频通道的图像数据对应的各帧目标图像数据。
可选地,所述生成子模块用于:
在所述至少一路视频通道的通道数量为多个的情况下,按照所述远程预览设备的预览窗口布局所表征的各路视频通道的图像画面的显示位置关系,对所述至少一路视频通道的具有相匹配的时间戳的图像数据进行图像拼接,得到与所述至少一路视频通道的图像数据对应的各帧目标图像数据;
在所述至少一路视频通道的数量为一个的情况下,将一路视频通道的图像数据,确定为作为与所述至少一路视频通道的图像数据对应的各帧目标图像数据。
可选地,所述编码模块具体用于:
在所述远程预览设备所需帧率低于所述目标读取帧率的情况下,按照目标编码方式,对所获取到的各帧目标图像数据进行编码,得到符合所述远程预览设备所需帧率的目标码流数据;其中,所述目标编码方式用于在编码过程中进行丢帧,以使得所述目标码流数据的帧率符合所述远程预览设备所需帧率;
在所述远程预览设备所需帧率等于所述目标读取帧率的情况下,对所获取到的每帧目标图像数据进行编码处理,得到符合所述远程预览设备所需帧率的目标码流数据。
可选地,所述采集模块还用于:
对所述指定接口进行数据采集,得到各帧目标图像数据之后,检测所述目标图像数据是否符合所述远程预览设备的预览窗口内的画面分辨率;
若符合,执行将各帧目标图像数据,编码为符合所述远程预览设备所需帧率的目标码流数据的步骤;;和/或,
若不符合,则按照所述画面分辨率,对所读取到的各帧目标图像数据进行分辨率调整,再执行将各帧目标图像数据,编码为符合所述远程预览设备所需帧率的目标码流数据的步骤。
可选地,所述装置还包括:
视频采集模块,用于在所述生成与至少一路视频通道的图像数据对应的各帧目标图像数据之前,从相对应的视频通道中采集图像数据,得到至少一路视频通道的图像数据。
可选地,所述待传输的数据流的数据类型为指定数据类型;
所述指定接口为从所述输出接口中选定的、用于输出所述指定数据类型的数据的接口。
本申请的技术方案中,所涉及的用户个人信息的获取、存储、使用、加工、传输、提供和公开等操作,均是在已取得用户授权的情况下进行的。
本申请实施例还提供了一种电子设备,如图9所示,包括:
存储器901,用于存放计算机程序;
处理器902,用于执行存储器901上所存放的程序时,实现上述针对拼接屏的显示方法。
并且上述电子设备还可以包括通信总线和/或通信接口,处理器902、通信接口、存储器901通过通信总线完成相互间的通信。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一视频预览方法。
在本申请提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一视频预览方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者固态硬盘(Solid StateDisk,SSD)等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。
Claims (15)
1.一种录像机,其特征在于,包括:
图像处理单元,用于响应于获取到远程预览设备的针对至少一路视频通道的画面预览请求,向所述录像机的显示内存中,写入与所述至少一路视频通道的图像数据对应的各帧目标图像数据;其中,每帧目标图像数据所包含的画面内容均为待展示于所述远程预览设备的预览窗口的、针对各路视频通道的图像数据的组合画面内容;
视频输出单元,用于按照目标读取帧率,从所述显示内存中逐帧读取各帧目标图像数据,将所读取到的各帧目标图像数据转换为待传输的数据流并从指定接口进行输出;其中,所述目标读取帧率的帧率值与所述视频输出单元对应的指定刷新帧率的帧率值相同,所述指定刷新帧率为在采用所述视频输出单元进行视频显示时,能够使用的最大的显示屏刷新帧率;
目标视频采集单元,用于对所述指定接口进行数据采集,得到各帧目标图像数据,并将所得到的各帧目标图像数据写入到指定内存;
编码单元,用于获取所述指定内存中所写入的各帧目标图像数据,将所获取到的各帧目标图像数据,编码为符合所述远程预览设备所需帧率的目标码流数据,将所述目标码流数据传输至远程预览设备,以进行针对所述至少一路视频通道的画面预览。
2.根据权利要求1所述的录像机,其特征在于,所述图像处理单元向所述录像机的显示内存中,写入与所述至少一路视频通道的图像数据对应的各帧目标图像数据,包括:
按照与所述至少一路视频通道的通道数量相匹配的图像生成方式,生成所述至少一路视频通道的图像数据对应的各帧目标图像数据;
向所述录像机的显示内存中写入与所述至少一路视频通道的图像数据对应的各帧目标图像数据。
3.根据权利要求2所述的录像机,其特征在于,所述图像处理单元按照与所述至少一路视频通道的通道数量相匹配的图像生成方式,生成所述至少一路视频通道的图像数据对应的各帧目标图像数据,包括:
在所述至少一路视频通道的通道数量为多个的情况下,按照所述远程预览设备的预览窗口布局所表征的各路视频通道的图像画面的显示位置关系,对所述至少一路视频通道的具有相匹配的时间戳的图像数据进行图像拼接,得到与所述至少一路视频通道的图像数据对应的各帧目标图像数据;
在所述至少一路视频通道的数量为一个的情况下,将一路视频通道的图像数据,作为与所述至少一路视频通道的图像数据对应的各帧目标图像数据。
4.根据权利要求1所述的录像机,其特征在于,所述编码单元将所获取到的各帧目标图像数据,编码为符合所述远程预览设备所需帧率的目标码流数据,包括:
在所述远程预览设备所需帧率低于所述目标读取帧率的情况下,按照目标编码方式,对所获取到的各帧目标图像数据进行编码,得到符合所述远程预览设备所需帧率的目标码流数据;其中,所述目标编码方式用于在编码过程中进行丢帧,以使得所述编码单元生成的目标码流数据的帧率符合
所述远程预览设备所需帧率;
在所述远程预览设备所需帧率等于所述目标读取帧率的情况下,对所获取到的每帧目标图像数据进行编码处理,得到符合所述远程预览设备所需帧率的目标码流数据。
5.根据权利要求1所述的录像机,其特征在于,所述目标视频采集单元,还用于在所述目标视频采集单元将所得到的各帧目标图像数据写入到指定内存之后,检测所述目标图像数据是否符合所述远程预览设备的预览窗口内的画面分辨率;若符合,向所述编码单元发送所述指定内存的访问地址,以使所述编码单元基于所述指定内存的访问地址,从所述指定内存中逐帧读取目标图像数据;和/或,若不符合,向所述图像处理单元发送所述指定内存的访问地址;
所述图像处理单元还用于基于接收到的指定内存的访问地址,从所述指定内存中逐帧读取目标图像数据,并按照所述画面分辨率,对所读取到的目标图像数据进行分辨率调整,将分辨率调整后的目标图像数据传送至所述编码单元。
6.根据权利要求1所述的录像机,其特征在于,所述录像机还包括至少一路视频通道各自对应的视频采集单元;
每一视频采集单元,用于从相对应的视频通道中采集图像数据,并缓存于该视频采集单元对应的目标内存中;
所述图像处理单元,向所述录像机的显示内存中,写入与所述至少一路视频通道的图像数据对应的各帧目标图像数据之前,还用于从所述目标内存中,读取各个视频采集单元所采集的图像数据,得到至少一路视频通道的图像数据。
7.根据权利要求1所述的录像机,其特征在于,所述待传输的数据流的数据类型为指定数据类型;
所述指定接口为从所述视频输出单元的输出接口中选定的、用于输出所述指定数据类型的数据的接口。
8.一种视频预览方法,其特征在于,所述方法包括:
响应于获取到远程预览设备的针对至少一路视频通道的画面预览请求,生成与至少一路视频通道的图像数据对应的各帧目标图像数据;其中,各帧目标图像数据被写入到录像机的显示内存中,且各帧目标图像数据为针对所述至少一路视频通道的、符合所述远程预览设备的预览窗口内的布局需求的各帧图像数据;
按照目标读取帧率,从所述显示内存中逐帧读取各帧目标图像数据,将所读取到的各帧目标图像数据转换为待传输的数据流并通过所述录像机的视频输出单元的指定接口输出;其中,所述目标读取帧率的帧率值与所述视频输出单元对应的指定刷新帧率的帧率值相同,所述指定刷新帧率为在采用所述视频输出单元进行视频显示时,能够使用的最大的显示屏刷新帧率;
对所述指定接口进行数据采集,得到各帧目标图像数据;
将各帧目标图像数据,编码为符合所述远程预览设备所需帧率的目标码流数据,并将所述目标码流数据传输至远程预览设备,以进行针对所述至少一路视频通道的画面预览。
9.根据权利要求8所述的方法,其特征在于,所述生成与至少一路视频通道的图像数据对应的各帧目标图像数据,包括:
按照与所述至少一路视频通道的通道数量相匹配的图像生成方式,生成所述至少一路视频通道的图像数据对应的各帧目标图像数据;
向所述录像机的显示内存中写入与所述至少一路视频通道的图像数据对应的各帧目标图像数据。
10.根据权利要求9所述的方法,其特征在于,所述按照与所述至少一路视频通道的通道数量相匹配的图像生成方式,生成所述至少一路视频通道的图像数据对应的各帧目标图像数据,包括:
在所述至少一路视频通道的通道数量为多个的情况下,按照所述远程预览设备的预览窗口布局所表征的各路视频通道的图像画面的显示位置关系,对所述至少一路视频通道的具有相匹配的时间戳的图像数据进行图像拼接,得到与所述至少一路视频通道的图像数据对应的各帧目标图像数据;
在所述至少一路视频通道的数量为一个的情况下,将一路视频通道的图像数据,作为与所述至少一路视频通道的图像数据对应的各帧目标图像数据。
11.根据权利要求8所述的方法,其特征在于,所述将各帧目标图像数据,编码为符合所述远程预览设备所需帧率的目标码流数据,包括:
在所述远程预览设备所需帧率低于所述目标读取帧率的情况下,按照目标编码方式,对所获取到的各帧目标图像数据进行编码,得到符合所述远程预览设备所需帧率的目标码流数据;其中,所述目标编码方式用于在编码过程中进行丢帧,以使得所述目标码流数据的帧率符合所述远程预览设备所需帧率;
在所述远程预览设备所需帧率等于所述目标读取帧率的情况下,对所获取到的每帧目标图像数据进行编码处理,得到符合所述远程预览设备所需帧率的目标码流数据。
12.根据权利要求8所述的方法,其特征在于,在所述对所述指定接口进行数据采集,得到各帧目标图像数据之后,所述方法还包括:
检测所述各帧目标图像数据是否符合所述远程预览设备的预览窗口内的画面分辨率;
若符合,执行将各帧目标图像数据,编码为符合所述远程预览设备所需帧率的目标码流数据的步骤;和/或,
若不符合,则按照所述画面分辨率,对所读取到的各帧目标图像数据进行分辨率调整,再执行将各帧目标图像数据,编码为符合所述远程预览设备所需帧率的目标码流数据的步骤。
13.根据权利要求8所述的方法,其特征在于,在所述生成与至少一路视频通道的图像数据对应的各帧目标图像数据之前,所述方法还包括:
从相对应的视频通道中采集图像数据,得到至少一路视频通道的图像数据。
14.根据权利要求8所述的方法,其特征在于,所述待传输的数据流的数据类型为指定数据类型;
所述指定接口为从所述视频输出单元的输出接口中选定的、用于输出所述指定数据类型的数据的接口。
15.一种电子设备,其特征在于,包括:
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求8-14任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311829145.8A CN117812389A (zh) | 2023-12-27 | 2023-12-27 | 一种录像机、视频预览方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311829145.8A CN117812389A (zh) | 2023-12-27 | 2023-12-27 | 一种录像机、视频预览方法及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117812389A true CN117812389A (zh) | 2024-04-02 |
Family
ID=90432896
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311829145.8A Pending CN117812389A (zh) | 2023-12-27 | 2023-12-27 | 一种录像机、视频预览方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117812389A (zh) |
-
2023
- 2023-12-27 CN CN202311829145.8A patent/CN117812389A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6038257A (en) | Motion and still video picture transmission and display | |
US8564723B2 (en) | Communication system, communication method, video output apparatus and video input apparatus | |
US8098291B2 (en) | Image pickup apparatus, control method, and control program, and data processing apparatus, method, and program for recording a moving image and a still image | |
CN109479111B (zh) | 图像处理装置、再生装置、图像处理方法以及再生方法 | |
CN104702906B (zh) | 高清监控视频系统及其控制方法 | |
US20070263725A1 (en) | Video signal coding system and method of coding video signal for network transmission, video output apparatus, and signal conversion apparatus | |
US7593580B2 (en) | Video encoding using parallel processors | |
US20100020196A1 (en) | Image processing system, image pickup apparatus, image pickup method, image reproducing apparatus, and image reproducing method | |
US9584755B2 (en) | Endoscope with high definition video recorder/player | |
WO2011024361A1 (ja) | ネットワークカメラ及び映像配信システム | |
KR20160052459A (ko) | 복호 장치 및 복호 방법, 부호화 장치, 및 부호화 방법 | |
KR101577409B1 (ko) | 데이터 저장용량을 절약할 수 있도록 촬영 영역별 차별적 해상도를 적용한 cctv 시스템 | |
US9179065B2 (en) | Image processing apparatus, image processing method, and program product | |
US20200007719A1 (en) | Image processing system and image processing method | |
CN117812389A (zh) | 一种录像机、视频预览方法及电子设备 | |
KR20140103521A (ko) | 동영상 데이터를 기록하는 방법, 및 이 방법을 채용한 촬영 장치 | |
CN117812390A (zh) | 一种录像机、远程预览方法及电子设备 | |
CN117812391A (zh) | 一种录像机、预览方法及电子设备 | |
Yamaguchi et al. | Shd movie distribution system using image container with 4096/spl times/2160 pixel resolution and 36 bit color | |
CN113612938A (zh) | 一种多类型自适应分辨率的图像转换方法及装置 | |
CN114422734B (zh) | 一种录像机、视频数据处理方法、装置及电子设备 | |
CN114422735B (zh) | 一种录像机、视频数据处理方法、装置及电子设备 | |
US20180011821A1 (en) | Presentation system, receiver device, methods thereof, and non-transitory computer-readable medium thereof | |
KR20040036116A (ko) | 칼라 공간을 이용한 동영상 칼라 변환장치 및 제어방법 | |
JP5131954B2 (ja) | ビデオレコーダ並びにカメラシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |