CN109640168B - 视频处理方法、装置、电子设备和计算机可读介质 - Google Patents

视频处理方法、装置、电子设备和计算机可读介质 Download PDF

Info

Publication number
CN109640168B
CN109640168B CN201811428012.9A CN201811428012A CN109640168B CN 109640168 B CN109640168 B CN 109640168B CN 201811428012 A CN201811428012 A CN 201811428012A CN 109640168 B CN109640168 B CN 109640168B
Authority
CN
China
Prior art keywords
video
frame rate
screen
video data
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811428012.9A
Other languages
English (en)
Other versions
CN109640168A (zh
Inventor
王立中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201811428012.9A priority Critical patent/CN109640168B/zh
Publication of CN109640168A publication Critical patent/CN109640168A/zh
Priority to EP19889803.3A priority patent/EP3879839A4/en
Priority to PCT/CN2019/109112 priority patent/WO2020108081A1/zh
Application granted granted Critical
Publication of CN109640168B publication Critical patent/CN109640168B/zh
Priority to US17/326,057 priority patent/US11706484B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44004Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • H04N5/783Adaptations for reproducing at a rate different from the recording rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42653Internal components of the client ; Characteristics thereof for processing graphics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/44029Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4431OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB characterized by the use of Application Program Interface [API] libraries
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4516Management of client data or end-user data involving client characteristics, e.g. Set-Top-Box type, software version or amount of memory available
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4854End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast

Abstract

本申请实施例提供了一种视频处理方法、装置、电子设备及计算机可读介质,涉及视频处理技术领域。方法包括:获取所接收的视频数据的视频帧率;判断所述视频帧率是否低于所述屏幕的刷新帧率;若低于,修改所述视频数据的视频帧率或所述刷新频率中的至少一个,以使经修改后,所述视频数据的视频帧率大于或等于所述刷新帧率。本申请能够保证视频文件的视频帧率大于或等于屏幕的刷新频率,则在屏幕刷新的时候,视频文件有对应的图像能够被显示,而避免出现视频播放的卡顿现象。

Description

视频处理方法、装置、电子设备和计算机可读介质
技术领域
本申请涉及视频处理技术领域,更具体地,涉及一种视频处理方法、装置、电子设备及计算机可读介质。
背景技术
随着电子技术和信息技术的发展,越来越多的设备能够播放视频。设备在视频播放的过程中,需要对视频执行解码、渲染以及合成等操作,再在显示屏上显示,但是,现有的视频播放技术中,如果电子设备将多个在线播放合并播放时,由于视频播放屏幕刷新率的问题会导致视频播放卡顿。
发明内容
本申请提出了一种视频处理方法、装置、电子设备及计算机可读介质,以改善上述缺陷。
第一方面,本申请实施例提供了一种视频处理方法,应用于电子设备,所述电子设备包括屏幕。所述方法包括:获取所接收的视频数据的视频帧率;判断所述视频帧率是否低于所述屏幕的刷新帧率;若低于,修改所述视频数据的视频帧率或所述刷新频率中的至少一个,以使经修改后,所述视频数据的视频帧率大于或等于所述刷新帧率。
第二方面,本申请实施例还提供了一种视频处理装置,包括:获取单元、判断单元和处理单元。获取单元,用于获取所接收的视频数据的视频帧率。判断单元,用于判断所述视频帧率是否低于所述屏幕的刷新帧率。处理单元,用于若低于,修改所述视频数据的视频帧率或所述刷新频率中的至少一个,以使经修改后,所述视频数据的视频帧率大于或等于所述刷新帧率。
第三方面,本申请实施例还提供了一种电子设备,包括:一个或多个处理器;存储器;屏幕;一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行上述方法。
第四方面,本申请实施例还提供了一种计算机可读取存储介质,计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行上述方法。
本申请提供的方案,在获取到待播放的视频文件的时候,确定视频文件的视频帧率是否低于所述屏幕的刷新帧率,如果是,则在屏幕刷新的时候,视频帧率低于刷新频率的在线视频文件的图像还未获取到或者还未解码出来,则会导致屏幕需要显示该视频文件对应的一帧图像的时候,而没有对应的图像供屏幕显示,因此,修改所述视频数据的视频帧率或所述刷新频率中的至少一个,以使经修改后,视频数据的视频帧率大于或等于所述刷新帧率,则能够保证视频文件的视频帧率大于或等于屏幕的刷新频率,则在屏幕刷新的时候,视频文件有对应的图像能够被显示,而避免出现视频播放的卡顿现象。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请一实施例提供的视频播放架构的框图;
图2示出了本申请实施例提供的图像渲染架构的框图;
图3示出了本申请一实施例提供的视频处理方法的方法流程图;
图4示出了本申请实施例提供的待优化类型选择界面的示意图;
图5示出了本申请实施例提供的待优化类型选择界面的隐藏效果的示意图;
图6示出了本申请实施例提供的视频播放界面的示意图;
图7示出了本申请另一实施例提供的视频处理方法的方法流程图;
图8示出了本申请又一实施例提供的视频处理方法的方法流程图;
图9示出了本申请一实施例提供的视频处理装置的模块框图;
图10示出了本申请一实施例提供的视频处理装置的模块框图;
图11示出了本申请实施例提供的电子设备的结构框图;
图12示出了本申请实施例的用于保存或者携带实现根据本申请实施例的视频处理方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
请参阅图1,示出了视频播放架构的框图。具体地,操作系统在获取到待播放的数据的时候,接下来的工作就是解析音视频数据了。一般的视频文件都有视频流和音频流两部分组成,不同的视频格式音视频的封装格式肯定不一样。将音频流和视频流合成文件的过程称为muxer,反之从媒体文件中分离音频流和视频流的过程称为demuxer.播放视频文件就需要从文件流中分离出音频流和视频流,分别对其进行解码,解码后的视频帧可以直接渲染,音频帧可以送到音频输出设备的缓冲区进行播放,当然,视频渲染和音频播放的时间戳一定要控制同步。
具体地,视频解码可以包括硬解码和软解码,硬件解码是将原来全部交由中央处理器(Central Processing Unit,CPU)来处理的视频数据的一部分交由图像处理器(Graphics Processing Unit,GPU)来做,而GPU的并行运算能力要远远高于CPU,这样可以大大的降低对CPU的负载,CPU的占用率较低了之后就可以同时运行一些其他的程序了,当然,对于较好的处理器来说,比如i5 2320,或者AMD任何一款四核心处理器来说,硬解和软件依据需求而选定。
具体地,如图1所示,多媒体框架通过与客户端的API接口获取客户端待播放的视频文件,并交由视频解码器,其中,多媒体框架(Media Framework)为Android系统中多媒体框架,MediaPlayer、MediaPlayerService和Stagefrightplayer三个部分构成了Android多媒体的基本框架。多媒体框架部分采用了C/S的结构,MediaPlayer作为C/S结构的Client端,MediaPlayerService和Stagefrightplayer作为C/S结构Server端,承担着播放多媒体文件的责任,通过Stagefrightplayer,Server端完成Client端的请求并作出响应。VideoDecode是一款集成了最常用的音频和视频解码与播放的超级解码器,用于将视频数据解码。
软解码,即通过软件让CPU来对视频进行解码处理,解码之后再调用GPU对视频渲染合并之后在屏幕上显示。而硬解码,指不借助于CPU,而通过专用的子卡设备来独立完成视频解码任务。
不论是硬解码还是软解码,在将视频数据解码之后,会将解码后的视频数据发送至图层传递模块(SurfaceFlinger),由SurfaceFlinger将解码后的视频数据渲染和合成之后,在显示屏上显示。其中,SurfaceFlinger是一个独立的Service,它接收所有Window的Surface作为输入,根据ZOrder、透明度、大小、位置等参数,计算出每个Surface在最终合成图像中的位置,然后交由HWComposer或OpenGL生成最终的显示Buffer,然后显示到特定的显示设备上。
如图1所示,软解码中,CPU将视频数据解码之后交给SurfaceFlinger渲染和合成,而硬解码由GPU解码之后,交由SurfaceFlinger渲染和合成。而SurfaceFlinger会调用GPU实现图像的渲染和合成,并在显示屏上显示。
作为一种实施方式,图像渲染的过程如图2所示,CPU获取客户端发送的待播放的视频文件,解码之后获取解码之后的视频数据,将视频数据发送至GPU,GPU渲染完成后将渲染结果放入帧缓冲区(如图2中的FrameBuffer),随后视频控制器会按照HSync信号逐行读取帧缓冲区的数据,经过数模转换传递给显示器显示。
另外,电子设备还能够将实时获取的多个在线视频同时播放,以满足多人视频、会议或者游戏等场景,每个参与者通过一个视频采集终端采集待展示的视频,并统一交给电子设备渲染合成之后播放。如果每个视频采集终端所采集的视频的帧率不同,则在播放终端渲染合成的时候,可能会出现其中的某个视频采集终端的视频数据还未到达播放终端,而导致播放终端无法将各个参与者的画面合成播放。
因此,为了解决上述缺陷,如图3所示,本申请实施例提供了一种视频处理方法,应用于电子设备,该电子设备还包括处理器和屏幕,于本申请实施例中,以处理器为执行主体,则该方法包括:S301至S304。
S301:获取所接收的视频数据的视频帧率。
其中,视频数据可以是预先已经下载在电子设备内的离线的视频文件,也可以是在线的视频文件,于本申请实施例中,该视频数据可以是在线视频数据。具体地,电子设备能够实现多个在线视频文件的播放,例如,电子设备可以实现两个应用程序的分屏,而每个应用程序播放一个视频文件,从而实现在一个屏幕上同时播放多个视频文件。则具体,电子设备能够获取多个在线视频数据。其中,该在线视频数据对应一个视频文件,而该在线视频数据为该视频文件已发送至电子设备内的数据,例如,该视频文件是某某电影,电子设备所接收的是该某某电影的播放时间0至10分钟的数据,则该某某电影对应的在线视频数据为某某电影的播放时间0至10分钟的数据。则客户端在获取到每个在线视频数据之后能够将每个在线视频数据各自解码并得到各自对应的待渲染图层,然后合并显示,从而能够在屏幕上显示多个视频画面。
作为一种实施方式,电子设备内包括多个能够播放视频文件的客户端,当电子设备的客户端播放视频的时候,电子设备能够获取欲播放的视频文件,然后再对视频文件解码,具体地,可以采用上述的软解码或者硬解码对视频文件解码,在解码之后就能够获取视频文件对应的待渲染的多帧图像数据,之后需要将多帧图像数据渲染之后才能够在显示屏上显示。
具体地,电子设备的处理器可以包括中央处理器和图像处理器,获取视频文件对应的待渲染的多帧图像数据的具体实施方式,中央处理器获取客户端发送的待播放的视频文件,作为一种实施方式,中央处理器获取客户端发送的视频播放请求,该视频播放请求包括待播放的视频文件,具体地,可以是视频播放请求包括待播放的视频文件的身份信息,该身份信息可以是视频文件的名称,基于该视频文件的身份信息能够由存储该视频文件的存储空间内查找到该视频文件。
作为一种实施方式,客户端在播放视频的时候,会调用电子设备内的视频播放模块,以对该待播放的在线视频文件解析和解码,则客户端在系统桌面设有图标,用户点击该客户端的图标,能够将该客户端打开,例如,从用户点击的应用的包名来确认,视频应用的包名可以系统后台从代码中获取,包名格式为:com.android.video。
客户端的视频列表界面内显示有多个视频对应的显示内容,多个视频对应的显示内容包括每个视频对应的缩略图,该缩略图可以作为一个触摸按键使用,用户点击该缩略图,客户端能够检测到用户所选点击的缩略图,也就能够确定欲播放的待播放的在线视频文件。
客户端响应用户在视频列表内选中的视频,进入视频的播放界面,点击该播放界面的播放按钮,客户端通过对用户触控操作的监听,能够检测到用户当前所点击的是什么类型的视频,具体地,播放按钮设置有预设属性,检测到所获取的触控操作对应的播放按钮的属性,就能够确定用户所选中的待播放视频。
例如,客户端为视频聊天客户端,点击视频聊天按钮之后,所产生的视频文件为待播放的在线视频文件,则该待播放的在线视频文件为语音聊天时产生的视频数据。再例如,客户端的视频类别界面内的每个视频都对应一个待播放的在线视频文件,而当点击多个用户的时候,就能够实现多人在线视频。
从而就能确定客户端当前欲播放的所有在线视频文件的标识,然后,将每个在线视频文件对应的已经发送至电子设备的视频数据作为该在线视频文件对应的在线视频数据。然后,分析该在线视频数据,就能够获取到该在线视频数据的格式、分辨率、采样率、码率以及视频帧率等参数。
S302:判断所述视频帧率是否低于所述屏幕的刷新帧率。
作为一种实施方式,该视频数据还是的数量可以是多个,则判断所述视频帧率是否低于所述屏幕的刷新帧率的具体实施方式为判断所有所述视频帧率中是否存在低于所述屏幕的刷新帧率的视频帧率。
具体地,在获取到每个在线视频数据的视频帧率后,对所有的在线视频数据的视频帧率排序,例如,按照视频帧率由低到高的顺序排序,得到视频帧率序列,则由视频帧率序列的最低的视频帧率开始,逐个与所述屏幕的刷新频率比较,判断在该视频帧率序列中,是否存在低于所述屏幕的刷新帧率的视频帧率。具体地,可以是先判断最低的视频帧率是否低于屏幕的刷新频率,如果低于屏幕的刷新频率,则判定所有所述视频帧率中存在低于所述屏幕的刷新帧率的视频帧率,如果最低的视频帧率大于或等于屏幕的刷新频率,则可以判定所述视频帧率中均高于或等于所述屏幕的刷新帧率的视频帧率,即判定所有所述视频帧率中不存在低于所述屏幕的刷新帧率的视频帧率。
例如,电子设备当前所接收的在线视频数据包括video1、video2、video3和video4,则video1的视频帧率为F1,video2的视频帧率为F2,video3的视频帧率为F3,video4的视频帧率为F4。例如,F1为15Hz,F2为40Hz,F3为50Hz,F4为20Hz,则按照视频帧率由小到大的顺序得到的视频帧率序列为[F1,F4,F2,F3],则如果屏幕的刷新帧率为40Hz,则F1和F4低于屏幕的刷新帧率,F2与屏幕的刷新频率相同,F3大于屏幕的刷新频率。
S303:修改所述视频数据的视频帧率或所述刷新频率中的至少一个,以使经修改后,所述视频数据的视频帧率大于或等于所述刷新帧率。
作为一种实施方式,该视频数据还是的数量可以是多个,则将低于所述刷新帧率的视频帧率对应的在线视频数据作为目标视频数据。
具体地,可以在上述的视频帧率序列中由最低的视频帧率与屏幕的刷新频率比较,如果该最低的视频帧率小于屏幕的刷新频率,则将该最低的视频帧率存储至目标视频数据序列,然后,在按照该视频帧率序列中选择下一个视频帧率与屏幕的刷新频率比较,直至查找到视频帧率序列中大于或等于屏幕的刷新频率则结束查找,从而能够所有的低于所述刷新帧率的视频帧率均存储至目标视频数据序列。则该目标视频数据序列中的每个视频针对对应的在线视频数据作为目标视频数据。
例如,上述的video1、video2、video3和video4,其中,F1和F2低于屏幕的刷新帧率,则F1和F2存储至目标视频数据序列,则video1和video2作为目标视频数据。
S304:修改所述目标视频数据的视频帧率或所述刷新频率中的至少一个,以使经修改后,所有在线视频数据的视频帧率均大于或等于所述刷新帧率。
在确定当前接收的多个在线视频数据中存在视频帧率低于屏幕的刷新频率之后,即获取到目标视频数据,则可以选择修改目标视频数据的视频帧率,以使修改后,所有在线视频数据的视频帧率均大于或等于,当然,也可以是降低屏幕的刷新频率,从而使得修改之后的刷新频率小于或等于所有在线视频数据。
其中,视频帧率为1秒钟时间里传输的图片的帧数,也可以理解为图形处理器每秒钟能够处理的图片帧数,还可以理解为一秒内录下的图片数量,例如,视频帧率为15Hz,也可以表示为15fps,则表示一秒钟录下15帧图片,则每间隔66.67ms电子设备的处理器能够获取到一帧图像。
屏幕的刷新频率是图像在屏幕上更新的速度,也即屏幕上的图像每秒钟出现的次数,电子设备在获取到待播放的在线视频数据之后,将该在线视频数据解码以获取到对应的多帧图像数据,并存入帧缓冲区,然后,根据屏幕的刷新频率由所述帧缓冲区内逐帧读取多帧图像数据,并经渲染合成处理后在所述屏幕上显示。
则如果线视频数据的视频帧率小于屏幕的刷新帧率,则根据该屏幕的刷新频率获取待显示的图像数据的时候,而该图像数据可能会解码出或者未渲染合成好,则无法显示,例如,第一在线视频数据的视频帧率为15Hz,屏幕的刷新频率为40Hz,则每间隔66.67ms电子设备的处理器能够获取到一帧待显示的图像并存储帧缓冲区,而屏幕每25ms由帧缓冲区内获取一帧图像并在屏幕上显示,则以0ms为起点,25ms的时候,帧缓冲区内不包括待显示的图像,屏幕上无法显示该图像,再过25ms,即在50ms的时候,帧缓冲区内依然不包括待显示的图像,屏幕上无法显示该图像,则在66.67ms的时候,待显示的图像被存储至帧缓冲区内,则在75ms的时候,图形处理器由帧缓冲区内获取待显示的图像,则能够获取到第一在线视频数据的一帧图像,则能够正常显示。
则如果在屏幕上显示多个视频画面的时候,如果某些画面对应的在线视频数据的视频帧率低于屏幕的刷新频率而其他的画面对应的在线视频数据的视频帧率高于或等于屏幕的刷新频率,则在视频帧率高于或等于屏幕的刷新频率的在线视频根据屏幕的刷新频率逐帧播放的情况下,那些低于屏幕的刷新频率的在线视频在其他的视频逐帧播放的时候,会出现画面无变化的情况,即依然停留在之前的画面,而出现卡顿的现象。
则可以通过将低于屏幕的刷新频率的在线视频的视频帧率提高至高于或等于屏幕的刷新频率,例如,可以通过插入新的视频帧的方式增加视频帧率,也可以将屏幕的刷新频率降低至低于或等于最低视频帧率中最低的视频帧率。
具体地,作为一种实施方式,在步骤S304之后,还包括:根据所述屏幕的刷新帧率将所有所述在线视频数据在所述屏幕上显示。
具体地,电子设备在获取到多个待播放的在线视频数据的时候,将每个待播放的在线视频数据解码以获得对应的多帧图像数据。
作为一种实施方式,图形处理器将待播放的在线视频数据解码,从而获得待播放的在线视频数据对应的多帧图像数据。具体地,中央处理器调用播放模块将待播放的在线视频数据解析,从而获取该待播放的在线视频数据对应的视频流和音频流。其中,播放模块可以是安卓系统内的MediaExtractor模块,也可以是FFmpeg模块,其中,FFmpeg模块是一个开源的跨平台的视频和音频流框架,属于自由软件,采用LGPL或GPL许可证(依据选择的组件)。它提供了录制、转换以及流化音视频的完整解决方案。它包含了丰富的音频/视频编解码库libavcodec。
然后,中央处理器将视频流发送至图形处理器,图形处理器将视频流解码之后,获取到该视频流对应的多帧图像数据,然后,对该多帧图像数据合成,具体地,合成方式可以是在放在图2所示的帧缓冲区内合成,即通过在屏渲染的方式对多帧图像数据渲染合成,也可以是通过离屏渲染的方式对多帧图像数据渲染合成。
作为一种实施方式,预先在GPU内设置一个离屏渲染缓冲区,具体地,GPU会调用渲染客户端模块对待渲染的多帧图像数据渲染合成之后发送至显示屏上显示,具体地,该渲染客户端模块可以是OpenGL模块。OpenGL渲染管线的最终位置是在帧缓冲区中。帧缓冲区是一系列二维的像素存储数组,包括了颜色缓冲区、深度缓冲区、模板缓冲区以及累积缓冲区。默认情况下OpenGL使用的是窗口系统提供的帧缓冲区。
OpenGL的GL_ARB_framebuffer_object这个扩展提供了一种方式来创建额外的帧缓冲区对象(Frame Buffer Object,FBO)。使用帧缓冲区对象,OpenGL可以将原先绘制到窗口提供的帧缓冲区重定向到FBO之中。
则通过FBO在帧缓冲区之外再设置一个缓冲区,即离屏渲染缓冲区。然后,将所获取的多帧图像数据存储至离屏渲染缓冲区。具体地,离屏渲染缓冲区可以是对应图形处理器的一个存储空间,即离屏渲染缓冲区本身没有用于存储图像的空间,而是与图形处理器内的一个存储空间映射之后,图像实际存储在离屏渲染缓冲区对应的图形处理器内的一个存储空间内。
将多帧图像数据与离屏渲染缓冲区绑定的方式,就能够将多帧图像数据存储至离屏渲染缓冲区,即在离屏渲染缓冲区能够查找到多帧图像数据。
则在将多帧图像数据存储至离屏渲染缓冲区之后,可以在离屏渲染缓冲区对多帧图像数据进行渲染,具体地,可以对多帧缓冲数据做显示增强的处理,例如,对所述离屏渲染缓冲区内的多帧图像数据的图像参数优化,其中,所述图像参数优化包括曝光度增强、去噪、边缘锐化、对比度增加或饱和度增加的至少一种。
其中,曝光度增强,用于提高图像的亮度,则可以通过图像的直方图,将亮度值交底的区域增加亮度值,另外,也可以是通过非线性叠加,增加图像亮度,具体地,I表示要处理的较暗图像,T表示处理后的比较亮的图像,则曝光度增强的方式为T(x)=I(x)+(1-I(x))*I(x)。其中,T和I都是[0,1]取值的图像。如果一次效果不好算法可以多次迭代。
其中,对图像数据去噪用于去除图像的噪声,具体地,图像在生成和传输过程中常常因受到各种噪声的干扰和影响而是图像降质,这对后续图像的处理和图像视觉效应将产生不利影响。噪声种类很多,比如:电噪声,机械噪声,信道噪声和其他噪声。因此,为了抑制噪声,改善图像质量,便于更高层次的处理,必须对图像进行去噪预处理。从噪声的概率分布情况来看,可分为高斯噪声、瑞利噪声、伽马噪声、指数噪声和均匀噪声。
具体地,可以通过高斯滤波器对图像去噪,其中,高斯滤波器是一种线性滤波器,能够有效的抑制噪声,平滑图像。其作用原理和均值滤波器类似,都是取滤波器窗口内的像素的均值作为输出。其窗口模板的系数和均值滤波器不同,均值滤波器的模板系数都是相同的为1;而高斯滤波器的模板系数,则随着距离模板中心的增大而系数减小。所以,高斯滤波器相比于均值滤波器对图像模糊程度较小。
例如,产生一个5×5的高斯滤波窗口,以模板的中心位置为坐标原点进行取样。将模板各个位置的坐标带入高斯函数,得到的值就是模板的系数。再将该高斯滤波窗口与图像卷积就能够对图像去噪。
其中,边缘锐化用于使模糊的图像变得更加清晰起来。图像锐化一般有两种方法:一种是微分法,另外一种是高通滤波法。
其中,对比度增加用于增强图像的画质,使得图像内的颜色更加鲜明,具体地,对比度拉伸是图像增强的一种方法,也属于灰度变换操作。通过灰度变换,将灰度值拉伸到整个0-255的区间,那么其对比度显然是大幅增强的。可以用如下的公式来将某个像素的灰度值映射到更大的灰度空间:
I(x,y)=[(I(x,y)-Imin)/(Imax-Imin)](MAX-MIN)+MIN;
其中Imin,Imax是原始图像的最小灰度值和最大灰度值,MIN和MAX是要拉伸到的灰度空间的灰度最小值和最大值。
具体地,用户可以在电子设备内为待播放的视频文件设置待优化类型,其中,待优化类型可以是目标物的类型,例如,可以是男性、女性、天空、山川、河流或者招牌等。具体地,可以是在视频播放界面时,用户输入待优化类型,如图4所示,在该视频界面上显示有视频增强的总开关501和各个目标物类型的子开关502,具体地,视频增强的总开关501用于开启或关闭视频增强的功能,其中,视频增强的功能用于对该视频文件的图像数据优化,当视频增强的总开关501开启的时候,用户能够选择开启某个或某些目标物类型的子开关502,如图4所示,类型1对应一个目标物类型,例如是男性,类型2对应另一个目标物类型,例如是女性,其中,类型1和类型2为示例性的文字,具体地,在实际使用中可以根据具体的目标物类型而更改文字,例如,将类型1更改为男性角色。
在视频增强的总开关501开启的时候,用户选择开启所需要优化的待优化的目标物的类型,即开启所需优化的类型的子开关502,则电子设备能够获取该视频文件对应的待优化类型。
而在视频增强的总开关501关闭的时候,待优化类型选择窗口内的各类型对应的子开关502是灰色的,即无法选择开启或关闭,即不响应应用对该子开关的操作。
另外,图4所示的待优化类型选择界面可以被隐藏,具体地,如图5所示,在该待优化类型选择窗口的边侧设置有滑动按钮503,通过该滑动按钮503可以将该待优化类型选择窗口隐藏和滑出,作为一种实施方式,可以是在待优化类型选择窗口处于隐藏的状态时,点击该滑动按钮503能够将待优化类型选择窗口滑出,而在待优化类型选择窗口处于滑出的状态时,点击该滑动按钮503能够将待优化类型选择窗口隐藏。
另外,在选择一个待优化类型的时候,用户能够输入优化程度指示,基于该优化程度指示,能够调整该优化类型的优化程度,例如,选中曝光度增强,则用户输入曝光度增强程度指示,例如,用过输入界面,也可以通过按下音量键,比如,每按下一次加音量键则将曝光度程度增加2%,对应地,每按下一次减音量键则将曝光度程度降低2%,则用户能够自由调节优化程度。
则每个在线视频数据在优化之后存储至帧缓冲区,等待屏幕的刷新频率被取出之后经过合成,然后在屏幕上显示,具体地,可以是将每个所述在线视频数据解码以获取每个所述在线视频数据对应的多帧待渲染图像数据并存储至图像缓冲区;根据所述屏幕刷新帧率由所述图像缓冲区内获取每个所述在线视频数据对应的一帧待渲染图像数据;将所获取的多个待渲染图像数据渲染合成为一帧合成图像;将所述合成图像在所述屏幕上显示。
如图6所示,在屏幕当前所显示的界面上包括多个子显示界面,即第一子显示界面601、第二子显示界面602、第三子显示界面606和第四子显示界面606,则每个界面所对应播放的视频文件可以是不同,以多人会议或者多人视频为例,电子设备内安装有客户端,该客户端能够实现电子设备与多个终端连接,其中,每个终端发送一个在线视频文件至客户端,例如,第一子显示界面601对应第一终端发送的第一在线视频文件,第二子显示界面602对应第二终端发送的第二在线视频文件,第三子显示界面606对应第三终端发送的第三在线视频文件,第四子显示界面606对应第四终端发送的第四在线视频文件。从而就能够在屏幕上观察到多个视频。
为了避免上述的界面中的某个视频的视频帧率低于屏幕而导致播放时候出现卡顿,则可以通过将低于屏幕的刷新频率的在线视频的视频帧率提高至高于或等于屏幕的刷新频率,例如,可以通过插入新的视频帧的方式增加视频帧率,也可以将屏幕的刷新频率降低至低于或等于最低视频帧率中最低的视频帧率。
具体地,请参阅图7,本申请实施例提供了一种视频处理方法,应用于电子设备,该电子设备还包括处理器和屏幕,于本申请实施例中,以处理器为执行主体,则在上述方法实施例的基础上,本实施例通过降低屏幕的刷新频率的方式,以使所有在线视频数据的视频帧率均大于或等于修改后的所述刷新帧率,具体地,则该方法包括:S701至S705。
S701:获取所接收的所有在线视频数据的视频帧率。
S702:判断所有所述视频帧率中是否存在低于所述屏幕的刷新帧率的视频帧率。
S703:将低于所述刷新帧率的视频帧率对应的在线视频数据作为目标视频数据。
S704:获取所述目标视频数据中最低的视频帧率作为目标帧率。
具体地,在判断所有所述视频帧率中是否存在低于所述屏幕的刷新帧率的视频帧率的步骤时,可以对所有的在线视频数据的视频帧率按照由小到大的顺序排序,例如,获取上述视频帧率序列,则在执行S704的操作时,将该视频帧率序列中的第一个视频帧率作为目标帧率。
作为另一种实施方式,还可以是在执行判断所有所述视频帧率中是否存在低于所述屏幕的刷新帧率的视频帧率的步骤时,不对视频帧率进行排序,而是逐个判断每个视频帧率与屏幕的刷新频率之间的大小关系,然后将所有的小于屏幕的刷新频率的视频帧率作为备选视频帧率,则每个备选视频帧率对应的在线视频数据作为目标视频数据。
由所述目标视频数据中获取视频帧率最低的在线视频数据,具体地,可以判断上述备选视频帧率是否大于预设数值,如果大于预设数值,则按照视频帧率由大到小的顺序对备选视频帧率排序,然后获取该序列中的第一个视频帧率作为目标帧率,如果小于或等于预设数值,则获取每个备选视频帧率与屏幕的刷新频率之间的差值的绝对值,将最大的差值的绝对值对应的视频帧率作为目标帧率。
其中,预设数值可以是用户根据需要而设定的数值,例如可以是1,则合理设置预设数值能够合理平衡处理器的计算量以及功耗等。
S705:根据所述目标帧率修改所述屏幕的刷新帧率,以使所有在线视频数据的视频帧率均大于或等于修改后的所述刷新帧率。
则在获取到目标帧率之后,该目标帧率小于或等于屏幕的刷新频率,则根据该目标帧率修改所述屏幕的刷新帧率。作为一种实施方式,可以是将屏幕的刷新频率修改至所述目标帧率以下,例如,电子设备当前所获取的在线视频数据为vdata1、vdata2、vdata3和vdata4,其中,vdata1、vdata2、vdata3和vdata4对应的视频帧率依次为15Hz、40Hz、50Hz和20Hz,屏幕的刷新帧率为40Hz,则备选视频帧率为15Hz和20Hz,而目标帧率为15Hz,则根据该15Hz修改屏幕的刷新频率,例如,可以将屏幕的刷新频率修改为15Hz以下,例如,可以是14Hz,作为另一种实时方式,可以将屏幕的刷新频率修改为15Hz,那么,根据所述目标帧率修改所述屏幕的刷新帧率的具体实施方式可以是将屏幕的刷新帧率修改为所述目标帧率。则既能够满足每个在线视频数据在播放过程中不出现卡顿的现象,还能够合理设置屏幕的刷新频率,也避免屏幕的刷新频率过低而影响用户的观看效果。
因此,通过将所有的在线视频数据的视频帧率中的最低视频帧率作为屏幕的刷新频率,即将屏幕的刷新频率修改为所有视频中的最低视频帧率,能够使得在每次依据屏幕的刷新频率而将视频的一帧图像在屏幕上显示时,每个在线视频数据的图像已经存储在屏幕对应的帧缓冲区内,从而使得处理器能够从帧缓冲区内获取到视频对应的图像,从而能够正常显示。
另外,还可以在判定所有所述视频帧率中存在低于所述屏幕的刷新帧率的视频帧率之后,还可以延迟指定时间段,在该指定时间段内调用解码器对每个在线视频数据解码,获取每个在线视频数据对应的待渲染图像,然后将每个在线视频数据对应的待渲染图像存储在帧缓冲区,然后在指定时间段结束之后,再执行将低于所述刷新帧率的视频帧率对应的在线视频数据作为目标视频数据以及后续操作。
则在该指定时间段内,持续不断地将在线视频数据解码并且存储在帧缓冲区内,从而使得在帧缓冲内的预存每个在线视频数据的图像帧,则处理器在根据屏幕的刷新频率的响应而从帧缓冲区内获取图像帧的时候,能够保证每个在线数据的图像都能够获取到。需要说明的是,在该指定时间段内,依然还可以对在线视频数据解码之后的图像帧优化,具体的优化过程可参考上述实施例。
另外,在将屏幕的刷新频率修改为目标帧率之后,还可以将所有的在线视频数据的视频帧率均修改为目标帧率,具体地,假设两个在线视频数据分别为第一在线视频数据和第二在线视频数据,其中,第一在线视频数据的视频帧率为15Hz,第二在线视频数据的视频帧率为40Hz,则屏幕的刷新频率为20Hz,则每间隔66.67ms电子设备的处理器能够获取到第一在线视频数据的一帧待显示的图像并存储帧缓冲区,每间隔25ms电子设备的处理器能够获取到第二在线视频数据的一帧待显示的图像并存储帧缓冲区,屏幕每50ms由帧缓冲区内获取一帧图像并在屏幕上显示,以0ms为起点,25ms的时候第二在线视频数据的第一帧待显示的图像被存储至帧缓冲区,50ms的时候,第二在线视频数据的第二帧待显示的图像被存储至帧缓冲区,但是,此时第一在线视频数据没有任何待显示的图像被存储至帧缓冲区内,然后,50ms的时候,处理器根据该屏幕的刷新频率在帧缓冲区内获取待显示的图像,则能够获取到第二在线视频数据的第二帧待显示图像,具体地,每个在线视频数据在帧缓冲区内有一个独立的存储空间,该存储空间内只存储一张图片,即50ms的时候,第二在线视频数据的第二帧待显示的图像被存储至帧缓冲区的时候,能够覆盖第二在线视频数据的第一帧待显示的图像,即第二在线视频数据的第一帧待显示的图像被清理,而第二在线视频数据的第二帧待显示的图像被显示,则第一帧待显示的图像就浪费了,则通过将所有的在线视频数据的视频帧率都改成目标帧率,能够避免过多的资源浪费,例如,上述第二在线视频数据的视频帧率被降低为20Hz,则在屏幕的刷新频率到来时,第二在线视频数据的第一帧图像被存储至帧缓冲区而等待被显示,进一步,还可以对该第一帧图像视频增强优化,则能够避免上述在第二在线视频数据的视频帧率为40Hz的情况下,只能够显示第二帧图像,而针对第一帧图像的操作对资源的浪费。
其中,视频帧率的降低的方式可以是,对在线视频数据重采样,例如,将每秒所对应的多个视频帧放弃其中一部分,从而降低视频帧率,例如,可以是:
第一种,当在线视频数据的当前帧率达到降帧条件时,按照预设降帧间隔数对在线视频数据进行跳帧参考;或者,
第二种,当在线视频数据的当前帧率达到降帧条件时,从最后一帧开始向前依次丢弃第一预设数量的帧数。
在进行降帧时,可通过上述两种方法对在线视频数据进行降帧。对于第一种的降帧方法,进行跳帧参考的时候优先参考携带重要信息的关键帧,丢弃次重要的非关键帧。或者,预设间隔数也可设定为每隔一帧或每隔两帧,例如,在线视频数据的当前帧率为每秒24帧,当第一预设间隔数设定为每隔一帧时,在线视频数据采用1/2跳帧参考,即丢弃掉一半的帧数,此时在线视频数据的帧率为每秒12帧;或者,当第一预设间隔数设定为每隔两帧时,在线视频数据采用1/3跳帧参考,此时在线视频数据的帧率为每秒8帧。对于第二种的降帧方法,第一预设数量可设定为10帧,例如,在线视频数据的当前帧率为每秒24帧,当在线视频数据当前帧率达到降帧条件时,从24帧的最后一帧开始向前依次丢弃掉10帧,则在线视频数据的帧率降低为每秒14帧。此外,为避免在线视频数据出现马赛克情况,可一帧一帧的降,直到帧率降低到与当前网络情况相适配为止。对于第二种的降帧方法,由于非关键帧为次要帧,关键帧为主要帧,因此从后向前丢帧时优先丢弃次重要的非关键帧,保留携带重要信息的关键帧。
其中,视频帧率的升高的方式可以是:
第一种,当在线视频数据的当前帧率达到升帧条件时,按照预设升帧间隔数增加在线视频数据的帧数;或者,
第二种,当在线视频数据的当前帧率达到升帧条件时,从最后一帧的后面开始依次增加第二预设数量的帧数。
在进行升帧时,可通过上述两种方法对在线视频数据进行升帧:对于第一种的升帧方法,预设升帧间隔数可设定为每隔一帧或每隔两帧,例如,在线视频数据的当前帧率为每秒7帧,当预设升帧间隔数设定为每隔两帧时,从7帧的第一帧开始,每隔两帧则增加1帧,在线视频数据的帧率提高为每秒10帧。对于第二种的升帧方法,第二预设数量可设定为6帧,例如,在线视频数据的当前帧率为每秒7帧,当在线视频数据当前帧率达到升帧条件时,从7帧的后面开始,按顺序依次增加6帧,则在线视频数据的帧率提高为每秒13帧。此外,由于提高帧率比降低帧率更加容易,不会像降低帧率一样出现马赛克的情况,因此,提高帧率时可每两帧的增加。
另外,在提高帧率的过程中,为了避免所增加的视频帧与该帧的前后两帧的图像一样而出现卡顿的视觉效果,则可以根据前后两帧来设定要插入的视频帧,例如,在线视频数据的两个帧为第一帧和第二帧,且第一帧和第二帧是连续的,则分析第一帧和第二帧,具体地,对第一帧和第二帧做前景提取,获取处于运动状态的目标物体,并且获取目标物体从第一帧至第二帧之间的运动变化轨迹,然后,在该运动轨迹上确定一个目标物体的运动状态,并且与背景合成之后形成待插入的视频帧,再将该视频帧插入第一帧和第二帧之间,从而将该视频帧率提高。
需要说明的是,上述步骤中为详细描述的部分,可参考前述实施例,在此不再赘述。
另外,在获取到目标视频数据之后,还可以通过提高该目标视频数据对应的视频帧率的方式,使得经修改后,所有在线视频数据的视频帧率均大于或等于所述刷新帧率,具体地,请参阅图8,示出了本申请实施例提供的一种视频处理方法,应用于电子设备,该电子设备还包括处理器和屏幕,于本申请实施例中,以处理器为执行主体,具体地,则该方法包括:S801至S806。
S801:获取当前所接收的所有在线视频数据的视频帧率。
S802:判断所有所述视频帧率中是否存在低于所述屏幕的刷新帧率的视频帧率。
S803:将低于所述刷新帧率的视频帧率对应的在线视频数据作为目标视频数据。
S804:根据所述屏幕的刷新频率修改所述目标视频数据的视频帧率,以使修改后的视频帧率大于或等于所述屏幕的刷新帧率。
将目标视频数据的视频帧率升高,从而使得目标视频数据的视频帧率大于或等于所述屏幕的刷新帧率。具体地,提高视频帧率的方式可以参考上述实施例。
作为一种实施方式,可以将当前所接收的所有在线视频数据的视频帧率保持一致,则根据所述屏幕的刷新频率修改所述目标视频数据的视频帧率的具体实施方式为将所接收的所有所述在线视频数据的视频帧率均更新为所述屏幕的刷新频率。则将当前所接收的所有在线视频数据的视频帧率均修改为屏幕的刷新频率,不仅可以避免多个在线视频数据在播放的时候,其中某些视频帧率过低的视频数据出现卡顿,还能够避免那些视频帧率过高的在线视频数据在播放的过程中过于消耗系统资源。
S805:获取所述目标视频数据对应的视频文件标识和发送终端。
另外,每个在线视频数据对应一个视频文件标识,例如,该视频文件是在线视频文件,则该在线视频文件的视频文件标识可以是发送该在线视频文件的对应的视频数据的终端的名称,也可以是,在用户登录名,例如,电子设备与第一发送终端、第二发送终端和第三发送终端视频连线,并且电子设备与第一发送终端、第二发送终端和第三发送终端均按照有指定客户端,并且每个用户使用自己的用户名登录所使用的客户端,则每个客户端所产生的视频聊天的数据可以是以登录该客户端的用户名命名,例如,第一发送终端的客户端的用户名为user1,则该第一发送终端所发送的视频数据的视频文件标识为user1。
另外,电子设备当前所接收的在线视频数据为发送终端已经发送至电子设备并且被电子设备成功接收的视频数据,以其他的数据会继续发送至电子设备。
在电子设备在获取到在线视频数据的时候,能够确定发送该在线视频数据的终端以及该在线视频数据的视频文件标识。从而能够获取到目标视频数据对应的视频文件标识和发送终端。
S806:发送更新请求至每个所述目标视频数据对应的发送终端。
其中,所述更新请求包括所述屏幕的刷新频率和该目标视频数据对应的所述视频文件标识,所述更新请求用于指示接收该更新请求的发送终端根据所述屏幕的刷新频率修改所述视频文件标识对应的未发送至所述电子设备的剩余视频数据。
电子设备将更新请求发送至目标视频数据对应的发送终端,为便于描述,将目标视频数据对应的发送终端命名为目标发送终端,则目标发送终端在获取到更新请求之后,解析该更新请求获取视频文件标识,查找该视频文件标识对应的未发送至所述电子设备的剩余视频数据,则该剩余视频数据的视频帧率修改为屏幕的刷新频率,从而目标发送终端后续发送至电子设备的在线视频数据的视频帧率不低于屏幕的刷新频率,从而不需要再执行修改所述目标视频数据的视频帧率或所述刷新频率中的至少一个,以使经修改后,所有在线视频数据的视频帧率均大于或等于所述刷新帧率的操作。
请参阅图9,其示出了本申请实施例提供的一种视频处理装置的结构框图。该视频处理装置900可以包括:获取单元901、判断单元902处理单元904。
获取单元901,用于获取当前所接收的所有在线视频数据的视频帧率。
判断单元902,用于判断所有所述视频帧率中是否存在低于所述屏幕的刷新帧率的视频帧率。
处理单元904,用于修改所述目标视频数据的视频帧率或所述刷新频率中的至少一个,以使经修改后,所有在线视频数据的视频帧率均大于或等于所述刷新帧率。
请参阅图10,其示出了本申请实施例提供的一种视频处理装置的结构框图。该视频处理装置1000可以包括:获取单元1001、判断单元1002和处理单元1003。
获取单元1001,用于获取当前所接收的所有在线视频数据的视频帧率。
判断单元1002,用于判断所有所述视频帧率中是否存在低于所述屏幕的刷新帧率的视频帧率。
处理单元1003,用于修改所述目标视频数据的视频帧率或所述刷新频率中的至少一个,以使经修改后,所有在线视频数据的视频帧率均大于或等于所述刷新帧率。
具体地,作为一种实施方式,处理单元1004还用于获取所述目标视频数据中最低的视频帧率作为目标帧率;根据所述目标帧率修改所述屏幕的刷新帧率,以使所有在线视频数据的视频帧率均大于或等于修改后的所述刷新帧率。具体地,将屏幕的刷新帧率修改为所述目标帧率。
作为另一种实施方式,处理单元1004还用于根据所述屏幕的刷新频率修改所述目标视频数据的视频帧率,以使修改后的视频帧率大于或等于所述屏幕的刷新帧率。
处理单元1003还用于根据所述屏幕的刷新频率修改所述目标视频数据的视频帧率,以使修改后的视频帧率大于或等于所述屏幕的刷新帧率之后,获取所述目标视频数据对应的视频文件标识和发送终端;发送更新请求至每个所述目标视频数据对应的发送终端,所述更新请求包括所述屏幕的刷新频率和该目标视频数据对应的所述视频文件标识,所述更新请求用于指示接收该更新请求的发送终端根据所述屏幕的刷新频率修改所述视频文件标识对应的未发送至所述电子设备的剩余视频数据。具体地,将所接收的所有所述在线视频数据的视频帧率均更新为所述屏幕的刷新频率。
显示单元1004,用于根据所述屏幕的刷新帧率将所有所述在线视频数据在所述屏幕上显示。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,模块相互之间的耦合可以是电性,机械或其它形式的耦合。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
请参考图11,其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备100可以是智能手机、平板电脑、电子书等能够运行应用程序的电子设备。本申请中的电子设备100可以包括一个或多个如下部件:处理器110、存储器120、屏幕140以及一个或多个应用程序,其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行,一个或多个程序配置用于执行如前述方法实施例所描述的方法。
处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分,通过运行或执行存储在存储器120内的指令、程序、代码集或指令集,以及调用存储在存储器120内的数据,执行电子设备100的各种功能和处理数据。可选地,处理器110可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器110中,单独通过一块通信芯片进行实现。
具体地,处理器110可以包括中央处理器111(Central Processing Unit,CPU)、图像处理器112(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和客户端等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器110中,单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
所述屏幕120用于显示由用户输入的信息、提供给用户的信息以及电子设备的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、数字、视频和其任意组合来构成,在一个实例中,触摸屏可设置于所述显示面板上从而与所述显示面板构成一个整体。
请参考图12,其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质1200中存储有程序代码,所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质1200可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读存储介质1200包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质1200具有执行上述方法中的任何方法步骤的程序代码1210的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码1210可以例如以适当形式进行压缩。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (6)

1.一种视频处理方法,其特征在于,应用于电子设备,所述电子设备包括屏幕,所述方法包括:
获取所接收的视频数据的视频帧率,所述视频数据包括多个;
判断所有所述视频帧率中是否存在低于所述屏幕的刷新频率的视频帧率;
若低于,则将低于所述刷新频率的视频帧率对应的视频数据作为目标视频数据;
获取目标视频数据中最低的视频帧率作为目标帧率;
根据所述目标帧率修改所述屏幕的刷新频率,以使目标视频数据的视频帧率均大于或等于修改后的所述刷新频率。
2.根据权利要求1所述的方法,其特征在于,所述根据所述目标帧率修改所述屏幕刷新频率,包括:
将屏幕的刷新频率修改为所述目标帧率。
3.根据权利要求1所述的方法,其特征在于,所述根据所述目标帧率修改所述屏幕的刷新频率,以使目标视频数据的视频帧率均大于或等于修改后的所述刷新频率之后,所述方法还包括:
根据所述屏幕的刷新频率将所述视频数据在所述屏幕上显示。
4.一种视频处理装置,其特征在于,应用于电子设备,所述电子设备包括屏幕,所述视频处理装置包括:
获取单元,用于获取所接收的视频数据的视频帧率,所述视频数据包括多个;
判断单元,用于判断所有所述视频帧率中是否存在低于所述屏幕的刷新频率的视频帧率,若低于,则将低于所述刷新频率的视频帧率对应的视频数据作为目标视频数据;
处理单元,用于获取目标视频数据中最低的视频帧率作为目标帧率;根据所述目标帧率修改所述屏幕的刷新频率,以使目标视频数据的视频帧率均大于或等于修改后的所述刷新频率。
5.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器;
屏幕;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个应用程序配置用于执行如权利要求1-3任一项所述的方法。
6.一种计算机可读介质,其特征在于,所述计算机可读存储介质中存储有程序代码,所述程序代码可被处理器调用执行权利要求1-3任一项所述方法。
CN201811428012.9A 2018-11-27 2018-11-27 视频处理方法、装置、电子设备和计算机可读介质 Active CN109640168B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811428012.9A CN109640168B (zh) 2018-11-27 2018-11-27 视频处理方法、装置、电子设备和计算机可读介质
EP19889803.3A EP3879839A4 (en) 2018-11-27 2019-09-29 VIDEO PROCESSING METHOD AND EQUIPMENT AND ELECTRONIC DEVICE AND COMPUTER READABLE MEDIUM
PCT/CN2019/109112 WO2020108081A1 (zh) 2018-11-27 2019-09-29 视频处理方法、装置、电子设备和计算机可读介质
US17/326,057 US11706484B2 (en) 2018-11-27 2021-05-20 Video processing method, electronic device and computer-readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811428012.9A CN109640168B (zh) 2018-11-27 2018-11-27 视频处理方法、装置、电子设备和计算机可读介质

Publications (2)

Publication Number Publication Date
CN109640168A CN109640168A (zh) 2019-04-16
CN109640168B true CN109640168B (zh) 2020-07-24

Family

ID=66069352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811428012.9A Active CN109640168B (zh) 2018-11-27 2018-11-27 视频处理方法、装置、电子设备和计算机可读介质

Country Status (4)

Country Link
US (1) US11706484B2 (zh)
EP (1) EP3879839A4 (zh)
CN (1) CN109640168B (zh)
WO (1) WO2020108081A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109640168B (zh) 2018-11-27 2020-07-24 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备和计算机可读介质
CN110288689B (zh) * 2019-06-20 2020-09-01 北京三快在线科技有限公司 对电子地图进行渲染的方法和装置
CN112422888B (zh) * 2019-08-23 2022-07-19 浙江宇视科技有限公司 视频拼接方法、装置、电子设备及计算机可读存储介质
CN110708587B (zh) * 2019-09-29 2021-11-12 南阳柯丽尔科技有限公司 窗口图像刷新频率确定方法、装置、计算机设备和介质
CN111105766B (zh) * 2019-12-04 2022-08-26 昆山龙腾光电股份有限公司 频率转换方法、组件、时序处理装置及可读存储介质
CN110933315B (zh) * 2019-12-10 2021-09-07 Oppo广东移动通信有限公司 图像数据处理方法及相关设备
CN113050906A (zh) * 2019-12-26 2021-06-29 深圳市万普拉斯科技有限公司 显示屏的帧率调整方法、装置、终端和存储介质
CN111968582B (zh) * 2020-01-14 2022-04-15 Oppo广东移动通信有限公司 显示屏变频方法、ddic芯片、显示屏模组及终端
CN111277779B (zh) * 2020-03-05 2022-05-06 Oppo广东移动通信有限公司 一种视频处理方法及相关装置
CN111312149B (zh) * 2020-03-10 2023-12-08 Tcl华星光电技术有限公司 驱动方法及驱动装置
CN112333397B (zh) * 2020-03-26 2022-05-13 华为技术有限公司 图像处理方法和电子设备
CN111292668B (zh) * 2020-03-30 2022-09-27 Tcl华星光电技术有限公司 显示面板的刷新频率调整方法及装置
CN111462868B (zh) * 2020-04-09 2023-05-30 武汉联影医疗科技有限公司 医学影像管理方法、装置和存储介质
CN111405362B (zh) * 2020-04-23 2022-11-15 成都极米科技股份有限公司 视频输出方法、装置、视频设备及计算机可读存储介质
CN111757180B (zh) * 2020-07-13 2022-10-04 杭州海康威视数字技术股份有限公司 视频显示控制设备、视频显示系统、视频显示方法及装置
CN111918098A (zh) * 2020-09-16 2020-11-10 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备、服务器及存储介质
CN112288755A (zh) * 2020-11-26 2021-01-29 深源恒际科技有限公司 基于视频的车辆外观部件深度学习分割方法和系统
CN112672201B (zh) * 2020-12-18 2023-12-12 努比亚技术有限公司 一种录屏帧率控制方法、设备及计算机可读存储介质
CN112667340A (zh) * 2020-12-31 2021-04-16 努比亚技术有限公司 屏幕刷新控制方法、移动终端及计算机可读存储介质
CN113141537A (zh) * 2021-04-02 2021-07-20 Oppo广东移动通信有限公司 视频插帧方法、装置、存储介质以及终端
CN113225619A (zh) * 2021-04-23 2021-08-06 深圳创维-Rgb电子有限公司 帧率自适应方法、装置、设备及可读存储介质
CN113438552B (zh) * 2021-05-19 2022-04-19 荣耀终端有限公司 一种刷新率调整方法和电子设备
CN113347487B (zh) * 2021-06-17 2022-09-27 微微科技有限公司 一种自动兼容设备低电量的浏览器序列图视频化方法及终端
CN113807185B (zh) * 2021-08-18 2024-02-27 苏州涟漪信息科技有限公司 一种数据处理方法和装置
CN113891113B (zh) * 2021-09-29 2024-03-12 阿里巴巴(中国)有限公司 视频剪辑合成方法及电子设备
CN114071047B (zh) * 2021-10-30 2023-08-29 深圳曦华科技有限公司 帧率控制方法及相关装置
CN114222157A (zh) * 2021-12-22 2022-03-22 厦门视诚科技有限公司 一种多输入信号便携式导播推流预监系统
CN114339411B (zh) * 2021-12-30 2023-12-26 西安紫光展锐科技有限公司 视频处理方法、装置及设备
CN114422866B (zh) * 2022-01-17 2023-07-25 深圳Tcl新技术有限公司 一种视频处理方法、装置、电子设备和存储介质
CN114679622A (zh) * 2022-03-08 2022-06-28 臻迪科技股份有限公司 一种视频文件生成方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6469744B1 (en) * 1999-07-06 2002-10-22 Hitachi America, Ltd. Methods and apparatus for encoding, decoding and displaying images in a manner that produces smooth motion
CN101072339A (zh) * 2007-06-12 2007-11-14 北京中星微电子有限公司 一种控制播放帧率同步的方法及系统
CN108600668A (zh) * 2018-03-27 2018-09-28 维沃移动通信有限公司 一种录屏帧率调整方法及移动终端

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002065443A1 (en) * 2001-02-15 2002-08-22 Tveye Inc. Method and apparatus for low bandwidth transmission of data utilizing of the human eye anatomy
US7825986B2 (en) * 2004-12-30 2010-11-02 Mondo Systems, Inc. Integrated multimedia signal processing system using centralized processing of signals and other peripheral device
JP4418827B2 (ja) * 2007-05-16 2010-02-24 三菱電機株式会社 画像表示装置及び方法、並びに画像発生装置及び方法
US8818172B2 (en) * 2009-04-14 2014-08-26 Avid Technology, Inc. Multi-user remote video editing
WO2011052045A1 (ja) * 2009-10-27 2011-05-05 キヤノン株式会社 映像再生装置及び映像再生装置の制御方法
CN102033729B (zh) * 2010-10-27 2012-05-09 广东威创视讯科技股份有限公司 一种异构图像拼接方法及其系统
US9589540B2 (en) * 2011-12-05 2017-03-07 Microsoft Technology Licensing, Llc Adaptive control of display refresh rate based on video frame rate and power efficiency
CN103188548A (zh) * 2011-12-30 2013-07-03 乐金电子(中国)研究开发中心有限公司 数字电视手语配音方法及装置
CN102547248B (zh) * 2012-02-03 2014-03-26 深圳锐取信息技术股份有限公司 多路实时监控单视频文件录制方法
US9257092B2 (en) * 2013-02-12 2016-02-09 Vmware, Inc. Method and system for enhancing user experience for remoting technologies
CN103347144B (zh) * 2013-07-01 2016-08-24 广东威创视讯科技股份有限公司 一种基于摄像头拍摄的视频同步方法
KR20150007463A (ko) * 2013-07-11 2015-01-21 삼성전자주식회사 디스플레이장치 및 그 제어방법
CN104375789B (zh) * 2013-08-14 2018-03-23 杭州海康威视数字技术股份有限公司 拼接屏的同步显示方法及系统
CN104660916B (zh) * 2013-11-18 2018-09-18 杭州海康威视数字技术股份有限公司 屏幕拼接系统和视频数据流的处理方法
CN104754409A (zh) * 2013-12-27 2015-07-01 联芯科技有限公司 应用于Android平台的多媒体视频播放系统及方法
US10349005B2 (en) * 2014-02-04 2019-07-09 Intel Corporation Techniques for frame repetition control in frame rate up-conversion
US9426523B2 (en) * 2014-06-25 2016-08-23 International Business Machines Corporation Video composition by dynamic linking
CN105828183B (zh) * 2015-01-04 2017-12-05 华为技术有限公司 视频帧处理方法及视频帧处理芯片
CN104639978A (zh) 2015-02-13 2015-05-20 上海小蚁科技有限公司 多媒体处理方法及装置
CN104808984B (zh) * 2015-03-24 2018-01-19 魅族科技(中国)有限公司 显示界面刷新方法及装置
CN104951266B (zh) * 2015-06-11 2018-10-12 联想(北京)有限公司 一种屏幕调整方法及电子设备
CN105007443B (zh) * 2015-07-08 2019-01-08 福州瑞芯微电子股份有限公司 一种视频变频播放方法及装置
US10223987B2 (en) * 2015-10-30 2019-03-05 Nvidia Corporation Regional DC balancing for a variable refresh rate display panel
CN106658037A (zh) * 2016-12-13 2017-05-10 天脉聚源(北京)传媒科技有限公司 一种多视频流的视频直播的方法及装置
CN106657681B (zh) * 2017-03-10 2019-07-05 Oppo广东移动通信有限公司 一种移动终端刷新率的控制方法、装置及移动终端
CN106936995B (zh) * 2017-03-10 2019-04-16 Oppo广东移动通信有限公司 一种移动终端帧率的控制方法、装置及移动终端
DK201870364A1 (en) * 2018-05-07 2019-12-03 Apple Inc. MULTI-PARTICIPANT LIVE COMMUNICATION USER INTERFACE
CN109640168B (zh) * 2018-11-27 2020-07-24 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备和计算机可读介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6469744B1 (en) * 1999-07-06 2002-10-22 Hitachi America, Ltd. Methods and apparatus for encoding, decoding and displaying images in a manner that produces smooth motion
CN101072339A (zh) * 2007-06-12 2007-11-14 北京中星微电子有限公司 一种控制播放帧率同步的方法及系统
CN108600668A (zh) * 2018-03-27 2018-09-28 维沃移动通信有限公司 一种录屏帧率调整方法及移动终端

Also Published As

Publication number Publication date
CN109640168A (zh) 2019-04-16
EP3879839A4 (en) 2021-10-20
US20210274251A1 (en) 2021-09-02
WO2020108081A1 (zh) 2020-06-04
US11706484B2 (en) 2023-07-18
EP3879839A1 (en) 2021-09-15

Similar Documents

Publication Publication Date Title
CN109640168B (zh) 视频处理方法、装置、电子设备和计算机可读介质
CN109685726B (zh) 游戏场景处理方法、装置、电子设备以及存储介质
CN109379625B (zh) 视频处理方法、装置、电子设备和计算机可读介质
CN109379628B (zh) 视频处理方法、装置、电子设备及计算机可读介质
CN109218802B (zh) 视频处理方法、装置、电子设备及计算机可读介质
CN109242802B (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN109379627B (zh) 视频处理方法、装置、电子设备以及存储介质
CN109361949B (zh) 视频处理方法、装置、电子设备以及存储介质
WO2020107989A1 (zh) 视频处理方法、装置、电子设备以及存储介质
CN109729405B (zh) 视频处理方法、装置、电子设备及存储介质
CN109120988B (zh) 解码方法、装置、电子设备以及存储介质
CN109640167B (zh) 视频处理方法、装置、电子设备及存储介质
US11490157B2 (en) Method for controlling video enhancement, device, electronic device and storage medium
CN109587558B (zh) 视频处理方法、装置、电子设备以及存储介质
WO2020108060A1 (zh) 视频处理方法、装置、电子设备以及存储介质
CN109618228B (zh) 视频增强控制方法、装置以及电子设备
CN109587555B (zh) 视频处理方法、装置、电子设备及存储介质
US11562772B2 (en) Video processing method, electronic device, and storage medium
CN109167946B (zh) 视频处理方法、装置、电子设备以及存储介质
WO2020038071A1 (zh) 视频增强控制方法、装置、电子设备及存储介质
CN109218803B (zh) 视频增强控制方法、装置以及电子设备
CN113038276A (zh) 视频播放方法、装置、电子设备及存储介质
CN109712100B (zh) 视频增强控制方法、装置以及电子设备
CN117812332A (zh) 播放处理方法、装置、电子设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant