CN117119248A - 视频处理方法、系统及电子设备 - Google Patents
视频处理方法、系统及电子设备 Download PDFInfo
- Publication number
- CN117119248A CN117119248A CN202210529108.4A CN202210529108A CN117119248A CN 117119248 A CN117119248 A CN 117119248A CN 202210529108 A CN202210529108 A CN 202210529108A CN 117119248 A CN117119248 A CN 117119248A
- Authority
- CN
- China
- Prior art keywords
- video data
- image
- pieces
- hdr
- sdr
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 94
- 238000013507 mapping Methods 0.000 claims abstract description 88
- 238000006243 chemical reaction Methods 0.000 claims description 70
- 238000012549 training Methods 0.000 claims description 57
- 238000012545 processing Methods 0.000 claims description 47
- 238000004590 computer program Methods 0.000 claims description 11
- 210000000746 body region Anatomy 0.000 claims description 7
- 239000000758 substrate Substances 0.000 claims 1
- 230000000694 effects Effects 0.000 description 39
- 238000010586 diagram Methods 0.000 description 35
- 230000008569 process Effects 0.000 description 29
- 238000012805 post-processing Methods 0.000 description 23
- 238000012937 correction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本申请实施例提供了一种视频处理方法及电子设备。该方法包括:获取待编辑的N条第一视频数据,N条第一视频数据包括N1条SDR视频数据和N2条HDR视频数据;将N条第一视频数据拼接为一条第二视频数据并保存,第二视频数据为HDR视频数据,第二视频数据的第二图像根据N条第一视频数据分别对应的第一图像拼接得到;根据当前视频应用场景,将第二图像划分为多个区域,不同视频应用场景对应的区域划分方式不同;确定多个区域分别对应的色调映射曲线参数,以得到第二视频数据对应的局部色调映射曲线参数并保存。这样,针对不同的视频应用场景采用不同的区域划分方式,能够保证在不同视频应用场景中编辑得到的HDR视频数据的画质。
Description
技术领域
本申请实施例涉及数据处理领域,尤其涉及一种视频处理方法及电子设备。
背景技术
HDR(High Dynamic Range,高动态范围)视频以优于SDR(Standard DynamicRange,标准动态范围)的比特位宽、色域空间、动态范围等特性,日趋受到用户喜爱。很多场景(如拍摄影视作品(如电视剧、电影等)、拍摄Vlog(video blog)、拍摄短视频等场景)中,用户会拍摄多个不同的视频,然后将这多个视频拼接为一个视频,以供后续观看。
目前,大部分拍摄设备仅能拍摄SDR视频,为了呈现丰富色彩及层次,提高敏感对比,增强纵深感及细节,使得画面更趋于真实世界的画质,通常会将拍摄的多个视频编辑为一条HDR视频。
发明内容
本申请提供一种视频处理方法及电子设备。在该方法中,能够保证在不同视频应用场景中编辑得到的HDR视频数据的画质,其中,画质,也就是画面质量,可以通过对比度(或动态范围)、亮度、色域空间等衡量。对比度(或动态范围)越高,画面质量越好;亮度越大,画面质量越好;色域空间越广,画面质量越好。
第一方面,本申请实施例提供一种视频处理方法,该方法包括:首先,获取待编辑的N条第一视频数据,N条第一视频数据包括N1条SDR视频数据和N2条HDR视频数据,N为大于1的整数,N1和N2均为整数,N1+N2=N。接着,将N条第一视频数据拼接为一条第二视频数据并保存,第二视频数据为HDR视频数据,第二视频数据的第二图像根据N条第一视频数据分别对应的第一图像拼接得到;随后,根据当前视频应用场景,将第二图像划分为多个区域,其中,不同视频应用场景对应的区域划分方式不同;然后确定多个区域分别对应的色调映射曲线参数,以得到第二视频数据对应的局部色调映射曲线参数并保存。这样,相对于现有技术采用同一区域划分方式进行区域划分而言,本申请针对不同的视频应用场景采用不同的区域划分方式,能够保证在不同视频应用场景中编辑得到的HDR视频数据的画质。
示例性的,待编辑的N条第一视频数据,均为SDR视频数据,即获取的是N条SDR视频数据。
示例性的,待编辑的N条第一视频数据,均为HDR视频数据,即获取的是N条HDR视频数据。
示例性的,待编辑的N条第一视频数据,既包括SDR视频数据,也可以包括HDR视频数据。
示例性的,第一视频数据包括第一图像,第二视频数据包括第二图像,第二视频数据中的每一张第二图像都由N张第一图像拼接而成,N张第一图像与N条第一视频数据分别对应。
根据第一方面,当当前视频应用场景为第一预设场景时,当前视频应用场景对应的区域划分方式为按照图像主体划分;当当前视频应用场景为第二预设场景时,当前视频应用场景对应的区域划分方式为按照拼接方式划分。
示例性的,可以将对图像中部分对象的画质要求满足画质条件的视频应用场景(如Vlog,短视频等),称为第一预设场景;将对整个图像的画质要求满足画质条件的视频应用场景(如电影、电视剧等),称为第二预设场景。其中,画质条件可以包括:对比度高于对比度阈值,亮度高于亮度阈值,色域空间范围大于预设范围;对比度阈值、亮度阈值和预设范围,具体可以按照需求设置,本申请对此不作限制。
示例性的,按照图像主体划分,可以是指将图像划分为主体区域和背景区域。
示例性的,按照拼接方式划分,可以是指先将第二图像划分为N个图像块,然后再分别将N个图像块划分为多个区域。
示例性的,拼接方式可以包括多种,如横向拼接、纵向拼接、混合拼接等等,本申请对此不作限制。
应该理解的是,还可以按照其他维度来划分视频应用场景,以及设置对应的区域划分方式,本申请对此不作限制。
根据第一方面,或者以上第一方面的任意一种实现方式,当当前视频应用场景为第一预设场景时,多个区域包括主体区域和背景区域;根据当前视频应用场景,将第二图像划分为多个区域,包括:检测第二图像中的主体对象;将第二图像中主体对象对应的区域划分为主体区域,以及将第二图像中除主体区域之外的区域划分为背景区域。这样,后续在播放第二图像时,可以按照主体区域对应的色调映射区域参数对主体区域进行映射,能够保证在对图像中主体对象的画质要求高的第一预设场景中,编辑得到的HDR视频数据中主体对象的画质。
根据第一方面,或者以上第一方面的任意一种实现方式,当当前视频应用场景为第二预设场景时,根据当前视频应用场景,将第二图像划分为多个区域,包括:根据拼接对应的拼接方式,将第二图像划分为N个图像块,N个图像块与N张第一图像分别对应,N张第一图像与N条第一视频数据分别对应;分别对N个图像块进行划分,以得到N个图像块分别对应的多个区域。这样,能够避免将不同第一视频数据的第一图像的像素划分到同一个区域;由于不同第一视频数据的第一图像画面的亮度、对比度、颜色等存在差异,进而第二图像中来自不同第一视频数据的图像块使用不同色调映射曲线参数进行局部色调映射,能够保证在对整个图像画质要求高的第二预设场景中,编辑得到的HDR视频数据中每张图像的画质。
根据第一方面,或者以上第一方面的任意一种实现方式,当N1为正整数时,在将N条第一视频数据拼接为一条第二视频数据之前,该方法还包括:依据已训练的第一转换网络将N1条SDR视频数据,转换为N1条HDR视频数据,其中,第一转换网络是以采集的HDR视频数据为目标训练得到的,转换得到的HDR视频数据包括转换后的第一图像;将N条第一视频数据拼接为一条第二视频数据,包括:将转换得到的N1条HDR视频数据和N2条HDR视频数据拼接为一条第二视频数据,第二视频数据的第二图像根据N1条HDR视频数据分别对应的转换后的第一图像,以及N2条HDR视频数据分别对应的第一图像拼接得到。这样,能够实现将第一视频数据中的SDR视频数据,转换为HDR视频数据。由于第一转换网络是以采集的HDR视频数据为目标训练的,因此第一转换网络能够学习到如何将SDR视频转换,转换成接近录制的真实的HDR视频数据。进而相对于现有技术采用基于对SDR数据进行图像处理得到的HDR视频数据为目标训练的网络而言,第一转换网络输出的HDR视频数据更接近录制的真实的HDR视频数据;进而本申请能够提高进行SDR2HDR操作后得到的HDR视频数据的画面质量。
此外,当N条第一视频数据包括多条SDR视频数据时,能够保证转换得到的多条HDR视频数据的风格一致性。且当N条第一视频数据包括HDR视频数据和SDR视频数据时,还能够保证转换得到的HDR视频数据,与N条第一视频数据中的HDR视频数据的风格一致性。
示例性的,风格一致性,可以是指对比度、亮度、色域空间等一致性。
根据第一方面,或者以上第一方面的任意一种实现方式,依据第二视频数据对应的局部色调映射曲线参数,对第二视频数据进行局部色调映射,以播放第二视频数据。这样,在编辑HDR视频数据的过程中,可以在HDR显示设备上显示编辑得到的HDR视频数据,便于用户查看HDR视频数据的编辑效果。
根据第一方面,或者以上第一方面的任意一种实现方式,当N2为正整数时,该方法还包括:依据已训练的第二转换网络将N2条HDR视频数据,转换为N2条SDR视频数据,转换得到的SDR视频数据包括转换后的第一图像;将转换得到的N2条SDR视频数据和N1条SDR视频数据拼接为一条第三视频数据,第三视频数据为SDR视频数据,第三视频数据的第三图像根据N2条SDR视频数据分别对应的转换后的第一图像,以及N1条SDR数据分别对应的第一图像拼接得到;播放第三视频数据。这样,在编辑HDR视频数据的过程中,用户也能够在SDR显示设备上查看HDR视频数据的编辑效果。
根据第一方面,或者以上第一方面的任意一种实现方式,该方法还包括:采集源视频数据,源视频数据为HDR视频数据,源视频数据中每张源图像为YUV格式;将源视频数据中的源图像由YUV格式转换为RAW格式,以得到中间视频数据;对中间视频数据进行图像信号处理,以得到训练视频数据和目标视频数据,训练视频数据为SDR视频数据,目标视频数据为HDR视频数据;采用训练视频数据,以目标视频数据为目标对第一转换网络进行训练。这样,能够使得训练后的第一转换网络学习到如何将SDR视频数据转换,转换成接近录制的真实的HDR视频数据。
根据第一方面,或者以上第一方面的任意一种实现方式,第二视频数据对应的局部色调映射曲线参数,为第二视频数据的元数据metadata。
第二方面,本申请实施例提供一种视频处理方法,该方法包括:首先获取待编辑的N条第一视频数据,N条第一视频数据包括N1条标准动态范围SDR视频数据和N2条高动态范围HDR视频数据,N为大于1的整数,N1为正整数,N2为整数,N1+N2=N,第一视频数据包括第一图像。接着,依据已训练的第一转换网络将N1条SDR视频数据,转换为N1条HDR视频数据,其中,第一转换网络是以采集的HDR视频数据为目标训练得到的,转换得到的HDR视频数据包括转换后的第一图像;然后,将转换得到的N1条HDR视频数据和N2条HDR视频数据拼接为一条第二视频数据,第二视频数据为HDR视频数据,第二视频数据的第二图像根据N1条HDR视频数据分别对应的转换后的第一图像,以及N2条HDR视频数据分别对应的第一图像拼接得到。这样,相对于现有技术采用基于对SDR数据进行图像处理得到的HDR视频数据为目标训练的网络而言,第一转换网络输出的HDR视频数据更接近录制的真实的HDR视频数据;进而本申请能够提高进行SDR2HDR操作后得到的HDR视频数据的画面质量。
此外,当N条第一视频数据包括多条SDR视频数据时,能够保证转换得到的多条HDR视频数据的风格一致性。且当N条第一视频数据包括HDR视频数据和SDR视频数据时,还能够保证转换得到的HDR视频数据,与N条第一视频数据中的HDR视频数据的风格一致性。
根据第二方面,该方法还包括:采集源视频数据,源视频数据为HDR视频数据,源视频数据中每张源图像为YUV格式;将源视频数据中的源图像由YUV格式转换为RAW格式,以得到中间视频数据;对中间视频数据进行图像信号处理,以得到训练视频数据和目标视频数据,训练视频数据为SDR视频数据,目标视频数据为HDR视频数据;采用训练视频数据,以目标视频数据为目标对第一转换网络进行训练。
根据第二方面,或者以上第二方面的任意一种实现方式,该方法还包括:确定第二视频数据对应的色调映射曲线参数;依据第二视频数据对应的色调映射曲线参数,对第二视频数据进行色调映射,以播放第二视频数据。
根据第二方面,或者以上第二方面的任意一种实现方式,该方法还包括:依据已训练的第二转换网络将N2条HDR视频数据,转换为N2条SDR视频数据,转换得到的SDR视频数据包括转换后的第一图像;将转换得到的N2条SDR视频数据和N1条SDR视频数据拼接为一条第三视频数据,第三视频数据为SDR视频数据,第三视频数据的第三图像根据N2条SDR视频数据分别对应的转换后的第一图像,以及N1条SDR数据分别对应的第一图像拼接得到;播放第三视频数据。
第二方面以及第二方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第二方面以及第二方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第三方面,本申请提供了一种训练方法,该训练方法包括:首先采集源视频数据,源视频数据为HDR视频数据,源视频数据中每张源图像为YUV格式;然后,将源视频数据中的源图像由YUV格式转换为RAW格式,以得到中间视频数据。接着,对中间视频数据进行图像信号处理,以得到训练视频数据和目标视频数据,训练视频数据为SDR视频数据,目标视频数据为HDR视频数据;随后,采用训练视频数据,以目标视频数据为目标对第一转换网络进行训练。这样,能够使得训练后的第一转换网络学习到如何将SDR视频数据转换,转换成接近录制的真实的HDR视频数据。
第四方面,本申请实施例提供一种电子设备,包括:存储器和处理器,存储器与处理器耦合;存储器存储有程序指令,当程序指令由处理器执行时,使得电子设备执行第一方面或第一方面的任意可能的实现方式中的视频处理方法。
第四方面以及第四方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第四方面以及第四方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第五方面,本申请实施例提供一种电子设备,包括:存储器和处理器,存储器与处理器耦合;存储器存储有程序指令,当程序指令由处理器执行时,使得电子设备执行第二方面或第二方面的任意可能的实现方式中的视频处理方法。
第五方面以及第五方面的任意一种实现方式分别与第二方面以及第二方面的任意一种实现方式相对应。第五方面以及第五方面的任意一种实现方式所对应的技术效果可参见上述第二方面以及第二方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第六方面,本申请实施例提供一种电子设备,包括:存储器和处理器,存储器与处理器耦合;存储器存储有程序指令,当程序指令由处理器执行时,使得电子设备执行第三方面或第三方面的任意可能的实现方式中的训练方法。
第六方面以及第六方面的任意一种实现方式分别与第三方面以及第三方面的任意一种实现方式相对应。第六方面以及第六方面的任意一种实现方式所对应的技术效果可参见上述第三方面以及第三方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第七方面,本申请实施例提供一种芯片,包括一个或多个接口电路和一个或多个处理器;接口电路用于从电子设备的存储器接收信号,并向处理器发送信号,信号包括存储器中存储的计算机指令;当处理器执行计算机指令时,使得电子设备执行第一方面或第一方面的任意可能的实现方式中的视频处理方法。
第七方面以及第七方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第七方面以及第七方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第八方面,本申请实施例提供一种芯片,包括一个或多个接口电路和一个或多个处理器;接口电路用于从电子设备的存储器接收信号,并向处理器发送信号,信号包括存储器中存储的计算机指令;当处理器执行计算机指令时,使得电子设备执行第二方面或第二方面的任意可能的实现方式中的视频处理方法。
第八方面以及第八方面的任意一种实现方式分别与第二方面以及第二方面的任意一种实现方式相对应。第八方面以及第八方面的任意一种实现方式所对应的技术效果可参见上述第二方面以及第二方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第九方面,本申请实施例提供一种芯片,包括一个或多个接口电路和一个或多个处理器;接口电路用于从电子设备的存储器接收信号,并向处理器发送信号,信号包括存储器中存储的计算机指令;当处理器执行计算机指令时,使得电子设备执行第三方面或第三方面的任意可能的实现方式中的训练方法。
第九方面以及第九方面的任意一种实现方式分别与第三方面以及第三方面的任意一种实现方式相对应。第九方面以及第九方面的任意一种实现方式所对应的技术效果可参见上述第三方面以及第三方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第十方面,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,当计算机程序运行在计算机或处理器上时,使得计算机或处理器执行第一方面或第一方面的任意可能的实现方式中的视频处理方法。
第十方面以及第十方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第十方面以及第十方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第十一方面,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,当计算机程序运行在计算机或处理器上时,使得计算机或处理器执行第二方面或第二方面的任意可能的实现方式中的视频处理方法。
第十一方面以及第十一方面的任意一种实现方式分别与第二方面以及第二方面的任意一种实现方式相对应。第十一方面以及第十一方面的任意一种实现方式所对应的技术效果可参见上述第二方面以及第二方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第十二方面,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,当计算机程序运行在计算机或处理器上时,使得计算机或处理器执行第三方面或第三方面的任意可能的实现方式中的训练方法。
第十二方面以及第十二方面的任意一种实现方式分别与第三方面以及第三方面的任意一种实现方式相对应。第十二方面以及第十二方面的任意一种实现方式所对应的技术效果可参见上述第三方面以及第三方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第十三方面,本申请实施例提供一种计算机程序产品,计算机程序产品包括软件程序,当软件程序被计算机或处理器执行时,使得计算机或处理器执行第一方面或第一方面的任意可能的实现方式中的视频处理方法。
第十三方面以及第十三方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第十三方面以及第十三方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第十四方面,本申请实施例提供一种计算机程序产品,计算机程序产品包括软件程序,当软件程序被计算机或处理器执行时,使得计算机或处理器执行第二方面或第二方面的任意可能的实现方式中的视频处理方法。
第十四方面以及第十四方面的任意一种实现方式分别与第二方面以及第二方面的任意一种实现方式相对应。第十四方面以及第十四方面的任意一种实现方式所对应的技术效果可参见上述第二方面以及第二方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第十五方面,本申请实施例提供一种计算机程序产品,计算机程序产品包括软件程序,当软件程序被计算机或处理器执行时,使得计算机或处理器执行第三方面或第三方面的任意可能的实现方式中的训练方法。
第十五方面以及第十五方面的任意一种实现方式分别与第三方面以及第三方面的任意一种实现方式相对应。第十五方面以及第十五方面的任意一种实现方式所对应的技术效果可参见上述第三方面以及第三方面的任意一种实现方式所对应的技术效果,此处不再赘述。
附图说明
图1a为示例性示出的应用场景示意图;
图1b为示例性示出的应用场景示意图;
图1c为示例性示出的应用场景示意图;
图2a为示例性示出的视频处理过程示意图;
图2b为示例性示出的拼接方式示意图;
图3a为示例性示出的视频处理过程示意图;
图3b为示例性示出的区域划分方式示意图;
图4a为示例性示出的视频处理过程示意图;
图4b为示例性示出的区域划分方式示意图;
图4c为示例性示出的区域划分方式示意图;
图5为示例性的示出的训练过程示意图;
图6为示例性示出的视频处理过程示意图;
图7为示例性示出的视频处理过程示意图;
图8为示例性示出的视频处理过程示意图;
图9为示例性示出的视频处理过程示意图;
图10为示例性示出的视频处理过程示意图;
图11为示例性示出的视频处理过程示意图;
图12为示例性示出的视频处理过程示意图;
图13为示例性示出的装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
本申请实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述对象的特定顺序。例如,第一目标对象和第二目标对象等是用于区别不同的目标对象,而不是用于描述目标对象的特定顺序。
在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中,除非另有说明,“多个”的含义是指两个或两个以上。例如,多个处理单元是指两个或两个以上的处理单元;多个系统是指两个或两个以上的系统。
图1a为示例性示出的应用场景示意图。在图1a的实施例中,示例性示出了一种电影剪辑场景。
参照图1a,示例性的,在拍摄电影的过程中,通常会针对多个人物(如多个主演)中每个人物单独拍摄视频;例如,针对人物1单独拍摄视频,即可以得到图1a中人物1的视频数据;针对人物2单独拍摄视频,即可以得到图1a中人物2的视频数据;......针对人物N(N为大于1的整数)单独拍摄视频,即可以得到图1a中人物N的视频数据。在后期电影剪辑的过程中,可能需要将人物1、人物2......人物N剪辑到同一个画面中,且画面是HDR画面;此时,可以对图1a中人物1的视频数据、人物2的视频数据......人物N的视频数据进行编辑,得到一条HDR视频数据。其中,这条HDR视频数据中的每张图像均包括:人物1、人物2......和人物N。
图1b为示例性示出的应用场景示意图。在图1b的实施例中,示例性示出了一种Vlog剪辑场景。
参照图1b,示例性的,用户在拍摄穿搭分享Vlog的过程中,为了让其他人看到穿搭效果和穿戴衣物的细节,会针对穿戴衣物(如上衣、裤子、裙子、鞋子、配饰等)的人物单独拍摄视频,即可以得到图1b中穿戴衣物的人物的视频数据;针对人物穿着的上衣单独拍摄视频,即可以得到图1b中单独的上衣的视频数据;......针对人物穿着的鞋子单独拍摄视频数据,即可以得到图1b中单独的鞋子的视频数据。在后期Vlog剪辑的过程中,可能需要将穿戴衣物的人物、单独的上衣......单独的鞋子剪辑到同一个画面中,且画面是HDR画面;此时,可以对图1b中穿戴衣物的人物的视频数据、单独的上衣的视频数据......单独的鞋子的视频数据进行编辑,得到一条HDR视频数据。其中,这条HDR视频数据中的每张图像均包括:穿戴衣物的人物、单独的上衣......单独的鞋子。
图1c为示例性示出的应用场景示意图。在图1c的实施例中,示例性示出了一种短视频剪辑场景。
参照图1c,示例性的,人物B在分析人物A运动健身短视频的过程中,会选取人物A运动健身的视频数据;以及会拍摄人物B以人物A运动健身的视频数据为参考进行跟练的视频,即可以得到图1c中人物B跟练的视频数据;......以及人物B在跟练过程中,针对人物B的腿部动作单独拍摄视频,即可以得到图1c中人物B跟练过程中腿部动作的视频数据。在后期短视频剪辑的过程中,可能需要将人物A、人物B......人物B的腿部动作剪辑到同一个画面中,且画面是HDR画面;此时,可以对图1c中人物A运动健身的视频数据、人物B跟练的视频数据......人物B跟练过程中腿部动作的视频数据进行编辑,得到一条HDR视频数据。其中,这条视频数据中每张图像均包括:人物A、人物B......人物B的腿部动作。
应该理解的是,图1a~图1c所示的应用场景仅是本申请应用场景的示例,本申请还可以包括任一需要将多条视频编辑为一条HDR视频的场景,本申请对此不作限制。
以下对如何将多条视频数据编辑为一条HDR视频数据的过程进行说明。
示例性的,不同视频应用场景对于画质要求不同,例如,有些视频应用场景如Vlog、短视频等,对图像中部分对象的画质要求高;有些视频应用场景如电影、电视剧等,对整个图像的画质要求高。基于此,本申请提供一种视频处理方法,以保证不同视频应用场景中编辑得到的HDR视频数据的画质。其中,画质,也就是画面质量,可以通过对比度(或动态范围)、亮度、色域空间等衡量。对比度(或动态范围)越高,画面质量越好;亮度越大,画面质量越好;色域空间越广,画面质量越好。
图2a为示例性示出的视频处理过程示意图。
S201,获取待编辑的N条第一视频数据,其中,N条第一视频数据包括N1条SDR视频数据和N2条HDR视频数据。
示例性的,N为大于1的整数,N1和N2均为整数,N1+N2=N。
一种可能的情况中,待编辑的N条第一视频数据,均为SDR视频数据,即获取的是N条SDR视频数据。
一种可能的情况中,待编辑的N条第一视频数据,均为HDR视频数据,即获取的是N条HDR视频数据。
一种可能的情况中,待编辑的N条第一视频数据,既包括SDR视频数据,也可以包括HDR视频数据。
为了便于说明,可以将N条第一视频数据中每一条第一视频数据所包含的图像,称为第一图像。
S202,将N条第一视频数据拼接为一条第二视频数据。
示例性的,每次拼接时,可以从N条第一视频数据的每条第一视频数据中选取一张第一图像,进而可以得到N张第一图像。接着,可以将这N张第一图像进行拼接,得到一张第二图像。这样,经过多次拼接,可以得到多张第二图像;这多张第二图像可以组成一条第二视频数据。
示例性的,将N张第一图像拼接成一张第二图像的拼接方式可以包括多种,例如,当N张第一图像的宽度相等时,拼接方式可以是横向拼接;此时,第二图像的长度等于N张第一图像的长度之和,第二图像的宽度等于任一张第一图像的宽度。又例如,当N张第一图像的长度相等时,拼接方式可以是纵向拼接;此时,第二图像的宽度等于N张第一图像的宽度之和,第二图像的长度等于任一张第一图像的长度。还例如,无论N张图像的宽度或长度是否相等,拼接方式可以是混合拼接,混合拼接可以包括除横向拼接和纵向拼接之外的拼接方式,得到的第二图像为矩形即可。
图2b为示例性示出的拼接方式示意图。在图2b的实施例中,N=3;图2b中的图像1、图像2和图像3,均是第一图像。
示例性的,假设图像1、图像2和图像3的宽度相等,均等于W1,图像1、图像2和图像3的长度分别为:L1、L2和L3。可以参照图2b(1),对图像1、图像2和图像3进行横向拼接,得到的第二图像的长度等于L1+L2+L3,宽度等于W1。
示例性的,假设图像1、图像2和图像3的长度相等,均等于L4,图像1、图像2和图像3的长度分别为:W2、W3和W4。可以参照图2b(2),对图像1、图像2和图像3进行纵向拼接,得到的第二图像的宽度等于W2+W3+W4,长度等于L4。
示例性的,假设图像1、图像2和图像3的长度均等于L5,图像1、图像2和图像3的宽度均等于W5;且L5=2*W5。可以参照图2b(3),对图像1、图像2和图像3进行混合拼接,得到的第二图像的宽度等于W5+L5,长度等于L5。
应该理解的是,图2b(3)仅是混合拼接方式的一种示例,本申请可以包括其他的混合拼接方式,本申请对此不作限制。
需要说明的是,针对一条第一视频数据,每次拼接从该条第一视频数据中选取的一张第一图像,可以相同,也可以不同,具体根据用户需求确定,本申请对此不作限制。
示例性的,当N条第一视频数据包括SDR视频数据时,可以将SDR视频数据转换为HDR数据;然后再将N条HDR视频数据进行拼接,可以得到一条HDR视频数据,即第二视频数据。
为了便于说明,可以将第二视频数据所包含的图像,称为第二图像。
示例性的,得到第二视频数据后,一方面可以执行S205中的保存第二视频数据;另一方面可以执行S203。
S203,根据当前视频应用场景,将第二图像划分为多个区域,其中,不同视频应用场景对应的区域划分方式不同。
示例性的,由于图像中不同区域的细节、亮度以及颜色是不同的,进而可以先将第二图像划分为多个区域,接着,确定各个区域对应的色调映射曲线参数并保存。这样,在后续播放第二视频数据时,可以按照第二图像的各个区域对应的色调映射曲线参数,对第二图像的各个区域进行局部色调映射,以将第二视频数据中的第二图像映射到显示屏上显示;从而保证第二视频数据播放时显示的画面质量。
示例性的,可以将对图像中部分对象的画质要求满足画质条件的视频应用场景(如Vlog,短视频等),称为第一预设场景;将对整个图像的画质要求满足画质条件的视频应用场景(如电影、电视剧等),称为第二预设场景。其中,画质条件可以包括:对比度高于对比度阈值,亮度高于亮度阈值,色域空间范围大于预设范围;对比度阈值、亮度阈值和预设范围,具体可以按照需求设置,本申请对此不作限制。然后,针对不同的视频应用场景,设置不同的区域划分方式。示例性的,针对第一预设场景,设置对应的区域划分方式为按照图像主体划分,即将图像划分为主体区域和背景区域。针对第二预设场景,设置对应的区域划分方式为按照拼接方式划分,即按照N张第一图像拼接为一张第二图像的拼接方式划分,可以将第二图像划分为N个图像块,然后再分别将N个图像块划分为多个区域。
应该理解的是,还可以按照其他维度来划分视频应用场景,以及设置对应的区域划分方式,本申请对此不作限制。
进而,在得到第二视频数据后,可以根据当前视频应用场景,将第二图像划分为多个区域。
S204,确定多个区域分别对应的色调映射曲线参数,以得到第二视频数据对应的局部色调映射曲线参数。
示例性的,针对每个区域,可以对该区域进行直方图统计,以得到直方图统计信息;然后根据直方图统计信息,确定该区域的色调映射曲线参数。例如,可以根据直方图统计信息,确定该区域的最大亮度和三次样条区间个数;接着,根据该区域的最大亮度和三次样条区间个数,确定该区域的三次样条区间长度;随后,根据每个样条的端点值和三次样条区域长度,确定三次样条参数。以及可以根据直方图统计信息,确定基础曲线模式参数;然后,根据三次样条参数和基础曲线模式参数,确定该区域的色调映射曲线参数。应该理解的,本申请还可以采用其他方式,根据直方图统计信息,确定该区域的色调映射曲线参数;本申请对此不作限制。
需要说明的是,本申请确定基础曲线模式参数和三次样条参数的方式,可以参照HDR标准中记载的关于基础曲线模式参数和三次样条参数的计算方式,在此不再赘述。
示例性的,第二视频数据中每张第二图像的多个区域分别对应的色调映射曲线参数,可以组成第二视频数据对应的色调映射曲线参数(也就是局部色调映射曲线参数)。
S205,保存第二视频数据和第二视频数据对应的局部色调映射曲线参数。
示例性的,得到第二视频数据后,可以保存第二视频数据。
示例性的,针对第二视频数据中的每一张第二图像,可以保存该第二图像对应的多个区域的区域信息,以及各个区域对应的色调映射曲线参数;然后,可以建立各个区域与其对应的色调映射曲线参数之间的关联。这样,后续在播放第二视频数据中的每一张第二图像时,可以依据第二图像中各个区域对应的色调映射曲线参数和区域的区域信息,对第二图像中的各个区域进行局部色调映射。此外,后续需要发送第二视频数据给其他设备时,可以将第二视频数据和第二视频数据对应的局部色调映射曲线参数均发送给其他设备,以供其他设备后续对第二视频数据进行播放。
这样,相对于现有技术采用同一区域划分方式进行区域划分而言,本申请针对不同的视频应用场景采用不同的区域划分方式,能够保证在不同视频应用场景中编辑得到的HDR视频数据的画质。
示例性的,以下以当前视频应用场景为第一预设场景,当前视频应用场景对应的区域划分方式为按照图像主体划分为例进行示例性说明。
图3a为示例性示出的视频处理过程示意图。在图3a的实施例中,划分第二图像得到的多个区域包括主体区域和背景区域。
S301,获取待编辑的N条第一视频数据。
S302,将N条第一视频数据拼接为一条第二视频数据。
示例性的,S301~S302,可以参照上述S201~S202,在此不再赘述。
以下以第二视频数据中的一张第二图像为例,对如何将第二图像划分为多个区域进行说明。
S303,检测第二图像中的主体对象。
示例性的,若当前视频应用场景为第一预设场景,则可以针对第二视频数据中的每一张第二图像进行对象检测,检测出第二图像所包含的对象(后续可以称为候选对象);接着,从候选对象中选取主体对象。一种可能的方式中,可以在对象检测过程中,确定各个候选对象对应的区域;随后,可以根据各个候选对象对应区域的面积和第二图像的面积,确定各个候选对象的区域占比。接着,可以将区域占比大于预设比值的候选对象,确定为主体对象。其中,预设比值可以按照需求设置,本申请对此不作限制。
示例性的,每张第二图像中的主体对象可能是一个,也可能是多个。
S304,将第二图像中主体对象对应的区域划分为主体区域,以及将第二图像中除主体区域之外的区域划分为背景区域。
示例性的,当检测到第二图像中的主体对象包括多个时,可以将每个主体对象对应的区域,划分为一个主体区域;也就是说,这种情况下,可以得到多个主体区域。当检测到第二图像中的主体对象为一个时,可以得到一个主体区域。然后,将第二图像中除主体区域之外的其他区域,划分为背景区域,进而可以得到一个背景区域。
图3b为示例性示出的区域划分方式示意图。
参照图3b,示例性的,从第二图像中检测出的主体对象包括一个人和一朵花,则可以将一个人对应的区域划分为一个主体区域,得到主体区域1;将一朵花对应的区域划分为一个主体区域,得到主体区域2;然后,将除主体区域1和主体区域2之外的区域,划分为背景区域。
示例性的,对第二图像划分得到的多个区域可以包括至少一个主体区域和一个背景区域。
S305,确定主体区域和背景区域分别对应的色调映射曲线参数,以得到第二视频数据对应的局部色调映射曲线参数。
示例性的,可以参照上述S203,确定主体区域对应的色调映射曲线参数,以及确定背景区域对应的色调映射曲线参数。这样,第二视频数据中所有第二图像的主体区域对应的色调映射曲线参数和背景区域对应的色调映射曲线参数,可以组成第二视频数据对应的局部色调映射曲线参数。
S306,保存第二视频数据和第二视频数据对应的局部色调映射曲线参数。
示例性的,针对第二视频数据中的每一张第二图像,可以保存该第二图像对应的主体区域和背景区域的区域信息,以及主体区域和背景区域对应的色调映射曲线参数;然后,可以建立主体区域与其对应的色调映射曲线参数之间的关联,以及背景区域与其对应的色调映射曲线参数之间的关联。这样,后续在播放第二视频数据中的每一张第二图像时,可以依据第二图像中主体区域和背景区域对应的色调映射曲线参数以及区域信息,对第二图像中的主体区域和背景区域进行局部色调映射。
需要说明的是,在图3a的实施例中,保存的主体区域的区域信息可以是主体对象的mask(掩膜);以及可以不保存背景区域的区域信息,而是保存第二图像的尺寸信息。这样,在后续播放第二视频数据的第二图像时,根据主体对象的mask和第二图像的尺寸信息,可以确定背景区域对应的在第二图像中的位置。
示例性的,可以将第二视频数据对应的局部色调映射曲线参数,以及主体区域的区域信息,作为metadata(元数据,是指描述数据的数据)进行保存。
这样,将第二图像划分为主体区域和背景区域,并确定主体区域和背景区域分别对应的色调映射曲线参数后,后续在播放第二图像时,可以按照主体区域对应的色调映射区域参数对主体区域进行映射,能够保证在对图像中主体对象的画质要求高的第一预设场景中,编辑得到的HDR视频数据中主体对象的画质。
示例性的,以下以当前视频应用场景为第二预设场景,当前视频应用场景对应的区域划分方式为按照拼接方式划分为例进行示例性说明。
图4a为示例性示出的视频处理过程示意图。
S401,获取待编辑的N条第一视频数据。
S402,将N条第一视频数据拼接为一条第二视频数据。
示例性的,S401~S402,可以参照上述S201~S202,在此不再赘述。
以下以第二视频数据中的一张第二图像为例,对如何将第二图像划分为多个区域进行说明。
S403,根据拼接方式,将第二图像划分为N个图像块。
示例性的,可以根据N张第一图像拼接为一张第二图像的拼接方式,将第二图像划分为N个图像块;其中,一个图像块对应一条第一视频数据中的一张第一图像。
图4b为示例性示出的区域划分方式示意图。其中,图4b示出的是以图2b为基础的区域划分方式。
示例性的,当拼接方式如图2b(1)所示时,可以参照图4b(1)中的虚线,将第二图像划分为三个图像块:图像块1、图像块2和图像块3。其中,图像块1对应图像1,图像块2对应图像2,以及图像块3对应图像3。
示例性的,当拼接方式如图2b(2)所示时,可以参照图4b(2)中的虚线,将第二图像划分为三个图像块:图像块1、图像块2和图像块3。其中,图像块1对应图像1,图像块2对应图像2,以及图像块3对应图像3。
示例性的,当拼接方式如图2b(3)所示时,可以参照图4b(3)中的虚线,将第二图像划分为三个图像块:图像块1、图像块2和图像块3。其中,图像块1对应图像1,图像块2对应图像2,以及图像块3对应图像3。
S404,分别对N个图像块进行划分,以得到N个图像块分别对应的多个区域。
示例性的,在得到N个图像块后,可以对N个图像块中的每个图像块再进行划分,将每个图像块划分为多个区域。
示例性的,可以预先设置针对个图像块的划分方式,例如,将图像块划分为尺寸相同的多个区域;又例如,将图像块划分为固定数量的区域;等等,本申请对此不作限制。应该理解的是,N个图像块中每个图像块对应的划分方式,可以相同,也可以不同,本申请对此不作限制。
图4c为示例性示出的区域划分方式示意图。
参照图4c(1),示例性的,预先设置的针对每个图像块的划分方式相同,均为划分为数量相同的区域;图像块1、图像块2和图像块3,均被划分为8个区域。
参照图4c(2),示例性的,预先设置的针对每个图像块的划分方式相同,均为划分为尺寸相同的区域;图像块1被划分为24个尺寸为a*b的区域,图像块2被划分为30个尺寸为a*b的区域,图像块3被划分为36个尺寸为a*b的区域。
S405,确定多个区域分别对应的色调映射曲线参数,以得到第二视频数据对应的局部色调映射曲线参数。
示例性的,S405可以参照上述S204,在此不再赘述。
S406,保存第二视频数据和第二视频数据对应的局部色调映射曲线参数。
示例性的,S406可以参照上述S205,在此不再赘述。
需要说明的是,在图4a的实施例中,保存的区域的区域信息可以包括:区域所属的图像块的四个顶点的像素点坐标,区域所属的图像块被划分的区域的数量,区域的长度和宽度。这样,在后续播放第二视频数据的第二图像时,根据区域所属的图像块的四个顶点的像素点坐标,区域所属的图像块被划分的区域的数量,区域的长度和宽度,可以确定各个区域对应的在第二图像中的位置。
示例性的,可以将第二视频数据对应的局部色调映射曲线参数,以及区域的区域信息,作为metadata(元数据,是指描述数据的数据)进行保存。
这样,先按照拼接方式将第二图像划分多个图像块,再将各个图像块划分为多个区域的方式,能够避免将不同第一视频数据的第一图像的像素划分到同一个区域;由于不同第一视频数据的第一图像画面的亮度、对比度、颜色等存在差异,进而第二图像中来自不同第一视频数据的图像块使用不同色调映射曲线参数进行局部色调映射,从而能够保证在对整个图像中的画质要求高的第二预设场景中,编辑得到的HDR视频数据中整个图像的画质。
示例性的,当N条第一视频数据包括SDR视频数据时,可以执行SDR2HDR操作,即将SDR视频数据转换为HDR视频数据;这样,可以得到N条均为HDR视频数据的第一视频数据。然后再将N条均为HDR视频数据的第一视频数据拼接为一条第二视频数据。由于采用现有技术的方式进行SDR2HDR操作所得到HDR视频数据画质较差,因此本申请提出一种视频处理方法,通过采用以采集的HDR视频数据为目标所训练的第一转换网络,实现SDR2HDR操作,来提高进行SDR2HDR操作后得到的HDR视频数据的画质。此外,也能保证SDR2HDR操作后得到的各条HDR视频数据的风格一致性,以及保证SDR2HDR操作后得到的各条HDR视频数据,与N条第一视频数据中的HDR视频数据的风格一致性。其中,风格一致性可以是指对比度、亮度、色域空间等一致性。
以下对针对第一转换网络的训练过程进行说明。
图5为示例性的示出的训练过程示意图。
S501,采集源视频数据,源视频数据为HDR视频数据,源视频数据中每张图像为YUV格式。
示例性的,本申请可以采用可以具有采集HDR视频数据能力的设备,采集HDR视频数据作为源视频数据;然后可以参照S502和S503,基于源视频数据,生成训练视频数据和目标视频数据。
示例性的,源视频数据中每张图像是YUV(“Y”表示明亮度(Luminance或Luma),也就是灰阶值,“U”和“V”表示的则是色度(Chrominance或Chroma),用于描述色彩及饱和度,是一种色彩空间)格式的图像。为了便于区分,可以将源视频数据包含的图像,称为源图像。
S502,将源视频数据中的源图像由YUV格式转换为RAW(未经加工)格式,以得到中间视频数据。
示例性的,可以采用YUV2RAW算法,将源视频数据中的每张源图像由YUV格式转换为RAW格式,进而可以得到中间视频数据,即中间视频数据所包含的每张图像都是RAW格式。其中,RAW图像是CMOS(Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)或者CCD(Charge-coupled Device,电荷耦合元件)图像感应器将捕捉到的光源信号转化为数字信号的原始数据。
S503,对中间视频数据进行图像信号处理,得到训练视频数据和目标视频数据,训练视频数据为SDR视频数据,目标视频数据为HDR视频数据。
示例性的,得到中间视频数据后,可以将中间视频数据分两路,针对一路中间视频数据进行图像信号处理(可以由ISP(Image Signal Processor,图像处理器)),将中间视频数据转换为SDR视频数据,并将该SDR视频数据作为训练视频数据。其中,训练视频数据所包含的图像为YUV格式。
示例性的,针对另一路中间视频数据也可以进行图像信号处理,将中间视频数据转换为HDR视频数据,并将该HDR视频数据作为目标视频数据。其中,目标视频数据所包含的图像为YUV格式。
S504,采用训练视频数据,以目标视频数据为目标对第一转换网络进行训练。
示例性的,可以将训练视频数据输入至第一转换网络,由第一转换网络进行前向计算,输出预测视频数据,其中,预测视频数据为HDR视频数据。接着,以预测视频数据与目标视频数据误差最小为目标,对第一转换网络进行反向传播,来调整第一转换网络的网络参数。
示例性的,第一转换网络可以是AI(Artificial Intelligence,人工智能)网络。
这样,通过上述训练方式,使得训练后的第一转换网络学习到如何将SDR视频数据转换,转换成接近录制的真实的HDR视频数据。
以下以采用已训练的第一转换网络执行SDR2HDR操作为例进行示例性说明。
图6为示例性示出的视频处理过程示意图。在图6的实施例中,N1为正整数,N2为整数。
S601,获取待编辑的N条第一视频数据。
示例性的,N条第一视频数据包括N1条SDR视频数据和N2条HDR视频数据,N为大于1的整数,N1为正整数,N2为整数,N1+N2=N。
S602,依据已训练的第一转换网络将N1条SDR视频数据,转换为N1条HDR视频数据。
示例性的,针对N1条SDR视频数据中的每条SDR视频数据,可以将该条SDR视频数据输出至上述图5的实施例训练得到的第一转换网络中,由已训练的第一转换网络对该条SDR视频数据进行转换,输出对应的HDR视频数据。这样,通过第一转换网络的转换,可以将N1条SDR视频数据,转换为N1条HDR视频数据,N1条HDR视频数据与N1条SDR视频数据一一对应。其中,转换得到的N1条HDR视频数据中的每一条HDR视频数据所包含的图像,也可以称为转换后的第一图像。
S603,将转换得到的N1条HDR视频数据和N2条HDR视频数据拼接为一条第二视频数据。
示例性的,每次拼接时,可以从转换得到N1条HDR视频数据的每条HDR视频数据中,选取一张转换后的第一图像,可以得到N1张转换后的第一图像;以及从N条第一视频数据所包含的N2条HDR视频数据的每条HDR视频数据中,选取一张第一图像,可以得到N2张第一图像。接着,将N1张转换后的第一图像和N2张第一图像进行拼接,可以得到一张第二图像。这样,经过多次拼接,可以得到多张第二图像;这多张第二图像可以组成一条第二视频数据。其中,每张第二图像都是由N1转换后的第一图像和N2张第一图像拼接得到。
由于第一转换网络学习到如何将SDR视频转换,转换成接近录制的真实的HDR视频数据,相对于现有技术采用基于对SDR数据进行图像处理得到的HDR视频数据为目标训练的网络而言,第一转换网络输出的HDR视频数据更接近录制的真实的HDR视频数据;进而本申请能够提高进行SDR2HDR操作后得到的HDR视频数据的画质。
此外,当N条第一视频数据包括多条SDR视频数据时,能够保证转换得到的多条HDR视频数据的风格一致性。且当N条第一视频数据包括HDR视频数据和SDR视频数据时,还能够保证转换得到的HDR视频数据,与N条第一视频数据中的HDR视频数据的风格一致性。
图7为示例性示出的视频处理过程示意图。在图7的实施例中,N1为正整数,N2为整数。图7的实施例描述的是,图2的实施例与图6的实施例的结合方案。
S701,获取待编辑的N条第一视频数据。
S702,依据已训练的第一转换网络将N1条SDR视频数据,转换为N1条HDR视频数据。
S703,将转换得到的N1条HDR视频数据和N2条HDR视频数据拼接为一条第二视频数据。
示例性的,S701~S703可以参照上述S601~S603的描述,在此不再赘述。
S704,根据当前视频应用场景,将第二图像划分为多个区域,其中,不同视频应用场景对应的区域划分方式不同。
S705,确定多个区域分别对应的色调映射曲线参数,以得到第二视频数据对应的局部色调映射曲线参数。
S706,保存第二视频数据和第二视频数据对应的局部色调映射曲线参数。
示例性的,S704~S706可以参照上述图2的实施例、图3的实施例和图4的实施例中的描述,在此不再赘述。
示例性的,为了便于用户预览HDR视频的编辑效果,可以在将多条视频数据编辑为一条HDR视频数据后,播放编辑得到的HDR视频数据。目前,显示设备可以包括SDR显示设备和HDR显示设备;若当前的显示设备为HDR显示设备,则在编辑得到HDR视频后,直接播放即可;若当前的显示设备为SDR显示设备,则在将多条视频数据编辑为HDR视频数据同时,将多条视频数据编辑为一条SDR视频数据,采用编辑得到的SDR视频数据进行播放。
以下以当前的显示设备为HDR显示设备为例进行说明。
图8为示例性示出的视频处理过程示意图。在图8的实施例中,N1为正整数。
S801,获取待编辑的N条第一视频数据。
S802,依据已训练的第一转换网络将N1条SDR视频数据,转换为N1条HDR视频数据。
S803,将转换得到的N1条HDR视频数据和N2条HDR视频数据拼接为一条第二视频数据。
S804,根据当前视频应用场景,将第二图像划分为多个区域,其中,不同视频应用场景对应的区域划分方式不同。
S805,确定多个区域分别对应的色调映射曲线参数,以得到第二视频数据对应的局部色调映射曲线参数。
S806,保存第二视频数据和第二视频数据对应的局部色调映射曲线参数。
示例性的,S801~S803,可以参考上述S601~S603的描述;以及S804~S806,可以参照上述图2的实施例、图3的实施例和图4的实施例中的描述,在此不再赘述。
S807,依据第二视频数据对应的局部色调映射曲线参数对第二视频数据进行局部色调映射,以播放第二视频数据。
示例性的,在播放第二视频数据的过程中,针对第二视频数据中的每一张第二图像,可以根据第二图像中各个区域的区域信息,确定第二图像中各个区域在第二图像中的位置。然后根据各个区域与其对应的色调映射曲线参数之间的关联,对第一图像中的各个区域进行局部色调映射,可以确定第二图像中各个区域的各个像素在显示设备上显示的像素值。接着,再按照第二图像中各个区域的各个像素在显示设备上显示的像素值,在显示设备显示第二图像。
这样,通过图8的实施例,能够实现在编辑过程中,在HDR显示设备上显示编辑得到的HDR视频数据,便于用户查看HDR视频数据的编辑效果。
应该理解的是,可以是每得到一张第二图像后,在HDR显示设备上显示该第二图像。
示例性的,在执行S803之前,还可以对N条均为HDR视频数据的第一视频数据进行后处理(例如,添加滤镜、添加贴纸、添加文本、添加特效、美颜等等);以满足用户的个性化编辑需求。此外,在得到第二视频数据之后,还可以对第二视频数据进行渲染、显示匹配等处理,以使得第二视频数据与显示设备适配。
图9为示例性示出的视频处理过程示意图。在图9的实施例中N=2,N1=1,N2=1。
参照图9,示例性的,视频数据1和视频数据2为第一视频数据。其中,视频数据1为HDR视频数据,其格式为mp4(Moving Picture Experts Group 4,动态图像专家组)格式;视频数据2为SDR视频数据,其格式也为mp4格式。应该理解的是,第一视频数据也可以是其他视频格式如rmvb(RealMedia Variable Bitrate,流媒体可变比特率)、avi(Audio VideoInterleaved,音视频交错格式)等等,本申请对此不作限制。
参照图9,示例性的,可以对视频数据1进行解码,可以得到解码后的视频数据1,其中,解码后的视频数据1中每张图像的像素值采用RGB表示。示例性的,用户可以按照需求针对解码后的视频数据1,执行添加滤镜、添加贴纸、添加文本、添加特效、美颜等等操作;这样,设备可以按照用户执行的操作,对解码后的视频数据1进行对应的后处理,以得到后处理后的视频数据1。需要说明的是,在对解码后的视频数据1进行后处理之前,可以先对解码后的视频数据1进行预处理(如格式转换、精度转换等),以使解码后的视频数据1满足后处理的要求。
参照图9,示例性的,可以对视频数据2进行解码,得到解码后的视频数据2,其中,解码后的视频数据2中每张图像的像素值采用RGB表示。然后,可以针对解码后的视频数据2进行SDR2HDR操作,以将解码后的视频数据2转换为HDR视频数据,即视频数据3;其中,视频数据3中每张图像的像素值采用RGB表示。示例性的,用户可以按照需求针对视频数据2,执行添加滤镜、添加贴纸、添加文本、添加特效、美颜等等操作;这样,设备可以按照用户执行的操作,对视频数据3进行对应的后处理,以得到后处理后的视频数据3。需要说明的是,在对视频数据3进行后处理之前,可以先对视频数据3进行预处理(如格式转换、精度转换等),以使视频数据3满足后处理的要求。
需要说明的是,对视频数据1进行解码→后处理,与对视频数据2进行解码→SDR2HDR→后处理,可以同步进行。
参照图9,示例性的,在得到后处理后的视频数据1和后处理后的视频数据3后,可以将后处理后的视频数据1和后处理后的视频数据3拼接为视频数据4,视频数据4即为上述的第二视频数据,是HDR视频数据。示例性的,可以对视频数据4进行渲染,以对视频数据4中每张图像的进行画面调节与校正(如伽马校正等),得到渲染后的视频数据4。
参照图9,示例性的,在得到渲染后的视频数据4后,一方面,可以根据显示设备的显示配置参数,对渲染后的视频数据4每张图像进行转换如(数据格式的转换,色域空间的转换),使得渲染后的视频数据4每张图像与显示设备的显示配置适配;进而,可以得到显示适配后的视频数据4。另一方面,可以生成渲染后的视频数据4对应的色调映射曲线参数,并将色调映射曲线参数保存成metadata。
需要说明的是,图9中显示适配与色调映射曲线参数生成,这两个步骤可以同步执行。
参照图9,示例性的,一方面,可以对显示适配后的视频数据4和metadata进行编码,可以得到编码后的视频数据4和编码后的metadata;然后保存编码后的视频数据4和编码后的metadata。示例性的,可以将显示适配后的视频数据4和metadata,作为一个整体编码为mp4文件。后续可以将对显示适配后的视频数据4和metadata编码得到的mp4文件发送给其他设备,这样,其他设备对接收到的mp4文件解码可以得到显示适配后的视频数据4和metadat;接着,可以依据metadata,对显示适配后的视频数据4进行播放。另一方面,可以在编辑HDR视频数据的过程中,依据metadata,在HDR显示设备的HDR显示屏中播放显示适配后的视频数据4进行播放。
以下以当前的显示设备为SDR显示设备为例进行说明。
图10为示例性示出的视频处理过程示意图。在图10的实施例中,N1为正整数,N2为正整数。
S1001,获取待编辑的N条第一视频数据。
S1002,依据已训练的第一转换网络将N1条SDR视频数据,转换为N1条HDR视频数据。
S1003,将转换得到的N1条HDR视频数据和N2条HDR视频数据拼接为一条第二视频数据。
示例性的,S1001~S1003,可以参考上述S601~S603的描述,在此不再赘述。
S1004,根据当前视频应用场景,将第二图像划分为多个区域,其中,不同视频应用场景对应的区域划分方式不同。
S1005,确定多个区域分别对应的色调映射曲线参数,以得到第二视频数据对应的局部色调映射曲线参数。
S1006,保存第二视频数据和第二视频数据对应的局部色调映射曲线参数。
示例性的,S1004~S1006,可以参照上述图2的实施例、图3的实施例、图4的实施例和图6实施例中的描述,在此不再赘述。
S1007,依据已训练的第二转换网络将N2条HDR视频数据,转换为N2条SDR视频数据。
示例性的,为了能够在SDR设备上查看HDR视频数据的编辑效果,可以将N条第一视频数据中N2条HDR视频数据,转换为N2条SDR视频数据。
示例性的,可以预先训练第二转换网络,其中,第二转换网络的训练方法可以采用现有技术的训练方法,也可以采用如下方法进行训练:
Sa,采集源视频数据,源视频数据为HDR视频数据,源视频数据中每张图像为YUV格式。
Sb,将源视频数据中的源图像由YUV格式转换为RAW格式,以得到中间视频数据。
示例性的,Sa~Sb可以参照上述S501~S502的描述。
Sc,对中间视频数据进行图像信号处理,得到训练视频数据和目标视频数据,训练视频数据为HDR视频数据,目标视频数据为SDR视频数据。
示例性的,得到中间视频数据后,可以将中间视频数据分两路,针对一路中间视频数据进行图像信号处理(可以由ISP(Image Signal Processor,图像处理器)),将中间视频数据转换为SDR视频数据,并将该SDR视频数据作为目标视频数据。
示例性的,针对另一路中间视频数据也可以进行图像信号处理,将中间视频数据转换为HDR视频数据,并将该HDR视频数据作为训练视频数据。
Sd,采用训练视频数据,以目标视频数据为目标对第二转换网络进行训练。
示例性的,可以将训练视频数据输入至第二转换网络,由第二转换网络进行前向计算,输出预测视频数据,其中,预测视频数据为SDR视频数据。接着,以预测视频数据与目标视频数据误差最小为目标,对第二转换数据进行反向传播,调整第二转换网络的网络参数。
进而,可以针对N2条HDR视频数据中的每一条HDR视频数据,可以将一条HDR视频数据输入至已训练的第二转换网络中,由第二转换网络将该条HDR视频数据,转换为SDR视频数据;进而可以得到N2条SDR视频数据。其中,这转换得到的N2条SDR视频数据中每一条SDR视频数据所包含的图像,也可以称为转换后的第一图像。
S1008,将转换得到的N2条SDR视频数据和N1条SDR视频数据拼接为一条第三视频数据,第三视频数据为SDR视频数据。
示例性的,每次拼接时,可以从转换得到N2条SDR视频数据的每条SDR视频数据中,选取一张转换后的第一图像,可以得到N2张转换后的第一图像;以及从N条第一视频数据所包含的N1条SDR视频数据的每条SDR视频数据中,选取一张第一图像,可以得到N1张第一图像。接着,将N2张转换后的第一图像和N1张第一图像进行拼接,可以得到一张第二图像。这样,经过多次拼接,可以得到多张第二图像;这多张第二图像可以组成一条第二视频数据。其中,每张第二图像都是由N2转换后的第一图像和N1张第一图像拼接得到。
为了便于区分,可以将第三视频数据所包含的图像,称为第三图像;这样,第三视频数据的第三图像根据N2条SDR视频数据分别对应的转换后的第一图像,以及N1条SDR数据分别对应的第一图像拼接得到。也就是说,每张第三图像都是由N2转换后的第一图像和N1张第一图像拼接得到。
S1009,播放第三视频数据。
示例性的,可以在SDR显示设备直接播放第三视频数据。
这样,在编辑HDR视频数据的过程中,用户可以在SDR显示设备上查看HDR视频数据的编辑效果。
图11为示例性示出的视频处理过程示意图。在图11的实施例中N=2,N1=1,N2=1。
参照图11,示例性的,视频数据1和视频数据2为第一视频数据。其中,图11中针对视频数据1的如下处理过程:解码→后处理,针对视频数据2的如下处理过程:解码→SDR2HDR→后处理;以及对视频数据4的如下过程过程:渲染→显示匹配(色调映射曲线参数生成)→编码→保存;均可以参照图9实施例中的描述,在此不再赘述。
参照图11,示例性的,在对视频数据1进行解码,得到解码后的视频数据1后,还可以对解码后的视频数据1执行HDR2SDR的操作,将解码后的视频数据1转换为视频数据5,视频数据5为SDR视频。示例性的,用户可以按照需求针对视频数据5,执行添加滤镜、添加贴纸、添加文本、添加特效、美颜等等操作;这样,设备可以按照用户执行的操作,对视频数据5进行对应的后处理,以得到后处理后的视频数据5。需要说明的是,在对视频数据5进行后处理之前,可以先对视频数据5进行预处理(如格式转换、精度转换等),以使视频数据5满足后处理的要求。
参照图11,示例性的,在对视频数据2进行解码,得到解码后的视频数据2后,可以按照用户执行的操作(如添加滤镜、添加贴纸、添加文本、添加特效、美颜等等操作),对解码后的视频数据2进行对应的后处理,以得到后处理后的视频数据2。需要说明的是,在对解码后的视频数据2进行后处理之前,可以先对解码后的视频数据2进行预处理(如格式转换、精度转换等),以使解码后的视频数据2满足后处理的要求。
需要说明的是,对视频数据1进行解码→HDR2SDR→后处理,与对视频数据2进行解码→后处理,可以同步进行。
参照图11,示例性的,在得到后处理后的视频数据2和后处理后的视频数据5后,可以将后处理后的视频数据2和后处理后的视频数据5拼接为视频数据6,视频数据6即为上述的第三视频数据,是SDR视频数据。示例性的,可以对视频数据6进行渲染,以对视频数据6中每张图像的进行画面调节与校正(如伽马校正等),得到渲染后的视频数据6。
参照图11,示例性的,在得到渲染后的视频数据6后,可以对渲染后的视频数据6进行显示匹配,得到显示匹配后的视频数据6;然后可以直接在SDR显示设备的SDR显示屏中播放显示匹配后的视频数据6。
需要说明的是,图11中对视频数据5的后处理,与对解码后的视频数据1的后处理相同;以及对视频数据3的后处理与对解码后的视频数据2的后处理相同;这样,才能够保证在SDR显示设备上查看HDR视频数据的编辑效果。
需要说明的是,本申请提出的视频处理方法,可以应用于终端设备中,如手机、平板电脑等等,本申请对此不作限制。
需要说的是,本申请提出的视频处理方法,可以应用于编辑HDR VIVID(一种高动态视频标准)视频数据;当然,也可以应用于编辑其他高动态视频标准的HDR视频数据,本申请对此不作限制。
需要说明的是,上述的区域划分方式,可以在高动态视频标准(如HDRVIVID)的可扩展空间进行配置。
需要说明的是,在得到第二视频数据后,还可以确定第二视频数据对应的全局色调映射曲线参数并保存。后续,可以根据第二视频数据对应的全局色调映射曲线参数和局部色调映射曲线参数进行映射,来播放第二视频数据。
图12为示例性示出的视频处理过程示意图。
S1201,获取待编辑的N条第一视频数据,其中,N条第一视频数据包括N1条SDR视频数据和N2条HDR视频数据。
S1202,将N条第一视频数据拼接为一条第二视频数据。
S1203,根据当前视频应用场景,将第二图像划分为多个区域,其中,不同视频应用场景对应的区域划分方式不同
S1204,确定多个区域分别对应的色调映射曲线参数,以得到第二视频数据对应的局部色调映射曲线参数。
S1205,确定第二视频数据对应的全局映射曲线参数。
示例性的,S1205可以参照上述S204中确定第二视频数据对应的局部色调映射曲线参数的描述。其中,S204每次是以第二图像中的一个区域为对象,确定对应的局部色调映射曲线参数,而S1205是以整张第二图像为对象,确定对应的全局色调映射曲线参数。
S1206,保存第二视频数据、第二视频数据对应的局部色调映射曲线参数和全局色调映射曲线参数。
示例性的,S1201~S1206,可以参照上述实施例的描述,在此不再赘述。
需要说明的是,得到的第二视频数据对应的全局色调映射曲线参数,可以作为metadata进行存储。
此外,还可以根据HDR标准,生成第二视频数据对应的其它metadata,本申请对此不作限制。
一个示例中,图13示出了本申请实施例的一种装置1300的示意性框图装置1300可包括:处理器1301和收发器/收发管脚1302,可选地,还包括存储器1303。
装置1300的各个组件通过总线1304耦合在一起,其中总线1304除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图中将各种总线都称为总线1304。
可选地,存储器1303可以用于存储前述方法实施例中的指令。该处理器1301可用于执行存储器1303中的指令,并控制接收管脚接收信号,以及控制发送管脚发送信号。
装置1300可以是上述方法实施例中的电子设备或电子设备的芯片。
其中,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
本实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机指令,当该计算机指令在电子设备上运行时,使得电子设备执行上述相关方法步骤实现上述实施例中的视频处理和/或训练方法。
本实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述相关步骤,以实现上述实施例中的视频处理和/或训练方法。
另外,本申请的实施例还提供一种装置,这个装置具体可以是芯片,组件或模块,该装置可包括相连的处理器和存储器;其中,存储器用于存储计算机执行指令,当装置运行时,处理器可执行存储器存储的计算机执行指令,以使芯片执行上述各方法实施例中的视频处理和/或训练方法。
其中,本实施例提供的电子设备、计算机可读存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上实施方式的描述,所属领域的技术人员可以了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
本申请各个实施例的任意内容,以及同一实施例的任意内容,均可以自由组合。对上述内容的任意组合均在本申请的范围之内。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
结合本申请实施例公开内容所描述的方法或者算法的步骤可以硬件的方式来实现,也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成,软件模块可以被存放于随机存取存储器(Random Access Memory,RAM)、闪存、只读存储器(Read Only Memory,ROM)、可擦除可编程只读存储器(Erasable Programmable ROM,EPROM)、电可擦可编程只读存储器(Electrically EPROM,EEPROM)、寄存器、硬盘、移动硬盘、只读光盘(CD-ROM)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机可读存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (20)
1.一种视频处理方法,其特征在于,所述方法包括:
获取待编辑的N条第一视频数据,所述N条第一视频数据包括N1条标准动态范围SDR视频数据和N2条高动态范围HDR视频数据,N为大于1的整数,N1和N2均为整数,N1+N2=N;
将所述N条第一视频数据拼接为一条第二视频数据并保存,所述第二视频数据为HDR视频数据,所述第二视频数据的第二图像根据所述N条第一视频数据分别对应的第一图像拼接得到;
根据当前视频应用场景,将所述第二图像划分为多个区域,其中,不同视频应用场景对应的区域划分方式不同;
确定所述多个区域分别对应的色调映射曲线参数,以得到所述第二视频数据对应的局部色调映射曲线参数并保存。
2.根据权利要求1所述的方法,其特征在于,
当所述当前视频应用场景为第一预设场景时,所述当前视频应用场景对应的区域划分方式为按照图像主体划分;
当所述当前视频应用场景为第二预设场景时,所述当前视频应用场景对应的区域划分方式为按照拼接方式划分。
3.根据权利要求1或2所述的方法,其特征在于,当所述当前视频应用场景为第一预设场景时,所述多个区域包括主体区域和背景区域;所述根据当前视频应用场景,将所述第二图像划分为多个区域,包括:
检测所述第二图像中的主体对象;
将所述第二图像中主体对象对应的区域划分为所述主体区域,以及将所述第二图像中除主体区域之外的区域划分为所述背景区域。
4.根据权利要求1或2所述的方法,其特征在于,当所述当前视频应用场景为第二预设场景时,所述根据当前视频应用场景,将所述第二图像划分为多个区域,包括:
根据所述拼接对应的拼接方式,将所述第二图像划分为N个图像块,所述N个图像块与N张第一图像分别对应,所述N张第一图像与所述N条第一视频数据分别对应;
分别对所述N个图像块进行划分,以得到所述N个图像块分别对应的多个区域。
5.根据权利要求1至4中任一项所述的方法,其特征在于,当所述N1为正整数时,在所述将所述N条第一视频数据拼接为一条第二视频数据之前,所述方法还包括:
依据已训练的第一转换网络将所述N1条SDR视频数据,转换为N1条HDR视频数据,其中,所述第一转换网络是以采集的HDR视频数据为目标训练得到的,所述转换得到的HDR视频数据包括转换后的第一图像;
所述将所述N条第一视频数据拼接为一条第二视频数据,包括:
将所述转换得到的N1条HDR视频数据和所述N2条HDR视频数据拼接为一条第二视频数据,所述第二视频数据的第二图像根据所述N1条HDR视频数据分别对应的转换后的第一图像,以及所述N2条HDR视频数据分别对应的第一图像拼接得到。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述方法还包括:
依据所述第二视频数据对应的局部色调映射曲线参数,对所述第二视频数据进行局部色调映射,以播放所述第二视频数据。
7.根据权利要求1至5中任一项所述的方法,其特征在于,当所述N2为正整数时,所述方法还包括:
依据已训练的第二转换网络将所述N2条HDR视频数据,转换为N2条SDR视频数据,所述转换得到的SDR视频数据包括转换后的第一图像;
将所述转换得到的N2条SDR视频数据和所述N1条SDR视频数据拼接为一条第三视频数据,所述第三视频数据为SDR视频数据,所述第三视频数据的第三图像根据所述N2条SDR视频数据分别对应的转换后的第一图像,以及所述N1条SDR数据分别对应的第一图像拼接得到;
播放所述第三视频数据。
8.根据权利要求5所述的方法,其特征在于,所述方法还包括:
采集源视频数据,所述源视频数据为HDR视频数据,所述源视频数据中每张源图像为YUV格式;
将所述源视频数据中的源图像由YUV格式转换为RAW格式,以得到中间视频数据;
对所述中间视频数据进行图像信号处理,以得到训练视频数据和目标视频数据,所述训练视频数据为SDR视频数据,所述目标视频数据为HDR视频数据;
采用所述训练视频数据,以所述目标视频数据为目标对所述第一转换网络进行训练。
9.根据权利要求1至8中任一项所述的方法,其特征在于,
所述第二视频数据对应的局部色调映射曲线参数,为所述第二视频数据的元数据metadata。
10.一种视频处理方法,其特征在于,所述方法包括:
获取待编辑的N条第一视频数据,所述N条第一视频数据包括N1条标准动态范围SDR视频数据和N2条高动态范围HDR视频数据,N为大于1的整数,N1为正整数,N2为整数,N1+N2=N,所述第一视频数据包括第一图像;
依据已训练的第一转换网络将所述N1条SDR视频数据,转换为N1条HDR视频数据,其中,所述第一转换网络是以采集的HDR视频数据为目标训练得到的,所述转换得到的HDR视频数据包括转换后的第一图像;
将所述转换得到的N1条HDR视频数据和所述N2条HDR视频数据拼接为一条第二视频数据,所述第二视频数据为HDR视频数据,所述第二视频数据的第二图像根据所述N1条HDR视频数据分别对应的转换后的第一图像,以及所述N2条HDR视频数据分别对应的第一图像拼接得到。
11.根据权利要求10所述的方法,其特征在于,所述方法还包括:
采集源视频数据,所述源视频数据为HDR视频数据,所述源视频数据中每张源图像为YUV格式;
将所述源视频数据中的源图像由YUV格式转换为RAW格式,以得到中间视频数据;
对所述中间视频数据进行图像信号处理,以得到训练视频数据和目标视频数据,所述训练视频数据为SDR视频数据,所述目标视频数据为HDR视频数据;
采用所述训练视频数据,以所述目标视频数据为目标对所述第一转换网络进行训练。
12.根据权利要求10或11所述的方法,其特征在于,所述方法还包括:
确定所述第二视频数据对应的色调映射曲线参数;
依据所述第二视频数据对应的色调映射曲线参数,对所述第二视频数据进行色调映射,以播放所述第二视频数据。
13.根据权利要求10或11所述的方法,其特征在于,所述方法还包括:
依据已训练的第二转换网络将所述N2条HDR视频数据,转换为N2条SDR视频数据,所述转换得到的SDR视频数据包括转换后的第一图像;
将所述转换得到的N2条SDR视频数据和所述N1条SDR视频数据拼接为一条第三视频数据,所述第三视频数据为SDR视频数据,所述第三视频数据的第三图像根据所述N2条SDR视频数据分别对应的转换后的第一图像,以及所述N1条SDR数据分别对应的第一图像拼接得到;
播放所述第三视频数据。
14.一种训练方法,其特征在于,所述的方法包括:
采集源视频数据,所述源视频数据为HDR视频数据,所述源视频数据中每张源图像为YUV格式;
将所述源视频数据中的源图像由YUV格式转换为RAW格式,以得到中间视频数据;
对所述中间视频数据进行图像信号处理,以得到训练视频数据和目标视频数据,所述训练视频数据为SDR视频数据,所述目标视频数据为HDR视频数据;
采用所述训练视频数据,以所述目标视频数据为目标对第一转换网络进行训练。
15.一种电子设备,其特征在于,包括:
存储器和处理器,所述存储器与所述处理器耦合;
所述存储器存储有程序指令,当所述程序指令由所述处理器执行时,使得所述电子设备执行权利要求1至权利要求9中任一项所述的视频处理方法。
16.一种电子设备,其特征在于,包括:
存储器和处理器,所述存储器与所述处理器耦合;
所述存储器存储有程序指令,当所述程序指令由所述处理器执行时,使得所述电子设备执行权利要求10至权利要求13中任一项所述的视频处理方法。
17.一种电子设备,其特征在于,包括:
存储器和处理器,所述存储器与所述处理器耦合;
所述存储器存储有程序指令,当所述程序指令由所述处理器执行时,使得所述电子设备执行权利要求14所述的训练方法。
18.一种芯片,其特征在于,包括一个或多个接口电路和一个或多个处理器;所述接口电路用于从电子设备的存储器接收信号,并向所述处理器发送所述信号,所述信号包括存储器中存储的计算机指令;当所述处理器执行所述计算机指令时,使得所述电子设备执行权利要求1至权利要求14中任一项所述的方法。
19.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,当所述计算机程序运行在计算机或处理器上时,使得所述计算机或所述处理器执行如权利要求1至权利要求14中任一项所述的方法法。
20.一种计算机程序产品,其特征在于,所述计算机程序产品包含软件程序,当所述软件程序被计算机或处理器执行时,使得权利要求1至14任一项所述的方法的步骤被执行。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210529108.4A CN117119248A (zh) | 2022-05-16 | 2022-05-16 | 视频处理方法、系统及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210529108.4A CN117119248A (zh) | 2022-05-16 | 2022-05-16 | 视频处理方法、系统及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117119248A true CN117119248A (zh) | 2023-11-24 |
Family
ID=88800737
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210529108.4A Pending CN117119248A (zh) | 2022-05-16 | 2022-05-16 | 视频处理方法、系统及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117119248A (zh) |
-
2022
- 2022-05-16 CN CN202210529108.4A patent/CN117119248A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10916036B2 (en) | Method and system of generating multi-exposure camera statistics for image processing | |
JP4321287B2 (ja) | 撮影装置および撮影方法、並びに、プログラム | |
US9536479B2 (en) | Image display device and method | |
US20130235223A1 (en) | Composite video sequence with inserted facial region | |
CN115242992B (zh) | 视频处理方法、装置、电子设备和存储介质 | |
US8615140B2 (en) | Compression of image data in accordance with depth information of pixels | |
CN113810641B (zh) | 视频处理方法、装置、电子设备和存储介质 | |
US20210217150A1 (en) | Object aware local tone mapping | |
CN113810642B (zh) | 视频处理方法、装置、电子设备和存储介质 | |
CN114449199B (zh) | 视频处理方法、装置、电子设备和存储介质 | |
CN117768774A (zh) | 图像处理器、图像处理方法、拍摄装置和电子设备 | |
JP2021118403A (ja) | 画像処理装置、その制御方法、プログラム並びに画像処理システム | |
US20230115821A1 (en) | Image processing devices and methods | |
CN115706870B (zh) | 视频处理方法、装置、电子设备和存储介质 | |
EP4262192A1 (en) | Video processing method and apparatus, electronic device, and storage medium | |
CN117119248A (zh) | 视频处理方法、系统及电子设备 | |
CN110996173B (zh) | 一种图像数据处理方法、装置及存储介质 | |
CN115706766B (zh) | 视频处理方法、装置、电子设备和存储介质 | |
CN115706863B (zh) | 视频处理方法、装置、电子设备和存储介质 | |
CN115706767B (zh) | 视频处理方法、装置、电子设备和存储介质 | |
CN115706764B (zh) | 视频处理方法、装置、电子设备和存储介质 | |
WO2020181540A1 (zh) | 一种视频处理方法、装置、编码设备及解码设备 | |
CN118014867A (zh) | 图像处理方法、设备、应用处理器和终端 | |
CN117336612A (zh) | 视频图像处理电路、方法和电子设备 | |
CN115706853A (zh) | 视频处理方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |