CN110913271B - 视频处理方法、移动终端及非易失性计算机可读存储介质 - Google Patents
视频处理方法、移动终端及非易失性计算机可读存储介质 Download PDFInfo
- Publication number
- CN110913271B CN110913271B CN201911204723.2A CN201911204723A CN110913271B CN 110913271 B CN110913271 B CN 110913271B CN 201911204723 A CN201911204723 A CN 201911204723A CN 110913271 B CN110913271 B CN 110913271B
- Authority
- CN
- China
- Prior art keywords
- video
- combined
- videos
- time length
- music
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 30
- 230000000694 effects Effects 0.000 claims description 15
- 239000012634 fragment Substances 0.000 claims description 12
- 238000000034 method Methods 0.000 claims description 6
- 238000009432 framing Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 230000007704 transition Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本申请公开了一种视频处理方法、移动终端及非易失性计算机可读存储介质。视频处理方法包括：从多个初始视频中标记多个视频片段；选定第一策略和第二策略；根据第一策略，从多个视频片段中确定多个待组合视频，其中，至少两个待组合视频来自不同的初始视频；根据第二策略，编辑多个待组合视频以得到推荐视频。本申请实施方式的视频处理方法、移动终端及非易失性计算机可读存储介质根据第一策略从多个视频片段中确定多个待组合视频，根据第二策略对多个待组合视频进行编辑以得到推荐视频。由于多个待组合视频来自与不同的初始视频，最终获得的推荐视频的内容较为丰富。
Description
技术领域
本申请涉及视频处理技术领域，特别涉及一种视频处理方法、移动终端及非易失性计算机可读存储介质。
背景技术
目前的AI视频剪辑通常是剪辑单一的视频，从单一的视频中识别出精彩的片段，然后在精彩片段的基础上进一步增加配乐、滤镜、转场等效果以生成最终的视频，并推荐给用户。但这种剪辑方案只能对单一视频的内容做分析，剪辑后得到的视频的内容较为单一。
发明内容
本申请实施方式提供了一种视频处理方法、移动终端及非易失性计算机可读存储介质。
本申请实施方式的视频处理方法包括：从多个初始视频中标记多个视频片段；选定第一策略和第二策略；根据所述第一策略，从所述多个视频片段中确定多个待组合视频，其中，至少两个所述待组合视频来自不同的所述初始视频；根据所述第二策略，编辑所述多个待组合视频以得到推荐视频。
本申请实施方式的移动终端包括处理器。所述处理器用于：从多个初始视频中标记多个视频片段；选定第一策略和第二策略；根据所述第一策略，从所述多个视频片段中确定多个待组合视频，其中，至少两个所述待组合视频来自不同的所述初始视频；根据所述第二策略，编辑所述多个待组合视频以得到推荐视频。
本申请实施方式的非易失性计算机可读存储介质包含计算机可读指令。所述计算机可读指令被处理器执行时，使得所述处理器执行上述的视频处理方法。
本申请实施方式的视频处理方法、移动终端及非易失性计算机可读存储介质根据第一策略从多个视频片段中确定多个待组合视频，根据第二策略对多个待组合视频进行编辑以得到推荐视频。由于多个待组合视频来自与不同的初始视频，最终获得的推荐视频的内容较为丰富。
本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本申请某些实施方式的视频处理方法的流程示意图；
图2是本申请某些实施方式的移动终端的示意图；
图3是本申请某些实施方式的视频处理方法的场景示意图；
图4是本申请某些实施方式的视频处理方法的流程示意图；
图5是本申请某些实施方式的视频处理方法的流程示意图；
图6是本申请某些实施方式的视频处理方法的流程示意图；
图7是本申请某些实施方式的视频处理方法的流程示意图；
图8是本申请某些实施方式的视频处理方法的流程示意图；
图9是本申请某些实施方式的非易失性计算机可读存储介质与处理器的交互示意图。
具体实施方式
下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。
请参阅图1，本申请提供一种视频处理方法。视频处理方法包括：
01：从多个初始视频中标记多个视频片段；
02：选定第一策略和第二策略；
03：根据第一策略，从多个视频片段中确定多个待组合视频，其中，至少两个待组合视频来自不同的初始视频；及
04：根据第二策略，编辑多个待组合视频以得到推荐视频。
请参阅图2，本申请还提供一种移动终端100。移动终端100可以是手机、笔记本电脑、平板电脑、智能手表、智能手环、智能眼镜、智能头盔等。本申请实施方式以手机为例进行说明，可以理解，移动终端100的形式不限于手机。本申请实施方式的视频处理方法可以由本申请实施方式的移动终端100实现。移动终端100包括处理器10。其中，步骤01、步骤02、步骤03及步骤04均可以由处理器10实现。也即是说，处理器10可以用于从多个初始视频中标记多个视频片段。处理器10还可以用于选定第一策略和第二策略。处理器10还可以用于根据第一策略，从多个视频片段中确定多个待组合视频。其中，至少两个待组合视频来自不同的初始视频。处理器10还可以用于根据第二策略，编辑多个待组合视频以得到推荐视频。
其中，从多个初始视频中标记多个视频片段可以是由处理器10对多个初始视频进行扫描，以从初始视频中截取出多个精彩的视频片段，多个视频片段可以被存储在移动终端100的存储器内，或者是存储在云端的服务器中。或者，从多个初始视频中，编辑多个视频片段可以是由处理器10对多个初始视频进行扫描，以从初始视频中标记出多个精彩的视频片段。其中，标记指的是对视频片段在对应的初始视频中的开始时间点和截止时间点进行标记，从而得到对应该视频片段的两个时间点。后续处理器10可以基于每个视频片段的两个时间点从对应的初始视频中获取到该视频片段。
具体地，请结合图3，假设移动终端100内存储了两个初始视频，分别为初始视频1和初始视频2。初始视频1中包括P11、P12、P13、P14这几帧图像，初始视频2中包括P21、P22、P23、P24这几帧图像。处理器10首先对初始视频1和初始视频2进行扫描以标记多个视频片段。例如，处理器10对初始视频1进行扫描以标记出视频片段1，视频片段1包括p11和p12两帧图像，处理器10还对初始视频2进行扫描以标记出视频片段2，视频片段2包括p21和p22这两帧图像。当然，初始视频的个数不限定为2个，还可以是3个、4个、9个、10个、20个、30个、60个、100个、300个等，在此不作限制。视频片段的个数也不限定为2个，还可以是3个、5个、10个、25个、50个、80个、100个、200个、300个、400个等，在此也不作限制。另外，处理器10扫描一个初始视频时，可以从该初始视频中截取出一个视频片段，也可以从该初始视频中截取出多个视频片段，在此也不作限制。
在标记出多个视频片段后，处理器10即可从多个视频片段中确定几个视频片段以作为待组合视频。如图3所示，处理器10可以将视频片段1及视频片段2均确定为待组合视频。处理器10可以对两个待组合视频进行编辑以得到推荐视频。
处理器10编辑多个待组合视频得到推荐视频后，该推荐视频可以存储在移动终端100的存储器内，那么，当用户使用移动终端100观看推荐视频时，移动终端100可以无需联网。当然，推荐视频也可以存储在云端的服务器中，以减小推荐视频对移动终端100的内存空间的占用。此时，用户可以在线观看推荐视频。
相关技术中，手机可以对存储在其内的某一个视频进行扫描以截取出精彩片段，然后为该精彩片段加上背景音乐、滤镜等效果后生成一个新的视频推荐给用户。然而，这种视频处理方式仅能对一个视频进行剪辑，剪辑后得到的视频的内容较为单一。
本申请实施方式的视频处理方法及移动终端100，可以基于一定的选取策略从多个视频片段中确定多个待组合视频，并基于一定的编辑策略对多个待组合视频进行编辑以得到推荐视频。由于多个待组合视频中的至少两个待组合视频是来自于不同的初始视频的，因此，推荐视频中包含了来自于多个初始视频的待组合视频的内容，推荐视频的内容较为丰富。移动终端100将推荐视频推荐给用户时，用户会有较为惊喜的观看感受，用户体验可以得到提升。
在某些实施方式中，从多个初始视频中标记多个视频片段包括以下方式中的至少一种：(1)标记每个初始视频中包含人脸的连续多帧为至少一个视频片段；(2)标记每个初始视频中成像清晰的连续多帧为至少一个视频片段；(3)标记每个初始视频中同一场景的连续多帧为至少一个视频片段。也即是说，可以按照方式(1)从多个初始视频中标记多个视频片段，也可以按照方式(2)从多个初始视频中标记多个视频片段，还可以按照方式(3)从多个初始视频中标记多个视频片段，还可以同时按照方式(1)和方式(2)从多个初始视频中标记多个视频片段，还可以同时按照方式(2)和方式(3)从多个初始视频中标记多个视频片段，还可以同时按照方式(1)和方式(3)从多个初始视频中标记多个视频片段，还可以同时按照方式(1)、方式(2)和方式(3)从多个初始视频中标记多个视频片段等，在此不作限制。
示例地，处理器10标记每个初始视频中成像清晰的连续多帧为至少一个视频片段可以是：处理器10可以提取初始视频中的所有帧，并通过人脸识别算法，识别所有包括人脸的帧(下称人脸帧)，将连续多帧人脸帧组成的片段标记为一个视频片段。该视频片段很可能是为了记录场景中的人物，可能是用户希望保留并用于合成最终视频的片段。
示例地，处理器10标记每个初始视频中成像清晰的连续多帧为至少一个视频片段可以是：处理器10可以提取初始视频中的所有帧，并判断所有帧是否成像清晰，具体可以是判断是否有失焦、是否存在运动模糊、是否存在过曝等情况，当均没有这些情况时，判断一帧图像成像清晰，则将成像清晰的连续多帧标记为视频片段。该视频片段很可能是用户对拍摄效果较满意的片段，可能是用户希望保留并用于合成最终视频的片段。
示例地，处理器10标记初始视频中同一场景的连续多帧为至少一个视频片段可以是：处理器10可以提取初始视频中的所有帧，并通过场景识别算法，识别所有帧的场景，如果连续的多帧的场景均为同一个场景，例如均为海滩、均为草坪、均为酒店、均为餐桌等场景，则将该连续的多帧标记为一个视频片段。该视频片段很可能是用户对于同一个场景中发生的事情的连续的记录，可能是用户希望保留并用于合成最终视频的片段。
请参阅图4，在某些实施方式中，每个视频片段均匹配有类别标签，步骤03根据第一策略，从多个视频片段中确定多个待组合视频，包括：
031：确定具有相同类别标签的多个视频片段为多个待组合视频。
请再参阅图2，在某些实施方式中，步骤031可以由处理器10实现。也即是说，处理器10可以用于确定具有相同类别标签的多个视频片段为多个待组合视频。
具体地，处理器10扫描视频时，会对标记出的多个视频片段标记类别标签。类别标签可以是大类标签，也可以是小类标签。大类标签包括但不限于人物类、风景类、美食类、动物类、植物类。小类标签为大类标签下的子标签。例如，人物类下的小类标签包括但不限于儿童类、青年类、中年类、老年类、黄种人类、白种人类、黑种人类；再例如，风景类下的小类标签包括但不限于建筑类、桥梁类、草原类、山川类、湖海类、雨景类、雪景类；再例如，动物类下的小类包括但不限于海洋动物类、陆地动物类、飞行动物类、哺乳动物类、卵生动物类。当然，小类标签还可以被进一步分类，在此不作限制。以图3为例，当类别标签为大类标签时，视频片段1和视频片段2的类别标签均为风景类；当类别标签为小类标签时，视频片段1和视频片段2的类别标签均为山川类。
第一策略选定的类别标签可以是随机选定的。处理器10根据第一策略选定的类别标签(例如为风景类)确定相同类别标签的多个视频片段(如同属于风景类的视频片段1和视频片段2)为待组合视频。如此，组合后的推荐视频的内容不会过于纷杂，各部分内容之间的关联性更高，推荐视频的主题更突出，质量更高。
请参阅图5，在某些实施方式中，每个视频片段均记录有拍摄时刻，步骤03根据第一策略，从多个视频片段中确定多个待组合视频，包括：
032：确定拍摄时刻与当前时刻之间的差值的绝对值小于第一预定差值的多个视频片段为多个待组合视频。
请再参阅图2，在某些实施方式中，步骤032可以由处理器10实现。也即是说，处理器10可以用于确定拍摄时刻与当前时刻之间的差值的绝对值小于第一预定差值的多个视频片段为多个待组合视频。
具体地，每个视频片段都具有一个拍摄时刻。其中，每个视频片段的拍摄时刻可以是该视频片段所属的初始视频的拍摄时刻，也可以是该视频片段被标记出来的时刻，在此不作限制。第一策略可以指示处理器10选取近期拍摄的多个视频片段。处理器10根据第一策略从多个视频片段中确定待组合视频时，可以以多个视频片段的拍摄时刻为基准进行筛选。示例地，处理器10计算每个视频片段的拍摄时刻与当前时刻之间的差值，并将差值的绝对值小于第一预定差值的视频片段筛选出来，以作为待组合视频。其中，第一预定差值可以是一天、一周、一个月、两个月、三个月、半年、一年等，在此不作限制。如此，可以将距离当前时刻较近的期间内拍摄的初始视频中的视频片段进行组合得到推荐视频，推荐视频的内容较为新颖，质量较高。
在其他实施方式中，处理器10也可以根据第一预定差值和当前时刻计算出一个最早的拍摄时刻。当视频片段的拍摄时刻晚于最早的拍摄时刻时，处理器10即将该视频片段确定为待组合视频；当视频片段的拍摄时刻早于最早的拍摄时刻时，处理器10即将该视频片段剔除。
请参阅图6，在某些实施方式中，每个视频片段均记录有置信度，步骤03根据第一策略，从多个视频片段中确定多个待组合视频，包括：
033：确定置信度大于预定阈值的多个视频片段为多个待组合视频，置信度表征视频片段的质量。
请再参阅图2，在某些实施方式中，步骤033可以由处理器10实现。也即是说，处理器10可以用于确定置信度大于预定阈值的多个视频片段为多个待组合视频，置信度表征视频片段的质量。
视频片段的置信度根据以下中至少一种计算得到：视频片段的分辨率、视频片段的亮度、视频片段的对比度、视频片段的饱和度、视频片段中画面抖动程度、视频片段与第一策略对应的类别标签的关联程度。示例地，置信度可以仅根据视频片段的分辨率计算得到；或者，置信度可以仅根据视频片段中画面的抖动程度计算得到；或者，置信度可以同时根据视频片段的分辨率及视频片段的亮度计算得到；或者，置信度可以同时根据视频片段的分辨率、视频片段的亮度、及视频片段的对比度计算得到；或者，置信度可以同时根据视频片段的分辨率、视频片段的亮度、视频片段的对比度、视频片段的饱和度、视频片段中画面抖动程度、及视频片段与第一策略对应的类别标签的关联程度计算得到。
假设置信度可以同时根据视频片段的分辨率、视频片段的亮度、视频片段的对比度、视频片段的饱和度、视频片段中画面抖动程度、及视频片段与第一策略对应的类别标签的关联程度计算得到，则：当其他参量均不变时，视频片段的分辨率越高，置信度越高；当其他参量均不变时，视频片段的亮度与预定亮度的差值的绝对值越小，置信度越高；当其他参量不变时，视频片段的对比度与预定对比度的差值的绝对值越小，置信度越高；当其他参量不变时，视频片段的饱和度与预定饱和度的差值的绝对值越小，置信度越高；当其他参量不变时，视频片段中画面抖动程度越小，置信度越高；当其他参量不变时，视频片段与第一策略对应的类别标签的关联程度越高，置信度越高。处理器10可以确定出置信度大于或等于预定阈值的多个视频片段以作为待组合视频。
可以理解，分辨率、亮度、对比度、饱和度、画面抖动程度均与视频的质量(此处特指画质)相关。根据这些参量计算出来的视频片段的置信度越高，说明该视频片段的质量越好。视频片段与第一策略选定的类别标签的关联程度决定了推荐视频各部分内容的关联性，关联程度越高，可以使得推荐视频的主题更为突出。如此，根据置信度来确定待组合视频，组合后的推荐视频可以具有更高的质量。
在某些实施方式中，第一策略还可以是将具有相同类别标签的、且置信度大于或等于预定阈值的多个视频片段作为待组合视频。第一策略还可以是将具有相同类别标签的、且拍摄时刻与当前时刻的差值的绝对值小于第一预定差值的多个视频片段作为待组合视频。第一策略还可以是将置信度大于或等于预定阈值的、且拍摄时刻与当前时刻的差值的绝对值小于第一预定差值的多个视频片段作为待组合视频。第一策略还可以是将具有相同类别标签的、置信度大于或等于预定阈值的、且拍摄时刻与当前时刻的差值的绝对值小于第一预定差值的多个视频片段作为待组合视频。
请参阅图7，在某些实施方式中，步骤04根据第二策略，编辑多个待组合视频以得到推荐视频，包括：
041：分析第二策略对应的背景音乐以获取节拍信息；
042：根据节拍信息划分背景音乐以形成多个音乐片段；
043：根据多个待组合视频的第一时长及多个音乐片段的第二时长匹配多个待组合视频和多个音乐片段，第一时长与第二时长之间的差值的绝对值小于第二预定差值时，待组合视频与音乐频段相匹配；
044：根据待组合视频与音乐片段的匹配关系及多个音乐片段的播放顺序确定多个待组合视频的组合顺序；及
045：顺序组合多个待组合视频以得到推荐视频。
请再参阅图2，在某些实施方式中，步骤041、步骤042、步骤043、步骤044及步骤045均可以由处理器10实现。也即是说，处理器10还可以用于分析第二策略对应的背景音乐以获取节拍信息、根据节拍信息划分背景音乐以形成多个音乐片段。处理器10还可以用于根据多个待组合视频的第一时长及多个音乐片段的第二时长匹配多个待组合视频和多个音乐片段、根据待组合视频与音乐片段的匹配关系及多个音乐片段的播放顺序确定多个待组合视频的组合顺序、及顺序组合多个待组合视频以得到推荐视频。
具体地，第二策略可以理解为模板策略。移动终端100可以提供多个模板，多个待组合视频套入不同的模板中时会得到不同的推荐视频。模板可以由处理器10随机选取。或者视频片段的每个类别标签可以对应一个或多个模板，处理器10可以根据第一策略选定的类别标签确定出对应该类别标签的模板。
模板包括用于与多个待组合视频融合的背景音乐。处理器10可以对第二策略选定的模板中的背景音乐进行分析以获取节拍信息，再根据节拍信息对背景音乐进行分段以得到多个音乐片段。音乐片段的个数与视频片段的个数可以相同或不同。不同的音乐片段可能具有不同的时长(下称第二时长)。处理器10可以将视频片段10的时长(即第一时长)与音乐片段的第二时长做匹配。当第一时长与第二时长之间的差值的绝对值小于或等于第二预定差值时，处理器10认为该视频片段与该音乐片段是匹配的。
具体地，假设待组合视频有5个，分别为待组合视频1、待组合视频2、待组合视频3、待组合视频4、及待组合视频5；音乐片段有5个，分别为音乐片段1、音乐片段2、音乐片段3、音乐片段4及音乐片段5。处理器10分别计算每个待组合视频的第一时长与每个音乐片段的第二时长之间的差值。以待组合视频1为例，处理器10分别计算待组合视频1的第一时长与音乐片段1的第二时长、音乐片段2的第二时长、音乐片段3的第二时长、音乐片段4的第二时长、音乐片段5的第二时长之间的差值，并将差值的绝对值小于或等于第二预定差值的音乐片段选取出来，作为与待组合视频1匹配的音乐片段。若存在多个音乐片段的第二时长与待组合视频1的第一时长的差值的绝对值小于或等于第二预定差值，则选取第二时长与第一时长的差值的绝对值最小的音乐片段作为与待组合视频1匹配的音乐片段。其他待组合视频匹配音乐片段的方式与待组合视频1匹配音乐片段的方式类似，在此不做赘述。由此，每个待组合视频都能匹配到对应的音乐片段。处理器10再根据音乐片段的播放顺序确定出多个待组合视频的组合顺序，并根据确定出来的组合顺序组合多个待组合视频以得到推荐视频。示例地，假设待组合视频1与音乐片段4匹配，待组合视频2与音乐片段1匹配，待组合视频3与音乐片段5匹配，待组合视频4与音乐片段2匹配，待组合视频5与音乐片段3匹配，则待组合视频的组合顺序即为待组合视频2、待组合视频4、待组合视频5、待组合视频1、待组合视频3。处理器10根据这一组合顺序组合这5个待组合视频。
当然，可能存在某一个待组合视频的第一时长与任意一个音乐片段的第二时长之间的差值的绝对值均大于第二预定差值的情形。具体地，若待组合视频的第一时长大于第二时长，且待组合视频的第一时长与任意一个音乐片段的第二时长之间的差值的绝对值均大于第二预定差值，则处理器10可以从N个音乐片段中选取出M个连续的音乐片段，其中，1＜M＜N，且M个连续的音乐片段的第二时长之和与该待组合视频的第一时长之间的差值的绝对值小于或等于第二预定差值，此时，一个待组合视频与多个音乐片段做匹配。若待组合视频的第一时长小于第二时长，且待组合视频的第一时长与任意一个音乐片段的第二时长之间的差值的绝对值均大于第二预定差值，则处理器10可以选取第二时长与第一时长的差值的绝对值最小的音乐片段，并对该音乐片段进行剪辑，例如，去掉该音乐片段末尾的部分片段等，以使得剪辑后的音乐片段的第二时长与待组合视频的第一时长之间的差值的绝对值小于或等于第二预定差值。
此外，还可能出现多个视频片段对应同一个音乐片段的情形。示例地，假设待组合视频有4个，分别为待组合视频1、待组合视频2、待组合视频3、待组合视频4，音乐片有3个，分别为音乐片段1、音乐片段2、音乐片段3，则匹配后的结果可能是待组合视频1与音乐片段2匹配，待组合视频2与音乐片段1匹配，待组合视频3与音乐片段3匹配，待组合视频4与音乐片段1匹配。则处理器10可以按照待组合视频2、待组合视频1、待组合视频3、待组合视频4的顺序组合多个待组合视频。也即是说，音乐片段可以被重复播放，从而避免播放某一待组合视频时没有对应的背景音乐的问题。
在某些实施方式中，在一个待组合视频和一个音乐片段匹配时，若该待组合视频的第一时长大于该音乐片段第二时长，且第一时长与第二时长之间的差值的绝对值大于第三预定差值且小于或等于第二预定差值(第三预定差值小于第二预定差值)，则处理器10可以对待组合视频执行减帧处理，例如每5帧减1帧、每8帧减1帧、每10帧减1帧、每15帧减1帧等，通过减帧的方式来缩短待组合视频的第一时长，从而使得待组合视频的第一时长与音乐片段的第二时长之间的差值的绝对值小于或等于第三预定差值。如此，待组合视频的第一时长与音乐片段的第二时长更为接近，待组合视频与音乐片段可以更好地融合。
在某些实施方式中，在一个待组合视频和一个音乐片段匹配时，若该待组合视频的第一时长小于该音乐片段的第二时长，且第一时长与第二时长之间的差值的绝对值大于第四预定差值且小于或等于第二预定差值(第四预定差值小于第二预定差值，第四预定差值可以等于或不等于第三预定差值)，则处理器10可以对待组合视频执行加帧处理，例如每3帧加1帧、每5帧加1帧、每8帧加1帧、每10帧加1帧等，通过加帧的方式来增长待组合视频的第一时长，从而使得待组合视频的第一时长与音乐片段的第二时长之间的差值的绝对值小于或等于第四预定差值。如此，待组合视频的第一时长与音乐片段的第二时长更为接近，待组合视频与音乐片段可以更好地融合。当然，在其他例子中，也可以通过对音乐片段进行剪辑来缩短音乐片段的第二时长，以使得待组合视频的第一时长与音乐片段的第二时长更为接近。
请参阅图8，在某些实施方式中，步骤045顺序组合多个视频片段以得到推荐视频，包括：
0451：对顺序组合的多个待组合视频添加第二策略对应的特效以得到推荐视频。
请再参阅图2，在某些实施方式中，步骤0451可以由处理器10实现。也即是说，处理器10可以用于对顺序组合的多个待组合视频添加第二策略对应的特效以得到推荐视频。
具体地，第二策略的模板还包括用于添加进待组合视频中的特效，特效例如可以包括片头、片尾、滤镜、美颜、转场等中的一种或多种。处理器10顺序组合多个待组合视频的过程中，可以为多个待组合视频添加片头、片尾、滤镜、美颜、转场等特效。示例地，假设有4个待组合视频，分别为待组合视频1、待组合视频2、待组合视频3、及待组合视频4，则处理器10可以根据片头、待组合视频1、转场1、待组合视频2、转场2、待组合视频3、转场3、待组合视频4、片尾的顺序进行组合，并且为每一帧图像都增加滤镜特效，以得到推荐视频，其中，转场1、转场2、转场3可以是相同特效的转场，也可以是不同特效的转场。由于对推荐视频添加了特效处理，因此，推荐视频的可观赏性更高，用户的观赏体验更好。
请参阅图9，本申请还提供了一种非易失性计算机可读存储介质200。非易失性计算机可读存储介质包括计算机可读指令。计算机可读指令可以被处理器300执行，使得处理器300执行上述任意一项实施方式所述的视频处理方法。其中，处理器300可以是图2的处理器10。
例如，请结合图1，计算机可读指令可以被处理器300执行，使得处理器300执行以下步骤：
01：从多个初始视频中标记多个视频片段；
02：选定第一策略和第二策略；
03：根据第一策略，从多个视频片段中确定多个待组合视频，其中，至少两个待组合视频来自不同的初始视频；及
04：根据第二策略，编辑多个待组合视频以得到推荐视频。
再例如，请结合图4，计算机可读指令可以被处理器300执行，使得处理器300执行以下步骤：
031：确定具有相同类别标签的多个视频片段为多个待组合视频。
再例如，请结合图7，计算机可读指令可以被处理器300执行，使得处理器300执行以下步骤：
041：分析第二策略对应的背景音乐以获取节拍信息；
042：根据节拍信息划分背景音乐以形成多个音乐片段；
043：根据多个待组合视频的第一时长及多个音乐片段的第二时长匹配多个待组合视频和多个音乐片段，第一时长与第二时长之间的差值的绝对值小于第二预定差值时，待组合视频与音乐频段相匹配；
044：根据待组合视频与音乐片段的匹配关系及多个音乐片段的播放顺序确定多个待组合视频的组合顺序；及
045：顺序组合多个待组合视频以得到推荐视频。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。
Claims (15)
1.一种视频处理方法，其特征在于，包括：
从多个初始视频中标记多个视频片段；
选定第一策略和第二策略；
根据所述第一策略，从所述多个视频片段中确定多个待组合视频，其中，至少两个所述待组合视频来自不同的所述初始视频；及
根据所述第二策略，编辑所述多个待组合视频以得到推荐视频，其中，所述根据所述第二策略，编辑所述多个待组合视频以得到推荐视频，包括：
分析所述第二策略对应的背景音乐以获取节拍信息；
根据所述节拍信息划分所述背景音乐以形成多个音乐片段；
根据所述多个待组合视频的第一时长及多个所述音乐片段的第二时长匹配所述多个待组合视频和所述多个音乐片段，所述第一时长与所述第二时长之间的差值的绝对值小于第二预定差值时，所述待组合视频与所述音乐频段相匹配，其中，若所述待组合视频的第一时长大于第二时长，且所述待组合视频的第一时长与任意一个所述音乐片段的第二时长之间的差值的绝对值均大于第二预定差值，则从N个所述音乐片段中选取出M个连续的所述音乐片段，1＜M＜N，且M个连续的所述音乐片段的第二时长之和与该待组合视频的第一时长之间的差值的绝对值小于或等于所述第二预定差值，则该待组合视频与多个所述音乐片段做匹配；
根据所述待组合视频与所述音乐片段的匹配关系及所述多个音乐片段的播放顺序确定所述多个待组合视频的组合顺序；及
顺序组合所述多个待组合视频以得到所述推荐视频。
2.根据权利要求1所述的视频处理方法，其特征在于，所述从多个初始视频中标记多个视频片段，包括：
标记每个所述初始视频中包含人脸的连续多帧为至少一个所述视频片段；及/或
标记每个所述初始视频中成像清晰的连续多帧为至少一个所述视频片段；及/或
标记每个所述初始视频中同一场景的连续多帧为至少一个所述视频片段。
3.根据权利要求1所述的视频处理方法，其特征在于，每个所述视频片段均匹配有类别标签，所述根据所述第一策略，从所述多个视频片段中确定多个待组合视频，包括：
确定具有相同所述类别标签的多个所述视频片段为所述多个待组合视频。
4.根据权利要求1所述的视频处理方法，其特征在于，每个所述视频片段均记录有拍摄时刻，所述根据所述第一策略，从所述多个视频片段中确定多个待组合视频，包括：
确定所述拍摄时刻与当前时刻之间的差值的绝对值小于第一预定差值的多个所述视频片段为所述多个待组合视频。
5.根据权利要求1所述的视频处理方法，其特征在于，每个所述视频片段均记录有置信度，所述根据所述第一策略，从所述多个视频片段中确定多个待组合视频，包括：
确定置信度大于预定阈值的多个所述视频片段为所述多个待组合视频，所述置信度表征所述视频片段的质量；
所述置信度根据以下中至少一种计算得到：所述视频片段的分辨率、所述视频片段的亮度、所述视频片段的对比度、所述视频片段的饱和度、所述视频片段中画面抖动程度、所述视频片段与所述第一策略对应的类别标签的关联程度。
6.根据权利要求1所述的视频处理方法，其特征在于，所述根据所述第二策略，编辑所述多个待组合视频以得到推荐视频，还包括：
在所述第一时长大于所述第二时长，且所述第一时长与所述第二时长之间的差值的绝对值大于第三预定差值且小于所述第二预定差值时，对所述待组合视频执行减帧处理，以使所述第一时长与所述第二时长的差值的绝对值小于所述第三预定差值，所述第三预定差值小于所述第二预定差值；
在所述第一时长小于所述第二时长，且所述第一时长与所述第二时长之间的差值的绝对值大于第四预定差值且小于所述第二预定差值时，对所述待组合视频执行加帧处理，以使所述第一时长与所述第二时长的差值的绝对值小于所述第四预定差值，所述第四预定差值小于所述第二预定差值。
7.根据权利要求1所述的视频处理方法，其特征在于，所述顺序组合多个所述待组合视频以得到推荐视频，包括：
对顺序组合的所述多个待组合视频添加所述第二策略对应的特效以得到所述推荐视频。
8.一种移动终端，其特征在于，所述移动终端包括处理器，所述处理器用于：
从多个初始视频中标记多个视频片段；
选定第一策略和第二策略；
根据所述第一策略，从所述多个视频片段中确定多个待组合视频，其中，至少两个所述待组合视频来自不同的所述初始视频；及
根据所述第二策略，编辑所述多个待组合视频以得到推荐视频；所述处理器还用于：
分析所述第二策略对应的背景音乐以获取节拍信息；
根据所述节拍信息划分所述背景音乐以形成多个音乐片段；
根据所述多个待组合视频的第一时长及多个所述音乐片段的第二时长匹配所述多个待组合视频和所述多个音乐片段，所述第一时长与所述第二时长之间的差值的绝对值小于第二预定差值时，所述待组合视频与所述音乐频段相匹配，其中，若所述待组合视频的第一时长大于第二时长，且所述待组合视频的第一时长与任意一个所述音乐片段的第二时长之间的差值的绝对值均大于第二预定差值，则从N个所述音乐片段中选取出M个连续的所述音乐片段，1＜M＜N，且M个连续的所述音乐片段的第二时长之和与该待组合视频的第一时长之间的差值的绝对值小于或等于所述第二预定差值，则该待组合视频与多个所述音乐片段做匹配；及
根据所述待组合视频与所述音乐片段的匹配关系及所述多个音乐片段的播放顺序确定所述多个待组合视频的组合顺序；及顺序组合所述多个待组合视频以得到所述推荐视频。
9.根据权利要求8所述的移动终端，其特征在于，所述处理器还用于：
标记每个所述初始视频中包含人脸的连续多帧为至少一个所述视频片段；及/或
标记每个所述初始视频中成像清晰的连续多帧为至少一个所述视频片段；及/或
标记每个所述初始视频中同一场景的连续多帧为至少一个所述视频片段。
10.根据权利要求8所述的移动终端，其特征在于，每个所述视频片段均匹配有类别标签，所述处理器还用于：
确定具有相同所述类别标签的多个所述视频片段为所述多个待组合视频。
11.根据权利要求8所述的移动终端，其特征在于，每个所述视频片段均记录有拍摄时刻，所述处理器还用于：
确定所述拍摄时刻与当前时刻之间的差值的绝对值小于第一预定差值的多个所述视频片段为所述多个待组合视频。
12.根据权利要求8所述的移动终端，其特征在于，每个所述视频片段均记录有置信度，所述处理器还用于：
确定置信度大于预定阈值的多个所述视频片段为所述多个待组合视频，所述置信度表征所述视频片段的质量；
所述置信度根据以下中至少一种计算得到：所述视频片段的分辨率、所述视频片段的亮度、所述视频片段的对比度、所述视频片段的饱和度、所述视频片段中画面抖动程度、所述视频片段与所述第一策略对应的类别标签的关联程度。
13.根据权利要求8所述的移动终端，其特征在于，所述处理器还用于：
在所述第一时长大于所述第二时长，且所述第一时长与所述第二时长之间的差值的绝对值大于第三预定差值且小于所述第二预定差值时，对所述待组合视频执行减帧处理，以使所述第一时长与所述第二时长的差值的绝对值小于所述第三预定差值，所述第三预定差值小于所述第二预定差值；
在所述第一时长小于所述第二时长，且所述第一时长与所述第二时长之间的差值的绝对值大于第四预定差值且小于所述第二预定差值时，对所述待组合视频执行加帧处理，以使所述第一时长与所述第二时长的差值的绝对值小于所述第四预定差值，所述第四预定差值小于所述第二预定差值。
14.根据权利要求8所述的移动终端，其特征在于，所述处理器还用于：
对顺序组合的所述多个待组合视频添加所述第二策略对应的特效以得到所述推荐视频。
15.一种包含计算机可读指令的非易失性计算机可读存储介质，其特征在于，所述计算机可读指令被处理器执行时，使得所述处理器执行权利要求1-7任意一项所述的视频处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911204723.2A CN110913271B (zh) | 2019-11-29 | 2019-11-29 | 视频处理方法、移动终端及非易失性计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911204723.2A CN110913271B (zh) | 2019-11-29 | 2019-11-29 | 视频处理方法、移动终端及非易失性计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110913271A CN110913271A (zh) | 2020-03-24 |
| CN110913271B true CN110913271B (zh) | 2022-01-18 |
Family
ID=69820831
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911204723.2A Active CN110913271B (zh) | 2019-11-29 | 2019-11-29 | 视频处理方法、移动终端及非易失性计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110913271B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111614912B (zh) * | 2020-05-26 | 2023-10-03 | 北京达佳互联信息技术有限公司 | 视频生成方法、装置、设备及存储介质 |
| CN111541943B (zh) * | 2020-06-19 | 2020-10-16 | 腾讯科技（深圳）有限公司 | 视频处理方法、视频操作方法、装置、存储介质和设备 |
| WO2021259322A1 (zh) * | 2020-06-23 | 2021-12-30 | 广州筷子信息科技有限公司 | 一种生成视频的系统和方法 |
| CN112203140B (zh) * | 2020-09-10 | 2022-04-01 | 北京达佳互联信息技术有限公司 | 一种视频剪辑方法、装置、电子设备及存储介质 |
| CN116137672A (zh) * | 2021-11-18 | 2023-05-19 | 脸萌有限公司 | 视频生成方法、装置、设备、存储介质及程序产品 |
| CN115334235B (zh) * | 2022-07-01 | 2024-06-04 | 西安诺瓦星云科技股份有限公司 | 视频处理方法、装置、终端设备和存储介质 |
| CN117156079B (zh) * | 2023-11-01 | 2024-01-23 | 北京美摄网络科技有限公司 | 视频处理方法、装置、电子设备和可读存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105530440A (zh) * | 2014-09-29 | 2016-04-27 | 北京金山安全软件有限公司 | 一种视频的制作方法及装置 |
| CN108241729A (zh) * | 2017-09-28 | 2018-07-03 | 新华智云科技有限公司 | 筛选视频的方法及设备 |
| CN108694217A (zh) * | 2017-04-12 | 2018-10-23 | 合信息技术（北京）有限公司 | 视频的标签确定方法及装置 |
| CN109076263A (zh) * | 2017-12-29 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 视频数据处理方法、设备、系统及存储介质 |
| CN109257545A (zh) * | 2018-08-27 | 2019-01-22 | 咪咕文化科技有限公司 | 一种多源视频剪辑方法、装置及存储介质 |
| CN109922373A (zh) * | 2019-03-14 | 2019-06-21 | 上海极链网络科技有限公司 | 视频处理方法、装置及存储介质 |
| CN110392281A (zh) * | 2018-04-20 | 2019-10-29 | 腾讯科技（深圳）有限公司 | 视频合成方法、装置、计算机设备及存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10121187B1 (en) * | 2014-06-12 | 2018-11-06 | Amazon Technologies, Inc. | Generate a video of an item |
| US10084959B1 (en) * | 2015-06-25 | 2018-09-25 | Amazon Technologies, Inc. | Color adjustment of stitched panoramic video |
| US10277813B1 (en) * | 2015-06-25 | 2019-04-30 | Amazon Technologies, Inc. | Remote immersive user experience from panoramic video |
| US10819951B2 (en) * | 2016-11-30 | 2020-10-27 | Microsoft Technology Licensing, Llc | Recording video from a bitstream |
-
2019
- 2019-11-29 CN CN201911204723.2A patent/CN110913271B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105530440A (zh) * | 2014-09-29 | 2016-04-27 | 北京金山安全软件有限公司 | 一种视频的制作方法及装置 |
| CN108694217A (zh) * | 2017-04-12 | 2018-10-23 | 合信息技术（北京）有限公司 | 视频的标签确定方法及装置 |
| CN108241729A (zh) * | 2017-09-28 | 2018-07-03 | 新华智云科技有限公司 | 筛选视频的方法及设备 |
| CN109076263A (zh) * | 2017-12-29 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 视频数据处理方法、设备、系统及存储介质 |
| CN110392281A (zh) * | 2018-04-20 | 2019-10-29 | 腾讯科技（深圳）有限公司 | 视频合成方法、装置、计算机设备及存储介质 |
| CN109257545A (zh) * | 2018-08-27 | 2019-01-22 | 咪咕文化科技有限公司 | 一种多源视频剪辑方法、装置及存储介质 |
| CN109922373A (zh) * | 2019-03-14 | 2019-06-21 | 上海极链网络科技有限公司 | 视频处理方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110913271A (zh) | 2020-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110913271B (zh) | 视频处理方法、移动终端及非易失性计算机可读存储介质 | |
| US20220188352A1 (en) | Method and terminal for video processing and computer readable storage medium | |
| US11468914B2 (en) | System and method of generating video from video clips based on moments of interest within the video clips | |
| US10706892B2 (en) | Method and apparatus for finding and using video portions that are relevant to adjacent still images | |
| CN107707931B (zh) | 根据视频数据生成解释数据、数据合成方法及装置、电子设备 | |
| US9880693B2 (en) | Example based video editing | |
| JP5355422B2 (ja) | ビデオの索引付けとビデオシノプシスのための、方法およびシステム | |
| CN105472236B (zh) | 具有最佳图像稳定的延时视频采集 | |
| US10657379B2 (en) | Method and system for using semantic-segmentation for automatically generating effects and transitions in video productions | |
| US9036977B2 (en) | Automatic detection, removal, replacement and tagging of flash frames in a video | |
| US20100094441A1 (en) | Image selection apparatus, image selection method and program | |
| US20140172856A1 (en) | Method and system for storytelling on a computing device | |
| CN101106770A (zh) | 一种手机上制作带背景音乐的拍照动画的方法 | |
| US9749550B2 (en) | Apparatus and method for tuning an audiovisual system to viewer attention level | |
| US20150379748A1 (en) | Image generating apparatus, image generating method and computer readable recording medium for recording program for generating new image by synthesizing a plurality of images | |
| JP2013232813A (ja) | 動画編集装置、情報端末、動画編集方法、及び動画編集プログラム | |
| JP5532645B2 (ja) | 映像編集プログラムおよび映像編集装置 | |
| US20210390134A1 (en) | Presentation file generation | |
| JP2010097246A (ja) | シーン類似判定装置、そのプログラム及びサマリ映像生成システム | |
| CN115037960B (zh) | 互动视频的生成方法及装置 | |
| JP2017184132A (ja) | 画像処理装置及び画像処理方法 | |
| TWI536838B (zh) | 視頻播放方法與裝置 | |
| JP2009027334A (ja) | 再生装置、再生方法およびプログラム | |
| JP2013062850A (ja) | カメラ、画像再生装置、画像合成方法、およびプログラム | |
| JP2017184131A (ja) | 画像処理装置及び画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |