CN109040838B - 一种视频数据的处理方法、装置及视频播放方法、客户端 - Google Patents
一种视频数据的处理方法、装置及视频播放方法、客户端 Download PDFInfo
- Publication number
- CN109040838B CN109040838B CN201811060361.XA CN201811060361A CN109040838B CN 109040838 B CN109040838 B CN 109040838B CN 201811060361 A CN201811060361 A CN 201811060361A CN 109040838 B CN109040838 B CN 109040838B
- Authority
- CN
- China
- Prior art keywords
- video
- clip
- current
- video clip
- playing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000003672 processing method Methods 0.000 title abstract description 6
- 230000033001 locomotion Effects 0.000 claims description 42
- 230000015654 memory Effects 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 11
- 230000010354 integration Effects 0.000 claims 1
- 239000013598 vector Substances 0.000 description 21
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 229910021389 graphene Inorganic materials 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请实施方式公开了一种视频数据的处理方法、装置及视频播放方法、客户端，其中，所述视频数据的处理方法包括：获取待处理的目标视频，并将所述目标视频划分为至少两个视频片段；为所述视频片段设置关联的继续播放条件；其中，在所述视频片段播放结束时，若满足所述视频片段关联的继续播放条件，继续播放所述视频片段之后的下一个视频片段；将划分后的所述视频片段以及所述视频片段关联的继续播放条件整合为所述目标视频的视频数据，并将整合后的所述视频数据上传至服务器。本申请提供的技术方案，能够提高用户体验。
Description
技术领域
本申请涉及互联网技术领域，特别涉及一种视频数据的处理方法、装置及视频播放方法、客户端。
背景技术
随着视频播放技术的不断发展，人们越来越习惯于从视频中获取各式各样的信息。当前，很多视频都可以向用户展示一些事物的学习方法，用户在观看视频的同时，可以根据视频中介绍的内容，在线下同步进行学习。例如，视频中可以介绍毛笔字的写作方法，用户在观看该视频时，可以按照视频中的书写顺序，在线下自己练习书写毛笔字。又例如，视频中可以介绍某种舞蹈的动作，用户在观看视频时，也可以边看边练。
然而，现有的这种视频播放的方式，用户由于对视频内容的生疏，很有可能无法与视频中展示的内容保持同步。一旦跟不上视频播放的节奏，用户就无法较好地完成练习的过程。因此，当前这种视频播放的方式具备较差的用户体验。
发明内容
本申请实施方式的目的是提供一种视频数据的处理方法、装置及视频播放方法、客户端，能够提高用户体验。
为实现上述目的，本申请实施方式提供一种视频数据的处理方法，所述方法包括：获取待处理的目标视频，并将所述目标视频划分为至少两个视频片段；为所述视频片段设置关联的继续播放条件；其中，在所述视频片段播放结束时，若满足所述视频片段关联的继续播放条件，继续播放所述视频片段之后的下一个视频片段；将划分后的所述视频片段以及所述视频片段关联的继续播放条件整合为所述目标视频的视频数据，并将整合后的所述视频数据上传至服务器。
为实现上述目的，本申请实施方式还提供一种视频数据的处理装置，所述装置包括：视频片段划分单元，用于获取待处理的目标视频，并将所述目标视频划分为至少两个视频片段；播放条件设置单元，用于为所述视频片段设置关联的继续播放条件；其中，在所述视频片段播放结束时，若满足所述视频片段关联的继续播放条件，继续播放所述视频片段之后的下一个视频片段；视频数据上传单元，用于将划分后的所述视频片段以及所述视频片段关联的继续播放条件整合为所述目标视频的视频数据，并将整合后的所述视频数据上传至服务器。
为实现上述目的，本申请实施方式还提供一种视频数据的处理装置，所述装置包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述的视频数据的处理方法。
为实现上述目的，本申请实施方式还提供一种视频播放方法，所述方法包括：从服务器处下载视频数据，所述视频数据中包括至少两个视频片段以及与所述视频片段关联的继续播放条件；播放所述至少两个视频片段中的当前视频片段，并采集用户根据所述当前视频片段的内容执行操作的操作视频；在所述当前视频片段播放结束时，判断采集的所述操作视频的内容是否满足所述当前视频片段关联的继续播放条件；若不满足，重新播放所述当前视频片段。
为实现上述目的，本申请实施方式还提供一种客户端，所述客户端包括：视频数据下载单元，用于从服务器处下载视频数据，所述视频数据中包括至少两个视频片段以及与所述视频片段关联的继续播放条件；视频采集单元，用于播放所述至少两个视频片段中的当前视频片段，并采集用户根据所述当前视频片段的内容执行操作的操作视频；视频播放单元，用于在所述当前视频片段播放结束时，判断采集的所述操作视频的内容是否满足所述当前视频片段关联的继续播放条件；若不满足，重新播放所述当前视频片段。
为实现上述目的，本申请实施方式还提供一种客户端，所述客户端包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述的视频播放方法。
由上可见，本申请提供的技术方案，服务器中的视频可以被划分为多个视频片段，并且每个视频片段可以关联继续播放条件。这样，客户端从服务器中下载某个视频的视频数据之后，可以依次播放该视频的各个视频片段。用户在根据视频片段中的内容执行操作时，客户端可以通过摄像头采集用户的操作视频。在当前视频片段播放结束时，客户端可以根据采集的操作视频，判断用户当前是否已经根据当前视频片段的内容完成了练习过程，若完成了练习过程，则表明采集的操作视频的内容满足当前视频片段的继续播放条件。那么在这种情况下，可以继续播放下一个视频片段，以使得用户能够开始进一步的练习。如果采集的操作视频的内容表明用户还没有完成当前视频片段的练习过程，那么可以重新播放该当前视频片段，以使得用户能够继续练习当前视频片段中的内容。这样，通过分析客户端采集的操作视频的内容，可以保持用户的练习进度与视频的播放进度相匹配，从而给用户提供较好的练习体验。
附图说明
为了更清楚地说明本申请实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施方式中视频数据的处理方法示意图；
图2为本申请实施方式中目标视频的物理划分示意图；
图3为本申请实施方式中目标视频的逻辑划分示意图；
图4为本申请实施方式中视频播放方法的流程图；
图5(a)为本申请实施方式中背景帧的示意图；
图5(b)为本申请实施方式中目标视频帧的示意图；
图5(c)为本申请实施方式中去除背景数据的目标视频帧的示意图；
图6为本申请实施方式中客户端的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都应当属于本申请保护的范围。
本申请提供一种视频数据的处理方法，该方法可以应用于具备数据处理功能的设备中。请参阅图1，所述视频数据的处理方法可以包括以下步骤。
S11：获取待处理的目标视频，并将所述目标视频划分为至少两个视频片段。
在本实施方式中，所述目标视频可以是展示一个事物的学习过程的视频。例如，所述目标视频可以展示一段舞蹈的动作，或者可以展示毛笔字的书写方法，或者可以展示纸飞机的折叠方法等。所述目标视频可以被导入上述具备数据处理功能的设备中，这样，该设备便可以获取到该目标视频。当然，该目标视频也可以预先存储于该设备中，这样，该设备可以根据目标视频的存储路径，从该存储路径下将目标视频读取至缓存中。
在本实施方式中，在对所述目标视频进行处理时，可以预先将该目标视频划分为多个视频片段。在实际应用中，为了保证目标视频的连续性和完整性，在传输该目标视频的视频数据的过程中，通常会将划分后的多个视频片段进行同步传输。另外，需要说明的是，划分后的目标视频，可以具备多个独立的视频片段，只不过这些视频片段可以按照在目标视频中所处的位置有序排列。请参阅图2，各个视频片段还可以根据自身在目标视频中所处的位置，被分配对应的数字编号。例如，目标视频可以被分为3个视频片段，那么这3个视频片段的序号便可以是从1至3。这些被划分的视频片段，可以通过索引表的形式来统一管理。该索引表例如可以是m3u8索引表。这些视频片段可以被存储于不同的存储介质中，在需要播放该目标视频时，可以预先加载该目标视频的索引表，然后根据索引表中视频片段的排列顺序，依次下载并播放各个视频片段。这样，从用户的观看角度而言，看到的还是连贯并且完整的目标视频。
在另一个实施方式中，划分为视频片段后的目标视频，还可以是完整的一个整体，并不会拆分为独立的多个视频片段，而是通过一些标识在目标视频中注明不同的视频片段。在这种情况下，目标视频始终作为一个完整的视频，而不会作为多个不同的视频片段被保存在不同的存储介质中。请参阅图3，设备获取到目标视频之后，可以为该目标视频设置多个用于表征视频播放进度的时间节点。例如，该目标视频的总时长为5分钟，那么设置的时间节点可以是1分钟、2分钟、3分钟以及4分钟。这些时间节点可以用于标识相邻的两个视频片段。这样，原先为5分钟时长的目标视频，可以被这些时间节点划分为0-1分钟、1-2分钟、2-3分钟、3-4分钟以及4-5分钟这5个视频片段。只不过，这5个视频片段仅仅是在逻辑上的划分，并非是将目标视频拆分为5个分离的视频片段。因此，在本实施方式中，设备可以接收用户针对所述目标视频输入的至少一个用于表征视频播放进度的时间节点，并基于所述时间节点将所述目标视频划分为至少两个视频片段。
由上可见，在划分目标视频时，可以直接将目标视频进行物理划分，拆分为多个分离的视频片段，这些视频片段可以通过索引表统一管理，但彼此相对独立。此外，目标视频还可以仅仅在逻辑上被划分为多个视频片段，这些视频片段可以通过诸如时间节点这样的标识来区分。
S13：为所述视频片段设置关联的继续播放条件；其中，在所述视频片段播放结束时，若满足所述视频片段关联的继续播放条件，继续播放所述视频片段之后的下一个视频片段。
在本实施方式中，在将目标视频划分为多个视频片段之后，可以为视频片段设置关联的继续播放条件。该继续播放条件可以在视频片段播放结束时，判断是否继续播放下一个视频片段。具体地，在实际应用中，通常是在用户根据视频片段的内容，完成了对应的练习步骤之后，才会继续播放下一个视频片段。因此，可以基于视频片段播放的内容，为视频片段设置对应的继续播放条件。
在一个实施方式中，某些视频片段中播放的内容，随着时间的推移，教导用户的内容会逐渐完善。例如，目标视频在教导用户练习毛笔字“王”，那么目标视频中可以按照“王”的笔画顺序依次书写各个笔画。那么拆分后的某个视频片段中，可以展示“王”的第一个笔画“横”的书写方式。那么该视频片段的最后，纸张上展示的就是一个笔画“横”。在这种情况下，可以将所述视频片段的最后一个视频帧作为所述视频片段关联的继续播放条件。这样，在该视频片段播放时，可以实时监控用户跟随该视频片段的内容进行练习的情况。当该视频片段播放结束时，可以从用户的练习视频中采集当前的视频帧，然后可以判断采集到的视频帧与所述视频片段的最后一个视频帧之间的相似度是否大于或者等于指定相似度阈值，如果大于或者等于该指定相似度阈值，则表示用户当前的进度与视频片段展示的进度比较一致，从而可以认为当前是符合该视频片段关联的继续播放条件的，从而可以继续播放所述视频片段之后的下一个视频片段。
在另一个实施方式中，视频片段中展示的内容，可能是一系列动作的展示过程。例如，视频片段中可以展示一段舞蹈动作，那么只有在用户跟随该视频片段完成了这一系列的舞蹈动作之后，才可以继续播放下一个视频片段。由于舞蹈动作可能有重复，将视频片段的最后一帧作为继续播放条件就不太合适。在这种情况下，可以识别所述视频片段中指定对象的运动特征，并将所述指定对象的运动特征作为所述视频片段关联的继续播放条件。其中，所述指定对象可以根据视频片段展示的实际内容而灵活确定。例如，若所述视频片段中展示的是舞蹈动作，那么该指定对象便可以是跳舞的人。又例如，若所示视频中展示的是手影戏，那么该指定对象便可以是双手。
在本实施方式中，所述指定对象的运动特征，可以是从连贯的动作中按序截取的多个动作的组合。例如，可以从视频片段播放的舞蹈动作中，截取10个舞蹈动作，并将这10个舞蹈动作的组合作为上述的动作特征。这样，在识别所述视频片段中指定对象的运动特征后，可以将所述指定对象的运动特征作为所述视频片段关联的继续播放条件。这样，后续在对用户监控时，可以将该动作特征中包含的各个动作依次在用户练习过程中进行匹配，当用户在练习过程中依次出现了该动作特征中包含的各个动作，便可以认为当前满足继续播放条件，从而可以播放下一个视频片段。
S15：将划分后的所述视频片段以及所述视频片段关联的继续播放条件整合为所述目标视频的视频数据，并将整合后的所述视频数据上传至服务器。
在本实施方式中，在确定出各个视频片段关联的继续播放条件之后，可以将划分后的所述视频片段以及所述视频片段关联的继续播放条件整合为所述目标视频的视频数据。这样，所述目标视频的视频数据中，除了包含用于表征目标视频播放内容的数据，还可以包含与各个视频片段关联的继续播放条件的数据。当然，在实际应用中，根据目标视频划分策略的不同，在目标视频中还可以包含用于表征视频片段的索引数据。具体地，若所述目标视频是在物理层面进行划分，那么所述索引数据便可以是用于统一管理各个视频片段的索引表。例如，该索引数据可以是目标视频的m3u8文件。若所述目标视频仅在逻辑层面进行划分，那么该索引数据便可以是用于对目标视频进行划分的时间节点。
在本实施方式中，在整合得到所述目标视频的视频数据之后，可以将该整合后的所述视频数据上传至服务器。后续，用户的客户端可以从服务器中下载该目标视频的视频数据。
本申请还提供一种视频数据的处理装置，所述装置包括：
视频片段划分单元，用于获取待处理的目标视频，并将所述目标视频划分为至少两个视频片段；
播放条件设置单元，用于为所述视频片段设置关联的继续播放条件；其中，在所述视频片段播放结束时，若满足所述视频片段关联的继续播放条件，继续播放所述视频片段之后的下一个视频片段；
视频数据上传单元，用于将划分后的所述视频片段以及所述视频片段关联的继续播放条件整合为所述目标视频的视频数据，并将整合后的所述视频数据上传至服务器。
本申请还提供一种视频数据的处理装置，所述装置包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，可以实现上述的直播间的音量调节方法。
在本实施方式中，所述存储器可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方法的媒体加以存储。本实施方式所述的存储器又可以包括：利用电能方式存储信息的装置，如RAM、ROM等；利用磁能方式存储信息的装置，如硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘；利用光学方式存储信息的装置，如CD或DVD。当然，还有其他方式的存储器，例如量子存储器、石墨烯存储器等等。
在本实施方式中，所述处理器可以按任何适当的方式实现。例如，所述处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。
本说明书实施方式提供的装置，其存储器和处理器实现的具体功能，可以与本说明书中的前述实施方式相对照解释，并能够达到前述实施方式的技术效果，这里便不再赘述。
本申请还提供一种视频播放方法，该方法可以应用于客户端中。所述客户端可以是用户使用的带有摄像功能的终端设备。所述终端设备例如可以是平板电脑、台式电脑、笔记本电脑、智能手机、智能穿戴设备等。请参阅图4，所述视频播放方法可以包括以下步骤。
S21：从服务器处下载视频数据，所述视频数据中包括至少两个视频片段以及与所述视频片段关联的继续播放条件。
在本实施方式中，服务器中存储的视频数据可以是经过步骤S11至S13处理后的视频数据，该视频数据中可以包括多个视频片段以及各个视频片段关联的继续播放条件。当然，如前述实施方式所述，视频数据中包括的多个视频片段，可以指分离的多个视频片段，也可以指完整的视频本身。此外，该视频数据中还可以包括视频片段的索引数据，该索引数据可以是m3u8文件，也可以是用于对视频进行划分的时间节点。
S23：播放所述至少两个视频片段中的当前视频片段，并采集用户根据所述当前视频片段的内容执行操作的操作视频。
在本实施方式中，当上述至少两个视频片段中的当前视频片段开始播放时，用户可以跟随该当前视频片段中播放的内容在线下执行对应的操作。例如，用户可以学习跳舞，或者可以练习毛笔字等。在播放所述当前视频片段时，客户端可以启用摄像头，采集用户根据所述当前视频片段的内容执行操作的操作视频。
S25：在所述当前视频片段播放结束时，判断采集的所述操作视频的内容是否满足所述当前视频片段关联的继续播放条件；若不满足，重新播放所述当前视频片段。
在本实施方式中，若目标视频是在物理层面被划分为多个独立的视频片段，那么在当前视频片段的内容被全部展示后，便表示该当前视频片段播放结束了。而如果目标视频是在逻辑层面进行划分的，那么当前播放的其实是目标视频本身。只不过每个逻辑层面的视频片段均会具备自身的终止时间节点。此时，在目标视频播放时，可以判断当前的时间节点是否达到当前视频片段的终止时间节点，若播放至所述终止时间节点时，则可以判定所述当前视频片段播放结束。
在本实施方式中，在当前视频片段播放结束时，可以判断采集的所述操作视频的内容是否满足所述当前视频片段关联的继续播放条件。其中，操作视频的内容满足继续播放条件可以指用户已经跟随当前视频片段展示的内容，完整了对应的练习过程。相反，则表示用户还没有完整对应的练习过程。根据不同的视频内容，视频片段关联的继续播放条件也往往不同。例如，如果视频片段展示的是随着时间的不断推移而逐渐完整的过程，那么关联的继续播放条件可以是当前视频片段的最后一个视频帧。在这种情况下，可以从采集的所述操作视频中选取当前视频帧，并计算所述当前视频帧与所述当前视频片段的最后一个视频帧之间的相似度。其中，在计算两个视频帧之间的相似度时，可以分别提取所述两个视频帧的第一特征向量和第二特征向量。
在本实施方式中，所述第一特征向量和所述第二特征向量可以具备多种形式。其中，可以基于每帧画面中像素点的像素值构建该帧画面的特征向量。每帧画面通常都是由若干的像素点按照一定的顺序排列而成的，像素点对应各自的像素值，从而可以构成色彩斑斓的画面。所述像素值可以是处于指定区间内的数值。例如，所述像素值可以是灰度值，所述灰度值可以是0至255中的任意一个数值，数值的大小可以表示灰度的深浅。当然，所述像素值还可以是其它色系空间中多个色系分量各自的数值。例如，在RGB(Red，Green，Blue，红绿蓝)色系空间中，所述像素值可以包括R分量数值、G分量数值以及B分量数值。
在本实施方式中，可以获取每帧画面中各个像素点的像素值，并通过获取的像素值构成该帧画面的特征向量。例如，对于具备9*9＝81个像素点的当前帧而言，可以依次获取其中像素点的像素值，然后根据从左向右从上至下的顺序，将获取的像素值依次排列，从而构成81维的向量。该81维的向量便可以作为所述当前帧的特征向量。
在本实施方式中，所述特征向量还可以是每帧画面的CNN(Convolutional NeuralNetwork，卷积神经网络)特征。具体地，可以将两个视频帧输入卷积神经网络中，然后该卷积神经网络便可以输出这两个视频帧各自对应的特征向量。
在本实施方式中，在确定了所述第一特征向量和所述第二特征向量之后，可以计算所述第一特征向量和所述第二特征向量之间的相似度。具体地，所述相似度在向量空间中可以表示为两个向量之间的距离。距离越近，表示两个向量越相似，因此相似度越高。距离越远，表示两个向量差别越大，因此相似度越低。因此，在计算两个视频帧之间的相似度时，可以计算所述第一特征向量和所述第二特征向量之间的空间距离，并将所述空间距离的倒数作为这两个视频帧之间的相似度。
在本实施方式中，若计算的所述相似度大于或者等于指定相似度阈值，则表明用户的操作视频的进度与当前视频片段的进度保持一致，从而可以判定采集的所述操作视频的内容满足所述当前视频片段关联的继续播放条件。
在另一个实施方式中，所述当前视频片段关联的继续播放条件还可以是从所述当前视频片段中识别出的指定对象的动作特征，所述运动特征可以是从连贯的动作中按序截取的多个动作的组合。例如，可以从当前视频片段播放的舞蹈动作中，截取10个舞蹈动作，并将这10个舞蹈动作的组合作为上述的动作特征。这样，在判断采集的所述操作视频的内容是否满足所述当前视频片段关联的继续播放条件时，可以将该动作特征中包含的各个动作依次在用户的操作视频中进行匹配，从而判断从所述操作视频中是否识别出所述运动特征中包含的各个运动动作。若所述操作视频中存在所述运动特征中包含的各个运动动作，并且存在的所述运动动作与所述运动特征中包含的运动动作的排列顺序一致，则表明用户已经跟随当前视频片段中展示的内容，完整了整套的运动动作，此时可以判定采集的所述操作视频的内容满足所述当前视频片段关联的继续播放条件。
在本实施方式中，在判定采集的所述操作视频的内容满足所述当前视频片段关联的继续播放条件之后，便可以播放所述当前视频片段之后的下一个视频片段，从而继续整个视频的学习进度。而如果判定采集的所述操作视频的内容不满足所述当前视频片段关联的继续播放条件，那么客户端可以重新播放所述当前视频片段，以使得用户能够完成当前阶段的学习和练习过程。这样，通过上述的方式，用户在跟随视频内容进行学习时，可以通过将用户的操作视频与当前视频片段的内容进行分析，从而判断用户的练习进度是否与当前视频片段的展示进度相一致，如果不一致，则可以自动重新播放该当前视频片段，以引导用户完成当前阶段的学习过程；如果一致，则可以继续播放下一个视频片段，从而继续推进整个学习过程，直至整个视频播放完成为止。
在一个实施方式中，在动作特征的识别过程中，可以将指定对象与背景进行区分，从而更加准确地识别指定对象的动作特征。具体地，可以预先采集所述操作视频中的背景数据。所述背景数据可以指不包含指定对象的数据。在练习开始之前，客户端可以要求用户将摄像头对准用户练习的背景，从而采集对应的背景数据。后续用户可以在该背景中跟随视频展示的内容进行学习。在用户练习过程中，客户端可以采集用户的操作视频，该操作视频中可以包含在背景之上的指定对象。为了去除背景对指定对象的影响，可以从包含所述指定对象的操作视频的视频数据中去除所述背景数据，从而可以清晰地从所述操作视频中提取所述指定对象。具体地，可以从所述操作视频中确定包含所述指定对象的目标视频帧，并获取所述背景数据对应的背景帧，然后可以逐帧进行背景去除处理。具体地，可以将所述目标视频帧和所述背景帧中相同位置处的像素点的像素值相减，从而可以将目标视频帧中的背景去除。请参阅图5(a)至图5(c)，在图5(a)中展示了用户练习俯卧撑的背景帧，图5(b)则展示了用户在该背景中练习俯卧撑的目标视频帧，图5(c)则展示了经过像素值相减，从而去除背景后的目标视频帧。最终，可以从图5(c)中提取出包含的指定对象(用户的人体)。这样能够精准地捕捉指定对象的动作特征。
本申请还提供一种客户端，所述客户端包括：
视频数据下载单元，用于从服务器处下载视频数据，所述视频数据中包括至少两个视频片段以及与所述视频片段关联的继续播放条件；
视频采集单元，用于播放所述至少两个视频片段中的当前视频片段，并采集用户根据所述当前视频片段的内容执行操作的操作视频；
视频播放单元，用于在所述当前视频片段播放结束时，判断采集的所述操作视频的内容是否满足所述当前视频片段关联的继续播放条件；若不满足，重新播放所述当前视频片段。
请参阅图6，本申请还提供一种客户端，所述客户端包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，可以实现上述的视频播放方法。
在本实施方式中，所述存储器可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方法的媒体加以存储。本实施方式所述的存储器又可以包括：利用电能方式存储信息的装置，如RAM、ROM等；利用磁能方式存储信息的装置，如硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘；利用光学方式存储信息的装置，如CD或DVD。当然，还有其他方式的存储器，例如量子存储器、石墨烯存储器等等。
在本实施方式中，所述处理器可以按任何适当的方式实现。例如，所述处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。
本说明书实施方式提供的客户端，其存储器和处理器实现的具体功能，可以与本说明书中的前述实施方式相对照解释，并能够达到前述实施方式的技术效果，这里便不再赘述。
由上可见，本申请提供的技术方案，服务器中的视频可以被划分为多个视频片段，并且每个视频片段可以关联继续播放条件。这样，客户端从服务器中下载某个视频的视频数据之后，可以依次播放该视频的各个视频片段。用户在根据视频片段中的内容执行操作时，客户端可以通过摄像头采集用户的操作视频。在当前视频片段播放结束时，客户端可以根据采集的操作视频，判断用户当前是否已经根据当前视频片段的内容完成了练习过程，若完成了练习过程，则表明采集的操作视频的内容满足当前视频片段的继续播放条件。那么在这种情况下，可以继续播放下一个视频片段，以使得用户能够开始进一步的练习。如果采集的操作视频的内容表明用户还没有完成当前视频片段的练习过程，那么可以重新播放该当前视频片段，以使得用户能够继续练习当前视频片段中的内容。这样，通过分析客户端采集的操作视频的内容，可以保持用户的练习进度与视频的播放进度相匹配，从而给用户提供较好的练习体验。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
本领域技术人员也知道，除了以纯计算机可读程序代码方式实现服务器以外，完全可以通过将方法步骤进行逻辑编程来使得服务器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种服务器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的单元也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施方式或者实施方式的某些部分所述的方法。
本说明书中的各个实施方式均采用递进的方式描述，各个实施方式之间相同相似的部分互相参见即可，每个实施方式重点说明的都是与其他实施方式的不同之处。尤其，针对装置和客户端的实施方式来说，均可以参照前述方法的实施方式的介绍对照解释。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
虽然通过实施方式描绘了本申请，本领域普通技术人员知道，本申请有许多变形和变化而不脱离本申请的精神，希望所附的权利要求包括这些变形和变化而不脱离本申请的精神。
Claims (14)
1.一种视频数据的处理方法，其特征在于，所述方法包括：
获取待处理的目标视频，并将所述目标视频划分为至少两个视频片段，包括：接收针对所述目标视频的至少一个用于表征视频播放进度的时间节点，并基于所述时间节点将所述目标视频划分为至少两个视频片段；
为所述视频片段设置关联的继续播放条件；其中，在所述视频片段播放结束时，若满足所述视频片段关联的继续播放条件，继续播放所述视频片段之后的下一个视频片段；
将划分后的所述视频片段以及所述视频片段关联的继续播放条件整合为所述目标视频的视频数据，并将整合后的所述视频数据上传至服务器。
2.根据权利要求1所述的方法，其特征在于，在整合后的所述视频数据中，包括所述至少一个用于表征视频播放进度的时间节点。
3.根据权利要求1所述的方法，其特征在于，为所述视频片段设置关联的继续播放条件包括：
将所述视频片段的最后一个视频帧作为所述视频片段关联的继续播放条件；
相应地，满足所述视频片段关联的继续播放条件包括：
采集到的视频帧与所述视频片段的最后一个视频帧之间的相似度大于或者等于指定相似度阈值。
4.根据权利要求1所述的方法，其特征在于，为所述视频片段设置关联的继续播放条件包括：
识别所述视频片段中指定对象的动作特征，并将所述指定对象的动作特征作为所述视频片段关联的继续播放条件；所述动作特征中包括多个运动动作；
相应地，满足所述视频片段关联的继续播放条件包括：
从采集到的视频中识别出的所述动作特征中包含的各个运动动作。
5.一种视频数据的处理装置，其特征在于，所述装置包括：
视频片段划分单元，用于获取待处理的目标视频，并将所述目标视频划分为至少两个视频片段，包括：接收针对所述目标视频的至少一个用于表征视频播放进度的时间节点，并基于所述时间节点将所述目标视频划分为至少两个视频片段；
播放条件设置单元，用于为所述视频片段设置关联的继续播放条件；其中，在所述视频片段播放结束时，若满足所述视频片段关联的继续播放条件，继续播放所述视频片段之后的下一个视频片段；
视频数据上传单元，用于将划分后的所述视频片段以及所述视频片段关联的继续播放条件整合为所述目标视频的视频数据，并将整合后的所述视频数据上传至服务器。
6.一种视频数据的处理装置，其特征在于，所述装置包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1至3中任一所述的方法。
7.一种视频播放方法，其特征在于，所述方法包括：
从服务器处下载视频数据，所述视频数据中包括至少两个视频片段以及与所述视频片段关联的继续播放条件，以及所述视频数据中还包括所述视频片段的终止时间节点；
播放所述至少两个视频片段中的当前视频片段，并采集用户根据所述当前视频片段的内容执行操作的操作视频；
在播放至所述当前视频片段的终止时间节点时，判定所述当前视频片段播放结束；
在所述当前视频片段播放结束时，判断采集的所述操作视频的内容是否满足所述当前视频片段关联的继续播放条件；若不满足，重新播放所述当前视频片段。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
若采集的所述操作视频的内容满足所述当前视频片段关联的继续播放条件，播放所述当前视频片段之后的下一个视频片段。
9.根据权利要求7所述的方法，其特征在于，所述当前视频片段关联的继续播放条件包括所述当前视频片段的最后一个视频帧；
相应地，判断采集的所述操作视频的内容是否满足所述当前视频片段关联的继续播放条件包括：
从采集的所述操作视频中选取当前视频帧，并计算所述当前视频帧与所述当前视频片段的最后一个视频帧之间的相似度；
若计算的所述相似度大于或者等于指定相似度阈值，判定采集的所述操作视频的内容满足所述当前视频片段关联的继续播放条件。
10.根据权利要求7所述的方法，其特征在于，所述当前视频片段关联的继续播放条件包括从所述当前视频片段中识别出的指定对象的动作特征；所述动作特征中包括多个运动动作；
相应地，判断采集的所述操作视频的内容是否满足所述当前视频片段关联的继续播放条件包括：
判断从所述操作视频中是否识别出所述动作特征中包含的各个运动动作，若所述操作视频中存在所述动作特征中包含的各个运动动作，并且存在的所述运动动作与所述动作特征中包含的运动动作的排列顺序一致，判定采集的所述操作视频的内容满足所述当前视频片段关联的继续播放条件。
11.根据权利要求10所述的方法，其特征在于，在从采集的所述操作视频中识别所述指定对象的动作特征之前，所述方法还包括：
预先采集所述操作视频中的背景数据；
从包含所述指定对象的操作视频的视频数据中去除所述背景数据，以从所述操作视频中提取所述指定对象。
12.根据权利要求11所述的方法，其特征在于，从包含所述指定对象的操作视频的视频数据中去除所述背景数据包括：
从所述操作视频中确定包含所述指定对象的目标视频帧，并获取所述背景数据对应的背景帧；
将所述目标视频帧和所述背景帧中相同位置处的像素点的像素值相减，以将所述目标视频帧中的背景去除。
13.一种客户端，其特征在于，所述客户端包括：
视频数据下载单元，用于从服务器处下载视频数据，所述视频数据中包括至少两个视频片段以及与所述视频片段关联的继续播放条件，以及所述视频数据中还包括所述视频片段的终止时间节点；
视频采集单元，用于播放所述至少两个视频片段中的当前视频片段，并采集用户根据所述当前视频片段的内容执行操作的操作视频；
视频播放单元，用于在播放至所述当前视频片段的终止时间节点时，判定所述当前视频片段播放结束；以及在所述当前视频片段播放结束时，判断采集的所述操作视频的内容是否满足所述当前视频片段关联的继续播放条件；若不满足，重新播放所述当前视频片段。
14.一种客户端，其特征在于，所述客户端包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求7至12中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811060361.XA CN109040838B (zh) | 2018-09-12 | 2018-09-12 | 一种视频数据的处理方法、装置及视频播放方法、客户端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811060361.XA CN109040838B (zh) | 2018-09-12 | 2018-09-12 | 一种视频数据的处理方法、装置及视频播放方法、客户端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109040838A CN109040838A (zh) | 2018-12-18 |
| CN109040838B true CN109040838B (zh) | 2021-10-01 |
Family
ID=64621819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811060361.XA Active CN109040838B (zh) | 2018-09-12 | 2018-09-12 | 一种视频数据的处理方法、装置及视频播放方法、客户端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109040838B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111400552B (zh) * | 2020-03-31 | 2024-02-27 | 维沃移动通信有限公司 | 便签创建方法及电子设备 |
| CN112023377B (zh) * | 2020-09-14 | 2021-11-09 | 成都拟合未来科技有限公司 | 一种健身练习实时互动方法、系统、终端及介质 |
| CN112188278B (zh) * | 2020-09-28 | 2022-04-15 | 卡莱特云科技股份有限公司 | 一种通过移动设备连接控制显示屏的方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108211310A (zh) * | 2017-05-25 | 2018-06-29 | 深圳市前海未来无限投资管理有限公司 | 运动效果的展示方法及装置 |
| CN108521589A (zh) * | 2018-04-25 | 2018-09-11 | 北京比特智学科技有限公司 | 视频处理方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107241622A (zh) * | 2016-03-29 | 2017-10-10 | 北京三星通信技术研究有限公司 | 视频定位处理方法、终端设备及云端服务器 |
-
2018
- 2018-09-12 CN CN201811060361.XA patent/CN109040838B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108211310A (zh) * | 2017-05-25 | 2018-06-29 | 深圳市前海未来无限投资管理有限公司 | 运动效果的展示方法及装置 |
| CN108521589A (zh) * | 2018-04-25 | 2018-09-11 | 北京比特智学科技有限公司 | 视频处理方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109040838A (zh) | 2018-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110855904B (zh) | 视频处理方法、电子装置和存储介质 | |
| CN112348969B (zh) | 增强现实场景下的展示方法、装置、电子设备及存储介质 | |
| CN109040838B (zh) | 一种视频数据的处理方法、装置及视频播放方法、客户端 | |
| CN107529031B (zh) | 一种板书过程的记录方法、装置、设备和存储介质 | |
| CN110942006B (zh) | 运动姿态识别方法、运动姿态识别装置、终端设备及介质 | |
| CN110730387B (zh) | 视频播放控制方法和装置、存储介质及电子装置 | |
| CN109040780A (zh) | 一种视频处理方法及服务器 | |
| WO2017206748A1 (zh) | 一种视频播放控制方法、装置及视频播放系统 | |
| CN110324679B (zh) | 一种视频数据处理方法及装置 | |
| CN114339285B (zh) | 知识点的处理方法、视频处理方法、装置及电子设备 | |
| CN108521589A (zh) | 视频处理方法和装置 | |
| CN109104619B (zh) | 用于直播的图像处理方法和装置 | |
| CN112511859B (zh) | 一种视频处理方法、装置和存储介质 | |
| CN114064974A (zh) | 信息处理方法、装置、电子设备、存储介质及程序产品 | |
| CN110248235B (zh) | 软件教学方法、装置、终端设备及介质 | |
| CN106936830B (zh) | 一种多媒体数据的播放方法和装置 | |
| JP2020095615A (ja) | 生成装置、生成方法および生成プログラム | |
| US20200092444A1 (en) | Playback method, playback device and computer-readable storage medium | |
| CN109040848B (zh) | 弹幕倒放方法、装置、电子设备及存储介质 | |
| CN112055257B (zh) | 视频课堂的互动方法、装置、设备及存储介质 | |
| US20230353700A1 (en) | Processing method for board-writing display and related apparatus | |
| CN111143007A (zh) | 一种页面控制方法、装置、设备及介质 | |
| CN113031846B (zh) | 用于展示任务的描述信息的方法、装置及电子设备 | |
| CN112312205B (zh) | 一种视频处理方法、装置、电子设备和计算机存储介质 | |
| CN111988520B (zh) | 一种画面切换方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40001275 Country of ref document: HK |
|
| TA01 | Transfer of patent application right |
Effective date of registration: 20200513 Address after: 310052 room 508, floor 5, building 4, No. 699, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province Applicant after: Alibaba (China) Co.,Ltd. Address before: 200241, room 2, floor 02, building 555, Dongchuan Road, Minhang District, Shanghai Applicant before: Transmission network technology (Shanghai) Co., Ltd |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |