CN114245193A - 显示控制方法、装置和电子设备 - Google Patents
显示控制方法、装置和电子设备 Download PDFInfo
- Publication number
- CN114245193A CN114245193A CN202111572256.6A CN202111572256A CN114245193A CN 114245193 A CN114245193 A CN 114245193A CN 202111572256 A CN202111572256 A CN 202111572256A CN 114245193 A CN114245193 A CN 114245193A
- Authority
- CN
- China
- Prior art keywords
- video frame
- target video
- image
- target
- object image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 91
- 230000015654 memory Effects 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 9
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 102100025824 Palmitoyl-protein thioesterase 1 Human genes 0.000 description 104
- 101710119219 Protachykinin-1 Proteins 0.000 description 104
- 101710129069 Serine/threonine-protein phosphatase 5 Proteins 0.000 description 104
- 101710199542 Serine/threonine-protein phosphatase T Proteins 0.000 description 104
- 229920000470 poly(p-phenylene terephthalate) polymer Polymers 0.000 description 104
- 102000005327 Palmitoyl protein thioesterase Human genes 0.000 description 45
- 108020002591 Palmitoyl protein thioesterase Proteins 0.000 description 45
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 101150085646 PPT3 gene Proteins 0.000 description 11
- 230000000694 effects Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 3
- 241000251468 Actinopterygii Species 0.000 description 2
- 241000271566 Aves Species 0.000 description 2
- 241000238631 Hexapoda Species 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 101100084118 Caenorhabditis elegans ppt-1 gene Proteins 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000006748 scratching Methods 0.000 description 1
- 230000002393 scratching effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4334—Recording operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种显示控制方法、装置、电子设备和存储介质,属于电子技术领域。显示控制方法包括:显示目标视频的播放界面;在所述播放界面显示第一视频帧的情况下,显示第一对象图像,其中,所述第一对象图像为与所述第一视频帧关联的图像,所述第一对象图像包括所述第一视频帧中目标对象显示区的图像。
Description
技术领域
本申请属于摄像技术领域,具体涉及一种显示控制方法、装置、电子设备和存储介质。
背景技术
在目前的教学或会议等工作场景中,往往会进行PPT投屏演示或存在多个文字演示区域。在视频录制时也会囊括这些重要内容。然而长时间录制视频,用户想要在录制的视频中获取PPT内容或文字区域里面的信息是非常麻烦的。如:想要获取一个三小时会议视频或教学视频里的PPT内容,只能在视频中逐帧查看画面才能查看该PPT内容。即现有录制视频功能得到的视频中查看PPT内容或文字区域里面的信息,操作繁琐,难以快速获取PPT内容或文字区域里面的信息等目标内容。
发明内容
本申请实施例的目的是提供一种显示控制方法、装置、电子设备和存储介质,提高在录制得到的视频中获取目标内容的效率。第一方面,本申请实施例提供了一种显示控制方法,该方法包括:
显示目标视频的播放界面;
在所述播放界面显示第一视频帧的情况下,显示第一对象图像,其中,所述第一对象图像为与所述第一视频帧关联的图像,所述第一对象图像包括所述第一视频帧中目标对象显示区的图像。
第二方面,本申请实施例提供了一种显示控制的装置,显示控制的装置包括:
第一显示模块,用于显示目标视频的播放界面;
第二显示模块,用于在所述播放界面显示第一视频帧的情况下,显示第一对象图像,其中,所述第一对象图像为与所述第一视频帧关联的图像,所述第一对象图像包括所述第一视频帧中目标对象显示区的图像。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
在本申请实施例中通过目标视频的播放界面显示第一视频帧的情况下,显示第一对象图像,由于第一对象图像为与第一视频帧关联的图像,第一对象图像包括第一视频帧中目标对象显示区的图像。从而用户可以在对目标视频进行回溯时,快速地获知目标视频播放的第一视频帧中目标对象显示区对应的第一对象图像,以及获取第一对象图像在目标视频中所对应的位置。从而用户能快速地获知目标视频中的视频内容分布情况,能够快速地选择目标视频中感兴趣内容的时间点进行学习,提高在录制得到的视频中获取目标内容的效率。
附图说明
图1是本申请提供的显示控制方法的流程示意图之一;
图2是本申请提供的显示控制方法的流程示意图之二;
图3是本申请的电子设备对一个对象图像进行录制的示意图;
图4是本申请提供的显示控制方法的流程示意图之三;
图5是本申请的电子设备对多个对象图像进行录制的示意图;
图6是本申请提供的显示控制方法的流程示意图之四;
图7是本申请提供的显示控制方法的流程示意图之五;
图8是本申请提供的显示控制方法的流程示意图之六;
图9是本申请提供的显示控制方法的流程示意图之七;
图10是本申请提供的显示控制方法的流程示意图之八;
图11是本申请的电子设备显示预览标识的示意图之一;
图12是本申请的电子设备显示预览标识的示意图之二;
图13是本申请提供的显示控制方法的流程示意图之九;
图14是本申请的电子设备接收用户对预览标识PPT1的第二输入,响应于所述第二输入,显示所述预览标识PPT1指示的PPT1对象图像的示意图;
图15是本申请提供的显示控制方法的流程示意图之十;
图16是用户对第三对象图像进行第三输入,电子设备将显示内容更新为第三对象图像关联的第二视频帧的示意图;
图17是本申请提供的显示控制方法的流程示意图之十一;
图18是本申请的电子设备启动做笔记功能的示意图;
图19是本申请提供的显示控制的装置的模块示意图;
图20是本申请提供的电子设备的结构示意图之一;
图21是本申请提供的电子设备的结构示意图之二。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的显示控制方法进行详细地说明。
请参照图1,本申请实施例的显示控制方法包括:
步骤200、显示目标视频的播放界面;
通过电子设备显示目标视频的播放界面。其中,电子设备可以是各种常见的终端设备,如智能手机,平板电脑,可穿戴智能设备,个人电脑等。目标视频是电子设备完成视频录制之后生成的视频。
步骤300、在所述播放界面显示第一视频帧的情况下,显示第一对象图像,其中,所述第一对象图像为与所述第一视频帧关联的图像,所述第一对象图像包括所述第一视频帧中目标对象显示区的图像。
其中,第一视频帧为目标视频中任意一个关联有对象图像的视频帧。第一对象图像为与所述第一视频帧关联的图像。当在电子设备的播放界面显示第一视频帧的情况下,播放界面即显示第一视频帧中目标对象显示区的图像,即第一对象图像。
具体的,对象图像可以是各种场景用户密切关注的目标对象显示区的目标。例如在电商直播的场景中,对象图像可以是网络导购员推荐的商品图像。在电商直播的场景中,目标视频是在网络导购员推销商品的过程中,对着网络导购员推销的商品录像得到的商品推销过程的视频。
在教学场景中,对象图像可以是老师在授课时用的PPT图像10,或者是老师书写教学内容的黑板图像20。在教学场景中,目标视频是在老师授课的过程中,对着PPT图像10和/或黑板图像20录像得到的授课过程的视频。
在城市拍摄场景中,对象图像可以是用户拍摄的建筑物图像,静态景物图像(如花、鸟、虫、鱼等)。在城市拍摄场景中,目标视频是在用户拍摄的过程中,对着建筑物图像,静态景物图像(如花、鸟、虫、鱼等)录像得到的城市拍摄过程的视频。
另外,视频帧都有其对应的视频帧的帧码,帧码为每个视频帧的ID号。例如,视频的第一帧、第二帧和第三帧对应的帧码分别是00001、00002和00003。通过视频帧的帧码与对应的对象图像进行关联。具体的,建立视频帧的帧码和对应的对象图像的映射关系。当所述播放界面显示第一视频帧的情况下,显示第一视频帧的帧码对应的第一对象图像。例如PPT图像10在目标视频的帧码为1080帧的位置进行切换。播放界面显示1080帧的时候,播放1080帧对应的第一对象图像,通过视频帧的帧码可以对录制视频中PPT图像10的变化的位置进行准确的记录。
通过目标视频的播放界面显示第一视频帧的情况下,显示第一对象图像,由于第一对象图像为与第一视频帧关联的图像,第一对象图像包括第一视频帧中目标对象显示区的图像。从而用户可以在对目标视频进行回溯时,快速地获知目标视频播放的第一视频帧中目标对象显示区对应的第一对象图像,从而将第一视频帧与第一视频帧中PPT内容对应的第一对象图像进行关联;以及获取第一对象图像在目标视频中所对应的位置。从而用户能快速地获知目标视频中的视频内容分布情况,能够快速地选择目标视频中感兴趣内容的时间点进行观看,提高在录制得到的视频中获取目标内容的效率。
本申请的其他方面,请参照图2,步骤200、所述显示目标视频的播放界面之前,还包括:
步骤110、在录制目标视频的过程中,确定至少一个目标视频帧,所述目标视频帧包括预设对象类型的对象显示区。
预设对象类型的对象显示区可以包括目标视频帧中的一个对象显示区。以教学场景为例,预设对象类型的对象显示区可以是老师在教学过程中演示的PPT内容。例如图3中的一个对象图像是PPT图像10。此时PPT图像10显示“1+1=2”,表示老师在数学课通过PPT进行“1+1=2”的教学的应用场景。每个目标视频帧都包括有老师在教学过程中的PPT图像10。
步骤120、抠取每个目标视频帧中所述对象显示区的图像,得到至少一个对象图像。
通过电子设备抠取每个目标视频帧中的PPT图像10,得到至少一个包含PPT图像10的对象图像。本实施例中每个目标视频帧与其对象图像一一对应。对象图像的数量与目标视频帧的数量相同。
步骤130、将每个对象图像和对应的目标视频帧关联存储。
通过电子设备将每个对象图像和对应的目标视频帧关联存储。以供在目标视频播放界面中,当播放到目标视频帧时,显示目标视频帧对应的对象图像。如,在当播放到第1080视频帧时,显示1080视频帧对应的PPT1图像。以便用户可以在对目标视频进行回溯时,快速地获知目标视频播放的第一视频帧中目标对象显示区对应的第一对象图像,从而将第一视频帧与第一视频帧中PPT内容对应的第一对象图像进行关联。提高在录制得到的视频中获取目标内容的效率。
本申请的其他方面,请参照图4,所述至少一个目标视频帧包括预设第一对象类型的第一对象显示区和预设第二对象类型的第二对象显示区。即预设对象类型的对象显示区的个数还可包括两个或两个以上。例如,在教学场景中,预设第一对象类型的第一对象显示区可以是目标视频帧中对应PPT内容的显示区;预设第二对象类型的第二对象显示区可以是目标视频帧中对应着黑板的显示区。
步骤120、所述抠取每个目标视频帧中所述对象显示区的图像,得到至少一个对象图像,包括:
步骤120a、抠取每个目标视频帧中所述第一对象显示区的图像,得到至少一个第一对象图像,并抠取每个目标视频帧中所述第二对象显示区的图像,得到至少一个第二对象图像。
例如,在教学场景中,第一对象显示区可以是PPT对象显示区,第二对象显示区可以是黑板对象显示区。请参照图5,图5表示本申请的电子设备对多个对象图像进行录制的示意图。图5中的多个对象图像包括PPT图像10和黑板图像20。PPT图像10为第一对象图像,黑板图像20为第二对象图像。例如图5中的PPT图像10显示“1+1=2”,在图5中的黑板图像20显示“1+2=3”,此时表示老师通过PPT和黑白进行教学的应用场景。具体的场景为老师在PPT图像10显示“1+1=2”后,为了向学生提问,在黑板上写下了1+2等于几的问题,并最终显示黑板图像20所示的“1+2=3”的答案。
步骤130、所述将每个对象图像和对应的目标视频帧关联存储,包括:
步骤130a、将每个所述第一对象图像、所述第二对象图像和对应的目标视频帧关联存储。
通过电子设备将每个所述第一对象图像、所述第二对象图像和对应的目标视频帧关联存储。例如,电子将每个PPT图像10、黑板图像20和对应的目标视频帧关联存储。以便用户可以在对目标视频进行回溯时,当目标视频的播放界面的播放到各个目标视频帧时,快速地获知各个目标视频播放的目标视频帧对应的PPT图像10(第一对象图像)和黑板图像20(第二对象图像)。从而用户得到目标视频帧与PPT图像10和黑板图像20之间的关联,提高在录制得到的视频中获取目标内容的效率。
本申请的其他方面,请参照图6,步骤110、所述确定至少一个目标视频帧,包括:
步骤111a、获取第一视频帧和第二视频帧,所述第一视频帧的采集时间早于所述第二视频帧;
本实施例基于PPT内容存在动画的情况进行说明。电子设备获取第一视频帧和第二视频帧。其中,第一视频帧和第二视频帧分别指的一张包括动画效果的完整PPT图像10中逐步显示的两个视频帧。例如在目标视频的1分00秒时采集到第一视频帧,此时第一视频帧中的PPT内容中显示图像A的内容(此时图像A为完整PPT图像10的一部分,另一部分在播放第二视频帧时显示完全);目标视频的2分00秒时采集到第二视频帧,此时第二视频帧的PPT内容中显示完整PPT图像10的内容。
步骤112a、获取所述第一视频帧和所述第二视频帧的所述对象显示区之间的第一图像内容差异值;
通过电子设备获取所述第一视频帧和所述第二视频帧的对象显示区之间的第一图像内容差异值。例如通过电子设备使用AI算法获取所述第一视频帧对应的第一PPT图像10,以及通过电子设备使用AI算法获取所述第二视频帧对应的第二PPT图像10。基于上述第一PPT图像10和第二PPT图像10获取第一视频帧和第二视频帧的对象显示区之间的第一图像内容差异值。
步骤113a、在所述第一图像内容差异值小于预设第一阈值的情况下,将所述第二视频帧确定为目标视频帧。
当所述第一图像内容差异值小于预设第一阈值的情况下,此时第一视频帧和所述第二视频帧之间可认为是同一张PPT图像10内逐步显示的两帧图像。此时电子设备应该将所述第二视频帧确定为目标视频帧。即电子设备应该将完整显示整张PPT内容的图像的视频帧作为目标视频帧。
举例言之,例如目标视频的2分钟到5分钟这3分钟的时间内,更新了四张PPT,如:PPT2、PPT3、PPT4、PPT5依次增加某一页PPT图像10的4个部分的内容。例如在PPT1(即第一页PPT)里面显示一行字“我最喜欢的作家有:”。在PPT2里面,在PPT1的基础上更新了一行字“作家A”,此时PPT2显示了完整PPT图像10的20%的内容,然后记录这一帧作为起始点,可以通过AI算法分割出来PPT2的图像。在PPT3里面,在PPT2的基础上更新了一行字“作家B”,此时PPT3显示了完整PPT图像10的50%的内容,然后记录这一帧作为起始点,可以通过AI算法分割出来PPT3的图像。在PPT4里面,在PPT3的基础上更新了一行字“作家C”,此时PPT4显示了完整PPT图像10的80%的内容,然后记录这一帧作为起始点,可以通过AI算法分割出来PPT4的图像。在PPT5里面,在PPT4的基础上更新了一行字“作家D”,此时PPT5显示了完整PPT图像10的100%的内容,那么PPT5里面显示的内容包括五行字:“我最喜欢的作家有:”、“作家A”、“作家B”、“作家C”、作家D”。然后记录这一帧作为起始点,可以通过AI算法分割出来PPT 5的图像。此时由于PPT2、PPT3、PPT4、PPT5中相邻的两个PPT图像10之间的内容差异值小于预设第一阈值,此时即说明PPT2、PPT3、PPT4分别为一张完整PPT图像10中逐步显示的中间PPT图像。此时将PPT5作为目标视频帧,以便电子设备将目标视频帧与目标视频帧中对象显示区的对象图像进行关联存储。从而在播放界面播放到目标视频帧时,能够将表示PPT完整内容的PPT图像10与目标视频帧进行关联显示。而不将PPT图像10的中间状态进行显示。保证用户能够获取到完整的PPT内容的PPT图像10。
其中,上述AI算法可采用LSTM(Long Short Term Memory,长短期记忆网络)+CTC(Connectionist Temporal Classifier,联接时间分类器)识别算法,CRNN(ConvolutionalRecurrent Neural Network,卷积循环神经网络)识别算法等。预设第一阈值可根据实际情况设置。例如设置预设第一阈值为70%。需要说明的是上述列举的预设第一阈值的具体数值只是为了本领域技术人员理解本申请的技术方案,不应理解为对本申请的预设第一阈值的具体限制。
本申请的其他方面,请参照图7,步骤110、所述确定至少一个目标视频帧,包括:
步骤111b、获取第三视频帧和第四视频帧,所述第三视频帧的采集时间早于所述第四视频帧;
本实施例基于PPT内容不存在动画的情况进行说明。通过电子设备获取第三视频帧和第四视频帧,此时第三视频帧和第四视频帧为对象显示区的PPT内容不同的两帧。第三视频帧的采集时间早于所述第四视频帧。例如在目标视频的4分00秒时采集到第三视频帧,在目标视频的5分00秒时采集到第四视频帧。
步骤112b、获取所述第三视频帧和所述第四视频帧的所述对象显示区之间的第二图像内容差异值;
通过电子设备获取所述第三视频帧和所述第四视频帧的对象显示区之间的第二图像内容差异值。例如通过电子设备使用AI算法获取所述第三视频帧对应的第三PPT图像,以及通过电子设备使用AI算法获取所述第四视频帧对应的第四PPT图像。基于上述第三PPT图像和第四PPT图像获取第三视频帧和第四视频帧的对象显示区之间的第一图像内容差异值。
可以理解地,当需要的对象图像是黑板时,第三PPT图像也可替换为第三黑板图像,第四PPT图像也可替换为第四黑板图像。
步骤113b、在所述第二图像内容差异值大于预设第二阈值的情况下,将所述第四视频帧确定为目标视频帧。
在所述第二图像内容差异值大于预设第二阈值时,此时说明第四视频帧的对象显示区与第三视频帧的对象显示区之间差异较大,即目标视频录制到第四视频帧时,PPT内容发生了切换,此时确定PPT图像10发生切换的第四视频帧为目标视频帧。
在第三视频帧的对象显示区显示PPT1的内容,例如第三视频帧的对象显示区显示作家A的生平介绍以及主要作品。在第四视频帧的对象显示区显示PPT2的内容,例如第四视频帧的对象显示区显示作家B的生平介绍以及主要作品。由于PPT2与PPT1之间内容差异值大于预设第二阈值,作家B的生平介绍以及主要作品与作家A的生平介绍以及主要作品显然是两个不同主题的PPT内容。此时说明第四视频帧的对象显示区的PPT2与第三视频帧的对象显示区的PPT1不同,即PPT内容发生了切换,此时确定PPT2所在的第四视频帧为目标视频帧。从而在目标视频播放界面,在播放到第四视频帧时,能够显示第四视频帧的对象显示区的PPT图像10,从而用户得到目标视频帧与PPT图像10之间的关联,提高在录制得到的视频中获取目标内容的效率。
预设第二阈值可根据实际情况设置。例如设置预设第二阈值为70%。需要说明的是上述列举的预设第二阈值的具体数值只是为了本领域技术人员理解本申请的技术方案,不应理解为对本申请的预设第二阈值的具体限制。
本申请的其他方面,请参照图8,步骤110、所述确定至少一个目标视频帧,包括:
步骤111c、在接收到用户对目标视频的录制界面显示的第五视频帧的第一输入的情况下,响应于所述第一输入,将第五视频帧确定为所述目标视频帧。
通过接收用户的第一输入,响应于所述第一输入,将视频录制过程中录制界面显示的第五视频帧作为所述目标视频帧。其中,所述第一输入包括手势输入、语音输入或点击输入。具体的,手势输入包括向电子设备的屏幕输出预设手势操作(如在屏幕上画出“C”字形)等。电子设备响应于预设手势操作,将录制界面显示的第五视频帧作为所述目标视频帧。语音输入包括在录制过程中对电子设备呼出“标记目标视频帧”的语音,电子设备响应于“标记目标视频帧”的语音,将视频录制过程中录制界面显示的第五视频帧作为所述目标视频帧。点击输入包括用户在电子设备上的点击屏幕(如双击屏幕)或者或用户在智能手机上的触摸物理按键(如音量键)的操作,例如录制过程中用户在电子设备上的双击屏幕,此时电子设备将视频录制过程中录制界面显示的第五视频帧作为目标视频帧。
通过用户的第一输入自由选择目标视频帧,用户可根据自己的需要标记目标视频帧,并将目标视频帧和目标视频帧的对象显示区的PPT图像10进行关联存储,从而便于在显示目标视频帧时,显示目标视频帧对应的PPT图像10,提高在录制视频中标记目标内容的自由度和灵活性,以及提高在录制得到的视频中获取目标内容的效率。
在本申请的其他方面,请参照图9,步骤110、所述确定至少一个目标视频帧,
步骤111d、确定第一目标视频帧和第二目标视频帧,所述第一目标视频帧和所述第二目标视频帧之间包括N个视频帧,N为正整数;
其中,第一目标视频帧和第二目标视频帧之间的至少包括一个视频帧,即N大于等于1。
步骤110、所述确定至少一个目标视频帧之后,还包括:
步骤120b、基于所述第一目标视频帧和所述N个视频帧,生成第一视频片段;
步骤130b、将所述第一视频片段和所述第一目标视频帧关联存储。
例如,N个视频帧包括两个视频帧,即N1视频帧和N2视频帧。例如第一目标视频帧中对象显示区对应的对象图像是PPT1图像,而N1视频帧中对象显示区对应的对象图像是PPT2图像。电子设备通过将目标视频中第一目标视频帧和N1视频帧之间的视频片段生成第一视频片段,并自动将第一视频片段和所述第一目标视频帧关联存储,无需用户的操作。从而在目标视频的播放界面中,便于将第一视频片段与第一目标视频帧进行关联。让用户快速获知第一视频片段所讲解的内容是第一目标视频帧对应的对象图像的内容。从而提高在录制得到的视频中获取目标内容的效率。
另外,电子设备还可将多个视频帧对应的小的视频片段合并,生成第一视频片段。例如N个视频帧包括两个视频帧,即N1视频帧和N2视频帧。第一目标视频帧对应的小的视频片段包括从第一目标视频帧到N1视频帧之间的视频片段;N1视频帧对应的小的视频片段包括从N1视频帧到N2视频帧之间的视频片段。电子设备可将目标视频中第一目标视频帧和N2视频帧之间的视频片段作为第一视频片段。并将第一视频片段和所述第一目标视频帧关联存储。例如,第一目标视频帧中的PPT内容为“加法运算”,N1视频帧的PPT内容为“1+1=2”;N2视频帧的PPT内容为“1+2=3”。电子设备可将目标视频中第一目标视频帧和N2视频帧之间的视频片段作为第一视频片段。从而将讲解“1+1=2”的教学过程的第一视频片段与显示“加法运算”的第一目标视频帧关联存储。
在本申请的其他方面,请参照图10,步骤110、所述确定至少一个目标视频帧之后,还包括:
步骤120c、基于每个目标视频帧,生成预览标识;
电子设备基于每个目标视频帧,生成预览标识30。其中预览标识包括文字标注或竖线文字。文字标注可以是PPT序号或者PPT或黑板内容的概要。
步骤130c、将每个预览标识和对应的目标视频帧关联存储;
其中,所述目标视频的播放界面包括播放进度条,所述播放进度条上包括至少一个预览标识,所述预览标识用于指示与一个目标视频帧关联存储的对象图像。
电子设备将每个预览标识和对应的目标视频帧关联存储,以便在目标视频的播放界面的播放进度条上显示各个预览标识。电子设备可在所述目标视频的播放进度条的目标视频帧上对应设置PPT的序号(如PTT1(11))或PPT的具体内容,或者通过在目标视频的播放进度条的目标视频帧上对应设置竖线,并在竖线远离播放进度条的端部设置PPT的序号(如PTT1)。例如请参照图11,图11是本申请的电子设备基于一个对象图像进行标识的示意图。图11中,电子设备在目标视频的进度条的目标视频帧上设置竖线,并在竖线远离进度条的端部设置PPT的序号(即PTT1(11)、PTT2、PTT3、PTT4)。例如,图11中目标视频为在教学场景中教师通过PPT讲解简单的加法运算的教学视频。预览标识可通过在目标视频的进度条的目标视频帧上设置竖线,并在竖线远离进度条的端部设置PPT的序号实现。例如,图11中PPT1(11)显示的内容为“1+1=2”。
可以理解的,对于多个对象图像的情况,电子设备可在目标视频的播放进度条的目标视频帧上表示多个对象图像的信息。请参照图12,例如,图12是本申请的电子设备基于多个对象图像进行标识的示意图;电子设备可在目标视频的播放进度条的目标视频帧上设置竖线,并在竖线远离进度条的端部同时标注PPT的序号和黑板的信息(即(PTT1,黑板)、(PTT2(12),黑板)、(PTT3,黑板)、(PTT4,黑板))。图12中,目标视频为在教学场景中教师通过PPT讲解简单的加法运算的教学视频。预览标识可通过在目标视频的进度条的目标视频帧上设置竖线,并在竖线远离进度条的端部设置PPT的序号和黑板的信息实现。例如,图12中PPT1(12)显示的内容为“2+2=4”;黑板20显示的内容为“2+3=5”。
对于其他应用场景,例如在电商直播的场景中,电子设备在目标视频的播放进度条表示目标商品的目标视频帧上设置竖线,并在竖线远离进度条的端部同时标注商品的序号和/或图像信息。用户通过观察预览标识即可获知某个视频片段对应的商品情况,从而选择自己喜欢的商品对应的视频片段进行观看。
通过基于每个目标视频帧,生成预览标识,并在目标视频的播放界面的播放进度条显示预览标识,从而用户通过观察预览标识即可获知某个视频段对应的主要内容,从而用户能快速地获知目标视频中的视频内容分布情况,以及快速地选择目标视频中感兴趣内容的视频帧进行观看,提高在录制得到的视频中获取目标内容的效率。
需要说明的是,在目标视频的播放进度条上的预览标识的提醒下,用户可根据预览标识对目标视频进行分割,例如包括播放进度条上的预览标识包括预览标识1,预览标识2和预览标识3。用户可将目标视频分割为视频起始点到预览标识1的第一视频片段,预览标识1到预览标识2的第二视频片段,预览标识2到预览标识3的第二视频片段以及预览标识3到视频结尾点的第四视频片段。
另外,用户除了根据进度条上的每个标识对目标视频进行分割。用户还可在目标视频的进度条上间隔多个标识进行切割,例如,将目标视频分割为视频起始点到预览标识3的第一视频片段,以及预览标识3到视频结尾点的第二视频片段。
通过在目标视频的播放进度条上的预览标识,便于用户基于预览标识进行后期编辑目标视频。
在本申请的其他方面,请参照图13,步骤200、所述显示目标视频的播放界面之后,还包括:
步骤300a、接收用户对所述至少一个预览标识中的目标预览标识的第二输入;
其中,第二输入为用户对播放进度条上的目标预览标识的选择操作,具体的,用户可通过在智能手机的屏幕上点击播放进度条上的目标预览标识从而选中目标预览标识,或者通过触控笔点击播放进度条上的目标预览标识等方式选中目标预览标识。
步骤400a、响应于所述第二输入,显示所述目标预览标识指示的对象图像。
电子设备响应于所述第二输入,在播放目标视频的同时显示所述目标预览标识指示的对象图像。从而用户能够边看目标视频边看当前视频帧对应的对象图像(PPT图像10和/或黑板图像20)。将当前视频帧与对应的对象图像进行关联,实现更好的学习效果。
其中,在目标视频的播放界面,目标预览标识指示的对象图像可通过分屏或窗口的方式进行显示。具体的,例如屏幕的左半区域播放目标视频,在屏幕的右半区域显示用户的第二输入对应的目标预览标识指示的PPT1(11)。或者在目标视频的播放界面,通过窗口的方式显示用户的第二输入对应的目标预览标识指示的对象图像。请参照图14,当处于数学教学场景时,屏幕的左半区域播放目标视频如图14中“加法运算”所示,在屏幕的右半区域显示用户的第二输入对应的目标预览标识指示的PPT1(11),例如图14显示的“1+1=2”。
本申请的目标视频包括至少两个目标视频帧;显示控制方法还包括:
步骤400b、按照对象图像在所述目标视频中出现的时间先后顺序,将至少两个对象图像进行图像合成,输出合成图像。
在一些情况下,用户不想回看录制的目标视频,而只想得到目标视频对应的完成的对象图像。对象图像以PPT为例。因此,电子设备还可以基于对象图像在所述目标视频中出现的时间先后顺序,将至少两个对象图像进行图像合成,输出合成图像。例如,目标视频中对象图像有PPT1,PPT2,PPT3。基于PPT1,PPT2,PPT3的时间顺序。将PPT1,PPT2,PPT3合并成一张合成图像。在后续查看合成图像时,用户可通过滑动智能手机的屏幕,从左至右或由上至下,依次查看PPT1,PPT2,PPT3的内容。需要说明的是,上述的PPT内容不存在动画,即PPT内容一次显示完全,不会通过动画效果的方式逐步显示。
通过按照对象图像在所述目标视频中出现的时间先后顺序,将至少两个对象图像进行图像合成,输出合成图像。用户无需回看录制的目标视频的内容,也能够获取目标视频对应的多个对象图像,并获知多个对象图像讲解的顺序。用户能够基于对象图像进行学习,提高在录制得到的视频中获取目标内容的效率。
在本申请其他方面,所述目标视频的播放界面包括至少一个对象图像标识,所述对象图像标识用于指示一个对象图像;所述对象图像标识按照所指示的对象图像在所述目标视频中出现的时间先后顺序进行显示。
具体的,对象图像标识可通分屏的方式与目标视频的播放界面同时显示。例如,在当前屏幕的上半区域播放目标视频,在当前屏幕的下半区域按照PPT图像10在所述目标视频中出现的时间先后顺序进行依次显示PPT图像10标识。
通过按照对象图像在所述目标视频中出现的时间先后顺序显示对象图像标识,用户能够获知目标视频中多个对象图像讲解的顺序。用户能够基于对象图像进行学习,提高在录制得到的视频中获取目标内容的效率。
可以理解的,当对象图像包含多种类型时,在屏幕的下半区域按照PPT图像10和黑板图像20在所述目标视频中出现的时间先后顺序进行依次显示PPT图像10标识和黑板图像20标识。
在本申请其他方面,请参照图15,步骤130、将每个对象图像和对应的目标视频帧关联存储之后,还包括:
步骤140a、接收用户对第三对象图像的第三输入;
其中,第三对象图像为从目标视频中获取的任意对象图像。第三输入可以是各种对第三对象图像的预设操作,例如在屏幕上长按第三对象图像,双击第三对象图像等。
步骤150a、响应于所述第三输入,将所述目标视频的播放界面的显示内容更新为所述第三对象图像关联的第二视频帧。
电子设备响应于所述第三输入,将所述目标视频的播放界面的显示内容更新为所述第三对象图像关联的第二视频帧。从而播放第三对象图像对应的第二视频帧的内容。
由于第三对象图像对应着一个视频段的主要内容。用户通过第三对象图像即可知道对应的视频段所讲解的主要内容,从而方便对各个第三对象图像进行选择观看,提高在录制得到的视频中获取目标内容的效率。
例如,请参照图16,目标视频包括三个子视频,即第一子视频、第二子视频以及第三子视频。第一子视频对应的对象图像为PPT1(11),第二子视频对应的对象图像为PPT2,第三子视频对应的对象图像为PPT3。此时可在当前屏幕的下半区域显示目标视频的对象图像PPT1、PPT2以及PPT3。用户看到PPT1、PPT2以及PPT3即可知道目标视频被划分为三个子视频。并且三个子视频分别对应的三个对象图像。若用户视频回溯时只对PPT1(11)对应的视频内容感兴趣,此时用户点击下半区域的PPT1(11)的对象图像,电子设备随即播放PPT1(11)对应的视频帧。例如,当处于数学教学场景时,目标视频为如图16中所示的带有“加法运算”的PPT内容的视频,PPT1(11)对应为目标视频中讲解“1+1=2”的教学内容的子视频对应的PPT。
需要说明的是,上述的PPT内容不存在动画,即PPT内容一次显示完全,不会通过动画效果的方式逐步显示。
通过将每个对象图像和对应的目标视频帧关联存储,在显示时,只要对第三对象图像进行第三输入,目标视频的播放界面的显示内容即可跳转到第三对象图像对应的第二视频帧进行播放。从而用户能够快速地选择目标视频中感兴趣内容的对象图像(PPT图像10和/或黑板图像20)进行学习,提高在录制得到的视频中获取目标内容的效率。
在本申请的其他方面,请参照图17,步骤120、所述抠取每个目标视频帧中所述对象显示区的图像,得到至少一个对象图像之后,还包括:
步骤130b、在显示屏的第一区域显示第四目标视频帧,并在显示屏的第二区域显示第四对象图像;
其中,第四目标视频帧为目标视频中的任意目标视频帧。第一区域和第二区域可以是根据各种划分方式得到的屏幕区域。例如,在显示屏的左半区域显示第四目标视频帧,并在显示屏的右半区域显示第四目标视频帧对应的第四对象图像。
步骤140b、接收用户对所述第四对象图像的第四输入;
其中,第四输入就是用户启动做笔记功能的“触发开关”,电子设备检测到用户的第四输入,即录开启做笔记功能。同样的,第四输入包括手势输入、语音输入或点击输入。手势输入包括向电子设备的屏幕输出预设手势操作(如在屏幕上画出“C”字形)等。电子设备响应于预设手势操作,电子设备开启做笔记功能。语音输入包括在录制过程中对电子设备呼出“记录笔记”的语音,电子设备响应于“记录笔记”的语音,电子设备开启做笔记功能。点击输入包括用户在电子设备上的点击屏幕(如双击屏幕)或者或用户在智能手机上的触摸物理按键(如音量键)的操作,例如录制过程中用户在电子设备上的双击屏幕,此时电子设备开启做笔记功能。
步骤150b、响应于所述第四输入,在所述第四对象图像上显示所述第四输入所输入的信息。
电子设备响应于所述第四输入,在所述第四对象图像上显示所述第四输入所输入的信息。具体地,做笔记功能可通过分屏实现。请参照图18,例如,在屏幕的左屏幕录制视频,在屏幕的右屏幕显示PPT1(11),并接收并显示用户的第四输入。电子设备在后台将用户的第四输入与PPT1的图像进行合成显示。第四输入可以是用户在智能手机上点击触控键盘、或滑动屏幕、或通过触控笔输入的文字内容。具体地,当处于数学教学场景时,屏幕的左半区域显示第四目标视频帧,例如图18的第四目标视频帧显示老师进行“1+1=2”的教学。在屏幕的右半区域显示用户的第四输入对应的笔记内容,例如图18显示的“那1+2等于几?”的笔记内容。需要说明的是,在其他一些实施例中,做笔记功能还可通过小窗模式实现。即在当前屏幕的右上角通过小窗录制视频,在当前屏幕中除去小窗的其他区域显示第四对象图像并接收用户的第四输入。
通过在接收用户对显示的第四对象图像的第四输入,并在第四对象图像上显示所述第四输入所输入的信息。用户能够在目标视频录制过程中对当前的内容进行做笔记操作。方便后续观看目标视频时进行回忆,提高对目标视频的学习效率。
在本申请的其他方面,步骤120、所述抠取每个目标视频帧中所述对象显示区的图像,得到至少一个对象图像之后,还包括:
步骤120d、对所述对象图像进行图像质量增强处理。
可通过电子设备对对象图像进行锐化处理以达到图像质量增强的效果,在教学场景中,通过对对象图像进行锐化处理可突出PPT图像10或黑板图像20的边缘轮廓,便于目标识别。锐化处理可使用的算法有梯度法、算子、高通滤波、掩模匹配法、统计差值法等。另外,也可对对象图像进行平滑处理以达到图像质量增强的效果,通过对象图像进行平滑处理可消除对象图像的图像噪声。平滑处理可使用的算法有均值滤波、中值滤波等。
通过对对象图像进行图像质量增强处理,提高了对象图像(例如PPT图像)的图像质量,避免了用户的后期编辑和重新拍摄的麻烦,并提高观看对象图像的舒适度和体验感,同时便于电子设备根据对象图像确定目标视频帧的操作。
本申请实施例通过目标视频的播放界面显示第一视频帧的情况下,显示第一对象图像,由于第一对象图像为与第一视频帧关联的图像,第一对象图像包括第一视频帧中目标对象显示区的图像。从而用户可以在对目标视频进行回溯时,快速地获知目标视频播放的第一视频帧中目标对象显示区对应的第一对象图像,以及获取第一对象图像在目标视频中所对应的位置。从而用户能快速地获知目标视频中的视频内容分布情况,能够快速地选择目标视频中感兴趣内容的时间点进行学习,提高在录制得到的视频中获取目标内容的效率。
需要说明的是,本申请实施例提供的显示控制方法,执行主体可以为显示控制的装置,或者该显示控制的装置中的用于执行视频录制的方法的控制模块。本申请实施例中以显示控制的装置执行视频录制的的方法为例,说明本申请实施例提供的显示控制的装置。
请参照图19,显示控制的装置包括:
第一显示模块201,用于显示目标视频的播放界面;
第二显示模块202,用于在所述播放界面显示第一视频帧的情况下,显示第一对象图像,其中,所述第一对象图像为与所述第一视频帧关联的图像,所述第一对象图像包括所述第一视频帧中目标对象显示区的图像。
其中,显示控制的装置还包括:
第一确定模块,用于在录制目标视频的过程中,确定至少一个目标视频帧,所述目标视频帧包括预设对象类型的对象显示区;
第一获取模块,用于抠取每个目标视频帧中所述对象显示区的图像,得到至少一个对象图像;
第一关联存储模块,用于将每个对象图像和对应的目标视频帧关联存储。
其中,所述至少一个目标视频帧包括预设第一对象类型的第一对象显示区和预设第二对象类型的第二对象显示区;
第一获取模块,包括:
第一子获取模块,用于抠取每个目标视频帧中所述第一对象显示区的图像,得到至少一个第一对象图像,并抠取每个目标视频帧中所述第二对象显示区的图像,得到至少一个第二对象图像;
第一关联存储模块包括:
第一子关联存储模块,用于将每个所述第一对象图像、所述第二对象图像和对应的目标视频帧关联存储。
其中,第一确定模块包括:
第二子获取模块,用于获取第一视频帧和第二视频帧,所述第一视频帧的采集时间早于所述第二视频帧;
第三子获取模块,用于获取所述第一视频帧和所述第二视频帧的所述对象显示区之间的第一图像内容差异值;
第一子确定模块,用于在所述第一图像内容差异值小于预设第一阈值的情况下,将所述第二视频帧确定为目标视频帧。
其中,第一确定模块包括:
第四子获取模块,用于获取第三视频帧和第四视频帧,所述第三视频帧的采集时间早于所述第四视频帧;
第五子获取模块,用于获取所述第三视频帧和所述第四视频帧的所述对象显示区之间的第二图像内容差异值;
第二子确定模块,用于在在所述第二图像内容差异值大于预设第二阈值的情况下,将所述第四视频帧确定为目标视频帧。
其中,第一确定模块包括:
第三子确定模块,用于在接收到用户对目标视频的录制界面显示的第五视频帧的第一输入的情况下,响应于所述第一输入,将第五视频帧确定为所述目标视频帧。
其中,第一确定模块包括:
第四子确定模块,用于确定第一目标视频帧和第二目标视频帧,所述第一目标视频帧和所述第二目标视频帧之间包括N个视频帧,N为正整数;
显示控制的装置还包括:
第一生成模块,用于基于所述第一目标视频帧和所述N个视频帧,生成第一视频片段;
第二子关联存储模块,用于将所述第一视频片段和所述第一目标视频帧关联存储。
显示控制的装置还包括:
第二生成模块,用于基于每个目标视频帧,生成预览标识;
第三子关联存储模块,用于将每个预览标识和对应的目标视频帧关联存储;
其中,所述目标视频的播放界面包括播放进度条,所述播放进度条上包括至少一个预览标识,所述预览标识用于指示与一个目标视频帧关联存储的对象图像。
显示控制的装置还包括:
第一接收模块,用于接收用户对所述至少一个预览标识中的目标预览标识的第二输入;
第三显示模块,用于响应于所述第二输入,显示所述目标预览标识指示的对象图像。
其中,所述目标视频的播放界面包括至少一个对象图像标识,所述对象图像标识用于指示一个对象图像;所述对象图像标识按照所指示的对象图像在所述目标视频中出现的时间先后顺序进行显示。
所述目标视频包括至少两个目标视频帧;显示控制的装置还包括:
图像合成模块,用于按照对象图像在所述目标视频中出现的时间先后顺序,将至少两个对象图像进行图像合成,输出合成图像。
显示控制的装置还包括:
第二接收模块,用于接收用户对第三对象图像的第三输入;
第一更新模块,用于响应于所述第三输入,将所述目标视频的播放界面的显示内容更新为所述第三对象图像关联的第二视频帧。
显示控制的装置还包括:
第四显示模块,用于在显示屏的第一区域显示第四目标视频帧,并在显示屏的第二区域显示第四对象图像;
第二接收模块,用于接收用户对所述第四对象图像的第四输入;
第五显示模块,用于响应于所述第四输入,在所述第四对象图像上显示所述第四输入所输入的信息。
显示控制的装置还包括:
图像增强模块,用于对所述对象图像进行图像质量增强处理。
本申请实施例的显示控制的装置通过目标视频的播放界面显示第一视频帧的情况下,显示第一对象图像,由于第一对象图像为与第一视频帧关联的图像,第一对象图像包括第一视频帧中目标对象显示区的图像。从而用户可以在对目标视频进行回溯时,快速地获知目标视频播放的第一视频帧中目标对象显示区对应的第一对象图像,得到第一视频帧与第一对象图像之间的关联;以及获取第一对象图像在目标视频中所对应的位置。从而用户能快速地获知目标视频中的视频内容分布情况,能够快速地选择目标视频中感兴趣内容的时间点进行观看,提高在录制得到的视频中获取目标内容的效率。
本申请实施例中的显示控制的装置可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personaldigital assistant,PDA)等,非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的显示控制的装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的显示控制的装置能够实现图1至图13的方法实施例实现的各个过程,为避免重复,这里不再赘述。
可选地,如图20所示,本申请实施例还提供一种电子设备2000,包括处理器2001,存储器2002,存储在存储器2002上并可在所述处理器2001上运行的程序或指令,该程序或指令被处理器2001执行时实现上述显示控制方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图21为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备2000包括但不限于:射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器2002、以及处理器2001等部件。
本领域技术人员可以理解,电子设备100还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器2001逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图21中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,显示单元1006,用于显示目标视频的播放界面;还用于在所述播放界面显示第一视频帧的情况下,显示第一对象图像,其中,所述第一对象图像为与所述第一视频帧关联的图像,所述第一对象图像包括所述第一视频帧中目标对象显示区的图像。
本申请实施例的电子设备通过目标视频的播放界面显示第一视频帧的情况下,显示第一对象图像,由于第一对象图像为与第一视频帧关联的图像,第一对象图像包括第一视频帧中目标对象显示区的图像。从而用户可以在对目标视频进行回溯时,快速地获知目标视频播放的第一视频帧中目标对象显示区对应的第一对象图像,以及获取第一对象图像在目标视频中所对应的位置。从而用户能快速地获知目标视频中的视频内容分布情况,能够快速地选择目标视频中感兴趣内容的时间点进行学习,提高在录制得到的视频中获取目标内容的效率。
可选地,处理器2001,用于在录制目标视频的过程中,确定至少一个目标视频帧,所述目标视频帧包括预设对象类型的对象显示区;抠取每个目标视频帧中所述对象显示区的图像,得到至少一个对象图像;将每个对象图像和对应的目标视频帧关联存储。
可选地,所述至少一个目标视频帧包括预设第一对象类型的第一对象显示区和预设第二对象类型的第二对象显示区;
可选地,处理器2001,用于抠取每个目标视频帧中所述第一对象显示区的图像,得到至少一个第一对象图像,并抠取每个目标视频帧中所述第二对象显示区的图像,得到至少一个第二对象图像;将每个所述第一对象图像、所述第二对象图像和对应的目标视频帧关联存储。
可选地,处理器2001,用于获取第一视频帧和第二视频帧,所述第一视频帧的采集时间早于所述第二视频帧;获取所述第一视频帧和所述第二视频帧的所述对象显示区之间的第一图像内容差异值;在所述第一图像内容差异值小于预设第一阈值的情况下,将所述第二视频帧确定为目标视频帧。
可选地,处理器2001,用于获取第三视频帧和第四视频帧,所述第三视频帧的采集时间早于所述第四视频帧;获取所述第三视频帧和所述第四视频帧的所述对象显示区之间的第二图像内容差异值;在所述第二图像内容差异值大于预设第二阈值的情况下,将所述第四视频帧确定为目标视频帧。
可选地,用户输入单元1007用于在接收到用户对目标视频的录制界面显示的第五视频帧的第一输入的情况下;处理器2001,用于响应于所述第一输入,将第五视频帧确定为所述目标视频帧。
可选地,处理器2001,用于确定第一目标视频帧和第二目标视频帧,所述第一目标视频帧和所述第二目标视频帧之间包括N个视频帧,N为正整数;基于所述第一目标视频帧和所述N个视频帧,生成第一视频片段;将所述第一视频片段和所述第一目标视频帧关联存储。
可选地,处理器2001,用于基于每个目标视频帧,生成预览标识;将每个预览标识和对应的目标视频帧关联存储;其中,所述目标视频的播放界面包括播放进度条,所述播放进度条上包括至少一个预览标识,所述预览标识用于指示与一个目标视频帧关联存储的对象图像。
可选地,用户输入单元1007,用于接收用户对所述至少一个预览标识中的目标预览标识的第二输入;处理器2001,用于响应于所述第二输入,显示所述目标预览标识指示的对象图像。
可选地,所述目标视频的播放界面包括至少一个对象图像标识,所述对象图像标识用于指示一个对象图像;所述对象图像标识按照所指示的对象图像在所述目标视频中出现的时间先后顺序进行显示。
可选地,所述目标视频包括至少两个目标视频帧;
处理器2001,用于按照对象图像在所述目标视频中出现的时间先后顺序,将至少两个对象图像进行图像合成,输出合成图像。
可选地,用户输入单元1007,用于接收用户对第三对象图像的第三输入;
处理器2001,用于响应于所述第三输入,将所述目标视频的播放界面的显示内容更新为所述第三对象图像关联的第二视频帧。
可选地,显示单元1006,用于在显示屏的第一区域显示第四目标视频帧,并在显示屏的第二区域显示第四对象图像;
用户输入单元1007,用于接收用户对所述第四对象图像的第四输入;
处理器2001,用于响应于所述第四输入,在所述第四对象图像上显示所述第四输入所输入的信息。
可选地,处理器2001,用于对所述对象图像进行图像质量增强处理。
应理解的是,本申请实施例中,输入单元1004可以包括图形处理器(GraphicsProcessing Unit,GPU)10041和麦克风10042,图形处理器10041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1006可包括显示面板10061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板10061。用户输入单元1007包括触控面板10071以及其他输入设备10072。触控面板10071,也称为触摸屏。触控面板10071可包括触摸检测装置和触摸控制器两个部分。其他输入设备10072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。存储器2002可用于存储软件程序以及各种数据,包括但不限于应用程序和操作系统。处理器2001可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器2001中。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述显示控制方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述显示控制方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (25)
1.一种显示控制方法,其特征在于,包括:
显示目标视频的播放界面;
在所述播放界面显示第一视频帧的情况下,显示第一对象图像,其中,所述第一对象图像为与所述第一视频帧关联的图像,所述第一对象图像包括所述第一视频帧中目标对象显示区的图像。
2.根据权利要求1所述的显示控制方法,其特征在于,所述显示目标视频的播放界面之前,还包括:
在录制目标视频的过程中,确定至少一个目标视频帧,所述目标视频帧包括预设对象类型的对象显示区;
抠取每个目标视频帧中所述对象显示区的图像,得到至少一个对象图像;
将每个对象图像和对应的目标视频帧关联存储。
3.根据权利要求2所述的显示控制方法,其特征在于,所述至少一个目标视频帧包括预设第一对象类型的第一对象显示区和预设第二对象类型的第二对象显示区;
所述抠取每个目标视频帧中所述对象显示区的图像,得到至少一个对象图像,包括:
抠取每个目标视频帧中所述第一对象显示区的图像,得到至少一个第一对象图像,并抠取每个目标视频帧中所述第二对象显示区的图像,得到至少一个第二对象图像;
所述将每个对象图像和对应的目标视频帧关联存储,包括:
将每个所述第一对象图像、所述第二对象图像和对应的目标视频帧关联存储。
4.根据权利要求2所述的显示控制方法,其特征在于,所述确定至少一个目标视频帧,包括:
获取第一视频帧和第二视频帧,所述第一视频帧的采集时间早于所述第二视频帧;
获取所述第一视频帧和所述第二视频帧的所述对象显示区之间的第一图像内容差异值;
在所述第一图像内容差异值小于预设第一阈值的情况下,将所述第二视频帧确定为目标视频帧。
5.根据权利要求2所述的显示控制方法,其特征在于,所述确定至少一个目标视频帧,包括:
获取第三视频帧和第四视频帧,所述第三视频帧的采集时间早于所述第四视频帧;
获取所述第三视频帧和所述第四视频帧的所述对象显示区之间的第二图像内容差异值;
在所述第二图像内容差异值大于预设第二阈值的情况下,将所述第四视频帧确定为目标视频帧。
6.根据权利要求2所述的显示控制方法,其特征在于,所述确定至少一个目标视频帧,包括:
在接收到用户对目标视频的录制界面显示的第五视频帧的第一输入的情况下,响应于所述第一输入,将第五视频帧确定为所述目标视频帧。
7.根据权利要求2所述的显示控制方法,其特征在于,所述确定至少一个目标视频帧,包括:
确定第一目标视频帧和第二目标视频帧,所述第一目标视频帧和所述第二目标视频帧之间包括N个视频帧,N为正整数;
所述确定至少一个目标视频帧之后,还包括:
基于所述第一目标视频帧和所述N个视频帧,生成第一视频片段;
将所述第一视频片段和所述第一目标视频帧关联存储。
8.根据权利要求2所述的显示控制方法,其特征在于,所述确定至少一个目标视频帧之后,还包括:
基于每个目标视频帧,生成预览标识;
将每个预览标识和对应的目标视频帧关联存储;
其中,所述目标视频的播放界面包括播放进度条,所述播放进度条上包括至少一个预览标识,所述预览标识用于指示与一个目标视频帧关联存储的对象图像。
9.根据权利要求8所述的显示控制方法,其特征在于,所述显示目标视频的播放界面之后,还包括:
接收用户对所述至少一个预览标识中的目标预览标识的第二输入;
响应于所述第二输入,显示所述目标预览标识指示的对象图像。
10.根据权利要求1所述的显示控制方法,其特征在于,所述目标视频的播放界面包括至少一个对象图像标识,所述对象图像标识用于指示一个对象图像;所述对象图像标识按照所指示的对象图像在所述目标视频中出现的时间先后顺序进行显示。
11.根据权利要求2所述的显示控制方法,其特征在于,所述目标视频包括至少两个目标视频帧;
所述方法还包括:
按照对象图像在所述目标视频中出现的时间先后顺序,将至少两个对象图像进行图像合成,输出合成图像。
12.根据权利要求2所述的显示控制方法,其特征在于,所述将每个对象图像和对应的目标视频帧关联存储之后,还包括:
接收用户对第三对象图像的第三输入;
响应于所述第三输入,将所述目标视频的播放界面的显示内容更新为所述第三对象图像关联的第二视频帧。
13.根据权利要求2所述的显示控制方法,其特征在于,所述抠取每个目标视频帧中所述对象显示区的图像,得到至少一个对象图像之后,还包括:
在显示屏的第一区域显示第四目标视频帧,并在显示屏的第二区域显示第四对象图像;
接收用户对所述第四对象图像的第四输入;
响应于所述第四输入,在所述第四对象图像上显示所述第四输入所输入的信息。
14.根据权利要求2所述的显示控制方法,其特征在于,所述抠取每个目标视频帧中所述对象显示区的图像,得到至少一个对象图像之后,还包括:
对所述对象图像进行图像质量增强处理。
15.一种显示控制的装置,其特征在于,包括:
第一显示模块,用于显示目标视频的播放界面;
第二显示模块,用于在所述播放界面显示第一视频帧的情况下,显示第一对象图像,其中,所述第一对象图像为与所述第一视频帧关联的图像,所述第一对象图像包括所述第一视频帧中目标对象显示区的图像。
16.根据权利要求15所述的显示控制的装置,其特征在于,所述显示控制的装置,还包括:
第一确定模块,用于在录制目标视频的过程中,确定至少一个目标视频帧,所述目标视频帧包括预设对象类型的对象显示区;
第一获取模块,用于抠取每个目标视频帧中所述对象显示区的图像,得到至少一个对象图像;
第一关联存储模块,用于将每个对象图像和对应的目标视频帧关联存储。
17.根据权利要求16所述的显示控制的装置,其特征在于,所述至少一个目标视频帧包括预设第一对象类型的第一对象显示区和预设第二对象类型的第二对象显示区;
第一获取模块,包括:
第一子获取模块,用于抠取每个目标视频帧中所述第一对象显示区的图像,得到至少一个第一对象图像,并抠取每个目标视频帧中所述第二对象显示区的图像,得到至少一个第二对象图像;
第一关联存储模块包括:
第一子关联存储模块,用于将每个所述第一对象图像、所述第二对象图像和对应的目标视频帧关联存储。
18.根据权利要求16所述的显示控制的装置,其特征在于,
第一确定模块包括:
第二子获取模块,用于获取第一视频帧和第二视频帧,所述第一视频帧的采集时间早于所述第二视频帧;
第三子获取模块,用于获取所述第一视频帧和所述第二视频帧的所述对象显示区之间的第一图像内容差异值;
第一子确定模块,用于在所述第一图像内容差异值小于预设第一阈值的情况下,将所述第二视频帧确定为目标视频帧。
19.根据权利要求16所述的显示控制的装置,其特征在于,第一确定模块包括:
第四子获取模块,用于获取第三视频帧和第四视频帧,所述第三视频帧的采集时间早于所述第四视频帧;
第五子获取模块,用于获取所述第三视频帧和所述第四视频帧的所述对象显示区之间的第二图像内容差异值;
第二子确定模块,用于在在所述第二图像内容差异值大于预设第二阈值的情况下,将所述第四视频帧确定为目标视频帧。
20.根据权利要求16所述的显示控制的装置,其特征在于,所述第一确定模块包括:
第四子确定模块,用于确定第一目标视频帧和第二目标视频帧,所述第一目标视频帧和所述第二目标视频帧之间包括N个视频帧,N为正整数;
显示控制的装置还包括:
第一生成模块,用于基于所述第一目标视频帧和所述N个视频帧,生成第一视频片段;
第二子关联存储模块,用于将所述第一视频片段和所述第一目标视频帧关联存储。
21.根据权利要求16所述的显示控制的装置,其特征在于,所述显示控制的装置,还包括:
第二生成模块,用于基于每个目标视频帧,生成预览标识;
第三子关联存储模块,用于将每个预览标识和对应的目标视频帧关联存储;
其中,所述目标视频的播放界面包括播放进度条,所述播放进度条上包括至少一个预览标识,所述预览标识用于指示与一个目标视频帧关联存储的对象图像。
22.根据权利要求21所述的显示控制的装置,其特征在于,所述显示控制的装置,还包括:
第一接收模块,用于接收用户对所述至少一个预览标识中的目标预览标识的第二输入;
第三显示模块,用于响应于所述第二输入,显示所述目标预览标识指示的对象图像。
23.根据权利要求15所述的显示控制的装置,其特征在于,所述目标视频的播放界面包括至少一个对象图像标识,所述对象图像标识用于指示一个对象图像;所述对象图像标识按照所指示的对象图像在所述目标视频中出现的时间先后顺序进行显示。
24.根据权利要求16所述的显示控制的装置,其特征在于,所述目标视频包括至少两个目标视频帧;
所述显示控制的装置还包括:
图像合成模块,用于按照对象图像在所述目标视频中出现的时间先后顺序,将至少两个对象图像进行图像合成,输出合成图像。
25.一种电子设备,其特征在于,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-14任一项所述的显示控制方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111572256.6A CN114245193A (zh) | 2021-12-21 | 2021-12-21 | 显示控制方法、装置和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111572256.6A CN114245193A (zh) | 2021-12-21 | 2021-12-21 | 显示控制方法、装置和电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114245193A true CN114245193A (zh) | 2022-03-25 |
Family
ID=80760488
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111572256.6A Pending CN114245193A (zh) | 2021-12-21 | 2021-12-21 | 显示控制方法、装置和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114245193A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114928765A (zh) * | 2022-05-05 | 2022-08-19 | 维沃移动通信有限公司 | 控制方法、装置、电子设备和可读存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109429074A (zh) * | 2017-08-25 | 2019-03-05 | 阿里巴巴集团控股有限公司 | 一种直播内容处理方法、装置和系统 |
CN111954020A (zh) * | 2020-08-17 | 2020-11-17 | 腾讯科技(深圳)有限公司 | 直播信息的处理方法、装置、设备及计算机可读存储介质 |
CN112261424A (zh) * | 2020-10-19 | 2021-01-22 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN112785381A (zh) * | 2021-01-28 | 2021-05-11 | 维沃移动通信有限公司 | 信息显示方法、装置和设备 |
CN112818674A (zh) * | 2021-01-29 | 2021-05-18 | 广州繁星互娱信息科技有限公司 | 带货直播的信息处理方法、装置、设备及介质 |
CN113132787A (zh) * | 2021-03-15 | 2021-07-16 | 北京城市网邻信息技术有限公司 | 一种直播内容展示方法、装置、电子设备及存储介质 |
CN113794835A (zh) * | 2021-08-31 | 2021-12-14 | 维沃移动通信(杭州)有限公司 | 视频录制方法、装置及电子设备 |
-
2021
- 2021-12-21 CN CN202111572256.6A patent/CN114245193A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109429074A (zh) * | 2017-08-25 | 2019-03-05 | 阿里巴巴集团控股有限公司 | 一种直播内容处理方法、装置和系统 |
CN111954020A (zh) * | 2020-08-17 | 2020-11-17 | 腾讯科技(深圳)有限公司 | 直播信息的处理方法、装置、设备及计算机可读存储介质 |
CN112261424A (zh) * | 2020-10-19 | 2021-01-22 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN112785381A (zh) * | 2021-01-28 | 2021-05-11 | 维沃移动通信有限公司 | 信息显示方法、装置和设备 |
CN112818674A (zh) * | 2021-01-29 | 2021-05-18 | 广州繁星互娱信息科技有限公司 | 带货直播的信息处理方法、装置、设备及介质 |
CN113132787A (zh) * | 2021-03-15 | 2021-07-16 | 北京城市网邻信息技术有限公司 | 一种直播内容展示方法、装置、电子设备及存储介质 |
CN113794835A (zh) * | 2021-08-31 | 2021-12-14 | 维沃移动通信(杭州)有限公司 | 视频录制方法、装置及电子设备 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114928765A (zh) * | 2022-05-05 | 2022-08-19 | 维沃移动通信有限公司 | 控制方法、装置、电子设备和可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111556278B (zh) | 一种视频处理的方法、视频展示的方法、装置及存储介质 | |
CN113014801B (zh) | 录像方法、装置、电子设备及介质 | |
CN113596555B (zh) | 视频播放方法、装置及电子设备 | |
CN112887794A (zh) | 视频剪辑方法及装置 | |
CN113852757B (zh) | 视频处理方法、装置、设备和存储介质 | |
CN113852756B (zh) | 图像获取方法、装置、设备和存储介质 | |
CN114040248A (zh) | 一种视频处理方法、装置和电子设备 | |
CN114245193A (zh) | 显示控制方法、装置和电子设备 | |
CN112306601A (zh) | 一种应用交互方法、装置、电子设备及存储介质 | |
CN110019862B (zh) | 一种课件推荐方法、装置、设备及存储介质 | |
CN111953907B (zh) | 构图方法、装置 | |
CN115424125A (zh) | 媒体内容处理方法、装置、设备、可读存储介质及产品 | |
CN113923392A (zh) | 视频录制方法、视频录制装置和电子设备 | |
CN114237800A (zh) | 文件处理方法、文件处理装置、电子设备及介质 | |
CN114025237A (zh) | 视频生成方法、装置和电子设备 | |
CN114786062A (zh) | 信息推荐方法、装置和电子设备 | |
CN113709565A (zh) | 记录观看视频的人脸表情的方法和装置 | |
CN113269781A (zh) | 数据生成方法、装置及电子设备 | |
CN112367562B (zh) | 图像处理方法、装置及电子设备 | |
CN111935493B (zh) | 主播相册处理方法及装置、存储介质、电子设备 | |
CN112764601B (zh) | 信息显示方法、装置及电子设备 | |
CN116033094A (zh) | 视频编辑方法及装置 | |
CN117311884A (zh) | 内容显示方法、装置、电子设备及可读存储介质 | |
CN115842953A (zh) | 拍摄方法及其装置 | |
CN117592098A (zh) | 图像存储方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |