CN117311884A - 内容显示方法、装置、电子设备及可读存储介质 - Google Patents
内容显示方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN117311884A CN117311884A CN202311316292.5A CN202311316292A CN117311884A CN 117311884 A CN117311884 A CN 117311884A CN 202311316292 A CN202311316292 A CN 202311316292A CN 117311884 A CN117311884 A CN 117311884A
- Authority
- CN
- China
- Prior art keywords
- content
- video
- video frame
- input
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000004044 response Effects 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 description 19
- 230000006870 function Effects 0.000 description 15
- 239000000284 extract Substances 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 238000012015 optical character recognition Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000012634 fragment Substances 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种内容显示方法、装置、电子设备及可读存储介质,属于图像处理领域。该方法包括:在播放界面的第一显示区域中播放第一视频的情况下,接收用户对播放界面的第一输入;响应于第一输入,从第一视频的第一视频帧中确定至少一个第一对象,第一视频帧为在接收到第一输入时,第一显示区域中播放的视频帧;在播放界面的第二显示区域中显示与至少一个第一对象对应的至少一个第一内容。
Description
技术领域
本申请属于图像处理领域,具体涉及一种内容显示方法、装置、电子设备及可读存储介质。
背景技术
通常,在用户使用电子设备观看教学视频的过程中,若用户需要记录该教学视频中的某些内容,则用户可以先在电子设备播放至某个视频帧的情况下,触发电子设备暂停播放该教学视频,然后再触发电子设备开启文本类应用程序,并在该文本类应用程序中进行多次操作,以触发电子设备将该某个视频帧中用户需求记录的内容记录在该文本类应用程序中,以供用户后续学习使用。
但是,由于用户需要先触发电子设备暂停播放该教学视频,再进行多次操作,才可以触发电子设备开启文本类应用程序,并将上述某个视频帧中用户需求记录的内容记录在该文本类应用程序中,因此,在记录视频中用户需求的内容的过程中用户的操作比较繁琐、且耗时,如此,导致电子设备记录用户需求的内容的效率较低。
发明内容
本申请实施例的目的是提供一种内容显示方法、装置、电子设备及可读存储介质,能够简化用户记录视频笔记内容的操作,提高用户的学习效率。
第一方面,本申请实施例提供了一种内容显示方法,该内容显示方法包括:在播放界面的第一显示区域中播放第一视频的情况下,接收用户对播放界面的第一输入;响应于第一输入,从第一视频的第一视频帧中确定至少一个第一对象,第一视频帧为在接收到第一输入时,第一显示区域中播放的视频帧;在播放界面的第二显示区域中显示与至少一个第一对象对应的至少一个第一内容。
第二方面,本申请实施例提供了一种内容显示装置,该内容显示装置包括:接收模块、确定模块和显示模块;该接收模块,用于在播放界面的第一显示区域中播放第一视频的情况下,接收用户对播放界面的第一输入;该确定模块,用于响应于第一输入,从第一视频的第一视频帧中确定至少一个第一对象,第一视频帧为在接收到第一输入时,第一显示区域中播放的视频帧;该显示模块,用于在播放界面的第二显示区域中显示与至少一个第一对象对应的至少一个第一内容。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
第六方面,本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
在本申请实施例中,电子设备可以在播放界面的第一显示区域中播放第一视频的情况下,接收用户对播放界面的第一输入;响应于第一输入,从第一视频的第一视频帧中确定至少一个第一对象,第一视频帧为在接收到第一输入时,第一显示区域中播放的视频帧;在播放界面的第二显示区域中显示与至少一个第一对象对应的至少一个第一内容。如此,由于在播放界面的第一显示区域中播放第一视频的情况下,用户可以在观看该第一视频的同时,通过对播放界面的一次输入,以触发电子设备在该播放界面的第二显示区域中,显示根据该至少一个第一对象所在的图像区域生成的用户需求记录的至少一个第一内容,即用户可以在不触发电子设备暂停播放该第一视频的同时,进行一次输入,以触发电子设备在第二显示区域中记录用户需求记录的至少一个第一内容,而无需用户先触发电子设备暂停播放该第一视频,再进行多次操作,因此,可以简化在记录第一视频中用户需求的内容的过程中用户的操作、且减少耗时,如此,可以提高电子设备记录用户需求的内容的效率。
附图说明
图1是本申请实施例提供的一种内容显示方法的流程示意图之一;
图2是本申请实施例提供的一种折叠屏手机显示笔记显示界面的实例示意图之一;
图3是本申请实施例提供的一种折叠屏手机显示笔记显示界面的实例示意图之二;
图4是本申请实施例提供的一种内容显示方法的流程示意图之二;
图5是本申请实施例提供的一种内容显示装置的结构示意图之一;
图6是本申请实施例提供的一种内容显示装置的结构示意图之二;
图7是本申请实施例提供的一种电子设备的硬件结构示意图之一;
图8是本申请实施例提供的一种电子设备的硬件结构示意图之二。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
本申请的说明书和权利要求书中的术语“至少一个(项)”、“至少之一”等指其包含对象中的任意一个、任意两个或两个以上的组合。例如,a、b、c中的至少一个(项),可以表示:“a”、“b”、“c”、“a和b”、“a和c”、“b和c”以及“a、b和c”,其中a,b,c可以是单个,也可以是多个。同理,“至少两个(项)”是指两个或两个以上,其表达的含义与“至少一个(项)”类似。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的内容显示方法、装置、电子设备及可读存储介质进行详细地说明。
随着网络信息的不断开放和用户对自我成长的需求增强,越来越多的用户通过从网络上获取各种教学视频资源,进行学习和充电。目前,在用户观看教学视频的过程中,有时候需要记录教学视频当前视频帧中的笔记内容。
在相关技术中,在用户使用视频应用(Application,App)观看教学视频的情况,若用户想要将当前视频帧对应的内容记录下来,通常需要触发电子设备暂停当前正在播放的视频,并触发电子设备开启文字处理软件APP,在该文字处理软件APP中手动输入该视频中用户需求的各个内容,以触发电子设备通过该文字处理软件APP记录教学视频中用户需求的内容。但是,由于用户需要先触发电子设备暂停播放该教学视频,再进行多次操作,才可以触发电子设备开启文字处理软件APP,并将上述视频帧中用户需求记录的内容记录在该文字处理软件APP中,因此,在记录视频中用户需求的内容的过程中用户的操作比较繁琐、且耗时,如此,导致电子设备记录用户需求的内容的效率较低。
然而,在本申请实施例中,在用户使用视频APP观看教学视频时,电子设备可以在该视频应用APP的播放界面的一个显示区域中播放该教学视频,这样在用户想要将该教学视频中的某些内容记录下来时,用户可以直接在该视频应用APP的播放界面中进行一次输入,以使得电子设备可以从当前显示的视频帧中确定出用户需求的至少一个对象,例如文本类片段、图示类片段以及字幕类片段等,并在该视频应用APP的播放界面的另一个显示区域中显示与至少一个对象对应的至少一个内容。如此,由于在播放界面的一个显示区域中播放教学视频的情况下,用户可以在观看该教学视频的同时,通过对播放界面的一次输入,以触发电子设备在该播放界面的另一个显示区域中,显示根据该至少一个对象所在的图像区域生成的用户需求记录的至少一个内容,即用户可以在不触发电子设备暂停播放该教学视频的同时,进行一次输入,以触发电子设备在另一个显示区域中记录用户需求记录的至少一个内容,而无需用户先触发电子设备暂停播放该教学视频,再进行多次操作,因此,可以简化在记录教学视频中用户需求的内容的过程中用户的操作、且减少耗时,如此,可以提高电子设备记录用户需求的内容的效率。
本实施例提供的内容显示方法的执行主体可以为内容显示装置,该内容显示装置可以为电子设备,也可以为该电子设备中的控制模块或处理模块等。以下以电子设备为例来对本申请实施例提供的技术方案进行说明。
本申请实施例提供一种内容显示方法,图1示出了本申请实施例提供的一种内容显示方法的流程图,该方法可以应用于电子设备。如图1所示,本申请实施例提供的一种内容显示方法可以包括下述的步骤201至步骤203。
步骤201、电子设备在播放界面的第一显示区域中播放第一视频的情况下,接收用户对播放界面的第一输入。
在本申请实施例中,上述电子设备可以为折叠电子设备,也可以为非折叠电子设备,本申请对此不做限制。
在本申请实施例中,上述第一视频可以为教学类视频。
示例性地,上述第一视频可以是电子设备中预先下载的,也可以是第三方应用中的视频。
示例性地,在电子设备显示设置应用程序的界面的情况下,电子设备可以根据用户对该界面中的“笔记记录”功能控件的点击输入,开启“笔记记录”功能,从而在电子设备显示第一应用的播放界面的情况下,电子设备可以根据用户对该播放界面中的第一视频的视频标识的点击输入,将该播放界面分为至少两个显示区域,并在该至少两个显示区域中的第一显示区域中播放第一视频,从而用户可以对播放界面进行第一输入。
可选地,上述第一应用可以为以下任一项:视频类应用、聊天类应用、短视频交互类应用等。
可选地,上述视频标识可以包括以下至少一项:视频缩略图、视频名称、视频链接等。
可选地,在电子设备为折叠屏电子设备的情况下,至少两个显示区域可以分屏显示在电子设备的显示屏幕上,或者至少两个显示区域可以以窗口形式显示在电子设备的显示屏幕上。
可选地,在电子设备为非折叠屏电子设备、且非折叠屏电子设备包括多个显示屏幕的情况下,至少两个显示区域可以显示在电子设备的不同显示屏幕上。
可选地,上述至少两个显示区域中的任一个显示区域和除该任一个显示区域外的其他显示区域不重叠。可以理解,任一个显示区域不会遮挡其他显示区域中的显示内容。
示例1,如图2所示,以折叠屏电子设备为例,在电子设备开启“笔记记录”功能的情况下,折叠屏电子设备中的第一显示屏幕21,即上述第一显示区域上播放教学视频,教学视频中包括人物22,以及人物22在白板23上书写的内容“ABCD1+1=2”和圆形图案,从而用户可以进行第一输入。
在本申请实施例中,上述第一输入用于触发电子设备获取第一视频中的视频内容。
示例性地,上述第一输入可以播放界面中的视频内容的触控输入,也可以为对播放界面中的控件的触控输入,具体的可以根据实际使用需求确定,本申请实施例不作限定。
示例性地,上述触控输入包括用户对显示屏的点击输入、滑动输入、按压输入等。本发明实施例中的特定手势可以为单击手势、滑动手势、压力识别手势、长按手势、面积变化手势、双按手势、双击手势中的任意一种;本发明实施例中的点击输入可以为单击输入、双击输入或任意次数的点击输入等,上述的点击输入还可以为长按输入或短按输入。
步骤202、电子设备响应于第一输入,从第一视频的第一视频帧中确定至少一个第一对象。
在本申请实施例中,上述第一视频帧为在接收到第一输入时,第一显示区域中播放的视频帧。
在本申请实施例中,电子设备可以先通过图片识别模型识别第一视频帧中的至少一个第四对象的对象类型,然后再从该至少一个第四对象中,确定对象类型与预设对象类型相同的至少一个第一对象。
在本申请实施例中,上述至少一个第一对象的对象类型为预设对象类型;上述预设对象类型包括以下至少一项:文本类型、图形类型。
在本申请实施例中,,上述图片识别模型可以为电子设备预先训练的模型,或从服务器下载的模型。
在本申请实施例中,上述至少一个第四对象可以为第一视频帧中的全部对象或部分对象。该至少一个第四对象的对象类型可以包括以下至少一项:文本类型、图示类型、人物类型等。
示例性地,针对至少一个第四对象中的每个第四对象,在一个第四对象的对象类型为文本类型的情况下,该一个第X对象可以包括以下至少一项:第一视频中的文字内容、第一视频中的字幕内容等。例如,在第一视频为教学视频的情况下,该一个第四对象具体可以为该教学视频中的黑板上的文字内容。
示例性地,针对至少一个第四对象中的每个第四对象,在一个第四对象的对象类型为图形类型的情况下,该一个第四对象可以包括第一视频中的图形内容。例如,在第一视频为教学视频的情况下,该一个第四对象具体可以为该教学视频中的黑板上的图表,或者可以为教学视频中的黑板上的圆形、三角形、坐标系或者矩形等整个图形所在的区域的图像。
示例性地,针对至少一个第四对象中的每个第四对象,在一个第四对象的对象类型为人物类型的情况下,该一个第四对象可以包括第一视频中的人物。例如,在第一视频为教学视频的情况下,该一个第四对象具体可以为该教学视频中的老师。
步骤203、电子设备在播放界面的第二显示区域中显示与至少一个第一对象对应的至少一个第一内容。
在本申请实施例中,每个上述第一内容是根据第一视频帧中对应的第一对象所在的图像区域生成的。
示例性地,在上述第一对象为文本类型的情况下,上述第一内容是将第一对象所在图像区域内的文本进行文本识别得到的。
示例性地,在上述第一对象为图形类型的情况下,上述第一内容是将第一对象所在图像区域内的图形进行参数调整得到的。
在本申请实施例中,上述第二显示区域为上述至少两个第二显示区域中的显示区域。
在本申请实施例中,针对至少一个第一内容中的每个第一内容,在一个第一内容对应的第一对象的对象类型为文本类型的情况下,该一个第一内容具体可以为文本内容。例如,该一个第一内容具体可以为从第一视频帧中的黑板上的文字内容。
在本申请实施例中,针对至少一个第一内容中的每个第一内容,在一个第一内容对应的第一对象的对象类型为图形类型的情况下,该一个第一内容具体可以为图像内容。例如,该一个第一内容具体可以为从第一视频帧中的黑板上的图表。
可选地,在本申请实施例中,上述步骤203之前,本申请实施例提供的内容显示方法还包括步骤401至步骤405:
步骤401、电子设备在播放界面的第三显示区域中显示与至少一个第一对象对应的至少一个第二内容。
在本申请实施例中,上述第三显示区域为播放界面中除第一显示区域和第二显示区域外的显示区域。
在本申请实施例中,上述第三显示区域用于显示与至少一个第一对象对应的至少一个第二内容。
示例性地,电子设备可以根据用户在第三显示区域显示的至少一个第二内中选择的内容,将该内容显示在第二显示区域中。
在本申请实施例中,上述至少一个第一对象对应的至少一个第二内容和上述至少一个第一对象对应的至少一个第一内容的显示内容一致。
步骤402、电子设备接收用户对至少一个第二内容和第二显示区域的第二输入。
在本申请实施例中,上述第二输入用于选择至少一个第二内容。
在本申请实施例中,上述第二输入可以包括将至少一个第二输入移动至第二显示区域的输入。
示例性地,上述第二输入可以为拖动输入,也可以为触控输入。
示例性地,上述触控输入可以参照上述具体描述,此处不再赘述。
步骤403、电子设备响应于第二输入,在第二显示区域中显示至少一个第二内容。
在本申请实施例中,电子设备在确定至少一个第一对象之后,可以先从第一视频帧中分别抠取每个第一对象所在的图像区域,得到至少一个第一图像,然后分别对每个第一图像进行处理,得到至少一个第二内容,并在第三显示区域中显示该至少一个第二内容,电子设备可以接收用户的第二输入将至少一个第二内容拖动至第二显示区域中,以在第二显示区域中显示与至少一个第二内容。
步骤404、电子设备接收用户对至少一个第二内容的第三输入。
在本申请实施例中,上述第三输入用于编辑至少一个第二内容。
在本申请实施例中,上述第三输入可以包括对至少一个第二内容的触控输入。
示例性地,上述触控输入可以参照上述具体描述,此处不再赘述。
步骤405、电子设备响应于第三输入,对至少一个第二内容进行编辑处理,得到至少一个第一内容。
在本申请实施例中,在用户将至少一个第二内容拖动至第二显示区域中之后,电子设备可以先在第二显示区域中显示该至少一个第二内容,从而用户可以对该至少一个第二内容进行编辑输入,以使得电子设备可以根据该编辑输入,对至少一个第二内容进行编辑处理,以得到至少一个第一内容,进而电子设备可以在第二显示区域中显示该至少一个第一内容。
示例2,结合图2,如图3所示,以折叠屏电子设备为例,在电子设备开启“笔记记录”功能的情况下,折叠屏电子设备中的第一显示屏幕的左侧区域31播放教学视频,教学视频中包括人物32,以及人物32在白板33上书写的内容“ABCD1+1=2”和圆形图案。电子设备通过接收用户对教学视频中的白板33上所书写的内容的点击输入,将输入对应选择的“ABCD1+1=2”和圆形图案以图片35的形式显示在折叠屏电子设备中的第一显示屏幕的右侧区域34。然后电子设备将第一显示屏幕的右侧区域34显示的图片35中内容通过不同的方式进行提取得到内容37,并显示折叠屏电子设备中的第二显示屏幕的左侧区域36中。用户可以通过拖动输入将第二显示屏幕的左侧区域36中的内容37拖到折叠屏电子设备中的第二显示屏幕的右侧区域38中进行自定义编辑。
示例性地,在本申请实施例中,电子设备根据至少一个第一对象生成对应的至少一个第一内容之后,电子设备可以接收到用户的点击输入,将生成的至少一个第一内容存储在电子设备中。
在本申请实施例提供的内容显示方法中,在播放界面的第一显示区域中播放第一视频的情况下,接收用户对播放界面的第一输入;响应于第一输入,从第一视频的第一视频帧中确定至少一个第一对象,第一视频帧为在接收到第一输入时,第一显示区域中播放的视频帧;在播放界面的第二显示区域中显示与至少一个第一对象对应的至少一个第一内容。如此,由于在播放界面的第一显示区域中播放第一视频的情况下,用户可以在观看该第一视频的同时,通过对播放界面的一次输入,以触发电子设备在该播放界面的第二显示区域中,显示根据该至少一个第一对象所在的图像区域生成的用户需求记录的至少一个第一内容,即用户可以在不触发电子设备暂停播放该第一视频的同时,进行一次输入,以触发电子设备在第二显示区域中记录用户需求记录的至少一个第一内容,而无需用户先触发电子设备暂停播放该第一视频,再进行多次操作,因此,可以简化在记录第一视频中用户需求的内容的过程中用户的操作、且减少耗时,如此,可以提高电子设备记录用户需求的内容的效率。
可选地,在本申请实施例中,结合图1,如图4所示,在上述步骤202之后,本申请实施例提供的内容显示方法还包括步骤301至步骤304:
步骤301、电子设备获取至少一个第二视频帧。
在本申请实施例中,上述至少一个第二视频帧与第一视频帧相邻,且至少一个第二视频帧中包括一个第一对象。
示例性地,电子设备可以先按照第一数值x,从第一视频中确定出第一视频帧的前x个视频帧和后x个视频帧,以得到至少两个第四视频帧,然后再从该至少两个第四视频帧中,确定出与第一视频帧之间的相似度大于或等于预设相似度的至少一个第二视频帧;x为正整数。
步骤302、电子设备根据至少一个第二视频帧,确定至少一个第一完整度。
在本申请实施例中,上述至少一个第一完整度中的每个第一完整度为一个第一对象在对应的第二视频帧中的显示的完整程度。
在本申请实施例中,上述第一完整度可以采用一个对象在视频帧中面积占比来表示,也可以采用一个对象在视频帧中显示出的语义部分是否完整来表示。
一种示例汇总,电子设备可以获取每个第二视频帧中一个第一对象所在图像区域的显示面积,并根据每个第二视频帧的显示面积和每个第二视频帧中一个第一对象所在图像区域的显示面积之比,确定每个第一面积占比。
步骤303、电子设备从至少一个第二视频帧中,确定对应的第一完整度最高的第三视频帧。
示例性地,上述第三视频帧中的一个第一对象的完整度最高。
示例性地,上述第三视频帧为至少一个第二视频帧中的视频帧。
举例说明,电子设备根据第一对象所在的视频帧Sx,在当前视频帧的前后视频帧汇中抽取相似视频,例如,Sx-1,Sx-2,……,Sx+1,Sx+n。然后获取这些视频帧中的每个视频帧的标记、视频帧的时间、视频帧中人物遮挡程度以及笔记完整程度,最后对比得到最新最完整不被遮挡的视频帧Sy。
可以理解的是,对象的完整度越高,表示被遮挡的内容越少,电子设备确定出完整度最高的第三视频帧可以有效避免用户想要记录的内容被遮挡。
步骤304、电子设备基于第三视频帧,生成一个第一对象对应的第一内容。
示例性地,电子设备从第三视频帧中得到一个第一对象,再根据一个第一对象的不同类型,采用不同方式将一个第一对象所在区域的图像内容提取出来。
示例性地,在上述第二对象的对象类型为文本类型的情况下,电子设备采用光学字符识别(Optical Character Recognition,OCR)技术对该第一对象所在的图像区域中的文本进行提取,以得到第一内容。
示例性地,在上述第二对象的对象类型为图形类型的情况下,电子设备通过调整该第一对象的显示参数,以得到第一内容。
其中,上述显示参数可以包括以下至少一项:对比度、清晰度、亮度以及色彩值。
可选地,电子设备可以将第三视频帧的显示参数调整为预设显示参数,以得到第一内容。例如,在显示参数为对比度的情况下,电子设备可以将第三视频帧的对比度调整为预设对比度,从而生成一个第一对象对应的第一内容。
如此,电子设备可以通过比较相邻视频帧中相同对象的完整度,得到比较清晰完整的笔记内容,从而避免笔记内容被遮挡,提高用户记录笔记的效率,。
可选地,在本申请实施例中,上述步骤304具体包括步骤304a或者步骤304b:
步骤304a、电子设备在一个第一对象的对象类型为文本类型的情况下,对第三视频帧中一个第一对象所在的第一图像区域进行文本识别处理,得到第一内容。
示例性地,在上述第一对象的对象类型为文本类型中视频内容内的文本内容的情况下,电子设备采用光学字符识别(Optical Character Recognition,OCR)技术对视频内容中的文本内容所在的图像区域中的文本进行提取,以得到第一内容。
示例性地,在上述第一对象的对象类型为文本类型中视频的字幕内容的情况下,电子设备采用ocr技术对字幕内容所在的图像区域中的文本进行提取,并根据预设语库去除文本中口语化的文本,以得到第一内容。
具体地,上述预设语库包含至少一个文本,当电子设备检测到字幕内容中包括预设语库中至少一个文本的情况下,电子设备将该至少一个文本进行删除,以得到第一内容。
步骤304b、电子设备在一个第一对象的对象类型为图形类型的情况下,从第三视频中截取一个第一对象所在的第一图像区域,并调整第一图像区域的显示参数,以得到第一内容。
在本申请实施例中,上述显示参数可以包括以下至少一项:对比度、清晰度、亮度以及色彩值。
示例性地,电子设备可以将上述显示参数自动调整为电子设备的预设显示参数,也可以通过用户自行调整上述显示参数。
示例性地,在上述第一对象的对象类型为图形类型的情况下,电子设备通过将第一对象所在的图像区域中的图形的色彩值调整为预设色彩值,对比度也调整为预设对比度,从而将第一对象所在的图像区域中的图形转为清晰的黑白线条图,例如,转为白底黑字的图示,以得到第一内容。可以理解,由于黑白图为对比图较高的图像,因此,电子设备通过调整第一对象的对比度和色彩度得到的黑白图示内容,使得图示内容变得更清晰。
如此,电子设备可以针对对象的不同对象类型,从视频中用不同的方式提取出对应的笔记内容,从而使得用户不用通过手动记录视频中的内容,进而减少了用户记录笔记的时间,提高了用户的学习效率。
可选地,在本申请实施例中,在电子设备生成第一内容之后,用户可以根据自己的需求,在第二显示区域对笔记内容进行自定义编辑处理。
可选地,在本申请实施例中,上述第一输入可以包括用户对播放界面中的第一视频的触控输入,或者在上述播放界面中包括第一控件的情况下,上述第一输入也可以包括用户对播放界面中第一控件的输入。
以下两种可能的实施例,具体描述第一输入为不同输入下的步骤。
在第一种可能的实施例中,电子设备通过接收用户点击视频中某个对象的输入,将该对象确定为第一对象,从而使得电子设备可以将该第一对象所对应的内容提取出来。
可选地,在本申请实施例中,上述步骤201具体包括步骤201a:
步骤201a、电子设备接收用户对第一视频帧包括的对象中的至少一个第三对象的第一输入。
在本申请实施例中,上述至少一个第三对象可以为第一视频帧中的任意对象。
示例性地,上述任意对象可以为人物、图示、风景或者文本。
进一步地,在本申请实施例中,结合上述步骤201a,上述步骤202具体包括步骤202a:
步骤202a、电子设备从至少一个第三对象中,确定对象类型为文本类型或图形类型的至少一个第一对象。
一种示例中,电子设备在接收到用户的第一输入之后,首先,将第一输入对应的第一视频帧输入至图像识别模型,输出文本类型或图形类型的对象。然后,判断第三对象是否与图像识别模型输出的对象相同,若相同则将该第三对象确定为第一对象。
另一种示例中,电子设备在接收到用户的第一输入之后,将第一视频帧分割为不同区域,将每个区域中的文本类型或图形类型的对象确定为第一对象。
需要说明的是,当用户的第一输入所对应的对象的对象类型不是文本类型或图形类型,则不进行内容提取。
如此,电子设备可以通过接收用户点击视频中想要记录的内容,自动确定出用户点击区域范围内的对象,并将该对象进行保存或者提取,使得简化了用户记录视频中的笔记内容的操作。
以下以一种可能的实施例,详细描述本申请实施例提供的内容显示方法的整个过程,具体包括步骤A1至步骤A5:
步骤A1、电子设备进入视频播放区,即上述播放界面,用户通过点击功能按钮向电子设备发起请求,启动记笔记功能。
示例性地,首先,用户打开课程学习视频,在电子设备开启“笔记记录”功能的情况下,则整个电子设备的显示屏幕分为四个区域进行显示,分别为视频播放区(即上述第一显示区域)、笔记候选区(即上述第三显示区域)、笔记提取区(即上述第四显示区域)以及笔记编辑区(即上述第二显示区域)。
步骤A2、电子设备通过接收到用户点击视频帧的输入,识别视频帧中的四类片段主体,即上述第三对象。
示例性地,电子设备通过图片识别模型,识别出视频帧中的四类片段主体,文本类片段S1、图示类片段S2、字幕类片段S3以及人物类片段S4;其中,电子设备将文本、图示、字幕都将作为待转为笔记的候选片段,将第三对象的对象类型符合预设对象类型中的对象确定为第一对象。
步骤A3、电子设备提取视频帧中的候选笔记片段,自动保存在笔记候选区。
示例性地,电子设备将实时抽取每一帧的各类笔记片段保存在笔记候选区,通过滚动方式依次保存待笔记的文本S1或图示S2或字幕片段S3。
步骤A4、对笔记候选区的笔记片段Sx自动进行笔记提取和处理。
首先,电子设备根据笔记片段Sx找到最新最完整的笔记片段Sy。具体地,电子设备使用候选笔记片段Sx,在当前视频帧前后视频帧中抽取相似视频帧图像。
其次,电子设备对每个笔记片段进行标记,并获取每个笔记片段的时间、人物遮挡程度以及笔记面积占比。然后,对比得出最新最完整不被遮挡的笔记片段Sy。最终,电子设备对笔记片段Sy进行笔记提取和数据处理,并将提取得到的结果保存在笔记提取区。
步骤A5、用户可根据自己的需求选择性将笔记提取区的结果,通过拖拽输入,拖动到笔记编辑区进行笔记自定义编辑。
如此,能够使得用户在电子设备观看学习视频时候,为用户提供学习视频中视频帧的文本图片自动化提取和编辑,减少用户重复编写和退出使用其他第三方截图软件或文本提取软件的繁琐操作,帮助用户在不影响当前视频播放进度的同时高效完成笔记记录,为用户的学习进程节省时间。
在第二种可能的实施例中,电子设备通过接收用户对第一控件的输入,自动将接收到第一输入的第一视频帧中的所有对象对应的内容进行识别和提取,然后用户根据需求选择所要的内容。
可选地,在本申请实施例中,上述步骤201具体包括步骤201A:
步骤201A、电子设备接收用户对第一控件的第一输入。
在本申请实施例中,上述第一控件为识别视频帧中的至少一个第一对象。
示例性地,上述第一控件可以悬浮显示在电子设备的第一显示区域上,当用户拖动第一控件时,该第一控件可以随着用户的拖动操作在电子设备的第一显示区域上移动。
示例性地,上述第一控件可以以气泡、矩形等形态显示,具体的可以根据实际使用需求确定,本申请实施例不作限定。
进一步地,在本申请实施例中,结合上述步骤201A,上述步骤202具体包括步骤202A:
步骤202A、电子设备从第一视频帧中的各个对象中,确定对象类型为文本类型或图形类型的至少一个第一对象。
一种示例中,电子设备通过接收用户对第一控件的第一输入,将第一视频帧的各个对象输入至图像识别模型中,输出对象类型为文本类型或图形类型的至少一个第一对象。
另一种示例中,电子设备在接收到用户的第一输入之后,将第一视频帧分割为不同区域,将每个区域中的文本类型或图形类型的对象确定为第一对象。
如此,电子设备可以通过接收用户点击控件,自动将视频中的各个对象进行保存或者提取,使得简化了用户记录视频中的笔记内容的操作。
需要说明的是,本申请实施例提供的内容显示方法,执行主体可以为内容显示装置,或者电子设备,还可以为电子设备中的功能模块或实体。本申请实施例中以内容显示装置执行内容显示方法为例,说明本申请实施例提供的内容显示装置。
图5示出了本申请实施例中涉及的内容显示装置的一种可能的结构示意图。如图5所示,该内容显示装置700可以包括:接收模块701、确定模块702和显示模块703。
其中,上述接收模块701,用于在播放界面的第一显示区域中播放第一视频的情况下,接收用户对播放界面的第一输入;上述确定模块702,用于响应于上述接收模块701接收的第一输入,从第一视频的第一视频帧中确定至少一个第一对象,第一视频帧为在接收到第一输入时,第一显示区域中播放的视频帧;上述显示模块703,用于在播放界面的第二显示区域中显示与上述确定模块702确定的至少一个第一对象对应的至少一个第一内容。
可选地,在本申请实施例中,结合图5,如图6所示,上述装置700还包括:获取模块704和处理模块705;该获取模块704,用于从第一视频的第一视频帧中确定至少一个第一对象之后,获取至少一个第二视频帧,至少一个第二视频帧与第一视频帧相邻,且至少一个第二视频帧中包括一个第一对象;上述确定模块702,还用于根据获取模块704获取的至少一个第二视频帧,确定至少一个第一完整度,每个第一完整度为一个第一对象在对应的第二视频帧中的显示的完整程度;上述确定模块702,还用于从获取模块704获取的至少一个第二视频帧中,确定对应的第一完整度最高的第三视频帧;上述处理模块705,用于基于第三视频帧,生成一个第一对象对应的第一内容。
可选地,在本申请实施例中,上述处理模块705,具体用于:在一个第一对象的对象类型为文本类型的情况下,对第三视频帧中一个第一对象所在的第一图像区域进行文本识别处理,得到第一内容;或者,在一个第一对象的对象类型为图形类型的情况下,从第三视频帧中截取一个第一对象所在的第一图像区域,并调整该第一图像区域的显示参数,以得到第一内容。
可选地,在本申请实施例中,上述接收模块701,具体用于:接收用户对第一视频帧包括的对象中的至少一个第三对象的第一输入;上述确定模块702,具体用于:从至少一个第三对象中,确定对象类型为文本类型或图形类型的至少一个第一对象。
可选地,在本申请实施例中,播放界面中包括第一控件;上述接收模块701,具体用于:接收用户对第一控件的第一输入;上述确定模块702,具体用于:从第一视频帧中的各个对象中,确定对象类型为文本类型或图形类型的至少一个第一对象。
可选地,在本申请实施例中,上述显示模块703,还用于在播放界面的第二显示区域中显示与至少一个第一对象对应的至少一个第一内容之前,在播放界面的第三显示区域中显示与至少一个第一对象对应的至少一个第二内容;上述接收模块701,还用于接收用户对至少一个第二内容和第二显示区域的第二输入;上述显示模块703,还用于响应于上述接收模块701接收的第二输入,在第二显示区域中显示至少一个第二内容;上述接收模块701,还用于接收用户对至少一个第二内容的第三输入;上述处理模块705,还用于响应于上述接收模块701接收的第三输入,对至少一个第二内容进行编辑处理,得到至少一个第一内容。
在本申请实施例提供的内容显示装置中,由于在播放界面的第一显示区域中播放第一视频的情况下,用户可以在观看该第一视频的同时,通过对播放界面的一次输入,以触发内容显示装置在该播放界面的第二显示区域中,显示根据该至少一个第一对象所在的图像区域生成的用户需求记录的至少一个第一内容,即用户可以在不触发内容显示装置暂停播放该第一视频的同时,进行一次输入,以触发内容显示装置在第二显示区域中记录用户需求记录的至少一个第一内容,而无需用户先触发内容显示装置暂停播放该第一视频,再进行多次操作,因此,可以简化在记录第一视频中用户需求的内容的过程中用户的操作、且减少耗时,如此,可以提高内容显示装置记录用户需求的内容的效率。
本申请实施例中的内容显示装置可以是电子设备,也可以是电子设备中的部件,例如集成电路或芯片。该电子设备可以是终端,也可以为除终端之外的其他设备。示例性的,电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device,MID)、增强现实(augmented reality,AR)/虚拟现实(virtualreality,VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer,UMPC)、上网本或者个人数字助理(personal digital assistant,PDA)等,还可以为服务器、网络附属存储器(Network Attached Storage,NAS)、个人计算机(personalcomputer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的内容显示装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的内容显示装置能够实现图1至图4的方法实施例实现的各个过程,为避免重复,这里不再赘述。
可选地,如图7所示,本申请实施例还提供一种电子设备800,包括处理器801和存储器802,存储器802上存储有可在所述处理器801上运行的程序或指令,该程序或指令被处理器801执行时实现上述内容显示方法实施例的各个步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图8为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备100包括但不限于:射频单元101、网络模块102、音频输出单元103、输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、以及处理器110等部件。
本领域技术人员可以理解,电子设备100还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器110逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图8中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,上述用户输入单元107,用于在播放界面的第一显示区域中播放第一视频的情况下,接收用户对播放界面的第一输入;上述处理器110,用于响应于上述用户输入单元107接收的第一输入,从第一视频的第一视频帧中确定至少一个第一对象,第一视频帧为在接收到第一输入时,第一显示区域中播放的视频帧;上述显示单元106,用于在播放界面的第二显示区域中显示与上述处理器110确定的至少一个第一对象对应的至少一个第一内容。
本申请实施例提供的电子设备,由于在播放界面的第一显示区域中播放第一视频的情况下,用户可以在观看该第一视频的同时,通过对播放界面的一次输入,以触发电子设备在该播放界面的第二显示区域中,显示根据该至少一个第一对象所在的图像区域生成的用户需求记录的至少一个第一内容,即用户可以在不触发电子设备暂停播放该第一视频的同时,进行一次输入,以触发电子设备在第二显示区域中记录用户需求记录的至少一个第一内容,而无需用户先触发电子设备暂停播放该第一视频,再进行多次操作,因此,可以简化在记录第一视频中用户需求的内容的过程中用户的操作、且减少耗时,如此,可以提高电子设备记录用户需求的内容的效率。
可选地,在本申请实施例中,上述处理器110,还用于从第一视频的第一视频帧中确定至少一个第一对象之后,获取至少一个第二视频帧,至少一个第二视频帧与第一视频帧相邻,且至少一个第二视频帧中包括一个第一对象;上述处理器110,还用于根据获取模块获取的至少一个第二视频帧,确定至少一个第一完整度,每个第一完整度为一个第一对象在对应的第二视频帧中的显示的完整程度;上述处理器110,还用于从获取模块获取的至少一个第二视频帧中,确定对应的第一完整度最高的第三视频帧;上述处理器110,还用于基于第三视频帧,生成一个第一对象对应的第一内容。
可选地,在本申请实施例中,上述处理器110,具体用于:在一个第一对象的对象类型为文本类型的情况下,对第三视频帧中一个第一对象所在的第一图像区域进行文本识别处理,得到第一内容;或者,在一个第一对象的对象类型为图形类型的情况下,从第三视频帧中截取一个第一对象所在的第一图像区域,并调整该第一图像区域的显示参数,以得到第一内容。
可选地,在本申请实施例中,上述用户输入单元107,具体用于:接收用户对第一视频帧包括的对象中的至少一个第三对象的第一输入;上述处理器110,具体用于:从至少一个第三对象中,确定对象类型为文本类型或图形类型的至少一个第一对象。
可选地,在本申请实施例中,播放界面中包括第一控件;上述用户输入单元107,具体用于:接收用户对第一控件的第一输入;上述处理器110,具体用于:从第一视频帧中的各个对象中,确定对象类型为文本类型或图形类型的至少一个第一对象。
可选地,在本申请实施例中,上述显示单元106,还用于在播放界面的第二显示区域中显示与至少一个第一对象对应的至少一个第一内容之前,在播放界面的第三显示区域中显示与至少一个第一对象对应的至少一个第二内容;上述用户输入单元107,还用于接收用户对至少一个第二内容和第二显示区域的第二输入;上述显示单元106,还用于响应于第二输入,在第二显示区域中显示至少一个第二内容;上述用户输入单元107,还用于接收用户对至少一个第二内容的第三输入;上述处理器110,还用于响应于第三输入,对至少一个第二内容进行编辑处理,得到至少一个第一内容。
应理解的是,本申请实施例中,输入单元104可以包括图形处理器(GraphicsProcessing Unit,GPU)1041和麦克风1042,图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元106可包括显示面板1061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板1061。用户输入单元107包括触控面板1071以及其他输入设备1072中的至少一种。触控面板1071,也称为触摸屏。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序或指令的第一存储区和存储数据的第二存储区,其中,第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外,存储器109可以包括易失性存储器或非易失性存储器,或者,存储器109可以包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本申请实施例中的存储器109包括但不限于这些和任意其它适合类型的存储器。
处理器110可包括一个或多个处理单元;可选的,处理器110集成应用处理器和调制解调处理器,其中,应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作,调制解调处理器主要处理无线通信信号,如基带处理器。可以理解的是,上述调制解调处理器也可以不集成到处理器110中。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述内容显示方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述内容显示方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如上述内容显示方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (14)
1.一种显示方法,其特征在于,所述方法包括:
在播放界面的第一显示区域中播放第一视频的情况下,接收用户对所述播放界面的第一输入;
响应于所述第一输入,从所述第一视频的第一视频帧中确定至少一个第一对象,所述第一视频帧为在接收到所述第一输入时,所述第一显示区域中播放的视频帧;
在所述播放界面的第二显示区域中显示与至少一个所述第一对象对应的至少一个第一内容。
2.根据权利要求1所述的方法,其特征在于,所述从所述第一视频的第一视频帧中确定至少一个第一对象之后,所述方法还包括:
获取至少一个第二视频帧,至少一个所述第二视频帧与所述第一视频帧相邻,且至少一个所述第二视频帧中包括一个所述第一对象;
根据至少一个所述第二视频帧,确定至少一个第一完整度,每个所述第一完整度为一个所述第一对象在对应的第二视频帧中的显示的完整程度;
从至少一个所述第二视频帧中,确定对应的所述第一完整度最高的第三视频帧;
基于所述第三视频帧,生成一个所述第一对象对应的第一内容。
3.根据权利要求2所述的方法,其特征在于,所述基于所述第三视频帧,生成一个所述第一对象对应的第一内容,包括:
在一个所述第一对象的对象类型为文本类型的情况下,对所述第三视频帧中一个所述第一对象所在的第一图像区域进行文本识别处理,得到所述第一内容;或者,
在一个所述第一对象的对象类型为图形类型的情况下,从所述第三视频帧中截取一个所述第一对象所在的第一图像区域,并调整所述第一图像区域的显示参数,以得到所述第一内容。
4.根据权利要求1所述的方法,其特征在于,所述接收用户对所述播放界面的第一输入,包括:
接收用户对所述第一视频帧包括的对象中的所述至少一个第三对象的所述第一输入;
所述从所述第一视频的第一视频帧中确定至少一个第一对象,包括:
从所述至少一个第三对象中,确定对象类型为文本类型或图形类型的至少一个所述第一对象。
5.根据权利要求1所述的方法,其特征在于,所述播放界面中包括第一控件;
所述接收用户对所述播放界面的第一输入,包括:
接收用户对所述第一控件的所述第一输入;
所述从所述第一视频的第一视频帧中确定至少一个第一对象,包括:
从所述第一视频帧中的各个对象中,确定对象类型为文本类型或图示类型的至少一个所述第一对象。
6.根据权利要求1所述的方法,其特征在于,在所述播放界面的第二显示区域中显示与至少一个所述第一对象对应的至少一个第一内容之前,所述方法还包括:
在所述播放界面的第三显示区域中显示与至少一个所述第一对象对应的至少一个第二内容;
接收用户对至少一个所述第二内容和所述第二显示区域的第二输入;
响应于所述第二输入,在所述第二显示区域中显示至少一个所述第二内容;
接收用户对至少一个所述第二内容的第三输入;
响应于所述第三输入,对至少一个所述第二内容进行编辑处理,得到至少一个所述第一内容。
7.一种内容显示装置,其特征在于,所述内容显示装置包括:接收模块、确定模块以及显示模块;
所述接收模块,用于在播放界面的第一显示区域中播放第一视频的情况下,接收用户对所述播放界面的第一输入;
所述确定模块,用于响应于所述接收模块接收的所述第一输入,从所述第一视频的第一视频帧中确定至少一个第一对象,所述第一视频帧为在接收到所述第一输入时,所述第一显示区域中播放的视频帧;
所述显示模块,用于在所述播放界面的第二显示区域中显示与所述确定模块确定的所述至少一个所述第一对象对应的至少一个第一内容。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:获取模块和处理模块;
所述获取模块,用于在所述确定模块从所述第一视频的所述第一视频帧中确定所述至少一个第一对象之后,获取至少一个第二视频帧,至少一个所述第二视频帧与所述第一视频帧相邻,且至少一个所述第二视频帧中包括一个所述第一对象;
所述确定模块,还用于根据所述获取模块获取的至少一个所述第二视频帧,确定至少一个第一完整度,每个所述第一完整度为一个所述第一对象在对应的第二视频帧中的显示的完整程度;并从所述获取模块获取的至少一个所述第二视频帧中,确定对应的第一完整度最高的第三视频帧;
所述处理模块,用于基于所述确定模块确定的所述第三视频帧,生成一个所述第一对象对应的第一内容。
9.根据权利要求8所述的装置,其特征在于,所述处理模块,具体用于:
在一个所述第一对象的对象类型为文本类型的情况下,对所述第三视频帧中一个所述第一对象所在的第一图像区域进行文本识别处理,得到所述第一内容;或者,
在一个所述第一对象的对象类型为图形类型的情况下,从所述第三视频帧中截取一个所述第一对象所在的第一图像区域,并调整所述第一图像区域的显示参数,以得到所述第一内容。
10.根据权利要求7所述的装置,其特征在于,所述接收模块,具体用于接收用户对所述第一视频帧包括的对象中的所述至少一个第三对象的所述第一输入;
所述确定模块,具体用于从所述至少一个第三对象中,确定对象类型为文本类型或图形类型的至少一个所述第一对象。
11.根据权利要求7所述的装置,其特征在于,所述播放界面中包括第一控件;
所述接收模块,具体用于接收用户对所述第一控件的所述第一输入;
所述确定模块,具体用于从所述第一视频帧中的各个对象中,确定对象类型为文本类型或图形类型的至少一个所述第一对象。
12.根据权利要求7所述的装置,其特征在于,所述显示模块,还用于在所述播放界面的第二显示区域中显示与至少一个所述第一对象对应的至少一个第一内容之前,在所述播放界面的第三显示区域中显示与至少一个所述第一对象对应的至少一个第二内容;
所述接收模块,还用于接收用户对至少一个所述第二内容和所述第二显示区域的第二输入;
所述显示模块,还用于响应于所述接收模块接收的所述第二输入,在所述第二显示区域中显示至少一个所述第二内容;
所述接收模块,还用于接收用户对至少一个所述第二内容的第三输入;
所述处理模块,还用于响应于所述接收模块接收的所述第三输入,对至少一个所述第二内容进行编辑处理,得到至少一个所述第一内容。
13.一种电子设备,其特征在于,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1至6中任一项所述的内容显示方法的步骤。
14.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1至6中任一项所述的内容显示方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311316292.5A CN117311884A (zh) | 2023-10-11 | 2023-10-11 | 内容显示方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311316292.5A CN117311884A (zh) | 2023-10-11 | 2023-10-11 | 内容显示方法、装置、电子设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117311884A true CN117311884A (zh) | 2023-12-29 |
Family
ID=89236893
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311316292.5A Pending CN117311884A (zh) | 2023-10-11 | 2023-10-11 | 内容显示方法、装置、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117311884A (zh) |
-
2023
- 2023-10-11 CN CN202311316292.5A patent/CN117311884A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2648616C2 (ru) | Способ и устройство для добавления шрифта | |
CN112437353B (zh) | 视频处理方法、视频处理装置、电子设备和可读存储介质 | |
CN108427589B (zh) | 一种数据处理方法及电子设备 | |
WO2021259185A1 (zh) | 图像处理方法、装置、设备及可读存储介质 | |
US20230244363A1 (en) | Screen capture method and apparatus, and electronic device | |
CN113806570A (zh) | 图像生成方法和生成装置、电子设备和存储介质 | |
CN115065874A (zh) | 视频播放方法、装置、电子设备和可读存储介质 | |
CN113794831B (zh) | 视频拍摄方法、装置、电子设备及介质 | |
CN112306601A (zh) | 一种应用交互方法、装置、电子设备及存储介质 | |
US10915778B2 (en) | User interface framework for multi-selection and operation of non-consecutive segmented information | |
CN115437736A (zh) | 一种笔记记录方法和装置 | |
CN113778595A (zh) | 文档生成方法、装置和电子设备 | |
CN115309487A (zh) | 显示方法、装置、电子设备和可读存储介质 | |
CN117311884A (zh) | 内容显示方法、装置、电子设备及可读存储介质 | |
CN114998102A (zh) | 图像处理方法、装置及电子设备 | |
CN114245193A (zh) | 显示控制方法、装置和电子设备 | |
CN113923392A (zh) | 视频录制方法、视频录制装置和电子设备 | |
CN114518824A (zh) | 笔记记录方法、装置和电子设备 | |
CN113835598A (zh) | 信息获取方法、装置及电子设备 | |
CN113283220A (zh) | 笔记记录方法、装置、设备及可读存储介质 | |
CN113268961A (zh) | 游记生成方法及装置 | |
CN111639474A (zh) | 文档风格重构方法、装置和电子设备 | |
CN113377220B (zh) | 信息存储方法及装置 | |
Wang et al. | Research and implementation of blind reader system based on android platform | |
CN117010326A (zh) | 文本处理方法及装置、文本处理模型的训练方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |