CN113873292B - 一种处理方法及电子设备 - Google Patents

一种处理方法及电子设备 Download PDF

Info

Publication number
CN113873292B
CN113873292B CN202111159626.3A CN202111159626A CN113873292B CN 113873292 B CN113873292 B CN 113873292B CN 202111159626 A CN202111159626 A CN 202111159626A CN 113873292 B CN113873292 B CN 113873292B
Authority
CN
China
Prior art keywords
text
video data
preview content
data
preview
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111159626.3A
Other languages
English (en)
Other versions
CN113873292A (zh
Inventor
经纬
常新峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN202111159626.3A priority Critical patent/CN113873292B/zh
Publication of CN113873292A publication Critical patent/CN113873292A/zh
Application granted granted Critical
Publication of CN113873292B publication Critical patent/CN113873292B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供一种数据处理方法，所述方法包括：对视频数据进行识别，生成所述视频数据的文本数据；在所述视频数据的播放过程中，如果监测到动作行为，确定所述文本数据中与所述动作行为对应的文本预览内容；在当前显示界面显示所述文本预览内容。同时，本申请还提供一种电子设备。

Description

一种处理方法及电子设备
技术领域
本申请涉及数据处理技术，尤其涉及一种处理方法及电子设备。
背景技术
在以网课教学的场景中，教学视频中教师在授课过程中的肢体经常会遮挡住教学内容，影响学生听课过程中记笔记，并且需要频繁的进行课程暂停、播放，有时还需要调节播放进度条等操作，使得听课效率大大折扣。
发明内容
有鉴于此，本申请实施例期望提供一种信息处理方法及电子设备。
为达到上述目的，本申请的技术方案是这样实现的：
根据本申请的一方面，提供一种数据处理方法，所述方法包括：
对视频数据进行识别，生成所述视频数据的文本数据；
在所述视频数据的播放过程中，如果监测到动作行为，确定所述文本数据中与所述动作行为对应的文本预览内容；
在当前显示界面显示所述文本预览内容。
上述方案中，对视频数据进行识别，生成所述视频数据的文本数据，包括：
提取所述视频数据的帧图像；
对多个所述帧图像进行识别，生成多个所述帧图像中的文本内容、不同文本内容的位置参数、不同文本内容的时间戳、文本动作时间戳。
上述方案中，在当前显示界面显示所述文本预览内容之前，所述方法还包括：
对多个所述帧图像中的文本内容进行叠加处理，生成与所述动作行为对应的未被遮挡的文本预览内容。
上述方案中，所述如果监测到动作行为，确定所述文本数据中与所述动作行为对应的文本预览内容，包括：
基于所述动作行为的起始时间，确定所述文本数据中与所述起始时间对应的文本预览内容；
或，基于所述动作行为的位置参数，确定所述文本数据中与所述位置参数对应的文本预览内容；
或，基于所述动作行为的初始字符，确定所文本数据中与所述初始字符对应的文本预览内容。
上述方案中，所述在当前显示界面显示所述文本预览内容，包括：
基于预设显示条件，在当前显示界面显示所述文本预览内容；所述预设显示条件至少包括动作次数、提前预览时间、显示参数中的至少一种。
上述方案中，所述基于预设显示条件，在当前显示界面显示所述文本预览内容，包括：
基于所述预设显示条件中的对应参数，确定所述文本数据中与所述动作行为相对应、且满足所述预设显示条件中对应参数的文本预览内容；
在当前显示界面显示所述文本预览内容。
上述方案中，在当前显示界面显示所述文本预览内容，包括：
在当前显示界面的预览区域内显示所述文本预览内容，所述预览区域与当前显示界面中播放所述视频数据的显示区域不同。
上述方案中，所述预览区域与当前显示界面中播放所述视频数据的显示区域不同，包括：
所述预览区域与所述显示区域位于同层的不同区域；
或，所述预览区域与所述显示区域位于不同层的不同区域，且所述预览区域的显示层在所述显示区域的显示层的上面。
上述方案中，还包括：
基于所述视频数据的播放进度，调整所述文本预览内容。
根据本申请的另一方面，提供一种电子设备，包括：
识别单元，用于对视频数据进行识别，生成所述视频数据的文本数据；
确定单元，用于在所述视频数据的播放过程中，如果监测到动作行为，确定所述文本数据中与所述动作行为对应的文本预览内容；
显示单元，用于在当前显示界面显示所述文本预览内容。
本申请提供一种数据处理方法及电子设备，通过对视频数据进行识别，生成所述视频数据的文本数据；在所述视频数据的播放过程中，如果监测到动作行为，确定所述文本数据中与所述动作行为对应的文本预览内容；在当前显示界面显示所述文本预览内容。如此，可以帮助用户在视频流播放过程中预览视频数据的文本内容，提高视频数据的学习效率，减少为记笔记频繁对视频数据进行暂停、开始、后退等操作所花费的时间。
附图说明
图1为本申请中数据处理方法的流程实现示意图；
图2为本申请中电子设备的结构组成示意图一；
图3为本申请中电子设备的结构组成示意图二。
具体实施方式
以下结合说明书附图及具体实施例对本申请的技术方案做进一步的详细阐述。
图1为本申请中数据处理方法的流程实现示意图，如图1所示，包括：
步骤101，对视频数据进行识别，生成所述视频数据的文本数据；
本申请中，该方法可以应用于电子设备，该电子设备可以是手机、电脑、平板、电视等具有显示屏的终端，并且通过该电子设备可以播放视频数据。这里，该视频数据可以是本地视频数据，也可以是网络视频数据。
如果该电子设备当前处于运行状态的应用为视频应用，该电子设备还可以对该视频应用中的视频数据进行识别，以生成该视频数据的文本数据。
本申请中，该电子设备可以根据当前应用的数据包名确定当前处于运行状态的应用是否是视频应用。
在一种实现方案中，该电子设备可以在预设列表中查找当前应用的数据包名，如果查询结果表征在该预设列表中查找到当前应用的数据包名，则确定当前应用是视频应用。
在另一种实现方案中，该电子设备可以在当前应用的数据包名中提取目标标识，如果在当前应用的数据包名中提取到目标标识，则确定当前应用是视频应用。
本申请通过判断当前处于运行状态的应用是否是视频应用，可以灵活触发对视频数据的文本识别。
本申请中，该电子设备在对视频数据进行识别，以生成该视频数据的文本数据时，具体可以根据预设时间间隔提取该视频数据中的多个帧图像，对多个帧图像进行识别，以生成多个帧图像中的文本内容、不同文本内容的位置参数、不同文本内容的时间戳、文本动作时间戳。
具体地，该电子设备可以通过光学字符识别(OCR，Optical CharacterRecognition)技术对视频数据中的每帧图像进行识别，以生成多个帧图像中的文本内容、不同文本内容的位置参数、不同文本内容的首次出现时间戳。通过动作识别技术可以识别出该视频数据中每个文本动作的首次出现时间戳和持续时长。
步骤102，在所述视频数据的播放过程中，如果监测到动作行为，确定所述文本数据中与所述动作行为对应的文本预览内容；
本申请中，该电子设备在该视频数据的播放过程中，还可以通过动作识别技术实时监测视频数据中的动作行为，并且在监测到动作行为的情况下，在该视频数据中的文本数据中查找与该动作行为对应的文本预览内容。
比如，该视频数据是网课教学类视频数据，在该网课教学类视频数据的播放过程中，通过动作识别技术可以实时监测视频数据中老师的板书书写行为，并且在监测到老师的板书书写行为的情况下，可以在该视频数据中的文本数据中确定该板书书写行为对应的板书预览内容。
再比如，该视频数据是舞蹈类视频数据，在该舞蹈类视频数据的播放过程中，通过动作识别技术可以实时监测视频数据中的舞蹈动作，如果在监测到舞蹈动作的情况下，该电子设备可以在该视频数据中的文本数据中确定该舞蹈动作对应的文本预览内容。
本申请通过对视频数据进行识别，以生成视频数据的文本数据，并且在视频数据的播放过程中监测到动作行为的情况下，在该视频数据的文本数据中确定出与该动作行为对应的文本预览内容，可以使学员一边观看视频，一边预览到视频数据的对应的重点文本内容，提高学员的听课效率，同时，还可以减少学员为记笔记需要反复对视频数据进行暂停、开始、后退、前进等操作而花费的时间。
在视频教学的过程中，由于教师的教学行为总会在某一个帧图像上遮挡住某一个画面，导致学员无法在该帧图像上观看到完整的教学内容。因此，该电子设备在确定出当前动作行为对应的文本预览内容之后，还可以对该视频数据的多个帧图像中的文本内容进行叠加处理，以生成与该动作行为对应且未被遮挡的文本预览内容。
比如，在网课教学类视频数据的播放过程中，教师在板书书写过程中，身体和\或胳膊总会遮挡住教学画面的某一部分教学内容，使学员无法观看到完整的视频数据。而本申请通过将多帧图像中的文本内容进行叠加处理，可以将每一帧图像中被遮挡的文本内容补全，从而生成完整的未被遮挡的文本预览内容。
本申请中，该电子设备在确定文本数据中与该动作行为对应的文本预览内容时，具体可以基于该动作行为的起始时间，确定该文本数据中与该起始时间对应的文本预览内容。
具体地，该电子设备可以基于该动作行为的起始时间，在文本数据中以该起始时间为起点截取该起始时间以后的一段文本数据作为该起始时间对应的文本预览内容。
比如，该动作行为的起始时间是10：05，则以10：05为起点，截取10：05至10：07这一段时间内的文本数据作为文本预览内容。
本申请中，该电子设备在确定文本数据中与该动作行为对应的文本预览内容时，具体还可以基于该动作行为的位置参数，确定该文本数据中与该位置参数对应的文本预览内容。
具体地，该电子设备可以基于该动作行为在显示界面的位置参数，在文本数据中以该位置参数为中心提取预设范围内的文本数据作为该位置参数对应的文本预览内容。
比如，该动作行为在显示界面的位置参数是：X10，Y20(其中，X表征X方向，Y表征Y方向)，则在文本数据中提取位置参数：X7-12，Y18-22范围内的文本数据作为文本预设内容。
本申请中，该电子设备在确定文本数据中与该动作行为对应的文本预览内容时，具体还可以基于该动作行为的初始字符，确定该文本数据中与该初始字符对应的文本预览内容。
具体地，该电子设备可以基于该动作为的初始字符，在该文本数据中提取该初始字符，并将该初始字符往后的几个字符作为文本预览内容。
比如，该动作行为的初始字符是：(A+B)，则在视频数据的文本数据中提取(A+B)，并将(A+B)往后的几个字符做为文本预览内容。比如(A+B)-(A+C)作为文本预览内容。
步骤103，在当前显示界面显示所述文本预览内容。
本申请中，该电子设备在文本数据中与确定出与动作行为对应的文本预览内容之后，还可以按照预设显示条件在当前显示界面显示该文本预览内容。这里，该预设显示条件至少包括动作次数、提前预览时间、显示参数(包括显示字数和\或显示文本行)中的至少一种。
具体地，该电子设备按照预设显示条件在当前显示界面显示该文本预览内容时，具体可以基于该预设显示条件中的对应参数，确定该文本数据中与该动作行为相对应、且满足该预设显示条件中对应参数的文本预览内容，然后在当前显示界面显示该文本预览内容。
本申请中，该电子设备在基于该视频数据中的动作次数，在当前显示界面显示文本预览内容时，具体可以通过提取该视频数据的帧图像，然后通过动作识别技术对多个帧图像进行动作识别，以确定该视频数据中单次动作的行为时长；另外，还可以通过OCR技术对多个帧图像进行内容识别，以确定该视频数据中单次动作的内容，基于单次动作的内容和单次动作的行为时长，在文本数据中确定出与该动作次数对应的文本预览内容。
比如，该电子设备基于视频数据中的板书书写次数，在当前显示界面显示板书预览内容时，可以先通过动作识别技术对视频数据中的多个帧图像进行动作识别，以确定该视频数据中单次板书的书写行为时长，然后再通过OCR技术对视频数据中的多个帧图像进行内容识别，以确定该视频数据中单次板书的内容，基于单次板书的内容和单次板书的书写时长，在文本数据中确定与当前这次板书书写行为对应的板书预览内容，并且该板书内容还可以随着视频数据的播放进度调整或更新板书预览内容。
这里，通过OCR技术对视频数据中的多个帧图像进行内容识别，可以确定出视频数据中真正的动作行为，以避免教师在讲解过程中只是抬手但并未真正进行板书书写而导致设备频繁触发文本预览内容的识别情况，从而能够降低设备功耗。
本申请中，该电子设备基于提前预览时间，在当前显示界面显示文本预览内容时，具体可以基于该提前预览时间，在该视频数据的文本数据中确定与该动作行为相对应、且处于以当前播放时间为起点延长该前预览时间之间的板书预览内容。
比如，用户设定指定时间提前量t(秒)，在教师开始写板书后，每次只展示接下来t秒内的板书内容，该板书内容还可以随着视频数据的播放进度调整或更新板书预览内容。
本申请中，该电子设备基于显示参数，在当前显示界面显示文本预览内容时，具体可以基于该显示参数，在该视频数据的文本数据中确定与当前动作行为对应且满足该显示参数的文本预览内容。
在一个实现方式中，如果该显示参数表征按字数预览，且用户指定了字数提前量c(字)，该电子设备可以在教师开始写板书后，每次只在显示界面展示本次板书内容中接下来不超过c个字的板书内容。
这里，该板书内容还可以随着视频数据的播放进度调整或更新板书预览内容。
在另一个实现方式中，如果该显示参数表征按文本行预览，且用户指定了文本行1(行)，该电子设备还可以在教师开始写板书后，每次只在显示界面展示本次板书内容中接下来不超过l行文本的板书内容。
这里，该板书内容还可以随着视频数据的播放进度调整或更新板书预览内容。
本申请中，该电子设备在按照预设显示条件在当前显示界面显示该文本预览内容时，还可以在当前显示界面的预览区域内显示该文本预览内容。这里，该预览区域与当前显示界面中播放该视频数据的显示区域不同。
具体地，该预览区域与当前显示界面中播放该视频数据的显示区域不同，可以表现在：
该预览区域与当前显示界面中播放该视频数据的显示区域位于同层的不同区域。比如，当前显示界面的左边区域用于显示视频数据，当前显示界面的右边区域用于显示文本预览内容。
或者，该预览区域与当前显示界面中播放该视频数据的显示区域位于不同层的不同区域，且该预览区域的显示层在该显示区域的显示层的上面。也就是说该预览区域以悬浮的方式重叠在显示区域上方。
本申请通过多种内容的预览规则，不仅可以保证文本预览内容在教学过程中不被遮挡，而且还可以满足不同用户对文本预览内容的显示需求。
图2为本申请中电子设备的结构组成示意图一，如图2所示，该电子设备包括：
识别单元201，用于对视频数据进行识别，生成所述视频数据的文本数据；
确定单元202，用于在所述视频数据的播放过程中，如果监测到动作行为，确定所述文本数据中与所述动作行为对应的文本预览内容；
显示单元203，用于在当前显示界面显示所述文本预览内容。
本申请中，该电子设备可以是电脑、电视、手机、平板电脑、学习机等具有显示屏的终端。
本申请中，该电子设备还包括：
提取单元204，用于提取所述视频数据的帧图像；
所述识别单元201，具体用于对多个所述帧图像进行识别，以生成多个所述帧图像中的文本内容、不同文本内容的位置参数、不同文本内容的时间戳、文本动作时间戳。
本申请中，该电子设备还包括：
生成单元205，用于对多个所述帧图像中的文本内容进行叠加处理，生成与所述动作行为对应的未被遮挡的文本预览内容。
本申请中，该确定单元202，具体还用于基于所述动作行为的起始时间，确定所述文本数据中与所述起始时间对应的文本预览内容；或，基于所述动作行为的位置参数，确定所述文本数据中与所述位置参数对应的文本预览内容；或，基于所述动作行为的初始字符，确定所述文本数据中与所述初始字符对应的文本预览内容。
本申请中，该显示单元203，具体用于基于预设显示条件，在当前显示界面显示所述文本预览内容；所述预设显示条件至少包括动作次数、提前预览时间、显示参数中的至少一种。
本申请中，该确定单元202还用于基于所述预设显示条件中的对应参数，确定所述文本数据中与所述动作行为相对应、且满足所述预设显示条件中对应参数的文本预览内容；然后触发显示单元203，由显示单元203在当前显示界面显示所述文本预览内容。
本申请中，该显示单元203，具体还用于在当前显示界面的预览区域内显示所述文本预览内容，所述预览区域与当前显示界面中播放所述视频数据的显示区域不同。
这里，所述预览区域与当前显示界面中播放所述视频数据的显示区域不同，可以体现在所述预览区域与所述显示区域位于同层的不同区域；或，所述预览区域与所述显示区域位于不同层的不同区域，且所述预览区域的显示层在所述显示区域的显示层的上面。
本申请中，该电子设备还包括：
调整单元206，用于基于所述视频数据的播放进度，调整所述文本预览内容。
需要说明的是：上述实施例提供的电子设备在进行信息提醒时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的电子设备与上述提供的处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本申请实施例还提供了一种电子设备，该电子设备包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器用于运行所述计算机程序时，执行：对视频数据进行识别，生成所述视频数据的文本数据；在所述视频数据的播放过程中，如果监测到动作行为，确定所述文本数据中与所述动作行为对应的文本预览内容；在当前显示界面显示所述文本预览内容。
所述处理器还用于运行所述计算机程序时，执行：提取所述视频数据的帧图像；对多个所述帧图像进行识别，生成多个所述帧图像中的文本内容、不同文本内容的位置参数、不同文本内容的时间戳、文本动作时间戳。
所述处理器还用于运行所述计算机程序时，执行：对多个所述帧图像中的文本内容进行叠加处理，生成与所述动作行为对应的未被遮挡的文本预览内容。
所述处理器还用于运行所述计算机程序时，执行：基于所述动作行为的起始时间，确定所述文本数据中与所述起始时间对应的文本预览内容；或，基于所述动作行为的位置参数，确定所述文本数据中与所述位置参数对应的文本预览内容；或，基于所述动作行为的初始字符，确定所述文本数据中与所述初始字符对应的文本预览内容。
所述处理器还用于运行所述计算机程序时，执行：基于预设显示条件，在当前显示界面显示所述文本预览内容；所述预设显示条件至少包括动作次数、提前预览时间、显示参数中的至少一种。
所述处理器还用于运行所述计算机程序时，执行：基于所述预设显示条件中的对应参数，确定所述文本数据中与所述动作行为相对应、且满足所述预设显示条件中对应参数的文本预览内容；在当前显示界面显示所述文本预览内容。
这里，所述预览区域与所述显示区域位于同层的不同区域；或，所述预览区域与所述显示区域位于不同层的不同区域，且所述预览区域的显示层在所述显示区域的显示层的上面。
所述处理器还用于运行所述计算机程序时，执行：基于所述视频数据的播放进度，调整所述文本预览内容。
图3是本申请中电子设备的结构组成示意图二，电子设备300可以是移动电话、计算机、数字广播终端、信息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等具有音频采集功能的终端。图3所示的电子设备300包括：至少一个处理器301、存储器302、至少一个网络接口304和用户接口303。电子设备300中的各个组件通过总线系统305耦合在一起。可理解，总线系统305用于实现这些组件之间的连接通信。总线系统305除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图3中将各种总线都标为总线系统305。
其中，用户接口303可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
可以理解，存储器302可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本申请实施例描述的存储器302旨在包括但不限于这些和任意其它适合类型的存储器。
本申请实施例中的存储器302用于存储各种类型的数据以支持电子设备300的操作。这些数据的示例包括：用于在电子设备300上操作的任何计算机程序，如操作系统3021和应用程序3022；联系人数据；电话簿数据；消息；图片；音频等。其中，操作系统3021包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序3022可以包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本申请实施例方法的程序可以包含在应用程序3022中。
上述本申请实施例揭示的方法可以应用于处理器301中，或者由处理器301实现。处理器301可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器301中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器301可以是通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器301可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器302，处理器301读取存储器302中的信息，结合其硬件完成前述方法的步骤。
在示例性实施例中，电子设备300可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)、通用处理器、控制器、微控制器(MCU，Micro Controller Unit)、微处理器(Microprocessor)、或其他电子元件实现，用于执行前述方法。
在示例性实施例中，本申请实施例还提供了一种计算机可读存储介质，例如包括计算机程序的存储器302，上述计算机程序可由电子设备300的处理器301执行，以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备，如移动电话、计算机、平板设备、个人数字助理等。
一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器运行时，执行：对视频数据进行识别，生成所述视频数据的文本数据；在所述视频数据的播放过程中，如果监测到动作行为，确定所述文本数据中与所述动作行为对应的文本预览内容；在当前显示界面显示所述文本预览内容。
所述计算机程序被处理器运行时，还执行：提取所述视频数据的帧图像；对多个所述帧图像进行识别，生成多个所述帧图像中的文本内容、不同文本内容的位置参数、不同文本内容的时间戳、文本动作时间戳。
所述计算机程序被处理器运行时，还执行：对多个所述帧图像中的文本内容进行叠加处理，生成与所述动作行为对应的未被遮挡的文本预览内容。
所述计算机程序被处理器运行时，还执行：基于所述动作行为的起始时间，确定所述文本数据中与所述起始时间对应的文本预览内容；或，基于所述动作行为的位置参数，确定所述文本数据中与所述位置参数对应的文本预览内容；或，基于所述动作行为的初始字符，确定所述文本数据中与所述初始字符对应的文本预览内容。
所述计算机程序被处理器运行时，还执行：基于预设显示条件，在当前显示界面显示所述文本预览内容；所述预设显示条件至少包括动作次数、提前预览时间、显示参数中的至少一种。
所述计算机程序被处理器运行时，还执行：基于所述预设显示条件中的对应参数，确定所述文本数据中与所述动作行为相对应、且满足所述预设显示条件中对应参数的文本预览内容；在当前显示界面显示所述文本预览内容。
这里，所述预览区域与所述显示区域位于同层的不同区域；或，所述预览区域与所述显示区域位于不同层的不同区域，且所述预览区域的显示层在所述显示区域的显示层的上面。
所述计算机程序被处理器运行时，还执行：基于所述视频数据的播放进度，调整所述文本预览内容。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种数据处理方法，所述方法包括：
对视频数据进行识别，生成所述视频数据的文本数据；
在所述视频数据的播放过程中，如果监测到动作行为，确定所述文本数据中与所述动作行为对应的文本预览内容；所述文本预览内容中至少包括有所述动作行为遮挡的内容；
在当前显示界面显示所述视频数据和所述文本预览内容。
2.根据权利要求1所述的方法，对视频数据进行识别，生成所述视频数据的文本数据，包括：
提取所述视频数据的帧图像；
对多个所述帧图像进行识别，生成多个所述帧图像中的文本内容、不同文本内容的位置参数、不同文本内容的时间戳、文本动作时间戳。
3.根据权利要求2所述的方法，在当前显示界面显示所述文本预览内容之前，所述方法还包括：
对多个所述帧图像中的文本内容进行叠加处理，生成与所述动作行为对应的未被遮挡的文本预览内容。
4.根据权利要求1所述的方法，所述如果监测到动作行为，确定所述文本数据中与所述动作行为对应的文本预览内容，包括：
基于所述动作行为的起始时间，确定所述文本数据中与所述起始时间对应的文本预览内容；
或，基于所述动作行为的位置参数，确定所述文本数据中与所述位置参数对应的文本预览内容；
或，基于所述动作行为的初始字符，确定所述文本数据中与所述初始字符对应的文本预览内容。
5.根据权利要求1所述的方法，所述在当前显示界面显示所述文本预览内容，包括：
基于预设显示条件，在当前显示界面显示所述文本预览内容；所述预设显示条件至少包括动作次数、提前预览时间、显示参数中的至少一种。
6.根据权利要求5所述的方法，所述基于预设显示条件，在当前显示界面显示所述文本预览内容，包括：
基于所述预设显示条件中的对应参数，确定所述文本数据中与所述动作行为相对应、且满足所述预设显示条件中对应参数的文本预览内容；
在当前显示界面显示所述文本预览内容。
7.根据权利要求1所述的方法，在当前显示界面显示所述文本预览内容，包括：
在当前显示界面的预览区域内显示所述文本预览内容，所述预览区域与当前显示界面中播放所述视频数据的显示区域不同。
8.根据权利要求7所述的方法，所述预览区域与当前显示界面中播放所述视频数据的显示区域不同，包括：
所述预览区域与所述显示区域位于同层的不同区域；
或，所述预览区域与所述显示区域位于不同层的不同区域，且所述预览区域的显示层在所述显示区域的显示层的上面。
9.根据权利要求1所述的方法，还包括：
基于所述视频数据的播放进度，调整所述文本预览内容。
10.一种电子设备，包括：
识别单元，用于对视频数据进行识别，生成所述视频数据的文本数据；
确定单元，用于在所述视频数据的播放过程中，如果监测到动作行为，确定所述文本数据中与所述动作行为对应的文本预览内容；所述文本预览内容中至少包括有所述动作行为遮挡的内容；
显示单元，用于在当前显示界面显示所述视频数据和所述文本预览内容。
CN202111159626.3A 2021-09-30 2021-09-30 一种处理方法及电子设备 Active CN113873292B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111159626.3A CN113873292B (zh) 2021-09-30 2021-09-30 一种处理方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111159626.3A CN113873292B (zh) 2021-09-30 2021-09-30 一种处理方法及电子设备

Publications (2)

Publication Number Publication Date
CN113873292A CN113873292A (zh) 2021-12-31
CN113873292B true CN113873292B (zh) 2023-03-24

Family

ID=79001079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111159626.3A Active CN113873292B (zh) 2021-09-30 2021-09-30 一种处理方法及电子设备

Country Status (1)

Country Link
CN (1) CN113873292B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111935527A (zh) * 2019-05-13 2020-11-13 阿里巴巴集团控股有限公司 信息显示方法、视频播放方法及设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5493709B2 (ja) * 2009-03-13 2014-05-14 株式会社リコー 映像編集装置
US8515185B2 (en) * 2009-11-25 2013-08-20 Google Inc. On-screen guideline-based selective text recognition
US11074495B2 (en) * 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
KR20150037061A (ko) * 2013-09-30 2015-04-08 삼성전자주식회사 디스플레이장치 및 그 제어방법
CN112784663A (zh) * 2020-05-08 2021-05-11 珠海金山办公软件有限公司 一种文字识别方法及装置
CN111832455A (zh) * 2020-06-30 2020-10-27 北京小米松果电子有限公司 获取内容图像的方法、装置、存储介质和电子设备
CN112507927A (zh) * 2020-12-16 2021-03-16 罗普特科技集团股份有限公司 一种板书内容自动生成方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111935527A (zh) * 2019-05-13 2020-11-13 阿里巴巴集团控股有限公司 信息显示方法、视频播放方法及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
机器视觉图像中目标识别及处理方法研究;江伟;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160515;全文 *

Also Published As

Publication number Publication date
CN113873292A (zh) 2021-12-31

Similar Documents

Publication Publication Date Title
CN111970577B (zh) 字幕编辑方法、装置和电子设备
CN109120866A (zh) 动态表情生成方法、装置、计算机可读存储介质和计算机设备
CN108495194A (zh) 答题过程中的视频播放方法、计算机存储介质及终端设备
CN112437353B (zh) 视频处理方法、视频处理装置、电子设备和可读存储介质
CN111225225B (zh) 直播回放方法、装置、终端及存储介质
CN105791950A (zh) 录制演示文稿视频的方法及装置
CN108427589B (zh) 一种数据处理方法及电子设备
CN108111903A (zh) 录屏文件播放方法、装置及终端
JP2018520450A (ja) 情報処理方法、端末、およびコンピュータ記憶媒体
CN109600559B (zh) 一种视频特效添加方法、装置、终端设备及存储介质
CN112286617B (zh) 操作指导方法、装置及电子设备
CN105933720A (zh) 直播视频发布的通知方法和装置
CN112309449B (zh) 音频录制方法及装置
CN111881395A (zh) 页面的呈现方法、装置、设备及计算机可读存储介质
US9076489B1 (en) Circular timeline for video trimming
CN103886777B (zh) 动画播放装置及方法、动画播放控制装置及方法
US20240103697A1 (en) Video display method and apparatus, and computer device and storage medium
CN114846808A (zh) 内容发布系统、内容发布方法以及内容发布程序
CN113391745A (zh) 网络课程的重点内容处理方法、装置、设备及存储介质
CN113873292B (zh) 一种处理方法及电子设备
CN117033700A (zh) 基于ai助手辅助课件展示的方法、系统及存储介质
CN114666648B (zh) 视频播放方法及电子设备
CN112988005B (zh) 自动加载字幕的方法
CN114253449B (zh) 截屏方法、装置、设备及介质
CN115373786A (zh) 多媒体播放方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant