CN114003767A - 一种应用于学生实验平台数据的视频标注方法 - Google Patents

一种应用于学生实验平台数据的视频标注方法 Download PDF

Info

Publication number
CN114003767A
CN114003767A CN202111190540.7A CN202111190540A CN114003767A CN 114003767 A CN114003767 A CN 114003767A CN 202111190540 A CN202111190540 A CN 202111190540A CN 114003767 A CN114003767 A CN 114003767A
Authority
CN
China
Prior art keywords
data
video
frame extraction
annotation
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111190540.7A
Other languages
English (en)
Inventor
刘利非
王庆峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xiding Intelligent Technology Co ltd
Original Assignee
Shanghai Xiding Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xiding Intelligent Technology Co ltd filed Critical Shanghai Xiding Intelligent Technology Co ltd
Priority to CN202111190540.7A priority Critical patent/CN114003767A/zh
Publication of CN114003767A publication Critical patent/CN114003767A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/75—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明揭示了一种应用于学生实验平台数据的视频标注方法，包括如下步骤：视频切片：对输入视频的起点和终点进行切边标记，得到切片数据；数据采样：对标记好的切片数据进行抽帧，得到抽帧数据，并对关键帧数据进行保留；数据过滤：对抽帧完的数据按照顺序进行内容关联以及对内容关联度进行计算，并对抽帧后的数据进行过滤；数据标注：将内容关联度与关联度阈值进行比较，并对超出关联度阈值的数据进行标注。本发明在标注时能训练模型并反馈到未标注的数据上，能够对视频进行有效抽帧和去除相似度较大的部分，极大减少标注的数据样本，且不丢失视频主要内容，同时实现了半自动化标注，极大地提高了标注效率。

Description

一种应用于学生实验平台数据的视频标注方法
技术领域
本发明涉及视频标注领域，特别是涉及一种应用于学生实验平台数据的视频标注方法。
背景技术
随着人工智能和大数据技术的发展，数据标注行业也迎来了飞速发展，其中与计算机视觉相关的标注数据需求量大，受关注程度很高，因此需要大量的数据标注工程师从事数据标注的工作。
现有的标注工具大多数没有对视频进行抽帧过滤，都是单独选取帧之后在进行标注，引用在本场景效果极差。同时由于视频的前后帧有极大的相似度(图片与图片整体的相似度)和重复度(前后帧相似度很低，但图片中物体种类、位置信息相关性极高)，现有的标注工具并不能基于前后帧图片内容进行关联，对相似度极大的图片进行删除，对于重复的内容不能自动标注。另外，每个视频在某个时间段内所做的事情，可以理解为在做一个动作的开始和结束，现有的标注工具不能对开始和结束进行标记，不能对视频进行切片和滑动窗口方式进行标注，存在一定的缺陷。
发明内容
本发明的目的在于，提供一种应用于学生实验平台数据的视频标注方法，利用多模型对视频进行过滤和筛选，获取有效可行的数据并进行标注。
为解决上述技术问题，本发明提供一种应用于学生实验平台数据的视频标注方法，包括如下步骤：
S100、视频切片：对输入视频的起点和终点进行切边标记，得到切片数据；
S200、数据采样：对标记好的切片数据进行抽帧，得到抽帧数据，并对关键帧数据进行保留；
S300、数据过滤：对抽帧完的数据按照顺序进行内容关联以及对内容关联度进行计算，并对抽帧后的数据进行过滤；
S400、数据标注：将内容关联度与关联度阈值进行比较，并对超出关联度阈值的数据进行标注。
进一步的，在步骤S100中，采用滑动窗口截取有效视频内容。
进一步的，在步骤S200中，将切片数据导入到预切片模型中训练，得到切片模型，导入未标注的视频进行切片模型推理，对得分小于0.9的数据进行手动调节，对调节之后数据进行在训练和抽帧处理，对得分大于0.9的数据直接进行抽帧处理。
进一步的，在步骤S300中，将抽帧数据导入到预抽帧模型中训练，得到抽帧模型，对步骤S200中得到的切片视频进行抽帧推理，得分小于0.9的数据进行手动调整，并重新训练，得分大于0.9的数据直接进行关联处理。
进一步的，在步骤S300中，将关联数据导入到关联模型中，得到关联模型，对抽帧数据进行关联推理，得分小于0.9的数据进行调整，得分大于0.9的数据直接进入最终的数据标注。
进一步的，在步骤S400中，对标注数据进行训练，得到标注模型，对关联数据进行与标注，小于0.9的数据则需要手动调整，大于0.98的则为最终的标注数据。
相比于现有技术，本发明至少具有以下有益效果：
本发明在标注时能训练模型并反馈到未标注的数据上，能够对视频进行有效抽帧和去除相似度较大的部分，极大减少标注的数据样本，且不丢失视频主要内容，同时实现了半自动化标注，极大地提高了标注效率。
附图说明
图1为本发明应用于学生实验平台数据的视频标注方法的流程图；
图2为本发明应用于学生实验平台数据的视频标注方法的流程框图。
具体实施方式
下面将结合示意图对本发明的应用于学生实验平台数据的视频标注方法进行更详细的描述，其中表示了本发明的优选实施例，应该理解本领域技术人员可以修改在此描述的本发明，而仍然实现本发明的有利效果。因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本发明的限制。
在下列段落中参照附图以举例方式更具体地描述本发明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
如图1所示，本发明实施例提出了一种应用于学生实验平台数据的视频标注方法，包括如下步骤：
S100、视频切片：对输入视频的起点和终点进行切边标记，得到切片数据；
S200、数据采样：对标记好的切片数据进行抽帧，得到抽帧数据，并对关键帧数据进行保留；
S300、数据过滤：对抽帧完的数据按照顺序进行内容关联以及对内容关联度进行计算，并对抽帧后的数据进行过滤；
S400、数据标注：将内容关联度与关联度阈值进行比较，并对超出关联度阈值的数据进行标注。
在步骤S100中，采用滑动窗口截取有效视频内容。在本实施方式中，本过程主要利用滑动窗口原理来截取有效视频内容部分，过滤掉视频中无效内容，大大减少标注数据量，本过程主要缩短视频有效时长，进而极大地提高了视频标注的效率。
在步骤S200中，将切片数据导入到预切片模型中训练，得到切片模型，导入未标注的视频进行切片模型推理，对得分小于0.9的数据进行手动调节，对调节之后数据进行在训练和抽帧处理，对得分大于0.9的数据直接进行抽帧处理。在本实施方式中，本过程主要利用滑动窗口原理来截取有效视频内容部分，过滤掉视频中无效内容，大大减少标注数据量，本过程主要缩短视频有效时长。
在步骤S300中，将抽帧数据导入到预抽帧模型中训练，得到抽帧模型，对步骤S200中得到的切片视频进行抽帧推理，得分小于0.9的数据进行手动调整，并重新训练，得分大于0.9的数据直接进行关联处理。在本实施方式中，利用手动调节和模型训练的模式相结合，能够避免标注时出现大量的相似图片或者漏掉关键帧，减轻标注工作量的同时，保证关键帧数据的保留，本过程主要关注帧与帧之间整体的相似度。
在步骤S300中，将关联数据导入到关联模型中，得到关联模型，对抽帧数据进行关联推理，得分小于0.9的数据进行调整，得分大于0.9的数据直接进入最终的数据标注。在本实施方式中，通过对关联度进行阈值检测来定量分析关联度，进而保证视频标注的准确性。
在步骤S400中，对标注数据进行训练，得到标注模型，对关联数据进行标注，得分小于0.9的数据则需要手动调整，得分大于0.98的则为最终的标注数据。在本实施方式中，通过标注关联度进行阈值检测来判别视频标注的关联性，将大大提升视频标注的准确性。
以下列举所述应用于学生实验平台数据的视频标注方法的较优实施例，以清楚的说明本发明的内容，应当明确的是，本发明的内容并不限制于以下实施例，其他通过本领域普通技术人员的常规技术手段的改进亦在本发明的思想范围之内。
本发明实施例提出了一种应用于学生实验平台数据的视频标注方法的使用方法，具体使用方法如下：
本发明支持训练标注(图2左边)和非训练标注(图2右边)，训练标注提供训练过程(每种实验刚开始标注时的必须步骤)，非训练标注则只提供预训练模型(批量标注时采用)，不支持训练。
2、手动对输入的视频进行切边标记，即起点和终点标记，得到切片数据，本过程主要利用滑动窗口原理来截取有效视频内容部分，过滤掉视频中无效内容，大大减少标注数据量，本过程主要缩短视频有效时长。
3、手动对标记好的切片数据进行抽帧，得到抽帧数据，本过程主要是采样数据，避免标注时出现大量的相似图片或者漏掉关键帧，减轻标注工作量的同时，保证关键帧数据的保留，本过程主要关注帧与帧之间整体的相似度。
4、手动对抽帧完的数据按照顺序进行内容关联，如关联度较大的，则取一个即可，本过程主要是对抽帧之后的数据进行过滤，确保抽帧后的前后帧图片内容的重复度，本过程主要时关注图片内容之间的相似度和重复度。
5、经过步骤2-4得到最终要标注的数据，此时得到的数据一定是视频中最有效、关键帧的数据，对这些数据进行手动标注。
6、步骤2得到切片数据，导入到预切片模型中训练，得到切片模型，导入未标注的视频进行切片模型推理，对得分小于0.9的数据进行手动调节，对调节之后数据进行在训练和抽帧处理，对得分大于0.9的数据直接进行抽帧处理。
7、步骤3得到的抽帧数据，导入到预抽帧模型中训练，得到抽帧模型，对步骤6得到的切片视频进行抽帧推理，得分小于0.9的数据进行手动调整，并重新训练，得分大于0.9的数据直接进行关联处理。
8、步骤4得到的关联数据，导入到关联模型中，得到关联模型，对步骤7得到的抽帧数据进行关联推理，得分小于0.9的数据进行调整，得分大于0.9的数据直接进入最终的数据标注。
9、对步骤5标注的部分数据进行训练，得到与标注模型，对步骤8得到的关联数据进行标注，小于0.9的数据则需要手动调整，大于0.98的则为最终的标注数据。
综上所述，本发明在标注时能训练模型并反馈到未标注的数据上，能够对视频进行有效抽帧和去除相似度较大的部分，极大减少标注的数据样本，且不丢失视频主要内容，同时实现了半自动化标注，极大地提高了标注效率。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种应用于学生实验平台数据的视频标注方法，其特征在于，包括如下步骤：
S100、视频切片：对输入视频的起点和终点进行切边标记，得到切片数据；
S200、数据采样：对标记好的切片数据进行抽帧，得到抽帧数据，并对关键帧数据进行保留；
S300、数据过滤：对抽帧完的数据按照顺序进行内容关联以及对内容关联度进行计算，并对抽帧后的数据进行过滤；
S400、数据标注：将内容关联度与关联度阈值进行比较，并对超出关联度阈值的数据进行标注。
2.如权利要求1所述的应用于学生实验平台数据的视频标注方法，其特征在于，在步骤S100中，采用滑动窗口截取有效视频内容。
3.如权利要求1所述的应用于学生实验平台数据的视频标注方法，其特征在于，在步骤S200中，将切片数据导入到预切片模型中训练，得到切片模型，导入未标注的视频进行切片模型推理，对得分小于0.9的数据进行手动调节，对调节之后数据进行在训练和抽帧处理，对得分大于0.9的数据直接进行抽帧处理。
4.如权利要求1所述的应用于学生实验平台数据的视频标注方法，其特征在于，在步骤S300中，将抽帧数据导入到预抽帧模型中训练，得到抽帧模型，对步骤S200中得到的切片视频进行抽帧推理，得分小于0.9的数据进行手动调整，并重新训练，得分大于0.9的数据直接进行关联处理。
5.如权利要求1所述的应用于学生实验平台数据的视频标注方法，其特征在于，在步骤S300中，将关联数据导入到关联模型中，得到关联模型，对抽帧数据进行关联推理，得分小于0.9的数据进行调整，得分大于0.9的数据直接进入最终的数据标注。
6.如权利要求1所述的应用于学生实验平台数据的视频标注方法，其特征在于，在步骤S400中，对标注数据进行训练，得到标注模型，对关联数据进行标注，小于0.9的数据则需要手动调整，大于0.98的则为最终的标注数据。
CN202111190540.7A 2021-10-13 2021-10-13 一种应用于学生实验平台数据的视频标注方法 Pending CN114003767A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111190540.7A CN114003767A (zh) 2021-10-13 2021-10-13 一种应用于学生实验平台数据的视频标注方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111190540.7A CN114003767A (zh) 2021-10-13 2021-10-13 一种应用于学生实验平台数据的视频标注方法

Publications (1)

Publication Number Publication Date
CN114003767A true CN114003767A (zh) 2022-02-01

Family

ID=79922699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111190540.7A Pending CN114003767A (zh) 2021-10-13 2021-10-13 一种应用于学生实验平台数据的视频标注方法

Country Status (1)

Country Link
CN (1) CN114003767A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116230173A (zh) * 2023-01-10 2023-06-06 合肥泓博医学科技有限公司 影像处理方法、装置及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116230173A (zh) * 2023-01-10 2023-06-06 合肥泓博医学科技有限公司 影像处理方法、装置及系统
CN116230173B (zh) * 2023-01-10 2023-09-22 合肥泓博医学科技有限公司 影像处理方法、装置及系统

Similar Documents

Publication Publication Date Title
CN109741332B (zh) 一种人机协同的图像分割与标注方法
US20150078671A1 (en) Automated document recognition, identification, and data extraction
CN109670494B (zh) 一种附带识别置信度的文本检测方法及系统
CN104951469B (zh) 优化语料库的方法和装置
CN110516203B (zh) 争议焦点分析方法、装置、电子设备及计算机可存储介质
CN113221711A (zh) 一种信息提取方法及装置
CN114003767A (zh) 一种应用于学生实验平台数据的视频标注方法
CN114187595A (zh) 基于视觉特征和语义特征融合的文档布局识别方法及系统
CN107436931B (zh) 网页正文抽取方法及装置
CN112182237A (zh) 题目知识点关联方法、题目知识点关联系统和存储介质
CN113628159A (zh) 一种基于深度学习网络全自动训练方法、装置及存储介质
CN113205047A (zh) 药名识别方法、装置、计算机设备和存储介质
CN109145723A (zh) 一种印章识别方法、系统、终端装置及存储介质
CN110889274B (zh) 信息质量评估方法、装置、设备及计算机可读存储介质
CN110738047A (zh) 基于图文数据与时间效应的微博用户兴趣挖掘方法及系统
CN110503101A (zh) 字形评价方法、装置、设备及计算机可读存储介质
CN113205046A (zh) 题册识别方法、系统、装置及介质
CN110866389B (zh) 信息价值评估方法、装置、设备及计算机可读存储介质
CN111581478A (zh) 一种特定主体的跨网站通用新闻采集方法
CN116521917A (zh) 一种图片筛选方法及装置
CN111163332A (zh) 视频色情度检测方法、终端及介质
CN107451215B (zh) 特征文本抽取方法及装置
CN113468176B (zh) 信息录入方法和装置、电子设备、计算机可读存储介质
CN110473222A (zh) 图像要素提取方法及装置
CN113837067A (zh) 器官轮廓检测方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination