CN118135451A - 文物特征标记方法、装置、设备及存储介质 - Google Patents
文物特征标记方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN118135451A CN118135451A CN202410123771.3A CN202410123771A CN118135451A CN 118135451 A CN118135451 A CN 118135451A CN 202410123771 A CN202410123771 A CN 202410123771A CN 118135451 A CN118135451 A CN 118135451A
- Authority
- CN
- China
- Prior art keywords
- feature
- marked
- video data
- marking
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 238000000605 extraction Methods 0.000 claims abstract description 26
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 239000003550 marker Substances 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000011160 research Methods 0.000 abstract description 8
- 238000011161 development Methods 0.000 abstract description 6
- 238000012545 processing Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000009826 distribution Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明涉及文物保护技术领域,公开了一种文物特征标记方法、装置、设备及存储介质。本方法包括:从待标记文物的视频数据中提取待标记文物的待标记特征,并将待标记特征与预设特征库匹配,得到待标记特征的特征数据,基于特征数据确定待标记特征的第一标记内容,并基于特征数据之间的关联关系确定待标记文物的第二标记内容,将第一标记内容和第二标记内容显示在视频数据中。本方案通过特征库和特征提取技术实现对视频数据中的文物识别,并基于显示方式将标记内容显示在视频数据中,实现了更好地理解、分析、记录、保护文物,促进了文物研究的发展。
Description
技术领域
本发明涉及文物保护技术领域,具体涉及一种文物特征标记方法、装置、设备及存储介质。
背景技术
如今的文博行业并未对海量的文物资料进行归类,在对文物进行管理归类时,需要花费大量的人工确定文物是否包含某个特定的特征元素,并从海量的资料库中搜索、比对、记录,找到特征元素的相关信息。在根据文物视频进行文物标记时,需要考虑标记方式以及显示方式等,现有的标记方式为直接在另一文件中展示文物的相关信息,并未在文物以及相关信息中建立关联关系,造成文物标记不匹配的问题。
发明内容
本发明的主要目的在于解决现有的文物标记方式中存在的标记内容与标记文物不匹配、人工成本高、效率低的问题。
本发明第一方面提供了一种文物特征标记方法,所述方法包括:从待标记文物的视频数据中提取所述待标记文物的待标记特征,并将所述待标记特征与预设特征库匹配,得到所述待标记特征的特征数据;基于所述特征数据确定所述待标记特征的第一标记内容,并基于所述特征数据之间的关联关系确定所述待标记文物的第二标记内容;将所述第一标记内容和所述第二标记内容显示在所述视频数据中。
可选的,在本发明第一方面的第一种实现方式中,所述从待标记文物的视频数据中提取所述待标记文物的待标记特征,包括:通过视频采集设备对待标记文物进行拍摄,得到所述待标记文物的视频数据,并对所述视频数据进行预处理,剔除所述视频数据中的噪声;对所述视频数据进行特征提取操作,得到所述待标记文物的待标记特征,并对所述待标记特征进行特征选择,剔除冗余元素特征,得到所述待标记文物的有效的待标记特征。
可选的,在本发明第一方面的第二种实现方式中,所述将所述待标记特征与预设特征库匹配,得到所述待标记特征的特征数据,包括:从所述预设特征库中提取元素特征的特征图像,并从所述视频数据中截取所述待标记特征的图像数据;将所述图像数据与所述特征图像进行匹配,确定所述待标记特征的对应的特征图像,并根据所述特征图像从预设特征库中提取对应的特征数据,得到所述待标记特征的特征数据。
可选的,在本发明第一方面的第三种实现方式中,所述基于所述特征数据确定所述待标记特征的第一标记内容,并基于所述待标记特征之间的关联关系确定所述待标记文物的第二标记内容,包括:从所述特征数据中提取所述待标记特征的基本信息,对所述基本信息进行格式转换,得到所述待标记特征的可显示的第一标记内容;从各所述标记特征的特征数据中提取各标记特征的特征名称,并确定各所述标记特征在所述视频数据中的位置关系;基于所述特征名称和所述位置关系确定所述待标记特征之间的关联关系,并基于所述关联关系确定所述待标记文物的文物名称,对所述文物名称进行格式转换,得到所述待标记文物的可显示的第二标记内容。
可选的,在本发明第一方面的第四种实现方式中,所述将所述第一标记内容和所述第二标记内容显示在所述视频数据中,包括:确定所述待标记特征在所述视频数据中出现的目标位置,并跟踪所述目标位置的移动轨迹,将所述第一标记内容跟随所述移动轨迹显示在所述视频数据中;确定所述待标记文物在所述视频数据中的出现时间段,并在所述时间段内将所述第二标记内容显示在视频数据的可视区域内。
可选的,在本发明第一方面的第五种实现方式中,所述将所述第一标记内容跟随所述移动轨迹显示在所述视频数据中,包括:基于所述移动轨迹确定所述待标记特征的第一标记内容的显示轨迹,并基于所述视频数据中各待标记特征的显示轨迹判断各所述显示轨迹是否存在重叠;若存在,则确定所述显示轨迹的重叠部分,并调整所述重叠部分的第一标记内容的显示位置,将所述第一标记内容基于调整后的显示位置显示在所述视频数据中。
可选的,在本发明第一方面的第六种实现方式中,所述将所述第一标记内容和所述第二标记内容显示在所述视频数据中,还包括:对所述视频数据进行逐帧截取,并确认各帧视频数据中所述待标记特征的第一标记内容和所述待标记文物的第二标记内容;基于所述第一标记内容和所述第二标记内容确认显示文字,并基于所述显示文字的显示方式、显示区域和显示时间创建文字布局信息;根据所述显示文字和所述文字布局信息将所述第一标记内容和所述第二标记内容显示在各帧视频数据中,并整个所有帧的视频数据,将所述第一标记内容和所述第二标记内容显示在所述视频数据中。
本发明第二方面提供了一种文物特征标记装置,所述装置包括:
匹配模块,用于从待标记文物的视频数据中提取所述待标记文物的待标记特征,并将所述待标记特征与预设特征库匹配,得到所述待标记特征的特征数据;
确定模块,用于基于所述特征数据确定所述待标记特征的第一标记内容,并基于所述特征数据之间的关系确定所述待标记文物的第二标记内容;
标记模块,用于将所述第一标记内容和所述第二标记内容显示在所述视频数据中。
可选地,在本发明第二方面的第一种实现方式中,所述匹配模块包括:
预处理单元,用于通过视频采集设备对待标记文物进行拍摄,得到所述待标记文物的视频数据,并对所述视频数据进行预处理,剔除所述视频数据中的噪声;对所述视频数据进行特征提取操作,得到所述待标记文物的待标记特征,并对所述待标记特征进行特征选择,剔除冗余元素特征,得到所述待标记文物的有效的待标记特征。
可选地,在本发明第二方面的第二种实现方式中,所述匹配模块还包括:
截取单元,用于从所述预设特征库中提取元素特征的特征图像,并从所述视频数据中截取所述待标记特征的图像数据;
提取单元,用于将所述图像数据与所述特征图像进行匹配,确定所述待标记特征的对应的特征图像,并根据所述特征图像从预设特征库中提取对应的特征数据,得到所述待标记特征的特征数据。
可选地,在本发明第二方面的第三种实现方式中,所述确定模块包括:
第一转换单元,用于从所述特征数据中提取所述待标记特征的基本信息,对所述基本信息进行格式转换,得到所述待标记特征的可显示的第一标记内容;
位置确定单元,用于从各所述标记特征的特征数据中提取各标记特征的特征名称,并确定各所述标记特征在所述视频数据中的位置关系;
第二转换单元,用于基于所述特征名称和所述位置关系确定所述待标记特征之间的关联关系,并基于所述关联关系确定所述待标记文物的文物名称,对所述文物名称进行格式转换,得到所述待标记文物的可显示的第二标记内容。
可选地,在本发明第二方面的第四种实现方式中,所述标记模块包括:
第一显示单元,用于确定所述待标记特征在所述视频数据中出现的目标位置,并跟踪所述目标位置的移动轨迹,将所述第一标记内容跟随所述移动轨迹显示在所述视频数据中;
第二显示单元,用于确定所述待标记文物在所述视频数据中的出现时间段,并在所述时间段内将所述第二标记内容显示在视频数据的可视区域内。
可选地,在本发明第二方面的第五种实现方式中,所述第一显示单元具体用于:基于所述移动轨迹确定所述待标记特征的第一标记内容的显示轨迹,并基于所述视频数据中各待标记特征的显示轨迹判断各所述显示轨迹是否存在重叠;若存在,则确定所述显示轨迹的重叠部分,并调整所述重叠部分的第一标记内容的显示位置,将所述第一标记内容基于调整后的显示位置显示在所述视频数据中。
可选地,在本发明第二方面的第六种实现方式中,所述标记模块还包括:
布局显示单元,用于对所述视频数据进行逐帧截取,并确认各帧视频数据中所述待标记特征的第一标记内容和所述待标记文物的第二标记内容;基于所述第一标记内容和所述第二标记内容确认显示文字,并基于所述显示文字的显示方式、显示区域和显示时间创建文字布局信息;根据所述显示文字和所述文字布局信息将所述第一标记内容和所述第二标记内容显示在各帧视频数据中,并整个所有帧的视频数据,将所述第一标记内容和所述第二标记内容显示在所述视频数据中。
本发明的第三方面提供了一种文物特征标记设备,所述文物特征标记设备包括存储器和至少一个处理器,所述存储器中存储有指令;所述至少一个处理器调用所述存储器中的所述指令,以使得所述文物特征标记设备执行如上所述的文物特征标记方法的各个步骤。
本发明的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,所述指令被处理器执行时实现如上所述文物特征标记方法的各个步骤。
本发明提供的技术方案中,从待标记文物的视频数据中提取待标记文物的待标记特征,并将待标记特征与预设特征库匹配,得到待标记特征的特征数据,基于特征数据确定待标记特征的第一标记内容,并基于特征数据之间的关联关系确定待标记文物的第二标记内容,将第一标记内容和第二标记内容显示在视频数据中。本方案通过特征库和特征提取技术实现对视频数据中的文物识别,并基于显示方式将标记内容显示在视频数据中,实现了更好地理解、分析、记录、保护文物,促进了文物研究的发展,降低了文物特征标记成本,提高了文物特征标记效率和便捷性。
附图说明
图1为本发明实施例提供的文物特征标记方法的第一个实施例示意图;
图2为本发明实施例提供的文物特征标记方法的第二个实施例示意图;
图3为本发明实施例提供的文物特征标记装置的一种结构示意图;
图4为本发明实施例提供的文物特征标记装置的另一种结构示意图;
图5为本发明实施例提供的文物特征标记设备的结构示意图。
具体实施方式
针对于现有的文物特征标记方式,本申请通过特征库和特征提取技术实现对视频数据中的文物识别,并基于显示方式将标记内容显示在视频数据中,实现了更好地理解、分析、记录、保护文物,促进了文物研究的发展,降低了文物特征标记成本,提高了文物特征标记效率。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、设备、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解,下面对本发明实施例的具体流程进行描述,请参阅图1本发明实施例提供的文物特征标记方法的第一个实施例示意图,该方法具体包括以下步骤:
101、从待标记文物的视频数据中提取待标记文物的待标记特征,并将待标记特征与预设特征库匹配,得到待标记特征的特征数据。
对待标记文物的视频数据抽取关键帧处理,并对关键帧进行图片处理操作,提取关键帧中的待标记特征,截取待标记特征的子图像,并将待标记特征的子图像与预设特征库中的元素特征的图像标记进行匹配,得到与字图像匹配的图像标记,基于图像标记从预设特征库中提取对应元素特征的特征标记,得到代表及特征的特征数据。
对于从待标记文物的视频数据中提取待标记文物的待标记特征,首先获取视频帧图像,并抽取视频帧图像中的关键帧图像,根据关键帧图像获得光流图像,将关键帧图像和光流图像进行融合得到融合图像,将融合图像输入预先训练好的CNN特征提取模型进行特征提取,获得视频特征。进一步的,还可以将文物的视频数据作为样本视频构建文物特征提取模型,并将待标记文物的视频数据输入至文物特征提取模型,提取待标记文物的待标记特征。具体的,获取样本视频,生成样本视频的视频帧集合和对应的样本标签,样本标签用于标记视频帧集合中的异常帧,将视频帧集合输入至待训练的文物特征提取模型,得到识别结果,根据识别结果和样本标签之间的差异,对待训练的文物特征提取模型的网络参数进行调整,直至调整后的文物特征提取模型满足预设的模型训练条件,将调整后的文物特征提取模型中的特征提取网络,作为训练好的视频特征提取模型,用于提取待标记文物的文物视频的待标记特征。所述待标记特征为从视频中提取文物的特征,包括文物的形状、纹理、颜色等方面的信息,可以使用图像处理和计算机视觉技术,如边缘检测、特征提取等算法来实现。
对于将待标记特征与预设特征库匹配,可以将提取出的特征与预设特征库中的文物特征进行比对,以确定文物的身份,还可以根据文物的特征信息,通过搜索引擎、社交媒体等途径进行查询和比对,从而确定待标记特征的特征数据,还可以通过专家对提取出的待标记特征进行进一步鉴定和识别。
预设特征库包括元素特征、特征数据以及元素特征与特征数据的对应关系。对于特征库的建立,首先确定元素特征,即确定包含在特征库中的元素特征以及元素特征的类型,例如颜色、形状、纹理、边缘、角点等,这些特征以及类型可以通过手动设计或使用算法自动提取;收集包含这些元素特征的样本数据,这些数据可以来自各种来源,例如图像库、数据库、实际拍摄等;对于每个样本数据,手动标记出其中的元素特征,并为其分配一个或多个特征数据;根据手动标记的结果,建立元素特征与特征数据的对应关系,所述对应关系可以用表格、图形或其他形式表示;将建立的元素特征、特征数据以及对应关系存储在数据库或文件中,设计合适的数据结构和算法来管理特征库,得到特征库。所述特征数据可以是预定义的标签,也可以是根据实际情况自定义的标签,在本实施例中,所述特征数据包括可见特征数据和非可见特征数据,所述可见特征数据至少包括图像标记、描述标记以及类型标记,所述图像标记为元素特征的图像,可以从已标记文物的文物图像或视频文物视频中截取,所述描述标记为元素特征的基本信息,包括元素特征的颜色、形状、历史记载、专家解读等,可以从历史文化数据以及文物知识库中提取,所述类型标记为元素特征所属的文物领域,可以基于文物的类型确定,例如,对于龙袍上的特征-龙纹,可以根据龙袍所属的衣物领域确定龙纹特征所属的领域为刺绣。
102、基于特征数据确定待标记特征的第一标记内容,并基于特征数据之间的关联关系确定待标记文物的第二标记内容。
所述第一标记内容指示待标记特征的属性信息,所述第二标记内容指示待标记文物的文物信息。所述关联关系为各待标记特征之间的位置关系。
从特征数据中提取待标记特征的描述标记和类型标记,并对描述标记进行关键词处理,提取描述标记中的描述关键词,基于描述关键词和类型标记进行词语组合,得到完整的待标记特征的第一标记内容。
获取待标记文物的所有待标记特征在视频数据中的位置关系,所述位置关系为在待标记文物所在的视频帧中各待标记特征在待标记文物上的第一位置分布,并获取待标记文物的所有待标记特征的特征数据,从特征数据中提取各待标记特征的描述标记,提取描述标记中的描述关键词,基于描述关键词从历史文物数据库中确定待标记文物的文物名称,并获取文物名称对应的文物图像,基于文物图像进行特征提取,并确定各特征在文物图像中的第二位置分布,将第二位置分布与第一位置分布比较,判断第一位置分布是否与第二位置分布一致,若是,则确认文物名称为待标记文物的文物名称,基于文物名称得到待标记文物的第二标记内容。
103、将第一标记内容和第二标记内容显示在视频数据中。
标记内容包括待标记特征的第一标记内容和待标记文物的第二标记内容。
确定第一标记内容与待标记特征的第一对应关系以及第二标记内容与待标记文物的第二对应关系,基于第一对应关系和第二对应关系将第一标记内容和第二标记内容对应显示在视频数据中。所述第一对应关系包括待标记特征在视频数据中的出现时间段以及出现轨迹,所述第二对应关系包括待标记文物在视频数据中的出现时间段。
基于标记内容和视频数据可以进行文字与视频双线程,具体的,以视频数据的播放界面为背景,在视频数据播放过程中,接收标记内容,并下发标记内容显示指令,将标记内容显示在视频数据中。在视频数据中显示标记内容需要设置与视频数据的输入接口,并确定标记内容的显示布局,基于显示布局确定文字插入逻辑,通过视频接口接收输入的标记内容以及文字插入逻辑,对视频数据中各数据帧嵌入标记内容,实现视频与文字的复合输出。
在一种可行的方式中,以视频数据为基础创建画布,获取标记内容的字符串,并对字符串中的每个字符标记字符类型,根据字符类型计算每个字符的高偏移,根据字符串中字符的宽、高以及计算的高偏移在画布上进行绘制,实现将标记内容显示在视频数据中。或者,实时获取与视频数据中的待标记特征和待标记文物对应的标记内容,所述视频数据通过第一播放控件播放,根据标记内容以及预设的弹幕模型制作弹幕视频流,其中,在所述弹幕视频流的每一帧中,除弹幕数据外的其余部分为透明状态,通过第二播放控件播放所述弹幕视频流,其中,所述弹幕视频流覆盖在所述视频流之上,以弹幕形式显示标记内容,实现在视频数据上显示标记内容。
本方案通过特征库和特征提取技术实现对视频数据中的文物识别,并基于显示方式将标记内容显示在视频数据中,促进了文物研究的发展。
请参阅图2本发明实施例提供的文物特征标记方法的第二个实施例示意图,该方法具体包括以下步骤:
201、从待标记文物的视频数据中提取待标记文物的待标记特征,并将待标记特征与预设特征库匹配,得到待标记特征的特征数据。
所述特征库记录元素特征的描述、形状、材质、图像、可见特征信息,无非可见特征等信息,使用合适的摄像设备对文物进行拍摄,以获取高质量的视频数据,在拍摄过程中,应该采集足够的细节和角度,以便后续的特征提取和分析,对采集到的视频进行预处理,包括去噪、调整亮度和对比度等,提高后续特征提取的准确性和稳定性,利用计算机视觉和图像处理算法,提取文物视频中的关键特征,这些特征可以是形状、纹理、颜色等方面的信息,常用的特征提取方法包括局部二值模式(LBP)、方向梯度直方图(HOG)和卷积神经网络等,由于视频数据可能非常庞大,为了减少计算量和提高分类的效果,可以使用特征选择和降维的方法,剔除冗余的特征或将高维特征转化为低维表示。通过深度学习和卷积神经网络提取视频数据中的待标记特征。
从视频数据中截取待标记特征的子图像,并将待标记特征的子图像与预设特征库中的图像标记进行相似度比较,得到与子图像相比相似度最大的目标图像标记,并确认子图像与目标图像标记匹配成功,确定待标记元素特征为目标图像标记对应的元素特征,基于元素特征与特征数据的对应关系从特征库中索引待标记特征的特征数据。
202、从待标记特征的特征数据中提取描述标记,并基于描述标记确定待标记特征的第一标记内容。
预设特征库中的描述标记用于描述文物的基本信息,包括名称、年代、制作材料、尺寸、来源等,所述描述标记可以从历史文化数据或专业数据中获取,对描述标记进行词语权重组合,得到待标记特征的第一标记内容。
对于基于各待标记特征的描述标记确定待标记特征的第一标记内容,涉及到对自然语言的处理,具体的,首先提取各描述标记的关键词,包括对描述标记中的部分描述词语和主体描述词语进行预处理,去除停用词、标点符号,进行词干提取或词形还原等;从描述标记中提取出关键词或短语,所述关键词或短语可以作为描述主体的特征,例如可以使用词频-逆文档频率、深度学习模型如词嵌入等文本特征提取方法来提取特征;对于提取出的每个特征,计算它与主体描述词语的相似度,可以通过余弦相似度、Jaccard相似度或者编辑距离等方法来实现;基于相似度计算的结果,选择与主体描述词语最相似的部分描述词语,可以通过简单的阈值选择,或者使用更复杂的机器学习算法如聚类或决策树来实现;最后对选择出的最相似的描述词语进行后处理,包括整理和排序,以形成完整的主体描述词语,得到待标记文物的第一标记内容。
203、确定待标记文物中所有待标记特征的特征数据,并计算各待标记特征的关联度,基于关联度对特征数据进行关键词提取,得到待标记文物的关键词描述。
基于视频数据中各待标记特征在待标记文物文物上的位置关系确定各待标记特征的关联度,所述关联度为任意待标记特征之间的相对位置关系,从各待标记特征的特征数据中提取各待标记特征的描述标记,对各描述标记进行计算关键词提取,得到描述关键词,基于关联度对各描述关键词进行组合以及去重,得到待标记文物的关键词描述。
204、基于关键词描述从历史文物数据库匹配待标记文物的文物名称,并基于文物名称和关键词描述得到待标记文物的第二标记内容。
从历史文物数据中获取各文物的基本信息,并将关键词描述与各基本信息进行比较,计算相似度,获取相似度最大的基本信息对应的历史文物的文物名称,到待标记文物的文物名称,并基于文物名称和关键词描述进行词语组合,得到待标记文物的第二标记内容。
205、在第一标记内容和待标记特征之间建立关联,在第二标记内容和待标记文物之间建立关联,并将第一标记内容和第二标记内容显示在视频数据中。
确定所述待标记特征在所述视频数据中出现的目标位置,并跟踪所述目标位置的移动轨迹,将所述第一标记内容跟随所述移动轨迹显示在所述视频数据中;确定所述待标记文物在所述视频数据中的出现时间段,并在所述时间段内将所述第二标记内容显示在视频数据的可视区域内。
在一种可行的方式中,将视频数据作为整体视频显示标记内容,具体的,在视频数据中逐字显示标记内容对应的目标贴图,其中,目标贴图以视频数据中的目标区域为中心,沿目标轨迹向外移动,即基于标记内容生成对应的目标贴图显示视频数据中,以逐字动态显示的方式,控制目标贴图以视频数据中的目标区域为中心,向视频数据的边缘移动,将标记内容显示在视频数据中。或者,确定视频数据中待标记特征和待标记文物的对应的标记内容和移动轨迹,当有待标记特征和待标记文物进入目标视频的画面中时,目标视频画面左上角显示待标记特征和/或待标记文物的名称列表,同时在视频数据的画面中显示待标记特征和待标记文物的待标记特征和待标记文物。或者,判断视频数据中是否包括待标记特征,若包括,对待标记特征进行动态跟踪,对动态跟踪的待标记特征确定对应的第一标记内容并将其叠加到待标记特征上,并跟随待标记特征的移动轨迹显示;判断视频数据中是否包括待标记文物,若包括,则确定待标记文物在视频数据中的显示时间段,在该时间段内将待标记文物的第二标记内容显示在视频数据的左上角。
对所述视频数据进行逐帧截取,并确认各帧视频数据中所述待标记特征的第一标记内容和所述待标记文物的第二标记内容;基于所述第一标记内容和所述第二标记内容确认显示文字,并基于所述显示文字的显示方式、显示区域和显示时间创建文字布局信息;根据所述显示文字和所述文字布局信息将所述第一标记内容和所述第二标记内容显示在各帧视频数据中,并整个所有帧的视频数据,将所述第一标记内容和所述第二标记内容显示在所述视频数据中。
在另一种可行的方式中,对视频数据进行逐帧标记内容显示,具体的,识别视频数据的视频帧中待标记特征和待标记文物的所在区域,根据识别到的区域,确定包含同一对象、且播放时间连续的相似视频帧,作为目标视频帧,确定各目标视频帧中待标记特征和待标记文物所在区域的轮廓,根据所确定的轮廓,生成各目标视频帧对应的显示轨迹,各条显示轨迹联合表示标记内容从所确定轮廓中的预设起始位置移动至预设终止位置的轨迹。
通过对待标记文物和待标记内容进行标记,将提取到的特征与事先建立的文物特征库进行匹配和分类,比对文物视频的特征和已知文物的特征,确定文物的类别、属性和特征,并对标记的结果进行分析和评估,以确定特征标记的准确性和稳定性,同时将标记的结果应用于文物保护、研究和展览等方面,以提供更详细和生动的信息,实现了更好地管理、保护和研究文物,并通过准确地标记和描述文物的特征,能够提供详细的信息,支持文物的鉴定、归档、展示和研究,并确保文物的完整性和价值的传承。
本方案通过特征库和特征提取技术实现对视频数据中的文物识别,并基于显示方式将标记内容显示在视频数据中,促进了文物研究的发展。
上面对本发明实施例中文物特征标记方法进行了描述,下面从模块化功能实体的角度对本发明实施例文物特征标记装置进行详细描述,请参阅图3,本发明实施例提供的文物特征标记装置的一种结构示意图,包括:
匹配模块310,用于从待标记文物的视频数据中提取所述待标记文物的待标记特征,并将所述待标记特征与预设特征库匹配,得到所述待标记特征的特征数据;
确定模块320,用于基于所述特征数据确定所述待标记特征的第一标记内容,并基于所述特征数据之间的关系确定所述待标记文物的第二标记内容;
标记模块330,用于将所述第一标记内容和所述第二标记内容显示在所述视频数据中。
本方案基于待标记文物的视频数据和预设特征库匹配,得到待标记特征的特征数据,基于特征数据确定待标记特征的第一标记内容,并基于特征数据之间的关联关系确定待标记文物的第二标记内容,将第一标记内容和第二标记内容显示在视频数据中,实现基于视频的文物的标记显示。
请参阅图4,本发明实施例提供的文物特征标记装置的另一种结构示意图,包括:
匹配模块410,用于从待标记文物的视频数据中提取所述待标记文物的待标记特征,并将所述待标记特征与预设特征库匹配,得到所述待标记特征的特征数据;
确定模块420,用于基于所述特征数据确定所述待标记特征的第一标记内容,并基于所述特征数据之间的关系确定所述待标记文物的第二标记内容;
标记模块430,用于将所述第一标记内容和所述第二标记内容显示在所述视频数据中。
在本实施例中,所述匹配模块410包括:
预处理单元411,用于通过视频采集设备对待标记文物进行拍摄,得到所述待标记文物的视频数据,并对所述视频数据进行预处理,剔除所述视频数据中的噪声;对所述视频数据进行特征提取操作,得到所述待标记文物的待标记特征,并对所述待标记特征进行特征选择,剔除冗余元素特征,得到所述待标记文物的有效的待标记特征。
在本实施例中,所述匹配模块410还包括:
截取单元412,用于从所述预设特征库中提取元素特征的特征图像,并从所述视频数据中截取所述待标记特征的图像数据;
提取单元413,用于将所述图像数据与所述特征图像进行匹配,确定所述待标记特征的对应的特征图像,并根据所述特征图像从预设特征库中提取对应的特征数据,得到所述待标记特征的特征数据。
在本实施例中,所述确定模块420包括:
第一转换单元421,用于从所述特征数据中提取所述待标记特征的基本信息,对所述基本信息进行格式转换,得到所述待标记特征的可显示的第一标记内容;
位置确定单元422,用于从各所述标记特征的特征数据中提取各标记特征的特征名称,并确定各所述标记特征在所述视频数据中的位置关系;
第二转换单元423,用于基于所述特征名称和所述位置关系确定所述待标记特征之间的关联关系,并基于所述关联关系确定所述待标记文物的文物名称,对所述文物名称进行格式转换,得到所述待标记文物的可显示的第二标记内容。
在本实施例中,所述标记模块430包括:
第一显示单元431,用于确定所述待标记特征在所述视频数据中出现的目标位置,并跟踪所述目标位置的移动轨迹,将所述第一标记内容跟随所述移动轨迹显示在所述视频数据中;
第二显示单元432,用于确定所述待标记文物在所述视频数据中的出现时间段,并在所述时间段内将所述第二标记内容显示在视频数据的可视区域内。
在本实施例中,所述第一显示单元431具体用于:基于所述移动轨迹确定所述待标记特征的第一标记内容的显示轨迹,并基于所述视频数据中各待标记特征的显示轨迹判断各所述显示轨迹是否存在重叠;若存在,则确定所述显示轨迹的重叠部分,并调整所述重叠部分的第一标记内容的显示位置,将所述第一标记内容基于调整后的显示位置显示在所述视频数据中。
在本实施例中,所述标记模块430还包括:
布局显示单元433,用于对所述视频数据进行逐帧截取,并确认各帧视频数据中所述待标记特征的第一标记内容和所述待标记文物的第二标记内容;基于所述第一标记内容和所述第二标记内容确认显示文字,并基于所述显示文字的显示方式、显示区域和显示时间创建文字布局信息;根据所述显示文字和所述文字布局信息将所述第一标记内容和所述第二标记内容显示在各帧视频数据中,并整个所有帧的视频数据,将所述第一标记内容和所述第二标记内容显示在所述视频数据中。
本方案通过特征库和特征提取技术实现对视频数据中的文物识别,并基于显示方式将标记内容显示在视频数据中,促进了文物研究的发展。
上面图3-4从模块化功能实体的角度对本发明实施例中的中文物特征标记装置进行详细描述,下面从硬件处理的角度对本发明实施例中文物特征标记设备进行详细描述。
参见图5所示,该文物特征标记设备包括处理器500和存储器501,该存储器501存储有能够被处理器500执行的机器可执行指令,该处理器500执行机器可执行指令以实现上述文物特征标记方法。
进一步地,图5所示的文物特征标记设备还包括总线502和通信接口503,处理器500、通信接口503和存储器501通过总线502连接。
其中,存储器501可能包含高速随机存取存储器(Random Access Memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如,至少一个磁盘存储器。通过至少一个通信接口503(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。总线502可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
处理器500可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器500中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器500可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本公开实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本公开实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器501,处理器500读取存储器501中的信息,结合其硬件完成前述实施例的方法步骤。
本发明还提供一种计算机可读存储介质,该计算机可读存储介质可以为非易失性计算机可读存储介质,该计算机可读存储介质也可以为易失性计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在计算机上运行时,使得计算机执行上述各实施例提供的所述的文物特征标记方法的各个步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备或装置、单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种文物特征标记方法,其特征在于,所述文物特征标记方法包括:
从待标记文物的视频数据中提取所述待标记文物的待标记特征,并将所述待标记特征与预设特征库匹配,得到所述待标记特征的特征数据;
基于所述特征数据确定所述待标记特征的第一标记内容,并基于所述特征数据之间的关联关系确定所述待标记文物的第二标记内容;
将所述第一标记内容和所述第二标记内容显示在所述视频数据中。
2.根据权利要求1所述的文物特征标记方法,其特征在于,所述从待标记文物的视频数据中提取所述待标记文物的待标记特征,包括:
通过视频采集设备对待标记文物进行拍摄,得到所述待标记文物的视频数据,并对所述视频数据进行预处理,剔除所述视频数据中的噪声;
对所述视频数据进行特征提取操作,得到所述待标记文物的待标记特征,并对所述待标记特征进行特征选择,剔除冗余元素特征,得到所述待标记文物的有效的待标记特征。
3.根据权利要求1所述的文物特征标记方法,其特征在于,所述将所述待标记特征与预设特征库匹配,得到所述待标记特征的特征数据,包括:
从所述预设特征库中提取元素特征的特征图像,并从所述视频数据中截取所述待标记特征的图像数据;
将所述图像数据与所述特征图像进行匹配,确定所述待标记特征的对应的特征图像,并根据所述特征图像从预设特征库中提取对应的特征数据,得到所述待标记特征的特征数据。
4.根据权利要求1所述的文物特征标记方法,其特征在于,所述基于所述特征数据确定所述待标记特征的第一标记内容,并基于所述待标记特征之间的关联关系确定所述待标记文物的第二标记内容,包括:
从所述特征数据中提取所述待标记特征的基本信息,对所述基本信息进行格式转换,得到所述待标记特征的可显示的第一标记内容;
从各所述标记特征的特征数据中提取各标记特征的特征名称,并确定各所述标记特征在所述视频数据中的位置关系;
基于所述特征名称和所述位置关系确定所述待标记特征之间的关联关系,并基于所述关联关系确定所述待标记文物的文物名称,对所述文物名称进行格式转换,得到所述待标记文物的可显示的第二标记内容。
5.根据权利要求1所述的文物特征标记方法,其特征在于,所述将所述第一标记内容和所述第二标记内容显示在所述视频数据中,包括:
确定所述待标记特征在所述视频数据中出现的目标位置,并跟踪所述目标位置的移动轨迹,将所述第一标记内容跟随所述移动轨迹显示在所述视频数据中;
确定所述待标记文物在所述视频数据中的出现时间段,并在所述时间段内将所述第二标记内容显示在视频数据的可视区域内。
6.根据权利要求5所述的文物特征标记方法,其特征在于,所述将所述第一标记内容跟随所述移动轨迹显示在所述视频数据中,包括:
基于所述移动轨迹确定所述待标记特征的第一标记内容的显示轨迹,并基于所述视频数据中各待标记特征的显示轨迹判断各所述显示轨迹是否存在重叠;
若存在,则确定所述显示轨迹的重叠部分,并调整所述重叠部分的第一标记内容的显示位置,将所述第一标记内容基于调整后的显示位置显示在所述视频数据中。
7.根据权利要求5所述的文物特征标记方法,其特征在于,所述将所述第一标记内容和所述第二标记内容显示在所述视频数据中,还包括:
对所述视频数据进行逐帧截取,并确认各帧视频数据中所述待标记特征的第一标记内容和所述待标记文物的第二标记内容;
基于所述第一标记内容和所述第二标记内容确认显示文字,并基于所述显示文字的显示方式、显示区域和显示时间创建文字布局信息;
根据所述显示文字和所述文字布局信息将所述第一标记内容和所述第二标记内容显示在各帧视频数据中,并整个所有帧的视频数据,将所述第一标记内容和所述第二标记内容显示在所述视频数据中。
8.一种文物特征标记装置,其特征在于,所述文物特征标记装置包括:
匹配模块,用于从待标记文物的视频数据中提取所述待标记文物的待标记特征,并将所述待标记特征与预设特征库匹配,得到所述待标记特征的特征数据;
确定模块,用于基于所述特征数据确定所述待标记特征的第一标记内容,并基于所述特征数据之间的关系确定所述待标记文物的第二标记内容;
标记模块,用于将所述第一标记内容和所述第二标记内容显示在所述视频数据中。
9.一种文物特征标记设备,其特征在于,所述文物特征标记设备包括存储器和至少一个处理器,所述存储器中存储有指令;所述至少一个处理器调用所述存储器中的所述指令,以使得所述文物特征标记设备执行如权利要求1-7中任一项所述的文物特征标记方法的各个步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,其特征在于,所述指令被处理器执行时实现如权利要求1-7中任一项所述文物特征标记方法的各个步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410123771.3A CN118135451A (zh) | 2024-01-29 | 2024-01-29 | 文物特征标记方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410123771.3A CN118135451A (zh) | 2024-01-29 | 2024-01-29 | 文物特征标记方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118135451A true CN118135451A (zh) | 2024-06-04 |
Family
ID=91235214
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410123771.3A Pending CN118135451A (zh) | 2024-01-29 | 2024-01-29 | 文物特征标记方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118135451A (zh) |
-
2024
- 2024-01-29 CN CN202410123771.3A patent/CN118135451A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Diem et al. | cBAD: ICDAR2017 competition on baseline detection | |
US7120318B2 (en) | Automatic document reading system for technical drawings | |
US8452108B2 (en) | Systems and methods for image recognition using graph-based pattern matching | |
Cliche et al. | Scatteract: Automated extraction of data from scatter plots | |
Karatzas et al. | ICDAR 2011 robust reading competition-challenge 1: reading text in born-digital images (web and email) | |
CN107833213B (zh) | 一种基于伪真值自适应法的弱监督物体检测方法 | |
CN103793697B (zh) | 一种人脸图像的身份标注方法及人脸身份识别方法 | |
CN111753767A (zh) | 一种作业自动批改的方法、装置、电子设备和存储介质 | |
US7970213B1 (en) | Method and system for improving the recognition of text in an image | |
Yang et al. | Lecture video indexing and analysis using video ocr technology | |
AU2014321165A1 (en) | Image searching method and apparatus | |
CN111695453B (zh) | 绘本识别方法、装置及机器人 | |
CN109389115B (zh) | 文本识别方法、装置、存储介质和计算机设备 | |
Ahmed et al. | A novel dataset for English-Arabic scene text recognition (EASTR)-42K and its evaluation using invariant feature extraction on detected extremal regions | |
CN111753120A (zh) | 一种搜题的方法、装置、电子设备和存储介质 | |
CN114463767A (zh) | 信用证识别方法、装置、计算机设备和存储介质 | |
CN114119949A (zh) | 一种增强文本合成图像的生成方法和系统 | |
WO2022247403A1 (zh) | 关键点检测方法、电子设备、程序及存储介质 | |
CN113780116A (zh) | 发票分类方法、装置、计算机设备和存储介质 | |
CN111079777B (zh) | 一种基于书页定位的点读方法及电子设备 | |
CN116363655A (zh) | 一种财务票据识别方法及系统 | |
Jiju et al. | OCR text extraction | |
CN118135451A (zh) | 文物特征标记方法、装置、设备及存储介质 | |
CN115543915A (zh) | 人事档案目录自动化建库方法及系统 | |
Shweka et al. | Automatic extraction of catalog data from digital images of historical manuscripts |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination |