CN112818165A - 数据处理方法、装置、设备及存储介质 - Google Patents

数据处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112818165A
CN112818165A CN202110063806.5A CN202110063806A CN112818165A CN 112818165 A CN112818165 A CN 112818165A CN 202110063806 A CN202110063806 A CN 202110063806A CN 112818165 A CN112818165 A CN 112818165A
Authority
CN
China
Prior art keywords
coding
video stream
video
code
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110063806.5A
Other languages
English (en)
Inventor
曾海文
闾凡兵
曾小兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Hisense Intelligent System Research Institute Co ltd
Original Assignee
Changsha Hisense Intelligent System Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Hisense Intelligent System Research Institute Co ltd filed Critical Changsha Hisense Intelligent System Research Institute Co ltd
Priority to CN202110063806.5A priority Critical patent/CN112818165A/zh
Publication of CN112818165A publication Critical patent/CN112818165A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/75Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据处理方法、装置、设备及存储介质。该数据处理方法包括:获取视频流及所述视频流对应的位置信息;提取所述视频流中的目标图像对应的时间信息,及所述目标图像对应的目标对象属性信息;按照预设编码规则,基于所述位置信息、所述时间信息,及所述目标对象属性信息,编码得到所述视频流对应的视频特征编码,以基于所述视频特征编码对视频流进行处理。采用本申请提供的数据处理,可以减少数据处理耗时,提高数据处理效果。

Description

数据处理方法、装置、设备及存储介质
技术领域
本申请涉及计算机视觉技术领域,具体涉及一种数据处理方法、装置、设备及存储介质。
背景技术
视频结构化作为智能视频分析技术的基础,其可以对视频中的目标对象的特征进行解析和标注等处理,得到视频中的目标对象对应的视觉特征信息,以为结构化数据检索和聚类分析等数据处理提供数据基础。以视频中的目标对象为人为例,该目标对象的视觉特征信息可以包括性别、衣服颜色、发色等,这样,可以以视频中的目标对象的视觉特征信息为粒度,进行结构化数据检索和聚类分析等数据处理。
但是,由于视频结构化是以目标对象的视觉特征信息为粒度的,因而,对视频进行结构化数据检索和聚类分析等数据处理时,也只能以目标对象的视觉特征信息为粒度。这样,当多路视觉特征信息被集中存储时,仅以目标对象的视觉特征信息为粒度进行结构化数据检索和聚类分析等数据处理,会导致数据处理耗时较长,数据处理效果较差。
发明内容
本申请实施例的目的是提供一种数据处理方法、装置、设备及存储介质,能够解决现有技术中数据处理处理耗时较长、数据处理效果较差的技术问题。
本申请的技术方案如下:
第一方面,提供一种数据处理方法,该方法包括:
获取视频流及视频流对应的位置信息;
提取视频流中的目标图像对应的时间信息,及目标图像对应的目标对象属性信息;
按照预设编码规则,基于位置信息、时间信息,及目标对象属性信息,编码得到视频流对应的视频特征编码,以基于视频特征编码对视频流进行处理。
在一些实施例中,获取视频流对应的位置信息,包括:
获取采集视频流的摄像装置的互联网协议地址IP地址;
根据IP地址确定视频流对应的位置信息。
在一些实施例中,目标图像包括时间戳;
提取视频流中的目标图像对应的时间信息,及目标图像对应的目标对象属性信息,包括:
提取视频流中的目标图像对应的时间戳;
将目标图像对应的时间戳,确定为目标图像对应的时间信息;
将视频流输入至预设视频结构化描述模型,得到视频流中的目标图像对应的目标对象属性信息。
在一些实施例中,按照预设编码规则,基于位置信息、时间信息,及目标对象属性信息,编码得到视频流对应的视频特征编码,包括:
按照预设编码规则,确定位置信息对应的位置编码、时间信息对应的时间编码、目标对象属性信息对应的对象特征编码;
基于位置编码、时间编码、对象特征编码,编码得到视频流对应的视频特征编码。
在一些实施例中,对象特征编码包括目标对象种类编码和目标对象属性编码。
在一些实施例中,目标图像至少为两帧;
基于位置编码、时间编码、对象特征编码,编码得到视频流对应的视频特征编码之前,还包括:
在存在时间信息相同的至少两帧目标图像的情况下,确定相同时间信息对应的至少两帧目标图像的生成顺序;
根据相同时间信息对应的至少两帧目标图像的生成顺序,确定相同时间信息对应的至少两帧目标图像中每帧目标图像的顺序编码;
基于位置编码、时间编码、对象特征编码,编码得到视频流对应的视频特征编码,包括:
基于位置编码、时间编码、对象特征编码、顺序编码,编码得到视频流对应的视频特征编码。
在一些实施例中,基于位置编码、时间编码、对象特征编码、顺序编码,编码得到视频流对应的视频特征编码,包括:
确定位置编码对应的第一编码位置、时间编码对应的第二编码位置、对象特征编码对应的第三编码位置、顺序编码对应的第四编码位置;编码位置用于指示每种编码在视频特征编码中的位置;
根据第一编码位置、第二编码位置、第三编码位置、第四编码位置,基于位置编码、时间编码、对象特征编码、顺序编码,编码得到视频流对应的视频特征编码。
第二方面,提供一种数据处理装置,该装置可以包括:
获取模块,用于获取视频流及视频流对应的位置信息;
提取模块,用于提取视频流中的目标图像对应的时间信息,及目标图像对应的目标对象属性信息;
编码模块,用于按照预设编码规则,基于位置信息、时间信息,及目标对象属性信息,编码得到视频流对应的视频特征编码,以基于视频特征编码对视频流进行处理。
第三方面,提供一种电子设备,该电子设备可以包括:
处理器;
以及存储有计算机程序指令的存储器;
其中,处理器可以读取并执行计算机程序指令,以实现如第一方面的任一项实施例中所示的数据处理方法。
第四方面,提供一种可读存储介质,可读存储介质上存储有程序指令,当可读存储介质中的程序指令被处理器执行时,实现如第一方面的任一项实施例中所示的数据处理方法。
本申请的实施例提供的技术方案至少带来以下有益效果:
本申请实施例通过获取视频流及视频流对应的位置信息、视频流中目标图像对应的时间信息、目标图像对应的目标对象属性信息,再按照预设编码规则,基于位置信息、时间信息,及目标对象属性信息,编码得到视频流对应的视频特征编码。这样,可以使得视频对应的视频特征编码不仅具有目标对象属性信息的属性,还具有时间和空间的属性,可以使得视频特征编码精度更高,使得每个视频的视频特征编码具有唯一性。如此,当对集中存储的多路视觉特征信息进行结构化数据检索和聚类分析等数据处理时,可以按照更精细的粒度进行处理,从而可以有效减少数据处理耗时,提高数据处理效果。
当对集中存储的多路视觉特征信息进行结构化数据检索时,可以基于时间、空间、对象属性等一个或多个维度进行检索,相对于现有技术中以目标对象的视觉特征信息为粒度检索而言,由于检索条件可以更精确,故而,检索结果也更准确,检索耗时也更短,检索结果也更准确,检索效率也更高,检索效果也更好。
当对集中存储的多路视觉特征信息进行聚类分析时,也可以基于时间、空间、对象属性等一个或多个维度进行聚类分析,即可以实现特定时间、特定位置、特定对象属性等一个或多个维度的聚类,因而,相对于现有技术中以目标对象的视觉特征信息为粒度进行聚类而言,本申请实施例提供的方法可以有效提高聚类结果的准确性,减少聚类分析耗时,提高聚类分析效率,提高聚类分析效果。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理,并不构成对本申请的不当限定。
图1是本申请实施例提供的一种数据处理方法的流程示意图;
图2是本申请实施例提供的一种对象特征编码的示意图;
图3是本申请实施例提供的一种位置编码的示意图;
图4是本申请实施例提供的一种时间编码的示意图;
图5是本申请实施例提供的一种数据处理方法的流程示意图;
图6是本申请实施例提供的一种数据处理装置的结构示意图;
图7是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本申请的技术方案,下面将结合附图,对本申请实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
基于背景技术可知,现有技术中视频结构化是以目标对象的视觉特征信息为粒度的,导致对视频进行结构化数据检索和聚类分析等数据处理时,也只能以目标对象的视觉特征信息为粒度。当多路视觉特征信息被集中存储时,仅以目标对象的视觉特征信息为粒度进行结构化数据检索和聚类分析等数据处理,会由于数据量较大导致数据处理耗时较长,数据处理效果较差。
具体的,在对集中存储的多路视觉特征信息进行结构化数据检索时,仅以目标对象的视觉特征信息为粒度进行检索,由于每次检索都需要在全量数据中进行检索,会导致检索耗时较长,检索结果较多,检索效率较低,检索效果较差,检索结果不能很好的满足需求。在对集中存储的多路视觉特征信息进行聚类分析时,仅以目标对象的视觉特征信息为粒度进行聚类,会由于粒度不够精细导致聚类结果不够准确,聚类耗时较长,聚类效率较低,聚类效果较差,聚类结果通常不能很好的满足需求。
基于上述发现,本申请实施例提供了一种数据处理方法、装置、设备及存储介质,可以通过获取视频流及视频流对应的位置信息、视频流中目标图像对应的时间信息、目标图像对应的目标对象属性信息,再按照预设编码规则,基于位置信息、时间信息,及目标对象属性信息,编码得到视频流对应的视频特征编码。这样,可以使得视频对应的视频特征编码不仅具有目标对象属性信息的属性,还具有时间和空间的属性,可以使得视频特征编码精度更高,使得每个视频的视频特征编码具有唯一性。如此,当对集中存储的多路视觉特征信息进行结构化数据检索和聚类分析等数据处理时,可以按照更精细的粒度进行处理,从而可以有效减少数据处理耗时,提高数据处理效果。
下面结合附图对本申请实施例提供的数据处理方法、装置、设备及存储介质进行说明。
图1示出了本申请实施例提供的一种数据处理方法,该数据处理方法的执行主体可以是服务器或者服务器集群。如图1所示,该数据处理方法可以包括如下步骤:
S110,获取视频流及视频流对应的位置信息。
其中,视频流可以是任一视频流;位置信息可以用于指示视频流所包含的图像所属的地理位置信息。
在对视频进行结构化数据检索和聚类分析等数据处理之前,可以先对各视频流进行编码得到每个视频流对应的视频特征编码。具体的,首先,可以获取视频流及该视频流对应的位置信息。
S120,提取视频流中的目标图像对应的时间信息,及目标图像对应的目标对象属性信息。
其中,目标对象属性信息可以用于指示目标图像中的对象属性,如可以是人、车、猫等。
在获取到视频流及视频流对应的位置信息之后,可以提取视频流中的图像,即目标图像,并可以确定目标图像对应的时间信息,该时间信息可以用于指示目标图像的生成时刻。并可可以提取目标图像中的目标对象的属性,即目标对象属性信息。
S130,按照预设编码规则,基于位置信息、时间信息,及目标对象属性信息,编码得到视频流对应的视频特征编码,以基于视频特征编码对视频流进行处理。
其中,预设编码规则可以是预先设置的用于基于位置信息、时间信息,及目标对象属性信息得到视频特征编码的规则,如可以包括位置信息、时间信息,及目标对象属性信息各自对应的编码位数、编码格式、编码位置等。
在提取到目标图像对应的时间信息、及目标对象属性信息之后,可以获取预设编码规则。再按照预设编码规则,基于视频流对应的位置信息、目标图像对应的时间信息,及目标图像对应的目标对象属性信息进行编码,得到视频流对应的视频特征编码。以基于视频流对应的视频特征编码对视频流进行处理,如可以是结构化数据检索和聚类分析等数据处理。
以数据处理为结构化数据检索为例,可以基于时间信息、位置信息、对象属性等一个或多个维度进行检索,相对于现有技术中仅以目标对象的视觉特征信息为粒度检索而言,由于检索条件可以更精确,故而,检索结果也更准确,检索耗时也更短,检索结果也更准确,检索效率也更高,检索效果也更好,如此,可以更好的满足需求。
或者,以数据处理为聚类分析为例,可以基于时间信息、位置信息、对象属性等一个或多个维度进行聚类分析,如此可以实现特定时间、特定位置、特定对象属性信息等一个或多个维度的聚类,因而,相对于现有技术中以目标对象的视觉特征信息为粒度进行聚类分析而言,可以有效提高聚类结果的准确性,提高聚类分析精度,减少聚类分析耗时,提高聚类分析效率,提高聚类分析效果,如此,可以更好的满足需求。
本申请实施例通过获取视频流及视频流对应的位置信息、视频流中目标图像对应的时间信息、目标图像对应的目标对象属性信息,再按照预设编码规则,基于位置信息、时间信息,及目标对象属性信息,编码得到视频流对应的视频特征编码。这样,可以使得视频对应的视频特征编码不仅具有目标对象属性信息的属性,还具有时间和空间的属性,可以使得视频特征编码精度更高,使得每个视频的视频特征编码具有唯一性。如此,当对集中存储的多路视觉特征信息进行结构化数据检索和聚类分析等数据处理时,可以按照更精细的粒度进行处理,从而可以有效减少数据处理耗时,提高数据处理效果。
在一些实施例中,可以通过采集视频流的摄像装置的IP地址确定视频流的位置信息,相应的,上述步骤S110的具体实现方式可以如下:
获取采集视频流的摄像装置的IP地址;
根据IP地址确定视频流对应的位置信息。
在获取视频流对应的位置信息时,可以确定采集视频流的摄像装置(如摄像头),获取采集该视频流的摄像装置的互联网协议地址(Internet Protocol Address,IP地址)。由于摄像装置的IP地址与摄像装置安装的地理位置信息是有对应关系的,故而,获取采集视频流的摄像装置的IP地址之后,可以根据摄像装置的IP地址确定视频流对应的位置信息。
这样,由于摄像装置的IP地址具有唯一性,故而基于摄像装置的IP地址确定的视频流的位置信息也具有唯一性,如此,可以使得视频流对应的视频特征编码也具有唯一性,可以为视频特征信息的编码提供更准确的数据基础,从而可以提高数据处理结果的准确性。
在一些实施例中,可以根据目标图像的时间戳确定目标图像的时间信息,相应的,上述步骤S120的具体实现方式可以如下:
提取视频流中的目标图像对应的时间戳;
将目标图像对应的时间戳,确定为目标图像对应的时间信息;
将视频流输入至预设视频结构化描述模型,得到视频流中的所述目标图像对应的目标对象属性信息。
在提取视频流中的目标图像对应的时间信息时,可以先获取目标图像对应的时间戳,。在获取到目标图像对应的时间戳之后,可以将目标图像对应的时间戳,确定为目标图像对应的时间信息。在确定目标图像的目标对象属性信息时,可以将视频流中的目标图像输入至视频结构化描述模型,由视频结构化描述模型按照特定算法基于目标图像,输出目标图像对应的目标对象属性信息。
可以理解的是,视频结构化描述模型可以是预先基于历史视频流的历史图像及其对应的历史对象属性信息训练好的,该视频结构化描述模型可以基于目标图像输出目标对象属性信息。该视频结构化描述模型的训练方法与现有的训练方法类似,在此不再赘述。
这样,由于时间戳可以对签名对象进行数字签名产生时间戳,以证明原始文件在签名时间之前已经存在,故而,用时间戳来指示目标图像的生成时刻可以较为准确的表示目标图像的时间信息,如此,可以为视频特征信息的编码提供更准确的数据基础,从而可以提高视频特征编码的准确性,进一步提高数据处理结果的准确性。
在一些实施例中,可以按照预设编码规则得到位置信息、时间信息、目标对象属性信息各自对应的编码,以得到视频特征编码,上述步骤S130的具体实现方式可以如下:
按照预设编码规则,确定位置信息对应的位置编码、时间信息对应的时间编码、目标对象属性信息对应的对象特征编码;
基于位置编码、时间编码、对象特征编码,编码得到视频流对应的视频特征编码。
其中,对象特征编码可以包括目标对象种类编码和目标对象属性编码。目标对象种类编码可以用于指示目标对象的种类,如可以是人物、车辆、猫、苹果等;目标对象属性编码可以包括维度编码和特征值编码,维度编码可以用于指示目标对象的属性名称,如目标对象种类编码为人物时,维度编码可以为性别、年龄段、头发颜色、上衣颜色、裤子颜色、鞋子颜色等,特征值编码可以为维度编码的具体值,如维度编码为上衣颜色时,特征值编码可以是黑、白、灰、红、蓝、黄、橙、棕、绿、紫、粉、其他等。且对象特征编码的位数,以及对象特征编码中目标对象种类编码、维度编码和特征值编码的位数均可以是预先设定的,如对象特征编码的位数可以设置为6位,目标对象种类编码、维度编码和特征值编码可以分别设置为2位,且排列顺序可以如图2所示。
预设编码规则可以包括根据位置信息确定位置编码的规则、根据时间信息确定时间编码的规则、根据目标对象属性信息确定对象特征编码的规则。
在按照预设编码规则,基于位置信息、时间信息,及目标对象属性信息,编码得到视频流对应的视频特征编码时,可以先按照预设编码规则,分别确定位置信息对应的位置编码、时间信息对应的时间编码、目标对象属性信息对应的对象特征编码。再根据位置信息对应的位置编码、时间信息对应的时间编码、目标对象属性信息对应的对象特征编码,编码得到视频流对应的视频特征编码。
作为一个示例,预设编码规则中还可以包括有位置编码的位数,该位数可以根据摄像装置的数量设置,以摄像装置的数量为100万台为例,则可以设置位置编码的位数为6位;还可以根据需要设置位置编码的编码规则,以要满足城市级需求为例,如图3所示,编码规则可以设置为包括区县、街道、社区、摄像装置编号等,且位置编码中区县、街道、社区、摄像装置编号各自对应的编码位数可以分别为1、1、1、3。可以理解的是,若特殊情况位数不够时可以采用其他进制编码,如可以是16进制编码。
需要说明的是,可以预先建立摄像装置的IP地址与位置信息的位置编码之间的对应关系,这样,则可以利用摄像装置的IP地址与摄像装置安装的地理位置信息至今的对应关系,以及摄像装置的IP地址与位置信息的位置编码之间的对应关系,实现根据IP地址确定视频流对应的位置信息,并按照预设编码规则根据位置信息编码。
作为一个示例,预设编码规则中还可以包括时间编码的位数,如可以根据时间戳设置编码位数。具体的,由于时间戳通常包括年月日时分秒等信息,故而可以设置时间编码的位数为14位,如图4所示,时间编码中年份编码占4位、月日时分秒各自对应的编码各占2位。
这样,按照预设编码规则,确定位置编码、时间编码、对象特征编码,再基于位置编码、时间编码、对象特征编码,编码得到视频流对应的视频特征编码,可以为后续的数据处理提供更精确的数据基础。
在一些实施例中,由于视频结构化时可以在1秒钟抽取若干帧或全帧率进行处理,故而,上述目标图像可以是至少两帧,即可以为多帧。此时,在上述基于位置编码、时间编码、对象特征编码,编码得到视频流对应的视频特征编码之前,还可以执行如下步骤:
在存在时间信息相同的至少两帧目标图像的情况下,确定相同时间信息对应的至少两帧目标图像的生成顺序;
根据相同时间信息对应的至少两帧目标图像的生成顺序,确定相同时间信息对应的至少两帧目标图像中每帧目标图像的顺序编码;
此时,上述基于位置编码、时间编码、对象特征编码,编码得到视频流对应的视频特征编码的具体实现方式可以如下:
基于位置编码、时间编码、对象特征编码、顺序编码,编码得到视频流对应的视频特征编码。
考虑到时间戳通常是精细到秒的,每秒中又可能存在多帧目标图像,故而,同一秒内可能会存在至少两帧时间信息相同的目标图像。可以理解的是,由于同一秒内的目标图像的位置信息和目标对象属性信息通常是相同的,故而,前述时间信息相同的目标图像,实际上也可以是位置信息、时间信息、目标对象属性信息均相同的目标图像。此时,在基于位置编码、时间编码、对象特征编码,编码得到视频流对应的视频特征编码之前,则需要确定是否存在时间信息相同的至少两帧目标图像,即确定是否存在时间信息相同的目标图像。在存在时间信息相同的至少两帧目标图像的情况下,确定相同时间信息对应的至少两帧目标图像的生成顺序。然后,可以根据相同时间信息对应的至少两帧目标图像的生成顺序,确定相同时间信息对应的至少两帧目标图像中每帧目标图像的顺序编码。
以目标图像1、目标图像2、目标图像3、目标图像4、目标图像5具有相同的时间信息为例,假设目标图像1、目标图像2、目标图像3、目标图像4、目标图像5的生成顺序为目标图像1、目标图像2、目标图像4、目标图像5、目标图像3,则可以确定目标图像1、目标图像2、目标图像3、目标图像4、目标图像5的顺序编码分别为01、02、05、03、04。
在确定出相同时间信息对应的至少两帧目标图像中每帧目标图像的顺序编码之后,可以在上述位置编码、时间编码、对象特征编码的基础上,结合顺序编码,编码得到视频流对应的视频特征编码。如可以按照一定的顺序对位置编码、时间编码、对象特征编码、顺序编码进行排序和组合,得到视频流对应的视频特征编码。
这样,在位置编码、时间编码、对象特征编码的基础上,结合顺序编码,得到视频流对应的视频特征编码,可以进一步,提高视频特征编码的准确性,为后续的结构化数据检索和聚类分析数据处理提供更准确的数据依据,从而可以进一步提高结构化数据检索和聚类分析等数据处理结果的准确性。
在一些实施例中,可以根据不同编码对应的不同位置,得到视频流对应的视频特征编码,相应的,上述基于位置编码、时间编码、对象特征编码、顺序编码,编码得到视频流对应的视频特征编码的具体实现方式可以如下:
确定位置编码对应的第一编码位置、时间编码对应的第二编码位置、对象特征编码对应的第三编码位置、顺序编码对应的第四编码位置;
根据第一编码位置、第二编码位置、第三编码位置、第四编码位置,基于位置编码、时间编码、对象特征编码、顺序编码,编码得到视频流对应的视频特征编码。
其中,编码位置可以用于指示每种编码在视频特征编码中的位置,该位置为预先设定好,的,并可以配置在预设编码规则中,如此,则使得视频特征编码具有统一的格式。
在基于位置编码、时间编码、对象特征编码、顺序编码,编码得到视频流对应的视频特征编码时,可以先确定,位置编码在视频特征编码中的位置,即第一编码位置,时间编码在视频特征编码中的位置,即第二编码位置,对象特征编码在视频特征编码中的位置,即第三编码位置,以及顺序编码在视频特征编码中的位置,即第四编码位置。再根据第一编码位置、第二编码位置、第三编码位置、第四编码位置,对位置编码、时间编码、对象特征编码、顺序编码进行编码,得到视频流对应的视频特征编码。
以视频特征编码顺序为时间编码、位置编码、对象特征编码、顺序编码为例,则可以确定第一编码位置为第1位、第二编码位置为第2位、第三编码位置为第3位、第四编码位置为第4位,按照编码位置将时间编码、位置编码、对象特征编码、顺序编码进行组合即可得到视频流的视频特征编码。
这样,按照设置好的不同编码对应的编码位置得到视频特征编码,可以实现视频流的视频特征编码得格式统一,可以为后续的结构化数据检索和聚类分析数据处理提供统一的数据依据,从而可以进一步提高结构化数据检索和聚类分析等数据处理结果的准确性。
为使本申请实施例提供的方法更清楚,下面结合图5对本申请实施例提供一种数据处理方法进行说明,如图5所示,该方法可以包括如下步骤:
S510、获取视频流及视频流对应的位置信息。
作为一个示例,可以根据采集视频流的摄像装置的IP地址确定视频流对应的位置信息。
S520、提取视频流中的图片帧,即目标图像。
S530、视频结构化处理。
作为一个示例,视频结构化处理可以包括时间信息获取和视频特征识别。其中,时间信息获取可以包括:提取目标图像对应的时间戳,根据时间戳确定目标图像对应的时间信息。视频特征识别可以包括:将视频流输入至预设视频结构化描述模型,得到视频流中的目标图像对应的目标对象属性信息;按照预设编码规则,确定位置信息对应的位置编码、时间信息对应的时间编码、目标对象属性信息对应的对象特征编码;以及根据相同时间信息对应的至少两帧目标图像的生成顺序,确定的相同时间信息对应的至少两帧目标图像中每帧目标图像的顺序编码。
S540、确定视频特征编码。
作为一个示例,可以基于位置编码、时间编码、对象特征编码、顺序编码,编码得到视频流对应的视频特征编码。具体的,可以确定位置编码在视频特征编码中的第一编码位置、时间编码在视频特征编码中的第二编码位置、对象特征编码在视频特征编码中的第三编码位置、顺序编码在视频特征编码中的第四编码位置;根据第一编码位置、第二编码位置、第三编码位置、第四编码位置,基于位置编码、时间编码、对象特征编码、顺序编码,编码得到视频流对应的视频特征编码。如视频特征编码可以为28位,其中,位置编码可以为6位、时间编码可以为14位、对象特征编码可以为6位、顺序编码可以为2位,基于前述6位的位置编码、14位的时间编码、6位的对象特征编码、2位的顺序编码,即可编码得到视频流对应的28位的视频特征编码。
上述各步骤的具体实现方式和技术效果与上述各方法实施例类似,为简洁起见,在此不再赘述。
基于相同的发明构思,本申请还提供了一种数据处理装置。具体结合图6进行详细说明。
图6是本申请实施例提供的一种数据处理装置的结构示意图。如图6所示,该信息处理装置600具体可以包括:
获取模块610,可以用于获取视频流及视频流对应的位置信息;
提取模块620,可以用于提取视频流中的目标图像对应的时间信息,及目标图像对应的目标对象属性信息;
编码模块630,可以用于按照预设编码规则,基于位置信息、时间信息,及目标对象属性信息,编码得到视频流对应的视频特征编码,以基于视频特征编码对视频流进行处理。
在一些实施例中,获取模块610,具体可以包括:
获取单元,可以用于获取采集视频流的摄像装置的互联网协议地址IP地址;
第一确定单元,可以用于根据IP地址确定视频流对应的位置信息。
在一些实施例中,目标图像可以包括时间戳;
提取模块620,具体可以包括:
提取单元,可以用于提取视频流中的目标图像对应的时间戳;
第二确定单元,可以用于将目标图像对应的时间戳,确定为目标图像对应的时间信息;
预测单元,可以用于将视频流输入至预设视频结构化描述模型,得到视频流中的目标图像对应的目标对象属性信息。
在一些实施例中,编码模块630,具体可以包括:
第三确定单元,可以用于按照预设编码规则,确定位置信息对应的位置编码、时间信息对应的时间编码、目标对象属性信息对应的对象特征编码;
编码单元,可以用于基于位置编码、时间编码、对象特征编码,编码得到视频流对应的视频特征编码。
在一些实施例中,对象特征编码可以包括目标对象种类编码和目标对象属性编码。
在一些实施例中,目标图像至少为两帧;
信息处理装置600,还可以包括:
第一确定模块,可以用于在存在时间信息相同的至少两帧目标图像的情况下,确定相同时间信息对应的至少两帧目标图像的生成顺序;
第二确定模块,可以用于根据相同时间信息对应的至少两帧目标图像的生成顺序,确定相同时间信息对应的至少两帧目标图像中每帧目标图像的顺序编码;
编码单元,具体可以用于:
基于位置编码、时间编码、对象特征编码、顺序编码,编码得到视频流对应的视频特征编码。
在一些实施例中,编码单元,具体可以包括:
确定子单元,可以用于确定位置编码对应的第一编码位置、时间编码对应的第二编码位置、对象特征编码对应的第三编码位置、顺序编码对应的第四编码位置;编码位置用于指示每种编码在视频特征编码中的位置;
编码子单元,可以用于根据第一编码位置、第二编码位置、第三编码位置、第四编码位置,基于位置编码、时间编码、对象特征编码、顺序编码,编码得到视频流对应的视频特征编码。
本申请实施例提供的数据处理装置可以用于执行上述各方法实施例,其具体实现方式和技术效果类似,为简洁起见,在此不再赘述。
基于同一发明构思,本申请实施例还提供了一种电子设备,如图7所示,电子设备可以包括处理器701以及存储有计算机程序指令的存储器702。
具体地,上述处理器701可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,ASIC),或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器702可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器702可包括硬盘驱动器(Hard Disk Drive,HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus,USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器702可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器702可在综合网关容灾设备的内部或外部。在特定实施例中,存储器702是非易失性固态存储器。在特定实施例中,存储器702包括只读存储器(ROM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器701通过读取并执行存储器702中存储的计算机程序指令,以实现上述实施例中的任意一种数据处理方法。
在一个示例中,电子设备还可包括通信接口703和总线710。其中,如图7所示,处理器701、存储器702、通信接口703通过总线710连接并完成相互间的通信。
通信接口703,主要用于实现本发明实施例中各模块、设备、单元和/或设备之间的通信。
总线710包括硬件、软件或两者,将电子设备的部件彼此耦接在一起。举例来说而非限制,总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线710可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线,但本发明考虑任何合适的总线或互连。
该电子设备可以执行本发明实施例中的数据处理方法,从而实现图1至图6描述的数据处理方法和装置。
另外,结合上述实施例中的数据处理方法,本发明实施例可提供一种可读存储介质来实现。该可读存储介质上存储有程序指令;该程序指令被处理器执行时实现上述实施例中的任意一种数据处理方法。
需要明确的是,本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本发明的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本发明的精神后,作出各种改变、修改和添加,或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路,等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是,本发明中提及的示例性实施例,基于一系列的步骤或者装置描述一些方法或系统。但是,本发明不局限于上述步骤的顺序,也就是说,可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
以上所述,仅为本发明的具体实施方式,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。应理解,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种数据处理方法,其特征在于,包括:
获取视频流及所述视频流对应的位置信息;
提取所述视频流中的目标图像对应的时间信息,及所述目标图像对应的目标对象属性信息;
按照预设编码规则,基于所述位置信息、所述时间信息,及所述目标对象属性信息,编码得到所述视频流对应的视频特征编码,以基于所述视频特征编码对视频流进行处理。
2.根据权利要求1所述的方法,其特征在于,所述获取所述视频流对应的位置信息,包括:
获取采集所述视频流的摄像装置的互联网协议地址IP地址;
根据IP地址确定所述视频流对应的位置信息。
3.根据权利要求1所述的方法,其特征在于,所述目标图像包括时间戳;
所述提取所述视频流中的目标图像对应的时间信息,及所述目标图像对应的目标对象属性信息,包括:
提取所述视频流中的所述目标图像对应的时间戳;
将所述目标图像对应的时间戳,确定为所述目标图像对应的时间信息;
将所述视频流输入至预设视频结构化描述模型,得到所述视频流中的所述目标图像对应的目标对象属性信息。
4.根据权利要求1所述的方法,其特征在于,所述按照预设编码规则,基于所述位置信息、所述时间信息,及所述目标对象属性信息,编码得到所述视频流对应的视频特征编码,包括:
按照所述预设编码规则,确定所述位置信息对应的位置编码、所述时间信息对应的时间编码、所述目标对象属性信息对应的对象特征编码;
基于所述位置编码、所述时间编码、所述对象特征编码,编码得到所述视频流对应的视频特征编码。
5.根据权利要求4所述的方法,其特征在于,所述对象特征编码包括目标对象种类编码和目标对象属性编码。
6.根据权利要求4或5所述的方法,其特征在于,所述目标图像至少为两帧;
所述基于所述位置编码、所述时间编码、所述对象特征编码,编码得到所述视频流对应的视频特征编码之前,还包括:
在存在时间信息相同的至少两帧所述目标图像的情况下,确定相同时间信息对应的所述至少两帧目标图像的生成顺序;
根据所述相同时间信息对应的所述至少两帧目标图像的生成顺序,确定所述相同时间信息对应的所述至少两帧目标图像中每帧目标图像的顺序编码;
所述基于所述位置编码、所述时间编码、所述对象特征编码,编码得到所述视频流对应的视频特征编码,包括:
基于所述位置编码、所述时间编码、所述对象特征编码、所述顺序编码,编码得到所述视频流对应的视频特征编码。
7.根据权利要求6所述的方法,其特征在于,所述基于所述位置编码、所述时间编码、所述对象特征编码、所述顺序编码,编码得到所述视频流对应的视频特征编码,包括:
确定所述位置编码对应的第一编码位置、所述时间编码对应的第二编码位置、所述对象特征编码对应的第三编码位置、所述顺序编码对应的第四编码位置;编码位置用于指示每种编码在所述视频特征编码中的位置;
根据所述第一编码位置、所述第二编码位置、所述第三编码位置、所述第四编码位置,基于所述位置编码、所述时间编码、所述对象特征编码、所述顺序编码,编码得到所述视频流对应的视频特征编码。
8.一种数据处理装置,其特征在于,包括:
获取模块,用于获取视频流及所述视频流对应的位置信息;
提取模块,用于提取所述视频流中的目标图像对应的时间信息,及所述目标图像对应的目标对象属性信息;
编码模块,用于按照预设编码规则,基于所述位置信息、所述时间信息,及所述目标对象属性信息,编码得到所述视频流对应的视频特征编码,以基于所述视频特征编码对视频流进行处理。
9.一种电子设备,其特征在于,所述电子设备包括:处理器,以及存储有计算机程序指令的存储器;
所述处理器读取并执行所述计算机程序指令,以实现如权利要求1-7任意一项所述的数据处理方法。
10.一种可读存储介质,其特征在于,所述可读存储介质上存储有程序指令,所述程序指令被处理器执行时实现如权利要求1-7任意一项所述的数据处理方法。
CN202110063806.5A 2021-01-18 2021-01-18 数据处理方法、装置、设备及存储介质 Pending CN112818165A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110063806.5A CN112818165A (zh) 2021-01-18 2021-01-18 数据处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110063806.5A CN112818165A (zh) 2021-01-18 2021-01-18 数据处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112818165A true CN112818165A (zh) 2021-05-18

Family

ID=75869659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110063806.5A Pending CN112818165A (zh) 2021-01-18 2021-01-18 数据处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112818165A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113361458A (zh) * 2021-06-29 2021-09-07 北京百度网讯科技有限公司 基于视频的目标对象识别方法、装置、车辆及路侧设备
CN114699702A (zh) * 2022-04-15 2022-07-05 长沙海信智能系统研究院有限公司 消防设备检测方法及相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11338876A (ja) * 1998-05-27 1999-12-10 Hitachi Ltd 映像検索方法及び装置ならびに記録媒体
CN108470195A (zh) * 2018-05-11 2018-08-31 东方网力科技股份有限公司 视频身份管理方法及装置
CN110909203A (zh) * 2019-11-27 2020-03-24 上海商汤智能科技有限公司 视频分析方法及装置、电子设备和存储介质
CN111277800A (zh) * 2020-03-02 2020-06-12 成都国科微电子有限公司 监控视频编码及播放方法、装置、电子设备及存储介质
CN111898416A (zh) * 2020-06-17 2020-11-06 绍兴埃瓦科技有限公司 视频流处理方法、装置、计算机设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11338876A (ja) * 1998-05-27 1999-12-10 Hitachi Ltd 映像検索方法及び装置ならびに記録媒体
CN108470195A (zh) * 2018-05-11 2018-08-31 东方网力科技股份有限公司 视频身份管理方法及装置
CN110909203A (zh) * 2019-11-27 2020-03-24 上海商汤智能科技有限公司 视频分析方法及装置、电子设备和存储介质
CN111277800A (zh) * 2020-03-02 2020-06-12 成都国科微电子有限公司 监控视频编码及播放方法、装置、电子设备及存储介质
CN111898416A (zh) * 2020-06-17 2020-11-06 绍兴埃瓦科技有限公司 视频流处理方法、装置、计算机设备和存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113361458A (zh) * 2021-06-29 2021-09-07 北京百度网讯科技有限公司 基于视频的目标对象识别方法、装置、车辆及路侧设备
CN114699702A (zh) * 2022-04-15 2022-07-05 长沙海信智能系统研究院有限公司 消防设备检测方法及相关装置
CN114699702B (zh) * 2022-04-15 2023-04-07 长沙海信智能系统研究院有限公司 消防设备检测方法及相关装置

Similar Documents

Publication Publication Date Title
CN113283446B (zh) 图像中目标物识别方法、装置、电子设备及存储介质
WO2017088537A1 (zh) 一种元件分类方法及装置
CN112818165A (zh) 数据处理方法、装置、设备及存储介质
CN112818173A (zh) 关联对象的识别方法、装置及计算机可读存储介质
CN112137591A (zh) 基于视频流的目标物位置检测方法、装置、设备及介质
CN111091106A (zh) 图像聚类方法及装置、存储介质、电子装置
CN104598543B (zh) 一种社交匹配数据挖掘系统
CN111339211B (zh) 网络问题分析的方法、装置、设备及介质
CN114187763A (zh) 一种智慧交通的车辆行驶数据筛选方法及系统
CN114779031B (zh) 一种数字化电力设备紫外成像放电异常检测方法及系统
CN115561700A (zh) 一种直流电能表的计量标准分析方法及装置
CN115375886A (zh) 一种基于云计算服务的数据采集方法及系统
CN115174355A (zh) 故障根因定位模型的生成方法,故障根因定位方法和装置
CN111538914B (zh) 地址信息的处理方法和装置
CN113537087A (zh) 一种智慧交通信息处理方法、装置及服务器
CN111899187A (zh) 场景信息的处理方法、装置、存储介质及电子装置
CN112580644A (zh) 基于视频流抠图时间的测试方法、装置及可读存储介质
CN113392859A (zh) 一种确定城市功能区域的类型的方法及装置
CN112464978B (zh) 一种车联网异常终端识别方法及装置
CN112101279B (zh) 目标物异常检测方法、装置、电子设备及存储介质
CN116186549B (zh) 模型的训练方法、装置、设备和介质
CN110662169B (zh) 一种终端设备的匹配方法及装置
CN114596501A (zh) 图像数据处理方法、存储介质、处理器及系统
CN114332706A (zh) 目标事件的确定方法、装置、存储介质及电子装置
CN116206122A (zh) 图像的识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210518