CN112306243A - 数据处理方法、装置、设备及存储介质 - Google Patents
数据处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112306243A CN112306243A CN202011304001.7A CN202011304001A CN112306243A CN 112306243 A CN112306243 A CN 112306243A CN 202011304001 A CN202011304001 A CN 202011304001A CN 112306243 A CN112306243 A CN 112306243A
- Authority
- CN
- China
- Prior art keywords
- frame
- preset
- candidate
- target
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种数据处理方法、装置、设备及存储介质。该数据处理方法首先获取待处理数据,待处理数据用于表征初始AR对象的环境特征。然后基于预设选择性搜索算法,根据待处理数据、预设尺寸阈值以及预设打分机制确定多个候选框,多个候选框中至少包括目标对象的候选框。最后根据候选框确定目标检测框,目标检测框用于实现第一终端设备与第二终端设备之间的AR交互。引入了预设尺寸阈值以及预设打分机制进行选择性搜索处理以确定候选框,将成为目标检测框可能性较小的候选框进行了有效过滤,使得目标检测框的确定更为准确,并极大地减少了数据处理量,提高了数据处理效率,进而提高了用户的AR交互体验。
Description
技术领域
本申请涉及增强现实AR技术领域,尤其涉及一种数据处理方法、装置、设备及存储介质。
背景技术
随着互联网技术的快速发展,基于网络技术的增强现实(Augmented Reality,AR)技术在越来越多的领域被广泛应用,例如应用于机械组装、设备维修、结构展示以及娱乐游戏开发等领域。
目前,AR应用的实现通常是借助服务器进行托管和解析,如图1所示,图1为本申请实施例提供的一种现有技术中的AR交互示意图,图1中的手机1创建AR场景,从而获取一些目标锚点,并将目标锚点以及其所处的环境数据发送至服务器,服务器对接收到的数据进行处理,得到对应的稀疏点图,并将其作为云锚点。继而同一环境中的手机2向服务器发送交互请求,服务器根据交互请求尝试将可视特征数据3与云锚点中的稀疏点图进行匹配,若匹配成功,则将已解析的锚点设置于相同环境中的相同位置,从而使得手机2的用户可以查看到与手机1中相同的AR对象,基于此进行同步交互。
然而,现有技术中,服务器在进行锚点匹配时,未考虑AR场景中目标锚点所涉及的目标物的实际尺寸,导致需要遍历所有的目标物进行过滤处理,造成数据处理量较大,并且不利于最终候选框的选取,进而造成运行速度较慢,效率低下,影响用户AR交互体验。
发明内容
本申请提供一种数据处理方法、装置、设备及存储介质,用于解决现有技术中未考虑AR场景中目标物的实际尺寸,导致AR交互的实现过程中数据处理量较大,进而造成运行速度较慢及效率低下,影响用户AR交互体验的技术问题。
第一方面,本申请提供一种数据处理方法,包括:
获取待处理数据,所述待处理数据用于表征初始AR对象的环境特征,所述初始AR对象为第一终端设备创建的AR场景中的AR对象;
基于预设选择性搜索算法,根据所述待处理数据、预设尺寸阈值以及预设打分机制确定多个候选框,所述多个候选框中至少包括目标对象的候选框;
根据所述候选框确定目标检测框,所述目标检测框用于实现所述第一终端设备与第二终端设备的AR交互。
在一种可能的设计中,所述基于预设选择性搜索算法,根据所述待处理数据、预设尺寸阈值以及预设打分机制确定多个候选框,包括:
根据所述预设选择性搜索算法以及预设分割规则将所述待处理数据中每帧对应的目标图片进行分割,以得到每张目标图片的初始分割区域集合,所述目标图片为所述目标对象对应的图片;
通过所述预设选择性搜索算法中的预设相似度算法对每个初始分割区域集合进行迭代,得到对应的初始框,所述初始框用于表征所述候选框的区域边界;
根据所述预设尺寸阈值以及所述预设打分机制对所述初始框进行选择性处理,以得到所述候选框。
在一种可能的设计中,所述根据所述预设尺寸阈值以及所述预设打分机制对所述初始框进行选择性处理,以得到所述候选框,包括:
根据所述预设尺寸阈值中的最大尺寸阈值和最小尺寸阈值对所述初始框进行筛选,以得到目标初始框,所述目标初始框的尺寸小于所述最大尺寸阈值且大于所述最小尺寸阈值;
获取每个目标初始框的中心点与对应同帧的目标图片的中心点之间的距离数据;
根据所述距离数据以及所述预设打分机制对相应的每个目标初始框进行打分,将携带打分结果的每个目标初始框确定为对应的所述候选框。
在一种可能的设计中,所述通过所述预设选择性搜索算法中的预设相似度算法对每个初始分割区域集合进行迭代,得到对应的初始框,包括:
根据所述预设相似度算法确定每个初始分割区域集合中每相邻两个第一子区域框之间的第一相似度,并将所有第一相似度存储至对应的初始化相似度集合,以得到对应的相似度集合;
针对每个相似度集合,确定候选子区域框,并对所述候选子区域框进行合并处理,得到合并区域框,所述候选子区域框为最大的第一相似度对应的两个第一子区域框;
将所述合并区域框存储至候选区域集合,并删除所述相似度集合中所述候选子区域框参与确定的所有第一相似度,以通过所述合并区域框迭代所述第一子区域框;
根据所述预设相似度算法确定所述合并区域框与第二子区域框之间的第二相似度,并将所述第二相似度存储至所述相似度集合,所述第二子区域框为与所述候选子区域框相邻的第一子区域框;
重复上述步骤,直到所述相似度集合中的所述第一相似度的数量为零,确定所述候选区域集合中的合并区域框为所述初始框。
在一种可能的设计中,在所述基于预设选择性搜索算法,根据所述待处理数据、预设尺寸阈值以及预设打分机制确定多个候选框之前,还包括:
获取实际物理场景中的多张训练图片,对每张训练图片中的采集对象进行标注,以得到对应的候选训练框;
对所有候选训练框进行统计排序处理,去除尺寸最大和最小的候选训练框,以得到目标训练框集合,所述目标训练框集合中包括预设尺寸顺序排列分布的目标训练框;
根据所述目标训练框集合确定第一平均值,并将所述第一平均值确定为所述最大尺寸阈值,所述第一平均值为所述目标训练框集合中预设数量个最大尺寸的目标训练框的平均值;
根据所述目标训练框集合确定第二平均值,并将所述第二平均值确定为所述最小尺寸阈值,所述第二平均值为所述目标训练框集合中所述预设数量个最小尺寸的目标训练框的平均值。
在一种可能的设计中,所述根据所述候选框确定目标检测框,包括:
根据所述候选框以及预设深度学习算法确定每个候选框对应的特征数据;
根据预设分类器以及所述特征数据对所述候选框进行分类处理,以得到目标候选框;
将所述打分结果在预设数量范围内的所述目标候选框确定为所述目标检测框。
在一种可能的设计中,所述获取待处理数据,包括:
运行预设AR程序,并基于所述预设AR程序获取摆放平面,以在所述摆放平面上设置所述初始AR对象;
通过摄像头在采集范围内获取所述待处理数据,所述采集范围覆盖以所述初始AR对象为中心、预设距离为半径的圆所在的面积,所述摄像头设置于所述第一终端设备。
第二方面,本申请提供一种数据处理装置,包括:
获取模块,用于获取待处理数据,所述待处理数据用于表征初始AR对象的环境特征,所述初始AR对象为所述第一终端创建的所述AR场景中的AR对象;
第一处理模块,用于基于预设选择性搜索算法,根据所述待处理数据、预设尺寸阈值以及预设打分机制确定多个候选框,所述多个候选框中至少包括目标对象的候选框;
第二处理模块,用于根据所述候选框确定目标检测框,所述目标检测框用于实现所述第一终端设备与第二终端设备的AR交互。
在一种可能的设计中,所述第一处理模块,具体用于:
根据所述预设选择性搜索算法以及预设分割规则将所述待处理数据中每帧的目标图片进行分割,以得到每张目标图片的初始分割区域集合,所述目标图片为所述目标对象对应的图片;
通过所述预设选择性搜索算法中的预设相似度算法对每个初始分割区域集合进行迭代,得到对应的初始框,所述初始框用于表征所述候选框的区域边界;
根据所述预设尺寸阈值以及所述预设打分机制对所述初始框进行选择性处理,以得到所述候选框。
在一种可能的设计中,所述第一处理模块,还具体用于:
根据所述预设尺寸阈值中的最大尺寸阈值和最小尺寸阈值对所述初始框进行筛选,以得到目标初始框,所述目标初始框的尺寸小于所述最大尺寸阈值且大于所述最小尺寸阈值;
获取每个目标初始框的中心点与对应同帧的目标图片的中心点之间的距离数据;
根据所述距离数据以及所述预设打分机制对相应的每个目标初始框进行打分,将携带打分结果的每个目标初始框确定为对应的所述候选框。
在一种可能的设计中,所述第一处理模块,还具体用于:
根据所述预设相似度算法确定每个初始分割区域集合中每相邻两个第一子区域框之间的第一相似度,并将所有第一相似度存储至对应的初始化相似度集合,以得到对应的相似度集合;
针对每个相似度集合,确定候选子区域框,并对所述候选子区域框进行合并处理,得到合并区域框,所述候选子区域框为最大的第一相似度对应的两个第一子区域框;
将所述合并区域框存储至候选区域集合,并删除所述相似度集合中所述候选子区域框参与确定的所有第一相似度,以通过所述合并区域框迭代所述第一子区域框;
根据所述预设相似度算法确定所述合并区域框与第二子区域框之间的第二相似度,并将所述第二相似度存储至所述相似度集合,所述第二子区域框为与所述候选子区域框相邻的第一子区域框;
重复上述步骤,直到所述相似度集合中的所述第一相似度的数量为零,确定所述候选区域集合中的合并区域框为所述初始框。
在一种可能的设计中,所述数据处理装置,还包括:第三处理模块;所述第三处理模块,用于:
获取实际物理场景中的多张训练图片,对每张训练图片中的采集对象进行标注,以得到对应的候选训练框;
对所有候选训练框进行统计排序处理,去除尺寸最大和最小的候选训练框,以得到目标训练框集合,所述目标训练框集合中包括预设尺寸顺序排列分布的目标训练框;
根据所述目标训练框集合确定第一平均值,并将所述第一平均值确定为所述最大尺寸阈值,所述第一平均值为所述目标训练框集合中预设数量个最大尺寸的目标训练框的平均值;
根据所述目标训练框集合确定第二平均值,并将所述第二平均值确定为所述最小尺寸阈值,所述第二平均值为所述目标训练框集合中所述预设数量个最小尺寸的目标训练框的平均值。
在一种可能的设计中,所述第二处理模块,具体用于:
根据所述候选框以及预设深度学习算法确定每个候选框对应的特征数据;
根据预设分类器以及所述特征数据对所述候选框进行分类处理,以得到目标候选框;
将所述打分结果在预设数量范围内的所述目标候选框确定为所述目标检测框。
在一种可能的设计中,所述获取模块,具体用于:
运行预设AR程序,并基于所述预设AR程序获取摆放平面,以在所述摆放平面上设置所述初始AR对象;
通过摄像头在采集范围内获取所述待处理数据,所述采集范围覆盖以所述初始AR对象为中心、预设距离为半径的圆所在的面积,所述摄像头设置于所述第一终端设备。
第三方面,本申请提供一种电子设备,包括:
摄像头;
处理器;以及
与所述处理器通信连接的存储器;其中,
所述存储器存储有可被所述处理器执行的指令,所述指令被所述处理器执行,以使所述处理器能够执行第一方面及第一方面的可选方案中的任意一种所述的数据处理方法。
第四方面,本申请提供一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行第一方面及第一方面的可选方案中的任意一种所述的数据处理方法。
本申请提供一种数据处理方法、装置、设备及存储介质。首先获取能够表征初始AR对象的环境特征的待处理数据,然后基于预设选择性搜索算法,根据待处理数据、预设尺寸阈值以及预设打分机制确定多个候选框,所确定的多个候选框中至少包括目标对象的候选框,最后根据候选框确定目标检测框,以通过目标检测框实现第一终端设备与第二终端设备的AR交互。本申请提供的数据处理方法,基于目标对象的实际尺寸引入了预设尺寸阈值以及预设打分机制进行候选框的确定,可以通过选择性搜索确定候选框进而确定目标检测框,极大地减少了数据处理量,有效提高了数据处理效率,进而可以提高用户的AR交互体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种现有技术中的AR交互示意图;
图2为本申请实施例提供的一种应用场景示意图;
图3为本申请实施例提供的一种数据处理方法的流程示意图;
图4为本申请实施例提供的一种渲染效果示意图;
图5为本申请实施例提供的另一种数据处理方法流程示意图;
图6为本申请实施例提供的再一种数据处理方法的流程示意图;
图7为申请实施例提供的又一种数据处理方法的流程示意图;
图8为本申请实施例提供又一种数据处理方法的流程示意图;
图9为本申请实施例提供的一种数据处理装置的结构示意图;
图10为本申请实施例提供的另一种数据处理装置的结构示意图;
图11为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的方法和装置的例子。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
现有技术中,在实现AR交互,服务器进行锚点匹配时,未考虑AR场景中目标锚点所涉及的目标物的实际尺寸,导致候选框的确定过程需遍历所有的目标物,再逐一进行过滤筛选,从而导致数据处理量较大,不利于候选框的选取,并造成运行速度较慢效率低下,影响用户进行AR交互的使用体验。
针对现有技术中的上述问题,本申请提供了一种数据处理方法、装置、设备及存储介质。本申请提供的数据处理方法,基于目标检测框所标注的目标对象的实际尺寸引入了预设尺寸阈值以及预设打分机制,可以通过选择性搜索确定候选框,进而确定目标检测框,所确定的目标检测框可以用于实现第一终端设备与第二终端设备的AR交互。从而,极大地减少数据处理量,有效提高数据处理效率,进而提高用户的AR交互体验。
以下,对本申请实施例的示例性应用场景进行介绍。
本申请实施例提供的数据处理方法由本申请实施例提供的数据处理装置执行,本申请实施例提供的数据处理装置对应的电子设备可以是终端设备、服务器或服务器集群。图2为本申请实施例提供的一种应用场景示意图,如图2所示,网络用于为终端设备21、服务器22以及终端设备23之间提供通信链路的介质。网络可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。终端设备21、服务器22以及终端设备23之间可以通过网络进行交互,以接收或发送消息。其中,终端设备21和终端设备23其一可以为本申请实施例中的第一终端设备,另一则相应的为第二终端设备,例如,当终端设备21为第一终端设备时,则终端设备23即为第二终端设备,第一终端设备,即终端设备21执行本申请实施例提供的数据处理方法,使得第一终端设备通过目标检测框实现与第二终端设备的AR交互。值得说明的是,第二终端设备的数量可以是一个或多个,图2示例性示出作为第二终端设备的终端设备23的数量为一个。另外,终端设备21及终端设备23可以是能够运行AR相应应用程序的任意终端设备,例如智能手机、智能眼镜、智能手环、智能手表、平板电脑等等,对于终端设备的类型本申请实施例不作限定,图2中的终端设备21及终端设备23均以智能手机为例示出。
需要说明的是,上述应用场景仅仅是示意性的,本申请实施例提供的数据处理方法、装置、设备及存储介质包括但不仅限于上述应用场景。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
图3为本申请实施例提供的一种数据处理方法的流程示意图,本申请实施例提供的数据处理方法可以应用于第一终端设备。如图3所示,本实施例提供的数据处理方法,包括:
S101:获取待处理数据。
其中,待处理数据用于表征初始AR对象的环境特征,初始AR对象为第一终端设备创建的AR场景中的AR对象。
获取待处理数据,所获取的待处理数据能够表征初始AR对象的环境特征,而初始AR对象是第一终端设备创建的AR场景中的AR对象,其中,待处理数据可以是第一终端设备在确定了初始AR对象之后,获取的能够表征初始AR对象四周的环境特征的视频数据,例如,第一终端设备在选定了AR对象并得到初始AR对象后,则可以获取初始AR对象四周的环境特征数据,从而得到待处理数据。
在一种可能的设计中,本步骤S101获取待处理数据可能的实现方式如下所示:
运行预设AR程序,并基于预设AR程序获取摆放平面,以在摆放平面上设置初始AR对象;
通过摄像头在采集范围内获取待处理数据,其中,采集范围覆盖以AR对象为中心、预设距离为半径的圆所在的面积,摄像头设置于第一终端设备。
第一终端设备首先运行预设AR程序,例如运行ARCore应用程序软件。然后通过该预设AR程序中的平面检测功能获取到第一终端设备的可视野范围的平面,即获取摆放平面。摆放平面可以是桌面、地面等水平平面。进而在摆放平面上设置初始AR对象,以使得初始AR对象不会出现临空的状态。图4为本申请实施例提供的一种渲染效果示意图,如图4所示,在检测到摆放平面之后,可以通过运行预设AR程序首先渲染出网格区域(如图4左侧的图片所示),接着在网格区域上摆放AR素材,通过渲染得到初始AR对象(如图4右侧所示的老虎图片)。具体地,首先可以利用锚点坐标和第一终端设备的坐标确定两者的相对位置,然后根据所选AR素材的尺寸,经过渲染处理得到初始AR对象,其中,可以在预设AR程序中所包括的各种素材中选择用户所需要的AR素材。
在得到初始AR对象之后,通过设置在第一终端设备的摄像头在采集范围内采集待处理数据,其中,采集范围为以初始AR对象为中心、预设距离为半径的圆所在的面积。例如,距离初始AR对象为预设距离,围绕初始AR对象四周移动,捕获初始AR对象四周的环境特征,即待处理数据。值得说明的是第一终端设备的摄像头可以是设置在第一终端设备上的任意视频采集部件。
可以理解的是,预设距离可以根据实际工况设置多个,从而通过摄像头的多次采集,得到初始AR对象四周尽可能多的环境特征,对此,本实施例不作限定。
S102:基于预设选择性搜索算法,根据待处理数据、预设尺寸阈值以及预设打分机制确定多个候选框。
其中,多个候选框中至少包括目标对象的候选框。
在获取到待处理数据之后,基于预设选择性搜索算法,引入预设尺寸阈值以及预设打分机制对待处理数据进行处理,得到用于确定目标检测框的多个候选框,其中,该多个候选框中至少包含有目标对象的候选框,其中目标对象可以为明确的物体,例如动物、人物、物件等。
预设尺寸阈值和预设打分机制可以通过获取实际物理场景中实物的实际尺寸得到,从而,在根据待处理数据确定候选框的过程中,能够进行选择性搜索,而无需遍历所有的目标对象,极大地减少了数据处理量,提高数据处理效率。
在一种可能的的设计中,本步骤S102中基于预设选择性搜索算法,根据待处理数据、预设尺寸阈值以及预设打分机制确定多个候选框的可能的实现方式如图5所示,图5为本申请实施例提供的另一种数据处理方法流程示意图,如图5所示,本实施例提供的数据处理方法中确定多个候选框,包括:
S201:根据预设选择性搜索算法以及预设分割规则将待处理数据中每帧对应的目标图片进行分割,以得到每张目标图片的初始分割区域集合。
其中,目标图片为目标对象对应的图片。
针对待处理数据,例如摄像头采集的视频数据,通过预设选择性搜索(SelectiveSearch)算法以及预设分割规则将待处理数据中每帧对应的目标图片进行分割,每张目标图片即可被分割成若干个初始区域,每张目标图片的所有初始区域形成一对应的初始区域集合。
其中,预设分割规则可以是对象分割规则或区域面积分割规则等。例如,预设分割规则为对象分割规则时,针对视频数据中每帧数据对应的一张目标图片,可以将每张目标图片中包括的目标对象按照对象分割规则进行分割,比如,将每张目标图片中的目标对象都进行分割,每张目标图片均可以被分割为若干个初始分割区域,每个初始分割区域包括有目标对象。
例如预设分割规则为区域面积分割规则时,则针对视频数据中每帧数据对应的一张目标图片,按照一定的区域面积将每张目标图片进行分割,每张目标图片被分割为区域面积相同的若干个初始分割区域。
其中,目标图片为与目标对象相对应的图片,而每张目标图片中包括的目标对象的数量可以是一个也可以是多个。此外,预设分割规则包括但仅限于上述的对象分割规则和区域面积分割规则。
可以理解的是,每张目标图片被分割的初始区域的数量可以相同也可以不相同,具体情况根据预设分割规则确定,对此,本实施例不作限定。预设选择性搜索算法可以是目标检测技术领域能够实现选择性搜索的相应算法,本实施例对于预设选择性算法的具体内容不作限定,并且,预设分割规则可以由所选用的预设选择性搜索算法决定,也可以根据每帧所对应的目标图片的内容自行设置,对此,本实施例不作限定。
S202:通过预设选择性搜索算法中的预设相似度算法对每个初始分割区域集合进行迭代,得到对应的初始框。
其中,初始框用于表征候选框的区域边界。
得到每张目标图片对应的初始分割区域集合之后,通过预设选择性搜索算法中的预设相似度算法对每个初始分割区域集合中的各初始分割区域进行迭代,从而得到对应的初始框,即用初始框标注每张目标图片所对应的各初始分割区域的迭代结果,进而利用预设尺寸阈值以及预设打分机制对初始框进行选择性筛选处理,因而,通过初始框也可以表征最终确定的候选框的区域边界。
在通过预设相似度算法对每个初始分割区域集合进行迭代时,由于初始分割区域之间可能存在重叠的例如纹理、颜色、尺寸等维度的特征信息,因而,可以通过确定相邻初始分割区域之间基于上述维度的相似度,以得到相邻初始分割区域之间的相似度,基于所得到的相似度对初始分割区域进行合并,利用合并初始分割区域覆盖原有的两个初始分割区域,从而达到迭代目的,最终得到每个初始分割区域集合的迭代结果,并利用初始框表征每个迭代结果。
S203:根据预设尺寸阈值以及预设打分机制对初始框进行选择性处理,以得到候选框。
在得到各初始分割区域集合对应的各初始框之后,对每张目标图片所对应的所有初始框基于预设尺寸阈值以及预设打分机制依次进行筛选以及打分排序的选择性处理,将选择性处理之后的初始框确定为候选框,从而得到每张目标图片所对应的候选框。
例如,预设尺寸阈值可以包括有最大尺寸阈值和最小尺寸阈值,可以将大于最大尺寸阈值和小于最小尺寸阈值的初始框进行剔除,得到尺寸在最大尺寸阈值与最小尺寸阈值之间的初始框,将得到的初始框确定为目标初始框,即根据预设尺寸阈值中的最大尺寸阈值和最小尺寸阈值对初始框进行筛选,将筛选结果确定为目标初始框,目标初始框的尺寸均小于最大尺寸阈值且大于最小尺寸阈值。进一步地,还可以获取每个目标初始框的中心点与对应同帧的目标图片的中心点之间的距离数据,即获取每个目标初始框与对应的目标图片两者的中心点之间的距离数据,然后再根据距离数据和预设打分机制对相应的每个目标初始框进行打分,经过打分,将携带打分结果的每个目标初始框确定为对应的候选框。其中,预设打分机制可以满足距离数据最小打分最高的原则,当距离数据越小,表明该候选框作为目标检测框的可能性越高。当然,也可以根据实际工况设置预设打分机制的原则,对此,本实施例不作限定。
上述实施例中根据预设打分机制进行打分,其中,打分操作可以是根据各距离数据直接给予其对应的目标初始框一分值,也可以提前设置距离数据与目标初始框之间的映射关系,当确定距离数据之后,根据该映射关系给予对应的目标初始框相应分值。对于具体的打分操作包括但不仅限于上述列举的实施例。另外,对于预设打分机制中具体打分操作后的分值,本实施例不作限定。
本申请实施例提供的数据处理方法,在基于预设选择性搜索算法,根据待处理数据、预设尺寸阈值以及预设打分机制确定多个候选框时,首先根据预设选择性搜索算法中的图片分割规则对待处理数据中每帧的目标图片进行分割,得到每张目标图片对应的初始分割区域集合,然后通过预设选择性搜索算法中的预设相似度算法对每个初始分割区域集合进行迭代,得到对应的初始框,再根据预设尺寸阈值以及预设打分机制对初始框进行选择性处理,从而得到对应的候选框。本实施例提供的候选框的确定过程中引入了预设尺寸阈值以及预设打分机制,能够对初始框进行选择性处理,才得到对应的候选框,能够将成为目标检测框可能性较小的候选框进行有效过滤,能够使得后续目标检测框的确定更为准确,并且减少了无谓的数据处理,进而提高了处理效率。
在一种可能的设计中,步骤S202通过迭代得到初始框的可能的实现方式如图6所示,图6为本申请实施例提供的再一种数据处理方法的流程示意图,如图6所示,本实施例提供的数据处理方法中确定初始框,包括:
S301:根据预设相似度算法确定每个初始分割区域集合中每相邻两个第一子区域框之间的第一相似度,并将所有第一相似度存储至对应的初始化相似度集合,以得到对应的相似度集合。
针对每个初始分割区域集合,通过预设相似度算法确定每相邻两个第一子区域框之间的第一相似度,其中,第一子区域框用于标注初始分割区域集合中的每个初始分割区域,预设相似度算法可以是颜色、纹理及尺寸等维度的相似度的确定方法。例如,对于颜色维度而言,对应的预设相似度算法可以是颜色直方图计算公式,即对相邻的两个第一子区域,对各个通道确定对应的颜色直方图,然后取对应bins的直方图最小值,以得到颜色维度的相似度。进一步地,还可以继续确定每相邻两个第一子区域框在其他维度的相似度,当确定了所设置的所有维度的相似度之后,还可以对不同维度的相似度进行加权,将加权结果确定为相邻第一子区域框的第一相似度。确定每相邻两个第一子区域框之间的第一相似度之后,针对每个初始分割区域,将其对应的所有第一相似度作为每个子集存储至初始化相似度集合,将包含有第一相似度的初始化相似度集合确定为对应的相似度集合,其中,初始相似度集合为还未存储有元素的空集。例如,针对每张目标图片而言,对应的初始分割区域集合为R={r1,r2,…,rn},其中的r1,r2,…,rn依次表征每个初始分割区域对应的第一子区域框,初始化相似度集合为(空集),在确定了第一相似度之后,将得到的第一相似度存储至S,即得到对应的相似度集合F,上述n为正整数。
值得说明的是,上述实施例中的预设相似度算法所涉及的维度以及相应的确定第一相似度的方法还可以包括其他,对此,本实施例不作限定。
S302:针对每个相似度集合,确定候选子区域框,并对候选子区域框进行合并处理,得到合并区域框。
其中,候选子区域框为最大的第一相似度对应的两个第一子区域框。
在得到每张目标图片对应的相似度集合之后,针对每个相似度集合,确定候选子区域框,其中,候选子区域框为最大的第一相似度对应的两个第一子区域框。换言之,针对每个相似度集合,确定出其中最大的第一相似度,以得到该最大的第一相似度对应的两个第一子区域框,该两个第一子区域框即为候选子区域框。进而,对所确定出的候选子区域框进行合并处理,即将两个候选子区域框合并为一个合并区域框,从而得到合并区域框。
例如,在相似度集合F中,第一相似度最大的两个第一子区域框为r3和r4,则将该两个第一子区域框确定为候选子区域框,对其进行合并得到ri,则ri被确定为合并区域框。其中,i可以由确定合并区域框的顺序从1至n中进行取值。
S303:将合并区域框存储至候选区域集合,并删除相似度集合中候选子区域框参与确定的所有第一相似度,以通过合并区域框迭代第一子区域框。
在得到合并区域框之后,将合并区域框作为子集存储至候选区域集合,同时,删除相似度集合中候选子区域框参与确定的所有第一相似度,从而通过合并区域框将对应的第一子区域框进行迭代。例如,得到ri之后,删除集合F中r3和r4所参与确定的所有第一相似度,以通过ri迭代r3和r4。
S304:根据预设相似度算法确定合并区域框与第二子区域框之间的第二相似度,并将第二相似度存储至相似度集合。
其中,第二子区域框为与候选子区域框相邻的第一子区域框。
在经过步骤S303的迭代之后,根据预设相似度算法继续确定合并区域框与第二子区域框之间的第二相似度,并将所确定的第二相似度存储至相似度集合中,其中,第二子区域框为与候选子区域框相邻的第一子区域框,即第二子区域框为与候选子区域框对应的任意一个第一子区域相邻的另一个第一子区域框。
可以理解的是,本步骤中的预设相似度算法与步骤S301中的维度保持一致。
针对每张目标图片,重复进行步骤S302至S304,直到相似度集合中的第一相似度数量为零,则将对应的候选区域集合中的合并区域框确定为该目标图片所对应的多个初始框。
本申请实施例提供的数据处理方法,在通过预设选择性搜索算法中的预设相似度算法对每个初始分割区域集合进行迭代得到对应初始框时,首先根据预设相似度算法确定每个初始分割区域集合汇总每相邻两个第一子区域框之间的第一相似度,并将所有第一相似度存储至对应的初始化相似度集合,得到相似度集合。然后,针对每个相似度集合,确定候选子区域框,进而对候选子区域框进行合并处理,得到合并区域框,以将合并区域框存储至候选区域集合,同时,删除相似度集合中候选子区域框参与确定的所有第一相似度,以通过合并区域框迭代第一子区域框。进一步地,根据预设相似度算法确定合并区域框与第二子区域框之间的第二相似度,并将第二相似度存储至相似度集合,重复进行合并及迭代过程,直到相似度集合中的第一相似度的数量为零,确定候选区域集合中的合并区域框为初始框,从而通过预设选择性搜索算法通过不断的迭代过程,得到了初始框。基于相似度算法,通过不断迭代得到初始框,对于包含有不同目标对象的初始分割区域进行有效处理,降低处理过程复杂度的同时,还继承了待处理数据中原有数据特征,有效提高了确定初始框的准确度。
S103:根据候选框确定目标检测框。
其中,目标检测框用于实现第一终端设备与第二终端设备的AR交互。
在确定了候选框之后,进一步地,确定目标检测框。所确定的目标检测框用于实现第一终端设备与第二终端设备的AR交互。其中,根据候选框确定目标检测框可以基于任意的深度学习算法进行,即通过提取候选区域,并在候选区域进行以深度学习为主的分类的一些相应算法。例如R-CNN(Region-CNN)、SPP-net以及R-FCN等等。
所确定的目标检测框能够实现第一终端设备与第二终端设备之间的AR交互。例如,可以通过目标检测框判断第一终端设备与第二终端设备两者分别所处的物理环境是否具有相同的目标对象,若有,两者则可基于该目标对象实现AR交互。
在一种可能的设计中,本步骤S103中根据候选框确定目标检测框一种可能的实现方式如图7所示,图7为申请实施例提供的又一种数据处理方法的流程示意图,如图7所示,本实施例提供的数据处理方法中,根据候选框确定目标检测框,包括:
S1031:根据候选框以及预设深度学习算法确定每个候选框对应的特征数据。
通过预设深度学习算法确定每个候选框对应的特征数据,例如通过R-CNN预设深度学习算法对每个候选框提取fc7层的原始特征,将每个对应的输出结果作为每个候选框对应的特征数据。具体地,由于每个候选框的尺寸可能大小不一,因而,可以将每个候选框缩放为统一的尺寸,例如227*227px(像素),并输入至CNN中,将CNN的fc7层的输出作为对应的特征数据。
S1032:根据预设分类器以及特征数据对候选框进行分类处理,以得到目标候选框。
在得到每个候选框的特征数据之后,通过预设分类器基于特征数据对候选框进行分类处理,以得到目标候选框。其中,可以理解的是,目标候选框是在候选框的基础上标注了对应的目标对象的特征数据。例如,可以将特征数据同属于相同类别的候选框归为一类,以对候选框依据各特征数据实现分类处理,类别所对应的具体内容可以根据目标对象进行设置。又或可以根据预设分类器自带的分类方法依据特征数据对候选框实施分类处理。预设分类器例如支持向量机(Support Vector Machine,简称SVM)等,但不仅限于SVM,可以是与预设深度学习算法相应的其他分类器,对此本申请实施例不作限定。
S1033:将打分结果在预设数量范围内的目标候选框确定为目标检测框。
在得到目标候选框之后,从所有的目标候选框中依据各自的打分结果进行筛选,将通过打分机制得到的打分结果在预设数量范围内的目标候选框,确定为目标检测框。例如,在上述实施例的步骤S203确定候选框时,所确定的候选框携带打分结果,进一步地,根据候选框所确定的目标候选框也携带对应的打分结果。因而,依据对应的打分结果,将打分结果在预设数量范围内的目标候选框确定为目标检测框。例如,将打分结果排名最高的前N个目标候选框确定为目标检测框,N可以为任意大于零的自然数,对于具体的数量不作限定,最高的前N个即为预设数量范围。从而实现根据候选框确定目标检测框。
本申请实施例提供的数据处理方法,首先获取待处理数据,其中,待处理数据用于表征初始AR对象的环境特征。然后基于预设选择性搜索算法,根据待处理数据、预设尺寸阈值以及预设打分机制确定多个候选框,所确定的多个候选框中至少包括目标对象的候选框。最后根据候选框确定目标检测框,以通过目标检测框实现第一终端设备与第二终端设备的AR交互。在确定用于确定目标检测框的候选框时,基于目标对象的实际尺寸引入了预设尺寸阈值以及预设打分机制进行选择性搜索处理,有效过滤了成为目标检测框可能性较小的候选框,使得目标检测框的确定更为准确,减少了无谓的数据处理,极大地减少了数据处理量,提高了数据处理效率,进而提高了用户的AR交互体验。
在上述实施例的基础上,基于预设选择性搜索算法,根据待处理数据确定对应的候选框时引入了预设尺寸阈值以及预设打分机制。因而,在基于预设选择性搜索算法,根据待处理数据、预设尺寸阈值以及预设打分机制确定多个候选框之前,在一种可能的设计中,可以通过如图8所示的步骤确定预设尺寸阈值。图8为本申请实施例提供又一种数据处理方法的流程示意图,如图8所示,本实施例提供的数据处理方法中确定预设尺寸阈值以及预设打分机制,包括:
S401:获取实际物理场景中的多张训练图片,对每张训练图片中的采集对象进行标注,以得到对应的候选训练框;
可以在实际物理场景中拍摄多张图片,将所拍摄的多张图片作为训练图片。其中,对于拍摄图片所用的拍摄设备不作限定。对每张训练图片中所采集到的采集对象通过候选训练框进行标注,从而得到每张训练图片上的候选训练框。可以理解的是,每个候选训练框用于标注一个采集对象。
S402:对所有候选训练框进行统计排序处理,去除尺寸最大和最小的候选训练框,以得到目标训练框集合。
其中,目标训练框集合中包括按照预设尺寸顺序排列分布的目标训练框。
对每张图片的采集对象进行标注得到候选训练框之后,对所有的候选训练框按照各自的尺寸以及预设尺寸顺序进行统计排序,例如,预设尺寸顺序为由大到小,则将所有候选训练框按照由大到小的顺序进行统计排列,之后,将尺寸最大和尺寸最小的候选训练框进行去除,剩余的候选训练框形成目标训练框集合,则目标训练框集合中包括有由大到小顺序排列分布的目标训练框。当预设尺寸顺序为由小到大时,在去除尺寸最大和尺寸最小的候选训练框,得到的目标训练框集合中则包括由小到大的顺序排列分布的目标训练框。
S403:根据目标训练框集合确定第一平均值,并将第一平均值确定为最大尺寸阈值。
其中,第一平均值为目标训练框集合中预设数量个最大尺寸的目标训练框的平均值。
在得到目标训练框集合,获取目标训练集合中预设数量个最大尺寸的目标训练框的平均值,所获取到的平均值即为第一平均值,将该第一平均值确定为最大尺寸阈值。其中,预设数量可以任意大于零的数量,对此不作限定。例如,当预设尺寸顺序为由大到小,预设数量为5,则可以获取目标训练框集合中排名前5的目标训练框的平均值,其结果即为第一平均值。
S404:根据目标训练框集合确定第二平均值,并将第二平均值确定为最小尺寸阈值。
其中,第二平均值为目标训练框集合中预设数量个最小尺寸的目标训练框的平均值。
与步骤S402相类似,在得到目标训练框集合,获取目标训练集合中预设数量个最小尺寸的目标训练框的平均值,所获取到的平均值即为第二平均值,将该第二平均值确定为最小尺寸阈值。其中,预设数量为与确定第一平均值相同的任意大于零的数量,对此不作限定。例如,当预设尺寸顺序为由大到小,预设数量为5,则可以获取目标训练框集合中排名后5的目标训练框的平均值,其结果即为第二平均值。
从而,通过确定第一平均值和第二平均值分别得到最大尺寸阈值和最小尺寸阈值。可以理解的是,当预设尺寸顺序为由小到大时,则上述实施例中的举例描述则相反。即第一平均值为目标训练框集合中排名靠后的预设数量个目标训练框尺寸的平均值,而第二平均值为目标训练框集合中排名靠前的预设数量个目标训练框尺寸的平均值。
本申请实施例提供的数据处理方法,在基于预设选择性搜索算法,根据待处理数据、预设尺寸阈值以及预设打分机制确定多个候选框之前,还确定最大尺寸阈值以及最小尺寸阈值,以得到预设尺寸阈值。首先获取实际物理场景中的多张训练图片,对每张训练图片中的采集对象进行标注,以得到对应的候选训练框。然后对所有候选训练框进行统计排序处理,去除尺寸最大和最小的候选训练框,以得到目标训练框集合。最后根据目标训练框集合分别确定第一平均值和第二平均值,并分别将第一平均值和第二平均值确定为最大尺寸阈值和最小尺寸阈值,可见,在确定预设尺寸阈值时是通过获取实际物理场景中的训练图片对其进行相应处理得到,因而在引入预设尺寸阈值以及预设打分机制进行选择性搜索处理时,能够使得数据处理过程更加合理,使得最终所确定的候选框甚至目标检测框更加符合实际物理场景,进而使得AR交互更加逼真,提高了用户AR交互的使用体验。
下述为本申请装置实施例,可以用于执行本申请对应的方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请对应的方法实施例。
图9为本申请实施例提供的一种数据处理装置的结构示意图,如图9所示,本实施例提供的数据处理装置700,包括:
获取模块701,用于获取待处理数据。其中,待处理数据用于表征初始AR对象的环境特征,初始AR对象为第一终端创建的AR场景中的AR对象。
第一处理模块702,用于基于预设选择性搜索算法,根据待处理数据、预设尺寸阈值以及预设打分机制确定多个候选框,多个候选框中至少包括目标对象的候选框。
第二处理模块703,用于根据候选框确定目标检测框,目标检测框用于实现第一终端设备与第二终端设备的AR交互。
在一种可能的设计中,第一处理模块702,具体用于:
根据预设选择性搜索算法以及预设分割规则将待处理数据中每帧的目标图片进行分割,以得到每张目标图片的初始分割区域集合,目标图片为目标对象对应的图片;
通过预设选择性搜索算法中的预设相似度算法对每个初始分割区域集合进行迭代,得到对应的初始框,初始框用于表征候选框的区域边界;
根据预设尺寸阈值以及预设打分机制对初始框进行选择性处理,以得到候选框。
在一种可能的设计中,第一处理模块702,还具体用于:
根据预设尺寸阈值中的最大尺寸阈值和最小尺寸阈值对初始框进行筛选,以得到目标初始框,目标初始框的尺寸小于最大尺寸阈值且大于最小尺寸阈值;
获取每个目标初始框的中心点与对应同帧的目标图片的中心点之间的距离数据;
根据距离数据以及预设打分机制对相应的每个目标初始框进行打分,将携带打分结果的每个目标初始框确定为对应的候选框。
在一种可能的设计中,第一处理模块702,还具体用于:
根据预设相似度算法确定每个初始分割区域集合中每相邻两个第一子区域框之间的第一相似度,并将所有第一相似度存储至对应的初始化相似度集合,以得到对应的相似度集合;
针对每个相似度集合,确定候选子区域框,并对候选子区域框进行合并处理,得到合并区域框,候选子区域框为最大的第一相似度对应的两个第一子区域框;
将合并区域框存储至候选区域集合,并删除相似度集合中候选子区域框参与确定的所有第一相似度,以通过合并区域框迭代第一子区域框;
根据预设相似度算法确定合并区域框与第二子区域框之间的第二相似度,并将第二相似度存储至相似度集合,第二子区域框为与候选子区域框相邻的第一子区域框;
重复上述步骤,直到相似度集合中的第一相似度的数量为零,确定候选区域集合中的合并区域框为初始框。
在一种可能的设计中,第二处理模块703,具体用于:
根据候选框以及预设深度学习算法确定每个候选框对应的特征数据;
根据预设分类器以及特征数据对候选框进行分类处理,以得到目标候选框;
将打分结果在预设数量范围内的目标候选框确定为目标检测框。
在一种可能的设计中,获取模块701,具体用于:
运行预设AR程序,并基预设AR程序获取摆放平面,以在摆放平面上设置初始AR对象;
通过摄像头在采集范围内获取待处理数据,采集范围覆盖以初始AR对象为中心、预设距离为半径的圆所在的面积,摄像头设置于第一终端设备。
在图9所示实施例的基础上,图10为本申请实施例提供的另一种数据处理方法的结构示意图,如图10所示,本实施例提供的数据处理装置700,还包括:第三处理模块704,用于:
获取实际物理场景中的多张训练图片,对每张训练图片中的采集对象进行标注,以得到对应的候选训练框;
对所有候选训练框进行统计排序处理,去除尺寸最大和最小的候选训练框,以得到目标训练框集合,目标训练框集合中包括预设尺寸顺序排列分布的目标训练框;
根据目标训练框集合确定第一平均值,并将第一平均值确定为最大尺寸阈值,第一平均值为目标训练框集合中预设数量个最大尺寸的目标训练框的平均值;
根据目标训练框集合确定第二平均值,并将第二平均值确定为最小尺寸阈值,第二平均值为目标训练框集合中预设数量个最小尺寸的目标训练框的平均值。
本申请所提供的上述数据处理装置实施例仅仅是示意性的,其中的模块划分仅仅是一种逻辑功能划分,实际实现时可以有另外的划分方式。例如多个模块可以结合或者可以集成到另一个系统。各个模块相互之间的耦合可以是通过一些接口实现,这些接口通常是电性通信接口,但是也不排除可能是机械接口或其它的形式接口。因此,作为分离部件说明的模块可以是或者也可以不是物理上分开的,既可以位于一个地方,也可以分布到同一个或不同设备的不同位置上。
值得说明的,上述所示实施例提供的数据处理装置,可用于执行上述实施例提供的数据处理方法的对应步骤,具体实现方式、原理以及技术效果与前述方法实施例类似,在此不再赘述。
图11为本申请实施例提供的一种电子设备的结构示意图,如图11所示,本实施例提供的电子设备800,包括:
摄像头801
处理器802;以及
与处理器802通信连接的存储器803;其中,
存储器803存储有可被处理器802执行的指令,指令被处理器802执行,以使处理器802能够执行上述方法实施例中的数据处理方法的各个步骤,具体可以参考前述方法实施例中的相关描述。
可选地,存储器803既可以是独立的,也可以跟处理器802集成在一起。
当存储器803是独立于处理器802之外的器件时,电子设备800,还可以包括:
总线804,用于连接处理器802以及存储器803。
此外,本申请实施例还提供一种存储有计算机指令的非瞬时计算机可读存储介质,计算机指令用于使计算机执行上述各实施例中的数据处理方法的各个步骤。例如,可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由权利要求书指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。
Claims (10)
1.一种数据处理方法,其特征在于,包括:
获取待处理数据,所述待处理数据用于表征初始AR对象的环境特征,所述初始AR对象为第一终端设备创建的AR场景中的AR对象;
基于预设选择性搜索算法,根据所述待处理数据、预设尺寸阈值以及预设打分机制确定多个候选框,所述多个候选框中至少包括目标对象的候选框;
根据所述候选框确定目标检测框,所述目标检测框用于实现所述第一终端设备与第二终端设备的AR交互。
2.根据权利要求1所述的数据处理方法,其特征在于,所述基于预设选择性搜索算法,根据所述待处理数据、预设尺寸阈值以及预设打分机制确定多个候选框,包括:
根据所述预设选择性搜索算法以及预设分割规则将所述待处理数据中每帧对应的目标图片进行分割,以得到每张目标图片的初始分割区域集合,所述目标图片为所述目标对象对应的图片;
通过所述预设选择性搜索算法中的预设相似度算法对每个初始分割区域集合进行迭代,得到对应的初始框,所述初始框用于表征所述候选框的区域边界;
根据所述预设尺寸阈值以及所述预设打分机制对所述初始框进行选择性处理,以得到所述候选框。
3.根据权利要求2所述的数据处理方法,其特征在于,所述根据所述预设尺寸阈值以及所述预设打分机制对所述初始框进行选择性处理,以得到所述候选框,包括:
根据所述预设尺寸阈值中的最大尺寸阈值和最小尺寸阈值对所述初始框进行筛选,以得到目标初始框,所述目标初始框的尺寸小于所述最大尺寸阈值且大于所述最小尺寸阈值;
获取每个目标初始框的中心点与对应同帧的目标图片的中心点之间的距离数据;
根据所述距离数据以及所述预设打分机制对相应的每个目标初始框进行打分,将携带打分结果的每个目标初始框确定为对应的所述候选框。
4.根据权利要求2所述的数据处理方法,其特征在于,所述通过所述预设选择性搜索算法中的预设相似度算法对每个初始分割区域集合进行迭代,得到对应的初始框,包括:
根据所述预设相似度算法确定每个初始分割区域集合中每相邻两个第一子区域框之间的第一相似度,并将所有第一相似度存储至对应的初始化相似度集合,以得到对应的相似度集合;
针对每个相似度集合,确定候选子区域框,并对所述候选子区域框进行合并处理,得到合并区域框,所述候选子区域框为最大的第一相似度对应的两个第一子区域框;
将所述合并区域框存储至候选区域集合,并删除所述相似度集合中所述候选子区域框参与确定的所有第一相似度,以通过所述合并区域框迭代所述第一子区域框;
根据所述预设相似度算法确定所述合并区域框与第二子区域框之间的第二相似度,并将所述第二相似度存储至所述相似度集合,所述第二子区域框为与所述候选子区域框相邻的第一子区域框;
重复上述步骤,直到所述相似度集合中的所述第一相似度的数量为零,确定所述候选区域集合中的合并区域框为所述初始框。
5.根据权利要求3所述的数据处理方法,其特征在于,在所述基于预设选择性搜索算法,根据所述待处理数据、预设尺寸阈值以及预设打分机制确定多个候选框之前,还包括:
获取实际物理场景中的多张训练图片,对每张训练图片中的采集对象进行标注,以得到对应的候选训练框;
对所有候选训练框进行统计排序处理,去除尺寸最大和最小的候选训练框,以得到目标训练框集合,所述目标训练框集合中包括预设尺寸顺序排列分布的目标训练框;
根据所述目标训练框集合确定第一平均值,并将所述第一平均值确定为所述最大尺寸阈值,所述第一平均值为所述目标训练框集合中预设数量个最大尺寸的目标训练框的平均值;
根据所述目标训练框集合确定第二平均值,并将所述第二平均值确定为所述最小尺寸阈值,所述第二平均值为所述目标训练框集合中所述预设数量个最小尺寸的目标训练框的平均值。
6.根据权利要求3所述的数据处理方法,其特征在于,所述根据所述候选框确定目标检测框,包括:
根据所述候选框以及预设深度学习算法确定每个候选框对应的特征数据;
根据预设分类器以及所述特征数据对所述候选框进行分类处理,以得到目标候选框;
将所述打分结果在预设数量范围内的所述目标候选框确定为所述目标检测框。
7.根据权利要求1-6任一项所述的数据处理方法,其特征在于,所述获取待处理数据,包括:
运行预设AR程序,并基于所述预设AR程序获取摆放平面,以在所述摆放平面上设置所述初始AR对象;
通过摄像头在采集范围内获取所述待处理数据,所述采集范围覆盖以所述初始AR对象为中心、预设距离为半径的圆所在的面积,所述摄像头设置于所述第一终端设备。
8.一种数据处理装置,其特征在于,包括:
获取模块,用于获取待处理数据,所述待处理数据用于表征初始AR对象的环境特征,所述初始AR对象为所述第一终端创建的所述AR场景中的AR对象;
第一处理模块,用于基于预设选择性搜索算法,根据所述待处理数据、预设尺寸阈值以及预设打分机制确定多个候选框,所述多个候选框中至少包括目标对象的候选框;
第二处理模块,用于根据所述候选框确定目标检测框,所述目标检测框用于实现所述第一终端设备与第二终端设备的AR交互。
9.一种电子设备,其特征在于,包括:
摄像头;
处理器;以及
与所述处理器通信连接的存储器;其中,
所述存储器存储有可被所述处理器执行的指令,所述指令被所述处理器执行,以使所述处理器能够执行权利要求1-7中任一项所述的数据处理方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011304001.7A CN112306243A (zh) | 2020-11-19 | 2020-11-19 | 数据处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011304001.7A CN112306243A (zh) | 2020-11-19 | 2020-11-19 | 数据处理方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112306243A true CN112306243A (zh) | 2021-02-02 |
Family
ID=74335037
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011304001.7A Pending CN112306243A (zh) | 2020-11-19 | 2020-11-19 | 数据处理方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112306243A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114034882A (zh) * | 2021-10-28 | 2022-02-11 | 广州大学 | 一种洋流智能检测方法、装置、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106446890A (zh) * | 2016-10-28 | 2017-02-22 | 中国人民解放军信息工程大学 | 一种基于窗口打分和超像素分割的候选区域提取方法 |
CN110473293A (zh) * | 2019-07-30 | 2019-11-19 | Oppo广东移动通信有限公司 | 虚拟对象处理方法及装置、存储介质和电子设备 |
CN111242940A (zh) * | 2020-01-19 | 2020-06-05 | 复旦大学 | 一种基于弱监督学习的舌体图像分割方法 |
CN111444973A (zh) * | 2020-03-31 | 2020-07-24 | 西安交通大学 | 一种无人零售购物台商品检测方法 |
-
2020
- 2020-11-19 CN CN202011304001.7A patent/CN112306243A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106446890A (zh) * | 2016-10-28 | 2017-02-22 | 中国人民解放军信息工程大学 | 一种基于窗口打分和超像素分割的候选区域提取方法 |
CN110473293A (zh) * | 2019-07-30 | 2019-11-19 | Oppo广东移动通信有限公司 | 虚拟对象处理方法及装置、存储介质和电子设备 |
CN111242940A (zh) * | 2020-01-19 | 2020-06-05 | 复旦大学 | 一种基于弱监督学习的舌体图像分割方法 |
CN111444973A (zh) * | 2020-03-31 | 2020-07-24 | 西安交通大学 | 一种无人零售购物台商品检测方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114034882A (zh) * | 2021-10-28 | 2022-02-11 | 广州大学 | 一种洋流智能检测方法、装置、设备及存储介质 |
CN114034882B (zh) * | 2021-10-28 | 2023-09-26 | 广州大学 | 一种洋流智能检测方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10936911B2 (en) | Logo detection | |
CN112434721A (zh) | 一种基于小样本学习的图像分类方法、系统、存储介质及终端 | |
JP6779641B2 (ja) | 画像分類装置、画像分類システム及び画像分類方法 | |
CN112215171B (zh) | 目标检测方法、装置、设备及计算机可读存储介质 | |
CN111368943A (zh) | 图像中对象的识别方法和装置、存储介质及电子装置 | |
US20230053911A1 (en) | Detecting an object in an image using multiband and multidirectional filtering | |
CN110807379A (zh) | 一种语义识别方法、装置、以及计算机存储介质 | |
CN104021395B (zh) | 一种基于高阶偏最小二乘法的目标跟踪算法 | |
CN113822134A (zh) | 一种基于视频的实例跟踪方法、装置、设备及存储介质 | |
CN111626212B (zh) | 图片中对象的识别方法和装置、存储介质及电子装置 | |
CN113570615A (zh) | 一种基于深度学习的图像处理方法、电子设备及存储介质 | |
CN112306243A (zh) | 数据处理方法、装置、设备及存储介质 | |
CN111405314B (zh) | 一种信息处理方法、装置、设备及存储介质 | |
CN112329550A (zh) | 基于弱监督学习的受灾建筑快速定位评估方法及装置 | |
CN116958729A (zh) | 对象分类模型的训练、对象分类方法、装置及存储介质 | |
CN111611917A (zh) | 模型训练方法、特征点检测方法、装置、设备及存储介质 | |
CN115018886B (zh) | 运动轨迹识别方法、装置、设备及介质 | |
Seychell et al. | Ranking regions of visual saliency in rgb-d content | |
CN112749711B (zh) | 视频获取方法和装置及存储介质 | |
CN115147469A (zh) | 配准方法、装置、设备及存储介质 | |
CN109325521B (zh) | 用于虚拟人物的检测方法及装置 | |
CN114677578A (zh) | 确定训练样本数据的方法和装置 | |
CN116580054A (zh) | 视频数据处理方法、装置、设备以及介质 | |
CN114647361A (zh) | 一种基于人工智能的触摸屏物体定位方法及装置 | |
CN113409470A (zh) | 基于ar的场景导览方法、ar眼镜、电子装置和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |