CN109887017A - 一种相似度计算方法及装置 - Google Patents

一种相似度计算方法及装置 Download PDF

Info

Publication number
CN109887017A
CN109887017A CN201910228951.7A CN201910228951A CN109887017A CN 109887017 A CN109887017 A CN 109887017A CN 201910228951 A CN201910228951 A CN 201910228951A CN 109887017 A CN109887017 A CN 109887017A
Authority
CN
China
Prior art keywords
angle
form angle
confidence level
coordinate
characteristic point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910228951.7A
Other languages
English (en)
Other versions
CN109887017B (zh
Inventor
刘思阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201910228951.7A priority Critical patent/CN109887017B/zh
Publication of CN109887017A publication Critical patent/CN109887017A/zh
Application granted granted Critical
Publication of CN109887017B publication Critical patent/CN109887017B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种相似度计算方法及装置,该方法包括:在第一形态图像的第一形态区域中确定第一形态角度,在第二形态图像的第二形态区域中确定第二形态角度,基于计算出的第一形态角度和第二形态角度,计算第一形态区域与第二形态区域之间的相似度。通过本技术方案,分别在第一形态图像中确定第一形态角度,在第二形态图像中确定第二形态角度,也就是说,第一形态角度和第二形态角度均可以反映出形态,而无论第一形态区域和第二形态区域在图像中的大小有多大差异,并不会导致第一形态角度和第二形态角度之间的差异,这样,利用第一形态角度和第二形态角度来计算相似度,避免了图像大小差异导致的相似度的计算误差。

Description

一种相似度计算方法及装置
技术领域
本发明涉及图像处理技术领域,特别是涉及一种相似度计算方法及装置。
背景技术
如今在娱乐游戏方面出现了大量的用户模仿的游戏,比如跳舞机、舞蹈打分、手舞打分等等,这些游戏中用户模仿游戏设备显示的动作,比如游戏设备播放一段舞蹈,用户模仿这段舞蹈的动作。另外,为了对用户模仿的相似度进行评价,游戏中还设定了打分模式,分数越高表示模仿的相似度越高。
目前,在进行相似度计算时,是获取用户的模仿图像,从模仿图像中确定关键点,比如肩膀、膝盖、手肘等关节处的点,并获取每一关键点的坐标,作为各关键点的模仿坐标。另外,从预设的标准图像中也确定出同样的关键点,并获取每一关键点的坐标,作为各关键点的标准坐标。将所计算出的模仿坐标和标准坐标作为输入,计算相似度的值。
然而,发明人在实现本发明的过程中发现,现有技术至少存在如下问题:由于拍摄者距离的远近不同或者焦距不同,导致标准图形中人像的大小也会不相同,一般来说,距离近则人像会较大,距离远人像会较小。标准图形和模仿图像中人像的大小不同,会导致关键点的坐标出现较大差异,各关键点之间的距离也会出现较大差异。比如,较大的人像中胯骨关键点到膝盖关键点之间的距离会较大,而较小的人像中胯骨关键点到膝盖关键点之间的距离会较小。图像大小的差异导致相似度计算中误差增加。
发明内容
本发明实施例的目的在于提供一种相似度计算方法及装置,以解决图像大小差异导致相似度的计算误差增加的问题。具体技术方案如下:
第一方面,本申请实施例提供了一种相似度计算方法,所述方法包括:
在第一形态图像的第一形态区域中确定第一形态角度,所述第一形态角度用于表征所述第一形态区域的形态;
在第二形态图像的第二形态区域中确定第二形态角度,所述第二形态角度用于表征所述第二形态区域的形态,其中,所述第一形态角度与所述第二形态角度是一一对应的,并且相对应的第一形态角度与第二形态角度所表征的形态的位置相同;
基于计算出的所述第一形态角度和所述第二形态角度,计算所述第一形态区域与所述第二形态区域之间的相似度。
可选地,所述在第一形态图像的第一形态区域中确定第一形态角度,包括:
在第一形态图像的第一形态区域中确定指定特征点;
从所确定的指定特征点中,将相邻三个指定特征点之间的连线所形成的角度确定为第一形态角度;
计算所确定出的第一形态角度;
所述在第二形态图像的第二形态区域中确定第二形态角度,包括:
在第二形态图像的第一形态区域中确定所述指定特征点;
从所确定的指定特征点中,将相邻三个指定特征点之间的连线所形成的角度确定为第二形态角度;
计算所确定出的第二形态角度。
可选地,所述计算所确定出的第一形态角度,包括:
确定所述指定特征点在所述第一形态图像中的坐标,作为第一坐标;
基于形成所述第一形态角度的相邻三个指定特征点的第一坐标,计算该相邻三个指定特征点中各指定特征点之间的距离;
基于余弦定理,利用计算出的距离得到所述第一形态角度;
所述计算所确定出的第二形态角度,包括:
确定所述指定特征点在所述第二形态图像中的坐标,作为第二坐标;
基于形成所述第二形态角度的相邻三个指定特征点的第二坐标,计算该相邻三个指定特征点中各指定特征点之间的距离;
基于余弦定理,利用计算出的距离得到所述第二形态角度。
可选地,所述方法还包括:
获取所述第一坐标对应的第一置信度,以及所述第二坐标对应的第二置信度,其中,每一个第一坐标对应一个第一置信度,每一个第二坐标对应一个第二置信度;
所述基于形成所述第一形态角度的相邻三个指定特征点的第一坐标,计算该相邻三个指定特征点中各指定特征点之间的距离,包括:
基于形成所述第一形态角度的相邻三个指定特征点的第一坐标和该第一坐标对应的第一置信度,计算该相邻三个指定特征点中各指定特征点之间的距离;
所述基于形成所述第二形态角度的相邻三个指定特征点的第二坐标,计算该相邻三个指定特征点中各指定特征点之间的距离,包括:
基于形成所述第二形态角度的相邻三个指定特征点的第二坐标和该第二坐标对应的第二置信度,计算该相邻三个指定特征点中各指定特征点之间的距离。
可选地,所述基于计算出的所述第一形态角度和所述第二形态角度,计算所述第一形态区域与所述第二形态区域之间的相似度,包括:
根据所述第一坐标对应的第一置信度,计算所述第一形态角度对应的第一置信度;根据所述第二坐标对应的第二置信度,计算所述第二形态角度对应的第二置信度;
将所述第一形态角度和所述第一形态角度对应的第一置信度、所述第二形态角度和所述第二形态角度对应的第二置信度,代入以下公式中,计算出所述第一形态区域与所述第二形态区域之间的相似度:
其中,S为所述相似度,n为所述第一形态角度的数量,为第i个第一形态角度,为第i个第二形态角度,为第i个第一形态角度对应的第一置信度,为第i个第二形态角度对应的第二置信度,i为正整数。
可选地,所述基于计算出的所述第一形态角度和所述第二形态角度,计算所述第一形态区域与所述第二形态区域之间的相似度,包括:
获取所述位置的权重值
将所获取的权重值、所述第一形态角度和所述第一形态角度对应的第一置信度、所述第二形态角度和所述第二形态角度对应的第二置信度,代入以下公式中,计算出所述第一形态区域与所述第二形态区域之间的相似度:
其中,S为所述相似度,βi为第i个第一形态角度对应的位置的权重值,n为所述第一形态角度的数量,为第i个第一形态角度,为第i个第二形态角度,为第i个第一形态角度对应的第一置信度,为第i个第二形态角度对应的第二置信度,i为正整数。
第二方面,本申请实施例提供了一种相似度计算装置,所述装置包括:
第一确定模块,用于在第一形态图像的第一形态区域中确定第一形态角度,所述第一形态角度用于表征所述第一形态区域的形态;
第二确定模块,用于在第二形态图像的第二形态区域中确定第二形态角度,所述第二形态角度用于表征所述第二形态区域的形态,其中,所述第一形态角度与所述第二形态角度是一一对应的,并且相对应的第一形态角度与第二形态角度所表征的形态的位置相同;
计算模块,用于基于计算出的所述第一形态角度和所述第二形态角度,计算所述第一形态区域与所述第二形态区域之间的相似度。
可选地,所述第一确定模块包括:
第一确定子模块,用于在第一形态图像的第一形态区域中确定指定特征点;
第二确定子模块,用于从所确定的指定特征点中,将相邻三个指定特征点之间的连线所形成的角度确定为第一形态角度;
第一计算子模块,用于计算所确定出的第一形态角度;
所述第二确定模块包括:
第三确定子模块,用于在第二形态图像的第一形态区域中确定所述指定特征点;
第四确定子模块,用于从所确定的指定特征点中,将相邻三个指定特征点之间的连线所形成的角度确定为第二形态角度;
第二计算子模块,用于计算所确定出的第二形态角度。
可选地,所述第一计算子模块具体用于:
确定所述指定特征点在所述第一形态图像中的坐标,作为第一坐标;
基于形成所述第一形态角度的相邻三个指定特征点的第一坐标,计算该相邻三个指定特征点中各指定特征点之间的距离;
基于余弦定理,利用计算出的距离得到所述第一形态角度;
所述第二计算子模块具体用于:
确定所述指定特征点在所述第二形态图像中的坐标,作为第二坐标;
基于形成所述第二形态角度的相邻三个指定特征点的第二坐标,计算该相邻三个指定特征点中各指定特征点之间的距离;
基于余弦定理,利用计算出的距离得到所述第二形态角度。
可选地,所述装置还包括:
获取模块,用于获取所述第一坐标对应的第一置信度,以及所述第二坐标对应的第二置信度,其中,每一个第一坐标对应一个第一置信度,每一个第二坐标对应一个第二置信度;
所述第一计算子模块具体用于:
基于形成所述第一形态角度的相邻三个指定特征点的第一坐标和该第一坐标对应的第一置信度,计算该相邻三个指定特征点中各指定特征点之间的距离;
所述第二计算子模块具体用于:
基于形成所述第二形态角度的相邻三个指定特征点的第二坐标和该第二坐标对应的第二置信度,计算该相邻三个指定特征点中各指定特征点之间的距离。
可选地,所述计算模块具体用于:
根据所述第一坐标对应的第一置信度,计算所述第一形态角度对应的第一置信度;根据所述第二坐标对应的第二置信度,计算所述第二形态角度对应的第二置信度;
将所述第一形态角度和所述第一形态角度对应的第一置信度、所述第二形态角度和所述第二形态角度对应的第二置信度,代入以下公式中,计算出所述第一形态区域与所述第二形态区域之间的相似度:
其中,S为所述相似度,n为所述第一形态角度的数量,为第i个第一形态角度,为第i个第二形态角度,为第i个第一形态角度对应的第一置信度,为第i个第二形态角度对应的第二置信度,i为正整数。
可选地,所述计算模块具体用于:
获取所述位置的权重值
将所获取的权重值、所述第一形态角度和所述第一形态角度对应的第一置信度、所述第二形态角度和所述第二形态角度对应的第二置信度,代入以下公式中,计算出所述第一形态区域与所述第二形态区域之间的相似度:
其中,S为所述相似度,βi为第i个第一形态角度对应的位置的权重值,n为所述第一形态角度的数量,为第i个第一形态角度,为第i个第二形态角度,为第i个第一形态角度对应的第一置信度,为第i个第二形态角度对应的第二置信度,i为正整数。
在本发明实施的又一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述任一所述的相似度计算方法。
在本发明实施的又一方面,本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述的相似度计算方法。
本发明实施例提供的技术方案中,在第一形态图像的第一形态区域中确定第一形态角度,在第二形态图像的第二形态区域中确定第二形态角度,基于计算出的第一形态角度和第二形态角度,计算第一形态区域与第二形态区域之间的相似度。通过本申请实施例提供的技术方案中,分别在第一形态图像中确定表征第一形态区域的形态的第一形态角度,在第二形态图像中确定表征第二形态区域的形态的第二形态角度,也就是说,第一形态角度和第二形态角度均可以反映出形态,而无论第一形态区域和第二形态区域在图像中的大小有多大差异,并不会导致第一形态角度和第二形态角度之间的差异,这样,利用第一形态角度和第二形态角度来计算相似度,避免了图像大小差异导致的相似度的计算误差。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的相似度计算的一种流程图;
图2(a)为本申请实施例提供的一种第一形态图像;
图2(b)为本申请实施例提供的一种第二形态图像;
图3为本申请实施例提供的基于指定特征点的形态角度示意图;
图4为本申请实施例提供的相似度计算装置的一种结构示意图;
图5为本申请实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行描述。
为了解决图像大小差异导致相似度的计算误差增加的问题,本申请实施例提供了一种相似度计算方法及装置,其中,该相似度计算方法包括:
在第一形态图像的第一形态区域中确定第一形态角度,第一形态角度用于表征第一形态区域的形态;
在第二形态图像的第二形态区域中确定第二形态角度,第二形态角度用于表征第二形态区域的形态,其中,所述第一形态角度与所述第二形态角度是一一对应的,并且相对应的第一形态角度与第二形态角度所表征的形态的位置相同;
基于计算出的第一形态角度和第二形态角度,计算第一形态区域与第二形态区域之间的相似度。
通过本申请实施例提供的技术方案中,分别在第一形态图像中确定表征第一形态区域的形态的第一形态角度,在第二形态图像中确定表征第二形态区域的形态的第二形态角度,也就是说,第一形态角度和第二形态角度均可以反映出形态,而无论第一形态区域和第二形态区域在图像中的大小有多大差异,并不会导致第一形态角度和第二形态角度之间的差异,这样,利用第一形态角度和第二形态角度来计算相似度,避免了图像大小差异导致的相似度的计算误差。
下面首先对本申请实施例提供的相似度计算方法进行介绍。如图1所示,本申请实施例提供的一种相似度计算方法包括如下步骤。
S101,在第一形态图像的第一形态区域中确定第一形态角度。
其中,本申请实施例中提供的相似度计算方法是计算针对第一形态图像和第二形态图像的相似度。一种场景中,第一形态图像和第二形态图像可以是针对同一对象的两张图像,比如,两个摄像机从不同角度对同一个人进行拍摄,其中一个摄像机得到第一形态图像,另一个摄像机得到第二形态图像,此时可以对第一形态图像和第二形态图像的相似度进行计算。
另一种场景中,第一形态图像是作为标准图像,该标准图像即为参考图像,该第一形态图像可以是预设的。第二形态图像作为模仿图像。比如,根据图像或者视频中所展示的标准动作,用户模仿做出相同的模仿动作,此时,第一形态图像所显示的动作即为标准动作,第二形态图像所显示的动作即为模仿动作。
在上述场景中,对于标准图像来说,可以有对应多张模仿图像,即第二形态图像均以同一张第一形态图像作为参考标准。另外,对于不同的第二形态图像,在计算相似度时所采用的第一形态图像可以是不同的。例如,第二形态图像是关于人站立的形态,则所采用的第一形态图像也是关于人站立的形态。第二形态图像是关于坐姿的形态,则所采用的第一形态图像也是关于坐姿的形态。
第一形态图像的第一形态区域为用作相似度对比的形态的区域,例如,图2(a)为第一形态图像,该第一形态图像中人呈现双手张开、单腿站立的形态,则该人在第一形态图像中的区域为第一形态区域。
其中,第一形态角度用于表征第一形态区域的形态,形态可以是指动作形态、姿态、物体形状、轮廓等。例如手肘位置角度所表征的形态即为手肘的弯曲或伸直形态。
例如,图2(a)所示的第一形态图像中确定第一形态角度为膝盖位置角度,此时图2(a)中的人是站立的,膝盖位置角度为180度,180度的膝盖位置角度即表示人是直立的形态。又例如,第一形态图像中的人手肘是90度弯曲的,则当第一形态角度为手肘位置角度时,该手势位置角度为90度,90度的手肘位置角度即可以表示人的手肘是90度弯曲的形态。
其中,在第一形态区域中可以确定一个或多个第一形态角度,第一形态角度的数量可以是自定义的,在此不做限定。当第一形态角度只有一个时,则第一形态区域与第二形态区域之间的相似度仅参考该一个第一形态角度;当第一形态角度有多个时,则第一形态区域与第二形态区域之间的相似度参考该多个第一形态角度。
一种实施方式中,可以根据第一形态区域的轮廓线确定第一形态角度,以图2(a)为例,对于图2(a)中的膝盖位置角度,可以识别第一形态区域的轮廓线,并确定出膝盖位置的轮廓,当所确定出的膝盖位置的轮廓趋近于直线时,则可以认为膝盖位置角度为180度。
S102,在第二形态图像的第二形态区域中确定第二形态角度。
其中,第二形态图像的第二形态区域中所呈现的形态,即为相似度计算所针对的对象。以图2(b)为例,图2(b)所示为第二形态图像,该第二形态图像中人的形态即为所需计算相似度的对象。当图2(a)为第一形态图像时,即比较图2(b)中人的形态与2(a)中人的形态的相似度。
第二形态角度可以用于表征第二形态区域的形态,其中,在第二形态图像中确定出的第二形态角度与在第一形态图像中确定出的第一形态角度是一一对应的,也就是说,第一形态角度与所述第二形态角度是一一对应的,并且相对应的第一形态角度与第二形态角度所表征的形态的位置相同。具体地,每一个第二形态角度在第二形态区域中的位置与对应的第一形态角度在第一形态区域中的位置相同。
第二形态角度的数量与第一形态角度的数量是相同,并且,第二形态角度与第一形态角度是一一对应的,每一个第二形态角度均对应有一个第一形态角度。例如,在第一形态区域中确定出的第一形态角度包括左肩膀位置角度、右肩膀位置角度、左胯骨位置角度和右胯骨位置角度,则在第二形态区域中确定出的第二形态角度也包括左肩膀位置角度、右肩膀位置角度、左胯骨位置角度和右胯骨位置角度。其中,位置相同的第一形态角度和第二形态角度是相对应的,比如,第二形态区域中的左肩膀位置角度与第一形态区域中的左肩膀位置角度是对应的。
一种实施方式中,可以根据第二形态区域的轮廓线确定第二形态角度,以图2(b)所示的第二形态图像为例,对于图2(b)中的右手肘位置角度,可以识别该第二形态区域的轮廓线,并确定出右手肘位置的轮廓,当所确定出的右手肘位置的轮廓的角度趋近于60度时,则可以认为右手肘位置角度为60度。
其中,上述步骤S101和步骤S102不限定执行顺序,既可以先执行S101再执行S102,还可以先执行S102再执行S101,还可以同时执行S101和S102,在此不作限定。
S103,基于计算出的第一形态角度和第二形态角度,计算第一形态区域与第二形态区域之间的相似度。
将每一个第二形态角度与该第二形态角度对应的第一形态角度进行比对,再综合各第二形态角度的比对结果,进而可以确定出第一形态区域与第二形态区域之间的相似度。
一种实施方式中,可以将第一形态角度和第一形态角度对应的第一置信度、第二形态角度和第二形态角度对应的第二置信度,代入以下公式中,计算出第一形态区域与第二形态区域之间的相似度:
其中,S为相似度,n为第一形态角度的数量,为第i个第一形态角度,为第i个第二形态角度,i为正整数。
一种实施方式中,上述在第一形态图像的第一形态区域中确定第一形态角度的步骤(S101),可以包括如下步骤。
在第一形态图像的第一形态区域中确定指定特征点,其中,在第一形态图像中确定指定特征点的一种实施方式中,可以通过预设的训练好的深度学习网络确定指定特征点,其中,深度学习网络可以是CPM(Convolutional Pose Machines,卷积姿态网络),CPN(Cascaded Pyramid Network,级联金字塔网络)等。
第一形态区域中呈现的形态不同,所确定的指定特征点可以不同。例如,如图2(a)所示,针对图2(a)所示的第一形态区域中,可以将右肩膀特征点、左肩膀特征点、右手肘特征点、左手肘特征点、右手腕特征点、左手腕特征点、右胯骨特征点、左胯骨特征点、右膝盖特征点、左膝盖特征点、右脚踝特征点、左脚踝特征点确定为指定特征点,这12个指定特征点之间的连线可以表征出第一形态区域中双手张开、单腿站立的形态。
又例如,第一形态区域中呈现五指张开的形态时,可以将大拇指指尖特征点、大拇指关节特征点、食指指尖特征点、食指关节特征点、中指指尖特征点、中指关节特征点、无名指指尖特征点、无名指关节特征点、小拇指指尖特征点、小拇指关节特征点确定为指定特征点。
在第一形态图像的第一形态区域中确定指定特征点后,可以从所确定的指定特征点中,将相邻三个指定特征点之间的连线所形成的角度确定为第一形态角度,计算所确定出的第一形态角度。
以图3为例,图3所示为第一形态区域为人时在第一形态区域中确定的指定特征点,包括:左肩膀特征点p0、右肩膀特征点p1、左手肘特征点p2、右手肘特征点p3、左手腕特征点p4、右手腕特征点p5、左胯骨特征点p6、右胯骨特征点p7、左膝盖特征点p8、右膝盖特征p9、左脚踝特征点p10、右脚踝特征点p11
从上述12各指定特征点中可以确定出第一形态角度,以第一形态角度为右肩膀位置角度为例,右肩膀位置角度是以相邻的p0、p1和p3三个指定特征点形成的,具体地,p0和p1之间的连线d01与p1和p3之间的连线d13所形成的角度为A013,该A013即为右肩膀位置角度。
计算所确定出的第一形态角度的一种实施方式中,可以确定指定特征点在第一形态图像中的坐标,作为第一坐标,基于形成第一形态角度的相邻三个指定特征点的第一坐标,计算该相邻三个指定特征点中各指定特征点之间的距离,基于余弦定理,利用计算出的距离得到第一形态角度。
在确定出每一指定特征点的第一坐标后,可以根据以下公式计算出任意两个指定特征点之间的距离:
其中,dmn为指定特征点pm和指定特征点pn之间的距离,指定特征点pm的第一坐标为(xm,ym),指定特征点pn的第一坐标为(xn,yn)。其中,m和n为整数。
以图3为例,p0和p1之间的连线d01可以通过以下公式可以得到:
其中,指定特征点p0的第一坐标为(x0,y0),指定特征点p1的第一坐标为(x1,y1)。
p1和p3之间的连线d13可以通过以下公式可以得到:
其中,指定特征点p1的第一坐标为(x1,y1),指定特征点p3的第一坐标为(x3,y3)。
在计算出三个指定特征点中各指定特征点之间的距离之后,可以基于余弦定理计算第一形态角度。也就是说,三个指定特征点可以形成一个三角形,在已知三角形的三条边的长度,即可以计算出该三角形中每一个角度。
以图3为例,右肩膀位置角度为A013,相邻的p0、p1和p3三个指定特征点之间的距离分别为:d01、d03和d13,其中,A013由d01和d13形成。则通过以下公式可以计算出右肩膀位置角度A013
一种实施方式中,上述在第二形态图像的第二形态区域中确定第二形态角度的步骤(S102),可以包括如下步骤。
在第二形态图像的第一形态区域中确定指定特征点,从所确定的指定特征点中,将相邻三个指定特征点之间的连线所形成的角度确定为第二形态角度,计算所确定出的第二形态角度。
其中,第二形态图像中的指定特征点用于表征第二形态区域的形态。在第二形态图像中确定的指定特征点与在第一形态图像中确定的指定特征点相同,例如,图2(a)为第一形态图像,图2(b)为第二形态图像,若第一形态图像中所确定的指定特征点包括右肩膀特征点、左肩膀特征点、右手肘特征点、左手肘特征点、右手腕特征点、左手腕特征点、右胯骨特征点、左胯骨特征点、右膝盖特征点、左膝盖特征点、右脚踝特征点、左脚踝特征点,则第二形态图像中所确定的指定特征点也包括右肩膀特征点、左肩膀特征点、右手肘特征点、左手肘特征点、右手腕特征点、左手腕特征点、右胯骨特征点、左胯骨特征点、右膝盖特征点、左膝盖特征点、右脚踝特征点、左脚踝特征点。
其中,在第二形态图像中确定指定特征点的一种实施方式中,可以通过预设的训练好的深度学习网络确定指定特征点,其中,深度学习网络可以是CPM网络,CPN网络等。
在第二形态图像的第二形态区域中确定指定特征点后,可以从所确定的指定特征点中,将相邻三个指定特征点之间的连线所形成的角度确定为第二形态角度,计算所确定出的第二形态角度。
计算所确定出的第二形态角度的一种实施方式中,确定指定特征点在第二形态图像中的坐标,作为第二坐标,基于形成第二形态角度的相邻三个指定特征点的第二坐标,计算该相邻三个指定特征点中各指定特征点之间的距离,基于余弦定理,利用计算出的距离得到第二形态角度。
其中,在从第二形态图像中确定出指定特征点之后,可以获取每一指定特征点的第二坐标,所获取的第二坐标均是基于第二形态图像的坐标。其中,第一形态图像和模拟形态图像是基于同一坐标系,因此,所获取的第一坐标和第二坐标也是基于同一坐标系中的坐标。
在确定出第二形态图像中每一指定特征点的第二坐标后,可以根据以下公式计算出任意两个指定特征点之间的距离:
其中,duv为第二形态图像中指定特征点pu和指定特征点pv之间的距离,指定特征点pu的第二坐标为(xu,yu),指定特征点pv的第二坐标为(xv,yv)。其中,u和v为整数。
在计算出三个指定特征点中各指定特征点之间的距离之后,可以基于余弦定理计算第一形态角度。也就是说,三个指定特征点可以形成一个三角形,在已知三角形的三条边的长度,即可以计算出该三角形中每一个角度。
在第二形态图像中计算角度的方式与上述第一形态图像中计算角度的方式相同,在此不再赘述。
一种实施方式中,可以获取第一坐标对应的第一置信度,以及第二坐标对应的第二置信度。
其中,第一坐标与第一置信度是一一对应的关系,也就是说,每一个第一坐标对应有一个第一置信度,相应地,第一形态图像中的每一个指定特征点对应有一个第一置信度,每一个指定特征点对应的第一置信度用于表示该指定特征点在第一形态图像中的准确度。
第一置信度的取值范围在0至1之间,第一置信度越大表示准确度越高。若指定特征点的第一置信度为0,表示在第一形态图像中所确定出的该指定特征点有误。若指定特征点的第一置信度为1,表示在第一形态图像中所确定出的该指定特征点准确。
一种实现方式中,利用CPN网络确定第一形态图像中的指定特征点,将第一形态图像输入至CPN网络,CPN网络输出所确定出的指定特征点,并输出每一指定特征点的第一坐标以及第一置信度。
其中,第二坐标与第二置信度是一一对应的关系,也就是说,每一个第二坐标对应有一个第二置信度,相应地,第二形态图像中的每一个指定特征点对应有一个第二置信度,每一个指定特征点对应的第二置信度用于表示该指定特征点在第二形态图像中的准确度。
第二置信度的取值范围在0至1之间,第二置信度越大表示准确度越高。若指定特征点的第二置信度为0,表示在第一形态图像中所确定出的该指定特征点有误。若指定特征点的第二置信度为1,表示在第一形态图像中所确定出的该指定特征点准确。
一种实现方式中,利用CPN网络确定第二形态图像中的指定特征点,将第二形态图像输入至CPN网络,CPN网络输出所确定出的指定特征点,并输出每一指定特征点的第二坐标以及第二置信度。
其中,获取第一置信度的步骤和获取第二置信度的步骤不限定执行顺序,可以先获取第一置信度,再获取第二置信度;还可以先获取第二置信度,再获取第一置信度;还可以同时执行获取第一置信度的步骤和获取第二置信度的步骤。
在获取到第一置信度和第二置信度之后,对于第一形态角度来说,可以基于形成第一形态角度的相邻三个指定特征点的第一坐标和该第一坐标对应的第一置信度,计算该相邻三个指定特征点中各指定特征点之间的距离。
具体地,将第一坐标和第一坐标对应的第一置信度代入以下公式中,可以计算出相邻三个指定特征点中各指定特征点之间的距离:
其中,dmn为指定特征点pm和指定特征点pn之间的距离,指定特征点pm的第一坐标为(xm,ym),指定特征点pn的第一坐标为(xn,yn),cm为指定特征点pm的第一置信度,cn为指定特征点pn的第一置信度。其中,m和n为整数。
以图3为例,p0和p1之间的连线d01可以通过以下公式可以得到:
其中,指定特征点p0的第一坐标为(x0,y0),指定特征点p1的第一坐标为(x1,y1)。c0为指定特征点p0的第一置信度,c1为指定特征点p1的第一置信度。
在根据第一置信度计算两指定特征点之间的距离的基础上,一种实施方式中,在计算各指定特征点之间的距离时,加上调整因子,该调整因子的值可以是自定义设定的,一般来说,可以将调整因子设置为0.0001。
增加了调整因子的计算公式如下所示:
其中,dmn为指定特征点pm和指定特征点pn之间的距离,指定特征点pm的第一坐标为(xm,ym),指定特征点pn的第一坐标为(xn,yn),cm为指定特征点pm的第一置信度,cn为指定特征点pn的第一置信度,α为调整因子。其中,m和n为整数。
对于第二形态角度来说,可以基于形成第二形态角度的相邻三个指定特征点的第二坐标和该第二坐标对应的第二置信度,计算该相邻三个指定特征点中各指定特征点之间的距离。
具体地,将第二坐标和第二坐标对应的第二置信度代入以下公式中,可以计算出相邻三个指定特征点中各指定特征点之间的距离:
其中,duv为指定特征点pu和指定特征点pv之间的距离,指定特征点pu的第二坐标为(xu,yu),指定特征点pv的第二坐标为(xv,yv),cu为指定特征点pu的第二置信度,cv为指定特征点pv的第二置信度,u和v为整数。
在根据第二置信度计算两指定特征点之间的距离的基础上,一种实施方式中,在计算各指定特征点之间的距离时,加上调整因子,该调整因子的值可以是自定义设定的,一般来说,可以将调整因子设置为0.0001。
增加了调整因子的计算公式如下所示:
其中,duv为指定特征点pu和指定特征点pv之间的距离,指定特征点pu的第二坐标为(xu,yu),指定特征点pv的第二坐标为(xv,yv),cu为指定特征点pu的第二置信度,cv为指定特征点pv的第二置信度,α为调整因子,u和v为整数。
一种实施方式中,基于计算出的第一形态角度和第二形态角度,计算第一形态区域与第二形态区域之间的相似度的步骤(S103),可以包括如下步骤。
根据第一坐标对应的第一置信度,计算第一形态角度对应的第一置信度。
每一第一形态角度由三个指定特征点形成,每一指定特征点对应有一个第一置信度,则将三个指定特征点对应的三个第一置信度相乘,所得到的乘积即为第一形态角度对应的第一置信度。
以右肩膀位置角度A013为例,A013由p0、p1和p3三个指定特征点形成,其中,指定特征点p0对应的第一置信度为c0,指定特征点p1对应的第一置信度为c1,指定特征点p3对应的第一置信度为c3,则根据以下公式可以得到右肩膀位置角度A013对应的第一置信度c013
根据第二坐标对应的第二置信度,计算第二形态角度对应的第二置信度。
每一第二形态角度由三个指定特征点形成,每一指定特征点对应有一个第二置信度,则将三个指定特征点对应的三个第二置信度相乘,所得到的乘积即为第二形态角度对应的第二置信度。
在计算出第一形态角度对应的第一置信度和第二形态角度对应的第二置信度之后,可以将第一形态角度和第一形态角度对应的第一置信度、第二形态角度和第二形态角度对应的第二置信度,代入以下公式中,计算出第一形态区域与第二形态区域之间的相似度:
其中,S为相似度,n为第一形态角度的数量,为第i个第一形态角度,为第i个第二形态角度,为第i个第一形态角度对应的第一置信度,为第i个第二形态角度对应的第二置信度,i为正整数。
在上述实施方式的基础上,一种实施方式中,在第一形态图像中,每一第一形态角度位于一个位置,在第二形态图像中,每一第二形态角度位于一个位置,并且,每一第二形态角度与对应的第一形态角度的位置相同。
例如,图2(a)所示的第一形态图像中,第一形态角度为右膝盖位置角度在第一形态图像中的右膝盖位置处,图2(b)所示的第二形态图像中,第二形态角度为右膝盖位置角度在第二形态图像中的右膝盖位置处。则可以认为,第二形态图像中右膝盖位置角度所处的位置与第一形态图像中右膝盖位置角度所处的位置相同。
在第一形态图像中和第二形态图像中的指定特征点的位置可以设置权重值,每一位置对应的权重值用于表示该位置的重要程度,权重值越大,表示该位置越重要。比如,在跳舞过程中,主要是手臂上的动作,则手肘位置和手腕位置的权重值可以设置的较大。
各位置的权重值可以是预先设定的,且每一位置的权重值可以是自定义设定的。
在设置有权重值的情况下,可以获取第一形态角度在第一形态区域中的位置的权重值,其中,对于第一形态角度对应的第二形态角度,该第二形态角度在第二形态区域中的位置的权重值与第一形态角度的权重值相同。
以图2(a)和图2(b)为例,图2(a)中第一形态角度为左手肘位置角度,图2(b)中第二形态角度为左手肘位置角度时,该第一形态角度对应的权重值与该第二形态角度对应的权重值相同。
在获取各位置的权重值之后,可以将所获取的权重值、第一形态角度和第一形态角度对应的第一置信度、第二形态角度和第二形态角度对应的第二置信度,代入以下公式中,计算出第一形态区域与第二形态区域之间的相似度:
其中,S为相似度,βi为第i个第一形态角度对应的位置的权重值,n为第一形态角度的数量,为第i个第一形态角度,为第i个第二形态角度,为第i个第一形态角度对应的第一置信度,为第i个第二形态角度对应的第二置信度,i为正整数。
以图3为例,第一形态角度包括左肩膀位置角度右肩膀位置角度左手肘位置角度右手肘位置角度左胯骨位置角度右胯骨位置角度左膝盖位置角度右膝盖位置角度其中,对应的第一置信度为对应的第一置信度为对应的第一置信度为对应的第一置信度为对应的第一置信度为对应的第一置信度为对应的第一置信度为对应的第一置信度为
相应地,第二形态角度也包括左肩膀位置角度右肩膀位置角度左手肘位置角度右手肘位置角度左胯骨位置角度右胯骨位置角度左膝盖位置角度右膝盖位置角度其中,对应的第二置信度为对应的第二置信度为对应的第二置信度为对应的第二置信度为对应的第二置信度为对应的第二置信度为对应的第二置信度为对应的第二置信度为
则依据以下公式,可以计算出第一形态区域与第二形态区域之间的相似度:
其中,β102为左肩膀位置角度对应的权重值,β013为左肩膀位置角度对应的权重值,β024为左肩膀位置角度对应的权重值,β135为左肩膀位置角度对应的权重值,β068为左肩膀位置角度对应的权重值,β135为左肩膀位置角度对应的权重值,β6810为左肩膀位置角度对应的权重值,β7911为左肩膀位置角度对应的权重值。
其中,β102和β013可以相等,β024和β135可以相等,β068和β135可以相等,β6810和β7911可以相等。
本发明实施例提供的技术方案中,在第一形态图像的第一形态区域中确定第一形态角度,在第二形态图像的第二形态区域中确定第二形态角度,基于计算出的第一形态角度和第二形态角度,计算第一形态区域与第二形态区域之间的相似度。通过本申请实施例提供的技术方案中,分别在第一形态图像中确定表征第一形态区域的形态的第一形态角度,在第二形态图像中确定表征第二形态区域的形态的第二形态角度,也就是说,第一形态角度和第二形态角度均可以反映出形态,而无论第一形态区域和第二形态区域在图像中的大小有多大差异,并不会导致第一形态角度和第二形态角度之间的差异,这样,利用第一形态角度和第二形态角度来计算相似度,避免了图像大小差异导致的相似度的计算误差。
相应于上述相似度计算方法实施例,本申请实施例还提供一种相似度计算装置,如图4所示,该相似度计算装置包括第一确定模块410、第二确定模块420和计算模块430。
第一确定模块410,用于在第一形态图像的第一形态区域中确定第一形态角度,第一形态角度用于表征第一形态区域的形态;
第二确定模块420,用于在第二形态图像的第二形态区域中确定第二形态角度,第二形态角度用于表征第二形态区域的形态,其中,所述第一形态角度与所述第二形态角度是一一对应的,并且相对应的第一形态角度与第二形态角度所表征的形态的位置相同;
计算模块430,用于基于计算出的第一形态角度和第二形态角度,计算第一形态区域与第二形态区域之间的相似度。
一种实施方式中,第一确定模块410可以包括:
第一确定子模块,用于在第一形态图像的第一形态区域中确定指定特征点;
第二确定子模块,用于从所确定的指定特征点中,将相邻三个指定特征点之间的连线所形成的角度确定为第一形态角度;
第一计算子模块,用于计算所确定出的第一形态角度;
第二确定模块420可以包括:
第三确定子模块,用于在第二形态图像的第一形态区域中确定指定特征点;
第四确定子模块,用于从所确定的指定特征点中,将相邻三个指定特征点之间的连线所形成的角度确定为第二形态角度;
第二计算子模块,用于计算所确定出的第二形态角度。
一种实施方式中,第一计算子模块具体用于:
确定指定特征点在第一形态图像中的坐标,作为第一坐标;
基于形成第一形态角度的相邻三个指定特征点的第一坐标,计算该相邻三个指定特征点中各指定特征点之间的距离;
基于余弦定理,利用计算出的距离得到第一形态角度;
第二计算子模块具体用于:
确定指定特征点在第二形态图像中的坐标,作为第二坐标;
基于形成第二形态角度的相邻三个指定特征点的第二坐标,计算该相邻三个指定特征点中各指定特征点之间的距离;
基于余弦定理,利用计算出的距离得到第二形态角度。
一种实施方式中,该相似度计算装置还可以包括:
获取模块,用于获取第一坐标对应的第一置信度,以及第二坐标对应的第二置信度,其中,每一个第一坐标对应一个第一置信度,每一个第二坐标对应一个第二置信度;
第一计算子模块具体用于:
基于形成第一形态角度的相邻三个指定特征点的第一坐标和该第一坐标对应的第一置信度,计算该相邻三个指定特征点中各指定特征点之间的距离;
第二计算子模块具体用于:
基于形成第二形态角度的相邻三个指定特征点的第二坐标和该第二坐标对应的第二置信度,计算该相邻三个指定特征点中各指定特征点之间的距离。
一种实施方式中,计算模块430具体用于:
根据第一坐标对应的第一置信度,计算第一形态角度对应的第一置信度;根据第二坐标对应的第二置信度,计算第二形态角度对应的第二置信度;
将第一形态角度和第一形态角度对应的第一置信度、第二形态角度和第二形态角度对应的第二置信度,代入以下公式中,计算出第一形态区域与第二形态区域之间的相似度:
其中,S为相似度,n为第一形态角度的数量,为第i个第一形态角度,为第i个第二形态角度,为第i个第一形态角度对应的第一置信度,为第i个第二形态角度对应的第二置信度,i为正整数。
一种实施方式中,计算模块430具体用于:
获取位置的权重值
将所获取的权重值、第一形态角度和第一形态角度对应的第一置信度、第二形态角度和第二形态角度对应的第二置信度,代入以下公式中,计算出第一形态区域与第二形态区域之间的相似度:
其中,S为相似度,βi为第i个第一形态角度对应的位置的权重值,n为第一形态角度的数量,为第i个第一形态角度,为第i个第二形态角度,为第i个第一形态角度对应的第一置信度,为第i个第二形态角度对应的第二置信度,i为正整数。
本发明实施例提供的技术方案中,在第一形态图像的第一形态区域中确定第一形态角度,在第二形态图像的第二形态区域中确定第二形态角度,基于计算出的第一形态角度和第二形态角度,计算第一形态区域与第二形态区域之间的相似度。通过本申请实施例提供的技术方案中,分别在第一形态图像中确定表征第一形态区域的形态的第一形态角度,在第二形态图像中确定表征第二形态区域的形态的第二形态角度,也就是说,第一形态角度和第二形态角度均可以反映出形态,而无论第一形态区域和第二形态区域在图像中的大小有多大差异,并不会导致第一形态角度和第二形态角度之间的差异,这样,利用第一形态角度和第二形态角度来计算相似度,避免了图像大小差异导致的相似度的计算误差。
相应于上述相似度计算方法实施例,本申请实施例还提供了一种电子设备,如图5所示,包括处理器510、通信接口520、存储器530和通信总线540,其中,处理器510,通信接口520,存储器530通过通信总线540完成相互间的通信,
存储器530,用于存放计算机程序;
处理器510,用于执行存储器530上所存放的程序时,实现如下步骤:
在第一形态图像的第一形态区域中确定第一形态角度,第一形态角度用于表征第一形态区域的形态;
在第二形态图像的第二形态区域中确定第二形态角度,第二形态角度用于表征第二形态区域的形态,其中,所述第一形态角度与所述第二形态角度是一一对应的,并且相对应的第一形态角度与第二形态角度所表征的形态的位置相同;
基于计算出的第一形态角度和第二形态角度,计算第一形态区域与第二形态区域之间的相似度。
本发明实施例提供的技术方案中,在第一形态图像的第一形态区域中确定第一形态角度,在第二形态图像的第二形态区域中确定第二形态角度,基于计算出的第一形态角度和第二形态角度,计算第一形态区域与第二形态区域之间的相似度。通过本申请实施例提供的技术方案中,分别在第一形态图像中确定表征第一形态区域的形态的第一形态角度,在第二形态图像中确定表征第二形态区域的形态的第二形态角度,也就是说,第一形态角度和第二形态角度均可以反映出形态,而无论第一形态区域和第二形态区域在图像中的大小有多大差异,并不会导致第一形态角度和第二形态角度之间的差异,这样,利用第一形态角度和第二形态角度来计算相似度,避免了图像大小差异导致的相似度的计算误差。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的相似度计算方法。
在本申请提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的相似度计算方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于相似度计算装置、电子设备、计算机可读存储介质以及计算机程序产品实施例而言,由于其基本相似于相似度计算方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (14)

1.一种相似度计算方法,其特征在于,所述方法包括:
在第一形态图像的第一形态区域中确定第一形态角度,所述第一形态角度用于表征所述第一形态区域的形态;
在第二形态图像的第二形态区域中确定第二形态角度,所述第二形态角度用于表征所述第二形态区域的形态,其中,所述第一形态角度与所述第二形态角度是一一对应的,并且相对应的第一形态角度与第二形态角度所表征的形态的位置相同;
基于计算出的所述第一形态角度和所述第二形态角度,计算所述第一形态区域与所述第二形态区域之间的相似度。
2.根据权利要求1所述的方法,其特征在于,
所述在第一形态图像的第一形态区域中确定第一形态角度,包括:
在第一形态图像的第一形态区域中确定指定特征点;
从所确定的指定特征点中,将相邻三个指定特征点之间的连线所形成的角度确定为第一形态角度;
计算所确定出的第一形态角度;
所述在第二形态图像的第二形态区域中确定第二形态角度,包括:
在第二形态图像的第一形态区域中确定所述指定特征点;
从所确定的指定特征点中,将相邻三个指定特征点之间的连线所形成的角度确定为第二形态角度;
计算所确定出的第二形态角度。
3.根据权利要求2所述的方法,其特征在于,
所述计算所确定出的第一形态角度,包括:
确定所述指定特征点在所述第一形态图像中的坐标,作为第一坐标;
基于形成所述第一形态角度的相邻三个指定特征点的第一坐标,计算该相邻三个指定特征点中各指定特征点之间的距离;
基于余弦定理,利用计算出的距离得到所述第一形态角度;
所述计算所确定出的第二形态角度,包括:
确定所述指定特征点在所述第二形态图像中的坐标,作为第二坐标;
基于形成所述第二形态角度的相邻三个指定特征点的第二坐标,计算该相邻三个指定特征点中各指定特征点之间的距离;
基于余弦定理,利用计算出的距离得到所述第二形态角度。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
获取所述第一坐标对应的第一置信度,以及所述第二坐标对应的第二置信度,其中,每一个第一坐标对应一个第一置信度,每一个第二坐标对应一个第二置信度;
所述基于形成所述第一形态角度的相邻三个指定特征点的第一坐标,计算该相邻三个指定特征点中各指定特征点之间的距离,包括:
基于形成所述第一形态角度的相邻三个指定特征点的第一坐标和该第一坐标对应的第一置信度,计算该相邻三个指定特征点中各指定特征点之间的距离;
所述基于形成所述第二形态角度的相邻三个指定特征点的第二坐标,计算该相邻三个指定特征点中各指定特征点之间的距离,包括:
基于形成所述第二形态角度的相邻三个指定特征点的第二坐标和该第二坐标对应的第二置信度,计算该相邻三个指定特征点中各指定特征点之间的距离。
5.根据权利要求4所述的方法,其特征在于,所述基于计算出的所述第一形态角度和所述第二形态角度,计算所述第一形态区域与所述第二形态区域之间的相似度,包括:
根据所述第一坐标对应的第一置信度,计算所述第一形态角度对应的第一置信度;根据所述第二坐标对应的第二置信度,计算所述第二形态角度对应的第二置信度;
将所述第一形态角度和所述第一形态角度对应的第一置信度、所述第二形态角度和所述第二形态角度对应的第二置信度,代入以下公式中,计算出所述第一形态区域与所述第二形态区域之间的相似度:
其中,S为所述相似度,n为所述第一形态角度的数量,为第i个第一形态角度,为第i个第二形态角度,为第i个第一形态角度对应的第一置信度,为第i个第二形态角度对应的第二置信度,i为正整数。
6.根据权利要求5所述的方法,其特征在于,所述基于计算出的所述第一形态角度和所述第二形态角度,计算所述第一形态区域与所述第二形态区域之间的相似度,包括:
获取所述位置的权重值
将所获取的权重值、所述第一形态角度和所述第一形态角度对应的第一置信度、所述第二形态角度和所述第二形态角度对应的第二置信度,代入以下公式中,计算出所述第一形态区域与所述第二形态区域之间的相似度:
其中,S为所述相似度,βi为第i个第一形态角度对应的位置的权重值,n为所述第一形态角度的数量,为第i个第一形态角度,为第i个第二形态角度,为第i个第一形态角度对应的第一置信度,为第i个第二形态角度对应的第二置信度,i为正整数。
7.一种相似度计算装置,其特征在于,所述装置包括:
第一确定模块,用于在第一形态图像的第一形态区域中确定第一形态角度,所述第一形态角度用于表征所述第一形态区域的形态;
第二确定模块,用于在第二形态图像的第二形态区域中确定第二形态角度,所述第二形态角度用于表征所述第二形态区域的形态,其中,所述第一形态角度与所述第二形态角度是一一对应的,并且相对应的第一形态角度与第二形态角度所表征的形态的位置相同;
计算模块,用于基于计算出的所述第一形态角度和所述第二形态角度,计算所述第一形态区域与所述第二形态区域之间的相似度。
8.根据权利要求7所述的装置,其特征在于,所述第一确定模块包括:
第一确定子模块,用于在第一形态图像的第一形态区域中确定指定特征点;
第二确定子模块,用于从所确定的指定特征点中,将相邻三个指定特征点之间的连线所形成的角度确定为第一形态角度;
第一计算子模块,用于计算所确定出的第一形态角度;
所述第二确定模块包括:
第三确定子模块,用于在第二形态图像的第一形态区域中确定所述指定特征点;
第四确定子模块,用于从所确定的指定特征点中,将相邻三个指定特征点之间的连线所形成的角度确定为第二形态角度;
第二计算子模块,用于计算所确定出的第二形态角度。
9.根据权利要求8所述的装置,其特征在于,所述第一计算子模块具体用于:
确定所述指定特征点在所述第一形态图像中的坐标,作为第一坐标;
基于形成所述第一形态角度的相邻三个指定特征点的第一坐标,计算该相邻三个指定特征点中各指定特征点之间的距离;
基于余弦定理,利用计算出的距离得到所述第一形态角度;
所述第二计算子模块具体用于:
确定所述指定特征点在所述第二形态图像中的坐标,作为第二坐标;
基于形成所述第二形态角度的相邻三个指定特征点的第二坐标,计算该相邻三个指定特征点中各指定特征点之间的距离;
基于余弦定理,利用计算出的距离得到所述第二形态角度。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括:
获取模块,用于获取所述第一坐标对应的第一置信度,以及所述第二坐标对应的第二置信度,其中,每一个第一坐标对应一个第一置信度,每一个第二坐标对应一个第二置信度;
所述第一计算子模块具体用于:
基于形成所述第一形态角度的相邻三个指定特征点的第一坐标和该第一坐标对应的第一置信度,计算该相邻三个指定特征点中各指定特征点之间的距离;
所述第二计算子模块具体用于:
基于形成所述第二形态角度的相邻三个指定特征点的第二坐标和该第二坐标对应的第二置信度,计算该相邻三个指定特征点中各指定特征点之间的距离。
11.根据权利要求10所述的装置,其特征在于,所述计算模块具体用于:
根据所述第一坐标对应的第一置信度,计算所述第一形态角度对应的第一置信度;根据所述第二坐标对应的第二置信度,计算所述第二形态角度对应的第二置信度;
将所述第一形态角度和所述第一形态角度对应的第一置信度、所述第二形态角度和所述第二形态角度对应的第二置信度,代入以下公式中,计算出所述第一形态区域与所述第二形态区域之间的相似度:
其中,S为所述相似度,n为所述第一形态角度的数量,为第i个第一形态角度,为第i个第二形态角度,为第i个第一形态角度对应的第一置信度,为第i个第二形态角度对应的第二置信度,i为正整数。
12.根据权利要求11所述的装置,其特征在于,所述计算模块具体用于:
获取所述位置的权重值
将所获取的权重值、所述第一形态角度和所述第一形态角度对应的第一置信度、所述第二形态角度和所述第二形态角度对应的第二置信度,代入以下公式中,计算出所述第一形态区域与所述第二形态区域之间的相似度:
其中,S为所述相似度,βi为第i个第一形态角度对应的位置的权重值,n为所述第一形态角度的数量,为第i个第一形态角度,为第i个第二形态角度,为第i个第一形态角度对应的第一置信度,为第i个第二形态角度对应的第二置信度,i为正整数。
13.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-6任一所述的方法步骤。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行权利要求1-6任一所述的方法步骤。
CN201910228951.7A 2019-03-25 2019-03-25 一种相似度计算方法及装置 Active CN109887017B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910228951.7A CN109887017B (zh) 2019-03-25 2019-03-25 一种相似度计算方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910228951.7A CN109887017B (zh) 2019-03-25 2019-03-25 一种相似度计算方法及装置

Publications (2)

Publication Number Publication Date
CN109887017A true CN109887017A (zh) 2019-06-14
CN109887017B CN109887017B (zh) 2021-09-03

Family

ID=66934046

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910228951.7A Active CN109887017B (zh) 2019-03-25 2019-03-25 一种相似度计算方法及装置

Country Status (1)

Country Link
CN (1) CN109887017B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429493A (zh) * 2020-03-20 2020-07-17 青岛联合创智科技有限公司 一种多图像间特征点匹配方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103839059A (zh) * 2012-11-22 2014-06-04 富士通株式会社 用于提取文档图像中的文档边界的装置、方法及电子设备
CN105989331A (zh) * 2015-02-11 2016-10-05 佳能株式会社 脸部特征提取装置、脸部特征提取方法、图像处理设备和图像处理方法
CN107038455A (zh) * 2017-03-22 2017-08-11 腾讯科技(深圳)有限公司 一种图像处理方法及装置
CN109190516A (zh) * 2018-08-14 2019-01-11 东北大学 一种基于手掌边缘轮廓矢量化的静态手势识别方法
CN109359568A (zh) * 2018-09-30 2019-02-19 南京理工大学 一种基于图卷积网络的人体关键点检测方法
CN109432753A (zh) * 2018-09-26 2019-03-08 Oppo广东移动通信有限公司 动作矫正方法、装置、存储介质及电子设备
CN109458990A (zh) * 2018-11-08 2019-03-12 华南理工大学 一种基于免标记锚点检测的仪器设备位姿测量及误差补偿方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103839059A (zh) * 2012-11-22 2014-06-04 富士通株式会社 用于提取文档图像中的文档边界的装置、方法及电子设备
CN105989331A (zh) * 2015-02-11 2016-10-05 佳能株式会社 脸部特征提取装置、脸部特征提取方法、图像处理设备和图像处理方法
CN107038455A (zh) * 2017-03-22 2017-08-11 腾讯科技(深圳)有限公司 一种图像处理方法及装置
CN109190516A (zh) * 2018-08-14 2019-01-11 东北大学 一种基于手掌边缘轮廓矢量化的静态手势识别方法
CN109432753A (zh) * 2018-09-26 2019-03-08 Oppo广东移动通信有限公司 动作矫正方法、装置、存储介质及电子设备
CN109359568A (zh) * 2018-09-30 2019-02-19 南京理工大学 一种基于图卷积网络的人体关键点检测方法
CN109458990A (zh) * 2018-11-08 2019-03-12 华南理工大学 一种基于免标记锚点检测的仪器设备位姿测量及误差补偿方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NEIL F.JOHNSON: ""Countermeasures to Attacks"", 《INFORMATION HIDING:STEGANOGRAPHY AND WATERMARKING-ATTACKS AND COUNTERMEASURES》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429493A (zh) * 2020-03-20 2020-07-17 青岛联合创智科技有限公司 一种多图像间特征点匹配方法

Also Published As

Publication number Publication date
CN109887017B (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
Caserman et al. Real-time body tracking in virtual reality using a Vive tracker
US10481689B1 (en) Motion capture glove
KR20210011984A (ko) 이미지 처리 방법 및 장치, 이미지 디바이스, 및 저장 매체
Mori et al. Estimating human body configurations using shape context matching
Kuch et al. Vision based hand modeling and tracking for virtual teleconferencing and telecollaboration
Rhee et al. Human hand modeling from surface anatomy
US9384329B2 (en) Caloric burn determination from body movement
CN108096833B (zh) 基于级联神经网络的体感游戏控制方法及装置、计算设备
CN105637531A (zh) 人体姿势识别
CN104035557A (zh) 一种基于关节活跃度的Kinect动作识别方法
EP4053736B1 (en) System and method for matching a test frame sequence with a reference frame sequence
CN107481280A (zh) 一种骨骼点的矫正方法及计算设备
CN110399794A (zh) 基于人体的姿态识别方法、装置、设备及存储介质
WO2020147791A1 (zh) 图像处理方法及装置、图像设备及存储介质
CN109887016B (zh) 一种相似度计算方法及装置
CN111368787A (zh) 视频处理方法及装置、设备和计算机可读存储介质
KR20070051359A (ko) 규칙에 기초한 순차적인 방법을 이용한 인간 자세 예측시스템 및 방법
CN109887017A (zh) 一种相似度计算方法及装置
WO2022174544A1 (zh) 动作比对方法、装置、电子设备、存储介质、计算机程序产品及计算机程序
CN110314344A (zh) 运动提醒方法、装置及系统
CN117115922A (zh) 坐位体前屈评测方法、系统、电子设备和存储介质
CN111353347B (zh) 动作识别纠错方法、电子设备、存储介质
CN111353345B (zh) 提供训练反馈的方法、装置、系统、电子设备、存储介质
Kishore et al. Smart yoga instructor for guiding and correcting yoga postures in real time
CN111523517B (zh) 动作评分方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant