CN114189605A - 一种处理方法及装置 - Google Patents
一种处理方法及装置 Download PDFInfo
- Publication number
- CN114189605A CN114189605A CN202111288690.1A CN202111288690A CN114189605A CN 114189605 A CN114189605 A CN 114189605A CN 202111288690 A CN202111288690 A CN 202111288690A CN 114189605 A CN114189605 A CN 114189605A
- Authority
- CN
- China
- Prior art keywords
- target
- projection
- relationship
- target object
- relation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title abstract description 28
- 230000008859 change Effects 0.000 claims abstract description 112
- 230000033001 locomotion Effects 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims description 40
- 230000009471 action Effects 0.000 claims description 31
- 239000011159 matrix material Substances 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 20
- 238000009432 framing Methods 0.000 claims description 3
- 230000015654 memory Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 206010034719 Personality change Diseases 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000001052 transient effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 230000004392 development of vision Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
- H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
- H04N9/3176—Constructional details thereof wherein the projection device is specially adapted for enhanced portability wherein the projection device is incorporated in a camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Abstract
本申请实施例公开了一种处理方法,该方法包括:通过摄像头模组获取至少两帧目标对象的投影图像,投影图像至少包括目标对象的目标部位在目标光源下的投影的图像,目标部位是目标对象在摄像头模组的取景方向上被遮挡的部位;确定目标部位在至少两帧投影图像中的位姿变化信息;至少基于位姿变化信息确定目标对象的动作信息。本申请实施例同时还公开了一种处理装置。
Description
技术领域
本申请涉及处理领域中的信息处理技术,尤其涉及一种处理方法及装置。
背景技术
随着视觉理论及计算机科学与技术的迅速发展,摄像头随处可见,经常用来采集人的图像,并通过人的图像来确定人的动作信息,当人在运动摄像头采集人的图像时,摄像头会因为视觉盲区无法采集到人的部分部位,导致确定的人的动作信息不准确。
发明内容
本申请的技术方案是这样实现的:
一种处理方法,包括:
通过摄像头模组获取至少两帧目标对象的投影图像,所述投影图像至少包括所述目标对象的目标部位在目标光源下的投影的图像,所述目标部位是所述目标对象在所述摄像头模组的取景方向上被遮挡的部位;
确定所述目标部位在所述至少两帧投影图像中的位姿变化信息;
至少基于所述位姿变化信息确定所述目标对象的动作信息。
上述方案中,所述通过摄像头模组获取至少两帧目标对象的投影图像,包括:
在所述摄像头模组获取每一帧图像的过程中,控制所述目标光源的至少三个光源依次发光,以得到包括所述目标部位的至少三个投影的一帧图像,其中,通过所述至少三个光源能够获得所述目标对象至少360度的投影。
上述方案中,其中,确定所述目标部位在所述至少两帧投影图像中的位姿变化信息,包括:
获得所述目标对象的相邻两部位在物理空间和投影图像之间的对应关系,所述相邻两部位中至少包括所述目标对象的一目标部位;
获得所述目标对象的相邻两部位在第一帧投影图像和第二帧投影图像中的投影关系,所述第一帧投影图像和所述第二帧投影图像至少具有时序上的关联关系;
基于所述对应关系和所述投影关系确定所述目标对象的相邻两部位的物理空间关系变化信息,以得到所述位姿变化信息。
上述方案中,所述获得所述目标对象的相邻两部位在物理空间和投影图像之间的对应关系,包括:
确定标定对象的可见部位和不可见部位之间的第一位置关系;其中,所述不可见部位是所述标定对象在所述摄像头模组的取景方向上被遮挡的部位;
获得所述可见部位和不可见部位在所述目标光源的至少三个光源下的投影图像中的第二位置关系;
确定所述第一位置关系和所述第二位置关系之间的关系矩阵,将所述关系矩阵确定为所述目标对象的相邻两部位在物理空间和投影图像之间的对应关系。
上述方案中,所述基于所述对应关系和所述投影关系确定所述目标对象的相邻两部位的物理空间关系变化信息,包括:
获得所述相邻两部位在第一帧投影图像中的至少三个帧时刻的第一投影关系,基于所述对应关系和所述第一投影关系,得到所述相邻两部位在获取第一帧投影图像时的第一物理空间关系;
获得所述相邻两部位在第二帧投影图像中的至少三个帧时刻的第二投影关系,基于所述对应关系和所述第二投影关系,得到所述相邻两部位在获取第二帧投影图像时的第二物理空间关系;
基于所述第一物理空间关系和所述第二物理空间关系得到所述物理空间关系变化信息;
其中,所述至少三个帧时刻是所述至少三个光源分别发光的时刻。
上述方案中,所述基于所述对应关系和所述投影关系确定所述目标对象的相邻两部位的物理空间关系变化信息,以得到所述位姿变化信息,包括:
获得第一可见部位和第一目标部位在物理空间和投影图像之间的第一对应关系,所述第一可见部位与所述第一目标部位相邻;
获得所述第一可见部位和所述第一目标部位在第一帧投影图像中的第一投影关系、以及在第二帧投影图像中的第二投影关系;
基于所述第一对应关系和所述第一投影关系得到所述第一可见部位和所述第一目标部位的第一物理空间关系,基于所述第一对应关系和所述第二投影关系得到所述第一可见部位和所述第一目标部位的第二物理空间关系;
获得第一可见部位在获取第一帧投影图像时的第一空间位置信息和在获取第二帧投影图像时的第二空间位置信息;
基于所述第一物理空间关系和所述第一空间位置信息确定所述第一目标部位的第三空间位置信息,基于所述第二物理空间关系和所述第二空间位置信息确定所述第一目标部位的第四空间位置信息;
基于所述第三空间位置信息和所述第四空间位置信息得到所述位姿变化信息。
上述方案中,其中,还包括:
获得第一目标部位和所述第二目标部位在物理空间和投影图像之间的第二对应关系,所述第一目标部位与所述第二目标部位相邻;
获得所述第一目标部位和第二目标部位在第一帧投影图像中的第三投影关系、以及在第二帧投影图像中的第四投影关系;
基于所述第二对应关系和所述第三投影关系得到所述第一目标部位和第二目标部位的第三物理空间关系,基于所述第二对应关系和所述第四投影关系得到所述第一目标部位和所述第二目标部位的第四物理空间关系;
基于所述第三物理空间关系和所述第三空间位置信息确定所述第二目标部位的第五空间位置信息,基于所述第四物理空间关系和所述第四空间位置信息确定所述第二目标部位的第六空间位置信息;
基于所述第三空间位置信息、所述第四空间位置信息、所述第五空间位置信息、所述第六空间位置信息得到的物理空间关系变化信息,得到所述位姿变化信息。
上述方案中,其中,至少基于所述位姿变化信息确定所述目标对象的动作信息,包括:
获得所述目标对象的可见部位的位姿变化信息,基于所述可见部位和所述目标部位的位姿变化信息确定所述目标对象的动作信息。
上述方案中,其中,基于所述可见部位和所述目标部位的位姿变化信息确定所述目标对象的动作信息,包括:
获得所述可见部位在获取所述至少两帧投影图像时所对应的采集时刻的位姿信息,基于所述采集时刻的位姿信息确定所述可见部位的位姿变化信息;
基于所述可见部位与所述目标部位之间的关联关系对所述可见部位和所述目标部位的位姿变化信息进行处理,得到所述目标对象的动作信息。
一种处理装置,包括:
获取单元,用于通过摄像头模组获取至少两帧目标对象的投影图像,所述投影图像至少包括所述目标对象的目标部位在目标光源下的投影的图像,所述目标部位是所述目标对象在所述摄像头模组的取景方向上被遮挡的部位;
确定单元,用于确定所述目标部位在所述至少两帧投影图像中的位姿变化信息;
所述确定单元,还用于至少基于所述位姿变化信息确定所述目标对象的动作信息。
一种电子设备,包括:存储器、处理器和通信总线;
所述通信总线用于实现所述处理器和所述存储器之间的通信连接;
所述处理器用于执行所述存储器中存储的处理程序,以实现以下步骤:
通过摄像头模组获取至少两帧目标对象的投影图像,所述投影图像至少包括所述目标对象的目标部位在目标光源下的投影的图像,所述目标部位是所述目标对象在所述摄像头模组的取景方向上被遮挡的部位;
确定所述目标部位在所述至少两帧投影图像中的位姿变化信息;
至少基于所述位姿变化信息确定所述目标对象的动作信息。
一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现处理方法的步骤。
本申请实施例所提供的处理方法及装置,通过摄像头模组获取至少两帧目标对象的投影图像,投影图像至少包括目标对象的目标部位在目标光源下的投影的图像,目标部位是目标对象在摄像头模组的取景方向上被遮挡的部位;确定目标部位在至少两帧投影图像中的位姿变化信息;至少基于位姿变化信息确定目标对象的动作信息;如此,可以根据被遮挡部位在至少两帧投影图像中的位姿变化信息来确定目标对象的动作信息,避免无法采集被遮挡部分的图像导致确定的目标对象的动作信息不准确的问题,提高了确定目标对象的动作信息的准确率。
附图说明
图1为本申请的实施例提供的一种处理方法的流程示意图;
图2为本申请的实施例提供的一种处理方法的场景示意图;
图3为本申请的实施例提供的另一种处理方法的流程示意图;
图4为本申请的实施例提供的又一种处理方法的场景示意图;
图5为本申请的实施例提供的又一种处理方法的流程示意图;
图6为本申请的实施例提供的又一种处理方法的流程示意图;
图7为本申请的实施例提供的又一种处理方法的场景示意图;
图8为本申请的实施例提供的又一种处理方法的场景示意图;
图9为本申请的实施例提供的又一种处理方法的场景示意图;
图10为本申请的实施例提供的又一种处理方法的场景示意图;
图11为本申请的实施例提供的又一种处理方法的流程示意图;
图12为本申请的实施例提供的一种处理装置的结构示意图。
图13为本申请的实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
本申请的实施例提供一种处理方法,该方法可以应用于电子设备中,参照图1所示,该方法包括以下步骤:
步骤101、通过摄像头模组获取至少两帧目标对象的投影图像。
其中,投影图像至少包括目标对象的目标部位在目标光源下的投影的图像,目标部位是目标对象在摄像头模组的取景方向上被遮挡的部位;目标对象可以是运动状态的对象,也可以是静止状态的对象;摄像头模组包括至少一个摄像头。
在本申请实施例中,在目标对象处于摄像头模组的取景范围,且目标对象与目标光源之间的距离符合目标距离范围的情况下,摄像头的取景范围无法完全覆盖目标对象的全部,由于目标部位被遮挡,摄像头模组无法直接采集到目标部位的图像,此时,便可以采集目标部位在目标光源下的投影的图像,并将采集到的投影图像发送至电子设备。
在一种可行的实现方式中,目标对象为人,如图2所示,摄像头模组可以包括2个摄像头,两个摄像头间隔一定的距离设置,在人在处于摄像头模组的取景范围,且与目标光源的距离符合目标距离范围的情况下,此时人在运动可以看到身体会遮挡某些部位(即目标部位),此时摄像头模组采集人的图像时存在视觉盲区,无法采集到目标部位的图像,可以通过采集目标部位在目标光源照射下的投影的图像来确定目标部位的图像,以此来弥补无法直接采集目标部位的图像的缺陷。
下述结合应用场景,对通过摄像头模组获取投影图像进行详细的解释说明。
在一种可行的实现方式中,当目标对象为人且人处于运动状态时,可以实时检测人与目标光源的距离,当确定人与目标光源的距离小于或等于目标距离时,控制目标光源发光,通过摄像头模组来采集人在目标光源下对应的投影图像,之后当检测到人与目标光源的距离越来越远,且人与目标光源的距离大于目标距离时,则可以控制目标光源熄灭;如此,通过检测人与目标光源的距离是否小于或等于目标距离来确保在目标光源下人产生投影的有效距离,避免在目标光源发光时人由于距离目标光源太远未产生投影,导致摄像头模组无法采集到人的投影图像的问题,提高了获取投影图像的效率,而且,当人在运动状态下通过检测人与目标光源的距离来控制目标光源的开启或熄灭,进一步可以节约电能。
在另一种可行的实现方式中,当目标对象为人且人处于静止状态时,可以检测人与目标光源的距离,在检测到人与目标光源的距离小于或等于目标距离时,可以控制目标光源发光,通过摄像头模组来采集人的投影图像;如此,可以确保在目标光源下人处于静态时产生投影的有效距离,避免在目标光源发光时人由于距离目标光源太远未产生投影,导致摄像头模组无法采集到人的投影图像的问题,提高了获取投影图像的效率。
需要说明的是,投影图像可以是从摄像头模组采集的目标对象的目标部位在目标光源下的投影的多帧待处理图像中筛选得到的图像。
在一种可行的实现方式中,电子设备可以对每一帧待处理图像进行分析,确定每一帧待处理图像的清晰度,并按照清晰度从大到小对多帧待处理图像进行排序,从排序后的多帧待处理图像中确定清晰度大于目标清晰度阈值的图像为投影图像。
步骤102、确定目标部位在至少两帧投影图像中的位姿变化信息。
其中,位姿变化信息包括位置变化信息和姿态变化信息;其中,姿态变化信息包括但不限于角度变化信息。
在本申请实施例中,电子设备可以对至少两帧投影图像进行分析,确定每帧投影图像中目标部位的位置信息和姿态信息,通过对每帧投影图像中目标部位的位置信息进行分析来确定目标部位的位置变化信息,并通过对每帧图像中目标部位的姿态信息进行分析来确定目标部位的姿态变化信息。
步骤103、至少基于位姿变化信息确定目标对象的动作信息。
其中,位姿信息包括位置信息和姿态信息。
在本申请实施例中,可以通过摄像头模组采集多帧目标对象的可见部位的图像,并对多帧目标对象的可见部位的图像进行分析,确定可见部位的位姿变化信息和目标部位的位姿变化信息来确定目标对象的位姿变化信息,并对目标对象的位姿变化信息进行分析,确定目标对象的动作信息。
本申请实施例所提供的处理方法,通过摄像头模组获取至少两帧目标对象的投影图像,投影图像至少包括目标对象的目标部位在目标光源下的投影的图像,目标部位是目标对象在摄像头模组的取景方向上被遮挡的部位;确定目标部位在至少两帧投影图像中的位姿变化信息;至少基于位姿变化信息确定目标对象的动作信息;如此,可以至少根据被遮挡部位在至少两帧投影图像中的位姿变化信息来确定目标对象的动作信息,避免无法采集被遮挡部分的图像导致确定的目标对象的动作信息不准确的问题,提高了确定目标对象的动作信息的准确率。
基于前述实施例,本申请实施例提供一种处理方法,参照图3所示,该方法包括以下步骤:
步骤201、在摄像头模组获取每一帧图像的过程中,控制目标光源的至少三个光源依次发光,以得到包括目标部位的至少三个投影的一帧图像。
其中,通过至少三个光源能够获得目标对象至少360度的投影。
在本申请实施例中,电子设备在摄像头模组获取每一帧图像的过程中,可以控制至少三个光源同时发光;也可以控制至少三个光源中每次只有一个光源发光,进而来采集在每个光源下目标部位的投影的图像。
以光源的数量为三个为例,光源包括第一光源、第二光源和第三光源,在目标对象处于摄像头模组的取景范围内,且目标对象处于运动状态的情况下,电子设备可以控制第一光源、第二光源和第三光源依次发光;还可以在目标对象处于摄像头模组的取景范围内,且目标对象距离每个光源的距离小于目标距离时,控制每个光源依次发光。在一种可行的实现方式中,如图4所示,在目标对象处于摄像头模组的取景范围内,且目标对象处于运动状态的情况下,电子设备可以实时检测目标对象距离每个光源的距离,当电子设备检测到目标对象距离第一光源的距离小于或等于目标距离的情况下,可以控制第一光源发光,来采集在第一光源的照射下目标对象的目标部位的投影图像,当电子设备检测到目标对象距离第二光源的距离小于或等于目标距离的情况下,可以控制第二光源发光,来采集在第二光源的照射下目标对象的目标部位的投影图像,当电子设备检测到目标对象距离第三光源的距离小于或等于目标距离的情况下,可以控制第三光源发光,来采集在第三光源的照射下目标对象的目标部位的投影图像。
需要说明的是,当电子设备已经控制光源发光,在确定目标对象与光源的距离大于目标距离的情况下,可以控制光源熄灭以节约电能;当目标对象在运动时,被遮挡的部位可能实时会发生不同,也就是说,不同光源下采集到的目标部位的投影图像可能会是不同的目标部位的投影图像,在一种可行的实现方式中,在第一光源的照射下采集的是目标部位A的投影图像,在第二光源的照射下采集的是目标部位B的投影图像,在第三光源的照射下采集的是目标部位C的投影图像,其中,目标部位A、目标部位B和目标部位C可以相同,也可以不同;可以在每一光源下获取多帧目标对象的投影图像,以便提高确定的目标部位的位姿变化信息的准确率。
在本申请实施例中,可以采集在第一光源的照射下目标对象的投影的图像,在第二光源的照射下目标对象的投影的图像,以及在第三光源的照射下目标对象的投影的图像,并从采集的在第一光源的照射下目标对象的投影的图像中提取目标对象被遮挡部位的投影图像,从采集的在第二光源的照射下目标对象的投影的图像中提取目标对象被遮挡部位的投影图像,以及从采集的在第三光源的照射下目标对象的投影的图像中提取目标对象被遮挡部位的投影图像,得到三个投影图像。
步骤202、获得目标对象的相邻两部位在物理空间和投影图像之间的对应关系。
其中,相邻两部位中至少包括目标对象的一目标部位。
在本申请实施例中,可以基于标定对象的可见部位和不可见部位之间在物理空间和投影图像之间的对应关系,来确定目标对象的相邻两部位在物理空间和投影图像之间的对应关系;其中,标定对象指的是设置的基准对象。
在一种可行的实现方式中,目标对象可以为人,相邻两部位可以是人的手和胳膊,其中,手为目标部位。
需要说明的是,如图5和图6所示步骤202可以通过步骤a1-a3来实现:
步骤a1、确定标定对象的可见部位和不可见部位之间的第一位置关系。
其中,不可见部位是标定对象在摄像头模组的取景方向上被遮挡的部位;在本申请实施例中,第一位置关系指的是标定对象的可见部位和不可见部位在物理空间的相对位置关系。
在本申请实施例中,通过摄像头模组可以针对标定对象采集标定图像,基于标定图像中像素点的坐标,确定标定对象的可见部位在标定图像中的位置,并确定标定图像的不可见部位在标定图像中的位置,并根据标定对象的可见部位在标定图像中的位置和标定对象的不可见部位在标定图像中的位置,确定标定对象的可见部位和不可见部位之间的第一位置关系;还可以是用户在物理空间通过测量确定标定对象的可见部位的位置和标定对象的不可见部位的位置,得到标定对象的可见部位和不可见部位之间的第一位置关系。
需要说明的是,标定对象的可见部位和不可见部位之间的距离可以小于预设距离;标定对象的可见部位和不可见部位可以是相邻的两部位,也可以是不相邻的两部位。
优选地,标定对象的可见部位和不可见部位可以是相邻的两部位。
步骤a2、获得可见部位和不可见部位在目标光源的至少三个光源下的投影图像中的第二位置关系。
在本申请实施例中,可以控制目标光源的至少三个光源依次发光,来得到标定对象在每个光源下的投影,并通过摄像头模组获取标定对象在每个光源下的投影图像,根据该投影图像中像素点的坐标,确定投影图像中标定对象的可见部位的位置和不可见部位的位置,并对每个光源下摄像头模组采集的投影图像中标定对象的可见部位的位置和不可见部位的位置进行分析,确定第二位置关系。
在一种可行的实现方式中,如图7所示,标定对象为T形物体,在T形物体的不同方向具有三个光源,可以控制三个光源依次发光得到标定对象的三个投影,并通过摄像头模组获取标定对象的三个投影图像,确定每个投影图像中标定对象的可见部位的位置和不可见部位的位置,得到每个投影图像中可见部位和不可见部位的位置关系,基于三个位置关系得到第二位置关系。其中,标定对象可以是人形。
步骤a3、确定第一位置关系和第二位置关系之间的关系矩阵,将关系矩阵确定为目标对象的相邻两部位在物理空间和投影图像之间的对应关系。
在本申请实施例中,电子设备可以对第一位置关系和第二位置关系进行分析,得到第一位置关系和第二位置关系之间的关系,并根据第一位置关系和第二位置关系之间的关系得到关系矩阵。
在一种可行的实现方式中,第一位置关系可以为在物理空间中标定对象的可见部位和不可见部位之间位置的第一矩阵A,第二位置关系可以为在投影图像中可见部位和不可见部位之间位置的第二矩阵B,可以对第一矩阵A和第二矩阵B进行分析,得到第一位置关系和第二位置关系之间的关系矩阵C,并将关系矩阵C作为目标对象的相邻两部位在物理空间和投影图像之间的关系矩阵。
步骤203、获得目标对象的相邻两部位在第一帧投影图像和第二帧投影图像中的投影关系。
其中,第一帧投影图像和第二帧投影图像至少具有时序上的关联关系。
在一种可行的实现方式中,第一帧投影图像和第二帧投影图像可以是从多帧投影图像中提取的清晰度大于目标清晰度的相邻两帧投影图像;还可以是从多帧投影图像中插帧提取的两帧图像。
在本申请实施例中,电子设备可以分别对第一帧投影图像和第二帧投影图像中的目标对象进行分析,确定目标对象的相邻两部位在第一帧投影图像中的位置关系和在第二帧投影图像中的位置关系,来得到目标对象的相邻两部位在第一帧投影图像的投影关系和相邻两部位在第二帧投影图像中的投影关系。
步骤204、基于对应关系和投影关系确定目标对象的相邻两部位的物理空间关系变化信息,以得到位姿变化信息。
在本申请实施例中,电子设备可以根据对应关系和投影关系确定目标对象的相邻两部位在多个不同时刻的物理空间关系,并对多个物理空间关系进行分析,确定目标对象的相邻两部位的物理空间关系变化信息,来得到位姿变化信息。其中,位姿变化信息包括位置变化信息和姿态变化信息。
需要说明的是,如图5所示,步骤204中基于对应关系和投影关系确定目标对象的相邻两部位的物理空间关系变化信息,可以通过步骤b1-b3来实现:
步骤b1、获得相邻两部位在第一帧投影图像中的至少三个帧时刻的第一投影关系,基于对应关系和第一投影关系,得到相邻两部位在获取第一帧投影图像时的第一物理空间关系。
在本申请实施例中,电子设备或摄像头模组可以获得相邻两部位在第一帧投影图像中的至少三个帧时刻的第一投影关系,基于对应关系和第一投影关系可以得到至少三个相邻两部位的坐标平面关系,对至少三个坐标平面关系进行拟合处理得到相邻两部位在获取第一帧投影图像时的第一物理空间关系。
其中,至少三个帧时刻是至少三个光源分别发光的时刻;第一帧投影图像还可以为至少三个光源发光时目标对象的相邻两部位的三个投影子图像;第一投影关系可以包括相邻两部位在至少三个投影子图像中的至少三个子投影关系。
在一种可行的实现方式中,可以控制目标光源的三个光源依次发光,得到目标对象的三个投影子图像,并对每个投影子图像中的相邻两部位进行分析,得到每个投影子图像对应的相邻两部位的子投影关系,之后可以根据三个子投影关系和对应关系确定三个坐标平面关系,并对三个坐标平面关系进行拟合得到相邻两部位在获取第一帧投影图像时的第一物理空间关系。
在一种可行的实现方式中,当目标对象处于运动状态时,当人距离第一个光源的距离小于或等于目标距离时,如图8所示,可以控制第一个光源发光,摄像头模组可以采集人在第一个光源发光下对应的第一个投影子图像,之后当人距离第二个光源的距离小于或等于目标距离时,如图9所示可以控制第二个光源发光,摄像头模组可以采集人在第二个光源发光下对应的第二个投影子图像,当人距离第三个光源的距离小于或等于目标距离时,如图10所示,可以控制第三个光源发光,摄像头模组可以采集人在第三个光源发光下对应的第三个投影子图像,之后可以确定每个投影子图像中人的相邻两个关节之间的第一投影关系,并根据对应关系和第一投影关系确定至少三个相邻两个关节点的坐标平面关系,进而得到第一物理空间关系,以便之后根据摄像头模组捕捉到的已知关节点,以及第一物理空间关系,确定被遮挡的关节点的位姿变化信息。其中,第一个投影子图像可以为表示人的第一瞬态的投影的图像,第二个投影子图像可以表示人的第二瞬态的投影的图像,第三个投影子图像可以表示人的第三瞬态的投影的图像。
在另一种可行的实现方式中,当目标对象处于静止状态时,可以通过设置目标距离来确保在光源发光下目标对象产生投影的有效距离,避免目标对象距离光源距离过大时,无法采集到每一光源下对应的投影子图像。
需要说明的是,还可以建立光源与目标对象之间的角度与距离的关系,以提高后续确定动作信息的准确率。
步骤b2、获得相邻两部位在第二帧投影图像中的至少三个帧时刻的第二投影关系,基于对应关系和第二投影关系,得到相邻两部位在获取第二帧投影图像时的第二物理空间关系。
在本申请实施例中,电子设备可以获得相邻两部位在第二帧投影图像中的至少三个帧时刻的第二投影关系,基于对应关系和第二投影关系可以得到至少三个相邻两部位的坐标平面关系,对至少三个坐标平面关系进行拟合处理得到相邻两部位在获取第二帧投影图像时的第二物理空间关系。
需要说明的是,步骤b2的实现过程与步骤b1的具体实现过程相同,本申请实施例对此不再赘述。
步骤b3、基于第一物理空间关系和第二物理空间关系得到物理空间关系变化信息。
在本申请实施例中,可以对第一物理空间关系和第二物理空间关系进行比较,确定第一物理空间关系和第二物理空间关系之间的变化,得到物理空间关系变化信息。
需要说明的是,如图6所示,步骤204中基于对应关系和投影关系确定目标对象的相邻两部位的物理空间关系变化信息,还可以通过步骤b4-b9来实现:
步骤b4、获得第一可见部位和第一目标部位在物理空间和投影图像之间的第一对应关系。
其中,第一可见部位与第一目标部位相邻。
在本申请实施例中,可以确定标定对象的可见部位和不可见部位的第一位置关系,并获取标定对象的可见部位和不可见部位在目标光源的至少三个光源下的投影图像中的第二位置关系,确定第一位置关系和第二位置关系之间的关系矩阵,将该关系矩阵作为目标对象的第一可见部位和第一目标部位在物理空间和投影图像之间的第一对应关系。
步骤b5、获得第一可见部位和第一目标部位在第一帧投影图像中的第一投影关系、以及在第二帧投影图像中的第二投影关系。
在本申请实施例中,电子设备可以采集目标对象的第一帧投影图像和第二帧投影图像,并分别确定第一帧投影图像和第二帧投影图像中第一可见部位的位置以及第一目标部位的位置,并对第一可见部位的位置和第一目标部位的位置进行分析得到第一投影关系和第二投影关系。
步骤b6、基于第一对应关系和第一投影关系得到第一可见部位和第一目标部位的第一物理空间关系,基于第一对应关系和第二投影关系得到第一可见部位和第一目标部位的第二物理空间关系。
在本申请实施例中,可以对第一可见部位和第一目标部位在物理空间和投影图像之间的第一对应关系以及第一投影关系进行分析,得到第一可见部位和第二目标部位的第一物理空间关系,并对第一对应关系和第二投影关系进行分析,得到第一可见部位和第一目标部位的第二物理空间关系。
步骤b7、获得第一可见部位在获取第一帧投影图像时的第一空间位置信息和在获取第二投影帧图像时的第二空间位置信息。
其中,第一空间位置信息为第一可见部位在获取第一帧投影图像时对应的物理空间位置信息,第二空间信息信息为第一可见部位在获取第二帧投影图像时对应的物理空间位置信息。
在本申请实施例中,可以通过摄像头模组采集针对目标对象的至少两帧图像,并基于目标对象的至少两帧图像确定第一可见部位的第一空间位置信息和第二空间位置信息。
步骤b8、基于第一物理空间关系和第一空间位置信息确定第一目标部位的第三空间位置信息,基于第二物理空间关系和第二空间位置信息确定第一目标部位的第四空间位置信息。
在本申请实施例中,电子设备可以对第一可见部位和第一目标部位的第一物理空间关系以及第一可见部位的第一空间位置信息进行分析,得到第一目标部位的第三空间位置信息,并对第一可见部位和第一目标部位的第二物理空间关系以及第一可见部位的第二空间位置信息进行分析,得到第一目标部位的第四空间位置信息。
步骤b9、基于第三空间位置信息和第四空间位置信息得到位姿变化信息。
在本申请实施例中,目标对象仅第一目标部位属于在摄像头模组的取景方向上被遮挡的部位,电子设备可以对第一目标部位在不同时刻对应的第三空间位置信息和第四空间位置信息进行分析,确定第三空间位置信息和第四空间位置信息之间的变化,来得到位置变化信息和姿态变化信息;其中,位姿变化信息包括位置变化信息和姿态变化信息。
步骤205、获得目标对象的可见部位的位姿变化信息,基于可见部位和目标部位的位姿变化信息确定目标对象的动作信息。
在本申请实施例中,可以将可见部位的位姿变化信息和目标部位的位姿变化信息进行分析,确定目标对象的运动轨迹,并至少根据目标对象的运动轨迹来确定目标对象的动作信息。
本申请实施例所提供的处理方法,可以根据被遮挡部位在至少两帧投影图像中的位姿变化信息来确定目标对象的动作信息,避免无法采集被遮挡部分的图像导致确定的目标对象的动作信息不准确的问题,提高了确定目标对象的动作信息的准确率。
基于前述实施例,本申请实施例提供一种处理方法,参照图11所示,该方法包括以下步骤:
步骤301、在摄像头模组获取每一帧图像的过程中,控制目标光源的至少三个光源依次发光,以得到包括目标部位的至少三个投影的一帧图像。
其中,通过至少三个光源能够获得目标对象至少360度的投影。
步骤302、确定标定对象的可见部位和不可见部位之间的第一位置关系。
其中,不可见部位是标定对象在摄像头模组的取景方向上被遮挡的部位。
步骤303、获得可见部位和不可见部位在目标光源的至少三个光源下的投影图像中的第二位置关系。
步骤304、确定第一位置关系和第二位置关系之间的关系矩阵,将关系矩阵确定为目标对象的相邻两部位在物理空间和投影图像之间的对应关系。
其中,相邻两部位中至少包括目标对象的一目标部位。
步骤305、获得目标对象的相邻两部位在第一帧投影图像和第二帧投影图像中的投影关系。
其中,第一帧投影图像和第二帧投影图像至少具有时序上的关联关系。
步骤306、获得第一目标部位和第二目标部位在物理空间和投影图像之间的第二对应关系。
其中,第一目标部位与第二目标部位相邻,第一目标部位和第二目标部位为在摄像头模组的取景方向上被遮挡的部位。
在本申请实施例中,电子设备可以获取标定对象的可见部位和不可见部位之间的第一位置关系,并获得标定对象的可见部位和不可见部位在目标光源的至少三个光源下的投影图像中的第二位置关系,之后确定第一位置关系和第二位置关系之间的关系矩阵,将关系矩阵确定为第一目标部位和第二目标部位在物理空间和投影图像之间的第二对应关系。
需要说明的是,目标部位包括但不限于第一目标部位和第二目标部位;在一种可行的实现方式中,目标部位可以包括为第一目标部位、第二目标部位和第三目标部位;其中,第一目标部位、第二目标部位和第三目标部位均为摄像头模组的取景方向上被遮挡的部位;其中,第一目标部位可以为人的胳膊,第二目标部位可以为人的手臂、第三目标部位可以为人的手掌。
步骤307、获得第一目标部位和第二目标部位在第一帧投影图像中的第三投影关系、以及在第二帧投影图像中的第四投影关系。
在本申请实施例中,确定第三投影关系和第四投影关系的实现过程和上述实施例步骤b5中确定第一投影关系和第二投影关系的实现过程类似,本申请实施例对此不再赘述。
步骤308、基于第二对应关系和第三投影关系得到第一目标部位和第二目标部位的第三物理空间关系,基于第二对应关系和第四投影关系得到第一目标部位和第二目标部位的第四物理空间关系。
在本申请实施例中,电子设备可以对第一目标部位和第二目标部位在物理空间和投影图像之间的第二对应关系以及第一目标部位和第二目标部位在第一帧投影图像中的第三投影关系进行分析,得到第一目标部位和第二目标部位的第三物理空间关系,并对第二对应关系和第四投影关系进行分析得到第一目标部位和第二目标部位的第四物理空间关系。
步骤309、基于第三物理空间关系和第三空间位置信息确定第二目标部位的第五空间位置信息,基于第四物理空间关系和第四空间位置信息确定第二目标部位的第六空间位置信息。
在本申请实施例中,可以对第一目标部位和第二目标部位的第三物理空间关系以及第一目标部位的第三空间位置信息进行分析,得到第二目标部位的第五空间位置信息,并对第一目标部位和第二目标部位的第四物理空间关系以及第一目标部位的第四空间位置信息进行分析得到第二目标部位的第六空间位置信息。
步骤310、基于第三空间位置信息、第四空间位置信息、第五空间位置信息、第六空间位置信息得到的物理空间关系变化信息,得到位姿变化信息。
在本申请实施例中,可以对第一目标部位的第三空间位置信息和第四空间位置信息进行比对确定第一目标部位的物理空间变化信息,并根据物理空间变化信息得到第一目标部位的位置变化信息和姿态变化信息,并可以对第二目标部位的第五空间位置信息和第六空间位置信息进行比对确定第二目标部位的物理空间变化信息,并根据第二目标部位的物理空间变化信息得到第二目标部位的位置变化信息和姿态变化信息。
需要说明的是,当目标部位还包括第三目标部位时,确定第三目标部位的位置变化信息和姿态变化信息与确定第二目标部位的位置变化信息和姿态变化信息的实现过程相同,本申请实施例再此不再赘述。
步骤311、获得可见部位在获取至少两帧投影图像时所对应的采集时刻的位姿信息,基于采集时刻的位姿信息确定可见部位的位姿变化信息。
其中,位姿信息可以包括可见部位在物理空间的位置信息和可见部位在物理空间的姿态信息。
在本申请实施例中,可以对获得可见部位在获取至少两帧投影图像时所对应的采集时刻的位置信息进行分析得到位置变化信息,并对获得可见部位在获取至少两帧投影图像时所对应的采集时刻的姿态信息进行分析得到姿态变化信息。
步骤312、基于可见部位与目标部位之间的关联关系对可见部位和目标部位的位姿变化信息进行处理,得到目标对象的动作信息。
在本申请实施例中,可以根据可见部位与目标部位之间的关联关系,对可见部位的位姿变化信息以及目标部位的位姿变化信息进行分析,得到目标对象的运动轨迹,并至少根据目标对象的运动轨迹确定目标对象的动作信息。
需要说明的是,本实施例中与其它实施例中相同步骤和相同内容的说明,可以参照其它实施例中的描述,此处不再赘述。
本申请实施例所提供的处理方法,可以至少根据被遮挡部位在至少两帧投影图像中的位姿变化信息来确定目标对象的动作信息,避免无法采集被遮挡部分的图像导致确定的目标对象的动作信息不准确的问题,提高了确定目标对象的动作信息的准确率。
基于前述实施例,本申请实施例提供一种处理装置,该装置可以应用于图1、图3、图5、图6和图11对应的实施例提供的处理方法中,参照图12所示,该处理装置4包括:
获取单元41,用于通过摄像头模组获取至少两帧目标对象的投影图像,投影图像至少包括目标对象的目标部位在目标光源下的投影的图像,目标部位是目标对象在摄像头模组的取景方向上被遮挡的部位;
确定单元42,用于确定目标部位在至少两帧投影图像中的位姿变化信息;
确定单元42,还用于至少基于位姿变化信息确定目标对象的动作信息。
在本申请实施例中,获取单元41,还用于
在摄像头模组获取每一帧图像的过程中,控制目标光源的至少三个光源依次发光,以得到包括目标部位的至少三个投影的一帧图像,其中,通过至少三个光源能够获得目标对象至少360度的投影。
在本申请实施例中,确定单元42,还用于:
获得目标对象的相邻两部位在物理空间和投影图像之间的对应关系,相邻两部位中至少包括目标对象的一目标部位;
获得目标对象的相邻两部位在第一帧投影图像和第二帧投影图像中的投影关系,第一帧投影图像和第二帧投影图像至少具有时序上的关联关系;
基于对应关系和投影关系确定目标对象的相邻两部位的物理空间关系变化信息,以得到位姿变化信息。
在本申请实施例中,确定单元42,还用于:
确定标定对象的可见部位和不可见部位之间的第一位置关系;其中,不可见部位是标定对象在摄像头模组的取景方向上被遮挡的部位;
获得可见部位和不可见部位在目标光源的至少三个光源下的投影图像中的第二位置关系;
确定第一位置关系和第二位置关系之间的关系矩阵,将关系矩阵确定为目标对象的相邻两部位在物理空间和投影图像之间的对应关系。
在本申请实施例中,确定单元42,还用于:
获得相邻两部位在第一帧投影图像中的至少三个帧时刻的第一投影关系,基于对应关系和第一投影关系,得到相邻两部位在获取第一帧投影图像时的第一物理空间关系;
获得相邻两部位在第二帧投影图像中的至少三个帧时刻的第二投影关系,基于对应关系和第二投影关系,得到相邻两部位在获取第二帧投影图像时的第二物理空间关系;
基于第一物理空间关系和第二物理空间关系得到物理空间关系变化信息;
其中,至少三个帧时刻是至少三个光源分别发光的时刻。
在本申请实施例中,确定单元42,还用于:
获得第一可见部位和第一目标部位在物理空间和投影图像之间的第一对应关系,第一可见部位与第一目标部位相邻;
获得第一可见部位和第一目标部位在第一帧投影图像中的第一投影关系、以及在第二帧投影图像中的第二投影关系;
基于第一对应关系和第一投影关系得到第一可见部位和第一目标部位的第一物理空间关系,基于第一对应关系和第二投影关系得到第一可见部位和第一目标部位的第二物理空间关系;
获得第一可见部位在获取第一帧投影图像时的第一空间位置信息和在获取第二帧投影图像时的第二空间位置信息;
基于第一物理空间关系和第一空间位置信息确定第一目标部位的第三空间位置信息,基于第二物理空间关系和第二空间位置信息确定第一目标部位的第四空间位置信息;
基于第三空间位置信息和第四空间位置信息得到位姿变化信息。
在本申请实施例中,确定单元42,还用于:
获得第一目标部位和第二目标部位在物理空间和投影图像之间的第二对应关系,第一目标部位与第二目标部位相邻;
获得第一目标部位和第二目标部位在第一帧投影图像中的第三投影关系、以及在第二帧投影图像中的第四投影关系;
基于第二对应关系和第三投影关系得到第一目标部位和第二目标部位的第三物理空间关系,基于第二对应关系和第四投影关系得到第一目标部位和第二目标部位的第四物理空间关系;
基于第三物理空间关系和第三空间位置信息确定第二目标部位的第五空间位置信息,基于第四物理空间关系和第四空间位置信息确定第二目标部位的第六空间位置信息;
基于第三空间位置信息、第四空间位置信息、第五空间位置信息、第六空间位置信息得到的物理空间关系变化信息,得到位姿变化信息。
在本申请实施例中,确定单元42,还用于:
获得目标对象的可见部位的位姿变化信息,基于可见部位和目标部位的位姿变化信息确定目标对象的动作信息。
在本申请实施例中,确定单元42,还用于:
获得可见部位在获取至少两帧投影图像时所对应的采集时刻的位姿信息,基于采集时刻的位姿信息确定可见部位的位姿变化信息;
基于可见部位与目标部位之间的关联关系对可见部位和目标部位的位姿变化信息进行处理,得到目标对象的动作信息。
需要说明的是,本申请实施例中各单元之间的交互过程,可以参照图1、图3、图5、图6和图11对应的实施例提供的处理方法的实现过程,此处不再赘述。
本申请实施例所提供的处理装置,可以根据被遮挡部位在至少两帧投影图像中的位姿变化信息来确定目标对象的动作信息,避免无法采集被遮挡部分的图像导致确定的目标对象的动作信息不准确的问题,提高了确定目标对象的动作信息的准确率。
基于前述实施例,本申请的实施例提供一种电子设备,该电子设备5可以应用于图1、图3、图5、图6和图11对应的实施例提供的处理方法中,参照图13所示,该电子设备5包括:存储器51、处理器52和通信总线53;
通信总线53用于实现处理器52和存储器51之间的通信连接;
处理器52用于执行存储器51中存储的处理程序,以实现上述图1、图3、图5、图6和图11对应的实施例提供的处理方法的步骤。
本申请实施例所提供的电子设备,可以根据被遮挡部位在至少两帧投影图像中的位姿变化信息来确定目标对象的动作信息,避免无法采集被遮挡部分的图像导致确定的目标对象的动作信息不准确的问题,提高了确定目标对象的动作信息的准确率。
基于前述实施例,本申请实施例提供一种计算机可读存储介质,该计算机可读存储介质存储有一个或者多个程序,该一个或者多个程序可被一个或者多个处理器执行,以实现图1、图3、图5、图6和图11对应的实施例提供的处理方法中的步骤。
需要说明的是,上述计算机可读存储介质可以是只读存储器(Read Only Memory,ROM)、可编程只读存储器(Programmable Read-Only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory,FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory,CD-ROM)等存储器;也可以是包括上述存储器之一或任意组合的各种电子设备,如移动电话、计算机、平板设备、个人数字助理等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所描述的方法。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种处理方法,包括:
通过摄像头模组获取至少两帧目标对象的投影图像,所述投影图像至少包括所述目标对象的目标部位在目标光源下的投影的图像,所述目标部位是所述目标对象在所述摄像头模组的取景方向上被遮挡的部位;
确定所述目标部位在所述至少两帧投影图像中的位姿变化信息;
至少基于所述位姿变化信息确定所述目标对象的动作信息。
2.根据权利要求1所述的方法,所述通过摄像头模组获取至少两帧目标对象的投影图像,包括:
在所述摄像头模组获取每一帧图像的过程中,控制所述目标光源的至少三个光源依次发光,以得到包括所述目标部位的至少三个投影的一帧图像,其中,通过所述至少三个光源能够获得所述目标对象至少360度的投影。
3.根据权利要求2所述的方法,其中,所述确定所述目标部位在所述至少两帧投影图像中的位姿变化信息,包括:
获得所述目标对象的相邻两部位在物理空间和投影图像之间的对应关系,所述相邻两部位中至少包括所述目标对象的一目标部位;
获得所述目标对象的相邻两部位在第一帧投影图像和第二帧投影图像中的投影关系,所述第一帧投影图像和所述第二帧投影图像至少具有时序上的关联关系;
基于所述对应关系和所述投影关系确定所述目标对象的相邻两部位的物理空间关系变化信息,以得到所述位姿变化信息。
4.根据权利要求3所述的方法,所述获得所述目标对象的相邻两部位在物理空间和投影图像之间的对应关系,包括:
确定标定对象的可见部位和不可见部位之间的第一位置关系;其中,所述不可见部位是所述标定对象在所述摄像头模组的取景方向上被遮挡的部位;
获得所述可见部位和不可见部位在所述目标光源的至少三个光源下的投影图像中的第二位置关系;
确定所述第一位置关系和所述第二位置关系之间的关系矩阵,将所述关系矩阵确定为所述目标对象的相邻两部位在物理空间和投影图像之间的对应关系。
5.根据权利要求3所述的方法,所述基于所述对应关系和所述投影关系确定所述目标对象的相邻两部位的物理空间关系变化信息,包括:
获得所述相邻两部位在第一帧投影图像中的至少三个帧时刻的第一投影关系,基于所述对应关系和所述第一投影关系,得到所述相邻两部位在获取第一帧投影图像时的第一物理空间关系;
获得所述相邻两部位在第二帧投影图像中的至少三个帧时刻的第二投影关系,基于所述对应关系和所述第二投影关系,得到所述相邻两部位在获取第二帧投影图像时的第二物理空间关系;
基于所述第一物理空间关系和所述第二物理空间关系得到所述物理空间关系变化信息;
其中,所述至少三个帧时刻是所述至少三个光源分别发光的时刻。
6.根据权利要求5所述的方法,所述基于所述对应关系和所述投影关系确定所述目标对象的相邻两部位的物理空间关系变化信息,包括:
获得第一可见部位和第一目标部位在物理空间和投影图像之间的第一对应关系,所述第一可见部位与所述第一目标部位相邻;
获得所述第一可见部位和所述第一目标部位在第一帧投影图像中的第一投影关系、以及在第二帧投影图像中的第二投影关系;
基于所述第一对应关系和所述第一投影关系得到所述第一可见部位和所述第一目标部位的第一物理空间关系,基于所述第一对应关系和所述第二投影关系得到所述第一可见部位和所述第一目标部位的第二物理空间关系;
获得第一可见部位在获取第一帧投影图像时的第一空间位置信息和在获取第二帧投影图像时的第二空间位置信息;
基于所述第一物理空间关系和所述第一空间位置信息确定所述第一目标部位的第三空间位置信息,基于所述第二物理空间关系和所述第二空间位置信息确定所述第一目标部位的第四空间位置信息;
基于所述第三空间位置信息和所述第四空间位置信息得到所述位姿变化信息。
7.根据权利要求6所述的方法,其中,还包括:
获得第一目标部位和第二目标部位在物理空间和投影图像之间的第二对应关系,所述第一目标部位与所述第二目标部位相邻;
获得所述第一目标部位和第二目标部位在第一帧投影图像中的第三投影关系、以及在第二帧投影图像中的第四投影关系;
基于所述第二对应关系和所述第三投影关系得到所述第一目标部位和第二目标部位的第三物理空间关系,基于所述第二对应关系和所述第四投影关系得到所述第一目标部位和所述第二目标部位的第四物理空间关系;
基于所述第三物理空间关系和所述第三空间位置信息确定所述第二目标部位的第五空间位置信息,基于所述第四物理空间关系和所述第四空间位置信息确定所述第二目标部位的第六空间位置信息;
基于所述第三空间位置信息、所述第四空间位置信息、所述第五空间位置信息、所述第六空间位置信息得到的物理空间关系变化信息,得到所述位姿变化信息。
8.根据权利要求6或7所述的方法,其中,至少基于所述位姿变化信息确定所述目标对象的动作信息,包括:
获得所述目标对象的可见部位的位姿变化信息,基于所述可见部位和所述目标部位的位姿变化信息确定所述目标对象的动作信息。
9.根据权利要求8所述的方法,其中,基于所述可见部位和所述目标部位的位姿变化信息确定所述目标对象的动作信息,包括:
获得所述可见部位在获取所述至少两帧投影图像时所对应的采集时刻的位姿信息,基于所述采集时刻的位姿信息确定所述可见部位的位姿变化信息;
基于所述可见部位与所述目标部位之间的关联关系对所述可见部位和所述目标部位的位姿变化信息进行处理,得到所述目标对象的动作信息。
10.一种处理装置,包括:
获取单元,用于通过摄像头模组获取至少两帧目标对象的投影图像,所述投影图像至少包括所述目标对象的目标部位在目标光源下的投影的图像,所述目标部位是所述目标对象在所述摄像头模组的取景方向上被遮挡的部位;
确定单元,用于确定所述目标部位在所述至少两帧投影图像中的位姿变化信息;
所述确定单元,还用于至少基于所述位姿变化信息确定所述目标对象的动作信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111288690.1A CN114189605B (zh) | 2021-11-02 | 2021-11-02 | 一种处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111288690.1A CN114189605B (zh) | 2021-11-02 | 2021-11-02 | 一种处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114189605A true CN114189605A (zh) | 2022-03-15 |
CN114189605B CN114189605B (zh) | 2023-10-27 |
Family
ID=80601825
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111288690.1A Active CN114189605B (zh) | 2021-11-02 | 2021-11-02 | 一种处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114189605B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001320698A (ja) * | 2000-05-12 | 2001-11-16 | Nippon Signal Co Ltd:The | 画像式監視方法、並びに、画像式監視装置およびそれを用いた安全システム |
JP2010113568A (ja) * | 2008-11-07 | 2010-05-20 | Toyota Infotechnology Center Co Ltd | 動作検出装置及びそれを用いた操作システム |
US20120057049A1 (en) * | 2010-01-07 | 2012-03-08 | Panasonic Corporation | Image processing device, image generating system, method, and program |
US20150086176A1 (en) * | 2013-09-20 | 2015-03-26 | Casio Computer Co., Ltd. | Imaging apparatus, imaging method and recording medium |
CN104537695A (zh) * | 2015-01-23 | 2015-04-22 | 贵州现代物流工程技术研究有限责任公司 | 一种抗阴影和遮挡的多运动目标检测和跟踪方法 |
CN105760849A (zh) * | 2016-03-09 | 2016-07-13 | 北京工业大学 | 基于视频的目标对象行为数据获取方法及装置 |
CN108932051A (zh) * | 2017-05-24 | 2018-12-04 | 腾讯科技(北京)有限公司 | 增强现实图像处理方法、装置及存储介质 |
US20190004597A1 (en) * | 2017-06-28 | 2019-01-03 | Shandong University | Multi-human tracking system and method with single kinect for supporting mobile virtual reality application |
CN112150551A (zh) * | 2020-09-25 | 2020-12-29 | 北京百度网讯科技有限公司 | 物体位姿的获取方法、装置和电子设备 |
-
2021
- 2021-11-02 CN CN202111288690.1A patent/CN114189605B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001320698A (ja) * | 2000-05-12 | 2001-11-16 | Nippon Signal Co Ltd:The | 画像式監視方法、並びに、画像式監視装置およびそれを用いた安全システム |
JP2010113568A (ja) * | 2008-11-07 | 2010-05-20 | Toyota Infotechnology Center Co Ltd | 動作検出装置及びそれを用いた操作システム |
US20120057049A1 (en) * | 2010-01-07 | 2012-03-08 | Panasonic Corporation | Image processing device, image generating system, method, and program |
US20150086176A1 (en) * | 2013-09-20 | 2015-03-26 | Casio Computer Co., Ltd. | Imaging apparatus, imaging method and recording medium |
CN104537695A (zh) * | 2015-01-23 | 2015-04-22 | 贵州现代物流工程技术研究有限责任公司 | 一种抗阴影和遮挡的多运动目标检测和跟踪方法 |
CN105760849A (zh) * | 2016-03-09 | 2016-07-13 | 北京工业大学 | 基于视频的目标对象行为数据获取方法及装置 |
CN108932051A (zh) * | 2017-05-24 | 2018-12-04 | 腾讯科技(北京)有限公司 | 增强现实图像处理方法、装置及存储介质 |
US20190004597A1 (en) * | 2017-06-28 | 2019-01-03 | Shandong University | Multi-human tracking system and method with single kinect for supporting mobile virtual reality application |
CN112150551A (zh) * | 2020-09-25 | 2020-12-29 | 北京百度网讯科技有限公司 | 物体位姿的获取方法、装置和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN114189605B (zh) | 2023-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210343027A1 (en) | Object tracking method and apparatus, storage medium and electronic device | |
EP2993894B1 (en) | Image capturing method and electronic apparatus | |
WO2019225547A1 (ja) | オブジェクトトラッキング装置、オブジェクトトラッキング方法およびオブジェクトトラッキングプログラム | |
WO2021190321A1 (zh) | 图像处理方法和装置 | |
CN112399188A (zh) | 图像帧拼接方法和装置、可读存储介质及电子设备 | |
CN107194968B (zh) | 图像的识别跟踪方法、装置、智能终端和可读存储介质 | |
JP2016170610A (ja) | 三次元モデル処理装置およびカメラ校正システム | |
US11113879B2 (en) | Systems and methods for generating augmented reality environments from two-dimensional drawings | |
CN109828681A (zh) | 激光笔光流轨迹跟踪方法、投影设备及计算机可读存储介质 | |
US20240071016A1 (en) | Mixed reality system, program, mobile terminal device, and method | |
CN114170302A (zh) | 相机外参标定方法、装置、电子设备及存储介质 | |
JP2020022097A (ja) | 画像処理装置、画像処理装置の制御方法、システム、及び、プログラム | |
CN112181141B (zh) | Ar定位的方法、装置、电子设备及存储介质 | |
CN114640833A (zh) | 投影画面调整方法、装置、电子设备和存储介质 | |
CN110909691B (zh) | 动作检测方法、装置、计算机可读存储介质和计算机设备 | |
CN110111364B (zh) | 运动检测方法、装置、电子设备及存储介质 | |
CN113362441A (zh) | 三维重建方法、装置、计算机设备和存储介质 | |
CN109816628B (zh) | 人脸评价方法及相关产品 | |
US20180350216A1 (en) | Generating Representations of Interior Space | |
CN114189605A (zh) | 一种处理方法及装置 | |
CN111695424A (zh) | 基于三维实景的犯罪现场还原方法、系统和存储介质 | |
CN111064947A (zh) | 基于全景的视频融合方法、系统、装置和存储介质 | |
CN108140256B (zh) | 基于显示器的取向信息显示对象的3d表示的方法、设备和程序 | |
US10698946B2 (en) | System and method for using an image to obtain search results | |
CN114093034A (zh) | 一种步态分析方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |