CN116612168A - 图像处理方法、装置、电子设备、图像处理系统及介质 - Google Patents
图像处理方法、装置、电子设备、图像处理系统及介质 Download PDFInfo
- Publication number
- CN116612168A CN116612168A CN202310429893.0A CN202310429893A CN116612168A CN 116612168 A CN116612168 A CN 116612168A CN 202310429893 A CN202310429893 A CN 202310429893A CN 116612168 A CN116612168 A CN 116612168A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- images
- information acquisition
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 41
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 238000001514 detection method Methods 0.000 claims description 136
- 238000000034 method Methods 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 14
- 238000007499 fusion processing Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 5
- 239000004973 liquid crystal related substance Substances 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 10
- 230000009471 action Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009182 swimming Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000005308 sum rule Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
Abstract
本公开提供了图像处理方法、图像处理装置、电子设备、图像处理系统、存储介质以及程序产品,涉及人工智能技术领域,尤其涉及计算机视觉技术领域等。具体实现方案为:基于第一信息采集装置采集的目标第一图像,确定目标第一图像中的目标对象与目标平面之间的拍摄距离,目标平面为第二信息采集装置中的多个目标第二信息采集单元所处的平面;基于拍摄距离,确定拼接参数;以及基于拼接参数,对由多个目标第二信息采集单元采集的多个目标第二图像进行拼接,生成目标图像。
Description
技术领域
本公开涉及人工智能技术领域,尤其涉及计算机视觉技术领域等,具体涉及图像处理方法、图像处理装置、电子设备、图像处理系统、存储介质以及程序产品。
背景技术
计算机视觉技术是一门研究如何使用计算机“看”的科学。可以将计算机视觉技术应用于图像识别、图像语义理解、图像检索、三维对象重建、虚拟现实、同步定位与地图构建等场景中。针对每个场景,如何利用计算机视觉技术使得生成的结果合理且精准,值得探索。
发明内容
本公开提供了一种图像处理方法、图像处理装置、电子设备、图像处理系统、存储介质以及程序产品。
根据本公开的一方面,提供了一种图像处理方法,包括:基于第一信息采集装置采集的目标第一图像,确定上述目标第一图像中的目标对象与目标平面之间的拍摄距离,其中,上述目标平面为第二信息采集装置中的多个目标第二信息采集单元所处的平面;基于上述拍摄距离,确定拼接参数;以及基于上述拼接参数,对由上述多个目标第二信息采集单元采集的多个目标第二图像进行拼接,生成目标图像。
根据本公开的另一方面,提供了一种图像处理系统,包括:第一信息采集装置,用于采集目标第一图像;第二信息采集装置,包括多个目标第二信息采集单元,上述目标第二信息采集单元用于采集目标第二图像;以及处理器,用于接收上述目标第一图像、上述多个目标第二图像,基于上述目标第一图像,确定上述目标第一图像中的目标对象与目标平面之间的拍摄距离,基于上述拍摄距离,确定拼接参数,基于上述拼接参数,将上述多个目标第二图像进行拼接,生成目标图像,其中,上述目标平面为上述多个目标第二信息采集单元所处平面。
根据本公开的的另一方面,提供了一种图像处理装置,包括:距离确定模块,用于基于第一信息采集装置采集的目标第一图像,确定上述目标第一图像中的目标对象与目标平面之间的拍摄距离,其中,上述目标平面为第二信息采集装置中的多个目标第二信息采集单元所处的平面;参数确定模块,用于基于上述拍摄距离,确定拼接参数;以及生成模块,用于基于上述拼接参数,对由上述多个目标第二信息采集单元采集的多个目标第二图像进行拼接,生成目标图像。
根据本公开的另一方面,提供了一种电子设备,包括:至少一个处理器;以及与上述至少一个处理器通信连接的存储器;其中,上述存储器存储有可被上述至少一个处理器执行的指令,上述指令被上述至少一个处理器执行,以使上述至少一个处理器能够执行如本公开的方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,上述计算机指令用于使上述计算机执行如本公开的方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,上述计算机程序在被处理器执行时实现如本公开的方法。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1示意性示出了根据本公开实施例的图像处理系统的结构示意图;
图2示意性示出了根据本公开实施例的图像处理方法的流程图;
图3A示意性示出了根据本公开实施例的确定目标第二图像的示意图;
图3B示意性示出了根据本公开另一实施例的确定目标第二图像的示意图;
图4示意性示出了根据本公开实施例的确定拍摄距离的示意图;
图5示意性示出了根据本公开实施例的生成目标图像的流程示意图;
图6示意性示出了根据本公开实施例的图像处理装置的框图;以及
图7示意性示出了根据本公开实施例的适于实现图像处理方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本公开提供了一种图像处理方法、图像处理装置、电子设备、图像处理系统、存储介质以及程序产品。
根据本公开的实施例,提供了一种图像处理方法,包括:基于第一信息采集装置采集的目标第一图像,确定目标第一图像中的目标对象与目标平面之间的拍摄距离,其中,目标平面为第二信息采集装置中的多个目标第二信息采集单元所处的平面;基于拍摄距离,确定拼接参数;以及基于拼接参数,对由多个目标第二信息采集单元采集的多个目标第二图像进行拼接,生成目标图像。
根据本公开的实施例,提供的一种图像处理系统,包括:第一信息采集装置,用于采集目标第一图像;第二信息采集装置,包括多个目标第二信息采集单元,目标第二信息采集单元用于采集目标第二图像;以及处理器,用于接收目标第一图像、多个目标第二图像,基于目标第一图像,确定目标第一图像中的目标对象与目标平面之间的拍摄距离,基于拍摄距离,确定拼接参数,基于拼接参数,将多个目标第二图像进行拼接,生成目标图像。目标平面为多个目标第二信息采集单元所处平面。
在本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理,均符合相关法律法规的规定,采取了必要保密措施,且不违背公序良俗。
在本公开的技术方案中,在获取或采集用户个人信息之前,均获取了用户的授权或同意。
图1示意性示出了根据本公开实施例的图像处理系统的结构示意图。
需要注意的是,图1所示仅为可以应用本公开实施例的系统架构的示例,以帮助本领域技术人员理解本公开的技术内容。
如图1所示,根据该实施例的图像处理系统100可以包括第一信息采集装置101、第二信息采集装置102、网络103和处理器104。网络103用以在第一信息采集装置101、第二信息采集装置102和处理器104之间提供通信链路的介质。网络103可以包括各种连接类型,例如有线和/或无线通信链路等等。
可以使用第一信息采集装置101、第二信息采集装置102通过网络103向处理器104发送图像或者视频等信息。
第一信息采集装置101可以包括多个第一信息采集单元。第二信息采集装置102可以包括多个第二信息采集单元。第一信息采集单元和第二信息采集单元可以分别为用于采集图像或者视频的装置。例如,可以包括事件相机、深度相机、双目相机等。
对第一信息采集装置101和第二信息采集装置102的设置位置不做限定。例如,第一信息采集装置101的采集范围可以竖直向上或者竖直向下。第二信息采集装置102的采集范围可以水平360度。
处理器104可以是提供各种服务的处理器,例如对图像进行拼接、识别、姿态分析等。
需要说明的是,本公开实施例所提供的图像处理方法一般可以由处理器执行。
例如,第一信息采集装置采集关于目标对象的目标第一图像,多个第二信息采集单元采集关于目标对象的目标第二图像。处理器接收目标第一图像和多个目标第二图像。基于目标第一图像确定目标对象与目标平面之间的拍摄距离。基于拍摄距离,确定拼接参数。基于拼接参数,对多个目标第二图像进行拼接,生成目标图像。
应该理解,图1中的第一信息采集单元、第二信息采集单元、网络和处理器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的第一信息采集单元、第二信息采集单元、网络和处理器。
根据本公开的实施例,第一信息采集装置可以包括多个第一信息采集单元,每个第一信息采集单元用于采集第一图像。处理器用于接收多个第一图像,对多个第一图像分别进行目标检测,得到多个第一检测结果,基于多个第一检测结果,从多个第一图像中确定目标第一图像。
根据本公开的实施例,第二信息采集装置可以包括多个第二信息采集单元,每个第二信息采集单元用于采集第二图像。处理器用于接收接收多个第二图像,对多个第二图像分别进行目标检测,得到多个第二检测结果,基于多个第二检测结果,从多个第二图像中确定多个目标第二图像,并将与多个目标第二图像一一对应的多个第二信息采集单元作为多个第二目标采集单元。
与人工录制方式相比,利用本公开实施例提供的图像处理系统,能够自动采集关于目标对象的信息,获取多视角的实时同步图像,并能自动生成目标图像。以便基于目标图像自动输出量化分析结果,由此提高自动化和智能化。
需要说明的是,处理器所执行的操作,可以通过下述图像处理方法的具体介绍来了解,在此不做赘述。
应注意,以下方法中各个操作的序号仅作为该操作的表示以便描述,而不应被看作表示该各个操作的执行顺序。除非明确指出,否则该方法不需要完全按照所示顺序来执行。
图2示意性示出了根据本公开实施例的图像处理方法的流程图。
如图2所示,该方法200包括操作S210~S230。
在操作S210,基于第一信息采集装置采集的目标第一图像,确定目标第一图像中的目标对象与目标平面之间的拍摄距离。目标平面为第二信息采集装置中的多个目标第二信息采集单元所处的平面。
在操作S220,基于拍摄距离,确定拼接参数。
在操作S230,基于拼接参数,对由多个目标第二信息采集单元采集的多个目标第二图像进行拼接,生成目标图像。
根据本公开的实施例,第一信息采集装置可以为用于采集目标对象的图像或者视频等信息的装置。第二信息采集单元也可以为用于采集目标对象的图像或者视频等信息的装置。
根据本公开的实施例,可以将第一信息采集装置设置于泳池底部,竖直向上采集关于目标对象例如游泳运动员的图像。可以将第二信息采集装置设置于泳池的侧壁,水平朝向泳池内采集关于目标对象例如游泳运动员的图像。但是并不局限于此。还可以将第一信息采集装置设置于场馆的侧壁上,用于水平朝向场馆内采集关于目标对象例如羽毛球运动员的图像。可以将第二信息采集装置设置于场馆的顶部,竖直向下采集关于目标对象例如羽毛球运动员和羽毛球的图像。对第一信息采集装置和第二信息采集装置的设置方式不做限定,只要是通过第一信息采集装置和第二信息采集装置,采集到关于目标对象的不同视角的多个图像即可。
根据本公开的实施例,可以利用第一信息采集装置采集的目标第一图像,确定目标对象与目标平面之间的拍摄距离。该拍摄距离可以用于表征目标对象与第二信息采集装置中的目标第二信息采集单元之间的物距。可以用垂直距离表示。
根据本公开的实施例,第二信息采集装置中的多个目标第二信息采集单元处于同一目标平面内,且采集信息的朝向相同。可以对由多个目标第二信息采集单元采集的多个目标第二图像进行水平拼接即可。可以基于拍摄距离,确定拼接参数。拼接参数可以用于表征多个目标第二图像彼此之间的拼接宽度。可以基于拼接参数,对多个目标第二图像进行拼接,生成目标图像。
根据本公开的实施例,多个目标第二信息采集单元彼此之间为部分视角重叠的信息采集单元。例如,目标第二图像P1包括目标对象的A部分和B部分,目标第二图像P2包括目标对象的B部分和C部分。目标第二图像P1和目标第二图像P2两者具有重叠的部分目标对象,例如均包括目标对象的B部分,且目标第二图像P1和目标第二图像P2各自的目标对象均是不完整的。可以对目标第二图像P1和目标第二图像P2进行拼接,得到目标图像,以使得目标图像中的目标对象为完整的对象,例如目标图像中包括目标对象的A部分、B部分和C部分。
根据本公开的实施例,利用目标第一图像确定目标对象与目标第二信息采集单元之间的拍摄距离,能够保证拼接参数的动态调整,进而能够保证拼接参数的精度。由此使得基于拼接参数生成的目标图像,拼接边缘的视差感弱、真实性强。利用上述图像处理方法能够保证目标图像中目标对象的完整性,进而使得利用目标图像对目标对象进行分析的有效性和精准性。
根据相关示例,可以固定拼接参数,基于固定拼接参数,对多个目标第二图像进行拼接,生成目标图像。
与通过固定拼接参数生成目标图像的方式相比,利用本公开实施例提供的图像处理方法,使得拼接参数根据拍摄距离动态可调,由此避免因固定拼接参数而导致的目标对象不完整的问题。
根据相关示例,可以基于目标第二信息采集单元采集的目标第二图像来确定目标对象与目标第二信息采集单元之间的物距。基于物距确定拼接参数。基于拼接参数对多个目标第二图像进行拼接,生成目标图像。
与通过目标第二图像来确定物距的方式相比,利用本公开实施例提供的图像处理方法,能够利用与第二信息采集单元的拍摄视角不同的第一信息采集装置所采集的目标第一图像来确定拍摄距离,由此使得拍摄距离精准有效的同时,处理效率高。
根据本公开的实施例,第一信息采集装置可以包括一个第一信息采集单元。将第一信息采集单元作为目标第一信息采集单元。但是并不局限于此。第一信息采集装置还可以包括多个第一信息采集单元。多个第一信息采集单元设置于不同的位置。可以从多个第一信息采集单元中确定目标第一信息采集单元。可以通过如下操作确定目标第一信息采集单元。
根据本公开的实施例,在执行针对如图2所示的操作S210之前,图像处理方法还可以包括如下操作。
例如,获取第一信息采集装置中的多个第一信息采集单元各自采集的第一图像。对多个第一图像分别进行目标检测,得到多个第一检测结果。基于多个第一检测结果,从多个第一图像中确定目标第一图像。
根据本公开的实施例,多个第一信息采集单元可以采集同一方向不同位置的信息,得到多个第一图像。多个第一图像与多个第一信息采集单元一一对应。可以对多个第一图像分别进行目标检测,得到多个第一检测结果。每个第一检测结果可以用于表征第一图像中是否存在目标对象。但是并不局限于此。每个第一检测结果还可以包括:目标对象的对象检测框和对象类别等。
根据本公开的实施例,可以利用目标检测模型对第一图像进行目标检测,得到第一检测结果。目标检测模型不做限定,只要是能够识别目标对象的模型即可。
根据本公开的实施例,基于多个第一检测结果,从多个第一图像中确定目标第一图像可以包括:将与用于表征第一图像中包括目标对象的第一检测结果相对应的第一图像作为目标第一图像。将采集目标第一图像的第一信息采集单元作为目标第一信息采集单元。
根据本公开的实施例,利用第一检测结果从多个第一图像中确定目标第一图像,能够使得目标第一图像精准有效的同时,处理效率高。
根据本公开的实施例,第二信息采集装置可以包括两个第二信息采集单元。将两个第二信息采集单元作为两个目标第二信息采集单元。但是并不局限于此。第二信息采集装置还可以包括至少三个第二信息采集单元。至少三个第二信息采集单元设置于不同的位置。可以从至少三个第二信息采集单元中确定至少两个目标第二信息采集单元。可以通过如下操作确定目标第二信息采集单元。
根据本公开的实施例,在执行针对如图2所示的操作S210之前,图像处理方法还可以包括如下操作。
例如,获取第二信息采集装置中的多个第二信息采集单元各自采集的第二图像。对多个第二图像分别进行目标检测,得到多个第二检测结果。基于多个第二检测结果,从多个第二图像中确定多个目标第二图像,并将与多个目标第二图像一一对应的多个第二信息采集单元作为多个第二目标采集单元。
根据本公开的实施例,多个第二信息采集单元可以采集同一方向不同位置的信息,得到多个第二图像。多个第二图像与多个第二信息采集单元一一对应。可以对多个第二图像分别进行目标检测,得到多个第二检测结果。每个第二检测结果可以用于表征第二图像中是否存在目标对象。但是并不局限于此。每个第二检测结果还可以包括:目标对象的对象检测框和对象类别等。
根据本公开的实施例,可以利用目标检测模型对第二图像进行目标检测,得到第二检测结果。目标检测模型不做限定,只要是能够识别目标对象的模型即可。
根据本公开的实施例,基于多个第二检测结果,从多个第二图像中确定多个目标第二图像可以包括:将与用于表征第二图像中包括目标对象的第二检测结果相对应的第二图像作为目标第二图像。将采集目标第二图像的第二信息采集单元作为目标第二信息采集单元。
根据本公开的实施例,利用第二检测结果从多个第二图像中确定多个目标第二图像,能够使得目标第二图像精准有效的同时,处理效率高。
图3A示意性示出了根据本公开实施例的确定目标第二图像的示意图。
如图3A所示,目标对象P310处于第一位置处,同时位于第二信息采集单元P_A的采集范围C310和第二信息采集单元P_B的采集范围C320内。对第二信息采集单元P_A采集的第二图像A和第二信息采集单元P_B采集的第二图像B分别进行目标检测,得到第二图像A的第二检测结果A和第二图像B的第二检测结果B。基于第二检测结果A和第二检测结果B,确定第二图像A和第二图像B中均包括目标对象。可以将第二图像A和第二图像B分别确定为目标第二图像。可以将第二信息采集单元P_A和第二信息采集单元P_B均作为目标第二信息采集单元。
根据本公开的实施例,基于多个第二检测结果,从多个第二图像中确定多个目标第二图像,还可以包括:从多个第二检测结果中确定目标第二检测结果。在确定目标第二检测结果的数量大于或者等于预定数量阈值的情况下,基于目标第二检测结果,从多个第二图像中确定多个目标第二图像。在确定目标第二检测结果的数量小于预定数量阈值的情况下,停止执行后续操作。
根据本公开的实施例,可以将用于表征第二图像中包括目标图像的第二检测结果确定为目标第二检测结果。确定目标第二检测结果的数量。目标第二检测结果的数量可以包括0、1、2、3或者大于3的整数。可以预定数量阈值为2。在确定目标检测结果的数量大于或者等于2的情况下,说明存在多个目标第二图像,可以对多个目标第二图像进行拼接,则可以执行如图2所示的操作S210~S230。在确定目标检测结果的数量小于2的情况下,则说明存在一个目标第二图像或者不存在目标第二图像。可以停止执行后续拼接操作。
根据本公开的实施例,确定目标第二检测结果的数量,在确定目标第二检测结果的数量大于或者等于预定数量阈值的情况下,执行后续操作,由此提高处理效率,避免无效操作频繁发生。
根据本公开的其他实施例,图像处理方法还可以采用如下操作来确定多个目标第二图像。
例如,基于目标第一图像,确定目标对象的对象位置。基于对象位置,从第二信息采集装置中确定多个目标第二信息采集单元,并将多个目标第二信息采集单元所采集的第二图像作为多个目标第二图像。
根据本公开的实施例,基于目标第一图像,确定目标对象的对象位置,可以包括:从目标第一图像中确定目标对象的对象检测框和参照物的参照物检测框。基于对象检测框与参照物检测框之间的位置关系,确定多个第二信息采集单元各自与目标对象之间的位置关系。基于多个第二信息采集单元各自与目标对象之间的位置关系,从第二信息采集装置中确定多个目标第二信息采集单元。
根据本公开的实施例,利用目标对象的对象位置从多个第二信息采集单元中确定多个目标第二信息采集单元,能够提高处理效率,降低反应时间,进而提高目标图像的生成速度,以提高对目标对象的跟踪、分析的实效性。
图3B示意性示出了根据本公开另一实施例的确定目标第二图像的示意图。
如图3B所示,参照物C A处于第二信息采集单元P_A与第二信息采集单元P B之间的前方。参照物C B处于第二信息采集单元P B与第二信息采集单元P C之间的前方。可以预先确定固定的参照物C A、参照物C_B等与固定的多个第二信息采集单元彼此之间的相对位置。基于目标第一信息采集单元P_A采集到的目标第一图像,确定目标对象P310的对象检测框和参照物C_A的参照物检测框之间的位置关系,例如部分重叠。
如图3B所示,基于目标对象P310的对象检测框与参照物C_A的参照物检测框之间的位置关系,可以确定目标对象P310处于第二信息采集单元P_A与第二信息采集单元P_B之间的前方。由此可以确定第二信息采集单元P_A与第二信息采集单元P_B分别为目标第二信息采集单元。第二信息采集单元P_A与第二信息采集单元P_B分别采集的第二图像为目标第二图像。
根据本公开的实施例,不仅可以利用参照物从多个第二信息采集单元中确定目标第二信息采集单元。还可以利用参照物确定拍摄距离。
例如,针对如图2所示的操作S210,基于目标第一图像,确定目标第一图像中的目标对象与目标平面之间的拍摄距离,包括:从目标第一图像中确定目标对象的对象检测框和参照物的参照物检测框。基于对象检测框与参照物检测框之间的位置关系,确定拍摄距离。
图4示意性示出了根据本公开实施例的确定拍摄距离的示意图。
如图4所示,第二信息采集单元P_A与第二信息采集单元P_B处于目标平面410上,面向Y轴方向。目标对象P410位于目标平面410前方,沿X轴方向运动。目标第一信息采集单元采集到关于目标对象的目标第一图像。对目标第一图像进行目标检测,得到第一检测结果。第一检测结果包括目标对象P410的对象检测框和参照物C_A的参照物检测框。基于对象检测框和参照物检测框,确定目标对象P410与参照物C_A之间在世界坐标系下的位置关系。例如,位置关系用于表征目标对象P410与参照物C_A之间在Y轴方向上的纵向间距。可以基于参照物C_A与目标平面410之间的第二纵向间距H2,以及目标对象P410与参照物C_A之间在Y轴方向上的第一纵向间距H1,确定目标对象P410与目标平面410之间的目标纵向间距H3,即拍摄距离。
根据本公开的实施例,基于对象检测框和参照物的参照物检测框,能够利用固定设置的参照物来确定目标对象与目标平面之间的拍摄距离。所确定的拍摄距离精准且有效的同时,提高处理效率。进而提高拼接操作的时效性。
需要说明的是,可以基于目标对象P410与参照物C_A之间在世界坐标系下的位置关系,确定目标对象P410与参照物C_A之间在X轴方向上的横向间距。基于横向间距以及参照物与第二信息采集单元P_A与第二信息采集单元P_B各自之间的位置关系,确定目标对象是否同时处于第二信息采集单元P_A与第二信息采集单元P_B各自的采集范围内。进而确定第二信息采集单元P_A与第二信息采集单元P_B是否为目标第二信息采集单元。
根据本公开的实施例,可以将目标对象与目标平面之间的垂直距离作为拍摄距离。但是并不局限于此。还可以将目标对象与目标中间点之间的距离作为拍摄距离。目标中间点为多个目标第二信息采集单元之间的几何中心点。
与将目标对象与目标中间点之间的距离作为拍摄距离相比,将目标对象与目标平面之间的垂直距离作为拍摄距离,能够保证拼接参数的准确性的同时,提高处理效率。在多个目标第二信息采集单元处于同一平面的情况下,可以避免多次重复用于确定拍摄距离的基准。
根据本公开的实施例,针对如图2所示的操作S220,基于拍摄距离,确定拼接参数,可以包括如下操作。
例如,基于拍摄距离和预定映射关系,确定拼接参数。
根据本公开的实施例,拍摄距离越大,重叠区域越多,则拼接参数越大。拍摄距离越小,重叠区域越少,则拼接参数越小。
根据本公开的实施例,预定映射关系用于表征拍摄距离与拼接参数之间的对应关系。例如,基于预定映射关系可以确定拍摄距离A与拼接参数A之间存在对应关系,拍摄距离B和拼接参照B之间存在对应关系。
根据本公开的实施例,预定映射关系可以以表格的形式存在,可以基于预定映射关系,确定与拍摄距离C相对应的拼接参数C。
根据本公开的实施例,预先生成预定映射关系,基于拍摄距离,从预定映射关系中确定拼接参数,可以使得拼接后的目标图像中的目标对象完整的同时,处理效率高。
根据本公开的可选实施例,还可以建立拍摄距离与拼接参数之间的关系图;经多次实验验证,得到拍摄距离和拼接参数之间存在映射关系的多组数据,基于多组数据,确定关系图。基于拍摄距离C,可以从关系图中确定与拍摄距离C相对应的拼接参数C。
根据本公开的实施例,利用关系图的方式,能够基于离散数据,生成连续关系图,由此可以应对任何拍摄距离,进而扩大本公开实施例提供的图像处理方法的应用范围。
根据本公开的实施例,针对如图2所示的操作S240,基于拼接参数,将由多个目标第二信息采集装置采集的多个目标第二图像进行拼接,生成目标图像,可以包括如下操作。
例如,基于拼接参数,确定拼接宽度。确定多个目标第二图像彼此之间的拼接关系。基于拼接关系和拼接宽度,对多个目标第二图像进行拼接,生成目标图像。
根据本公开的实施例,拼接关系可以理解为覆盖关系。可以基于目标对象的运动方向,确定拼接关系。例如,按照目标对象的运动方向,将前向的目标第二图像覆盖至后向的目标第二图像上。例如,目标对象由左向右移动,则拼接关系为靠右的目标第二图像覆盖靠左的目标第二图像。拼接宽度可以理解为覆盖宽度或者重叠宽度。
根据本公开的实施例,基于拼接关系和拼接宽度,对多个目标第二图像进行拼接,生成目标图像。生成方式简单。
根据本公开的实施例,基于拼接关系和拼接宽度,对多个目标第二图像进行拼接,生成拼接图像。可以直接将拼接图像作为目标图像。但是并不局限于此。还可以对拼接处理进行边缘融合处理,得到目标图像。
例如,基于拼接关系和拼接宽度,对多个目标第二图像进行拼接,生成拼接图像。对拼接图像的拼接边缘进行边缘融合处理,生成目标图像。
根据本公开的实施例,对拼接图像的拼接边缘进行边缘融合处理,边缘融合处理的方式不做具体限定。例如,可以采用拉普拉斯金字塔边缘融合方式。但是并不局限于此。还可以采用基于自适应三角网格的线性插值的融合算法。
根据本公开的实施例,对拼接图像的拼接边缘进行边缘融合处理,能够柔化拼接边缘,由此使得生成的目标图像为消除了接缝处的割裂感的图像。
图5示意性示出了根据本公开实施例的生成目标图像的流程示意图。
如图5所示,目标对象P510处于第一位置处,同时位于第二信息采集单元P_A的采集范围和第二信息采集单元P_B的采集范围内。确定第二信息采集单元P_A和第二信息采集单元P_B分别为目标第二信息采集单元。将第二信息采集单元P_A采集的目标第二图像510和第二信息采集单元P_B采集的目标第二图像520进行拼接。确定目标对象P510与目标平面之间的拍摄距离H。基于拍摄距离,确定拼接参数。基于拼接参数,确定拼接宽度L。确定目标对象P510的运动方向为沿X轴箭头方向。则确定目标第二图像520覆盖目标第二图像510的拼接关系。基于拼接宽度和拼接关系,对目标第二图像520和目标第二图像510进行拼接,生成目标图像530。
根据本公开的实施例,针对如图2所示的操作S240之后,图像处理方法还可以包括如下操作。
例如,基于目标图像,对目标对象进行重建,得到目标对象的第一模型。基于目标第一图像,对目标对象进行重建,得到目标对象的第二模型。基于第一模型和第二模型,生成目标模型。
根据本公开的实施例,基于目标图像,对目标对象进行重建,得到目标对象的第一模型,可以包括:对目标图像进行姿态分析,得到关于目标对象的第一姿态参数。基于第一姿态参数,对目标对象进行重建,得到目标对象的第一模型。
根据本公开的实施例,对目标图像进行姿态分析,得到关于目标对象的第一姿态参数,可以包括:将目标图像输入至视觉编码解码器中,得到第一潜在编码。将第一潜在编码输入至输出层中,得到第一姿态参数。输出层可以包括全连接层和激活函数。将第一姿态参数输入至SMPL(Skinned Multi-Person Linear Model,蒙皮多人线性模型)模型,得到第一模型。但是并不局限于此。还可以通过2D-3D人体姿态识别算法,对目标图像进行处理,得到第一模型。
根据本公开的实施例,基于目标第一图像,对目标对象进行重建,得到目标对象的第二模型,可以包括:对目标第一图像进行姿态分析,得到关于目标对象的第二姿态参数。基于第二姿态参数,对目标对象进行重建,得到目标对象的第二模型。
根据本公开的实施例,对目标第一图像进行姿态分析,得到关于目标对象的第二姿态参数,可以包括:将目标第一图像输入至视觉编码解码器中,得到第二潜在编码。将第二潜在编码输入至输出层中,得到第二姿态参数。输出层可以包括全连接层和激活函数。将第二姿态参数输入至SMPL(Skinned Multi-Person Linear Model,蒙皮多人线性模型)模型,得到第二模型。还可以通过2D-3D人体姿态识别算法,对目标第一图像进行处理,得到第二模型。
根据本公开的实施例,基于第一模型和第二模型,生成目标模型,可以包括:对第一模型和第二模型进行加权求和,生成目标模型。但是并不局限于此。还可以包括:基于第一模型,确定目标对象的第一三维关键点信息。基于第二模型,确定目标对象的第二三维关键点信息。基于第一三维关键点信息和第二三维关键点信息,确定目标三维关键点信息。将目标三维关键点信息作为目标模型。可以对第一三维关键点信息和第二三维关键点信息进行加权求和,生成目标三维关键点信息。
根据本公开的实施例,在对第一模型和第二模型进行加权求和,生成目标模型的过程中,或者在对第一三维关键点信息和第二三维关键点信息进行加权求和,生成目标三维关键点信息的过程中,可以按照预定加权求和规则,分别为第一模型和第二模型配置权重,或者分别为第一三维关键点信息和第二三维关键点信息配置权重。预定加权求和规则可以包括:以目标图像为主要信息,目标第一图像为辅助信息。与目标图像相对应的权重大于与目标第一图像相对应的权重。例如,与第一模型相对应的权重大于与第二模型相对应的权重。
根据本公开的其他实施例,可以基于目标图像,对目标对象进行重建,得到目标对象的目标模型。也可以基于目标第一图像,对目标对象进行重建,得到目标对象的目标模型。
与仅基于目标图像生成目标模型的方式相比,或者与仅基于目标第一图像生成目标模型的方式相比,利用本公开实施例提供的方式,能够结合多视角的图像信息,由此生成的目标模型精准且有效的同时,信息完整性高。
根据本公开的实施例,可以对目标模型进行动作识别,确定目标模型的动作模式。动作模式可以包括划水、换气、转身等。可以将目标模型与多个预定动作模式模型进行比对,从多个预定动作模式模型中确定目标动作模式模型。基于该目标动作模式模型,确定目标模型的动作模式。
根据本公开的实施例,可以将本公开实施例提供的图像处理方法应用于游泳运动场景中。获取关于目标对象例如游泳运动员的目标图像和第一目标图像。基于目标图像和第一目标图像,生成关于游泳运动员的目标模型。基于目标模型,确定游泳运动员在训练或者比赛过程中,手臂与腿部的摆动频率、幅度、角度等动作细节,实现游泳全程的高清动作捕捉。以供运动员针对技术细节进一步提升。
图6示意性示出了根据本公开实施例的图像处理装置的框图。
如图6所示,图像处理装置600,包括:距离确定模块610、参数确定模块620以及生成模块630。
距离确定模块610,用于基于第一信息采集装置采集的目标第一图像,确定目标第一图像中的目标对象与目标平面之间的拍摄距离。目标平面为第二信息采集装置中的多个目标第二信息采集单元所处的平面。
参数确定模块620,用于基于拍摄距离,确定拼接参数。
生成模块630,用于基于拼接参数,对由多个目标第二信息采集单元采集的多个目标第二图像进行拼接,生成目标图像。
根据本公开的实施例,图像处理装置还包括:第一获取模块、第一检测模块以及第一图像确定模块。
第一获取模块,用于获取第一信息采集装置中的多个第一信息采集单元各自采集的第一图像。
第一检测模块,用于对多个第一图像分别进行目标检测,得到多个第一检测结果。
第一图像确定模块,用于基于多个第一检测结果,从多个第一图像中确定目标第一图像。
根据本公开的实施例,图像处理装置还包括:第二获取模块、第二检测模块以及第二图像确定模块。
第二获取模块,用于获取第二信息采集装置中的多个第二信息采集单元各自采集的第二图像。
第二检测模块,用于对多个第二图像分别进行目标检测,得到多个第二检测结果。
第二图像确定模块,用于基于多个第二检测结果,从多个第二图像中确定多个目标第二图像,并将与多个目标第二图像一一对应的多个第二信息采集单元作为多个第二目标采集单元。
根据本公开的实施例,第二检测模块包括:第一检测单元以及第一确定单元。
第一检测单元,用于从多个第二检测结果中确定目标第二检测结果。
第一确定单元,用于在确定目标第二检测结果的数量大于或者等于预定数量阈值的情况下,基于目标第二检测结果,从多个第二图像中确定多个目标第二图像。
根据本公开的实施例,距离确定模块包括:第二确定单元以及第三确定单元。
第二确定单元,用于从目标第一图像中确定目标对象的对象检测框和参照物的参照物检测框。
第三确定单元,用于基于对象检测框与参照物检测框之间的位置关系,确定拍摄距离。
根据本公开的实施例,参数确定模块包括:参数确定单元。
参数确定单元,用于基于拍摄距离和预定映射关系,确定拼接参数。预定映射关系用于表征拍摄距离与拼接参数之间的对应关系。
根据本公开的实施例,生成模块包括:宽度确定单元、关系确定单元以及生成单元。
宽度确定单元,用于基于拼接参数,确定拼接宽度。
关系确定单元,用于确定多个目标第二图像彼此之间的拼接关系。
生成单元,用于基于拼接关系和拼接宽度,对多个目标第二图像进行拼接,生成目标图像。
根据本公开的实施例,生成单元包括:拼接子单元以及融合子单元。
拼接子单元,用于基于拼接关系和拼接宽度,对多个目标第二图像进行拼接,生成拼接图像。
融合子单元,用于对拼接图像的拼接边缘进行边缘融合处理,生成目标图像。
根据本公开的实施例,图像处理装置还包括:第一重建模块、第二重建模块以及模型生成模块。
第一重建模块,用于基于目标图像,对目标对象进行重建,得到目标对象的第一模型。
第二重建模块,用于基于目标第一图像,对目标对象进行重建,得到目标对象的第二模型。
模型生成模块,用于基于第一模型和第二模型,生成目标模型。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
根据本公开的实施例,一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行如本公开实施例的方法。
根据本公开的实施例,一种存储有计算机指令的非瞬时计算机可读存储介质,其中,计算机指令用于使计算机执行如本公开实施例的方法。
根据本公开的实施例,一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现如本公开实施例的方法。
图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示,设备700包括计算单元701,其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序,来执行各种适当的动作和处理。在RAM 703中,还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
设备700中的多个部件连接至输入/输出(I/O)接口705,包括:输入单元706,例如键盘、鼠标等;输出单元707,例如各种类型的显示器、扬声器等;存储单元708,例如磁盘、光盘等;以及通信单元709,例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理,例如图像处理方法。例如,在一些实施例中,图像处理方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元708。在一些实施例中,计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时,可以执行上文描述的图像处理方法的一个或多个步骤。备选地,在其他实施例中,计算单元701可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行图像处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以是分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (24)
1.一种图像处理方法,包括:
基于第一信息采集装置采集的目标第一图像,确定所述目标第一图像中的目标对象与目标平面之间的拍摄距离,其中,所述目标平面为第二信息采集装置中的多个目标第二信息采集单元所处的平面;
基于所述拍摄距离,确定拼接参数;以及
基于所述拼接参数,对由所述多个目标第二信息采集单元采集的多个目标第二图像进行拼接,生成目标图像。
2.根据权利要求1所述的方法,还包括:
获取所述第一信息采集装置中的多个第一信息采集单元各自采集的第一图像;
对多个所述第一图像分别进行目标检测,得到多个第一检测结果;以及
基于所述多个第一检测结果,从多个所述第一图像中确定所述目标第一图像。
3.根据权利要求1或2所述的方法,还包括:
获取所述第二信息采集装置中的多个第二信息采集单元各自采集的第二图像;
对多个所述第二图像分别进行目标检测,得到多个第二检测结果;以及
基于所述多个第二检测结果,从多个所述第二图像中确定所述多个目标第二图像,并将与所述多个目标第二图像一一对应的多个第二信息采集单元作为所述多个第二目标采集单元。
4.根据权利要求3所述的方法,其中,所述基于所述多个第二检测结果,从多个所述第二图像中确定所述多个目标第二图像,包括:
从所述多个第二检测结果中确定目标第二检测结果;以及
在确定所述目标第二检测结果的数量大于或者等于预定数量阈值的情况下,基于所述目标第二检测结果,从多个所述第二图像中确定所述多个目标第二图像。
5.根据权利要求1至4中任一项所述的方法,其中,所述基于第一信息采集装置采集的目标第一图像,确定所述目标第一图像中的目标对象与目标平面之间的拍摄距离,包括:
从所述目标第一图像中确定所述目标对象的对象检测框和参照物的参照物检测框;以及
基于所述对象检测框与所述参照物检测框之间的位置关系,确定所述拍摄距离。
6.根据权利要求1至5中任一项所述的方法,其中,所述基于所述拍摄距离,确定拼接参数,包括:
基于所述拍摄距离和预定映射关系,确定所述拼接参数,其中,所述预定映射关系用于表征拍摄距离与拼接参数之间的对应关系。
7.根据权利要求1至6中任一项所述的方法,其中,所述基于所述拼接参数,对由所述多个目标第二信息采集单元采集的多个目标第二图像进行拼接,生成目标图像,包括:
基于所述拼接参数,确定拼接宽度;
确定所述多个目标第二图像彼此之间的拼接关系;以及
基于所述拼接关系和所述拼接宽度,对所述多个目标第二图像进行拼接,生成所述目标图像。
8.根据权利要求7所述的方法,其中,所述基于所述拼接关系和所述拼接宽度,对所述多个目标第二图像进行拼接,生成所述目标图像,包括:
所述基于所述拼接关系和所述拼接宽度,对所述多个目标第二图像进行拼接,生成拼接图像;以及
对所述拼接图像的拼接边缘进行边缘融合处理,生成所述目标图像。
9.根据权利要求1至8中任一项所述的方法,还包括:
基于所述目标图像,对所述目标对象进行重建,得到所述目标对象的第一模型;
基于所述目标第一图像,对所述目标对象进行重建,得到所述目标对象的第二模型;以及
基于所述第一模型和所述第二模型,生成目标模型。
10.一种图像处理系统,包括:
第一信息采集装置,用于采集目标第一图像;
第二信息采集装置,包括多个目标第二信息采集单元,所述目标第二信息采集单元用于采集目标第二图像;以及
处理器,用于接收所述目标第一图像、所述多个目标第二图像,基于所述目标第一图像,确定所述目标第一图像中的目标对象与目标平面之间的拍摄距离,基于所述拍摄距离,确定拼接参数,基于所述拼接参数,将所述多个目标第二图像进行拼接,生成目标图像,其中,所述目标平面为所述多个目标第二信息采集单元所处平面。
11.根据权利要求10所述的系统,其中,所述第一信息采集装置包括多个第一信息采集单元,每个所述第一信息采集单元用于采集第一图像;
所述处理器用于接收多个所述第一图像,对多个所述第一图像分别进行目标检测,得到多个第一检测结果,基于所述多个第一检测结果,从所述多个第一图像中确定所述目标第一图像。
12.根据权利要求10所述的系统,其中,所述第二信息采集装置包括多个第二信息采集单元,每个所述第二信息采集单元用于采集第二图像;
所述处理器用于接收多个所述第二图像,对多个所述第二图像分别进行目标检测,得到多个第二检测结果,基于所述多个第二检测结果,从多个所述第二图像中确定所述多个目标第二图像,并将与所述多个目标第二图像一一对应的多个第二信息采集单元作为所述多个第二目标采集单元。
13.一种图像处理装置,包括:
距离确定模块,用于基于第一信息采集装置采集的目标第一图像,确定所述目标第一图像中的目标对象与目标平面之间的拍摄距离,其中,所述目标平面为第二信息采集装置中的多个目标第二信息采集单元所处的平面;
参数确定模块,用于基于所述拍摄距离,确定拼接参数;以及
生成模块,用于基于所述拼接参数,对由所述多个目标第二信息采集单元采集的多个目标第二图像进行拼接,生成目标图像。
14.根据权利要求13所述的装置,还包括:
第一获取模块,用于获取所述第一信息采集装置中的多个第一信息采集单元各自采集的第一图像;
第一检测模块,用于对多个所述第一图像分别进行目标检测,得到多个第一检测结果;以及
第一图像确定模块,用于基于所述多个第一检测结果,从多个所述第一图像中确定所述目标第一图像。
15.根据权利要求13或14所述的装置,还包括:
第二获取模块,用于获取所述第二信息采集装置中的多个第二信息采集单元各自采集的第二图像;
第二检测模块,用于对多个所述第二图像分别进行目标检测,得到多个第二检测结果;以及
第二图像确定模块,用于基于所述多个第二检测结果,从多个所述第二图像中确定所述多个目标第二图像,并将与所述多个目标第二图像一一对应的多个第二信息采集单元作为所述多个第二目标采集单元。
16.根据权利要求15所述的装置,其中,所述第二检测模块包括:
第一检测单元,用于从所述多个第二检测结果中确定目标第二检测结果;以及
第一确定单元,用于在确定所述目标第二检测结果的数量大于或者等于预定数量阈值的情况下,基于所述目标第二检测结果,从多个所述第二图像中确定所述多个目标第二图像。
17.根据权利要求13至16中任一项所述的装置,其中,所述距离确定模块包括:
第二确定单元,用于从所述目标第一图像中确定所述目标对象的对象检测框和参照物的参照物检测框;以及
第三确定单元,用于基于所述对象检测框与所述参照物检测框之间的位置关系,确定所述拍摄距离。
18.根据权利要求13至17中任一项所述的装置,其中,所述参数确定模块包括:
参数确定单元,用于基于所述拍摄距离和预定映射关系,确定所述拼接参数,其中,所述预定映射关系用于表征拍摄距离与拼接参数之间的对应关系。
19.根据权利要求13至18中任一项所述的装置,其中,所述生成模块包括:
宽度确定单元,用于基于所述拼接参数,确定拼接宽度;
关系确定单元,用于确定所述多个目标第二图像彼此之间的拼接关系;以及
生成单元,用于基于所述拼接关系和所述拼接宽度,对所述多个目标第二图像进行拼接,生成所述目标图像。
20.根据权利要求19所述的装置,其中,所述生成单元包括:
拼接子单元,用于所述基于所述拼接关系和所述拼接宽度,对所述多个目标第二图像进行拼接,生成拼接图像;以及
融合子单元,用于对所述拼接图像的拼接边缘进行边缘融合处理,生成所述目标图像。
21.根据权利要求13至20中任一项所述的装置,还包括:
第一重建模块,用于基于所述目标图像,对所述目标对象进行重建,得到所述目标对象的第一模型;
第二重建模块,用于基于所述目标第一图像,对所述目标对象进行重建,得到所述目标对象的第二模型;以及
模型生成模块,用于基于所述第一模型和所述第二模型,生成目标模型。
22.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至9中任一项所述的方法。
23.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1至9中任一项所述的方法。
24.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1至9中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310429893.0A CN116612168A (zh) | 2023-04-20 | 2023-04-20 | 图像处理方法、装置、电子设备、图像处理系统及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310429893.0A CN116612168A (zh) | 2023-04-20 | 2023-04-20 | 图像处理方法、装置、电子设备、图像处理系统及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116612168A true CN116612168A (zh) | 2023-08-18 |
Family
ID=87673722
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310429893.0A Pending CN116612168A (zh) | 2023-04-20 | 2023-04-20 | 图像处理方法、装置、电子设备、图像处理系统及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116612168A (zh) |
Citations (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105894451A (zh) * | 2016-03-30 | 2016-08-24 | 沈阳泰科易科技有限公司 | 全景图像拼接方法和装置 |
CN107274346A (zh) * | 2017-06-23 | 2017-10-20 | 中国科学技术大学 | 实时全景视频拼接系统 |
CN208572248U (zh) * | 2018-08-15 | 2019-03-01 | 南方科技大学 | 基于无线同步的阵列相机 |
CN111355966A (zh) * | 2020-03-05 | 2020-06-30 | 上海乐杉信息技术有限公司 | 环绕自由视角直播方法及系统 |
CN112528974A (zh) * | 2021-02-08 | 2021-03-19 | 成都睿沿科技有限公司 | 测距方法、装置、电子设备及可读存储介质 |
CN112581369A (zh) * | 2020-12-24 | 2021-03-30 | 中国银联股份有限公司 | 图像拼接方法以及装置 |
CN112950481A (zh) * | 2021-04-22 | 2021-06-11 | 上海大学 | 一种基于图像拼接网络的水花遮挡图像数据集采集方法 |
CN113052119A (zh) * | 2021-04-07 | 2021-06-29 | 兴体(广州)智能科技有限公司 | 球类运动跟踪摄像方法及系统 |
CN113114975A (zh) * | 2021-04-07 | 2021-07-13 | 科大讯飞股份有限公司 | 图像拼接方法、装置、电子设备和存储介质 |
CN113949884A (zh) * | 2021-09-02 | 2022-01-18 | 北京大学深圳研究生院 | 多视点视频数据处理方法、设备及存储介质 |
CN114004840A (zh) * | 2021-10-29 | 2022-02-01 | 北京百度网讯科技有限公司 | 图像处理方法、训练方法、检测方法、装置、设备及介质 |
CN114022662A (zh) * | 2021-11-08 | 2022-02-08 | 北京字节跳动网络技术有限公司 | 图像识别方法、装置、设备及介质 |
CN114049260A (zh) * | 2022-01-12 | 2022-02-15 | 河北工业大学 | 一种图像拼接方法和装置及设备 |
CN114202526A (zh) * | 2021-12-10 | 2022-03-18 | 北京百度网讯科技有限公司 | 质量检测方法、系统、装置、电子设备和介质 |
CN114882090A (zh) * | 2022-04-29 | 2022-08-09 | 中国第一汽车股份有限公司 | 一种汽车全景控制器标定方法、装置、设备及介质 |
CN114972027A (zh) * | 2022-05-26 | 2022-08-30 | 无锡日联科技股份有限公司 | 一种图像拼接方法、装置、设备、介质和计算机产品 |
CN115082639A (zh) * | 2022-06-15 | 2022-09-20 | 北京百度网讯科技有限公司 | 图像生成方法、装置、电子设备和存储介质 |
CN115190259A (zh) * | 2021-04-07 | 2022-10-14 | 兴体(广州)智能科技有限公司 | 小球比赛摄像方法及摄像系统 |
CN115273063A (zh) * | 2022-06-30 | 2022-11-01 | 北京百度网讯科技有限公司 | 确定对象信息的方法、装置、电子设备及存储介质 |
CN115511870A (zh) * | 2022-10-20 | 2022-12-23 | 北京京东尚科信息技术有限公司 | 对象检测方法、装置、电子设备和存储介质 |
CN115641641A (zh) * | 2021-07-20 | 2023-01-24 | 北京百度网讯科技有限公司 | 动作识别模型训练方法和装置、动作识别方法和装置 |
CN115797164A (zh) * | 2021-09-09 | 2023-03-14 | 同方威视技术股份有限公司 | 固定视场中的图像拼接方法、装置、系统 |
CN115797210A (zh) * | 2022-12-05 | 2023-03-14 | 深圳看到科技有限公司 | 用于水下拍摄图片的校正方法、装置及存储介质 |
CN115953466A (zh) * | 2022-12-01 | 2023-04-11 | 常州大学 | 一种基于yolov5s的篮球目标定位方法 |
CN115988322A (zh) * | 2022-11-29 | 2023-04-18 | 北京百度网讯科技有限公司 | 生成全景图像的方法、装置、电子设备和存储介质 |
-
2023
- 2023-04-20 CN CN202310429893.0A patent/CN116612168A/zh active Pending
Patent Citations (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105894451A (zh) * | 2016-03-30 | 2016-08-24 | 沈阳泰科易科技有限公司 | 全景图像拼接方法和装置 |
CN107274346A (zh) * | 2017-06-23 | 2017-10-20 | 中国科学技术大学 | 实时全景视频拼接系统 |
CN208572248U (zh) * | 2018-08-15 | 2019-03-01 | 南方科技大学 | 基于无线同步的阵列相机 |
CN111355966A (zh) * | 2020-03-05 | 2020-06-30 | 上海乐杉信息技术有限公司 | 环绕自由视角直播方法及系统 |
CN112581369A (zh) * | 2020-12-24 | 2021-03-30 | 中国银联股份有限公司 | 图像拼接方法以及装置 |
CN112528974A (zh) * | 2021-02-08 | 2021-03-19 | 成都睿沿科技有限公司 | 测距方法、装置、电子设备及可读存储介质 |
CN113052119A (zh) * | 2021-04-07 | 2021-06-29 | 兴体(广州)智能科技有限公司 | 球类运动跟踪摄像方法及系统 |
CN113114975A (zh) * | 2021-04-07 | 2021-07-13 | 科大讯飞股份有限公司 | 图像拼接方法、装置、电子设备和存储介质 |
CN115190259A (zh) * | 2021-04-07 | 2022-10-14 | 兴体(广州)智能科技有限公司 | 小球比赛摄像方法及摄像系统 |
CN112950481A (zh) * | 2021-04-22 | 2021-06-11 | 上海大学 | 一种基于图像拼接网络的水花遮挡图像数据集采集方法 |
CN115641641A (zh) * | 2021-07-20 | 2023-01-24 | 北京百度网讯科技有限公司 | 动作识别模型训练方法和装置、动作识别方法和装置 |
CN113949884A (zh) * | 2021-09-02 | 2022-01-18 | 北京大学深圳研究生院 | 多视点视频数据处理方法、设备及存储介质 |
CN115797164A (zh) * | 2021-09-09 | 2023-03-14 | 同方威视技术股份有限公司 | 固定视场中的图像拼接方法、装置、系统 |
CN114004840A (zh) * | 2021-10-29 | 2022-02-01 | 北京百度网讯科技有限公司 | 图像处理方法、训练方法、检测方法、装置、设备及介质 |
CN114022662A (zh) * | 2021-11-08 | 2022-02-08 | 北京字节跳动网络技术有限公司 | 图像识别方法、装置、设备及介质 |
CN114202526A (zh) * | 2021-12-10 | 2022-03-18 | 北京百度网讯科技有限公司 | 质量检测方法、系统、装置、电子设备和介质 |
CN114049260A (zh) * | 2022-01-12 | 2022-02-15 | 河北工业大学 | 一种图像拼接方法和装置及设备 |
CN114882090A (zh) * | 2022-04-29 | 2022-08-09 | 中国第一汽车股份有限公司 | 一种汽车全景控制器标定方法、装置、设备及介质 |
CN114972027A (zh) * | 2022-05-26 | 2022-08-30 | 无锡日联科技股份有限公司 | 一种图像拼接方法、装置、设备、介质和计算机产品 |
CN115082639A (zh) * | 2022-06-15 | 2022-09-20 | 北京百度网讯科技有限公司 | 图像生成方法、装置、电子设备和存储介质 |
CN115273063A (zh) * | 2022-06-30 | 2022-11-01 | 北京百度网讯科技有限公司 | 确定对象信息的方法、装置、电子设备及存储介质 |
CN115511870A (zh) * | 2022-10-20 | 2022-12-23 | 北京京东尚科信息技术有限公司 | 对象检测方法、装置、电子设备和存储介质 |
CN115988322A (zh) * | 2022-11-29 | 2023-04-18 | 北京百度网讯科技有限公司 | 生成全景图像的方法、装置、电子设备和存储介质 |
CN115953466A (zh) * | 2022-12-01 | 2023-04-11 | 常州大学 | 一种基于yolov5s的篮球目标定位方法 |
CN115797210A (zh) * | 2022-12-05 | 2023-03-14 | 深圳看到科技有限公司 | 用于水下拍摄图片的校正方法、装置及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10855909B2 (en) | Method and apparatus for obtaining binocular panoramic image, and storage medium | |
CN105654492B (zh) | 基于消费级摄像头的鲁棒实时三维重建方法 | |
CN107808111B (zh) | 用于行人检测和姿态估计的方法和装置 | |
US11610331B2 (en) | Method and apparatus for generating data for estimating three-dimensional (3D) pose of object included in input image, and prediction model for estimating 3D pose of object | |
CN111291885A (zh) | 近红外图像的生成方法、生成网络的训练方法和装置 | |
CN106251399A (zh) | 一种基于lsd‑slam的实景三维重建方法 | |
CN113706699B (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
CN110544301A (zh) | 一种三维人体动作重建系统、方法和动作训练系统 | |
CN112070782B (zh) | 识别场景轮廓的方法、装置、计算机可读介质及电子设备 | |
CN107341804B (zh) | 点云数据中平面的确定方法及装置、图像叠加方法及设备 | |
JP2019096113A (ja) | キーポイントデータに関する加工装置、方法及びプログラム | |
CN114119739A (zh) | 一种基于双目视觉的手部关键点空间坐标获取方法 | |
CN111209811A (zh) | 一种实时检测眼球注意力位置的方法及系统 | |
CN115375823B (zh) | 三维虚拟服饰生成方法、装置、设备及存储介质 | |
JP2023532285A (ja) | アモーダル中心予測のためのオブジェクト認識ニューラルネットワーク | |
CN116188695A (zh) | 三维手部姿态模型的构建方法和三维手部姿态估计方法 | |
CN105809664B (zh) | 生成三维图像的方法和装置 | |
CN113724391A (zh) | 三维模型构建方法、装置、电子设备和计算机可读介质 | |
CN115619986B (zh) | 场景漫游方法、装置、设备和介质 | |
CN109816791B (zh) | 用于生成信息的方法和装置 | |
CN115222895B (zh) | 图像生成方法、装置、设备以及存储介质 | |
CN116523962A (zh) | 针对目标对象的视觉跟踪方法、装置、系统、设备和介质 | |
CN116612168A (zh) | 图像处理方法、装置、电子设备、图像处理系统及介质 | |
CN112085842A (zh) | 深度值确定方法及装置、电子设备和存储介质 | |
JP2023027782A (ja) | 画像遷移方法及び画像遷移モデルの訓練方法、装置、電子機器、記憶媒体及びコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |