CN113763544A - 图像确定方法、装置、电子设备和计算机可读存储介质 - Google Patents
图像确定方法、装置、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN113763544A CN113763544A CN202111107699.8A CN202111107699A CN113763544A CN 113763544 A CN113763544 A CN 113763544A CN 202111107699 A CN202111107699 A CN 202111107699A CN 113763544 A CN113763544 A CN 113763544A
- Authority
- CN
- China
- Prior art keywords
- image
- video data
- camera
- groups
- frame group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 97
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 230000001360 synchronised effect Effects 0.000 claims abstract description 66
- 230000003068 static effect Effects 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims description 27
- 230000003287 optical effect Effects 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 5
- 239000013598 vector Substances 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000012634 fragment Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000010146 3D printing Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
Abstract
本发明实施例公开了一种图像确定方法、装置、电子设备和计算机可读存储介质，根据多个摄像头采集获取多组视频数据，并对多组所述视频数据进行处理，获得各所述视频数据分别对应的图像帧组，从各所述图像帧组中确定各所述摄像头对应的同步帧组，根据各所述同步帧组进行图像建模，获得目标图像，其中，所述图像帧组包括对应视频数据中的目标对象处于静止状态下的图像帧，由此，可以提高各同步帧的同步率，进而可以提高图像建模的准确性。
Description
技术领域
本发明涉及计算机技术领域，更具体地，涉及一种图像确定方法、装置、电子设备和计算机可读存储介质。
背景技术
随着三维数字技术的发展，三维模型的动画、游戏、虚拟现实、3D打印等领域有着越来越多的应用。在图像三维建模时，若采用多个摄像头进行数据采集，使得多个摄像头采集的视频帧同步时至关重要的。
发明内容
有鉴于此，本发明实施例提供了一种图像确定方法、装置、电子设备和计算机可读存储介质，以提高各同步帧的同步率，进而提高图像建模的准确性。
第一方面，本发明实施例提供一种图像确定方法，所述方法包括：
获取多组视频数据，多组所述视频数据通过多个摄像头采集获得；
对多组所述视频数据进行处理，获得各所述视频数据分别对应的图像帧组，所述图像帧组包括对应视频数据中的目标对象处于静止状态下的图像帧；
从各所述图像帧组中确定各所述摄像头对应的同步帧组；
根据各所述同步帧组进行图像建模，获得目标图像。
可选的，所述目标对象相对于各所述摄像头周期性处于静止状态；
所述图像帧组包括对应视频数据中的目标对象处于各静止周期内的图像帧。
可选的，从各所述图像帧组中确定各所述摄像头对应的同步帧组包括：
获取各所述图像帧组中的各静止周期内的中间帧，以确定各所述摄像头对应的同步帧组。
可选的，对多组所述视频数据进行处理，获得各所述视频数据分别对应的图像帧组包括：
基于光流法对多组所述视频数据进行处理，获得各视频数据分别对应的图像帧组。
可选的，多个所述摄像头包括第一摄像头和第二摄像头；
根据各所述同步帧组进行图像建模，获得目标图像包括：
根据所述第一摄像头对应的同步帧组进行几何重建，确定所述目标对象对应的几何模型；
根据所述第二摄像头对应的同步帧组对所述几何模型进行纹理贴图，获得所述目标图像。
可选的，多个所述摄像头固定连接。
可选的，所述目标对象设置于旋转台上，所述旋转台受控每旋转预定角度后静止预定时间直至旋转一周。
第二方面，本发明实施例提供一种图像确定装置，所述装置包括：
视频获取单元，被配置为获取多组视频数据，多组所述视频数据通过多个摄像头采集获得；
处理单元，被配置为对多组所述视频数据进行处理，获得各所述视频数据分别对应的图像帧组，所述图像帧组包括对应视频数据中的目标对象处于静止状态下的图像帧；
同步帧获取单元，被配置为从各所述图像帧组中确定各所述摄像头对应的同步帧组；
建模单元，被配置为根据各所述同步帧组进行图像建模，获得目标图像。
可选的，所述目标对象相对于各所述摄像头周期性处于静止状态；
所述图像帧组包括对应视频数据中的目标对象处于各静止周期内的图像帧。
可选的，所述同步帧获取单元包括：
同步帧获取子单元，被配置为获取各所述图像帧组中的各静止周期内的中间帧，以确定各所述摄像头对应的同步帧组。
可选的，所述处理单元包括：
处理子单元，被配置为基于光流法对多组所述视频数据进行处理，获得各视频数据分别对应的图像帧组。
可选的，多个所述摄像头包括第一摄像头和第二摄像头；
所述建模单元包括：
几何重建子单元，被配置为根据所述第一摄像头对应的同步帧组进行几何重建，确定所述目标对象对应的几何模型；
纹理贴图单元，被配置为根据所述第二摄像头对应的同步帧组对所述几何模型进行纹理贴图，获得所述目标图像。
可选的，多个所述摄像头固定连接。
可选的，所述目标对象设置于旋转台上，所述旋转台受控每旋转预定角度后静止预定时间直至旋转一周。
第三方面，本发明实施例提供一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如本发明实施例第一方面所述的方法。
第三方面，本发明实施例提供一种计算机可读存储介质，其上存储计算机程序指令，所述计算机程序指令在被处理器执行时以实现如本发明实施例第一方面所述的方法。
本发明实施例公开了一种图像确定方法、装置、电子设备和计算机可读存储介质，根据多个摄像头采集获取多组视频数据，并对多组所述视频数据进行处理，获得各所述视频数据分别对应的图像帧组，从各所述图像帧组中确定各所述摄像头对应的同步帧组，根据各所述同步帧组进行图像建模，获得目标图像，其中，所述图像帧组包括对应视频数据中的目标对象处于静止状态下的图像帧，由此，可以提高各同步帧的同步率，进而可以提高图像建模的准确性。
附图说明
通过以下参照附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：
图1是本发明实施例的图像确定方法的示意图；
图2是本发明实施例的视频采集过程示意图；
图3是本发明实施例的图像帧组的获取过程示意图；
图4是本发明实施例的同步帧组的获取过程示意图；
图5是本发明实施例的图像确定装置的示意图；
图6是本发明实施例的电子设备的示意图。
具体实施方式
以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。
此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。
除非上下文明确要求，否则在说明书的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。
在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
图1是本发明实施例的图像确定方法的示意图。如图1所示，本发明实施例的图像确定方法包括以下步骤：
步骤S110，获取多组视频数据。其中，多组视频数据通过多个摄像头采集获得。
在一种可选的实现方式中，在本实施例中，多个摄像头对目标对象进行同时拍摄，以获取多组视频数据。可选的，多个摄像头固定连接，以避免各摄像头发生相对移动造成的视频相对拍摄偏移的情况，进而避免同步率降低的情况。
在一种可选的实现方式中，在采集目标对象的视频数据时，将目标对象设置于旋转台上，并受控旋转台每旋转预定角度后静止预定时间直至旋转一周，由此，使得目标对象相对于各摄像头周期性处于静止状态。
图2是本发明实施例的视频采集过程示意图。如图2所示，本实施例以两个摄像头为例进行描述。在本实施例中，采用旋转台21承载目标对象22，控制旋转台21每旋转预定角度后静止预定时间直至旋转一周，摄像头23和24刚性固定连接，通过录制旋转台21旋转一周的视频以获取两组视频数据。可选的，摄像头23可以为深度摄像头，摄像头24可以为智能设备中内置的分辨率大于预定值的高清摄像头。如图2所示，摄像头23和24上下固定放置，应理解，本实施例并不对摄像头23和24的相互设置位置进行限制，在摄像头23和24的相互设置位置固定后，通过相机标定(也即调节相机内外参数)使得摄像头23和24所录制的视频数据相对应。
深度摄像头也即具有深度检测功能的摄像头，可以提取目标对象的平面图像、三维信息等，也即其扫描到的每帧图像包括场景中的点的彩色RGB图像以及每个点到深度摄像头所在的垂直平面的距离值。
可选的，上述静止周期的预定时间大于等于各摄像头的曝光时间。应理解，本实施例并不对上述预定角度和预定时间进行限制，其可以根据目标对象的类别进行设置。
步骤S120，对多组视频数据进行处理，获得各视频数据分别对应的图像帧组。其中，图像帧组包括对应视频数据中的目标对象处于静止状态下的图像帧。
在一种可选的实现方式中，如上所述，目标对象相对于各摄像头周期性处于静止状态，由此，图像帧组包括对应视频数据中的目标对象处于各静止周期内的图像帧。
在一种可选的实现方式中，步骤120具体可以为：基于光流法对多组视频数据进行处理，获得各视频数据分别对应的图像帧组。
光流是空间运动物体在观察成像平面上的像素运动的瞬时速度，其可以根据目标对象本身的移动、摄像头的移动、或者两者的共同运动产生。光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧与当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。
光流法的基本约束方程为：
Ixu+Iyv+It＝0
其中，Ix、Iy和It分别表征图像中的像素点的灰度沿x轴、y轴和t轴(时间轴)方向上的变化，均可由相邻帧的图像数据确定，(u,v)为光流矢量。
上述基本约束方程包括两个未知量u、v，因此，通常需要引入其他约束条件，例如基于梯度(微分)的方法(例如Horn-Schunck算法、Lucas-Kanade算法等)、基于匹配的方法、基于能量(频率)的方法、基于相位的方法和基于神经动力学方法等来计算光流矢量。
可选的，本实施例可以采用opencv(计算机视觉库)中的光流处理函数(例如Lucas-Kanade算法等)来处理视频数据。应理解，本实施例并不对光流计算方法进行限制。
摄像头在静止周期内采集的视频数据中，相邻帧基本是相同的图像，由此，可以通过上述任意光流法计算满足相邻帧基本相同，也即像素点的灰度沿x轴、y轴和t轴(时间轴)方向上基本不变，光流矢量基本为
的相邻帧，以获取各组视频数据中的目标对象处于静止状态的图像帧组。
图3是本发明实施例的图像帧组的获取过程示意图。本实施例以图2中摄像头23和24获取的视频数据为例。如图3所示，视频数据31包括时间周期t0、时间周期t1、时间周期t2、时间周期t3内的视频帧，采用上述任一光流法计算视频数据31中的相邻帧的像素点沿各轴方向的变化以及光流矢量，从而确定连续相同的图像帧，以确定静止状态下的图像帧。如图3所示，可以确定在时间周期t1和t3内目标对象处于静止状态，将时间周期t1和t3内的视频帧确定为图像帧组32。应理解，在视频采集过程中，目标对象的静止周期和非静止周期的时间可以相同也可以不同，本实施例并不对此进行限制。
步骤S130，从各图像帧组中确定各摄像头对应的同步帧组。在一种可选的实现方式中，将各图像帧组中相同位置的图像帧确定为对应的同步帧。可选的，将各图像帧组中的位于各静止周期内的相同位置的图像帧确定为对应的同步帧组。可选的，获取各图像帧组中的各静止周期内的中间帧，以确定各摄像头对应的同步帧组。
图4是本发明实施例的同步帧组的获取过程示意图。本实施例以图3所示的图像帧组32为例进行说明。如图4所示，假设各图像帧组包括有N(N≥1)个静止周期t1、t3等，获取各图像帧组中的第1个静止周期t1内的中间帧p1、第2个静止周期t3内的中间帧p2以及其他静止周期内的中间帧，以确定对应的同步帧组。由于在视频采集过程中，目标对象是旋转的，由此，同步帧组包括多个角度的目标对象图像帧。
在其他可选的实现方式中，可以将静止周期内其他位置的图像帧确定为同步帧。例如将位于3/5位置的图像帧确定为同步帧，也即假设一静止周期包括10个图像帧，则将第6个图像帧确定为同步帧。
在其他可选的实现方式中，可以将静止周期内位于中间位置的连续预定帧确定为同步帧。例如将位于中间位置的连续3帧确定为同步帧。假设静止周期包括11个图像帧，则将第5-7个图像帧确定为同步帧。应理解，本实施例并不对获取同步帧的方式进行限制。
本实施例通过从静止状态下的图像帧中确定同步帧，可以进一步提高获取的视频帧的同步率，进而提高图像建模的准确性。
步骤S140，根据各所述同步帧组进行图像建模，获得目标图像。在一种可选的实现方式中，多个摄像头包括第一摄像头和第二摄像头。可选的，第一摄像头为深度摄像头，第二摄像头为分辨率大于预定值的高清摄像头。步骤S140具体可以包括：根据第一摄像头对应的同步帧组进行几何重建，确定目标对象的几何模型，根据第二摄像头对应的同步帧组对该几何模型进行纹理贴图，获得目标图像。
在一种可选的实现方式中，对深度摄像头对应的同步帧进行特征点提取，确定各同步帧的点云数据，并通过摄像头的相机标定参数对多个角度的同步帧的点云数据进行融合，获得几何模型。
可选的，本发明实施例还包括确定各摄像头的内外参。在本实施例中，可以采用任意深度摄像头进行3D重建方法进行摄像头内外参的调节，可选的，采用高斯牛顿法或交替优化法等进行摄像头内外参的优化。应理解，本实施例并不对相机标定的方法进行限制。
在本实施例中，可以采用上述同步帧进行相机标定，获取各摄像头的内外参，也可以采用另外拍摄的图像，本实施例并不对此进行限制。可选的，本实施例通过设置标定板来进行相机标定，以确定各摄像头的内外参。在一种可选的实现方式中，多个摄像头包括深度摄像头和分辨率大于预定值的高清摄像头，通过标定板可以得到多个对应的世界坐标三维点和对应的图像坐标二维点，计算这些三维点到二维点的转换确定各摄像头的内参，计算深度摄像头的相机坐标到高清摄像头的相机坐标的转换(高清摄像头的相机坐标到深度摄像头的相机坐标的转换)，以确定深度摄像头到高清摄像头的相机外参(高清摄像头到深度摄像头的相机外参)。应理解，本实施例并不对多摄像头的相机标定方法进行限制。
在一种可选的实现方式中，基于标定板的显示状态，例如是否有重影等，对采用上述方式确定的各摄像机内外参进行自动微调或手动微调，以尽可能避免标定板上存在重影等现象，从而可以进一步提高构建的几何模型的准确性，进而提高目标图像的清晰度。
纹理是一种针对物体表面属性进行建模的高校技术，图像纹理中的像素通常被称为纹素。纹理贴图的核心思路是通过建立一定的映射方法，将片段所对应的物体表面的某一属性和数据源的某一位置的数据对应起来，再通过一定的应用方法，利用从数据源中获取的数据来改变物体表面的某一属性值，从而影响当前片段或是其他片段的着色计算，以及对合并输出阶段的结果产生影响，使物体表面外观发生一定的变化。
可选的，在本实施例中，通过投影函数将高清摄像头对应的同步帧中的三维点转化为纹理坐标，并将其投影到参数空间中，得到一组参数空间坐标，采用一个或多个映射函数将参数空间坐标转换到纹理空间位置，将纹理空间位置与获取的几何模型相结合，以确定目标图像。
本发明实施例根据多个摄像头采集获取多组视频数据，并对多组所述视频数据进行处理，获得各所述视频数据分别对应的图像帧组，从各所述图像帧组中确定各所述摄像头对应的同步帧组，根据各所述同步帧组进行图像建模，获得目标图像，其中，所述图像帧组包括对应视频数据中的目标对象处于静止状态下的图像帧，由此，可以提高各同步帧的同步率，进而可以提高图像建模的准确性。同时，本实施例可以采用深度摄像头和智能设备内置的摄像头即可较为准确地实现视频帧的同步，相对于纯硬件的密集相机阵列同步方法，极大地减小了成本。
图5是本发明实施例的图像确定装置的示意图。如图5所示，本发明实施例的图像确定装置5包括视频获取单元51、处理单元52、同步帧获取单元53和建模单元54。
视频获取单元51被配置为获取多组视频数据，多组所述视频数据通过多个摄像头采集获得。处理单元52被配置为对多组所述视频数据进行处理，获得各所述视频数据分别对应的图像帧组，所述图像帧组包括对应视频数据中的目标对象处于静止状态下的图像帧。同步帧获取单元53被配置为从各所述图像帧组中确定各所述摄像头对应的同步帧组。建模单元54被配置为根据各所述同步帧组进行图像建模，获得目标图像。在一种可选的实现方式中，多个所述摄像头固定连接。
在一种可选的实现方式中，所述目标对象相对于各所述摄像头周期性处于静止状态所述图像帧组包括对应视频数据中的目标对象处于各静止周期内的图像帧。
在一种可选的实现方式中，在采集目标对象的视频数据时，将目标对象设置于旋转台上，并受控旋转台每旋转预定角度后静止预定时间直至旋转一周，由此，使得目标对象相对于各摄像头周期性处于静止状态。可选的，所述目标对象设置于旋转台上，所述旋转台受控每旋转预定角度后静止预定时间直至旋转一周。
在一种可选的实现方式中，所述同步帧获取单元包括同步帧获取子单元。同步帧获取子单元被配置为获取各所述图像帧组中的各静止周期内的中间帧，以确定各所述摄像头对应的同步帧组。
在一种可选的实现方式中，所述处理单元包括处理子单元。处理子单元，被配置为基于光流法对多组所述视频数据进行处理，获得各视频数据分别对应的图像帧组。
在一种可选的实现方式中，多个所述摄像头包括第一摄像头和第二摄像头。所述建模单元包括几何重建子单元和纹理贴图单元。几何重建子单元被配置为根据所述第一摄像头对应的同步帧组进行几何重建，确定所述目标对象对应的几何模型。纹理贴图单元，被配置为根据所述第二摄像头对应的同步帧组对所述几何模型进行纹理贴图，获得所述目标图像。
本发明实施例根据多个摄像头采集获取多组视频数据，并对多组所述视频数据进行处理，获得各所述视频数据分别对应的图像帧组，从各所述图像帧组中确定各所述摄像头对应的同步帧组，根据各所述同步帧组进行图像建模，获得目标图像，其中，所述图像帧组包括对应视频数据中的目标对象处于静止状态下的图像帧，由此，可以提高各同步帧的同步率，进而可以提高图像建模的准确性。同时，本实施例可以采用深度摄像头和智能设备内置的摄像头即可较为准确地实现视频帧的同步，相对于纯硬件的密集相机阵列同步方法，极大地减小了成本。
图6是本发明实施例的电子设备的示意图。在本实施例中，电子设备6包括服务器、终端等。如图6所示，该电子设备6：至少包括一个处理器61；以及，与至少一个处理器61通信连接的存储器62；以及，与扫描装置通信连接的通信组件63，通信组件63在处理器61的控制下接收和发送数据；其中，存储器62存储有可被至少一个处理器61执行的指令，指令被至少一个处理器61执行以实现上述图像确定方法。
具体地，该电子设备包括：一个或多个处理器61以及存储器62，图6中以一个处理器61为例。处理器61、存储器62可以通过总线或者其他方式连接，图6中以通过总线连接为例。存储器62作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器61通过运行存储在存储器62中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述图像确定方法。
存储器62可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器62可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器62可选包括相对于处理器61远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器62中，当被一个或者多个处理器61执行时，执行上述任意方法实施例中的图像确定方法。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
本发明实施例根据多个摄像头采集获取多组视频数据，并对多组所述视频数据进行处理，获得各所述视频数据分别对应的图像帧组，从各所述图像帧组中确定各所述摄像头对应的同步帧组，根据各所述同步帧组进行图像建模，获得目标图像，其中，所述图像帧组包括对应视频数据中的目标对象处于静止状态下的图像帧，由此，可以提高各同步帧的同步率，进而可以提高图像建模的准确性。同时，本实施例可以采用深度摄像头和智能设备内置的摄像头即可较为准确地实现视频帧的同步，相对于纯硬件的密集相机阵列同步方法，极大地减小了成本。
本发明的另一个实施例涉及一种非易失性存储介质，用于存储计算机可读程序，所述计算机可读程序用于供计算机执行上述部分或全部的方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指定相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例公开了A1、一种图像确定方法，所述方法包括：
获取多组视频数据，多组所述视频数据通过多个摄像头采集获得；
对多组所述视频数据进行处理，获得各所述视频数据分别对应的图像帧组，所述图像帧组包括对应视频数据中的目标对象处于静止状态下的图像帧；
从各所述图像帧组中确定各所述摄像头对应的同步帧组；
根据各所述同步帧组进行图像建模，获得目标图像。
A2、根据A1所述的方法，所述目标对象相对于各所述摄像头周期性处于静止状态；
所述图像帧组包括对应视频数据中的目标对象处于各静止周期内的图像帧。
A3、根据A2所述的方法，从各所述图像帧组中确定各所述摄像头对应的同步帧组包括：
获取各所述图像帧组中的各静止周期内的中间帧，以确定各所述摄像头对应的同步帧组。
A4、根据A1-A3中任一项所述的方法，对多组所述视频数据进行处理，获得各所述视频数据分别对应的图像帧组包括：
基于光流法对多组所述视频数据进行处理，获得各视频数据分别对应的图像帧组。
A5、根据A1所述的方法，多个所述摄像头包括第一摄像头和第二摄像头；
根据各所述同步帧组进行图像建模，获得目标图像包括：
根据所述第一摄像头对应的同步帧组进行几何重建，确定所述目标对象对应的几何模型；
根据所述第二摄像头对应的同步帧组对所述几何模型进行纹理贴图，获得所述目标图像。
A6、根据A1或A5所述的方法，多个所述摄像头固定连接。
A7、根据A1或A2所述的方法，所述目标对象设置于旋转台上，所述旋转台受控每旋转预定角度后静止预定时间直至旋转一周。
本发明实施例公开了B1、一种图像确定装置，所述装置包括：
视频获取单元，被配置为获取多组视频数据，多组所述视频数据通过多个摄像头采集获得；
处理单元，被配置为对多组所述视频数据进行处理，获得各所述视频数据分别对应的图像帧组，所述图像帧组包括对应视频数据中的目标对象处于静止状态下的图像帧；
同步帧获取单元，被配置为从各所述图像帧组中确定各所述摄像头对应的同步帧组；
建模单元，被配置为根据各所述同步帧组进行图像建模，获得目标图像。
B2、根据B1所述的装置，所述目标对象相对于各所述摄像头周期性处于静止状态；
所述图像帧组包括对应视频数据中的目标对象处于各静止周期内的图像帧。
B3、根据B2所述的装置，所述同步帧获取单元包括：
同步帧获取子单元，被配置为获取各所述图像帧组中的各静止周期内的中间帧，以确定各所述摄像头对应的同步帧组。
B4、根据B1-B3中任一项所述的装置，所述处理单元包括：
处理子单元，被配置为基于光流法对多组所述视频数据进行处理，获得各视频数据分别对应的图像帧组。
B5、根据B1所述的装置，多个所述摄像头包括第一摄像头和第二摄像头；
所述建模单元包括：
几何重建子单元，被配置为根据所述第一摄像头对应的同步帧组进行几何重建，确定所述目标对象对应的几何模型；
纹理贴图单元，被配置为根据所述第二摄像头对应的同步帧组对所述几何模型进行纹理贴图，获得所述目标图像。
B6、根据B1或B5所述的装置，多个所述摄像头固定连接。
B7、根据B1或B2所述的装置，所述目标对象设置于旋转台上，所述旋转台受控每旋转预定角度后静止预定时间直至旋转一周。
本发明实施例公开了C1、一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如A1-A7中任一项所述的方法。
本发明实施例公开了D1、一种计算机可读存储介质，其上存储计算机程序指令，所述计算机程序指令在被处理器执行时以实现如A1-A7中任一项所述的方法。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种图像确定方法，其特征在于，所述方法包括：
获取多组视频数据，多组所述视频数据通过多个摄像头采集获得；
对多组所述视频数据进行处理，获得各所述视频数据分别对应的图像帧组，所述图像帧组包括对应视频数据中的目标对象处于静止状态下的图像帧；
从各所述图像帧组中确定各所述摄像头对应的同步帧组；
根据各所述同步帧组进行图像建模，获得目标图像。
2.根据权利要求1所述的方法，其特征在于，所述目标对象相对于各所述摄像头周期性处于静止状态；
所述图像帧组包括对应视频数据中的目标对象处于各静止周期内的图像帧。
3.根据权利要求2所述的方法，其特征在于，从各所述图像帧组中确定各所述摄像头对应的同步帧组包括：
获取各所述图像帧组中的各静止周期内的中间帧，以确定各所述摄像头对应的同步帧组。
4.根据权利要求1-3中任一项所述的方法，其特征在于，对多组所述视频数据进行处理，获得各所述视频数据分别对应的图像帧组包括：
基于光流法对多组所述视频数据进行处理，获得各视频数据分别对应的图像帧组。
5.根据权利要求1所述的方法，其特征在于，多个所述摄像头包括第一摄像头和第二摄像头；
根据各所述同步帧组进行图像建模，获得目标图像包括：
根据所述第一摄像头对应的同步帧组进行几何重建，确定所述目标对象对应的几何模型；
根据所述第二摄像头对应的同步帧组对所述几何模型进行纹理贴图，获得所述目标图像。
6.根据权利要求1或5所述的方法，其特征在于，多个所述摄像头固定连接。
7.根据权利要求1或2所述的方法，其特征在于，所述目标对象设置于旋转台上，所述旋转台受控每旋转预定角度后静止预定时间直至旋转一周。
8.一种图像确定装置，其特征在于，所述装置包括：
视频获取单元，被配置为获取多组视频数据，多组所述视频数据通过多个摄像头采集获得；
处理单元，被配置为对多组所述视频数据进行处理，获得各所述视频数据分别对应的图像帧组，所述图像帧组包括对应视频数据中的目标对象处于静止状态下的图像帧；
同步帧获取单元，被配置为从各所述图像帧组中确定各所述摄像头对应的同步帧组；
建模单元，被配置为根据各所述同步帧组进行图像建模，获得目标图像。
9.一种电子设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储计算机程序指令，其特征在于，所述计算机程序指令在被处理器执行时以实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111107699.8A CN113763544A (zh) | 2021-09-22 | 2021-09-22 | 图像确定方法、装置、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111107699.8A CN113763544A (zh) | 2021-09-22 | 2021-09-22 | 图像确定方法、装置、电子设备和计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113763544A true CN113763544A (zh) | 2021-12-07 |
Family
ID=78796699
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111107699.8A Pending CN113763544A (zh) | 2021-09-22 | 2021-09-22 | 图像确定方法、装置、电子设备和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113763544A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116233391A (zh) * | 2023-03-03 | 2023-06-06 | 北京有竹居网络技术有限公司 | 用于图像处理的装置、方法和存储介质 |
| CN117893695A (zh) * | 2024-03-15 | 2024-04-16 | 浙江托普云农科技股份有限公司 | 任意株高三维重建方法、系统及装置 |
| CN117893695B (zh) * | 2024-03-15 | 2024-06-04 | 浙江托普云农科技股份有限公司 | 任意株高三维重建方法、系统及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107742318A (zh) * | 2017-09-28 | 2018-02-27 | 江门市金佣网有限公司 | 商品实时三维成像方法及基于实时三维展示的交易系统 |
| CN110599586A (zh) * | 2019-08-06 | 2019-12-20 | 湖北亿咖通科技有限公司 | 一种半稠密场景重建方法、装置、电子设备及存储介质 |
-
2021
- 2021-09-22 CN CN202111107699.8A patent/CN113763544A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107742318A (zh) * | 2017-09-28 | 2018-02-27 | 江门市金佣网有限公司 | 商品实时三维成像方法及基于实时三维展示的交易系统 |
| CN110599586A (zh) * | 2019-08-06 | 2019-12-20 | 湖北亿咖通科技有限公司 | 一种半稠密场景重建方法、装置、电子设备及存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116233391A (zh) * | 2023-03-03 | 2023-06-06 | 北京有竹居网络技术有限公司 | 用于图像处理的装置、方法和存储介质 |
| CN117893695A (zh) * | 2024-03-15 | 2024-04-16 | 浙江托普云农科技股份有限公司 | 任意株高三维重建方法、系统及装置 |
| CN117893695B (zh) * | 2024-03-15 | 2024-06-04 | 浙江托普云农科技股份有限公司 | 任意株高三维重建方法、系统及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11830163B2 (en) | Method and system for image generation | |
| CN109348119B (zh) | 一种全景监控系统 | |
| US9117310B2 (en) | Virtual camera system | |
| KR101121034B1 (ko) | 복수의 이미지들로부터 카메라 파라미터를 얻기 위한 시스템과 방법 및 이들의 컴퓨터 프로그램 제품 | |
| CN107798702B (zh) | 一种用于增强现实的实时图像叠加方法以及装置 | |
| CN107155341B (zh) | 三维扫描系统和框架 | |
| US20030012410A1 (en) | Tracking and pose estimation for augmented reality using real features | |
| EP3296952B1 (en) | Method and device for blurring a virtual object in a video | |
| CN109247068A (zh) | 用于滚动快门补偿的方法和设备 | |
| US20200058167A1 (en) | Generation device, generation method and storage medium for three-dimensional model | |
| CN206563985U (zh) | 三维成像系统 | |
| CN107862718B (zh) | 4d全息视频捕捉方法 | |
| JP2018207252A (ja) | 画像処理システム、画像処理システムの制御方法、及び、プログラム | |
| US11798233B2 (en) | Generation device, generation method and storage medium for three-dimensional model that remove a portion of the three-dimensional model | |
| CN113686314B (zh) | 船载摄像头的单目水面目标分割及单目测距方法 | |
| CN113643342A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| JP6403862B1 (ja) | ３次元モデルの生成装置、生成方法及びプログラム | |
| JP2008217593A (ja) | 被写体領域抽出装置及び被写体領域抽出プログラム | |
| EP2800055A1 (en) | Method and system for generating a 3D model | |
| CN115733936A (zh) | 图像处理设备、图像处理方法和存储介质 | |
| CN110544278A (zh) | 刚体运动捕捉方法及装置、agv位姿捕捉系统 | |
| US11328436B2 (en) | Using camera effect in the generation of custom synthetic data for use in training an artificial intelligence model to produce an image depth map | |
| CN108564654B (zh) | 三维大场景的画面进入方式 | |
| JP6799468B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
| Bartczak et al. | Integration of a time-of-flight camera into a mixed reality system for handling dynamic scenes, moving viewpoints and occlusions in real-time |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |