CN116233392B - 虚拟拍摄系统的校准方法、装置、电子设备及存储介质 - Google Patents
虚拟拍摄系统的校准方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116233392B CN116233392B CN202211716361.7A CN202211716361A CN116233392B CN 116233392 B CN116233392 B CN 116233392B CN 202211716361 A CN202211716361 A CN 202211716361A CN 116233392 B CN116233392 B CN 116233392B
- Authority
- CN
- China
- Prior art keywords
- calibration
- subsystem
- space
- pose
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000003384 imaging method Methods 0.000 claims description 52
- 238000013461 design Methods 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012938 design process Methods 0.000 claims 2
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本申请涉及虚拟制片技术领域，特别涉及一种虚拟拍摄系统的校准方法、装置、电子设备及存储介质，其中，方法包括：获取虚拟拍摄系统的校准载体的参数；根据参数设计携带有编码信息的一个或多个校准图案；在校准载体上显示任意校准图案，利用校准图案的编码信息对虚拟拍摄系统中各子系统进行独立校准和/或联合校准。由此，解决了相关技术中虚拟拍摄系统中各子系统校准标准统一，且需要人工校准，导致校准操作复杂、精度较低、一致性较差且可操作性差等问题。
Description
技术领域
本申请涉及虚拟制片技术领域，特别涉及一种虚拟拍摄系统的校准方法、装置、电子设备及存储介质。
背景技术
XR(Extended Reality，扩展现实)虚拟制片是一种新式的影视节目制作技术，以LED(Light Emitting Diode，发光二极管)显示屏结合XR虚拟制作技术与传统绿幕XR制片技术相比，以所见即所得的制片体验，为影视节目制作带来更多的创新。
在XR虚拟拍摄应用中，存在多种空间坐标系统，主要包括用于摄像机运动捕捉的空间定位系统、摄像机成像系统、LED屏幕空间系统、VR(Virtual Reality，虚拟现实)虚拟空间系统，这些系统分别需要独立校准和联合标定。
相关技术通常通过以下方法进行校准，空间定位系统坐标系与VR虚拟空间坐标系系统校准是通过人为测量计算系统原点偏移，坐标轴向粗略对齐实现；对于摄像机成像系统，一般以棋盘格标定板作为标定装置，采用张氏标定法计算摄像机镜头内参，以镜头文件形式设置到VR虚拟空间中的虚拟摄像机，达到虚拟摄像机成像与真实摄像机一致；对于LED屏幕空间校准，VR虚拟空间中LED屏幕位姿是通过测量实拍场景中LED屏幕相对场景原点的位姿而确定。
但是，这些校准方法操作过于繁杂，校准过程中缺乏标准，往往导致联合校准后虚实系统偏差较大，并且LED屏幕空间校准过程依赖人为测量因素，测量人员的专业性与行业经验将影响该校准结果精度，导致校准精度较低，一致性较差。除此之外，现有校准方法依赖较多的校准工具，导致可操作性较差。
发明内容
本申请提供一种虚拟拍摄系统的校准方法、装置、电子设备及存储介质，以解决相关技术中虚拟拍摄系统中各子系统校准标准统一，且需要人工校准，导致校准操作复杂、精度较低、一致性较差且可操作性差等问题。
本申请第一方面实施例提供一种虚拟拍摄系统的校准方法，包括以下步骤：获取虚拟拍摄系统的校准载体的参数；根据所述参数设计携带有编码信息的一个或多个校准图案；在所述校准载体上显示任意校准图案，利用所述校准图案的编码信息对所述虚拟拍摄系统中各子系统进行独立校准和/或联合校准。
可选地，所述参数包括显示分辨率和显示单元数量，所述根据所述参数设计携带有编码信息的一个或多个校准图案，包括：根据所述显示分辨率设计具有相同分辨率的图案，并根据所述显示单元数量设计编码标识，且每个显示单元显示的编码标识唯一。
可选地，所述虚拟拍摄系统中成像子系统包括一个或多个成像设备，所述利用所述校准图案的编码信息对所述虚拟拍摄系统中各子系统进行独立校准和/或联合校准，包括：获取成像设备采集所述校准图案时的一个或多个图像；提取每个图像中一个或多个编码标识的二维特征点坐标集，根据编码标识的位置关系和所述二维特征点坐标集确定图像之间对应点集；利用所述图像之间对应点集计算编码标识的三维特征点坐标，并对所述三维特征点坐标进行缩放，得到所述校准图案的空间点集，利用所述空间点集计算所述成像设备的校准参数，利用所述校准参数对所述成像设备进行校准。
可选地，所述校准载体为所述虚拟拍摄系统中屏幕空间子系统的显示屏幕，所述利用所述校准图案的编码信息对所述虚拟拍摄系统中各子系统进行独立校准和/或联合校准，包括：根据所述空间点集计算每个显示单元的中心坐标；根据所述每个显示单元的中心坐标计算所述显示屏幕中所有显示单元的空间位置和法向数据集；根据所述空间位置和所述法向数据集对每个显示单元进行面片建模，并根据相邻面片点集计算显示单元的面片交点，利用所述面片交点校准所述显示屏幕的数字模型。
可选地，所述利用所述校准图案的编码信息对所述虚拟拍摄系统中各子系统进行独立校准和/或联合校准，包括：获取所述成像设备采集图像时空间定位子系统输出的设备位姿；根据所述设备位姿、所述空间定位子系统输出位姿与所述成像设备之间的预设转换关系计算所述显示屏幕在所述空间定位子系统的校准位姿；利用所述校准位姿分别校准所述空间定位子系统和虚拟空间子系统中所述显示屏幕的空间位姿和数模位姿。
可选地，在所述校准载体上显示任意校准图案，包括：获取虚拟拍摄系统的校准需求；根据所述校准需求匹配校准图案，显示于所述校准载体上。
本申请第二方面实施例提供一种虚拟拍摄系统的校准方法，包括以下步骤：获取虚拟拍摄系统的校准需求；根据所述校准需求匹配携带有编码信息的校准图案，其中，所述校准图案是基于校准载体的参数设计得到；在所述校准载体上显示所述校准图案，利用所述校准图案的编码信息对所述虚拟拍摄系统中各子系统进行独立校准和/或联合校准。
本申请第三方面实施例提供一种虚拟拍摄系统的校准装置，包括：第一获取模块，用于获取虚拟拍摄系统的校准载体的参数；设计模块，用于根据所述参数设计携带有编码信息的一个或多个校准图案；第一校准模块，用于在所述校准载体上显示任意校准图案，利用所述校准图案的编码信息对所述虚拟拍摄系统中各子系统进行独立校准和/或联合校准。
本申请第四方面实施例提供一种虚拟拍摄系统的校准装置，包括：第二获取模块，用于获取虚拟拍摄系统的校准需求；匹配模块，用于根据所述校准需求匹配携带有编码信息的校准图案，其中，所述校准图案是基于校准载体的参数设计得到；第二校准模块，用于在所述校准载体上显示所述校准图案，利用所述校准图案的编码信息对所述虚拟拍摄系统中各子系统进行独立校准和/或联合校准。
本申请第五方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的虚拟拍摄系统的校准方法。
本申请第六方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的虚拟拍摄系统的校准方法。
由此，本申请至少具有如下有益效果：
本申请实施例可以根据校准载体灵活设计校准图案，基于同一校准图案可以实现虚拟拍摄系统各子系统的独立校准与联合校准，校准标准统一，且无需人工校准，无需外部工具辅助校准，从而可以有效降低校准操作复杂性，提升校准精度和一致性，提升校准的可操作性。由此，解决了相关技术中虚拟拍摄系统中各子系统校准标准统一，且需要人工校准，导致校准操作复杂、精度较低、一致性较差且可操作性差等技术问题。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的一种虚拟拍摄系统的校准方法的流程图；
图2为根据本申请实施例提供的校正载体的示意图；
图3为根据本申请实施例提供的虚拟拍摄系统的校准方法的流程图；
图4为根据本申请实施例提供虚拟拍摄系统的校准装置的方框示例图；
图5为根据本申请实施例提供虚拟拍摄系统的校准装置的方框示例图；
图6为根据本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
在XR虚拟拍摄应用中，存在多种空间坐标系统，主要包括用于摄像机运动捕捉的空间定位系统，摄像机成像系统，LED屏幕空间系统，VR虚拟空间系统。这些系统分别需要独立校准和联合标定。
在XR虚拟拍摄应用中，摄像机6POS位姿由空间定位系统实时解算输出，该位姿数据以空间定位系统建立的空间坐标系描述。摄像机6POS数据被用来驱动VR虚拟空间的虚拟摄像机，而虚拟摄像机位姿是以VR虚拟空间坐标系描述。需要将空间定位系统坐标系与VR虚拟空间坐标系系统校准统一，虚拟摄像机与真实摄像机运动才可以保持空间一致。一般地，空间定位系统坐标系与VR虚拟空间坐标系系统校准是通过人为测量计算系统原点偏移，坐标轴向粗略对齐实现。
对于摄像机成像系统，一般以棋盘格标定板作为标定装置，采用张氏标定法计算摄像机镜头内参，以镜头文件形式设置到VR虚拟空间中的虚拟摄像机，达到虚拟摄像机成像与真实摄像机一致。
对于LED屏幕空间校准，LED屏幕作为虚拟场景与实拍场景之间的桥梁，虚拟空间中LED屏幕位姿与实拍场景中LED屏幕位姿一致性对于虚拟制片中的虚实融合至关重要。一般在XR虚拟制片应用中，VR虚拟空间中LED屏幕位姿是通过测量实拍场景中LED屏幕相对场景原点的位姿而确定。
相关技术的校准方法主要存在以下缺点：
(1)校准操作繁杂。摄像机运动捕捉的空间定位系统，摄像机成像系统，LED屏幕空间系统，VR虚拟空间系统需要在单独校准之后，进行联合校准。每个校准过程缺乏标准，往往导致联合校准后虚实系统偏差较大。
(2)校准精度较低，一致性较差。空间定位系统坐标系与VR虚拟空间坐标系系统校准，LED屏幕空间校准过程依赖人为测量因素，测量人员的专业性与行业经验将影响该校准结果精度。
(3)可操作性差。依赖较多的校准工具，如棋盘格标定板，激光测距仪，米尺等等。繁杂的校准工具使用将增加现场人员使用难度，同时增加系统校准失败的概率。
下面参考附图描述本申请实施例的虚拟拍摄系统的校准方法、装置、电子设备及存储介质。针对上述背景技术中提到的现有的虚拟拍摄的系统校准方法操作复杂，精度较低，一致性较差且可操作性差的问题，本申请提供了一种虚拟拍摄系统的校准方法，在该方法中，通过获取虚拟拍摄系统的校准载体的参数，根据校准载体参数灵活设计校准图案，并利用校准图案的编码信息实现对虚拟拍摄系统的校准，校准流程简单，无需其他校准工具，并且实现一个校准工具满足多种校准需求，实现独立校准和/或联合校准。由此，解决了相关技术中虚拟拍摄系统中各子系统校准标准统一，且需要人工校准，导致校准操作复杂、精度较低、一致性较差且可操作性差等问题。
具体而言，图1为本申请实施例所提供的一种虚拟拍摄系统的校准方法的流程示意图。
如图1所示，该虚拟拍摄系统的校准方法包括以下步骤：
在步骤S101中，获取虚拟拍摄系统的校准载体的参数。
其中，校准载体具有自发光功能用于显示校准图案，以便于摄像机可清晰成像，降低环境影响，并且具备显示内容切换功能，校准载体可以为虚拟拍摄系统中屏幕空间子系统的显示屏幕或者电视显示屏等，不作具体限定；校准载体的参数可以包括校准载体的显示分辨率和显示单元数量等。
以屏幕空间子系统的显示屏幕为例，本申请实施例在对虚拟拍摄系统进行校准时，可以获取显示屏幕的分辨率以及显示单元的数量等参数，以便于后续校准图案的设计；其中，在实际应用时，屏幕空间子系统的显示屏幕可以为LED墙屏幕，LED墙屏幕通常由LED灯板箱体单元组成。
在步骤S102中，根据参数设计携带有编码信息的一个或多个校准图案。
其中，校准图案可被光学成像传感器探测的图案，用于虚拟拍摄系统的校准，校准图案的具体图案类型可以具体设计。
可以理解的是，本申请实施例可根据校准载体灵活设计带有编码信息的校准图案，且可以设计一个或多个图案，以满足不同的校准需求，提升校准图案设计的灵活性，提升用户的校准体验，其中，校准图案的设计数量可以根据实际校准需求具体选择，不作具体限定。
在本申请实施例中，根据参数设计携带有编码信息的一个或多个校准图案，包括：根据显示分辨率设计具有相同分辨率的图案，并根据显示单元数量设计编码标识，且每个显示单元显示的编码标识唯一。
可以理解的是，本申请实施例可以根据显示分辨率设计具有相同分辨率的图案，并且为每个显示单元设计唯一的编码标识，其中，每个显示单元的编码标识具有唯一性。
以LED屏幕作为校准载体为例，本申请实施例可以根据LED墙屏幕分辨率以及LED灯板箱体单元分辨率，设计生成一张带有编码标识的标记图案，该标记图案分辨率与LED墙屏幕分辨率相同，每个LED灯板箱体单元显示唯一编码标识。
在步骤S103中，在校准载体上显示任意校准图案，利用校准图案的编码信息对虚拟拍摄系统中各子系统进行独立校准和/或联合校准。
其中，虚拟拍摄系统中子系统包括：摄像机成像子系统、屏幕空间子系统、空间定位子系统、虚拟(VR)空间子系统等；成像子系统中包括一个或多个成像设备。
可以理解的是，本申请实施例将上述步骤获得的校准图案显示在校准载体上，从而可以利用校准图案的编码信息对虚拟拍摄系统各子系统进行独立校准和联合校准，或者进行独立校准，或者进行联合校准。
在本申请实施例中，在校准载体上显示任意校准图案，包括：获取虚拟拍摄系统的校准需求；根据校准需求匹配校准图案，显示于校准载体上。
可以理解的，本申请实施例可根据校准需求灵活匹配所需校准图案，校准载体可灵活切换校准图案，实现一个校准工具满足多种校准需求。
在本申请实施例中，利用校准图案的编码信息对虚拟拍摄系统中各子系统进行独立校准和/或联合校准，包括：获取成像设备采集校准图案时的一个或多个图像；提取每个图像中一个或多个编码标识的二维特征点坐标集，根据编码标识的位置关系和二维特征点坐标集确定图像之间对应点集；利用图像之间对应点集计算编码标识的三维特征点坐标，并对三维特征点坐标进行缩放，得到校准图案的空间点集，利用空间点集计算成像设备的校准参数，利用校准参数对成像设备进行校准。
其中，成像设备可以为摄像机等设备，可以根据实际需求具体选择，特征点的类型可以包括角点、圆形中心点等，可以根据实际需求具体选择需要提取的特征点类型的特征点坐标集。
可以理解的是，本申请实施例可以利用校准图案对成像设备的成像校准，且校准图案中的特征点具有唯一的标识ID，便于后续图像之间对应点匹配和三维重建；同时相比棋盘格标定板需要被完整采集，本申请实施例的校准图案在系统校准过程中无需被成像设备完整采集，具有更加灵活的特点；另外，编码标识可以按照成像设备成像特性进行缩放，从而满足不同焦段成像设备的成像标准。
具体而言，以摄像机为成像设备，特征点为角点为例进行阐述，本申请实施例对成像子系统的校准步骤如下：使用摄像机采集显示屏幕校准(标记)图案，对每张使用图像处理方法提取编码标识的二维角点坐标集，其中每个编码标识具有唯一ID记为i，每个编码标识具有4个角点，其二维坐标点为按照编码ID可找到图像之间对应点集，以此按照传统多视几何方法可计算出显示屏幕标记图案角点三维坐标，以显示单元边长L作为三维坐标点集尺度缩放因子，可得到与显示单元边长同度量尺度的标记图案空间点集，记作/>i为显示单元编码ID；按照小成像原理，可计算摄像机成像镜头内参数。
在本申请实施例中，利用校准图案的编码信息对虚拟拍摄系统中各子系统进行独立校准和/或联合校准，包括：根据空间点集计算每个显示单元的中心坐标；根据每个显示单元的中心坐标计算显示屏幕中所有显示单元的空间位置和法向数据集；根据空间位置和法向数据集对每个显示单元进行面片建模，并根据相邻面片点集计算显示单元的面片交点，利用面片交点校准显示屏幕的数字模型。
其中，空间点集可以为显示屏幕显示单元上校准图案空间点集。
本申请实施例的校准步骤如下：根据显示屏幕显示单元上标记图案空间点集，计算显示单元中心坐标为Pi，法向为Ni，i为显示单元编码ID。由此，可以计算得到显示屏幕中所有显示单元空间位置和法向数据集D。结合三维建模软件，例如Blender，可根据数据集D对显示单元面片建模，显示单元面片交点使用相邻点集计算质心得到，校准显示屏幕的数字模型。
在本申请实施例中，利用校准图案的编码信息对虚拟拍摄系统中各子系统进行独立校准和/或联合校准，包括：获取成像设备采集图像时空间定位子系统输出的设备位姿；根据设备位姿、空间定位子系统输出位姿与成像设备之间的预设转换关系计算显示屏幕在空间定位子系统的校准位姿；利用校准位姿分别校准空间定位子系统和虚拟空间子系统中显示屏幕的空间位姿和数模位姿。
其中，预设转换关系可以是指：空间定位系统统输出位姿与成像设备之间的转换关系，本申请实施例可以通过手眼标定算法计算得到。
以成像设备为摄像机为例，本申请实施例对空间定位子系统和虚拟空间子系统的校准步骤如下：在摄像机采集显示屏幕图像时，同时采集空间定位系统输出的摄像机6POS位姿；使用手眼标定算法可计算摄像机6POS位姿与摄像机光心6POS位姿之间的转换关系T1，并计算出显示屏幕在定位系统中的6POS位姿S1。在VR虚拟空间中，可参考位姿S1设置显示屏幕数模位姿。由此，空间定位系统坐标系与VR虚拟空间坐标系系统实现坐标系统统一。
综上，本申请实施例可以结合光学校准方法代替人为测量过程，提升系统校准精度；虚拟拍摄系统中各系统校准与联合校准使用同一种校准工具完成，提升整体系统校准一致性和准确率，并且校准流程简单，无需其他校准工具即可完成校正。
下面通过具体实施例对虚拟拍摄系统的校准方法进行阐述，具体如下：
以LED屏幕作为校准载体为例。根据LED墙屏幕分辨率以及LED灯板箱体单元分辨率，设计生成一张带有编码标识的标记图案，使得该标记图案分辨率与LED墙屏幕分辨率相同，每个LED灯板箱体单元显示唯一编码标识。将标记图案以满分辨率，像素点对点方式显示到LED墙屏幕，如图2所示。
摄像机成像校准：使用摄像机采集LED墙标记图案，对每张使用图像处理方法提取编码标识的二维角点坐标集(特征点以角点为例)，其中每个编码标识具有唯一ID记为i，每个编码标识具有4个角点，其二维坐标点为按照编码ID可找到图像之间对应点集，以此按照传统多视几何方法可计算出LED墙标记图案角点三维坐标，以LED灯板箱体单元边长L作为三维坐标点集尺度缩放因子，可得到与LED灯板箱体单元边长同度量尺度的标记图案空间点集，记作/>i为灯板单元编码ID；按照小成像原理，可计算摄像机成像镜头内参数。
LED墙数模校准：根据LED灯板箱体单元上标记图案空间点集，计算LED灯板箱体单元中心坐标为Pi，法向为Ni，i为灯板单元编码ID。由此，可以计算得到LED墙中所有LED灯板单元空间位置和法向数据集D。结合三维建模软件，例如Blender，可根据数据集D对LED灯板箱体单元面片建模，LED灯板箱体单元面片交点使用相邻点集计算质心得到，校准LED墙数字模型。
空间定位系统和虚拟空间系统校准：在摄像机采集LED墙标记图案时，同时采集空间定位系统输出的摄像机6POS位姿。使用手眼标定算法可计算摄像机6POS位姿与摄像机光心6POS位姿之间的转换关系T1，并计算出LED墙在定位系统中的6POS位姿S1。在VR虚拟空间中，可参考位姿S1设置LED墙数模位姿。由此，空间定位系统坐标系与VR虚拟空间坐标系系统实现坐标系统的统一。
根据本申请实施例提出的虚拟拍摄系统的校准方法，校准流程简单，无需其他校准工具即可完成系统校准，便于操作；本申请结合光学校准方法替代人为测量过程，提高了系统校准精度，并且各子系统独立校准与联合校准使用同一种校准工具，提升了整体系统校准一致性和准确率；校准图案设计灵活，可根据校准载体参数灵活设计校准图案，便于识别和三维重建，适配校准载体；校准载体无需外部工具，设计灵活方便；校准载体可以根据校准需求切换校准图案，实现一个工具满足多种校准需求，提高校准工具的可操作性。
上述实施例主要从离线角度阐述虚拟拍摄系统的校准方法，以下实施例将从在线应用的角度对虚拟拍摄系统的校准方法进行阐述，各实施例之间各有侧重，未详尽之处可以相互参考。其中，图3是本申请实施例的虚拟拍摄系统的校准方法的流程图。
如图3所示，该虚拟拍摄系统的校准方法，包括以下步骤：
在步骤S201中，获取虚拟拍摄系统的校准需求。
其中，校准需求可以为对虚拟拍摄系统中子系统的独立校准、对子系统的联合校准或者独立校准和联合校准。
在步骤S202中，根据校准需求匹配携带有编码信息的校准图案，其中，校准图案是基于校准载体的参数设计得到。
其中，校准图案的设计获得方法在上述实施例中已经阐述，此处不再赘述。
在步骤S203中，在校准载体上显示校准图案，利用校准图案的编码信息对虚拟拍摄系统中各子系统进行独立校准和/或联合校准。
可以理解的是，本申请可以基于校准图案的编码信息对虚拟拍摄系统中各子系统进行独立校准和/或联合校准。
根据本申请实施例提出的虚拟拍摄系统的校准方法，可以灵活的根据校准需求匹配相应的校准图案，基于校准图案的编码信息对虚拟拍摄系统中各子系统进行独立校准和/或联合校准，操作简单。
其次参考附图描述本申请实施例提出的虚拟拍摄系统的校准装置。
图4是本申请实施例的虚拟拍摄系统的校准装置的方框示意图。
如图4所示，该虚拟拍摄系统的校准装置10包括：第一获取模块101、设计模块102和第一校准模块103。
其中，第一获取模块101用于获取虚拟拍摄系统的校准载体的参数；设计模块102用于根据参数设计携带有编码信息的一个或多个校准图案；第一校准模块103用于在校准载体上显示任意校准图案，利用校准图案的编码信息对虚拟拍摄系统中各子系统进行独立校准和/或联合校准。
需要说明的是，前述对虚拟拍摄系统的校准方法实施例的解释说明也适用于该实施例的虚拟拍摄系统的校准装置，此处不再赘述。
根据本申请实施例提出的虚拟拍摄系统的校准装置，可以根据校准载体灵活设计校准图案，基于同一校准图案可以实现虚拟拍摄系统各子系统的独立校准与联合校准，校准标准统一，且无需人工校准，无需外部工具辅助校准，从而可以有效降低校准操作复杂性，提升校准精度和一致性，提升校准的可操作性。
其次参考附图描述本申请实施例提出的虚拟拍摄系统的校准装置。
图5是本申请实施例的虚拟拍摄系统的校准装置的方框示意图
如图5所示，该虚拟拍摄系统的校准装置20包括：第二获取模块201、匹配模块202和第二校准模块203。
其中，第二获取模201用于获取虚拟拍摄系统的校准需求；匹配模块202用于根据校准需求匹配携带有编码信息的校准图案，其中，校准图案是基于校准载体的参数设计得到；第二校准模块203用于在所述校准载体上显示校准图案，利用校准图案的编码信息对虚拟拍摄系统中各子系统进行独立校准和/或联合校准。
需要说明的是，前述对虚拟拍摄系统的校准方法实施例的解释说明也适用于该实施例的虚拟拍摄系统的校准装置，此处不再赘述。
根据本申请实施例提出的虚拟拍摄系统的校准装置，本申请实施例可以根据校准载体灵活设计校准图案，基于同一校准图案可以实现虚拟拍摄系统各子系统的独立校准与联合校准，校准标准统一，且无需人工校准，无需外部工具辅助校准，从而可以有效降低校准操作复杂性，提升校准精度和一致性，提升校准的可操作性。
图6为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器601、处理器602及存储在存储器601上并可在处理器602上运行的计算机程序。
处理器602执行程序时实现上述实施例中提供的虚拟拍摄系统的校准方法。
进一步地，电子设备还包括：
通信接口603，用于存储器601和处理器602之间的通信。
存储器601，用于存放可在处理器602上运行的计算机程序。
存储器601可能包含高速RAM(Random Access Memory，随机存取存储器)存储器，也可能还包括非易失性存储器，例如至少一个磁盘存储器。
如果存储器601、处理器602和通信接口603独立实现，则通信接口603、存储器601和处理器602可以通过总线相互连接并完成相互间的通信。总线可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral Component，外部设备互连)总线或EISA(Extended Industry Standard Architecture，扩展工业标准体系结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器601、处理器602及通信接口603，集成在一块芯片上实现，则存储器601、处理器602及通信接口603可以通过内部接口完成相互间的通信。
处理器602可能是一个CPU(Central Processing Unit，中央处理器)，或者是ASIC(Application Specific Integrated Circuit，特定集成电路)，或者是被配置成实施本申请实施例的一个或多个集成电路。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的虚拟拍摄系统的校准方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列，现场可编程门阵列等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
Claims (8)
1.一种虚拟拍摄系统的校准方法，其特征在于，包括以下步骤：
获取虚拟拍摄系统的校准载体的参数；
根据所述参数设计携带有编码信息的一个或多个校准图案；所述参数包括显示分辨率和显示单元数量，所述根据所述参数设计携带有编码信息的一个或多个校准图案，包括：根据所述显示分辨率设计具有相同分辨率的图案，并根据所述显示单元数量设计编码标识，且每个显示单元显示的编码标识唯一；
在所述校准载体上显示任意校准图案，利用所述校准图案的编码信息对所述虚拟拍摄系统中各子系统进行独立校准和/或联合校准；所述校准载体为所述虚拟拍摄系统中屏幕空间子系统的显示屏幕，所述利用所述校准图案的编码信息对所述虚拟拍摄系统中各子系统进行独立校准和/或联合校准，包括：根据空间点集计算每个显示单元的中心坐标；根据所述每个显示单元的中心坐标计算所述显示屏幕中所有显示单元的空间位置和法向数据集；根据所述空间位置和所述法向数据集对每个显示单元进行面片建模，并根据相邻面片点集计算显示单元的面片交点，利用所述面片交点校准所述显示屏幕的数字模型；所述利用所述校准图案的编码信息对所述虚拟拍摄系统中各子系统进行独立校准和/或联合校准，包括：获取成像设备采集图像时空间定位子系统输出的设备位姿；根据所述设备位姿、所述空间定位子系统输出位姿与所述成像设备之间的预设转换关系计算所述显示屏幕在所述空间定位子系统的校准位姿；利用所述校准位姿分别校准所述空间定位子系统和虚拟空间子系统中所述显示屏幕的空间位姿和数模位姿。
2.根据权利要求1所述的虚拟拍摄系统的校准方法，其特征在于，所述虚拟拍摄系统中成像子系统包括一个或多个成像设备，所述利用所述校准图案的编码信息对所述虚拟拍摄系统中各子系统进行独立校准和/或联合校准，包括：
获取成像设备采集所述校准图案时的一个或多个图像；
提取每个图像中一个或多个二维特征点坐标集，根据编码标识的位置关系和所述二维特征点坐标集确定图像之间对应点集；
利用所述图像之间对应点集计算编码标识的三维特征点坐标，并对所述三维特征点坐标进行缩放，得到所述校准图案的空间点集，利用所述空间点集计算所述成像设备的校准参数，利用所述校准参数对所述成像设备进行校准。
3.根据权利要求1所述的虚拟拍摄系统的校准方法，其特征在于，在所述校准载体上显示任意校准图案，包括：
获取虚拟拍摄系统的校准需求；
根据所述校准需求匹配校准图案，显示于所述校准载体上。
4.一种虚拟拍摄系统的校准方法，其特征在于，包括以下步骤：
获取虚拟拍摄系统的校准需求；
根据所述校准需求匹配携带有编码信息的校准图案，其中，所述校准图案是基于校准载体的参数设计得到；所述参数包括显示分辨率和显示单元数量，所述校准图案的设计过程包括：根据所述显示分辨率设计具有相同分辨率的图案，并根据所述显示单元数量设计编码标识，且每个显示单元显示的编码标识唯一；
在所述校准载体上显示所述校准图案，利用所述校准图案的编码信息对所述虚拟拍摄系统中各子系统进行独立校准和/或联合校准；所述校准载体为所述虚拟拍摄系统中屏幕空间子系统的显示屏幕，所述利用所述校准图案的编码信息对所述虚拟拍摄系统中各子系统进行独立校准和/或联合校准，包括：根据空间点集计算每个显示单元的中心坐标；根据所述每个显示单元的中心坐标计算所述显示屏幕中所有显示单元的空间位置和法向数据集；根据所述空间位置和所述法向数据集对每个显示单元进行面片建模，并根据相邻面片点集计算显示单元的面片交点，利用所述面片交点校准所述显示屏幕的数字模型；所述利用所述校准图案的编码信息对所述虚拟拍摄系统中各子系统进行独立校准和/或联合校准，包括：获取成像设备采集图像时空间定位子系统输出的设备位姿；根据所述设备位姿、所述空间定位子系统输出位姿与所述成像设备之间的预设转换关系计算所述显示屏幕在所述空间定位子系统的校准位姿；利用所述校准位姿分别校准所述空间定位子系统和虚拟空间子系统中所述显示屏幕的空间位姿和数模位姿。
5.一种虚拟拍摄系统的校准装置，其特征在于，包括：
第一获取模块，用于获取虚拟拍摄系统的校准载体的参数；
设计模块，用于根据所述参数设计携带有编码信息的一个或多个校准图案；所述参数包括显示分辨率和显示单元数量，所述根据所述参数设计携带有编码信息的一个或多个校准图案，包括：根据所述显示分辨率设计具有相同分辨率的图案，并根据所述显示单元数量设计编码标识，且每个显示单元显示的编码标识唯一；
第一校准模块，用于在所述校准载体上显示任意校准图案，利用所述校准图案的编码信息对所述虚拟拍摄系统中各子系统进行独立校准和/或联合校准；所述校准载体为所述虚拟拍摄系统中屏幕空间子系统的显示屏幕，所述利用所述校准图案的编码信息对所述虚拟拍摄系统中各子系统进行独立校准和/或联合校准，包括：根据空间点集计算每个显示单元的中心坐标；根据所述每个显示单元的中心坐标计算所述显示屏幕中所有显示单元的空间位置和法向数据集；根据所述空间位置和所述法向数据集对每个显示单元进行面片建模，并根据相邻面片点集计算显示单元的面片交点，利用所述面片交点校准所述显示屏幕的数字模型；所述利用所述校准图案的编码信息对所述虚拟拍摄系统中各子系统进行独立校准和/或联合校准，包括：获取成像设备采集图像时空间定位子系统输出的设备位姿；根据所述设备位姿、所述空间定位子系统输出位姿与所述成像设备之间的预设转换关系计算所述显示屏幕在所述空间定位子系统的校准位姿；利用所述校准位姿分别校准所述空间定位子系统和虚拟空间子系统中所述显示屏幕的空间位姿和数模位姿。
6.一种虚拟拍摄系统的校准装置，其特征在于，包括：
第二获取模块，用于获取虚拟拍摄系统的校准需求；
匹配模块，用于根据所述校准需求匹配携带有编码信息的校准图案，其中，所述校准图案是基于校准载体的参数设计得到；所述参数包括显示分辨率和显示单元数量，所述校准图案的设计过程包括：根据所述显示分辨率设计具有相同分辨率的图案，并根据所述显示单元数量设计编码标识，且每个显示单元显示的编码标识唯一；
第二校准模块，用于在所述校准载体上显示所述校准图案，利用所述校准图案的编码信息对所述虚拟拍摄系统中各子系统进行独立校准和/或联合校准；所述校准载体为所述虚拟拍摄系统中屏幕空间子系统的显示屏幕，所述利用所述校准图案的编码信息对所述虚拟拍摄系统中各子系统进行独立校准和/或联合校准，包括：根据空间点集计算每个显示单元的中心坐标；根据所述每个显示单元的中心坐标计算所述显示屏幕中所有显示单元的空间位置和法向数据集；根据所述空间位置和所述法向数据集对每个显示单元进行面片建模，并根据相邻面片点集计算显示单元的面片交点，利用所述面片交点校准所述显示屏幕的数字模型；所述利用所述校准图案的编码信息对所述虚拟拍摄系统中各子系统进行独立校准和/或联合校准，包括：获取成像设备采集图像时空间定位子系统输出的设备位姿；根据所述设备位姿、所述空间定位子系统输出位姿与所述成像设备之间的预设转换关系计算所述显示屏幕在所述空间定位子系统的校准位姿；利用所述校准位姿分别校准所述空间定位子系统和虚拟空间子系统中所述显示屏幕的空间位姿和数模位姿。
7.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-4任一项所述的虚拟拍摄系统的校准方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-4任一项所述的虚拟拍摄系统的校准方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211716361.7A CN116233392B (zh) | 2022-12-29 | 2022-12-29 | 虚拟拍摄系统的校准方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211716361.7A CN116233392B (zh) | 2022-12-29 | 2022-12-29 | 虚拟拍摄系统的校准方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116233392A CN116233392A (zh) | 2023-06-06 |
| CN116233392B true CN116233392B (zh) | 2024-03-29 |
Family
ID=86577694
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211716361.7A Active CN116233392B (zh) | 2022-12-29 | 2022-12-29 | 虚拟拍摄系统的校准方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116233392B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010074730A (ja) * | 2008-09-22 | 2010-04-02 | Nippon Hoso Kyokai <Nhk> | 放送用バーチャルスタジオのズームレンズ搭載カメラのカメラキャリブレーション装置、その方法およびそのプログラム |
| CN102954770A (zh) * | 2011-08-15 | 2013-03-06 | 佳能株式会社 | 三维测量设备和三维测量方法 |
| CN109102527A (zh) * | 2018-08-01 | 2018-12-28 | 甘肃未来云数据科技有限公司 | 基于标识点的视频动作的获取方法和装置 |
| CN110675348A (zh) * | 2019-09-30 | 2020-01-10 | 杭州栖金科技有限公司 | 增强现实图像显示方法、装置及图像处理设备 |
| CN113902796A (zh) * | 2021-08-31 | 2022-01-07 | 杭州易现先进科技有限公司 | 一种基于图像的头显设备的校准方法和系统 |
| CN114663495A (zh) * | 2022-03-21 | 2022-06-24 | Oppo广东移动通信有限公司 | 校准方法和装置、头戴显示设备及计算机可读存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9978147B2 (en) * | 2015-12-23 | 2018-05-22 | Intel Corporation | System and method for calibration of a depth camera system |
-
2022
- 2022-12-29 CN CN202211716361.7A patent/CN116233392B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010074730A (ja) * | 2008-09-22 | 2010-04-02 | Nippon Hoso Kyokai <Nhk> | 放送用バーチャルスタジオのズームレンズ搭載カメラのカメラキャリブレーション装置、その方法およびそのプログラム |
| CN102954770A (zh) * | 2011-08-15 | 2013-03-06 | 佳能株式会社 | 三维测量设备和三维测量方法 |
| CN109102527A (zh) * | 2018-08-01 | 2018-12-28 | 甘肃未来云数据科技有限公司 | 基于标识点的视频动作的获取方法和装置 |
| CN110675348A (zh) * | 2019-09-30 | 2020-01-10 | 杭州栖金科技有限公司 | 增强现实图像显示方法、装置及图像处理设备 |
| CN113902796A (zh) * | 2021-08-31 | 2022-01-07 | 杭州易现先进科技有限公司 | 一种基于图像的头显设备的校准方法和系统 |
| CN114663495A (zh) * | 2022-03-21 | 2022-06-24 | Oppo广东移动通信有限公司 | 校准方法和装置、头戴显示设备及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116233392A (zh) | 2023-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107223269B (zh) | 三维场景定位方法和装置 | |
| CN108765498B (zh) | 单目视觉跟踪方法、装置及存储介质 | |
| CN107564069B (zh) | 标定参数的确定方法、装置及计算机可读存储介质 | |
| CN112509057B (zh) | 相机外参标定方法、装置、电子设备以及计算机可读介质 | |
| CN110568447A (zh) | 视觉定位的方法、装置及计算机可读介质 | |
| CN112652016A (zh) | 点云预测模型的生成方法、位姿估计方法及其装置 | |
| CN112907727B (zh) | 相对变换矩阵的标定方法、装置及系统 | |
| US20210374978A1 (en) | Capturing environmental scans using anchor objects for registration | |
| JP2020053008A (ja) | 位置決め方法、ロボット及びコンピューター記憶媒体 | |
| CN107481288A (zh) | 双目摄像头的内外参确定方法和装置 | |
| CN114792345B (zh) | 一种基于单目结构光系统的标定方法 | |
| CN110517209A (zh) | 数据处理方法、装置、系统以及计算机可读存储介质 | |
| CN105513074B (zh) | 一种羽毛球机器人相机以及车身到世界坐标系的标定方法 | |
| RU2479828C2 (ru) | Стереоскопическая измерительная система и способ | |
| CN114926538A (zh) | 单目激光散斑投影系统的外参数标定方法和装置 | |
| CN114494582A (zh) | 一种基于视觉感知的三维模型动态更新方法 | |
| CN116233392B (zh) | 虚拟拍摄系统的校准方法、装置、电子设备及存储介质 | |
| CN115880448B (zh) | 基于双目成像的三维测量方法及装置 | |
| CN116485902A (zh) | 标志点匹配方法、装置、计算机设备和存储介质 | |
| CN115375773A (zh) | 单目激光散斑投影系统的外参数标定方法和相关装置 | |
| CN108592789A (zh) | 一种基于bim和机器视觉技术的钢结构工厂预拼装方法 | |
| CN114926542A (zh) | 基于光学定位系统的混合现实固定参考系校准方法 | |
| JP2023121596A (ja) | カメラのパラメーター算出方法、及びカメラシステム | |
| JP2002135807A (ja) | ３次元入力のためのキャリブレーション方法および装置 | |
| CN107478227B (zh) | 交互式大型空间的定位算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |