CN114820807A - 屏幕-相机的标定方法、系统、标定设备和存储介质 - Google Patents

屏幕-相机的标定方法、系统、标定设备和存储介质 Download PDF

Info

Publication number
CN114820807A
CN114820807A CN202210303283.1A CN202210303283A CN114820807A CN 114820807 A CN114820807 A CN 114820807A CN 202210303283 A CN202210303283 A CN 202210303283A CN 114820807 A CN114820807 A CN 114820807A
Authority
CN
China
Prior art keywords
camera
calibration
screen
image
double
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210303283.1A
Other languages
English (en)
Other versions
CN114820807B (zh
Inventor
薛远
王孝文
季栋
王亚运
李绪琴
户磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Dilusense Technology Co Ltd
Original Assignee
Beijing Dilusense Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dilusense Technology Co Ltd filed Critical Beijing Dilusense Technology Co Ltd
Priority to CN202210303283.1A priority Critical patent/CN114820807B/zh
Publication of CN114820807A publication Critical patent/CN114820807A/zh
Application granted granted Critical
Publication of CN114820807B publication Critical patent/CN114820807B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例涉及机器视觉技术领域，公开了一种屏幕‑相机的标定方法、系统、标定设备和存储介质，该方法包括：获取第一相机对双面标定板的第一表面拍摄的第一图像，以及第二相机对所述双面标定板的第二表面拍摄的第二图像；根据所述第一图像和所述第二图像标定所述第一相机与所述第二相机之间的第一外参；获取所述第二相机对屏幕拍摄的第三图像，并根据所述第三图像标定所述第二相机与所述屏幕之间的第二外参；根据所述第一外参和所述第二外参标定所述第一相机与所述屏幕之间的第三外参，无需精密加工的标定物即可实现对屏幕‑相机的高精度标定，降低了标定成本，加快了标定速度。

Description

屏幕-相机的标定方法、系统、标定设备和存储介质
技术领域
本申请实施例涉及机器视觉技术领域，特别涉及一种屏幕-相机的标定方法、系统、标定设备和存储介质。
背景技术
随着机器视觉技术的飞速发展，人在屏幕前做出的动作在该屏幕上能够实时显示已经不再是一个幻想的事情，人能够实时与屏幕进行互动，比如虚拟现实(VirtualReality，简称：VR)技术、体感互动投影技术、视线估计技术和视线操控技术等，这些技术在实现时，往往需要一个或多个摄像头来捕捉人体的动作、姿态和视线落点等，将人体的动作、姿态和视线落点的位置对应到屏幕上的位置，这依赖于标定相机的摄像头与屏幕在世界坐标系中的相对的位姿关系(即屏幕-相机的标定)，为了提升人屏互动的准确性，准确地进行屏幕-相机的标定是十分重要的。
在人屏互动场景下，相机与屏幕的朝向往往是相同的，相机可以拍到人体的位置，但无法拍摄到屏幕的位置，这就无法直接进行屏幕-相机的标定，对此，技术人员可以使用线条连接空间中与屏幕上某几个固定位置的点来进行屏幕-相机的标定，也可以使用小球、圆柱等标定物与相机联合进行屏幕-相机的标定。
然而，使用线条连接空间中与屏幕上某几个固定位置的点来进行屏幕-相机的标定，标定的精度偏低，不能满足高精度的人屏互动的要求，而使用标定物进行屏幕-相机的标定，标定物需要进行精密加工、定制开发，成本非常高。
发明内容
本申请实施例的目的在于提供一种屏幕-相机的标定方法、系统、标定设备和存储介质，无需精密加工的昂贵标定物即可实现对屏幕-相机的高精度标定，降低了标定的成本，同时加快了标定的速度。
为解决上述技术问题，本申请的实施例提供了一种屏幕-相机的标定方法，包括以下步骤：获取第一相机对双面标定板的第一表面拍摄的第一图像，以及第二相机对所述双面标定板的第二表面拍摄的第二图像；其中，所述第一相机的朝向与所述第二相机的朝向相反，所述双面标定板置于所述第一相机和所述第二相机之间，所述第一表面和所述第二表面设有完全相同的预设的第一标定图案；根据所述第一图像和所述第二图像标定所述第一相机与所述第二相机之间的第一外参；获取所述第二相机对屏幕拍摄的第三图像，并根据所述第三图像标定所述第二相机与所述屏幕之间的第二外参；其中，所述第一相机的朝向与所述屏幕的朝向相同，所述第二相机的朝向与所述屏幕的朝向相反，所述屏幕上显示有预设的第二标定图案；根据所述第一外参和所述第二外参标定所述第一相机与所述屏幕之间的第三外参。
本申请的实施例还提供了一种屏幕-相机的标定系统，包括：第一相机、第二相机、双面标定板、屏幕和标定设备，所述第一相机的朝向与所述第二相机的朝向相反，所述第一相机的朝向与所述屏幕的朝向相同，所述第二相机的朝向与所述屏幕的朝向相反，所述双面标定板置于所述第一相机和所述第二相机之间，所述双面标定板的第一表面和所述双面标定板的第二表面设有完全相同的预设的第一标定图案，所述屏幕上显示有预设的第二标定图案；所述第一相机用于拍摄所述双面标定板的第一表面得到第一图像；所述第二相机用于拍摄所述双面标定板的第二表面得到第二图像；所述标定设备用于根据所述第一图像和所述第二图像标定所述第一相机与所述第二相机之间的第一外参；所述第二相机还用于拍摄所述屏幕得到第三图像；所述标定设备还用于根据所述第三图像标定所述第二相机与所述屏幕之间的第二外参，并根据所述第一外参和所述第二外参标定所述第一相机与所述屏幕之间的第三外参。
本申请的实施例还提供了一种标定设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述屏幕-相机的标定方法。
本申请的实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述屏幕-相机的标定方法。
本申请的是实施例提供的屏幕-相机的标定方法、系统、标定设备和存储介质，第一相机与第二相机的朝向相反，第一相机与屏幕的朝向相同，第二相机与屏幕的朝向相反，第一相机与第二相机之间设置有双面标定板，双面标定板的第一表面与第二表面设有完全相同的预设的第一标定图案，标定设备获取第一相机对双面标定板的第一表面拍摄的第一图像，以及第二相机对同一双面标定板的第二表面拍摄的第二图像，随后根据第一图像和第二图像标定第一相机与第二相机之间的第一外参，再获取第二相机对显示有预设的第二标定图案的屏幕拍摄的第三图像，并根据第三图像标定第二相机与屏幕之间的第二外参，最后根据第一相机与第二相机之间的第一外参和第二相机与屏幕之间的第二外参标定第一相机与所述屏幕之间的第三外参，考虑到在人屏互动场景下，第一相机与屏幕的朝向相同，第一相机拍摄不到屏幕，无法直接进行屏幕-相机的标定，使用线条连接的标定方法标定精度偏低，使用精密加工标定物的标定方法成本过高，而本申请的实施例引入与第一相机和屏幕朝向相反的第二相机和双面标点板，先基于双面标定板实现第一相机与第二相机的标定，由于第二相机可以拍摄到屏幕，因此第二相机可以直接与屏幕进行标定，从而根据第一相机与第二相机的标定和第二相机与屏幕的标定结果实现第一相机与屏幕之间的标定，无需精密加工的昂贵标定物即可实现对屏幕-相机的高精度标定，降低了标定的成本，同时加快了标定的速度。
另外，所述预设的第一标定图案为棋盘格，所述获取第一相机对双面标定板的第一表面拍摄的第一图像，以及第二相机对所述双面标定板的第二表面拍摄的第二图像，包括：获取第一相机分别对所述双面标定板在不同位置下的第一表面拍摄的N个第一图像，以及第二相机分别对所述双面标定板在不同位置下的第二表面拍摄的N个第二图像；其中，所述N为大于2的整数，所述双面标定板的不同位置通过平移和/或旋转得到；所述根据所述第一图像和所述第二图像标定所述第一相机与所述第二相机之间的第一外参，包括：根据张正友标定法、所述N个第一图像、所述N个第二图像和LM迭代算法，标定所述第一相机与所述第二相机之间的第一外参，张正友标定法的精度高、鲁棒性高，并且双面标定板的标定图案为棋盘格即可，制备更加简单，考虑到张正友标定法至少需要相机拍摄三个以上的不同角度、位置的标定板图案，而在本申请的人屏互动场景下，第一相机与第二相机的位置是基本固定的，因此本申请调整双面标定板的位置，对双面标定板进行适当的平移和旋转，从而使得第一相机和第二相机能够拍摄得到不同角度、位置的标定板图案，从而很好地满足张正友标定法的需求。
另外，在所述根据张正友标定法、所述N个第一图像和所述N个第二图像标定所述第一相机与所述第二相机之间的第一外参时，所述第一相机和所述第二相机均建立左手坐标系，或者，所述第一相机和所述第二相机均建立右手坐标系，在使用LM迭代算法进行外参迭代时，必须保证双相机建立的坐标系的原则是相同的，这样双面标定板上的同一点对于第一相机和第二相机而言只有y方向坐标的符号是相反的，便于联立迭代求解，以得到第一相机与第二相机之间的第一外参。
另外，所述第一外参包括第一平移矩阵和第一旋转矩阵，所述第二外参包括第二平移矩阵和第二旋转矩阵，所述第三外参包括第三平移矩阵和第三旋转矩阵，所述根据所述第一外参和所述第二外参标定所述第一相机与所述屏幕之间的第三外参，包括：根据所述第一旋转矩阵和所述第二旋转矩阵，标定所述第一相机与所述屏幕之间的第三旋转矩阵；根据所述第一平移矩阵、所述第二平移矩阵和所述第二旋转矩阵，标定所述第一相机与所述屏幕之间的第三平移矩阵，考虑到本申请中第一相机、第二相机、双面标定板、以及屏幕的位置关系，根据第一旋转矩阵和第二旋转矩阵，即可确定第三旋转矩阵，而由于第一相机和第二相机朝向相反，因此需要根据第一平移矩阵、第二平移矩阵和第二旋转矩阵，才能确定第三平移矩阵。
另外，在所述获取第一相机对双面标定板的第一表面拍摄的第一图像，以及第二相机对所述双面标定板的第二表面拍摄的第二图像之前，所述方法还包括：熄灭所述屏幕；在所述根据所述第一图像和所述第二图像标定所述第一相机与所述第二相机之间的第一外参之后，在所述获取所述第二相机对屏幕拍摄的第三图像之前，所述方法还包括：点亮所述屏幕，并在所述屏幕上显示所述第二标定图案，考虑到第一相机、第二相机、双面标定板、以及屏幕的相互位置关系，第二相机在能拍摄到双面标定板的第二表面同时，也能拍摄到屏幕，如果此时屏幕上显示有第二标定图案或者屏幕是点亮状态，都可能会干扰到第一相机与第二相机之间的标定，因此本申请的实施例在进行第一相机与第二相机的标定时熄灭屏幕，在进行第二相机与屏幕的标定时再点亮屏幕，可以防止屏幕显示的内容对标定的干扰，进一步提升标定的精度。
另外，所述双面标定板通过以下步骤获得：双面打印所述第一标定图案，使用两块透明玻璃将双面打印的所述预设的标定图案夹住，得到所述双面标定板；或者，选取大小相同、形状相同、且标定图案均为所述第一标定图案的第一单面标定板和第二单面标定板，将所述第一单面标定板和所述第二单面标定板背对背贴合，得到所述双面标定板，双面标定板制备时，一定要保证第一表面与第二表面的标定图案完全相同，并且双面标定板在使用过程中不能产生形变、晃动，需要具有一定的硬度，相较于精密加工、定制开发标定物的技术方案而言，双面标定板的获取简易、便捷，无需精密加工和定制，大大降低了屏幕-相机的标定成本。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定。
图1是根据本申请的一个实施例的屏幕-相机的标定方法的流程图一；
图2是根据本申请的一个实施例中提供的一种人屏互动场景下，人与相机、屏幕之间相对位置的示意图；
图3是根据本申请的一个实施例中提供的一种第一相机、第二相机、双面标定板和屏幕之间相对位置的示意图；
图4是根据本申请的另一个实施例的屏幕-相机的标定方法的流程图二；
图5是根据本申请的另一个实施例的屏幕-相机的标定方法的流程图三；
图6是是根据本申请的另一个实施例的屏幕-相机的标定系统的结构示意图；
图7是根据本申请的另一个实施例的标定设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本申请的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
本申请的实施例提供的屏幕-相机的标定方法应用于相机与屏幕的朝向相同，相机无法直接拍摄到屏幕的各种人屏互动场景，如基于VR技术的沉浸式观影或沉浸式游戏；基于体感互动投影技术的运动健身；基于视线估计技术、视线操控技术的产品介绍、课程教学等。
本申请的一个实施例涉及一种屏幕-相机的标定方法，应用于标定设备，下面对本实施例的屏幕-相机的标定方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。
本实施例中的屏幕-相机的标定方法的流程图可以如图1所示，包括：
步骤101，获取第一相机对双面标定板的第一表面拍摄的第一图像，以及第二相机对双面标定板的第二表面拍摄的第二图像。
具体而言，第一相机的朝向与第二相机的朝向相反，双面标定板置于第一相机和第二相机之间，双面标定板的第一表面和双面标定板的第二表面设有完全相同的预设的第一标定图案。
在具体实现中，在人屏互动场景下，人体、相机与屏幕之间的相对位置关系可以如图2所示，相机的朝向与屏幕的朝向相同，人体的朝向与相机和屏幕的朝向相反，相机无法直接拍摄到屏幕，自然无法直接进行屏幕-相机的标定，为此本申请的实施例引入第二相机和双面标定板来实现第一相机与屏幕之间的标定，第一相机、第二相机、双面标定板与屏幕之间的位置关系如图3所示，第一相机的朝向与第二相机的朝向相反，屏幕的朝向也与第二相机的朝向相反，双面标定板固定在第一相机和第二相机之间，调整双面标定板的角度后，第一相机只能拍摄到双面标定板的第一表面，同时第二标定板只能拍摄到双面标定板的第二表面，在进行第一相机与屏幕之间的标定时，标定设备通过第一相机拍摄双面标定板的第一表面得到第一图像，并通过第二相机拍摄双面标定板的第二表面得到第二图像，其中，双面标定板的第一表面和双面标定板的第二表面设有完全相同的预设的第一标定图案，预设的第一标定图案的样式可以由本领域的技术人员根据实际需要进行选择。
在具体实现中，制备双面标定板时，一定要保证第一表面与第二表面的标定图案完全相同，并且双面标定板在使用过程中不能产生形变、晃动，需要具有一定的硬度，相较于精密加工、定制开发标定物的技术方案而言，双面标定板的获取简易、便捷，无需精密加工和定制，大大降低了屏幕-相机的标定成本。
在一个例子中，技术人员可以在双面空白的纸上双面打印预设的标定图案，并使用两块材质、大小、质量、厚度完全相同的透明玻璃将双面打印后的纸夹住，将安装好的此装置作为双面标定板。
在另一个例子中，技术人员可以选取大小相同、形状相同、且标定图案相同的第一单面标定板和第二单面标定板，将第一单面标定板和第二单面标定板背对背贴合，得到双面标定板。
步骤102，根据第一图像和第二图像标定第一相机与第二相机之间的第一外参。
具体而言，标定设备在得到第一相机对双面标定板的第一表面拍摄的第一图像，以及第二相机对双面标定板的第二表面拍摄的第二图像后，可以基于预设的标定算法，如PNP算法(Perspective-n-Point)等，根据第一图像和第二图像，以及双面标定板，标定第一相机与第二相机之间的第一外参。
在一个例子中，第一相机与第二相机之间的第一外参至少包括第一相机与第二相机之间的第一旋转矩阵，以及第一相机与第二相机之间的第一平移矩阵。
值得注意的是，标定设备在根据第一图像和第二图像标定第一相机与第二相机之间的第一外参时，还可以根据第一图像标定第一相机的第一内参、根据第二图像标定第二相机的第二内参。
步骤103，获取第二相机对屏幕拍摄的第三图像，并根据第三图像标定第二相机与屏幕之间的第二外参。
具体而言，第一相机的朝向与屏幕的朝向相同，第二相机的朝向与屏幕的朝向相反，屏幕上显示有预设的第二标定图案，其中，第二标定图案可以与第一标定图案相同，第二标定图案也可以与第一标定图案不同，本申请的实施例对此不作具体限定。
在具体实现中，标定设备在标定好第一相机与第二相机之间的第一外参后，可以通过第二相机拍摄屏幕得到第三图像，进行第二相机与屏幕之间的标定，标定设备基于预设的标定算法，如PNP算法等，根据第三图像标定第二相机与屏幕之间的第二外参。
值得注意的是，标定设备在根据第三图像标定第二相机与屏幕之间的第二外参时，还可以根据第三图像标定第二相机的第二内参。
在一个例子中，第二相机与屏幕之间的第二外参至少包括第二相机与屏幕之间的第二旋转矩阵，以及第二相机与屏幕之间的第二平移矩阵。
步骤104，根据第一外参和第二外参标定第一相机与屏幕之间的第三外参。
具体而言，标定设备得到第一相机与第二相机之间的第一外参，以及第二相机与屏幕之间的第二外参后，可以直接对第一外参和第二外参进行坐标系转换，得到第一相机与屏幕之间的第三外参。
在一个例子中，第一外参包括第一平移矩阵和第一旋转矩阵，第二外参包括第二平移矩阵和第二旋转矩阵，第三外参包括第三平移矩阵和第三旋转矩阵，标定设备根据第一外参和第二外参标定第一相机与所述屏幕之间的第三外参时，可以根据第一旋转矩阵和第二旋转矩阵，标定第一相机与屏幕之间的第三旋转矩阵，再根据第一平移矩阵、第二平移矩阵和第二旋转矩阵，标定第一相机与屏幕之间的第三平移矩阵，考虑到本申请中第一相机、第二相机、双面标定板、以及屏幕的位置关系，根据第一旋转矩阵和第二旋转矩阵，即可确定第三旋转矩阵，而由于第一相机和第二相机朝向相反，因此需要根据第一平移矩阵、第二平移矩阵和第二旋转矩阵，才能确定第三平移矩阵。
在一个例子中，标定设备根据第一旋转矩阵和第二旋转矩阵，标定第一相机与屏幕之间的第三旋转矩阵，根据第一平移矩阵、第二平移矩阵和第二旋转矩阵，标定第一相机与屏幕之间的第三平移矩阵，可以通过以下公式表示：
RAC＝RBC*RAB
TAC＝RBC*TAB+TBC
式中，RAB为第一旋转矩阵，RBC为第二旋转矩阵，RAC为第三旋转矩阵，TAB为第一平移矩阵，TBC为第二平移矩阵，TAC为第三平移矩阵。
本实施例，第一相机与第二相机的朝向相反，第一相机与屏幕的朝向相同，第二相机与屏幕的朝向相反，第一相机与第二相机之间设置有双面标定板，双面标定板的第一表面与第二表面设有完全相同的预设的第一标定图案，标定设备获取第一相机对双面标定板的第一表面拍摄的第一图像，以及第二相机对双面标定板的第二表面拍摄的第二图像，随后根据第一图像和第二图像标定第一相机与第二相机之间的第一外参，再获取第二相机对显示有预设的第二标定图案的屏幕拍摄的第三图像，并根据第三图像标定第二相机与屏幕之间的第二外参，最后根据第一相机与第二相机之间的第一外参和第二相机与屏幕之间的第二外参标定第一相机与所述屏幕之间的第三外参，考虑到在人屏互动场景下，第一相机与屏幕的朝向相同，第一相机拍摄不到屏幕，无法直接进行屏幕-相机的标定，使用线条连接的标定方法标定精度偏低，使用精密加工标定物的标定方法成本过高，而本申请的实施例引入与第一相机和屏幕朝向相反的第二相机和双面标点板，先基于双面标定板实现第一相机与第二相机的标定，由于第二相机可以拍摄到屏幕，因此第二相机可以直接与屏幕进行标定，从而根据第一相机与第二相机的标定和第二相机与屏幕的标定结果实现第一相机与屏幕之间的标定，无需精密加工的昂贵标定物即可实现对屏幕-相机的高精度标定，降低了标定的成本，同时加快了标定的速度。
本申请的另一个实施例涉及一种屏幕-相机的标定方法，下面对本实施例的屏幕-相机的标定方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须，本实施例中双面标定板上预设的第一标定图案为棋盘格，本实施例中的屏幕-相机的标定方法的流程图可以如图4所示，包括：
步骤201，获取第一相机分别对双面标定板在不同位置下的第一表面拍摄的N个第一图像，以及第二相机分别对双面标定板在不同位置下的第二表面拍摄的N个第二图像。
具体而言，N为大于2的整数，即服务器通过第一相机至少拍摄双面标定板在三个不同位置下的第一表面，从而得到至少三个第一图像，同时通过第二相机拍摄双面标定板在三个不同位置下的第二表面，从而得到至少三个第二图像，而双面标定板的不同位置可以通过平移和/或旋转得到，
步骤202，根据张正友标定法、N个第一图像、N个第二图像和LM迭代算法，标定第一相机与第二相机之间的第一外参。
在具体实现中，张正友标定法至少需要相机拍摄三个以上的不同角度、位置的标定图案，而在本申请的人屏互动场景下，第一相机与第二相机的位置是基本固定的，因此本申请调整双面标定板的位置，对双面标定板进行适当的平移和旋转，从而使得第一相机和第二相机能够拍摄得到不同角度、位置的标定板图案，以达到张正友标定法的要求。
在具体实现中，在使用LM迭代算法进行外参迭代时，必须保证双相机建立的坐标系的原则是相同的，这样双面标定板上的同一点对于第一相机和第二相机而言只有y方向坐标的符号是相反的，便于联立迭代求解，因此本申请的实施例要求第一相机和第二相机均建立左手坐标系，或者，第一相机和第二相机均建立右手坐标系。
步骤203，通过第二相机拍摄屏幕得到第三图像，并根据第三图像标定第二相机与屏幕之间的第二外参。
步骤204，根据第一外参和第二外参标定第一相机与屏幕之间的第三外参。
其中，步骤203至步骤204与步骤103至步骤104大致相同，此处不再赘述。
本实施例，所述预设的第一标定图案为棋盘格，所述获取第一相机对双面标定板的第一表面拍摄的第一图像，以及第二相机对所述双面标定板的第二表面拍摄的第二图像，包括：获取第一相机分别对所述双面标定板在不同位置下的第一表面拍摄的N个第一图像，以及第二相机分别对所述双面标定板在不同位置下的第二表面拍摄的N个第二图像；其中，所述N为大于2的整数，所述双面标定板的不同位置通过平移和/或旋转得到；所述根据所述第一图像和所述第二图像标定所述第一相机与所述第二相机之间的第一外参，包括：根据张正友标定法、所述N个第一图像、所述N个第二图像和LM迭代算法，标定所述第一相机与所述第二相机之间的第一外参，张正友标定法的精度高、鲁棒性高，并且双面标定板的标定图案为棋盘格即可，制备更加简单，考虑到张正友标定法至少需要相机拍摄三个以上的不同角度、位置的标定板图案，而在本申请的人屏互动场景下，第一相机与第二相机的位置是基本固定的，因此本申请调整双面标定板的位置，对双面标定板进行适当的平移和旋转，从而使得第一相机和第二相机能够拍摄得到不同角度、位置的标定板图案，从而很好地满足张正友标定法的需求。
本申请的另一个实施例涉及一种屏幕-相机的标定方法，下面对本实施例的屏幕-相机的标定方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须，本实施例中的屏幕-相机的标定方法的流程图可以如图5所示，包括：
步骤301，熄灭屏幕。
具体而言，再进行第一相机与第二相机之间的标定时，可以将屏幕熄灭，即屏幕为黑屏或屏幕上不显示任何内容，防止屏幕上显示的内容对第一相机与第二相机之间的标定产生影响。
步骤302，获取第一相机对双面标定板的第一表面拍摄的第一图像，以及第二相机对双面标定板的第二表面拍摄的第二图像。
步骤303，根据第一图像和第二图像标定第一相机与第二相机之间的第一外参。
其中，步骤302至步骤303与步骤101至步骤102大致相同，此处不再赘述。
步骤304，点亮屏幕，并在屏幕上显示预设的第二标定图案。
具体而言，标定设备在根据第一图像和第二图像标定第一相机与第二相机之间的第一外参后，即第一相机与第二相机之间的标定已完成，标定设备可以点亮屏幕，并在屏幕上显示预设的第二标定图案，从而进行第二相机与屏幕之间的标定。
步骤305，获取第二相机对屏幕拍摄的第三图像，并根据第三图像标定第二相机与屏幕之间的第二外参。
步骤306，根据第一外参和第二外参标定第一相机与屏幕之间的第三外参。
其中，步骤305至步骤306与步骤103至步骤104大致相同，此处不再赘述。
本实施例，在所述获取第一相机对双面标定板的第一表面拍摄的第一图像，以及第二相机对所述双面标定板的第二表面拍摄的第二图像之前，所述方法还包括：熄灭所述屏幕；在所述根据所述第一图像和所述第二图像标定所述第一相机与所述第二相机之间的第一外参之后，在所述获取所述第二相机对屏幕拍摄的第三图像之前，所述方法还包括：点亮所述屏幕，并在所述屏幕上显示预设的第二标定图案，考虑到第一相机、第二相机、双面标定板、以及屏幕的相互位置关系，第二相机在能拍摄到双面标定板的第二表面同时，也能拍摄到屏幕，如果此时屏幕上显示有第二标定图案或者屏幕是点亮状态，都可能会干扰到第一相机与第二相机之间的标定，因此本申请的实施例在进行第一相机与第二相机的标定时熄灭屏幕，在进行第二相机与屏幕的标定时再点亮屏幕，可以防止屏幕显示的内容对标定的干扰，进一步提升标定的精度。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本申请的另一个实施例涉及一种屏幕-相机的标定系统，下面对本实施例的屏幕-相机的标定系统的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须，本实施例的屏幕-相机的标定系统的示意图可以如图6所示，包括：第一相机401、第二相机402、屏幕403、双面标定板404和标定设备405，第一相机401的朝向与第二相机402的朝向相反，第一相机401的朝向与屏幕403的朝向相同，第二相机402的朝向与屏幕403的朝向相反，双面标定板404置于第一相机401和第二相机402之间，双面标定板404的第一表面和双面标定板404的第二表面设有完全相同的标定图案。
第一相机401用于拍摄双面标定板404的第一表面得到第一图像。
第二相机402用于拍摄双面标定板404的第二表面得到第二图像。
标定设备405用于根据第一图像和第二图像标定第一相机401与第二相机402之间的第一外参。
第二相机402还用于拍摄屏幕403得到第三图像。
标定设备405还用于根据第三图像标定第二相机402与屏幕403之间的第二外参，并根据第一外参和第二外参标定第一相机401与屏幕403之间的第三外参。
值得一提的是，本实施例中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本申请的创新部分，本实施例中并没有将与解决本申请所提出的技术问题关系不太密切的单元引入，但这并不表明本实施例中不存在其它的单元。
本申请另一个实施例涉及一种标定设备，如图7所示，包括：至少一个处理器501；以及，与所述至少一个处理器501通信连接的存储器502；其中，所述存储器502存储有可被所述至少一个处理器501执行的指令，所述指令被所述至少一个处理器501执行，以使所述至少一个处理器501能够执行上述各实施例中的屏幕-相机的标定方法。
其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。
处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
本申请另一个实施例涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，简称：ROM)、随机存取存储器(Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施例是实现本申请的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。

Claims (10)

1.一种屏幕-相机的标定方法，其特征在于，应用于标定设备，所述方法包括：
获取第一相机对双面标定板的第一表面拍摄的第一图像，以及第二相机对所述双面标定板的第二表面拍摄的第二图像；其中，所述第一相机的朝向与所述第二相机的朝向相反，所述双面标定板置于所述第一相机和所述第二相机之间，所述第一表面和所述第二表面设有完全相同的预设的第一标定图案；
根据所述第一图像和所述第二图像标定所述第一相机与所述第二相机之间的第一外参；
获取所述第二相机对屏幕拍摄的第三图像，并根据所述第三图像标定所述第二相机与所述屏幕之间的第二外参；其中，所述第一相机的朝向与所述屏幕的朝向相同，所述第二相机的朝向与所述屏幕的朝向相反，所述屏幕上显示有预设的第二标定图案；
根据所述第一外参和所述第二外参标定所述第一相机与所述屏幕之间的第三外参。
2.根据权利要求1所述的屏幕-相机的标定方法，其特征在于，所述预设的第一标定图案为棋盘格，所述获取第一相机对双面标定板的第一表面拍摄的第一图像，以及第二相机对所述双面标定板的第二表面拍摄的第二图像，包括：
获取第一相机分别对所述双面标定板在不同位置下的第一表面拍摄的N个第一图像，以及第二相机分别对所述双面标定板在不同位置下的第二表面拍摄的N个第二图像；其中，所述N为大于2的整数，所述双面标定板的不同位置通过平移和/或旋转得到；
所述根据所述第一图像和所述第二图像标定所述第一相机与所述第二相机之间的第一外参，包括：
根据张正友标定法、所述N个第一图像、所述N个第二图像和LM迭代算法，标定所述第一相机与所述第二相机之间的第一外参。
3.根据权利要求2所述的屏幕-相机的标定方法，其特征在于，在所述根据张正友标定法、所述N个第一图像和所述N个第二图像标定所述第一相机与所述第二相机之间的第一外参时，所述第一相机和所述第二相机均建立左手坐标系，或者，所述第一相机和所述第二相机均建立右手坐标系。
4.根据权利要求1至3中任一项所述的屏幕-相机的标定方法，其特征在于，所述第一外参包括第一平移矩阵和第一旋转矩阵，所述第二外参包括第二平移矩阵和第二旋转矩阵，所述第三外参包括第三平移矩阵和第三旋转矩阵，所述根据所述第一外参和所述第二外参标定所述第一相机与所述屏幕之间的第三外参，包括：
根据所述第一旋转矩阵和所述第二旋转矩阵，标定所述第一相机与所述屏幕之间的第三旋转矩阵；
根据所述第一平移矩阵、所述第二平移矩阵和所述第二旋转矩阵，标定所述第一相机与所述屏幕之间的第三平移矩阵。
5.根据权利要求4所述的屏幕-相机的标定方法，其特征在于，所述根据所述第一旋转矩阵和所述第二旋转矩阵，标定所述第一相机与所述屏幕之间的第三旋转矩阵，根据所述第一平移矩阵、所述第二平移矩阵和所述第二旋转矩阵，标定所述第一相机与所述屏幕之间的第三平移矩阵，通过以下公式表示：
RAC＝RBC*RAB
TAC＝RBC*TAB+TBC
其中，RAB为所述第一旋转矩阵，RBC为所述第二旋转矩阵，RAC为所述第三旋转矩阵，TAB为所述第一平移矩阵，TBC为所述第二平移矩阵，TAC为所述第三平移矩阵。
6.根据权利要求1至3中任一项所述的屏幕-相机的标定方法，其特征在于，在所述获取第一相机对双面标定板的第一表面拍摄的第一图像，以及第二相机对所述双面标定板的第二表面拍摄的第二图像之前，所述方法还包括：
熄灭所述屏幕；
在所述根据所述第一图像和所述第二图像标定所述第一相机与所述第二相机之间的第一外参之后，在所述获取所述第二相机对屏幕拍摄的第三图像之前，所述方法还包括：
点亮所述屏幕，并在所述屏幕上显示所述第二标定图案。
7.根据权利要求1至3中任一项所述的屏幕-相机的标定方法，其特征在于，所述双面标定板通过以下步骤获得：
双面打印所述第一标定图案，使用两块透明玻璃将双面打印的所述预设的标定图案夹住，得到所述双面标定板；或者，
选取大小相同、形状相同、且标定图案均为所述第一标定图案的第一单面标定板和第二单面标定板，将所述第一单面标定板和所述第二单面标定板背对背贴合，得到所述双面标定板。
8.一种屏幕-相机的标定系统，其特征在于，包括：第一相机、第二相机、双面标定板、屏幕和标定设备，所述第一相机的朝向与所述第二相机的朝向相反，所述第一相机的朝向与所述屏幕的朝向相同，所述第二相机的朝向与所述屏幕的朝向相反，所述双面标定板置于所述第一相机和所述第二相机之间，所述双面标定板的第一表面和所述双面标定板的第二表面设有完全相同的预设的第一标定图案，所述屏幕上显示有预设的第二标定图案；
所述第一相机用于拍摄所述双面标定板的第一表面得到第一图像；
所述第二相机用于拍摄所述双面标定板的第二表面得到第二图像；
所述标定设备用于根据所述第一图像和所述第二图像标定所述第一相机与所述第二相机之间的第一外参；
所述第二相机还用于拍摄所述屏幕得到第三图像；
所述标定设备还用于根据所述第三图像标定所述第二相机与所述屏幕之间的第二外参，并根据所述第一外参和所述第二外参标定所述第一相机与所述屏幕之间的第三外参。
9.一种标定设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一所述的屏幕-相机的标定方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的屏幕-相机的标定方法。
CN202210303283.1A 2022-03-24 2022-03-24 屏幕-相机的标定方法、系统、标定设备和存储介质 Active CN114820807B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210303283.1A CN114820807B (zh) 2022-03-24 2022-03-24 屏幕-相机的标定方法、系统、标定设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210303283.1A CN114820807B (zh) 2022-03-24 2022-03-24 屏幕-相机的标定方法、系统、标定设备和存储介质

Publications (2)

Publication Number Publication Date
CN114820807A true CN114820807A (zh) 2022-07-29
CN114820807B CN114820807B (zh) 2023-01-31

Family

ID=82530956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210303283.1A Active CN114820807B (zh) 2022-03-24 2022-03-24 屏幕-相机的标定方法、系统、标定设备和存储介质

Country Status (1)

Country Link
CN (1) CN114820807B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272557A (zh) * 2018-11-05 2019-01-25 北京科技大学 一种单相机单光源视线追踪系统眼球参数标定方法
CN109978960A (zh) * 2019-04-01 2019-07-05 易思维（杭州）科技有限公司 基于摄影测量的高精度屏幕-相机位姿标定方法
CN110246185A (zh) * 2018-03-07 2019-09-17 阿里巴巴集团控股有限公司 图像处理方法、装置、系统、存储介质和标定系统
CN112738487A (zh) * 2020-12-24 2021-04-30 北京百度网讯科技有限公司 图像投射方法、装置、设备及存储介质
CN114004901A (zh) * 2022-01-04 2022-02-01 南昌虚拟现实研究院股份有限公司 多相机标定方法、装置、终端设备及可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110246185A (zh) * 2018-03-07 2019-09-17 阿里巴巴集团控股有限公司 图像处理方法、装置、系统、存储介质和标定系统
CN109272557A (zh) * 2018-11-05 2019-01-25 北京科技大学 一种单相机单光源视线追踪系统眼球参数标定方法
CN109978960A (zh) * 2019-04-01 2019-07-05 易思维（杭州）科技有限公司 基于摄影测量的高精度屏幕-相机位姿标定方法
CN112738487A (zh) * 2020-12-24 2021-04-30 北京百度网讯科技有限公司 图像投射方法、装置、设备及存储介质
CN114004901A (zh) * 2022-01-04 2022-02-01 南昌虚拟现实研究院股份有限公司 多相机标定方法、装置、终端设备及可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YANNICK FRANCKEN ET AL.: "Screen-Camera Calibration using a Spherical Mirror", 《FOURTH CANADIAN CONFERENCE ON COMPUTER AND ROBOT VISION》 *
苑云等: "一种逐级标定相机参数的方法", 《激光与光电子进展》 *

Also Published As

Publication number Publication date
CN114820807B (zh) 2023-01-31

Similar Documents

Publication Publication Date Title
CN110782499B (zh) 一种增强现实设备的标定方法、标定装置及终端设备
CN107341832B (zh) 一种基于红外定位系统的多视角切换拍摄系统和方法
JP7146662B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US10567649B2 (en) Parallax viewer system for 3D content
CN110335307B (zh) 标定方法、装置、计算机存储介质和终端设备
EP2918077A1 (en) Systems and methods for generating spherical images
WO2012068112A1 (en) System and method for calibrating a display system using manual and semi-automatic techniques
CN110691175B (zh) 演播室中模拟摄像机运动跟踪的视频处理方法及装置
CN104168315B (zh) 一种全视角平滑的沉浸式显示方法和系统
CN110807814A (zh) 摄影机位姿计算方法、装置、设备及存储介质
CN111476876B (zh) 一种三维影像渲染方法、装置、设备及可读存储介质
CN113902796A (zh) 一种基于图像的头显设备的校准方法和系统
WO2021134219A1 (zh) 参数标定方法及装置
CN108304148A (zh) 一种多屏拼接显示的方法和装置
CN114913308A (zh) 摄像机跟踪方法、装置、设备及存储介质
CN112017242B (zh) 显示方法及装置、设备、存储介质
CN108269288B (zh) 智能异形投影非接触式交互系统和方法
JP2009141508A (ja) テレビ会議装置、テレビ会議方法、プログラムおよび記録媒体
CN114820807B (zh) 屏幕-相机的标定方法、系统、标定设备和存储介质
CN116320364B (zh) 一种基于多层显示的虚拟现实拍摄方法及显示方法
CN110062152A (zh) 校正相机的系统
CN213461928U (zh) 全景相机和电子设备
CN117974796A (zh) 一种xr扩展现实的相机标定方法、装置和系统
CN114967170B (zh) 基于柔性裸眼三维显示设备的显示处理方法及其装置
CN117078762A (zh) 一种虚拟现实设备、相机标定装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20221012

Address after: 230091 room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei, Anhui Province

Applicant after: Hefei lushenshi Technology Co.,Ltd.

Address before: 100083 room 3032, North B, bungalow, building 2, A5 Xueyuan Road, Haidian District, Beijing

Applicant before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant