CN117474988A - 一种基于相机的图像采集方法和相关装置 - Google Patents

一种基于相机的图像采集方法和相关装置 Download PDF

Info

Publication number
CN117474988A
CN117474988A CN202210870825.3A CN202210870825A CN117474988A CN 117474988 A CN117474988 A CN 117474988A CN 202210870825 A CN202210870825 A CN 202210870825A CN 117474988 A CN117474988 A CN 117474988A
Authority
CN
China
Prior art keywords
target
camera
virtual
information
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210870825.3A
Other languages
English (en)
Inventor
徐怡廷
周易
余晓铭
易阳
彭程威
李峰
左小祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210870825.3A priority Critical patent/CN117474988A/zh
Priority to PCT/CN2023/095669 priority patent/WO2024016828A2/zh
Publication of CN117474988A publication Critical patent/CN117474988A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例公开了一种基于相机的图像采集方法和相关装置，方法包括：在三维虚拟拍摄场景构建虚拟世界坐标系，并导入待拍摄对象的三维模型；通过确定虚拟世界坐标系中三维模型的目标模型位置信息和目标模型姿态信息；通过虚拟拍摄场景中多个虚拟相机的目标布局方式，确定虚拟世界坐标系中每个虚拟相机的目标相机位置信息和目标相机姿态信息；针对每个虚拟相机，通过目标模型位置信息、目标模型姿态信息、目标相机位置信息和目标相机姿态信息，采集虚拟相机的视角下待拍摄对象的拍摄图像。无需执行购买多个实体相机、实地搭建硬件相机采集系统和实体相机的时间同步等实现步骤，可快速、准确地同步采集多个虚拟相机的视角下的拍摄图像。

Description

一种基于相机的图像采集方法和相关装置
技术领域
本申请涉及图像采集领域，特别是涉及一种基于相机的图像采集方法和相关装置。
背景技术
现阶段，随着三维视觉技术的快速发展，在视频会议等三维拍摄场景下，为了实现待拍摄对象的高精度三维重建与渲染，以提升视频会议等拍摄场景的真实感和沉浸感，需要通过三维视觉技术采集多个相机视角下的拍摄图像，为后续高精度三维重建与渲染提供基础。
相关技术中，通过三维视觉技术采集多个相机视角下的拍摄图像是指：首先，相机选型以购买对应的多个实体相机，然后，实地搭建多个实体相机组成硬件相机采集系统，最后，对多个实体相机进行时间同步，以便实现多个实体相机同步采集多个实体相机视角下的拍摄图像。
然而，上述方式中各个实现步骤较为繁琐复杂，受限于环境和硬件等因素的影响，难以保证各个实现步骤的操作准确性，不仅耗费大量的时间和精力，而且花费较高的硬件成本，大大降低多个相机视角下的拍摄图像的采集效率和采集效果。
发明内容
为了解决上述技术问题，本申请提供了一种基于相机的图像采集方法和相关装置，无需执行购买多个实体相机、实地搭建硬件相机采集系统和实体相机的时间同步等实现步骤，即可快速、准确地同步采集多个虚拟相机的视角下的拍摄图像；既节省大量的时间和精力，又降低硬件成本，提升多个相机视角下的拍摄图像的采集效率和采集效果。
本申请实施例公开了如下技术方案：
一方面，本申请提供一种基于相机的图像采集方法，所述方法包括：
在构建虚拟世界坐标系的三维虚拟拍摄场景中，导入待拍摄对象的三维模型；
确定所述虚拟世界坐标系中所述三维模型的目标模型位置信息和目标模型姿态信息；
根据所述三维虚拟拍摄场景中多个虚拟相机的目标布局方式，确定所述虚拟世界坐标系中每个所述虚拟相机的目标相机位置信息和目标相机姿态信息；
针对每个所述虚拟相机，根据所述目标模型位置信息、所述目标模型姿态信息、所述目标相机位置信息和所述目标相机姿态信息，采集所述虚拟相机的视角下所述待拍摄对象的拍摄图像。
另一方面，本申请提供一种基于相机的图像采集装置，所述装置包括：导入单元、确定单元和采集单元；
所述导入单元，用于在构建虚拟世界坐标系的三维虚拟拍摄场景中，导入待拍摄对象的三维模型；
所述确定单元，用于确定所述虚拟世界坐标系中所述三维模型的目标模型位置信息和目标模型姿态信息；
所述确定单元，还用于根据所述三维虚拟拍摄场景中多个虚拟相机的目标布局方式，确定所述虚拟世界坐标系中每个所述虚拟相机的目标相机位置信息和目标相机姿态信息；
所述采集单元，用于针对每个所述虚拟相机，根据所述目标模型位置信息、所述目标模型姿态信息、所述目标相机位置信息和所述目标相机姿态信息，采集所述虚拟相机的视角下所述待拍摄对象的拍摄图像。
另一方面，本申请提供一种用于基于相机的图像采集设备，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行上述方面所述的基于相机的图像采集方法。
另一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，执行上述方面所述的基于相机的图像采集方法。
另一方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品包括计算机程序或指令；当所述计算机程序或指令被处理器执行时，执行上述方面所述的基于相机的图像采集方法。
由上述技术方案可以看出，针对三维虚拟拍摄场景构建虚拟世界坐标系，在三维虚拟拍摄场景中导入待拍摄对象的三维模型；通过确定虚拟世界坐标系中三维模型的目标模型位置信息和目标模型姿态信息；通过虚拟拍摄场景中多个虚拟相机的目标布局方式，确定虚拟世界坐标系中每个虚拟相机的目标相机位置信息和目标相机姿态信息；对于每个虚拟相机而言，通过目标模型位置信息、目标模型姿态信息、目标相机位置信息和目标相机姿态信息，采集虚拟相机的视角下待拍摄对象的拍摄图像。可见，在三维虚拟拍摄场景中导入待拍摄对象的三维模型以控制三维模型的位置和姿态，并布局多个虚拟相机以控制多个虚拟相机的位置和姿态，无需执行购买多个实体相机、实地搭建硬件相机采集系统和实体相机的时间同步等实现步骤，即可快速、准确地同步采集多个虚拟相机的视角下的拍摄图像。即，该方式既节省大量的时间和精力，又降低硬件成本，提升多个相机视角下的拍摄图像的采集效率和采集效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一种相关技术中8个实体相机组成硬件相机采集系统的示意图；
图2为一种相关技术中8个实体相机的视角下拍摄图像；
图3为本申请实施例提供的一种基于相机的图像采集方法的应用场景示意图；
图4为本申请实施例提供的一种基于相机的图像采集方法的流程图；
图5为本申请实施例提供的三维虚拟拍摄场景中多个虚拟相机的不同目标布局方式的示意图；
图6为本申请实施例提供的一种对虚拟相机进行姿态调整的示意图；
图7为本申请实施例提供的一种三维虚拟拍摄场景中不同光照条件下待拍摄对象的三维模型的示意图；
图8为本申请实施例提供的一种虚拟相机的视角下待拍摄对象的拍摄图像的示意图；
图9为本申请实施例提供的一种基于相机的图像采集方法对应的执行步骤的流程示意图；
图10为本申请实施例提供的产品的不同系统架构的示意图；
图11为本申请实施例提供的一种基于相机的图像采集装置的示意图；
图12为本申请实施例提供的一种服务器的结构示意图；
图13为本申请实施例提供的一种终端设备的结构示意图。
具体实施方式
下面结合附图，对本申请的实施例进行描述。
目前，通过三维视觉技术采集多个相机视角下的拍摄图像是指：首先，相机选型以购买对应的多个实体相机；然后，实地搭建多个实体相机组成硬件相机采集系统，例如，参见图1所示的一种相关技术中8个实体相机组成硬件相机采集系统的示意图；最后，还需要进行多个实体相机的时间同步，以便实现多个实体相机同步采集多个实体相机视角下的拍摄图像，例如，得到参见图2所示的一种相关技术中8个实体相机的视角下拍摄图像。
但是，经过研究发现，上述方式中各个实现步骤较为繁琐复杂，受限于环境和硬件等因素的影响，难以保证各个实现步骤的操作准确性，不仅耗费大量的时间和精力，而且花费较高的硬件成本，大大降低多个相机视角下的拍摄图像的采集效率和采集效果。
有鉴于此，本申请提出一种基于相机的图像采集方法和相关装置，在三维虚拟拍摄场景中导入待拍摄对象的三维模型以控制三维模型的位置和姿态，并布局多个虚拟相机以控制多个虚拟相机的位置和姿态，无需执行购买多个实体相机、实地搭建硬件相机采集系统和实体相机的时间同步等实现步骤，即可快速、准确地同步采集多个虚拟相机的视角下的拍摄图像。即，该方式既节省大量的时间和精力，又降低硬件成本，提升多个相机视角下的拍摄图像的采集效率和采集效果。
为了便于理解本申请的技术方案，下面结合实际应用场景，对本申请实施例提供的基于相机的图像采集方法进行介绍。
参见图3，图3为本申请实施例提供的一种基于相机的图像采集方法的应用场景示意图。在图3所示的应用场景中，包括相机采集系统301、三维重建渲染系统302和三维显示系统303；其中，相机采集系统301与三维重建渲染系统302交互，三维重建渲染系统302与三维显示系统303交互。
首先，相机采集系统301预先创建三维虚拟拍摄场景，并针对三维虚拟拍摄场景构建虚拟世界坐标系；基于此，相机采集系统301在构建虚拟世界坐标系的三维虚拟拍摄场景中，导入待拍摄对象的三维模型。作为一种示例，三维虚拟拍摄场景为虚拟视频会议场景，待拍摄对象为参会人员A，为了能够采集多个相机视角下参会人员A的拍摄图像，相机采集系统301首先需要在构建虚拟世界坐标系的虚拟视频会议场景中，导入参会人员A的三维模型。
其次，相机采集系统301确定虚拟世界坐标系中三维模型的目标模型位置信息和目标模型姿态信息。作为一种示例，在上述示例的基础上，通过控制虚拟世界坐标系中三维模型的位置和姿态，相机采集系统301确定虚拟世界坐标系中三维模型的目标模型位置信息和目标模型姿态信息。
接着，相机采集系统301根据三维虚拟拍摄场景中多个虚拟相机的目标布局方式，确定虚拟世界坐标系中每个虚拟相机的目标相机位置信息和目标相机姿态信息。作为一种示例，在上述示例的基础上，多个虚拟相机的数量为6个，通过控制虚拟视频会议场景中6个虚拟相机的目标布局方式为“环绕式”，相机采集系统301根据虚拟视频会议场景中“环绕式”布局的6个虚拟相机，确定虚拟世界坐标系中每个虚拟相机的目标相机位置信息和目标相机姿态信息。
然后，相机采集系统301针对每个虚拟相机，根据目标模型位置信息、目标模型姿态信息、目标相机位置信息和目标相机姿态信息，采集虚拟相机的视角下待拍摄对象的拍摄图像。作为一种示例，在上述示例的基础上，相机采集系统301针对每个虚拟相机，根据目标模型位置信息、目标模型姿态信息、目标相机位置信息和目标相机姿态信息，采集虚拟相机的视角下参会人员A的拍摄图像，以实现同步采集多个虚拟相机的视角下参会人员A的拍摄图像。
最后，相机采集系统301将多个虚拟相机的视角下待拍摄对象的拍摄图像发送至三维重建渲染系统302；三维重建渲染系统302对多个虚拟相机的视角下待拍摄对象的拍摄图像进行三维重建渲染，获得待拍摄对象的三维重建渲染图像并发送至三维显示系统303；三维显示系统303根据三维重建渲染图像，对待拍摄对象进行三维显示。作为一种示例，在上述示例的基础上，相机采集系统301将多个虚拟相机的视角下参会人员A的拍摄图像发送至三维重建渲染系统302；三维重建渲染系统302对多个虚拟相机的视角下参会人员A的拍摄图像进行三维重建渲染，获得参会人员A的三维重建渲染图像并发送至三维显示系统303；三维显示系统303根据三维重建渲染图像，对参会人员A进行三维显示。
可见，在三维虚拟拍摄场景中导入待拍摄对象的三维模型以控制三维模型的位置和姿态，并布局多个虚拟相机以控制多个虚拟相机的位置和姿态，无需执行购买多个实体相机、实地搭建硬件相机采集系统和实体相机的时间同步等实现步骤，即可快速、准确地同步采集多个虚拟相机的视角下的拍摄图像。即，该方式既节省大量的时间和精力，又降低硬件成本，提升多个相机视角下的拍摄图像的采集效率和采集效果。
本申请提供的基于相机的图像采集方法可以应用于具有数据处理能力的基于相机的图像采集设备，如服务器、终端设备。其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器等，但并不局限于此；终端设备包括但不限于手机、平板、电脑、计算机、智能摄像头、智能语音交互设备、智能家电、车载终端、飞行器等，但并不局限于此。终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
本申请提供的基于相机的图像采集方法可以应用于各种场景，包括但不限于云技术、人工智能、车载场景、智慧交通、辅助驾驶等。
本申请提供的基于相机的图像采集方法采用云技术，云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。
云计算(cloud computing)是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。
作为云计算的基础能力提供商，会建立云计算资源池(简称云平台，一般称为IaaS(Infrastructure as a Service，基础设施即服务)平台，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(为虚拟化机器，包含操作系统)、存储设备、网络设备。
云会议是基于云计算技术的一种高效、便捷、低成本的会议形式。使用者只需要通过互联网界面，进行简单易用的操作，便可快速高效地与全球各地团队及客户同步分享语音、数据文件及视频，而会议中数据的传输、处理等复杂技术由云会议服务商帮助使用者进行操作。
目前国内云会议主要集中在以SaaS(Software as a Service，软件即服务)模式为主体的服务内容，包括电话、网络、视频等服务形式，基于云计算的视频会议就叫云会议。
在云会议时代，数据的传输、处理、存储全部由视频会议厂家的计算机资源处理，用户完全无需再购置昂贵的硬件和安装繁琐的软件，只需打开浏览器，登录相应界面，就能进行高效的远程会议。
云会议系统支持多服务器动态集群部署，并提供多台高性能服务器，大大提升了会议稳定性、安全性、可用性。近年来，视频会议因能大幅提高沟通效率，持续降低沟通成本，带来内部管理水平升级，而获得众多用户欢迎，已广泛应用各个领域。毫无疑问，视频会议运用云计算以后，在方便性、快捷性、易用性上具有更强的吸引力，必将激发视频会议应用新高潮的到来。
下面以终端设备或服务器作为基于相机的图像采集设备，对本申请实施例提供的基于相机的图像采集方法进行具体介绍。
参见图4，该图为本申请实施例提供的一种基于相机的图像采集方法的流程图。如图4所示，该基于相机的图像采集方法包括以下步骤：
S401：在构建虚拟世界坐标系的三维虚拟拍摄场景中，导入待拍摄对象的三维模型。
由于相关技术中，为了实现通过三维视觉技术采集多个相机视角下的拍摄图像，首先，相机选型以购买对应的多个实体相机，然后，实地搭建多个实体相机组成硬件相机采集系统，最后，对多个实体相机进行时间同步，从而实现多个实体相机同步采集多个实体相机视角下的拍摄图像。经过研究发现，上述相关技术中各个实现步骤较为繁琐复杂，受限于环境和硬件等因素的影响，难以保证各个实现步骤的操作准确性，不仅耗费大量的时间和精力，而且花费较高的硬件成本，大大降低多个相机视角下的拍摄图像的采集效率和采集效果。
因此，本申请实施例中，考虑通过虚拟模拟现实的方式，避免执行上述相关技术中购买多个实体相机、实地搭建硬件相机采集系统和实体相机的时间同步等实现步骤。则需要预先创建用于模拟三维真实拍摄场景的三维虚拟拍摄场景，并针对三维虚拟拍摄场景构建虚拟世界坐标系；为了模拟待拍摄对象在三维真实拍摄场景中，需要在三维虚拟拍摄场景中导入待拍摄对象的三维模型，以便后续通过拍摄三维模型实现拍摄待拍摄对象。
其中，待拍摄对象的三维模型需要包括待拍摄对象的几何信息与材质信息，待拍摄对象的几何信息用于表示待拍摄对象的空间形状，待拍摄对象的材质信息用于表示待拍摄对象的使用材质。例如，待拍摄对象的三维模型由三角形网格和对应的纹理贴图共同表示，待拍摄对象的三维模型的模型格式可以为obj、fbx或gltf等。
S402：确定虚拟世界坐标系中三维模型的目标模型位置信息和目标模型姿态信息。
本申请实施例中，执行S401在构建虚拟世界坐标系的三维虚拟拍摄场景中，导入待拍摄对象的三维模型之后，为了模拟待拍摄对象在三维真实拍摄场景的位置和姿态；需要在三维虚拟拍摄场景中设置待拍摄对象的三维模型的位置和姿态，从而可以确定待拍摄对象的三维模型在虚拟世界坐标系中的位置信息和姿态信息，作为目标模型位置信息和目标模型姿态信息。
在S402具体实现时，例如可以采用如下两种具体实现方式：
第一种具体实现方式：根据三维真实拍摄场景中待拍摄对象的位置和姿态的模拟需求，在三维虚拟拍摄场景中直接配置待拍摄对象的三维模型的位置和姿态。基于此，首先，可以获取待拍摄对象的三维模型在虚拟世界坐标系中的位置配置信息和姿态配置信息；然后，通过位置配置信息，可以确定待拍摄对象的三维模型在虚拟世界坐标系中的目标模型位置信息，并通过姿态配置信息，可以确定待拍摄对象的三维模型在虚拟世界坐标系中的目标模型姿态信息。因此，本申请提供了一种可能的实现方式，S402例如可以包括如下S4021-S4022：
S4021：获取虚拟世界坐标系中三维模型的位置配置信息和姿态配置信息。
S4022：根据位置配置信息和姿态配置信息，确定目标模型位置信息和目标模型姿态信息。
第二种具体实现方式：为了使得三维虚拟拍摄场景中待拍摄对象的三维模型更符合三维真实拍摄场景中待拍摄对象的运动多样化，对于三维虚拟拍摄场景中待拍摄对象的三维模型的原有的位置和姿态而言，还可以对待拍摄对象的三维模型进行空间变换处理，得到空间变换后的待拍摄对象的三维模型。基于此，首先，可以获取待拍摄对象的三维模型在虚拟世界坐标系中的初始模型位置信息、初始模型姿态信息和空间变换信息；然后，在初始模型位置信息和初始模型姿态信息的基础上，结合空间变换信息，可以确定待拍摄对象的三维模型在虚拟世界坐标系中的目标模型位置信息和目标模型姿态信息。因此，本申请提供了一种可能的实现方式，S402例如可以包括如下S4023-S4024：
S4023：获取虚拟世界坐标系中三维模型的初始模型位置信息、初始模型姿态信息和空间变换信息。
S4024：根据初始模型位置信息、初始模型姿态信息和空间变换信息，确定目标模型位置信息和目标模型姿态信息。
其中，为了简便计算、减少计算量，可以假设将待拍摄对象为刚体，对待拍摄对象的三维模型进行空间变换处理，实际上对整体三维模型在空间上进行相似变换处理，例如，旋转、平移、缩放等变换处理。
此外，本申请实施例中，待拍摄对象具有多个结构部位时，为了精确计算、提高计算精确度，还可以将待拍摄对象拆分为多个结构部位，则待拍摄对象的三维模型包括待拍摄对象的多个结构部位对应的多个三维子模型；基于此，对待拍摄对象的三维模型进行空间变换处理，可以是对不同三维子模型在空间上进行不同空间变换处理，则待拍摄对象的三维模型的空间变换信息包括多个三维子模型对应的多个空间变换子信息。
作为一种示例，待拍摄对象为参会人员A，参会人员A可分为头部、躯干和四肢共3个结构部位，则参会人员A的三维模型包括头部对应的三维子模型、躯干对应的三维子模型和四肢对应的三维子模型；模拟三维真实拍摄场景中参会人员A的头部扭动、躯干转动和四肢摆动，对头部对应的三维子模型、躯干对应的三维子模型和四肢对应的三维子模型进行不同空间变换处理，则参会人员A的三维模型的空间变换信息包括头部对应的三维子模型、躯干对应的三维子模型和四肢对应的三维子模型对应的多个空间变换子信息。
S403：根据三维虚拟拍摄场景中多个虚拟相机的目标布局方式，确定虚拟世界坐标系中每个虚拟相机的目标相机位置信息和目标相机姿态信息。
本申请实施例中，执行S402确定虚拟世界坐标系中三维模型的目标模型位置信息和目标模型姿态信息之后，为了后续通过三维视觉技术采集多个相机视角下的拍摄图像，还模拟三维真实拍摄场景中实地搭建的多个实体相机；则需要在三维虚拟拍摄场景中布局多个虚拟相机，多个虚拟相机的布局方式决定每个虚拟相机虚拟世界坐标系中的位置和姿态，从而通过三维虚拟拍摄场景中多个虚拟相机的目标布局方式，可以确定每个虚拟相机在虚拟世界坐标系中的目标相机位置信息和目标相机姿态信息。其中，虚拟相机既可以是单目相机也可以是双目相机，在本申请实施例中并不做具体限定。
在S403具体实现时，对于每个虚拟相机而言，首先，在三维虚拟拍摄场景中需要按照目标布局方式设置多个虚拟相机的位置，则根据三维虚拟拍摄场景中多个虚拟相机的目标布局方式，可以确定虚拟相机在虚拟世界坐标系中的目标相机位置信息。然后，为了让待拍摄对象的三维模型处于虚拟相机的画面中央，需要通过待拍摄对象的三维模型的目标模型位置信息、以及虚拟相机的目标相机位置信息，确定三维模型与虚拟相机之间的位置关系；在三维虚拟拍摄场景中按照位置关系设置虚拟相机的姿态，则可以确定虚拟相机在虚拟世界坐标系中的目标相机姿态信息。因此，本申请提供了一种可能的实现方式，S403例如可以包括如下S4031-S4033：
S4031：根据目标布局方式，确定目标相机位置信息。
其中，目标布局方式的确定例如可以采用如下两种具体实现方式：
第一种具体实现方式：根据针对多个虚拟相机的布局需求，在三维虚拟拍摄场景中直接配置多个虚拟相机的布局方式；基于此，首先，可以获取多个虚拟相机在虚拟世界坐标系中的布局配置信息；然后，通过布局配置信息，可以确定多个虚拟相机在虚拟世界坐标系中的目标布局方式。因此，本申请提供了一种可能的实现方式，目标布局方式的确定步骤例如可以包括如下S1-S2：
S1：获取三维虚拟拍摄场景中多个虚拟相机的布局配置信息。
S2：根据布局配置信息，确定目标布局方式。
第二种具体实现方式：为了使得三维虚拟拍摄场景中多个虚拟相机更符合三维真实拍摄场景中多个实体相机的布局方式多样化，还可以对于三维虚拟拍摄场景中多个虚拟相机的原有的布局方式而言，还可以对多个虚拟相机进行布局调整，得到布局调整后的多个虚拟相机。基于此，首先，可以获取多个虚拟相机在虚拟世界坐标系中的初始布局方式和布局调整信息；然后，在初始布局方式的基础上，结合布局调整信息，可以确定多个虚拟相机在虚拟世界坐标系中的目标布局方式。因此，本申请提供了一种可能的实现方式，目标布局方式的确定步骤例如可以包括如下S3-S4：
S3：获取三维虚拟拍摄场景中多个虚拟相机的初始布局方式和布局调整信息。
S4：根据初始布局方式和布局调整信息，确定目标布局方式。
相关技术中，实现多个实体相机的不同布局方式，例如“环绕式”、“上下式”、“四角式”等，需要对实地搭建的硬件相机采集系统中多个实体相机进行重新拆卸和组装；该方式受限于硬件调试，不仅实现步骤繁琐复杂，而且耗费大量的时间，不便于验证多个虚拟相机的不同布局方式对采集多个相机视角下的拍摄图像的差异、影响。而本申请实施例中S3-S4的实现方式，直接在三维虚拟拍摄场景调整多个虚拟相机的原有的布局方式，无需硬件调试，即可快速、简便低实现多个虚拟相机的不同布局方式，高效且低成本地在多个虚拟相机的不同布局方式下采集多个虚拟相机视角下的拍摄图像，从而方便验证多个虚拟相机的不同布局方式对采集多个相机视角下的拍摄图像的差异、影响。
作为一种示例，参见图5所示的三维虚拟拍摄场景中多个虚拟相机的不同目标布局方式的示意图。其中，三维虚拟拍摄场景为虚拟视频会议场景，待拍摄对象为桌子，多个虚拟相机的数量为6个，以图中小方块表示虚拟相机；图5中(a)表示虚拟视频会议场景中6个虚拟相机在桌子前的屏幕四周面对桌子呈“上下式”的布局方式；图5中(b)表示虚拟视频会议场景中6个虚拟相机在桌子前的屏幕四周面对桌子呈“环绕式”的布局方式。
S4032：根据目标模型位置信息和目标相机位置信息，确定三维模型与虚拟相机之间的位置关系。
S4033：根据位置关系对虚拟相机进行姿态调整，确定目标相机姿态信息。
作为一种示例，参见图6所示的一种对虚拟相机进行姿态调整的示意图。其中，在上述图5中(b)的基础上，对于位于屏幕左侧边的虚拟相机而言，为了让桌子的三维模型处于该虚拟相机的画面中央，根据桌子的三维模型的目标模型位置信息和该虚拟相机的目标相机位置信息，确定桌子的三维模型与该虚拟相机之间的位置关系，根据位置关系对该虚拟相机绕着Z轴向桌子方向旋转α角度，该α角度由图中标识的三角函数关系计算得到。与此类似，需要对位于屏幕上方的虚拟相机绕Y轴向桌子方向旋转一定角度。
S404：针对每个虚拟相机，根据目标模型位置信息、目标模型姿态信息、目标相机位置信息和目标相机姿态信息，采集虚拟相机的视角下待拍摄对象的拍摄图像。
本申请实施例中，执行S402-S403确定虚拟世界坐标系中待拍摄对象的三维模型的目标模型位置信息和目标模型姿态信息、以及每个虚拟相机的目标相机位置信息和目标相机姿态信息之后，对于每个虚拟相机而言，通过目标模型位置信息、目标模型姿态信息、目标相机位置信息和目标相机姿态信息，即可高效、便捷、高精度地采集虚拟相机的视角下待拍摄对象的拍摄图像，为后续实现待拍摄对象的高精度三维重建与渲染提供基础。
在S404具体实现时，对于每个虚拟相机而言，首先，通过虚拟世界坐标系中待拍摄对象的三维模型的目标模型位置信息和目标模型姿态信息、以及虚拟相机的目标相机位置信息和目标相机姿态信息，可以确定待拍摄对象的三维模型相对虚拟相机的距离，即，待拍摄对象的三维模型相对虚拟相机的深度；然后，通过虚拟世界坐标系中虚拟相机的目标相机位置信息和目标相机姿态信息，可以确定虚拟相机的外参；最后，在上述待拍摄对象的三维模型相对虚拟相机的距离和虚拟相机的外参的基础上，结合虚拟相机的预设内参，即可对虚拟相机的视觉下的图像进行渲染，实现采集虚拟相机的视觉下的拍摄图像。因此，本申请提供了一种可能的实现方式，S404例如可以包括如下S4041-S4043：
S4041：针对每个虚拟相机，根据目标模型位置信息、目标模型姿态信息、目标相机位置信息和目标相机姿态信息，确定三维模型与虚拟相机的距离。
相关技术中，待拍摄对象相对虚拟相机的深度是基于飞行时间原理估计的，受到多路干扰问题，测量精度低，深度估计不够准确。而本申请实施例中S4041的实现方式虚拟世界坐标系中待拍摄对象的三维模型的目标模型位置信息和目标模型姿态信息、以及虚拟相机的目标相机位置信息和目标相机姿态信息均是已知信息，可以精确的计算待拍摄对象的三维模型相对虚拟相机的深度，从而提升深度的准确性。
S4042：根据目标相机位置信息和目标相机姿态信息，确定虚拟相机的外参。
作为一种示例，采用如下公式确定虚拟相机的外参：
其中，R表示虚拟世界坐标系中坐标轴在虚拟相机的虚拟相机坐标系中的姿态信息，t表示虚拟世界坐标系中坐标原点在虚拟相机的虚拟相机坐标系中的位置信息，C表示虚拟世界坐标系中虚拟相机的目标相机位置信息，RC表示虚拟世界坐标系中虚拟相机的目标相机姿态信息，I表示单位矩阵。
相关技术中，实现实体相机的外参标定，需要先基于运动恢复结构(Structurefrom Motion，SfM)提取图像特征，特征匹配估计实体相机的初始外参，再基于迭代最近点(Iterative Closest Point，ICP)算法配准点云，计算实体相机的最终外参；该方式在待拍摄对象存在无纹理或纹理重复情况下，特征匹配估计不准确，导致相机的外参存在估计误差。而本申请实施例中S4042的实现方式，虚拟世界坐标系中虚拟相机的目标相机位置信息和目标相机姿态信息均是已知信息，可以精确的计算虚拟相机的外参，从而避免相机的外参存在估计误差。
S4043：根据距离、外参和虚拟相机的预设内参，采集拍摄图像。
其中，虚拟相机的预设内参是已知的虚拟相机的固有属性，与虚拟相机中的图像传感器特性和镜头本身的误差有关，通常包括焦距、主点偏移、镜头畸变等；为了多样化地模拟不同实体相机，在三维虚拟拍摄场景中，还可以任意调整虚拟相机的预设内参，则可以获取预设内参的内参调整信息，通过预设内参的内参调整信息，调整预设内参为目标内参，以便在上述待拍摄对象的三维模型相对虚拟相机的距离和虚拟相机的外参的基础上，结合虚拟相机的目标内参，即可对虚拟相机的视觉下的图像进行渲染，实现采集虚拟相机的视觉下的拍摄图像。因此，本申请提供了一种可能的实现方式，方法例如还可以包括如下S5-S6：
S5：获取预设内参的内参调整信息。
S6：根据预设内参的内参调整信息，将预设内参调整为目标内参。
对应地，S4043例如可以包括：根据距离、外参和目标内参，采集拍摄图像。
此外，本申请实施例中，为了使得采集虚拟相机的视角下待拍摄对象的拍摄图像更加多样化，还可以配置三维虚拟拍摄场景的光照条件，例如，配置光源和光强等，模拟不同光照条件下的三维真实拍摄场景。基于此，首先，可以获取三维虚拟拍摄场景的光照配置信息；然后，通过光照配置信息，可以确定三维虚拟拍摄场景的目标光照条件，以便在执行S404时，结合目标光照条件，采集虚拟相机的视角下、符合目标光照条件的待拍摄对象的拍摄图像。因此，本申请提供了一种可能的实现方式，方法例如还可以包括如下S7-S8：
S7：获取三维虚拟拍摄场景的光照配置信息。
S8：根据光照配置信息，确定三维虚拟拍摄场景的目标光照条件。
对应地，S404例如可以包括：针对每个虚拟相机，根据目标模型位置信息、目标模型姿态信息、目标相机位置信息、目标相机姿态信息和目标光照条件，采集符合目标光照条件的拍摄图像。
作为一种示例，在上述图5-图6的基础上，参见图7所示的一种三维虚拟拍摄场景中不同光照条件下待拍摄对象的三维模型的示意图。其中，图7中(a)表示在虚拟视频会议场景中增加一个光源的桌子的三维模型；其中，图7中(b)表示在虚拟视频会议场景中增加两个光源的桌子的三维模型。
此外，由于相关技术中基于飞行时间原理检测相位偏移时需要多次采样积分，资源消耗大，导致采集的待拍摄对象的拍摄图像的图像分辨率较低，不利于后续的高精度三维重建与渲染。因此，本申请实施例中，为了提高待拍摄对象的拍摄图像的图像属性，还可以配置拍摄图像的图像属性，以便利于后续的高精度三维重建与渲染。基于此，首先，可以获取拍摄图像的图像属性配置信息；然后，通过图像属性配置信息，可以确定拍摄图像的目标图像属性信息，以便在执行S404时，结合目标图像属性信息，采集虚拟相机的视角下、符合目标图像属性信息的待拍摄对象的拍摄图像。因此，本申请提供了一种可能的实现方式，方法例如还可以包括如下S9-S10：
S9：获取拍摄图像的图像属性配置信息。
其中，由于采集的待拍摄对象的拍摄图像主要用于后续的高精度三维重建与渲染，需要确保拍摄图像的图像分辨率或图像帧率等图像属性；因此，图像属性配置信息例如可以包括图像分辨率配置信息或图像帧率配置信息。
S10：根据图像属性配置信息，确定拍摄图像的目标图像属性信息。
对应地，S404例如可以包括：针对每个虚拟相机，根据目标模型位置信息、目标模型姿态信息、目标相机位置信息、目标相机姿态信息和目标图像属性信息，采集符合目标图像属性信息的拍摄图像。
此外，本申请实施例中，为了使得待拍摄对象的拍摄图像的背景图像多样化，还可以进一步渲染拍摄图像的背景图像，得到不同背景下待拍摄对象的拍摄图像。基于此，首先，可以获取拍摄图像的背景渲染信息；然后，通过背景渲染信息，可以渲染拍摄图像的预设背景图像为目标背景图像。因此，本申请提供了一种可能的实现方式，方法例如还可以包括S11-12：
S11：获取拍摄图像的背景渲染信息。
S12：根据背景渲染信息，将拍摄图像的预设背景图像渲染为目标背景图像。
基于上述说明，参见图8所示的一种虚拟相机的视角下待拍摄对象的拍摄图像的示意图。其中，待拍摄对象为开源猴头模型(Suzanne Monkey)，图8中(a)表示虚拟相机的视角下开源猴头模型的彩色图像，图8中(b)表示虚拟相机的视角下开源猴头模型的深度图像。
上述实施例提供的基于相机的图像采集方法，针对三维虚拟拍摄场景构建虚拟世界坐标系，在三维虚拟拍摄场景中导入待拍摄对象的三维模型；通过确定虚拟世界坐标系中三维模型的目标模型位置信息和目标模型姿态信息；通过虚拟拍摄场景中多个虚拟相机的目标布局方式，确定虚拟世界坐标系中每个虚拟相机的目标相机位置信息和目标相机姿态信息；对于每个虚拟相机而言，通过目标模型位置信息、目标模型姿态信息、目标相机位置信息和目标相机姿态信息，采集虚拟相机的视角下待拍摄对象的拍摄图像。可见，在三维虚拟拍摄场景中导入待拍摄对象的三维模型以控制三维模型的位置和姿态，并布局多个虚拟相机以控制多个虚拟相机的位置和姿态，无需执行购买多个实体相机、实地搭建硬件相机采集系统和实体相机的时间同步等实现步骤，即可快速、准确地同步采集多个虚拟相机的视角下的拍摄图像。即，该方式既节省大量的时间和精力，又降低硬件成本，提升多个相机视角下的拍摄图像的采集效率和采集效果。
对应于上述基于相机的图像采集方法，参见图9所示一种基于相机的图像采集方法对应的执行步骤的流程示意图。该执行步骤如下所示：
步骤一：在构建虚拟世界坐标系的三维虚拟拍摄场景中，导入待拍摄对象的三维模型。
步骤二：设置三维模型在虚拟世界坐标系中的位置和姿态。
步骤三：设置多个虚拟相机在虚拟世界坐标系中的位置和姿态。
步骤四：设置三维虚拟拍摄场景的光照条件。
步骤五：渲染每个虚拟相机的视角下待拍摄对象的拍摄图像。
此外，上述基于相机的图像采集方法应用于产品的系统架构中相机采集系统，参见图10所示的产品的不同系统架构的示意图。其中，产品包括相机采集系统、三维重建渲染系统和三维显示系统，相机采集系统部署在发送端，三维重建渲染系统既可以部署在发送端，也可部署在接收端，三维显示系统部署在接收端。图10中(a)表示三维重建渲染系统部署在发送端，图10中(b)表示三维重建渲染系统部署在接收端。
其中，相机采集系统将多个虚拟相机的视角下待拍摄对象的拍摄图像发送至三维重建渲染系统；三维重建渲染系统对多个虚拟相机的视角下待拍摄对象的拍摄图像进行三维重建渲染，获得待拍摄对象的三维重建渲染图像并发送至三维显示系统；三维显示系统根据待拍摄对象的三维重建渲染图像，对待拍摄对象进行三维显示。
针对上述实施例提供的基于相机的图像采集方法，本申请实施例还提供了一种基于相机的图像采集装置。
参见图11，图11为本申请实施例提供的一种基于相机的图像采集装置的示意图。如图11所示，该基于相机的图像采集装置1100包括：导入单元1101、确定单元1102和采集单元1103；
导入单元1101，用于在构建虚拟世界坐标系的三维虚拟拍摄场景中，导入待拍摄对象的三维模型；
确定单元1102，用于确定虚拟世界坐标系中三维模型的目标模型位置信息和目标模型姿态信息；
确定单元1102，还用于根据三维虚拟拍摄场景中多个虚拟相机的目标布局方式，确定虚拟世界坐标系中每个虚拟相机的目标相机位置信息和目标相机姿态信息；
采集单元1103，用于针对每个虚拟相机，根据目标模型位置信息、目标模型姿态信息、目标相机位置信息和目标相机姿态信息，采集虚拟相机的视角下待拍摄对象的拍摄图像。
作为一种可能的实现方式，确定单元1102，用于：
根据目标布局方式，确定目标相机位置信息；
根据目标模型位置信息和目标相机位置信息，确定三维模型与虚拟相机之间的位置关系；
根据位置关系对虚拟相机进行姿态调整，确定目标相机姿态信息。
作为一种可能的实现方式，采集单元1103，用于：
针对每个虚拟相机，根据目标模型位置信息、目标模型姿态信息、目标相机位置信息和目标相机姿态信息，确定三维模型与虚拟相机的距离；
根据目标相机位置信息和目标相机姿态信息，确定虚拟相机的外参；
根据距离、外参和虚拟相机的预设内参，采集拍摄图像。
作为一种可能的实现方式，确定单元1102，还用于：
获取三维虚拟拍摄场景中多个虚拟相机的布局配置信息；
根据布局配置信息，确定目标布局方式。
作为一种可能的实现方式，确定单元1102，还用于：
获取三维虚拟拍摄场景中多个虚拟相机的初始布局方式和布局调整信息；
根据初始布局方式和布局调整信息，确定目标布局方式。
作为一种可能的实现方式，确定单元1102，用于：
获取虚拟世界坐标系中三维模型的位置配置信息和姿态配置信息；
根据位置配置信息和姿态配置信息，确定目标模型位置信息和目标模型姿态信息。
作为一种可能的实现方式，确定单元1102，用于：
获取虚拟世界坐标系中三维模型的初始模型位置信息、初始模型姿态信息和空间变换信息；
根据初始模型位置信息、初始模型姿态信息和空间变换信息，确定目标模型位置信息和目标模型姿态信息。
作为一种可能的实现方式，待拍摄对象包括多个结构部位时，三维模型包括多个结构部位对应的多个三维子模型，空间变换信息包括多个三维子模型对应的多个空间变换子信息。
作为一种可能的实现方式，装置还包括：第一获取单元；
第一获取单元，用于获取三维虚拟拍摄场景的光照配置信息；
确定单元1102，还用于根据光照配置信息，确定三维虚拟拍摄场景的目标光照条件；
采集单元1103，用于针对每个虚拟相机，根据目标模型位置信息、目标模型姿态信息、目标相机位置信息、目标相机姿态信息和目标光照条件，采集符合目标光照条件的拍摄图像。
作为一种可能的实现方式，方法还包括：第二获取单元；
第二获取单元，用于获取拍摄图像的图像属性配置信息；
确定单元1102，还用于根据图像属性配置信息，确定拍摄图像的目标图像属性信息；
采集单元1103，用于针对每个虚拟相机，根据目标模型位置信息、目标模型姿态信息、目标相机位置信息、目标相机姿态信息和目标图像属性信息，采集符合目标图像属性信息的拍摄图像。
作为一种可能的实现方式，方法还包括：第三获取单元和渲染单元；
第三获取单元，用于获取拍摄图像的背景渲染信息；
渲染单元，用于根据背景渲染信息，将拍摄图像的预设背景图像渲染为目标背景图像。
上述实施例提供的基于相机的图像采集装置，针对三维虚拟拍摄场景构建虚拟世界坐标系，在三维虚拟拍摄场景中导入待拍摄对象的三维模型；通过确定虚拟世界坐标系中三维模型的目标模型位置信息和目标模型姿态信息；通过虚拟拍摄场景中多个虚拟相机的目标布局方式，确定虚拟世界坐标系中每个虚拟相机的目标相机位置信息和目标相机姿态信息；对于每个虚拟相机而言，通过目标模型位置信息、目标模型姿态信息、目标相机位置信息和目标相机姿态信息，采集虚拟相机的视角下待拍摄对象的拍摄图像。可见，在三维虚拟拍摄场景中导入待拍摄对象的三维模型以控制三维模型的位置和姿态，并布局多个虚拟相机以控制多个虚拟相机的位置和姿态，无需执行购买多个实体相机、实地搭建硬件相机采集系统和实体相机的时间同步等实现步骤，即可快速、准确地同步采集多个虚拟相机的视角下的拍摄图像。即，该方式既节省大量的时间和精力，又降低硬件成本，提升多个相机视角下的拍摄图像的采集效率和采集效果。
针对上文描述的基于相机的图像采集方法，本申请实施例还提供了一种用于基于相机的图像采集设备，以使上述基于相机的图像采集方法在实际中实现以及应用，下面将从硬件实体化的角度对本申请实施例提供的计算机设备进行介绍。
参见图12，图12是本申请实施例提供的一种服务器结构示意图，该服务器1200可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(CentralProcessing Units，CPU)1222(例如，一个或一个以上处理器)和存储器1232，一个或一个以上存储应用程序1242或数据1244的存储介质1230(例如一个或一个以上海量存储设备)。其中，存储器1232和存储介质1230可以是短暂存储或持久存储。存储在存储介质1230的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1222可以设置为与存储介质1230通信，在服务器1200上执行存储介质1230中的一系列指令操作。
服务器1200还可以包括一个或一个以上电源1226，一个或一个以上有线或无线网络接口1250，一个或一个以上输入输出接口1258，和/或，一个或一个以上操作系统1241，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图12所示的服务器结构。
其中，CPU 1222用于执行如下步骤：
在构建虚拟世界坐标系的三维虚拟拍摄场景中，导入待拍摄对象的三维模型；
确定虚拟世界坐标系中三维模型的目标模型位置信息和目标模型姿态信息；
根据三维虚拟拍摄场景中多个虚拟相机的目标布局方式，确定虚拟世界坐标系中每个虚拟相机的目标相机位置信息和目标相机姿态信息；
针对每个虚拟相机，根据目标模型位置信息、目标模型姿态信息、目标相机位置信息和目标相机姿态信息，采集虚拟相机的视角下待拍摄对象的拍摄图像。
可选的，CPU 1222还可以执行本申请实施例中基于相机的图像采集方法任一具体实现方式的方法步骤。
参见图13，图13为本申请实施例提供的一种终端设备的结构示意图。为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端设备可以为包括手机、平板电脑、PDA等任意终端设备，以终端设备为手机为例：
图13示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图13，该手机包括：射频(Radio Frequency，简称RF)电路1310、存储器1320、输入单元1330、显示单元1340、传感器1350、音频电路1360、无线保真(WiFi)模块1370、处理器1380、以及电源1390等部件。本领域技术人员可以理解，图13中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图13对手机的各个构成部件进行具体的介绍：
RF电路1310可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1380处理；另外，将设计上行的数据发送给基站。通常，RF电路1310包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier，简称LNA)、双工器等。此外，RF电路1310还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of Mobile communication，简称GSM)、通用分组无线服务(GeneralPacket Radio Service，简称GPRS)、码分多址(Code Division Multiple Access，简称CDMA)、宽带码分多址(Wideband Code Division Multiple Access，简称WCDMA)、长期演进(Long Term Evolution，简称LTE)、电子邮件、短消息服务(Short Messaging Service，简称SMS)等。
存储器1320可用于存储软件程序以及模块，处理器1380通过运行存储在存储器1320的软件程序以及模块，从而实现手机的各种功能应用以及数据处理。存储器1320可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1330可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1330可包括触控面板1331以及其他输入设备1332。触控面板1331，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1331上或在触控面板1331附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1331可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1380，并能接收处理器1380发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1331。除了触控面板1331，输入单元1330还可以包括其他输入设备1332。具体地，其他输入设备1332可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1340可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1340可包括显示面板1341，可选的，可以采用液晶显示器(LiquidCrystal Display，简称LCD)、有机发光二极管(Organic Light-Emitting Diode，简称OLED)等形式来配置显示面板1341。进一步的，触控面板1331可覆盖显示面板1341，当触控面板1331检测到在其上或附近的触摸操作后，传送给处理器1380以确定触摸事件的类型，随后处理器1380根据触摸事件的类型在显示面板1341上提供相应的视觉输出。虽然在图13中，触控面板1331与显示面板1341是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1331与显示面板1341集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器1350，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1341的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1341和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路1360、扬声器1361，传声器1362可提供用户与手机之间的音频接口。音频电路1360可将接收到的音频数据转换后的电信号，传输到扬声器1361，由扬声器1361转换为声音信号输出；另一方面，传声器1362将收集的声音信号转换为电信号，由音频电路1360接收后转换为音频数据，再将音频数据输出处理器1380处理后，经RF电路1310以发送给比如另一手机，或者将音频数据输出至存储器1320以便进一步处理。
WiFi属于短距离无线传输技术，手机通过WiFi模块1370可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图13示出了WiFi模块1370，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1380是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1320内的软件程序和/或模块，以及调用存储在存储器1320内的数据，执行手机的各种功能和处理数据，从而对手机进行整体控制。可选的，处理器1380可包括一个或多个处理单元；优选的，处理器1380可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1380中。
手机还包括给各个部件供电的电源1390(比如电池)，优选的，电源可以通过电源管理系统与处理器1380逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本申请实施例中，该手机所包括的存储器1320可以存储程序代码，并将所述程序代码传输给所述处理器。
该手机所包括的处理器1380可以根据所述程序代码中的指令执行上述实施例提供的基于相机的图像采集方法。
本申请实施例还提供一种计算机可读存储介质，用于存储计算机程序，该计算机程序用于执行上述实施例提供的基于相机的图像采集方法。
本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备的执行上述方面的各种可选实现方式中提供的基于相机的图像采集方法。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质可以是下述介质中的至少一种：只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (15)

1.一种基于相机的图像采集方法，其特征在于，所述方法包括：
在构建虚拟世界坐标系的三维虚拟拍摄场景中，导入待拍摄对象的三维模型；
确定所述虚拟世界坐标系中所述三维模型的目标模型位置信息和目标模型姿态信息；
根据所述三维虚拟拍摄场景中多个虚拟相机的目标布局方式，确定所述虚拟世界坐标系中每个所述虚拟相机的目标相机位置信息和目标相机姿态信息；
针对每个所述虚拟相机，根据所述目标模型位置信息、所述目标模型姿态信息、所述目标相机位置信息和所述目标相机姿态信息，采集所述虚拟相机的视角下所述待拍摄对象的拍摄图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述三维虚拟拍摄场景中多个虚拟相机的目标布局方式，确定所述虚拟世界坐标系中每个所述虚拟相机的目标相机位置信息和目标相机姿态信息，包括：
根据所述目标布局方式，确定所述目标相机位置信息；
根据所述目标模型位置信息和所述目标相机位置信息，确定所述三维模型与所述虚拟相机之间的位置关系；
根据所述位置关系对所述虚拟相机进行姿态调整，确定所述目标相机姿态信息。
3.根据权利要求1所述的方法，其特征在于，所述针对每个所述虚拟相机，根据所述目标模型位置信息、所述目标模型姿态信息、所述目标相机位置信息和所述目标相机姿态信息，采集所述虚拟相机的视角下所述待拍摄对象的拍摄图像，包括：
针对每个所述虚拟相机，根据所述目标模型位置信息、所述目标模型姿态信息、所述目标相机位置信息和所述目标相机姿态信息，确定所述三维模型与所述虚拟相机的距离；
根据所述目标相机位置信息和所述目标相机姿态信息，确定所述虚拟相机的外参；
根据所述距离、所述外参和所述虚拟相机的预设内参，采集所述拍摄图像。
4.根据权利要求1-3中任意一项所述的方法，其特征在于，所述目标布局方式的确定步骤：
获取所述三维虚拟拍摄场景中多个所述虚拟相机的布局配置信息；
根据所述布局配置信息，确定所述目标布局方式。
5.根据权利要求1-3中任意一项所述的方法，其特征在于，所述目标布局方式的确定步骤，包括：
获取所述三维虚拟拍摄场景中多个所述虚拟相机的初始布局方式和布局调整信息；
根据所述初始布局方式和所述布局调整信息，确定所述目标布局方式。
6.根据权利要求1-3中任意一项所述的方法，其特征在于，所述确定所述虚拟世界坐标系中所述三维模型的目标模型位置信息和目标模型姿态信息，包括：
获取所述虚拟世界坐标系中所述三维模型的位置配置信息和姿态配置信息；
根据所述位置配置信息和所述姿态配置信息，确定所述目标模型位置信息和所述目标模型姿态信息。
7.根据权利要求1-3中任意一项所述的方法，其特征在于，所述确定所述虚拟世界坐标系中所述三维模型的目标模型位置信息和目标模型姿态信息，包括：
获取所述虚拟世界坐标系中所述三维模型的初始模型位置信息、初始模型姿态信息和空间变换信息；
根据所述初始模型位置信息、所述初始模型姿态信息和空间变换信息，确定所述目标模型位置信息和所述目标模型姿态信息。
8.根据权利要求7所述的方法，其特征在于，所述待拍摄对象包括多个结构部位时，所述三维模型包括多个所述结构部位对应的多个三维子模型，所述空间变换信息包括所述多个所述三维子模型对应的多个空间变换子信息。
9.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述三维虚拟拍摄场景的光照配置信息；
根据所述光照配置信息，确定所述三维虚拟拍摄场景的目标光照条件；
所述针对每个所述虚拟相机，根据所述目标模型位置信息、所述目标模型姿态信息、所述目标相机位置信息和所述目标相机姿态信息，采集所述虚拟相机的视角下所述待拍摄对象的拍摄图像，包括：
针对每个所述虚拟相机，根据所述目标模型位置信息、所述目标模型姿态信息、所述目标相机位置信息、所述目标相机姿态信息和所述目标光照条件，采集符合所述目标光照条件的拍摄图像。
10.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述拍摄图像的图像属性配置信息；
根据所述图像属性配置信息，确定所述拍摄图像的目标图像属性信息；
所述针对每个所述虚拟相机，根据所述目标模型位置信息、所述目标模型姿态信息、所述目标相机位置信息和所述目标相机姿态信息，采集所述虚拟相机的视角下所述待拍摄对象的拍摄图像，包括：
针对每个所述虚拟相机，根据所述目标模型位置信息、所述目标模型姿态信息、所述目标相机位置信息、所述目标相机姿态信息和所述目标图像属性信息，采集符合所述目标图像属性信息的拍摄图像。
11.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述拍摄图像的背景渲染信息；
根据所述背景渲染信息，将所述拍摄图像的预设背景图像渲染为目标背景图像。
12.一种基于相机的图像采集装置，其特征在于，所述装置包括：导入单元、确定单元和采集单元；
所述导入单元，用于在构建虚拟世界坐标系的三维虚拟拍摄场景中，导入待拍摄对象的三维模型；
所述确定单元，用于确定所述虚拟世界坐标系中所述三维模型的目标模型位置信息和目标模型姿态信息；
所述确定单元，还用于根据所述三维虚拟拍摄场景中多个虚拟相机的目标布局方式，确定所述虚拟世界坐标系中每个所述虚拟相机的目标相机位置信息和目标相机姿态信息；
所述采集单元，用于针对每个所述虚拟相机，根据所述目标模型位置信息、所述目标模型姿态信息、所述目标相机位置信息和所述目标相机姿态信息，采集所述虚拟相机的视角下所述待拍摄对象的拍摄图像。
13.一种计算机设备，其特征在于，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-11中任意一项所述的基于相机的图像采集方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，执行权利要求1-11中任意一项所述的基于相机的图像采集方法。
15.一种计算机程序产品，其特征在于，包括计算机程序或指令；当所述计算机程序或指令被处理器执行时，执行权利要求1-11中任意一项所述的基于相机的图像采集方法。
CN202210870825.3A 2022-07-22 2022-07-22 一种基于相机的图像采集方法和相关装置 Pending CN117474988A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210870825.3A CN117474988A (zh) 2022-07-22 2022-07-22 一种基于相机的图像采集方法和相关装置
PCT/CN2023/095669 WO2024016828A2 (zh) 2022-07-22 2023-05-23 一种基于虚拟相机的图像采集方法和相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210870825.3A CN117474988A (zh) 2022-07-22 2022-07-22 一种基于相机的图像采集方法和相关装置

Publications (1)

Publication Number Publication Date
CN117474988A true CN117474988A (zh) 2024-01-30

Family

ID=89616931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210870825.3A Pending CN117474988A (zh) 2022-07-22 2022-07-22 一种基于相机的图像采集方法和相关装置

Country Status (2)

Country Link
CN (1) CN117474988A (zh)
WO (1) WO2024016828A2 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118172515A (zh) * 2024-05-11 2024-06-11 杭州对流层影视传媒有限公司 一种深度图片生成虚拟场景互动拍摄平台管理系统

Also Published As

Publication number Publication date
WO2024016828A2 (zh) 2024-01-25

Similar Documents

Publication Publication Date Title
US11574437B2 (en) Shadow rendering method and apparatus, computer device, and storage medium
WO2019184889A1 (zh) 增强现实模型的调整方法、装置、存储介质和电子设备
WO2019223468A1 (zh) 相机姿态追踪方法、装置、设备及系统
WO2020078250A1 (zh) 用于虚拟场景的数据处理方法以及设备
WO2019233229A1 (zh) 一种图像融合方法、装置及存储介质
CN110841285B (zh) 界面元素的显示方法、装置、计算机设备及存储介质
CN108989678B (zh) 一种图像处理方法、移动终端
CN111145339B (zh) 图像处理方法及装置、设备、存储介质
WO2021184952A1 (zh) 增强现实处理方法及装置、存储介质和电子设备
US11954200B2 (en) Control information processing method and apparatus, electronic device, and storage medium
US11776209B2 (en) Image processing method and apparatus, electronic device, and storage medium
CN109165606B (zh) 一种车辆信息的获取方法、装置以及存储介质
WO2021077923A1 (zh) 控制显示设备的方法及便携设备
CN111311757B (zh) 一种场景合成方法、装置、存储介质及移动终端
CN112489121A (zh) 视频融合方法、装置、设备、及存储介质
CN112581358B (zh) 图像处理模型的训练方法、图像处理方法及装置
CN110717964B (zh) 场景建模方法、终端及可读存储介质
CN110555815B (zh) 一种图像处理方法和电子设备
WO2024016828A2 (zh) 一种基于虚拟相机的图像采集方法和相关装置
CN110471614B (zh) 一种存储数据的方法、检测终端的方法及装置
WO2024055748A1 (zh) 一种头部姿态估计方法、装置、设备以及存储介质
CN110168599A (zh) 一种数据处理方法及终端
CN110891122A (zh) 一种壁纸推送方法及电子设备
CN111147745B (zh) 拍摄方法、装置、电子设备及存储介质
CN114935973A (zh) 互动处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination