CN115412714A - 数据处理方法、控制终端、ar终端、ar系统及存储介质 - Google Patents

Abstract

本申请实施例公开了一种数据处理方法、控制终端、AR终端、AR系统及存储介质，该生成方法包括：在与AR系统中的AR终端建立连接之后，向AR终端发送拍摄指令；接收AR终端发送的原始图像数据；基于目标格式和AR终端对应的拍摄参数，调用第一拍摄装置采集图像数据；将图像数据替换为原始图像数据，并调用第一ISP模块进行数据处理，获得处理后数据。AR终端在与AR系统中的控制终端建立连接之后，接收控制终端发送拍摄指令；确定拍摄参数，并基于目标格式和拍摄参数，调用第二拍摄装置采集原始图像数据；将原始图像数据发送至控制终端，以通过控制终端的第一ISP模块完成数据处理。

Description

数据处理方法、控制终端、AR终端、AR系统及存储介质

本申请是申请日为2020年08月18日的中国专利申请号202010833074.9、发明名称为“数据处理方法、控制终端、AR终端、AR系统及存储介质”的分案申请。

技术领域

本发明涉及虚拟现实技术领域，尤其涉及一种数据处理方法、控制终端、AR终端、AR系统及存储介质。

背景技术

增强现实(Augmented Reality，AR)技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。

分体式AR眼镜系统可以由终端设备和AR眼镜构成，其中，AR眼镜中图像处理器(Image Signal Processor，ISP)的数据处理能力和性能一般较差，在进行一些功能复杂或耗时较长的图像处理时，存在功耗瞬间增加的情况，进而使用于供电的终端设备的功耗瞬时升高，导致终端设备死机等不可以预测的情况。

可见，现有的分体式AR眼镜系统还无法很好的执行复杂的图像数据处理业务，因此亟需一种数据处理方法来提高分体式AR眼镜系统的数据处理能力，提升分体式AR眼镜系统的智能性。

发明内容

本申请实施例提供了一种数据处理方法、控制终端、AR终端、AR系统及存储介质，有效地提高AR系统的数据处理能力，提升AR系统的智能性。

本申请实施例的技术方案是这样实现的：

第一方面，本申请实施例提供了一种数据处理方法，所述数据处理方法应用于AR系统中的控制终端，所述方法包括：

在与所述AR系统中的AR终端建立连接之后，向所述AR终端发送拍摄指令；其中，所述拍摄指令携带目标格式；

接收所述AR终端发送的原始图像数据；其中，所述原始图像符合所述目标格式；

基于所述目标格式和所述AR终端对应的拍摄参数，调用第一拍摄装置采集图像数据；

将所述图像数据替换为所述原始图像数据，并调用第一ISP模块进行数据处理，获得处理后数据。

第二方面，本申请实施例提供了一种数据处理方法，所述数据处理方法应用于AR系统中的AR终端，所述方法包括：

在与所述AR系统中的控制终端建立连接之后，接收所述控制终端发送拍摄指令；其中，所述拍摄指令携带目标格式；

确定拍摄参数，并基于所述目标格式和所述拍摄参数，调用第二拍摄装置采集原始图像数据；其中，所述原始图像符合所述目标格式；

将所述原始图像数据发送至所述控制终端，以通过所述控制终端的第一ISP模块完成数据处理。

第三方面，本申请实施例提供了一种控制终端，所述控制终端包括：第一发送单元，第一接收单元，第一采集单元，替换单元，处理单元，

所述第一发送单元，用于在与所述AR系统中的AR终端建立连接之后，向所述AR终端发送拍摄指令；其中，所述拍摄指令携带目标格式；

所述第一接收单元，用于接收所述AR终端发送的原始图像数据；其中，所述原始图像符合所述目标格式；

所述第一采集单元，用于基于所述目标格式和所述AR终端对应的拍摄参数，调用第一拍摄装置采集图像数据；

所述替换单元，用于将所述图像数据替换为所述原始图像数据；

所述处理单元，用于调用第一ISP模块进行数据处理，获得处理后数据。

第四方面，本申请实施例提供了一种控制终端，所述控制终端包括第一处理器、存储有所述第一处理器可执行指令的第一存储器，当所述指令被所述第一处理器执行时，实现如上所述的数据处理方法。

第五方面，本申请实施例提供了一种AR终端，所述AR终端包括：第二接收单元，确定单元，第二采集单元，第二发送单元，

所述第二接收单元，用于在与所述AR系统中的控制终端建立连接之后，接收所述控制终端发送拍摄指令；其中，所述拍摄指令携带目标格式；

所述确定单元，用于确定拍摄参数；

所述第二采集单元，用于基于所述目标格式和所述拍摄参数，调用第二拍摄装置采集原始图像数据；其中，所述原始图像符合所述目标格式；

所述第二发送单元，用于将所述原始图像数据发送至所述控制终端，以通过所述控制终端的第一ISP模块完成数据处理。

第六方面，本申请实施例提供了一种AR终端，所述AR终端包括第二处理器、存储有所述第二处理器可执行指令的第二存储器，当所述指令被所述第二处理器执行时，实现如上所述的数据处理方法。

第七方面，本申请实施例提供了一种AR系统，所述AR系统包括：控制终端和AR终端，其中，所述控制终端配置有第一拍摄装置和第一ISP模块，所述AR终端配置有第二拍摄装置和第二ISP模块，所述控制终端调用所述第一拍摄装置和所述第一ISP模块，实现如第一方面所述的方法，所述AR终端调用所述第二拍摄装置和所述第二ISP模块，实现如第二方面所述的方法。

第八方面，本申请实施例提供了一种AR系统，所述AR系统包括第三处理器、存储有所述第三处理器可执行指令的第三存储器，当所述指令被所述第三处理器执行时，实现如上所述的数据处理方法。

第九方面，本申请实施例提供了一种计算机可读存储介质，其上存储有程序，应用于AR系统中，所述程序被第一处理器执行时，实现如第一方面所述的方法，所述程序被第二处理器执行时，实现如第二方面所述的方法。

本申请实施例提供了一种数据处理方法、控制终端、AR终端、AR系统及存储介质，控制终端在与AR系统中的AR终端建立连接之后，向AR终端发送拍摄指令；其中，拍摄指令携带目标格式；接收AR终端发送的原始图像数据；其中，原始图像符合目标格式；基于目标格式和AR终端对应的拍摄参数，调用第一拍摄装置采集图像数据；将图像数据替换为原始图像数据，并调用第一ISP模块进行数据处理，获得处理后数据。AR终端在与AR系统中的控制终端建立连接之后，接收控制终端发送拍摄指令；其中，拍摄指令携带目标格式；确定拍摄参数，并基于目标格式和拍摄参数，调用第二拍摄装置采集原始图像数据；其中，原始图像符合目标格式；将原始图像数据发送至控制终端，以通过控制终端的第一ISP模块完成数据处理。也就是说，在本申请的实施例中，AR系统中的AR终端可以将采集获得的原始图像数据传输至控制终端中，然后使用该原始图像数据对控制终端采集的图像数据进行替换处理，接着便可以将该原始图像数据输入至控制终端中的第一ISP模块中进行数据处理，由于第一ISP模块的性能和能力优于第二ISP模块，因此借助第一ISP模块对AR终端的数据进行处理，可以有效地提高AR系统的数据处理能力，提升AR系统的智能性。

附图说明

图1为数据处理方法的实现流程示意图一；

图2为AR系统的示意图一；

图3为控制终端的示意图；

图4为数据处理方法的实现流程示意图二；

图5为数据处理方法的实现流程示意图三；

图6为ISP处理流程图；

图7为数据处理方法的实现流程示意图四；

图8为AR系统的示意图二；

图9为AR眼镜的结构示意图；

图10为AR终端的示意图；

图11为数据处理方法的实现流程示意图五；

图12为数据处理方法的实现流程示意图六；

图13为数据处理方法的实现流程示意图七；

图14为数据处理方法的实现流程示意图八；

图15为数据处理方法的实现流程示意图九；

图16为控制终端的组成结构示意图一；

图17为控制终端的组成结构示意图二；

图18为AR终端的组成结构示意图一；

图19为AR终端的组成结构示意图二；

图20为AR系统的组成结构示意图一；

图21为AR系统的组成结构示意图二。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用于解释相关申请，而非对该申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关申请相关的部分。

AR的三大技术要点：三维注册(跟踪注册技术)、虚拟现实融合显示、人机交互。其流程是首先通过摄像头和传感器将真实场景进行数据采集，并传入处理器对其进行分析和重构，再通过AR头显或智能移动AR系统上的摄像头、陀螺仪、传感器等配件实时更新用户在现实环境中的空间位置变化数据，从而得出虚拟场景和真实场景的相对位置，实现坐标系的对齐并进行虚拟场景与现实场景的融合计算，最后将其合成影像呈现给用户。用户可通过AR头显或智能移动AR系统上的交互配件，如话筒、眼动追踪器、红外感应器、摄像头、传感器等AR系统采集控制信号，并进行相应的人机交互及信息更新，实现增强现实的交互操作。其中，三维注册是AR技术之核心，即以现实场景中二维或三维物体为标识物，将虚拟信息与现实场景信息进行对位匹配，即虚拟物体的位置、大小、运动路径等与现实环境必须完美匹配，达到虚实相生的地步。

用户通常在接受信息时看到的影像都是2D或者2.5D，AR设备，如AR智能眼镜，可以呈现出全息立体影像，让用户接收到更加生动的信息，从而使用户完全沉浸在AR音视频场景中。

分体式AR眼镜系统，一般采用通用串行总线(Universal Serial Bus，USB)3.0方案由终端设备向AR眼镜供电，AR眼镜可以使用配置的拍摄装置进行图像采集，并使用配置的图像处理器对采集获得的原始图像数据进行ISP处理，然而，在一些功能复杂耗时较长的图像处理过程中，AR眼镜配置的图像处理器在功耗、功能以及性能等方面的表现均不佳，往往会产生功耗瞬间增加的情况，导致供电的终端设备的功耗瞬时升高，进而引起终端设备死机等不可以预测的情况。

与AR眼镜所配置的图像处理器相比，AR系统中的终端设备所配置的图像处理器的性能和功能都要优秀很多，但是，终端设备的图像处理器和拍摄装置之间使用移动产业处理器接口(Mobile Industry Processor Interface，MIPI)相连接，即终端设备的图像处理器必须与终端设备的拍摄装置绑定使用，即终端设备的图像处理器无法作为独立的数据处理设备供AR眼镜使用。

也就是说，虽然AR系统中的终端设备的图像处理器具有优秀的性能，但是无法用于AR眼镜的图像数据处理，导致现有的分体式AR眼镜系统还无法很好的执行复杂的图像数据处理业务，因此亟需一种数据处理方法来提高分体式AR眼镜系统的数据处理能力，提升分体式AR眼镜系统的智能性。

为了解决现有的解码处理所存在的问题，在本申请的实施例中，也就是说，在本申请的实施例中，AR系统中的AR终端可以将采集获得的原始图像数据传输至控制终端中，然后使用该原始图像数据对控制终端采集的图像数据进行替换处理，接着便可以将该原始图像数据输入至控制终端中的第一ISP模块中进行数据处理，由于第一ISP模块的性能和能力优于第二ISP模块，因此借助第一ISP模块对AR终端的数据进行处理，可以有效地提高AR系统的数据处理能力，提升AR系统的智能性。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

本申请一实施例提供了一种数据处理方法，该数据处理方法可以应用于AR系统中的控制终端，图1为数据处理方法的实现流程示意图一，如图1所示，在本申请的实施例中，AR系统中的控制终端处理数据的方法可以包括以下步骤：

步骤101、在与AR系统中的AR终端建立连接之后，向AR终端发送拍摄指令；其中，拍摄指令携带目标格式。

在本申请的实施例中，AR系统中的控制终端在与AR终端建立连接之后，可以先向AR终端发送拍摄指令，从而可以使AR终端基于拍摄指令进行拍摄处理。

需要说明的是，在本申请的实施例中，系统可以包括有至少一个控制终端和至少一个AR终端。具体地，系统可以为分体式AR系统，AR系统中的控制终端可以通过与AR终端之间的连接向AR终端供电。

可以理解的是，在本申请的实施例中，控制终端与AR终端之间可以通过连接线和接口建立物理连接，也可以通过无线传输模块建立无线连接，本申请不作具体限定。

示例性的，在本申请的实施例中，图2为AR系统的示意图一，如图2所示，AR系统10为分体式AR眼镜系统，该分体式AR眼镜系统中的控制终端20为手机，AR终端30为AR眼镜。其中，手机通过与AR眼镜之间的有线连接向AR眼镜供电。

进一步地，在本申请的实施例中，AR系统中的控制终端可以为任何具备通信和存储功能的设备，例如：平板电脑、手机、电子阅读器、遥控器、个人计算机(PersonalComputer，PC)、笔记本电脑、车载设备、网络电视、可穿戴设备、个人数字助理(PersonalDigitalAssistant，PDA)、便捷式媒体播放器(Portable Media Player，PMP)、导航装置等设备。

可以理解的是，在本申请的实施例中，AR系统中的控制终端可以配置有电源模块，其中，控制终端的电源模块可以通过连接线向AR终端供电，也可以通过无线传输模块向AR终端供电。

需要说明的是，在本申请的实施例中，控制终端可以向AR终端发送连接请求，并接收AR终端返回的连接响应，然后可以通过连接响应与AR终端建立连接；控制终端还可以接收AR终端发送的连接请求，并向AR终端发送连接响应，然后可以通过连接响应与AR终端建立连接。

进一步地，在本申请的实施例中，控制终端在与AR终端建立连接之后，可以向AR终端发送拍摄指令，其中，拍摄指令用于指示AR终端进行拍摄处理。具体地，拍摄指令可以携带目标格式。

需要说明的是，在本申请的实施例中，目标格式用于对AR终端通过第二拍摄装置所采集获得的图像数据的格式进行限制。具体地，拍摄装置(如Camera)常见的数据输出格式有：RAW DATA格式、YUV格式、RGB格式。其中，RAW DATA格式是电荷耦合元件(Charge-coupled Device，CCD)或互补金属氧化物半导体(Complementary Metal OxideSemiconductor，CMOS)在将光信号转换为电信号时的电平高低的原始记录，单纯地将没有进行任何处理的图像数据，即摄像元件直接得到的电信号进行数字化处理而得到的。

一般情况下，支持YUV格式或RGB格式的拍摄模组，一般会在拍摄模组上集成ISP，经过A/D转换过的原始图像数据经过ISP处理生成YUV标准格式。而支持RAW DATA格式的拍摄模组，由于感光区域的需求，不会在拍摄模组内集成ISP，以最大程度的增大感光区域的面积，提高照片质量。

可以理解的是，在本申请的实施例中，ISP处理过程中的输入数据的格式为RAWDATA格式，因此，本申请中的目标格式用于将AR终端发送至控制终端的图像数据格式限制为RAW DATA格式，即使AR终端可以直接将通过第二拍摄装置所采集获得的原始图像数据发送至控制终端。

进一步地，在本申请的实施例中，控制终端还可以配置有第一拍摄装置和第一ISP模块，其中，第一拍摄装置用于进行图像数据的采集，第一ISP模块用于进行图像数据的处理。

示例性的，在本申请中，图3为控制终端的示意图，如图3所示，控制终端20可以包括第一拍摄装置21、第一ISP模块22以及电源模块23。

步骤102、接收AR终端发送的原始图像数据；其中，原始图像符合目标格式。

在本申请的实施例中，控制终端在向AR终端发送拍摄指令之后，可以进一步接收AR终端发送的、符合目标格式的原始图像数据。其中，原始图像数据为AR终端通过第二拍摄装置采集获得的。

需要说明的是，在本申请的实施例中，原始图像数据为AR终端调用第二拍摄装置进行拍摄处理之后，第二拍摄装置直接输出的RAW DATA格式的图像数据。

在本申请的实施例中，进一步地，图4为数据处理方法的实现流程示意图二，如图4所示，在接收AR终端发送的原始图像数据之前，即步骤102之前，控制终端进行数据处理的方法还可以包括以下步骤：

步骤105、接收AR终端发送的处理请求。

步骤106、响应处理请求，向AR终端发送处理响应；其中，处理响应用于获取原始图像数据。

在本申请的实施例中，控制终端在向AR终端发送拍摄指令之后，可以先接收AR终端发送的处理请求，然后再响应处理请求，向AR终端发送处理响应，从而可以指示AR终端发送原始图像数据。

需要说明的是，在本申请的实施例中，处理请求为AR终端发送的、用于向控制终端请求借助控制终端配置的第一ISP模块进行数据的处理。

可以理解的是，在本申请的实施例中，控制终端在接收到处理请求之后，可以先对当前的状态和任务进行确定，具体地，如果控制终端正在使用第一拍摄装置或第一ISP模块，即第一终端正在进行拍摄处理或图像数据处理，那么可以认为无法调用第一ISP模块处理AR终端发送的原始图像数据，如果控制终端没有使用第一拍摄装置和第一ISP模块，即第一终端没有进行拍摄处理和图像数据处理，那么可以认为允许调用第一ISP模块处理AR终端发送的原始图像数据。

进一步地，在本申请的实施例中，控制终端在基于当前的状态和任务确定允许调用第一ISP模块之后，便可以响应处理请求，向AR终端发送用于获取原始图像数据处理响应。

相应地，在本申请中，AR终端在接收到控制终端发送的处理响应之后，便可以向控制终端发送原始图像数据。

在本申请的实施例中，进一步地，图5为数据处理方法的实现流程示意图三，如图5所示，在与AR系统中的AR终端建立连接之后，向AR终端发送拍摄指令之后，即步骤101之后，控制终端进行数据处理的方法还可以包括以下步骤：

步骤107、接收AR终端发送的、原始图像数据对应的已处理数据；其中，已处理数据为AR终端调用第二ISP模块进行数据处理获得的。

在本申请的实施例中，控制终端在与AR系统中的AR终端建立连接之后，并向AR终端发送拍摄指令之后，还可以直接接收AR终端发送的、与原始图像数据对应的已处理数据。

需要说明的是，在本申请的实施例中，已处理数据可以为AR终端调用配置的第二ISP模块，对原始图像数据进行数据处理后所获得的。其中，已处理数据可以为YUV格式或RGB格式的图像数据。

进一步地，在本申请的实施例中，由于AR终端也配置有能够进行图像数据处理的第二ISP模块，因此，AR终端在调用第二拍摄装置采集获得原始图像数据之后，可以选择直接调用第二ISP模块对原始图像数据进行数据处理，也可以选择将原始图像数据发送至控制终端，以借助更高性能的、控制终端配置的第一ISP模块对原始图像数据进行数据处理。

可以理解的是，在本申请的实施例中，对于功能简单或者耗时较短的图像处理业务，AR终端配置的第二ISP模块能够较好的完成，因此AR终端可以选择不借助控制终端配置的第一ISP模块进行数据处理，而是直接调用第二ISP模块对采集获得的原始图像信息进行处理。

相应地，在本申请中，对于功能复杂或者耗时较长的图像处理业务，AR终端配置的第二ISP模块的性能和能力无法较好的完成，因此AR终端可以选择将原始图像数据发送至控制终端，从而可以通过借助控制终端的第一ISP模块完成对原始图像数据的处理。

步骤103、基于目标格式和AR终端对应的拍摄参数，调用第一拍摄装置采集图像数据。

在本申请的实施例中，控制终端在向AR终端发送拍摄指令之后，还可以基于目标格式和AR终端对应的拍摄参数，调用第一拍摄装置采集图像数据。

进一步地，在本申请的实施例中，控制终端可以启动配置的第一拍摄装置，然后可以根据目标格式和AR终端拍摄原始图像数据所对应的拍摄参数，通过第一拍摄装置进行图像采集处理，获得对应的图像数据。

需要说明的是，在本申请的实施例中，由于控制终端是基于目标格式来控制第一拍摄装置采集获得图像数据的，因此，图像数据也满足目标格式的要求，即该图像数据为第一拍摄装置直接输出的、RAW DATA格式的数据。

可以理解的是，在本申请的实施例中，由于控制终端是基于AR终端对应的拍摄参数来控制第一拍摄装置采集获得图像数据的，因此，控制终端通过第一拍摄装置采集获得的图像数据，与接收AR终端发送的原始图像数据具有相同的属性。

进一步地，在本申请的实施例中，拍摄参数可以为AR终端采集原始图像数据时，第二拍摄装置所使用的相关参数，示例性的，拍摄参数可以包括分辨率、清晰度、亮度、对比度、饱和度、焦距、视场角、光圈、增益、曝光时间、白平衡等。

需要说明的是，在本申请的实施例中，AR终端所对应的拍摄参数可以为控制终端预先设置并发送给AR终端的。具体地，在基于目标格式和AR终端对应的拍摄参数，调用第一拍摄装置采集图像数据之前，控制终端可以先设置拍摄参数，相应地，控制终端发送至AR终端的拍摄指令可以携带拍摄参数。

需要说明的是，在本申请的实施例中，AR终端所对应的拍摄参数还可以为AR终端设置并发送给控制终端的。具体地，在基于目标格式和AR终端对应的拍摄参数，调用第一拍摄装置采集图像数据之前，控制终端可以接收AR终端发送的拍摄参数。

进一步地，在本申请的实施例中，控制终端在基于目标格式和AR终端对应的拍摄参数，调用第一拍摄装置采集图像数据之后，可以将图像数据存储至第一存储空间。一般情况下，控制终端中的第一拍摄装置在输出图像数据之后，可以先将图像数据存储至第一存储空间，然后可以在后续的ISP处理过程中，通过内存拷贝至第一ISP模块中。

需要说明的是，在本申请的实施例中，上述步骤102和步骤103所提出的方法，可以是控制终端同时执行的，也可以是控制终端依次执行的，本申请不作具体限定。

步骤104、将图像数据替换为原始图像数据，并调用第一ISP模块进行数据处理，获得处理后数据。

在本申请的实施例中，控制终端在接收AR终端发送的原始图像数据，同时基于目标格式和AR终端对应的拍摄参数，调用第一拍摄装置采集图像数据之后，便可以将图像数据替换为原始图像数据，然后调用第一ISP模块进行数据处理，最终便可以获得处理后数据。

进一步地，在本申请的实施例中，控制终端在调用第一ISP模块对原始图像数据进行处理时，需要先使用原始图像数据替换第一拍摄装置采集的图像数据。

图6为ISP处理流程图，如图6所示，在通过ISP模块对Camera Sensor采集的图像数据进行ISP处理时，Camera Sensor可以先将图像数据传递给ISP模块，然后ISP模块对图像数据进行ISP处理，最终生成预览数据或者编码后的照片数据。其中，ISP模块只接受CameraSensor传输的图像数据，这是因为ISP模块和Camera Sensor是通过物理MIPI接口相连接的。也就是说，ISP模块接收图像数据的通路是唯一的，只能通过Camera Sensor来获取图像数据，因此ISP模块不可以单独使用，需要和Camera Sensor配合使用。

一般情况下，Camera Sensor输出的Raw Data格式的图像数据可以通过内存拷贝至ISP模块中。

进一步地，在本申请的实施例中，控制终端在将图像数据替换为原始图像数据，并调用第一ISP模块进行数据处理，获得处理后数据时，可以先将原始图像数据存储至第一存储空间，从而完成对已经存储的、第一拍摄装置采集的图像数据的替换处理；接着，控制终端可以控制第一ISP模块从第一存储空间读取原始图像数据；最后，控制终端可以控制第一ISP模块根据原始图像数据和拍摄参数进行图像处理，进而可以获得处理后数据。

需要说明的是，在本申请的实施例中，处理后数据可以为YUV格式或RGB格式的图像数据。

进一步地，在本申请的实施例中，控制终端在将图像数据替换为原始图像数据，并调用第一ISP模块进行数据处理，获得处理后数据之后，便可以进一步利用处理后数据执行AR终端对应的图像数据业务。

综上所述，本申请提出的数据处理方法，通过上述步骤101至步骤107，控制终端可以使用配置的第一ISP模块处理AR终端通过第二拍摄装置采集的原始图像数据，从而可以提高数据处理的性能，提升数据处理的效果品质。具体地，在本申请中，在AR终端的第二ISP模块功耗较高的情况下，控制终端可以使用第一ISP模块处理AR终端采集的原始图像数据，从而可以平衡AR系统的整体功耗，避免控制终端由于功耗负载太大引起的死机。

需要说明的是，本申请提出的数据处理方法可以为通用方案，不局限于高通平台，还可以用于MTK、展讯等硬件平台。

进一步地，在本申请的实施例中，控制终端也可以处理离线的Camera数据，如，其他设备或者控制终端拍摄的照片，通过对图像数据进行替换处理，完成后续的ISP处理，生成照片数据。

可以理解的是，本申请提出的数据处理方法扩展性强，不局限于分体式AR系统，还可以可扩展到其他类似的分体式设备，同时，控制终端所处理的数据也不局限于调用ISP模块处理的图像数据，还可以通过调用其他模块进行其他复杂度高或功耗大的数据的处理，例如，协调图形处理器(Graphics Processing Unit，GPU)等设备来进行数据处理。

本申请实施例提供了一种数据处理方法，控制终端在与AR系统中的AR终端建立连接之后，向AR终端发送拍摄指令；其中，拍摄指令携带目标格式；接收AR终端发送的原始图像数据；其中，原始图像符合目标格式；基于目标格式和AR终端对应的拍摄参数，调用第一拍摄装置采集图像数据；将图像数据替换为原始图像数据，并调用第一ISP模块进行数据处理，获得处理后数据。也就是说，在本申请的实施例中，AR系统中的AR终端可以将采集获得的原始图像数据传输至控制终端中，然后使用该原始图像数据对控制终端采集的图像数据进行替换处理，接着便可以将该原始图像数据输入至控制终端中的第一ISP模块中进行数据处理，由于第一ISP模块的性能和能力优于第二ISP模块，因此借助第一ISP模块对AR终端的数据进行处理，可以有效地提高AR系统的数据处理能力，提升AR系统的智能性。

基于上述实施例，在本申请的又一实施例中，本申请所提出的数据处理方法，该数据处理方法可以应用于AR系统中的AR终端。图7为数据处理方法的实现流程示意图四，如图7所示，AR系统中的AR终端进行数据处理的方法可以包括以下步骤：

步骤201、在与AR系统中的控制终端建立连接之后，接收控制终端发送拍摄指令；其中，拍摄指令携带目标格式。

在本申请的实施例中，AR终端在与AR系统中的控制终端建立连接之后，可以接收控制终端发送拍摄指令；其中，拍摄指令携带目标格式。

可以理解的是，在本申请的实施例中，控制终端与AR终端之间可以通过连接线和接口建立物理连接，也可以通过无线传输模块建立无线连接，本申请不作具体限定。

示例性的，在本申请的实施例中，图8为AR系统的示意图二，如图8所示，AR系统10为分体式AR眼镜系统，该分体式AR眼镜系统中的控制终端20为手机，AR终端30为AR眼镜。其中，手机通过与AR眼镜之间的无线连接向AR眼镜供电。

进一步地，在本申请的实施例中，图9为AR眼镜的结构示意图。如图9所示，AR眼镜40可以包括本体41，其中，本体41可以包括镜架411、镜片412、触控部413、控制板414。

具体地，在本申请中，触控部413可以设置在镜架411上，从而可以通过触摸生成不同的触摸手势。

可以理解的是，在本申请中，控制板414中可以设置有检测装置、控制模块等多种功能性的单元，例如，控制板414中可以设置控制单元、气压温度传感器、地磁传感器、光强传感器、九轴传感器、全球定位系统(Global Positioning System，GPS)装置、麦克风、音频模块、显示模块、摄像模块以及通信模块。

进一步地，在本申请的实施例中，控制板414通过上述多种功能性的单元，可以检测周围环境的不同类型的数据和信息，例如，AR眼镜40通过气压温度传感器，可以周期性/根据控制信号采集用户所处环境的海拔、气压和温度信息；AR眼镜40通过地磁传感器，可以周期性检测用户朝向的方位；AR眼镜40通过光强传感器，可以周期性采集，或者根据控制信号采集用户所处环境的采光信息；AR眼镜40通过九轴传感器，可以周期性的检测，或者根据控制信号检测获取人体动作信息；AR眼镜40通过GPS装置，可以周期性的检测，或者根据控制信号检测获取用户的位置信息；AR眼镜40通过麦克风，可以周期性采集，或者根据控制信号采集用户的语音信息；AR眼镜40通过摄像模块，可以根据控制信号采集场景信息；AR眼镜40通过音频模块，可以根据控制信号播放音频数据或对语音进行识别；AR眼镜40通过显示模块，可以根据控制信号进行相应的显示；AR眼镜40通过通信模块，可以根据控制信号进行与外界的信息交互。

进一步地，在本申请的实施例中，AR终端在与控制终端建立连接之后，可以接收控制终端发送的拍摄指令，其中，拍摄指令用于指示AR终端进行拍摄处理。具体地，拍摄指令可以携带目标格式。

需要说明的是，在本申请的实施例中，目标格式用于对AR终端通过第二拍摄装置所采集获得的图像数据的格式进行限制。ISP处理过程中的输入数据的格式为RAW DATA格式，因此，本申请中的目标格式用于将AR终端发送至控制终端的图像数据格式限制为RAWDATA格式，即使AR终端可以直接将通过第二拍摄装置所采集获得的原始图像数据发送至控制终端。

进一步地，在本申请的实施例中，AR终端可以配置有第二拍摄装置和第二ISP模块，其中，第二拍摄装置用于进行图像数据的采集，第二ISP模块用于进行图像数据的处理。

示例性的，在本申请中，图10为AR终端的示意图，如图10所示，AR终端30可以包括第二拍摄装置31和第二ISP模块32。

步骤202、确定拍摄参数，并基于目标格式和拍摄参数，调用第二拍摄装置采集原始图像数据；其中，原始图像符合目标格式。

在本申请的实施例中，AR终端在接收控制终端发送的、携带目标格式的拍摄指令之后，可以先确定拍摄参数，然后基于目标格式和拍摄参数，通过调用第二拍摄装置来采集原始图像数据。

需要说明的是，在本申请的实施例中，原始图像数据为AR终端调用第二拍摄装置进行拍摄处理之后，第二拍摄装置直接输出的RAW DATA格式的图像数据。

进一步地，在本申请的实施例中，拍摄参数可以为AR终端采集原始图像数据时，第二拍摄装置所使用的相关参数，示例性的，拍摄参数可以包括分辨率、清晰度、亮度、对比度、饱和度、焦距、视场角、光圈、增益、曝光时间、白平衡等。

需要说明的是，在本申请的实施例中，AR终端所对应的拍摄参数可以为控制终端预先设置并发送给AR终端的。具体地，控制终端可以先设置拍摄参数，相应地，控制终端发送至AR终端的拍摄指令可以携带拍摄参数，即AR终端获取拍摄指令携带的拍摄参数。

需要说明的是，在本申请的实施例中，AR终端所对应的拍摄参数还可以为AR终端设置并发送给控制终端的。具体地，第二在确定拍摄参数之后，还可以向控制终端发送拍摄参数。

步骤203、将原始图像数据发送至控制终端，以通过控制终端的第一ISP模块完成数据处理。

在本申请的实施例中，AR终端在确定拍摄参数，并基于目标格式和拍摄参数，调用第二拍摄装置采集原始图像数据之后，便可以将原始图像数据发送至控制终端，从而便可以通过控制终端的第一ISP模块完成数据处理。

在本申请的实施例中，进一步地，图11为数据处理方法的实现流程示意图五，如图11所示，在确定拍摄参数，并基于目标格式和拍摄参数，调用第二拍摄装置采集原始图像数据之后，即步骤202之后，AR终端进行数据处理的方法还可以包括以下步骤：

步骤204、向控制终端发送处理请求。

步骤205、接收控制终端返回的处理响应；其中，处理响应用于获取原始图像数据。

在本申请的实施例中，第二终端在基于目标格式和拍摄参数，调用第二拍摄装置采集原始图像数据之后，可以先向控制终端发送处理请求，然后再接收控制终端发送的、响应处理请求的处理响应，从而可以进一步向控制终端发送原始图像数据。

需要说明的是，在本申请的实施例中，处理请求为AR终端发送的、用于向控制终端请求借助控制终端配置的第一ISP模块进行数据的处理。

可以理解的是，在本申请的实施例中，控制终端在接收到处理请求之后，可以先对当前的状态和任务进行确定，具体地，如果控制终端正在使用第一拍摄装置或第一ISP模块，即第一终端正在进行拍摄处理或图像数据处理，那么可以认为无法调用第一ISP模块处理AR终端发送的原始图像数据，如果控制终端没有使用第一拍摄装置和第一ISP模块，即第一终端没有进行拍摄处理和图像数据处理，那么可以认为允许调用第一ISP模块处理AR终端发送的原始图像数据。

进一步地，在本申请的实施例中，控制终端在基于当前的状态和任务确定允许调用第一ISP模块之后，便可以响应处理请求，向AR终端发送用于获取原始图像数据处理响应。

相应地，在本申请中，AR终端在接收到控制终端发送的处理响应之后，便可以向控制终端发送原始图像数据。

在本申请的实施例中，进一步地，图12为数据处理方法的实现流程示意图六，如图12所示，在确定拍摄参数，并基于目标格式和拍摄参数，调用第二拍摄装置采集原始图像数据之后，即步骤202之后，AR终端进行数据处理的方法还可以包括以下步骤：

步骤206、基于原始图像数据，调用第二ISP模块进行数据处理，获得已处理数据。

步骤207、向控制终端发送已处理数据。

在本申请的实施例中，AR终端在基于目标格式和拍摄参数，调用第二拍摄装置采集原始图像数据之后，还可以直接基于原始图像数据，调用第二ISP模块进行数据处理，从而可以获得与原始图像数据对应的已处理数据，然后可以向控制终端发送已处理数据。

需要说明的是，在本申请的实施例中，已处理数据可以为AR终端调用配置的第二ISP模块，对原始图像数据进行数据处理后所获得的。其中，已处理数据可以为YUV格式或RGB格式的图像数据。

进一步地，在本申请的实施例中，由于AR终端也配置有能够进行图像数据处理的第二ISP模块，因此，AR终端在调用第二拍摄装置采集获得原始图像数据之后，可以选择直接调用第二ISP模块对原始图像数据进行数据处理，也可以选择将原始图像数据发送至控制终端，以借助更高性能的、控制终端配置的第一ISP模块对原始图像数据进行数据处理。

可以理解的是，在本申请的实施例中，对于功能简单或者耗时较短的图像处理业务，AR终端配置的第二ISP模块能够较好的完成，因此AR终端可以选择不借助控制终端配置的第一ISP模块进行数据处理，而是直接调用第二ISP模块对采集获得的原始图像信息进行处理。

相应地，在本申请中，对于功能复杂或者耗时较长的图像处理业务，AR终端配置的第二ISP模块的性能和能力无法较好的完成，因此AR终端可以选择将原始图像数据发送至控制终端，从而可以通过借助控制终端的第一ISP模块完成对原始图像数据的处理。

综上所述，本申请提出的数据处理方法，通过上述步骤201至步骤207，AR终端可以将原始图像数据发送至控制终端，从而可以使用控制终端配置的第一ISP模块处理第二拍摄装置采集的原始图像数据，进而可以提高数据处理的性能，提升数据处理的效果品质。具体地，在本申请中，在AR终端的第二ISP模块功耗较高的情况下，控制终端可以使用第一ISP模块处理AR终端采集的原始图像数据，从而可以平衡AR系统的整体功耗，避免控制终端由于功耗负载太大引起的死机。

需要说明的是，本申请提出的数据处理方法可以扩展到其他分体式的设备上，如行车记录仪等，其他设备可以借用控制终端的强大的ISP等处理器的处理能力，协作业务处理。

需要说明的是，本申请提出的数据处理方法还可以应用到AR终端使用控制终端的其他处理模块的场景中，即不局限于ISP进行图像数据的处理，AR终端还可以使用控制终端的GPU，嵌入式神经网络处理器(Neural-network Processing Unit，NPU)等其他处理模块进行数据处理。

可以理解的是，本申请提出的数据处理方法扩展性强，不局限于分体式AR系统，还可以可扩展到其他类似的分体式设备，同时，控制终端所处理的数据也不局限于调用ISP模块处理的图像数据，还可以通过调用其他模块进行其他复杂度高或功耗大的数据的处理，例如，协调GPU等设备来进行数据处理。

本申请实施例提供了一种数据处理方法，AR终端在与AR系统中的控制终端建立连接之后，接收控制终端发送拍摄指令；其中，拍摄指令携带目标格式；确定拍摄参数，并基于目标格式和拍摄参数，调用第二拍摄装置采集原始图像数据；其中，原始图像符合目标格式；将原始图像数据发送至控制终端，以通过控制终端的第一ISP模块完成数据处理。也就是说，在本申请的实施例中，AR系统中的AR终端可以将采集获得的原始图像数据传输至控制终端中，然后使用该原始图像数据对控制终端采集的图像数据进行替换处理，接着便可以将该原始图像数据输入至控制终端中的第一ISP模块中进行数据处理，由于第一ISP模块的性能和能力优于第二ISP模块，因此借助第一ISP模块对AR终端的数据进行处理，可以有效地提高AR系统的数据处理能力，提升AR系统的智能性。

基于上述实施例，在本申请的又一实施例中，本申请所提出的数据处理方法，该数据处理方法应用于AR系统中。具体地，AR系统可以包括控制终端和AR终端。图13为数据处理方法的实现流程示意图七，如图13所示，AR系统中的控制终端和AR终端进行数据处理的方法可以包括以下步骤：

步骤301、控制终端在与AR系统中的AR终端建立连接之后，向AR终端发送拍摄指令；其中，拍摄指令携带目标格式。

步骤302、AR终端确定拍摄参数，并基于目标格式和拍摄参数，调用第二拍摄装置采集原始图像数据；其中，原始图像符合目标格式。

步骤303、控制终端接收AR终端发送的原始图像数据；其中，原始图像符合目标格式。

步骤304、基于目标格式和AR终端对应的拍摄参数，调用第一拍摄装置采集图像数据。

步骤305、将图像数据替换为原始图像数据，并调用第一ISP模块进行数据处理，获得处理后数据。

图14为数据处理方法的实现流程示意图八，如图14所示，AR系统中的控制终端和AR终端进行数据处理的方法还可以包括以下步骤：

步骤301、控制终端在与AR系统中的AR终端建立连接之后，向AR终端发送拍摄指令；其中，拍摄指令携带目标格式。

步骤302、AR终端确定拍摄参数，并基于目标格式和拍摄参数，调用第二拍摄装置采集原始图像数据；其中，原始图像符合目标格式。

步骤306、AR终端向控制终端发送处理请求。

步骤307、控制终端响应处理请求，向AR终端发送处理响应；其中，处理响应用于获取原始图像数据。

步骤303、控制终端接收AR终端发送的原始图像数据；其中，原始图像符合目标格式。

步骤304、基于目标格式和AR终端对应的拍摄参数，调用第一拍摄装置采集图像数据。

步骤305、将图像数据替换为原始图像数据，并调用第一ISP模块进行数据处理，获得处理后数据。

在本申请的实施例中，控制终端在向AR终端发送拍摄指令之后，可以先接收AR终端发送的处理请求，然后再响应处理请求，向AR终端发送处理响应，从而可以指示AR终端发送原始图像数据。

需要说明的是，在本申请的实施例中，处理请求为AR终端发送的、用于向控制终端请求借助控制终端配置的第一ISP模块进行数据的处理。

可以理解的是，在本申请的实施例中，控制终端在接收到处理请求之后，可以先对当前的状态和任务进行确定，具体地，如果控制终端正在使用第一拍摄装置或第一ISP模块，即第一终端正在进行拍摄处理或图像数据处理，那么可以认为无法调用第一ISP模块处理AR终端发送的原始图像数据，如果控制终端没有使用第一拍摄装置和第一ISP模块，即第一终端没有进行拍摄处理和图像数据处理，那么可以认为允许调用第一ISP模块处理AR终端发送的原始图像数据。

进一步地，在本申请的实施例中，控制终端在基于当前的状态和任务确定允许调用第一ISP模块之后，便可以响应处理请求，向AR终端发送用于获取原始图像数据处理响应。

相应地，在本申请中，AR终端在接收到控制终端发送的处理响应之后，便可以向控制终端发送原始图像数据。

图15为数据处理方法的实现流程示意图九，如图15所示，AR系统中的控制终端和AR终端进行数据处理的方法还可以包括以下步骤：

步骤301、控制终端在与AR系统中的AR终端建立连接之后，向AR终端发送拍摄指令；其中，拍摄指令携带目标格式。

步骤302、AR终端确定拍摄参数，并基于目标格式和拍摄参数，调用第二拍摄装置采集原始图像数据；其中，原始图像符合目标格式。

步骤308、AR终端基于原始图像数据，调用第二ISP模块进行数据处理，获得已处理数据。

步骤309、AR终端向控制终端发送已处理数据。

在本申请的实施例中，AR终端在基于目标格式和拍摄参数，调用第二拍摄装置采集原始图像数据之后，还可以直接基于原始图像数据，调用第二ISP模块进行数据处理，从而可以获得与原始图像数据对应的已处理数据，然后可以向控制终端发送已处理数据。

需要说明的是，在本申请的实施例中，已处理数据可以为AR终端调用配置的第二ISP模块，对原始图像数据进行数据处理后所获得的。其中，已处理数据可以为YUV格式或RGB格式的图像数据。

进一步地，在本申请的实施例中，由于AR终端也配置有能够进行图像数据处理的第二ISP模块，因此，AR终端在调用第二拍摄装置采集获得原始图像数据之后，可以选择直接调用第二ISP模块对原始图像数据进行数据处理，也可以选择将原始图像数据发送至控制终端，以借助更高性能的、控制终端配置的第一ISP模块对原始图像数据进行数据处理。

可以理解的是，在本申请的实施例中，对于功能简单或者耗时较短的图像处理业务，AR终端配置的第二ISP模块能够较好的完成，因此AR终端可以选择不借助控制终端配置的第一ISP模块进行数据处理，而是直接调用第二ISP模块对采集获得的原始图像信息进行处理。

相应地，在本申请中，对于功能复杂或者耗时较长的图像处理业务，AR终端配置的第二ISP模块的性能和能力无法较好的完成，因此AR终端可以选择将原始图像数据发送至控制终端，从而可以通过借助控制终端的第一ISP模块完成对原始图像数据的处理。

综上所述，在本申请中，AR系统中的AR终端通过第二拍摄装置采集到的原始图像数据，可以通过USB传输到控制终端，然后通过调用控制终端的第二ISP模块进行处理，获得处理后数据，最后可以利用处理后数据进行对应的业务处理。

也就是说，本申请提出的数据处理方法，控制终端可以确定AR终端输出数据的分辨率等拍摄参数和目标格式，其中，AR终端输出的原始图像数据的格式必须满足第一ISP模块进行ISP处理的要求。具体地，控制终端还可以向AR终端发送拍摄指令，AR终端调用第二拍摄装置进行原始图像数据的采集，同时，控制终端还可以开启第一拍摄装置，并且按照AR终端对应的拍摄参数设置第一拍摄装置的具体参数。AR终端在将原始图像数据通过USB输出到控制终端之后，控制终端可以将第一拍摄模块采集的图像数据替换为该原始图像数据，具体地，控制终端可以将原始图像数据存储至第一存储空间，利用内存数据拷贝的技术，替换控制终端采集的图像数据。接着，替换后的原始图像数据可以输入至第一ISP模块，并进行ISP处理。

需要说明的是，在本申请中，调用第一ISP模块对原始图像数据进行ISP处理获得的处理后数据为AR终端对应的图像数据，该处理后数据可以进行AR终端对应的业务处理，如数据合成、效果处理等。

可以理解的是，在本申请中，在调用第一ISP模块对原始图像数据进行ISP处理的过程中，由于控制终端的第一ISP模块和第一拍摄装置被占用，因此，控制终端的拍摄功能和图像处理功能均不能被使用。

需要说明的是，在本申请中，控制终端在调用第一拍摄装置时，不需要有预览输出，因此，不做预览绘制的动作，也就不会看到有相机预览显示的情况发生。

也就是说，本申请提出的数据处理方法，可以通过使用AR终端的第二拍摄装置采集的原始图像数据替换控制终端的第一拍摄装置采集的图像数据的方式，使用控制终端的第一ISP模块进行原始图像数据的处理，从而保证AR终端的原始图像数据的性能以及品质。

需要说明的是，在本申请中，控制终端使用与AR终端对应的拍摄参数对第一拍摄模块的具体参数进行设置和调用，可以保证控制终端和AR终端的拍摄装置所采集的数据属性以及格式是一致的。

进一步地，在本申请的实施例总，控制终端可以采用内存拷贝技术，将第一终端对应的原始图像数据复制到控制终端的第一拍摄装置所对应的数据的内存空间，从而替换了第一拍摄装置所采集的图像数据。进而可以在第一ISP模块后续的ISP处理过程中，实现对AR终端的原始图像数据的处理。

本申请实施例提供了一种数据处理方法，AR系统中的AR终端可以将采集获得的原始图像数据传输至控制终端中，然后使用该原始图像数据对控制终端采集的图像数据进行替换处理，接着便可以将该原始图像数据输入至控制终端中的第一ISP模块中进行数据处理，由于第一ISP模块的性能和能力优于第二ISP模块，因此借助第一ISP模块对AR终端的数据进行处理，可以有效地提高AR系统的数据处理能力，提升AR系统的智能性。

基于上述实施例，在本申请的另一实施例中，图16为控制终端的组成结构示意图一，如图16所示，本申请实施例提出的控制终端20可以包括：第一发送单元24，第一接收单元25，第一采集单元26，替换单元27，处理单元28，

所述第一发送单元24，用于在与所述AR系统中的AR终端建立连接之后，向所述AR终端发送拍摄指令；其中，所述拍摄指令携带目标格式；

所述第一接收单元25，用于接收所述AR终端发送的原始图像数据；其中，所述原始图像符合所述目标格式；

所述第一采集单元26，用于基于所述目标格式和所述AR终端对应的拍摄参数，调用第一拍摄装置采集图像数据；

所述替换单元27，用于将所述图像数据替换为所述原始图像数据；

所述处理单元28，用于调用第一ISP模块进行数据处理，获得处理后数据。

在本申请的实施例中，进一步地，图17为控制终端的组成结构示意图二，如图17示，本申请实施例提出的控制终端20还可以包括第一处理器29、存储有第一处理器29可执行指令的第一存储器210，进一步地，控制终端20还可以包括第一通信接口211，和用于连接第一处理器29、第一存储器210以及第一通信接口211的第一总线212。

在本申请的实施例中，控制终端20还可以包括第一存储器210，该第一存储器210可以与第一处理器29连接，其中，第一存储器210用于存储可执行程序代码，该程序代码包括计算机操作指令，第一存储器210可能包含高速RAM存储器，也可能还包括非易失性存储器，例如，至少两个磁盘存储器。

在本申请的实施例中，第一总线212用于连接第一通信接口211、第一处理器29以及第一存储器210以及这些器件之间的相互通信。

在本申请的实施例中，第一存储器210，用于存储指令和数据。

进一步地，在本申请的实施例中，上述第一处理器29，用于在与所述AR系统中的AR终端建立连接之后，向所述AR终端发送拍摄指令；其中，所述拍摄指令携带目标格式；接收所述AR终端发送的原始图像数据；其中，所述原始图像符合所述目标格式；基于所述目标格式和所述AR终端对应的拍摄参数，调用第一拍摄装置采集图像数据；将所述图像数据替换为所述原始图像数据，并调用第一ISP模块进行数据处理，获得处理后数据。

基于上述实施例，在本申请的另一实施例中，图18为AR终端的组成结构示意图一，如图18所示，本申请实施例提出的AR终端30可以包括：第二接收单元33，确定单元34，第二采集单元35，第二发送单元36，

所述第二接收单元33，用于在与所述AR系统中的控制终端建立连接之后，接收所述控制终端发送拍摄指令；其中，所述拍摄指令携带目标格式；

所述确定单元34，用于确定拍摄参数；

所述第二采集单元35，用于基于所述目标格式和所述拍摄参数，调用第二拍摄装置采集原始图像数据；其中，所述原始图像符合所述目标格式；

所述第二发送单元36，用于将所述原始图像数据发送至所述控制终端，以通过所述控制终端的第一ISP模块完成数据处理。

在本申请的实施例中，进一步地，图19为AR终端的组成结构示意图二，如图19示，本申请实施例提出的AR终端30还可以包括第二处理器37、存储有第二处理器37可执行指令的第二存储器38，进一步地，AR终端30还可以包括第二通信接口39，和用于连接第二处理器37、第二存储器38以及第二通信接口39的第二总线310。

在本申请的实施例中，AR终端30还可以包括第二存储器38，该第二存储器38可以与第二处理器37连接，其中，第二存储器38用于存储可执行程序代码，该程序代码包括计算机操作指令，第二存储器38可能包含高速RAM存储器，也可能还包括非易失性存储器，例如，至少两个磁盘存储器。

在本申请的实施例中，第二总线310用于连接第二通信接口39、第二处理器37以及第二存储器38以及这些器件之间的相互通信。

在本申请的实施例中，第二存储器38，用于存储指令和数据。

进一步地，在本申请的实施例中，上述第二处理器37，用于在与所述AR系统中的控制终端建立连接之后，接收所述控制终端发送拍摄指令；其中，所述拍摄指令携带目标格式；确定拍摄参数，并基于所述目标格式和所述拍摄参数，调用第二拍摄装置采集原始图像数据；其中，所述原始图像符合所述目标格式；将所述原始图像数据发送至所述控制终端，以通过所述控制终端的第一ISP模块完成数据处理。

基于上述实施例，在本申请的另一实施例中，图20为AR系统的组成结构示意图一，如图20所示，本申请实施例提出的AR系统10可以包括：控制终端20和AR终端30，其中，所述控制终端20配置有第一拍摄装置21和第一ISP模块22，所述AR终端30配置有第二拍摄装置31和第二ISP模块32。

进一步地，在本申请的实施例中，所述控制终端20调用所述第一拍摄装置21和所述第一ISP模块22，用于在与所述AR系统中的AR终端建立连接之后，向所述AR终端发送拍摄指令；其中，所述拍摄指令携带目标格式；接收所述AR终端发送的原始图像数据；其中，所述原始图像符合所述目标格式；基于所述目标格式和所述AR终端对应的拍摄参数，调用第一拍摄装置采集图像数据；将所述图像数据替换为所述原始图像数据，并调用第一ISP模块进行数据处理，获得处理后数据。

进一步地，在本申请的实施例中，所述AR终端30调用所述第二拍摄装置31和所述第二ISP模块32，用于在与所述AR系统中的控制终端建立连接之后，接收所述控制终端发送拍摄指令；其中，所述拍摄指令携带目标格式；确定拍摄参数，并基于所述目标格式和所述拍摄参数，调用第二拍摄装置采集原始图像数据；其中，所述原始图像符合所述目标格式；将所述原始图像数据发送至所述控制终端，以通过所述控制终端的第一ISP模块完成数据处理。

在本申请的实施例中，进一步地，图21为AR系统的组成结构示意图二，如图21示，本申请实施例提出的AR系统10还可以包括第三处理器11、存储有第三处理器11可执行指令的第三存储器12，进一步地，AR系统10还可以包括第三通信接口13，和用于连接第三处理器11、第三存储器12以及第三通信接口13的第三总线14。

在本申请的实施例中，AR系统10还可以包括第三存储器12，该第三存储器12可以与第三处理器11连接，其中，第三存储器12用于存储可执行程序代码，该程序代码包括计算机操作指令，第三存储器12可能包含高速RAM存储器，也可能还包括非易失性存储器，例如，至少两个磁盘存储器。

在本申请的实施例中，第三总线14用于连接第三通信接口13、第三处理器11以及第三存储器12以及这些器件之间的相互通信。

在本申请的实施例中，第三存储器12，用于存储指令和数据。

本申请实施例提供了一种控制终端、AR终端以及AR系统，控制终端在与AR系统中的AR终端建立连接之后，向AR终端发送拍摄指令；其中，拍摄指令携带目标格式；接收AR终端发送的原始图像数据；其中，原始图像符合目标格式；基于目标格式和AR终端对应的拍摄参数，调用第一拍摄装置采集图像数据；将图像数据替换为原始图像数据，并调用第一ISP模块进行数据处理，获得处理后数据。AR终端在与AR系统中的控制终端建立连接之后，接收控制终端发送拍摄指令；其中，拍摄指令携带目标格式；确定拍摄参数，并基于目标格式和拍摄参数，调用第二拍摄装置采集原始图像数据；其中，原始图像符合目标格式；将原始图像数据发送至控制终端，以通过控制终端的第一ISP模块完成数据处理。也就是说，在本申请的实施例中，AR系统中的AR终端可以将采集获得的原始图像数据传输至控制终端中，然后使用该原始图像数据对控制终端采集的图像数据进行替换处理，接着便可以将该原始图像数据输入至控制终端中的第一ISP模块中进行数据处理，由于第一ISP模块的性能和能力优于第二ISP模块，因此借助第一ISP模块对AR终端的数据进行处理，可以有效地提高AR系统的数据处理能力，提升AR系统的智能性。

另外，在本实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机AR系统(可以是个人计算机，服务器，或者网络AR系统等)或processor(处理器)执行本实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ReadOnly Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请实施例提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如上所述的数据处理方法。

具体来讲，本实施例中的一种数据处理方法对应的程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与一种数据处理方法对应的程序指令被一电子设备读取或被执行时，包括如下步骤：

在与所述AR系统中的AR终端建立连接之后，向所述AR终端发送拍摄指令；其中，所述拍摄指令携带目标格式；

接收所述AR终端发送的原始图像数据；其中，所述原始图像符合所述目标格式；

基于所述目标格式和所述AR终端对应的拍摄参数，调用第一拍摄装置采集图像数据；

将所述图像数据替换为所述原始图像数据，并调用第一ISP模块进行数据处理，获得处理后数据。

具体来讲，本实施例中的一种数据处理方法对应的程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与一种数据处理方法对应的程序指令被一电子设备读取或被执行时，还包括如下步骤：

在与所述AR系统中的控制终端建立连接之后，接收所述控制终端发送拍摄指令；其中，所述拍摄指令携带目标格式；

确定拍摄参数，并基于所述目标格式和所述拍摄参数，调用第二拍摄装置采集原始图像数据；其中，所述原始图像符合所述目标格式；

将所述原始图像数据发送至所述控制终端，以通过所述控制终端的第一ISP模块完成数据处理。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、AR系统(系统)、和计算机程序产品的实现流程示意图和/或方框图来描述的。应理解可由计算机程序指令实现流程示意图和/或方框图中的每一流程和/或方框、以及实现流程示意图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理AR系统的处理器以产生一个机器，使得通过计算机或其他可编程数据处理AR系统的处理器执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理AR系统以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理AR系统上，使得在计算机或其他可编程AR系统上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程AR系统上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。

Claims (22)

1.一种数据处理方法，其特征在于，所述数据处理方法应用于分体式系统中的控制终端，所述方法包括：

在与所述分体式系统中的分体式设备建立连接之后，向所述分体式设备发送拍摄指令；

接收所述分体式设备发送的原始图像数据；

调用第一拍摄装置采集图像数据；

将所述图像数据替换为所述原始图像数据，并调用第一图像处理器ISP模块进行数据处理，获得处理后数据。

2.根据权利要求1所述的方法，其特征在于，所述拍摄指令携带目标格式；所述原始图像符合所述目标格式；

对应地，所述调用第一拍摄装置采集图像数据，包括：

基于所述目标格式和所述分体式设备对应的拍摄参数，调用第一拍摄装置采集图像数据。

3.根据权利要求1或2所述的方法，其特征在于，所述接收所述分体式设备发送的原始图像数据之前，所述方法还包括：

接收所述分体式设备发送的处理请求；

响应所述处理请求，向所述分体式设备发送处理响应；其中，所述处理响应用于获取所述原始图像数据。

4.根据权利要求1或2所述的方法，其特征在于，所述在与所述分体式系统中的分体式设备建立连接之后，向所述分体式设备发送拍摄指令之后，所述方法还包括：

接收所述分体式设备发送的、所述原始图像数据对应的已处理数据；其中，所述已处理数据为所述分体式设备调用第二ISP模块进行数据处理获得的。

5.根据权利要求1或2所述的方法，其特征在于，调用第一拍摄装置采集图像数据之前，所述方法还包括：

设置所述拍摄参数；

相应地，所述拍摄指令携带所述拍摄参数。

6.根据权利要求1或2所述的方法，其特征在于，调用第一拍摄装置采集图像数据之前，所述方法还包括：

接收所述分体式设备发送的所述拍摄参数。

7.根据权利要求1或2所述的方法，其特征在于，调用第一拍摄装置采集图像数据之后，所述方法还包括：

将所述图像数据存储至第一存储空间。

8.根据权利要求7所述的方法，其特征在于，所述将所述图像数据替换为所述原始图像数据，并调用第一ISP模块进行数据处理，获得处理后数据，包括：

将所述原始图像数据存储至所述第一存储空间，以替换所述图像数据；

控制所述第一ISP模块从所述第一存储空间读取所述原始图像数据；

控制所述第一ISP模块根据所述原始图像数据和所述拍摄参数进行图像处理，获得所述处理后数据。

9.根据权利要求1或2所述的方法，其特征在于，所述将所述图像数据替换为所述原始图像数据，并调用第一ISP模块进行数据处理，获得处理后数据之后，所述方法还包括：

利用所述处理后数据执行所述分体式设备对应的图像数据业务。

10.一种数据处理方法，其特征在于，所述数据处理方法应用于分体式系统中的分体式设备，所述方法包括：

在与所述分体式系统中的控制终端建立连接之后，接收所述控制终端发送拍摄指令；

调用第二拍摄装置采集原始图像数据；

将所述原始图像数据发送至所述控制终端，以通过所述控制终端的第一ISP模块完成数据处理。

11.根据权利要求10所述的方法，其特征在于，所述拍摄指令携带目标格式；所述原始图像符合所述目标格式；

对应地，调用第二拍摄装置采集原始图像数据，包括：

确定拍摄参数，并基于所述目标格式和所述拍摄参数，调用第二拍摄装置采集原始图像数据。

12.根据权利要求10或11所述的方法，其特征在于，所述调用第二拍摄装置采集原始图像数据之后，所述方法还包括：

向所述控制终端发送处理请求；

接收所述控制终端返回的处理响应；其中，所述用于获取所述原始图像数据。

13.根据权利要求10或11所述的方法，其特征在于，所述调用第二拍摄装置采集原始图像数据之后，所述方法还包括：

基于所述原始图像数据，调用第二ISP模块进行数据处理，获得已处理数据；

向所述控制终端发送所述已处理数据。

14.根据权利要求11所述的方法，其特征在于，所述确定拍摄参数，包括：

获取所述拍摄指令携带的所述拍摄参数。

15.根据权利要求11所述的方法，其特征在于，所述确定拍摄参数之后，所述方法还包括：

向所述控制终端发送所述拍摄参数。

16.一种控制终端，其特征在于，所述控制终端包括：第一发送单元，第一接收单元，第一采集单元，替换单元，处理单元，

所述第一发送单元，用于在与所述分体式系统中的分体式设备建立连接之后，向所述分体式设备发送拍摄指令；

所述第一接收单元，用于接收所述分体式设备发送的原始图像数据；

所述第一采集单元，用于调用第一拍摄装置采集图像数据；

所述替换单元，用于将所述图像数据替换为所述原始图像数据；

所述处理单元，用于调用第一ISP模块进行数据处理，获得处理后数据。

17.一种控制终端，其特征在于，所述控制终端包括第一处理器、存储有所述第一处理器可执行指令的第一存储器，当所述指令被所述第一处理器执行时，实现如权利要求1-9任一项所述的方法。

18.一种分体式设备，其特征在于，所述分体式设备包括：第二接收单元，第二采集单元，第二发送单元，

所述第二接收单元，用于在与分体式系统中的控制终端建立连接之后，接收所述控制终端发送拍摄指令；

所述第二采集单元，用于调用第二拍摄装置采集原始图像数据；

所述第二发送单元，用于将所述原始图像数据发送至所述控制终端，以通过所述控制终端的第一ISP模块完成数据处理。

19.一种分体式设备，其特征在于，所述分体式设备包括第二处理器、存储有所述第二处理器可执行指令的第二存储器，当所述指令被所述第二处理器执行时，实现如权利要求10-15任一项所述的方法。

20.一种分体式系统，其特征在于，所述分体式系统包括：控制终端和分体式设备，其中，所述控制终端配置有第一拍摄装置和第一ISP模块，所述分体式设备配置有第二拍摄装置和第二ISP模块，所述控制终端调用所述第一拍摄装置和所述第一ISP模块，实现如权利要求1-9任一项所述的方法，所述分体式设备调用所述第二拍摄装置和所述第二ISP模块，实现如权利要求10-15任一项所述的方法。

21.一种分体式系统，其特征在于，所述分体式系统包括第三处理器、存储有所述第三处理器可执行指令的第三存储器，当所述指令被所述第三处理器执行时，实现如权利要求1-15任一项所述的方法。

22.一种计算机可读存储介质，其上存储有程序，应用于分体式系统中，其特征在于，所述程序被第一处理器执行时，实现如权利要求1-9任一项所述的方法，所述程序被第二处理器执行时，实现如权利要求10-15任一项所述的方法。

Images