CN114708405A - 图像处理方法、装置、系统以及存储介质 - Google Patents

Abstract

本申请实施例提供了一种图像处理方法、装置、系统以及存储介质，方法包括:获取图像，所述图像中包含可移动平台；确定所述可移动平台在三维空间中的空间位姿；根据所述可移动平台的空间位姿确定AR特效；根据所述AR特效对所述图像进行处理，得到目标图像。目标图像中的AR特效与可移动平台的空间位姿相关，AR特效与实景的结合更准确更协调。

Description

图像处理方法、装置、系统以及存储介质

技术领域

本申请涉及增强现实技术领域，尤其涉及一种图像处理方法、装置、系统以及存储介质。

背景技术

增强现实(Augmented Reality，简称AR)，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，这种技术的目标是在屏幕上把虚拟世界加载在现实世界并进行互动。但通常仅是简单地将图像叠加在现实世界中，还不能较为全面的将虚拟和现实相结合。例如在直播或教学领域，还不能直观的展示技术原理，学习者也难以理解相关的知识内容。

发明内容

基于此，本申请提供了一种图像处理方法、装置、系统以及存储介质，可以实现AR特效与可移动平台实景的结合。

第一方面，本申请实施例提供了一种图像处理方法，包括：

获取图像，所述图像中包含可移动平台；

确定所述可移动平台在三维空间中的空间位姿；

根据所述可移动平台的空间位姿确定AR特效；

根据所述AR特效对所述图像进行处理，得到目标图像。

第二方面，本申请实施例提供了一种图像处理系统，包括：

可移动平台，能够在三维空间中移动而具有不同的空间位姿；

拍摄装置，能够拍摄所述可移动平台，并将拍摄的图像传输给图像处理装置；

图像处理装置，能够获取所述图像和所述可移动平台的空间位姿，根据所述可移动平台的空间位姿确定AR特效，以及根据所述AR特效对所述图像进行处理，得到目标图像。

第三方面，本申请实施例提供了一种图像处理装置，包括一个或多个处理器，单独地或共同地工作，用于执行前述的图像处理方法的步骤。

第四方面，本申请实施例提供了一种终端设备，包括：

拍摄装置；以及

前述的图像处理装置，所述图像处理装置与所述拍摄装置连接。

第五方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现上述方法的步骤。

本申请实施例提供了一种图像处理方法、装置、系统以及存储介质，通过根据可移动平台在三维空间中的空间位姿确定AR特效，以及根据所述AR特效对包含该可移动平台的图像进行处理，得到目标图像；目标图像中的AR特效与可移动平台的空间位姿相关，AR特效与实景的结合更准确更协调。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请实施例的公开内容。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种图像处理方法的流程示意图；

图2是一实施方式中图像处理系统的示意图；

图3是一实施方式中可移动平台上的可见标记的示意图；

图4至图9是不同实施方式中目标图像的示意图；

图10是本申请实施例提供的一种图像处理装置的示意性框图；

图11是本申请实施例提供的一种终端设备的示意性框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参阅图1，图1是本申请实施例提供的一种图像处理方法的流程示意图。所述图像处理方法可以应用在图像处理系统中，用于根据可移动平台在三维空间中的空间位姿确定AR特效，以及根据确定的AR特效对图像进行处理等过程。

在一些实施方式中，所述图像处理方法可以应用于机器人辅助智能教学/科普系统。

本申请的发明人发现，目前在一些技术性课题的教学尤其是机器人教学中，原理展示不直观，学习者难以理解知识内容的问题。该问题为该领域长期存在的问题，市面上通常为了展示知识原理，需要较高成本出版本制作相关的视频来额外进行说明，制作的视频往往无法与实际的教具和结构相互联系，理论知识与实际实践往往产生脱离。例如，通过简单的单一面的识别和画面叠加辅助教学，仅通过对书本上画面或图像的识别，在设备画面中展示对应的画面，将画面叠加在原有的图像上；在该方案下，原画面仅仅是“一段动画”播放的“开关”，无法实现深入教学。或者通过其他媒体方式进行机器人教学及数据说明，通过传统的媒体方式，如视频、音频、画面等对教学内容进行辅助说明，该方法的辅助说明与学习者实践操作相剥离，在实践过程中学习者无法看到教学辅助内容，教学效果较差。也有一些方案只考虑画面和贴图的单次叠加显示，和用户之间缺乏交互，与教学内容的关联性不高，且用户只能观看教学内容，无法进行互动；难以即时与实践操作相结合，通过较为整体的AR呈现或视频呈现来进行教学辅助，对于学习者而言，教学内容难以分解，无法按照学习者的需求进行调整。

为了解决上述技术问题中的至少一种，本申请的发明人对图像处理方法进行了改进，以至少实现AR特效与可移动平台实景的结合。

请参阅图2，在一些实施方式中，图像处理系统包括可移动平台10、拍摄装置20和图像处理装置30，其中拍摄装置20可以与图像处理装置30可以分别单独设置，或者也可以一体式设置。例如拍摄装置20与图像处理装置30可以是同一终端设备上的拍摄装置与图像处理装置，或者可以为不同终端设备上的拍摄装置与图像处理装置。当拍摄装置20与图像处理装置30为不同终端设备上的拍摄装置与图像处理装置时，所述不同终端设备通信连接，用于传输拍摄装置20拍摄的图像等数据。拍摄装置20能够拍摄可移动平台10得到所述图像。

示例性的，可移动平台能够在三维空间中移动而具有不同的空间位姿。可移动平台可以包括无人飞行器、云台、云台车、机器人等中的至少一种。进一步而言，飞行器可以为旋翼型无人机，例如四旋翼无人机、六旋翼无人机、八旋翼无人机，也可以是固定翼无人机。终端设备可以包括手机、平板电脑、笔记本电脑、台式电脑、个人数字助理、穿戴式设备、相机、摄影机等中的至少一项。

示例性的，图像处理方法可以由一个终端设备执行，或者也可以由多个终端设备执行，或者其中至少部分步骤也可以有服务器执行。

如图1所示，本申请实施例的图像处理方法包括步骤S110至步骤S140。

S110、获取图像，所述图像中包含可移动平台。

需要说明的是，图像中包含可移动平台的至少一个方向上的图像，如包括可移动平台的左视图、右视图、前视图、后视图、仰视图、俯视图，或者包括可移动平台的立体图，如可移动平台左侧、前侧和上侧的图像，当然也不限于此。举例而言，所述图像中包含可移动平台的全部，或者包含可移动平台的部分机体。

S120、确定所述可移动平台在三维空间中的空间位姿。

其中，所述可移动平台在三维空间中的空间位姿，包括位置和/或朝向。

在一些实施方式中，所述三维空间为所述图像对应的三维空间，或者可以称为拍摄装置的相机坐标系下的三维空间。

在一些实施方式中，所述可移动平台在三维空间中的空间位姿，是根据所述图像确定的。

举例而言，可以将所述图像输入训练过的机器学习模型，得到机器学习模型得到的可移动平台在三维空间中的空间位姿。可选的，所述机器学习模型包括神经网络模型，当然也不限于此。

示例性的，所述可移动平台在三维空间中的空间位姿，是根据所述图像中的目标对象确定的，所述目标对象包括所述可移动平台上的可见标记和/或所述可移动平台的预设部位。

举例而言，可以根据所述图像中包含的可移动平台的预设部位，如无人车的车轮、车头、车尾、无人车上搭载的发射装置、摄像头、天线等确定可移动平台在三维空间中的空间位姿。

举例而言，所述可移动平台的表面上设有可见标记，可以根据图像中的可见标记确定可移动平台在三维空间中的空间位姿。

可选的，所述可移动平台的空间位姿，是根据所述目标对象的位置、大小、角度中的至少一种确定的。举例而言，所述可见标记可以称为marker，如图3所示；可以根据图像中可见标记的旋转角度确定可移动平台在三维空间中的空间位姿。或者可以在可移动平台的不同位置设置不同的可见标记，以便根据图像中包含的可见标记确定可移动平台在三维空间中的空间位姿。

在另一些实施方式中，可以从可移动平台获取所述可移动平台在所述可移动平台的坐标系下的位姿，根据所述拍摄装置的可移动平台的相机坐标系与所述可移动平台的坐标系之间的关系，以及所述可移动平台在所述可移动平台的坐标系下的位姿，确定所述可移动平台在拍摄装置的相机坐标系下的位姿，即所述可移动平台在三维空间中的空间位姿。

S130、根据所述可移动平台的空间位姿确定AR特效。

在一些实施方式中，根据预设的AR特效与空间位姿的对应关系，确定步骤S120确定的空间位姿对应的AR特效。示例性的，所述AR特效的位姿与所述可移动平台的空间位姿相关。举例而言，请参阅图4，在图像处理方法得到的目标图像中，AR特效AR1向可移动平台的前方延伸。

在一些实施方式中，可以根据所述可移动平台的空间位姿确定所述AR特效在所述三维空间中的目标位姿。所述目标位姿用于指示所述AR特效在目标图像中的姿态。

示例性的，所述AR特效在所述三维空间中的目标位姿，是根据所述可移动平台的空间位姿,以及所述图像中的目标对象指示的目标位姿与空间位姿之间的位姿关系确定的。

举例而言，根据所述位姿关系与目标对象的对应关系，确定所述图像中的目标对象对应的位姿关系；以及根据确定的位姿关系和所述可移动平台的空间位姿，确定AR特效的目标位姿。

可选地，所述位姿关系，是根据所述目标对象的类型、特征、所述目标对象包含的信息中的至少一种确定的。举例而言，所述目标对象包括二维码，可以通过对二维码进行解码，得到所述目标位姿与空间位姿之间的位姿关系，或者得到所述位姿关系的标识，如ID。举例而言，可以根据目标对象的颜色、纹理等特征得到所述位姿关系的标识。

在一些实施方式中，有多种待选的AR特效，例如用于不同的演示场景。请参阅图4，如所述AR特效包括以下至少一种：用于指示可移动平台整体或不同部件，如传感器的功能的特效、用于指示可移动平台与其他体之间的相对关系，如位置关系、运动关系、受力关系、飞行时间等的特效。当然所述AR特效也可以不用于指示可移动平台的功能或与其他物体之间的相对关系，请参阅图5，可以将可移动平台作为讲解者的角色，讲解AR特效的场景，如讲解AR特效涉及的知识点，如图5所示，在图像处理方法得到的目标图像中，AR特效AR2用于指示树木的生长。

示例性的，所述AR特效，是根据所述图像中的目标对象确定的，所述目标对象包括所述可移动平台上的可见标记和/或所述可移动平台的预设部位。

可选的，可以根据预设的AR特效与目标对象的对应关系，确定所述目标对象对应的AR特效。举例而言，可以根据预设的AR特效与目标对象的对应关系，确定所述目标对象对应的AR特效。

示例性的，所述AR特效，是根据所述目标对象的类型、特征、所述目标对象包含的信息中的至少一种确定的。

示例性的，所述AR特效，是根据所述目标对象的类型、特征、所述目标对象包含的信息中的至少一种确定的。

示例性的，提供多个设有不同可见标记的卡片，如纸质卡片。用户可以根据演示需求将其中一个或多个卡片设置在可移动平台上。由此可以根据图像中的可见标记确定要使用的AR特效，可以称为目标AR特效。通过卡片的方式可以方便扩展演示的场景，且降低成本。可选的，可以预先指定不同卡片在可移动平台上的位置。

示例性的，可移动平台的不同部位均设有传感器，可以根据图像中包括的可移动平台的部位，确定用于提示所述部位的传感器的功能的AR特效。请参阅图6，在图像处理方法得到的目标图像中，AR特效AR3用于指示可移动平台的飞行时间(Time of flight，ToF)传感器的工作原理。

在本申请实施例中，所述AR特效包括但不限于为2D特效或者3D特效。举例而言，所述AR特效包括以下至少一种：文字、图片、视频，当然也不限于此。可选的，所述AR特效可以是静态的AR特效，也可以是动态的AR特效。

在一些实施方式中，可以根据所述图像中的目标对象确定AR特效的种类，以及根据所述可移动平台的空间位姿确定所述AR特效在所述三维空间中的目标位姿。

S140、根据所述AR特效对所述图像进行处理，得到目标图像。

示例性的，对所述AR特效进行渲染，通过图像处理装置对图像指示的现实环境的实时感知和计算，将所述AR特效叠加在现实世界中。

举例而言，基于渲染技术(Universal 3D，简称U3D)将所述AR特效叠加在所述图像对应的三维空间中，得到目标图像。U3D是一个通用3D图形格式标准,这种标准将使3D更容易结合到网络浏览器、手机浏览器等其它应用程序中，使3D图像能够更广泛地普及，从而促进对更快的处理器和图形芯片的需求。U3D就是让3D文件能够像JPEG(Joint PhotographicExperts Group，联合图像专家组)文件一样流行和易于使用。

可以理解的，所述AR特效是根据所述可移动平台的空间位姿确定的，所述目标图像可以准确的反映三维空间中的AR特效与可移动平台的立体结构关系，图像效果更自然。

需要说明的是，所述目标图像可以是3D图形格式的图像，也可以是2D图形格式的图像。

在一些实施方式中，步骤S140根据所述AR特效对所述图像进行处理，得到目标图像，包括：将所述AR特效叠加在所述图像对应的三维空间中；对所述三维空间进行投影变换，得到所述目标图像。

示例性的，将根据所述图像中的目标对象确定的AR特效，以根据所述可移动平台的空间位姿确定的目标位姿叠加在所述图像对应的三维空间中。

举例而言，在对所述三维空间进行投影变换时，根据所述图像对应的相机参数对所述三维空间进行投影变换。

3D到2D的变换，可以通过获取相机参数后再经过一系列投影变换计算，最终将3D信息变成2D信息。所述相机参数包括以下至少一种：相机内参、相机外参、畸变参数，这些参数可以通过对相机进行标定和校正得到。可选的，在直播场景下，相机是变焦的，可以进行在线的实时标定，或者是通过云台等设备获取拍摄装置当前的角度和参数。

在一些实施方式中，拍摄装置与显示设备连接，显示设备可以实时显示图像处理装置得到的目标图像。拍摄人员可以根据所述目标图像，调整拍摄装置的位置、朝向，和/或调整可移动平台的位姿，或者控制可移动平台调整位姿。以使得目标图像中可移动平台和AR特效可以以更好的角度或位置关系进行展示。

在一些实施方式中，终端设备可以将图像处理装置得到的目标图像发送至服务器，服务器可以将所述目标图像分发给目标终端，目标终端播放所述目标图像。举例而言，所述目标终端为观看直播或回放的用户的终端设备。

示例性的，本申请实施例可以实现机器人辅助智能教学/科普系统，适用于教育教学/科普领域。通过AR图像增强显示和图形识别，在空间中绘制或显示图形，在立体空间中实现教学交互，加深知识理解。能立体化、精准地在不同教学阶段在可移动平台的不同相对位置显示所需的AR特效，AR特效与实际的可移动平台教具和结构相互联系，理论知识与实际实践相结合，实现深入教学。可选的，通过对可移动平台教学的各个阶段和知识点的切分，根据用户对可移动平台教具的操作，显示不同的教学内容，实现了实践与教学解释说明的较好结合，并和用户产生多种互动，加深学习者对知识点的理解。

在一些实施方式中，所述图像中还包括第一目标物体，所述AR特效是根据所述可移动平台的空间位姿，以及所述可移动平台与所述第一目标物体之间的相对关系确定的。需要说明的是，第一目标物体为可移动平台所处场景中的实际物体。

示例性的，请参阅图7，拍摄装置拍摄的图像中包括可移动平台10和第一目标物体40，可以根据可移动平台10和第一目标物体40之间的相对关系确定所述AR特效。

示例性的，所述可移动平台与所述第一目标物体之间的相对关系，包括以下至少一种：所述第一目标物体与所述可移动平台之间的位置关系、运动关系、受力关系、飞行时间；可选的，位置关系包括距离和/或方位，运动关系包括相对速度和/或碰撞事件，受力关系包括推力和/或拉力。

示例性的，所述可移动平台与所述第一目标物体之间的相对关系，是通过所述可移动平台搭载的传感器确定的，和/或是通过所述图像确定的。举例而言，如图7所示，在图像处理方法得到的目标图像中，AR特效AR4用于指示飞行时间传感器检测可移动平台10与第一目标物体40之间的飞行时间的工作原理。

在一些实施方式中，可以根据所述图像中的目标对象确定AR特效的种类，根据所述可移动平台的空间位姿确定所述AR特效在所述三维空间中的目标位姿，以及根据所述可移动平台与所述第一目标物体之间的相对关系对所述AR特效进行调整，如确定所述AR特效的分布范围等，当然也不限于此。如图7所示，当第一目标物体40远离可移动平台10时，可移动平台10与第一目标物体40之间的AR特效AR4的长度变长，当第一目标物体40靠近可移动平台10时，可移动平台10与第一目标物体40之间的AR特效AR4的长度变短。因此用户可以通过目标图像体验到更真实的可移动平台10和第一目标物体40之间的作用关系。

可选的，所述可移动平台的空间位姿还可以跟随所述第一目标物体的位姿的变化进行调整。示例性的，可移动平台通过传感器(如相机、雷达等)确定第一目标物体的位姿，根据第一目标物体的位姿调整自身的空间位姿，例如可以调整可移动平台的朝向，使得可移动平台的预设部位保持朝向第一目标物体。举例而言，第一目标物体包括用户手持的物体或者包括用户身体的部位，通过调整可移动平台的空间位姿跟随第一目标物体的位姿变化，可以消除第一目标物体的抖动引起的AR特效突变等现象，例如可以防止第一目标物体移动至可移动平台的传感器检测不到的位置时AR特效的分布范围产生突变，由此可以使得目标图像中的AR特效更稳定。

在一些实施方式中，在根据所述AR特效对所述图像进行处理时，根据所述AR特效对所述图像以及所述AR特效的描述信息进行处理。可以理解的，所述目标图像还可以包括AR特效的描述信息，例如可以对教学场景中的知识点进行描述。

示例性的，所述AR特效的描述信息在目标图像中的位置可以根据所述AR特效的目标位姿确定，例如使得所述描述信息不会对AR特效产生遮挡。或者所述AR特效的描述信息在目标图像中的位置可以根据用户操作确定。

示例性的，所述AR特效的描述信息可以包括：根据所述图像中的目标对象的类型、特征、所述目标对象包含的信息中的至少一种确定的描述信息。举例而言，举例而言，所述目标对象包括二维码，可以通过对二维码进行解码，得到所述AR特效的描述信息。举例而言，可以在根据所述图像中的目标对象确定所述AR特效时，确定所述AR特效的描述信息。

示例性的，所述AR特效的描述信息可以包括：用于指示所述可移动平台与第一目标物体之间相对关系的描述信息。举例而言，请参阅图8，在图像处理方法得到的目标图像中，AR特效AR4用于指示飞行时间传感器检测可移动平台10与第一目标物体40之间的飞行时间和距离的工作原理，AR特效AR4的描述信息AR4’用于指示飞行时间传感器检测所述飞行时间Δt和距离d的计算过程。可选的，所述AR特效的描述信息可以是分阶段叠加到所述图像上的，例如在AR特效AR4展示光线从可移动平台的飞行时间传感器发出时，描述信息指示当前时间为t0；在AR特效AR4展示光线到达第一目标物体时，描述信息可以指示光线由第一目标物体向可移动平台反射；在AR特效AR4展示光线反射至可移动平台时，描述信息可以指示当前时间为t1，以及指示所述飞行时间Δt和距离d的计算过程。

在一些实施方式中，所述图像处理方法还包括：根据所述图像确定第二目标物体的移动轨迹；以及根据所述AR特效对所述图像进行处理时，根据所述AR特效和所述移动轨迹对所述图像进行处理。可以通过第二目标物体与可移动平台和对应的AR特效进行互动。例如在目标图像上用第二目标物体拖动可移动平台上展示的AR特效的位置、切换AR特效的描述信息的详略、选中AR特效的描述信息中的某些参数进行强调等等。

示例性的，所述第二目标物体为用于由用户手持的教学笔，或者用于切换演示文档(PPT)页面的遥控器，或者为用于由用户手持的电子教鞭等，当然也不限于此。示例性的，所述第二目标物体上设有发光装置，如在第二目标物体的端部设有发光装置，可以对图像进行光电轨迹识别，得到所述第二目标物体的移动轨迹。举例而言，提取图像中光点，通过消噪处理后判断光点位置，根据光点位置信息，对同一移动光点在图像的每一帧进行定位，根据光点位置坐标及光点信息生成所述目标图像中的光点轨迹，作为第二目标物体的移动轨迹。

示例性的，可以根据第二目标物体的移动轨迹在所述目标图像上叠加标记，如标记重点信息等，如图9所示，在图像处理方法得到的目标图像中，S1为根据第二目标物体的移动轨迹在所述目标图像上叠加的标记，用于说明可移动平台的飞行时间传感器发射的光线到达第一目标物体的时间。当然也不限于此。

示例性的，可以根据所述第二目标物体的移动轨迹，调整所述AR特效的目标位姿，和/或调整所述AR特效的描述信息。举例而言，可以调整所述描述信息在目标图像上的位置，或者调整描述信息的内容。

本申请实施例的图像处理方法，通过根据所述可移动平台在三维空间中的空间位姿确定AR特效，以及根据所述AR特效对包含该可移动平台的图像进行处理，得到目标图像；目标图像中的AR特效与可移动平台的空间位姿相关，AR特效与实景的结合更准确更协调。

在一些实施方式中，本申请实施例的方法，提供立体空间中和可移动平台、第一目标物体、第二目标物体强相关的AR特效显示，AR特效演示的内容更丰富、与实际场景深度结合，便于学习者加深理解。示例性的，通过AR技术，实现了教学解释说明内容的3D化图像化，并与实际教学场景及可移动平台、第一目标物体、第二目标物体在同一画面中进行显示，协助学习者进行调试。

在一些实施方式中，本申请实施例提供的图像处理方法对设备的要求较低，例如使用带有摄像头的移动设备终端，如手机即可进行拍摄和生成所述目标图像，也不需要较大的设备安装场地。示例性的，基于图像识别及marker识别，与相机图像定位技术融合，对物体的位置获取精度高，使用成本较低的带有摄像头的移动终端即能实现对画面中可移动平台及教具等第二目标物体的定位。

示例性的，可以在图像上叠加AR特效的描述信息，例如细致丰富的教学辅助内容，以与学习者有互动，增加趣味性。

请结合前述实施例参阅图2，图2是本申请实施例提供的一种图像处理系统的示意图。其中拍摄装置20可以与图像处理装置30可以分别单独设置，或者也可以一体式设置。例如拍摄装置20与图像处理装置30可以是同一终端设备上的拍摄装置与图像处理装置，或者可以为不同终端设备上的拍摄装置与图像处理装置。当拍摄装置20与图像处理装置30为不同终端设备上的拍摄装置与图像处理装置时，所述不同终端设备通信连接，用于传输拍摄装置20拍摄的图像等数据。拍摄装置20能够拍摄可移动平台10得到所述图像。

本申请实施例提供的图像处理系统的具体原理和实现方式均与前述实施例的图像处理方法类似，此处不再赘述。

请结合前述实施例参阅图10，图10是本申请实施例提供的一种图像处理装置30的示意性框图。图像处理装置30包括一个或多个处理器31，一个或多个处理器31单独地或共同地工作，用于执行前述实施例述的图像处理方法的步骤。

示例性的，图像处理装置30还包括存储器32。

示例性的，处理器31和存储器32通过总线33连接，该总线33比如为I2C(Inter-integrated Circuit)总线。

具体地，处理器31可以是微控制单元(Micro-controller Unit，MCU)、中央处理单元(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等。

具体地，存储器32可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。

其中，所述处理器31用于运行存储在存储器32中的计算机程序，并在执行所述计算机程序时实现前述图像处理方法的步骤。

示例性的，所述处理器31用于运行存储在存储器32中的计算机程序，并在执行所述计算机程序时实现如下步骤：

获取图像，所述图像中包含可移动平台；

确定所述可移动平台在三维空间中的空间位姿；

根据所述可移动平台的空间位姿确定AR特效；

根据所述AR特效对所述图像进行处理，得到目标图像。

本申请实施例提供的图像处理装置30的具体原理和实现方式均与前述实施例的图像处理方法类似，此处不再赘述。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时使处理器实现上述实施例提供的图像处理方法的步骤。

其中，计算机可读存储介质可以是前述任一实施例的图像处理装置的内部存储单元，例如图像处理装置的硬盘或内存。计算机可读存储介质也可以是图像处理装置的外部存储设备，例如图像处理装置上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。

请结合前述实施例参阅图11，图11是本申请实施例提供的终端设备300的示意性框图。终端设备300包括拍摄装置20以及前述图像处理装置30，图像处理装置30与拍摄装置20连接。具体的，拍摄装置20与图像处理装置30可以一体式设置，或者可拆卸连接。示例性的，拍摄装置20通过图像处理装置30的总线33与图像处理装置30的处理器31和存储器32连接。

本申请实施例提供的终端设备的具体原理和实现方式均与前述实施例的图像处理方法类似，此处不再赘述。

应当理解，在此本申请中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。

还应当理解，在本申请和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (43)

1.一种图像处理方法，其特征在于，包括：

获取图像，所述图像中包含可移动平台；

确定所述可移动平台在三维空间中的空间位姿；

根据所述可移动平台的空间位姿确定AR特效；

根据所述AR特效对所述图像进行处理，得到目标图像。

2.根据权利要求1所述的图像处理方法，其特征在于，根据所述可移动平台的空间位姿确定AR特效时，根据所述可移动平台的空间位姿确定所述AR特效在所述三维空间中的目标位姿。

3.根据权利要求2所述的图像处理方法，其特征在于，所述AR特效在所述三维空间中的目标位姿，是根据所述可移动平台的空间位姿,以及所述图像中的目标对象指示的目标位姿与空间位姿之间的位姿关系确定的。

4.根据权利要求3所述的图像处理方法，其特征在于，所述位姿关系，是根据所述目标对象的类型、特征、所述目标对象包含的信息中的至少一种确定的。

5.根据权利要求2所述的图像处理方法，其特征在于，所述根据所述AR特效对所述图像进行处理，得到目标图像，包括：

将所述AR特效以所述目标位姿叠加在所述图像对应的三维空间中；

对所述三维空间进行投影变换，得到所述目标图像。

6.根据权利要求5所述的图像处理方法，其特征在于，对所述三维空间进行投影变换时，根据所述图像对应的相机参数对所述三维空间进行投影变换。

7.根据权利要求1-6中任一项所述的图像处理方法，其特征在于，所述图像中还包括第一目标物体，所述AR特效是根据所述可移动平台的空间位姿，以及所述可移动平台与所述第一目标物体之间的相对关系确定的。

8.根据权利要求7所述的图像处理方法，其特征在于，所述可移动平台与所述第一目标物体之间的相对关系，包括以下至少一种：

所述第一目标物体与所述可移动平台之间的位置关系、运动关系、受力关系、飞行时间。

9.根据权利要求7所述的图像处理方法，其特征在于，所述可移动平台与所述第一目标物体之间的相对关系，是通过所述可移动平台搭载的传感器确定的，和/或是通过所述图像确定的。

10.根据权利要求7所述的图像处理方法，其特征在于，所述可移动平台的空间位姿跟随所述第一目标物体的位姿的变化进行调整。

11.根据权利要求1-6中任一项所述的图像处理方法，其特征在于，所述可移动平台在三维空间中的空间位姿，是根据所述图像确定的。

12.根据权利要求11所述的图像处理方法，其特征在于，所述可移动平台在三维空间中的空间位姿，是根据所述图像中的目标对象确定的，所述目标对象包括所述可移动平台上的可见标记和/或所述可移动平台的预设部位。

13.根据权利要求12所述的图像处理方法，其特征在于，所述可移动平台的空间位姿，是根据所述目标对象的位置、大小、角度中的至少一种确定的。

14.根据权利要求1-6中任一项所述的图像处理方法，其特征在于，所述AR特效，是根据所述图像中的目标对象确定的，所述目标对象包括所述可移动平台上的可见标记和/或所述可移动平台的预设部位。

15.根据权利要求14所述的图像处理方法，其特征在于，所述AR特效，是根据所述目标对象的类型、特征、所述目标对象包含的信息中的至少一种确定的。

16.根据权利要求1-6中任一项所述的图像处理方法，其特征在于，根据所述AR特效对所述图像进行处理时，根据所述AR特效对所述图像以及所述AR特效的描述信息进行处理。

17.根据权利要求16所述的图像处理方法，其特征在于，所述AR特效的描述信息，包括：根据所述图像中的目标对象的类型、特征、所述目标对象包含的信息中的至少一种确定的描述信息。

18.根据权利要求16所述的图像处理方法，其特征在于，所述AR特效的描述信息，包括：

用于指示所述可移动平台与第一目标物体之间相对关系的描述信息。

19.根据权利要求1-6中任一项所述的图像处理方法，其特征在于，所述方法还包括：

根据所述图像确定第二目标物体的移动轨迹；以及

根据所述AR特效对所述图像进行处理时，根据所述AR特效和所述移动轨迹对所述图像进行处理。

20.根据权利要求19所述的图像处理方法，其特征在于，根据所述AR特效和所述移动轨迹对所述图像进行处理时，根据所述第二目标物体的移动轨迹，调整所述AR特效的目标位姿，和/或调整所述AR特效的描述信息。

21.一种图像处理系统，其特征在于，包括：

可移动平台，能够在三维空间中移动而具有不同的空间位姿；

拍摄装置，能够拍摄所述可移动平台，并将拍摄的图像传输给图像处理装置；

图像处理装置，能够获取所述图像和所述可移动平台的空间位姿，根据所述可移动平台的空间位姿确定AR特效，以及根据所述AR特效对所述图像进行处理，得到目标图像。

22.根据权利要求21所述的图像处理系统，其特征在于，所述图像处理装置根据所述可移动平台的空间位姿确定AR特效时，根据所述可移动平台的空间位姿确定所述AR特效在所述三维空间中的目标位姿。

23.根据权利要求22所述的图像处理系统，其特征在于，所述AR特效在所述三维空间中的目标位姿，是根据所述可移动平台的空间位姿,以及所述图像中的目标对象指示的目标位姿与空间位姿之间的位姿关系确定的。

24.根据权利要求23所述的图像处理系统，其特征在于，所述位姿关系，是根据所述目标对象的类型、特征、所述目标对象包含的信息中的至少一种确定的。

25.根据权利要求22所述的图像处理系统，其特征在于，所述图像处理装置根据所述AR特效对所述图像进行处理，得到目标图像时，

将所述AR特效以所述目标位姿叠加在所述图像对应的三维空间中；以及

对所述三维空间进行投影变换，得到所述目标图像。

26.根据权利要求25所述的图像处理系统，其特征在于，所述图像处理装置对所述三维空间进行投影变换时，根据所述图像对应的相机参数对所述三维空间进行投影变换。

27.根据权利要求21-26中任一项所述的图像处理系统，其特征在于，所述图像中还包括第一目标物体，所述AR特效是根据所述可移动平台的空间位姿，以及所述可移动平台与所述第一目标物体之间的相对关系确定的。

28.根据权利要求27所述的图像处理系统，其特征在于，所述可移动平台与所述第一目标物体之间的相对关系，包括以下至少一种：

所述第一目标物体与所述可移动平台之间的位置关系、运动关系、受力关系、飞行时间。

29.根据权利要求27所述的图像处理系统，其特征在于，所述可移动平台与所述第一目标物体之间的相对关系，是通过所述可移动平台搭载的传感器确定的，和/或是通过所述图像确定的。

30.根据权利要求27所述的图像处理系统，其特征在于，所述可移动平台的空间位姿跟随所述第一目标物体的位姿的变化进行调整。

31.根据权利要求21-26中任一项所述的图像处理系统，其特征在于，所述可移动平台在三维空间中的空间位姿，是根据所述图像确定的。

32.根据权利要求31所述的图像处理系统，其特征在于，所述可移动平台在三维空间中的空间位姿，是根据所述图像中的目标对象确定的，所述目标对象包括所述可移动平台上的可见标记和/或所述可移动平台的预设部位。

33.根据权利要求32所述的图像处理系统，其特征在于，所述可移动平台的空间位姿，是根据所述目标对象的位置、大小、角度中的至少一种确定的。

34.根据权利要求21-26中任一项所述的图像处理系统，其特征在于，所述AR特效，是根据所述图像中的目标对象确定的，所述目标对象包括所述可移动平台上的可见标记和/或所述可移动平台的预设部位。

35.根据权利要求34所述的图像处理系统，其特征在于，所述AR特效，是根据所述目标对象的类型、特征、所述目标对象包含的信息中的至少一种确定的。

36.根据权利要求21-26中任一项所述的图像处理系统，其特征在于，所述图像处理装置根据所述AR特效对所述图像进行处理时，根据所述AR特效对所述图像以及所述AR特效的描述信息进行处理。

37.根据权利要求36所述的图像处理系统，其特征在于，所述AR特效的描述信息，包括：根据所述图像中的目标对象的类型、特征、所述目标对象包含的信息中的至少一种确定的描述信息。

38.根据权利要求36所述的图像处理系统，其特征在于，所述AR特效的描述信息，包括：

用于指示所述可移动平台与第一目标物体之间相对关系的描述信息。

39.根据权利要求21-26中任一项所述的图像处理系统，其特征在于，所述图像处理装置还用于：

根据所述图像确定第二目标物体的移动轨迹；以及

根据所述AR特效对所述图像进行处理时，根据所述AR特效和所述移动轨迹对所述图像进行处理。

40.根据权利要求39所述的图像处理系统，其特征在于，所述图像处理装置根据所述AR特效和所述移动轨迹对所述图像进行处理时，根据所述第二目标物体的移动轨迹，调整所述AR特效的目标位姿，和/或调整所述AR特效的描述信息。

41.一种图像处理装置，其特征在于，包括一个或多个处理器，单独地或共同地工作，用于执行如权利要求1-20中任一项所述的图像处理方法的步骤。

42.一种终端设备，其特征在于，包括：

拍摄装置；以及

如权利要求41所述的图像处理装置，所述图像处理装置与所述拍摄装置连接。

43.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1-20中任一项所述的图像处理方法的步骤。

Images