CN112640420B - 电子装置的控制方法、装置、设备及系统 - Google Patents

电子装置的控制方法、装置、设备及系统 Download PDF

Info

Publication number
CN112640420B
CN112640420B CN202080004225.8A CN202080004225A CN112640420B CN 112640420 B CN112640420 B CN 112640420B CN 202080004225 A CN202080004225 A CN 202080004225A CN 112640420 B CN112640420 B CN 112640420B
Authority
CN
China
Prior art keywords
image acquisition
acquisition device
image
target
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080004225.8A
Other languages
English (en)
Other versions
CN112640420A (zh
Inventor
封旭阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN112640420A publication Critical patent/CN112640420A/zh
Application granted granted Critical
Publication of CN112640420B publication Critical patent/CN112640420B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Abstract

一种电子装置的控制方法、装置、设备及系统，该方法包括：根据第一图像获取装置和第二图像获取装置当前采集到的图像，确定第一图像获取装置的目标构图区域；根据目标构图区域，得到云台的控制参数；基于云台的控制参数，控制云台的动作，以控制云台改变第一图像获取装置的视野范围，以便第一图像获取装置的视野范围能够匹配目标构图区域。本申请能够提升视场角较小的第一图像获取装置的拍摄效果。

Description

电子装置的控制方法、装置、设备及系统
技术领域
本申请涉及计算机技术领域，尤其涉及一种电子装置的控制方法、装置、设备及系统。
背景技术
近年来，随着成像技术的不断发展，人们对拍摄效果的要求也越来越高。
通常，图像获取装置的视场角(Field of View，FOV)一般都较小，即图像获取装置的视角较窄，其中，视场角包括水平视场角和垂直视场角。对于一定的拍摄内容，同一时刻图像获取装置所能成像的范围非常有限，受拍摄者拍摄水平的影响，基于图像获取装置拍摄得到的图像或视频的效果参差不齐。
因此，如何提升视场角较小的图像获取装置的拍摄效果，成为目前亟待解决的技术问题。
发明内容
本申请实施例提供一种电子装置的控制方法、装置、设备及系统，用以解决现有技术中如何提升视场角较小的图像获取装置的拍摄效果的技术问题。
第一方面，本申请实施例提供一种电子装置的控制方法，所述电子装置包括图像获取装置和与所述图像获取装置耦合连接控制所述图像获取装置改变视野范围的云台，所述图像获取装置包括视场角不同的第一图像获取装置和第二图像获取装置；所述方法包括：
根据所述第一图像获取装置和所述第二图像获取装置当前采集到的图像，确定所述第一图像获取装置的目标构图区域；
根据所述目标构图区域，得到所述云台的控制参数；
基于所述云台的控制参数，控制所述云台的动作，以控制所述云台改变所述第一图像获取装置的视野范围，以便所述第一图像获取装置的视野范围能够匹配所述目标构图区域。
第二方面，本申请实施例提供一种电子装置的控制装置，所述电子装置包括图像获取装置和与所述图像获取装置耦合连接控制所述图像获取装置改变视野范围的云台，所述图像获取装置包括视场角不同的第一图像获取装置和第二图像获取装置；所述控制装置包括存储器和处理器；
所述存储器，用于存储程序代码；
所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：
根据所述第一图像获取装置和所述第二图像获取装置当前采集到的图像，确定所述第一图像获取装置的目标构图区域；
根据所述目标构图区域，得到所述云台的控制参数；
基于所述云台的控制参数，控制所述云台改变所述第一图像获取装置的视野范围，以便所述第一图像获取装置的视野范围能够匹配所述目标构图区域。
第三方面，本申请实施例提供一种控制系统，包括：电子装置和用于控制所述电子装置的控制装置；所述电子装置包括图像获取装置和云台；
所述图像获取装置用于采集图像，所述图像获取装置包括视场角不同的第一图像获取装置和第二图像获取装置；
所述控制装置与所述图像获取装置和所述云台连接，用于根据所述第一图像获取装置和所述第二图像获取装置当前采集到的图像，确定所述第一图像获取装置的目标构图区域；根据所述目标构图区域，得到所述云台的控制参数；以及，基于所述云台的控制参数，控制所述云台的动作；
所述云台与所述图像获取装置耦合连接，用于根据所述控制装置的控制，改变所述第一图像获取装置的视野范围，以便所述第一图像获取装置的视野范围能够匹配所述目标构图区域。
第四方面，本申请实施例提供一种控制系统，包括：无人飞行器和用于控制所述无人飞行器的控制设备；所述无人飞行器包括图像获取装置和云台；
所述图像获取装置用于采集图像，所述图像获取装置包括视场角不同的第一图像获取装置和第二图像获取装置；
所述控制设备与所述图像获取装置和所述云台连接，用于根据所述第一图像获取装置和所述第二图像获取装置当前采集到的图像，确定所述第一图像获取装置的目标构图区域；根据所述目标构图区域，得到所述云台的控制参数；以及，基于所述云台的控制参数，控制所述云台的动作；
所述云台与所述图像获取装置耦合连接，用于根据所述控制装置的控制，改变所述第一图像获取装置的视野范围，以便所述第一图像获取装置的视野范围能够匹配所述目标构图区域。
第五方面，本申请实施例提供一种云台相机，包括：电子装置和用于控制所述电子装置的控制装置；所述电子装置包括图像获取装置和云台；
所述图像获取装置用于采集图像，所述图像获取装置包括视场角不同的第一图像获取装置和第二图像获取装置；
所述控制装置与所述图像获取装置和所述云台连接，用于根据所述第一图像获取装置和所述第二图像获取装置当前采集到的图像，确定所述第一图像获取装置的目标构图区域；根据所述目标构图区域，得到所述云台的控制参数；以及，基于所述云台的控制参数，控制所述云台的动作；
所述云台与所述图像获取装置耦合连接，用于根据所述控制装置的控制，改变所述第一图像获取装置的视野范围，以便所述第一图像获取装置的视野范围能够匹配所述目标构图区域。
第六方面，本申请实施例提供一种控制系统，包括：云台和与所述云台连接的移动终端；所述移动终端包括图像获取装置和控制装置；
所述图像获取装置用于采集图像，所述图像获取装置包括视场角不同的第一图像获取装置和第二图像获取装置；
所述控制装置与所述图像获取装置和所述云台连接，用于根据所述第一图像获取装置和所述第二图像获取装置当前采集到的图像，确定所述第一图像获取装置的目标构图区域；根据所述目标构图区域，得到所述云台的控制参数；以及，基于所述云台的控制参数，控制所述云台的动作；
所述云台，用于根据所述控制装置的控制，改变所述第一图像获取装置的视野范围，以便所述第一图像获取装置的视野范围能够匹配所述目标构图区域。
第七方面，本申请实施例提供一种控制系统，包括：云台和与所述云台连接的移动终端；所述云台包括控制装置，所述移动终端包括图像获取装置；
所述图像获取装置用于采集图像，所述图像获取装置包括视场角不同的第一图像获取装置和第二图像获取装置；
所述控制装置与所述图像获取装置连接，用于根据所述第一图像获取装置和所述第二图像获取装置当前采集到的图像，确定所述第一图像获取装置的目标构图区域；根据所述目标构图区域，得到所述云台的控制参数；以及，基于所述云台的控制参数，控制所述云台的动作，以控制所述云台改变所述第一图像获取装置的视野范围，以便所述第一图像获取装置的视野范围能够匹配所述目标构图区域。
第八方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包含至少一段代码，所述至少一段代码可由计算机执行，以控制所述计算机执行上述第一方面任一项所述的方法。
第九方面，本申请实施例提供一种计算机程序，当所述计算机程序被计算机执行时，用于实现上述第一方面任一项所述的方法。
本申请实施例提供一种电子装置的控制方法、装置、设备及系统，通过根据第一图像获取装置和第二图像获取装置当前采集到的图像，确定第一图像获取装置的目标构图区域，根据目标构图区域，得到云台的控制参数，基于云台的控制参数，控制云台的动作，以控制云台改变第一图像获取装置的视野范围，以便第一图像获取装置的视野范围能够匹配目标构图区域，实现了根据第一图像获取装置和第二图像获取装置当前采集到的图像，控制第一图像获取装置的视野范围，使得在第一图像获取装置的视场角较小时，能够联合第二图像获取装置采集到的图像引导第一图像获取装置的构图，从而能够提升视场角较小的第一图像获取装置的拍摄效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的控制系统的结构示意图；
图2为本申请实施例提供的控制系统应用于云台相机的示意图；
图3为本申请实施例提供的控制系统应用于手持云台的示意图；
图4为本申请一实施例提供的电子装置的控制方法的流程示意图；
图5为本申请另一实施例提供的电子装置的控制方法的流程示意图；
图6为本申请实施例提供的改变第一图像获取装置的视野范围之前，第一和第二图像获取装置视野范围的示意图；
图7-图8为本申请实施例提供的改变第一图像获取装置的视野范围之后，第一和第二图像获取装置视野范围的示意图；
图9A为本申请实施例提供的第二图像获取装置当前采集到的图像；
图9B为本申请实施例提供的第一图像获取装置当前采集到的图像；
图10为本申请一实施例提供的电子装置的控制装置的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供的电子装置的控制方法可以应用于图1所示的控制系统，如图1所示，该控制系统10可以包括电子装置11以及用于控制所述电子装置11的控制装置12，所述电子装置11包括图像获取装置111以及与所述图像获取装置111耦合连接控制所述图像获取装置111改变视野范围的云台112，所述图像获取装置111包括视场角不同的第一图像获取装置A和第二图像获取装置B。其中，本申请实施例提供的方法可以由控制装置12执行。
示例性的，图1所示的控制系统具体可以应用于无人飞行器，无人飞行器可以包括电子装置11，所述无人飞行器的控制设备例如智能手机、带屏遥控器可以包括控制装置12。
示例性的，图1所示的控制系统具体可以应用于图2所示的云台相机20，云台相机20可以包括电子装置以及控制装置(未示出)。第二获取装置B可以与第一获取装置A对应云台相机20的同一表面设置，例如图2中第二获取装置B和第一图像获取装置A可以均对应云台相机20的表面a设置；或者，第二获取装置B可以与第一获取装置A对应云台相机20的不同表面设置，例如第二获取装置B的个数可以为两个，两个第二获取装置B可以对应云台相机20的表面b和表面c设置。
示例性的，参考图3，图1所示的控制系统具体可以应用于手持云台30+移动终端40的场景，其中，手持云台30包括云台112。可选的，移动终端40包括图像获取装置(未示出)以及控制装置(未示出)，或者，手持云台还包括控制装置(未示出)，移动终端40包括图像获取装置(未示出)。
本申请实施例提供的电子装置的控制方法，通过根据所述第一图像获取装置A和所述第二图像获取装置B当前采集到的图像，确定所述第一图像获取装置A的目标构图区域，根据所述目标构图区域，得到所述云台112的控制参数，基于所述云台112的控制参数，控制所述云台112的动作，以控制所述云台112改变所述第一图像获取装置A的视野范围，以便所述第一图像获取装置A的视野范围能够匹配所述目标构图区域，实现了根据第一图像获取装置和第二图像获取装置当前采集到的图像，控制第一图像获取装置的视野范围，使得在第一图像获取装置的视场角较小时，能够联合第二图像获取装置采集到的图像引导第一图像获取装置的构图，从而能够提升视场角较小的第一图像获取装置的拍摄效果。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
图4为本申请一实施例提供的电子装置的控制方法的流程示意图，本实施例的执行主体可以为控制装置12，具体可以为控制装置12的处理器。如图4所示，本实施例的方法可以包括：
步骤401，根据所述第一图像获取装置和所述第二图像获取装置当前采集到的图像，确定所述第一图像获取装置的目标构图区域。
本步骤中，所述目标构图区域为所述第一图像获取装置和所述第二图像获取装置当前采集到的图像中的部分区域，用于表征所述第一图像获取装置和所述第二图像获取装置当前采集到的图像中期望的拍摄画面。
可选的，第一图像获取装置的视野范围可以包括在第二图像获取装置的视野范围中，有利于简化实现；或者，第二图像获取装置的视野范围可以与第一图像获取装置的视野范围部分重叠。在第二图像获取装置的视野范围与第一图像获取装置的视野范围部分重叠的情况下，可以先对所述第一图像获取装置和所述第二图像获取装置当前采集到的图像进行图像拼接，得到拼接图像，然后再根据所述拼接图像以及所述第一图像获取装置当前采集到的图像，确定所述第一图像装置的目标构图区域，以简化实现。
需要说明的是，当第二图像获取装置的个数为多个时，第二图像获取装置的视野范围可以是指该多个第二图像获取装置联合的视野范围。
由此可以看出，第二图像获取装置采集到的图像中能够包括与第一图像获取装置采集到的图像不同的场景内容，因此，目标构图区域是表征在更大范围场景内容下所确定出的期望拍摄画面，较直接将第一图像获取装置当前采集到的图像作为拍摄画面的拍摄效果更好。
示例性的，可以根据所述第一图像获取装置当前采集到的图像确定待拍摄目标，进一步的，可以根据第二图像获取装置当前采集到的图像确定针对所述待拍摄目标的目标构图区域。所述待拍摄目标例如可以为通过目标跟踪算法确定的目标、通过显著目标识别算法确定的目标，或者，通过特定类别目标识别算法确定的目标等。示例性的，可以根据第二图像获取装置当前采集到的图像，采用特定构图策略确定针对所述待拍摄目标的目标构图区域，所述特定构图策略包括下述中的任意一种：三分线构图策略、交叉线构图策略、紧凑式构图策略、焦点构图策略、对角线构图策略、水平线构图策略或线条构图策略。
步骤402，根据所述目标构图区域，得到所述云台的控制参数。
本步骤中，所述控制参数是用于控制所述云台改变所述第一图像获取装置的视野范围的相关参数，以便所述第一图像获取装置的视野范围能够匹配所述目标构图区域。可以理解的是，第一图像获取装置的视野范围决定了其能够采集到的图像。需要说明的是，所述云台的控制参数可以用于改变整个所述图像获取装置的视野范围，或者，可以仅用于改变所述图像获取装置中第一图像获取装置的视野范围。
示例性的，所述第一图像获取装置的视野范围匹配所述目标构图区域具体可以为所述第一图像获取装置的视野范围与所述目标构图区域一致，当然，在其他实施例中，所述第一图像获取装置的视野范围匹配所述目标构图区域具体还可以为其他方式。
由于所述目标构图区域为所述第一和第二图像获取装置当前采集到的图像中的部分区域，因此可以确定出目标构图区域与第一图像获取装置当前采集到的图像的相对关系，进一步根据相对关系可以得到所述云台的控制参数。
步骤403，基于所述云台的控制参数，控制所述云台的动作，以控制所述云台改变所述第一图像获取装置的视野范围，以便所述第一图像获取装置的视野范围能够匹配所述目标构图区域。
本实施例中，通过根据第一图像获取装置和第二图像获取装置当前采集到的图像，确定第一图像获取装置的目标构图区域，根据目标构图区域，得到云台的控制参数，基于云台的控制参数，控制云台的动作，以控制云台改变第一图像获取装置的视野范围，以便第一图像获取装置的视野范围能够匹配目标构图区域，实现了根据第一图像获取装置和第二图像获取装置当前采集到的图像，控制第一图像获取装置的视野范围，使得在第一图像获取装置的视场角较小时，能够联合第二图像获取装置采集到的图像引导第一图像获取装置的构图，从而能够提升视场角较小的第一图像获取装置的拍摄效果。
图5为本申请另一实施例提供的电子装置的控制方法的流程示意图，本实施例在图4所示实施例的基础上，主要描述了根据所述第一图像获取装置和所述第二图像获取装置当前采集到的图像，确定所述第一图像获取装置的目标构图区域的一种可选实现方式。如图5所示，本实施例的方法可以包括：
步骤501，分别处理所述第一图像获取装置和所述第二图像获取装置当前采集到的图像的背景图像，得到包含背景语义信息的第一特征图和第二特征图。
本步骤中，第一特征图的尺寸可以与所述第一图像获取装置当前采集到的图像的背景图像的尺寸相同，例如均为100乘200。第二特征图的尺寸可以与所述第二图像获取装置当前采集到的图像的背景图像的尺寸相同，例如均为200乘300。
第一特征图、第二特征图包含背景语义信息的具体方式可以为特征图中的像素值可以表征对应像素的背景语义，其中，背景语义可以包括能够识别出的背景对象类别，例如建筑物、树木、草地、河流等。例如，假设像素值为1可以表示建筑物、像素值为2可以表示树木、像素值为3可以表示草地，则处理背景图像所得到的特征图中，像素值为1的像素位置即为识别为建筑物的像素位置，像素值为2的像素位置即为识别为树木的像素位置，像素值为3的像素位置即为识别为草地的像素位置。
示例性的，可以使用预训练的神经网络模型分别处理第一图像获取装置和第二图像获取装置当前采集到的图像的背景图像，得到包含背景语义信息的第一特征图和第二特征图。所述神经网络模型可以为卷积神经网络(Convolutional Neural Networks，CNN)模型。
以使用预训练的神经网络模型处理所述第一图像获取装置当前采集到的图像的背景图像为例，获得包含背景语义信息的第一特征图具体可以包括如下步骤B1和步骤B2。
步骤B1，将所述背景图像输入所述神经网络模型，得到所述神经网络模型的模型输出结果。
其中，所述神经网络模型的模型输出结果可以包括多个输出通道分别输出的置信度特征图，该多个输出通道可以与多个背景对象类别一一对应，单个背景对象类别的置信度特征图的像素值用于表征像素是所述背景对象类别的概率。
步骤B2，根据所述神经网络模型的模型输出结果，得到所述第一特征图。
示例性的，可以将与该多个输出通道一一对应的多个置信度特征图中同一像素位置像素值最大的置信度特征图对应的背景对象类别，作为所述像素位置的背景对象类别，从而得到所述第一特征图。
步骤502，根据所述第一特征图和所述第二特征图中目标语义背景的像素分布关系，确定目标构图区域，所述目标语义背景为所述第一图像获取装置对应的所述第一特征图中的语义背景。
本步骤中，目标语义背景可以认为是第一图像获取装置期望拍摄的语义背景。以所述第二图像获取装置的视场角可以大于所述第一图像获取装置的视场角，且所述第一图像获取装置的视野范围包括在所述第二图像获取装置的视野范围为例，第一图像获取装置和第二图像获取装置当前采集到的图像的关系可以如图6所示，图6中两条虚线的夹角表示第二图像获取装置的视场角，两条实线的夹角表示第一图像获取装置的视场角。对应于图6，目标语义背景为塔。
然而，由于第一图像获取装置视场角的限制，可能导致第一特征图中目标语义背景的像素分布较更大范围场景内容下目标语义背景的像素分布不满足一定要求，因此可以根据第一特征图和第二特征图中目标语义背景的像素分布关系，确定出使得目标语义背景的像素分布满足一定要求的目标构图区域，具体确定方式可以根据需求灵活实现。
示例性的，所述根据所述第一特征图和所述第二特征图中目标语义背景的像素分布关系，确定目标构图区域，具体可以包括：根据所述第一特征图和所述第二特征图中目标语义背景的像素分布关系，确定所述第一特征图的当前像素区域的构图得分；以及，调整所述第一特征图的当前像素区域，直至所述第一特征图的当前像素区域的构图得分大于或等于分数阈值，以得到所述目标构图区域。即，构图得分大于或等于分数阈值的第一特征图的当前像素区域即为所述目标构图区域。
基于此，所述满足一定要求可以为构图得分大于或等于分数阈值。示例性的，可以根据所述第一特征图和所述第二特征图中目标语义背景的像素分布关系，采用预设评分规则确定第一特征图的当前像素区域的构图得分，所述预设评分规则例如可以为第一特征图的当前像素区域中目标语义背景像素数量占目标语义背景总像素的比例越大，则评分越高的评分规则。
示例性的，所述调整所述第一特征图的当前像素区域具体可以包括：调整所述第一特征图的当前像素区域的位置，和/或，调整所述第一特征图的当前像素区域的大小。
步骤503，根据所述目标构图区域，得到所述云台的控制参数。
本步骤中，可以根据目标构图区域以及第一图像获取装置当前采集到的图像相对于同一对象的相对关系，确定所述云台的控制参数。示例性的，所述根据所述目标构图区域，得到所述云台的控制参数，具体可以包括：确定所述目标构图区域在目标图像上的区域信息，与所述第一图像获取装置当前采集到的图像在所述目标图像上的区域信息的相对关系；以及，基于所述相对关系，得到所述云台的控制参数。所述控制参数具体可以包括用于控制云台绕俯仰轴、横滚轴或平移轴转动的旋转参数，和/或，用于控制图像获取装置缩放的缩放参数。
其中，所述区域信息可以包括区域位置和/或区域大小。在所述区域信息包括区域位置的情况下，所述相对关系可以包括水平方向上偏移的像素数量和/或垂直方向上偏移的像素数量，根据偏移的像素数量可以进一步确定出偏移的角度，从而得到控制参数。在所述区域信息包括区域大小的情况下，所述相对关系可以包括缩放比例，从而得到控制参数。
在所述第二图像获取装置的视场角大于所述第一图像获取装置的视场角，且所述第一图像获取装置的视野范围包括在所述第二图像获取装置的视野范围中的情况下，所述目标图像具体可以包括所述第二图像获取装置当前采集到的图像。在所述第二图像获取装置的视野范围与所述第一图像获取装置的视野范围部分重叠的情况下，所述目标图像具体可以包括所述第一图像获取装置和所述第二图像获取装置当前采集到的图像的拼接图像。
示例性的，可以通过提前标定所述第一图像获取装置和所述第二图像获取装置，得到所述第一图像获取装置当前采集到的图像在所述目标图像上的区域信息。
步骤504，基于所述云台的控制参数，控制所述云台的动作，以控制所述云台改变所述第一图像获取装置的视野范围，以便所述第一图像获取装置的视野范围能够匹配所述目标构图区域。
本步骤中，在图6的基础上，基于旋转参数控制所述云台之后，第一图像获取装置的视野范围可以如图7所示。在图6的基础上，基于旋转参数和缩放参数控制所述云台之后，第一图像获取装置的视野范围可以如图8所示。
本实施例中，通过分别处理第一图像获取装置和第二图像获取装置当前采集到的图像的背景图像，得到包含背景语义信息的第一特征图和第二特征图，根据第一特征图和第二特征图中目标语义背景的像素分布关系，确定目标构图区域，实现了基于第一和第二图像获取装置当前采集到的图像的背景图像，确定目标构图区域，由于拍摄背景对于拍摄效果的影响非常大，因此通过背景图像确定目标构图区域，能够极大的提升视场角较小的第一图像获取装置的拍摄效果。
本申请实施例中，第一图像获取装置可以认为是主图像获取装置，第二图像获取装置可以认为是辅图像获取装置，由于辅图像获取装置主要是用于确定目标构图区域，而不是用来为用户提供拍摄或图像功能，因此可以降低对辅图像获取装置的性能要求，比如降低分辨率。因此，在上述实施例的基础上，可选的，所述第二图像获取装置的分辨率可以低于所述第一图像获取装置的分辨率。通过所述第二图像获取装置的分辨率低于所述第一图像获取装置的分辨率，有利于降低成本，减少计算量。另外，在第二图像获取装置的分辨率低于所述第一图像获取装置的分辨率的情况下，在将第一图像获取装置和第二图像获取装置当前采集到的图像进行图像拼接之前，可以先对第一图像获取装置当前采集到的图像进行下采样，有利于进一步减少计算量。
在上述实施例的基础上，可选的，所述第一图像获取装置和所述第二图像获取装置可以分别对应所述电子装置壳体的同一表面的不同位置设置。通过第一图像获取装置和第二图像获取装置分别对应电子装置壳体的同一表面的不同位置设置，使得图像获取装置能够统一设置在所述电子装置壳体的一个表面，有利于减小设置图像获取装置对于电子装置壳体的影响。基于此，在设置图像获取装置的表面是圆柱面或球面场景下，第一图像获取装置和第二图像获取装置的视野方向可以不同，使得虽然第一图像获取装置和第二图像获取装置是对应同一表面设置，第二图像获取装置也能够在与第一图像获取装置不同的视野方向上扩大视野，有利于提高视野扩大的范围。
以云台相机为例，参照图2，云台相机第一图像获取装置A和第二图像获取装置B均可以对应云台相机20的表面a设置，以实现第一图像获取装置和第二图像获取装置可以分别对应电子装置壳体的同一表面的不同位置设置。
在上述实施例的基础上，可选的，所述第一图像获取装置和所述第二图像获取装置可以分别对应所述电子装置壳体的不同表面设置。通过对应电子装置壳体的不同表面设置，使得第二图像获取装置能够在与第一图像获取装置的视野方向不同的视野方向扩大视野，有利于提高视野扩大的范围。
在上述实施例的基础上，可选的，所述第二图像获取装置的个数可以为多个。通过多个第二图像获取装置，有利于扩大用于确定目标构图区域的场景范围。进一步可选的，多个所述第二图像获取装置中至少两个第二图像获取装置分别对应所述电子装置壳体的不同表面设置。通过多个第二图像获取装置，有利于进一步扩大用于确定目标构图区域的场景范围。
在上述实施例的基础上，示例性的，所述第二图像获取装置的个数为2。进一步可选的，所述电子装置壳体包括第一表面，以及与所述第一表面相邻且位于所述第一表面两侧的第二表面和第三表面；所述第一图像获取装置对应所述第一表面设置；两个所述第二图像获取装置分别对应所述第二表面和所述第三表面设置。通过第一图像获取装置的两侧相邻表面分别设置一个第二图像获取装置，能够扩大水平方向用于确定目标构图区域的场景范围。
以云台相机为例，参照图2，云台相机对应设置第一图像获取装置A的表面a即为第一表面，云台相机对应设置一第二图像获取装置B的表面b即为第二表面，第二表面正对的表面c即为用于设置另一第二图像获取装置的第三表面。
在上述实施例的基础上，所述第二图像获取装置可以用于获取全景图像，以实现了在全景图像的基础上确定第一图像获取装置的构图，第二图像获取装置当前采集到的图像例如可以如图9A所示，相比于图9A，第一图像获取装置当前采集到的图像可以如图9B所示。图9A中第二图像获取装置当前采集到的图像中方框区域中的图像即为图9B所示的第一图像获取装置当前采集到的图像，可以看出，第一图像获取装置的视场角较小，第二图像获取装置可以获得全景图像。
相关技术中，主要通过如下两种方式完成构图：第一种，在视场角较小的相机在拍摄后，在拍摄得到的画面内以人物为主体进行裁剪，以此“构图”；第二种，全景相机拍摄后，在拍摄得到的画面内选取某个区域进行裁剪，以此“构图”。其中，对于第一种，由于相机的视场角较小，裁剪后视角更小，一般裁剪后变成了头部、肩以上为主体的照片，构图自由度非常有限，效果也一般；对于第二种，在视角上非常有优势，灵活度很高，但由于现有的全景相机画质较低，在此基础上进行裁剪操作，画质进一步降低，即使构图有优势，也很难有高质量的成片。
对于相关技术中的这两种构图方式，本申请能够在增加较少成本的前提下，实现高画质、高自由度的构图。具体的，可以通过较为低成本的全景相机，提供全局观测，引导构图，通过高分辨率的第一图像获取装置进行视频拍摄或拍照，达到在质量与智能灵活兼备的目的。另外，相比于上述第二种构图方式中需要在全景相机拍摄完成之后，针对全景相机拍摄获得的视频或图像进一步处理才能获得构图结果，本申请能够直接拍摄获得在全景范围内效果较好的视频或图像，有利于简化处理，提高用户的使用体验。
图10为本申请一实施例提供的电子装置的控制装置的结构示意图，所述电子装置包括图像获取装置和与所述图像获取装置耦合连接控制所述图像获取装置改变视野范围的云台，所述图像获取装置包括视场角不同的第一图像获取装置和第二图像获取装置；如图10所示，该控制装置100可以包括：处理器101和存储器102。
所述存储器102，用于存储程序代码；
所述处理器101，调用所述程序代码，当程序代码被执行时，用于执行以下操作：
根据所述第一图像获取装置和所述第二图像获取装置当前采集到的图像，确定所述第一图像获取装置的目标构图区域；
根据所述目标构图区域，得到所述云台的控制参数；
基于所述云台的控制参数，控制所述云台改变所述第一图像获取装置的视野范围，以便所述第一图像获取装置的视野范围能够匹配所述目标构图区域。
本实施例提供的电子装置的控制装置，可以用于执行前述方法实施例的技术方案，其实现原理和技术效果与方法实施例类似，在此不再赘述。
如图1所示，本申请实施例还提供一种控制系统，包括：电子装置11和用于控制所述电子装置11的控制装置12；所述电子装置11包括图像获取装置111和云台112；
所述图像获取装置111用于采集图像，所述图像获取装置包括视场角不同的第一图像获取装置A和第二图像获取装置B；
所述控制装置12与所述图像获取装置111和所述云台112连接，用于根据所述第一图像获取装置A和所述第二图像获取装置B当前采集到的图像，确定所述第一图像获取装置A的目标构图区域；根据所述目标构图区域，得到所述云台的控制参数；以及，基于所述云台的控制参数，控制所述云台的动作；
所述云台112与所述图像获取装置111耦合连接，用于根据所述控制装置12的控制，改变所述第一图像获取装置A的视野范围，以便所述第一图像获取装置A的视野范围能够匹配所述目标构图区域。
本实施例提供的控制系统中的所述控制装置12，可以用于执行前述方法实施例的技术方案，其实现原理和技术效果与方法实施例类似，在此不再赘述。
另外，本申请实施例还提供控制系统，包括：无人飞行器和用于控制所述无人飞行器的控制设备；所述无人飞行器包括图像获取装置和云台；
所述图像获取装置用于采集图像，所述图像获取装置包括视场角不同的第一图像获取装置和第二图像获取装置；
所述控制设备与所述图像获取装置和所述云台连接，用于根据所述第一图像获取装置和所述第二图像获取装置当前采集到的图像，确定所述第一图像获取装置的目标构图区域；根据所述目标构图区域，得到所述云台的控制参数；以及，基于所述云台的控制参数，控制所述云台的动作；
所述云台与所述图像获取装置耦合连接，用于根据所述控制装置的控制，改变所述第一图像获取装置的视野范围，以便所述第一图像获取装置的视野范围能够匹配所述目标构图区域。
本实施例提供的控制系统中的所述控制设备，可以用于执行前述方法实施例的技术方案，其实现原理和技术效果与方法实施例类似，在此不再赘述。
参考图2，本申请实施例还提供一种云台相机，包括：电子装置和用于控制所述电子装置的控制装置(未示出)；所述电子装置包括图像获取装置111和云台(112)；
所述图像获取装置111用于采集图像，所述图像获取装置111包括视场角不同的第一图像获取装置A和第二图像获取装置B；
所述控制装置与所述图像获取装置111和所述云台112连接，用于根据所述第一图像获取装置A和所述第二图像获取装置B当前采集到的图像，确定所述第一图像获取装置A的目标构图区域；根据所述目标构图区域，得到所述云台112的控制参数；以及，基于所述云台112的控制参数，控制所述云台112的动作；
所述云台112与所述图像获取装置111耦合连接，用于根据所述控制装置的控制，改变所述第一图像获取装置A的视野范围，以便所述第一图像获取装置A的视野范围能够匹配所述目标构图区域。
本实施例提供的云台相机中的所述控制装置，可以用于执行前述方法实施例的技术方案，其实现原理和技术效果与方法实施例类似，在此不再赘述。
需要说明的是，图2仅为云台相机的示意图，并不对云台相机的具体结构作限定。
参考图3，本申请实施例提供一种控制系统，包括：手持云台30和与所述手持云台30连接的移动终端40，所述移动终端40包括图像获取装置，所述手持云台30包括云台112；所述移动终端或所述手持云台还包括控制装置；
所述图像获取装置用于采集图像，所述图像获取装置包括视场角不同的第一图像获取装置和第二图像获取装置；
所述控制装置与所述图像获取装置和所述云台连接，用于根据所述第一图像获取装置和所述第二图像获取装置当前采集到的图像，确定所述第一图像获取装置的目标构图区域；根据所述目标构图区域，得到所述云台的控制参数；以及，基于所述云台的控制参数，控制所述云台的动作；
所述云台，用于根据所述控制装置的控制，改变所述第一图像获取装置的视野范围，以便所述第一图像获取装置的视野范围能够匹配所述目标构图区域。
本实施例提供的控制系统中的所述控制装置，可以用于执行前述方法实施例的技术方案，其实现原理和技术效果与方法实施例类似，在此不再赘述。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (113)

1.一种电子装置的控制方法，其特征在于，所述电子装置包括图像获取装置和与所述图像获取装置耦合连接控制所述图像获取装置改变视野范围的云台，所述图像获取装置包括视场角不同的第一图像获取装置和第二图像获取装置；所述方法包括：
根据所述第一图像获取装置和所述第二图像获取装置当前采集到的图像，确定所述第一图像获取装置的目标构图区域，所述目标构图区域用于表征联合所述第一图像获取装置和所述第二图像获取装置当前采集到的图像确定的，期望所述第一图像获取装置拍摄的画面；
根据所述目标构图区域，得到所述云台的控制参数；
基于所述云台的控制参数，控制所述云台的动作，以控制所述云台改变所述第一图像获取装置的视野范围，以便所述第一图像获取装置的视野范围能够匹配所述目标构图区域。
2.根据权利要求1所述的方法，其特征在于，所述第二图像获取装置的视场角大于所述第一图像获取装置的视场角；所述第一图像获取装置的视野范围包括在所述第二图像获取装置的视野范围中。
3.根据权利要求1所述的方法，其特征在于，所述第一图像获取装置的视野范围与所述第二图像获取装置的视野范围部分重叠。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一图像获取装置和所述第二图像获取装置当前采集到的图像，确定所述第一图像获取装置的目标构图区域，包括：
对所述第一图像获取装置和所述第二图像获取装置当前采集到的图像进行图像拼接，得到拼接图像；
根据所述拼接图像以及所述第一图像获取装置当前采集到的图像，确定所述第一图像获取装置的目标构图区域。
5.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像获取装置和所述第二图像获取装置当前采集到的图像，确定所述第一图像获取装置的目标构图区域，包括：
分别处理所述第一图像获取装置和所述第二图像获取装置当前采集到的图像的背景图像，得到包含背景语义信息的第一特征图和第二特征图；
根据所述第一特征图和所述第二特征图中目标语义背景的像素分布关系，确定目标构图区域，所述目标语义背景为所述第一图像获取装置对应的所述第一特征图中的语义背景。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第一特征图和所述第二特征图中目标语义背景的像素分布关系，确定目标构图区域，包括：
根据所述第一特征图和所述第二特征图中目标语义背景的像素分布关系，确定所述第一特征图的当前像素区域的构图得分；
调整所述第一特征图的当前像素区域，直至所述第一特征图的当前像素区域的构图得分大于或等于分数阈值，以得到所述目标构图区域。
7.根据权利要求1所述的方法，其特征在于，所述根据所述目标构图区域，得到所述云台的控制参数，包括：
确定所述目标构图区域在目标图像上的区域信息，与所述第一图像获取装置当前采集到的图像在所述目标图像上的区域信息的相对关系；
基于所述相对关系，得到所述云台的控制参数。
8.根据权利要求7所述的方法，其特征在于，所述目标图像包括所述第二图像获取装置当前采集到的图像，或者，所述第一图像获取装置和所述第二图像获取装置当前采集到的图像的拼接图像。
9.根据权利要求1所述的方法，其特征在于，所述控制参数包括用于控制所述云台绕俯仰轴、横滚轴或平移轴转动的旋转参数，和/或，用于控制图像获取装置缩放的缩放参数。
10.根据权利要求1所述的方法，其特征在于，所述第二图像获取装置的分辨率低于所述第一图像获取装置的分辨率。
11.根据权利要求1所述的方法，其特征在于，所述第一图像获取装置和所述第二图像获取装置分别对应所述电子装置壳体的不同表面设置。
12.根据权利要求1所述的方法，其特征在于，所述第一图像获取装置和所述第二图像获取装置分别对应所述电子装置壳体的同一表面的不同位置设置。
13.根据权利要求1所述的方法，其特征在于，所述第二图像获取装置的个数为多个。
14.根据权利要求13所述的方法，其特征在于，多个所述第二图像获取装置中至少两个第二图像获取装置分别对应所述电子装置壳体的不同表面设置。
15.根据权利要求14所述的方法，其特征在于，所述第二图像获取装置的个数为2。
16.根据权利要求15所述的方法，其特征在于，所述电子装置壳体包括第一表面，以及与所述第一表面相邻且位于所述第一表面两侧的第二表面和第三表面；所述第一图像获取装置对应所述第一表面设置；两个所述第二图像获取装置分别对应所述第二表面和所述第三表面设置。
17.一种电子装置的控制装置，其特征在于，所述电子装置包括图像获取装置和与所述图像获取装置耦合连接控制所述图像获取装置改变视野范围的云台，所述图像获取装置包括视场角不同的第一图像获取装置和第二图像获取装置；所述控制装置包括存储器和处理器；
所述存储器，用于存储程序代码；
所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：
根据所述第一图像获取装置和所述第二图像获取装置当前采集到的图像，确定所述第一图像获取装置的目标构图区域，所述目标构图区域用于表征联合所述第一图像获取装置和所述第二图像获取装置当前采集到的图像确定的，期望所述第一图像获取装置拍摄的画面；
根据所述目标构图区域，得到所述云台的控制参数；
基于所述云台的控制参数，控制所述云台改变所述第一图像获取装置的视野范围，以便所述第一图像获取装置的视野范围能够匹配所述目标构图区域。
18.根据权利要求17所述的装置，其特征在于，所述第二图像获取装置的视场角大于所述第一图像获取装置的视场角；所述第一图像获取装置的视野范围包括在所述第二图像获取装置的视野范围中。
19.根据权利要求17所述的装置，其特征在于，所述第一图像获取装置的视野范围与所述第二图像获取装置的视野范围部分重叠。
20.根据权利要求19所述的装置，其特征在于，所述处理器用于根据所述第一图像获取装置和所述第二图像获取装置当前采集到的图像，确定所述第一图像获取装置的目标构图区域，具体包括：
对所述第一图像获取装置和所述第二图像获取装置当前采集到的图像进行图像拼接，得到拼接图像；
根据所述拼接图像以及所述第一图像获取装置当前采集到的图像，确定所述第一图像获取装置的目标构图区域。
21.根据权利要求17所述的装置，其特征在于，所述处理器用于根据所述第一图像获取装置和所述第二图像获取装置当前采集到的图像，确定所述第一图像获取装置的目标构图区域，具体包括：
分别处理所述第一图像获取装置和所述第二图像获取装置当前采集到的图像的背景图像，得到包含背景语义信息的第一特征图和第二特征图；
根据所述第一特征图和所述第二特征图中目标语义背景的像素分布关系，确定目标构图区域，所述目标语义背景为所述第一图像获取装置对应的所述第一特征图中的语义背景。
22.根据权利要求21所述的装置，其特征在于，所述处理器用于根据所述第一特征图和所述第二特征图中目标语义背景的像素分布关系，确定目标构图区域，具体包括：
根据所述第一特征图和所述第二特征图中目标语义背景的像素分布关系，确定所述第一特征图的当前像素区域的构图得分；
调整所述第一特征图的当前像素区域，直至所述第一特征图的当前像素区域的构图得分大于或等于分数阈值，以得到所述目标构图区域。
23.根据权利要求17所述的装置，其特征在于，所述处理器用于根据所述目标构图区域，得到所述云台的控制参数，具体包括：
确定所述目标构图区域在目标图像上的区域信息，与所述第一图像获取装置当前采集到的图像在所述目标图像上的区域信息的相对关系；
基于所述相对关系，得到所述云台的控制参数。
24.根据权利要求23所述的装置，其特征在于，所述目标图像包括所述第二图像获取装置当前采集到的图像，或者，所述第一图像获取装置和所述第二图像获取装置当前采集到的图像的拼接图像。
25.根据权利要求17所述的装置，其特征在于，所述控制参数包括用于控制所述云台绕俯仰轴、横滚轴或平移轴转动的旋转参数，和/或，用于控制图像获取装置缩放的缩放参数。
26.根据权利要求17所述的装置，其特征在于，所述第二图像获取装置的分辨率低于所述第一图像获取装置的分辨率。
27.根据权利要求17所述的装置，其特征在于，所述第一图像获取装置和所述第二图像获取装置分别对应所述电子装置壳体的不同表面设置。
28.根据权利要求17所述的装置，其特征在于，所述第一图像获取装置和所述第二图像获取装置分别对应所述电子装置壳体的同一表面的不同位置设置。
29.根据权利要求17所述的装置，其特征在于，所述第二图像获取装置的个数为多个。
30.根据权利要求29所述的装置，其特征在于，多个所述第二图像获取装置中至少两个第二图像获取装置分别对应所述电子装置壳体的不同表面设置。
31.根据权利要求30所述的装置，其特征在于，所述第二图像获取装置的个数为2。
32.根据权利要求31所述的装置，其特征在于，所述电子装置壳体包括第一表面，以及与所述第一表面相邻且位于所述第一表面两侧的第二表面和第三表面；所述第一图像获取装置对应所述第一表面设置；两个所述第二图像获取装置分别对应所述第二表面和所述第三表面设置。
33.一种控制系统，其特征在于，包括：电子装置和用于控制所述电子装置的控制装置；所述电子装置包括图像获取装置和云台；
所述图像获取装置用于采集图像，所述图像获取装置包括视场角不同的第一图像获取装置和第二图像获取装置；
所述控制装置与所述图像获取装置和所述云台连接，用于根据所述第一图像获取装置和所述第二图像获取装置当前采集到的图像，确定所述第一图像获取装置的目标构图区域，所述目标构图区域用于表征联合所述第一图像获取装置和所述第二图像获取装置当前采集到的图像确定的，期望所述第一图像获取装置拍摄的画面；根据所述目标构图区域，得到所述云台的控制参数；以及，基于所述云台的控制参数，控制所述云台的动作；
所述云台与所述图像获取装置耦合连接，用于根据所述控制装置的控制，改变所述第一图像获取装置的视野范围，以便所述第一图像获取装置的视野范围能够匹配所述目标构图区域。
34.根据权利要求33所述的系统，其特征在于，所述第二图像获取装置的视场角大于所述第一图像获取装置的视场角；所述第一图像获取装置的视野范围包括在所述第二图像获取装置的视野范围中。
35.根据权利要求33所述的系统，其特征在于，所述第一图像获取装置的视野范围与所述第二图像获取装置的视野范围部分重叠。
36.根据权利要求35所述的系统，其特征在于，所述控制装置用于根据所述第一图像获取装置和所述第二图像获取装置当前采集到的图像，确定所述第一图像获取装置的目标构图区域，具体包括：
对所述第一图像获取装置和所述第二图像获取装置当前采集到的图像进行图像拼接，得到拼接图像；
根据所述拼接图像以及所述第一图像获取装置当前采集到的图像，确定所述第一图像获取装置的目标构图区域。
37.根据权利要求33所述的系统，其特征在于，所述控制装置用于根据所述第一图像获取装置和所述第二图像获取装置当前采集到的图像，确定所述第一图像获取装置的目标构图区域，具体包括：
分别处理所述第一图像获取装置和所述第二图像获取装置当前采集到的图像的背景图像，得到包含背景语义信息的第一特征图和第二特征图；
根据所述第一特征图和所述第二特征图中目标语义背景的像素分布关系，确定目标构图区域，所述目标语义背景为所述第一图像获取装置对应的所述第一特征图中的语义背景。
38.根据权利要求37所述的系统，其特征在于，所述控制装置用于根据所述第一特征图和所述第二特征图中目标语义背景的像素分布关系，确定目标构图区域，具体包括：
根据所述第一特征图和所述第二特征图中目标语义背景的像素分布关系，确定所述第一特征图的当前像素区域的构图得分；
调整所述第一特征图的当前像素区域，直至所述第一特征图的当前像素区域的构图得分大于或等于分数阈值，以得到所述目标构图区域。
39.根据权利要求33所述的系统，其特征在于，所述控制装置用于根据所述目标构图区域，得到所述云台的控制参数，具体包括：
确定所述目标构图区域在目标图像上的区域信息，与所述第一图像获取装置当前采集到的图像在所述目标图像上的区域信息的相对关系；
基于所述相对关系，得到所述云台的控制参数。
40.根据权利要求39所述的系统，其特征在于，所述目标图像包括所述第二图像获取装置当前采集到的图像，或者，所述第一图像获取装置和所述第二图像获取装置当前采集到的图像的拼接图像。
41.根据权利要求33所述的系统，其特征在于，所述控制参数包括用于控制所述云台绕俯仰轴、横滚轴或平移轴转动的旋转参数，和/或，用于控制图像获取装置缩放的缩放参数。
42.根据权利要求33所述的系统，其特征在于，所述第二图像获取装置的分辨率低于所述第一图像获取装置的分辨率。
43.根据权利要求33所述的系统，其特征在于，所述第一图像获取装置和所述第二图像获取装置分别对应所述电子装置壳体的不同表面设置。
44.根据权利要求33所述的系统，其特征在于，所述第一图像获取装置和所述第二图像获取装置分别对应所述电子装置壳体的同一表面的不同位置设置。
45.根据权利要求33所述的系统，其特征在于，所述第二图像获取装置的个数为多个。
46.根据权利要求45所述的系统，其特征在于，多个所述第二图像获取装置中至少两个第二图像获取装置分别对应所述电子装置壳体的不同表面设置。
47.根据权利要求46所述的系统，其特征在于，所述第二图像获取装置的个数为2。
48.根据权利要求47所述的系统，其特征在于，所述电子装置壳体包括第一表面，以及与所述第一表面相邻且位于所述第一表面两侧的第二表面和第三表面；所述第一图像获取装置对应所述第一表面设置；两个所述第二图像获取装置分别对应所述第二表面和所述第三表面设置。
49.一种控制系统，其特征在于，包括：无人飞行器和用于控制所述无人飞行器的控制设备；所述无人飞行器包括图像获取装置和云台；
所述图像获取装置用于采集图像，所述图像获取装置包括视场角不同的第一图像获取装置和第二图像获取装置；
所述控制设备与所述图像获取装置和所述云台连接，用于根据所述第一图像获取装置和所述第二图像获取装置当前采集到的图像，确定所述第一图像获取装置的目标构图区域，所述目标构图区域用于表征联合所述第一图像获取装置和所述第二图像获取装置当前采集到的图像确定的，期望所述第一图像获取装置拍摄的画面；根据所述目标构图区域，得到所述云台的控制参数；以及，基于所述云台的控制参数，控制所述云台的动作；
所述云台与所述图像获取装置耦合连接，用于根据所述控制设备的控制，改变所述第一图像获取装置的视野范围，以便所述第一图像获取装置的视野范围能够匹配所述目标构图区域。
50.根据权利要求49所述的系统，其特征在于，所述第二图像获取装置的视场角大于所述第一图像获取装置的视场角；所述第一图像获取装置的视野范围包括在所述第二图像获取装置的视野范围中。
51.根据权利要求49所述的系统，其特征在于，所述第一图像获取装置的视野范围与所述第二图像获取装置的视野范围部分重叠。
52.根据权利要求51所述的系统，其特征在于，所述控制设备用于根据所述第一图像获取装置和所述第二图像获取装置当前采集到的图像，确定所述第一图像获取装置的目标构图区域，具体包括：
对所述第一图像获取装置和所述第二图像获取装置当前采集到的图像进行图像拼接，得到拼接图像；
根据所述拼接图像以及所述第一图像获取装置当前采集到的图像，确定所述第一图像获取装置的目标构图区域。
53.根据权利要求49所述的系统，其特征在于，所述控制设备用于根据所述第一图像获取装置和所述第二图像获取装置当前采集到的图像，确定所述第一图像获取装置的目标构图区域，具体包括：
分别处理所述第一图像获取装置和所述第二图像获取装置当前采集到的图像的背景图像，得到包含背景语义信息的第一特征图和第二特征图；
根据所述第一特征图和所述第二特征图中目标语义背景的像素分布关系，确定目标构图区域，所述目标语义背景为所述第一图像获取装置对应的所述第一特征图中的语义背景。
54.根据权利要求53所述的系统，其特征在于，所述控制设备用于根据所述第一特征图和所述第二特征图中目标语义背景的像素分布关系，确定目标构图区域，具体包括：
根据所述第一特征图和所述第二特征图中目标语义背景的像素分布关系，确定所述第一特征图的当前像素区域的构图得分；
调整所述第一特征图的当前像素区域，直至所述第一特征图的当前像素区域的构图得分大于或等于分数阈值，以得到所述目标构图区域。
55.根据权利要求49所述的系统，其特征在于，所述控制设备用于根据所述目标构图区域，得到所述云台的控制参数，具体包括：
确定所述目标构图区域在目标图像上的区域信息，与所述第一图像获取装置当前采集到的图像在所述目标图像上的区域信息的相对关系；
基于所述相对关系，得到所述云台的控制参数。
56.根据权利要求55所述的系统，其特征在于，所述目标图像包括所述第二图像获取装置当前采集到的图像，或者，所述第一图像获取装置和所述第二图像获取装置当前采集到的图像的拼接图像。
57.根据权利要求49所述的系统，其特征在于，所述控制参数包括用于控制所述云台绕俯仰轴、横滚轴或平移轴转动的旋转参数，和/或，用于控制图像获取装置缩放的缩放参数。
58.根据权利要求49所述的系统，其特征在于，所述第二图像获取装置的分辨率低于所述第一图像获取装置的分辨率。
59.根据权利要求49所述的系统，其特征在于，所述第一图像获取装置和所述第二图像获取装置分别对应所述无人飞行器壳体的不同表面设置。
60.根据权利要求49所述的系统，其特征在于，所述第一图像获取装置和所述第二图像获取装置分别对应所述无人飞行器壳体的同一表面的不同位置设置。
61.根据权利要求49所述的系统，其特征在于，所述第二图像获取装置的个数为多个。
62.根据权利要求61所述的系统，其特征在于，多个所述第二图像获取装置中至少两个第二图像获取装置分别对应所述无人飞行器壳体的不同表面设置。
63.根据权利要求62所述的系统，其特征在于，所述第二图像获取装置的个数为2。
64.根据权利要求63所述的系统，其特征在于，所述无人飞行器壳体包括第一表面，以及与所述第一表面相邻且位于所述第一表面两侧的第二表面和第三表面；所述第一图像获取装置对应所述第一表面设置；两个所述第二图像获取装置分别对应所述第二表面和所述第三表面设置。
65.一种云台相机，其特征在于，包括：电子装置和用于控制所述电子装置的控制装置；所述电子装置包括图像获取装置和云台；
所述图像获取装置用于采集图像，所述图像获取装置包括视场角不同的第一图像获取装置和第二图像获取装置；
所述控制装置与所述图像获取装置和所述云台连接，用于根据所述第一图像获取装置和所述第二图像获取装置当前采集到的图像，确定所述第一图像获取装置的目标构图区域，所述目标构图区域用于表征联合所述第一图像获取装置和所述第二图像获取装置当前采集到的图像确定的，期望所述第一图像获取装置拍摄的画面；根据所述目标构图区域，得到所述云台的控制参数；以及，基于所述云台的控制参数，控制所述云台的动作；
所述云台与所述图像获取装置耦合连接，用于根据所述控制装置的控制，改变所述第一图像获取装置的视野范围，以便所述第一图像获取装置的视野范围能够匹配所述目标构图区域。
66.根据权利要求65所述的云台相机，其特征在于，所述第二图像获取装置的视场角大于所述第一图像获取装置的视场角；所述第一图像获取装置的视野范围包括在所述第二图像获取装置的视野范围中。
67.根据权利要求65所述的云台相机，其特征在于，所述第一图像获取装置的视野范围与所述第二图像获取装置的视野范围部分重叠。
68.根据权利要求67所述的云台相机，其特征在于，所述控制装置用于根据所述第一图像获取装置和所述第二图像获取装置当前采集到的图像，确定所述第一图像获取装置的目标构图区域，具体包括：
对所述第一图像获取装置和所述第二图像获取装置当前采集到的图像进行图像拼接，得到拼接图像；
根据所述拼接图像以及所述第一图像获取装置当前采集到的图像，确定所述第一图像获取装置的目标构图区域。
69.根据权利要求65所述的云台相机，其特征在于，所述控制装置用于根据所述第一图像获取装置和所述第二图像获取装置当前采集到的图像，确定所述第一图像获取装置的目标构图区域，具体包括：
分别处理所述第一图像获取装置和所述第二图像获取装置当前采集到的图像的背景图像，得到包含背景语义信息的第一特征图和第二特征图；
根据所述第一特征图和所述第二特征图中目标语义背景的像素分布关系，确定目标构图区域，所述目标语义背景为所述第一图像获取装置对应的所述第一特征图中的语义背景。
70.根据权利要求69所述的云台相机，其特征在于，所述控制装置用于根据所述第一特征图和所述第二特征图中目标语义背景的像素分布关系，确定目标构图区域，具体包括：
根据所述第一特征图和所述第二特征图中目标语义背景的像素分布关系，确定所述第一特征图的当前像素区域的构图得分；
调整所述第一特征图的当前像素区域，直至所述第一特征图的当前像素区域的构图得分大于或等于分数阈值，以得到所述目标构图区域。
71.根据权利要求65所述的云台相机，其特征在于，所述控制装置用于根据所述目标构图区域，得到所述云台的控制参数，具体包括：
确定所述目标构图区域在目标图像上的区域信息，与所述第一图像获取装置当前采集到的图像在所述目标图像上的区域信息的相对关系；
基于所述相对关系，得到所述云台的控制参数。
72.根据权利要求71所述的云台相机，其特征在于，所述目标图像包括所述第二图像获取装置当前采集到的图像，或者，所述第一图像获取装置和所述第二图像获取装置当前采集到的图像的拼接图像。
73.根据权利要求65所述的云台相机，其特征在于，所述控制参数包括用于控制所述云台绕俯仰轴、横滚轴或平移轴转动的旋转参数，和/或，用于控制图像获取装置缩放的缩放参数。
74.根据权利要求65所述的云台相机，其特征在于，所述第二图像获取装置的分辨率低于所述第一图像获取装置的分辨率。
75.根据权利要求65所述的云台相机，其特征在于，所述第一图像获取装置和所述第二图像获取装置分别对应所述电子装置壳体的不同表面设置。
76.根据权利要求65所述的云台相机，其特征在于，所述第一图像获取装置和所述第二图像获取装置分别对应所述电子装置壳体的同一表面的不同位置设置。
77.根据权利要求65所述的云台相机，其特征在于，所述第二图像获取装置的个数为多个。
78.根据权利要求77所述的云台相机，其特征在于，多个所述第二图像获取装置中至少两个第二图像获取装置分别对应所述电子装置壳体的不同表面设置。
79.根据权利要求78所述的云台相机，其特征在于，所述第二图像获取装置的个数为2。
80.根据权利要求79所述的云台相机，其特征在于，所述电子装置壳体包括第一表面，以及与所述第一表面相邻且位于所述第一表面两侧的第二表面和第三表面；所述第一图像获取装置对应所述第一表面设置；两个所述第二图像获取装置分别对应所述第二表面和所述第三表面设置。
81.一种控制系统，其特征在于，包括：云台和与所述云台连接的移动终端；所述移动终端包括图像获取装置和控制装置；
所述图像获取装置用于采集图像，所述图像获取装置包括视场角不同的第一图像获取装置和第二图像获取装置；
所述控制装置与所述图像获取装置和所述云台连接，用于根据所述第一图像获取装置和所述第二图像获取装置当前采集到的图像，确定所述第一图像获取装置的目标构图区域，所述目标构图区域用于表征联合所述第一图像获取装置和所述第二图像获取装置当前采集到的图像确定的，期望所述第一图像获取装置拍摄的画面；根据所述目标构图区域，得到所述云台的控制参数；以及，基于所述云台的控制参数，控制所述云台的动作；
所述云台，用于根据所述控制装置的控制，改变所述第一图像获取装置的视野范围，以便所述第一图像获取装置的视野范围能够匹配所述目标构图区域。
82.根据权利要求81所述的系统，其特征在于，所述第二图像获取装置的视场角大于所述第一图像获取装置的视场角；所述第一图像获取装置的视野范围包括在所述第二图像获取装置的视野范围中。
83.根据权利要求81所述的系统，其特征在于，所述第一图像获取装置的视野范围与所述第二图像获取装置的视野范围部分重叠。
84.根据权利要求83所述的系统，其特征在于，所述控制装置用于根据所述第一图像获取装置和所述第二图像获取装置当前采集到的图像，确定所述第一图像获取装置的目标构图区域，具体包括：
对所述第一图像获取装置和所述第二图像获取装置当前采集到的图像进行图像拼接，得到拼接图像；
根据所述拼接图像以及所述第一图像获取装置当前采集到的图像，确定所述第一图像获取装置的目标构图区域。
85.根据权利要求81所述的系统，其特征在于，所述控制装置用于根据所述第一图像获取装置和所述第二图像获取装置当前采集到的图像，确定所述第一图像获取装置的目标构图区域，具体包括：
分别处理所述第一图像获取装置和所述第二图像获取装置当前采集到的图像的背景图像，得到包含背景语义信息的第一特征图和第二特征图；
根据所述第一特征图和所述第二特征图中目标语义背景的像素分布关系，确定目标构图区域，所述目标语义背景为所述第一图像获取装置对应的所述第一特征图中的语义背景。
86.根据权利要求85所述的系统，其特征在于，所述控制装置用于根据所述第一特征图和所述第二特征图中目标语义背景的像素分布关系，确定目标构图区域，具体包括：
根据所述第一特征图和所述第二特征图中目标语义背景的像素分布关系，确定所述第一特征图的当前像素区域的构图得分；
调整所述第一特征图的当前像素区域，直至所述第一特征图的当前像素区域的构图得分大于或等于分数阈值，以得到所述目标构图区域。
87.根据权利要求81所述的系统，其特征在于，所述控制装置用于根据所述目标构图区域，得到所述云台的控制参数，具体包括：
确定所述目标构图区域在目标图像上的区域信息，与所述第一图像获取装置当前采集到的图像在所述目标图像上的区域信息的相对关系；
基于所述相对关系，得到所述云台的控制参数。
88.根据权利要求87所述的系统，其特征在于，所述目标图像包括所述第二图像获取装置当前采集到的图像，或者，所述第一图像获取装置和所述第二图像获取装置当前采集到的图像的拼接图像。
89.根据权利要求81所述的系统，其特征在于，所述控制参数包括用于控制所述云台绕俯仰轴、横滚轴或平移轴转动的旋转参数，和/或，用于控制图像获取装置缩放的缩放参数。
90.根据权利要求81所述的系统，其特征在于，所述第二图像获取装置的分辨率低于所述第一图像获取装置的分辨率。
91.根据权利要求81所述的系统，其特征在于，所述第一图像获取装置和所述第二图像获取装置分别对应所述移动终端壳体的不同表面设置。
92.根据权利要求81所述的系统，其特征在于，所述第一图像获取装置和所述第二图像获取装置分别对应所述移动终端壳体的同一表面的不同位置设置。
93.根据权利要求81所述的系统，其特征在于，所述第二图像获取装置的个数为多个。
94.根据权利要求93所述的系统，其特征在于，多个所述第二图像获取装置中至少两个第二图像获取装置分别对应所述移动终端壳体的不同表面设置。
95.根据权利要求94所述的系统，其特征在于，所述第二图像获取装置的个数为2。
96.根据权利要求95所述的系统，其特征在于，所述移动终端壳体包括第一表面，以及与所述第一表面相邻且位于所述第一表面两侧的第二表面和第三表面；所述第一图像获取装置对应所述第一表面设置；两个所述第二图像获取装置分别对应所述第二表面和所述第三表面设置。
97.一种控制系统，其特征在于，包括：手持云台和与所述手持云台连接的移动终端；所述手持云台包括云台和控制装置，所述移动终端包括图像获取装置；
所述图像获取装置用于采集图像，所述图像获取装置包括视场角不同的第一图像获取装置和第二图像获取装置；
所述控制装置与所述图像获取装置连接，用于根据所述第一图像获取装置和所述第二图像获取装置当前采集到的图像，确定所述第一图像获取装置的目标构图区域，所述目标构图区域用于表征联合所述第一图像获取装置和所述第二图像获取装置当前采集到的图像确定的，期望所述第一图像获取装置拍摄的画面；根据所述目标构图区域，得到所述云台的控制参数；以及，基于所述云台的控制参数，控制所述云台的动作，以控制所述云台改变所述第一图像获取装置的视野范围，以便所述第一图像获取装置的视野范围能够匹配所述目标构图区域。
98.根据权利要求97所述的系统，其特征在于，所述第二图像获取装置的视场角大于所述第一图像获取装置的视场角；所述第一图像获取装置的视野范围包括在所述第二图像获取装置的视野范围中。
99.根据权利要求97所述的系统，其特征在于，所述第一图像获取装置的视野范围与所述第二图像获取装置的视野范围部分重叠。
100.根据权利要求99所述的系统，其特征在于，所述控制装置用于根据所述第一图像获取装置和所述第二图像获取装置当前采集到的图像，确定所述第一图像获取装置的目标构图区域，具体包括：
对所述第一图像获取装置和所述第二图像获取装置当前采集到的图像进行图像拼接，得到拼接图像；
根据所述拼接图像以及所述第一图像获取装置当前采集到的图像，确定所述第一图像获取装置的目标构图区域。
101.根据权利要求97所述的系统，其特征在于，所述控制装置用于根据所述第一图像获取装置和所述第二图像获取装置当前采集到的图像，确定所述第一图像获取装置的目标构图区域，具体包括：
分别处理所述第一图像获取装置和所述第二图像获取装置当前采集到的图像的背景图像，得到包含背景语义信息的第一特征图和第二特征图；
根据所述第一特征图和所述第二特征图中目标语义背景的像素分布关系，确定目标构图区域，所述目标语义背景为所述第一图像获取装置对应的所述第一特征图中的语义背景。
102.根据权利要求101所述的系统，其特征在于，所述控制装置用于根据所述第一特征图和所述第二特征图中目标语义背景的像素分布关系，确定目标构图区域，具体包括：
根据所述第一特征图和所述第二特征图中目标语义背景的像素分布关系，确定所述第一特征图的当前像素区域的构图得分；
调整所述第一特征图的当前像素区域，直至所述第一特征图的当前像素区域的构图得分大于或等于分数阈值，以得到所述目标构图区域。
103.根据权利要求97所述的系统，其特征在于，所述控制装置用于根据所述目标构图区域，得到所述云台的控制参数，具体包括：
确定所述目标构图区域在目标图像上的区域信息，与所述第一图像获取装置当前采集到的图像在所述目标图像上的区域信息的相对关系；
基于所述相对关系，得到所述云台的控制参数。
104.根据权利要求103所述的系统，其特征在于，所述目标图像包括所述第二图像获取装置当前采集到的图像，或者，所述第一图像获取装置和所述第二图像获取装置当前采集到的图像的拼接图像。
105.根据权利要求97所述的系统，其特征在于，所述控制参数包括用于控制所述云台绕俯仰轴、横滚轴或平移轴转动的旋转参数，和/或，用于控制图像获取装置缩放的缩放参数。
106.根据权利要求97所述的系统，其特征在于，所述第二图像获取装置的分辨率低于所述第一图像获取装置的分辨率。
107.根据权利要求97所述的系统，其特征在于，所述第一图像获取装置和所述第二图像获取装置分别对应所述手持云台壳体的不同表面设置。
108.根据权利要求97所述的系统，其特征在于，所述第一图像获取装置和所述第二图像获取装置分别对应所述手持云台壳体的同一表面的不同位置设置。
109.根据权利要求97所述的系统，其特征在于，所述第二图像获取装置的个数为多个。
110.根据权利要求109所述的系统，其特征在于，多个所述第二图像获取装置中至少两个第二图像获取装置分别对应所述手持云台壳体的不同表面设置。
111.根据权利要求110所述的系统，其特征在于，所述第二图像获取装置的个数为2。
112.根据权利要求111所述的系统，其特征在于，所述手持云台壳体包括第一表面，以及与所述第一表面相邻且位于所述第一表面两侧的第二表面和第三表面；所述第一图像获取装置对应所述第一表面设置；两个所述第二图像获取装置分别对应所述第二表面和所述第三表面设置。
113.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包含至少一段代码，所述至少一段代码可由计算机执行，以控制所述计算机执行如权利要求1-16任一项所述的方法。
CN202080004225.8A 2020-03-20 2020-03-20 电子装置的控制方法、装置、设备及系统 Active CN112640420B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/080307 WO2021184326A1 (zh) 2020-03-20 2020-03-20 电子装置的控制方法、装置、设备及系统

Publications (2)

Publication Number Publication Date
CN112640420A CN112640420A (zh) 2021-04-09
CN112640420B true CN112640420B (zh) 2023-01-17

Family

ID=75291185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080004225.8A Active CN112640420B (zh) 2020-03-20 2020-03-20 电子装置的控制方法、装置、设备及系统

Country Status (2)

Country Link
CN (1) CN112640420B (zh)
WO (1) WO2021184326A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114979464B (zh) * 2022-04-18 2023-04-07 中南大学 适配目标区域的工业摄像机视场角精准配置方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107025437A (zh) * 2017-03-16 2017-08-08 南京邮电大学 基于智能构图及微表情分析的智能拍照方法及装置
CN110430359A (zh) * 2019-07-31 2019-11-08 北京迈格威科技有限公司 拍摄辅助方法、装置、计算机设备和存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015074436A (ja) * 2013-10-11 2015-04-20 富士通株式会社 画像処理装置、画像処理方法、及び、プログラム
JP6615545B2 (ja) * 2015-09-15 2019-12-04 株式会社トプコン 画像処理装置、画像処理方法および画像処理用プログラム
WO2018035764A1 (zh) * 2016-08-24 2018-03-01 深圳市大疆灵眸科技有限公司 广角照片拍摄方法、装置、云台、无人飞行器及机器人
CN107341760A (zh) * 2017-06-27 2017-11-10 北京计算机技术及应用研究所 一种基于fpga的低空目标跟踪系统
CN107862704B (zh) * 2017-11-06 2021-05-11 广东工业大学 一种目标跟踪方法、系统及其使用的云台相机
CN107835372A (zh) * 2017-11-30 2018-03-23 广东欧珀移动通信有限公司 基于双摄像头的成像方法、装置、移动终端和存储介质
CN109657576B (zh) * 2018-12-06 2023-10-31 联想(北京)有限公司 图像采集控制方法、装置、存储介质及系统
CN110072059A (zh) * 2019-05-28 2019-07-30 珠海格力电器股份有限公司 图像拍摄装置、方法及终端
CN110290351B (zh) * 2019-06-26 2021-03-23 广东康云科技有限公司 一种视频目标跟踪方法、系统、装置和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107025437A (zh) * 2017-03-16 2017-08-08 南京邮电大学 基于智能构图及微表情分析的智能拍照方法及装置
CN110430359A (zh) * 2019-07-31 2019-11-08 北京迈格威科技有限公司 拍摄辅助方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
WO2021184326A1 (zh) 2021-09-23
CN112640420A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN107948519B (zh) 图像处理方法、装置及设备
CN110730296B (zh) 图像处理装置、图像处理方法及计算机可读介质
CN109167924B (zh) 基于混合相机的视频成像方法、系统、设备及存储介质
US10764496B2 (en) Fast scan-type panoramic image synthesis method and device
US20210051273A1 (en) Photographing control method, device, apparatus and storage medium
CN111062881A (zh) 图像处理方法及装置、存储介质、电子设备
CN112261387B (zh) 用于多摄像头模组的图像融合方法及装置、存储介质、移动终端
WO2021086702A1 (en) Camera having vertically biased field of view
WO2021134179A1 (zh) 对焦方法、装置、拍摄设备、可移动平台和存储介质
CN110278366B (zh) 一种全景图像虚化方法、终端及计算机可读存储介质
CN110933297B (zh) 智能摄影系统的摄影控制方法、装置、存储介质及系统
CN107610045B (zh) 鱼眼图片拼接中的亮度补偿方法、装置、设备及存储介质
CN112640420B (zh) 电子装置的控制方法、装置、设备及系统
CN112601028B (zh) 摄像控制方法、装置、计算机设备和存储介质
CN110365910B (zh) 一种自拍方法、装置及电子设备
CN113747011B (zh) 一种辅助拍摄方法、装置、电子设备及介质
CN101554043B (zh) 图像传感器的数据组处理方法和处理系统
US20220232173A1 (en) Method and device of image processing, imaging system and storage medium
CN113507549B (zh) 一种摄像头、拍照方法、终端及存储介质
CN112532886B (zh) 全景拍摄方法、装置及计算机可读存储介质
CN115604528A (zh) 鱼眼图像压缩、鱼眼视频流压缩以及全景视频生成方法
CN113170050A (zh) 图像获取方法、电子设备和可移动设备
CN112154652A (zh) 手持云台的控制方法、控制装置、手持云台及存储介质
WO2023093274A1 (zh) 拍摄预览方法、图像融合方法、电子设备及存储介质
CN107948522B (zh) 摄像头选取拍摄人物头像的方法、装置、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant