CN113491099A - 图像处理方法、装置、系统、平台及计算机可读存储介质 - Google Patents

图像处理方法、装置、系统、平台及计算机可读存储介质 Download PDF

Info

Publication number
CN113491099A
CN113491099A CN202080015619.3A CN202080015619A CN113491099A CN 113491099 A CN113491099 A CN 113491099A CN 202080015619 A CN202080015619 A CN 202080015619A CN 113491099 A CN113491099 A CN 113491099A
Authority
CN
China
Prior art keywords
image
illumination intensity
preset
exposure time
frequency component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080015619.3A
Other languages
English (en)
Inventor
徐斌
李志强
李静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN113491099A publication Critical patent/CN113491099A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Abstract

一种图像处理方法、装置、系统、平台及计算机可读存储介质，该方法包括：在当前环境的光照强度小于预设光照强度时，根据所述光照强度确定拍摄装置的单帧短曝光时间和目标拍摄次数(S101)；根据所述单帧短曝光时间和目标拍摄次数控制所述拍摄装置拍照，得到至少一张第一图像(S102)；根据预设暗光成像模型和所述光照强度对应的亮度档位倍数对所述至少一张第一图像进行处理，得到第二图像(S103)。通过上述方法提高了图像的清晰度。

Description

图像处理方法、装置、系统、平台及计算机可读存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、系统、平台及计算机可读存储介质。
背景技术
目前，暗光成像主要是对在暗光环境下拍摄到的图像依次进行解白平衡、马赛克、降噪和Gamma校正等处理，也可以通过提高感光度和曝光时间等曝光参数的方式来增加暗光环境下拍摄到的图像的亮度，通过上述方式虽然可以在一定程度上解决暗光成像的问题，但处理得到的图像较为模糊，无法保证暗光成像的图像质量和清晰度，用户体验不好。
发明内容
基于此，本申请实施例提供了一种图像处理方法、装置、系统、平台及计算机可读存储介质，旨在提高暗光环境下拍摄到的图像的质量和清晰度。
第一方面，本申请实施例提供了一种图像处理方法，包括：
在当前环境的光照强度小于预设光照强度时，根据所述光照强度确定拍摄装置的单帧短曝光时间和目标拍摄次数；
根据所述单帧短曝光时间和目标拍摄次数控制所述拍摄装置拍照，得到至少一张第一图像；
根据预设暗光成像模型和所述光照强度对应的亮度档位倍数对所述至少一张第一图像进行处理，得到第二图像，其中，所述预设暗光成像模型是根据训练图像和标注的参考图像对神经网络模型进行训练得到的。
第二方面，本申请实施例还提供了一种图像处理装置，所述图像处理装置用于控制拍摄装置，所述图像处理装置包括存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：
在当前环境的光照强度小于预设光照强度时，根据所述光照强度确定拍摄装置的单帧短曝光时间和目标拍摄次数；
根据所述单帧短曝光时间和目标拍摄次数控制所述拍摄装置拍照，得到至少一张第一图像；
根据预设暗光成像模型和所述光照强度对应的亮度档位倍数对所述至少一张第一图像进行处理，得到第二图像，其中，所述预设暗光成像模型是根据训练图像和标注的参考图像对神经网络模型进行训练得到的。
第三方面，本申请实施例还提供了一种拍摄装置，所述拍摄装置包括存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：
在当前环境的光照强度小于预设光照强度时，根据所述光照强度确定拍摄装置的单帧短曝光时间和目标拍摄次数；
根据所述单帧短曝光时间和目标拍摄次数控制所述拍摄装置拍照，得到至少一张第一图像；
根据预设暗光成像模型和所述光照强度对应的亮度档位倍数对所述至少一张第一图像进行处理，得到第二图像，其中，所述预设暗光成像模型是根据训练图像和标注的参考图像对神经网络模型进行训练得到的。
第四方面，本申请实施例还提供了一种可移动平台，所述可移动平台包括：
平台本体；
动力系统，所述动力系统设于所述平台本体上，所述动力系统用于为所述可移动平台提供移动动力；
云台，所述云台搭载于所述平台本体，所述云台用于搭载拍摄装置；
如上所述的图像处理装置，所述图像处理装置设于所述平台本体上，所述图像处理装置还用于控制所述可移动平台移动。
第五方面，本申请实施例还提供了一种拍摄系统，所述拍摄系统包括云台、搭载于所述云台的拍摄装置和如上所述的图像处理装置。
第六方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上所述的图像处理方法的步骤。
本申请实施例提供了一种图像处理方法、装置、系统、平台及计算机可读存储介质，通过在当前环境的光照强度小于预设光照强度时，根据该光照强度确定拍摄装置的单帧短曝光时间和目标拍摄次数，然后根据单帧短曝光时间和目标拍摄次数控制拍摄装置拍照，得到至少一张第一图像，最后通过基于训练图像和标注的参考图像对神经网络模型进行训练得到的预设暗光成像模型和该光照强度对应的亮度档位倍数对至少一张第一图像进行处理，得到第二图像，能够提高暗光环境下拍摄到的图像的质量和清晰度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是实施本申请实施例提供的图像处理方法的一场景示意图；
图2是实施本申请实施例提供的图像处理方法的另一场景示意图；
图3是本申请实施例提供的一种图像处理方法的步骤示意流程图；
图4是图3中的图像处理方法的子步骤示意流程图；
图5是本申请实施例提供的一种图像处理装置的结构示意性框图；
图6是本申请实施例提供的一种拍摄装置的结构示意性框图；
图7是本申请实施例提供的一种可移动平台的结构示意性框图；
图8是本申请实施例提供的一种拍摄系统的结构示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
目前，暗光成像主要是对在暗光环境下拍摄到的图像依次进行解白平衡、马赛克、降噪和Gamma校正等处理，也可以通过提高感光度和曝光时间等曝光参数的方式来增加暗光环境下拍摄到的图像的亮度，通过上述方式虽然可以在一定程度上解决暗光成像的问题，但处理得到的图像较为模糊，无法保证暗光成像的图像质量和清晰度，用户体验不好。
为解决上述问题，本申请实施例提供一种图像处理方法、装置、系统、平台及计算机可读存储介质，通过在当前环境的光照强度小于预设光照强度时，根据该光照强度确定拍摄装置的单帧短曝光时间和目标拍摄次数，然后根据单帧短曝光时间和目标拍摄次数控制拍摄装置拍照，得到至少一张第一图像，最后通过基于训练图像和标注的参考图像对神经网络模型进行训练得到的预设暗光成像模型和该光照强度对应的亮度档位倍数对至少一张第一图像进行处理，得到第二图像，能够提高暗光环境下拍摄到的图像的质量和清晰度。
请参阅图1，图1是实施本申请实施例提供的图像处理方法的一场景示意图。如图1所示，该场景包括手持云台100和搭载于手持云台100上的拍摄装置200，手持云台100包括手柄部101和设于手柄部101上的云台102，云台102用于搭载拍摄装置200，拍摄装置200可以与云台102一体设置，也可以外接于云台102。示例性的，拍摄装置200可以为智能手机，也可以为相机，例如为单反相机，还可以为摄像头。手持云台100可以承载拍摄装置200，用于固定拍摄装置200以及改变拍摄装置200的高度、倾角和/或方向，或者用于将拍摄装置200稳定地保持在某一姿态上，并控制拍摄装置200进行拍摄。
在一实施例中，云台102包括三轴电机，三轴电机分别为俯仰(pitch)轴电机1021、平移(yaw)轴电机1022和横滚(roll)轴电机(图1中未示出)，所述三轴电机用于调整搭载于云台102上的拍摄装置200的平衡姿态，以便拍摄稳定流畅的画面。其中，云台102上还设置有惯性测量单元(Inertialmeasurement unit，IMU)，可例如为加速度计或陀螺仪中的至少一种，可以用于测量云台102的姿态和加速度等，以便根据姿态调整云台102的姿态。在一实施例中，手柄部101上也设置有惯性测量单元(Inertial measurement unit，IMU)，例如包括加速度计或陀螺仪中的至少一种，可以用于测量手柄部101的姿态和加速度等，以便根据手柄部101的姿态和云台102的姿态调整云台102的姿态。
在一实施例中，手持云台100与拍摄装置200通信连接，手持云台100可以通过控制线与拍摄装置200连接，该控制线例如为快门线。此处不限定快门线的种类，例如，该快门线可以是通用串行总线(Universal Serial Bus，USB)。手持云台100也可以通过无线的方式与拍摄装置200连接，例如，通过手持云台100内置的第一蓝牙模块与拍摄装置200内置的第二蓝牙模块，建立手持云台100与拍摄装置200之间的通信连接。
在一实施例中，手持云台100还包括图像处理装置(图中未示出)，该图像处理装置设置于手柄部101的内部，在需要拍照时，该图像处理装置获取当前环境的光照强度，并在当前环境的光照强度小于预设光照强度时，根据该光照强度确定拍摄装置200的单帧短曝光时间和目标拍摄次数；根据该单帧短曝光时间和目标拍摄次数控制拍摄装置200拍照，得到至少一张第一图像；通过基于训练图像和标注的参考图像对神经网络模型进行训练得到的预设暗光成像模型和光照强度对应的亮度档位倍数对至少一张第一图像进行处理，得到第二图像，能够提高暗光环境下拍摄到的图像的质量和清晰度。其中，该图像处理装置可以借助摄像头等传感器来获取当前环境的光照强度，也可以借助服务器下载的天气数据来获取当前环境的光照强度。
在一实施例中，手柄部101上还设置有控制键，以便用户操作该控制键以控制云台102或拍摄装置200。该控制键可例如为按键、扳机、旋钮或者摇杆等，当然也包括其他形式的物理按键或者虚拟按键。其中，虚拟按键可以为设置于触摸屏上的用于和用户交互的虚拟按钮。摇杆可以用于控制至少一个转轴的运动，进而控制拍摄装置200的运动。可以理解的是，遥杆也可以用于其他功能。可以理解的是，控制键的数量可以为一个或多个。当控制键的数量为一个时，可以针对该控制键采用不同的操作方式产生不同的控制指令，不同的操作方式比如为按压次数不同；当控制键的数量为多个时，比如包括第一控制键、第二控制键和第三控制键等，不同控制键用于产生不同的控制指令。
请参阅图2，图2是实施本申请实施例提供的图像处理方法的另一场景示意图，如图2所示，该场景包括控制终端300和可移动平台400，控制终端300与可移动平台400通信连接，控制终端300包括显示装置310，显示装置310用于显示可移动平台400发送的图像。需要说明的是，显示装置310包括设置在控制终端300上的显示屏或者独立于控制终端300的显示器，独立于控制终端300的显示器可以包括手机、平板电脑或者个人电脑等，或者也可以是带有显示屏的其他电子设备。其中，该显示屏包括LED显示屏、OLED显示屏、LCD显示屏等等。
在一实施例中，可移动平台400包括平台本体410、搭载于平台本体上的云台420和动力系统430，云台420用于搭载拍摄装置500，动力系统430包括电机431和螺旋桨432，电机431用于驱动螺旋桨432旋转，从而为可移动平台提供移动动力。其中，云台420包括三轴电机，分别为平移轴电机421、俯仰轴电机422和横滚轴电机423，用于调整搭载于云台420上的拍摄装置500的平衡姿态，以便随时随地拍摄出高精度的稳定画面。
在一实施例中，可移动平台400还包括图像处理装置(图中未示出)，该图像处理装置设置于平台本体410内部，在需要拍照时，该图像处理装置获取当前环境的光照强度，并在当前环境的光照强度小于预设光照强度时，根据该光照强度确定拍摄装置500的单帧短曝光时间和目标拍摄次数；根据该单帧短曝光时间和目标拍摄次数控制拍摄装置500拍照，得到至少一张第一图像；通过基于训练图像和标注的参考图像对神经网络模型进行训练得到的预设暗光成像模型和光照强度对应的亮度档位倍数对至少一张第一图像进行处理，得到第二图像，能够提高暗光环境下拍摄到的图像的质量和清晰度。其中，该图像处理装置可以借助摄像头等传感器来获取当前环境的光照强度，也可以借助服务器下载的天气数据来获取当前环境的光照强度。
其中，可移动平台包括可移动机器人、无人机和无人车等，可移动平台400为无人机，动力系统430能够使无人机垂直地从地面起飞，或者垂直地降落在地面上，而不需要无人机任何水平运动(如不需要在跑道上滑行)。可选的，动力系统430可以允许无人机在空中预设位置和/或方向盘旋。一个或者多个动力系统430在受到控制时可以独立于其它的动力系统430。可选的，一个或者多个动力系统430可以同时受到控制。例如，无人机可以有多个水平方向的动力系统430，以追踪目标的提升及/或推动。水平方向的动力系统430可以被致动以提供无人机垂直起飞、垂直降落、盘旋的能力。
在一实施例中，水平方向的动力系统430中的一个或者多个可以顺时针方向旋转，而水平方向的动力系统中的其它一个或者多个可以逆时针方向旋转。例如，顺时针旋转的动力系统430与逆时针旋转的动力系统430的数量一样。每一个水平方向的动力系统430的旋转速率可以独立变化，以实现每个动力系统430导致的提升及/或推动操作，从而调整无人机的空间方位、速度及/或加速度(如相对于多达三个自由度的旋转及平移)。
在一实施例中，无人机还可以包括传感系统，传感系统可以包括一个或者多个传感器，以感测无人机的空间方位、速度及/或加速度(如相对于多达三个自由度的旋转及平移)、角加速度、姿态、位置(绝对位置或者相对位置)等。所述一个或者多个传感器包括GPS传感器、运动传感器、惯性传感器、近程传感器或者影像传感器。可选的，传感系统还可以用于采集无人飞行器所处的环境数据，如气候条件、要接近的潜在的障碍、地理特征的位置、人造结构的位置等。另外，无人机可以包括脚架，所述脚架是无人机降落时，无人机与地面的接触件，脚架可以是无人飞行器在飞行状态(例如无人飞行器在巡航时)收起，在降落时才放下；也可以固定安装在无人机上，一直处于放下的状态。
在一实施例中，可移动平台400能够与控制终端300进行通信，可以实现控制终端300与可移动平台400之间的数据交互，例如对可移动平台400的移动控制、对负载的控制(当负载为拍摄装置500时，控制终端300可以控制该拍摄装置500)，其中，控制终端300可以与可移动平台400和/或负载进行通信，可移动平台400与控制终端300之间的通信可以是无线通信，可以在可移动平台400和控制终端300之间提供直接通信。这种直接通信可以无需任何中间装置或网络地发生的。
在一实施例中，可以在可移动平台400与控制终端300之间提供间接通信。这种间接通信可以借助于一个或多个中间装置或网络来发生。例如，间接通信可以利用电信网络。间接通信可以借助于一个或多个路由器、通信塔、卫星、或任何其他的中间装置或网络来进行。通信类型的实例可以包括但不限于经由以下方式的通信：因特网，局域网(LAN)，广域网(WAN)，蓝牙，近场通信(NFC)技术，基于诸如通用分组无线电服务(GPRS)、GSM增强型数据GSM环境(EDGE)、3G、4G、或长期演进(LTE)协议的移动数据协议的网络，红外线(IR)通信技术，和/或Wi-Fi，并且可以是无线式、有线式、或其组合。
其中，控制终端300可以包括但不限于：智能电话/手机、平板电脑、个人数字助理(PDA)、台式计算机、媒体内容播放器、视频游戏站/系统、虚拟现实系统、增强现实系统、可穿戴式装置(例如，手表、眼镜、手套、头饰(例如，帽子、头盔、虚拟现实头戴耳机、增强现实头戴耳机、头装式装置(HMD)、头带)、挂件、臂章、腿环、鞋子、马甲)、手势识别装置、麦克风、能够提供或渲染图像数据的任意电子装置、或者任何其他类型的装置。该控制终端300可以是手持终端，控制终端300可以是便携式的。该控制终端300可以由人类用户携带。在一些情况下，控制终端300可以远离人类用户，并且用户可以使用无线和/或有线通信来控制控制终端300。
以下，将结合图1或图2中的场景对本申请的实施例提供的图像处理方法进行详细介绍。需知，图1或图2中的场景仅用于解释本申请实施例提供的图像处理方法，但并不构成对本申请实施例提供的图像处理方法应用场景的限定。
请参阅图3，图3是本申请实施例提供的一种图像处理方法的步骤示意流程图。
如图3所示，该图像处理方法可以包括步骤S101至步骤S103。
步骤S101、在当前环境的光照强度小于预设光照强度时，根据所述光照强度确定拍摄装置的单帧短曝光时间和目标拍摄次数。
示例性的，在获取到拍摄指令时，获取拍摄装置所处当前环境的光照强度，并确定当前环境的光照强度是否小于预设光照强度，在当前环境的光照强度小于预设光照强度时，根据该光照强度确定拍摄装置的单帧短曝光时间和目标拍摄次数。其中，在当前环境的光照强度小于预设光照强度时，可以确定拍摄装置处于暗光环境，当检测到用户对拍摄按键的按压操作时，生成拍摄指令，拍摄装置所处当前环境的光照强度可以根据预置光照度传感器确定，预置光照传感器可以设置在拍摄装置中，预置光照传感器也可以设置在拍摄装置外，本实施例对此不做具体限定，单帧短曝光时间用于指示拍摄装置拍摄一帧图像的曝光时间，预设光照强度也可以基于实际情况进行设置，本实施例对此不做具体限定，例如，预设光照强度为1lux。
在一实施例中，根据该光照强度确定拍摄装置的单帧短曝光时间和目标拍摄次数的方式可以为：获取与光照强度对应的长曝光时间和亮度档位倍数；根据长曝光时间和亮度档位倍数，确定拍摄装置的单帧短曝光时间；根据预设的光照强度与目标拍摄次数之间的映射关系和该光照强度，确定拍摄装置的目标拍摄次数。通过确定暗光环境下的拍摄装置的目标拍摄次数、长曝光时间和亮度档位倍数，再通过长曝光时间和亮度档位倍数，可以确定单帧短曝光时间，便于后续拍摄装置在该单帧短曝光时间下拍摄到多张图像，使得通过对多张图像进行处理后的图像能够媲美长曝光下拍摄到的图像，以提高暗光环境下拍摄到的图像的质量和清晰度。
其中，拍摄装置的单帧短曝光时间和目标拍摄次数可以根据预存的光照强度、单帧短曝光时间、亮度档位倍数之间的映射关系和拍摄装置所处当前环境的光照强度确定，预设的光照强度与目标拍摄次数之间的映射关系以及预存的光照强度、单帧短曝光时间、亮度档位倍数之间的映射关系可以基于实际情况进行设置，本实施例对此不做具体限定。
在一实施例中，根据长曝光时间和亮度档位倍数，确定拍摄装置的单帧短曝光时间的方式可以为：在拍摄装置的ISO(感光度)固定的情况下，确定长曝光时间与亮度档位倍数的比值，并将长曝光时间与亮度档位倍数的比值确定为拍摄装置的单帧短曝光时间。例如，长曝光时间为4秒，亮度档位倍数为32，则长曝光时间4秒与亮度档位倍数32的比值为0.125，因此拍摄装置的单帧短曝光时间为0.125秒。
步骤S102、根据所述单帧短曝光时间和目标拍摄次数控制所述拍摄装置拍照，得到至少一张第一图像。
示例性的，在控制拍摄装置拍摄时，控制拍摄装置的曝光时间，使得拍摄得到的第一图像的曝光时间为该单帧短短曝光时间，并在实际拍摄次数达到设定的目标拍摄次数时，控制拍摄装置停止拍摄，得到至少一张第一图像。例如，单帧短曝光时间为0.25秒，目标拍摄次数为8次，则拍摄图像时，每次控制拍摄装置的曝光时间为0.25秒，且需要拍摄8次，从而得到单帧短曝光时间为0.25秒的8张第一图像。
步骤S103、根据预设暗光成像模型和所述光照强度对应的亮度档位倍数对所述至少一张第一图像进行处理，得到第二图像。
其中，所述预设暗光成像模型是根据训练图像和标注的参考图像对神经网络模型进行训练得到的，所述训练图像包括根据小于预设光照强度的不同光照强度对应的单帧短曝光时间和拍摄次数拍摄得到的图像，标注的参考图像包括根据小于预设光照强度的不同光照强度对应的长曝光时间拍摄得到的图像，通过大量的训练图像和对应标注的参考图像对神经网络模型进行训练，可以得到预设暗光成像模型，神经网络模型的具体层级结构可以根据实际情况进行设置，本实施对此不做具体限定。
在一实施例中，暗光成像模型的建立过程可以为：获取训练图像和该训练图像对应的参考图像，并根据光照强度对应的亮度档位倍数调整训练图像的亮度；对调整亮度后的训练图像进行融合，得到融合后的训练图像，并根据融合后的训练图像和对应的参考图像对神经网络模型进行迭代训练，直到训练后的神经网络模型收敛，从而得到暗光成像模型。
在一实施例中，暗光成像模型的建立过程还可以为：获取训练图像和该训练图像对应的参考图像，并根据光照强度对应的亮度档位倍数调整训练图像的亮度；根据调整亮度后的训练图像和该训练图像对应的参考图像，对神经网络模型进行迭代训练，直到训练后的神经网络模型收敛，从而得到暗光成像模型。
在一实施例中，如图4所示，步骤S103可以包括子步骤S1031至S1033。
子步骤S1031、根据所述光照强度对应的亮度档位倍数调整所述至少一张第一图像的亮度；
子步骤S1032、对调整亮度后的所述至少一张第一图像进行融合，得到第三图像；
子步骤S1033、根据所述预设暗光成像模型对所述第三图像进行处理，得到第二图像。
其中，所述预设暗光成像模型能够将第三图像拆分为不同频段的图像，所述第二图像是根据不同频段的图像合成的。所述不同频段的图像包括至少一个第一频段的图像和至少一个第二频段的图像，第一频段与第二频段之间的频段差值大于预设频段差值，第一频段的图像包括第三图像中的低频成分，第二频段的图像包括第三图像中的高频成分。其中，第一图像的格式为RAW格式，不同频段的图像的格式为RGB格式或YUV格式，第二图像的格式为RGB格式或YUV格式。可以理解的是，预设频段差值可基于实际情况进行设置，本实施例对此不做具体限定。
在一实施例中，所述预设暗光成像模型包括图像拆分层和图像合成层，所述图像拆分层用于将第三图像拆分为不同频段的图像，所述图像合成层用于对不同频段的图像进行合成，以输出第二图像。所述图像拆分层包括至少一个低频成分拆分层和至少一个高频成分拆分层，所述低频成分拆分层用于从第三图像中拆分出低频成分，所述高频成分拆分层用于从第三图像中拆分出高频成分。
在一实施例中，在对神经网络模型进行训练时，低频成分拆分层和高频成分拆分层的损失函数不同。通过给低频成分拆分层和高频成分拆分层设置不同的损失函数来训练，可以提高模型对图像的处理效果，提高暗光环境下拍摄到的图像的质量和清晰度。其中，对于仅包含图像拆分层和图像合成层的预设暗光成像模型的建立过程可以为：获取训练图像和该训练图像对应的参考图像，并根据光照强度对应的亮度档位倍数调整训练图像的亮度；对调整亮度后的训练图像进行融合，得到融合后的训练图像，并根据融合后的训练图像和对应的参考图像对神经网络模型进行迭代训练，直到训练后的神经网络模型收敛，从而得到暗光成像模型。
示例性的，由于低频成分侧重于恢复图像的色彩和粗略的结构纹理等信息，因此，所述低频成分拆分层的损失函数是根据低频成分中各像素点所属的图像块的损失确定的。或者所述低频成分拆分层的损失函数是根据低频成分中各像素点所属的图像块的损失和所述图像块的损失的权重系数确定的，所述图像块的损失的权重系数是根据标注的参考图像中的低频成分确定的。通过设置与低频成分适配的损失函数，便于训练出效果好的低频成分拆分层，使得通过暗光成像模型处理图像时，可以提高图像中的低频成分的质量和清晰度。
示例性的，由于高频成分侧重于恢复图像的边缘和纹理等信息，因此，所述高频成分拆分层的损失函数是根据高频成分拆分中的各像素点的单点损失和像素点的单点损失的权重系数确定的，所述像素点的单点损失的权重系数是根据标注的参考图像中的高频成分确定的。通过设置与高频成分适配的损失函数，便于训练出效果好的高频成分拆分层，使得通过暗光成像模型处理图像时，可以提高图像中的低频成分的质量和清晰度。
由于图像的边缘、纹理等细节的高频成分占的像素比例的极少的，如果边缘、纹理等细节处于平坦区使用同样比重的损失函数，将导致训练出的高频成分拆分层的效果不好，因此，对于高频成分拆分层的训练可以分为两个阶段，第一个阶段是利用高频成分中的像素点的单点损失对高频成分拆分层进行训练，使得训练后的高频成分拆分层输出的高频成分具有与标注的参考图像中的高频成分一致的形态；第二阶段是根据标注的参考图像中的高频成分生成一张权重系数表，并根据生成的权重系数表重新训练高频成分拆分层，使得高频成分拆分层能够较好的恢复图像的边缘和纹理等信息。其中，该权重系数表中，高频成分中处于平坦区的像素点对应的权重系数较小，高频成分中的纹理和边缘的像素点对应的权重系数较大。
其中，预设暗光成像模型中的低频成分拆分层和高频成分拆分层的数量可基于实际情况进行设置，例如，预设暗光成像模型包括一个低频成分拆分层和三个高频成分拆分层，且三个高频成分拆分层包括第一高频成分拆分层、第二高频成分拆分层和第三高频成分拆分层，则预设暗光成像模型对第三图像的处理过程可以为：通过低频成分拆分层从第三图像中拆分出低频成分，通过第一高频成分拆分层从第三图像中拆分出第一高频成分，通过第二高频成分拆分层从第三图像中拆分出第二高频成分，通过第三高频成分拆分层从第三图像中拆分出第三高频成分，最后通过图像合成层对从第三图像中拆分出的低频成分、第一高频成分、第二高频成分和第三高频成分进行合成，得到第二图像。
在一实施例中，根据预设暗光成像模型和所述光照强度对应的亮度档位倍数对所述至少一张第一图像进行处理，得到第二图像的方式可以为：根据光照强度对应的亮度档位倍数调整至少一张第一图像的亮度；根据预设暗光成像模型对调整亮度后的至少一张第一图像进行处理，得到第二图像。其中，预设暗光成像模型包括图像融合层、图像拆分层和图像合成层，该图像融合层用于对调整亮度后的至少一张第一图像进行融合。
其中，对于包含图像融合层、图像拆分层和图像合成层的预设暗光成像模型的建立过程可以为：获取训练图像和该训练图像对应的参考图像，并根据光照强度对应的亮度档位倍数调整训练图像的亮度；根据调整亮度后的训练图像和该训练图像对应的参考图像，对神经网络模型进行迭代训练，直到训练后的神经网络模型收敛，从而得到暗光成像模型。
在一实施例中，根据预设暗光成像模型对调整亮度后的至少一张第一图像进行处理，得到第二图像的方式可以为：通过图像融合层对调整亮度后的至少一张第一图像进行融合，得到第三图像；通过图像拆分层将第三图像拆分为不同频段的图像，并通过图像合成层对所述不同频段的图像进行合成，得到第二图像。通过包含图像融合层、图像拆分层和图像合成层的预设暗光成像模型可以快速的输出图像质量和清晰度较好的图像。
在一实施例中，在当前环境的光照强度小于预设光照强度时，确定拍摄装置是否处于运动状态；若拍摄装置处于运动状态，则根据光照强度确定拍摄装置的单帧短曝光时间和目标拍摄次数；根据单帧短曝光时间和目标拍摄次数控制拍摄装置拍照，得到至少一张第一图像；根据预设暗光成像模型和所述光照强度对应的亮度档位倍数对至少一张第一图像进行处理，得到第二图像。其中，拍摄装置内设置有惯性测量单元(InertialMeasurement Unit，IMU)，通过该惯性测量单元可以确定拍摄装置是否处于运动状态，另外，对于拍摄装置搭载于手持云台或可移动平台的云台上的场景，也可以通过手持云台内的惯性测量单元或可移动平台内的惯性测量单元来确定拍摄装置是否处于运动状态。在拍摄装置处于运动状态，且当前环境的光照强度小于预设光照强度时，通过上述方案可以提高暗光环境下拍摄到的图像的质量和清晰度。
在一实施例中，在当前环境的光照强度小于预设光照强度时，根据光照强度确定拍摄装置的单帧短曝光时间和目标拍摄次数；控制拍摄装置调整红外线滤光片的位置，使得拍摄装置所处环境中的红外光能够进入拍摄装置；根据单帧短曝光时间和目标拍摄次数控制拍摄装置拍照，得到至少一张第一图像；根据预设暗光成像模型和光照强度对应的亮度档位倍数对至少一张第一图像进行处理，得到第二图像。其中，拍摄装置包括红外滤光片，该红外滤光片用于过滤红外光。通过调整红外滤光片的位置，使得拍摄装置在基于单帧短曝光时间和拍摄次数拍照时，红外光能够进入拍摄装置，以提高拍照得到的图像的亮度，之后通过暗光成像模型和光照强度对应的亮度档位倍数对图像进行处理，可以进一步地提高暗光环境下拍摄到的图像的质量和清晰度。
上述实施例提供的图像处理方法，通过在当前环境的光照强度小于预设光照强度时，根据该光照强度确定拍摄装置的单帧短曝光时间和目标拍摄次数，然后根据单帧短曝光时间和目标拍摄次数控制拍摄装置拍照，得到至少一张第一图像，最后通过基于训练图像和标注的参考图像对神经网络模型进行训练得到的预设暗光成像模型和该光照强度对应的亮度档位倍数对至少一张第一图像进行处理，得到第二图像，能够提高暗光环境下拍摄到的图像的质量和清晰度。
请参阅图5，图5是本申请实施例提供的一种图像处理装置的结构示意性框图。
如图5所示，图像处理装置600包括处理器601和存储器602，处理器601和存储器602通过总线603连接，该总线603比如为I2C(Inter-integrated Circuit)总线。图像处理装置600用于控制拍摄装置。图像处理装置例如可以是芯片或者处理装置等。
具体地，处理器601可以是微控制单元(Micro-controller Unit，MCU)、中央处理单元(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等。
具体地，存储器602可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
其中，所述处理器601用于运行存储在存储器602中的计算机程序，并在执行所述计算机程序时实现如下步骤：
在当前环境的光照强度小于预设光照强度时，根据所述光照强度确定拍摄装置的单帧短曝光时间和目标拍摄次数；
根据所述单帧短曝光时间和目标拍摄次数控制所述拍摄装置拍照，得到至少一张第一图像；
根据预设暗光成像模型和所述光照强度对应的亮度档位倍数对所述至少一张第一图像进行处理，得到第二图像，其中，所述预设暗光成像模型是根据训练图像和标注的参考图像对神经网络模型进行训练得到的。
在一实施例中，所述处理器实现根据预设暗光成像模型和所述光照强度对应的亮度档位倍数对所述至少一张第一图像进行处理时，用于实现：
根据所述光照强度对应的亮度档位倍数调整所述至少一张第一图像的亮度；
对调整亮度后的所述至少一张第一图像进行融合，得到第三图像；
根据所述预设暗光成像模型对所述第三图像进行处理，得到第二图像。
在一实施例中，所述预设暗光成像模型能够将所述第三图像拆分为不同频段的图像，所述第二图像是根据所述不同频段的图像合成的。
在一实施例中，所述预设暗光成像模型包括图像拆分层和图像合成层，所述图像拆分层用于将所述第三图像拆分为不同频段的图像，所述图像合成层用于对所述不同频段的图像进行合成，以输出所述第二图像。
在一实施例中，所述图像拆分层包括至少一个低频成分拆分层和至少一个高频成分拆分层，所述低频成分拆分层用于从所述第三图像中拆分出低频成分，所述高频成分拆分层用于从所述第三图像中拆分出高频成分。
在一实施例中，所述低频成分拆分层的损失函数是根据所述低频成分中各像素点所属的图像块的损失确定的。
在一实施例中，所述低频成分拆分层的损失函数是根据所述低频成分中各像素点所属的图像块的损失和所述图像块的损失的权重系数确定的。
在一实施例中，所述高频成分拆分层的损失函数是根据所述高频成分拆分中的各像素点的单点损失和所述像素点的单点损失的权重系数确定的。
在一实施例中，所述像素点的单点损失的权重系数是根据标注的参考图像中的高频成分确定的。
在一实施例中，所述训练图像包括根据小于预设光照强度的不同光照强度对应的单帧短曝光时间和拍摄次数拍摄得到的图像，所述参考图像包括根据小于预设光照强度的不同光照强度对应的长曝光时间拍摄得到的图像。
在一实施例中，所述根据预设暗光成像模型和所述光照强度对应的亮度档位倍数对所述至少一张第一图像进行处理，得到第二图像，包括：
根据所述光照强度对应的亮度档位倍数调整所述至少一张第一图像的亮度；
根据所述预设暗光成像模型对调整亮度后的所述至少一张第一图像进行处理，得到第二图像。
在一实施例中，所述预设暗光成像模型包括图像融合层、图像拆分层和图像合成层，所述图像融合层用于对调整亮度后的所述至少一张第一图像进行融合，所述根据所述预设暗光成像模型对调整亮度后的所述至少一张第一图像进行处理，得到第二图像，包括：
通过所述图像融合层对调整亮度后的所述至少一张第一图像进行融合，得到第三图像；
通过所述图像拆分层将所述第三图像拆分为不同频段的图像，并通过所述图像合成层对所述不同频段的图像进行合成，得到第二图像。
在一实施例中，所述拍摄装置包括红外线滤光片，所述处理器实现根据所述单帧短曝光时间和目标拍摄次数控制所述拍摄装置拍照，得到至少一张第一图像之前，还用于实现：
控制所述拍摄装置调整所述红外线滤光片的位置，使得所述拍摄装置所处环境中的红外光能够进入所述拍摄装置。
在一实施例中，所述处理器实现根据所述光照强度确定所述拍摄装置的单帧短曝光时间和目标拍摄次数时，用于实现：
获取与所述光照强度对应的长曝光时间和亮度档位倍数；
根据所述长曝光时间和所述亮度档位倍数，确定所述拍摄装置的单帧短曝光时间；
根据预设的光照强度与目标拍摄次数之间的映射关系和所述光照强度，确定所述拍摄装置的目标拍摄次数。
在一实施例中，所述处理器实现根据所述光照强度确定所述拍摄装置的单帧短曝光时间和目标拍摄次数之前，还用于实现：
在当前环境的光照强度小于预设光照强度时，确定所述拍摄装置是否处于运动状态；
若所述拍摄装置处于运动状态，则根据所述光照强度确定所述拍摄装置的单帧短曝光时间和目标拍摄次数。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的图像处理装置的具体工作过程，可以参考前述图像处理方法实施例中的对应过程，在此不再赘述。
请参阅图6，图6是本申请实施例提供的一种拍摄装置的结构示意性框图。
如图6所示，该拍摄装置700包括处理器701和存储器702，处理器701和存储器702通过总线703连接，该总线703比如为I2C(Inter-integrated Circuit)总线。
具体地，处理器701可以是微控制单元(Micro-controller Unit，MCU)、中央处理单元(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等。
具体地，存储器702可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
其中，所述处理器701用于运行存储在存储器702中的计算机程序，并在执行所述计算机程序时实现如下步骤：
在当前环境的光照强度小于预设光照强度时，根据所述光照强度确定拍摄装置的单帧短曝光时间和目标拍摄次数；
根据所述单帧短曝光时间和目标拍摄次数控制所述拍摄装置拍照，得到至少一张第一图像；
根据预设暗光成像模型和所述光照强度对应的亮度档位倍数对所述至少一张第一图像进行处理，得到第二图像，其中，所述预设暗光成像模型是根据训练图像和标注的参考图像对神经网络模型进行训练得到的。
在一实施例中，所述处理器实现根据预设暗光成像模型和所述光照强度对应的亮度档位倍数对所述至少一张第一图像进行处理时，用于实现：
根据所述光照强度对应的亮度档位倍数调整所述至少一张第一图像的亮度；
对调整亮度后的所述至少一张第一图像进行融合，得到第三图像；
根据所述预设暗光成像模型对所述第三图像进行处理，得到第二图像。
在一实施例中，所述预设暗光成像模型能够将所述第三图像拆分为不同频段的图像，所述第二图像是根据所述不同频段的图像合成的。
在一实施例中，所述预设暗光成像模型包括图像拆分层和图像合成层，所述图像拆分层用于将所述第三图像拆分为不同频段的图像，所述图像合成层用于对所述不同频段的图像进行合成，以输出所述第二图像。
在一实施例中，所述图像拆分层包括至少一个低频成分拆分层和至少一个高频成分拆分层，所述低频成分拆分层用于从所述第三图像中拆分出低频成分，所述高频成分拆分层用于从所述第三图像中拆分出高频成分。
在一实施例中，所述低频成分拆分层的损失函数是根据所述低频成分中各像素点所属的图像块的损失确定的。
在一实施例中，所述低频成分拆分层的损失函数是根据所述低频成分中各像素点所属的图像块的损失和所述图像块的损失的权重系数确定的。
在一实施例中，所述高频成分拆分层的损失函数是根据所述高频成分拆分中的各像素点的单点损失和所述像素点的单点损失的权重系数确定的。
在一实施例中，所述像素点的单点损失的权重系数是根据标注的参考图像中的高频成分确定的。
在一实施例中，所述训练图像包括根据小于预设光照强度的不同光照强度对应的单帧短曝光时间和拍摄次数拍摄得到的图像，所述参考图像包括根据小于预设光照强度的不同光照强度对应的长曝光时间拍摄得到的图像。
在一实施例中，所述根据预设暗光成像模型和所述光照强度对应的亮度档位倍数对所述至少一张第一图像进行处理，得到第二图像，包括：
根据所述光照强度对应的亮度档位倍数调整所述至少一张第一图像的亮度；
根据所述预设暗光成像模型对调整亮度后的所述至少一张第一图像进行处理，得到第二图像。
在一实施例中，所述预设暗光成像模型包括图像融合层、图像拆分层和图像合成层，所述图像融合层用于对调整亮度后的所述至少一张第一图像进行融合，所述根据所述预设暗光成像模型对调整亮度后的所述至少一张第一图像进行处理，得到第二图像，包括：
通过所述图像融合层对调整亮度后的所述至少一张第一图像进行融合，得到第三图像；
通过所述图像拆分层将所述第三图像拆分为不同频段的图像，并通过所述图像合成层对所述不同频段的图像进行合成，得到第二图像。
在一实施例中，所述拍摄装置包括红外线滤光片，所述处理器实现根据所述单帧短曝光时间和目标拍摄次数控制所述拍摄装置拍照，得到至少一张第一图像之前，还用于实现：
控制所述拍摄装置调整所述红外线滤光片的位置，使得所述拍摄装置所处环境中的红外光能够进入所述拍摄装置。
在一实施例中，所述处理器实现根据所述光照强度确定所述拍摄装置的单帧短曝光时间和目标拍摄次数时，用于实现：
获取与所述光照强度对应的长曝光时间和亮度档位倍数；
根据所述长曝光时间和所述亮度档位倍数，确定所述拍摄装置的单帧短曝光时间；
根据预设的光照强度与目标拍摄次数之间的映射关系和所述光照强度，确定所述拍摄装置的目标拍摄次数。
在一实施例中，所述处理器实现根据所述光照强度确定所述拍摄装置的单帧短曝光时间和目标拍摄次数之前，还用于实现：
在当前环境的光照强度小于预设光照强度时，确定所述拍摄装置是否处于运动状态；
若所述拍摄装置处于运动状态，则根据所述光照强度确定所述拍摄装置的单帧短曝光时间和目标拍摄次数。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的拍摄装置的具体工作过程，可以参考前述图像处理方法实施例中的对应过程，在此不再赘述。
请参阅图7，图7是本申请实施例提供的一种可移动平台的结构示意性框图。
如图7所示，可移动平台800包括：
平台本体；
动力系统810，所述动力系统810设于所述平台本体上，所述动力系统810用于为所述可移动平台提供移动动力；
云台820，所述云台820搭载于所述平台本体，所述云台820用于搭载拍摄装置；
图像处理装置830，所述图像处理装置830设于所述平台本体上，所述图像处理装置830还用于控制所述可移动平台800移动。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的可移动平台的具体工作过程，可以参考前述图像处理方法实施例中的对应过程，在此不再赘述。
请参阅图8，图8是本申请实施例提供的一种拍摄系统的结构示意性框图。
如图8所示，拍摄系统900包括云台910、搭载于云台910的拍摄装置920、图像处理装置930。其中，云台910连接于手柄部，图像处理装置930设置在手柄部上，或者云台910和图像处理装置930设置在可移动平台上，图像处理装置930还用于控制可移动平台移动。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的拍摄系统的具体工作过程，可以参考前述图像处理方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现上述实施例提供的图像处理方法的步骤。
其中，所述计算机可读存储介质可以是前述任一实施例所述的可移动平台、手持云台或拍摄装置的内部存储单元，例如所述可移动平台、手持云台或拍摄装置的硬盘或内存。所述计算机可读存储介质也可以是所述可移动平台、手持云台或拍摄装置的外部存储设备，例如所述可移动平台、手持云台或拍摄装置上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (36)

1.一种图像处理方法，其特征在于，包括：
在当前环境的光照强度小于预设光照强度时，根据所述光照强度确定拍摄装置的单帧短曝光时间和目标拍摄次数；
根据所述单帧短曝光时间和目标拍摄次数控制所述拍摄装置拍照，得到至少一张第一图像；
根据预设暗光成像模型和所述光照强度对应的亮度档位倍数对所述至少一张第一图像进行处理，得到第二图像，其中，所述预设暗光成像模型是根据训练图像和标注的参考图像对神经网络模型进行训练得到的。
2.根据权利要求1所述的图像处理方法，其特征在于，所述根据预设暗光成像模型和所述光照强度对应的亮度档位倍数对所述至少一张第一图像进行处理，包括：
根据所述光照强度对应的亮度档位倍数调整所述至少一张第一图像的亮度；
对调整亮度后的所述至少一张第一图像进行融合，得到第三图像；
根据所述预设暗光成像模型对所述第三图像进行处理，得到第二图像。
3.根据权利要求2所述的图像处理方法，其特征在于，所述预设暗光成像模型能够将所述第三图像拆分为不同频段的图像，所述第二图像是根据所述不同频段的图像合成的。
4.根据权利要求2所述的图像处理方法，其特征在于，所述预设暗光成像模型包括图像拆分层和图像合成层，所述图像拆分层用于将所述第三图像拆分为不同频段的图像，所述图像合成层用于对所述不同频段的图像进行合成，以输出所述第二图像。
5.根据权利要求4所述的图像处理方法，其特征在于，所述图像拆分层包括至少一个低频成分拆分层和至少一个高频成分拆分层，所述低频成分拆分层用于从所述第三图像中拆分出低频成分，所述高频成分拆分层用于从所述第三图像中拆分出高频成分。
6.根据权利要求5所述的图像处理方法，其特征在于，所述低频成分拆分层的损失函数是根据所述低频成分中各像素点所属的图像块的损失确定的。
7.根据权利要求5所述的图像处理方法，其特征在于，所述低频成分拆分层的损失函数是根据所述低频成分中各像素点所属的图像块的损失和所述图像块的损失的权重系数确定的。
8.根据权利要求5所述的图像处理方法，其特征在于，所述高频成分拆分层的损失函数是根据所述高频成分拆分中的各像素点的单点损失和所述像素点的单点损失的权重系数确定的。
9.根据权利要求8所述的图像处理方法，其特征在于，所述像素点的单点损失的权重系数是根据标注的参考图像中的高频成分确定的。
10.根据权利要求1-9中任一项所述的图像处理方法，其特征在于，所述训练图像包括根据小于预设光照强度的不同光照强度对应的单帧短曝光时间和拍摄次数拍摄得到的图像，所述参考图像包括根据小于预设光照强度的不同光照强度对应的长曝光时间拍摄得到的图像。
11.根据权利要求1-9中任一项所述的图像处理方法，其特征在于，所述根据预设暗光成像模型和所述光照强度对应的亮度档位倍数对所述至少一张第一图像进行处理，得到第二图像，包括：
根据所述光照强度对应的亮度档位倍数调整所述至少一张第一图像的亮度；
根据所述预设暗光成像模型对调整亮度后的所述至少一张第一图像进行处理，得到第二图像。
12.根据权利要求11所述的图像处理方法，其特征在于，所述预设暗光成像模型包括图像融合层、图像拆分层和图像合成层，所述图像融合层用于对调整亮度后的所述至少一张第一图像进行融合，所述根据所述预设暗光成像模型对调整亮度后的所述至少一张第一图像进行处理，得到第二图像，包括：
通过所述图像融合层对调整亮度后的所述至少一张第一图像进行融合，得到第三图像；
通过所述图像拆分层将所述第三图像拆分为不同频段的图像，并通过所述图像合成层对所述不同频段的图像进行合成，得到第二图像。
13.根据权利要求1-9中任一项所述的图像处理方法，其特征在于，所述拍摄装置包括红外线滤光片，所述根据所述单帧短曝光时间和目标拍摄次数控制所述拍摄装置拍照，得到至少一张第一图像之前，还包括：
控制所述拍摄装置调整所述红外线滤光片的位置，使得所述拍摄装置所处环境中的红外光能够进入所述拍摄装置。
14.根据权利要求1-9中任一项所述的图像处理方法，其特征在于，所述根据所述光照强度确定所述拍摄装置的单帧短曝光时间和目标拍摄次数，包括：
获取与所述光照强度对应的长曝光时间和亮度档位倍数；
根据所述长曝光时间和所述亮度档位倍数，确定所述拍摄装置的单帧短曝光时间；
根据预设的光照强度与目标拍摄次数之间的映射关系和所述光照强度，确定所述拍摄装置的目标拍摄次数。
15.根据权利要求1-9中任一项所述的图像处理方法，其特征在于，所述根据所述光照强度确定所述拍摄装置的单帧短曝光时间和目标拍摄次数之前，还包括：
在当前环境的光照强度小于预设光照强度时，确定所述拍摄装置是否处于运动状态；
若所述拍摄装置处于运动状态，则根据所述光照强度确定所述拍摄装置的单帧短曝光时间和目标拍摄次数。
16.一种图像处理装置，其特征在于，所述图像处理装置用于控制拍摄装置，所述图像处理装置包括存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：
在当前环境的光照强度小于预设光照强度时，根据所述光照强度确定拍摄装置的单帧短曝光时间和目标拍摄次数；
根据所述单帧短曝光时间和目标拍摄次数控制所述拍摄装置拍照，得到至少一张第一图像；
根据预设暗光成像模型和所述光照强度对应的亮度档位倍数对所述至少一张第一图像进行处理，得到第二图像，其中，所述预设暗光成像模型是根据训练图像和标注的参考图像对神经网络模型进行训练得到的。
17.根据权利要求16所述的图像处理装置，其特征在于，所述处理器实现根据预设暗光成像模型和所述光照强度对应的亮度档位倍数对所述至少一张第一图像进行处理时，用于实现：
根据所述光照强度对应的亮度档位倍数调整所述至少一张第一图像的亮度；
对调整亮度后的所述至少一张第一图像进行融合，得到第三图像；
根据所述预设暗光成像模型对所述第三图像进行处理，得到第二图像。
18.根据权利要求17所述的图像处理装置，其特征在于，所述预设暗光成像模型能够将所述第三图像拆分为不同频段的图像，所述第二图像是根据所述不同频段的图像合成的。
19.根据权利要求17所述的图像处理装置，其特征在于，所述预设暗光成像模型包括图像拆分层和图像合成层，所述图像拆分层用于将所述第三图像拆分为不同频段的图像，所述图像合成层用于对所述不同频段的图像进行合成，以输出所述第二图像。
20.根据权利要求19所述的图像处理装置，其特征在于，所述图像拆分层包括至少一个低频成分拆分层和至少一个高频成分拆分层，所述低频成分拆分层用于从所述第三图像中拆分出低频成分，所述高频成分拆分层用于从所述第三图像中拆分出高频成分。
21.根据权利要求20所述的图像处理装置，其特征在于，所述低频成分拆分层的损失函数是根据所述低频成分中各像素点所属的图像块的损失确定的。
22.根据权利要求20所述的图像处理装置，其特征在于，所述低频成分拆分层的损失函数是根据所述低频成分中各像素点所属的图像块的损失和所述图像块的损失的权重系数确定的。
23.根据权利要求20所述的图像处理装置，其特征在于，所述高频成分拆分层的损失函数是根据所述高频成分拆分中的各像素点的单点损失和所述像素点的单点损失的权重系数确定的。
24.根据权利要求23所述的图像处理装置，其特征在于，所述像素点的单点损失的权重系数是根据标注的参考图像中的高频成分确定的。
25.根据权利要求16-24中任一项所述的图像处理装置，其特征在于，所述训练图像包括根据小于预设光照强度的不同光照强度对应的单帧短曝光时间和拍摄次数拍摄得到的图像，所述参考图像包括根据小于预设光照强度的不同光照强度对应的长曝光时间拍摄得到的图像。
26.根据权利要求16-24中任一项所述的图像处理装置，其特征在于，所述根据预设暗光成像模型和所述光照强度对应的亮度档位倍数对所述至少一张第一图像进行处理，得到第二图像，包括：
根据所述光照强度对应的亮度档位倍数调整所述至少一张第一图像的亮度；
根据所述预设暗光成像模型对调整亮度后的所述至少一张第一图像进行处理，得到第二图像。
27.根据权利要求26所述的图像处理装置，其特征在于，所述预设暗光成像模型包括图像融合层、图像拆分层和图像合成层，所述图像融合层用于对调整亮度后的所述至少一张第一图像进行融合，所述根据所述预设暗光成像模型对调整亮度后的所述至少一张第一图像进行处理，得到第二图像，包括：
通过所述图像融合层对调整亮度后的所述至少一张第一图像进行融合，得到第三图像；
通过所述图像拆分层将所述第三图像拆分为不同频段的图像，并通过所述图像合成层对所述不同频段的图像进行合成，得到第二图像。
28.根据权利要求16-24中任一项所述的图像处理装置，其特征在于，所述拍摄装置包括红外线滤光片，所述处理器实现根据所述单帧短曝光时间和目标拍摄次数控制所述拍摄装置拍照，得到至少一张第一图像之前，还用于实现：
控制所述拍摄装置调整所述红外线滤光片的位置，使得所述拍摄装置所处环境中的红外光能够进入所述拍摄装置。
29.根据权利要求16-24中任一项所述的图像处理装置，其特征在于，所述处理器实现根据所述光照强度确定所述拍摄装置的单帧短曝光时间和目标拍摄次数时，用于实现：
获取与所述光照强度对应的长曝光时间和亮度档位倍数；
根据所述长曝光时间和所述亮度档位倍数，确定所述拍摄装置的单帧短曝光时间；
根据预设的光照强度与目标拍摄次数之间的映射关系和所述光照强度，确定所述拍摄装置的目标拍摄次数。
30.根据权利要求16-24中任一项所述的图像处理装置，其特征在于，所述处理器实现根据所述光照强度确定所述拍摄装置的单帧短曝光时间和目标拍摄次数之前，还用于实现：
在当前环境的光照强度小于预设光照强度时，确定所述拍摄装置是否处于运动状态；
若所述拍摄装置处于运动状态，则根据所述光照强度确定所述拍摄装置的单帧短曝光时间和目标拍摄次数。
31.一种拍摄装置，其特征在于，所述拍摄装置包括存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：
在当前环境的光照强度小于预设光照强度时，根据所述光照强度确定拍摄装置的单帧短曝光时间和目标拍摄次数；
根据所述单帧短曝光时间和目标拍摄次数控制所述拍摄装置拍照，得到至少一张第一图像；
根据预设暗光成像模型和所述光照强度对应的亮度档位倍数对所述至少一张第一图像进行处理，得到第二图像，其中，所述预设暗光成像模型是根据训练图像和标注的参考图像对神经网络模型进行训练得到的。
32.一种可移动平台，其特征在于，所述可移动平台包括：
平台本体；
动力系统，所述动力系统设于所述平台本体上，所述动力系统用于为所述可移动平台提供移动动力；
云台，所述云台搭载于所述平台本体，所述云台用于搭载拍摄装置；
如权利要求16-30中任一项所述的图像处理装置，所述图像处理装置设于所述平台本体上，所述图像处理装置还用于控制所述可移动平台移动。
33.一种拍摄系统，其特征在于，所述拍摄系统包括云台、搭载于所述云台的拍摄装置和如权利要求16-30中任一项所述的图像处理装置。
34.根据权利要求33所述的拍摄系统，其特征在于，所述云台连接于手柄部，所述图像处理装置设置在所述手柄部上。
35.根据权利要求33所述的拍摄系统，其特征在于，所述云台和所述图像处理装置设置在可移动平台上，所述图像处理装置还用于控制所述可移动平台移动。
36.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1-15中任一项所述的图像处理方法的步骤。
CN202080015619.3A 2020-09-28 2020-09-28 图像处理方法、装置、系统、平台及计算机可读存储介质 Pending CN113491099A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/118577 WO2022061934A1 (zh) 2020-09-28 2020-09-28 图像处理方法、装置、系统、平台及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113491099A true CN113491099A (zh) 2021-10-08

Family

ID=77933698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080015619.3A Pending CN113491099A (zh) 2020-09-28 2020-09-28 图像处理方法、装置、系统、平台及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN113491099A (zh)
WO (1) WO2022061934A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117475498A (zh) * 2023-12-28 2024-01-30 苏州元脑智能科技有限公司 自适应目标检测方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150015740A1 (en) * 2013-07-10 2015-01-15 Samsung Electronics Co., Ltd. Image processing method for improving image quality and image processing device therewith
CN108965731A (zh) * 2018-08-22 2018-12-07 Oppo广东移动通信有限公司 一种暗光图像处理方法及装置、终端、存储介质
CN111064904A (zh) * 2019-12-26 2020-04-24 深圳深知未来智能有限公司 一种暗光图像增强方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI387332B (zh) * 2009-08-26 2013-02-21 Altek Corp A method of backlighting
CN109218627B (zh) * 2018-09-18 2021-04-09 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN109218628B (zh) * 2018-09-20 2020-12-08 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN110072051B (zh) * 2019-04-09 2021-09-03 Oppo广东移动通信有限公司 基于多帧图像的图像处理方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150015740A1 (en) * 2013-07-10 2015-01-15 Samsung Electronics Co., Ltd. Image processing method for improving image quality and image processing device therewith
CN108965731A (zh) * 2018-08-22 2018-12-07 Oppo广东移动通信有限公司 一种暗光图像处理方法及装置、终端、存储介质
CN111064904A (zh) * 2019-12-26 2020-04-24 深圳深知未来智能有限公司 一种暗光图像增强方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117475498A (zh) * 2023-12-28 2024-01-30 苏州元脑智能科技有限公司 自适应目标检测方法及装置
CN117475498B (zh) * 2023-12-28 2024-03-15 苏州元脑智能科技有限公司 自适应目标检测方法及装置

Also Published As

Publication number Publication date
WO2022061934A1 (zh) 2022-03-31

Similar Documents

Publication Publication Date Title
US11385645B2 (en) Remote control method and terminal
US10936894B2 (en) Systems and methods for processing image data based on region-of-interest (ROI) of a user
US11509817B2 (en) Autonomous media capturing
US11649052B2 (en) System and method for providing autonomous photography and videography
EP2959352B1 (en) Remote control method and terminal
US20190291864A1 (en) Transformable apparatus
US20190243357A1 (en) Wearable uav control device and uav system
WO2019242553A1 (zh) 控制拍摄装置的拍摄角度的方法、控制装置及可穿戴设备
CN106791354A (zh) 控制无人机云台转动的智能显示设备及其控制系统
US20210112194A1 (en) Method and device for taking group photo
CN105847682A (zh) 全景图像的拍摄方法、装置及系统
US20220350330A1 (en) Remote control method and terminal
CN110291777B (zh) 图像采集方法、设备及机器可读存储介质
WO2022061934A1 (zh) 图像处理方法、装置、系统、平台及计算机可读存储介质
TWI436270B (zh) 虛擬望遠方法及其裝置
WO2022109860A1 (zh) 跟踪目标对象的方法和云台
WO2022056683A1 (zh) 视场确定方法、视场确定装置、视场确定系统和介质
CN114727028B (zh) 图像曝光方法及装置、无人机
WO2018010473A1 (zh) 基于智能显示设备的无人机云台转动控制方法
US20200118335A1 (en) System and method for traveling with drone
TWI682878B (zh) 使用無人機的旅遊系統與方法
CN113454980A (zh) 全景拍摄方法、电子设备及存储介质
CN113273174A (zh) 待跟随目标的确定方法、装置、系统、设备及存储介质
CN114610051A (zh) 一种无人机的飞行控制方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20211008