CN114040124B - 森林草原巡视无人机的相机自适应曝光处理系统及方法 - Google Patents

森林草原巡视无人机的相机自适应曝光处理系统及方法 Download PDF

Info

Publication number
CN114040124B
CN114040124B CN202111428928.6A CN202111428928A CN114040124B CN 114040124 B CN114040124 B CN 114040124B CN 202111428928 A CN202111428928 A CN 202111428928A CN 114040124 B CN114040124 B CN 114040124B
Authority
CN
China
Prior art keywords
image
foreground
data
foreground region
exposure parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111428928.6A
Other languages
English (en)
Other versions
CN114040124A (zh
Inventor
李东东
王海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Terminus Technology Group Co Ltd
Original Assignee
Terminus Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Terminus Technology Group Co Ltd filed Critical Terminus Technology Group Co Ltd
Priority to CN202111428928.6A priority Critical patent/CN114040124B/zh
Publication of CN114040124A publication Critical patent/CN114040124A/zh
Application granted granted Critical
Publication of CN114040124B publication Critical patent/CN114040124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/005—Fire alarms; Alarms responsive to explosion for forest fires, e.g. detecting fires spread over a large or outdoors area
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/06—Electric actuation of the alarm, e.g. using a thermally-operated switch
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
    • Y02A40/28—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture specially adapted for farming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种森林草原巡视无人机的相机自适应曝光处理系统及方法，属于人工智能图像采集技术领域。该方法包括：获取森林草原巡视无人机相机使用第一初始曝光参数采集得到的第一图像和使用第二初始曝光参数采集得到的第二图像；根据第一图像得到作为曝光参数调整依据的第一数据，根据第二图像得到作为曝光参数调整依据的第二数据；将第一初始曝光参数及其对应的第一数据、第二初始曝光参数及其对应的第二数据输入至人工智能模型；根据人工智能模型输出的理想曝光参数，调整图像采集时曝光参数。本发明利用人工智能对相机曝光参数进行智能自适应调整，从而能够拍摄得到曝光理想的图像，进而提升基于图像进行火灾预警的准确度。

Description

森林草原巡视无人机的相机自适应曝光处理系统及方法
技术领域
本发明涉及人工智能图像采集技术领域，具体涉及一种森林草原巡视无人机的相机自适应曝光处理系统及方法。
背景技术
森林草原火灾不仅严重破坏森林草原资源和生态环境，而且会对人民生命财产和公共安全产生极大的危害，对国民经济可持续发展和生态安全造成巨大威胁。具体危害表现在如下几个方面：烧毁森林草原植被资源、危害野生动物、引起水土流失、使下游河流水质下降、引起空气污染、威胁人民生命财产安全。
目前，为实现森林草原火灾防控，已经提出了各种各样的防控手段，其中一种就是通过图像识别，提前识别火灾隐患、或在火灾起始时期及时准确识别，从而避免或最大程度减少火灾造成的损害。具体的，可以利用无人机巡视森林草原拍摄用于进行火灾识别的图像。为了提高火灾识别的准确性，需要提高拍摄图像的质量。曝光是影响图像质量的一个方面，不合适的曝光会导致图像画面过暗或过亮，从而丢失图像细节，导致图像识别精度低。无人机在巡视森林草原的过程中，由于角度、时间等不同，导致光照条件不断发生变化，因此无人机的相机需要适应性地调整曝光方案才能拍摄得到细节清晰的图像，以用来提高火灾图像识别的准确性。
发明内容
因此，本发明实施例要解决的技术问题在于克服现有技术中在利用森林草原巡视无人机拍摄图像进行火灾预警时由于曝光方案不合适导致影响所拍摄图像的清晰度进而导致火灾预警准确度低的缺陷，从而提供一种森林草原巡视无人机的相机自适应曝光处理系统及方法。
为此，本发明提供一种森林草原巡视无人机相机的自适应曝光处理方法，包括以下步骤：
获取所述森林草原巡视无人机相机使用第一初始曝光参数采集得到的第一图像和使用第二初始曝光参数采集得到的第二图像；其中，所述第一初始曝光参数和所述第二初始曝光参数不同，所述森林草原巡视无人机相机采集得到所述第一图像和所述第二图像时位置和角度不变；
根据所述第一图像得到作为曝光参数调整依据的第一数据，根据所述第二图像得到作为曝光参数调整依据的第二数据；
将所述第一初始曝光参数及其对应的所述第一数据、所述第二初始曝光参数及其对应的所述第二数据输入至用于进行理想曝光参数计算的人工智能模型，利用所述人工智能模型进行理想曝光数据的估计；
根据所述人工智能模型输出的所述理想曝光参数，调整图像采集时曝光参数。
可选的，所述第一数据和所述第二数据均包括整体灰度平均值、整体灰度直方图、前景区域的灰度统计平均值、前景区域的灰度直方图、背景区域的灰度统计平均值、背景区域的灰度直方图和信息熵。
可选的，所述根据所述第一图像得到作为曝光参数调整依据的第一数据，包括：
对所述第一图像进行预处理；
将预处理后的所述第一图像输入至前景识别模型；
利用所述前景识别模型从预处理后的所述第一图像提取图像特征信息，输出所述第一图像的深度卷积高维空间特征信息图；
所述前景识别模型根据所述第一图像的深度卷积高维空间特征信息图输出多个待定前景区域；
所述前景识别模型对所述待定前景区域进行分类和边框的回归微调，输出所述待定前景区域为前景区域的概率和位置；
所述前景识别模型根据所述待定前景区域为前景区域的概率，确定所述待定前景区域是否为前景区域，并根据确定为前景区域的所述待定前景区域的位置进行前景区域的拼接，得到完整的前景区域。
可选的，所述前景识别模型根据所述第一图像的深度卷积高维空间特征信息图输出多个待定前景区域，包括：
使用卷积核在所述深度卷积高维空间特征信息图上，进行逐点滑动卷积；
以所述卷积核每次滑动的中心位置为中心划分四个尺寸相等的待定框；
利用全连接层和分类层对使用卷积核卷积得到的特征信息进行处理，得到所述待定框是否是前景区域的概率；
在所述待定框是前景区域的概率大于预设阈值的情况下，将所述待定框作为所述待定前景区域输出。
可选的，所述前景识别模型对所述待定前景区域进行分类和边框的回归微调，输出所述待定前景区域为前景区域的概率和位置，包括：
利用卷积层对所述待定前景区域进行特征提取；利用池化层对所述卷积层提取的所述待定前景区域的特征进行均值池化得到固定大小的特征图；
重复N次上一步骤后，利用多层全连接层和分类层对最后一层所述池化层输出的所述待定前景区域的特征图进行分类，得到所述待定前景区域为前景区域的概率；N为正整数；
利用多层全连接层输出所述前景区域的边框相对于所述待定前景区域的偏移量。
可选的，所述前景识别模型的损失函数Loss为：
Figure BDA0003379488180000031
其中，ai是所述前景识别模型输出的所述第一图像的第i个像素点为前景区域的概率值，第i个像素点为前景区域的概率值与所述第i个像素点所在的所述待定前景区域为前景区域的概率值相同，bi是第i个像素点对应的真实值，当第i个像素点被标记为前景区域时对应的真实值为1，当被标记为背景区域时对应的真实值为0，W、H是所述第一图像的像素宽度和像素高度。
可选的，所述将所述第一初始曝光参数及其对应的所述第一数据、所述第二初始曝光参数及其对应的所述第二数据输入至用于进行理想曝光参数计算的人工智能模型，利用所述人工智能模型进行理想曝光数据的估计，包括：
利用所述人工智能模型中的特征融合层对所述第一初始曝光参数及其对应的所述第一数据、所述第二初始曝光参数及其对应的所述第二数据进行特征融合，得到第三数据；
利用所述人工智能模型中的卷积层对所述第三数据进行卷积计算；
利用所述人工智能模型中的抽样层对所述卷积层的输出进行计算；
利用所述人工智能模型中的全连接层对所述抽样层的输出进行计算，得到所述理想曝光参数。
可选的，所述获取所述森林草原巡视无人机相机使用第一初始曝光参数采集得到的第一图像和使用第二初始曝光参数采集得到的第二图像之前，还包括：
获取设置在所述相机镜头附近的光传感器采集到的传感器数据；
查找环境光数据与初始曝光参数对应表，得到与所述传感器数据对应的所述第一初始曝光参数和所述第二初始曝光参数。
本发明还提供一种森林草原巡视无人机相机的自适应曝光处理系统，包括：预览图像缓存装置、数据传输接口、处理器和曝光控制装置；
所述处理器用于通过所述数据传输接口读取所述预览图像缓存装置中存储的第一图像和第二图像，所述第一图像、所述第二图像分别是所述森林草原巡视无人机相机在同一位置和同一角度使用不同的第一初始曝光参数、第二初始曝光参数时采集得到的图像；
所述处理器还用于根据所述第一图像得到作为曝光参数调整依据的第一数据，根据所述第二图像得到作为曝光参数调整依据的第二数据；
所述处理器还用于将所述第一初始曝光参数及其对应的所述第一数据、所述第二初始曝光参数及其对应的所述第二数据输入至用于进行理想曝光参数计算的人工智能模型，利用所述人工智能模型进行理想曝光数据的估计；
所述处理器还用于根据所述人工智能模型输出的所述理想曝光参数，控制所述曝光控制装置，调整图像采集时的曝光参数。
可选的，所述处理器还用于对所述第一图像进行预处理；将预处理后的所述第一图像输入至前景识别模型；利用所述前景识别模型从预处理后的所述第一图像提取图像特征信息，输出所述第一图像的深度卷积高维空间特征信息图；利用所述前景识别模型根据所述第一图像的深度卷积高维空间特征信息图输出多个待定前景区域；利用所述前景识别模型对所述待定前景区域进行分类和边框的回归微调，输出所述待定前景区域为前景区域的概率和位置；利用所述前景识别模型根据所述待定前景区域为前景区域的概率，确定所述待定前景区域是否为前景区域，并根据确定为前景区域的所述待定前景区域的位置进行前景区域的拼接，得到完整的前景区域。
本发明实施例的技术方案，具有如下优点：
本发明实施例提供的森林草原巡视无人机的相机自适应曝光处理系统及方法，在对森林草原巡视无人机相机的曝光参数进行自适应调整时，先使用两个不同的初始曝光参数进行拍摄得到两张图像，然后根据该两张图像获取曝光相关的信息(即第一数据和第二数据)，然后利用人工智能模型对这些信息和初始曝光参数进行分析，得到理想的曝光参数，然后调整图像采集时的曝光参数，以使得采集到的图像曝光合理，从而使得采集到的图像细节清晰，进而提高基于该图像进行火灾预警分析时的准确度。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1中森林草原巡视无人机相机的自适应曝光处理方法的一个具体示例的流程图；
图2为本发明实施例1中前景识别方法的一个具体示例的流程图；
图3为本发明实施例1中森林草原巡视无人机相机的自适应曝光处理系统的一个具体示例的原理框图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，本文所用的术语仅用于描述特定实施例的目的，而并非旨在限制本发明。除非上下文明确指出，否则如本文中所使用的单数形式“一”、“一个”和“该”等意图也包括复数形式。使用“包括”和/或“包含”等术语时，是意图说明存在该特征、整数、步骤、操作、元素和/或组件，而不排除一个或多个其他特征、整数、步骤、操作、元素、组件、和/或其他组合的存在或增加。术语“和/或”包括一个或多个相关列出项目的任何和所有组合。术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通；可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本实施例提供一种森林草原巡视无人机相机的自适应曝光处理方法，如图1所示，包括以下步骤：
S1：获取所述森林草原巡视无人机相机使用第一初始曝光参数采集得到的第一图像和使用第二初始曝光参数采集得到的第二图像；其中，所述第一初始曝光参数和所述第二初始曝光参数不同，所述森林草原巡视无人机相机采集得到所述第一图像和所述第二图像时位置和角度不变；
也即，所述第一图像和所述第二图像中的内容基本相同。
S2：根据所述第一图像得到作为曝光参数调整依据的第一数据，根据所述第二图像得到作为曝光参数调整依据的第二数据；
S3：将所述第一初始曝光参数及其对应的所述第一数据、所述第二初始曝光参数及其对应的所述第二数据输入至用于进行理想曝光参数计算的人工智能模型，利用所述人工智能模型进行理想曝光数据的估计；
S4：根据所述人工智能模型输出的所述理想曝光参数，调整图像采集时曝光参数。
具体的，可以控制无人机相机的曝光系统在图像采集时按照所述理想曝光参数进行曝光。
其中，所述理想曝光参数包括理想曝光时间和理想曝光增益等。具体可以通过调整光圈系数和快门时间等进行调整。
本发明实施例中，在对森林草原巡视无人机相机的曝光参数进行自适应调整时，先使用两个不同的初始曝光参数进行拍摄得到两张图像，然后根据该两张图像获取曝光相关的信息(即第一数据和第二数据)，然后利用人工智能模型对这些信息和初始曝光参数进行分析，得到理想的曝光参数，然后调整图像采集时的曝光参数，以使得采集到的图像曝光合理，从而使得采集到的图像细节清晰，进而提高基于该图像进行火灾预警分析时的准确度。
可选的，所述第一数据和所述第二数据均包括整体灰度平均值、整体灰度直方图、前景区域的灰度统计平均值、前景区域的灰度直方图、背景区域的灰度统计平均值、背景区域的灰度直方图和信息熵。
当然，还可以包括其他与曝光相关的信息，这里不再详举。
可选的，如图2所示，步骤S2，即所述根据所述第一图像得到作为曝光参数调整依据的第一数据，包括：
S21：对所述第一图像进行预处理；
S22：将预处理后的所述第一图像输入至前景识别模型；
S23：利用所述前景识别模型从预处理后的所述第一图像提取图像特征信息，输出所述第一图像的深度卷积高维空间特征信息图；
S24：所述前景识别模型根据所述第一图像的深度卷积高维空间特征信息图输出多个待定前景区域；
S25：所述前景识别模型对所述待定前景区域进行分类和边框的回归微调，输出所述待定前景区域为前景区域的概率和位置；
S26：所述前景识别模型根据所述待定前景区域为前景区域的概率，确定所述待定前景区域是否为前景区域，并根据确定为前景区域的所述待定前景区域的位置进行前景区域的拼接，得到完整的前景区域。
本发明实施例中，前景识别模型先根据深度卷积高维空间特征信息图从第一图像中提取出多个待定前景区域，然后进一步对待定前景区域进行前景分类识别和边框的调整，可以提高前景识别的准确度。
可选的，所述前景识别模型根据所述第一图像的深度卷积高维空间特征信息图输出多个待定前景区域，包括：
使用卷积核在所述深度卷积高维空间特征信息图上，进行逐点滑动卷积；
以所述卷积核每次滑动的中心位置为中心划分四个尺寸相等的待定框；
利用全连接层和分类层对使用卷积核卷积得到的特征信息进行处理，得到所述待定框是否是前景区域的概率；
在所述待定框是前景区域的概率大于预设阈值的情况下，将所述待定框作为所述待定前景区域输出。
具体的，可以输出所述待定框的中心位置、长和宽。
可选的，所述前景识别模型对所述待定前景区域进行分类和边框的回归微调，输出所述待定前景区域为前景区域的概率和位置，包括：
利用卷积层对所述待定前景区域进行特征提取；利用池化层对所述卷积层提取的所述待定前景区域的特征进行均值池化得到固定大小的特征图；
重复N次上一步骤后，利用多层全连接层和分类层对最后一层所述池化层输出的所述待定前景区域的特征图进行分类，得到所述待定前景区域为前景区域的概率；N为正整数；
利用多层全连接层输出所述前景区域的边框相对于所述待定前景区域的偏移量。
本发明实施例中，通过卷积神经网络中的自学习特性，可以学习到图像的边缘特征、线性特征、中心环绕特征、纹理特征、空间关系特征和角点特征，克服了现有技术中仅仅提取图像的边缘特征、线性特征、中心环绕特征，而无法抑制图像中噪音的问题，使得本发明具有抑制图像中噪声的优点。
另外，上述步骤S2中根据所述第二图像得到作为曝光参数调整依据的第二数据，具体可以采用与上述获取第一数据同样的方式获取所述第二数据，此处不在赘述。
可选的，所述前景识别模型的损失函数Loss为：
Figure BDA0003379488180000081
其中，bi是所述前景识别模型输出的所述第一图像的第i个像素点为前景区域的概率值，第i个像素点为前景区域的概率值与所述第i个像素点所在的所述待定前景区域为前景区域的概率值相同，ai是第i个像素点对应的真实值，当第i个像素点被标记为前景区域时对应的真实值为1，当被标记为背景区域时对应的真实值为0，W、H是所述第一图像的像素宽度和像素高度。
可选的，所述将所述第一初始曝光参数及其对应的所述第一数据、所述第二初始曝光参数及其对应的所述第二数据输入至用于进行理想曝光参数计算的人工智能模型，利用所述人工智能模型进行理想曝光数据的估计，包括：
利用所述人工智能模型中的特征融合层对所述第一初始曝光参数及其对应的所述第一数据、所述第二初始曝光参数及其对应的所述第二数据进行特征融合，得到第三数据；
利用所述人工智能模型中的卷积层对所述第三数据进行卷积计算；
利用所述人工智能模型中的抽样层对所述卷积层的输出进行计算；
利用所述人工智能模型中的全连接层对所述抽样层的输出进行计算，得到所述理想曝光参数。
可选的，所述获取所述森林草原巡视无人机相机使用第一初始曝光参数采集得到的第一图像和使用第二初始曝光参数采集得到的第二图像之前，还包括：
获取设置在所述相机镜头附近的光传感器采集到的传感器数据；该传感器数据具体可以包括光照度；
查找环境光数据与初始曝光参数对应表，得到与所述传感器数据对应的所述第一初始曝光参数和所述第二初始曝光参数。
进一步可选的，环境光数据与初始曝光参数对应表可以所述相机历史拍摄的图像确定，具体的，一个环境光数据对应的初始曝光参数为所述相机在对应的环境光条件下拍摄得到理想曝光的森林草原图像时，最低曝光量对应的曝光参数为所述第一初始曝光参数，最高曝光量对应的曝光参数为所述第二初始曝光参数。
另外，所述第一初始曝光参数和所述第二初始曝光参数还可以分别是森林草原巡视无人机相机最小曝光量对应的曝光参数、最大曝光量对应的曝光参数。使用所述第一初始曝光参数采集得到的所述第一图像很可能欠曝，采用所述第二曝光参数采集得到的所述第二图像很可能过曝。
进一步可选的，所述将所述第一初始曝光参数及其对应的所述第一数据、所述第二初始曝光参数及其对应的所述第二数据输入至用于进行理想曝光参数计算的人工智能模型，利用所述人工智能模型进行理想曝光数据的估计之前，还包括：
获取所述人工智能模型的训练样本集，所述训练样本集中包括根据所述相机使用第一初始曝光参数采集到的第三图像确定的第一数据和根据所述相机使用第二初始曝光参数采集到的第四图像得到的第二数据，和所述相机采集得到理想曝光的第五图像时的曝光参数，所述相机采集得到所述第三图像、所述第四图像和所述第五图像时位置和角度不变；
从训练样本集中，每次迭代随机抽取多个训练样本构成一个批次输入至所述人工智能模型；
对于输出层，设定输出层有N个节点，则对输出层的第n个节点的误差项为：δn＝(en-yn)yn(1-yn)，其中，en为第n个节点的目标输出，yn为节点n的预测输出；
对于全连接层，设定当前层有L个节点，第l个节点的误差项为：
Figure BDA0003379488180000101
Figure BDA0003379488180000102
其中，gj为节点l的输出，Wjc为当前层第l个节点到下一层的节点c的权值，M为滤波器大小，δc为节点c的误差项；
对卷积层的误差项进行计算，具体参阅所述全连接层的误差项计算；
再从后层向前层逐层依次计算出各权值的调整量，即第k轮迭代的节点p的第q个权向量的改变量Δwpq(n)，涉及的具体算法如下：
Figure BDA0003379488180000103
其中，N为输入变量个数，k为迭代层数，δp为节点p的误差项，hp为节点p的输出，wpq(n-1)为上一次迭代时节点p的第q个权向量。
本发明实施例中，在获取训练样本时，可以利用所述森林草原巡视无人机相机在森林草原中的多个不同位置，分别使用不同的曝光参数采集多张图像，该曝光参数包括所述第一初始曝光参数和所述第二初始曝光参数，以及按照一定的曝光参数调整步长对所述第一初始曝光参数或所述第二初始曝光参数进行调整得到的一个或多个曝光参数，并人工从在森林草原中的一个位置采集得到的多张图像中挑选曝光参数理想的图像并获取对应的理想曝光参数。
实施例2
本实施例提供一种森林草原巡视无人机相机的自适应曝光处理系统，如图3所示，包括：预览图像缓存装置101、数据传输接口102、处理器103和曝光控制装置104；
所述处理器103用于通过所述数据传输接口102读取所述预览图像缓存装置101中存储的第一图像和第二图像，所述第一图像、所述第二图像分别是所述森林草原巡视无人机相机在同一位置和同一角度使用不同的第一初始曝光参数、第二初始曝光参数时采集得到的图像；
所述处理器103还用于根据所述第一图像得到作为曝光参数调整依据的第一数据，根据所述第二图像得到作为曝光参数调整依据的第二数据；
所述处理器103还用于将所述第一初始曝光参数及其对应的所述第一数据、所述第二初始曝光参数及其对应的所述第二数据输入至用于进行理想曝光参数计算的人工智能模型，利用所述人工智能模型进行理想曝光数据的估计；
所述处理器103还用于根据所述人工智能模型输出的所述理想曝光参数，控制所述曝光控制装置104，调整图像采集时的曝光参数。
本实施例中，所述第一图像和所述第二图像可以不作为拍照图像进行处理后存储照片存储空间，而是作为预览图像进行处理后缓存，这样可以节省时间，使得曝光调整更加符合当前的拍摄环境。
本发明实施例中，在对森林草原巡视无人机相机的曝光参数进行自适应调整时，先使用两个不同的初始曝光参数进行拍摄得到两张图像，然后根据该两张图像获取曝光相关的信息(即第一数据和第二数据)，然后利用人工智能模型对这些信息和初始曝光参数进行分析，得到理想的曝光参数，然后调整图像采集时的曝光参数，以使得采集到的图像曝光合理，从而使得采集到的图像细节清晰，进而提高基于该图像进行火灾预警分析时的准确度。
可选的，所述处理器103还用于对所述第一图像进行预处理；将预处理后的所述第一图像输入至前景识别模型；利用所述前景识别模型从预处理后的所述第一图像提取图像特征信息，输出所述第一图像的深度卷积高维空间特征信息图；利用所述前景识别模型根据所述第一图像的深度卷积高维空间特征信息图输出多个待定前景区域；利用所述前景识别模型对所述待定前景区域进行分类和边框的回归微调，输出所述待定前景区域为前景区域的概率和位置；利用所述前景识别模型根据所述待定前景区域为前景区域的概率，确定所述待定前景区域是否为前景区域，并根据确定为前景区域的所述待定前景区域的位置进行前景区域的拼接，得到完整的前景区域。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (7)

1.一种森林草原巡视无人机相机的自适应曝光处理方法，其特征在于，包括以下步骤：
获取所述森林草原巡视无人机相机使用第一初始曝光参数采集得到的第一图像和使用第二初始曝光参数采集得到的第二图像；其中，所述第一初始曝光参数和所述第二初始曝光参数不同，所述森林草原巡视无人机相机采集得到所述第一图像和所述第二图像时位置和角度不变；
根据所述第一图像得到作为曝光参数调整依据的第一数据，根据所述第二图像得到作为曝光参数调整依据的第二数据；
将所述第一初始曝光参数及其对应的所述第一数据、所述第二初始曝光参数及其对应的所述第二数据输入至用于进行理想曝光参数计算的人工智能模型，利用所述人工智能模型进行理想曝光数据的估计；
根据所述人工智能模型输出的所述理想曝光参数，调整图像采集时曝光参数；
所述获取所述森林草原巡视无人机相机使用第一初始曝光参数采集得到的第一图像和使用第二初始曝光参数采集得到的第二图像之前，还包括：
获取设置在所述相机镜头附近的光传感器采集到的传感器数据；
查找环境光数据与初始曝光参数对应表，得到与所述传感器数据对应的所述第一初始曝光参数和所述第二初始曝光参数；
其中，所述将所述第一初始曝光参数及其对应的所述第一数据、所述第二初始曝光参数及其对应的所述第二数据输入至用于进行理想曝光参数计算的人工智能模型，利用所述人工智能模型进行理想曝光数据的估计，包括：
利用所述人工智能模型中的特征融合层对所述第一初始曝光参数及其对应的所述第一数据、所述第二初始曝光参数及其对应的所述第二数据进行特征融合，得到第三数据；
利用所述人工智能模型中的卷积层对所述第三数据进行卷积计算；
利用所述人工智能模型中的抽样层对所述卷积层的输出进行计算；
利用所述人工智能模型中的全连接层对所述抽样层的输出进行计算，得到所述理想曝光参数；
所述第一数据和所述第二数据均包括整体灰度平均值、整体灰度直方图、前景区域的灰度统计平均值、前景区域的灰度直方图、背景区域的灰度统计平均值、背景区域的灰度直方图和信息熵。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像得到作为曝光参数调整依据的第一数据，包括：
对所述第一图像进行预处理；
将预处理后的所述第一图像输入至前景识别模型；
利用所述前景识别模型从预处理后的所述第一图像提取图像特征信息，输出所述第一图像的深度卷积高维空间特征信息图；
所述前景识别模型根据所述第一图像的深度卷积高维空间特征信息图输出多个待定前景区域；
所述前景识别模型对所述待定前景区域进行分类和边框的回归微调，输出所述待定前景区域为前景区域的概率和位置；
所述前景识别模型根据所述待定前景区域为前景区域的概率，确定所述待定前景区域是否为前景区域，并根据确定为前景区域的所述待定前景区域的位置进行前景区域的拼接，得到完整的前景区域；
基于所述前景区域得到所述第一数据中的前景区域的灰度统计平均值和灰度直方图。
3.根据权利要求2所述的方法，其特征在于，所述前景识别模型根据所述第一图像的深度卷积高维空间特征信息图输出多个待定前景区域，包括：
使用卷积核在所述深度卷积高维空间特征信息图上，进行逐点滑动卷积；
以所述卷积核每次滑动的中心位置为中心划分四个尺寸相等的待定框；
利用全连接层和分类层对使用卷积核卷积得到的特征信息进行处理，得到所述待定框是否是前景区域的概率；
在所述待定框是前景区域的概率大于预设阈值的情况下，将所述待定框作为所述待定前景区域输出。
4.根据权利要求2所述的方法，其特征在于，所述前景识别模型对所述待定前景区域进行分类和边框的回归微调，输出所述待定前景区域为前景区域的概率和位置，包括：
利用卷积层对所述待定前景区域进行特征提取；利用池化层对所述卷积层提取的所述待定前景区域的特征进行均值池化得到固定大小的特征图；
重复N次上一步骤后，利用多层全连接层和分类层对最后一层所述池化层输出的所述待定前景区域的特征图进行分类，得到所述待定前景区域为前景区域的概率；N为正整数；
利用多层全连接层输出所述前景区域的边框相对于所述待定前景区域的偏移量。
5.根据权利要求2所述的方法，其特征在于，所述前景识别模型的损失函数Loss为：
Figure FDA0003626430900000031
其中，ai是所述前景识别模型输出的所述第一图像的第i个像素点为前景区域的概率值，第i个像素点为前景区域的概率值与所述第i个像素点所在的所述待定前景区域为前景区域的概率值相同，bi是第i个像素点对应的真实值，当第i个像素点被标记为前景区域时对应的真实值为1，当被标记为背景区域时对应的真实值为0，W、H是所述第一图像的像素宽度和像素高度。
6.一种森林草原巡视无人机相机的自适应曝光处理系统，其特征在于，包括：预览图像缓存装置、数据传输接口、处理器和曝光控制装置；
所述处理器用于通过所述数据传输接口读取所述预览图像缓存装置中存储的第一图像和第二图像，所述第一图像、所述第二图像分别是所述森林草原巡视无人机相机在同一位置和同一角度使用不同的第一初始曝光参数、第二初始曝光参数时采集得到的图像；所述第一初始曝光参数和所述第二初始曝光参数是通过查找环境光数据与初始曝光参数对应表得到，查表时使用的环境光数据是基于传感器数据得到，所述传感器数据是通过设置在相机镜头附近的光传感器采集得到；
所述处理器还用于根据所述第一图像得到作为曝光参数调整依据的第一数据，根据所述第二图像得到作为曝光参数调整依据的第二数据；
所述处理器还用于将所述第一初始曝光参数及其对应的所述第一数据、所述第二初始曝光参数及其对应的所述第二数据输入至用于进行理想曝光参数计算的人工智能模型，利用所述人工智能模型进行理想曝光数据的估计；
所述处理器还用于根据所述人工智能模型输出的所述理想曝光参数，控制所述曝光控制装置，调整图像采集时的曝光参数；
其中，所述人工智能模型中的特征融合层对所述第一初始曝光参数及其对应的所述第一数据、所述第二初始曝光参数及其对应的所述第二数据进行特征融合，得到第三数据；所述人工智能模型中的卷积层对所述第三数据进行卷积计算；所述人工智能模型中的抽样层对所述卷积层的输出进行计算；所述人工智能模型中的全连接层对所述抽样层的输出进行计算，得到所述理想曝光参数；
所述第一数据和所述第二数据均包括整体灰度平均值、整体灰度直方图、前景区域的灰度统计平均值、前景区域的灰度直方图、背景区域的灰度统计平均值、背景区域的灰度直方图和信息熵。
7.根据权利要求6所述的系统，其特征在于，所述处理器还用于对所述第一图像进行预处理；将预处理后的所述第一图像输入至前景识别模型；利用所述前景识别模型从预处理后的所述第一图像提取图像特征信息，输出所述第一图像的深度卷积高维空间特征信息图；利用所述前景识别模型根据所述第一图像的深度卷积高维空间特征信息图输出多个待定前景区域；利用所述前景识别模型对所述待定前景区域进行分类和边框的回归微调，输出所述待定前景区域为前景区域的概率和位置；利用所述前景识别模型根据所述待定前景区域为前景区域的概率，确定所述待定前景区域是否为前景区域，并根据确定为前景区域的所述待定前景区域的位置进行前景区域的拼接，得到完整的前景区域，基于所述前景区域得到所述第一数据中的前景区域的灰度统计平均值和灰度直方图。
CN202111428928.6A 2021-11-28 2021-11-28 森林草原巡视无人机的相机自适应曝光处理系统及方法 Active CN114040124B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111428928.6A CN114040124B (zh) 2021-11-28 2021-11-28 森林草原巡视无人机的相机自适应曝光处理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111428928.6A CN114040124B (zh) 2021-11-28 2021-11-28 森林草原巡视无人机的相机自适应曝光处理系统及方法

Publications (2)

Publication Number Publication Date
CN114040124A CN114040124A (zh) 2022-02-11
CN114040124B true CN114040124B (zh) 2022-08-16

Family

ID=80145836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111428928.6A Active CN114040124B (zh) 2021-11-28 2021-11-28 森林草原巡视无人机的相机自适应曝光处理系统及方法

Country Status (1)

Country Link
CN (1) CN114040124B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114949663B (zh) * 2022-05-13 2023-03-21 成都软智科技有限公司 一种多无人机消防系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111246091A (zh) * 2020-01-16 2020-06-05 北京迈格威科技有限公司 一种动态自动曝光控制方法和装置及电子设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5751844A (en) * 1992-04-20 1998-05-12 International Business Machines Corporation Method and apparatus for image acquisition with adaptive compensation for image exposure variation
US10530991B2 (en) * 2017-01-28 2020-01-07 Microsoft Technology Licensing, Llc Real-time semantic-aware camera exposure control
CN108257117B (zh) * 2018-01-02 2022-06-28 中兴通讯股份有限公司 图像曝光度的评测方法及装置
CN110708469B (zh) * 2018-07-10 2021-03-19 北京地平线机器人技术研发有限公司 用于适配曝光参数的方法和装置以及相应的相机曝光系统
CN110120045B (zh) * 2019-06-14 2023-05-12 晓智未来(成都)科技有限公司 一种基于回归模型的x光成像曝光参数确定方法
US11284010B2 (en) * 2019-10-22 2022-03-22 Canon U.S.A., Inc. Apparatus and method for exposure estimation
CN113067980A (zh) * 2021-03-23 2021-07-02 北京澎思科技有限公司 图像采集方法、装置、电子设备及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111246091A (zh) * 2020-01-16 2020-06-05 北京迈格威科技有限公司 一种动态自动曝光控制方法和装置及电子设备

Also Published As

Publication number Publication date
CN114040124A (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
US10636129B2 (en) Wind motion threshold image analysis system
CN108777815B (zh) 视频处理方法和装置、电子设备、计算机可读存储介质
US10896323B2 (en) Method and device for image processing, computer readable storage medium, and electronic device
JP7043191B2 (ja) 画像認識装置、学習装置、画像認識方法、学習方法及びプログラム
WO2019233393A1 (zh) 图像处理方法和装置、存储介质、电子设备
CN108109385B (zh) 一种输电线防外破的车辆识别与危险行为判别系统与方法
Sen-Ching et al. Robust techniques for background subtraction in urban traffic video
CN108875619B (zh) 视频处理方法和装置、电子设备、计算机可读存储介质
CN108197546B (zh) 人脸识别中光照处理方法、装置、计算机设备及存储介质
CN108960290A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108875821A (zh) 分类模型的训练方法和装置、移动终端、可读存储介质
CN108805198B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN110798592B (zh) 基于视频图像的物体移动侦测方法、装置、设备及存储介质
CN110619593A (zh) 一种基于动态场景的双曝光视频成像系统
WO2021007690A1 (zh) 曝光控制方法、装置与可移动平台
CN110572573A (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN109379584B (zh) 一种复杂环境光应用条件下的相机系统及像质调节方法
CN113361326B (zh) 一种基于计算机视觉目标检测的智慧电厂管控系统
CN114040124B (zh) 森林草原巡视无人机的相机自适应曝光处理系统及方法
CN110047060B (zh) 图像处理方法、装置、存储介质及电子设备
CN116456061B (zh) 基于动态目标检测的智能社区监控管理方法、系统及介质
CN112149476A (zh) 目标检测方法、装置、设备和存储介质
CN111444758A (zh) 一种基于时空信息的行人重识别方法及装置
CN113691724A (zh) Hdr场景检测方法与装置、终端及可读存储介质
CN111666869B (zh) 一种基于宽动态处理的人脸识别方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant