CN113473026A - 一种摄像头的日夜切换方法、装置、设备和存储介质 - Google Patents

一种摄像头的日夜切换方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN113473026A
CN113473026A CN202110774714.8A CN202110774714A CN113473026A CN 113473026 A CN113473026 A CN 113473026A CN 202110774714 A CN202110774714 A CN 202110774714A CN 113473026 A CN113473026 A CN 113473026A
Authority
CN
China
Prior art keywords
day
night
probability
model
judgment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110774714.8A
Other languages
English (en)
Other versions
CN113473026B (zh
Inventor
唐仕斌
蓝发财
郑清锋
陈淑武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XIAMEN FOUR-FAITH COMMUNICATION TECHNOLOGY CO LTD
Original Assignee
XIAMEN FOUR-FAITH COMMUNICATION TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XIAMEN FOUR-FAITH COMMUNICATION TECHNOLOGY CO LTD filed Critical XIAMEN FOUR-FAITH COMMUNICATION TECHNOLOGY CO LTD
Priority to CN202110774714.8A priority Critical patent/CN113473026B/zh
Publication of CN113473026A publication Critical patent/CN113473026A/zh
Application granted granted Critical
Publication of CN113473026B publication Critical patent/CN113473026B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例提供一种摄像头的日夜切换方法、装置、设备和存储介质，涉及计算机视觉技术领域。其中，这种日夜切换方法包含S1、获取摄像头采集到的视频流；S2、将视频流输入构建的日夜判断模型，以获得日夜判断概率序列。S3、根据日夜判断概率序列，通过预测模型进行校正，以获得日夜校正概率序列；S4、根据日夜校正概率序列，控制摄像头切换日夜模式。本发明通过日夜判断模型来根据摄像头采集到的视频流来判断摄像头所处的环境是日间还是夜间，不需要在摄像头上增加硬件即可实现，大大节省了成本。并且通过预测模型对判断结果进行校正，进一步提升了判断的日夜概率的准确性，具有很好的实际意义。

Description

一种摄像头的日夜切换方法、装置、设备和存储介质
技术领域
本发明涉及计算机视觉技术领域，具体而言，涉及一种摄像头的日夜切换方法、装置、设备和存储介质。
背景技术
为了能够对目标区域实现24小时清晰的监控，现有技术中的摄像头通常具有日夜切换功能。即在白天的时候，为了能够保证监控画面的色彩正常，摄像头只采集可见光。而在晚上为了能够保证监控画面的清晰，则需要同时采集所有光线(包括红外光)。
因此，如何识别所处的环境是需要采集可见光还是需要采集所有光线成了日夜型摄像头所面临的重大问题。在先技术中，通常是在摄像头中加入只能感知可见光不能感知红外光的光敏电阻来实现对环境的感知，从而判断是否对摄像头的光线采集模式进行切换。但是，加入光敏电阻需要增加额外的驱动电路，成本较高。
发明内容
本发明提供了一种摄像头的日夜切换方法、装置、设备和存储介质，以改善相关技术中的日夜型摄像头切换光线采集模式的成本昂贵的问题。
第一方面、
本发明实施例提供了一种摄像头的日夜切换方法，其包含步骤S1至步骤S4。
S1、获取摄像头采集到的视频流；
S2、将所述视频流输入构建的日夜判断模型，以获得日夜判断概率序列；其中，所述日夜判断模型基于轻量级网络模型和分类模型构建而成；所述轻量级网络包含深度可分离卷积层和深度反残差卷积层；
S3、根据所述日夜判断概率序列，通过预测模型进行校正，以获得日夜校正概率序列；
S4、根据所述日夜校正概率序列，控制所述摄像头切换日夜模式。
可选地，所述日夜判断模型的构建步骤，具体包括：
将所述轻量级网络模型的输出端通过一层全连接层和所述分类模型连接，以形成所述日夜判断模型；
所述轻量级网络模型包含依次连接的1层卷积核为3x3的Conv、1层卷积核为3x3的MBConv1、1层卷积核为3x3的MBConv6、1层卷积核为5x5的MBConv6、1层卷积核为3x3的MBConv6和1层卷积核为3x3的Conv；其中，所述MBConv1为所述深度可分离卷积层，所述MBConv6为所述深度反残差卷积层；Conv为卷积层；
所述分类模型为softmax分类模型。
可选地，所述日夜判断概率序列包括所述日夜判断模型判断得到的所述视频流的每一帧的日间判断概率和夜间判断概率；所述日夜判断概率序列的表达式为：
Figure BDA0003154315930000021
其中，
Figure BDA0003154315930000022
为第n帧的日间判断概率，
Figure BDA0003154315930000023
为第n帧的夜间判断概率，n＝1、2、3……n；
Figure BDA0003154315930000024
可选地，所述所述预测模型为LSTM模型；所述LSTM模型能够根据输入的当前帧数的日间判断概率和夜间判断概率预测下一帧的日间校正概率和夜间校正概率；
可选地，步骤S3具体包括：
将所述日夜判断概率序列依次输入所述LSTM模型，以获得日夜校正概率序列；所述日夜校正概率的表达式为：
Figure BDA0003154315930000025
其中，
Figure BDA0003154315930000026
为第n+1帧的日间校正概率，
Figure BDA0003154315930000027
为第n+1帧的夜间校正概率,n＝2，3,4……n+1；
Figure BDA0003154315930000031
可选地，步骤S4具体包括：
从所述日夜校正概率序列提取连续的N个夜间校正概率相乘，以获得日夜概率；
判断所述日夜概率是否超过预设的阈值；
当判断到所述日夜概率超过所述阈值时，控制摄像头切换到夜间拍摄模式；
当判断到所述日夜概率不超过所述阈值时，控制摄像头切换至日间拍摄模式。
可选地，所述N为3；
可选地，所述阈值为0.5至0.9中的任一个数值。
第二方面、
本发明实施例提供了一种摄像头的日夜切换装置，其包含：
视频流模块，用于获取摄像头采集到的视频流；
第一序列模块，用于将所述视频流输入构建的日夜判断模型，以获得日夜判断概率序列；其中，所述日夜判断模型基于轻量级网络模型和分类模型构建而成；所述轻量级网络包含深度可分离卷积层和深度反残差卷积层；
第二序列模块，用于根据所述日夜判断概率序列，通过预测模型进行校正，以获得日夜校正概率序列；
控制模块，用于根据所述日夜校正概率序列，控制所述摄像头切换日夜模式。
可选地，所述第一序列模块包括日夜判断模型构建单元；
所述日夜判断模型构建单元，用于将所述轻量级网络模型的输出端通过一层全连接层和所述分类模型连接，以形成所述日夜判断模型；其中，所述轻量级网络模型包含依次连接的1层卷积核为3x3的Conv、1层卷积核为3x3的MBConv1、1层卷积核为3x3的MBConv6、1层卷积核为5x5的MBConv6、1层卷积核为3x3的MBConv6和1层卷积核为3x3的Conv；所述MBConv1为所述深度可分离卷积层，所述MBConv6为所述深度反残差卷积层；Conv为卷积层；所述分类模型为softmax分类模型；
可选地，所述所述日夜判断概率序列包括所述日夜判断模型判断得到的所述视频流的每一帧的日间判断概率和夜间判断概率；所述日夜判断概率序列的表达式为：
Figure BDA0003154315930000041
其中，
Figure BDA0003154315930000042
为第n帧的日间判断概率，
Figure BDA0003154315930000043
为第n帧的夜间判断概率，n＝1、2、3……n；
Figure BDA0003154315930000044
可选地，所述所述预测模型为LSTM模型；所述LSTM模型能够根据输入的当前帧数的日间判断概率和夜间判断概率预测下一帧的日间校正概率和夜间校正概率；
可选地，所述第二序列模块，具体用于：
将所述日夜判断概率序列依次输入所述LSTM模型，以获得日夜校正概率序列；所述日夜校正概率的表达式为：
Figure BDA0003154315930000045
其中，
Figure BDA0003154315930000046
为第n+1帧的日间校正概率，
Figure BDA0003154315930000047
为第n+1帧的夜间校正概率,n＝2，3,4……n+1；
Figure BDA0003154315930000048
可选地，所述控制模块，具体用于：
从所述日夜校正概率序列提取连续的N个夜间校正概率相乘，以获得日夜概率；
判断所述日夜概率是否超过预设的阈值；
当判断到所述日夜概率超过所述阈值时，控制摄像头切换到夜间拍摄模式；
当判断到所述日夜概率不超过所述阈值时，控制摄像头切换至日间拍摄模式。
第三方面、
本发明实施例提供了一种摄像头的日夜切换设备，其包括处理器、存储器，以及存储在所述存储器内的计算机程序；所述计算机程序能够被所述处理器执行，以实现如第一方面所述的摄像头的日夜切换方法。
第四方面、
本发明实施例提供了一种计算机可读存储介质。所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如第一方面所述的摄像头的日夜切换方法。
通过采用上述技术方案，本发明可以取得以下技术效果：
本发明实施例通过日夜判断模型来根据摄像头采集到的视频流来判断摄像头所处的环境是日间还是夜间，不需要在摄像头上增加硬件即可实现，大大节省了成本。并且通过预测模型对判断结果进行校正，进一步提升了判断的日夜概率的准确性，具有很好的实际意义。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明第一实施例提供的一种摄像头的日夜切换方法的流程示意图。
图2是日夜判断模型的结构图。
图3是本发明第二实施例提供的一种摄像头的日夜切换装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
实施例中提及的“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二”区分的对象在适当情况下可以互换，以使这里描述的实施例能够以除了在这里图示或描述的那些内容以外的顺序实施。
下面结合附图与具体实施方式对本发明作进一步详细描述：
实施例一：
请参阅图1，本发明第一实施例提供一种摄像头的日夜切换方法，其可由摄像头或者摄像头的控制设备来执行。特别地，由摄像头或者控制设备中的一个或多个处理器来执行，以实现步骤S1至步骤S4。
S1、获取摄像头采集到的视频流。
可以理解的是，这里的摄像头指的是日夜摄像头，其能够在日间模型下过滤红外线以拍摄到颜色正常且画面清晰的图像，且能够在夜间模式下采集所有光线(包括红外线)，以保证拍摄的画面足够的清晰。
摄像头的控制设备可以是与摄像头电连接的电脑、本地监控服务器，或者云端服务器。
S2、将视频流输入构建的日夜判断模型，以获得日夜判断概率序列。其中，日夜判断模型基于轻量级网络模型和分类模型构建而成。轻量级网络包含深度可分离卷积层和深度反残差卷积层。
通过构建的日夜判断模型来对摄像头采集到的视频流进行分析，从而得到摄像头所处的位置当前是处于日间还是夜间。不需要在摄像头上增加用来检测日间和夜间的硬件，大大节省了摄像头的制造成本。
在本实施例中，日夜判断模型的构建步骤，具体包括：
将轻量级网络模型的输出端通过一层全连接层和分类模型连接，以形成日夜判断模型。
如图2所示，轻量级网络模型包含依次连接的1层卷积核为3x3的Conv、1层卷积核为3x3的MBConv1、1层卷积核为3x3的MBConv6、1层卷积核为5x5的MBConv6、1层卷积核为3x3的MBConv6和1层卷积核为3x3的Conv。MBConv1为深度可分离卷积层，MBConv6为深度反残差卷积层。Conv为卷积层。分类模型为softmax分类模型。
具体地，采用轻量级网络模型，能够在保证准确率的同时也保证了计算速度，判断过程的耗时大大降低。使用很小的体积(计算量)就能计算得到想要的结果，使得日夜判断模型能够适合嵌入式平台。日夜判断模型通过大规模学习环境，从而适应各种场景特征，避免日夜切换难题。
需要说明的是，在其它实施例中，图像处理模型还可以使用轻量级网络模型以外的图像处理模型，分类模型也可以使用softmax分类模型以外的现有的分类模型，本发明对此不做具体限定。
S3、根据日夜判断概率序列，通过预测模型进行校正，以获得日夜校正概率序列。
在本实施例中，为了提高日夜状态判断的准确率，还采用了预测模型对日夜判断模型判断到的日夜判断概率序列进行校正，以避免个别帧判断错误的情况发生。同时预测模型预测的是下一帧的日夜状态，因此还能够提高日夜切换方法的时效性。避免摄像头不能及时的根据环境改变拍摄模式的问题。
需要说明的是，日夜判断概率序列包括日夜判断模型判断得到的视频流的每一帧的日间判断概率和夜间判断概率。日夜判断概率序列的表达式为：
Figure BDA0003154315930000081
其中，
Figure BDA0003154315930000082
为第n帧的日间判断概率，
Figure BDA0003154315930000083
为第n帧的夜间判断概率，n＝1、2、3……n。
Figure BDA0003154315930000084
具体的，在本实施例中，将摄像头采集到的视频流逐帧输入到日夜判断模型中，每输入一帧，日夜判断模型输出该帧对应的日间判断概率和夜间判断概率。
可以理解的是，在其它实施例中，可以每间隔预定帧数输入一帧到日夜判断模型进行判断，从而减少计算量；在计算结果中，也可以只输出日间判断概率或者夜间判断概率，本发明对此不做具体限定。
需要说明的是，预测模型为LSTM模型。LSTM模型能够根据输入的当前帧数的日间判断概率和夜间判断概率预测下一帧的日间校正概率和夜间校正概率。
LSTM是一种特殊的RNN网络，能够学习长期与短期的依赖关系，根据当前输入的特征和之前输入的特征，进行精准的预测下一步的特征。
在上述实施例的基础上，本发明一可选实施例中，步骤S3具体包括：
将日夜判断概率序列依次输入LSTM模型，以获得日夜校正概率序列。日夜校正概率的表达式为：
Figure BDA0003154315930000091
其中，
Figure BDA0003154315930000092
为第n+1帧的日间校正概率，
Figure BDA0003154315930000093
为第n+1帧的夜间校正概率,n＝2，3,4……n+1。
Figure BDA0003154315930000094
在本实施例中，通过LSTM模型来提高日夜状态判断的准确性，同时提高日夜切换方法的效率，避免延迟，具有很好的实际意义。
在其它实施例中，还可以采用其它现有技术中的预测模型来对日间判断序列进行校正，本发明对此不做具体限定。
S4、根据日夜校正概率序列，控制摄像头切换日夜模式。
在本实施例中，步骤S4具体包括：
S41、从日夜校正概率序列提取连续的N个夜间校正概率相乘，以获得日夜概率。
S42、判断日夜概率是否超过预设的阈值。
S43、当判断到日夜概率超过阈值时，控制摄像头切换到夜间拍摄模式。
S44、当判断到日夜概率不超过阈值时，控制摄像头切换至日间拍摄模式。
具体地，为了进一步避免判断失误，在本实施例中，通过将连续N个夜间概率相乘，来获得最终的日夜概率，大大提高了判断的准确性，避免摄像头模式切换错误。
在本实施例中，N为3。阈值为0.5至0.9中的任一个数值。在其它实施例中，N可以为2或者大于3任一个自然数，本发明对此不做具体限定。
可以理解的是，在本实施例中，设定夜间的值为1，日间的值为0，通过夜间校正概率来切换摄像头的日夜模式的切换。在其它实施例中，也可以设定日间的值为1，夜间的值为0，然后通过日间校正概率来切换摄像头的日夜模式的切换，本发明对此不做具体限定。
本发明实施例通过日夜判断模型来根据摄像头采集到的视频流来判断摄像头所处的环境是日间还是夜间，不需要在摄像头上增加硬件即可实现，大大节省了成本。并且通过预测模型对判断结果进行校正，进一步提升了判断的日夜概率的准确性，具有很好的实际意义。
实施例二：
请参阅图3，本发明第二实施例提供一种摄像头的日夜切换装置，其包含：
视频流模块1，用于获取摄像头采集到的视频流。
第一序列模块2，用于将视频流输入构建的日夜判断模型，以获得日夜判断概率序列。其中，日夜判断模型基于轻量级网络模型和分类模型构建而成。轻量级网络包含深度可分离卷积层和深度反残差卷积层。
第二序列模块3，用于根据日夜判断概率序列，通过预测模型进行校正，以获得日夜校正概率序列。
控制模块4，用于根据日夜校正概率序列，控制摄像头切换日夜模式。
本发明实施例通过日夜判断模型来根据摄像头采集到的视频流来判断摄像头所处的环境是日间还是夜间，不需要在摄像头上增加硬件即可实现，大大节省了成本。并且通过预测模型对判断结果进行校正，进一步提升了判断的日夜概率的准确性，具有很好的实际意义。
可选地，第一序列模块2包括日夜判断模型构建单元。
日夜判断模型构建单元，用于将轻量级网络模型的输出端通过一层全连接层和分类模型连接，以形成日夜判断模型。其中，轻量级网络模型包含依次连接的1层卷积核为3x3的Conv、1层卷积核为3x3的MBConv1、1层卷积核为3x3的MBConv6、1层卷积核为5x5的MBConv6、1层卷积核为3x3的MBConv6和1层卷积核为3x3的Conv。MBConv1为深度可分离卷积层，MBConv6为深度反残差卷积层。Conv为卷积层。分类模型为softmax分类模型。
可选地，日夜判断概率序列包括日夜判断模型判断得到的视频流的每一帧的日间判断概率和夜间判断概率。日夜判断概率序列的表达式为：
Figure BDA0003154315930000111
其中，
Figure BDA0003154315930000112
为第n帧的日间判断概率，
Figure BDA0003154315930000113
为第n帧的夜间判断概率，n＝1、2、3……n。
Figure BDA0003154315930000114
可选地，预测模型为LSTM模型。LSTM模型能够根据输入的当前帧数的日间判断概率和夜间判断概率预测下一帧的日间校正概率和夜间校正概率。
可选地，第二序列模块3，具体用于：
将日夜判断概率序列依次输入LSTM模型，以获得日夜校正概率序列。日夜校正概率的表达式为：
Figure BDA0003154315930000115
其中，
Figure BDA0003154315930000116
为第n+1帧的日间校正概率，
Figure BDA0003154315930000117
为第n+1帧的夜间校正概率,n＝2，3,4……n+1。
Figure BDA0003154315930000118
可选地，控制模块4，具体用于：
从日夜校正概率序列提取连续的N个夜间校正概率相乘，以获得日夜概率。
判断日夜概率是否超过预设的阈值。
当判断到日夜概率超过阈值时，控制摄像头切换到夜间拍摄模式。
当判断到日夜概率不超过阈值时，控制摄像头切换至日间拍摄模式。
在本实施例中，N为3。阈值为0.5至0.9中的任一个数值。在其它实施例中，N可以为2或者大于3任一个自然数，本发明对此不做具体限定。
实施例三、
本发明实施例提供了一种摄像头的日夜切换设备，其包括处理器、存储器，以及存储在存储器内的计算机程序。计算机程序能够被处理器执行，以实现如实施例一的摄像头的日夜切换方法。
实施例四、
本发明实施例提供了一种计算机可读存储介质。计算机可读存储介质包括存储的计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行如实施例一的摄像头的日夜切换方法。
在本发明实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种摄像头的日夜切换方法，其特征在于，包含：
获取摄像头采集到的视频流；
将所述视频流输入构建的日夜判断模型，以获得日夜判断概率序列；其中，所述日夜判断模型基于轻量级网络模型和分类模型构建而成；所述轻量级网络包含深度可分离卷积层和深度反残差卷积层；
根据所述日夜判断概率序列，通过预测模型进行校正，以获得日夜校正概率序列；
根据所述日夜校正概率序列，控制所述摄像头切换日夜模式。
2.根据权利要求1所述的日夜切换方法，其特征在于，所述日夜判断模型的构建步骤，具体包括：
将所述轻量级网络模型的输出端通过一层全连接层和所述分类模型连接，以形成所述日夜判断模型；
所述轻量级网络模型包含依次连接的1层卷积核为3x3的Conv、1层卷积核为3x3的MBConv1、1层卷积核为3x3的MBConv6、1层卷积核为5x5的MBConv6、1层卷积核为3x3的MBConv6和1层卷积核为3x3的Conv；其中，所述MBConv1为所述深度可分离卷积层，所述MBConv6为所述深度反残差卷积层；Conv为卷积层；
所述分类模型为softmax分类模型。
3.根据权利要求1所述的日夜切换方法，其特征在于，所述日夜判断概率序列包括所述日夜判断模型判断得到的所述视频流的每一帧的日间判断概率和夜间判断概率；所述日夜判断概率序列的表达式为：
Figure FDA0003154315920000011
其中，
Figure FDA0003154315920000012
为第n帧的日间判断概率，
Figure FDA0003154315920000013
为第n帧的夜间判断概率，n＝1、2、3……n；
Figure FDA0003154315920000021
所述预测模型为LSTM模型；所述LSTM模型能够根据输入的当前帧数的日间判断概率和夜间判断概率预测下一帧的日间校正概率和夜间校正概率；
所述根据所述日夜判断概率序列，通过预测模型进行校正，以获得日夜校正概率序列，具体包括：
将所述日夜判断概率序列依次输入所述LSTM模型，以获得日夜校正概率序列；所述日夜校正概率的表达式为：
Figure FDA0003154315920000022
其中，
Figure FDA0003154315920000023
为第n+1帧的日间校正概率，
Figure FDA0003154315920000024
为第n+1帧的夜间校正概率,n＝2，3,4……n+1；
Figure FDA0003154315920000025
4.根据权利要求3所述的日夜切换方法，其特征在于，所述根据所述日夜校正概率序列，控制所述摄像头切换日夜模式，具体包括：
从所述日夜校正概率序列提取连续的N个夜间校正概率相乘，以获得日夜概率；
判断所述日夜概率是否超过预设的阈值；
当判断到所述日夜概率超过所述阈值时，控制摄像头切换到夜间拍摄模式；
当判断到所述日夜概率不超过所述阈值时，控制摄像头切换至日间拍摄模式。
5.根据权利要求4所述的日夜切换方法，其特征在于，所述N为3；所述阈值为0.5至0.9中的任一个数值。
6.一种摄像头的日夜切换装置，其特征在于，包含：
视频流模块，用于获取摄像头采集到的视频流；
第一序列模块，用于将所述视频流输入构建的日夜判断模型，以获得日夜判断概率序列；其中，所述日夜判断模型基于轻量级网络模型和分类模型构建而成；所述轻量级网络包含深度可分离卷积层和深度反残差卷积层；
第二序列模块，用于根据所述日夜判断概率序列，通过预测模型进行校正，以获得日夜校正概率序列；
控制模块，用于根据所述日夜校正概率序列，控制所述摄像头切换日夜模式。
7.根据权利要求6所述的日夜切换装置，其特征在于，所述第一序列模块包括日夜判断模型构建单元；
所述日夜判断模型构建单元，用于将所述轻量级网络模型的输出端通过一层全连接层和所述分类模型连接，以形成所述日夜判断模型；其中，所述轻量级网络模型包含依次连接的1层卷积核为3x3的Conv、1层卷积核为3x3的MBConv1、1层卷积核为3x3的MBConv6、1层卷积核为5x5的MBConv6、1层卷积核为3x3的MBConv6和1层卷积核为3x3的Conv；所述MBConv1为所述深度可分离卷积层，所述MBConv6为所述深度反残差卷积层；Conv为卷积层；所述分类模型为softmax分类模型；
所述日夜判断概率序列包括所述日夜判断模型判断得到的所述视频流的每一帧的日间判断概率和夜间判断概率；所述日夜判断概率序列的表达式为：
Figure FDA0003154315920000031
其中，
Figure FDA0003154315920000032
为第n帧的日间判断概率，
Figure FDA0003154315920000033
为第n帧的夜间判断概率，n＝1、2、3……n；
Figure FDA0003154315920000034
所述预测模型为LSTM模型；所述LSTM模型能够根据输入的当前帧数的日间判断概率和夜间判断概率预测下一帧的日间校正概率和夜间校正概率；
所述第二序列模块，具体用于：
将所述日夜判断概率序列依次输入所述LSTM模型，以获得日夜校正概率序列；所述日夜校正概率的表达式为：
Figure FDA0003154315920000035
其中，
Figure FDA0003154315920000036
为第n+1帧的日间校正概率，
Figure FDA0003154315920000037
为第n+1帧的夜间校正概率,n＝2，3,4……n+1；
Figure FDA0003154315920000038
8.根据权利要求7所述的日夜切换装置，其特征在于，所述控制模块，具体用于：
从所述日夜校正概率序列提取连续的N个夜间校正概率相乘，以获得日夜概率；
判断所述日夜概率是否超过预设的阈值；
当判断到所述日夜概率超过所述阈值时，控制摄像头切换到夜间拍摄模式；
当判断到所述日夜概率不超过所述阈值时，控制摄像头切换至日间拍摄模式。
9.一种摄像头的日夜切换设备，其特征在于，包括处理器、存储器，以及存储在所述存储器内的计算机程序；所述计算机程序能够被所述处理器执行，以实现如权利要求1至5任意一项所述的摄像头的日夜切换方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至5任意一项所述的摄像头的日夜切换方法。
CN202110774714.8A 2021-07-08 2021-07-08 一种摄像头的日夜切换方法、装置、设备和存储介质 Active CN113473026B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110774714.8A CN113473026B (zh) 2021-07-08 2021-07-08 一种摄像头的日夜切换方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110774714.8A CN113473026B (zh) 2021-07-08 2021-07-08 一种摄像头的日夜切换方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN113473026A true CN113473026A (zh) 2021-10-01
CN113473026B CN113473026B (zh) 2023-04-07

Family

ID=77879411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110774714.8A Active CN113473026B (zh) 2021-07-08 2021-07-08 一种摄像头的日夜切换方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN113473026B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104580896A (zh) * 2014-12-25 2015-04-29 深圳市锐明视讯技术有限公司 一种摄像机日夜模式切换方法和装置
CN110070067A (zh) * 2019-04-29 2019-07-30 北京金山云网络技术有限公司 视频分类方法及其模型的训练方法、装置和电子设备
CN110188761A (zh) * 2019-04-22 2019-08-30 平安科技（深圳）有限公司 验证码的识别方法、装置、计算机设备和存储介质
CN110602488A (zh) * 2019-09-18 2019-12-20 普联技术有限公司 一种日夜型摄像装置切换异常检测方法、装置及摄像装置
CN111246076A (zh) * 2018-11-29 2020-06-05 广州佳可电子科技有限公司 一种网络摄像机图像日视和夜视的切换方法
WO2020171818A1 (en) * 2019-02-22 2020-08-27 Google Llc Memory-guided video object detection
CN112434723A (zh) * 2020-07-23 2021-03-02 之江实验室 一种基于注意力网络的日/夜间图像分类及物体检测方法
US20210195108A1 (en) * 2019-12-20 2021-06-24 Vivotek Inc. Day-mode-night-mode switching method and related monitoring camera apparatus

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104580896A (zh) * 2014-12-25 2015-04-29 深圳市锐明视讯技术有限公司 一种摄像机日夜模式切换方法和装置
CN111246076A (zh) * 2018-11-29 2020-06-05 广州佳可电子科技有限公司 一种网络摄像机图像日视和夜视的切换方法
WO2020171818A1 (en) * 2019-02-22 2020-08-27 Google Llc Memory-guided video object detection
CN110188761A (zh) * 2019-04-22 2019-08-30 平安科技（深圳）有限公司 验证码的识别方法、装置、计算机设备和存储介质
WO2020215573A1 (zh) * 2019-04-22 2020-10-29 平安科技（深圳）有限公司 验证码的识别方法、装置、计算机设备和存储介质
CN110070067A (zh) * 2019-04-29 2019-07-30 北京金山云网络技术有限公司 视频分类方法及其模型的训练方法、装置和电子设备
CN110602488A (zh) * 2019-09-18 2019-12-20 普联技术有限公司 一种日夜型摄像装置切换异常检测方法、装置及摄像装置
US20210195108A1 (en) * 2019-12-20 2021-06-24 Vivotek Inc. Day-mode-night-mode switching method and related monitoring camera apparatus
CN112434723A (zh) * 2020-07-23 2021-03-02 之江实验室 一种基于注意力网络的日/夜间图像分类及物体检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PARVATHANENI NAGA SRINIVASU ETC.: ""Classification of Skin Disease Using Deep Learning Neural Networks with MobileNet V2 and LSTM"", 《SENSORS》 *
吕情深: ""基于目标检测的中国手语识别研究"", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
毕鹏程等: ""轻量化卷积神经网络技术研究"", 《计算机工程与应用》 *

Also Published As

Publication number Publication date
CN113473026B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
US7714898B2 (en) Image capture device having a learning function
CN107977638B (zh) 视频监控报警方法、装置、计算机设备和存储介质
CN113012383B (zh) 火灾检测报警方法、相关系统、相关设备及存储介质
CN112016349A (zh) 停车位的检测方法、装置与电子设备
CN110072078A (zh) 监控摄像机、监控摄像机的控制方法和存储介质
CN102469302A (zh) 应用于影像监控的可适应光线变化的背景模型学习系统
CN111325051A (zh) 一种基于人脸图像roi选取的人脸识别方法及装置
CN112085768A (zh) 光流信息预测方法、装置、电子设备和存储介质
CN107563299A (zh) 一种利用ReCNN融合上下文信息的行人检测方法
CN113688820A (zh) 频闪条带信息识别方法、装置和电子设备
WO2018133101A1 (zh) 图像前景检测装置及方法、电子设备
JP7403995B2 (ja) 情報処理装置、制御方法およびプログラム
KR20120014515A (ko) 전경 및 배경 분리 장치 및 방법
CN113673311A (zh) 一种交通异常事件检测方法、设备及计算机存储介质
EP2447912B1 (en) Method and device for the detection of change in illumination for vision systems
CN111767826A (zh) 一种定时定点场景异常检测方法
CN113473026B (zh) 一种摄像头的日夜切换方法、装置、设备和存储介质
CN114239736A (zh) 光流估计模型的训练方法和装置
CN110555865B (zh) 一种基于帧图像的动态视觉传感器样本集建模方法
CN112001300A (zh) 基于按位置交叉熵的楼宇监控方法、装置和电子设备
CN116403162A (zh) 一种机场场面目标行为识别方法、系统及电子设备
CN111862142B (zh) 一种运动轨迹生成方法、装置、设备和介质
CN111666819B (zh) 一种融合多元信息的高精度视频异常事件检测方法
JP7363289B2 (ja) 情報処理装置、計数システム、計数方法およびコンピュータプログラム
CN111968158A (zh) 一种基于核相关滤波和结构相似性的视频抖动检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant