CN108124156B - 用于控制摄像机的红外截止滤光片的方法 - Google Patents

用于控制摄像机的红外截止滤光片的方法 Download PDF

Info

Publication number
CN108124156B
CN108124156B CN201711135103.9A CN201711135103A CN108124156B CN 108124156 B CN108124156 B CN 108124156B CN 201711135103 A CN201711135103 A CN 201711135103A CN 108124156 B CN108124156 B CN 108124156B
Authority
CN
China
Prior art keywords
frame
state
video camera
optical filter
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711135103.9A
Other languages
English (en)
Other versions
CN108124156A (zh
Inventor
维克托·埃德帕尔姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN108124156A publication Critical patent/CN108124156A/zh
Application granted granted Critical
Publication of CN108124156B publication Critical patent/CN108124156B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Optical Filters (AREA)

Abstract

本发明提供一种用于控制摄像机(100)的红外截止(IR‑cut)滤光片(110)的方法。接收对摄像机(100)的IR‑cut滤光片(110)的状态进行切换的指示，并且使IR‑cut滤光片(110)的状态切换与摄像机(100)捕获到的帧的视频编码同步，使得IR‑cut滤光片(110)被控制为在摄像机(100)即将捕获一帧时切换状态，该帧先于作为帧内帧被调度编码的帧预定数目的帧。

Description

用于控制摄像机的红外截止滤光片的方法
技术领域
本发明涉及摄像机领域。特别地，本发明涉及对摄像机的红外截止滤光片进行的控制。
背景技术
存在提供昼夜功能的摄像机。这种摄像机被设计为用于室外安装或者照明较差的室内环境。当处于白天模式时，即当场景中的光线高于一定水平时，摄像机传送彩色图像。当光线减弱到一定程度以下时，摄像机自动切换到夜间模式以利用近红外(IR)光来传送高质量的黑白图像。
从700纳米跨越至约1000纳米的近红外光超出了人眼所能看到的范围，但是大多数摄像机的传感器可以检测到它并加以利用。当处于白天模式时，摄像机使用将IR光滤除掉的IR截止滤光片，从而不会如人眼所看到的那样使图像的颜色失真。当摄像机处于夜间模式时，将IR截止滤光片移除，从而使摄像机的光敏度降至0.001勒克斯或者更低。
公开号为US2015/138368A1的美国专利申请涉及一种具有IR截止滤光片的成像装置，该IR截止滤光片可以取决于测量到的亮度值而从成像光学系统的光路中插入和移除。
当IR截止滤光片改变状态，即被打开或关闭时，在由摄像机捕获到的视频中会出现突变，部分是由于引入或移除了颜色，部分是因为与IR光谱相比，物体在可见光谱中看起来会有所不同。这种改变不仅会影响到视频呈现出的样子，而且还会影响到视频编码的效率及质量。
诸如MPEG-4和H.264等已知的视频编码技术使用帧间预测来减少一系列帧之间的视频数据。这涉及到诸如差分编码和基于块的运动补偿等技术，在差分编码技术中，将一个帧与参考帧进行比较，并且只有相对于参考帧发生变化的像素被编码，在基于块的运动补偿技术中，可以通过在参考帧中查找匹配块来逐块地对新的帧进行预测。
借助于帧间预测，每个帧被分类为特定类型的帧，诸如帧内帧(有时被称为I帧，例如在H.264中)或者帧间帧(有时被称为P帧或B帧，例如在H.264中)。帧内帧是自包含帧，其可以独立解码而无需参考其他的图像。具体而言，在对帧内帧进行编码时，通过经由预测、变换和熵编码来充分利用单个帧的给定信道中的像素的空间冗余，从而对亮度和色度信道进行编码。这与帧间帧形成对比，帧间帧参考较早的帧内帧和/或帧间帧的部分来对该帧进行编码。当对帧间帧进行编码时，利用了独立帧之间的时间冗余，而且编码还依赖于运动补偿预测技术，该项技术是通过针对所选像素块来对像素从一帧到另一帧的运动进行编码，从而对帧的来自一个或多个先前帧的部分进行预测。
在IR截止滤光片改变状态之后的视频的第一帧将会与前面的帧有很大的不同。因此，如果IR截止滤光片改变状态之后的第一帧参考前面的帧被编码，即被编码为帧间帧，则所获得的编码后的帧将会非常庞大。而且，它会构成较差的参考图像，而这将会持续到生成下一个帧内帧为止，因此直到生成下一个帧内帧为止都会影响编码后的视频的效率及质量。因此存在着改进的空间。
公开号为EP2727330A1的欧洲专利申请涉及依据被耦接到摄像机的视频编码器的编码特性来对摄像机的诸如曝光和色彩平衡等成像参数进行调整。编码特性可以包括将视频序列中的哪个图像压缩成下一个帧内编码的图像的指示。
发明内容
鉴于上述情况，因此本发明的一个目的在于降低IR截止滤光片对视频编码的效率及质量的影响。
根据本发明的第一方面，上述目的通过在摄像机中执行的、用于对摄像机的红外截止(IR截止)滤光片进行控制的方法来实现，该方法包括：接收对摄像机的IR截止滤光片的状态进行切换的指示，其中IR截止滤光片在滤除掉红外光的ON状态与不滤除掉红外光的OFF状态之间可切换；以及使IR截止滤光片的状态切换与摄像机捕获到的帧的视频编码同步，使得IR截止滤光片被控制为在摄像机即将捕获一帧时切换状态，该帧先于作为帧内帧被调度编码的帧预定数目的帧。
利用这种布置，使IR截止滤光片的状态切换与摄像机捕获到的帧的编码同步。特别地，IR截止滤光片的控制是基于下一个帧内帧将被编码的时间。通过这种方式，IR截止滤光片被控制为在其对帧编码的效率及质量影响较小的时刻切换状态。
IR截止滤光片是指滤除掉红外光的滤光片。
IR截止滤光片切换状态是指其被开启即被激活以滤除掉红外光或者被关闭即被激活以不滤除掉红外光。例如，IR截止滤光片可以是物理滤光片，该物理滤光片通过切换相对于摄像机的图像传感器的位置来切换状态。
帧内帧是指自包含帧，该自包含帧不需要参考其他的图像而独立地编码。这与通过参考较早的帧内帧和/或帧间帧来执行编码的帧间帧形成对比。在H.264标准中，帧内帧被称为I帧。H.264标准中的帧间帧的示例是P帧(预测帧)或B帧(双向预测帧)。
预定数目的帧可以为零个，使得IR截止滤光片被控制为在摄像机即将捕获作为帧内帧被调度编码的帧时切换状态。通过这种方式，在IR截止滤光片改变状态之后被编码的第一帧将被编码为帧内帧。因为避免了切换后的第一帧被编码为帧间帧的上述情况，从而提高了编码效率及质量。
针对捕获图像帧并对所捕获到的图像帧进行处理而言，不同的参数设置将取决于IR截止滤光片是处于第一状态还是处于第二状态而成为优选的或者甚至成为最佳的。例如，曝光、对焦和白平衡可能存在不同的优选值。当IR截止滤光片从第一状态切换到第二状态时，摄像机传感器处的光照条件会发生突变，这使得摄像机自动调整它的参数设置以适应新的条件。然而，在通常情况下，参数需要花费一些时间才能建立。只要参数尚未建立，那么由于使用处于瞬态的波动参数来对帧进行捕获和/或处理，所以会导致在视频中出现变化。这些变化在视频中是可见的，并且会增加编码伪像的风险。
在IR截止滤光片改变状态之后的第一帧被编码为帧内帧的情况下，参数的建立时间是不合乎要求的。其原因在于，由于因波动参数而引起的帧之间的变化，使得帧内帧将会成为将被编码为帧间帧的后续帧的较差参考帧。
为了解决这个问题，该方法可以在将IR截止滤光片的状态从第一状态切换到第二状态时，将摄像机的图像捕获参数和图像信号处理参数中的至少一个从与第一状态相关联的第一预定义值集合改变为与第二状态相关联的第二预定义值集合。第一状态是ON状态和OFF状态中的一种，第二状态是ON状态和OFF状态中的另一种。通过在对IR截止滤光片的状态进行切换时改变参数，使得参数设置可以直接从针对第一状态优选的一组值改变为针对第二状态优选的一组值。通过这种方式，消除了参数建立时间的问题，使得帧内帧可以用作后续帧的良好参考。
第一预定义值集合和第二预定义值集合可以包括与曝光、对焦和白平衡中的至少一个有关的参数。这些参数的值通常会受IR光的影响。
处理与IR截止滤光片的状态切换有关的参数的建立时间问题的另一方式是控制IR截止滤光片在与下一个被调度的帧内帧之前的预定数目的帧相对应的时间段内切换状态，从而有时间在捕获下一个被调度的帧内帧之前建立参数。更具体而言，预定数目的帧可以大于或等于一个。
此外，在该时间段期间，可以将尽可能少的比特位花费在对处于IR截止滤光片的切换与下一个被调度的帧内帧之间的帧进行编码上。所述方法因此可以进一步包括：将摄像机捕获到的帧编码为比特流，使得比特流不包括针对位于作为帧内帧被调度编码的帧之前的预定数目的帧的编码差异。这可以通过例如不在紧接在IR截止滤光片的状态切换之前的帧与作为帧内帧被调度编码的帧这两个帧之间更新编码器中的存储缓冲区来实现。
这也可以通过将位于作为帧内帧被调度编码的帧之前的预定数目的帧中的每一个帧编码为与紧接在IR截止滤光片的状态切换之前的帧相同来实现。通过这种方式，视频在参数建立的时间段期间被“冻结”。因此，在该时间段期间执行的参数调整在视频中是不可见的，并因此消除了由此产生的任何编码伪像。
这可以例如通过发送空帧来实现。可替代地，可以将位于作为帧内帧被调度编码的帧之前的预定数目的帧编码为P-skip帧。P-skip帧是仅包括P-skip宏块的帧。实际上，P-skip帧是在比特流中仅发送包含例如帧号的头信息而没有发送数据的帧。
帧的编码遵循图片组(GOP)结构。GOP结构指定对帧内帧和帧间帧进行布置的顺序。每个GOP以帧内帧开始，帧内帧之后跟随着帧间帧。GOP中的帧的数目通常被称为GOP长度。GOP可以具有固定的长度，或者可以依据视频中的运动量来动态地设置。但是，在任何一种情况下，GOP结构是编码器预先获知的帧数。
同步步骤可以包括：基于在对摄像机捕获到的图像进行编码时所使用的GOP结构来确定帧内帧何时被调度编码。根据GOP结构，可因此确定下一个帧内帧何时到达，并且可基于该信息而控制何时对IR截止滤光片的状态进行切换。
同步步骤可以包括：识别一帧，该帧先于作为帧内帧被调度编码的帧预定数目的帧，并且当摄像机即将捕获被识别为先于作为帧内帧被调度编码的帧预定数目的帧的帧时，对IR截止滤光片的状态进行切换。
对IR截止滤光片的状态进行切换的指示可以以各种方式来生成。例如，接收对摄像机的IR截止滤光片的状态进行切换的指示的步骤可以响应于对摄像机捕获图像的场景中的照明条件的改变进行检测。通过这种方式，摄像机可以自动检测照明条件的改变，并响应于此而生成对IR截止滤光片的状态进行切换的指示。
照明条件的改变可以基于摄像机捕获到的图像的亮度变化来检测。可替换地或附加地，照明条件的改变可以借助于光传感器来检测，该光传感器与摄像机分离或者被包括在摄像机中。可替代地或附加地，照明条件的改变可以借助于定时器来检测，该定时器例如跟踪太阳升起和落下的时间，或者跟踪建筑物中的灯打开和关闭的时间。
接收对摄像机的IR截止滤光片的状态进行切换的指示的步骤可以响应于对摄像机捕获到的图像中的事件进行检测。例如，该事件可能是人在摄像机捕获到的图像中变得可见。
根据进一步的示例，对摄像机的IR截止滤光片的状态进行切换的指示可以响应于用户输入，例如由操作者来执行。
根据本发明的第二方面，上述目的通过用于对摄像机的红外截止(IR截止)滤光片进行控制的控制器来实现，该控制器包括：接收器，被配置为接收对摄像机的IR截止滤光片的状态进行切换的指示，其中IR截止滤光片在滤除掉红外光的ON状态与不滤除掉红外光的OFF状态之间可切换；以及处理器，被配置为使IR截止滤光片的状态切换与摄像机捕获到的帧的视频编码同步，使得IR截止滤光片被控制为在摄像机即将捕获一帧时切换状态，该帧先于作为帧内帧被调度编码的帧预定数目的帧。
根据本发明的第三方面，上述目的通过摄像机来实现，该摄像机包括：图像传感器；红外截止(IR截止)滤光片，适于切换状态，以阻止或不阻止IR光到达图像传感器；视频编码器，被配置为对摄像机使用图像传感器而捕获到的图像进行编码；以及根据第二方面的用于对IR截止滤光片进行控制的控制器。
根据本发明的第四方面，上述目的通过其上存储有计算机代码指令的非暂时性计算机可读介质来实现，该计算机代码指令在由具有处理能力的设备执行时适于执行第一方面的方法。
第二、第三和第四方面通常可以具有与第一方面相同的特征和优点。进一步指出，除非另有明确说明，否则本发明涉及所有可能的特征组合。
通常，权利要求中所使用的所有术语将根据它们在技术领域中的普通含义来解释，除非本文另有明确定义。所有对“一/该[设备、事件、消息、警告、参数、步骤等]”的引用将被开放地解释为指代所述设备、事件、消息、警告、参数、步骤等中的至少一个实例，除非另有明确说明。本文所公开的任何方法的步骤不必以所公开的确切顺序来执行，除非明确说明。
附图说明
通过以下参考附图的本发明的优选实施例的说明性和非限制性的详细描述，将会更好地理解本发明的上述以及其他的目的、特征和优点，其中相同的附图标记将被用于相似的元件，其中：
图1是根据实施例的摄像机的示意图。
图2是根据实施例的与对摄像机的IR截止滤光片的状态进行切换相关的、摄像机的图像捕获参数或图像处理参数的时间变化的示意图。
图3是根据其他实施例的与对摄像机的IR截止滤光片的状态进行切换有关的、摄像机的图像捕获参数或图像处理参数的时间变化的示意图。
图4是根据实施例的用于对摄像机的红外截止(IR截止)滤光片进行控制的方法的流程图。
具体实施方式
现在将在下文中参考其中示出了本发明的实施例的附图，来更全面地对本发明进行描述。本文所公开的系统和设备将在操作中说明。
图1示出摄像机100。摄像机100包括光学系统101、图像传感器102以及图像管道(image pipeline)104。图像管道104包括图像信号处理器106以及视频编码器108。摄像机100还包括IR截止滤光片110以及用于对IR截止滤光片110进行控制的控制器112。
通常，摄像机100可以借助光学系统101和图像传感器102来捕获场景的图像流。流中的图像被称为帧。图像流的捕获与诸如曝光和对焦等参数相关联，这些参数对光学系统101和/或图像传感器102进行控制并因此对所获得的图像产生影响。这些参数在本文被称为图像捕获参数。摄像机100可以实现自动使图像捕获参数的值适应场景中的条件特别是场景中的当前光照条件的算法。例如，摄像机100可以实现自动对焦和/或自动曝光算法。
由摄像机捕获到的图像流随后由图像管道104进行处理。更详细而言，如本领域中已知的那样，图像流可以接受经由图像信号处理器106的各种图像处理，包括对图像中的颜色进行调整的处理(诸如白平衡校正等)。由图像信号处理器106执行的处理与参数(在本文被称为图像信号处理参数)相关联，这些参数对图像流的图像处理产生影响。例如，可能存在与由图像信号处理器106执行的白平衡校正相关联的白平衡参数。类似于图像捕获参数，图像信号处理的参数(诸如白平衡等)也通过摄像机100被自动调整。
图像管道104中的图像信号处理器106的下游是视频编码器108。视频编码器108对捕获并经处理后的图像流进行编码，用以输出比特流114以便通过网络传送到解码器。如本领域已知的，视频编码器108可以将图像流中的帧编码为帧内帧或帧间帧。通常，视频编码器108根据对帧内帧和帧间帧的布置顺序进行指定的图片组(GOP)结构来对图像流中的帧进行编码。作为示例，GOP结构可以是IBBPBBPBBPBBI，其中I表示帧内帧，B和P表示不同类型的帧间帧(B代表双向预测编码图片，P代表预测编码图片)。因此，帧内帧之后可以跟随着一系列的帧间帧，而一系列的帧间帧之后跟随着另一个帧内帧。GOP结构的长度，即两个帧内帧之间的距离可以是固定的。在上面的示例中，GOP结构的长度等于十二。可替代地，GOP结构可以是动态的，这意味着视频编码器108会随着时间的推移(例如，基于图像流中的运动量)来改变GOP结构。然而，在任何一种情况下，视频编码器108确定GOP结构前方的多个帧，使得例如可预先获知下一个帧内帧的调度。
摄像机100中设置有IR截止滤光片110。IR截止滤光片110可以处于不同的状态，通常为两种状态，其可以在这两种状态之间进行切换。例如，IR截止滤光片110可以在其为开启的状态(意味着它阻止红外光到达图像传感器102)和其为关闭的状态(意味着它不阻止红外光到达图像传感器102)之间切换。通过对IR截止滤光片110相对于图像传感器102的位置进行切换，可以使IR截止滤光片110在这些状态之间切换。例如，IR截止滤光片110可以连接到电机，该电机可以将滤光片从其位于图像传感器102前方的位置处移动到其不位于图像传感器102前方的位置处，反之亦然。然而，也可以设想其它的解决方案，例如滤光片被一直保持在传感器前方，但是其光学特性例如通过电或化学活化而被改变，从而打开和关闭滤光片。
控制器112用于对IR截止滤光片110进行控制，以便使其以受控的方式来切换状态。例如，控制器112可以启动电机来移动滤光片110的位置，从而使得电机移动滤光片110相对于图像传感器101的位置。
控制器112可以包括诸如数字信号处理器或微处理器等处理器116、接收器118以及存储器120。存储器120可以用作计算机存储介质(或非暂时性计算机可读介质)，该计算机存储介质(或非暂时性计算机可读介质)用于存储可以由处理器116执行的计算机代码指令。具体而言，存储器120可以存储指令，当该指令被执行时，使得控制器112执行本文所公开的任何方法。如本领域技术人员所熟知的，术语“计算机存储介质”包括由用于对诸如计算机可读指令、数据结构、程序模块或其他数据等信息进行存储的任何方法或技术实现的、易失性和非易失性的/可移动和不可移动的介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储器、磁带盒、磁带、磁盘存储器或其他磁存储设备、或可用于存储所需信息并且可由计算机访问的任何其他介质。
现在将参照图1、图2、图3以及图4的流程图来更详细地描述摄像机100特别是控制器112的操作。
在步骤S02中，控制器112(例如借助于接收器118)接收对IR截止滤光片110的状态进行切换的指示。作为示例，可以接收到将IR截止滤光片110关闭的指示。
该指示可以响应于对摄像机捕获图像的场景中的照明条件的改变所进行的检测。例如，可能已在摄像机所在的房间中打开了灯，从而导致了照明条件的改变。结果，可能会希望打开IR截止滤光片110，使得图像中的颜色不会因红外光而失真。
因此，摄像机100可以对照明条件的改变进行检测，并响应于此而生成对IR截止滤光片110的状态进行切换的指示(S02a)。作为示例，可以基于由摄像机100捕获到的图像的亮度变化来检测照明条件的改变。例如，检测以及生成指示可以由图像信号处理器106或者由控制器112的处理器116来执行。更详细而言，如果图像中的亮度超过阈值，或者如果在一段时间内图像序列中的亮度变化大于阈值，则可以检测到照明条件的改变。
照明条件的改变也可以通过测光表来检测，该测光表被设置为对场景中的光照水平进行测量。在光照水平达到一定水平以上或以下时，可以生成对IR截止滤光片的状态进行切换的指示，并将其发送到控制器112。可选地，光照水平可以由接收器118接收，随后，处理器116可以对光照水平与阈值进行比较，并且取决于光照水平是否达到阈值以上或低于阈值来生成对IR截止滤光片的状态进行切换的指示。
光照条件的改变也可以基于定时器来检测。例如，摄像机100可以包括定时器，该定时器跟随日出和日落，并且在环境光线升高到一定的光照水平以上时以及当光线降低到一定的光照水平以下时发出指示。在这样的时间点，可以例如由处理器116来生成对IR截止滤光片110的状态进行切换的指示。
对IR截止滤光片110的状态进行切换的指示还可以响应于对由摄像机100(例如，由摄像机100中的专用硬件)捕获到的图像中的事件进行检测。该事件可能涉及到对象进入场景。例如，如果在IR截止滤光片关闭时检测到人进入场景，则可以生成将IR截止滤光片110开启的指示，使得可以为了识别目的而生成人的彩色图像。
对IR截止滤光片110的状态进行切换的指示也可以从用户输入(例如从摄像机100的操作者等)接收。
在步骤S04中，控制器112的处理器116使IR截止滤光片110的状态切换与由摄像机100捕获到的帧的视频编码同步。为此，处理器116可以执行子步骤S04a至S04c。
在步骤S04a中，处理器116确定帧内帧何时被调度为由视频编码器108编码。通常，处理器116对接收到步骤S02的指示之后的下一个帧内帧何时被调度编码进行确定。该确定可以基于视频编码器108所使用的GOP结构。处理器116可以例如经由接收器118从视频编码器108接收GOP结构，并且基于此来确定下一个帧内帧何时到达。这进一步例示在了图2和图3的时间轴上，而图2和图3的时间轴示出了在某个时间接收到对滤光片的状态进行切换的指示。跟随在接收到的指示之后的帧被调度编码为PBBPBBPBBI。在该示例中，从接收到的步骤S02的指示开始直到作为帧内帧被调度编码的下一个帧为止有十个帧。
在步骤S04b中，处理器116识别一帧，该帧先于下一个帧内帧预定数目的帧。预定数目可以大于或等于零。
如果预定数目等于零，则处理器116在步骤S04b中将下一个帧内帧自身识别为先于该下一个帧内帧预定数目的帧的帧。图3的示例就是这种情况。
预定数目可以与在IR截止滤光片的位置切换之后用于使图像捕获参数或图像信号处理参数稳定而所需的时间相关联。图2进一步说明了这一点。随着滤光片的状态切换，图像传感器102处的光照条件改变。结果，如以上进一步所描述的，摄像机100自动开始将其参数设置(诸如对焦、曝光和白平衡等)调整到新的光照条件。但是，需要一些时间才能建立这些参数。因此，预定数目通常被选择为与根据凭经验而识别出的参数的建立时间相对应。在图2的示例中，预定数目的帧等于七个，这意味着先于下一个帧内帧七个帧的帧在步骤S04b中被识别出。
在步骤S04c中，当摄像机100即将捕获在步骤S04b中识别出的帧时，处理器116控制IR截止滤光片切换状态。更详细而言，处理器116对IR截止滤光片进行控制，使得在摄像机100捕获到在步骤S04b中识别出的帧时已完成状态切换。处理器116可以例如将控制信号发送到IR截止滤光片110，或者更确切而言发送到IR截止滤光片的致动器(诸如电机等)，以对IR截止滤光片110的状态进行切换。根据IR截止滤光片切换状态所花费的时间，可以在将要对在步骤S04b中识别出的帧进行捕获的时间之前发送控制信号，以便确保在帧被捕获之前完成状态的切换。
参照图2的示例，IR截止滤光片110被控制为恰好在摄像机捕获先于下一个帧内帧七个帧的帧之前切换状态。参考图3的示例，IR截止滤光片110被控制为恰好在摄像机捕获下一个帧内帧之前切换状态。
通过执行步骤S04a、S04b、S04c，处理器116可因此控制IR截止滤光片在摄像机100即将捕获帧时切换状态，从而使IR截止滤光片的状态切换与摄像机100的视频编码同步，其中该帧先于作为帧内帧被调度编码的帧预定数目的帧。
回到图3的示例，IR截止滤光片110在摄像机100即将捕获下一个帧内帧时切换状态。在这种情况下，在IR截止滤光片110的状态切换与下一个帧内帧之间不存在允许建立图像捕获参数和图像信号处理参数的时间窗口。因此，在步骤S06中，处理器116还可以在将IR截止滤光片110的状态从第一状态切换到第二状态时，将图像捕获参数和图像信号处理参数中的至少一个从第一预定义值集合改变为第二预定义值。第一预定义值集合对应于第一状态，第二预定义值集合对应于第二状态。第一预定义值集合可以包括当IR截止滤光片110处于第一状态时优选的曝光、对焦和白平衡的值。第二预定义值集合可以包括当IR截止滤光片110处于第二状态时优选的曝光、对焦和白平衡的值。例如，在向IR截止滤光片110发送控制信号的同时，处理器116可以向光学系统101、图像传感器102和/或图像信号处理器106发送控制信号，使得图像捕获参数和图像信号处理参数从第一预定义值集合到第二预定义值。通过这种方式，参数自动地适应IR截止滤光片的新状态。
回到图2的示例，当摄像机100即将捕获帧时，使IR截止滤光片110切换状态，其中该帧先于下一个帧内帧预定数目的帧。在这种情况下，在IR截止滤光片110的状态切换与下一个帧内帧之间存在可以建立参数的时间段。在与下一个帧内帧之前的预定数目的帧相对应的该时间段期间，优选将尽可能少的比特位花费在编码上。这是因为编码的代价很大，而且编码后的图像质量由于因IR截止滤光片的切换而引起的图像帧中的突变以及参数的变化而变得很差。
代替对如所调度的作为帧间帧的预定数目的帧进行编码，控制器112可以在步骤S08中控制视频编码器108以另一种方式对预定数目的帧进行处理以节约比特位。例如，对于预定数目的帧，可以控制视频编码器108不在比特流114中包括编码差异。结果，在解码后的图像流中，视频将因此在IR截止滤光片的状态切换与随后的帧内帧之间被冻结。这可以通过各种方式来实现。例如，可以控制视频编码器108在预定数目的帧的位置处将空帧包括在比特流114内。另一种选择是例如通过将预定数目的帧编码为P-skip帧或者通过避免更新视频编码器108的存储缓冲区，从而将预定数目的帧编码为与在IR截止滤光片110的状态切换之前的帧相同。更进一步的选择是丢弃预定数目的帧，即根本不将它们包括在比特流114中。
可以理解的是，本领域技术人员可以以多种方式对上述实施例进行修改，而仍可以使用如上述实施例所示的本发明的优点。因此，本发明不应限于所示实施例，而应仅由所附权利要求来限定。另外，如本领域技术人员所理解的，所示实施例可以被组合。

Claims (15)

1.一种在摄像机(100)中执行的、用于对所述摄像机的红外截止IR-cut滤光片(110)进行控制的方法，包括：
接收(S02)对所述摄像机(100)的IR-cut滤光片(110)的状态进行切换的指示，其中所述IR-cut滤光片在滤除掉红外光的ON状态与不滤除掉红外光的OFF状态之间可切换；以及
其特征在于
使所述IR-cut滤光片(110)的状态切换与所述摄像机(100)捕获到的帧的视频编码同步(S04)，使得所述IR-cut滤光片(110)被控制为在所述摄像机(100)即将捕获一帧时切换状态，该帧先于作为帧内帧被调度编码的帧预定数目的帧间帧。
2.根据权利要求1所述的方法，其中所述预定数目的帧间帧为零个，使得所述IR-cut滤光片(110)被控制为在所述摄像机(100)即将捕获作为帧内帧被调度编码的帧时切换状态。
3.根据权利要求2所述的方法，进一步包括：
在将所述IR-cut滤光片(110)的状态从第一状态切换到第二状态时，将所述摄像机(100)的图像捕获参数和图像信号处理参数中的至少一个从与所述第一状态相关联的第一预定义值集合改变(S06)为与所述第二状态相关联的第二预定义值集合，其中所述第一状态是所述ON状态和所述OFF状态中的一种，并且所述第二状态是所述ON状态和所述OFF状态中的另一种。
4.根据权利要求3所述的方法，其中所述第一预定义值集合和所述第二预定义值集合包括与曝光、对焦和白平衡中的至少一个有关的参数。
5.根据权利要求1所述的方法，其中所述预定数目的帧间帧大于或等于一个，所述方法进一步包括：
将所述摄像机捕获到的帧编码(S08)为比特流，使得所述比特流不包括针对位于所述作为帧内帧被调度编码的帧之前的所述预定数目的帧的编码差异。
6.根据权利要求5所述的方法，进一步包括：
将位于作为帧内帧被调度编码的帧之前的所述预定数目的帧间帧中的每一个帧编码为与紧接在所述IR-cut滤光片(110)的状态切换之前的帧相同。
7.根据权利要求6所述的方法，其中位于所述作为帧内帧被调度编码的帧之前的所述预定数目的帧间帧被编码为P-skip帧。
8.根据权利要求1所述的方法，其中所述同步(S04)的步骤包括：
基于在对所述摄像机捕获到的图像进行编码时所使用的图片组GOP结构，来确定(S04a)帧内帧何时被调度编码。
9.根据权利要求1所述的方法，其中所述同步(S04)的步骤包括：
识别(S04b)一帧，该帧先于所述作为帧内帧被调度编码的帧所述预定数目的帧间帧；以及
在所述摄像机(100)即将捕获被识别为先于所述作为帧内帧被调度编码的帧所述预定数目的帧间帧的帧时，对所述IR-cut滤光片(110)的状态进行切换(S04c)。
10.根据权利要求1至9中任一项所述的方法，其中接收(S02)对所述摄像机的IR-cut滤光片的状态进行切换的指示的步骤响应于对所述摄像机(100)捕获图像的场景中的照明条件的改变进行的检测(S02a)。
11.根据权利要求10所述的方法，其中照明条件的改变基于所述摄像机捕获到的图像的亮度变化来检测。
12.根据权利要求1至9中任一项所述的方法，其中接收(S02)对所述摄像机的IR-cut滤光片的状态进行切换的指示的步骤响应于对所述摄像机(100)捕获到的图像中的事件进行的检测(S02b)。
13.一种用于对摄像机(100)的红外截止IR-cut滤光片(110)进行控制的控制器(112)，包括：
接收器(118)，被配置为接收对所述摄像机(100)的IR-cut滤光片(110)的状态进行切换的指示，其中所述IR-cut滤光片(110)在滤除掉红外光的ON状态与不滤除掉红外光的OFF状态之间可切换；以及
其特征在于
处理器(116)，被配置为使所述IR-cut滤光片(110)的状态切换与所述摄像机(100)捕获到的帧的视频编码同步，使得所述IR-cut滤光片(110)被控制为在所述摄像机(100)即将捕获一帧时切换状态，该帧先于作为帧内帧被调度编码的帧预定数目的帧间帧。
14.一种摄像机(100)，包括：
图像传感器(102)；
红外截止IR-cut滤光片(110)，适于切换状态以便阻止或不阻止IR光到达所述图像传感器(102)；
视频编码器(108)，被配置为对所述摄像机(100)经由所述图像传感器(102)捕获到的图像进行编码；以及
根据权利要求13所述的控制器(112)，用于对所述IR-cut滤光片(110)进行控制。
15.一种非暂时性计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1所述的方法的步骤。
CN201711135103.9A 2016-11-29 2017-11-16 用于控制摄像机的红外截止滤光片的方法 Active CN108124156B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16201140.7A EP3328051B1 (en) 2016-11-29 2016-11-29 Method for controlling an infrared cut filter of a video camera
EP16201140.7 2016-11-29

Publications (2)

Publication Number Publication Date
CN108124156A CN108124156A (zh) 2018-06-05
CN108124156B true CN108124156B (zh) 2019-04-23

Family

ID=57442506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711135103.9A Active CN108124156B (zh) 2016-11-29 2017-11-16 用于控制摄像机的红外截止滤光片的方法

Country Status (6)

Country Link
US (1) US10142528B2 (zh)
EP (1) EP3328051B1 (zh)
JP (1) JP6543319B2 (zh)
KR (1) KR101938805B1 (zh)
CN (1) CN108124156B (zh)
TW (1) TWI674798B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3379820B1 (en) * 2017-03-24 2020-01-15 Axis AB Controller, video camera, and method for controlling a video camera
EP3379830B1 (en) 2017-03-24 2020-05-13 Axis AB A method, a video encoder, and a video camera for encoding a video stream
EP3840362B1 (en) * 2019-12-19 2022-05-04 Axis AB A video camera system with a light sensor and a method for operating said video camera
EP3886539B1 (en) * 2020-03-26 2022-01-19 Axis AB A method for assessing ambient light during night mode image acquisition
CN112040274A (zh) * 2020-09-10 2020-12-04 杭州叙简科技股份有限公司 一种基于webrtc的网页视频单帧播放方法
US11509832B2 (en) 2020-12-01 2022-11-22 Western Digital Technologies, Inc. Low light surveillance system with dual video streams
CN114827435B (zh) * 2021-01-28 2024-05-07 深圳绿米联创科技有限公司 免IR-Cut的视频流处理方法及装置、智能门锁及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102231797A (zh) * 2011-06-22 2011-11-02 深圳中兴力维技术有限公司 日夜摄像装置、用于日夜摄像装置的日夜切换方法
CN102340625A (zh) * 2010-07-16 2012-02-01 安讯士有限公司 事件启动的视频捕获方法及捕获事件启动的视频的摄像机
CN103636188A (zh) * 2011-06-30 2014-03-12 思科技术公司 用于摄影机的编码器监督成像
CN104660981A (zh) * 2013-11-21 2015-05-27 佳能株式会社 摄像装置、摄像系统及摄像装置的控制方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07107355A (ja) * 1993-09-30 1995-04-21 Victor Co Of Japan Ltd 低照度対応型撮像装置
JP2003302960A (ja) * 2002-04-08 2003-10-24 Sony Corp 画像表示装置、および画像表示方法、並びにコンピュータ・プログラム
KR20050078099A (ko) 2004-01-30 2005-08-04 삼성전자주식회사 적응적으로 키 프레임을 삽입하는 비디오 코딩 장치 및 방법
JP2005242105A (ja) * 2004-02-27 2005-09-08 Victor Co Of Japan Ltd 撮像装置
US7542628B2 (en) * 2005-04-11 2009-06-02 Sarnoff Corporation Method and apparatus for providing strobed image capture
US8654848B2 (en) 2005-10-17 2014-02-18 Qualcomm Incorporated Method and apparatus for shot detection in video streaming
JP5219678B2 (ja) * 2008-08-01 2013-06-26 キヤノン株式会社 撮像装置
WO2010057170A1 (en) 2008-11-17 2010-05-20 Cernium Corporation Analytics-modulated coding of surveillance video
US8837576B2 (en) 2009-11-06 2014-09-16 Qualcomm Incorporated Camera parameter-assisted video encoding
JP5921112B2 (ja) * 2010-08-20 2016-05-24 株式会社日立国際電気 画像監視システムおよびカメラ
JP5610926B2 (ja) * 2010-08-26 2014-10-22 キヤノン株式会社 撮像装置及びその制御方法
CN103907347B (zh) * 2011-08-31 2018-01-30 诺基亚技术有限公司 多视图视频编码和解码
JP2013115653A (ja) * 2011-11-29 2013-06-10 Canon Inc 撮像装置、その制御方法及びプログラム
JP6157161B2 (ja) * 2013-03-15 2017-07-05 キヤノン株式会社 撮像装置、およびその制御方法
US20160373740A1 (en) * 2014-03-05 2016-12-22 Sony Corporation Image encoding device and method
JP6399766B2 (ja) * 2014-03-07 2018-10-03 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム
JP6362072B2 (ja) * 2014-03-07 2018-07-25 キヤノン株式会社 撮像装置及び撮像装置の制御方法
US9648255B2 (en) * 2015-09-11 2017-05-09 General Starlight Co., Inc. Multi-modal optoelectronic vision system and uses thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102340625A (zh) * 2010-07-16 2012-02-01 安讯士有限公司 事件启动的视频捕获方法及捕获事件启动的视频的摄像机
CN102231797A (zh) * 2011-06-22 2011-11-02 深圳中兴力维技术有限公司 日夜摄像装置、用于日夜摄像装置的日夜切换方法
CN103636188A (zh) * 2011-06-30 2014-03-12 思科技术公司 用于摄影机的编码器监督成像
CN104660981A (zh) * 2013-11-21 2015-05-27 佳能株式会社 摄像装置、摄像系统及摄像装置的控制方法

Also Published As

Publication number Publication date
US10142528B2 (en) 2018-11-27
TWI674798B (zh) 2019-10-11
JP2018125843A (ja) 2018-08-09
CN108124156A (zh) 2018-06-05
JP6543319B2 (ja) 2019-07-10
KR20180061022A (ko) 2018-06-07
US20180152606A1 (en) 2018-05-31
TW201820879A (zh) 2018-06-01
KR101938805B1 (ko) 2019-01-16
EP3328051B1 (en) 2019-01-02
EP3328051A1 (en) 2018-05-30

Similar Documents

Publication Publication Date Title
CN108124156B (zh) 用于控制摄像机的红外截止滤光片的方法
US8633978B2 (en) Human face detection and tracking device
US7916182B2 (en) Imaging device and method which performs face recognition during a timer delay
EP2815568B1 (en) Method and apparatus for enhanced automatic adjustment of focus in digital photography
US8837576B2 (en) Camera parameter-assisted video encoding
US20170289440A1 (en) Image capturing apparatus and control method thereof
US8384798B2 (en) Imaging apparatus and image capturing method
JP6521776B2 (ja) 画像処理装置、画像処理方法
WO2020238826A1 (zh) 图像采集装置和图像采集的方法
WO2020238827A1 (zh) 图像采集装置和图像采集的方法
KR20150078275A (ko) 움직이는 피사체 촬영 장치 및 방법
JP5458937B2 (ja) 撮像装置及び撮像方法及びこの撮像方法を実行するためのプログラムが記録されたコンピュータが読み取り可能な記録媒体
JP5544223B2 (ja) 撮像装置
JP5747105B2 (ja) 画像処理装置
KR101782997B1 (ko) 디지털 촬영 장치 및 이의 전력 제어 방법
JP2012119756A (ja) 撮像装置およびホワイトバランス制御方法
JP2005122016A (ja) オートフォーカスカメラ
US11470258B2 (en) Image processing apparatus and image processing method to perform image processing on divided areas
JP5421682B2 (ja) 撮像装置および方法
JP4701122B2 (ja) カメラ
JP2010157873A (ja) 撮像装置及び撮像装置の制御方法
JP2019193196A (ja) 撮像装置およびその制御方法
JP2016122942A (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP2012124793A (ja) 撮像装置及びそのプログラム
JP2012227658A (ja) 撮像装置および撮像装置の制御プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant