CN113497877A - 摄像设备、控制方法和存储介质 - Google Patents

摄像设备、控制方法和存储介质 Download PDF

Info

Publication number
CN113497877A
CN113497877A CN202110297790.4A CN202110297790A CN113497877A CN 113497877 A CN113497877 A CN 113497877A CN 202110297790 A CN202110297790 A CN 202110297790A CN 113497877 A CN113497877 A CN 113497877A
Authority
CN
China
Prior art keywords
image pickup
unit
cut filter
infrared cut
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110297790.4A
Other languages
English (en)
Inventor
歌川勉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN113497877A publication Critical patent/CN113497877A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00Filters or other obturators specially adapted for photographic purposes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/208Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation

Abstract

本发明提供摄像设备、控制方法和存储介质。所述摄像设备包括:第一摄像单元,其具有第一红外截止滤波器并能够改变摄像区域;第二摄像单元,其具有第二红外截止滤波器;插入/移除单元,其将所述第一红外截止滤波器和所述第二红外截止滤波器插入所述第一摄像单元和所述第二摄像单元的各光路,或从所述各光路中移除所述第一红外截止滤波器和所述第二红外截止滤波器;以及控制单元,其在所述第一摄像单元的摄像区域改变为与所述第二摄像单元正在拍摄的摄像区域重叠或改变为接近所述第二摄像单元正在拍摄的摄像区域的区域的情况下,基于所述第二摄像单元的图像信息来控制所述第一摄像单元的所述第一红外截止滤波器的插入或移除。

Description

摄像设备、控制方法和存储介质
技术领域
本发明涉及摄像设备、控制方法和存储介质。
背景技术
近年来,在一个监视设备中具有可移动的多个摄像单元并且能够使各摄像单元移动以跟随多个监视对象的摄像设备(多镜头照相机)已作为监视照相机而为人所知了。在这样的多镜头照相机中,已知如下摄像设备,其具有布置在围绕摄像设备的圆形轨道上以在轨道上可移动的多个摄像单元。此外,还已知在多镜头照相机中安装平摇-俯仰-变焦照相机(以下称为“PTZ照相机”)的摄像设备,该PTZ照相机可以在水平方向和垂直方向上在宽范围内改变摄像方向、并且可以改变变焦倍率。
通常,摄像设备采用根据照相机图像的平均辉度而在像白天那样获得足够亮度的情况下的摄像模式(以下称为“白天模式”)与像夜晚那样未获得足够亮度的情况下的另一摄像模式(以下称为“夜间模式”)之间切换的方法。通常,在考虑到迟滞而在从亮到暗或从暗到亮的变化之后的一定时间段内没有变化时,进行白天模式与夜间模式之间的切换。因此,存在以下情况:PTZ照相机没有紧接在摄像区域改变之后在白天模式与夜间模式之间进行切换,并且在一定时间段内没有拍摄到最佳视频。为了解决该问题,日本特许4438065号公报提出了如下方法:PTZ照相机将各摄像位置处的摄像模式(彩色摄像模式或黑白摄像模式)与时间信息一起记录,并且在摄像位置改变时改变摄像模式。
然而,上述公开的现有技术可能无法应对无规律的场合,诸如照明设备在即使在晚上、照明设备通常也将维持足够亮度的区域中发生故障的情况。
发明内容
本发明提供了能够在实时反映摄像区域中的亮度的情况下控制白天模式和夜间模式的摄像设备。
根据本发明的实施例的摄像设备包括:第一摄像单元,其具有第一红外截止滤波器并被构造为改变摄像区域;第二摄像单元,其具有第二红外截止滤波器;插入/移除单元,其被构造为,将所述第一红外截止滤波器和所述第二红外截止滤波器插入所述第一摄像单元和所述第二摄像单元的各光路,或从所述各光路中移除所述第一红外截止滤波器和所述第二红外截止滤波器;以及控制单元,其被构造为,在所述第一摄像单元的摄像区域从所述第一摄像单元的摄像区域与所述第二摄像单元的摄像区域不重叠的状态改变为与所述第二摄像单元正在拍摄的摄像区域重叠或改变为接近所述第二摄像单元正在拍摄的摄像区域的区域的情况下,基于所述第二摄像单元的图像信息,来控制所述第一红外截止滤波器的插入或移除。
通过以下参照附图对示例性实施例的描述,本发明的其它特征将变得明显。
附图说明
图1是包括根据第一实施例的摄像设备的摄像系统的框图。
图2A和图2B是摄像设备的外观图。
图3是示出照明单元被开启的状态的示例的图。
图4是用于描述照相机1100至1300的在白天模式与夜间模式之间的切换操作的流程图。
图5A和图5B是示出根据第一实施例的在显示设备上显示视频的状态的示例的图。
图6是示出在根据第一实施例的照相机1400的摄像方向改变之后的状态的示例的图。
图7是用于描述根据第一实施例的照相机1400的在白天模式与夜间模式之间的切换操作的流程图。
图8A和图8B是示出根据第二实施例的在显示设备上显示视频的状态的示例的图。
图9是示出在根据第二实施例的照相机1400改变摄像方向之后的状态的示例的图。
图10是其中仅提取由图8A和8B的照相机1100拍摄的视频的图。
图11是用于描述根据第二实施例的照相机1400的在白天模式与夜间模式之间的切换操作的流程图。
图12是示出根据第三实施例的在显示设备上显示视频的状态的示例的图。
具体实施方式
接下来将使用附图来描述本发明的实施例。附图中具有相同功能的组成元件将被赋予相同的附图标记,并将省略其重复描述。另外,以下实施例中介绍的构造仅仅是示例,并且本发明不限于示出的构造。
[第一实施例]
图1是根据第一实施例的包括摄像设备的摄像系统的框图。摄像系统1包括摄像设备1000和客户端设备3000(信息处理设备)。客户端设备3000包括CPU和存储器,并且CPU根据从存储器加载的计算机程序全面地控制客户端设备3000的各组成元件,并且例如设置各种参数。客户端设备3000具有诸如鼠标和键盘等的输入单元以及被构造为指定将在下面进行描述的照相机1100至1400的摄像区域的指定单元。摄像设备1000的操作者使用输入单元来指定照相机1100至1400的摄像区域,并且因此可以改变照相机1100至1400的摄像区域。客户端设备3000经由网络2000连接至摄像设备1000,从而可以彼此通信。
网络2000是网络上的局域网(LAN),并且可以由满足诸如Ethernet(商标)的通信标准的路由器来构造。
摄像设备1000具有照相机1100、照相机1200、照相机1300、照相机1400、信号处理单元1500、照明单元1600、照明控制单元1700和分配单元1800。作为本实施例中的示例,照相机1100、照相机1200和照相机1300是具有相同构造的照相机,并且照相机1400具有与其它三个照相机1100至1300不同的构造。
图2A和图2B示出了摄像设备1000的外观图。图2A是处于安装状态的摄像设备1000的从水平方向观察的图,而图2B是处于安装状态的摄像设备1000的从下方观察的图。尽管摄像设备1000的外观实际上并不是透明的,但是在这里将其描绘为透明的,以便于更容易理解照相机1100至1400的位置关系。
照相机1100至1300可以通过改变平摇角度和俯仰角度中的各个来改变摄像视角。如图2B所示,可以通过在圆形轨道1010(引导单元)上移动照相机1100至1300来改变平摇角度。可以改变平摇角度,直到照相机到达相邻照相机为止。例如,在如图2B所示布置照相机1100至1300时期望调整照相机1100的平摇角度的情况下,可以绕轴P在图中从P1到P2的范围内移动照相机1100。此外,尽管在本实施例中照相机1100到1300由用户手动移动,但是照相机可以利用安装在其中的驱动系统自动移动。
如图2A所示,可以绕轴Ti改变俯仰角度。
旋转编码器、光断路器、角速度传感器等被安装在照相机1100至1300中,并且照相机1100至1300的平摇角度和俯仰角度由摄像角度检测单元1102至1302检测。检测到的照相机1100至1300的平摇角度和俯仰角度被转换为电信号并且被发送到信号处理单元1500。也就是说,信号处理单元1500可以确定照相机1100至1300的摄像区域。此外,在本说明书中,摄像区域的概念包括摄像方向(平摇和俯仰方向)和在该摄像方向上的变焦位置。此外,根据变焦倍率确定变焦位置。
在未示出的驱动系统的远程操作中,照相机1400可以根据从信号处理单元1500输出的控制信号,经由PT驱动单元14021来改变平摇角度和俯仰角度。此外,在未示出的驱动系统的远程操作中,可以经由Z驱动单元14022来改变变焦倍率。即,照相机1400可以改变摄像区域。照相机1400的平摇角度可以绕平摇轴在350度的范围内改变,并且其俯仰角度可以绕穿过照相机1400在水平方向上的中心的俯仰轴在200度的范围内改变。
照相机的摄像单元1101至1401中的各个包括透镜和固态图像传感器,诸如电荷耦合器件(CCD)图像传感器或互补MOS(CMOS)图像传感器等。摄像单元1101至摄像单元1401使用固态图像传感器将从透镜入射的光转换为电信号。在本实施例中,作为示例,将视频转换为具有1920×1080像素和60FPS帧频的电信号的固态图像传感器安装在各照相机中,并且已经转换为电信号的视频信号被发送到信号处理单元1500。
另外,照相机1100至1300的水平视角为80度,且其垂直视角为45度,并且照相机1400的水平视角为56至20度,且其垂直视角为31.5至11.3度。
各固态图像传感器中的像素具有RGB Bayer阵列的片上滤色器,并被构造为获取辉度信息以及颜色信息。
在照相机1100至1400中的各个中,未示出的红外截止滤波器(IRCF)被布置在各照相机的固态图像传感器的前面,使得IRCF垂直于光轴并且可以插入光路以及从光路中移除。IRCF不透射而是反射红外成分并透射可见光。基于从信号处理单元1500输出的控制信号,经由IRCF驱动单元1103至1403将各照相机的IRCF切换为插入和移除。IRCF驱动单元1103至1403分别独立地将IRCF插入照相机1100至1400的光路或从照相机1100至1400的光路中移除IRCF。
在下文中,将IRCF插入光路的摄像模式称为白天模式,并且将IRCF从光路中移除的摄像模式称为夜间模式。
在白天模式下,因为将IRCF插入光路,所以入射在固态图像传感器中的像素上的光仅限于可见光。因此,像素信号的SN比低于从光路中移除IRCF的夜间模式。即,辉度信息的质量劣化。另一方面,因为红外光没有入射在固态图像传感器的像素上,所以颜色信息的质量提高。同时,在夜间模式下,尽管辉度信息的质量提高,但是由于可见光和红外光均入射在固态图像传感器的像素上,所以颜色信息的质量劣化。
考虑到上述折衷,如下所述,通常以不同方式使用摄像模式。在被摄体的照度足够高的情况下,即,在摄像区域亮的情况下,仅利用可见光获得足够高质量的辉度信息,并因此在强调颜色信息的质量的情况下以白天模式进行摄像。另一方面,在被摄体的照度低并且仅利用可见光不能获得高质量的辉度信息的情况下,即,在摄像区域暗的情况下,以夜间模式进行摄像。另外,如上所述,因为颜色信息的质量由于夜间模式下的红外光的混合而劣化,因此仅使用辉度信息。换句话说,像素信号在夜间模式下被视为单色图像。结果,经由分配单元1800(将在下面进行描述)分配的视频在白天模式下变为彩色图像,并且在夜间模式下变为黑白图像。
信号处理单元1500将用于摄像条件的设置值发送到照相机1100至1400的各个摄像单元,并且改变照相机的摄像单元1101至1401的驱动状态。这里,摄像条件包括增益条件、动态范围条件、曝光条件、聚焦条件等。
另外,信号处理单元1500接收从摄像角度检测单元1102至1302输出的各个照相机的角度信息,以计算各个照相机的摄像区域。另外,因为信号处理单元1500控制照相机1400的摄像区域,所以信号处理单元1500可以确定照相机1400的摄像区域。
此外,信号处理单元1500接收从照相机1100至1400的摄像单元1101至1401输出的电信号,对其进行预定的图像处理,并生成预定格式的视频数据。所生成的视频数据经由分配单元1800被作为视频信息分配在网络2000上。
另外,信号处理单元1500将作为从摄像单元1101至1401输出的电信号的RGB信号转换为YCbCr信号,并提取辉度信息Y。信号处理单元1500使用辉度信息在白天模式与夜间模式之间切换。换句话说,信号处理单元1500控制IRCF的插入或移除。例如,如果由摄像单元1101拍摄的一帧图像的平均辉度值高于阈值A的状态持续预定时间段(例如三秒),则信号处理单元1500在考虑迟滞的情况下确定要使用白天模式。相反,如果平均辉度值低于阈值B的状态持续预定时间段,则确定要使用夜间模式。信号处理单元1500针对各个照相机确定白天模式/夜间模式,并且根据白天模式/夜间模式的确定结果,向照相机输出用于经由IRCF驱动单元控制IRCF的插入或移除的信号。
此外,如图1所示,照明单元1600和另一个照明单元1404也安装在摄像设备1000中。控制照明单元1600和照明单元1404,使得基于从信号处理单元1500输出的控制信号来开启照明单元1600和照明单元1404。
照明单元1600包括诸如多个发光二极管(LED)等的发光元件。作为示例,八个LED1601至1608以相等的间隔布置在摄像设备1000的周围,如图2A和图2B所示。LED 1601至1608可以说是布置在与照相机1100至1300可以进行摄像的摄像方向相对应的位置处。信号处理单元1500利用照明控制单元1700进行控制,使得根据照相机1100至1300正在摄像的被摄体的照度来开启LED1601至1608。
图3是示出照明单元1600被开启的状态的示例的图。图3是示出当照相机1200由于照相机1200的摄像区域的平均辉度值低而在夜间模式下进行摄像并且由于照相机1100和1300的摄像区域的平均辉度值高而在白天模式下进行摄像时,LED 1601至1608的开启状态的图。在图中,信号处理单元1500输出控制信号以仅开启可以对由摄像角度检测单元1102检测到的照相机1200的摄像方向进行照明的LED 1603和1604,并且关闭其余的LED 1601、1602和1605至1608。换句话说,信号处理单元1500进行控制,使得布置在与照相机1200的摄像方向相对应的位置处的LED 1603和1604被开启。
例如,与照明单元1600分开,在照相机1400中安装有LED,作为对与摄像单元1401的光轴相同的方向进行照明的照明单元1404。信号处理单元1500使用照明控制单元1700控制照明单元1404以及照明单元1600的照明。
这里,将描述照明单元1600和1404的具体控制方法。类似于白天模式/夜间模式的确定,信号处理单元1500基于平均辉度值来确定各个照相机的摄像区域的明暗,并且当平均辉度值低于预定阈值时,信号处理单元输出控制信号以开启对照相机1100至1400中的各个的摄像方向进行照明的LED。此外,可以进行控制,使得基于照相机1100至1400中的各个处于白天模式还是夜间模式的信息(换句话说,插入或移除了照相机1100至1400中的各个的IRCF的状态的信息),来开启照明单元1600和1404。
接下来,将使用流程图描述在白天模式与夜间模式之间的切换操作。图4是用于描述照相机1100至1300的白天模式与夜间模式之间的切换操作的流程图。该流程图中示出的各个操作(步骤)可以由信号处理单元1500执行。尽管照相机1100至1300彼此独立,但是它们以相同的序列进行操作以进行白天模式与夜间模式之间的切换,因此,这里将以照相机1100的操作作为代表性示例进行描述。
当接通摄像设备1000的电源时,在预定的初始化处理结束之后,照相机1100开始白天模式与夜间模式之间的切换操作。首先,信号处理单元1500检查未示出的IRCF是否已经插入照相机1100的光路中,以确定照相机1100的当前状态是白天模式还是夜间模式(步骤401,将简称为S401)。如果该状态被确定为白天模式(是),则信号处理单元1500计算由照相机1100的摄像单元1101拍摄的一帧视频的平均辉度值Yn,并将该平均辉度与将白天模式切换为夜间模式的阈值K1进行比较(S402)。如果平均辉度值Yn等于或高于阈值K1(否),即,照相机1100的视频亮得足以具有等于或高于预定值的辉度,则处理返回到S401。
另一方面,如果平均辉度值Yn小于阈值K1(是),则信号处理单元1500将阈值K1与下一帧的平均辉度值Yn+1进行比较,并且如果平均辉度值Yn+1等于或高于阈值K1,则处理返回到S401。如果平均辉度值Yn+1小于阈值K1,则继续下一帧的平均辉度值Yn+2与阈值K1的比较(S403),并且如果平均辉度值Y小于阈值K1的状态持续预定时间段T,例如三秒(是),则将模式切换为夜间模式(S404)。换句话说,当从照相机1100的光路移除IRCF时,照相机1100正在摄像的方向上的LED被开启,并且处理返回到S401。
如果在S401中将状态确定为夜间模式,则信号处理单元1500计算由照相机1100的摄像单元1101拍摄的一帧视频的平均辉度值Yn,并将该平均辉度值与将夜间模式切换为白天模式的阈值K2进行比较(S405)。如果平均辉度值Yn小于阈值K2(否),即,照相机1100的视频暗得足以具有小于预定值的值,则处理返回到S401。如果平均辉度值Yn等于或高于阈值K2(是),则将下一帧的平均辉度值Yn+1与阈值K2进行比较,并且如果平均辉度值Yn+1小于阈值K2,则处理返回到S401。如果平均辉度值Yn+1等于或高于阈值K2,则继续下一帧的平均辉度值Yn+2与阈值K2的比较(S406),并且如果平均辉度值Y等于或高于阈值K2的状态持续预定时间段T,例如三秒(是),则将模式切换为夜间模式(S407)。换句话说,当IRCF被插入摄像单元1101的光路中时,照相机1100正在摄像的方向上的LED被关闭,并且处理返回到S401。此后重复从S401到S407的操作。
这里,已经描述了在S402、S403、S405和S406中计算一帧视频的平均辉度值的方法。然而,不必使用照相机1100的像素总数1920×1080的平均值,并且例如,针对平均辉度值,可以使用通过对每五个像素进行间隔剔除而获得的像素总数384×216的平均值。另外,尽管已经在S403和S406中描述了针对各帧将平均辉度值与阈值进行比较的方法,但是可以针对间隔剔除之后的每第五帧进行平均辉度值与阈值的比较。
接下来,将使用图5A、图5B、图6和图7描述能够改变照相机摄像方向的、照相机1400的白天模式与夜间模式之间的切换操作。在本实施例中,信号处理单元1500基于照相机1100至1300中的任何一个的整个摄像区域的图像信息来控制照相机1400的IRCF的插入或移除。此外,这里的图像信息包括例如辉度信息和颜色信息。因为优选地将辉度信息用作图像信息,所以这里将描述使用辉度信息的示例,但是,可以使用颜色信息。另外,可以使用辉度信息和颜色信息二者。
经由网络2000将摄像设备1000拍摄的视频发送到例如用作外部装置(诸如PC)的客户端设备3000,并且将该视频显示在诸如监视器的显示设备上。图5A和图5B是示出根据第一实施例的在显示设备上显示视频的状态的示例的图。视频501至504分别由照相机1100至1400拍摄。这里,作为示例,照相机1100因为摄像方向暗而在夜间模式下进行了摄像,并且显示黑白图像。照相机1200至1400因为摄像方向亮而在白天模式下进行了摄像,并且在彩色模式下进行显示。
图5A是示出在改变照相机1400的摄像方向之前在显示设备上显示视频的状态的示例的图。在图5A中,假设在关注区域505中,例如拍摄了需要在详细视频中进行检查的事件。在本说明书中,将用户想要在详细视频中检查的区域称为关注区域。操作摄像设备1000的操作者使用例如利用客户端设备3000的鼠标操作的指针506来点击关注区域505以指定区域,并给出改变摄像方向的指令。然后,经由网络2000将拍摄图像中的点击区域的坐标发送到信号处理单元1500。接下来,信号处理单元1500计算操作者指定的照相机1400的摄像方向。具体地,基于照相机1100的平摇角度和俯仰角度,来计算由操作者指定的照相机1400的摄像方向,其中照相机1100的平摇角度和俯仰角度由信号处理单元1500基于从照相机1100的摄像角度检测单元1102输出的信号和点击区域的坐标而预先确定。接下来,信号处理单元1500将控制信号输出到PT驱动单元14021以使照相机1400面向计算出的摄像方向,使照相机1400面向点击方向,从而照相机1400的摄像方向被改变。即,可以说由操作者指定的区域是改变照相机1400的摄像方向之后的摄像区域。
图6是示出在根据第一实施例的照相机1400的摄像方向改变之后的状态的示例的图。该图示出了照相机1400将方向改变为关注区域505的方向以拍摄关注区域505的状态。如图6所示,在白天模式下进行了摄像的照相机1400在移动期间切换到夜间模式,该夜间模式是对关注区域505进行摄像的照相机1100的摄像模式。即,在至少照相机1400的摄像方向的改变结束之前,信号处理单元1500开始插入或移除的控制。通过如上所述进行控制,当完成摄像方向的改变时,照相机1400处于适合于改变之后的摄像区域的亮度的模式。因此,可以减少在白天模式与夜间模式之间切换所需的时间,并且可以避免丢失拍摄期望视频的机会。
返回图5A和5B,图5B是示出在改变照相机1400的摄像方向之后在显示设备上显示视频的状态的示例的图。该图示出了紧接在面向点击的关注区域505的方向的照相机1400改变为在关注区域505的方向上之后,正以夜间模式进行摄像的状态。
接下来,将使用图7的流程图描述可以改变摄像方向的照相机1400的白天模式与夜间模式之间的切换操作。图7是用于描述根据第一实施例的照相机1400的白天模式与夜间模式之间的切换操作的流程图。可以由信号处理单元1500执行该流程图中所示的各操作(步骤)。当接通摄像设备1000的电源时,照相机1400在预定的初始化处理结束之后开始白天模式与夜间模式之间的切换操作。首先,信号处理单元1500检查是否存在来自操作者的、用于改变照相机1400的平摇角度和俯仰角度以将方向改变为其余照相机1100至1300正在进行摄像的方向的指令(S701)。换句话说,信号处理单元1500检查是否存在来自操作者的、用于将摄像区域改变为与其它照相机1100至1300的摄像区域重叠的区域的针对照相机1400的指令。如果存在来自操作者的、用于将方向改变为其它照相机1100至1300正在进行摄像的区域的指令(是),则经由PT驱动单元14021开始照相机1400的方向的改变,使得照相机1400面向所指示的方向(S702)。
接下来,信号处理单元1500根据操作者指示的其它照相机(换句话说,对关注区域505进行摄像的照相机的白天模式或夜间模式),来改变照相机1400的摄像模式(S703)。即,信号处理单元1500基于关于由操作者指示的其它照相机的IRCF的插入/移除状态的信息,来控制照相机1400的IRCF的插入或移除。接下来,信号处理单元1500确定是否完成了照相机1400的照相机方向朝指示的方向的改变(S704),并且如果没有完成方向的改变(否),则处理返回到S703,如果完成了方向的改变(是),则处理返回到S701。
另一方面,如果在S701中不存在将方向改变为其它照相机1100至1300正在摄像的区域的指令(否),则信号处理单元1500确定照相机1400的当前状态是白天模式还是夜间模式(S704)。如果确定状态为白天模式(是),则信号处理单元1500计算由照相机1400的摄像单元1401拍摄的一帧视频的平均辉度值Yn,并将该平均辉度值与将白天模式切换为夜间模式的阈值K1进行比较(S705)。如果平均辉度值Yn等于或高于阈值K1(否),即,照相机1400的视频亮得足以具有等于或高于预定值的值,则处理返回到S701。如果平均辉度值Yn小于阈值K1,则将下一帧的平均辉度值Yn+1与阈值K1进行比较,并且如果平均辉度值Yn+1等于或高于阈值K1,则处理返回到S701。如果平均辉度值Yn+1小于阈值K1,则继续下一帧的平均辉度值Yn+2与阈值K1的比较,并且如果平均辉度值Y小于阈值K1的状态持续预定时间段T,例如三秒(S706中为“是”),则将模式切换为夜间模式(S707)。换句话说,当从照相机1400的光路移除IRCF时,照明单元1404被开启,并且处理返回到S701。
如果在S704中确定该状态处于夜间模式(否),则信号处理单元1500计算由照相机1400的摄像单元1401拍摄的一帧视频的平均辉度值Yn,并将该平均辉度值与将夜间模式切换为白天模式的阈值K2进行比较(S708)。如果平均辉度值Yn小于阈值K2(否),即,照相机1400的视频暗得足以具有小于预定值的值,则处理返回到S701。如果平均辉度值Yn等于或高于阈值K2(是),则将下一帧的平均辉度值Yn+1与阈值K2进行比较,并且如果平均辉度值Yn+1小于阈值K2,则处理返回到S701。如果平均辉度值Yn+1等于或高于阈值K2,则继续下一帧的平均辉度值Yn+2与阈值K2的比较(S709),并且如果平均辉度值Y等于或高于阈值K2的状态持续预定时间段T,例如三秒(是),则将模式切换为白天模式(S710)。换句话说,当IRCF被插入摄像单元1401的光路中时,照明单元1404被关闭,并且处理返回到S701。此后重复从S701到S710的操作。
这里,已经描述了在S704、S705、S708和S709中计算一帧视频的平均辉度值的方法。然而,不必使用照相机1400的像素总数1920×1080的平均值,并且例如,针对平均辉度值,可以使用通过对每五个像素进行间隔剔除而获得的像素数384×216的平均。另外,尽管已经在S706和S709中描述了针对各帧将平均辉度值与阈值进行比较的方法,但是可以针对间隔剔除之后的每第五帧进行平均辉度值与阈值的比较。
根据本实施例,能够在实时反映摄像区域中的亮度的情况下进行白天模式或夜间模式的控制。
[第二实施例]
在第一实施例中,已经描述了使照相机1400的摄像模式与对由操作者指定的区域进行摄像的照相机的摄像模式相匹配的方法。然而,照相机1400的摄像区域可能比其它照相机1100至1300的摄像区域窄。在这种情况下,仅通过将模式与针对指定区域的照相机的摄像模式进行匹配,可能无法获得最佳图像。
图8A和图8B是示出根据第二实施例的在显示设备上显示视频的状态的示例的图。在图8A和图8B中,与图5A和图5B一样,分别示出了由照相机1100至1400拍摄的视频501至504。图8A是示出在改变照相机1400的摄像方向之前在显示设备上显示视频的状态的示例的图。照相机1100至1400由于其摄像区域亮,因此全部在白天模式下进行摄像,并且在彩色模式下显示图像。在图8A中,例如,当使用利用客户端设备3000的鼠标操作的指针506来点击关注区域505时,照相机1400面向点击的方向。
图9是示出在根据第二实施例的照相机1400的摄像方向改变之后的状态的示例的图。该图示出了照相机1400将方向改变为关注区域505的方向以拍摄关注区域505的状态。图9示出了尽管照相机1400在白天模式下进行摄像,但是该照相机根据关注区域505的亮度,在移动期间切换到夜间模式。即,信号处理单元1500开始插入或移除的控制,直到至少照相机1400的摄像方向的改变结束为止。
返回图8A和8B,图8B是示出在照相机1400的摄像区域改变之后在显示设备上显示视频的状态的示例的图。该图示出了在紧接照相机1400将方向改变为关注区域505的方向之后,面向点击的关注区域505的方向的该照相机根据关注区域的亮度,正以夜间模式进行摄像的状态。在第一实施例中,已经描述了在S703中参照由操作者指示的其它照相机的摄像模式来在照相机1400的白天模式与夜间模式之间切换的方法。在第二实施例中,将描述根据照相机1400的视角改变具有要参照的辉度值的区域的方法。图10是其中仅提取由图8A和8B的照相机1100拍摄的视频501的图。由照相机1100拍摄的视频分别在水平方向和垂直方向上被划分为16个片段,从而产生总共256个小区域,如图10所示。区域507表示小区域中的一个。信号处理单元1500记录最近三秒内各小区域的平均辉度值Y。即,记录三秒内小区域的辉度值的移动平均值,同时以60Hz更新帧频。
在图10中,区域508表示照相机1400的最小变焦倍率的摄像区域,并且区域509表示其最大变焦倍率的摄像区域。当照相机1400面向操作者指定的区域时,信号处理单元1500利用当前变焦倍率来提取要由照相机1400在改变方向之后拍摄的指定位置(区域)周围的一组小区域。具体地,例如,利用由操作者操作的指针506来指定拍摄图像上的位置。然后,根据当前的变焦倍率,提取由指针506指定的位置周围的一组小区域。接下来,将所提取的一组小区域在最近三秒内的平均辉度值与预定阈值进行比较,并且切换照相机1400的摄像模式。
接下来,将使用图11的流程图描述可以改变摄像方向的照相机1400的白天模式与夜间模式之间的切换操作。图11是用于描述根据第二实施例的照相机1400的白天模式与夜间模式之间的切换操作的流程图。该流程图中所示的各个操作(步骤)可以由信号处理单元1500执行。
当接通摄像设备1000的电源时,在预定的初始化处理结束之后,照相机1400开始在白天模式与夜间模式之间的切换操作。首先,信号处理单元1500检查是否存在来自操作者的、用于改变照相机1400的平摇角度和俯仰角度以将方向改变为其余照相机1100至1300正在进行摄像的方向的指令(S701)。换句话说,信号处理单元1500检查是否存在来自操作者的、用于将摄像区域改变为与其它照相机1100至1300的摄像区域重叠的区域的针对照相机1400的指令。如果存在来自操作者的、用于将方向改变为其它照相机1100至1300正在进行摄像的区域的指令(是),则经由PT驱动单元14021开始照相机1400的方向的改变,使得照相机1400面向指示的方向(S1101)。
接下来,信号处理单元1500利用照相机1400的当前变焦倍率和指示的摄像方向改变目的地,提取要由照相机1400在改变摄像方向之后拍摄的一组小区域(S1102)。此时,由于变焦倍率,该组小区域可能不完全匹配要由照相机1400拍摄的区域。在这种情况下,该组小区域可以被提取为比要由照相机1400拍摄的区域大一个尺寸或小一个尺寸。此外,取决于指定的摄像方向,要由照相机1400拍摄的区域可能会扩展到其它照相机的摄像区域之外。在这种情况下,可以将要由照相机1400拍摄的区域和由其它照相机拍摄的区域的重叠区域提取为一组小区域。
接下来,信号处理单元1500检查将拍摄由操作者指定的区域的照相机的摄像模式是白天模式还是夜间模式(S1103)。如果在S1103中摄像模式是白天模式(是),则信号处理单元1500将在S1102中提取的小区域在最近三秒内的平均辉度值Y与将白天模式切换为夜间模式的阈值K1进行比较(S1104)。如果平均辉度值Y小于阈值K1(是),即,要由照相机1400在摄像方向改变之后拍摄的视频暗得足以具有小于预定值的值,则模式被切换为夜间模式(S1105)。
接下来,信号处理单元1500确定是否完成了照相机1400的照相机方向朝指示的方向的改变(S1106),并且如果没有完成方向的改变(否),则处理返回S1103,如果完成了方向的改变,则处理返回到S701。
另一方面,如果在S1103中摄像模式是夜间模式(否),则信号处理单元1500将在S1102中提取的小区域在最近三秒内的平均辉度值Y与将夜间模式切换为白天模式的阈值K2进行比较(S1107)。如果平均辉度值Y等于或高于阈值K2(是),即,要由照相机1400在摄像方向改变之后拍摄的视频亮且具有小于预定值的值,则将模式切换为白天模式(S1108),并且处理进入S1106。如果在S1107中平均辉度值Y小于阈值K2(否),则处理进入S1106。在图11中,由于S704至S710与第一实施例中的相同,因此省略了描述。
根据本实施例,因为使用其它照相机拍摄的图像的图像信息来进行白天模式和夜间模式的控制,所以可以根据摄像区域的实际亮度来控制白天模式和夜间模式。另外,可以灵活地处理摄像区域中的不均匀亮度。
[第三实施例]
在第一实施例中,已经描述了使能够改变照相机的摄像方向的照相机1400面向其它照相机1100至1300的摄像区域的情况。然而,如果照相机1400面向的方向接近于其它照相机1100至1300的方向,则即使摄像区域不重叠,也可以通过调整为拍摄附近区域的照相机的摄像模式来获得类似的效果。
图12是示出根据第三实施例的在显示设备上显示视频的状态的示例的图。将不描述与图5A、5B相同的内容。条1201和1202表示相对于摄像设备1000的水平方向和垂直方向的照相机1400的摄像方向。滑块1203和1204的位置表示水平方向和垂直方向上的照相机1400的当前摄像方向。显示1205、1206和1207分别表示照相机1100、1200和1300在水平方向上的摄像区域。当操作者使用利用诸如鼠标等的输入单元操作的指针506来移动滑块1203和1204或点击条1201和1202上的预定位置时,可以改变照相机1400的摄像方向。此外,尽管在显示画面上仅显示摄像方向的改变,但是可以类似地显示和改变变焦倍率。例如,操作者使用利用诸如鼠标等的输入单元操作的指针506来点击图12所示的位置。然后,照相机1400将摄像方向改变为在照相机1100和1200进行摄像的方向之间并且接近照相机1200的摄像区域的方向。此时,用户指定的位置更接近照相机1200的摄像区域,并且改变摄像方向之后的照相机1400的摄像区域与照相机1200的摄像区域之间的距离等于或小于阈值。因此,在这种情况下,可以将照相机1400的摄像模式调整为照相机1200的摄像模式。
此外,在如本实施例中存在除了照相机1400之外的多个照相机的情况下,优选将摄像模式调整为拍摄如下区域的照相机的摄像模式,该区域最接近改变摄像区域之后的照相机1400的摄像区域。
另外,可以基于例如照相机1100、1200和1300的摄像区域中包括的部分区域的图像信息,来进行白天模式与夜间模式之间的切换控制,该部分区域是距改变摄像方向之后的照相机1400的摄像区域的距离等于或小于阈值的区域。具体地,如在第二实施例中,从距改变摄像方向之后的照相机1400的摄像区域的距离等于或小于阈值的区域开始使用根据照相机1400的当前变焦倍率的一组小区域的辉度信息。另外,此时,优选使用拍摄如下区域的照相机的图像信息,该区域最接近改变摄像区域之后的照相机1400的摄像区域。
根据本实施例,即使将照相机1400的摄像区域改变为任何其它照相机都未拍摄的区域,也可以在实时反映摄像区域的亮度的情况下控制白天模式和夜间模式。
[其它实施例]
尽管已经参照示例性实施例描述了本发明,但是应当理解,本发明不限于所公开的示例性实施例。所附权利要求的范围应被赋予最宽泛的解释,以涵盖所有这样的修改以及等同的结构和功能。
尽管在以上实施例中描述了多镜头照相机和PTZ照相机的组合的情况,但是摄像设备中包括的照相机不需要在引导单元上可移动,例如,可以将以等间隔固定地布置在摄像设备的圆周上的照相机和PTZ照相机组合。
本发明的实施例还可以通过如下的方法来实现,即,通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置,该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
本申请要求2020年3月19日提交的日本专利申请第2020-49678号的优先权,该申请的全部内容通过引用并入本文。

Claims (14)

1.一种摄像设备,其包括:
第一摄像单元,其具有第一红外截止滤波器并被构造为改变摄像区域;
第二摄像单元,其具有第二红外截止滤波器;
插入/移除单元,其被构造为,将所述第一红外截止滤波器和所述第二红外截止滤波器插入所述第一摄像单元和所述第二摄像单元的各光路,或从所述各光路中移除所述第一红外截止滤波器和所述第二红外截止滤波器;以及
控制单元,其被构造为,在所述第一摄像单元的摄像区域从所述第一摄像单元的摄像区域与所述第二摄像单元的摄像区域不重叠的状态改变为与所述第二摄像单元正在拍摄的摄像区域重叠、或改变为接近所述第二摄像单元正在拍摄的摄像区域的区域的情况下,基于所述第二摄像单元的图像信息来控制所述第一红外截止滤波器的插入或移除。
2.根据权利要求1所述的摄像设备,其中,所述控制单元在所述第一摄像单元的摄像区域的改变结束之前,开始所述插入或移除的控制。
3.根据权利要求1所述的摄像设备,其中,所述控制单元基于所述第二摄像单元正在拍摄的整个摄像区域的图像信息,来控制所述插入或移除。
4.根据权利要求1所述的摄像设备,其中,在所述第一摄像单元的摄像区域改变为与所述第二摄像单元正在拍摄的摄像区域重叠的情况下,所述控制单元基于指定区域周围的区域的图像信息,来控制所述插入或移除。
5.根据权利要求1所述的摄像设备,其中,在所述第一摄像单元的摄像区域改变为接近所述第二摄像单元正在拍摄的摄像区域的区域的情况下,所述控制单元基于距改变后的所述第一摄像单元的摄像区域的距离等于或小于阈值的、所述第二摄像单元正在拍摄的摄像区域的图像信息来控制所述插入或移除。
6.根据权利要求1所述的摄像设备,其中,所述图像信息包括辉度信息。
7.根据权利要求1所述的摄像设备,还包括:
多个照明单元,
其中,所述控制单元根据所述第一红外截止滤波器和所述第二红外截止滤波器中的至少一个的插入或移除的控制,来控制所述照明单元的开启。
8.根据权利要求1所述的摄像设备,其中,所述第二摄像单元能够沿圆形引导单元移动。
9.一种摄像设备,其包括:
第一摄像单元,其具有第一红外截止滤波器并被构造为改变摄像区域;
第二摄像单元,其具有第二红外截止滤波器;
插入/移除单元,其被构造为,将所述第一红外截止滤波器和所述第二红外截止滤波器插入所述第一摄像单元和所述第二摄像单元的各光路,或从所述各光路中移除所述第一红外截止滤波器和所述第二红外截止滤波器;以及
控制单元,其被构造为,在所述第一摄像单元的摄像区域从所述第一摄像单元的摄像区域与所述第二摄像单元的摄像区域不重叠的状态改变为与所述第二摄像单元正在拍摄的摄像区域重叠的情况下,基于所述第二红外截止滤波器的插入或移除状态来控制所述第一红外截止滤波器的插入或移除。
10.根据权利要求9所述的摄像设备,其中,所述控制单元在所述第一摄像单元的摄像区域的改变结束之前,开始所述插入或移除的控制。
11.根据权利要求9所述的摄像设备,还包括:
多个照明单元,
其中,所述控制单元根据所述第一红外截止滤波器和所述第二红外截止滤波器中的至少一个的插入或移除的控制来进行所述照明单元开启的控制。
12.根据权利要求9所述的摄像设备,其中,所述第二摄像单元能够沿圆形引导单元移动。
13.一种摄像设备的控制方法,所述摄像设备包括:第一摄像单元,其具有第一红外截止滤波器并被构造为改变摄像区域;第二摄像单元,其具有第二红外截止滤波器;以及插入/移除单元,其被构造为,将所述第一红外截止滤波器和所述第二红外截止滤波器插入所述第一摄像单元和所述第二摄像单元的各光路,或从所述各光路中移除所述第一红外截止滤波器和所述第二红外截止滤波器,
其中,在所述第一摄像单元的摄像区域从所述第一摄像单元的摄像区域与所述第二摄像单元的摄像区域不重叠的状态改变为与所述第二摄像单元正在拍摄的摄像区域重叠、或改变为接近所述第二摄像单元正在拍摄的摄像区域的区域的情况下,基于所述第二摄像单元的图像信息来切换所述第一摄像单元的所述第一红外截止滤波器的插入或移除。
14.一种非暂时性计算机可读存储介质,其存储用于使计算机执行摄像设备的控制方法的程序,所述摄像设备包括:第一摄像单元,其具有第一红外截止滤波器并被构造为改变摄像区域;第二摄像单元,其具有第二红外截止滤波器;以及插入/移除单元,其被构造为,将所述第一红外截止滤波器和所述第二红外截止滤波器插入所述第一摄像单元和所述第二摄像单元的各光路,或从所述各光路中移除所述第一红外截止滤波器和所述第二红外截止滤波器,
其中,所述控制方法包括:在所述第一摄像单元的摄像区域从所述第一摄像单元的摄像区域与所述第二摄像单元的摄像区域不重叠的状态改变为与所述第二摄像单元正在拍摄的摄像区域重叠、或改变为接近所述第二摄像单元正在拍摄的摄像区域的区域的情况下,基于所述第二摄像单元的图像信息而切换成所述第一摄像单元的所述第一红外截止滤波器的插入或移除。
CN202110297790.4A 2020-03-19 2021-03-19 摄像设备、控制方法和存储介质 Pending CN113497877A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-049678 2020-03-19
JP2020049678A JP2021148984A (ja) 2020-03-19 2020-03-19 撮像装置、撮像システム、情報処理装置、制御方法、プログラム、および、記憶媒体

Publications (1)

Publication Number Publication Date
CN113497877A true CN113497877A (zh) 2021-10-12

Family

ID=77748713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110297790.4A Pending CN113497877A (zh) 2020-03-19 2021-03-19 摄像设备、控制方法和存储介质

Country Status (3)

Country Link
US (1) US20210297573A1 (zh)
JP (1) JP2021148984A (zh)
CN (1) CN113497877A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220159645A (ko) * 2021-05-26 2022-12-05 현대자동차주식회사 모니터링 장치 및 그를 가지는 차량

Also Published As

Publication number Publication date
US20210297573A1 (en) 2021-09-23
JP2021148984A (ja) 2021-09-27

Similar Documents

Publication Publication Date Title
US8044992B2 (en) Monitor for monitoring a panoramic image
DE602005005879T2 (de) Zielsteuerungssystem und -Verfahren auf Bewegenbasis
US7450165B2 (en) Multiple-view processing in wide-angle video camera
US7590343B2 (en) Autofocus system
US9025044B2 (en) Imaging device, display method, and computer-readable recording medium
US20110090341A1 (en) Intruding object detection system and controlling method thereof
KR101120131B1 (ko) 지능형 광역 감시 카메라, 그 제어회로 및 제어방법, 이를 이용한 영상 감시 시스템
EP1358758A1 (en) Camera system and method for operating same
JP2004266317A (ja) 監視装置
CN103873765A (zh) 监控方法和监控相机
CN111107276A (zh) 信息处理设备及其控制方法、存储介质以及摄像系统
JP2001358984A (ja) 動画像処理カメラ
JP5566145B2 (ja) マスキング機能を有する撮像装置およびその制御方法
CN113141442B (zh) 一种摄像机及其补光方法
CN114554093B (zh) 图像采集系统及目标跟踪方法
CN110351475B (zh) 摄像系统、信息处理设备及其控制方法和存储介质
JP6265602B2 (ja) 監視カメラシステム、撮像装置及び撮像方法
KR20160120648A (ko) 환경에 따른 필터 구동과 ir라이트 구동 카메라장치
CN113497877A (zh) 摄像设备、控制方法和存储介质
JP4855662B2 (ja) カメラシステム、カメラ制御方法、及びプログラム
KR101738514B1 (ko) 어안 열상 카메라를 채용한 감시 시스템 및 이를 이용한 감시 방법
CN111078085B (zh) 信息处理设备、信息处理设备的控制方法及存储介质
JPH08205021A (ja) 画像入力装置
KR101153388B1 (ko) 카메라 모듈 및 그의 노출 제어 방법
KR101147327B1 (ko) 카메라모듈 및 이를 구비한 감시장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20211012