CN109698905B - 控制设备、摄像设备、控制方法和计算机可读存储介质 - Google Patents
控制设备、摄像设备、控制方法和计算机可读存储介质 Download PDFInfo
- Publication number
- CN109698905B CN109698905B CN201811212639.0A CN201811212639A CN109698905B CN 109698905 B CN109698905 B CN 109698905B CN 201811212639 A CN201811212639 A CN 201811212639A CN 109698905 B CN109698905 B CN 109698905B
- Authority
- CN
- China
- Prior art keywords
- unit
- image capturing
- image
- satisfied
- image pickup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6815—Motion detection by distinguishing pan or tilt from motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
- Accessories Of Cameras (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
Abstract
本发明涉及一种控制设备、摄像设备、控制方法和计算机可读存储介质。控制设备获得被摄体的移动速度,并且基于被摄体的移动速度来控制被配置为拍摄被摄体的摄像单元,使得进行用于在没有跟随被摄体的情况下进行摄像的第一摄像或者用于在跟随被摄体的情况下进行摄像的第二摄像。
Description
技术领域
本发明通常涉及控制设备、摄像设备、控制方法和计算机可读存储介质,特别涉及被摄体的摄像时的自适应设置技术。
背景技术
近年来,使用能够通过平摇(沿水平方向的驱动)、倾斜(沿垂直方向的驱动)和变焦来选择任意的摄像方向的许多监视照相机。另外,作为这样的监视照相机的类型,能够在通过360°的平摇和180°的倾斜转动的同时进行摄像的监视照相机有所增加。在监视时,为了根据图像判断跑开的人或开走的汽车等的特征,清楚地拍摄移动的被摄体(以下称为“移动被摄体”)是重要的。另一方面,日本特开2011-041186描述了如下的自动曝光控制技术,该自动曝光控制技术用于计算移动被摄体的移动速度并且根据所计算出的移动速度来改变曝光时间段,由此清楚地拍摄该移动被摄体。
在日本特开2011-041186所描述的技术中,在拍摄高速移动的移动被摄体时,将曝光时间段设置得短。然而,如果缩短自动曝光控制的曝光时间段以在低照度下拍摄高速移动的移动被摄体,则由于感光度不足,因而可能获得了亮度低且噪声多的可视性差的拍摄图像,并且可能无法清楚地拍摄该移动被摄体。
发明内容
本发明提供一种用于根据摄像条件来设置适当的摄像方法的技术。
根据本发明的一个方面,提供一种控制设备,包括:获得单元,其被配置为获得被摄体的移动速度;以及控制单元,其被配置为基于所述被摄体的移动速度来控制被配置为拍摄所述被摄体的摄像单元,使得进行用于在没有跟随所述被摄体的情况下进行摄像的第一摄像或者用于在跟随所述被摄体的情况下进行摄像的第二摄像。
根据本发明的另一方面,提供一种控制设备,包括:识别单元,其被配置为至少基于被摄体的移动速度,来识别通过用于利用摄像单元在没有跟随所述被摄体的情况下进行摄像的第一摄像是否能够满足与图像质量有关的预定条件;以及控制单元,其被配置为在识别出通过所述第一摄像不能满足所述预定条件的情况下,进行控制以进行所述摄像单元的平摇、倾斜或者平摇和倾斜这两者,使得进行用于利用所述摄像单元在跟随所述被摄体的情况下拍摄所述被摄体的第二摄像。
根据本发明的又一方面,提供一种摄像设备,包括:摄像单元,其被配置为拍摄被摄体;以及控制设备,其中,所述控制设备包括:获得单元,其被配置为获得所述被摄体的移动速度;以及控制单元,其被配置为基于所述被摄体的移动速度来控制所述摄像单元,使得进行用于在没有跟随所述被摄体的情况下进行摄像的第一摄像或者用于在跟随所述被摄体的情况下进行摄像的第二摄像。
根据本发明的还一方面,提供一种摄像设备,包括摄像单元和控制设备,其中,所述控制设备包括:识别单元,其被配置为至少基于被摄体的移动速度,来识别通过用于利用所述摄像单元在没有跟随所述被摄体的情况下进行摄像的第一摄像是否能够满足与图像质量有关的预定条件;以及控制单元,其被配置为在识别出通过所述第一摄像不能满足所述预定条件的情况下,进行控制以进行所述摄像单元的平摇、倾斜或者平摇和倾斜这两者,使得进行用于利用所述摄像单元在跟随所述被摄体的情况下拍摄所述被摄体的第二摄像。
根据本发明的还一方面,提供一种控制设备的控制方法,所述控制方法包括:获得被摄体的移动速度;以及基于所述被摄体的移动速度来控制被配置为拍摄所述被摄体的摄像单元,使得进行用于在没有跟随所述被摄体的情况下进行摄像的第一摄像或者用于在跟随所述被摄体的情况下进行摄像的第二摄像。
根据本发明的还一方面,提供一种控制设备的控制方法,所述控制方法包括:至少基于被摄体的移动速度,来识别通过用于利用摄像单元在没有跟随所述被摄体的情况下进行摄像的第一摄像是否能够满足与图像质量有关的预定条件;以及在识别出通过所述第一摄像不能满足所述预定条件的情况下,进行控制以进行所述摄像单元的平摇、倾斜或者平摇和倾斜这两者,使得进行用于利用所述摄像单元在跟随所述被摄体的情况下拍摄所述被摄体的第二摄像。
根据本发明的还一方面,提供一种计算机可读存储介质,其存储计算机程序,所述计算机程序用于使控制设备中所配备的计算机执行:获得被摄体的移动速度;以及基于所述被摄体的移动速度来控制被配置为拍摄所述被摄体的摄像单元,使得进行用于在没有跟随所述被摄体的情况下进行摄像的第一摄像或者用于在跟随所述被摄体的情况下进行摄像的第二摄像。
根据本发明的还一方面,提供一种计算机可读存储介质,其存储计算机程序,所述计算机程序用于使控制设备中所配备的计算机执行:至少基于被摄体的移动速度,来识别通过用于利用摄像单元在没有跟随所述被摄体的情况下进行摄像的第一摄像是否能够满足与图像质量有关的预定条件;以及在识别出通过所述第一摄像不能满足所述预定条件的情况下,进行控制以进行所述摄像单元的平摇、倾斜或者平摇和倾斜这两者,使得进行用于利用所述摄像单元在跟随所述被摄体的情况下拍摄所述被摄体的第二摄像。
通过以下(参考附图)对典型实施例的说明,本发明的其它特征将变得明显。
附图说明
包含在说明书中并构成说明书一部分的附图示出了本发明的实施例,并和说明书一起用来解释本发明的原理。
图1是示出照相机的第一配置示例的框图;
图2是示出照相机的摄像单元101的配置示例的框图;
图3是示出处理的过程的第一示例的流程图;
图4是示出照相机的第二配置示例的框图;
图5是示出处理的过程的第二示例的流程图;
图6是示出被摄体速度和曝光时间段之间的对应关系的示例的图;
图7是示出在设置了图6所示的曝光时间段的情况下的、图像的噪声、亮度的数值和曝光时间段之间的对应关系的示例的图;
图8是示出照相机的第三配置示例的框图;
图9是示出处理的过程的第三示例的流程图;
图10是示出第一摄像单元、云台和第二摄像单元的配置的示例的图;以及
图11是示出控制单元的硬件配置示例的框图。
具体实施方式
现在,将参考附图来详细说明本发明的典型实施例。应当注意,除非另外特别说明,否则在这些实施例中陈述的组件、数字表达式和数值的相对配置没有限制本发明的范围。
在以下实施例中,将说明使用拍摄静止图像的照相机的情况。然而,例如,可以使用拍摄运动图像的照相机,或者可以使用其它任意的摄像设备。注意,照相机可以是数字静态照相机或数字摄像机。
<第一实施例>
(照相机的配置)
图1示出根据本实施例的照相机的配置。在该照相机中,摄像单元101接收外部光并且进行摄像。摄像单元101连接至控制单元102,并且被配置为能够将拍摄图像输出至控制单元102并在控制单元102的控制下改变诸如摄像范围(平摇/倾斜/变焦)和曝光时间段等的设置。控制单元102从摄像单元101接收摄像单元101所拍摄到的图像的输入,并且控制摄像单元101。控制单元102例如可以是包括诸如CPU或MPU等的处理器和诸如存储器等的存储装置的控制装置。图11示出在这种情况下的控制单元102的硬件配置的示例。控制单元102例如包括CPU 111、RAM 112、ROM 113、外部存储装置114和外部I/F 115。在示例中,CPU111使用RAM 112作为工作存储器来执行ROM 113或外部存储装置114中所存储的程序,从而执行利用后面要说明的控制单元102的处理。注意,控制单元102可以经由外部I/F 115可通信地连接至摄像单元101。
在示例中,摄像单元101具有如图2所示的配置。摄像单元101包括构成包含多个透镜的光学系统的透镜201、以及诸如CCD或CMOS等的摄像元件202。另外,摄像单元101包括用于降低噪声的CDS(相关双采样)电路203和用于自动控制照相机的增益的AGC(自动增益控制)放大器204。摄像单元101还包括用于将模拟信号转换成数字信号的ADC(模拟/数字转换器)205和用于对该数字信号进行信号处理的信号处理单元206。在摄像单元101中,摄像元件202将经由透镜201形成的被摄体图像转换成电气信号。然后,CDS电路203对从摄像元件202输出的电气信号执行相关双采样等,并且AGC放大器204对从CDS电路203输出的电气信号进行放大处理等。ADC 205将由AGC放大器204进行放大后的模拟信号转换成数字信号。信号处理单元206对从ADC 205获得的数字信号进行预定信号处理,例如,诸如颜色转换、WB处理和用于进行经过了信号处理的图像的色调转换的伽玛处理等的图像处理。
控制单元102包括被摄体速度检测单元103、能否摄像判断单元104和平摇/倾斜驱动控制单元105作为其功能。这些功能单元可以通过例如利用控制单元102中的处理器执行控制单元102内的存储器等中所存储的程序来实现。注意,这些功能单元中的一些或全部可以由诸如专用电路等的硬件来实现。也就是说,控制单元102可以是多个专用硬件的集合体。例如,作为控制单元102,可以使用通过预定程序实现上述功能单元中的一些或全部的功能的FPGA(现场可编程门阵列)。
被摄体速度检测单元103根据摄像单元101所拍摄到的图像来检测被摄体的移动速度。能否摄像判断单元104基于被摄体速度检测单元103所检测到的被摄体的移动速度,来判断在摄像单元101的摄像范围固定的状态下、在满足与质量(图像质量或视频质量)有关的预定条件的同时是否可以拍摄被摄体。基于能否摄像判断单元104的判断结果,平摇/倾斜驱动控制单元105生成用于使摄像单元101进行平摇、倾斜或者平摇和倾斜这两者的驱动信号,并且基于该驱动信号来控制摄像单元101。
(处理的过程)
接着,将参考图3来说明根据本实施例的摄像单元101和控制单元102所执行的处理的过程。
首先,摄像单元101通过使用与例如曝光时间段和摄像范围等有关的预定设置的周期性的第一摄像来获得图像,并且控制单元102执行用于判断移动被摄体是否包括在图像中的判断处理(步骤S301)。例如,控制单元102可以通过特征量提取或模式识别,仅将特定被摄体检测并识别为移动被摄体。注意,特定被摄体可以通过例如接收通过用户操作的被摄体选择结果来指定,或者可以通过其它方法来指定。例如,在被摄体通过图像中的预定位置或者进入预定区域的情况下,控制单元102可以将被摄体指定为特定移动被摄体。如果没有检测到移动被摄体(步骤S301中为“否”),则控制单元102直接继续摄像而不执行后续处理。另一方面,在检测到移动被摄体时(步骤S301中为“是”),控制单元102计算移动被摄体的移动速度(步骤S302)。例如,控制单元102可以从多个在时间上连续拍摄到的图像中识别移动被摄体的运动矢量和移动方向。控制单元102可以基于例如运动矢量的范数来识别移动被摄体的移动速度。注意,控制单元102可以通过除这些以外的其它方法来识别移动被摄体的移动速度。
接着,控制单元102基于在步骤S302中识别出的移动被摄体的移动速度,判断在满足与质量(图像质量或视频质量)有关的预定条件的同时、通过使用在步骤S301中所使用的摄像条件的第一摄像是否可以拍摄对象被摄体(步骤S303)。例如,如果在步骤S302中识别出的移动被摄体的移动速度等于或低于预定阈值,则控制单元102判断为在满足预定条件的同时可以拍摄被摄体。另一方面,如果移动速度超过预定阈值,则控制单元102判断为在满足预定条件的同时不能拍摄被摄体。此时,预定阈值可以是固定值,或者可以是通过例如用户的设置等能够改变的变化值。可选地,控制单元102可以基于移动速度和摄像单元101的曝光时间段之间的关系,来判断在满足预定条件的同时是否可以拍摄被摄体。例如,控制单元102可以通过判断移动被摄体的移动速度是否超过由当前曝光时间段所确定出的上述阈值,来判断是否可以在无图像模糊的情况下拍摄移动被摄体。
在判断为在满足预定条件的同时通过第一摄像可以拍摄被摄体时(步骤S303中为“是”),控制单元102直接继续摄像而不执行后续处理。另一方面,在判断为在满足预定条件的同时通过第一摄像不能拍摄被摄体时(步骤S303中为“否”),控制单元102生成平摇/倾斜驱动信号以在满足预定条件的同时拍摄被摄体(步骤S304)。例如,控制单元102生成用于使摄像单元101的摄像范围移动的平摇/倾斜驱动信号,以便随着被摄体的移动执行摇摄,换句话说在曝光时间段内使移动被摄体固定在摄像范围中的预定位置。也就是说,控制单元102生成用以使摄像单元101的摄像范围跟随移动被摄体的平摇/倾斜驱动信号。因而,移动被摄体的移动速度越高,所生成的平摇/倾斜驱动信号的信号电平越高,以便高速进行平摇或倾斜。注意,没有特别限制平摇/倾斜驱动信号的生成方法和内容,只要生成用以对移动被摄体进行这种跟随控制的平摇/倾斜驱动信号即可。之后,控制单元102根据所生成的平摇/倾斜驱动信号,在进行摄像单元101的平摇或倾斜的驱动控制的同时进行第二摄像(步骤S305)。
如上所述,在本实施例中,控制单元102进行控制,以对移动速度十分低并且在满足预定条件的同时通过第一摄像可以拍摄的被摄体直接继续第一摄像。另一方面,对于移动速度高并且在满足预定条件的同时通过第一摄像不能拍摄的被摄体,控制单元102进行用于在通过平摇/倾斜控制跟随该被摄体的情况下拍摄该被摄体的第二摄像。因此,可以以高质量拍摄被摄体。另外,由于针对高速移动的移动被摄体、代替缩短曝光时间段而是通过跟随该被摄体来进行摄像,因此可以提高能够获得可视性良好的拍摄图像的概率。
<第二实施例>
在上述的第一实施例中,已经说明了如下示例:照相机设置预定曝光时间段等,并且根据移动被摄体的移动速度来决定是否进行平摇/倾斜控制。在本实施例中,将说明照相机根据移动被摄体的移动速度来进一步设置曝光时间段的示例。
(照相机的配置)
图4示出根据本实施例的照相机的配置示例。根据本实施例的照相机与图1的相同之处在于,该照相机包括摄像单元101和控制单元102。然而,根据本实施例的控制单元102实现第一曝光时间段识别单元401、噪声量估计单元402、亮度估计单元403和第二曝光时间段识别单元404作为附加功能。注意,在图4中与图1中的附图标记相同的附图标记表示相同的功能块,并且将省略对这些功能块的说明。
第一曝光时间段识别单元401针对被摄体速度,通过例如计算来识别能够在无图像模糊的情况下进行摄像的曝光时间段。噪声量估计单元402估计以下情况下的图像的噪声量:在设置了第一曝光时间段识别单元401所识别出的第一曝光时间段时通过自动曝光来维持当前曝光,并且利用摄像单元101的AGC放大器204增大增益。亮度估计单元403估计在设置了第一曝光时间段识别单元401所识别出的第一曝光时间段时进行自动曝光控制的情况下的图像的亮度。第二曝光时间段识别单元404通过例如计算来识别适合在判断为在满足预定条件的同时不能拍摄被摄体的条件下的摄像的第二曝光时间段,并且进行跟随移动被摄体的平摇/倾斜驱动。
(处理过程)
接着,将参考图5来说明根据本实施例的摄像单元101和控制单元102所执行的处理的过程。注意,在图5中与图3中的步骤编号相同的步骤编号表示相同的处理步骤,并且将省略对这些处理步骤的说明。
在该处理中,如果摄像单元101在满足预定条件的同时通过使用当前曝光时间段的第一摄像不能拍摄被摄体(步骤S303中为“否”),则控制单元102识别使得摄像单元101能够在无图像模糊的情况下拍摄移动被摄体的第一曝光时间段(步骤S501)。控制单元102可以将例如移动被摄体移动了预定距离(例如,0.05m)所需的时间段识别为第一曝光时间段。此时,控制单元102可以将可设置为曝光时间段的数值保持在摄像单元101中,并且将基于移动速度所计算出的曝光时间段以下的最大可设置曝光时间段识别为第一曝光时间段。可选地,控制单元102例如可以预先与被摄体的移动速度相对应地保持如图6所示的能够在无图像模糊的情况下拍摄被摄体的曝光时间段的表,并且通过在该表内进行查找来识别第一曝光时间段。此时,例如,在被摄体的移动速度为10m/sec(秒)以下的情况下,控制单元102根据图6所示的表将曝光时间段设置为1/250秒。另外,例如,在被摄体的移动速度大于10m/sec但不大于25m/sec的情况下,控制单元102将曝光时间设定为1/500秒。
控制单元102估计在通过设置步骤S501中所识别出的第一曝光时间段并使用自动曝光控制来进行第三摄像的情况下的图像的噪声量和亮度,并且判断噪声量是否为预定值以下并且亮度是否超过预定值(步骤S502)。可以基于根据图像的一部分或全部的平均亮度和标准偏差所获得的S/N比来估计噪声量。控制单元102可以考虑到摄像单元101的AGC放大器204的当前增益的值、摄像元件202的温度和图像处理(降噪、清晰度和色度)的水平等,来估计噪声量。基于图像的一部分的亮度或平均亮度来识别亮度。如果噪声量例如不大于能够识别移动被摄体的预定阈值、并且亮度例如大于能够识别移动被摄体的预定阈值(步骤S502中为“是”),则控制单元102对摄像单元101进行设置使得使用第一曝光时间段来进行第三摄像(步骤S503)。另一方面,如果噪声量超过上述的预定阈值、或者亮度为预定阈值以下(步骤S502中为“否”),则控制单元102生成平摇/倾斜驱动信号以抑制噪声量并以足够的亮度拍摄移动被摄体(步骤S504)。如图3的步骤S304那样生成平摇/倾斜驱动信号。接着,控制单元102决定在通过步骤S504中所生成的平摇/倾斜驱动信号移动摄像单元101的摄像范围时要设置的第二曝光时间段,并且对摄像单元101进行设置(步骤S505)。可以将第二曝光时间段设置得长于步骤S501中决定出的第一曝光时间段。控制单元102例如可以准备如图7所示的与噪声量和/或估计亮度相对应的曝光时间段的表,并且基于该表来决定第二曝光时间段的值。例如,控制单元102可以将与噪声量相对应的曝光时间段和与亮度相对应的曝光时间段中的较长曝光时间段设置为第二曝光时间段。可选地,控制单元102可以将可设置为曝光时间段的数值保持在摄像单元101中,并且将基于移动速度所计算出的曝光时间段以下的最大可设置曝光时间段识别为第二曝光时间段。之后,控制单元102基于步骤S504中所生成的平摇/倾斜驱动信号,在移动摄像单元101的摄像范围的同时执行使用第二曝光时间段的第四摄像(步骤S506)。
注意,在上述说明中,估计噪声量和亮度这两者,并且判断是否进行使用第一曝光时间段的摄像。然而,可以基于噪声量和亮度中的仅一个来进行该判断。也就是说,可以与亮度值无关地、在噪声量为预定值以下的情况下进行使用第一曝光时间段的第三摄像,或者可以与噪声量无关地、在亮度值为预定值以下的情况下进行使用第一曝光时间段的第三摄像。
如上所述,在本实施例中,对于移动速度低的移动被摄体,首先设置与移动速度相对应的第一曝光时间段。然后,估计使用第一曝光时间段的摄像中的噪声量和亮度,判断在满足预定条件的同时是否可以拍摄移动被摄体,根据需要执行平摇/倾斜控制,并且将曝光时间段新设置为第二曝光时间段。这使得可以根据诸如照度等的环境来设置适当的曝光时间段,并且根据需要执行平摇/倾斜控制以清楚地拍摄移动被摄体。也就是说,在高照度下,在无需执行平摇/倾斜控制的情况下使用第一曝光时间段来拍摄移动被摄体。这是因为,如果照明足够,则可以使用短的曝光时间段来清楚地拍摄移动被摄体,而无需执行平摇/倾斜控制。另一方面,在低照度下,在执行平摇/倾斜控制的同时拍摄移动被摄体。因而,可以以小的噪声量和足够的亮度拍摄移动被摄体。
注意,实际上无需进行第一曝光时间段的设置和第三摄像。例如,控制单元102通过在检测移动被摄体时所使用的初始设置等的预定设置下的摄像,来预先获得诸如亮度和噪声量等的信息。然后,控制单元102可以基于预先获得的亮度或噪声量以及上述的预定设置,来估计在假定根据移动被摄体的速度将曝光时间段改变为第一曝光时间段的情况下的亮度和噪声量。也就是说,可以在无需实际使用第一曝光时间段的情况下来估计使用第一曝光时间段的情况下的噪声量和亮度。
<第三实施例>
在上述实施例中,说明了使用一个摄像设备来拍摄移动被摄体的配置。在本实施例中,将说明使用两个或更多个摄像设备来拍摄移动被摄体的示例。
(系统的配置)
图8示出包括根据本实施例的照相机的系统的配置示例。根据本实施例的系统包括第一摄像单元801、第二摄像单元802和云台单元803。第一摄像单元801和第二摄像单元802可以具有如图2所示的共同配置。另外,第一摄像单元801和第二摄像单元802例如可以是能够仅拍摄预定方向的摄像设备。由于该原因,第一摄像单元801与摄像单元101的不同之处在于:例如,利用安装有第一摄像单元801的云台单元803来使第一摄像单元801平摇或倾斜。因而,在本实施例中,控制单元102经由平摇/倾斜驱动控制单元105不是控制第一摄像单元801而是控制云台单元803,并由此实现第一摄像单元801的平摇或倾斜。注意,根据上述的第一实施例和第二实施例的摄像单元101的平摇或倾斜也可以由如本实施例那样的云台单元803控制。
在本实施例中,控制单元102基于利用第二摄像单元802的摄像来执行诸如移动被摄体的检测等的处理,并且根据该结果来控制第一摄像单元801和云台单元803。这里,假定第二摄像单元802所拍摄到的移动被摄体然后移动到第一摄像单元801的摄像范围中。这种情形可以在如下构造中发生:例如,移动被摄体需要通过第一摄像单元801的摄像范围以离开建筑物中的第二摄像单元802所配置的位置而到达外部。这种情形也可以在如下情况下发生:如在例如图10中示出,第二摄像单元802和第一摄像单元801按用以拍摄在单向道路上行驶的车辆的摄像视角和摄像方向进行配置。
注意,第一摄像单元801和第二摄像单元802各自不必始终包括一个摄像单元。例如,在利用配置在一个第一摄像单元801周围的多个第二摄像单元802其中之一检测移动被摄体的情况下,可以对该一个第一摄像单元801和相应的云台单元803进行控制。可选地,在利用一个第二摄像单元802检测移动被摄体的情况下,可以控制存在于第二摄像单元802周围的多个第一摄像单元801和云台单元803。另外,可以利用被配置为使用电磁波等来检测移动体的速度的其它装置来替换第二摄像单元802。
在正常状态下,第二摄像单元802例如周期性地进行摄像,并且在检测到移动被摄体时,将与移动被摄体有关的信息(诸如被摄体速度、移动方向和移动被摄体的特征量等)发送至控制单元102(能否摄像判断单元104)。注意,第二摄像单元802可以将通过摄像所获得的图像输入至控制单元102,并且控制单元102可以检测移动被摄体并识别被摄体速度、移动方向和移动被摄体的特征量。控制单元102基于从第二摄像单元802获得的信息来控制第一摄像单元801和云台单元803。注意,控制单元102与上述各实施例的不同之处在于:平摇/倾斜驱动控制单元105控制云台单元803,并且变焦驱动控制单元804控制第一摄像单元801。这里,变焦驱动控制单元804生成用于改变第一摄像单元801的透镜201的变焦倍率的驱动信号,并且根据该驱动信号来控制第一摄像单元801的透镜201的变焦。注意,在第一实施例和第二实施例中,没有特别提及摄像单元101的变焦控制。然而,可以如本实施例那样进行摄像单元101的变焦控制。例如,在第一实施例和第二实施例中,可以进行变焦控制,使得以能够辨别移动被摄体并掌握整个图像的大小来拍摄移动被摄体。
(处理过程)
接着,将参考图9来说明根据本实施例的第一摄像单元801、第二摄像单元802、云台单元803和控制单元102所执行的处理的过程。
首先,控制单元102判断经由第二摄像单元802是否检测到移动被摄体(步骤S901)。此时,控制单元102可以通过特征量提取或模式识别来仅将具有特定特征的被摄体检测并识别为移动被摄体,并且即使不具有该特征的被摄体移动,也无需始终将这样的被摄体定义为检测对象。另外,在被摄体通过第二摄像单元802所拍摄到的图像中的预定位置或者进入预定区域的情况下,控制单元102可以将该被摄体检测为移动被摄体。在判断为检测到移动被摄体时(步骤S901中为“是”),控制单元102识别所检测到的移动被摄体的移动速度(步骤S902)。如上述实施例那样进行移动速度的识别。
控制单元102判断第一摄像单元801在满足预定条件的同时是否可以拍摄第二摄像单元802所拍摄到的移动被摄体(步骤S903)。例如,控制单元102接收来自第二摄像单元802的信息,并且判断第一摄像单元801在满足预定条件的同时、通过使用当前曝光时间段的第一摄像是否可以拍摄第二摄像单元802所检测到的移动被摄体。这里,从第二摄像单元802接收到的信息例如可以包括移动被摄体的大小和移动速度、以及包括视角和曝光条件的第二摄像单元802的当前摄像条件。然而,该信息不限于此,并且可以包括其它任意参数。在判断为在满足预定条件的同时通过第一摄像可以拍摄被摄体时(步骤S903中为“是”),控制单元102直接使第一摄像单元801通过第一摄像继续被摄体的摄像而无需执行后续处理。另一方面,在判断为在满足预定条件的同时通过第一摄像不能拍摄被摄体时(步骤S903中为“否”),控制单元102识别能够在无图像模糊的情况下通过第一摄像单元801拍摄移动被摄体的第一曝光时间段(步骤S904)。控制单元102估计在设置了步骤S904中识别出的第一曝光时间段并且进行使用自动曝光控制的第三摄像的情况下的图像的噪声量和亮度,并且判断噪声量是否为预定值以下并且亮度是否超过预定值(步骤S905)。如果噪声量不大于预定阈值并且亮度大于预定阈值(步骤S905中为“是”),则控制单元102对第一摄像单元801进行设置使得使用第一曝光时间段进行第三摄像(步骤S906)。注意,步骤S901-S906的处理与根据第二实施例的处理的不同之处在于:根据利用第二摄像单元802对移动被摄体的检测所进行的控制的对象是第一摄像单元801,但在其它点上与图5中的步骤S301-S303和步骤S501-S503相同。
另一方面,如果在进行第三摄像时、噪声量超过上述预定阈值或者亮度为预定阈值以下(步骤S905中为“否”),则控制单元102生成平摇/倾斜驱动信号和变焦驱动信号以抑制噪声量并确保足够的亮度(步骤S907)。与图3的步骤S304相同,将该平摇/倾斜驱动信号生成为用于使第一摄像单元801的摄像范围跟随移动被摄体的信号。另外,将变焦驱动信号生成为用于使第一摄像单元801拍摄移动被摄体使得例如移动被摄体在画面内具有预定可识别大小的信号。基于例如从第二摄像单元802获得的移动被摄体的大小和摄像条件的信息,控制单元102生成变焦驱动信号,使得第一摄像单元801所拍摄到的移动被摄体的大小落在预定范围内。之后,控制单元102基于步骤S907中生成的各信号来决定在控制第一摄像单元801和云台单元803时要设置的第二曝光时间段,并且将该第二曝光时间段设置到第一摄像单元801(步骤S908)。该处理与图5中的步骤S505的处理相同。之后,控制单元102基于步骤S907中生成的平摇/倾斜驱动信号来控制云台单元803并移动第一摄像单元801的摄像范围,并且还利用步骤S907中生成的变焦驱动信号进行第一摄像单元801的变焦控制(步骤S909)。结果,摄像单元101根据平摇/倾斜驱动信号来移动摄像范围,并且在基于变焦驱动信号进行变焦的同时使用第二曝光时间段进行摄像。
如上所述,在本实施例中,与用于拍摄移动被摄体的第一摄像单元分开准备用于检测该移动被摄体并判断移动速度的装置(第二摄像单元),并且根据该检测结果来进行对第一摄像单元的摄像的设置控制。因此,与在进行摄像的同时进行设置控制的情况相比,可以预先进行设置准备。由于该原因,即使对于以非常高的速度移动的移动被摄体,也可以在开始移动被摄体的摄像之前准备适当的设置。结果,可以充分确保能够进行摄像的时间段(例如,曝光时间段),并且可以在各种情形下清楚地拍摄移动被摄体。
注意,用于检测移动被摄体并且判断移动速度的装置例如可以是作为一般的道路设备的用于测量车辆速度的传感器。例如,可以使用用于基于沿着车辆行驶方向的两个点处所安装的接近传感器之间的通过时间来测量移动速度的方法(光电管法或环形线圈法)、或者用于利用雷达照射被摄体并测量返回被摄体所反射的雷达波的时间的方法(雷达方法)。也可以使用其它IoT传感器来获得移动速度或亮度值。注意,在利用第一摄像单元检测到第二摄像单元未检测到的被摄体的情况下,可以使用上述的第一实施例或第二实施例的技术来执行利用第一摄像单元对被摄体的摄像。也就是说,在本实施例中,该处理可以由多个摄像单元协作地进行,或者该处理可以使用仅一个摄像单元来完成。
<其它实施例>
在以上说明中,已经说明了使用包括摄像单元和控制单元的照相机的示例。然而,本发明不限于此。例如,摄像单元101和控制单元102可被形成为单独装置。例如,可以形成如下的系统,在该系统中,存在连接至一个或多个摄像单元101并且还整体控制摄像单元101的一个控制单元102。另外,控制单元102可以由多个装置形成,并且例如,可以将上述的功能块或处理步骤分配到多个装置并实现。例如,可以独立于控制单元102和摄像单元101实现如下的装置,该装置用于判断在摄像单元101的摄像范围固定的状态下、在满足与质量有关的预定条件的同时是否可以拍摄被摄体。控制单元102可以在无需获得被摄体的移动速度的情况下从该装置获得判断结果,由此识别在摄像单元101的摄像范围固定的状态下、在满足与质量有关的预定条件的同时是否可以拍摄被摄体。此时,控制单元102可以接收通过例如用户操作的指定,并且仅基于所获得的信息中的特定被摄体的信息来识别在摄像单元101的摄像范围固定的状态下、在满足与质量有关的预定条件的同时是否可以拍摄被摄体。这样,上述方法可以以各种形式应用。
本发明的实施例还可以通过如下的方法来实现,即,通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置,该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考典型实施例说明了本发明,但是应该理解,本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释,以包含所有这类修改、等同结构和功能。
Claims (16)
1.一种控制设备,包括:
识别单元,其被配置为至少基于被摄体的移动速度,来识别在摄像单元进行用于在没有跟随所述被摄体的情况下拍摄所述被摄体的第一摄像的情况下,是否满足与图像质量有关的预定条件;以及
控制单元,其被配置为在识别出通过所述第一摄像不满足所述预定条件的情况下,控制所述摄像单元以进行用于在跟随所述被摄体的情况下拍摄所述被摄体的第二摄像。
2.根据权利要求1所述的控制设备,还包括检测单元,所述检测单元被配置为检测所述被摄体的移动速度,
其中,所述识别单元至少基于所述检测单元所检测到的移动速度来识别通过进行所述第一摄像是否满足所述预定条件。
3.根据权利要求1所述的控制设备,其中,在所述移动速度不大于预定阈值的情况下,所述识别单元识别出通过进行所述第一摄像满足所述预定条件,并且在所述移动速度超过所述预定阈值的情况下,所述识别单元识别出通过进行所述第一摄像不满足所述预定条件。
4.根据权利要求1所述的控制设备,其中,所述识别单元基于所述移动速度和所述摄像单元中的当前曝光时间段,来识别通过进行所述第一摄像是否满足所述预定条件。
5.根据权利要求1所述的控制设备,其中,在通过进行所述第一摄像不满足所述预定条件的情况下,所述识别单元识别通过进行第三摄像是否满足与图像质量有关的第二条件,其中所述第三摄像是通过将与所述移动速度相对应的第一曝光时间段设置到所述摄像单元所进行的,以及
在通过进行所述第三摄像满足所述第二条件的情况下,所述控制单元还进行控制以将所述摄像单元的曝光时间段设置为所述第一曝光时间段。
6.根据权利要求5所述的控制设备,其中,在通过进行所述第三摄像不满足所述第二条件的情况下,所述控制单元进行控制以进行所述摄像单元的平摇、倾斜或者平摇和倾斜这两者。
7.根据权利要求6所述的控制设备,其中,在通过进行所述第三摄像不满足所述第二条件的情况下,所述控制单元还进行控制以将比所述第一曝光时间段长的第二曝光时间段设置到所述摄像单元。
8.根据权利要求5所述的控制设备,其中,所述第二条件与通过所述第三摄像所获得的图像的亮度、噪声量或者亮度和噪声量这两者有关。
9.根据权利要求8所述的控制设备,其中,在所述亮度超过与所述亮度有关的预定值、并且所述噪声量不大于与所述噪声量有关的预定值的情况下,所述识别单元识别出通过进行所述第三摄像满足所述第二条件。
10.根据权利要求1所述的控制设备,其中,所述识别单元对所指定的被摄体执行所述识别,但对未指定的被摄体不执行所述识别。
11.根据权利要求10所述的控制设备,其中,所述识别单元将通过图像中的预定位置的被摄体或者进入预定区域的被摄体指定为执行所述识别的被摄体。
12.根据权利要求10所述的控制设备,其中,所述识别单元将通过用户操作所选择的被摄体指定为执行所述识别的被摄体。
13.根据权利要求1所述的控制设备,其中,在通过进行所述第一摄像不满足所述预定条件的情况下,所述控制单元控制安装有所述摄像单元的云台,由此使所述云台进行所述摄像单元的平摇、倾斜或者平摇和倾斜这两者。
14.一种摄像设备,包括摄像单元和控制设备,其中,所述控制设备包括:
识别单元,其被配置为至少基于被摄体的移动速度,来识别在摄像单元进行用于在没有跟随所述被摄体的情况下拍摄所述被摄体的第一摄像的情况下,是否满足与图像质量有关的预定条件;以及
控制单元,其被配置为在识别出通过所述第一摄像不满足所述预定条件的情况下,控制所述摄像单元以进行用于在跟随所述被摄体的情况下拍摄所述被摄体的第二摄像。
15.一种控制设备的控制方法,所述控制方法包括:
至少基于被摄体的移动速度,来识别在摄像单元进行用于在没有跟随所述被摄体的情况下拍摄所述被摄体的第一摄像的情况下,是否满足与图像质量有关的预定条件;以及
在识别出通过所述第一摄像不满足所述预定条件的情况下,控制所述摄像单元以进行用于在跟随所述被摄体的情况下拍摄所述被摄体的第二摄像。
16.一种计算机可读存储介质,其存储计算机程序,所述计算机程序用于使控制设备中所配备的计算机执行:
至少基于被摄体的移动速度,来识别在摄像单元进行用于在没有跟随所述被摄体的情况下拍摄所述被摄体的第一摄像的情况下,是否满足与图像质量有关的预定条件;以及
在识别出通过所述第一摄像不满足所述预定条件的情况下,控制所述摄像单元以进行用于在跟随所述被摄体的情况下拍摄所述被摄体的第二摄像。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017205546A JP6994901B2 (ja) | 2017-10-24 | 2017-10-24 | 制御装置、制御方法、及びプログラム |
JP2017-205546 | 2017-10-24 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109698905A CN109698905A (zh) | 2019-04-30 |
CN109698905B true CN109698905B (zh) | 2021-01-05 |
Family
ID=66169556
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811212639.0A Active CN109698905B (zh) | 2017-10-24 | 2018-10-18 | 控制设备、摄像设备、控制方法和计算机可读存储介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10863090B2 (zh) |
JP (1) | JP6994901B2 (zh) |
CN (1) | CN109698905B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6973298B2 (ja) * | 2018-05-31 | 2021-11-24 | トヨタ自動車株式会社 | 物体監視装置 |
US11436823B1 (en) | 2019-01-21 | 2022-09-06 | Cyan Systems | High resolution fast framing infrared detection system |
JP2020150417A (ja) * | 2019-03-13 | 2020-09-17 | ソニー株式会社 | 情報処理装置、方法、および記録媒体 |
JP7283005B2 (ja) * | 2019-03-28 | 2023-05-30 | 株式会社トプコン | 点群データ処理方法および点群データ処理装置 |
US11448483B1 (en) | 2019-04-29 | 2022-09-20 | Cyan Systems | Projectile tracking and 3D traceback method |
US11637972B2 (en) * | 2019-06-28 | 2023-04-25 | Cyan Systems | Fast framing moving target imaging system and method |
JP7433820B2 (ja) * | 2019-09-20 | 2024-02-20 | キヤノン株式会社 | 制御装置、制御方法、プログラム及び記憶媒体 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102069633A (zh) * | 2009-10-30 | 2011-05-25 | 佳能株式会社 | 移动检测装置和记录装置 |
CN102771121A (zh) * | 2010-01-06 | 2012-11-07 | 佳能株式会社 | 照相机平台系统 |
JP2014206640A (ja) * | 2013-04-12 | 2014-10-30 | キヤノン株式会社 | 撮像装置およびその制御方法 |
CN104253949A (zh) * | 2013-06-27 | 2014-12-31 | 安讯士有限公司 | 用于设定摄像机曝光时间的方法和装置 |
CN105847662A (zh) * | 2015-06-19 | 2016-08-10 | 维沃移动通信有限公司 | 一种基于移动终端的运动物体拍摄方法和移动终端 |
CN105898143A (zh) * | 2016-04-27 | 2016-08-24 | 维沃移动通信有限公司 | 一种运动物体的抓拍方法及移动终端 |
CN106254783A (zh) * | 2016-09-29 | 2016-12-21 | 努比亚技术有限公司 | 运动物体拍摄方法及装置 |
CN106303223A (zh) * | 2016-07-29 | 2017-01-04 | 努比亚技术有限公司 | 一种图片处理方法及设备 |
CN106331511A (zh) * | 2016-11-16 | 2017-01-11 | 广东欧珀移动通信有限公司 | 智能终端跟踪拍摄的方法和装置 |
CN106688228A (zh) * | 2014-09-10 | 2017-05-17 | 富士胶片株式会社 | 摄像控制装置、摄像控制方法、相机、相机系统及程序 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7256817B2 (en) * | 2000-10-26 | 2007-08-14 | Fujinon Corporation | Following device |
JP4525089B2 (ja) | 2004-01-27 | 2010-08-18 | フジノン株式会社 | オートフォーカスシステム |
WO2009008164A1 (ja) | 2007-07-09 | 2009-01-15 | Panasonic Corporation | デジタル一眼レフカメラ |
JP2010154391A (ja) | 2008-12-26 | 2010-07-08 | Panasonic Corp | 自動追尾カメラ装置 |
JP2011041186A (ja) | 2009-08-18 | 2011-02-24 | Nikon Corp | 電子カメラ |
JP5589548B2 (ja) | 2010-05-14 | 2014-09-17 | 株式会社リコー | 撮像装置、画像処理方法、及びプログラム記憶媒体 |
JP2014135683A (ja) | 2013-01-11 | 2014-07-24 | Sumitomo Electric Ind Ltd | 撮像制御装置、撮像制御方法および撮像制御プログラム |
JP2014220622A (ja) | 2013-05-07 | 2014-11-20 | オリンパス株式会社 | 撮影機器、撮影支援方法、表示装置及び表示方法 |
JP2015014672A (ja) | 2013-07-04 | 2015-01-22 | 住友電気工業株式会社 | カメラ制御装置、カメラシステム、カメラ制御方法、及びプログラム |
-
2017
- 2017-10-24 JP JP2017205546A patent/JP6994901B2/ja active Active
-
2018
- 2018-10-16 US US16/161,251 patent/US10863090B2/en active Active
- 2018-10-18 CN CN201811212639.0A patent/CN109698905B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102069633A (zh) * | 2009-10-30 | 2011-05-25 | 佳能株式会社 | 移动检测装置和记录装置 |
CN102771121A (zh) * | 2010-01-06 | 2012-11-07 | 佳能株式会社 | 照相机平台系统 |
JP2014206640A (ja) * | 2013-04-12 | 2014-10-30 | キヤノン株式会社 | 撮像装置およびその制御方法 |
CN104253949A (zh) * | 2013-06-27 | 2014-12-31 | 安讯士有限公司 | 用于设定摄像机曝光时间的方法和装置 |
CN106688228A (zh) * | 2014-09-10 | 2017-05-17 | 富士胶片株式会社 | 摄像控制装置、摄像控制方法、相机、相机系统及程序 |
CN105847662A (zh) * | 2015-06-19 | 2016-08-10 | 维沃移动通信有限公司 | 一种基于移动终端的运动物体拍摄方法和移动终端 |
CN105898143A (zh) * | 2016-04-27 | 2016-08-24 | 维沃移动通信有限公司 | 一种运动物体的抓拍方法及移动终端 |
CN106303223A (zh) * | 2016-07-29 | 2017-01-04 | 努比亚技术有限公司 | 一种图片处理方法及设备 |
CN106254783A (zh) * | 2016-09-29 | 2016-12-21 | 努比亚技术有限公司 | 运动物体拍摄方法及装置 |
CN106331511A (zh) * | 2016-11-16 | 2017-01-11 | 广东欧珀移动通信有限公司 | 智能终端跟踪拍摄的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2019078880A (ja) | 2019-05-23 |
CN109698905A (zh) | 2019-04-30 |
US20190124264A1 (en) | 2019-04-25 |
JP6994901B2 (ja) | 2022-01-14 |
US10863090B2 (en) | 2020-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109698905B (zh) | 控制设备、摄像设备、控制方法和计算机可读存储介质 | |
US7986808B2 (en) | Image-capturing device, image-processing device, method for controlling image-capturing device, and program for causing computer to execute the method | |
US11159711B2 (en) | Image-capturing apparatus | |
CN111107276B (zh) | 信息处理设备及其控制方法、存储介质以及摄像系统 | |
JP2006258944A (ja) | オートフォーカスシステム | |
US8994783B2 (en) | Image pickup apparatus that automatically determines shooting mode most suitable for shooting scene, control method therefor, and storage medium | |
US9244335B2 (en) | Imaging device and imaging method | |
JP2010096962A (ja) | Af枠自動追尾機能を備えたオートフォーカスシステム | |
CN109922325B (zh) | 图像处理设备及其控制方法和计算机可读存储介质 | |
JP2016197202A (ja) | 焦点調節装置、その制御方法、および制御プログラム、並びに撮像装置 | |
JP2017063245A (ja) | 撮像装置 | |
US11190704B2 (en) | Imaging apparatus and control method for performing live view display of a tracked object | |
US20120188437A1 (en) | Electronic camera | |
JP2018201156A (ja) | 画像処理装置および画像処理方法 | |
US11727716B2 (en) | Information processing apparatus, imaging apparatus, which determines exposure amount with respect to face detection and human body detection | |
JP5832618B2 (ja) | 撮像装置、その制御方法及びプログラム | |
JP6485490B2 (ja) | カメラ | |
US20230276134A1 (en) | Information processing apparatus, imaging apparatus, method, and storage medium | |
US11711619B2 (en) | Controlling exposure based on inverse gamma characteristic | |
JP7353864B2 (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム、撮像システム | |
JP2010096963A (ja) | Af枠自動追尾機能を備えたオートフォーカスシステム | |
US20240179393A1 (en) | Imaging apparatus, control method of the same, and storage medium | |
JP2017192027A (ja) | 画像処理装置、画像処理方法、プログラム | |
JP2023046726A (ja) | 制御装置、カメラシステム、制御方法、及びプログラム | |
JP5457008B2 (ja) | Af枠自動追尾機能を備えたオートフォーカスシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |