CN113824881A - 一种室内滑雪场目标跟拍方法、系统及服务器 - Google Patents
一种室内滑雪场目标跟拍方法、系统及服务器 Download PDFInfo
- Publication number
- CN113824881A CN113824881A CN202111100991.7A CN202111100991A CN113824881A CN 113824881 A CN113824881 A CN 113824881A CN 202111100991 A CN202111100991 A CN 202111100991A CN 113824881 A CN113824881 A CN 113824881A
- Authority
- CN
- China
- Prior art keywords
- follow
- shooting
- target
- shot
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 18
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 claims description 4
- 241001300198 Caperonia palustris Species 0.000 claims description 2
- 235000000384 Veronica chamaedrys Nutrition 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 12
- 238000004590 computer program Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 101000911772 Homo sapiens Hsc70-interacting protein Proteins 0.000 description 1
- 101001139126 Homo sapiens Krueppel-like factor 6 Proteins 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
Abstract
本申请公开了一种室内滑雪场目标跟拍方法、系统及服务器,所述方法包括:在接收到跟拍指令后,通过跟拍设备获取跟拍目标的若干初始图像;基于所述若干初始图像生成所述跟拍目标的识别特征;基于所述识别特征,所述跟拍设备对所述跟拍目标进行跟拍;在接收到停拍指令后,所述跟拍设备释放对所述跟拍目标拍摄。本申请实施例提供的室内滑雪场目标跟拍方法,通过在出发门位置发出跟拍指令,调用空闲的跟拍设备对于跟拍目标进行实时跟拍,在发生触发事件,按照不同的跟拍策略对所述跟拍目标进行跟拍;通过本申请提供的跟拍方法能够准确完成对于滑雪人员的全部滑雪过程进行跟拍,可以防止发生跟丢目标的现象,抗干扰能力强。
Description
技术领域
本申请一般涉及跟拍技术领域,具体涉及一种室内滑雪场目标跟拍方法、系统及服务器。
背景技术
在室内滑雪场中,滑雪者往往希望对于滑雪的过程进行全程跟拍,随着视频采集系统自动化水平的提高,对于动态人物的运动过程进行跟拍与保存已经可以实现简单的跟拍,但是由于滑雪运动的特殊性,对于滑雪人员的装备采用手套、面罩、头盔等遮挡,导致目标的识别精度降低,抗干扰能力差。另外,在滑雪场馆内,一般提供统一的服装,导致特征的识别难度增大。在具体执行时,还存在多目标产生的干扰。
因此,如何提高滑雪场进行跟拍的抗干扰能力成为亟待解决的问题。
发明内容
鉴于现有技术中的上述缺陷或不足,期望提供一种室内滑雪场目标跟拍方法、系统及服务器,可以实现滑雪场的目标跟拍,提高抗干扰能力。
本申请提供了一种室内滑雪场目标跟拍方法,所述方法包括:
在接收到跟拍指令后,通过跟拍设备获取跟拍目标的若干初始图像;
基于所述若干初始图像生成所述跟拍目标的识别特征;
基于所述识别特征,所述跟拍设备对所述跟拍目标进行跟拍;
在接收到停拍指令后,所述跟拍设备释放对所述跟拍目标拍摄。
进一步地,所述识别特征包括形体特征和色彩特征;其中,
所述跟拍设备对所述跟拍目标进行跟拍,方法包括:
基于所述跟拍目标进行视角转动;及
基于所述跟拍目标进行变焦处理。
进一步地,所述方法还包括:所述跟拍设备响应于触发事件,按照跟拍策略对所述跟拍目标进行跟拍,所述触发事件包括目标丢失、目标交错、目标混淆、目标碰撞中的一种或多种。
进一步地,所述跟拍策略包括第一策略、第二策略、第三策略,其中,
所述第一策略被配置为通过所述跟拍设备获取所述触发事件的预设阈值时段内的实时图像,基于所述实时图像中的多个目标人物对应的识别特征,判断符合所述跟拍目标的识别特征;
所述第二策略被配置为通过所述跟拍设备拍摄的触发事件对应时刻的图像,获取所述图像对应的滑雪场位置以及与所述滑雪场位置对应的鸟瞰视角图像,基于所述鸟瞰视角图像识别所述跟拍目标并根据所述跟拍目标的位置调整所述跟拍设备的视角;
所述第三策略被配置为获取所述跟拍目标的预测运动轨迹,基于所述预测运动轨迹的方向调整所述跟拍设备的视角方向,直到在所述跟拍设备再次拍摄到所述跟拍目标。
进一步地,生成所述跟拍目标的预测运动轨迹,方法包括:
基于所述跟拍目标的历史运动轨迹,生成所述预测运动轨迹;或者,
基于其他跟拍目标的历史运动轨迹,生成所述预测运动轨迹。
可选地,所述跟拍设备按照不同策略的优先权执行,其中,优先权的排序为:第一策略>第二策略>第三策略;或者,
所述跟拍设备同时执行所述第一策略、第二策略、第三策略中的一种或多种。
进一步地,所述方法还包括:
生成跟拍指令和停拍指令,并将所述跟拍指令和所述停拍指令发送给跟拍设备;其中,
所述生成跟拍指令的方法包括:
通过第一闸机识别跟拍目标的身份标识,基于所述身份标识生成所述跟拍指令;
所述生成停拍指令的方法包括:
通过第二闸机识别跟拍目标的身份标识,基于所述身份标识生成所述停拍指令。
进一步地,所述方法还包括:
根据所述跟拍设备获取的图像,生成所述跟拍目标的第一展示影像。
进一步地,所述方法还包括:
基于生成所述跟拍指令的第一时间,获取第一拍摄设备在所述第一时间相关的第一预设时间段内的第一全局图像;
基于生成所述停拍指令的第二时间,获取第二拍摄设备在所述第二时间相关的第二预设时间段内的第二全局图像;
基于所述第一时间和所述第二时间,获取第三拍摄设备在第三预设时间段内的鸟瞰视角图像;以及
基于所述第一全局图像、第二全局图像和所述鸟瞰视角图像中的至少之一生成所述跟拍目标的第二展示影像。
本申请提供了一种室内滑雪场目标跟拍系统,其特征在于,用于执行如以上任一所述的方法,所述系统包括:
跟拍设备,用于基于特征识别和跟拍策略对跟拍目标进行跟拍,所述跟拍设备被配置为基于所述跟拍目标的运动进行视角转动、变倍及变焦;
第一闸机,用于识别跟拍目标的身份标识,所述身份标识用于生成所述跟拍指令;
第二闸机,用于识别跟拍目标的身份标识,所述身份标识还用于生成所述停拍指令;
第一拍摄设备,用于对出发位置处进行全局拍摄;
第二拍摄设备,用于对终点位置处进行全局拍摄;
第三拍摄设备,用于对滑道进行鸟瞰视角的全局拍摄;
控制设备,用于基于所述跟拍设备获取跟拍目标的若干初始图像,生成所述跟拍目标的识别特征;用于生成跟拍指令和停拍指令;以及用于生成触发事件并控制执行跟拍策略。
进一步地,所述系统还包括票务系统,用于生成所述跟拍目标的身份标识。
本申请还提供了一种服务器,用于执行如以上任一所述的方法。
本申请的实施例提供的技术方案可以包括以下有益效果:
本申请实施例提供的室内滑雪场目标跟拍方法,通过在出发门位置发出跟拍指令,调用空闲的跟拍设备对于跟拍目标进行实时跟拍,在发生触发事件,按照不同的跟拍策略对所述跟拍目标进行跟拍;通过本申请提供的跟拍方法能够准确完成对于滑雪人员的全部滑雪过程进行跟拍,可以防止发生跟丢目标的现象,抗干扰能力强。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1为本申请的实施例提供的一种室内滑雪场目标跟拍方法的流程图;
图2为本申请的实施例提供的一种室内滑雪场目标跟拍的原理示意图;
图3为本申请的实施例提供的一种跟拍策略的流程图;
图4为本申请的实施例提供的一种室内滑雪场目标跟拍系统的布置示意图;
图5示出了适于用来实现本申请实施例的服务器的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
请详见图1,本申请提供了一种室内滑雪场目标跟拍方法,所述方法包括:
S02、在接收到跟拍指令后,通过跟拍设备获取跟拍目标的若干初始图像。
S04、基于所述若干初始图像生成所述跟拍目标的识别特征。
S06、基于所述识别特征,所述跟拍设备对所述跟拍目标进行跟拍。
S08、在接收到停拍指令后,所述跟拍设备释放对所述跟拍目标拍摄。
其中,在所述步骤S04中,所述识别特征包括形体特征和色彩特征;本申请实施例中的形体特征不仅包括身高等整体特征,还可以包括分离出人体动态轮廓、头部、手部、脚部信息并将图像信息进行分块特征提取获得的部位结构特征。本申请实施例中的色彩特征包括跟拍目标整体的色彩综合特征,还包括分离出人体动态轮廓、头部、手部、脚部等部分位置的色彩信息等。
当然,对于滑雪人员来说,通常有效的特征还包括:目标对象的背包、衣服、帽子、眼镜等个体特征,用于将目标对象和其它对象区分开来,从而准确地得到目标对象的形体特征。但是,还存在一些特殊的情况,对于滑雪场的提供的服装,多数情况下会风格统一,包括服装大小一致,颜色一致等。因此,在跟拍过程中会出现一些由于识别外部形体特征导致目标混淆,也就是无法将多个目标对象中区分出跟拍对象。这还与目标对象处于运动中,进一步增加了形体特征和色彩特征的识别难度。
本申请实施例中对于目标对象的跟拍环境为室内滑雪场,其中设置由高级滑道、中级滑道、初级滑道、单板滑道等各种不同滑道,滑道宽度约为30M~40M左右,滑道屋顶净高约为15M~20M左右。同时设置有缆车作为交通工具供滑雪人员搭乘,滑道长度约为80M~600M不等。通过本申请提供的自动跟拍系统,自动跟拍通过出发门的目标滑雪人员,目标滑雪人员在滑道中可能会遭遇其它滑雪人员(超越、被超越、发生碰撞),自动跟拍系统不会被其干扰,并能正确跟拍目标滑雪人员直到终点。
在本申请实施例中,在所述步骤S06中,在所述跟拍设备100对所述跟拍目标进行跟拍,方法包括:
基于所述跟拍目标进行视角转动;及基于所述跟拍目标进行变焦处理。
需要说明的是,所述跟拍设备100可以为4K快球球机或者其他可变倍、变焦的拍摄设备,所述跟拍设备100拍摄所述跟拍目标通过人工智能算法来自主进行运动和拍摄,可以自主选择拍摄时间,拍摄位置和角度,以及调整各种参数。实时获取分析数据并计算目标运动人体大小占整幅图像大小比例、运动目标与光轴偏差角度和方向,将偏离光轴的水平偏差值和垂直偏差值、大小比例值进行进一步的判断。
为了拍摄以及拍照就必须要考虑聚焦和构图甚至是曝光的问题,这三大要素的组合和搭配才能拍摄出需要的视频和照片。对焦要清晰就要正确设置光圈和快门速度,曝光要适度,在设置时需要考虑到是否正确匹配EV(Exposure Value)值,否则就会感觉照片或者视频太亮或太暗,如果必要还可以自动启动照相设备的闪光灯,本申请实施例中提供的跟拍设备100也可以预装闪光灯。
当然,对于本领域人员可知的是,为了实现较好的拍摄效果,还可以进行其他参数的配置,本申请对于具体的拍摄参数不进行限制,视不同的应用环境可以进行不同的配置。
另外,对于跟拍摄像来说,由于拍摄的对象为运动目标,现有对于动态目标的检测的方法包括帧差法、背景差分法和光流法。在检测到跟拍对象后,还需要进行跟拍,跟拍的方式为现有技术中基于特征的跟踪算法。
在应用时,首先在初始帧中建立目标特征,使用颜色直方图来描述目标区域的特征;然后在后续帧中进行目标候选区域特征提取;最后通过相似性函数判断当前帧中候选区域是否为真实目标。
需要说明的是,在本申请实施例中,对于识别特征的获取,通过会采用多种图像处理方式。例如借助计算机视觉,计算机图形学,数字图像处理等方法对图像进行分割、分析、变换、提取,从而完成相关功能;还可以是运用AI算法,如机器学习,深度学习(神经网络),构造一个物理统计模型,不断向其中输入图像信号样本进行训练和评估,直到产生一个可以高效准确识别给定目标的模型为止。当然还可以采用多种方法的融合,从而提升识别性能与效率。
本申请实施例中,针对的是多目标场景的跟拍,如图2所示,在多目标时会产生一些事件导致跟拍目标不能被跟拍设备100识别到,当出现未识别到跟拍目标时,系统会向跟拍设备100发送信息,调整跟拍策略。本申请实施例中提供了三种预设的跟拍策略,以下进行详细阐述。
进一步地,所述方法还包括:
S10、所述跟拍设备100响应于触发事件,按照跟拍策略对所述跟拍目标进行跟拍,所述触发事件包括目标丢失、目标交错、目标混淆、目标碰撞中的一种或多种。
其中,目标丢失是指未发生目标交错、目标混淆、目标碰撞的情形,目标丢失产生的原因包括多样,例如,未识别到有效的识别特征导致的目标丢失,或者,在拍摄的图像中未识别到人的情况。目标交错是指拍摄的图像中的多目标人物中的部分交叠情形;目标混淆是指在图像中识别到多个人物的识别特征,并且多个特征都指向的是同一跟拍目标;目标碰撞是指图像中多个人物重叠、交合或者前景背景重叠等现象。需要说明的是,不同的触发事件,可能存在定义范围交叉的情形,例如,一个事件既属于目标碰撞又属于目标交错的情形,本申请对此并不进行严格区分。
如图3所示,在本申请实施例中,所述跟拍策略包括第一策略、第二策略、第三策略。
所述第一策略被配置为:
ST11、通过所述跟拍设备100获取所述触发事件的预设阈值时段内的实时图像。
ST12、基于所述实时图像中的多个目标人物对应的识别特征;
ST13、判断符合所述跟拍目标的识别特征,以判断是否识别到跟拍目标。
示例性地,在对于识别特征进行判断时,可以采用的是,对于图像进行筛选特征点进行匹配的方式,例如遍历图像获得所有特征点,筛选特征点进行匹配已获得的跟拍目标的识别特征。在应用时,可以选择相关性较低的特征点进行进一步地匹配,若在设定阈值时段内匹配成功,则识别出跟拍目标,若未在设定阈值内匹配成功,则可以采取其他跟拍策略继续进行判断与跟拍。
需要说明的是,在本申请实施例中,预设阈值时段可以是预先设定的阈值,可以是通过有限次实验获取的阈值,也可以是通过有限次计算机仿真得到的阈值。在本申请实施例中,通过调整阈值的方式,可以调整系统的灵敏度。设置的阈值时间越长,系统的灵敏度越差。
所述第二策略被配置为:
ST21、通过所述跟拍设备100拍摄的触发事件对应时刻的图像。
ST22、获取所述图像对应的滑雪场位置以及与所述滑雪场位置对应的鸟瞰视角图像。
ST23、基于所述鸟瞰视角图像识别所述跟拍目标并根据所述跟拍目标的位置调整所述跟拍设备100的视角。
ST24、判断是否识别到跟拍目标。
在本申请提供的第二策略中,是通过获取触发事件发生的时刻以及跟拍设备100的拍摄位置,从鸟瞰视角图像中寻找该跟拍目标,若通过鸟瞰视角图像识别到所述跟拍目标的位置,则根据跟拍目标的定位进行调整拍摄角度。若未从鸟瞰视角图像中寻找该跟拍目标,则可以采取其他跟拍策略继续进行判断与跟拍。
需要说明的是,鸟瞰视角图像相当于对于对象的俯视图,若识别出的用户特征中包括头部特征,则可以通过头部特征进行对比发现跟拍目标,若未识别出头部特征,还需要通过其他特征进行进一步的判读。
所述第三策略被配置为:
ST31、获取所述跟拍目标的预测运动轨迹。
ST32、结合鸟瞰视角图像,基于所述预测运动轨迹的方向调整所述跟拍设备100的视角方向。
ST33、判断是否识别到跟拍目标。
ST34、若否,则重复步骤ST32,直到在所述跟拍设备100再次拍摄到所述跟拍目标。
示例性地,在本申请实施例提供的第三策略中的生成所述跟拍目标的预测运动轨迹,方法包括:
基于所述跟拍目标的历史运动轨迹,生成所述预测运动轨迹;或者,基于其他跟拍目标的历史运动轨迹,生成所述预测运动轨迹。
在本申请实施例中,还包括其他用于生成预测运动轨迹的方法,例如通过建立运动轨迹预测模型的方式。示例性地,通过连续的多帧图像中跟拍对象所处的位置变化推算跟拍对象的行进路线。具体的,所述对象的行进路线包括由多个预测的位置坐标点组成的向量,再通过识别图像中跟拍对象的姿态等特征,输入建立的运动轨迹模型中,进行判断跟拍目标的预测轨迹。
所述跟拍设备100按照不同策略的优先权执行,其中,优先权的排序为:第一策略>第二策略>第三策略,如图3所示;或者,所述跟拍设备100同时执行所述第一策略、第二策略、第三策略中的一种或多种。
针对本申请实施例中提供的不同的跟拍策略,可以按照一定的顺序进行执行,若通过该策略识别到了跟拍目标,则继续跟拍;若通过该策略未识别到跟拍目标,则进行下一策略,直到发现跟拍目标。当然,还可以通过几种策略的同时进行。本申请对此并不限制。
需要注意的是,本申请实施例中,若执行了三种策略后还未发现跟拍目标则重复进行三种策略,直到识别到跟拍目标。这是基于本申请实施例中,通过鸟瞰视角图像作为辅助,通过鸟瞰视角,多目标人物会进行有效的区分,即使未在某一图像中识别到跟拍对象,但本申请实施例中,用于拍摄鸟瞰视角的第三拍摄设备400是沿滑雪道布置的多个相机,进行纵览全局的布置方式,可以进行全方位的辅助识别。再结合对于路径的预测,可以提高目标追踪的效率。
在本申请实施例中,在入场的位置设置有闸机,一方面可以进行跟拍目标身份的验证,还可以在入场时判断是否有空闲的跟拍设备100,若有跟拍设备100可以进行跟拍,则允许待跟拍目标通过;若没有空闲的跟拍设备100则进行提醒或者禁止待跟拍目标通过。
对应的所述方法包括:
生成跟拍指令和停拍指令,并将所述跟拍指令和所述停拍指令发送给跟拍设备100;其中,
所述生成跟拍指令的方法包括:
通过第一闸机识别跟拍目标的身份标识,基于所述身份标识生成所述跟拍指令;
所述生成停拍指令的方法包括:
通过第二闸机识别跟拍目标的身份标识,基于所述身份标识生成所述停拍指令。
需要说明的是,在本申请实施例中,闸机对于跟拍目标的身份识别可以包括多种方式,例如,通过带有ID的身份卡、蓝牙设备,或者人脸识别等方式,本申请中对于闸机验证跟拍目标身份的方式并不进行具体的限制,可以采用现有验证方式中的一种或者多种。
在本申请实施例中,还提供了一种影像展示的方法,包括:
根据所述跟拍设备100获取的图像,生成所述跟拍目标的第一展示影像。
基于生成所述跟拍指令的第一时间,获取第一拍摄设备200在所述第一时间相关的第一预设时间段内的第一全局图像。
基于生成所述停拍指令的第二时间,获取第二拍摄设备300在所述第二时间相关的第二预设时间段内的第二全局图像。
基于所述第一时间和所述第二时间,获取第三拍摄设备400在第三预设时间段内的鸟瞰视角图像;以及
基于所述第一全局图像、第二全局图像和所述鸟瞰视角图像中的至少之一生成所述跟拍目标的第二展示影像。
需要说明的是,本申请实施例中第一拍摄设备200是设置在滑雪场入口处的摄像机,可以用于全程录像,并不对跟拍目标进行追踪、跟拍或者特写;第二拍摄设备300是设置在滑雪场出口处的摄像机,可以用于全程录像,并不对跟拍目标进行追踪、跟拍或者特写。第一拍摄设备200、第二拍摄设备300、第三拍摄设备400可以为高清广角固定相机。
第三拍摄设备400用于拍摄鸟瞰视角图像,是沿滑雪道布置的多个相机,进行纵览全局的布置方式,可以进行全方位的辅助识别。在进行第二策略的执行时,可以其他辅助作用。另外,还可以对于第三策略的执行进行辅助。例如,通过鸟瞰视角图像进行识别用户移动路径,可以辅助进行建立预测运动轨迹模型。
本申请实施例中,还可以对于获取的多段影像进行拼接,获得视频,并将视频展示给用户。系统提供基础图片、文字及音乐叠加编辑能力,可将滑雪者信息、广告、滑行距离、速度叠加至影像中。
如图4所示,一种室内滑雪场目标跟拍系统,用于执行如以上任一所述的方法,所述系统包括:
跟拍设备100,用于基于特征识别和跟拍策略对跟拍目标进行跟拍,所述跟拍设备被配置为基于所述跟拍目标的运动进行视角转动、变倍及变焦;
第一闸机,用于识别跟拍目标的身份标识,所述身份标识用于生成所述跟拍指令;
第二闸机,用于识别跟拍目标的身份标识,所述身份标识还用于生成所述停拍指令;
第一拍摄设备200,用于对出发位置处进行全局拍摄;
第二拍摄设备300,用于对终点位置处进行全局拍摄;
第三拍摄设备400,用于对滑道进行鸟瞰视角的全局拍摄;
控制设备500,用于基于所述跟拍设备获取跟拍目标的若干初始图像,生成所述跟拍目标的识别特征;用于生成跟拍指令和停拍指令;以及用于生成触发事件并控制执行跟拍策略。
票务系统600,用于生成所述跟拍目标的身份标识。
本申请中提供了一种应用的实施例。
1)当携带蓝牙卡(可为其它类似技术)游客进入规定位置后,触发信号,门禁闸机给到系统启动4K球机。
2)系统调取一个空闲4K球机,开始工作,调整预置位,选取站在某出发闸门固定位置的人作为目标后,开启闸机让拍摄目标通过后关闭。
3)入口摄像机:全程录像,根据球机记录终出发间,系统可配置向前向后取多少秒,获得视频。
4)侧4k球机:全程变倍跟踪,设置起点(出发门)、终点预置位(终点线),相机自出发门起点开始跟拍目标,并记录开始时间;当目标经过终点线后,停止录像,记录到达终点的时间。
5)终点摄像机:全程录像,根据球机记录终点时间,系统可配置向前向后取多少秒,获得视频。
6)鸟瞰摄像机:拼接滑道出发门至终点线间的滑道影像,全程录像捕捉滑行目标。
7)系统根据4K球机、拼接相机图片及录像,驱动4K球机跟踪目标(其中跟踪目标的变倍率可在系统中设置,保持目标在画面中1/2~1/3的高度占比,同时不受滑道中其它滑雪者的干扰完成录像。
8)系统获取三段摄像机视频,进行拼接,可全程配置简单图片或文字(无法选择时间段贴图片、文字,需要专业剪辑软件),并根据长度、时间输出平均速度。保存视频或者向用户展示视频。系统还可以与票务系统对接,通过票务系统对于其他的各项设置参数进行管理。
应当注意,尽管在附图中以特定顺序描述了本发明方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。
本申请实施例中还提供了一种服务器。包括处理器和存储器,所述处理器和所述存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如以上任一项所述的方法。
其中,需要说明的是,本实施例的室内滑雪场目标跟拍方法的执行主体为室内滑雪场目标跟拍方法,室内滑雪场目标跟拍方法可以由软件和/或硬件的方式实现,该实施例中的室内滑雪场目标跟拍方法可以配置在电子设备中,也可以配置在用于对电子设备进行控制的服务器中,该服务器与电子设备进行通信进而对其进行控制。
其中,本实施例中的电子设备可以包括但不限于个人计算、系统电脑、智能手机、智能音箱等设备,该实施例对电子设备不作具体限定。
在本申请实施例中,处理器是具有执行逻辑运算的处理器件,例如中央处理器(CPU)、现场可编程逻辑阵列(FPGA)、数字信号处理器(DSP)、单片机(MCU)、专用逻辑电路(ASIC)、图像处理器(GPU)等具有数据处理能力和/或程序执行能力的器件。容易理解,处理器通常通讯连接存储器,在存储器上存储一个或多个计算机程序产品的任意组合,存储器可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、可擦除可编程只读存储器(EPROM)、USB存储器、闪存等。在存储器上可以存储一个或多个计算机指令,处理器可以运行所述计算机指令,以实现相关的分析功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据,例如应用程序使用和/或产生的各种数据等。
在本申请实施例中,各模块都可以通过处理器执行相关计算机指令实现,例如图像处理模块可以通过处理器执行图像变换算法的指令实现、机器学习模块可以通过处理器执行机器学习算法的指令实现、神经网络可以通过处理器执行神经网络算法的指令实现。
在本申请实施例中,各模块可以运行在同一个处理器上,也可以运行在多个处理器上;各模块可以运行在同一架构的处理器上,例如均在X86体系的处理器上运行,也可以运行在不同架构的处理器上,例如图像处理模块运行在X86体系的CPU,机器学习模块运行在GPU。各模块可以封装在一个计算机产品中,例如各模块封装在一个计算机软件并运行在一台计算机(服务器),也可以各自或部分封装在不同的计算机产品,例如图像处理模块封装在一个计算机软件中并运行在一台计算机(服务器),机器学习模块分别封装在单独的计算机软件中并运行在另一台或多台计算机(服务器);各模块执行时的计算系统可以是本地计算,也可以是云计算,还可以是本地计算与云计算构成的混合计算。
如图5所示,计算机系统包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM603中,还存储有系统的操作指令所需的各种程序和数据。CPU601、ROM602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605;包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地,根据本申请的实施例,上文参考流程图图1描述的过程可以被实现为计算机软件程序。例如,本申请的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时,执行本申请的系统中限定的上述功能。
本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行以实现如以上任一项所述的方法。
需要说明的是,本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以为的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作指令。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以不同于附图中所标注的顺序发生。例如,两个连接表示的方框实际上可以基本并行地执行,他们有时也可以按相反的顺序执行,这依所涉及的功能而定。
也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作指令的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。
本领域技术人员应当理解,本申请中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离前述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其他技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
除非另有定义,本文中所使用的技术和科学术语与本发明的技术领域的技术人员通常理解的含义相同。本文中使用的术语只是为了描述具体的实施目的,不是旨在限制本发明。本文中出现的诸如“设置”等术语既可以表示一个部件直接附接至另一个部件,也可以表示一个部件通过中间件附接至另一个部件。本文中在一个实施方式中描述的特征可以单独地或与其它特征结合地应用于另一个实施方式,除非该特征在该另一个实施方式中不适用或是另有说明。
本发明已经通过上述实施方式进行了说明,但应当理解的是,上述实施方式只是用于举例和说明的目的,而非意在将本发明限制于所描述的实施方式范围内。本领域技术人员可以理解的是,根据本发明的教导还可以做出更多种的变型和修改,这些变型和修改均落在本发明所要求保护的范围以内。
Claims (10)
1.一种室内滑雪场目标跟拍方法,其特征在于,所述方法包括:
在接收到跟拍指令后,通过跟拍设备获取跟拍目标的若干初始图像;
基于所述若干初始图像生成所述跟拍目标的识别特征,所述识别特征包括形体特征和色彩特征;
基于所述识别特征,所述跟拍设备对所述跟拍目标进行跟拍;
在接收到停拍指令后,所述跟拍设备释放对所述跟拍目标拍摄。
2.根据权利要求1所述的室内滑雪场目标跟拍方法,其特征在于,所述方法还包括:所述跟拍设备响应于触发事件,按照跟拍策略对所述跟拍目标进行跟拍,所述触发事件包括目标丢失、目标交错、目标混淆、目标碰撞中的一种或多种。
3.根据权利要求2所述的室内滑雪场目标跟拍方法,其特征在于,所述跟拍策略包括第一策略、第二策略、第三策略,其中,
所述第一策略被配置为通过所述跟拍设备获取所述触发事件的预设阈值时段内的实时图像,基于所述实时图像中的多个目标人物对应的识别特征,判断符合所述跟拍目标的识别特征;
所述第二策略被配置为通过所述跟拍设备拍摄的触发事件对应时刻的图像,获取所述图像对应的滑雪场位置以及与所述滑雪场位置对应的鸟瞰视角图像,基于所述鸟瞰视角图像识别所述跟拍目标并根据所述跟拍目标的位置调整所述跟拍设备的视角;
所述第三策略被配置为获取所述跟拍目标的预测运动轨迹,基于所述预测运动轨迹的方向调整所述跟拍设备的视角方向,直到在所述跟拍设备再次拍摄到所述跟拍目标。
4.根据权利要求3所述的室内滑雪场目标跟拍方法,其特征在于,生成所述跟拍目标的预测运动轨迹,方法包括:
基于所述跟拍目标的历史运动轨迹,生成所述预测运动轨迹;或者,
基于其他跟拍目标的历史运动轨迹,生成所述预测运动轨迹。
5.根据权利要求3所述的室内滑雪场目标跟拍方法,其特征在于,所述跟拍设备按照不同策略的优先权执行,其中,优先权的排序为:第一策略>第二策略>第三策略;或者,
所述跟拍设备同时执行所述第一策略、第二策略、第三策略中的一种或多种。
6.根据权利要求1所述的室内滑雪场目标跟拍方法,其特征在于,所述方法还包括:
根据所述跟拍设备获取的图像,生成所述跟拍目标的第一展示影像。
7.根据权利要求1所述的室内滑雪场目标跟拍方法,其特征在于,所述方法还包括:
基于生成所述跟拍指令的第一时间,获取第一拍摄设备在所述第一时间相关的第一预设时间段内的第一全局图像;
基于生成所述停拍指令的第二时间,获取第二拍摄设备在所述第二时间相关的第二预设时间段内的第二全局图像;
基于所述第一时间和所述第二时间,获取第三拍摄设备在第三预设时间段内的鸟瞰视角图像;以及
基于所述第一全局图像、第二全局图像和所述鸟瞰视角图像中的至少之一生成所述跟拍目标的第二展示影像。
8.一种室内滑雪场目标跟拍系统,其特征在于,用于执行如权利要求1-7任一所述的方法,所述系统包括:
跟拍设备,用于基于特征识别和跟拍策略对跟拍目标进行跟拍,所述跟拍设备被配置为基于所述跟拍目标的运动进行视角转动、变倍及变焦;
第一闸机,用于识别跟拍目标的身份标识,所述身份标识用于生成所述跟拍指令;
第二闸机,用于识别跟拍目标的身份标识,所述身份标识还用于生成所述停拍指令;
第一拍摄设备,用于对出发位置处进行全局拍摄;
第二拍摄设备,用于对终点位置处进行全局拍摄;
第三拍摄设备,用于对滑道进行鸟瞰视角的全局拍摄;
控制设备,用于基于所述跟拍设备获取跟拍目标的若干初始图像,生成所述跟拍目标的识别特征;用于生成跟拍指令和停拍指令;以及用于生成触发事件并控制执行跟拍策略。
9.根据权利要求8所述的室内滑雪场目标跟拍系统,其特征在于,还包括:
票务系统,用于生成所述跟拍目标的身份标识。
10.一种服务器,其特征在于,用于执行如权利要求1-7任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111100991.7A CN113824881A (zh) | 2021-09-18 | 2021-09-18 | 一种室内滑雪场目标跟拍方法、系统及服务器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111100991.7A CN113824881A (zh) | 2021-09-18 | 2021-09-18 | 一种室内滑雪场目标跟拍方法、系统及服务器 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113824881A true CN113824881A (zh) | 2021-12-21 |
Family
ID=78922437
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111100991.7A Pending CN113824881A (zh) | 2021-09-18 | 2021-09-18 | 一种室内滑雪场目标跟拍方法、系统及服务器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113824881A (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002290963A (ja) * | 2001-03-27 | 2002-10-04 | Denso Corp | 画像追跡システム、携帯情報端末、画像追跡装置、及び、追跡画像の撮影方法 |
CN108833777A (zh) * | 2018-06-08 | 2018-11-16 | 成都第二记忆科技有限公司 | 一种摄像摄影装置及进行摄像摄影的方法 |
CN111291280A (zh) * | 2020-03-10 | 2020-06-16 | 中国科学院计算技术研究所 | 一种大规模移动对象的轨迹快速预测方法、介质和设备 |
CN111428743A (zh) * | 2019-01-09 | 2020-07-17 | 阿里巴巴集团控股有限公司 | 商品识别方法、商品处理方法、装置及电子设备 |
CN112119627A (zh) * | 2019-08-14 | 2020-12-22 | 深圳市大疆创新科技有限公司 | 基于云台的目标跟随方法、装置、云台和计算机存储介质 |
CN112639815A (zh) * | 2020-03-27 | 2021-04-09 | 深圳市大疆创新科技有限公司 | 目标跟踪方法、目标跟踪装置、可移动平台和存储介质 |
CN112702535A (zh) * | 2021-02-09 | 2021-04-23 | 云汉逐影(北京)科技有限公司 | 一种自动识别跟踪、拍摄剪辑机器视觉系统 |
CN113393492A (zh) * | 2021-05-27 | 2021-09-14 | 浙江大华技术股份有限公司 | 目标跟踪方法、装置、电子装置和存储介质 |
-
2021
- 2021-09-18 CN CN202111100991.7A patent/CN113824881A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002290963A (ja) * | 2001-03-27 | 2002-10-04 | Denso Corp | 画像追跡システム、携帯情報端末、画像追跡装置、及び、追跡画像の撮影方法 |
CN108833777A (zh) * | 2018-06-08 | 2018-11-16 | 成都第二记忆科技有限公司 | 一种摄像摄影装置及进行摄像摄影的方法 |
CN111428743A (zh) * | 2019-01-09 | 2020-07-17 | 阿里巴巴集团控股有限公司 | 商品识别方法、商品处理方法、装置及电子设备 |
CN112119627A (zh) * | 2019-08-14 | 2020-12-22 | 深圳市大疆创新科技有限公司 | 基于云台的目标跟随方法、装置、云台和计算机存储介质 |
CN111291280A (zh) * | 2020-03-10 | 2020-06-16 | 中国科学院计算技术研究所 | 一种大规模移动对象的轨迹快速预测方法、介质和设备 |
CN112639815A (zh) * | 2020-03-27 | 2021-04-09 | 深圳市大疆创新科技有限公司 | 目标跟踪方法、目标跟踪装置、可移动平台和存储介质 |
CN112702535A (zh) * | 2021-02-09 | 2021-04-23 | 云汉逐影(北京)科技有限公司 | 一种自动识别跟踪、拍摄剪辑机器视觉系统 |
CN113393492A (zh) * | 2021-05-27 | 2021-09-14 | 浙江大华技术股份有限公司 | 目标跟踪方法、装置、电子装置和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020015492A1 (zh) | 识别视频中的关键时间点的方法、装置、计算机设备及存储介质 | |
Li et al. | Uav-human: A large benchmark for human behavior understanding with unmanned aerial vehicles | |
CN108447091B (zh) | 目标定位方法、装置、电子设备及存储介质 | |
Wheeler et al. | Face recognition at a distance system for surveillance applications | |
CN103761514B (zh) | 基于广角枪机和多球机实现人脸识别的系统及方法 | |
US7526102B2 (en) | System and method for object tracking and activity analysis | |
CN116582741B (zh) | 一种拍摄方法及设备 | |
US20180225852A1 (en) | Apparatus and method for generating best-view image centered on object of interest in multiple camera images | |
CN110633648B (zh) | 一种自然行走状态下的人脸识别方法和系统 | |
CN113887387A (zh) | 一种滑雪场目标影像生成方法、系统和服务器 | |
CN113302907B (zh) | 拍摄方法、装置、设备及计算机可读存储介质 | |
Belkada et al. | Do pedestrians pay attention? eye contact detection in the wild | |
Okamoto et al. | Summarization of egocentric moving videos for generating walking route guidance | |
CN112541408B (zh) | 可行区域识别方法、装置、设备及计算机可读存储介质 | |
CN113824881A (zh) | 一种室内滑雪场目标跟拍方法、系统及服务器 | |
CN107730438A (zh) | 一种基于鱼眼镜头的动态物体跟踪方法和系统 | |
Huda et al. | Effects of pre-processing on the performance of transfer learning based person detection in thermal images | |
Guo et al. | Adaptive Object Tracking Discriminate Model forMulti-Camera Panorama Surveillance in Airport Apron. | |
CN114677620A (zh) | 对焦方法、电子设备和计算机可读介质 | |
CN115049972A (zh) | 基于图像识别的智慧安防管理方法、装置及介质 | |
KR102194511B1 (ko) | 대표 영상프레임 결정시스템 및 이를 이용한 방법 | |
CN117837153A (zh) | 一种拍摄控制方法、拍摄控制装置及可移动平台 | |
CN113992845B (zh) | 图像拍摄控制方法、装置及计算设备 | |
JP7098180B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
CN117424982B (zh) | 一种智能布控球及其布控方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20211221 |