CN114125267B - 一种摄像头智能跟踪的方法和装置 - Google Patents
一种摄像头智能跟踪的方法和装置 Download PDFInfo
- Publication number
- CN114125267B CN114125267B CN202111223957.9A CN202111223957A CN114125267B CN 114125267 B CN114125267 B CN 114125267B CN 202111223957 A CN202111223957 A CN 202111223957A CN 114125267 B CN114125267 B CN 114125267B
- Authority
- CN
- China
- Prior art keywords
- close
- area
- state
- camera
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000003068 static effect Effects 0.000 claims description 44
- 238000000638 solvent extraction Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 241001310793 Podium Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明的实施方式提供了一种摄像头智能跟踪的方法,所述方法包括:获取讲解区全景画面;将所述讲解区全景画面划分为至少两个具有重叠区域的特写区;获取当前展示的其中一个特写区作为当前特写区;判断所述全景画面中人物在重叠区域中的运动状态;基于所述人物运动状态调整摄像头跟踪状态。使得可实现满足场景需求的摄像头智能追踪,提升了产品易用性和用户学习体验。此外,本发明的实施方式提供了一种摄像头智能追踪的装置。
Description
技术领域
本发明的实施方式涉及视频通信技术领域,更具体地,本发明的实施方式涉及一种摄像头智能跟踪的方法和装置。
背景技术
在教育信息化2.0的推进过程中,为提高边远地区的教学质量,实现远程帮扶,国家部署了大量的远程互动课堂教室,实现优质教学资源的共享。一般体制内教室的讲台有“黑板+智能触控一体机(或电子白板)”组成,现有技术中摄像头自动跟踪方案,有以下几种处理方式:
方案一:不论老师在讲台区静止或移动,都以老师为图像中心进行取景。这种方案的不足之处在于即使老师在某个板书区内书写或讲解时小范围移动,远端学生也会看到视频画面频繁调整,无法专心关注教学内容。
方案二:当老师静止时,以老师为中心采集画面,当老师移动时,显示整个讲台区域的画面。这种跟踪方案的主要不足,也是远近景切换,画面会频繁变焦调整,视频画面无法突出板书重点,容易视觉疲劳。
方案三:讲台根据黑板或触控屏的数量,划分为左中右或左右几个特写区。当老师在某个特写区时,固定显示该区域的画面;当老师移动到其他特写区时,显示新特写区的画面。这种方案可以很好解决视频画面频繁大范围变化的问题。但老师在不同特写区间移动时,存在老师画面一段时间内丢失的问题,以及老师站在相邻2个特写区交界处时,摄像头频繁误切换的问题。
为了使听课端的孩子能更好体验现场学习效果,需要保证摄像头准确采集主讲老师当前讲解区域的画面本发明设计了一种摄像头智能跟踪的方法和装置,可以使得摄像头能够保证采集画面稳定,也避免老师在当前板书范围内移动时,视频画面范围频繁变化,远端学生无法稳定看到板书或PPT 课件内容。
发明内容
本发明的目的在于提供一种智能调整摄像头的方案,以保证摄像头采集画面稳定。出于目前存在的摄像头追随人物转动的过程中会出现视频画面频繁调整,画面不稳定的缺陷,因此非常需要一种改进摄像头智能跟踪的技术方案,以解决上述存在的问题。
在本上下文中,本发明的实施方式期望提供一种摄像头智能跟踪的方法和装置。
在本发明实施方式的第一方面中,提供了一种摄像头智能跟踪的方法,其特征在于,所述方法包括:获取讲解区全景画面;将所述讲解区全景画面划分为至少两个具有重叠区域的特写区;获取当前展示的其中一个特写区作为当前特写区;判断所述全景画面中人物在重叠区域中的运动状态;基于所述人物运动状态调整摄像头跟踪状态。
在本发明的一个实施例中,所述获取讲解区全景画面包括:通过全景摄像头获取所述讲解区全景画面;所述讲解区全景画面包括书写区域和演示区域中的一种或其组合。
在本发明的另一个实施例中,所述将所述讲解区全景画面划分为至少两个具有重叠区域的特写区包括:对所述讲解区全景画面划分为至少两个特写区,其中一个特写区域包括书写区域和与该书写区域相邻的部分演示区域,另一个特写区域包括所述演示区域和与所述演示区域相邻的部分书写区域,两个特写区域重合的部分为所述重叠区域。
在本发明的又一个实施例中,所述判断所述全景画面中人物在重叠区域中的运动状态包括:当所述人物处于所述重叠区域中时,判断所述人物是否处于移动状态或静止状态;当所述人物处于移动状态时,判断所述人物的移动方向是否朝向当前特写区还是朝向相邻特写区;当所述人物处于静止状态时,判断所述人物是否具有讲解手势,如果所述人物具有讲解手势,则判断所述讲解手势是否指向当前特写区还是指向相邻特写区。
在本发明的再一个实施例中,所述基于所述人物运动状态调整摄像头跟踪状态包括:所述摄像头跟踪状态包括特写区态和跟踪态,其中所述特写区态为保持当前摄像头指向至少一个特写区并保持不变,并展示该特写区的画面;所述跟踪态为以人物为中心跟随人物移动而转动。
在本发明的再一个实施例中,所述基于所述人物运动状态调整摄像头跟踪状态包括:当所述人物处于移动状态且所述人物的移动方向朝向当前特写区时,所述摄像头处于特写区态,保持展示当前特写区画面;当所述人物处于移动状态且所述人物的移动方向朝向相邻特写区时,所述摄像头处于特写区态,转向相邻特写区并展示相邻特写区画面。
在本发明的再一个实施例中,所述基于所述人物运动状态调整摄像头跟踪状态包括:当所述人物处于静止状态且所述人物不具有讲解手势时,所述摄像头处于特写区态,保持展示当前特写区画面;当所述人物处于静止状态、所述人物具有讲解手势且所述讲解手势指向当前特写区时,所述摄像头处于特写区态,保持展示当前特写区画面;当所述人物处于静止状态、所述人物具有讲解手势且所述讲解手势指向相邻特写区时,所述摄像头处于特写区态,转向相邻特写区并展示相邻特写区画面。
在本发明的再一个实施例中,所述基于所述人物运动状态调整摄像头跟踪状态包括:当所述人物从所述重叠区域进入相邻特写区,调整所述摄像头进入跟踪态。
在本发明的再一个实施例中,所述调整所述摄像头进入跟踪态之后还包括:判断所述人物是否保持静止状态并持续预定时间,如果所述人物保持静止状态并持续预定时间则调整摄像头为特写态,并把所述人物当前所处区域设置为当前特写区,保持展示当前特写区画面。
在本发明的再一个实施例中,所述调整所述摄像头进入跟踪态之后还包括:判断所述人物是否保持静止状态并持续预定时间,如果所述人物未保持静止状态并持续预定时间则保持摄像头为跟踪态。
在本发明实施方式的第二方面中,提供了一种摄像头智能跟踪的装置,所述装置包括:获取全景画面模块,用于获取讲解区全景画面;划分模块,用于将所述讲解区全景画面划分为至少两个具有重叠区域的特写区;获取当前特写区模块,用于获取当前展示的其中一个特写区作为当前特写区;判断模块,用于判断所述全景画面中人物在重叠区域中的运动状态;调整模块,用于基于所述人物运动状态调整摄像头跟踪状态。
在本发明的一个实施例中,所述获取全景画面模块包括:用于通过全景摄像头获取所述讲解区全景画面的单元;所述讲解区全景画面包括书写区域和演示区域中的一种或其组合。
在本发明的另一个实施例中,所述划分模块包括:用于对所述讲解区全景画面划分为至少两个特写区,其中一个特写区域包括书写区域和与该书写区域相邻的部分演示区域,另一个特写区域包括所述演示区域和与所述演示区域相邻的部分书写区域,两个特写区域重合的部分为所述重叠区域的单元。
在本发明的又一个实施例中,所述判断模块包括:用于当所述人物处于所述重叠区域中时,判断所述人物是否处于移动状态或静止状态的单元;用于当所述人物处于移动状态时,判断所述人物的移动方向是否朝向当前特写区还是朝向相邻特写区的单元;用于当所述人物处于静止状态时,判断所述人物是否具有讲解手势,如果所述人物具有讲解手势,则判断所述讲解手势是否指向当前特写区还是指向相邻特写区的单元。
在本发明的再一个实施例中,所述调整模块包括:所述摄像头跟踪状态包括特写区态和跟踪态,其中所述特写区态为保持当前摄像头指向至少一个特写区并保持不变,并展示该特写区的画面;所述跟踪态为以人物为中心跟随人物移动而转动。
在本发明的再一个实施例中,所述基调整模块包括:用于当所述人物处于移动状态且所述人物的移动方向朝向当前特写区时,所述摄像头处于特写区态,保持展示当前特写区画面的单元;用于当所述人物处于移动状态且所述人物的移动方向朝向相邻特写区时,所述摄像头处于特写区态,转向相邻特写区并展示相邻特写区画面的单元。
在本发明的再一个实施例中,所述调整模块包括:用于当所述人物处于静止状态且所述人物不具有讲解手势时,所述摄像头处于特写区态,保持展示当前特写区画面的单元;用于当所述人物处于静止状态、所述人物具有讲解手势且所述讲解手势指向当前特写区时,所述摄像头处于特写区态,保持展示当前特写区画面的单元;用于当所述人物处于静止状态、所述人物具有讲解手势且所述讲解手势指向相邻特写区时,所述摄像头处于特写区态,转向相邻特写区并展示相邻特写区画面的单元。
在本发明的再一个实施例中,所述调整模块包括:用于当所述人物从所述重叠区域进入相邻特写区,调整所述摄像头进入跟踪态的单元。
在本发明的再一个实施例中,所述调整模块之后还包括:用于判断所述人物是否保持静止状态并持续预定时间,如果所述人物保持静止状态并持续预定时间则调整摄像头为特写态,并把所述人物当前所处区域设置为当前特写区,保持展示当前特写区画面的单元。
在本发明的再一个实施例中,所述调整模块之后还包括:用于判断所述人物是否保持静止状态并持续预定时间,如果所述人物未保持静止状态并持续预定时间则保持摄像头为跟踪态的单元。
根据本发明实施方式的一种摄像头智能跟踪的方法和装置,通过基于区域分析和运动轨迹分析,使得在摄像头采集的主讲老师画面,既能保证在板书、讲解时的画面稳定;也能在老师讲台大范围走动时,保证老师人物画面不丢失;不同特写区交界处站立时,选择合适的特写区画面。
附图说明
通过参考附图阅读下文的详细描述,本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本发明的若干实施方式,其中:
图1示意性地示出了根据本发明实施方式的用于实现摄像头智能跟踪的方法流程图;
图2示意性地示出了根据本发明实施例的全景画面示示意图;
图3示意性地示出了根据本发明用于实现摄像头智能跟踪的完整方案流程图;
图4示意性地示出了根据本发明实施方式的用于实现摄像头智能跟踪的装置示意图。
在附图中,相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解,给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明,而并非以任何方式限制本发明的范围。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道,本发明的实施方式可以实现为一种摄像头智能跟踪的方法和装置。因此,本公开可以具体实现为以下形式,即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等),或者硬件和软件结合的形式。
根据本发明的实施方式,提出了一种摄像头智能跟踪的方法和装置。
下面参考本发明的若干代表性实施方式,详细阐释本发明的原理和精神。
发明概述
本发明人发现,现有的摄像头跟踪技术存在以下缺陷:摄像头在跟踪人物转动时会由于人物的移动出现频繁调整视频画面的现象,这样会使得视频观看方看到频繁调整的视频画面而不能够专心关注教学内容,并且现有技术并未考虑到人物在不同特写区移动时会存在人物画面丢失的现象。
为了克服现有技术存在的问题,本发明提供了一种摄像头智能跟踪的方法和装置,该方法包括以下步骤:获取讲解区全景画面;将所述讲解区全景画面划分为至少两个具有重叠区域的特写区;获取当前展示的其中一个特写区作为当前特写区;判断所述全景画面中人物在重叠区域中的运动状态;基于所述人物运动状态调整摄像头跟踪状态。
在介绍了本发明的基本原理之后,下面具体介绍本发明的各种非限制性实施方式。
应用场景总览
本发明实施例可以应用于远程会议、远程教学或培训等场景,然而,本领域技术人员完全可以理解,本发明实施方式的适用场景不受到该框架任何方面的限制。
示例性方法
下面结合应用场景,参考图1-4来描述根据本发明示例性实施方式的用于实现摄像头智能跟踪的方法。需要注意的是,上述应用场景仅是为了便于理解本发明的精神和原理而示出,本发明的实施方式在此方面不受任何限制。相反,本发明的实施方式可以应用于适用的任何场景。
参考图1和3,示意性的示出了根据本发明一个实施例的用于摄像头智能跟踪的方法流程图。该方法包括以下步骤:
S100、获取讲解区全景画面。
作为示例,所述获取讲解区全景画面包括:通过全景摄像头获取所述讲解区全景画面;所述讲解区全景画面包括书写区域和演示区域中的一种或其组合。
作为示例,所述讲解区全景图画面包括书写区域和演示区域以及在全景画面的最左侧和最右侧各保留一人身位所在的空间,因为当教师在书写区域的或演示区域的边侧进行书写或演示时,为了不会遮挡到学生的视线,会向最左侧或最右侧移动一个身位,这样为了保证能够完整的获取全景画面,可以在书写或演示区域的最左侧或最右侧多获取一个身位的画面。其中书写区域如黑板,电子白板等可以在上面进行板书的区域,演示区域如投影仪等可以进行PPT或动画演示的区域。需要说明的是,具体地书写区域和演示区域在此处不做限制,只要能够进行书写的区域均可叫做书写区域,可以做演示的区域均可叫做演示区域。
S110、将所述讲解区全景画面划分为至少两个具有重叠区域的特写区。
作为示例,所述将所述讲解区全景画面划分为至少两个具有重叠区域的特写区包括:对所述讲解区全景画面划分为至少两个特写区,其中一个特写区域包括书写区域和与该书写区域相邻的部分演示区域,另一个特写区域包括所述演示区域和与所述演示区域相邻的部分书写区域,两个特写区域重合的部分为所述重叠区域。
作为示例,如图2所示,以讲解区包括左右各两个书写区,中间一个一体机区为例,特写区可以分为左特写区、右特写区以及一体机特写区,其中左特写区包括最左侧的一个身位、左板书区以及中间的一体机的左侧一部分;一体机特写区包括一体机区域、左板书区的右侧的一部分以及右板书区的左侧的一部分;右特写区包括最右侧的一个身位、右板书区以及中间的一体机的右侧的一部分。并且左板书区与一体机区域之间有一个重合的部分,右板书区与一体机之间也有一个重合的部分,这两个重合的区域即为重叠区域。通过将讲解区的全景画面划分为不同的特写区以及重叠区域,这样可以使得摄像头可以根据不同区域调整不同的状态追踪,并且通过划分重叠区域可以更加精准的捕捉人物的画面,不会造成人物在移动时会丢失画面的现象。
S120、获取当前展示的其中一个特写区作为当前特写区。
作为示例,当人物在不断的移动的过程中,摄像头所处的特写区也在不断的变化,以当前展示画面所展示的特写区作为当前特写区,如当前展示的画面为左特写区的画面,则将左特写区作为当前特写区,为之后的摄像头调整特写区做参照。
S130、判断所述全景画面中人物在重叠区域中的运动状态。
作为示例,所述判断所述全景画面中人物在重叠区域中的运动状态包括当所述人物处于所述重叠区域中时,判断所述人物是否处于移动状态或静止状态;当所述人物处于移动状态时,判断所述人物的移动方向是否朝向当前特写区还是朝向相邻特写区;当所述人物处于静止状态时,判断所述人物是否具有讲解手势,如果所述人物具有讲解手势,则判断所述讲解手势是否指向当前特写区还是指向相邻特写区。
作为示例,通过配置工具预先将全景画面以坐标的形式标注,并且将不同的特写区域参照全景画面的坐标进行标注,当全景画面中包含人物画面时,也使用坐标的方式标注人物所处的不同位置的坐标。通过对比坐标的方式可以确定人物是否处于重叠区域,即当人物坐标在重叠区域坐标范围内时,证明人物此时处于两个特写区重叠区域。当人物处于重叠区域时,则通过对比摄像头拍摄的前后两个帧的画面中人物所处的坐标,当坐标一致时,则证明人物处于静止状态,当坐标不一致时,则证明人物处于运动状态。
当确定人物在两个特写区的重叠区域并且处于运动状态时,再次根据两个相邻帧中人物的坐标位置确定人物的移动方向是否朝向当前特写区还是朝向相邻特写区,当人物的坐标与当前特写区的坐标差逐渐减小时,则证明人物正朝着当前特写区移动,当人物的坐标与当前特写区的坐标差逐渐增大时,则证明人物正朝着相邻特写区移动。当确定人物在两个特写区的重叠区域并且处于静止状态时,根据辅助手势识别工具确定所述人物是否具有讲解手势,如果所述人物具有讲解手势,则判断所述讲解手势是否指向当前特写区还是指向相邻特写区。这样通过确定人物在重叠区域内的移动方向以及手势动作可以为摄像头的只能跟踪提供有力的支持。
S140、基于所述人物运动状态调整摄像头跟踪状态。
作为示例,所述基于所述人物运动状态调整摄像头跟踪状态包括:当所述人物处于移动状态且所述人物的移动方向朝向当前特写区时,所述摄像头处于特写区态,保持展示当前特写区画面;当所述人物处于移动状态且所述人物的移动方向朝向相邻特写区时,所述摄像头处于特写区态,转向相邻特写区并展示相邻特写区画面。其中,所述摄像头跟踪状态包括特写区态和跟踪态,其中所述特写区态为保持当前摄像头指向至少一个特写区并保持不变,并展示该特写区的画面;所述跟踪态为以人物为中心跟随人物移动而转动。
具体地例子,仍以图2所示为例,若当前人物处于左特写区和一体机特写区之间的重叠区域,当前摄像头显示的特写区为左特写区,并且所述人物处于移动状态且所述人物的移动方向朝向左特写区,则证明此时人物的运动方向为由左特写区和一体机特写区之间的重叠区域内向左运动,也就证明接下来教师要在左特写区进行讲解,因此此时的摄像头直接调整为特写区态,也即摄像头保持展示当前特写区画面(左特写区画面)。若当前人物处于左特写区和一体机特写区之间的重叠区域,当前摄像头显示的特写区为左特写区,并且所述人物处于移动状态且所述人物的移动方向朝向一体机特写区,则证明此时人物的运动方向为由左特写区和一体机特写区之间的重叠区域内向右运动,也就证明接下来教师要在一体机特写区进行讲解,因此此时的摄像头也调整为特写区态,但是摄像头要转向一体机特写区并展示一体机特写区画面。
作为示例,当所述人物处于静止状态且所述人物不具有讲解手势时,所述摄像头处于特写区态,保持展示当前特写区画面;当所述人物处于静止状态、所述人物具有讲解手势且所述讲解手势指向当前特写区时,所述摄像头处于特写区态,保持展示当前特写区画面;当所述人物处于静止状态、所述人物具有讲解手势且所述讲解手势指向相邻特写区时,所述摄像头处于特写区态,转向相邻特写区并展示相邻特写区画面。
具体地例子,仍以图2所示为例,若当前人物处于左特写区和一体机特写区之间的重叠区域,当前摄像头显示的特写区为左特写区,当前教师处于静止状态,并且手势识别工具识别到当前教师不具有讲解手势,则证明教师当前只是站在了重叠区域内,但是没有做讲解,因此不需要转换摄像头的状态,就保持展示当前特写区画面即可;当前教师处于静止状态,并且手势识别工具识别到当前教师的讲解手势指向当前特写区(左特写区)时,则证明此时教师站在重叠区域内但是在讲解左特写区内显示的内容,则为了使学生能够观看到教师讲解的内容,摄像头保持在特写区态,保持展示当前特写区画面(也即展示左特写区画面);当前教师处于静止状态,并且手势识别工具识别到当前教师的讲解手势指向相邻特写区(一体机特写区)时,则证明此时教师站在重叠区域内但是在讲解一体机特写区内显示的内容,则为了使学生能够观看到教师讲解的内容,摄像头保持在特写区态,但是摄像头要转向展示一体机特写区画面。
作为示例,当所述人物从所述重叠区域进入相邻特写区,调整所述摄像头进入跟踪态,判断所述人物是否保持静止状态并持续预定时间,如果所述人物保持静止状态并持续预定时间则调整摄像头为特写态,并把所述人物当前所处区域设置为当前特写区,保持展示当前特写区画面,判断所述人物是否保持静止状态并持续预定时间,如果所述人物未保持静止状态并持续预定时间则保持摄像头为跟踪态。
具体地例子,仍以图2所示为例,当前特写区仍为左特写区,若教师从左特写区与一体机特写区之间的重叠区域进入一体机特写区,则证明教师此时已经完全的走出了当前特写区,则为了保证能够随时追踪到教师的画面,不使教师画面发生丢失的现象,将摄像头调整到跟踪态,也即此时的摄像头以教师的画面为中心进行跟踪,并且在摄像头对教师进行跟踪的过程中,若教师在某个特写区静止的时间超过2s,则证明该教师可能要在当前特写区进行讲解,为了能够使得摄像头不会被频繁的切换,则将摄像头调整能到特写态,并把所述教师当前所处区域设置为当前特写区,保持展示当前特写区画面;若教师在某个特写区静止的时间未超过2s,则仍保持摄像头为跟踪态。
作为示例,当人物仅仅在不包含重叠区域的特写区内移动时,则摄像头调整为特写区态,保持当前特写区画面不变。
本申请通过将全景画面划分为不同的特写区、明确特写区之间的重叠区域以及对人物在特写区的运动轨迹分析,使得摄像头采集的主讲老师画面既能保证在板书、讲解时的画面稳定,也能在老师讲台大范围走动时,保证老师人物画面不丢失,还能够保证教师在不同特写区交界处站立时,选择合适的特写区画面。提升了产品易用性和用户学习体验。
示例性装置
在介绍了本发明示例性实施方式的方法之后,接下来,参考图4对本发明示例性实施方式的用于实现摄像头智能跟踪到的装置示意图,该装置包括以下模块:
获取全景画面模块400、用于获取讲解区全景画面。
作为示例,所述获取讲解区全景画面包括:通过全景摄像头获取所述讲解区全景画面;所述讲解区全景画面包括书写区域和演示区域中的一种或其组合。
作为示例,所述讲解区全景图画面包括书写区域和演示区域以及在全景画面的最左侧和最右侧各保留一人身位所在的空间,因为当教师在书写区域的或演示区域的边侧进行书写或演示时,为了不会遮挡到学生的视线,会向最左侧或最右侧移动一个身位,这样为了保证能够完整的获取全景画面,可以在书写或演示区域的最左侧或最右侧多获取一个身位的画面。其中书写区域如黑板,电子白板等可以在上面进行板书的区域,演示区域如投影仪等可以进行PPT或动画演示的区域。需要说明的是,具体地书写区域和演示区域在此处不做限制,只要能够进行书写的区域均可叫做书写区域,可以做演示的区域均可叫做演示区域。
划分模块410、用于将所述讲解区全景画面划分为至少两个具有重叠区域的特写区。
作为示例,所述将所述讲解区全景画面划分为至少两个具有重叠区域的特写区包括:对所述讲解区全景画面划分为至少两个特写区,其中一个特写区域包括书写区域和与该书写区域相邻的部分演示区域,另一个特写区域包括所述演示区域和与所述演示区域相邻的部分书写区域,两个特写区域重合的部分为所述重叠区域。
作为示例,如图2所示,以讲解区包括左右各两个书写区,中间一个一体机区为例,特写区可以分为左特写区、右特写区以及一体机特写区,其中左特写区包括最左侧的一个身位、左板书区以及中间的一体机的左侧一部分;一体机特写区包括一体机区域、左板书区的右侧的一部分以及右板书区的左侧的一部分;右特写区包括最右侧的一个身位、右板书区以及中间的一体机的右侧的一部分。并且左板书区与一体机区域之间有一个重合的部分,右板书区与一体机之间也有一个重合的部分,这两个重合的区域即为重叠区域。通过将讲解区的全景画面划分为不同的特写区以及重叠区域,这样可以使得摄像头可以根据不同区域调整不同的状态追踪,并且通过划分重叠区域可以更加精准的捕捉人物的画面,不会造成人物在移动时会丢失画面的现象。
获取当前特写区模块420、用于获取当前展示的其中一个特写区作为当前特写区。
作为示例,当人物在不断的移动的过程中,摄像头所处的特写区也在不断的变化,以当前展示画面所展示的特写区作为当前特写区,如当前展示的画面为左特写区的画面,则将左特写区作为当前特写区,为之后的摄像头调整特写区做参照。
判断模块430、用于判断所述全景画面中人物在重叠区域中的运动状态。
作为示例,所述判断所述全景画面中人物在重叠区域中的运动状态包括当所述人物处于所述重叠区域中时,判断所述人物是否处于移动状态或静止状态;当所述人物处于移动状态时,判断所述人物的移动方向是否朝向当前特写区还是朝向相邻特写区;当所述人物处于静止状态时,判断所述人物是否具有讲解手势,如果所述人物具有讲解手势,则判断所述讲解手势是否指向当前特写区还是指向相邻特写区。
作为示例,通过配置工具预先将全景画面以坐标的形式标注,并且将不同的特写区域参照全景画面的坐标进行标注,当全景画面中包含人物画面时,也使用坐标的方式标注人物所处的不同位置的坐标。通过对比坐标的方式可以确定人物是否处于重叠区域,即当人物坐标在重叠区域坐标范围内时,证明人物此时处于两个特写区重叠区域。当人物处于重叠区域时,则通过对比摄像头拍摄的前后两个帧的画面中人物所处的坐标,当坐标一致时,则证明人物处于静止状态,当坐标不一致时,则证明人物处于运动状态。
当确定人物在两个特写区的重叠区域并且处于运动状态时,再次根据两个相邻帧中人物的坐标位置确定人物的移动方向是否朝向当前特写区还是朝向相邻特写区,当人物的坐标与当前特写区的坐标差逐渐减小时,则证明人物正朝着当前特写区移动,当人物的坐标与当前特写区的坐标差逐渐增大时,则证明人物正朝着相邻特写区移动。当确定人物在两个特写区的重叠区域并且处于静止状态时,根据辅助手势识别工具确定所述人物是否具有讲解手势,如果所述人物具有讲解手势,则判断所述讲解手势是否指向当前特写区还是指向相邻特写区。这样通过确定人物在重叠区域内的移动方向以及手势动作可以为摄像头的只能跟踪提供有力的支持。
调整模块440、用于基于所述人物运动状态调整摄像头跟踪状态。
作为示例,所述基于所述人物运动状态调整摄像头跟踪状态包括:当所述人物处于移动状态且所述人物的移动方向朝向当前特写区时,所述摄像头处于特写区态,保持展示当前特写区画面;当所述人物处于移动状态且所述人物的移动方向朝向相邻特写区时,所述摄像头处于特写区态,转向相邻特写区并展示相邻特写区画面。其中,所述摄像头跟踪状态包括特写区态和跟踪态,其中所述特写区态为保持当前摄像头指向至少一个特写区并保持不变,并展示该特写区的画面;所述跟踪态为以人物为中心跟随人物移动而转动。
具体地例子,仍以图2所示为例,若当前人物处于左特写区和一体机特写区之间的重叠区域,当前摄像头显示的特写区为左特写区,并且所述人物处于移动状态且所述人物的移动方向朝向左特写区,则证明此时人物的运动方向为由左特写区和一体机特写区之间的重叠区域内向左运动,也就证明接下来教师要在左特写区进行讲解,因此此时的摄像头直接调整为特写区态,也即摄像头保持展示当前特写区画面(左特写区画面)。若当前人物处于左特写区和一体机特写区之间的重叠区域,当前摄像头显示的特写区为左特写区,并且所述人物处于移动状态且所述人物的移动方向朝向一体机特写区,则证明此时人物的运动方向为由左特写区和一体机特写区之间的重叠区域内向右运动,也就证明接下来教师要在一体机特写区进行讲解,因此此时的摄像头也调整为特写区态,但是摄像头要转向一体机特写区并展示一体机特写区画面。
作为示例,当所述人物处于静止状态且所述人物不具有讲解手势时,所述摄像头处于特写区态,保持展示当前特写区画面;当所述人物处于静止状态、所述人物具有讲解手势且所述讲解手势指向当前特写区时,所述摄像头处于特写区态,保持展示当前特写区画面;当所述人物处于静止状态、所述人物具有讲解手势且所述讲解手势指向相邻特写区时,所述摄像头处于特写区态,转向相邻特写区并展示相邻特写区画面。
具体地例子,仍以图2所示为例,若当前人物处于左特写区和一体机特写区之间的重叠区域,当前摄像头显示的特写区为左特写区,当前教师处于静止状态,并且手势识别工具识别到当前教师不具有讲解手势,则证明教师当前只是站在了重叠区域内,但是没有做讲解,因此不需要转换摄像头的状态,就保持展示当前特写区画面即可;当前教师处于静止状态,并且手势识别工具识别到当前教师的讲解手势指向当前特写区(左特写区)时,则证明此时教师站在重叠区域内但是在讲解左特写区内显示的内容,则为了使学生能够观看到教师讲解的内容,摄像头保持在特写区态,保持展示当前特写区画面(也即展示左特写区画面);当前教师处于静止状态,并且手势识别工具识别到当前教师的讲解手势指向相邻特写区(一体机特写区)时,则证明此时教师站在重叠区域内但是在讲解一体机特写区内显示的内容,则为了使学生能够观看到教师讲解的内容,摄像头保持在特写区态,但是摄像头要转向展示一体机特写区画面。
作为示例,当所述人物从所述重叠区域进入相邻特写区,调整所述摄像头进入跟踪态,判断所述人物是否保持静止状态并持续预定时间,如果所述人物保持静止状态并持续预定时间则调整摄像头为特写态,并把所述人物当前所处区域设置为当前特写区,保持展示当前特写区画面,判断所述人物是否保持静止状态并持续预定时间,如果所述人物未保持静止状态并持续预定时间则保持摄像头为跟踪态。
具体地例子,仍以图2所示为例,当前特写区仍为左特写区,若教师从左特写区与一体机特写区之间的重叠区域进入一体机特写区,则证明教师此时已经完全的走出了当前特写区,则为了保证能够随时追踪到教师的画面,不使教师画面发生丢失的现象,将摄像头调整到跟踪态,也即此时的摄像头以教师的画面为中心进行跟踪,并且在摄像头对教师进行跟踪的过程中,若教师在某个特写区静止的时间超过2s,则证明该教师可能要在当前特写区进行讲解,为了能够使得摄像头不会被频繁的切换,则将摄像头调整能到特写态,并把所述教师当前所处区域设置为当前特写区,保持展示当前特写区画面;若教师在某个特写区静止的时间未超过2s,则仍保持摄像头为跟踪态。
作为示例,当人物仅仅在不包含重叠区域的特写区内移动时,则摄像头调整为特写区态,保持当前特写区画面不变。
本申请通过将全景画面划分为不同的特写区、明确特写区之间的重叠区域以及对人物在特写区的运动轨迹分析,使得摄像头采集的主讲老师画面既能保证在板书、讲解时的画面稳定,也能在老师讲台大范围走动时,保证老师人物画面不丢失,还能够保证教师在不同特写区交界处站立时,选择合适的特写区画面。提升了产品易用性和用户学习体验。
应当注意,尽管在上文详细描述中提及了一种摄像头智能跟踪装置的若干单元/模块或子单元/模块,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之,上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
此外,尽管在附图中以特定顺序描述了本发明方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本发明的精神和原理,但是应该理解,本发明并不限于所公开的具体实施方式,对各方面的划分也不意味着这些方面中的特征不能组合以进行受益,这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。
Claims (18)
1.一种摄像头智能跟踪方法,其特征在于,所述方法包括:
获取讲解区全景画面;
将所述讲解区全景画面划分为至少两个具有重叠区域的特写区;
获取当前展示的其中一个特写区作为当前特写区;
判断所述全景画面中人物在重叠区域中的运动状态,其中
当所述人物处于静止状态时,判断所述人物是否具有讲解手势,如果所述人物具有讲解手势,则判断所述讲解手势是否指向当前特写区还是指向相邻特写区;
基于所述人物运动状态调整摄像头跟踪状态,其中包括:
当所述人物处于静止状态且所述人物不具有讲解手势时,所述摄像头处于特写区态,保持展示当前特写区画面;
当所述人物处于静止状态、所述人物具有讲解手势且所述讲解手势指向当前特写区时,所述摄像头处于特写区态,保持展示当前特写区画面;
当所述人物处于静止状态、所述人物具有讲解手势且所述讲解手势指向相邻特写区时,所述摄像头处于特写区态,转向相邻特写区并展示相邻特写区画面。
2.根据权利要求1所述的摄像头智能跟踪方法,其特征在于,所述获取讲解区全景画面包括:
通过全景摄像头获取所述讲解区全景画面;
所述讲解区全景画面包括书写区域和演示区域中的一种或其组合。
3.根据权利要求1所述的摄像头智能跟踪方法,其特征在于,所述将所述讲解区全景画面划分为至少两个具有重叠区域的特写区包括:
对所述讲解区全景画面划分为至少两个特写区,其中一个特写区域包括书写区域和与该书写区域相邻的部分演示区域,另一个特写区域包括所述演示区域和与所述演示区域相邻的部分书写区域,两个特写区域重合的部分为所述重叠区域。
4.根据权利要求1或3所述的摄像头智能跟踪方法,其特征在于,所述判断所述全景画面中人物在重叠区域中的运动状态包括:
当所述人物处于所述重叠区域中时,判断所述人物是否处于移动状态或静止状态;
当所述人物处于移动状态时,判断所述人物的移动方向是否朝向当前特写区还是朝向相邻特写区。
5.根据权利要求4所述的摄像头智能跟踪方法,其特征在于,所述基于所述人物运动状态调整摄像头跟踪状态包括:
所述摄像头跟踪状态包括特写区态和跟踪态,其中
所述特写区态为保持当前摄像头指向至少一个特写区并保持不变,并展示该特写区的画面;
所述跟踪态为以人物为中心跟随人物移动而转动。
6.根据权利要求5所述的摄像头智能跟踪方法,其特征在于,所述基于所述人物运动状态调整摄像头跟踪状态包括:
当所述人物处于移动状态且所述人物的移动方向朝向当前特写区时,所述摄像头处于特写区态,保持展示当前特写区画面;
当所述人物处于移动状态且所述人物的移动方向朝向相邻特写区时,所述摄像头处于特写区态,转向相邻特写区并展示相邻特写区画面。
7.根据权利要求5所述的摄像头智能跟踪方法,其特征在于,所述基于所述人物运动状态调整摄像头跟踪状态包括:
当所述人物从所述重叠区域进入相邻特写区,调整所述摄像头进入跟踪态。
8.根据权利要求7所述的摄像头智能跟踪方法,其特征在于,所述调整所述摄像头进入跟踪态之后还包括:
判断所述人物是否保持静止状态并持续预定时间,如果所述人物保持静止状态并持续预定时间则调整摄像头为特写态,并把所述人物当前所处区域设置为当前特写区,保持展示当前特写区画面。
9.根据权利要求7所述的摄像头智能跟踪方法,其特征在于,所述调整所述摄像头进入跟踪态之后还包括:
判断所述人物是否保持静止状态并持续预定时间,如果所述人物未保持静止状态并持续预定时间则保持摄像头为跟踪态。
10.一种摄像头智能跟踪装置,其特征在于,所述装置包括:
获取全景画面模块,用于获取讲解区全景画面;
划分模块,用于将所述讲解区全景画面划分为至少两个具有重叠区域的特写区;
获取当前特写区模块,用于获取当前展示的其中一个特写区作为当前特写区;
判断模块,用于判断所述全景画面中人物在重叠区域中的运动状态,其中包括:
用于当所述人物处于静止状态时,判断所述人物是否具有讲解手势,如果所述人物具有讲解手势,则判断所述讲解手势是否指向当前特写区还是指向相邻特写区的单元;
调整模块,用于基于所述人物运动状态调整摄像头跟踪状态,其中包括:
用于当所述人物处于静止状态且所述人物不具有讲解手势时,所述摄像头处于特写区态,保持展示当前特写区画面的单元;
用于当所述人物处于静止状态、所述人物具有讲解手势且所述讲解手势指向当前特写区时,所述摄像头处于特写区态,保持展示当前特写区画面的单元;
用于当所述人物处于静止状态、所述人物具有讲解手势且所述讲解手势指向相邻特写区时,所述摄像头处于特写区态,转向相邻特写区并展示相邻特写区画面的单元。
11.根据权利要求10所述的摄像头智能跟踪装置,其特征在于,所述获取全景画面模块包括:
用于通过全景摄像头获取所述讲解区全景画面的单元;
所述讲解区全景画面包括书写区域和演示区域中的一种或其组合。
12.根据权利要求10所述的摄像头智能跟踪装置,其特征在于,所述划分模块包括:
用于对所述讲解区全景画面划分为至少两个特写区,其中一个特写区域包括书写区域和与该书写区域相邻的部分演示区域,另一个特写区域包括所述演示区域和与所述演示区域相邻的部分书写区域,两个特写区域重合的部分为所述重叠区域的单元。
13.根据权利要求10或12所述的摄像头智能跟踪装置,其特征在于,所述判断模块包括:
用于当所述人物处于所述重叠区域中时,判断所述人物是否处于移动状态或静止状态的单元;
用于当所述人物处于移动状态时,判断所述人物的移动方向是否朝向当前特写区还是朝向相邻特写区的单元。
14.根据权利要求13所述的摄像头智能跟踪装置,其特征在于,所述调整模块包括:
所述摄像头跟踪状态包括特写区态和跟踪态,其中
所述特写区态为保持当前摄像头指向至少一个特写区并保持不变,并展示该特写区的画面;
所述跟踪态为以人物为中心跟随人物移动而转动。
15.根据权利要求14所述的摄像头智能跟踪装置,其特征在于,所述调整模块包括:
用于当所述人物处于移动状态且所述人物的移动方向朝向当前特写区时,所述摄像头处于特写区态,保持展示当前特写区画面的单元;
用于当所述人物处于移动状态且所述人物的移动方向朝向相邻特写区时,所述摄像头处于特写区态,转向相邻特写区并展示相邻特写区画面的单元。
16.根据权利要求14所述的摄像头智能跟踪装置,其特征在于,所述调整模块包括:
用于当所述人物从所述重叠区域进入相邻特写区,调整所述摄像头进入跟踪态的单元。
17.根据权利要求16所述的摄像头智能跟踪装置,其特征在于,所述调整模块之后还包括:
用于判断所述人物是否保持静止状态并持续预定时间,如果所述人物保持静止状态并持续预定时间则调整摄像头为特写态,并把所述人物当前所处区域设置为当前特写区,保持展示当前特写区画面的单元。
18.根据权利要求16所述的摄像头智能跟踪装置,其特征在于,所述调整模块之后还包括:
用于判断所述人物是否保持静止状态并持续预定时间,如果所述人物未保持静止状态并持续预定时间则保持摄像头为跟踪态的单元。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111223957.9A CN114125267B (zh) | 2021-10-19 | 2021-10-19 | 一种摄像头智能跟踪的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111223957.9A CN114125267B (zh) | 2021-10-19 | 2021-10-19 | 一种摄像头智能跟踪的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114125267A CN114125267A (zh) | 2022-03-01 |
CN114125267B true CN114125267B (zh) | 2024-01-19 |
Family
ID=80376116
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111223957.9A Active CN114125267B (zh) | 2021-10-19 | 2021-10-19 | 一种摄像头智能跟踪的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114125267B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114650453B (zh) * | 2022-04-02 | 2023-08-15 | 北京中庆现代技术股份有限公司 | 应用于课堂录播中的目标追踪方法、装置、设备以及介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103905734A (zh) * | 2014-04-17 | 2014-07-02 | 苏州科达科技股份有限公司 | 一种智能跟踪摄像方法和装置 |
CN104268887A (zh) * | 2014-09-30 | 2015-01-07 | 深圳市科松电子有限公司 | 一种适用于多场景切换的相机姿态标定方法和装置 |
CN107666590A (zh) * | 2016-07-29 | 2018-02-06 | 华为终端(东莞)有限公司 | 一种目标监控方法、摄像头、控制器和目标监控系统 |
CN107786827A (zh) * | 2017-11-07 | 2018-03-09 | 维沃移动通信有限公司 | 视频拍摄方法、视频播放方法、装置及移动终端 |
CN110930437A (zh) * | 2019-11-20 | 2020-03-27 | 北京拙河科技有限公司 | 目标跟踪方法和装置 |
CN111901528A (zh) * | 2020-08-05 | 2020-11-06 | 深圳市浩瀚卓越科技有限公司 | 拍摄设备稳定器 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7218728B2 (ja) * | 2017-12-21 | 2023-02-07 | ソニーグループ株式会社 | 制御装置および制御方法 |
-
2021
- 2021-10-19 CN CN202111223957.9A patent/CN114125267B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103905734A (zh) * | 2014-04-17 | 2014-07-02 | 苏州科达科技股份有限公司 | 一种智能跟踪摄像方法和装置 |
CN104268887A (zh) * | 2014-09-30 | 2015-01-07 | 深圳市科松电子有限公司 | 一种适用于多场景切换的相机姿态标定方法和装置 |
CN107666590A (zh) * | 2016-07-29 | 2018-02-06 | 华为终端(东莞)有限公司 | 一种目标监控方法、摄像头、控制器和目标监控系统 |
CN107786827A (zh) * | 2017-11-07 | 2018-03-09 | 维沃移动通信有限公司 | 视频拍摄方法、视频播放方法、装置及移动终端 |
CN110930437A (zh) * | 2019-11-20 | 2020-03-27 | 北京拙河科技有限公司 | 目标跟踪方法和装置 |
CN111901528A (zh) * | 2020-08-05 | 2020-11-06 | 深圳市浩瀚卓越科技有限公司 | 拍摄设备稳定器 |
Also Published As
Publication number | Publication date |
---|---|
CN114125267A (zh) | 2022-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107168674B (zh) | 投屏批注方法和系统 | |
CN106791485A (zh) | 视频的切换方法及装置 | |
CN110062172B (zh) | 在动态图像预览下定义静态高清图像拍摄区域的方法 | |
CN105744340A (zh) | 直播视频和演示文稿实时画面融合方法 | |
KR20110002344A (ko) | 영상표시장치 및 영상표시방법 | |
CN108391077A (zh) | 一种简易精品课程视频自动拍摄录制装置 | |
CN114125267B (zh) | 一种摄像头智能跟踪的方法和装置 | |
CN102074033B (zh) | 一种动画制作方法和装置 | |
US20040078805A1 (en) | System method and apparatus for capturing recording transmitting and displaying dynamic sessions | |
CN111179650A (zh) | 一种纸写板书和讲解自动文档化的讲台系统 | |
CN109257583A (zh) | 投影设备图像的无缝拼接方法及系统 | |
US10115030B2 (en) | Viewing aid with tracking system, and method of use | |
CN104735413B (zh) | 一种在线课堂中的画面切换方法及装置 | |
CN209710220U (zh) | 一种课程录制系统 | |
CN116778121A (zh) | 一种虚拟屏幕书写操控合成系统及方法 | |
CN105979329A (zh) | 一种电视主副窗口调整方法、装置、终端设备及电视 | |
KR100659341B1 (ko) | 프로젝션 tv의 태블릿 장치 및 방법 | |
KR102382021B1 (ko) | 화상강의시스템 | |
CN113965793B (zh) | 一种智能录制布局切换的方法和装置 | |
CN214707840U (zh) | 一种多视场图像获取系统 | |
CN110290360B (zh) | 用于全景视频影像的影像拼接方法及终端设备 | |
JP3070473U (ja) | 画像表示装置 | |
WO2018205055A1 (zh) | 一种图像处理方法和系统 | |
CN113721829A (zh) | 基于手势操作的全景课件平滑旋转操控的方法及系统 | |
JPH048415Y2 (zh) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |