CN108063909B - 视频会议系统、图像跟踪采集方法及装置 - Google Patents
视频会议系统、图像跟踪采集方法及装置 Download PDFInfo
- Publication number
- CN108063909B CN108063909B CN201610983601.8A CN201610983601A CN108063909B CN 108063909 B CN108063909 B CN 108063909B CN 201610983601 A CN201610983601 A CN 201610983601A CN 108063909 B CN108063909 B CN 108063909B
- Authority
- CN
- China
- Prior art keywords
- shot object
- image
- change information
- subject
- electronic equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请提供一种视频会议系统、图像跟踪采集方法及装置,该视频会议系统可以包括:控制设备、与控制设备相连的若干拾音设备、与控制设备相连的若干图像采集设备;控制设备获取被摄对象的初始状态,初始状态包括被摄对象的初始位置和初始姿态;控制设备根据被摄对象的初始状态和被摄对象携带的预设电子设备的空间姿态信息,确定出的被摄对象的位置变化信息、姿态变化信息,并据此控制图像采集设备对被摄对象进行图像跟踪采集;控制设备还通过拾音设备对被摄对象进行音频采集。通过本申请的技术方案,可以实现对被摄对象的自动跟踪图像采集,而无需对图像采集设备进行手动调整和控制,有助于简化用户操作、提升图像采集的操作效率。
Description
技术领域
本申请涉及图像采集技术领域,尤其涉及一种视频会议系统、图像跟踪采集方法及装置。
背景技术
随着网络通讯技术的不断发展,在多个部门之间的远程会议中,可以通过对各个部门的会议现场进行图像采集和传输,即可实现多个部门之间的视频会议,从而极大地提升会议效率。实际上,对于视频会议、表演直播、远程演讲等各种场景下,均可以通过类似于上述的图像采集和传输方式来实现。
以视频会议为例。当某一部门成员需要在会议现场进行讲话和演示时,可能存在较大幅度和范围的走动,而由于图像采集设备的拍摄角度和拍摄画面固定,导致该部门成员很可能移动至拍摄画面之外,造成远程参会人员无法正常查看该部门成员的演示动作,影响会议的正常进行,需要由专人反复控制和调整该图像采集设备的拍摄参数,操作过程十分繁琐、低效。
发明内容
有鉴于此,本申请提供一种视频会议系统、图像跟踪采集方法及装置,可以实现对被摄对象的自动跟踪图像采集,而无需对图像采集设备进行手动调整和控制,有助于简化用户操作、提升图像采集的操作效率。
为实现上述目的,本申请提供技术方案如下:
根据本申请的第一方面,提出了一种视频会议系统,包括:控制设备、与所述控制设备相连的若干拾音设备、与所述控制设备相连的若干图像采集设备;
所述控制设备获取被摄对象的初始状态,所述初始状态包括所述被摄对象的初始位置和初始姿态;所述控制设备根据所述被摄对象的初始状态和所述被摄对象携带的预设电子设备的空间姿态信息,确定出的所述被摄对象相对于所述初始位置的位置变化信息、相对于所述初始姿态的姿态变化信息,并根据所述位置变化信息和所述姿态变化信息控制所述图像采集设备对所述被摄对象进行图像跟踪采集;
所述控制设备在控制所述图像采集设备对所述被摄对象进行图像跟踪采集时,还通过所述拾音设备对被摄对象进行音频采集。
根据本申请的第二方面,提出了一种图像跟踪采集方法,包括:
确定被摄对象的初始状态,所述被摄对象携带有预设电子设备;
根据所述预设电子设备的空间姿态信息,确定所述被摄对象相对于所述初始状态的变化信息;
根据所述变化信息,控制图像采集设备对所述被摄对象进行图像跟踪采集。
根据本申请的第三方面,提出了一种图像跟踪采集装置,包括:
状态确定单元,确定被摄对象的初始状态,所述被摄对象携带有预设电子设备;
变化确定单元,根据所述预设电子设备的空间姿态信息,确定所述被摄对象相对于所述初始状态的变化信息;
采集控制单元,根据所述变化信息,控制图像采集设备对所述被摄对象进行图像跟踪采集。
由以上技术方案可见,本申请通过获取被摄对象的初始状态,以及被摄对象携带的预设电子设备的空间姿态信息,可以确定出该预设电子设备的变化信息,而由于被摄对象携带该预设电子设备,使得可以将该预设电子设备的变化信息作为该被摄对象的变化信息,从而控制图像采集设备对该被摄对象进行跟踪图像采集,无需人为控制和调整该图像采集设备的拍摄参数,有助于简化用户操作、提升图像采集的操作效率。
附图说明
图1是本申请一示例性实施例提供的一种视频会议系统的结构示意图。
图2是本申请一示例性实施例提供的一种图像跟踪采集方法的流程图。
图3是本申请一示例性实施例提供的另一种图像跟踪采集方法的流程图。
图4是本申请一示例性实施例提供的一种图像跟踪采集的场景示意图。
图5-7是本申请一示例性实施例提供的一种图像跟踪采集的示意图。
图8是本申请一示例性实施例提供的一种电子设备的结构示意图。
图9是本申请一示例性实施例提供的一种图像跟踪采集装置的框图。
具体实施方式
在相关技术中,提出了基于图像识别的处理原理,实现对被摄对象的图像跟踪采集方案。具体地,通过图像采集设备对被摄对象进行图像采集,并由该图像采集设备相关联的控制设备对采集到的图像进行识别和分析,以识别出图像中的被摄对象,以及该被摄对象的移动和动作情况,并据此控制图像采集设备的拍摄参数,从而实现对该被摄对象的图像跟踪采集。
然而,图像识别方案需要控制设备具有强大的图像处理性能,造成整个系统的搭建成本极高;同时,图像识别方案容易受到环境影响,以会议场景为例,当参会者无意间闯入图像采集设备的拍摄画面,尤其是途径原本的被摄对象身边时,很可能被误识别为被摄对象,导致拍摄画面对该闯入者进行跟踪拍摄,影响正常的会议直播进程。
因此,本申请通过对图像跟踪采集方案进行改进,以解决相关技术中的上述问题。为对本申请进行进一步说明,提供下列实施例:
图1是本申请一示例性实施例提供的一种视频会议系统的结构示意图。如图1所示,该系统可以包括:控制设备、与所述控制设备相连的若干拾音设备(比如图1所示的拾音设备1、拾音设备2等)、与所述控制设备相连的若干图像采集设备。
其中,控制设备可以包括任意具有控制功能的电子设备。举例而言,该控制设备可以为运行Android、iOS等运行系统的智能控制设备,比如相关技术中的智能机顶盒等,本申请并不对此进行限制。
拾音设备可以为专用的麦克风等拾音器件;或者,拾音设备可以包括被摄对象携带的移动设备上的麦克风等拾音组件,比如该移动设备可以包括移动通讯设备、可穿戴设备等至少之一,使得拾音组件可以被复用于本申请的视频会议系统中,以作为上述的拾音设备,实现对被摄对象的拾音操作。
图像采集设备可以为摄像头。控制设备可以连接一个或多个摄像头;当存在多个摄像头时,控制设备可以从多个摄像头中选取一个摄像头的采集图像进行会议播放,比如控制设备可以根据被摄对象的实时姿态,选取能够拍摄到该被摄对象的正面图像的摄像头采集到的图像,以应用于会议播放,并且当被摄对象的姿态发生变化时,控制设备可以实时切换至最合适的摄像头进行图像采集并应用于会议播放。
在一实施例中,控制设备、拾音设备和图像采集设备可以配置为分体式设备,并通过有线或无线方式进行连接,以使得可控制设备对拾音设备和图像采集设备进行控制。在另一实施例中,控制设备、拾音设备和图像采集设备可以被集成为一体式设备,尤其是在空间较小的会议室等场景下,可以在确保图像和音频具有较好的采集效果的同时,降低整体系统的复杂度、提升易用性。
在本实施例中,控制设备被可以获取被摄对象的初始状态,该初始状态可以包括被摄对象的初始位置和初始姿态;然后,控制设备可以根据被摄对象的初始状态和该被摄对象携带的预设电子设备的空间姿态信息,确定出该被摄对象相对于所述初始状态的变化信息,该变化信息可以包括相对于初始位置的位置变化信息、相对于初始姿态的姿态变化信息,并根据该变化信息控制图像采集设备对被摄对象进行图像跟踪采集。其中,预设电子设备可以内置有陀螺仪、重力加速度传感器等姿态检测设备,以用于检测出该预设电子设备自身的空间姿态信息;例如,该预设电子设备可以为智能手机、可穿戴设备等。在一示例性实施例中,被摄对象携带的智能手机可以同时被应用于上述的预设电子设备和拾音设备,以简化系统结构。
在本实施例中,当拾音设备与被摄对象相互分离时,例如拾音设备可以包括位于控制设备附近的麦克风,则控制设备还可以根据麦克风采集到的该被摄对象发出的音频信号,辅助确定该被摄对象相对于初始状态的变化信息。例如,控制设备可以根据麦克风采集到的音频信号,识别出声源方向和声音大小,其中声源方向与该被摄对象和麦克风之间的相对位置关系相关(例如当声源方向为麦克风的左前方时,表明被摄对象可能位于麦克风的左前方),而声音大小与被摄对象的姿态(例如被摄对象采用相同音量的情况下,被摄对象朝向麦克风时该麦克风采集到的声音大、被摄对象背对麦克风时该麦克风采集到的声音小)、距离(例如被摄对象采用相同姿态的情况下,被摄对象与麦克风之间的间隔距离越大时,麦克风采集到的声音越小,而间隔距离越小则采集到的声音越大)等相关。因此,控制设备可以根据拾音设备采集到的音频信号,对通过其他方式确定出的被摄对象相对于初始状态的变化信息进行验证,例如当音频信号的特征信息与控制设备确定出的变化信息相匹配时,可以据此对被摄对象进行图像跟踪采集。
而通过获取被摄对象携带的预设电子设备的空间姿态信息,并且据此实现对被摄对象的图像跟踪采集,一方面无需对被摄对象进行图像识别,极大地降低了对控制设备的处理性能需求,从而降低了对视频会议系统的搭建成本,另一方面即便无关人员闯入拍摄画面,由于其不会对被摄对象携带的预设电子设备造成影响,因而不会由此导致误识别,有助于提升视频会议系统的稳定性和可靠性。
图2是本申请一示例性实施例提供的一种图像跟踪采集方法的流程图。如图2所示,该方法可以应用于上述的视频会议系统中的控制设备,该方法可以包括以下步骤:
步骤202,确定被摄对象的初始状态,所述被摄对象携带有预设电子设备。
在本实施例中,当检测到预定义的用户启动操作时,可以将所述图像采集设备调整至默认姿态,比如使得图像采集设备的镜头转动至预定义的“原点”位置;其中,所述初始状态可以包括所述被摄对象的初始位置和初始姿态;所述初始位置被预定义为所述被摄对象位于所述图像采集设备的镜头正前方的默认距离处,所述初始姿态被定义为所述被摄对象正向面对所述图像采集设备的镜头。
其中,可以通过获取预设电子设备的空间姿态信息,并当该空间姿态信息表明所述预设电子设备形成预设空间运动轨迹时,比如该预设空间运动轨迹可以为“8”型、“∞”型或其他任意预设形态,并据此确定检测到所述用户启动操作。当然,还可以通过其他方式执行用户启动操作,本申请并不对此进行限制;比如可以控制图像采集设备进行图像采集,当采集到任一用户执行了预设操作动作时,比如通过手臂在空中连续划出两个圆形等,可以确定为识别到用户启动操作;或者,可以通过遥控器发出“开启”指令,也可以确定为检测到用户启动操作。
在一实施例中,在检测到用户启动操作后,可以默认为被摄对象已经处于初始状态;在另一实施例中,可以获取所述预设电子设备的预设无线信号的接收信号强度指示(Received Signal Strength Indication,RSSI),根据该接收信号强度指示,确定与所述预设电子设备之间的间隔距离,并当该间隔距离匹配于上述的默认距离时,判定被摄对象到达初始位置处并处于初始姿态,以确保后续的图像跟踪采集更精准。
在本实施例中,预设电子设备可以包括:智能项链、智能手环、智能戒指等可穿戴设备;或者,该预设电子设备还可以包括:智能手机、智能平板等智能通讯设备;当然,本申请并不对此进行限制。
步骤204,根据所述预设电子设备的空间姿态信息,确定所述被摄对象相对于所述初始状态的变化信息。
在本实施例中,可以与预设电子设备建立无线连接;然后,通过所述无线连接接收到所述预设电子设备发送的所述空间姿态信息;其中,所述空间姿态信息由所述预设电子设备通过内置的姿态检测组件进行检测得到。例如,预设电子设备中可以内置有陀螺仪、重力加速度传感器等姿态检测组件,用于检测该预设电子设备的空间姿态信息。其中,上述的无线连接可以基于各种类型的无线协议而实现,例如该无线连接可以包括蓝牙连接、WIFI连接、 ZigBee连接等,本申请并不对此进行限制。
步骤206,根据所述变化信息,控制图像采集设备对所述被摄对象进行图像跟踪采集。
在本实施例中,可以根据所述变化信息,调整所述图像采集设备的拍摄参数,使所述被摄对象在拍摄画面中的显示参数符合预定义的参数数值范围。例如,显示参数可以包括被摄对象在拍摄画面中的显示位置,而参数数值范围可以包括该拍摄画面的中间区域或其他预设区域对应的坐标值(例如以拍摄画面的左上角为原点、边沿为轴线建立坐标系,从而确定出该坐标值);显示参数还可以包括被摄对象在拍摄画面中的显示比例,而参数数值范围可以包括该拍摄画面的1/5或其他预设比例。
在一实施例中,当变化信息包括水平方向的移动信息时,可以控制所述图像采集设备的镜头绕垂直轴线进行同步转动;例如,当被摄对象水平向左移动时,可以控制图像采集设备的镜头绕垂直轴线向左转动,而当被摄对象水平向右移动时,可以控制图像采集设备的镜头绕垂直轴线向右转动。
在另一实施例中,当变化信息包括垂直方向的移动信息时,可以控制所述图像采集设备的镜头绕水平轴线进行同步转动;例如,当被摄对象垂直向下移动(比如下台阶)时,可以控制图像采集设备的镜头绕水平轴线向下转动,而当被摄对象垂直向上移动(比如上台阶)时,可以控制图像采集设备的镜头绕水平轴线向上转动。
在又一实施例中,当变化信息包括与所述图像采集设备的镜头之间的间隔距离变化信息时,控制所述图像采集设备的镜头进行同步画面缩放处理;例如,当被摄对象朝向镜头方向移动时,间隔距离变小,可以控制图像采集设备的镜头进行画面缩小处理,而当被摄对象远离镜头方向移动时,间隔距离变大,可以控制图像采集设备的镜头进行画面放大处理。
当然,被摄对象在发生位置变化时,可能同时涉及到上述水平方向(或称左右方向)、垂直方向(或称上下方向)、镜头方向(或称前后方向)上的变化,则可以同时按照上述方案进行拍摄参数的控制调整,以适应于被摄对象的相对位置变化情况。
在本实施例中,当多个图像采集设备分别从不同方向朝向被摄对象时,可以根据所述变化信息,选取可对所述被摄对象进行正面拍摄的图像采集设备,并通过被选中的图像采集设备对所述被摄对象进行图像跟踪采集,以确保被摄对象发生任何位置变化(比如转身、侧身等)时,均可以实现对该被摄对象的正面拍摄,避免影响被摄对象的远程演示。
在本实施例中,还可以获取所述预设电子设备的预设无线信号的接收信号强度指示,并根据所述接收信号强度指示,确定与所述预设电子设备之间的间隔距离;然后,根据所述变化信息和所述间隔距离,对所述被摄对象进行图像跟踪采集。在该实施例中,可以根据RSSI对应的间隔距离,对变化信息进行数据校准和验证,以确保图像跟踪采集操作符合于被摄对象的实际情况。例如,当变化信息与RSSI对应的间隔距离相匹配时,可以基于该变化信息进行图像跟踪采集,而当变化信息与RSSI对应的间隔距离不匹配时,可以提示被摄对象返回初始状态,从而通过对该初始状态的再次确认,以实现对该被摄对象的位置校准。
在本实施例中,可以将跟踪采集到的图像应用于对所述被摄对象的视频直播。当然,还可以对跟踪采集到的图像进行存储等其他任意操作,本申请并不对此进行限制。
由以上技术方案可见,本申请通过获取被摄对象的初始状态,以及被摄对象携带的预设电子设备的空间姿态信息,可以确定出该预设电子设备的变化信息,而由于被摄对象携带该预设电子设备,使得可以将该预设电子设备的变化信息作为该被摄对象的变化信息,从而控制图像采集设备对该被摄对象进行跟踪图像采集,无需人为控制和调整该图像采集设备的拍摄参数,有助于简化用户操作、提升图像采集的操作效率。同时,通过获取被摄对象携带的预设电子设备的空间姿态信息,无需对采集到的图像进行图像识别,即可确定出被摄对象的变化信息;同时,由于预设电子设备被携带于被摄对象处,因而即便其他用户闯入拍摄画面中,只要其不会影响该预设电子设备的姿态和位置,就不会导致对被摄对象的误识别和位置误判,有助于提升图像跟踪采集的可靠性和准确性。
下面以视频会议为例,对本申请的视频会议系统及其图像跟踪采集方案进行详细说明;当然,本申请的技术方案还能够应用于诸如表演直播、远程演讲等其他场景,本申请并不对此进行限制。图3是本申请一示例性实施例提供的另一种图像跟踪采集方法的流程图。如图3所示,该方法可以应用于视频会议系统的控制设备,该方法可以包括以下步骤:
步骤302,与被摄对象的预设电子设备之间建立连接。
在本实施例中,以图4所示的视频会议系统为例,对本申请的技术方案进行描述。如图4所示,假定该视频会议系统包括:作为控制设备的钉盒,以及与该钉盒建立连接的摄像头1、摄像头2和摄像头3;其中,钉盒可以为一智能机顶盒或其他控制设备,该钉盒可以与摄像头1、摄像头2、摄像头3 建立任意的有线或无线连接,以使得该钉盒可以对每一摄像头进行控制。在图4所示的实施例中,假定摄像头1位于被摄对象的正前方且被应用为主摄像头,而摄像头2、摄像头3分别位于被摄对象的两侧且被应用为副摄像头。
被摄对象随身携带一智能手机;当然,被摄对象还可以随身携带一智能手环、智能眼镜等可穿戴设备,或者其他类型的预设电子设备,只要该预设电子设备内置有诸如陀螺仪、重力加速度传感器等姿态检测组件即可,以便于对该预设电子设备自身的空间姿态信息进行检测。而由于该预设电子设备被携带于该被摄对象身上,因而可以将该预设电子设备的空间姿态信息作为该被摄对象的空间姿态信息,从而据此实现对该被摄对象的图像跟踪采集。
在本实施例中,钉盒可以与智能手机之间通过如USB连接线建立有线连接;或者,钉盒还可以与该智能手机之间建立无线连接。当建立无线连接时,在一实施例中,钉盒可以与该智能手机之间建立近场无线连接,比如采用蓝牙连接、WIFI连接或ZigBee连接等方式;在另一实施例中,钉盒和智能手机上可以分别安装有同一通讯应用的客户端,比如该通讯应用可以为即时通讯应用,例如企业即时通讯(Enterprise Instant Messaging,EIM)应用“钉钉(DING Talk)”等,使得当该钉盒与该智能手机分别连接至互联网时,可以基于该通讯应用的服务端进行数据交互,以使得智能手机将检测到的空间姿态信息传输至该钉盒中。
步骤304,当预设电子设备形成预设空间运动轨迹时,转入步骤306,否则等待。
在本实施例中,假定预先设置为当预设电子设备形成预设空间运动轨迹时,确定检测到用户启动操作,那么在钉盒与智能手机之间建立连接后,钉盒即可向智能手机发出询问指令,以使该智能手机检测自身的空间姿态信息,并将该空间姿态信息传输至钉盒,则钉盒可以根据接收到的该智能手机的空间姿态信息,确定智能手机是否形成上述的预设空间运动轨迹。
其中,该预设空间运动轨迹最好能够采用区别于用户的日常行为操作,以避免发生误识别,譬如该预设空间运动轨迹可以为“∞”或其他任意形式等,本申请并不对此进行限制。
步骤306,将摄像头调整至默认姿态。
在本实施例中,当检测到智能手机形成预设空间运动轨迹时,钉盒可以控制各个摄像头调整至默认姿态。例如该摄像头1的默认姿态可以为朝向正前方,摄像头2的默认姿态可以为朝向右下角、摄像头3的默认姿态可以为朝向左下角。
实际上,通过预先对摄像头1、摄像头2和摄像头3的安装,可以使得这些摄像头均默认朝向一预定义位置,即预定义的该被摄对象应当所处的初始位置;那么,当检测到上述的用户启动操作时,可以默认为被摄对象已经处于该初始位置并调整至初始姿态,使得摄像头1、摄像头2和摄像头3等均可以将镜头朝向该被摄对象并启动摄像,从而有助于简化对各个摄像头的初始姿态调整和对被摄对象的初始状态的确定过程。
步骤308,确定被摄对象的初始状态。
在一实施例中,当检测到用户启动操作后,可以默认为被摄对象已经处于预定义的初始状态,包括位于预定义的初始位置和预定义的初始姿态,那么摄像头1可以直接启动拍摄即可。那么,对于被摄对象而言,需要事先行走至该预定义的初始位置并调整至预设姿态后,再执行上述的用户启动操作,以避免钉盒对被摄对象的实际位置产生误判断,防止图像跟踪采集操作出现较大偏差。举例而言,初始位置可以为被摄对象位于摄像头1的镜头正前方的默认距离处,而初始姿态可以为被摄对象正向面对摄像头1的镜头。
在另一实施例中,当检测到用户启动操作后,可以结合检测与该被摄对象之间的间隔距离,对该被摄对象的实际到位情况进行确定。举例而言,假定摄像头1与钉盒位于同一位置、被摄对象与智能手机处于同一位置,钉盒可以对该智能手机的预设无线信号的RSSI值进行测量,比如当钉盒与智能手机之间采用蓝牙连接时,在检测到上述的用户启动操作后,钉盒可以对该智能手机的蓝牙信号的RSSI值进行检测,从而据此确定出钉盒与智能手机之间的间隔距离,以作为摄像头1与被摄对象之间的间隔距离。那么,假定预定义的初始位置为摄像头1正前方5m处时,当检测到的RSSI值对应的间隔距离为5m时,可以确定为该被摄对象已经到达该初始位置并调整至初始姿态,而当该RSSI值对应的间隔距离大于或小于5m时,均可以判定为被摄对象尚未到达该初始位置,那么钉盒可以持续对智能手机的RSSI值进行测量,直至对应的间隔距离变化为5m,才启动摄像头1对该被摄对象的图像采集操作。那么,对于被摄对象而言,可以在任一位置执行用户启动操作后,首先行走至该预定义的初始位置并调整至初始姿态,以确保摄像头1启动图像采集操作,然后开始后续的会议进程。
步骤310,对摄像头采集到的图像数据进行实时图像传输。
在本实施例中,钉盒可以将采集到的图像数据上传至钉钉服务端,并由钉钉服务端传输至远程的其他钉盒等,以实现多地点之间的远程视频会议。
需要指出的是:
除了图像数据之外,钉盒还可以对被摄对象进行音频采集。在一实施例中,钉盒可以连接有专用的麦克风等音频采集设备,比如放置于被摄对象附近的有线麦克风、由被摄对象手持或佩戴的无线麦克风等。在另一实施例中,当被摄对象携带有智能手机时,还可以将该智能手机内置的麦克风组件作为对该被摄对象的拾音设备,那么该智能手机还可以将采集到的音频数据传输至钉盒,并由钉盒将该音频数据与摄像头1采集到的图像数据进行统一传输。
步骤312,确定预设电子设备的所处状态的变化信息。
在本实施例中,假定被摄对象处于初始状态时,该被摄对象的初始位置位于摄像头1的正前方、初始姿态为正向面对摄像头1的镜头处(即被摄对象正对着摄像头1的镜头),那么当被摄对象在此基础上发生姿态变化时,将造成智能手机跟随该被摄对象进行同步运动,那么钉盒可以根据该智能手机的空间姿态信息和该被摄对象的初始状态,结合确定出该空间姿态信息相对于该初始状态的变化信息。
在本实施例中,钉盒可以根据所述变化信息,调整摄像头的拍摄参数,使被摄对象在拍摄画面中的显示参数符合预定义的参数数值范围。例如,该显示参数可以包括被摄对象在拍摄画面中的显示区域,比如该显示区域可以为该拍摄画面的中间区域,则摄像头的拍摄参数可以包括转动角度,即钉盒可以通过控制调整该摄像头的转动角度,使得被摄对象总是位于拍摄画面的中间区域,便于其他用户查看;该显示参数也可以包括被摄对象在拍摄画面中的显示比例,则摄像头的拍摄参数可以包括缩放比例,即钉盒可以根据被摄对象的所处状态的变化情况控制该摄像头的缩放比例,以使得被摄对象的显示比例始终维持为预设比例。
步骤314A,在图像跟踪采集过程中,沿预设轴线转动摄像头或对摄像头进行调焦(即调整焦距)。
在一实施例中,如图5所示,变化信息可以包括被摄对象沿水平方向(即摄像头1的拍摄画面的左右方向)的x轴的位置变化,那么钉盒可以据此控制摄像头1沿水平方向调整自身的镜头拍摄角度。例如,假定被摄对象的初始位置位于O点处,当该被摄对象由O点移动至A点时,钉盒可以控制摄像头1向左移动角度α,以及当该被摄对象由O点移动至B点时,钉盒可以控制摄像头1向右移动角度β,使得摄像头1的镜头随时朝向被摄对象。
在另一实施例中,如图6所示,变化信息可以包括被摄对象沿垂直方向 (即摄像头1的拍摄画面的上下方向)的y轴的位置变化,那么钉盒可以据此控制摄像头沿垂直方向调整自身的镜头拍摄角度。例如,假定被摄对象的初始位置位于O点处,当该被摄对象由O点移动至C点时,钉盒可以控制摄像头1向上移动角度γ,以及当该被摄对象由O点移动至D点时,钉盒可以控制摄像头1向下移动角度Θ,使得摄像头1的镜头随时朝向被摄对象。
在又一实施例中,如图7所示,变化信息可以包括被摄对象沿摄像头1 的镜头拍摄方向(即摄像头1的拍摄画面的前后方向)的z轴的位置变化,那么钉盒可以据此控制摄像头1进行画面缩放处理。例如,假定被摄对象的初始位置位于O点处,当该被摄对象由O点移动至E点时,钉盒可以控制摄像头1通过光学或数码方式缩短焦距、缩小被摄对象在拍摄画面中的显示比例,以避免被摄对象对其他拍摄内容造成遮挡,以及当该被摄对象由O点移动至F点时,钉盒可以控制摄像头1通过光学或数码方式加长焦距、放大被摄对象在拍摄画面中的显示比例,以便于对被摄对象的观看。
需要指出的是:当被摄对象的所处状态发生变化时,比如当发生图5-7 所示的情况时,往往伴随着被摄对象与摄像头1之间的间隔距离变化,那么钉盒还可以结合检测到的RSSI值,确定钉盒与智能手机之间的间隔距离的变化情况;其中,当间隔距离的变化情况与被摄对象的所处状态的变化信息相匹配时,例如当变化信息为被摄对象沿z轴朝向摄像头1处移动时,若间隔距离相应缩小,则确定间隔距离与变化信息相匹配,若间隔距离反而增大,则表明间隔距离与变化信息不匹配。那么,可以仅当间隔距离与变化信息相匹配时,钉盒根据该变化信息控制摄像头1对被摄对象进行图像跟踪采集。而当间隔距离与变化信息不匹配时,钉盒可以暂停控制摄像头1对被摄对象进行图像跟踪采集;例如,钉盒可以向智能手机发出警告信息,以提醒被摄对象重返初始状态,使得钉盒可以对该被摄对象的初始位置和初始姿态进行重新确定(相当于返回步骤308),亦即对钉盒的图像跟踪采集功能进行校准处理。
步骤314B,在图像跟踪采集过程中,切换摄像头。
在本实施例中,每个摄像头的图像采集范围有限。如图4所示,摄像头 1仅能够采集正向面对的一定角度范围内的图像;而当被摄对象发生姿态变化时,比如被摄对象由朝向摄像头1的初始姿态,变化为背对该摄像头1时,摄像头1将无法拍摄到被摄对象的正面情况,可能漏拍被摄对象的诸如面部表情、手部动作等。那么,可以根据被摄对象的所处状态的变化情况,由钉盒控制切换至其他摄像头来执行拍摄操作。
在本实施例中,可以通过智能手机内置的陀螺仪,确定被摄对象的转动情况。例如图4所示,若检测
到被摄对象沿顺时针转动,即被摄对象转向朝向图4所示的左侧或者左上角,钉盒可以根据各个摄像头的安装位置,以及各个摄像头与被摄对象之间的相对位置关系,将执行图像采集操作的摄像头由摄像头1切换至摄像头2,以便于对被摄对象的正面进行拍摄;而若检测到被摄对象沿逆时针转动,即被摄对象转向朝向图4所示的右侧或者右上角,钉盒可以将执行图像采集操作的摄像头由摄像头1切换至摄像头3,以便于对被摄对象的正面进行拍摄。
综上所述,本申请通过对被摄对象的智能手机、可穿戴设备等内置的姿态检测组件进行复用,使其被应用于钉盒对摄像头的拍摄控制,从而无需对拍摄的图像信息进行复杂的图像识别等处理,即可实现对被摄对象的图像跟踪采集,无需专人对摄像头等图像采集设备进行调整和控制,极大地简化了系统结构和操作过程。
图8示出了根据本申请的一示例性实施例的电子设备的示意结构图。请参考图8,在硬件层面,该电子设备包括处理器802、内部总线804、网络接口806、内存808以及非易失性存储器810,当然还可能包括其他业务所需要的硬件。处理器802从非易失性存储器810中读取对应的计算机程序到内存 802中然后运行,在逻辑层面上形成图像跟踪采集装置。当然,除了软件实现方式之外,本申请并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
请参考图9,在软件实施方式中,该图像跟踪采集装置可以包括状态确定单元91、变化确定单元92和采集控制单元93。其中:
状态确定单元91,确定被摄对象的初始状态,所述被摄对象携带有预设电子设备;
变化确定单元92,根据所述预设电子设备的空间姿态信息,确定所述被摄对象相对于所述初始状态的变化信息;
采集控制单元93,根据所述变化信息,控制图像采集设备对所述被摄对象进行图像跟踪采集。
可选的,所述状态确定单元91具体用于:
当检测到预定义的用户启动操作时,将所述图像采集设备调整至默认姿态;
其中,所述初始状态包括所述被摄对象的初始位置和初始姿态;所述初始位置被预定义为所述被摄对象位于所述图像采集设备的镜头正前方的默认距离处,所述初始姿态被定义为所述被摄对象正向面对所述图像采集设备的镜头。
可选的,所述状态确定单元91通过下述方式检测所述用户启动操作:
获取所述预设电子设备的空间姿态信息,并当所述空间姿态信息表明所述预设电子设备形成预设空间运动轨迹时,确定检测到所述用户启动操作。
可选的,所述状态确定单元91具体还用于:
获取所述预设电子设备的预设无线信号的接收信号强度指示;
根据所述接收信号强度指示,确定与所述预设电子设备之间的间隔距离;
当所述间隔距离匹配于所述默认距离时,判定所述被摄对象处于所述初始状态。
可选的,所述变化确定单元92通过下述方式获取所述预设电子设备的空间姿态信息:
与所述预设电子设备建立无线连接;
通过所述无线连接接收到所述预设电子设备发送的所述空间姿态信息;其中,所述空间姿态信息由所述预设电子设备通过内置的姿态检测组件进行检测得到。
可选的,所述采集控制单元93具体用于:
根据所述变化信息,调整所述图像采集设备的拍摄参数,使所述被摄对象在拍摄画面中的显示参数符合预定义的参数数值范围。
可选的,所述采集控制单元93具体用于:
当所述变化信息包括水平方向的移动信息时,控制所述图像采集设备的镜头绕垂直轴线进行同步转动;
当所述变化信息包括垂直方向的移动信息时,控制所述图像采集设备的镜头绕水平轴线进行同步转动;
当所述变化信息包括与所述图像采集设备的镜头之间的间隔距离变化信息时,控制所述图像采集设备的镜头进行同步画面缩放处理。
可选的,所述采集控制单元93具体用于:
根据所述变化信息,选取可对所述被摄对象进行正面拍摄的图像采集设备;
通过被选中的图像采集设备对所述被摄对象进行图像跟踪采集。
可选的,所述采集控制单元93具体用于:
获取所述预设电子设备的预设无线信号的接收信号强度指示;
根据所述接收信号强度指示,确定与所述预设电子设备之间的间隔距离;
当所述变化信息与所述间隔距离相匹配时,根据所述变化信息对所述被摄对象进行图像跟踪采集。
可选的,还包括:
图像应用单元94,将跟踪采集到的图像应用于对所述被摄对象的视频直播。
可选的,所述预设电子设备包括:可穿戴设备或智能通讯设备。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/ 输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器 (RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存 (PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器 (CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。
Claims (16)
1.一种视频会议系统,其特征在于,包括:控制设备、与所述控制设备相连的若干拾音设备、与所述控制设备相连的若干图像采集设备;
所述控制设备获取被摄对象的初始状态,所述初始状态包括所述被摄对象的初始位置和初始姿态;所述控制设备根据所述被摄对象的初始状态和所述被摄对象携带的预设电子设备的空间姿态信息,确定出的所述被摄对象相对于所述初始位置的位置变化信息、相对于所述初始姿态的姿态变化信息,并根据所述位置变化信息和所述姿态变化信息控制所述图像采集设备对所述被摄对象进行图像跟踪采集,包括:根据所述变化信息,调整所述图像采集设备的拍摄参数,使所述被摄对象在拍摄画面中的显示参数符合预定义的参数数值范围;其中,所述空间姿态信息由所述预设电子设备通过内置的姿态检测组件进行检测得到;
所述控制设备在控制所述图像采集设备对所述被摄对象进行图像跟踪采集时,还通过所述拾音设备对被摄对象进行音频采集。
2.一种图像跟踪采集方法,其特征在于,包括:
确定被摄对象的初始状态,所述被摄对象携带有预设电子设备;
根据所述预设电子设备的空间姿态信息,确定所述被摄对象相对于所述初始状态的变化信息;
根据所述变化信息,控制图像采集设备对所述被摄对象进行图像跟踪采集,包括:根据所述变化信息,调整所述图像采集设备的拍摄参数,使所述被摄对象在拍摄画面中的显示参数符合预定义的参数数值范围;其中,所述空间姿态信息由所述预设电子设备通过内置的姿态检测组件进行检测得到。
3.根据权利要求2所述的方法,其特征在于,所述确定被摄对象的初始状态,包括:
当检测到预定义的用户启动操作时,将所述图像采集设备调整至默认姿态;
其中,所述初始状态包括所述被摄对象的初始位置和初始姿态;所述初始位置被预定义为所述被摄对象位于所述图像采集设备的镜头正前方的默认距离处,所述初始姿态被定义为所述被摄对象正向面对所述图像采集设备的镜头。
4.根据权利要求3所述的方法,其特征在于,通过下述方式检测所述用户启动操作:
获取所述预设电子设备的空间姿态信息,并当所述空间姿态信息表明所述预设电子设备形成预设空间运动轨迹时,确定检测到所述用户启动操作。
5.根据权利要求3所述的方法,其特征在于,所述确定被摄对象的初始状态,还包括:
获取所述预设电子设备的预设无线信号的接收信号强度指示;
根据所述接收信号强度指示,确定与所述预设电子设备之间的间隔距离;
当所述间隔距离匹配于所述默认距离时,判定所述被摄对象处于所述初始状态。
6.根据权利要求2所述的方法,其特征在于,通过下述方式获取所述预设电子设备的空间姿态信息:
与所述预设电子设备建立无线连接;
通过所述无线连接接收到所述预设电子设备发送的所述空间姿态信息。
7.根据权利要求2所述的方法,其特征在于,所述根据所述变化信息,控制图像采集设备对所述被摄对象进行图像跟踪采集,包括:
当所述变化信息包括水平方向的移动信息时,控制所述图像采集设备的镜头绕垂直轴线进行同步转动;
当所述变化信息包括垂直方向的移动信息时,控制所述图像采集设备的镜头绕水平轴线进行同步转动;
当所述变化信息包括与所述图像采集设备的镜头之间的间隔距离变化信息时,控制所述图像采集设备的镜头进行同步画面缩放处理。
8.根据权利要求2所述的方法,其特征在于,所述根据所述变化信息,控制图像采集设备对所述被摄对象进行图像跟踪采集,包括:
根据所述变化信息,选取可对所述被摄对象进行正面拍摄的图像采集设备;
通过被选中的图像采集设备对所述被摄对象进行图像跟踪采集。
9.根据权利要求2所述的方法,其特征在于,所述根据所述变化信息,控制图像采集设备对所述被摄对象进行图像跟踪采集,包括:
获取所述预设电子设备的预设无线信号的接收信号强度指示;
根据所述接收信号强度指示,确定与所述预设电子设备之间的间隔距离;
当所述变化信息与所述间隔距离相匹配时,根据所述变化信息对所述被摄对象进行图像跟踪采集。
10.根据权利要求2所述的方法,其特征在于,还包括:
将跟踪采集到的图像应用于对所述被摄对象的视频直播。
11.根据权利要求2所述的方法,其特征在于,所述预设电子设备包括:可穿戴设备或智能通讯设备。
12.一种图像跟踪采集装置,其特征在于,包括:
状态确定单元,确定被摄对象的初始状态,所述被摄对象携带有预设电子设备;
变化确定单元,根据所述预设电子设备的空间姿态信息,确定所述被摄对象相对于所述初始状态的变化信息;其中,所述空间姿态信息由所述预设电子设备通过内置的姿态检测组件进行检测得到;
采集控制单元,根据所述变化信息,控制图像采集设备对所述被摄对象进行图像跟踪采集,包括:根据所述变化信息,调整所述图像采集设备的拍摄参数,使所述被摄对象在拍摄画面中的显示参数符合预定义的参数数值范围。
13.根据权利要求12所述的装置,其特征在于,所述状态确定单元具体用于:
当检测到预定义的用户启动操作时,将所述图像采集设备调整至默认姿态;
其中,所述初始状态包括所述被摄对象的初始位置和初始姿态;所述初始位置被预定义为所述被摄对象位于所述图像采集设备的镜头正前方的默认距离处,所述初始姿态被定义为所述被摄对象正向面对所述图像采集设备的镜头。
14.根据权利要求12所述的装置,其特征在于,所述采集控制单元具体用于:
根据所述变化信息,选取可对所述被摄对象进行正面拍摄的图像采集设备;
通过被选中的图像采集设备对所述被摄对象进行图像跟踪采集。
15.一种电子设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器通过运行所述可执行指令以实现如权利要求2-11中任一项所述的方法。
16.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,该指令被处理器执行时实现如权利要求2-11中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610983601.8A CN108063909B (zh) | 2016-11-08 | 2016-11-08 | 视频会议系统、图像跟踪采集方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610983601.8A CN108063909B (zh) | 2016-11-08 | 2016-11-08 | 视频会议系统、图像跟踪采集方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108063909A CN108063909A (zh) | 2018-05-22 |
CN108063909B true CN108063909B (zh) | 2021-02-09 |
Family
ID=62137734
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610983601.8A Active CN108063909B (zh) | 2016-11-08 | 2016-11-08 | 视频会议系统、图像跟踪采集方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108063909B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108921093B (zh) * | 2018-07-02 | 2020-01-07 | 北京百度网讯科技有限公司 | 会议互动服务方法和装置 |
CN109803109B (zh) * | 2018-12-17 | 2020-07-31 | 中国科学院深圳先进技术研究院 | 一种可穿戴增强现实远程视频系统及视频通话方法 |
CN109862273A (zh) * | 2019-02-28 | 2019-06-07 | 四川爱联科技有限公司 | 基于摄像头阵列的拍摄物体位置自动感应系统及方法 |
CN111932589A (zh) * | 2020-08-11 | 2020-11-13 | 沈阳帝信人工智能产业研究院有限公司 | 数据处理方法、系统及设备 |
EP4214921A1 (en) * | 2020-09-18 | 2023-07-26 | Braglia, Renzo | Two-way audio and video communication system with interactive direction |
CN112235510A (zh) * | 2020-10-15 | 2021-01-15 | 维沃移动通信有限公司 | 拍摄方法、装置、电子设备和介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100437145C (zh) * | 2005-12-19 | 2008-11-26 | 北京威亚视讯科技有限公司 | 位置姿态跟踪系统 |
JP4668220B2 (ja) * | 2007-02-20 | 2011-04-13 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
CN101072332A (zh) * | 2007-06-04 | 2007-11-14 | 深圳市融合视讯科技有限公司 | 一种自动跟踪活动目标进行拍摄的方法 |
NO332204B1 (no) * | 2009-12-16 | 2012-07-30 | Cisco Systems Int Sarl | Fremgangsmate og anordning for automatisk kamerastyring i et videokonferanseendepunkt |
US20150146078A1 (en) * | 2013-11-27 | 2015-05-28 | Cisco Technology, Inc. | Shift camera focus based on speaker position |
CN105674989B (zh) * | 2016-01-27 | 2018-07-24 | 西北大学 | 一种基于手机内置传感器的室内目标运动轨迹估计方法 |
CN106037749A (zh) * | 2016-05-18 | 2016-10-26 | 武汉大学 | 一种基于智能手机和可穿戴式设备的老年人跌倒监测方法 |
-
2016
- 2016-11-08 CN CN201610983601.8A patent/CN108063909B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN108063909A (zh) | 2018-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108063909B (zh) | 视频会议系统、图像跟踪采集方法及装置 | |
JP7077376B2 (ja) | 撮像装置およびその制御方法 | |
CN106598071B (zh) | 跟随式的飞行控制方法及装置、无人机 | |
JP6388706B2 (ja) | 無人航空機の撮影制御方法及び撮影制御装置、電子デバイス | |
US20170195561A1 (en) | Automated processing of panoramic video content using machine learning techniques | |
CN106131413B (zh) | 一种拍摄设备的控制方法及拍摄设备 | |
EP2757771B1 (en) | Image pickup apparatus, remote control apparatus, and methods of controlling image pickup apparatus and remote control apparatus | |
CN108537726B (zh) | 一种跟踪拍摄的方法、设备和无人机 | |
KR101530255B1 (ko) | 객체 자동 추적 장치가 구비된 cctv 시스템 | |
CN108965656B (zh) | 显示控制设备、显示控制方法和存储介质 | |
CN105915784A (zh) | 信息处理方法和装置 | |
US9866766B2 (en) | Method for obtaining a picture and multi-camera system | |
US9743048B2 (en) | Imaging apparatus, camera unit, display unit, image-taking method, display method and computer readable recording medium recording program thereon | |
EP3171293A1 (en) | Method and device for controlling intelligent equipment | |
WO2015154359A1 (zh) | 拍摄的实现方法及装置 | |
WO2018210305A1 (zh) | 图像的识别跟踪方法、装置、智能终端和可读存储介质 | |
WO2016100131A1 (en) | Automatic camera adjustment to follow a target | |
JP2020022052A (ja) | 情報処理装置及びその制御方法 | |
US20240114229A1 (en) | Electronic device with automatic eye gaze tracking and camera adjustment | |
US10679062B1 (en) | Systems and methods for device positioning surface detection | |
CN113010009A (zh) | 对象共享方法及装置 | |
US20230298197A1 (en) | Electronic device with gaze-based autofocus of camera during video rendition of scene | |
US11758260B1 (en) | Electronic device with automatic camera selection based on eye gaze direction | |
US11245830B2 (en) | Image capture apparatus and control method for same, and storage medium | |
US9860480B2 (en) | Method for processing information and electronic device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1255816 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |