CN113783993A - 舞台灯光控制方法、装置及舞台灯光系统 - Google Patents

舞台灯光控制方法、装置及舞台灯光系统 Download PDF

Info

Publication number
CN113783993A
CN113783993A CN202111064590.0A CN202111064590A CN113783993A CN 113783993 A CN113783993 A CN 113783993A CN 202111064590 A CN202111064590 A CN 202111064590A CN 113783993 A CN113783993 A CN 113783993A
Authority
CN
China
Prior art keywords
mobile device
stage
mobile
light
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111064590.0A
Other languages
English (en)
Other versions
CN113783993B (zh
Inventor
范广祥
谢华为
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aimyunion Technology Ltd
Original Assignee
Aimyunion Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aimyunion Technology Ltd filed Critical Aimyunion Technology Ltd
Priority to CN202111064590.0A priority Critical patent/CN113783993B/zh
Publication of CN113783993A publication Critical patent/CN113783993A/zh
Application granted granted Critical
Publication of CN113783993B publication Critical patent/CN113783993B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/175Controlling the light source by remote control
    • H05B47/19Controlling the light source by remote control via wireless transmission
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)

Abstract

本申请涉及一种舞台灯光控制方法、装置、舞台灯光系统、计算机设备及计算机存储介质,所述方法包括:分别建立观众区的各个移动设备与舞台控制设备之间的通信连接;识别各个移动设备相对于舞台的空间位置,并将所述移动设备及其对应的所述空间位置进行绑定;从所述舞台控制设备中获取观众区的灯光控制方案,根据所述灯光控制方案确定各个空间位置处的灯光显示效果;根据所述灯光显示效果及所述绑定关系生成各个空间位置的移动设备的灯光控制参数,并通过所述通信连接将所述灯光控制参数发送各个移动设备进行灯光控制;该技术方案,可以提升舞台灯光控制效果,而且提高观众参与度,为观众提供沉浸式应用体验。

Description

舞台灯光控制方法、装置及舞台灯光系统
技术领域
本申请涉及灯光技术领域,尤其是一种舞台灯光控制方法、装置、舞台灯光系统、计算机设备及计算机存储介质。
背景技术
在市面上现有舞台设备中,舞台控制设备的灯光效果均主要集中在舞台上,观众区通常只有少量或甚至没有配合接入该系统的灯光设备。当演出方若想在观众区接入受舞台控制设备控制的灯光设备,而从营造沉浸式的舞台体验,则需要花费诸如增加灯光设备、布线、调试等大量成本,而且大多数舞台的观众在其过程中参与度较低,无法真正融入到灯光显示过程当中,导致舞台灯光效果较差。
发明内容
为了解决上述技术缺陷之一,本申请提供一种舞台灯光控制方法、装置、娱乐设备、计算机设备及计算机存储介质,可以提升舞台灯光效果。
一种舞台灯光控制方法,包括:
分别建立观众区的各个移动设备与舞台控制设备之间的通信连接;
识别各个移动设备相对于舞台的空间位置,并将所述移动设备及其对应的所述空间位置进行绑定;
从所述舞台控制设备中获取观众区的灯光控制方案,根据所述灯光控制方案确定各个空间位置处的灯光显示效果;
根据所述灯光显示效果及所述绑定关系生成各个空间位置的移动设备的灯光控制参数,并通过所述通信连接将所述灯光控制参数发送各个移动设备进行灯光控制。
在一个实施例中,所述移动设备包括:智能手机、平板、智能手表或智能手环;
分别建立观众区的各个移动设备与舞台控制设备之间的通信连接,包括:
各个移动设备通过蓝牙与舞台控制设备建立物理连接;其中,所述移动设备的app客户端与舞台控制设备的通讯,使所述移动设备接受所述舞台控制设备的统一调度;
或者
各个移动设备通过WiFi与舞台控制设备建立物理连接;其中,所述移动设备的app客户端与舞台控制设备通过P2P方式通讯,且当P2P不成功时,使用外网服务器中转方式建立移动设备的app客户端与舞台控制设备的通讯,使所述移动设备接受所述舞台控制设备的统一调度;
或者
各个移动设备通过互联网方式与舞台控制设备建立物理连接;其中,所述移动设备的app客户端使用外网服务器中转方式与舞台控制设备进行通讯,使所述移动设备接受所述舞台控制设备的统一调度。
在一个实施例中,识别各个移动设备相对于舞台的空间位置,并将所述移动设备及其对应的所述空间位置进行绑定,包括:
对舞台进行空间建模,得到舞台空间模型;
向观众区的移动设备的app客户端发送特殊符号;其中,所述app客户端收到所述特殊符号后,将特殊符号转化为灯光信号,并控制移动设备进行亮灯;
通过面向观众区的摄像头采集观众区的实时图像;
对所述实时图像的灯光信号进行分析,并根据图像测距技术计算得出该移动设备在舞台空间模型中的空间坐标;
在舞台控制设备上将所述移动设备与空间坐标进行绑定。
在一个实施例中,所述的舞台灯光控制方法,还包括:
通过app客户端控制移动设备打开蓝牙功能;
接收所述app客户端收集的其他待移动设备的蓝牙设备的MAC地址及其信号强度;
将已绑定的移动设备的蓝牙设备的MAC地址与待绑定的移动设备的app客户端发来的MAC地址进行配对;
通过蓝牙信号强度计算出各已绑定移动设备与待绑定移动设备的距离;
利用定位算法计算出所述待绑定移动设备相对于舞台的空间坐标,并将所述待绑定的移动设备与计算的空间坐标进行绑定。
在一个实施例中,识别各个移动设备相对于舞台的空间位置,并将所述移动设备及其对应的所述空间位置进行绑定,包括:
通过移动设备的app客户端使用摄像头拍摄舞台的拍摄图像;
接收所述移动设备的app客户端上传的所述拍摄图像;
对所述拍摄图像进行分析并计算所述移动设备在舞台空间模型中的空间坐标,将所述移动设备及其对应的空间坐标进行绑定。
在一个实施例中,所述特殊符号携带有亮度级别信息;其中,所述app客户端收到所述亮度级别信息后,根据所述亮度级别信息控制所述移动设备的灯光以不同亮度级别进行展示;
所述方法还包括:
计算出所述移动设备的灯光以不同亮度级别进行展示时对应的实际展示的亮度参数,记录所述移动设备的灯光的各级别的实时亮度参数;
所述根据所述灯光显示效果及所述绑定关系生成各个空间位置的移动设备的灯光控制参数,包括:
根据所述灯光显示效果确定目标空间位置;
根据所述目标空间位置及绑定关系确定目标移动设备;
根据灯光显示效果及所记录的实时亮度参数生成各个目标移动设备的灯光控制参数;其中,所述灯光控制参数包括亮灯/熄灯控制参数及其亮度控制参数。
在一个实施例中,所述的舞台灯光控制方法,还包括:
通过移动设备的app客户端定时收集其他移动设备的蓝牙设备的MAC地址及其信号强度;
接收移动设备的app客户端发送的移动设备位置变更的提示信息;其中,所述app客户端检测所述MAC地址改变或信号强度是否超过绑定时阈值,并在超出阈值时发送包含变化特征的提示信息;
根据所述信息特征分析并计算出改变位置的移动设备;
通知改变位置的移动设备的app客户端停止亮灯,并将其与其绑定的空间位置进行解绑;
当所述改变位置的移动设备所收集的其他移动设备的蓝牙设备的信号强度达到稳定阈值时,重新计算其新的空间位置并将其进行绑定。
在一个实施例中,所述的舞台灯光控制方法,还包括:
定时通过摄像头获取观众区的实时图像;
分析所述实时图像,获取所述移动设备的灯光展示效果不符合预期效果的异常情况以及对应的异常区域;
根据区域内异常出现的概率对所述异常区域倒序进行排查,直到消除异常区域的异常情况或完成对所述异常区域内的所有移动设备进行排查为止;
向移动设备的app客户端下发重新绑定指令,通知app客户端重新绑定所述移动设备及其空间位置。
在一个实施例中,所述根据区域内异常出现的概率对所述异常区域倒序进行排查,包括:
找到当前待排查区域内,未排查且异常出现概率最高的移动设备;
向所述移动设备的app客户端发送指令,控制该移动设备关闭灯光;
持续检测设定时间,判断在该设定时间内异常情况是否消除或减弱;
若异常情况减弱,则将所述移动设备及其空间位置进行解绑,并对其他移动设备继续进行排查,直到异常完全消除或待排查区的所有移动设备已完成排查为止;
若异常情况消除,则对所述移动设备及其控制位置进行空间解绑;
若异常情况不变,控制所述移动设备的灯光恢复正常,并对其他移动设备继续进行排查,直到异常完全消除或待排查区的所有移动设备已完成排查为止。
一种舞台灯光控制装置,包括:
连接建立单元,用于分别建立观众区的各个移动设备与舞台控制设备之间的通信连接;
空间绑定单元,用于识别各个移动设备相对于舞台的空间位置,并将所述移动设备及其对应的所述空间位置进行绑定;
效果确定单元,用于从所述舞台控制设备中获取观众区的灯光控制方案,根据所述灯光控制方案确定各个空间位置处的灯光显示效果;
灯光控制单元,用于根据所述灯光显示效果及所述绑定关系生成各个空间位置的移动设备的灯光控制参数,并通过所述通信连接将所述灯光控制参数发送各个移动设备进行灯光控制。
一种舞台灯光系统,包括:多个移动设备、控制器以及舞台控制设备;其中,所述控制器被配置为执行所述的舞台灯光控制方法的步骤。
一种计算机设备,其包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于:执行上述的舞台灯光控制方法。
一种计算机可读存储介质,所述存储介质存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行上述的舞台灯光控制方法。
本申请的技术方案,具有如下有益效果:
首先分别建立观众区的各个移动设备与舞台控制设备之间的通信连接,采集移动设备的空间位置并进行绑定;然后获取观众区的灯光控制方案并确定各个空间位置处的灯光显示效果,并根据该灯光显示效果及绑定关系生成各个移动设备的灯光控制参数,再对相应的移动设备进行灯光控制;该技术方案,可以提升舞台灯光控制效果,而且提高观众参与度,为观众提供沉浸式应用体验。
进一步的,本申请的技术方案提供了多种连接方式,可以确保各个移动设备与舞台控制设备之间能够进行正常的通信连接。
进一步的,在绑定移动设备及其控制位置时,通过控制移动设备显示特殊灯光信号和实时图像识别,可以精准地确定各个移动设备与舞台之间的相对位置,从而可以实现精准的灯光控制。
进一步的,当摄像头与移动设备之间出现遮挡物导致无法使用图像分析移动设备的空间位置时,通过蓝牙进行无线定位获取移动设备的空间位置,避免了遮挡导致移动设备不能定位问题,提升了定位准确性。
进一步的,当舞台进行演出导致无法进行定位时,利用移动设备的摄像头拍摄舞台图像来进行定位,从而使得定位过程中避免了对舞台演出效果的影响,确保了现场灯光效果。
进一步的,在绑定移动设备及其空间位置过程中,增加移动设备亮度测试,记录不同移动设备不同级别的亮度差异,从而在实际应用中减少该差异影响,提高灯光控制效果。
进一步的,利用移动设备的蓝牙功能,利用蓝牙设备的MAC地址及其信号强度来检测移动设备的位置变化,同时根据实时检测的MAC地址及其信号强度来对移动后的移动设备进行重新定位和绑定移动设备及其空间位置,确保了移动设备移动后也能够进行精准灯光控制,提升了灯光控制效果。
进一步的,通过实时图像的检测,在出现区域化的异常情况是,对异常区域进行排查并消除异常影响,重新绑定移动设备及其空间位置,保证了在出现区域异常也能够进行精准灯光控制,提升了灯光控制效果。
本申请附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是舞台灯光系统的硬件结构图;
图2是一个实施例的舞台灯光控制方法流程图;
图3是移动设备接入舞台控制设备流程图;
图4是移动设备接入舞台控制设备的网络拓扑图;
图5是一个实施例的绑定移动设备及其空间位置流程图;
图6是采集实时图像示意图;
图7是一个示例的绑定逻辑示意图;
图8是利用蓝牙定位方式绑定移动设备及其空间位置流程图;
图9是蓝牙定位原理示意图;
图10是另一个实施例的绑定移动设备及其空间位置流程图;
图11是生成各个目标移动设备的灯光控制参数流程图;
图12是基于蓝牙技术重新绑定空间位置变化的移动设备流程图;
图13是异常情况排查流程图;
图14是对异常区域倒序进行排查流程图;
图15是舞台灯光控制装置结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能解释为对本申请的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作。
参考图1所示,图1是舞台灯光系统的硬件结构图,该系统包括了多个移动设备1-n、控制器以及舞台控制设备;其中,移动设备可以是智能手机、平板、智能手表、智能手环等智能设备,其具有LED灯或LED屏,可以提供灯光效果;控制器被配置为执行本申请的舞台灯光控制方法的步骤,另外,控制器也可以基于舞台控制设备来实现,采用此方案时,即在舞台控制设备上实现舞台灯光控制方法的步骤。
下面对本申请的舞台灯光控制方法实施例进行描述,本实施例中,提供了如何对观众区的移动设备进行灯光控制,以配合舞台灯光显示的技术方案。
参考图2,图2是一个实施例的舞台灯光控制方法流程图,该灯光控制方法,包括:
S10,分别建立观众区的各个移动设备与舞台控制设备之间的通信连接。
此步骤中,将观众区的各个移动设备接入到舞台控制设备上,从而实现舞台控制设备对各个移动设备的统一管理和控制。
在一个实施例中,对于移动设备接入方法,主要包括如下:
首先,在移动设备上安装app客户端;具体的,在智能手机、平板、智能手表、智能手环等设备上安装app客户端。
然后,将移动设备接入舞台控制设备,对于接入方法,参考图3所示,图3是移动设备接入舞台控制设备流程图,可以包括如下:
方法1:各个移动设备通过蓝牙与舞台控制设备建立物理连接;其中,所述移动设备的app客户端与舞台控制设备的通讯。
方法2:各个移动设备通过WiFi与舞台控制设备建立物理连接;
a、移动设备的app客户端与舞台控制设备通过P2P方式通讯;
b、当P2P不成功时,使用外网服务器中转方式建立移动设备的app客户端与舞台控制设备的通讯。
方法3:各个移动设备通过互联网方式与舞台控制设备建立物理连接;其中,移动设备接入互联网(如2G/3G/4G/5G等互联网),移动设备的app客户端使用外网服务器中转方式与舞台控制设备进行通讯。
上述实施例的技术方案,提供了多种连接方式,可以确保各个移动设备与舞台控制设备之间能够进行正常的通信连接。参考图4,图4是移动设备接入舞台控制设备的网络拓扑图,通过上述技术方案接入舞台控制设备后,可以使得移动设备接受舞台控制设备的统一调度。
S20,识别各个移动设备相对于舞台的空间位置,并将所述移动设备及其对应的所述空间位置进行绑定。
为了实现对各个移动设备灯光的精准控制,需要识别出各个移动设备的空间位置,并将其与对应的移动设备进行绑定。
在一个实施例中,对于步骤S20的识别移动设备的空间位置及绑定空间位置的流程,参考图5所示,图5是一个实施例的绑定移动设备及其空间位置流程图,包括如下步骤:
S211,对舞台进行空间建模,得到舞台空间模型;具体的,可以通过图像数据来对舞台进行建模。
S212,向观众区的移动设备的app客户端发送特殊符号(如:摩斯编码等);其中,所述app客户端收到所述特殊符号后,将特殊符号转化为灯光信号,并控制移动设备的LED灯或LED屏进行亮灯。
S213,通过面向观众区的摄像头采集观众区的实时图像;其中,对于采集实时图像,如图6所示,图6是采集实时图像示意图,在舞台上向观众区进行拍摄,得到实时图像。
S214,对所述实时图像的灯光信号进行分析,并根据图像测距技术计算得出该移动设备在舞台空间模型中的空间坐标。
S215,在舞台控制设备上将所述移动设备与空间坐标进行绑定。
上述实施例的技术方案,在绑定移动设备及其控制位置时,通过控制移动设备显示特殊灯光信号和实时图像识别,可以精准地确定各个移动设备与舞台之间的相对位置,从而可以实现精准的灯光控制。
参考图7,图7是一个示例的绑定逻辑示意图,在绑定过程中,其处理逻辑可以如下:
s21,调用摄像头采集观众区的实时图像;
s22,舞台控制设备对舞台进行建模得到舞台空间模型;
s23,舞台控制设备随机生成特殊符号;
s24,从未绑定的移动设备中选择一台目标移动设备;
s25,舞台控制设备将特殊符号发送至该目标移动设备;
s26,目标移动设备接收特殊符号,显示相应的灯光信号;
s27,舞台控制设备分析实时图像,计算目标移动设备在舞台空间模型中的空间坐标;
s28,舞台控制设备将目标移动设备及其空间位置进行绑定;
s29,判断是否所有的移动设备都绑定完成,若是,结束绑定流程,否则返回执行步骤s24。
在上述绑定方案中,当摄像头与移动设备之间出现遮挡物,会导致无法使用实时图像分析得到移动设备的空间位置时,为了避免出现无法绑定情况。
在一个实施例中,参考图8,图8是利用蓝牙定位方式绑定移动设备及其空间位置流程图;本申请还提供了使用蓝牙进行无线定位获取空间位置的方案,该技术方案主要包括如下步骤:
S216a,通过app客户端控制移动设备打开蓝牙功能。
S216b,接收所述app客户端收集的其他待移动设备的蓝牙设备的MAC地址及其信号强度;其中,移动设备的app客户端采集相邻的其他移动设备的蓝牙设备MAC地址及其信号强度,然后将收集的蓝牙设备MAC地址及其信号强度发送给舞台控制设备。
S216c,将已绑定的移动设备的蓝牙设备的MAC地址与待绑定的移动设备的app客户端发来的MAC地址进行配对;具体的,舞台控制设备将包括自身及系统内已绑定的移动设备蓝牙MAC地址与app发来的MAC地址进行配对。
S216d,通过蓝牙信号强度计算出各已绑定移动设备与待绑定移动设备的距离;具体的,结合蓝牙信号强度衰减与距离关系,舞台控制设备通过蓝牙信号强度可以计算出各已绑定移动设备与待绑定移动设备的距离。
S216e,利用定位算法计算出所述待绑定移动设备相对于舞台的空间坐标,并将所述待绑定的移动设备与计算的空间坐标进行绑定;具体的,舞台控制设备通过三边或三角等定位算法,计算出待绑定的移动设备的空间坐标。
上述技术方案,参考图9,图9是蓝牙定位原理示意图;如图中,通过其他三个已定位移动设备1-3与未定位移动设备之间的距离d1-d3,利用三边定位即可计算出未定位移动设备的空间位置。该技术方案,在当摄像头与移动设备之间出现遮挡物导致无法使用图像分析移动设备的空间位置时,通过蓝牙进行无线定位获取移动设备的空间位置,避免了遮挡导致移动设备不能定位问题,提升了定位准确性。
S30,从所述舞台控制设备中获取观众区的灯光控制方案,根据所述灯光控制方案确定各个空间位置处的灯光显示效果。
此步骤中,在通过对各个移动设备及其空间位置绑定后,舞台控制设备统一控制观众区的移动设备来产生相应的灯光显示效果;首先通过舞台控制设备对于整个舞台场景中的灯光控制方案中获取观众区的灯光控制方案,然后根据灯光控制方案来确定观众区每个空间位置的灯光显示效果;例如,要对某个区域进行灯光闪烁,则确定该区域内容哪些空间位置处的移动设备是需要闪烁显示的。
S40,根据所述灯光显示效果及所述绑定关系生成各个空间位置的移动设备的灯光控制参数,并通过所述通信连接将所述灯光控制参数发送各个移动设备进行灯光控制。
此步骤中,在确定各个空间位置的灯光显示效果后,通过预先绑定好的移动设备及其空间位置关系,由空间位置来查找到对应的移动设备,然后确定各个空间位置的移动设备的灯光控制参数,然后利用舞台控制设备与各个移动设备之间建立好的通信连接,将灯光控制参数发送到各个移动设备,使得移动设备展示出所需的灯光显示效果。
上述实施例的技术方案,利用舞台控制设备来控制各个移动设备进行相应的灯光展示,既降低了灯光效果实现的设备成本,可以提升舞台灯光控制效果,同时,充分利用了用户持有的移动设备,使得处于观众区的用户可以参与其中灯光控制显示过程中,提高了观众参与度,为观众提供沉浸式应用体验。
为了更加清晰本申请的技术方案,下面再阐述若干实施例。
在一个实施例中,对于步骤S20的移动设备及其对应的空间位置进行绑定的技术方案,当舞台正在进行演出时,若采用步骤S211~S215的技术方案,会影响舞台演出效果。
据此,参考图10所示,图10是另一个实施例的绑定移动设备及其空间位置流程图,本实施例提出另一种利用移动设备摄像头来辅助进行绑定的方法,具体包括如下:
S221,通过移动设备的app客户端使用摄像头拍摄舞台的拍摄图像;具体的,可以由移动设备的用户使用app客户端控制摄像头对舞台拍摄图像。
S222,接收所述移动设备的app客户端上传的所述拍摄图像;具体的,移动设备的app客户端在拍摄舞台拍摄图像后,上传至舞台控制设备进行接收。
S223,对所述拍摄图像进行分析并计算所述移动设备在舞台空间模型中的空间坐标,将所述移动设备及其对应的空间坐标进行绑定;具体的,舞台控制设备对舞台拍摄图像进行分析,然后计算得出该移动设备在舞台空间模型中的空间位置,并将移动设备与空间位置进行绑定。
上述实施例的技术方案,当舞台进行演出导致无法进行定位时,利用移动设备的摄像头拍摄舞台图像来进行定位,从而使得定位过程中避免了对舞台演出效果的影响,确保了现场灯光效果。
在一个实施例中,考虑到不同移动设备其灯光亮度不同,为了使得灯光显示效果更加精确和统一,因此,在绑定移动设备及其空间位置的过程中,同时还记录各个移动设备的亮度参数,从而便于在使用过程中进行精确亮度调整。
据此,在舞台控制设备发送各个移动设备的特殊符号时,还在特殊符号中携带亮度级别信息(如:c1d2e3,其中,cde是特殊符号,123是移动设备的可设置的亮度级别信息),该亮度级别信息是带有根据该移动设备硬件信息描述的LED灯或LED屏亮度级别的信息;移动设备的app客户端收到亮度级别信息后,根据亮度级别信息控制所述移动设备的LED灯或LED屏的灯光以不同亮度级别进行展示。
对应地,在步骤S20中对实时图像的灯光信号进行分析的过程,同时还计算出移动设备的LED灯或LED屏的灯光以不同亮度级别进行展示时对应的实际展示的亮度参数,记录所述移动设备的灯光的各级别的实时亮度参数。
对应的,参考图11,图11是生成各个目标移动设备的灯光控制参数流程图,在步骤S40中根据灯光显示效果及绑定关系生成各个空间位置的移动设备的灯光控制参数,包括:
S401,根据所述灯光显示效果确定目标空间位置。
S402,根据所述目标空间位置及绑定关系确定目标移动设备。
S403,根据灯光显示效果及所记录的实时亮度参数生成各个目标移动设备的灯光控制参数;其中,所述灯光控制参数包括亮灯/熄灯控制参数及其亮度控制参数。
上述实施例的技术方案,在绑定移动设备及其空间位置过程中,增加移动设备亮度测试,记录不同移动设备不同级别的亮度差异,从而在实际应用中减少该差异影响,提高灯光控制效果。
在使用过程中,由于用户的位置移动会导致移动设备的空间位置变化,因此,本申请技术方案实施例,还提供了当移动设备位置改变时,可快速检测、排查和校正异常情况等。
据此,在一个实施例中,参考图12,图12是基于蓝牙技术重新绑定空间位置变化的移动设备流程图,利用移动设备的蓝牙功能,且在蓝牙功能开启后,通过蓝牙无线定位技术检测、排查异常,该排查方案包括如下:
S511,通过移动设备的app客户端定时收集其他移动设备的蓝牙设备的MAC地址及其信号强度;具体的,通过app客户端定时收集周边移动设备的蓝牙设备的MAC地址及其信号强度,当MAC地址改变或信号强度超过绑定时的阈值时,则将这些提示信息提交至舞台控制设备。
S512,接收移动设备的app客户端发送的移动设备位置变更的提示信息。
S513,根据所述信息特征分析并计算出改变位置的移动设备;具体的,由于位置变化的移动设备收集的相邻的移动设备的蓝牙设备信息均会出现变化,而相邻没有变化位置的移动设备只会收集到变化位置的移动设备的蓝牙设备信息变化。
例如:假设移动设备A、B、C、D位置相邻,移动设备A变化到了其它空间位置,则移动设备A收集的移动设备B、C、D的信号强度均会改变,但移动设备B、C、D只会收集到移动设备A的信号强度变化。
因此,舞台控制设备可以根据蓝牙设备的变化信息特征来分析出哪台移动设备改变了空间位置。
S514,通知改变位置的移动设备的app客户端停止亮灯,并将其与其绑定的空间位置进行解绑;具体的,舞台控制设备将通知改变位置的移动设备的app客户端控制移动设备停止亮灯,并对其空间解绑。
S515,当所述改变位置的移动设备所收集的其他移动设备的蓝牙设备的信号强度达到稳定阈值时,重新计算其新的空间位置并将其进行绑定。
具体的,当改变位置的移动设备所收集的相邻蓝牙设备的信号达到稳定阈值时(如5秒内收集的相邻的移动设备的蓝牙设备信号均在一个阈值范围内),重新执行绑定空间位置的操作流程。
上述实施例的技术方案,利用移动设备的蓝牙功能,利用蓝牙设备的MAC地址及其信号强度来检测移动设备的位置变化,同时根据实时检测的MAC地址及其信号强度来对移动后的移动设备进行重新定位和绑定移动设备及其空间位置,确保了移动设备移动后也能够进行精准灯光控制,提升了灯光控制效果。
在使用过程中,由于移动设备的位置变化等也会导致观众区的某些区域的移动设备出现异常情况,因此,在使用灯光控制时,还增加了异常情况监控和排查机制。
据此,在一个实施例中,参考图13所示,图13是异常情况排查流程图,舞台控制设备的排查方案,包括如下步骤:
S521,定时通过摄像头获取观众区的实时图像;具体的,舞台控制设备定时通过摄像头获取实时图像。
S522,分析所述实时图像,获取所述移动设备的灯光展示效果不符合预期效果的异常情况以及对应的异常区域;具体的,舞台控制设备分析实时图像,并计算得出移动设备灯光展示效果是否符合预期,若不符合预期,则判定为出现异常情况,当出现异常情况时,舞台控制设备可通过图像分析,得出异常区域。
S523,根据区域内异常出现的概率对所述异常区域倒序进行排查;具体的,舞台控制设备根据区域内异常出现概率倒序进行排查(如:以异常区域中心为圆心画圆,距离圆心越近的移动设备,则视为出现异常的机率越高),直到消除异常区域的异常情况或完成对所述异常区域内的所有移动设备进行排查为止。
作为实施例,参考图14所示,图14是对异常区域倒序进行排查流程图,上述的根据区域内异常出现的概率对所述异常区域倒序进行排查,可以包括如下:
s31,找到当前待排查区域内,未排查且异常出现概率最高的移动设备。
s32,向所述移动设备的app客户端发送指令,控制该移动设备关闭灯光。
s33,持续检测设定时间(如5秒),判断在设定时间内异常情况是否消除或减弱;若异常情况减弱,则执行s34,若异常情况消除,则执行s35,若异常情况不变,执行s36。
s34,将所述移动设备及其空间位置进行解绑(异常减弱为多台移动设备),并对其他移动设备继续进行排查,直到异常完全消除或待排查区的所有移动设备已完成排查为止。
s35,对所述移动设备及其控制位置进行空间解绑(异常减弱为多台移动设备)。
s36,控制所述移动设备的灯光恢复正常,并对其他移动设备继续进行排查,直到异常完全消除或待排查区的所有移动设备已完成排查为止。
S524,向移动设备的app客户端下发重新绑定指令,通知app客户端重新绑定所述移动设备及其空间位置。
上述实施例的技术方案,通过实时图像的检测,在出现区域化的异常情况是,对异常区域进行排查并消除异常影响,重新绑定移动设备及其空间位置,保证了在出现区域异常也能够进行精准灯光控制,提升了灯光控制效果。
下面阐述本申请的舞台灯光控制装置的实施例。
参考图15,图15是舞台灯光控制装置结构示意图,包括:
连接建立单元10,用于分别建立观众区的各个移动设备与舞台控制设备之间的通信连接;
空间绑定单元20,用于识别各个移动设备相对于舞台的空间位置,并将所述移动设备及其对应的所述空间位置进行绑定;
效果确定单元30,用于从所述舞台控制设备中获取观众区的灯光控制方案,根据所述灯光控制方案确定各个空间位置处的灯光显示效果;
灯光控制单元40,用于根据所述灯光显示效果及所述绑定关系生成各个空间位置的移动设备的灯光控制参数,并通过所述通信连接将所述灯光控制参数发送各个移动设备进行灯光控制。
本实施例的舞台灯光控制装置可执行本申请的实施例所提供的一种舞台灯光控制方法,其实现原理相类似,本申请各实施例中的舞台灯光控制装置中的各模块所执行的动作是与本申请各实施例中的舞台灯光控制方法中的步骤相对应的,对于舞台灯光控制装置的各模块的详细功能描述具体可以参见前文中所示的对应的舞台灯光控制方法中的描述,此处不再赘述。
下面阐述本申请的计算机设备的实施例,该计算机设备,其包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于:执行根据上述任意实施例的舞台灯光控制方法。
下面阐述本申请的计算机可读存储介质的实施例,所述存储介质存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行上述任意实施例的舞台灯光控制方法。
上述实施例的舞台灯光控制装置、计算机设备及计算机可读存储介质,该技术方案,可以提升舞台灯光控制效果,而且提高观众参与度,为观众提供沉浸式应用体验。
以上所述仅是本申请的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种舞台灯光控制方法,其特征在于,包括:
分别建立观众区的各个移动设备与舞台控制设备之间的通信连接;
识别各个移动设备相对于舞台的空间位置,并将所述移动设备及其对应的所述空间位置进行绑定;
从所述舞台控制设备中获取观众区的灯光控制方案,根据所述灯光控制方案确定各个空间位置处的灯光显示效果;
根据所述灯光显示效果及所述绑定关系生成各个空间位置的移动设备的灯光控制参数,并通过所述通信连接将所述灯光控制参数发送各个移动设备进行灯光控制。
2.根据权利要求1所述的舞台灯光控制方法,其特征在于,所述移动设备包括:智能手机、平板、智能手表或智能手环;
分别建立观众区的各个移动设备与舞台控制设备之间的通信连接,包括:
各个移动设备通过蓝牙与舞台控制设备建立物理连接;其中,所述移动设备的app客户端与舞台控制设备的通讯,使所述移动设备接受所述舞台控制设备的统一调度;
或者
各个移动设备通过WiFi与舞台控制设备建立物理连接;其中,所述移动设备的app客户端与舞台控制设备通过P2P方式通讯,且当P2P不成功时,使用外网服务器中转方式建立移动设备的app客户端与舞台控制设备的通讯,使所述移动设备接受所述舞台控制设备的统一调度;
或者
各个移动设备通过互联网方式与舞台控制设备建立物理连接;其中,所述移动设备的app客户端使用外网服务器中转方式与舞台控制设备进行通讯,使所述移动设备接受所述舞台控制设备的统一调度。
3.根据权利要求1所述的舞台灯光控制方法,其特征在于,识别各个移动设备相对于舞台的空间位置,并将所述移动设备及其对应的所述空间位置进行绑定,包括:
对舞台进行空间建模,得到舞台空间模型;
向观众区的移动设备的app客户端发送特殊符号;其中,所述app客户端收到所述特殊符号后,将特殊符号转化为灯光信号,并控制移动设备进行亮灯;
通过面向观众区的摄像头采集观众区的实时图像;
对所述实时图像的灯光信号进行分析,并根据图像测距技术计算得出该移动设备在舞台空间模型中的空间坐标;
在舞台控制设备上将所述移动设备与空间坐标进行绑定。
4.根据权利要求1所述的舞台灯光控制方法,其特征在于,还包括:
通过app客户端控制移动设备打开蓝牙功能;
接收所述app客户端收集的其他待移动设备的蓝牙设备的MAC地址及其信号强度;
将已绑定的移动设备的蓝牙设备的MAC地址与待绑定的移动设备的app客户端发来的MAC地址进行配对;
通过蓝牙信号强度计算出各已绑定移动设备与待绑定移动设备的距离;
利用定位算法计算出所述待绑定移动设备相对于舞台的空间坐标,并将所述待绑定的移动设备与计算的空间坐标进行绑定。
5.根据权利要求1所述的舞台灯光控制方法,其特征在于,识别各个移动设备相对于舞台的空间位置,并将所述移动设备及其对应的所述空间位置进行绑定,包括:
通过移动设备的app客户端使用摄像头拍摄舞台的拍摄图像;
接收所述移动设备的app客户端上传的所述拍摄图像;
对所述拍摄图像进行分析并计算所述移动设备在舞台空间模型中的空间坐标,将所述移动设备及其对应的空间坐标进行绑定。
6.根据权利要求3所述的舞台灯光控制方法,其特征在于,所述特殊符号携带有亮度级别信息;其中,所述app客户端收到所述亮度级别信息后,根据所述亮度级别信息控制所述移动设备的灯光以不同亮度级别进行展示;
所述方法还包括:
计算出所述移动设备的灯光以不同亮度级别进行展示时对应的实际展示的亮度参数,记录所述移动设备的灯光的各级别的实时亮度参数;
所述根据所述灯光显示效果及所述绑定关系生成各个空间位置的移动设备的灯光控制参数,包括:
根据所述灯光显示效果确定目标空间位置;
根据所述目标空间位置及绑定关系确定目标移动设备;
根据灯光显示效果及所记录的实时亮度参数生成各个目标移动设备的灯光控制参数;其中,所述灯光控制参数包括亮灯/熄灯控制参数及其亮度控制参数。
7.根据权利要求1所述的舞台灯光控制方法,其特征在于,还包括:
通过移动设备的app客户端定时收集其他移动设备的蓝牙设备的MAC地址及其信号强度;
接收移动设备的app客户端发送的移动设备位置变更的提示信息;其中,所述app客户端检测所述MAC地址改变或信号强度是否超过绑定时阈值,并在超出阈值时发送包含变化特征的提示信息;
根据所述信息特征分析并计算出改变位置的移动设备;
通知改变位置的移动设备的app客户端停止亮灯,并将其与其绑定的空间位置进行解绑;
当所述改变位置的移动设备所收集的其他移动设备的蓝牙设备的信号强度达到稳定阈值时,重新计算其新的空间位置并将其进行绑定。
8.根据权利要求1所述的舞台灯光控制方法,其特征在于,还包括:
定时通过摄像头获取观众区的实时图像;
分析所述实时图像,获取所述移动设备的灯光展示效果不符合预期效果的异常情况以及对应的异常区域;
根据区域内异常出现的概率对所述异常区域倒序进行排查,直到消除异常区域的异常情况或完成对所述异常区域内的所有移动设备进行排查为止;
向移动设备的app客户端下发重新绑定指令,通知app客户端重新绑定所述移动设备及其空间位置。
9.根据权利要求8所述的舞台灯光控制方法,其特征在于,所述根据区域内异常出现的概率对所述异常区域倒序进行排查,包括:
找到当前待排查区域内,未排查且异常出现概率最高的移动设备;
向所述移动设备的app客户端发送指令,控制该移动设备关闭灯光;
持续检测设定时间,判断在该设定时间内异常情况是否消除或减弱;
若异常情况减弱,则将所述移动设备及其空间位置进行解绑,并对其他移动设备继续进行排查,直到异常完全消除或待排查区的所有移动设备已完成排查为止;
若异常情况消除,则对所述移动设备及其控制位置进行空间解绑;
若异常情况不变,控制所述移动设备的灯光恢复正常,并对其他移动设备继续进行排查,直到异常完全消除或待排查区的所有移动设备已完成排查为止。
10.一种舞台灯光控制装置,其特征在于,包括:
连接建立单元,用于分别建立观众区的各个移动设备与舞台控制设备之间的通信连接;
空间绑定单元,用于识别各个移动设备相对于舞台的空间位置,并将所述移动设备及其对应的所述空间位置进行绑定;
效果确定单元,用于从所述舞台控制设备中获取观众区的灯光控制方案,根据所述灯光控制方案确定各个空间位置处的灯光显示效果;
灯光控制单元,用于根据所述灯光显示效果及所述绑定关系生成各个空间位置的移动设备的灯光控制参数,并通过所述通信连接将所述灯光控制参数发送各个移动设备进行灯光控制。
CN202111064590.0A 2021-09-10 2021-09-10 舞台灯光控制方法、装置及舞台灯光系统 Active CN113783993B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111064590.0A CN113783993B (zh) 2021-09-10 2021-09-10 舞台灯光控制方法、装置及舞台灯光系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111064590.0A CN113783993B (zh) 2021-09-10 2021-09-10 舞台灯光控制方法、装置及舞台灯光系统

Publications (2)

Publication Number Publication Date
CN113783993A true CN113783993A (zh) 2021-12-10
CN113783993B CN113783993B (zh) 2022-11-04

Family

ID=78842659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111064590.0A Active CN113783993B (zh) 2021-09-10 2021-09-10 舞台灯光控制方法、装置及舞台灯光系统

Country Status (1)

Country Link
CN (1) CN113783993B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113993250A (zh) * 2021-12-24 2022-01-28 深圳市奥新科技有限公司 舞台灯光控制方法、装置、设备及存储介质
CN116033254A (zh) * 2022-12-30 2023-04-28 浙江省广播电视工程公司 一种基于5g的广电摄录设备定位分析管理系统及方法
CN117794010A (zh) * 2024-01-29 2024-03-29 广州市明静科技有限公司 一种基于移动设备的舞台灯具控制方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2500566A (en) * 2012-01-31 2013-10-02 Avolites Ltd Automated lighting control system allowing three dimensional control and user interface gesture recognition
US20160193539A1 (en) * 2014-12-02 2016-07-07 Kody Hornburg Visual, audio, lighting and/or venue control system
CN206790751U (zh) * 2017-05-05 2017-12-22 义乌敦仁智能科技有限公司 一种基于uwb的舞台灯光定位跟踪系统
CN108495119A (zh) * 2018-01-31 2018-09-04 上海广电影视制作有限公司 用于舞台演出的操作终端系统及方法
US20180352298A1 (en) * 2017-05-31 2018-12-06 International Business Machines Corporation Technological facilitation of virtual in-venue experience for remote spectator(s) of an event
CN111800921A (zh) * 2020-07-07 2020-10-20 广州彩熠灯光股份有限公司 一种舞台灯光控制方法、介质及电子设备
CN112040147A (zh) * 2020-09-11 2020-12-04 北京奇艺世纪科技有限公司 一种灯光闪烁控制方法、装置、设备及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2500566A (en) * 2012-01-31 2013-10-02 Avolites Ltd Automated lighting control system allowing three dimensional control and user interface gesture recognition
US20160193539A1 (en) * 2014-12-02 2016-07-07 Kody Hornburg Visual, audio, lighting and/or venue control system
CN206790751U (zh) * 2017-05-05 2017-12-22 义乌敦仁智能科技有限公司 一种基于uwb的舞台灯光定位跟踪系统
US20180352298A1 (en) * 2017-05-31 2018-12-06 International Business Machines Corporation Technological facilitation of virtual in-venue experience for remote spectator(s) of an event
CN108495119A (zh) * 2018-01-31 2018-09-04 上海广电影视制作有限公司 用于舞台演出的操作终端系统及方法
CN111800921A (zh) * 2020-07-07 2020-10-20 广州彩熠灯光股份有限公司 一种舞台灯光控制方法、介质及电子设备
CN112040147A (zh) * 2020-09-11 2020-12-04 北京奇艺世纪科技有限公司 一种灯光闪烁控制方法、装置、设备及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113993250A (zh) * 2021-12-24 2022-01-28 深圳市奥新科技有限公司 舞台灯光控制方法、装置、设备及存储介质
CN113993250B (zh) * 2021-12-24 2022-03-15 深圳市奥新科技有限公司 舞台灯光控制方法、装置、设备及存储介质
CN116033254A (zh) * 2022-12-30 2023-04-28 浙江省广播电视工程公司 一种基于5g的广电摄录设备定位分析管理系统及方法
CN116033254B (zh) * 2022-12-30 2024-03-29 浙江省广播电视工程公司 一种基于5g的广电摄录设备定位分析管理系统及方法
CN117794010A (zh) * 2024-01-29 2024-03-29 广州市明静科技有限公司 一种基于移动设备的舞台灯具控制方法及系统

Also Published As

Publication number Publication date
CN113783993B (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
CN113783993B (zh) 舞台灯光控制方法、装置及舞台灯光系统
CN107111882B (zh) 条纹集合查找方法、装置以及系统
JP2007060093A (ja) 情報処理装置及び情報処理システム
JP2018507498A (ja) 位置情報の収集が不要な災害通知サービス方法及びこのための災害通知サーバー、アプリケーションシステム
KR101214235B1 (ko) 무선 센싱 모듈, 무선 조명 제어 장치 및 무선 조명 시스템
US20120321130A1 (en) System and method for confidence-based marker adjustment
CN109327691B (zh) 图像拍摄方法、装置、存储介质及移动终端
EP2757771A2 (en) Image pickup apparatus, remote control apparatus, and methods of controlling image pickup apparatus and remote control apparatus
CN106895791B (zh) 一种板卡形变监测预警系统
CN112217999B (zh) 一种宽动态模式的调整方法、装置、电子设备和存储介质
KR101360250B1 (ko) 주변 대상을 감지하여 통보하는 장치 및 방법
EP3143840A1 (en) Detection of coded light
JP2002290962A (ja) 侵入者自動追尾方法および装置並びに画像処理装置
CN109041082A (zh) 定位信息传输方法
CN109413411A (zh) 一种监控线路的黑屏识别方法、装置及服务器
JP2018073389A (ja) データ処理装置、及びデータ処理方法
JP2016116137A (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2019179316A (ja) 通行路判定システム
CN109218620B (zh) 基于环境亮度的拍照方法、装置、存储介质及移动终端
CN113888865B (zh) 电子设备及车辆信息获取方法
CN113691730B (zh) 一种摄像头的任务切换控制方法、装置、介质及电子设备
CN113498141B (zh) 网关切换方法、装置、电子设备及计算机可读存储介质
JP2018132865A (ja) 電子機器、電子機器の処理代行依頼方法および情報処理システム
CN113093105B (zh) 可见光室内定位方法、装置、系统及相关产品
CN106354324B (zh) 红外触摸屏的扫描方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant