CN117295207B - 氛围灯设备及其指令传输、应用方法和相应的装置、介质 - Google Patents
氛围灯设备及其指令传输、应用方法和相应的装置、介质 Download PDFInfo
- Publication number
- CN117295207B CN117295207B CN202311583445.2A CN202311583445A CN117295207B CN 117295207 B CN117295207 B CN 117295207B CN 202311583445 A CN202311583445 A CN 202311583445A CN 117295207 B CN117295207 B CN 117295207B
- Authority
- CN
- China
- Prior art keywords
- frame
- data
- playing
- current
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000005540 biological transmission Effects 0.000 title claims abstract description 41
- 230000000694 effects Effects 0.000 claims abstract description 95
- 238000004806 packaging method and process Methods 0.000 claims abstract description 9
- 230000001795 light effect Effects 0.000 claims description 68
- 238000004422 calculation algorithm Methods 0.000 claims description 55
- 238000004590 computer program Methods 0.000 claims description 10
- 239000011324 bead Substances 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000000605 extraction Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000005538 encapsulation Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 241001465382 Physalis alkekengi Species 0.000 description 1
- 238000012356 Product development Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/165—Controlling the light source following a pre-assigned programmed sequence; Logic control [LC]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请涉及一种氛围灯设备及其指令传输、应用方法和相应的装置、介质,所述方法包括:从播放帧序列中有序调用播放帧作为当前播放帧;基于当前播放帧的帧类型确定当前播放帧的目标编码策略;根据所述目标编码策略确定当前播放帧的有效数据及其数据类型,将所述有效数据编码为播放编码数据;将当前播放帧的播放编码数据及其有效数据的数据类型封装为灯效播放指令传输至所述氛围灯设备的灯光组件的控制芯片中执行。本申请实现能有效扩大通行于数据传输通道中的播放帧的规模,在单位时间内传输更多帧播放编码数据,可以有效提升灯光组件播放灯效时的刷新率,使灯效更为细腻自然,有助于氛围灯设备的产业推广。
Description
技术领域
本申请涉及照明控制领域,尤其涉及一种氛围灯设备及其指令传输、应用方法和相应的装置、介质。
背景技术
氛围灯设备作为智能灯具的一种,可以起到装饰室内空间效果、展示信息的作用。随着人们经济水平的提升,氛围灯设备越来越普及。氛围灯设备的功能之一,是根据给定的系列参照图像,来生成与系列参照图像的光线效果相呼应的灯光效果,起到加强环境氛围的作用。
示例性的一种氛围灯设备是一种氛围灯设备,为在窗帘上形成预定图案或文字,用户一般通过终端设备,例如手机上的应用软件设置需要在氛围灯设备的灯光组件上发光显示的图案或文字的信息,之后将图案或文字信息传输至氛围灯设备的控制器中,通过控制器生成相应的播放编码数据,构成相应的灯效播放指令,传输至氛围灯设备的灯光组件的控制芯片执行,以便基于获取的图案或文字信息控制发光组件中的各个灯珠对应发出预定的光线,以在窗帘上形成对应的图案或文字。
氛围灯设备之类的氛围灯设备,通常使用嵌入式芯片来实现其业务逻辑,例如,在控制器中使用具有蓝牙或WiFi通信功能的控制芯片,在其灯光组件中使用更为经济的单片机之类的控制芯片等。控制器的控制芯片与灯光组件中的控制芯片之间,通过串行接口相连接,以UART接口为例,其波特率通常使用921600bit/s,当控制器需要向灯光组件传输图像数据时,如果为了让灯光组件的灯效刷新频率达到30ms/次,UART最大的传输数据量必须小于4KBtye/s。实际应用中灯光组件的灯珠数量繁多,例如高达1560颗灯珠,每颗灯又分RGB三路颜色值,整体的RGB颜色值是2000*3Btye=6000Bytes。
计算可知,当氛围灯设备的灯珠数大于4000/3时,控制器需要对播放编码数据进行压缩编码才能有效控制灯光组件实现高刷新率播放灯效,但是,以统一的编码策略直接应用某种编码算法对播放编码数据进行压缩,因播放编码数据本质也是一种图像数据,这种情况下无法兼顾压缩效率和图像数据质量,因而,要保证控制器的控制芯片和灯光组件的控制芯片之间的高效数据传输,需要适应氛围灯设备这种具体的软硬件环境提出更为有效的解决方案。
发明内容
本申请的目的在于提供一种氛围灯设备及其指令传输、应用方法和相应的装置、介质。
根据本申请的一个方面,提供一种氛围灯设备指令传输方法,包括:
从播放帧序列中有序调用播放帧作为当前播放帧;
基于当前播放帧的帧类型确定当前播放帧的目标编码策略;
根据所述目标编码策略确定当前播放帧的有效数据及其数据类型,将所述有效数据编码为播放编码数据;
将当前播放帧的播放编码数据及其有效数据的数据类型封装为灯效播放指令传输至所述氛围灯设备的灯光组件的控制芯片中执行。
根据本申请的一个方面,提供一种氛围灯设备指令应用方法,包括:
接收氛围灯设备的控制器传输的灯效播放指令,所述灯效播放指令包含对应用于播放灯效的当前播放帧的播放编码数据及编码得到该播放编码数据的有效数据相对应的数据类型;
根据所述有效数据的数据类型对所述播放编码数据进行解码,得到当前播放帧的有效数据;
根据所述有效数据的数据类型,应用与该数据类型相对应的还原算法,基于所述有效数据还原出当前播放帧的原型数据;
根据所述原型数据控制所述灯光组件播放当前播放帧相对应的灯效。
根据本申请的另一方面,提供一种氛围灯设备指令传输装置,包括:
有序调度模块,设置为从播放帧序列中有序调用播放帧作为当前播放帧;
策略确定模块,设置为基于当前播放帧的帧类型确定当前播放帧的目标编码策略;
编码执行模块,设置为根据所述目标编码策略确定当前播放帧的有效数据及其数据类型,将所述有效数据编码为播放编码数据;
封装传输模块,设置为将当前播放帧的播放编码数据及其有效数据的数据类型封装为灯效播放指令传输至所述氛围灯设备的灯光组件的控制芯片中执行。
根据本申请的另一方面,提供一种氛围灯设备指令应用装置,包括:
指令接收模块,设置为接收氛围灯设备的控制器传输的灯效播放指令,所述灯效播放指令包含对应用于播放灯效的当前播放帧的播放编码数据及编码得到该播放编码数据的有效数据相对应的数据类型;
解码执行模块,设置为根据所述有效数据的数据类型对所述播放编码数据进行解码,得到当前播放帧的有效数据;
数据还原模块,设置为根据所述有效数据的数据类型,应用与该数据类型相对应的还原算法,基于所述有效数据还原出当前播放帧的原型数据;
播放控制模块,设置为根据所述原型数据控制所述灯光组件播放当前播放帧相对应的灯效。
根据本申请的另一方面,提供一种氛围灯设备,包括中央处理器和存储器,所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行所述氛围灯设备指令传输方法或所述氛围灯设备指令应用方法的步骤。
根据本申请的另一方面,提供一种非易失性可读存储介质,其以计算机可读指令的形式存储有依据所述的氛围灯设备指令传输方法或所述氛围灯设备指令应用方法所实现的计算机程序,所述计算机程序被计算机调用运行时,执行该方法所包括的步骤。
相对于现有技术,本申请有序逐帧获取用来控制灯光组件播放相应帧的灯效的播放帧作为当前播放帧,对当前播放帧的帧类型进行分析,区别不同帧类型确定相应的目标编码策略,得到当前播放帧相应的有效数据,仅对这部分有效数据进行编码得到当前播放帧相对应的播放编码数据,将该播放编码数据与其有效数据的数据类型一起封装为当前播放帧相对应的灯效播放指令,传输给氛围灯设备的灯光组件的控制芯片进行相应的解码和应用,实现控制灯光组件播放当前播放帧相对应的灯效,由此,实现根据不同帧类型采用相应的目标编码策略对当前播放帧进行灵活编码,确保对应每种帧类型都可以采用最优的编码策略实现对当前播放帧的编码,可使编码效率最优化,进而有效扩大通行于数据传输通道中的播放帧的规模,使嵌入式芯片可以更高的效率传输灯效播放指令,在单位时间内传输更多帧播放编码数据,对应解码后便可快速应用实现对应帧的灯效播放,有效提升灯光组件播放灯效时的刷新率,使灯效更为细腻自然。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例中的氛围灯设备的电气结构的原理示意图;
图2为本申请实施例中的窗帘灯设备的电气结构示意图;
图3为本申请实施例中的拼接灯具的电气结构示意图;
图4为本申请实施例中的氛围灯设备指令传输方法的流程示意图;
图5为本申请实施例中根据帧类型确定目标编码策略的流程示意图;
图6为本申请实施例中根据灯效动图文件构造播放帧序列的流程示意图;
图7为本申请实施例中的氛围灯设备指令应用方法的流程示意图;
图8为本申请实施例中根据数据类型还原当前播放帧的原型数据的流程示意图;
图9为本申请实施例中的氛围灯设备指令传输设备的结构示意图;
图10为本申请实施例中的氛围灯设备指令应用设备的结构示意图;
图11为本申请实施例中的计算机设备的结构示意图。
具体实施方式
本申请的氛围灯设备可以起到妆点空间氛围的效果,还可通过面阵发光形成图案或文字来传递信息,当然也有一定的照明作用,常安装在室内空间中。
请参阅图1,氛围灯设备通常包括控制器和灯光组件。氛围灯设备的控制器内置有控制芯片,该控制芯片通常具有相应的通信组件以便与外部的终端设备进行通信,接收终端设备传输的外部数据,例如用来产生相应的灯效的灯效动图文件等,控制器的控制芯片还可以负责将灯效动图文件提供的原图帧转换为相应帧的播放编码数据,封装成灯效播放指令发送至灯光组件控制其播放灯效。氛围灯设备中的灯光组件也内置有控制芯片,该控制芯片负责接收控制器传输的灯效播放指令,根据其中的播放编码数据解码还原出相应帧的原型数据,将原型数据作为播放编码数据控制灯光组件中的发光单元播放相应帧的灯效。
控制器的控制芯片和/或灯光组件的控制芯片,均可采用各种嵌入式芯片实现,例如蓝牙SoC(System on Chip,系统级芯片)、WiFi SoC、DSP(Digital Signal Processing,数字信号处理)、MCU(Micro Controller Unit,微控制单元,俗称单片机)等任意各种类型的芯片。其中,适应控制器需要适配通信组件的情况,其控制芯片可以优先蓝牙SoC或WiFiSoC。而灯光组件的控制芯片,则可出于经济优势优选MCU或DSP之类。对此,可灵活选型,并不影响本申请的创造精神的体现。
控制芯片通常包括中央处理器和存储器,存储器和中央处理器分别用于存储和执行程序指令,实现相应的功能。控制芯片中的通信组件可以用于与外部设备通信,例如,可以与个人计算机或各种智能终端设备通信,以便用户通过其终端设备下达各种配置指令、灯效动图文件之后,控制芯片可以通过所述通信组件相应接收和进一步使用。
控制器还可按需配备电源适配器、控制面板、显示屏等组件。电源适配器主要用于将市电转换为直流电,以便为整个氛围灯设备供电。控制面板通常提供一个或多个按键,用于对控制器实施开关控制、选择各种预设的灯效动图文件等等。显示屏可用于显示各种控制状态信息,以便与控制面板中的按键相配合,支持人机交互功能的实现。一些实施例中,控制面板与所述显示屏可以集成到同一触控显示屏中。
灯光组件通常由大量的发光单元连接而成,每个发光单元可以独立控制发光,因而,灯光组件除了如前文所述设置与控制器通信的控制芯片之外,每个发光单元通常也配备相应的控制芯片,灯光组件起通信作用的控制芯片可以按照预设的通信协议,将根据灯效播放指令生成的相应帧的原型数据作为播放编码数据,传输至各个发光单元的控制芯片,以控制各个发光单元的控制芯片根据播放编码数据中与自身相对应的控制数据控制自身所具有的发光元件发光。
本申请的氛围灯设备,在产品形式上,可以设计为不同形态的具体设备,例如窗帘灯设备、拼接灯具等。
示例性的窗帘灯设备的产品形态如图2所示,窗帘灯设备的灯光组件被实现为窗帘灯形态,其中的窗帘灯2,包括连接在接入控制器的总线上的多条发光灯带21,每条发光灯带21都包括多个串接而成的灯珠210作为发光单元,并且,通常各条发光灯带21的灯珠210数量相同,而且等间距排列。窗帘灯2在使用时,通常按照如图2所示的布局展开其各条发光灯带21,由此使全部发光灯带21中的全部灯珠按照阵列的方式进行布局,形成灯珠矩阵结构,由于全部灯珠协同发光时能够提供画幅效果,所以,整个灯珠矩阵结构所在的面便构成一个面阵,当播放灯效时,便可以在该面阵范围内形成一定的图文效果,单幅图文静态显示时便是静态灯效,按时序切换图文时便能形成动态灯效。
每个发光灯带21可由多个灯珠210串接而成,同一发光灯带21中的各个灯珠210由接入总线的同一组线缆传输工作电流,同一发光灯带21的各个灯珠210之间,在电性连接关系上,可以采用并联的方式进行连接。一种实施例中,同一灯珠矩阵结构中的各个发光灯带21,可以沿总线方向等间距设置,且各个发光灯带21的灯珠210之间,在数量和位置上,也对应设置,这样,整个显示画幅构成的面阵4在远距离观看其发光效果时,起到类似屏幕的作用,能够在人眼视觉上形成图案效果。
窗帘灯设备的灯光组件可以配备起集中式控制作用的控制芯片,用于与控制器通信,将控制器传输过来的灯效播放指令解析为播放编码数据,发送至各个发光单元,相应的,每个发光单元也配备相应的控制芯片,用来根据播放编码数据中对应发光单元自身的控制数据控制内部的发光元件发光。
示例性的拼接灯具的产品形态如图3所示,拼接灯具的灯光组件是由多个灯块邻接拼装而成的,拼接灯具由多个灯块相邻拼接形成面阵,整个面阵与拼接灯具的控制器电连接,由控制器集中控制整个面阵2’播放灯效,因而,控制器1’既负责整个面阵中各个灯块的电源控制,也负责各个灯块的指令控制,还负责对各个灯块的数据传输。灯块的产品形态多种多样,根据灯块的形状及其拼接关系的特点,可以采多种不同形态的灯块来拼接出同一个拼接灯具。可选的形态包括三边形、四边形、五边形、六边形等等任意多边形状,或者任意多条线构成的辐射状等,这些形状适于在同一平面上相邻拼接形成某种布局形状。
拼接灯具的每个灯块可以作为一个独立的灯光组件,其中如前文所述设置有与控制器通信的控制芯片,此外,每个灯块都包括多个发光单元,每个发光单元也可以设置相应的控制芯片,用来解析根据灯效播放指令得到的播放编码数据而生成相应的发光控制信号,通过该发光控制信号控制相应的发光单元中的发光元件按照特定的发光参数进行发光。灯块负责与控制器通信的控制芯片,可以向各个发光单元的控制芯片传输相应的播放编码数据来达到集中控制的目的,所以构成一个集中式的控制单元。
根据以上氛围灯设备的产品架构不难理解,本申请的氛围灯设备指令传输方法由于其主要起到编码产生灯效播放指令的作用,所以主要实现在氛围灯设备的控制器的控制芯片中运行,而本申请的氛围灯设备指令应用方法由于其主要起到解码应用灯效播放指令的作用,所以主要实现在氛围灯设备的灯光组件的控制芯片中运行。为了实现这些目的,可以将本申请的各种方法实现为相应的计算机程序产品,存储于氛围灯设备相应的控制芯片的存储器中,由该控制芯片中的中央处理器从该存储器中调用后运行,从而执行相应的方法的各个步骤。
应当理解,本申请的氛围灯设备指令传输方法与氛围灯设备指令应用方法在技术手段上互相对应,因而,当从氛围灯设备的高度看待时,两种方法之间可以互相涵盖引用对方的各个技术手段以及各个实施例,进一步,还可以组合该两种方式用来构成更高层面的一种氛围灯设备指令控制方法。
请参阅图4,在一个实施例中,本申请的氛围灯设备指令传输方法,主要实现在氛围灯设备的控制器一侧,由控制器的控制芯片负责执行,包括:
步骤S5100、从播放帧序列中有序调用播放帧作为当前播放帧;
氛围灯设备所播放的灯效,是通过多个数据帧按时序播放协同实现的,每个数据帧可视为一个播放帧。播放帧中,对应氛围灯设备中的灯光组件所形成的面阵中的每个发光单元,给出控制每个发光单元发光工作的控制数据,因此,每个播放帧可以将面阵中的每个发光单元视为一个像素点,整个播放帧便可以看成是一个图像数据。
氛围灯设备的面阵可以借助其发光单元布局信息来描述,控制器事先通过对灯光组件进行查询,或者通过终端设备接收用户传输的文件,便可得到灯光组件的面阵的发光单元布局信息,可将其存储到存储器中,随时调用。据此,当控制器得到一张原始图像作为原图帧时,便可以根据发光单元布局信息将该原图帧转换为相应的播放帧,实现将原图帧上的光线效果投射到相应的播放帧中。当控制器需要按照一个动图播放灯效时,便可根据发光单元布局信息将该动图中的各个原图帧逐一转换为相应的播放帧,由这些播放帧按时序组织构造成播放帧序列,以便以播放帧序列为基础,控制灯光组件在其布阵上播放相应帧的灯光效果。
发光单元布局信息可以按照不同形式的氛围灯设备进行不同形式的描述,例如:
以窗帘灯设备为例,其灯光组件由多条发光灯带同向并排而成,每条发光灯带又有同样数量的多个灯珠作为发光单元,整体在构成一个矩阵式的面阵,据此,发光单元布局信息中可以按照这种矩阵关系,表示出每个发光单元的位置信息,实现对各个发光单元在该面阵中的空间分布结果的描述。
以拼接灯具为例,其灯光组件由多个灯块相邻拼接而成,每个灯块又分区域设置,每个区域又包含有多个发光单元,这种情况下,虽然按照各个灯块组织而成的面阵不是直观的矩阵式结构,但仍可通过表示出各个灯块、各个发光单元的位置信息,来描述其中各个发光单元在其布阵 中的空间分布结果。
本申请的播放帧序列,通过其中的全部播放帧按照时序播放相应的灯效,通过各帧灯效的协同作用,可以在灯光组件的面阵上呈现相应的动态效果。所以,该播放帧序列通常可以来源于同一灯效动图文件,其中的各个播放帧,可以分别对于灯效动图文件中的各个原图帧设定。
由于播放帧序列中的各个播放帧是根据时序组织的,所以,本申请在播放帧序列中调用播放帧用于控制灯光组件的面阵形成相应的帧的灯效的过程中,可将播放帧序列视为一个消息队列,从其中首个播放帧开始,通过该消息队列逐一出列各个播放帧,对于每个出列的播放帧,将其视为当前播放帧,执行后文的各个步骤,例如步骤S5200至步骤S5400,直至发出当前播放帧相对应的灯效播放指令,从而完成每个播放帧的灯效播放。
步骤S5200、基于当前播放帧的帧类型确定当前播放帧的目标编码策略;
对于动图的图像帧来说,通常可以按照帧类型区分不同图像帧的属性,由于播放帧也相当于图像帧,所以,本申请的播放帧序列中的播放帧,也可以按照其帧属性来加以区分出不同的帧类型。
本申请适配氛围灯设备而示例性预设的帧类型可以包括关键帧、预测帧、特殊帧三种。关键帧相当于常规图像编码协议中的I帧,指示当前播放帧属于独立完整数据,对于关键帧,需要将其全量的原型数据作为有效数据进行编码,以便提供完整的图像信息,一般来说,每秒钟可以设定一个关键帧,例如,当帧率为30帧每秒时,每30帧可以设置一个关键帧。预测帧相当于常规图像编码协议中的P帧,指示当前播放帧属于可由其在先的相邻播放帧适配运动向量数据变换而得的数据,所以通常可以根据运动向量数据及其在先的相邻播放帧来确定当前播放帧的原型数据,可将运动向量数据作为其编码所需的有效数据。特殊帧是除关键帧和预测帧以外的其他类型的图像帧,对于这种图像帧,既可以利用其与在先的相邻播放帧之间的帧差数据来确定其原型数据,也可直接使用其原型数据,具体采用何种数据作为有效数据进行编码得到其播放编码数据,可通过试算择优确定。
需要指出的是,此处所称的原型数据,是指播放帧中原始完整表示的数据形式,即标示了每个发光单元相对应的控制数据的位图形式。本申请所称的相邻图像帧,既可以是指播放帧序列中在时序上相对于当前播放帧先到达的前一个播放帧,也可以前若干个播放帧,或者是指在当前播放帧之前的关键帧,具体可灵活设定。在一些实施例中,当当前播放帧不存在相邻播放帧时,也可以直接将当前播放帧视为关键帧。
控制器可以基于各种可行的现有算法,根据当前播放帧与其在先的相邻播放帧之间的图像数据关系,确定出当前播放帧是否属于关键帧、预测帧、特殊帧等不同帧类型。在控制器的控制芯片的算力足够胜任部署相应的轻量化的深度学习模型的情况下,还可以借助深度学习模型,对每个当前播放帧参考其在先的相邻播放帧进行帧类型识别,以便借助神经网络的智能化程度,快速准确地确定当前播放帧的帧类型。
据此不难理解,不同的帧类型,其需要编码的有效数据可能不一致,在数据量的规模上也有所不同,这种情况下,便可对应不同的帧类型,设置其相对应的编码策略,由此,基于当前播放帧的帧类型,便可确定其帧类型相应的编码策略作为目标编码策略,后续便可根据目标编码策略对当前播放帧的有效数据进行编码得到相应的播放编码数据。
对应帧类型是关键帧的情况,本申请为其提供原图编码策略,并将原图编码策略设定为将当前播放帧的原型数据作为有效数据进行编码得到相应的播放编码数据。对应帧类型是运动帧的情况,本申请为其提供向量编码策略,并将向量编码策略设定为将当前播放帧相对于其在先的相邻播放帧的运动向量数据作为有效数据进行编码得到相应的播放编码数据。对应帧类型是特殊帧的情况,本申请为其提供试算编码策略,并将试算编码策略设定为从试算所得的两个播放编码数据中选定数据量最小者作为当前播放帧的播放编码数据,所述两个播放编码数据分别是以当前播放帧的原型数据、当前播放帧与其在先的相邻播放帧之间的帧差数据为试算的有效数据编码得到的。
至此可知,帧类型相对应的目标编码策略已经事先配置,可以实现为相应的编码接口,在根据帧类型确定了相应的编码算法后,相应调用即可。
步骤S5300、根据所述目标编码策略确定当前播放帧的有效数据及其数据类型,将所述有效数据编码为播放编码数据;
如前一步骤所说明的情况,每种编码策略事先已经规定了其如何确定当前播放帧相对应的有效数据,因而,当一个目标编码策略相对应的编码接口被调用之后,该编码接口便按照其预设的业务逻辑,基于当前播放帧及其在先的相邻播放帧确定出当前播放帧相对应的有效数据。以下区分各种不同的帧类型,对当前播放帧所确定的有效数据进行相应的说明:
对于关键帧,由于其需要编码其完整的原型数据,所以,相应的原图编码策略在被应用时,便将其原型数据作为有效数据,直接调用预设的编码算法,对该有效数据进行编码,得到相应的播放编码数据。由于涉及到对原型数据的编码,其数据量较大,在选取编码算法时,可选用Fastlz(LZ77)编码算法、哈夫曼编码算法等等可行的现有无损或有损的压缩编码算法,从而尽可能将当前播放帧编码所得的播放编码数据的数据量保持在合理的体积范围内,以便取得对控制器的传输效率进行有效控制的效果,例如,使播放编码数据尽可能最小化。
对于预测帧,由于其可以根据当前播放帧与在先的相邻图像帧之间的运动关系来确定出运动向量数据,运动向量数据采用位置坐标形式表示,数据量较小,所以,预测帧所对应的向量编码策略,可以该运动向量数据为有效数据,直接对其进行编码得到当前播放帧相对应的播放编码数据,由此既保证数据量较小,又能带宽。当然,在其他变通的实施例中,向量编码策略仍可进一步调用编码算法对运动向量数据进行压缩,以进一步缩小相应的播放编码数据的数据量。
对于特殊帧,由于其既不是关键帧,又不是预测帧,处于模糊区间,在这种情况下,为其应用试算编码策略作为目标编码策略。当其试算编码策略被应用时,其相应的业务逻辑被运行,据此,相应的编码接口可先按照处理关键帧的方式,复用处理关键帧相对应的编码算法作为第一编码算法,将当前播放帧的原型数据作为试算有效数据编码得到第一播放编码数据,然后,先求出当前播放帧与其在先的相邻播放帧之间的帧差数据,再调用处理预测帧相对应的编码算法作为第二编码算法,将当前图像帧的帧差数据作为试算有效数据编码得到第二播放编码数据,最后,比较第一播放编码数据和第二播放编码数据的数据量,确定其中数据量最小者,作为当前播放帧相对应的播放编码数据,同理,得到这个播放编码数据相对应的试算有效数据,也就是当前播放帧真正的有效数据。同理,这里采用的第一编码算法和第二编码算法,均可以是压缩编码算法,具体可灵活设定。
根据以上的说明可知,当一个目标编码策略被应用之后,便确定了当前播放帧的播放编码数据相对应的数据源,也即有效数据,而有效数据属于哪种数据类型已经是确定的,所以也就确定了有效数据的数据类型,将每个播放编码数据与其有效数据所采用的数据类型进行关联映射,可供后续封装灯效播放指令之用,而该数据类型则可以进一步指导在对播放编码数据解码之后如何根据解码所得的有效数据还原出当前播放帧的原型数据。有效数据的数据类型,对应有效数据的数据种类来设定,具体而言,对于有效数据属于原型数据、运动向量数据、帧差数据三种不同情况,数据类型可设定为包括原型数据类型、向量数据类型、帧差数据类型三种。
根据此处的说明还可以看出,试算编码策略对于使播放编码数据的数据量最小化的目标来说,发挥着关键作用。并且,在几种编码策略中,还可以按需实现复用具体的编码算法,能够有效地减小相应的计算机程序的代码量,节省产品开发成本,更为重要的是,按照这些编码策略的灵活选用,可以有效减小整个灯效所需的各个播放编码数据在控制器和灯光组件之间的传输的带宽开销,从而提升传输容量,确保灯光组件能够工作在更高的刷新频率上播放相应的灯效,使灯效更为细腻自然。
步骤S5400、将当前播放帧的播放编码数据及其有效数据的数据类型封装为灯效播放指令传输至所述氛围灯设备的灯光组件的控制芯片中执行。
在完成一个播放帧的编码,得到其相应的播放编码数据及其所采用的有效数据的数据类型之后,控制器便可以按照其与灯光组件之间架设的数据通信协议,将该播放编码数据及该数据类型编码到同一数据包中成为灯效播放指令,然后将该数据包发送给灯光组件的控制芯片以实现对当前播放帧相对应的灯效播放指令的传输。
灯光组件的控制芯片接收到该数据包之后,将其视为灯效播放指令,解析提取出其中的播放编码数据及数据类型,然后,按照与编码对应的方式,解码该播放编码数据得到当前播放帧的有效数据,由此,编码得到该播放编码数据的有效数据,以及其所属的数据类型都得以确定,灯光组件的控制芯片便可根据该数据类型,基于有效数据,还原出当前播放帧的原型数据。灯光组件的控制芯片根据灯效播放指令还原出当前播放帧的原型数据的方法,可按照本申请的氛围灯设备指令应用方法执行,详见后文。
根据以上实施例可以知晓,本申请有序逐帧获取用来控制灯光组件播放相应帧的灯效的播放帧作为当前播放帧,对当前播放帧的帧类型进行分析,区别不同帧类型确定相应的目标编码策略,得到当前播放帧相应的有效数据,仅对这部分有效数据进行编码得到当前播放帧相对应的播放编码数据,将该播放编码数据与其有效数据的数据类型一起封装为当前播放帧相对应的灯效播放指令,传输给氛围灯设备的灯光组件的控制芯片进行相应的解码和应用,实现控制灯光组件播放当前播放帧相对应的灯效,由此,实现根据不同帧类型采用相应的目标编码策略对当前播放帧进行灵活编码,确保对应每种帧类型都可以采用最优的编码策略实现对当前播放帧的编码,可使编码效率最优化,进而有效扩大通行于数据传输通道中的播放帧的规模,使嵌入式芯片可以更高的效率传输灯效播放指令,在单位时间内传输更多帧播放编码数据,对应解码后便可快速应用实现对应帧的灯效播放,有效提升灯光组件播放灯效时的刷新率,使灯效更为细腻自然。
在本申请的指令传输方法的任意实施例的基础上,请参阅图5,基于当前播放帧的帧类型确定当前播放帧的目标编码策略,包括:
步骤S5210、识别确定当前播放帧的帧类型,所述帧类型为关键帧、预测帧、特殊帧中任意一种,所述关键帧指示当前播放帧属于独立完整数据,所述预测帧指示当前播放帧属于可由其在先的相邻播放帧适配运动向量数据变换而得的数据,所述特殊帧指示当前播放帧属于不为所述关键帧和预测帧的其他类型的数据;
如前文所述,本申请中,当前播放帧的帧类型可以属于设定的关键帧、预测帧、特殊帧中的任意一项。据此,当播放帧序列中有一个播放帧作为当前播放帧出列时,可将当前播放帧的原型数据与其在先的相邻图像帧的原型数据进行综合分析,判决当前播放帧是否属于关键帧、预测帧或特殊帧。
在一种实施例中,识别帧类型的算法,可以采用传统算法实施,将传统算法实现为相应的识别接口,调用该识别接口对当前播放帧及其在先的相邻图像帧进行识别,便可得到当前播放帧的帧类型。传统算法具有实现便捷计算高效的优势,较适用于在嵌入式芯片中使用。
在另一实施例中,可以预先训练一个基于深度学习的帧类型识别模型,以当前播放帧、其在先的相邻图像帧各自的原型数据,分别编码输入至该帧类型识别模型的一个特征提取网络中,由该特征提取网络分别提取出其各自的深层语义信息,再将两个深层语义信息融合为综合特征图,然后,通过该帧类型识别模型中的多分类器,将其映射至预设的分类空间中,确定出该分类空间内对应关键帧、预测帧、特殊帧设定的类别的分类概率,将分类概率最大的帧类型,确定为当前播放帧的帧类型。该特征提取网络可以采用卷积神经网络(CNN,Convolutional Neural Network)、循环神经神经网络(RNN,Reccurrent NeuralNetwork),变换器(Transformer)中的编码器等任意一项。帧类型识别模型可以预先采用对应的训练样本及监督标签进行相应的训练,从而习得根据给定的第一和第二原型数据识别出其中的第一原型数据的帧类型的能力,其中的第一原型数据约束为对应输入当前播放帧的原型数据,第二原型数据约束对应输入相邻播放帧的原型数据即可。
基于深度学习的模型,能够快速高效且准确地确定帧类型,更为智能化。因而,在氛围灯设备的控制器的算力胜任的情况下,可以优先使用。
步骤S5220、若当前播放帧的帧类型为关键帧,确定当前播放帧的目标编码策略为原图编码策略,所述原图编码策略设定为将当前播放帧的原型数据作为有效数据进行编码得到相应的播放编码数据;
步骤S5230、若当前播放帧的帧类型为预测帧,确定当前播放帧的目标编码策略为向量编码策略,所述向量编码策略设定为将当前播放帧相对于其在先的相邻播放帧的运动向量数据作为有效数据进行编码得到相应的播放编码数据;
步骤S5240、若当前播放帧的帧类型为特殊帧,确定当前播放帧的目标编码策略为试算编码策略,所述试算编码策略设定为从试算所得的两个播放编码数据中选定数据量最小者作为当前播放帧的播放编码数据,所述两个播放编码数据分别是以当前播放帧的原型数据、当前播放帧与其在先的相邻播放帧之间的帧差数据为试算的有效数据编码得到的。
根据以上三个步骤,区分当前播放帧的帧类型属于关键帧、预测帧、特殊帧,分别对应设置当前播放帧的目标编码策略为原图编码策略、向量编码策略、试算编码策略。各种策略的功能可参阅前文所介绍,其在后续步骤中被应用执行。需要指出的是,在基于这一实施例变通实施的其他实施例中,还可以进一步细分特殊帧,例如,从特殊帧中识别出空白帧,对于空白帧,只需在构造灯效播放指令时,传输特殊的标识作为播放编码数据即可,在灯光组件的控制芯片一侧则对应理解即可。
根据以上实施例可知,通过采用适当的识别方式可以快速识别当前播放帧的帧类型,以便根据帧类型快速确定相应的目标编码策略,各种识别方式均可适应氛围灯设备的控制器所采用的控制芯片类型进行灵活选用,实施起来较为便利。
在本申请的指令传输方法的任意实施例的基础上,根据所述目标编码策略确定当前播放帧的有效数据及其数据类型,将所述有效数据编码为播放编码数据,包括:
步骤S5310、对所述当前播放帧应用所述目标编码策略,根据所述目标编码策略确定当前播放帧的有效数据进行编码生成相应的播放编码数据;
如前文所述,当为当前播放帧确定了其相应的目标编码策略之后,便可对其应用该目标编码策略。目标编码策略指导如何基于当前播放帧的原型数据及其相邻播放帧的原型数据,确定出当前播放帧的有效数据,后续便可以该有效数据为基础,应用相适配的编码算法,编码得到当前播放帧相对应的播放编码数据。
步骤S5320、根据得到所述播放编码数据的有效数据的数据种类确定其相应的数据类型,所述数据类型包括分别与所述原型数据、所述运动向量数据、所述帧差数据相对应的原型数据类型、向量数据类型、帧差数据类型。
在应用目标编码策略确定出当前播放帧的有效数据的过程中,实际上也就确定了有效数据的数据种类,由于事先已经根据有效数据的数据种类规划了不同数据种类相对应的数据类型,所以,一旦确定有效数据,也便确定了其相对应的数据类型。
根据前文的介绍可知,当有效数据是原型数据时,其数据类型便是原型数据类型;当有效数据是运动向量数据时,其数据类型便是向量数据类型;当有效数据是帧差数据时,其数据类型便是帧差数据类型。各种数据类型的指示明确,方便解码还原时识别。
应当指出的是,当目标编码策略是试算编码策略时,其最终用来编码得到播放编码数据的试算有效数据,既可能是当前播放帧的原型数据,也可能是当前播放帧相对于其相邻播放帧的帧差数据,具体需要在按照这种数据得到各自的播放编码数据时,择其中数据量最小者确定。
根据以上实施例可知,在为当前播放帧应用其相应的目标编码策略的过程中,便可确定出其相应的有效数据及数据类型,构成完整的指示信息,其中有效数据会被编码为播放编码数据,播放编码数据与数据类型关联封装为灯效播放指令,通过向灯光组件发送该灯效播放指令,可以确保灯光组件的控制芯片能够根据该指示信息,还原出当前播放帧的原型数据,确保能够根据原型数据播放相应帧的灯效。
在本申请的指令传输方法的任意实施例的基础上,请参阅图6,从播放帧序列中有序调用播放帧作为当前播放帧之前,包括:
步骤S4100、获取灯效动图文件;
灯效动图文件可以是Gif、Flash、PNG之类的适于定义动态图任意格式的文件,其中通常包含多个按时序组织的图像帧。灯效动图文件可以预先存储到控制器的控制芯片的存储器中,也可以由用户通过终端设备传输给控制器,总之,控制器可以直接调用该灯效动图文件使用。
步骤S4200、解析所述灯效动图文件,得到其中的多个原图帧;
控制器获取灯效动图文件后,按照灯效动图文件的格式协议,对其进行解析,提取出其中包含的各个图像帧,这些图像帧即为原图帧。
步骤S4300、基于所述灯光组件的发光单元布局信息,将每个原图帧相应转换为对应所述灯光组件中的各个发光单元提供相应的发光控制数据的播放帧;
如前文所说明,控制器事先已经获得灯光组件的发光单元布局信息,发光单元布局信息中,存储了灯光组件的面阵中的各个发光单元的位置信息,由此可将发光单元视为面阵中的像素。据此,对于从灯效动图文件中提取出的原图帧,可以根据该发光单元布局信息,将原图帧的各个像素的颜色值映射到灯光组件的面阵的各个相应像素,也即各个发光单元中,使每个发光单元都获得其投射原图帧的相应部位的光线氛围相对应的发光控制数据,将这些发光控制数据封装为整体,即构成与原图帧相对应的播放帧。
一个实施例中,请继续结合图2,考虑到灯光组件所形成的面阵中的像素密度也即分辨率通常不同于原图帧的分辨率,可以事先确定原图帧的像素密度和面阵的像素密度之间的转换比例,然后根据这个转换比例来确定单个发光单元即单个像素所应负责投射的原图帧中的多个像素,也就是说,通常,原图帧的位置相邻的多个像素与灯光组件面阵中的单个发光单元之间可以建立映射关系,据此,在确定该发光单元的发光控制数据时,可以将原图帧中相对应的多个像素的颜色值求均值之后作为该发光控制数据使用,由此实现将这些像素的色调投射到该发光单元中。按照这种关系进行转换,原图帧的光线氛围效果,便被迁移表示到相应的播放帧中,后续根据播放帧控制灯光组件播放出来的灯效,便自然具有对该原图帧进行仿真光线氛围甚至仿真图像内容的效果。
步骤S4400、将各个所述播放帧按照其相应的原图帧在灯效动图文件中的顺序重新构造为播放帧序列。
各个原图帧都按照前一步骤转换出其相应的播放帧后,便可将各个播放帧构造为播放帧序列,然后按照各个原图帧在灯效动图文件中的既定时序,重新组织播放帧序列中各个播放帧的排序,使其排序与其相应的原图帧在灯效动图文件中的排序一致即可。
根据以上实施例可知,本申请可以进一步根据灯效动图文件来构造播放帧,通过播放帧的应用播放,使氛围灯设备可以实现对灯效动图文件所塑造的动图的光线氛围以及动图的图像内容本身的仿真,由于动图中的原图帧都是事实上的图像数据,数据量较大,按照本实施例,由控制器根据发光单元布局信息将原图帧转换为播放帧后再传输到灯光组件的控制芯片中解码应用,数据量更小,同时可以兼顾灯效传输播放效率和灯效所仿真的氛围或图案的画质,有效均衡各种产品需求,使氛围灯设备更趋实用。
在本申请的指令传输方法的任意实施例的基础上,在本申请的一个实施例中,氛围灯设备的控制器,可以循环播放同一灯效,这种情况下,当步骤S5400将当前播放帧的播放编码数据及其有效数据的数据类型封装为灯效播放指令传输至所述氛围灯设备的灯光组件的控制芯片中执行之后,便回到从播放帧序列中有序调用播放帧作为当前播放帧的步骤,即步骤S5100,继续调用下一播放帧,以便继续迭代执行在后的各个步骤如步骤S5200至步骤S5400,以此类推,直至播放帧序列中的最后一个播放帧完成相同的迭代后,整个播放帧序列中的全部播放帧都已经完成播放,这时,便重新从播放帧序列中的首个播放帧继续循环迭代本申请的各个步骤S5100至步骤S5400,以此类推,不断循环播放整个播放帧序列中的各个播放帧,便可以实现在灯光组件的面阵上循环播放同一动态灯效。
基于前一实施例变通实施的另一实施例中,基于当前播放帧的帧类型确定当前播放帧的目标编码策略之前,包括:
步骤5152、检测当前播放帧是否存在与之相映射的历史存档的灯效播放指令,当存在时,直接将该灯效播放指令传输至所述氛围灯设备的灯光组件的控制芯片中执行,然后回到从播放帧序列中有序调用播放帧作为当前播放帧的步骤继续调用一播放帧作为当前播放帧;当不存在时,从基于当前播放帧的帧类型确定当前播放帧的目标编码策略的步骤继续执行。
具体而言,在本申请前文的各个实施例中每个播放帧被首次构造成灯效播放指令之后,相应的灯效播放指令可以与该播放帧进行映射存储,据此,当进入第二次以上对播放帧序列中的播放帧进行循环迭代时,每次从播放帧序列调出一个播放帧作为当前播放帧之后,需要针对该播放帧向灯光组件发送其相应的灯效播放指令,由此,只需先检测该当前播放帧是否存在相映射的事先历史存档的灯效播放指令,如果存在,则调用该历史存档的灯效播放指令,重新传输给灯光组件的控制芯片执行即可,然后便可继续回到步骤S5100调出下一播放帧作为当前播放帧,以此类推进行迭代;如果不存在历史存档的灯效播放指令,则可按照前文各实施例的原有的业务逻辑继续执行对当前播放帧的处理,例如继续执行步骤S5200至步骤S5400的过程,全新构造出当前播放帧的灯效播放指令。
由此可见,循环播放同一灯效时,可以复用首次生成的灯效播放指令,避免控制器每次都要重新为播放帧构造灯效播放指令,能有效降低控制器的控制芯片的算力负荷,节省其系统开销。
请参阅图7,在一个实施例中,本申请的氛围灯设备指令应用方法,主要实现在氛围灯设备的灯光组件一侧,由灯光组件的控制芯片负责执行,包括:
步骤S6100、接收氛围灯设备的控制器传输的灯效播放指令,所述灯效播放指令包含对应用于播放灯效的当前播放帧的播放编码数据及编码得到该播放编码数据的有效数据相对应的数据类型;
灯光组件所接收的灯效播放指令,如前文所揭示,是由其所在的氛围灯设备中的控制器的控制芯片传输过来的,该灯效播放指令以数据包传输,封装了灯效中当前播放帧相对应的播放编码数据,以及编码得到该播放编码数据的有效数据相对应的数据类型。
本申请的控制器的控制芯片和灯光组件的控制芯片之间,可以基于I2C、SPI、UART等任意串行通信协议进行通信,只要通信的两方互认协议,便可接收互相接收数据包,互相解析出对方的数据包,得到其中的数据和指令。
步骤S6200、根据所述有效数据的数据类型对所述播放编码数据进行解码,得到当前播放帧的有效数据;
灯光组件的控制芯片解析提取出灯效播放指令,得到其中的播放编码数据和数据类型后,便可按照双方预协议的方式,进一步对播放编码数据进行解码,得到相应的有效数据。
由于数据类型规定了用来编码得到播放编码数据的数据种类,实际也就是指定了编码相应的有效数据的编码算法,因此,灯光组件的控制芯片可以根据该数据类型,确定相应的解码算法,对播放编码数据解码得到相应的有效数据。例如,当数据类型指示为原型数据类型时,便采用编码原型数据相对应的具体编码算法,这个具体编码算法是与控制器的控制芯片预协议确定的编码算法,对有效数据解码得到原型数据;当数据类型指示为向量数据类型时,便采用相对应的具体编码算法对有效数据进行解码得到运动向量数据,同理,这个具体编码算法也是与控制器的控制芯片预协议一致的;当数据类型指示为帧差数据类型时,便采用编码帧差数据相对应的算法,对有效数据进行解码得到相应的帧差数据作为有效数据。其中,解码时所使用的具体编码算法,是与编码时所使用的具体编码算法一一对应的,编码时采用压缩算法,则解码时也使用压缩算法;编码时采用第一或第二编码算法,解码时也相应使用第一或第二编码算法,以此类推。
步骤S6300、根据所述有效数据的数据类型,应用与该数据类型相对应的还原算法,基于所述有效数据还原出当前播放帧的原型数据;
虽然在上一步骤中已经解码获得相应的有效数据,但根据前文可知,不同数据类型的有效数据,根据其还原出当前播放帧的原型数据的方式也相应不同,据此,同理需要根据该数据类型,应用与该数据类型相对应预设的还原算法,将有效数据还原为当前播放帧的原型数据。具体可见如图8所示的处理过程,包括如下步骤:
步骤S6310、当所述数据类型为原型数据类型时,采用原图还原算法将所述有效数据直接设定为当前播放帧的原型数据;
当数据类型是原型数据类型时,意味着从播放编码数据中解码出来的有效数据本身便是原型数据,这种情况下,无需额外处理,应用预设的原图还原算法,直接将有效数据设定为当前播放帧的原型数据即可。需要注意的是,将有效数据直接作为原型数据使用的情况,既可能是关键帧,也可能是特殊帧。
步骤S6320、当所述数据类型为向量数据类型时,采用向量还原算法将所述有效数据作为当前播放帧相对于其在先的相邻播放帧的运动向量数据,根据该相邻播放帧与该运动向量数据还原出当前播放帧的原型数据;
当数据类型是向量数据类型时,意味着从播放编码数据中解码出来的有效数据是当前播放帧相对于其相邻播放帧的运动向量数据,而其相邻播放帧由于时序在先,所以已经事先处理得到其原型数据,所以,应用预设的向量还原算法,根据相邻播放帧的原型数据与该运动向量数据进行计算,即可得到当前播放帧的原型数据。
步骤S6330、当所述数据类型为帧差数据类型时,采用帧差还原算法将所述有效数据作为当前播放帧相对于其在先的相邻播放帧的帧差数据,根据该相邻播放帧与该帧差数据还原出当前播放帧的原型数据。
当数据类型是帧差数据类型时,意味着从播放编码数据中解码出来的有效数据是当前播放帧相对于其相邻播放帧的帧差数据,而其相邻播放帧由于时序在先,其原型数据已经事先生成,所以,应用预设的帧差还原算法,在相邻播放帧的原型数据的基础上,与有效数据以像素对应叠加计算,便可还原出当前播放帧的原型数据。
步骤S6400、根据所述原型数据控制所述灯光组件播放当前播放帧相对应的灯效。
根据以上过程解码和还原得到的原型数据,其实质便是当前播放帧的原型数据,其中包含各个灯光组件中各个发光单元的发光控制数据,例如颜色值,因此,灯光组件的控制芯片便可将该原型数据发送给各个发光单元,使各个发光单元中都可以按照该原型数据中与自身相对应的发光控制数据,控制发光单元内部的发光元件进行发光,从而,实现利用原型数据控制灯光组件的整个面阵播放一帧图像数据,形成一帧图像效果,起到妆点氛围的作用。
根据以上实施例可见,氛围灯设备的灯光组件按照本申请对播放帧进行编码相对应的策略,根据控制器传输过来的灯效播放指令中的数据类型,对该指令中的播放编码数据进行解码得到有效数据,再根据该数据类型将该有效数据还原为当前播放帧的原型数据,将该原型数据作为播放控制数据,控制各个发光单元协同播放一帧灯效,以此类型播放各帧灯效从而形成动态灯效,借助编码策略实现压缩数据量的能力,能够在有限时间内接收更多帧的原型数据,从而可以实现以更高的刷新频率播放灯效,可以塑造出更细腻的灯光效果,有助于产品的进一步推广应用。
请参阅图9,本申请的另一实施例还提供一种氛围灯设备指令传输装置,其包括有序调度模块5100、策略确定模块5200、编码执行模块5300,以及封装传输模块5400,其中,所述有序调度模块5100,设置为从播放帧序列中有序调用播放帧作为当前播放帧;所述策略确定模块5200,设置为基于当前播放帧的帧类型确定当前播放帧的目标编码策略;所述编码执行模块5300,设置为根据所述目标编码策略确定当前播放帧的有效数据及其数据类型,将所述有效数据编码为播放编码数据;所述封装传输模块5400,设置为将当前播放帧的播放编码数据及其有效数据的数据类型封装为灯效播放指令传输至所述氛围灯设备的灯光组件的控制芯片中执行。
在本申请的指令传输装置的任意实施例的基础上,所述策略确定模块5200,包括:类型识别单元,设置为识别确定当前播放帧的帧类型,所述帧类型为关键帧、预测帧、特殊帧中任意一种,所述关键帧指示当前播放帧属于独立完整数据,所述预测帧指示当前播放帧属于可由其在先的相邻播放帧适配运动向量数据变换而得的数据,所述特殊帧指示当前播放帧属于不为所述关键帧和预测帧的其他类型的数据;第一匹配单元,设置为若当前播放帧的帧类型为关键帧,确定当前播放帧的目标编码策略为原图编码策略,所述原图编码策略设定为将当前播放帧的原型数据作为有效数据进行编码得到相应的播放编码数据;第二匹配单元,设置为若当前播放帧的帧类型为预测帧,确定当前播放帧的目标编码策略为向量编码策略,所述向量编码策略设定为将当前播放帧相对于其在先的相邻播放帧的运动向量数据作为有效数据进行编码得到相应的播放编码数据;第三匹配单元,设置为若当前播放帧的帧类型为特殊帧,确定当前播放帧的目标编码策略为试算编码策略,所述试算编码策略设定为从试算所得的两个播放编码数据中选定数据量最小者作为当前播放帧的播放编码数据,所述两个播放编码数据分别是以当前播放帧的原型数据、当前播放帧与其在先的相邻播放帧之间的帧差数据为试算的有效数据编码得到的。
在本申请的指令传输装置的任意实施例的基础上,所述编码执行模块5300,包括:应用编码单元,设置为对所述当前播放帧应用所述目标编码策略,根据所述目标编码策略确定当前播放帧的有效数据进行编码生成相应的播放编码数据;类型确定单元,设置为根据得到所述播放编码数据的有效数据的数据种类确定其相应的数据类型,所述数据类型包括分别与所述原型数据、所述运动向量数据、所述帧差数据相对应的原型数据类型、向量数据类型、帧差数据类型。
在本申请的指令传输装置的任意实施例的基础上,本申请的氛围灯设备指令传输装置,先于所述有序调度模块5100的运行而包括:动图获取模块,设置为获取灯效动图文件;解析提取模块,设置为解析所述灯效动图文件,得到其中的多个原图帧;数据转换模块,设置为基于所述灯光组件的发光单元布局信息,将每个原图帧相应转换为对应所述灯光组件中的各个发光单元提供相应的发光控制数据的播放帧;序列构造模块,设置为将各个所述播放帧按照其相应的原图帧在灯效动图文件中的顺序重新构造为播放帧序列。
在本申请的指令传输装置的任意实施例的基础上,先于所述策略确定模块5200的运行,本申请的指令传输装置还包括:指令复用模块,设置为检测当前播放帧是否存在与之相映射的历史存档的灯效播放指令,当存在时,直接将该灯效播放指令传输至所述氛围灯设备的灯光组件的控制芯片中执行,然后回到所述有序调度模块5100继续调用一播放帧作为当前播放帧;当不存在时,从所述策略确定模块5200继续执行。
请参阅图10,本申请的另一实施例还提供一种氛围灯设备指令应用装置,包括指令接收模块6100、解码执行模块6200、数据还原模块6300,以及播放控制模块6400,其中,所述指令接收模块6100,设置为接收氛围灯设备的控制器传输的灯效播放指令,所述灯效播放指令包含对应用于播放灯效的当前播放帧的播放编码数据及编码得到该播放编码数据的有效数据相对应的数据类型;所述解码执行模块6200,设置为根据所述有效数据的数据类型对所述播放编码数据进行解码,得到当前播放帧的有效数据;所述数据还原模块6300,设置为根据所述有效数据的数据类型,应用与该数据类型相对应的还原算法,基于所述有效数据还原出当前播放帧的原型数据;所述播放控制模块6400,设置为根据所述原型数据控制所述灯光组件播放当前播放帧相对应的灯效。
在本申请的指令应用装置的任意实施例的基础上,所述数据还原模块6300,包括:原图还原单元,设置为当所述数据类型为原型数据类型时,采用原图还原算法将所述有效数据直接设定为当前播放帧的原型数据;向量还原单元,设置为当所述数据类型为向量数据类型时,采用向量还原算法将所述有效数据作为当前播放帧相对于其在先的相邻播放帧的运动向量数据,根据该相邻播放帧与该运动向量数据还原出当前播放帧的原型数据;帧差还原单元,设置为当所述数据类型为帧差数据类型时,采用帧差还原算法将所述有效数据作为当前播放帧相对于其在先的相邻播放帧的帧差数据,根据该相邻播放帧与该帧差数据还原出当前播放帧的原型数据。
在本申请任意实施例的基础上,请参阅图11,本申请的另一实施例还提供一种计算机设备,该计算机设备可以充当氛围灯设备中的控制器/灯光组件使用,如图11所示,计算机设备的内部结构示意图。该计算机设备包括通过系统总线连接的处理器、计算机可读存储介质、存储器和网络接口。其中,该计算机设备的计算机可读存储介质存储有操作系统、数据库和计算机可读指令,数据库中可存储有控件信息序列,该计算机可读指令被处理器执行时,可使得处理器实现一种氛围灯设备指令传输/应用方法。该计算机设备的处理器用于提供计算和控制能力,支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令,该计算机可读指令被处理器执行时,可使得处理器执行本申请的氛围灯设备指令传输/应用方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解,图11中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本实施方式中处理器用于执行图9/图10中的各个模块及其子模块的具体功能,存储器存储有执行上述模块或子模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有本申请的氛围灯设备指令传输装置中执行所有模块/子模块所需的程序代码及数据,服务器能够调用服务器的程序代码及数据执行所有子模块的功能。
本申请还提供一种存储有计算机可读指令的存储介质,计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行本申请任一实施例所述氛围灯设备指令传输/应用方法的步骤。
本申请还提供一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被一个或多个处理器执行时实现本申请任一实施例所述氛围灯设备指令传输/应用方法的步骤。
本领域普通技术人员可以理解实现本申请上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等计算机可读存储介质,或随机存储记忆体(Random Access Memory,RAM)等。
以上所述仅是本申请的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
综上所述,本申请在播放灯效时,氛围灯设备的控制器一侧实现根据不同帧类型采用相应的目标编码策略对当前播放帧进行灵活编码,确保对应每种帧类型都可以采用最优的编码策略实现对当前播放帧的编码,可使编码效率最优化,进而有效扩大通行于数据传输通道中的播放帧的规模,使嵌入式芯片可以更高的效率传输灯效播放指令,在单位时间内传输更多帧播放编码数据,灯光组件侧进行快速解码应用,可以有效提升灯光组件播放灯效时的刷新率,使灯效更为细腻自然,有助于氛围灯设备的产业推广。
Claims (8)
1.一种氛围灯设备指令传输方法,其特征在于,包括:
从播放帧序列中有序调用播放帧作为当前播放帧;
基于当前播放帧的帧类型确定当前播放帧的目标编码策略;
根据所述目标编码策略确定当前播放帧的有效数据及其数据类型,将所述有效数据编码为播放编码数据;
将当前播放帧的播放编码数据及其有效数据的数据类型封装为灯效播放指令传输至所述氛围灯设备的灯光组件的控制芯片中执行;
所述基于当前播放帧的帧类型确定当前播放帧的目标编码策略,包括:
识别确定当前播放帧的帧类型,所述帧类型为关键帧、预测帧、特殊帧中任意一种,所述关键帧指示当前播放帧属于独立完整数据,所述预测帧指示当前播放帧属于可由其在先的相邻播放帧适配运动向量数据变换而得的数据,所述特殊帧指示当前播放帧属于不为所述关键帧和预测帧的其他类型的数据;
若当前播放帧的帧类型为关键帧,确定当前播放帧的目标编码策略为原图编码策略,所述原图编码策略设定为将当前播放帧的原型数据作为有效数据进行编码得到相应的播放编码数据;
若当前播放帧的帧类型为预测帧,确定当前播放帧的目标编码策略为向量编码策略,所述向量编码策略设定为将当前播放帧相对于其在先的相邻播放帧的运动向量数据作为有效数据进行编码得到相应的播放编码数据;
若当前播放帧的帧类型为特殊帧,确定当前播放帧的目标编码策略为试算编码策略,所述试算编码策略设定为从试算所得的两个播放编码数据中选定数据量最小者作为当前播放帧的播放编码数据,所述两个播放编码数据分别是以当前播放帧的原型数据、当前播放帧与其在先的相邻播放帧之间的帧差数据为试算的有效数据编码得到的。
2.根据权利要求1所述的氛围灯设备指令传输方法,其特征在于,根据所述目标编码策略确定当前播放帧的有效数据及其数据类型,将所述有效数据编码为播放编码数据,包括:
对所述当前播放帧应用所述目标编码策略,根据所述目标编码策略确定当前播放帧的有效数据进行编码生成相应的播放编码数据;
根据得到所述播放编码数据的有效数据的数据种类确定其相应的数据类型,所述数据类型包括分别与所述原型数据、所述运动向量数据、所述帧差数据相对应的原型数据类型、向量数据类型、帧差数据类型。
3.根据权利要求1或2所述的氛围灯设备指令传输方法,其特征在于,从播放帧序列中有序调用播放帧作为当前播放帧之前,包括:
获取灯效动图文件;
解析所述灯效动图文件,得到其中的多个原图帧;
基于所述灯光组件的发光单元布局信息,将每个原图帧相应转换为对应所述灯光组件中的各个发光单元提供相应的发光控制数据的播放帧;
将各个所述播放帧按照其相应的原图帧在灯效动图文件中的顺序重新构造为播放帧序列。
4.根据权利要求1或2所述的氛围灯设备指令传输方法,其特征在于,基于当前播放帧的帧类型确定当前播放帧的目标编码策略之前,包括:
检测当前播放帧是否存在与之相映射的历史存档的灯效播放指令,当存在时,直接将该灯效播放指令传输至所述氛围灯设备的灯光组件的控制芯片中执行,然后回到从播放帧序列中有序调用播放帧作为当前播放帧的步骤继续调用一播放帧作为当前播放帧;当不存在时,从基于当前播放帧的帧类型确定当前播放帧的目标编码策略的步骤继续执行。
5.一种氛围灯设备指令应用方法,其特征在于,包括:
接收氛围灯设备的控制器传输的灯效播放指令,所述灯效播放指令包含对应用于播放灯效的当前播放帧的播放编码数据及编码得到该播放编码数据的有效数据相对应的数据类型;
根据所述有效数据的数据类型对所述播放编码数据进行解码,得到当前播放帧的有效数据;
根据所述有效数据的数据类型,应用与该数据类型相对应的还原算法,基于所述有效数据还原出当前播放帧的原型数据;
根据所述原型数据控制灯光组件播放当前播放帧相对应的灯效;所述根据所述有效数据的数据类型,应用与该数据类型相对应的还原算法,基于所述有效数据还原出当前播放帧的原型数据,包括:
当所述数据类型为原型数据类型时,采用原图还原算法将所述有效数据直接设定为当前播放帧的原型数据;
当所述数据类型为向量数据类型时,采用向量还原算法将所述有效数据作为当前播放帧相对于其在先的相邻播放帧的运动向量数据,根据该相邻播放帧与该运动向量数据还原出当前播放帧的原型数据;
当所述数据类型为帧差数据类型时,采用帧差还原算法将所述有效数据作为当前播放帧相对于其在先的相邻播放帧的帧差数据,根据该相邻播放帧与该帧差数据还原出当前播放帧的原型数据。
6.一种氛围灯设备指令传输装置,其特征在于,包括:
有序调度模块,设置为从播放帧序列中有序调用播放帧作为当前播放帧;
策略确定模块,设置为基于当前播放帧的帧类型确定当前播放帧的目标编码策略;
编码执行模块,设置为根据所述目标编码策略确定当前播放帧的有效数据及其数据类型,将所述有效数据编码为播放编码数据;
封装传输模块,设置为将当前播放帧的播放编码数据及其有效数据的数据类型封装为灯效播放指令传输至所述氛围灯设备的灯光组件的控制芯片中执行;
所述策略确定模块,包括:
类型识别单元,设置为识别确定当前播放帧的帧类型,所述帧类型为关键帧、预测帧、特殊帧中任意一种,所述关键帧指示当前播放帧属于独立完整数据,所述预测帧指示当前播放帧属于可由其在先的相邻播放帧适配运动向量数据变换而得的数据,所述特殊帧指示当前播放帧属于不为所述关键帧和预测帧的其他类型的数据;
第一匹配单元,设置为若当前播放帧的帧类型为关键帧,确定当前播放帧的目标编码策略为原图编码策略,所述原图编码策略设定为将当前播放帧的原型数据作为有效数据进行编码得到相应的播放编码数据;
第二匹配单元,设置为若当前播放帧的帧类型为预测帧,确定当前播放帧的目标编码策略为向量编码策略,所述向量编码策略设定为将当前播放帧相对于其在先的相邻播放帧的运动向量数据作为有效数据进行编码得到相应的播放编码数据;
第三匹配单元,设置为若当前播放帧的帧类型为特殊帧,确定当前播放帧的目标编码策略为试算编码策略,所述试算编码策略设定为从试算所得的两个播放编码数据中选定数据量最小者作为当前播放帧的播放编码数据,所述两个播放编码数据分别是以当前播放帧的原型数据、当前播放帧与其在先的相邻播放帧之间的帧差数据为试算的有效数据编码得到的。
7.一种氛围灯设备,包括中央处理器和存储器,其特征在于,所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行如权利要求1至5中任意一项所述的方法的步骤。
8.一种非易失性可读存储介质,其特征在于,其以计算机可读指令的形式存储有计算机程序,所述计算机程序被计算机调用运行时,执行如权利要求1至5中任意一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311583445.2A CN117295207B (zh) | 2023-11-24 | 2023-11-24 | 氛围灯设备及其指令传输、应用方法和相应的装置、介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311583445.2A CN117295207B (zh) | 2023-11-24 | 2023-11-24 | 氛围灯设备及其指令传输、应用方法和相应的装置、介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117295207A CN117295207A (zh) | 2023-12-26 |
CN117295207B true CN117295207B (zh) | 2024-03-01 |
Family
ID=89258932
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311583445.2A Active CN117295207B (zh) | 2023-11-24 | 2023-11-24 | 氛围灯设备及其指令传输、应用方法和相应的装置、介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117295207B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101069361A (zh) * | 2004-06-30 | 2007-11-07 | 彗星技术有限公司 | 视频数据传输的方法 |
JP2010010917A (ja) * | 2008-06-25 | 2010-01-14 | Sharp Corp | 動画像符号化装置、動画像復号装置、動画像符号化方法、及び動画像復号方法 |
CN102158713A (zh) * | 2004-12-30 | 2011-08-17 | 微软公司 | 通过网络传输信号的方法和系统 |
WO2017000787A1 (zh) * | 2015-06-30 | 2017-01-05 | 芋头科技(杭州)有限公司 | 一种led灯光编辑系统 |
WO2021114100A1 (zh) * | 2019-12-10 | 2021-06-17 | 中国科学院深圳先进技术研究院 | 帧内预测方法、视频编码、解码方法及相关设备 |
CN116546210A (zh) * | 2022-01-26 | 2023-08-04 | 腾讯科技(深圳)有限公司 | 直播数据处理方法、装置、计算机设备和存储介质 |
CN116920364A (zh) * | 2023-07-31 | 2023-10-24 | 咪咕互动娱乐有限公司 | 数据处理方法、装置、电子设备及存储介质 |
CN116939212A (zh) * | 2022-04-11 | 2023-10-24 | 深圳Tcl新技术有限公司 | 视频处理方法、装置、计算机可读存储介质及计算机设备 |
CN117082683A (zh) * | 2023-10-13 | 2023-11-17 | 深圳市千岩科技有限公司 | 拼接灯具灯效应用、播放方法及装置、设备和介质 |
-
2023
- 2023-11-24 CN CN202311583445.2A patent/CN117295207B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101069361A (zh) * | 2004-06-30 | 2007-11-07 | 彗星技术有限公司 | 视频数据传输的方法 |
CN102158713A (zh) * | 2004-12-30 | 2011-08-17 | 微软公司 | 通过网络传输信号的方法和系统 |
JP2010010917A (ja) * | 2008-06-25 | 2010-01-14 | Sharp Corp | 動画像符号化装置、動画像復号装置、動画像符号化方法、及び動画像復号方法 |
WO2017000787A1 (zh) * | 2015-06-30 | 2017-01-05 | 芋头科技(杭州)有限公司 | 一种led灯光编辑系统 |
WO2021114100A1 (zh) * | 2019-12-10 | 2021-06-17 | 中国科学院深圳先进技术研究院 | 帧内预测方法、视频编码、解码方法及相关设备 |
CN116546210A (zh) * | 2022-01-26 | 2023-08-04 | 腾讯科技(深圳)有限公司 | 直播数据处理方法、装置、计算机设备和存储介质 |
CN116939212A (zh) * | 2022-04-11 | 2023-10-24 | 深圳Tcl新技术有限公司 | 视频处理方法、装置、计算机可读存储介质及计算机设备 |
CN116920364A (zh) * | 2023-07-31 | 2023-10-24 | 咪咕互动娱乐有限公司 | 数据处理方法、装置、电子设备及存储介质 |
CN117082683A (zh) * | 2023-10-13 | 2023-11-17 | 深圳市千岩科技有限公司 | 拼接灯具灯效应用、播放方法及装置、设备和介质 |
Also Published As
Publication number | Publication date |
---|---|
CN117295207A (zh) | 2023-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CA2831967C (en) | Image compression using sub-resolution images | |
CN114270832A (zh) | 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法 | |
CN109643456A (zh) | 图像压缩方法与设备 | |
CN104969549A (zh) | 用于帧缓冲器压缩的混合模式 | |
CN115794913B (zh) | 一种人工智能系统中数据处理方法及装置 | |
CN101854456A (zh) | 配置为与图像显示设备通信的图像源 | |
CN108900843A (zh) | 单色图像压缩方法、装置、介质及电子设备 | |
CN114041169A (zh) | 点云数据发送设备、点云数据发送方法、点云数据接收设备、以及点云数据接收方法 | |
US20230379499A1 (en) | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method | |
CN103281558A (zh) | 基于机顶盒的测试方法及机顶盒测试系统 | |
CN117412449B (zh) | 氛围灯设备及其灯效播放控制方法和相应的装置、介质 | |
CN117295207B (zh) | 氛围灯设备及其指令传输、应用方法和相应的装置、介质 | |
CN117521179B (zh) | 氛围灯设备及发光分区布局构造方法、装置和计算机设备 | |
CN111314707B (zh) | 数据映射识别方法、装置、设备及可读存储介质 | |
CN113298840A (zh) | 基于带电作业场景下的多模态物体检测方法、系统、装置及存储介质 | |
CN112969032A (zh) | 光照模式识别方法、装置、计算机设备及存储介质 | |
CN117412451B (zh) | 氛围灯设备及其映射配色方法和相应的装置、介质 | |
CN117412452B (zh) | 氛围灯设备及其配色方法和相应的装置、介质 | |
CN117794020B (zh) | 灯屏设备及灯效中继、驱动控制方法和相应的装置 | |
CN1914624A (zh) | 处理图像数据的系统和方法 | |
CN117560828B (zh) | 氛围灯设备及多灯效混播控制方法和相应的装置、介质 | |
CN112835626A (zh) | 流水线配置方法、装置、可读存储介质和电子设备 | |
CN110876062B (zh) | 用于特征图的高速压缩处理的电子设备及其控制方法 | |
CN117500117B (zh) | 灯屏设备及灯效智能控制方法和相应的装置、介质 | |
CN117528873B (zh) | 氛围灯设备及发光分区布局生成方法、装置和计算机设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |