CN112333531B - 音频数据播放方法、设备及可读存储介质 - Google Patents

音频数据播放方法、设备及可读存储介质 Download PDF

Info

Publication number
CN112333531B
CN112333531B CN202010667246.XA CN202010667246A CN112333531B CN 112333531 B CN112333531 B CN 112333531B CN 202010667246 A CN202010667246 A CN 202010667246A CN 112333531 B CN112333531 B CN 112333531B
Authority
CN
China
Prior art keywords
data
audio
intelligent
sound
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010667246.XA
Other languages
English (en)
Other versions
CN112333531A (zh
Inventor
王云华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen TCL New Technology Co Ltd
Original Assignee
Shenzhen TCL New Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen TCL New Technology Co Ltd filed Critical Shenzhen TCL New Technology Co Ltd
Priority to CN202010667246.XA priority Critical patent/CN112333531B/zh
Publication of CN112333531A publication Critical patent/CN112333531A/zh
Application granted granted Critical
Publication of CN112333531B publication Critical patent/CN112333531B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Television Receiver Circuits (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本发明公开了一种音频数据播放方法、设备及可读存储介质,所述方法包括:从智能电视播放的视频数据中提取出音频数据,并确定所述智能电视所在环境中处于开启状态的智能音箱的音箱数量;根据所述音箱数量,从所述音频数据中分离出各种类型的音频子数据;根据所述智能电视所在环境用户与所述智能电视之间的距离,对各所述音频子数据进行增益调节,并基于各所述智能音箱分别对增益调节后的各所述音频子数据进行播放。本发明实现了依据智能音箱数量和用户距离的音频数据个性化播放,提升了用户通过智能电视观看视频过程中对音频的收听效果。

Description

音频数据播放方法、设备及可读存储介质
技术领域
本发明涉及智能家居技术领域,尤其涉及一种音频数据播放方法、设备及可读存储介质。
背景技术
随着智能物联网技术的发展,智能家居已经推广到千家万户,智能电视、智能音箱等通过智能物联网的连接形成智能电视系统,实现视频音频的播放。
当前智能电视系统依据是否连接智能音箱来播放视频中的音频数据,若连接智能音箱则以连接智能音箱的模式播放音频数据。但是一份视频中通常涉及到多种类型的音频数据,如音乐、环境音等,并且不同用户观看智能电视的位置也各异;若均以同样的模式进行播放,会对收听效果造成影响。因此,当前对视频中音频数据的播放所存在的影响收听效果的问题是亟待解决的技术问题。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种音频数据播放方法、设备及可读存储介质,旨在解决现有技术中对视频中音频数据的播放所存在的影响收听效果的技术问题。
为实现上述目的,本发明提供一种音频数据播放方法,所述音频数据播放方法应用于智能门铃系统,所述智能门铃系统至少连接有门铃和发光源,所述音频数据播放方法包括以下步骤:
从智能电视播放的视频数据中提取出音频数据,并确定所述智能电视所在环境中处于开启状态的智能音箱的音箱数量;
根据所述音箱数量,从所述音频数据中分离出各种类型的音频子数据;
根据所述智能电视所在环境用户与所述智能电视之间的距离,对各所述音频子数据进行增益调节,并基于各所述智能音箱分别对增益调节后的各所述音频子数据进行播放。
优选地,所述根据所述音箱数量,从所述音频数据中分离出各种类型的音频子数据的步骤包括:
若所述音箱数量为单件,则根据所述音频数据中各音频信号元素形成的时间顺序,从所述音频数据中分离出两种类型的音频子数据,其中两种类型的音频子数据分别为对白数据和背景音数据;
若所述音箱数量为两件,则根据所述音频数据中各音频信号元素形成的时间顺序,从所述音频数据中分离出三种类型的音频子数据,其中三种类型的音频子数据分别为对白数据、背景音数据和音乐数据;
若所述音箱数量为三件,则根据所述音频数据中各音频信号元素形成的时间顺序,从所述音频数据中分离出四种类型的音频子数据,其中四种类型的音频子数据分别为对白数据、背景音数据、音乐数据和环境音数据。
优选地,所述基于各所述智能音箱分别对增益调节后的各所述音频子数据进行播放的步骤包括:
若所述音箱数量为单件,则将增益调节后的对白数据基于所述时间顺序传输到所述智能音箱播放,并由所述智能电视的音箱基于所述时间顺序对所述背景音数据进行播放;
若所述音箱数量为两件,则将增益调节后的对白数据和音乐数据基于所述时间顺序分别传输到各所述智能音箱播放,并由所述智能电视的音箱基于所述时间顺序对所述背景音数据进行播放;
若所述音箱数量为三件,则将增益调节后的对白数据、音乐数据和环境音数据基于所述时间顺序分别传输到各所述智能音箱播放,并由所述智能电视的音箱基于所述时间顺序对所述背景音数据进行播放。
优选地,所述根据所述智能电视所在环境用户与所述智能电视之间的距离,对各所述音频子数据进行增益调节的步骤包括:
判断所述智能电视所在环境用户与所述智能电视之间的距离是否小于预设阈值;
若所述距离小于预设阈值,则获取与各所述音频子数据分别对应的衰减因子;
根据各所述衰减因子,对各所述音频子数据进行增益衰减调节。
优选地,所述判断所述智能电视所在环境用户与所述智能电视之间的距离是否小于预设阈值的步骤之后包括:
若所述距离大于或等于预设阈值,则获取与各所述音频子数据分别对应的增强因子;
根据各所述增强因子,对各所述音频子数据进行增益增强调节。
优选地,所述根据所述智能电视所在环境用户与所述智能电视之间的距离,对各所述音频子数据进行增益调节的步骤之前包括:
基于所述智能电视中的摄像头,采集所述智能电视所在环境中用户的用户图像,并检测所述用户图像中人脸像素面积与所述用户图像的总像素面积之间的像素占比;
根据所述像素占比,确定所述用户与所述智能电视之间的距离。
优选地,所述确定所述智能电视所在环境中处于开启状态的智能音箱的音箱数量的步骤包括:
基于所述智能电视中的摄像头,采集所述智能电视所在环境的环境图像,其中所述环境图像包含有智能音箱图形;
对各所述环境图像中的智能音箱图形进行识别,确定所述智能电视所在环境具有的环境智能音箱的音箱型号;
将各所述环境智能音箱的音箱型号和当前在线的智能音箱型号对比,确定所述智能电视所在环境中处于开启状态的智能音箱,并统计处于开启状态的所述智能音箱的音箱数量。
优选地,所述根据所述智能电视所在环境用户与所述智能电视之间的距离,对各所述音频子数据进行增益调节的步骤之后包括:
将各所述音频子数据所调节的增益显示在所述智能电视的显示屏上。
为实现上述目的,本发明还提供一种音频数据播放设备,所述音频数据播放设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的音频数据播放程序,所述音频数据播放程序被所述处理器执行时实现如上述的音频数据播放方法的步骤。
此外,为实现上述目的,本发明还提供一种可读存储介质,所述可读存储介质上存储有音频数据播放程序,所述音频数据播放程序被处理器执行时实现上述的音频数据播放方法的步骤。
本发明实施例提出的一种音频数据播放方法、设备及可读存储介质,先从智能电视播放的视频数据中提取出音频数据,并确定智能电视所在环境中当前处于开启状态的智能音箱的音箱数量;再根据音箱数量,从音频数据中分离出各种类型的音频子数据;进而依据智能音箱所在环境中用户与智能电视之间的距离,对分离的各音频子数据进行增益调节,此后由各个处于开启状态的智能音箱对各项经过增益调节后的音频子数据进行播放。本发明通过分离出各种类型音频子数据由各个智能音箱播放,有利于用户准确收听感受各种类型的音频子数据;并且,音频子数据在依据用户与智能电视之间的距离进行增益调节后播放,播放的音量大小和用户与智能电视之间的距离匹配,有利于提升用户收听各种类型音频子数据的舒适性。因此,实现了依据智能音箱数量和用户距离的音频数据个性化播放,提升了用户通过智能电视观看视频过程中对音频的收听效果。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图;
图2为本发明音频数据播放方法第一实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供一种音频数据播放设备,如图1所示,图1是本发明音频数据播放设备实施例方案涉及的硬件运行环境的终端结构示意图。
如图1所示,该音频数据播放设备可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的音频数据播放设备的硬件结构并不构成对音频数据播放设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及音频数据播放程序。
在图1所示的音频数据播放设备硬件结构中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的音频数据播放程序,并执行以下操作:
从智能电视播放的视频数据中提取出音频数据,并确定所述智能电视所在环境中处于开启状态的智能音箱的音箱数量;
根据所述音箱数量,从所述音频数据中分离出各种类型的音频子数据;
根据所述智能电视所在环境用户与所述智能电视之间的距离,对各所述音频子数据进行增益调节,并基于各所述智能音箱分别对增益调节后的各所述音频子数据进行播放。
进一步地,所述根据所述音箱数量,从所述音频数据中分离出各种类型的音频子数据的步骤包括:
若所述音箱数量为单件,则根据所述音频数据中各音频信号元素形成的时间顺序,从所述音频数据中分离出两种类型的音频子数据,其中两种类型的音频子数据分别为对白数据和背景音数据;
若所述音箱数量为两件,则根据所述音频数据中各音频信号元素形成的时间顺序,从所述音频数据中分离出三种类型的音频子数据,其中三种类型的音频子数据分别为对白数据、背景音数据和音乐数据;
若所述音箱数量为三件,则根据所述音频数据中各音频信号元素形成的时间顺序,从所述音频数据中分离出四种类型的音频子数据,其中四种类型的音频子数据分别为对白数据、背景音数据、音乐数据和环境音数据。
进一步地,所述基于各所述智能音箱分别对增益调节后的各所述音频子数据进行播放的步骤包括:
若所述音箱数量为单件,则将增益调节后的对白数据基于所述时间顺序传输到所述智能音箱播放,并由所述智能电视的音箱基于所述时间顺序对所述背景音数据进行播放;
若所述音箱数量为两件,则将增益调节后的对白数据和音乐数据基于所述时间顺序分别传输到各所述智能音箱播放,并由所述智能电视的音箱基于所述时间顺序对所述背景音数据进行播放;
若所述音箱数量为三件,则将增益调节后的对白数据、音乐数据和环境音数据基于所述时间顺序分别传输到各所述智能音箱播放,并由所述智能电视的音箱基于所述时间顺序对所述背景音数据进行播放。
进一步地,所述根据所述智能电视所在环境用户与所述智能电视之间的距离,对各所述音频子数据进行增益调节的步骤包括:
判断所述智能电视所在环境用户与所述智能电视之间的距离是否小于预设阈值;
若所述距离小于预设阈值,则获取与各所述音频子数据分别对应的衰减因子;
根据各所述衰减因子,对各所述音频子数据进行增益衰减调节。
进一步地,所述判断所述智能电视所在环境用户与所述智能电视之间的距离是否小于预设阈值的步骤之后,处理器1001可以用于调用存储器1005中存储的音频数据播放程序,并执行以下操作:
若所述距离大于或等于预设阈值,则获取与各所述音频子数据分别对应的增强因子;
根据各所述增强因子,对各所述音频子数据进行增益增强调节。
进一步地,所述根据所述智能电视所在环境用户与所述智能电视之间的距离,对各所述音频子数据进行增益调节的步骤之前,处理器1001可以用于调用存储器1005中存储的音频数据播放程序,并执行以下操作:
基于所述智能电视中的摄像头,采集所述智能电视所在环境中用户的用户图像,并检测所述用户图像中人脸像素面积与所述用户图像的总像素面积之间的像素占比;
根据所述像素占比,确定所述用户与所述智能电视之间的距离。
进一步地,所述确定所述智能电视所在环境中处于开启状态的智能音箱的音箱数量的步骤包括:
基于所述智能电视中的摄像头,采集所述智能电视所在环境的环境图像,其中所述环境图像包含有智能音箱图形;
对各所述环境图像中的智能音箱图形进行识别,确定所述智能电视所在环境具有的环境智能音箱的音箱型号;
将各所述环境智能音箱的音箱型号和当前在线的智能音箱型号对比,确定所述智能电视所在环境中处于开启状态的智能音箱,并统计处于开启状态的所述智能音箱的音箱数量。
进一步地,所述根据所述智能电视所在环境用户与所述智能电视之间的距离,对各所述音频子数据进行增益调节的步骤之后,处理器1001可以用于调用存储器1005中存储的音频数据播放程序,并执行以下操作:
将各所述音频子数据所调节的增益显示在所述智能电视的显示屏上。
本发明音频数据播放设备的具体实施方式与下述音频数据播放方法各实施例基本相同,在此不再赘述。
为了更好的理解上述技术方案,下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
参照图2,本发明音频数据播放方法第一实施例提供一种音频数据播放方法,所述音频数据播放方法应用于智能门铃系统,所述智能门铃系统至少连接有门铃和发光源,所述音频数据播放方法包括:
步骤S10,从智能电视播放的视频数据中提取出音频数据,并确定所述智能电视所在环境中处于开启状态的智能音箱的音箱数量;
本实施例中的音频数据播放方法应用于智能电视系统,该智能电视系统至少包含智能电视、智能音箱和控制中心,智能电视中包含有对音频数据进行播放的音箱,通过控制中心来控制智能音箱和智能电视中的音箱,对智能电视中视频数据包含的音频数据进行播放。其中视频数据可以是电影,也可以是电视剧,还可以是音乐剧,本实施例优选以电影为例进行说明。具体地,先获取智能电视当前播放的视频数据,并通过去除视频数据中的视频通道信息的方式,来从视频数据中提取出音频数据存储到存储器中,以供智能音箱播放。
考虑到智能电视系统中包含的智能音箱众多,并不是所有的智能音箱均存在于智能电视所在的环境中,如智能电视位于客厅,而客厅和卧室中均设置有智能音箱。而且,对于位于智能电视所在环境中的智能音箱,也有可能处于未与智能电视连接的掉线状态,或者未开机状态。因此,在通过智能音箱对提取的音频数据播放之前,先确定智能电视所在环境中处于开启状态的智能音箱,以及音箱数量,以对音频数据有效播放。具体地,确定智能电视所在环境中处于开启状态的智能音箱的音箱数量的步骤包括:
步骤S11,基于所述智能电视中的摄像头,采集所述智能电视所在环境的环境图像,其中所述环境图像包含有智能音箱图形;
步骤S12,对各所述环境图像中的智能音箱图形进行识别,确定所述智能电视所在环境具有的环境智能音箱的音箱型号;
步骤S13,将各所述环境智能音箱的音箱型号和当前在线的智能音箱型号对比,确定所述智能电视所在环境中处于开启状态的智能音箱,并统计处于开启状态的所述智能音箱的音箱数量。
进一步地,智能电视上设置有可对其所在环境进行拍摄的旋转式摄像头,基于该旋转式摄像头,对智能电视所在环境的环境图像进行采集,并且采集的环境图像中包含有智能音箱图形。在采集的过程中,先识别环境成像中是否包含有智能音箱,若包含有智能音箱,控制摄像头进行拍摄,得到包含有智能音箱图形的环境图像,并控制摄像头按照预定轨迹旋转,拍摄下一张包含有智能音箱图形的环境图像。若识别出环境成像中不包含有智能音箱,则控制摄像头按照预定轨迹旋转,继续识别环境成像中是否包含有智能音箱,直到摄像头按照预定轨迹旋转一周,拍摄得到所有包含有智能音箱图形的环境图像。
更进一步地,预先设定有识别算法,通过识别算法对包含有智能音箱图形的环境图像识别,得到智能音箱图形所表征智能音箱的音箱型号,即智能电视所在环境中具有的环境智能音箱的音箱型号。进而读取当前开机且与智能电视连接的处于当前在线状态的智能音箱型号,并将识别的各个环境智能音箱的音箱型号和当前在线的智能音箱型号对比,确定具有相同型号的智能音箱。该具有相同型号的智能音箱即为智能电视所在环境中处于开启状态的智能音箱,可用于对提取的音频数据进行播放。并且对处于开启状态的智能音箱的数量进行统计,得到处于开启状态的智能音箱的音箱数量,表征可对音频数据进行播放的音箱数量。
步骤S20,根据所述音箱数量,从所述音频数据中分离出各种类型的音频子数据;
进一步地,本实施例针对不同类型的音频数据,以不同的智能音箱进行播放。电影中音频数据的类型至少包括对白、旁白、独白、背景音、音乐、环境音等。将对白、旁白、独白等一类人声统称为对白,并将各种类型的音频数据作为音频子数据。不同类型的音频子数据具有不同的震动范围,从而可依据各自的震动范围对音频数据中分离出各种类型的音频子数据。此外,因不同的智能音箱对不同类型的音频子数据进行播放,从而对音频子数据依据智能电视所在环境中可有效播放的智能音箱的数量进行分离,即依据处于开启状态的智能音箱的音箱数量进行分离。处于开启状态的智能音箱数量越多,分离的音频子数据种类越多,反之则分离的音频子数据种类越少。
步骤S30,根据所述智能电视所在环境用户与所述智能电视之间的距离,对各所述音频子数据进行增益调节,并基于各所述智能音箱分别对增益调节后的各所述音频子数据进行播放。
可理解地,不同用户在观看智能电视时,与智能电视之间的距离远近不一样,如某一家庭智能电视与观看座位之间的距离为0.5m而另一家庭智能电视与观看座位之间的距离为1m等。从而为了便于用户通过智能音箱收听播放的音频数据,本实施例依据用户与智能电视之间的距离,对各音频子数据进行增益调节,以通过调节后的增益改变智能音箱对各音频子数据播放的音量大小。其中,增益调节之前,先通过智能电视上的旋转式摄像头对智能电视所在环境中用户与智能电视之间的距离进行检测。因而,根据智能电视所在环境用户与智能电视之间的距离,对各音频子数据进行增益调节的步骤之前包括:
步骤a1,基于所述智能电视中的摄像头,采集所述智能电视所在环境中用户的用户图像,并检测所述用户图像中人脸像素面积与所述用户图像的总像素面积之间的像素占比;
步骤a2,根据所述像素占比,确定所述用户与所述智能电视之间的距离。
进一步地,控制中心对智能电视中所安装的摄像头进行调用,通过该摄像头对智能电视所在环境中用户的用户图像进行拍摄。进而对用户图像进行识别,确定其中人脸所在的位置,并对人脸所在位置具有的像素进行检测,确定用户图像中人脸像素面积。同时对用户图像整体的像素进行检测,得到总像素面积。此后,在人脸像素面积和总像素面积之间进行比值运算,得到两者之间的像素占比。通过像素占比的大小,表征用户与智能电视之间的距离远近。像素占比越大,用户与智能电视之间的距离越近,反之则距离越远。可预先设定像素占比与距离之间的比例关系,检测与智能电视最远距离,并针对位于该距离的用户进行拍摄得到用户图像,进而计算其中人脸像素面积与总像素面积之间的最远像素占比。同时检测最近距离,并针对该最近距离计算最近像素占比。根据最远像素占比与最远距离,以及最近像素占比和最近距离,来生成像素占比与距离之间的比例关系。在实际检测过程中,通过像素占比和该比例关系,即可得到用户与智能电视之间的距离。
更进一步地,在确定用户与智能电视之间的距离远近之后,则可以依据距离的远近来调节各类音频子数据的增益,将通过各智能音箱对增益调节后的各类音频子数据进行播放,以使得电影中音频数据的播放达到最佳的播放效果。此外,还可将各类音频子数据调节后的增益,以及各个智能音箱所播放的音频子数据类型显示在智能电视的显示屏上,以提醒用户各类音频子数据的增益大小,以及各智能音箱的播放情况,便于用户的切换变更。
本发明实施例提出的一种音频数据播放方法,先从智能电视播放的视频数据中提取出音频数据,并确定智能电视所在环境中当前处于开启状态的智能音箱的音箱数量;再根据音箱数量,从音频数据中分离出各种类型的音频子数据;进而依据智能音箱所在环境中用户与智能电视之间的距离,对分离的各音频子数据进行增益调节,此后由各个处于开启状态的智能音箱对各项经过增益调节后的音频子数据进行播放。本发明通过分离出各种类型音频子数据由各个智能音箱播放,有利于用户准确收听感受各种类型的音频子数据;并且,音频子数据在依据用户与智能电视之间的距离进行增益调节后播放,播放的音量大小和用户与智能电视之间的距离匹配,有利于提升用户收听各种类型音频子数据的舒适性。因此,实现了依据智能音箱数量和用户距离的音频数据个性化播放,提升了用户通过智能电视观看视频过程中对音频的收听效果。
进一步的,基于本发明音频数据播放方法第一实施例,提出本发明音频数据播放方法第二实施例,在第二实施例中,所述根据所述音箱数量,从所述音频数据中分离出各种类型的音频子数据的步骤包括:
步骤S21,若所述音箱数量为单件,则根据所述音频数据中各音频信号元素形成的时间顺序,从所述音频数据中分离出两种类型的音频子数据,其中两种类型的音频子数据分别为对白数据和背景音数据;
步骤S22,若所述音箱数量为两件,则根据所述音频数据中各音频信号元素形成的时间顺序,从所述音频数据中分离出三种类型的音频子数据,其中三种类型的音频子数据分别为对白数据、背景音数据和音乐数据;
步骤S23,若所述音箱数量为三件,则根据所述音频数据中各音频信号元素形成的时间顺序,从所述音频数据中分离出四种类型的音频子数据,其中四种类型的音频子数据分别为对白数据、背景音数据、音乐数据和环境音数据。
本实施例中,针对智能音箱的音箱数量,分离出音频子数据,并由各智能音箱进行播放。具体地,若智能音箱的数量为单件,即智能电视所在环境中具有一件处于开启状态,可用于播放音频数据的智能音箱。此时,依据音频数据中各音频信号元素形成的时间顺序,对音频数据进行分离操作,从其中提取出包含对白数据和背景音数据的两类音频子数据。其中,音频信号元素形成的时间顺序表征了音频数据在时间先后顺序上的不同音频内容;对白数据为电影中由人物所发出的声音;背景音数据为电影中除人物语言、音乐和环境音之外的背景声音,如人群的杂音、集市喧闹音、叫卖声等。依据形成的时间顺序进行分离,确保了分离出的对白数据和背景音数据和原始的视频数据对应,便于用户的视听。
进一步地,若经确定智能音箱的数量为两件,即智能电视所在环境中具有两件处于开启状态,可用于播放音频数据的智能音箱。此时,同样依据音频数据中各音频信号元素形成的时间顺序,对音频数据进行分离操作,从其中提取出包含对白数据、背景音数据和音乐数据的三类音频子数据。其中,音乐数据为电影中通过演奏、演唱所形成的音乐。
更进一步地,若经确定智能音箱的数量为三件,即智能电视所在环境中具有三件处于开启状态,可用于播放音频数据的智能音箱。此时,依据音频数据中各音频信号元素形成的时间顺序,对音频数据进行分离操作,从其中提取出包含对白数据、背景音数据、音乐数据和环境音数据的四类音频子数据。其中,环境音数据为电影中描述风雨雷电、鸟鸣虫叫等自然界的声音。
进一步地,在依据智能音箱的音箱数量,对音频数据分离得到各类音频子数据,并依据用户与智能电视之间的距离对各类音频子数据进行增益调节后,即可通过各个智能音箱对增益调节后的各类音频子数据进行播放。具体地,基于各智能音箱分别对增益调节后的各音频子数据进行播放的步骤包括:
步骤S31,若所述音箱数量为单件,则将增益调节后的对白数据基于所述时间顺序传输到所述智能音箱播放,并由所述智能电视的音箱基于所述时间顺序对所述背景音数据进行播放;
步骤S32,若所述音箱数量为两件,则将增益调节后的对白数据和音乐数据基于所述时间顺序分别传输到各所述智能音箱播放,并由所述智能电视的音箱基于所述时间顺序对所述背景音数据进行播放;
步骤S33,若所述音箱数量为三件,则将增益调节后的对白数据、音乐数据和环境音数据基于所述时间顺序分别传输到各所述智能音箱播放,并由所述智能电视的音箱基于所述时间顺序对所述背景音数据进行播放。
可理解地,智能电视本身包含有音箱,智能音箱对音频子数据的播放,其实质为智能音箱和智能电视中的音箱共同对各类音频子数据的播放。具体地,对于音箱数量为单件的情况,所分离的音频子数据为对白数据和背景音数据。将对白数据依据形成的时间顺序传输到智能音箱播放,并且由智能电视的音箱按照形成的时间顺序对背景音数据进行播放,形成二维音频声效。按照形成的时间顺序进行播放,确保了播放的音频和视频之间的同步,有利于用户对电影的观看。需要说明的是,对白数据和背景音数据播放的音箱可依据需求互换,即由智能音箱播放背景音数据,由智能电视中的音箱播放对比数据。
更进一步地,对于音箱数量为两件的情况,所分离的音频子数据为对白数据、背景音数据和音乐数据。将对白数据和音乐数据依据形成的时间顺序分别传输到两件智能音箱中播放,并且由智能电视的音箱按照形成的时间顺序对背景音数据进行播放,形成三维音频声效。其中,两件智能音箱位于不同的位置,所播放音频子数据的具体类型可依据需求设定,如两件智能音箱分别位于智能电视的左右两侧,设定左侧的智能音箱播放对白数据,右侧的智能音箱播放音乐数据,或者互相调换,对此不作限定。此外,智能音箱和智能电视中音箱所播放音频子数据的类型也可以依据需求设定,如设定由智能电视中音箱播放对白数据,而由两件智能音箱分别播放音乐数据和背景音数据等。
更进一步地,对于音箱数量为三件的情况,所分离的音频子数据为对白数据、背景音数据、音乐数据和环境音数据。将对白数据、音乐数据和环境音数据依据形成的时间顺序分别传输到三件智能音箱中播放,并且由智能电视的音箱按照形成的时间顺序对背景音数据进行播放,形成四维音频声效。同样地,三件智能音箱位于不同的位置,所播放音频子数据的具体类型可依据需求设定,如三件智能音箱分别位于智能电视的左右两侧和前方,设定左侧的智能音箱播放对白数据,右侧的智能音箱播放音乐数据、前方的智能音箱播放环境音数据,或者互相调换,对此不作限定。并且,智能音箱和智能电视中音箱所播放音频子数据的类型也可以依据需求设定,如设定由智能电视中音箱播放对白数据,而由三件智能音箱分别播放音乐数据、背景音数据和环境音数据等。
在本实施例中,通过智能音箱的音箱数量,对音频数据分离得到各类音频子数据,并对各类音频子数据依据用户与智能电视之间的距离进行增益调节后,通过各个智能音箱对各类音频子数据进行播放,形成多种类型的音频声效,提升了用户的收听效果。
更进一步地,基于本发明音频数据播放方法第一实施例或第二实施例,提出本发明音频数据播放方法第三实施例,在第三实施例中,所述根据所述智能电视所在环境用户与所述智能电视之间的距离,对各所述音频子数据进行增益调节的步骤包括:
步骤S34,判断所述智能电视所在环境用户与所述智能电视之间的距离是否小于预设阈值;
步骤S35,若所述距离小于预设阈值,则获取与各所述音频子数据分别对应的衰减因子;
步骤S36,根据各所述衰减因子,对各所述音频子数据进行增益衰减调节。
本实施例在对音频子数据进行增益调节时,可针对不同类型的音频子数据,以不同的数值进行增益调节;同时还可针对不同距离的远近,设置多种不同的数值进行增益调节。具体地,预先设定表征距离远近的预设阈值,将依据像素占比得到的用户与智能电视之间的距离和该预设阈值对比,判断距离是否小于预设阈值。若小于预设阈值,说明用户与智能电视之间的距离较近,需要将智能音箱播放的音量降低,对增益需要进行衰减操作。预先设定用于对各音频子数据进行衰减的衰减因子,分别获取该类与各音频子数据对应的衰减因子,并依据各衰减因子,对各音频子数据进行增益的衰减调节。
需要说明的是,尽管智能音箱的音箱数量可能具有差异性,但各个音频子数据均设定各自的衰减因子,并且各个音频子数据的衰减因子可以设定为相同,也可以设定为不同;如设定对白数据的衰减因子为0.8,背景音数据的衰减因子为0.6等。在获取衰减因子时,依据处于开启状态的智能音箱的音箱数量进行获取。如处于开启状态的智能音箱的音箱数量为单件,则获取分别与对白数据和背景音数据对应的衰减因子;若处于开启状态的智能音箱的音箱数量为两件,则获取分别与对白数据、背景音数据和音乐数据对应的衰减因子;通过各个音频子数据的衰减因子,对各音频子数据进行增益衰减调节。
此外,对于用户与智能电视之间的距离小于预设阈值,用户距离智能电视较近的情况,还可依据近的程度,针对同一衰减因子设定不同的数值,以依据距离进行多级衰减调节。如对于上述对白数据的衰减因子为0.8,背景音数据的衰减因子为0.6的情况,若距离不但小于预设阈值,并且小于预先设定的预设一级阈值;其中预设一级阈值小于预设阈值,说明用户与智能电视之间的距离过近。此时,可将对白数据的衰减因子设定为0.6,背景音数据的衰减因子设定为0.4,以进一步对各类型音频子数据进行衰减。通过距离的远近实现多级衰减调节,确保用户始终具有较好的收听效果。
进一步地,所述判断所述智能电视所在环境用户与所述智能电视之间的距离是否小于预设阈值的步骤之后包括:
步骤S37,若所述距离大于或等于预设阈值,则获取与各所述音频子数据分别对应的增强因子;
步骤S38,根据各所述增强因子,对各所述音频子数据进行增益增强调节。
更进一步地,若经对比确定距离大于或等于预设阈值,说明用户与智能电视之间的距离较远,需要将智能音箱播放的音量升高,对增益需要进行增强操作。预先设定用于对各音频子数据进行增强的增强因子,分别获取该类与各音频子数据对应的增强因子,并依据各增强因子,对各音频子数据进行增益的增强调节。
同样针对各个音频子数据均设定各自的增强因子,并且各个音频子数据的增强因子可以设定为相同,也可以设定为不同;如设定对白数据的增强因子为1.2,背景音数据的增强因子为1.1等。在获取增强因子时,也依据处于开启状态的智能音箱的音箱数量进行获取。如处于开启状态的智能音箱的音箱数量为单件,则获取分别与对白数据和背景音数据对应的增强因子;若处于开启状态的智能音箱的音箱数量为两件,则获取分别与对白数据、背景音数据和音乐数据对应的增强因子;通过各个音频子数据的增强因子,对各音频子数据进行增益增强调节。
并且,对于用户与智能电视之间的距离大于或等于预设阈值,用户距离智能电视较远的情况,还可依据远的程度,针对同一增强因子设定不同的数值,以依据距离进行多级增强调节。如对于上述对白数据的增强因子为1.2,背景音数据的增强因子为1.1的情况,若距离不但大于或等于预设阈值,并且大于预先设定的预设二级阈值;其中预设二级阈值大于预设阈值,说明用户与智能电视之间的距离过远。此时,可将对白数据的增强因子设定为1.5,背景音数据的增强因子设定为1.2,以进一步对各类型音频子数据进行增强。通过距离的远近实现多级增强调节,确保用户始终具有较好的收听效果。
本实施例通过在对音频子数据进行增益调节时,针对不同类型的音频子数据,以不同的数值进行增益调节,使得各类音频子数据以不同的强弱播放,有利于体现各类音频子数据不同的收听效果。同时针对不同距离的远近,设置多种不同的数值进行增益调节,确保用户始终具有较好的收听效果。以此,实现从多个方面提升用户通过智能电视观看视频过程中对音频的收听效果。
此外,本发明还提供一种可读存储介质,所述可读存储介质,其上存储有音频数据播放程序,所述音频数据播放程序被处理器执行时实现上述音频数据播放方法各实施例的步骤。
在本发明可读存储介质的实施例中,包含了上述音频数据播放方法各实施例的全部技术特征,说明和解释内容与上述图像优化方法各实施例基本相同,在此不做累述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种音频数据播放方法,其特征在于,所述音频数据播放方法包括以下步骤:
从智能电视播放的视频数据中提取出音频数据,并确定所述智能电视所在环境中处于开启状态的智能音箱的音箱数量;
根据所述音箱数量,从所述音频数据中根据各自的震动范围分离出各种类型的音频子数据;
根据所述智能电视所在环境用户与所述智能电视之间的距离,对各所述音频子数据进行增益调节,并基于各所述智能音箱分别对增益调节后的各所述音频子数据进行播放;其中,根据距离的远近调节各音频子数据的增益;
所述根据所述音箱数量,从所述音频数据中分离出各种类型的音频子数据的步骤包括:
若所述音箱数量为三件,则根据所述音频数据中各音频信号元素形成的时间顺序,从所述音频数据中分离出四种类型的音频子数据,其中四种类型的音频子数据分别为对白数据、背景音数据、音乐数据和环境音数据;
将增益调节后的对白数据、音乐数据和环境音数据基于所述时间顺序分别传输到各所述智能音箱播放,并由所述智能电视的音箱基于所述时间顺序对所述背景音数据进行播放;
所述根据所述智能电视所在环境用户与所述智能电视之间的距离,对各所述音频子数据进行增益调节的步骤包括:
判断所述智能电视所在环境用户与所述智能电视之间的距离是否小于预设阈值;
若所述距离小于预设阈值,则获取与各所述音频子数据分别对应的衰减因子;其中,对各所述音频子数据设置不同的衰减因子;
根据各所述衰减因子,对各所述音频子数据进行增益衰减调节。
2.如权利要求1所述的音频数据播放方法,其特征在于,所述根据所述音箱数量,从所述音频数据中分离出各种类型的音频子数据的步骤包括:
若所述音箱数量为单件,则根据所述音频数据中各音频信号元素形成的时间顺序,从所述音频数据中分离出两种类型的音频子数据,其中两种类型的音频子数据分别为对白数据和背景音数据;
若所述音箱数量为两件,则根据所述音频数据中各音频信号元素形成的时间顺序,从所述音频数据中分离出三种类型的音频子数据,其中三种类型的音频子数据分别为对白数据、背景音数据和音乐数据。
3.如权利要求2所述的音频数据播放方法,其特征在于,所述基于各所述智能音箱分别对增益调节后的各所述音频子数据进行播放的步骤包括:
若所述音箱数量为单件,则将增益调节后的对白数据基于所述时间顺序传输到所述智能音箱播放,并由所述智能电视的音箱基于所述时间顺序对所述背景音数据进行播放;
若所述音箱数量为两件,则将增益调节后的对白数据和音乐数据基于所述时间顺序分别传输到各所述智能音箱播放,并由所述智能电视的音箱基于所述时间顺序对所述背景音数据进行播放。
4.如权利要求3所述的音频数据播放方法,其特征在于,所述判断所述智能电视所在环境用户与所述智能电视之间的距离是否小于预设阈值的步骤之后包括:
若所述距离大于或等于预设阈值,则获取与各所述音频子数据分别对应的增强因子;
根据各所述增强因子,对各所述音频子数据进行增益增强调节。
5.如权利要求1-4任一项所述的音频数据播放方法,其特征在于,所述根据所述智能电视所在环境用户与所述智能电视之间的距离,对各所述音频子数据进行增益调节的步骤之前包括:
基于所述智能电视中的摄像头,采集所述智能电视所在环境中用户的用户图像,并检测所述用户图像中人脸像素面积与所述用户图像的总像素面积之间的像素占比;
根据所述像素占比,确定所述用户与所述智能电视之间的距离。
6.如权利要求1-4任一项所述的音频数据播放方法,其特征在于,所述确定所述智能电视所在环境中处于开启状态的智能音箱的音箱数量的步骤包括:
基于所述智能电视中的摄像头,采集所述智能电视所在环境的环境图像,其中所述环境图像包含有智能音箱图形;
对各所述环境图像中的智能音箱图形进行识别,确定所述智能电视所在环境具有的环境智能音箱的音箱型号;
将各所述环境智能音箱的音箱型号和当前在线的智能音箱型号对比,确定所述智能电视所在环境中处于开启状态的智能音箱,并统计处于开启状态的所述智能音箱的音箱数量。
7.如权利要求1-4任一项所述的音频数据播放方法,其特征在于,所述根据所述智能电视所在环境用户与所述智能电视之间的距离,对各所述音频子数据进行增益调节的步骤之后包括:
将各所述音频子数据所调节的增益显示在所述智能电视的显示屏上。
8.一种音频数据播放设备,其特征在于,所述音频数据播放设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的音频数据播放程序,所述音频数据播放程序被所述处理器执行时实现如权利要求1-7中任一项所述的音频数据播放方法的步骤。
9.一种可读存储介质,其特征在于,所述可读存储介质上存储有音频数据播放程序,所述音频数据播放程序被处理器执行时实现如权利要求1-7中任一项所述的音频数据播放方法的步骤。
CN202010667246.XA 2020-07-09 2020-07-09 音频数据播放方法、设备及可读存储介质 Active CN112333531B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010667246.XA CN112333531B (zh) 2020-07-09 2020-07-09 音频数据播放方法、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010667246.XA CN112333531B (zh) 2020-07-09 2020-07-09 音频数据播放方法、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN112333531A CN112333531A (zh) 2021-02-05
CN112333531B true CN112333531B (zh) 2024-09-17

Family

ID=74304202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010667246.XA Active CN112333531B (zh) 2020-07-09 2020-07-09 音频数据播放方法、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN112333531B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113852905A (zh) * 2021-09-24 2021-12-28 联想(北京)有限公司 一种控制方法及控制装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107483855A (zh) * 2017-07-06 2017-12-15 深圳Tcl数字技术有限公司 电视音频控制方法、电视及计算机可读存储介质
CN107864432A (zh) * 2017-10-25 2018-03-30 努比亚技术有限公司 蓝牙音箱连接管理方法、终端及计算机可读存储介质
CN108683944A (zh) * 2018-05-14 2018-10-19 深圳市零度智控科技有限公司 智能电视的音量调节方法、装置以及计算机可读存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2284968A (en) * 1993-12-18 1995-06-21 Ibm Audio conferencing system
CN104333800B (zh) * 2014-07-21 2018-02-06 北京京东方视讯科技有限公司 一种显示系统、显示系统的蓝牙音频播放方法及装置
CN105163241B (zh) * 2015-09-14 2018-04-13 小米科技有限责任公司 音频播放方法及装置、电子设备
KR20170101629A (ko) * 2016-02-29 2017-09-06 한국전자통신연구원 스테레오 오디오 신호 기반의 다국어 오디오 서비스 제공 장치 및 방법
CN106303688A (zh) * 2016-08-29 2017-01-04 青岛海信电器股份有限公司 一种终端中的声音平衡参数调节方法和系统
CN106341719A (zh) * 2016-09-12 2017-01-18 王海 同时利用设备多种播放模块的同步音频播放方法及装置
CN106303836B (zh) * 2016-11-15 2019-10-01 广东小天才科技有限公司 一种调节立体声播放的方法及装置
CN106954140A (zh) * 2017-04-21 2017-07-14 北京奇虎科技有限公司 一种障碍物的提示方法、装置以及障碍物提示系统
CN107256139A (zh) * 2017-05-08 2017-10-17 深圳市科迈爱康科技有限公司 音频音量的调整方法、终端及计算机可读存储介质
CN108377445B (zh) * 2018-03-30 2020-05-05 广州市名艺电子有限公司 智能音箱的音量调节方法、装置、存储介质及智能音箱
CN110392298B (zh) * 2018-04-23 2021-09-28 腾讯科技(深圳)有限公司 一种音量调节方法、装置、设备及介质
CN108769800A (zh) * 2018-06-07 2018-11-06 深圳市亿联智能有限公司 一种智能音效调节方式
CN108834037B (zh) * 2018-06-12 2019-09-13 广州酷狗计算机科技有限公司 播放音频数据的方法和装置
US10795638B2 (en) * 2018-10-19 2020-10-06 Bose Corporation Conversation assistance audio device personalization
CN110795061A (zh) * 2019-06-26 2020-02-14 深圳市赛亿科技开发有限公司 智能音箱及其音量调节方法、计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107483855A (zh) * 2017-07-06 2017-12-15 深圳Tcl数字技术有限公司 电视音频控制方法、电视及计算机可读存储介质
CN107864432A (zh) * 2017-10-25 2018-03-30 努比亚技术有限公司 蓝牙音箱连接管理方法、终端及计算机可读存储介质
CN108683944A (zh) * 2018-05-14 2018-10-19 深圳市零度智控科技有限公司 智能电视的音量调节方法、装置以及计算机可读存储介质

Also Published As

Publication number Publication date
CN112333531A (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
US10123140B2 (en) Dynamic calibration of an audio system
US11816968B2 (en) Automatic presence simulator for security systems
US11474775B2 (en) Sound effect adjustment method, device, electronic device and storage medium
CN107277260A (zh) 一种情景模式调整方法、装置和移动终端
CN110580141B (zh) 移动终端
CN104813678A (zh) 用于使用用户参与度来提供内容呈现的方法和装置
WO2020224126A1 (zh) 一种基于人脸识别的自适应调节方法、系统和可读存储介质
CN106488311B (zh) 音效调整方法及用户终端
KR20040082414A (ko) 비사용자 이벤트에 기초하는 미디어 재생기를 제어하는방법 및 장치
US12112521B2 (en) Room acoustics simulation using deep learning image analysis
EP3675504A1 (en) Environmental data for media content
US20160065791A1 (en) Sound image play method and apparatus
CN114466210B (zh) 直播质量检测处理方法及其装置、设备、介质
KR20190084809A (ko) 전자 장치 및 전자 장치에 의한 자막 표현 방법
JP7453712B2 (ja) オーディオ再生方法、装置、コンピュータ可読記憶媒体及び電子機器
CN105992033A (zh) 一种调整终端的应用设置的方法、装置和系统
CN111081285B (zh) 一种调整特效的方法、电子设备及存储介质
CN112653902A (zh) 说话人识别方法、装置及电子设备
CN112333531B (zh) 音频数据播放方法、设备及可读存储介质
US20240057234A1 (en) Adjusting light effects based on adjustments made by users of other systems
CN113709291A (zh) 音频处理方法、装置、电子设备及可读存储介质
CN117376596A (zh) 基于智能数字人模型的直播方法、装置及存储介质
CN113986183B (zh) 智能家居设备的音量调节方法及装置
CN115037905A (zh) 录屏文件处理方法、电子设备及相关产品
KR20220117057A (ko) 오디오의 존재 및 비존재에 따른 비디오 품질 평가 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant