CN110139151A - 音频数据的处理方法及电子设备 - Google Patents

音频数据的处理方法及电子设备 Download PDF

Info

Publication number
CN110139151A
CN110139151A CN201910433524.2A CN201910433524A CN110139151A CN 110139151 A CN110139151 A CN 110139151A CN 201910433524 A CN201910433524 A CN 201910433524A CN 110139151 A CN110139151 A CN 110139151A
Authority
CN
China
Prior art keywords
audio
decoding result
result
electronic equipment
exported
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910433524.2A
Other languages
English (en)
Inventor
魏建德
王振菊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vidaa Netherlands International Holdings BV
Original Assignee
Qingdao Hisense Media Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Hisense Media Network Technology Co Ltd filed Critical Qingdao Hisense Media Network Technology Co Ltd
Priority to CN201910433524.2A priority Critical patent/CN110139151A/zh
Publication of CN110139151A publication Critical patent/CN110139151A/zh
Priority to PCT/CN2020/083613 priority patent/WO2020233263A1/zh
Priority to US17/347,372 priority patent/US11956497B2/en
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H04N5/607Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for more than one sound signal, e.g. stereo, multilanguages
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001Teaching or communicating with blind persons
    • G09B21/006Teaching or communicating with blind persons using audible presentation of the information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4382Demodulation or channel decoding, e.g. QPSK demodulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8106Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H04N5/602Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for digital sound signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/04Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00Details of connection covered by H04R, not provided for in its groups
    • H04R2420/01Input selection or mixing for amplifiers or loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00Details of connection covered by H04R, not provided for in its groups
    • H04R2420/03Connection circuits to selectively connect loudspeakers or headphones to amplifiers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00Details of connection covered by H04R, not provided for in its groups
    • H04R2420/05Detection of connection of loudspeakers or headphones to amplifiers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07Applications of wireless loudspeakers or wireless microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/15Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/033Headphones for stereophonic communication

Abstract

本发明实施例提供的音频数据的处理方法及电子设备,根据音视频文件中的音频数据,获取主路音频对应的第一解码结果和描述音频对应的第二解码结果,通过将所述第一解码结果、以及所述第一解码结果与所述第二解码结果的混音结果分别通过不同的音频输出设备进行输出,使得在普通人和盲人同时观看音视频的场景中,普通人和盲人可以选择不同的音频输出设备进行音频收听,保证二者不互相影响,满足了普通人和盲人同时观看的需求。

Description

音频数据的处理方法及电子设备
技术领域
本发明实施例涉及多媒体技术领域,尤其涉及一种音频数据的处理方法及电子设备。
背景技术
随着多媒体技术的发展,人们越来越喜欢通过影视节目获取资讯。对于普通人员,可以通过耳朵收听节目的音频,通过眼睛观看节目的视频画面。但是,对于盲人而言,却只能收听节目的音频,无法观看到视频画面,使得对影视节目的感知体验降低。
现有的数字电视(Digital television,DTV)业务,为了提升盲人对影视节目的感知体验,在DTV业务的音频数据中添加一路描述音频。其中,描述音频是指对当前视频画面的内容进行解析的音频数据。当盲人“观看”电视时,在收听影视节目的主路音频的同时,还可以通过收听描述音频来感知影视节目的视频画面。
但是,现有的DTV业务,无法满足普通人员和盲人同时观看电视的需求。
发明内容
本发明实施例提供一种音频数据的处理方法及电子设备,用以满足普通人和盲人同时观看影视节目的需求。
第一方面,本发明实施例提供一种音频数据的处理方法,包括:
根据音视频文件中的音频数据,获取主路音频对应的第一解码结果和描述音频对应的第二解码结果,所述主路音频是所述音视频文件本身的音频数据,所述描述音频是对所述音视频文件中的视频画面的内容进行描述的音频数据;
将所述第一解码结果、以及所述第一解码结果与所述第二解码结果的混音结果分别通过不同的音频输出设备进行输出。
第二方面,本发明实施例提供一种电子设备,包括:
解码器,用于根据音视频文件中的音频数据,获取主路音频对应的第一解码结果和描述音频对应的第二解码结果,所述主路音频是所述音视频文件本身的音频数据,所述描述音频是对所述音视频文件中的视频画面的内容进行描述的音频数据;
混音器,用于将所述第一解码结果、以及所述第一解码结果与所述第二解码结果的混音结果分别通过不同的音频输出设备进行输出。
第三方面,本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质包括计算机程序,所述计算机程序被处理器执行时实现如第一方面任一项所述的方法。
本发明实施例提供的音频数据的处理方法及电子设备,根据音视频文件中的音频数据,获取主路音频对应的第一解码结果和描述音频对应的第二解码结果,通过将所述第一解码结果、以及所述第一解码结果与所述第二解码结果的混音结果分别通过不同的音频输出设备进行输出,使得在普通人和盲人同时观看音视频的场景中,普通人和盲人可以选择不同的音频输出设备进行音频收听,保证二者不互相影响,满足了普通人和盲人同时观看的需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例适应的应用场景示意图;
图2为本发明一实施例提供的音频数据的处理方法的流程示意图;
图3为本发明另一实施例提供的音频数据的处理方法的流程示意图;
图4A为本发明实施例中场景1对应的场景示意图;
图4B为本发明实施例中场景1对应的音频数据处理过程示意图;
图5A为本发明实施例中场景2对应的场景示意图;
图5B为本发明实施例中场景2对应的音频数据处理过程示意图一;
图5C为本发明实施例中场景2对应的音频数据处理过程示意图二;
图6A为本发明实施例中场景3对应的场景示意图;
图6B为本发明实施例中场景3对应的音频数据处理过程示意图;
图7A为本发明实施例中场景4对应的场景示意图;
图7B为本发明实施例中场景4对应的音频数据处理过程示意图;
图8为本发明实施例提供的电子设备的结构示意图一;
图9为本发明实施例提供的电子设备的结构示意图二。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
图1为本发明实施例适应的应用场景示意图。如图1所示,该应用场景中,至少一个用户通过电子设备200观看影视节目。其中,电子设备200可以是具有多媒体播放功能的任意电子设备,包括但不限于:电视机、手机、平台电脑、台式电脑等。示例性的,图1中示例了电子设备为电视机的情况。用户在通过电子设备观看影视节目时,可以使用遥控器100选择影视节目,还可以使用遥控器100对影视节目的播放状态进行控制,例如:开始播放、暂停播放、调节音量、切换观看模式等。
可以理解的,为了丰富用户对影视节目的感知体验,影视节目通过包括视频数据和音频数据。因此,对于普通用户来说,可以通过耳朵收听节目的音频,通过眼睛观看节目的视频画面。但是,对于盲人而言,却只能收听节目的音频,无法观看到视频画面,使得对影视节目的感知体验降低。
现有的数字电视(Digital television,DTV)业务,为了提升盲人对影视节目的感知体验,在DTV业务的音频数据中添加一路特殊音频,该特殊音频用于对当前视频画面的内容进行解说。为了描述方便,本发明实施例中将影视节目本身的音频数据称为主路音频,将用于对当前视频画面的内容进行解说的音频数据称为描述音频。也就是说,DTV业务中,影视节目的音频数据包括两部分,分别为主路音频和描述音频。
一种可能的场景中,若图1中观看影视节目的用户为普通人,用户可以通过遥控器将影视节目的观看模式设置为普通人观看模式。该模式下,电子设备输出影视节目的主路音频。
另一种可能的场景中,若图1中观看影视节目的用户为盲人,用户可以通过遥控器将影视节目的观看模式设置为盲人观看模式。该模式下,电子设备同时输出影视节目的主路音频和描述音频。也就是说,盲人在收听影视节目的主路音频的同时,还可以通过收听描述音频来感知影视节目的视频画面。
然而,图1所示的应用场景中,还可能存在另外一种场景,例如:观看影视节目的用户既有普通人,也有盲人。现有的DTV业务,无法满足普通人员和盲人同时观看电视的需求。
本发明实施例提供一种音频数据的处理方法,能够满足普通人和盲人同时观看电视的需求。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
图2为本发明一实施例提供的音频数据的处理方法的流程示意图,本实施例的方法可以由图1中的电子设备执行。该电子设备可以是具有多媒体播放功能的任意电子设备,包括但不限于:电视机、手机、平台电脑、台式电脑等。
如图2所示,本实施例的方法,包括:
S201:根据音视频文件中的音频数据,获取主路音频对应的第一解码结果和描述音频对应的第二解码结果,所述主路音频是所述音视频文件本身的音频数据,所述描述音频是对所述音视频文件中的视频画面的内容进行描述的音频数据。
S202:将所述第一解码结果、以及所述第一解码结果与所述第二解码结果的混音结果分别通过不同的音频输出设备进行输出。
首先,本发明实施例中,音视频文件是指包括音频数据和视频数据的多媒体文件。音视频文件可以通过电子设备进行播放以供用户观看。示例性的,音视频文件可以是用户自拍摄的音视频短片,还可以是影视节目。为了描述方便,本发明实施例的后续描述中,以影视节目为例进行说明。
通常,支持多媒体播放的电子设备通常包括如下器件:控制器、解调器、解码器和混音器,其中,控制器与解调器、解码器、混音器分别连接,用于对解调器、解码器和混音器的处理过程进行控制。下面结合上述各器件描述电子设备对影视节目进行播放时的数据处理过程。
电子设备对影视节目进行播放时,控制器根据用户通过遥控器输入的播放指令,确定待播放影视节目。从服务器获取该影视节目的码流,该码流是根据协议类型对影视节目的原始数据进行编码后得到的。以DTV业务为例,电子设备从服务器获取到的影视节目的码流是采用DVT协议编码后的码流。电子设备不能直接对该码流数据进行播放,而是需要对该码流数据进行一系列的处理。
具体的,影视节目的码流数据是对视频数据和音频数据采用预设的调制方式进行调制得到的。由于电子设备对视频数据和音频数据的处理和播放方式不同,因此,需要首先通过解调器对该码流数据进行解调,得到视频数据和音频数据。针对解调得到的音频数据,控制器控制解码器对该音频数据进行解码,得到适合播放的音频。进一步的,控制器控制混音器对解码得到的音频进行混音处理,然后通过音频输出设备进行输出。其中,混音处理可以是对解码后的音频进行合成处理,还可以是对解码后的音频进行音效处理。
本实施例S201中,解码器根据影视节目对应的音频数据,获取主路音频对应的第一解码结果和描述音频对应的第二解码结果。其中,所述主路音频是所述影视节目本身的音频数据,所述描述音频是对所述影视节目的视频画面的内容进行描述的音频数据。
可以理解的,本实施例中的解码器可以具体是负责音频解码工作的数字信号处理(Digital Singnal Processo,DSP)芯片。解码器可以用于对多种输入源的音频进行解码,例如:DTV输入音频、USB输入音频、HDMI输入音频等。
本实施例中的解码器需要支持同时进行两路以上音频的解码。以DTV输入音频为例,影视节目的音频数据中包括主路音频和描述音频。解码器获取音频数据后,对主路音频和描述音频分别进行解码,得到主路音频对应的第一解码结果和描述音频对应的第二解码结果。
本实施例S202中,混音器将所述第一解码结果、以及所述第一解码结果与所述第二解码结果的混音结果分别通过不同的音频输出设备进行输出。
可以理解的,普通人观看影视节目时,只需要收听主路音频,而盲人观看影视节目时,需要同时收听主路音频和描述音频。本实施例中,为了兼顾普通人和盲人的观看需求,将主路音频通过音频输出设备1进行输出,将主路音频和描述音频的混音结果通过音频输出设备2进行输出。从而,普通人可以通过音频输出设备1进行收听,盲人可以通过音频输出设备2进行收听,可见,即使普通人和盲人同时观看影视节目,也不会相互影响。
其中,音频输出设备包括:电子设备内置的音频输出设备,和/或,与电子设备连接的外置音频输出设备。电子设备内置的音频输出设备例如可以是扬声器,与电子设备连接的外置音频输出设备例如可以是耳机。其中,耳机可以为有线耳机或者无线耳机。可选的,本实施例中的耳机可以为蓝牙耳机。
本实施例中,音频输出设备可以有多种。以扬声器和耳机为例,一种可能的实施方式中,混音器可以将主路音频通过扬声器进行输出,将主路音频与描述音频的混音结果通过耳机进行输出。该场景下,普通人通过扬声器收听音频数据,盲人通过耳机收听音频数据,两者互不影响。
另一种可能的实施方式中,混音器还可以将主路音频通过耳机进行输出,将主路音频与描述音频的混音结果通过扬声器进行输出。该场景下,普通人通过耳机收听音频数据,盲人通过扬声器收听音频数据,两者互不影响。
进一步的,本实施例中,盲人通过耳机或者扬声器收听到的是主路音频与描述音频混音后得到的混音结果。由于描述音频是对影视节目的视频画面进行解说的音频数据,即描述音频与视频画面具有同步性。同时,影视节目中的主路音频与视频画面也具有同步性,因此,本实施例中将主路音频与描述音频进行混音后输出,保证了盲人收听到的两路音频的同步性。
可以理解的,本实施例中,对于具体采用哪种音频输出设备进行输出并不作具体限定,只要主路音频、以及主路音频与描述音频的混音结果通过不同的音频输出设备进行输出即可。一种可能的实施方式中,电子设备还可以接收用户设置的音频输出策略,即,用户可以根据实际需要手动设置在哪路音频输出设备中输出主路音频,在哪路音频输出设备中输出混音结果。
本实施例提供的音频数据的处理方法,根据影视节目对应的音频数据,获取主路音频对应的第一解码结果和描述音频对应的第二解码结果,通过将所述第一解码结果、以及所述第一解码结果与所述第二解码结果的混音结果分别通过不同的音频输出设备进行输出,使得在普通人和盲人同时观看影视节目的场景中,普通人和盲人可以选择不同的音频输出设备进行音频收听,保证二者不互相影响,满足了普通人和盲人同时观看的需求。
在一些实施例中,如果音频数据中包含主路音频和描述音频,终端响应于没有耳机接入,则将主路音频和描述音频通过扬声器输出。此时,可以是仅盲人在观看视频,无需将数据进行分别处理。
图3为本发明另一实施例提供的音频数据的处理方法的流程示意图。本实施例在上述实施例的基础上进行细化。本实施例中的音频输出设备以扬声器和耳机为例进行描述。
如图3所示,本实施例的方法,包括:
S301:解调器获取音视频文件对应的码流,对所述码流进行解调,得到音视频文件中的视频数据和音频数据。
S302:解码器对音视频文件中的音频数据进行协议解析,判断所述音频数据中是否包括描述音频。若是,则执行S303,若否,则执行S304。
可以理解的,当根据协议解析结果,确定音频数据中不包括描述音频时,则无需对描述音频进行解码,以提高解码器的处理效率。
S303:解码器对音视频文件中的音频数据进行解码,得到所述主路音频对应的第一解码结果,以及所述描述音频对应的第二解码结果,并将所述第一解码结果存储至第一缓存器中,将所述第二解码结果存储至第二缓存器中。
S304:解码器对音视频文件中的音频数据进行解码,得到所述主路音频对应的第一解码结果,并将所述第一解码结果存储至第一缓存器中。
S305:控制器判断电子设备是否连接有耳机,若是,则执行S306,若否,则执行S307。
具体的,控制器可以根据电子设备与耳机之间的连接方式以及连接协议,检测电子设备是否连接有耳机。示例性的,以蓝牙耳机为例,控制器可以检测与电子设备建立配对关系的蓝牙设备中是否存在耳机设备。
S306:混音器从所述第一缓存器中获取所述第一解码结果,并将所述第一解码结果发送给所述扬声器,若所述第二缓存器不为空,则从所述第二缓存器中获取所述第二解码结果,并对所述第一解码结果和所述第二解码结果进行混音,将得到的混音结果发送给所述耳机。
S307:混音器从所述第一缓存器中获取所述第一解码结果,若所述第二缓存器不为空,则从所述第二缓存器中获取所述第二解码结果,并对所述第一解码结果和所述第二解码结果进行混音,将得到的混音结果发送给扬声器。
本实施例中,在电子设备连接有耳机时,则将主路音频通过扬声器输出,将主路音频和描述音频的混音结果通过耳机输出,以同时满足普通人和盲人的观看需求。在电子设备没有连接耳机时,将主路音频和描述音频的混音结果通过扬声器输出,以使盲人在不佩戴耳机的情况下,尽可能满足盲人的观看需求。
可选的,本实施例中,在S305之前,还可以包括:控制器获取所述影视节目的当前观看模式,在确定所述当前观看模式为支持盲人观看的模式时,执行S305至S307。
其中,影视节目的观看模式包括:支持盲人观看的模式和不支持盲人观看的模式。用户可以通过遥控器进行设置。当用户选择支持盲人观看的模式时,则电子设备在进行混音处理时,会考虑盲人观看需求。示例性的,将主路音频和描述音频进行混音处理后,将混音结果通过耳机进行输出。当用户选择不支持盲人观看的模式时,则电子设备在进行混音处理时,无须考虑盲人观看需求,直接将主路音频通过扬声器和耳机进行输出即可。
下面结合几个具体的场景分别进行描述,下述各场景中的电子设备是以支持DTV业务的电视机为例。
场景1:图4A为本发明实施例中场景1对应的场景示意图,图4B为本发明实施例中场景1对应的音频数据处理过程示意图。如图4A所示,该场景中,只有普通人观看影视节目。该场景下,用户将影视节目的观看模式设置为不支持盲人观看的模式。如图4B所示,影视节目的DTV码流经过解调器解调后,得到音频数据和视频数据。音频数据被送入解码器进行解码。当音频数据中包括描述音频时,解码器对音频数据进行解码,得到主路音频对应的解码结果和描述音频对应的解码结果。当音频数据中不包括描述音频时,解码器对音频数据进行解码,得到主路音频对应的解码结果。该场景下,无论音频数据中是否包括描述音频,混音器都只将主路音频对应的解码结果输出给扬声器。如果电子设备还连接有耳机,将同时将主路音频对应的解码结果输出给耳机。
场景2:图5A为本发明实施例中场景2对应的场景示意图,图5B为本发明实施例中场景2对应的音频数据处理过程示意图一,图5C为本发明实施例中场景2对应的音频数据处理过程示意图二。如图5A所示,该场景中,只有盲人观看影视节目,且用户未佩戴耳机。该场景下,用户将影视节目的观看模式设置为支持盲人观看的模式。如图5B和图5C所示,影视节目DTV码流经过解调器解调后,得到音频数据和视频数据。音频数据被送入解码器进行解码。如图5B所示,当音频数据中不包括描述音频时,解码器对音频数据进行解码,得到主路音频对应的解码结果。混音器将主路音频对应的解码结果输出给扬声器。如图5C所示,当音频数据中包括描述音频时,解码器对音频数据进行解码,得到主路音频对应的解码结果和描述音频对应的解码结果。混音器对主路音频对应的解码结果和描述音频对应的解码结果进行混音后,将混音结果输出给扬声器。
场景3:图6A为本发明实施例中场景3对应的场景示意图,图6B为本发明实施例中场景3对应的音频数据处理过程示意图。如图6A所示,该场景中,普通人和盲人观看影视节目,且盲人佩戴耳机。该场景下,用户将影视节目的观看模式设置为支持盲人观看的模式。如图6B所示,影视节目DTV码流经过解调器解调后,得到音频数据和视频数据。音频数据被送入解码器进行解码。解码器对音频数据进行解码,得到主路音频对应的解码结果和描述音频对应的解码结果。混音器将主路音频对应的解码结果输出给扬声器,并对主路音频对应的解码结果和描述音频对应的解码结果进行混音,将混音结果输出给耳机。
场景4:图7A为本发明实施例中场景4对应的场景示意图,图7B为本发明实施例中场景4对应的音频数据处理过程示意图。如图7A所示,该场景中,普通人和盲人观看影视节目,且普通人佩戴耳机。该场景下,用户将影视节目的观看模式设置为支持盲人观看的模式。如图7B所示,影视节目DTV码流经过解调器解调后,得到音频数据和视频数据。音频数据被送入解码器进行解码。解码器对音频数据进行解码,得到主路音频对应的解码结果和描述音频对应的解码结果。混音器将主路音频对应的解码结果输出给耳机,并对主路音频对应的解码结果和描述音频对应的解码结果进行混音,将混音结果输出给扬声器。
由此可见,本实施例的音频数据的处理方法,在不同的应用场景中均能满足普通和盲人的观看需求。尤其在盲人和普通人同时观看的场景中,能够实现二者互不干扰,提高了各种用户的观看体验。
图8为本发明实施例提供的电子设备的结构示意图一。本实施例的电子设备可以是支持多媒体播放的任一电子设备。可选的,该电子设备为电视机。
如图8所示,本实施例的电子设备800,包括:解码器801和混音器802。
其中,解码器801,用于根据音视频文件中的音频数据,获取主路音频对应的第一解码结果和描述音频对应的第二解码结果,所述主路音频是所述音视频文件本身的音频数据,所述描述音频是对所述音视频文件中的视频画面的内容进行描述的音频数据;
混音器802,用于将所述第一解码结果、以及所述第一解码结果与所述第二解码结果的混音结果分别通过不同的音频输出设备进行输出。
本实施例的电子设备,可用于执行上述如图2所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图9为本发明实施例提供的电子设备的结构示意图二,如图9所示,本实施例的电子设备800,还可以包括:控制器803和解调器801。
可选的,所述音频输出设备包括扬声器和耳机,所述控制器803,用于判断电子设备是否连接有所述耳机;
所述混音器802,具体用于若所述电子设备连接有所述耳机,则将所述第一解码结果与所述第二解码结果的混音结果通过所述耳机进行输出,将所述第一解码结果通过所述扬声器进行输出。
可选的,所述解码器801具体用于对音视频文件中的音频数据进行解码,得到所述主路音频对应的第一解码结果,以及所述描述音频对应的第二解码结果,并将所述第一解码结果存储至第一缓存器中,将所述第二解码结果存储至第二缓存器中。
可选的,所述混音器802具体用于:
从所述第一缓存器中获取所述第一解码结果,并将所述第一解码结果发送给所述扬声器;
若所述第二缓存器不为空,则从所述第二缓存器中获取所述第二解码结果,并对所述第一解码结果和所述第二解码结果进行混音,将得到的混音结果发送给所述耳机。
可选的,所述解码器801,用于对音视频文件中的音频数据进行协议解析,确定所述音频数据包括所述主路音频和所述描述音频。
可选的,所述控制器803还用于获取所述音视频文件的当前观看模式,确定所述当前观看模式为支持盲人观看的模式。
可选的,所述电子设备还包括:解调器,用于:
获取音视频文件的码流;
对所述码流进行解调,得到音视频文件中的视频数据和音频数据。
本实施例的电子设备,可用于执行上述任一方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
本发明一实施例还提供一种电子设备包括:处理器以及存储器;其中,存储器,用于存储计算机程序;处理器,用于执行存储器存储的计算机程序,以实现上述实施例中的音频数据的处理方法。具体可以参见前述方法实施例中的相关描述。
可选地,存储器既可以是独立的,也可以跟处理器集成在一起。
当所述存储器是独立于处理器之外的器件时,所述电子设备还可以包括:总线,用于连接所述存储器和处理器。
本实施例提供的电子设备,可用于执行上述任一方法实施例中的技术方案,其实现原理和技术效果类似,本实施例此处不再赘述。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质包括计算机程序,所述计算机程序用于实现如上任一方法实施例中的技术方案。
本发明实施例还提供一种芯片,包括:存储器、处理器以及计算机程序,所述计算机程序存储在所述存储器中,所述处理器运行所述计算机程序执行上述任一方法实施例中的技术方案。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能模块的形式实现的集成的模块,可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(英文:processor)执行本发明各个实施例所述方法的部分步骤。
应理解,上述处理器可以是中央处理单元(英文:Central Processing Unit,简称:CPU),还可以是其他通用处理器、数字信号处理器(英文:Digital Signal Processor,简称:DSP)、专用集成电路(英文:Application Specific Integrated Circuit,简称:ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合申请所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器,也可能还包括非易失性存储NVM,例如至少一个磁盘存储器,还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
总线可以是工业标准体系结构(Industry Standard Architecture,ISA)总线、外部设备互连(Peripheral Component,PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture,EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,本发明附图中的总线并不限定仅有一根总线或一种类型的总线。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits,简称:ASIC)中。当然,处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种音频数据的处理方法,其特征在于,包括:
根据音视频文件中的音频数据,获取主路音频对应的第一解码结果和描述音频对应的第二解码结果,所述主路音频是所述音视频文件本身的音频数据,所述描述音频是对所述音视频文件中的视频画面的内容进行描述的音频数据;
将所述第一解码结果、以及所述第一解码结果与所述第二解码结果的混音结果分别通过不同的音频输出设备进行输出。
2.根据权利要求1所述的方法,其特征在于,所述音频输出设备包括扬声器和耳机,所述将所述第一解码结果、以及所述第一解码结果与所述第二解码结果的混音结果分别通过不同的音频输出设备进行输出,包括:
判断电子设备是否连接有所述耳机,若所述电子设备连接有所述耳机,则将所述第一解码结果与所述第二解码结果的混音结果通过所述耳机进行输出,将所述第一解码结果通过所述扬声器进行输出。
3.根据权利要求2所述的方法,其特征在于,所述根据音视频文件中的音频数据,获取主路音频对应的第一解码结果和描述音频对应的第二解码结果,包括:
对音视频文件中的音频数据进行解码,得到所述主路音频对应的第一解码结果,以及所述描述音频对应的第二解码结果,并将所述第一解码结果存储至第一缓存器中,将所述第二解码结果存储至第二缓存器中。
4.根据权利要求3所述的方法,其特征在于,所述将所述第一解码结果与所述第二解码结果的混音结果通过所述耳机进行输出,将所述第一解码结果通过所述扬声器进行输出,包括:
从所述第一缓存器中获取所述第一解码结果,并将所述第一解码结果发送给所述扬声器;
若所述第二缓存器不为空,则从所述第二缓存器中获取所述第二解码结果,并对所述第一解码结果和所述第二解码结果进行混音,将得到的混音结果发送给所述耳机。
5.根据权利要求3所述的方法,其特征在于,所述对音视频文件中的音频数据进行解码之前,还包括:
对音视频文件中的音频数据进行协议解析,确定所述音频数据包括所述主路音频和所述描述音频。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述将所述第一解码结果、以及所述第一解码结果与所述第二解码结果的混音结果分别通过不同的音频输出设备进行输出之前,还包括:
获取所述音视频文件的当前观看模式,确定所述当前观看模式为支持盲人观看的模式。
7.根据权利要求1至5任一项所述的方法,其特征在于,所述根据音视频文件中的音频数据,获取主路音频对应的第一解码结果和描述音频对应的第二解码结果之前,还包括:
获取音视频文件的码流;
对所述码流进行解调,得到所述音视频文件中的视频数据和音频数据。
8.根据权利要求2所述的方法,其特征在于,所述将所述第一解码结果、以及所述第一解码结果与所述第二解码结果的混音结果分别通过不同的音频输出设备进行输出,还包括:
若所述电子设备未连接有所述耳机,则将所述第一解码结果与所述第二解码结果的混音结果通过所述扬声器进行输出。
9.一种电子设备,其特征在于,包括:
解码器,用于根据音视频文件中的音频数据,获取主路音频对应的第一解码结果和描述音频对应的第二解码结果,所述主路音频是所述音视频文件本身的音频数据,所述描述音频是对所述音视频文件中的视频画面的内容进行描述的音频数据;
混音器,用于将所述第一解码结果、以及所述第一解码结果与所述第二解码结果的混音结果分别通过不同的音频输出设备进行输出。
10.根据权利要求9所述的电子设备,其特征在于,所述音频输出设备包括扬声器和耳机,所述电子设备还包括:
控制器,用于判断电子设备是否连接有所述耳机;
所述混音器,具体用于若所述电子设备连接有所述耳机,则将所述第一解码结果与所述第二解码结果的混音结果通过所述耳机进行输出,将所述第一解码结果通过所述扬声器进行输出。
CN201910433524.2A 2019-05-23 2019-05-23 音频数据的处理方法及电子设备 Pending CN110139151A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910433524.2A CN110139151A (zh) 2019-05-23 2019-05-23 音频数据的处理方法及电子设备
PCT/CN2020/083613 WO2020233263A1 (zh) 2019-05-23 2020-04-08 音频处理方法及电子设备
US17/347,372 US11956497B2 (en) 2019-05-23 2021-06-14 Audio processing method and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910433524.2A CN110139151A (zh) 2019-05-23 2019-05-23 音频数据的处理方法及电子设备

Publications (1)

Publication Number Publication Date
CN110139151A true CN110139151A (zh) 2019-08-16

Family

ID=67572680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910433524.2A Pending CN110139151A (zh) 2019-05-23 2019-05-23 音频数据的处理方法及电子设备

Country Status (3)

Country Link
US (1) US11956497B2 (zh)
CN (1) CN110139151A (zh)
WO (1) WO2020233263A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020233263A1 (zh) * 2019-05-23 2020-11-26 青岛海信传媒网络技术有限公司 音频处理方法及电子设备
CN113783645A (zh) * 2021-09-30 2021-12-10 上海电影技术厂有限公司 一种服务于视障人士的无障碍放映设备
WO2021257838A1 (en) 2020-06-18 2021-12-23 Sony Group Corporation Multiple output control based on user input

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3131058A1 (fr) * 2021-12-21 2023-06-23 Sagemcom Broadband Sas Boitier décodeur pour la restitution d’une piste audio additionnelle.

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101458951A (zh) * 2008-12-30 2009-06-17 胡礼斌 具有多功能的影音节目信号处理系统
EP2144438A1 (en) * 2008-07-07 2010-01-13 Sony United Kingdom Limited Television device with user interface
CN101877806A (zh) * 2009-04-28 2010-11-03 St微电子(格勒诺布尔2)有限公司 控制音频内容通过两个扬声器的广播的方法和设备
CN201663649U (zh) * 2010-04-27 2010-12-01 胡志超 一种具有盲人功能的电视接收机
CN103179451A (zh) * 2013-03-19 2013-06-26 深圳市九洲电器有限公司 基于dvb标准的双音频混合输出方法、装置及机顶盒
CN105245938A (zh) * 2015-09-30 2016-01-13 努比亚技术有限公司 播放多媒体文件的装置和方法
CN109275027A (zh) * 2018-09-26 2019-01-25 Tcl海外电子(惠州)有限公司 视频的语音输出方法、电子播放设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102531886B1 (ko) * 2016-08-17 2023-05-16 삼성전자주식회사 전자장치 및 그 제어방법
CN110139151A (zh) * 2019-05-23 2019-08-16 青岛海信传媒网络技术有限公司 音频数据的处理方法及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2144438A1 (en) * 2008-07-07 2010-01-13 Sony United Kingdom Limited Television device with user interface
CN101458951A (zh) * 2008-12-30 2009-06-17 胡礼斌 具有多功能的影音节目信号处理系统
CN101877806A (zh) * 2009-04-28 2010-11-03 St微电子(格勒诺布尔2)有限公司 控制音频内容通过两个扬声器的广播的方法和设备
CN201663649U (zh) * 2010-04-27 2010-12-01 胡志超 一种具有盲人功能的电视接收机
CN103179451A (zh) * 2013-03-19 2013-06-26 深圳市九洲电器有限公司 基于dvb标准的双音频混合输出方法、装置及机顶盒
CN105245938A (zh) * 2015-09-30 2016-01-13 努比亚技术有限公司 播放多媒体文件的装置和方法
CN109275027A (zh) * 2018-09-26 2019-01-25 Tcl海外电子(惠州)有限公司 视频的语音输出方法、电子播放设备及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020233263A1 (zh) * 2019-05-23 2020-11-26 青岛海信传媒网络技术有限公司 音频处理方法及电子设备
US11956497B2 (en) 2019-05-23 2024-04-09 Vidaa (Netherlands) International Holdings, B.V. Audio processing method and electronic device
WO2021257838A1 (en) 2020-06-18 2021-12-23 Sony Group Corporation Multiple output control based on user input
CN114667737A (zh) * 2020-06-18 2022-06-24 索尼集团公司 基于用户输入的多路输出控制
EP4122211A4 (en) * 2020-06-18 2023-09-13 Sony Group Corporation MULTIPLE OUTPUT CONTROL BASED ON USER INPUT
CN113783645A (zh) * 2021-09-30 2021-12-10 上海电影技术厂有限公司 一种服务于视障人士的无障碍放映设备

Also Published As

Publication number Publication date
US11956497B2 (en) 2024-04-09
WO2020233263A1 (zh) 2020-11-26
US20210306699A1 (en) 2021-09-30

Similar Documents

Publication Publication Date Title
CN110139151A (zh) 音频数据的处理方法及电子设备
CN109445740B (zh) 音频播放方法、装置、电子设备及存储介质
CN106412772B (zh) 相机驱动的音频空间化
US20140359685A1 (en) Video processing method, television dongle, control terminal, and system
CN104967960A (zh) 语音数据处理方法、游戏直播中的语音数据处理方法和系统
CN105916002B (zh) 一种实现软硬解码切换的播放器多窗口显示系统及方法
WO2016150316A1 (zh) 音频输出控制方法及装置
CN109144642B (zh) 显示控制方法、装置、电子设备及存储介质
CN113050916A (zh) 音频播放方法、装置及存储介质
US11120808B2 (en) Audio playing method and apparatus, and terminal
CN112673651B (zh) 多视点多用户音频用户体验
CN107424617A (zh) 一种多媒体数据处理设备及方法
TWM556913U (zh) Ktv智能盒子
CN115767158A (zh) 同步播放方法、终端设备及存储介质
CN108650592B (zh) 一种实现颈带式环绕立体声的方法及立体声控制系统
CN106782578B (zh) 一种分布式解码控制器、分布式解码方法及音频终端
CN104506932A (zh) 一种音频传输控制系统和控制方法
CN114501401A (zh) 音频的传输方法及装置、电子设备、可读存储介质
CN103686045A (zh) 音视频信息传输方法及设备
CN205943467U (zh) 一种音频播放装置及终端
CN109818979A (zh) 一种实现音频回传的方法、装置、设备及存储介质
CN117406654B (zh) 音效处理方法和电子设备
CN113129915B (zh) 音频共享方法、装置、设备、存储介质及程序产品
CN105263064B (zh) 一种播放控制方法及装置
CN204669594U (zh) 一种android智能音响视听系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20221017

Address after: 83 Intekte Street, Devon, Netherlands

Applicant after: VIDAA (Netherlands) International Holdings Ltd.

Address before: 266061 room 131, 248 Hong Kong East Road, Laoshan District, Qingdao City, Shandong Province

Applicant before: QINGDAO HISENSE MEDIA NETWORKS Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20190816

RJ01 Rejection of invention patent application after publication