CN109887513A - 音频效果激活的气味生成方法和系统 - Google Patents

音频效果激活的气味生成方法和系统 Download PDF

Info

Publication number
CN109887513A
CN109887513A CN201910139353.2A CN201910139353A CN109887513A CN 109887513 A CN109887513 A CN 109887513A CN 201910139353 A CN201910139353 A CN 201910139353A CN 109887513 A CN109887513 A CN 109887513A
Authority
CN
China
Prior art keywords
audio
hash code
smell
significant event
audio signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910139353.2A
Other languages
English (en)
Other versions
CN109887513B (zh
Inventor
陈浩然
江嘉伟
刘俊辉
陈猛
李文荣
周宝峰
陈革文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Acoustic Arc International Ltd
Original Assignee
Acoustic Arc International Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Acoustic Arc International Ltd filed Critical Acoustic Arc International Ltd
Publication of CN109887513A publication Critical patent/CN109887513A/zh
Application granted granted Critical
Publication of CN109887513B publication Critical patent/CN109887513B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9014—Indexing; Data structures therefor; Storage structures hash tables
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L9/00—Disinfection, sterilisation or deodorisation of air
    • A61L9/14—Disinfection, sterilisation or deodorisation of air using sprayed or atomised substances including air-liquid contact processes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L9/00—Disinfection, sterilisation or deodorisation of air
    • A61L9/015—Disinfection, sterilisation or deodorisation of air using gaseous or vaporous substances, e.g. ozone
    • A61L9/04—Disinfection, sterilisation or deodorisation of air using gaseous or vaporous substances, e.g. ozone using substances evaporated in the air without heating
    • A61L9/12—Apparatus, e.g. holders, therefor
    • A61L9/125—Apparatus, e.g. holders, therefor emanating multiple odours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9038—Presentation of query results
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L2209/00—Aspects relating to disinfection, sterilisation or deodorisation of air
    • A61L2209/10—Apparatus features
    • A61L2209/11—Apparatus for controlling air treatment
    • A61L2209/111—Sensor means, e.g. motion, brightness, scent, contaminant sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

通过对频谱图的分析，在一定的时间窗口内将频谱图中具有特征点的称之为频谱指纹的音频信号提取出来。具体的，通过在多个时间窗内对多个特征点进行散列算法以给出散列码，再将获得的散列码序列与存储在数据库中的已知音频有意义事件的预定散列码段对应相关，从而将与音频有意义事件具有最高相关性的匹配的频谱信号识别出来。继而对应于匹配有意义事件的的音频气味生成配方被检索出来。最后蒸发气味生成物质以生成相对应的时变气味。由于散列码具有固定长度及比多个特征点小的尺寸，因此通过使用散列码而不是多个特征点来进行计算分析，从而减少了对数据库的存储要求及相关性计算的计算量要求。

Description

音频效果激活的气味生成方法和系统
技术领域
本发明涉及用于根据音频信号中的音频有意义事件生成时变气味的方法和系统。
背景技术
当人们在收听FM收音机播放的音频节目的故事时，如果此人周围环境中的气味或异味是可变的并且以时间相干的方式与故事的发展情节相配合，则他或她在享受故事过程中的用户体验可以大大增强。例如，当音频节目产生枪击声时，可向周围环境导入硫磺气味，使听众可以闻到枪炮的硝烟味，犹如身临其境一般。
在本领域中，在US2015/0222846、US2013/0194437和US2011/0268605中已经公开了用于以相干方式同步音频文件的播放和将适当的气味散播到周围环境的技术。US2015/0222846公开了一种传递和广播香味感官信息的方法。主要理念是将附加的香味“信道”编码到现有的视频和音频信道中。最终用户可以通过由此附加信道激活的装置闻到气味。US2013/0194437公开了一种在用户正在观看视频时激活听觉/感觉/嗅觉信号的方法。主要理念是使用移动计算装置来捕获视频屏幕上的预定的数据承载模式、诸如QR(QuickResponse)码。移动计算装置对模式进行解码以获得信息来激活适当的听觉/感觉/嗅觉信号。US2011/0268605公开了一种具有多种气味释放功能的设备。气味释放的触发是通过计算机来控制的。US2015/0222846、US2013/0194437和US2011/0268605的技术中的一个共同特征是在每种技术中，需要通过额外通信信道发送的附加信息。在涉及的成本和实施难度方面是不利的。
在没有额外通信信道的情况下，通过将音频水印结合到相应的音频信号中的技术，可以与播放音频文件相干地及时释放适当的气味。然而，主要的缺点在于音频信号需要在用户能播放其之前对其进行预处理。在实际情况中，如果用户可以播放从任何地方获取的任何音频文件并且根据音频文件的内容立即体验与兴奋时刻同步的气味，则可极大提高用户体验。产生兴奋时刻的内容是指一些有意义事件，诸如枪击、玻璃破碎、关门、汽车撞击爆炸等。总的来说，这些有意义事件被称为“音频有意义事件”。这些事件通常用于创建影响终端用户的音频效果。理想情况下，使与音频效果同步的气味填充到终端用户周围的空间会加剧兴奋时刻的感官影响。
因此，根据音频信号中的音频有意义事件生成时变气味的技术，而无需在额外通信信道中携带的辅助信息来帮助检测和分类音频有意义事件成为一种需要。显然，如果适当气味的生成不能跟随音频文件同步释放，则用户体验会显著下降。因此，迫切需要一种在计算上简单以便于实际实现的技术。
发明内容
本发明的第一方面是提供一种用于根据音频信号中出现的音频有意义事件生成时变气味的方法。
所述方法包括以下步骤：(a)在时间窗内提取音频信号的指纹，其中指纹包括多个特征点；(b)散列多个特征点以产生具有固定长度和小于多个特征点的尺寸的散列码；(c)对连续时间窗序列重复步骤(a)和(b)以获得多个散列码；(d)提供包括多个条目的数据库，单独条目包括预定散列码段和气味生成配方，所述预定散列码段是针对已知音频有意义事件而计算的，所述气味生成配方包括至少一种气味生成物质的列表，用于在检测到所述音频信号中存在已知音频有意义事件时生成气味；(e)在与多个条目相关联的所有已知音频有意义事件中识别匹配音频有意义事件，使得多个散列码与针对匹配音频有意义事件计算的预定散列码段之间的相关性最高并超过预定阈值相关性；以及(f)当在步骤(e)中识别出匹配音频有意义事件时，气味生成物质的列表中与匹配音频有意义事件相关联的气味生成物质被释放出来，以响应音频信号中出现的相匹配音频有意义事件而生成气味。
可选地，该方法还包括步骤(g)：对于下一连续时间窗序列重复步骤(c)、(e)和(f)，直到音频信号结束。还可选的是，该方法还包括步骤(h)：当在步骤(e)中不能识别出与匹配音频有意义事件相符合的音频信号时，存储连续时间窗内的多个散列码和音频信号以用于更新数据库。
在该方法中，多个散列码与针对单独已知音频有意义事件计算的预定散列码段之间的相关性被计算为命中数。当多个散列码中的单独散列码与上述预定散列码段中的一个散列码匹配时，获得一次命中。
在步骤(a)中，优选地，从时间窗内的频谱图数据中提取指纹，其中频谱图数据是音频信号的频谱图的数据。优选地，通过对音频信号进行短时傅里叶变换((Short TimeFourier Transform(STFT))来计算频谱图。该方法还可以包括步骤(i)：通过对音频信号进行STFT来计算频谱图。
优选的，该方法还包括步骤(j)：对频谱图进行带通滤波以降低噪声，并对滤波的频谱图进行阈值处理以去除其背景并同时保持峰值，从而在步骤(a)中使用在滤波和阈值处理之后获得的频谱图。
在步骤(a)中，可以通过包括从频谱图数据导出的局部最大点、局部最小点、形心、距离、时间或任何其他可测量的量来获得多个特征点。
在步骤(b)的一个实施例中，通过SHA256从多个特征点计算散列码。
本发明的第二方面是提供一种用于根据音频信号中出现的音频有意义事件生成时变气味的系统。
该系统包括一个或多个雾化器和一个或多个计算处理器。单独雾化器用于选择性地蒸发单独气味生成物质。由此，允许选择性地释放一种或多种气味生成物质以生成时变气味。一个或多个计算处理器被配置为执行生成时变气味的过程。生成过程包括以下步骤：(a)在时间窗内提取音频信号的指纹，其中指纹包括多个特征点；(b)散列多个特征点以产生具有固定长度和小于多个特征点的尺寸的散列码；(c)对连续时间窗序列重复步骤(a)和(b)以获得多个散列码；(d)访问包括多个条目的数据库以检索多个条目，单独条目包括预定散列码段和气味生成配方，所述预定散列码段是针对已知音频有意义事件而计算的，气味生成配方包括至少一种气味生成物质的列表，用于在检测到音频信号中存在已知音频有意义事件时生成气味；(e)在与所述多个条目相关联的所有已知音频有意义事件中识别匹配音频有意义事件，使得多个散列码与针对匹配音频有意义事件计算的预定散列码段之间的相关性最高并超过预定的阈值相关性；以及(f)当在步骤(e)中识别出匹配音频有意义事件时，配置一个或多个雾化器以释放列表中的与匹配音频有意义事件相关联的每种气味生成物质，从而响应于音频信号中匹配音频有意义事件的出现而生成气味。
可选地，生成过程还包括步骤(g)：对于下一连续时间窗序列重复步骤(c)、(e)和(f)，直到音频信号结束。
在生成过程中，可以将多个散列码与针对单独的已知音频有意义事件计算的预定散列码段之间的相关性计算为命中数。当多个散列码中的单独散列码与上述预定散列码段中的一个散列码匹配时，获得一次命中。
在步骤(a)中，优选地，从时间窗内的频谱图数据中提取指纹，其中频谱图数据是音频信号的频谱图的数据。优选地，通过对音频信号进行STFT来计算频谱图。生成过程还可以包括通过对音频信号进行STFT来计算频谱图的步骤(i)。
还优选的是，生成过程还包括步骤(j)：对频谱图进行带通滤波以降低噪声，并对滤波的频谱图进行阈值处理以去除其背景并同时保持峰值，从而在步骤(a)中使用在滤波和阈值处理之后获得频谱图。
在步骤(a)中，可以通过包括从谱图的数据导出的局部最大点、局部最小点、形心、距离、时间或任何其他可测量的量来获得多个特征点。
在步骤(b)的一个实施例中，通过SHA256从多个特征点计算散列码。
该系统还可以包括一个或多个通信收发器，用于使一个或多个计算处理器能够与系统外部的条目通信。一个或多个通信收发器可以被配置为经由因特网与数据库通信，以使一个或多个计算处理器能够检索多个条目。一个或多个通信收发器还可以被配置为与移动计算装置通信以检索音频信号或访问数据库。
通过至少将一个或多个雾化器、一个或多个计算处理器和一个或多个通信收发器集成为独立装置，可以将系统实现为一个独立装置。
如下文的实施例所示，公开了本发明的其他方面。
附图说明
图1描绘了示出用于根据本发明的示例性实施例的生成时变气味的方法的步骤的流程图。
图2描绘了作为用于说明的示例的音频信号的样本。
图3描绘了通过将STFT应用于图2的音频信号样本而生成的频谱图。
图4描绘了在带通滤波图3的频谱图之后获得的滤波频谱图。
图5描绘了通过对图4的滤波频谱图进行阈值处理来去除背景而仅留下峰值的结果。
图6示出了根据本发明的一个实施例从图5中所示的峰值中提取特征点。
图7描绘了根据本发明的示例性实施例的用于生成时变气味的系统。
具体实施方式
在本文的说明书和所附权利要求书中使用以下定义。除非另有说明，否则“云”被理解和解释为云计算的意义，或者同义地通过网络分布式计算。“数据库”是指有组织的数据集合。数据库的数据可以存储在一个或多个物理存储器中，或者可以通过将数据分布在云中而以分布式方式存储。具体地，“分布式数据库”是以分布式方式存储数据的数据库。在声音信号的持续期间出现的“音频有意义事件”是当人听到并解释声音信号时可由合适的人识别的有意义事件，其中有意义事件不是出现用于在声音信号中嵌入数据的音频水印。音频有意义事件的示例包括枪击、玻璃破碎、流水、钢琴演奏、关门、人尖叫、狗吠等。“散列函数”是指用于将任意尺寸的数据映射到固定尺寸的数据的函数。“散列”数据序列是指将散列函数应用于数据序列以获得具有固定长度的散列码。
本发明的第一方面是提供一种用于根据音频信号中出现的音频有意义事件产生时变气味的方法。时变气味由音频有意义事件确定。该方法根据音频信号的指纹确定音频有意义事件。特别地，发明人已经发现散列指纹以获得散列码然后将散列码与存储的散列码的数据库进行比较使得能够快速确定音频有意义事件，同时减少实现所公开的方法的计算和存储要求。
借助于图1说明该方法，图1描绘了示出该方法的示例性步骤的流程图。
为了区分不同的音频有意义事件，需要首先识别这些事件的特征。各事件的特征可以通过音频信号的指纹导出。在步骤130中，在某个预定时间窗内从音频信号中提取指纹。也就是说，使用音频信号的时间段而不是针对整个音频信号来提取指纹。指纹包括多个特征点。每个特征点可以是音频信号的某种可量化特性，例如，在预选频带内的音频信号的信号功率电平。重复应用步骤130(如由步骤145控制)而在连续的时间窗序列内产生多个指纹。如稍后所示，多个指纹使音频信号中的任何音频有意义事件的存在和类型可确定下来。
另外，可以从时域处理音频信号获得指纹。例如，US6,453,252报告了一种确定包括音频信号的子带能级的指纹的方法，其通过时域带通滤波音频信号以获得每个子带信号，然后进行下采样并计算子带能级来确定指纹。另外，由于在变换域中通常可区分不同的音频有意义事件，因此在步骤130中获取指纹时，优选地首先通过将音频信号投影到变换域中，然后从变换域中表示音频信号的数据中来提取指纹。
由于实际关注的音频信号不是静止信号，因此变换域有利地且优选地被选择为时频域。具体的，通过时频变换来处理音频信号以生成频谱图(步骤110)。频谱图是音频信号的时变频域表征。因此，在步骤130中，从上述预定时间窗内获得的频谱图数据中提取音频信号的指纹，其中频谱图数据是指音频信号的频谱图的数据。如上所述，指纹包括多个特征点。每个特征点可以是从频谱图数据中导出的例如局部最大点、局部最小点、形心、距离、时间或任何其他可测量的量。
优选地，时频变换是STFT。STFT具有诸多优点，例如STFT在无需等待完整的可用音频信号的情况下便可支持并行计算和STFT结果的渠道(pipeline)生成。因此可以实现步骤110和130的并行执行。STFT的另一个优点是感兴趣的音频有意义事件(诸如枪击)通常时间较短(<1s)，而STFT可以快速显示音频信号的频率信息。STFT也可以使用其他时频变换，诸如小波变换。作为说明性示例，图2描绘了音频信号的样本，并且音频信号样本通过STFT可变换为视觉上显示为图3中的三维(3D)图的频谱图。
在步骤130中提取多个特征点可能并不容易，因为在步骤110中生成的频谱图通常是不平滑的并且经常被噪声破坏。作为示例，从图3的频谱图中识别局部最小值或局部最大值是不容易的。所以优选地，在步骤130中提取指纹之前，需要先对步骤110中生成的频谱图进行调节(或滤波)。优选的，在步骤120中，对频谱图进行调节。具体地，对频谱图进行带通滤波以降低噪声，并且接着对滤波的频谱图进行阈值处理，以去除背景并同时保持峰值(如图4和5所示)。在滤波和阈值处理之后获得的频谱图用于步骤130中的指纹提取。图4描绘了在带通滤波图3的频谱图之后获得的滤波频谱图。滤波谱图中存在的峰值也显示在图4中。这些峰值将被提取出来以在步骤130中导出特征点。如果去除滤波的频谱图的背景，则特征点的提取工作可被简化。图5表示通过对滤波后的频谱图进行阈值处理来去除背景而仅留下多个峰值的结果。
本领域技术人员可以理解，如果在步骤110中使用STFT，则可以通过使用本领域中可用的适当并行计算技术来实现步骤110、120和130的并行执行。
参照图6说明步骤130的一个实施例，图6描绘了从图5的多个峰值中提取多个特征点。首先，确定时间窗610，在时间窗610中，峰值(频谱图的数据)被用于特征点提取。时间窗610具有长度ΔT。在时间窗610内，识别出五个峰值：点A 621；点B 622；点C 623；点D 624；和点E 625。这五个点621至625用于导出多个特征点，包括：(1)每个点对AB 631、AC 632、AD633和AE 634中的两个点的时频位置；和(2)每个上述点对的距离。多个特征点形成指纹。
有利地，该方法包括对在步骤130中获得的多个特征点进行散列以产生散列码的步骤140。散列码具有固定的尺寸，并且尺寸(数据的数量)小于多个特征点。散列通常用于数据安全应用中。在本发明中，有利地利用产生固定尺寸散列码的特性来减少音频有意义事件识别中的计算要求。可以使用通常可用的散列函数来从多个特征点中生成散列码。在一个实施例中，使用“SHA256”，即数据安全领域中已知的公开的散列函数。有关SHA256的详细信息，请参阅“US Secure Hash Algorithms(US安全散列算法)(SHA和基于SHA的HMAC和HKDF)”，RFC 6234，Internet Engineering Task Force(互联网工程任务组(IETF))，2011年5月。再次参照图6来说明步骤140。将多个特征点输入到散列函数“SHA256”以获得散列码。
对于连续时间窗序列，重复步骤130和140(如由步骤145控制)。从而获得多个散列码。在图6所示的示例中，通过沿时间轴滑动时间窗610来形成连续时间窗序列。
在实际应用中，步骤130和140循环一固定时间段，例如，持续时间小于1秒的音频效果的十分之一毫秒。在一个循环内收集的散列码可以不是针对特定音频有意义事件的整个散列码集。例如，持续0.8秒的枪击包含1000个散列码。如果循环被设计为以50ms运行，则每次收集的散列码将少于1000个。换言之，只有部分散列码集会被收集起来。因此，可以通过将部分散列码集与针对不同音频有意义事件的已存储的散列码进行比较来识别某个音频有意义事件。因此，通过这样的设计，可对进入的音频有意义事件进行预测，而无需整个散列码集。且其具有降低计算要求和降低存储要求的优点。此外并且非常重要的一点是，该方法允许快速简便地查找和比较，以确定和识别音频有意义事件。综上公开的方法可以对音频频谱进行快速识别，在实际应用中，这对于生成匹配的实时响应的时变气味具有非常重要的意义。
在所公开的方法中，在检查通过循环步骤130、140、145而生成的多个散列码时，需要包含用于已知音频有意义事件的散列码段的数据库。如本文所使用的，“散列码段”是用于与在步骤130和140的重复执行中生成的多个散列码进行比较的部分散列码集。在步骤191中，所述数据库被提供以实现该功能。本领域技术人员容易理解，根据实际情况，可以以不同方法提供(或访问)数据库。这方面将在后面进一步阐述。该数据库包括多个条目。每个条目包括预定的散列码段和气味生成配方。针对已知音频有意义事件(即，在数据库的准备中已知的音频有意义事件)计算预定散列码段。气味生成配方包括一种或多种气味生成物质的列表，当检测到音频信号中存在的上述已知音频有意义事件时，该气味生成物质用于产生气味。本领域技术人员能够识别合适的气味生成物质，例如精油，以产生所需的气味。
在步骤140中，在减少数据库的存储要求方面，散列指纹的优点是显而易见的。由于散列码具有比相应指纹更小的尺寸，因此存储用于已知音频有意义事件的预定散列码段需要比存储相应指纹对应物更小的存储空间。如果在终端用户装置中安装该数据库，则该装置更容易实现。如果需要经由因特网将数据库传输到终端用户装置，也能降低数据通信要求。
针对存储在数据库中的预定散列码段，检查在重复执行步骤140中获得的多个散列码，以识别在连续时间窗序列的持续时间内存在于音频信号中的任何可能的音频有意义事件。如果在上述持续时间期间音频信号中存在某个已知音频有意义事件，则在理想情况下，多个散列码将与相应的预定散列码段匹配。将多个散列码与该预定散列码段相关将产生指示获得多少重叠的相关性结果。因此，通过识别在所有与数据库相关联的已知音频有意义事件中具有最高相关性结果的特定已知音频有意义事件(方便地称为匹配的音频有意义事件)，来获得存在哪个音频有意义事件的最大可能性估计。实际上也可能存在没有音频有意义事件。在此特定情况下，被识别出的匹配的音频有意义事件可视为无效。当与匹配的音频有意义事件相关联的相关性结果低于预定阈值相关性时，可以简单地进行拒绝决定。由于散列具有很强的抗冲突性，因此没有音频有意义事件时的相关性结果通常接近于零。因此，阈值相关性可以被设置为接近零的值。作为方便的选择，阈值相关性可以设定为预期最大相关性值的1/2或1/4。总之，在步骤150中，在所有与数据库的多个条目相关联的已知音频有意义事件中识别出匹配的音频有意义事件，使得多个散列码与针对匹配的音频有意义事件计算的预定散列码段之间的相关性最高并且超过预定阈值相关性。
可以通过本领域已知的公式进行相关性的计算。由于每个散列码都是数字字符，因此可以通过比较和附加过程简化估计相关性。如果多个散列码中的单独散列码与上述预定散列码段中的一个散列码匹配，则获得“命中”。然后通过命中数给出相关性。通过在所有已知音频有意义事件中具有最高的命中数来识别匹配的音频有意义事件。
在步骤140中，在减少计算相关性的计算要求方面，散列指纹的优点是显而易见的，因为散列码具有比相应指纹更小的尺寸。
在执行步骤150之后，可能会出现两个结果。一个结果是识别出匹配的音频有意义事件，而另一个结果是没有识别出匹配的音频有意义事件。如果识别出匹配的音频有意义事件，则释放列表中的与匹配的音频有意义事件相关联的每种气味生成物质，以作为对音频信号中出现的匹配的音频有意义事件的响应(步骤160)。如果在步骤150中无法识别出匹配的音频有意义事件，则意味着不存在音频有意义事件或者存在尚不知道的新的音频有意义事件。此时则不采取任何动作。另选地，可以存储跨越连续时间窗序列的多个散列码和音频信号。在发现与多个散列码相关联的新类型的音频有意义事件的情况下，可以更新数据库(步骤192)。
在连续时间窗序列内对频谱图执行步骤150和160之后，通常在音频信号结束之前对下一连续时间窗序列重复步骤130、140、145、150和160(如步骤165所控制的)。
本发明的第二方面是提供一种用于根据音频信号中出现的音频有意义事件生成时变气味的系统，其中根据上面在本发明的第一方面中公开的方法的任何实施例生成气味。
可参照图7为例解释该系统。图7表示用于根据本发明的示例性实施例的生成时变气味的系统700。
系统700包括一个或多个雾化器730和一个或多个计算处理器710。各独立雾化器(例如，雾化器733)可由一个或多个计算处理器710控制用于选择性地蒸发独立的气味生成物质。因此，一个或多个雾化器730允许选择性地释放一种或多种气味生成物质以生成时变气味。一个或多个计算处理器710被配置为至少经由激活一个或多个雾化器730来生成时变气味。例如，一个或多个计算处理器710被配置为执行步骤110、120、130、140、145、150和165，并且当一个或多个计算处理器710在步骤150中识别出匹配的音频有意义事件时配置或控制一个或多个雾化器730以执行步骤160。一个或多个计算处理器710还可设置为访问步骤191中提到的数据库。
在一些应用中，数据库可以是驻留在系统700中的本地数据库720。在一些其他应用中，数据库可以驻留在因特网770中。所述数据库(由775表示)可以是独立数据库或是分布式数据库。
为使一个或多个计算处理器710能够访问数据库775，以使一个或多个计算处理器710能够与系统700外部的实体通信的一个或多个通信收发器715包括在系统700中并且耦合至一个或多个计算处理器710。一个或多个通信收发器715可以提供与因特网770的有线连接(诸如以太网连接)或者无线连接(诸如WiFi)。一个或多个通信收发器715还可以通过移动计算装置772访问因特网770以到达数据库775。例如，一个或多个通信收发器715提供与移动计算装置772的蓝牙无线连接或USB有线连接。
一个或多个通信收发器715还可以使得一个或多个计算处理器710能够从因特网770或从移动计算装置772下载音频信号。
系统700还包括扬声器742，以将音频信号转换为可供使用者使用的声音。
作为一种选择，可以从系统700周围的环境声音获得音频信号。当用户希望享受与环境声音“链接”的周围气味时，系统700可以使用麦克风741来捕获环境声音，并将其转换成音频信号，然后使用该音频信号来引导系统700生成时变气味。在另一选择中，可以通过有线或无线连接从任何音频信号生成装置(诸如移动计算装置772、台式计算机、电视、电影播放器、家庭娱乐中心等)获得音频信号。
通过至少将一个或多个雾化器730、一个或多个计算处理器710和一个或多个通信收发器715集成为独立装置，系统700可以实现为一个独立装置。独立装置还可以包括扬声器742和/或麦克风741。在一个实际示例中，独立装置可以是头戴式耳机，其具有从音频信号产生声音并根据音频文件的内容生成时变气味的功能。本领域技术人员可以参考例如US8,295,529，以获得将雾化器结合到头戴式耳机中以蒸发气味生成化学物质的信息。本领域技术人员可以参考例如US9,669,364，以获得适用于蒸发常见的气味生成物质(诸如精油)的雾化器的细节。
显然，本发明的上述公开实施例仅是为了清楚地说明本发明的示例，而不是限制本发明。对于本领域技术人员而言，可以基于以上描述进行其他变化或改变。所有实施例不是都需要的也不是排他的。在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的所附权利要求的保护范围之内。

Claims (19)

1.一种用于根据音频信号中出现的音频有意义事件生成时变气味的方法，所述方法包括以下步骤：
(a)在时间窗内提取所述音频信号的指纹，其中，所述指纹包括多个特征点；
(b)散列所述多个特征点以产生散列码；
(d)提供包括多个条目的数据库，单独条目包括预定散列码段和气味生成配方，所述预定散列码段是针对已知音频有意义事件而计算的，所述气味生成配方包括至少一种气味生成物质的列表，用于在检测到所述音频信号中存在所述已知音频有意义事件时产生气味；
(e)在与所述多个条目相关联的所有已知音频有意义事件中识别匹配音频有意义事件；和
(f)当在所述步骤(e)中识别出所述匹配音频有意义事件时，所述气味生成物质的列表中与所述匹配音频有意义事件相关联的气味生成物质被释放出来，以响应所述音频信号中与所述匹配音频有意义事件的出现而生成气味。
2.根据权利要求1所述的方法，其中，在所述步骤(a)中，从所述时间窗内的频谱图数据中提取所述指纹，所述频谱图数据是所述音频信号的频谱图的数据。
3.根据权利要求1或2所述的方法，还包括以下步骤：
(c)对连续时间窗序列重复所述步骤(a)和(b)以获得多个散列码；和
(g)对下一连续时间窗序列重复所述步骤(c)、(e)和(f)，直到所述音频信号结束；
其中：
在所述步骤(b)中，所述散列码具有固定长度和比所述多个特征点小的尺寸；以及
在所述步骤(e)中，识别所述匹配音频有意义事件，使得所述多个散列码与针对所述匹配音频有意义事件计算的所述预定散列码段之间的相关性最高并且超过预定阈值相关性。
4.根据权利要求3所述的方法，其中，所述多个散列码与针对单独已知音频有意义事件计算的所述预定散列码段之间的所述相关性被计算为命中数，当所述多个散列码中的单独散列码与上述预定散列码段中的一个散列码匹配时，获得一次命中。
5.根据权利要求3所述的方法，还包括以下步骤：
(h)当在所述步骤(e)中不能识别所述匹配音频有意义事件时，存储所述连续时间窗内的所述多个散列码和所述音频信号以更新所述数据库。
6.根据权利要求2所述的方法，还包括以下步骤：
(i)通过对所述音频信号进行短时傅立叶变换(STFT)来计算所述频谱图。
7.根据权利要求2所述的方法，还包括以下步骤：
(j)对所述频谱图进行带通滤波以降低噪声，并对滤波的频谱图进行阈值处理以去除其背景并同时保持峰值，从而在所述步骤(a)中使用在滤波和阈值处理之后获得的所述频谱图。
8.根据权利要求2所述的方法，其中，在所述步骤(a)中，通过包括从所述频谱图数据导出的局部最大点、局部最小点、形心、距离、时间或任何其他可测量的量来获得所述多个特征点。
9.根据权利要求1或2所述的方法，其中，在所述步骤(b)中，通过SHA256从所述多个特征点计算所述散列码。
10.一种用于根据音频信号中出现的音频有意义事件生成时变气味的系统，所述系统包括：
一个或多个雾化器，每个雾化器用于选择性地蒸发单独气味生成物质，以由此允许一种或多种气味生成物质被选择性地释放以生成所述时变气味；和
一个或多个计算处理器，所述一个或多个计算处理器被配置为执行生成所述时变气味的过程；
其中，所述生成过程包括以下步骤：
(a)在时间窗内提取所述音频信号的指纹，其中，所述指纹包括多个特征点；
(b)散列所述多个特征点以产生具有固定长度和小于所述多个特征点的尺寸的散列码；
(c)对连续时间窗序列重复所述步骤(a)和(b)以获得多个散列码；
(d)访问包括多个条目的数据库以检索所述多个条目，单独条目包括预定散列码段和气味生成配方，所述预定散列码段是针对已知音频有意义事件而计算的，所述气味生成配方包括至少一种气味生成物质的列表，用于在检测到所述音频信号中存在所述已知音频有意义事件时生成所述气味；
(e)在与所述多个条目相关联的所有已知音频有意义事件中识别匹配音频有意义事件，使得所述多个散列码与针对所述匹配音频有意义事件计算的所述预定散列码段之间的相关性最高并超过预定的阈值相关性；以及
(f)当在所述步骤(e)中识别出所述匹配音频有意义事件时，配置所述一个或多个雾化器以释放所述列表中的与所述匹配音频有意义事件相关联的每种气味生成物质，从而响应于所述音频信号中所述匹配音频有意义事件的出现而生成所述气味。
11.根据权利要求10所述的系统，其中，在所述步骤(a)中，从所述时间窗内的频谱图数据中提取所述指纹，所述频谱图数据是所述音频信号的频谱图的数据。
12.根据权利要求10或11所述的系统，还包括：
一个或多个通信收发器，用于使所述一个或多个计算处理器与所述系统外部实体通信。
13.根据权利要求12所述的系统，其中，所述一个或多个通信收发器配置为经由因特网与所述数据库通信，以使所述一个或多个计算处理器能够检索所述多个条目。
14.根据权利要求12所述的系统，其中，所述一个或多个通信收发器能够与移动计算装置通信，以检索所述音频信号或访问所述数据库。
15.根据权利要求12所述的系统，其中，至少将所述一个或多个雾化器、所述一个或多个计算处理器和所述一个或多个通信收发器集成为一个独立装置，使得所述系统成为所述独立装置。
16.根据权利要求10或11所述的系统，其中，所述多个散列码与针对单独的已知音频有意义事件计算的所述预定散列码段之间的相关性被计算为命中数，当所述多个散列码中的单独散列码与上述预定散列码段中的一个散列码匹配时，获得一次命中。
17.根据权利要求10或11所述的系统，其中，所述生成过程还包括以下步骤：
(g)对下一连续时间窗序列重复所述步骤(c)、(e)和(f)，直到所述音频信号结束。
18.根据权利要求11所述的系统，其中，所述生成过程还包括以下步骤：
(i)通过对所述音频信号进行短时傅立叶变换来计算所述频谱图。
19.根据权利要求10或11所述的系统，其中，在所述步骤(b)中，通过SHA256从所述多个特征点计算所述散列码。
CN201910139353.2A 2018-12-19 2019-02-25 音频效果激活的气味生成方法和系统 Active CN109887513B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/224,894 2018-12-19
US16/224,894 US11409980B2 (en) 2018-12-19 2018-12-19 Audio-effect-activated scent generation method and system

Publications (2)

Publication Number Publication Date
CN109887513A true CN109887513A (zh) 2019-06-14
CN109887513B CN109887513B (zh) 2021-01-05

Family

ID=66929250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910139353.2A Active CN109887513B (zh) 2018-12-19 2019-02-25 音频效果激活的气味生成方法和系统

Country Status (2)

Country Link
US (1) US11409980B2 (zh)
CN (1) CN109887513B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160055546A1 (en) 2014-08-21 2016-02-25 Oracle International Corporation Managing progressive statistical ids
US11615302B2 (en) 2019-03-06 2023-03-28 Samsung Electronics Co., Ltd. Effective user modeling with time-aware based binary hashing
US11516277B2 (en) 2019-09-14 2022-11-29 Oracle International Corporation Script-based techniques for coordinating content selection across devices

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101918094A (zh) * 2008-01-16 2010-12-15 皇家飞利浦电子股份有限公司 用于自动创建适合于环境中的社交场合和情绪的气氛的系统和方法
CN101959045A (zh) * 2009-07-20 2011-01-26 谢正旭 广播电视音视频节目气味激发方法
WO2011049537A2 (en) * 2009-10-21 2011-04-28 Ali Seckin Cepmatik
CN103475938A (zh) * 2013-08-29 2013-12-25 深圳市汉普电子技术开发有限公司 可散发气味的终端及控制终端散发气味的方法
CN107847958A (zh) * 2015-04-10 2018-03-27 加利福尼亚大学董事会 可切换的数字气味产生和释放以及蒸气和液体递送方法及系统
CN108605194A (zh) * 2016-01-29 2018-09-28 杜比实验室特许公司 沉浸式音频多声道放大器的分布式放大和控制系统
CN108646591A (zh) * 2018-03-27 2018-10-12 斑马网络技术有限公司 基于声音的车载气味生成方法和车载气味生成系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6453252B1 (en) 2000-05-15 2002-09-17 Creative Technology Ltd. Process for identifying audio content
US20030164557A1 (en) * 2002-01-22 2003-09-04 Caleb Chung Interactive, automated aroma diffuser with interface to external device
JP2005006037A (ja) * 2003-06-12 2005-01-06 Nec Corp メディア同期システム及びそれに用いるサービス提供方法
US7154579B2 (en) * 2004-03-03 2006-12-26 Selander Raymond K Fragrance delivery for multimedia systems
US8295529B2 (en) 2006-08-28 2012-10-23 Bcinet, Inc. Gaming headset with integrated microphone and adapted for olfactory stimulation
KR101561327B1 (ko) 2009-01-08 2015-10-26 센트콤, 엘티디. 전자 제어식 향기 생성 장치
TW201039145A (en) * 2009-04-23 2010-11-01 Inventec Appliances Corp Situation simulation method and electronic apparatus with situation simulating function
US9143699B2 (en) 2010-07-13 2015-09-22 Sony Computer Entertainment Inc. Overlay non-video content on a mobile device
EP2472819B1 (en) * 2010-12-31 2016-03-23 Regify S.A. Systems and methods for providing and operating a secure communication network
US8573980B2 (en) * 2011-04-04 2013-11-05 Sheepdog Sciences, Inc. Apparatus, system, and method for modulating consolidation of memory during sleep
US8976040B2 (en) * 2012-02-16 2015-03-10 Bianca RAY AVALANI Intelligent driver assist system based on multimodal sensor fusion
US9931425B2 (en) * 2013-03-15 2018-04-03 Vapor Communications, Inc. Systems, methods and articles to provide olfactory sensations
US9445040B2 (en) 2014-02-06 2016-09-13 Ricardo Roosevelt Watson Method and system of real time delivery of aroma
CN104023251B (zh) * 2014-06-13 2015-08-19 腾讯科技（深圳）有限公司 基于视频的互动方法和系统
US9959082B2 (en) * 2015-08-19 2018-05-01 Shakai Dominique Environ system
US9669364B2 (en) 2015-10-02 2017-06-06 Acoustic Arc International Limited Bubble atomizer and method for atomizing liquid

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101918094A (zh) * 2008-01-16 2010-12-15 皇家飞利浦电子股份有限公司 用于自动创建适合于环境中的社交场合和情绪的气氛的系统和方法
CN101959045A (zh) * 2009-07-20 2011-01-26 谢正旭 广播电视音视频节目气味激发方法
WO2011049537A2 (en) * 2009-10-21 2011-04-28 Ali Seckin Cepmatik
CN103475938A (zh) * 2013-08-29 2013-12-25 深圳市汉普电子技术开发有限公司 可散发气味的终端及控制终端散发气味的方法
CN107847958A (zh) * 2015-04-10 2018-03-27 加利福尼亚大学董事会 可切换的数字气味产生和释放以及蒸气和液体递送方法及系统
CN108605194A (zh) * 2016-01-29 2018-09-28 杜比实验室特许公司 沉浸式音频多声道放大器的分布式放大和控制系统
CN108646591A (zh) * 2018-03-27 2018-10-12 斑马网络技术有限公司 基于声音的车载气味生成方法和车载气味生成系统

Also Published As

Publication number Publication date
US11409980B2 (en) 2022-08-09
US20200202102A1 (en) 2020-06-25
CN109887513B (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
CN109887513A (zh) 音频效果激活的气味生成方法和系统
KR102450993B1 (ko) 분류기 모델과 컨텍스트 파라미터를 사용한 원격 미디어 분류 쿼리에 대한 응답
KR101114606B1 (ko) 음악 연동 사진 캐스팅 서비스 시스템 및 그 방법
CN110519539A (zh) 用于基于所检测的音频事件倒回媒体内容的方法、系统和介质
US10981056B2 (en) Methods and systems for determining a reaction time for a response and synchronizing user interface(s) with content being rendered
KR20200108872A (ko) 볼륨 조절을 위한 방법 및 장치
CN105704570B (zh) 用于产生视频的一个或多个预览帧的方法和装置
CN104142831B (zh) 应用程序搜索方法及装置
JP2011237865A (ja) 生活空間の見守りシステム
US11516609B2 (en) Methods and apparatus for analyzing microphone placement for watermark and signature recovery
CN111640411A (zh) 音频合成方法、装置及计算机可读存储介质
CN106792253A (zh) 音效处理方法和系统
CN111643098A (zh) 一种基于智能声学设备的步态识别与情绪感知方法和系统
AU2022275486A1 (en) Methods and apparatus to fingerprint an audio signal via normalization
AU2024200622A1 (en) Methods and apparatus to fingerprint an audio signal via exponential normalization
CN113724737A (zh) 监测睡眠状态的方法、装置、电子设备和存储介质
CN114286185B (zh) 检测呈现媒体的媒体装置的设备、方法、存储介质
US20120149449A1 (en) Apparatus and method for analyzing player&#39;s behavior pattern
JP2016095434A (ja) 報知音感知・識別装置、報知音感知・識別方法、報知音感知・識別プログラム
Guzman-Zavaleta et al. A robust audio fingerprinting method using spectrograms saliency maps
CN105551504B (zh) 一种基于哭声触发智能移动终端功能应用的方法及装置
US9626967B2 (en) Information processing method and electronic device
JP2019132912A (ja) 生活音記録装置及び生活音記録方法
CN108744498B (zh) 一种基于双vr设备的虚拟游戏快速启动方法
Van der Burg et al. Irrelevant auditory and visual events induce a visual attentional blink

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40002588

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant