CN104350768A - 用于混合至少两个音频信号的布置 - Google Patents

用于混合至少两个音频信号的布置 Download PDF

Info

Publication number
CN104350768A
CN104350768A CN201380016762.4A CN201380016762A CN104350768A CN 104350768 A CN104350768 A CN 104350768A CN 201380016762 A CN201380016762 A CN 201380016762A CN 104350768 A CN104350768 A CN 104350768A
Authority
CN
China
Prior art keywords
signal
frequency
unit
cross
multiplication factor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380016762.4A
Other languages
English (en)
Other versions
CN104350768B (zh
Inventor
S.戈森斯
J.格罗
C.哈特曼恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institut fuer Rundfunktechnik GmbH
Original Assignee
Institut fuer Rundfunktechnik GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institut fuer Rundfunktechnik GmbH filed Critical Institut fuer Rundfunktechnik GmbH
Publication of CN104350768A publication Critical patent/CN104350768A/zh
Application granted granted Critical
Publication of CN104350768B publication Critical patent/CN104350768B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B19/00—Driving, starting, stopping record carriers not specifically of filamentary or web form, or of supports therefor; Control thereof; Control of operating function ; Driving both disc and head
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2545—CDs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/022—Electronic editing of analogue information signals, e.g. audio or video signals
    • G11B27/028—Electronic editing of analogue information signals, e.g. audio or video signals with computer assistance
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/02—Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information
    • H04H60/04—Studio equipment; Interconnection of studios

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
  • Signal Processing Not Specific To The Method Of Recording And Reproducing (AREA)
  • Stereo-Broadcasting Methods (AREA)
  • Amplifiers (AREA)
  • Noise Elimination (AREA)

Abstract

为了在下混合布置中实现针对低频处的重现响度中的改变的校正，提出一种用于混合至少两个音频信号的混合布置，所述混合布置设有：用于导出第一功率信号的第一单元（104），所述第一功率信号为第一音频信号的功率的量度；用于导出第二功率信号的第二单元（105），所述第二功率信号为第二音频信号的功率的量度；用于导出互相关信号的互相关单元（103），所述互相关信号为第一和第二音频信号之间的互相关的量度；用于从第一和第二功率信号以及互相关信号导出乘法参数的单元（106）；以及用于执行对第一和第二音频信号的信号处理并组合它们的乘法与组合单元（107）。用于导出乘法参数的单元（106）设有用于导出组合信号的组合单元（110），所述组合信号为第一和第二功率信号以及互相关信号的组合的量度；并且设有用于利用缩放信号对用于导出乘法参数的单元中的信号之一进行缩放的缩放单元（109）。所述缩放信号（D[k]）具有在第一频率值（kL）以下基本上恒定、在第一频率值（kL）和第二频率值（kU）之间增加、并且在第二频率值以上再次基本上恒定的频率特性。用于导出乘法参数的单元（106）被进一步适配成从组合信号导出单个乘法参数（m[k]）；并且乘法与组合单元（107）被适配成对第一和第二音频信号执行信号处理，其等价于：将第一和第二音频信号乘以该单个乘法参数，并且将如此相乘后的第一和第二音频信号组合。

Description

用于混合至少两个音频信号的布置
技术领域
本发明涉及根据主权利要求的前序部分的用于混合至少两个音频信号的布置。该类型的布置从WO2011/057922A1中已知并且在那被用在用于实现立体声音频信号中的环绕音频信号的下混合布置中。
背景技术
梳状滤波器补偿被用在用来消除声染色的这种下混合布置中。在该过程中做出假设：声场在其中单独信道的声音功率的平均水平相加到一起的重现期间出现。因此，其平均地在重现区域中生成表现得好似要混合的输入信号是不相关的频谱。
已知的下混合布置具有低频信号分量在梳状滤波器补偿下混合中以错误音量重现的缺陷。
信道信号中的低频分量通常在音频重现中在相位方面一致（或者至少强烈地相关）。在这种情况下，单独信道的声波的相位也由于重现区域中的大波长而很难彼此偏离，并且因而声压在此将相加到一起，而不是声功率级。
这频繁地导致下混合梳状滤波器补偿使音乐中的低音范围比其余部分更安静；因而说其利用功率叠加使得“好事过头反成坏事”。基于惯例相加（并且因而不具有梳状滤波器补偿）的下混合将更适于低音范围。创建用于环绕和用于立体声的两个单独的混合的声音工程师在听它时可以感知声场中的这些差异并且因此将在混合中考虑到它们。但是，针对差异的一组量值不能被确定，原因在于量值将依赖于除信号自身之外的重现区域的特性。在本文直接声音分量与混响声分量之比是决定性量（参见T.                                                , Tontechnik[Sound Engineering]，p.377）。
发明内容
本发明基于以下问题：提出一种混合布置，用以确保除在大的程度上保留音色和空间效果之外，在环绕到立体声的下混合中在立体声版本的重现中实现与原始环绕版本中相同的感知音量，并且混合质量将因此接近由声音工程师的单独混合的混合质量。
为此，根据本发明的混合布置具有在权利要求1中要求保护的特性。根据本发明的混合布置的有利设计形式被包含在从属权利要求中。
本发明基于混合中的频率依赖的提出缩放（scaling）的步骤。特别地，该缩放依赖于频率而具有针对中等范围到高频的恒定值DU，并且其在朝向低频的过渡范围中连续降低到小残留分量a.DU。
用于典型的重现区域的过渡范围的实际值下限kL近似为250…500Hz，上限kU近似为750…1500Hz，并且缩放信号的残留分量因子a近似为零。kL、kU和a的值的选择还可以被用来优化混合并且在该过程中可以从上述典型值偏离，这依赖于重现区域的环境。
直线函数的使用建议自身用于所述过渡。
扩展的解决方案想法是在减小的程度上执行缩放，如果真要如此的话，彼此相对反相关的频谱分量要相加到一起。这防止缩放措施在如下情况中以梳状滤波器槽口（notch）的期望平衡为代价，所述情况是后者也出现在低频中。反相关分量可以通过以下事实来标识：它们的要混合的信号的互相关的伴随值落至优选地具有零值的阈值以下。
解决此的方法是在下混合加法器中创建用于低频的惯例相加和用于较高频率的功率叠加之间的连续过渡。
在该过程中，根据本发明的缩放被应用于频率范围中的功率叠加，其被给出控制其梳状滤波器补偿效果的程度的能力，以及如果必要的话在要相加的彼此相对相关的频谱分量与彼此相对反相关的频率分量之间进行区分的能力。
应指出，DE102009052992和WO2004/084185也公开了用于混合至少两个音频信号的布置。然而在该范围下，在那些文档中公开了缩放信号，缩放因子是恒定的并且非频率依赖的，更不必说它们公开了如所要求保护的特定频率依赖性。
附图说明
将借助于在以下附图的描述中的几个示例来进一步解释本发明。在附图中示出以下内容：
图1示出根据本发明的混合布置的第一示例；
图2示出在根据图1的示例中的作为频率的函数的缩放信号的行为；
图3示出根据本发明的混合布置的第二示例；
图4示出作为第一示例的扩展版本的混合布置的第三示例；
图5示出在根据图3的示例中的作为频率的函数的另一缩放信号的行为；
图6示出作为第二示例的扩展版本的混合布置的第四示例；
图7示出用于混合多于两个音频信号的混合布置；以及
图8示出在互相关信号落至提前建立的阈值以下的情况下根据图6的示例中的作为频率的函数的缩放信号的行为。
具体实施方式
图1示出根据本发明的混合布置的示例。在该示例中，两个音频信号被混合以形成混合音频信号。混合布置设有第一输入101和第二输出102以接收两个音频信号A[k]和B[k]，它们在此已经被转换到频率范围中。这两个输入分别耦合到用于导出互相关信号xAB[k]的互相关单元（103）的相应输入，所述互相关信号是第一音频信号A[k]和第二音频信号B[k]之间的互相关的量度。输入101同样耦合到用于导出第一功率信号eA [k]的第一单元104的输入，所述第一功率信号为第一音频信号A[k]的功率的量度。输入102同样耦合到用于导出第二功率信号eB [k]的第二单元（105）的输入，所述第二功率信号为第二音频信号B[k]的功率的量度。
混合布置还包括用于从第一和第二功率信号以及互相关信号导出至少一个乘法参数的单元106。为此，单元106的输入耦合到单元103、104和105的相应输出。此外，提供乘法与组合单元107以对第一音频信号A[k]和第二音频信号B[k]执行信号处理。为此，乘法与组合单元107的输入连接到混合布置的相应输入101和102。乘法与组合单元107被设置成对第一音频信号A[k]和第二音频信号B[k]执行其信号处理，这等价于：
○ 将第一音频信号A[k]乘以乘法参数mA [k]，
○ 将第二音频信号B[k]乘以乘法参数mB [k]，以及
○ 将以该方式相乘后的第一和第二音频信号组合以生成混合音频信号S[k]并且将该混合音频信号S[k]馈送到输出108。
用于导出乘法参数的单元106设有用于利用缩放信号D[k]对用于导出乘法参数的单元106中的信号进行缩放的缩放单元109。在该示例中，互相关信号xAB[k]乘以该缩放信号D[k]以获得经缩放的互相关信号yAB[k]。
经缩放的互相关信号yAB[k]被馈送到用于导出组合信号的组合单元110的输入，所述组合信号分别为第一功率信号eA [k]和第二功率信号eB [k]的组合的以及（在该情况中经缩放的）互相关信号yAB[k]的量度。为此，第一单元103和第二单元104的输出同样耦合到组合单元110的相应输入。
缩放信号D[k]具有如图2中所示的频率特性。频率特性是在第一频率kL以下基本上恒定，在第一频率kL到更高的第二频率kU之间增加，并且在第二频率kU以上再次基本上恒定。
在第二频率kU以上基本上恒定的值为DU，其位于值范围[0.36；0.81]中并且优选地等于0.49。在第一频率kL以下基本上恒定的值等于a. DU；以下应用于a：0≤a＜1。
在该示例中，组合单元110被设置成根据下式导出组合信号：
L大于或者等于零，并且因为此而引起限制所导出的乘法参数的数量值和防止输出信号的不连续，并且从而引起可听见地破坏性伪迹（artefact）的可能性方面的降低。用于L的典型值位于[0.05；0.5]的范围中。
在该示例中，彼此相等的两个参数由用于导出至少一个乘法参数的单元（106）导出，并且事实上在此组合信号C[k]等于该相同的两个乘法参数，并且因而C[k]=m[k]=mA[k]=mB[k]。
乘法与组合单元107因而被设置成对第一和第二音频信号执行信号处理，其等价于将第一音频信号和第二音频信号乘以该单个乘法参数并且将以该方式相乘后的第一和第二音频信号组合以获得混合信号S[k]。该乘法与组合过程可以如图1所示地执行。然而其本身已经说明乘法与组合以其他方式也是可能的。当然A[k]和B[k]也可以首先相加到一起，并且叠加信号可以在其之后乘以单个乘法参数m[k]。
图1的混合布置操作的方式现在将被检查。乘法与组合单元107引起输入信号A[k]和B[k]的混合，其中输入信号的幅度以这样的方式被校正：混合信号的功率多半对应于输入信号的功率水平之和。该结果引起梳状滤波器效果的主要补偿。此外，针对此的要求在于混合所应用的信号是被转换到频率范围的音频信号，并且混合采用针对每个频率k的相应信号分量所描述的方式来执行。
幅度通过A[k]或B[k]分别与乘法参数mA[k]或mB[k]的相关乘法进行校正。乘法参数继而以特定方式从输入信号A[k]和B[k]导出，如将在下文解释的那样，以实现该过程中的上述校正。在图1的情况中，利用mA[k]和mB[k]这二者导出并标识共同的单个乘法参数m [k]。
在此应指出，在mA[k]和mB[k]这二者均被设置为1的情况下不引起幅度校正（即不引起梳状滤波器补偿）。这被用来实现不同程度的梳状滤波器补偿效果之间的所谋求的过渡。在没有梳状滤波器补偿和主要梳状滤波器补偿之间的范围中由mA[k]和mB[k]的导出的变化引起过渡。该变化为用于导出乘法参数的单元106的以下描述的主题事项。
用于导出乘法参数的单元106的操作的方法是基于经由组合单元110实现的用于主要梳状滤波器补偿的乘法参数的导出和109中的上游缩放。
要从组合单元导出的组合信号C[k]根据开始时所提及的功率分析而发生；现在将简要地概述跟着的从其的导出：首先设置用于完整的梳状滤波器补偿的功率条件，并且然后任意缩放被添加至对应于该条件的C[k]的原始导出，以使得mA[k]和mB[k]这二者以最大缩放效果变为1并且梳状滤波器补偿效果因为此而被消除。
完整的梳状滤波器补偿将意味着功率eS[k]=混合信号S[k]的Re(S[k]).Re(S[k])+Im(S[k]).Im(S[k])=A[k].mA[k]+B[k].mB[k]等于输入信号的功率水平之和，并且因而eA[k]+ eB[k]。可以计算地推导：除其他时候之外尤其当乘法参数的原始导出被定义为下式时，满足该功率等式：
其中所述定义对于eA[k]、eB[k]和xAB[k]已知。如已经陈述的，仅仅完整的梳状滤波器补偿可以在不具有缩放的情况下利用该原始导出而实现。
可以看出，在互相关xAB[k]在原始导出中等于0时结果等于C[k]=1。因此可以在其中任意、逐渐减小xAB[k]的任何情况下引起乘法参数到值1的逐渐接近。
缩放因为该关系而利用互相关信号xAB[k]完成。其涉及乘以频率依赖的缩放信号D[k]，并且其结果yAB[k]取代来自原始导出的xAB[k]。
根据本发明，然后只有被应用于功率信号eA[k]和eB[k]的附加因子（1+L）缺乏组合信号的导出规范。其效果可以针对缩放的解释而被忽略。
因子（1+L）引起L>0的情况，其中可以在输入信号的信号分量彼此相消的情况中在某些环境下是可听见地破坏性的相位跳跃可以出现。相消除其他之外尤其具有输入信号分量在相位上相反并且因而相对彼此反相关的先决条件。
如所谋求的，利用D[k]的缩放导致位于没有梳状滤波器补偿和完整的梳状滤波器补偿之间的范围中的从主要到减小的梳状滤波器补偿的过渡。利用1的缩放将例如引起完整的梳状滤波器补偿；利用0的缩放将引起没有梳状滤波器补偿。频率依赖性因此以随频率k而增加的频率特性的形式来实现。截至频率kU限制了高信号频率的范围。下截至频率kL限制了低信号频率的范围。过渡范围位于它们之间。上截止频率kU以上的恒定缩放值kU导致利用主要梳状滤波器补偿来处理高信号频率；下截止频率kL以下的较小的恒定缩放值a.DU导致利用减小的滤波器补偿来处理低信号频率。没有不连续性的过渡曲线将是优选的；因为此而避免伪迹（artifact）。因此直线段适合作为针对截止频率之间的范围的过渡的简单解决方案。频率特性的这些特征以图2中的示例的形式示出。例如将点（kL，a.DU）和（kU，DU）连接的抛物线段的其他连续增加函数也适合作为过渡曲线；没有由它们而产生的不连续性。
对于kL、kU、DU和a的值的要求遵循针对高频率的梳状滤波器效果的感知，遵循针对低频率的音量的失真，并且遵循伪迹。值可以由制造商优化并指定或者使得对于用户而言可用于单独的调整。
图3示出根据本发明的混合布置的第二示例。图3中的混合布置类似于图1中的混合布置。混合布置设有第一输入301和第二输入302以接收两个音频信号A[k]和B[k]，它们在此已经被转换到频率范围中。这两个输入被耦合到用于导出互相关信号xAB[k]的互相关单元303的相应输入。输入301同样被耦合到用于导出第一功率信号eA[k]的第一单元304的输入。输入302同样被耦合到用于导出第二功率信号eB[k]的第二单元305的输入。
混合布置还包括用于从第一和第二功率信号以及互相关信号导出至少一个乘法参数（在该情况中，再次为彼此相等的两个乘法参数mA[k]和mB[k]）的单元306。此外，乘法与组合单元307被提供以在输出308处生成输出信号S[k]。
用于导出用于导出乘法参数的单元306再一次设有缩放单元309，其用于将用于导出乘法参数的单元306中的信号乘以缩放信号D'[k]。在该示例中，组合单元310的输出信号乘以该缩放信号D'[k]以获得经缩放的组合信号。
缩放信号D'[k]具有如图5中所示的频率特性。所述频率特性在第一频率kL'以下基本上恒定，在第一频率kL'和更高的第二频率kU'之间增加，并且在第二频率kU'以上再次基本上恒定。
在第二频率kU以上的基本上恒定的值为DU'，其位于[0.6；0.9]的值范围中并且优选地等于0.7。在第一频率kL'以下的基本上恒定的值等于a'.DU'；以下应用于a':0≤a'＜1。
组合单元310被设置成导出作为第一和第二功率信号eA[k]和eB[k]以及互相关信号xAB[k]的组合的量度的组合信号。为此，单元303、304和305的输出被耦合到组合单元310的相应输入。
在该示例中，组合单元310被设置成根据下式来导出组合信号C[k]：
。
组合信号在缩放单元309中以如下方式乘以补偿信号D'[k]以根据下式来导出经缩放的组合信号：
。
在该示例中，用于导出乘法参数的单元306被进一步设置成根据下式从经缩放的组合信号导出单个乘法参数m[k]：
。
图3的混合布置操作的方式现在将被检查。
它操作的方式在很大程度上对应于针对图1所解释的方式，除了区别在于用于导出乘法参数的单元306中，即309中的缩放在组合单元310的下游。
要从组合单元310导出的组合信号C[k]以与110中相同方式得出。
可以看出，不像图1中，乘法参数到值1的逐渐接近也可以经由C[k]和1之间的差异中的任意的逐渐减小而被引起。
缩放由于该关系而利用组合信号C[k]完成。其在此涉及减去1，随后乘以频率依赖的缩放信号D'[k]，以及随后加1。
缩放以类似于109的方式引起不同程度的梳状滤波器补偿效果之间所谋求的过渡。缩放值1也将引起309中的完整梳状滤波器补偿，缩放值0将引起没有梳状滤波器补偿，并且频率依赖性因此以随频率k增加的频率特性的形式实现。然而，位于0和1之间的缩放值在306中具有与106中稍微不同的对乘法参数的影响。如果必需的话，具有其自身特征kU'、kL'、DU'和a'的缩放信号D'[k]的单独的频率特性因此在306中被定义并优化。其在图5中以示例的形式示出。针对它的值的对应要求受到与106中相同的考虑。
一般，图2中的kL将等于图5中的kL'，并且图2中的kU将等于图5中的kU'。然而，不能排除在某些情况下用于kL和kU的值将被分别选择成不同于用于kL'和kU'的值。
图4示出根据本发明的混合布置的第三示例。图4中的混合布置类似于图1中的混合布置。根据图4的示例基本上是根据图1的示例，但是其附加地设有阈值检测器411。阈值检测器411设有耦合到互相关单元403的输出的输入。互相关信号xAB[k]在阈值检测器411中与提前指定的阈值T进行比较。
如果互相关信号xAB[k]未落在阈值T以下，则乘法参数mA[k]和mB[k]将在单元406中导出，这正如它们在图1中所示的用于导出乘法参数的单元106中的那样。
图4中的块401中的公式实际上不同于图1中的块110中的公式。但是在图4中假设L=0。并且对于L=0，图1中的块110中的公式直接变成图4中的块410中的公式。此处允许L=0的规范，这是因为反相关的输入信号分量从由单元406的处理中排除。仅相关的输入信号分量被单元406处理。这种区分由阈值检测器的功能所导致，其将在随后进行描述。L工作的方式已经针对图1描述过。由此显而易见的是，如果L>0适用，则L仅满足它的目的，即针对反相关的输入信号分量经由可能的相消而防止相位跳跃。相消不能针对相关的输入信号分量进行。因而，L的影响对于在单元406中被排他性地处理的相关输入信号分量将不是需要的；两个公式之间的其余计算差异对于相关输入信号分量将是如此之小以使其实际上不具有明显影响。L=0的规范因此导致块410中的导出公式相对块110中的导出公式的明显简化。
对于互相关信号落在阈值T以下的情况，在单元406中执行信号xAB[k]、eA [k]和eB[k]的不同信号处理以导出乘法参数mA [k]和mB[k]。这也在图4中由块406'指示。在下文更详细地解释了用于导出乘法参数的单元406'中的不同形式的信号处理。
现在互相关信号乘以不同的缩放信号D''[k]以获得经缩放的互相关信号y'AB[k]。缩放信号D''[k]在图8中示出。
缩放信号D''[k]具有在第三频率kL''以下基本上恒定，在第三频率kL''和更高的第四频率kU''之间增加并且在第四频率以上再次基本上恒定的频率特性。在第四频率kU''以上基本上恒定的值为DU''，其位于[0.5；1]的值范围中。DU''优选地等于1。在第三频率kL''以下基本上恒定的值等于a''.DU''；a''位于[0；1]的值范围中。现在第一乘法参数mA[k]在块406'中根据下式导出：
。
第二乘法参数mB[k]具有等于1的值。
提前指定的阈值T优选地等于零。阈值检测器411具有输出以用于递送被馈送到用于导出乘法参数的单元406、406'的控制输入中的控制信号。如果互相关信号xAB[k]大于或者等于阈值T，则第一控制信号在阈值检测器411的输出处生成。如果互相关信号xAB[k]小于阈值T，则第二控制信号在阈值检测器411的输出处生成。用于导出乘法参数的单元406响应于第一控制信号而如图1中的块106中所指示的那样操作；如果必要的话，L可以为零，这如块406中所示的那样。用于导出乘法参数的单元响应于第二控制信号而如图4中的块406'中所指示的那样操作。
用于导出乘法参数的单元406（406'）中的信号处理可以利用硬件或软件执行，并且因此分别响应于第一或第二控制信号415而如图4中的块406和406'中所指示的那样利用硬件或软件来完成切换。
根据图4的示例在互相关信号xAB[k]并未落在阈值T以下的情况中工作的方式已经如其借助于图1那样进行解释。根据块406'的另一信号处理将在互相关信号xAB[k]超出阈值T的情况中生效。这种操作方式将在此进行简要解释。
根据图4的布置在相关信号分量与反相关信号分量之间做出区分，这是出于使后者受到特殊处理的目的。频率k的信号分量分别在伴随的互相关信号和阈值T之间的差异为正或负的时被视为相关或反相关的。这与用于典型值T=0的惯例定义一致。
相关输入信号分量由组合单元410处理。经由缩放单元409的410中的梳状滤波器补偿效果中的频率依赖的减小以与110中相同方式操作。
反相关的输入信号分量由组合单元410'处理。用于组合单元410'的修改后的导出规范引起完整的梳状滤波器补偿（正如110中的那样），以及在其中输入信号的信号分量彼此相抵消的情况中针对L'>0的相位跳跃的防止。经由缩放单元409'的410'中的梳状滤波器补偿效果中的频率依赖的减小以与110中相同方式操作。
如果必要的话，具有其自身功能特性kU''、kL''、DU''和a''的分离功能D''[k]再一次在409'中被定义并优化。其在图8中以示例的形式示出。针对它的值的对应要求已经在上文描述过。
D''[k]仅指代反相关的信号分量并且反相关的信号分量通常对于低频不出现的事实引起以下情形：其中相比被给出与相关信号分量相同的处理的情况，较大的梳状滤波器补偿效果对于所述类型的信号分量可以实现。为此目的，相比对于D' [k]的情况，对于D''[k]而言以通过使a''＞a'的有利方式来选择较小的频率依赖性；kU''= kU'以及kL''= kL'以及DU''= DU'被保留。所包含在其中的还有由于D''[k]的频率依赖性将通过选择a''=1而完全消失的优化所引起的可能要求。
图6示出根据本发明的混合布置的第四示例。图6中的混合布置类似于图3中的混合布置以及图4中的混合布置。根据图6的示例基本上为根据图3的示例，但是其附加地设有阈值检测器611。阈值检测器611设有耦合到互相关单元603的输出的输入。
如果互相关信号xAB[k]未落在阈值T以下，则乘法参数mA[k]和mB[k]将在单元606中导出，这正如在图3中所示出的它们在用于导出乘法参数的单元306中的那样。图6中的块610中的公式实际上不同于图3中的块310中的公式。但是在图6中假设L=0。并且对于L=0，图3中的块310中的公式直接变成图6中的块610中的公式。出于已经借助于图4描述过的相同原因而允许此。
对于互相关信号落在阈值T以下的情况，执行信号xAB[k]、eA [k]和eB[k]的不同信号处理以导出乘法参数mA [k]和mB[k]。这也在图6中由块606'指示。
以下更详细解释用于导出乘法参数的单元606'中的不同形式的信号处理。
现在互相关信号乘以不同的缩放信号D''[k]以获得经缩放的互相关信号y'AB[k]。缩放信号D''[k]再一次在图8中示出，并且其已经借助于图4详细地描述过。
现在根据下式在块606'中导出第一乘法参数mA [k]：
。
第二乘法参数mB[k]具有等于1的值。
因而，xAB[k]小于阈值T时的操作的方式与已经借助于图4描述过的操作的方式相同。经由缩放单元609的610中的针对相关输入信号分量的梳状滤波器补偿效果中的频率依赖的减小以与310中相同方式操作。
经由缩放单元609'的610'中的针对反相关输入信号分量的梳状滤波器补偿效果中的频率依赖的减小以与410'中的相同方式操作。
用于导出乘法参数的单元606（606'）中的信号处理可以再一次利用硬件或软件来执行，并且因此切换分别响应于来自阈值检测器611的第一或第二控制信号615而如图6中的块606和606'所指示的那样利用硬件或软件来完成。
在已经描述的混合布置的所有示例中，输入信号已经被数字化并且已经被转换到相关频率中。
在数字解决方案中，第一单元104或304或404或604已经被设置成根据下式导出第一功率信号eA[k]：
，
这如早前已经指示的那样。
第二单元105或305或405或605已经被设置成根据下式导出第二功率信号eB[k]：
。
互相关单元103或303或403或603已经被设置成根据下式导出互相关信号xAB[k]：
。
混合布置还能够以模拟方式完全实现。如数字电路对于这一点所描述的，混合布置中的所有单元然后将以与模拟电路的等价方式来实现。
图7以示意图的形式示出用于混合三个音频信号的混合布置的示例。混合布置设有三个输入端751、752、753以接收三个音频信号A[k]或B[k]或E[k]（其再一次已经被转换到频率范围中）。两个输入端751和752耦合到在图7中以电路块754所指示的子电路的相应输入701或702。该电路块754包含已经借助于图1、3、4或6描述过的单元中的一个单元。音频信号A[k]和B[k]因而在子电路754中混合，这如已经借助于图1、3、4或6所描述的那样。子电路754的音频信号S[k]在输出708处被提供。输出708经由线755耦合到第二子电路756的第一输入701'。第三输入端753耦合到第二子电路756的第二输入702'。
该子电路756再一次包含已经借助于图1、3、4或6描述过的单元中的一个单元。已经在子电路754中生成的混合信号S[k]和音频信号E[k]因而在子电路756中混合，这如已经借助于图1、3、4或6描述过的那样。子电路756的音频信号S'[k]在输出708'处被提供。输出708'耦合到混合布置的输出端757。
在此应提及本发明并不限于所示出的示例。本发明如权利要求中所描述的那样定义。已经示出的示例的不同修改因此是可能的；修改后的示例仍被权利要求所涵盖。如已经提及的，混合布置可以以模拟电路的形式来设计或者被结构化为微处理器中的软件解决方案。如已经讨论的，在块107或307或407或607中的各种元件可以以不同次序来结构化。
此外，还应提及以下解决方案也是可能的：其中缩放单元409'或609'分别位于根据图4和6的示例中的组合单元410'或610'之前；组合单元的缩放单元以已经分别在图3或图6中的块306和606中示出的方式在下游切换。

Claims (20)

1.一种用于混合至少两个音频信号的布置，其包括：
- 用于接收至少两个音频信号的输入（101、102），
- 用于导出第一功率信号的第一单元（104），所述第一功率信号为用于第一音频信号的功率的量度，
- 用于导出第二功率信号的第二单元（105），所述第二功率信号为用于第二音频信号的功率的量度，
- 用于导出互相关信号的互相关单元（103），所述互相关信号为第一和第二音频信号之间的互相关的量度，
- 用于从第一和第二功率信号以及互相关信号导出至少一个乘法参数的单元（106），
- 用于对第一和第二音频信号执行信号处理的乘法与组合单元（107），所述信号处理等价于：
　　○ 将第一音频信号乘以乘法参数，
　　○ 将第二音频信号乘以乘法参数，
　　○ 将如此相乘后的第一和第二音频信号组合以生成混合音频信号，
所述布置的特征在于：
用于导出乘法参数的单元（106）设有用于导出作为用于第一和第二功率信号以及互相关信号的组合的量度的组合信号的组合单元（110），并且设有用于利用缩放信号对用于导出乘法参数的单元（106）中的信号分量进行缩放的缩放单元（109），
所述缩放信号（D[k]）具有在第一频率值（kL）以下的频率范围中基本上恒定、在第一频率值（kL）和更高的第二频率值（kU）之间的频率范围中增加并且在第二频率值以上的频率范围中再次基本上恒定的频率特性，
用于导出乘法参数的单元（106）被适配成从所述组合信号导出单个乘法参数（m[k]），以及
所述乘法与组合单元（107）被适配成对第一和第二音频信号执行信号处理，所述信号处理等价于：
　　○ 将第一音频信号和第二音频信号乘以单个乘法参数，以及
　　○ 将如此相乘后的第一和第二音频信号组合（图1、2）。
2.如权利要求1所述的布置，其特征在于所述频率特性在所述第二频率以上的基本上恒定的值等于DU，其中DU位于[0.36；0.81]的值范围中，并且在所述第一频率以下的基本上恒定的值等于a.DU，其中a满足0≤a＜1（图2）。
3.如权利要求1或2所述的布置，第一和第二音频信号以及互相关信号是被转换在频域中的信号（A[k]、B[k]、S[k]），其特征在于所述缩放单元（109）被适配成通过缩放信号对所述互相关信号进行缩放以导出经缩放的互相关信号，所述缩放根据以下公式：
其中yAB[k]为所述经缩放的互相关信号，xAB[k]为所述互相关信号，D[k]为所述缩放信号，并且k为频率参数（图1）。
4.如权利要求3所述的布置，其特征在于所述组合单元（110）被适配成根据以下公式导出所述组合信号C[k]：
其中eA[k]和eB[k]分别为第一和第二功率信号，并且L为恒定限制参数，其值为非负的且优选地位于[0.05；0.5]的值范围中（图1）。
5.如权利要求4所述的布置，其特征在于用于导出乘法参数的单元（106）被适配成根据以下公式从所述组合信号导出单个乘法参数：
其中m[k]为所述单个乘法参数的值（图1）。
6.如权利要求1所述的布置，其特征在于所述频率特性在所述第二频率以上的基本上恒定的值等于DU'，其中DU'位于[0.6；0.9]的值范围中，并且在所述第一频率以下的基本上恒定的值等于a'.DU'，其中a'满足0≤a＜1（图5）。
7.如权利要求1或6所述的布置，第一和第二音频信号以及互相关信号是被转换在频域中的信号（A[k]、B[k]、S[k]），其特征在于用于导出所述组合信号C[k]的组合单元（310）被适配成根据以下公式执行信号处理：
其中eA[k]和eB[k]分别为第一和第二功率信号，xAB[k]为所述互相关信号，L为位于[0.05；0.5]的值范围中的恒定限制参数，并且k为频率参数（图3）。
8.如权利要求7所述的布置，其特征在于所述缩放单元（309）被适配成通过缩放信号对所述组合信号进行缩放以用于导出经缩放的组合信号，所述缩放根据以下公式：
其中D'[k]为所述缩放信号（图3）。
9.如权利要求8所述的布置，其特征在于用于导出乘法参数的单元（306）被适配成根据以下公式从经缩放的组合信号导出单个乘法参数：
其中m[k]为所述单个乘法参数（图3）。
10.如权利要求4或7所述的布置，其特征在于L=0（图4、6）。
11.如前述权利要求中的任一项所述的布置，其特征在于，
其进一步设有阈值检测器（411），所述阈值检测器用于：
- 建立所述互相关信号是否低于预设的阈值（T），
- 响应于所述互相关信号小于所述阈值（T）而生成切换控制信号，以及
- 将所述切换控制信号供应到用于导出乘法参数的单元（406、406'），以及
用于导出乘法参数的单元（406、406'）被适配成响应于接收到所述切换控制信号（415）而切换到对第一和第二功率信号以及互相关信号的另一信号处理步骤（406'），以用于导出第一乘法参数mA[k]并用于导出具有恒定值的第二乘法参数mB[k]，以及
所述乘法与组合单元（407）被进一步适配成对第一和第二音频信号执行信号处理步骤，所述信号处理步骤等价于将第一音频信号乘以第一乘法参数并且将第二音频信号乘以第二乘法参数，并且将如此相乘后的第一和第二音频信号组合（图4）。
12.如权利要求11所述的布置，第一和第二音频信号以及互相关信号是被转换在频域中的信号（A[k]、B[k]、S[k]），其特征在于所述缩放单元（409'）被适配成响应于接收到所述切换控制信号而切换到对所述互相关信号的另一缩放步骤，所述另一缩放步骤根据以下公式：
其中y'AB[k]为经缩放的互相关信号，xAB[k]为所述互相关信号，D''[k]为用于所述另一缩放步骤的另一缩放信号，并且k为频率参数（图4、8）。
13.如权利要求12所述的布置，其特征在于所述另一缩放信号（D''[k]）具有在第三频率（kL''）以下的频率范围中基本上恒定、在第三频率（kL''）和更高的第四频率（kU''）之间的频率范围中增加并且在第四频率以上的频率范围中再次基本上恒定的频率特性（图8）。
14.如权利要求13所述的布置，其特征在于所述频率特性在所述第四频率值（kU''）以上的基本上恒定的值等于DU''，其中DU''位于[0.5；1]的值范围中且优选地等于1，所述频率特性在所述第三频率值（kL''）以下的基本上恒定的值等于a''.DU''，其中a''位于[0；1]的值范围中（图8）。
15.如权利要求12至14中的任一项所述的布置，其特征在于，
用于导出乘法参数的单元（406'）被适配成根据以下公式导出第一乘法参数（mA[k]）：
其中eA[k]和eB[k]分别为第一和第二功率信号，y'AB[k]为经缩放的互相关信号，L'是其值是非负的且优选地位于[0.05；0.5]的值范围中的恒定限制参数，k为频率参数，以及
第二乘法参数（mB[k]）等于1（图4、6）。
16.如权利要求11至15中的任一项所述的布置，其特征在于预设的阈值（T）等于零。
17.如权利要求13至16中的任一项所述的布置，其特征在于所述第一频率等于所述第三频率，并且所述第二频率等于所述第四频率。
18.如权利要求2、6或14所述的布置，其特征在于a和a'优选地等于零并且a''优选地等于1。
19.如权利要求15所述的布置，其特征在于L'=0。
20.如权利要求3至19中的任一项所述的布置，其特征在于所述第一单元（104）被适配成根据以下公式导出所述第一功率信号：
其中A[k]为被转换在频域中的所述第一音频信号的频率值，
所述第二单元（105）被适配成根据以下公式导出所述第二功率信号：
其中B[k]为被转换在频域中的所述第二功率信号的频率值，以及
所述互相关单元（103）被适配成根据以下公式导出所述互相关信号：
，
并且其中Re和Im分别为所述频率值的实和虚部（图1）。
CN201380016762.4A 2012-03-27 2013-03-26 用于混合至少两个音频信号的装置 Expired - Fee Related CN104350768B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
ITTO2012A000274 2012-03-27
IT000274A ITTO20120274A1 (it) 2012-03-27 2012-03-27 Dispositivo per il missaggio di almeno due segnali audio.
PCT/EP2013/056448 WO2013144168A1 (en) 2012-03-27 2013-03-26 Arrangement for mixing at least two audio signals

Publications (2)

Publication Number Publication Date
CN104350768A true CN104350768A (zh) 2015-02-11
CN104350768B CN104350768B (zh) 2016-11-09

Family

ID=46147602

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380016762.4A Expired - Fee Related CN104350768B (zh) 2012-03-27 2013-03-26 用于混合至少两个音频信号的装置

Country Status (9)

Country Link
US (1) US9503810B2 (zh)
EP (1) EP2832114B1 (zh)
JP (1) JP6270063B2 (zh)
KR (1) KR102099589B1 (zh)
CN (1) CN104350768B (zh)
IT (1) ITTO20120274A1 (zh)
RU (1) RU2014143019A (zh)
TW (1) TWI540914B (zh)
WO (1) WO2013144168A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112750444A (zh) * 2020-06-30 2021-05-04 腾讯科技（深圳）有限公司 混音方法、装置及电子设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3669556B1 (en) 2017-10-16 2022-06-08 Sony Europe B.V. Audio processing
KR20240018068A (ko) 2022-08-02 2024-02-13 김윤호 오디오 믹싱 프리셋

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0608937A1 (en) * 1993-01-27 1994-08-03 Koninklijke Philips Electronics N.V. Audio signal processing arrangement for deriving a centre channel signal and also an audio visual reproduction system comprising such a processing arrangement
CN1761998A (zh) * 2003-03-17 2006-04-19 皇家飞利浦电子股份有限公司 多信道信号的处理
CN101061744A (zh) * 2004-01-13 2007-10-24 皇家飞利浦电子股份有限公司 音频信号的增强
CN101133633A (zh) * 2004-12-29 2008-02-27 坦德伯格电信公司 用于声频回波消除的声频系统和方法
EP2178308A2 (en) * 2008-10-15 2010-04-21 Yamaha Corporation Audio signal processing device and audio signal processing method
DE102009052992B3 (de) * 2009-11-12 2011-03-17 Institut für Rundfunktechnik GmbH Verfahren zum Abmischen von Mikrofonsignalen einer Tonaufnahme mit mehreren Mikrofonen
CN102103195A (zh) * 2009-12-18 2011-06-22 东软飞利浦医疗设备系统有限责任公司 一种宽频带数字磁共振射频接收实现装置及方法
CN102209288A (zh) * 2010-03-31 2011-10-05 索尼公司 信号处理设备、信号处理方法和程序
WO2011153905A1 (zh) * 2010-06-07 2011-12-15 华为终端有限公司 一种音频信号的混音处理方法及装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2125220C (en) * 1993-06-08 2000-08-15 Joji Kane Noise suppressing apparatus capable of preventing deterioration in high frequency signal characteristic after noise suppression and in balanced signal transmitting system
DE4409368A1 (de) * 1994-03-18 1995-09-21 Fraunhofer Ges Forschung Verfahren zum Codieren mehrerer Audiosignale
US5850453A (en) * 1995-07-28 1998-12-15 Srs Labs, Inc. Acoustic correction apparatus
ES2208297T3 (es) * 1999-04-07 2004-06-16 Dolby Laboratories Licensing Corporation Generacion de matrices para codificacion y descodificacion sin perdidas de señales de audio multicanal.
AU2211102A (en) * 2000-11-30 2002-06-11 Scient Generics Ltd Acoustic communication system
US6614365B2 (en) * 2000-12-14 2003-09-02 Sony Corporation Coding device and method, decoding device and method, and recording medium
CA2354808A1 (en) * 2001-08-07 2003-02-07 King Tam Sub-band adaptive signal processing in an oversampled filterbank
JP4892184B2 (ja) * 2004-10-14 2012-03-07 パナソニック株式会社 音響信号符号化装置及び音響信号復号装置
AU2007312597B2 (en) * 2006-10-16 2011-04-14 Dolby International Ab Apparatus and method for multi -channel parameter transformation
DE102010015630B3 (de) * 2010-04-20 2011-06-01 Institut für Rundfunktechnik GmbH Verfahren zum Erzeugen eines abwärtskompatiblen Tonformates
US9053697B2 (en) * 2010-06-01 2015-06-09 Qualcomm Incorporated Systems, methods, devices, apparatus, and computer program products for audio equalization
EP4207817A1 (en) * 2012-08-31 2023-07-05 Dolby Laboratories Licensing Corporation System for rendering and playback of object based audio in various listening environments

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0608937A1 (en) * 1993-01-27 1994-08-03 Koninklijke Philips Electronics N.V. Audio signal processing arrangement for deriving a centre channel signal and also an audio visual reproduction system comprising such a processing arrangement
CN1761998A (zh) * 2003-03-17 2006-04-19 皇家飞利浦电子股份有限公司 多信道信号的处理
CN101061744A (zh) * 2004-01-13 2007-10-24 皇家飞利浦电子股份有限公司 音频信号的增强
CN101133633A (zh) * 2004-12-29 2008-02-27 坦德伯格电信公司 用于声频回波消除的声频系统和方法
EP2178308A2 (en) * 2008-10-15 2010-04-21 Yamaha Corporation Audio signal processing device and audio signal processing method
DE102009052992B3 (de) * 2009-11-12 2011-03-17 Institut für Rundfunktechnik GmbH Verfahren zum Abmischen von Mikrofonsignalen einer Tonaufnahme mit mehreren Mikrofonen
TW201129115A (en) * 2009-11-12 2011-08-16 Inst Rundfunktechnik Gmbh Method for dubbing microphone signals of a sound recording having a plurality of microphones
CN102687535A (zh) * 2009-11-12 2012-09-19 无线电技术研究学院有限公司 用于混合利用多个麦克风录音的麦克风信号的方法
CN102103195A (zh) * 2009-12-18 2011-06-22 东软飞利浦医疗设备系统有限责任公司 一种宽频带数字磁共振射频接收实现装置及方法
CN102209288A (zh) * 2010-03-31 2011-10-05 索尼公司 信号处理设备、信号处理方法和程序
WO2011153905A1 (zh) * 2010-06-07 2011-12-15 华为终端有限公司 一种音频信号的混音处理方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112750444A (zh) * 2020-06-30 2021-05-04 腾讯科技（深圳）有限公司 混音方法、装置及电子设备
CN112750444B (zh) * 2020-06-30 2023-12-12 腾讯科技（深圳）有限公司 混音方法、装置及电子设备

Also Published As

Publication number Publication date
KR20140139103A (ko) 2014-12-04
TWI540914B (zh) 2016-07-01
WO2013144168A1 (en) 2013-10-03
EP2832114B1 (en) 2022-10-05
US20150030182A1 (en) 2015-01-29
KR102099589B1 (ko) 2020-04-10
EP2832114A1 (en) 2015-02-04
JP2015515019A (ja) 2015-05-21
US9503810B2 (en) 2016-11-22
CN104350768B (zh) 2016-11-09
ITTO20120274A1 (it) 2013-09-28
RU2014143019A (ru) 2016-05-20
TW201347568A (zh) 2013-11-16
JP6270063B2 (ja) 2018-01-31

Similar Documents

Publication Publication Date Title
US7672466B2 (en) Audio signal processing apparatus and method for the same
EP2798737B1 (en) Bass enhancement system
EP2209326B1 (en) Auditory sense correction device
US20030055636A1 (en) System and method for enhancing speech components of an audio signal
US10158944B2 (en) Noise estimation for dynamic sound adjustment
KR101964107B1 (ko) 오디오 신호를 필터링하기 위한 오디오 신호 처리 장치 및 방법
CN1867204A (zh) 具有反馈检测装置的音频系统
WO2013181299A1 (en) Adaptive bass processing system
CN104350768A (zh) 用于混合至少两个音频信号的布置
US20070127731A1 (en) Selective audio signal enhancement
TW200704943A (en) Transmission line driving circuit
US5838800A (en) Apparatus for enhancing stereo effect with central sound image maintenance circuit
JP2004343590A (ja) ステレオ音響信号処理方法、装置、プログラムおよび記憶媒体
CN111343548B (zh) 音频处理器
JPH10327494A (ja) マイクロホン装置
CN109429167B (zh) 音频强化装置及方法
WO2013115297A1 (ja) サラウンド成分生成装置
KR100233613B1 (ko) 입체사운드 처리 시스템
US20240187806A1 (en) Virtualizer for binaural audio
CN111480347B (zh) 具有优先级的空间感知动态范围控制系统
US9204237B2 (en) Method of generating left and right surround signals from a stereo sound signal
JP5098999B2 (ja) 信号レベル調整装置
KR20050073928A (ko) 실시간 동적 음장 처리 시스템
JP2007184758A (ja) 音響再生装置
JP2008236025A (ja) オーディオ装置及びオーディオ信号処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161109

CF01 Termination of patent right due to non-payment of annual fee