CN113039814B - 耳戴式装置外壳建模 - Google Patents

耳戴式装置外壳建模 Download PDF

Info

Publication number
CN113039814B
CN113039814B CN201980075394.8A CN201980075394A CN113039814B CN 113039814 B CN113039814 B CN 113039814B CN 201980075394 A CN201980075394 A CN 201980075394A CN 113039814 B CN113039814 B CN 113039814B
Authority
CN
China
Prior art keywords
ear
representation
worn device
target
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980075394.8A
Other languages
English (en)
Other versions
CN113039814A (zh
Inventor
张涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Starkey Laboratories Inc
Original Assignee
Starkey Laboratories Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Starkey Laboratories Inc filed Critical Starkey Laboratories Inc
Priority to CN202211063557.0A priority Critical patent/CN115426610A/zh
Publication of CN113039814A publication Critical patent/CN113039814A/zh
Application granted granted Critical
Publication of CN113039814B publication Critical patent/CN113039814B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R31/00—Apparatus or processes specially adapted for the manufacture of transducers or diaphragms therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/65—Housing parts, e.g. shells, tips or moulds, or their manufacture
    • H04R25/652—Ear tips; Ear moulds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1058—Manufacture or assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/65—Housing parts, e.g. shells, tips or moulds, or their manufacture
    • H04R25/658—Manufacture of housing parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/18—Manufacturability analysis or optimisation for manufacturability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/10—Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
    • H04R2201/105—Manufacture of mono- or stereophonic headphone components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/77—Design aspects, e.g. CAD, of hearing aid tips, moulds or housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2231/00—Details of apparatus or processes specially adapted for the manufacture of transducers or diaphragms therefor covered by H04R31/00, not provided for in its subgroups

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Manufacturing & Machinery (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Otolaryngology (AREA)
  • Neurosurgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Orthopedics, Nursing, And Contraception (AREA)
  • Instructional Devices (AREA)

Abstract

描述了一种获得用户的目标耳道的表示的计算装置。使用至少部分基于先前制造的耳戴式装置的表示而训练的机器学习模型，计算装置为目标耳道生成耳戴式装置的表示。

Description

耳戴式装置外壳建模
本申请要求2018年11月16日提交的美国临时专利申请62/768,208的权益，其全部内容通过引用结合于此。
技术领域
本公开涉及耳戴式装置。
背景技术
耳戴式装置是设计为佩戴在用户耳朵上或耳朵内的装置。耳戴式装置的示例类型包括助听器、耳机、耳塞、电话听筒以及设计为佩戴在用户耳朵上或耳朵内的其他类型的装置。
一些耳戴式装置制造商依靠高技能操作员使用三维建模软件设计耳戴式装置。当生产耳戴式装置时，这些高技能操作员和/或听力学家可以对耳戴式装置的外壳进行物理修改，例如，以减轻用户的不适，或者基于制造商或临床医生的需要来成形外壳。以这种方式手动建模和成形耳戴式装置是耗时、昂贵的，并且例如，由于操作员技能水平和技术的变化会导致不一致。
发明内容
总的来说，本公开描述了用于使计算装置能够使用机器学习技术来基于目标耳道的原始耳部印模来自动建模具有与由高技能操作员手动创建的耳戴式装置相似的属性的耳戴式装置或外壳的技术。
在一个示例中，描述了一种方法，该方法包括由至少一个处理器获得用户的目标耳道的表示。该方法还包括使用至少部分基于先前制造的耳戴式装置的表示而训练的机器学习模型来生成目标耳道的耳戴式装置的表示。
在另一示例中，描述了一种计算装置，包括至少一个处理器，该至少一个处理器被配置为获得用户的目标耳道的表示。至少一个处理器还被配置为使用至少部分基于先前制造的耳戴式装置的表示而训练的机器学习模型来生成目标耳道的耳戴式装置的表示。
在另一示例中，描述了一种包括指令的计算机可读存储介质，当被至少一个处理器执行时，该指令将至少一个处理器配置为获得用户的目标耳道的表示。当被执行时，该指令进一步将至少一个处理器配置为使用至少部分基于先前制造的耳戴式装置的表示而训练的机器学习模型，生成用于目标耳道的耳戴式装置的表示。
在另一示例中，描述了一种系统，包括用于获得用户的目标耳道的表示的装置。该系统还包括用于使用至少部分基于先前制造的耳戴式装置的表示而训练的机器学习模型来生成目标耳道的耳戴式装置的表示的装置。
在附图和以下描述中阐述本公开的一个或多个方面的细节。根据说明书、附图和权利要求，本公开中描述的技术的其他特征、目的和优点将是显而易见的。
附图说明
图1是示出根据本公开的一个或多个方面的示例机器学习系统的概念图。
图2是示出根据本公开的一个或多个方面的被配置为训练和执行机器学习模型的示例计算装置的框图。
图3A是示出根据本公开的一个或多个方面的由示例机器学习模型建模的示例耳戴式装置的框图。
图3B是示出根据本公开的一个或多个方面的包括沿着穿过目标耳道突出的轴的位置的目标耳道的表示的截面图的概念图。
图4是示出根据本公开的一个或多个方面的示例机器学习系统执行的操作的流程图。
具体实施方式
耳戴式装置是设计为佩戴在用户耳朵上或耳朵内的装置。耳戴式装置的示例类型包括助听器、耳机、耳塞、电话听筒以及设计为佩戴在用户耳朵上或耳朵内的其他类型的装置。如本文所使用的术语，诸如助听装置、听力装置和听力仪器的耳戴式装置是指用作助听器、个人声音放大产品(PSAP)、耳机、可听戴设备、有线或无线耳塞的任何耳戴式装置或者向用户提供声音用于听觉的其他听力仪器。
一些耳戴式装置专业人员获取患者或终端用户的耳部印模，并向耳戴式装置制造工厂发送原始印模和/或原始印模的扫描以及其他特定于患者的要求(例如，样式、特征等)。制造工厂的高技能操作员(例如，产品建模师、听力学家等)可以扫描原始印模或将扫描的印模导入三维建模软件。
基于患者特定的要求和操作员已知的一组经验建模指南，操作员可以手动设计耳戴式装置，例如，通过与建模软件交互，来创建外壳的计算机模型，该外壳可以包含耳戴式装置的所有内部部件(例如，麦克风、接收机、电路、通风口等)并舒适地安装在特定用户的耳朵内。即使在三维建模软件的帮助下，熟练的操作人员也可能花费5到15分钟的时间手工创建外壳模型。一旦操作员对外壳设计满意，就根据外壳设计制造耳戴式装置。之后，制造工厂的操作员和/或诊所或零售场所的耳戴式装置专业人员可以花费额外的时间进一步修改耳戴式装置的外壳(例如，使用手动工具)，以最小化任何实际的或可预见的终端用户不适。
以这种方式手动建模和成形耳戴式装置既耗时又昂贵，并且例如，由于操作员技能水平和操作员技术的差异会导致不一致。如果终端用户或专业人士希望在制造之前预览他们定制的、可佩戴在耳朵上的设计，诊所或零售商必须能够使用专用的建模器、昂贵的建模软件，并且至少有5到15分钟的建模时间。此外，对于定制的耳戴式装置，例如，非处方助听器等，从商业角度来看，依赖高技能和/或专门的操作员来手动创建耳朵可佩戴的设计的成本和时间可能是不可行的，并且可能在耳戴式装置的采购中引入延迟，这对于零售商、专业人员或终端用户来说是不可接受的。
总的来说，本公开描述了用于使计算装置能够使用机器学习技术来自动建模具有与由高技能操作员和/或临床医生手动创建的成品耳戴式装置相似的属性的耳戴式装置的技术。例如，随着时间的推移，一些耳戴式装置制造商和临床医生已经积累了数十万(不然是数百万)原始耳部印模以及与成品耳戴式装置产品相关的相应数据。该数据可以跨各种耳戴式装置样式和其他装置和/或终端用户特征。不是使用高技能操作员和耗时的建模软件手动创建耳戴式装置，而是可以使用累积的耳部印模以及与成品耳戴式装置相关联的相应数据来训练机器学习模型，以输出模仿由熟练的建模者和临床医生创建的成品耳戴式装置的耳戴式装置设计。
图1是示出根据本公开的一个或多个方面的示例机器学习系统的概念图。图1的系统100被配置为自动地对耳戴式装置进行建模，耳戴式装置具有与由在制造工厂、诊所或其他零售店中工作的高技能操作员手工创建的成品耳戴式装置相似的属性。
系统100可以在计算装置或计算系统的一个或多个处理器上执行。例如，系统100可以在位于耳戴式装置制造工厂的计算机工作站的至少一个处理器上执行。在其他示例中，系统100可以在位于向患者和其他终端用户安装并销售耳戴式装置的诊所或其他零售店的计算机工作站的至少一个处理器上执行。在一些情况下，系统100可以在云计算环境中执行，并且可以经由位于制造工厂、诊所或其他零售店的计算机工作站远程访问。在其他示例中，系统100可以作为在与患者或其他终端用户相关联的移动计算装置的至少一个处理器上执行的应用程序的一部分来执行。
系统100包括机器学习(ML)模型102。ML模型102被配置为生成用户的目标耳道的耳戴式装置的表示，作为输出数据108。ML模型102被配置为生成耳戴式装置的表示，耳戴式装置模拟由制造工厂、诊所和其他零售店的高技能操作员生产的成品耳戴式装置。即，训练ML模型102来产生耳戴式装置的表示，其形状和配置尽可能接近已经由制造工厂、诊所或零售店的高技能操作员物理修改的耳戴式装置的形状和配置。
ML模型102可以是或可以包括一个或多个各种不同类型的机器学习模型。例如，ML模型102可以包括一个或多个神经网络、深层神经网络、参数模型或其他类型的机器学习模型。在图2的机器学习(ML)模型202的描述中提供这种不同类型的机器学习模型的其他示例。
使用训练数据104来训练ML模型102。存在许多训练数据104的示例。作为一个示例，训练数据104可以包括先前制造的耳戴式装置的表示和用于制造先前制造的耳戴式装置的相应耳部印模的表示。
例如，随着时间的推移，临床医生或零售店的销售人员可能已经为终端用户获得了数百个(不然是数千个)目标耳道的三维印模，并将这些耳部印模或其扫描发送给耳戴式装置制造商。在高技能操作员将耳部印模导入三维建模软件并使用手工工具创建成品耳戴式装置之后，临床医生、零售商或制造商可能已经记录了最终由终端用户佩戴的成品耳戴式装置的尺寸和总体特征。
训练数据104可以包括随时间推移所获得的耳部印模的表示和对应于耳部印模的成品可佩戴耳装置的表示。换言之，训练数据104可以包括作为示例输入数据的随时间推移所获得的实际耳部印模的表示，并且可以包括作为期望的输出数据的对应于示例输入数据的成品耳戴式装置的表示。以这种方式，当ML模型102为特定目标耳道生成耳戴式装置的表示时，ML模型102可以从训练数据104推断出要遵守的设计规则和约束，使得由ML模型102生成的表示的形状和设计模仿将由熟练操作员手动生成的耳戴式装置的形状和设计。在一些示例中，训练数据104包括除了历史耳部印模和相应的最终耳戴式装置特征之外的其他数据，如关于训练数据(例如，图2所示的训练数据存储器204中的训练数据)更详细描述的。
ML模型102被配置为接收输入数据106，并且作为响应，ML模型102被配置为提供输出数据108。输入数据106包括指定目标耳道和/或终端用户的特征的信息。输出数据108包括耳戴式装置的表示，ML模型102确定该装置更密切匹配由熟练的操作员使用建模软件和/或其他工具手动创建的成品耳戴式装置的形状和设计。例如，输出数据108可以包括耳戴式装置外壳的三维表示，与具有更小曲率的目标耳道的其他区域相比，该装置更密切符合具有更大曲率的目标耳道的区域。三维表示可以包括指示壳体内的内部部件的位置的定位信息。
下面提供了输入数据106和输出数据108的示例。输入数据106和输出数据108的额外示例也是可能的，如关于输入数据(例如，图2所示的输入数据存储器206中的输入数据)和输出数据(例如，图2所示的输出数据存储器208中的输出数据)更详细描述的。
输入数据106包括终端用户的目标耳道的表示。目标耳道的表示可以是终端用户的耳部印模的三维表示。在其他示例中，目标耳道的表示可以是基于终端用户的目标耳道拍摄的图像(例如，照片、x射线或其他类型的图像)的三维表示。在一些示例中，目标耳道的表示可以在作为输入传递到ML模型102之前以一种或多种方式进行细化或预处理。例如，可以使用傅立叶变换或终端用户拍摄的耳部印模或图像的三维表示的其他操作来生成目标耳道的表示。
在一些示例中，输入数据106包括特定类型的耳戴式装置的指示。例如，根据所生成的耳戴式装置的类型，ML模型102可以遵循不同的设计规则和约束。换言之，可以使用与第一种类型的耳戴式装置相关联的训练数据104来训练模型102，并且可以使用与第二种不同类型的耳戴式装置相关联的训练数据104来进一步训练模型102。当输入数据106指定第一类型时，模型102可以生成第一类型的耳戴式装置的表示，并且当输入数据106指定第二不同类型时，模型102可以生成第二类型的耳戴式装置的第二不同表示。
也称为耳戴式装置样式，存在许多耳戴式装置类型的示例。作为一些示例，特定类型的耳戴式装置的指示可以指定ML模型102是否应该生成：助听装置、耳机、耳塞、电话听筒或其他类型的耳戴式装置。关于助听装置或所谓的助听器、听力装置或听力仪器，特定类型的耳戴式装置的指示可以指定ML模型102是否应该生成三种类型的助听装置中的一种。
一种类型的助听装置包括外壳或壳体，出于美观和功能的原因，该外壳或壳体被设计成戴在耳朵上。外壳或壳体封装听力仪器的电子元件。这种装置可称为耳内(ITE)、耳道内(ITC)、完全耳道内(CIC)或耳道内不可见(IIC)听力仪器。ML模型102可以被配置为生成被设计成佩戴在耳朵中的外壳或壳体的设计，作为用于终端用户的目标耳道的耳戴式装置的表示。
输入数据106还可以包括由ML模型102设计的耳戴式装置的每个内部部件的相应表示。耳戴式装置的每个内部部件的相应表示可以包括该内部部件的三维表示(例如，物理尺寸)或者该内部部件的三维表示的傅立叶变换或其他细化或操纵。
例如，耳戴式装置可以包括几个不同尺寸的内部部件。耳戴式装置的外壳的最终尺寸或形状可以取决于耳戴式装置的每个内部部件的尺寸和形状。ML模型102可以生成耳戴式装置的表示，其可以适应被选择为包括在最终设计中的每个内部部件的尺寸和形状。关于图3A所示的耳戴式装置300，更详细地描述了耳戴式装置的内部部件的示例。
输入数据106还可以包括由ML模型102遵循的一个或多个建模约束的指示。建模约束可以包括从专家建模者和/或听力学家获得的经验建模指南中导出的量化参数。换言之，输入数据106的建模约束可以指定从熟练操作员经验中导出的特定“经验法则”，这些经验法则被转换成定量参数。ML模型102可以被馈送一个或多个建模约束，以增加ML模型102生成适合终端用户耳朵的耳戴式装置的表示的可能性，而几乎没有物理修改。
作为建模约束的一个示例，输入数据106可以包括对两个或多个内部部件之间的相对定位的一个或多个限制或者对一个或多个内部部件相对于耳戴式装置的外壳的位置的限制。例如，可能需要面板、接收机和/或听力外壳之间的最小间隔来确保操作稳定性。类似地，接收机可以正常工作，除非被放置在离耳戴式装置的外壳最小距离处，或者以其他方式防止接触该外壳。
作为另一示例，输入数据106可以包括对一个或多个内部部件相对于耳戴式装置的接入面板的位置的一个或多个限制。例如，处理器或电路可能需要位于耳戴式装置的面板或接入面板附近。
作为另一示例，输入数据106可以包括对耳戴式装置的外壳厚度的一个或多个限制。例如，虽然可能希望减小外壳壁厚度，例如，生成更小且重量更轻的耳戴式装置，但是可能需要最小厚度来提高装置的完整性和耐用性。
作为另一示例，输入数据106可以指定耳戴式装置的特征。例如，耳戴式装置可以包括用于接收声波和/或输出声波的通风口。多年来，熟练的操作员可能已经认识到，通风口的特定尺寸对于确保良好的声音质量至关重要。输入数据106可以包括指定这种通风口的最小横截面积或其他尺寸的信息。
ML模型102被配置为接收反馈110，作为训练数据104的形式，用于基于对输出数据108的修改和用于目标耳道的耳戴式装置的表示来重新训练ML模型102。换言之，由ML模型102生成的耳戴式装置的表示最初可能包括误差或者需要物理修改来提高终端用户的舒适度。然而，随着时间的推移，通过向ML模型102提供关于误差的反馈110，ML模型102可以不断地学习和改进，使得ML模型102生成的耳戴式装置的后续表示需要很少或不需要物理修改。因此，在一些示例中，可以基于用户对目标耳道的耳戴式装置的表示的修改来重新训练ML模型102。
作为一个示例，反馈110可以包括由高技能操作员对耳戴式装置的外壳进行的特定尺寸改变，以更好地将耳戴式装置安装在用户的目标耳道内。尺寸变化可以包括实际尺寸变化或者尺寸变化的细化或操纵。作为另一示例，反馈110可以包括由高技能操作员对耳戴式装置的外壳内的内部部件的定位做出的特定位置改变(例如，为了符合经验设计指南)。位置变化可以包括实际的位置变化或者位置变化的细化或操纵。
在一些示例中，训练数据104包括除了历史耳部印模和相应的最终耳戴式装置特征之外的其他数据。例如，训练数据104还可以包括最终的、先前制造的耳戴式装置的相应终端用户的特征。例如，随着时间的推移，相同的临床医生或零售店的销售人员可能已经为终端用户拍摄了数百个(不然是数千个)目标耳道的三维印模，并且可能已经记录了关于终端用户的其他信息。即，在采取预防措施以保护或忽略随时间收集的用户数据中的任何个人可识别信息的同时，临床医生或零售店的销售人员可能保留了终端用户的特征，包括终端用户的年龄、性别、国籍、地理位置或其他个人特征中的每一个。临床医生或零售店的销售人员可能保留了关于终端用户耳朵的特定信息，包括指定特定耳朵类型、特定耳朵形状和/或特定耳朵或耳道尺寸的信息。
当ML模型102为特定目标耳道生成耳戴式装置的表示时，ML模型102可以从这些用户的特征中推断出要遵循的额外设计规则和约束。例如，遵循规则或约束可以使得模型102生成耳戴式装置的表示，该耳戴式装置的形状和设计模仿由熟练的操作员手动生产的耳戴式装置的形状和设计。例如，ML模型102可以推断，对于特定终端用户的年龄、性别、国籍、地理位置或其他个人特征，由熟练操作员手动生产的耳戴式装置具有该个人特征所特有的特定形状或设计。在一些示例中，ML模型102可以包括多个模型，每个模型被训练成处理不同的年龄、性别、国籍、地理位置或其他个人特征。
在一些示例中，训练数据104包括某些诊所、零售商或用户组的特征或偏好。例如，随着时间的推移，某些临床医生或销售人员可能已经开发了他们自己的“品牌”装置，在设计定制的耳戴式装置时坚持他们自己的特定偏好。当ML模型102为特定诊所或临床医生生成耳戴式装置的表示时，ML模型102可以被训练来学习这些临床医生偏好并推断要遵循的额外设计规则和约束。
系统100通过执行ML模型102，可以减少设计和建模耳戴式装置所需的人工干预量，从而通过减少可能在不同建模者之间观察到的不一致来降低成本和提高整体质量。执行ML模型102不仅可以节省人力和建模人员的培训，而且还可以将整个外壳建模和修改时间减少至少几倍，从而潜在地节省成本。
图2是示出根据本公开的一个或多个方面的被配置为训练和执行机器学习模型的示例计算装置的框图。图2的计算装置212被配置为训练和/或执行机器学习(ML)模型202，其是图1的机器学习模型202的示例。图2仅示出了计算装置212的一个特定示例，并且存在计算装置212的许多其他示例配置。
计算装置212可以包括一个或多个电子计算装置，包括以下一个或多个的组合：移动装置、可穿戴装置(例如，耳朵可穿戴或非耳朵可穿戴)、服务器装置和其他类型的计算装置。计算装置212的一些特定示例包括以下一个或多个的组合：移动电话、平板计算机、便携式媒体播放器装置、独立服务器装置、刀锋服务器、个人计算机、工作站、内容传送网络装置和另一种类型的装置。因此，一般而言，本公开中对执行特定动作或功能的计算装置212的描述应当被解释为执行特定动作或功能的一个或多个电子计算装置的组合。
如图2的示例所示，计算装置212包括一个或多个处理器222、一个或多个输入部件218、一个或多个通信单元214、一个或多个输出部件220、数据存储器216(例如，一个或多个数据存储装置)和通信总线224。计算装置212可以包括许多其他部件。
通信总线224可以互连(物理地、通信地和/或可操作地)部件214、216、218、220和222中的每一个，用于部件间通信。在一些示例中，通信总线224可以包括系统总线、网络连接、进程间通信数据结构或用于传送数据的任何其他方法。
计算装置212可以依赖输入部件218来接收用户输入。用户输入的示例包括触觉、听觉和视觉输入。输入部件218可以包括存在敏感屏幕、触摸敏感屏幕、相机、鼠标、跟踪板、轨迹球、键盘、麦克风、物理按钮、通信端口、传感器或被配置为检测来自人或机器的输入的任何其他类型的部件。
计算装置212可以依赖输出部件220来生成输出。输出的示例包括触觉、听觉和视觉输出。输出部件220可以包括显示器，例如，对存在敏感的屏幕、液晶显示器(LCD)、或其他类型的显示器、声卡、视频图形适配器卡、扬声器、或被配置为向人或机器产生输出的任何其他类型的部件。在一些示例中，单个部件可以跨输入部件218和输出部件220，例如，存在敏感屏幕是一个输入部件218和一个输出部件220的示例。
通信单元214可以使计算装置212能够与一个或多个其他计算装置交换数据(例如，经由通信网络，例如，局域网或互联网)。通信单元214可以包括使计算装置212能够与其他计算装置有线或无线通信的发射机和接收机。通信单元214的示例可以包括光收发器、射频收发器或能够发送和接收信息的其他类型的装置。通信单元214的其他示例可以包括蓝牙无线电、蜂窝数据无线电、Wi-Fi无线电、Thunderbolt或通用串行总线(USB)接口等。
通信单元214可以将计算装置212配置为与远程计算装置通信，该远程计算装置维护数据库或先前制造的耳戴式装置的其他记录。例如，计算装置212可以使用通信单元214从生产设施数据库接收数据，包括用于训练机器学习模型(例如，ML模型202)的先前制造的耳戴式装置的表示。作为另一示例，计算装置212可以使用通信单元214从临床医生或零售店数据库接收其他数据，包括用于训练机器学习模型(例如，ML模型202)的先前制造的耳戴式装置的表示。
计算装置212包括一个或多个处理器222，处理器222被配置为从数据存储器216读取指令并执行指令，以使计算装置212采取行动或执行功能。例如，根据本公开的一个或多个方面，处理器222可以执行使计算装置212训练和执行机器学习模型(例如，ML模型202)的指令。
数据存储器216可以存储在计算装置212的操作使用期间所需的信息，包括由处理器222执行的指令。在一些示例中，数据存储器216的主要目的是作为短期而不是长期的计算机可读存储介质。数据存储器216可以是易失性存储器，因此如果计算装置212断电，则数据存储器216不会保留存储的内容。数据存储器216还可以被配置为将信息长期存储为非易失性存储器空间，并且即使计算装置212断电也能保留信息。
如图2所示，数据存储器216包括与ML模型202、训练模块226和用户界面(UI)模块228相关联的信息。此外，数据存储器216包括输入数据存储器206、训练数据存储器204和输出数据存储器208。处理器222可以执行与ML模型202和模块226和228相关联的指令，以使计算装置212执行功能。
UI模块228被配置为管理与计算装置212相关联的用户界面。具体而言，根据本公开的技术，UI模块228可以提供界面(例如，图形用户界面)，计算装置212的用户可以从该界面与ML模型202交互，以使ML模型202至少部分基于目标耳道的表示来生成耳戴式装置的表示。例如，UI模块228可以使输出部件220的显示屏提供图形或其他类型的用户界面，用户可以从该用户界面查看由ML模型202生成的耳戴式装置的表示。当用户与用户界面交互时，UI模块228可以解释由输入部件218检测到的输入，例如，向ML模型202提供用户特定的控制。UI模块228可以与ML模型202和/或训练模块226交换信息。
作为一个示例，计算装置212可以是执行生产建模软件的生产工作站，该生产建模软件包括ML模型202和模块226和228。UI模块228可以解译输入并生成与生产建模软件相关联的输出，例如，以使得用户能够控制ML模型202的各种参数。例如，计算装置212的用户可以提供由输入部件218检测到的输入，输入部件使得UI模块228执行功能，例如，配置ML模型202，以生成具有用户选择的特定部件的特定类型的耳戴式装置表示。生产设施的熟练操作员可以例如基于在最终装配时或在现场从临床医生或质量控制专家处获得的讨论或信息来对ML模型202进行调整。
作为另一示例，计算装置212可以是执行临床医生建模软件的临床医生工作站，类似于上面提到的生产建模软件，但是侧重于解决临床医生、听力学家或零售商的需求，而不是生产操作员的需求。例如，计算装置212的用户可以提供由输入部件218检测到的输入，该输入部件使得UI模块228执行功能，例如，配置模型202，以生成耳戴式装置的表示，该表示解决了在诊所咨询期间由患者向用户指示的特定要求。因此，诊所中的专业人员能够与计算装置212进行交互，以代表患者或客户快速建模和可视化不同类型的耳戴式装置，使得专业人员和客户能够在向制造商发送生产耳戴式装置的请求之前做出明智的决定。
作为另一示例，计算装置212可以是移动装置，例如，平板电脑或移动电话，该移动装置执行消费者应用，该消费者应用使得用户能够与消费者建模软件进行交互，该消费者建模软件包括(或至少提供经由云的访问)ML模型202以及模块226和228。UI模块228可以解译输入并生成与消费者应用相关联的输出，例如，以使终端用户能够对ML模型202的各种参数进行一些控制。例如，计算装置212的用户可以提供由输入部件218检测到的输入，该输入部件使得UI模块228执行功能，例如，配置ML模型202，以生成满足已经由终端用户通过消费者应用选择的一般可用性特征和偏好的耳戴式装置的表示。耳戴式装置用户自己可能能够在不去诊所的情况下快速可视化不同类型的定制耳戴式装置产品，并做出在家中或现场订购产品的明智决定。这样，一旦患者或其他终端用户向消费者应用提交了耳部印模或扫描(例如，在药房执行)，用户可以在仅几分钟或几秒钟内获得并可视化模拟的耳戴式外壳模型，并做出关于当场订购耳戴式装置的快速决定，并且可以确保得到的耳戴式装置听起来很棒、看起来很好并且佩戴舒适。
UI模块228可以向输入数据存储器206写入信息，并且可以从输出数据存储器208读取信息。UI模块228可以进一步将反馈信息写入训练数据存储器204，例如，反馈信息可以指示用户对由ML模型202生成的最终耳戴式装置设计做出的任何变化。
训练模块226基于包含在训练数据存储器204中的信息来训练ML模型202。训练模块226可以被配置为例如响应于从UI模块228接收反馈信息或者通过确定ML模型202的输出中的误差来连续训练ML模型202。训练模块226被配置为将ML模型202转换成训练模式，其中，ML模型202接收示例输入数据和示例输出数据，以使得ML模型202创建或更新由ML模型202在先前训练会话期间先前建立的任何推断。训练模块226可以被配置为基于先前制造的耳戴式装置的记录来训练ML模型202，例如，使用通信单元214从生产设施数据库、临床医生或零售店数据库或其他储存库接收的记录。
在一些示例中，训练模块226可以确定用于训练ML模型202的期望输出和从ML模型202实际获得的输出之间的误差或偏差。训练模块226可以比其他模块更强调修复一些误差。例如，训练模块226可以将较高的权重应用于耳戴式装置的表示的某些区域，以增加ML模型202减少这些区域中的误差的可能性，并将较低的权重应用于其他区域，以降低ML模型202减少这些其他区域中的误差的可能性。
例如，耳戴式装置的表示可以包括定义耳戴式装置的形状的一组三维点。一些三维点可能比其他点更重要(例如，以确保佩戴耳戴式装置时的用户舒适性)。训练模块226可以确定耳戴式装置的形状相对于期望形状的偏差，并且将权重应用于发生偏差的更重要的三维点，以使ML模型202更接近地匹配期望形状，尤其是在更重要的点。
ML模型202是图1的ML模型102的示例。像ML模型102一样，ML模型202被配置为在输出数据存储器208处为用户的目标耳道生成耳戴式装置的表示。ML模型202被配置为生成表示或耳戴式装置，其模拟由制造工厂、诊所和其他零售店的高技能操作员生产的成品耳戴式装置。即，训练ML模型202来产生耳戴式装置的表示，其形状和配置尽可能接近已经由制造工厂、诊所或零售店的高技能操作员物理修改的耳戴式装置的形状和配置。
训练模块226训练ML模型202从输入数据存储器206接收输入数据，并且作为响应，在输出数据存储器208提供输出数据。输入数据可以包括不同类型、形式或变化的输入数据。
在训练期间，训练模块226可以以任何数量的方式有意地使存储在训练数据存储器204中的示例输入数据或期望输出数据变形，以增加模型鲁棒性、泛化或其他质量。变形训练数据的示例技术包括添加噪声；改变颜色、阴影或色调；放大；分段；放大等。
训练模块226可以以离线方式或在线方式训练ML模型202。在离线训练(也称为批量学习)中，训练模块226在整个静态训练数据集上训练ML模型202。在在线学习中，随着新的训练数据变得可用(例如，基于来自用户的反馈)，训练模块226连续训练(或重新训练)ML模型202。
训练模块226可以根据一种或多种不同的训练类型或技术来训练ML模型202。例如，在一些实现中，训练模块226可以使用监督学习来训练ML模型202，其中，ML模型202在包括具有标签的实例或示例的训练数据集上训练。标签可以由专家手动应用，通过众包生成，或者由其他技术(例如，基于物理的或复杂的数学模型)提供。在一些实现中，这个过程可以被称为个性化模型。
训练模块226可以通过优化目标函数来训练ML模型202。例如，在一些实现中，目标函数可以是或包括损失函数，该损失函数比较(例如，确定其间的差异)由ML模型202从训练数据生成的输出数据和与训练数据相关联的标签(例如，基本事实标签)。例如，损失函数可以计算输出数据和标签之间的平方差的和或平均值。在一些示例中，目标函数可以是或包括描述特定结果或输出数据的成本的成本函数。目标函数的其他示例可以包括基于边缘的技术，例如，三重损失或最大边缘训练。
训练模块226可以执行各种优化技术，来优化目标函数。例如，优化技术可以最小化或最大化目标函数。示例优化技术包括基于Hessian的技术和基于梯度的技术，例如，坐标下降；梯度下降(例如，随机梯度下降)；亚梯度方法等。其他优化技术包括黑盒优化技术和启发式技术。
训练模块226可以执行误差向ML模型202的反向传播，该反向传播可以与优化技术(例如，基于梯度的技术)结合使用，来训练ML模型202(例如，当机器学习模型202是诸如人工神经网络等多层模型时)。例如，可以执行传播和模型参数(例如，权重)更新的迭代循环来训练ML模型202。示例反向传播技术包括通过时间的截断反向传播、Levenberg-Marquardt反向传播等。
训练模块226可以使用非监督学习技术来训练ML模型202。非监督学习可以包括从未标记的数据中推断出描述隐藏结构的函数。例如，分类或归类可以不包含在数据中。
训练模块226可以使用结合了监督学习和非监督学习的各方面的半监督技术来训练ML模型202。训练模块226可以通过进化技术或遗传算法来训练ML模型202。训练模块226可以使用强化学习来训练ML模型202。在强化学习中，代理(例如，模型)可以在环境中采取行动，并学习最大化奖励和/或最小化由这些行动导致的惩罚。强化学习与监督学习问题的不同之处在于，没有给出正确的输入/输出对，也没有明确纠正次优行为。
训练模块226可以使用一种或多种泛化技术来训练ML模型202，以改善ML模型202的泛化。泛化技术可以防止ML模型202对训练数据的过度拟合。泛化技术的示例包括脱落技术；权重衰减技术；批量标准化；提前停止；子集选择；逐步选择等。
ML模型202可以是或包括一个或多个不同类型的机器学习模型。下面描述的一个或多个示例模型可以用于(例如，组合)响应于输入数据来提供输出数据。也可以使用下面提供的示例模型之外的额外模型。
在一些实现中，ML模型202可以是参数模型，而在其他实现中，ML模型202可以是非参数模型。例如，作为基于参数的模型，ML模型202可以确定被分成多个横截面的耳戴式装置的参数表示。ML模型202可以确定一组参数，该组参数表征定义耳戴式装置的圆柱形形状，然后针对目标耳道的给定表示来估计这些参数。然而，作为非参数模型，例如，神经网络，ML模型202确定与耳戴式装置相关联的固有结构，并预测给定目标耳道的耳戴式装置结构。
在一些示例中，ML模型202可以是线性模型，而在其他实现中，ML模型202可以是非线性模型。在一些实现中，ML模型202可以是或可以包括一个或多个分类器模型，例如，线性分类模型、二次分类模型等。ML模型202可以是或可以包括一个或多个回归模型，例如，简单线性回归模型、多元线性回归模型、逻辑回归模型、逐步回归模型、多元自适应回归样条、局部估计散点图平滑模型等。在一些示例中，ML模型202可以是或可以包括一个或多个基于决策树的模型，例如，分类和/或回归树、迭代二分器3决策树、C4.5决策树、卡方自动交互检测决策树、决策树桩、条件决策树等。
ML模型202可以包括一个或多个基于实例的学习模型，例如学习矢量量化模型、自组织映射模型、局部加权学习模型等。在一些实现中，ML模型202可以是或可以包括一个或多个最近邻模型，例如，k最近邻分类模型；k最近邻回归模型等。ML模型202可以是或包括一个或多个贝叶斯模型，例如，单纯贝叶斯模型、高斯单纯贝叶斯模型；多项式单纯贝叶斯模型、平均单相关估计量、贝叶斯网络；贝叶斯信念网络、隐马尔可夫模型等。
在一些示例中，ML模型202可以包括一个或多个人工神经网络(也简称为神经网络)。神经网络可以包括一组连接的节点，也可以称为神经元或感知器。神经网络可以组织成一层或多层。包括多层的神经网络可以被称为“深层”网络。深层网络可以包括输入层、输出层以及位于输入层和输出层之间的一个或多个隐藏层。神经网络的节点可以是连接的或不完全连接的。
ML模型202可以是或包括一个或多个前馈神经网络。在前馈网络中，节点之间的连接不形成循环。例如，每个连接可以将前一层的节点连接到后一层的节点。
在一些示例中，ML模型202可以包括一个或多个递归神经网络。在某些情况下，递归神经网络的至少一些节点可以形成一个循环。示例递归神经网络包括长期短期(LSTM)递归神经网络；门控循环单元；双向递归神经网络；连续时间递归神经网络；神经历史压缩器；回声状态网络；Elman网络；Jordan网络；递归神经网络；Hopfield网络；完全循环网络；序列对序列配置等。
ML模型202可以是或可以包括一个或多个卷积神经网络。在一些情况下，卷积神经网络可以包括一个或多个卷积层，其使用学习滤波器对输入数据执行卷积。滤波器也可以称为内核。
在一些示例中，ML模型202可以是或包括一个或多个生成网络，例如，生成对抗网络。生成网络可用于生成新数据，例如，新图像或其他内容。
ML模型202可以是或可以包括一种或多种其他形式的人工神经网络，例如，深玻尔兹曼机器；深度信念网络；堆叠式自动编码器等。本文描述的任何神经网络都可以组合(例如，堆叠)，以形成更复杂的网络。
ML模型202可以包括一个或多个聚类模型，例如，k均值聚类模型；k中位数聚类模型；期望最大化模型；分层聚类模型等。
ML模型202可以接收和使用其原始形式的输入数据，而在其他情况下，可以预处理原始输入数据。例如，预处理输入数据可以包括从原始输入数据中提取一个或多个额外特征。
可以将特征提取技术应用于输入数据，以生成一个或多个新的额外特征。示例特征提取技术包括边缘检测；拐角检测；斑点检测；山脊探测；尺度不变特征变换；运动检测；光流；霍夫变换等。提取的特征可以包括输入数据到其他域和/或维度的转换或者从输入数据到其他域和/或维度的转换中导出。作为一个示例，提取的特征可以包括输入数据到频域的转换或者从输入数据到频域的转换中导出。例如，可以对输入数据执行小波变换和/或傅立叶变换，以生成额外特征。在一些示例中，提取的特征可以包括根据输入数据或输入数据的某些部分或维度计算的统计数据。示例统计包括输入数据或其部分的模式、均值、最大值、最小值或其他度量。
作为预处理技术的另一示例，可以估算部分输入数据。例如，可以通过内插和/或外插来生成额外的合成输入数据。
作为另一示例预处理技术，一些或所有输入数据可以缩放、标准化、规范化、一般化和/或正则化。正则化技术的示例包括脊回归；最小绝对收缩和选择算子(LASSO)；弹性网；最小角度回归；交叉验证；L1正则化；L2正则化等。作为一个示例，可以通过从每个单独的特征值中减去给定维度的特征值的平均值，然后除以标准偏差或其他度量来归一化一些或全部输入数据。
作为预处理技术的另一示例，可以量化或离散化一些或全部输入数据。在某些情况下，输入数据中包含的定性特征或变量可以转换为定量特征或变量。
图3A是示出根据本公开的一个或多个方面的由示例机器学习模型建模的示例耳戴式装置的框图。耳戴式装置312可以是被配置为提供听觉声音的任何类型的耳戴式装置。耳戴式装置312是被设计成佩戴在用户耳朵上或耳朵中的装置。
耳戴式装置312包括经由通信总线324可操作地或通信地耦合的一个或多个通信单元314、一个或多个输入部件318、一个或多个输出部件320、一个或多个处理器322、电池/充电电路326。耳戴式装置312的每个前述部件被显示为容纳在外壳330内，包括在外壳330、通风口332和接入面板334内。
类似于图2的通信单元214，通信单元314可以包括无线电或其他部件，其使得耳戴式装置312能够与其他装置通信数据。例如，通信单元314可以使耳戴式装置能够与另一耳戴式装置交换数据(例如，对于双侧听力损失的用户，对于一组立体声耳机等)。类似地，通信单元314可以使耳戴式装置能够与编程器、移动电话或其他外部装置交换数据。
耳戴式装置312的电池/充电电路326为耳戴式装置312的各种部件供电，以使耳戴式装置312能够提供声音。类似于图2的处理器222，处理器322可以执行使耳戴式装置312能够执行功能或采取特定动作的操作。作为一个示例，处理器322可以包括数字信号处理器或其他处理电路，其控制耳戴式装置312的各种部件来提供听觉声音。
耳戴式装置312包括一个或多个输入部件318和一个或多个输出部件320。输入部件318可以包括被配置为检测用户的收听区域中的可听声音的麦克风，并且输出部件320可以包括被配置为例如基于检测到的可听声音来生成听觉声音的接收机(例如，扬声器)。
耳戴式装置312的通风口332提供了声音可以从其进入和离开外壳330的导管。例如，输入部件318的麦克风可以被配置为经由通风口332接收声波，输出部件320的接收机可以被配置为经由通风口332输出声波。通风口332可以具有特定的形状和/或尺寸，该形状和/或尺寸被专门设计用于使外壳330适应输入和输出声音。
耳戴式装置312的接入面板334为用户提供了访问耳戴式装置312的内腔332的方式，例如，替换电池/充电电路326，或者访问耳戴式装置312的其他部件。接入面板334可以是门、窗或其他可移除的盖。
耳戴式装置制造商已知的一组经验建模指南可以为耳戴式装置332的每个部件指定优选布局。例如，指南可以定义外壳330的最小厚度。该指南可以进一步指定接入面板334相对于耳戴式装置332的其他部件的位置。类似地，该组经验建模指南可以例如通过指定输出部件320的接收机不应该接触外壳330或在外壳330的最小距离阈值内，来定义与耳戴式装置312的各种部件和外壳330的最小分离距离。可以遵循其他设计考虑和指南。参考图1，这些经验建模指南可以被量化并用作训练数据104或输入数据106。
图3B是示出根据本公开的一个或多个方面的包括沿着穿过目标耳道突出的轴的位置的目标耳道的表示的横截面图的概念图。在图2的计算装置212的上下文中描述了图3B。例如，根据本公开的技术，计算装置212的ML模型202可以接收作为一系列三维点的表示336的表示，作为输入，所述一系列三维点定义了被示为目标耳道340的用户耳道，并且生成用于目标耳道340的可佩戴耳装置的表示。
目标耳道340的表示336包括在一端的耳部开口和在相对端的耳鼓。目标耳道340的表示336部分地由从位于目标耳道340的一端的耳鼓突出到目标耳道340的相对端的轴342来限定。
ML模型202可以定义轴342，以包括从目标耳道340的耳鼓突出到位于目标耳道340的相对端的耳孔的多个位置344A至344E。位置344E被示为最靠近耳孔且离耳鼓最远，位置344A被示为最靠近耳鼓且离耳孔最远。ML模型202可以生成耳戴式装置的表示，以最小化耳戴式装置的表示中的误差，其中，误差是沿轴342的位置和曲率的函数。
例如，计算装置212的训练模块226可以确定ML模型202的期望输出和ML模型202的实际输出之间的偏差。训练模块226可以使ML模型202比其他模型更强调修复某些偏差。例如，训练模块226可以使ML模型202应用更高的权重来确保耳戴式装置的表示在沿轴342的某些区域中是最准确的，并且在一些示例中，ML模型202可以将更低的权重应用到沿轴342的对于确保可用性和用户舒适性来说可能不太重要的其他区域。
例如，与位置344A、344C和344E相比，位置344D和344B位于耳道340的在轴342上方和下方具有较大曲率的区域，在位置344A、344C和344E处，耳道340在轴342上方和下方具有较小的曲率。在位置344D和344B附近可能会出现用户不适，例如，如果耳戴式装置的外壳形状不正确并且没有适当地成型，以适合这些区域的曲率内部，则比位置344A、344C和344E更容易出现用户不适。
训练模块226可以对沿轴342的位置344A至344E应用相应权重。不同位置344A至344E中的每一个的相应权重可以是该位置处的曲率量的函数。与沿轴342的具有较低相应权重的其他位置相比，ML模型202可以在沿轴342的具有较大相应权重的位置处，对耳戴式装置的外壳的部分进行成形，以对目标耳道340更精确。
例如，训练模块226可以确定耳戴式装置的形状与期望或预期形状相比的偏差。训练模块226可以将权重应用到耳戴式装置外壳中出现偏差的更重要的区域。训练模块226可以应用权重，来使ML模型202强调减少位置344D和344B处的壳形误差，而不是减少其他位置344A、344C和344E处的壳形误差。训练模块226可以增加具有较大曲率量的位置344B和344D的相应权重，并且可以减少具有较小曲率量的位置344A、344C和344E的相应权重。
图4是示出根据本公开的一个或多个方面的示例机器学习系统执行的操作的流程图。下面在图2的计算装置212的上下文中描述图4。计算装置212可以以不同于图4所示的顺序执行操作402至416。计算装置212可以执行比图4所示的操作更多或更少的操作。
在操作中，计算装置212可以从生产设施数据库和/或临床医生/零售店数据库接收先前制造的耳戴式装置的表示(402)。例如，计算装置212的训练模块226可以使用通信单元214与远程计算装置通信，该远程计算装置维护数据库或先前制造的耳戴式装置的其他记录。训练模块226可以从生产设施数据库或临床医生或零售店数据库以其成品形式来接收数据，该数据包括先前制造的耳戴式装置的表示，并且基于生产数据，创建训练数据，以训练ML模型202来复制具有与先前制造的耳戴式装置相似的特征的耳戴式装置。另外或者可替换地，训练模块226可以从临床医生或零售店数据库接收包括先前制造的耳戴式装置的表示的其他数据，并且基于临床医生或零售数据，创建训练数据，以训练ML模型202来复制具有与先前制造的耳戴式装置相似的特征的耳戴式装置。
计算装置212可以基于先前制造的耳戴式装置的表示和用于产生先前制造的耳戴式装置的相应耳部印模的表示来训练ML模型(404)。例如，对于目标耳道印模，ML模型202的期望输出或训练目标可以是一组三维点或其傅立叶变换，其定义了最终的耳戴式装置外壳。训练模块226用于训练ML模型202的成本函数可以指示ML模型202的输出和期望输出之间的偏差(例如，加权均方误差)。当耳戴式装置位于目标耳道内时，应用于与耳戴式装置外壳的不同部分相关联的偏差的实际权重可以是外壳曲率和相对位置的函数(例如，将M1模型202集中于生成佩戴舒适的耳戴式外壳设计)。训练模块226可以利用反向传播算法来进一步训练ML模型202。
通过访问在生产设施和/或诊所或零售店生产的先前制造的耳戴式装置的记录，训练模块226可以训练ML模型202在产品生命周期的任何阶段模仿耳戴式外壳设计，包括在生产和客户交付期间。例如，除了使ML模型202学习熟练的建模者在生产中所做的之外，训练模块226可以输入从诊所导出的训练数据，以使ML模型202不仅学习和模仿建模者在生产中所做的，而且学习和模仿专业人员在诊所中所做的。换言之，代替使用生产中的最终外壳设计作为训练目标，训练模块226可以使用由临床医生修改的最终外壳设计，作为训练目标。
在一些示例中，计算装置212可以进一步基于用户的特征或与先前制造的耳戴式装置相关联的其他信息来训练ML模型(406)。例如，训练模块226可以使模型202的训练适应可能影响耳戴式外壳设计、形状和偏好的各种其他条件。例如，训练模块226可以使用与特定国家、特定地区或甚至特定诊所相关联的特定训练数据集(例如，在训练数据存储器204中)，而不是训练ML模型202，以便通常为整个用户群体配置。换言之，特定国家、地区、诊所或其他人口统计的用户可能具有特定偏好；训练模块226可以训练ML模型202来生成适应这些偏好的耳戴式装置的表示。
计算装置212可以获得目标耳道的表示(408)。例如，UI模块228可以接收终端用户耳道的扫描，并将该扫描(或其傅立叶变换)作为输入提供给ML模型202。
计算装置212可以将目标耳道的表示和任何其他相关输入输入到ML模型，以生成目标耳道的耳戴式装置的表示(410)。例如，UI模块228可以接收指定地理区域、身体类型、皮肤类型或与用户或订购诊所相关联的其他特征的其他用户输入，其他用户输入指定对耳戴式装置设计的偏好。UI模块228可以格式化各种输入并将其发送给模型202，包括目标耳道的表示。
计算装置212可以输出目标耳道的耳戴式装置的表示的指示(412)。例如，ML模型202可以输出指示耳戴式装置的形状和配置的数据。在一些示例中，ML模型202的输出可以定义一组点或其傅立叶变换，这些点或其傅立叶变换定义了耳戴式装置的外壳。ML模型202的输出可以指定外壳内各种内部部件的位置。
计算装置212可以接收与目标耳道的耳戴式装置相关联的用户反馈(414)。例如，熟练的建模者可以基于来自模型202的输出对最终组装的耳戴式装置进行改进或修改。由建模器进行的任何调整或修改可以由UI模块228确定，并被发送到训练模块226。
计算装置212可以基于与用于目标耳道的耳戴式装置相关联的用户反馈来训练ML模型(416)。例如，训练模块226可以输入对来自ML模型202的输出所做的修改的表示，以使得ML模型202在生成未来的耳戴式装置设计时学习并预期这些修改。在某些情况下，随着额外的训练数据和外壳建模指导方针的发展，例如，随着新的耳戴式装置技术和设计的继续发展，可以连续地训练和改进ML模型202。
应当认识到，根据示例，本文描述的任何技术的某些动作或事件可以以不同的顺序执行，可以添加、合并或一起省略(例如，并非所有描述的动作或事件对于技术的实践都是必要的)。此外，在某些示例中，动作或事件可以同时执行，例如，通过多线程处理、中断处理或多个处理器，而不是依次执行。
在一个或多个示例中，所描述的功能可以在硬件、软件、固件或其任意组合中实现。如果以软件实现，这些功能可以作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质传输，并由基于硬件的处理单元执行。计算机可读介质可以包括对应于诸如数据存储介质的有形介质的计算机可读存储介质或者包括例如根据通信协议便于将计算机程序从一个地方传送到另一个地方的任何介质的通信介质。以这种方式，计算机可读介质通常可以对应于(1)非暂时性的有形计算机可读存储介质，或者(2)诸如信号或载波的通信介质。数据存储介质可以是可由一个或多个计算机或一个或多个处理电路访问的任何可用介质，以检索指令、代码和/或数据结构，来实现本公开中描述的技术。计算机程序产品可以包括计算机可读介质。
通过示例而非限制，这种计算机可读存储介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储器、磁盘存储器或其他磁存储装置、闪存、高速缓冲存储器或任何其他可以用于以指令或数据结构的形式存储期望的程序代码并且可以由计算机访问的介质。此外，任何连接都可以被认为是计算机可读介质。例如，如果使用同轴电缆、光纤电缆、双绞线、数字用户线路(DSL)或无线技术(例如，红外线、无线电和微波)从网站、服务器或其他远程源传输指令，则同轴电缆、光纤电缆、双绞线、DSL或无线技术(例如，红外线、无线电和微波)包括在介质的定义中。然而，应当理解，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他暂时性介质，而是指向非暂时性有形存储介质。上述的组合也应该包括在计算机可读介质的范围内。
本公开中描述的功能可以由固定功能和/或可编程处理电路来执行。例如，指令可以由固定功能和/或可编程处理电路来执行。这种处理电路可以包括一个或多个处理器，例如，一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等效的集成或分立逻辑电路。因此，本文使用的术语“处理器”可以指任何前述结构或者适合于实现本文描述的技术的任何其他结构。此外，在一些方面，可以在专用硬件和/或软件模块中提供本文描述的功能。同样，这些技术可以完全在一个或多个电路或逻辑元件中实现。处理电路可以以各种方式耦合到其他部件。例如，处理电路可以经由内部装置互连、有线或无线网络连接或另一种通信介质耦合到其他部件。
在本公开中描述了各种部件、模块或单元，以强调被配置为执行所公开的技术的装置的功能方面，但是不一定需要通过不同的硬件单元来实现。相反，如上所述，各种单元可以在硬件单元中组合，或者由包括如上所述的一个或多个处理器的互操作硬件单元的集合以及合适的软件和/或固件提供。
已经描述了各种示例。这些和其他示例在所附权利要求的范围内。

Claims (26)

1.一种用于耳戴式装置外壳建模的方法，包括：
由至少一个处理器获得用户的目标耳道的表示，其中，所述目标耳道的表示部分地由从位于所述目标耳道的一端的耳鼓突出到所述目标耳道的相对端的轴来限定；并且
使用至少部分基于先前制造的耳戴式装置的表示而训练的机器学习模型，生成用于所述目标耳道的耳戴式装置的表示，其中，生成所述耳戴式装置的部分的表示包括：通过所述机器学习模型将相应权重应用于沿所述轴的不同位置，其中：
每个所述不同位置的所述相应权重是所述位置处曲率量的函数；并且
与沿所述轴的具有较大相应权重的位置相关联的所述耳戴式装置的表示的部分比与沿所述轴的具有较低相应权重的位置相关联的所述耳戴式装置的表示的其他部分更接近地符合所述目标耳道的表示。
2.根据权利要求1所述的方法，还包括：
基于先前制造的耳戴式装置的所述表示和用于制造所述先前制造的耳戴式装置的相应耳部印模的表示来训练所述机器学习模型。
3.根据权利要求2所述的方法，还包括以下至少一项：
从生产设施数据库接收所述先前制造的耳戴式装置的所述表示；或者
从临床医生或零售店数据库接收所述先前制造的耳戴式装置的所述表示。
4.根据权利要求1所述的方法，还包括：
基于与所述先前制造的耳戴式装置相关联的相应用户的特征来训练所述机器学习模型，所述相应用户的特征包括以下一个或多个：年龄、性别、国籍、地理位置、耳朵类型、耳朵形状和耳朵大小。
5.根据权利要求1所述的方法，还包括：
基于用户对所述目标耳道的所述耳戴式装置的表示的修改来重新训练所述机器学习模型。
6.根据权利要求1所述的方法，其中，生成所述耳戴式装置的表示包括：
在训练所述机器学习模型之后，向所述机器学习模型输入以下一个或多个：
所述目标耳道的表示；
特定类型的耳戴式装置的指示；
所述耳戴式装置的每个内部部件的相应表示；和
一个或多个建模约束的指示。
7.根据权利要求6所述的方法，其中，所述目标耳道的表示包括所述目标耳道的三维表示或所述目标耳道的所述三维表示的傅立叶变换。
8.根据权利要求6所述的方法，其中，所述特定类型的耳戴式装置的所述指示表示所述耳戴式装置是包括耳内型助听器、耳道内助听器、半壳型助听器、完全耳道内助听器还是耳道内不可见型助听器。
9.根据权利要求6所述的方法，其中，所述耳戴式装置的每个内部部件的所述相应表示包括所述内部部件的三维表示或所述内部部件的所述三维表示的傅立叶变换。
10.根据权利要求6所述的方法，其中，一个或多个建模约束的指示包括以下一个或多个：
对两个或多个所述内部部件之间的相对定位的限制；
对一个或多个所述内部部件相对于所述耳戴式装置的接入面板的位置的限制；
对一个或多个所述内部部件相对于所述耳戴式装置的外壳的位置的限制；
对所述耳戴式装置的所述外壳的厚度的限制；和
所述耳戴式装置的通风口的特征。
11.根据权利要求1所述的方法，其中，将所述相应权重应用于沿所述轴的所述不同位置包括增加具有较大曲率量的不同位置的所述相应权重和减少具有较小曲率量的不同位置的所述相应权重。
12.一种包括指令的计算机可读存储介质，当所述指令被至少一个处理器执行时，使所述至少一个处理器
获得用户的目标耳道的表示，其中，所述目标耳道的表示部分地由从位于所述目标耳道的一端的耳鼓突出到所述目标耳道的相对端的轴来限定；并且
使用至少部分基于先前制造的耳戴式装置的表示而训练的机器学习模型，生成用于所述目标耳道的耳戴式装置的表示，其中，作为使所述至少一个处理器生成所述耳戴式装置的部分的表示的部分，所述指令的执行使所述至少一个处理器指令的执行进一步使所述至少一个处理器生成所述耳戴式装置的部分的表示包括：指令的执行使所述至少一个处理器通过所述机器学习模型将相应权重应用于沿所述轴的不同位置，其中：
每个所述不同位置的所述相应权重是所述位置处曲率量的函数；并且
与沿所述轴的具有较大相应权重的位置相关联的所述耳戴式装置的表示的部分比与沿所述轴的具有较低相应权重的位置相关联的所述耳戴式装置的表示的其他部分更接近地符合所述目标耳道的表示。
13.根据权利要求12所述的计算机可读存储介质，其中，所述指令的执行进一步使所述至少一个处理器：
基于先前制造的耳戴式装置的所述表示和用于制造所述先前制造的耳戴式装置的相应耳部印模的表示来训练所述机器学习模型。
14.根据权利要求13所述的计算机可读存储介质，其中，所述指令的执行进一步使所述至少一个处理器：
从生产设施数据库接收所述先前制造的耳戴式装置的所述表示；或者
从临床医生或零售店数据库接收所述先前制造的耳戴式装置的所述表示。
15.根据权利要求12所述的计算机可读存储介质，其中，所述指令的执行进一步使所述至少一个处理器：
基于与所述先前制造的耳戴式装置相关联的相应用户的特征来训练所述机器学习模型，所述相应用户的特征包括以下一个或多个：年龄、性别、国籍、地理位置、耳朵类型、耳朵形状和耳朵大小。
16.根据权利要求12所述的计算机可读存储介质，其中，所述指令的执行进一步使所述至少一个处理器：
基于用户对所述目标耳道的所述耳戴式装置的表示的修改来重新训练所述机器学习模型。
17.根据权利要求12所述的计算机可读存储介质，其中，作为使所述至少一个处理器生成所述耳戴式装置的表示的部分，所述指令的执行使所述至少一个处理器：
在训练所述机器学习模型之后，向所述机器学习模型输入以下一个或多个：
所述目标耳道的表示；
特定类型的耳戴式装置的指示；
所述耳戴式装置的每个内部部件的相应表示；和
一个或多个建模约束的指示。
18.根据权利要求17所述的计算机可读存储介质，其中，所述目标耳道的表示包括所述目标耳道的三维表示或所述目标耳道的所述三维表示的傅立叶变换。
19.根据权利要求17所述的计算机可读存储介质，其中，所述特定类型的耳戴式装置的指示表示所述耳戴式装置是包括耳内型助听器、耳道内助听器、半壳型助听器、完全耳道内助听器还是耳道内不可见型助听器。
20.根据权利要求17所述的计算机可读存储介质，其中，所述耳戴式装置的每个内部部件的所述相应表示包括所述内部部件的三维表示或所述内部部件的所述三维表示的傅立叶变换。
21.根据权利要求17所述的计算机可读存储介质，其中，一个或多个建模约束的指示包括以下一个或多个：
对两个或多个所述内部部件之间的相对定位的限制；
对一个或多个所述内部部件相对于所述耳戴式装置的接入面板的位置的限制；
对一个或多个所述内部部件相对于所述耳戴式装置的外壳的位置的限制；
对所述耳戴式装置的所述外壳的厚度的限制；和
所述耳戴式装置的通风口的特征。
22.根据权利要求12所述的计算机可读存储介质，其中，作为使所述至少一个处理器将所述相应权重应用于沿所述轴的所述不同位置的部分，所述指令的执行使所述至少一个处理器增加具有较大曲率量的不同位置的所述相应权重和减少具有较小曲率量的不同位置的所述相应权重。
23.一种计算装置，包括：
一个或多个数据存储装置，被配置为存储机器学习模型，至少部分地基于先前制造的耳戴式装置的表示来训练所述机器学习模型；以及
至少一个处理器，其中，所述至少一个处理器被配置为：
获得用户的目标耳道的表示，其中，所述目标耳道的表示部分地由从位于所述目标耳道的一端的耳鼓突出到所述目标耳道的相对端的轴来限定；并且
使用所述机器学习模型，生成用于所述目标耳道的耳戴式装置的表示，其中所述至少一个处理器被配置为使得，作为使所述至少一个处理器生成所述耳戴式装置的部分的表示的部分，所述至少一个处理器使用所述机器学习模型将相应权重应用于沿所述轴的不同位置，其中：
每个所述不同位置的所述相应权重是所述位置处曲率量的函数；并且
与沿所述轴的具有较大相应权重的位置相关联的所述耳戴式装置的表示的部分比与沿所述轴的具有较低相应权重的位置相关联的所述耳戴式装置的表示的其他部分更接近地符合所述目标耳道的表示。
24.一种包括指令的计算机可读存储介质，当所述指令被所述至少一个处理器执行时，使所述至少一个处理器执行根据权利要求1至11中任一项所述的方法。
25.一种包括至少一个处理器的计算装置，其中，所述至少一个处理器被配置为执行根据权利要求1至11中任一项所述的方法。
26.一种用于耳戴式装置外壳建模的系统，包括用于执行根据权利要求1至11中任一项所述的方法的装备。
CN201980075394.8A 2018-11-16 2019-11-15 耳戴式装置外壳建模 Active CN113039814B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211063557.0A CN115426610A (zh) 2018-11-16 2019-11-15 耳戴式装置外壳建模

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862768208P 2018-11-16 2018-11-16
US62/768,208 2018-11-16
PCT/US2019/061807 WO2020102722A1 (en) 2018-11-16 2019-11-15 Ear-wearable device shell modeling

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202211063557.0A Division CN115426610A (zh) 2018-11-16 2019-11-15 耳戴式装置外壳建模

Publications (2)

Publication Number Publication Date
CN113039814A CN113039814A (zh) 2021-06-25
CN113039814B true CN113039814B (zh) 2022-09-13

Family

ID=68841223

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980075394.8A Active CN113039814B (zh) 2018-11-16 2019-11-15 耳戴式装置外壳建模
CN202211063557.0A Pending CN115426610A (zh) 2018-11-16 2019-11-15 耳戴式装置外壳建模

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202211063557.0A Pending CN115426610A (zh) 2018-11-16 2019-11-15 耳戴式装置外壳建模

Country Status (4)

Country Link
US (3) US11481530B2 (zh)
EP (1) EP3881563A1 (zh)
CN (2) CN113039814B (zh)
WO (1) WO2020102722A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3554349A4 (en) 2016-12-19 2020-06-17 Lantos Technologies, Inc. MANUFACTURE OF INFLATABLE MEMBRANES
CN113039814B (zh) 2018-11-16 2022-09-13 斯达克实验室公司 耳戴式装置外壳建模
EP3879852A1 (en) * 2020-03-11 2021-09-15 Sonova AG Automatic ear impression classification
WO2023037504A1 (ja) * 2021-09-10 2023-03-16 日本電気株式会社 強化学習システム、強化学習装置及び強化学習方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106465025A (zh) * 2014-03-19 2017-02-22 伯斯有限公司 用于助听设备的众包推荐
US10032463B1 (en) * 2015-12-29 2018-07-24 Amazon Technologies, Inc. Speech processing with learned representation of user interaction history

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6674867B2 (en) * 1997-10-15 2004-01-06 Belltone Electronics Corporation Neurofuzzy based device for programmable hearing aids
US6473513B1 (en) * 1999-06-08 2002-10-29 Insonus Medical, Inc. Extended wear canal hearing device
US8032337B2 (en) 2001-03-02 2011-10-04 3Shape A/S Method for modeling customized earpieces
WO2002071794A1 (en) * 2001-03-02 2002-09-12 3Shape Aps Method for modelling customised earpieces
DE60309363T2 (de) 2003-04-03 2007-09-20 Phonak Ag Verfahren zur Herstellung eines am Körper zu tragenden elektronischen Gerätes, welches an die Form eines Körperteils eines Individuums angepasst ist
US7447556B2 (en) * 2006-02-03 2008-11-04 Siemens Audiologische Technik Gmbh System comprising an automated tool and appertaining method for hearing aid design
DK2027751T3 (da) * 2006-06-14 2013-10-28 Phonak Ag Bevarelse af lokaliseringsinformation fra modellering til samling
US7605812B2 (en) 2006-12-19 2009-10-20 Siemens Aktiengesellschaft Intelligent modeling method and system for earmold shell and hearing aid design
WO2013149645A1 (en) * 2012-04-02 2013-10-10 Phonak Ag Method for estimating the shape of an individual ear
US10970868B2 (en) * 2018-09-04 2021-04-06 Bose Corporation Computer-implemented tools and methods for determining optimal ear tip fitment
CN113039814B (zh) 2018-11-16 2022-09-13 斯达克实验室公司 耳戴式装置外壳建模
WO2020198023A1 (en) 2019-03-22 2020-10-01 Lantos Technologies, Inc. System and method of machine learning-based design and manufacture of ear-dwelling devices
US11622207B2 (en) 2019-12-31 2023-04-04 Starkey Laboratories, Inc. Generating a hearing assistance device shell
WO2021138603A1 (en) 2019-12-31 2021-07-08 Starkey Laboratories, Inc. Hearing assistance device model prediction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106465025A (zh) * 2014-03-19 2017-02-22 伯斯有限公司 用于助听设备的众包推荐
US10032463B1 (en) * 2015-12-29 2018-07-24 Amazon Technologies, Inc. Speech processing with learned representation of user interaction history

Also Published As

Publication number Publication date
US20220414292A1 (en) 2022-12-29
CN113039814A (zh) 2021-06-25
CN115426610A (zh) 2022-12-02
US11481530B2 (en) 2022-10-25
US20200159878A1 (en) 2020-05-21
EP3881563A1 (en) 2021-09-22
WO2020102722A1 (en) 2020-05-22
US20240054263A1 (en) 2024-02-15
US11893324B2 (en) 2024-02-06

Similar Documents

Publication Publication Date Title
CN113039814B (zh) 耳戴式装置外壳建模
KR100347622B1 (ko) 최적화조정방법및최적화조정장치
CN110462645A (zh) 具有更新能力的传感器数据处理器
JP6760318B2 (ja) 顔画像識別システム、識別器生成装置、識別装置、画像識別システム、及び識別システム
US20200302099A1 (en) System and method of machine learning-based design and manufacture of ear-dwelling devices
CN105654952A (zh) 用于输出语音的电子设备、服务器和方法
US20230027978A1 (en) Machine-learned models in support of surgical procedures
US8755533B2 (en) Automatic performance optimization for perceptual devices
Rodriguez et al. Deep learning audio spectrograms processing to the early COVID-19 detection
KR102274581B1 (ko) 개인화된 hrtf 생성 방법
EP4085656A1 (en) Hearing assistance device model prediction
CN113674856A (zh) 基于人工智能的医学数据处理方法、装置、设备及介质
WO2019022052A1 (ja) 情報処理装置、システムおよび情報処理方法
TWM586599U (zh) 人工智慧雲端膚質與皮膚病灶辨識系統
US20220222552A1 (en) Data-creation assistance apparatus and data-creation assistance method
CN113762585B (zh) 数据的处理方法、账号类型的识别方法及装置
US20210334439A1 (en) Device and method for earpiece design
JP7272425B2 (ja) フィッティング支援装置、フィッティング支援方法、及びプログラム
WO2020217494A1 (ja) フィッティング支援装置、フィッティング支援方法、及びコンピュータ読み取り可能な記録媒体
CN114358102A (zh) 数据分类方法、装置、设备及存储介质
US20230351064A1 (en) Ear-wearable device modeling
EP4354902A1 (en) Facilitating hearing device fitting
US11893464B1 (en) Apparatus and methods for training an educational machine-learning model
KR102645143B1 (ko) 사용자 상호작용 기반 반응형 사용자 메뉴얼 콘텐츠의 생성 및 제공 방법, 장치 및 시스템
KR20220155027A (ko) 인공지능 모델을 생성하는 전자 장치 및 이를 이용한 인공지능 모델을 생성하는 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant