CN112543283A - 用于辅助听力设备佩戴者的应用程序 - Google Patents

用于辅助听力设备佩戴者的应用程序 Download PDF

Info

Publication number
CN112543283A
CN112543283A CN202010984375.1A CN202010984375A CN112543283A CN 112543283 A CN112543283 A CN 112543283A CN 202010984375 A CN202010984375 A CN 202010984375A CN 112543283 A CN112543283 A CN 112543283A
Authority
CN
China
Prior art keywords
image
application
wearer
ear
hearing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010984375.1A
Other languages
English (en)
Inventor
G·B·奥尔森
杨启
J·T·施伦斯克
V·A·马泰埃维特斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GN Hearing AS
Original Assignee
GN Hearing AS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GN Hearing AS filed Critical GN Hearing AS
Publication of CN112543283A publication Critical patent/CN112543283A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/30Monitoring or testing of hearing aids, e.g. functioning, settings, battery power
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/70Adaptation of deaf aid to hearing loss, e.g. initial electronic fitting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/55Communication between hearing aids and external devices via a network for data exchange
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/17Hearing device specific tools used for storing or handling hearing devices or parts thereof, e.g. placement in the ear, replacement of cerumen barriers, repair, cleaning hearing devices

Abstract

提供了用于辅助听力设备佩戴者的应用程序。公开了一种由具有摄像头的电子设备执行的应用程序,用于辅助听力设备的佩戴者将听力设备正确地布置在耳朵内和/或耳朵处。应用程序配置为接收用于启动应用程序的第一输入,以辅助佩戴者将听力设备正确地布置在耳朵内和/或耳朵处;提供对与电子设备的摄像头关联的摄像头应用程序的访问;启用摄像头应用程序的取景器以提供第一图像的预览;使用摄像头拍摄示出佩戴者的耳朵并且听力设备布置在耳朵内和/或耳朵处的第一图像;启用第一图像和参考图像之间的比较,即第一图像中布置在耳朵内和/或耳朵处的听力设备的第一、当前或实际位置与参考图像中布置在耳朵内和/或耳朵处的听力设备的参考位置的比较。

Description

用于辅助听力设备佩戴者的应用程序
技术领域
本发明涉及一种应用程序,用于辅助听力设备的佩戴者将听力设备正确地布置在佩戴者的耳朵内和/或耳朵处。该应用程序将由具有摄像头的电子设备执行。
背景技术
患有各种程度的听力损失或听力受损的人,可以佩戴听力设备以改善听力。听力设备的设置是灵活、全面且复杂的。因此,好的设置是高度个性化的,并且可能难以实现。这些设置是在验配期间确定的,在验配过程中,听力保健专业人员(HCP)根据听力设备佩戴者的喜好来调节听力设备。
好的设置是期望的,因为未达最佳设置可能会导致听力设备性能下降,进而给听力设备佩戴者带来不好的体验。
听力设备在听力设备佩戴者的耳朵内和/或耳朵处的布置将影响听力设备的性能。
因此,为了使听力设备具有最佳的性能,应将听力设备正确地布置在听力设备佩戴者的耳朵内和/或耳朵处。这对听力设备佩戴者提出了挑战,因为在没有对佩戴者提供任何帮助的情况下,佩戴者难以在自己的耳朵内和或耳朵处实现听力设备的正确布置。对于没有正确布置听力设备经验的新用户尤其如此。问题是某些听力设备佩戴者会体验到听力设备的不良性能,其中不良性能不是因为听力设备部件本身的性能如此,而是由于听力设备在佩戴者耳朵内和/或耳朵处的不正确布置造成的。
需要向听力设备的佩戴者提供辅助,以将听力设备正确地布置在佩戴者的耳朵内和/或耳朵处。
发明内容
公开了一种由具有摄像头的电子设备执行的应用程序。该应用程序用于辅助听力设备的佩戴者将听力设备正确地布置在佩戴者的耳朵内和/或耳朵处。该应用程序配置为接收第一输入,该第一输入用于启动该应用程序以辅助佩戴者将听力设备正确地布置在佩戴者的耳朵内和/或耳朵处。该应用程序配置为提供对与电子设备的摄像头关联的摄像头应用程序的访问。该应用程序配置为启用摄像头应用程序的取景器(viewfinder)以提供第一图像的预览。如本说明书中所使用的,图像的“预览”是指尚未被拍摄的图像,例如,尚未被拍摄并转换为静态图像的实时图像。该应用程序配置为使用摄像头拍摄第一图像,该第一图像至少示出佩戴者的耳朵并且听力设备布置在耳朵内和/或耳朵处。该应用程序配置为启用第一图像和参考图像之间的比较,并且可选地提供正确布置的推荐。比较是第一图像中布置在佩戴者的耳朵内和/或耳朵处的听力设备的第一、当前或实际位置与参考图像中布置在佩戴者的耳朵内和/或耳朵处的听力设备的参考位置的比较。
如本说明书中所使用的,术语“图像”可以指显示的图像和/或未显示的电子形式的图像。
如所公开的应用程序提供的优点在于,它为听力设备的佩戴者提供了辅助,以将听力设备正确地布置在佩戴者的耳朵内和/或耳朵处。有利的是,该应用程序可以防止听力设备在佩戴者的耳朵内和/或耳朵处的错误的、不令人满意的、不良的或不正确的布置,其在没有视觉参考的情况下很难检测到。
听力设备在佩戴者的耳朵内和/或在其耳朵处的正确布置是根据或相对于参考位置(例如参考布置)的。因此,参考图像示出了布置在佩戴者耳朵内和/或耳朵处的听力设备的参考位置。参考位置可以由例如听力保健专业人员(HCP),例如医生,例如听力病专家或其他专家来定义或确定。参考位置可以在初始验配期间定义或确定,或者参考位置可以在与HCP的后续期间定义或确定。参考位置可以在任何时间定义或确定。参考位置可以由任何类型的工具或装置自动定义或确定。参考位置可以由HCP手动定义或确定,而无需使用任何类型的工具或装置,或者可以由HCP使用工具或装置定义或确定。参考位置可以是相对于听力设备性能而言,佩戴者的耳朵内和/或耳朵处的听力设备的最佳位置(例如布置)的位置。因此,参考位置可以是听力设备在佩戴者的耳朵内和/或耳朵处的最佳、理想或典型位置或布置,以使听力设备在操作时(例如在使用时)提供最佳可能的性能。参考位置可以是布置在佩戴者的耳朵内和/或耳朵处的听力设备的最佳验配的位置。参考位置可以是HCP已经执行、识别或调节了听力设备的设置的位置。参考位置可以是HCP在不执行任何设置或测试的情况下定义或确定的位置。参考位置可以由除HCP之外的其他人(例如,听力设备佩戴者本人,或为听力设备佩戴者提供帮助的家庭成员或朋友)定义或确定。
所公开的应用程序的优点在于,通过向听力设备的佩戴者提供辅助以将听力设备正确地布置在佩戴者的耳朵内和/或耳朵处,听力设备可以发挥其最大能力,例如听力设备可以提供最佳的性能,例如最佳的声音质量、降噪、遮挡管理、麦克风指向性等。优点在于,该应用程序可以使得听力设备佩戴者改变听力设备在耳朵内和/或耳朵处的布置,直至已经实现满意的效果或性能。优点在于,该应用程序通过使得听力设备布置为例如符合HCP意图的佩戴方式,例如布置在HCP执行或识别听力设备的设置时听力设备所布置的相同位置或布置,使听力设备的佩戴者获得听力设备的最佳性能。
听力设备的正确布置可以在由HCP定义或确定的精确参考位置(例如参考布置),或者可以接近由HCP定义或确定的精确参考位置或布置,例如非常接近精确参考位置或布置,例如在参考位置或布置的不确定性度量的阈值之内。优点在于,尽管佩戴者可能无法实现或获得在精确参考位置的听力设备的正确布置,因此可能无法实现或获得听力设备的最佳性能,但是佩戴者仍可能会体验到听力设备的改善或可接受的性能。优点在于,与在没有应用程序的辅助的情况下将听力设备布置在佩戴者的耳朵内和/或耳朵处的情况相比,该应用程序至少可以提供听力设备的改善的性能。
优点在于,听力设备的佩戴者可以连续几次使用该应用程序,因此佩戴者可以使用该应用程序来重复用于布置听力设备的应用程序的过程、程序或流程。优点在于,听力设备的佩戴者可以以递增的步骤来调节听力设备的布置,其中,相对于由HCP定义或确定的听力设备的参考位置,每个步骤可以改善听力设备在耳朵内和/或耳朵处的布置。
一些听力设备佩戴者可能需要对两只耳朵(例如左耳和右耳)使用听力设备。另一个优点在于,可以辅助佩戴者为给定的耳朵使用正确的听力设备,例如辅助将用于右耳的听力设备布置在右耳内和/或右耳处,以及辅助将用于左耳的听力设备布置在左耳内和/或左耳处。
优点在于,听力设备佩戴者从应用程序获得辅助,以将听力设备正确地布置在佩戴者的耳朵内和/或耳朵处,而无需咨询HCP。因此,优点在于听力设备佩戴者可以在任何时间任何地方使用该应用程序,并且因此可以实现或获得听力设备的良好或至少改善的性能。
除了听力设备佩戴者之外的其他人可以辅助听力设备佩戴者使用该应用程序。除了听力设备佩戴者之外的其他人可以使用该应用程序的一个或多个功能。因此,应用程序的用户可以是听力设备佩戴者、HCP或其他人,例如家庭成员或朋友。
该应用程序将由具有摄像头的电子设备执行。该应用程序或app或应用或软件应用程序可以是设计为由电子设备执行的计算机程序或计算机软件。该应用程序可以设计或配置成提供用于辅助听力设备的佩戴者将听力设备正确地布置在佩戴者的耳朵内和/或耳朵处的功能。该应用程序可以具有适用于不同平台或操作系统的版本,例如Android(Google)或iOS(Apple)。可以通过各种方式将应用程序安装在电子设备上。例如,可以从由操作系统的所有方运营的应用程序发布平台(诸如App Store(iOS/Apple)或Google PlayStore(Android/Google))将应用程序下载到电子设备上。该应用程序可以是独立应用程序,其唯一目的是辅助听力设备的佩戴者正确地将听力设备布置在佩戴者的耳朵内和/或耳朵处。或者,该应用程序可以提供其他功能,例如调节听力参数或模式,这些功能可能与听力设备的声音或音频有关。应用程序的用户可以按照如下所述完成功能的整个流程,或者用户可以选择仅使用应用程序的一种功能。
该应用程序配置为由具有摄像头的电子设备(诸如具有内置摄像头的电子设备)执行。电子设备可以是听力设备佩戴者的智能手机、平板电脑或PC。电子设备可以通过有线或通过无线连接与听力设备通信,其中无线连接例如为蓝牙(BT)、Wi-Fi、WLAN或本领域技术人员已知的用于短距离交换数据的任何其他无线通信技术标准。电子设备可以具有屏幕,例如触摸屏、触敏屏、显示屏等。
摄像头可以是电子设备中提供的任何类型的摄像头,例如电子设备的任何类型的内置或附加外围摄像头。摄像头可以包括一个或多个摄像头,例如前置或面向前方的摄像头和/或后置或面向后方的摄像头。摄像头可以是数字摄像头、红绿蓝(RGB)摄像头、红外(IR)摄像头、深度摄像头,或者该摄像头可以是提供任何类型的3D扫描或传感技术的摄像头。摄像头可包括一个或多个传感器和/或检测器,例如互补金属氧化物半导体(CMOS)图像传感器,例如电荷耦合器件(CCD)图像传感器。摄像头可包括透镜,例如双高斯透镜,例如库克三重透镜,例如模制塑料非球面透镜元件。摄像头可以提供任何类型的效果,例如不同的光学效果,例如畸变,例如渐晕和/或例如各种光学像差校正。摄像头可以具有一个或多个变焦功能,例如数字变焦功能和/或光学变焦功能。
该应用程序配置为接收第一输入,该第一输入用于启动该应用程序以向佩戴者提供辅助,以将听力设备正确地布置在佩戴者的耳朵内和/或耳朵处。第一输入可以是用户输入,例如用户向应用程序提供第一输入。用户可以经由诸如触敏表面或键盘之类的输入设备来提供第一输入。第一输入可以是触敏表面上的接触或手势,例如触敏表面上的触笔和/或手指接触和/或手势。例如,第一输入可以是触敏表面上的轻击或滑动接触和/或手势。第一输入可以是语音输入,例如人类语言语音输入,例如声音或口头输入。
该应用程序配置为提供对与电子设备的摄像头关联的摄像头应用程序的访问。与摄像头关联的摄像头应用程序可以预先安装在电子设备上,或者可以随时安装。
该应用程序配置为启用摄像头应用程序的取景器以提供第一图像的预览。摄像头应用程序的取景器可以提供在电子设备的屏幕上,例如在触摸屏上,例如在显示屏上。摄像头应用程序的取景器提供了第一图像的预览。第一图像的预览可以提供在拍摄诸如第一图像的图像之前预览组帧(framing)和其他曝光的手段。因此,可以通过连续且直接地将由摄像头的镜头形成的图像投影到摄像头的图像传感器上来生成预览,该图像传感器又向电子设备的屏幕馈送图像(例如第一图像)的实时预览图像或实时图像馈送。因此,可以在拍摄第一图像之前将第一图像的预览(例如第一图像的实时预览图像或实时图像馈送)提供给用户,例如以示出或显示在拍摄第一图像之前第一图像看上去的情况。
听力设备可以是助听器或耳蜗装置。在本申请中,术语“助听器”应理解为通常戴在用户耳朵内和/或耳朵后的电子设备,包括用于提供麦克风信号的麦克风和用于放大所述麦克风信号以补偿用户听力障碍的信号处理器。
听力设备可以包括处理单元,该处理单元配置为接收输入信号并提供经处理的输出信号以补偿佩戴者的听力损失,例如,听力损失可能处于特定频率范围内。听力设备可以是任何听力设备,例如补偿听力设备的佩戴者的听力损失的任何听力设备,或例如向佩戴者提供声音的任何听力设备。本领域技术人员充分了解不同类型的听力设备以及用于将听力设备布置在听力设备佩戴者的耳朵内和/或耳朵处的不同选择。
例如,听力设备可以是耳后(BTE)助听器,其中耳后模块包括作为组件提供并安装在外壳中的听力设备部件,该外壳配置为在操作位置佩戴在佩戴者的耳朵后面。通常,声管从听力设备外壳延伸到佩戴者的耳道。
例如,听力设备可以是耳内接收器式助听器,其中在使用期间接收器位于在佩戴者的耳朵内,例如耳道内,例如作为耳内模块的一部分,而其他听力设备部件(例如处理器、无线通信单元、电池等)作为耳后模块提供。通常,有线管连接耳内模块和耳后模块。应当设想的是,包括管的管模块可以包括另外的听力设备部件和连接器。
例如,听力设备可以是耳内或完全耳道内式助听器,其中听力设备设置在佩戴者的耳朵内。因此,耳内模块包括听力设备部件,包括处理器、无线通信单元、电池、麦克风和扬声器等。耳内模块可以具有延伸到耳道内的一个或多个部分。耳内模块因此可以配置为定位在耳内和耳道内。
例如,听力设备可以是非处方(OTC)助听器。OTC助听器可以是上述任何一种助听器,但是,与传统助听器不同的是,OTC助听器不一定由HCP验配,而是可以由用户自己验配(通常是通过应用程序或计算机执行的程序)。通常,但特别是对于OTC助听器,参考图像可以是显示正确布置在人头模型或复制品上的相关模型的听力设备的一般图像、照片或图画。
例如,听力设备可以是耳机,例如耳塞式耳机、入耳式耳机、贴耳式耳机或头戴式耳机。
该应用程序配置为使用摄像头拍摄第一图像。因此,该应用程序可以配置为利用摄像头应用程序拍摄第一图像。第一图像至少示出了佩戴者的耳朵,并且听力设备布置在佩戴者的耳朵内和/或耳朵处。第一图像示出了布置在佩戴者的耳朵内和/或耳朵处的听力设备的第一位置,例如当前位置或实际位置。因此,第一图像可以示出听力设备当前(例如此时)如何布置在耳朵内和/或耳朵处。如果未在摄像头拍摄的图像中显示出来,则应用程序可以提供指示以调节摄像头的放置或位置和/或佩戴者头/耳的放置或位置,从而调节摄像头和佩戴者的头/耳之间的相对距离或角度,以便可以在摄像头应用程序的取景器中看到布置在耳朵内和/或耳朵处的听力设备的特征,从而可以将这些特征拍摄在第一图像中。可以通过诸如手动快门控制之类的来自用户的输入来拍摄第一图像。可以通过定时或自动快门控制来拍摄第一图像。可以使用识别何时拍摄第一图像(例如当耳朵和布置在耳朵内和/或耳朵处的听力设备对于摄像头或摄像头应用程序拍摄第一图像而言处于正确或恰当的位置时)的任何类型的图像识别软件来拍摄第一图像。
该应用程序配置为启用第一图像和参考图像之间的比较,其中所述比较是第一图像中布置在佩戴者的耳朵内和/或耳朵处的听力设备的第一位置与参考图像中布置在佩戴者的耳朵内和/或耳朵处的听力设备的参考位置的比较。如上所述,参考位置可以由例如HCP定义或确定。第一图像和参考图像之间的比较可以是并排比较。第一图像和参考图像之间的比较可以是第一图像和参考图像彼此重叠的比较,例如使得第一图像在参考图像之上透明或半透明地显示,反之亦然。该应用程序可以确定或计算第一图像与参考图像比较、符合或匹配的程度,例如计算第一图像与参考图像之间的相关度、关联度、符合度或匹配度。因此,应用程序可以将第一图像与参考图像进行比较,并确定第一图像是否与参考图像很好地符合或匹配,和/或确定第一图像与参考图像的对应程度。例如,应用程序可以确定第一图像中的听力设备是否与参考图像中的听力设备布置在耳朵内和/或耳朵处的相同位置,例如听力设备的特定部分(例如外壳、管、耳内接收器等)是否在第一图像和参考图像中布置在耳朵内和/或耳朵处的相同位置。
在一些实施例中,该应用程序配置为在取景器中提供第一视觉导引,该第一视觉导引用于在拍摄第一图像时辅助佩戴者获得他/她的头部和/或耳朵相对于摄像头的第一预定位置。第一视觉导引可以向听力设备佩戴者提供视觉指示或引导,以减小或增大佩戴者的头部、面部或耳朵与摄像头之间的距离。第一视觉导引可以向听力设备佩戴者提供视觉指示或引导以转动他/她的头。第一视觉导引可以向听力设备佩戴者提供视觉指示或引导,以调节他/她的头部位置,例如转动头部,旋转头部,沿侧向方向移动头部,沿横向方向移动头部和/或相对于摄像头在竖直方向上移动头部。佩戴者的头部和/或耳朵的第一预定位置可以是佩戴者的头部和/或耳朵的正确位置,例如最优或最佳位置,使得头部和/或耳朵对于摄像头拍摄第一图像而言处于正确的位置或对准状况。第一预定位置可以是佩戴者的头部和/或耳朵聚焦的位置。第一预定位置可以是佩戴者的头部和/或耳朵可以在取景器中在第一图像的预览上居中或近似居中的位置。
在一些实施例中,在取景器中第一视觉导引覆盖在第一图像的预览上。第一视觉导引可以是取景器中第一图像的预览上的透明覆盖。
在一些实施例中,第一视觉导引包括人头轮廓的形状。第一视觉导引可以是灰度人头轮廓。第一视觉导引可以是人头的剪影,例如,还有脖子和肩膀的剪影。可以使用虚线或点线示出第一视觉导引。第一视觉导引可以包括大致描绘人头轮廓的圆形或椭圆形。
在一些实施例中,第一图像和参考图像之间的比较是使用图像识别功能、方法或软件自动执行的。图像识别功能、方法或软件(例如计算机视觉)可以使用用于比较的机器学习、神经网络或人工智能。比较可以在本地执行,例如在应用程序内或在电子设备上执行。比较可以在服务器或云中远程执行。附加地或替代地,比较可以由人来执行,例如由听力设备佩戴者进行的视觉比较。
在一些实施例中,图像识别功能、方法或软件利用在第一图像和/或参考图像上识别、确定或检测的图像界标(landmark)或特征。图像界标或特征可以是界标或特征,例如点、距离、角度、边缘、逐像素和/或梯度。图像界标或特征可以是感兴趣图像的位置或区域,例如由HCP突出显示以注意的位置或区域,例如在插入耳中或插到耳处之前,接收器管越过耳廓的顶部和/或接收器本身的方向。图像界标或特征可以由HCP识别,或者图像界标或特征可以由图像识别功能、方法或软件(例如计算机视觉)识别。图像识别功能、方法或软件可以使用用于识别图像界标或特征的机器学习、神经网络和/或人工智能。优点在于,在第一图像和参考图像之间的比较中使用图像界标或特征,因为这可以减少用于比较的计算时间和/或计算能力。
在一些实施例中,该应用程序配置为向佩戴者提供建议或指示,以基于第一图像和参考图像之间的比较辅助佩戴者调节布置在耳朵内和/或耳朵处的听力设备的位置。因此,如果第一图像和参考图像之间的比较示出、确定或识别出听力设备并未正确地布置在耳朵内和/或耳朵处,例如不正确地布置,则该应用程序可以提供适当的建议或指示,以引导佩戴者对听力设备进行必要的调节,以能够获得或实现正确的布置。因此,例如,如果比较示出与参考图像中的参考位置相比,放置在耳朵上的听力设备放置为过于倾向头部或面部的前侧,则建议或指示可倾向于使得听力设备布置为在耳朵上更倾向头部的后侧。例如,如果比较示出放置在耳道内或耳道处的听力设备与参考图像中的参考位置相比产生了旋转,则建议或指示可倾向于顺时针或逆时针旋转听力设备,例如旋转一定程度。例如,如果比较示出配置为放置在右耳内和/或右耳处的听力设备放置在左耳内和/或左耳处,则建议或指示可倾向于更换听力设备,使得用于右耳的听力设备布置在右耳内和/或右耳处。建议或指示可以包括关于听力设备是否正确地布置在耳朵内和/或耳朵处的信息,例如指示听力设备正确地或不正确地布置在听力设备佩戴者的耳朵内和/或耳朵处的指示。可以使用人工智能或机器学习功能、方法、软件或算法来确定用于辅助佩戴者调节布置在耳朵内和/或耳朵处的听力设备的位置的建议或指示,例如适当的建议或指示。
在一些实施例中,该应用程序配置为接收用于启动参考图像的拍摄的第二输入,其中参考图像示出布置在佩戴者的耳朵内和/或耳朵处的听力设备的参考位置。该应用程序配置为提供对与电子设备的摄像头关联的摄像头应用程序的访问。该应用程序配置为启用摄像头应用程序的取景器以提供参考图像的预览。该应用程序配置为使用摄像头拍摄参考图像。
第二输入可以是用户输入,例如用户向应用程序提供第二输入。用户可以经由诸如触敏表面或键盘之类的输入设备来提供第二输入。第二输入可以是触敏表面上的接触或手势,例如触敏表面上的触笔和/或手指接触和/或手势。例如,第二输入可以是触敏表面上的轻击或滑动接触和/或手势。第二输入可以是语音输入,例如人类语言语音输入,例如声音或口头输入。
可以在拍摄第一图像之前拍摄参考图像。参考图像可以由HCP、听力设备佩戴者本人或其他人(例如为听力设备佩戴者提供帮助的家庭成员或朋友)拍摄。在已经确定或定义了布置在佩戴者的耳朵内和/或耳朵处的听力设备的参考位置之后,可以立即拍摄参考图像。在确定或定义了布置在佩戴者的耳朵内和/或耳朵处的听力设备的参考位置之后的一段时间内,可以拍摄参考图像。可以在拍摄参考图像之前提供参考图像的预览,例如参考图像的实时预览图像或实时图像馈送,例如以示出或显示在拍摄参考图像之前参考图像看上去的情况。
可以通过来自HCP、听力设备佩戴者本人或其他人的输入(例如手动快门控制)来拍摄参考图像。可以通过定时或自动快门控制来拍摄参考图像。可以使用识别或确定何时拍摄参考图像(例如当耳朵和布置在耳朵内和/或耳朵处的听力设备对于摄像头或摄像头应用程序拍摄参考图像而言处于正确或恰当的位置时)的任何类型的图像识别软件来拍摄参考图像。
在一些实施例中,参考图像是从外部源提供给应用程序的。可以使用单独的应用程序、电子设备和/或摄像头来拍摄参考图像。可以经由诸如电子邮件或短信服务SMS之类的有线或无线连接从诸如服务器、云服务之类的外部源向应用程序提供参考图像。
在一些实施例中,该应用程序配置为在取景器中提供第二视觉导引,该第二视觉导引用于在拍摄参考图像时辅助用户获得佩戴者的头部和/或耳朵相对于摄像头的第二预定位置。
第二视觉导引可以向用户提供视觉指示或引导,以改变佩戴者的头部和/或耳朵相对于摄像头的放置或位置或对准。例如,第二视觉导引可以向用户提供视觉指示或引导,以减少或增大佩戴者的头部、面部或耳朵与摄像头之间的距离,或改变摄像头相对于佩戴者的头部和/或耳朵的位置,例如沿侧向方向移动摄像头,沿横向方向移动摄像头和/或相对于佩戴者的头部和/或耳朵沿摄像头方向移动头部。如果用户是听力设备佩戴者,则第二视觉导引可以向听力设备佩戴者提供视觉指示或引导,以调节其头部位置,例如转动头部,旋转头部,沿侧向方向移动头部,沿横向方向移动头部和/或相对于摄像头在竖直方向上移动头部。佩戴者的头部和/或耳朵的第二预定位置可以是佩戴者的头部和/或耳朵的正确、最优或最佳位置,使得头部和/或耳朵对于摄像头拍摄参考图像而言处于正确、最优或最佳的位置或对准状况。第二预定位置可以是佩戴者的头部和/或耳朵聚焦的位置。第二预定位置可以是佩戴者的头部和/或耳朵可以在取景器中在参考图像的预览上居中或近似居中的位置。佩戴者的头部和/或耳朵的第二预定位置可以与佩戴者的头部和/或耳朵的第一预定位置相同。
在一些实施例中,在取景器中第二视觉导引覆盖在参考图像的预览上。第二视觉导引可以是取景器中参考图像的预览上的透明覆盖。
在一些实施例中,第二视觉导引包括人耳轮廓的形状。第二视觉导引可以是灰度耳朵轮廓。第二视觉导引可以是人耳的剪影。第二视觉导引可以是人头的剪影,例如,还有脖子和肩膀以及耳朵的剪影。可以使用虚线或点线示出第二视觉导引。第二视觉导引可以包括大致描绘人耳轮廓的圆形或椭圆形。
在一些实施例中,该应用程序配置为跟踪佩戴者的头部和/或耳朵的位置和/或移动。该应用程序可以配置为通过使用摄像头来跟踪头部和/或耳朵,以在图像帧中随时间定位头部和/或耳朵,使用算法来分析图像帧,并输出图像帧之间头部和/或耳朵的移动。可以使用图像识别功能、方法或软件(例如计算机视觉)来执行对头部和/或耳朵的跟踪。可以使用机器学习、神经网络或人工智能来执行对头部和/或耳朵的跟踪。可以使用深度感测或扫描技术来执行对头部和/或耳朵的跟踪,例如使用飞行时间传感器来在图像之外创建场景的3D图。
在一些实施例中,该应用程序配置为提供指示和/或反馈,以辅助用户和/或听力设备佩戴者使用该应用程序。
指示和/或反馈可以是关于如何使用应用程序的指示,在使用应用程序时引导用户(例如听力设备佩戴者)的指示,在使用应用程序时引导用户(例如听力设备佩戴者)的反馈,例如指示正确或不正确的输入、移动或手势。可以提供指示和/或反馈作为对跟踪佩戴者的头部和/或耳朵的位置和/或移动的响应。可以提供指示和/或反馈,以辅助听力设备佩戴者实现或获得头部和/或耳朵相对于摄像头的正确位置,例如,针对佩戴者的在摄像头前转动头部的指示,增大或减小到摄像头的距离的指示,以正确或错误的方式转动头部和/或耳朵时的反馈。可以提供指示和/或反馈以获得第一图像和/或参考图像。
在一些实施例中,建议、指示和/或反馈包括音频、视觉和/或触觉建议、指示和/或反馈。因此,建议、指示和/或反馈可以是音频建议、指示和/或反馈,例如经由电子设备中的扬声器输出的口语或声音。建议、指示和/或反馈可以是视觉建议、指示和/或反馈,例如在电子设备的屏幕或显示器上以黑白和/或彩色显示的文本或符号,或电子设备的屏幕或显示屏的光强度的变化。建议、指示和/或反馈可以是触觉建议、指示和/或反馈,例如由触觉或触摸输出生成器提供的触觉输出,例如电子设备的振动。建议、指示和/或反馈可以是上述类型的建议、指示和/或反馈的任何组合。
在一些实施例中,用户是听力设备佩戴者和/或听力保健专业人员,听觉病专家或其他人。可以预见,除了听力设备佩戴者之外的人(最好是听力保健专业人员(HCP))例如在诊所里拍摄参考图像。但是,由于某些原因,听力设备佩戴者可能无法拜访HCP来拍摄参考图像。因此,用户可以是听力设备佩戴者本人,或者例如是听力设备佩戴者的家庭成员或朋友。用户可以是听力设备佩戴者的优点在于,听力设备佩戴者可以自己拍摄参考图像,从而使应用程序可以为佩戴者提供辅助,而这样的辅助对于佩戴者来说是很容易获得的,而无需其他人的辅助。例如,当听力设备佩戴者已经从HCP接收到该听力设备正确地布置在佩戴者的耳朵内和/或耳朵处的确认,但是HCP没有机会拍摄参考图像时,可能就是这种情况。用户可以是另一个人的优点在于,不能自己拍摄参考图像的听力设备佩戴者可以从例如朋友或家庭成员那里获得帮助,使得佩戴者无需拜访HCP寻求帮助。例如,配偶可以确认听力设备正确地布置在佩戴者的耳朵内和/或耳朵处并且配偶还辅助拍摄参考图像,可能就是这种情况。优点在于,用户可以是HCP,从而可以在执行听力设备设置后立即由HCP拍摄参考图像,从而使佩戴者可以使用该应用程序根据由HCP定义或确定的最佳听力设备设置所定义的参考位置来实现听力设备的正确布置。
本发明涉及包括上文和下文描述的应用程序的不同方面,以及相应的应用程序、系统、方法、设备、网络、套件、用途和/或产品装置,每一者都产生结合第一提及方面描述的一个或多个益处和优点,并且每一者都具有与结合第一提及方面描述的实施例和/或在所附权利要求中公开的实施例相对应的一个或多个实施例。
一种数字辅助装置,用于辅助听力设备的佩戴者相对于佩戴者的耳朵正确地布置听力设备,包括:控制器,配置为使得能够显示第一图像的预览,其中,第一图像由摄像头生成;其中,控制器还配置为启用第一图像的拍摄,所述第一图像至少示出佩戴者的耳朵并且听力设备布置在佩戴者的耳朵内和/或耳朵处;并且其中所述数字辅助装置还包括比较器,配置为在(1)显示带有听力设备的佩戴者的至少耳朵的第一图像与(2)参考图像之间进行比较。
可选地,比较器配置为将第一图像中听力设备相对于佩戴者耳朵的第一位置与参考图像中听力设备相对于佩戴者耳朵的参考位置进行比较。
可选地,数字辅助装置配置为在显示器中提供视觉导引,视觉导引配置为在拍摄第一图像时辅助佩戴者在头部和/或耳朵与摄像头之间实现期望的相对定位。
可选地,数字辅助配置为将第一视觉导引覆盖在第一图像的预览上。
可选地,第一视觉导引包括人头轮廓的形状。
可选地,比较器配置为使用图像识别功能来执行第一图像和参考图像之间的比较。
可选地,图像识别功能配置为利用第一图像和/或参考图像中的图像界标。
可选地,数字辅助装置配置为向佩戴者提供建议和/或指示,以基于第一图像和参考图像之间的比较来辅助佩戴者调节听力设备相对于耳朵的位置。
可选地,数字辅助装置配置为从外部源接收参考图像。
可选地,控制器配置为响应于指示期望获得第一图像的输入,使得能够显示第一图像的预览,并且使得能够拍摄第一图像。
可选地,控制器还配置为使得能够显示参考图像的预览,其中参考图像由摄像头生成;并且其中所述控制器还配置为使得能够拍摄参考图像。
可选地,控制器配置为响应于指示期望获得参考图像的输入,使得能够显示参考图像,并且使得能够拍摄参考图像。
可选地,数字辅助装置配置为在显示器中提供视觉导引,该视觉导引配置为当拍摄参考图像时辅助用户或佩戴者实现头部和/或耳朵与摄像头之间的期望相对定位。
可选地,用户是听力保健专业人员、听力病专家或其他人。
可选地,数字辅助装置配置为将视觉导引覆盖在参考图像的预览上。
可选地,视觉导引包括人耳轮廓的形状。
可选地,数字辅助装置还包括跟踪器,跟踪器配置为跟踪佩戴者的头部和/或耳朵的位置和/或移动。
可选地,数字辅助装置还包括反馈生成器,反馈生成器配置为提供指示和/或反馈以辅助用户和/或佩戴者使用数字辅助装置。
可选地,建议和/或反馈包括音频建议和/或音频反馈、视觉建议和/或视觉反馈和/或触觉建议和/或触觉反馈。
可选地,数字辅助装置在电子设备中实现。
可选地,电子设备包括蜂窝电话。
可选地,数字辅助装置包括电子设备中的应用程序。
电子设备包括数字辅助装置和摄像头。
非暂时性处理器可读介质包括用于实现数字辅助装置的一组指令。
其他特征、优点和实施例将在详细描述中描述。
附图说明
通过以下参考附图对示例性实施例的详细描述,以上和其他特征和优点对于本领域技术人员将变得显而易见,其中:
图1a示意性地示出了要在电子设备上执行的示例性应用程序。
图1b示意性地示出了要在电子设备上执行的示例性应用程序。
图2示意性地示出了要在电子设备上执行的示例性应用程序。
图3示意性地示出了要在电子设备上执行的示例性应用程序。
图4示出了流程图,其示出了示例性应用程序的使用的总体流程。
附图标记列表:
2 应用程序
4 电子设备
6 摄像头
8 听力设备的佩戴者
10 听力设备
12 佩戴者的耳朵
14 摄像头应用程序
16 摄像头应用程序的取景器
18 第一图像的预览
20 第一图像
22 比较
24 参考图像
26 第一、当前或实际位置
28 参考位置
30 第一视觉导引
32 第一预定位置
34 佩戴者的头部
36 指示和/或反馈
38 图像界标或特征
40 接收管越过耳廓上方的区域或位置
42 接收器
44 参考图像的预览
46 用户
48 第二视觉导引
50 第二预定位置
100 方法
102 拍摄参考图像
104 拍摄第一图像
106 执行比较
108 终止应用程序的使用
110 调节听力设备。
具体实施方式
在下文中参考附图描述各种实施例。在全文中,相似的附图标记指代相似的元件。因此,将不再关于每个附图的描述来详细描述相似的元件。还应注意,附图仅旨在促进实施例的描述。它们无意作为所要求保护的发明的详尽描述或对所要求保护的发明的范围的限制。另外,示出的实施例不一定具有所示的所有方面或优点。结合特定实施例描述的方面或优点不一定限于该实施例,并且即使未如此示出或未如此明确描述,也可以在任何其他实施例中实施。
在全文中,相同的附图标记用于相同或相应的部分。
图1a示意性地示出了要在电子设备(4)上执行的示例性应用程序(2)以及该应用程序(2)的使用。电子设备(4)的详细视图显示在该图右上角的框中。
应用程序(2)配置为由具有摄像头(6)的电子设备(4)执行。该应用程序(2)用于辅助听力设备(10)的佩戴者(8)将听力设备(10)正确地布置在佩戴者(8)的耳朵(12)内和/或耳朵(12)处。应用程序(2)配置为接收用于启动应用程序(2)的第一输入,以向佩戴者(8)提供辅助以将听力设备(10)正确地布置在佩戴者(8)的耳朵(12)内和/或耳朵(12)处。应用程序(2)配置为提供对与电子设备(4)的摄像头(6)关联的摄像头应用程序(14)的访问。该应用程序(2)配置为启用摄像头应用程序(14)的取景器(16)以提供第一图像的预览(18)。应用程序(2)配置为使用摄像头(6)拍摄第一图像(见图1b),第一图像至少示出佩戴者(8)的耳朵(12),并且听力设备(10)布置在耳朵(12)内和/或耳朵(12)处。应用程序(2)配置为启用第一图像和参考图像之间的比较(参见图1b),其中比较是第一图像中布置在佩戴者(8)的耳朵(12)内和/或耳朵(12)处的听力设备(10)的第一、当前或实际位置(26)与参考图像中布置在佩戴者(8)的耳朵(12)内和/或耳朵(12)处的听力设备(10)的参考位置的比较。
应用程序(2)配置为在取景器(16)中提供第一视觉导引(30)。第一视觉导引(30)用于在拍摄第一图像时辅助佩戴者(8)获得他/她的头部(34)和/或耳朵(12)相对于摄像头(6)的第一预定位置(32)。
在取景器(16)中第一视觉导引(30)覆盖在第一图像的预览(18)上。第一视觉导引(30)用虚线示出。
第一视觉导引(30)包括人头轮廓的形状。
第一视觉导引(30)可以向听力设备佩戴者(8)提供视觉指示或引导,以调节佩戴者的头部(34)和/或耳朵(12)和/或摄像头(6)的放置、位置或对准,以获得佩戴者的头部(34)和/或耳朵(12)的第一预定位置(32),以使头部(34)和/或耳朵(12)对于摄像头(6)拍摄第一图像而言处于正确、最优或最佳的放置、位置或对准状况。
如图1a所示,第一预定位置(32)可以是佩戴者的耳朵(12)在取景器(16)中在第一图像的预览(18)上居中或近似居中的位置。
应用程序(2)可以配置为跟踪佩戴者(8)的头部(34)和/或耳朵(12)的位置和/或移动。
应用程序(2)配置为提供指示(36)和/或反馈(36),以辅助用户(例如听力设备佩戴者(8))使用应用程序(2)。
指示(36)和/或反馈(36)可以是关于如何使用应用程序(2)的指示(36),在使用应用程序(2)时引导听力设备佩戴者(8)的指示(36),或者引导听力设备佩戴者(8)的反馈(36),例如指示正确或不正确的输入、移动或手势。可以提供指示(36)和/或反馈(36)作为对跟踪佩戴者(8)的头部(34)和/或耳朵(12)的位置和/或移动的响应。可以提供指示(36)和/或反馈(36),以辅助听力设备佩戴者(8)获得佩戴者的头部(34)和/或耳朵(12)的第一预定位置(32),例如针对佩戴者(8)相对于摄像头(6)转动头部(34)的指示,增大或减小到摄像头(6)的距离的指示(36),以正确或错误的方式相对于摄像头(6)转动头部(34)和/或耳朵(12)时的反馈(36)。
指示(36)和/或反馈(36)可以包括音频、视觉和/或触觉指示(36)和/或反馈(36)。图1a示出了指示(36)和/或反馈(36)可以包括声音或音乐(36’),在电子设备(4)的屏幕或显示器上显示的文本或符号(36”)和/或电子设备(4)的触觉信号或振动(36”’)。
图1b示意性地示出了要在电子设备(4)上执行的示例性应用程序(2)以及该应用程序(2)的使用。图1b显示了应用程序(2)的两个不同实例A和B。
应用程序(2)配置为由具有摄像头(6)的电子设备(4)执行。该应用程序(2)用于辅助听力设备(10)的佩戴者将听力设备(10)正确地布置在佩戴者的耳朵(12)内和/或耳朵(12)处。应用程序(2)配置为接收用于启动应用程序(2)的第一输入,以向佩戴者提供辅助,以将听力设备(10)正确地布置在佩戴者的耳朵(12)内和/或耳朵(12)处。应用程序(2)配置为提供对与电子设备(4)的摄像头(6)关联的摄像头应用程序的访问。应用程序(2)配置为(请参见图1a)启用摄像头应用程序的取景器以提供第一图像的预览。应用程序(2)配置为使用摄像头(6)拍摄第一图像(20),第一图像(20)至少示出佩戴者的耳朵(12)并且听力设备(10)布置在耳朵(12)内和/或耳朵(12)处。应用程序(2)配置为启用第一图像(20)和参考图像(24)之间的比较(22),其中比较(22)是第一图像(20)中布置在佩戴者(8)的耳朵(12)内和/或耳朵(12)处的听力设备(10)的第一、当前或实际位置(26)相对于参考图像(24)中布置在佩戴者(8)的耳朵(12)内和/或耳朵(12)处的听力设备(10)的参考位置(28)的比较。在一些实施例中,应用程序(2)可以包括配置为执行第一图像(20)和参考图像(24)之间的比较的比较器。
图1b示出了第一图像(20)与参考图像(24)之间的比较(22),其中参考图像(24)显示在第一图像(20)上方或之上。替代地,参考图像(24)和第一图像(20)可以并排显示,或者显示为使得第一图像(20)覆盖在参考图像(24)上。在图1b中,显示比较(22),使得听力设备佩戴者可以在第一图像(20)和参考图像(24)之间进行视觉比较(22)。此外,应用程序可以执行比较(22)。可以使用图像识别功能、方法或软件自动地执行第一图像(20)和参考图像(24)之间的比较(22)。图像识别功能、方法或软件可以利用在第一图像(20)和/或参考图像(24)上识别、确定或检测到的图像界标(38)。图像界标(38)可以是界标或特征,例如点、距离、角度、边缘、逐像素、梯度,或者可以是感兴趣图像的位置或区域。在图1b中,图像界标(38)示为接收管器越过耳朵(12)的耳廓的顶部的区域或位置(40)。图1b示出了第一图像(20)和参考图像(24)的每一个中的一个图像界标(38),但是可以在第一图像(20)和参考图像(24)的每一个中标识或确定几个图像界标(38)。
应用程序(2)配置为向佩戴者(8)提供建议和/或指示(36),以基于第一图像(20)和参考图像(24)之间的比较(22)辅助佩戴者(8)调节布置在耳朵(12)内和/或耳朵(12)处的听力设备(10)的位置。图1b示出了在实例A中,第一图像(20)与参考图像(24)之间的比较(22)示出、确定或识别出听力设备(10)并未正确地布置在耳朵(12)内和/或耳朵(12)处,例如不正确地布置,因为接收器(42)并未正确地插入耳朵(12)内。应用程序(2)可以提供适当的建议和/或指示(36),以引导佩戴者(8)对听力设备(10)进行必要的调节,以能够获得或实现听力设备(10)在耳朵(12)内和/或耳朵(12)处的正确布置。另外,建议和/或指示(36)可以包括关于听力设备是否正确地布置在耳朵内和/或耳朵处的信息。因此,在图1b的实例A中,应用程序(2)提供了视觉建议/指示(36’),以指示听力设备并未正确地布置在耳朵内和/或在耳朵处(第一图像(20)左下角的X)。此外,应用程序(2)提供视觉建议和/或指示(36”),以辅助或引导佩戴者(8)将接收器(42)正确地插入耳朵(12)中。在此示例中,视觉指示(36”)i)由第一图像(20)顶部的白条表示,该白条可以包含标题,并且ii)由元素周围的白色点线圆圈表示,在所示情况下该元素为接收器(42),其并未正确布置,并且其位置应该进行调节。替代地或附加地,建议和/或指示(36)可以包括音频和/或触觉建议和/或指示(36)。在应用程序(2)提供了第一图像(20)中的第一位置(26)与参考图像(24)中的参考位置(28)的比较(22),并提供了关于如何调节听力设备的适当建议和/或指示(36)之后,佩戴者(8)可以调节耳朵(12)内和/或耳朵(12)处的听力设备(10)。在已经调节听力设备(10)之后,可以再次使用应用程序(2),以进行新的第一图像(20)中的新的第一位置(26)和参考图像(24)中的参考位置(28)之间的新的比较(22)。在已经对耳朵(12)内和/或耳朵(12)处的听力设备(10)进行调节之后,或者如果听力设备(10)初始地正确布置在耳朵(12)内和/或耳朵(12)处,则比较可以类似于图1b中的实例B。图1b示出了在实例B中,比较(22)示出、确定或识别出听力设备(10)正确地布置在佩戴者(8)的耳朵(12)内和/或耳朵(12)处,如第一图像(20)左下角的对钩形式的视觉建议和/或指示(36’)以及显示在第一图像(20)左上角的建议和/或指示(36”)所示。
图2示意性地示出了要在电子设备(4)上执行的示例性应用程序(2)以及该应用程序(2)的使用。方框中示出了电子设备(4)的具体版本。图2示意性地示出了可以在图1a之前发生的应用程序(2)的使用。
该应用程序(2)将由具有摄像头(6)的电子设备(4)执行。该应用程序(2)用于辅助听力设备(10)的佩戴者(8)将听力设备(10)正确地布置在佩戴者(8)的耳朵(12)内和/或耳朵(12)处。应用程序(2)配置为接收用于启动应用程序(2)的第一输入,以向佩戴者(8)提供辅助以将听力设备(10)正确地布置在佩戴者(8)的耳朵(12)内和/或耳朵(12)处。应用程序(2)配置为提供对与电子设备(4)的摄像头(6)关联的摄像头应用程序(14)的访问。该应用程序(2)配置为使得摄像头应用程序(14)的取景器(16)能够提供第一图像的预览(18)。应用程序(2)配置为使用摄像头(6)拍摄第一图像(见图1b),第一图像至少示出佩戴者(8)的耳朵(12)并且听力设备(10)布置在耳朵(12)内和/或耳朵(12)处。应用程序(2)配置为使得能够在第一图像和参考图像之间进行比较(参见图1b),其中该比较是第一图像中布置在佩戴者(8)的耳朵(12)内和/或耳朵(12)处的听力设备(10)的第一、当前或实际位置(26)与参考图像中布置在佩戴者(8)的耳朵(12)内和/或耳朵(12)处的听力设备(10)的参考位置的比较。
应用程序(2)配置为在取景器(16)中提供第一视觉导引(30),第一视觉导引(30)用于在拍摄第一图像时辅助佩戴者(8)获得他/她的头部(34)和/或耳朵(12)相对于摄像头(6)的第一预定位置。
图1a示出了佩戴者的头部和/或耳朵的第一预定位置。
第一视觉导引(30)用虚线表示,如图2右上角的框中所示。
在取景器(16)中第一视觉导引(30)覆盖在第一图像的预览(18)上。
第一视觉导引(30)包括人头轮廓的形状。
第一视觉导引(30)向听力设备佩戴者(8)提供视觉指示或引导,以调节佩戴者的头部(34)和/或耳朵(12)和摄像头(6)的放置、位置或对准,以获得佩戴者的头部(34)和/或耳朵(12)的第一预定位置,使得头部(34)和/或耳朵(12)对于摄像头(6)拍摄第一图像而言处于正确、最优或最佳的放置、位置或对准状况。例如,如果佩戴者的头部(34)相对于摄像头(6)太高或太低,则第一视觉导引(30)提供视觉指示和/或引导来调节头部(43)和//摄像头(6)的位置,从而使得佩戴者的头部(34)将获得如图1a所示的佩戴者的头部(34)的第一预定位置。
应用程序(2)可以配置为跟踪佩戴者(8)的头部(34)和/或耳朵(12)的位置和/或移动。
应用程序(2)配置为提供指示(36)和/或反馈(36),以辅助用户和/或听力设备佩戴者(8)使用应用程序(2)。
指示(36)和/或反馈(36)可以是关于如何使用应用程序(2)的指示(36),在使用应用程序(2)时引导用户(例如听力设备佩戴者(8))的指示(36),或者引导用户和/或听力设备佩戴者(8)的反馈(36),例如指示正确或不正确的输入、移动或手势。可以提供指示(36)和/或反馈(36)作为对跟踪佩戴者(8)的头部(34)和/或耳朵(12)的位置和/或移动的响应。可以提供指示(36)和/或反馈(36),以辅助听力设备佩戴者(8)获得佩戴者的头部(34)和/或耳朵(12)的第一预定位置(见图1a),例如针对佩戴者(8)相对于摄像头(6)转动头部(34)的指示,增大或减小到摄像头(6)的距离的指示(36),以正确或错误的方式相对于摄像头(6)转动头部(34)和/或耳朵(12)时的反馈(36)。图2示出了指示(36)和/或反馈(36),作为使得佩戴者将其头部转向侧面的视觉指示(36),以实现如图1a所示的头部(34)的预定位置。
图3示意性地示出了要在电子设备(4)上执行的示例性应用程序(2)以及该应用程序(2)的使用。图3可以示出参考图像的拍摄。
应用程序(2)配置为接收用于启动参考图像的拍摄的第二输入,其中参考图像示出了布置在佩戴者(8)的耳朵(12)内和/或耳朵(12)处的听力设备(10)的参考位置(28)。应用程序(2)配置为提供对与电子设备(4)的摄像头(6)关联的摄像头应用程序(14)的访问。应用程序(2)配置为使摄像头应用程序(14)的取景器(16)能够提供参考图像的预览(44)。应用程序(2)配置为使用摄像头(4)拍摄参考图像。
参考图像的示例如图1b所示。
图3底部的方框示出了摄像头应用程序(14)的取景器(16),其提供了参考图像的预览(44)。
可以在拍摄第一图像之前拍摄参考图像。参考图像可以由应用程序(2)的用户(46)拍摄。如图3所示,用户(46)可以是听力设备佩戴者,或者用户(46)可以是听力保健专业人员、听觉病专家或其他人。
可以使用应用程序(2)拍摄参考图像。替代地,参考图像可以从外部源提供给应用程序(2)。
该应用程序配置为在取景器(16)中提供第二视觉导引(48),第二视觉导引(48)用于在拍摄参考图像时辅助用户(46)获得佩戴者(8)的头部(34)和/或耳朵(12)相对于摄像头(6)的第二预定位置。图3底部的框显示了取景器(16),可以在其中看到第二视觉导引(48)。
在取景器(16)中第二视觉导引(48)覆盖在参考图像的预览(44)上。第二视觉导引(48)包括人耳轮廓的形状。
如图3所示,第二预定位置(50)可以是佩戴者的耳朵(12)看起来在取景器(16)中参考图像的预览(44)上居中或近似居中的位置。第二预定位置(50)可以与第一预定位置相同。
在图1a中示出了第一预定位置。
应用程序(2)可以配置为提供指示和/或反馈(未示出),以辅助用户(46)和/或听力设备佩戴者(8)使用应用程序(2)。可以提供指示和/或反馈,以辅助用户(46)和/或听力设备佩戴者(8)获得佩戴者的头部(34)和/或耳朵(12)相对于摄像头(6)的第二预定位置(50)。
图4示出了流程图,其示出了使用示例性应用程序来辅助听力设备佩戴者正确地将听力设备布置在佩戴者的耳朵内和/或耳朵处的整个流程(100)。在步骤102中,拍摄参考图像。参考图像示出了听力设备在听力设备佩戴者的耳朵内和/或耳朵处的正确放置或布置。可以使用该应用程序来拍摄参考图像。替代地,参考图像可以从外部源提供给应用程序。可以在拍摄第一图像(104)之前的任何时间拍摄参考图像。
在步骤104中,拍摄第一图像。该应用程序用于拍摄第一图像,其中第一图像示出了听力设备在佩戴者的耳朵内和/或耳朵处的当前放置或布置。
在步骤106中,进行比较。该应用程序用于执行第一图像和参考图像之间的比较。如果比较显示听力设备正确地布置,则流程继续到步骤108。如果比较显示听力设备并未正确地放置,则流程继续到步骤110。
如果第一图像和参考图像的比较(106)表明听力设备正确地布置在佩戴者的耳朵内和/或耳朵处,则在步骤108中可以终止应用程序的使用。
如果第一图像和参考图像在步骤(106)中的比较表明听力设备并未正确地布置在佩戴者的耳朵内和/或耳朵处,则在步骤110中调节听力设备。应用程序提供建议和/或指示,以辅助调节听力设备的位置。建议和/或指示基于第一图像和参考图像之间的比较(106)。在听力设备已经被调节之后,可以通过以下方式来迭代或重复该流程,即,使用该应用程序以在步骤(104)中拍摄新的第一图像,并在步骤(106)中执行新的第一图像和参考图像之间的比较。替代地,可以终止应用程序的使用(108)。
应当注意的是,本文描述的应用程序(2)可以认为是用于辅助听力设备的佩戴者相对于佩戴者的耳朵正确地布置听力设备的数字辅助装置的示例。在一些实施例中,数字辅助装置可以包括控制器,其配置为使得能够显示第一图像(由摄像头(6)生成)的预览,并且使得能够拍摄第一图像(至少示出佩戴者的耳朵并且听力设备布置在佩戴者的耳朵内和/或耳朵处)。控制器可以配置为直接或间接地控制摄像头(6)和/或与摄像头(6)关联的一个或多个功能。在一些情况下,控制器可以配置为与与电子设备(4)的摄像头(6)关联的摄像头应用程序进行交互,并且通过摄像头应用程序来操作摄像头(6)。在其他实施例中,数字辅助装置可以认为是电子设备中的模块或组件。而且,在一些实施例中,可以使用处理单元来实现数字辅助装置,其中,处理单元可以包括硬件、软件或两者的组合。因此,数字辅助装置的一个或多个部件(例如,控制器、比较器等)可以包括硬件、软件或两者。在某些情况下,处理单元可以是处理电路,例如处理器。此外,在其他实施例中,数字辅助装置可以是具有用于由电子设备的处理器执行的指示的应用程序。在某些情况下,应用程序的指示可以存储在非暂时性处理器可读介质中。处理器可读介质可以是电子设备中的存储单元,或者可以是服务器。在介质是服务器的实施例中,可以在下载过程中将应用程序的指示发送到诸如蜂窝电话的电子设备。
以下各项是本文描述的实施例的示例性特征。每个项目可以是实施例本身,或者是实施例的一部分。在实施例中,以下描述的一个或多个项目可以与其他项目组合。
项目1:一种数字辅助装置,用于辅助听力设备的佩戴者相对于佩戴者的耳朵正确地布置听力设备,包括:控制器,配置为使得能够显示第一图像的预览,其中,第一图像由摄像头生成;其中,控制器还配置为启用第一图像的拍摄,所述第一图像至少示出佩戴者的耳朵并且听力设备布置在佩戴者的耳朵内和/或耳朵处;并且其中所述数字辅助装置还包括比较器,配置为在(1)显示带有听力设备的佩戴者的至少耳朵的第一图像与(2)参考图像之间进行比较。
项目2:在数字辅助装置中,比较器配置为将(1)第一图像中听力设备相对于佩戴者耳朵的第一位置与(2)参考图像中听力设备相对于佩戴者耳朵的参考位置进行比较。
项目3:数字辅助装置配置为在显示器中提供视觉导引,视觉导引配置为在拍摄第一图像时辅助佩戴者在(1)头部和/或耳朵与(2)摄像头之间实现期望的相对定位。
项目4:数字辅助配置为将第一视觉导引覆盖在第一图像的预览上。
项目5:第一视觉导引包括人头轮廓的形状。
项目6:比较器配置为使用图像识别功能来执行第一图像和参考图像之间的比较。
项目7:图像识别功能配置为利用第一图像和/或参考图像中的图像界标。
项目8:数字辅助装置配置为向佩戴者提供建议和/或指示,以基于第一图像和参考图像之间的比较来辅助佩戴者调节听力设备相对于耳朵的位置。
项目9:数字辅助装置配置为从外部源接收参考图像。
项目10:控制器配置为响应于指示期望获得第一图像的输入,使得能够显示第一图像的预览,并且使得能够拍摄第一图像。
项目11:控制器还配置为使得能够显示参考图像的预览,其中参考图像由摄像头生成;并且其中所述控制器还配置为使得能够拍摄参考图像。
项目12:控制器配置为响应于指示期望获得参考图像的输入,使得能够显示参考图像,并且使得能够拍摄参考图像。
项目13:数字辅助装置配置为在显示器中提供视觉导引,该视觉导引配置为当拍摄参考图像时辅助用户或佩戴者实现(1)头部和/或耳朵与(2)摄像头之间的期望相对定位。
项目14:用户是听力保健专业人员、听力病专家或其他人。
项目15:数字辅助装置配置为将视觉导引覆盖在参考图像的预览上。
项目16:视觉导引包括人耳轮廓的形状。
项目17:数字辅助装置还包括跟踪器,跟踪器配置为跟踪佩戴者的头部和/或耳朵的位置和/或移动。
项目18:数字辅助装置还包括反馈生成器,反馈生成器配置为提供指示和/或反馈以辅助用户和/或佩戴者使用数字辅助装置。
项目19:建议和/或反馈包括音频建议和/或音频反馈、视觉建议和/或视觉反馈和/或触觉建议和/或触觉反馈。
项目20:数字辅助装置在电子设备中实现。
项目21:电子设备包括蜂窝电话。
项目22:数字辅助装置包括电子设备中的应用程序。
项目23:电子设备包括数字辅助装置和摄像头。
项目24:非暂时性处理器可读介质包括用于实现数字辅助装置的一组指令。
尽管已经示出和描述了特定的特征,但是应当理解,它们并不旨在限制要求保护的本发明,并且对于本领域技术人员显而易见的是,在不脱离要求保护的本发明的范围的情况下可以进行各种改变和修改。因此,说明书和附图应认为是说明性而非限制性的。要求保护的本发明旨在涵盖所有替代、修改和等同形式。

Claims (15)

1.一种由具有摄像头的电子设备执行的应用程序,所述应用程序用于辅助听力设备的佩戴者将所述听力设备正确地布置在佩戴者的耳朵内和/或耳朵处,所述应用程序配置为:
-接收用于启动所述应用程序的第一输入,以辅助佩戴者将所述听力设备正确地布置在佩戴者的耳朵内和/或耳朵处;
-提供对与所述电子设备的摄像头关联的摄像头应用程序的访问;
-启用所述摄像头应用程序的取景器以提供第一图像的预览;
-使用所述摄像头拍摄第一图像,所述第一图像至少示出佩戴者的耳朵并且所述听力设备布置在耳朵内和/或耳朵处;以及
-启用所述第一图像和参考图像之间的比较,其中所述比较是所述第一图像中布置在佩戴者的耳朵内和/或耳朵处的听力设备的第一位置与所述参考图像中布置在佩戴者的耳朵内和/或耳朵处的听力设备的参考位置的比较。
2.根据权利要求1所述的应用程序,其中,所述应用程序配置为在所述取景器中提供第一视觉导引,所述第一视觉导引用于在拍摄所述第一图像时辅助佩戴者获得他/她的头部和/或耳朵相对于所述摄像头的第一预定位置。
3.根据权利要求2所述的应用程序,其中,在所述取景器中所述第一视觉导引覆盖在所述第一图像的预览上。
4.根据权利要求3所述的应用程序,其中,所述第一视觉导引包括人头轮廓的形状。
5.根据前述权利要求中任一项所述的应用程序,其中,所述第一图像和所述参考图像之间的比较是使用图像识别功能自动执行的。
6.根据权利要求5所述的应用程序,其中,所述图像识别功能利用在所述第一图像和/或所述参考图像上确定的图像界标。
7.根据前述权利要求中任一项所述的应用程序,其中,所述应用程序配置为向佩戴者提供建议和/或指示,以基于所述第一图像和所述参考图像之间的比较辅助佩戴者调节布置在耳朵内和/或耳朵处的所述听力设备的位置。
8.根据前述权利要求中任一项所述的应用程序,其中,所述应用程序配置为:
-接收用于启动所述参考图像的拍摄的第二输入,其中所述参考图像示出布置在佩戴者的耳朵内和/或耳朵处的所述听力设备的参考位置;
-提供对与所述电子设备的摄像头关联的所述摄像头应用程序的访问;
-启用所述摄像头应用程序的取景器以提供所述参考图像的预览;以及
-使用所述摄像头拍摄所述参考图像。
9.根据权利要求1至7中任一项所述的应用程序,其中,所述参考图像从外部源提供给所述应用程序。
10.根据权利要求8所述的应用程序,其中,所述应用程序配置为在所述取景器中提供第二视觉导引,所述第二视觉导引用于在拍摄所述参考图像时辅助用户获得佩戴者的头部和/或耳朵相对于所述摄像头的第二预定位置。
11.根据权利要求10所述的应用程序,其中,在所述取景器中所述第二视觉导引覆盖在所述参考图像的预览上。
12.根据权利要求11所述的应用程序,其中,所述第二视觉向导包括人耳轮廓的形状。
13.根据前述权利要求中任一项所述的应用程序,其中,所述应用程序配置为跟踪佩戴者的头部和/或耳朵的位置和/或移动。
14.根据前述权利要求中任一项所述的应用程序,其中,所述应用程序配置为提供指示和/或反馈,以辅助用户和/或听力设备佩戴者使用所述应用程序。
15.根据权利要求7或14所述的应用程序,其中,建议、指示和/或反馈包括音频、视觉和/或触觉的建议、指示和/或反馈。
CN202010984375.1A 2019-09-20 2020-09-18 用于辅助听力设备佩戴者的应用程序 Pending CN112543283A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US16/577,415 US20210089773A1 (en) 2019-09-20 2019-09-20 Application for assisting a hearing device wearer
US16/577,415 2019-09-20
EP19210247.3 2019-11-20
EP19210247.3A EP3796673A1 (en) 2019-09-20 2019-11-20 An application for assisting a hearing device wearer

Publications (1)

Publication Number Publication Date
CN112543283A true CN112543283A (zh) 2021-03-23

Family

ID=68621134

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010984375.1A Pending CN112543283A (zh) 2019-09-20 2020-09-18 用于辅助听力设备佩戴者的应用程序

Country Status (3)

Country Link
US (1) US20210089773A1 (zh)
EP (1) EP3796673A1 (zh)
CN (1) CN112543283A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4068806A1 (en) * 2021-03-31 2022-10-05 Oticon A/s A method and system of fitting a hearing device
CN117291979B (zh) * 2023-09-26 2024-04-26 北京鹰之眼智能健康科技有限公司 一种耳洞定位方法、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060204013A1 (en) * 2005-03-14 2006-09-14 Gn Resound A/S Hearing aid fitting system with a camera
US20080232618A1 (en) * 2005-06-01 2008-09-25 Johannesson Rene Burmand System and Method for Adapting Hearing Aids
US20150264491A1 (en) * 2014-03-17 2015-09-17 Oticon A/S Device for inserting or withdrawing a hearing aid
US20170113057A1 (en) * 2015-03-27 2017-04-27 Elwha Llc Multi-factor control of ear stimulation
EP3435689A1 (en) * 2018-04-09 2019-01-30 Oticon A/s Setup of hearing instrument including hearing instrument property identification
CN109391890A (zh) * 2017-08-14 2019-02-26 西万拓私人有限公司 用于运行听力设备的方法和听力设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5870481A (en) * 1996-09-25 1999-02-09 Qsound Labs, Inc. Method and apparatus for localization enhancement in hearing aids
US9651662B2 (en) * 2007-11-16 2017-05-16 Koninklijke Philips N.V. Interventional navigation using 3D contrast-enhanced ultrasound
US20090161963A1 (en) * 2007-12-20 2009-06-25 Nokia Corporation Method. apparatus and computer program product for utilizing real-world affordances of objects in audio-visual media data to determine interactions with the annotations to the objects
US9030545B2 (en) * 2011-12-30 2015-05-12 GNR Resound A/S Systems and methods for determining head related transfer functions
US20150382123A1 (en) * 2014-01-16 2015-12-31 Itamar Jobani System and method for producing a personalized earphone
US10130287B2 (en) * 2014-11-18 2018-11-20 Audicus, Inc. Hearing test system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060204013A1 (en) * 2005-03-14 2006-09-14 Gn Resound A/S Hearing aid fitting system with a camera
US20080232618A1 (en) * 2005-06-01 2008-09-25 Johannesson Rene Burmand System and Method for Adapting Hearing Aids
US20150264491A1 (en) * 2014-03-17 2015-09-17 Oticon A/S Device for inserting or withdrawing a hearing aid
CN104936118A (zh) * 2014-03-17 2015-09-23 奥迪康有限公司 用于插入或拉出助听器的装置
US20170113057A1 (en) * 2015-03-27 2017-04-27 Elwha Llc Multi-factor control of ear stimulation
CN109391890A (zh) * 2017-08-14 2019-02-26 西万拓私人有限公司 用于运行听力设备的方法和听力设备
EP3435689A1 (en) * 2018-04-09 2019-01-30 Oticon A/s Setup of hearing instrument including hearing instrument property identification

Also Published As

Publication number Publication date
EP3796673A1 (en) 2021-03-24
US20210089773A1 (en) 2021-03-25

Similar Documents

Publication Publication Date Title
US10142618B2 (en) Imaging apparatus and imaging method
EP2977959B1 (en) Method and device for adjusting skin color
JP5239126B2 (ja) 電子カメラ
CN105554389B (zh) 拍摄方法及装置
CN110321768B (zh) 用于生成头部相关传递函数滤波器的布置
CN109284681B (zh) 位姿检测方法及装置、电子设备和存储介质
KR101710626B1 (ko) 디지털 촬영 장치 및 이의 제어 방법
JP6357884B2 (ja) 位置特定装置およびオーディオ装置
CN112543283A (zh) 用于辅助听力设备佩戴者的应用程序
CN104580886A (zh) 拍摄控制方法及装置
JP2019106045A (ja) 画像処理装置、方法及びプログラム
JP2009522683A (ja) ステレオカメラを装着した移動端末機を利用した虹彩認識システム及び虹彩認識方法
CN106303192A (zh) 终端控制方法及终端
US9652822B2 (en) Image correcting apparatus, image correcting method and computer readable recording medium recording program thereon
KR102324001B1 (ko) 위치자세 검출 방법 및 장치, 전자 기기 및 저장 매체
CN113228615B (zh) 信息处理装置、信息处理方法和计算机可读记录介质
CN114882543A (zh) 图像处理设备、图像处理方法和计算机可读存储介质
JP2018152787A (ja) 撮像装置、外部装置、撮像システム、撮像方法、操作方法およびプログラム
JP2014033265A (ja) 撮像装置、撮像方法およびプログラム
CN111914785A (zh) 一种提高人脸图像清晰度的方法、装置及存储介质
US20210185223A1 (en) Method and camera for photographic recording of an ear
CN104811619A (zh) 成像校正方法及装置、电子设备
CN115601316A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US11510016B2 (en) Beam former calibration of a hearing device
US20230034378A1 (en) Method for determining the required or ideal length of a cable in a hearing aid

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination