CN104982041B - 用于控制助听器的便携式终端及其方法 - Google Patents

用于控制助听器的便携式终端及其方法 Download PDF

Info

Publication number
CN104982041B
CN104982041B CN201480006726.4A CN201480006726A CN104982041B CN 104982041 B CN104982041 B CN 104982041B CN 201480006726 A CN201480006726 A CN 201480006726A CN 104982041 B CN104982041 B CN 104982041B
Authority
CN
China
Prior art keywords
listening
pattern
hearing aid
ambient conditions
portable terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480006726.4A
Other languages
English (en)
Other versions
CN104982041A (zh
Inventor
金靖洙
金翼秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN104982041A publication Critical patent/CN104982041A/zh
Application granted granted Critical
Publication of CN104982041B publication Critical patent/CN104982041B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/30—Monitoring or testing of hearing aids, e.g. functioning, settings, battery power
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F11/00—Methods or devices for treatment of the ears or hearing sense; Non-electric hearing aids; Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense; Protective devices for the ears, carried on the body or in the hand
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/552—Binaural
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/554—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/558—Remote control, e.g. of amplification, frequency
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/41—Detection or adaptation of hearing aid parameters or programs to listening situation, e.g. pub, forest
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/55—Communication between hearing aids and external devices via a network for data exchange
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/556—External connectors, e.g. plugs or modules

Abstract

提供了一种使用便携式终端来控制助听器的方法。该方法包括：拍摄照片，根据基于照片的对环境条件的分析，来生成用于控制助听器的收听模式的控制信号，以及向助听器发送控制信号。

Description

用于控制助听器的便携式终端及其方法
技术领域
本公开涉及便携式终端。更具体地，本公开涉及用于控制助听器的便携式终端和方法。
背景技术
最新的便携式终端提供了更多样化的服务和可选的功能。为提高便携式终端的有效性并满足用户的不同需要，已开发出各种实用应用。因此，最新的便携式终端，例如智能手机和平板个人计算机(平板PC)可具有多达上百种可用的应用。
在便携式终端的触摸屏上显示用于运行应用的对象或快捷方式图标。通过触摸在触摸屏上显示的对应快捷方式图标，用户可以运行便携式终端中的期望应用。除了这些快捷方式图标之外，在便携式终端的触摸屏上还可以显示具有各种形状的其他可视对象(例如窗口小部件(widget)、照片和文本)。便携式终端可以使用输入单元(例如用户手指、电子笔、触控笔等)来控制对象或应用。
现在正在开发可通过便携式终端为残疾人士提供便利的应用，并且需要便携式终端提供以下有用功能：通过使用运行在配备有相机等的便携式终端中的应用来帮助失聪人士体验更高质量声音。
到目前为止，助听器仅仅是放大环境声音以向用户输出。根据相关技术的助听器仅仅提供若干种预定收听模式，并且没有自适应地选择针对用户周围的当前环境条件的收听模式。因此，需要一种用于控制助听器以为听力残疾人士提供更真实声音的方法。
提供以上信息作为背景信息仅用于帮助理解本公开。不确定也不断言以上任何内容可用作有关本公开的现有技术。
发明内容
本公开的方案要解决至少以上提到的问题和/或缺点并提供至少以下描述的优点。因此，本公开的一个方案提供了用于控制助听器以为佩戴该助听器的用户提供明显改善的服务的便携式终端和方法。
根据本公开的一个方案，提供了一种使用便携式终端来控制助听器的方法。所述方法包括：拍摄照片；根据对基于所述照片的环境条件的分析，来生成用于控制所述助听器的收听模式的控制信号；以及向所述助听器发送所述控制信号。
根据本公开的另一个方案，提供了一种用于控制助听器的便携式终端。所述便携式终端包括：相机，被配置为拍摄照片；控制器，被配置为基于所述照片来分析环境条件并根据分析结果来生成用于控制所述助听器的收听模式的控制信号；以及收发器，被配置为向所述助听器发送所述控制信号。
根据本公开的另一个方案，提供了一种用于改变助听器中的收听模式的方法。所述方法包括：从便携式终端接收用于控制所述助听器的收听模式的控制信号；根据对所述控制信号的分析来提取收听模式；以及将所述助听器的收听模式改变为所提取的收听模式。
根据本公开的另一个方案，提供了一种助听器。所述助听器包括：射频(RF)单元，被配置为向便携式终端发送由所述助听器提供的至少一个收听模式，并且从所述便携式终端接收用于将所述助听器的收听模式改变为另一个收听模式的控制信号；以及控制器，被配置为从所述控制信号中提取收听模式并控制所述助听器的收听模式改变为从所述控制信号中提取的收听模式。
根据本公开的另一个方案，提供了一种用于改变助听器中的收听模式的方法。所述方法包括：拍摄照片，根据所述照片来确定环境条件，根据所确定的环境条件来控制所述助听器的所述收听模式，以及在所述收听模式下输出声音。
根据本公开的另一个方案，提供了一种助听器。所述助听器包括：拍照单元，被配置为拍摄照片；控制器，被配置为通过根据所述照片确定环境条件来控制所述助听器的收听模式；以及输出单元，被配置为在所述收听模式下输出声音。
根据结合附图公开了本公开的各种实施例的以下具体实施方式，本领域技术人员将清楚地了解本公开的其他方案、优点及显著特征。
附图说明
根据以下结合附图的具体实施方式，本公开某些实施例的上述及其他方案、特征及优点将变得更为清楚，在附图中：
图1是根据本公开实施例的提供触觉效果的便携式终端的示意框图；
图2是根据本公开实施例的便携式终端的正面透视图；
图3是根据本公开实施例的便携式终端的背面透视图；
图4示出了根据本公开实施例的输入单元和触摸屏的横截面图；
图5是根据本公开实施例提供触觉效果的输入单元的框图；
图6是示出了根据本公开实施例的使用便携式终端来控制助听器的收听模式的方法的流程图。
图7A、7B、7C、7D、7E和7F示出了根据本公开实施例的包含要被用于选择助听器的适当收听模式的环境条件在内的照片；
图8示出了根据本公开实施例的用于控制助听器的收听模式的助听器控制应用的屏幕；
图9是根据本公开实施例的具有受到控制的收听模式的助听器的框图；
图10是示出了根据本公开实施例的控制助听器的收听模式的方法的流程图；以及
图11是示出了根据本公开另一个实施例的用于控制助听器的收听模式的方法的流程图；
贯穿附图，相似的附图标记将被理解为指代相似的部分、组件及结构。
具体实施方式
提供以下参考附图的描述以帮助全面理解如权利要求及其等同物所界定的本公开的各种实施例。其包括用于帮助该理解的各种具体细节，但是这些细节仅被认为是示例性的。因此，本领域普通技术人员将认识到可以对本文描述的各种实施例进行各种改变和修改，而不脱离本公开的范围和精神。此外，为清楚简洁可以省略对公知功能和构造的描述。
将要理解的是：除非上下文另行明确指示，否则单数形式“一”、“一个”和“所述”包括多个被指代物。因此，例如，对“一个组件表面”的引用包括对一个或多个这种表面的引用。
术语“实质上”意味着所叙述的特征、参数或者值不需要精确实现，而是可以出现包括诸如公差、测量误差、测量精度限制及其他本领域技术人员已知的因素在内的偏差或变化，该偏差或变化在数量上可以出现，其不妨碍该特征预期所要提供的效果。
将要理解的是：尽管本文中可以使用术语第一、第二、第三等来描述各种单元、组件、区域、层和/或部分，这些单元、组件、区域、层和/或部分不应当受到这些术语的限制。这些术语仅用于区分一个单元、组件、区域、层或部分与另一个区域、层或部分。因此，以下讨论的第一单元、组件、区域、层或者部分可被称为第二单元、组件、区域、层或者部分，而不脱离本公开的教导。
当通过使用连词“～和/或～”来描述项目时，说明书应当被理解为包括所列出关联项目中的一个或多个的任意和全部组合。
本文中使用的术语仅用于描述具体的各种实施例，并不意在限制本公开。还要将要理解的是：术语“包括”和/或“包含”在本说明书中被使用时指定存在所声明的特征、整数、步骤、操作、单元、和/或组件，但不排除一个或多个其他特征、整数、步骤、操作、单元、组件、和/或前述各项的组的存在或增加。
除非另有限定，否则本文中使用的包括技术和科学术语在内的所有术语具有通用本公开所属技术领域的一个普通技术人员通常理解的相同含义。还将要理解的是：诸如在常用词典中定义的术语应当被解释为与相关技术上下文中它们的含义相一致的含义，并且除非本文明确定义，否则不在理想化或过度正式化的意义上加以解释。
图1是根据本公开实施例的便携式终端的示意框图。
参考图1，通过使用通信模块120、子通信模块130、连接器165和耳机插孔167中的至少一个，便携式终端100可以连接到外部设备(未示出)。“外部设备”可以包括各种设备，例如可从便携式终端100移除并经由线缆连接的耳机、外部扬声器、通用串行总线(USB)存储器、、充电器、支架(cradle)/底座(dock)、、数字多媒体广播(DMB)天线、移动支付相关设备、保健设备(例如血糖测量仪)、游戏机、车载导航等等，它们可以与便携式终端100分离并经由线缆与其相连。外部设备可以包括蓝牙通信设备、近场通信(NFC)设备、Wi-Fi直接通信设备和无线接入点(AP)。便携式终端100还可以无线或经由线缆连接到其他设备，例如蜂窝电话、智能电话、平板个人计算机(平板PC)、台式PC、或者服务器。
如图1所示，便携式终端100还可以包括至少一个触摸屏190和至少一个触摸屏控制器195。便携式终端100还可以包括控制器110、移动通信模块120、子通信模块130、多媒体模块140、相机模块150、全球定位系统(GPS)模块157、输入/输出模块160、传感器模块170、存储设备175和电源180。
子通信模块130包括无线局域网(WLAN)131和短距通信模块132中的至少一个。多媒体模块140包括广播通信模块141、音频播放模块142和视频播放模块143中的至少一个。相机模块150可以包括第一相机151和第二相机152中的至少一个。相机模块150可以包括以下至少一项：用于拉近/拉远第一相机151和/或第二相机152的镜筒155、用于控制镜筒155进行拉近/拉远的移动的电机单元154、以及用于提供拍照光的闪光灯153。输入/输出模块160可以包括按钮161、麦克风162、扬声器163、振动电机164、连接器165和键区166中的至少一个。
控制器110可包括中央处理器单元(CPU)111、用于存储控制便携式终端100的控制程序的只读存储器(ROM)112、以及用于存储从外部输入或正在使用的信号或数据的作为便携式终端100中工作结果的存储空间的随机访问存储器(RAM)113。CPU 111可包括单核或多核(例如双核、三核或四核)。CPU 111、ROM 112和RAM 113可经由内部总线彼此相连。
控制器110可控制移动通信模块120、子通信模块130、多媒体模块140、相机模块150、GPS模块157、输入/输出模块160、传感器模块170、存储设备175、电源180、触摸屏190和触摸屏控制器195。
控制器110确定是否发生悬停事件，即，输入单元168(例如电子笔)是否接近触摸屏190上显示的多个对象中的任一个，或确定输入单元168是否触摸了触摸屏190。控制器110可确定从便携式终端100到输入单元168的距离，并基于该距离来检测悬停事件。控制器110检测输入单元168在触摸屏190之上的悬停事件或者输入单元168在触摸屏190上的触摸。
控制器110可分析由相机模块150捕获的照片或图像。在这点上，控制器110使用至少一个对象识别算法来检测所捕获照片或图像中的至少一个对象，以确定用户的环境条件。对象识别算法可以是例如角点检测(corner detection)、Harris角点检测等等，其通过提取颜色或亮度差异或者照片特征来检测照片中的对象。作为从表示对象的所有点中删除重叠、不重要以及不必要的点的结果，所剩下的用于表征至少一个对象的最少数量的点就是特征(或者特征点)。这种特征点在图7A至7F中示出，并可以通过应用上述算法及各种算法来提取。
控制器110可使用至少一个算法根据所捕获的照片来确定当前环境条件，并基于所确定的环境条件来生成用于控制助听器的收听模式的控制信号。控制信号可以包括绝对声级信息、信号包络信息、频谱内容信息、定向麦克风(MIC)信息中的至少一个。控制信号中包括的至少一个信息是用于根据环境条件来改变或选择收听模式的参数。便携式终端100向用户佩戴的助听器发送控制信号，以控制助听器的收听模式。助听器分析从便携式终端100接收的控制信号，然后执行到对应收听模式的模式改变。控制器110可根据麦克风162检测到的环境声音来确定环境条件，基于来自环境声音和照片的环境条件来生成用于控制助听器的收听模式的控制信号，以及通过子通信模块130或多媒体模块140向助听器发送控制信号。
移动通信模块120可以在控制器110的控制下使用至少一个天线(未示出)将便携式终端100通过移动通信连接到外部电子设备。移动通信模块120向/从蜂窝电话(未示出)、智能电话(未示出)、平板PC(未示出)或另一设备(未示出)发送/接收针对语音呼叫、视频会议呼叫、短消息服务(SMS)消息或者多媒体消息服务(MMS)消息的无线信号，电话将电话号码输入到便携式终端100中。
子通信模块130可包括WLAN模块131和短距通信模块132中的至少一个。例如，子通信模块130可以包括WLAN模块131或短距通信模块132中任一个或这二者。
在控制器110的控制下，WLAN模块131可经由无线AP(未示出)连接到互联网。WLAN模块131支持电气电子工程师协会(IEEE)的WLAN标准IEEE 802.11x。在控制器110的控制下，短距通信模块132可实施便携式终端100和图像呈现设备(未示出)之间的短距通信。短距通信可包括蓝牙、红外数据协会(IrDA)、WiFi直连、近场通信(NFC)等等。
控制器110通过子通信模块130和多媒体模块140中的至少一个发送用于控制助听器的控制信号。
取决于便携式终端100的设计或功能，便携式终端100可包括移动通信模块120、WLAN模块131和短距通信模块132中的至少一个。便携式终端100还可包括移动通信模块120、WLAN模块131和短距通信模块132的组合。在本公开的实施例中，移动通信模块120、WLAN模块131和短距通信模块132中的至少一个或组合(但不是排他性地)也被称为收发器。
多媒体模块140可包括广播通信模块141、音频播放模块142或视频播放模块143。在控制器110的控制下，广播通信模块141可通过广播通信天线(未示出)接收从广播站发送的广播信号(例如，电视广播信号、无线电广播信号或数据广播信号)和附加广播信息(例如，电子节目指南(EPG)或电子服务指南(ESG))。在控制器110的控制下，音频播放模块142可播放存储的或者接收到的数字音频文件(例如，具有扩展名为例如mp3、wma、ogg或wav的文件)。在控制器110控制下，视频播放模块143可以播放存储的或者接收到的数字视频文件(例如，具有扩展名为例如mpeg、mpg、mp4、avi、move或mkv的文件)。视频播放模块143也可以播放数字音频文件。
多媒体模块140可包括音频播放模块142和视频播放模块143，并且可省略广播通信模块141。多媒体模块140的音频播放模块142或视频播放模块143可以被包括在控制器110之中。
相机模块150可包括用于在控制器110的控制下捕获静止图像或视频图像的第一和第二相机151和152中的至少一个。相机模块150可包括以下至少一项：用于拉近/拉远以捕获对象的镜筒155、用于控制镜筒155的移动的电机单元154、以及用于提供捕获对象所需的辅助光的闪光灯153。第一相机151可被放置在便携式终端100的正面，第二相机152可被放置在便携式终端100的背面。第一和第二相机151和152还可彼此相邻布置(例如，第一和第二相机151和152之间的距离在1至8cm内)，用于捕获3D静止图像3D视频图像。相机模块150向控制器110发送所捕获的照片或图像。
第一和第二相机151和152均可包括透镜系统、图像传感器等。第一和第二相机151和152将通过透镜系统输入(或捕获)的光信号转换为电子图像信号或数据，并向控制器110发送该电子图像信号或数据，并且用户可以用第一和第二相机151和152来捕获视频图像或静止图像。
GPS模块157从地球轨道中的多个GPS卫星(未示出)接收无线信号，并可通过使用从GPS卫星到便携式终端100的到达时间来计算便携式终端100的位置。
输入/输出模块160可包括至少一个按钮161、麦克风162、扬声器163、振动电机164、连接器165、键区166、耳机插孔167和输入单元168。然而，输入/输出模块160不限于以上提到的单元，且还可以包括鼠标、轨迹球、游戏杆或者光标控制器(例如控制触摸屏190上的光标的移动的光标方向键)。
至少一个按钮161可被布置在便携式终端100的外壳的正面、侧面或背面上，并可包括电源/锁定按钮(未示出)、音量按钮(未示出)、菜单按钮、主页按钮、返回按钮和搜索按钮中的至少一个。
在控制器110的控制下，麦克风162根据所接收的语音或声音来生成电信号。麦克风162还捕获在便携式终端100周围产生的环境声音，例如音乐会声、下雨声、人群噪声、风声、会议或演讲声。
在控制器110的控制下，扬声器163可向便携式终端100的外部输出与来自移动通信模块120、子通信模块130、多媒体模块140或相机模块150的各种信号(例如无线电信号、广播信号、数字音频文件、数字视频文件或摄影信号)相对应的声音。扬声器163还可以输出与要通过短距通信模块132向输入单元168或助听器发送的控制信号相对应的声音。对应于控制信号的声音包括激活输入单元168的振动元件520的声音、具有根据振动强度变化的音量的声音、以及去激活振动元件520的声音。可以根据振动元件520的振动强度来控制声音的音量，或者可以尽可能快地或在振动元件520激活前或后的预定时间段(例如10ms)通过便携式终端100的扬声器163或输入单元168的扬声器560来输出声音。可以尽可能快地或在振动元件520去激活前或后的预定时间段(例如10ms)停止声音。扬声器163可输出与便携式终端100所执行功能相对应的声音(例如按钮按下声音或回铃音)。一个或多个扬声器163可被布置在便携式终端100外壳的一个或多个适当位置处。
振动电机164可在控制器110的控制下将电信号转换为机械振动。例如，当处于便携式终端100的振动模式时，振动电机164在收到呼入呼叫时工作。一个或多个振动电机164可布置在移动终端100外壳内。响应于用户在触摸屏190上的触摸事件或连续触摸，振动电机164可被驱动。
连接器165可用作连接便携式终端100和外部设备(未示出)或电源(未示出)的接口。在控制器110的控制下，经由与连接器165相连的线缆，便携式终端100可向外部设备发送存储在便携式终端100的存储设备175中的数据或者从外部设备接收数据。此外，经由与连接器165相连的线缆，便携式终端100可由电源供电或者对电池(未示出)充电。
键区166可从用户接收用于控制便携式终端100的按键输入。键区166包括在便携式终端100中形成的机械键区或者在触摸屏190上显示的虚拟键区。取决于便携式终端100的性能或结构，可以省略便携式终端100中形成的机械键区。
耳机(未示出)可插入到耳机插孔167之中，从而与便携式终端100相连。输入单元168可插入并保持在便携式终端100中，并且可从便携式终端100中抽出和分离。响应于输入单元168的连接和分离而操作的连接/分离识别开关169安装在便携式终端100内插入输入单元168的区域中，并向控制器110发送对应于输入单元168的连接或分离的信号。连接/分离识别开关169被配置为当输入单元168插到该区域时与输入单元168具有直接或间接的接触。基于直接或间接接触，连接/分离识别开关169生成对应于输入单元168的连接或分离的信号，并向控制器110提供该信号。
传感器模块170包括用于检测便携式终端100的状态的至少一个传感器。例如，传感器模块170可包括用于检测用户与便携式终端100的接近的接近传感器；用于检测便携式终端100的环境光量的照度(illumination)传感器(未示出)、用于检测便携式终端100的运动(例如，便携式终端100的旋转、施加在便携式终端100上的加速度或振动)的运动传感器(未示出)、用于利用地磁场来检测方向的地磁传感器(未示出)、用于检测重力作用方向的重力传感器；以及用于通过检测气压来检测高度的高度计。至少一个传感器可检测便携式终端100的状态，并生成对应的信号以向控制器110发送。取决于便携式终端100的性能，可以增加或移除传感器模块170的传感器。
在控制器110的控制下，存储设备175可以存储根据移动通信模块120、子通信模块130、多媒体模块140、相机模块150、GPS模块157、输入/输出模块160、传感器模块170和触摸屏190的操作而输入/输出的信号或数据。存储设备175可以存储用于控制便携式终端100或控制器110的控制程序和应用。
存储设备175还可以存储相机模块150捕获的静止图像和视频图像。在本公开的实施例中，存储设备175存储与根据捕获图像和视频来确定的环境条件有关的信息。通过提取捕获图像或视频中至少一个对象的轮廓或特征(或特征点)，可以确定环境条件，并且环境条件可以包括现实生活中可能存在的各种条件，例如音乐会条件、人群条件、安静风景条件、课上条件、演讲条件、雨天条件或雪天条件、安静中演讲的条件、噪声中演讲的条件、刮风情况等等。存储设备175还可以存储如上所述根据捕获图像来确定环境条件的各种算法，以及在每个算法中使用的可从图像或视频中提取的各种信息。存储设备175还存储用于确定环境条件的多个对象的特征和轮廓以及各种现实生活对象的特征和轮廓。
术语“存储设备”不仅包括存储设备175，还包括控制器110中的ROM 112、RAM 113、或安装在便携式终端100中的存储卡(例如安全数字(SD)卡、存储棒)。存储设备175还可包括非易失性存储器、易失性存储器、硬盘驱动器(HDD)或固态驱动器(SSD)。
存储设备175可以存储很多不同功能应用(例如导航系统、游戏、基于时间的报警应用等)、与应用关联的图形用户界面(GUI)的图像、与用户信息有关的数据库、文档、用于处理触摸输入的方法、用于操作便携式终端100的背景图像(例如菜单屏幕、待机屏幕等)、操作程序、相机模块150捕获的静止图像和视频等等。存储设备175是机器可读(或计算机可读)介质，其可被定义为用于提供可供机器执行特定功能的数据的介质。机器可读介质可以是存储介质。存储设备175可包括非易失性介质和易失性介质。为了让机械设备读出在介质上实现的指令，这些介质应当都是有形的。
机器可读介质包括(但不限于)以下至少一项：软盘、柔性盘、硬盘、磁带、高密度盘只读存储器(CD-ROM)、光盘、打孔卡片、纸带、RAM、可编程ROM(PROM)、可擦除PROM(EPROM)和闪存式EPROM。
在控制器110的控制下，电源180可对放置在便携式终端100外壳内的一个或多个电池(未示出)供电。一个或多个电池为便携式终端100供电。电源180可经由连接到连接器165的线缆向便携式终端100提供从外部电源(未示出)输入的功率。电源180还可以利用无线充电技术向便携式终端100提供来自外部电源的无线功率。
便携式终端100可具有为各种服务(例如呼叫、数据通信、广播、摄影等)提供GUI的至少一个触摸屏。至少一个触摸屏中的每一个可以向触摸屏控制器195发送与输入到用户界面的至少一个触摸相对应的模拟信号。便携式终端100可具有多个触摸屏和对应的多个触摸屏控制器，每一个触摸屏控制器接收根据对应触摸屏上的触摸而生成的模拟信号。至少一个触摸屏可以用铰链与多个外壳相连，或者可以在没有铰链的情况下被放在单个外壳中。在本公开中，为方便说明，将描述便携式终端100具有单个触摸屏(例如触摸屏190)的实施例。
触摸屏190可接收来自用户身体接触(例如用包括拇指在内的手指)的至少一个触摸，或者经由可触摸输入单元168(例如触控笔或电子笔)来接收至少一个触摸。触摸屏190包括用于识别输入单元168的输入的笔识别板191。利用磁场，笔识别板191可估计触摸屏190和输入单元168之间的距离。触摸屏190可接收至少一个触摸之一的连续移动。触摸屏190可以向触摸屏控制器195发送与输入触摸的连续移动对应的模拟信号。
本文中使用的术语“触摸”可被解释为不仅包括接触式触摸还包括触摸屏190和用户身体或触摸输入单元之间的无接触式触摸(例如，保持小于1mm的可检测距离)。触摸屏190的可检测距离可取决于便携式终端100的性能或结构而变化，具体来说，触摸屏190可以针对触摸检测和悬停检测来输出不同值(例如模拟电流值)，以有区别地检测由与用户身体或触摸输入单元的接触产生的触摸事件和无接触式输入(例如悬停事件)。此外，在产生悬停事件处与触摸屏190之间的距离上，触摸屏190可为悬停检测输出不同值(例如电流值)。
触摸屏190可实现为例如电阻方式、电容方式、红外方式或者声波方式。
触摸屏190可包括用于检测用户身体或触摸输入单元的触摸或接近的至少两个触摸屏面板，以同时或顺序接收用户身体和触摸输入单元的输入。至少两个触摸屏面板向触摸屏控制器195提供不同输出值，并且可通过有区别地识别从至少两个触摸屏面板输入的值，触摸屏控制器195可以区分触摸屏190上由用户身体作出的输入和由触摸输入单元作出的输入。
触摸屏190可形成在分层结构中，在分层结构中，用于基于所感生的电动势的改变来检测用户手指或输入单元168作出的输入的面板与用于检测用户手指或输入单元168与触摸屏190的接触的面板彼此接近，或彼此部分地保持距离。触摸屏190包括用于显示图像的大量像素。触摸屏190可使用液晶显示器(LCD)、有机发光二极管(OLED)、发光二极管(LED)等。
通过检测通过触摸屏190输出的值(例如，电流值)，触摸屏控制器195可以确定悬停事件产生处和触摸屏190之间的距离，将确定的距离转换为数字信号(例如用Z坐标)，并向控制器110提供该数字信号。
图2是根据本公开实施例的便携式终端的正面的透视图，且图3是根据本公开实施例的便携式终端的背面的透视图。
参考图2和3，触摸屏190被布置在便携式终端100的正面100a的中间。触摸屏190可占据便携式终端100的正面100a的主要部分。图2中，触摸屏190显示了主首页屏幕。主首页屏幕是便携式终端100开机时在触摸屏190上显示的第一个屏幕。当便携式终端100具有若干页不同首页屏幕时，主首页屏幕可以是若干不同首页屏幕中的第一个。在主首页屏幕中可以显示用于运行常用应用的快捷方式图标191-1、191-2、191-3，主菜单键(或应用键)191-4，时间指示符、天气指示符等。如果选择主菜单键191-4，其在触摸屏190上显示菜单屏幕。在触摸屏190的上部可以示出状态条192，其中显示便携式终端100的状态，例如电池充电状态、接收信号的强度、当前时间等。
首页按钮161a、菜单按钮161b和返回按钮161c可被布置在触摸屏190的下部。首页按钮161a用于在触摸屏190上显示主首页屏幕。例如，如果在触摸屏190中显示除了主首页屏幕或者菜单屏幕之外的任意首页屏幕的同时触摸首页按钮161a，则可以在触摸屏190上显示主首页屏幕。此外，当应用在触摸屏190上运行时，如果触摸首页按钮161a，则可以在触摸屏190上显示如图2所示的主首页屏幕。首页按钮161a还可用于在触摸屏190上显示最近使用的应用或任务管理器。
菜单按钮161b提供可在触摸屏190上使用的链接菜单。链接菜单可包括小窗口部件增加菜单、背景改变菜单、搜索菜单、编辑菜单、环境设置菜单等。
当触摸返回按钮161c时，其可以显示就在当前屏幕之前所显示的屏幕或者停止最近使用的应用。
第一相机151、照度传感器170a和接近传感器170b可被放置在便携式终端100的正面100a的边缘。第二相机152、闪光灯153、和扬声器163可被放置在便携式终端100的背面100c。
电源/重置按钮160a、音量按钮160b、用于广播接收的陆地DMB天线141a、一个或多个麦克风162等可以被放置在便携式终端100的侧面100b。DMB天线141a可被固定在便携式终端100上或者可分离地布置。
连接器165形成在便携式终端100的下侧。连接器165具有多个电极并可通过线缆与外部设备相连。耳机插孔167可形成在便携式终端100的上侧。耳机插孔167可接纳耳机。
输入单元168可被布置在便携式终端100的下侧。使用时，输入单元168可插入并保持在便携式终端100内，以及从便携式终端100中抽出并分离。
图4以截面示出了根据本公开实施例的输入单元和触摸屏。
参考图4，触摸屏190包括显示面板440、第一触摸面板450和第二触摸面板460。显示面板440可以是LCD面板、有源矩阵有机发光二极管(AMOLED)面板等，其显示便携式终端100的各种操作状态、由应用和服务导致的各种图像、以及多个对象。
第一触摸面板450是电容触摸面板，其通过以下方式得到：在玻璃两侧涂敷金属导电材料(例如铟锡氧化物(ITO)膜)以在玻璃表面传导电流，然后再涂敷电介质以保持电荷。在输入单元触摸时(例如用户手指或笔在第一触摸面板的表面上)，由于静电，一定量的电荷移动到触摸位置。通过识别因一定量电荷移动引起的电流改变，第一触摸面板450检测触摸的位置。在第一触摸面板450上可以检测可感生静电的多种不同类型的触摸。可以通过任意类型的输入单元例如手指和笔进行触摸。
第二触摸面板是一种电磁谐振(EMR)触摸面板，其包括具有网格结构的电磁感应线圈传感器(未示出)，在该网格结构中，在预定第一方向上和与第一方向相交的第二方向上布置多个环形线圈，以及第二触摸面板还包括用于向电磁感应线圈传感器顺序提供具有预定频率的交流电(AC)信号的电信号处理器(未示出)。如果具有谐振电路的输入单元168接近第二触摸面板，则基于相互电磁感应，由对应环形线圈生成的磁场在输入单元168的谐振电路中感生电流。基于该电流，从输入单元168的谐振电路的线圈(未示出)生成感应磁场。通过在接收状态下检测来自环形线圈的感应磁场，便携式终端100可以检测悬停位置、输入单元168的触摸位置、以及从显示面板440到输入单元168尖部430的高度(h)。从显示面板440到输入单元168尖部430的高度(h)可以根据便携式终端100的性能或结构而变化。
可以在第二触摸面板460上检测由基于电磁感应而感生电流的任意输入单元所进行的悬停和触摸事件。在本公开的各种实施例中，第二触摸面板460专用于检测输入单元168的悬停或触摸事件。输入单元168也可被称为电磁笔或EMR笔。输入单元168可以不同于典型笔，该典型笔既没有谐振电路，也不被第一触摸面板450所检测。输入单元168可被配置为具有按钮420，按钮420用于改变由位于输入单元168本体内且接近本体尖部430的线圈生成的电磁感应值。以下参考图5来描述输入单元168。
触摸控制器195可包括第一触摸面板控制器和第二触摸面板控制器。在检测到用户手指或笔触摸时，第一触摸面板控制器将从第一触摸面板450接收的模拟信号转换为数字信号(例如X、Y和Z坐标)，并向控制器110发送该数字信号。在检测到输入单元168的悬停或触摸时，第二触摸面板控制器将从第二触摸面板460接收的模拟信号转换为数字信号，并向控制器110发送该数字信号。控制器110使用从第一和第二触摸面板控制器的每一个接收的数字信号来控制显示面板440、第一触摸面板450或第二触摸面板46。例如，响应于手指、笔或输入单元168的悬停或触摸，控制器110可以在显示面板440上显示具有预定形式的屏幕。
在便携式终端100的实施例中，第一触摸面板可以检测用户手指或笔的触摸，而第二触摸面板可以检测输入单元168的悬停或触摸。便携式终端100的控制器110从而可以区别地检测用户手指或笔的悬停或触摸以及输入单元168的悬停或触摸。尽管图4中仅示出了一个触摸屏，本公开的各实施例不限于一个触摸屏，还可以包括多个触摸屏。每一个触摸屏可以通过使用铰链与相应外壳相连而被包括在其中，或者多个触摸屏可被包括在单个外壳之中。多个触摸屏的每一个被配置为具有显示面板和至少一个触摸面板，如图4所示。
图5是根据本公开实施例的提供触觉效果的输入单元的框图。
参考图5，在本公开的实施例中，输入单元168(例如触摸笔)可具有笔形的本体，并在本体尖部具有笔尖430。在本体内，输入单元168可包括与笔尖430相邻线圈510、当悬停效果发生时振动的振动元件520、分析因悬停事件从便携式终端100接收的控制信号并控制振动元件520的振动强度和振动间隔的控制器530、执行与便携式终端100的短距通信的短距通信单元540、以及为输入单元168的振动而供电的电池550。输入单元168还可以包括用于改变线圈510生成的电磁感应值的按钮420。输入单元168还可以包括用于根据输入单元168的振动间隔和/或振动强度来输出声音的扬声器560。
在控制器530的控制下，扬声器560可输出与来自移动通信模块120、子通信模块130或者多媒体模块140的各种信号(例如，无线电信号、广播信号、数字音频文件或数字视频文件)相对应的声音。扬声器560还可输出与便携式终端100执行的功能相对应的声音(例如，按钮按压声音或回铃音)。一个或多个扬声器可形成在输入单元168外壳的一个或多个适当位置上。
如果笔尖430接触便携式终端100的触摸屏190或者在可检测悬停距离内接近(例如，5mm)，则控制器530分析通过短距通信单元540从便携式终端100接收的至少一个控制信号，并根据所分析的控制信号来控制振动元件520的振动强度、振动间隔等。控制信号可以等于也可以不等于便携式终端100向助听器发送的控制信号，并且在控制器530的控制下，输入单元168可以输出与助听器输出的声音相同的声音。以下参考图6、7A、7B、7C、7D、7E和7F来描述根据本公开的实施例的控制助听器的收听模式的方法。
图6是示出了根据本公开实施例的利用便携式终端来控制助听器的方法的流程图，并且图7A、7B、7C、7D、7E和7F示出了根据本公开实施例的包含要用于自适应选择助听器的收听模式的环境条件在内的照片。
参考图6和图7A～7F，在操作S610，在考虑环境条件的情况下改变或选择助听器的收听模式的尝试中，便携式终端100可以用便携式终端的相机模块150来拍摄用户的环境条件的照片。环境条件可包括天气条件(例如，是否雨天或雪天)、风景(例如，山、海或野外)、或者其他情况例如会议或音乐会。环境条件可包括其他各种情况，例如安静演讲条件、嘈杂演讲条件、刮风条件等。便携式终端100提前运行助听器控制应用以改变或选择助听器的收听模式。
助听器控制应用控制拍照、照片分析、助听器音量、基于照片分析的阈值设置、以及多个收听模式。可以从提供多种应用的服务器下载应用，或者可以在便携式终端100的环境设置中提供应用。基于对环境条件的分析，可自动或手动设置由应用提供的至少一个功能。基于根据捕获照片获得环境条件，还可以新增或移除收听模式。助听器具有与用户当前位置的各环境条件对应的多个收听模式。例如，如图7A至7F所示，环境条件可包括音乐会条件(如图7A所示)、雨天条件(图7B)、人群条件(图7C)、风景条件(图7D)、会议条件(图7E)和课上条件(图7F)。环境条件不限于此，并可包括用户的其他各种环境
如果环境条件表现得安静，如图7D所示，可以调低助听器的输出声音的音量，使佩戴助听器的用户能够以较低的助听器输出功率来收听环境声音。并且如果环境条件表现得嘈杂，如图7C所示，则可以调高助听器的输出声音的音量，以帮助佩戴助听器的用户听清环境声音。
在操作S612中，控制器110分析操作S610中捕获的照片，以确定环境条件。在控制器110控制下，照片可存储在存储设备175之中。基于照片，控制器110确定用户的环境条件。一般而言，照片包含可由控制器110利用照片的颜色、亮度、特征等来检测的至少一个对象，例如人、山、乐器等。可以使用至少一个对象识别算法来检测对象。对象识别算法包括角点检测(例如Harris角点检测)，并且本公开的各实施例不限于此，还可以包括通过提取捕获照片的特征来检测至少一个对象的其他各种算法。控制器110确定在事先存储的多个特征中是否已找到检测对象的相同特征。
与多个对象的特征有关的信息可存储在存储设备175中。与特征有关的信息可包括与例如用于根据对象类型来区分对象的颜色有关的不同信息，并且能够实现通过形成沿如图7A至7F所示捕获照片中的对象轮廓的特征来检测至少一个对象。控制器110分析照片中包括的对象，并通过比较分析至少一个对象的结果和事先存储的对象，来确定环境条件。
特征是指基于亮度和颜色中至少一项，沿至少一个对象的轮廓形成的用以区分对象大小和类型的点。对象可具有多个特征并且对象可以用特征形成的形状来识别。特征(特征点)是从表示对象的所有点中删除重叠、不重要和不必要的点所剩下的用以表征至少一个对象的最少数量的点。图7A、7B、7C、7D、7E和7F中示出了特征的示例，且可以使用多种不同的算法来检测照片中的对象。
利用至少一个算法，控制器110可根据捕获照片来确定环境条件，并且基于环境条件来生成用于控制助听器的收听模式的控制信号。控制信号可包括绝对声级信息、信号包络信息、频谱内容信息和定向麦克风信息中的至少一个。控制信号中包括的信息是用于根据环境条件来改变或选择收听模式的参数。该信息用于将收听环境分为适当模式。绝对声级信息指示标准参考声级；信号包络信息指示检测到的声信号的包络；频谱内容信息指示由对检测信号的频率分析所得到的信息；以及定向麦克风信息指示用于从各种检测声音中识别源自特定物或人的声音的波束成形信息。在本公开的各实施例中，参数用于确定环境条件。在实施例中，控制信号包括根据各收听模式将被调整的至少一个参数。参数可包括反馈消除器、降噪、宽动态范围压缩(WDRC)、自适应定向麦克风等等。
反馈消除器消除由于来自助听器的放大声音而生成的反馈。例如，如果佩戴助听器的用户在用户耳旁握持蜂窝电话或者用户在墙附近走动，生成反馈。由助听器放大的声音穿过用户耳朵的外耳道回到麦克风，这便生成了反馈。通过调整反馈消除器参数(可在除了音乐会条件之外的所有条件中设置)，可以调整反馈。降噪参数用于消除或降低环境条件中生成的噪声，且可基于对环境噪声的估计来自动设置。例如，针对音乐会条件，将降噪参数设置为0dB，且针对刮风条件，将降噪参数设置为12dB。WDRC参数为来自外部的较小声音提供大增益，同时为较大的声音提供小增益，由此使佩戴助听器的用户能够清楚地听到宽广范围的声音。在除了音乐会条件之外的所有条件中，WDRC参数可被设置为多频带级检测器，但在音乐会条件中设置为多频带级检测器加宽频带级检测器。自适应定向麦克风参数用于基于环境条件来调整麦克风的方向以捕获声音，并且可在除了音乐会和刮风条件之外的所有条件中设置。
例如，如果针对环境条件的收听模式是安静、演讲、课上、噪声和人群模式之一，则反馈消除器参数可设置为“正常”；降噪参数可设置为自适应降噪级；WDRC参数可设置为多频带；以及自适应定向麦克风可设置为“自适应”。如果针对环境条件的收听模式是音乐会或音乐模式，则反馈消除器参数可设置为“慢”；降噪参数可设置为“不激活”；WDRC参数可设置为多频带和宽频带的组合；以及自适应定向麦克风可设置为“全向”。如果针对环境条件的收听模式是刮风条件下的风景模式，则反馈消除器参数可设置为“正常”；降噪参数可设置为12dB；WDRC参数可设置为多频带；以及自适应定向麦克风可设置为“全向”
在操作S614中，基于所确定的环境条件，控制器110可选择助听器可提供的收听模式之一。在本公开的各实施例中，助听器提供可根据相应环境条件自动或手动改变的多个收听模式。助听器可周期性或随机地向或从便携式终端100发送或接收信号。通过与助听器通信的信号，可以向便携式终端100通知助听器可提供的收听模式的类型和当前收听模式。收听模式的类型存储在存储设备175中并周期性刷新。可通过用于控制助听器的收听模式的专用应用来显示收听模式的类型，并且用户可以改变、选择、移除、刷新或生成收听模式的类型。在本公开的实施例中，利用操作S610中捕获的照片，或者利用将捕获照片与便携式终端100的麦克风162所检测的环境声音相匹配的结果，可以选择收听模式。
环境声音可能来源于捕获照片的任何对象，并且在本公开的实施例中，控制器110确定通过确定捕获照片所获得的环境条件是否对应于通过分析检测到的环境声音所获得环境条件，以选择收听模式。如果来自捕获照片的环境条件与来自检测到的环境声音的环境条件相匹配，则控制器110选择适用于环境条件的收听模式。如果来自捕获照片的环境条件与来自检测到的环境声音的环境条件不匹配，用户应当再次拍摄用户周围的照片或者再次检测环境声音以确定是否存在匹配。如果对应的应用没有提供针对环境条件的收听模式，则应用可以新生成与环境条件相对应的收听模式。
在操作S616中，控制器110向助听器发送控制信号以在选定收听模式下操作助听器。控制信号是在考虑到基于捕获照片来选择收听模式的情况或者考虑到通过匹配捕获照片和环境声音来选择收听模式的情况下生成的。控制信号是用于从助听器可提供的各收听模式中选择适用于环境条件的适当收听模式的信号，控制信号是基于确定的环境条件和便携式终端100检测的环境声音来生成的。控制信号可包括：通过分析来自便携式终端100捕获的照片的环境条件来控制助听器的收听模式的信号、以及控制助听器的收听模式以分析便携式终端100检测到的环境声音的控制信号。通过向助听器发送控制信号，便携式终端100控制助听器的收听模式。
图8示出了根据本公开实施例的用于控制助听器的收听模式的助听器控制应用的屏幕。
参考图8，为了控制助听器的收听模式，用户可运行存储在存储设备175中的助听器控制应用或者操作环境设置菜单。助听器控制应用包括以下至少一项：用于拍照的拍照菜单870、用于分析捕获照片的分析菜单880、用于控制助听器的音量的音量菜单810、用于调整为捕获照片的分析而设置的阈值的阈值菜单820、用于选择适用于环境条件的适当收听模式的收听模式菜单830、存储菜单840、取消菜单850以及设置菜单860。收听模式菜单830可提供各种收听模式，例如安静模式831、音乐会模式832、人群模式833、风景模式834、雨天模式835和课上模式836。此外，收听模式菜单830可包括安静模式、音乐会模式、人群模式、风景模式、雨天模式和课上模式中的至少一个。各收听模式均可用于放大声音，以在助听器中输出。
如果选择拍照菜单870，相机模块150被激活并准备好拍照。如果捕获到照片，在便携式终端100的触摸屏190上显示照片，并且在选择分析菜单800时，分析照片以确定环境条件。
如果选择分析菜单880，应用用于对照片中的至少一个对象进行分析的至少一个算法，从而找出至少一个对象。在分析完成后，为用户显示结果以确定分析结果是否正确。在用户作出确认或分析完成后，激活由收听模式菜单提供的对应于分析结果的收听模式。备选地，用户可基于显示的分析结果来手动选择收听模式。在图8中，示出了要选择音乐会模式832。
选择存储菜单840以存储对音量、阈值和收听模式的选择或指定以及对捕获照片的分析结果。在通过选择存储菜单840来存储这些选择或指定以及分析结果后，在控制器110的控制下生成反映该选择或指定以及分析结果的控制信号，并向助听器发送。用户可选择设置菜单860以修改或改变收听模式或分析结果。
安静模式831去激活(deactivate)助听器的收听功能。当选择安静模式831时，停止助听器的收听功能。可选择音乐会模式832，从而在佩戴助听器的用户周围有乐器演奏的条件下以更好的质量收听，如图7A所示。可选择人群模式833，从而在佩戴助听器的用户周围有很多人的条件下以更好的质量收听，如图7C所示。可选择风景模式833，从而在佩戴助听器的用户的环境相对安静的条件下灵敏地检测较小的环境声音，如图7D所示。可选择雨天模式835，从而在雨天条件下以更好的质量收听，如图7B所示。可选择会议模式(未示出)或课上模式836，从而在一个人或者几个人谈话的条件下以更好的质量收听，分别如图7E和7F所示。
图9是根据本公开实施例的具有受到控制的收听模式的助听器的框图。
参考图9，助听器可包括用于拍照的拍照单元910、用于检测环境声音的麦克风920、用于将所检测的具有模拟形式的环境声音转换为数字信号的转换器930、用于从便携式终端100接收控制信号的射频(RF)单元940、用于存储所捕获照片和分析所捕获照片的结果的存储设备960、用于在选定收听模式下放大语音信号的放大器970、用于输出放大的语音信号的输出单元980、用于供电的电源990、以及用于控制助听器的一般操作、根据捕获照片来分析环境条件并控制助听器的收听模式的控制器950。
麦克风920被置于在用户佩戴于用户耳朵上的助听器的外部。麦克风920接收耳朵周围的模拟信号并在控制器950的控制下向转换器930传递模拟信号。转换器930包括模数转换模块和数模转换模块。转换器930将从麦克风920传递的模拟信号转换为数字信号，并向控制器950发送该数字信号。控制器950对从转换器930接收的数字信号执行数字处理，例如对不必要噪声的消除、反馈控制、对放大器970的放大增益的控制、非线性放大等等，并且将结果发回到转换器930。控制器950还通过RF单元940向便携式终端100发送助听器的收听模式的类型。当从便携式终端100接收用于控制助听器的收听模式的控制信号时，控制器950通过分析从便携式终端100接收的信号，通过模式设置模块851控制收听模式(例如改变、取消或者删除收听模式)。控制信号可包括收听模式的类型，还可以包括用于基于环境条件为每一个频率确立放大增益的信息，该环境条件可周期性或随机从便携式终端100传输。
通过分析拍照单元910捕获的照片，控制器950还可以确定当前环境条件，并且通过比较确定的环境条件和当前收听模式来选择最优收听模式。通过分析从便携式终端100接收的控制信号，控制器950确定收听模式，并将所确定的收听模式与通过分析捕获照片得到的环境条件相比较。如果收听模式对应于环境条件，则控制器950将助听器设置在控制信号中包括的收听模式下。如果收听模式不对应于环境条件，则控制器950可将助听器设置在与根据捕获照片所确定的环境条件相对应的收听模式下，或者可以在控制信号所包括的收听模式下操作收听模式。
通过与上述用于分析便携式终端100捕获的照片以确定环境条件的算法相同的方式来分析照片，控制器950确定环境条件。控制器950提取拍照单元950捕获的照片中包含的至少一个对象的特征，并比较具有以所提取特征形成的轮廓的至少一个对象和事先存储的对象。基于该比较，控制器950确定环境条件。基于用于区分对象大小和类型的亮度和颜色中的至少一项，沿至少一个对象的轮廓形成特征。
放大器970对从控制器950接收的模拟信号施加由控制器950调整的增益，并且利用来自电源990的对应于设定收听模式的功率来放大信号。现在将结合图10来详细描述根据本公开实施例的用于控制助听器的收听模式的方法。
图10是示出了根据本公开实施例的用于控制助听器的收听模式的方法的流程图。
参考图10，在操作S1010和S1012中，在接收到用于控制助听器的控制信号时，通过分析控制信号，助听器找出收听模式。控制信号包括与通过分析便携式终端100确定的环境条件和便携式终端100检测的环境声音所得到的针对当前环境条件的收听模式有关的信息。助听器接收该控制信号，并且基于控制信号之中包括的反映环境条件的信息，来选择或改变为助听器提供的收听模式。可以根据控制信号来新增或移除助听器的收听模式，并且各种收听模式可以是可用的，不仅包括安静模式、音乐会模式、人群模式、风景模式、雨天模式和课上模式，还包括与佩戴助听器的用户的所有环境条件相对应的特定收听模式。
在操作S1020中，助听器工作在选定收听模式下。根据环境条件，收听模式放大所检测的声音，以用于输出。例如，如果环境条件安静，助听器可以用较小增益放大声音，并且如果环境条件嘈杂，助听器可以用较大增益放大声音。这些放大控制可以由助听器自身或者通过从便携式终端100接收的控制信号执行。由于便携式终端100和助听器通常由同一人携带和佩戴，二者之间的距离接近。因此便携式终端100可向助听器发送基于环境条件对所检测声音进行放大的结果。
如果在操作S1014中利用控制信号中包含的收听模式和对从照片中提取的至少一个对象进行分析的结果来选择收听模式，则在操作S1016中拍摄用户环境的照片并根据照片来确定环境条件。在本公开实施例中，助听器具有用于拍照的拍照单元910(例如相机单元)。拍照单元910拍摄环境条件的照片并向控制器950发送照片。控制器950提取包括在捕获照片中的至少一个对象的特征，并检测与由所提取特征形成的轮廓相对应的至少一个对象。然后在操作S1016中，控制器950比较所检测的至少一个对象和事先存储的对象，并基于比较结果来确定环境条件。在本公开实施例中，助听器的收听模式可以基于包含在控制信号中的收听模式和根据照片获得的收听模式或者根据接收的控制信号来改变或选择。
在操作S1018中，控制器950基于包含在控制信号中的收听模式和环境情况来确定收听模式。助听器可提供各种收听模式，包括安静模块、音乐会模式、人群模式、风景模式、雨天模式、课上模式和对应于各种环境条件的其他各种模式。通过便携式终端100的助听器控制应用，可以新增或移除这些模式的至少一个。在操作S1020中，助听器工作在所确定的收听模式下。在确定收听模式后，助听器根据收听模式来控制输出声音的增益。将结合图11来详细描述根据本公开另一个实施例的用于控制助听器的收听模式的方法。
图11是示出了根据本公开另一个实施例的用于控制助听器的收听模式的方法的流程图。
参考图11，操作S1110中，如果尝试设置或改变助听器的收听模式，则在操作S1112中，助听器使用拍照单元910来拍摄环境条件的照片。环境条件可以是诸如雨天或雪天的天气条件，诸如山、海或野外的风景，或者诸如会议或音乐会的某个情况。通过提取在用户周围捕获的图像或视频中出现的至少一个对象的轮廓或特征，可以确定环境条件，并且环境条件可以包括音乐会条件、人群条件、安静风景条件、课上条件、演讲条件、雨天条件或雪天条件，以及反映用户各种环境的任何其他条件。
在操作S1114中，分析在操作S1112中捕获的照片。为了自适应地改变或选择与环境条件相配的收听模式，控制器950提取包含在捕获照片中的至少一个对象的特征，并根据由所提取特征形成的轮廓来检测至少一个对象。然后，控制器950比较所检测的至少一个对象和事先存储的对象，并基于比较结果来确定环境条件。控制器950使用至少一个对象识别算法在捕获照片或图像中检测至少一个对象，以确定佩戴助听器的用户的环境条件。
检测照片中对象的对象识别算法(例如角点检测、Harris角点检测等)可存储在存储设备960中。存储设备960还可以存储根据捕获图像来确定环境条件的各种算法和每个算法所必需的各种信息(其可从图像或视频中提取)。存储设备960还可以存储用于确定环境条件的多个对象的特征和轮廓以及各种现实对象的特征和轮廓。通过提取捕获照片的颜色或亮度方面的特征或差异，控制器950可以检测至少一个对象。特征点是从表示对象的所有点中删除重叠、不重要和不必要的点所剩下的用以表征对象的最少数量的点。
在操作S1116中，设置或改变根据捕获照片的分析结果的收听模式。助听器可提供各种收听模式，包括安静模块、音乐会模式、人群模式、风景模式、雨天模式、课上模式和对应于各种环境条件的其他各种模式。在控制器950的控制下，可以改变或设置收听模式并新增或移除这些模式中的至少一个。
在操作S1118中，助听器工作在所设置或改变的收听模式下。在确定收听模式后，助听器根据收听模式来控制输出声音的增益。
根据本公开的各实施例，佩戴助听器的用户可以有更好的收听服务。拍照以确定环境条件并针对环境条件来提供自适应收听模式可以使佩戴助听器的用户能够听到更真实的声音。使用通过分析照片的环境条件所得到的数据来选择收听模式，可以为佩戴助听器的用户提供更真实的声音。
将要理解的是：本公开的各实施例可实现为硬件、软件或者硬件和软件的组合的形式。软件可在非瞬时计算机可读介质上存储为在处理器上可执行的程序指令或计算机可读代码。计算机可读记录介质的示例包括：磁存储介质(例如，ROM、软盘、硬盘等)、光记录介质(例如，CD-ROM或DVD)。该介质可被计算机读取、存储在存储器中、并被处理器执行。包括在便携式终端中的存储器可以是适用于存储具有实现本公开实施例的指令的一个或多个程序的非瞬时计算机可读记录介质的示例。本公开可由具有用于体现权利要求所述方法的代码的程序来实现，该程序存储在机器可读存储介质之中。
便携式终端可从与其有线/无线相连的程序提供方接收并存储程序。程序提供方可包括具有供便携式终端执行方法的指令的程序、用于存储该方法所需信息的存储器、用于与便携式终端有线/无线通信的通信单元、以及用于从便携式终端接收请求并向便携式终端传送对应程序的控制器。
尽管已参考本公开各实施例示出和描述了本公开，本领域技术人员将理解：可对其作出形式上和细节上的各种修改，而不脱离由随附权利要求及其等同物所界定的本公开的精神和范围。

Claims (14)

1.一种使用电子设备来控制助听器的方法，所述方法包括：
捕获图像；
通过提取所捕获的图像的特征来检测所述图像中的至少一个对象；
将检测到的所述至少一个对象与事先存储的对象加以比较以确定环境情况；
基于所确定的环境情况来生成用于控制所述助听器的收听模式的控制信号；以及
向所述助听器发送所述控制信号，
其中，所提取的特征包括沿所检测的至少一个对象的轮廓形成的点。
2.根据权利要求1所述的方法，其中，基于所述环境情况和由所述电子设备检测到的环境声音，来生成所述控制信号，
其中，所述控制信号用于从所述助听器提供的多个收听模式中选择适用于所述环境情况的适当的收听模式。
3.根据权利要求1所述的方法，还包括：
运行应用以控制所述收听模式的改变，
其中，所述应用包括以下至少一项：用于捕获所述图像的图像拍摄菜单、用于分析所捕获的图像的分析菜单、用于控制所述助听器的音量的音量菜单、用于调整为分析所捕获的图像而设置的阈值的阈值菜单、用于选择适用于所述环境情况的适当的收听模式的收听模式菜单。
4.根据权利要求1所述的方法，其中，生成所述控制信号包括：
比较具有由所提取特征形成的轮廓的所述至少一个对象和所存储的对象；以及
基于所述比较来确定所述环境情况。
5.根据权利要求1所述的方法，其中，所述收听模式包括以下至少一项：无声模式、音乐会模式、人群模式、风景模式、雨天模式和课上模式。
6.一种用于控制助听器的电子设备，所述电子设备包括：
相机，被配置为捕获图像；
控制器，被配置为：
通过提取所述图像的特征来检测所述图像中的至少一个对象；
将检测到的所述至少一个对象与事先存储的对象加以比较以确定环境情况；以及
基于所确定的环境情况来生成用于控制所述助听器的收听模式的控制信号；以及
收发器，被配置为向所述助听器发送所述控制信号，
其中，所提取的特征包括沿所检测的至少一个对象的轮廓形成的点。
7.根据权利要求6所述的电子设备，还包括：
麦克风，用于检测环境声音以生成所述控制信号。
8.根据权利要求7所述的电子设备，其中，所述控制器还被配置为：
确定根据所述环境声音所确定的收听模式是否与所确定的环境情况相匹配，并且
如果根据所述环境声音所确定的收听模式与所确定的环境情况不匹配，将所述收听模式改变为与所述环境情况相对应的收听模式。
9.一种改变助听器的收听模式的方法，所述方法包括：
从电子设备接收基于所确定的环境情况生成的用于控制所述助听器的收听模式的控制信号，所述环境情况是通过以下方式来确定的：通过提取图像的特征来检测所述图像中的至少一个对象，以及将检测到的所述至少一个对象与事先存储的对象加以比较；
根据对所述控制信号的分析来提取收听模式；以及
将所述助听器的收听模式改变为所提取的收听模式，
其中，所提取的特征包括沿所检测的至少一个对象的轮廓形成的点。
10.根据权利要求9所述的方法，还包括：
确定所述环境情况是否与所提取的收听模式相匹配；以及
如果所述环境情况与所提取的收听模式不匹配，将所述助听器的收听模式改变为适用于所述环境情况的收听模式。
11.根据权利要求9所述的方法，其中，根据对基于由所述电子设备捕获的图像所确定的环境情况的分析，所述控制信号控制所述助听器的收听模式。
12.一种助听器，包括：
射频(RF)单元，被配置为：
向电子设备发送由所述助听器提供的至少一个收听模式，以及
从电子设备接收基于所确定的环境情况生成的用于控制所述助听器的收听模式的控制信号，所述环境情况是通过以下方式来确定的：通过提取图像的特征来检测所述图像中的至少一个对象，以及将检测到的所述至少一个对象与事先存储的对象加以比较；以及
控制器，被配置为：
根据对所述控制信号的分析来提取收听模式，以及
将所述助听器的收听模式改变为所提取的收听模式，
其中，所提取的特征包括沿所检测的至少一个对象的轮廓形成的点。
13.根据权利要求12所述的助听器，其中，所述控制器还被配置为：如果所确定的环境情况与所提取的收听模式不匹配，将所述助听器的收听模式改变为适用于所述环境情况的收听模式。
14.根据权利要求12所述的助听器，其中，根据对基于由所述电子设备捕获的图像所确定的环境情况的分析，所述控制信号控制所述助听器的收听模式。
CN201480006726.4A 2013-02-15 2014-02-14 用于控制助听器的便携式终端及其方法 Expired - Fee Related CN104982041B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020130016624A KR102052153B1 (ko) 2013-02-15 2013-02-15 보청기를 제어하는 휴대 단말 및 방법
KR10-2013-0016624 2013-02-15
PCT/KR2014/001228 WO2014126415A1 (en) 2013-02-15 2014-02-14 Portable terminal for controlling hearing aid and method therefor

Publications (2)

Publication Number Publication Date
CN104982041A CN104982041A (zh) 2015-10-14
CN104982041B true CN104982041B (zh) 2019-01-01

Family

ID=51351179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480006726.4A Expired - Fee Related CN104982041B (zh) 2013-02-15 2014-02-14 用于控制助听器的便携式终端及其方法

Country Status (5)

Country Link
US (1) US9549264B2 (zh)
EP (1) EP2957039B1 (zh)
KR (1) KR102052153B1 (zh)
CN (1) CN104982041B (zh)
WO (1) WO2014126415A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9794701B2 (en) * 2012-08-31 2017-10-17 Starkey Laboratories, Inc. Gateway for a wireless hearing assistance device
WO2015024586A1 (en) 2013-08-20 2015-02-26 Widex A/S Hearing aid having a classifier for classifying auditory environments and sharing settings
WO2015024585A1 (en) 2013-08-20 2015-02-26 Widex A/S Hearing aid having an adaptive classifier
AU2013398554B2 (en) 2013-08-20 2018-02-08 Widex A/S Hearing aid having a classifier
EP2928211A1 (en) * 2014-04-04 2015-10-07 Oticon A/s Self-calibration of multi-microphone noise reduction system for hearing assistance devices using an auxiliary device
US10225670B2 (en) * 2014-09-12 2019-03-05 Sonova Ag Method for operating a hearing system as well as a hearing system
US10499164B2 (en) * 2015-03-18 2019-12-03 Lenovo (Singapore) Pte. Ltd. Presentation of audio based on source
US9654618B2 (en) 2015-07-08 2017-05-16 International Business Machines Corporation Adjusting a volume level of a phone for a detected hearing aid
US9940928B2 (en) 2015-09-24 2018-04-10 Starkey Laboratories, Inc. Method and apparatus for using hearing assistance device as voice controller
JP2017069687A (ja) * 2015-09-29 2017-04-06 ソニー株式会社 情報処理装置及び情報処理方法並びにプログラム
KR102190283B1 (ko) * 2015-11-27 2020-12-14 한국전기연구원 사용자 환경 기반의 청력 보조 장치 피팅 시스템 및 방법
US20180132044A1 (en) * 2016-11-04 2018-05-10 Bragi GmbH Hearing aid with camera
CN106664337B (zh) * 2016-12-01 2019-10-01 深圳市汇顶科技股份有限公司 通信控制方法、主设备及辅助设备
CN106941653A (zh) * 2017-04-03 2017-07-11 浙江诺尔康神经电子科技股份有限公司 人工耳蜗智能预测系统和方法
CN106878871B (zh) * 2017-04-11 2019-09-10 英华达（上海）科技有限公司 音频电子装置及其操作方法
EP3468227B1 (en) * 2017-10-03 2023-05-03 GN Hearing A/S A system with a computing program and a server for hearing device service requests
US10866697B2 (en) * 2017-10-24 2020-12-15 Microchip Technology Incorporated Touch-sensitive user-interface including configurable virtual widgets
CN108200493B (zh) * 2017-12-29 2020-09-29 广州酷狗计算机科技有限公司 耳机组件、耳机的功能控制方法及装置
EP3435689A1 (en) * 2018-04-09 2019-01-30 Oticon A/s Setup of hearing instrument including hearing instrument property identification
CN111050269B (zh) * 2018-10-15 2021-11-19 华为技术有限公司 音频处理方法和电子设备
CN111148271B (zh) * 2018-11-05 2024-04-12 华为终端有限公司 一种控制助听器的方法及终端
TWI768175B (zh) * 2019-01-10 2022-06-21 陳筱涵 具收音場景切換功能的助聽系統
WO2021014295A1 (en) 2019-07-22 2021-01-28 Cochlear Limited Audio training
WO2021144033A1 (de) * 2020-01-17 2021-07-22 Sivantos Pte. Ltd. Verfahren zum betrieb eines hörhilfegerätes
JP7338489B2 (ja) * 2020-01-23 2023-09-05 トヨタ自動車株式会社 音声信号制御装置、音声信号制御システム及び音声信号制御プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1988737A (zh) * 2005-12-21 2007-06-27 奥迪康有限公司 用于控制助听器的传递函数的系统

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7365766B1 (en) 2000-08-21 2008-04-29 Marie Lapalme Video-assisted apparatus for hearing impaired persons
DE10048338A1 (de) * 2000-09-29 2002-04-18 Siemens Audiologische Technik Fernbedienung für ein Hörhilfegerät
US6707921B2 (en) * 2001-11-26 2004-03-16 Hewlett-Packard Development Company, Lp. Use of mouth position and mouth movement to filter noise from speech in a hearing aid
DE10236167B3 (de) 2002-08-07 2004-02-12 Siemens Audiologische Technik Gmbh Hörhilfegerät mit automatischer Situtaionserkennung
EP1729231A1 (en) 2005-06-01 2006-12-06 Oticon A/S System and method for adapting hearing aids
ATE471041T1 (de) 2005-08-23 2010-06-15 Phonak Ag Verfahren zum betrieb eines hörgerätes sowie ein hörgerät
AU2008265110B2 (en) 2007-06-21 2011-03-24 University Of Ottawa Fully learning classification system and method for hearing aids
JP4662495B2 (ja) 2007-11-30 2011-03-30 株式会社スクウェア・エニックス 画像生成装置、画像生成プログラム、画像生成プログラム記録媒体及び画像生成方法
KR20090105531A (ko) * 2008-04-03 2009-10-07 슬림디스크 주식회사 카메라센서로 찍은 문서 이미지를 시각장애인에게 음성으로알려주는 방법 및 장치
PT2324653T (pt) 2008-09-12 2019-12-13 Nokia Technologies Oy Direcionamento de capacidades de equipamento de utilizador
KR101534505B1 (ko) 2008-11-28 2015-07-09 엘지전자 주식회사 이동 단말기
KR101554043B1 (ko) 2009-04-06 2015-09-17 삼성전자주식회사 이동통신 단말기를 이용한 디지털 보청기 제어 방법과 그 이동통신 단말기 및 디지털 보청기
TWI484833B (zh) * 2009-05-11 2015-05-11 Alpha Networks Inc 助聽器系統
US9094645B2 (en) * 2009-07-17 2015-07-28 Lg Electronics Inc. Method for processing sound source in terminal and terminal using the same
US20110044483A1 (en) 2009-08-18 2011-02-24 Starkey Laboratories, Inc. Method and apparatus for specialized gesture sensing for fitting hearing aids
EP2328363B1 (en) 2009-09-11 2016-05-18 Starkey Laboratories, Inc. Sound classification system for hearing aids
US8538049B2 (en) * 2010-02-12 2013-09-17 Audiotoniq, Inc. Hearing aid, computing device, and method for selecting a hearing aid profile
US8582790B2 (en) * 2010-02-12 2013-11-12 Audiotoniq, Inc. Hearing aid and computing device for providing audio labels
US8447042B2 (en) * 2010-02-16 2013-05-21 Nicholas Hall Gurin System and method for audiometric assessment and user-specific audio enhancement
US20120183164A1 (en) * 2011-01-19 2012-07-19 Apple Inc. Social network for sharing a hearing aid setting
US9364669B2 (en) * 2011-01-25 2016-06-14 The Board Of Regents Of The University Of Texas System Automated method of classifying and suppressing noise in hearing devices
JP2012156898A (ja) 2011-01-27 2012-08-16 Ntt Docomo Inc 通信システム、移動機及び切替制御方法
US8922657B2 (en) * 2011-03-08 2014-12-30 Bank Of America Corporation Real-time video image analysis for providing security
WO2012164694A1 (ja) 2011-05-31 2012-12-06 富士通株式会社 無線通信システム、移動局、基地局、及び無線通信方法
KR101831652B1 (ko) * 2011-09-07 2018-02-26 엘지디스플레이 주식회사 입체영상 표시장치와 그 구동방법
US8704070B2 (en) * 2012-03-04 2014-04-22 John Beaty System and method for mapping and displaying audio source locations

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1988737A (zh) * 2005-12-21 2007-06-27 奥迪康有限公司 用于控制助听器的传递函数的系统

Also Published As

Publication number Publication date
KR20140103003A (ko) 2014-08-25
WO2014126415A1 (en) 2014-08-21
EP2957039B1 (en) 2021-01-20
KR102052153B1 (ko) 2019-12-17
EP2957039A1 (en) 2015-12-23
EP2957039A4 (en) 2017-11-15
US20140233774A1 (en) 2014-08-21
US9549264B2 (en) 2017-01-17
CN104982041A (zh) 2015-10-14

Similar Documents

Publication Publication Date Title
CN104982041B (zh) 用于控制助听器的便携式终端及其方法
WO2021213120A1 (zh) 投屏方法、装置和电子设备
CN109271081B (zh) 滚动截屏的方法及电子设备
US10564675B2 (en) Mobile terminal and control method therefor
CN105432061B (zh) 移动终端和控制方法
CN105630225A (zh) 移动终端及其控制方法
CN105450848A (zh) 移动终端及其控制方法
CN105388995A (zh) 启用触觉的可变形表面的形状输入和输出的系统和方法
KR20150007159A (ko) 전자 기기 및 그 제어 방법
KR102090948B1 (ko) 대화 기록 장치 및 그 방법
CN109840584B (zh) 基于卷积神经网络模型的图像数据分类方法及设备
CN106131532B (zh) 移动终端及其控制方法
CN105635452A (zh) 移动终端及其联系人标识方法
JP2016511875A (ja) 画像サムネイルの生成方法、装置、端末、プログラム、及び記録媒体
KR20160127606A (ko) 이동 단말기 및 그 제어 방법
KR20150141793A (ko) 무선 리시버 및 그 제어 방법
CN108182031A (zh) 一种拍照方法、终端及计算机可读存储介质
WO2022242217A1 (zh) 线性马达的控制方法、装置、设备及可读存储介质
CN108900688B (zh) 发声控制方法、装置、电子装置及计算机可读介质
KR20190102585A (ko) 이동 단말기 및 그 제어 방법
KR20160023212A (ko) 글래스 타입의 이동 단말기 및 그 제어방법
CN111310701B (zh) 手势识别方法、装置、设备及存储介质
CN103529935A (zh) 用户界面方法以及用于所述用户界面方法的设备
CN111341317A (zh) 唤醒音频数据的评价方法、装置、电子设备及介质
CN109144368A (zh) 一种图片的转换方法和终端

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190101

Termination date: 20210214

CF01 Termination of patent right due to non-payment of annual fee