CN111935581A - 电子记忆耳机 - Google Patents

Abstract

本发明公开了一种电子记忆耳机，属于智能可穿戴便携设备领域，本发明的目的是提供一种具有视觉和语音识别的智能可穿戴产品能够通过智能处理技术对输入信息进行辅助识别，补充大脑记忆的不足，记住每个人的名字、对话重要信息的智能记录，自动识别遇到的场景和事件，判断是否需要存储并基于场景识别的内容进行删减并保护个人隐私。所述的电子记忆耳机，主要包含核心模块、电源管理模块、电源和充电模块、信息采集模块、数据存储和交互模块和用户交互模块，其中核心模块是系统的核心，核心模块可以是本地数据处理模块，也可以采用云端处理模，用于执行识别程序实现上述功能。

Description

电子记忆耳机

技术领域

本发明属于智能可穿戴便携设备领域，是一种涉及智能影像识别系统、语音识别系统、智能交互硬件和软件处理装置的智能可穿戴便携设备。

背景技术

随着科技的不断发展，计算机视觉与人工智能技术的不断提升，人脸识别技术、物体识别技术和语音识别技术越来越成熟、精准，而智能硬件设备同时越来越小巧、便携、交互。一款具有视觉和语音识别的智能可穿戴产品能够通过智能处理技术对输入信息进行辅助识别，补充大脑记忆的不足，记住每个人的名字、对话重要信息的智能记录，自动识别遇到的场景和事件，判断是否需要存储并基于场景识别的内容进行删减并保护个人隐私。例如，会帮你记住脸盲症又称为“面孔遗忘症”，也就是说当患者见到别人却看不清别人的脸或对别人的脸型失去辨认能力时，可以通过外接设备解决脸盲症带来的困扰。

发明内容

为了解决上述问题，本发明提出了一种电子记忆耳机，通过计算机视觉分析方法搭配拍摄装置和语音识别设备，再通过搭载长光芯忆自主软件，实现对记忆信息的采集、分析和记录功能。在日常生活工作中，为用户提供记忆备份，场景分析，辅助记忆，信息提醒备忘等服务，作为用户的“第二大脑”和“电子管家”。本发明所采用的技术方案具体如下：

电子记忆耳机，主要包含电源管理模块、电源和充电模块、信息采集模块、数据存储和交互模块和用户交互模块。

所述的电源管理模块，用于为其他模块供电进行管理，其主要组成是电源管理芯片SOC或根据各级供电要求组成的LDO电源网络，根据其他模块中各个器件的供电需求和上下电顺序实现电源管理功能；

所述的电源和充电模块，是系统的移动电源，耳机设备自带锂电池供电，以达到便携性要求，在设备内有充电管理电路，实现电池的充放电。

所述的信息采集模块：主要包括摄像头、麦克风两种外设和接口电路，安装在可穿戴设备上，实现对环境信息的采集；

所述的数据存储和交互模块，包括数据存储装置和交互模块两部分，其中数据存储装置用来存储基本程序、设置以及信息采集模块所采集的数据；交互模块可以通过无线传输方式，将数据存储装置中的设置和信息采集模块所采集的数据实时传输到用户手机或终端设备上，查看和备份，并对设置信息进行修改。

所述的用户交互模块：主要包括扬声器和按键两个部分，扬声器直接集成到外壳上，用户在佩戴时通过扬声器直接收到语音提示，所述按键用于发出控制指令、调节音量大小和开关机、重启、唤醒休眠。

所述的电子记忆耳机还包含核心模块，所述的核心模块用于运行基本程序，以实现以下控制步骤：

第一步：通过信息采集模块中的摄像头和麦克风采集周围环境的图像和音频数据；

第二步：根据数据存储和交互模块中存储的信息采用图像识别方法自动识别图像中的人物、场景，采用语音识别方法识别音频中的语音指令；

第三步：根据当前的交互模式选择进入场景识别模式或人脸识别模式，进入人脸识别模式时，根据图像识别得到人物查询得到存储于数据存储和交互模块中的人物信息，通过语音和/或手机终端方式输出和显示信息；当进入场景识别模式时，在进入设定的场景后根据所选择的具体功能执行操作，当选择视频备忘功能时，则将对应场景下拍摄的图像以视频的形式进行记录，当选择语音备忘功能时，则将语音记录以音频或经识别得到的文本形式形成语音备忘录存储于数据存储和交互模块；

第三步中所述的交互模式包括：语音指令交互模式和按键指令交互模式，所述的语音指令交互模式指根据设定的特定语音指令执行特定操作的方式，按键指令交互模式是指根据按键设定的指令执行特定操作的方式。

本发明中的交互模式还包括：手势指令交互模式，所述的手势指令交互模式是指根据信息采集模块中的摄像头采集到手势的已关联的指令执行操作的方式。

优选地，所述的视频备忘功能中可进一步包含图像识别功能，对视频图像中出现的需要采集的信息通过图像识别方式进行采集并存储在数据存储和交互模块，并可进一步通过语音形式对识别信息进行输出。

优选地，该步骤中还包括第四步：设备在执行第三步的同时通过所述的数据存储和交互模块以无线传输的方式将识别到人物、场景的信息输出到用户绑定的手机端或其他终端设备。

进一步的，用户交互模块中还包含的按键可用作开关，使上述图像、音频的采集与关闭可手动选择。

进一步的，根据用户设定，对相关信息可选择提示的优先级，对所识别出的人物或场景信息根据设定的优选级顺序输出，设定方式可通过语音指令和手机或终端方式进行。

进一步的，在耳机外壳上设有接触式充电接口，用来连接充电仓，设备通过充电仓进行充电，充电仓含有移动电源，可以随时对设备进行充电，也可以通过有线充电器进行补电。

所述的核心模块，是系统的核心，核心模块可以是本地数据处理模块，也可以采用云端处理模块。所述本地数据处理模块是CPU处理器、GPU处理器或专用芯片。

本发明的有益效果：

随着信息大爆炸时代的到来，人们每时每刻都会主动或被动的接受各种各样的信息并必须加以运用。而这些信息往往以声光电等多模态的方式存在，如何有效的筛选发现、智能识别、自动整理并实时推送这些信息，将成为各行各业乃至个人信息管理的难题。另一方面，终端设备的便携性也大大制约着多模态信息获取的应用场景，虽然便携式智能可穿戴设备可以通过软件支持和数据交互、云端交互实现强大的功能，但电池续航时间短、功能不全以及隐私问题等限制了智能可穿戴设备的大范围使用和落地推广。

而此“电子记忆耳机”将解决上述两个问题，通过图像识别，语音识别将信息获取的手段智能化、便携化，通过和智能设备及软件APP相连，拥有多模态能力和可扩展性，提高用户体验，使其成为良好的信息获取设备。

此“电子记忆耳机”有着广泛的市场需求，是一款消费级产品，可以帮助平时以与人打交道为主要工作的用户，如保安、高端零售业(卖车、卖房)等，解决由于脸盲症问题对工作和生活带来的不便，使得用户可以借助低廉的辅助智能设备，大幅度提升指定目标或客户的识别能力。可以帮助警察在执勤过程中实施记录图像视频数据，同时智能编辑所记录的图像信息，还能针对预定人脸信息识别是否为目标人物，而人脸识别的针对开发可以包含国外人群，使国际维和部队使用。还可以另媒体记录工作者，艺术工作者实时方便记录图像，风景，艺术品等，同时利用图像识别技术对记录的图像数据分类保存。

附图说明

图1本发明硬件结构图；

图2本发明装置结构示意图。

具体实施方式

下面根据具体实施例，对所述发明进行进一步的阐述：

如图1所示，电子记忆耳机，主要包含核心模块、电源管理模块、电源和充电模块、信息采集模块、数据存储和交互模块和用户交互模块。

所述的电源管理模块，用于为其他模块供电进行管理，其主要组成是电源管理芯片SOC或根据各级供电要求组成的LDO电源网络，根据其他模块中各个器件的供电需求和上下电顺序实现电源管理功能；

所述的电源和充电模块，是系统的移动电源，耳机设备自带锂电池供电，以达到便携性要求，在设备内有充电管理电路，实现电池的充放电。

所述的信息采集模块：主要包括摄像头、麦克风两种外设和接口电路，安装在可穿戴设备上，实现对环境信息的采集；

本实施例中的摄像头支持MIPI-CSI2和DVP两种接口；其中MIPI-CSI2最高速率1Gbps，可支持4lane输入；DVP接口PCLK时钟最高可达148.5MHz，最高支持12-bit深度。

所述的数据存储和交互模块，包括数据存储装置和交互模块两部分，其中数据存储装置用来存储基本程序、设置以及信息采集模块所采集的数据；交互模块可以通过无线连接，将数据存储装置中的设置和信息采集模块所采集的数据实时传输到用户手机或终端设备上，查看和备份，并对设置信息进行修改。

数据存储装置由DRAM和eMMC两部分组成，DRAM采用两片容量512MB的颗粒组成整体容量为1GB的DDR3内存；eMMC采用16G容量的存储芯片，用于数据存储。

交互模块中的无线连接采用了SDIO WIFI模块，其具备Wi-Fi和蓝牙功能，主要用于连接用户的手机或其他终端设备，使手机或其他终端设备能够控制修改设备，并获取实时的信息。

所述的用户交互模块：主要包括扬声器和按键两个部分，扬声器直接集成到外壳上，用户在佩戴时通过扬声器直接收到语音提示，所述按键用于发出控制指令、调节音量大小和开关机、重启、唤醒休眠。

所述的核心模块，是系统的核心，核心模块可以是本地数据处理模块，也可以采用云端处理模块。所述本地数据处理模块是CPU处理器、GPU处理器或专用芯片。

所述的数据存储和交互模块交互方式可以采用蓝牙、Wi-Fi、4G或5G无线传输方式。

核心模块用于运行基本程序以实现以下步骤：

第一步：通过信息采集模块中的摄像头和麦克风采集周围环境的图像和音频数据；

第二步：根据数据存储和交互模块中存储的信息采用图像识别方法自动识别图像中的人物、场景，采用语音识别方法识别音频中的语音指令；

第三步：根据当前的交互模式或默认选择方式，选择进入场景识别模式或人脸识别模式，进入人脸识别模式时，根据图像识别得到人物查询得到存储于数据存储和交互模块中的人物信息，通过语音和/或手机终端方式输出和显示信息；当进入场景识别模式时，在进入设定的场景后根据所选择的具体功能执行操作，当选择视频备忘功能时，则将对应场景下拍摄的图像以视频的形式进行记录，当选择语音备忘功能时，则将语音记录以音频或经识别得到的文本形式形成语音备忘录存储于数据存储和交互模块；

第三步中所述的交互模式包括：语音指令交互模式和按键指令交互模式，所述的语音指令交互模式指根据设定的特定语音指令执行特定操作的方式，按键指令交互模式是指根据按键设定的指令执行特定操作的方式。

本发明中的交互模式还包括：手势指令交互模式，所述的手势指令交互模式是指根据信息采集模块中的摄像头采集到手势的已关联的指令执行操作的方式。

本实施例中按键指令通过多功能按键进行自定义功能实现，通过按键方式触发，语音指令通过语音指令方式触发进入相应功能，如：“进行人脸识别”、“进行场景识别”、“修改设置”的等。

手势指令通过修改设置将特定的手势与功能进行关联，在图像识别开启的情况下通过作出相应手势，由图像识别出特定的手势后，根据设置开启相应的功能。

优选地，所述的视频备忘功能中可进一步包含图像识别功能，对视频图像中出现的需要采集的信息通过图像识别方式进行采集并存储在数据存储和交互模块，并可进一步通过语音形式对识别信息进行输出。

第四步：设备在执行第三步的同时通过所述的数据存储和交互模块以WiFi或蓝牙传输的方式将识别到人物、场景的信息输出到用户绑定的手机端或其他终端设备。

进一步的，用户交互模块中的按键可用作开关，使上述图像、音频的采集与关闭可手动选择。

进一步的，根据用户设定，对相关信息可选择提示的优先级，对所识别出的人物或场景信息根据设定的优选级顺序输出，设定方式可通过语音指令和手机或终端方式进行。

进一步的，在耳机外壳上设有接触式充电接口，用来连接充电仓，设备通过充电仓进行充电，充电仓含有移动电源，可以随时对设备进行充电，也可以通过有线充电器进行补电。

图2本发明的电子记忆耳机装置示意图，该耳机的前端安装有摄像头6用于采集信息，内置的锂电池和麦克风，按键可设置在外壳上，耳机的内侧设有耳挂5，本实施例中设有4个按键，分别具备如下功能：

按键1：开关机、重启、唤醒休眠；一键记录

按键2：多功能按键，可根据使用场景配置，如开始或停止录音/录像等功能

按键3：音量+/上翻页；

按键4：音量-/下翻页。

其中，按键1可采用主控的SIO电源管理实现，按键2、3、4使用主控的GPADC口作为按键检测功能，接收到相应的按键中断后，由软件判断当前状态，实现相应的功能。

下面以特定场景下本发明产品目标人群使用方式进行具体说明。

1)目标人群：商务人群

其可事先将其他人信息通过手机终端录入并存储到电子记忆耳机中的数据存储和交互模块，当其通过交互指令选择进入人脸识别模式时，电子记忆耳机则对采集到图像中的人脸进行识别，并将识别出的人物信息通过语音方式或者传输到手机终端进行查看。

2)目标人群：极限运动爱好者

通过交互指令选择进入场景识别模式，当其进入设定的场景(如运动场地)时，选择视频备忘功能时，则电子记忆耳机自动开始摄录采集到的影像，并可以进一步通过软件算法对影像进行优化，使其能够记录优质的视频影像。

3)目标人群：警察

通过交互指令选择进入场景识别模式，当其进入设定的场景(如执法场地)时，选择视频备忘功能时，则电子记忆耳机自动开始摄录采集到的影像，并可以进一步通过软件算法对影像进行优化，使其能够记录优质的视频影像，同时可以开启图像识别功能，对视频图像中出现的需要采集的信息(如车牌号、犯罪嫌疑人的人脸)通过图像识别方式进行采集并存储在数据存储和交互模块，并可进一步通过语音形式对识别信息进行输出。

4)目标人群：医生

通过交互指令选择进入场景模式识别，当其进入设定的场景，比如病人病床时，可以通过视频备忘功能，电子记忆耳机识别病人身份，输出病人病例，同时可以提醒医生病人相关的治疗阶段、信息等预先设定的提示信息。

当医生进行手术时，可进入特定的手术场景，识别病人身份信息，识别病人手术病灶信息，通过语音推送预设关键信息。极大提升医生的提取信息能力，后续可以根据不同的场景与使用条件进行特定产品开发，提高产品性能。

以上列举了几个目标人群在各个使用场景下的实施方式，但本发明目标人群不限于上述目标人群。

本领域内的技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施，或集成在手机中完成。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、或技术领域内所公知的任意其它形式的存储介质中。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (10)

1.电子记忆耳机，其特征在于，其主要包含电源管理模块、电源和充电模块、信息采集模块、数据存储和交互模块和用户交互模块；

所述的电源管理模块，用于为其他模块供电进行管理，其主要组成是电源管理芯片SOC或根据各级供电要求组成的LDO电源网络，根据其他模块中各个器件的供电需求和上下电顺序实现电源管理功能；

所述的电源和充电模块，是系统的移动电源，耳机设备自带锂电池供电，以达到便携性要求，在设备内有充电管理电路，实现电池的充放电。

所述的信息采集模块：主要包括摄像头、麦克风两种外设和接口电路，安装在可穿戴设备上，实现对环境信息的采集；

所述的数据存储和交互模块，包括数据存储装置和交互模块两部分，其中数据存储装置用来存储基本程序、设置以及信息采集模块所采集的数据；交互模块可以通过无线传输方式，将数据存储装置中的设置和信息采集模块所采集的数据实时传输到用户手机或终端设备上，查看和备份，并对设置信息进行修改。

所述的用户交互模块：主要包括扬声器和按键两个部分，扬声器直接集成到外壳上，用户在佩戴时通过扬声器直接收到语音提示，所述按键用于发出控制指令、调节音量大小和开关机、重启、唤醒休眠。

2.根据权利要求1所述的电子记忆耳机，其特征在于，其还包含核心模块，所述的核心模块用于运行基本程序，以实现以下控制步骤：

第一步：通过信息采集模块中的摄像头和麦克风采集周围环境的图像和音频数据；

第二步：根据数据存储和交互模块中存储的信息采用图像识别方法自动识别图像中的人物、场景，采用语音识别方法识别音频中的语音指令；

第三步：根据当前的交互模式选择进入场景识别模式或人脸识别模式，进入人脸识别模式时，根据图像识别得到人物查询得到存储于数据存储和交互模块中的人物信息，通过语音和/或手机终端方式输出和显示信息；当进入场景识别模式时，在进入设定的场景后根据所选择的具体功能执行操作，当选择视频备忘功能时，则将对应场景下拍摄的图像以视频的形式进行记录，当选择语音备忘功能时，则将语音记录以音频或经识别得到的文本形式形成语音备忘录存储于数据存储和交互模块；

第三步中所述的交互模式包括：语音指令交互模式和按键指令交互模式，所述的语音指令交互模式为根据设定的特定语音指令执行特定操作的方式，按键指令交互模式为根据按键设定的指令执行特定操作的方式。

3.根据权利要求2所述的电子记忆耳机，其特征在于，第三步中所述的交互模式还包括：手势指令交互模式，所述的手势指令交互模式为根据信息采集模块中的摄像头采集到手势的已关联的指令执行操作的方式。

4.根据权利要求2所述的电子记忆耳机，其特征在于，所述的视频备忘功能中可进一步包含图像识别功能，对视频图像中出现的需要采集的信息通过图像识别方式进行采集并存储在数据存储和交互模块，并可进一步通过语音形式对识别信息进行输出。

5.根据权利要求2所述的电子记忆耳机，其特征在于，该步骤中还包括第四步：设备在执行第三步的同时通过所述的数据存储和交互模块以无线传输的方式将识别到人物、场景的信息输出到用户绑定的手机端或其他终端设备。

6.根据权利要求2所述的电子记忆耳机，其特征在于，用户交互模块中包含的按键可用作开关，使上述图像、音频的采集与关闭可手动选择。

7.根据权利要求2所述的电子记忆耳机，其特征在于，核心模块的控制步骤中还包括根据用户设定，对相关信息可选择提示的优先级，对所识别出的人物或场景信息根据设定的优选级顺序输出，设定方式可通过语音指令和手机或终端方式进行。

8.根据权利要求1所述的电子记忆耳机，其特征在于，在耳机外壳上设有接触式充电接口，用来连接充电仓，设备通过充电仓进行充电，充电仓含有移动电源，可以随时对设备进行充电，也可以通过有线充电器进行补电。

9.根据权利要求2所述的电子记忆耳机，其特征在于，所述的核心模块可以是本地数据处理模块，也可以采用云端处理模块。

10.根据权利要求9所述的电子记忆耳机，其特征在于，所述本地数据处理模块是CPU处理器、GPU处理器或其他可用于数据和图像处理的专用芯片。

Images