CN107847794A - 一次提交跟踪的可穿戴式饮食和运动跟踪装置 - Google Patents

Abstract

一种可穿戴式饮食和运动追踪装置，提供所吃食物、消耗数量、进行的运动和运动数量输入的一次提交，跟踪报告信息并通过装置直接进行综合饮食和运动追踪。本发明的实施例可以是腕固定带、智能手表、衣服和健身装置可附接/嵌入式装置的形式或其它便携式和/或可穿戴式外壳的形式，或与之集成。

Description

一次提交跟踪的可穿戴式饮食和运动跟踪装置

技术领域

本发明涉及跟踪所消耗的食物和数量以及跟踪所进行的身体活动和数量的装置。本申请要求于2016年7月16日提交的美国申请第15/212,051号以及于2016年5月23日提交的美国申请第15/161,588号以及于2016年2月11日申请的美国申请第15/041,780号以及2015年7月17日提交的美国申请第62/193,879号的优先权，这些申请的公开内容通过引用并入本文。

背景技术

如本文所使用的饮食和运动跟踪是指个人记录(跟踪)与食物消耗和身体活动有关的数据的活动。例如，个人可以跟踪在饮食跟踪时所吃的所有日常食物、食物数量以及相关卡路里和营养物数据，并且可以在运动跟踪时跟踪运动中的所有运动、运动数量和相关卡路里消耗数据。

已知的饮食和运动跟踪产品包括：i)可穿戴式健身装置(例如Fitbit、JawboneUp、具有健身跟踪的智能手表(例如Apple iWatch等))；和ii)执行饮食和健身应用程序(“apps”)(例如，MyFitnessPal、Lose It等)的移动和台式装置。可穿戴式健身装置提供对一般身体活动(诸如，步行或移动)的自动传感器跟踪。数以千万计的可穿戴健身器械已经在售，产品领域也在快速增长。可穿戴式健身装置可以是腕固定带、智能手表或衣服可附接/嵌入式装置的形式或与之集成。

饮食和健身跟踪app市场已经由于数百个应用程序而饱和，这些应用程序都以非常低效的方式解决跟踪饮食和健身数据的问题。对于饮食跟踪，这些应用程序要求它们的用户执行冗长乏味的多步骤过程，其中用户必须：i)选择早餐、午餐、晚餐或点心用于膳食安置-步骤提交；ii)输入食物名称；iii)寻找食物；iv)从一长串显示的选项中选择合适的食物；v)确认或编辑适当的食物数量；然后重复这些步骤来跟踪每餐中的食物。对于运动跟踪，这些应用程序还要求它们的用户执行一个类似冗长乏味的多步骤过程，用户必须：i)选择心血管或力量训练用于运动分类；ii)输入运动名称；iii)搜寻运动；iv)从显示的选项列表中选择运动；v)输入完成运动的数量和单位；然后对锻炼内的所有运动重复上述步骤。

可穿戴式健身装置在首次上市时是创新产品；并且它们提供比已知常规健身app显著更有效的跟踪一般运动活动的方法。然而，尽管可穿戴式健身装置对于简单的运动跟踪确实是非常有效的(例如，你走了多少步，你走了多远，消耗了多少卡路里等)，但是在其它重要方面是不足的。

已知的可穿戴式健身装置的一个缺陷是它们不提供任何饮食跟踪能力。可穿戴式健身装置的用户必须依靠单独的饮食app或其它方法来满足它们的饮食跟踪需求。饮食跟踪对于任何减肥计划都是无价的，因为它是确定个体卡路里消耗数量的方法。一个努力减肥的人摄入的卡路里一定要比卡路里消耗少；因此，没有饮食跟踪，就不能合理地管理减肥计划。

可穿戴式健身装置的另一个缺陷是它们不能提供对具体运动类型的综合跟踪。例如，如果用户想要跟踪特定的运动(例如，仰卧起坐、瑜伽、卧推、椭圆机、P90x等)和综合的数量(例如，100磅重复10次共3组，每组45秒共4组等)，那么他不能使用已知的可穿戴式健身装置来做到这一点，而必须使用健身跟踪app来这样做。

目前已知的可穿戴式健身装置(例如，Fitbit、Jawbone Up、具有健身跟踪的智能手表(例如，Apple iWatch等))不能够提供饮食跟踪能力或综合运动跟踪能力，如根据本发明的装置那样，因为已知的可穿戴式装置无法接收和处理所需的综合和广泛的输入数据。

为了使该可穿戴式健身装置能够消除上述缺陷，它们将需要具有大致与智能手机尺寸的显示屏相同的显示屏。然而，无视该不切实际的情况下，如果这些可穿戴式健身装置确实具有该智能手机尺寸的显示屏，那么饮食跟踪和综合运动跟踪能力对于用户将是非常低效和耗时的，因为它将使用与饮食和健身跟踪app相同的多步骤过程。

为了说明该多步骤过程对具有智能手机尺寸的显示屏的该传统的可穿戴式健身装置的用户多么繁琐，我们只需要将其用户信息提交要求与本发明的一次提交能力进行对比。使用该装置跟踪四餐的用户需要提交不少于十二份的信息。对于一顿饭中的每一种食物，提交资料将包括以下内容：i)选择并提交早餐、午餐、晚餐或用于替代该食物的零食；ii)输入并提交食物名称；iii)从一长串展示的选项中选择并提交适当的食物；iv)确认或编辑食物数量并提交。对于运动跟踪，类似的多步骤用户信息提交要求将是必要的，因为用户在运动中每次运动都必须执行以下步骤：i)选择并提交心血管或力量训练用于运动分类；ii)输入并提交运动名称；iii)从选项列表中选择并提交运动；以及iv)输入完成的运动的数量和单位并提交。

期望提供一种可穿戴式饮食和运动跟踪装置，其用已知方法解决上述和其它问题，并且为此目的本发明就是针对这些问题的。

发明内容

本发明提供具有一次提交跟踪能力的可穿戴式饮食和运动跟踪装置。根据本发明的可穿戴式饮食和运动跟踪装置的一次提交跟踪能力使得该装置的用户能够跟踪(记录)与食物消耗或身体活动(诸如，吃的食物和/或进行的运动，包括相关食物和/或运动输入数量(例如，1杯、2组每组重复25次等))的不连续发生有关的数据，以及根据通过用户说话来描述该食物消耗或身体活动的细节而无需用户的进一步行动而向该装置单个提交的语音信息，自动关联该数据并跟踪有关相关的卡路里和营养物和/或卡路里消耗信息。根据本发明由用户进行的语音信息提交可以包括自然讲话、对话式讲话，并且不需要用户遵守语法或其它讲话规则。向可穿戴式饮食和运动跟踪装置的单个用户信息提交可以包括：用户通过向该装置的麦克风说话并且说出分别关于食物消耗或身体活动的离散发生的进食食物和/或运动(以及相关的数量)而输入音频信息，然后点击显示屏或按下按钮以提交(输入)该信息用于跟踪。该装置然后可以运行其处理过程并且自动地跟踪该食物和/或运动、食物数量和/或运动数量，并且将所跟踪的数据与相应的卡路里和营养物和/或卡路里消耗相关联；并且该信息可以经由装置显示器被报告给该装置的用户。

在一个方面，本发明提供了一种可穿戴式饮食和运动跟踪装置，其可以被穿戴在使用者的身体上，或者被附接到或被携带在使用者的衣服或相关的携带袋中，其：i)通过该装置直接实现饮食跟踪；ii)通过该装置直接实现综合特定的运动跟踪，并且捕获比当前可用的可穿戴式健身装置所提供的明显更具体的运动相关信息；和iii)提供快速和有效的饮食和运动数据输入和跟踪。根据本发明的可穿戴式装置的实施例可以是腕固定带、智能手表、衣服和健身装置可附接/嵌入式装置以及其它便携式和/或可穿戴式包装的形式或与之集成。

在其它方面，本发明提供：i)一次提交(one-submission)跟踪能力；ii)完整的饮食跟踪过程的自动化；iii)完整的运动跟踪过程的自动化；iv)使用自然语言处理综合的文本解析和文本清理方法；v)具有大量、实时用户数据集的机器学习；vi)文本别名逻辑和数据，其用更加正确和适当的别名文本(例如，“oaks”＝“oats”；“three”＝“3”等)来标识和替换不正确的文本；和vii)数量异常逻辑和数据(例如，7十一、12英寸、P90X等)。

根据本发明的可穿戴式装置不需要传统装置所需的特征，诸如，以下：i)附接的物理键盘或触摸屏键盘；和/或ii)将足够大以显示必要的特征和/或数据的大的触摸屏显示器，包括：a)如果包括在该装置中，则可用的触摸屏键盘；b)足够大以适合多词食物和/或运动名称的搜索字段；c)广泛的食物和运动列表；d)食物和运动单位的可调列表(例如，盎司、杯、匙、磅、分钟等)；e)数值数量的数据输入区域；f)膳食类型或运动类型的可调列表；和g)综合的运动数量数据(例如，6组不同重量和重复次数的力量训练运动)。如果传统的可穿戴式健身装置能够提供本发明提供的上述特征，则已知装置将需要具有与智能手机屏幕显示器大小相当的屏幕显示器，这对于可穿戴式装置来说是完全不切实际的，并且其仍然只能使用当前饮食和健身应用程序提供的同样漫长而乏味的多步饮食和运动跟踪体验。

当前已知的可穿戴式健身装置(例如，Fitbit、Jawbone Up、具有健身跟踪的智能手表(例如，Apple iWatch等))不能执行由本发明的装置执行的前述过程。

下文呈现的附图和详细描述示出并描述了本发明的优选实施例的方法、算法和过程。

附图说明

在下面详细描述的过程中，将参考附图。这些附图示出了本发明的不同的目的、方面和优点，并且还包括指示在所示的各种实施例中存在的结构、部件和元件的附图标记。应该理解的是，除了具体示出的那些以外的结构、部件和/或元件的各种组合也被考虑并且在本发明的范围内。

此外，在此描述和示出了可穿戴式一次提交输入跟踪装置的多个不同的实施例。本发明既不限于任何单个方面和/或实施例，也不限于这些方面和/或实施例的任何组合和/或替换。此外，本发明的各个方面和/或其实施例中的每一个可以单独使用或与一个或多个其它方面和/或实施例结合使用。为了简洁起见，并非所有可能的替换和组合都在本文中单独讨论和/或说明。

图1示出了根据本发明的可穿戴式饮食和运动跟踪装置的三个不同的实施例；

图2是示出如图1中所示的可穿戴式饮食和运动跟踪装置的实施例的硬件架构和示例性组件的框图；

图3是给出可由诸如图2所示的可穿戴式饮食和运动跟踪装置的实施例执行的跟踪过程的概览的流程图；

图4是更详细地示出图3中所示的语音转录处理、自动饮食跟踪处理和自动运动跟踪处理的流程图；

图5a是示出由根据本发明的自动饮食跟踪系统和基于自动应用的运动跟踪系统的实施例执行的第一步骤的流程图；以及

图5b是图5a中流程图的延续，其示出由自动饮食跟踪系统和基于自动应用的运动跟踪系统执行的附加步骤。

具体实施方式

如将要描述的那样，根据本发明的可穿戴式饮食和运动跟踪装置的用户仅仅只要讲话以将数据输入到可穿戴式饮食和运动跟踪装置中以确定她吃什么和/或她所进行的运动，并且该装置将自动跟踪所吃的食物、食物数量和数量单位(例如，1杯，4盎司等)以及相关的卡路里和营养数据、和/或所进行的运动、运动数量和数量单位(例如，100磅重复10次共3组，2.75英里等)以及相关的卡路里消耗数据。此外，跟踪的饮食和运动信息与适用的解析文本段相关联，其源自将输入到该装置中的用户的语音转换(转录)成数字文本形式和随后的文本解析。

本发明的可穿戴式饮食和运动跟踪装置具有许多特征和功能，使其能够填补目前已知的可穿戴式健身装置(例如，Fitbit、Jawbone Up、带健身跟踪的智能手表(例如，AppleiWatch等)))中的缺陷空白。这些缺陷包括：i)该常规装置完全缺乏对饮食的直接跟踪；和ii)无法直接在该装置上提供任何综合的运动跟踪。相反，在优选实施例中，本发明直接在可穿戴饮食和运动跟踪装置上提供饮食跟踪和综合运动跟踪。

重要的是，在优选实施例中，本发明可以实现一次提交(one-submission)跟踪能力，如上所述，该提交跟踪能力仅需要用户输入单个信息提交(其可以是输入到该装置的单个用户综合语音陈述)，以用于饮食跟踪和/或综合运动跟踪。这使得输入数据能够用于跟踪，而不需要键盘或非常大的触摸屏显示器。结果，在优选实施例中，本发明的可穿戴式饮食和运动跟踪装置可以直接接收并跟踪综合饮食和/或运动信息。

如上所述，并且如下面将要描述的，本发明可以有利地提供：i)一次提交跟踪能力；ii)完整饮食跟踪过程的自动化；iii)完整运动跟踪过程的自动化；iv)以综合的文本解析和清理方法进行自然语言处理；v)具有大量实时用户数据集的机器学习；vi)文本别名逻辑和数据，用适当更正的别名文本替换某些不正确的文本(例如，“oaks”＝“oats”；“three”＝“3”等)；和vii)正确区分数字数量和非数量数字数据(例如，7eleven、12英寸、P90X等)的数量异常逻辑和数据。本说明书的以下段落和相关附图通常将描述和说明这些特征和方法。上面引用的专利申请15/041,780和15/161,588提供了更详细的描述。

如本文所示和所述的，本发明的可穿戴式饮食和运动跟踪装置可以经由麦克风接收用户提交的语音输入信息，作为描述所吃食物和/或完成的运动的语音。语音转录组件可以处理用户语音输入音频数据，并且如果存在针对该用户音频输入数据的本地存储的匹配，则产生包括饮食相关和/或运动相关术语的一个或多个解析文本段。然后可以将解析文本段传递给用于饮食跟踪的自动饮食跟踪组件和/或用于运动跟踪的自动运动跟踪组件。这些跟踪组件可以提供：i)每个该解析文本段的食物或运动匹配；ii)相关的食物和/或运动数量和数量单位；和iii)到该装置的输出组件(诸如，用于向用户呈现的显示器和扬声器)的关于卡路里和营养物和/或卡路里消耗数据的相应数据。将输入与本地存储的音频和解析文本进行匹配可以更快速地将饮食或运动信息呈现给用户。

如果该语音转录组件没有为该用户语音输入音频数据找到本地匹配，或者如果该自动饮食跟踪组件或自动运动跟踪组件没有为该解析文本段找到匹配，则该音频数据可通过该装置上的通信端口传输到位于外部基于网络的计算机服务器上的外部语音转录系统，这些外部网络计算机服务器具有更高的处理能力，并可访问较大的文本数据库以进行可能的匹配。该语音转录系统可以处理该音频数据，并且将该音频数据转换(转录)成转录文本，该转录文本可以被传送到该自动饮食跟踪系统和自动基于应用的运动跟踪系统，其可以使用一个或多个食物和运动文本解析算法以将转录的文本解析为解析文本的一个或多个段。

然后自动食物或运动量和单位跟踪方法及相关算法可从解析文本中去除任何数量，并使用多路径单位数据库搜索在该解析文本中查找任何食物和/或运动数量单位(例如，杯、盎司、英里、重复次数等)，如在以上引用的专利申请中所描述的。剩余的解析文本可以被发送到食物或运动文本清理算法，该算法可以将解析和清理的文本发送到自动食物或运动跟踪过程，其中发现的任何数量单位也可能已经被传递用于其中。该自动食物或运动跟踪过程可以利用食物或运动文本匹配和文本评分算法，其可以包括用户数据历史查找、整个用户群体数据历史查找、搜索字符串修改、数据库搜索和搜索评分以及各种其它机器学习技术，来识别食物和/或运动以跟踪该解析和清理文本，并且可以将该识别的食物和/或运动发送到自动的卡路里和营养物和/或卡路里消耗跟踪过程，如所引用的专利申请中所描述的，用于分配适用的卡路里和营养物和/或卡路里消耗数据。

如果该解析文本不包含数量单位，例如“杯”、“盎司”等，则可以执行用户数据历史查找，随后是整个用户群体数据历史查找，来识别与这些食物和/或运动相关联的先前的数量单位，以确定应跟踪哪些单位。如果该解析文本不包含数值数量，则可以进行用户数据历史和整个用户群体数据历史查找，以将最频繁关联的数值数量分配给每个该食物和/或运动数量单位。

然后可以将食物和/或运动以及相关的数值数量、数量单位和卡路里以及营养和/或卡路里消耗数据传送到多种食物以及运动管理组件，其可以组织该信息及其相关的解析文本以及解析和清理文本，以便传输到该可穿戴式饮食和运动跟踪装置上的通信端口，在那里它可以被传递到装置输出组件，诸如，显示器和/或扬声器，以呈现给用户。

本发明提供的上述创新过程可以为所有饮食和/或运动信息提交提供自动饮食和运动跟踪，包括不包含数值数量和/或数量单位的提交。这使得之前描述的一次提交跟踪能力成为可能，并且在可穿戴式健身装置和基于应用的饮食和运动跟踪中产生了超越现有技术的超级跟踪体验。有利的是，为了完成一个或多个食物和/或运动的自动饮食和/或运动跟踪，用户仅需要提交单次信息输入。

参照附图，图1示出了根据本发明的饮食和运动跟踪装置的三个不同实施例。如图所示，该装置可以是可穿戴式的，诸如，可穿戴的腕部固定带110、衣服和可附接的健身装备装置120或智能手表130。该跟踪装置也可以是携带在口袋或袋子中、嵌入衣服或者健身装置、或者包含在其它可佩带的外壳中。如下面将要描述的，图2示出了这些装置的优选硬件架构和组件。如图所示，该装置可以包括处理元件210、用于存储信息和数据(其包括：i)可执行指令；ii)音频数据；iii)解析文本；和iv)与食物和运动相关的数据，如下面更综合描述的那样)的存储器220、用于向外部计算机服务器无线传输数据和从外部计算机服务器接收数据的通信端口230、以及用户界面组件275(包括显示器240、麦克风250和扬声器260)。图1所示的相应用户界面组件是显示器112和麦克风/扬声器114(图1的智能手表130可具有未示出的麦克风和扬声器)。

重要的是，如图1所示，可穿戴式饮食和运动跟踪装置的实施例可以仅具有小型显示器112；它们不需要像可穿戴式健身装置(例如，Fitbit、iWatch等)需要的容纳触摸屏用户界面来提供饮食跟踪和综合运动跟踪的大显示器。实际上，本发明的一个实施例可以是直接通过该装置提供饮食跟踪和综合运动跟踪而没有任何显示，因为它可以使用用于用户信息提交的物理按钮，并且扬声器114用于向该用户报告跟踪信息。类似地，扬声器114可以省略，因为用户结果可以经由显示器112报告。

图1中绘示的本发明的优选实施例也没有任何附加的物理键盘或触摸屏键盘，因为穿戴式饮食和运动跟踪装置不需要键盘来直接通过该装置提供饮食跟踪和综合运动跟踪。这与需要键盘才能工作的目前的饮食和健身追踪应用程序形成对比。

该只用小显示器或根本没有显示器并且没有键盘工作的功能来自于本发明的以下特征和方法：i)单次提交跟踪能力；ii)完整的饮食跟踪过程的自动化；和iii)完整的运动跟踪过程的自动化。上述特征和方法包括：i)以综合的文本解析和清理方法应用自然语言处理；ii)用大量的实时用户数据集进行机器学习；iii)文本别名逻辑和数据，用适当的别名文本(例如，“oaks”＝“oats”；“three”＝“3”等)来替换某个文本的别名逻辑和数据；和vii)数量异常逻辑和数据(例如，7eleven、12英寸、P90X等)。

图2是示出可以在可穿戴式饮食和运动跟踪装置200(诸如，图1所示的实施例)中使用的硬件架构和组件的框图。装置200可以包括处理元件210，其可以是微处理器，以及嵌入在计算机可读介质(未明确示出)中用于控制微处理器执行这里描述的操作的可执行指令，并且可以具有存储器元件220，其存储信息和数据，该信息和数据包括：i)该可执行指令；ii)音频数据；iii)解析文本；和iv)食物和运动相关的数据，如下面更充分描述的。该设备可以具有通信端口230，通信端口230可以经由WIFI、GSM、CDMA、蓝牙或其它通信技术发送和接收用户语音输入音频数据以及食物和运动相关数据到相关网络。该数据可以被发送到基于互联网的计算机服务器并且从基于互联网的计算机服务器接收该数据，该计算机服务器控制：i)在此描述并且在上面引用的专利申请第15/041780号中更综合详细地描述的自动饮食跟踪系统；和/或ii)在此描述并且在上面引用的专利申请第15/161,588号中更综合详细地描述的自动基于应用的运动跟踪系统；和iii)语音转录系统，所有这些系统都可以与可穿戴式饮食和运动跟踪装置相结合。该装置还可以包括显示器240、麦克风250和扬声器260(可以被组合)，它们共同是用户界面组件275。显示器240可使用户能够：i)调用麦克风250；ii)提交语音输入音频数据；和iii)查看食物和运动跟踪相关信息的报告，包括消耗的食物和/或进行的运动和相关的食物和/或运动数量和单位以及相关的卡路里和营养和/或卡路里消耗数据。麦克风250可以启动录制用户语音输入音频数据，并且扬声器260还可以向用户报告上述食物和运动跟踪相关信息。

图3是示出由图2所示的可穿戴式饮食和运动跟踪装置200的优选实施例执行的一般处理步骤的概况的流程图。所示的可穿戴式饮食和运动跟踪装置的实施例可以接收来自用户的语音输入，并且可以：i)将该语音输入转换(转录)为文本；ii)跟踪一个或多个食物和/或运动，以及相关的数量和单位以及营养和/或卡路里消耗数据；和iii)通过装置输出将该饮食和/或运动跟踪信息返回给用户。如图3所示，用户可以将音频数据作为语音输入提交到可穿戴式饮食和运动跟踪装置200的麦克风250，其捕获该音频数据，然后可以将该音频数据传送到该装置上的语音转录组件310。语音转录组件310可以对输入的语音音频数据执行计算，以使得能够确定该音频数据的匹配是否被本地存储在该装置的存储器元件220中(即，确定用户之前是否已经提交了相同的/相似的语音输入音频数据)。如果确实存在匹配，则在适当的情况下该组件将与该音频数据相关联的匹配解析文本(PT)段传送到自动饮食跟踪组件320和/或自动运动跟踪组件330中。解析文本(PT)可以由食物和运动文本解析算法520为用户提交的语音输入音频数据最初创建，如图5a所示，其接收由语音转录系统340将该音频数据转录成文本的转录文本(T)，然后将该转录文本(T)解析成解析文本(PT)段。自动饮食跟踪组件320和自动运动跟踪组件330然后可以确定是否每个该解析文本(PT)段的匹配被本地存储在该装置的存储器元件220中，并且如果确实存在匹配，则该组件可以跟踪相关联的食物和/或运动以及相关的食物和/或运动数值数量和数量单位以及相关的卡路里和营养物和/或卡路里消耗数据。如图3所示，该过程在332处将上述过程合并成一个如果-那么判定陈述。如果在332处在该装置上本地处理该音频数据转录和食物和/或运动跟踪，那么可以通过该装置输出组件(诸如，显示器250和扬声器260(诸如，在图3中示出的，在图4中更综合详细示出的))向用户报告该解析文本(PT)和相关联的食物和/或运动、数值数量和数量单位以及相关的卡路里和营养物和/或卡路里消耗数据。

否则，图3示出，如果在332处不在该装置上本地处理该音频数据转录和食物和/或运动跟踪，则用户语音输入音频数据可以经由通信端口230外部地传输到例如基于因特网的外部网络(计算机服务器端系统)，并且可以进入可以生成转录文本(T)的语音转录系统340。处理是本地处理还是外部处理可以取决于是否在本地找到匹配，以及该装置具有多少数据存储容量。在可穿戴式饮食和运动跟踪装置的存储器元件220中可本地存储的数据量的限制可能使得有必要利用外部系统，诸如，图3的340、350和360。因此，组件310、320和330可以利用可执行指令中的逻辑规则(包括利用用户历史数据、整个用户群体历史数据以及最近跟踪的权重对音频数据优先级和相关跟踪食物和运动数据排序)控制什么音频数据、解析文本(PT)以及相关的食物和运动数据被本地存储在该装置的存储器元件220中。

继续参考图3，该转录文本(T)然后可以进入自动饮食跟踪系统350和自动基于应用的运动跟踪系统360，其可以使用食物和运动文本解析算法520(图5a中示出的)将转录文本(T)解析为解析文本(PT)，并且可以使用食物或运动文本清理算法535(如图5b所示)通过去除不用于识别食物和运动的单词、连接空格和标点符号来清理解析文本(PT)，以产生解析清理文本(PCT)。自动饮食跟踪系统350和自动的基于应用的运动跟踪系统360使用排序规则，然后使用该解析文本(PT)和该解析清理文本(PCT)来产生食物和/或运动和食物和/或运动数值数量和数量单位以及相关的卡路里和营养物和/或卡路里消耗数据，然后这些信息经由通信端口230可以被传送回该装置输出部件、显示器250和扬声器260(在图5a和图5b中更综合地描述了该图3中的该前述处理)。

图4是示出由图3中所示的语音转录组件310、自动饮食跟踪组件320和自动运动跟踪组件330的实施例执行的附加处理的流程图，该组件和过程可嵌入在可穿戴饮食和运动跟踪装置中，以使用可本地存储在该设备的存储器元件220中的音频数据、解析文本(PT)以及食物和运动数据来提供饮食和运动跟踪。本发明利用组件310、320和330以及本地存储的数据来最大化饮食和运动跟踪速度以及该装置的效率。如图4所示，来自输入到麦克风250的用户语音的音频数据可以由语音转录组件310处理，并且可以在402处确定在该可穿戴式饮食和运动跟踪装置上是否存在针对该音频数据的本地存储的匹配。该音频数据匹配可以通过相关算法来确定，例如，该相关算法将接收到的新的音频数据与本地存储的音频数据段进行比较，或者与本地存储的对先前输入的音频数据的计算结果进行比较，并且如果在该新的音频数据和本地存储的音频数据段之间或者与本地存储的对先前输入的音频的计算结果之间找到足够高的正相关性(例如，在阈值的90％、95％等以上，可以被调整该等级以优化性能)，则匹配被识别(如果多于一个，则使用最高的相关段)。

在图4中，如果在402处确定存在音频数据匹配，则语音转录组件310可产生与该匹配音频数据段相关联的解析文本(PT)。然后，可以将该解析文本(PT)在适当的情况下传递到自动饮食跟踪组件320和自动运动跟踪组件330中，然后可以在404处确定本地存储的食物和/或运动匹配和该解析文本(PT)的相关联的数值数量和数量单位是否存在于该可穿戴式饮食和运动跟踪装置上。如果在404处确定存在一个或多个匹配，则该匹配可以用于将该食物和/或运动以及相关联的数值数量和数量单位以及相关的卡路里和营养物和/或卡路里消耗数据传递到该装置输出组件(例如，显示器250和扬声器260)，以呈现给该装置的用户。该输出可以基于其是否从自动饮食跟踪组件320和自动运动跟踪组件330产生来组织(如果发现多于一个匹配，则跟踪最近被跟踪的匹配)。如果在404处确定不存在匹配，则可以将该音频数据经由通信端口230发送到位于外部基于网络的计算机服务器上的语音转录系统340。

图5a是图4的流程图中所示的过程的延续的流程图。它示出了可以由图3所示的自动饮食跟踪系统350和自动的基于应用的运动跟踪系统360执行的第一步。图5a示出了该用户语音输入音频数据进入语音转录系统340，该语音转录系统340将该音频数据转换(转录)为转录文本(T)。自动饮食跟踪系统350(在上面引用的专利申请第15/041,780号中综合详细描述)是接收转录文本(T)并利用许多方法和算法来产生相关联的饮食跟踪信息(包括食物名称、食物数量(例如1、2、3等)、食物数量单位(例如，杯、盎司等)以及相关的卡路里和营养物数据)的系统。自动的基于应用的运动跟踪系统360(在上面引用的专利申请第15/161,588号中综合详细描述的)接收该转录文本(T)，并利用所描述的方法和算法来产生相关联的运动跟踪信息，包括运动名称、运动时间、距离和/或阻力数量单位(例如，2，10，35等)、运动时间、距离和/或阻力数量单位(例如，英里、分钟、组和重复次数等)以及相关的卡路里消耗数据。如上所述，该自动饮食跟踪系统350和自动的基于应用的运动跟踪系统360位于该装置外部的基于互联网的计算机服务器上。

图5a示出了转录的文本(T)可以进入自动饮食跟踪系统350和自动基于应用的运动跟踪系统360，其可以首先利用：i)多食物和运动管理组件510以存储该转录文本(T)，用于与：a)食物和/或运动跟踪数据；b)解析文本(PT)；和c)解析清理文本(PCT)进行后续关联；和ii)食物和运动文本解析算法520，以解析所转录的文本(T)并产生解析文本(PT)。

图5b绘示了图5a的附加过程，并且示出了可以由自动饮食跟踪系统350和自动基于应用的运动跟踪系统360执行的进一步的步骤。食物和运动排序方法525可以提供排序逻辑，以确定何时该自动饮食跟踪系统350以及该自动基于应用的运动跟踪系统360的各种方法可以被调用以提供最有效的饮食和/或运动跟踪过程。可以运行食物和运动排序方法525以通过利用食物数量文本匹配算法或运动数量文本匹配算法(两种算法在图5b中的531处共同示出)，以该顺序，来首先确定解析文本(PT)段是否包含食物或运动数量单位或两者。如果仅发现食物单位，则可以通过自动饮食跟踪系统350的方法充分地处理该解析文本(PT)；如果仅找到运动单位，则可以通过该自动基于应用的运动跟踪系统360的方法来充分地处理该解析文本(PT)。如果找到食物和运动单位两者，那么可以首先通过该自动基于应用的运动跟踪系统360的方法然后通过该自动饮食跟踪系统350的方法来充分地处理该解析文本(PT)。否则，如果没有找到单位，那么该解析文本PT可以首先通过该自动基于应用的运动跟踪系统360的方法并且然后通过该自动饮食跟踪系统350的方法被充分地处理。

在图5b中，为了跟踪食物，该解析文本(PT)可以进入自动食物数量和单位跟踪方法530，其利用食物数量文本匹配算法531，其可以：i)从该解析文本(PT)去除食物数量(例如1、2、3等)，如果有的话；和ii)在该解析文本(PT)上运行多路径单位数据库搜索以找到食物数量单位(例如，杯、盎司等)。如果找到食物单位，则可以将其与任何食物数量一起传递到：i)多食物和运动管理组件510；ii)自动卡路里和营养物跟踪过程550；以及iii)用于在其中存储和使用的自动食物跟踪过程540。如果该解析文本(PT)不包含食物数值数量，则该系统可以假设一个(1)的预定数量。然后可以将剩余的解析文本(PT)传递到食物文本清理算法535，其可以清理解析文本(PT)以产生解析清理文本(PCT)，并且将该解析清理文本(PCT)传送到自动食物跟踪方法540。自动食物跟踪方法540，可以利用食物文本匹配算法541和食物文本匹配评分算法542，可以为每个解析清理文本(PCT)段产生要由系统跟踪的食物(F)，然后可以将该食物(F)传递回自动食物数量和单位跟踪方法530，以在其中用于完成其过程。然后可以将每个产生的食物(F)传递到自动卡路里和营养物跟踪方法550，其可以将适用的营养数据附加到每个该食物(F)及其相关的数量和单位，并且可以将每个食物名称和适用的营养数据发送到多食物和运动管理组件510，其可以保持食物名称和相关数据被组织，并且适当地与用于数量和单位的解析文本(PT)段以及用于食物名称的解析清理文本(PCT)段相关联，以用于通过该装置上的通信端口230传递回该可穿戴式饮食和运动跟踪装置，以经由该装置输出组件、显示器250和扬声器260呈现给用户。

在图5b中，为了跟踪运动，该解析文本(PT)可以进入自动运动数量和单位跟踪方法530，其利用运动数量文本匹配算法531，其可以：i)从解析文本(PT)去除运动时间、距离和/或阻力数值数量(例如，2、10、35等)，如果有的话；和ii)在该解析文本(PT)上运行多路径单位数据库搜索以找出运动时间、距离和/或阻力数量单位(例如，英里、分钟、组和重复次数等)。如果找到运动单位，则可以将其连同任何运动数值数量一起传递到：i)多食物和运动管理组件510；ii)自动卡路里消耗跟踪方法550；和iii)用于在其中存储和使用的自动运动跟踪方法540。如果该解析文本(PT)不包含运动数值数量，则该系统可以利用用户数据历史记录和/或整个用户群体数据历史记录查找来为每个该运动数量单位分配最常见的相关运动数值数量。然后可以将剩余的解析文本(PT)传递到运动文本清理算法535中，该算法可以清理该解析文本(PT)以产生解析清理文本(PCT)，并且将该解析清理文本(PCT)传送到自动运动跟踪方法540。自动运动跟踪方法540可以利用运动文本匹配算法541和运动文本匹配评分算法542来为每个解析清理文本(PCT)段确定要由该系统跟踪的运动(E)，然后可以将该运动(E)传递回自动运动数量和单位跟踪过程530，以供在其中完成其跟踪过程。然后可以将每个生成的运动(E)传递给自动卡路里消耗跟踪方法550，其可以将适用的卡路里消耗数据附加到每个该运动(E)及其相关的数量和单位。每个运动名称和适用的卡路里消耗数据可以被发送到多食物和运动管理组件510，其可以保持运动名称和相关数据被组织，并且与用于数量和单位的解析文本(PT)的适当段以及用于运动名的解析清理文本(PCT)适当地相关联，以用于经由该装置上的通信端口230传递回该可穿戴式饮食和运动跟踪装置，以便经由该装置输出组件呈现给该装置用户。

图5a和图5b中的过程和组件的细节以及本文所示和所述的其它过程可以在上面引用的专利申请中找到。

尽管以上描述是针对特定实施例的，但是应该理解的是，可以在不脱离本发明的原理的情况下对这些实施例进行改变，本发明的范围在所附权利要求中给出。

权利要求书(按照条约第19条的修改)

1.一种适于由用户穿戴以跟踪饮食和运动信息的装置，包括：

麦克风，用于接收来自所述装置的用户的输入语音信息作为单次提交语音陈述，其陈述(i)消耗的食物和相应的食物数值数量和食物数量单位或(ii)执行的运动和相应的运动数值数量和运动数量单位中的一个或两者；

处理器，用于接收所述输入语音信息；

存储器，连接到所述处理器，所述存储器存储可执行指令，所述可执行指令用于控制所述处理器将来自所述用户的输入语音信息与存储在所述存储器中识别所述(i)食物和所述食物数量和食物单位或(ii)所述运动和所述运动数量和运动单位中的一个或两者的文本进行匹配；

所述指令控制所述处理器基于所述输入的食物和食物数量和食物数量单位信息跟踪相应的营养和卡路里信息，或者基于所述输入的运动和运动数量和运动数量单位信息跟踪相应的卡路里消耗信息，并且将所述确定的营养和卡路里信息以及所述确定的运动和运动数量信息作为跟踪信息存储在所述存储器中；

如果在所述存储器中没有发现输入语音信息匹配，则所述可执行指令控制所述处理器将所述输入语音信息传送给外部系统；和

输出单元，用于向用户报告所述跟踪信息。

2.如权利要求1所述的装置，其中，所述装置基于有关所述食物和食物数量和单位信息的所述输入语音信息自动跟踪所述相应的卡路里和营养信息，并且基于有关所述运动和所述运动量和单位信息的所述输入语音信息自动跟踪所述卡路消耗信息。

3.如权利要求1所述的装置，还包括通信单元，所述通信单元与所述外部系统通信以发送所述输入语音信息至所述外部系统，并接收存储在所述外部系统的关于转录文本、食物和食物数量匹配、运动和运动数量匹配以及相应的营养、卡路里和卡路里消耗信息的信息。

4.如权利要求1所述的装置，其中，所述输出单元包括所述装置上的显示器和扬声器中的一个或两个，用于向所述用户提供显示的文本和音频信息。

5.如权利要求1所述的装置，其中，所述装置作为用户手腕上的带子而可穿戴。

6.如权利要求1所述的装置，其中，所述装置是所述用户可穿戴的。

7.如权利要求1所述的装置，其中，所述可执行指令控制所述处理器提供所述输入语音信息输入的一次提交跟踪，包括作为单个用户综合语音陈述消耗的一种或多种食物及相应的食物数量和单位或执行的一种或多种运动和相应的运动数量和单位的单次信息提交。

8.根据权利要求1所述的装置，其中，所述装置被控制为：在由所述用户通过讲话描述食物消耗或身体活动的细节提供输入语音信息的所述单次提交而不需要所述用户进一步动作时，跟踪与所述食物消耗或离散身体活动的离散发生有关的数据。

9.如权利要求8所述的装置，其中，所述输入语音信息包括不需要用户遵守语法或其它讲话规则的自然讲话的、对话式讲话。

10.一种适于由用户穿戴以跟踪饮食和运动信息的装置，包括：

麦克风，用于从所述装置的用户接收由所述用户通过讲话描述食物消耗以及消耗的相应的食物数量和数量单位或描述包括进行的运动以及相应的运动数量和数量单位的身体活动提供的单次提交输入语音陈述；

处理器；和

存储器，其连接到所述处理器，所述存储器存储用于控制所述处理器的可执行指令，所述指令控制所述处理器响应于由用户通过讲话描述所述食物消耗或身体活动的细节而不需要进一步行动所提供的所述单次提交输入语音陈述，控制所述处理器跟踪数据。

11.如权利要求10所述的装置，其中，所述装置基于描述所述食物和食物数量和单位信息的所述输入语音陈述自动跟踪相应的卡路里和营养信息，并基于描述所述运动和运动数量和单位信息的所述输入语音陈述自动跟踪相应的卡路里消耗信息。

12.根据权利要求10所述的装置，其中，所述语音陈述包括不需要用户遵守语法或其它讲话规则的自然讲话的、对话式讲话，而描述所述食物消费或身体活动的细节的讲话。

Claims (12)

1.一种适于由用户穿戴或携带以跟踪饮食和运动信息的装置，包括：

麦克风，用于接收来自所述装置的用户的输入语音信息，陈述消耗的食物和相应的食物数量或执行的运动和相应的运动数量中的一个或两者；

处理器，用于接收所述输入语音信息；

存储器，连接到所述处理器，所述存储器存储可执行指令，所述可执行指令用于控制所述处理器将来自所述用户的输入语音信息与存储的输入信息和文本进行匹配，存储的输入信息和文本识别所述食物和食物数量或所述运动和运动数量中的一个或两者；

所述指令控制所述处理器将所述输入的食物和食物数量信息与相应的营养和卡路里信息相关联，或者将所述输入的运动和运动数量信息与卡路里消耗信息相关联，并且将所述营养和卡路里信息以及所述运动和运动数量信息作为跟踪信息存储在所述存储器中；

如果在所述存储器中没有发现输入语音信息匹配，则所述可执行指令控制所述处理器将所述输入语音信息传送给外部系统；和

输出单元，用于向用户报告所跟踪的信息。

2.如权利要求1所述的装置，其中，所述装置自动将所述输入语音信息与所述食物和食物数量信息以及相应的卡路里和营养信息相关联，并且自动将所述输入语音信息与所述运动和所述运动量信息以及卡路消耗信息相关联。

3.如权利要求1所述的装置，还包括通信单元，所述通信单元与所述外部系统通信以发送所述输入语音信息，并接收关于转录文本、食物和食物数量匹配、运动和运动数量匹配以及相应的营养、卡路里和卡路里消耗信息的外部存储信息。

4.如权利要求1所述的装置，其中，所述输出单元包括所述装置上的显示器和扬声器中的一个或两个，用于向所述用户提供显示的文本和音频信息。

5.如权利要求1所述的装置，其中，所述装置作为用户手腕上的带子而可穿戴。

6.如权利要求1所述的装置，其中，所述装置适于由所述用户携带。

7.如权利要求1所述的装置，其中，所述可执行指令控制所述处理器提供所述输入语音信息输入的一次提交跟踪，所述一次提交包括作为单个用户综合语音陈述而对消耗的一种或多种食物及相应的食物数量或执行的一种或多种运动和相应的运动数量的单次信息提交。

8.根据权利要求1所述的装置，其中，所述装置被控制为：在由所述用户通过讲话描述食物消耗或身体活动的细节提供输入语音信息的单次提交而不需要所述用户进一步动作时，跟踪与所述食物消耗或身体活动的离散发生有关的数据。

9.如权利要求8所述的装置，其中，所述输入语音信息包括不需要用户遵守语法或其它讲话规则的自然讲话的、对话式讲话。

10.一种适于由用户穿戴或携带以跟踪饮食和运动信息的装置，包括：

麦克风，用于从所述装置的用户接收由所述用户通过讲话描述食物消耗或身体活动以及消耗的相应的食物数量或进行的运动以及相应的运动数量提供的单次提交输入语音信息；

处理器；和

存储器，其连接到所述处理器，所述存储器存储用于控制所述处理器的可执行指令，所述指令控制所述处理器响应于由用户通过讲话描述所述食物消耗或身体活动的细节而不需要进一步行动所提供的输入语音信息的单次提交，控制所述处理器跟踪数据。

11.如权利要求10所述的装置，其中，所述装置自动将所述输入语音信息与所述食物和食物数量信息以及将所述食物和食物数量信息与相应的卡路里和营养信息相关联，并自动将所述输入语音信息与所述运动和运动数量信息以及将所述运动和所述运动数量信息与卡路里消耗信息相关联。

12.根据权利要求10所述的装置，其中，所述语音信息包括不需要用户遵守语法或其它讲话规则的自然讲话的、对话式讲话，而描述所述食物消费或身体活动的细节的讲话。