CN105120827A - 用于可疑活动辨别的装置和方法 - Google Patents

Abstract

一种药物确认方法和装置。本发明的实施方案的方法包括以下步骤：由视频捕获设备捕获用户施用药物的一个或多个视频序列、将所述所捕获的一个或多个视频序列存储至非暂态存储器，以及分析所述所存储的视频序列中的至少一个，以确定代表所述用户的可疑活动的一个或多个指示。

Description

用于可疑活动辨别的装置和方法

相关申请的交叉引用

本申请是Hanina等在2011年9月18日提交的目前待审的名称为APPARATUSANDMETHODFORRECOGNITIONOFPATIENTACTIVITIES的美国专利申请序列号13/235,387的部分继续申请，所述申请要求Hanina等在2011年6月19日提交的目前待审的名称为APPARATUSANDMETHODFORRECOGNITIONOFPATIENTACTIVITIES的美国临时专利申请序列号61/498,576的权益，这些申请中每一申请的全部内容以引用的方式并入本文。本申请也是Hanina等在2010年6月14日提交的目前待审的名称为APPARATUSANDMETHODFORRECOGNITIONOFPATIENTACTIVITIESWHENOBTAININGPROTOCOLADHERENCEDATA的美国专利申请序列号12/815,037的部分继续申请，所述申请要求Hanina等在2010年5月6日提交的名称为APPARATUSANDMETHODFORRECOGNITIONOFPATIENTACTIVITIESWHENOBTATININGPROTOCOLADHERENCEDATA的美国临时专利申请序列号61/331,872的权益，这些申请中每一申请的全部内容以引用的方式并入本文。本申请也是Hanina等在2011年7月24日提交的目前待审的名称为METHODANDAPPARATUSFORMONITORINGMEDICATIONADHERENCE的美国专利申请序列号13/189,518的部分继续申请，所述申请要求Hanina等在2011年6月10日提交的名称为METHODANDAPPARATUSFORMONITORINGMEDICATIONADHERENCE的美国临时专利申请序列号61/495,415的权益，这些申请中每一申请的全部内容以引用的方式并入本文。

领域

本发明总体上涉及在包括药物服用的药物施用方案情景中的患者依从性，并且更具体来说，涉及用于收集、分析和传输与患者移动有关的数据的装置和方法，所述患者移动与以下各项有关：药物到用户体内的这种药物施用和服用、将药物放入患者口中，将药物转移到患者体内的其他方法，所述装置和方法包括用于识别患者的身体部分上的可疑或有目的地恶意活动的特征。

背景

LarsOsterberg博士(医学博士)和TerenceBlaschke博士已在2005年NewEnglandJournalofMedicine的AdherencetoMedication(NEnglJMed2005；353:487-97)中报告了对所需药物方案欠缺服从性的担忧，进一步指出的是：虽然在临床试验中平均服从率被分类为“高”的，但是这个数字仍包括仅43至78百分比的服从率。最重要的是，作者指出“医师辨别不服从性的能力是较差的，并且用以改进服从性的介入方法获得的结果喜忧参半。”，Adherence，第487页。作者得出的结论是“对药物服法的较差服从性是普遍的，从而导致疾病的显着恶化、死亡以及保健成本的增加”，Adherence，第494页。2008年TrendRepotSeries的PatientAdherenceUpdate:NewApproachesforSuccess(2008年10月)报告了类似令人沮丧的统计信息。这个宽泛范围可能影响在FDA批准程序方面公众的信心和在程序全程持续监督药物的重要性。此外，根据JournaloftheAmericanMedicalAssociation(JAMA，2002年5月1日)，这可帮助解释为何进入美国市场的每五种新药中就有一种被发现具有严重的或危及生命的副作用——这些副作用在批准之时不知晓或未被公开。本发明正是针对较差的服从性和对患者的潜在危险的这种背景而起作用。

已广泛认识到，用于确保个体的适当药物服用或施用的方法和系统在针对不必要的疾病、死亡和其他问题进行防护方面是非常重要的。给予指令并随后使患者自我看护已被证实并不是特别好地起作用。这是因为医疗危险的主要原因并不仅仅是药品的不当服用。实际上，总体缺少足够的患者指导也是问题的一部分。另外，不能首先确认提供给用户的适当处方服法可能引起使用这种药物时的许多其他问题。关于各种公共健康药物施用情形(根据WHO的肺结核药物的施用)已被证实的，直接观察治疗(DOT)改进患者的依从性。GlobalTuberculosisControl:AShortUpdatetothe2009Report，世界卫生组织，2009年。这份报告中显示，用于实现DOT程序的资金很高。因此，以较少财务负担来实现这样的程序的能力将是合乎需要的。

传统上，参与者亲自参加临床试验的进入阶段和跟踪阶段。对临床试验设置之外的试图类似地坚持特定药物方案的其他患者给予来自处方医疗提供者或处方医生的处方和特定的一组指令。然后，在这位处方专业人士下一次探访时，通过对未使用药物和患者采访进行计数的传统方法来测量依从性。因此，数据收集类似地受限于患者探访，而不是每天进行。如患者询问和药物计数的这些旧方法已被证明是服从性的不足量度，并且不能提供关于剂量定时和药物假日(drugholiday)(不服用药物连续三天或更多天)的信息。

依从性和药物服从性技术可增加临床试验的统计学能力。通过使用这类技术，临床事件可被精确地与药物使用史相联系。所捕获的数据可与如EDC、患者日记和由医师收集的数据的其他来源相联系。多种技术可产生用于远程探访和数据捕获的许多可能性。虽然存在如有RFID功能的计算机芯片技术、智能泡罩包装和MEMS盖(瓶盖中的微处理器)的智能包装技术，但是这些技术：a)是侵入式的并且需要物理上连接至药物；b)关于依从性是非决定性的——患者可能启动所述技术而不服用药物；c)因其高成本而在临床试验中未被医药和生物技术公司大量采用；并且d)耗费较长时间来实现。另外，电子患者日记允许患者轻易输入数据。然而，这些日记仍遭受与依从性与药物服从性有关的问题。因此，即使患者细心地将信息输入至日记中，并且因此遵守对数据输入的要求，但是仍不能保证所述患者在规定时间适当地服用药物。当参与者执行可疑动作时，或者在其他情况下恶意地避免服用他们的药物时，这个问题甚至更为严重。

JoCarol等指出“用于研究目的的大多数可靠的方法可以是包括药丸计数、患者自我报告和电子监控的组合方法，但在临床环境中是不切实际的。”(CarolJ.等，PatternstoAntiretroviralMedication,TheValueofElectronicMonitoring,AIDS,17(12),ppl763-767，2003年10月。迄今为止，单独的技术只是被用于监控依从性而不是鼓励依从性。这些技术也不提供针对有目的地不服用他们的药物的患者的特定防护。

存在有为用户提供关于何时服用药物的指令并且在用户指示药物已被服用时进行记录的许多系统。美国专利号7,359,214描述这样的系统。提供了为患者提供关于服用药物的指令的设备。此外，系统可提供一种方法，用于在给定患者的病状以及他或她可能已经服用的其他药物的情况下确定处方是适当的。系统可根据预先确定的治疗方案来监控药品的分配。虽然这样的系统提供用于减轻患者负担的许多改进，但是这种系统遭受多种方面的问题，并且尤其遭受与临床试验的施用和药物服从性的其他主动患者监控有关方面的问题。

最重要的是，这种系统不提供用于实际上确认患者实际正在适当地施用所需药物的机制，所述施用包括将药物药丸放入他们口中，或遵照如在临床药物试验中所需的预先确定的一系列步骤来注入或吸入药物，如由处方医师在以下情况中所规定的：对特定服法的服从性可证明是对处方服法的功效为关键的情况，各种公共健康情形，不能坚持处方服法可整体上潜在地损害群体的情形(如抗生素抗性细菌菌株的产生)，各种疾病管理情形，或在保健专业人士维持对施用的适当控制为关键的家庭护理情形。另外，虽然所述系统对拥有其完全智力的人士来说可为足够的，但是可能在遵照指示方面具有困难的任何个体或主动避免药物的人士仍会在分配所需药物之后不服用所述药物。因此，参与者可能是健忘的、视力受损的、有目的地避免服用他们的药物，或在其他情况下不相信服用这种药物的益处，并且因此可能不会适当地对药物施用进行记载。此外，所述系统需要将各种药物预先装填于分配器中，并且因此可能需要由施用管理者定期探访来确信适当的药物实际上已被适当地装填于分配器中。的确有可能的是，无经验的用户可能将不正确药物放入设备中，或可由于某种原因将不正确的剂量提供至设备中。另外，对于可能是更为复杂的服法来说，没有提供方法来确保用户能够遵照这样的方案，并且随后确认用户实际上已根据任何所提供的指令等服用所有所需的药物，或已根据一个或多个说明书或所建议遵照的程序服用药物。此外，这种系统是昂贵的，并且需要经常维护来确认各种机械部件工作正常。最后，并未考虑可能设法瞒骗系统并且有目的地避免服用他们的药物的参与者，这种情况如可能在如精神分裂症群体、监狱群体或其他群组的各种患者群体中存在的情况。

2007年8月16日提交的名称为MobileWirelessMedicationManagementSystem的美国专利申请序列号11/839,723提供一种药物管理系统，所述药物管理系统使用移动设备和成像技术，以便用户能够向系统展示要被服用的药丸，并且所述系统可然后识别药物。包括如由系统所量测的各种生命体征的患者历史对管理员来说是可用的。也可拍摄患者、提供者、药物容器等的图像。虽然所述系统声称确保了方案的服从性，但是所述系统仅在由用户请求时才提供这种帮助。实际上不存在利用来确保实际服从性的特定方式，所述实际服从性包括服用、吸入、注入药物，或服从性与药物随时间推移的功效或安全性的关系。当临床试验需要对预先确定的方案的服从性时，这是尤其相关的。

另外，现有的系统无法由医官或其他临床试验管理员来维持对施用后复查的审计跟踪，并且因此无法进一步确认对适当药物施用或群体管理的确认。因此，这同样无法针对有目的地不服用他们的药物的可疑或恶意药物用户进行防护。

因此，提供克服现有技术的缺点的装置将是合乎需要的。

概述

在2009年11月18日提交的名称为MethodandApparatusforVerificationofMedicationAdministrationAdherence的美国专利申请序列号12/620,686；目前待审的2009年12月23日提交的名称为MethodandApparatusforVerificationofClinicalTrialAdherence的美国专利申请序列号12/646,383(目前待审)；目前待审的2009年12月23日提交的名称为MethodandApparatusforManagementofClinicalTrials的美国专利申请序列号12/646,603；以及目前待审的2010年3月22日提交的名称为ApparatusandMethodforCollectionofProtocolAdherenceData的美国专利申请序列号12/728,721中(这四项申请的内容以引用的方式并入本文)，本发明的发明人已提议一种系统、方法和装置，所述系统、方法和装置无论在保健提供方的护理还是在由患者进行家庭护理情形中自我施用时都允许对用于临床试验设置中的规定药物方案或机器或装置的服从性的完全控制和验证。

这些申请提出了：可确定用户是否实际上遵照方案的唯一药物管理系统向用户提供另外的协助，所述另外的协助以优选地包括一个或多个交互和实时音频、视觉文本等提示的指令开始，所述提示基于用户的被检测到的一个或多个动作，并且如果在任何医疗服从性情形中和临床试验设置中确定用户需要这种协助，那么进展到由药物管理员进行联系，所述医疗服从性情形包括临床试验环境、家庭护理环境、保健施用地点，如疗养院、诊所、医院等。

本发明的解决方案建立在这些初始发明之上，并且提供可根据这些系统而用来检测用户的可疑活动并且阻挠有目的地不服用他们的药物的用户的一个或多个特征。本发明的系统可以可视方式和可听方式辨别固定系列的动作，每一动作包括药物施用过程的部分，并且所述系统可进一步辨别与所述固定系列的动作的偏差，无论音频、视频并且无论用于监控口头服用药物、可注射药物、可吸入药物还是其他施用的药物都如此。系统也可在某件事被识别为不正确的、错误的或可疑的时与患者实时交互，并且提示不同的动作或产生警报并且推荐由保健提供方介入。

根据本发明的实施方案，可根据以上引用申请中指出的发明中的一个或多个来使用运动捕获程序，所述运动捕获程序用于捕获与施用以下各项有关的运动信息：基于药丸或膜片(film)的口服药物，或可注射药物、基于吸入器的药物、其他基于非药丸的药物，或可执行的任何其他形式的患者施用任务。因此，根据本发明的实施方案，可提供方法和装置以用于分析所捕获的患者运动数据，优选近实时地向用户提供反馈，确定参与者执行被视为可疑的一些动作的次数。另外，可不同步地分析患者执行信息，以确定数据的可能暗示出患者方面一些恶意意图的其他特征。

进一步根据本发明的实施方案，可确定一个或多个预先确定的运动序列，并且可界定与这些一个或多个运动序列中的每一个有关的一个或多个相关误差或其他可疑活动。本发明的自动化系统可随后监控在一次药物施用期间并且在多次施用中可发生这些一个或多个可疑活动的次数，以便确定潜在可疑行为随时间推移的模式。

根据说明书和附图，本发明的其他目标和优点将部分地为清楚的并且将部分地为明显的。

本发明因此包括若干步骤和这些步骤中的一个或多个相对于其他步骤中的每一个的关系，并且将在权利要求书中指示体现了适于影响这些步骤的构造特征、要素组合和部件布置的装置，所述构造特征、要素组合和部件布置全部在以下详细公开内容和本发明的范围中举例说明。

附图简述

为达对本发明的更完全理解，对以下描述和附图进行参考，在附图中：

图1是流程图表，描绘了根据本发明的实施方案的方法；

图2是流程图表，描绘了根据本发明的实施方案的视频序列捕获方法；

图3是对根据本发明的实施方案的位置确定过程的描述；

图4是对根据本发明的实施方案的另一位置确定过程的描述；

图5是对根据本发明的实施方案的运动跟踪过程的描述。

优选实施方案的详述

现将参考随附附图来描述本发明，在附图中，相同组件符号表示相同结构或步骤。参考图1，示出根据本发明的实施方案的操作的数据流概图。根据本发明的这个实施方案，可将关于以下各项的信息提供于数据库105中：将要成为临床试验的主题、将要用于公共健康或疾病管理情形等的特定药物，其他药物施用程序或处方，或如执行居家尿液试验等的其他患者自我施用医疗任务，并且现有行业药物信息数据库110被优选地用来存取处方、交互内容、应用程序和其他可用信息，所述可用信息关于任何数量的所建议处方和非处方药物以及所述药物与临床试验或其他的药物的可能的相互作用。另外，可使用患者医疗记录115，并且将在以下描述，所述患者医疗记录可结合行业医疗信息和医疗专业人士的开处方专长结合使用，以确认患者是这样的临床试验或药物施用程序的良好候选者。这些数据库可以本领域的普通技术人员已知的方式来存取。这种信息可进一步包括与可疑或恶意行为的相关联的可能典型要素有关的信息。这些要素可基于药物的类型、药物施用的方法、人口统计学或关于患者的其他信息、其他特征或、或这些要素的组合。可疑活动信息118也优选地在这时被传送到系统，并且如以上指出的可包括对患者移动或其他动作的一个或多个指示，所述患者移动或其他动作可指示代表患者的可疑行为、瞒骗系统的恶意意图或其他高风险群体的动作。本发明的各种实施方案也可被提供来确定患者是否正在正确地做出动作或执行任务，或所述患者是否只是正在犯错。

一旦确认，就可规定根据临床试验或如在公共健康、医疗实践环境等的其他处方要求的药物施用和服用或其他药物服法，并且在120处输入到本发明的系统中。这种药物施用服法可包括以下一种或多种：服用或吞服药丸、使用吸入器设备、使用可注射药物设备、使用贴片、舌下施用、位于面颊或其他皮肤的药物施用设备等。一旦输入到系统中，特定处方服法就可引起产生一组用户指令、各种训练序列等125，并且被传输至根据本发明的实施方案的被提供至患者的装置，以用于存取本发明的系统。这样的装置可包括定制设计视频和音频捕获、分析和传输装置、智能电话或包括摄像机或其他视频和音频捕获装置的其他移动设备、上网本、膝上型计算机、台式计算机、平板设备等(独立的或被内建到镜子或柜子等中)、或允许向患者显示指令并且允许视频、音频分析信息的最终捕获、分析和传输的其他计算电器。当在用户自己硬件系统上安装软件时，优选的是，软件检测并且另外测试或确定出：试图将要由患者利用的硬件足以实现本发明并且足以运行根据本发明提供的软件包。因此，软件可检查的是：摄像机包括足够的分辨率，设备的存储器具有允许用于充足的所捕获视频存储的充足大小，音频可被适当地捕获，并且传输系统包括发射并接收所捕获视频、音频、视频指令等的充足带宽。处理也可在远程位置处执行，因此允许用户将轻便的应用程序等包括在他们的本地设备上。或者，用户可仅将本地设备用作网关，从而将所有数据传输至远程位置以供处理，并且作为这种处理的结果返回响应。因此，用户能够拨打视频会议号码，或以其他方式与远程位点交互，如通过访问特定网站或URL来交互。

这类用户指令和训练序列可包括关于经受当前试验或药物施用方案的特定药物的通用指令、施用的方法、关于副作用的警告，以及关于与常用物质或药物或由系统或由另一医疗设备提供方向患者规定的其他药物的药物相互作用的问题。根据本发明的实施方案预期的是，这类用户指令的集合可为交互式的，从而允许用户根据需要来查看关于这类指令或处方的另外的信息。这些指令可包括在用户装置的显示器上向用户提供的书写、音频或视频指令。进一步预期的是，这类指令可指示与对应的一种或多种药物施用序列相关联的一种或多种移动序列。这些指令优选地指示可由患者做出的用于服用药丸、使用吸入器、使用可注射药物等的适当和不适当的运动，并且可指示可由或可不由用户执行的各种运动。以这样的方式，可指导患者来适当地执行所有要求的动作，并且避免可指示患者设法瞒骗系统的动作。在替代实施方案中，有可能尤其不向患者描述各种可疑行为，所述可疑行为将在对“陷害”无恶意可疑性患者的尝试中被跟踪。这些陷阱可在系统的后台中维持并运行。因此，如将在以下所述，对一种或多种错误的检测可向患者产生实时显示的视频和/或音频反馈以便纠正动作，而一种或多种其他错误可由系统记载，但优选地不向患者提供反馈，并且因此可被累积并用于在不提供指令的情况下分析患者动作，并且帮助避免被系统捕捉到。在被“捕捉”多次之后，可将用户的状态改变成具有提高安全性意识的状态。因此，用户可首先在低水平观察中开始。在捕捉到预先确定数量的潜在动作之后，可将用户标记为试图瞒骗系统或执行一个或多个可疑动作的用户，因此保证较高安全性水平。另外的怀疑将在围绕对患者的所有动作的复查而产生。在适当正确地使用系统持续另一预先确定的时段之后，用户可回到初始正常状态。另一方面，如果可疑活动持续，那么可将用户移至另一状态，其中可推荐用户以从临床试验排除，或例如停止服用特定药物。

根据本发明的一个或多个实施方案，这些运动或动作的集合中的一个或多个可包括：通过位置的视觉确认而确认用户已将药丸放入他们的口中，并已适当正确地吞服了药丸，而且因此已适当地服用了药物；通过位置的视觉确认和/或致动的音频确认而确认用户已适当地使用吸入器设备；通过位置的视觉确认和/或致动的音频确认而确认用户已适当地使用可注射设备；等。

参考图1的下方部分，水平线指示患者施用药物的时间。在这个时间，可通过任何合乎需要的通信和通知系统来通知用户服用他们的药物，所述系统包括文本消息、电子邮件、电话呼叫、自动日历提醒物等。虽然未明确地示出，但是首先优选地通过使用面部辨别序列、其他生物计量识别序列、语音辨别、其他密码识别系统或其组合来确认用户的身份。可记录使用系统的其他特征，如开启时间、执行其他任务的时间等，以便进一步辅助确定系统的用户的一致身份。用户也可被要求说出“你好”或一些其他字序列来允许用户的语音的音频辨别。在个体的辨别之后，系统可显示关于个体的一种或多种数据，仅举例来说，如姓名、患者状态、将要施用的药物、指示患者何时已施用药物和是否已错过任何施用时间的日历，以及选择性地，指示使用药物方案的个体的依从性水平的评分(如果需要)。如在已由用户登记太多次的未服用的情况下，或在太多次自我报告称用户已服用他们的药物而没有使用自动化系统的情况下，也可跟踪其他度量，以上每种情况都指示潜在可疑活动。这种识别信息可被存储至远程位置，以辅助确定特定用户是否正在一个以上的位点处利用一个以上的设备登记，并且因此正在试图为试验支付两次。这类患者不可能完全对服用药物感兴趣。患者的另外的属性也可被存储在集中式数据库等中，以潜在地警示潜在违反者的其他临床试验。因此，一种或多种患者行为档案资料、面部识别特性、语音辨别、其组合可在已被识别为非依从者之后允许设置出一个或多个受试者或观察名单等。因此，设法从多个诊所获得药物的患者、设法针对多个临床试验签约的患者、或设法在单一临床试验中在多个位点处签约的患者可在所述患者能够在这些其他地点得逞之前被辨别并确定。

系统应优选地能够基于所有收集的数据(如错过次数、未服用数量、手动比率、任务时间、使用错误数量、可疑错误数量、研究调度员/发起人备忘录、标识、视频复查结果)来学习可疑患者的类型。然后，可通过检查患者是否配合某些类型而将患者容易地分类为可疑水平1、水平2...或无可疑。当采集到更多数据并且注册了更多患者时，机器将每天保持学习。因此，可更准确地确定在状态机中、特定状态下对用户的更精确设置，如将在以下描述的。

一旦识别并通知将要施用的药物类型，患者可显示：药物，如药丸、可溶解膜片等；施用装置，如吸入器、可注射装置或其他药物形式(包括药瓶等)，以通过使用文本辨别、药物辨别、条型码或一个或多个唯一标识符的其他代码读取或其他适当的药物辨别方案来确认药物是正确的并且是将要服用的当前规定药物，所述一个或多个唯一标识符来自施用装置、药瓶等。可使用一种或多种置信水平测量法，如Guan等在2011年5月18日提交的名称为MethodandApparatusforPatternTracking的共同待决的申请13/110,500中描述的测量法，所述申请的整体内容以引用的方式并入本文。

除辨别药丸或其他药物之外，系统可优选地跟踪患者如何握住药丸或其他药物，并且可进一步跟踪从手到口的连续运动以确认无可疑动作发生。因此，系统也可检查在药丸的识别与将药丸放入用户的口中之间的一致手部使用。除跟踪手的运动之外，如果用户将要从泡罩包装拿出药丸，那么用户可跟踪运动序列，以用于在屏幕上跟踪从药瓶或泡罩包装拿出一直到放入口中/服用、饮用水的完整姿势，显示并跟踪向下流的水、吞咽并且甚至展示空的口部，以便与所需序列的任何偏差可被识别为潜在可疑活动。此外，系统可查看泡罩包装以确定是否已取出正确数量的药丸，是否剩余正确数量的药丸，并且是否已取出了不应被取出的其他药丸等。这种可疑活动可用来自动地标识潜在可疑活动。

其后，可指导患者以规定的方式施用药物。这些施用序列中的一种或多种可包括：通过位置的视觉确认而确认用户已将药丸放入他们的口中(服用药丸)，通过位置的视觉确认和/或致动的音频确认而确认用户已适当地使用吸入器设备，通过位置的视觉确认和/或致动的音频确认而确认用户已适当地使用可注射设备。因此，对于口部施用来说，用户可被要求将药丸放入他们的口中，向摄像机展示他们口中的药丸以确认药丸的存在，饮用一杯水，并且像摄像机展示空的口部以确认药丸服下。用户可被要求改变他们的舌头相对于药丸的位置，以向摄像机提供用户口中的药丸的更完整视图。例如，如果用户仅将他们的舌头顶部呈现给摄像机，并且拒绝展示他们的舌头下方，那么可标识可疑活动。当饮用水时水被或用户的头部的不适当倾斜可进一步被自动辨别并且提供为潜在可疑活动，因此改变用户的状态并且可能改变细查水平以复查用户的活动。也可确认吞咽运动，所述吞咽运动的缺少提供潜在可疑或恶意行为的进一步证据。对于吸入器来说，用户可被要求适当地定位吸入器并且向摄像机展示定位，在摄像机的视野中致动吸入器，在摄像机的视野中吸进，并且在摄像机前屏住呼吸持续预先确定的时段。不同声音(例如从吸入器发射的不同频率)可暗示：用户可能错误地或故意地利用他们的牙齿来阻断吸入器的气溶胶或粉末。这种不正确的定位可暗示不正确的放置，并且因此暗示不正确的药物施用。对于可注射药物来说，用户可被要求向摄像机展示药物，将可注射药物放置成相邻于适当身体部位以在摄像机的视野中接收注射，在摄像机的视野中致动可注射药物等。

在这种施用期间，可提供对各种受指示潜在可疑活动的监控。因此，如上所述，可确定对患者的头部或面部是否离开摄像机的视场的确定，并且如将在以下所述，用户的状态可基于根据本申请指出的这种或其他可疑活动而改变。可被跟踪的其他可疑活动可包括：患者在基于药丸的药物的药物施用期间利用他们的手遮住他们的口部，指示对移除药物的尝试的其他身体移动等。此外，音频辨别也可用来确定例如患者是否吐出药丸，或辅助确定可吸入或可注射药物是否已被适当致动。可优选地随时间推移监控这些特征中的每一个，因此虽然潜在可疑行为的单一指示提供重要信息，但是这类可疑行为的持续执行将提供对瞒骗系统的尝试的更完整刻画(picture)，因此允许介入来识别患者并且指出可疑行为。在用户的部位上执行的不同动作可允许用户被分类成一种或多种状态，所述状态基于所述用户可随时间推移执行的一个或多个动作而改变。可根据如Hanina等在2011年7月24日提交的名称为MethodandApparatusforMonitoringMedicationAdherence的共同待决的美国专利申请序列号13/189,516中所述的一个或多个特征来执行这样的状态机，所述申请的内容以引用的方式并入。可使用所述申请中指出的药物施用状态来将可疑用户基于他们的动作而分类。

在药物正被用于治疗某一症状的情况下，因此根据本发明的一个或多个实施方案，系统可用于在以可视方式测量所述症状是否改善。例如，精力集中、完成任务的速度、运动控制等。如果症状或行为(例如眼睛移动仍不稳定)未能改善，那么这可暗示用户未服用他们的药物。情绪也可作为用户是否服用他们的药物的信号而被测量和监控。可将各种动作再一次用于将用户分类成一种或多种药物施用状态，因此暗示可由系统追踪用户所需的复查和追踪的水平。

另外，可通过分析提供于成像设备的视场中的信息，或通过使用成像设备上的一个或多个陀螺仪或加速度计来确定对成像设备的移动的确定。因此，如果用户篡改成像设备或摄像机的位置，那么所述篡改将被知晓并且可自动地通知监控者或保健提供方。其他线索如在药物施用的一个或多个关键时间处的背景设置改变，或设备的移动的其他指示等。

在这类施用的确认或确认失败之后，可为患者提供关于随时间推移他们如何执行并进一步提供对未来服从性的鼓励的进度报告。另外，可提供对下一次施用时间的通知连同来自保健提供方的关于方案改变的一个或多个消息，或其他所需信息。此外，可通过报告通用服从性信息连同所指出的可疑活动信息的仪表板来向保健提供方等报告潜在可疑行为的各种检测到的情况。也可以可视方式向患者展示已检测到异常活动的警告。可告知患者：药物或方案的不正确使用会导致联系他们的研究调度员/保健提供方，将他们从试验中排除，或可对患者应用另一水平的监控。

因此，根据本发明，可确定对针对药物的规定施用计划的患者服从性的确认，同时可识别可疑或恶意行为，所述规定施用计划由临床试验或其他处方服法所规定。虽然这类确认可采取许多形式，但是根据本发明，用于这类确认的优选方法可包括捕获患者实际上施用药物的视频和音频序列。在另一优选方法中，用于这类确认的这样的序列可包括使用对特定患者实际上正在接收治疗的面部辨别序列或其他生物计量确认，但也可提供用于模糊用户的面部或其他识别特征、通过转描技术(rotoscoping)等来简化所显示的图像，或以其他方式加密这类信息以允许这类图像的存储和使用同时保护患者的身份的能力，这是一种可在药物施用管理员正在提供关于临床试验的总报告但未设法补救特定患者的情形或具体来说在公共健康或疾病管理情境中有益的技术。用于确定特定受试者移动是否满足预先确定的移动序列的活动辨别、姿势辨别、计算机视觉处理或其他特征可用来确保患者适当地服用规定药物。这种相同的姿势辨别也可用来确定用户的部部位上的可疑或恶意行为，如上所述。音频辨别也可用来确定在与药物施用相关联的一个或多个关键重要时刻的可疑噪音，如咳嗽噪音。例如，如果例行地在用户已将药物药丸放入他们的口中之后一致地发生咳嗽，那么可将患者提升到提供在施用过程期间随时间推移进行复查的更高水平细查的状态。最终，也可使用对任务时间的测量来辅助确定可疑行为，所述任务时间指示用户执行一个或多个规定步骤所需的时间量。可跨越许多不同的设备和使用装置的情况来测量这种任务时间，以确定可能是感兴趣的并且可用来确定可疑行为的一种或多种趋势。例如，任务时间可用来确定用户未按需要真实地执行药物施用步骤的活动的模拟动作(miming)。

接着参考图2，如图1的步骤130和135中所阐述，描述了根据本发明的实施方案的用于执行对规定方案的服从性的音频与视频捕获和辨别，以及用于确定可疑或恶意活动的一个或多个指示的方法。在图2中，患者可首先在步骤205处使用面部辨别、生物计量辨别、密码输入、语音辨别或其他患者识别方法来登入本发明的系统中，并且在步骤210处，优选地如上所述通过使用条形码读取、文本辨别、使用视频或静止图像辨别的视觉辨别或如以上指出的的其他药物辨别技术来确认适当药物。可通过任何类型的提醒物来提醒患者登入系统上来服用他们的药物，所述提醒物如文本消息、电子邮件、电话呼叫、自动化警报等。然后，处理传递至步骤225，其中可提示用户执行一个或多个预先确定的动作，优选地捕获这些动作中的每一个视频和/或音频。视频捕获分析可随后在步骤230处开始，这类分析包括对新捕获视频和/或音频的分析。在步骤235处，可确定是否已适当地捕获动作，并且所捕获的动作是否已由系统以如将在以下所述的一种或多种方式适当地分析。

如果确定药物的施用并未适当地发生，那么处理可回到步骤225，并且可提示用户再一次执行动作。(当然，如果这个过程涉及药丸、膜片、吸入器、可注射药物或任何其他药物的实际施用，那么要求动作的重新执行可能不是适当的，除非可确定用户实际上并未施用药物。)如果已适当地执行动作并且能够得以分析，那么处理在步骤250处结束，此处将各种所捕获的视频序列进行存储。也可使得这些所存储的序列在确定人为复查和介入将是有益的时对这种人为复查和涉入来说是可用的，并且可进一步优选地将这些所存储的序列用来确定可疑或恶意活动。复查所感兴趣的区域可被加亮并标记为潜在地包括可疑或不正确活动。风险的百分比估计可由系统基于由状态机产生的风险算法并基于一种状态来自动地提供，其中已将用户基于他们的在先活动和来自多个用户的一个或多个习得活动而设置成所述状态。

现将更详细地描述为了确定可疑或恶意行为对所捕获视频的分析。如图3所示，框410可提供在可由使用系统的患者查看的显示器上。指示框410可另外提供为圆形或其他适当指示物。指示框410可另外被隐藏以免用户查看。或者，智能电话、平板计算机、其他移动设备、计算机等的边框或其他边缘可用作参考，即用作“框”。患者面部的表示可在相对于用于系统的最佳拍摄位置的位置中展示。因此，虽然面部表示400a被适当地定位，但是面部表示400b被定位在指示框410的左边，并且面部表示400c被定位在指示框410的右下方。本发明的发明人已确定：可疑或恶意行为的一个指示物是患者的面部离开视场许多次，和/或在一个或多个至关重要的时间离开视场。因此，如果例如在将药丸放入患者的口中之后但在展示他们已吞咽药丸之前，所述患者的面部离开显示器，那么患者可将药丸吐出。如果患者的面部离开显示器一天，那么这可能只是用户，但是如果确定患者的面部正在一致地随时间推移离开显示器，那么可确定可疑或恶意行为。因此，位置400b和400c可指定为可疑位置，并且在许多次施用中针对特定用户在关键时间捕获到这个位置之后，可引起对参与者标识以供进一步复查。因此，提供用于确定可能的可疑或恶意行为的自动化系统。系统可报告这类活动，或替代地将患者标识以使其在前进之后将被更仔细地细查。

在替代实施方案中，保健提供方可通过复查服用自己药物的患者的所记录视频或出于任何其他原因而有理由怀疑特定患者正在可疑地或恶意地做出动作。在这种情形中，根据本发明的这个实施方案所预期的是，保健提供方优选地能够指示：患者应进行更精细的细查。这种指示可通过仪表板来做出，其中保健提供方可选择据此指示这个增加细查水平的单选按钮等，或以其他方式做出这样的指示。一旦被标识以用于另外的细查，用于自动地确定可疑或恶意行为的阈值就被提供到保健提供方，所述阈值如在警告之前患者能够使其面部离开屏幕的次数。当然，这种增加的细查可被应用于根据本申请描述的可疑或恶意活动辨别序列中的任何辨别序列，或被应用于可使用的任何其他辨别序列。

可针对可疑活动被监控的其他视觉运动或姿势可包括在展示患者口中的药丸之后将手移动到患者的口部，从而指示患者可能正在移除药丸。再一次，一次性服用的情形(oneoffsituation)可能不是问题，而在特定敏感时间用户的手在口部前方的一致移动可要求另外的细查和关于可疑或恶意行为的警告。也可包括患者的一个或多个身体部分的其他移动。此外，可监控执行可疑或恶意活动的音频指示，如监控吐出药丸的用户。这类监控可基于音频信息、视频信息或两者来自动地执行。恶意活动的其他指示可包括跨屏幕跟踪由用户吐出或扔掉的药丸等。另外，药丸或其他药物可对摄像机呈现变形。这可能来自用户的误用或篡改，并且可指示在服用之前使药丸或片剂熔化、篡改、切割或打开，甚至将胶囊的药物内容物腾空。也可分析胶囊的各部分的对准。因此，可通过系统自动地确定任何被注意到的变形、颜色改变、标记改变等，并且向一个或多个监控者或关键利益关系人报告。

如果为监控者或其他保健提供方提供对由系统的用户执行的一个或多个动作的视频复查，那么根据本发明的一个或多个实施方案预期的是，可为监控者提供连续的一个或多个视频剪辑以供复查。根据本发明的一个或多个实施方案预期的是，如果系统确定一个或多个视频剪辑可包括一个或多个可疑活动动作，那么这些视频剪辑可由系统自动地注释，优选地由系统提供风险估计；并且根据用户的状态进行关联，风险档案资料随着用户移动过一个或多个不同的用户状态而改变。在由监控者或其他保健提供方复查这些视频剪辑之后，用户可进一步通过沿视频时间戳的时间线指示其他信息来对视频进行注释。这种注释优选地进一步与视频一起存储以供其他人观看，或由根据本发明的一个或多个实施方案的计算机系统进一步分析。基于这些注释和可疑或恶意活动的一个或多个其他指示物，可产生一个或多个报告并且可通知一个或多个关键利益关系人。因此，用户可基于他们的活动而被分类成一个或多个类别，并且如以上指出的基于这些类别来进行报告或进一步监控。

除监控身体部分的移动之外，根据本发明预期的是，单独地或结合身体部分的移动来监控一个或多个药物施用设备的移动，所述药物施用设备如吸入器或注射器机构。这可类似地应用于用于施用液体药物的杯子等，或用于容纳一个或多个药丸、膜片或其他口服药物的容器。因此，如图4所示，除跟踪患者的定位之外，可确定指示可疑或恶意行为的一个或多个物体绝对地或相对于另一身体部位的移动。在图4所示的特定实施方案中，可使用吸入器、水杯等相对于显示区域、用户的口部或面部的定位。根据本发明的另一替代实施方案，类似跟踪可用于可注射药物递送装置。如图4所示，吸入器500可被确定为适当地定位在框522中，如图4的描绘，框例如为绿色。当然，框不必以上文相对于图3指出的方式向患者展示。然而，这样的物体很可能不仅从左到右和从上到下，而且在到成像装置的距离上被不适当地定位。因此，除从一边到另一边或从上到下移动装置离开显示器的患者之外，患者也可远离成像设备移动以试图瞒骗系统。以这样的方式，患者可试图利用成像设备的一个或多个限制，如成像设备的分辨率、低亮位置等，以及这类分辨率可能对成像设备识别与被成像物体相关联的形状、颜色文本或其他编码的能力的任何影响。因此，如果被定位得离成像装置太远，那么框510、511、512的序列和吸入器500的小型表示可被提供来警示用户将吸入器移动得更近，或虽然对患者不可见，但可被用来确定动作是否已被适当地确定为可疑或恶意的。因此，如果确定吸入器不仅太远而且偏离中心，那么框520、521、522可被提供(以可见方式或不可见方式)来跟踪吸入器的位置，以确定患者的部分上的任何潜在可疑或恶意移动。

类似功能可被提供用于监控可注射装置相对于接收注射的用户身体部位和成像装置的显示器的位置，包括相对角度和到身体部位的距离。因此，就上文相对于图3指出的面部移动来说，可监控药物施用装置(吸入器或可注射装置)离开显示器(并因此离开到成像装置的视野之外)的移动，或远离成像装置达到药物施用装置的细节不再是可分辨的点的移动，并且如果在预先确定的时间框架内执行多次，那么可确定可疑或恶意意图。

此外，如图5所示，除使用药物施用装置的绝对定位之外，根据本发明的各种实施方案预期的是，可跟踪药物施用装置700的移动，并且因此可确定装置700的看上去任何可疑或恶意的移动。因此，如果患者太快速地朝向视场的边缘、朝向不正确的身体部位移动装置，使装置背离他们的口部等，那么可确定可疑或恶意行为，甚至是在装置一直保留在视场中也是如此。因此，如图5所示，指示将施用装置700通过在由箭头A指出的方向上移动从水平定向重新定向到垂直定向。可向患者显示一组引导轨迹710a、710b，或所述引导轨迹可被维持与患者显示器分开，并且可确定相对于所述引导轨迹的连续装置位置和定向。当装置沿规定路径移动时，可确定适当位置和定向，同时找出可能指示患者的部位上的可疑或恶意行为的任何不正常移动。因此，根据本发明的实施方案，如果移动这类药物施用装置的患者未适当地遵照虚拟路径，那么可确定可疑或恶意行为。

如以上指出的，也可使用颜色和/或音频序列。可处理相对于可注射药物的类似定位信息。

除确定发生在成像设备的规定视场内和在用于监控药物服从性的时间期间的可疑或恶意活动之外，可根据本发明的优选实施方案监控各个另外的区域和时间。具体来说，有可能在药物施用时间之前和之后继续记录，因此有可能试图确定在用户认为监控已完成之后或在处理开始之前用户是否从他们的口中移除药丸。如果用户将服用例如多个药丸，那么有可能在药丸的施用、服用等之间持续监控用户，即使显示器正在提供接着要服用的药丸的视觉指示并且未显示用户的面部时也是如此。另外，音频记录可在这些时间期间用来确定由用户制造的任何声音是否可为可疑或恶意行为的指示。这类音频声音可指示用户吐出药丸、致动吸入器或可注射设备等等。这种受监控的音频与视频信息可根据本发明的一个或多个其他特征来自动地处理，以确定这种素材是否提供可疑或恶意行为的另外证据。

最后，记录比在显示屏中呈献给用户的视场宽的视场的视频也可以是合乎需要的。因此，如果场景的广角视野被成像，那么可向用户显示标准视频，并且因此试图瞒骗系统的用户可认为他们处在摄像机的视场之外，因为他们未在显示器中显示，并且可因此执行可疑或恶意动作。如果这个动作发生在摄像机的视场内，那么即使未在显示器中展示，仍可针对可疑或恶意行为进行分析。

因此，根据本发明的各种实施方案，因为可捕获并且分析实际上施用可吸入或其他药物(或药物施用的其他方法，包括但不限于注射、透析和任何其他药物施用程序)的患者的视频图像，所以可执行对可疑或恶意行为的分析。在与自我报告系统或其他可用药物监控系统(如电子药物瓶盖)比较时，本发明的各种实施方案是允许对设法瞒骗系统的一个或多个用户的确定的唯一系统。这是因为不同于简单地依赖于患者来陈述特定药物被施用，所述系统进行适当施用的自动化确定。通过数据的累积，可将各种运动、移动或声音与可疑或恶意行为相关联。只有本发明的各种实施方案才允许对用户活动的这种独立分析。

在给定根据本发明的特定实施方案来使用的选定类型的活动或姿势辨别的情况下，可以任何适当的格式来捕获或存储这样的视频图像。这可包括完整视频、生物计量数据点、对如手镯等附着于患者或管理员的物品的移动的记录、提供简笔画的映射或用于确定移动等的其他身体移动跟踪技术或姿势或活动辨别的使用。可鼓励用户使用特定移动序列以确认他们根据方案适当地施用了药物，因此减少被认为是“正确”的潜在适当移动的可能性。或，如以上指出的，可执行定制视频序列的捕获，以便用户更可能重复这些相同动作。的确，可向用户提供各种指导性视频或其他适当的训练，以确保他们适当地施用药物。因此，可自动地分析在饮用之前和之后的水的液位，可自动地执行对已从泡罩包装取出的一个或多个另外的药丸的确定，或可自动地监控可注射物或可吸入物以确认一致使用，全部是通过对所收集视频序列的视觉分析来进行。

一旦优选地以HIPAA依从性方式记录并存储视频序列，可对所述视频序列执行进一步分析。例如，可针对将要执行的药物施用序列的各部分测量任务时间。以这样的方式，有可能确定特定用户耗费多长时间来执行药物施用序列的一部分。可确定模式来识别执行可疑或恶意活动的用户。例如，某些动作可被太快速地并且随时间推移均匀地执行，从而指示出问题。作为实例，在本发明的一个特定实施方案中，用户可被要求在服用药丸之后引用一杯水。如果饮用水的时间也一致地太快，那么这可能就给出用户实际上没有饮用水，而是对饮用水作假来瞒骗系统的证据。也可使用其他任务时间测量法。可因此捕获时间戳标记来确认用户正在适当时间服用他们的药物和用户已服用特定药物的次数，确认指令与施用之间是否存在较大延迟，引用可辅助可疑活动的确定的任何其他时间序列确定。此外，可另外使用其他行为标记，仅举例来说，如指示神经紧张的抖手，或由患者进行其他移动，所述其他移动可给予关于患者的身体或精神状态以及设法瞒骗系统的可能性的启示。

系统也可优选地试图确定用户是否正在使用替代或改变的药物，如药丸是否呈现压痕或以其他方式被篡改，是否具有颜色改变、标记改变、纹理改变、半透明度改变等。可使用单一或多个连续或非连续图像以便确定药丸的视觉特性的任何改变。因此，可使用对药物身份的确认以及对例如胶囊的变形(潜在地指示将胶囊分开以移除药物)的确定。在本发明的这个特定实施方案中，确定这类恶意活动的能力可取决于成像设备的分辨率，分辨率越高，可越完全地执行对这些问题的检查。因此，根据本发明的实施方案预期的是，随着摄像机的分辨率改善并且随着移动设备和其他成像设备的处理能力增加，可使用更完全地检查。

包括可疑或恶意动作信息的这种被捕获的服从性信息可通过仪表板被提供至保健提供方、临床试验管理员等，从而允许复查关于个体患者、患者的整个群体的信息，或人口统计学的相关信息。可提供这类信息来将问题患者、人口统计学分组、药物等容易地通知保健提供方、临床试验管理员等。可使用一个或多个仪表板或其他报告机构，如Hanina等在2011年7月24日提交的名称为“MethodandApparatusforMonitoringMedicationAdherence”的共同待决的美国专利申请序列号13/189,518中所述，所述申请的整体内容以引用的方式并入本文。因此，根据本发明获得的任何可疑或恶意活动信息可根据如'518申请所述的一种或多种方法或系统提供至一个或多个个体。

另外，一旦将信息捕获至仪表板，就可执行进一步分析，所述分析可辅助确定潜在故意地非依从性用户。例如，如果用户具有不使用自动化视觉施用系统(即，用户通过电话告诉其保健提供方他们服用了他们的药物，或以其他方式向自动化系统指示他们已服用了他们的药物而没有使用自动化系统进行确认)的高百分比的药物施用确认，那么这可指示对瞒骗系统的尝试。可使用其他这类度量，并且可优选地从一个或多个特定患者群体的所收集数据中采集所述其他这类度量。如以上指出的，这些情形中的任何一个或多个可将用户设置成不同状态或类别，并且可因此指明由系统和任何监控者或保健提供方进行另外的细查。可如以上指出的根据用户执行的动作而将他们移动到这类状态中或外。

通过使用如上所述的可疑和恶意活动跟踪，可产生一类施用语言，从而允许扩展到其他患者，并且还允许解释由于患者引起的与预先确定的序列的差异原因。因此，如果患者随时间推移不同地执行动作，那么这种差异可提供对依从性失败或对瞒骗系统的主动尝试的洞察力。进一步预期的是，对大量患者的分析将允许可辨别更多的患者的可疑或恶意移动的更灵活系统，并且因此可改善系统适当地发挥作用并且识别设法瞒骗系统的这些恶意患者的能力。可使用基于这些累积结果的过滤器来进一步识别潜在恶意用户。

因此，根据本发明的实施方案，用户可被要求来执行设计来确保药物施用的执行的预先确定的动作序列，所述药物施用包括基于药丸或膜片的药物、可吸入或可注射药物等的药物服用。在施用期间，可监控与施用相关联的一个或多个动作，以确定一个或多个可疑或恶意动作。这些动作可包括用户移动到成像设备的显示器外的移动、与可疑或恶意活动相关联的其他移动，如在关键时刻用户的手遮盖他们的口部从而指示药丸的可能移除、在关键时刻咳嗽等。可随时间推移跟踪这些动作以确定这类动作而非用户的习惯，以识别潜在蓄意的非依从性。来自多个用户的这类数据可被累积来确定可指示故意非依从性的多个档案资料，并且可用作对未来动作的过滤器，以针对故意非依从性而将一个或多个用户分类为高风险的。对使用系统的用户的视频成像可被进一步存储用于未来分析，以便确定任务时间数据，例如用于筛选是否可确定任何尤其显着的动作(如在与用于执行各行动的极其一致的时间一次性太快地饮用一杯水)，因此用户不可能是正在实际上服用药物等。如大量手动未服用或对不使用本发明的视频药物施用系统进行药物施用的其他确认的其他度量也可指示应被认为要进行进一步细查的用户的档案资料资料。

另外，也可使用对视频捕获序列的使用，包括对关于不适、知情同意等当前患者状态的调查表的响应的视频捕获，所述视频捕获可进一步用于确定用户是否正在试图进一步瞒骗系统。患者能够发送回答了一个或多个问题的视频消息，答案或在回答问题时用户的任何其他运动或特性可被进一步用于确定用户是否正在试图瞒骗系统。

根据本发明的各种实施方案，当考虑可吸入或可注射药物的施用时，可使用对服从性视频序列的分析来确定患者实际上已施用他们的药物的可能性，所述施用包括施用药物的一个或多个姿势。因此，基于确定为与药物施用装置的定位和使用有关的视频与音频线索，可确定患者可能有目的地不适当地定位装置，并且因此系统可指示有可能患者已故意地不适当地施用药物。基于不能适当地定位装置、不能纪录指示恰当施用的音频信号等的在适当施用中的低置信度可被用来确定：是否应针对另外的未来可疑或恶意活动，通过本文所述的自动化训练系统、通过自动化联系或通过单独个人联系人来进一步观察患者。即使最终确定施用可能发生，对施用的低置信度的这种确定仍可被用来将用户分类为需要更大程度细查的潜在恶意用户。因此，用户可被分类成良好患者、可疑患者、恶意患者等，并且可向监控者、保健提供方或发起人(在临床试验的情况下)进一步提供一个或多个通知。这类通知可包括仪表板通知(以下指出的)、文本消息和自动产生的报告等。这类置信水平可根据所需算法等使用来提供由患者或患者的群组进行的药物施用的总体刻画，因此允许在动作似乎正在改变但未必等到发现关键问题的情况下进行基于患者群体的各种特性的进一步细查。

进一步预期的是，本发明的方法和装置允许与一个或多个音频或电视会议系统整合，因此通过所述音频或视频会议系统接收和/或提供信息。因此，用户可使用标准视频会议工具或系统，并且将这种信息连至根据本发明的实施方案来使用的移动设备或其他设备。

除根据成像设备在本地处理用户数据之外，可将这种信息传输至远程位置以供处理。因此，根据本发明的一个或多个实施方案中，本文指出的任何和所有处理可在本地、远程地或适当时以任何组合方式来执行。因此，本地设备提供有执行所有必要动作所必需的处理器、成像设备等，所述动作包括从远程位置传输和接收数据。这类传输优选地通过安全、加密的传输系统以加密数据来发生。类似地，任何远程计算位置优选地包括存储、处理和传输与接收系统，所述系统足以根据本发明接收、处理并传输安全数据。因此，本地设备与远程位置之间的通信通过公开可用的、专用网络等来通过。或者，数据可储存于本地设备上并且在需要时被传送到远程设备，或所有处理可在本地发生，而没有向远程位置的任何数据传输。另外，可使用任何类型的摄像机，如包括在移动设备、平板计算机或膝上型计算机、手机或智能电话等中的摄像机。

根据本发明的一个或多个实施方案进一步预期的是，从以上指出的系统、传感器、摄像机等中的一个或多个提供的数据可与来自任何一个或多个其他系统、传感器、摄像机等的数据合并，以提供关于可疑活动的进一步信息。因此，例如，音频与视频的同步可提供对恶意或可疑行为的甚至更好的刻画。

此外，也可使用对高分辨率视频图像的用户。例如，如果针对可疑行为确定用户在药物施用期间、在一个或多个关键时间处于高风险，那么可获得较高的分辨率图像来允许更大水平的细查。通过仅检索在一个或多个关键时间的这些较高分辨率图像，总处理要求得以减少，同时允许对用户动作的更完全复查。或者，多个所捕获的较低分辨率图像可使用如超分辨率等的技术合并来产生高分辨率图像。以这样的方式，使得较高分辨率图像对复查药物施用序列的更多关键部分来说为可用的，而在当可疑活动可能较少时，可使用较低分辨率图像。

根据本发明的一个或多个实施方案，根据本发明的一个或多个实施方案的系统将学习辨别可疑活动，并且可优选地基于不同度量来制定评分系统的属性。如以上指出的，在识别更多患者时，将通过状态机和赋予展现这些活动的患者的置信水平来界定档案资料。

本发明的各种实施方案进一步包括一个或多个自动化过程，用于使用数据挖掘/机器学习/AI技术来提供更为智能的系统，所述系统可较好地分类患者并且随后更容易地监控所述患者随时间推移的药物施用。根据系统预期的是，所述系统能够：

a)理解具有可疑行为的患者的模式

b)将当前患者分类为不同类别。如“良好用户”、“可疑用户——将需要被监控”、“可疑用户——需要通知发起人”等，因此将用户设置成特定状态，并且根据所述种类的一个或多个属性由用户驱动系统的介入。

c)向人建议一种方式或甚至自动地实现一种方式(如发送文本消息)来基于患者的使用类型而警示患者的行为。

系统还优选地提供如以上指出的在高分辨率图像与低分辨率图像之间切换来捕获可疑行为的一种或多种能力。具体来说，这种切换可通过以下方式执行：1)在感兴趣的区域处或感兴趣的时间捕获高分辨率图像或高分辨率图像的序列，以帮助检查由人或机器进行的可疑行为；2)在其他时间期间或其他区域，可处理低分辨率图像来确认系统可提供实时反馈；以及3)捕获低分辨率图像，并且使用如超分辨率的技术来从一系列低分辨率图像产生高分辨率图像以用于在服务器上分析。

由不同传感器捕获的数据也可融合来做出患者是否可疑的判断。不同数据来源的融合可包括由系统和其他系统捕获的数据或患者信息或历史。

因此，根据本发明，提供方法和装置，所述方法和装置允许对用于药物的施用方案的服从性的自动化确认，并且提供用于确认并学习施用这类处方药物的方法的最先进方法。

因此可见，高效地达到了以上阐述的目标，尤其是从先前描述中显而易见的那些目标，并且因为在不脱离本发明的精神和范围的情况下，可在进行以上方法和所阐述构造中做出某些改变，所以上述描述中含有的并且在附图中示出的所有事物意图应解释为说明性的并且不以极限性意义来解释。

还应理解的是，本说明书意图涵盖本文描述的本发明的所有通用特征和特定特征，以及就语言方面来说可视为落在所述特征之间的对本发明的范围的所有陈述。

Claims (20)

1.一种药物施用确认装置，包括：

视频捕获设备，用于捕获用户施用药物的一个或多个视频序列；

存储器，用于存储所述所捕获的一个或多个视频序列；以及

处理器，用于分析所述所存储的视频序列中的至少一个，以确定代表所述用户的可疑活动的一个或多个指示。

2.如权利要求1所述的药物确认装置，其中提示所述用户执行将被存储为所述一个或多个视频序列的特定动作序列。

3.如权利要求1所述的药物确认装置，其中可疑活动的所述一个或多个指示包括所述用户的离开所述视频捕获设备的视场的面部。

4.如权利要求1所述的药物确认装置，其中可疑活动的所述一个或多个指示包括用户的移动到他们的口部的手。

5.如权利要求1所述的药物确认装置，进一步包括：

音频捕获设备，用于捕获用户施用药物的一个或多个视频序列；

存储器，用于存储所述所捕获的一个或多个音频序列；以及

处理器，用于分析所述所存储的音频序列中的至少一个，以确定代表所述用户的可疑活动的一个或多个指示。

6.如权利要求5所述的药物确认装置，其中可疑活动的所述一个或多个指示包括所述用户在药物处于他们的口中时咳嗽。

7.如权利要求5所述的药物确认装置，其中在所述用户已施用所述药物之后记录所述所存储的音频序列。

8.如权利要求1所述的药物确认装置，其中所述视频捕获设备进一步包括显示器，用于显示所捕获的视频的至少一部分，并且其中由所述视频捕获设备捕获的视场的一部分被显示在所述显示器上。

9.如权利要求8所述的药物确认装置，其中针对可疑行为复查所捕获的所述视频的未显示在所述显示器上的一部分。

10.如权利要求1所述的药物确认装置，其中在所述用户已施用所述药物之后记录所述所存储的视频序列。

11.如权利要求1所述的药物确认装置，其中所述药物施用包括药丸的服用。

12.如权利要求1所述的药物确认装置，其中所述药物施用包括可溶解膜片的服用。

13.如权利要求1所述的药物确认装置，其中所述药物施用包括吸入器的致动。

14.如权利要求1所述的药物确认装置，其中所述药物施用包括可注射药物装置的致动。

15.如权利要求1所述的药物确认装置，其中所述处理器位于远程位置处。

16.一种药物施用确认装置，包括：

视频捕获设备，用于捕获用户施用药物的一个或多个视频序列；

存储器，用于存储所述所捕获的一个或多个视频序列；以及

处理器，用于分析所述所存储的视频序列中的至少一个，以确定用于执行与所述药物施用相关联的一个或多个步骤的一个或多个任务时间，并且用于分析这些所确定的一个或多个任务时间，以确定由所述用户进行的潜在可疑行为。

17.如权利要求16所述的药物施用确认装置，其中捕获并分析多个用户的视频序列，并且其中所述处理器定义适用于所捕获的视频序列的一个或多个过滤器，以根据来自所述多个用户的所述所分析的视频序列而确定所述视频序列中的可疑活动。

18.一种用于确认药物施用的方法，包括以下步骤：

由视频捕获设备捕获用户施用药物的一个或多个视频序列；

由音频捕获设备捕获用户施用药物的一个或多个音频序列；

将所述所捕获的视频序列和音频序列中的一个或多个存储至存储器中；以及

分析所述一个或多个所存储的视频序列和音频序列中的至少一个，以确定代表所述用户的可疑活动的一个或多个指示。

19.如权利要求18所述的方法，其中分析所述一个或多个所存储的视频序列的所述步骤进一步包括以下步骤：

从来自多个用户的多个所存储的视频序列和音频序列识别可疑活动的一个或多个指示；

产生与可疑活动的所述一个或多个所识别的指示中的一个或多个相关联的过滤器；

将所述过滤器应用于所述所存储的视频序列和音频序列中的所述至少一个。

20.如权利要求19所述的方法，其中可疑活动的所述一个或多个指示选自由以下各项的群组：所述用户的离开所述视频捕获设备的视场的面部、用户的移动到他们的口部的手、所述用户在药丸处于他们的口中时咳嗽，以及所述用户吐出所述药丸。