CN116325021A - 用于判断是否已施用药物的方法及使用该方法的服务器 - Google Patents

用于判断是否已施用药物的方法及使用该方法的服务器 Download PDF

Info

Publication number
CN116325021A
CN116325021A CN202180070830.XA CN202180070830A CN116325021A CN 116325021 A CN116325021 A CN 116325021A CN 202180070830 A CN202180070830 A CN 202180070830A CN 116325021 A CN116325021 A CN 116325021A
Authority
CN
China
Prior art keywords
model
video
drug
server
administered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180070830.XA
Other languages
English (en)
Inventor
李辉源
庾相弼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Palm Plus Ltd
Original Assignee
Palm Plus Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Palm Plus Ltd filed Critical Palm Plus Ltd
Publication of CN116325021A publication Critical patent/CN116325021A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/002—Monitoring the patient using a local or closed circuit, e.g. in a room or building
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4833—Assessment of subject's compliance to treatment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6824—Arm or wrist
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7285—Specific aspects of physiological measurement analysis for synchronising or triggering a physiological measurement or image acquisition with a physiological event or waveform, e.g. an ECG signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/66—Trinkets, e.g. shirt buttons or jewellery items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G16H20/13—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients delivered from dispensers
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0242—Operational features adapted to measure environmental factors, e.g. temperature, pollution
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/40—ICT specially adapted for the handling or processing of medical references relating to drugs, e.g. their side effects or intended usage
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • H04W64/006—Locating users or terminals or network equipment for network management purposes, e.g. mobility management with additional information processing, e.g. for direction or speed determination

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Medicinal Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)

Abstract

本申请提供了一种用于判断是否已施用药物的服务器，该服务器包括：收发器，该收发器接收可穿戴设备录制的视频；存储器，该存储器存储检测模型和确认模型，其中检测模型被训练以输出每个预设目标是否出现在图像中，确认模型被训练以输出是否已施用药物，其中预设目标包括与药物或药物容器相关的对象以及与药物施用相关的姿势；一个或多个处理器，该一个或多个处理器配置为通过将视频的图像帧输入到检测模型来检测预设目标，并通过将确认模型输入数据输入到确认模型来判断是否已施用药物，确认模型输入数据是基于检测模型的检测结果生成的。

Description

用于判断是否已施用药物的方法及使用该方法的服务器
技术领域
本公开涉及一种用于判断是否已施用药物的方法及使用该方法的服务器。
背景技术
从过去开始，人们一直对基于医疗和医学的医疗保健感兴趣。最近，随着医疗技术的发展预期寿命增加，这种兴趣进一步增加。这种健康保健需要使用者自己在日常生活中定期进行，例如，在日常生活中服用处方药、定期给身体注射药物、使用医疗设备测量健康指标等。
为了增强上述医疗保健的效果，需要引导或强制使用者进行与医疗保健相关的行为。为此，需要一种解决方案来检测使用者在日常生活中与医疗保健相关的行为，并检查医疗保健是否进行良好。
同时，在现有技术中监控使用者与医疗保健相关的行为时，需要使用者的努力，例如在服药前使监控设备运行，记录使用者自己的行为等。不幸的是，当使用者忘记这样做时，无法收集到与医疗保健相关的信息。
因此，在考虑到使用者医疗保健的便利性和准确度时，有必要开发一种无需使用者干预即可自动监控使用者日常生活中保健行为的解决方案。
上述内容仅仅是为了帮助理解本公开的背景，并不意味着本公开落入本领域技术人员已知的相关技术范围内。
发明内容
技术问题
本公开旨在提供一种用于准确地判断是否已施用药物的方法及使用该方法的服务器。
本公开旨在提供一种用于使用智能手表等可穿戴设备获取的视频判断是否已施用药物的方法及使用该方法的服务器。
本公开旨在提供一种用于处理各种类型的药物施用情况的方法及使用该方法的服务器。
本公开所要解决的技术问题并不局限于上述技术问题，本领域技术人员将从本公开和附图中清楚地理解其他未提及的技术问题。
技术方案
根据实施例，一种用于判断是否已施用药物的服务器，该服务器可包括：收发器，该收发器接收由可穿戴设备录制的视频；存储器，该存储器存储检测模型和确认模型，其中检测模型被训练以输出每个预设目标是否出现在图像中，确认模型被训练以输出是否已施用药物，其中预设目标包括与药物或药物容器相关的对象以及与药物施用相关的姿势；一个或多个处理器，该一个或多个处理器配置为通过将视频的图像帧输入到检测模型来检测预设目标，并通过将确认模型输入数据输入到确认模型来判断是否已施用药物，确认模型输入数据是基于检测模型的检测结果生成的，其中姿势可包括拿着药物容器的姿势或服药的姿势中的至少一种。
根据实施例，一种由一个或多个处理器执行的用于判断是否已施用药物的方法，该方法可包括：接收由可穿戴设备录制的视频；通过将视频的图像帧输入到检测模型来检测一个或多个预设目标，其中检测模型被训练以输出每个预设目标是否出现在图像中，并且其中预设目标包括与药物或药物容器相关的对象以及与药物施用相关的姿势；以及通过将基于检测模型的检测结果生成的确认模型输入数据输入到确认模型来判断是否已施用药物，其中姿势可包括拿着药物容器的姿势或服药的姿势中的至少一种。
根据实施例，一种由一个或多个处理器执行的用于训练检测模型和确认模型以判断是否已施用药物的方法，该方法可包括：获得检测模型训练数据，包括训练图像和训练图像对应的检测模型标签，其中每个检测模型标签可具有用于药物或药物容器的类和用于与药物施用相关的姿势的类，并且其中检测模型标签可包括与训练图像中的第一图像对应的第一检测模型标签以及与训练图像中的第二图像对应的第二检测模型标签；通过将训练图像输入到检测模型来获得输出数据；通过比较检测模型标签和检测模型的输出数据来更新检测模型；获得确认模型训练数据，包括确认模型输入数据和确认模型输入数据对应的确认模型标签，其中确认模型标签可包括用于判断是否已施用药物的标签，并且其中可基于检测模型的输出数据生成确认模型输入数据；通过将确认模型输入数据输入到确认模型来获得输出数据；以及通过比较确认模型标签和确认模型的输出数据来更新确认模型，其中姿势可包括拿着药物容器的姿势或服药的姿势中的至少一种。
本公开的技术方案并不局限于此，本领域的技术人员将从本公开和附图中清楚地理解其他未提及的技术方案。
有利效果
根据本公开的实施例，提供了一种用于判断是否已施用药物的方法及使用该方法的服务器，其中该方法和服务器能够同时考虑药物施用相关姿势和药物施用相关对象两者来提高判断是否已施用药物的准确度。
本公开的效果不限于上述效果，本领域的技术人员应当根据本公开和附图清楚地理解本文未描述的其他效果。
附图说明
结合附图，通过下面的详细描述，将会更加清楚地理解本公开的上述和其他目的、特征和其他优点，其中：
图1是图示根据实施例的药物施用过程的示意图；
图2是图示根据实施例的用于判断是否已施用药物的系统的示意图；
图3是图示根据实施例的无线通信设备的框图；
图4是图示根据实施例的可穿戴设备的框图；
图5是图示根据实施例的服务器的框图；
图6和图7是图示根据实施例的用于使用监控模型判断是否已施用药物的方法的示意图；
图8和图9是图示根据实施例的用于使用检测模型和确认模型判断是否已施用药物的方法的示意图；
图10是图示根据实施例的使用检测模型检测药物施用相关对象和姿势的示意图；
图11是图示几种类型的药物施用相关对象的示意图；
图12是图示几种类型的药物施用相关姿势的示意图；
图13是图示检测模型输出数据的示例的示意图；
图14是图示根据实施例的包含对象检测模型和姿势检测模型的检测模型的示意图；
图15是图示根据实施例的使用确认模型判断是否已施用药物的示意图；
图16是图示根据实施例的检测模型输出数据和确认模型输入数据的示意图；
图17是图示根据实施例的用于使用分类模型来判断是否已施用药物的方法的示意图；
图18至图20是图示根据实施例的分类模型的示意图；
图21和图22是图示根据实施例的使用分类产生的类别和视频来判断是否已施用药物的示意图；
图23是图示根据实施例的模型训练方法的示意图；
图24至图28是图示根据实施例的检测模型训练数据的示意图；
图29是图示作为用于使用监控模型判断是否已施用药物的方法的示例的第一实施例的示意图；
图30和图31是图示作为用于使用检测模型和确认模型判断是否已施用药物的方法的示例的第二实施例的示意图；
图32是图示作为用于使用分类模型判断是否已施用药物的方法的示例的第三实施例的示意图；
图33和图34是分别图示根据实施例的主手作为主体的药物施用和副手作为主体的药物施用的示意图；
图35是图示根据实施例的取决于是否区分主要由主手进行的药物施用和主要由副手进行的药物施用来判断是否已施用药物的结果的示意图；
图36是图示根据实施例的使用去除了部分图像帧的视频的模型训练的示意图；
图37是图示根据实施例的去除训练视频的部分图像帧的方法的示意图；
图38是图示根据实施例的去除训练用确认模型输入数据的部分子数据的方法的示意图；
图39是图示根据实施例的考虑省略了部分药物施用过程的情况而训练的模型的示意图；
图40是图示根据实施例的连续图像帧的去除和随机图像帧的去除的示意图；
图41是图示根据实施例的图像帧的选择的示意图；
图42是图示根据实施例的在吞服药丸时确定药品信息的示意图；
图43是图示作为对远程医疗的应用的示例的二次意见报告的提供的示意图；以及
图44是图示作为远程医疗的应用的其他示例的处方报告的提供的示意图。
具体实施方式
本公开所描述的实施例旨在向本公开所属领域的普通技术人员清楚地说明本公开的范围，并不用于限制本公开。应当理解，本公开包含在本公开范围内的修改或变化。
考虑到本公开中元素的功能，本公开中使用的术语选自当前广泛使用的通用术语，并且可具有根据本领域技术人员的意图、本领域的习惯或新技术的出现而变化的含义。如果使用具有特定含义的特定术语，将具体描述该术语的含义。因此，本公开中使用的术语不应被解释为术语的简单名称，而是基于术语的实际含义和贯穿本公开的整个上下文来解释。
本公开的附图是为了便于对本公开的描述，并且附图中的形状可能被夸大以帮助理解本公开，因此本公开不限于附图。
在本公开中，如果确定与本公开相关的已知配置或功能的详细描述使得本公开的要点不清楚，则必要时将省略详细描述。
根据实施例，一种用于判断是否已施用药物的服务器，该服务器可包括：收发器，该收发器接收由可穿戴设备录制的视频；存储器，该存储器存储检测模型和确认模型，其中检测模型被训练，以输出每个预设目标是否出现在图像中，确认模型被训练，以输出是否已施用药物，其中预设目标包括与药物或药物容器相关的对象以及与药物施用相关的姿势；以及一个或多个处理器，该一个或多个处理器配置为通过将视频的图像帧输入到检测模型来检测预设目标，并通过将确认模型输入数据输入到确认模型来判断是否已施用药物，确认模型输入数据是基于检测模型的检测结果生成的，其中姿势可包括拿着药物容器的姿势或服药的姿势中的至少一种。
检测结果可包括多个检测模型输出数据，每个检测模型输出数据对应视频的每个图像帧，并且其中该一个或多个处理器还可以配置为通过合成该多个检测模型输出数据来生成确认模型输入数据。
可通过将多个检测模型输出数据排列成相应图像帧的一系列时间信息来生成确认模型输入数据。
检测模型可包括对象检测模型和姿势检测模型，并且其中该一个或多个处理器还可以配置为通过将视频的图像帧输入到对象检测模型来检测对象，以及通过将视频的图像帧输入到姿势检测模型视频来检测姿势。
检测模型可包括用于检测一个或多个第一类型的预设目标的第一检测模型和用于检测一个或多个第二类型的预设目标的第二检测模型，其中存储器存储用于对视频的类别进行分类的分类模型，并且其中该一个或多个处理器还可以配置为：使用视频和分类模型定义视频的类别；当视频的类别被定义为对应第一类型的第一类别时，通过将视频的图像帧输入到第一检测模型来检测预设目标；以及当视频的类别被定义为对应第二类型的第二类别时，通过将视频的图像帧输入到第二检测模型来检测预设目标。
确认模型可包括与第一检测模型对应的第一确认模型和与第二检测模型对应的第二确认模型，并且其中该一个或多个处理器还可以配置为：当视频的类别被定义为第一类别时，通过将确认模型输入数据输入到第一确认模型来判断是否已施用药物；以及当视频的类别被定义为第二类别时，通过将确认模型输入数据输入到第二确认模型来判断是否已施用药物。
该一个或多个处理器还可以配置为：估计预设目标在视频的图像帧中的位置，使得检测结果和确认模型输入数据反映预设目标的位置；以及考虑预设目标的位置来判断是否已施用药物。
根据实施例，一种由一个或多个处理器执行的用于判断是否已施用药物的方法，该方法可包括：接收由可穿戴设备录制的视频；通过将视频的图像帧输入到检测模型来检测一个或多个预设目标，其中检测模型被训练，以输出每个预设目标是否出现在图像中，并且其中预设目标包括与药物或药物容器相关的对象以及与药物施用相关的姿势；以及通过将基于检测模型的检测结果生成的确认模型输入数据输入到确认模型来判断是否已施用药物，其中姿势可包括拿着药物容器的姿势或服药的姿势中的至少一种。
检测结果可包括多个检测模型输出数据，每个检测模型输出数据对应视频的每个图像帧，并且其中该方法还可包括通过合成该多个检测模型输出数据生成确认模型输入数据。
可通过按时间序列排列至少一些检测模型输出数据来生成确认模型输入数据。
检测模型可包括对象检测模型和姿势检测模型，并且其中检测可包括：通过将视频的图像帧输入到对象检测模型来检测对象，以及通过视频的图像帧输入到姿势检测模型来检测姿势。
检测模型可包括用于检测一个或多个第一类型的预设目标的第一检测模型和用于检测一个或多个第二类型的预设目标的第二检测模型，其中该方法还可包括使用视频和分类模型定义视频的类别，并且其中检测可包括：当视频的类别被定义为对应第一类型的第一类别时，通过将视频的图像帧输入到第一检测模型来检测预设目标，以及当视频的类别被定义为对应第二类型的第二类别时，通过将视频的图像帧输入到第二检测模型来检测预设目标。
确认模型可包括与第一检测模型对应的第一确认模型和与第二检测模型对应的第二确认模型，并且其中判断可包括：当视频的类别被定义为第一类别时，通过将确认模型输入数据输入到第一确认模型来判断是否已施用药物，以及当视频的类别被定义为第二类别时，通过将确认模型输入数据输入到第二确认模型来判断是否已施用药物。
检测可包括估计预设目标在视频的图像帧中的位置，使得检测结果和确认模型输入数据反映预设目标的位置，并且其中判断可包括根据预设目标的位置判断是否已施用药物。
根据实施例，一种由一个或多个处理器执行的用于训练检测模型和确认模型以判断是否已施用药物的方法，该方法可包括：获得检测模型训练数据，包括训练图像和训练图像对应的检测模型标签，其中每个检测模型标签可具有用于药物或药物容器的类和用于与药物施用相关的姿势的类，并且其中检测模型标签可包括与训练图像中的第一图像对应的第一检测模型标签，以及与训练图像中的第二图像对应的第二检测模型标签；通过将训练图像输入到检测模型来获得输出数据；通过比较检测模型标签和检测模型的输出数据来更新检测模型；获得确认模型训练数据，包括确认模型输入数据和确认模型输入数据对应的确认模型标签，其中确认模型标签可包括用于判断是否已施用药物的标签，并且其中可基于检测模型的输出数据生成确认模型输入数据；通过将确认模型输入数据输入到确认模型来获得输出数据；以及通过比较确认模型标签和确认模型的输出数据来更新确认模型，其中姿势可包括拿着药物容器的姿势或服药的姿势中的至少一种。
根据实施例，一种由一个或多个处理器执行的用于使用佩戴在使用者手腕上的可穿戴设备录制的视频来训练监控模型以判断使用者是否已施用药物的方法，该方法可包括：获得主手训练数据，包括主手训练视频和主手训练视频对应的第一标签，其中主手训练视频是在第一人主要通过主手施用药物时由第一可穿戴设备录制的，第一人在主手上佩戴第一可穿戴设备，并且其中第一标签指示药物施用；获得副手训练数据，包括副手训练视频和副手训练视频对应的第二标签，其中副手训练视频是在第二人主要通过副手施用药物时由第二穿戴设备录制的，第二人将第二可穿戴设备佩戴在与副手相对的另一只手上，并且其中第二标签指示药物施用；使用主手训练数据和副手训练数据之一更新监控模型；以及使用主手训练数据和副手训练数据中的另一个再次更新更新后的监控模型。
第一标签可包括指示主要由主手进行的药物施用的主手标签，其中第二标签可包括指示主要由副手施用药物的副手标签，并且其中监控模型可通过区分主要由主手进行的药物施用和主要由副手进行的药物施用来判断使用者是否已施用药物。
该方法还可包括：获得药物未施用训练数据，包括药物未施用训练视频和药物未施用训练视频对应的药物未施用标签，其中药物未施用训练视频指示药物未施用，药物未施用标签指示药物未施用；以及使用药物未施用训练数据再次更新更新后的监控模型。
根据实施例，一种由一个或多个处理器执行的用于训练检测模型和确认模型以使用由佩戴在使用者手腕上的可穿戴设备录制的视频来判断使用者是否已施用药物的方法，该方法可包括：获得主手训练数据，包括主手训练视频、第一检测模型标签和第一确认模型标签，其中主手训练视频可以是在第一人主要通过主手施用药物由第一可穿戴设备录制的，第一人将第一可穿戴设备佩戴在主手上，其中每个第一检测模型标签可包括用于检测药物或药物容器外观的类和用于检测与药物施用相关的姿势的类，并且其中第一确认模型标签可以指示药物施用；获得副手训练数据，包括副手训练视频、第二检测模型标签和第二确认模型标签，其中副手训练视频可以是在第二人主要通过副手施用药物时由第二可穿戴设备录制的，第二人将第二可穿戴设备佩戴在与副手相对的另一只手上，其中每个第二检测模型标签可包括用于检测药物或药物容器外观的类和用于检测与药物施用相关的姿势的类，并且其中第二确认模型标签可以指示药物施用；使用至少一部分主手训练数据和至少一部分副手训练数据来更新判断模型；以及使用至少一部分主手训练数据和至少一部分副手训练数据来更新确认模型。
还可使用更新后的判断模型的输出数据来更新确认模型。
可使用主手训练视频、第一检测模型标签、副手训练视频和第二检测模型标签更新判断模型，并且其中可使用第一检测模型标签、第一确认模型标签、第二检测模型标签和第二确认模型标签更新确认模型。
第一确认模型标签可包括指示主要由主手进行的药物施用的主手标签，其中第二确认模型标签可包括指示主要由副手进行的药物施用的副手标签，并且其中确认模型可通过区分主要由主手进行的药物施用和主要由副手施用药物进行的药物施用来判断使用者是否已施用药物。
根据实施例，一种由一个或多个处理器执行的用于使用佩戴在使用者手腕上的可穿戴设备录制的视频来判断使用者是否已施用药物的方法，该方法可包括：接收由可穿戴设备录制的视频；以及通过将视频输入到监控模型来判断使用者是否已施用药物，其中可使用主手训练数据和副手训练数据之一来更新监控模型，然后使用主手训练数据和副手训练数据中的另一个再次更新监控模型，其中主手训练数据可包括主手训练视频和主手训练视频对应的第一标签，其中主手训练视频可以是在第一人主要通过主手施用药物时由第一可穿戴设备录制的，第一人将第一可穿戴设备佩戴在主手上，并且其中第一标签可以指示药物施用，并且其中副手训练数据可包括副手训练视频和副手训练视频对应的第二标签，其中副手训练视频可以是在第二人主要通过副手施用药物由第二可穿戴设备录制的，第二人将第二可穿戴设备佩戴在与副手相对的另一只手上，并且其中第二标签可以指示药物施用。
第一标签可包括指示主要由主手进行的药物施用的主手标签，其中第二标签可包括指示主要由副手进行的药物施用的副手标签，并且其中监控模型可通过区分主要由主手进行的药物施用和主要由副手进行的药物施用来判断使用者是否已施用药物。
根据实施例，一种用于使用由佩戴在使用者手腕上的可穿戴设备录制的视频来判断使用者是否已施用药物的服务器，该服务器可包括：收发器，该收发器接收可穿戴设备录制的视频；存储器，该存储器存储用于判断使用者是否已施用药物的监控模型；以及一个或多个处理器，该一个或多个处理器配置为使用通过收发器接收的视频和监控模型来判断使用者是否已施用药物，其中可以至少使用主手训练视频来训练监控模型，主手训练视频是在第一人主要通过主手施用药物时由第一可穿戴设备录制的，第一人在主手上佩戴第一可穿戴设备，并且其中该一个或多个处理器还可以配置为使用视频和监控模型来判断药物施用，其中视频是在使用者主要通过副手施用药物由可穿戴设备录制的，使用者将可穿戴设备佩戴在与副手相对的另一只手上。
该一个或多个处理器还可以配置为通过区分主要由主手进行的药物施用和主要由副手进行的药物施用判断使用者是否已施用药物。
根据实施例，一种用于判断是否已进行药物施用的服务器，该服务器可包括：收发器，该收发器接收可穿戴设备录制的视频；存储器，该存储器存储第一模型和第二模型，其中第一模型可以被训练，以输出是否已进行与第一类别的医疗用品相关的药物施用，并且第二模型可以被训练，以输出是否已进行与第二类别的医疗用品相关的药物施用；以及一个或多个处理器，该一个或多个处理器配置为通过将视频输入到第一模型或第二模型来判断是否已进行药物施用，其中该一个或多个处理器还可以配置为：基于视频的图像帧定义视频的类别；当视频的类别被定义为第一类别时，通过将视频输入到第一模型来判断是否已进行第一类别对应的药物施用；以及当视频的类别被定义为第二类别时，通过将视频输入到第二模型来判断是否已进行第二类别对应的药物施用。
存储器可存储用于定义视频的类别的分类模型，并且其中该一个或多个处理器还可以配置为使用分类模型和视频定义视频的类别。
分类模型可考虑第一类别的医疗用品和第二类别的医疗用品定义视频的类别，并且其中该一个或多个处理器还可以配置为：在使用第一模型判断是否已进行药物施用时，考虑第一类别的医疗用品和与药物施用相关的第一类别的姿势而不考虑第二类别的医疗用品，判断是否已进行药物施用；以及在使用第二模型判断是否已进行药物施用时，考虑第二类别的医疗供给和与药物施用相关的第二类别的姿势而不考虑第一类别的医疗供给，判断是否已进行药物施用。
分类模型可以进一步考虑第一类别的姿势和第二类别的姿势定义视频的类别。
视频可包括多个图像帧，并且其中该一个或多个处理器还可以配置为：通过将该多个图像帧中的每一个输入到分类模型来计算反映第一类别和第二类别的医疗用品分别出现的图像帧的数量的第一值和第二值，以及使用第一值和第二值定义视频的类别。
视频可包括多个图像帧，并且其中该一个或多个处理器还可以配置为：通过将该多个图像帧中的每一个输入到分类模型来计算反映分别在该多个图像帧中出现的第一类别和第二类别的医疗用品的数量的第一值和第二值，以及使用第一值和第二值定义视频的类别。
收发器可接收指示视频的类别的数据，并且其中该一个或多个处理器还可以配置为根据接收到的数据定义视频的类别。
该一个或多个处理器还可以配置为将与由模型确定的使用者是否已施用药物相关的信息和与视频的类别相关的信息存储到存储器。
根据实施例，一种用于判断是否已进行药物施用的系统，该系统可包括：本公开的服务器；以及管理服务器，其中管理服务器可以配置为：从服务器接收与使用者是否已施用药物相关的信息和与视频的类别相关的信息，获取使用者的药物施用时间表，以及通过将与使用者是否已施用药物相关的信息和与视频的类别相关的信息与药物施用时间表进行比较，来判断使用者的药物依从性。
在本公开中，药物施用是指包括各种类型的服药：吞服药物(例如，药丸、药片、胶囊、药粉和药液)，例如口服药物；使用吸入器、涡轮吸入器、鼻腔喷雾器等吸入药物；使用眼药水滴管滴眼药水；以及使用注射器注射药物。
在本公开中，判断是否已施用药物是指判断例如是否已吞服药物，是否已使用吸入器、涡轮吸入器、鼻腔喷雾器等吸入药物，是否已滴眼药水，以及是否已使用注射器注射药物。
图1是根据实施例的药物施用过程的示意图，其示出了使用者施用药物的整个过程。参考图1，整个药物施用过程可包括：使用者靠近其中装有药丸的药瓶(S10)；使用者将药瓶中的药丸倒在手掌中(S20)；使用者用手指拿起手掌上的药丸(S30)；以及使用者将药丸放入他/她的嘴中以吞服药丸(S40)。然而，进行药物施用过程的模式(以下称为“药物施用模式”)在使用者之间可以不同，并且即使对于同一使用者，药物施用模式也可以不时地变化。例如，在部分情况下，使用者可以直接将药瓶放到他/她的嘴中并吞服药丸。此外，图1示出了使用者将药丸从药瓶中倒出并吞服药丸的情况，但是在进行不同类型的药物施用时，药物施用过程或药物施用模式可以变化。在一些实施例中，药物施用过程可包括：将药丸从泡罩包装中压出并吞服药丸；使用吸入器、涡轮吸入器、鼻腔喷雾器等吸入药物；使用眼药水滴管滴眼药水；和/或使用注射器注射药物。例如，在使用吸入器吸入药物的情况下，药物施用的整个过程可包括：使用者接近吸入器，打开吸入器的盖子，将吸入器带到他/她的嘴中，和/或吸入药物。因此，使用者的药物施用模式也可以不同。
在本公开中，将描述以下内容：一种用于基于视频来判断是否已施用药物的方法；使用该方法的服务器；以及包括该服务器的系统。具体地，描述了一种用于判断是否已施用药物的方法、使用该方法的服务器以及包括该服务器的系统，其中该方法甚至适用于根据如上所述的各种药物施用模式进行药物施用过程的情况。
1.用于判断是否已施用药物的系统
根据本公开的实施例，公开了一种用于判断是否已施用药物的系统。
根据本实施例的用于判断是否已施用药物的系统是用于在使用者施用药物是为了诊断、治疗或预防疾病或失调或者促进健康的情况下判断使用者是否已施用药物的系统。
本实施例的系统可包括多个设备，该多个设备之间可以相互关联(例如数据的发送和接收)来判断是否已施用药物。
图2是图示根据实施例的用于判断是否已施用药物的系统的示意图。参考图2，该系统可包括无线通信设备1000、可穿戴设备2000和服务器3000。
无线通信设备1000可附接到或位于医疗用品(例如，例如药瓶、吸入器、涡轮吸入器、鼻腔喷雾器、眼药水滴管和注射器的药物容器)附近。
无线通信设备1000可收集数据。例如，无线通信设备1000可收集医疗用品的运动或环境光或两者的数据。
无线通信设备1000可向可穿戴设备2000或服务器3000等外部发送收集到的数据。
无线通信设备1000可使用收集到的数据检查使用者是否已开始药物施用行为。例如，无线通信设备1000可在医疗用品的运动达到预定程度或更大时确定使用者已开始药物施用行为。作为另一示例，当环境光处于预定照度或更高时，无线通信设备1000可确定使用者已开始药物施用行为。作为又一示例，无线通信设备1000可在医疗用品的运动达到预定程度或更大并且环境光处于预定照度或更高时确定使用者已开始药物施用行为。
无线通信设备1000可将命令相机单元的启动的信号(以下称为“启动信号”)传输到可穿戴设备2000或服务器3000等外部。例如，当确定使用者已开始药物施用行为时，无线通信设备1000可向外部发送启动信号。相机单元可以是可穿戴设备2000的相机单元。启动相机单元可意味着通过拍摄产生视频。
无线通信设备1000可以是短距离无线通信设备，但不限于此。
可穿戴设备2000可以指以使用者能够佩戴在身体上的形式提供的设备。可穿戴设备2000的示例包括智能手表、智能手环、智能颈带、智能戒指和智能项链，但不限于此。
可穿戴设备2000可与无线通信设备1000通信。例如，可穿戴设备2000可从无线通信设备1000接收医疗用品的运动或环境光或两者的数据。作为另一示例，可穿戴设备2000可从无线通信设备1000接收用于相机单元的启动信号。
可穿戴设备2000可产生图像或视频。例如，可穿戴设备2000可产生药物施用的图像或视频。
可穿戴设备2000可基于从无线通信设备1000接收到的数据产生图像或视频。例如，可穿戴设备2000可基于医疗用品的运动或环境光或两者数据或基于启动信号产生图像或视频。作为更具体的示例，可穿戴设备2000可在医疗用品的运动达到预定程度或更大时产生图像或视频。作为另一更具体的示例，可穿戴设备2000可在环境光处于预定照度或更高时产生图像或视频。作为又一更具体的示例，可穿戴设备2000可在医疗用品的运动达到预定程度或更大并且环境光处于预定照度或更高时产生图像或视频。作为又一更具体的示例，可穿戴设备2000可在接收到启动信号时产生图像或视频。
可穿戴设备2000可基于从无线通信设备1000接收到的数据的信号强度来产生图像或视频。例如，可穿戴设备2000可在信号强度处于预定范围内时产生图像或视频。信号强度可表示为接收信号强度指示符(RSSI)，但不限于此。当信号强度表示为RSSI时，预定范围的示例包括等于或大于-90dBm的范围、等于或大于-70dBm的范围以及从-70dBm到-50dBm的范围，但不限于此。
可穿戴设备2000可考虑从无线通信设备1000接收到的数据的信号强度和数据的内容来产生图像或视频，其中信号强度优先于内容。例如，即使医疗产品的运动达到预定程度或更大，当信号强度未处于预定范围内时，可穿戴设备2000也不产生图像或视频。作为另一示例，即使环境光处于预定照度或更高，当信号强度未处于预定范围内时，可穿戴设备2000也不产生图像或视频。作为又一示例，即使医疗产品的运动达到预定程度或更大并且环境光处于预定照度或更高，当信号强度未处于预定范围内时，可穿戴设备2000也不产生图像或视频。作为又一示例，即使接收到启动信号，当信号强度未处于预定范围内时，可穿戴设备2000也不产生图像或视频。也就是说，可穿戴设备2000可在考虑从无线通信设备1000接收到的数据的内容之前考虑数据的信号强度来产生图像或视频。
可穿戴设备2000可通过拍摄周围环境来产生图像或视频。具体地，在可穿戴设备2000是智能手表或智能手环的情况下，可穿戴设备2000可以拍摄使用者手的周围环境以产生图像或视频。在这种情况下，图像或视频可包括使用者手掌的至少部分区域。也就是说，图像的至少一部分或视频的至少一个图像帧的至少一部分可包括使用者手掌的至少部分区域。
可穿戴设备2000可测量关于佩戴可穿戴设备2000的使用者的信息。例如，可穿戴设备2000可测量关于佩戴可穿戴设备2000的使用者的生物信息。生物信息的示例包括关于步数等运动信息以及心率、血氧饱和度和心电图，但不限于此。作为另一示例，可穿戴设备2000可测量关于佩戴可穿戴设备2000的使用者的周围环境的信息。作为具体示例，可穿戴设备2000可测量佩戴可穿戴设备2000的使用者周围的光。
可穿戴设备2000可与服务器3000通信。例如，可穿戴设备2000可向服务器3000发送产生的图像或视频。作为另一示例，可穿戴设备2000可向服务器3000发送关于使用者的测量信息。
服务器3000可与无线通信设备1000或可穿戴设备2000或两者通信。服务器3000可从可穿戴设备2000接收图像或视频。服务器3000可从无线通信设备1000或可穿戴设备2000或两者接收医疗用品的运动或环境光或两者的数据。
服务器3000可判断是否已施用药物。例如，服务器3000可基于从无线通信设备1000或可穿戴设备2000或两者获取的信息来判断是否已施用药物。作为具体示例，服务器3000可通过分析从可穿戴设备2000接收到的图像或视频来判断是否已施用药物。
1.1无线通信设备
图3是图示根据实施例的无线通信设备的框图。参考图3，无线通信设备1000可包括运动传感器1100、环境光传感器1200、通信单元1300、存储单元1400和控制单元1500。
运动传感器1100可以感测无线通信设备1000的运动。在无线通信设备1000附接到医疗用品的情况下，运动传感器1100可通过感测医疗用品的运动来感测无线通信设备1000的运动。运动传感器1100可包括加速度计1110、陀螺仪传感器1120和地磁传感器1130中的至少一些。运动传感器1100可以是六轴传感器、九轴传感器或类似物，但不限于此。
环境光传感器1200可测量无线通信设备1000周围的光。在无线通信设备1000附接到医疗用品或位于医疗用品附近的情况下，环境光传感器1200可测量医疗用品周围的光。
通信单元1300可与可穿戴设备2000或服务器3000等外部通信。通信单元1300可执行双向通信或单向通信。通信单元1300的示例包括收发器、信标、蓝牙模块、WiFi模块、Zigbee模块、RF模块、NFC模块及其组合，但不限于此。
通信单元1300可向外部发送运动或光或两者的数据。例如，通信单元1300可向可穿戴设备2000或服务器3000等外部发送运动传感器1100或环境光传感器1200或两者测量的数据。
通信单元1300可向可穿戴设备2000或服务器3000等外部发送启动信号。
存储单元1400可存储无线通信设备1000操作所需的各种类型的数据和程序。存储单元1400可存储无线通信设备1000获取的信息。例如，存储单元1400可存储运动或光或两者的数据。作为具体示例，存储单元1400可存储由运动传感器1100或环境光传感器1200或两者测量的数据。作为另一示例，存储单元1400可存储启动信号。存储单元1400的示例包括非易失性半导体存储器、硬盘、闪存、随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、其他有形的非易失性记录介质及其组合，但不限于此。
控制单元1500可在无线通信设备1000内执行各种类型的信息的处理和操作。控制单元1500可控制构成无线通信设备1000的其他元素。
控制单元1500可根据硬件、软件或其组合实现为计算机或与其类似的设备。在硬件方面，控制单元1500可以是一个或多个处理器。或者，控制单元1500可以被提供为通过通信协作的物理上分离的处理器。控制单元1500的示例包括中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、状态机、专用集成电路(ASIC)、射频集成电路(RFIC)及其组合，但不限于此。在软件方面，控制单元1500可以被提供为用于操作硬件控制单元1500的程序。
控制单元1500可执行控制，使得运动传感器1100感测运动，或者使得环境光传感器1200测量光。
控制单元1500可执行控制，使得通过通信单元1300向外部发送运动或光或两者的数据。例如，控制单元1500可执行控制，使得通过通信单元1300向可穿戴设备2000或服务器3000等外部发送由运动传感器1100或环境光传感器1200或两者测量的数据。
控制单元1500可执行控制，使得运动或光或两者的数据存储在存储单元1400中。例如，控制单元1500可执行控制，使得由运动传感器1100或环境光传感器1200或者两者测量的数据都存储在存储单元1400中。
控制单元1500可使用运动或光或两者的数据来检查使用者是否已开始药物施用行为。例如，当运动进行到预定程度或更大时，控制单元1500可确定使用者已开始药物施用行为。作为另一示例，当光处于预定照度或更高时，控制单元1500可确定使用者已开始药物施用行为。作为又一示例，当运动进行到预定程度或更大并且光处于预定照度或更大时，控制单元1500可确定使用者已开始药物施用行为。运动的数据可以是运动传感器1100测量的数据。光的数据可以是环境光传感器1200测量的数据。
控制单元1500可通过通信单元1300向可穿戴设备2000或服务器3000等外部发送启动信号。例如，当确定使用者已开始药物施用行为时，控制单元1500可通过通信单元1300向外部发送启动信号。
在下文中，除非另外特别描述，无线通信设备1000的操作可以被解释为在控制单元1500的控制下执行。
并非图3所示的所有元素都是无线通信设备1000的基本元素。无线通信设备1000还可包括图3中未示出的元素。此外，图3所示的无线通信设备1000的至少一些元素可以省略。例如，无线通信设备1000可不包括运动传感器1100或环境光传感器1200或两者之一。
1.2可穿戴设备
图4是图示根据实施例的可穿戴设备的框图。参考图4，可穿戴设备2000可包括相机单元2100、使用者输入单元2200、输出单元2300、通信单元2400、存储单元2500和控制单元2600。
相机单元2100可产生图像或视频。例如，相机单元2100可以拍摄可穿戴设备2000的周围环境以产生图像或视频。相机单元2100可包括一个或多个相机模块。相机模块的示例包括RGB相机、热成像相机和夜视仪，但不限于此。
相机单元2100产生的视频可包括多个图像帧。该多个图像帧中的至少一些可包括使用者手掌的至少部分区域。视频可包含预定数量的多个图像帧。视频可以是通过拍摄预定时间获取的视频。
相机单元2100可以放置在可穿戴设备2000中的一点。例如，在可穿戴设备2000是智能手表或智能手环的情况下，相机单元2100可以放置在表带部分。这里，相机单元2100可以放置成使得当使用者将可穿戴设备2000佩戴在手腕上时，相机单元2100位于手腕的内侧。此外，相机单元2100可以放置成使得当使用者将可穿戴设备2000佩戴在手腕上时，相机单元2100面向使用者手的方向以拍摄使用者手的周围环境。对放置相机单元2100的位置或方向的描述仅是示例而不限于此。
使用者输入单元2200可执行从使用者获取信息的功能。使用者输入单元2200可从使用者接收使用者输入。使用者输入的示例包括按键输入、触摸输入、语音输入及其组合，但不限于此。
使用者输入单元2200可以实现为通常使用的使用者输入设备。使用者输入设备的示例包括感测使用者触摸的触摸传感器、接收音频信号的麦克风、识别使用者手势的手势传感器及其组合，但不限于此。
输出单元2300可执行输出信息的功能，使得使用者能够检查信息。输出单元2300可输出从使用者获取的信息或者从外部设备获取和/或处理的信息。信息的输出可以是视觉、听觉和/或触觉输出，或者可以以各种形式提供，但不限于此。
输出单元2300可以实现为输出图像的显示器、输出声音的扬声器、产生振动的触觉设备和/或其他输出装置。
或者，代替设备本身向外部输出信息，输出单元2300可以被实现为连接输出信息的外部输出设备与可穿戴设备2000的输出接口(USB端口、PS/2端口等)。
输出单元2300可与使用者输入单元2200集成。例如，在输出单元2300是显示器的情况下，输出单元2300可以是与作为使用者输入单元2200的触摸传感器集成的触摸显示器。
相同于或类似于上述无线通信设备1000的通信单元1300，通信单元2400可执行与外部通信的功能，例如，向外部发送数据或从外部接收数据等。例如，通信单元2400可从无线通信设备1000接收运动或光或两者的数据。作为另一示例，通信单元2400可从无线通信设备1000接收启动信号。作为又一示例，通信单元2400可向服务器3000发送图像或视频。作为又一示例，通信单元2400可向服务器3000发送运动或光或两者的数据。将省略与无线通信设备1000的通信单元1300相同或相似的部分的冗余描述。
相同于或类似于上述无线通信设备1000的存储单元1400，存储单元2500可存储可穿戴设备2000操作所需的各种类型的数据和程序。存储单元2500可存储可穿戴设备2000获取的信息。例如，存储单元2500可存储相机单元2100产生的图像或视频。作为另一示例，存储单元2500可存储使用者输入。作为又一示例，存储单元2500可存储要输出的信息，使得使用者能够检查该信息。作为又一示例，存储单元2500可存储从无线通信设备1000接收的运动或光或两者的数据。作为又一示例，存储单元2500可存储启动信号。将省略与无线通信设备1000的存储单元1400相同或相似的部分的冗余描述。
相同于或类似于上述无线通信设备1000的控制单元1500，控制单元2600可执行可穿戴设备2000内的各种类型的信息的处理和操作。控制单元2600可控制构成可穿戴设备2000的其他元素。将省略与无线通信设备1000的控制单元1500相同或相似的部分的冗余描述。
控制单元2600可以启动相机单元2100。在这种情况下，控制单元2600可执行控制，使得相机单元2100产生图像或视频。例如，控制单元2600可执行控制，使得相机单元2100拍摄周围环境以产生图像或视频。图像或视频可以是药物施用的图像或视频。
控制单元2600可基于从无线通信设备1000接收到的数据来启动相机单元2100。例如，控制单元2600可基于从无线通信设备1000接收到的医疗用品的运动或者环境光或两者的数据或基于启动信号启动相机单元2100。作为更具体的示例，控制单元2600可在医疗用品的运动达到预定程度或更大时启动相机单元2100。作为另一更具体的示例，当环境光处于预定照度或更高时，控制单元2600可以启动相机单元2100。作为又一更具体的示例，控制单元2600可在医疗用品的运动进行到预定程度或更大并且环境光处于预定照度或更大时启动相机单元2100。作为又一更具体的示例，控制单元2600可在接收到启动信号时启动相机单元2100。
控制单元2600可基于从无线通信设备1000接收到的数据的信号强度启动相机单元2100。例如，当信号强度处于预定范围内时，控制单元2600可以启动相机单元2100。信号强度可表示为接收信号强度指示符(RSSI)，但不限于此。当信号强度表示为RSSI时，预定范围的示例包括等于或大于-90dBm的范围、等于或大于-70dBm的范围以及从-70dBm到-50dBm的范围，但不限于此。
控制单元2600可考虑从无线通信设备1000接收到的数据的信号强度而不是数据的内容来启动相机单元2100，其中信号强度优先于内容。例如，当信号强度未处于预定范围内时，即使医疗用品的运动达到预定程度或更大，控制单元2600也不启动相机单元2100。作为另一示例，即使环境光处于预定照度或更高，当信号强度未处于预定范围内时，控制单元2600也不启动相机单元2100。作为又一示例，即使医疗用品的运动达到预定程度或更大并且环境光处于预定照度或更高，当信号强度未处于预定范围内时，控制单元2600也不启动相机单元2100。作为又一示例，即使接收到启动信号，当信号强度未处于预定范围内时，控制单元2600也不启动相机单元2100。也就是说，控制单元2600可在考虑从无线通信设备1000接收到的数据的内容之前考虑数据的信号强度来启动相机单元2100。
控制单元2600可执行控制，使得使用者输入单元2200从使用者获取信息。控制单元2600可执行控制，使得使用者输入单元2200从使用者接收使用者输入。
控制单元2600可执行控制，使得输出单元2300执行输出信息的功能，使得使用者能够检查信息。
控制单元2600可执行控制，使得通信单元2400执行与外部通信的功能，例如，向外部发送数据或从外部接收数据等。控制单元2600可通过通信单元2400从外部获取信息。
控制单元2600可执行控制，使得存储单元2500存储可穿戴设备2000操作所需的各种类型的数据和程序。控制单元2600可执行控制，使得存储单元2500存储可穿戴设备2000获取的信息。
在下文中，除非另有特别说明，可穿戴设备2000的操作可以被解释为在控制单元2600的控制下执行。
并非图4所示的所有元素都是可穿戴设备2000的基本元素。可穿戴设备2000还可包括图4中未示出的元素。例如，可穿戴设备2000还可包括以下至少之一：感测使用者运动的运动传感器；测量环境光的环境光传感器；测量使用者心率的心率传感器；测量使用者血氧饱和度的血氧饱和度传感器；测量使用者心电图的心电图传感器。此外，图4所示的可穿戴设备2000的至少一些元素可以省略。
1.3服务器
图5是图示根据实施例的服务器的框图。参考图5，服务器3000可包括服务器通信单元3100、服务器存储单元3200和服务器控制单元3300。
相同于或类似于上述无线通信设备1000的通信单元1300，服务器通信单元3100可执行与外部通信的功能，例如，向外部发送数据或从外部接收数据等。例如，服务器通信单元3100可从可穿戴设备2000接收图像或视频。作为另一示例，服务器通信单元3100可从可穿戴设备2000接收运动或光或两者的数据。运动或光或两者的数据可以是可穿戴设备2000测量的数据。运动的数据可结合佩戴可穿戴设备2000的使用者的步数、姿势等。光的数据可结合可穿戴设备2000周围的光。作为又一示例，服务器通信单元3100可从可穿戴设备2000接收关于佩戴可穿戴设备2000的使用者的生物特征信息。将省略与无线通信设备1000的通信单元1300相同或相似部分的冗余描述。
相同于或类似于上述无线通信设备1000的存储单元1400，服务器存储单元3200可存储服务器3000操作所需的各种类型的数据和程序。服务器存储单元3200可存储服务器3000获取的信息。例如，服务器存储单元3200可存储从可穿戴设备2000接收的图像或视频。作为另一示例，服务器存储单元3200可存储从可穿戴设备2000接收的运动或光或两者的数据。将省略与无线通信设备1000的存储单元1400相同或相似的部分的冗余描述。
相同于或类似于上述无线通信设备1000的控制单元1500，服务器控制单元3300可执行服务器3000内的各种类型的信息的处理和操作。服务器控制单元3300可控制构成服务器3000的其他元素。将省略与无线通信设备1000的控制单元1500相同或相似的部分的冗余描述。
服务器控制单元3300可执行控制，使得服务器通信单元3100执行与外部通信的功能，例如，向外部发送数据或从外部接收数据等。服务器控制单元3300可通过服务器通信单元3100从外部获取信息。
服务器控制单元3300可执行控制，使得服务器存储单元3200存储服务器3000操作所需的各种类型的数据和程序。服务器控制单元3300可执行控制，使得服务器存储单元3200存储服务器3000获取的信息。
服务器控制单元3300可判断是否已施用药物。例如，服务器控制单元3300可基于通过服务器通信单元3100从可穿戴设备2000获取的图像或视频来判断是否已施用药物。
在下文中，除非另有特别说明，服务器3000的操作可以被解释为在服务器控制单元3300的控制下执行。
并非图5所示的所有元素都是服务器3000的基本元素。服务器3000还可包括图5中未示出的元素。此外，图5所示的服务器3000的至少一些元素可以省略。
服务器3000的元素可物理地包含在一个服务器中，或者可以是针对每个功能分布的分布式服务器。例如，服务器3000可包括执行第一功能的第一服务器和执行第二功能的第二服务器。作为具体示例，服务器3000可包括判断是否已施用药物的第一服务器以及管理判断是否已施用药物的结果的第二服务器。第一服务器和第二服务器可以是物理上分开的特定服务器。例如，第一服务器可以位于第一国家，例如韩国，第二服务器可以位于第二国家，例如美国、欧洲、日本和中国。
1.4附加元素
返回参考图2，图2所示的所有元素并非都是系统的基本元素。图2所示的系统的一些元素可以省略，或者图2中未示出的元素可以进一步包含在内。
例如，系统还可包括使用者终端。使用者终端的示例包括智能手机、平板PC、膝上型计算机和台式计算机，但不限于此。使用者终端可与无线通信设备、可穿戴设备和服务器中的至少一些交换数据。使用者终端可向使用者、监护人或医护人员提供有关使用者的药物施用的信息或者用于管理使用者的药物施用的应用。使用者终端可包括输入单元、输出单元、通信单元、存储单元、控制单元等。使用者终端的元素的配置或实现方法与无线通信设备1000或可穿戴设备2000的元素相同，因此将省略冗余部分。
运行在使用者终端上的应用程序可提供调度服务、通知服务等引导使用者的药物施用。这里，在运行应用程序时，使用者终端可应用从可穿戴设备2000或服务器3000获取的数据。
2、用于判断是否已施用药物的方法
2.1简介
在下文中，将描述根据实施例的用于判断是否已施用药物的方法。为了描述方便，以服务器执行用于判断是否已施用药物的方法为例进行描述，这只是各种实施例中的一种，并不意味着用于判断是否已施用药物的方法只由服务器执行。
换句话说，根据实施例的用于判断是否已施用药物的方法不一定仅由服务器执行，而是可由无线通信设备或可穿戴设备等服务器以外的设备执行。另外，用于判断是否已施用药物的方法的一部分可由服务器执行，而另一部分可由无线通信设备或可穿戴设备等服务器以外的设备执行。
在根据实施例的用于判断是否已施用药物的方法的以下描述中，除非另有说明，否则服务器执行的操作可以被解释为由服务器控制单元或由服务器控制单元控制的服务器的另一元素执行。
服务器可使用模型来判断是否已施用药物。模型的示例包括深度学习模型，例如人工神经网络、支持向量机、广义线性模型、决策树、随机森林、梯度提升机及其组合，但不限于此。
在下文中，将描述根据实施例的用于基于视频判断是否已施用药物的方法的一些示例。
2.2用于使用监控模型判断是否已施用药物的方法
图6和图7是图示根据实施例的用于使用监控模型判断是否已施用药物的方法的示意图。
在步骤S110，服务器可获得视频。例如，服务器可从可穿戴设备接收视频。这里，视频可由可穿戴设备的相机单元获取，并通过可穿戴设备的通信单元发送。视频可包括多个图像帧。该多个图像帧的数量可以是50个或更多、100个或更多、200个或更多、400个或更多、600个或更多、800个或更多、或1000个或更多。可在视频中捕捉整个药物施用过程。或者，可在视频中捕捉整个药物施用过程的大部分。
在步骤S120，服务器可使用视频和监控模型判断是否已施用药物。可在步骤S110获得视频。
参考图7，服务器可将视频10输入到监控模型并判断是否已施用药物。例如，服务器控制单元可将通过服务器通信单元接收到的视频10输入到监控模型并判断是否已施用药物。作为另一示例，服务器控制单元可将通过服务器通信单元接收到的视频10存储在服务器存储单元中，并将存储在服务器存储单元中的视频10输入到监控模型，从而判断是否已施用药物。在这种情况下，监控模型的输入数据可以是视频10，输出数据可以是判断是否已施用药物的结果。
监控模型的视频输入可具有特定格式。例如，视频可包含预定数量图像帧。作为另一示例，视频可具有预定分辨率。作为又一示例，视频可具有预定比率(宽度和高度之间的比率)。
服务器可将视频输入到监控模型而不进行预处理。例如，服务器控制单元可将通过服务器通信单元接收到的视频输入到监控模型而不进行预处理。也就是说，输入到监控模型的视频10可与相机单元获取的视频相同。或者，服务器可对视频进行预处理，将预处理后的视频输入到监控模型。例如，服务器控制单元可对通过服务器通信单元接收到的视频进行预处理，并将预处理后的视频输入到监控模型。也就是说，输入到监控模型的视频10可以是对相机单元获取的视频进行预处理的结果。预处理的示例包括归一化、调整大小、裁剪、噪声去除及其组合，但不限于此。
监控模型输出的判断是否已施用药物的结果可以是指示是否已施用药物的指标。也就是说，监控模型的输出数据可以是指示是否已施用药物的指标。服务器可使用监控模型获取指示是否已施用药物的指标，用于输入到监控模型的视频。作为非限制性示例，指标可表示为数值。
作为监控模型的输出数据的指示是否已施用药物的指标可具有多种格式。
例如，作为监控模型的输出数据的指示是否已施用药物的指标可包括指示药物施用的指标和指示药物未施用的指标。这里，监控模型可输出指示药物施用的指标或指示药物未施用的指标。例如，监控模型在估计药物施用时输出值1，或在估计药物未施用时输出值0。
作为另一示例，作为监控模型的输出数据的指示是否已施用药物的指标可包括：指示估计药物施用概率的指标(以下称为“药物施用概率指标”)；以及指示估计药物未施用概率的指标(以下称为“药物未施用概率指标”)。这里，监控模型可将药物施用概率指标和药物未施用概率指标一起输出。服务器可使用药物施用概率指标和药物未施用概率指标来判断是否已施用药物。例如，当药物施用概率指标大于药物未施用概率指标时，服务器可确定已施用药物。当药物未施用概率指标大于药物施用概率指标时，服务器确定尚未施用药物。作为另一示例，当药物施用概率指标满足预定条件时，服务器可确定已施用药物。作为满足预定条件的示例，药物施用概率指标等于或大于预定值，但不强加于此的限制。
监控模型的示例包括：使用注意力机制的transformer模型；循环神经网络(RNN)模型，例如长短期记忆(LSTM)；混合模型，例如2D CNN-LSTM；以及深度学习模型，例如3DConvNet、Inflated 3D ConvNet(I3D)和SlowFast Network。然而，示例不限于此。
相比于服务器基于单图像帧或多图像帧判断是否已施用药物的情况，服务器基于视频判断是否已施用药物的情况可具有提高的判断是否已施用药物的准确度。例如，在仅使用单图像帧判断是否已施用药物的情况下，当在图像帧中检测到药物时，确定已施用药物。作为另一示例，在仅使用多图像帧判断是否已施用药物的情况下，当在多图像帧中的预定数量或更多的图像帧中检测到药物时，确定已施用药物。然而，即使在那些情况下，使用者也可能实际上没有施用药物。因此，仅使用单图像帧或多图像帧难以准确地判断是否已施用药物。相反地，如上所述，在基于视频判断是否已施用药物的情况下，仅仅因为在特定图像帧中检测到药物而不能确定已施用药物，而是考虑在整个视频中捕捉的药物施用过程来判断是否已施用药物。因此，相比于基于单图像帧或多图像帧判断是否已施用药物的情况，可准确地判断是否已施用药物。
2.3用于使用检测模型和确认模型判断是否已施用药物的方法
图8和图9是图示根据实施例的用于使用检测模型和确认模型来判断是否已施用药物的方法的示意图。服务器可使用视频、检测模型和确认模型来判断是否已施用药物。服务器可获得视频(S210)，可使用视频和检测模型来检测与药物施用相关的对象和姿势(以下称为药物施用相关对象和药物施用相关姿势)(S220)，并且可使用检测药物施用相关对象和姿势的结果(以下称为“检测结果”)和确认模型来判断是否已施用药物(S230)。
在步骤S210，服务器可获得视频。例如，服务器可从可穿戴设备接收视频。这里，视频可由可穿戴设备的相机单元获取，并通过可穿戴设备的通信单元发送。视频可包括多个图像帧。该多个图像帧的数量可以是50个或更多、100个或更多、200个或更多、400个或更多、600个或更多、800个或更多、或1000个或更多。可在视频中捕捉整个药物施用过程。或者，可在视频中捕捉整个药物施用过程的大部分。
在步骤S220，服务器可使用视频和检测模型来检测药物施用相关对象和姿势。例如，服务器控制单元可使用通过服务器通信单元接收的视频和检测模型来检测药物施用相关对象和姿势。作为另一示例，服务器控制单元可将通过服务器通信单元接收到的视频存储在服务器存储单元中，并且可使用存储在服务器存储单元中的视频和检测模型来检测药物施用相关对象和姿势。可在步骤S210获取视频。
图10是图示根据实施例使用检测模型检测药物施用相关对象和姿势的示意图。
参考图10，服务器可将视频40的图像帧41和42输入到检测模型，并检测包含在图像帧41和42中的药物施用相关对象和姿势。在这种情况下，检测模型的输入数据可以是图像帧41和42。服务器可将视频逐图像帧地输入到检测模型，并检测图像帧中的药物施用相关对象和姿势。在这种情况下，服务器针对视频的所有图像帧检测药物施用相关对象和姿势，从而检测到视频中包含的药物施用相关对象和姿势。服务器可仅针对视频的所有图像帧中的部分图像帧来检测药物施用相关对象和姿势。
服务器将图像帧输入到检测模型并检测药物施用相关对象的事实可意味着服务器将图像帧输入到检测模型并判断图像帧中是否存在药物施用相关对象。服务器将图像帧输入到检测模型并检测药物施用相关姿势可意味着服务器将图像帧输入到检测模型并判断图像帧中是否存在药物施用相关姿势。这里，判断是否存在药物施用相关姿势可意味着判断是否存在与药物施用相关姿势对应的特定场景。在这种情况下，服务器将图像帧输入到检测模型并检测药物施用相关姿势可意味着服务器将图像帧输入到检测模型并判断图像帧中是否存在与药物施用相关姿势对应的特定场景。稍后将详细描述药物施用相关对象和药物施用相关姿势。
输入到检测模型的图像帧可具有特定格式。例如，图像帧可具有预定分辨率。作为另一示例，图像帧可具有预定比率(宽度和高度之间的比率)。
服务器可将图像帧输入到检测模型而不进行预处理。例如，服务器控制单元可将通过服务器通信单元接收到的图像帧输入到检测模型而不进行预处理。也就是说，输入到检测模型的图像帧41和42可与相机单元获取的图像帧相同。或者，服务器可对图像帧进行预处理，并将预处理后的图像帧输入到检测模型。例如，服务器控制单元可对通过服务器通信单元接收到的图像帧进行预处理，并将预处理后的图像帧输入到检测模型。也就是说，输入检测模型的图像帧41和42可以是对相机单元获取的图像帧进行预处理的结果。预处理的示例包括归一化、调整大小、裁剪、噪声去除及其组合，但不限于此。
检测模型可输出与药物施用相关对象和姿势相关的数据(以下称为“检测模型输出数据”)。在这种情况下，检测模型的输出数据可称为检测模型输出数据。服务器可使用检测模型获取检测模型输出数据。当视频包括N个图像帧时，服务器将N个图像帧输入到检测模型，并获取N个图像帧对应的N个检测模型输出数据。也就是说，服务器可将视频逐图像帧地输入到检测模型，并且可获取包括与每个图像帧对应的检测模型输出数据并与视频对应的检测结果。作为非限制性示例，检测模型输出数据可表示为数值。稍后将更详细地描述检测模型输出数据。
在下文中，将更详细地描述药物施用相关对象和药物施用相关姿势。
图11是图示几种类型的药物施用相关对象的示意图。药物施用相关对象可包括与药物施用相关的各种类型的对象，例如使用者用于药物施用的对象。作为非限制性示例，参考图11，药物施用相关对象可包括药瓶21、眼药水滴管22、鼻腔喷雾器23、涡轮吸入器24、药丸25、吸入器26、泡罩包装27、注射器28等。虽然未示出，药物施用相关对象可包括使用者的身体部位，例如手臂、手、手腕、手掌、手掌外侧、面部、嘴巴和鼻子。
图12是图示几种类型的药物施用相关姿势的示意图。药物施用相关姿势可包括与药物施用相关的各种类型的姿势，例如使用者用于药物施用的定位。作为非限制性示例，参考图12，药物施用相关姿势可包括以下：拿着药物施用相关对象的姿势，例如拿着泡罩包装的姿势31、拿着吸入器的姿势32、拿着涡轮吸入器的姿势33、拿着眼药水滴管的姿势34、拿着鼻腔喷雾器的姿势35、拿着药丸的姿势36；吞服药丸等药物的姿势37；使用药物施用相关对象(例如吸入器、涡轮吸入器和鼻腔喷雾器)吸入药物的姿势；使用眼药水滴管等药物施用相关对象滴眼药水的姿势；使用注射器等药物施用相关对象注射药物的姿势；以及打开药瓶等药物施用相关对象的姿势。
将药物施用相关姿势与药物施用相关对象进行比较，药物施用相关姿势可被视为具有一个或多个药物施用相关对象的特定姿势。例如，拿着泡罩包装的姿势31可被视为具有泡罩包装和手的姿势。作为另一示例，吞服药物的姿势37可被视为具有药物和面部的姿势。也就是说，药物施用相关姿势可包括身体的至少一部分和医疗用品的至少一部分。因此，服务器检测药物施用相关姿势可以不是单独检测一个或多个药物施用相关对象，而是检测具有药物施用相关对象的特定姿势。
在一些实施例中，检测模型可检测与特定类型的药物施用相关的药物施用相关对象和姿势。例如，检测模型被训练以检测与吞服药物(例如口服从药瓶中倒出的药丸)相关的药物施用相关对象和姿势，因此能够从图像帧中检测与吞服药物相关的药物施用相关对象和药物施用相关姿势。作为更具体的示例，当输入图像帧时，检测模型可检测药瓶、药丸、打开药瓶的行为、拿着药丸的行为和吞服药丸的行为。在这种情况下，检测模型可能无法检测与除特定类型之外的药物施用相关的药物施用相关对象和药物施用相关姿势。例如，检测模型被训练以检测与吞服药物(例如口服从药瓶中倒出的药丸)相关的药物施用相关对象和药物施用相关姿势，可能无法检测与使用吸入器吸入药物相关联的药物施用相关对象和药物施用相关姿势。
在一些实施例中，检测模型可检测与多种类型的药物施用相关的药物施用相关对象和姿势。例如，检测模型被训练以检测与以下中的至少两种药物施用相关的药物施用相关对象和姿势：吞服药物、使用吸入器、使用涡轮吸入器、使用鼻腔喷雾器、滴眼药水和注射药物，从而能够从图像帧中检测到与上述至少两种药物施用相关的药物施用相关对象和姿势。
在下文中，将更详细地描述检测模型输出数据。
如上所述，服务器可使用检测模型获取检测模型输出数据。检测模型输出数据可包括多个子数据。该多个子数据中的每一个可对应图像帧中的特定区域。特定区域可以为以下至少之一：与药物施用相关对象对应的区域；与药物施用相关姿势对应的区域；以及与药物施用无关的区域。
检测模型输出数据可包括位置信息，该位置信息结合了图像帧中的药物施用相关对象和姿势的位置。例如，检测模型输出数据的子数据可包括位置信息。在这种情况下，位置信息可结合图像帧中的与子数据对应的预定数量的区域中的任意一个的位置。位置信息可表示为边界框。边界框的表达示例包括Pascal VOC和COCO，但不限于此。
检测模型输出数据可包括关于药物施用相关对象和姿势的概率信息。例如，检测模型输出数据的子数据可包括概率信息。
概率信息可包括存在概率信息或类概率信息或两者。存在概率信息可包括药物施用相关对象或药物施用相关姿势或两者是否存在。类概率信息可结合药物施用相关对象或药物施用相关姿势或两者的类的概率。
在一些实施例中，药物施用相关对象和药物施用相关姿势的类可以指药物施用相关对象和药物施用相关姿势的类型。例如，当第一药物施用相关对象和姿势与第二药物施用相关对象和姿势类型不同时，第一药物施用相关对象和姿势与第二药物施用相关对象和姿势是不同的类。作为更具体的示例，药瓶和药丸可以是不同的类。作为另一更具体的示例，药瓶和吸入器可以是不同的类。
在一些实施例中，一类药物施用相关对象和姿势可以指一组相同或相似类型的药物施用相关对象和姿势。例如，当第一药物施用相关对象和姿势与第二药物施用相关对象和姿势类型相同或相似时，第一药物施用相关对象和姿势与第二药物施用相关对象和姿势是同一类。作为更具体的示例，药丸和药瓶可以是相同的类。然而，即使在这种情况下，药瓶和吸入器也可以是不同的类。
类概率信息可包括与药物施用相关对象对应的对象类概率信息或于药物施用相关姿势对应的姿势类概率信息或两者。
概率信息可包括一个或多个概率值。存在概率信息可包括一个或多个存在概率值。类概率信息可包括一个或多个类概率值。概率信息中包含的概率值的个数可根据情况而变化。
服务器可基于检测模型输出数据检测包含在图像帧中的药物施用相关对象或药物施用相关姿势或两者。服务器可基于检测模型输出数据的子数据检测包含在图像帧中的药物施用相关对象或药物施用相关姿势或两者。
服务器可基于子数据的概率信息检测包含在图像帧中的药物施用相关对象或药物施用相关姿势或两者。例如，服务器可基于存在概率信息，通过判断药物施用相关对象或药物施用相关姿势或两者是否存在于与存在概率信息对应的区域内，来检测药物施用相关对象或药物施用相关姿势或两者。作为更具体的示例，当存在概率值等于或大于预定值时，服务器可确定在与存在概率值对应的区域内存在药物施用相关对象或药物施用相关姿势或两者，并检测药物施用相关对象或药物施用相关姿势或两者。作为另一示例，服务器可基于类概率信息估计在与类概率信息对应的区域内预期存在的药物施用相关对象或药物施用相关姿势或两者的类。作为更具体的示例，当类概率值等于或大于预定值时，服务器可估计在与类概率值对应的区域内预期存在的药物施用相关对象或药物施用相关姿势或两者的类为与类概率值对应的类。
图13是图示检测模型输出数据的示例的示意图。
作为检测模型输出数据的示例，图13示出了服务器获取图像帧50中的三个区域51、52、53的数据的情况。具体地，服务器可获取以下各区域对应的数据：与作为药物施用相关对象的药瓶对应的区域51；与作为药物施用相关姿势的拿着药丸的姿势对应的区域52；以及与药物施用相关对象和姿势无关的区域53。如图13所示，服务器获取的预定数量的区域51、52和53可包括与药物施用相关对象或药物施用相关姿势或两者对应的区域51和52以及与其无关的区域53。然而，与药物施用相关对象或药物施用相关姿势或两者对应的区域51和52相比，无关区域53的概率值可能较低。因此，如上所述，服务器可基于概率值确定区域51、52和53中的区域51和52对应药物施用相关对象或药物施用相关姿势或两者，并且可检测药物施用相关对象或药物施用相关姿势或两者。
图13的(b)示出了检测模型输出数据61包括分别与三个区域51、52和53对应的三个子数据62、63和64的情况。
作为存在概率信息的示例，图13的(b)示出了结合药物施用相关对象或药物施用相关姿势或两者存在于边界框51、52、53内的概率的存在概率信息72。在图13的(b)中，子数据62、63、64分别各自包含一个存在概率值p1、p2、p3，但不限于此。另外，作为类概率信息的示例，图13的(b)示出了类概率信息73结合了预期存在于边界框51、52和53内的药物施用相关对象或药物施用相关姿势或两者的类的概率。类概率信息73包括对象类概率信息74和姿势类概率信息75。在图13的(b)中，子数据62、63和64中的每一个包括“a”个对象类概率值作为对象类概率信息74和“b”个姿势类概率值作为姿势类概率信息75，总共“a+b”个类概率值，但不限于此。
检测模型输出数据可具有特定格式。例如，参考图13的(b)，检测模型输出数据61可具有2D矩阵格式。这里，每行检测模型输出数据61可分别对应一个子数据62、63和64。此外，每列检测模型输出数据61可对应包含在子数据62、63和64中的特定类型的信息，例如位置信息和概率信息。但是，图13的(b)所示的检测模型输出数据61的格式仅是示例，因此不限于此。
图13示出了服务器获取图像帧50内的三个区域51、52和53的数据以及检测模型输出数据61包括三个子数据62、63和64的情况，但是服务器获取的区域数量可以变化。例如，服务器可获取k个区域的数据。在这种情况下，检测模型输出数据可包括k个子数据。根据图13的(b)所示的格式，检测模型输出数据可表示为具有k行的二维矩阵。
此外，并非图13所示的所有元素都是检测模型输出数据的基本元素。检测模型输出数据还可包括图13中未示出的元素。此外，图13所示的检测模型输出数据的至少一些元素可以省略。例如，检测模型输出数据可不包括关于边界框的信息。或者，检测模型输出数据也可不包括存在概率信息。或者，检测模型输出数据可不包括对象类概率信息或姿势类概率信息或两者中的任意一个。
检测模型的示例包括深度学习模型，例如R-CNN、Fast R-CNN、Faster R-CNN、SPPNet、YOLO和SSD，但不限于此。
检测模型可包括多个子检测模型。该多个子检测模型可检测模型的至少部分不同类的药物施用相关对象或药物施用相关姿势或两者。
例如，检测模型可包括：第一检测模型，该第一检测模型检测第一类型的药物施用相关对象和第一类型的药物施用相关姿势；以及第二检测模型，该第二检测模型检测第二类型的药物施用相关对象和第二类型的药物施用相关姿势。
作为另一示例，检测模型可包括检测药物施用相关对象的检测模型(以下称为“对象检测模型”)和检测药物施用相关姿势的检测模型(以下称为“姿势检测模型”)。
图14是图示根据实施例的包括对象检测模型和姿势检测模型的检测模型的示意图。参考图14，服务器可将视频80的图像帧81和82输入到对象检测模型并检测包含在图像帧81和82中的药物施用相关对象。另外，服务器可以将视频80的图像帧81和82输入到姿势检测模型并检测图像帧81和82中包含的药物施用相关姿势。在这种情况下，使用对象检测模型和姿势检测模型检测视频80的所有图像帧中的药物施用相关对象和姿势，以检测包含在视频80中的药物施用相关对象和姿势。图14所示的图像帧81和82可输入到相同的对象检测模型。图14所示的图像帧81和82可输入到相同的姿势检测模型。
子检测模型的示例包括深度学习模型，例如R-CNN、Fast R-CNN、Faster R-CNN、SPPNet、YOLO和SSD，但不限于此。
返回参考图8，在步骤S230，服务器可使用检测结果和确认模型来判断是否已施用药物。例如，服务器控制单元可使用检测结果和确认模型来判断是否已施用药物。作为另一示例，服务器控制单元可将检测结果存储在服务器存储单元中，并且可以使用存储在服务器存储单元中的检测结果和确认模型来判断是否已施用药物。检测结果可包括检测模型输出数据。可在步骤S220获取检测结果。
服务器可将检测结果原样输入到确认模型。在这种情况下，输入到确认模型的输入数据可与检测模型的检测结果相同。或者，服务器可对检测结果进行变换，并将得到的检测结果输入到确认模型。在这种情况下，可基于检测结果生成输入到确认模型的输入数据。
图15是图示根据实施例的使用确认模型判断是否已施用药物的示意图。
参考图15，服务器可将确认模型输入数据输入到确认模型并判断是否已施用药物。在这种情况下，确认模型的输入数据可以是确认模型的输入数据，而输出数据可以是判断是否已施用药物的结果。
服务器可基于检测结果生成确认模型输入数据。参考图15，检测结果可包括与视频的每个图像帧对应的检测模型输出数据。当视频包括N个图像帧时，检测结果包括N个检测模型输出数据。这里，服务器可通过合成N个检测模型输出数据来生成确认模型输入数据。
确认模型输入数据可结合视频中是否存在特定类的药物施用相关对象和姿势。或者，确认模型输入数据可结合视频中特定类的药物施用相关对象和姿势随时间的移动。
图16是图示根据实施例的检测模型输出数据和确认模型输入数据的示意图，假设检测模型输出k个区域的数据并且视频包括N个图像帧。图16的(a)示出了检测模型输出数据的示例，图16的(b)示出了确认模型输入数据的示例。
确认模型输入数据可包括与每个图像帧对应的子数据。例如，参考图16的(b)，确认模型输入数据92可包括分别与N个图像帧对应的N个子数据93。比较检测模型输出数据和确认模型输入数据，检测模型输出数据的子数据可对应图像帧中的特定区域，确认模型输入数据的子数据可对应特定图像帧。
确认模型输入数据可包括按时间序列排列的子数据。例如，确认模型输入数据可包括按时间序列升序排列的子数据。
确认模型输入数据的子数据可对应检测模型输出数据。例如，参考图16，确认模型输入数据的每个子数据93可对应一个检测模型输出数据91。也就是说，检测模型输出数据91可仅包括关于一个图像帧的信息，但是确认模型输入数据92可包括关于多个图像帧的信息(例如，视频的所有图像帧)。可使用与其对应的检测模型输出数据来生成确认模型输入数据的子数据。
确认模型输入数据的子数据可结合图像帧中是否存在药物施用相关对象或药物施用相关姿势或两者。例如，参考图16，确认模型输入数据的子数据93可包括结合图像帧中是否存在药物施用相关对象或药物施用相关姿势或两者的信息94。可通过合成检测模型输出数据的类概率信息95来生成信息94。具体地，可通过合成检测模型输出数据的特定类概率信息95来生成与特定类对应的信息94。通过合成特定类概率信息95生成于特定类对应的信息94的示例包括：将特定类概率信息95的概率值相加并确定总和作为信息94；确定概率值的加权平均值作为信息94；以及确定概率值中的最大值作为信息94。然而，示例不限于此。
确认模型输入数据可具有特定格式。例如，参考图16的(b)，确认模型输入数据92可具有二维矩阵格式。这里，每行确认模型输入数据92可对应一个子数据93。另外，每列确认模型输入数据92可对应子数据93中包含的特定类型的信息(例如概率信息)。但是，图16的(b)所示的确认模型输入数据92的格式仅是示例，因此不限于此。
返回参考图15，从确认模型输出的判断是否已施用药物的结果可以是指示是否已施用药物的指标。也就是说，确认模型的输出数据可以是指示是否已施用药物的指标。作为监控模型的输出数据的指示是否已施用药物的指标的细节可应用于作为确认模型的输出数据的指示是否已施用药物的指标，因此将省略其描述。
确认模型的示例包括深度学习模型，例如RNN模型(即LSTM)，以及混合模型(即2DCNN-LSTM)，但不限于此。
相比于使用基于单图像帧或多图像帧生成的确认模型输入数据来判断是否已施用药物的情况，服务器使用基于视频生成的确认模型输入数据来判断是否已施用药物的情况可具有更高的准确度。原因与服务器基于单图像帧或多图像帧判断是否已施用药物相比服务器基于视频判断是否已施用药物具有提高的准确度的原因相同或相似，这在2.2用于使用监控模型判断是否已施用药物的方法中进行了描述。因此，将省略原因的描述。
虽然已描述了使用药物施用相关对象和药物施用相关姿势来判断是否已施用药物，但是可仅使用药物施用相关对象或药物施用相关姿势来判断是否已施用药物。然而，与仅使用药物施用相关对象或药物施用相关姿势中的任一个相比，同时使用药物施用相关对象和药物施用相关姿势具有提高的判断是否已施用药物的准确度。例如，与确认模型输入数据仅包括关于药物施用相关对象或药物施用相关姿势的信息的情况相比，确认模型输入数据包括关于药物施用相关对象和药物施用相关姿势两者的信息的情况具有提高的使用确认模型判断是否已施用药物的准确度。为此，检测模型同时检测药物施用相关对象和药物施用相关姿势比仅检测药物施用相关对象或药物施用相关姿势更有利。
2.4用于考虑视频类别判断是否已施用药物的方法
服务器可定义视频的类别，并考虑类别判断是否已施用药物。例如，服务器可根据视频的类别使用特定的监控模型来判断是否已施用药物。作为另一示例，服务器可根据视频的类别使用特定的检测模型来判断是否已施用药物。作为又一示例，服务器可根据视频的类别使用特定的确认模型来判断是否已施用药物。
定义视频的类别可以是指确定与视频对应的药物施用类型。例如，服务器可通过确定视频对应与不同类型的药物施用对应的两个或多个类别中的哪个类别定义视频的类别。在这种情况下，类别的示例包括药物吞服类别、使用吸入器类别、使用涡轮吸入器类别、使用鼻腔喷雾器类别、滴眼药水类别和药物注射类别，但不限于此。
服务器可使用分类模型定义视频的类别。在这种情况下，服务器可进一步使用分类模型来判断是否已施用药物。例如，除了监控模型之外，服务器还可使用分类模型来判断是否已施用药物。作为另一示例，除了检测模型和确认模型之外，服务器还可使用分类模型来判断是否已施用药物。
图17是图示根据实施例的用于使用分类模型来判断是否已施用药物的方法的示意图。服务器可获得视频(S310)，可使用视频和分类模型定义视频的类别(S320)，并且可使用定义的类别和视频来判断是否已施用药物(S330)。
在步骤S310，服务器可获得视频。例如，服务器可从可穿戴设备接收视频。这里，视频可由可穿戴设备的相机单元获取，并通过可穿戴设备的通信单元发送。视频可包括多个图像帧。该多个图像帧的数量可以是50个或更多、100个或更多、200个或更多、400个或更多、600个或更多、800个或更多、或1000个或更多。可在视频中捕捉整个药物施用过程。或者，可在视频中捕捉整个药物施用过程的大部分。
在步骤S320，服务器可使用视频和分类模型定义视频的类别。例如，服务器控制单元可使用通过服务器通信单元接收的视频和分类模型定义视频的类别。作为另一示例，服务器控制单元可将通过服务器通信单元接收到的视频存储在服务器存储单元中，并且可使用存储在服务器存储单元中的视频和分类模型定义视频的类别。可在步骤S310获得视频。
服务器使用分类模型定义视频的类别可以是指服务器使用分类模型获取指示视频的类别的指标(以下称为“类别指标”)。作为非限制性示例，类别指标可表示为数值。
图18至20是图示根据实施例的分类模型的示意图。
参考图18，服务器可将视频100输入到分类模型并定义视频100的类别。例如，服务器控制单元可将通过服务器通信单元接收的视频100输入到分类模型并定义视频100的类别。作为另一示例，服务器控制单元可将通过服务器通信单元接收到的视频100存储在服务器存储单元中，可将存储在服务器存储单元中的视频100输入到分类模型，并且可定义视频100的类别。在下文中，接收视频并定义视频的类别的分类模型被称为第一类型的分类模型。在这种情况下，第一类型的分类模型的输入数据可以是视频。
输入到第一类型的分类模型的视频可具有特定格式。例如，视频可包含预定数量图像帧。作为另一示例，视频可具有预定分辨率。作为又一示例，视频可具有预定比率(宽度和高度之间的比率)。
服务器可在不进行预处理的情况下将视频输入到第一类型的分类模型。例如，服务器控制单元可将通过服务器通信单元接收到的视频输入到第一类型的分类模型而不进行预处理。也就是说，输入到第一类型的分类模型的视频可与相机单元获取的视频相同。或者，服务器可对视频进行预处理，将预处理后的视频输入到第一类型的分类模型。例如，服务器控制单元可对通过服务器通信单元接收到的视频进行预处理，并将预处理后的视频输入到第一类型的分类模型。也就是说，输入到第一类型的分类模型的视频可以是对相机单元获取的视频进行预处理的结果。预处理的示例包括归一化、调整大小、裁剪、噪声去除及其组合，但不限于此。
第一类型的分类模型的输出数据格式可以多种多样。
例如，第一类型的分类模型的输出数据可包括指示不同类别的多个指标。这里，第一类型的分类模型可输出该多个指标中的一个。服务器可将输出指标确定为视频的类别指标。
作为另一示例，第一类型的分类模型的输出数据可包括多个指示估计类别的概率的指标。在下文中，指示估计类别的概率的指标被称为类别概率指标。多个类别概率指标可分别对应不同的类别。这里，第一类型的分类模型可输出该多个类别概率指标。在这种情况下，服务器可使用该多个类别概率指标定义视频的类别。也就是说，服务器可使用该多个类别概率指标来确定视频的类别。例如，服务器可将视频的类别定义为该多个类别概率指标中最大值对应的类别。
第一类型的分类模型可采用与上述监控模型相同或相似的结构实现。然而，即使在这种情况下，第一类型的分类模型和监控模型也可以仅在结构上相同或相似，而可以在权重或过滤值等参数上不同。另外，第一类型的分类模型的实现结构不一定与监控模型相同或相似。
参考图19，服务器可将包括图像帧102和103的视频101输入到分类模型，可检测包含在图像帧102和103中的药物施用相关对象或药物施用相关姿势或两者，并且可基于检测结果定义视频101的类别。在这种情况下，类似于上述的检测模型，图19所示的分类模型(以下称为“第二类型的分类模型”)可接收图像帧并检测包含在图像帧中的药物施用相关对象或药物施用相关姿势或两者。相应地，第二类型的分类模型可以以与上述检测模型相同或相似的结构实现，并且上述检测模型的细节可应用于第二类型的分类模型。例如，作为第二类型的分类模型的输出数据的第二类型分类模型输出数据和上述检测模型输出数据可在格式上相同或相似。在下文中，将主要描述第二类型的分类模型与检测模型之间的区别。
第二类型的分类模型检测到的药物施用相关对象和姿势的类型可包括与检测模型检测到的药物施用相关对象和姿势的类型不同的类型。检测模型检测到的药物施用相关对象和姿势的类型可包括与第二类型的分类模型检测到的药物施用相关对象和姿势的类型不同的类型。
第二类型的分类模型可检测药物施用相关对象，检测模型可检测药物施用相关对象和药物施用相关姿势。也就是说，第二类型的分类模型可以不检测药物施用相关姿势。这里，第二类型的分类模型检测到的药物施用相关对象的类型和检测模型检测到的药物施用相关对象的类型可以不同。
例如，第二类型的分类模型检测到的药物施用相关对象的类型可以比检测模型检测到的药物施用相关对象的类型更多样化。作为具体示例，第二类型的分类模型检测到的药物施用相关对象可与多种类型的药物施用相关，检测模型检测到的药物施用相关对象可与该多种类型中的特定类型的药物施用相关。作为更具体的示例，第二类型的分类模型可检测与多种类型的药物施用相关的药物施用相关对象，例如药瓶、吸入器、涡轮吸入器和眼药水滴管，检测模型可检测与该多种类型中的特定类型(例如使用吸入器)的药物施用相关的特定药物施用相关对象(例如吸入器)。在这种情况下，检测模型可检测第二类型的分类模型不检测的一个或多个额外的药物施用相关对象。例如，除了吸入器之外，检测模型还可检测身体部位。
第二类型的分类模型和检测模型可以只是结构上相同或相似，而可以在权重或过滤值等参数上不同。第二类型的分类模型不一定以与检测模型相同或相似的结构实现。
服务器可使用第二类型的分类模型检测到的药物施用相关对象和姿势定义视频的类别。在这种情况下，服务器可使用第二类型分类模型输出数据来确定视频的类别指标。
药物施用相关对象和姿势可具有与其对应的类别。
可取决于与药物施用相关对象和姿势相关的药物施用类型来确定药物施用相关对象和姿势的类别。与相同或相似类型的药物施用相关的药物施用相关对象和姿势可对应相同的类别。与不同类型的药物施用相关的药物施用相关对象和姿势可对应不同的类别。例如，参考图11和12，药瓶21、药丸25和拿着药丸的姿势36等药物施用相关对象和姿势可对应与吞服药物相关的类别。吸入器26和拿着吸入器的姿势32等药物施用相关对象和姿势可对应与使用吸入器相关的类别。涡轮吸入器24和拿着涡轮吸入器的姿势33等药物施用相关对象和姿势可对应与使用涡轮吸入器相关的类别。眼药水滴管22和拿着眼药水滴管的姿势34等药物施用相关对象和姿势可对应与滴眼药水相关的类别。鼻腔喷雾器23和拿着鼻腔喷雾器的姿势35等药物施用相关对象和姿势可对应与使用鼻腔喷雾器相关的类别。这种类别的药物施用相关对象和姿势的描述仅是示例而不限于此。
在一些实施例中，服务器可基于从中检测到药物施用相关对象或药物施用相关姿势或两者的图像帧的数量定义视频的类别。在这种情况下，服务器可基于从中检测到药物施用相关对象或药物施用相关姿势或两者的图像帧的数量来确定视频的类别指标。例如，服务器可计算从中检测到与特定类别对应的药物施用相关对象或药物施用相关姿势或两者的图像帧的数量，并且可基于计算出的数量定义视频的类别。具体地，服务器可比较从中检测到与第一类别对应的药物施用相关对象或药物施用相关姿势或两者的图像帧的数量，以及从中检测到与第二类别对应的药物施用相关对象或药物施用相关姿势或两者的图像帧的数量，并且可将视频的类别定义为第一类别和第二类别中的任意一个。这里，服务器可将视频的类别定义为图像帧数量较多的类别，但不限于此。
在一些实施例中，服务器可基于检测到的药物施用相关对象的数量或检测到的药物施用相关姿势的数量或所有定义视频的类别。在这种情况下，服务器可基于药物施用相关对象的数量或药物施用相关姿势的数量或全部来确定视频的类别指标。例如，服务器可计算所有图像帧中于特定类别对应的药物施用相关对象的数量或药物施用相关姿势的数量或所有，并且可基于计算出的数量定义视频的类别。具体地，服务器可比较所有图像帧中与第一类别对应的药物施用相关对象的数量或药物施用相关姿势的数量或所有，与所有图像帧中与第二类别对应的药物施用相关对象的数量或药物施用相关姿势的数量或所有，并且可将视频的类别定义为第一类别和第二类别中的任意一个。这里，服务器可将视频的类别定义为对象或姿势或全部的数量较多的类别，但不限于此。另外，在计算药物施用相关对象的数量的情况下，可将同一对象的不同部分视为一个对象或不同的对象。例如，药瓶的瓶盖和瓶身可被视为一个对象并且可算作一个药物施用相关对象，或者可被视为两个对象并且可算作两个药物施用相关对象。特别地，在药物施用相关对象的不同部分在物理上分离存在的情况下，例如，药瓶的瓶盖和瓶身是分离的，可将这些部分视为不同的对象来计数。
在一些实施例中，参考图20，服务器可使用第二类型分类模型输出数据和第三类型的分类模型定义视频的类别。例如，服务器控制单元可使用第二类型分类模型输出数据和第三类型的分类模型定义视频的类别。作为另一示例，服务器控制单元可将第二类型分类模型输出数据存储在服务器存储单元中，并且可以使用服务器存储单元中存储的第二类型分类模型输出数据和第三类型的分类模型定义视频的类别。第三类型的分类模型的输出数据可以是视频的类别指标。
服务器可将第二类型分类模型输出数据原样输入到第三类型的分类模型。在这种情况下，输入到第三类型的分类模型的输入数据可与第二类型的分类模型的输出数据相同。或者，服务器可对第二类型分类模型输出数据进行变换，并将得到的数据输入到第三类型的分类模型。在这种情况下，可基于第二类型分类模型输出数据生成输入到第三类型的分类模型的输入数据。上述基于检测模型的检测结果生成确认模型输入数据的细节可应用于基于第二类型分类模型输出数据生成第三类型的分类模型的输入数据，因此将省略其详细描述。
第三类型的分类模型可采用与上述确认模型相同或相似的结构来实现。然而，即使在这种情况下，第三类型的分类模型和确认模型也可仅在结构上相同或相似，而在权重或过滤值等参数上可以不同。另外，第三类型的分类模型不一定以与确认模型相同或相似的结构实现。
返回参考图17，在步骤S330，服务器可使用定义的类别和视频来判断是否已施用药物。该类别可以是在步骤S320的分类结果。可在步骤S310获得视频。
图21和图22是图示根据实施例的使用由分类产生的类别和视频来判断是否已施用药物的示意图。图21示出了使用如2.2用于使用监控模型判断是否已施用药物的方法中的监控模型的情况。图22示出了使用如2.3用于使用检测模型和确认模型判断是否已施用药物的方法中的检测模型和确认模型的情况。
参考图21，服务器可针对视频的每个类别使用特定监控模型来判断是否已施用药物。在这种情况下，不同的监控模型可判断是否已进行了不同类型的药物施用。例如，与第一类别对应的第一监控模型可判断是否已进行了与第一类别对应的第一类型的药物施用。与第二类别对应的第二监控模型可判断是否已进行了与第二类别对应的第二类型的药物施用。作为具体示例，第一类型的药物施用可以是吞服药物、使用吸入器、使用涡轮吸入器、使用鼻腔喷雾器、滴眼药水和药物注射中的任何一种。第二类型的药物施用可以是吞服药物、使用吸入器、使用涡轮吸入器、使用鼻腔喷雾器、滴眼药水和药物注射中的任何一种。不对其施加任何限制。输入到监控模型的视频可与输入到分类模型的视频相同，但不限于此。
参考图22，服务器可针对视频的每个类别使用特定检测模型和特定确认模型来判断是否已施用药物。在这种情况下，不同的检测模型可检测不同类型的药物施用相关对象和姿势。例如，与第一类别对应的第一检测模型可检测与第一类别对应的第一类型的药物施用相关对象和姿势，与第二类别对应的第二检测模型可检测与第二类别对应的第二类型的药物施用相关对象和姿势。此外，不同的确认模型可判断是否已进行了不同类型的药物施用。例如，与第一类别对应的第一确认模型可基于与第一类别对应的第一类型的药物施用相关对象和姿势来判断是否已进行第一类型的药物施用。与第二类别对应的第二确认模型可基于与第二类别对应的第二类型的药物施用相关对象和姿势来判断是否已进行了第二类型的药物施用。也就是说，服务器可使用分类模型定义视频的类别，可使用与定义的类别对应的检测模型检测特定类型的药物施用相关对象和姿势，并且可使用与定义的类别对应的确认模型判断是否已进行特定类型的药物施用。输入到检测模型的视频可与输入到分类模型的视频相同，但不限于此。
虽然图22示出了检测模型和确认模型对于各种类别的视频不同，检测模型或确认模型可以相同。例如，对于各种类别的视频，检测模型可以不同，但确认模型可以相同。作为另一示例，对于各种类别的视频，检测模型可以相同，但是确认模型可以不同。
此外，虽然图21和图22示出了视频被分类为k个类别(三个或更多类别)的情况，但是视频可以被分类为两个类别。
虽然已描述了由服务器使用分类模型定义视频的类别，但是定义视频的类别的方法不限于此。例如，服务器可基于指示视频的类别的数据定义视频的类别。具体地，服务器可从无线通信设备或可穿戴设备等外部接收数据，并且可定义视频的类别。在这种情况下，服务器可从无线通信设备或可穿戴设备等外部接收数据，并且可确定视频的类别指标。
上述用于结合监控模型、检测模型、确认模型和分类模型判断是否已施用药物的方法仅为示例。可与上述示例不同地结合这些模型来判断是否已施用药物。另外，可结合上述模型中的至少一些模型和其他模型来判断是否已施用药物。
2.5模型训练方法
在下文中，将描述训练上述模型的方法。将描述模型是深度学习模型的情况，但不限于此。
图23是图示根据实施例的训练模型的方法的示意图，其示出了监督学习。服务器可使用训练数据训练模型。训练数据可包括输入数据和标签数据。输入数据和标签数据可以彼此对应。服务器可将输入数据输入到未完成训练的模型，获取输出数据，并且可将输出数据与标签数据进行比较，通过误差反向传播来训练模型。训练模型的服务器可与使用模型判断是否已施用药物的服务器相同，或者可以是用于训练模型的特定训练服务器。
服务器可准备训练数据。例如，服务器可生成训练数据。作为具体示例，服务器可接收输入数据并基于输入数据生成标签数据。作为另一示例，服务器可从外部获取训练数据。作为具体示例，服务器可接收外部设备生成的训练数据，或者可接收人生成的训练数据。
可使用例如Optimizer Adam、SGDScheduler、随机对比度、随机色调、随机亮度、随机左右翻转、随机裁剪和随机调整大小等各种训练技术来训练模型。
2.5.1监控模型训练方法
服务器可训练监控模型。服务器可使用用于训练监控模型的监控模型训练数据来训练监控模型。
监控模型训练数据可包括训练视频和训练视频的监控模型标签数据，其中监控模型标签数据指示是否已施用药物。训练视频的格式可与上述在判断是否已施用药物时输入到监控模型的视频的格式相同。另外，监控模型标签数据的格式可与上述指示是否已施用药物的指标的格式相同。
训练视频可包括药物施用训练视频和药物未施用训练视频。
监控模型标签数据可包括：与药物施用训练视频对应并指示药物施用的标签；与药物未施用训练视频对应并指示药物未施用的标签。或者，监控模型标签数据可包括：指示估计药物施用概率的标签；以及指示估计药物未施用概率的标签。
参考图23，图23所示的输入数据、标签数据和输出数据可分别是训练视频、监控模型标签数据和指示是否已施用药物的指标。服务器可向未完成训练的监控模型输入训练视频，获取指示是否已施用药物的指标，可将指示是否已施用药物的指标与监控模型标签数据进行比较，通过误差反向传播对监控模型进行训练。
2.5.2检测模型训练方法
服务器可训练检测模型。服务器可使用用于训练检测模型的检测模型训练数据来训练检测模型。
检测模型训练数据可包括训练图像帧和检测模型标签数据，其中检测模型标签数据与训练图像帧中包含的药物施用相关对象或药物施用相关姿势或两者相关。训练图像帧的格式可与上述判断是否已施用药物时输入到检测模型的图像帧的格式相同。此外，检测模型标签数据的格式可与上述检测模型输出数据的格式相同。
检测模型标签数据可包括药物施用相关对象的标签数据(以下称为“对象标签数据”)和药物施用相关姿势的标签数据(以下称为“姿势标签数据”)。
对象标签数据可包括使用者用于药物施用的各种类型的药物施用相关对象的标签。作为非限制性示例，对象标签数据可包括药瓶标签、眼药水滴管标签、鼻腔喷雾器标签、涡轮吸入器标签、药丸标签、吸入器标签、泡罩包装标签和注射器标签。
对象标签数据可包括身体部位的标签。作为非限制性示例，对象标签数据可包括手臂标签、手标签、手腕标签、手掌标签、手掌外侧标签、面部标签、嘴巴标签和鼻子标签。
姿势标签数据可包括各种类型的药物施用相关姿势，例如使用者施用药物的定位。作为非限制性示例，姿势标签数据可包括：拿着药物施用相关对象的姿势的标签，例如拿着泡罩包装的姿势的标签、拿着吸入器的姿势的标签、拿着涡轮吸入器姿势的标签、拿着眼药水滴管姿势的标签、拿着鼻腔喷雾器姿势的标签、拿着药丸的姿势的标签；吞服药丸等药物的姿势的标签；使用吸入器、涡轮吸入器和鼻腔喷雾器等药物施用相关对象吸入药物的姿势标签；使用眼药水滴管等药物施用相关对象滴眼药水姿势的标签；使用注射器等药物施用相关对象注射药物的姿势的标签；以及打开药瓶等药物施用相关对象的姿势的标签。
在下文中，将描述检测模型训练数据的更详细示例。
图24至图28是图示根据实施例的检测模型训练数据的示意图，其概念性地示出训练图像帧中的检测模型标签数据。
图24是示出与使用医疗用品中的泡罩包装吞服药物相关的检测模型训练数据的示例的示意图。参考图24，对象标签数据可包括：身体标签，例如手臂标签110a、手掌标签110b、手掌外侧标签110c和面部标签(或口鼻标签)110d；以及泡罩包装标签，例如泡罩包装顶部标签110e、泡罩包装底部标签110f、泡罩包装侧面标签110g和泡罩包装盒标签110h。姿势标签数据可包括拿着泡罩包装的姿势的标签110i、拿着药丸的姿势的标签110j和吞服药丸的姿势的标签110k。
图25是示出与使用医疗用品中的吸入器吸入药物相关的检测模型训练数据的示例的示意图。参考图25，对象标签数据可包括：身体标签，例如手臂标签111a、手腕标签111b和面部标签(或口鼻标签)111c；以及吸入器标签，例如吸入器标签111d、打开的吸入器标签111e和吸入器盖标签111f。姿势标签数据可包括拿着吸入器的姿势的标签111g、打开吸入器的姿势的标签111h以及用吸入器吸入的姿势的标签111i。
图26是示出与使用医疗用品中的涡轮吸入器吸入药物相关的检测模型训练数据的示例的示意图。参考图26，对象标签数据可包括：身体标签，例如手臂标签112a、手腕标签112b和面部标签(或口鼻标签)112c；涡轮吸入器标签，例如涡轮吸入器标签112d、打开的涡轮吸入器标签112e和涡轮吸入器盖标签112f。姿势标签数据可包括拿着涡轮吸入器的姿势的标签112g。
图27是示出与使用医疗用品中的眼药水滴管滴眼药水相关的检测模型训练数据的示例的示意图。参考图27，对象标签数据可包括：身体标签，例如手臂标签113a、手腕标签113b和面部标签(或口鼻标签)113c；眼药水滴管标签，例如眼药水滴管标签113d、打开的眼药水滴管标签113e和眼药水滴管盖标签113f。姿势标签数据可包括拿着眼药水滴管的姿势的标签113g和滴眼药水的姿势的标签113h。
图28是示出与使用医疗用品中的鼻腔喷雾器吸入药物相关的检测模型训练数据的示例的示意图。参考图28，对象标签数据可包括：身体标签，例如手臂标签114a、手腕标签114b和面部标签(或口鼻标签)114c；鼻腔喷雾器标签，例如鼻腔喷雾器标签114d、打开的鼻腔喷雾器标签114e和鼻腔喷雾器瓶盖标签114f等。姿势标签数据可包括拿着鼻腔喷雾器的姿势的标签114g和用鼻腔喷雾器喷雾的姿势的标签114h。
参考图24至28，取决于药物施用的类型或医疗用品的类型，与其相关的检测模型标签数据可包括不同的标签。例如，与使用泡罩包装吞服药物相关的检测模型标签数据可包括：泡罩包装标签110e、110f、110g和110h；拿着泡罩包装的姿势的标签110i；拿着药丸的姿势的标签110j；以及吞服药丸的姿势的标签110k。与使用吸入器吸入药物相关的检测模型标签数据可包括：吸入器标签111d、111e和111f；拿着吸入器的姿势的标签111g；打开吸入器的姿势的标签111h；以及用吸入器吸入的姿势的标签111i。
即使药物施用的类型或医疗用品的类型不同，与其相关的检测模型标签数据也可包括相同的标签。例如，图24至28所示的所有药物施用包括手臂标签110a、111a、112a、113a和114a以及面部标签110d、111c、112c、113c和114c。
取决于由检测模型检测到的药物施用相关对象或药物施用相关姿势或两者，在训练检测模型时使用的检测模型训练数据可以变化。
取决于服务器要确定的药物施用类型，训练检测模型时使用的检测模型训练数据可以变化。例如，在用于判断是否已进行了使用泡罩包装的药物施用的检测模型的情况下，服务器可使用如图24所示的检测模型训练数据来训练检测模型。在用于判断是否已进行了使用泡罩包装的药物施用和是否已进行了使用吸入器吸入药物的检测模型的情况下，服务器需要使用如图24所示的检测模型训练数据以及如图25所示的检测模型训练数据训练检测模型。也就是说，要确定的药物施用的类型越多种多样，服务器用于训练检测模型的检测模型训练数据的类型就越多。
图24至28所示的检测模型训练数据仅为示例，因此检测模型训练数据不限于此。检测模型训练数据还可包括图24至28中未示出的标签。此外，图24至28所示的检测模型训练数据的至少一些标签可以省略。
返回参考图23，图23所示的输入数据、标签数据和输出数据可分别是训练图像帧、检测模型标签数据和检测模型输出数据。服务器可将训练图像帧输入到未完成训练的检测模型，获取检测模型输出数据，并且可将检测模型输出数据与检测模型标签数据进行比较，通过误差反向传播来训练检测模型。
2.5.3确认模型训练方法
服务器可训练确认模型。服务器可使用用于训练确认模型的确认模型训练数据来训练确认模型。
确认模型训练数据可包括训练用确认模型输入数据和与训练用确认模型输入数据对应并指示是否已施用药物的确认模型标签数据。训练用确认模型输入数据的格式可以是确认模型输入数据的上述格式。此外，确认模型标签数据的格式可与指示是否已施用药物的指标的上述格式相同。
训练用确认模型输入数据可包括表示药物施用的训练用确认模型输入数据和表示药物未施用的训练用确认模型输入数据。
可基于视频生成训练用确认模型输入数据。训练用确认模型输入数据可结合视频中包含的药物施用相关对象或药物施用相关姿势或两者。可基于药物施用训练视频生成表示药物施用的训练用确认模型输入数据。可基于药物未施用训练视频生成表示药物未施用的训练用确认模型输入数据。
确认模型标签数据可包括指示药物施用的标签和指示药物未施用的标签。或者，确认模型标签数据可包括：指示估计药物施用概率的标签；以及指示估计药物未施用概率的标签。
参考图23，图23所示的输入数据、标签数据和输出数据可分别是训练用确认模型输入数据、确认模型标签数据和指示是否已施用药物的指标。服务器可将训练用确认模型输入数据输入未完成训练的确认模型，获取指示是否已施用药物的指标，并且可将指示是否已施用药物的指标与确认模型标签数据进行比较，通过误差反向传播训练监控模型。
2.5.4分类模型训练方法
服务器可训练分类模型。
在第一类型的分类模型的情况下，服务器可使用用于训练第一类型的分类模型的第一类型分类模型训练数据来训练第一类型的分类模型。
第一类型分类模型训练数据可包括训练视频和指示训练视频的类别(或指示估计类别概率)的第一类型分类模型标签数据。训练视频的格式可与在判断是否已施用药物时输入到第一类型的分类模型的视频的上述格式相同。此外，第一类型分类模型标签数据的格式可与指示类别的指标(或指示估计类别概率的指标)的上述格式相同。
训练视频可包括与不同类别对应的多个视频。作为非限制性示例，训练视频可包括：与吞服药物类别对应的视频；与使用吸入器类别对应的视频；与使用涡轮吸入器类别对应的视频；与滴眼药水类别对应的视频；以及与使用鼻腔喷雾器类别对应的视频。
训练视频可包括药物施用训练视频和药物未施用训练视频。
第一类型分类模型标签数据可包括与不同类别对应的多个标签。例如，第一类型分类模型标签数据可包括：与吞服药物类别对应的标签；与使用吸入器类别对应的标签；与使用涡轮吸入器类别对应的标签；与滴眼药水类别对应的标签；以及与使用鼻腔喷雾器类别对应的标签。
参考图23，图23所示的输入数据、标签数据和输出数据可分别是训练视频、第一类型分类模型标签数据和指示类别的指标(或指示估计类别概率的指标)。服务器可将训练视频输入到未完成训练的第一类型的分类模型，获取指示该类别的指标(或指示类别估计概率的指标)，并且可比较指示该类别的指标(或指示类别估计概率的指标)和第一类型分类模型标签数据，通过误差反向传播训练第一类型的分类模型。
在第二类型的分类模型的情况下，服务器可使用用于训练第二类型的分类模型的第二类型的分类模型训练数据来训练第二类型的分类模型。
第二类型的分类模型训练数据可包括训练图像帧和第二类型分类模型标签数据，其中第二类型分类模型标签数据与包含在训练图像帧中的药物施用相关对象或药物施用相关姿势或两者相关。训练图像帧的格式可与在判断是否已施用药物时输入到第二类型的分类模型的图像帧的上述格式相同。另外，第二类型分类模型标签数据的格式可与第二类型分类模型输出数据的上述格式相同。
第二类型分类模型标签数据可包括上述对象标签数据或姿势标签数据或两者。
第二类型分类模型标签数据可包括与检测模型标签数据包含的标签类型不同的标签类型。检测模型标签数据可包括与第二类型分类模型标签数据包含的标签格式不同的标签类型。
第二类型分类模型标签数据可包括对象标签数据，检测模型标签数据可包括对象标签数据和姿势标签数据。也就是说，第二类型分类模型标签数据可不包括姿势标签数据。这里，第二类型分类模型标签数据的对象标签数据可包括与检测模型标签数据的对象标签数据包含的标签类型不同的标签类型。例如，第二类型分类模型标签数据的对象标签数据可包括与多种类型的药物施用相关的标签，检测模型标签数据的对象标签数据可包括与该多种类型之间的特定类型的药物施用相关的标签。作为具体示例，第二类型分类模型标签数据的对象标签数据可包括药瓶标签、吸入器标签、涡轮吸入器标签、眼药水滴管标签等与多种类型的药物施用相关的标签，检测模型标签数据可包括吸入器标签，吸入器标签是与使用吸入器的特定类型的药物施用相关的标签。在这种情况下，检测模型标签数据的对象标签数据可包括第二类型分类模型标签数据的对象标签数据不包含的附加标签。例如，除了吸入器标签之外，检测模型标签数据的对象标签数据可包括身体部位的标签。
参考图23，图23所示的输入数据、标签数据和输出数据可分别是训练图像帧、第二类型分类模型标签数据和第二类型分类模型输出数据。服务器可将训练图像帧输入到未完成训练的第二类型的分类模型，获取第二类型分类模型输出数据，并且可将第二类型分类模型输出数据与第二类型分类模型标签数据进行比较，通过误差反向传播训练第二类型的分类模型。
在第三类型的分类模型的情况下，服务器可使用用于训练第三类型的分类模型的第三类型分类模型训练数据来训练第三类型的分类模型。
第三类型分类模型训练数据可包括训练用第三类型分类模型输入数据和指示与训练用第三类型分类模型输入数据的类别(或指示类别估计概率)对应的第三类型分类模型标签数据。训练用第三类型分类模型输入数据的格式可与判断是否已施用药物时输入到第三类型的分类模型的输入数据的上述格式相同。另外，第三类型分类模型标签数据的格式可与第三类型的分类模型的输出数据的上述格式相同。
训练用第三类型分类模型输入数据可包括与不同类别对应的多个输入数据。作为非限制性示例，训练用第三类型分类模型输入数据可包括：与吞服药物类别对应的输入数据；与使用吸入器类别对应的输入数据；与使用涡轮吸入器类别对应的输入数据；与滴眼药水类别对应的输入数据；以及与使用鼻腔喷雾器类别对应的输入数据。
训练用第三类型分类模型输入数据可包括指示药物施用的输入数据和指示药物未施用的输入数据。
上述第一类型分类模型标签数据的细节可应用于第三类型分类模型标签数据，因此将省略其冗余描述。
参考图23，图23所示的输入数据、标签数据和输出数据可分别是训练用第三类型分类模型输入数据、第三类型分类模型标签数据和指示类别的指标(或指示估计类别概率的指标)。服务器可将训练用第三类型分类模型输入数据输入到未完成训练的第三类型的分类模型，获取指示该类别的指标(或指示类别估计概率的指标)，可将指示该类别的指标(或指示估计类别的概率的指标)与第三类型分类模型标签数据进行比较，通过误差反向传播训练第三类型的分类模型。
上述训练方法仅为示例，并不限于此。可通过例如无监督学习、强化学习和模仿学习等其他方法训练这些模型。
2.5.5模型训练序列
上述模型可以相互关联地进行训练。
在一些实施例中，在使用检测模型和确认模型判断是否已施用药物的情况下，服务器可以先训练两个模型中的一个，然后再训练另一个。例如，服务器可以先训练检测模型，再训练确认模型。作为具体示例，服务器可以先使用检测模型训练数据训练检测模型，然后连接检测模型和确认模型，再使用检测模型训练数据的训练图像帧训练确认模型。在这种情况下，可基于检测模型输出数据生成输入到确认模型以训练确认模型的数据。此外，当确认模型被训练时，已训练的检测模型被再次训练或不被训练。
在一些实施例中，在使用第一类型的分类模型和监控模型判断是否已施用药物时，当第一类型的分类模型和监控模型在结构上相同时，服务器先训练两个模型中的一个，然后再训练另一个。
在一些实施例中，在使用第二类型的分类模型、检测模型和确认模型判断是否已施用药物时，当第二类型的分类模型和检测模型在结构上相同时，服务器先训练两个模型中的一个，然后再训练另一个。
上述模型可单独训练。例如，在使用检测模型和确认模型判断是否已施用药物的情况下，服务器可单独训练检测模型和确认模型。作为具体示例，服务器可使用检测模型训练数据训练检测模型，另外，服务器可使用确认模型训练数据训练确认模型。这里，可以先训练检测模型和确认模型中的任意一个。
2.6实施例及结果
2.6.1第一实施例
图29是示出作为用于使用监控模型判断是否已施用药物的方法的示例的第一实施例的示意图，涉及使用监控模型判断是否已施用药物的结果。在图29中，判断是否已进行口服从药瓶中倒出的药丸，这是各种类型的药物施用中的吞服药物。使用了基于ResNet101的I3D网络和基于ResNet50的SlowFast网络作为监控模型。在图29中，使用包含100个训练图像帧的训练视频来训练监控模型，每个训练图像帧的分辨率为224x 224像素。参考图29，在使用I3D网络作为监控模型的情况下，取决于训练方法，判断是否已进行吞服药物的准确度在77.8％到81％的范围内。此外，在使用SlowFast网络作为监控模型的情况下，取决于训练方法，判断是否已进行吞服药物的准确度在74％到80％的范围内。在监控模型的情况下，发现无论网络类型如何，准确度最高约为80％。然而，第一实施例是使用约1200个训练视频进行训练的结果。图29所示的准确度可取决于情况而变化，例如，随着训练的进行，准确度提高，或者随着训练视频的改变，准确度提高。
2.6.2第二实施例
图30和图31是图示作为用于使用检测模型和确认模型判断是否已施用药物的方法的示例的第二实施例的示意图，涉及使用检测模型和确认模型判断是否已施用药物的结果。在图30中，判断是否已进行了口服从药瓶中倒出的药丸，这是各种类型的药物施用中的吞服药物。版本2涉及在初始训练(版本1)后使用补充训练数据进行额外训练的情况。使用了基于ResNet101的Faster R-CNN作为检测模型，使用了2D卷积层和LSTM的组合作为确认模型。参考图31更详细地描述确认模型的结构，输入到确认模型的确认模型输入数据经过2D卷积层和最大池化层后拼接，经过ReLU、LSTM、全连接层，输出为判断是否已施用药物的结果。然而，图31所示的确认模型的结构是示例性的，因此确认模型的结构不限于此。例如，与按图31所示的顺序设计2D卷积层、LSTM和全连接层的确认模型不同，确认模型可以按以下顺序设计：LSTM、2D卷积层和全连接层。
返回参考图30，初始训练的检测模型准确度为85.1％，额外训练的准确度为88.8％。此外，初始训练的确认模型准确度为90.5％，额外训练的准确度为94.5％。发现随着训练数据的补充，模型的准确度提高了。此外，发现与第一实施例相比，使用检测模型和确认模型的情况具有提高的判断是否已施用药物的准确度，第一实施例是使用如图29所示的监控模型的情况。然而，图30所示的准确度可取决于情况而变化，例如随着训练的进行，准确度提高，或者随着训练视频的改变，准确度提高。
2.6.3第三实施例
图32是示出作为用于使用分类模型判断是否已施用药物的方法的示例的第三实施例的示意图，涉及使用分类模型和监控模型判断是否已施用药物的结果。在图32中，针对各种类型的药物施用中的以下几种判断是否已施用药物：口服从药瓶中倒出的药丸，这是吞服药物；使用吸入器吸入药物；以及口服从泡罩包装中压出的药丸，这是吞服药物。在图32中，模型类型为监控模型的情况是指针对上述三种类型的药物施用不使用分类模型而是仅使用监控模型来判断是否已施用药物的情况。模型类型为分类模型+监控模型的情况是指针对上述三种类型的药物施用使用分类模型和监控模型共同判断是否已施用药物的情况。这里，在不使用分类模型的情况下的监控模型是针对上述三种类型的药物施用能够判断是否已施用药物的模型。在使用分类模型的情况下的监控模型是能够针对上述三种类型的药物施用中的一种特定类型的药物施用判断是否已施用药物的模型。也就是说，不使用分类模型时使用一个监控模型，使用分类模型时使用三个监控模型。
参考图32，在不使用分类模型而是仅使用监控模型的情况下，对于上述三种类型的药物施用，判断是否已施用药物的准确度为60.1％。相反，在同时使用分类模型和监控模型的情况下，发现判断是否已施用药物具有以下准确度：口服从药瓶中倒出的药丸的准确度为77％，这是吞服药物；使用吸入器吸入药物的准确度为78.4％；以及口服从泡罩包装中压出的药丸的准确度为83.9％，这是吞服药物。发现判断是否已施用药物的平均准确度为79.8％。可以认为，在使用分类模型时，与泡罩包装相关的监控模型之所以能够以较高的准确度判断是否已施用药物，是因为在训练与药瓶相关的监控模型和与吸入器相关的监控模型时使用了为此优化的超参数。然而，图32所示的准确度可取决于情况而变化，例如随着训练的进行，准确度提高，或者随着训练视频的改变，准确度提高。
2.7用于判断是否已施用药物的方法的附加示例
在下文中，将描述用于判断是否已施用药物的方法的一些附加示例。
2.7.1第一附加示例-主手和副手
如上所述，服务器可基于从可穿戴设备获取的视频来判断是否已施用药物。在此，在视频由佩戴在使用者身体的左侧或右侧的可穿戴设备(例如，智能手表、智能手环或智能戒指)生成的情况下，当使用佩戴可穿戴设备的身体部位施用药物时生成的视频和当使用未佩戴可穿戴设备的身体部位施用药物时生成的视频可具有不同的方面。例如，在使用智能手表中提供的相机单元生成视频时，使用佩戴智能手表的手施用药物生成的视频和使用未佩戴智能手表的手施用药物生成的视频可具有不同的方面。在下文中，主要以可穿戴设备为智能手表的情况进行描述。佩戴可穿戴设备的手称为主手，未佩戴可穿戴设备的手称为副手。例如，智能手表戴在左手腕上时，左手为主手，右手为副手。
如上所述，药物施用模式可以在使用者之间变化。以主手和副手为例，部分使用者可使用主手施用药物，而与上述部分使用者的药物施用模式不同，其他使用者可使用副手施用药物。
此外，如上所述，即使是同一使用者也可能取决于情况而具有不同的药物施用模式。以主手和副手为例，使用者这次可使用主手施用药物，但与这次的药物施用模式不同，使用者可在下次使用副手施用药物。
同时，使用者可取决于情况使用主手和副手一起施用药物。例如，使用者可用副手拿着药丸，可将药丸放在主手的手掌上，并且可将主手移到他/她的嘴中以吞服药丸。在这种情况下，可能不清楚是用主手还是用副手施用药物。此外，即使在这种情况下，使用者的药物施用模式也可能取决于情况而变化。例如，使用者这次已按照上述那样吞服药丸，但使用者下次可以以不同的模式吞服药丸，例如，使用者用主手拿着药丸，将药丸放在副手的手掌上，并将副手移到他/她的嘴中以吞服药丸。
这里，在主手和副手之间，药物施用可被视为使用已进行药物施用的主要阶段的那只手进行的。例如，当药物施用的主要阶段已用主手进行时，药物施用被认为是用主手进行的。药物施用的主要阶段可根据药物施用的类型而变化。例如，在吞服药丸的情况下，将药丸移至他/她的嘴中以吞服药丸的阶段可以是药物施用的主要阶段。作为另一示例，在使用吸入器的情况下，将吸入器移至他/她的嘴中以吸入的阶段可以是药物施用的主要阶段。作为又一示例，在使用涡轮吸入器的情况下，将涡轮吸入器移至他/她的嘴中以吸入的阶段可以是药物施用的主要阶段。作为另一示例，在使用鼻腔喷雾器的情况下，将鼻腔喷雾器移至鼻子以吸入的阶段可以是药物施用的主要阶段。作为又一示例，在滴眼药水的情况下，将眼药水滴管移至眼睛以滴眼药水的阶段可以是药物施用的主要阶段。作为又一示例，在药物注射的情况下，将注射器移至身体的一部分以进行注射的阶段可以是药物施用的主要阶段。取决于上述药物施用类型的药物施用的主要阶段仅是示例，并且可取决于情况而变化而不限于此。
或者，在主手和副手之间，药物施用可被视为使用已进行整个药物施用过程的更多阶段的手进行的。
在下文中，被视为用主手进行的药物施用(例如，至少药物施用的主要阶段是用主手进行的，或者大部分药物施用是用主手进行的)称为主手作为主体的药物施用。另外，被视为用副手进行的药物施用(例如，至少药物施用的主要阶段是用副手进行的，或者大部分药物施用是用副手进行的)称为副手作为主体的药物施用。
取决于使用者是使用主手作为主体还是使用副手作为主体来施用药物，使用者的行为可以不同。因此，可在表示主手作为主体的药物施用的视频(以下称为“主手视频”)和表示副手作为主体的药物施用的视频(以下称为“副手视频”)中捕捉到不同的行为。
图33和图34是分别图示根据实施例的主手作为主体的药物施用和副手作为主体的药物施用的示意图，涉及使用泡罩包装吞服药物。图33和图34示出了智能手表生成的视频的图像帧，智能手表是可穿戴设备，当使用者佩戴智能手表时，智能手表的相机单元位于手腕内侧。
可在主手视频和副手视频中捕捉到相同或相似的行为。例如，参考图33和图34，主手视频和副手视频都包含在其中捕捉到的以下内容：使用者拿着泡罩包装盒的行为115a和116a；使用者从泡罩包装盒中取出泡罩包装的行为115b和116b；使用者从泡罩包装中压出药丸的行为115c和116c；使用者将泡罩包装放入泡罩包装盒的行为115e和116f；以及使用者关闭泡罩包装盒的行为115f和116g。
然而，取决于情况，在主手视频和副手视频中的一个中捕捉到的行为可能无法在另一个中捕捉到。例如，参考图33和图34，使用者吞服药丸的行为115d在主手视频中被捕捉到，但在副手视频中没有被捕捉到(在其中捕捉到了行为116e)。另外，使用者拿着药丸的行为116d在副手视频中被捕捉到，但在主手视频中没有被捕捉到。也就是说，在主手视频和副手视频中捕捉到的使用者的行为可以不同，即使在这种情况下，服务器也需要能够基于视频判断是否已施用药物。因此，需要提供考虑到这一点而训练的模型。
服务器可使用已使用主手视频和副手视频训练的模型来判断是否已施用药物。例如，监控模型训练数据的训练视频可包括主手视频和副手视频。或者，检测模型训练数据的训练图像帧可包括主手视频的图像帧和副手视频的图像帧。或者，用于训练确认模型训练数据的确认模型输入数据可包括与主手视频对应的输入数据和与副手视频对应的输入数据。或者，分类模型训练数据的训练视频(或训练图像帧)可包括主手视频(或主手视频的图像帧)和副手视频(或副手视频的图像帧)。在这种情况下，服务器可判断是否已施用药物，是药物施用还是药物未施用。即使在服务器使用主手视频和副手视频来训练模型的情况下，也可以相同或类似地应用2.5模型训练方法中描述的训练方法。
除了使用主手视频和副手视频两者之外，服务器还可通过区分主手作为主体的药物施用和副手作为主体的药物施用来使用被训练以判断是否已施用药物的模型来判断是否已施用药物。在这种情况下，服务器不判断是否已施用药物，作为药物施用或药物未施用，而是判断是否已施用药物，作为主手作为主体的药物施用，作为副手作为主体的药物施用，或者作为药物未施用。
例如，在使用监控模型判断是否已施用药物的情况下，监控模型训练数据的训练视频包括主手视频和副手视频，监控模型标签数据包括：与主手视频对应并指示主手作为主体的药物施用的标签(以下称为“主手标签”)；以及与副手视频对应并指示副手作为主体的药物施用的标签(以下称为“副手标签”)。
作为另一示例，在使用检测模型和确认模型判断是否已施用药物的情况下，检测模型训练数据的训练图像帧包括主手视频的图像帧和副手视频的图像帧，确认模型训练数据的确认模型标签数据可包括主手标签和副手标签。
即使在服务器训练模型以通过区分主手作为主体的药物施用和副手作为主体的药物施用判断是否已施用药物的情况下，可相同或相似地应用在2.5模型训练方法中描述的训练方法。
图35是图示根据实施例的取决于是否区分主手作为主体的药物施用与副手作为主体的药物施用来判断是否已施用药物的结果的示意图。图35示出了使用检测模型和确认模型来判断是否已施用药物。在图35中，判断是否已进行了口服从药瓶中倒出的药丸，这是各种类型的药物施用中的吞服药物。使用了基于ResNet101的Faster R-CNN作为检测模型，使用了2D卷积层和LSTM的组合作为确认模型(参见图31)。参考图35，发现区分主手作为主体的药物施用和副手作为主体的药物施用来判断是否已施用药物的情况的验证准确度和测试准确度分别为98.8％和96.8％。验证准确度和测试准确度均高于不区分主手作为主体的药物施用和副手作为主体的药物施用来判断是否已施用药物的情况的验证准确度97.7％和测试准确度88.8％。也就是说，与不区分主手作为主体的药物施用和副手作为主体的药物施用来判断是否已施用药物的情况相比，区分主手作为主体的药物施用和副手作为主体的药物施用来判断是否已施用药物的情况可准确地判断是否已施用药物。
服务器可先使用主手视频和副手视频中的任意一个来训练模型，然后可使用另一个来训练模型。或者，服务器可交替使用主手视频和副手视频来训练模型。或者，服务器可使用主手视频和副手视频来训练模型，没有特定的顺序规则。
服务器可使用用于判断是否已完成主手作为主体的药物施用的模型和用于判断是否已完成副手作为主体的药物施用的模型。
2.7.2第二附加示例-省略部分药物施用过程
服务器可通过实时检查使用者是否对每个药物施用步骤进行了特定行为来判断是否已施用药物。例如，服务器可通过视频或图像一步一步地检查使用者是否拿着药丸、使用者是否将药丸放入他/她的嘴中以及使用者是否吞服药丸来判断是否已施用药物。在这种情况下，由于检查使用者是否针对每个步骤进行了特定行为，因此没有省略特定步骤，这可有利于判断是否已施用药物。然而，使用者需要进行不自然的特定行为以判断是否已施用药物，这对于使用者来说是不方便的。
与此不同，服务器可在不请求使用者进行具体的特定行为的情况下判断是否已施用药物。也就是说，即使使用者照常施用药物，服务器也可分析其视频并判断是否已施用药物。然而，在这种情况下，并没有实时检查使用者是否对每个步骤进行了特定的行为，因此取决于使用者的定位或药物施用所花费的时间，可能不会在视频中捕捉到药物施用的特定阶段。这里，服务器需要施用省略了部分药物施用过程的药物施用视频来判断是否已施用药物。具体地，在拍摄预定时间的视频并判断是否已施用药物的情况下，当使用者施用药物的时间长于预定时间时，药物施用过程的后部分没有被捕捉在视频中。例如，在口服从药瓶中倒出的药丸的情况下，即吞服药物，使用者从药瓶中倒出药丸的行为或使用者拿着药丸的行为作为药物施用过程的前部分可在视频中捕捉到，但是使用者吞服药丸的行为作为药物施用过程的后部分可能不会在视频中捕捉到。或者，当相机单元在晚于使用者开始药物施用的时间被启动时，药物施用过程的前(较早)部分没有被捕捉在视频中。例如，当相机单元在使用者吞服药丸时被启动时，使用者将药丸从药瓶中倒出的行为或使用者拿着药丸的行为没有被捕捉到视频中。即使在这种异常情况下，也要求服务器能够判断是否已施用药物，因此需要提供考虑到这一点的模型。
图36是图示根据实施例的使用去除了部分图像帧的视频的模型训练的示意图。参考图36，服务器可使用包括所有图像帧的训练视频120和去除了部分图像帧的训练视频121来训练模型。该模型可以是输入数据为视频的模型(如监控模型)和第一类型的分类模型。
参考图36，可基于包括所有图像帧的训练视频120生成去除了部分图像帧的训练视频121。
图37是图示根据实施例的去除训练视频的部分图像帧的方法的示意图。
参考图37的(a)至(c)，去除了部分图像帧的训练视频122、124和126可分别是在训练视频的所有图像帧中去除了预定数量的连续图像帧123、125和127的训练视频。这里，去除的连续图像帧可以是如图37的(a)所示的训练视频的前部分123，可以是如图37的(b)所示的训练视频的中间部分125，也可以是如图37的(c)所示的训练视频的后部分127。在训练视频的所有图像帧都包含整个药物施用过程的情况下，去除与前部分对应的图像帧的训练视频可被视为药物施用过程的前部分未被捕捉到的情况。类似地，与中间部分对应的图像帧的训练视频可被视为药物施用过程的中间部分未被捕捉到的情况。去除了与后部分对应的图像帧的训练视频可被视为药物施用过程的后部分未被捕捉到的情况。也就是说，由于服务器使用去除了连续图像帧的训练视频来训练模型，所以即使在视频中没有捕捉药物施用的一些阶段，服务器也使用视频判断是否已施用药物。
参考图37的(d)，去除了部分图像帧的训练视频128可以是在训练视频的所有图像帧中随机去除了预定数量的图像帧129的训练视频。
图37所示的去除训练视频的部分图像帧的描述仅是示例，并不限于此。
即使去除了训练视频的部分图像帧，服务器也可能需要向去除的部分添加数据，这是因为输入到模型的数据的格式是固定的。在这种情况下，服务器可在去除的图像帧的位置添加具有预定像素值的图像帧。例如，所添加的图像帧的所有像素可具有相同的像素值，但不限于此。也就是说，上述去除了部分图像帧的训练视频可包括与包括所有图像帧的训练视频相同数量的图像帧，其中关于去除的图像帧的信息(例如，关于像素值的信息)在训练视频中丢失。或者，服务器可将具有预定像素值的图像帧添加到与去除的图像帧的位置不同的位置。例如，如图37的(a)所示，即使去除了训练视频的前部分123，服务器也将具有预定像素值的图像帧添加到训练视频的后部分。作为另一示例，如图37的(c)所示，即使去除了训练视频的后部分127，服务器也将具有预定像素值的图像帧添加到训练视频的前部分。
服务器可先使用去除部分图像帧的训练视频和包括所有图像帧的训练视频中的任意一个来训练模型，然后可使用另一个来训练模型。例如，服务器可先使用去除了部分图像帧的训练视频来训练模型，然后可使用包括所有图像帧的训练视频来训练模型。或者，服务器可交替使用去除了部分图像帧的训练视频和包括所有图像帧的训练视频来训练模型。或者，服务器可使用去除了部分图像帧的训练视频和包括所有图像帧的训练视频来训练模型，没有特定的顺序规则。
不同于第一类的监控模型或分类模型，确认模型不使用视频作为输入数据，因此下面将描述确认模型的情况。
图38是图示根据实施例的去除训练用确认模型输入数据的部分子数据的方法的示意图。如上所述，确认模型输入数据包括子数据，每个子数据可对应一个图像帧。因此，类似于图36和图37所示的去除了训练视频的部分图像帧的情况，可考虑去除训练用确认模型输入数据的部分子数据并省略部分药物施用过程的情况。
参考图38，去除了部分子数据的训练用确认模型输入数据131可以是从包含所有子数据的训练用确认模型输入数据130中去除了部分子数据132的训练用确认模型输入数据。类似于如图37所示去除了训练视频的部分图像帧的情况，训练用确认模型输入数据的去除子数据可对应连续图像帧或随机图像帧。另外，在去除与连续图像帧对应的训练用确认模型输入数据的子数据时，可去除与前部分、中间部分或后部分图像帧对应的子数据。
类似于去除训练视频的部分图像帧，即使去除了训练用确认模型输入数据的部分子数据，服务器也可能需要向去除的部分添加数据，这是因为确认模型输入数据的格式是固定的。在这种情况下，参考图38，服务器可将具有预定值(例如，图38中的0)的子数据133添加到被去除的子数据的位置。此外，上述去除了部分子数据的训练用确认模型输入数据可包括与包含所有子数据的训练用确认模型输入数据相同数量的子数据，其中关于去除的子数据的信息在训练用确认模型中输入数据中丢失。
图38所示的去除训练用确认模型输入数据的部分子数据的说明仅是示例，并不限于此。
服务器可先使用去除了部分子数据的训练用确认模型输入数据和包含所有子数据的训练用确认模型输入数据中的任意一个来训练确认模型，然后可使用另一个来训练确认模型。例如，服务器可先使用去除了部分子数据的训练用确认模型输入数据来训练确认模型，然后可使用包含所有子数据的训练用确认模型输入数据来训练确认模型。或者，服务器可交替使用去除了部分子数据的训练用确认模型输入数据和包含所有子数据的训练用确认模型输入数据来训练确认模型。或者，服务器可使用去除了部分子数据的训练用确认模型输入数据和包含所有子数据的训练用确认模型输入数据来训练确认模型，没有特定的顺序规则。
可使用标签平滑技术来训练模型。在这种情况下，服务器可更准确地判断是否已施用药物。特别地，对于省略了部分药物施用过程的视频，服务器可更准确地判断是否已施用药物。
图39是图示根据实施例的考虑部分药物施用过程被省略的情况而被训练的模型的示意图，涉及通过检测模型和使用去除了部分子数据的确认模型输入数据进行训练的确认模型判断是否已施用药物的结果。确认模型1是仅使用包含所有子数据的确认模型输入数据进行训练的确认模型。确认模型2是使用去除了部分子数据的训练用确认模型输入数据和包含所有子数据的训练用确认模型输入数据进行训练的确认模型。基本上，在模型训练中，使用了帧速率为30fps的20秒视频(因此，所有图像帧的数量为600)。也就是说，使用全部子数据数量为600的训练用确认模型输入数据。其中，去除了连续的200个子数据，以生成去除了部分子数据的确认模型训练输入数据。作为检测模型，使用了基于ResNet101的Faster R-CNN，并且作为确认模型，2D卷积层和LSTM的组合被用于确认模型1和2(参见图31)。
参考图39，在对于整个药物施用过程的视频使用确认模型1的情况下，服务器判断是否已施用药物的准确度为96.5％。在对于视频使用确认模型2的情况下，服务器判断是否已施用药物的准确度为99.8％。在对于省略了部分药物施用过程的药物施用视频使用确认模型1的情况下，服务器判断是否已施用药物的准确度为83.7％。在对于视频使用确认模型2的情况下，服务器判断是否已施用药物的准确度为95.8％。也就是说，与使用仅使用包含所有子数据的训练用确认模型输入数据进行训练的确认模型的情况相比，使用已使用去除了部分子数据的训练用确认模型输入数据和包含所有子数据的训练用确认模型输入数据进行训练的确认模型的情况具有提高的准确度。特别是对于省略了部分药物施用过程的药物施用视频，判断是否已施用药物的准确度提高了。换句话说，发现在使用去除了部分图像帧的训练视频或去除了部分子数据的相应训练用确认模型输入数据来训练模型的情况下，对于省略了部分药物施用过程的药物施用视频而言，判断是否已施用药物的准确度提高了。
图40是图示根据实施例的去除了连续图像帧和去除了随机图像帧的示意图，涉及通过检测模型和使用去除了部分子数据的训练用确认模型输入数据进行训练的确认模型判断是否已施用药物的结果。确认模型3是使用去除了连续子数据的训练用确认模型输入数据和包含所有子数据的训练用确认模型输入数据训练的确认模型。确认模型4是使用去除了随机子数据的训练用确认模型输入数据和包含所有子数据的训练用确认模型输入数据训练的确认模型。使用了结构与图39相同的检测模型和确认模型。训练用确认模型输入数据的所有子数据的数量和去除的子数据的数量与图39中的相同。
参考图40，在对于整个药物施用过程的视频使用确认模型3的情况下，服务器判断是否已施用药物的准确度为98.9％。在对于视频使用确认模型4的情况下，服务器判断是否已施用药物的准确度为99.3％。对于省略了部分药物施用过程的药物施用视频使用确认模型3的情况下，服务器判断是否已施用药物的准确度为93.1％。在对于视频使用确认模型4的情况下，服务器判断是否已施用药物的准确度为90.0％。也就是说，无论去除子数据的方法如何，对于整个药物施用过程的视频，判断是否已施用药物的准确度都差不多；但是，对于省略了部分药物施用过程的药物施用视频，使用去除了连续子数据的训练用确认模型输入数据进行训练的确认模型有利于提高判断是否已施用药物的准确度。
2.7.3第三附加示例-帧数的变化
已描述了基于包含预定数量图像帧的视频或包含预定数量子数据的确认模型输入数据来判断是否已施用药物。然而，在部分情况下，需要针对包含数量不同于预定数量的图像帧的视频或者对于包含数量不同于预定数量的子数据的确认模型输入数据来判断是否已施用药物。
例如，取决于药物施用的类型，视频录制时间可以变化，因此，可能需要针对包含数量不同于预定数量的图像帧的视频或包含数量不同于预定数量的子数据的确认模型输入数据来判断是否已施用药物。
作为另一示例，取决于使用者，视频录制时间可以变化，因此，可能需要针对包含数量不同于预定数量的图像帧的视频或包含数量不同于预定数量的子数据的确认模型输入数据来判断是否已施用药物。
首先，将描述服务器如何处理包含数量超过预定数量的图像帧的视频或包含数量超过预定数量的子数据的确认模型输入数据。
图41是图示根据实施例的图像帧的选择的示意图。参考图41，服务器可通过帧选择从包含数量超过预定数量的图像帧的视频140中获取包含预定数量图像帧的视频141。
在一些实施例中，帧选择可以指选择奇数图像帧或偶数图像帧。例如，在包含数量是预定数量两倍的图像帧的视频的情况下，服务器可选择视频中的奇数图像帧或偶数图像帧生成包含预定数量图像帧的视频。类似地，在包含数量是预定数量n倍的图像帧的视频的情况下，服务器可选择视频中每第n个图像帧生成包含预定数量图像帧的视频。
或者，帧选择可以指随机选择图像帧。例如，服务器可从包含数量超过预定数量的图像帧的视频中随机选择预定数量的图像帧生成包含预定数量图像帧的视频。
这种帧选择的描述仅是示例而不限于此。
类似地，服务器可通过子数据选择从包含数量超过预定数量的子数据的确认模型输入数据中获取包含预定数量子数据的确认模型输入数据。帧选择的细节可应用于子数据选择，因此将省略其详细描述。
接下来，将描述服务器如何处理包含数量少于预定数量的图像帧的视频或包含数量少于预定数量的子数据的确认模型输入数据。
服务器可在包含数量少于预定数量的图像帧的视频中添加图像帧，从而生成包含预定数量图像帧的视频。例如，可将添加的图像帧添加到包含数量少于预定数量的图像帧的视频的前部分。作为另一示例，可将添加的图像帧添加到包含数量少于预定数量的图像帧的视频的后部分。作为又一示例，可将添加的图像帧添加到包含数量少于预定数量的图像帧的视频的中间部分。作为又一示例，可将添加的图像帧添加到包含数量少于预定数量的图像帧的视频的随机位置。
取决于添加图像帧的位置，判断是否已施用药物的准确度可以变化。这里，提高判断是否已施用药物的准确度的添加图像帧的位置可根据模型的类型而变化。例如，在使用LSTM模型或与其类似的模型的情况下，在视频的前部分添加图像帧与其他情况相比可增加判断是否已施用药物的准确度。
添加的图像帧可具有预定像素值。例如，所添加的图像帧的所有像素可具有相同的像素值，但不限于此。
3.药物施用内容确定方法
已描述了用于判断是否已施用药物的方法，但是在部分情况下，可能需要确定药物施用内容。这里，药物施用内容与是否已施用药物的内容相关，广义上，例如，使用者吞服了哪种药丸以及吞服了多少颗药丸。在下文中，主要对吞服药丸进行描述。
图42是图示根据实施例在吞服药丸时确定药品信息的示意图。药品信息可包括药丸的数量和药丸的类型。参考图42，服务器可基于视频150的图像帧中示出药丸被放置在手掌上的场景的图像帧151来确定药品信息。例如，服务器可将视频150的图像帧中示出药丸被放置在手掌上的场景的图像帧151输入药品信息判断模型，以获服药品信息。
当存在多个图像帧示出药丸被放置在手掌上的场景时，服务器可基于该多个图像帧中对应最晚时间的图像帧确定药品信息。或者，服务器可基于该多个图像帧中的每一个图像帧来确定药品信息，并且可以合成所得的多条药品信息以确定最终的药品信息。
服务器可使用能够检测药丸被放置在手掌上的情况的模型找到示出药丸被放置在手掌上的场景的图像帧。例如，服务器可将视频逐图像帧地输入到模型中，并且可在所有的图像帧中找到示出药丸被放置在手掌上的场景的图像帧。在检测模型被训练以检测药丸被放置在手掌上的情况的情况下，检查检测模型的检测结果以找到示出药丸被放置在手掌上的场景的图像帧，而没有使用特定模型执行附加计算。在这种情况下，与使用特定模型执行附加计算的情况相比，可显著快速地找到示出药丸被放置在手掌上的场景的图像帧。此外，计算成本可显著降低。
该模型可与上述检测模型相同或相似地实现，但不限于此。
确定药物施用内容的服务器可与判断是否已施用药物的服务器相同。或者，确定药物施用内容的服务器可以是不同于判断是否已施用药物的服务器的特定服务器。
4.药物施用相关信息管理方法
服务器可管理与药物施用相关的各种信息。例如，服务器可管理使用者的当前药物施用状态、使用者是否佩戴可穿戴设备以及可穿戴设备的视频录制时间等。当前药物施用状态可包括视频、视频分析结果(例如判断是否已施用药物的结果，例如视频表示药物施用还是药物未施用的信息)、使用者的药物施用时间表、使用者的药物施用时间以及使用者是否已再次施用药物。稍后将更详细地描述当前药物施用状态。
管理药物施用相关信息的服务器可与判断是否已施用药物或确定药物施用内容的服务器相同。或者，管理药物施用相关信息的服务器可以是与判断是否已施用药物或确定药物施用内容的服务器不同的用于管理的特定服务器。
在下文中，将更详细地描述药物施用相关信息管理方法。
4.1当前药物施用状态的管理
服务器可管理使用者的当前药物施用状态。
服务器可存储使用者的药物施用时间表。
服务器可存储使用者的药物施用时间。可基于可穿戴设备生成视频的时间来确定药物施用时间。例如，药物施用时间可以是可穿戴设备生成视频的时间。
服务器可基于使用者的药物施用时间表向使用者发出通知。
例如，在接近使用者需要按照药物施用时间表施用药物的时间时，服务器可向可穿戴设备或使用者终端发出通知，引导使用者施用药物。
作为另一示例，服务器可判断使用者是否已施用药物过量，并将判断结果发送给可穿戴设备或使用者终端，以通知使用者已再次施用药物。这里，药物已施用过量是指在确定的时间药物已施用超过预定数量，例如，使用者本应服用一粒药丸，但服用了两粒药丸。服务器可通过比较使用者的药物施用内容和药物施用时间表来判断使用者是否已施用药物过量。
服务器可与使用者核对是否已施用药物。服务器可通过可穿戴设备或使用者终端与使用者核对是否已施用药物。
例如，服务器可基于药物施用时间表与使用者核对是否已施用药物。在使用者需要按照药物施用时间表施用药物的时间附近，服务器可与使用者核对是否已施用药物。
作为另一示例，服务器可接收视频并与使用者核对是否已施用药物。服务器可从可穿戴设备接收视频并与使用者核对是否已施用药物。
作为又一示例，服务器可判断使用者是否已施用药物，并且可与使用者核对是否已施用药物。服务器可对视频进行分析，当确定使用者已施用药物时，服务器与使用者核对使用者是否已施用药物。或者，无论分析视频的结果如何，服务器都可对视频进行分析以判断是否已施用药物，并且可与使用者核对是否已施用药物。
服务器可向使用者的监护人或医务人员提供关于使用者的当前药物施用状态的信息。例如，服务器可向监护人或医护人员提供视频、使用者药物施用时间表、是否已施用药物、药物施用时间以及是否已再次施用药物中的至少一些。在这种情况下，服务器存储单元可将有关可穿戴设备的使用者的标识信息与有关使用者的监护人或医务人员的设备的标识信息相关联地存储。
当服务器确定使用者已施用药物时，服务器可向监护人或医务人员提供有关使用者的当前药物施用状态的信息。
当服务器确定使用者尚未施用药物时，服务器可向监护人或医务人员提供有关使用者的当前药物施用状态的信息。例如，当服务器确定使用者在预定时间内尚未施用药物时，服务器可通知监护人或医务人员使用者尚未施用药物。
4.2佩戴可穿戴设备的管理
服务器可管理使用者佩戴可穿戴设备。
服务器可根据可穿戴设备收集的信息检查使用者是否佩戴了可穿戴设备。例如，服务器可通过可穿戴设备的运动传感器分析可穿戴设备的运动，并且可检查使用者是否佩戴了可穿戴设备。具体地，当可穿戴设备在预定时间内没有移动时，服务器可确定使用者没有佩戴可穿戴设备。
当服务器确定使用者未佩戴可穿戴设备时，服务器可通过可穿戴设备或使用者终端向使用者发出通知，引导使用者佩戴可穿戴设备。
服务器可检查使用者是否正确佩戴了可穿戴设备。取决于佩戴可穿戴设备的方向，可获取到不正确的视频。例如，在可穿戴设备为智能手表或智能手环的情况下，需要佩戴可穿戴设备，使得相机单元朝向使用者手的方向，从而拍摄到使用者手的周围环境。
服务器可对视频进行分析，检查使用者是否正确佩戴了可穿戴设备。例如，当服务器作为分析视频的结果连续预定次数或更多次确定药物未施用时，服务器可确定使用者未正确地佩戴可穿戴设备。或者，当作为分析视频的结果没有检测到药物施用相关对象和姿势或者检测到的数量等于或小于预定数量时，服务器可确定使用者未正确地佩戴可穿戴设备。或者，当确定获取的图像帧中与使用者手臂对应的区域超过图像帧整个区域的预定百分比时，服务器可确定使用者未正确地佩戴可穿戴设备。
服务器可检查可穿戴设备的相机单元是否被另一物体覆盖。例如，在可穿戴设备为智能手表或智能手环的情况下，服务器可检查相机单元是否被使用者的袖子遮盖。
服务器可对视频进行分析并检查可穿戴设备的相机单元是否被另一物体覆盖。例如，当服务器作为分析视频的结果连续预定次数或更多次确定药物未施用时，服务器可确定相机单元被另一物体覆盖。或者，当作为分析视频的结果没有检测到药物施用相关对象和姿势或者检测到的数量等于或小于预定数量时，服务器可确定相机单元被另一物体覆盖。或者，服务器可基于获取的图像帧的像素值检查相机单元是否被另一物体覆盖。
当服务器判断使用者未正确地佩戴可穿戴设备时，服务器可通过可穿戴设备或使用者终端向使用者发出通知，引导使用者正确佩戴可穿戴设备。
当发生使用者佩戴时，可穿戴设备可执行获取图像帧或视频并发送给服务器的步骤。因此，服务器可基于接收到的图像帧或视频来管理使用者佩戴可穿戴设备。
4.3视频录制时间的管理
服务器可管理视频录制时间。
服务器可更改可穿戴设备的视频录制时间。例如，服务器可延长或缩短视频录制时间。服务器可更改视频录制时间，以优化每个使用者的视频录制时间。
服务器可对视频进行分析并判断视频录制时间是否适合使用者。例如，服务器可通过判断视频的最后一个图像帧对应何种药物施用行为来判断可穿戴设备当前设置的视频录制时间是否适合使用者。
当服务器确定使用者的视频录制时间不合适时，服务器可更改视频录制时间。例如，当服务器确定特定使用者的视频录制时间较短时，服务器可延长该特定使用者的视频录制时间。或者，当服务器确定特定使用者的视频录制时间较长时，服务器可缩短该特定使用者的视频录制时间。
5.远程医疗应用
上述药物施用的细节可应用于远程医疗情况。
远程医疗是在医患相隔较远的地方进行的一种医疗行为，即通过通信手段确定患者病情，并提供适当的医疗救治。在这种远程医疗情况下，与患者面对面看医生的情况相比，医生可能难以确定患者病情。因此，向医生提供关于患者病情的信息可以是有用的。
图43是图示作为对远程医疗的应用示例的二次意见报告的提供的示意图。二次意见报告是关于使用者健康状况的报告。医生或监护人在检查使用者的健康状况或制定使用者的健康保健计划时，可参考二次意见报告。借此，医生可在不与使用者面对面的情况下检查使用者的健康状况或制定使用者的健康保健计划。服务器可向医生提供二次意见报告以提供或辅助远程医疗服务。
服务器可考虑使用者的药物依从性程度来生成二次意见报告。例如，服务器可根据先前处方考虑药物依从性程度来生成二次意见报告。此处，可基于判断是否已进行先前处方的药物施用的结果来计算根据先前处方的药物依从性程度。
服务器可确定使用者的健康状况以生成二次意见报告。服务器可在已施用药物并经过预定时间之后确定使用者的健康状况，并且可生成二次意见报告。预定时间可根据使用者、药物类型和药物施用类型中的至少一个而变化。
为了确定使用者的健康状况，服务器可向可穿戴设备发送关于使用者健康状况的问题。关于健康状况的问题的示例包括药物施用后的药物副作用、症状和情绪、一个或多个临床值以及一个或多个疼痛值，但不限于此。
为了确定使用者在已施用药物并经过预定时间之后的健康状况，服务器可在已施用药物并经过预定时间之后向可穿戴设备发送关于健康状况的问题。
可穿戴设备可获取使用者对从服务器接收到的问题的回答。可穿戴设备可将获取的使用者回答发送给服务器。服务器可根据获取的使用者回答确定使用者的健康状况。服务器可基于确定的使用者健康状况生成二次意见报告。服务器可将生成的二次意见报告提供给医生或监护人。
服务器可进一步考虑使用者的生物特征信息来确定使用者的健康状况或生成二次意见报告。如上所述，生物信息的示例包括步数等运动信息以及心率、血氧饱和度和心电图，但不限于此。
服务器可进一步考虑药物施用前的生物特征信息或药物施用后的生物特征信息或两者确定使用者的健康状况或生成二次意见报告。例如，服务器可通过比较药物施用前的生物特征信息和药物施用后的生物特征信息来确定使用者的健康状况或生成二次意见报告。
服务器可通过可穿戴设备获取使用者的生物特征信息。可穿戴设备可测量使用者的生物特征信息。可穿戴设备可通过可穿戴设备的运动传感器、心率传感器、血氧饱和度传感器和心电图传感器测量使用者的生物特征信息。可穿戴设备可将测量的生物特征信息发送给服务器。
图43示出了服务器通过可穿戴设备确定使用者的健康状况，但是也可通过智能手机、平板电脑、笔记本电脑和台式电脑等使用者终端确定使用者的健康状况。在这种情况下，服务器可通过与使用者终端而不是可穿戴设备通信来确定使用者的健康状况。或者，服务器可通过可穿戴设备和使用者终端两者来确定使用者的健康状况。
此外，图43示出了判断是否已施用药物的服务器与生成二次意见报告的服务器相同，但生成二次意见报告的服务器可与判断是否已施用药物的服务器不同。
图44是示出作为对远程医疗的应用示例的处方报告的提供的示意图。医生或药剂师可参考处方报告给使用者开处方。借此，医生或药剂师可在不与使用者面对面的情况下给使用者开处方。服务器可向医生或药剂师提供处方报告以提供或协助远程医疗服务。
服务器可基于处方信息计算使用者的药物依从性程度。例如，服务器可基于第一处方的信息计算使用者按照第一处方的药物依从性程度。可基于判断是否已进行了针对第一处方的药物施用的结果来计算使用者按照第一处方的药物依从性程度。
服务器可考虑使用者的药物依从性程度来生成处方报告。例如，服务器可考虑按照第一处方的药物依从性程度生成关于第二处方的处方报告。具体地，当按照第一处方的药物依从性程度等于或大于预定标准时，服务器生成处方报告，表明允许给使用者开第二处方。或者，当按照第一处方的药物依从性程度低于预定标准时，服务器生成处方报告，表明不允许给使用者开第二处方。
考虑使用者的药物施用时间表，服务器可生成处方报告。例如，按照药物施用时间表，当估计使用者已完成第一处方的施用药物时，服务器可生成处方报告。或者，当存在对第二处方的请求时，服务器可生成处方报告。例如，当有来自使用者的第二处方请求时，服务器可生成处方报告。在此，如图44所示，服务器可通过可穿戴设备接收使用者的第二处方请求，也可通过使用者终端等其他途径接收使用者的第二处方请求。此外，服务器可从使用者以外的医生、药剂师或监护人接收使用者的第二处方请求。
服务器可将生成的处方报告提供给医生或药剂师。
图44示出判断是否已施用药物的服务器与生成处方报告的服务器相同，但是生成处方报告的服务器可不同于判断是否已施用药物的服务器。
6.医疗保健的延伸
虽然主要描述了药物施用，但药物施用的细节可扩展到医疗保健。医疗保健除了药物施用之外还涉及广义上的使用者健康管理，其中使用者健康管理的示例包括摄食和使用测量装置测量健康信息，例如用血压计测量血压，用血糖仪测量血糖。也就是说，1.用于判断是否已施用药物的系统、2.用于判断是否已施用药物的方法、3.药物施用内容判断方法、4.药物施用相关信息管理方法以及5.对远程医疗的应用中描述的药物施用细节可应用于医疗保健，例如用测量装置测量健康信息以及摄食。
用于判断是否已施用药物的系统可扩展到用于判断是否已进行医疗保健行为的系统。在下文中，从用于是否已施用药物系统的上述细节出发，将主要对扩展到用于判断是否已进行医疗保健行为的系统部分进行描述。
无线通信设备1000可附接到或位于测量装置(例如，血压计或血糖仪)附近。或者，无线通信设备1000可附接到或位于餐具(例如，勺子、筷子、叉子或碗)附近。
无线通信设备1000可收集测量装置的运动或环境光或两者的数据。或者，无线通信设备1000可收集餐具的运动或环境光或两者的数据。
无线通信设备1000可使用收集的数据检查使用者是否已开始医疗保健行为。例如，无线通信设备1000可检查使用者是否已开始健康信息测量行为。作为另一示例，无线通信设备1000可检查使用者是否已开始摄食行为。当检查到使用者已开始医疗保健行为时，无线通信设备1000向可穿戴设备2000或服务器3000等外部发送启动信号。
或者，无线通信设备1000可将收集的数据发送到可穿戴设备2000或服务器3000等外部。
可穿戴设备2000可与无线通信设备1000通信。可穿戴设备2000可从无线通信设备1000接收测量装置的运动或环境光或两者的数据。或者，可穿戴设备2000可从无线通信设备1000接收餐具的运动或环境光或两者的数据。
可穿戴设备2000可产生视频。例如，可穿戴设备2000可产生与医疗保健相关的视频。作为具体示例，可穿戴设备2000可产生与测量健康信息相关的视频。作为另一具体示例，可穿戴设备2000可产生与摄食相关的视频。
可穿戴设备2000可基于从无线通信设备1000接收到的数据产生视频。例如，可穿戴设备2000可基于测量装置的运动或环境光或两者的数据或基于启动信号产生视频。作为另一示例，可穿戴设备2000可基于餐具的运动或环境光或两者的数据或者基于启动信号来产生视频。
服务器3000可从无线通信设备1000或可穿戴设备2000或两者接收测量装置的运动或环境光或两者的数据。或者，服务器3000可从无线通信设备1000或可穿戴设备2000或两者接收餐具的运动或环境光或两者的数据。
服务器3000可判断是否已进行医疗保健行为。例如，服务器3000可基于从无线通信设备1000或可穿戴设备2000或两者获取的信息来判断是否已进行医疗保健行为。作为具体示例，服务器3000可通过分析从可穿戴设备2000接收到的视频来判断是否已进行医疗保健行为。
用于判断是否已施用药物的方法可扩展到用于判断是否已进行医疗保健行为的方法。在下文中，从用于是否已施用药物的方法的上述细节出发，主要对扩展到用于判断是否已进行医疗保健行为的方法部分进行描述。
服务器可使用监控模型判断是否已进行医疗保健行为。例如，服务器可使用监控模型判断是否已使用测量装置。作为另一示例，服务器可使用监控模型判断是否已进行摄食。
服务器可将视频输入到监控模型，判断是否已进行医疗保健行为。在这种情况下，监控模型的输出数据可以是判断是否已进行医疗保健行为的结果。
监控模型输出的判断是否已进行医疗保健行为的结果可以是是否已进行医疗保健行为的指标。也就是说，监控模型的输出数据可以是指示是否已进行医疗保健行为的指标。服务器可针对输入视频使用监控模型获取是否已进行医疗保健行为的指标。作为非限制性示例，指标可表示为数值。
监控模型的训练视频可包括进行医疗保健行为的训练视频和未进行医疗保健行为的训练视频。
监控模型标签数据可包括：与进行医疗保健行为对应并指示进行医疗保健行为的训练视频的标签；以及与未进行医疗保健行为对应并指示未进行医疗保健行为的标签的训练视频。或者，监控模型标签数据可包括：指示估计进行医疗保健行为概率的标签；以及指示估计未进行医疗保健行为概率的标签。
服务器可使用检测模型和确认模型来判断是否已进行医疗保健行为。例如，服务器可使用检测模型和确认模型来确定是否已使用测量装置。作为另一示例，服务器可使用检测模型和确认模型来判断是否已进行了摄食。
服务器可使用检测模型来检测与医疗保健相关的对象和姿势(以下称为医疗保健相关对象和姿势)。例如，服务器可使用检测模型来检测与测量装置的使用相关的对象和姿势(以下称为测量装置使用对象和姿势)。作为另一示例，服务器可使用检测模型来检测与摄食相关的对象和姿势(以下称为摄食对象和姿势)。
服务器可将视频的图像帧输入到检测模型并检测包含在图像帧中的医疗保健相关对象和姿势。检测模型可输出与医疗保健相关对象和姿势相关的数据。
医疗保健相关对象可包括使用者进行医疗保健行为所使用的各种类型的医疗保健相关对象。例如，测量装置使用对象可包括使用者在使用测量装置期间使用的各种类型的测量装置使用对象。作为具体示例，测量装置使用对象可包括血压计和血糖仪等测量装置。作为另一示例，摄食对象可包括使用者用于摄食的各种类型的摄食对象。作为具体示例，摄食对象可包括勺子、筷子、叉子等餐具。
医疗保健相关姿势可包括各种类型的医疗保健相关姿势，例如使用者针对医疗保健行为的定位。例如，测量装置使用姿势可包括各种类型的测量装置使用姿势，例如使用者在使用测量装置期间的定位。作为具体示例，测量装置使用姿势可包括：拿着测量装置使用对象的姿势，例如拿着测量装置的姿势；使用测量仪器的姿势；以及打开测量装置的姿势。作为另一示例，摄食姿势可包括各种类型的摄食姿势，例如使用者的摄食定位。作为具体示例，摄食姿势可包括拿着食物的姿势和进食的姿势。
检测模型训练数据可包括训练图像帧和包含在训练图像帧中的检测模型标签数据，其中检测模型标签数据与医疗保健相关对象和姿势相关。
服务器可使用检测结果和确认模型来判断是否已进行保健行为。例如，服务器可使用检测结果和确认模型来判断是否已使用测量装置。作为另一示例，服务器可使用检测结果和确认模型来判断是否已进行了摄食。
作为确认模型的输入数据的确认模型输入数据可结合特定类的医疗保健相关对象和姿势是否存在于视频中。或者，确认模型输入数据可结合视频中特定类的医疗保健相关对象和姿势随时间推移的运动。
确认模型的输出数据可以是判断是否已进行医疗保健行为的结果。例如，确认模型的输出数据可以是判断是否已使用测量装置的结果。作为另一示例，确认模型的输出数据可以是判断是否已进行摄食的结果。
确认模型输出的判断是否已进行医疗保健行为的结果可以是指示是否已进行医疗保健行为的指标。也就是说，确认模型的输出数据可以是指示是否已进行医疗保健行为的指标。
训练用确认模型输入数据可包括表示进行医疗保健行为的训练用确认模型输入数据和表示未进行医疗保健行为的训练用确认模型输入数据。
确认模型标签数据可包括指示进行医疗保健行为的标签和指示未进行医疗保健行为的标签。或者，确认模型标签数据可包括：指示估计进行医疗保健行为概率的标签；以及指示估计未进行医疗保健行为概率的标签。
服务器可使用分类模型判断是否已进行医疗保健行为。服务器可定义视频的类别，并使用视频和定义的类别判断是否已进行医疗保健行为。
定义视频的类别可以是指确定与视频对应的医疗保健类型。例如，服务器可通过确定视频对应与不同类型的医疗保健对应的两个或更多个类别中的哪个类别定义视频的类别。在这种情况下，类别的示例包括药物施用类别、血压测量类别、血糖测量类别和摄食类别，但不限于此。
医疗保健相关对象和姿势可具有与其对应的类别。可取决于与医疗保健相关对象和姿势相关的医疗保健类型来确定医疗保健相关对象和姿势的类别。与相同或相似类型的医疗保健相关的医疗保健相关对象和姿势可对应同一类别。与不同类型的医疗保健相关的医疗保健相关对象和姿势可对应不同的类别。例如，医疗保健相关对象和姿势(例如血糖仪以及拿着血糖仪的姿势)可对应与使用血糖仪相关的类别。医疗保健相关对象和姿势(例如血压计以及拿着血压计的姿势)可包含在与使用血压计相关的类别中。医疗保健相关对象和姿势(例如进食器具和拿着食物的姿势)可包含在与摄食相关的类别中。这些类别的医疗保健相关对象和姿势的描述仅为示例，并不限于此。
服务器可针对视频的每个类别使用特定的监控模型来判断是否已进行了医疗保健行为。或者，服务器可针对视频的每个类别使用特定的检测模型和特定的确认模型来判断是否已进行医疗保健行为。
主手视频可以是主手作为主体的医疗保健行为的视频。副手视频可以是副手作为主体的医疗保健行为的视频。
服务器可使用通过使用主手视频和副手视频进行训练的模型判断是否已进行医疗保健行为。
除了使用主手视频和副手视频以外，服务器还可使用经过训练来判断是否已进行医疗保健行为的模型，通过区分进行主手作为主体的医疗保健行为和进行副手作为主体的医疗保健行为来判断是否已进行医疗保健行为。在这种情况下，服务器不判断是否已进行医疗保健行为，作为进行医疗保健行为或未进行医疗保健行为，而是判断是否已进行医疗保健行为，作为进行主手作为主体的医疗保健行为，作为进行副手作为主体的医疗保健行为，或者作为未进行医疗保健行为。
确定药物施用内容的方法可扩展到确定医疗保健内容的方法。在下文中，从确定药物施用内容的方法的上述细节出发，将主要描述扩展到确定医疗保健内容的方法的部分。
服务器可确定医疗保健内容。这里，医疗保健内容是指是否已进行医疗保健行为的内容，广义上，例如，使用者测量的血压或血糖水平是多少，使用者摄食了什么食物，以及使用者摄食的食物量是多少。
服务器可对视频进行分析并获取使用者测量的血压或血糖水平。或者，服务器可接收使用者输入并获取使用者测量的血压或血糖水平。
服务器可对视频进行分析并获取使用者摄食的食物的类型或数量。或者，服务器可接收使用者输入并获取使用者摄食的食物的类型或量。
服务器可管理与医疗保健相关的各种信息。例如，服务器可管理使用者的当前医疗保健状态。作为具体示例，服务器可管理使用者的测量装置使用时间表。作为另一具体示例，服务器可管理使用者的摄食时间表。
根据实施例的方法可被实现为可由各种计算机装置执行的程序指令并且可被记录在计算机可读记录介质上。计算机可读记录介质可单独或组合包括程序指令、数据文件、数据结构等。计算机可读取记录介质上记录的程序指令可以是为本公开而专门设计配置的，也可以是计算机软件领域的技术人员所熟知和可使用的。计算机可读记录介质的示例包括：例如硬盘、软盘和磁带的磁性介质；CD-ROM和DVD等光学介质；磁光介质，例如软盘；以及硬件设备，例如ROM、RAM和闪存，它们的结构特别适合存储和执行程序指令。也可包括它们的组合，但不对其强加限制。程序指令的示例可包括由编译器生成的机械语言代码，以及由计算机使用解释器等可执行的高级语言代码。
已参考其示例性实施例描述了本公开，但不限于此。对于本领域的技术人员来说显而易见的是，可在本公开的精神和范围内对其进行各种改变和修改。因此，应当理解，这样的改变和修改属于所附权利要求的范围。
发明模式
如上所述，在最佳模式中，已描述了相关事项。

Claims (16)

1.一种用于判断是否已施用药物的服务器，所述服务器包括：
收发器，所述收发器接收可穿戴设备录制的视频；
存储器，所述存储器存储检测模型和确认模型，其中所述检测模型被训练为输出每个预设目标是否出现在图像中，所述确认模型被训练为输出是否已施用药物，其中所述预设目标包括与药物或药物容器相关的对象以及与药物施用相关的姿势；以及
一个或多个处理器，所述一个或多个处理器配置为通过将所述视频的图像帧输入到所述检测模型来检测所述预设目标，以及通过将确认模型输入数据输入到所述确认模型来判断是否已施用药物，所述确认模型输入数据是基于所述检测模型的检测结果生成的，
其中所述姿势包括拿着药物容器的姿势或服药的姿势中的至少一种。
2.根据权利要求1所述的服务器，
其中所述检测结果包括多个检测模型输出数据，每个检测模型输出数据对应所述视频的每个图像帧，以及
其中所述一个或多个处理器还配置为通过合成所述多个检测模型输出数据来生成所述确认模型输入数据。
3.根据权利要求2所述的服务器，其中所述确认模型输入数据是通过将多个所述检测模型输出数据排列成相应图像帧的时间信息序列来生成的。
4.根据权利要求1所述的服务器，
其中所述检测模型包括对象检测模型和姿势检测模型，以及
其中所述一个或多个处理器还配置为通过将所述视频的图像帧输入到所述对象检测模型来检测所述对象，以及通过将所述视频的图像帧输入到所述姿势检测模型来检测所述姿势。
5.根据权利要求1所述的服务器，
其中所述检测模型包括用于检测一个或多个第一类型的预设目标的第一检测模型和用于检测一个或多个第二类型的预设目标的第二检测模型，
其中所述存储器存储用于对所述视频的类别进行分类的分类模型，以及
其中所述一个或多个处理器还配置为：
使用所述视频和所述分类模型定义所述视频的类别；
当所述视频的类别被定义为对应所述第一类型的第一类别时，通过将所述视频的图像帧输入到所述第一检测模型来检测所述预设目标；以及
当所述视频的类别被定义为对应所述第二类型的第二类别时，通过将所述视频的图像帧输入到所述第二检测模型来检测所述预设目标。
6.根据权利要求5所述的服务器，
其中所述确认模型包括与所述第一检测模型对应的第一确认模型和与所述第二检测模型对应的第二确认模型，以及
其中所述一个或多个处理器还配置为：
当所述视频的类别被定义为所述第一类别时，通过将所述确认模型输入数据输入到所述第一确认模型来判断是否已施用药物；以及
当所述视频的类别被定义为所述第二类别时，通过将所述确认模型输入数据输入到所述第二确认模型来判断是否已施用药物。
7.根据权利要求1所述的服务器，
其中所述一个或多个处理器还配置为：
估计所述预设目标在所述视频的图像帧中的位置，使得所述检测结果和所述确认模型输入数据反映所述预设目标的位置；以及
考虑所述预设目标的位置来判断是否已施用药物。
8.一种由一个或多个处理器执行的用于判断是否已施用药物的方法，所述方法包括：
接收可穿戴设备录制的视频；
通过将所述视频的图像帧输入到检测模型来检测一个或多个预设目标，其中所述检测模型被训练为输出每个预设目标是否出现在图像中，并且其中所述预设目标包括与药物或药物容器相关的对象以及与药物施用相关的姿势；以及
通过将基于所述检测模型的检测结果生成的确认模型输入数据输入到所述确认模型来判断是否已施用药物，
其中所述姿势包括拿着药物容器的姿势或服药的姿势中的至少一种。
9.根据权利要求8所述的方法，
其中所述检测结果包括多个检测模型输出数据，每个检测模型输出数据对应所述视频的每个图像帧，以及
其中所述方法还包括通过合成所述多个检测模型输出数据来生成所述确认模型输入数据。
10.根据权利要求9所述的方法，其中通过按时间序列排列至少一些所述检测模型输出数据来生成所述确认模型输入数据。
11.根据权利要求8所述的方法，
其中所述检测模型包括对象检测模型和姿势检测模型，以及
其中所述检测包括：
通过将所述视频的图像帧输入到所述对象检测模型来检测所述对象，以及
通过将所述视频的图像帧输入到所述姿势检测模型来检测所述姿势。
12.根据权利要求8所述的方法，
其中所述检测模型包括用于检测一个或多个第一类型的预设目标的第一检测模型和用于检测一个或多个第二类型的预设目标的第二检测模型，
其中所述方法还包括使用所述视频和分类模型来定义所述视频的类别，以及
其中所述检测包括：
当所述视频的类别被定义为对应所述第一类型的第一类别时，通过将所述视频的图像帧输入到所述第一检测模型来检测所述预设目标，以及
当所述视频的类别被定义为对应所述第二类型的第二类别时，通过将所述视频的图像帧输入到所述第二检测模型来检测所述预设目标。
13.根据权利要求12所述的方法，
其中所述确认模型包括与所述第一检测模型对应的第一确认模型和与所述第二检测模型对应的第二确认模型，以及
其中所述判断包括：
当所述视频的类别被定义为所述第一类别时，通过将所述确认模型输入数据输入到所述第一确认模型来判断是否已施用药物，以及
当所述视频的类别被定义为所述第二类别时，通过将所述确认模型输入数据输入到所述第二确认模型来判断是否已施用药物。
14.根据权利要求8所述的方法，
其中所述检测包括估计所述预设目标在所述视频的图像帧中的位置，使得所述检测结果和所述确认模型输入数据反映所述预设目标的位置，以及
其中所述判断包括考虑所述预设目标的位置来判断是否已施用药物。
15.一种由一个或多个处理器执行的用于训练检测模型和确认模型以判断是否已施用药物的方法，所述方法包括：
获得检测模型训练数据，包括训练图像和与所述训练图像对应的检测模型标签，
其中每个检测模型标签都具有药物或药物容器类以及与药物施用相关的姿势类，以及
其中所述检测模型标签包括与所述训练图像中的第一图像对应的第一检测模型标签，以及与所述训练图像中的第二图像对应的第二检测模型标签；
通过将所述训练图像输入到所述检测模型来获得输出数据；
通过比较所述检测模型标签和所述检测模型的输出数据来更新所述检测模型；
获得确认模型训练数据，包括确认模型输入数据和与所述确认模型输入数据对应的确认模型标签，
其中所述确认模型标签包括用于判断是否已施用药物的标签，以及
其中所述确认模型输入数据是基于所述检测模型的输出数据生成的；
通过将所述确认模型输入数据输入到所述确认模型获得输出数据；以及
通过比较所述确认模型标签和所述确认模型的输出数据来更新所述确认模型，
其中所述姿势包括拿着药物容器的姿势或服药的姿势中的至少一种。
16.一种非暂时性计算机可读介质，其存储用于在计算机上执行根据权利要求8所述的方法的程序。
CN202180070830.XA 2020-08-19 2021-08-19 用于判断是否已施用药物的方法及使用该方法的服务器 Pending CN116325021A (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
KR10-2020-0103633 2020-08-19
KR20200103633 2020-08-19
KR10-2020-0146394 2020-11-04
KR20200146394 2020-11-04
KR20210000496 2021-01-04
KR10-2021-0000496 2021-01-04
KR1020210040853A KR102344101B1 (ko) 2020-08-19 2021-03-30 약물 이행 여부를 판단하는 방법 및 이를 이용하는 서버
KR10-2021-0040853 2021-03-30
PCT/KR2021/011033 WO2022039521A1 (en) 2020-08-19 2021-08-19 Method for determining whether medication has been administered and server using same

Publications (1)

Publication Number Publication Date
CN116325021A true CN116325021A (zh) 2023-06-23

Family

ID=79176590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180070830.XA Pending CN116325021A (zh) 2020-08-19 2021-08-19 用于判断是否已施用药物的方法及使用该方法的服务器

Country Status (6)

Country Link
US (6) US11457862B2 (zh)
EP (1) EP4200870A1 (zh)
JP (1) JP2023538600A (zh)
KR (9) KR102344449B1 (zh)
CN (1) CN116325021A (zh)
WO (2) WO2022039521A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6703679B1 (ja) * 2019-02-01 2020-06-03 株式会社計数技研 計数装置、学習器製造装置、計数方法、学習器製造方法、及びプログラム
US20220165381A1 (en) * 2020-11-24 2022-05-26 Electronic Caregiver, Inc. Systems and methods for detecting compliance with a medication regimen
EP4261833A1 (en) * 2022-04-11 2023-10-18 Ypsomed AG Guidance for a drug delivery process
WO2024010259A1 (ko) * 2022-07-08 2024-01-11 삼성전자주식회사 사용자의 상태를 식별하기 위한 웨어러블 장치 및 방법
WO2024117890A1 (ko) * 2022-11-30 2024-06-06 이오플로우㈜ 약액 주입 장치의 약액 주입 결과를 표시하는 방법

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004280376A (ja) 2003-03-14 2004-10-07 Japan Science & Technology Agency 被写体の行動認識方法及び装置
US9907473B2 (en) * 2015-04-03 2018-03-06 Koninklijke Philips N.V. Personal monitoring system
WO2011074744A1 (ko) * 2009-12-18 2011-06-23 주식회사 제윤 환자의 약 복용을 실시간 관리하는 약 복용 관리 시스템 및 약 복용 관리 방법
US9375142B2 (en) * 2012-03-15 2016-06-28 Siemens Aktiengesellschaft Learning patient monitoring and intervention system
JP6096654B2 (ja) 2013-12-27 2017-03-15 レノボ・シンガポール・プライベート・リミテッド 画像の記録方法、電子機器およびコンピュータ・プログラム
KR102135586B1 (ko) 2014-01-24 2020-07-20 엘지전자 주식회사 이동 단말기 및 이의 제어방법
CA2898078C (en) 2014-02-05 2020-09-15 Grace Castillo Soyao Systems, devices, and methods for analyzing and enhancing patient health
JP2015197803A (ja) 2014-04-01 2015-11-09 キヤノン株式会社 行動記録装置、行動記録方法及びプログラム
US9679113B2 (en) * 2014-06-11 2017-06-13 Aic Innovations Group, Inc. Medication adherence monitoring system and method
WO2016002130A1 (ja) 2014-06-30 2016-01-07 パナソニックＩｐマネジメント株式会社 撮影方法、撮影システム、端末装置およびサーバ
KR101661555B1 (ko) 2014-07-14 2016-10-04 넥시스 주식회사 비콘을 이용한 글라스형 웨어러블 디바이스의 카메라 기능 제한방법 및 프로그램
US9390610B2 (en) 2014-07-23 2016-07-12 Ncr Corporation Techniques for determining movement of a device away from a preferred location
WO2016038585A1 (en) * 2014-09-12 2016-03-17 Blacktree Fitness Technologies Inc. Portable devices and methods for measuring nutritional intake
US20160125217A1 (en) 2014-11-05 2016-05-05 Hand Held Products, Inc. Barcode scanning system using wearable device with embedded camera
US10395764B2 (en) * 2015-01-06 2019-08-27 Aic Innovations Group, Inc. Method and apparatus for recognition of patient activity
US10441214B2 (en) 2015-01-29 2019-10-15 Kali Care, Inc. Monitoring adherence to a medication regimen using a sensor
KR102304693B1 (ko) 2015-02-12 2021-09-28 삼성전자주식회사 카메라 시스템의 제어 방법, 전자 장치 및 저장 매체
US10025908B1 (en) 2015-02-25 2018-07-17 Leonardo Y. Orellano Medication adherence systems and methods
KR20160104288A (ko) 2015-02-26 2016-09-05 엘지전자 주식회사 모바일 디바이스와 연동하여 식사 여부를 판단하는 웨어러블 디바이스 및 그 제어 방법
KR102318887B1 (ko) 2015-03-06 2021-10-29 삼성전자주식회사 웨어러블 전자 장치 및 그 제어 방법
KR102304744B1 (ko) 2015-04-07 2021-09-24 엘지전자 주식회사 웨어러블 단말기 및 이와 무선 통신하는 디스플레이 장치
US10319473B2 (en) 2015-04-20 2019-06-11 Kali Care, Inc. Wearable system for healthcare management
KR102101917B1 (ko) 2015-06-03 2020-04-17 누비젠 센서-기반 투약 시스템들
WO2017004505A1 (en) 2015-07-01 2017-01-05 Casey Lewis Methods and systems for medication compliance monitoring and notification
KR102423830B1 (ko) 2015-11-10 2022-07-22 삼성전자주식회사 웨어러블 장치 및 그 제어 방법
KR101765722B1 (ko) 2016-01-12 2017-08-08 소프트온넷(주) 인지형 차량 및 인상착의 객체 및 이벤트 인식, 추적, 검색, 예측을 위한 나레이티브 보고서 작성 시스템 및 방법
JP2017169732A (ja) 2016-03-23 2017-09-28 セイコーエプソン株式会社 情報処理装置、情報処理方法及びプログラム
KR101971695B1 (ko) * 2016-04-01 2019-04-25 한국전자통신연구원 복약 모니터링 장치 및 방법
KR101798890B1 (ko) 2016-07-14 2017-11-17 네이버 주식회사 일상 생활 습관의 행동 요소를 활용한 웨어러블 디바이스 사용자 인증 방법 및 그 시스템
KR101857629B1 (ko) 2016-09-09 2018-05-14 강원대학교산학협력단 웨어러블 혈당매니지먼트 시스템
KR20180028701A (ko) 2016-09-09 2018-03-19 엘지전자 주식회사 휴대용 카메라 및 그 제어방법
EP3321844B1 (en) * 2016-11-14 2021-04-14 Axis AB Action recognition in a video sequence
US10524726B2 (en) 2016-11-17 2020-01-07 Biointellisense, Inc. Medication adherence and/or counterfeit detection wearable electronic device
KR101908336B1 (ko) 2016-12-19 2018-10-16 박진수 웨어러블 디바이스를 활용한 실버세대 생활 모니터링 시스템
KR101986002B1 (ko) * 2017-01-17 2019-06-04 경북대학교 산학협력단 행동-인식 연결 학습 기반 의도 이해 장치, 방법 및 그 방법을 수행하기 위한 기록 매체
WO2019046602A1 (en) * 2017-08-30 2019-03-07 P Tech, Llc ARTIFICIAL INTELLIGENCE AND / OR VIRTUAL REALITY FOR OPTIMIZATION / CUSTOMIZATION OF ACTIVITY
KR102053537B1 (ko) * 2017-12-07 2019-12-10 주식회사 라이너스 복약 관리 방법 및 장치
KR102112757B1 (ko) 2018-04-27 2020-05-20 주식회사 라이너스 환자 관리 방법 및 시스템
JP7098192B2 (ja) 2018-04-30 2022-07-11 インハンドプラス インコーポレーテッド ウェアラブル機器を利用したオブジェクトのイベント感知方法及びそれを運用する管理サーバ
KR101949102B1 (ko) * 2018-10-08 2019-02-18 박기준 복약 보조 시스템 및 이를 이용한 복약 보조 방법
KR20200080047A (ko) * 2018-12-26 2020-07-06 삼성전자주식회사 진정 사용자의 손을 식별하는 방법 및 이를 위한 웨어러블 기기
KR102052558B1 (ko) 2019-04-30 2019-12-06 주식회사 비알네트콤 질환 예측 기반의 사용자 맞춤형 정보 제공 장치 및 그 방법

Also Published As

Publication number Publication date
KR20230153326A (ko) 2023-11-06
WO2022039532A1 (ko) 2022-02-24
KR20230006624A (ko) 2023-01-10
KR20220022887A (ko) 2022-02-28
KR102343525B1 (ko) 2021-12-27
KR20220022886A (ko) 2022-02-28
US20220054081A1 (en) 2022-02-24
KR102344101B1 (ko) 2021-12-29
KR102595326B1 (ko) 2023-10-27
US11832962B2 (en) 2023-12-05
KR102344338B1 (ko) 2021-12-29
US11304656B2 (en) 2022-04-19
US20240050031A1 (en) 2024-02-15
KR102343532B1 (ko) 2021-12-27
WO2022039521A1 (en) 2022-02-24
US11457862B2 (en) 2022-10-04
KR102476665B1 (ko) 2022-12-12
US20230248305A1 (en) 2023-08-10
JP2023538600A (ja) 2023-09-08
US20220058439A1 (en) 2022-02-24
KR102344449B1 (ko) 2021-12-29
US11660048B2 (en) 2023-05-30
US20220192593A1 (en) 2022-06-23
US20220384029A1 (en) 2022-12-01
EP4200870A1 (en) 2023-06-28
US11950922B2 (en) 2024-04-09

Similar Documents

Publication Publication Date Title
KR102344101B1 (ko) 약물 이행 여부를 판단하는 방법 및 이를 이용하는 서버
JP7446295B2 (ja) 身体挙動イベントの自動検出及びこれに対応する薬剤投与システムの調整
Kalantarian et al. A wearable sensor system for medication adherence prediction
US10368810B2 (en) Method and apparatus for monitoring a functional capacity of an individual
US10460438B1 (en) Apparatus and method for recognition of medication administration indicator
US20230343432A1 (en) Intelligent monitoring, interactive, and wireless internet connected medication adherence, analytics, and database solution
US12011259B2 (en) Systems and methods for fall detection
US20160071423A1 (en) Systems and method for monitoring an individual's compliance with a weight loss plan
AU2018335288B2 (en) Apparatus and method for recognition of suspicious activities
CN105120827B (zh) 用于可疑活动辨别的装置和方法
US20180116560A1 (en) Method and apparatus for monitoring body parts of an individual
US11602488B2 (en) Connected pill dispenser
JP2019505897A (ja) ロバストなヘルストラッキングサービス
CN109887568A (zh) 基于医嘱的健康管理系统
US20160357940A1 (en) Systems and Methods for Connected Dispensing and Storage
US11901059B2 (en) System and device for remote monitoring
WO2014052929A1 (en) Health, lifestyle and fitness management system
JP2020058622A (ja) 服薬管理システム，情報端末装置，服薬管理装置，服薬管理方法
CN114616627A (zh) 身体行为事件的自动检测和药物分配系统的对应调整
CN114449945A (zh) 信息处理装置、信息处理系统和信息处理方法
CN110544533A (zh) 依据医嘱进行健康监控的系统
Sharma Detecting periods of eating in everyday life by tracking wrist motion—what is a meal?
KR102596492B1 (ko) 비접촉식 생체정보 측정이 가능한 복약 디스펜서
Bansal et al. Pervasive Health and Remote Care
CN117894488A (zh) 信息处理装置及信息处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination