CN113785558A - 利用摄像头模块和无线通信设备检测事件的可穿戴设备 - Google Patents

利用摄像头模块和无线通信设备检测事件的可穿戴设备 Download PDF

Info

Publication number
CN113785558A
CN113785558A CN202080032873.4A CN202080032873A CN113785558A CN 113785558 A CN113785558 A CN 113785558A CN 202080032873 A CN202080032873 A CN 202080032873A CN 113785558 A CN113785558 A CN 113785558A
Authority
CN
China
Prior art keywords
wearable device
user
camera module
communication module
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080032873.4A
Other languages
English (en)
Other versions
CN113785558B (zh
Inventor
李辉源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Palm Plus Ltd
Original Assignee
Palm Plus Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Palm Plus Ltd filed Critical Palm Plus Ltd
Publication of CN113785558A publication Critical patent/CN113785558A/zh
Application granted granted Critical
Publication of CN113785558B publication Critical patent/CN113785558B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • A—HUMAN NECESSITIES
    • A44—HABERDASHERY; JEWELLERY
    • A44C—PERSONAL ADORNMENTS, e.g. JEWELLERY; COINS
    • A44C5/00—Bracelets; Wrist-watch straps; Fastenings for bracelets or wrist-watch straps
    • A44C5/0007—Bracelets specially adapted for other functions or with means for attaching other articles
    • G—PHYSICS
    • G04—HOROLOGY
    • G04B—MECHANICALLY-DRIVEN CLOCKS OR WATCHES; MECHANICAL PARTS OF CLOCKS OR WATCHES IN GENERAL; TIME PIECES USING THE POSITION OF THE SUN, MOON OR STARS
    • G04B47/00—Time-pieces combined with other articles which do not interfere with the running or the time-keeping of the time-piece
    • G—PHYSICS
    • G04—HOROLOGY
    • G04G—ELECTRONIC TIME-PIECES
    • G04G21/00—Input or output devices integrated in time-pieces
    • G04G21/02—Detectors of external physical values, e.g. temperature
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/3827—Portable transceivers
    • H04B1/385—Transceivers carried on the body, e.g. in helmets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Alarm Systems (AREA)

Abstract

本发明描述了一种通过利用可穿戴设备检测对象事件的方法，以及用于执行该方法的管理服务器。可穿戴设备根据本发明的各种实施例之一是穿戴在用户身体上的可穿戴设备，该可穿戴设备可包括：短程通信模块，用于识别用户身体以及位于预定区域内的对象；摄像头模块，用于拍摄可穿戴设备附近的区域，以生成与对象和用户身体的运动中的至少一者相关的图像或视频；控制单元，用于基于由短程通信模块收集的对象信息来确定是否激活摄像头模块；以及通信模块，用于向管理服务器传输由短程通信模块识别的关于对象的信息和由摄像头模块生成的图像或视频，其中短程通信模块可接收由附接到对象的无线通信设备生成的信号，并且控制单元可以通过分析短程通信模块从无线通信设备接收的信号来确定是否满足特定条件，并且基于该确定情况来确定是否激活摄像头模块。

Description

利用摄像头模块和无线通信设备检测事件的可穿戴设备
技术领域
本发明的各种实施例涉及用于通过使用用户能够穿戴的可穿戴设备中包括的无线通信技术和摄像头模块来更容易地检测对象的事件的技术。
背景技术
在日常生活中，用户在不知不觉中从事许多身体活动。特别地，这样的身体活动伴随着移动特定对象的许多事件，但是用户不容易记住在用户的习惯模式中无意识地发生的每个事件。
有时，伴随着对象的这种移动的用户的身体活动被确定为多个领域中的重要事件。例如，在医疗保健等领域，用户什么时候吃药、吃什么药、吃多少药可能是重要的因素。对于特定的疾病，没有遗漏吃药可能是一个非常重要的治疗问题。
问题在于，当这些重要事件被省略时，用户在日常生活中往往意识不到这一点。即使较晚确认遗漏，因未能按时履行事项而造成的损失或风险也不能被追溯。
近来，已经提供了使用摄像头来分析用户的活动的技术，但是在大多数情况下都使用固定安装的摄像头并且难以将该技术应用到日常生活中。
发明内容
技术问题
本公开的各个实施例旨在通过可穿戴设备及其配置在日常生活中通过相对简单地识别特定对象来确定预定事件是否发生，并通过记录事件发生的时间来提供各种服务。
本公开所要解决的技术问题不限于上述技术问题，本领域技术人员从以下描述中将更清楚未提及的其他技术问题。
技术方案
根据本公开的各种实施例中的一个实施例，提供了一种可穿戴在用户身体上的可穿戴设备，该可穿戴设备包括：短程通信模块，识别位于距用户身体预定区域内的对象；摄像头模块，对可穿戴设备附近的区域进行拍摄并生成与用户身体、对象或这两者的移动相关的图像或视频；控制单元，基于由短程通信模块收集的对象信息来确定是否激活摄像头模块；以及通信模块，向管理服务器发送由短程通信模块识别的关于对象的信息和由摄像头模块生成的图像或视频，其中短程通信模块从附接在对象处的无线通信设备接收生成的信号，并且控制单元通过分析由短程通信模块从无线通信设备接收到的信号来确定是否满足特定条件，并且相应地确定是否激活摄像头模块。
可穿戴设备可以是可穿戴在用户手腕上的智能手表或智能手环，摄像头模块可以被嵌入到智能手表的表带的一部分或智能手环的一部分中，并且摄像头模块的至少一部分可以通过智能手表的表带或智能表带的侧表面暴露。
无线通信设备通常可以在睡眠模式下运行，并且可以在满足特定条件时被激活并且可以传输无线信号。
无线通信设备可以在激活状态下连续发送无线信号，并且可以使得在满足特定条件时发送的无线信号包括与满足特定条件有关的信息。
控制单元通过分析由短程通信模块从无线通信设备接收到的信号来确定是否满足特定条件可以基于选自短程通信模块识别对象时的信号强度、照度传感器的测量值和运动传感器的测量值中的至少一个来执行。
控制单元可以执行控制使得短程通信模块仅在任何预设时间段内运行。
在通信模块无法访问通信网络的情况下，通信模块可以临时存储检测到的无线信号信息和由摄像头模块生成的图像或视频，并在稍后可以访问通信网络时将临时存储的信息和图像或视频传输到管理服务器。
控制单元可以从多个参考图像或视频中设置与特定对象或动作相关的特征值，并且可以基于设置的特征值通过从摄像头模块生成的图像或视频提取的特征值来计算特定对象的捕获概率或特定动作的发生概率。
根据本公开的各种实施例中的一个实施例，提供了一种管理服务器，起通过与可穿戴在用户身体上的可穿戴设备的通信获取信息并管理获取的信息，该管理服务器包括：通信单元，接收对象上的由可穿戴设备的短程通信模块自动收集的信息并且接收由可穿戴设备生成的图像或视频；以及动作确定单元，基于对象上的信息、使用机器学习或人工智能来确定图像或视频中是否检测到与对象或用户身体相关的预设动作。
在确定在图像或视频中是否检测到与对象或用户身体相关的预设动作时，管理服务器的动作确定单元可以从多个参考图像或视频设置与特定对象或动作相关的特征值，并且可以基于从图像或视频提取的特征值计算特定对象的捕获概率或特定动作的发生概率。
有益效果
根据本公开的实施例，由于可穿戴设备记录了特定事件是否发生以及发生的时间，可以提供用于检测诸如医疗保健的用户在日常领域中容易被遗漏事件的更有效的引导系统，并且可以实现能够通过学习用户模式来进行数据分析的系统。
可以从本公开获得的效果不仅限于上述效果。此外，从以下描述中，本领域技术人员将更清楚在此没有描述的其他效果。
附图说明
图1是示出了根据本公开的一个实施例的事件检测系统的原理图；
图2是示出了根据本公开的一个实施例的可穿戴设备的框图；
图3是示出了根据本公开的一个实施例的管理服务器的框图；
图4是示出了由根据本公开的一个实施例的可穿戴设备检测对象并生成图像或视频的运行流程图；
图5是示出了根据本公开的一个实施例的管理服务器管理从可穿戴设备接收的信息并最终确定是否发生特定事件的运行流程图；
图6是示出了通过根据本公开的另一个实施例的可穿戴设备检测对象的事件的运行流程图；
图7是示出了通过根据本公开的另一个实施例的可穿戴设备检测对象的事件的运行流程图；
图8是示出了根据本公开的一个实施例的可穿戴设备的结构的图；
图9至图11示出了以智能手表的形式提供的根据本公开的一个实施例的可穿戴设备。
具体实施方式
在此使用的术语用于描述实施例，但不限制本公开。在本说明书中，除非特别提及，单数形式包括复数形式。在此使用的术语“包括”和/或“包括的”指定所述元素的存在，但不排除一种或多种其他元素的存在或添加。在附图中，相同的附图标记指代相同的元件。术语“和/或”包括一个或多个相关所列元素的所有组合。将进一步理解的是，术语第一、第二等可用于描述各种元件，但这些元件不受这些术语的限制。这些术语仅用于将一个元素与另一个元素区分开。例如，在不脱离本公开的技术范围的情况下，下面讨论的第一元件可以被称为第二元件。
本文献中所称的“事件”一词可以指将对象位于特定区域或将其移动的动作，该对象与用户的身体有关。例如，事件可以包括吃药或进食的行为，但不限于此。
图1是示出了根据本公开的一个实施例的事件检测系统10的原理图。事件检测系统10使可穿戴设备200执行识别从附接在对象处的无线通信设备100传输的信号的功能，在对象被拍摄时检测是否发生了预定的有效事件，并记录时间信息。
根据一个实施例，事件检测系统10可以包括无线通信设备100、可穿戴设备200、管理服务器300和用户终端400。
无线通信设备100附接在对象处或位于对象附近的区域中并且被可穿戴设备200识别，从而确保可穿戴设备200识别对象。例如，无线通信设备100可以包括蜂窝通信模块、短程无线通信模块和全球导航卫星系统(GNSS)通信模块。短程无线通信模块的示例包括信标、蓝牙、WiFi直连(Wi-Fi Direct)、ZigBee、射频(RF)模块和近场通信(NFC)，但不限于此。
根据一个实施例，无线通信设备100可以传输无线信号(例如，蓝牙信号)，并且可以仅在特定情况下传输信号，使得无线通信设备的电池的功耗降低。
根据各种实施例，无线通信设备100可以在睡眠模式下运行，并且可以在满足特定条件时被激活并且可以传输无线信号。在这种情况下，特定条件可以是照度传感器的测量值或运动传感器的测量值中的至少一个达到特定值的条件、或者每个测量值的变化率或计算值达到特定值的条件。因此，可以防止电池电力被不必要地消耗。
根据另一个实施例，无线通信设备100可以实时传输无线信号，并且当满足特定条件的事件发生时，无线通信设备100可以传输包括指示满足特定条件的信息的无线信号。同样在这种情况下，特定条件可以与照度传感器的测量值或运动传感器的测量值中的至少一个相关。如上所述，在无线通信设备100在睡眠模式中不运行而是一直运行并实时传输无线信号的情况下，不再需要无线通信设备100发生特定条件时从睡眠模式激活所需的时间。由于无线通信设备100总是以无线方式与可穿戴设备200进行通信，因此可减少可穿戴设备200的摄像头模块在特定情况发生时作出反应所花费的时间。
无线通信设备100可以包括各种传感器模块中的至少一种，例如各种GPS传感器、手势传感器、陀螺仪传感器、9轴传感器、照度传感器和运动传感器。例如，无线通信设备100可以包括选自信标、短程无线通信设备和长距离无线通信设备的组的至少一个。无线通信设备100的其中一种运行方法是利用9轴传感器来检测无线通信设备100所附接的对象的移动并相应地生成无线信号。根据一个实施例的9轴传感器可以由用于三轴的加速度传感器、用于三轴的陀螺仪传感器和用于三轴的地磁传感器组成，并且传感器附接的对象的运动可以被相应地测量。无线通信设备100附接在对象上，通过上述传感器检测对象的移动，并且仅在满足特定条件时生成无线通信设备信号。如上所述，当特定条件发生时，无线通信设备100从睡眠状态被激活并传输无线信号。可替换地，已经实时传输无线信号的无线通信设备100传输另外包括指示特定条件已经发生的信息的无线信号。
在本公开的一个实施例中，当无线信号被可穿戴设备200的短程通信模块识别时，可穿戴设备200可以基于通过无线通信设备100收集的无线信号信息来确定是否激活摄像头模块。具体地，当可穿戴设备200接收到指示特定条件已经发生的无线信号信息时，可以激活摄像头模块。
可穿戴设备200可以是可穿戴在用户身体的至少一部分(例如，手腕)上的电子设备，并且可以被实现为例如智能手表、智能眼镜或智能头盔，但不限于此。在本公开的一个实施例中，可穿戴设备200通过短程通信模块、摄像头模块或传感器模块识别对象、拍摄与可穿戴设备200相邻的区域以及将拍摄的结果传输到管理服务器300。稍后将参考图2描述可穿戴设备200的详细配置。
根据本公开的一个实施例，可穿戴设备200可以被提供为可穿戴在用户手腕上的智能手表。在这种情况下，可穿戴设备200中包括的摄像头模块或传感器模块可以位于连接到智能手表的外壳的带子上。例如，在智能手表的外壳将被定位在连接到手背的手腕部分上的情况下，摄像头模块或传感器模块可以被提供在位于连接到手掌的手腕部分上。通过这样的配置，可穿戴设备200可以通过摄像头模块或传感器模块检测或拍摄在用户手掌侧执行的动作或事件，并且可以检测或拍摄位于用户手掌附近或由用户手拿着的对象。
可穿戴设备200中包括的摄像头模块可以以集成方式形成在智能手表的表带中。稍后将描述其详细配置。
管理服务器300通过网络连接到用户的可穿戴设备200、接收由可穿戴设备200收集的信息、以及通过分析接收到的信息来确定是否发生了特定事件。此外，管理服务器300可以通过网络向用户终端400提供收集到或处理的信息。管理服务器300可以包括关于硬件、例如具有至少一个处理器的控制单元、通信模块和存储单元(例如，存储器)的信息，或关于用于算法运行的软件的信息。
用户终端400连接到可穿戴设备200并执行诸如创建可穿戴设备200的初始设置值和改变设置值的作用。可以根据用户在用户终端400上执行的操纵来实现这样的运行。用户可以通过用户终端400访问管理服务器300、可以识别从由用户管理的可穿戴设备200传输到管理服务器300的信息、并且还可以使用向其传输的信息来识别由管理服务器300处理的信息。
根据本公开的一个实施例，用户终端400的示例包括所有类型的手持无线通信设备，例如移动电话、智能手机、个人数字助理(PDA)、便携式多媒体播放器(PMP)、以及能够通过网络连接到网络服务器的平板电脑。用户终端400可以是数字设备之一，例如个人计算机(例如，台式计算机和笔记本电脑)、工作站、个人数字助理(PDA)和网络平板，其具有存储装置并配备有用于计算的微处理器能力。
外部服务器可以是通过网络传输和接收管理服务器300所需的信息(例如，无线信号的识别信息、以及与无线信号对应的对象的图像信息)的设备或程序。
图2是示出了根据本公开的一个实施例的可穿戴设备200的框图。可穿戴设备200可以包括通信模块210、控制单元220、无线信号接收单元221、对象识别单元223、事件检测单元225、存储单元230和摄像头模块240。
可穿戴设备200的通信模块210执行接收从无线通信设备100生成的无线信号的功能、以及通过与管理服务器300、用户终端400或外部服务器通信来传输和接收可穿戴设备200的运行所需的信息的功能。通信模块210可以实现为短程通信模块，例如蓝牙、ZigBee、红外通信模块、NFC、RF模块、二维码模块或Wi-Fi模块，或者可以实现为远程形式，如网络通信模块和基站通信模块。
控制单元220可以执行控制整体运行的数据处理功能，例如控制对可穿戴设备200的供电、控制可穿戴设备200的内部组件之间的信号流以及处理数据。控制单元220可以包括至少一个处理器或微处理器MCU。
控制单元220可以确定是否激活摄像头模块240并且可以相应地控制摄像头模块240的运行。此外，控制单元220可以控制短程通信模块的运行。根据一个实施例，控制单元220可执行控制使得短程通信模块仅在任何预设时间段内运行。
根据一个实施例，控制单元220可以以包括稍后描述的管理服务器300的所有功能的形式来实现。在这种情况下，可穿戴设备200的控制单元220自身执行管理服务器300的功能，因此能够在没有管理服务器300的情况下进行运行。
无线信号接收单元221可以收集从附接在对象处的无线通信设备100生成的信号。无线信号接收单元221的无线信号收集方法可以类似于上述通信模块210的通信方法。此外，无线信号接收单元221的至少一些组成部分可以被包括在通信模块210中。
存储单元230可以在其中存储从控制单元220、无线通信设备100、可穿戴设备200、管理服务器300、用户终端400或事件检测系统10的其他元件接收或生成的数据。存储单元230的示例可以包括存储器，高速缓存和缓冲器，并且存储单元230可以由软件、固件、硬件、或其中至少两个的组合组成。
摄像头模块240拍摄可穿戴设备200附近的区域并生成与用户身体或对象或与这两者的运动都相关的图像或视频。摄像头模块240可以包括2D或3D摄像头设备，并且可以包括用于旋转或移动摄像头的镜头的驱动装置(例如，致动器)。
根据一个实施例，当可穿戴设备200通过通信模块210识别对象时，摄像头模块240被激活，或者当通过可穿戴设备200的传感器模块检测到用户的特定行为时摄像头模块240被激活、或者从接收自无线通信设备100的信号获取的信息指示出特定满足特定条件时摄像头模块240被激活。然而，不限于此，并且可以通过其他特定条件(例如，用户选择激活功能)来激活摄像头模块240。在可穿戴设备200检测用户的特定行为的过程中，可穿戴设备200可以在短程通信模块识别到对象时检测信号强度。以可穿戴设备200使用无线通信设备100生成的信号识别对象的情况为例，信号强度可以根据可穿戴设备200和无线通信设备100之间的距离而变化，从而可基于信号强度计算可穿戴设备200和对象之间的距离。信号强度可以通过接收信号强度指示器RSSI计算。
为此，尽管图2中未示出，可穿戴设备200还可以包括能够识别如上所述的用户的特定行为的传感器模块。传感器模块可以包括至少一个传感器，其能够测量物理量或检测可穿戴设备200的运行状态，并将测量或检测到的信息转换为电信号。传感器模块可以包括例如选自GPS传感器、手势传感器、陀螺仪传感器、气压传感器、磁传感器、加速度传感器、接近传感器、生物识别传感器(例如虹膜传感器、指纹传感器)、红外传感器、紫外线传感器、9轴传感器和照度传感器的组。
在上述图2中，在可穿戴设备200中执行各个角色的主体使用词语“单元”或“模块”来表示，但是各个部分可以是可穿戴设备200中运行的子程序模块或控制单元220的功能分类的成分。这些程序模块是一个概念，包括执行相应运行或执行特定抽象数据类型的例程、子例程、程序、对象、组件和数据结构，但不强加对其进行限制。
图3是示出了根据本公开的一个实施例的管理服务器300的框图。管理服务器300可以包括通信单元310、控制单元320、动作确定单元330、事件发生确定单元340和存储单元350。
管理服务器300的通信单元310通过与可穿戴设备200、用户终端400或外部服务器通信来执行传输和接收管理服务器300的运行所需的信息的功能。
通信单元310可以通过短程通信模块从可穿戴设备200接收关于由可穿戴设备200收集的对象上的信息，以及接收通过摄像头模块240生成的图像或视频。
此外，通信单元310可以向用户终端400发送由事件发生确定单元340确定的关于事件是否发生的信息。
根据本公开的一个实施例，通信单元310可以通过管理服务器300和可穿戴设备200之间的实时通信来控制可穿戴设备200的运行。
控制单元320可执行控制整体运行的数据处理功能，例如控制对管理服务器300的供电、控制可穿戴设备200的内部组件之间的信号流以及处理数据。控制单元320可以包括至少一个处理器或MCU。
动作确定单元330可基于通信单元310接收的对象信息和图像或视频来确定是否检测到预设动作。具体地，动作确定单元330可基于对象信息来确定是否检测到与对象或用户身体相关的预设动作，并且可以基于机器学习或人工智能进行这样的确定。
动作确定单元330可提取与从可穿戴设备200接收的图像或视频中的预设对象或动作相关的特征值，并且可针对多个对象或动作执行特征值的提取。
所述动作确定单元330可以从预先提供的多个图像或视频针对特定对象或动作设定特征值，并可以基于此从可穿戴设备200接收的图像或视频中提取特征值。之后，动作确定单元330可基于提取的特征值计算特定对象的捕捉概率或特定动作的发生概率。
根据本公开的一个实施例，可以针对各个对象不同地设置与特定对象或用户的身体相关的预设动作。例如，当识别到第一对象时，第一动作和第二动作可以是与用户身体相关的预设动作。当识别到第二对象时，第三动作和第四动作可以是与用户身体相关的预设动作。
根据本公开的一个实施例，在本公开中，通过无线信号识别的对象可以是与药物相关的对象，并且预设动作可以是与药物或服药行为相关的情况。例如，通过从无线通信设备100生成的信号识别的对象可以是包含药物的容器。在这种情况下，预设动作可以包括药物的暴露、容器被打开的情况、药物被握在用户手中的情况以及药物接近用户的嘴的情况。
事件发生确定单元340可执行确定特定事件是否已经发生的功能。在基于使用特征值计算的概率来确定是否发生了特定事件时，事件发生确定单元340可以通过合成为由动作确定单元330检测到的各个预设动作设置的权重来确定是否发生了特定事件。
例如，当动作确定单元330确定检测到作为针对识别的特定对象的预设动作的第一动作、第二动作和第三动作时，事件发生确定单元340通过应用分别预设到第一动作、第二动作和第三动作的权重值进行最终计算来确定是否发生特定事件。
存储单元350可以在其中存储从控制单元320、可穿戴设备200、用户终端400或事件检测系统10的其他元件接收或生成的数据。存储单元350的示例可以包括存储器、高速缓存、以及缓冲器，存储单元230可以由软件、固件、硬件或其中至少两者的组合构成。
存储单元350可以在其中存储动作确定单元330使用的机器学习或人工智能的相关数据，并且还可以在其中存储与是否发生特定事件相关的数据，其中该数据是由事件发生确定单元340生成的。另外，存储单元350在其中存储关于可穿戴设备200和用户终端400的信息，并且可以在其中存储关于特定可穿戴设备200与哪个用户终端400相关联的信息。
根据一个实施例，存储单元350并不是嵌入在管理服务器300中的存储单元，而是可以用在线服务器(例如，云服务器)代替。在这种情况下，管理服务器300可以在在线服务器上存储各种类型的信息以供使用。
下文中参考图4和图5，当可穿戴设备200通过图1和图2中的相同配置通过摄像头模块检测对象并生成图像或视频时，通过从管理服务器300接收信息来确定事件是否发生。可以省略图4和图5中示出的至少一些步骤或可以改变他们的顺序。
图4是示出了由根据本公开的一个实施例的可穿戴设备200检测对象并生成图像或视频的运行的流程图。
当用户接近对象时，可穿戴设备200在步骤S410接收从无线通信设备100产生的无线信号。可穿戴设备200接收的无线信号可以包括关于特定条件的信息(例如，照度传感器的测量值和运动传感器的测量值)。
之后，在步骤S420，可穿戴设备200的控制单元220可以基于包括在接收到的无线信号中的信息来确定是否激活摄像头模块240。例如，控制单元220可以基于从无线通信设备100生成的无线信号被收集的时间、照度传感器的测量值、运动传感器的测量值和RSSI值来确定是否激活摄像头模块240。
当控制单元220确定不激活摄像头模块240时，可穿戴设备200返回到执行无线信号识别或特定行为检测的状态。
相反，在步骤S430，当控制单元220确定激活摄像头模块240时，控制单元220激活摄像头模块240，从而通过拍摄生成图像或视频。
之后，在步骤S440，控制单元220可以确定是否已经经过了预定时间。在步骤S450，当已经经过了预定时间时，控制单元220执行控制使得摄像头模块240进入非激活状态。根据本公开的一个实施例，可以从摄像头模块240被激活的时间开始测量预定时间。在摄像头模块240被激活的情况下，当可穿戴设备200额外识别无线信号或检测到用户的特定行为时，被测量的时间被重置并且摄像头模块240被激活的时间被延长。
在步骤S460，在摄像头模块240非激活之后，可穿戴设备200可以将摄像头模块240生成的图像或视频传输到管理服务器300。此外，在将摄像头模块240生成的图像或视频传输至管理服务器300的过程中，在生成的图像或视频传输到管理服务器300的条件下，可穿戴设备200还可以传输信息(例如，照度传感器的测量值、运动传感器的测量值和RSSI值等)。
根据本公开的一个实施例，在可穿戴设备200无法接入通信网络的情况下，收集到的关于对象的信息、检测到的无线信号信息(特定条件满足信息和传感器信息)，以及由摄像头模块240生成的图像或视频可以暂时存储在可穿戴设备200的存储单元230中。当可穿戴设备200稍后连接到无线通信网络时，上面列出的各种类型的数据被传输到管理服务器300。
图5是示出了根据本公开的一个实施例的管理服务器300管理从可穿戴设备200接收的信息并最终确定是否发生特定事件的运行的流程图。类似图的内容，图5中所示的至少一些步骤可以省略或其顺序可以改变。
在图4的步骤S460，当可穿戴设备200传输对象信息、用户的特定行为以及与其相关联地生成的图像或视频时，在步骤S510，管理服务器300接收对象信息、用户的特定行为以及图像或视频。
之后，在步骤S520，管理服务器300可以从接收到的图像或视频中提取与预设对象或动作相关的特征值。可以针对多个对象或动作执行特征值的提取，并且管理服务器300可以基于人工智能技术对对象或动作执行特征值的提取。根据一个实施例，随着管理服务器300基于深度学习技术进行数据分析，可以自动进行数据中特征值的提取，并且与特征值提取相关的能力不断提高。
在步骤S530，管理服务器300可以通过合成作为步骤S520的结果导出的特征值来计算特定动作的发生概率或特定对象的捕获概率。当基于此确定特定动作已经发生或者特定对象已经被捕获时，因此在步骤S540管理服务器300确定特定事件是否已经发生。在步骤S560，当管理服务器300确定发生了特定事件时，管理服务器300将关于发生的事件的信息传输到用户终端400。
下文中，通过如图1和图2所示的配置来执行参考图6和图7详细描述的管理服务器300检测对象的事件的运行。在参考图6和图7描述的实施例中，描述了由管理服务器300执行动作和事件的检测和确定，但是在本公开的另一实施例中，动作和事件的检测和确定可以由可穿戴设备200执行而不是管理服务器300。
图6和7中示出的至少一些步骤可以省略或其顺序可以改变。
图6是示出了由根据本公开的一个实施例的管理服务器300检测对象的事件的运行的流程图。
当用户接近对象时，在步骤S610，可穿戴设备200识别无线信号并且通过可穿戴设备200的摄像头模块240收集对象的视频图像。步骤S610可以由可穿戴设备200执行而不是管理服务器300。
例如，当无线通信设备100附接在特定的药品包装纸上并且用户拿着药品包装纸而可穿戴设备200佩戴在用户的手腕上时，根据药品包装纸的移动从附在该药品包装纸上的无线通信设备100生成信号，并且可穿戴设备200的通信模块扫描该无线信号，从而识别对象“药品”。因此，可穿戴设备200的摄像头模块240可被激活并收集周围的视频图像。可穿戴设备200的摄像头模块240采集的视频图像可以包括药物暴露、药物容器打开、用户手中拿着药物的情况以及药物接近用户的嘴的情况的视频。可穿戴设备200的摄像头模块240可以拍摄多个视频图像，并且可以在预定时间期间以任何时间间隔执行视频图像的拍摄。
当如上所述由可穿戴设备200的摄像头模块240生成多个视频图像时，在步骤S620，管理服务器300从可穿戴设备200接收并收集视频图像。
接下来，在步骤S630，管理服务器300可以通过本地存储单元350或在线云服务器识别与扫描对象(例如，药品)对应的内容(例如，药品的图像)，可以通过人工智能技术比较识别的内容和通过拍照或拍摄采集到的图像，并且可以确定收集到的视频图像是否与特定行为、例如服药行为相关或是否与包括特定药物的容器相关的概率等于或大于参考值。
根据一个实施例，可以通过使用图像相似性确定技术的第一确定算法来执行步骤S630的确定运行。例如，控制单元320可以划分通过拍摄收集的视频和通过扫描识别的视频的诸如颜色和纹理的区域，并且可以通过基于位置信息和颜色表或对象相似度的匹配操作确定图像相似度。第一确定算法的示例可以包括各种图像相似度确定技术，并且不限于特定技术。另外，第一确定算法可以应用人工智能技术。也就是说，管理服务器300可以利用人工智能技术进行图像相似度确定，因此，第一确定算法可以通过机器学习这样的深度学习来推导出和开发。
此外，确定匹配的方法可以确定通过相似度运算导出的相似度数值是否等于或大于预定阈值。相似度数值可以在图像相似度确定过程中导出。在步骤S640，当相似度数值等于或大于预定阈值时，控制单元320确定获取的图像与根据无线信号的接收识别的图像匹配，并将此时的时间信息记录为第一时间信息。这种图像匹配可以通过对由拍摄产生的多个图像的分析来执行。控制单元320可以通过多个视频图像计算特定事件已经发生的概率。步骤S640的第一时间信息可以是确定特定对象是否为用于监测事件发生的对象的时间信息。
对于本公开的管理服务器300进行的基于相似度确定的图像匹配，可以通过人工智能技术进行全面分析和匹配，而不是对特定事件或图像进行一对一形式的匹配。例如，在确定对象为药瓶的过程中，管理服务器300为作为药瓶的对象捕获多个参考图像的共同点、设置特征值、并计算通过可穿戴设备200采集的图像具有的与特征值的关系的相似度，从而进行相似度确定。
根据一个实施例，第一时间信息可以例如用作用于事件发生的数据分析的元数据，并且可以用作用于分析用户模式的信息。作为一个非限制性示例，当第一时间信息和稍后将描述的第二时间信息之间的时间差等于或大于预定值时，根据情况来确定第二时间信息为错误数据。这是因为，例如，当用户触摸了药物，但是当在数小时后识别出药物被送入口中时，确定所识别的药物被服用可能是错误的。然而，可以省略第一时间信息的记录。
此外，控制单元320可以计算相似度数值作为第一确定算法的概率信息。第一确定算法的概率信息可用于通过概率确定有效事件来确保累积数据的可靠性，这将在后面描述。
同时，当不满足步骤S630处的匹配时，图3的运行结束，或在空闲状态等待以识别从附接在新对象处的无线通信设备产生的信号。
接下来，在步骤S650，控制单元320可以另外收集对象的视频并且可以确定所收集的视频是否满足事件条件。根据一个实施例，事件条件可以是用于识别是否检测到与用户的身体相对于对象的预设动作有关的条件。例如，控制单元320可以识别用户取出的药物是否进入作为用户身体的一部分的口中。可以通过应用基于机器学习或算法的第二确定算法来导出识别运行。例如，控制单元320可以应用使用已知的人工智能技术的图像分析技术，并可以将从采集到的图像中提取的特征值与从其他图像中提取的特征值进行比较，从而计算“吃药”行为已执行的概率。后者的图像可以是作为图像分析参考的图像，并且可以由管理图像或非管理图像组成。
利用人工智能的第一确定算法和第二确定算法都可以随着图像的累积和确定结果的相应更新而具有提高的确定准确度和速度。
当收集的视频满足事件条件时，在步骤S660，控制单元320记录收集视频的时间作为第二时间信息。例如，控制单元320可以将药物进入用户口中的时间或其预定误差范围内的时间记录为第二时间信息。第二时间信息可以使用对象的事件发生的时间立即确定，也可以在确定是否满足特定条件并识别有效事件后确定。有效事件可以是指由用户在对象处发生的事件中任意选择以记录时间信息的事件。
此外，控制单元320可以将通过第二确定算法检测到的与用户的身体有关的预设动作导出为数值，并且可以将结果值计算为第二确定算法的概率信息。类似于上述第一确定算法的概率信息，第二确定算法的概率信息也可以用于概率确定对象处发生的事件是否为有效事件。
接下来，在步骤S670，控制单元320可以最终基于概率信息确定有效事件。具体地，当第一确定算法的概率信息和第二确定算法的概率信息之和等于或大于预定值时，控制单元320可以确定有效事件已经发生，并且可以使用有效事件发生的时间来确定第二时间信息。例如，控制单元320将对象是否为检测目标对象(例如，药品)转换为数值、将对象处是否发生预定事件(例如，接近嘴巴的行为)转换为数值，并且当数值之和等于或大于预定值时，将该事件确定为有效事件。
在这种情况下，控制单元320可以为第二确定算法的概率信息分配比第一确定算法的确定信息更高的权重。这是因为在事件发生条件下，对象发生了什么运动实际上可能是比是否有对象更重要的因素，并且识别物体的过程可能涉及是否满足事件条件的识别过程。然而，可以省略步骤S670，因此可以简单地利用有效事件发生的时间来确定第二时间信息。
图7是示出了由根据本公开的另一个实施例的管理服务器300检测对象的事件的运行的流程图。图7中与图6相同的内容被省略或简化。类似于图6的内容，图7中示出的至少一些步骤可以被省略或其顺序可改变。
在图7中，可穿戴设备200的摄像头模块240在识别出用户的特定行为的情况下被激活，而不是在如上描述的根据一些实施例的图6的步骤S610中。为此，管理服务器300的控制单元320可以在步骤S710通过可穿戴设备200的传感器模块、摄像头模块240或通信模块210检测用户的特定行为。用户的特定行为包括用户身体的独特运动。例如，当用户进食时，检测到用佩戴可穿戴设备200的手将食物带到嘴中的动作。在这种情况下，管理服务器300的控制单元320可以被设置为当通过传感器模块收集到与预定的用于识别用户的特定行为的值相对应的传感器值时、或者当收集到的传感器值被分析并且分析的结果对应于特定的模式时识别特定行为，但不强加限制。
当如上所述检测到用户的特定行为时，在步骤S720，管理服务器300的控制单元320激活可穿戴设备200的摄像头模块240以采集视频图像，并从可穿戴设备200接收视频图像。之后，与图6的内容相同或相似的，管理服务器300可以在步骤S730执行与特定行为或对象相关的概率值确定操作、可以在步骤S740执行事件条件满足操作、并且可以在步骤S750记录时间信息。类似于图6，时间信息被划分为第一时间和第二时间信息以及基于概率信息确定有效事件的功能在图7中可以省略。可替代地，参考图6描述的内容可以以相同的方式来执行。
参考图6和图7描述为由管理服务器300执行的步骤可以由可穿戴设备200执行。在这种情况下，可穿戴设备200可以自身实现管理服务器300的功能，包括管理服务器300的所有上述功能。
通过以上参考图1至图7描述的实施例，由于可穿戴设备200记录了特定事件是否已经发生以及发生的时间，所以可以提供用于检测在诸如医疗保健的领域中容易被遗漏的用户事件的更有效的引导系统，并且可以实现能够通过学习用户模式来执行数据分析的系统。
图8是示出了根据本公开的一个实施例的可穿戴设备200的结构的图。
参考图8的(a)，可穿戴设备200可以被提供为可穿戴在用户手腕上的智能手表。包括在可穿戴设备200中的摄像头模块240可以以集成的方式包括在智能手表的表带中。
在摄像头模块240被包括在智能手表的表带中的情况下，摄像头模块240的需要暴露于表带外部的镜头部分可以位于表带的侧表面上。由于摄像头模块240的镜头部分暴露在智能手表表带的侧表面上，因此当用户佩戴智能手表时，摄像头模块240拍摄的区域设置在手掌侧方向。
参考图8的(b)，可穿戴设备200可以被提供为可穿戴在用户手腕上的智能手表。包括在可穿戴设备200中的摄像头模块240可以被包括在形成为靠近智能手表的表带的特定外壳中。即使在这种情况下，摄像头模块240的位置也可以被确定为使得当用户佩戴智能手表时由摄像头模块240拍摄的区域被设置在手掌侧方向。
图9至图11示出了以智能手表的形式提供根据本公开的一个实施例的可穿戴设备200的情况。
参考图9至图11，智能手表中的摄像头模块240可以形成为包括在智能手表的表带中。
图9的(a)和(b)分别示出了智能手表的立体图和正视图。图10的(a)、(b)和(c)分别示出了智能手表的后视图、俯视图和仰视图。图11的(a)和(b)分别示出了智能手表的左视图和右视图。
本公开中公开的可穿戴设备200可以以如图所示的智能手表的形式提供，或者可以以包括摄像头模块的智能手环的形式提供。
结合本发明的实施例描述的方法或算法的步骤可以直接通过硬件、由硬件执行的软件模块或者其组合来实现。软件模块可以驻留在随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存、硬盘、可移动磁盘、CD-ROM，或本公开所属领域中众所周知的任何其他类型的计算机可读记录介质。
尽管已经参照附图描述了本公开的多个实施例，但是本领域技术人员将理解，在不改变本公开的技术理念或本质特征的情况下，本公开可以以其他具体形式实施。本公开。因此，应当理解，上述实施例在所有方面都是示例性的，而不是限制性的。

Claims (10)

1.一种能够穿戴在用户身体上的可穿戴设备，所述可穿戴设备包括：
短程通信模块，所述短程通信模块识别位于距离用户身体预定区域内的对象；
摄像头模块，所述摄像头模块对可穿戴设备附近的区域进行拍摄并生成与用户身体、对象或这两者的运动都相关的图像或视频；
控制单元，所述控制单元基于由短程通信模块收集的对象信息来确定是否激活摄像头模块；以及
通信模块，所述通信模块向管理服务器传输由短程通信模块识别的关于对象的信息以及由摄像头模块生成的图像或视频，
其中，短程通信模块接收从附接在对象上的无线通信设备生成的信号，以及
控制单元通过分析由短程通信模块从无线通信设备接收到的信号来确定是否满足特定条件，并相应地确定是否激活摄像头模块。
2.根据权利要求1所述的可穿戴设备，其特征在于，所述可穿戴设备是能够佩戴在用户的手腕上的智能手表或智能手环，以及
摄像头模块被嵌入到智能手表的表带的一部分或智能手环的一部分中，并且摄像头模块的至少一部分通过智能手表的表带或智能手环的侧表面露出。
3.根据权利要求1所述的可穿戴设备，其特征在于，所述无线通信设备通常在睡眠模式下运行，在满足特定条件时被激活并传输无线信号。
4.根据权利要求1所述的可穿戴设备，其中，所述无线通信设备在激活状态下连续传输无线信号，并使满足所述特定条件时传输的无线信号包括关于满足所述特定条件的信息。
5.根据权利要求1所述的可穿戴设备，其中由控制单元通过分析由短程通信模块从无线通信设备接收到的信号来确定是否满足特定条件是基于选自短程通信模块识别对象时的信号强度、照度传感器的测量值和运动传感器的测量值中的至少一个执行的。
6.根据权利要求1所述的可穿戴设备，其中，控制单元执行控制，使得短程通信模块仅在任何预设的时间段内运行。
7.根据权利要求1所述的可穿戴设备，其中，在通信模块无法访问通信网络的情况下，通信模块临时存储检测到的用户的特定行为信息和由摄像头模块生成的图像或视频，并且在稍后能够访问通信网络时将临时存储的信息和图像或视频传输到管理服务器。
8.根据权利要求1所述的可穿戴设备，其中，控制单元从多个参考图像或视频中设置与特定对象或动作相关的特征值，并且通过基于设置的特征值从摄像头模块生成的图像或视频提取特征值来计算特定对象的捕获概率或特定动作的发生概率。
9.一种管理服务器，所述管理服务器通过与能够穿戴在用户身上的可穿戴设备的通信获取信息并管理所获取的信息，所述管理服务器包括：
通信单元，所述通信单元接收由可穿戴设备的短程通信模块自动收集的对象信息，并且接收可穿戴设备生成的图像或视频；以及
动作确定单元，所述动作确定单元基于对象的信息，利用机器学习或人工智能来确定是否在图像或视频中检测到与对象或用户身体相关的预设动作。
10.根据权利要求9所述的管理服务器，其中在确定是否在图像或视频中检测到与对象或用户身体相关的预设动作时，动作确定单元从多个参考图像或视频中设置与特定对象或动作相关的特征值，并且基于从图像或视频中提取的特征值计算特定对象的捕获概率或特定动作的发生概率。
CN202080032873.4A 2019-05-07 2020-05-07 利用摄像头模块和无线通信设备检测事件的可穿戴设备 Active CN113785558B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20190053276 2019-05-07
KR10-2019-0053276 2019-05-07
PCT/KR2020/006008 WO2020226431A1 (ko) 2019-05-07 2020-05-07 카메라 모듈 및 무선통신 장치를 활용하여 이벤트 감지를 수행하는 웨어러블 기기

Publications (2)

Publication Number Publication Date
CN113785558A true CN113785558A (zh) 2021-12-10
CN113785558B CN113785558B (zh) 2024-01-05

Family

ID=73050532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080032873.4A Active CN113785558B (zh) 2019-05-07 2020-05-07 利用摄像头模块和无线通信设备检测事件的可穿戴设备

Country Status (6)

Country Link
US (1) US11647167B2 (zh)
EP (1) EP3941032A4 (zh)
JP (1) JP7327837B2 (zh)
KR (1) KR102391656B1 (zh)
CN (1) CN113785558B (zh)
WO (1) WO2020226431A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115225815A (zh) * 2022-06-20 2022-10-21 南方科技大学 目标智能追踪拍摄方法、服务器、拍摄系统、设备及介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102336545B1 (ko) * 2021-05-18 2021-12-07 황규성 무선 통신 시스템에서 배달 라이더를 이용하여 사고 영상 데이터를 획득하기 위한 방법 및 장치
US11895368B2 (en) * 2022-03-04 2024-02-06 Humane, Inc. Generating, storing, and presenting content based on a memory metric

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130267794A1 (en) * 2011-11-14 2013-10-10 University Of Pittsburgh - Of The Commonwealth Method, Apparatus and System for Food Intake and Physical Activity Assessment
CN104007817A (zh) * 2013-02-21 2014-08-27 Metaio有限公司 具有至少一个摄像机的可穿戴信息系统
US20160182850A1 (en) * 2014-12-18 2016-06-23 S4 Worldwide, Llc Body camera
GB201611454D0 (en) * 2016-06-30 2016-08-17 Pinnacle Response Ltd A wearable device, associated system and method of use
CN105894733A (zh) * 2014-05-15 2016-08-24 Lg电子株式会社 驾驶员监控系统
CN106030676A (zh) * 2014-09-29 2016-10-12 飞利浦灯具控股公司 交互检测可穿戴的控制设备
US20160306932A1 (en) * 2015-04-20 2016-10-20 Kali Care, Inc. Wearable system for healthcare management
KR20160131790A (ko) * 2015-05-08 2016-11-16 지현구 스마트 약통을 이용한 직접 복약 관리 시스템 및 방법
CN107278370A (zh) * 2015-02-16 2017-10-20 来喜事株式会社 用于生成图像信号的穿戴式设备及其控制系统
CN107427410A (zh) * 2015-01-29 2017-12-01 卡利凯尔公司 使用传感器监测药物方案依从性
US20180077390A1 (en) * 2015-01-29 2018-03-15 Panasonic Intellectual Property Management Co., Ltd. Wearable camera system, and video recording control method for wearable camera system
JP2018042229A (ja) * 2016-09-01 2018-03-15 パナソニックＩｐマネジメント株式会社 ウェアラブルカメラ、ウェアラブルカメラシステム及び録画制御方法

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004280376A (ja) 2003-03-14 2004-10-07 Japan Science & Technology Agency 被写体の行動認識方法及び装置
US9907473B2 (en) 2015-04-03 2018-03-06 Koninklijke Philips N.V. Personal monitoring system
US9022080B2 (en) * 2012-02-08 2015-05-05 Honda Motor Co., Ltd. Communication device activated by fuel door
JP6435595B2 (ja) * 2013-08-05 2018-12-12 カシオ計算機株式会社 トレーニング支援システム、サーバー、端末、カメラ、方法並びにプログラム
US9860517B1 (en) * 2013-09-24 2018-01-02 Amazon Technologies, Inc. Power saving approaches to object detection
JP6096654B2 (ja) 2013-12-27 2017-03-15 レノボ・シンガポール・プライベート・リミテッド 画像の記録方法、電子機器およびコンピュータ・プログラム
KR102135586B1 (ko) * 2014-01-24 2020-07-20 엘지전자 주식회사 이동 단말기 및 이의 제어방법
CA2898078C (en) 2014-02-05 2020-09-15 Grace Castillo Soyao Systems, devices, and methods for analyzing and enhancing patient health
JP2015197803A (ja) 2014-04-01 2015-11-09 キヤノン株式会社 行動記録装置、行動記録方法及びプログラム
US9679113B2 (en) 2014-06-11 2017-06-13 Aic Innovations Group, Inc. Medication adherence monitoring system and method
WO2016002130A1 (ja) * 2014-06-30 2016-01-07 パナソニックＩｐマネジメント株式会社 撮影方法、撮影システム、端末装置およびサーバ
KR101661555B1 (ko) * 2014-07-14 2016-10-04 넥시스 주식회사 비콘을 이용한 글라스형 웨어러블 디바이스의 카메라 기능 제한방법 및 프로그램
US9390610B2 (en) * 2014-07-23 2016-07-12 Ncr Corporation Techniques for determining movement of a device away from a preferred location
US9971874B2 (en) * 2014-08-22 2018-05-15 Roozbeh Jafari Wearable medication adherence monitoring
US20160125217A1 (en) * 2014-11-05 2016-05-05 Hand Held Products, Inc. Barcode scanning system using wearable device with embedded camera
US10395764B2 (en) * 2015-01-06 2019-08-27 Aic Innovations Group, Inc. Method and apparatus for recognition of patient activity
KR102304693B1 (ko) * 2015-02-12 2021-09-28 삼성전자주식회사 카메라 시스템의 제어 방법, 전자 장치 및 저장 매체
US10025908B1 (en) 2015-02-25 2018-07-17 Leonardo Y. Orellano Medication adherence systems and methods
KR20160104288A (ko) * 2015-02-26 2016-09-05 엘지전자 주식회사 모바일 디바이스와 연동하여 식사 여부를 판단하는 웨어러블 디바이스 및 그 제어 방법
KR102318887B1 (ko) * 2015-03-06 2021-10-29 삼성전자주식회사 웨어러블 전자 장치 및 그 제어 방법
KR102304744B1 (ko) 2015-04-07 2021-09-24 엘지전자 주식회사 웨어러블 단말기 및 이와 무선 통신하는 디스플레이 장치
WO2016196140A1 (en) * 2015-06-03 2016-12-08 Nuvizen Sensor-based medication systems
US20170004283A1 (en) 2015-07-01 2017-01-05 Casey LEWIS Methods and Systems for Medication Compliance Monitoring and Notification
KR102423830B1 (ko) 2015-11-10 2022-07-22 삼성전자주식회사 웨어러블 장치 및 그 제어 방법
KR101765722B1 (ko) * 2016-01-12 2017-08-08 소프트온넷(주) 인지형 차량 및 인상착의 객체 및 이벤트 인식, 추적, 검색, 예측을 위한 나레이티브 보고서 작성 시스템 및 방법
JP2017169732A (ja) 2016-03-23 2017-09-28 セイコーエプソン株式会社 情報処理装置、情報処理方法及びプログラム
KR101971695B1 (ko) 2016-04-01 2019-04-25 한국전자통신연구원 복약 모니터링 장치 및 방법
KR101798890B1 (ko) * 2016-07-14 2017-11-17 네이버 주식회사 일상 생활 습관의 행동 요소를 활용한 웨어러블 디바이스 사용자 인증 방법 및 그 시스템
KR20180028701A (ko) 2016-09-09 2018-03-19 엘지전자 주식회사 휴대용 카메라 및 그 제어방법
EP3321844B1 (en) 2016-11-14 2021-04-14 Axis AB Action recognition in a video sequence
US10524726B2 (en) 2016-11-17 2020-01-07 Biointellisense, Inc. Medication adherence and/or counterfeit detection wearable electronic device
KR101986002B1 (ko) 2017-01-17 2019-06-04 경북대학교 산학협력단 행동-인식 연결 학습 기반 의도 이해 장치, 방법 및 그 방법을 수행하기 위한 기록 매체
US11687800B2 (en) 2017-08-30 2023-06-27 P Tech, Llc Artificial intelligence and/or virtual reality for activity optimization/personalization
KR102053537B1 (ko) 2017-12-07 2019-12-10 주식회사 라이너스 복약 관리 방법 및 장치
KR102112757B1 (ko) 2018-04-27 2020-05-20 주식회사 라이너스 환자 관리 방법 및 시스템
KR102168975B1 (ko) 2018-04-30 2020-10-22 이휘원 웨어러블 기기를 이용하여 객체의 이벤트를 자동으로 감지하는 방법 및 이를 운용하는 관리 서버
KR101949102B1 (ko) 2018-10-08 2019-02-18 박기준 복약 보조 시스템 및 이를 이용한 복약 보조 방법
KR20200080047A (ko) 2018-12-26 2020-07-06 삼성전자주식회사 진정 사용자의 손을 식별하는 방법 및 이를 위한 웨어러블 기기

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130267794A1 (en) * 2011-11-14 2013-10-10 University Of Pittsburgh - Of The Commonwealth Method, Apparatus and System for Food Intake and Physical Activity Assessment
CN104007817A (zh) * 2013-02-21 2014-08-27 Metaio有限公司 具有至少一个摄像机的可穿戴信息系统
CN105894733A (zh) * 2014-05-15 2016-08-24 Lg电子株式会社 驾驶员监控系统
CN106030676A (zh) * 2014-09-29 2016-10-12 飞利浦灯具控股公司 交互检测可穿戴的控制设备
US20160182850A1 (en) * 2014-12-18 2016-06-23 S4 Worldwide, Llc Body camera
CN107427410A (zh) * 2015-01-29 2017-12-01 卡利凯尔公司 使用传感器监测药物方案依从性
US20180077390A1 (en) * 2015-01-29 2018-03-15 Panasonic Intellectual Property Management Co., Ltd. Wearable camera system, and video recording control method for wearable camera system
CN107278370A (zh) * 2015-02-16 2017-10-20 来喜事株式会社 用于生成图像信号的穿戴式设备及其控制系统
US20160306932A1 (en) * 2015-04-20 2016-10-20 Kali Care, Inc. Wearable system for healthcare management
KR20160131790A (ko) * 2015-05-08 2016-11-16 지현구 스마트 약통을 이용한 직접 복약 관리 시스템 및 방법
GB201611454D0 (en) * 2016-06-30 2016-08-17 Pinnacle Response Ltd A wearable device, associated system and method of use
JP2018042229A (ja) * 2016-09-01 2018-03-15 パナソニックＩｐマネジメント株式会社 ウェアラブルカメラ、ウェアラブルカメラシステム及び録画制御方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115225815A (zh) * 2022-06-20 2022-10-21 南方科技大学 目标智能追踪拍摄方法、服务器、拍摄系统、设备及介质
CN115225815B (zh) * 2022-06-20 2023-07-25 南方科技大学 目标智能追踪拍摄方法、服务器、拍摄系统、设备及介质

Also Published As

Publication number Publication date
WO2020226431A1 (ko) 2020-11-12
JP7327837B2 (ja) 2023-08-16
US20220060666A1 (en) 2022-02-24
US11647167B2 (en) 2023-05-09
EP3941032A1 (en) 2022-01-19
CN113785558B (zh) 2024-01-05
KR20200130234A (ko) 2020-11-18
JP2022530569A (ja) 2022-06-29
EP3941032A4 (en) 2022-12-14
KR102391656B1 (ko) 2022-04-28

Similar Documents

Publication Publication Date Title
CN112042181B (zh) 利用可穿戴设备的客体事件感知方法及运用其的管理服务器
CN113785558B (zh) 利用摄像头模块和无线通信设备检测事件的可穿戴设备
Wang et al. Toward a wearable RFID system for real-time activity recognition using radio patterns
US10051425B2 (en) Smart terminal service system and smart terminal processing data
US9999395B2 (en) Apparatus and method for detecting user action
US20180063421A1 (en) Wearable camera, wearable camera system, and recording control method
US20180220973A1 (en) Smart devices that capture images and sensed signals
Ma et al. Simultaneous energy harvesting and gait recognition using piezoelectric energy harvester
CN109938722B (zh) 数据采集方法、装置、智能穿戴设备及存储介质
US20150099468A1 (en) Electronic device and garment
JP2014164374A (ja) 情報表示システム、情報端末、サーバ装置、情報端末の制御方法、サーバ装置の制御方法、及びプログラム
CN108133160B (zh) 基于rfid的游泳安全监控系统
US20230034807A1 (en) Systems and methods including a device for personalized activity monitoring involving the hands
CN110598599A (zh) 基于Gabor原子分解的人体异常步态检测方法和装置
KR20200000091A (ko) 활동량 추적기와 감시 카메라 연동 기반의 활동 분석 장치, 그 시스템 및 그 방법
CN113313909A (zh) 智能眼镜的数据处理方法、装置及智能眼镜
JP6734487B2 (ja) 地域別笑顔度表示システム、地域別笑顔度表示方法及びプログラム
WO2020161673A1 (en) A foot mounted wearable device and a method to operate the same
JP2013150171A (ja) 記録装置、記録システム及び記録方法
JP6710817B2 (ja) 笑顔伝染判定システム、笑顔伝染判定方法及びプログラム
Bauer et al. User independent, multi-modal spotting of subtle arm actions with minimal training data
Deng et al. An Indoor Intelligent Care System Based on the Fusion of Vision and UWB Heterogeneous Sensors
CN114821738A (zh) 一种安全预警的方法、装置、计算机设备及可读存储介质
CN115273144A (zh) 基于2d激光雷达及惯性感测数据的人物辨识方法及设备
Zhang Activity Recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant