CN106092091B - 电子机器设备 - Google Patents

电子机器设备 Download PDF

Info

Publication number
CN106092091B
CN106092091B CN201610652816.1A CN201610652816A CN106092091B CN 106092091 B CN106092091 B CN 106092091B CN 201610652816 A CN201610652816 A CN 201610652816A CN 106092091 B CN106092091 B CN 106092091B
Authority
CN
China
Prior art keywords
movement
user
machine equipment
processing unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610652816.1A
Other languages
English (en)
Other versions
CN106092091A (zh
Inventor
韩阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201610652816.1A priority Critical patent/CN106092091B/zh
Publication of CN106092091A publication Critical patent/CN106092091A/zh
Priority to US15/561,770 priority patent/US20180245923A1/en
Priority to PCT/CN2017/076922 priority patent/WO2018028200A1/zh
Application granted granted Critical
Publication of CN106092091B publication Critical patent/CN106092091B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/024Guidance services
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12Messaging; Mailboxes; Announcements
    • H04W4/14Short messaging services, e.g. short message services [SMS] or unstructured supplementary service data [USSD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)
  • Telephone Function (AREA)
  • Navigation (AREA)

Abstract

一种电子机器设备,包括图像采集装置、处理装置以及控制装置。所述图像采集装置被配置为采集用户的动作信息,并生成采集图像。所述处理装置被配置为基于所述采集图像获取所述用户想要进行的第一动作,基于所述第一动作确定所述电子机器设备的第二动作,并基于所述第二动作,生成控制指令并发送给所述控制装置;所述控制装置基于所述控制指令,控制所述电子机器设备执行所述第二动作。本发明实施例的电子机器设备可以不需要提前规划路径,就可以根据用户的动作,确定自身需要执行的动作,完成多种服务任务。

Description

电子机器设备
技术领域
本公开实施例涉及一种电子机器设备。
背景技术
近几年,各种功能的机器人已经出现在人们的生活中,例如,扫地机器人、引路机器人等。其中的引路机器人以大量的图像数据为基础识别事物,确定用户想要达到的目的地,并基于预先存储的路径,将用户引领到其想要达到的地方。
然而,现有技术中的引路机器人,仅能够在固定区域内行走,并将用户引领至指定地点,而且需要预先根据当前地和目的地进行航迹规划,根据规划好的路径进行引路。而当用户希望去一个机器人没有去过的地方,引路机器人将无法完成任务。
发明内容
本发明实施例的目的在于提供一种电子机器设备,以解决上述技术问题。
根据本发明的至少一个实施例,提供了一种电子机器设备,包括:图像采集装置、处理装置以及控制装置,其中,所述图像采集装置被配置为采集用户的动作信息,并生成采集图像;所述处理装置被配置为基于所述采集图像获取所述用户想要进行的第一动作;基于所述第一动作确定所述电子机器设备的第二动作;并基于所述第二动作,生成控制指令,并发送给所述控制装置;所述控制装置基于所述控制指令,控制所述电子机器设备执行所述第二动作。
例如,所述处理装置基于采集图像判断用户是否从初始动作变化为所述第一动作,其中,所述初始动作和所述第一动作是不同类型的动作。
例如,所述图像采集装置采集用户的动作信息,并生成连续的至少第一采集图像和第二采集图像;所述处理装置比较所述第一采集图像和所述第二采集图像之间的图像信息变化量,基于所述图像信息变化量判断所述用户是否从初始动作变化为所述第一动作。
例如,所述处理装置对所述第一采集图像和所述第二采集图像分别进行信息提取,并基于提取信息之间的图像信息变化量来判断所述用户从初始动作变化为所述第一动作。
例如,所述处理装置对所述第一采集图像和所述第二采集图像分别进行二值化处理,并基于二值化后的第一采集图像和所述第二采集图像之间的图像信息变化量来判断所述用户从初始动作变化为所述第一动作。
例如,所述图像采集装置采集用户的动作信息,并生成连续的至少第一采集图像和第二采集图像;所述处理装置分析所述第一采集图像和所述第二采集图像中所述用户的位置变化信息,基于所述位置变化信息判断所述用户是否从初始动作变化为所述第一动作。
例如,所述处理装置分析所述第一采集图像和所述第二采集图像中所述用户的坐标位置变化信息,基于所述坐标位置变化信息判断所述用户是否从初始动作变化为所述第一动作。
例如,所述电子机器设备还可以包括无线信号发射装置,其中,所述无线信号发射装置被配置为向所述用户发射无线信号,并接收从所述用户返回的无线信号;所述处理装置判断所述发射的无线信号以及所述返回的无线信号之间的图像信息变化量,基于所述图像信息变化量来确定所述用户是否从所述初始动作变化为所述第一动作。
例如,所述第一动作是位移动作,所述处理装置基于所述第一动作,确定所述第一动作的动作方向和动作速度;基于所述第一动作的动作方向和动作速度确定所述电子机器设备的运动方向和运动速度,以使的第二动作的运动方向和运动速度与所述第一动作的动作方向和动作速度相匹配。
例如,所述处理装置进一步获取所述用户的位置,基于所述用户位置确定所述第二动作的运动方向和运动速度,以使所述电子机器设备保持在所述用户前方或侧方预定距离处执行所述第二动作。
例如,所述电子机器设备还可以包括第一传感器,其中,所述第一传感器被配置为识别环境光的亮度,当所述环境光亮度大于第一亮度阈值时,通知所述处理装置;所述处理装置基于所述亮度通知,停止所述第二动作的执行。
例如,所述电子机器设备还可以包括第二传感器,其中,所述第二传感器被配置为识别所述电子机器设备周围预定范围内的障碍物,当识别到所述障碍物时,向所述处理装置发送障碍物通知;所述处理装置基于所述障碍物通知改变所述第二动作的方向和/或速度。
例如,所述电子机器设备还可以包括第三传感器和提示装置,其中,所述第三传感器检测预定范围内的无线电信号,当检测到无线电信号后,通知所述提示装置;所述提示装置基于所述无线电信号通知,向所述用户进行信息提醒。
例如,所述电子机器设备还可以包括第四传感器,其中,所述第二动作是位移动作,所述第四传感器检测预定范围内所述用户的位置,当检测到用户所在位置时,向所述处理装置发送位置信息;所述处理装置基于所述位置信息确定所述电子机器设备到所述位置的路径,并基于所述路径确定向所述用户方向的所述位移动作。
例如,所述第四传感器检测预定时间内所述用户的多个位置信息,并向所述处理装置发送所述多个位置信息;所述处理装置基于所述多个位置信息确定所述用户是否有位置变化;当确定没有位置变化时,基于所述位置信息确定所述电子机器设备到所述位置的路径,并基于所述路径确定向所述用户方向的所述位移动作。
例如,所述电子机器设备还可以包括存储单元,其中,所述第一动作为连续的多个动作,所述处理装置基于所述连续的多个第一动作,确定所述电子机器设备的多个连续的第二动作;并基于所述多个连续的第二动作,生成移动路径;所述存储单元被配置为将所述移动路径进行存储。
例如,所述电子机器设备还可以包括功能按键,所述存储单元中包括至少一条移动路径,其中,所述功能按键被配置为基于所述用户的输入,确定与所述输入对应的移动路径,所述处理装置基于所述移动路径以及所述第一动作,确定所述电子机器设备的第二动作。
例如,所述电子机器设备还可以包括第二传感器,其中,所述第二传感器被配置为识别所述电子机器设备周围预定范围内的障碍物,响应于识别到所述障碍物时,向所述处理装置发送障碍物通知;所述处理装置基于所述障碍物通知确定所述电子机器设备的第二动作,以使所述电子机器设备避开所述障碍物。
例如,所述处理装置基于所述第二动作,改变所述移动路径,并将改变后的移动路径发送给所述存储单元;
所述存储单元存储所述改变后的移动路径。
例如,响应于未识别到所述障碍物时,所述第二传感器向所述处理装置发送无障碍物通知;所述处理器基于所述无障碍物通知,基于所述移动路径以及所述第一动作确定所述电子机器设备的第二动作。
通过本发明实施例,电子机器设备不需要提前规划路径,就可以根据用户的动作,确定自身需要执行的动作,完成多种服务任务。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例的描述中所需要使用的附图作简单的介绍。下面描述中的附图仅仅是本发明的示例性实施例。
图1示出了根据本发明实施例的电子机器设备的一种结构示意图;
图2示出了根据本发明实施例的电子机器设备的外形设计示意图。
图3示出了根据本发明实施例的电子机器设备的另一种结构示意图;
图4示出了根据本发明实施例的电子机器设备的第三种种结构示意图;
图5示出了根据本发明实施例的电子机器设备的第四种结构示意图;
图6示出了根据本发明实施例的障碍物处理流程图。
具体实施方式
在下文中,将参考附图详细描述本发明的优选实施例。注意,在本说明书和附图中,具有基本上相同步骤和元素用相同的附图标记来表示,且对这些步骤和元素的重复解释将被省略。
在本发明的以下实施例中,电子机器设备指的是以数字和逻辑计算设备为工作基础的,可以在无外部指令状态下自行移动的机器设备,例如人工智能设备、机器人或机器宠物等。
图1示出了根据本发明实施例的电子机器设备的一种结构示意图。图2示出了根据本发明实施例的电子机器设备的外形设计示意图。参见图1,该电子机器设备100包括图像采集装置110、处理装置120以及控制装置130。
该电子机器设备设备可以包括驱动装置,该驱动装置可以包括例如电机的动力部件以及例如轮子、履带等运动部件,并可以根据指令进行启动、停止、直行、转弯、翻越障碍物等动作。本发明的实施例不限于驱动装置的具体类型。
图像采集装置110被配置为采集用户的动作信息并生成采集图像。图像采集装置110例如可以包括一个或多个摄像头、摄像机等等。图像采集装置110可以是朝固定方向采集图像,也可以进行翻转以拍摄不同位置、不同角度的图像信息。例如,图像采集装置110可以设置为不仅用于采集可见光的图像,而且还可以用于采集红外光的图像,从而适用于夜间环境。又例如,图像采集装置110所采集的图像可以即时存储在一存储装置之中或根据用户的指令存储在存储装置之中。
处理装置120被配置为基于图像采集装置110采集的图像,获取用户想要进行的第一动作,然后可基于第一动作确定电子机器设备的第二动作,并基于第二动作生成控制指令并发送给控制装置。处理装置120例如可以是通用处理器,如中央处理器(CPU),也可以是专用处理器,例如可编程逻辑电路(PLC)、现场可编程门阵列(FPGA)等。
控制装置130基于控制指令,控制电子机器设备执行第二动作。控制装置130例如可以控制电子机器设备行走、开启内部特定功能或者发出声音等动作。控制指令可以存储在预定存储装置之中,当该电子机器设备设备工作时被读入到控制装置130之中。
参见图2,电子机器设备100所处的示例包括车轮230、功能按键220、光源230等。电子机器设备100可以通过图像采集装置110来采集图像。电子机器设备100可以通过各种功能按键220以供用户输入指令。光源230可以根据需要开启以用于照明等,该光源230例如可以是亮度可调节的LED灯。当然,图2中的各种功能部件并不是本发明实施例所必须的,本领域技术人员可以了解,可以根据实际需要进行功能部件的增减。例如,例如功能按键220可以使用触摸屏等替代。
图3示出了根据本发明实施例的电子机器设备的另一种结构示意图。下面将根据图3来介绍根据本发明实施例的可以自行移动的电子机器设备的结构和工作方式。
根据本发明的实施例,处理装置130判断用户的第一动作,并基于第一动作来确定电子机器设备的第二动作。第一动作例如可以是位移动作,手势动作等等。处理装置120确定位移动作的动作方向和动作速度,并基于第一动作的动作方向和动作速度确定电子机器设备的运动方向和运动速度,以使电子机器设备的第二动作的运动方向和运动速度与用户的第一动作的动作方向和动作速度相匹配。由此,例如,电子机器设备在用户走路时可以为其引路、照明等。当然,处理装置120也可以确定用户其他手势动作的动作方向和动作速度,并基于第一动作的动作方向和动作速度确定电子机器设备的运动方向和运动速度,以使电子机器设备的第二动作的运动方向和运动速度与用户的第一动作的动作方向和动作速度相匹配。例如,用户在做手术时,该电子机器设备可以根据用户的手势,帮其传递医疗器械等。以下仅以用户的位移动作为例,对本发明实施例进行介绍。
例如,处理装置130判断出用户的走路动作后,为了保障用户的安全,例如,当用户是小孩或老人时,可以帮助用户引路,或作为用户的陪伴。在引路时,电子机器设备可以走在用户的前方或侧方。如果此时电子机器设备内部没有预先存储路径时,那么不了解用户想要去的地方,则可以使用图像采集装置110不断地采集包含用户的图像,通过对图像的分析、多幅图像之间的比较,以确定用户的运动方向。电子机器设备还可以通过多幅图像之间的变化量以及使用时间等参数,确定用户的运动速度。在确定了用户的运动方向和运动速度后,电子机器设备可以确定自身的运动方向和速度,以使得电子机器设备与用户之间保持较近的距离,并保持在用户前方或侧方预定距离处,避免电子机器设备距离用户太远起不到陪伴的作用,或太近反而引起与用户的碰撞等。此外,电子机器设备在给用户引路时,还可以开启光源例如小夜灯以进行照明,使得用户在夜间行走时也可以看清道路,提高安全。
根据本发明的一个示例,处理装置120还可以进一步获取用户的位置,例如,通过分析采集的图像中用户的坐标来确定用户位置,或者基于Wi-Fi、蓝牙、ZIGBEE、RFID等室内定位技术来确定用户位置,基于用户位置可以更准确地确定自身第二动作的运动方向和运动速度,以使电子机器设备保持在用户前方或侧方预定距离处移动。
参见图3,电子机器设备100还可以包括第一传感器140,该第一传感器例如可以是环境光传感器,能够识别环境光的亮度。当环境光亮度大于第一亮度阈值时,通知处理装置120,处理装置120基于该亮度通知,停止第二动作的执行。例如,当用户开启室内照明灯后,则可能用户不再需要电子机器设备帮其引路、照明,因此在电子机器设备识别到室内开灯后,可以停止移动,或回到预先设定的默认位置处。
参见图3,电子机器设备100还可以包括第二传感器150,该第二传感器例如可以是雷达传感器、红外传感器、距离传感器等,可以感应电子机器设备周围预定范围内的障碍物。例如,当处理装置120收到第二传感器150返回的障碍物检测信号后,处理装置120例如可以分析该信号,以确定在前进路线上是否存在障碍物。处理装置120基于是否存在障碍物改变第二动作的方向和/或速度。又例如,第二传感器本身也可以具有处理能力以确定是否存在障碍物,并将该存在障碍物与否的信息反馈给处理装置120。例如,雷达传感器通过向其周围发射雷达信号,根据返回的信号的频率或振幅的变化,以判断周围是否有障碍物。红外传感器通过向周围发射红外信号,根据返回的信号来判断前方物体与自身的距离,从而处理器120可以判断是否用户的行走是否受到影响,是否需要改变行走方向。当判断有障碍物时,处理装置120可以改变自身进行的第二动作的方向,也可以向用户发出警报以提醒用户注意。
此外,参见图3,电子机器设备还可以包括第三传感器160以及提示装置170,该第三传感器例如可以是无线信号传感器,可以检测预定范围内的无线电信号,当检测到无线电信号后,可以通知提示装置170。该提示装置170例如可以是扬声器、LED灯等,可以引起用户注意,以向用户进行提醒。例如,当用户并没有把手机随身携带时,电子机器设备的无线信号传感器感测到手机来电或来短信,则可以将该来电信息或短信信息通知给用户,避免由于手机声音小或静音状态下错过重要电话。当然,电子机器设备还可以在用户预先设置下,播报手机来电信息或短信信息。
此外,参见图3,电子机器设备还可以包括第四传感器180,该第四传感器180,可以是例如红外传感器等可以检测预定范围内用户的位置的传感器。当检测到用户所在位置时,第四传感器180例如可以向处理装置120发送用户位置信息。处理装置120基于位置信息确定电子机器设备到用户位置的路径,并基于路径确定向用户方向行走的位移动作。例如,电子机器设备可以确定用户位置,然后根据用户的指示帮用户送他/她想要的物件。红外传感器例如可以通过检测温度、距离来判断用户位置,也可以通过温度结合物理轮廓来判断用户所在位置,避免误判。
此外,根据本发明的一个示例,第四传感器180可以检测预定时间内用户的多个位置信息,并向处理装置120发送多个位置信息。处理装置120基于多个位置信息确定用户是否有位置变化。当确定没有位置变化时,处理装置120基于位置信息确定电子机器设备到位置的路径,并基于路径确定向用户方向的位移动作。例如,在10秒钟内,如果拍摄的多幅图像都表示用户固定在一个位置上,则表示用户没有位置变化。此时,处理装置120可以判断用户与电子机器设备之间的距离,来判断用户的位置,给用户送他/她想要的物件。如果从拍摄的多幅图像中分析得到用户在不断的移动,则表示用户此时位置在不断变化,此时电子机器设备可以无需帮用户送物件,以避免不停定位用户位置造成的处理资源的浪费。
本发明实施例,通过判断用户的第一动作,来确定电子机器设备的第二动作,使得第二动作与第一动作相统一,从而解决了电子机器设备即使没有预先设定路径,也可以帮助用户引路的技术问题,保证了电子机器设备可以随时根据用户的需要执行相应的任务。
图4示出了根据本发明实施例的电子机器设备的第三种结构示意图。下面将根据图4来介绍根据本发明实施例的可以自行移动的电子机器设备的结构和工作方式。
在本发明实施例中,处理装置130可以基于采集图像判断用户是否从初始动作变化为第一动作,而初始动作和第一动作是不同类型的动作。也就是说,处理装置130可以判断出用户是否有动作变化。在本发明实施例中,不同类型的动作或动作变化,是指前后两种动作是不同属性的动作。例如,吃饭动作和走路动作,起床动作和睡眠动作,学习动作和玩耍动作等等,均属于不同类型的动作。相反,如果用户在睡眠时从左侧卧动作转换为平躺或右侧卧动作,虽然动作有变化,但仍然都属于睡眠动作,因此不属于本发明所定义的不同类型的动作。
例如,图像采集装置110采集用户的动作信息,并生成第一采集图像和第二采集图像,或更多采集图像。处理装置120比较第一采集图像和第二采集图像之间的或多幅采集图像之间的图像信息变化量,基于图像信息变化量判断用户是否从初始动作变化为第一动作。例如,第一采集图像和第二采集图像可以是连续的两帧图像,处理装置120通过前后帧的比较可以有效识别用户是否有动作变化。
对于图像信息变化量的判断和比较,处理装置120可以直接基于两幅或多幅采集图像本身进行比较,也可以对第一采集图像和第二采集图像分别进行信息提取,提取出图像中的重要信息,并基于提取信息之间的图像信息变化量来判断用户从初始动作变化为第一动作。例如,对第一采集图像和第二采集图像分别进行二值化处理,并基于二值化后的第一采集图像和第二采集图像之间的图像信息变化量来判断用户从初始动作变化为第一动作。或者,将图像中的背景信息剔除掉,基于前景信息来进行比较判断用户动作前后是否发生变化。或者,对所有图像进行轮廓提取,基于轮廓信息进行比较判断两帧图像的前后变化等等。如此,可以有效减小计算量,提高处理效率。
在判断图像信息变化量时,可以根据处理后的图像的整体内容来判断。例如将第一采集图像和第二采集图像二值化之后,将每幅图像中的像素值累加,然后比较每幅图像中像素累加值之间的差值是否大于预设阈值。该阈值可以根据实际需要设定为20-40%中的一个数值。当累加值大于预设阈值时,可以认为用户从初始动作变化为第一动作。当累加值小于预设阈值时,则可以认为用户仍然保持在初始动作。例如,如果用户在睡眠中仅仅做了一个翻身动作,则后一帧图像像素累加值与前一帧图像的像素累加值的差值为15%,则可以认为,用户仍然保持在睡眠动作。
此外,根据本发明的其他实施例,还可以通过判断前后图像中用户的位置变化来判断用户是否从初始动作变化为第一动作。例如,图像采集装置110连续采集用户的动作信息,并生成连续的至少第一采集图像和第二采集图像。处理装置120分析第一采集图像和第二采集图像中用户的位置变化信息,基于位置变化信息判断用户是否从初始动作变化为第一动作。例如,处理装置120对图像采集装置110采集的每一幅图像均设定统一坐标系,例如,在用户进入睡眠动作后,以床表面床头位置为原点,以床表面从床头到床尾的方向设定为X轴方向,设定横坐标,以垂直于床表面的床头位置向天花板的方向为Y轴方向,设定纵坐标。由此当用户动作有变化时,可以根据用户坐标变化来确定其是否从一种类型的动作变换到另一种类型的动作。例如,为了减小计算量,可仅检测Y轴方向上的变化值来获取用户是否从初始动作到第一动作。例如,可以预先设定坐标变化阈值,该阈值可以根据历史数据进行设定,例如可以是5%-20%中的一个值。当用户头部的纵坐标从10cm变化为50cm,变化值大于阈值,则可以认为用户从睡眠动作变换到起床动作。当用户头部的纵坐标从10cm变换为12cm,变化值小于阈值,则可以判断用户仍然处于睡眠状态。
此外,该电子机器设备还可以通过无线信号发射装置来判断用户是否从初始动作转换为第一动作。如图2所示,电子机器设备100上可以还可以设置无线信号发射装置240,该无线信号发射装置240例如可以是雷达发射换能器,可以是超声波发射器、红外信号发射器等。无线信号发射装置240可以向用户发射各种无线信号,并接收从用户返回的无线信号。当然,无线信号发射装置240也可以不向用户发射信号,而是向用户周围用户可能的动作区域发射信号,来判断用户是否进行相应动作。处理装置120可以判断无线信号发射装置240发射的无线信号以及从用户返回的无线信号之间的图像信息变化量。由于发射出的无线信号是否被遮挡以及被何种物体遮挡,返回信息强弱也发生变化,因此可以基于信号前后变化量来确定用户是否从初始动作变化为第一动作。上述图像信息变化量可以是信号频率变化量,也可以是信号振幅变化量,也可以是二者的组合等等。例如,当频率变化量在200-500Hz,表示频率变化量较小,动作没有变化;频率变化量在1000-3000Hz时,表示频率变化量较大,可以认为用户的动作从初始动作变化为第一动作。
本发明实施例,通过判断分析包含用户动作的采集图像来确定用户是否从一个动作变换到另一个动作,并根据变化来确定电子机器设备自身的下一步动作,可以有效地对用户想要做的事或想要到达的地方做预判,能够更及时准确的为用户提供服务。
图5示出了根据本发明实施例的电子机器设备的第四种种结构示意图。参见图5,电子机器设备100除了包括图像采集装置110、处理装置120以及控制装置130之外,还可以包括存储单元190。
在本发明实施例中,可以对电子机器设备进行学习训练,使其记忆至少一条存储路径。图像采集装置110可以采集多个第一动作,第一动作可以是连续的多个动作,例如,多个位移动作。处理装置120基于连续的多个第一动作,确定电子机器设备的多个连续的第二动作,并基于多个连续的第二动作,生成移动路径。也就是说,处理装置120在为用户引路后,可以记忆引路路径,并且将该路径发送到存储单元190中,存储单元190将该移动路径进行存储。
此外,电子机器设备100上还可以设置多个功能按键220,该功能按键220可以接收用户的输入,并确定与用户输入对应的存储单元190中存储的移动路径。处理装置120可以基于用户的选择输入,根据移动路径以及用户的第一动作,确定电子机器设备的第二动作。例如,在默认情况下,处理装置120可以带领用户沿存储的移动路径进行移动,但同时处理装置120也需要考虑用户的第一动作,如果用户在行走过程中,突然改变方向,电子机器设备110也可以根据需要改变自己的第二动作,以适应用户的需求。
根据本发明的一个示例,电子机器设备还具有识别障碍物的功能。图6示出了根据本发明实施例的障碍物处理方法的一个示例的流程图。电子机器设备还可以包括第二传感器150,第二传感器150例如可以是发射雷达信号的传感器、可以通过向周围发射无线信号,根据返回的无线信号,来判断电子机器设备周围预定范围内是否有障碍物。
在步骤601中,处理装置120可以调取存储单元190中预先存储的路线。
在步骤602中,处理装置120可以控制以按照设定路线行走。
在步骤603中,可以使用第二传感器150识别障碍物。
在步骤604中,判断是否有障碍物。
在步骤605中,当判断进行路线前方存在障碍物时,向处理装置120发送障碍物通知,处理装置120基于障碍物通知确定电子机器设备的第二动作以使电子机器设备避开障碍物。
在步骤606中,如果未识别到障碍物时,第二传感器150也可以向处理装置120发送无障碍物通知,处理装置120基于无障碍物通知,仍然根据存储单元190中预先存储的移动路径以及用户的第一动作来确定自身的第二动作,同时指示第二传感器150继续探测障碍物。
在步骤607中,在避开障碍物之后,处理装置120可以记录当前绕过障碍物的移动路径。
在步骤608中,处理装置120还可以将新记录的新的移动路径发送给存储单元190,存储该新的移动路径,以供之后用户选择使用。
或者,在电子机器设备避开障碍物之后,处理装置120可以指示继续按照之前调取的设定路线继续行走。
或者,可以使用新记录的路径直接更新之前存储的路径,则此后处理装置120可以根据更新后的移动路径或根据用户进一步的选择,确定电子机器设备的第二动作。
本发明实施例,通过对电子机器设备进行训练,使其存储一条或多条存储路径,还可以根据用户的输入选择,按照用户选择的路径进行行动,同时还能够有效避开障碍物。使得电子机器设备的功能更加强大,适应用户的不同需求。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现。并且软件模块可以置于任意形式的计算机存储介质中。为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
本领域技术人员应该理解,可依赖于设计需求和其它因素对本发明进行各种修改、组合、部分组合和替换,只要它们在所附权利要求书及其等价物的范围内。

Claims (19)

1.一种电子机器设备,包括:图像采集装置、处理装置以及控制装置、功能按键,所述电子机器设备中存储至少一条移动路径,
其中,所述图像采集装置被配置为采集用户的动作信息,并生成采集图像;
所述功能按键被配置为基于所述用户的输入,确定与所述输入对应的移动路径;
所述处理装置被配置为基于所述采集图像获取所述用户想要进行的第一动作,基于所述移动路径以及所述第一动作确定所述电子机器设备的第二动作,并基于所述第二动作,生成控制指令并发送给所述控制装置;
所述控制装置基于所述控制指令,控制所述电子机器设备执行所述第二动作。
2.根据权利要求1所述的电子机器设备,其中,所述处理装置基于所述采集图像判断用户是否从初始动作变化为所述第一动作,其中,所述初始动作和所述第一动作是不同类型的动作。
3.根据权利要求2所述的电子机器设备,其中,所述图像采集装置采集用户的动作信息,并生成连续的至少第一采集图像和第二采集图像;
所述处理装置比较所述第一采集图像和所述第二采集图像之间的图像信息变化量,基于所述图像信息变化量判断所述用户是否从初始动作变化为所述第一动作。
4.根据权利要求3所述的电子机器设备,其中,所述处理装置对所述第一采集图像和所述第二采集图像分别进行信息提取,并基于提取信息之间的图像信息变化量来判断所述用户从初始动作变化为所述第一动作。
5.根据权利要求4所述的电子机器设备,其中,所述处理装置对所述第一采集图像和所述第二采集图像分别进行二值化处理,并基于二值化后的第一采集图像和所述第二采集图像之间的图像信息变化量来判断所述用户从初始动作变化为所述第一动作。
6.根据权利要求2所述的电子机器设备,其中,所述图像采集装置采集用户的动作信息,并生成连续的至少第一采集图像和第二采集图像;
所述处理装置分析所述第一采集图像和所述第二采集图像中所述用户的位置变化信息,基于所述位置变化信息判断所述用户是否从初始动作变化为所述第一动作。
7.根据权利要求6所述的电子机器设备,其中,
所述处理装置分析所述第一采集图像和所述第二采集图像中所述用户的坐标位置变化信息,基于所述坐标位置变化信息判断所述用户是否从初始动作变化为所述第一动作。
8.根据权利要求2所述的电子机器设备,还包括:无线信号发射装置,
其中,所述无线信号发射装置被配置为向所述用户发射无线信号,并接收从所述用户返回的无线信号;
所述处理装置判断所述发射的无线信号以及所述返回的无线信号之间的图像信息变化量,基于所述图像信息变化量来确定所述用户是否从所述初始动作变化为所述第一动作。
9.根据权利要求1-8任一所述的电子机器设备,其中,
所述第一动作是位移动作,所述处理装置基于所述第一动作,确定所述第一动作的动作方向和动作速度;
基于所述第一动作的动作方向和动作速度确定所述电子机器设备的运动方向和运动速度,以使的第二动作的运动方向和运动速度与所述第一动作的动作方向和动作速度相匹配。
10.根据权利要求9所述的电子机器设备,其中,
所述处理装置进一步获取所述用户的位置,基于所述用户位置确定所述第二动作的运动方向和运动速度,以使所述电子机器设备保持在所述用户前方或侧方预定距离处执行所述第二动作。
11.根据权利要求1所述的电子机器设备,还包括第一传感器,
其中,所述第一传感器被配置为识别环境光的亮度,当所述环境光亮度大于第一亮度阈值时,通知所述处理装置;
所述处理装置基于所述亮度通知,停止所述第二动作的执行。
12.根据权利要求1所述的电子机器设备,还包括第二传感器,
其中,所述第二传感器被配置为识别所述电子机器设备周围预定范围内的障碍物,当识别到所述障碍物时,向所述处理装置发送障碍物通知;
所述处理装置基于所述障碍物通知改变所述第二动作的方向和/或速度。
13.根据权利要求1所述的电子机器设备,还包括第三传感器和提示装置,
其中,所述第三传感器检测预定范围内的无线电信号,当检测到无线电信号后,通知所述提示装置;
所述提示装置基于所述无线电信号通知,向所述用户进行信息提醒。
14.根据权利要求1所述的电子机器设备,还包括第四传感器,
其中,所述第二动作是位移动作,
所述第四传感器检测预定范围内所述用户的位置,当检测到用户所在位置时,向所述处理装置发送位置信息;
所述处理装置基于所述位置信息确定所述电子机器设备到所述位置的路径,并基于所述路径确定向所述用户方向的所述位移动作。
15.根据权利要求14所述的电子机器设备,其中,
所述第四传感器检测预定时间内所述用户的多个位置信息,并向所述处理装置发送所述多个位置信息;
所述处理装置基于所述多个位置信息确定所述用户是否有位置变化;当确定没有位置变化时,基于所述位置信息确定所述电子机器设备到所述位置的路径,并基于所述路径确定向所述用户方向的所述位移动作。
16.根据权利要求1所述的电子机器设备,还包括存储单元,
其中,所述第一动作为连续的多个动作,所述处理装置基于所述连续的多个第一动作,确定所述电子机器设备的多个连续的第二动作;并基于所述多个连续的第二动作,生成移动路径;
所述存储单元被配置为将所述移动路径进行存储。
17.根据权利要求1所述的电子机器设备,还包括第二传感器,
其中,所述第二传感器被配置为识别所述电子机器设备周围预定范围内的障碍物,响应于识别到所述障碍物时,向所述处理装置发送障碍物通知;
所述处理装置基于所述障碍物通知确定所述电子机器设备的第二动作,以使所述电子机器设备避开所述障碍物。
18.根据权利要求17所述的电子机器设备,其中,
所述处理装置基于所述第二动作,改变所述移动路径,并将改变后的移动路径发送给存储单元;
所述存储单元存储所述改变后的移动路径。
19.根据权利要求17所述的电子机器设备,其中,
响应于未识别到所述障碍物时,所述第二传感器向所述处理装置发送无障碍物通知;
所述处理器基于所述无障碍物通知,基于所述移动路径以及所述第一动作确定所述电子机器设备的第二动作。
CN201610652816.1A 2016-08-10 2016-08-10 电子机器设备 Active CN106092091B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610652816.1A CN106092091B (zh) 2016-08-10 2016-08-10 电子机器设备
US15/561,770 US20180245923A1 (en) 2016-08-10 2017-03-16 Electronic machine equipment
PCT/CN2017/076922 WO2018028200A1 (zh) 2016-08-10 2017-03-16 电子机器设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610652816.1A CN106092091B (zh) 2016-08-10 2016-08-10 电子机器设备

Publications (2)

Publication Number Publication Date
CN106092091A CN106092091A (zh) 2016-11-09
CN106092091B true CN106092091B (zh) 2019-07-02

Family

ID=57455394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610652816.1A Active CN106092091B (zh) 2016-08-10 2016-08-10 电子机器设备

Country Status (3)

Country Link
US (1) US20180245923A1 (zh)
CN (1) CN106092091B (zh)
WO (1) WO2018028200A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106092091B (zh) * 2016-08-10 2019-07-02 京东方科技集团股份有限公司 电子机器设备
US11307063B2 (en) 2016-12-23 2022-04-19 Gtc Law Group Pc & Affiliates Inspection robot for horizontal tube inspection having vertically positionable sensor carriage
ES2901649T3 (es) 2016-12-23 2022-03-23 Gecko Robotics Inc Robot de inspección
JP6681326B2 (ja) * 2016-12-27 2020-04-15 本田技研工業株式会社 作業システムおよび作業方法
US10713487B2 (en) 2018-06-29 2020-07-14 Pixart Imaging Inc. Object determining system and electronic apparatus applying the object determining system
CN108958253A (zh) * 2018-07-19 2018-12-07 北京小米移动软件有限公司 扫地机器人的控制方法及装置
CA3126283A1 (en) 2019-03-08 2020-09-17 Gecko Robotics, Inc. Inspection robot
CN110277163A (zh) * 2019-06-12 2019-09-24 合肥中科奔巴科技有限公司 基于视觉老人及病人床上状态识别与监控预警系统
US11865698B2 (en) 2021-04-20 2024-01-09 Gecko Robotics, Inc. Inspection robot with removeable interface plates and method for configuring payload interfaces
US11971389B2 (en) 2021-04-22 2024-04-30 Gecko Robotics, Inc. Systems, methods, and apparatus for ultra-sonic inspection of a surface

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104842358A (zh) * 2015-05-22 2015-08-19 上海思岚科技有限公司 一种可自主移动的多功能机器人
CN104985599A (zh) * 2015-07-20 2015-10-21 百度在线网络技术(北京)有限公司 基于人工智能的智能机器人控制方法、系统及智能机器人
CN105796289A (zh) * 2016-06-03 2016-07-27 京东方科技集团股份有限公司 导盲机器人

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4087104B2 (ja) * 2001-11-20 2008-05-21 シャープ株式会社 群ロボットシステム
JP3879848B2 (ja) * 2003-03-14 2007-02-14 松下電工株式会社 自律移動装置
ATE524784T1 (de) * 2005-09-30 2011-09-15 Irobot Corp Begleitroboter für persönliche interaktion
ES2706727T3 (es) * 2005-12-02 2019-04-01 Irobot Corp Sistema de robot
JP4528295B2 (ja) * 2006-12-18 2010-08-18 株式会社日立製作所 案内ロボット装置及び案内システム
TW201123031A (en) * 2009-12-24 2011-07-01 Univ Nat Taiwan Science Tech Robot and method for recognizing human faces and gestures thereof
KR101689430B1 (ko) * 2011-02-23 2016-12-23 가부시키가이샤 무라타 세이사쿠쇼 보행 보조차
US9229450B2 (en) * 2011-05-31 2016-01-05 Hitachi, Ltd. Autonomous movement system
CN103809734B (zh) * 2012-11-07 2017-05-24 联想(北京)有限公司 一种电子设备的控制方法、控制器及电子设备
WO2014122751A1 (ja) * 2013-02-07 2014-08-14 富士機械製造株式会社 移動補助ロボット
KR102124509B1 (ko) * 2013-06-13 2020-06-19 삼성전자주식회사 청소 로봇 및 그 제어 방법
KR102094347B1 (ko) * 2013-07-29 2020-03-30 삼성전자주식회사 자동 청소 시스템, 청소 로봇 및 그 제어 방법
ES2613138T3 (es) * 2013-08-23 2017-05-22 Lg Electronics Inc. Robot limpiador y método para controlar el mismo
CN105980965A (zh) * 2013-10-10 2016-09-28 视力移动科技公司 用于非接触式打字的系统、设备和方法
KR102586010B1 (ko) * 2014-02-28 2023-10-11 삼성전자주식회사 청소 로봇 및 그에 포함되는 원격 제어기
KR102328252B1 (ko) * 2015-02-13 2021-11-19 삼성전자주식회사 청소 로봇 및 그 제어방법
US20160345137A1 (en) * 2015-05-21 2016-11-24 Toshiba America Business Solutions, Inc. Indoor navigation systems and methods
KR102431996B1 (ko) * 2015-10-12 2022-08-16 삼성전자주식회사 로봇 청소기 및 그 제어 방법
US20170108874A1 (en) * 2015-10-19 2017-04-20 Aseco Investment Corp. Vision-based system for navigating a robot through an indoor space
GB201518652D0 (en) * 2015-10-21 2015-12-02 F Robotics Acquisitions Ltd Domestic robotic system and method
JP6697768B2 (ja) * 2016-06-29 2020-05-27 パナソニックIpマネジメント株式会社 歩行支援ロボット及び歩行支援方法
CN106092091B (zh) * 2016-08-10 2019-07-02 京东方科技集团股份有限公司 电子机器设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104842358A (zh) * 2015-05-22 2015-08-19 上海思岚科技有限公司 一种可自主移动的多功能机器人
CN104985599A (zh) * 2015-07-20 2015-10-21 百度在线网络技术(北京)有限公司 基于人工智能的智能机器人控制方法、系统及智能机器人
CN105796289A (zh) * 2016-06-03 2016-07-27 京东方科技集团股份有限公司 导盲机器人

Also Published As

Publication number Publication date
CN106092091A (zh) 2016-11-09
US20180245923A1 (en) 2018-08-30
WO2018028200A1 (zh) 2018-02-15

Similar Documents

Publication Publication Date Title
CN106092091B (zh) 电子机器设备
US10943113B2 (en) Drone pre-surveillance
US8972054B2 (en) Robot apparatus, information providing method carried out by the robot apparatus and computer storage media
US11330951B2 (en) Robot cleaner and method of operating the same
US20210405646A1 (en) Marker, method of moving in marker following mode, and cart-robot implementing method
JP5318623B2 (ja) 遠隔操作装置および遠隔操作プログラム
KR102286137B1 (ko) 공기 청정기의 배치 위치를 가이드하는 인공 지능 장치 및 그의 동작 방법
US20090198374A1 (en) Nursing system
CN114391777B (zh) 清洁机器人的障碍躲避方法、装置、电子设备及介质
US11676360B2 (en) Assisted creation of video rules via scene analysis
CN113116224A (zh) 机器人及其控制方法
US11257355B2 (en) System and method for preventing false alarms due to display images
US20210187739A1 (en) Robot and robot system
US20240005648A1 (en) Selective knowledge distillation
US20200281771A1 (en) Movement Aid for the Visually Impaired
Yao et al. Assistive Systems for Visually Impaired People: A Survey

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant