CN111860058A - 一种移动机器人室内功能区域的定位方法及系统 - Google Patents
一种移动机器人室内功能区域的定位方法及系统 Download PDFInfo
- Publication number
- CN111860058A CN111860058A CN201910353080.1A CN201910353080A CN111860058A CN 111860058 A CN111860058 A CN 111860058A CN 201910353080 A CN201910353080 A CN 201910353080A CN 111860058 A CN111860058 A CN 111860058A
- Authority
- CN
- China
- Prior art keywords
- information
- mobile robot
- functional area
- audio signal
- positioning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 230000004044 response Effects 0.000 claims abstract description 13
- 230000005236 sound signal Effects 0.000 claims description 262
- 239000003550 marker Substances 0.000 claims description 30
- 230000000007 visual effect Effects 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 12
- 230000033001 locomotion Effects 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 10
- 230000004807 localization Effects 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 8
- 238000013459 approach Methods 0.000 claims description 7
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 230000001960 triggered effect Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 abstract description 57
- 238000005516 engineering process Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 239000000779 smoke Substances 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000009776 industrial production Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/36—Indoor scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/687—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Manipulator (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本申请公开了一种移动机器人室内功能区域定位的方法，该方法包括，移动机器人触发重定位，获取当前第一特征信息，基于获取的第一特征信息，其中，第一特征信息至少包括各功能区域中的至少一个智能设备响应于重定位所输出的特征信息；识别出预先存储的用于定位功能区域相关的第二特征信息，根据第二特征信息所关联的功能区域，获取功能区域信息，将所获取的功能区域信息作为当前的位置信息。本发明能够根据移动机器人、智能设备功能的不同，采用灵活的定位方式，不需要额外地改造外界环境，适应性强，图像和音频的结合方式，更进一步地提高了定位的鲁棒性，成本低廉，为非工业环境下的室内定位提供了经济的实现方式。
Description
技术领域
本发明涉及室内定位领域，特别地，涉及一种移动机器人室内功能区域的定位方法及系统。
背景技术
近年来，移动机器人以其工作效率高、灵活性强、可靠性高、适用于恶劣工作环境等优点而得到广泛应用。目前各种室内定位方法受成本、定位精度、可靠性、以及易用性等因素的影响，一般有以下几种技术方案：
1、基于激光雷达技术
通过在移动机器人设备上安装单线或多线激光雷达器件，预先对周围环境进行地图构建，以作为已知的地图保存；在任一时刻(实时)观察周围环境的地图特征，与已知的地图中的特征进行对比，从而定位到自身处于地图中的位置。
但基于激光雷达的定位技术也有明显的缺陷，如果遭遇“绑架问题”(将正常移动中的机器人手动搬运到另外的区域)，或者移动机器人所在的区域内有多个特征近似的小区域，都会导致移动机器人定位失败。
2、基于视觉技术
使用计算机视觉分析技术，分析周围环境的特征，从而对周围环境进行地图构建和定位。使用视觉技术进行定位的缺点在于，若环境常常会出现多而小的变动，比如家庭中桌椅位置的变动，窗帘开关，自然光照和灯光的变化等等，会大概率地导致基于视觉的定位失败。
3、基于超声波技术
超声波技术需要在移动机器人及所在环境中放置声波信号源和接收器件，由于受多径效应和非视距传播影响很大，导致室内定位要么硬件投入较大，要么定位效果较差。
4、基于无线通讯技术
基于蓝牙、紫峰(Zigbee)、超宽带(UWB)等无线通讯技术的室内定位方案，需要在移动机器人及周围环境中安装数量较多的信号发射端和接收端，实现成本较高。
基于WiFi技术的定位技术，依赖于环境中WiFi信号的相对稳定，一旦WiFi信号不稳定，比如家用无线路由关闭或者移动位置，将导致定位失败或出错。
5、基于RFID无线射频技术
无线射频技术不具有通信能力，抗干扰能力较差。
另一种基于红外路标的移动机器人定位方式，采用红外发射二极管制作点阵路标，贴附于室内天花板上，移动机器人通过识别此类红外路标，从而实现定位。该定位方法需要额外的布置红外路标，这些红外路标破坏了室内环境的美观，仅适合工业生产环境下的应用。
在上述定位技术中，无论是基于所在环境地图中进行特征比对的激光雷达技术或视觉技术，还是基于收发信号通过通信进行定位的技术，基本是针对工业生产环境下的移动机器人定位设计，成本高昂，对应用环境改动大，欠缺友好。
发明内容
本发明提供了一种移动机器人室内功能区域的定位方法，以解决非工业环境下的移动机器人的室内定位，提高对应用环境的友好性。
本发明提供一种移动机器人室内功能区域定位的方法，该方法包括，
移动机器人触发重定位，获取当前第一特征信息，其中，第一特征信息至少包括各功能区域中的至少一个智能设备响应于重定位所输出的特征信息；
基于获取的第一特征信息，识别出预先存储的用于定位功能区域相关的第二特征信息，
根据第二特征信息所关联的功能区域，获取功能区域信息，将所获取的功能区域信息作为当前的位置信息。
较佳地，该方法进一步包括，
移动机器人进行初始化配置，根据用户的选择配置定位策略，并保存；其中，定位策略包括图像定位方式和/或音频定位方式；
所述移动机器人触发重定位，获取当前第一特征信息进一步包括，
获取定位策略，
如果定位策略是按照图像定位方式，则触发基于图像的定位，获取当前第一特征信息为移动机器人视野范围内的图像信息，、和/或智能设备输出的图像信息；
如果定位策略是按照音频信号定位方式，则触发基于音频信号的定位，获取当前第一特征信息为移动机器人记录的各个智能设备分别输出的第一音频信号；
如果定位策略是按照图像和音频信号定位方式，则并行触发基于音频信号的定位和基于图像信号的定位，获取当前第一特征信息为移动机器人视野范围内的图像信息、和移动机器人记录的各个智能设备分别输出的第一音频信号。
其中，所述定位策略还包括，为图像定位方式和音频定位方式分别设置的优先级，
所述获取定位策略进一步包括，按照优先级顺序，触发执行第一优先级的定位方式，如果第一优先级的定位方式失败后，则触发第二优先级的定位方式，如果第二优先级的定位方式失败，则交替执行第一优先级和第二优先级的定位方式，直至定位成功。
较佳地，所述基于图像的定位进一步包括，移动机器人进行初始化配置，以移动机器人的巡视视角，采集各功能区域中作为功能区域至少一个标志物外观的图像；
所述第二特征信息为功能区域中至少一个标志物图像信息，
所述移动机器人触发重定位，获取当前第一特征信息包括：当移动机器人触发重定位时，移动机器人采集当前视野范围内的图像；通过局域网向具有图像获取功能的智能设备发送重定位指令，使得智能设备响应于所述重定位指令获取其当前视野区域内的图像信息；
所述基于获取的第一特征信息，识别出预先存储的用于定位功能区域相关的第二特征信息包括，
基于移动机器人所采集的当前视野范围内的图像信息、和/或智能设备输出的图像信息，分析和识别当前图像中是否具有用于确定功能区域的标志物；
如果有，则执行所述根据第二特征信息所关联的功能区域，获取功能区域信息，将所获取的功能区域信息作为当前的位置信息的步骤，
如果没有，则采集下一视野范围内的图像；
所述根据第二特征信息所关联的功能区域，获取功能区域信息，将所获取的功能区域信息作为当前的位置信息包括：根据识别出的标志物所对应的功能区域信息，确定当前所在的功能区域。
其中，所述基于图像的定位进一步包括，基于初始化过程中所采集的标志物图像，对图像识别模型进行训练，将训练识别出的结果所对应的功能区域信息保存，
所述分析和识别当前图像中是否具有用于确定功能区域的标志物进一步包括，基于训练好的图像识别模型，分析和识别当前图像中是否具有用于确定功能区域的标志物。
其中，所述基于音频信号的定位进一步包括，移动机器人进行初始化配置，在各个智能设备位置附近分别记录至少一个智能设备输出的第一音频信号，将记录的第一音频信号作为移动机器人在该功能区域的标准音频信号，建立标准音频信号与功能区域信息和/或智能设备的对应关系；
所述第二特征信息为初始化时所存储的标准音频信号；
所述移动机器人触发重定位，获取当前第一特征信息包括：当移动机器人触发重定位时，通过局域网向该局域网中的智能设备发送重定位指令；记录当前来自各个智能设备依次输出的第一音频信号，
所述基于获取的第一特征信息，识别出预先存储的用于定位功能区域相关的第二特征信息包括：将当前记录的第一音频信号与初始化时所存储的标准音频信号进行匹配，
如果匹配成功，则执行所述根据第二特征信息所关联的功能区域，获取功能区域信息，将所获取的功能区域信息作为当前的位置信息的步骤；
如果匹配不成功，则移动机器人在移动中进行定位；
所述根据第二特征信息所关联的功能区域，获取功能区域信息，将所获取的功能区域信息作为当前的位置信息的步骤包括，根据标准音频信号与功能区域信息和/或智能设备的对应关系，得到当前所在功能区域信息。
其中，所述基于音频信号的定位和基于音频信号的定位进一步包括，
移动机器人进行初始化配置，移动机器人分别记录各个功能区域至少一个智能设备输出的音频信号，将该音频信号作为标识移动机器人所在功能区域的标准音频信号，并建立标准音频信号与功能区域信息、和/或智能设备的对应关系；并且，移动机器人分别巡视采集各个功能区域至少一个标志物的外观图像；
所述第二特征信息为初始化时所存储的标准音频信号、和功能区域中至少一个标志物图像信息；
所述移动机器人触发重定位，获取当前第一特征信息包括：当移动机器人触发重定位时，移动机器人通过局域网向各个智能设备发送重定位指令，并采集当前视野范围内的图像；
所述基于获取的第一特征信息，识别出预先存储的用于定位功能区域相关的第二特征信息，包括：基于当前视野范围内的图像信息，分析和识别当前图像中是否具有用于确定功能区域的标志物，并将当前记录的第一音频信号与初始化时所存储的标准音频信号进行匹配；
如果当前视野范围内的图像具有所述标志物，或者，当前记录的第一音频信号与初始化时所存储的标准音频信号匹配成功，则执行所述根据第二特征信息所关联的功能区域，获取功能区域信息，将所获取的功能区域信息作为当前的位置信息的步骤，
否则，则采集下一视野范围内的图像，并在移动中进行定位；
所述根据第二特征信息所关联的功能区域，获取功能区域信息，将所获取的功能区域信息作为当前的位置信息的步骤包括：根据识别出的标志物所对应的功能区域信息，或者，根据标准音频信号与功能区域信息和/或智能设备的对应关系，得到当前所在功能区域信息。
其中，所述移动机器人在移动中进行定位包括：
比较当前记录的第一音频信号与各个标准音频信号的差值；
将最小差值对应的标准音频信号所属的功能区域作为移动方向进行移动，并将标准音频信号对应的智能设备作为逼近的目标智能设备；
当达到重定位触发条件，则向所述目标智能设备发送重定位指令，记录当前来自目标设备输出的第一音频信号；
根据记录的当前第一音频信号增加的趋势，调整移动方向，直至记录的当前第一音频信号与所述标准音频信号匹配。
其中，所述差值为当前记录的第一音频信号的音量值与标准音频信号音量阈值的差值，
所述将当前记录的第一音频信号与初始化时所存储的标准音频信号进行匹配包括：将当前记录的第一音频信号的音量值与所述标准音频信号的音量阈值进行匹配；
所述当前第一音频信号增加的趋势为该信号音量值增加的趋势，
所述重定位触发条件包括，移动位移达到设定的位移阈值，和/或者移动时间达到设定的时间阈值。
本发明还提供一种移动机器人室内功能区域定位的方法，该方法包括，
各个功能区域中的至少一个智能设备分别接收来自移动机器人的重定位指令，
各个智能设备响应于所述重定位指令，分别获取当前第一特征信息，
基于获取的第一特征信息，识别出预先存储的第二特征信息，
根据第二特征信息关联的功能区域，获取功能区域信息，将所获取的功能区域信息作为移动机器人当前的位置信息，返回给移动机器人。
较佳地，该方法进一步包括，
接收来自移动机器人的定位策略，其中，定位策略包括图像定位方式和/或音频定位方式；
对定位策略进行解析，
如果定位策略是按照图像定位方式，则响应所述重定位指令，触发基于图像的定位，获取当前第一特征信息为智能设备所采集图像的信息，
如果定位策略是按照音频信号定位方式，则响应所述重定位指令，触发基于音频信号的定位，获取当前第一特征信息为智能设备所记录的音频信号，
如果定位策略是按照图像和音频信号定位方式，则响应所述重定位指令，并行触发基于图像的定位和基于音频信号的定位，获取当前第一特征信息为智能设备所采集图像的信息、和智能设备记录的音频信号。
其中，所述定位策略还包括，为图像定位方式和音频定位方式分别设置的优先级，
所涉获取定位策略进一步包括，按照优先级顺序，触发执行第一优先级的定位方式，如果第一优先级的定位方式失败后，则触发第二优先级的定位方式，如果第二优先级的定位方式失败，则交替执行第一优先级和第二优先级的定位方式，直至定位成功。
其中，所述第二特征信息为移动机器人图像信息；
所述基于图像的定位进一步包括，进行初始化配置，将各个功能区域中至少一个具有图像获取功能的智能设备所在的功能区域作为图像获取设备的属性信息，预先存储移动机器人的图像信息，或者，基于采集的移动机器人图像，对图像识别模型进行训练；
所述获取当前第一特征信息为智能设备所采集图像的信息包括，各个智能设备分别采集其当前视野区域内的图像信息，
所述基于获取的第一特征信息，识别出预先存储的第二特征信息包括，对所述当前图像进行分析，根据预先存储的移动机器人的图像信息或者训练的图像识别模型进行识别，如果识别出移动机器人，则执行所述根据第二特征信息关联的功能区域，获取功能区域信息的步骤，
所述根据第二特征信息关联的功能区域，获取功能区域信息包括，识别出移动机器人图像信息的智能设备将其功能区域属性信息作为移动机器人的当前位置信息，并根据移动机器人的IP地址返回给移动机器人。
其中，所述智能设备为固定镜头和焦距的图像获取设备，
所述根据第二特征信息关联的功能区域，获取功能区域信息进一步包括，基于图像中移动机器人的位置，通过坐标转换，得到移动机器人在当前功能区域的位置。
较佳地，所述基于音频信号的定位进一步包括，进行初始化配置，各个功能区域中至少一个具有音频采集功能的智能设备分别记录移动机器人在该智能设备附近输出的第一音频信号，将记录的第一音频信号作为移动机器人在该功能区域的标准音频信号，并建立标准音频信号与功能区域信息和/或智能设备的对应关系，
所述第二特征信息为初始化配置时存储的标准音频信号，
所述基于获取的第一特征信息，识别出预先存储的第二特征信息包括，各个智能设备分别将其当前记录的音频信号与初始化配置时存储的标准音频信号进行匹配，
如果匹配成功，则标准音频信号被匹配成功的智能设备执行所述根据第二特征信息关联的智能设备所对应的功能区域，获取功能区域信息的步骤，
如果匹配不成功，则监测当前音频信号的变化趋势；其中，当前音频信号的变化趋势为移动机器人在预定时间阈值内未收到任一来自智能设备的功能区域信息反馈时向任意方向移动中定位过程中所输出的第一音频信号的变化趋势；
所述根据第二特征信息关联的功能区域，获取功能区域信息包括，根据被匹配成功的标准音频信号所对应的功能区域信息或者智能设备，获取功能区域信息；被匹配成功的标准音频信号对应的智能设备根据移动机器人的IP地址，向移动机器人返回所述功能区域信息。
较佳地，所述基于音频信号的定位和基于图像的定位进一步包括，
进行初始化配置，将各个功能区域中至少一个具有图像获取功能的智能设备所在的功能区域作为智能设备的属性信息，预先存储移动机器人的图像信息，或者，基于采集的移动机器人图像，对图像识别模型进行训练；和/或
各个功能区域中至少一个具有音频采集功能的智能设备分别记录移动机器人在该智能设备附近输出的第一音频信号，将记录的第一音频信号作为移动机器人在该功能区域的标准音频信号，并建立标准音频信号与功能区域信息和/或智能设备的对应关系，
所述第二特征信息为移动机器人图像信息、和初始化配置时存储的标准音频信号；
所述基于获取的第一特征信息，识别出预先存储的第二特征信息，包括，各个具有图像获取功能的智能设备分别对所述当前图像进行分析，根据预先存储的移动机器人的图像信息或者训练的图像识别模型进行识别，并且，各个具有音频采集功能的智能设备分别将其当前记录的音频信号与初始化配置时存储的标准音频信号进行匹配，
如果识别出移动机器人图像，或者标准音频信号被匹配成功，则执行所述根据第二特征信息关联的功能区域，获取功能区域信息的步骤，
否则，监测当前音频信号的变化趋势；其中，当前音频信号的变化趋势为移动机器人在预定时间阈值内未收到任一来自智能设备的功能区域信息反馈时向任意方向移动中定位过程中所输出的第一音频信号的变化趋势；
所述根据第二特征信息关联的功能区域，获取功能区域信息包括，识别出移动机器人图像信息的智能设备将其功能区域属性信息作为移动机器人的当前位置信息，或者，根据被匹配成功的标准音频信号所对应的功能区域信息或者智能设备，获取功能区域信息；所述功能区域对应的智能设备根据移动机器人的IP地址，向移动机器人返回所述功能区域信息。
其中，所述当前记录的音频信号与初始化配置时存储的标准音频信号进行匹配包括，将当前记录的音频信号的音量值与标准音频信号的音量阈值进行匹配，
所述监测当前音频信号的变化趋势包括，记录当前音频信号的音量值变化趋势，音量值持续变大的智能设备向移动机器人发送维持当前移动方向的指令，以使得移动机器人逼近该智能设备。
其中，所述当前记录的音频信号与初始化配置时存储的标准音频信号进行匹配包括，将当前记录的音频信号的音量值与标准音频信号的音量阈值进行匹配，
所述监测当前音频信号的变化趋势包括，各个智能设备根据音频信号的多普勒效应，根据所记录的第一音频信号频段的变化，确定移动机器人是远离还是接近，调整移动机器人的移动方向，使移动机器人持续地逼近当前采集的音频信号音量值最大的智能设备，直至该智能设备记录的音量值与该智能设备对应的标准音频信号的音量阈值匹配。
本发明提供的一种可实现移动机器人室内功能区域定位的系统，该系统包括连接于局域网的至少一个移动机器人、以及连接于所述局域网的至少一个智能设备，
所述移动机器人，
触发重定位，获取当前第一特征信息，其中，第一特征信息至少包括各功能区域中的至少一个智能设备响应于重定位所输出的特征信息；
基于获取的第一特征信息，识别出预先存储的用于定位功能区域相关的第二特征信息，
根据第二特征信息所关联的功能区域，获取功能区域信息，将所获取的功能区域信息作为当前的位置信息；
所述智能设备，
接收来自移动机器人的重定位指令，
响应于所述重定位指令，获取当前第三特征信息，
基于获取的第三特征信息，识别出预先存储的第四特征信息，
根据第四特征信息关联的功能区域，获取功能区域信息，将所获取的功能区域信息作为移动机器人当前的位置信息，返回给移动机器人。
较佳地，该系统还包括通过局域网与所述智能设备和/或移动机器人建立连接的网关设备，所述网关设备为所述智能设备和/或移动机器人进行数据的传输。服务器
较佳地，该系统还包括通过互联网与所述网关设备连接的服务器，所述服务器对来自所述智能设备和/或移动机器人的数据进行分析，并返回分析结果。
本发明提出的移动机器人室内功能区域的定位方法，利用分布在功能区域内的固定物(包括智能设备)，基于与固定物关联的图像和/或音频信号，定位移动机器人所在的功能区域位置。本发明能够根据移动机器人、智能设备功能的不同，采用灵活的定位方式，不需要额外地改造外界环境，适应性强，图像和音频的结合方式，更进一步地提高了定位的鲁棒性，成本低廉，为非工业环境下的室内定位提供了经济的实现方式。
附图说明
图1是智能家居设备平面的一种示意图。
图2为智能家居设备的一种网络拓扑示意图。
图3为通过具有图像采集功能的智能设备所采集的当前移动机器人的图像来使得移动机器人获得功能区域信息的一种示意图。
图4为具有固定镜头的智能设备的视野区域范围的一种示意图。
图5为具有图像采集功能的移动机器人进行功能区域定位的一种流程示意图。
图6为基于音频信号来定位的一种流程示意图。
图7为基于音频信号来定位的另一实施例的一种流程示意图。
图8为本发明采用音频和图像相结合来进行定位的一种流程示意图。
图9为实施例1和实施例3组合的移动音频和图像相结合的定位方法的一种示意图
具体实施方式
为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。
申请人在分析移动机器人在室内环境中无法定位的后果发现：1)无法在移动机器人电力过低的时候，回到充电座自动充电；2)无法前往指定地点完成特定工作。以家居类的移动机器人为例，比如扫地机器人的清扫区域，是按功能划分区域的，比如厨房，客厅，卧室等等，从前述第2点来看，应用环境并不需要过于精确的定位，只要不进错功能区域即可。另外，目前的自动回充技术方案，一般能保证简单环境下(同一房间)的回充，也就是说，在非工业生产的应用环境下，例如，在诸如机场、车站、码头、酒店、商场、家居、写字楼、图书馆等消费类用户环境下，移动机器人的功能需求决定了定位精度不需要特别高，只需要保证所定位的功能区域范围准确。
本申请提出的移动机器人室内功能区域的定位方法，利用分布在功能区域内的固定物，基于与固定物关联的图像和/或音频信号，定位移动机器人所在的功能区域位置。
以下以智能家居系统中移动机器人的定位为实施例来说明。
从应用功能来说，智能家居系统主要包括了安全防护功能、家电自动化功能、多媒体娱乐功能；其中，安全防护功能所对应的设备可以有：摄像头，电子猫眼，红外报警器，水浸传感器，烟感传感器，指纹锁等，家电自动化功能包括智能插座，智能窗帘等，多媒体娱乐功能包括，儿童陪伴机器人，运动相机等。
从室内功能区域来说，智能家居系统包括了厨房智能系统、卫生间智能系统、门禁智能系统、卧室智能系统、餐厅智能系统、客厅智能系统等。
参见图1所示，图1为智能家居设备平面的一种示意图。按照家居功能区域的划分，分别在各个功能区域安装智能设备，例如，玄关区域安装有玄关摄像头、以及智能锁，厨房区域安装有烟感传感器，客厅区域安装有客户摄像头，餐厅区域安装有餐厅摄像头，卫生间安装有水浸传感器，卧室区域安装有智能窗帘，上述区域还可均安装智能插座，移动机器人作为自动化作业功能，可以位于任一功能区域。用户使用应用软件对家居环境中的智能设备进行管理，对于固定安装的设备，以其所在功能区域作为智能设备的固有属性信息进行管理。
参见图2所示，图2为智能家居设备的一种网络拓扑示意图。智能设备通过自带的网络模块或者通过网关连接至智能家居的云服务，例如，摄像头、移动机器人通过自带的网络模块连接至云服务，智能锁、智能窗帘、水浸传感器、烟感传感器、智能插座等通过网关连接至云服务，例如服务器。
实施例1：
参见图3所示，图3为通过具有图像采集功能的智能设备(图像获取设备)所采集的当前移动机器人的图像来使得移动机器人获得功能区域信息的一种示意图。
在初始化配置时，建立智能设备与功能区域的对应关系，即，将智能设备所在的功能区域作为智能设备的属性信息；预先存储移动机器人的图像信息，以进行图像的分析和识别。
在移动机器人在家居环境中遇到“绑架问题”或“迷路问题”或者其它导致移动机器人无法正确确定自身位置的情况下，移动机器人发出重定位指令，通过智能家居设备的网络(局域网)发送给连接于同一局域网的智能设备；
固定安装于功能区域的具有图像采集功能的智能设备接收到重定位指令后，触发对当前采集的图像分析；如果从图像中识别出移动机器人，说明移动机器人目前处于该智能设备的视野区域内，则该智能设备将其区域属性返回给移动机器人，移动机器人根据所述区域属性判断出当前所处的区域，由此完成定位。
对于镜头是固定镜头、固定焦距、且无云台转动功能的图像获取设备，那么其视野范围也是固定的，如图4所示，图4为具有固定镜头的图像获取设备的视野区域范围的一种示意图，其中，阴影区域是客厅摄像头视野区域。如果在摄像头采集的图像中某个位置识别出了移动机器人，就可以通过坐标转换，从而确定移动机器人在客厅的具体位置。
上述图像的分析可以采用视频算法实现，视频算法可以运行在本地，也可以运行在云服务端。
本实施例的定位方法，基于图像获取设备所采集的图像而进行移动机器人的识别，适用于安装有大量图像获取设备的公共场所，例如车站、机场、写字楼等。
实施例2：
实际应用中，在涉及隐私的功能区域通常不会安装图像获取设备，例如家居环境中的卫生间、卧室，实施例2给出了由具有图像采集功能的移动机器人通过所采集的功能区域中特征图像来定位的方法。
参见图5所示，图5为具有图像采集功能的移动机器人进行功能区域定位的一种流程示意图。
步骤501，移动机器人进行初始化时，以移动机器人的巡视视角，采集各功能区域中作为功能区域至少一个标志物的外观图像，其中，作为功能区域标志物可以是固定物体，例如，固定安装的智能设备，厨房烟雾传感器、卫生间水浸传感器等，如果智能设备外观近似，则还可以以移动几率较少的电视机、冰箱等电器设备和/或大型家具作为标志物。
步骤502，为了提高图像的识别准确性，较佳地，基于所采集的标志物图像对图像识别模型进行训练，并将训练识别出的结果所对应的功能区域信息保存在本地，或上传至云服务端。上述图像训练识别过程可以在移动机器人执行，也可以在云服务端执行。
步骤503，当移动机器人触发重定位时，移动机器人采集当前视野范围内的图像，基于训练好的图像识别模型，分析和识别当前图像中是否具有用于确定功能区域的标志物，如果有，则根据该标志物所对应的功能区域信息确定当前所在的功能区域，如果没有，则采集下一视野范围内的图像，例如，将摄像头调整到与当前视野范围相邻的另一视野范围，直至识别出标志物。
进一步地，鉴于智能设备与移动机器人在非工业室内应用场景下关联性佳，结合实施例1，上述步骤503还包括，具有图像获取功能的智能设备响应于移动机器人的重定位，获取其当前视野区域内的图像信息，并将所述图像信息发送给移动机器人，移动机器人基于移动机器人所采集的图像、和/或智能设备所采集的图像，进行图像识别。
本实例中的移动机器人定位方法，由移动机器人将自行采集外界图像、和/或智能设备获取的当前图像来完成定位，提高了系统的鲁棒性以及图像识别的效率，便于性能的升级，对应用环境中的设备要求低，适用性广。
实施例3：
为避免图像采集识别的定位方式会受限于光线、图像采集条件等的影响，本实施例提出了基于音频信号来定位的方法。
参见图6所示，图6为基于音频信号来定位的一种流程示意图。在该实施例中，固定安装的智能设备具有音频采集功能，移动机器人具有音频信号输出功能，智能设备通过所采集的一定频段、一定音量的音频信号来判断移动机器人的当前位置。该方法具体包括，
步骤601，初始化配置：移动机器人在各个智能设备位置附近，输出一定频段、一定音量的第一音频信号，所述频段可以是人类可听到的频段，也可以是超声波频段，从信号承载的内容而言，该音频信号可以是一段语音，也可以是一段音乐，只要能被智能设备所采集到即可。
智能设备记录移动机器人在该智能设备附近所输出的音频信号的频段、音量，将记录的音频信号作为移动机器人在该功能区域的标准音频信号，并建立标准音频信号与功能区域信息、和/或智能设备的对应关系，例如，将智能设备所在功能区域信息作为所述标准音频信号的属性信息。
步骤602，当移动机器人触发重定位时，移动机器人输出所述第一音频信号，由于分布在各个功能区域的智能设备与移动机器人距离远近不同，受墙壁、家具等隔断的影响，不同功能区域的智能设备所采集的音频信号音量大小不同，各个智能设备将当前采集的音频信号与初始化时所存储的标准音频信号的音量阈值进行匹配，较佳地，该阈值可以为区间值。
如果当前采集的音量值在标准音频信号音量值阈值范围内，则判定移动机器人处于该智能设备所在的功能区域，智能设备将标准音频信号对应的功能区域信息反馈给移动机器人；
如果移动机器人在预设的时间阈值内未收到任一来自智能设备的反馈，则移动机器人向任意方向移动的同时持续输出第一音频信号，各个智能设备记录采集音频信号的音量值变化趋势，音量值持续变大的智能设备向移动机器人发送维持移动机器人的当前移动方向指令，以使得移动机器人向该智能设备靠近，直至该智能设备采集的音量值在标准音频信号的音量阈值范围内时，则该智能设备将记录的标准音频信息对应的功能区域信息反馈给移动机器人，从而使得移动机器人确定当前所在位置。上述基于音量值变化趋势而逼近智能设备的过程中，可以多次调整移动机器人的移动方向。
在移动机器人向任意方向移动时，各个智能设备还可以根据音频信号的多普勒效应，基于所采集的第一音频信号频段的变化情况，来确定移动机器人是远离还是接近，再调整移动机器人的移动方向，使移动机器人持续地逼近当前采集的音频信号音量值最大的智能设备，直至该智能设备测得的音量值在标准音频信号的音量阈值范围内。
在上述实施方式中，对于不同的智能设备，所配置的标准音频信号相同，以有利于降低复杂度。
作为另一实施方式，对于不同的智能设备，所配置的标准音频信号可以不相同，例如，不同的智能设备配置对应不同频段的音频信号，这种方式下，移动机器人在重定位过程中输出所有不同频段的音频信号，各个智能设备因与移动机器人的距离不同、音频信号传输的路径不同，从而所接收的音频信号的强弱不同，由此接收到音频信号最强的智能设备向移动机器人返回智能设备的功能区域属性信息，从而移动机器人获取当前功能区域信息，如果无智能设备返回功能区域属性信息，则可按照音频信号增强的方向调整移动机人人移动方向，以逼近接收音频信号最强的智能设备。
如果功能区域中的智能设备有多个，初始化配置时可以仅选择其中的一个作为标示功能区域的智能设备，以进一步整体降低复杂度。
本实施例中的移动机器人的定位方法，由于音频采集功能和音频输出功能易于实现，便于集成于各种智能设备和移动机器人中，受外界因素影响少，具有较强的抗干扰性和鲁棒性，并且以移动机器人为主的定位方式，不需要额外地改造环境，便于移动机器人的升级。
实施例4：
基于实施例3的构思，可以将智能设备中的音频采集功能和移动机器人中的音频播放功能进行互换，由智能设备输出音频信号，移动机器人记录所采集的智能设备音频信号，将该音频信号作为标准音频信号。
参见图7所示，图7为基于音频信号来定位的另一实施例的一种流程示意图。具体包括，
步骤701，初始化配置：在各个智能设备所在的功能区域，移动机器人分别采集和记录各个智能设备输出的音频信号，该音频信号作为标识各个功能区域的标准音频信号，并建立标准音频信号与功能区域信息、和/或智能设备的对应关系。
步骤702，当移动机器人遇到“绑架问题”或“迷路问题”或者其它导致移动机器人无法正确确定自身位置的情况下，移动机器人发出重定位的指令，通过网络发送给同一局域网中所有智能设备；
步骤703，所有智能设备接收到重定位指令后，依次输出音频信号，移动机器人采集当前音频信号，并将当前音频信号的音量值与初始化配置时所存储的各个标准音频信号的音量阈值范围进行匹配，
如果匹配成功，则判定移动机器人处于匹配的标准音频信号所对应的功能区域，根据标准音频信号与功能区域信息的对应关系，得到当前所在功能区域，
如果匹配不成功，则移动机器人比较当前音频信号的音量值与各个标准音频信号的音量阈值的差值，由于当前音频信号的音量值越大，其与一标准音频信号的音量阈值越接近，从而差值也越小，故而，可以将最小差值对应的标准音频信号所属的功能区域作为移动的方向，将该标准音频信号对应的智能设备作为逼近的目标智能设备；
当移动位移达到设定的位移阈值，或者移动时间达到设定的时间阈值时，移动机器人根据目标智能设备的IP地址向目标智能设备发送重定位指令；目标智能设备响应与所述重定位指令，输出音频信号；移动机器人根据所采集的当前音频信号的音量值逐步调整移动的方向，直至采集的音频信号的音量值与初始化配置时所存储的各个标准音频信号的音量阈值范围匹配，由此获取移动机器人当前所在功能区域。
在本实施例中，如果功能区域中的智能设备有多个，初始化配置时可以仅选择其中的一个作为标示功能区域的智能设备，以进一步整体降低复杂度。
本实施例中的移动机器人的定位方法，复杂度低，易于实现，受外界因素影响少，具有较强的抗干扰性和鲁棒性，适用于不方便安装图像获取设备或的私密应用环境中。
实施例5：
本实施例提供的移动机器人定位方法，采用音频和图像相结合的方式来进行定位，以进一步提高定位的鲁棒性。在本实施例中，智能设备具有音频信号输出功能，移动机器人具有音频信号采集功能以及图像采集功能。
参见图8所示，图8为本发明实施例5采用音频和图像相结合来进行定位的一种流程示意图。
步骤801，初始化配置：
在同一功能区域中，用户选择至少一个智能设备作为标志该功能区域的智能设备，如需要提高定位的可靠性，也可以选择多个；移动机器人分别采集和记录各个功能区域的智能设备输出的音频信号，该音频信号作为标识各个功能区域的标准音频信号，并建立标准音频信号与功能区域信息、和/或智能设备的对应关系。
在同一功能区域中，移动机器人巡视采集功能区域中作为该功能区域至少一个标志物的外观图像，基于所采集的标志物图像对图像识别模型进行训练，并将训练识别出的结果所对应的功能区域信息保存在本地，或上传至云服务端。上述图像训练识别过程可以在移动机器人执行，也可以在云服务端执行。
进一步地，由于移动机器人既可以采用音频信号定位，又可以采用图像定位，还可以同时采用音频和图像定位，用户可以根据需求选择不同的定位方式，形成定位策略，以作为配置信息保存。此外，用户还可以为不同的定位方式设置不同的优先级。
步骤802，当移动机器人触发重定位时，移动机器人获取定位策略，
如果用户选择的定位策略是按照音频信号定位方式，则移动机器人通过局域网向各个智能设备发送重定位指令，后续，移动机器人和智能设备则按照实施例4中的步骤703来进行定位，
如果用户选择的定位策略是按照图像定位方式，则移动机器人按照实施例2中的步骤503来进行定位，
如果用户选择的定位策略中设置了优先级，例如，图像定位优先于音频定位，则移动机器人先按照实施例2中的步骤503来进行定位；当图像定位失败时，再向各个智能设备发送重定位指令，后续，移动机器人和智能设备则按照实施例4中的步骤703来进行定位；当音频定位失败，则交替执行图像定位和音频定位，直至定位完成。
如果用户选择的定位策略是音频和图像定位，但未设置优先级，鉴于音频定位方式受外界因素影响较小，可设置移动机器人默认先进行音频定位，当音频定位失败后，再采用图像定位，则移动机器人先通过局域网向各个智能设备发送重定位指令，后续，移动机器人和智能设备则按照实施例4中的步骤703来进行定位；当音频定位失败时，移动机器人再次触发重定位，移动机器人采集当前视野范围内的图像，并按照实施例2中的步骤503来进行定位；当图像定位失败，则交替执行音频定位和图像定位，直至定位完成。另一实施方式是，音频和图像定位并行分别进行，则移动机器人向各个智能设备发送重定位指令，同时采集当前视野范围内的图像，实施例4中的步骤703和实施例中的步骤503并行执行，当任意定位方式下得到定位结果，则完成定位。这种音频和图像并行定位的方式有利于提高定位的效率和鲁棒性。
本实施例的移动机器人定位方法，能够通过不同定位方式的组合和选择，结合实际应用场景，确定出最适应于外界环境的定位方法，既能满足定位的效率，又提高了定位的鲁棒性，同时具有灵活性。
本实施例所采用的音频和图像相结合的定位方式是实施例2和实施例4的组合，具体应用中，可以根据移动机器人、智能设备、图像获取设备的实际情况，按照实施1和2中的任一种与实施例3和4的任一种进行组合。
实施例6：
参加图9所示，图9为实施例1和实施例3组合的移动音频和图像相结合的定位方法的一种示意图。在本实施例中，至少一个智能设备具有音频信号输出功能，并且至少一个智能设备具有图像获取功能，或者，至少一个既具音频信号输出功能又具有图像获取功能的智能设备，移动机器人具有音频信号采集功能以及图像采集功能。
步骤901，进行初始化配置：
将各个功能区域中至少一个具有图像获取功能的智能设备所在的功能区域作为智能设备的属性信息，预先存储移动机器人的图像信息，或者，基于采集的移动机器人图像，对图像识别模型进行训练；和/或
各个功能区域中至少一个具有音频采集功能的智能设备分别记录移动机器人在该智能设备附近输出的第一音频信号，将记录的第一音频信号作为移动机器人在该功能区域的标准音频信号，并建立标准音频信号与功能区域信息和/或智能设备的对应关系，
步骤902，移动机器人触发重定位，通过局域网向所有智能设备发送重定位指令，并发送用户设置的定位策略；其中，定位策略包括图像定位方式和/或音频定位方式，进一步地，还可设置该两种方式的优先级，
步骤903，智能设备解析所述定位策略，
如果定位策略是按照图像定位方式，则响应所述重定位指令，触发基于图像的定位方式，即，执行实施例1中触发对当前采集的图像进行分析并进行识别的步骤，
如果定位策略是按照音频信号定位方式，则响应所述重定位指令，触发基于音频信号的定位方式，即，执行实施例3中的步骤602，
如果定位策略是按照图像和音频信号定位方式，则响应所述重定位指令，并行触发基于音频信号的定位方式和基于图像的定位方式并行定位方式，即，并行执行实施例1中触发对当前采集的图像进行分析并进行识别的步骤，和执行实施例3中的步骤602，
如果具有优先级，则按照优先级顺序触发相应的定位方式，如果第一优先级的定位方式失败后，则触发第二优先级的定位方式，如果第二优先级的定位方式失败，则交替执行第一优先级和第二优先级的定位方式，直至定位成功。
尽管智能设备本身所具有的功能不同，但并不妨碍智能设备对相应定位方式的处理，例如，当不具有图像获取功能的智能设备收到的是按照图像定位方式定位时，该智能设备对该重定位指令不进行响应即可。
本发明实施例可以兼顾同一局域网中具有各种不同功能智能设备的情形下的移动机器人定位，适应性强，灵活性好，并能充分发挥各个不同功能的智能设备的作用，从而使得鲁棒性更高。
本发明实施例还提供了一种可实现室内功能区域定位的移动机器人，该移动机器人包括存储器和处理器，所述存储器用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的程序，实现实施例1-6的定位方法。
本发明实施例还提供了一种可实现移动机器人室内功能区域定位的智能设备，所述智能设备包括存储器和处理器，所述存储器用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的程序，实现实施例1-6任一所述定位方法。
本发明实施例一种可实现移动机器人室内功能区域定位的系统，从硬件结构而言，该系统包括连接于局域网的至少一个移动机器人、以及连接于所述局域网的至少一个智能设备，所述局域网通过互联网接入云服务，例如，服务器，其中，
所述移动机器人包括第一存储器和第一处理器，所述第一存储器用于存放计算机程序；所述第一处理器，用于执行所述存储器上所存放的程序，实现实施例1-6任一所述定位方法；
所述智能设备包括第二存储器和第二处理器，所述第二存储器用于存放计算机程序；所述第二处理器，用于执行所述存储器上所存放的程序，实现实施例1-6任一所述定位方法。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储功能。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明所提供的一种可实现移动机器人室内功能区域定位的系统，从组网功能而言，该系统包括连接于局域网的至少一个移动机器人、以及连接于所述局域网的至少一个智能设备，
所述移动机器人，
触发重定位，获取当前第一特征信息，其中，第一特征信息至少包括各功能区域中的至少一个智能设备响应于重定位所输出的特征信息；
基于获取的第一特征信息，识别出预先存储的用于定位功能区域相关的第二特征信息，
根据第二特征信息所关联的功能区域，获取功能区域信息，将所获取的功能区域信息作为当前的位置信息
所述智能设备，
接收来自移动机器人的重定位指令，
响应于所述重定位指令，获取当前第三特征信息，
基于获取的第三特征信息，识别出预先存储的第四特征信息，
根据第四特征信息关联的功能区域，获取功能区域信息，将所获取的功能区域信息作为移动机器人当前的位置信息，返回给移动机器人。
该系统还包括通过局域网与所述智能设备和/或移动机器人建立连接的网关设备，所述网关设备为所述智能设备和/或移动机器人进行数据的传输，在该实施方式中，数据的分析和处理由智能设备、移动机器人本身完成。
作为另一实施方式，该系统还包括通过互联网与所述网关设备连接的服务器，所述服务器对来自所述智能设备和/或移动机器人的数据进行分析，并返回分析结果。
需要说明的是，根据智能设备、移动机器人所具有的功能、以及各个功能区域的智能设备分布和安装情况，对本发明的各个实施例进行组合和调整，例如，在移动机器人移动定位过程中，可以结合对自然语言的语义理解来调整移动的方向。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (21)
1.一种移动机器人室内功能区域定位的方法，其特征在于，该方法包括，
移动机器人触发重定位，获取当前第一特征信息，其中，第一特征信息至少包括各功能区域中的至少一个智能设备响应于重定位所输出的特征信息；
基于获取的第一特征信息，识别出预先存储的用于定位功能区域相关的第二特征信息，
根据第二特征信息所关联的功能区域，获取功能区域信息，将所获取的功能区域信息作为当前的位置信息。
2.如权利要求1所述的方法，其特征在于，该方法进一步包括，
移动机器人进行初始化配置，根据用户的选择配置定位策略，并保存；其中，定位策略包括图像定位方式和/或音频定位方式；
所述移动机器人触发重定位，获取当前第一特征信息进一步包括，
获取定位策略，
如果定位策略是按照图像定位方式，则触发基于图像的定位，获取当前第一特征信息为移动机器人视野范围内的图像信息、和/或智能设备输出的图像信息；
如果定位策略是按照音频信号定位方式，则触发基于音频信号的定位，获取当前第一特征信息为移动机器人记录的各个智能设备分别输出的第一音频信号；
如果定位策略是按照图像和音频信号定位方式，则并行触发基于音频信号的定位和基于图像信号的定位，获取当前第一特征信息为移动机器人视野范围内的图像信息、和/或智能设备输出的图像信息、和移动机器人记录的各个智能设备分别输出的第一音频信号。
3.如权利要求2所述的方法，其特征在于，所述定位策略还包括，为图像定位方式和音频定位方式分别设置的优先级，
所述获取定位策略进一步包括，按照优先级顺序，触发执行第一优先级的定位方式，如果第一优先级的定位方式失败后，则触发第二优先级的定位方式，如果第二优先级的定位方式失败，则交替执行第一优先级和第二优先级的定位方式，直至定位成功。
4.如权利要求3所述的方法，其特征在于，所述基于图像的定位进一步包括，移动机器人进行初始化配置，以移动机器人的巡视视角，采集各功能区域中作为功能区域至少一个标志物外观的图像；
所述第二特征信息为功能区域中至少一个标志物图像信息，
所述移动机器人触发重定位，获取当前第一特征信息包括：
当移动机器人触发重定位时，移动机器人采集当前视野范围内的图像；通过局域网向具有图像获取功能的智能设备发送重定位指令，使得智能设备响应于所述重定位指令获取其当前视野区域内的图像信息；
所述基于获取的第一特征信息，识别出预先存储的用于定位功能区域相关的第二特征信息包括，
基于移动机器人所采集的当前视野范围内的图像信息、和/或智能设备输出的图像信息，分析和识别当前图像中是否具有用于确定功能区域的标志物；
如果有，则执行所述根据第二特征信息所关联的功能区域，获取功能区域信息，将所获取的功能区域信息作为当前的位置信息的步骤，
如果没有，则采集下一视野范围内的图像；
所述根据第二特征信息所关联的功能区域，获取功能区域信息，将所获取的功能区域信息作为当前的位置信息包括：根据识别出的标志物所对应的功能区域信息，确定当前所在的功能区域。
5.如权利要求4所述的方法，其特征在于，所述基于图像的定位进一步包括，基于初始化过程中所采集的标志物图像，对图像识别模型进行训练，将训练识别出的结果所对应的功能区域信息保存，
所述分析和识别当前图像中是否具有用于确定功能区域的标志物进一步包括，基于训练好的图像识别模型，分析和识别当前图像中是否具有用于确定功能区域的标志物。
6.如权利要求3所述的方法，其特征在于，所述基于音频信号的定位进一步包括，移动机器人进行初始化配置，在各个智能设备位置附近分别记录至少一个智能设备输出的第一音频信号，将记录的第一音频信号作为移动机器人在该功能区域的标准音频信号，建立标准音频信号与功能区域信息和/或智能设备的对应关系；
所述第二特征信息为初始化时所存储的标准音频信号；
所述移动机器人触发重定位，获取当前第一特征信息包括：当移动机器人触发重定位时，通过局域网向该局域网中的智能设备发送重定位指令；记录当前来自各个智能设备依次输出的第一音频信号，
所述基于获取的第一特征信息，识别出预先存储的用于定位功能区域相关的第二特征信息包括：将当前记录的第一音频信号与初始化时所存储的标准音频信号进行匹配，
如果匹配成功，则执行所述根据第二特征信息所关联的功能区域，获取功能区域信息，将所获取的功能区域信息作为当前的位置信息的步骤；
如果匹配不成功，则移动机器人在移动中进行定位；
所述根据第二特征信息所关联的功能区域，获取功能区域信息，将所获取的功能区域信息作为当前的位置信息的步骤包括，根据标准音频信号与功能区域信息和/或智能设备的对应关系，得到当前所在功能区域信息。
7.如权利要求2所述的方法，其特征在于，所述基于音频信号的定位和基于图像信号的定位进一步包括，
移动机器人进行初始化配置，移动机器人分别记录各个功能区域至少一个智能设备输出的音频信号，将该音频信号作为标识移动机器人所在功能区域的标准音频信号，并建立标准音频信号与功能区域信息、和/或智能设备的对应关系；并且，移动机器人分别巡视采集各个功能区域至少一个标志物的外观图像；
所述第二特征信息为初始化时所存储的标准音频信号、和功能区域中至少一个标志物图像信息；
所述移动机器人触发重定位，获取当前第一特征信息包括：当移动机器人触发重定位时，采集当前视野范围内的图像，并通过局域网向具有图像获取功能的智能设备发送重定位指令，使得智能设备响应于所述重定位指令获取其当前视野区域内的图像信息；
所述基于获取的第一特征信息，识别出预先存储的用于定位功能区域相关的第二特征信息，包括：基于移动机器人所采集的当前视野范围内的图像信息、和/或智能设备输出的图像信息，分析和识别当前图像中是否具有用于确定功能区域的标志物，并将当前记录的第一音频信号与初始化时所存储的标准音频信号进行匹配；
如果当前视野范围内的图像具有所述标志物，或者，当前记录的第一音频信号与初始化时所存储的标准音频信号匹配成功，则执行所述根据第二特征信息所关联的功能区域，获取功能区域信息，将所获取的功能区域信息作为当前的位置信息的步骤，
否则，则采集下一视野范围内的图像，并在移动中进行定位；
所述根据第二特征信息所关联的功能区域，获取功能区域信息，将所获取的功能区域信息作为当前的位置信息的步骤包括：根据识别出的标志物所对应的功能区域信息，或者，根据标准音频信号与功能区域信息和/或智能设备的对应关系，得到当前所在功能区域信息。
8.如权利要求6或7所述的方法，其特征在于，所述移动机器人在移动中进行定位包括：
比较当前记录的第一音频信号与各个标准音频信号的差值；
将最小差值对应的标准音频信号所属的功能区域作为移动方向进行移动，并将标准音频信号对应的智能设备作为逼近的目标智能设备；
当达到重定位触发条件，则向所述目标智能设备发送重定位指令，记录当前来自目标设备输出的第一音频信号；
根据记录的当前第一音频信号增加的趋势，调整移动方向，直至记录的当前第一音频信号与所述标准音频信号匹配。
9.如权利要求8所述的方法，其特征在于，所述差值为当前记录的第一音频信号的音量值与标准音频信号音量阈值的差值，
所述将当前记录的第一音频信号与初始化时所存储的标准音频信号进行匹配包括：将当前记录的第一音频信号的音量值与所述标准音频信号的音量阈值进行匹配；
所述当前第一音频信号增加的趋势为该信号音量值增加的趋势，
所述重定位触发条件包括，移动位移达到设定的位移阈值，和/或者移动时间达到设定的时间阈值。
10.一种移动机器人室内功能区域定位的方法，其特征在于，该方法包括，
各个功能区域中的至少一个智能设备分别接收来自移动机器人的重定位指令，
各个智能设备响应于所述重定位指令，分别获取当前第一特征信息，
基于获取的第一特征信息，识别出预先存储的第二特征信息，
根据第二特征信息关联的功能区域，获取功能区域信息，将所获取的功能区域信息作为移动机器人当前的位置信息，返回给移动机器人。
11.如权利要求10所述的方法，其特征在于，该方法进一步包括，
接收来自移动机器人的定位策略，其中，定位策略包括图像定位方式和/或音频定位方式；
对定位策略进行解析，
如果定位策略是按照图像定位方式，则响应所述重定位指令，触发基于图像的定位，获取当前第一特征信息为智能设备所采集图像的信息，
如果定位策略是按照音频信号定位方式，则响应所述重定位指令，触发基于音频信号的定位，获取当前第一特征信息为智能设备所记录的音频信号，
如果定位策略是按照图像和音频信号定位方式，则响应所述重定位指令，并行触发基于图像的定位和基于音频信号的定位，获取当前第一特征信息为智能设备所采集图像的信息、和智能设备记录的音频信号。
12.如权利要求10所述的方法，其特征在于，所述定位策略还包括，为图像定位方式和音频定位方式分别设置的优先级，
所涉获取定位策略进一步包括，按照优先级顺序，触发执行第一优先级的定位方式，如果第一优先级的定位方式失败后，则触发第二优先级的定位方式，如果第二优先级的定位方式失败，则交替执行第一优先级和第二优先级的定位方式，直至定位成功。
13.如权利要求12所述的方法，其特征在于，所述第二特征信息为移动机器人图像信息；
所述基于图像的定位进一步包括，进行初始化配置，将各个功能区域中至少一个具有图像获取功能的智能设备所在的功能区域作为图像获取设备的属性信息，预先存储移动机器人的图像信息，或者，基于采集的移动机器人图像，对图像识别模型进行训练；
所述获取当前第一特征信息为智能设备所采集图像的信息包括，各个智能设备分别采集其当前视野区域内的图像信息，
所述基于获取的第一特征信息，识别出预先存储的第二特征信息包括，对所述当前图像进行分析，根据预先存储的移动机器人的图像信息或者训练的图像识别模型进行识别，如果识别出移动机器人，则执行所述根据第二特征信息关联的功能区域，获取功能区域信息的步骤，
所述根据第二特征信息关联的功能区域，获取功能区域信息包括，识别出移动机器人图像信息的智能设备将其功能区域属性信息作为移动机器人的当前位置信息，并根据移动机器人的IP地址返回给移动机器人。
14.如权利要求12所述的方法，其特征在于，所述智能设备为固定镜头和焦距的图像获取设备，
所述根据第二特征信息关联的功能区域，获取功能区域信息进一步包括，基于图像中移动机器人的位置，通过坐标转换，得到移动机器人在当前功能区域的位置。
15.如权利要求12所述的方法，其特征在于，所述基于音频信号的定位进一步包括，进行初始化配置，各个功能区域中至少一个具有音频采集功能的智能设备分别记录移动机器人在该智能设备附近输出的第一音频信号，将记录的第一音频信号作为移动机器人在该功能区域的标准音频信号，并建立标准音频信号与功能区域信息和/或智能设备的对应关系，
所述第二特征信息为初始化配置时存储的标准音频信号，
所述基于获取的第一特征信息，识别出预先存储的第二特征信息包括，各个智能设备分别将其当前记录的音频信号与初始化配置时存储的标准音频信号进行匹配，
如果匹配成功，则标准音频信号被匹配成功的智能设备执行所述根据第二特征信息关联的智能设备所对应的功能区域，获取功能区域信息的步骤，
如果匹配不成功，则监测当前音频信号的变化趋势；其中，当前音频信号的变化趋势为移动机器人在预定时间阈值内未收到任一来自智能设备的功能区域信息反馈时向任意方向移动中定位过程中所输出的第一音频信号的变化趋势；
所述根据第二特征信息关联的功能区域，获取功能区域信息包括，根据被匹配成功的标准音频信号所对应的功能区域信息或者智能设备，获取功能区域信息；被匹配成功的标准音频信号对应的智能设备根据移动机器人的IP地址，向移动机器人返回所述功能区域信息。
16.如权利要求12所述的方法，其特征在于，所述基于音频信号的定位和基于图像的定位进一步包括，
进行初始化配置，将各个功能区域中至少一个具有图像获取功能的智能设备所在的功能区域作为智能设备的属性信息，预先存储移动机器人的图像信息，或者，基于采集的移动机器人图像，对图像识别模型进行训练；和/或
各个功能区域中至少一个具有音频采集功能的智能设备分别记录移动机器人在该智能设备附近输出的第一音频信号，将记录的第一音频信号作为移动机器人在该功能区域的标准音频信号，并建立标准音频信号与功能区域信息和/或智能设备的对应关系，
所述第二特征信息为移动机器人图像信息、和初始化配置时存储的标准音频信号；
所述基于获取的第一特征信息，识别出预先存储的第二特征信息，包括，各个具有图像获取功能的智能设备分别对所述当前图像进行分析，根据预先存储的移动机器人的图像信息或者训练的图像识别模型进行识别，并且，各个具有音频采集功能的智能设备分别将其当前记录的音频信号与初始化配置时存储的标准音频信号进行匹配，
如果识别出移动机器人图像，或者标准音频信号被匹配成功，则执行所述根据第二特征信息关联的功能区域，获取功能区域信息的步骤，
否则，监测当前音频信号的变化趋势；其中，当前音频信号的变化趋势为移动机器人在预定时间阈值内未收到任一来自智能设备的功能区域信息反馈时向任意方向移动中定位过程中所输出的第一音频信号的变化趋势；
所述根据第二特征信息关联的功能区域，获取功能区域信息包括，识别出移动机器人图像信息的智能设备将其功能区域属性信息作为移动机器人的当前位置信息，或者，根据被匹配成功的标准音频信号所对应的功能区域信息或者智能设备，获取功能区域信息；所述功能区域对应的智能设备根据移动机器人的IP地址，向移动机器人返回所述功能区域信息。
17.如权利要求15或16所述的方法，其特征在于，所述当前记录的音频信号与初始化配置时存储的标准音频信号进行匹配包括，将当前记录的音频信号的音量值与标准音频信号的音量阈值进行匹配，
所述监测当前音频信号的变化趋势包括，记录当前音频信号的音量值变化趋势，音量值持续变大的智能设备向移动机器人发送维持当前移动方向的指令，以使得移动机器人逼近该智能设备。
18.如权利要求15或16所述的方法，其特征在于，所述当前记录的音频信号与初始化配置时存储的标准音频信号进行匹配包括，将当前记录的音频信号的音量值与标准音频信号的音量阈值进行匹配，
所述监测当前音频信号的变化趋势包括，各个智能设备根据音频信号的多普勒效应，根据所记录的第一音频信号频段的变化，确定移动机器人是远离还是接近，调整移动机器人的移动方向，使移动机器人持续地逼近当前采集的音频信号音量值最大的智能设备，直至该智能设备记录的音量值与该智能设备对应的标准音频信号的音量阈值匹配。
19.一种可实现移动机器人室内功能区域定位的系统，其特征在于，该系统包括连接于局域网的至少一个移动机器人、以及连接于所述局域网的至少一个智能设备，
所述移动机器人，
触发重定位，获取当前第一特征信息，其中，第一特征信息至少包括各功能区域中的至少一个智能设备响应于重定位所输出的特征信息；
基于获取的第一特征信息，识别出预先存储的用于定位功能区域相关的第二特征信息，
根据第二特征信息所关联的功能区域，获取功能区域信息，将所获取的功能区域信息作为当前的位置信息；
所述智能设备，
接收来自移动机器人的重定位指令，
响应于所述重定位指令，获取当前第三特征信息，
基于获取的第三特征信息，识别出预先存储的第四特征信息，
根据第四特征信息关联的功能区域，获取功能区域信息，将所获取的功能区域信息作为移动机器人当前的位置信息，返回给移动机器人。
20.如权利要求19所述的系统，其特征在于，该系统还包括通过局域网与所述智能设备和/或移动机器人建立连接的网关设备，所述网关设备为所述智能设备和/或移动机器人进行数据的传输。
21.如权利要求19或20所述的系统，其特征在于，该系统还包括通过互联网与所述网关设备连接的服务器，所述服务器对来自所述智能设备和/或移动机器人的数据进行分析，并返回分析结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910353080.1A CN111860058A (zh) | 2019-04-29 | 2019-04-29 | 一种移动机器人室内功能区域的定位方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910353080.1A CN111860058A (zh) | 2019-04-29 | 2019-04-29 | 一种移动机器人室内功能区域的定位方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111860058A true CN111860058A (zh) | 2020-10-30 |
Family
ID=72965246
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910353080.1A Pending CN111860058A (zh) | 2019-04-29 | 2019-04-29 | 一种移动机器人室内功能区域的定位方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111860058A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115174299A (zh) * | 2022-06-13 | 2022-10-11 | 海信集团控股股份有限公司 | 家居设备的绑定方法及电子设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160059418A1 (en) * | 2014-08-27 | 2016-03-03 | Honda Motor Co., Ltd. | Autonomous action robot, and control method for autonomous action robot |
| US20170003131A1 (en) * | 2015-07-03 | 2017-01-05 | Korea Advanced Institute Of Science And Technology | Method and apparatus for relocation of mobile robot in indoor environment |
| CN106557582A (zh) * | 2016-11-29 | 2017-04-05 | 宁波亿拍客网络科技有限公司 | 一种可基于计算机视觉感知识别的特定标记及运用方法 |
| CN106781332A (zh) * | 2017-02-14 | 2017-05-31 | 上海斐讯数据通信技术有限公司 | 通过扫地机器人实现报警的方法及系统 |
| US20170246739A1 (en) * | 2014-10-31 | 2017-08-31 | Vivint, Inc. | Smart home robot assistant |
| CN107363833A (zh) * | 2017-07-17 | 2017-11-21 | 深圳市微付充科技有限公司 | 一种移动机器人及其控制方法和装置 |
| CN108024201A (zh) * | 2017-11-30 | 2018-05-11 | 深圳市沃特沃德股份有限公司 | 扫地机器人及其进行重定位的方法 |
| CN109431381A (zh) * | 2018-10-29 | 2019-03-08 | 北京石头世纪科技有限公司 | 机器人的定位方法及装置、电子设备、存储介质 |
-
2019
- 2019-04-29 CN CN201910353080.1A patent/CN111860058A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160059418A1 (en) * | 2014-08-27 | 2016-03-03 | Honda Motor Co., Ltd. | Autonomous action robot, and control method for autonomous action robot |
| US20170246739A1 (en) * | 2014-10-31 | 2017-08-31 | Vivint, Inc. | Smart home robot assistant |
| US20170003131A1 (en) * | 2015-07-03 | 2017-01-05 | Korea Advanced Institute Of Science And Technology | Method and apparatus for relocation of mobile robot in indoor environment |
| CN106557582A (zh) * | 2016-11-29 | 2017-04-05 | 宁波亿拍客网络科技有限公司 | 一种可基于计算机视觉感知识别的特定标记及运用方法 |
| CN106781332A (zh) * | 2017-02-14 | 2017-05-31 | 上海斐讯数据通信技术有限公司 | 通过扫地机器人实现报警的方法及系统 |
| CN107363833A (zh) * | 2017-07-17 | 2017-11-21 | 深圳市微付充科技有限公司 | 一种移动机器人及其控制方法和装置 |
| CN108024201A (zh) * | 2017-11-30 | 2018-05-11 | 深圳市沃特沃德股份有限公司 | 扫地机器人及其进行重定位的方法 |
| CN109431381A (zh) * | 2018-10-29 | 2019-03-08 | 北京石头世纪科技有限公司 | 机器人的定位方法及装置、电子设备、存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115174299A (zh) * | 2022-06-13 | 2022-10-11 | 海信集团控股股份有限公司 | 家居设备的绑定方法及电子设备 |
| CN115174299B (zh) * | 2022-06-13 | 2024-04-09 | 海信集团控股股份有限公司 | 家居设备的绑定方法及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11069350B2 (en) | System for audio distribution including network microphones for voice applications | |
| US10354655B1 (en) | Occupancy counting by sound | |
| EP3776008B1 (en) | Method and electronic device for ultrasonic sensing in smart devices | |
| CN107110965B (zh) | 用于检测对象的移动的方法、数字工具、设备和系统 | |
| US10783888B2 (en) | System and method for determining recipient of spoken command in a control system | |
| US11153714B2 (en) | Beacon verification device | |
| US20210072378A1 (en) | Systems and methods of ultrasonic sensing in smart devices | |
| CN106664531B (zh) | 基于区段的照明访问 | |
| CN106970535B (zh) | 一种控制方法及电子设备 | |
| US11343897B2 (en) | Controller for controlling a wireless network to perform radiofrequency-based motion detection | |
| CN105699936B (zh) | 一种智能家庭室内定位方法 | |
| CA3138574A1 (en) | Intelligent lighting control radar sensing system apparatuses and methods | |
| CN110048917A (zh) | 一种应用于多空间的音频进度智能跟随播放方法及系统 | |
| US10748539B2 (en) | Acoustic sensory network | |
| CN111860058A (zh) | 一种移动机器人室内功能区域的定位方法及系统 | |
| EP3777485B1 (en) | System and methods for augmenting voice commands using connected lighting systems | |
| US12114240B2 (en) | Allocating different tasks to a plurality of presence sensor systems | |
| CN116965055A (zh) | 射频感测系统 | |
| CN115707992A (zh) | 一种基于雷达设备的用户身份识别方法、装置和系统 | |
| EP4282159A1 (en) | Radio frequency sensing system | |
| KR20230089577A (ko) | 로봇 청소기를 이용한 인공지능 스피커의 음성 인식 강화 시스템 및 그 방법 | |
| CN116027692A (zh) | 一种基于人体感知的自动控制方法、电子设备及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |