CN115201933A - 一种用于智能无人载具系统的室内定位及对象搜寻方法 - Google Patents

Abstract

一种用于智能无人载具系统的室内定位及对象搜寻方法，是供搜寻在一室内区域中的一对象，先对室内环境进行模型建立，以进行载具本体的定位，再由影像输入模块撷取实时环境影像，以产生一环境影像信息，接着由一影像特征辨识模块接收所述环境影像信息，以产生一特征辨识信息，再依据所述的环境影像信息及所述的特征辨识信息，建立一在所述的区域中对应所述的对象的感兴趣区域(Region‑of‑Interest；ROI)，并判断感兴趣区域中是否具有与一数据库存储的一对象影像数据符合的所述对象的影像，如果符合，量测并计算对象与载具本体的相对坐标位置与距离。

Description

一种用于智能无人载具系统的室内定位及对象搜寻方法

技术领域

本发明是有关一种用于智能无人载具系统的室内定位及对象搜寻方法，尤其是可在室内区域进行定位，并于室内区域中建立感兴趣区域进行搜寻的对象搜寻方法。

背景技术

以往无人机可透过使用者的远程遥控，在使用者可视的范围内受到控制移动，由于无人机可配置摄影镜头，因此在户外无遮蔽物的空间中，可直接以俯瞰的角度向地面进行拍摄，当一般人有物品遗失在一个区域环境中，为了能将遗失物找回，便可透过无人机在该区域中进行找寻。

但是在一般室内环境中，便无法透过上述的方式进行找寻，主要是受到室内的空间结构转角或家具摆设的影响，造成使用者在操作的视野上有多个视野死角，若直接透过无人机的摄影镜头进行视野的判断，也会受到摄影镜头的有限拍摄角度，无法轻易避开梁柱或家具等室内环境中的障碍物。

因此，当一般人如有物品遗失在一个室内的区域环境中，为了能将遗失物找回，只能以回忆的方式，努力回想最后使用或看到的遗失物是在什么位置，或是回到曾经到过的地方，但这样的找寻方式往往都不可靠，例如是一个随手放在窗台边的眼镜，由于这是随手一丢，且周遭又有太多摆设物品造成视觉被遮蔽或被混淆时，将造成视野搜寻上的盲点，使遗失物的找寻变的相当困难。

另方面，如果要找寻的不是单纯的物品，而是要找寻某个人，例如在大卖场走失的儿童，如果儿童专注在卖场某商品前，没有出现情绪紧张反应，且身型又娇小被卖场的摆设商品遮蔽住，也会造成找寻上的困难；又或者，晚上警卫在卖场进行巡逻时，若有小动物例如猫、狗或小偷入侵，并以卖场的摆设商品做为躲藏地点，只要不发出声音，便不容易被发现，如此也会造成警卫在巡逻时的盲点。

因此，如何提供一种可在室内环境中进行室内定位，让无人机在移动过程中，可在各种转角间移动同时还可避开环境中的各种障碍物，以及如何在室内区域环境中有效率的区隔出欲找寻物与周遭的摆设物品，以增加在区域环境中对对象、人或生物的辨识效率，将会是本案所要研究的议题和着重的问题与焦点。

发明内容

本发明的目的在提供可供室内环境定位，并可在室内环境中自行避开障碍并进行移动的一种用于智能无人载具系统的室内定位及对象搜寻方法。

本发明的另一目的可在区域环境中有效率的区隔找寻物影像与周遭摆设物品影像的一种用于智能无人载具系统的室内定位及对象搜寻方法。

本发明是一种用于智能无人载具系统的室内定位及对象搜寻方法，是供在一室内区域进行定位，及供搜寻在所述的室内区域中的一对象，所述的智能无人载具系统包括一载具本体、一影像输入模块、一影像特征辨识模块、一中央处理器、一影像初始标记模块、一数据库及一载具运动感测模块，所述的中央处理器是分别与所述的影像输入模块、所述的影像特征辨识模块、所述的影像初始标记模块、所述的数据库及所述的载具运动感测模块讯号链接，以及与所述的些模块配置在所述的载具本体中，其中所述的室内定位及对象搜寻方法包括下列步骤：

a)所述的载具本体受所述的中央处理器控制，在所述的室内区域移动，并由所述的影像初始标记模块分析所述的影像输入模块所撷取所述的戴具本体所在的所述的室内区域的环境影像，辨识所述的室内区域中原来的结构与设置在所述的室内区域中的多个原始摆件，建立一对应所述的室内环境的辨识特征模型并做标记(Mark)，且并由所述的数据库储存；

b)所述的载具运动感测模块侦测所述的载具本体的运动方位，并产生一参考运动方位信息，以及由所述的影像输入模块撷取所述的室内区域的环境影像，以产生一对应所述的室内区域的环境影像信息，及获取空间相对关系信息；

c)所述的影像特征辨识模块接收所述的环境影像信息，由所述的影像特征辨识模块对所述的环境影像信息进行特征辨识，以产生一特征辨识信息；

d)所述的图像处理模块依据所述的环境影像信息及所述的特征辨识信息，建立一在所述的室内区域中对应所述的对象的感兴趣区域，并在所述的环境影像信息的感兴趣区域中比对，判断是否具有与所述的数据库存储的一对象影像数据符合的所述的对象的影像；及

e)如果符合，量测并计算所述的感兴趣区域中的所述的对象与所述的载具本体的相对距离与坐标位置。

用于智能无人载具系统的室内定位及对象搜寻方法，是预先在室内区域环境中进行定位，并对环境中各种障碍物进行辨识，令载具本体可在各种转角间移动，同时还可避开环境中的各种障碍物，并在

建立的感兴趣区域中，将环境影像信息的感兴趣区域中的对象进行比对，以判断是否有符合数据库存储的对象、人或生物的影像，有效率的区隔找寻物影像与周遭摆设物品影像，增加在区域环境中对对象、人或生物的辨识效率，并达成上述目的。

附图说明

图1是本案一实施例的一种用于智能无人载具系统的室内定位及对象搜寻方法的示意图；

图2是图1的智能无人载具的系统方块图；

图3是图1的室内定位及对象搜寻方法的流程图；及

图4是图1的智能无人载具系统的量测并计算对象与载具本体距离的示意图。

附图标记说明：

1.室内区域 10.载具本体

11.影像输入模块 12.影像特征辨识模块

13.图像处理模块 14.超音波测距模块

15.中央处理器 16.坐标转换模块

17.初始参数设定模块 18.影像初始标记模块

19.立即寻址模块 20.数据库

21.载具运动感测模块 401～409…步骤

具体实施方式

依照本发明一实施例的一种用于智能无人载具系统的室内定位及对象搜寻方法，参考图1所示，可供在一室内区域1进行定位，以及供搜寻在该室内区域1中的一对象，一并参考图1及图2所示，智能无人载具系统包括一载具本体10、一影像输入模块11、一影像特征辨识模块12、一图像处理模块13、一超音波测距模块14、一中央处理器15、一坐标转换模块16、一初始参数设定模块17、一影像初始标记模块18、一立即寻址模块19、一数据库20及一载具运动感测模块21，中央处理器15是分别与影像输入模块11、影像特征辨识模块12、图像处理模块13、超音波测距模块14、坐标转换模块16、初始参数设定模块17、影像初始标记模块18、立即寻址模块19、数据库20及载具运动感测模块21讯号链接，以及与该些模块配置在载具本体10中，而本例中移载具本体10是以飞行的空拍机为例，对于所属之技术领域者而言，亦可轻易置换，以地面移动载具(例如扫地机器人)为例。

本案用于智能无人载具系统的对象搜寻方法，一并参考图1、图2及图3所示，一开始如步骤401，透过初始参数设定模块17对载具本体10的各参数进行初始化、量测校正以及坐标原点初始化，例如载具本体21的电性参数、影像感测参数、光源参数、超音波参数等进行初始化及测距精度校正，以及坐标原点初始化，或更进一步对室内环境10的房间数量、坪数设定，再如步骤402，载具本体10受中央处理器15控制，在室内区域1移动，并由影像初始标记模块18分析影像输入模块11所撷取戴具本体10所在的室内区域1的环境影像，并由影像特征辨识模块12辨识室内区域11中原来的结构与设置在室内区域1中的多个原始摆件，以建立一对应室内环境1的辨识特征模型，并由数据库储存，其中本例之影像特征辨识模块12所进行的特征辨识，是以视觉影像分析方式，辨别环境中的关键特征，如点(重要室内如墙角、固定不动特征点如窗户等)、线(室内如墙面直线、室内梁柱直线等)、面(室内主要墙面、房间转角墙面等)，以取得区域环境的3D模型，而影像输入模块11则是以实时影像输入，并可对环境光源进行自动调整，以及结合当室外强光直射镜头时，可能造成载体盲视，而以图像处理及计算机视觉技术，来进行避逆光处理或者其他因素可能造成载体瞬间迷航处理。

再如步骤403，图像处理模块13依据载具运动感测模块21侦测的参考运动方位信息，计算载具本体10的导航方位，并提供中央处理器15修正导航命令，再如步骤404，由超音波测距模块14进行载具本体10周围的距离测定，以产生一超音波测距信息，供中央处理器15控制该载具本体进行测距与避开障碍，接着如步骤405，载具运动感测模块21侦测载具本体10的运动方位，并产生一参考运动方位信息，以及由影像输入模块11组撷取室内区域1的环境影像，以产生一对应室内区域1的环境影像信息，及获取空间相对关系信息，如步骤406，坐标转换模块16依据环境影像信息计算载具本体10相对室内环境1的平面(2D)及立体(3D)空间的坐标转换计算，以产生一相对位置坐标信息。

再如步骤407，立即寻址模块19接收参考运动方位信息、超音波测距信息及相对位置坐标信息，并供立即寻址及计算载具本体10的方位、角度及相对距离，再如步骤408，影像特征辨识模块12依据环境影像信息及特征辨识信息，建立一在室内区域1中对应欲搜寻的对象的感兴趣区域(Region-of-Interest；ROI)，并比对在环境影像信息的感兴趣区域中，判断是否具有符合数据库存储的一对象影像数据的对象的影像，其中对象的影像比对是由影像特征辨识模块12依据扫描环境影像信息的关键特征或对象的特征，并将感兴趣区域ROI中具有对应对象特征的影像与数据库储存的对象的特征做比对，如果在环境影像信息的感兴趣区域中比对出符合对象影像数据时，则如步骤409，量测并计算感兴趣区域中的对象与载具本体10的相对距离与坐标位置(如图4所示)，如果没有比对出符合对象影像数据时，载具本体10受中央处理器15控制前往另一室内区域1移动，并回到步骤403，继续搜寻另一室内区域1。

其中坐标转换模块16的平面(2D)及立体(3D)空间的坐标转换计算，是先从影像特征辨识模块12取得2D空间中关键点的坐标，例如定义为室内特定长度之直线、特定夹角(如90度)等，再从影像特征辨识模块,取得3D空间标记N的坐标，以建立2D/3D映射关系矩阵，并供计算2D转3D坐标。

在载具本体10于室内定位时，先从载具运动感测模块21获取载具本体10的6D信息，同时从影像输入模块11持续输入实时影像，再量测载具本体10之导航方位，同时从超音波测距模块14撷取前方/与两侧面距离，并呼叫坐标转换模块16，计算且校正载具定位以及6D信息，据此，输出载具本体10立即寻址与6D信息，在室内环境中进行对象搜寻定位时，从载具本体10于室内定位结果，撷取载具本体10之实时3D坐标，以及从影像输入模块11持续输入实时影像，并从超音波测距模块14中，取得搜寻对象相对载具的距离，同时呼叫坐标转换模块16，以便于计算待搜寻对象之3D定位信息，同时也输出待搜寻物立即寻址。

本发明之一种用于智能无人载具系统的室内定位及对象搜寻方法，由载具本体以智能化自动导航(例如以惯性参考器[IRU]结合AI导航算法等)、以及同样结合AI调变飞行参数的自主飞行控制方式实现，对室内环境进行模型建立，以进行载具本体的定位，在室内环境中移动时，可在各转角间移动，同时还可直接避开环境中的各种障碍物，并于区域中对应所述的对象的感兴趣区域，在环境影像信息的感兴趣区域中比对，以判断是否有符合欲找寻的对象对应影像，另方面，本案更可应用在卖场进行人脸辨识的找寻某个人，如走失儿童，或是应用在警卫巡逻打烊的卖场上，以供辨识在卖场里出现的小动物例如猫、狗或小偷入侵，不仅能有效率的区隔找寻物影像与周遭摆设物品影像，还能增加在区域环境中对对象、人或生物的辨识效率，并达成上述目的

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明，任何熟习此技艺者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，因此本发明的保护范围当视权利要求书所界定者为准。

Claims (10)

1.一种用于智能无人载具系统的室内定位及对象搜寻方法，系供在一室内区域进行定位，及供搜寻在该室内区域中的一对象，该智能无人载具系统包括一载具本体、一影像输入模块、一影像特征辨识模块、一中央处理器、一影像初始标记模块、一数据库及一载具运动感测模块，该中央处理器系分别与该影像输入模块、该影像特征辨识模块、该影像初始标记模块、该数据库及该载具运动感测模块讯号链接，以及与该些模块配置在该载具本体中，其中该室内定位及对象搜寻方法包括下列步骤：

a)该载具本体受该中央处理器控制，在该室内区域移动，并由该影像初始标记模块分析该影像输入模块所撷取该戴具本体所在的该室内区域的环境影像，辨识该室内区域中原来的结构与设置在该室内区域中的多个原始摆件，建立一对应该室内环境的辨识特征模型，并由该数据库储存；

b)该载具运动感测模块侦测该载具本体的运动方位，并产生一参考运动方位信息，以及由该影像输入模块撷取该室内区域的环境影像，以产生一对应该室内区域的环境影像信息，及获取空间相对关系信息；

c)该影像特征辨识模块接收该环境影像信息，由该影像特征辨识模块对该环境影像信息进行特征辨识，以产生一特征辨识信息；

d)该图像处理模块依据该环境影像信息及该特征辨识信息，建立一在该室内区域中对应该对象的感兴趣区域，并在该环境影像信息的感兴趣区域中比对，判断是否具有与该数据库存储的一对象影像数据符合的该对象的影像；及

e)如果符合，量测并计算该感兴趣区域中的该对象与该载具本体的相对距离与空间坐标位置。

2.如权利要求1所述的室内定位及对象搜寻方法，其中该智能无人载具系统更包括一图像处理模块，系与该中央处理器讯号链接并配置在该载具本体中，其中该步骤a)包括一步骤a1)图像处理模块系依据该载具运动感测模块侦测的该参考运动方位信息，计算该载具本体的导航方位，并提供该中央处理器修正导航命令。

3.如权利要求2所述的室内定位及对象搜寻方法，其中该智能无人载具系统更包括一超音波测距模块，系与该中央处理器讯号链接并配置在该载具本体中，该步骤a)包括一步骤a2)该超音波测距模块进行该载具本体周围的距离测定，以产生一超音波测距信息，供中央处理器控制该载具本体进行测距与避开障碍。

4.如权利要求3所述的室内定位及对象搜寻方法，其中该智能无人载具系统更包括一坐标转换模块，系与该中央处理器讯号链接并配置在该载具本体中，该步骤a)包括一步骤a3)该坐标转换模块依据该环境影像信息计算该载具本体相对该室内环境的平面(2D)及立体(3D)空间的坐标转换计算，以产生一相对位置坐标信息。

5.如权利要求4所述的室内定位及对象搜寻方法，其中该处理模块更包括一立即寻址模块，系与该中央处理器讯号链接并配置在该载具本体中，该步骤a)更包括一在该步骤a3)之后的步骤a4)该立即寻址模块接收该参考运动方位信息、该超音波测距信息及该相对位置坐标信息，立即寻址及计算该载具本体的方位、角度及相对距离。

6.如权利要求1项所述的室内定位及对象搜寻方法，其中该步骤c)包括一步骤c1)该对象的影像比对系由该影像特征辨识模块依据扫描该环境影像信息的关键特征或该对象的特征，并将该感兴趣区域ROI中具有对应该对象特征的影像与该数据库储存的该对象的特征做比对。

7.如权利要求3所述的室内定位及对象搜寻方法，其中该步骤d)包括一步骤d1)该对象与该载具本体的相对距离，系透过该超音波测距模块进行该对象与该载具本体的相对距离的计算与分析。

8.如权利要求1所述的室内定位及对象搜寻方法，其中该影像辨识模块系一组具有深度辨识的双镜头，该步骤d)包括一步骤d1)该对象与该载具本体的相对距离，系依据该组双镜头对该对象的深度辨识，进行该对象与该载具本体的相对距离的计算与分析。

9.如权利要求1所述的室内定位及对象搜寻方法，其中该影像辨识模块具有一红外线测距模块，该步骤d)包括一步骤d1)该对象与该载具本体的相对距离，系依据该红外线测距模块对该对象的量测。

10.如权利要求1所述的室内定位及对象搜寻方法，其中该智能无人载具系统更包括一初始参数设定模块，系与该中央处理器讯号链接并配置在该载具本体10中，该室内定位及对象搜寻方法更包括一在该步骤a)前的步骤a’)该初始参数设定模块对该载具本体的各参数进行初始化、量测校正以及坐标原点初始化。

Images