CN117280384A - 自身位置估计系统以及自身位置估计方法 - Google Patents
自身位置估计系统以及自身位置估计方法 Download PDFInfo
- Publication number
- CN117280384A CN117280384A CN202180095315.7A CN202180095315A CN117280384A CN 117280384 A CN117280384 A CN 117280384A CN 202180095315 A CN202180095315 A CN 202180095315A CN 117280384 A CN117280384 A CN 117280384A
- Authority
- CN
- China
- Prior art keywords
- information
- environmental information
- sensor
- camera
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 32
- 230000007613 environmental effect Effects 0.000 claims abstract description 48
- 238000006243 chemical reaction Methods 0.000 claims description 30
- 230000003287 optical effect Effects 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 7
- 238000005259 measurement Methods 0.000 description 39
- 239000003550 marker Substances 0.000 description 18
- 238000012545 processing Methods 0.000 description 16
- 238000004458 analytical method Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 3
- 230000004807 localization Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
Abstract
一种作业信息投影系统,用于估计作业现场中的位置。作业信息投影系统包括照相机(13)、立体照相机(14)以及控制装置。照相机(13)朝向第1方向配置,取得第1环境信息,该第1环境信息是配置在该第1方向以及周围的物体的信息。立体照相机(14)朝向第2方向配置,取得第2环境信息,该第2环境信息是配置在该第2方向以及周围的物体的信息。在判断为无法取得第2环境信息的情况下,控制装置根据第1环境信息估计第1坐标系中的位置。
Description
技术领域
本发明主要涉及一种自身位置估计系统,该自身位置估计系统用于估计作业现场的自身位置。
背景技术
专利文献1公开一种系统,该系统具有操作员终端以及控制装置。操作员终端安装在操作员的头部。操作员终端具有立体照相机以及投影机。控制装置根据立体照相机拍摄的图象制作地图信息,该地图信息显示作业现场中某物体的形状以及位置。控制装置进一步估计立体照相机(也就是操作员终端)在地图信息中的位置。控制装置制作与操作员终端的位置对应的图象,并传送至投影机。投影机将控制装置制作的图象投影在作业现场。由此,能够投影与操作员终端的位置对应的图象来辅助作业。
[现有技术文献]
[专利文献]
专利文献1:日本特开2020-98451号公报
发明内容
发明所要解决的技术问题
在专利文献1的系统中,在立体照相机不能取得作业现场中某物体的形状以及位置的情况下,无法适当地估计操作员终端的位置。
本发明是鉴于上面提及的状况开发完成,其主要目的在于提供一种系统,该系统即使在一个传感器无法取得作业现场周围的环境的情况下,也能够继续估计自身位置。
解决问题所使用的技术手段
本发明所欲解决的问题诚如上面的说明,下面说明用于解决该问题的手段及其功效。
根据本发明的第1观点,提供一种下面的结构的位置估计系统。也就是说,该位置估计系统用于估计作业现场的位置。位置估计系统包括第1传感器、第2传感器以及控制装置。所述第1传感器朝向第1方向配置,取得第1环境信息,该第1环境信息是配置在该第1方向以及周围的物体的信息。所述第2传感器朝向第2方向配置,取得第2环境信息,该第2环境信息是配置在该第2方向以及周围的物体的信息。所述控制装置能够根据所述第1环境信息计算第1坐标系中的自身位置,且能够根据所述第2环境信息计算第2坐标系中的自身位置。在无法取得所述第2环境信息的情况下,所述控制装置根据所述第1环境信息估计自身位置。
根据本发明的第2观点,提供一种下面的位置估计方法。也就是说,位置估计方法包括第1取得工序、第2取得工序以及位置估计工序。在所述第1取得工序中,通过第1传感器朝向第1方向配置在作业现场,取得配置在该第1方向以及周围的物体的信息即第1环境信息。在所述第2取得工序中,通过第2传感器朝向第2方向配置在所述作业现场,取得配置在该第2方向以及周围的物体的信息即第2环境信息。在所述位置估计工序中,在无法取得所述第2环境信息的情况下,根据所述第1环境信息估计自身位置。
由此,即使在第2传感器无法取得环境信息的情况下,也能够继续估计作业现场的位置。
发明的功效
根据本发明,能够提供一种系统,即使在一个传感器不能取得作业现场周围的环境的情况下,也能够继续估计自身位置。
附图说明
图1是本发明的一实施方式的作业信息投影系统的示意图;
图2是作业信息投影系统的框图;
图3是显示校准处理的流程图;
图4是显示将校准图象投影在校准导板的状况的立体图;
图5是显示在工件上设置参考标记而进行测量的状况的立体图;
图6是显示作业时的处理的流程图;
图7是说明进行SLAM测量的状况、一边进行SLAM测量一边计算转换信息的状况的图;和
图8是说明进行标记测量的状况、再次返回SLAM测量的状况的图。
具体实施方式
下面,参考附图说明本发明的实施方式。首先,参考图1以及图2,概要说明作业信息投影系统1以及位置识别方法。
本实施方式的作业信息投影系统(位置识别系统)1设在作业现场。作业现场是指用于进行作业的场所,例如工厂、办公室或设施。作业是指操作员通过手工操作,且使用工具或操作机器对对象物进行某些操作,例如零件的组装、涂敷、清扫、搬运等。在本实施方式中,操作员进行将零件组装在配置于工厂内的工件31上的作业。
作业信息投影系统1用于识别作业现场的位置,且根据识别的位置将辅助图象101投影在作业现场。辅助图象101是指辅助作业的图象,例如是用于对操作员传达作业内容、作业位置或作业顺序等的图象。如图1所示,本实施方式的辅助图象101被投影在工件31上,显示组装的零件的名称以及组装位置。作业信息投影系统1识别工件31的位置(详细稍待后述),将辅助图象101投影在工件31的适当位置。
如图1以及图2所示,作业信息投影系统1具有小推车11、投影机12、照相机13、立体照相机14以及控制装置20。在下面的说明中,除非另有说明,否则“位置”不仅包括物体存在的位置,还包括物体面向何方向。由此,例如,位置关系的术语不仅包括2个物体的相对位置,而且还包括这些物体的相对方向。
小推车11包括车轮与底座。本实施方式的小推车11不具有驱动源,通过操作员推动而在作业现场内移动。再者,小推车11也能够具有驱动源,能够自己行驶。底座用于支撑投影机12、照相机(第1传感器)13以及立体照相机(第2传感器)14等。小推车11也能够沿着设在地板或天花板等上的轨道移动。另外,小推车11不是必需的构成要素,也能够省略。
投影机12搭载在小推车11上。投影机12通过控制装置20的控制来投影辅助图象101。
照相机13以及立体照相机14固定在投影机12的上面。由此,投影机12与照相机13以及立体照相机14各自的相对位置不变化。换句话说,投影机12与照相机13以及立体照相机14一体地移动。再者,投影机12与照相机13以及立体照相机14的安装方法也能够与本实施方式不同。例如,也能够在小推车11上安装投影机12与照相机13以及立体照相机14。或者,也能够在小推车11上安装支撑部件,在支撑部件安装投影机12与照相机13以及立体照相机14。
在以下的说明中,投影机12、照相机13、立体照相机14朝向的方向是指光轴从每个机器延伸的方向。光轴是指使通过光学元件(摄影元件、发光元件)的点沿轴向延伸形成的直线。
照相机13是1个摄影元件的单眼照相机。照相机13朝向的方向(第1方向、参考图1)与投影机12朝向的方向基本上相同。基本上相同的方向,是指例如俯视下2个光轴的差等于或小于15度或等于或小于10度,且2个光轴的仰角的差等于或小于15度或等于或小于10度。若从另一观点说明,照相机13的光轴与投影机12能够投影投影光的范围重叠。也就是说,投影光形成以投影机12为起点而扩展的空间,但该空间与照相机13的光轴交叉。这样,由于照相机13朝向的方向与投影机12朝向的方向基本上相同,因此,照相机13能够拍摄投影机12投影的图象。
另外,在工厂内的适当位置(例如,工件31的表面)设置有用于位置测量的参考标记51以及内插标记52。有时在照相机13拍摄的图象内也能够包括参考标记51或内插标记52。
立体照相机14朝向的方向(第2方向、图1)与第1方向不同,并且也与投影机12朝向的方向不同。不同的方向,是指俯视下例如2个光轴的差等于或大于30度、等于或大于60度、或等于或大于90度(在本实施方式中俯视下的光轴的差为180度)。或者,不同的方向也能够是指2个光轴的仰角之差等于或大于30度或等于或大于60度。由此,立体照相机14不能拍摄投影机12投影的图象。立体照相机14拍摄设在工厂内的设备、机器、工具以及工件31等物体。在图1中,作为立体照相机14拍摄的物体的一例,显示有柜53。
立体照相机14包括2个摄影元件,每个摄影元件分别拍摄作业现场。2个摄影元件相互隔开适当的距离配置。每个摄影元件例如是CCD(电荷耦合器件)。2个摄影元件通过相互同步动作,同时拍摄作业现场,而制作一对图象数据。在本实施方式中,由于假定将实时检测出的信息作为辅助影像进行投影,因此优选立体照相机14例如在1秒钟内进行多次摄影。
另外,立体照相机14具有图象处理部,该图象处理部处理该一对图象数据。图象处理部通过对由立体照相机14获得的一对图象数据进行公知的立体匹配处理,求出每个图象对应的位置的偏差(视差)。与映现的物体的距离越近,则视差与距离成反比而变得越大。图象处理部根据该视差,制作将距离的信息与图象数据的各像素建立对应的距离图象。
立体照相机14是在一个壳体内配置有2个摄影元件的结构。或者,也能够代替此,组合2个单独的照相机来构成立体照相机。另外,图象处理部也能够设在与立体照相机14不同的装置(例如控制装置20)。
控制装置20是一计算机,该计算机具有CPU、ROM以及RAM等。本实施方式的控制装置20配置在小推车11。控制装置20能够透过省略图示的信号线与投影机12、照相机13以及立体照相机14进行通信。再者,控制装置20也能够配置在小推车11的外部。在该情况下,控制装置20例如以无线方式与投影机12、照相机13以及立体照相机14进行通信。
控制装置20取得照相机13拍摄的图象(第1环境信息)(第1取得工序),并且取得立体照相机14拍摄的距离图象(第2环境信息)(第2取得工序)。控制装置20根据这些信息以及其它信息制作辅助图象101并传送至投影机12。如图1所示,控制装置20具有通信装置21、分析部22、图象制作部23、以及投影控制部24。控制装置20具有的各部分是在概念上按控制装置20进行的每个处理(按控制装置20具有的每个功能)划分控制装置20。本实施方式的控制装置20通过1台计算机实现,但控制装置20也能够由多台计算机构成。在这种情况下,这些多个计算机经由网路连接。
通信装置21是用于与投影机12、照相机13以及立体照相机14进行通信的通信模块,例如包括用于连接信号线的连接器、或者用于无线通信的天线等。通信装置21接收照相机13拍摄的图象、或者接收立体照相机14拍摄的图象、或者将图象制作部23制作的辅助图象101向投影机12传送。
在照相机13拍摄的图象中包括参考标记51或内插标记52的情况下,分析部22根据参考标记51或内插标记52的位置、大小、失真情况等进行公知的分析处理,由此,计算照相机13相对于参考标记51或内插标记52的相对位置(自身位置)。再者,自身位置是指进行测量的机器自身的位置,在根据照相机13拍摄的图象计算位置的情况下,是显示照相机13(或者作业信息投影系统1)的位置。
另外,分析部22对立体照相机14拍摄的距离图象进行SLAM(同步定位与建图;Simultaneous Localization and Mapping)处理。分析部22通过分析距离图象,制作显示在作业现场中某物体的形状以及位置的地图信息(环境地图),并且估计立体照相机14的位置(自身位置)。
由于SLAM处理属公知,因此下面简要进行说明。也就是说,分析部22通过分析距离图象设定适当的特征点,并取得其运动。然后,分析部22从距离图象中提取多个特征点进行追踪,求出以向量表现特征点在与图象对应的平面内的运动的数据。分析部22根据该数据制作地图信息。如上所述,地图信息是显示在作业现场中某物体的形状与位置的数据,更详细地说,是显示提取的多个特征点(点组)的三维位置的数据。另外,分析部22根据所输入的特征点的位置以及距离的变化、与地图信息中的该特征点的位置,估计立体照相机14的位置变化。再者,SLAM处理也能够根据1个摄影元件的单眼照相机拍摄的图象进行。由此,也能够设置单眼照相机代替立体照相机14。
图象制作部23制作辅助图象101。控制装置20存储作为与作业相关的信息的作业信息。本实施方式的作业信息是安装在工件31上的零件的名称以及零件的安装位置。图象制作部23根据作业信息、以及基于照相机13或立体照相机14拍摄的图象估计的位置,制作待投影机12投影的辅助图象101。
投影控制部24将图象制作部23制作的辅助图象101向投影机12传送,使其投影辅助图象101。由此,能够在作业现场投影辅助图象101。
下面,详细说明关于投影机12的位置的估计。首先,参考图3至图5说明在作业前进行的校准处理。
首先,将校准导板32配置在投影机12的前方。校准导板32是用于进行投影机12与照相机13的校准的部件。当收到开始校准处理的信息的指示时,控制装置20向投影机12传送校准图象102。由此,如图4所示,投影机12将校准图象102投影在校准导板32上(S101)。照相机13拍摄投影在校准导板32上的校准图象102(S102)。
接着,控制装置20根据照相机13拍摄的图象中包括的校准图象102的位置、方向、大小、失真程度等,通过进行公知的分析方法,计算投影机12与照相机13的相对位置关系(S103)。
然后设置参考标记51。设置有参考标记51的位置成为参考坐标系(标记坐标系)的原点。在本实施方式中,将以标记(参考标记51或内插标记52)为原点的坐标系称为标记坐标系,将其中以参考标记51为原点的坐标系特别称为参考坐标系。参考坐标系是指用于描述所述操作指示等的坐标系。参考坐标系的原点的位置可任意,例如在对工件31进行作业的情况下,优选在工件31上设置原点。由此,即使假定在工件31的位置稍微变化的情况下,投影辅助图象101的位置也难以偏移。
如图5所示,在设置了参考标记51后,照相机13拍摄包括参考标记51在内的范围,立体照相机14拍摄周围的作业现场(S104)。接着,控制装置20计算参考坐标系(标记坐标系)与SLAM坐标系的转换信息(S105)。
转换信息是用于在参考坐标系与SLAM坐标系之间进行坐标转换的信息。换句话说,转换信息是显示照相机13与立体照相机14的位置关系的信息。控制装置20根据照相机13拍摄的图象中包括的参考标记51的位置、大小、失真情况等,计算以参考标记51为基准(也就是参考坐标系中)的照相机13的位置。控制装置20根据立体照相机14拍摄的距离图象执行所述SLAM处理,计算立体照相机14在SLAM坐标系中的位置。然后,控制装置20将在相同定时拍摄的参考坐标系中的照相机13的位置以及SLAM坐标系中的立体照相机14的位置作为1组,计算多组的位置信息。
根据这样计算出的多组位置信息,制作转换信息。具体而言,根据图3所示的式(1)计算转换信息。式(1)的左边显示“从照相机13的位置朝向立体照相机14的位置的向量”与“立体照相机14的指向的向量”的内积。由于照相机13与立体照相机14不相对移动,因此内积的值即λ是恒定值。由此,通过将多组位置信息代入式(1),能够计算SLAM坐标系中的标记原点坐标(t)、以及从SLAM坐标系朝标记坐标系的旋转坐标(R)。这些值相当于转换信息。
通过使用转换信息,能够将在SLAM处理中估计的SLAM坐标系的立体照相机14的位置以及方向转换为参考坐标。具体而言,将立体照相机14在参考坐标系中的位置显示为R(PS-t),将立体照相机14在参考坐标系中的方向显示为Rds。再者,通过进行同样的计算,也能够计算从标记原点坐标系转换为SLAM坐标系的转换信息。
接着,参考图6至图8说明作业时的处理。在下面的说明中,将根据立体照相机14拍摄的距离图象进行SLAM处理而估计位置的方法称为SLAM测量。将根据照相机13拍摄的图象中包括的内插标记52估计位置的方法称为标记测量。
在本实施方式中,以SLAM测量作为基楚,在不能适当地进行SLAM测量的情况下才进行标记测量。不能适当地进行SLAM测量的情况,是指立体照相机14不能取得适当的信息的情况,具体地说,是立体照相机14只拍摄平坦的壁,特征点的数量少的情况等。下面具体进行说明。
控制装置20根据立体照相机14拍摄的距离图象估计SLAM坐标系的位置,并通过应用在校准处理中计算的转换信息,转换为参考坐标系的位置(S201、位置估计工序)。接着,控制装置20判定照相机13拍摄的图象中是否包括内插标记52(S202)。
在图7中记载为“1.SLAM测量”的状况下,内插标记52不包括在照相机13拍摄的图象内。在这种情况下,控制装置20根据通过立体照相机获得的参考坐标系的位置制作辅助图象101,并从投影机12投影(S206)。
在图7中记载为“2.SLAM测量、计算转换信息”的状况下,内插标记52包括在照相机13拍摄的图象内。在这种情况下,控制装置20计算将内插标记52的标记坐标系转换为参考坐标系的转换信息(S203)。计算该转换信息的处理与校准处理的工序S105相同。也就是说,由于获得了以内插标记52为原点的标记坐标系中的位置、以及SLAM坐标系中的位置的两者,因此将这些作为1组代入式(1)。由此,能够计算出将内插标记52的标记坐标系转换为SLAM坐标系的转换信息。另外,将SLAM坐标系转换为参考坐标系的转换信息,已在工序S105中计算完毕。由此,通过组合2个转换信息,能够计算将内插标记52的标记坐标系转换为参考坐标系的转换信息。
接着,控制装置20判定SLAM处理的特征点是否等于或小于阈值(S204)。换句话说,控制装置20判定是否能够取得第2环境信息。在图7的记载为“2.SLAM测量、计算转换信息”的状况下,根据立体照相机14检测出柜53的情况等,具有充足数量的特征点。在这种情况下,不采用使用了内插标记52的位置测量,而是采用基于SLAM测量的位置测量。也就是说,控制装置20根据通过立体照相机14获得的参考坐标系的位置制作辅助图象101,并从投影机12投影(S206)。
若将工序S204的处理换一种说法,则可以说该工序S204的处理,具有用于判定从立体照相机14取得的信息或基于该信息计算的信息是否适当的判定条件,控制装置20判断是否满足该判定条件。
在图8的记载为“3.标记+照相机测量”的状况下,由于在立体照相机14拍摄的范围内不存在柜53等的物体,因此SLAM处理的特征点变为等于或小于阈值。在这种情况下,不采用基于SLAM测量的位置测量,而是采用使用了内插标记52的位置测量。由此,控制装置20将从照相机13拍摄的图象(包括内插标记52的图象)中获得的标记坐标系的位置转换为参考坐标系的位置(S205、位置估计工序)。该转换是使用在工序S203中计算的转换信息进行。然后,控制装置20根据通过照相机13获得的参考坐标系的位置制作辅助图象101,并从投影机12投影(S207)。
再者,SLAM处理的特征点变为等于或小于阈值的状况能够事先预测。由此,在本实施方式中,在SLAM处理的特征点等于或小于阈值的状况下,在照相机13的近旁设置内插标记52。由此,能够执行SLAM测量以及标记测量中的至少一个测量。
重复执行图6所示的流程。由此,在图8中记载为“3.标记+照相机测量”的状况之后,在图8中记载为“4.SLAM测量”的情况下,也就是说,在SLAM处理的特征点变得超过阈值的情况下,停止使用内插标记52的位置测量,而采用基于SLAM测量的位置测量。
如上所述,在以SLAM测量作为基础的同时,通过在SLAM测量的位置估计精度降低的状况下进行标记测量,能够较高地维持作业现场的位置估计精度。
如上面的说明,本实施方式的作业信息投影系统1,用于进行估计作业现场中的位置的位置估计方法。作业信息投影系统1,包括照相机13、立体照相机14以及控制装置20。照相机13朝向第1方向配置,取得第1环境信息,该第1环境信息是配置在第1方向以及(第1方向的)周围的物体的信息。立体照相机14朝向第2方向配置,取得第2环境信息,该第2环境信息是配置在第2方向以及(第2方向的)周围的物体的信息。控制装置20能够根据第1环境信息计算第1坐标系中的自身位置,且能够根据第2环境信息计算第2坐标系中的自身位置。在不能取得第2环境信息的情况下,控制装置20根据第1环境信息估计第1坐标系中的位置。
由此,即使在立体照相机14无法取得环境信息的情况下,也能够继续估计作业现场的位置。
在本实施方式的位置估计系统中,立体照相机14以与照相机13一体移动的方式配置。
由此,由于照相机13与立体照相机14的位置关系不变化,因此能够更适当地估计作业现场的位置。
在本实施方式的位置估计系统中,第1方向与第2方向是不同的方向。
由此,由于照相机13与立体照相机14的检测范围大不相同,因此一个传感器能够补充另一个传感器。
在本实施方式的作业信息投影系统1中,在判断为能够取得第1环境信息以及第2环境信息的情况下,控制装置20计算进行第1坐标系与第2坐标系的转换的转换信息。
由此,即使在切换使用于位置测量的传感器的情况下,也能够继续使用相同的坐标系。
本实施方式的作业信息投影系统1具有投影机12,该投影机12将辅助作业的辅助图象101投影在作业现场。控制装置20制作与作业现场中的位置对应的辅助图象101并将辅助图象101传送至投影机12。
由此,能够辅助操作员的作业。特别是,由于本实施方式的作业信息投影系统1不容易迷失自身位置,因此能够实现高可靠性。
在本实施方式的作业信息投影系统1中,照相机13的光轴与投影机12能够投影辅助图象101的区域重叠。照相机13是拍摄包括设在作业现场的标记在内的范围的照相机13。立体照相机14是用于拍摄配置在第2方向及其周围的物体的立体照相机14。
由此,由于立体照相机14不会拍摄投影机12投影的辅助图象101,因此能够防止将辅助图象101识别为特征点。
在本实施方式的作业信息投影系统1中,在投影机12将辅助图象101投影在作业现场的作业中,控制装置20判断为能够取得第1环境信息以及第2环境信息的情况下,计算进行第1坐标系与第2坐标系的转换的转换信息。
由此,能够计算作业中所需的转换信息,因此能够减轻事前准备的麻烦。
在本实施方式的位置估计系统中,根据计算从照相机13的位置朝向立体照相机14的位置的向量与显示立体照相机14的方向的向量的内积的公式,计算转换信息。
由此,能够通过简单的处理计算转换信息。
以上说明了本发明的优选实施方式,但所述结构例如能够变更如下。
在所述实施方式中,朝向与投影机12基本上相同的方向的第1传感器是照相机13,其相反侧的第2传感器是立体照相机14。也可代替此,第1传感器是立体照相机14,第2传感器是照相机13。在这种情况下,内插标记52被设在作业现场的适当位置而不是工件31上。
在所述实施方式中,第1传感器与第2传感器(也就是照相机13与立体照相机14)朝向不同的方向。也可代替此,只要第1传感器与第2传感器的检测范围不同(例如检测距离不同、检测范围的水平方向的宽度不同、检测范围的仰卧方向的宽度不同等),则第1传感器与第2传感器也能够朝向相同的方向。换句话说,第1方向与第2方向也能够是相同的方向。在这种情况下,由于能够利用第2传感器检测不能由第1传感器检测的范围,因此能够应用与所述实施方式相同的处理。
在所述实施方式中,作为三维测量装置的例子,举出立体照相机14进行了说明,但也能够使用除此以外的装置、例如LiDAR(激光探测及测距装置)。LIDAR是指通过向各种方向照射电波并且测量至接收该电波的反射波为止的时间而取得周围的物体等的位置以及形状的技术。
所述实施方式所示的流程是一例,也能够省略一部分处理、或变更一部分处理的内容、或追加新的处理。例如,在所述实施方式中,如图6所示,在SLAM测量以及标记测量中优先进行SLAM测量,但也能够代替此,优先进行标记测量。也就是说,在照相机13拍摄的图象中包括内插标记52的情况下时常进行标记测量,在照相机13拍摄的图象中不包括内插标记52的情况下才进行SLAM测量。
在所述实施方式中,进行了将估计的位置转换为参考坐标系的处理,但也能够省略该处理。
本发明的位置估计系统不限于作业信息投影系统,能够适用于估计自身位置的各种系统。例如,本发明能够应用于执行自主移动的行驶系统。
附图标记说明
1作业信息投影系统(位置识别系统)
11小推车
12投影机
13照相机(第1传感器)
14立体照相机(第2传感器、三维测量装置)
20控制装置
Claims (9)
1.一种位置估计系统,用于估计作业现场中的位置,其特征在于包括:
第1传感器,其朝向第1方向配置,取得第1环境信息,该第1环境信息是配置在该第1方向以及周围的物体的信息;
第2传感器,其朝向第2方向配置,取得第2环境信息,该第2环境信息是配置在该第2方向以及周围的物体的信息;以及
控制装置,其能够根据所述第1环境信息计算第1坐标系中的自身位置,且能够根据所述第2环境信息计算第2坐标系中的自身位置,在无法取得所述第2环境信息的情况下,所述控制装置根据所述第1环境信息估计自身位置。
2.根据权利要求1所述的位置估计系统,其中,所述第2传感器以与所述第1传感器一体移动的方式配置。
3.根据权利要求1或2所述的位置估计系统,其中,所述第1方向是与所述第2方向不同的方向。
4.根据权利要求1至3中任一项所述的位置估计系统,其中,在能够取得所述第1环境信息以及所述第2环境信息的情况下,所述控制装置计算进行所述第1坐标系以及所述第2坐标系的转换的转换信息。
5.根据权利要求1至4中任一项所述的位置估计系统,其中,具有投影机,该投影机是将辅助作业的辅助图象投影在所述作业现场,
所述控制装置制作与所述作业现场中的位置对应的所述辅助图象,并将该辅助图象传送至所述投影机。
6.根据权利要求5所述的位置估计系统,其中,所述第1传感器的光轴与所述投影机能够投影所述辅助图象的区域重叠,
所述第1传感器是拍摄包括设在所述作业现场的标记在内的范围的照相机,
所述第2传感器是用于取得配置在所述第2方向以及周围的物体的形状以及位置的三维测量装置。
7.根据权利要求6所述的位置估计系统,其中,在所述投影机将所述辅助图象投影在所述作业现场的作业中,所述控制装置在能够取得所述第1环境信息以及所述第2环境信息的情况下,计算进行所述第1坐标系以及所述第2坐标系的转换的转换信息。
8.根据权利要求4所述的位置估计系统,其中,根据计算从所述第1传感器的位置朝向所述第2传感器的位置的向量、与显示第2传感器的方向的向量的内积的公式,计算所述转换信息。
9.一种位置估计方法,其特征在于包括以下工序:
第1取得工序,在所述第1取得工序中,通过第1传感器朝向第1方向配置在作业现场,取得配置在该第1方向以及周围的物体的信息即第1环境信息;
第2取得工序,在所述第2取得工序中,通过第2传感器朝向第2方向配置在所述作业现场,取得配置在该第2方向以及周围的物体的信息即第2环境信息;以及
位置估计工序,在所述位置估计工序中,在无法取得所述第2环境信息的情况下,根据所述第1环境信息估计自身位置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2021/009607 WO2022190285A1 (ja) | 2021-03-10 | 2021-03-10 | 自己位置推定システム及び自己位置推定方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117280384A true CN117280384A (zh) | 2023-12-22 |
Family
ID=83227670
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180095315.7A Pending CN117280384A (zh) | 2021-03-10 | 2021-03-10 | 自身位置估计系统以及自身位置估计方法 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JPWO2022190285A1 (zh) |
CN (1) | CN117280384A (zh) |
WO (1) | WO2022190285A1 (zh) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7414395B2 (ja) * | 2018-12-18 | 2024-01-16 | 川崎重工業株式会社 | 情報投影システム、制御装置、及び情報投影制御方法 |
JP7420135B2 (ja) * | 2019-03-27 | 2024-01-23 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及びプログラム |
-
2021
- 2021-03-10 CN CN202180095315.7A patent/CN117280384A/zh active Pending
- 2021-03-10 JP JP2023504986A patent/JPWO2022190285A1/ja active Pending
- 2021-03-10 WO PCT/JP2021/009607 patent/WO2022190285A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2022190285A1 (ja) | 2022-09-15 |
JPWO2022190285A1 (zh) | 2022-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10068344B2 (en) | Method and system for 3D capture based on structure from motion with simplified pose detection | |
EP1413850B1 (en) | Optical sensor for measuring position and orientation of an object in three dimensions | |
US10375376B2 (en) | Pose estimation apparatus and vacuum cleaner system | |
US9849589B2 (en) | Method and system for localizing mobile robot using external surveillance cameras | |
JP5992184B2 (ja) | 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム | |
US9020301B2 (en) | Method and system for three dimensional mapping of an environment | |
KR101072876B1 (ko) | 이동 로봇에서 자신의 위치를 추정하기 위한 방법 및 장치 | |
US20130230235A1 (en) | Information processing apparatus and information processing method | |
US20110123135A1 (en) | Method and device of mapping and localization method using the same | |
Ruan et al. | Calibration of 3D sensors using a spherical target | |
Nair et al. | Moving obstacle detection from a navigating robot | |
KR20050108396A (ko) | 자율 이동로봇 | |
US20220058826A1 (en) | Article position managing apparatus, article position management system, article position managing method, and program | |
JP5775965B2 (ja) | ステレオカメラシステム及び移動体 | |
TW201904643A (zh) | 控制裝置、飛行體以及記錄媒體 | |
JP4132068B2 (ja) | 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム | |
JP2017120551A (ja) | 自律走行装置 | |
KR100933024B1 (ko) | 부재 위치 정보 인식 장치 및 방법 | |
CN113196165A (zh) | 信息投影系统、控制装置以及信息投影方法 | |
JP2008309595A (ja) | オブジェクト認識装置及びそれに用いられるプログラム | |
KR100784125B1 (ko) | 단일 카메라를 이용한 이동 로봇의 랜드 마크의 좌표 추출방법 | |
KR100792852B1 (ko) | 단일 카메라를 이용한 이동 로봇의 랜드 마크 거리추출방법 | |
KR100773271B1 (ko) | 단일 카메라를 이용한 이동 로봇의 위치 측정 방법 | |
CN117280384A (zh) | 自身位置估计系统以及自身位置估计方法 | |
JP2007171018A (ja) | 物体位置認識方法及び物体位置認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |