CN103717995B - 监视装置、监视系统及监视方法 - Google Patents

监视装置、监视系统及监视方法 Download PDF

Info

Publication number
CN103717995B
CN103717995B CN201180072688.9A CN201180072688A CN103717995B CN 103717995 B CN103717995 B CN 103717995B CN 201180072688 A CN201180072688 A CN 201180072688A CN 103717995 B CN103717995 B CN 103717995B
Authority
CN
China
Prior art keywords
key element
equipment key
self
shape
monitoring arrangement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180072688.9A
Other languages
English (en)
Other versions
CN103717995A (zh
Inventor
古贺昌史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN103717995A publication Critical patent/CN103717995A/zh
Application granted granted Critical
Publication of CN103717995B publication Critical patent/CN103717995B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]

Abstract

监视装置计测监视装置的周围的三维形状，并将计测出的三维形状与自身位置推测用地图进行对照，从而推测监视装置的自身位置，从设备要素对照用地图提取所推测的自身位置的周边的设备要素，从计测出的三维形状提取设备要素候选的形状及位置，基于自身位置的周边的设备要素的形状及位置的误差分布和从计测出的三维形状提取的设备要素候选的形状及位置的误差分布，计算从设备要素对照用地图提取的自身位置的周边的设备要素的形状及位置与从计测出的三维形状提取的设备要素候选的形状及位置的一致度，基于计算出的一致度，确定从计测出的三维形状提取的设备要素候选的形状是从设备要素对照用地图提取的自身位置的周边的设备要素中的哪一个。

Description

监视装置、监视系统及监视方法
技术领域
本发明涉及监视建筑物内的设备要素的技术。
背景技术
在使用监视装置监视建筑物内的设备要素时，需要推测监视装置在建筑物内的自身位置。
在建筑物内无法利用GPS（全球定位系统），所以需要代替GPS的自身位置推测方法，作为这样的方法之一，可以利用非专利文献1中公开的自主行走机器人所使用的自身位置推测方法。
根据该方法，通过使用专利文献1中公开的激光测距仪来计测周围的物体的形状及配置，并将计测结果与预先准备的地图进行对照（匹配），能够推测自身位置。这样的自身位置推测方法被称为扫描匹配。
在先技术文献
专利文献
专利文献1：特开2009-236774号公报
非专利文献
非专利文献1：SebastianThrun,WolframBurgard,DieterFox,"ProbabilisticRobotics",TheMITPress,2005
发明的概要
发明所要解决的课题
但是，通过非专利文献1所公开的方法，虽然能够推测自身位置，却无法确定监视中的设备要素是什么。为了进行有用的监视，除了自身位置的推测之外，还希望确定监视中的设备要素是什么设备要素。
发明内容
本发明的目的在于，在监视建筑物内的设备要素的监视装置中，能够确定监视中的设备要素是什么设备要素。
解决课题所采用的手段
本申请中公开的发明的代表性一例如下所示。即，一种监视装置，监视建筑物内的设备要素，其特征在于，具备：三维计测部，计测所述监视装置的周围的三维形状；自身位置推测部，将计测出的所述三维形状与包含所述设备要素以外的所述建筑物内的构造物的形状及位置的自身位置推测用地图进行对照，从而推测所述监视装置的自身位置；周边设备要素提取部，从包含所述建筑物内的设备要素的形状及位置的设备要素对照用地图提取所推测的所述自身位置的周边的设备要素；设备要素候选提取部，从计测出的所述三维形状提取设备要素候选的形状及位置；一致度评价部，基于所述自身位置的周边的设备要素的形状及位置的误差分布、以及从计测出的所述三维形状提取的所述设备要素候选的形状及位置的误差分布，计算从所述设备要素对照用地图提取的所述自身位置的周边的设备要素的形状及位置和从计测出的所述三维形状提取的所述设备要素的候选的形状及位置的一致度；以及设备要素确定部，基于计算出的所述一致度，确定从计测出的所述三维形状提取的所述设备要素候选的形状是从所述设备要素对照用地图提取的所述自身位置的周边的设备要素的哪一个。
发明效果
根据本发明的代表性实施方式，除了能够推测自身位置，还能够确定监视中的设备要素是什么设备要素。
附图说明
图1是第1实施方式中的监视装置的外观构成图。
图2是图1的A向视图。
图3是表示第1实施方式中的由监视装置及服务器构成的监视系统的硬件构成的框图。
图4是表示第1实施方式中的监视装置的逻辑构成的功能框图。
图5是表示第1实施方式中的设备要素确定部的详细情况的功能框图。
图6A是第1实施方式中的构造物CAD所保存的数据的例子。
图6B是从构造物CAD保存的数据生成的自身位置推测用地图的例子。
图7是说明第1实施方式中的设备要素对照用地图的构成的图。
图8是说明第1实施方式中的设置误差统计模型的构成的图。
图9是说明第1实施方式中的标准温度数据的构成的图。
图10是说明第1实施方式中的系统图数据的构成的图。
图11是第1实施方式中的自身位置推测处理的流程图。
图12是第1实施方式中的由监视装置监视的设备要素的例子。
图13是说明第1实施方式中的自身位置推测处理的图。
图14是说明第1实施方式中的自身位置推测处理的图。
图15是说明第1实施方式中的自身位置推测处理的图。
图16是说明第1实施方式中的自身位置推测处理的图。
图17是第1实施方式中的设备要素确定处理的流程图。
图18是说明第1实施方式中的设备要素确定处理的图。
图19是说明第1实施方式中的设备要素确定处理的图。
图20是说明第1实施方式中的设备要素确定处理的图。
图21是说明第1实施方式中的设备要素确定处理的图。
图22是表示第1实施方式中的显示器的画面显示例的图。
图23是表示第2实施方式中的监视装置的逻辑构成的功能框图。
图24是表示第3实施方式中的监视装置的逻辑构成的功能框图。
具体实施方式
以下，使用附图说明本发明的实施方式。
＜第1实施方式＞
在本发明的第1实施方式中，说明本发明的典型例子。
电力·配电设备、化学工厂（plant）等的设备要素的动作状况经常通过SCADA（SupervisoryControlAndDataAcquisition：数据采集与监视控制系统）等监视系统来监视，在监视作业中，要求以高的可靠度取得监视中的设备要素与由监视系统管理的设备要素的对应关系。
这是因为，为了基于计测出的监视中的设备要素的某物理量来判定该设备要素的异常，需要确定该设备要素是什么设备要素，并从数据库取得用于判定是正常还是异常的该物理量的正常范围。此外，另一个原因是，在检测到异常的情况下，需要采取与该设备要素相应的适当措置（现场的调查、修理等）。
因此，本发明的第1实施方式中的监视装置不仅推测监视装置的自身位置，还确定监视中的设备要素是什么设备要素。进而，基于计测出的监视中的设备要素的物理量，判定该设备要素的异常。
图1表示本发明的第1实施方式中的监视装置100的外观构成。
监视装置100具有主体101、传感器102～105及无线通信装置106。在监视作业中，作业者握持主体101并使传感器102～105朝向前方，通过传感器102～105对监视装置100的周围进行计测。在此，“建筑物”指的是电力·配电设备、化学工厂等的房屋，“设备要素”指的是设置在建筑物内部的配管、泵、阀等要素。
传感器102～105安装在主体101的正面。传感器102～105包括：激光测距仪（也称为“扫描式距离传感器”）102、热红外线摄像机103、可见光摄像机104及加速度传感器105。
激光测距仪102具有激光照射部和受光部。激光测距仪102使用旋转式的反射镜等以放射状放射来自激光照射部的激光束，并计测激光束在附近（最近）的物体的表面反射而返回受光部为止的时间，由此计测与附近的物体的距离。通过对各个方向进行计测，激光测距仪102计测监视装置100的周围的三维形状。在此，“周围”指的是以监视装置100为中心的规定半径的区域（例如能够通过激光测距仪102计测距离的范围）。
热红外线摄像机103由在红外线区域具备感度分布的CCD（ChargeCoupledDevice）图形传感器构成。热红外线摄像机103计测来自监视中的设备要素的放射热的强度（或波长）、即监视中的设备要素的温度。
可见光摄像机104由在可见光区域具备感度分布的CCD图形传感器构成。可见光摄像机104取得监视中的设备要素的可见光图像。另外，热红外线摄像机103和可见光摄像机104也能够由一个CCD图形传感器构成。
加速度传感器105由半导体式的加速度计和陀螺仪构成，计测监视装置100的3轴方向的加速度和围绕3轴的旋转加速度。
无线通信装置106将监视装置100与外部的服务器120连接，是用于与服务器120交换数据（例如监视中的设备要素的设备ID、位置、温度、异常检测结果等）的装置。无线通信装置106例如是无线LAN的收发模块。
监视装置100和服务器120也可以通过有线连接，这种情况下，监视装置100和服务器120通过有线LAN接口、USB等串行接口等连接。此外，监视装置100和服务器120可以实时地通信，也可以根据需要进行通信。
主体101在内部具有数据处理用的处理器、数据存储用的存储器等。此外，主体101如图2所示，例如在其背面具有由显示器201及按钮类构成的操作部202。
服务器120具有用于与监视装置100交换数据的无线通信装置121。无线通信装置121例如是无线LAN模块。
图3是表示由监视装置100及服务器120构成的监视系统1的硬件构成的框图。
监视装置100是具有处理器301、存储器302、存储装置303、输入接口304、输出接口305及无线通信装置106的计算机。这些构成301～305及106通过总线306相互连接。处理器301执行存储器302所保存的程序。
存储器302是DRAM等易失性的存储装置，保存由处理器301执行的程序。具体地说，存储器302保存用于安装图4所示的自身位置推测部401、设备要素确定部402、坐标系校正部403、3D映射部404、405、异常检测部406及图像重叠部407的程序。此外，存储器302保存操作系统（OS）。处理器301通过执行操作系统，实现计算机的基本功能。
存储装置303是磁盘驱动器、闪存器等非易失性的存储装置，保存由处理器301执行程序时使用的数据。具体地说，存储装置303保存图4所示的自身位置推测用地图411、设备要素对照用地图412、设置误差统计模型413、设备CAD坐标系414、标准温度数据415及系统图数据416。
另外，在此说明了存储器302保存用于安装监视装置100的功能部401～407的程序，并且存储装置303保存由功能部401～407使用的数据411～416，但是与功能部401～407对应的程序保存在存储装置303中，在执行程序时从存储装置303读出并加载到存储器302中。此外，数据411～416也在程序需要时从存储装置303读出并加载到存储器302中。
输入接口304与传感器102～105连接。输出接口305与显示器201连接。
服务器120是具有处理器311、存储器312、存储装置313、输入接口314、输出接口315及无线通信装置121的计算机。这些构成311～315及121通过总线316相互连接。处理器311执行存储器312所保存的程序（用于管理设备要素及监视装置100的软件等）。
存储器312是DRAM等易失性的存储装置，保存由处理器311执行的程序。此外，存储器312保存操作系统（OS）。处理器311通过执行操作系统，实现计算机的基本功能。
存储装置313是磁盘驱动器、闪存器等非易失性的存储装置，保存由处理器311执行程序时使用的数据。
另外，程序保存在存储装置313中，在执行程序时从存储装置313读出并加载到存储器312中。此外，数据也在程序需要时从存储装置313读出并加载到存储器312中。
输入接口314与键盘、鼠标等输入装置317连接。输出接口315与显示器318连接。
图4是表示监视装置100的逻辑构成的功能框图。
监视装置100对应于图中由虚线围出的部分，包括传感器102～105、显示器201、功能部401～407及数据411～416。
首先说明功能部401～407所利用的数据411～416的构造。数据411～416在监视作业之前预先制作，并保存在监视装置100的存储装置313中。另外，以下说明的数据构成只是一例，也可以通过其他形式构成。
自身位置推测用地图411是包含墙壁、柱子等建筑物内的构造物（设置误差较小而位置及朝向不变的固定物）的形状及位置的地图。通过变换处理422，将由作为建筑物的设计数据的构造物CAD（ComputerAidedDesign：计算机辅助设计）421管理的墙壁、柱子等的数据变换为适于自身位置推测的形式，从而制作自身位置推测用地图411。
适于自身位置推测的形式指的是，适于与由激光测距仪102计测的三维形状进行对照的形式。例如，自身位置推测用地图411仅包含与建筑物内的构造物的表面形状有关的数据。
图6A及图6B是构造物CAD421及自身位置推测用地图411的具体例。构造物CAD421如图6A所示，具有墙壁601、柱子602等构造物的数据，自身位置推测用地图401如图6B所示，仅具有构造物的表面603的数据。
另外，自身位置推测用地图411是从构造物CAD421生成的地图，所以在自身位置推测用地图411中不包含关于配管、泵、阀等设备要素的数据。
通过变换处理424，对由设备CAD423管理的配管、泵、阀等设备要素的形状、位置等进行变换，制作设备要素对照用地图412。
变换处理424包括如下的坐标变换，该坐标变换为：基于设备CAD坐标系414中保存的数值（自身位置推测用地图411和设备要素对照用地图412的对位所需的位置偏差、方向偏差、比例偏差等），进行自身位置推测用地图411和设备要素对照用地图412的对位。
图7是说明设备要素对照用地图412的构成的图。
设备要素对照用地图412是包含设备ID701、形状类型702及位置·大小703的表。
设备ID701保存对配管、泵等各设备要素固有地赋予的识别符。设备ID701与后述的设备误差统计模型413、标准温度数据415及系统图数据416是共通的。
形状类型702保存与设备要素的形状类型对应地赋予的识别符。例如，对圆柱赋予1，对立方体赋予2。
位置·大小703根据设备要素的形状类型来保存用于定义位置、大小等的数值群。例如在圆柱的情况下，位置·大小703为中心坐标x、y和半径r。
图8是说明设置误差统计模型413的构成的图。
设置误差统计模型413是包含设备ID801、方差802及校正系数803的表。
设备ID801保存对配管、泵等各设备要素固有地赋予的识别符。设备ID801与设备要素对照用地图412等是共通的。
方差802保存表示设备要素的设置位置的误差分布的参数。在此，将误差分布以二维的概率密度分布来表现，例如，设备要素为铅垂地配置的配管（圆柱）的情况下，方差802保存与配管的中心轴正交的平面上的方差值σ1 2、σ2 2。
校正系数803保存校正系数，该校正系数是由于设备要素的设置场所、设置工法等的影响而误差分布的形状变化的情况的校正系数。例如在沿着墙壁设置配管、且从墙壁到配管的距离被严格遵守但在沿着墙壁的方向上允许设置误差的情况下，校正系数803保存用于对误差分布进行校正、以使误差分布沿着墙壁成为长椭圆的校正系数。
方差802及校正系数803基于过去的实际情况，根据设备要素的种类、设置场所、设置工法等来设定，但是也可以按每个设备要素来制作。
设备CAD坐标系414省略图示，包含进行自身位置推测用地图411和设备要素对照用地图412的对位所需的位置偏差、方向偏差、比例等数值。
图9是说明标准温度数据415的构成的图。
标准温度数据415是包含设备ID901、下限温度902及上限温度903的表。
设备ID901保存对配管、泵等各设备要素固有地赋予的识别符。设备ID901与设备要素对照用地图412等是共通的。
下限温度902保存各设备要素的下限温度，上限温度903保存各设备要素的上限温度。通过下限温度902及上限温度903，对各设备要素规定能够判定为正常运转的温度范围。
图10是说明系统图数据416的构成的图。
系统图数据416是包含设备ID1001、连接源1002、连接目标1003的表。
设备ID1001保存对配管、泵等的各设备要素固有地赋予的识别符。设备ID1001与设备要素对照用地图412等是共通的。
连接源1002保存与设备要素的上游侧连接的设备要素的识别符。该设备要素的上游侧连接着多个设备要素的情况下，连接源1002保存多个识别符。
连接目标1003保存与设备要素的下游侧连接的设备要素的识别符。该设备要素的下游侧连接着多个设备要素的情况下，连接目标1003保存多个识别符。
接着，回到图4，说明监视装置100的功能部401～407的功能。
自身位置推测部401基于多个计测结果，推测监视装置100的自身位置（“位置”中包含监视装置100的“朝向”，以下相同）。具体地说，对由加速度传感器105计测的加速度进行2次积分而计算第1预测自身位置，并且将由激光测距仪102计测的周围的三维形状与自身位置推测用地图401进行对照，从而计算第2预测自身位置。然后，自身位置推测部401使用卡尔曼滤波器对包含基于统计性误差的离差（ばらつき、不均匀）的这二个预测自身位置进行综合，推测最可靠的自身位置。
另外，关于自身位置推测处理的详细情况，以后举出具体例进行说明。
设备要素确定部402使用由自身位置推测部401推测的自身位置和激光测距仪102的三维计测的结果，确定监视中的设备要素的设备ID及位置。
图5是表示设备要素确定部402的详细情况的功能框图。
设备要素确定部402包括：周边设备要素提取部501、设置误差分布计算部502、差分提取部503、设备要素候选提取部504、一致度评价部505及设备要素确定部506。
周边设备要素提取部501基于由自身位置推测部401推测出的自身位置，从设备要素对照用地图413检索自身位置的周边的设备要素的形状类型及位置·大小、即形状及位置，并作为周边设备要素来提取。
设置误差分布计算部502对于由周边设备要素提取部501提取的周边设备要素的每一个，参照设置误差统计模型413检索对应的设备ID的方差及校正系数，基于检索到的方差及校正系数来计算设置误差分布。
差分提取部503计算激光测距仪102的三维计测结果与自身位置推测要地图411的差分。由此，从三维计测结果将与墙壁、柱子等建筑物的构造物有关的计测点群除去，仅将与建筑物的构造物以外的物体、也就是设备要素有关的计测点群作为差分来提取。
设备要素候选提取部504根据由差分提取部503提取的差分，通过最小二乘法、哈夫（hough）变换等，检测与平面、圆柱等设备要素对应的形状及其位置，并将其作为设备要素候选来提取。
使用最小二乘法的情况下，基于由周边设备要素提取部501提取的周边设备要素的形状及位置等，一定程度上预测存在于自身位置周边的形状，一边使预测的形状及位置变化，一边检索二乘误差为最小的形状及位置，将二乘误差为最小的形状及位置作为设备要素候选来提取。
使用哈夫变换的情况下，进行使用了与检索的形状相应的参数的投票，基于其结果来检索形状。例如，在圆柱的情况下，通过任意的半径r和中心坐标x、y这三个参数按每个计测点进行投票，推测为存在具备投票最集中的参数的圆柱，将该圆柱的形状及位置作为设备要素候选来提取。
另外，设备要素候选提取部504也一并计算预测误差分布，该预测误差分布是提取出的设备要素候选中包含的统计性误差。例如，使用最小二乘法提取设备要素候选的情况下，通过将二乘误差之和与已知的自身位置推测的误差相加，计算预测误差分布。
一致度评价部505在由设置误差分布计算部502得到的周边设备要素的设置误差分布和由设备要素候选提取部504提取的设备要素候选的预测误差分布之间，对于所有组合计算一致度。一致度是将设置误差分布和预测误差分布综合而得到的误差分布的最大值。
在设备要素确定部506中，从全部组合中提取一致度最大的组合。一致度最大的组合是最可靠的，所以能够确定由设备要素候选提取部504提取的设备要素候选与周边设备要素的哪一个对应。即，能够确定监视中的设备要素的设备ID。此外，在综合后的误差分布中取最大值的位置，作为监视中的设备要素的位置是最可靠的，所以也能够确定监视中的设备要素的位置。
另外，关于设备要素确定处理的详细情况，在后面举出具体例来说明。
回到图4，继续说明监视装置100的功能部401～407的功能，坐标系校正部403基于由设备要素确定部402确定的设备要素的位置，计算自身位置推测用地图411与设备要素对照用地图412的偏差，对设备CAD坐标系414中保存的数值（自身位置推测用地图411和设备要素对照用地图412的对位所需的位置偏差、方向偏差、比例偏差等）进行修正。由此，通过变换处理424，减少下次生成设备要素对照用地图412时的、自身位置推测用地图411与设备要素对照用地图412的偏差。
3D映射部404将由热红外线摄像机103计测的监视中的设备要素的温度和由激光测距仪102计测的相对于监视中的设备要素的距离·方向综合，计算三维的温度分布。
3D映射部405将由可见光摄像机104取得的监视中的设备要素的可见光图像和由激光测距仪102计测的相对于监视中的设备要素的距离·方向综合，将可见光图像变换为三维图像。
异常检测部406参照标准温度数据415，检索并取得与监视中的设备要素的设备ID对应的下限温度及上限温度，并从3D映射部404取得监视中的设备要素的温度。然后，异常检测部406对两者继续比较，在监视中的设备要素的温度低于下限温度或高于上限温度的情况下，判定为该设备要素异常。
图像重叠部407生成重叠图像，该重叠图像是在由3D映射部405变换为三维图像的可见光图像上重叠由3D映射部404计算的三维温度分布而得到的图像。然后，图像重叠部407将生成的重叠图像投影到平面而变换为二维，并输出至显示器201。
重叠的温度分布以温度高于上限温度的部位为红色、其他部位为无色的方式，根据温度分颜色显示。也可以根据温度以使颜色连续变化的方式分颜色显示。此外，为了在可见光图像上重叠了温度分布的状态下也能够由作业者确定可见光图像，对温度分布设定适当的透过率。
此外，图像重叠部407基于系统图数据416中保存的设备要素间的连接信息，生成视觉地表示各设备要素的连接关系的系统图。然后，对与由异常检测部406检测到异常的设备要素对应的部位赋予记号（例如带颜色的圆圈），并输出至显示器201。
显示器201显示从图像重叠部407输入的重叠图像及系统图。图22表示显示的具体例，对此留待后述。
接下来，举出具体例说明自身位置推测处理及设备要素确定处理的详细情况。
在具体例中，如图12所示，设想在监视装置100的周边存在由墙壁1201及1202形成的墙角、在墙壁1202的旁边立设的配管1203、以及安装于配管1203的侧面的阀1204的状况。
图11是自身位置推测处理的流程图。该自身位置推测处理通过监视装置100的自身位置推测部401、即通过由处理器301执行存储器302中保存的程序来进行。
首先，处理器301对由加速度传感器105检测到的加速度进行2次积分，并将其与自身位置的上次值相加，从而推测当前的自身位置（1101）。以下将通过处理1101推测出的自身位置称为“第1推测自身位置”。
接着，处理器301设想假定了各种自身位置时的墙壁、柱子等建筑物的配置，并将设想的墙壁、柱子等建筑物的构造物与激光测距仪102的三维计测结果进行对照（扫描匹配）。然后，将一致度最高的位置推测为自身位置（1102）。将通过处理1102推测出的自身位置称为“第2推测自身位置”。此外，基于在推测出的自身位置从一致度最高的位置偏差的情况下的一致度，计算第2推测自身位置的统计性误差分布。
例如，在图12所示的状况下，自身位置推测用地图411包含与图13所示的墙壁1201及1202对应的墙壁数据1201a及1202a。
图14用粗线表示激光测距仪102的三维计测的结果1401。三维计测的结果1401是与被照射激光的墙壁1201及1202的一部分和配管1203的一部分对应的大量计测点的集合。图中1402是激光测距仪102的位置、即自身位置。
如图15所示，处理器301通过仿射变换对从自身位置推测用地图411读出的墙壁数据1201a及1202a进行平行移动及旋转，设想图中以虚线示出的各种配置。
处理器301将设想的墙壁数据1201a及1202a的配置分别与三维计测的结果1401进行对照，计算一致度。然后，处理器301求出一致度最高的配置1501。如图14所示，三维计测的结果1401与自身位置1402的关系是已知的，所以根据三维计测的结果1401和与其一致度最高的配置1501，能够推测自身位置1402。
此外，处理器301根据在位置从一致度最高的配置1501偏差的情况下的一致度的分布，计算所推测出的自身位置（第2推测自身位置）的误差分布。
接着，处理器301通过卡尔曼滤波器将第1推测自身位置和第2推测自身位置综合，将最可靠的位置推测为自身位置（1103）。
图16是说明上述自身位置推测处理的例子的图。另外，该图虽然是二维的，但实际的处理以三维进行。
将上次推测出的自身位置1601与对由加速度传感器105计测的加速度的值进行2次积分而得到的值相加，从而得到第1推测自身位置。由加速度传感器105计测的值包含统计性误差，所以第1推测自身位置也存在离差。椭圆1602表示第1推测自身位置的误差分布。
第2推测自身位置通过将激光测距仪102的三维计测的结果与自身位置推测用地图411进行对照（扫描匹配）而推测出，第2推测自身位置也与第1推测自身位置同样，存在基于统计性误差的离差。椭圆1603表示第2推测自身位置的误差分布。
在上述自身位置推测处理中，通过卡尔曼滤波器将分别具有离差的第1推测自身位置及第2推测自身位置综合，将最可靠的位置、也就是在综合后的误差分布中取最大值的位置推测为自身位置。在该例中，在综合后的误差分布中取最大值的位置1604被推测为自身位置。
上述自身位置推测处理通过重复上述处理，随时推测自身位置。
图17是设备要素确定处理的流程图。该设备要素确定处理通过监视装置100的设备要素确定部402、也就是通过由处理器301执行存储器302中保存的程序来进行。
首先，处理器301基于通过自身位置推测处理推测出的自身位置，参照设备要素对照用地图412，提取周边设备要素的设备ID、形状类型及位置·大小（1701）。在图12所示的状况下，配管1203及阀1204作为周边设备要素被提取。
接着，处理器301提取激光测距仪102的三维计测的结果（计测点群）与自身位置推测用地图411的差分（1702）。由此，从通过三维计测得到的计测点群将与墙壁、柱子等建筑物的构造物对应的计测点群除去，仅提取与设备要素对应的计测点群。
图18表示在图12所示的例子中通过处理1702提取的差分。差分仅包含与配管1203的一部分对应的曲面1801。另外，与阀1204对应的部分本来包含在差分中，但是在此为了简单起见而省略。
此外，图18所示的例子是从激光测距仪102进行1次扫描而得到的三维计测结果提取的差分，但是也可以如图19所示那样，将在多个位置扫描的结果重叠，从重叠的结果提取差分1901。通过使用重叠的结果，提高下一处理1702中的设备要素候选的提取精度。
接着，处理器301从通过处理1702提取的差分，通过最小二乘法、哈夫变换等检测并提取平面、圆柱等设备要素候选的形状及位置。此外，还计算所提取的设备要素候选中包含的统计性误差、即预测误差分布（1703）。例如，使用最小二乘法提取设备要素候选的情况下，处理器301将二乘误差的和与已知的自身位置推测的误差相加，从而计算预测误差分布。
图20表示根据图18所示的差分检测并提取设备要素候选的形状及位置的结果。在该例中，根据差分检测并提取与配管1203对应的圆柱2001及其位置。
接着，处理器301对于通过处理1701提取的周边设备要素的每一个，参照设置误差统计模型413，取得与设置误差有关的参数（方差及校正系数），计算预测的设置误差分布（1706）。然后，处理器301对于通过处理1701提取的周边设备要素和通过处理1703提取的设备要素候选的全部组合，将设置误差分布和预测误差分布综合，计算两者的一致度（1709）。一致度是综合后的误差分布的最大值。
在实际的处理中，处理器301使用计数器i、j，对于通过处理1701提取的周边设备要素和通过处理1703提取的设备要素候选的全部组合计算一致度（处理1704～1711）。
然后，处理器301计算一致度最大的周边设备要素和设备要素候选的组合，确定通过处理1703提取的设备要素候选与通过处理1701提取的周边设备要素的哪一个对应。即，确定监视中的设备要素的设备ID。此外，将在该组合的误差分布中取最大值的位置确定为监视中的设备要素的位置（1712）。
图21表示通过上述设备要素确定处理在图12所示的状况下确定设备要素的设备ID及位置的情形。
在图12所示的状况下，根据三维计测的结果，将与配管1203对应的部分作为设备要素候选（圆柱）提取，其预测误差分布成为以圆柱的中心轴为中心的同心圆状的等高线2101。
另一方面，作为周边设备要素从设备要素对照用地图412提取配管1203，其设置误差分布基于从设置误差统计模型413取得的与设置误差有关的参数，通过以配管1203的中心轴为中心的椭圆的等高线2102来表示。设置误差分布的形状成为椭圆的原因在于，例如由于配管1203的设置时的工法上的制约，与墙壁的距离被严格遵守，但是在平行于墙壁的方向上允许位置的设置误差。
处理器301通过将二个误差分布在各位置相乘而综合，并计算综合后的误差分布的最大值，作为设备要素候选与配管1203的一致度。然后，该组合的一致度比其他组合的一致度高的情况下，确定为监视中的设备要素是配管1203，并且将误差分布成为最大值的位置2103确定为配管1203的位置。
图22是在图12所示的状况下的、向显示器201的显示例。
在显示器201的左侧区域显示由图像重叠部407生成的可见光图像和温度分布的重叠图像。超过各设备要素的上限温度的部分2201带颜色地显示。在该例中，阀1204超过该上限温度，阀1204以红色显示。
此外，在显示器201的右侧区域显示由图像重叠部407生成的系统图2202。在该例中，阀1204超过该上限温度而被判定为异常，所以在系统图2202中与阀1204对应的部分被红圆2203包围。
基于显示器201上显示的这些图像，作业者能够确定到监视中的设备要素是配管1203及阀1204，并且能够确定到阀1204发生了异常。
如以上说明，根据本发明的第1实施方式，监视装置100不仅能够推测自身位置，还能够确定监视中的设备要素是什么设备要素及其位置。即，能够以高的可靠度取得监视中的设备要素和由监视系统1管理的设备要素的对应关系。
在自身位置的推测中，将从多个传感器（激光测距仪102及加速度传感器105）的计测结果推测的多个自身位置在统计上综合，推测最终的自身位置，此外，为了进行自身位置推测而使用的自身位置推测用地图仅包含设置误差小的建筑物内的构造物。由此，能够以高精度推测自身位置，并且还能够提高利用自身位置的推测结果的、设备要素的确定的精度。
此外，由于设置误差，实际配置设备要素的位置可能会与设备CAD中保存的位置发生偏差，仅通过对照三维计测结果和设备CAD，难以确定设备要素。但是，根据本发明的第1实施方式，考虑了设备要素的设置误差分布而确定设备要素，所以即使有设置误差，也能够进行设备要素的确定。
此外，由于能够确定监视中的设备要素候选是什么设备要素，所以通过比较所计测的温度和对该设备要素预先设定的正常温度范围，能够判定该设备要素的异常，作业者能够采取与该设备装置相应的适当措置。
＜第2实施方式＞
接下来说明本发明的第2实施方式。
图23是表示本发明的第2实施方式中的监视装置100的逻辑构成的功能框图。虚线围出的部分是安装在监视装置100中的部分。
在第1实施方式中，数据411～415保存在监视装置100的存储装置303中，但是在第2实施方式中，数据411～415保存在服务器120的存储装置313中。
监视装置100向服务器120请求发送数据411～415中的、功能部401～407的处理所需的部分，服务器120将请求的数据发送给监视装置100。监视装置100使用接收的数据，执行功能部401～407的处理。
其他构成（硬件构成、功能部401～407中的处理内容）与第1实施方式相同，因此省略这些说明。
另外，在第2实施方式中，数据411～415全部由服务器120侧具备，但是也可以由监视装置100保持数据411～415的一部分。此外，也可以在服务器120侧具备系统图数据416。
＜第3实施方式＞
接下来说明本发明的第3实施方式。
图24是表示本发明的第3实施方式中的监视装置100的逻辑构成的功能框图。虚线围出的部分是安装在监视装置100中的部分。
在第3实施方式中，数据411～416的全部和用于安装自身位置推测部401、设备要素确定部402、坐标系校正部403及异常检测部406的程序保存在服务器120的存储装置313中。通过将这些程序读出到服务器120的存储器312并由处理器311执行，将这些功能部401～403及406安装到服务器120中。
在设备要素的监视作业中，监视装置100向服务器120发送传感器102～105的计测结果，服务器120基于从监视装置100接收的计测结果，执行自身位置推测处理、设备要素确定处理等各种处理。然后，服务器120将处理的结果（自身位置推测的结果、设备要素的确定结果及异常检测结果等）发送给监视装置100。监视装置100在图像重叠部407对从服务器120接收的处理结果进行加工，并在显示器201上显示。
其他构成（硬件构成、功能部401～407中的处理内容）与第1实施方式相同，所以省略这些说明。
另外，在第3实施方式中，将自身位置推测部401、设备要素确定部402、坐标系校正部403及异常检测部406安装在服务器120中，但是也可以其中的一部分安装在监视装置100中。
此外，将3D映射部404、3D映射部405及图像重叠部407安装在监视装置100中，但是也可以将其中的一部分或全部安装在服务器120中。
以上参照附图详细说明了本发明，但是本发明不限于这样的具体构成，而是包含在权利要求书的主旨内的各种变更及同等的构成。
例如，在上述实施方式中，为了计测周围的三维形状而使用激光测距仪102，但是也可以使用其他传感器来计测周围的三维形状。例如，也可以使用如下方法：使用从由2台摄像机取得的图像生成的视差图像的方法、基于一边使1台摄像机移动一边取得的多个图像来对特征点的变化进行解析的方法等。
此外，自身位置推测用地图401也可以如下地生成：在监视之前由作业者在建筑物内移动，从而通过激光测距仪102对建筑物内进行三维计测，根据该计测结果，仅提取与墙壁、柱子等构造物对应的部分。
此外，在上述实施方式中，监视装置100计测设备要素的温度，比较所计测的温度和下限温度及上限温度，判定设备要素的异常，但是也可以计测其他物理量（声音、振动、颜色等），基于计测出的其他物理量来判定设备要素的异常。

Claims (15)

1.一种监视装置，监视建筑物内的设备要素，其特征在于，具备：
三维计测部，计测所述监视装置的周围的三维形状；
自身位置推测部，将计测出的所述三维形状与自身位置推测用地图进行对照，从而推测所述监视装置的自身位置，该自身位置推测用地图包含所述设备要素以外的所述建筑物内的构造物的形状及位置；
周边设备要素提取部，从设备要素对照用地图提取所推测出的所述自身位置的周边的设备要素，该设备要素对照用地图包含所述建筑物内的设备要素的形状及位置；
设备要素候选提取部，从计测出的所述三维形状提取设备要素候选的形状及位置；
一致度评价部，基于所述自身位置的周边的设备要素的形状及位置的误差分布、以及从计测出的所述三维形状提取的所述设备要素候选的形状及位置的误差分布，计算从所述设备要素对照用地图提取的所述自身位置的周边的设备要素的形状及位置与从计测出的所述三维形状提取的所述设备要素候选的形状及位置的一致度；以及
设备要素确定部，基于计算出的所述一致度，确定从计测出的所述三维形状提取的所述设备要素候选的形状是从所述设备要素对照用地图提取的所述自身位置的周边的设备要素中的哪一个。
2.如权利要求1所述的监视装置，其特征在于，还具备：
可见光摄像机，取得可见光图像；
物理量测定部，测定所确定的所述设备要素的用于判定该设备要素的异常的物理量；
异常检测部，通过比较所测定的所述物理量和所确定的所述设备要素的标准物理量，检测所确定的所述设备要素的异常；以及
图像显示部，基于所确定的所述设备要素的位置，将检测到的所述异常重叠在由所述可见光摄像机取得的所述可见光图像上并显示。
3.如权利要求1所述的监视装置，其特征在于，
所述一致度评价部通过将所述自身位置的周边的设备要素的形状及位置的误差分布和从计测出的所述三维形状提取的所述设备要素候选的形状及位置的误差分布相乘来综合，并计算综合后的误差分布的最大值作为所述一致度。
4.如权利要求1所述的监视装置，其特征在于，
所述设备要素确定部基于所述一致度来确定所确定的所述设备要素的位置，
所述监视装置还具备坐标系校正部，该坐标系校正部基于由所述设备要素确定部确定的所述设备要素的位置，计算所述自身位置推测用地图与所述设备要素对照用地图的偏差，并对所述设备要素对照用地图进行修正以使该偏差减少。
5.如权利要求1所述的监视装置，其特征在于，
所述自身位置推测用地图及所述设备要素对照用地图的至少一个由服务器保持，
所述监视装置从所述服务器取得所述自身位置推测用地图及所述设备要素对照用地图的至少一个。
6.一种监视系统，具备监视建筑物内的设备要素的监视装置和与所述监视装置连接的服务器，该监视系统的特征在于，具备：
三维计测部，计测所述监视装置的周围的三维形状；
自身位置推测部，将计测出的所述三维形状与自身位置推测用地图进行对照，从而推测所述监视装置的自身位置，该自身位置推测用地图包含所述设备要素以外的所述建筑物内的构造物的形状及位置；
周边设备要素提取部，从设备要素对照用地图提取所推测出的所述自身位置的周边的设备要素，该设备要素对照用地图包含所述建筑物内的设备要素的形状及位置；
设备要素候选提取部，从计测出的所述三维形状提取设备要素候选的形状及位置；
一致度评价部，基于所述自身位置的周边的设备要素的形状及位置的误差分布、以及从计测出的所述三维形状提取的所述设备要素候选的形状及位置的误差分布，计算从所述设备要素对照用地图提取的所述自身位置的周边的设备要素的形状及位置与从计测出的所述三维形状提取的所述设备要素候选的形状及位置的一致度；以及
设备要素确定部，基于计算出的所述一致度，确定从计测出的所述三维形状提取的所述设备要素候选的形状是从所述设备要素对照用地图提取的所述自身位置的周边的设备要素中的哪一个。
7.如权利要求6所述的监视系统，其特征在于，
所述监视装置具有：
可见光摄像机，取得可见光图像；以及
物理量测定部，测定所确定的所述设备要素的用于判定该设备要素的异常的物理量；
所述监视系统还具备：
异常检测部，通过比较所测定的所述物理量和所确定的所述设备要素的标准物理量，检测所确定的所述设备要素的异常；以及
图像显示部，基于所确定的所述设备要素的位置，将检测到的所述异常重叠在由所述可见光摄像机取得的所述可见光图像上并显示。
8.如权利要求6所述的监视系统，其特征在于，
所述一致度评价部通过将所述自身位置的周边的设备要素的形状及位置的误差分布和从计测出的所述三维形状提取的所述设备要素候选的形状及位置的误差分布相乘来综合，并计算综合后的误差分布的最大值作为所述一致度。
9.如权利要求6所述的监视系统，其特征在于，
所述设备要素确定部基于所述一致度来确定所确定的所述设备要素的位置，
所述监视系统还具备坐标系校正部，该坐标系校正部基于由所述设备要素确定部确定的所述设备要素的位置，计算所述自身位置推测用地图与所述设备要素对照用地图的偏差，并对所述设备要素对照用地图进行修正以使该偏差减少。
10.如权利要求6所述的监视系统，其特征在于，
所述监视装置包括：所述三维计测部、所述自身位置推测部、所述周边设备要素提取部、所述一致度评价部及所述设备要素确定部，
所述服务器保持所述自身位置推测用地图及所述设备要素对照用地图的至少一个。
11.如权利要求6所述的监视系统，其特征在于，
所述服务器包括所述三维计测部、所述自身位置推测部、所述周边设备要素提取部、所述一致度评价部及所述设备要素确定部的至少一个，且保持所述自身位置推测用地图及所述设备要素对照用地图的至少一个。
12.一种监视方法，通过监视装置监视建筑物内的设备要素，该监视方法的特征在于，包括：
三维计测步骤，计测所述监视装置的周围的三维形状；
自身位置推测步骤，将计测出的所述三维形状与自身位置推测用地图进行对照，从而推测所述监视装置的自身位置，该自身位置推测用地图包含所述设备要素以外的所述建筑物内的构造物的形状及位置；
周边设备要素提取步骤，从设备要素对照用地图提取所推测出的所述自身位置的周边的设备要素，该设备要素对照用地图包含所述建筑物内的设备要素的形状及位置；
设备要素候选提取步骤，从计测出的所述三维形状提取设备要素候选的形状及位置；
一致度评价步骤，基于所述自身位置的周边的设备要素的形状及位置的误差分布、以及从计测出的所述三维形状提取的所述设备要素候选的形状及位置的误差分布，计算从所述设备要素对照用地图提取的所述自身位置的周边的设备要素的形状及位置与从计测出的所述三维形状提取的所述设备要素候选的形状及位置的一致度；以及
设备要素确定步骤，基于计算出的所述一致度，确定从计测出的所述三维形状提取的所述设备要素候选的形状是从所述设备要素对照用地图提取的所述自身位置的周边的设备要素中的哪一个。
13.如权利要求12所述的监视方法，其特征在于，还包括：
可见光图像取得步骤，取得可见光图像；
物理量测定步骤，测定所确定的所述设备要素的用于判定该设备要素的异常的物理量；
异常检测步骤，通过比较所测定的所述物理量和所确定的所述设备要素的标准物理量，检测所确定的所述设备要素的异常；以及
图像显示步骤，基于所确定的所述设备要素的位置，将检测到的所述异常重叠在由所述可见光图像取得步骤取得的所述可见光图像上并显示。
14.如权利要求12所述的监视方法，其特征在于，
在所述一致度评价步骤中，通过将所述自身位置的周边的设备要素的形状及位置的误差分布和从计测出的所述三维形状提取的所述设备要素候选的形状及位置的误差分布相乘来综合，并计算综合后的误差分布的最大值作为所述一致度。
15.如权利要求12所述的监视方法，其特征在于，
在所述设备要素确定步骤中，基于所述一致度来确定所确定的所述设备要素的位置，
所述监视方法还包括坐标系校正步骤，该坐标系校正步骤基于由所述设备要素确定步骤确定的所述设备要素的位置，计算所述自身位置推测用地图与所述设备要素对照用地图的偏差，并对所述设备要素对照用地图进行修正以使该偏差减少。
CN201180072688.9A 2011-08-29 2011-08-29 监视装置、监视系统及监视方法 Expired - Fee Related CN103717995B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/069462 WO2013030929A1 (ja) 2011-08-29 2011-08-29 監視装置、監視システム及び監視方法

Publications (2)

Publication Number Publication Date
CN103717995A CN103717995A (zh) 2014-04-09
CN103717995B true CN103717995B (zh) 2016-05-11

Family

ID=47755483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180072688.9A Expired - Fee Related CN103717995B (zh) 2011-08-29 2011-08-29 监视装置、监视系统及监视方法

Country Status (5)

Country Link
US (1) US9911041B2 (zh)
EP (1) EP2765386A4 (zh)
JP (1) JP5658372B2 (zh)
CN (1) CN103717995B (zh)
WO (1) WO2013030929A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017505444A (ja) * 2013-10-30 2017-02-16 テクタス・ドリームラブ・プライベート・リミテッドＴｅｃｔｕｓ Ｄｒｅａｍｌａｂ Ｐｔｅ Ｌｔｄ 対象物、特に建造物を検査するための構成および方法
US10445160B2 (en) 2014-12-31 2019-10-15 Nuscale Power, Llc Remote monitoring of critical reactor parameters
JP6432494B2 (ja) * 2015-11-30 2018-12-05 オムロン株式会社 監視装置、監視システム、監視プログラムおよび記録媒体
JP6984997B2 (ja) * 2016-03-31 2021-12-22 倉敷紡績株式会社 画像配置方法及び画像配置用コンピュータプログラム
US10222215B2 (en) * 2017-04-21 2019-03-05 X Development Llc Methods and systems for map generation and alignment
CN108008409B (zh) * 2017-11-28 2019-12-10 深圳市杉川机器人有限公司 区域轮廓绘制方法及装置
JP7144991B2 (ja) * 2018-06-29 2022-09-30 大和ハウス工業株式会社 自律移動装置、自律移動プログラム及び位置推定システム
JP7042238B2 (ja) * 2019-06-11 2022-03-25 スクリーニング・イーグル・ドリームラボ・プライベート・リミテッド 対象物、特に建造物を検査するための構成および方法
JP7312864B2 (ja) * 2019-06-11 2023-07-21 スクリーニング・イーグル・ドリームラボ・プライベート・リミテッド 対象物、特に建造物を検査するための構成および方法
CN111009036B (zh) * 2019-12-10 2023-11-21 北京歌尔泰克科技有限公司 同步定位与地图构建中栅格地图的修正方法、装置
JP7318522B2 (ja) * 2019-12-25 2023-08-01 株式会社デンソー 推定装置、推定方法、推定プログラム
JP7318521B2 (ja) * 2019-12-25 2023-08-01 株式会社デンソー 推定装置、推定方法、推定プログラム
US11335072B2 (en) * 2020-06-03 2022-05-17 UrsaLeo Inc. System for three dimensional visualization of a monitored item, sensors, and reciprocal rendering for a monitored item incorporating extended reality
JP7260839B2 (ja) * 2020-07-16 2023-04-20 コニカミノルタ株式会社 プラント管理方法、プラント管理装置およびプラント管理プログラム
CN112729181A (zh) * 2020-12-25 2021-04-30 上海广川科技有限公司 一种进行晶圆定位检测的装置及方法
WO2022219780A1 (ja) * 2021-04-15 2022-10-20 三菱電機株式会社 点検支援装置、点検支援システム、点検支援方法、及び点検支援プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101331379A (zh) * 2005-12-16 2008-12-24 株式会社Ihi 自身位置辨认方法和装置以及三维形状的计测方法和装置
EP2299290A2 (en) * 2009-09-16 2011-03-23 Hitachi, Ltd. Determining system for localization methods combination
CN102203777A (zh) * 2008-11-26 2011-09-28 三菱电机株式会社 设施检索装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07281753A (ja) * 1994-04-15 1995-10-27 Toshiba Corp 移動ロボット
JP3360969B2 (ja) 1995-04-28 2003-01-07 株式会社東芝 プラント点検支援装置
JP2815045B2 (ja) * 1996-12-16 1998-10-27 日本電気株式会社 画像特徴抽出装置，画像特徴解析装置，および画像照合システム
TW518882B (en) * 2000-03-27 2003-01-21 Hitachi Ltd Liquid crystal display device for displaying video data
JP2002132341A (ja) * 2000-10-26 2002-05-10 Toshiba Corp 現場点検装置
KR100493159B1 (ko) * 2002-10-01 2005-06-02 삼성전자주식회사 이동체의 효율적 자기 위치 인식을 위한 랜드마크 및 이를이용한 자기 위치 인식 장치 및 방법
JP4002211B2 (ja) * 2003-05-23 2007-10-31 三菱電機株式会社 現場作業支援装置
US20050285941A1 (en) * 2004-06-28 2005-12-29 Haigh Karen Z Monitoring devices
JP4650750B2 (ja) * 2005-12-16 2011-03-16 株式会社Ｉｈｉ 三次元形状データの記憶・表示方法と装置および三次元形状の計測方法と装置
JP4984650B2 (ja) * 2006-05-30 2012-07-25 トヨタ自動車株式会社 移動装置及び移動装置の自己位置推定方法
JP4974217B2 (ja) * 2006-11-27 2012-07-11 アルパイン株式会社 ナビゲーション装置
US8050458B2 (en) * 2007-06-18 2011-11-01 Honda Elesys Co., Ltd. Frontal view imaging and control device installed on movable object
JP5120926B2 (ja) * 2007-07-27 2013-01-16 有限会社テクノドリーム二十一 画像処理装置、画像処理方法およびプログラム
US8515257B2 (en) * 2007-10-17 2013-08-20 International Business Machines Corporation Automatic announcer voice attenuation in a presentation of a televised sporting event
KR100926783B1 (ko) * 2008-02-15 2009-11-13 한국과학기술연구원 물체인식 및 인식된 물체를 포함하는 주변 환경 정보를바탕으로 한 로봇의 자기 위치 추정 방법
JP2009236774A (ja) 2008-03-27 2009-10-15 Hokuyo Automatic Co 三次元測距装置
US8867816B2 (en) * 2008-09-05 2014-10-21 Optosecurity Inc. Method and system for performing X-ray inspection of a liquid product at a security checkpoint
DE102009016230B4 (de) * 2008-09-12 2013-12-19 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur merkmalsbasierten Ortung eines mobilen Objekts mittels einer Referenzkarte oder zum unüberwachten Lernen einer Referenzkarte zur merkmalsbasierten Ortung
KR101503903B1 (ko) * 2008-09-16 2015-03-19 삼성전자 주식회사 이동 로봇의 지도 구성 장치 및 방법
TWI403690B (zh) * 2009-10-26 2013-08-01 Ind Tech Res Inst 自我定位裝置及其方法
US8635015B2 (en) * 2009-12-17 2014-01-21 Deere & Company Enhanced visual landmark for localization
US8908923B2 (en) * 2011-05-13 2014-12-09 International Business Machines Corporation Interior location identification

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101331379A (zh) * 2005-12-16 2008-12-24 株式会社Ihi 自身位置辨认方法和装置以及三维形状的计测方法和装置
CN102203777A (zh) * 2008-11-26 2011-09-28 三菱电机株式会社 设施检索装置
EP2299290A2 (en) * 2009-09-16 2011-03-23 Hitachi, Ltd. Determining system for localization methods combination

Also Published As

Publication number Publication date
EP2765386A1 (en) 2014-08-13
JP5658372B2 (ja) 2015-01-21
JPWO2013030929A1 (ja) 2015-03-23
EP2765386A4 (en) 2015-04-08
US9911041B2 (en) 2018-03-06
WO2013030929A1 (ja) 2013-03-07
US20140168423A1 (en) 2014-06-19
CN103717995A (zh) 2014-04-09

Similar Documents

Publication Publication Date Title
CN103717995B (zh) 监视装置、监视系统及监视方法
US10324172B2 (en) Calibration apparatus, calibration method and calibration program
Liu et al. Tracking-based 3D human skeleton extraction from stereo video camera toward an on-site safety and ergonomic analysis
US9154919B2 (en) Localization systems and methods
US20160300389A1 (en) Correlated immersive virtual simulation for indoor navigation
US20150193971A1 (en) Methods and Systems for Generating a Map including Sparse and Dense Mapping Information
US10895458B2 (en) Method, apparatus, and system for determining a movement of a mobile platform
US20160286351A1 (en) Indoor navigation anomaly detection
US11635519B2 (en) OnScene command vision
TWI580988B (zh) Location Information Establishment Method and Spatial Location Method
US20160298969A1 (en) Graceful sensor domain reliance transition for indoor navigation
WO2019217126A1 (en) Computer vision through simulated hardware optimization
CN109559347A (zh) 对象识别方法、装置、系统及存储介质
de Araujo et al. Cloud-based approach for automatic CNC workpiece origin localization based on image analysis
CN104182747A (zh) 基于多个立体相机的对象检测跟踪方法及装置
US20220215576A1 (en) Information processing device, information processing method, and computer program product
Burbano et al. 3D cameras benchmark for human tracking in hybrid distributed smart camera networks
TWI822423B (zh) 運算裝置及模型產生方法
CN105741260A (zh) 行动定位装置及其定位方法
Irmisch et al. Simulation framework for a visual-inertial navigation system
TW202405757A (zh) 運算裝置及模型產生方法
Daudt et al. Learning to understand earth observation images with weak and unreliable ground truth
Wolf et al. A benchmark of popular indoor 3d reconstruction technologies: Comparison of arcore and rtab-map
Bujang et al. Development of a motion capture system using Kinect
Li et al. Absolute pose estimation using multiple forms of correspondences from RGB-D frames

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160511

Termination date: 20190829