CN106395528B - 距离图像传感器的参数调整方法、参数调整装置及电梯系统 - Google Patents

距离图像传感器的参数调整方法、参数调整装置及电梯系统 Download PDF

Info

Publication number
CN106395528B
CN106395528B CN201610583605.7A CN201610583605A CN106395528B CN 106395528 B CN106395528 B CN 106395528B CN 201610583605 A CN201610583605 A CN 201610583605A CN 106395528 B CN106395528 B CN 106395528B
Authority
CN
China
Prior art keywords
range image
image sensor
parameter
car
true form
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610583605.7A
Other languages
English (en)
Other versions
CN106395528A (zh
Inventor
弓场龙
近藤靖郎
酒井亮
酒井亮一
薛祺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Hitachi Building Systems Co Ltd
Original Assignee
Hitachi Ltd
Hitachi Building Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd, Hitachi Building Systems Co Ltd filed Critical Hitachi Ltd
Publication of CN106395528A publication Critical patent/CN106395528A/zh
Application granted granted Critical
Publication of CN106395528B publication Critical patent/CN106395528B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66BELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B5/00Applications of checking, fault-correcting, or safety devices in elevators
    • B66B5/0006Monitoring devices or performance analysers
    • B66B5/0018Devices monitoring the operating condition of the elevator system

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Indicating And Signalling Devices For Elevators (AREA)
  • Maintenance And Inspection Apparatuses For Elevators (AREA)
  • Image Processing (AREA)

Abstract

本发明的距离图像传感器的参数调整方法、参数调整装置及电梯系统即使在缺少用于调整参数的标记的情况下,也能调整距离图像传感器的多个参数。设置在电梯的轿厢(4)内的距离图像传感器(5)与摄像机参数调整装置(1)连接。距离图像获取部(11)从距离图像传感器获取轿厢(4)内的距离图像。型号选择部(12)获取轿厢的三维形状信息,而且获取与距离图像传感器的设置及拍摄相关的规格信息。匹配部(13)根据三维形状信息计算轿厢(4)内的实际形状,进而根据距离图像生成三维点组,计算将三维点组与实际形状相匹配时的误差。

Description

距离图像传感器的参数调整方法、参数调整装置及电梯系统
技术领域
本发明涉及距离图像传感器的参数调整方法、参数调整装置及电梯系统。
背景技术
在电梯系统中,实施对于乘客超载或重量过载等的对策。例如,为了防止乘客超载的运行,通过载重传感器检测轿厢内的载重。在轿厢内载重超过额定载重量的情况下,使轿厢内的警报器持续鸣响,并且不进行关门动作。
对此,近年来正在探讨如下的技术:在电梯的轿厢内具备比以往的载重传感器更高精度的传感器,并利用以该传感器来识别乘客的识别结果来高精度地控制电梯。例如在专利文献1中,使用能计算图像中的各像素的距离值的距离图像传感器来测量在电梯内乘客所占据的占用面积。在专利文献1中,根据乘客的占用面积测量拥挤度,从而控制电梯的运行。
由此,在专利文献1中,能适当地测量例如像乘坐轮椅的乘客或推购物车的乘客那样,与一般乘客的重量差小但占用面积比一般乘客大的乘客乘坐时的拥挤度。而且,在专利文献1中,能实现如下运行控制:在判断为轿厢内的拥挤度较高、即使开门新的乘客也不能乘坐电梯的情况下,跳过到目的层为止的中间层的开门。
在专利文献1中,根据距离图像传感器的拍摄系统模型和距离图像传感器的设置角度和设置位置的信息,将由距离图像传感器测量出的距离值的组转换成三维点组。而且,在专利文献1中,在三维点组中,将比轿厢的地板面高的三维点组的集合作为乘客进行识别。
在专利文献1中,在将距离值的组转换成三维点组时,将距离图像传感器的设置角度或设置位置这样的外部参数作为对象,需要校正计算机内的参数并进行优化。在该校正(校准)中,对计算机内的参数进行优化,使得现实空间和计算机内偏差变小。
由于电梯系统存在各种尺寸,因此需要根据每个设置距离图像传感器的现场、轿厢的尺寸对外部参数进行校正。此外,为了更准确地测量距离值组向三维点组的转换,优选为将包含在距离图像传感器的拍摄系统模型中的焦点距离等内部参数作为对象进行校正,使得现实空间和计算机内的偏差变小。
在专利文献2中,涉及参数的校准,公开了一种用操作员所使用的信息终端上的用户界面对操作员进行指导以使得摄像机设置在适当的方位角及俯角的技术。在专利文献2中,若操作员经由用户界面指定轿厢型号,则摄像机的安装方法显示在用户界面上。
在专利文献2中,进行如下指导:将轿厢内的地板角落设为标记,使用摄像机图像中的重叠显示,使得摄像机的水平及垂直的设置角度大约适当。而且,在专利文献2中,在指导后对地板的角落进行图像识别,根据地板角落的指导位置和实际位置在摄像机图像中的偏差量来进行校正,使得现实空间和计算机内摄像机的水平及垂直的设置角度为最小。
此外,作为用于将两个点组进行对齐的算法,已知有ICP(Iterative ClosestPoint:迭代最近点)算法(非专利文献1)。
现有技术文献
专利文献
专利文献1:日本专利特开2014-021816号公报
专利文献2:日本专利特开2012-205299号公报
非专利文献
非专利文献1:Besl,P.and McKay,N.“A Method for Registration of 3-DShapes(一种3D图形注册方法)”,Trans.PAMI,Vol.14,No.2,1992。
发明内容
发明所要解决的技术问题
在专利文献2中,用于校准的标记仅有1个,根据标记的图像坐标仅能确定两个约束方程式。因此,在专利文献2中,能校准的参数的数量限定为2个以下。因而,在专利文献2中,除了距离图像传感器的设置角度的方位角和俯角以外,缺少将转动角也校准的约束方程式。在专利文献2中,不能校正转动角。而且,在专利文献2中,除了方位角及俯角以外,对于焦点距离等距离图像传感器的内部参数进行校准的情况也缺少约束方程式。在专利文献2中,不能校正距离图像传感器的内部参数。
为了增加约束方程式,需要增加校准的标记。但是,根据轿厢的规格,存在缺乏校准的标记的情况。特别是,将距离图像传感器设置在轿厢的入口附近,对轿厢里侧进行监视的情况缺乏标记。因为在轿厢的里侧,与轿厢的入口侧不同,不存在表示目标楼层的指示器或开关按钮、门等标记。
虽然考虑有意地在轿厢内追加校准用的标记,但是在该情况下,需要准备这些标记在轿厢内的三维坐标的数据库,从而校正的准备作业较花费精力。
本发明是鉴于上述问题而完成的,其目的在于提供一种距离图像传感器的参数调整方法、参数调整装置及电梯系统,即使在缺乏用于调整参数的标记时,也能调整多个参数。
解决技术问题的技术方案
为了解决上述问题,本发明所涉及的距离图像传感器的参数调整方法是用于调整距离图像传感器的多个参数的方法,该距离图像传感器获取包含对象区域的图像和到对象区域为止的距离的距离图像,所述距离图像传感器的参数调整方法包含以下步骤:从距离图像传感器获取与规定的对象区域有关的距离图像,从预先登记的三维形状信息中获取规定的对象区域的三维形状信息,从预先登记的规格信息中获取与距离图像传感器的设置及拍摄相关的规格信息,根据已获取的规定的对象区域的三维形状信息,计算在基于规定的对象区域来进行设定的规定的坐标系中的、规定的对象区域的实际形状,根据已获取的距离图像传感器的规格信息和与规定的对象区域有关的距离图像,生成将距离图像的各像素的距离值与规定的坐标系相对应的三维点组,计算将三维点组与实际形状相匹配时的误差。
发明效果
根据本发明,能计算根据距离图像传感器所检测出的距离值而获得的三维点组和规定的对象区域的实际形状相匹配时的误差,因此若使用该误差,则能对距离图像传感器的多个参数进行调整。
附图说明
图1是表示具备参数调整装置的电梯系统的概要的说明图。
图2是表示轿厢内的装置结构的说明图。
图3是表示以距离图像传感器为基准的坐标系的说明图。
图4是表示以轿厢内为基准的坐标系的说明图。
图5示出了型号选择部的一个画面结构示例。
图6示出了型号选择部的另一个画面结构示例。
图7是示出了将根据距离图像而生成的三维点组与轿厢实际形状相匹配的处理的流程图。
图8是表示轿厢实际形状的一个示例的示意图。
图9示出了根据拍摄轿厢内的距离图像而生成的三维点组的示例。
图10示出了将轿厢的实际形状和三维点组进行重叠显示的情况。
图11是表示对多个参数进行校正的整体处理的流程图。
图12是实施例2所涉及的参数调整装置的功能框图。
图13是表示将用于输入实际形状的对应部位的标记设定在距离图像内的情况的画面示例。
图14是表示设定在距离图像上的标记在实际形状上的对应位置的画面示例。
图15是表示用线段代替点状的标记并在距离图像内设定对应部位的情况的画面示例。
图16是表示设定在距离图像上的线段在实际形状上的对应位置的画面示例。
图17是表示对多个参数进行校正的整体处理的流程图。
图18是实施例3所涉及的参数调整装置的功能框图。
图19是表示将根据距离图像而生成的三维点组与轿厢实际形状相匹配的处理的流程图。
图20是表示对多个参数进行校正的整体处理的流程图。
图21是表示实施例4所涉及的使用立体摄像机获取距离图像的处理的流程图。
具体实施方式
以下,基于附图,对于本发明的实施方式进行说明。在本实施方式中,如以下详细描述那样,对于用于监视作为监视对象的规定的对象区域的距离图像传感器,能自动或手动对其外部参数和内部参数中的至少任意一个进行调整,或者对两者都进行调整。在本实施方式中,不限于调整(校正)距离图像传感器的参数的方法或装置,还公开了辅助距离图像传感器的设置的方法或装置。此处,规定的对象区域是指例如电梯系统的轿厢内部。
电梯系统根据例如最大乘坐人数或移动速度等顾客要求而各不相同,因此存在多个轿厢型号。而且,安装在轿厢内的距离图像传感器也存在多个型号。此外,电梯系统被用在世界各国,因此当地的作业者也会进行在轿厢内部设置距离图像传感器的作业、维护检查作业。
由此,在电梯系统中,具有如下性质:分别使用多个型号的轿厢,并且各个国家的当地作业者对轿厢内的距离图像传感器进行设置或维护检查。在本实施方式中,根据上述的性质,在每个型号的尺寸不同的轿厢内部,能对于每个型号适当地设置参数不同的距离图像传感器,并能对多个参数进行调整(或校正)。
在本实施方式中,距离图像获取部从距离图像传感器获取距离图像,作为信息获取部的型号选择部读取轿厢的型号及距离图像传感器的型号。匹配部将根据与轿厢型号相对应来确定的尺寸而计算得到的实际形状与根据距离图像而生成的三维点组进行匹配。匹配部能根据由距离图像传感器的型号来确定的内部参数及外部参数的初始值和距离图像传感器的距离值,来计算三维点组。而且,匹配部对距离图像传感器的外部参数及内部参数中至少一部分(优选为3个以上)参数进行优化,使得三维点组与实际形状进行最佳匹配。匹配部能自动地进行参数的优化,并能从用户界面向作业者提供对参数优化有用的信息(实际形状和三维点组的重叠显示、误差的值)。作业者能使用从用户界面提供的信息,对期望的参数进行调整。
在如上所述构成的本实施方式中,在各种尺寸的轿厢中,即使在缺乏用于校准的标记的情况下,也能以距离图像传感器的外部参数和内部参数中的一个或两个中的规定参数为对象,对距离图像传感器的参数进行校准。此外,在本实施方式中,使用校准后的距离图像传感器的参数,能对由距离图像传感器所获取的轿厢内距离图像进行图像识别。而且,能基于图像识别的结果,控制轿厢内的装置,或控制轿厢的运行。
【实施例1】
使用图1~图11对实施例1进行说明。图1示出了具备摄像机参数调整装置1的电梯系统的整体概要。电梯系统例如包括:摄像机参数调整装置1、图像处理部2、电梯控制部3、轿厢4、距离图像传感器5、以及驱动机构6。
轿厢4通过驱动机构6在设置在建筑物内的电梯井中(未图示)进行升降。轿厢4的运行等通过电梯控制部3进行控制。设置在轿厢4的内部的距离图像传感器5与摄像机参数调整装置1相连接,对轿厢4内的距离图像进行拍摄并发送至摄像机参数调整装置1。
此处,距离图像传感器5是检测距离图像的传感器。距离图像不仅是二维平面的图像,还是具有其深度信息(距离值)的三维图像。作为距离图像传感器5能使用例如根据向对象照射的红外线等的反射光返回的时间来计算距离值的方式的传感器。而且在后文中阐述的实施例中,作为距离图像传感器,对于使用立体摄像机的情况进行说明。以下,存在将距离图像传感器5称为摄像机的情况。
摄像机参数调整装置1是“距离图像传感器的参数调整装置”的一个示例,例如具备距离图像获取部11、型号选择部12、以及匹配部13。摄像机参数调整装置1的具体的结构例在后文中阐述,例如使用具备微处理器、存储器、以及通信接口等的计算机来构成。
距离图像获取部11获取对距离图像传感器5拍摄的图像中的距离值用像素单位来进行测量而得的距离图像。型号选择部12是选择轿厢4的型号的用户界面(以下,有时会简写为UI)。
匹配部13对于轿厢4的实际形状,将根据距离图像而生成的三维点组进行匹配。能将匹配部13称为轿厢实际尺寸匹配部13。匹配部13根据距离图像获取部11的距离值和距离图像传感器5的拍摄系统的模型来求出三维点组。轿厢4的实际形状根据由型号选择部12选择的轿厢形式来确定。匹配部13以在距离图像传感器5的外部参数和内部参数中的任意一个或两者中所指定的规定的参数为对象来进行校准,使得与轿厢4的实际形状最佳匹配。
图像处理部2使用校准结束后的规定参数,对距离图像获取部11获取的距离图像进行图像处理,对在轿厢中存在的物体(电梯的乘客、货物等)进行识别。图像处理部2的图像识别结果发送至电梯控制部3。电梯控制部3基于图像识别的结果,例如控制轿厢4的运行,或向轿厢4内的乘客进行指示,或向乘客提供信息。
图2是着眼于轿厢4的装置结构示例。距离图像传感器5例如位于轿厢4的门41的上方,朝向轿厢4的里面进行设置。距离图像传感器5在轿厢4内没有乘客的情况下,拍摄例如与门41相对的一侧的壁部及地板面42。
信号处理装置43设置在例如轿厢4的轿顶部。信号处理部43也可以设置在轿厢4的内部等。设置场所无关紧要。图2所示的坐标系40是“基于规定的对象区域来进行设定的规定的坐标系”的示例。
信号处理装置43实现摄像机参数调整装置1和图像处理部2。即,信号处理装置43实现在图1中所描述的距离图像获取部11、型号选择部12、匹配部13、以及图像处理部2的功能。在本实施例中,将信息终端70作为用于在与作业者之间交换信息的用户界面来利用。因而,在本实施例中,信号处理部34实现距离图像获取部11、型号选择部12、匹配部13、图像处理部2,信息终端70负责用户界面功能。
信号处理装置43能作为具有与距离图像传感器5独立的壳体的计算机来构成,也能设置在距离图像传感器5的内部。在距离图像传感器5和信号处理装置43分开构成的情况下,信号处理装置43与距离图像传感器5通过有线或无线而相连接。将信号处理装置43设置在距离图像传感器5内的情况下,信号处理装置43使用例如距离图像传感器5内的微处理器、存储器、以及存储器内的计算机程序等来实现。以下,如图2所示那样对于信号处理装置43和距离图像传感器5分开形成的情况举例进行说明,然而如上所述也可以在距离图像传感器5内设置信号处理装置43。
信号处理装置43从距离图像传感器5获取距离图像,并进行图像处理,对图像进行识别。信号处理装置43与电梯控制部3连接,电梯控制部3根据图像识别的结果,能控制轿厢4内的指示器等各装置,或控制轿厢4的运行。
对于距离图像传感器5、信号处理装置43、及信息终端70,上述的结构为示例,并不局限于上述的示例。若能获取轿厢4内的距离图像,并能根据距离图像生成三维点组,能生成轿厢4的实际形状,能将三维点组与轿厢4的实际形状相匹配,则能采用上述的结构例以外的其他结构。
以轿厢4内为基准的坐标系40被定义为具有原点O以及三个坐标轴(X,Y,Z)。坐标系40的原点O设定为轿厢4内的地板面42的四个角的角落中的任意一个。坐标系40的Y轴设定为垂直方向。坐标系40的X轴设定为从门41观察轿厢4内时的左边方向。坐标系40的Z轴设定为从门41观察轿厢4内时的深度方向。
距离图像传感器5具有俯角θ、方位角φ、及转动角ρ的设置角度,并安装成在门41的上部朝向轿厢4内。在距离图像传感器5从Z轴方向观察时,俯角θ和方位角φ都为0°,此时俯角θ、方位角φ、及转动角ρ的旋转轴分别与X轴、Y轴、Z轴一致。
进行电梯系统维护管理的作业者能使用信息终端70接受距离图像传感器5的设置方法的指导,或确认距离图像传感器5的设置角度。
信息终端70能通过例如笔记本型个人计算机、平板型个人计算机、PDA(个人数字助手)、移动电话等来实现。此外,也可以将例如设置在电梯系统外部的未图示的个人计算机和信号处理装置43经由互联网、LAN(Local Area Network:局域网)等通信网络来进行连接,以实现信息终端70。信息终端70可以与距离图像传感器5直接通信,也可以经由信号处理装置43来进行通信。
信息终端70具备用户界面部71。用户界面部71具备信息输入装置和信息输出装置。信息输入装置是用于作业者向距离图像传感器5或信号处理装置43输入信息的装置,能用例如键盘、鼠标、触摸面板、语音输入装置等来构成。信息输出装置是向作业者提供信息的装置,能用例如显示器、语音合成装置等来构成。
作业者在设置距离图像传感器5之前,通过观察显示在用户界面部71上的指导,能确认正确的设置方法。而且,作业者基于显示在用户界面部71的轿厢4内的图像,能手动调整距离图像传感器5的设置角度等,或输入用于调整距离图像传感器5的内部参数的指示。
距离图像传感器5是具有与监视摄像机相同的摄像面、在摄像面中的各像素中,对到达与各像素相对应的空间中的物体为止的距离进行测量的传感器。将对图像中的各像素的距离值进行测量的图像称为距离图像。距离图像传感器5将获取的距离图像发送至距离图像获取部11。
作为距离图像的测量方式能使用例如Time Of Flight(飞行时间)。根据该方式的距离图像传感器具有向其内部照射近红外光的发光体,通过测量所照射的近红外光从视角内的物体反射回来为止的时间,来测量到物体的距离。在后文中阐述的实施例中,作为距离图像的测量方式,对于使用立体摄像机的情况进行说明。
用图3来阐述能以坐标系40来计算距离图像中的各像素的空间中的对应点的三维坐标的情况。首先,示出了能以距离图像传感器5为基准的坐标系50来计算距离图像中的各像素的空间中的三维坐标的情况。
在图3中,距离图像500具有多个像素501。像素501与空间中的点401对应,在距离图像500中具有坐标i(u,v)。空间中的点401在以距离图像传感器5为基准的坐标系50中具有坐标IS(XS,YS,ZS)。
坐标系50的原点OS为距离图像传感器5的投影的中心。从距离图像传感器5观察,坐标系50的坐标轴XS、YS、ZS分别与左边方向、上边方向、及深度方向相对应。坐标Is的要素Zs与像素501的距离值相等。此处,将距离图像传感器5的拍摄系统模型设为针孔模型,将距离图像传感器5的焦点距离设为f,坐标Is的要素Xs能根据下记数学式1求出,要素Ys能根据下记数学式2求出。
【数学式1】
XS=uZS/f
【数学式2】
YS=vZS/f
用图4阐述由轿厢4内的坐标系40定义的坐标能根据以距离图像传感器5为基准的坐标系50的坐标来进行计算的情况。在图4中,I(X,Y,Z)是空间中的点401在坐标系50中的三维坐标。该I(X,Y,Z)能用下记数学式3来计算。
【数学式3】
在数学式3中,位置(XC,YC,ZC)是坐标系40中的距离图像传感器5的设置位置。在数学式3中,角度(θ,φ,ρ)如图2所示是坐标系40中的距离图像传感器5的设置角度。
在距离图像500中,在求出距离值的像素中,以与根据像素501的对应点401求出坐标系40中的三维坐标I(X,Y,Z)相同的步骤,能求出空间中的对应点的坐标系40。将用于求出包含在距离图像500中的各像素的三维坐标的点组称为三维点组。此处,对于距离图像500具有的所有像素不需要全部求出三维坐标,可以在需要的范围内计算三维坐标。即,可以根据距离图像500局部地计算三维点组。
此处,距离图像传感器5的外部参数是指设置位置(XC,YC,ZC)及设置角度(θ,φ,ρ)。距离图像传感器5的内部参数是指如数学式1及数学式2所示与点401的坐标XS及YS的值有关的参数。作为一个示例,焦点距离f是内部参数。
但是,在数学式1及数学式2中,除焦点距离f以外,能将像素501的纵横比等更多的反映距离图像传感器5的拍摄系统模型的参数考虑在内来进行计算。在该情况下,在距离图像传感器的内部参数上追加纵横比等。而且,根据距离图像传感器5的拍摄系统模型中的参数,在点401的坐标ZS值变化时,距离图像传感器5的拍摄系统模型中的参数相当于距离图像传感器5的内部参数。
在距离图像传感器5中,能设置用于调整设置角度(θ,φ,ρ)中的一个以上的调整功能。例如对于各个设置角度(θ,φ,ρ),可以使用具有可调整的轴的安装工具,将距离图像传感器5安装在轿厢4上。而且,可以预先将设置角度(θ,φ,ρ)的调整基准记载在作业手册等中,使得作业者能边看调整基准边调整设置角度。表示设置基准的作业手册能作为例如电子指导信息来制成,通过用户界面部71来提供给作业者。
作为设置角度的调整基准的示例,列举将轿厢4的地板面42的过半作为距离图像500照出的情况。此外,也可以将轿厢4的地板面42作为标记,对作业者事前指导距离图像传感器5的设置角度。
图5是表示型号选择部12的画面示例。型号选择画面G10经由用户界面部71而提供给作业者。在型号选择画面G10中,轿厢4的型号和距离图像传感器5的型号双方能分别单独选择。
若作业者操作信息终端70并选择轿厢型号选择用的下拉菜单GP11,则下拉菜单GP11输出轿厢4的型号的一览显示GP12。作业者从一览显示GP12中,选择一个与现场的轿厢4(设置有调整对象的传感器5的轿厢)相对应的型号。
在画面G10中,也设置有选择距离图像传感器5的型号的传感器型号选择用下拉菜单GP13。若作业者操作信息终端70并选择下拉菜单GP13,则下拉菜单GP13输出距离图像传感器5的型号的一览显示114。作业者从该一览显示114中选择与现场的距离图像传感器5相对应的型号。
一览显示GP12中的轿厢型号确定轿厢4的形状。在本实施例中,由于将轿厢4的形状用长方体近似,因此唯一确定轿厢4的尺寸的高度、正面宽度、和深度。此外,轿厢4的高度是指图2的Y轴方向的长度。轿厢4的正面宽度是指图2的X轴方向的长度。轿厢4的深度是指图2的Z轴方向的长度。
一览显示GP14中的距离图像传感器型号唯一确定距离图像传感器5的装置的型号。唯一确定的距离图像传感器5的型号唯一确定距离图像传感器5的内部参数。作为内部参数,如上所述虽然例举了焦点距离,但是不限于此。
而且,一览显示GP14中的距离图像传感器5的型号唯一确定轿厢4中的距离图像传感器5的设置位置。一览显示GP14中的距离图像传感器型号和距离图像传感器5的设置位置的对应能通过预先设置距离图像传感器5的设置基准来实现。
图6表示型号选择部12的另一个画面示例GP10A。对于轿厢4,当距离图像传感器5的设置位置限定为1处或少数几处,并且安装在轿厢4的距离图像传感器5的型号限定为1个或少数几个的情况下,可以将轿厢型号和距离图像传感器型号进行组合。
图6所示的型号选择画面G10A为在将轿厢型号和距离图像传感器型号进行组合时的、型号选择部12的画面示例,具备下拉菜单GP15和一览显示GP16。下拉菜单GP15是用于选择轿厢型号和距离图像传感器型号的组合的菜单。一览显示GP16在作业者选择下拉菜单GP15时输出。
作业者从一览显示GP16中,选择一个与现场的轿厢4和距离图像传感器5相对应的、轿厢型号和距离图像传感器型号的组合。此外,在距离图像传感器的型号相对于轿厢型号唯一确定的情况下,也可以将轿厢型号和距离图像传感器型号的组合用轿厢型号来代表。
对于轿厢4的距离图像传感器5的设置位置限定于1处或少数几处,能通过例如在现场的作业前,预先对轿厢4实施距离图像传感器5的设置用的事前施工来实现。
作为事前施工,能例举出例如对于距离图像传感器5的设置位置在轿厢4的壳体上预先加工用于固定距离图像传感器5的夹具的安装孔的施工。而且,作为事前施工,能例举出在轿厢4中设置用于供与距离图像传感器5进行连接的各布线(电源电缆、视频信号传输电缆)通过的孔的施工。
将距离图像传感器5相对于轿厢4的型号限定为1个或少数几个,能通过相对于轿厢4的型号的规定范围的电缆,预先对适用的距离图像传感器5的型号及设置位置进行共用化来实现。
此外,在图5所示的画面G10和图6所示的画面G10A中,下拉菜单GP11、GP13、GP15作为UI的一个示例,也能采用其他的显示方式。例如,可以用文本框、复选框等图形用户界面(以下简称为GUI)来代替下拉菜单GP11、GP13、GP15。
用图7的流程图对匹配部13进行说明。匹配部13通过执行图7所示的处理来进行规定参数的校准。规定参数是指从距离图像传感器5的外部参数和内部参数中的至少任意一个或两者的参数中所指定的参数。此外,在图7中,在所述规定参数中,在不包含所述外部参数的情况下排除步骤S4,在不包含所述内部参数的情况下排除步骤S5。
对图7的概要进行阐述。首先,匹配部13根据型号选择部12的选择结果,求出图8所示的轿厢4的坐标系40中的实际形状400(S1)。
匹配部13对距离图像传感器5的内部参数及外部参数的初始值进行设定(S2)。匹配部13使用距离图像传感器5的内部参数及外部参数,根据距离图像传感器5的距离值对图9所示的坐标系40中的三维点组502进行计算(S3)。
匹配部13对作为校准对象来指定的外部参数进行更新,使得实际形状400和三维点组502最佳匹配(S4)。而且,匹配部13对作为校准对象来指定的内部参数进行更新,使得实际形状400和三维点组502最佳匹配(S5)。
匹配部13进行是否满足规定的结束条件的判定(S6),判定为满足时(S6:是),结束本处理。匹配部13若判定为没有满足结束条件(S6:否),返回步骤S3。
步骤S3中的距离图像传感器5的内部参数及外部参数在从步骤S3到S6为止的重复中,在首次中使用在步骤S2中设定的初始值,在第二次以后使用在步骤S4及S5中更新的值。
在成为校准对象的内部参数一个也没有的情况下,省略步骤S5。即使成为校准对象的外部参数一个也没有,但由于在步骤S5中参照步骤S4的处理结果,因此也不省略步骤S4。
以下,对于图7的各步骤的详细情况进行阐述。在步骤S1中求出的实际形状400是根据在型号选择部12中选择的轿厢型号来确定的、具有宽度、正面深度、高度的长方体。实际形状400的数据的形式例如由将长方体的表面以规定间隔进行网格分割而成的三维点组所构成。
在步骤S2中,对于距离图像传感器5的内部参数及外部参数中的设置位置,将根据由型号选择部12选择的距离图像传感器5的型号所预先设定的值作为初始值来使用。
此处,作为一个示例,与型号选择部12的选择对应的距离图像传感器5的全部内部参数的初始值和外部参数中的设置位置的初始值在未图示的数据库中预先登记。匹配部13从该数据库读取与距离图像传感器5的型号对应的值并使用。
如果在与现场的距离图像传感器5的型号对应的参数的一部分未登记到数据库的情况下,作为未登记参数的初始值可以使用零或随机数等值。
关于包含在距离图像传感器5的外部参数中的设置角度,能将例如对于作业者进行指导时的、距离图像传感器5的设置角度的值作为初始值来使用。因为能期望接受指导的作业者在一般情况下,以如在指导中所指示的角度来安装距离图像传感器5。在进行指导的情况下,能使在步骤S2中的距离图像传感器5的设置角度的初始值接近实际空间中的设置角度。
在步骤S2中,还读取在步骤S4及S5中参照的、成为校准对象的距离图像传感器5的外部参数及内部参数的指定。该指定基于匹配部13中预先设定的设定数据。设定数据可以根据在型号选择部12中所选择的轿厢型号或距离图像传感器型号来确定。或者,如后述那样,匹配部13可以经由UI接受由作业者将三维点组502与实际形状400相匹配时所利用的基准点或基准线等指示,并利用该指示对校准对象的参数(规定参数)进行调整。
对于在步骤S3中的三维点组502的计算方法进行说明。匹配部13使用距离图像传感器5的内部参数及外部参数和数学式1、数学式2、及数学式3,对于距离图像500中的各像素501,求出与各像素501对应的点401在坐标系40中的三维坐标I(X,Y,Z)。由此,匹配部13能获取三维点组502。此外,在像素501中,距离值未求出的像素不作为三维点组的计算对象。
以上所述的三维点组502中的各点在坐标系40中的三维坐标如距离图像获取部11的说明中所述的那样,根据在步骤S3中使用的距离图像传感器5的内部参数及外部参数而发生变化。而且,在步骤S3中使用的距离图像传感器5的内部参数及外部参数根据从步骤S3到步骤S6的重复进行而发生变化。
在步骤S4中,匹配部13对于三维点组502和实际形状400最匹配的距离图像传感器5的外部参数使用ICP算法来进行计算。
在ICP算法中,对于三维点组中的各点pi的实际形状的对应点yi根据两者的距离为最小的下记数学式4的条件来进行搜索。在此阶段求出的对应点yi是假定的对应点,可以不必是相对于各点pi正确的对应点。
在数学式4中,x是实际形状中的点,X是x的集合。在数学式4中,根据轿厢4内的坐标轴40,定义三维坐标。对应点yi的坐标也用坐标系40来定义。
在ICP算法中,如下记数学式5所示,对指定作为校准对象的外部参数进行优化,使得根据三维点组中的各点pi和实际形状中的对应点yi的集合来求出的匹配误差e变小。
详细地说,对于根据步骤S3的距离图像传感器5的内部参数所求出的点pi在坐标系50中的坐标IS(XS,YS,ZS)和点pi在坐标系40中的坐标IS(XS,YS,ZS),使用在这两个坐标间的数学式3的关系,对校准对象的参数进行优化,使得匹配误差e变小。校准对象参数是指在作为距离图像传感器5的外部参数的设置位置(XC,YC,ZC)和设置角度(θ,φ,ρ)中,作为校准对象进行指定的参数。
此外,在数学式5中,N是表示三维点组中的点的数量的自然数。在ICP算法中,下面重复进行在数学式4中所示的对应点的搜索、使用数学式5的校准对象的外部参数的优化,直到匹配误差e为最小。可知在ICP算法中,若三维点组中的点的数量N足够多,则通过进行足够多的次数的重复,对于点pi可求出正确的对应点yi,以及可高精度地求出距离图像传感器5的所有外部参数。
【数学式4】
【数学式5】
在步骤S5中,对于步骤S2中作为校准对象来指定的内部参数进行优化,使得数学式5所示的匹配误差e为最小。
此处,在距离图像传感器5的内部参数中,对于将焦点距离f作为校准对象的情况举例进行说明。将数学式5中的点pi在坐标系40中的坐标I(X,Y,Z)设为在坐标系50中的坐标IS(XS,YS,ZS)。此时,若使焦点距离Z变化,则根据焦点距离f的变化,数学式1及数学式2中的坐标XS、YS发生变化。其结果,在数学式3中I(X,Y,Z)也变化。
在步骤S5中,利用上述的性质,使焦点距离f发生变化,以使得匹配误差e为最小。对焦点距离f以外的内部参数进行校准的情况也相同。若调整焦点距离f以外的内部参数,则根据坐标系50中的坐标IS(XS,YS,ZS),坐标系40的坐标I(X,Y,Zx)发生变化,利用该性质,对焦点距离f以外的内部参数进行优化,以使得匹配误差e为最小。
将2以上的M个内部参数作为校准对象的情况下,增加将数学式5中的各点pi及其对应点yi的欧氏距离设为0的约束方程式。通过将各点pi的数量N设为比M个要多,能获取为了求出M个内部参数所需要的足够数量的约束方程式。
在步骤S6中,当匹配误差e为预定阈值以下时,则判定为本处理结束。或者在匹配误差e收敛时,或者在从步骤S3到步骤S6的反复重复达到规定次数以上时,能判定为本处理结束。
匹配部13如上所述,对在步骤S2中所指定的校准对象参数进行优化。由此,匹配部13获取与如图10所示的实际形状400进行匹配后的三维点组502A。而且,匹配部13能将最优化的校准对象参数(规定参数)作为校准的结果进行输出。如上所述,校准对象参数能从外部参数和内部参数中的任意一个或两者中指定多个。
图像处理部2使用在匹配部13中进行校准后的距离图像传感器5的外部参数及内部参数,能进行将距离图像500作为对象的图像识别。图像处理部2向电梯控制部3通知图像识别的结果。电梯控制部3根据图像识别的结果,能控制轿厢4内的装置的动作或轿厢4的运行。
作为控制,例如,列举与拥挤度相对应的满载通过的运行控制。即例如,在虽然轿厢4的总载重未达到上限值但轿厢4的地板面42中空着的面积变小的情况下,能进行如下控制:不向该轿厢4分配电梯厅呼梯,或取消已分配的电梯厅呼梯。除此以外,还能根据图像识别掌握轿厢4内的情况,根据该掌握结果进行适当的控制。
此外,图像处理部2中,对于规定的控制,也能不经由电梯控制部3,而由图像处理部2直接进行。例如,在乘客聚集在轿厢4内的门41侧、轿厢4的里侧空着的情况下,图像处理部2能向轿厢4内传递“请向里侧挤一挤”等信息。
对于本实施例中的校准方法的整体使用图11的流程图进行说明。图11中作业者进行的步骤用虚线表示。图11所示的流程图使用11~13来实现图1所示的摄像机参数调整装置10(也能称为校准装置10)的功能。
首先作业者通过用户界面部71操作型号选择部12,从而分别选择轿厢4的型号及距离图像传感器5的型号(S11)。
匹配部13根据在步骤S11中选择的轿厢型号,从未图示的数据库读取作为“三维形状信息”的轿厢4的数据(S12)。读取对象的轿厢4的数据是指为了生成实际形状400所需要的数据,具体而言是高度尺寸、宽度尺寸、深度尺寸。假设在轿厢形状为圆筒形状的情况下,半径和高度为读取对象的数据。
匹配部13根据在步骤S11中选择的传感器型号,从未图示的数据库读取距离图像传感器5的数据(S13)。由此,匹配部13如在图7的步骤S2中阐述的那样,对距离图像传感器5的内部参数及外部参数的初始值分别进行设定。
匹配部13基于在步骤S12中读取的数据,生成轿厢4的实际形状400(S14)。而且,匹配部13从距离图像获取部11读取距离图像传感器5所拍摄到的距离图像500,根据距离图像500计算三维点组502的初始值(S15)。匹配部13使用在步骤S2中所设定的距离图像传感器5的外部参数及内部参数各自的初始值,根据距离图像500计算三维点组502的初始值。
匹配部13以三维点组502和实际形状400的匹配误差e为最小为条件,对于在步骤S2指定的规定参数(包含距离图像传感器5的外部参数和内部参数中的至少任意一个的校准对象参数)进行优化(S16)。
根据如上所述构成的本实施例,将根据距离图像生成的三维点组和轿厢4的实际形状进行比较,能对于从距离图像传感器5具有的外部参数组及内部参数组中所选择的规定参数进行调整,以使得两者最匹配。
因而,根据本实施例,能不用在轿厢4的地板面42上设置多个标记,对距离图像传感器5的多个(3以上)规定参数进行校正,从而能提高距离图像传感器5的设置作业、调整作业的效率。
而且,根据本实例,能使用适当地校正多个规定参数后的距离图像传感器5,对轿厢4内的状况进行图像识别,能根据该图像识别的结果,控制轿厢4内的装置,或对轿厢4的运行进行控制。
【实施例2】
使用图12~图17对于实施例2进行说明。由于包含本实施例的以下各实施例相当于实施例1的变形例,因此以与实施例1的不同处为中心进行说明。
图12是摄像机参数调整装置1A的功能框图。本实施例的摄像机参数调整装置1A具备距离图像获取部11、型号选择部12、匹配部13A、以及对应部位输入部14。匹配部13A与图像处理部2连接。本实施例的匹配部13A由于与实施例1的匹配部13处理内容不同,因此改变标号。
对应部位输入部14是用于作业者输入与实际形状400的规定部位对应的距离图像500中的对应部位的信息的UI。对应部位输入部14利用信息终端70上的用户界面部71来实现。匹配部13A将来自对应部位输入部14的输入反映至在图7的步骤S2中所设定的初始值。
图13示出了对应部位输入部14的画面G20的一个示例。对应部位输入画面G20是用于将实际形状400和距离图像500的对应部位以标记GP22来进行确定的UI画面。
对应部位输入画面G20具有用于显示距离图像500的距离图像显示部GP21。作业者在距离图像显示部GP21中显示的距离图像500中,在与实际形状400对应的部位设定标记GP22。在本实施例中,在轿厢4的地板面42所具有的四个角落中,将与距离图像传感器5相对的角作为对齐的基准点来使用。作业者从距离图像500中找到在指导等中事前指示的对齐基准点,并在该基准点上设定标记GP22。
作业者通过操作鼠标或触摸屏等,能将标记GP22置于期望的位置。标记GP22的位置可以变更。
图14在轿厢4的实际形状400中示出图13所示的标记GP22的对应部位。标记GP22在与实际形状400的地板面42对应的四个角落中,设定作为与距离图像传感器5相对的位置402所对应的标记。因而,若作业者在距离图像500上放置标记GP22,则匹配部13识别出放置标记GP22的位置为与实际形状400中的位置402对应的位置。
匹配部13A与图7所示的处理相同,对于在距离图像传感器5具有的参数组中步骤S2指定的规定参数进行调整。但是,在实施例中,在图7的步骤S2中,设定规定参数的初始值,使得标记GP22和点402在坐标系40上重叠。
标记GP22的三维坐标以下述顺序求出。匹配部13根据与距离图像的显示GP21中的标记GP22的坐标相同坐标的距离图像500中的点150的距离值ZS和数学式1及数学式2,求出标记GP22在坐标系50中的坐标IS(XS,YS,ZS)。
匹配部13根据坐标IS(XS,YS,ZS)和数学式3,求出坐标系40中的坐标I(X,Y,Z)。匹配部13在由设置位置(XC,YC,ZC)和设置角度(θ,φ,ρ)形成的距离图像传感器5的外部参数中,计算在步骤S2中指定的外部参数值,使得坐标I(X,Y,Z)在坐标系40中与点402之间的距离接近于零。
此处,在步骤S2中,设定成校准对象所指定的外部参数的数量较多,在坐标系40中,仅以与点402之间的距离接近为零的限制不能唯一确定值,在这种情况下,在满足该限制的范围内设为任意。在以上说明中,虽然阐述了根据限制求出距离图像传感器5的外部参数的值的方法,但也可以取而代之,以满足限制为条件求出距离图像传感器5的内部参数的值。
在本实施例中,在步骤S2中,使用根据点402和标记GP22求出的初始值,因此能提高在步骤S4及步骤S5中的参数优化的精度。在ICP算法中,如上所述那样,步骤S2的初始值越适当,越能高精度地进行对应点的搜索、参数的优化。
图15示出了对应部位输入部14的另一个画面示例G30。对应部位输入画面G30是用于将实际形状400和距离图像500的对应部位以线状标记GP32A、GP32B、GP32C来确定的UI画面。对应部位输入画面G30具有用于显示距离图像500的距离图像显示部GP31。
在图13、图14中,虽然使用点402作为对齐基准,但是也可以取而代之,使用线段403A、403B、403C作为对齐基准(参照图16)。作业者在距离图像显示部GP31所显示的距离图像500中,在与实际形状400对应的线段403A、403B、403C上分别设定线状标记GP32A、GP32B、GP32C。
线状标记GP32A、GP32B、GP32C依次如图16所示那样,与实际形状400中的边403A、403B、403C对应。此时,匹配部13A求出初始值,以使得线状标记GP32A、GP32B、GP32C与实际形状400的边403A、403B、403C尽可能重合。
对于初始值的计算方法进行说明。匹配部13A求出分别以规定间隔对例如线状标记GP32A、GP32B、GP32C以及边403A、403B、403C进行分割而得的分割点。匹配部13A与在标记GP22和点402的计算中阐述的相同,计算步骤S2的初始值使得这些分割点彼此接近。匹配部13A以全部分割点计算步骤S2的初始值,通过计算它们的平均值,能求出初始值。在图15中,对齐基准用的线状标记GP32A等的数量不限于图15所示的3个。线状标记能仅设为1个以上的任意数量。
图17是表示本实施例的校准方法的整体处理的流程图。作业者进行的步骤用虚线表示。图17的处理使用图12的摄像机参数调整装置1A具有的功能11、12、13A、14来实现。在图17中,除了步骤S21和步骤S22的其他的各步骤S11~S16与实施例1相同。
最初,在步骤S21中,作业者通过操作对应部位输入部14,在距离图像500中输入与实际形状400的对应部位403A~403C对应的线状标记GP32A~GP32C。
在步骤S22中,对步骤S21中的输入进行反映,从而在图7的步骤S2中设定校准对象参数的初始值。在图17的处理中,由于使用多个线状标记GP32A~GP32C,能高精度地设定多个规定参数的初始值,因此在步骤S16中能更高精度地优化规定参数。
由此构成的本实施例也能起到与实施例1相同的作用效果。在本实施例中,使用标记来局部地进行实际形状400和距离图像500的对齐,因此能更准确地求出校准对象的多个规定参数的初始值,并能对各规定参数进行优化。
【实施例3】
使用图18~图20对于实施例3进行说明。本实施例的摄像机参数调整装置1B具备距离图像获取部11、型号选择部12、匹配部13B、以及对应部位输入部14。匹配部13B与图像处理部2连接。
匹配部13B是用于作业者对步骤S2中所指定的规定参数进行调整以使得三维点组502与实际形状400相匹配的UI。匹配部13B利用信息终端70上的用户界面部71来实现。
用图19对匹配部13B的处理进行说明。步骤S1、S2、S3与实施例1相同。本实施例的匹配部13B输出三维点组502和实际形状400的重叠显示(S7)。在步骤S7中,若距离图像传感器5的内部参数及外部参数分别适当,则如图10中的三维点组502A和实际形状400那样,输出两者的位置关系适当的重叠显示。与此相反,若内部参数或外部参数的任意一个不适当,则三维点组502A与实际形状400之间的位置关系也不适当。该结果,在重叠显示中,两者的位置不重叠,或两者的角度发生偏差。
匹配部13B等待接受来自作业者的结束指示(S8)。即,作业者在完成规定参数的手动调整的情况下,经由信息终端70输入结束指示。例如,作业者通过操作显示在UI画面上的结束按钮(OK按钮),能指示结束。作为用于发出结束指示的判断基准,例如,列举步骤S7的重叠显示中的三维点组502A与实际形状400之间的位置关系变得适当的情况。该判断基准可以通过作业手册或指导等,预先告诉作业者。
在接受来自作业者的结束指示的情况下(S8:是),匹配部13B结束本处理。到接受来自作业者的结束指示为止的期间(S8:否),匹配部13B从作业者接受参数调整指示(S9),根据该调整指示修正三维点组502(S3)。
即,若匹配部13B从作业接受校准对象参数的调整指示,则返回步骤S3,反映步骤S9的调整指示并重新计算三维点组502的各点的三维坐标。此外,作业者能例如在文本框输入数值,或者通过操作滑动条等,向匹配部13B提供用于调整参数的指示。
图20是表示本实施例的校准方法的整体处理的流程图。作业者执行的步骤用虚线表示。图20的处理使用图18所示的摄像机参数调整装置1B所具有的功能11、12、13B、14来实现。
在图20中,步骤S11~S15与实施例1相同。在步骤S31中,作业者通过操作匹配部13B能调整距离图像传感器5的多个规定参数,使得如图10中的三维点组502A和实际形状400那样,显示两者的位置关系适当的重叠显示。
由此构成的本实施例也能起到与实施例1相同的作用效果。而且,在本实施例中,作业者能一边通过肉眼观察三维点组502和实际形状400的重叠显示,一边手动地调整距离图像传感器5的规定参数。
此外,通过组合实施例1和本实施例,来将三维点组502与实际形状400以第1精度进行匹配,从而自动地调整规定参数(第1阶段的调整),这之前,作业者边观察重叠显示边手动进行调整(第2阶段的调整),最终能以比第1精度要高的第2精度来校正规定参数。
而且,通过将本实施例和实施例1及实施例2进行组合,能将第1阶段的调整的精度进一步提高。
而且在本实施例中,由于能输出三维点组502和实际形状400的重叠显示,因此,若预先将该重叠显示画面以电子方式或作为印刷品进行记录,则能作为参数调整作业的履历来使用。使用该调整履历,能确认是否适当地进行了维护检查,能对作业员的技能进行评价。
【实施例4】
使用图21对于实施例4进行说明。能适用可将图像中的各像素的距离值转换成三维数据的任意方式的距离图像传感器,以代替Time Of Flight(飞行时间)方式的距离图像传感器5。立体摄像机或激光雷达是其一个示例,但是不限于此。
在距离图像传感器5是立体摄像机的情况下,由2台以上的摄像机构成。以下,对于立体摄像机为2台摄像机构成的情况进行阐述。此外,立体摄像机包含3台以上的摄像机来构成的情况下,可以认为是由2台摄像机构成的立体摄像机的组合的集合。
在由2台摄像机构成的立体摄像机中,根据图21所示的处理,根据设置在左右的摄像机间的视差,能计算距离图像500中的像素501的距离值ZS。此外,在上下设置摄像机的情况下,若将图像旋转90度,则与在左右设置摄像机的情况等效。
距离图像获取部11首先在最初获取左右摄像机的图像(S41)。距离图像获取部11分别在左右的摄像机上校正镜头失真(S42)。在步骤S42中,将左右摄像机的镜头失真系数kL、kR用在参数中。镜头失真系数kL、kR是1维以上的实数矢量。
距离图像获取部11通过对左右的摄像机分别进行齐次坐标转换来进行平行化,使得左右摄像机内的对应点(空间中的同一物体为左右摄像机分别照出的点)出现在相同的v坐标(图像的纵方向的坐标)(S43)。此处,齐次坐标转换的矩阵ML、MR根据左右摄像机的焦点fL、fR、左右摄像机间的相对角度(θddd)、相对位置(Xd,Yd,Zd)以及距离图像500的图像尺寸来唯一确定。
距离图像获取部11在附近像素内的亮度差为最小的条件下搜索右摄像机内的像素iR(uR,vR)在左摄像机上的对应点iL(uL,vR),并对视差Δ=uR-uL进行计算。在右摄像机的图像的全部的点上进行该操作(S44)。
距离图像获取部11根据平行化后的右摄像机的各像素的视差Δ,利用下述数学式6来计算距离值ZS(S45)。在数学式6中,f是平行化后的右摄像机的焦点距离,根据S43中的各参数来唯一确定。
【数学式6】
ZS=f|Xd/Δ|
在距离图像传感器5为立体摄像机的情况下,以上所述的S43、S44的左右摄像机的镜头失真系数kL、kR、焦点距离kL、kR、左右摄像机间的相对角度(θddd)、相对位置(Xd,Yd,Zd)成为立体摄像机的内部参数。若使这些内部参数发生变化,则利用数学式6来进行计算的距离值ZS发生变化。
例如,若X轴坐标Xd变化,则距离值ZS与坐标Xd成反比变化,若齐次坐标转换的矩阵ML、MR变化,则视差Δu与之相对应地变化。此外,若距离值ZS变化,则用数学式1、数学式2来进行计算的点401的Xs坐标及ZS坐标也变化。由此,在将立体摄像机设为距离图像传感器5的情况下,多个内部参数对点401的坐标IS(XS,YS,ZS)产生影响。在上述的实施例1~实施例3中,在将立体摄像机设为距离图像传感器5的情况下,能将以上所述的立体摄像机的内部参数中的一个以上设为校准对象。
以上,对于本发明的实施方式进行了说明,但是本发明不限于此,在不脱离本发明的思想的范围内,能进行如下述那样各种变更或功能追加。
匹配部也可以在信息终端上显示校准后的三维点组与实际形状的重叠显示。由此作业者能用肉眼观察确认是否适当地进行了校准。
匹配部也能向信息终端通知匹配误差。而且,在匹配误差超过规定的阈值的情况下,也可以发出表示校准失败的警报。由此,作业者能知道校准高精度地进行到了怎样的程度。
规定参数的校准能在规定的契机进行。作为规定的契机是例如购入电梯系统时、电梯系统的检查时、向距离图像传感器通电时等。通过将距离图像传感器的规定参数在规定的契机(例如以规定的周期)反复执行,能与距离图像传感器的老化对应。除此以外,若将此时的匹配误差向信息终端通知,则作业者能知道老化的程度。此外,作业者能知道老化导致的校准精度的降低。此外,若将匹配误差超过规定的阈值时的警报向信息终端进行通知,则作业者能知道已过度老化,并能探讨更换距离图像传感器。
此处,老化不限于长时间使用导致的自然老化,存在例如由于伴随轿厢的运行的振动导致距离图像传感器的设置角度发生偏移的情况、和乘客或乘客的行李与距离图像传感器接触导致设置角度发生偏移的情况。
匹配部不限于上述各实施例的结构。也可以使用能实现三维点组和实际形状的匹配误差的其他方法。例如,也可以同时地进行外部参数的优化和内部参数的优化。
实际形状不限于三维的线框模型。能定义三维点组和匹配误差即可,也可以是网格部等其他的数据结构。例如,也可以将实际形状作为多个面(三个面)来定义。而且,点不需要配置在整个面上,所包含的点的密度达到能计算匹配误差的程度即可。
可以从距离图像,切割出距离值的精度较高、或与实际形状的匹配容易判断的那样一部分区域来计算匹配误差。切割对象的区域的指定可以使用例如对应部位输入部那样的用户界面。
轿厢实际形状不限于长方体。也可以是圆筒状。而且,例如在轿厢内具备椅子的情况下,除长方体形状以外,实际形状中能包含椅子的形状。
在各实施例阐述的流程图中,能交换步骤的顺序,将多个步骤合成一个步骤,将一个步骤的内容分割成多个步骤,或对一部分步骤的内容进行变更。它们的变形例也包含在本发明的范围内。
此外,通过将上述实施方式中所公开的多个结构要素进行适当的组合,能形成各种发明。例如,可以从实施方式所示的全部结构要素中删除几个结构要素。而且,对于涉及不同的实施方式的结构要素也可以进行适当的组合。
标号说明
1、1A、1B:摄像机参数调整装置
2:图像处理部
3:电梯控制部
4:轿厢
5:距离图像传感器
11:距离图像获取部
12:型号选择部
13、13A、13B:匹配部
14:对应部位输入部
400:实际形状
502、502A:三维点组

Claims (16)

1.一种距离图像传感器的参数调整方法,该距离图像传感器的参数调整方法是对距离图像传感器的多个参数进行调整的方法,所述距离图像传感器获取包含对象区域的图像和到对象区域为止的距离的距离图像,所述距离图像传感器的参数调整方法的特征在于,
包含以下步骤:
从所述距离图像传感器获取与规定的对象区域有关的距离图像,
从预先登记的三维形状信息中获取所述规定的对象区域的三维形状信息,
从预先登记的规格信息中获取与所述距离图像传感器的设置及拍摄相关的规格信息,
根据获取的所述规定的对象区域的所述三维形状信息,计算在基于所述规定的对象区域来进行设定的规定的坐标系中的、所述规定的对象区域的实际形状,
根据获取的所述距离图像传感器的所述规格信息和与所述规定的对象区域有关的所述距离图像,生成将所述距离图像的各像素的距离值与所述规定的坐标系相对应的三维点组,
计算将所述三维点组与所述实际形状相匹配时的误差。
2.如权利要求1所述的距离图像传感器的参数调整方法,其特征在于,
对所述距离图像传感器所具有的多个参数中的规定参数的值进行调整,使得所述误差变小。
3.如权利要求2所述的距离图像传感器的参数调整方法,其特征在于,
在输出所述误差时,从用户界面进行显示输出,使得用肉眼观察能确认所述误差,
并且接受用于调整所述规定参数的值的指示。
4.如权利要求3所述的距离图像传感器的参数调整方法,其特征在于,
所述用户界面通过将所述实际形状和所述三维点组进行重叠显示来输出所述误差,以及/或者将所述误差的值显示输出。
5.如权利要求2所述的距离图像传感器的参数调整方法,其特征在于,
在计算将所述三维点组与所述实际形状相匹配时的误差时,为了设置所述距离图像传感器,使用从用户界面提供的面向作业者的指导信息中所包含的设置角度的目标值。
6.如权利要求1至5的任一项所述的距离图像传感器的参数调整方法,其特征在于,
在将所述三维点组与所述实际形状相匹配时,接受对所述距离图像和所述实际形状的对应部位进行指示的输入,使用已接受的所述输入,将所述三维点组与所述实际形状进行匹配。
7.如权利要求6所述的距离图像传感器的参数调整方法,其特征在于,在预先设定的规定契机实施所述各步骤。
8.如权利要求6所述的距离图像传感器的参数调整方法,其特征在于,
所述距离图像传感器是立体摄像机。
9.如权利要求2所述的距离图像传感器的参数调整方法,其特征在于,
选择与所述距离图像传感器的设置相关的外部参数作为所述规定参数时,使用ICP(Iterative Closest Point:迭代最近点)算法对所述外部参数的值进行调整。
10.如权利要求6所述的距离图像传感器的参数调整方法,其特征在于,
所述规定的对象区域是电梯的轿厢内部的区域。
11.一种距离图像传感器的参数调整装置,该距离图像传感器的参数调整装置是对距离图像传感器的多个参数进行调整的装置,所述距离图像传感器获取包含对象区域的图像和到对象区域为止的距离的距离图像,所述距离图像传感器的参数调整装置的特征在于,包括:
距离图像获取部、
信息获取部以及
匹配部,
所述距离图像获取部从所述距离图像传感器获取与规定的对象区域有关的距离图像,
所述信息获取部从预先登记的三维形状信息中获取所述规定的对象区域的三维形状信息,进而从预先登记的规格信息中获取与所述距离图像传感器的设置及拍摄相关的规格信息,
所述匹配部根据所述规定的对象区域的所述三维形状信息,计算在基于所述规定的对象区域来进行设定的规定的坐标系中的、所述规定的对象区域的实际形状,根据所述距离图像传感器的所述规格信息和与所述规定的对象区域有关的所述距离图像,生成将所述距离图像的各像素的距离值与所述规定的坐标系相对应的三维点组,计算将所述三维点组与所述实际形状相匹配时的误差。
12.如权利要求11所述的距离图像传感器的参数调整装置,其特征在于,
所述匹配部对所述距离图像传感器所具有的多个参数中的规定参数的值进行调整,使得所述误差变小。
13.如权利要求12所述的距离图像传感器的参数调整装置,其特征在于,
所述匹配部从用户界面进行显示输出,使得用肉眼观察能确认所述误差,并且接受用于调整所述规定参数的值的指示。
14.如权利要求11至13的任一项所述的距离图像传感器的参数调整装置,其特征在于,
所述匹配部在将所述三维点组与所述实际形状相匹配时,接受对所述距离图像和所述实际形状的对应部位进行指示的输入,使用已接受的所述输入,将所述三维点组与所述实际形状进行匹配。
15.一种电梯系统,其特征在于,
具备如权利要求11至14的任一项所记载的所述距离图像传感器的参数调整装置。
16.一种图像处理装置,其特征在于,
具备如权利要求11至14的任一项所记载的所述距离图像传感器的参数调整装置,对所述距离图像传感器的所述距离图像进行图像识别。
CN201610583605.7A 2015-07-27 2016-07-22 距离图像传感器的参数调整方法、参数调整装置及电梯系统 Active CN106395528B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-147308 2015-07-27
JP2015147308A JP6480824B2 (ja) 2015-07-27 2015-07-27 距離画像センサのパラメータ調整方法、パラメータ調整装置、およびエレベータシステム

Publications (2)

Publication Number Publication Date
CN106395528A CN106395528A (zh) 2017-02-15
CN106395528B true CN106395528B (zh) 2018-08-07

Family

ID=57945950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610583605.7A Active CN106395528B (zh) 2015-07-27 2016-07-22 距离图像传感器的参数调整方法、参数调整装置及电梯系统

Country Status (2)

Country Link
JP (1) JP6480824B2 (zh)
CN (1) CN106395528B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6602275B2 (ja) * 2016-08-09 2019-11-06 株式会社日立ビルシステム エレベータ機械室図面生成装置、エレベータ機械室モデリングデータ生成装置、エレベータ機械室図面生成方法、及びエレベータ機械室モデリングデータ生成方法
JP6798937B2 (ja) * 2017-06-22 2020-12-09 株式会社日立ビルシステム エレベータ及びエスカレータ
CN107298354B (zh) * 2017-07-13 2019-03-19 日立楼宇技术(广州)有限公司 电梯门机监测方法、装置、系统和计算机可读介质、设备
CN107235388B (zh) * 2017-07-14 2019-10-29 日立楼宇技术(广州)有限公司 电梯控制方法和系统
CN107416630B (zh) * 2017-09-05 2020-04-28 日立楼宇技术(广州)有限公司 电梯非正常关闭的检测方法和系统
JP2019086365A (ja) * 2017-11-06 2019-06-06 株式会社日立製作所 位置推定システム
JP2019087008A (ja) * 2017-11-07 2019-06-06 東芝テック株式会社 画像処理システム及び画像処理方法
WO2020039596A1 (ja) * 2018-08-24 2020-02-27 三菱電機株式会社 エレベーターのマーキング位置決め装置
CN111274843B (zh) * 2018-11-16 2023-05-02 上海交通大学 基于监控视频的货车超载监测方法及系统
JP6781291B2 (ja) * 2019-03-20 2020-11-04 東芝エレベータ株式会社 画像処理装置
JP6772324B2 (ja) * 2019-03-20 2020-10-21 東芝エレベータ株式会社 画像処理装置
CN110895141A (zh) * 2019-11-28 2020-03-20 梁彦云 住宅空间拥挤度分析平台
WO2021156168A1 (en) * 2020-02-06 2021-08-12 Inventio Ag Method and device for determining estimated real dimensions of an elevator car
CN111265139A (zh) * 2020-03-19 2020-06-12 广东蓝水花智能电子有限公司 一种智能马桶座圈控制方法
JP2021196691A (ja) * 2020-06-10 2021-12-27 富士通株式会社 算出方法、算出プログラムおよび情報処理装置
JPWO2023042380A1 (zh) * 2021-09-17 2023-03-23
CN117677577A (zh) * 2022-03-04 2024-03-08 株式会社日立制作所 空闲空间检测系统、空闲空间检测方法和电梯系统
CN115604422B (zh) * 2022-08-17 2024-02-09 福建汇达建筑工程有限公司 一种基于物联网智能检测单元的构建方法
CN115760856B (zh) * 2023-01-10 2023-04-28 惟众信(湖北)科技有限公司 一种基于图像识别的零件间距测量方法、系统和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101729739A (zh) * 2009-11-16 2010-06-09 潘林岭 一种图像纠偏处理方法
CN103021021A (zh) * 2012-11-15 2013-04-03 哈尔滨工业大学 采用方差分量估计的广义立体像对三维重建方法
CN103577827A (zh) * 2012-07-20 2014-02-12 株式会社日立制作所 图像识别装置以及电梯装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7187809B2 (en) * 2004-06-10 2007-03-06 Sarnoff Corporation Method and apparatus for aligning video to three-dimensional point clouds
JP2009143722A (ja) * 2007-12-18 2009-07-02 Mitsubishi Electric Corp 人物追跡装置、人物追跡方法及び人物追跡プログラム
TW201240454A (en) * 2011-03-24 2012-10-01 Jazz Hipster Corp Stereo base device for use in display
JP5325251B2 (ja) * 2011-03-28 2013-10-23 株式会社日立製作所 カメラ設置支援方法、画像認識方法
CN105027562B (zh) * 2012-12-28 2019-02-22 苹果公司 用于将数字信息投影到真实环境中的真实对象上的方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101729739A (zh) * 2009-11-16 2010-06-09 潘林岭 一种图像纠偏处理方法
CN103577827A (zh) * 2012-07-20 2014-02-12 株式会社日立制作所 图像识别装置以及电梯装置
CN103021021A (zh) * 2012-11-15 2013-04-03 哈尔滨工业大学 采用方差分量估计的广义立体像对三维重建方法

Also Published As

Publication number Publication date
CN106395528A (zh) 2017-02-15
JP6480824B2 (ja) 2019-03-13
JP2017026533A (ja) 2017-02-02

Similar Documents

Publication Publication Date Title
CN106395528B (zh) 距离图像传感器的参数调整方法、参数调整装置及电梯系统
CN109552665B (zh) 用于使用悬索平台测量和检查结构的方法
US8874270B2 (en) Apparatus for taking out bulk stored articles by robot
CN107428515B (zh) 用于定位夹持部件的方法、负载操纵装置和计算机可读存储器部件
US7370803B2 (en) Remote crane bar code system
CN104812693B (zh) 通过货物操纵设备进行货物操纵
CN105073348B (zh) 用于校准的机器人系统和方法
JP6560366B2 (ja) 構造物の部材特定装置及び方法
JP7174074B2 (ja) 画像処理装置、作業ロボット、基板検査装置および検体検査装置
JP2009053147A (ja) 3次元計測方法および3次元計測装置
SE530490C2 (sv) Kalibreringsanordning, metod och system för en containerkran
JP2005074600A (ja) ロボット及びロボット移動方法
WO2015145725A1 (ja) 情報提示装置、クレーンシステム及び情報提示方法
CN114055444B (zh) 机器人及其控制方法和控制装置、标定方法和标定控制装置、存储介质
CN109307477A (zh) 位移测量系统及方法
CN107123147A (zh) 双目摄像机的标定方法、装置及双目摄像机系统
JP4610393B2 (ja) 検査装置
JP2009175012A (ja) 計測装置および計測方法
CN115880372A (zh) 自动化起重机的外集卡定位相机统一标定方法及系统
CN116642414A (zh) 工件测量方法、工件测量系统以及程序
WO2022078439A1 (zh) 一种空间与物体三维信息采集匹配设备及方法
CN115187612A (zh) 一种基于机器视觉的平面面积测量方法、装置及系统
CN106705879B (zh) 利用三维形状测量仪的物体测量方法及用于该测量方法的三维形状测量仪
JPH09329430A (ja) 物体の損傷程度計測方法及び装置、並びに物体の修理費算出装置
CN106441160A (zh) 基于人体扫描仪的标定方法及人体扫描系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant