CN112938766A - 起重机装置 - Google Patents

Abstract

起重机装置具备：吊具；摄像部，拍摄吊具的下方以获取摄像图像；距离信息获取部，获取其至吊具下方的摄像图像的范围内的多个测量点为止的距离信息；色彩信息获取部，获取吊具下方的摄像图像的范围内的色彩信息；显示部；及控制部，处理摄像图像，并将处理结果显示于显示部。控制部进行如下处理：根据距离信息及色彩信息，从摄像图像中提取包括该摄像图像中对象物所在的区域的对象区域，在对象区域中检测与预先存储的参考图像的形状相对应的对应部分，在摄像图像中强调检测到的对应部分，并将其显示于显示部。

Description

起重机装置

本申请是申请日为2018年7月13日、申请号为201880053626.5、名称为“起重机装置”的中国发明专利申请的分案申请。

技术领域

本发明的一种实施方式涉及一种起重机装置。

背景技术

在专利文献1中记载了一种起重机，其在由吊具抓取载置的集装箱时，或者在将吊具所把持的集装箱堆叠在其他载置的集装箱之上时，根据由设置于吊具上的3D照相机获取的距离图来检测载置的集装箱，从而获取吊具与该集装箱之间的位置关系。

以往技术文献

专利文献

专利文献1：日本特表2015-533747号公报

发明内容

发明要解决的技术课题

上述起重机中使用的3D照相机向包含要检测的集装箱的区域输出测量光，并检测其反射光，从而获取距离图。因此，例如，若3D照相机受到室外的强烈阳光或外部干扰光的影响，则有可能会导致误检测为在不存在应检测的集装箱的区域中存在集装箱。并且，在雨天室外使用3D照相机时，其会检测到雨滴，有可能会导致无法准确地检测出目标对象物。而且，就3D照相机而言，例如，若在应检测的集装箱上存在镜面部分，则有时会导致测量光被镜面反射而朝向无法由该3D照相机检测反射光的方向。此时，3D照相机无法获取镜面部分的距离图，其结果，可能会出现尽管存在应检测的集装箱却未能检测出集装箱的情况。

因此，本发明的一种实施方式的目的在于提供一种能够更加准确地获取吊具与对象物之间的位置关系的起重机装置。

用于解决技术课题的手段

本发明的一种实施方式所涉及的起重机装置具备：吊具，其进行货物的抓取、保持及卸载；摄像部，其设置于吊具上，并且拍摄吊具的下方以获取摄像图像；距离信息获取部，其设置于吊具上，并且获取其至吊具下方的摄像图像的范围内的多个测量点为止的距离信息；色彩信息获取部，其设置于吊具上，并且获取吊具下方的摄像图像的范围内的色彩信息；显示部，其显示摄像图像；控制部，处理摄像图像，并将处理结果显示于显示部，控制部进行如下处理：根据距离信息及色彩信息，从所述摄像图像中提取包括该摄像图像中对象物所在的区域的对象区域，在对象区域中检测与预先存储的参考图像的形状相对应的对应部分，在摄像图像中强调检测到的对应部分，并将其显示于显示部。

根据本发明的一种实施方式所涉及的起重机装置，在拍摄吊具下方而得到的摄像图像中，根据距离信息来推定对象物所在区域，并且根据色彩信息来推定对象物所在区域。而且，该装置根据这些推定结果从摄像图像中提取包括对象物所在区域的对象区域，并在对象区域中强调显示与参考图像的形状相对应的对应部分。因此，该装置能够以互补方式使用距离信息和色彩信息来获取吊具与对象物之间的位置关系。因此，该装置不易受到例如外部干扰光的影响及对象物的镜面反射的影响，因此能够更可靠地获取吊具与对象物之间的位置关系。

在本发明的一种实施方式所涉及的起重机装置中，控制部在摄像图像的除了对象区域以外的区域，可以不检测对应部分。由此，只需对对摄像图像中的对象区域检测与参考图像的形状相对应的对应部分即可，因此能够缩短处理所需时间。

在本发明的一种实施方式所涉及的起重机装置中，控制部可以进行如下处理：根据距离信息来推定摄像图像中的对象物所在的第1区域，根据色彩信息来推定摄像图像中的对象物所在的第2区域，从摄像图像中提取包括第1区域及第2区域中的至少一方所包含的区域的区域作为对象区域。由此，不仅从摄像图像中提取根据容易受到对象物的镜面反射的影响的距离信息来推定出存在对象物的区域作为对象区域，还可以抽取根据不易受到对象物上的镜面反射的影响的色彩信息来推定出存在对象物的区域作为对象区域。因此，能够抑制尽管存在对象物也无法检测出对象物的情况，并且能够更可靠地获取吊具与对象物之间的位置关系。

在本发明的一种实施方式所涉及的起重机装置中，控制部可以进行如下处理：根据距离信息来推定摄像图像中的对象物所在的第1区域，根据色彩信息来推定摄像图像中的对象物所处的第2区域，从摄像图像中提取包括第1区域及第2区域均包含的区域的区域作为对象区域。由此，不仅根据容易受到外部干扰光的影响的距离信息还根据不易受到外部干扰光的影响的色彩信息从摄像图像中提取推定为存在对象物的区域作为对象区域。因此，能够抑制在不存在对象物的区域中也误检测为存在对象物的情况，并且能够更可靠地获取吊具与对象物之间的位置关系。

本发明的一种实施方式所涉及的起重机装置还具备使吊具移动的移动机构，控制部检测出摄像图像中的对应部分与在吊具进行货物的抓取或卸载时对应部分在摄像图像中应当所处的基准部分之间的错位，移动机构可以使吊具移动以消除错位。由此，能够使吊具高精度地位于对象物的正上方。

在本发明的一种实施方式所涉及的起重机装置中，对象物可以是被吊具抓取的货物的至少一部分。由此，在用吊具抓取货物时，能够更可靠地获取吊具与货物之间的位置关系。

在本发明的一种实施方式所涉及的起重机装置中，对象物可以是要卸载被吊具保持的货物的载置部的至少一部分。由此，在用吊具卸载货物的状况下，能够更可靠地获取吊具与载置部之间的位置关系。

发明效果

根据本发明的一种实施方式，能够更可靠地获取吊具与对象物之间的位置关系。

附图说明

图1是表示第1实施方式所涉及的起重机装置的框图。

图2是起重机装置的主视图。

图3是起重机装置的侧视图。

图4是表示吊具及钢卷的立体图。

图5是表示抓取控制中的摄像图像的图。

图6是表示抓取控制中的距离精度图的图。

图7是表示抓取控制中的色彩精度图的图。

图8是表示抓取控制中的OR精度图的图。

图9是表示参考图像的图。

图10是表示抓取控制中的强调图像的图。

图11是表示抓取控制中的AND精度图的图。

图12是表示卸载控制中的强调图像的图。

图13是表示第2实施方式所涉及的起重机装置的框图。

图14是起重机装置的主视图。

图15是起重机装置的立体图。

图16是表示参考图像的图。

图17是表示抓取控制中的强调图像的图。

图18是表示卸载控制中的强调图像的图。

具体实施方式

以下，参考附图，对本发明的实施方式进行说明。另外，在各附图中，对相同或相等的部分标注相同的符号，省略重复说明。

[第1实施方式]

[起重机装置的结构]

图1是表示第1实施方式所涉及的起重机装置1的框图。图2是起重机装置1的主视图。图3是起重机装置1的侧视图。图4是表示吊具30及钢卷C的立体图。如图1～图4所示，第1实施方式所涉及的起重机装置1是输送卷绕成圆筒形状的钢板即钢卷(货物)C的桥式起重机。起重机装置1具备移动机构10、吊具30、摄像部40、距离信息获取部41、色彩信息获取部42、显示部43、控制部50及驾驶室60。并且，起重机装置1还具备控制移动机构10及吊具30的输送控制部51、以及连接于输送控制部51的编码器31。

钢卷C大致呈圆筒状。在钢卷C的轴心位置形成有从钢卷C的一端贯穿到另一端的吊孔H。钢卷C以其轴心方向朝向水平方向的方式载置在以规定间隔矩阵状配置在工厂或仓库等建筑物的地面F上的鞍座(skid)(载置部)S上。钢卷C具有规定的形状、规定的大小及规定的色彩。钢卷C的外周面呈镜面状。

移动机构10是使吊具30移动(水平移动、上下移动及转动移动)的机构。移动机构10具有主梁12及起重机小车13。主梁12支承起重机小车13及吊具30的荷载。主梁12在建筑物的顶棚附近大致水平地横跨架设在两侧壁上。主梁12能够沿与该主梁12的延伸方向正交的水平方向移动，从而能够使起重机小车13及吊具30沿该方向移动。

起重机小车13在主梁12的上表面上沿着主梁12的延伸方向横移。由此，起重机小车13能够使吊具30沿着主梁12的延伸方向移动。并且，起重机小车13具有卷扬及放出下垂的钢丝绳17的卷扬机构11。而且，起重机小车13还具有经由钢丝绳17使吊具30围绕铅垂方向的轴线转动移动的旋转机构(未图示)。

吊具30是进行钢卷C的抓取、保持及卸载的器具。吊具30悬挂在从起重机小车13下垂的钢丝绳17上。吊具30通过起重机小车13的卷扬机构11卷扬钢丝绳17而朝向上方移动，并通过卷扬机构11放出钢丝绳17而朝向下方移动。吊具30具有基底部18及一对彼此对置的爪部19、19。在基底部18的上表面侧连接有钢丝绳17，在其下表面侧能够开闭地设置有爪部19、19。

在爪部19、19的各个爪部的前端，设置有以彼此正对的方式突出的凸部20。通过使爪部19、19闭合，各凸部20分别从两侧插入到钢卷C的吊孔H中。由此，吊具30成为保持钢卷C的状态。在“吊具30保持钢卷C的状态”下，爪部19、19的彼此对置的内侧面21、21可以与钢卷C抵接或也可以不抵接。

吊具30按照以下顺序进行钢卷C的搬运。即，吊具30开闭爪部19、19以抓取载置在鞍座S上的钢卷C，并通过移动机构10及卷扬机构11的驱动以保持该钢卷C的状态移动到另一鞍座S之上，再次开闭爪部19、19以卸载该钢卷C，从而进行钢卷C的搬运。

编码器31是检测卷扬机构11的卷扬及放出的动作量以及起重机小车13的横移移动量的传感器。输送控制部51根据编码器31的检测结果来获取表示吊具30的当前高度的高度信息。另外，编码器31也可以仅检测卷扬机构11的卷扬及放出的动作量而不检测起重机小车13的横移移动量。

输送控制部51控制起重机装置1的驱动。例如，输送控制部51控制主梁12的移动、起重机小车13的横移、基于卷扬机构11的钢丝绳17的卷扬及放出(吊具30的上下方向移动)、基于旋转机构的吊具30的转动移动及爪部19、19的开闭。并且，输送控制部51将根据编码器31的检测结果获取的吊具30的高度信息输出给控制部50。

摄像部40是摄像设备，其设置于吊具30上，并且拍摄吊具30的下方以获取摄像图像。摄像部40例如可以是照相机。摄像部40朝下设置于吊具30的基底部18。在吊具30上可以设置有多个摄像部40。

距离信息获取部41是设置在吊具30上并且获取其至吊具30下方的由摄像部40拍摄到的摄像图像的范围内的多个测量点为止的距离信息的设备。距离信息获取部41将其至各测量点为止的距离信息与摄像图像中的位置建立对应关联后获取。距离信息获取部41只要是能够获取距离信息的设备即可，其并不受特别限定，例如可以是ToF[Time of Flight：飞行时间]照相机，也可以是3D照相机，还可以是3D扫描仪。距离信息获取部41朝下设置在吊具30的基底部18上的摄像部40的附近。距离信息获取部41仅设置有与摄像部40的数量相对应的数量。所谓“距离信息”是表示距离信息获取部41与各测量点之间的距离的信息。在此，测量点例如是设定于地面F、鞍座S或钢卷C等的上表面上的点，例如其可以设定成矩阵状。测量点例如也可以设定于以距离信息获取部41在水平面内的位置坐标为基准的规定的相对位置上。

色彩信息获取部42是设置于吊具30上并且获取吊具30下方的由摄像部40拍摄到的摄像图像的范围内的色彩信息的设备。色彩信息获取部42将色彩信息与摄像图像中的位置建立对应关联后获取。色彩信息获取部42只要是能够获取色彩信息的设备即可，其并不受特别限定，例如可以是光谱照相机，也可以是彩色照相机。色彩信息获取部42朝下设置在吊具30的基底部18上的摄像部40的附近。色彩信息获取部42仅设置有与摄像部40的数量相对应的数量。所谓“色彩信息”例如是将彩色图像分解为RGB信号并以矢量表现方式表示的信息。

显示部43是显示摄像图像的显示设备。并且，显示部43显示由控制部50生成的强调图像。显示部43例如可以是显示器。显示部43例如设置在驾驶室60内。

控制部50处理摄像图像以生成强调图像，并将所生成的强调图像显示于显示部43(详细内容将在后面详述)。控制部50能够生成由吊具30抓取载置在鞍座S上的钢卷C的抓取控制中的强调图像以及将被吊具30保持的钢卷C卸载于鞍座S上的卸载控制中的强调图像。

[抓取控制]

以下，对抓取控制中的强调图像的显示进行说明。

图5是表示抓取控制中的摄像图像P1的图。如图5所示，控制部50使由摄像部40拍摄到的摄像图像P1显示于显示部43。图5中显示有载置于吊具30的下方的钢卷C、吊具30的一个爪部19及未载置有钢卷C的鞍座S。在图5中，吊具30位于从所载置的钢卷C的正上方偏移的位置。另外，在图5中，钢卷C载置于该钢卷C下方的未图示的鞍座S上。由于钢卷C的外周面呈镜面状，因此在摄像图像P1中的钢卷C上存在映入有周围景色的映入部分R。

接着，控制部50通过如下方式从该摄像图像P1中提取包括摄像图像P1中对象物所在区域的对象区域。另外，在此，“对象物”是吊具30要抓取的钢卷C。

图6是表示抓取控制中的距离精度图P2的图。如图6所示，距离信息获取部41将其至吊具30下方的摄像图像P1的范围内的多个测量点(未图示)为止的距离信息与摄像图像P1中的位置建立对应关联后获取。作为一例，测量点可以设定于沿摄像图像P1的上下方向以规定数量(例如20个)等间隔排列并且沿左右方向以规定数量(例如30个)等间隔排列成矩阵状的位置上。

控制部50根据由距离信息获取部41获取的距离信息来推定摄像图像P1中的对象物(即，钢卷C)所在的第1区域A1。更详细而言，在钢卷C具有规定的形状及规定的大小的前提下，控制部50根据吊具30的当前的高度信息来预测吊具30与钢卷C之间的当前的距离。而且，控制部50比较预测的距离与由距离信息获取部41获取的距离信息所涉及的距离，从而推定摄像图像P1中的钢卷C所在的第1区域A1。例如，若预测到的距离与由距离信息获取部41获取的距离信息所涉及的距离之差在规定范围内，则控制部50可以判定钢卷C位于该区域，若在规定范围之外，则可以判定钢卷C不在该区域。

在图6中，关于俯视观察时的钢卷C的轴心附近(图6中的白色区域)，控制部50准确地判断其为钢卷C所在区域。另一方面，针对钢卷C的俯视观察时远离轴心的区域(图6中的灰色区域)，距离信息获取部41的测量光以接近于平行的入射角入射于镜面状的钢卷C的外周面。因此，在该区域中，距离信息获取部41无法检测到反射光，其结果，控制部50会误判为不存在钢卷C。

图7是表示抓取控制中的色彩精度图P3的图。如图7所示，色彩信息获取部42将吊具30下方的摄像图像P1的范围内的色彩信息与摄像图像P1中的位置建立对应关联后获取。控制部50根据由色彩信息获取部42获取的色彩信息来推定摄像图像P1中的对象物(即，钢卷C)所在的第2区域A2。更详细而言，在钢卷C具有规定的色彩的前提下，控制部50根据与该规定的色彩的颜色关联度来推定摄像图像P1中的钢卷C所在的第2区域A2。另外，作为判定“颜色关联度”的方法，可以使用公知的方法。例如，控制部50可以通过将色彩信息转换成色度图上的坐标并对该色度图上的坐标与预先存储的钢卷C的色彩在色度图上的坐标之间的距离进行评价的方法来判定颜色关联度。控制部50预先存储有钢卷C的色彩。若颜色关联度为规定值以上，则控制部50判定钢卷C位于该区域，若小于规定值，则可以判定为钢卷C不在该区域。

在图7中，在俯视观察时，关于钢卷C中的除了映入部分R以外的部分(图7中的白色区域)，控制部50准确地判定其为钢卷C所在区域。另一方面，针对映入部分R，由于具有与钢卷的色彩明显不同的色彩，因此控制部50会误判为不存在钢卷C。

图8是表示抓取控制中的OR精度图P4的图。图8所示的OR精度图P4中示出了距离精度图P2的第1区域A1及色彩精度图P3的第2区域A2中的至少一方所包含的OR区域A3(图8中的白色部分)。控制部50将OR精度图P4中的包括OR区域A3的区域(例如，将OR区域A3的外缘放大规定宽度的区域)设定为对象区域A4。由此，控制部50从摄像图像P1中提取摄像图像P1中的钢卷C所在区域(即，对象区域A4)。

接着，控制部50通过如下方式在摄像图像P1的对象区域A4中检测出与预先存储的参考图像的形状相对应的对应部分。

图9是表示参考图像P5的图。图10是表示抓取控制中的强调图像P6的图。如图9及图10所示，控制部50预先存储有对象物(即，钢卷C)在摄像图像P1中的形状(具体而言，钢卷C的俯视图)作为参考图像P5。而且，控制部50利用公知的图像识别方法在摄像图像P1中的与对象区域A4相对应的区域中检测出与参考图像P5的形状相对应的对应部分A5。“与参考图像P5的形状相对应”是指：大小可以与参考图像P5的大小不同，并且可以是使参考图像P5围绕铅垂方向的轴线倾斜的形状。作为“图像识别方法”，例如可以使用图案匹配、机械学习等。另外，控制部50在摄像图像P1中的除了对象区域A4以外的区域不检测对应部分A5。

接着，控制部50生成在摄像图像P1中强调了对应部分A5的强调图像P6，并将生成的强调图像P6显示于显示部43。在此，强调图像P6针对摄像图像P1彩色显示对象区域A4并且灰色显示除了对象区域A4以外的区域而成。并且，在强调图像P6中，对应部分A5被虚线包围。另外，在强调图像P6中，对应部分A5只要能够被强调成作业人员容易识别即可，其并不只限定于虚线包围，例如可以用规定的颜色显示，或者可以使其闪烁，也可以使该部分镂空。

接着，对相对于对象物(即，钢卷C)的吊具30的错位进行的校正进行说明。

如图10所示，控制部50从根据编码器31的检测结果获取的高度信息计算并设定用吊具30进行钢卷C的抓取时对应部分A5在摄像图像P1中应当所处的基准部分A6。基准部分A6例如是钢卷C载置于吊具30正下方(铅垂方向下方)的鞍座S上的情况下的、俯视观察时的该钢卷C的形状。控制部50检测出摄像图像P1(或者强调图像P6)中的对应部分A5与基准部分A6之间的错位。并且，控制部50可以根据对应部分A5的大小与基准部分A6的大小之间的倍率来检测出吊具30与钢卷C之间的高度方向上的相对距离，也可以根据对应部分A5与基准部分A6之间的角度偏移来检测出吊具30与钢卷C之间的旋转方向上的偏移。控制部50将与检测出的错位有关的信息输出给输送控制部51。

输送控制部51根据从控制部50输入过来的有关错位的信息，控制移动机构10使吊具30移动以消除该错位。即，移动机构10通过使主梁12移动及使起重机小车13横移从而使吊具30移动以消除该错位，由此使吊具30移动到钢卷C的正上方。此时，根据需要，还可以驱动旋转机构以使吊具30围绕铅垂方向的轴线进行转动移动。

以上，对控制部50的抓取控制中的强调图像P6的显示中使用了OR精度图P4的方法进行了说明。另外，在抓取控制中的强调图像P6的显示中，控制部50也可以执行使用了AND精度图的方法来代替使用了OR精度图P4的方法。

图11是表示抓取控制中的AND精度图P7的图。图11所示的AND精度图P7中示出了包含在距离精度图P2的第1区域A1中且包含在色彩精度图P3的第2区域A2中的AND区域A7(图11中的白色部分)。控制部50可以将AND精度图P7中的包含AND区域A7的区域(例如，将AND区域A7的外缘放大规定的宽度的区域)设定为对象区域。如上所述，控制部50可以从摄像图像P1中提取摄像图像P1中的钢卷C所在区域(即，对象区域)。另外，关于使用OR精度图P4还是使用AND精度图P7，例如可以根据对象物来适当地选择。

[卸载控制]

控制部50以与抓取控制相同的方式处理摄像图像，从而在卸载控制中也能够进行强调图像的显示。以下，对卸载控制中的强调图像的显示进行说明。

图12是表示卸载控制中的强调图像P8的图。在图12的强调图像P8中包括钢卷C、保持钢卷C的吊具30的爪部19及要将钢卷C卸下的鞍座S的一部分。鞍座S具有装载标记M，该装载标记M具有规定的形状、规定的大小及规定的色彩。在强调图像P8中，吊具30位于从要卸载钢卷C的鞍座S的正上方偏移的位置，并且相对于该鞍座S围绕铅垂方向的轴线倾斜。在此，“对象物”是要卸载被吊具30保持的钢卷C的鞍座S上的装载标记M。另外，装载标记M的形状及大小是指：具有装载标记M的鞍座S中的从装载标记M的整体沿铅垂方向到达地面F为止的虚拟的柱状部分的形状及大小。

强调图像P8针对将钢卷C卸载于鞍座S上之前的摄像图像彩色显示包括OR精度图中的OR区域的对象区域A8并且灰色显示除了对象区域A8以外的区域而成。对象区域A8也可以代替OR精度图中的OR区域而根据AND精度图中的AND区域来设定。在强调图像P8中，在对象区域A8中检测到的对应部分A9(即，装载标记M)的区域被虚线所包围。并且，在强调图像P8中，由单点划线来显示用吊具30进行钢卷C的卸载时对应部分A9应当所在的基准部分A10。基准部分A10是在装载标记M位于吊具30正下方(铅垂方向下方)的情况下的、俯视观察时的装载标记M的形状。

控制部50检测对应部分A9与基准部分A10之间的错位。并且，控制部50可以根据对应部分A9的大小与基准部分A10的大小之间的倍率来检测出吊具30与钢卷C之间的高度方向上的相对距离，也可以根据对应部分A9与基准部分A10之间的角度偏移来检测出吊具30与钢卷C之间的旋转方向上的偏差。控制部50将与检测到的错位有关的信息输出给输送控制部51。输送控制部51根据从控制部50输入过来的有关错位的信息，控制移动机构10使吊具30移动以消除该错位。即，移动机构10通过使主梁12移动、使起重机小车13横移及使旋转机构驱动从而使吊具30移动以消除该错位，由此使吊具30移动到鞍座S的正上方。

[作用及效果]

如以上说明，根据起重机装置1，在拍摄吊具30的下方而得到的摄像图像P1中，根据距离信息来推定对象物(即，钢卷C或装载标记M)所在的第1区域A1，并且根据色彩信息来推定对象物(即，钢卷C或装载标记M)所在的第2区域A2。而且，起重机装置1根据这些推定结果从摄像图像P1中提取包括对象物所在区域的对象区域A4、A8，并在对象区域A4、A8中强调显示与参考图像的形状相对应的对应部分A5、A9。因此，起重机装置1能够以互补方式使用距离信息和色彩信息来获取吊具30与对象物之间的位置关系。因此，起重机装置1不易受到例如外部干扰光的影响及对象物的镜面反射的影响，因此能够更可靠地获取吊具30与对象物之间的位置关系。

在起重机装置1中，控制部50在摄像图像P1的除了对象区域A4、A8以外的区域不检测对应部分A5、A9。由此，只需对摄像图像P1中的对象区域A4、A8检测与参考图像的形状相对应的对应部分A5、A9即可，因此能够缩短处理所需时间。

在起重机装置1中，控制部50根据距离信息来推定摄像图像P1中的对象物(即，钢卷C或装载标记M)所在的第1区域A1，并根据色彩信息来推定摄像图像P1中的对象物(即，钢卷C或装载标记M)所在的第2区域A2，并且从摄像图像P1中提取包括第1区域A1及第2区域A2中的至少一方所包含的OR区域的区域作为对象区域A4、A8。由此，不仅从摄像图像P1中提取根据容易受到对象物的镜面反射的影响的距离信息来推定出存在对象物的第1区域A1作为对象区域A4、A8，还可以抽取根据不易受到对象物的镜面反射的影响的色彩信息来推定出存在对象物的第2区域A2作为对象区域A4、A8。因此，能够抑制尽管存在对象物也无法检测出对象物的情况，并且能够更可靠地获取吊具30与对象物之间的位置关系。

或者，在起重机装置1中，控制部50根据距离信息来推定摄像图像P1中的对象物(即，钢卷C或装载标记M)所在的第1区域A1，并根据色彩信息来推定摄像图像P1中的对象物(即，钢卷C或装载标记M)所在的第2区域A2，并且从摄像图像P1中提取包括第1区域A1及第2区域A2均包含的AND区域的区域作为对象区域A4、A8。由此，不仅根据容易受到外部干扰光的影响的距离信息还根据不易受到外部干扰光的影响的色彩信息从摄像图像P1中提取推定为存在对象物的区域作为对象区域A4、A8。因此，能够抑制在不存在对象物的区域中也误检测为存在对象物的情况，并且能够更可靠地获取吊具30与对象物之间的位置关系。

起重机装置1具备使吊具30移动的移动机构10，控制部50检测摄像图像P1中的对应部分A5、A9与在吊具30进行货物(即，钢卷C)的抓取或卸载时对应部分A5、A9在摄像图像P1中应当所处的基准部分A6、A10之间的错位，控制移动机构10使吊具30移动以消除错位。由此，能够使吊具30高精度地位于对象物的正上方。

在起重机装置1中，对象物是由吊具30抓取的钢卷C。由此，在由吊具30抓取钢卷C的状况下，能够更可靠地获取吊具30与钢卷C之间的位置关系。

或者，在起重机装置1中，对象物是要卸载被吊具30保持的钢卷C的鞍座S上的装载标记M。由此，在吊具30卸载钢卷C的状况下，能够更可靠地获取吊具30与鞍座S之间的位置关系。

[第2实施方式]

[起重机装置的结构]

以下，对第2实施方式所涉及的起重机装置进行说明。与第1实施方式所涉及的起重机装置1相比，第2实施方式所涉及的起重机装置的区别在于，起重机的种类及搬运的货物不同。以下，主要对与第1实施方式所涉及的起重机装置1不同的点进行说明。

图13是表示第2实施方式所涉及的起重机装置1A的框图。图14是起重机装置1A的主视图。图15是起重机装置1A的立体图。如图13～图15所示，第2实施方式所涉及的起重机装置1A例如是在对靠岸的集装箱船进行集装箱(货物)D的装卸等的集装箱码头上配置在集装箱堆放场Y上并进行集装箱D的装卸的集装箱装卸用起重机。起重机装置1A具备移动机构10A、吊具30A、摄像部40、距离信息获取部41、色彩信息获取部42、显示部43、控制部50及驾驶室60A。吊具30A又被称为吊具装置。并且，起重机装置1A还具备控制移动机构10A及吊具30A的输送控制部51A以及与输送控制部51A连接的编码器31及摆动传感器32。

集装箱D是ISO标准集装箱等集装箱。集装箱D呈长尺寸的长方体状，在其长度方向上具有例如20英尺、40英尺的规定长度。集装箱D在其上表面的四个角分别具备形成有孔部Gh的被卡止部G(参考图16)。集装箱D在集装箱堆放场Y堆放成一层或多层而形成多个排(ROW)E。各排E以构成该排E的集装箱D的长度方向相对于构成其他排E的集装箱D的长度方向平行的方式纵横排列。集装箱D具有规定的形状及规定的大小。并且，被卡止部G具有规定的形状、规定的大小及规定的色彩。

在以下说明中，将各集装箱D中的由吊具30A抓取的集装箱D称为对象集装箱D1(参考图14)。并且，将被吊具30A保持的集装箱D称为保持集装箱D2，要在上面卸载保持集装箱D2的集装箱D称为目标集装箱(载置部)D3(参考图15)。对象集装箱D1、保持集装箱D2及目标集装箱D3是根据集装箱D的搬运状况而改变了集装箱D的称呼的称呼。

移动机构10A是使吊具30A移动(水平移动、上下移动及转动移动)的机构。移动机构10A具有行驶装置14、两组的一对支脚部15、15、主梁12A及起重机小车13A。行驶装置14包括分别设置于两组的一对支脚部15、15的下端的带轮胎的车轮，行驶马达驱动带轮胎的车轮从而能够使两组的一对支脚部15、15前后行驶。主梁12A大致水平地横跨架设在两组的一对支脚部15、15的上端部彼此之间。由此，通过行驶装置14使两组的一对支脚部15、15前后行驶，从而能够使主梁12A沿与该主梁12A的延伸方向正交的水平方向移动，从而能够使起重机小车13A及吊具30A沿该方向移动。

起重机小车13A在主梁12A的上表面上沿着主梁12A的延伸方向横移。由此，起重机小车13A能够使吊具30A沿着主梁12A的延伸方向移动。并且，起重机小车13A具有卷扬及放出下垂的钢丝绳17A的卷扬机构11A。而且，起重机小车13A还具有经由钢丝绳17A使吊具30A围绕铅垂方向的轴线转动移动的旋转机构(未图示)。

在主梁12A的下方铺设有拖车、AGV[Automated Guided Vehicle：自动导引车]等输送台车V的行驶路W。起重机装置1A抓取输送台车V所搬入的集装箱D，并将该集装箱D卸载于集装箱堆放场Y上或者将其载置于集装箱堆放场Y上的其他集装箱D(目标集装箱D3)之上。并且，起重机装置1A抓取载置于集装箱堆放场Y上或载置于集装箱堆放场Y上的其他集装箱D之上的集装箱D(对象集装箱D1)，并将该集装箱D卸载于输送台车V上，通过输送台车V将该集装箱D搬出到外部。

吊具30A是进行集装箱D的抓取、保持及卸载的器具。吊具30A将集装箱D从其上表面侧进行保持。吊具30A悬挂在从起重机小车13A下垂的钢丝绳17A上。吊具30A通过起重机小车13A的卷扬机构11A卷扬钢丝绳17A而朝向上方移动，并通过卷扬机构11A放出钢丝绳17A而朝向下方移动。吊具30A具有主体部18A及四个锁销(未图示)。

主体部18A在俯视观察时具有与集装箱D的形状及大小相对应的形状及大小。即，主体部18A在俯视观察时呈长尺寸的矩形形状。主体部18A在其长度方向上的中央部的上表面侧包括卷绕有钢丝绳17A的滑轮22。

锁销是用于保持集装箱D的机构。锁销从主体部18A朝下突出设置在主体部18A的下表面的四个角上。锁销设置于用吊具30A保持集装箱D时与该集装箱D的被卡止部G的孔部Gh相对应的位置。锁销例如是扭锁销，在其下端具有能够围绕铅垂方向的轴线转动的卡止片。各锁销进入设置在集装箱D的上表面的四个角上的各被卡止部G的孔部Gh中，并且通过使各卡止片旋转90度，从而卡合于集装箱D。

编码器31是检测卷扬机构11的卷扬及放出的动作量以及起重机小车13A的横移移动量的传感器。输送控制部51A根据编码器31的检测结果来获取表示吊具30A的当前高度的高度信息。另外，编码器31也可以仅检测卷扬机构11的卷扬及放出的动作量而不检测起重机小车13A的横移移动量。摆动传感器32是检测因钢丝绳17A摆动而引起的吊具30A的摆动量的传感器。输送控制部51A根据摆动传感器32的检测结果来获取表示吊具30A的当前的摆动量的摆动量信息。

输送控制部51A控制起重机装置1A的驱动。例如，输送控制部51A控制主梁12A的移动、起重机小车13A的横移、基于卷扬机构11A的钢丝绳17的卷扬及放出(吊具30A的上下方向移动)、基于旋转机构的吊具30A的转动移动及锁销的卡止片的转动。并且，输送控制部51A将根据编码器31的检测结果获取的吊具30A的高度信息及根据摆动传感器32的检测结果获取的吊具30A的摆动量信息输出给控制部50。

摄像部40是摄像设备，其设置于吊具30A上，并且拍摄吊具30A的下方以获取摄像图像。摄像部40的结构及功能与在第1实施方式相同。

距离信息获取部41是设置于吊具30A上并且获取其至吊具30A下方的由摄像部40拍摄到的摄像图像的范围内的多个测量点为止的距离信息的设备。在此，测量点例如是设定于集装箱堆放场Y或载置于集装箱堆放场Y上的集装箱D等的上表面的点，例如其可以设定成矩阵状。测量点例如可以也设定于以距离信息获取部41在水平面内的位置坐标为基准的规定的相对位置上。距离信息获取部41的结构及功能与第1实施方式相同。

色彩信息获取部42是设置于吊具30A上并且获取吊具30A下方的由摄像部40拍摄到的摄像图像的范围内的色彩信息的设备。色彩信息获取部42的结构及功能与第1实施方式相同。

显示部43是显示摄像图像的显示设备。并且，显示部43显示由控制部50生成的强调图像。显示部43例如可以是显示器。显示部43例如设置于驾驶室60A内。

控制部50处理摄像图像以生成强调图像，并将所生成的强调图像显示于显示部43。控制部50能够生成由吊具30A抓取对象集装箱D1的抓取控制中的强调图像以及将保持集装箱D2卸载于目标集装箱D3上的卸载控制中的强调图像。

[抓取控制]

以下，对抓取控制中的强调图像的显示进行说明。控制部50以与第1实施方式中的抓取控制相同的方式处理摄像图像，由此进行第2实施方式的抓取控制中的强调图像的显示。

图16是表示参考图像P9的图。图17是表示抓取控制中的强调图像P10的图。如图16及图17所示，控制部50预先存储有集装箱D的被卡止部G的形状作为参考图像P9。在图17的强调图像P10中包括吊具30A的主体部18A的一部分及吊具30A要抓取的对象集装箱D1的被卡止部G附近。在强调图像P10中，吊具30A位于从对象集装箱D1的正上方偏移的位置。在此，“对象物”是对象集装箱D1的被卡止部G。

控制部50根据由距离信息获取部41获取的距离信息来推定对象物(即，对象集装箱D1的被卡止部G)所在的第1区域。并且，控制部50根据由色彩信息获取部42获取的色彩信息来推定对象物(即，对象集装箱D1的被卡止部G)所在的第2区域。控制部50将包括第1区域及第2区域中的至少一方所包含的OR区域的区域设定为对象区域A11。如上所述，控制部50从摄像图像中提取对象区域A11。

而且，控制部50利用公知的图像识别方法在对象区域A11中检测出与预先存储的参考图像的形状相对应的对应部分。另外，控制部50在摄像图像中的除了对象区域A11以外的区域不检测对应部分A12。控制部50生成在摄像图像中强调了所检测到的对应部分A12的强调图像P10，并将生成的强调图像P10显示于显示部43。

强调图像P10针对抓取对象集装箱D1之前的摄像图像彩色显示对象区域A11并且灰色显示对象区域A11以外的区域而成。对象区域A11也可以代替OR精度图中的OR区域而根据AND精度图中的AND区域来设定。在强调图像P10中，在对象区域A11中检测到的对应部分A12(即，被卡止部G的区域)被虚线所包围。并且，在强调图像P10中，由单点划线来显示用吊具30A抓取对象集装箱D1时对应部分A12应当所在的基准部分A13。基准部分A13是在被卡止部G位于吊具30A正下方(铅垂方向下方)的情况下的、俯视观察时的被卡止部G的形状。

控制部50检测对应部分A12与基准部分A13之间的错位。并且，控制部50可以根据对应部分A12的大小与基准部分A13的大小之间的倍率来检测吊具30A与对象集装箱D1之间的高度方向上的相对距离，也可以根据对应部分A12与基准部分A13之间的角度偏差来检测吊具30A与对象集装箱D1之间的旋转方向上的偏差。控制部50将与检测到的错位有关的信息输出给输送控制部51A。输送控制部51A根据从控制部50输入过来的有关错位的信息，控制移动机构10A使吊具30A移动以消除该错位。即，移动机构10A通过使主梁12A移动及使起重机小车13A横移从而使吊具30A移动以消除该错位，由此使吊具30A移动到对象集装箱D1的正上方。此时，根据需要，还可以使旋转机构驱动以使吊具30A围绕铅垂方向的轴线转动移动。

[卸载控制]

控制部50以与抓取控制相同的方式处理摄像图像，从而在卸载控制中也能够进行强调图像的显示。以下，对卸载控制中的强调图像的显示进行说明。

图18是表示卸载控制中的强调图像P11的图。在图18的强调图像P11中包括吊具30A的主体部18A的一部分、被吊具30A保持的保持集装箱D2的一部分以及要将保持集装箱D2卸载的目标集装箱D3的被卡止部G附近。在强调图像P11中，吊具30A位于从目标集装箱D3的正上方偏移的位置。在此，“对象物”是目标集装箱D3的被卡止部G。

强调图像P11针对将保持集装箱D2卸载于目标集装箱D3之前的摄像图像彩色显示包括OR精度图中的OR区域的区域(即，对象区域A11)并且灰色显示除了对象区域A11以外的区域而成。对象区域A11也可以代替OR精度图中的OR区域而根据AND精度图中的AND区域来设定。在强调图像P11中，在对象区域A11中检测到的对应部分A12(即，被卡止部G的区域)被虚线所包围。并且，在强调图像P11中，由单点划线来显示用吊具30A进行保持集装箱D2的卸载时对应部分A12应当所在的基准部分A13。基准部分A13是在被卡止部G位于吊具30A的正下方(铅垂方向下方)的情况下的、俯视观察时的被卡止部G的形状。

控制部50检测对应部分A12与基准部分A13之间的错位。并且，控制部50可以根据对应部分A12的大小与基准部分A13的大小之间的倍率来检测吊具30A与目标集装箱D3之间的高度方向上的相对距离，也可以根据对应部分A12与基准部分A13之间的角度偏差来检测吊具30A与目标集装箱D3之间的旋转方向上的偏差。控制部50将与检测到的错位有关的信息输出给输送控制部51A。输送控制部51A根据从控制部50输入过来的有关错位的信息，控制移动机构10A使吊具30A移动以消除该错位。即，移动机构10A通过使主梁12A的移动及使起重机小车13A横移从而使吊具30移动以消除该错位，由此使吊具30A移动到目标集装箱D3的正上方。此时，根据需要，还可以驱动旋转机构以使吊具30A围绕铅垂方向的轴线转动移动。

另外，在卸载控制中，由于吊具30A保持有保持集装箱D2，因此，若保持集装箱D2朝向目标集装箱D3下降，则有时目标集装箱D3的被卡止部G被保持集装箱D2遮掩而不会显示于摄像图像上。因此，在目标集装箱D3的被卡止部G不显示之前，在吊具30A位于规定的高度的状态下，起重机装置1A预先检测对应部分A12与基准部分A13之间的错位，并根据该检测结果来校正摆动传感器32的检测值，由此使摆动传感器32的检测值与该错位建立对应关联。然后，起重机装置1A通过吊具30A使保持集装箱D2朝向目标集装箱D3下降的同时根据摆动传感器32的检测结果来监视对应部分A12与基准部分A13之间的错位状态。由此，起重机装置1A可以维持吊具30A位于目标集装箱D3的正上方的状态。

[作用及效果]

如以上说明，根据起重机装置1A，在拍摄到吊具30A的下方而得到的摄像图像中，根据距离信息来推定对象物(即，对象集装箱D1的被卡止部G或目标集装箱D3的被卡止部G)所在的第1区域，并且根据色彩信息来推定对象物(即，对象集装箱D1的被卡止部G或目标集装箱D3的被卡止部G)所在的第2区域。而且，起重机装置1A根据这些推定结果从摄像图像中提取包括对象物所在区域的对象区域A11，并在对象区域A11中强调显示与参考图像P9的形状相对应的对应部分A12。因此，起重机装置1A能够以互补方式使用距离信息和色彩信息来获取吊具30A与对象物之间的位置关系。因此，起重机装置1A不易受到例如外部干扰光的影响、对象物的镜面反射的影响及检测到雨滴的影响，因此能够更可靠地获取吊具30A与对象物之间的位置关系。

在起重机装置1A中，控制部50在摄像图像的除了对象区域A11以外的区域不检测对应部分A12。由此，只需对摄像图像中的对象区域A11检测与参考图像P9的形状相对应的对应部分A12即可，因此能够缩短处理所需时间。

在起重机装置1A中，控制部50根据距离信息来推定摄像图像中的对象物(即，对象集装箱D1的被卡止部G或目标集装箱D3的被卡止部G)所在的第1区域，并根据色彩信息来推定摄像图像中的对象物(即，对象集装箱D1的被卡止部G或目标集装箱D3的被卡止部G)所在的第2区域，并且从摄像图像中提取包括第1区域及第2区域的至少一方所包含的OR区域的区域作为对象区域A11。由此，不仅从摄像图像中提取根据容易受到外部干扰光的影响及检测到雨滴的影响的距离信息来推定出存在对象物的第1区域作为对象区域A11，还可以抽取根据不易受到对象物的镜面反射的影响的色彩信息来推定出存在对象物的第2区域作为对象区域A11。因此，能够抑制尽管存在对象物也无法检测出对象物的情况，并且能够更可靠地获取吊具30A与对象物之间的位置关系。

或者，在起重机装置1A中，控制部50根据距离信息来推定摄像图像中的对象物(即，对象集装箱D1的被卡止部G或目标集装箱D3的被卡止部G)所在的第1区域，并根据色彩信息来推定摄像图像中的对象物(即，对象集装箱D1的被卡止部G或目标集装箱D3的被卡止部G)所在的第2区域，并从摄像图像中提取包括第1区域中及第2区域均包含的AND区域的区域作为对象区域A11。由此，不仅根据容易受到外部干扰光的影响的距离信息还根据不易受到外部干扰光的影响的色彩信息从摄像图像中提取推定为存在对象物的区域作为对象区域A11。因此，能够抑制在不存在对象物的区域中也误检测为存在对象物的情况，并且能够更可靠地获取吊具30A与对象物之间的位置关系。

起重机装置1A具备使吊具30A移动的移动机构10A，控制部50检测摄像图像中的对应部分A12与在吊具30A进行货物(即，集装箱D)的抓取或卸载时对应部分A12在摄像图像中应当所处的基准部分A13之间的错位，控制移动机构10A使吊具30A移动以消除错位。由此，能够使吊具30A高精度地位于对象物的正上方。

在起重机装置1A中，对象物是由吊具30A抓取的对象集装箱D1的被卡止部G。由此，在由吊具30A抓取对象集装箱D1的状况下，能够更可靠地获取吊具30A与对象集装箱D1之间的位置关系。

或者，在起重机装置1A中，对象物是要卸载被吊具30A保持的保持集装箱D2的目标集装箱D3的被卡止部G。由此，在吊具30A卸载保持集装箱D2的状况下，能够更可靠地获取吊具30A与目标集装箱D3之间的位置关系。

[变形例]

上述实施方式可以根据本领域技术人员的知识进行各种变更和改进。

例如，在第1实施方式及第2实施方式中，构成摄像部40、距离信息获取部41及色彩信息获取部42的各设备中的两种或所有种类可以是通用的设备。例如，可以由通用的彩色照相机来构成摄像部40及色彩信息获取部42，也可以由通用的RGB图像一体型TOF照相机来构成摄像部40、距离信息获取部41及色彩信息获取部42。

并且，在第1实施方式及第2实施方式中，若控制部50根据OR精度图或AND精度图在不应该存在物体的区域中检测到了物体，则可以将该物体识别为障碍物。

并且，对象物只要具有规定的形状、规定的大小及规定的色彩即可。例如，在第1实施方式中，对象物也可以是除了钢卷C或鞍座S的装载标记M以外的对象物。或者，对象物可以是钢卷C的一部分，也可以是鞍座S整体。在第2实施方式中，对象物也可以是除了对象集装箱D1的被卡止部G或目标集装箱D3的被卡止部G以外的对象物。或者，对象物可以是对象集装箱D1整体，也可以是目标集装箱D3整体。

并且，控制部50也可以预先存储有基准部分A6、A10、A13。此时，能够减少基于控制部50的运算量。

并且，在第1实施方式及第2实施方式中，作为显示部43，其并不只限定于设置在驾驶室60、60A内的显示器，可以采用任意结构。例如，显示部43可以是能够与起重机装置1、1A直接或者通过网路等间接通信的便携式终端的显示器。另外，在起重机装置1、1A并不是基于作业人员(驾驶员)的手动操作进行动作而是基于控制部50的自动运行进行动作的情况下，可以省略显示部43。即，在起重机装置1、1A基于控制部50自动运行而不是基于作业人员的手动操作进行运行的情况下，可以不具备显示部43。

并且，起重机装置1、1A并不只限定于桥式起重机及集装箱装卸用起重机，其可以采用其他各种起重机。

符号说明

1、1A-起重机装置，30、30A-吊具，40-摄像部，41-距离信息获取部，42-色彩信息获取部，43-显示部，50-控制部，C-钢卷(货物、对象物)，D-集装箱(货物)，G-被卡止部(对象物)，M-装载标记(对象物)。

Claims (7)

1.一种起重机装置，其特征在于，具备：

吊具，其进行货物的抓取、保持及卸载；

移动机构，其使所述吊具移动，并且包括主梁及起重机小车；

摄像部，其设置于所述吊具上，并且拍摄所述吊具的下方以获取摄像图像；

距离信息获取部，其设置于所述吊具上，并且获取其至所述吊具下方的所述摄像图像的范围内的多个测量点为止的距离信息；

色彩信息获取部，其设置于所述吊具上，并且获取所述吊具下方的所述摄像图像的范围内的色彩信息；

显示部，其显示所述摄像图像；及

控制部，处理所述摄像图像，并将处理结果显示于所述显示部，

所述控制部进行如下处理：

根据所述距离信息及所述色彩信息，从所述摄像图像中提取包括该摄像图像中对象物所在区域的对象区域，

在所述对象区域中检测与预先存储的参考图像的形状相对应的对应部分，

在所述摄像图像中强调检测到的所述对应部分，并将其显示于所述显示部。

2.根据权利要求1所述的起重机装置，其特征在于，

所述控制部在所述摄像图像的除了所述对象区域以外的区域不检测所述对应部分。

3.根据权利要求1或2所述的起重机装置，其特征在于，

所述控制部进行如下处理：

根据所述距离信息来推定所述摄像图像中的所述对象物所在的第1区域，

根据所述色彩信息来推定所述摄像图像中的所述对象物所在的第2区域，

从所述摄像图像中提取包括所述第1区域及所述第2区域中的至少一方所包含的区域的区域作为所述对象区域。

4.根据权利要求1或2所述的起重机装置，其特征在于，

所述控制部进行如下处理：

根据所述距离信息来推定所述摄像图像中的所述对象物所在的第1区域，

根据所述色彩信息来推定所述摄像图像中的所述对象物所处的第2区域，

从所述摄像图像中提取包括所述第1区域及所述第2区域均包含的区域的区域作为所述对象区域。

5.根据权利要求1至4中任一项所述的起重机装置，其特征在于，

所述控制部检测出所述摄像图像中的所述对应部分与在所述吊具进行所述货物的抓取或卸载时所述对应部分在所述摄像图像中应当所处的基准部分之间的错位，

所述移动机构使所述吊具移动以消除所述错位。

6.根据权利要求1至5中任一项所述的起重机装置，其特征在于，

所述对象物是被所述吊具抓取的所述货物的至少一部分。

7.根据权利要求1至5中任一项所述的起重机装置，其特征在于，

所述对象物是要卸载被所述吊具保持的所述货物的载置部的至少一部分。

Images