CN105228941A - 摄像机姿态检测装置和作业区域线显示装置 - Google Patents

摄像机姿态检测装置和作业区域线显示装置 Download PDF

Info

Publication number
CN105228941A
CN105228941A CN201480027752.5A CN201480027752A CN105228941A CN 105228941 A CN105228941 A CN 105228941A CN 201480027752 A CN201480027752 A CN 201480027752A CN 105228941 A CN105228941 A CN 105228941A
Authority
CN
China
Prior art keywords
camera
pick
suspension hook
operating area
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480027752.5A
Other languages
English (en)
Other versions
CN105228941B (zh
Inventor
谷住和也
石川严
津田和彰
山内浩嗣
玉木启资
宗清正幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tadano Ltd
Original Assignee
Tadano Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2013107027A external-priority patent/JP6162481B2/ja
Priority claimed from JP2014102874A external-priority patent/JP6421451B2/ja
Application filed by Tadano Ltd filed Critical Tadano Ltd
Publication of CN105228941A publication Critical patent/CN105228941A/zh
Application granted granted Critical
Publication of CN105228941B publication Critical patent/CN105228941B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/16—Applications of indicating, registering, or weighing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/46—Position indicators for suspended loads or for crane elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control And Safety Of Cranes (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开一种摄像机姿态角检测装置，其具备悬臂前端部的监视摄像机(32)、和显示从悬臂的前端部垂下的吊钩的拍摄图像的监视器(70)，并设有根据显示在监视器(70)中的屏幕上的吊钩图像位置信息、和实际空间中的吊钩位置信息而求出摄像机的姿态角的姿态角计算装置(68)，姿态角计算装置(68)具有：求出实际显示的监视器(70)的屏幕上的吊钩位置的吊钩位置计算部(63)、求出吊钩位置计算部(63)求出的吊钩位置与假设摄像机朝向正下方时显示在该监视器(70)中的屏幕上的吊钩的基准吊钩位置之差的偏移量计算部(64)、以及根据该差和从监视摄像机(32)的光轴中心位置至吊钩为止的高度方向的距离而求出监视摄像机(32)的倾斜角的摄像机倾斜角计算部(65)。

Description

摄像机姿态检测装置和作业区域线显示装置
技术领域
本发明涉及一种不使用倾斜角检测传感器求出摄像机的姿态角的摄像机姿态检测装置和作业区域线显示装置。
背景技术
目前，已知有一种在悬臂的前端部设有摄像机的吊物位置检测装置(参照专利文献1)。
该吊物位置检测装置在悬臂的前端部设有摄像机，利用该摄像机从上方拍摄吊绳和吊钩，通过图像处理，并根据拍摄到的图像中的多条扫描线上的颜色分布，求出每条扫描线上存在吊绳的颜色的绳点，利用直线连接该各个绳点，并求出与该吊绳对应的多条直线的交点作为吊物位置。
现有技术文献
专利文献
专利文献1：日本专利特许3440598号公报
发明内容
然而，该吊物位置检测装置中存在下述问题，即：由于未设置检测摄像机的倾斜角的倾斜角检测传感器，因而在摄像机倾斜的情况下无法求出吊物的正确位置，而若设置该倾斜角检测传感器，则价格变高。
本发明的目的在于提供一种即使未设置倾斜角检测传感器也能够检测出摄像机的姿态角的摄像机姿态检测装置、和使用该摄像机姿态检测装置的作业区域线显示装置。
本发明涉及一种摄像机姿态检测装置，其具备：设置在作业机的悬臂前端部的摄像机、和显示利用所述摄像机拍摄从悬臂前端部垂下的吊钩而得到的图像的监视器，该摄像机姿态检测装置的特征在于设有姿态角计算手段，该姿态角计算手段根据显示在所述监视器中的屏幕上的吊钩图像位置信息、和实际空间中的吊钩位置信息而求出摄像机的姿态角。
本发明的有益效果如下：
根据本发明，即使未设置倾斜角检测传感器，也能够检测出摄像机的姿态角。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明。
图1是示出搭载本发明涉及的作业区域线显示装置的移动式起重机的侧视图。
图2是概略示出作业区域线显示装置的构成的框图。
图3是示出监视摄像机倾斜时屏幕上的作业区域线的位置的计算方法的说明图。
图4是示出显示在监视器中的图像的一例的说明图。
图5是示出从监视摄像机倾斜时屏幕上的吊钩位置求出监视摄像机的倾斜角的方法的说明图。
图6是示出悬臂前端部的滑轮、监视摄像机以及吊钩的位置关系和坐标系的说明图。
图7是示出吊钩摆动状态的说明图。
图8是示出另一例的摄像机姿态检测装置的构成的框图。
图9是示出图8所示的图像处理部的构成的框图。
图10是示出又一例的摄像机姿态检测装置的构成的框图。
图11是示出图10所示的摄像机姿态检测装置的图像处理部的构成的框图。
图12是示出第二实施例的摄像机姿态检测装置的构成的说明图。
图13是示出显示在监视器中的吊钩图像、从该吊钩图像通过的半径方向线以及吊钩的移动轨迹的说明图。
图14是示出第三实施例的作业区域线显示装置的构成的框图。
图15是详细示出图14所示控制器的构成的作业区域线显示装置的框图。
图16是示出使吊钩图像进入显示在监视器中央的方框内之前和进入之后的说明图。
图17是示出利用几何学求出作业区域线的原理的说明图。
图17A是示出偏移量根据伸缩臂的升降角而变化的情况的说明图。
图17B是示出监视摄像机的旋转轴与滑轮的中心一致时，无论伸缩臂的升降角如何监视摄像机的倾斜角都固定不变的情况的说明图。
图18是在监视器屏幕中显示方框、吊钩图像以及作业区域线的说明图。
图19是示出第四实施例的作业区域线显示装置的构成的框图。
图20是示出第四实施例的作业区域线显示装置的构成的框图。
图21是示出第七实施例的作业区域线显示装置的构成的框图。
图22是示出第七实施例的作业区域线显示装置的监视器屏幕的说明图。
图23是示出另一例的监视器屏幕的说明图。
具体实施方式
以下，根据附图对作为本发明涉及的摄像机姿态检测装置和作业区域线显示装置的实施方式的实施例进行说明。
实施例
[第一实施例]
图1中，作为搭载具备摄像机姿态检测装置的作业区域线显示装置的作业机、即起重机(作业车)而示出越野起重机10。该越野起重机10(以下记载为起重机)具备：成为具有行驶功能的车辆的主体部分的车体11、设置在该车体11前侧的左右一对前侧外伸支架12、设置在车体11后侧的左右一对后侧外伸支架13、以能够水平旋转的方式安装在车体11的上部的旋转台14、设置在旋转台14上的驾驶室20、以及安装于固定在旋转台14上的托座(bracket)15上的伸缩臂16等。
伸缩臂16的末端部经由支撑轴17而被安装，该伸缩臂16能够以支撑轴17为中心而升降。在托座15与伸缩臂16之间安装有升降用气缸18，通过该升降用气缸18的伸缩而使伸缩臂16进行升降。
伸缩臂16具有基础臂16A、中间臂16B以及前端臂16C，并且按照该顺序从外侧朝向内侧呈嵌套式组合在基础臂16A内而构成。另外，伸缩臂16通过伸缩气缸(未图示)进行伸缩。
前端臂16C的前端部设有滑轮23(参照图5)，该滑轮23上挂有钢丝绳25(以下表记为钢索)，通过该钢索25而悬挂吊钩滑车(hookblock)19。吊钩滑车19上安装有吊钩21。
钢索25通过未图示的绞盘而被卷绕或输出。
前端臂16C的前端部安装有摄像机单元30。
摄像机单元30具有：以通过自重而始终朝向下方的方式经由减震器安装在前端臂16C前端部的壳体31、以能够朝向平摇方向(pandirection)和俯仰方向(tiltdirection)倾斜的方式设置在该壳体31内的TV摄像机等的监视摄像机(摄像机)32、使监视摄像机32朝向平摇方向倾斜的平摇电动机(panmotor)33(参照图2)、以及使监视摄像机32朝向俯仰方向倾斜的俯仰电动机(tiltmotor)34等。
此外，摄像机单元30被构成为通过自重而朝向下方，但是，因为减震器的阻力或者可动部的摩擦阻力等，光轴并非始终准确地朝向正下方。另外，在该实施例中，并非必须具备平摇电动机33、俯仰电动机34或者缩放功能等。
监视摄像机32的倾斜(方向)的调整，通过操作设置在驾驶室20内的操作部(未图示)的平摇开关(姿态操作手段)SW1(参照图2)和俯仰开关SW2(姿态操作手段)而进行。另外，监视摄像机32通过缩放开关SW3的操作而进行缩放。
[作业区域线显示装置]
图2是示出作业区域线显示装置120的构成的框图。
作业区域线显示装置120具备控制器60的作业区域计算部66和摄像机姿态检测装置100。
[摄像机姿态检测装置]
摄像机姿态检测装置100具备：设置在伸缩臂16前端部的摄像机单元30、检测伸缩臂16的姿态的悬臂姿态检测传感器50、根据悬臂姿态检测传感器50检测出的检测信号等求出监视摄像机32的姿态角或作业区域线的控制器60(作业区域计算部66除外)、显示利用监视摄像机32拍摄的图像等的监视器70、以及贴在监视器70的屏幕(未图示)上的触摸面板71。
悬臂姿态检测传感器50用于检测吊钩21的伸长量、伸缩臂16的长度或升降角或者伸缩臂16的旋转角等，其具有分别检测上述量的各传感器(未图示)，并输出实际空间中的吊钩位置信息。
[控制器]
如图2所示，控制器60具有电动机控制部61、视点变换计算部(基准吊钩位置计算手段)62、作业区域计算部66、图像合成部67以及姿态角计算装置68，其中，电动机控制部61根据平摇开关SW1或俯仰开关SW2的操作而控制平摇电动机33或俯仰电动机34的驱动。
姿态角计算装置68具有吊钩位置计算部63、偏移量计算部64以及摄像机倾斜角计算部(摄像机姿态角计算手段)65。
[视点变换计算部]
视点变换计算部62首先根据伸缩臂16前端部的倾斜角和吊钩21的伸长量，求出以悬臂前端部(图6所示的滑轮23的中心)为原点的X、Y、Z坐标系中的吊钩21的位置。
进而，视点变换计算部62将实际空间中的吊钩21的位置(X、Y、Z坐标系中的位置)转换成x3、y3、z3坐标系(参照图6)中的位置，并且将x3、y3、z3坐标系中的吊钩21的位置转换成监视器70的屏幕的坐标系(屏幕坐标系)中的位置，从而求出监视器70的屏幕上的基准位置(基准吊钩位置)，其中，x3、y3、z3坐标系是以假设监视摄像机32朝向正下方，而使监视摄像机32的光学中心位置与拍摄面的中心位置一致的点为原点。
即，在假设监视摄像机32朝向正下方的情况下，求出显示在监视器70的屏幕中的吊钩21的位置即基准位置，作为该屏幕上的坐标位置。
另外，视点变换计算部62具有高度检测手段的功能，该高度检测手段根据悬臂姿态检测传感器50检测出的检测信号而求出从监视摄像机32的光学中心位置至吊钩21的高度方向上的高度(吊钩位置信息)。
[吊钩位置计算部]
吊钩位置计算部63通过触摸显示在监视器70的屏幕中的吊钩图像上的触摸面板71，计算出利用朝向任意方向的监视摄像机32拍摄的图像中的屏幕坐标系上(监视器70的屏幕上)的吊钩位置。
[偏移量计算部]
偏移量计算部64根据吊钩位置计算部63计算出的吊钩位置而求出吊钩位置相对于视点变换计算部62求出的基准位置的偏移量、即作为基准位置与吊钩位置之差(吊钩图像位置信息)的偏移量。
[摄像机倾斜角计算部]
摄像机倾斜角计算部65根据偏移量计算部64求出的偏移量、和由视点变换计算部62求出的、从监视摄像机32的光学中心位置Q1(参照图5)至吊钩21为止的高度h1，而求出监视摄像机32的倾斜角(相对于垂直线的倾斜角度)。即，摄像机倾斜角计算部65根据吊钩图像位置信息和实际空间中的吊钩位置信息而求出监视摄像机32的姿态角。
[作业区域计算部]
作业区域计算部66根据吊物的重量而求出表示吊物能够以伸缩臂16的旋转中心为中心而移动的区域的作业区域线，进而根据监视摄像机32的倾斜角而求出监视器70的图像中的作业区域线的正确位置。
吊物的重量由控制器60的未图示的计算部根据利用升降用气缸18的压力传感器(未图示)检测出的气缸压力、伸缩臂16的升降角度以及伸缩臂16的长度进行计算而求出。
在此，对于监视摄像机32倾斜时屏幕中的作业区域线的位置的计算方法简单进行说明。
如图3所示，将监视摄像机32距离地面的高度设为h，将监视摄像机32正下方的地面上的位置设为P1，将伸缩臂16的旋转中心位置设为O，将以该旋转中心位置O为中心的作业区域线设为S1。将从旋转中心位置O至作业区域线S1为止的距离设为Sa。高度h可以根据伸缩悬臂16的长度和升降角而求出。
当监视摄像机32朝向正下方时，将此时的监视摄像机32的光轴设为32a，该光轴32a与地面的交点即位置P1被显示在监视器70的屏幕的中心位置处。
当监视摄像机32倾斜角度θ时，此时的监视摄像机32的光轴32b与地面的交点即位置P2被显示在监视器70的屏幕的中心位置处。此外，监视摄像机32的转动中心位置与光学中心位置Q1(参照图5)一致。
在将位置P1与位置P2之间的距离设为ΔR1时，若角度θ已知，则可以通过h·tanθ而求出ΔR1，从而可以从位置P2求出位置P1。另外，在将从伸缩臂16的旋转中心位置O起的伸缩臂16的作业半径设为R1时，能够从位置P1求出旋转中心位置O。此外，作业半径R1根据伸缩臂16的长度和升降角而求出。
而且，能够求出以旋转中心位置O为中心且基于重量的地面上的作业区域线S1的位置。地面上的位置P2是监视器70的屏幕的中心位置，该位置P2是与旋转中心位置O的距离为作业半径R1+ΔR1的位置。
另外，从位置P2至作业区域线S1的距离ΔR2通过ΔR2＝Sa-(R1+ΔR1)而求出。
在此，监视摄像机32倾斜角度θ时的监视器70的屏幕的中心位置表示地面上的位置P2，另外，由于高度h已知，因而能够使地面上的坐标位置与图像上的坐标位置相对应。即，能够以伸缩臂16的旋转中心位置O为原点，而使屏幕坐标系的坐标位置与拍摄到的图像上的各位置相对应。
由此，能够求出与地面上的作业区域线S1的位置相对应的监视器70的图像上的位置。
[图像合成部]
图像合成部67将该作业区域线S1合成到与作业区域计算部66求出的作业区域线S1的位置相对应的图像中的位置处，并显示在监视器70的屏幕中。
[动作]
接着，对于上述那样构成的摄像机姿态检测装置100和作业区域线显示装置120的动作进行说明。
现在，利用监视摄像机32拍摄吊钩滑车19，例如如图4所示在监视器70的屏幕70Ga中显示吊钩滑车图像19S。此外，此处所说的“吊钩21的位置”是指吊钩滑车19中设有的滑轮(未图示)的轴19J(参照图1)的位置，另外，为了便于说明，将包含吊钩滑车图像19S在内的吊钩图像表记为21G进行说明。监视摄像机32朝向俯仰方向和平摇方向倾斜。
操作员触摸显示在该屏幕70Ga中的吊钩图像21G上的触摸面板71的部位。吊钩位置计算部63将该触摸面板71的触摸位置即吊钩位置C作为图像坐标系(以屏幕左端的上端部为原点的坐标系)的位置并计算出坐标值C_htlt，其中，吊钩位置C是指。该坐标值C_h_tlt也可以通过图像处理而求出。
另一方面，视点变换计算部62求出假设监视摄像机32朝向正下方的情况下，利用该朝向正下方的监视摄像机32拍摄时监视器70的屏幕上的吊钩21的位置(基准位置)B。
在此，对于假设监视摄像机32朝向正下方时屏幕上的吊钩21的位置B的计算方法简单进行说明。
现在，例如如图5所示，将从伸缩臂16前端部的滑轮23的轴23J(滑轮23的中心位置)至吊钩21的距离设为H1，将从监视摄像机32的光学中心位置Q1至吊钩21为止的高度方向上的距离设为h1时，h1＝H1-W2。距离H1可以根据吊钩21的伸长量而求出，滑轮23与监视摄像机32在上下方向上的偏移量W2可以根据监视摄像机32的安装位置或伸缩臂16的升降角等而求出。
然后，将三角形F的底边F1与监视摄像机32的光轴32a的交点设为E1，其中，三角形F是将光学中心位置Q1与点Q2、Q3连接而形成的。此外，底边F1是表示吊钩21的高度位置的水平方向的线，连接光学中心位置Q1和点Q2的线F2与连接光学中心位置Q1和点Q3的线F3之间的范围表示监视摄像机32的拍摄范围。该拍摄范围是监视摄像机32朝向正下方时的范围。另外，将底边F1上的位置F1a设为吊钩21的位置。
由于交点E1位于光轴32a上，因而成为监视器70的屏幕70G的中心位置G0。在将该交点E1至吊钩21的距离设为L1时，L1＝W1，W1为滑轮23与监视摄像机32在水平方向上的偏移量。该偏移量W1可以根据监视摄像机32的安装位置或伸缩臂16的升降角等而求出。另外，高度h1可以从吊钩21的伸长量、和滑轮23与监视摄像机32在垂直方向上的偏移量W2而求出。
由此，可以求出假设监视摄像机32朝向正下方时的、屏幕70G上的吊钩21的位置A。此外，图5的70G表示监视摄像机32朝向正下方时的监视器70的屏幕。
当监视摄像机32倾斜角度θtilt时，该监视摄像机32拍摄的图像将监视器70的屏幕设为70Ga，吊钩21以实际图像映在该屏幕70Ga的位置A处。此外，将G1设为屏幕70Ga的中心位置。
由于从屏幕70G的中心位置G0(光轴32a的交点E1)分离L1的位置A为吊钩21的位置，因此，从屏幕70Ga的中心位置G1分离L1的位置成为假设监视摄像机32朝向正下方时的吊钩21的位置(基准吊钩位置)B。即，屏幕70G上的位置A与屏幕70Ga上的位置B在屏幕上为同一位置。
视点变换计算部62使用透视变换行列式等求出该屏幕70Ga上的位置B。
对此简单说明如下：视点变换计算部62根据距离H1、h1和偏移量W1，求出如图6所示以滑轮23的中心为原点的X、Y、Z坐标系中的吊钩滑车19的位置P_h。进而，视点变换计算部62使监视摄像机32的光学中心位置Q1与其拍摄面的中心一致，并作为以该拍摄面的中心为原点的(x3、y3、z3)坐标系的位置而求出吊钩滑车19的位置C_h，根据该(x3、y3、z3)坐标系的吊钩滑车19的位置C_h而求出监视器70的屏幕70Ga的图像坐标系的位置B。将该位置B的屏幕上的坐标值设为C_h_ver(参照图4)。
另外，视点变换计算部62求出假设监视摄像机32朝向正下方的情况下，使吊钩滑车19上下移动时吊钩滑车19在屏幕70Ga上的移动轨迹T。图像合成部67将该移动轨迹T和位置B合成到监视摄像机32拍摄的图像上，并显示在监视器70中。
如图4所示，偏移量计算部64求出吊钩位置计算部63计算出的吊钩图像的坐标值C_h_tlt与视点变换计算部62求出的吊钩滑车19的屏幕上位置B的坐标值C_h_ver之差。即，偏移量计算部64求出该差在x方向和y方向上的偏移量Δx、Δy。
摄像机倾斜角计算部65根据下述算式从偏移量计算部64求出的偏移量求出监视摄像机32的倾斜角。
俯仰角＝tan-1(Δy/h1)…(1)
平摇角＝tan-1(Δx/h1)…(2)
在此，根据图5对监视摄像机32的倾斜角的计算方法简单进行说明。
假设朝向正下方的监视摄像机32朝向俯仰方向倾斜了角度θtilt。将倾斜了角度θtilt的监视摄像机32的光轴设为32c，将使三角形F倾斜角度θtilt后的位置上形成的三角形设为M。将该三角形M的底边M1与光轴32c的交点设为P3，将连接光学中心位置Q1与位置F1a的直线设为32d。将该直线32d与光轴32a所形成的角度设为θh，将直线32d与光轴32c所形成的角度设为θth。
然后，在将与光轴32c所形成的角度为θh的直线32e与底边M1的交点的位置设为P4时，三角形M的底边M1上的交点位置P4成为倾斜前的三角形F的底边F1上的位置F1a。也就是说，由于从朝向正下方的监视摄像机32的光轴32a上的交点E1分离距离L1的位置F1a为吊钩21的位置，因此，从倾斜了角度θtilt的监视摄像机32的光轴32c上的交点P3分离距离L1的位置P4，成为朝向正下方的监视摄像机32拍摄的吊钩21的位置。
另外，监视摄像机32倾斜了角度θtilt时的光轴32c上的交点P3与监视器70的屏幕70Ga的中心位置G1一致。另外，从交点P3分离距离L1的位置P4成为屏幕70Ga的位置B。在将位置F1a与位置P4之间的分离距离设为Δy时，屏幕70Ga的位置A、B之间的距离为Δy。
而且，由于θtilt＝θh+θth，因此，
θtilt＝tan-1(L1/h1)+tan-1((Δy-L1)/h1)…(3)。
Δy可以从屏幕70Ga的位置A、B求出，L1已知，h1可以从吊钩21的伸长量和伸缩臂16的升降角等求出。
因此，当触摸图5所示的屏幕70Ga的位置A(图4中的位置C)，并由吊钩位置计算部63求出屏幕70Ga的位置A时，偏移量计算部64从该位置A与视点变换计算部62求出的位置B之差求出位置A、B之间的距离Δy。然后，摄像机倾斜角计算部65通过算式(3)而从距离Δy求出监视摄像机32的倾斜角度θtilt。由于平摇角也可以同样地求出，故此处省略其说明。
通过算式(3)可以正确地求出倾斜角度θtilt，但是，在该实施例中，为了便于计算，通过算式(1)求出俯仰角，通过算式(2)求出平摇角。
在此，在Δy＝3m、L1＝0.5m、h1＝10m的情况下，通过算式(3)求出角度θtilt为0.29494rad，通过算式(1)求出为0.29146rad。由此，通过算式(1)也可以求出非常正确的俯仰角。平摇角也是同样的。
由此，当触摸监视器70的屏幕70Ga的吊钩图像21G(参照图4)上的触摸面板71的部位时，能够求出距离Δy、Δx，并由摄像机倾斜角计算部65通过算式(1)、(2)求出俯仰角和平摇角，因而不需要检测监视摄像机32的倾斜角的倾斜角检测传感器。
作业区域计算部66根据吊物的重量而求出表示吊物的可移动区域的作业区域线，并根据摄像机倾斜角计算部65求出的监视摄像机32的倾斜角(俯仰角和平摇角)，求出与该作业区域线对应的监视器70的图像上的作业区域线的位置。如图4所示，图像合成部67将作业区域线UI合成到与作业区域计算部66求出的作业区域线的位置对应的、监视摄像机32拍摄的图像上的位置处，并显示在监视器70的屏幕70Ga中。
根据该第一实施例，不需要检测监视摄像机32的姿态的姿态角检测传感器，而且能够根据摄像机倾斜角计算部65求出的监视摄像机32的倾斜角而将正确的作业区域线UI显示到监视器70中，从而能够提供廉价的摄像机姿态检测装置100和作业区域线显示装置120。
另外，当吊钩21摆动而如图7所示吊钩图像21G移动并显示在监视器70的屏幕70Ga中时，将吊钩图像21G的移动轨迹I所形成的图形的中心位置设为吊钩图像21G的位置，并触摸该图形的中心位置。或者，也可以通过图像处理而求出多个吊钩图像21G的中心位置。
图8示出通过图像处理部130求出高度h1的摄像机姿态检测装置100的另一例。
如图9所示，图像处理部130具有：从监视摄像机32拍摄的图像中提取出吊钩图像的吊钩图像提取部131、求出吊钩图像提取部131提取出的吊钩图像的面积的面积计算部132、以及从该面积计算部132求出的面积(尺寸)求出高度h1的高度计算部133。
这是因为吊钩图像的面积随着高度h1变高而逐渐变小，从而利用该关系求出高度h1。
在缩放的情况下，从吊钩图像的尺寸、和显示在监视器70中的钢索图像的长度求出缩放倍率，并从该缩放倍率和吊钩图像的面积求出高度h1。缩放倍率是如下那样求出的，即：预先将以映在监视器70中的钢索25的长度作为参数的吊钩面积的比率存储在未图示的存储器中，并求出映出的钢索25的长度，由此从与该长度对应的缩放倍率而求出。
图10示出通过图像处理部150求出吊钩位置的又一例的摄像机姿态检测装置160。
如图11所示，图像处理部150具有：从监视摄像机32拍摄的图像中提取出吊钩图像的吊钩图像提取部151、和计算出该吊钩图像提取部151提取出的吊钩图像的中心位置作为吊钩位置的中心位置计算部152。其他构成与图2所示的摄像机姿态检测装置100相同，故省略其说明。
吊钩图像提取部151通过区域扩张法或图形匹配等的图像处理而求出。
区域扩张法是指：从触摸了监视器70的屏幕的吊钩位置计算出亮度差不同的线作为吊钩的边界，并将该边界包围的图形的中心作为吊钩的位置。
图形匹配是指：预先按照每个缩放的倍率将吊钩的图形加以存储，求出该图形与对屏幕进行扫描处理得到的实际的吊钩图像一致的位置，并将该位置作为吊钩的位置。
在利用图形匹配等的图像处理方法提取吊钩图像时，并不一定需要触摸面板71。
[第二实施例]
图12是示出第二实施例的作业区域线显示装置200的构成的框图。
作业区域线显示装置200具备控制器260的作业区域计算部66和摄像机姿态检测装置210。
[摄像机姿态检测装置]
摄像机姿态检测装置210具备：摄像机单元30、悬臂姿态检测传感器50、控制器260(作业区域计算部66除外)、监视器70以及触摸面板71。
[控制器]
控制器260具有：与伸缩臂16的升降角和监视摄像机32的缩放倍率相对应地存储吊钩21的移动轨迹的存储器201、根据伸缩臂16的升降角和监视摄像机32的缩放倍率而读出存储在存储器201中的移动轨迹的读取手段202、求出读出的移动轨迹K1(参照图13)与半径方向线N1的交点V1的交点计算部203、吊钩位置计算部63、偏移量计算部264、摄像机倾斜角计算部265、电动机控制部61以及图像合成部67。
[存储器]
在存储器201中，与伸缩臂16的升降角和监视摄像机32的缩放倍率相对应地存储有吊钩21的移动轨迹，其中，该吊钩21的移动轨迹是指：在监视摄像机32朝向正下方的情况下，使吊钩21上下移动时显示在监视器70的屏幕中的移动轨迹。
[交点计算部]
如图13所示，交点计算部203求出从吊钩图像21G通过的半径方向线N1与移动轨迹K1的交点V1。半径方向线N1是与沿伸缩臂16的伸长方向投影到从吊钩21的中心位置通过的水平面上的线平行，且从吊钩21的中心位置通过的线。即，当伸缩臂16的伸长方向为监视器70的屏幕70Ga的上下方向时，则从吊钩图像21G通过且沿上下方向延伸的线成为半径方向线N1。
[偏移量计算部]
偏移量计算部264求出吊钩图像21G的位置与交点V1之间的分离距离ΔD。
[摄像机倾斜角计算部]
摄像机倾斜角计算部265根据下述算式(4)从分离距离ΔD、和从监视摄像机32的光学中心至吊钩位置为止的高度方向上的距离h1(参照图5)而求出监视摄像机32的倾斜角θ(半径方向的倾斜角)。
θ＝tan-1(ΔD/h1)…(4)
这与算式(1)相同，如图5所示，屏幕70Ga的位置B为图13所示的移动轨迹K1上的位置(交点V1)，屏幕70Ga的位置A为吊钩图像21G的位置。另外，位置A与位置B的连接方向为伸缩臂16的伸长方向，位置A、B之间的距离Δy为图13所示的ΔD。因此，可以通过算式(4)求出监视摄像机32的倾斜角θ。
该实施例是对相对于伸缩臂16的升降动作而仅俯仰方向向下追随的监视摄像机32有效的方法。
其他构成与第一实施例相同，故省略其说明。
[第三实施例]
在第三实施例中，将利用设置在伸缩臂16前端部的监视摄像机32拍摄的图像显示在监视器370(参照图16)中，并通过平摇和俯仰操作而操作监视摄像机32的方向，从而使吊钩21位于监视器370的屏幕370G的规定位置处，由此检测监视摄像机32的姿态角。
图14和图15是示出第三实施例的作业区域线显示装置300的构成的框图。图15详细示出图14所示的控制器360内的构成，并将作业区域线显示装置300分类为摄像机姿态检测装置310、坐标位置计算部364、作业区域计算部365以及图像合成部366这四个构成而示出。
摄像机姿态检测装置310具备：摄像机单元30、悬臂姿态检测传感器50、控制器360、显示利用监视摄像机32拍摄的图像等的监视器370、以及平摇开关SW1和俯仰开关SW2。
在监视器370的屏幕370G中，如图16所示，在屏幕的中央部显示有四角形的方框Ma。
[控制器]
如图15所示，控制器360具有：电动机控制部61、姿态角计算部(计算手段)363、坐标位置计算部(坐标位置计算手段)364、作业区域计算部(作业区域计算手段)365以及图像合成部366。
电动机控制部61根据来自平摇开关SW1、俯仰开关SW2的信号而控制平摇电动机33、俯仰电动机34。
姿态角计算部363根据从悬臂姿态检测传感器50输出的绞盘的输出量、伸缩臂16的长度以及后述的偏移量W1而计算监视摄像机32的姿态角。
坐标位置计算部364根据姿态角计算部363计算出的姿态角、和从悬臂姿态检测传感器50输出的伸缩臂16的各种检测信号，求出以伸缩臂16的旋转中心位置为原点的、拍摄的图像上的各位置中的屏幕坐标系的坐标位置。
作业区域计算部365根据吊物的重量而求出表示吊物的可移动区域的作业区域线。
图像合成部366将作业区域计算部365求出的作业区域线，与坐标位置计算部364计算出的坐标位置相对应地合成到监视摄像机32拍摄的图像中，并显示在监视器370中。
而且，通过坐标位置计算部364和作业区域计算部365而构成求出图像上的作业区域线的正确位置的作业区域计算装置380。
[原理]
如图17所示，假设监视摄像机32的旋转轴32J与滑轮23的中心D1在左右方向上存在W1的偏移量(上下方向的偏移量W2可忽视时)。另外，将从地面至滑轮的中心D1的高度设为H2，将从滑轮的中心D1至吊钩滑车19的长度设为La，将监视摄像机32的光轴朝向吊钩21时的监视摄像机32的倾斜角度、即监视摄像机32的光轴朝向吊钩21时监视摄像机32相对于垂直线的倾斜角度设为θ。而且，在将从伸缩臂16的旋转中心位置O起的该伸缩臂16的作业半径设为Ra，将成为监视摄像机32倾斜时的图像中心的地面上的位置Pa与作业半径Ra之间的距离设为ΔRa，并且监视摄像机32的旋转轴32J与光学中心位置Q1的连接长度小至相对于高度H2可忽视的程度时，可以通过下式求出距离ΔRa。
ΔRa＝H2tanθ－W1
监视摄像机32的倾斜角度θ可以从长度La和偏移量W1而求出。长度La从钢索25的输出量求出。平摇方向的监视摄像机32的倾斜角度也同样地求出。
高度H2可以根据伸缩臂16的长度和升降角而求出。此外，由于监视摄像机旋转轴32J和滑轮的中心D1相对于伸缩臂16的位置已知，因而可以根据伸缩臂16的升降角而求出偏移量W1。
与监视器370的图像的中心位置相对应的地面上的位置为Pa，可以根据误差ΔRa和作业半径Ra而从位置Pa求出伸缩臂16的旋转中心位置O。同样针对平摇方向求出旋转中心位置O。
然后，可以以旋转中心位置O为中心而在距离Rb(表示作业区域范围的距离)的位置上绘制作业区域线。
在此，图像的中心位置表示地面上的位置Pa，另外，由于高度H2已知，因而能够使地面上的坐标位置与图像上的坐标位置对应。即，以伸缩臂16的旋转中心位置为原点，使屏幕坐标系的坐标位置与拍摄的图像上的各位置相对应。
由此，能够使作业区域线重叠在图像上的正确位置处并显示在监视器70中。
此外，如图17A所示，根据伸缩臂16的升降角而在上下方向上也产生偏移量W2，该偏移量W2也可以根据升降角而求出，因而可以利用几何学求出监视摄像机32的倾斜角度。
即，ΔRa＝H1′tanθ－W1、H1′＝H2－W2的算式成立。
其中，H1′为地面至摄像机旋转轴32J的高度。
根据该算式，可以从长度L1和偏移量W1、W2求出监视摄像机32的倾斜角度θ。平摇方向的监视摄像机32的倾斜角度也同样地求出。
另外，如图17B所示，在与滑轮的转动轴同轴地设置监视摄像机32的转动轴时，不会产生偏移量W1、W2，因而无需考虑偏移量。
[动作]
接着，对于上述那样构成的作业区域线显示装置300的动作进行说明。
如图16所示，操作员操作平摇开关SW1或俯仰开关SW2而使监视摄像机32倾斜，以使吊钩图像21G始终位于监视器370的屏幕370G的中心部方框Ma内。
当通过控制器360求出吊物的实际重量时、或者操作员输入重量时，作业区域计算部365(参照图15)根据该实际重量或者输入的重量而求出作业区域线。
另一方面，姿态角计算部363根据从悬臂姿态检测传感器50输出的检测信号、即通过绞盘而被输出的钢索25(参照图1)的输出量和伸缩臂16的长度，求出图17所示的吊钩21的悬挂长度La，并根据该长度La和偏移量W1而求出监视摄像机32相对于垂直线的倾斜角度θ(平摇或俯仰方向的角度)。
即，姿态角计算部363根据伸缩臂16的前端位置信息(从伸缩臂16的长度和升降角求出的位置)和吊钩21的位置信息(偏移量W1和长度La)而求出监视摄像机32的倾斜角度θ。
坐标位置计算部364根据从悬臂姿态检测传感器50输出的检测信号、即伸缩臂16的长度和升降角而求出图17所示的高度H2，进而根据该高度H2和监视摄像机32的倾斜角度θ而求出与拍摄的图像上的各位置对应的、以伸缩臂16的旋转中心位置为原点的屏幕坐标系的坐标位置。
如图18所示，图像合成部366将作业区域计算部365计算出的作业区域线U2合成(重叠)到与坐标位置计算部364计算出的屏幕坐标系的坐标位置对应到图像上，并显示在监视器370中。
该第三实施例也不需要检测监视摄像机32的姿态的姿态角检测传感器，因而也可以得到与第一实施例相同的效果。
在该第三实施例中，通过作业而因为伸缩臂16的升降或吊物的上下移动等导致吊钩图像21G偏离监视器370的屏幕370G的方框Ma，但是，操作员操作平摇开关SW1或俯仰开关SW2而使该吊钩图像21G始终位于监视器370的屏幕370G的方框Ma内。而且，姿态角计算部363和坐标位置计算部364逐一读出从悬臂姿态检测传感器50输出的检测信号，并求出倾斜角度θ和与拍摄的图像上的各位置对应的屏幕坐标系的坐标位置，从而实时改写作业区域线U2。
因此，即使在吊物移动中，在吊钩图像21G位于监视器370的屏幕370G的方框Ma内的期间内，也可以将作业区域线U2正确地显示在监视器370的屏幕370G中。
[第四实施例]
图19示出第四实施例的作业区域线显示装置1200的构成。在该第四实施例中，设有制定标准用的开关(设定手段)SW4和存储器1201。
操作员在操作平摇开关SW1或俯仰开关SW2而使吊钩图像21G位于监视器370的屏幕370G的方框Ma内(参照图18)之后，操作员将开关SW4接通(ON)，当该开关SW4接通时，图20所示的控制器1260的姿态角计算部363根据悬臂姿态检测传感器50检测出的检测信号，与第三实施例同样地求出监视摄像机32的倾斜角度(平摇和俯仰方向的角度)。
另外，当开关SW4接通时，将悬臂姿态检测传感器50检测出的检测信号、即吊钩21的输出量和伸缩臂16的姿态(伸缩臂16的长度、升降角、旋转角)、和此时由姿态角计算部363求出的监视摄像机32的倾斜角度(平摇和俯仰方向的角度)作为基准值而存储到存储器1201中。
另外，通过接通开关SW4，控制器1260的未图示的计算部与第三实施例同样地求出实际重量，并由图20所示的作业区域计算部365根据该实际重量和存储在存储器1201中的监视摄像机32的倾斜角度θ及伸缩臂16的姿态而求出作业区域线U2(参照图18)。
另一方面，坐标位置计算部364与第三实施例同样地求出拍摄的图像上的各位置的屏幕坐标系的坐标位置。另外，图像合成部366将作业区域计算部365计算出的作业区域线U2与坐标位置计算部364计算出的屏幕坐标系的坐标位置相对应地加以合成，并显示在监视器370中(参照图18)。
即，在第四实施例中，在开关SW4被接通之后，视为吊钩图像21G进入监视器370的屏幕370G的方框Ma内，并持续显示作业区域线U2。在该第四实施例中，不操作平摇开关SW1或俯仰开关SW2。
当因为伸缩臂16的姿态变化和通过绞盘使吊钩21上下移动，而使该吊钩图像21G从监视器370的屏幕370G的方框Ma偏离规定量以上时、即悬臂姿态检测传感器50检测出的吊钩21的输出量和伸缩臂16的姿态数据(伸缩臂16的长度、升降角)从存储在存储器1201中的基准值偏离规定值以上时，判断为相对于显示有作业区域线U2的图像而位置偏离的误差较大，并进行错误显示。该错误显示通过例如在监视器370中用文字进行显示、或者改变方框Ma的颜色、或者使作业区域线U2闪烁或消失而进行。
通过进行该错误显示，操作员可以获知所显示的作业区域线错误。
根据第四实施例，在操作员使吊钩图像21G位于屏幕370G的方框Ma内之后，可以在控制器1260侧获知操作伸缩臂16和绞盘时吊钩图像21G是否位于屏幕370G的方框Ma内、即屏幕370G的规定位置处。另外，能够得到与第三实施例相同的效果。
[第五实施例]
第五实施例的作业区域线显示装置(未图示)具有与第四实施例的作业区域线显示装置1200相同的构成，故省略其说明。
然后，当操作员操作平摇开关SW1或俯仰开关SW2时，作业区域线U2的误差变大，因而进行错误显示。
该第五实施例的作业区域线显示装置构成为：当操作员操作平摇开关SW1或俯仰开关SW2时，作业区域线U2的误差变大，因而进行错误显示。另外，在接通开关SW4之后，作业区域线显示装置以不要操作平摇开关SW1或俯仰开关SW2的方式，预先通知操作员。
另外，在接通开关SW4之后，当仅驱动绞盘时，仅吊钩21上下移动，从而吊钩图像21G偏离监视器370的屏幕370G的方框Ma，但是，只要不操作平摇开关SW1或俯仰开关SW2，则作业区域线U2持续显示在监视器370的屏幕370G的正确位置处。
只要接通平摇开关SW1或俯仰开关SW2而未进行错误显示，则操作员便可以在显示正确的作业区域线的状态下操作起重机。
根据第五实施例，在操作员使吊钩图像21G位于屏幕370G的方框Ma内之后，可以在控制器1260侧获知操作伸缩臂16和绞盘时吊钩图像21G是否位于屏幕370G的方框Ma内、即屏幕370G的规定位置处。另外，能够得到与第三实施例相同的效果。
[第六实施例]
第六实施例的作业区域线显示装置(未图示)具有与第四实施例的作业区域线显示装置1200相同的构成，故省略其说明。
第六实施例的作业区域线显示装置，在开关SW4被接通之后，当操作了平摇开关SW1或俯仰开关SW2时，视为使监视器370(参照图19)的吊钩图像21G(参照图18)位于方框Ma内的操作，并与第四实施例同样地依次求出作业区域线U2，从而实时改写显示在监视器370中的作业区域线U2。
在该第六实施例中，在接通开关SW4之后，作业区域线显示装置以操作平摇开关SW1或俯仰开关SW2，从而使吊钩图像21G进入方框Ma内的方式，预先通知操作员。
操作员只要进行摄像机的平摇或俯仰以外的其他操作或者使吊钩图像21G进入方框Ma内的平摇或俯仰操作，便可获知所显示的作业区域线正确。
上述第三实施例至第六实施例均是从图17所示的长度La和偏移量W1求出监视摄像机32的倾斜角度θ，但是，也可以通过图像处理而从吊钩图像21G的图像上的位置和长度La求出监视摄像机32的倾斜角。该情况下，无需使吊钩图像21G进入方框Ma内。另外，也无需显示方框Ma。
另外，也可以对平摇电动机33和俯仰电动机34进行控制，以通过图像处理而使吊钩图像21G自动进入方框Ma内。
该第六实施例也可以得到与第三实施例相同的效果。
[第七实施例]
图21示出第七实施例的作业区域线显示装置1500的构成。该作业区域线显示装置1500设有不具备平摇或俯仰功能的监视摄像机1532。监视摄像机1532设置在壳体31(参照图1)上，该壳体31经由减震器(未图示)安装在前端臂16C的前端部上，由此，监视摄像机1532通过自重而朝向正下方。
当监视摄像机1532朝向正下方时，如图22所示，将吊钩21上下移动时的吊钩图像21G的轨迹FE合成显示在监视器370的屏幕370G中。
当通过减震器的作用而导致监视摄像机1532未朝向正下方时，吊钩图像21G偏离轨迹FE，由此可知所显示的作业区域线U2不正确。
当如图17所示监视摄像机1532的旋转轴32J与滑轮的中心D1偏离时，轨迹FE的位置根据伸缩臂16的升降角而改变，因此，如图23所示，也可以根据该升降角而将轨迹FE的位置变更为FEa。该情况下，也根据该升降角而将作业区域线U2变更为正确的作业区域线Ua。
此外，在本实施例中，以不具备平摇或俯仰功能为前提进行了说明，但是，在监视摄像机1532具备平摇或俯仰功能的情况下，当使监视摄像机1532平摇或俯仰，以使吊钩图像21G位于上述轨迹FE、FEa的线上时，能够使监视摄像机1532朝向正下方，显示在监视器370中的作业区域线U2、Ua也变为正确的作业区域线。
通过如此构成，无需进行使监视器370的吊钩图像21G进入方框Ma内的操作，只要配合轨迹FE操作监视摄像机1532即可，因而其操作简单。
在上述第三实施例至第七实施例中，均在监视器370的屏幕370G的中央部处显示有方框Ma，但是，并非必须是屏幕370G的中央部，另外也可以不是方框Ma。例如，也可以是x标记等。
本发明并不限于上述实施例，只要不脱离权利要求书的各权利要求涉及的发明的主旨，便允许变更设计或进行追加等。
关联申请的相互参照
本申请要求2013年5月21日在日本特许厅申请的特愿2013-107027和2014年5月16日在日本特许厅申请的特愿2014-102874作为优先权，并通过参照而将其所有的公开内容全部引入本说明书中。

Claims (16)

1.一种摄像机姿态检测装置，其具备：摄像机，其设置在作业机的悬臂前端部、和监视器，其显示利用所述摄像机拍摄从悬臂的前端部垂下的吊钩而得到的图像的，
所述摄像机姿态检测装置的特征在于，
设有姿态角计算装置，所述姿态角计算装置根据显示在所述监视器中的屏幕上的吊钩图像位置信息、和实际空间中的吊钩位置信息而求出摄像机的姿态角。
2.如权利要求1所述的摄像机姿态检测装置，其特征在于，
所述吊钩图像位置信息是指：实际显示的所述监视器的屏幕上的吊钩位置、和假设所述摄像机朝向正下方时显示在该监视器中的吊钩的屏幕上的基准吊钩位置，
所述实际空间中的所述吊钩位置信息是指摄像机与吊钩之间的高度方向的距离，
所述摄像机姿态检测装置具有求出所述基准吊钩位置的基准吊钩位置计算手段，
所述姿态角计算装置具有：
吊钩位置计算部，其求出所述监视器的屏幕上的吊钩位置，
偏移量计算部，其求出所述吊钩位置计算部求出的屏幕上的吊钩位置与所述基准吊钩位置计算手段求出的基准吊钩位置的偏移量，以及
摄像机姿态角计算手段，其根据所述偏移量计算部求出的偏移量、和所述摄像机与吊钩之间的高度方向的距离而求出摄像机的姿态角。
3.如权利要求2所述的摄像机姿态检测装置，其特征在于，
所述高度方向的距离由悬臂的姿态角和吊钩的伸长量而求出。
4.如权利要求2所述的摄像机姿态检测装置，其特征在于，
设有图像识别部，所述图像识别部提取出显示在所述监视器中的吊钩图像，并求出该提取出的吊钩图像的尺寸，
根据该图像识别部求出的吊钩图像的尺寸而求出所述高度方向的距离。
5.如权利要求2所述的摄像机姿态检测装置，其特征在于，
具有贴在所述监视器的屏幕上的触摸面板，
所述吊钩位置计算部通过经由所述触摸面板触摸显示在所述监视器中的吊钩图像，从而求出所述监视器的屏幕上的吊钩位置。
6.如权利要求2所述的摄像机姿态检测装置，其特征在于，
所述监视器的屏幕上的吊钩位置是通过图像处理而识别显示在监视器中的吊钩图像，并作为该识别出的吊钩图像的中心位置而求出。
7.如权利要求1所述的摄像机姿态检测装置，其特征在于，
所述吊钩图像位置信息是表示使摄像机倾斜而使吊钩图像位于预先设定的屏幕的设定位置处的信息，
吊钩位置信息是指：吊钩图像位于设定位置时的吊钩的伸长量、设置在悬臂前端部的滑轮的中心与摄像机的转动支点之间的偏移量、以及悬臂的升降角，
所述姿态角计算装置根据所述吊钩的伸长量、摄像机的偏移量以及悬臂的升降角而求出摄像机的姿态角。
8.一种作业区域线显示装置，其具有作业区域计算装置和图像合成部，并将利用该图像合成部合成的图像显示在监视器中，所述作业区域计算装置根据悬挂在吊钩上的吊物的重量而求出表示吊物的可移动区域的作业区域线，所述图像合成部将该作业区域计算装置求出的作业区域线合成到利用摄像机拍摄的图像上，
所述作业区域线显示装置的特征在于，
具备权利要求1～7中任一项所述的摄像机姿态检测装置，
所述作业区域计算装置根据所述摄像机姿态检测装置检测出的摄像机的姿态角而求出所述图像上的作业区域线的正确位置，
所述图像合成部将作业区域线合成到所述作业区域计算装置求出的正确位置处并显示在所述监视器中。
9.如权利要求1所述的摄像机姿态检测装置，其特征在于，
具备姿态操作手段，所述姿态操作手段用于操作摄像机的姿态以使显示在所述监视器中的吊钩图像位于屏幕上的规定位置处，
所述姿态角计算装置具有计算手段，所述计算手段根据所述吊钩图像位于屏幕上的规定位置处时的该吊钩的位置信息和悬臂前端的位置信息而求出所述摄像机的姿态角。
10.一种作业区域线显示装置，其具备权利要求9所述的摄像机姿态检测装置，
所述作业区域线显示装置的特征在于，
具有作业区域计算装置和图像合成部，其中，所述作业区域计算装置根据悬挂在所述吊钩上的吊物的重量而求出表示该吊物的可移动区域的作业区域线，所述图像合成部将该作业区域计算装置求出的作业区域线合成到利用所述摄像机拍摄的图像上，
所述作业区域计算装置根据所述摄像机姿态检测装置检测出的摄像机的姿态角而求出所述图像上的作业区域线的正确位置，
所述图像合成部将作业区域线合成到所述作业区域计算装置求出的正确位置处并显示在所述监视器中。
11.如权利要求10所述的作业区域线显示装置，其特征在于，
具有设定手段，所述设定手段在操作所述姿态操作手段而使所述吊钩图像位于监视器的屏幕的规定位置处时，将此时的吊钩的位置和摄像机的姿态角设定为基准值，
在通过该设定手段设定了基准值之后，当根据悬臂的姿态和输出或拉回所述吊钩的绞盘的操作而判断为吊钩图像的位置从监视器屏幕的规定位置偏离规定距离以上时，显示为错误。
12.如权利要求10所述的作业区域线显示装置，其特征在于，
具有设定手段，所述设定手段在操作所述姿态操作手段而使所述吊钩图像位于监视器的屏幕的规定位置处时，将此时的吊钩的位置和摄像机的姿态角设定为基准值，
所述作业区域计算装置从通过所述设定手段设定的基准值求出所述图像上的作业区域线的正确位置，
当通过所述姿态操作手段操作了所述摄像机时，显示为错误。
13.如权利要求10～12中任一项所述的作业区域线显示装置，其特征在于，
所述作业区域线显示装置中显示表示所述监视器的屏幕的规定位置的方框，并操作所述姿态操作手段以使吊钩位于该方框内。
14.如权利要求13所述的作业区域线显示装置，其特征在于，
在显示所述作业区域线之后，当通过所述姿态操作手段操作了摄像机时，视为进行了使吊钩进入方框内的操作，所述摄像机姿态检测装置根据吊钩的位置信息和悬臂前端的位置信息而求出所述摄像机的姿态角，所述作业区域计算装置根据所述摄像机姿态检测装置求出的摄像机的姿态角而重新求出所述图像上的作业区域线的正确位置，并将作业区域线改写至该重新求出的位置处。
15.如权利要求10～12中任一项所述的作业区域线显示装置，其特征在于，所述规定位置是监视器的屏幕的中央位置。
16.如权利要求10～12中任一项所述的作业区域线显示装置，其特征在于，所述吊钩的位置信息是吊钩的伸长量和悬臂的姿态信息。
CN201480027752.5A 2013-05-21 2014-05-19 摄像机姿态检测装置和作业区域线显示装置 Active CN105228941B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2013107027A JP6162481B2 (ja) 2013-05-21 2013-05-21 作業領域線表示装置
JP2013-107027 2013-05-21
JP2014-102874 2014-05-16
JP2014102874A JP6421451B2 (ja) 2014-05-16 2014-05-16 カメラ姿勢検出装置
PCT/JP2014/063229 WO2014189009A1 (ja) 2013-05-21 2014-05-19 カメラ姿勢検出装置と作業領域線表示装置

Publications (2)

Publication Number Publication Date
CN105228941A true CN105228941A (zh) 2016-01-06
CN105228941B CN105228941B (zh) 2017-03-22

Family

ID=51933562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480027752.5A Active CN105228941B (zh) 2013-05-21 2014-05-19 摄像机姿态检测装置和作业区域线显示装置

Country Status (4)

Country Link
US (1) US9667923B2 (zh)
EP (1) EP3000761B1 (zh)
CN (1) CN105228941B (zh)
WO (1) WO2014189009A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110383831A (zh) * 2017-03-10 2019-10-25 株式会社多田野 作业车辆用的人员检测系统和具备该系统的作业车辆
CN111819152A (zh) * 2018-03-09 2020-10-23 株式会社多田野 起重机以及信息显示方法
CN112129218A (zh) * 2019-06-06 2020-12-25 东京毅力科创株式会社 图案测量装置、倾斜度计算方法和图案测量方法

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI128054B (fi) * 2014-12-31 2019-08-30 Konecranes Oyj Laite, menetelmät, tietokoneohjelma ja kokoelma kuvatiedon muodostamiseksi kuormapinosta
EP3170783B1 (en) * 2015-11-23 2019-05-29 ABB Schweiz AG Container crane control system
JP7180966B2 (ja) 2016-01-29 2022-11-30 マニタウォック クレイン カンパニーズ， エルエルシー 視覚的アウトリガー監視システム
JP6177400B1 (ja) * 2016-08-25 2017-08-09 株式会社タダノ クレーン車
US11130658B2 (en) 2016-11-22 2021-09-28 Manitowoc Crane Companies, Llc Optical detection and analysis of a counterweight assembly on a crane
DK3333114T3 (da) * 2016-12-07 2022-04-25 Hiab Ab Et køretøj og en fremgangsmåde til et køretøj, med præsentation af begrænsning af den maksimale belastningsradius
FI127422B (fi) * 2016-12-20 2018-05-31 Konecranes Global Oy Menetelmä, tietokoneohjelma ja laitteisto nosturin ohjaamiseksi ja menetelmä nosturin päivittämiseksi
CN109923488A (zh) * 2017-04-27 2019-06-21 深圳市大疆创新科技有限公司 使用可移动物体生成实时地图的系统和方法
DE202017104706U1 (de) 2017-08-07 2017-09-27 Liebherr-Werk Ehingen Gmbh Raupenkran
JP6828650B2 (ja) * 2017-10-04 2021-02-10 株式会社タダノ クレーンの制御方法及びクレーン
FR3074761B1 (fr) * 2017-12-11 2020-11-13 Manitou Bf Dispositif d'assistance a la manutention de charge pour vehicule et vehicule correspondant
JP7010072B2 (ja) * 2018-03-09 2022-01-26 株式会社タダノ 作業車両
JP7069888B2 (ja) * 2018-03-15 2022-05-18 株式会社タダノ クレーンおよびクレーンの制御方法
CN108985184B (zh) * 2018-06-26 2022-04-29 齐霄强 一种多用途飞机外挂物自动挂载系统及挂载方法
JP7119674B2 (ja) * 2018-07-11 2022-08-17 株式会社タダノ クレーン
EP3594166B1 (de) * 2018-07-13 2024-01-24 EPSILON Kran GmbH. Kransteuerung mit visualisierungsvorrichtung
EP3868699B1 (en) * 2018-10-16 2023-12-20 Tadano Ltd. Crane device
JP7084347B2 (ja) * 2019-03-29 2022-06-14 グローブライド株式会社 ウインチ制御システム
US20220332550A1 (en) * 2019-09-25 2022-10-20 Tadano Ltd. Control system and work machine
DE102020120699A1 (de) 2020-08-05 2022-02-10 Konecranes Global Corporation Auslegerdrehkran mit einer Kamera sowie Verfahren zur Reduzierung von Lastpendelungen im Kranbetrieb
JP2022143232A (ja) * 2021-03-17 2022-10-03 住友重機械建機クレーン株式会社 クレーン
CA3215318A1 (en) 2021-04-12 2022-10-20 James T. Benzing Systems and methods for assisting a crane operator
WO2023081982A1 (en) * 2021-11-12 2023-05-19 Buildai Pty Ltd Device for monitoring a construction site
CN114785961B (zh) * 2022-06-21 2022-09-20 山东信通电子股份有限公司 一种基于云台相机的巡视路线生成方法、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1496135A (zh) * 2002-09-05 2004-05-12 ���µ�����ҵ��ʽ���� 监视摄像机装置
CN1648029A (zh) * 2005-01-19 2005-08-03 深圳市拓发实业有限公司 塔式起重机的监视系统
JP2008179445A (ja) * 2007-01-24 2008-08-07 Shinoda Juki Kk クレーン用カメラ取付装置
CN201125129Y (zh) * 2007-09-21 2008-10-01 上海明路绳网索具有限公司 一种桥吊下集卡的图像对位装置
US20090129630A1 (en) * 2007-11-16 2009-05-21 Sportvision, Inc. 3d textured objects for virtual viewpoint animations
JP2011207571A (ja) * 2010-03-30 2011-10-20 Tadano Ltd クレーンの制御装置及びクレーン
CN202156880U (zh) * 2011-07-06 2012-03-07 李晓光 高空跟随式光电监控系统
CN102862915A (zh) * 2011-07-08 2013-01-09 株式会社多田野 性能曲线显示装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3440598B2 (ja) 1995-01-09 2003-08-25 コベルコ建機株式会社 クレーンの吊荷位置検出方法および同装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1496135A (zh) * 2002-09-05 2004-05-12 ���µ�����ҵ��ʽ���� 监视摄像机装置
CN1648029A (zh) * 2005-01-19 2005-08-03 深圳市拓发实业有限公司 塔式起重机的监视系统
JP2008179445A (ja) * 2007-01-24 2008-08-07 Shinoda Juki Kk クレーン用カメラ取付装置
CN201125129Y (zh) * 2007-09-21 2008-10-01 上海明路绳网索具有限公司 一种桥吊下集卡的图像对位装置
US20090129630A1 (en) * 2007-11-16 2009-05-21 Sportvision, Inc. 3d textured objects for virtual viewpoint animations
JP2011207571A (ja) * 2010-03-30 2011-10-20 Tadano Ltd クレーンの制御装置及びクレーン
CN202156880U (zh) * 2011-07-06 2012-03-07 李晓光 高空跟随式光电监控系统
CN102862915A (zh) * 2011-07-08 2013-01-09 株式会社多田野 性能曲线显示装置
US20130013144A1 (en) * 2011-07-08 2013-01-10 Tadano Ltd. Performance line display unit

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110383831A (zh) * 2017-03-10 2019-10-25 株式会社多田野 作业车辆用的人员检测系统和具备该系统的作业车辆
CN110383831B (zh) * 2017-03-10 2021-01-22 株式会社多田野 作业车辆用的人员检测系统和具备该系统的作业车辆
US11120558B2 (en) 2017-03-10 2021-09-14 Tadano Ltd. Human detection system for work vehicle, and work vehicle equipped with same
CN111819152A (zh) * 2018-03-09 2020-10-23 株式会社多田野 起重机以及信息显示方法
CN112129218A (zh) * 2019-06-06 2020-12-25 东京毅力科创株式会社 图案测量装置、倾斜度计算方法和图案测量方法

Also Published As

Publication number Publication date
WO2014189009A1 (ja) 2014-11-27
EP3000761B1 (en) 2019-03-27
CN105228941B (zh) 2017-03-22
US9667923B2 (en) 2017-05-30
EP3000761A1 (en) 2016-03-30
EP3000761A4 (en) 2017-03-08
US20160119589A1 (en) 2016-04-28

Similar Documents

Publication Publication Date Title
CN105228941A (zh) 摄像机姿态检测装置和作业区域线显示装置
JP5642409B2 (ja) クレーンの制御装置及びクレーン
CN104662389A (zh) 作业车的周围信息获取装置
EP2778293A3 (en) Construction machine control system
JP2011079648A (ja) 固定映像表示システム
KR101772384B1 (ko) 방향 감지 컴퓨팅 장치
JP5380747B2 (ja) 吊荷下方の監視システム及び監視方法
JP6421451B2 (ja) カメラ姿勢検出装置
EP2887184A1 (en) Air pointer with improved user experience
JP6162481B2 (ja) 作業領域線表示装置
BR102020015119A2 (pt) Sistema de visão multicâmeras
JP6097063B2 (ja) 高さ測定装置及び高さ測定方法
CN102508495B (zh) 一种控制执行臂末端运动的方法及控制系统
JP6528474B2 (ja) 画像表示装置
JP7172442B2 (ja) 変形量計測装置及び変形量計測方法
WO2015116157A2 (en) Display unit manager
JP2007031977A (ja) 杭打機
JP7272118B2 (ja) 侵入検知装置、プログラムおよび侵入検知システム
JPH08245166A (ja) クレーンの作業状態表示装置
JP2018039476A (ja) 画像表示システム
JP4829592B2 (ja) 作業車の遠隔操作装置
JPH05286692A (ja) クレーンの吊り荷の位置や位置の変化を正確に検出させる 方法
JP7322548B2 (ja) 吊りロープ振れ判定方法、データ処理装置、クレーン
CN216873289U (zh) 摄像头控制装置及作业机械
JPH07179290A (ja) クレーンの荷振れ検知装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant