CN112112202B - 操纵辅助系统、操纵辅助方法以及建筑机械 - Google Patents

Abstract

本发明的目的在于提供一种能够减轻操纵者的负担的建筑机械用操纵辅助系统、建筑机械用操纵辅助方法以及建筑机械。操纵辅助系统(1)具备获取部(10)、处理部(20)以及显示部(50)。获取部(10)获取因与操纵相应地发生变形的臂机构(48)形成的、从操纵座(32)观察时的死角(Az)的图像的数据。处理部(20)基于图像的数据来生成透过臂机构(48)从操纵座(32)观察到死角(Az)的透视图像的数据。显示部(50)在操纵座(32)与臂机构(48)之间显示透视图像。

Description

操纵辅助系统、操纵辅助方法以及建筑机械

技术领域

本发明涉及一种建筑机械用操纵辅助系统、建筑机械用操纵辅助方法以及建筑机械。

背景技术

已知一种具备用于显示由摄像机拍摄到的影像的监视器的作业机械。例如，专利文献1记载了一种具备基础构造体、具有驾驶室的回转体、作业臂、断路器、摄像机以及设置于驾驶室的地板的监视器的作业机械。该作业机械使显示面朝向驾驶室的内侧地配置监视器，在监视器显示对其背面侧的地板下区域进行拍摄的摄像机的影像。

现有技术文献

专利文献

专利文献1：日本特开2017-145649号公报

发明内容

发明要解决的问题

本发明人们对具备由液压等动力进行驱动的动臂、斗杆以及附属构件(attachment)的建筑机械得出以下认识。

某建筑机械利用动力来对动臂、斗杆等臂机构进行驱动，从而使安装于臂机构的铲斗等附属构件动作来进行规定的作业。该机械的操纵者需要一边谨慎地确认前方作业范围一边进行操纵。但是，操纵者的前方视野被臂机构遮挡而存在大的死角。对于该死角，操纵者需要一边大幅度地改变姿势、例如探出身体等，一边进行确认，花费很多的时间和劳力。这对于操纵者而言是大的负担，成为作业效率降低的主要原因。

也考虑了在地板或顶棚附近设置监视器，但该监视器的显示与实际视野的偏差大，给操纵者带来大的不协调感。另外，需要在前方与地板或顶棚附近的监视器之间频繁地变更视线，反而会增加操纵者的负担。

基于这些观点，在专利文献1所记载的作业机械中，不能说考虑了由臂机构形成的死角。

本发明是鉴于这样的课题而完成的，其目的之一在于提供一种能够减轻操纵者的负担的建筑机械用操纵辅助系统。

用于解决问题的方案

为了解决上述课题，本发明的某个方式的建筑机械用操纵辅助系统具备：获取部，其获取因与操纵相应地发生变形的臂机构形成的、从操纵座观察时的死角的图像的数据；处理部，其基于图像的数据来生成透过臂机构从操纵座观察到死角的透视图像的数据；以及显示部，其在操纵座与臂机构之间显示透视图像。

此外，以上的任意的组合、将本发明的结构要素或表现在方法、装置、程序、记录有程序的暂时性或非暂时性的存储介质以及系统等之间相互置换而得到的方案，作为本发明的方式也是有效的。

发明的效果

根据本发明，能够提供一种能够减轻操纵者的负担的建筑机械用操纵辅助系统。

附图说明

图1是概要性地示出第一实施方式所涉及的建筑机械用操纵辅助系统的侧视图。

图2是概要性地示出图1的操纵辅助系统的俯视图。

图3是概要性地示出图1的操纵辅助系统的框图。

图4是示意性地示出不具备显示部的比较例的操纵者的前方视野的图。

图5是示意性地示出图1的操纵辅助系统的操纵者的前方视野的图。

图6是示意性地示出图1的操纵辅助系统的操纵者的前方视野的另一个图。

图7是示出第二实施方式所涉及的建筑机械的操纵辅助方法的流程图。

图8是概要性地示出第一变形例所涉及的建筑机械用操纵辅助系统的侧视图。

图9是概要性地示出图8的操纵辅助系统的俯视图。

附图标记说明

1：操纵辅助系统；10：获取部；12a：第一图像传感器；12b：第二图像传感器；12c：第三图像传感器；16：图像操作部；20：处理部；20b：姿势识别部；20c：视线识别部；20g：显示位置调整部；20h：重复图像生成部；30：建筑机械用操纵辅助装置；32：操纵座；48：臂机构；50：显示部；100：建筑机械。

具体实施方式

以下，基于优选的实施方式，参照各附图来说明本发明。在实施方式及变形例中，对相同或等同的结构要素、构件标注相同的附图标记，并适当地省略重复的说明。另外，为了易于理解，将各附图中的构件的尺寸适当地放大、缩小地示出。另外，在各附图中，对在说明实施方式上不重要的一部分构件进行了省略表示。

另外，包括第一、第二等序数的用语是为了说明多种结构要素而使用的，该用语仅用于将一个结构要素与其它结构要素相区分的目的，结构要素不受该用语限定。

[第一实施方式]

参照附图来对本发明的第一实施方式所涉及的建筑机械用操纵辅助系统1的结构进行说明。图1是概要性地示出第一实施方式所涉及的建筑机械用操纵辅助系统1的侧视图。图2是概要性地示出操纵辅助系统1的俯视图。图3是概要性地示出操纵辅助系统1的框图。

操纵辅助系统1用于辅助建筑机械100的操纵，具备获取部10、处理部20以及显示部50。处理部20和显示部50构成操纵辅助装置30。

本实施方式的建筑机械100是使铲斗46移动来进行作业的建筑机械。建筑机械100具有下部行走部36、上部车体部34、臂机构48以及铲斗46。下部行走部36构成为能够通过履带等沿规定方向行走。上部车体部34搭载于下部行走部36。上部车体部34构成为能够通过回转驱动部60、相对于下部行走部36绕铅垂轴回转。回转驱动部60例如能够由回转电动机(未图示)和回转齿轮(未图示)构成。在上部车体部34设置有操纵室38。

为了便于说明，将从后方观察操纵室38时的右侧称为“右”，将左侧称为“左”。另外，将操纵室38的前侧称为“前方”，将其相反方向称为“后方”。这种方向的表述并不用于限制操纵辅助系统1的使用姿势。

作为一例，臂机构48的基端部在上部车体部34中被设置在操纵室38的右侧。臂机构48例如包括从上部车体部34向前方延伸的动臂42和斗杆44。在臂机构48的前端侧安装有铲斗46。动臂42构成为能够以上部车体部34侧的基端部为中心使前端部上下地转动。斗杆44构成为能够以动臂42侧的基端部为中心使前端部前后地转动。

铲斗46构成为能够以斗杆44侧的基端部为中心使前端部前后或上下地转动。能够通过多个液压缸56使关节部的弯曲角度变化，来使动臂42、斗杆44和铲斗46发生变形。能够通过使动臂42、斗杆44和铲斗46发生变形，来使铲斗46移动。以下，将动臂42、斗杆44以及铲斗46总称时称为前部40。

在操纵室38的内部设置有操纵座32。在操纵室38的侧面设置有包围操纵座32的前窗38f、右窗38g、左窗38h以及后窗38j。在操纵室38，在操纵座32的附近设置有利用多个杆等操纵前部40的操作部54。操纵者在操纵座32上一边从各窗38f～38j观察周围，一边对操作部54进行操作来操纵前部40。

当利用操作部54输入操作时，与该操作相应地，多个液压阀58进行开闭。与液压阀58的开闭相应地，向多个液压缸56送出从液压泵(未图示)供给来的工作油。多个液压缸56根据工作油的送出量进行伸缩，来使前部40发生变形，从而使动臂42、斗杆44以及铲斗46移动。另外，当利用操作部54输入与回转有关的操作时，与该操作相应地，回转驱动部60使上部车体部34和前部40一体地回转。像这样，动臂42、斗杆44以及铲斗46与操纵者的操纵相应地进行变形和回转，由此能够使移动范围三维地移动。

先说明比较例。图4是示意性地示出不具备显示部的比较例的操纵者的前方视野的图。在图4和后述的图5中省略了操作部54的记载。为了确保铲斗46的前端部的视野，靠上部车体部34的左侧配置操纵室38和操纵座32。在该情况下，虽然能够确保铲斗46的前端部周边的视野，但铲斗46的右侧的视野被臂机构48遮挡。也就是说，如图2所示，从操纵座32观察，臂机构48在铲斗46的右侧形成大的死角Az。如图4所示，即使在该死角Az内有人8，操纵者也难以识别到。在死角Az的附近进行作业时，操纵者需要一边大幅度地改变姿势、例如从操纵座32探出身体等，一边进行操纵，给操纵者带来很大的负担。另外，操纵者也有可能看漏障碍物。

为了弥补前方视野，考虑在操纵室38的顶棚或地板的附近配置显示器，显示拍摄死角Az得到的影像，以不遮挡操纵者的视野。但是，在该情况下，在与实际视野大幅偏离的位置处进行显示，因此操纵者一边在实际视野与显示器的影像之间切换视线一边进行操纵，操纵者的负担反而增大。

基于比较例的说明，对本实施方式的操纵辅助系统1进行说明。图5是示意性地示出本实施方式的操纵者的前方视野的图。本实施方式的操纵辅助系统1为了减轻操纵者的负担而具备获取部10、处理部20以及显示部50。获取部10获取因与操纵者的操纵相应地发生变形的臂机构48形成的、从操纵座32观察时的死角Az的图像的数据Gp。处理部20基于图像的数据Gp来生成透过臂机构48从操纵座32观察到死角Az的透视图像Fi的数据。

如图5所示，显示部50在操纵座32与臂机构48之间显示透视图像Fi。在视线朝向铲斗46的作业区域的情况下，当操纵者在视线的中途观察臂机构48时，显示部50在该操纵者的视野中显示透视图像Fi。如图5所示，在透视图像Fi中显示死角Az内的人8。操纵者能够一边注视作业区域，一边通过细微的视线变更来确认从臂机构48透视的死角Az内。因此，能够容易地识别到死角Az内的人8，从而能够减轻操纵者的操纵负担。

进一步说明显示部50。为了使得能够容易地确认死角Az，显示部50的显示的一部分或全部可以与从操纵座32观察时的右侧的窗38g或前侧的窗38f重叠，另外，显示部50的显示的一部分也可以与介于窗与窗之间的窗柱38p重叠。在图5的例子中，显示部50的显示的一部分同在操纵室38的前窗38f与右窗38g之间纵向地延伸的窗柱38p重叠。此外，窗柱有时被称为支柱。

显示部50例如可以是液晶显示器、有机EL显示器等。显示部50可以以能够自由地变更位置和角度的方式支承在操纵室内。

对获取部10进行说明。获取部10包括能够拍摄图像以获取图像的数据Gp的图像传感器12。图像传感器12作为对包括死角Az的区域进行拍摄的影像传感器发挥功能。获取部10可以具备从互不相同的位置或方向拍摄铲斗46的作业区域的1个或多个图像传感器12。在本实施方式中，设置有相互分离地配置的第一图像传感器12a和第二图像传感器12b以及配置在与第一图像传感器12a及第二图像传感器12b不同的位置的第三图像传感器12c。在图2的例子中，第一图像传感器和第二图像传感器隔着臂机构48左右分开地配置。另外，在图2的例子中，第三图像传感器12c配置在第一图像传感器12a与第二图像传感器12b之间。在图2中，附图标记Aa、Ab、Ac表示图像传感器12a、12b、12c的摄像范围。

由于2个图像传感器12a、12b配置在臂机构48的左右两侧，因此能够相互弥补摄像范围A从而大幅地减少死角Az。另外，由于在2个图像传感器12a、12b之间配置有第三图像传感器12c，因此能够进一步减少死角Az。也就是说，多个图像传感器12能够配置为对于一方成为死角的区域对于另一方不会成为死角。在图2的例子中，摄像范围Aa、Ab是在臂机构48的附近有一部分重叠、并从此处向右和向左扩展的扇形的区域。摄像范围Ac是摄像范围Aa、Ab的中间区域。

如上所述，图像传感器12a、12b隔着臂机构48左右对称地配置。在该情况下，容易将2个传感器的摄像结果合成来形成一体。此外，图像传感器12a、12b也可以不对称地配置。图像传感器12a、12b的沿着摄像范围的中心的方向(以下称为“视野方向”)可以是平行的，也可以是不平行的。在图2的例子中，图像传感器12a的视野方向相对于前后方向向右倾斜，图像传感器12b的视野方向相对于前后方向向左倾斜。在该情况下，与视野方向平行的情况相比，能够使可摄像范围向左右扩展。图像传感器12c的视野方向与前后方向平行。

参照图3对处理部20进行说明。图3所示的各功能块在硬件上能够利用以计算机的CPU为代表的电子元件、机械部件等来实现，在软件上利用计算机程序等来实现，但在此描述了通过硬件与软件的协作来实现的功能块。因而，这些功能块能够通过硬件和软件的组合来以各种形式实现，这是本领域技术人员所能理解的。

如图3所示，具有图像信息输入部20a、姿势识别部20b、视线识别部20c、操作输入部20d、显示控制部20e、图像生成部20f、显示位置调整部20g、重复图像生成部20h以及存储部20m。图像信息输入部20a接受来自获取部10的图像传感器12的图像的数据Gp和来自后述的操纵者传感器14的图像传感器14b的图像信息Gs。图像的数据Gp主要被传输到图像生成部20f和重复图像生成部20h，图像信息Gs主要被传输到姿势识别部20b和视线识别部20c。关于姿势识别部20b和视线识别部20c将在后面叙述。操作输入部20d获取来自后述的图像操作部16的操作结果，并传输到显示位置调整部20g。

图像生成部20f基于图像的数据Gp来生成中间图像Ci的数据。例如，图像生成部20f基于由左右的图像传感器12a、12b获取到的2个图像的数据Gp，来生成从臂机构48透视的中间图像Ci的数据。中间图像Ci的中央区域也可以利用由图像传感器12c获取到的图像的数据Gp来进行校正。具体而言，图像生成部20f也可以将3个图像的数据Gp相接合，并将重叠的部分合并，从而去除臂机构48的图像。

显示控制部20e将从中间图像Ci截取规定范围得到的透视图像Fi传输到显示部50。显示位置调整部20g根据来自图像操作部16的操作结果来调整透视图像Fi的显示位置。具体而言，显示位置调整部20g控制显示控制部20e，变更从中间图像Ci截取的范围来调整透视图像Fi的显示位置。

重复图像生成部20h根据图像的数据Gp来识别臂机构48的图像，并生成同臂机构48有关的图像信息Ri。关于重复图像生成部20h将在后面叙述。存储部20m按时间序列存储透视图像Fi、图像信息Ri、透视图像Fi的显示位置的设定信息等。

根据操纵者的体格和喜好的不同，透视图像Fi的优选的显示位置不同。因而，希望能够根据操纵者的体格和喜好来调整透视图像Fi的显示位置。作为一例，可以设为能够变更显示部50的位置或角度来调整透视图像Fi的显示位置。

为了使得能够调整透视图像Fi的显示位置，本实施方式具备图像操作部16和显示位置调整部20g。图像操作部16是用于输入操纵者的操作的部分，例如可以是能够输入杆操作的操纵杆。图像操作部16将其操作结果输入到操作输入部20d。

显示位置调整部20g根据被输入的图像操作部16的操作结果来变更从中间图像Ci截取的透视图像Fi的范围。例如，可以是，当操纵者上下左右地操作图像操作部16时，上下左右地变更利用显示位置调整部20g从中间图像Ci截取的透视图像Fi的范围。根据该结构，与操纵者的操作相应地调整显示部50中的透视图像Fi的显示位置。此外，图像操作部16也可以由多个开关构成。

在操纵者的姿势发生了变化时，透视图像Fi的优选的显示位置发生变化。因此，本实施方式构成为，具备操纵者传感器14和姿势识别部20b，根据姿势识别部20b的识别结果来变更透视图像Fi的显示位置。操纵者传感器14在操纵座32的周边获取与操纵者有关的图像信息Gs。本实施方式的操纵者传感器14包括对操纵座32的周边进行拍摄来生成图像信息Gs的图像传感器14b。在图2的例子中，图像传感器14b是对包括操纵座32的摄像范围Ad进行拍摄的图像传感器。

姿势识别部20b对经由图像信息输入部20a获取到的图像信息Gs进行分析，来识别操纵者的姿势变化。姿势识别部20b根据其识别结果来控制显示位置调整部20g对透视图像Fi的显示位置进行变更。例如，可以为，如果操纵者的姿势发生变化，则使利用显示位置调整部20g从中间图像Ci截取的透视图像Fi的范围向与姿势变化的方向相同的方向变化。或者，也可以为，使利用显示位置调整部20g从中间图像Ci截取的透视图像Fi的范围向与操纵者的姿势变化的方向相反的方向变化。也就是说，也可以为，在操纵者向上方改变姿势时，显示部50显示中间图像Ci的下部区域。

姿势识别部20b例如也可以将同操纵者有关的基准图像与图像信息Gs进行比较，并基于其比较结果来识别操纵者的姿势变化。同操纵者有关的基准图像可以是过去(例如操纵开始时)获取到的图像信息Gs。同操纵者有关的基准图像可以存储于存储部20m。

在操纵者的视线发生了变化时，透视图像Fi的优选的显示位置发生变化。因此，本实施方式构成为，具备操纵者传感器14和视线识别部20c，根据视线识别部20c的识别结果来变更透视图像Fi的显示位置。

视线识别部20c对经由图像信息输入部20a获取到的图像信息Gs进行分析，来识别操纵者的视线变化。例如，视线识别部20c可以根据操纵者的眼睛的位置来识别视线。视线识别部20c根据其识别结果来控制显示位置调整部20g对透视图像Fi的显示位置进行变更。例如也可以为，如果操纵者的视线发生变化，则使利用显示位置调整部20g从中间图像Ci截取的透视图像Fi的范围向与视线变化的方向相同的方向或相反的方向变化。视线识别部20c例如也可以将同操纵者有关的基准图像与图像信息Gs进行比较，并基于其比较结果来识别操纵者的视线变化。

如果显示部50的图像与其周围的图像不连续，则有可能给操纵者带来不协调感。因此，本实施方式构成为，能够将同臂机构48有关的图像与透视图像Fi重叠地显示于显示部50。图6是示意性地示出操纵者的前方视野的另一个图，在显示部50中重叠地显示有同臂机构48有关的图像(轮廓线48s)。

具体而言，本实施方式具备重复图像生成部20h。重复图像生成部20h根据图像的数据Gp来识别臂机构48的图像，并生成同臂机构48有关的图像信息Ri。例如，图像信息Ri可以是表示臂机构48的轮廓的信息，也可以为使臂机构48的范围半透明的信息，还可以是表示臂机构48的轮廓线48s的信息。

接着，对本发明的第一实施方式所涉及的建筑机械用操纵辅助系统1的特征进行说明。操纵辅助系统1具备：获取部10，其获取因与操纵相应地发生变形的臂机构48形成的、从操纵座32观察时的死角Az的图像的数据Gp；处理部20，其基于图像的数据Gp来生成透过臂机构48从操纵座32观察到死角Az的透视图像Fi的数据；以及显示部50，其在操纵座32与臂机构48之间显示透视图像Fi。

根据该结构，几乎不切换视线，就能够一边透过臂机构48确认死角Az一边进行操纵，因此能够减轻操纵者的负担。

也可以为，显示部50在透视图像Fi上重叠地显示同臂机构48有关的图像。在该情况下，能够容易地确认臂机构48与死角Az之间的关系。

也可以为，获取部10包括相互分离地配置的第一图像传感器和第二图像传感器，处理部20基于第一图像传感器和第二图像传感器的探测结果来生成透视图像Fi的数据。在该情况下，能够拍摄大的范围，因此使探测结果中的死角Az减少。

也可以为，第一图像传感器和第二图像传感器隔着臂机构48配置。在该情况下，能够对臂机构48的两侧的范围进行拍摄，因此使死角Az减少。

也可以为，获取部10包括配置在与第一图像传感器及第二图像传感器不同的位置的第三图像传感器，处理部20基于第一图像传感器至第三图像传感器的探测结果来生成透视图像Fi的数据。在该情况下，能够拍摄更大的范围，因此使探测结果的死角Az进一步减少。

也可以为，操纵辅助系统1具有用于调整透视图像Fi的显示位置的显示位置调整部20g。在该情况下，能够在相对于操纵者而言的不协调感少的位置处显示透视图像Fi。

也可以为，操纵辅助系统1具备姿势识别部20b，该姿势识别部20b用于识别操纵者的姿势，并根据识别结果来变更透视图像Fi的显示位置。在该情况下，能够与操纵者的姿势连动地变更透视图像Fi的显示位置。能够进行控制，以通过手不离开操作部54地改变姿势来显示想要观察的范围。

也可以为，操纵辅助系统1具备视线识别部20c，该视线识别部20c用于识别操纵者的视线，并根据识别结果来变更透视图像Fi的显示位置。在该情况下，能够与操纵者的视线连动地变更透视图像Fi的显示位置。另外，能够一边操作操作部54一边通过改变视线来显示想要观察的范围。

以上是对第一实施方式的说明。

接着，对本发明的第二、第三实施方式进行说明。在第二、第三实施方式的附图及说明中，对与第一实施方式相同或等同的结构要素、构件标注相同的附图标记。适当地省略与第一实施方式重复的说明，重点说明与第一实施方式不同的结构。

[第二实施方式]

本发明的第二实施方式是建筑机械用的操纵辅助方法S80。图7是示出操纵辅助方法S80的流程图。该操纵辅助方法S80包括以下步骤：步骤S82，获取以与操纵相应地发生变形的臂机构48形成的、从操纵座32观察时的死角Az的图像的数据Gp；步骤S84，基于图像的数据Gp来生成透过臂机构48从操纵座观察到死角的透视图像Fi的数据；以及步骤S86，在操纵座32与臂机构48之间显示透视图像Fi。步骤S82由获取部10执行，步骤S84由处理部20执行，步骤S86由显示部50执行。

根据第二实施方式的结构，起到与第一实施方式同样的作用效果。

[第三实施方式]

本发明的第三实施方式是建筑机械100。该建筑机械100具备：臂机构48，其与操纵相应地发生变形；获取部10，其获取因臂机构48形成的、从操纵座32观察时的死角Az的图像的数据Gp；处理部20，其基于图像的数据Gp来生成透过臂机构48从操纵座32观察到死角Az的透视图像Fi的数据；以及显示部50，其在操纵座32与臂机构48之间显示透视图像Fi。

建设机械100例如可以为使安装于臂机构48的铲斗46移动来进行作业的机械。也可以在建筑机械100的臂机构48上安装叉子、锤子、破碎机等多种附属构件来代替铲斗。根据第三实施方式的结构，起到与第一实施方式同样的作用效果。

以上，详细地说明了本发明的实施方式的例子。上述的实施方式均只是用于示出实施本发明时的具体例。实施方式的内容并不用于限定本发明的技术范围，在不脱离权利要求书所规定的发明的思想的范围内，能够进行结构要素的变更、追加、删除等多种设计变更。在上述的实施方式中，关于能够进行这种设计变更的内容，标注“实施方式的”、“在实施方式中”等表述进行说明，但并不是不允许对没有这样的表述的内容进行设计变更。

[变形例]

以下，对变形例进行说明。在变形例的附图及说明中，对与实施方式相同或等同的结构要素、构件标注相同的附图标记。适当地省略与实施方式重复的说明，重点说明与第一实施方式不同的结构。

[第一变形例]

在第一实施方式的说明中，示出了图像传感器12由3个图像传感器构成的例子，但本发明不限定于此。图像传感器12也可以由1个或4个以上的图像传感器构成。图8是概要性地示出第一变形例所涉及的建筑机械用操纵辅助系统2的侧视图，与图1对应。图9是概要性地示出第一变形例所涉及的操纵辅助系统2的俯视图，与图2对应。第一变形例与第一实施方式的不同点在于，设置有能够大致拍摄臂机构48的死角Az的单个图像传感器12d，其它结构相同。因而，重点说明图像传感器12d。

在图8、图9的例子中，在臂机构48的与操纵座32相反的一侧且上部车体部34的盖34c上配置有图像传感器12d。也就是说，图像传感器12d与操纵座32隔着臂机构48地配置在死角Az侧。在图8、图9中，附图标记Ad表示图像传感器12d的摄像范围。由于图像传感器12d配置在臂机构48的与操纵座32相反的一侧，因此摄像范围Ad几乎能够覆盖死角Az。此外，也可以在图像传感器12d与上部车体部34的盖34c之间设置台座等介入物(日语：介在物)。

根据第一变形例，起到与第一实施方式同样的作用和效果。另外，由于配置于上部车体部34，因此即使臂机构48发生变形，图像传感器12d相对于操纵座32和死角Az的位置也不会发生变化，图像处理变得容易。另外，图像生成部20f根据由单个图像传感器12d获取到的单个图像的数据Gp来生成中间图像Ci的数据，因此图像生成部20f的处理变得容易。另外，由于图像传感器的数量少，因此能够抑制成本。

[其它变形例]

透视图像Fi可以是强调了透视图像Fi中包括的各个像的对比度的图像，也可以为强调了各个像的轮廓的图像，还可以是显示各个像的轮廓线的图像。特别是在透视图像Fi中包括人的像的情况下，透视图像Fi可以为强调人的像的图像。

在第一实施方式的说明中，示出了臂机构48设置于操纵室38的右侧的例子，但本发明不限定于此。例如，臂机构也可以设置于操纵室的左侧或操纵室的前方。

在第一实施方式的说明中，示出了显示部50配置在操纵室38的内部的例子，但本发明不限定于此。显示部也可以配置在操纵室的外部。

在第一实施方式的说明中，示出了在处理部20的内部包括姿势识别部20b、视线识别部20c、显示位置调整部20g以及重复图像生成部20h的例子，但本发明不限定于此。姿势识别部20b、视线识别部20c、显示位置调整部20g以及重复图像生成部20h中的任一个也可以与处理部20分开地设置。处理部20中包括的其它结构要素也同样。

在第一实施方式的说明中，示出了建筑机械使铲斗46移动来进行建筑作业的例子，但本发明不限定于此，也能够应用于具备除铲斗46以外的附属构件的建筑机械。

在第一实施方式的说明中，示出了图像传感器12设置于动臂42的例子，但本发明不限定于此。图像传感器12也可以设置于操纵室38的室顶等。

上述的变形例起到与第一实施方式同样的作用和效果。

上述的实施方式和变形例的任意的组合，作为本发明的实施方式也是有用的。通过组合而产生的新的实施方式兼具有所组合的实施方式和变形例各自的效果。

Claims (9)

1.一种建筑机械用操纵辅助系统，具备：

获取部，其获取因与操纵相应地发生变形的臂机构形成的、从操纵座观察时的死角的图像的数据；

处理部，其基于所述图像的数据来生成透过所述臂机构从所述操纵座观察到所述死角的透视图像的数据；以及

显示部，其在所述操纵座与所述臂机构之间显示所述透视图像，

其特征在于，

所述处理部根据所述图像的数据来识别所述臂机构的图像，并生成同所述臂机构有关的图像信息，以及

所述显示部在所述透视图像上重叠地显示同所述臂机构有关的图像。

2.根据权利要求1所述的操纵辅助系统，其特征在于，

所述获取部包括相互分离地配置的第一图像传感器和第二图像传感器，

所述处理部基于所述第一图像传感器和所述第二图像传感器的探测结果来生成所述透视图像的数据。

3.根据权利要求2所述的操纵辅助系统，其特征在于，

所述第一图像传感器和所述第二图像传感器隔着所述臂机构配置。

4.根据权利要求2或3所述的操纵辅助系统，其特征在于，

所述获取部包括配置在与所述第一图像传感器及所述第二图像传感器不同的位置的第三图像传感器，

所述处理部基于所述第一图像传感器至所述第三图像传感器的探测结果来生成所述透视图像的数据。

5.根据权利要求1至3中的任一项所述的操纵辅助系统，其特征在于，

还具有用于调整所述透视图像的显示位置的显示位置调整部。

6.根据权利要求5所述的操纵辅助系统，其特征在于，

还具备姿势识别部，所述姿势识别部用于识别操纵者的姿势，并根据识别结果来变更所述透视图像的显示位置。

7.根据权利要求5所述的操纵辅助系统，其特征在于，

还具备视线识别部，所述视线识别部用于识别操纵者的视线，并根据识别结果来变更所述透视图像的显示位置。

8.一种建筑机械用操纵辅助方法，包括以下步骤：

获取因与操纵相应地发生变形的臂机构形成的、从操纵座观察时的死角的图像的数据；

基于所述图像的数据来生成透过所述臂机构从所述操纵座观察到所述死角的透视图像的数据；以及

在所述操纵座与所述臂机构之间显示所述透视图像，

其中，所述建筑机械用操纵辅助方法还包括：

根据所述图像的数据来识别所述臂机构的图像，并生成同所述臂机构有关的图像信息，以及

在所述透视图像上重叠地显示同所述臂机构有关的图像。

9.一种建筑机械，具备：

臂机构，其与操纵相应地发生变形；

获取部，其获取因所述臂机构形成的、从操纵座观察时的死角的图像的数据；

处理部，其基于所述图像的数据来生成透过所述臂机构从所述操纵座观察到所述死角的透视图像的数据；以及

显示部，其在所述操纵座与所述臂机构之间显示所述透视图像，

其中，所述处理部根据所述图像的数据来识别所述臂机构的图像，并生成同所述臂机构有关的图像信息，以及

所述显示部在所述透视图像上重叠地显示同所述臂机构有关的图像。