CN108699816A - 显示系统 - Google Patents
显示系统 Download PDFInfo
- Publication number
- CN108699816A CN108699816A CN201780013077.4A CN201780013077A CN108699816A CN 108699816 A CN108699816 A CN 108699816A CN 201780013077 A CN201780013077 A CN 201780013077A CN 108699816 A CN108699816 A CN 108699816A
- Authority
- CN
- China
- Prior art keywords
- image
- people
- region
- repeat region
- shot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/02—Rear-view mirror arrangements
- B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
- B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/24—Safety devices, e.g. for preventing overload
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
Landscapes
- Engineering & Computer Science (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Component Parts Of Construction Machinery (AREA)
Abstract
本发明的实施例涉及一种显示系统,显示系统包括:多个摄影装置,其相互隔开地设置于工程机械,且以使所述工程机械的外部区域的一部分相互重复的方式拍摄来生成摄影影像;检测装置,其检测位于所述多个摄影装置相互重复拍摄的重复区域的人或物体的有无;显示装置,其设置于所述工程机械的内部,以输出在所述多个摄影装置拍摄的影像;以及控制装置,其组合由所述多个摄影装置拍摄的摄影影像来以从上部俯瞰所述工程机械的视点转换影像,并根据所述检测装置的检测与否将拍摄了所述重复区域的摄影影像选择性地输出至所述显示装置。
Description
技术领域
本发明涉及一种显示系统,更详细而言,涉及一种将拍摄了工程机械的外部区域的影像提供给位于工程机械的内部的驾驶员的显示系统。
背景技术
通常,就工程机械而言,旋回体支撑于行驶体。旋回体旋转而执行挖掘作业、砂土装载作业等。即,在工程机械所在的作业区域,旋回体可以旋转而执行作业,因而不但能够执行行驶引起的较广区域的作业,还执行旋转引起的较广区域的作业。
但是,在这种旋回体旋转时,存在发生与位于工程机械的外部区域的人或物体碰撞的事故的问题。因此,驾驶员需要在工程机械的旋回体旋转前察看人或物体是否位于工程机械的外部区域。
此外,由于工程机械形成为具有相对而言高于一般车辆的车库,因而存在多个驾驶员难以利用侧镜或或倒车镜确认工程机械的外部区域的盲区。
因此,难以在驾驶员所在的驾驶室内部掌握围绕工程机械的整体外部区域。
发明内容
技术课题
本发明的实施例提供一种显示影像信息,以使驾驶员能够在内部确认工程机械的外部区域的显示系统。
技术方案
根据本发明的一实施例,显示系统包括:多个摄影装置,其相互隔开地设置于工程机械,且以使所述工程机械的外部区域的一部分相互重复的方式进行拍摄来生成摄影影像;检测装置,其检测位于所述多个摄影装置相互重复拍摄的重复区域的人或物体的有无;显示装置,其设置于所述工程机械的内部,以输出由所述多个摄影装置拍摄的影像;以及控制装置,其组合由所述多个摄影装置拍摄的摄影影像来以从上部俯瞰所述工程机械的视点转换影像,并根据所述检测装置的检测与否将拍摄了所述重复区域的摄影影像选择性地输出至所述显示装置。
此外,所述控制装置可以包括影像转换部,该影像转换部以已设定的基准线为中心合成由所述多个摄影装置拍摄的摄影影像来生成转换影像。
此外,所述控制装置可以组合由所述多个影像装置拍摄的摄影影像并以已设定的基准线为中心进行合成,生成为从上部俯瞰所述工程机械的视点的转换影像。
此外,所述检测装置可以检测位于所述重复区域中的形成所述基准线的区域的人或物体的有无。
此外,当由所述检测装置判断为在所述重复区域有人或物体时,所述控制装置可以将检测到人或物体的所述重复区域的摄影影像和由所述影像转换部转换的转换影像一同输出至所述显示装置。
此外,当判断为人或物体在所述重复区域位于远离所述基准线的一方向时,所述控制装置可以输出由所述多个摄影装置拍摄的摄影影像中拍摄了检测到人或物体的所述重复区域的一方向的摄影影像。
此外,当判断为人或物体与所述基准线邻近地位于所述重复区域时,所述控制装置可以输出由所述多个摄影装置拍摄的摄影影像中拍摄了检测到人或物体的所述重复区域的一方向和检测到人或物体的重复区域的另一方向的摄影影像。
此外,所述控制装置还可以包括位置显示部,该位置显示部将检测到的人或物体的位置一同显示于输出至所述显示装置的转换影像。
此外,所述多个摄影装置可以包括:第一摄影部件,其设置于所述工程机械的前方;第二摄影部件,其设置于所述工程机械的右侧;第三摄影部件,其设置于所述工程机械的后方;以及第四摄影部件,其设置于所述工程机械的左侧。
此外,所述重复区域可以形成有多个,包括:第一重复区域,其使由所述第一摄影部件拍摄的区域和由所述第二摄影部件拍摄的区域相互重复;第二重复区域,其使由所述第二摄影部件拍摄的区域和由所述第三摄影部件拍摄的区域相互重复;第三重复区域,其使由所述第三摄影部件拍摄的区域和由所述第四摄影部件拍摄的区域相互重复;以及第四重复区域,其使由所述第四摄影部件拍摄的区域和由所述第一摄影部件拍摄的区域相互重复。
此外,所述检测装置可以形成有多个,包括:第一检测部件,其检测所述第一重复区域的人或物体的有无;第二检测部件,其检测所述第二重复区域的人或物体的有无;第三检测部件,其检测所述第三重复区域的人或物体的有无;以及第四检测部件,其检测所述第四重复区域的人或物体的有无。
此外,当多个所述检测装置中的两个以上检测装置检测为人或物体位于所述多个重复区域中的两个以上的重复区域时,所述控制装置可以将由所述多个摄影装置拍摄的摄影影像中拍摄了所述两个以上的重复区域的摄影影像均输出至所述显示装置。
发明的效果
根据本发明的实施例,显示系统能够无影像的歪曲地有效地提供拍摄了工程机械的外部区域的影像信息,以使驾驶员能够在内部确认工程机械的外部区域。
附图说明
图1是示出本发明的一实施例的显示系统的结构的结构图。
图2是示出图1的设置位置和摄影区域的图。
图3至图5是示出显示装置的输出状态的图。
图6是示出图1的控制装置的动作顺序的图。
具体实施方式
下面参考附图对本发明的实施例进行详细说明,以便本发明所属技术领域中的一般的技术人员能够容易实施。本发明可以被实现为多种不同的形态,并不限于此处说明的实施例。
需要说明的是,附图是概略性的,并未按比例图示。为了图中的清楚性和方便性,图中所示部分的相对尺寸和比例在其大小上被夸张或减小而图示,任意尺寸均只是示例性的,而不是限定性的。另外,为体现相似的特征,对于出现在两个以上图中的相同的结构物、要素或部件,使用相同的参照符号。
本发明的实施例具体地示出本发明的理想的实施例。其结果是,预想得到图解的多种变形。因此,实施例不局限于所图示的区域的特定形态,例如,还包括制造导致的形态的变形。
下面参照图1至图4对本发明的一实施例的显示系统101进行说明。
如图1所图示,本发明的一实施例的显示系统101包括多个摄影装置100、检测装置200、显示装置300、以及控制装置600。
如图2所图示,多个摄影装置100相互隔开地设置于工程机械50。此外,多个摄影装置100以使工程机械50的外部区域的一部分相互重复的方式拍摄。即,多个摄影装置100以使工程机械50的外部区域的一部分相互重复的方式拍摄来生成摄影影像。
具体而言,工程机械50包括行驶体10和旋回体20。此外,旋回体20能够旋转地支撑于行驶体10。另外,多个摄影装置100相互隔开地设置于支撑于工程机械50的行驶体10的旋回体20的外部。
即,多个摄影装置100相互隔开地设置于工程机械50的旋回体20的外侧而生成以使工程机械50的外部区域的一部分相互重复的方式拍摄为三维视图(3d-view)的摄影影像。
例如,多个摄影装置100设置于工程机械50的旋回体20外侧而在工程机械50的上部以规定角度倾斜地朝向下部方向三维地拍摄所述工程机械50的外部区域。
检测装置200检测位于多个摄影装置100相互重复拍摄的重复区域400的人或物体的有无。具体而言,检测装置200设置于多个摄影装置100之间的工程机械50的旋回体20外侧而检测位于多个摄影装置100相互重复拍摄的重复区域400的人或物体的有无。
即,检测装置200可以检测位于多个摄影装置100相互重复拍摄的重复区域400的空间上的人或物体的有无。
显示装置300设置于工程机械50的内部。此外,显示装置300设置于工程机械的内部而向驾驶员输出由多个摄影装置100拍摄的影像。具体而言,显示装置300设置于工程机械50的旋回体20中驾驶室的内部,以使驾驶员能够视觉上确认提供至显示装置300的信息。例如,显示装置300可以在工程机械50的驾驶室内部设置于与操作工程机械50的操作盘邻近的位置。
控制装置600根据检测装置200的检测与否将拍摄了重复区域400的摄影影像选择性地输出至显示装置300。此外,控制装置600组合由多个摄影装置100拍摄的影像来以从上部俯瞰工程机械的视点转换影像。具体而言,当检测装置200检测为在重复区域400有人或物体时,控制装置600可以向显示装置300输出由多个摄影装置100拍摄的摄影影像中拍摄了该重复区域400的摄影影像。
即,控制装置600可以根据检测装置200的检测与否将拍摄重了复区域400的三维影像的摄影影像选择性地输出至显示装置300,以使驾驶员能够视觉上确认这样的信息。
从而,本发明的一实施例的显示系统101能够以使驾驶员在驾驶室内部能够有效地认知工程机械50的外部区域的状况的方式提供给驾驶员。
此外,显示系统101可以根据检测装置200的有无检测将拍摄了重复区域400的摄影影像输出至显示装置300,使得驾驶室内部的驾驶员能够有效地判断旋回体20是否能够旋转和障碍物的出现与否或这样的障碍物是否妨碍旋回体20的旋转或作业。
另外,显示系统101的控制装置600可以根据检测装置200的检测与否将拍摄了重复区域400的三维影像输出至显示装置300,使得驾驶员能够基于这样的摄影影像有效地防止旋回体20的旋转或工程机械50的作业时的旋回体20和障碍物的碰撞。
此外,如前述图1所图示,本发明的一实施例的控制装置600可以包括影像转换部610。
如前述图2所图示,影像转换部610可以以已设定的基准线500为基准将由多个摄影装置100拍摄的三维影像的摄影影像转换为二维影像来合成。具体而言,影像转换部610可以将由多个摄影装置100拍摄的三维影像的空间的坐标转换为平面的坐标并以已设定的基准线500为中心合成来向显示装置300输出作为二维影像的转换影像。
即,已设定的基准线500可以是由多个摄影装置100分别拍摄的三维影像被转换为二维影像而相互结合的边界线。因此,基准线500的数量可以形成为与重复区域400的数量相同。
从而,驾驶员能够在驾驶室内部从显示装置300接受在彼此不同的位置拍摄的重复区域400中作为被判断为有人或物体的重复区域400的摄影影像的三维影像。从而,驾驶员能够通过在彼此不同的位置拍摄的多个摄影装置100从多种视点(view-point)确认工程机械50的外部区域。
此外,本发明的一实施例的控制装置600可以组合由多个摄影装置拍摄的影像并以设定的基准线500为中心合成来制作成从上部俯瞰工程机械50的视点(Top-view,顶视图)的转换影像。
控制装置600可以以已设定的基准线500为中心组合由多个摄影装置100拍摄的影像来以成为从上部俯瞰工程机械50的视点的方式转换。
从而,控制装置600可以以成为从上部俯瞰工程机械50的视点的方式,组合由多个摄影装置100拍摄工程机械50的外部区域的摄影影像的三维影像并以已设定的基准线500为中心合成来转换为作为转换影像的二维影像。
此外,本发明的一实施例的显示系统101的检测装置200可以检测位于重复区域400中形成已设定的基准线500的区域的人或物体的有无。
当影像转换部610对重复区域400以已设定的基准线500为中心将三维影像合成为二维影像而转换时,存在发生影像的歪曲的问题。即,三维影像的合成以作为平面坐标的底面为基准进行,因而当具有高度的物体或人位于重复区域400上的特定位置时,可能会发生从转换的二维影像中消失的问题。
上述重复区域400上的特定位置可以是作为三维影像被转换为二维影像而相互结合的边界线的已设定的基准线500。即,检测装置200可以检测位于已设定的基准线500的空间区域的人或物体的有无。
因此,检测装置200可以检测位于重复区域400中形成基准线500的区域的人或物体的有无,从而能够有效地解决当由影像转换部610以已设定的基准线500为中心合成三维影像而转换为二维影像时可能会发生的影像歪曲导致的问题。
此外,检测装置200即使在具有高度的物体位于形成基准线500的区域的情况下也能够有效地检测,使得驶员能够运用由显示装置300提供的信息来防止在旋回体20的旋转时与人或物体的碰撞。
具体而言,在设置检测装置200时,可以考虑这样的已设定的基准线500而设置。
此外,当判断为在重复区域400有人或物体时,本发明的一实施例的控制装置600可以将检测到人或物体的重复区域400的摄影影像和由影像转换部610转换的转换影像一同输出至显示装置300。
控制装置600可以判断在重复区域400是否有人或物体存在。具体而言,控制装置600可以包括区域判断部620。区域判断部620可以基于由检测装置200检测的信息来判断位于重复区域400的人或物体的有无。具体而言,若由检测装置200检测到人或物体位于重复区域400,则区域判断部620可以判断为在重复区域400有人或物体。
即,区域判断部620可以基于检测人或物体是否位于由检测装置200检测的重复区域400的信息来判断人或物体是否位于重复区域400。
当区域判断部620判断为在形成重复区域400的区域有人或物体时,控制装置600可以将作为检测到人或物体的重复区域400的摄影影像的三维影像和作为由影像转换部610转换的转换影像的二维影像一同输出至显示装置300。
具体而言,控制装置600分割显示装置300的画面来控制为同时输出检测到人或物体的重复区域400的三维影像和由影像转换部610转换的二维影像。
因此,驾驶员可以通过显示装置300同时接受拍摄了工程机械的外部区域的三维影像被转换为二维影像的信息和检测到人或物体的重复区域400的三维影像信息。即,驾驶员可以通过显示装置300视觉上认知工程机械50的外部区域的障碍物或人的接近等。
此外,当通过显示装置300判断为人或物体位于重复区域400时,控制装置600可以通过显示装置300向驾驶员提供检测到人或物体的重复区域400的三维影像。
即,驾驶员能够利用控制装置600通过二维影像确认旋回体20的旋转或工程机械50的作业时的干扰或妨碍因素。另外,驾驶员能够通过检测到人或物体的重复区域400的三维影像准确地判断位于重复区域400的物体是否妨碍旋回体20的旋转或工程机械50的作业。
此外,由于控制装置600可以同时向驾驶员提供二维影像和检测到人或物体的重复区域400的三维影像,因而驾驶员能够没有影像转换部610将三维影像转换为二维影像时可能会发生的诸如影像的歪曲的错误地确认位于重复区域400的人或物体。
或者,当区域判断部620判断为在形成基准线500的区域有人或物体时,控制装置600可以将检测到人或物体的包括基准线500的重复区域400的三维影像和由影像转换部610转换的二维影像一同输出至显示装置300。此时,不向显示装置300输出基准线500。
即,控制装置600包括模式选择部640。模式选择部640包括提供拍摄了重复区域400的影像的摄影影像模式和仅提供摄影影像被转换的转换影像的转换影像模式,且可以由驾驶员选择摄影影像模式或转换影像模式中的某一个来向显示系统101输出影像。
当驾驶员选择了转换影像模式时,控制装置600可以与检测装置200的检测与否无关地将由影像转换部610转换的转换影像输出至显示装置300。
或者,当驾驶员选择了摄影影像模式时,可以同时输出拍摄了重复区域400的影像和由影像转换部610转换的转换影像。
此外,当通过检测装置200判断为人或物体位于与基准线500邻近的位置时,本发明的一实施例的显示系统101的控制装置600可以将由多个摄影装置100拍摄的摄影影像中拍摄了人或物体所在的重复区域400的摄影影像输出至显示装置300。
当控制装置600判断为在重复区域400中与基准线500邻近的位置有人或物体时,可以将多个摄影装置100拍摄的摄影影像中拍摄了人或物体所在的重复区域400的一侧以及与所述一侧邻近的重复区域400的另一侧的摄影影像一同输出至显示装置300。
因此,当人或物体位于与重复区域400的基准线500邻近的位置时,能够没有在生成转换影像时可能会发生的影像的歪曲地准确地传递给驾驶员。从而,能够事前防止在驾驶员操作工程机械50时因歪曲的影像可能会发生的事故。
或者,当通过检测装置200判断为人或物体位于相对远离距基准线500的重复区域400内时,本发明的一实施例的显示系统101的控制装置600可以将由多个摄影装置100拍摄的摄影影像中拍摄了人或物体所在的重复区域400的摄影影像输出至显示装置300。
当控制装置600判断为人或物体位于重复区域400中相对远离基准线500的位置时,可以将由多个摄影装置100拍摄的摄影影像中拍摄了人或物体所在的重复区域400的一侧的摄影影像一同输出至显示装置300。
即,可以是,检测装置200检测人或物体的距离基准线500的邻近距离并传递至控制装置600,控制装置600基于从检测装置200接受的人或物体的距离基准线500的邻近距离来决定将由多个摄影装置100拍摄的摄影影像中哪个影像优先或重复输出至显示装置300。
此外,如图1和图3所图示,本发明的一实施例的显示系统101可以在输出至显示装置300的转换影像中一同显示工程机械的上部影像301(image)。
可以控制为,在输出转换影像的显示装置300的一区域显示工程机械50的上部影像301,以使驾驶员能够认知作为通过显示装置300输出的转换影像的二维影像是从上部俯瞰工程机械50的视点(Top-view,俯视图)。即,由多个摄影装置100拍摄的三维影像可以以工程机械50的上部影像301为中心被转换为二维影像而输出至显示装置300。
此外,本发明的一实施例的显示系统101的控制装置600还可以包括位置显示部630。
位置显示部630可以使在输出至显示装置300的转换影像上一同显示由检测装置200检测的人或物体的位置信息。即,控制装置600可以控制为,在输出至显示装置300的二维影像上一同显示而输出由检测装置200检测的人或物体的位置信息350。
位置显示部630可以基于由检测装置200进行的人或物体的感度的大小,在作为输出至显示装置300的转换影像的二维影像上显示人或物体的当前位置。例如,检测装置200可以是MOD(Moving Object Detection,运动目标检测)、超声波传感器、Radar(无线电探测与定位),Lidar(激光雷达)中的任一个。
即,控制装置600还可以包括位置显示装置300,其将从检测装置200接受的信息转换为坐标来显示为由检测装置200检测的人或物体的位置。
因此,驾驶员还可以利用通过显示装置300提供的信息,视觉上确认由检测装置200检测的人或物体的位置。此外,即使在影像的歪曲导致人或物体在二维影像中小时的情况下,驾驶员也能够视觉上确认这些人或物体的位置。
此外,如前述图2所图示,本发明的一实施例的显示系统101的多个摄影装置100还可以包括第一摄影部件110、第二摄影部件120、第三摄影部件130以及第四摄影部件140。
第一摄影部件110可以设置于工程机械50的前方。具体而言,第一摄影部件110可以在工程机械50的上部朝向下部方向倾斜地将工程机械50的前方方向拍摄为三维影像。
第二摄影部件120可以与第一摄影部件110隔开地设置于工程机械50的右侧。具体而言,第二摄影部件120可以在工程机械50的上部朝向下部方向倾斜地将工程机械50的右侧方向拍摄为三维影像。
第三摄影部件130可以与第二摄影部件120隔开地设置于工程机械50的后方。具体而言,第三摄影部件130可以在工程机械50的上部朝向下部方向倾斜地将工程机械50的后方方向拍摄为三维影像。
第四摄影部件140可以与第三摄影部件130隔开地设置于工程机械50的左侧。具体而言,第四摄影部件140可以在工程机械50的上部朝向下部方向倾斜地将工程机械50的左侧方向拍摄为三维影像。
此时,由第一摄影部件110、第二摄影部件120、第三摄影部件130以及第四摄影部件140拍摄的工程机械50的外部区域的一部分可以被相互重复而拍摄。
因此,多个摄影装置100包括第一摄影部件110、第二摄影部件120、第三摄影部件130以及第四摄影部件140,从而能够有效地三维地拍摄围绕工程机械50的工程机械50的外部区域。即,控制装置600可以从包括第一摄影部件110、第二摄影部件120、第三摄影部件130以及第四摄影部件140的多个摄影装置100接受为了防止在工程机械50的旋回体20的旋回动作时与物体或人的碰撞而必要的信息。
此外,如前述图1所图示,可以形成有多个本发明的一实施例的重复区域400而包括第一重复区域410、第二重复区域420、第三重复区域430以及第四重复区域440。
第一重复区域410可以是使由第一摄影部件110拍摄的区域和由第二摄影部件120拍摄的区域的一部分相互重复的区域。即,第一重复区域410可以是与工程机械50前方的右侧角邻近的区域。
第二重复区域420可以是使由第二摄影部件120拍摄的区域和由第三摄影部件130拍摄的区域的一部分相互重复的区域。即,第二重复区域420可以是与工程机械50后方的右侧角邻近的区域。
第三重复区域430可以是由第三摄影部件130拍摄的区域和由第四摄影部件140拍摄的区域的一部分相互重复的区域。即,第三重复区域430可以是与工程机械50后方的左侧角邻近的区域。
第四重复区域440可以是由第四摄影部件140拍摄的区域和由第一摄影部件110拍摄的区域的一部分相互重复的区域。即,第四重复区域440可以是与工程机械50前方的左侧角邻近的区域。
因此,形成有多个重复区域400,从而能够有效地拍摄围绕工程机械50的工程机械50的外部区域的较广范围。
另外,基准线500可以包括:第一基准线510,其用于合成第一重复区域410的摄影影像;第二基准线520,其用于合成第二重复区域420的摄影影像;第三基准线530,其用于合成第三重复区域430的摄影影像;以及第四基准线540,其用于合成第四重复区域440的摄影影像。
此外,如前述图2所图示,可以形成有多个本发明的一实施例的检测装置200而包括第一检测部件210、第二检测部件220、第三检测部件230以及第四检测部件240。
第一检测部件210可以检测第一重复区域410的人或物体的有无。具体而言,第一检测部件210可以检测由第一摄影部件110和第二摄影部件120拍摄的摄影区域部分地重复的工程机械50前方的右侧角部分的位于第一重复区域410的人或物体的有无。
此外,第一检测部件210可以设置于形成第一重复区域410的工程机械50的旋回体20前方的右侧角部分而检测位于第一重复区域410的人或物体的有无。另外,第一检测部件210可以在工程机械50上部朝向下部倾斜地检测位于第一重复区域410的人或物体的有无。
即,第一检测部件210可以检测位于第一重复区域410的空间上的人或物体的有无。
第二检测部件220可以检测第二重复区域420的人或物体的有无。具体而言,第二检测部件220可以检测由第二摄影部件120和第三摄影部件130拍摄的摄影区域部分地重复的工程机械50后方的右侧角部分的位于第二重复区域420的人或物体的有无。
此外,第二检测部件220可以设置于形成第二重复区域420的工程机械50的旋回体20后方的右侧角部分而检测位于第二重复区域420的人或物体的有无。另外,第二检测部件220可以在工程机械50的上部朝向下部倾斜地检测位于第二重复区域420的人或物体的有无。
即,第二检测部件220可以检测位于第二重复区域420的空间上的人或物体的有无。
第三检测部件230可以检测由第三重复区域430的人或物体的有无。具体而言,第三检测部件230可以检测由第三摄影部件130和第四摄影部件140拍摄的摄影区域部分地重复的工程机械50后方的左侧角部分的位于第三重复区域430的人或物体的有无。
此外,第三检测部件230可以设置于形成第三重复区域430的工程机械50的旋回体20后方的左侧角部分而检测位于第三重复区域430的人或物体的有无。另外,第三检测部件230可以在工程机械50的上部朝向下部倾斜地检测位于第三重复区域430的人或物体的有无。
即,第三检测部件230可以检测位于第三重复区域430的空间上的人或物体的有无。
第四检测部件240可以检测第四重复区域440的人或物体的有无。具体而言,第四检测部件240可以检测由第四摄影部件140和第一摄影部件110拍摄的摄影区域部分地重复的工程机械50前方的左侧角部分的位于第四重复区域440的人或物体的有无。
此外,第四检测部件240可以设置于形成第四重复区域440的工程机械50的旋回体20前方的左侧角部分而检测位于第四重复区域440的人或物体的有无。另外,第四检测部件240可以在工程机械50的上部朝向下部倾斜地检测位于第四重复区域440的人或物体的有无。
即,第四检测部件240可以检测位于第四重复区域440的空间上的人或物体的有无。
因此,形成有多个检测装置200,从而控制装置600能够没有在三维地拍摄围绕工程机械50的工程机械50的外部区域来转换为二维影像时可能会发生的诸如影像的歪曲的错误地以三维影像向驾驶员提供位于重复区域400的人或物体。
例如,如图2和图4所图示,当由第二检测部件220在第二重复区域420检测到人时,控制装置600可以判断为在第二重复区域420有人。因此,控制装置600可以向显示装置300输出通过影像转换部610将由第一摄影部件110、第二摄影部件120、第三摄影部件130以及四摄影部件140拍摄的影像转换为从上部俯瞰工程机械的视点(Top-view,俯视图)的影像的转换影像310。
此外,控制装置600可以将由第二摄影部件120和第三摄影部件130拍摄第二重复区域420的摄影影像330、340分别输出至显示装置300。
此时,控制装置600可以通过位置显示部630同时在转换影像310上显示350由第二检测部件220检测到人的位置而输出。
因此,驾驶员可以借由第二摄影部件120和第三摄影部件130通过摄影影像330、340接受原本未输出至显示装置300的转换影像310的人的影像,且可以通过同时在转换影像310上输出检测到的人的位置的检测显示350来接受。
此外,当两个以上的检测装置200检测为人或物体位于两个以上的重复区域400时,本发明的一实施例的显示系统101的控制装置600可以将拍摄了两个以上的重复区域400的摄影影像均输出至显示装置300。
当多个检测装置200中两个以上的检测装置200检测为人或物体位于多个重复区域400中两个以上的重复区域400时,控制装置600可以通过显示装置300将由多个摄影装置100拍摄的摄影影像中拍摄了检测到人或物体的两个以上的重复区域400的摄影影像均提供给驾驶员。
从而,驾驶员能够没有因多个重复区域400可能会发生的影像的歪曲地利用通过显示装置300提供的影像准确地掌握人或物体的位置。
例如,如图2和图5所图示,当由第一检测部件210和第二检测部件220检测为在第一重复区域410和第二重复区域420有人或物体时,控制装置600可以判断为在第一重复区域410和第二重复区域420有人或物体。
因此,控制装置600可以向显示装置300输出通过影像转换部610将由第一摄影部件110、第二摄影部件120、第三摄影部件130以及第四摄影部件140拍摄的影像转换为从上部俯瞰工程机械的视点(Top-view,俯视图)的影像的转换影像310。
此外,控制装置600可以将拍摄了第一重复区域410和第二重复区域420的影像均输出至显示装置300。具体而言,可以将由第一摄影部件110拍摄的摄影影像320、由第二摄影部件120拍摄的摄影影像330以及由第三摄影部件130拍摄的摄影影像340均输出至显示装置300。
另外,控制装置600可以通过位置显示部630同时在转换影像310上显示350而输出由第一检测部件210和第二检测部件220检测到人的位置。
此外,如图2和图3所图示,当在第一重复区域410、第二重复区域420、第三重复区域430以及第四重复区域440均未检测到人或物体的位置时,控制装置600可以向显示装置300仅输出通过影像转换部610将由第一摄影部件110、第二摄影部件120、第三摄影部件130以及第四摄影部件140拍摄的摄影影像转换为从上部俯瞰工程机械的视点(Top-view,俯视图)的影像的转换影像310。
下面参照图1至图6对本发明的一实施例的显示系统101的控制装置600的控制方法进行说明。
驾驶员选择为以摄影影像模式或转换影像模式中的某一个启动显示系统101(S100)。
此外,当驾驶员选择了转换影像模式时,显示装置300向显示装置300输出通过影像转换部610转换由多个摄影装置100拍摄的影像的从上部俯瞰工程机械的视点(Top-view,俯视图)的影像(S150)。即,当选择了转换影像模式时,控制装置600与检测装置200的检测与否无关地向显示装置300仅输出由影像转换部610转换的转换影像310。
或者,当驾驶员选择了摄影影像模式时,检测装置200检测位于重复区域400的人或物体的有无(S200)。
检测装置200将所检测的信息传递至区域判断部620,区域判断部620判断在重复区域400是否有人或物体。
此外,当重复区域400有人或物体时,将由影像转换部610转换的从上部俯瞰工程机械的视点(Top-view,俯视图)的影像和拍摄了检测到人或物体的重复区域400的摄影影像一同输出至显示装置300(S300)。
或者,当在重复区域400没有人或物体时,向显示装置300输出由影像转换部610转换的从上部俯瞰工程机械的视点(Top-view,俯视图)的影像(S150)。
通过这种结构,本发明的一实施例的显示系统101能够向位于工程机械50的驾驶室内部的驾驶员有效地提供围绕工程机械50的工程机械50的外部区域的摄影影像。
此外,由于显示系统101包括检测装置200,因而即使具有高度的物体位于由多个摄影装置100重复拍摄的重复区域400上,驾驶员也能够通过显示装置300同时接受摄影影像和转换影像。从而,驾驶员能够无影像的歪曲地确认位于重复区域400的物体的形状和位置。
尽管上面参照附图对本发明的实施例进行了说明,但本发明所属技术领域的一般的技术人员可以理解在不改变本发明的技术思想或必备特征的前提下,可以以其他具体形态实施本发明。
因此,以上所描述的实施例在各方面均应理解为是示例性的,而不是限定性的,本发明的范围由后述的权利要求书体现,从权利要求的意义、范围及其等价概念中导出的所有变更或变型形态均应解释为落入本发明的范围内。
工业上的利用可能性
本发明的实施例的显示系统可以利用于将拍摄了工程机械的外部区域的影像提供给位于工程机械的内部的驾驶员。
符号说明
100:多个摄影装置,101:显示系统,110:第一摄影部件,120:第二摄影部件,130:第三摄影部件,140:第四摄影部件,200:检测装置,210:第一检测部件,220:第二检测部件,230:第三检测部件,240:第四检测部件,300:显示装置,400:重复区域,500:基准线,600:控制装置,610:影像转换部,620:区域判断部,630:位置显示部。
Claims (12)
1.一种显示系统,其特征在于,包括:
多个摄影装置,其相互隔开地设置于工程机械,且以使所述工程机械的外部区域的一部分相互重复的方式进行拍摄来生成摄影影像;
检测装置,其检测位于所述多个摄影装置相互重复拍摄的重复区域的人或物体的有无;
显示装置,其设置于所述工程机械的内部,以输出由所述多个摄影装置拍摄的影像;以及
控制装置,其组合由所述多个摄影装置拍摄的摄影影像来以从上部俯瞰所述工程机械的视点转换影像,并根据所述检测装置的检测与否将拍摄了所述重复区域的摄影影像选择性地输出至所述显示装置。
2.根据权利要求1所述的显示系统,其特征在于,包括:
所述控制装置包括影像转换部,该影像转换部以已设定的基准线为中心合成由所述多个摄影装置拍摄的摄影影像来生成转换影像。
3.根据权利要求1所述的显示系统,其特征在于,
所述控制装置组合由所述多个影像装置拍摄的摄影影像并以已设定的基准线为中心进行合成,作成从上部俯瞰所述工程机械的视点的转换影像。
4.根据权利要求2所述的显示系统,其特征在于,
所述检测装置检测位于所述重复区域中的形成所述基准线的区域的人或物体的有无。
5.根据权利要求4所述的显示系统,其特征在于,
当由所述检测装置判断为在所述重复区域有人或物体时,所述控制装置将检测到人或物体的所述重复区域的摄影影像和由所述影像转换部转换的转换影像一同输出至所述显示装置。
6.根据权利要求5所述的显示系统,其特征在于,
当判断为人或物体在所述重复区域位于远离所述基准线的一方向时,所述控制装置输出由所述多个摄影装置拍摄的摄影影像中拍摄了检测到人或物体的所述重复区域的一方向的摄影影像。
7.根据权利要求5所述的显示系统,其特征在于,
当判断为人或物体与所述基准线邻近地位于所述重复区域时,所述控制装置输出由所述多个摄影装置拍摄的摄影影像中拍摄了检测到人或物体的所述重复区域的一方向和检测到人或物体的重复区域的另一方向的摄影影像。
8.根据权利要求1所述的显示系统,其特征在于,
所述控制装置还包括位置显示部,该位置显示部将检测到的人或物体的位置一同显示于输出至所述显示装置的转换影像。
9.根据权利要求1所述的显示系统,其特征在于,
所述多个摄影装置包括:
第一摄影部件,其设置于所述工程机械的前方;
第二摄影部件,其设置于所述工程机械的右侧;
第三摄影部件,其设置于所述工程机械的后方;以及
第四摄影部件,其设置于所述工程机械的左侧。
10.根据权利要求9所述的显示系统,其特征在于,
所述重复区域形成有多个,包括:
第一重复区域,其使由所述第一摄影部件拍摄的区域和由所述第二摄影部件拍摄的区域相互重复;
第二重复区域,其使由所述第二摄影部件拍摄的区域和由所述第三摄影部件拍摄的区域相互重复;
第三重复区域,其使由所述第三摄影部件拍摄的区域和由所述第四摄影部件拍摄的区域相互重复;以及
第四重复区域,其使由所述第四摄影部件拍摄的区域和由所述第一摄影部件拍摄的区域相互重复。
11.根据权利要求10所述的显示系统,其特征在于,
所述检测装置形成有多个,包括:
第一检测部件,其检测所述第一重复区域的人或物体的有无;
第二检测部件,其检测所述第二重复区域的人或物体的有无;
第三检测部件,其检测所述第三重复区域的人或物体的有无;以及
第四检测部件,其检测所述第四重复区域的人或物体的有无。
12.根据权利要求11所述的显示系统,其特征在于,
当多个所述检测装置中的两个以上检测装置检测为人或物体位于所述多个重复区域中的两个以上的重复区域时,所述控制装置将由所述多个摄影装置拍摄的摄影影像中拍摄了所述两个以上的重复区域的摄影影像均输出至所述显示装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2016-0021398 | 2016-02-23 | ||
KR1020160021398A KR102484103B1 (ko) | 2016-02-23 | 2016-02-23 | 표시 시스템 |
PCT/KR2017/001426 WO2017146403A1 (ko) | 2016-02-23 | 2017-02-09 | 표시 시스템 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108699816A true CN108699816A (zh) | 2018-10-23 |
Family
ID=59685325
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780013077.4A Pending CN108699816A (zh) | 2016-02-23 | 2017-02-09 | 显示系统 |
Country Status (3)
Country | Link |
---|---|
KR (1) | KR102484103B1 (zh) |
CN (1) | CN108699816A (zh) |
WO (1) | WO2017146403A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4130395A4 (en) * | 2020-03-27 | 2023-03-15 | Sumitomo Heavy Industries, Ltd. | IMAGE CAPTURE DEVICE FOR WORK MACHINE, INFORMATION MANAGEMENT SYSTEM, INFORMATION TERMINAL AND IMAGE CAPTURE PROGRAM FOR WORK MACHINE |
US20230237806A1 (en) * | 2022-01-24 | 2023-07-27 | Caterpillar Inc. | Object detection vision system |
KR102606126B1 (ko) * | 2023-08-16 | 2023-11-24 | 오토아이티(주) | 영상 왜곡 영역과 카메라간 상관성을 고려한 객체 검출동작을 수행하는 어라운드 뷰 모니터 영상 처리 장치 및 방법 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110044505A1 (en) * | 2009-08-21 | 2011-02-24 | Korea University Industry And Academy Cooperation | Equipment operation safety monitoring system and method and computer-readable medium recording program for executing the same |
CN103827943A (zh) * | 2012-09-20 | 2014-05-28 | 株式会社小松制作所 | 工作车辆用周边监视系统以及工作车辆 |
CN103958790A (zh) * | 2011-12-13 | 2014-07-30 | 住友建机株式会社 | 施工机械的周边图像显示装置及周边图像显示方法 |
WO2015133367A1 (ja) * | 2014-03-07 | 2015-09-11 | 日立建機株式会社 | 作業機械の周辺監視装置 |
CN105283777A (zh) * | 2014-04-25 | 2016-01-27 | 株式会社小松制作所 | 周边监视系统、作业车辆以及周边监视方法 |
WO2016013490A1 (ja) * | 2014-07-25 | 2016-01-28 | 日立建機株式会社 | 旋回式作業機の周囲表示装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4776491B2 (ja) * | 2006-10-06 | 2011-09-21 | 日立建機株式会社 | 作業機械の周囲監視装置 |
KR101797261B1 (ko) * | 2010-06-18 | 2017-11-13 | 히다찌 겐끼 가부시키가이샤 | 작업 기계의 주위 감시 장치 |
KR20140118115A (ko) * | 2013-03-28 | 2014-10-08 | 삼성전기주식회사 | 차량 주위 영상 보정 시스템 및 차량 주위 영상 보정 방법 |
-
2016
- 2016-02-23 KR KR1020160021398A patent/KR102484103B1/ko active IP Right Grant
-
2017
- 2017-02-09 WO PCT/KR2017/001426 patent/WO2017146403A1/ko active Application Filing
- 2017-02-09 CN CN201780013077.4A patent/CN108699816A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110044505A1 (en) * | 2009-08-21 | 2011-02-24 | Korea University Industry And Academy Cooperation | Equipment operation safety monitoring system and method and computer-readable medium recording program for executing the same |
CN103958790A (zh) * | 2011-12-13 | 2014-07-30 | 住友建机株式会社 | 施工机械的周边图像显示装置及周边图像显示方法 |
CN103827943A (zh) * | 2012-09-20 | 2014-05-28 | 株式会社小松制作所 | 工作车辆用周边监视系统以及工作车辆 |
WO2015133367A1 (ja) * | 2014-03-07 | 2015-09-11 | 日立建機株式会社 | 作業機械の周辺監視装置 |
CN105283777A (zh) * | 2014-04-25 | 2016-01-27 | 株式会社小松制作所 | 周边监视系统、作业车辆以及周边监视方法 |
WO2016013490A1 (ja) * | 2014-07-25 | 2016-01-28 | 日立建機株式会社 | 旋回式作業機の周囲表示装置 |
Also Published As
Publication number | Publication date |
---|---|
KR102484103B1 (ko) | 2023-01-04 |
KR20170099252A (ko) | 2017-08-31 |
WO2017146403A1 (ko) | 2017-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6029306B2 (ja) | 作業機械用周辺監視装置 | |
US20190253672A1 (en) | Vehicular vision system with split display | |
US9598836B2 (en) | Overhead view system for a shovel | |
KR101670847B1 (ko) | 차량 주변 이미지 생성 장치 및 방법 | |
JP6232497B2 (ja) | 外界認識装置 | |
JP6927821B2 (ja) | 表示システム、及び表示装置 | |
KR102262871B1 (ko) | 작업차 | |
CN109716058B (zh) | 测量系统、作业机械及测量方法 | |
WO2018043301A1 (ja) | 作業機械の画像表示システム | |
JP6456584B2 (ja) | 作業機械用周辺監視装置 | |
CN108699816A (zh) | 显示系统 | |
JP2008205914A (ja) | 画像処理装置 | |
JP7283059B2 (ja) | 周辺監視装置 | |
JP2018110328A (ja) | 画像処理装置および画像処理方法 | |
JP5960007B2 (ja) | 作業機械用周辺監視装置 | |
JP2014062795A (ja) | 作業機械用周辺監視装置 | |
JP6290497B2 (ja) | ショベル | |
US10060098B2 (en) | Method of displaying a dead zone of a construction machine and apparatus for performing the same | |
JP5805574B2 (ja) | 作業機械用周辺監視装置 | |
JP5638494B2 (ja) | 画像生成方法、画像生成装置、及び操作支援システム | |
JP6420432B2 (ja) | ショベル | |
JP6091821B2 (ja) | ショベル | |
JP6257919B2 (ja) | ショベル | |
JP2018186575A (ja) | ショベル | |
CN114375568A (zh) | 用于重型机械的前方影像生成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181023 |
|
RJ01 | Rejection of invention patent application after publication |