JP2013121056A - Image processing device, vehicle, image processing method, and program - Google Patents

Image processing device, vehicle, image processing method, and program Download PDF

Info

Publication number
JP2013121056A
JP2013121056A JP2011267853A JP2011267853A JP2013121056A JP 2013121056 A JP2013121056 A JP 2013121056A JP 2011267853 A JP2011267853 A JP 2011267853A JP 2011267853 A JP2011267853 A JP 2011267853A JP 2013121056 A JP2013121056 A JP 2013121056A
Authority
JP
Japan
Prior art keywords
image
vehicle
subject
image processing
traveling body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011267853A
Other languages
Japanese (ja)
Other versions
JP5841821B2 (en
Inventor
Sotaro Kaneko
宗太郎 金子
Tomohiko Izutsu
友彦 井筒
Toru Tsuruta
徹 鶴田
Tetsuo Yamamoto
徹夫 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2011267853A priority Critical patent/JP5841821B2/en
Publication of JP2013121056A publication Critical patent/JP2013121056A/en
Application granted granted Critical
Publication of JP5841821B2 publication Critical patent/JP5841821B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a technique by which a user can intuitively grasp a position of a subject.SOLUTION: In an image processing device 2, an image composition section 23 creates a composite image indicating a subject near a work vehicle 1 seen from a virtual viewpoint using plural images taken by plural cameras 5 provided in the work vehicle 1, and an image output section 21a outputs and displays the composite image on a display device 3. Then, a direction changing section 21b changes a direction of an image of the subject contained in the composite image from one to the other of a traveling reference direction with a traveling body as a reference, and a turning reference direction with a turning body as a reference. Therefore, the direction of the image of the subject contained in the composite image can be changed to an optimal direction according to a status, so that a user can intuitively grasp an actual position of the subject.

Description

本発明は、走行体と走行体上に旋回可能に設けられる旋回体とを備えた車両のための画像処理の技術に関する。   The present invention relates to an image processing technique for a vehicle including a traveling body and a revolving body provided on the traveling body in a turnable manner.

従来より、土木作業や建築作業において、油圧ショベルやクローラクレーンなど、走行体と走行体上に旋回可能に設けられる旋回体とを備えた作業車両が用いられている。このような作業車両は、走行体の走行、旋回体の旋回、及び、作業装置の伸縮など、自動車などの一般的な車両と比較して、複雑な動作を行うことが可能である。このため、周辺の物体との接触事故を防止するため、ユーザ（運転者）は作業車両の周辺の安全を十分に確認することが求められる。   2. Description of the Related Art Conventionally, in civil engineering work and building work, work vehicles including a traveling body and a revolving body that is turnably provided on the traveling body, such as a hydraulic excavator and a crawler crane, are used. Such a work vehicle can perform complicated operations as compared with a general vehicle such as an automobile such as traveling of the traveling body, turning of the turning body, and expansion and contraction of the working device. For this reason, in order to prevent a contact accident with surrounding objects, the user (driver) is required to sufficiently check the safety around the work vehicle.

近年、異なる方向を撮影する複数のカメラで得られた複数の画像を用いて作業車両を俯瞰する仮想視点からみた合成画像（俯瞰画像）を生成し、作業車両の運転室に設けられる表示装置にこの合成画像を表示する技術が提案されている（例えば、特許文献１参照）。このような画像処理技術を利用することで、ユーザは、作業車両の周辺の安全の確認を容易に行うことができる。   In recent years, a composite image (overhead image) seen from a virtual viewpoint overlooking a work vehicle is generated using a plurality of images obtained by a plurality of cameras that photograph different directions, and a display device provided in a driver's cab of the work vehicle A technique for displaying this composite image has been proposed (see, for example, Patent Document 1). By using such an image processing technique, the user can easily confirm safety around the work vehicle.

特開２００８−３１２００４号公報JP 2008-312004 A

ところで、上記従来の技術においては、合成画像に含まれる被写体の像の方向が、旋回体を基準とした方向に固定されている。より具体的には、合成画像の上下方向と旋回体の前後方向とが一致され、旋回体の前方にある被写体の像が合成画像の上方に位置するようになっている。   By the way, in the above conventional technique, the direction of the image of the subject included in the composite image is fixed to the direction based on the swivel body. More specifically, the vertical direction of the composite image and the front-rear direction of the swivel body are matched, and the image of the subject in front of the swivel body is positioned above the composite image.

しかしながら、作業車両は、走行体に対して旋回体が旋回可能であるため、走行体の進行方向は、必ずしも旋回体の前方とは一致しない。このため、従来技術のように、被写体の像の方向を旋回体を基準とした方向に固定した場合には、合成画像の上方と走行体の進行方向とが一致しない場面が生じる。このため、走行体の走行中においては、ユーザが実際の被写体の位置を直感的に把握できず、周辺の物体が実際に存在する位置について誤解を生じる可能性がある。   However, since the revolving body can turn with respect to the traveling body in the work vehicle, the traveling direction of the traveling body does not necessarily coincide with the front of the revolving body. For this reason, when the direction of the image of the subject is fixed in a direction based on the revolving body as in the prior art, a scene in which the upper direction of the composite image does not coincide with the traveling direction of the traveling body occurs. For this reason, during the traveling of the traveling body, the user cannot intuitively grasp the actual position of the subject, and there is a possibility of misunderstanding about the position where the surrounding object actually exists.

また逆に、被写体の像の方向を走行体を基準とした方向に固定したとすると、ユーザが旋回体に設けられる作業装置を操作する場合において、実際の被写体の位置を直感的に把握しにくくなる可能性がある。   Conversely, if the direction of the subject image is fixed in a direction based on the traveling body, it is difficult for the user to intuitively grasp the actual subject position when the user operates the working device provided on the revolving body. There is a possibility.

本発明は、上記課題に鑑みてなされたものであり、ユーザが被写体の位置を直感的に把握できる技術を提供することを目的とする。   The present invention has been made in view of the above problems, and an object of the present invention is to provide a technique by which a user can intuitively grasp the position of a subject.

上記課題を解決するため、請求項１の発明は、走行体と前記走行体上に旋回可能に設けられる旋回体とを備えた車両で用いられる画像処理装置であって、前記車両に設けられる複数のカメラで取得された複数の画像を用いて、仮想視点からみた前記車両の周辺の被写体を示す合成画像を生成する生成手段と、前記合成画像を表示装置に出力して表示させる出力手段と、前記走行体を基準とする第１方向、及び、前記旋回体を基準とする第２方向の一方から他方に、前記合成画像に含まれる前記被写体の像の方向を変更する変更手段と、を備えている。   In order to solve the above-mentioned problems, the invention of claim 1 is an image processing apparatus used in a vehicle including a traveling body and a revolving body provided on the traveling body so as to be capable of turning, and a plurality of the image processing apparatuses provided in the vehicle. Generation means for generating a composite image showing a subject around the vehicle viewed from a virtual viewpoint using a plurality of images acquired by the camera, and output means for outputting and displaying the composite image on a display device; Changing means for changing the direction of the image of the subject included in the composite image from one of the first direction relative to the traveling body and the second direction relative to the revolving body. ing.

また、請求項２の発明は、請求項１に記載の画像処理装置において、前記複数のカメラは、前記旋回体に設けられる。   According to a second aspect of the present invention, in the image processing apparatus according to the first aspect, the plurality of cameras are provided in the revolving structure.

また、請求項３の発明は、請求項１または２に記載の画像処理装置において、前記車両の動作を示す信号を受信する受信手段、をさらに備え、前記変更手段は、前記車両の動作に応じて、前記被写体の像の方向を変更する。   The invention according to claim 3 is the image processing apparatus according to claim 1 or 2, further comprising receiving means for receiving a signal indicating the operation of the vehicle, wherein the changing means is in accordance with the operation of the vehicle. Then, the direction of the image of the subject is changed.

また、請求項４の発明は、請求項３に記載の画像処理装置において、前記変更手段は、前記走行体の走行中は、前記被写体の像の方向を前記第１方向に変更する。   According to a fourth aspect of the present invention, in the image processing apparatus according to the third aspect, the changing means changes the direction of the image of the subject to the first direction while the traveling body is traveling.

また、請求項５の発明は、請求項３または４に記載の画像処理装置において、前記変更手段は、前記旋回体に設けられた作業装置の動作中は、前記被写体の像の方向を前記第２方向に変更する。   Further, the invention according to claim 5 is the image processing apparatus according to claim 3 or 4, wherein the changing means changes the direction of the image of the subject during the operation of the work device provided on the revolving structure. Change in two directions.

また、請求項６の発明は、請求項１ないし５のいずれかに記載の画像処理装置において、前記変更手段は、前記被写体の像の方向を変更する場合に、前記被写体の像の方向を段階的に変更し、前記被写体の像の方向が連続的に変わるアニメーション表示を前記表示装置に行わせる。   According to a sixth aspect of the present invention, in the image processing device according to any one of the first to fifth aspects, the changing means changes the direction of the subject image when the direction of the subject image is changed. The display device performs animation display in which the direction of the subject image changes continuously.

また、請求項７の発明は、請求項１ないし６のいずれかに記載の画像処理装置において、前記生成手段は、前記合成画像中に前記車両の外観を示す車両像を含める。   According to a seventh aspect of the present invention, in the image processing device according to any one of the first to sixth aspects, the generation unit includes a vehicle image indicating an appearance of the vehicle in the composite image.

また、請求項８の発明は、請求項７に記載の画像処理装置において、前記走行体に対する前記旋回体の旋回角度を取得する手段、をさらに備え、前記生成手段は、前記旋回角度に基づいて、前記走行体と前記旋回体との相対的な位置関係を示す前記車両像を前記合成画像に含める。   The invention according to claim 8 is the image processing apparatus according to claim 7, further comprising means for obtaining a turning angle of the turning body with respect to the traveling body, wherein the generation means is based on the turning angle. The vehicle image indicating the relative positional relationship between the traveling body and the turning body is included in the composite image.

また、請求項９の発明は、請求項７または８に記載の画像処理装置において、前記旋回体に設けられた作業装置の関節部の回動角度を取得する手段、をさらに備え、前記生成手段は、前記回動角度に基づいて、前記作業装置の伸縮状態を示す前記車両像を前記合成画像に含める。   The invention according to claim 9 is the image processing apparatus according to claim 7 or 8, further comprising means for acquiring a rotation angle of a joint portion of a working device provided in the revolving structure, and the generation means Includes the vehicle image indicating the expansion / contraction state of the working device in the composite image based on the rotation angle.

また、請求項１０の発明は、請求項７に記載の画像処理装置において、前記生成手段は、前記合成画像中に含まれる前記被写体としての前記走行体の像に重ねて、前記旋回体の外観を示す旋回体像を含める。   The invention according to claim 10 is the image processing apparatus according to claim 7, wherein the generation unit overlaps an image of the traveling body as the subject included in the composite image, and the appearance of the revolving body A revolving body image showing is included.

また、請求項１１の発明は、請求項１に記載の画像処理装置において、前記旋回体には、伸縮可能な作業装置が設けられており、前記車両の動作を示す信号を受信する受信手段と、前記合成画像が示す前記車両の周辺の範囲において、前記走行体が走行した場合に前記走行体が移動する第１領域、前記旋回体が旋回した場合に前記作業装置が移動する第２領域、及び、前記作業装置が伸縮した場合に前記作業装置が移動する第３領域をそれぞれ特定する特定手段と、をさらに備え、前記生成手段は、前記車両の動作に応じて、前記第１ないし第３領域のうち現時点で動作中の前記車両の部位に関連する領域の指標を、他の領域の指標よりも強調して前記合成画像に含める。   The invention according to claim 11 is the image processing apparatus according to claim 1, wherein the revolving body is provided with a telescopic work device, and receiving means for receiving a signal indicating the operation of the vehicle. A first area where the traveling body moves when the traveling body travels in a range around the vehicle indicated by the composite image; a second area where the working device moves when the turning body turns; And a specifying unit that specifies each of the third areas to which the working device moves when the working device expands and contracts, wherein the generating unit performs the first to third according to the operation of the vehicle. The index of the area related to the part of the vehicle currently operating in the area is included in the composite image with emphasis over the indices of the other areas.

また、請求項１２の発明は、走行体と、前記走行体上に旋回可能に設けられる旋回体と、前記旋回体に設けられる伸縮可能な作業装置とを備えた車両で用いられる画像処理装置であって、前記車両に設けられる複数のカメラで取得された複数の画像を用いて、仮想視点からみた前記車両の周辺の被写体を示す合成画像を生成する生成手段と、前記車両の動作を示す信号を受信する受信手段と、前記合成画像が示す前記車両の周辺の範囲において、前記走行体が走行した場合に前記走行体が移動する第１領域、前記旋回体が旋回した場合に前記作業装置が移動する第２領域、及び、前記作業装置が伸縮した場合に前記作業装置が移動する第３領域をそれぞれ特定する特定手段と、をさらに備え、前記生成手段は、前記車両の動作に応じて、前記第１ないし第３領域のうち現時点で動作中の前記車両の部位に関連する領域の指標を、他の領域の指標よりも強調して前記合成画像に含める。   According to a twelfth aspect of the present invention, there is provided an image processing apparatus used in a vehicle including a traveling body, a revolving body provided on the traveling body so as to be capable of turning, and a telescopic work device provided on the revolving body. A generating unit configured to generate a composite image showing a subject around the vehicle viewed from a virtual viewpoint using a plurality of images acquired by a plurality of cameras provided in the vehicle; and a signal indicating an operation of the vehicle And a first area where the traveling body moves when the traveling body travels in a range around the vehicle indicated by the composite image, and the work device when the revolving body turns. A second means for moving, and a specifying means for specifying each of the third areas to which the work device moves when the work device expands and contracts, and the generating means is adapted to the operation of the vehicle, Above One to indication of sites relevant region of the vehicle during operation at the moment of the third region, emphatically than an indication of other areas including the composite image.

また、請求項１３の発明は、走行体と前記走行体上に旋回可能に設けられる旋回体とを備えた車両であって、前記車両に設けられる複数のカメラで取得された複数の画像を用いて、仮想視点からみた前記車両の周辺の被写体を示す合成画像を生成する生成手段と、前記合成画像を表示装置に出力して表示させる出力手段と、前記走行体を基準とする第１方向、及び、前記旋回体を基準とする第２方向の一方から他方に、前記合成画像に含まれる前記被写体の像の方向を変更する変更手段と、を備えている。   According to a thirteenth aspect of the present invention, there is provided a vehicle including a traveling body and a revolving body that is turnably provided on the traveling body, and uses a plurality of images acquired by a plurality of cameras provided on the vehicle. Generating means for generating a composite image showing a subject around the vehicle as viewed from a virtual viewpoint, output means for outputting and displaying the composite image on a display device, a first direction based on the traveling body, And changing means for changing the direction of the image of the subject included in the composite image from one to the other in the second direction with respect to the swivel body.

また、請求項１４の発明は、走行体と前記走行体上に旋回可能に設けられる旋回体とを備えた車両で用いられる画像処理方法であって、前記車両に設けられる複数のカメラで取得された複数の画像を用いて、仮想視点からみた前記車両の周辺の被写体を示す合成画像を生成する工程と、前記合成画像を表示装置に出力して表示させる工程と、前記走行体を基準とする第１方向、及び、前記旋回体を基準とする第２方向の一方から他方に、前記合成画像に含まれる前記被写体の像の方向を変更する工程と、を備えている。   The invention according to claim 14 is an image processing method used in a vehicle including a traveling body and a revolving body that is turnably provided on the traveling body, and is acquired by a plurality of cameras provided in the vehicle. Using the plurality of images to generate a composite image showing a subject around the vehicle viewed from a virtual viewpoint, outputting and displaying the composite image on a display device, and using the traveling body as a reference Changing the direction of the image of the subject included in the composite image from one of the first direction and the second direction relative to the swivel body to the other.

また、請求項１５の発明は、走行体と前記走行体上に旋回可能に設けられる旋回体とを備えた車両で用いられる画像処理装置に含まれるコンピュータによって実行可能なプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、前記車両に設けられる複数のカメラで取得された複数の画像を用いて、仮想視点からみた前記車両の周辺の被写体を示す合成画像を生成する工程と、前記合成画像を表示装置に出力して表示させる工程と、前記走行体を基準とする第１方向、及び、前記旋回体を基準とする第２方向の一方から他方に、前記合成画像に含まれる前記被写体の像の方向を変更する工程と、を実行させる。   The invention of claim 15 is a program that can be executed by a computer included in an image processing apparatus used in a vehicle that includes a traveling body and a turning body that is turnably provided on the traveling body. The execution by the computer generates, in the computer, a composite image showing a subject around the vehicle viewed from a virtual viewpoint using a plurality of images acquired by a plurality of cameras provided in the vehicle; The synthesized image is included in the synthesized image from one of the step of outputting the synthesized image to a display device for display, the first direction based on the traveling body, and the second direction based on the revolving body. Changing the direction of the image of the subject.

請求項１から１１、並びに、１３から１５の発明によれば、合成画像に含まれる被写体の像の方向を、走行体を基準とする第１方向及び旋回体を基準とする第２方向の一方から他方に変更する。このため、合成画像に含まれる被写体の像の方向を状況に応じて最適な方向に変更できるため、ユーザは被写体の位置を直感的に把握できる。   According to the first to eleventh and thirteenth to fifteenth inventions, the direction of the subject image included in the composite image is one of the first direction based on the traveling body and the second direction based on the revolving body. Change from one to the other. For this reason, since the direction of the image of the subject included in the composite image can be changed to an optimal direction according to the situation, the user can intuitively grasp the position of the subject.

また、特に請求項２の発明によれば、複数のカメラが旋回体に設けられるため、比較的高い位置から車両の周辺を撮影することができ、合成画像中における被写体の像の歪を少なくすることができる。   In particular, according to the invention of claim 2, since the plurality of cameras are provided on the revolving structure, the periphery of the vehicle can be photographed from a relatively high position, and the distortion of the image of the subject in the composite image is reduced. be able to.

また、特に請求項３の発明によれば、合成画像に含まれる被写体の像の方向を車両の動作に応じて変更するため、現時点での車両の動作において、ユーザが直感的に把握しやすい方向に被写体の像の方向を向けることができる。   In particular, according to the invention of claim 3, the direction of the image of the subject included in the composite image is changed according to the operation of the vehicle. Therefore, the direction in which the user can easily grasp intuitively in the current operation of the vehicle. The direction of the subject image can be directed to

また、特に請求項４の発明によれば、走行体の走行中は被写体の像の方向を走行体を基準とする第１方向に向ける。このため、走行体の走行中において、ユーザが直感的に把握しやすい方向に被写体の像の方向を向けることができる。   In particular, according to the invention of claim 4, the direction of the image of the subject is directed to the first direction with reference to the traveling body during traveling of the traveling body. For this reason, during the traveling of the traveling body, the direction of the subject image can be directed in a direction that the user can easily grasp intuitively.

また、特に請求項５の発明によれば、旋回体に設けられた作業装置の動作中は、被写体の像の方向を旋回体を基準とする第２方向に向ける。このため、作業装置の動作中において、ユーザが直感的に把握しやすい方向に被写体の像の方向を向けることができる。   In particular, according to the invention of claim 5, during the operation of the working device provided on the revolving structure, the direction of the image of the subject is directed to the second direction with respect to the revolving structure. For this reason, during the operation of the working device, the direction of the subject image can be directed in a direction that is easily grasped by the user intuitively.

また、特に請求項６の発明によれば、被写体の像の方向を変更する場合に、表示装置において被写体の像の方向が連続的に変わるアニメーション表示がなされる。このため、被写体の像の方向がどのように変更されたかをユーザが直感的に把握することができる。   In particular, according to the invention of claim 6, when the direction of the subject image is changed, the display device performs an animation display in which the direction of the subject image is continuously changed. Therefore, the user can intuitively understand how the direction of the subject image has been changed.

また、特に請求項７の発明によれば、合成画像中に車両像が含まれるため、ユーザは車両と車両の周辺の被写体との位置関係を容易に把握することができる。   In particular, according to the invention of claim 7, since the vehicle image is included in the composite image, the user can easily grasp the positional relationship between the vehicle and the subject around the vehicle.

また、特に請求項８の発明によれば、実際の走行体と旋回体との相対的な位置関係を示す車両像が合成画像に含まれるため、ユーザは車両の状態を直感的に把握することができる。   In particular, according to the invention of claim 8, since the composite image includes a vehicle image indicating the relative positional relationship between the actual traveling body and the turning body, the user can intuitively grasp the state of the vehicle. Can do.

また、特に請求項９の発明によれば、実際の作業装置の伸縮状態を示す車両像が合成画像に含まれるため、ユーザは車両の状態を直感的に把握することができる。   In particular, according to the ninth aspect of the present invention, since the composite image includes the vehicle image indicating the actual expansion / contraction state of the working device, the user can intuitively grasp the vehicle state.

また、特に請求項１０の発明によれば、合成画像中に車両像を比較的容易に含めることができる。   In particular, according to the invention of claim 10, the vehicle image can be included in the composite image relatively easily.

また、請求項１１，１２の発明によれば、合成画像中に、現時点で動作中の車両の部位に関連する領域の指標が、他の領域の指標よりも強調して示されるため、動作中の車両の部位と接触する可能性のある被写体をユーザが直感的に把握することができる。   According to the inventions of claims 11 and 12, since the index of the region related to the part of the currently operating vehicle is emphasized in the composite image more than the index of the other region, The user can intuitively grasp a subject that may come into contact with the part of the vehicle.

図１は、本実施の形態に係る作業車両を示す図である。FIG. 1 is a diagram showing a work vehicle according to the present embodiment. 図２は、第１の実施の形態の画像処理装置の構成を示す図である。FIG. 2 is a diagram illustrating a configuration of the image processing apparatus according to the first embodiment. 図３は、複数のカメラが撮影する方向を示す図である。FIG. 3 is a diagram illustrating directions in which a plurality of cameras capture images. 図４は、画像合成部が合成画像を生成する手法を説明する図である。FIG. 4 is a diagram illustrating a method in which the image composition unit generates a composite image. 図５は、画像合成部が車両像を生成する手法を説明する図である。FIG. 5 is a diagram illustrating a method in which the image composition unit generates a vehicle image. 図６は、車両像の一例を示す図である。FIG. 6 is a diagram illustrating an example of a vehicle image. 図７は、車両像の一例を示す図である。FIG. 7 is a diagram illustrating an example of a vehicle image. 図８は、車両像の一例を示す図である。FIG. 8 is a diagram illustrating an example of a vehicle image. 図９は、合成画像の一例を示す図である。FIG. 9 is a diagram illustrating an example of a composite image. 図１０は、合成画像の一例を示す図である。FIG. 10 is a diagram illustrating an example of a composite image. 図１１は、第１の実施の形態の画像処理装置の処理の流れを示す図である。FIG. 11 is a diagram illustrating a processing flow of the image processing apparatus according to the first embodiment. 図１２は、被写体方向を変更する際に表示装置に表示される画像を示す図である。FIG. 12 is a diagram illustrating an image displayed on the display device when the subject direction is changed. 図１３は、合成画像中に車両像を含める手法を説明する図である。FIG. 13 is a diagram illustrating a method for including a vehicle image in a composite image. 図１４は、移動予測線を含む合成画像の一例を示す図である。FIG. 14 is a diagram illustrating an example of a composite image including a movement prediction line. 図１５は、第４の実施の形態の画像処理装置の構成を示す図である。FIG. 15 is a diagram illustrating a configuration of an image processing apparatus according to the fourth embodiment. 図１６は、第４の実施の形態の画像処理装置の処理の流れを示す図である。FIG. 16 is a diagram illustrating a processing flow of the image processing apparatus according to the fourth embodiment. 図１７は、予測線重畳処理の詳細な流れを示す図である。FIG. 17 is a diagram illustrating a detailed flow of the prediction line superimposing process. 図１８は、走行予測線が強調された合成画像の一例を示す図である。FIG. 18 is a diagram illustrating an example of a composite image in which a travel prediction line is emphasized. 図１９は、旋回予測線が強調された合成画像の一例を示す図である。FIG. 19 is a diagram illustrating an example of a composite image in which a turning prediction line is emphasized. 図２０は、伸縮予測線が強調された合成画像の一例を示す図である。FIG. 20 is a diagram illustrating an example of a composite image in which the expansion / contraction prediction line is emphasized. 図２１は、合成画像の生成に用いる投影面を示す図である。FIG. 21 is a diagram illustrating a projection plane used for generating a composite image. 図２２は、合成画像の一例を示す図である。FIG. 22 is a diagram illustrating an example of a composite image. 図２３は、合成画像の一例を示す図である。FIG. 23 is a diagram illustrating an example of a composite image.

以下、図面を参照しつつ本発明の実施の形態について説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

＜１．第１の実施の形態＞
＜１−１．作業車両の構成＞
図１は、本実施の形態に係る作業車両１を示す図である。作業車両１は、例えば、油圧ショベルであり、走行体１１と、旋回体１２と、作業装置１３とを備えている。 <1. First Embodiment>
<1-1. Configuration of work vehicle>
FIG. 1 is a diagram showing a work vehicle 1 according to the present embodiment. The work vehicle 1 is, for example, a hydraulic excavator, and includes a traveling body 11, a turning body 12, and a work device 13.

走行体１１は、作業車両１の全体を移動させる部位である。走行体１１は、クローラ１１ａを備え、このクローラ１１ａを油圧モータによって駆動させることによって走行体１１が走行する。すなわち、作業車両１の全体が移動する。   The traveling body 11 is a part that moves the entire work vehicle 1. The traveling body 11 includes a crawler 11a, and the traveling body 11 travels by driving the crawler 11a with a hydraulic motor. That is, the entire work vehicle 1 moves.

旋回体１２は、走行体１１上に設けられる部位である。旋回体１２は、走行体１１と旋回ベアリング１４を介して接続され、走行体１１に対して旋回可能とされている。旋回体１２は、油圧モータによって走行体１１に対して旋回する。   The swivel body 12 is a part provided on the traveling body 11. The swivel body 12 is connected to the traveling body 11 via a swivel bearing 14 and is capable of swiveling with respect to the traveling body 11. The turning body 12 turns with respect to the traveling body 11 by a hydraulic motor.

作業装置１３は、掘削等の作業に用いる伸縮可能な部位である。作業装置１３は、旋回体１２に設けられ、ブーム１６と、アーム１７と、バケット１８とを有している。ブーム１６は、その基端部にある第１関節部１６１において、旋回体１２の前部の左右略中央に回動可能に接続されている。また、アーム１７は、その基端部にある第２関節部１７１において、ブーム１６の先端部に回動可能に連結されている。さらに、バケット１８は、第３関節部１８１において、アーム１７の先端部に回動可能に連結されている。なお、作業装置１３の先端部位となるアタッチメントとして、本実施の形態ではバケット１８が採用されているが、油圧ブレーカや油圧クラッシャなどバケット以外のアタッチメントを採用してもよい。   The work device 13 is a part that can be expanded and contracted for work such as excavation. The work device 13 is provided on the revolving structure 12 and includes a boom 16, an arm 17, and a bucket 18. The boom 16 is pivotally connected to the substantially right and left center of the front portion of the revolving structure 12 at the first joint portion 161 at the base end portion. The arm 17 is rotatably connected to the distal end portion of the boom 16 at the second joint portion 171 at the base end portion. Further, the bucket 18 is rotatably connected to the distal end portion of the arm 17 at the third joint portion 181. In addition, although the bucket 18 is employ | adopted in this Embodiment as an attachment used as the front-end | tip part of the working apparatus 13, you may employ | adopt attachments other than buckets, such as a hydraulic breaker and a hydraulic crusher.

また、作業装置１３は、ブーム１６、アーム１７及びバケット１８のそれぞれに対応する油圧シリンダ１６ａ，１７ａ，１８ａを備えている。これらの油圧シリンダ１６ａ，１７ａ，１８ａの駆動により、第１ないし第３関節部１６１，１７１，１８１がそれぞれ回動し、作業装置１３が伸縮する。   Further, the work device 13 includes hydraulic cylinders 16a, 17a, and 18a corresponding to the boom 16, the arm 17, and the bucket 18, respectively. By driving the hydraulic cylinders 16a, 17a, and 18a, the first to third joint portions 161, 171, and 181 rotate, and the working device 13 expands and contracts.

また、旋回体１２には、エンジン１９が設けられている。エンジン１９の動力は、油圧ポンプで油圧力に変換される。この油圧力は、走行体１１の走行、旋回体１２の旋回、及び、作業装置１３の伸縮などに必要な駆動力となる。   The revolving body 12 is provided with an engine 19. The power of the engine 19 is converted into oil pressure by a hydraulic pump. This hydraulic pressure becomes a driving force necessary for traveling of the traveling body 11, turning of the revolving body 12, and expansion / contraction of the work device 13.

また、旋回体１２の前部左側には、運転室１５が設けられている。ユーザ（運転者）は、この運転室１５に設けられた操作レバーを動かすことによって、走行体１１の走行、旋回体１２の旋回、及び、作業装置１３の伸縮などの作業車両１の動作に関する操作を行うことが可能である。   An operator cab 15 is provided on the left side of the front part of the revolving structure 12. A user (driver) moves an operation lever provided in the driver's cab 15 to operate the work vehicle 1 such as traveling of the traveling body 11, turning of the revolving body 12, and expansion / contraction of the work device 13. Can be done.

ユーザは、旋回体１２の前方を向いた状態で運転室１５に着座し、作業車両１を運転することになる。したがって、ユーザの前方となる方向は、旋回体１２の前方となり、作業装置１３が伸縮する方向と一致する。一方で、走行体１１に対して旋回体１２が旋回可能であるため、ユーザの前方（旋回体１２の前方）となる方向は、必ずしも走行体１１の進行方向とは一致しない。   The user sits in the driver's cab 15 while facing the front of the revolving structure 12 and drives the work vehicle 1. Therefore, the direction in front of the user is in front of the revolving structure 12 and coincides with the direction in which the work device 13 extends and contracts. On the other hand, since the turning body 12 can turn with respect to the traveling body 11, the direction in front of the user (in front of the turning body 12) does not necessarily coincide with the traveling direction of the traveling body 11.

また、運転室１５には、表示装置３と、この表示装置３で表示する画像を処理する画像処理装置２とが設けられている。画像処理装置２は、作業車両１の周辺の様子を示す画像を生成し、表示装置３に出力して表示させることが可能である。ユーザは、このようにして表示装置３に表示された画像を視認することで、作業車両１の周辺に存在する物体を把握できるようになっている。   The cab 15 is provided with a display device 3 and an image processing device 2 for processing an image displayed on the display device 3. The image processing device 2 can generate an image showing a state around the work vehicle 1, and can output and display the image on the display device 3. The user can grasp an object existing around the work vehicle 1 by visually recognizing the image displayed on the display device 3 in this way.

＜１−２．画像処理装置の構成＞
図２は、画像処理装置２の構成を主に示す図である。図に示すように、画像処理装置２は、表示装置３、及び、複数のカメラ５と接続されている。表示装置３は、例えば、液晶パネルなどを備えた薄型のディスプレイであり、各種の情報や画像を表示する。表示装置３は、ユーザが運転室１５に着座した状態でその画面を視認できるように、運転室１５の車室内の前方に配置される。 <1-2. Configuration of Image Processing Device>
FIG. 2 is a diagram mainly showing the configuration of the image processing apparatus 2. As shown in the figure, the image processing device 2 is connected to a display device 3 and a plurality of cameras 5. The display device 3 is a thin display having a liquid crystal panel or the like, for example, and displays various information and images. The display device 3 is disposed in front of the passenger compartment of the cab 15 so that the user can view the screen while sitting in the cab 15.

複数のカメラ５はそれぞれ、レンズと撮像素子とを備えており、作業車両１の周辺を示す画像を電子的に取得する。複数のカメラ５はそれぞれ、旋回体１２の適位置に配置され、取得した画像を画像処理装置２に入力する。複数のカメラ５は、フロントカメラ５Ｆ、リアカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒを含んでいる。これら４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは、互いに異なる位置に配置され、作業車両１の周辺の異なる方向を撮影する。   Each of the plurality of cameras 5 includes a lens and an image sensor, and electronically acquires an image showing the periphery of the work vehicle 1. Each of the plurality of cameras 5 is disposed at an appropriate position of the revolving unit 12 and inputs the acquired image to the image processing apparatus 2. The multiple cameras 5 include a front camera 5F, a rear camera 5B, a left side camera 5L, and a right side camera 5R. These four cameras 5F, 5B, 5L, and 5R are arranged at different positions, and photograph different directions around the work vehicle 1.

図３は、カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒが撮影する方向を示す図である。フロントカメラ５Ｆは、旋回体１２の前端に設けられ、その光軸５Ｆａは旋回体１２の前方に向けられる。リアカメラ５Ｂは、旋回体１２の後端に設けられ、その光軸５Ｂａは旋回体１２の後方に向けられる。左サイドカメラ５Ｌは旋回体１２の左側に設けられ、その光軸５Ｌａは旋回体１２の左側方に向けられる。また、右サイドカメラ５Ｒは旋回体１２の右側に設けられ、その光軸５Ｒａは旋回体１２の右側方に向けられる。   FIG. 3 is a diagram illustrating the direction in which the cameras 5F, 5B, 5L, and 5R capture images. The front camera 5 </ b> F is provided at the front end of the revolving structure 12, and its optical axis 5 </ b> Fa is directed to the front of the revolving structure 12. The rear camera 5 </ b> B is provided at the rear end of the swing body 12, and its optical axis 5 </ b> Ba is directed to the rear of the swing body 12. The left side camera 5 </ b> L is provided on the left side of the revolving unit 12, and its optical axis 5 </ b> La is directed to the left side of the revolving unit 12. The right side camera 5 </ b> R is provided on the right side of the revolving unit 12, and its optical axis 5 </ b> Ra is directed to the right side of the revolving unit 12.

これらのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒのレンズには魚眼レンズなどの広角レンズが採用され、各カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは１８０度以上の画角θを有している。このため、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒを利用することで、作業車両１の全周囲を撮影することが可能である。   A wide-angle lens such as a fisheye lens is adopted as the lens of these cameras 5F, 5B, 5L, 5R, and each camera 5F, 5B, 5L, 5R has an angle of view θ of 180 degrees or more. For this reason, it is possible to photograph the entire periphery of the work vehicle 1 by using the four cameras 5F, 5B, 5L, and 5R.

図２に戻り、画像処理装置２は、画像取得部２２と、画像合成部２３と、記憶部２４と、切替スイッチ２５と、信号受信部２６と、制御部２１とを備えている。   Returning to FIG. 2, the image processing apparatus 2 includes an image acquisition unit 22, an image synthesis unit 23, a storage unit 24, a changeover switch 25, a signal reception unit 26, and a control unit 21.

画像取得部２２は、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒでそれぞれ得られた画像を取得する。画像取得部２２は、アナログの画像をデジタルの画像に変換する機能や、画像の明るさを調整する機能など基本的な画像処理機能を有している。画像取得部２２は、取得した画像に所定の画像処理を行い、処理後の画像を画像合成部２３に入力する。   The image acquisition unit 22 acquires images obtained by the four cameras 5F, 5B, 5L, and 5R, respectively. The image acquisition unit 22 has basic image processing functions such as a function of converting an analog image into a digital image and a function of adjusting the brightness of the image. The image acquisition unit 22 performs predetermined image processing on the acquired image and inputs the processed image to the image composition unit 23.

画像合成部２３は、例えば、各種の画像処理が可能なハードウェア回路である。画像合成部２３は、複数のカメラ５でそれぞれ取得された複数の画像を用いて、仮想視点からみた作業車両１の周辺の被写体を示す合成画像を生成する。画像合成部２３が仮想視点からみた合成画像を生成する手法については後述する。   The image composition unit 23 is a hardware circuit capable of various image processing, for example. The image composition unit 23 uses the plurality of images respectively acquired by the plurality of cameras 5 to generate a composite image that shows subjects around the work vehicle 1 viewed from the virtual viewpoint. A method by which the image composition unit 23 generates a composite image viewed from a virtual viewpoint will be described later.

記憶部２４は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部２４は、車両データ２４ａ、及び、プログラム２４ｂを記憶している。車両データ２４ａは、作業車両１の外観を示すビットマップなどのイメージデータである。また、プログラム２４ｂは画像処理装置２のファームウェアである。   The storage unit 24 is a nonvolatile memory such as a flash memory, for example, and stores various types of information. The storage unit 24 stores vehicle data 24a and a program 24b. The vehicle data 24 a is image data such as a bitmap that shows the appearance of the work vehicle 1. The program 24b is firmware for the image processing apparatus 2.

切替スイッチ２５は、ユーザの操作を受け付ける操作部材である。ユーザが切替スイッチ２５を操作した場合は、その操作を示す信号が制御部２１に入力される。切替スイッチ２５は、画像処理装置２の本体部とは別に、運転室１５に着座したユーザが操作しやすい位置に配置してもよい。   The changeover switch 25 is an operation member that receives a user operation. When the user operates the changeover switch 25, a signal indicating the operation is input to the control unit 21. The changeover switch 25 may be arranged at a position where it is easy for a user sitting in the cab 15 to operate, separately from the main body of the image processing apparatus 2.

信号受信部２６は、画像処理装置２とは別に作業車両１に設けられる他の装置からの信号を受信する。信号受信部２６は、受信した信号を制御部２１に入力する。信号受信部２６は、操作レバー６１、旋回センサ６２及び関節センサ６３からの信号を受信する。   The signal receiving unit 26 receives signals from other devices provided in the work vehicle 1 separately from the image processing device 2. The signal receiving unit 26 inputs the received signal to the control unit 21. The signal receiving unit 26 receives signals from the operation lever 61, the turning sensor 62, and the joint sensor 63.

操作レバー６１は、走行体１１の走行、旋回体１２の旋回、及び、作業装置１３の伸縮などの作業車両１の動作に関する操作をユーザが行うための操作部材である。信号受信部２６は、操作レバー６１からユーザが行った操作内容を示す操作信号を受信する。作業車両１はユーザの操作レバー６１の操作に応じて動作するため、この操作信号は作業車両１の動作を示すことになる。   The operation lever 61 is an operation member for the user to perform operations related to the operation of the work vehicle 1 such as traveling of the traveling body 11, turning of the revolving body 12, and expansion and contraction of the work device 13. The signal receiving unit 26 receives an operation signal indicating the operation content performed by the user from the operation lever 61. Since the work vehicle 1 operates according to the operation of the operation lever 61 by the user, the operation signal indicates the operation of the work vehicle 1.

旋回センサ６２は、走行体１１に対して旋回体１２の旋回した角度である旋回角度を検出する。具体的には、旋回センサ６２は、走行体１１の前方を基準とした場合の旋回体１２の前方の角度を旋回角度として検出する。信号受信部２６は、旋回センサ６２からの信号を受信して、旋回角度を取得する。この旋回角度は、走行体１１と旋回体１２との相対的な位置関係を示すことになる。   The turning sensor 62 detects a turning angle that is the turning angle of the turning body 12 with respect to the traveling body 11. Specifically, the turning sensor 62 detects a forward angle of the turning body 12 with respect to the front of the traveling body 11 as a turning angle. The signal receiving unit 26 receives a signal from the turning sensor 62 and acquires a turning angle. This turning angle indicates a relative positional relationship between the traveling body 11 and the turning body 12.

関節センサ６３は、作業装置１３の３つの関節部１６１，１７１，１８１それぞれに設けられ、作業装置１３が当該関節部において回動した角度である回動角度を検出する。信号受信部２６は、３つの関節センサ６３からの信号を受信して、作業装置１３の３つの関節部１６１，１７１，１８１それぞれの回動角度を取得する。これらの回動角度は、作業装置１３の伸縮状態を示すことになる。   The joint sensor 63 is provided in each of the three joint portions 161, 171, and 181 of the work device 13, and detects a rotation angle that is an angle at which the work device 13 is rotated at the joint portion. The signal receiving unit 26 receives signals from the three joint sensors 63 and acquires the rotation angles of the three joint portions 161, 171, and 181 of the work device 13. These rotation angles indicate the expansion / contraction state of the working device 13.

制御部２１は、画像処理装置２の全体を統括的に制御するマイクロコンピュータである。制御部２１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えている。制御部２１の各種の機能は、記憶部２４に記憶されたプログラム２４ｂに従ってＣＰＵが演算処理を行うことで実現される。図中に示す合成制御部２１ａ、方向変更部２１ｂ、及び、画像出力部２１ｃは、プログラム２４ｂに従ってＣＰＵが演算処理を行うことで実現される機能の一部である。   The control unit 21 is a microcomputer that comprehensively controls the entire image processing apparatus 2. The control unit 21 includes a CPU, a RAM, a ROM, and the like. The various functions of the control unit 21 are realized by the CPU performing arithmetic processing according to the program 24b stored in the storage unit 24. The composition control unit 21a, the direction changing unit 21b, and the image output unit 21c shown in the drawing are some of the functions realized by the CPU performing arithmetic processing according to the program 24b.

合成制御部２１ａは、画像合成部２３で実行される画像処理を制御する。合成制御部２１ａは、例えば、合成画像の生成に必要なパラメータを画像合成部２３に与える。また、方向変更部２１ｂは、画像合成部２３が生成する合成画像に含まれる被写体の像の方向を変更する（詳細は後述。）。   The composition control unit 21 a controls image processing executed by the image composition unit 23. For example, the composition control unit 21a provides the image composition unit 23 with parameters necessary for generating a composite image. Further, the direction changing unit 21b changes the direction of the subject image included in the composite image generated by the image combining unit 23 (details will be described later).

また、画像出力部２１ｃは、画像合成部２３が生成した合成画像を出力インターフェイス２７を介して表示装置３に出力する。これにより、画像出力部２１ｃは、表示装置３に合成画像を表示させる。   Further, the image output unit 21 c outputs the composite image generated by the image composition unit 23 to the display device 3 via the output interface 27. As a result, the image output unit 21c causes the display device 3 to display the composite image.

＜１−３．合成画像の生成＞
次に、画像合成部２３が合成画像を生成する手法について説明する。図４は、画像合成部２３が合成画像を生成する手法を説明する図である。 <1-3. Generation of composite image>
Next, a method in which the image composition unit 23 generates a composite image will be described. FIG. 4 is a diagram illustrating a method in which the image composition unit 23 generates a composite image.

旋回体１２に設けられたフロントカメラ５Ｆ、リアカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒのそれぞれで撮影が行われると、作業車両１の旋回体１２の前方、後方、左側方及び右側方をそれぞれ示す４つの画像ＧＦ，ＧＢ，ＧＬ，ＧＲが取得される。これら４つの画像ＧＦ，ＧＢ，ＧＬ，ＧＲには、作業車両１の全周囲のデータが含まれている。   When shooting is performed with each of the front camera 5F, the rear camera 5B, the left side camera 5L, and the right side camera 5R provided on the turning body 12, the front, rear, left side, and left side of the turning body 12 of the work vehicle 1 Four images GF, GB, GL, GR indicating the right side are acquired. These four images GF, GB, GL, GR include data of the entire periphery of the work vehicle 1.

画像合成部２３は、まず、これら４つの画像ＧＦ，ＧＢ，ＧＬ，ＧＲに含まれるデータ（各画素の値）を、仮想的な三次元空間における立体曲面である投影面ＴＳに投影する。投影面ＴＳは、例えば略半球状（お椀形状）をしている。この投影面ＴＳの中心部分（お椀の底部分）は、作業車両１の位置（旋回体１２の位置）として定められている。一方、投影面ＴＳの中心以外の部分は、作業車両１の周辺の領域に相当し、画像ＧＦ，ＧＢ，ＧＬ，ＧＲのいずれかと対応付けられている。画像合成部２３は、投影面ＴＳの中心以外の部分に画像ＧＦ，ＧＢ，ＧＬ，ＧＲに含まれるデータを投影する。   The image composition unit 23 first projects data (values of each pixel) included in these four images GF, GB, GL, GR onto a projection surface TS that is a three-dimensional curved surface in a virtual three-dimensional space. The projection surface TS has, for example, a substantially hemispherical shape (a bowl shape). The center part (bottom part of the bowl) of the projection surface TS is defined as the position of the work vehicle 1 (position of the turning body 12). On the other hand, a portion other than the center of the projection surface TS corresponds to a region around the work vehicle 1 and is associated with one of the images GF, GB, GL, and GR. The image composition unit 23 projects data included in the images GF, GB, GL, GR on a portion other than the center of the projection surface TS.

画像合成部２３は、投影面ＴＳにおいて旋回体１２の前方に相当する領域に、フロントカメラ５Ｆの画像ＧＦのデータを投影する。また、画像合成部２３は、投影面ＴＳにおいて旋回体１２の後方に相当する領域に、リアカメラ５Ｂの画像ＧＢのデータを投影する。さらに、画像合成部２３は、投影面ＴＳにおいて旋回体１２の左側方に相当する領域に左サイドカメラ５Ｌの画像ＧＬのデータを投影し、投影面ＴＳにおいて旋回体１２の右側方に相当する領域に右サイドカメラ５Ｒの画像ＧＲのデータを投影する。   The image composition unit 23 projects the data of the image GF of the front camera 5F on a region corresponding to the front of the revolving structure 12 on the projection surface TS. Further, the image composition unit 23 projects the data of the image GB of the rear camera 5B on an area corresponding to the rear of the revolving structure 12 on the projection surface TS. Further, the image composition unit 23 projects the data of the image GL of the left side camera 5L on the area corresponding to the left side of the revolving body 12 on the projection surface TS, and the area corresponding to the right side of the revolving body 12 on the projection surface TS. The data of the image GR of the right side camera 5R is projected onto.

このように投影面ＴＳの各部分にデータを投影すると、次に、画像合成部２３は、三次元空間における作業車両１の位置の直上に、視線方向を直下とした仮想視点ＶＰを設定する。そして、画像合成部２３は、投影面ＴＳのうち、設定した仮想視点ＶＰからみて所定の視野角に含まれる領域を画像として切り出す。これにより、画像合成部２３は、仮想視点ＶＰからみた作業車両１の周辺の被写体を示す合成画像ＣＰを生成する。   When data is projected onto each part of the projection surface TS in this way, the image composition unit 23 then sets a virtual viewpoint VP with the line-of-sight direction directly below the position of the work vehicle 1 in the three-dimensional space. Then, the image composition unit 23 cuts out an area included in a predetermined viewing angle as seen from the set virtual viewpoint VP in the projection plane TS. As a result, the image composition unit 23 generates a composite image CP indicating the subject around the work vehicle 1 as viewed from the virtual viewpoint VP.

画像合成部２３は、図中の矢印ＡＲに示すように、仮想視点ＶＰをその視線方向を軸にして回転することができる。したがって、画像合成部２３は、含まれる被写体の像の方向が異なる合成画像ＣＰを生成することができる。例えば、図４中上部の合成画像ＣＰ１では、合成画像ＣＰの上下方向が旋回体１２の前後方向と一致しており、旋回体１２の前方にある被写体の像Ｓｂ１が合成画像ＣＰの上方に位置している。これに対して、図４中下部の合成画像ＣＰ２では、合成画像ＣＰの上下方向が旋回体１２の前後方向と一致しておらず、旋回体１２の右側前方にある被写体の像Ｓｂ２が合成画像ＣＰの上方に位置している。以下、仮想視点ＶＰを視線方向を軸にして回転することを「仮想視点ＶＰをロールする」という。   The image composition unit 23 can rotate the virtual viewpoint VP around the line-of-sight direction as indicated by an arrow AR in the drawing. Therefore, the image composition unit 23 can generate a composite image CP in which the directions of the included subject images are different. For example, in the upper composite image CP1 in FIG. 4, the vertical direction of the composite image CP coincides with the front-rear direction of the swivel body 12, and the subject image Sb1 in front of the swivel body 12 is positioned above the composite image CP. doing. On the other hand, in the composite image CP2 in the lower part of FIG. 4, the vertical direction of the composite image CP does not coincide with the front-rear direction of the swivel body 12, and the subject image Sb2 on the right front side of the swivel body 12 is the composite image. Located above the CP. Hereinafter, rotating the virtual viewpoint VP around the line-of-sight direction is referred to as “rolling the virtual viewpoint VP”.

また、画像合成部２３は、合成画像ＣＰ中の作業車両１の位置に相当する領域に、作業車両１の上方から見た外観を示す車両像９０を含めるようになっている。これにより、合成画像ＣＰは、作業車両１の周辺の様子とともに、作業車両１の様子も示すことができる。車両像９０は、例えば、イラストデータである。   In addition, the image composition unit 23 includes a vehicle image 90 showing an appearance viewed from above the work vehicle 1 in an area corresponding to the position of the work vehicle 1 in the composite image CP. Thus, the composite image CP can show the state of the work vehicle 1 as well as the state of the work vehicle 1 and its surroundings. The vehicle image 90 is, for example, illustration data.

画像合成部２３は、仮想視点ＶＰをロールした場合は、仮想視点ＶＰをロールした角度に応じてこの車両像９０も回転して合成画像ＣＰ中に重畳する。したがって、仮想視点ＶＰをロールした場合においても、合成画像ＣＰに含まれる被写体の像の方向に合わせた向きの車両像９０を合成画像ＣＰに含めることができる。例えば、図４中上部の合成画像ＣＰ１では、車両像９０が示す旋回体１２の前方が合成画像ＣＰの上方に向いている。これに対して、図４中下部の合成画像ＣＰ２では、車両像９０が示す旋回体１２の前方が合成画像ＣＰの左上に向いている。   When the virtual viewpoint VP is rolled, the image composition unit 23 also rotates the vehicle image 90 according to the angle at which the virtual viewpoint VP is rolled, and superimposes the vehicle image 90 on the synthesized image CP. Therefore, even when the virtual viewpoint VP is rolled, the vehicle image 90 oriented in accordance with the direction of the subject image included in the composite image CP can be included in the composite image CP. For example, in the upper composite image CP1 in FIG. 4, the front of the revolving structure 12 indicated by the vehicle image 90 faces upward from the composite image CP. On the other hand, in the lower part of the composite image CP2 in FIG. 4, the front of the revolving structure 12 indicated by the vehicle image 90 is directed to the upper left of the composite image CP.

画像合成部２３は、記憶部２４に記憶された車両データ２４ａを用いて、このような車両像９０を生成する。図５は、画像合成部２３が、車両像９０を生成する手法を説明する図である。   The image composition unit 23 uses the vehicle data 24 a stored in the storage unit 24 to generate such a vehicle image 90. FIG. 5 is a diagram illustrating a method in which the image composition unit 23 generates the vehicle image 90.

図５に示すように、車両データ２４ａは、作業車両１の各部位の外観を示すイメージデータであるパーツデータ９１〜９３を含んでいる。具体的には、車両データ２４ａは、走行体１１の外観を示す走行体像９１、旋回体１２の外観を示す旋回体像９２、及び、作業装置１３の外観を示す作業装置像９３を含む。また、作業装置像９３は、ブーム１６、アーム１７及びバケット１８のそれぞれに対応するブーム像９１，アーム像９７及びバケット像９８を含んでいる。画像合成部２３は、これらのパーツデータ９１〜９３を組み合わせることで、車両像９０を生成する。   As shown in FIG. 5, the vehicle data 24 a includes part data 91 to 93 that are image data indicating the appearance of each part of the work vehicle 1. Specifically, the vehicle data 24 a includes a traveling body image 91 showing the appearance of the traveling body 11, a turning body image 92 showing the appearance of the turning body 12, and a working device image 93 showing the appearance of the working device 13. The work device image 93 includes a boom image 91, an arm image 97, and a bucket image 98 corresponding to the boom 16, the arm 17, and the bucket 18, respectively. The image composition unit 23 generates the vehicle image 90 by combining these parts data 91 to 93.

また、画像合成部２３は、パーツデータ９１〜９３を組み合わせる手法を変えることで、さまざまな状態の作業車両１の外観を示す車両像９０を生成することができる。例えば、図６に示すように、画像合成部２３は、走行体像９１と旋回体像９２とを相対的に回転させることで、走行体１１の進行方向と旋回体１２の前後方向とが異なる状態（走行体１１に対して旋回体１２が旋回した状態）の作業車両１の外観を示す車両像９０を生成できる。また、図７に示すように、画像合成部２３は、ブーム像９１，アーム像９７及びバケット像９８の配置を変更することで、作業装置１３が伸長した状態の作業車両１の外観を示す車両像９０を生成できる。   Moreover, the image composition unit 23 can generate a vehicle image 90 showing the appearance of the work vehicle 1 in various states by changing the method of combining the part data 91 to 93. For example, as illustrated in FIG. 6, the image composition unit 23 rotates the traveling body image 91 and the revolving body image 92 relative to each other so that the traveling direction of the traveling body 11 and the front-rear direction of the revolving body 12 are different. A vehicle image 90 showing the appearance of the work vehicle 1 in a state (a state in which the turning body 12 turns with respect to the traveling body 11) can be generated. In addition, as shown in FIG. 7, the image composition unit 23 changes the arrangement of the boom image 91, the arm image 97, and the bucket image 98, so that the vehicle showing the appearance of the work vehicle 1 with the work device 13 extended. An image 90 can be generated.

なお、パーツデータ９１〜９３は、透過像あるいは外縁線のみとしてもよい。このようにした場合は、図８に示すように、車両像９０において各パーツデータ９１〜９３の外縁が示されるため、作業車両１の各部位の位置を明瞭に示す車両像９０を生成することができる。   The part data 91 to 93 may be only a transmission image or an outer edge line. In this case, as shown in FIG. 8, since the outer edge of each part data 91 to 93 is shown in the vehicle image 90, the vehicle image 90 that clearly shows the position of each part of the work vehicle 1 is generated. Can do.

＜１−４．方向変更部の処理＞
次に、制御部２１の方向変更部２１ｂの処理について説明する。前述のように、画像合成部２３は、仮想視点ＶＰをロールすることで、含まれる被写体の像の方向が異なる合成画像ＣＰを生成することができる。方向変更部２１ｂは、この画像合成部２３に制御信号を送信して、合成画像に含まれる被写体の像の方向（以下、「被写体方向」という。）を変更する。方向変更部２１ｂは、作業車両１の動作に応じて被写体方向を変更することになる。 <1-4. Processing of direction change unit>
Next, processing of the direction changing unit 21b of the control unit 21 will be described. As described above, the image composition unit 23 can generate the composite image CP in which the directions of the included images are different by rolling the virtual viewpoint VP. The direction changing unit 21b transmits a control signal to the image synthesizing unit 23 to change the direction of the subject image included in the synthesized image (hereinafter referred to as “subject direction”). The direction changing unit 21 b changes the subject direction according to the operation of the work vehicle 1.

図９及び図１０はそれぞれ、合成画像ＣＰの一例を示す図である。図９の合成画像ＣＰ及び図１０の合成画像ＣＰは、同一の時点での作業車両１及び作業車両１の周辺の被写体の様子を示している。この時点における作業車両１は、走行体１１に対して旋回体１２が旋回しており、走行体１１の進行方向と旋回体１２の前後方向とが一致していない状態となっている。   9 and 10 are diagrams each illustrating an example of the composite image CP. The composite image CP of FIG. 9 and the composite image CP of FIG. 10 show the work vehicle 1 and the subject around the work vehicle 1 at the same time point. In the work vehicle 1 at this time, the turning body 12 is turning with respect to the traveling body 11, and the traveling direction of the traveling body 11 and the front-rear direction of the turning body 12 do not coincide with each other.

図９の合成画像ＣＰと図１０の合成画像ＣＰとは、互いに被写体方向が異なっている。例えば、これらの２つの合成画像ＣＰには、同一の被写体の像Ｓｂが含まれているが、２つの合成画像ＣＰの間でこの被写体の像Ｓｂが含まれている位置が異なっている。   The composite image CP in FIG. 9 and the composite image CP in FIG. 10 have different subject directions. For example, these two composite images CP include the same subject image Sb, but the positions where the subject image Sb is included differ between the two composite images CP.

図９の合成画像ＣＰにおいては、被写体方向が走行体１１を基準とする方向（以下、「走行基準方向」という。）に定められている。具体的には、図９の合成画像ＣＰでは、合成画像ＣＰの上下方向が走行体１１の前後方向と一致しており、走行体１１を示す走行体像９１の前方が合成画像ＣＰの上方に向いている。   In the composite image CP of FIG. 9, the subject direction is determined to be a direction based on the traveling body 11 (hereinafter referred to as “traveling reference direction”). Specifically, in the composite image CP of FIG. 9, the vertical direction of the composite image CP coincides with the front-rear direction of the traveling body 11, and the front of the traveling body image 91 indicating the traveling body 11 is above the composite image CP. It is suitable.

一方、図１０の合成画像ＣＰにおいては、被写体方向が旋回体１２を基準とする方向（以下、「旋回基準方向」という。）に定められている。具体的には、図１０の合成画像ＣＰでは、合成画像ＣＰの上下方向が旋回体１２の前後方向と一致しており、旋回体１２を示す旋回体像９２の前方が画像の上方に向いている。   On the other hand, in the composite image CP of FIG. 10, the subject direction is set to a direction based on the swivel body 12 (hereinafter referred to as “turning reference direction”). Specifically, in the composite image CP of FIG. 10, the vertical direction of the composite image CP coincides with the front-rear direction of the revolving body 12, and the front of the revolving body image 92 showing the revolving body 12 faces upward. Yes.

作業車両１のユーザ（運転者）は、作業車両１を運転する際に、表示装置３に表示された合成画像ＣＰを視認して作業車両１の周辺の安全を確認することとなる。ユーザは、走行体１１を走行させる場合は、進行方向となる走行体１１の前方に意識を向ける。したがって、走行体１１の走行中においてユーザが実際の被写体の位置を直感的に把握するためには、図９の合成画像ＣＰのように、被写体方向が走行基準方向に設定されて、走行体像９１の前方が合成画像ＣＰの上方に向いていることが望ましい。   When driving the work vehicle 1, the user (driver) of the work vehicle 1 visually confirms the composite image CP displayed on the display device 3 and confirms the safety around the work vehicle 1. When the traveling body 11 travels, the user turns his consciousness forward of the traveling body 11 which is the traveling direction. Therefore, in order for the user to intuitively grasp the actual position of the subject while the traveling body 11 is traveling, the subject direction is set to the traveling reference direction as in the composite image CP in FIG. It is desirable that the front of 91 is directed above the composite image CP.

一方、ユーザは、作業装置１３を動作させる場合は、作業装置１３が伸縮する方向となる旋回体１２の前方に意識を向ける。したがって、作業装置１３の動作中においてユーザが実際の被写体の位置を直感的に把握するためには、図１０の合成画像ＣＰのように、被写体方向が旋回基準方向に設定され、旋回体像９２の前方が合成画像ＣＰの上方に向いていることが望ましい。   On the other hand, when operating the work device 13, the user turns his / her consciousness forward of the swivel body 12 in the direction in which the work device 13 extends and contracts. Therefore, in order for the user to intuitively grasp the actual position of the subject during the operation of the work device 13, the subject direction is set as the turning reference direction as shown in the composite image CP in FIG. It is desirable that the front of the image is directed above the composite image CP.

このため、方向変更部２１ｂは、走行体１１の走行中においては図９のように被写体方向を走行基準方向に変更し、また、作業装置１３の動作中においては図１０のように被写体方向を旋回基準方向に変更する。これにより、ユーザは、走行体１１の走行中、及び、作業装置１３の動作中のいずれの場合であっても、実際の被写体の位置を直感的に把握することができる。作業車両１の動作（走行体１１の走行中か、あるいは、作業装置１３の動作中か）は、操作レバー６１からの操作信号に基づいて判断される。また、走行体１１に対する旋回体１２の旋回角度は、旋回センサ６２からの信号に基づいて取得される。   For this reason, the direction changing unit 21b changes the subject direction to the running reference direction as shown in FIG. 9 while the traveling body 11 is running, and changes the subject direction as shown in FIG. Change to the turning reference direction. Accordingly, the user can intuitively grasp the actual position of the subject regardless of whether the traveling body 11 is traveling or the work device 13 is operating. The operation of the work vehicle 1 (whether the traveling body 11 is traveling or the work device 13 is operating) is determined based on an operation signal from the operation lever 61. Further, the turning angle of the turning body 12 with respect to the traveling body 11 is acquired based on a signal from the turning sensor 62.

また、本実施の形態の方向変更部２１ｂは、旋回体１２の旋回中においては、被写体方向を変更しないようになっている。なお、他の態様として、方向変更部２１ｂは、旋回体１２の旋回中においては、被写体方向を旋回基準方向に変更するようにしてもよい。また、さらに他の態様として、方向変更部２１ｂは、旋回体１２の旋回中においては、被写体方向を走行基準方向に変更するようにしてもよい。   Further, the direction changing unit 21b of the present embodiment does not change the subject direction while the revolving structure 12 is turning. As another aspect, the direction changing unit 21b may change the subject direction to the turning reference direction while the turning body 12 is turning. As yet another aspect, the direction changing unit 21b may change the subject direction to the traveling reference direction while the turning body 12 is turning.

また、方向変更部２１ｂは、作業車両１の動作のみならず、切替スイッチ２５の操作にも応答して、被写体方向を変更する。方向変更部２１ｂは、切替スイッチ２５が操作されたときに被写体方向が走行基準方向に設定されている場合には、被写体方向を旋回基準方向に変更する。また逆に、方向変更部２１ｂは、切替スイッチ２５が操作されたときに被写体方向が旋回基準方向に設定されている場合には、被写体方向を走行基準方向に変更する。これにより、ユーザは、適宜に切替スイッチ２５を操作することで、被写体方向を自分の感覚にあった方向に合わせることができる。   The direction changing unit 21b changes the subject direction in response to not only the operation of the work vehicle 1 but also the operation of the changeover switch 25. The direction changing unit 21b changes the subject direction to the turning reference direction when the subject direction is set to the travel reference direction when the changeover switch 25 is operated. Conversely, if the subject direction is set to the turning reference direction when the changeover switch 25 is operated, the direction changing unit 21b changes the subject direction to the traveling reference direction. Thereby, the user can adjust the subject direction to the direction suitable for his / her sense by appropriately operating the changeover switch 25.

＜１−５．画像処理装置の処理＞
次に、画像処理装置２の処理の流れについて説明する。図１１は、画像処理装置２の処理の流れを示す図である。この図１１に示す処理は、所定の周期（例えば、１／３０秒周期）で繰り返される。 <1-5. Processing of Image Processing Device>
Next, a processing flow of the image processing apparatus 2 will be described. FIG. 11 is a diagram illustrating a processing flow of the image processing apparatus 2. The process shown in FIG. 11 is repeated at a predetermined cycle (for example, a 1/30 second cycle).

まず、４つのカメラでそれぞれ撮影がなされ、画像取得部２２が、これら４つのカメラから４つの画像を取得する。画像取得部２２は、取得した４つの画像を画像合成部２３に入力する（ステップＳ１１）。   First, shooting is performed with four cameras, and the image acquisition unit 22 acquires four images from these four cameras. The image acquisition unit 22 inputs the acquired four images to the image composition unit 23 (step S11).

次に、方向変更部２１ｂが、現時点で設定されている被写体方向を取得する。制御部２１のＲＡＭには、現時点の被写体方向を示すフラグが記憶されている。方向変更部２１ｂは、このフラグに基づいて、現時点の被写体方向が、走行基準方向、及び、旋回基準方向のいずれであるかを判断する（ステップＳ１２）。   Next, the direction changing unit 21b acquires the subject direction set at the present time. A flag indicating the current subject direction is stored in the RAM of the control unit 21. Based on this flag, the direction changing unit 21b determines whether the current subject direction is the traveling reference direction or the turning reference direction (step S12).

次に、信号受信部２６が、操作レバー６１から操作内容を示す操作信号、旋回センサ６２から旋回角度を示す信号、関節センサ６３から作業装置１３の各関節部の回動角度を示す信号をそれぞれ受信する。信号受信部２６は、受信した信号を制御部２１に入力する（ステップＳ１３）。   Next, the signal receiving unit 26 receives an operation signal indicating the operation content from the operation lever 61, a signal indicating the rotation angle from the rotation sensor 62, and a signal indicating the rotation angle of each joint portion of the work device 13 from the joint sensor 63, respectively. Receive. The signal receiving unit 26 inputs the received signal to the control unit 21 (step S13).

次に、方向変更部２１ｂが、操作レバー６１からの操作信号に基づいて、現時点の作業車両１の動作状態を判定する。そして、作業車両１の走行体１１が走行中である場合は（ステップＳ１４にてＹｅｓ）、方向変更部２１ｂは、次の被写体方向を走行基準方向に設定する（ステップＳ１５）。また、作業車両１の作業装置１３が動作中である場合は（ステップＳ１６にてＹｅｓ）、方向変更部２１ｂは、次の被写体方向を旋回基準方向に設定する（ステップＳ１７）。   Next, the direction changing unit 21 b determines the current operating state of the work vehicle 1 based on the operation signal from the operation lever 61. When the traveling body 11 of the work vehicle 1 is traveling (Yes in step S14), the direction changing unit 21b sets the next subject direction as the traveling reference direction (step S15). When work device 13 of work vehicle 1 is operating (Yes in step S16), direction changing unit 21b sets the next subject direction as the turning reference direction (step S17).

そして、ステップＳ１２で取得された現時点の被写体方向と、ステップＳ１５，Ｓ１７で設定された次の被写体方向とが異なる場合は、方向変更部２１ｂは、被写体方向の変更が必要と判断し（ステップＳ１８にてＹｅｓ）、画像合成部２３に制御信号を送信して被写体方向を変更する。すなわち、方向変更部２１ｂは、走行基準方向から旋回基準方向に、あるいは、旋回基準方向から走行基準方向に被写体方向を変更する（ステップＳ１９）。この際、ＲＡＭに記憶されたフラグが、変更後の被写体方向を示すように更新される。   If the current subject direction acquired in step S12 is different from the next subject direction set in steps S15 and S17, the direction changing unit 21b determines that the subject direction needs to be changed (step S18). Yes), a control signal is transmitted to the image composition unit 23 to change the subject direction. That is, the direction changing unit 21b changes the subject direction from the running reference direction to the turning reference direction or from the turning reference direction to the running reference direction (step S19). At this time, the flag stored in the RAM is updated so as to indicate the changed subject direction.

また、ステップＳ１２で取得された現時点の被写体方向と、ステップＳ１５，Ｓ１７で設定された次の被写体方向とが一致する場合は、被写体方向の変更は不要であるため、処理はそのままステップＳ２２へ進む。   If the current subject direction acquired in step S12 matches the next subject direction set in steps S15 and S17, it is not necessary to change the subject direction, and the process directly proceeds to step S22. .

また、走行体１１が走行中でなく、かつ、作業装置１３が動作中でない場合（ステップＳ１４，Ｓ１６にてＮｏ）は、方向変更部２１ｂは、切替スイッチ２５の操作がなされたか否かを判断する（ステップＳ２０）。切替スイッチ２５が操作された場合は、方向変更部２１ｂは、画像合成部２３に制御信号を送信して被写体方向を変更する。すなわち、方向変更部２１ｂは、走行基準方向から旋回基準方向に、あるいは、旋回基準方向から走行基準方向に被写体方向を変更する（ステップＳ２１）。この際、ＲＡＭに記憶されたフラグが、変更後の被写体方向を示すように更新される。また、切替スイッチ２５が操作されなかった場合は、被写体方向の変更は不要であるため、処理はそのままステップＳ２２へ進む。   Further, when traveling body 11 is not traveling and work device 13 is not operating (No in steps S14 and S16), direction changing unit 21b determines whether operation of changeover switch 25 has been performed or not. (Step S20). When the changeover switch 25 is operated, the direction changing unit 21b transmits a control signal to the image composition unit 23 to change the subject direction. That is, the direction changing unit 21b changes the subject direction from the traveling reference direction to the turning reference direction or from the turning reference direction to the traveling reference direction (step S21). At this time, the flag stored in the RAM is updated so as to indicate the changed subject direction. If the changeover switch 25 has not been operated, it is not necessary to change the direction of the subject, so the process proceeds directly to step S22.

ステップＳ２２では、画像合成部２３が、ステップＳ１１で取得された４つの画像を用いて、仮想視点ＶＰからみた作業車両１の周辺の被写体を示す合成画像ＣＰを生成する。この際、画像合成部２３は、方向変更部２１ｂに設定された被写体方向に基づいて、仮想視点ＶＰをロールして合成画像ＣＰを生成する。これにより、走行体１１が走行中である場合は、走行体１１の前方にある被写体の像が合成画像ＣＰの上方に位置する合成画像ＣＰが生成される。また、作業装置１３が動作中である場合は、旋回体１２の前方にある被写体の像が合成画像ＣＰの上方に位置する合成画像ＣＰが生成される。   In step S22, the image composition unit 23 uses the four images acquired in step S11 to generate a composite image CP that shows subjects around the work vehicle 1 viewed from the virtual viewpoint VP. At this time, the image composition unit 23 rolls the virtual viewpoint VP based on the subject direction set in the direction changing unit 21b to generate a composite image CP. Thereby, when the traveling body 11 is traveling, a composite image CP is generated in which an image of a subject in front of the traveling body 11 is positioned above the composite image CP. Further, when the work device 13 is operating, a composite image CP is generated in which an image of a subject in front of the revolving structure 12 is positioned above the composite image CP.

次に、画像合成部２３は、記憶部２４の車両データ２４ａを用いて、車両像９０を生成する。画像合成部２３は、車両データ２４ａに含まれるパーツデータ９１〜９３を組み合わせて、作業車両１の現時点における外観を示す車両像９０を生成する。   Next, the image composition unit 23 generates a vehicle image 90 using the vehicle data 24a stored in the storage unit 24. The image composition unit 23 combines the part data 91 to 93 included in the vehicle data 24a to generate a vehicle image 90 that indicates the current appearance of the work vehicle 1.

具体的には、画像合成部２３は、作業装置１３の各関節部の回動角度に基づいて、ブーム像９１，アーム像９７及びバケット像９８を組み合わせて、現時点における作業装置１３の伸長状態を示す作業装置像９３を生成する。画像合成部２３は、この作業装置像９３を、旋回体像９２の所定の位置に組み合わせる。さらに、画像合成部２３は、走行体１１に対する旋回体１２の旋回角度に基づいて走行体像９１を回転させた上で、この走行体像９１に旋回体像９２及び作業装置像９３を重ねる。これにより、画像合成部２３は、現時点における走行体１１と旋回体１２との相対的な位置関係と、作業装置１３の伸長状態とを示す車両像９０を生成することができる。   Specifically, the image composition unit 23 combines the boom image 91, the arm image 97, and the bucket image 98 based on the rotation angle of each joint portion of the work device 13 to determine the current expanded state of the work device 13. The work device image 93 shown is generated. The image composition unit 23 combines the work device image 93 with a predetermined position of the revolving body image 92. Further, the image composition unit 23 rotates the traveling body image 91 based on the turning angle of the revolving body 12 with respect to the traveling body 11 and then superimposes the revolving body image 92 and the work device image 93 on the traveling body image 91. Thereby, the image composition unit 23 can generate a vehicle image 90 that shows the relative positional relationship between the traveling body 11 and the revolving body 12 at the present time and the extended state of the work device 13.

つまり、実際の作業車両１において走行体１１に対して旋回体１２が旋回している場合は、実際の旋回体１２と同様に走行体像９１に対して旋回体像９２が旋回した状態の車両像９０が生成される。また、実際の作業車両１において作業装置１３が伸長している場合は、実際の作業装置１３と同様に作業装置像９３が伸長した状態の車両像９０が生成される。作業装置１３の各関節部の回動角度、及び、走行体１１に対する旋回体１２の旋回角度は、制御部２１の合成制御部２１ａから与えられる。   That is, when the turning body 12 is turning with respect to the traveling body 11 in the actual work vehicle 1, the vehicle in a state where the turning body image 92 is turned with respect to the traveling body image 91 in the same manner as the actual turning body 12. An image 90 is generated. Further, when the work device 13 is extended in the actual work vehicle 1, a vehicle image 90 in which the work device image 93 is extended is generated in the same manner as the actual work device 13. The turning angle of each joint part of the work device 13 and the turning angle of the turning body 12 with respect to the traveling body 11 are given from the synthesis control unit 21 a of the control unit 21.

画像合成部２３は、車両像９０を生成すると、方向変更部２１ｂに設定された被写体方向に基づいて、生成した車両像９０を回転して合成画像ＣＰに重畳する。これにより、作業車両１の現時点での外観を示す車両像９０を含む合成画像ＣＰが生成される（ステップＳ２３）。   When generating the vehicle image 90, the image composition unit 23 rotates and superimposes the generated vehicle image 90 on the composite image CP based on the subject direction set in the direction changing unit 21b. Thereby, the composite image CP including the vehicle image 90 showing the current appearance of the work vehicle 1 is generated (step S23).

次に、画像出力部２１ｃが、画像合成部２３が生成した合成画像ＣＰを出力インターフェイス２７を介して表示装置３に出力する。これにより、表示装置３に、車両像９０を含む合成画像ＣＰが表示されることになる（ステップＳ２４）。ユーザは、この合成画像ＣＰを視認することで、作業車両１の周辺の被写体の位置とともに、作業車両１の現時点での状態についても直感的に把握できることになる。   Next, the image output unit 21 c outputs the composite image CP generated by the image composition unit 23 to the display device 3 via the output interface 27. Thereby, the composite image CP including the vehicle image 90 is displayed on the display device 3 (step S24). The user can intuitively grasp the current state of the work vehicle 1 as well as the positions of the subjects around the work vehicle 1 by visually recognizing the composite image CP.

以上のように、画像処理装置２では、画像合成部２３が、作業車両１に設けられる複数のカメラ５で取得された複数の画像を用いて、仮想視点ＶＰからみた作業車両１の周辺の被写体を示す合成画像ＣＰを生成し、画像出力部２１ｃが、合成画像ＣＰを表示装置３に出力して表示させる。そして、方向変更部２１ｂは、この合成画像ＣＰに含まれる被写体の像の方向を、走行体１１を基準とする走行基準方向、及び、旋回体１２を基準とする旋回基準方向の一方から他方に変更する。このため、合成画像ＣＰに含まれる被写体の像の方向を状況に応じて最適な方向に変更できるため、ユーザは実際の被写体の位置を直感的に把握することができる。   As described above, in the image processing device 2, the image composition unit 23 uses the plurality of images acquired by the plurality of cameras 5 provided in the work vehicle 1, and subjects around the work vehicle 1 viewed from the virtual viewpoint VP. And the image output unit 21c outputs the composite image CP to the display device 3 for display. Then, the direction changing unit 21b changes the direction of the subject image included in the composite image CP from one of the traveling reference direction based on the traveling body 11 and the turning reference direction based on the revolving body 12 to the other. change. For this reason, the direction of the image of the subject included in the composite image CP can be changed to an optimum direction according to the situation, so that the user can intuitively grasp the actual position of the subject.

また、方向変更部２１ｂは、作業車両１の動作に応じて合成画像ＣＰに含まれる被写体の像の方向を変更する。このため、現時点での作業車両１の動作において、ユーザが直感的に把握しやすい方向に被写体の像の方向を向けることができる。特に、走行体１１の走行中は被写体の像の方向を走行基準方向に変更するため、走行体１１の走行中においてユーザが直感的に把握しやすい方向に被写体の像の方向を向けることができる。また、作業装置１３の動作中は被写体の像の方向を旋回基準方向に変更するため、作業装置１３の動作中においてユーザが直感的に把握しやすい方向に被写体の像の方向を向けることができる。   The direction changing unit 21b changes the direction of the subject image included in the composite image CP according to the operation of the work vehicle 1. For this reason, in the operation | movement of the working vehicle 1 at this time, the direction of a to-be-photographed object's image can be turned to the direction which a user can grasp | ascertain intuitively. In particular, while the traveling body 11 is traveling, the direction of the subject image is changed to the traveling reference direction, so that the direction of the subject image can be directed in a direction that the user can easily grasp while traveling the traveling body 11. . Further, since the direction of the subject image is changed to the turning reference direction during the operation of the work device 13, the direction of the subject image can be directed in a direction that the user can easily grasp intuitively during the operation of the work device 13. .

また、画像合成部２３は、合成画像ＣＰ中に作業車両１の外観を示す車両像９０を含める。このため、ユーザは作業車両１と作業車両１の周辺の被写体（物体）との位置関係を容易に把握することができる。また、実際の走行体１１と旋回体１２との相対的な位置関係、及び、実際の作業装置１３の伸縮状態を示す車両像９０が合成画像ＣＰに含まれるため、ユーザは作業車両１の状態を直感的に把握することができる。   In addition, the image composition unit 23 includes a vehicle image 90 indicating the appearance of the work vehicle 1 in the composite image CP. For this reason, the user can easily grasp the positional relationship between the work vehicle 1 and a subject (object) around the work vehicle 1. Moreover, since the vehicle image 90 which shows the relative positional relationship of the actual traveling body 11 and the turning body 12 and the expansion / contraction state of the actual work device 13 is included in the composite image CP, the user can see the state of the work vehicle 1. Can be grasped intuitively.

＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態の作業車両１及び画像処理装置２の構成や処理は第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。第２の実施の形態では、方向変更部２１ｂは、被写体方向を変更する場合において、被写体方向を瞬時に切り替えずに段階的に変更する。これにより、表示装置３において被写体方向が連続的に変わるアニメーション表示がなされるようになっている。 <2. Second Embodiment>
Next, a second embodiment will be described. Since the configuration and processing of the work vehicle 1 and the image processing apparatus 2 of the second embodiment are substantially the same as those of the first embodiment, the following description will be made focusing on differences from the first embodiment. . In the second embodiment, when changing the subject direction, the direction changing unit 21b changes the subject direction step by step without instantaneously switching the subject direction. As a result, the display device 3 displays an animation in which the subject direction changes continuously.

図１２は、被写体方向を変更する際に表示装置３に表示される一連の合成画像ＣＰを示す図である。方向変更部２１ｂは、被写体方向を変更する場合に、画像合成部２３に制御信号を送信して、被写体方向をフレームごとに段階的に変更する。これにより、被写体方向が異なる複数の合成画像ＣＰが連続的に生成される。   FIG. 12 is a diagram illustrating a series of composite images CP displayed on the display device 3 when the subject direction is changed. When changing the subject direction, the direction changing unit 21b transmits a control signal to the image composition unit 23 to change the subject direction step by step for each frame. As a result, a plurality of composite images CP with different subject directions are continuously generated.

表示装置３は、これら複数の合成画像ＣＰを時間的に連続して表示する。その結果、図１２に示すように、表示装置３においては、被写体方向が連続的に変わるアニメーション表示がなされることになる。図１２の例では、被写体方向が走行基準方向から旋回基準方向に連続的に変更されている。被写体方向を旋回基準方向から走行基準方向に変更する場合には、図１２の例とは逆順のアニメーション表現がなされることになる。このようなアニメーション表現は、所定時間（例えば０．５秒間）かけて複数のフレーム（合成画像ＣＰ）を利用して行われる。このようなアニメーション表現を行うことにより、被写体方向を瞬時に切り替える場合と比較して、ユーザは、被写体方向がどのように変更されたかを容易に把握できることになる。   The display device 3 displays the plurality of synthesized images CP continuously in time. As a result, as shown in FIG. 12, the display device 3 displays an animation in which the subject direction is continuously changed. In the example of FIG. 12, the subject direction is continuously changed from the traveling reference direction to the turning reference direction. When the subject direction is changed from the turning reference direction to the traveling reference direction, an animation expression in the reverse order to the example of FIG. 12 is performed. Such animation expression is performed using a plurality of frames (composite image CP) over a predetermined time (for example, 0.5 seconds). By performing such an animation expression, the user can easily grasp how the subject direction has been changed as compared with the case where the subject direction is switched instantaneously.

以上のように、第２の実施の形態の画像処理装置２においては、合成画像ＣＰに含まれる被写体の像の方向を変更する場合に、表示装置３において被写体の像の方向が連続的に変わるアニメーション表示がなされる。このため、被写体の像の方向がどのように変更されたかをユーザが直感的に把握することができる。   As described above, in the image processing device 2 according to the second embodiment, when the direction of the subject image included in the composite image CP is changed, the direction of the subject image continuously changes in the display device 3. An animation is displayed. Therefore, the user can intuitively understand how the direction of the subject image has been changed.

＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態の作業車両１及び画像処理装置２の構成や処理は第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。第１の実施の形態では、画像合成部２３は、走行体像９１、旋回体像９２及び作業装置像９３を組み合わせて車両像９０を生成していた。これに対して、第３の実施の形態では、画像合成部２３は、合成画像ＣＰに含める車両像に、記憶部２４に予め記憶されたイメージデータである走行体像９１を用いず、合成画像ＣＰに含まれる被写体としての走行体１１の像を利用するようになっている。 <3. Third Embodiment>
Next, a third embodiment will be described. Since the configuration and processing of the work vehicle 1 and the image processing apparatus 2 of the third embodiment are substantially the same as those of the first embodiment, the following description will focus on differences from the first embodiment. . In the first embodiment, the image composition unit 23 generates the vehicle image 90 by combining the traveling body image 91, the turning body image 92, and the work device image 93. On the other hand, in the third embodiment, the image composition unit 23 does not use the traveling body image 91 that is image data stored in the storage unit 24 in advance for the vehicle image included in the composite image CP. An image of the traveling body 11 as a subject included in the CP is used.

前述のように、作業車両１の周辺を撮影する複数のカメラ５は、旋回体１２に配置されている（図３参照。）。このため、旋回体１２の下部に配置される走行体１１は、複数のカメラ５によって撮影される。したがって、複数のカメラ５で得られた画像中には、被写体となった走行体１１の像が含まれる。その結果、これらの複数のカメラ５で得られた画像を用いて生成した合成画像ＣＰには、走行体１１の像が含まれることになる。   As described above, the plurality of cameras 5 that photograph the periphery of the work vehicle 1 are arranged on the revolving body 12 (see FIG. 3). For this reason, the traveling body 11 disposed below the revolving body 12 is photographed by the plurality of cameras 5. Therefore, the images obtained by the plurality of cameras 5 include an image of the traveling body 11 that is the subject. As a result, the composite image CP generated using the images obtained by the plurality of cameras 5 includes the image of the traveling body 11.

図１３の上部は、このような走行体１１の像Ｓｂ２を含む合成画像ＣＰの例を示す図である。合成画像ＣＰの略中央部には、旋回体１２の位置に相当するデータのない非データ領域Ａがあり、この非データ領域Ａの近傍に被写体としての走行体１１の像Ｓｂ２が含まれている。   The upper part of FIG. 13 is a diagram illustrating an example of a composite image CP including such an image Sb2 of the traveling body 11. A non-data area A having no data corresponding to the position of the swivel body 12 is present in the approximate center of the composite image CP, and an image Sb2 of the traveling body 11 as a subject is included in the vicinity of the non-data area A. .

画像合成部２３は、このような合成画像ＣＰ中の被写体としての走行体１１の像Ｓｂ２に、走行体１１の部分を除いた作業車両１の様子を示す上部車両像９０ａを重ね合わせる。この際、上部車両像９０ａに含まれる旋回体像９２の位置は、非データ領域Ａの位置とされる。これにより、図１３の下部に示すように、合成画像ＣＰ中に作業車両１の外観を示す車両像を含めることができる。上部車両像９０ａは、旋回体像９２及び作業装置像９３のみを組み合わせることで生成される。   The image composition unit 23 superimposes the upper vehicle image 90a showing the state of the work vehicle 1 excluding the traveling body 11 on the image Sb2 of the traveling body 11 as the subject in the composite image CP. At this time, the position of the turning body image 92 included in the upper vehicle image 90a is the position of the non-data area A. Thereby, as shown in the lower part of FIG. 13, a vehicle image showing the appearance of the work vehicle 1 can be included in the composite image CP. The upper vehicle image 90 a is generated by combining only the turning body image 92 and the work device image 93.

走行体１１に対して旋回体１２が旋回している場合は、走行体１１の像Ｓｂ２は、その旋回角度を反映した向きで合成画像ＣＰに表れる。したがって、合成画像ＣＰに単純に上部車両像９０ａを重畳するのみで、実際の走行体１１と旋回体１２との相対的な位置関係を示す車両像を合成画像ＣＰ中に含めることができる。   When the turning body 12 is turning with respect to the traveling body 11, the image Sb2 of the traveling body 11 appears in the composite image CP in a direction that reflects the turning angle. Therefore, the vehicle image showing the relative positional relationship between the actual traveling body 11 and the turning body 12 can be included in the composite image CP by simply superimposing the upper vehicle image 90a on the composite image CP.

以上のように、第３の実施の形態の画像処理装置２においては、画像合成部２３は、合成画像ＣＰ中に含まれる被写体としての走行体１１の像Ｓｂ２に、旋回体１２の外観を示す旋回体像９２を含む上部車両像９０ａを重ねるため、合成画像ＣＰ中に車両像を比較的容易に含めることができる。   As described above, in the image processing device 2 according to the third embodiment, the image composition unit 23 shows the appearance of the revolving structure 12 in the image Sb2 of the traveling body 11 as a subject included in the composite image CP. Since the upper vehicle image 90a including the turning body image 92 is superimposed, the vehicle image can be included in the composite image CP relatively easily.

＜４．第４の実施の形態＞
次に、第４の実施の形態について説明する。第４の実施の形態の作業車両１及び画像処理装置２の構成や処理は第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。 <4. Fourth Embodiment>
Next, a fourth embodiment will be described. Since the configuration and processing of the work vehicle 1 and the image processing device 2 of the fourth embodiment are substantially the same as those of the first embodiment, the following description will focus on differences from the first embodiment. .

図１４は、第４の実施の形態で生成される合成画像ＣＰの一例を示す図である。図に示すように、合成画像ＣＰには、作業車両１の周辺の被写体の像Ｓｂ、及び、車両像９０に加えて、３種類の移動予測線Ｌ１〜Ｌ３が含まれている。これらの移動予測線Ｌ１〜Ｌ３は、作業車両１の各部位が移動する可能性のある領域を示す指標となる。   FIG. 14 is a diagram illustrating an example of the composite image CP generated in the fourth embodiment. As shown in the figure, the composite image CP includes three types of movement prediction lines L1 to L3 in addition to the image Sb of the subject around the work vehicle 1 and the vehicle image 90. These movement prediction lines L <b> 1 to L <b> 3 serve as indexes indicating areas where each part of the work vehicle 1 may move.

３種類の移動予測線Ｌ１〜Ｌ３のうち、走行予測線Ｌ１は、走行体１１が走行した場合に走行体１１が移動する領域を示している。また、旋回予測線Ｌ２は、旋回体１２が旋回した場合に作業装置１３が移動する領域を示している。さらに、伸縮予測線Ｌ３は、作業装置１３が伸縮した場合に作業装置１３の先端部（バケット１８）が移動する領域を示している。   Of the three types of movement prediction lines L <b> 1 to L <b> 3, the traveling prediction line L <b> 1 indicates a region where the traveling body 11 moves when the traveling body 11 travels. Further, the turning prediction line L2 indicates a region where the work device 13 moves when the turning body 12 turns. Further, the expansion / contraction prediction line L3 indicates a region where the tip end portion (bucket 18) of the work device 13 moves when the work device 13 expands and contracts.

第４の実施の形態では、表示装置３において、このような移動予測線Ｌ１〜Ｌ３を含む合成画像ＣＰが表示される。このため、ユーザは、このような合成画像ＣＰを視認することで、作業車両１が動作した場合に、作業車両１の周辺に存在するいずれの被写体（物体）が作業車両１と接触するかを的確に把握できる。   In the fourth embodiment, the composite image CP including such movement prediction lines L1 to L3 is displayed on the display device 3. Therefore, the user visually recognizes such a composite image CP to determine which subject (object) existing around the work vehicle 1 is in contact with the work vehicle 1 when the work vehicle 1 operates. It can be accurately grasped.

図１５は、第４の実施の形態の画像処理装置２の構成を主に示す図である。第４の実施の形態の画像処理装置２は、プログラム２４ｂに従って制御部２１のＣＰＵが演算処理を行うことで実現される機能として、領域特定部２１ｄを備えている。第４の実施の形態の画像処理装置２のその他の構成は、図２に示す第１の実施の形態の画像処理装置２と同様である。   FIG. 15 is a diagram mainly illustrating a configuration of the image processing apparatus 2 according to the fourth embodiment. The image processing apparatus 2 according to the fourth embodiment includes a region specifying unit 21d as a function realized by the CPU of the control unit 21 performing arithmetic processing according to the program 24b. Other configurations of the image processing apparatus 2 of the fourth embodiment are the same as those of the image processing apparatus 2 of the first embodiment shown in FIG.

領域特定部２１ｄは、合成画像ＣＰが示す作業車両１の周辺の範囲において、走行体１１が走行した場合に走行体１１が移動する第１領域、旋回体１２が旋回した場合に作業装置１３が移動する第２領域、及び、作業装置１３が伸縮した場合に作業装置１３の先端部が移動する第３領域をそれぞれ特定する。第１領域及び第３領域は、作業車両１の各部位のサイズ、及び、現時点の走行体１１に対する旋回体１２の旋回角度などから特定される。また、第２領域は、作業車両１の各部位のサイズ、及び、現時点の作業装置１３の各関節部の回動角度などから特定される。作業車両１の各部位のサイズは、記憶部２４などに予め記憶される。   The area specifying unit 21d is a first area in which the traveling body 11 moves when the traveling body 11 travels in the range around the work vehicle 1 indicated by the composite image CP. The second region to be moved and the third region to which the tip of the working device 13 moves when the working device 13 expands and contracts are specified. The first region and the third region are specified from the size of each part of the work vehicle 1, the turning angle of the turning body 12 with respect to the current traveling body 11, and the like. In addition, the second region is specified from the size of each part of the work vehicle 1 and the rotation angle of each joint portion of the current working device 13. The size of each part of the work vehicle 1 is stored in advance in the storage unit 24 or the like.

図１６は、第４の実施の形態の画像処理装置２の処理の流れを示す図である。この図１６に示す処理は、図１１に示す処理と略同様であるが、ステップＳ２３とステップＳ２４との間に予測線重畳処理（ステップＳ３０）が追加されている点で異なっている。予測線重畳処理においては、合成画像ＣＰに３種類の移動予測線Ｌ１〜Ｌ３が重畳される。図１７は、この予測線重畳処理（ステップＳ３０）の詳細な流れを示す図である。以下、図１７を参照して、予測線重畳処理の流れについて説明する。   FIG. 16 is a diagram illustrating a processing flow of the image processing apparatus 2 according to the fourth embodiment. The process shown in FIG. 16 is substantially the same as the process shown in FIG. 11, but differs in that a prediction line superimposing process (step S30) is added between step S23 and step S24. In the prediction line superimposition process, three types of movement prediction lines L1 to L3 are superimposed on the composite image CP. FIG. 17 is a diagram showing a detailed flow of the prediction line superimposing process (step S30). Hereinafter, the flow of the prediction line superimposition process will be described with reference to FIG.

まず、領域特定部２１ｄが、合成画像ＣＰが示す作業車両１の周辺の範囲において、走行体１１が走行した場合に走行体１１が移動する第１領域、旋回体１２が旋回した場合に作業装置１３が移動する第２領域、及び、作業装置１３が伸縮した場合に作業装置１３の先端部が移動する第３領域をそれぞれ特定する。領域特定部２１ｄは、特定した領域を画像合成部２３に入力する（ステップＳ３１）。   First, the area specifying unit 21d is a first area in which the traveling body 11 moves when the traveling body 11 travels in the range around the work vehicle 1 indicated by the composite image CP. A second region in which 13 moves and a third region in which the tip of the working device 13 moves when the working device 13 expands and contracts are specified. The area specifying unit 21d inputs the specified area to the image composition unit 23 (step S31).

次に、画像合成部２３が、３種類の移動予測線Ｌ１〜Ｌ３を合成画像ＣＰに含める。３種類の移動予測線Ｌ１〜Ｌ３はそれぞれ、領域特定部２１ｄが特定した第１ないし第３領域の外縁となる線である。これにより、図１４に示すような合成画像ＣＰが生成される（ステップＳ３２）。   Next, the image composition unit 23 includes three types of movement prediction lines L1 to L3 in the composite image CP. The three types of movement prediction lines L1 to L3 are lines that are the outer edges of the first to third regions specified by the region specifying unit 21d. Thereby, a composite image CP as shown in FIG. 14 is generated (step S32).

次に、合成制御部２１ａが、操作レバー６１からの操作信号に基づいて、現時点の作業車両１の動作状態を判定する（ステップＳ３３）。そして、合成制御部２１ａは、作業車両１が動作中である場合は、画像合成部２３に制御信号を送信し、その作業車両１の動作に応じて第１ないし第３領域のうち現時点で動作中の作業車両１の部位に関連する移動予測線を、他の移動予測線よりも強調する。   Next, the composition control unit 21a determines the current operating state of the work vehicle 1 based on the operation signal from the operation lever 61 (step S33). Then, when the work vehicle 1 is in operation, the composition control unit 21a transmits a control signal to the image composition unit 23 and operates at the present time among the first to third regions in accordance with the operation of the work vehicle 1. The movement prediction line related to the part of the inside work vehicle 1 is emphasized more than the other movement prediction lines.

具体的には、作業車両１の走行体１１が走行中である場合は（ステップＳ３４にてＹｅｓ）、画像合成部２３は、図１８に示すように、走行体１１が移動する領域を示す走行予測線Ｌ１を他の移動予測線Ｌ２，Ｌ３よりも強調する（ステップＳ３５）。   Specifically, when the traveling body 11 of the work vehicle 1 is traveling (Yes in step S34), the image composition unit 23 travels indicating an area in which the traveling body 11 moves as shown in FIG. The prediction line L1 is emphasized more than the other movement prediction lines L2 and L3 (step S35).

また、作業車両１の旋回体１２が旋回中である場合は（ステップＳ３６にてＹｅｓ）、画像合成部２３は、図１９に示すように、旋回中に作業装置１３が移動する領域を示す旋回予測線Ｌ２を他の移動予測線Ｌ１，Ｌ３よりも強調する（ステップＳ３７）。   If the turning body 12 of the work vehicle 1 is turning (Yes in step S36), the image composition unit 23 turns as shown in FIG. 19 to indicate the region in which the work device 13 moves during turning. The prediction line L2 is emphasized more than the other movement prediction lines L1 and L3 (step S37).

また、作業車両１の作業装置１３が動作中である場合は（ステップＳ３８にてＹｅｓ）、画像合成部２３は、図２０に示すように、作業装置１３の伸縮によりその先端部が移動する領域を示す伸縮予測線Ｌ３を他の移動予測線Ｌ１，Ｌ２よりも強調する（ステップＳ３９）。   Further, when the work device 13 of the work vehicle 1 is operating (Yes in step S38), the image composition unit 23 is a region in which the tip portion moves due to the expansion and contraction of the work device 13, as shown in FIG. The expansion / contraction prediction line L3 indicating is more emphasized than the other movement prediction lines L1, L2 (step S39).

また、作業車両１が動作中でない場合は（ステップＳ３４，Ｓ３６，Ｓ３８のいずれにおいてもＮｏ）、合成画像ＣＰ中の移動予測線Ｌ１〜Ｌ３はいずれも強調されない。   Further, when the work vehicle 1 is not in operation (No in any of steps S34, S36, and S38), none of the movement prediction lines L1 to L3 in the composite image CP is emphasized.

このようにして生成された合成画像ＣＰは、画像出力部２１ｃにより、出力インターフェイス２７を介して表示装置３に出力される。これにより、移動予測線Ｌ１〜Ｌ３を含む合成画像ＣＰが表示装置３に表示されることになる（図１６のステップＳ２４）。   The composite image CP generated in this way is output to the display device 3 via the output interface 27 by the image output unit 21c. Thereby, the composite image CP including the movement prediction lines L1 to L3 is displayed on the display device 3 (step S24 in FIG. 16).

以上のように、第４の実施の形態においては、合成画像ＣＰ中に、現時点で動作中の作業車両１の部位に関連する領域の移動予測線が、他の領域の移動予測線よりも強調して示される。このため、動作中の作業車両１の部位と接触する可能性のある被写体（物体）をユーザが直感的に把握することができる。   As described above, in the fourth embodiment, the movement prediction line of the region related to the part of the work vehicle 1 currently operating in the composite image CP is emphasized more than the movement prediction line of the other region. As shown. For this reason, a user can grasp | ascertain intuitively the subject (object) which may contact the site | part of the working vehicle 1 in operation | movement.

なお、上記では、動作中の作業車両１の部位に関連する移動予測線を強調する場合において強調しない他の移動予測線を合成画像ＣＰに含めているが、動作中の作業車両１の部位に関連する移動予測線のみを合成画像ＣＰに含めるようにしてもよい。   Note that, in the above, other predicted movement lines that are not emphasized are included in the composite image CP when the predicted movement line related to the part of the working vehicle 1 in operation is emphasized. Only the relevant movement prediction line may be included in the composite image CP.

また、上記では、動作中の作業車両１の部位に関連する移動予測線を強調しているが、車両像９０に含まれるパーツデータ９１〜９３のうち動作中の作業車両１の部位に対応するものをさらに強調するようにしてもよい。   Further, in the above, the movement prediction line related to the part of the working vehicle 1 that is operating is emphasized, but the part data 91 to 93 included in the vehicle image 90 corresponds to the part of the working vehicle 1 that is operating. Things may be further emphasized.

＜５．第５の実施の形態＞
次に、第５の実施の形態について説明する。第５の実施の形態の作業車両１及び画像処理装置２の構成や処理は第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。第１の実施の形態では、画像処理装置２は、作業車両１の直上の仮想視点ＶＰからみた合成画像ＣＰを生成していた。これに対して、第５の実施の形態では、画像処理装置２は、仮想視点ＶＰを任意の位置に設定し、任意の仮想視点ＶＰからみた合成画像ＣＰを生成できるようになっている。 <5. Fifth embodiment>
Next, a fifth embodiment will be described. Since the configuration and processing of the work vehicle 1 and the image processing apparatus 2 of the fifth embodiment are substantially the same as those of the first embodiment, the following description will be made focusing on differences from the first embodiment. . In the first embodiment, the image processing device 2 generates the composite image CP viewed from the virtual viewpoint VP immediately above the work vehicle 1. On the other hand, in the fifth embodiment, the image processing apparatus 2 can set the virtual viewpoint VP at an arbitrary position and generate a composite image CP viewed from the arbitrary virtual viewpoint VP.

図２１は、合成画像ＣＰの生成に用いる投影面ＴＳを示す図である。第５の実施の形態の画像合成部２３は、この投影面ＴＳの周囲の三次元空間の任意の位置に、任意の方向へ向けて仮想視点ＶＰを設定できる。例えば、図２１に示すように、作業車両１の旋回体１２の後方の位置において旋回体１２の前方へ向けた仮想視点ＶＰ１や、旋回体１２の左側方の位置において旋回体１２の右側方へ向けた仮想視点ＶＰ２などを設定することができる。   FIG. 21 is a diagram showing a projection plane TS used for generating the composite image CP. The image composition unit 23 of the fifth embodiment can set the virtual viewpoint VP in an arbitrary direction at an arbitrary position in the three-dimensional space around the projection plane TS. For example, as shown in FIG. 21, a virtual viewpoint VP1 directed to the front of the turning body 12 at a position behind the turning body 12 of the work vehicle 1, or to the right side of the turning body 12 at a left side position of the turning body 12. The directed virtual viewpoint VP2 can be set.

このように任意の位置に仮想視点ＶＰを設定した場合も、画像合成部２３は、投影面ＴＳのうち、設定した仮想視点ＶＰからみて所定の視野角に含まれる領域を画像として切り出す。これにより、画像合成部２３は、任意の仮想視点ＶＰからみた作業車両１の周辺の被写体を示す合成画像ＣＰを生成することができる。   As described above, even when the virtual viewpoint VP is set at an arbitrary position, the image composition unit 23 cuts out an area included in the predetermined viewing angle as viewed from the set virtual viewpoint VP in the projection plane TS as an image. As a result, the image composition unit 23 can generate a composite image CP that shows a subject around the work vehicle 1 viewed from an arbitrary virtual viewpoint VP.

例えば、図中に示す仮想視点ＶＰ１を設定した場合は、旋回体１２の後方から作業車両１の周辺全体を見下ろすように、作業車両１の周辺の被写体を示す合成画像ＣＰが生成される。また、図中に示す仮想視点ＶＰ２を設定した場合は、旋回体１２の左側方から作業車両１の周辺全体を見下ろすように、作業車両１の周辺の被写体を示す合成画像ＣＰが生成される。   For example, when the virtual viewpoint VP1 shown in the figure is set, a composite image CP showing the subject around the work vehicle 1 is generated so that the entire periphery of the work vehicle 1 can be looked down from behind the revolving structure 12. Further, when the virtual viewpoint VP2 shown in the figure is set, a composite image CP indicating the subject around the work vehicle 1 is generated so that the entire periphery of the work vehicle 1 is looked down from the left side of the revolving structure 12.

第５の実施の形態の画像合成部２３は、このように仮想視点ＶＰの位置自体を変更することで、含まれる被写体の像の方向（被写体方向）が異なる合成画像ＣＰを生成できる。そして、方向変更部２１ｂは、この画像合成部２３に制御信号を送信し、第１の実施の形態と同様に、作業車両１の動作に応じて被写体方向を変更する。   The image composition unit 23 according to the fifth embodiment can generate a composite image CP in which the direction of the included subject image (subject direction) is different by changing the position of the virtual viewpoint VP itself. Then, the direction changing unit 21b transmits a control signal to the image composition unit 23, and changes the subject direction according to the operation of the work vehicle 1 as in the first embodiment.

例えば、走行体１１が走行中である場合は、方向変更部２１ｂは、被写体方向を走行基準方向に設定する。これに応答して、画像合成部２３は、仮想視点ＶＰの位置を走行体１１の後方の位置に設定する。その結果、図２２に示すように、走行体１１の後方から作業車両１の周辺全体を見下ろすように、作業車両１の周辺の被写体を示す合成画像ＣＰが生成される。この合成画像ＣＰでは、その上下方向が走行体１１の前後方向と一致し、走行体１１を示す走行体像９１の前方が合成画像ＣＰの上方に向いている。   For example, when the traveling body 11 is traveling, the direction changing unit 21b sets the subject direction as the traveling reference direction. In response to this, the image composition unit 23 sets the position of the virtual viewpoint VP to the position behind the traveling body 11. As a result, as shown in FIG. 22, a composite image CP showing the subject around the work vehicle 1 is generated so that the entire periphery of the work vehicle 1 can be looked down from behind the traveling body 11. In the composite image CP, the vertical direction thereof coincides with the front-rear direction of the traveling body 11, and the front of the traveling body image 91 showing the traveling body 11 is directed above the composite image CP.

一方、作業装置１３が動作中である場合は、方向変更部２１ｂは、被写体方向を旋回基準方向に設定する。これに応答して、画像合成部２３は、仮想視点ＶＰの位置を旋回体１２の後方の位置に設定する。その結果、図２３に示すように、旋回体１２の後方から作業車両１の周辺全体を見下ろすように、作業車両１の周辺の被写体を示す合成画像ＣＰが生成される。この合成画像ＣＰでは、その上下方向が旋回体１２の前後方向と一致し、旋回体１２を示す旋回体像９２の前方が合成画像ＣＰの上方に向いている。   On the other hand, when the work device 13 is operating, the direction changing unit 21b sets the subject direction as the turning reference direction. In response to this, the image composition unit 23 sets the position of the virtual viewpoint VP to a position behind the revolving unit 12. As a result, as shown in FIG. 23, a composite image CP showing the subject around the work vehicle 1 is generated so that the entire periphery of the work vehicle 1 can be looked down from behind the revolving structure 12. In the composite image CP, the vertical direction thereof coincides with the front-rear direction of the revolving body 12, and the front of the revolving body image 92 showing the revolving body 12 is directed above the composite image CP.

また、本実施の形態の画像合成部２３は、このようにして生成した合成画像ＣＰに、仮想視点ＶＰからみた作業車両１の外観を示す車両像９０ｂを含めるようになっている。画像合成部２３は、例えば、ポリゴンやワイヤーフレームなどの作業車両１の三次元形状を示す三次元モデルを仮想的に構成し、設定した仮想視点ＶＰに応じて三次元モデルに関してレンダリングを行うことで車両像９０ｂを生成する。この場合も、画像合成部２３は、走行体１１に対する旋回体１２の旋回角度、及び、作業装置１３の各関節部の回動角度に基づいて三次元モデルを調整し、実際の走行体１１と旋回体１２との相対的な位置関係、及び、実際の作業装置１３の伸縮状態を示す車両像９０ｂを生成することが望ましい。   In addition, the image composition unit 23 of the present embodiment includes a vehicle image 90b showing the appearance of the work vehicle 1 viewed from the virtual viewpoint VP in the composite image CP generated in this way. For example, the image composition unit 23 virtually constructs a three-dimensional model indicating the three-dimensional shape of the work vehicle 1 such as a polygon or a wire frame, and renders the three-dimensional model according to the set virtual viewpoint VP. A vehicle image 90b is generated. Also in this case, the image composition unit 23 adjusts the three-dimensional model based on the turning angle of the turning body 12 with respect to the traveling body 11 and the turning angle of each joint portion of the work device 13, and It is desirable to generate a vehicle image 90b indicating the relative positional relationship with the revolving body 12 and the actual expansion / contraction state of the work device 13.

以上のように、第５の実施の形態においては、任意の仮想視点ＶＰからみた合成画像ＣＰを生成できるため、ユーザは実際の被写体の位置をより直感的に把握することができる。   As described above, in the fifth embodiment, since the composite image CP viewed from an arbitrary virtual viewpoint VP can be generated, the user can more intuitively grasp the position of the actual subject.

＜６．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。 <6. Modification>
Although the embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and various modifications are possible. Below, such a modification is demonstrated. All the forms including the above-described embodiment and the form described below can be appropriately combined.

上記実施の形態では、画像処理装置２と表示装置３とは別体としていたが、画像処理装置２と表示装置３とは一体化されていてもよい。   In the above embodiment, the image processing device 2 and the display device 3 are separate bodies, but the image processing device 2 and the display device 3 may be integrated.

また、上記実施の形態では、画像を撮影するカメラ５は旋回体１２に設けられていたが、走行体１１に設けてもよい。ただし、このように走行体１１にカメラ５を設けた場合は、比較的低い位置から作業車両１の周辺を撮影することになるため、合成画像ＣＰを生成した場合に合成画像ＣＰに含まれる被写体の像の歪みが大きくなる。このため、上記実施の形態のように、比較的高い位置から作業車両１の周辺を撮影できるように、旋回体１２にカメラ５を設けることが望ましい。また、さらに高い位置から車両の周辺を撮影できるように、複数のカメラ５のうちの一部あるいは全部を、運転室１５の上部に設けてもよい。   In the above embodiment, the camera 5 that captures an image is provided on the revolving unit 12, but may be provided on the traveling unit 11. However, when the traveling body 11 is provided with the camera 5 in this way, the periphery of the work vehicle 1 is photographed from a relatively low position, and therefore the subject included in the composite image CP when the composite image CP is generated. The distortion of the image increases. For this reason, it is desirable to provide the camera 5 on the revolving structure 12 so that the periphery of the work vehicle 1 can be photographed from a relatively high position as in the above embodiment. In addition, some or all of the plurality of cameras 5 may be provided in the upper part of the cab 15 so that the periphery of the vehicle can be photographed from a higher position.

また、上記実施の形態では、走行体１１の走行中は、前進及び後退のいずれであっても走行体像９１の前方を合成画像ＣＰの上方に向けるようにしていた。これに対して、走行体１１の前進中は走行体像９１の前方を合成画像ＣＰの上方に向け、走行体１１の後退中は走行体像９１の後方を合成画像ＣＰの上方に向けるようにしてもよい。   Further, in the above embodiment, while the traveling body 11 is traveling, the front of the traveling body image 91 is directed above the composite image CP regardless of whether the traveling body 11 is moving forward or backward. On the other hand, when the traveling body 11 is moving forward, the front of the traveling body image 91 is directed above the composite image CP, and when the traveling body 11 is moving backward, the rear of the traveling body image 91 is directed above the composite image CP. May be.

また、上記実施の形態では、走行体と走行体上に旋回可能に設けられる旋回体とを備えた車両として油圧ショベルを例に説明を行ったが、クローラクレーンや戦車などの油圧ショベル以外の車両に、上記技術を適用してもよい。   In the above embodiment, a hydraulic excavator has been described as an example of a vehicle including a traveling body and a revolving body provided on the traveling body so as to be capable of turning. However, a vehicle other than a hydraulic excavator such as a crawler crane or a tank. In addition, the above technique may be applied.

また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。   Further, in the above-described embodiment, it has been described that various functions are realized in software by the arithmetic processing of the CPU according to the program. However, some of these functions are realized by an electrical hardware circuit. Also good. Conversely, some of the functions realized by the hardware circuit may be realized by software.

１ 作業車両
２ 画像処理装置
１１ 走行体
１２ 旋回体
１３ 作業装置
１５ 運転室
２１ 制御部
２１ｂ 方向変更部
２１ｄ 領域特定部
２３ 画像合成部
９０ 車両像
ＶＰ 仮想視点 DESCRIPTION OF SYMBOLS 1 Work vehicle 2 Image processing apparatus 11 Traveling body 12 Revolving body 13 Work apparatus 15 Driver's cab 21 Control part 21b Direction change part 21d Area | region specific part 23 Image composition part 90 Vehicle image VP Virtual viewpoint

Claims (15)

走行体と前記走行体上に旋回可能に設けられる旋回体とを備えた車両で用いられる画像処理装置であって、
前記車両に設けられる複数のカメラで取得された複数の画像を用いて、仮想視点からみた前記車両の周辺の被写体を示す合成画像を生成する生成手段と、
前記合成画像を表示装置に出力して表示させる出力手段と、
前記走行体を基準とする第１方向、及び、前記旋回体を基準とする第２方向の一方から他方に、前記合成画像に含まれる前記被写体の像の方向を変更する変更手段と、
を備えることを特徴とする画像処理装置。 An image processing apparatus used in a vehicle including a traveling body and a revolving body that is turnably provided on the traveling body,
Using a plurality of images acquired by a plurality of cameras provided in the vehicle, generating means for generating a composite image showing subjects around the vehicle viewed from a virtual viewpoint;
Output means for outputting and displaying the composite image on a display device;
Changing means for changing the direction of the image of the subject included in the composite image from one of the first direction based on the traveling body and the second direction based on the revolving body;
An image processing apparatus comprising: 請求項１に記載の画像処理装置において、
前記複数のカメラは、前記旋回体に設けられることを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
The image processing apparatus, wherein the plurality of cameras are provided on the revolving unit. 請求項１または２に記載の画像処理装置において、
前記車両の動作を示す信号を受信する受信手段、
をさらに備え、
前記変更手段は、前記車両の動作に応じて、前記被写体の像の方向を変更することを特徴とする画像処理装置。 The image processing apparatus according to claim 1 or 2,
Receiving means for receiving a signal indicating the operation of the vehicle;
Further comprising
The image processing apparatus according to claim 1, wherein the changing unit changes a direction of the image of the subject in accordance with an operation of the vehicle. 請求項３に記載の画像処理装置において、
前記変更手段は、前記走行体の走行中は、前記被写体の像の方向を前記第１方向に変更することを特徴とする画像処理装置。 The image processing apparatus according to claim 3.
The image processing apparatus according to claim 1, wherein the changing unit changes the direction of the image of the subject to the first direction while the traveling body is traveling. 請求項３または４に記載の画像処理装置において、
前記変更手段は、前記旋回体に設けられた作業装置の動作中は、前記被写体の像の方向を前記第２方向に変更することを特徴とする画像処理装置。 The image processing apparatus according to claim 3 or 4,
The image processing apparatus characterized in that the changing means changes the direction of the image of the subject to the second direction during operation of a working device provided on the revolving structure. 請求項１ないし５のいずれかに記載の画像処理装置において、
前記変更手段は、前記被写体の像の方向を変更する場合に、前記被写体の像の方向を段階的に変更し、前記被写体の像の方向が連続的に変わるアニメーション表示を前記表示装置に行わせることを特徴とする画像処理装置。 The image processing apparatus according to any one of claims 1 to 5,
The changing means changes the direction of the subject image stepwise when changing the direction of the subject image, and causes the display device to perform an animation display in which the direction of the subject image changes continuously. An image processing apparatus. 請求項１ないし６のいずれかに記載の画像処理装置において、
前記生成手段は、前記合成画像中に前記車両の外観を示す車両像を含めることを特徴とする画像処理装置。 The image processing apparatus according to any one of claims 1 to 6,
The image processing apparatus according to claim 1, wherein the generation unit includes a vehicle image indicating an appearance of the vehicle in the composite image. 請求項７に記載の画像処理装置において、
前記走行体に対する前記旋回体の旋回角度を取得する手段、
をさらに備え、
前記生成手段は、前記旋回角度に基づいて、前記走行体と前記旋回体との相対的な位置関係を示す前記車両像を前記合成画像に含めることを特徴とする画像処理装置。 The image processing apparatus according to claim 7.
Means for obtaining a turning angle of the turning body relative to the traveling body;
Further comprising
The image processing apparatus, wherein the generation unit includes the vehicle image indicating a relative positional relationship between the traveling body and the turning body in the composite image based on the turning angle. 請求項７または８に記載の画像処理装置において、
前記旋回体に設けられた作業装置の関節部の回動角度を取得する手段、
をさらに備え、
前記生成手段は、前記回動角度に基づいて、前記作業装置の伸縮状態を示す前記車両像を前記合成画像に含めることを特徴とする画像処理装置。 The image processing apparatus according to claim 7 or 8,
Means for acquiring a rotation angle of a joint portion of a working device provided in the revolving structure;
Further comprising
The image processing apparatus according to claim 1, wherein the generation unit includes the vehicle image indicating an expansion / contraction state of the work device in the composite image based on the rotation angle. 請求項７に記載の画像処理装置において、
前記生成手段は、前記合成画像中に含まれる前記被写体としての前記走行体の像に重ねて、前記旋回体の外観を示す旋回体像を含めることを特徴とする画像処理装置。 The image processing apparatus according to claim 7.
The image processing apparatus according to claim 1, wherein the generation unit includes a revolving body image indicating an appearance of the revolving body superimposed on an image of the traveling body as the subject included in the composite image. 請求項１に記載の画像処理装置において、
前記旋回体には、伸縮可能な作業装置が設けられており、
前記車両の動作を示す信号を受信する受信手段と、
前記合成画像が示す前記車両の周辺の範囲において、前記走行体が走行した場合に前記走行体が移動する第１領域、前記旋回体が旋回した場合に前記作業装置が移動する第２領域、及び、前記作業装置が伸縮した場合に前記作業装置が移動する第３領域をそれぞれ特定する特定手段と、
をさらに備え、
前記生成手段は、前記車両の動作に応じて、前記第１ないし第３領域のうち現時点で動作中の前記車両の部位に関連する領域の指標を、他の領域の指標よりも強調して前記合成画像に含めることを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
The swivel body is provided with an extendable working device,
Receiving means for receiving a signal indicating the operation of the vehicle;
A first area in which the traveling body moves when the traveling body travels, a second area in which the work device moves when the turning body turns, in a range around the vehicle indicated by the composite image; and Identifying means for respectively identifying third regions to which the working device moves when the working device expands and contracts;
Further comprising
The generating means emphasizes an index of an area related to a part of the vehicle currently operating among the first to third areas in accordance with an operation of the vehicle, more than an index of another area. An image processing apparatus characterized by being included in a composite image. 走行体と、前記走行体上に旋回可能に設けられる旋回体と、前記旋回体に設けられる伸縮可能な作業装置とを備えた車両で用いられる画像処理装置であって、
前記車両に設けられる複数のカメラで取得された複数の画像を用いて、仮想視点からみた前記車両の周辺の被写体を示す合成画像を生成する生成手段と、
前記車両の動作を示す信号を受信する受信手段と、
前記合成画像が示す前記車両の周辺の範囲において、前記走行体が走行した場合に前記走行体が移動する第１領域、前記旋回体が旋回した場合に前記作業装置が移動する第２領域、及び、前記作業装置が伸縮した場合に前記作業装置が移動する第３領域をそれぞれ特定する特定手段と、
をさらに備え、
前記生成手段は、前記車両の動作に応じて、前記第１ないし第３領域のうち現時点で動作中の前記車両の部位に関連する領域の指標を、他の領域の指標よりも強調して前記合成画像に含めることを特徴とする画像処理装置。 An image processing apparatus used in a vehicle including a traveling body, a revolving body provided on the traveling body so as to be capable of turning, and a telescopic work device provided on the revolving body,
Using a plurality of images acquired by a plurality of cameras provided in the vehicle, generating means for generating a composite image showing subjects around the vehicle viewed from a virtual viewpoint;
Receiving means for receiving a signal indicating the operation of the vehicle;
A first area in which the traveling body moves when the traveling body travels, a second area in which the work device moves when the turning body turns, in a range around the vehicle indicated by the composite image; and Identifying means for respectively identifying third regions to which the working device moves when the working device expands and contracts;
Further comprising
The generating means emphasizes an index of an area related to a part of the vehicle currently operating among the first to third areas in accordance with an operation of the vehicle, more than an index of another area. An image processing apparatus characterized by being included in a composite image. 走行体と前記走行体上に旋回可能に設けられる旋回体とを備えた車両であって、
前記車両に設けられる複数のカメラで取得された複数の画像を用いて、仮想視点からみた前記車両の周辺の被写体を示す合成画像を生成する生成手段と、
前記合成画像を表示装置に出力して表示させる出力手段と、
前記走行体を基準とする第１方向、及び、前記旋回体を基準とする第２方向の一方から他方に、前記合成画像に含まれる前記被写体の像の方向を変更する変更手段と、
を備えることを特徴とする車両。 A vehicle including a traveling body and a revolving body that is turnably provided on the traveling body,
Using a plurality of images acquired by a plurality of cameras provided in the vehicle, generating means for generating a composite image showing subjects around the vehicle viewed from a virtual viewpoint;
Output means for outputting and displaying the composite image on a display device;
Changing means for changing the direction of the image of the subject included in the composite image from one of the first direction based on the traveling body and the second direction based on the revolving body;
A vehicle comprising: 走行体と前記走行体上に旋回可能に設けられる旋回体とを備えた車両で用いられる画像処理方法であって、
前記車両に設けられる複数のカメラで取得された複数の画像を用いて、仮想視点からみた前記車両の周辺の被写体を示す合成画像を生成する工程と、
前記合成画像を表示装置に出力して表示させる工程と、
前記走行体を基準とする第１方向、及び、前記旋回体を基準とする第２方向の一方から他方に、前記合成画像に含まれる前記被写体の像の方向を変更する工程と、
を備えることを特徴とする画像処理方法。 An image processing method used in a vehicle including a traveling body and a turning body provided on the traveling body so as to be capable of turning,
Using a plurality of images acquired by a plurality of cameras provided in the vehicle, and generating a composite image showing a subject around the vehicle viewed from a virtual viewpoint;
Outputting and displaying the composite image on a display device;
Changing the direction of the image of the subject included in the composite image from one of the first direction based on the traveling body and the second direction based on the revolving body;
An image processing method comprising: 走行体と前記走行体上に旋回可能に設けられる旋回体とを備えた車両で用いられる画像処理装置に含まれるコンピュータによって実行可能なプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、
前記車両に設けられる複数のカメラで取得された複数の画像を用いて、仮想視点からみた前記車両の周辺の被写体を示す合成画像を生成する工程と、
前記合成画像を表示装置に出力して表示させる工程と、
前記走行体を基準とする第１方向、及び、前記旋回体を基準とする第２方向の一方から他方に、前記合成画像に含まれる前記被写体の像の方向を変更する工程と、
を実行させることを特徴とするプログラム。 A computer-executable program included in an image processing apparatus used in a vehicle including a traveling body and a turning body that is turnably provided on the traveling body. In addition,
Using a plurality of images acquired by a plurality of cameras provided in the vehicle, and generating a composite image showing a subject around the vehicle viewed from a virtual viewpoint;
Outputting and displaying the composite image on a display device;
Changing the direction of the image of the subject included in the composite image from one of the first direction based on the traveling body and the second direction based on the revolving body;
A program characterized by having executed.
JP2011267853A 2011-12-07 2011-12-07 Image processing apparatus, vehicle, image processing method, and program Expired - Fee Related JP5841821B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011267853A JP5841821B2 (en) 2011-12-07 2011-12-07 Image processing apparatus, vehicle, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011267853A JP5841821B2 (en) 2011-12-07 2011-12-07 Image processing apparatus, vehicle, image processing method, and program

Publications (2)

Publication Number Publication Date
JP2013121056A true JP2013121056A (en) 2013-06-17
JP5841821B2 JP5841821B2 (en) 2016-01-13

Family

ID=48773506

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011267853A Expired - Fee Related JP5841821B2 (en) 2011-12-07 2011-12-07 Image processing apparatus, vehicle, image processing method, and program

Country Status (1)

Country Link
JP (1) JP5841821B2 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103522955A (en) * 2013-10-30 2014-01-22 北京二七轨道交通装备有限责任公司 Engineering machinery vehicle
JP2015139158A (en) * 2014-01-23 2015-07-30 クラリオン株式会社 Heavy machine periphery monitoring device
JP2016082586A (en) * 2014-10-17 2016-05-16 日本無線株式会社 Image generating apparatus
WO2017026469A1 (en) * 2015-08-10 2017-02-16 住友建機株式会社 Shovel
JP2018042207A (en) * 2016-09-09 2018-03-15 株式会社タダノ Overviewing picture system, overviewing picture display method, and program
JP2020061646A (en) * 2018-10-10 2020-04-16 市光工業株式会社 Display device for vehicle
WO2020153292A1 (en) * 2019-01-23 2020-07-30 株式会社小松製作所 System and method for working machine
JP2021183448A (en) * 2020-05-22 2021-12-02 鉄建建設株式会社 Image display system for construction vehicle

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005061024A (en) * 2003-08-11 2005-03-10 Hitachi Constr Mach Co Ltd Position measuring display system for working machine
JP2008274585A (en) * 2007-04-26 2008-11-13 Toa Harbor Works Co Ltd Dredging support system
JP2011151742A (en) * 2010-01-25 2011-08-04 Tadano Ltd Image display system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005061024A (en) * 2003-08-11 2005-03-10 Hitachi Constr Mach Co Ltd Position measuring display system for working machine
JP2008274585A (en) * 2007-04-26 2008-11-13 Toa Harbor Works Co Ltd Dredging support system
JP2011151742A (en) * 2010-01-25 2011-08-04 Tadano Ltd Image display system

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103522955A (en) * 2013-10-30 2014-01-22 北京二七轨道交通装备有限责任公司 Engineering machinery vehicle
JP2015139158A (en) * 2014-01-23 2015-07-30 クラリオン株式会社 Heavy machine periphery monitoring device
JP2016082586A (en) * 2014-10-17 2016-05-16 日本無線株式会社 Image generating apparatus
KR102498986B1 (en) 2015-08-10 2023-02-13 스미토모 겐키 가부시키가이샤 shovel
WO2017026469A1 (en) * 2015-08-10 2017-02-16 住友建機株式会社 Shovel
KR20180039082A (en) * 2015-08-10 2018-04-17 스미토모 겐키 가부시키가이샤 Shovel
JPWO2017026469A1 (en) * 2015-08-10 2018-05-31 住友建機株式会社 Excavator
US10687026B2 (en) 2015-08-10 2020-06-16 Sumitomo(S.H.I.) Construction Machinery Co., Ltd. Shovel
JP2018042207A (en) * 2016-09-09 2018-03-15 株式会社タダノ Overviewing picture system, overviewing picture display method, and program
WO2018047954A1 (en) * 2016-09-09 2018-03-15 株式会社タダノ Bird's-eye view image system, bird's-eye view image display method and program
JP2020061646A (en) * 2018-10-10 2020-04-16 市光工業株式会社 Display device for vehicle
JP2020120234A (en) * 2019-01-23 2020-08-06 株式会社小松製作所 Work machine system and method
JP7160702B2 (en) 2019-01-23 2022-10-25 株式会社小松製作所 Work machine system and method
WO2020153292A1 (en) * 2019-01-23 2020-07-30 株式会社小松製作所 System and method for working machine
JP2021183448A (en) * 2020-05-22 2021-12-02 鉄建建設株式会社 Image display system for construction vehicle
JP7428588B2 (en) 2020-05-22 2024-02-06 鉄建建設株式会社 Video display system for construction vehicles

Also Published As

Publication number Publication date
JP5841821B2 (en) 2016-01-13

Similar Documents

Publication Publication Date Title
JP5841821B2 (en) Image processing apparatus, vehicle, image processing method, and program
JP5775283B2 (en) Work machine monitoring device
JP5814187B2 (en) Display device for self-propelled industrial machine
JP5271154B2 (en) Image generating apparatus and image display system
JP5066198B2 (en) Work machine monitoring device
JP5546427B2 (en) Work machine ambient monitoring device
CN109661813B (en) Bird&#39;s-eye view image system, bird&#39;s-eye view image display method, and computer-readable recording medium storing program
WO2010137684A1 (en) Image generation device and image display system
WO2016013490A1 (en) Surroundings display device for turning operation machine
US20140111648A1 (en) Device For Monitoring Area Around Working Machine
JP6321977B2 (en) Perimeter monitoring equipment for heavy machinery
JP6243806B2 (en) Work vehicle surrounding monitoring device and program for surrounding monitoring device
JP2008312004A (en) Camera system and mechanical apparatus
JP5658507B2 (en) Image display system, image generation apparatus, and image display method
JP2013253402A (en) Surrounding monitoring device for work machine
CN108291390B (en) Work vehicle and work vehicle control method
JP2020077173A (en) Remote operation device for construction machines
JP2008085691A (en) Vehicle periphery monitoring apparatus
JP2008148114A (en) Drive assisting device
JP2012001126A (en) Vehicle surroundings monitoring device
JP5752631B2 (en) Image generation method, image generation apparatus, and operation support system
JP2013002101A (en) Visual field auxiliary device for work machine
JPH11217853A (en) Rearward monitoring device of construction machine and its rearward monitoring method
JP6713884B2 (en) Overhead image system, overhead image display method and program
KR101861523B1 (en) Apparatus and method for supporting driving of vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140826

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150601

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151027

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151116

R150 Certificate of patent or registration of utility model

Ref document number: 5841821

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees