JP2013186245A - Vehicle periphery monitoring device - Google Patents

Vehicle periphery monitoring device Download PDF

Info

Publication number
JP2013186245A
JP2013186245A JP2012050454A JP2012050454A JP2013186245A JP 2013186245 A JP2013186245 A JP 2013186245A JP 2012050454 A JP2012050454 A JP 2012050454A JP 2012050454 A JP2012050454 A JP 2012050454A JP 2013186245 A JP2013186245 A JP 2013186245A
Authority
JP
Japan
Prior art keywords
vehicle
camera
posture
image
road surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012050454A
Other languages
Japanese (ja)
Inventor
Heishin O
丙辰 王
Hirohiko Yanagawa
博彦 柳川
Masakazu Takeichi
真和 竹市
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2012050454A priority Critical patent/JP2013186245A/en
Priority to FR1351791A priority patent/FR2987928A1/en
Priority to DE102013203868A priority patent/DE102013203868A1/en
Priority to CN2013100721443A priority patent/CN103303198A/en
Publication of JP2013186245A publication Critical patent/JP2013186245A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To prevent distortion of a composite image due to a change in the attitude of a vehicle mounted with an on-vehicle camera thereon.SOLUTION: Amount of change in position and direction of an on-vehicle camera 20 in a state in which the attitude of a vehicle to a road surface becomes abnormal is estimated (S110). When it is determined that the attitude of the vehicle to the road surface is abnormal, a second parameter showing the real position and direction of the on-vehicle camera 20 is specified from the amount of change in the position and direction of the on-vehicle camera 20 in the state in which the attitude of the vehicle to the road surface becomes abnormal, and video conversion of an image photographed by the on-vehicle camera 20 into an image which looks as if it were photographed by a virtual camera is performed using the second parameter (S112).

Description

本発明は、車両に取り付けられた車載カメラの撮影画像を異なる仮想カメラ位置から撮影したような画像に映像変換して車両周辺の合成画像を生成する車両周辺監視装置に関するものである。   The present invention relates to a vehicle periphery monitoring device that converts a captured image of an in-vehicle camera attached to a vehicle into an image captured from a different virtual camera position to generate a composite image around the vehicle.

従来、車両周辺を撮影した画像を上空から見た平面画像に変換して得られた鳥瞰画像を一時記憶メモリに記憶させるとともに、ハンドル各信号、車速信号等に基づいて車両の動きを算出し、この車両の動きに基づいて、一時記憶メモリに記憶された複数の鳥瞰画像を用いて車両周辺の合成画像を生成し、この合成画像を表示部に表示させるようにしたものがある（例えば、特許文献１参照）。   Conventionally, a bird's-eye view image obtained by converting an image of the periphery of a vehicle into a planar image viewed from above is stored in a temporary storage memory, and the movement of the vehicle is calculated based on each steering wheel signal, vehicle speed signal, Based on the movement of the vehicle, a composite image around the vehicle is generated using a plurality of bird's-eye images stored in a temporary storage memory, and the composite image is displayed on a display unit (for example, patents). Reference 1).

特開２００７−１０２７９８号公報JP 2007-102798 A

上記特許文献１に記載されたような装置では、車両に取り付けられた車載カメラの位置および向きを規定したパラメータを用いて車載カメラの撮影画像を車両上方の仮想カメラ位置から撮影したような鳥瞰画像に映像変換し、車両の移動に伴って映像変換された複数の鳥瞰画像を一次記憶メモリに記憶させるとともに一次記憶メモリに記憶された複数の鳥瞰画像を用いて車両周辺の合成画像を生成するように構成されている。   In the apparatus described in Patent Document 1, a bird's-eye view image obtained by capturing a captured image of the in-vehicle camera from a virtual camera position above the vehicle using parameters that define the position and orientation of the in-vehicle camera attached to the vehicle. And a plurality of bird's-eye images that have been converted according to the movement of the vehicle are stored in the primary storage memory and a composite image around the vehicle is generated using the plurality of bird's-eye images stored in the primary storage memory. It is configured.

しかしながら、このような構成では、車両に取り付けられた車載カメラの位置および向きを規定したパラメータを固定値として映像変換が行われるため、車両の姿勢が変化して車載カメラの位置や向きにずれが生じると、それまでと異なる仮想カメラ位置から撮影したような鳥瞰画像が一時記憶メモリに記憶され、歪んだ領域を含むような合成画像が生成されてしまう。   However, in such a configuration, since the video conversion is performed with the parameters defining the position and orientation of the in-vehicle camera attached to the vehicle as fixed values, the attitude of the vehicle changes and the position and orientation of the in-vehicle camera shifts. When this occurs, a bird's-eye view image taken from a different virtual camera position is stored in the temporary storage memory, and a composite image including a distorted area is generated.

図８に、車両が後進して路面に設けられた車止めに乗り上げた場合の車両の様子と合成画像の例を示す。図８（ａ）、（ｂ）に示すように、車両が平坦な路面を後進している場合、正常に仮想カメラ位置への視点変換が行われ、合成画像に歪みは生じない。しかし、図８（ｃ）に示すように、車両が路面に設けられた車止めに乗り上げて車両の姿勢が変化して車載カメラの位置や向きに変化が生じると、それまでと異なる仮想カメラ位置から撮影したような鳥瞰画像が一時記憶メモリに記憶される。このため、図８（ｄ）中の点線で囲まれたＡ部に示すように、歪んだ領域を含むような合成画像が生成される。また、このような歪んだ領域は、図８（ｅ）、（ｆ）中のＡ部に示すように、車両が正常な姿勢に戻った後も履歴画像として合成画像に残るため、ユーザに違和感を与えてしまうといった問題がある。   FIG. 8 shows an example of the state of the vehicle and a composite image when the vehicle moves backward and rides on a car stop provided on the road surface. As shown in FIGS. 8A and 8B, when the vehicle moves backward on a flat road surface, the viewpoint conversion to the virtual camera position is normally performed, and the synthesized image is not distorted. However, as shown in FIG. 8 (c), when the vehicle rides on a car stop provided on the road surface and the posture of the vehicle changes to change the position and orientation of the in-vehicle camera, A bird's-eye view image as taken is stored in the temporary storage memory. For this reason, a composite image including a distorted region is generated as shown in part A surrounded by a dotted line in FIG. Further, such a distorted area remains in the composite image as a history image even after the vehicle returns to a normal posture as shown in part A in FIGS. 8 (e) and 8 (f). There is a problem of giving.

本発明は上記問題に鑑みたもので、車載カメラを搭載した車両の姿勢が変化したことによる合成画像の歪みを防止することを目的とする。   The present invention has been made in view of the above problems, and an object thereof is to prevent distortion of a composite image due to a change in the posture of a vehicle on which an in-vehicle camera is mounted.

上記目的を達成するため、請求項１に記載の発明は、車両に取り付けられた車載カメラの位置および向きを規定した第１のパラメータを用いて車載カメラの撮影画像を当該車載カメラと異なる仮想カメラ位置から撮影したような画像に映像変換する映像変換手段と、車両の移動に伴って映像変換手段により映像変換された複数の画像を一次記憶メモリに記憶させるとともに一次記憶メモリに記憶された複数の画像を用いて車両周辺の合成画像を生成する合成画像生成手段と、を備えた車両周辺監視装置であって、車両の路面に対する姿勢が異常であるか否かを判定する判定手段と、車両の路面に対する姿勢が異常となった状態の車載カメラの位置および向きの変化量を推定する変化量推定手段と、を備え、映像変換手段は、判定手段により車両の路面に対する姿勢が異常であると判定された場合、変化量推定手段により推定された車両の路面に対する姿勢が異常となった状態の車載カメラの位置および向きの変化量から実際の車載カメラの位置および向きを表す第２のパラメータを特定し、当該第２のパラメータを用いて車載カメラの撮影画像を、仮想カメラが撮影したような画像に映像変換することを特徴としている。   In order to achieve the above object, the invention described in claim 1 is a virtual camera that uses a first parameter that defines a position and an orientation of an in-vehicle camera attached to a vehicle to display a captured image of the in-vehicle camera different from the in-vehicle camera. Video converting means for converting video into an image taken from a position, and a plurality of images converted by the video converting means in accordance with movement of the vehicle are stored in a primary storage memory and a plurality of images stored in the primary storage memory A vehicle periphery monitoring device comprising: a composite image generation unit configured to generate a composite image of a vehicle periphery using an image; a determination unit that determines whether the posture of the vehicle with respect to a road surface is abnormal; Change amount estimating means for estimating the change amount of the position and orientation of the in-vehicle camera in a state in which the posture with respect to the road surface is abnormal, and the image conversion means If it is determined that the attitude of the vehicle with respect to the road surface is abnormal, the actual position of the in-vehicle camera is determined from the amount of change in the position and orientation of the in-vehicle camera in which the attitude with respect to the road surface of the vehicle estimated by the change amount estimation means is abnormal. And a second parameter representing the orientation is specified, and the captured image of the in-vehicle camera is converted into an image captured by the virtual camera using the second parameter.

このような構成によれば、車両の路面に対する姿勢が異常であるか否かを判定するとともに、車両の路面に対する姿勢が異常となった状態の車載カメラの位置および向きの変化量を推定し、車両の路面に対する姿勢が異常であると判定された場合、変化量推定手段により推定された車両の路面に対する姿勢が異常となった状態の車載カメラの位置および向きの変化量から実際の車載カメラの位置および向きを表す第２のパラメータを特定し、当該第２のパラメータを用いて車載カメラの撮影画像が、仮想カメラが撮影したような画像に映像変換されるので、車載カメラを搭載した車両の姿勢が変化したことによる合成画像の歪みを防止することができる。   According to such a configuration, it is determined whether or not the posture of the vehicle with respect to the road surface is abnormal, and the amount of change in the position and orientation of the in-vehicle camera in a state in which the posture of the vehicle with respect to the road surface is abnormal is estimated. When it is determined that the posture of the vehicle with respect to the road surface is abnormal, the actual amount of the vehicle-mounted camera is determined from the amount of change in the position and orientation of the vehicle-mounted camera in which the posture of the vehicle with respect to the road surface estimated by the change amount estimation unit is abnormal. The second parameter representing the position and orientation is specified, and the captured image of the in-vehicle camera is converted into an image captured by the virtual camera using the second parameter. Distortion of the composite image due to a change in posture can be prevented.

本発明の第１実施形態に係る車両周辺監視装置の構成を示す図である。It is a figure which shows the structure of the vehicle periphery monitoring apparatus which concerns on 1st Embodiment of this invention. 制御部のフローチャートである。It is a flowchart of a control part. 車両の後輪が車止めに乗り上げて、車両の姿勢が前方向に角度θ１傾いた場合の様子を示す図である。It is a figure which shows a mode when the rear-wheel of a vehicle rides on a vehicle stop and the attitude | position of a vehicle inclines the angle (theta) 1 to the front. 車両の前輪が車止めに乗り上げて、車両の姿勢が後ろ方向に角度θ１傾いた場合の様子を示す図である。It is a figure which shows a mode when the front wheel of a vehicle rides on a vehicle stop and the attitude | position of a vehicle inclines by the angle (theta) 1 back. フラッシュメモリに記憶されたパラメータを用いて車載カメラ２０の撮影画像を鳥瞰画像に映像変換した場合の画像を表した図である。It is a figure showing the image at the time of carrying out video conversion of the picked-up image of the vehicle-mounted camera 20 to a bird's-eye view image using the parameter memorize | stored in flash memory. パラメータを補正して車載カメラ２０の撮影画像を鳥瞰画像に映像変換した場合の画像を表した図である。It is a figure showing the image at the time of parameter-correcting and image-converting a picked-up image of in-vehicle camera 20 into a bird's-eye view image. 車載カメラの撮影画像に含まれる各特徴点のオプティカルフローについて説明するための図である。It is a figure for demonstrating the optical flow of each feature point contained in the picked-up image of a vehicle-mounted camera. 車両が後進して路面に設けられた車止めに乗り上げた場合の車両の様子と合成画像の歪みを表した図である。It is a figure showing the state of a vehicle when the vehicle moves backward and rides on a car stop provided on a road surface, and distortion of a composite image.

（第１実施形態）
本発明の第１実施形態に係る車両周辺監視装置の構成を図１に示す。本車両周辺監視装置は、カメラ角度推定部１１、映像変換処理部１２、車両移動量計算部１３および画像合成部１４を備えた制御部１０を備えている。なお、制御部１０には、車両後方を撮影する車載カメラ２０および表示装置３０が接続されている。 (First embodiment)
The configuration of the vehicle periphery monitoring apparatus according to the first embodiment of the present invention is shown in FIG. The vehicle periphery monitoring device includes a control unit 10 including a camera angle estimation unit 11, a video conversion processing unit 12, a vehicle movement amount calculation unit 13, and an image composition unit 14. The control unit 10 is connected to an in-vehicle camera 20 and a display device 30 that capture the rear of the vehicle.

車載カメラ２０は、車両の後方を撮影するバックカメラとして車両後方の左右中央に取り付けられている。車載カメラ２０は、車両後方を撮影した画像を車両周辺監視装置１０へ送出する。   The in-vehicle camera 20 is attached to the left and right center of the rear of the vehicle as a back camera that captures the rear of the vehicle. The in-vehicle camera 20 sends an image obtained by photographing the rear of the vehicle to the vehicle periphery monitoring device 10.

制御部１０は、ＣＰＵ、ＲＯＭ、一次記憶メモリ、フラッシュメモリ、Ｉ／Ｏ等を備えたコンピュータとして構成されており、ＣＰＵはＲＯＭに記憶されたプログラムに従って各種処理を実施する。   The control unit 10 is configured as a computer including a CPU, a ROM, a primary storage memory, a flash memory, an I / O, and the like, and the CPU performs various processes according to a program stored in the ROM.

カメラ角度推定部１１は、車載カメラ２０を搭載した車両の路面に対する姿勢の変化量を推定する。本実施形態におけるカメラ角度推定部１１は、車両の前後方向の傾斜に応じた信号を出力する傾斜センサおよび車両の左右方向の傾斜に応じた信号を出力する傾斜センサ（いずれも図示せず）より出力される傾斜情報に基づいて車載カメラ２０を搭載した車両の路面に対する姿勢の変化量を推定する。なお、本実施形態におけるカメラ角度推定部１１は、各傾斜センサより出力される傾斜情報に基づいて車載カメラ２０を搭載した車両の水平面に対する姿勢の変化量を推定する。   The camera angle estimation unit 11 estimates the amount of change in posture with respect to the road surface of the vehicle on which the in-vehicle camera 20 is mounted. The camera angle estimation unit 11 according to the present embodiment includes an inclination sensor that outputs a signal corresponding to the vehicle's front-rear direction inclination and an inclination sensor (not shown) that outputs a signal corresponding to the vehicle's left-right direction inclination. Based on the output tilt information, the amount of change in posture of the vehicle on which the vehicle-mounted camera 20 is mounted is estimated. In addition, the camera angle estimation part 11 in this embodiment estimates the variation | change_quantity of the attitude | position with respect to the horizontal surface of the vehicle which mounts the vehicle-mounted camera 20 based on the inclination information output from each inclination sensor.

映像変換処理部１２は、車両に取り付けられた車載カメラ２０の位置および向きを規定したパラメータ（第１のパラメータに相当する）を用いて車載カメラ２０の撮影画像を、当該車載カメラ２０と異なる仮想カメラ位置から撮影したような画像に映像変換する。なお、このような、車載カメラ２０の位置および向きを規定したパラメータを用いて車載カメラの撮影画像を当該車載カメラと異なる仮想カメラ位置から撮影したような画像に映像変換する技術は周知技術である（例えば、特許第３２８６３０６号公報、「全周囲カメラシステムの開発（Ｍａｔｓｕｓｈｉｔａ Ｔｅｃｈｎｉｃａｌ Ｊｏｕｒｎａｌ Ｖｏｌ．５４ Ｎｏ．２ Ｊｕｌ．２００８ 松下電器産業コーポレートＲ＆Ｄ戦略室）」等参照）。   The video conversion processing unit 12 uses a parameter (corresponding to a first parameter) that defines the position and orientation of the in-vehicle camera 20 attached to the vehicle to generate a virtual image different from that of the in-vehicle camera 20. Video is converted to an image taken from the camera position. A technique for converting a captured image of the in-vehicle camera into an image captured from a virtual camera position different from the in-vehicle camera using parameters that define the position and orientation of the in-vehicle camera 20 is a well-known technique. (See, for example, Japanese Patent No. 3286306, “Development of All-around Camera System (Matsushita Technical Journal Vol. 54 No. 2 Jul. 2008, Matsushita Electric Industrial Corporate R & D Strategy Office)”).

本実施形態では、後輪の車軸の左右中央の位置を基準として、車載カメラ２０の位置Ｏを表す座標（Ｘ０、Ｙ０、Ｚ０）と水平方向を基準とした車載カメラ２０の向き（俯角θ０）を規定したパラメータがフラッシュメモリに記憶されており、このフラッシュメモリに記憶されたパラメータを用いて車載カメラの撮影画像を車両の上方向に位置する仮想カメラ位置から撮影したような鳥瞰画像に映像変換する。なお、本実施形態では、車両の後進方向の水平右方向をＸ方向、車両の後進方向をＹ方向、路面からの高さ方向をＺ方向とする。また、パラメータには、前輪の車軸と後輪の車軸との距離Ｌも含まれている。 In the present embodiment, the coordinates (X 0 , Y 0 , Z 0 ) representing the position O of the in-vehicle camera 20 and the orientation of the in-vehicle camera 20 with respect to the horizontal direction (reference) A parameter defining the depression angle θ 0 ) is stored in the flash memory, and a bird's-eye view as if the captured image of the in-vehicle camera was captured from the virtual camera position located in the upward direction of the vehicle using the parameter stored in the flash memory. Convert video to image. In the present embodiment, the horizontal right direction in the reverse direction of the vehicle is the X direction, the reverse direction of the vehicle is the Y direction, and the height direction from the road surface is the Z direction. The parameter also includes the distance L between the front axle and the rear axle.

なお、上記したパラメータは車種毎に用意されており、制御部１０は、搭載車両の車種に該当するパラメータを使用して映像変換するようになっている。   The parameters described above are prepared for each vehicle type, and the control unit 10 performs video conversion using parameters corresponding to the vehicle type of the mounted vehicle.

車両移動量計算部１３には、シフトレバーの位置を表すシフト位置信号、車速に応じた車速信号およびステアリングの切り角に応じたステアリング信号が入力されている。車両移動量計算部１３は、シフト位置信号、車速信号およびステアリング信号に基づいて車両の進行方向および移動距離を算出する。   The vehicle movement amount calculation unit 13 receives a shift position signal indicating the position of the shift lever, a vehicle speed signal corresponding to the vehicle speed, and a steering signal corresponding to the steering angle. The vehicle movement amount calculation unit 13 calculates the traveling direction and movement distance of the vehicle based on the shift position signal, the vehicle speed signal, and the steering signal.

画像合成部１４は、車両の移動に伴って映像変換処理により映像変換された複数の画像を一次記憶メモリに記憶させるとともに一次記憶メモリに記憶された複数の画像を用いて車両周辺の合成画像を生成する。なお、このような映像変換処理により映像変換された複数の画像を一次記憶メモリに記憶させるとともに一次記憶メモリに記憶された複数の画像を用いて車両周辺の合成画像を生成する技術は周知技術である（例えば、特開２００８−２１００８４号公報参照）。   The image composition unit 14 stores in the primary storage memory a plurality of images converted by the image conversion process as the vehicle moves, and uses the plurality of images stored in the primary storage memory to generate a composite image around the vehicle. Generate. A technique for storing a plurality of images that have been converted by the image conversion process in the primary storage memory and generating a composite image around the vehicle using the plurality of images stored in the primary storage memory is a well-known technique. (For example, refer to JP 2008-210084 A).

本実施形態における画像合成部１４は、車両移動量計算部１３により算出された車両の進行方向および移動距離を用いて映像変換処理により映像変換された複数の鳥瞰画像を一次記憶メモリに記憶させるとともに一次記憶メモリに記憶された複数の鳥瞰画像を用いて車両周辺の合成画像を生成し、生成した合成画像を表示装置３０へ出力する。   The image composition unit 14 according to the present embodiment stores, in the primary storage memory, a plurality of bird's-eye images that have been image-converted by the image conversion process using the vehicle traveling direction and the movement distance calculated by the vehicle movement amount calculation unit 13. A composite image around the vehicle is generated using a plurality of bird's-eye images stored in the primary storage memory, and the generated composite image is output to the display device 30.

表示装置３０は、液晶等のディスプレイを有し、当該ディスプレイに車両周辺監視装置１０より入力される映像信号に応じた映像を表示させる。   The display device 30 includes a display such as a liquid crystal, and displays an image corresponding to the video signal input from the vehicle periphery monitoring device 10 on the display.

上記した構成において、車載カメラ２０から車両周辺監視装置の制御部１０へ車両後方の撮影画像が入力されると、映像変換処理部１２は、車両に取り付けられた車載カメラ２０の位置および向きを規定したパラメータを用いて車載カメラの撮影画像を当該車載カメラと異なる仮想カメラ位置から撮影したような画像に映像変換する。画像合成部１４は、車両移動量計算部１３により算出された車両の進行方向および移動距離を用いて映像変換処理部１２により映像変換された複数の鳥瞰画像を一次記憶メモリに記憶させるとともに一次記憶メモリに記憶された複数の鳥瞰画像を用いて車両周辺の合成画像を生成し、生成した合成画像を表示装置３０へ出力する。   In the above configuration, when a captured image of the rear of the vehicle is input from the in-vehicle camera 20 to the control unit 10 of the vehicle periphery monitoring device, the video conversion processing unit 12 defines the position and orientation of the in-vehicle camera 20 attached to the vehicle. The captured image of the in-vehicle camera is converted into an image captured from a virtual camera position different from that of the in-vehicle camera using the parameters thus obtained. The image composition unit 14 stores in the primary storage memory a plurality of bird's-eye images converted by the image conversion processing unit 12 using the traveling direction and the moving distance of the vehicle calculated by the vehicle movement amount calculation unit 13 and the primary storage. A composite image around the vehicle is generated using a plurality of bird's-eye images stored in the memory, and the generated composite image is output to the display device 30.

本実施形態における車両周辺監視装置は、車両の姿勢が変化して車載カメラ２０の位置や向きに変化が生じると、それまでと異なる仮想カメラ位置から撮影したような鳥瞰画像が一時記憶メモリに記憶され、歪んだ領域を含むような合成画像が生成されてしまうという問題解決するため、車両の路面に対する姿勢が異常であるか否かを判定し、車両の路面に対する姿勢が異常であると判定された場合、車両の路面に対する姿勢が異常となった状態の車載カメラ２０の位置および向きの変化量を推定し、この車載カメラ２０の位置および向きの変化量から車両の路面に対する姿勢が異常となった状態の実際の車載カメラ２０の位置および向きを表す第２のパラメータを特定し、当該第２のパラメータを用いて車載カメラ２０の撮影画像を、仮想カメラが撮影したような画像に映像変換する。   The vehicle periphery monitoring apparatus according to the present embodiment stores a bird's-eye view image taken from a different virtual camera position in a temporary storage memory when the position of the vehicle-mounted camera 20 changes due to a change in the attitude of the vehicle. In order to solve the problem that a composite image including a distorted area is generated, it is determined whether the posture of the vehicle with respect to the road surface is abnormal, and it is determined that the posture of the vehicle with respect to the road surface is abnormal. In this case, the amount of change in the position and orientation of the in-vehicle camera 20 in a state in which the posture of the vehicle with respect to the road surface is abnormal is estimated, and the posture of the vehicle with respect to the road surface becomes abnormal from the amount of change in the position and orientation of the in-vehicle camera 20. The second parameter indicating the actual position and orientation of the in-vehicle camera 20 in the state of being in the state is specified, and the captured image of the in-vehicle camera 20 is virtually displayed using the second parameter. Camera is image conversion on the image as taken.

次に、図２に従って、制御部１０の処理について説明する。本車両周辺監視装置は、運転者の操作に応じて車両のイグニッションスイッチがオン状態になると、定期的に図２に示す処理を実施する。   Next, the process of the control part 10 is demonstrated according to FIG. The vehicle periphery monitoring device periodically performs the process shown in FIG. 2 when the ignition switch of the vehicle is turned on in accordance with the driver's operation.

まず、シフト位置信号に基づいてシフトレバーの位置がリバース「Ｒ」になったか否かを判定する（Ｓ１００）。ここで、シフトレバーの位置が、リバース「Ｒ」以外となっている場合、Ｓ１００」の判定はＮＯとなり、本処理を終了する。   First, based on the shift position signal, it is determined whether or not the position of the shift lever is reverse “R” (S100). Here, when the position of the shift lever is other than the reverse “R”, the determination of S100 is NO, and this process ends.

また、運転者によりシフトレバーの位置がリバース「Ｒ」にされると、Ｓ１００の判定はＹＥＳとなり、次に、車両の姿勢が異常であるか否かを判定する（Ｓ１０２）。本実施形態では、傾斜センサより入力される傾斜情報に基づいて車両の前後方向の傾斜および車両の左右方向の傾斜を特定し、車両の傾斜が閾値（例えば、５度）未満の場合は車両の姿勢が正常、車両の傾斜が閾値以上の場合は車両の姿勢が異常と判定する。   If the position of the shift lever is set to reverse “R” by the driver, the determination in S100 is YES, and then it is determined whether or not the posture of the vehicle is abnormal (S102). In the present embodiment, the front-rear direction inclination and the left-right direction inclination of the vehicle are specified based on the inclination information input from the inclination sensor, and when the vehicle inclination is less than a threshold (for example, 5 degrees), the vehicle When the posture is normal and the vehicle inclination is equal to or greater than the threshold, it is determined that the vehicle posture is abnormal.

ここで、車両の傾斜が閾値未満の場合、Ｓ１０２の判定はＮＯとなり、次に、映像変換を行う（Ｓ１０４）。具体的には、フラッシュメモリに記憶されたパラメータを用いて車載カメラ２０の撮影画像を、車両の上方向に位置する仮想カメラ位置から撮影したような鳥瞰画像に映像変換する。具体的には、車載カメラ２０の位置Ｏを表す座標を（Ｘ０、Ｙ０、Ｚ０）、水平方向を基準とした車載カメラ２０の向きをθ０として、車載カメラ２０の撮影画像を、車両の上方向に位置する仮想カメラ位置から撮影したような鳥瞰画像に映像変換する。 Here, when the inclination of the vehicle is less than the threshold value, the determination in S102 is NO, and then video conversion is performed (S104). Specifically, using the parameters stored in the flash memory, the captured image of the in-vehicle camera 20 is converted into a bird's-eye image that is captured from a virtual camera position positioned in the upward direction of the vehicle. Specifically, the coordinates representing the position O of the in-vehicle camera 20 are (X 0 , Y 0 , Z 0 ), the orientation of the in-vehicle camera 20 with respect to the horizontal direction is θ 0 , and the captured image of the in-vehicle camera 20 is The image is converted into a bird's-eye view image taken from a virtual camera position located above the vehicle.

次に、車両の動きを計算する（Ｓ１０６）。具体的には、シフト位置信号、車速信号およびステアリング信号に基づいて車両の進行方向および移動距離を算出する。   Next, the movement of the vehicle is calculated (S106). Specifically, the traveling direction and moving distance of the vehicle are calculated based on the shift position signal, the vehicle speed signal, and the steering signal.

次に、車両周辺の合成画像を生成し、生成した合成画像を表示装置３０へ出力する（Ｓ１０８）。具体的には、Ｓ１０４にて映像変換された鳥瞰画像を一次記憶メモリに記憶させるとともに、一次記憶メモリに記憶されている複数の鳥瞰画像を用いて車両周辺の合成画像を生成する。   Next, a composite image around the vehicle is generated, and the generated composite image is output to the display device 30 (S108). Specifically, the bird's-eye view image converted in S104 is stored in the primary storage memory, and a composite image around the vehicle is generated using a plurality of bird's-eye images stored in the primary storage memory.

なお、既に、鳥瞰画像が一次記憶メモリに記憶されている場合には、一次記憶メモリに記憶されている複数の鳥瞰画像を用いて車両周辺の合成画像を生成する。具体的には、新たな鳥瞰画像を一次記憶メモリに記憶させる際に、前回、一次記憶メモリに鳥瞰画像を記憶してからの車両の移動方向および移動距離を関連付けて記憶させるようになっており、一次記憶メモリに記憶された各鳥瞰画像と、当該各鳥瞰画像と関連付けられた車両の移動方向および移動距離に基づいて車両周辺の合成画像を生成し、生成した合成画像を表示装置３０へ出力する。   If a bird's-eye view image is already stored in the primary storage memory, a composite image around the vehicle is generated using a plurality of bird's-eye images stored in the primary storage memory. Specifically, when a new bird's-eye view image is stored in the primary storage memory, the movement direction and the movement distance of the vehicle since the bird's-eye view image was previously stored in the primary storage memory are stored in association with each other. Then, based on each bird's-eye image stored in the primary storage memory and the moving direction and distance of the vehicle associated with each bird's-eye image, a composite image around the vehicle is generated, and the generated composite image is output to the display device 30. To do.

ただし、ここでは、一次記憶メモリに鳥瞰画像が記憶されていないため、Ｓ１０６にて映像変換された鳥瞰画像を一次記憶メモリに記憶させるだけで、車両周辺の合成画像の生成までは行わない。   However, since the bird's-eye view image is not stored in the primary storage memory here, the bird's-eye view image converted in S106 is only stored in the primary storage memory, and the composite image around the vehicle is not generated.

上記した処理を繰り返し実施し、次回以降、Ｓ１０８では、新たな鳥瞰画像を一次記憶メモリに記憶させる際に、前回、一次記憶メモリに鳥瞰画像を記憶してからの車両の移動方向および移動距離を関連付けて記憶させる、一次記憶メモリに記憶された各鳥瞰画像と、当該各鳥瞰画像と関連付けられた車両の移動方向および移動距離に基づいて車両周辺の合成画像を生成し、生成した合成画像を表示装置３０へ出力する。このようにして、車両周辺の合成画像が表示装置３０に表示される。   The above processing is repeated, and in the next time, in S108, when a new bird's-eye view image is stored in the primary storage memory, the moving direction and distance of the vehicle after the previous storage of the bird's-eye view image in the primary storage memory is determined. Based on each bird's-eye image stored in the primary storage memory to be stored in association with the moving direction and distance of the vehicle associated with each bird's-eye image, a composite image around the vehicle is generated, and the generated composite image is displayed. Output to device 30. In this way, a composite image around the vehicle is displayed on the display device 30.

ここで、例えば、車両が後進して車両の後輪が路面に設けられた車止めに乗り上げ、車両の傾斜が閾値以上となった場合、Ｓ１０２の判定はＹＥＳとなり、次に、車載カメラ２０の位置および向きの変化量を推定する（Ｓ１１０）。   Here, for example, when the vehicle moves backward and the rear wheel of the vehicle rides on a vehicle stop provided on the road surface, and the inclination of the vehicle exceeds a threshold value, the determination in S102 is YES, and then the position of the in-vehicle camera 20 Then, the amount of change in direction is estimated (S110).

図３に、車両の後輪が車止めに乗り上げて、車両の姿勢が前方向に角度θ１傾いた場合の様子を示す。なお、車両の後輪の車軸の上方向に車載カメラ２０が取り付けられているものとする。また、車載カメラ２０の水平方向を基準とした取り付け向き（俯角）は、θ０＝３０度となっているものとする。 3, rides on the rear wheels of the vehicle bollard show a case where the posture of the vehicle is inclined angle theta 1 in the forward direction. It is assumed that the in-vehicle camera 20 is attached above the axle of the rear wheel of the vehicle. Further, it is assumed that the mounting direction (the depression angle) with respect to the horizontal direction of the in-vehicle camera 20 is θ 0 = 30 degrees.

ここで、車両の姿勢が前方向に角度θ１＝５度傾いた場合、車載カメラ２０の向きは５度上向きとなる。すなわち、車載カメラ２０の水平方向を基準とした向きの変化量は５度と推定することができる。したがって、車載カメラ２０の水平方向を基準とした向きは、θ０−θ１＝（３０度−５度）＝２５度と特定することができる。 Here, when the posture of the vehicle is inclined forward by an angle θ 1 = 5 degrees, the direction of the in-vehicle camera 20 is 5 degrees upward. That is, it is possible to estimate the amount of change in the orientation with respect to the horizontal direction of the in-vehicle camera 20 as 5 degrees. Therefore, the orientation with respect to the horizontal direction of the in-vehicle camera 20 can be specified as θ 0 −θ 1 = (30 degrees−5 degrees) = 25 degrees.

また、車両の後輪が車止めに乗り上げて、車両の姿勢が前進方向に角度θ１傾いた場合、前輪の車軸と後輪の車軸との距離＝Ｌとすると、実際の車載カメラ２０の位置Ｏ’は、車両の姿勢が傾斜していない状態の車載カメラ２０の位置ＯよりもＬ・ｔａｎθ１だけ上方向に移動する。すなわち、実際の車載カメラ２０の位置Ｏ’の変化量はＬ・ｔａｎθ１と推定することができ、実際の車載カメラ２０の位置Ｏ’の座標は、（Ｘ０、Ｙ０、Ｚ０＋Ｌ・ｔａｎθ１）と特定することができる。 Further, rides on the rear wheels of the vehicle wheel stopping, when the posture of the vehicle is inclined angle theta 1 in the forward direction, when the distance = L between the axle of the front wheel axle and the rear wheel, the actual vehicle-mounted camera 20 position O 'Is moved upward by L · tan θ 1 from the position O of the vehicle-mounted camera 20 in a state where the posture of the vehicle is not inclined. That is, the actual change amount of the position O ′ of the in-vehicle camera 20 can be estimated as L · tan θ 1, and the coordinates of the actual position O ′ of the in-vehicle camera 20 are (X 0 , Y 0 , Z 0 + L · tan θ 1 ).

また、図４に、車両の前輪が車止めに乗り上げて、車両の姿勢が後ろ方向に角度θ２傾いた場合の様子を示す。なお、車両の後輪の車軸の上方向に車載カメラ２０が取り付けられており、車載カメラ２０の水平方向を基準とした取り付け向き（俯角）は、θ０＝３０度となっているものとする。 Further, in FIG. 4, the front wheel of the vehicle rides on bollard show a case where the posture of the vehicle is the angle theta 2 tilted backwards. It is assumed that the in-vehicle camera 20 is attached above the axle of the rear wheel of the vehicle, and that the in-vehicle camera 20 has an attachment direction (an angle of depression) with respect to the horizontal direction as θ 0 = 30 degrees. .

ここで、車両の姿勢が後ろ方向に角度θ２＝５度傾いた場合、車載カメラ２０の向きは５度下向きとなる。すなわち、車載カメラ２０の水平方向を基準とした向きの変化量は−５度と推定することができる。したがって、車載カメラ２０の水平方向を基準とした向きは、θ０＋θ２＝（３０度＋５度）＝３５度として特定することができる。 Here, when the posture of the vehicle is inclined backward by an angle θ 2 = 5 degrees, the in-vehicle camera 20 is directed downward by 5 degrees. That is, it is possible to estimate the amount of change in orientation with respect to the horizontal direction of the in-vehicle camera 20 as -5 degrees. Therefore, the orientation with respect to the horizontal direction of the in-vehicle camera 20 can be specified as θ 0 + θ 2 = (30 degrees + 5 degrees) = 35 degrees.

ただし、車載カメラ２０の位置Ｏについては、図３に示した場合と異なり、車両の姿勢が傾斜していない状態の車載カメラ２０の位置Ｏと同じとなる。すなわち、実際の車載カメラ２０の位置Ｏ’の座標は、（Ｘ０、Ｙ０、Ｚ０）と特定することができる。 However, the position O of the in-vehicle camera 20 is the same as the position O of the in-vehicle camera 20 in a state where the posture of the vehicle is not inclined, unlike the case shown in FIG. That is, the actual coordinates of the position O ′ of the in-vehicle camera 20 can be specified as (X 0 , Y 0 , Z 0 ).

次に、フラッシュメモリに記憶されたパラメータに代えて、Ｓ１１０にて推定した車載カメラ２０の位置および向きを表すパラメータ用いて車載カメラ２０の撮影画像を、車両の上方向に位置する仮想カメラ位置から撮影したような鳥瞰画像に映像変換し（Ｓ１１２）、Ｓ１０６へ進む。   Next, instead of the parameters stored in the flash memory, using the parameters representing the position and orientation of the in-vehicle camera 20 estimated in S110, the captured image of the in-vehicle camera 20 is obtained from the virtual camera position positioned in the upward direction of the vehicle. Video is converted into a bird's-eye view image as it was taken (S112), and the process proceeds to S106.

車両の路面に対する姿勢が異常となったにもかかわらず、フラッシュメモリに記憶されたパラメータを用いて車載カメラ２０の撮影画像を鳥瞰画像に映像変換した場合、図５に示すような、映像変換された画像が斜め方向から見たような映像となり歪みの要因となってしまうが、車両の路面に対する姿勢が異常となった場合に、車両の路面に対する姿勢が異常となった状態の車載カメラの位置および向きを、実際の車載カメラの位置および向きに補正して、車載カメラ２０の撮影画像を鳥瞰画像に映像変換した場合、図６に示すような、映像変換された画像が、真上方向から見たような歪みのない映像に変換される。   When the image taken by the in-vehicle camera 20 is converted into a bird's-eye view image using parameters stored in the flash memory even though the posture of the vehicle with respect to the road surface becomes abnormal, the image is converted as shown in FIG. The position of the in-vehicle camera in a state where the posture of the vehicle with respect to the road surface becomes abnormal when the posture of the vehicle with respect to the road surface becomes abnormal. And the orientation is corrected to the actual position and orientation of the in-vehicle camera, and the captured image of the in-vehicle camera 20 is converted into a bird's-eye view image, the image converted as shown in FIG. It is converted into a video without distortion as seen.

また、車両の姿勢が傾斜していない状態に戻ると、Ｓ１０２の判定はＮＯとなり、次に、映像変換を行う（Ｓ１０４）。具体的には、フラッシュメモリに記憶されたパラメータを用いて車載カメラ２０の撮影画像を、車両の上方向に位置する仮想カメラ位置から撮影したような鳥瞰画像に映像変換する。すなわち、車載カメラ２０の位置Ｏを表す座標を（Ｘ０、Ｙ０、Ｚ０）、水平方向を基準とした車載カメラ２０の向きをθ０として、車載カメラ２０の撮影画像を、車両の上方向に位置する仮想カメラ位置から撮影したような鳥瞰画像に映像変換する。 Further, when the posture of the vehicle returns to the state where the vehicle is not tilted, the determination in S102 is NO, and then video conversion is performed (S104). Specifically, using the parameters stored in the flash memory, the captured image of the in-vehicle camera 20 is converted into a bird's-eye image that is captured from a virtual camera position positioned in the upward direction of the vehicle. That is, the coordinates representing the position O of the in-vehicle camera 20 are (X 0 , Y 0 , Z 0 ), the orientation of the in-vehicle camera 20 with respect to the horizontal direction is θ 0 , and the captured image of the in-vehicle camera 20 is Video is converted into a bird's-eye view image taken from a virtual camera position in the direction.

上記した構成によれば、車両の路面に対する姿勢が異常であるか否かを判定するとともに、車両の路面に対する姿勢が異常となった状態の車載カメラの位置および向きの変化量を推定し、車両の路面に対する姿勢が異常であると判定された場合、変化量推定手段により推定された車両の路面に対する姿勢が異常となった状態の車載カメラの位置および向きの変化量から実際の車載カメラの位置および向きを表す第２のパラメータを特定し、当該第２のパラメータを用いて車載カメラの撮影画像が、仮想カメラが撮影したような画像に映像変換されるので、車載カメラを搭載した車両の姿勢が変化したことによる合成画像の歪みを防止することができる。   According to the configuration described above, it is determined whether or not the posture of the vehicle with respect to the road surface is abnormal, and the amount of change in the position and orientation of the in-vehicle camera in a state where the posture of the vehicle with respect to the road surface is abnormal is estimated. If it is determined that the attitude of the vehicle with respect to the road surface is abnormal, the actual position of the in-vehicle camera is determined from the amount of change in the position and orientation of the in-vehicle camera in which the attitude with respect to the road surface of the vehicle estimated by the change amount estimation means is abnormal. And the second parameter representing the orientation is specified, and the captured image of the in-vehicle camera is converted into an image captured by the virtual camera using the second parameter. It is possible to prevent the distortion of the composite image due to the change of.

また、上記したように、車両の路面に対する傾きに応じた傾斜情報を出力する傾斜センサを備え、傾斜センサより出力される傾斜情報に基づいて車載カメラの路面に対する姿勢が異常であるか否かを判定することができる。   In addition, as described above, the vehicle includes a tilt sensor that outputs tilt information corresponding to the tilt of the vehicle with respect to the road surface, and whether or not the in-vehicle camera has an abnormal posture with respect to the road surface based on the tilt information output from the tilt sensor. Can be determined.

（第２実施形態）
上記第１実施形態に係る車両周辺監視装置は、傾斜センサより入力される傾斜情報に基づいて車両の姿勢が異常であるか否かの判定および車両の姿勢が異常となった状態の車載カメラの位置および向きの変化量の推定を行うようにしたが、本実施形態では、車載カメラ２０の撮影画像に含まれる各特徴点の動きの違いを画像解析により認識し、撮影画像に含まれる特徴点のオプティカルフローに基づいて車両の姿勢が異常であるか否かの判定および車両の姿勢が異常となった状態の車載カメラ２０の位置および向きの変化量の推定を行う。なお、オプティカルフローとは、車載カメラ２０の撮影画像の中で物体の動きをベクトルで表したものである。以下、上記実施形態と同一部分については同一符号を付して説明を省略し、異なる部分を中心に説明する。 (Second Embodiment)
The vehicle periphery monitoring apparatus according to the first embodiment determines whether or not the posture of the vehicle is abnormal based on the inclination information input from the inclination sensor and the vehicle-mounted camera in a state where the vehicle posture is abnormal. Although the amount of change in position and orientation is estimated, in this embodiment, the difference in motion of each feature point included in the captured image of the in-vehicle camera 20 is recognized by image analysis, and the feature point included in the captured image. On the basis of the optical flow, it is determined whether or not the vehicle posture is abnormal, and the amount of change in the position and orientation of the in-vehicle camera 20 in a state where the vehicle posture is abnormal is estimated. The optical flow is a vector representing the motion of an object in an image captured by the in-vehicle camera 20. Hereinafter, the same parts as those in the above embodiment are denoted by the same reference numerals, description thereof will be omitted, and different parts will be mainly described.

車両が平坦な路面を走行する場合、車載カメラ２０の撮影画像に含まれる各特徴点のオプティカルフローは、図７（ａ）中の矢印で示されるようなベクトルで表される。すなわち、撮影画像に含まれる各特徴点のオプティカルフローは、進行方向近くに現れる動きの無限遠点に収束するようなベクトルで表される。   When the vehicle travels on a flat road surface, the optical flow of each feature point included in the captured image of the in-vehicle camera 20 is represented by a vector as indicated by an arrow in FIG. That is, the optical flow of each feature point included in the captured image is represented by a vector that converges to an infinite point of motion that appears near the traveling direction.

しかし、車両の車輪が段差に乗り上げて車両のピッチ角が変化したような場合、車載カメラ２０の撮影画像に含まれる各特徴点のオプティカルフローは、図７（ｂ）中の点線矢印に示したような、進行方向近くに現れる動きの無限遠点に収束するようなベクトルとは異なり、図７（ｂ）中の実線矢印で示されるようなベクトルで表される。すなわち、車両の車輪が段差に乗り上げて車両のピッチ角が変化したような場合、撮影画像に含まれる各特徴点のオプティカルフローは、同一方向に向かうようなベクトルで表される。   However, when the vehicle wheel climbs a step and the pitch angle of the vehicle changes, the optical flow of each feature point included in the captured image of the in-vehicle camera 20 is indicated by a dotted arrow in FIG. Unlike a vector that converges to an infinite point of motion that appears near the traveling direction, it is represented by a vector as indicated by a solid arrow in FIG. 7B. That is, when the vehicle wheel climbs a step and the pitch angle of the vehicle changes, the optical flow of each feature point included in the captured image is represented by a vector that goes in the same direction.

本実施形態では、車載カメラ２０の撮影画像に含まれる各特徴点の動きの違いを画像解析により認識し、車両の姿勢が異常であるか否かの判定および車両の姿勢が異常となった状態の車載カメラ２０の位置および向きの変化量を推定する。具体的には、車両が平坦な路面を走行する場合における車載カメラ２０の撮影画像に含まれる各特徴点のベクトルがデータベースとして記憶されており、このデータベースにより特定される車両が平坦な路面を走行する場合における車載カメラ２０の撮影画像に含まれる各特徴点のベクトルと、実際の車載カメラ２０の撮影画像に含まれる各特徴点のベクトルの相違から、車両の姿勢が異常であるか否か判定を判定する（Ｓ１０２）。そして、車両の姿勢が異常であると判定された場合、車両が平坦な路面を走行する場合における車載カメラ２０の撮影画像に含まれる各特徴点のベクトルと、実際の車載カメラ２０の撮影画像に含まれる各特徴点のベクトルの相違から車両の姿勢が異常となった状態の車載カメラ２０の位置および向きの変化量を推定する（Ｓ１１０）。   In the present embodiment, the difference in motion of each feature point included in the captured image of the in-vehicle camera 20 is recognized by image analysis, whether or not the vehicle posture is abnormal, and the vehicle posture is abnormal The amount of change in the position and orientation of the in-vehicle camera 20 is estimated. Specifically, a vector of each feature point included in a captured image of the in-vehicle camera 20 when the vehicle travels on a flat road surface is stored as a database, and the vehicle specified by this database travels on a flat road surface. Whether or not the vehicle posture is abnormal is determined based on the difference between the vector of each feature point included in the captured image of the in-vehicle camera 20 and the vector of each feature point included in the actual captured image of the in-vehicle camera 20. Is determined (S102). When it is determined that the vehicle posture is abnormal, the vector of each feature point included in the captured image of the in-vehicle camera 20 and the actual captured image of the in-vehicle camera 20 when the vehicle travels on a flat road surface. The amount of change in the position and orientation of the in-vehicle camera 20 in a state where the posture of the vehicle is abnormal is estimated from the difference in the vector of each feature point included (S110).

そして、車両の姿勢が異常となった状態の車載カメラ２０の位置および向きの変化量から実際の車載カメラ２０の位置および向きを表すパラメータを特定し、当該パラメータを用いて車載カメラ２０の撮影画像を、仮想カメラが撮影したような画像に映像変換する（Ｓ１１２）。   Then, a parameter representing the actual position and orientation of the in-vehicle camera 20 is specified from the amount of change in the position and orientation of the in-vehicle camera 20 in a state where the posture of the vehicle is abnormal, and a captured image of the in-vehicle camera 20 is used using the parameters. Is converted into an image as if taken by a virtual camera (S112).

上記したように、車載カメラの撮影画像を画像解析し、当該撮影画像に含まれる特徴点の移動ベクトルを推定し、この撮影画像に含まれる特徴点の移動ベクトルに基づいて車載カメラの路面に対する姿勢が異常であるか否かを判定することもできる。   As described above, the captured image of the in-vehicle camera is subjected to image analysis, the movement vector of the feature point included in the captured image is estimated, and the attitude of the in-vehicle camera with respect to the road surface based on the movement vector of the feature point included in the captured image It can also be determined whether or not is abnormal.

（第３実施形態）
上記第１実施形態に係る車両周辺監視装置は、傾斜センサより入力される傾斜情報に基づいて車両の姿勢が異常であるか否かの判定および車両の姿勢が異常となった状態の車載カメラの位置および向きの変化量の推定を行うようにしたが、本実施形態では、車両の旋回時の遠心力による車両の姿勢の変化量を特定するための信号（第１の信号に相当する）として、車両のステアリングの角度に応じた舵角信号を取得するとともに、車両の加減速による車両の姿勢の変化量を特定するための信号（第２の信号に相当する）として、車速センサより出力される車速信号を取得し、舵角信号により特定される車両の旋回時の遠心力による姿勢の変化量および車速信号により特定される車両の加減速による車両の姿勢の変化量に基づいて車載カメラの路面に対する姿勢が異常であるか否かを判定するとともに、車両の姿勢が異常となった状態の車載カメラの位置および向きの変化量の推定を行う。 (Third embodiment)
The vehicle periphery monitoring apparatus according to the first embodiment determines whether or not the posture of the vehicle is abnormal based on the inclination information input from the inclination sensor and the vehicle-mounted camera in a state where the vehicle posture is abnormal. Although the amount of change in position and orientation is estimated, in this embodiment, as a signal (corresponding to the first signal) for specifying the amount of change in the posture of the vehicle due to the centrifugal force when the vehicle turns A steering angle signal corresponding to the steering angle of the vehicle is acquired, and is output from the vehicle speed sensor as a signal (corresponding to the second signal) for specifying the amount of change in the posture of the vehicle due to acceleration / deceleration of the vehicle. Based on the amount of change in posture caused by centrifugal force during turning of the vehicle specified by the steering angle signal and the amount of change in vehicle posture caused by acceleration / deceleration of the vehicle specified by the vehicle speed signal. With the posture with respect to the surface to determine whether it is abnormal, it performs position and orientation of variation of the estimation of the vehicle camera in a state where the posture of the vehicle is abnormal.

なお、車両の走行時における車両の姿勢は、車両の旋回時の遠心力、車両の加速度の変化だけでなく、車両のサスペンションの性能等によっても左右される。   Note that the posture of the vehicle when the vehicle is traveling depends not only on the centrifugal force when the vehicle is turning and the change in the acceleration of the vehicle, but also on the performance of the suspension of the vehicle.

本実施形態における車両周辺監視装置は、車種毎に、車両のステアリング角、車両の加速度の変化等の車両の挙動と、車両の姿勢の変化量を規定したテーブルが用意されている。   The vehicle periphery monitoring device according to the present embodiment is provided with a table that defines the behavior of the vehicle such as a change in the vehicle steering angle and the vehicle acceleration, and the amount of change in the posture of the vehicle for each vehicle type.

本車両周辺監視装置は、搭載車両の車種に該当するテーブルを用いて車両の走行時における車両の姿勢が異常か否かを判定し（Ｓ１０２）、車両の路面に対する姿勢が異常であると判定された場合、車両の姿勢が異常となった状態の車載カメラ２０の位置および向きの変化量を推定し（Ｓ１１０）、これらの車載カメラ２０の位置および向きの変化量から実際の車載カメラ２０の位置および向きを表すパラメータを特定し、当該パラメータを用いて車載カメラ２０の撮影画像を、仮想カメラが撮影したような画像に映像変換する（Ｓ１１２）。   The vehicle periphery monitoring apparatus determines whether or not the posture of the vehicle when the vehicle travels is abnormal using a table corresponding to the vehicle type of the mounted vehicle (S102), and determines that the posture of the vehicle with respect to the road surface is abnormal. If this is the case, the amount of change in the position and orientation of the in-vehicle camera 20 in an abnormal vehicle posture is estimated (S110), and the actual position of the in-vehicle camera 20 is determined from the amount of change in the position and orientation of these in-vehicle cameras 20. Then, the parameter representing the orientation is specified, and the captured image of the in-vehicle camera 20 is converted into an image captured by the virtual camera using the parameter (S112).

（その他の実施形態）
上記第１〜第３実施形態では、車載カメラの撮影画像を、車両の上方向に位置する仮想カメラ位置から撮影したような鳥瞰画像に画像変換する例を示したが、仮想カメラ位置は、車両の上方向に限定されるものではない。 (Other embodiments)
In the first to third embodiments, the example in which the captured image of the in-vehicle camera is converted into a bird's-eye view image captured from the virtual camera position positioned in the upward direction of the vehicle has been described. It is not limited to the upward direction.

また、上記第１〜第３実施形態では、車両の上方向を仮想カメラ位置として、車載カメラの撮影画像を仮想カメラ位置から見たような鳥瞰画像に映像変換し、映像変換された複数の鳥瞰画像を一次記憶メモリに記憶させるとともに一次記憶メモリに記憶された複数の鳥瞰画像を用いて車両周辺の合成画像を生成する装置において、車載カメラの路面に対する姿勢が異常である判定された場合、車載カメラの路面に対する姿勢の変化量から実際の車載カメラの位置および向きを表す第２のパラメータを特定し、当該第２のパラメータを用いて車載カメラの撮影画像を、仮想カメラが撮影したような画像に映像変換するようにしたが、車載カメラの角度が変わることによって影響を受けるシステム、例えば、車両に取り付けられた車載カメラの撮影映像の画素から対象物との距離を推定するシステムにおいて、車載カメラの路面に対する姿勢が異常である判定された場合、車載カメラの路面に対する姿勢の変化量から実際の車載カメラの位置および向きを表す第２のパラメータを特定し、当該第２のパラメータを用いて車載カメラの撮影画像を、仮想カメラが撮影したような画像に映像変換するように構成してもよい。   In the first to third embodiments, the upward direction of the vehicle is set as the virtual camera position, and the captured image of the in-vehicle camera is converted into a bird's-eye image as seen from the virtual camera position, and a plurality of bird's-eye views that have been converted to video are converted. In a device that stores an image in a primary storage memory and generates a composite image around the vehicle using a plurality of bird's-eye images stored in the primary storage memory, if the posture of the in-vehicle camera relative to the road surface is determined to be abnormal, An image in which a second parameter representing the actual position and orientation of the in-vehicle camera is specified from the amount of change in the posture of the camera with respect to the road surface, and a captured image of the in-vehicle camera is captured by the virtual camera using the second parameter However, the system is affected by changes in the angle of the in-vehicle camera, for example, the in-vehicle camera attached to the vehicle. In a system that estimates the distance from an image pixel to an object, if the posture of the in-vehicle camera with respect to the road surface is determined to be abnormal, the actual position and orientation of the in-vehicle camera are represented from the amount of change in the posture of the in-vehicle camera with respect to the road surface. The second parameter may be specified, and the captured image of the in-vehicle camera may be converted into an image captured by the virtual camera using the second parameter.

また、上記第１実施形態では、車両の姿勢が前方向に傾いた場合と、車両の姿勢が後ろ方向に傾いた場合について、車載カメラの路面に対する姿勢の変化量から車載カメラの路面に対する姿勢が異常となった状態の車載カメラの位置および向きを表す第２のパラメータを特定する例を示したが、車両の姿勢が左方向に傾いた場合、車両の姿勢が右方向に傾いた場合、車両の姿勢が左前方向に傾いた場合、車両の姿勢が左後ろ方向に傾いた場合等、車載カメラの路面に対する姿勢の変化量から実際の車載カメラの位置および向きを表す第２のパラメータを特定することができる。また、第２、第３実施形態についても同様である。   Further, in the first embodiment, the posture of the vehicle-mounted camera with respect to the road surface is determined from the amount of change in the posture of the vehicle-mounted camera with respect to the road surface when the vehicle posture is tilted forward and when the vehicle posture is tilted backward. Although an example in which the second parameter indicating the position and orientation of the in-vehicle camera in an abnormal state is specified has been shown, the vehicle is tilted to the left, the vehicle is tilted to the right, the vehicle The second parameter representing the actual position and orientation of the in-vehicle camera is specified from the amount of change in the attitude of the in-vehicle camera with respect to the road surface, such as when the attitude of the in-vehicle camera is tilted to the left front direction, be able to. The same applies to the second and third embodiments.

また、車両の姿勢が異常であるか否かの判定および車両の姿勢が異常となった状態の車載カメラの位置および向きの変化量の推定を、上記第１実施形態では、傾斜センサからの傾斜情報を用いて行い、第２実施形態では車載カメラ２０の撮影画像に含まれる各特徴点のオプティカルフローに基づいて行い、第３実施形態では、車両の旋回時の遠心力による姿勢の変化量および車速信号により特定される車両の加減速による車両の姿勢の変化量に基づいて行うようにしたが、第１〜第３実施形態に示した各手法のうち、少なくとも２つを組み合わせるようにして行うこともできる。   Further, in the first embodiment, the determination of whether or not the posture of the vehicle is abnormal and the estimation of the amount of change in the position and orientation of the in-vehicle camera in the state where the vehicle posture is abnormal are the tilts from the tilt sensor. In the second embodiment, based on the optical flow of each feature point included in the captured image of the in-vehicle camera 20, and in the third embodiment, the amount of change in posture due to the centrifugal force when the vehicle turns, and Although it was performed based on the amount of change in the posture of the vehicle due to the acceleration / deceleration of the vehicle specified by the vehicle speed signal, it is performed by combining at least two of the methods shown in the first to third embodiments. You can also.

また、上記第１〜第３実施形態では、車載カメラ２０の位置および向きを表すパラメータとして、車載カメラ２０の位置Ｏを表す座標（Ｘ０、Ｙ０、Ｚ０）と水平方向を基準とした車載カメラ２０の向き（俯角θ０）と前輪の車軸と後輪の車軸との距離Ｌを含む例を示したが、このような要素以外の情報をパラメータとして規定するように構成してもよい。 In the first to third embodiments, the coordinates (X 0 , Y 0 , Z 0 ) representing the position O of the in-vehicle camera 20 and the horizontal direction are used as the parameters representing the position and orientation of the in-vehicle camera 20. Although the example including the direction (the depression angle θ 0 ) of the in-vehicle camera 20 and the distance L between the front wheel axle and the rear wheel axle has been shown, information other than such elements may be defined as parameters. .

また、上記第１〜第３実施形態では、バックカメラとして車両に取り付けられた車載カメラ２０の撮影画像から車両周辺の合成画像を生成する例を示したが、バックカメラ以外の車載カメラ２０に適用することもできる。   Moreover, in the said 1st-3rd embodiment, although the example which produces | generates the synthetic | combination image of a vehicle periphery from the picked-up image of the vehicle-mounted camera 20 attached to the vehicle as a back camera was shown, it applies to vehicle-mounted cameras 20 other than a back camera. You can also

また、上記第１〜第３実施形態では、１つの車載カメラ２０の撮影画像から車両周辺の合成画像を生成する例を示したが、複数の車載カメラ２０の撮影画像から車両周辺の合成画像を生成するように構成してもよい。   Moreover, although the example which produces | generates the synthetic | combination image of a vehicle periphery from the picked-up image of one vehicle-mounted camera 20 was shown in the said 1st-3rd embodiment, the synthetic | combination image of the vehicle periphery was shown from the picked-up image of the some vehicle-mounted camera 20. You may comprise so that it may produce | generate.

なお、上記実施形態における構成と特許請求の範囲の構成との対応関係について説明すると、Ｓ１０４、Ｓ１１２が映像変換手段に相当し、Ｓ１０６、Ｓ１０８が合成画像生成手段に相当し、Ｓ１０２が判定手段に相当し、Ｓ１１０が変化量推定手段に相当する。   The correspondence relationship between the configuration of the above embodiment and the configuration of the claims will be described. S104 and S112 correspond to video conversion means, S106 and S108 correspond to composite image generation means, and S102 to determination means. S110 corresponds to the change amount estimating means.

１０ 制御部
１１ カメラ角度推定部
１２ 映像変換処理部
１３ 車両移動量計算部
２０ 車載カメラ
３０ 表示装置 DESCRIPTION OF SYMBOLS 10 Control part 11 Camera angle estimation part 12 Image | video conversion process part 13 Vehicle movement amount calculation part 20 Car-mounted camera 30 Display apparatus

Claims (8)

車両に取り付けられた車載カメラの位置および向きを規定した第１のパラメータを用いて前記車載カメラの撮影画像を当該車載カメラと異なる仮想カメラ位置から撮影したような画像に映像変換する映像変換手段と、
前記車両の移動に伴って前記映像変換手段により映像変換された複数の画像を一次記憶メモリに記憶させるとともに前記一次記憶メモリに記憶された前記複数の画像を用いて前記車両周辺の合成画像を生成する合成画像生成手段と、を備えた車両周辺監視装置であって、
前記車両の路面に対する姿勢が異常であるか否かを判定する判定手段と、
前記車両の路面に対する姿勢が異常となった状態の前記車載カメラの位置および向きの変化量を推定する変化量推定手段と、を備え、
前記映像変換手段は、前記判定手段により前記車両の路面に対する姿勢が異常であると判定された場合、前記変化量推定手段により推定された前記車両の路面に対する姿勢が異常となった状態の前記車載カメラの位置および向きの変化量から実際の前記車載カメラの位置および向きを表す第２のパラメータを特定し、当該第２のパラメータを用いて前記車載カメラの撮影画像を、前記仮想カメラが撮影したような画像に映像変換することを特徴とする車両周辺監視装置。 Video conversion means for converting a captured image of the in-vehicle camera into an image captured from a virtual camera position different from the in-vehicle camera, using a first parameter that defines the position and orientation of the in-vehicle camera attached to the vehicle; ,
A plurality of images that have undergone video conversion by the video conversion means as the vehicle moves are stored in a primary storage memory, and a composite image around the vehicle is generated using the plurality of images stored in the primary storage memory A vehicle periphery monitoring device comprising:
Determining means for determining whether or not the posture of the vehicle with respect to the road surface is abnormal;
A change amount estimating means for estimating a change amount of the position and orientation of the in-vehicle camera in a state where the posture of the vehicle with respect to the road surface is abnormal,
When the determination means determines that the posture of the vehicle with respect to the road surface is abnormal, the video conversion means has the vehicle-mounted state in which the posture of the vehicle with respect to the road surface estimated by the change amount estimation means is abnormal. A second parameter representing the actual position and orientation of the in-vehicle camera is identified from the amount of change in the position and orientation of the camera, and the captured image of the in-vehicle camera is captured by the virtual camera using the second parameter. A vehicle periphery monitoring device that converts video into such an image. 前記判定手段は、前記車両の路面に対する傾斜に応じた傾斜情報を出力するセンサより出力される傾斜情報に基づいて前記車載カメラの路面に対する姿勢が異常であるか否かを判定することを特徴とする請求項１に記載の車両周辺監視装置。   The determination means determines whether or not the posture of the in-vehicle camera with respect to the road surface is abnormal based on inclination information output from a sensor that outputs inclination information corresponding to the inclination of the vehicle with respect to the road surface. The vehicle periphery monitoring device according to claim 1. 前記変化量推定手段は、前記車両の路面に対する傾斜に応じた傾斜情報を出力するセンサより出力される傾斜情報に基づいて前記車両の路面に対する姿勢が異常となった状態の前記車載カメラの位置および向きの変化量を推定することを特徴とする請求項１または２に記載の車両周辺監視装置。   The change amount estimation means includes a position of the in-vehicle camera in a state where the attitude of the vehicle with respect to the road surface is abnormal based on inclination information output from a sensor that outputs inclination information corresponding to the inclination of the vehicle with respect to the road surface, and The vehicle periphery monitoring apparatus according to claim 1, wherein a direction change amount is estimated. 前記判定手段は、前記車載カメラの撮影画像に含まれる特徴点の移動ベクトルを推定し、当該撮影画像に含まれる特徴点の移動ベクトルに基づいて前記車載カメラの路面に対する姿勢が異常であるか否かを判定することを特徴とする請求項１ないし３のいずれか１つに記載の車両周辺監視装置。   The determination unit estimates a movement vector of a feature point included in a captured image of the in-vehicle camera, and whether the posture of the in-vehicle camera with respect to a road surface is abnormal based on the movement vector of the feature point included in the captured image. The vehicle periphery monitoring device according to claim 1, wherein the vehicle periphery monitoring device is determined. 前記変化量推定手段は、前記車載カメラの撮影画像に含まれる特徴点の移動ベクトルを推定し、当該撮影画像に含まれる特徴点の移動ベクトルに基づいて前記車両の路面に対する姿勢が異常となった状態の前記車載カメラの位置および向きの変化量を推定することを特徴とする請求項１ないし４のいずれか１つに記載の車両周辺監視装置。   The change amount estimation means estimates a movement vector of a feature point included in the captured image of the in-vehicle camera, and the posture of the vehicle with respect to the road surface becomes abnormal based on the movement vector of the feature point included in the captured image. The vehicle periphery monitoring device according to any one of claims 1 to 4, wherein a change amount of a position and an orientation of the in-vehicle camera in a state is estimated. 前記判定手段は、前記車両の旋回時の遠心力による前記車両の姿勢の変化量を特定するための第１の信号および前記車両の加減速による車両の姿勢の変化量を特定するための第２の信号を取得し、前記第１の信号により特定される前記車両の旋回時の遠心力による姿勢の変化量および前記第２の信号より特定される前記車両の加減速による車両の姿勢の変化量に基づいて前記車載カメラの路面に対する姿勢が異常であるか否かを判定することを特徴とする請求項１ないし５のいずれか１つに記載の車両周辺監視装置。   The determination means includes a first signal for specifying a change amount of the posture of the vehicle due to a centrifugal force when the vehicle turns, and a second signal for specifying a change amount of the posture of the vehicle due to acceleration / deceleration of the vehicle. The amount of change in posture due to centrifugal force during turning of the vehicle specified by the first signal and the amount of change in posture of the vehicle due to acceleration / deceleration of the vehicle specified by the second signal 6. The vehicle periphery monitoring device according to claim 1, wherein it is determined whether or not the posture of the in-vehicle camera with respect to a road surface is abnormal. 前記変化量推定手段は、前記車両の旋回時の遠心力による前記車両の姿勢の変化量を特定するための第１の信号および前記車両の加減速による車両の姿勢の変化量を特定するための第２の信号を取得し、前記第１の信号により特定される前記車両の旋回時の遠心力による姿勢の変化量および前記第２の信号より特定される前記車両の加減速による車両の姿勢の変化量に基づいて前記車両の路面に対する姿勢が異常となった状態の前記車載カメラの位置および向きの変化量を推定することを特徴とする請求項１ないし６のいずれか１つに記載の車両周辺監視装置。   The change amount estimation means is for specifying a first signal for specifying a change amount of the posture of the vehicle due to a centrifugal force at the time of turning of the vehicle and a change amount of the posture of the vehicle due to acceleration / deceleration of the vehicle. The second signal is acquired, and the amount of change in posture due to centrifugal force at the time of turning of the vehicle specified by the first signal and the posture of the vehicle by acceleration / deceleration of the vehicle specified by the second signal are obtained. The vehicle according to any one of claims 1 to 6, wherein a change amount of the position and orientation of the in-vehicle camera in a state where the posture of the vehicle with respect to a road surface is abnormal is estimated based on a change amount. Perimeter monitoring device. 前記仮想カメラ位置は、前記車両の上方向に位置し、
前記仮想カメラ位置から撮影したような画像は鳥瞰画像であることを特徴とする請求項１ないし７のいずれか１つに記載の車両周辺監視装置。 The virtual camera position is located above the vehicle,
8. The vehicle periphery monitoring device according to claim 1, wherein the image taken from the virtual camera position is a bird's-eye view image.
JP2012050454A 2012-03-07 2012-03-07 Vehicle periphery monitoring device Pending JP2013186245A (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012050454A JP2013186245A (en) 2012-03-07 2012-03-07 Vehicle periphery monitoring device
FR1351791A FR2987928A1 (en) 2012-03-07 2013-02-28 VEHICLE PERIPHERAL MONITORING APPARATUS
DE102013203868A DE102013203868A1 (en) 2012-03-07 2013-03-07 VEHICLE MONITORING DEVICE ENVIRONMENT
CN2013100721443A CN103303198A (en) 2012-03-07 2013-03-07 Vehicle circumference monitor device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012050454A JP2013186245A (en) 2012-03-07 2012-03-07 Vehicle periphery monitoring device

Publications (1)

Publication Number Publication Date
JP2013186245A true JP2013186245A (en) 2013-09-19

Family

ID=49029771

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012050454A Pending JP2013186245A (en) 2012-03-07 2012-03-07 Vehicle periphery monitoring device

Country Status (4)

Country Link
JP (1) JP2013186245A (en)
CN (1) CN103303198A (en)
DE (1) DE102013203868A1 (en)
FR (1) FR2987928A1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140119597A1 (en) * 2012-10-31 2014-05-01 Hyundai Motor Company Apparatus and method for tracking the position of a peripheral vehicle
WO2017216998A1 (en) * 2016-06-15 2017-12-21 株式会社Ｊｖｃケンウッド Position change determination device, overhead view image generation device, overhead view image generation system, position change determination method, and program
KR101864985B1 (en) * 2017-02-16 2018-06-05 인하대학교 산학협력단 Apparatus for compensating around view image distortion according to gradient variation of construction equipment and method thereof
JP2018152014A (en) * 2017-03-15 2018-09-27 株式会社Ｓｕｂａｒｕ Video display device for vehicle
WO2021068948A1 (en) * 2019-10-12 2021-04-15 华为技术有限公司 Camera control method and monitoring device
CN113646815A (en) * 2019-03-29 2021-11-12 马自达汽车株式会社 Vehicle arithmetic device

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6380002B2 (en) * 2014-10-28 2018-08-29 アイシン精機株式会社 Perimeter monitoring device
JP2017117315A (en) * 2015-12-25 2017-06-29 株式会社デンソー Display control device
CN108008596A (en) * 2017-12-29 2018-05-08 百维雅（东莞）网络技术有限公司 A kind of 360 degree of full-view image systems of solid and implementation method
CN113795140A (en) * 2019-03-20 2021-12-14 株式会社久保田 Harvesting machine
CN112124199B (en) * 2019-06-24 2024-04-12 博世汽车部件(苏州)有限公司 Imaging method and imaging system for vehicle running road conditions and vehicle
CN113141574A (en) * 2021-06-01 2021-07-20 江铃汽车股份有限公司 Vehicle abnormal movement monitoring method based on high-precision positioning

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001245131A (en) * 2000-02-29 2001-09-07 Matsushita Electric Ind Co Ltd Image correcting method and image correcting device
JP2003274394A (en) * 2002-03-12 2003-09-26 Denso Corp Vehicle circumference image processor, program, and recording medium
JP2004064441A (en) * 2002-07-29 2004-02-26 Sumitomo Electric Ind Ltd Onboard image processor and ambient monitor system
WO2006087993A1 (en) * 2005-02-15 2006-08-24 Matsushita Electric Industrial Co., Ltd. Periphery supervising device, and periphery supervising method
JP2010245821A (en) * 2009-04-06 2010-10-28 Denso Corp Image display for vehicle
JP2011130262A (en) * 2009-12-18 2011-06-30 Honda Motor Co Ltd Apparatus for monitoring surroundings of vehicle

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03286306A (en) 1990-04-03 1991-12-17 Mitsubishi Electric Corp Numerical controller
EP2267656A3 (en) * 1998-07-31 2012-09-26 Panasonic Corporation Image displaying apparatus und image displaying method
JP4156214B2 (en) * 2001-06-13 2008-09-24 株式会社デンソー Vehicle periphery image processing apparatus and recording medium
JP4075722B2 (en) * 2003-07-22 2008-04-16 日産自動車株式会社 Display control device for vehicle
JP4596978B2 (en) * 2005-03-09 2010-12-15 三洋電機株式会社 Driving support system
JP2007102798A (en) 2006-10-11 2007-04-19 Denso Corp Vehicle circumference monitoring system
JP4770755B2 (en) 2007-02-26 2011-09-14 株式会社デンソー Road sign recognition device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001245131A (en) * 2000-02-29 2001-09-07 Matsushita Electric Ind Co Ltd Image correcting method and image correcting device
JP2003274394A (en) * 2002-03-12 2003-09-26 Denso Corp Vehicle circumference image processor, program, and recording medium
JP2004064441A (en) * 2002-07-29 2004-02-26 Sumitomo Electric Ind Ltd Onboard image processor and ambient monitor system
WO2006087993A1 (en) * 2005-02-15 2006-08-24 Matsushita Electric Industrial Co., Ltd. Periphery supervising device, and periphery supervising method
JP2010245821A (en) * 2009-04-06 2010-10-28 Denso Corp Image display for vehicle
JP2011130262A (en) * 2009-12-18 2011-06-30 Honda Motor Co Ltd Apparatus for monitoring surroundings of vehicle

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140119597A1 (en) * 2012-10-31 2014-05-01 Hyundai Motor Company Apparatus and method for tracking the position of a peripheral vehicle
US9025819B2 (en) * 2012-10-31 2015-05-05 Hyundai Motor Company Apparatus and method for tracking the position of a peripheral vehicle
WO2017216998A1 (en) * 2016-06-15 2017-12-21 株式会社Ｊｖｃケンウッド Position change determination device, overhead view image generation device, overhead view image generation system, position change determination method, and program
KR101864985B1 (en) * 2017-02-16 2018-06-05 인하대학교 산학협력단 Apparatus for compensating around view image distortion according to gradient variation of construction equipment and method thereof
JP2018152014A (en) * 2017-03-15 2018-09-27 株式会社Ｓｕｂａｒｕ Video display device for vehicle
CN113646815A (en) * 2019-03-29 2021-11-12 马自达汽车株式会社 Vehicle arithmetic device
CN113646815B (en) * 2019-03-29 2023-08-25 马自达汽车株式会社 Vehicle computing device
WO2021068948A1 (en) * 2019-10-12 2021-04-15 华为技术有限公司 Camera control method and monitoring device

Also Published As

Publication number Publication date
CN103303198A (en) 2013-09-18
FR2987928A1 (en) 2013-09-13
DE102013203868A1 (en) 2013-09-12

Similar Documents

Publication Publication Date Title
JP2013186245A (en) Vehicle periphery monitoring device
US10363872B2 (en) Periphery monitoring device
US9902323B2 (en) Periphery surveillance apparatus and program
JP6028848B2 (en) Vehicle control apparatus and program
JP6361382B2 (en) Vehicle control device
JP7211047B2 (en) Road surface detection device and road surface detection program
WO2015083228A1 (en) Display control apparatus, display control method, and program
JP2016119570A (en) Vehicle periphery monitoring device
JP2015058915A (en) Vehicular roll angle estimation device
JP2016078484A (en) Image generation apparatus and image generation method
JP6326869B2 (en) Vehicle periphery image display device and vehicle periphery image display method
JP7013751B2 (en) Image processing equipment
JP2022126659A (en) Vehicle image processing device, vehicle image processing system, vehicle image processing method, and program
JP2020077251A (en) Periphery monitoring device
JP5891880B2 (en) In-vehicle image display device
JP6941949B2 (en) Vehicle image display device
JP6816436B2 (en) Peripheral monitoring device
JP2008230561A (en) Photographing control device and photometry area adjustment method
WO2022107235A1 (en) Image processing device, image processing method, program, and image processing system
JP7454177B2 (en) Peripheral monitoring device and program
JP2018152822A (en) Video display device for vehicle
JP2019125894A (en) On-vehicle image processing device
JP2019186620A (en) Image processing system
JP6772716B2 (en) Peripheral monitoring device
JP2018039295A (en) Display method for display apparatus and display apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140527

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150310

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150707