JP2019207453A - Image processing device and image processing method - Google Patents
Image processing device and image processing method Download PDFInfo
- Publication number
- JP2019207453A JP2019207453A JP2018101250A JP2018101250A JP2019207453A JP 2019207453 A JP2019207453 A JP 2019207453A JP 2018101250 A JP2018101250 A JP 2018101250A JP 2018101250 A JP2018101250 A JP 2018101250A JP 2019207453 A JP2019207453 A JP 2019207453A
- Authority
- JP
- Japan
- Prior art keywords
- image
- road
- image processing
- vehicle
- relative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 5
- 238000001514 detection method Methods 0.000 claims abstract description 40
- 238000006243 chemical reaction Methods 0.000 claims abstract description 15
- 239000002131 composite material Substances 0.000 claims description 56
- 230000000295 complement effect Effects 0.000 claims description 32
- 238000003384 imaging method Methods 0.000 claims description 2
- 150000001875 compounds Chemical class 0.000 abstract 1
- 238000000034 method Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 5
- 238000009434 installation Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
- Instructional Devices (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、画像処理装置および画像処理方法に関し、特に、サイドカメラの撮影結果に基づく画像と、リアカメラの撮影結果に基づく画像とを合成して表示する画像処理装置および当該画像処理装置による画像処理方法に用いて好適なものである。 The present invention relates to an image processing device and an image processing method, and more particularly, to an image processing device that combines and displays an image based on a side camera image and an image based on a rear camera image, and an image obtained by the image processing device. It is suitable for use in a processing method.
従来、撮影範囲に車両の車体の一部が含まれた状態で撮影を行うサイドカメラの撮影結果に基づく画像と、サイドカメラの撮影範囲のうち車体により死角となる範囲を撮影範囲に含んだ状態で撮影を行うリアカメラの撮影結果基づく画像とを合成することによって、サイドカメラの死角がリアカメラの撮影結果によって補われた合成画像を生成し、生成した合成画像を表示する画像処理装置が知られている。ユーザーは、表示装置に表示された合成画像を視認することによって、サイドミラーを視認したときに確認できる風景と同等の風景を確認することができ、さらに、サイドミラーを視認した場合には車体が死角となって視認できない部分も確認することができる。 Conventionally, the shooting range includes an image based on the shooting result of the side camera that shoots with a part of the vehicle body in the shooting range, and the shooting range of the side camera that is a dead angle due to the vehicle body. An image processing apparatus that generates a composite image in which the blind spot of the side camera is compensated by the shooting result of the rear camera by combining the image based on the result of the rear camera that captures the image with the rear camera and displays the generated composite image is known. It has been. By visually recognizing the composite image displayed on the display device, the user can confirm a landscape equivalent to the landscape that can be confirmed when viewing the side mirror. It is also possible to confirm a portion that is a blind spot and cannot be seen.
なお、特許文献１には、地図ＤＢ１１に記憶された地図情報や、ＧＰＳ受信機１２を利用した自車位置情報、カメラ１３が生成する画像情報等に基づいて、道路測量データを分析し、分析後の道路測量データと地図情報とを比較し、比較結果に応じて地図情報を適宜更新する車載情報処理装置１０について記載されている。また、特許文献２には、地図データや、メッシュ標高データ、道路設計基準データ等に基づいて、道路の勾配および標高を推測する道路情報推測装置２０について記載されている。 In Patent Document 1, road survey data is analyzed based on map information stored in the map DB 11, vehicle position information using the GPS receiver 12, image information generated by the camera 13, and the like. It describes an in-vehicle information processing apparatus 10 that compares subsequent road survey data with map information and updates the map information as appropriate according to the comparison result. Patent Document 2 describes a road information estimation device 20 that estimates road gradient and elevation based on map data, mesh elevation data, road design reference data, and the like.
上述した合成画像を生成し、表示する従来の画像処理装置では、合成画像が示す風景に、車両の後方に位置する相対傾斜道路（上り坂または下り坂の道路）が含まれる場合に、以下の問題があった。すなわち、サイドカメラとリアカメラはそれぞれ、車両の異なる位置に設けられる。この各カメラの設置位置の相違に起因して、合成画像におけるサイドカメラの撮影結果に基づく画像とリアカメラの撮影結果に基づく画像との境界で、相対傾斜道路の画像にズレが生じてしまうという問題があった。境界において相対傾斜道路の画像にズレが生じるとは、境界の左右で相対傾斜道路の終端を示す画像や、始端を示す画像、相対傾斜道路に描画された道路標示の画像等にズレが生じることを意味する。 In the conventional image processing apparatus that generates and displays the above-described composite image, when the relative slope road (uphill or downhill road) located behind the vehicle is included in the landscape indicated by the composite image, the following There was a problem. That is, the side camera and the rear camera are provided at different positions on the vehicle. Due to the difference in the installation position of each camera, the image of the relative slope road is shifted at the boundary between the image based on the side camera image and the image based on the rear camera image in the composite image. There was a problem. Displacement in the image of the relative slope road at the boundary means that the image showing the end of the relative slope road on the left and right of the boundary, the image showing the start edge, the image of the road marking drawn on the relative slope road, etc. Means.
本発明は、このような問題を解決するために成されたものであり、サイドカメラの撮影画像とリアカメラの撮影画像とに基づいて、サイドカメラの死角がリアカメラの撮影結果によって補われた合成画像を生成する画像処理装置について、車両の後方に相対傾斜道路がある場合に、合成画像の境界における相対傾斜道路の画像のズレを抑制できるようにすることを目的とする。 The present invention has been made to solve such a problem, and the blind spot of the side camera is compensated by the result of the rear camera based on the image captured by the side camera and the image captured by the rear camera. An object of the image processing apparatus that generates a composite image is to suppress a shift of an image of a relative slope road at the boundary of the composite image when there is a relative slope road behind the vehicle.
上記した課題を解決するために、本発明では、リアカメラのリアカメラ撮影画像を画像変換することによって補完画像を生成し、サイドカメラ撮影画像の死角領域に補完画像を合成して合成画像を生成し、合成画像を表示装置に表示する。そして、本発明では、補完画像の生成に際し、車両の後方の相対傾斜道路に沿った投影面を用いてリアカメラ撮影画像を画像変換するようにしている。 In order to solve the above-described problems, in the present invention, a complementary image is generated by converting the rear camera captured image of the rear camera, and a combined image is generated by synthesizing the complementary image in the blind spot area of the side camera captured image. Then, the composite image is displayed on the display device. In the present invention, when the complementary image is generated, the rear camera photographed image is converted using the projection plane along the relative inclined road behind the vehicle.
上記のように構成した本発明によれば、車両の後方の相対傾斜道路に沿った投影面を用いてリアカメラ撮影画像が画像変換されて補完画像が生成されるため、始端から終端に至る相対傾斜道路の表面の全域が、相対傾斜道路に沿って投影面上に位置した状態で画像変換が行われることになる。このため、合成画像に記録される相対傾斜道路の画像については、サイドカメラ撮影画像と補完画像との境界における連続性が保たれた状態となり、合成画像の境界における相対傾斜道路の画像のズレを抑制できる。 According to the present invention configured as described above, since a rear camera photographed image is image-converted using a projection plane along a relatively inclined road behind the vehicle and a complementary image is generated, the relative from the start end to the end Image conversion is performed in a state where the entire surface of the inclined road is located on the projection plane along the relative inclined road. For this reason, the image of the relative slope road recorded in the composite image is in a state in which the continuity is maintained at the boundary between the side camera photographed image and the complementary image, and the image of the relative slope road at the boundary of the composite image is shifted. Can be suppressed.
以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態に係る画像処理装置１の機能構成例を示すブロック図である。画像処理装置１は、運転手が車両の右サイドミラーＭＲまたは左サイドミラーＭＬを視認したときに確認できる風景と同等の風景を、これらミラーを視認したときには車体により遮蔽されて確認できない部分も含めて表示することが可能な装置である。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram illustrating a functional configuration example of an image processing apparatus 1 according to the present embodiment. The image processing apparatus 1 includes a landscape equivalent to a landscape that can be confirmed when the driver visually recognizes the right side mirror MR or the left side mirror ML of the vehicle, including a portion that cannot be confirmed due to being shielded by the vehicle body when the mirror is visually recognized. It is a device that can be displayed.
図１に示すように、画像処理装置１には、右モニター２Ｒ、左モニター２Ｌ、リアカメラ３、右サイドカメラ４Ｒおよび左サイドカメラ４Ｌ、記憶装置５および自車位置検出装置６が接続されている。以下、画像処理装置１が搭載された車両を「自車両」という。 As shown in FIG. 1, the image processing apparatus 1 is connected to a right monitor 2R, a left monitor 2L, a rear camera 3, a right side camera 4R and a left side camera 4L, a storage device 5, and a vehicle position detection device 6. Yes. Hereinafter, the vehicle on which the image processing apparatus 1 is mounted is referred to as “own vehicle”.
右モニター２Ｒは、自車両のダッシュボードの右端部（車内において右サイドミラーＭＲに近い位置）に設けられた表示パネル（例えば、液晶表示パネルや、有機ＥＬ表示パネル等）である。左モニター２Ｌは、自車両のダッシュボードの左端部（車内において左サイドミラーＭＬに近い位置）に設けられた表示パネルである。右モニター２Ｒおよび左モニター２Ｌは、特許請求の範囲の「表示装置」に相当する。 The right monitor 2R is a display panel (for example, a liquid crystal display panel, an organic EL display panel, etc.) provided at the right end of the dashboard of the host vehicle (position close to the right side mirror MR in the vehicle). The left monitor 2L is a display panel provided at the left end of the dashboard of the host vehicle (position close to the left side mirror ML in the vehicle). The right monitor 2R and the left monitor 2L correspond to a “display device” in the claims.
リアカメラ３は、自車両の後部に設けられた撮影装置である。右サイドカメラ４Ｒは、自車両の前部座席の右サイドドアの右サイドミラーＭＲに設けられた撮影装置である。左サイドカメラ４Ｌは、自車両の前部座席の左サイドドアの左サイドミラーＭＬに設けられた撮影装置である。 The rear camera 3 is a photographing device provided at the rear part of the host vehicle. The right side camera 4R is a photographing device provided on the right side mirror MR of the right side door of the front seat of the host vehicle. The left side camera 4L is a photographing device provided on the left side mirror ML of the left side door of the front seat of the host vehicle.
図２は、リアカメラ３および右サイドカメラ４Ｒの設置位置および撮影範囲を説明するための図である。以下の説明では、右サイドカメラ４Ｒと左サイドカメラ４Ｌとを区別しない場合は「サイドカメラ４Ｒ，４Ｌ」と表現し、右サイドカメラ４Ｒの撮影画像と左サイドカメラ４Ｌの撮影画像とを区別しない場合は「サイドカメラ撮影画像」と表現する。 FIG. 2 is a diagram for explaining the installation positions and photographing ranges of the rear camera 3 and the right side camera 4R. In the following description, when the right side camera 4R and the left side camera 4L are not distinguished from each other, they are expressed as “side cameras 4R and 4L”, and the photographed image of the right side camera 4R and the photographed image of the left side camera 4L are not distinguished. In this case, it is expressed as “side camera image”.
図２に示すように、リアカメラ３は、自車両の後端において、自車両の幅方向の中央に設けられており、自車両の後方に向かう方向を撮影方向（光軸の方向）として撮影を実行する。図２において、符号ＨＢは、リアカメラ３の撮影範囲を模式的に示している。以下、リアカメラ３の撮影範囲を「リアカメラ撮影範囲ＨＢ」という。リアカメラ３は、魚眼レンズを有する魚眼カメラにより構成されている。リアカメラ３は、所定の周期で撮影を実行して撮影画像を生成し、出力する。以下、リアカメラ３が生成し、出力する撮影画像を「リアカメラ撮影画像」という。図３（Ａ）は、リアカメラ撮影画像の一例を示している。 As shown in FIG. 2, the rear camera 3 is provided in the center of the width direction of the host vehicle at the rear end of the host vehicle, and the direction toward the rear of the host vehicle is taken as the shooting direction (the direction of the optical axis). Execute. In FIG. 2, symbol HB schematically shows the photographing range of the rear camera 3. Hereinafter, the shooting range of the rear camera 3 is referred to as “rear camera shooting range HB”. The rear camera 3 is a fisheye camera having a fisheye lens. The rear camera 3 executes shooting at a predetermined cycle, generates a shot image, and outputs it. Hereinafter, a captured image generated and output by the rear camera 3 is referred to as a “rear camera captured image”. FIG. 3A shows an example of a rear camera photographed image.
図２に示すように、右サイドカメラ４Ｒは、車両の後方に対して、後方に向かうに従って右側に向かうように少しだけ傾いた方向を撮影方向（光軸の方向）として撮影を実行する。図２において、符号ＨＲは、右サイドカメラ４Ｒの撮影範囲を模式的に示している。右サイドカメラ４Ｒは、標準レンズにより撮影を実行する撮影装置であり、その撮影範囲の水平画角は、リアカメラ撮影範囲ＨＢの水平画角よりも小さい。以下、右サイドカメラ４Ｒの撮影範囲を「右サイドカメラ撮影範囲ＨＲ」という。 As shown in FIG. 2, the right side camera 4 </ b> R executes shooting with a direction slightly tilted toward the right side as it goes rearward with respect to the rear of the vehicle as a shooting direction (direction of the optical axis). In FIG. 2, symbol HR schematically shows the shooting range of the right side camera 4R. The right side camera 4R is a photographing device that performs photographing with a standard lens, and the horizontal field angle of the photographing range is smaller than the horizontal field angle of the rear camera photographing range HB. Hereinafter, the shooting range of the right side camera 4R is referred to as a “right side camera shooting range HR”.
図２に示すように、右サイドカメラ４Ｒの撮影範囲には、車両の車体に遮蔽された死角範囲ＤＨが形成される。死角範囲ＤＨについては、車体が遮蔽物となり、風景が撮影されない。リアカメラ３のリアカメラ撮影範囲ＨＢには、死角範囲ＤＨが含まれている。つまり、リアカメラ３は、死角範囲ＤＨの風景を撮影可能である。右サイドカメラ４Ｒは、所定の周期で撮影を実行して撮影画像を生成し、出力する。以下、右サイドカメラ４Ｒが生成し、出力する撮影画像を「右サイドカメラ撮影画像」という。 As shown in FIG. 2, a blind spot range DH shielded by the vehicle body is formed in the photographing range of the right side camera 4R. For the blind spot range DH, the vehicle body becomes a shield and the landscape is not photographed. The rear camera shooting range HB of the rear camera 3 includes a blind spot range DH. That is, the rear camera 3 can capture a landscape in the blind spot range DH. The right side camera 4R executes shooting at a predetermined cycle to generate and output a shot image. Hereinafter, a captured image generated and output by the right side camera 4R is referred to as a “right side camera captured image”.
図３（Ｂ）は、図３（Ａ）のリアカメラ撮影画像が生成されたときの環境と同じ環境で右サイドカメラ４Ｒが生成する右サイドカメラ撮影画像の一例を示す図である。図３（Ｂ）に示すように、右サイドカメラ撮影画像の左端部には、自車両の車体の画像ＪＳｒが記録された死角領域ＤＲが形成されている。死角領域ＤＲは、右サイドカメラ４Ｒの右サイドカメラ撮影範囲ＨＲの死角範囲ＤＨ（図２参照）に対応する領域である。右サイドカメラ４Ｒは、車両の特定の位置に固定的に設けられるため、右サイドカメラ撮影画像の全領域における死角領域ＤＲの態様（位置、形状）は一定である。 FIG. 3B is a diagram illustrating an example of a right side camera photographed image generated by the right side camera 4R in the same environment as that when the rear camera photographed image of FIG. 3A is generated. As shown in FIG. 3B, a blind spot area DR in which an image JSr of the vehicle body of the host vehicle is recorded is formed at the left end portion of the image taken by the right side camera. The blind spot area DR is an area corresponding to the blind spot range DH (see FIG. 2) of the right side camera photographing range HR of the right side camera 4R. Since the right side camera 4R is fixedly provided at a specific position of the vehicle, the mode (position, shape) of the blind spot region DR in the entire region of the image captured by the right side camera is constant.
左サイドカメラ４Ｌは、右サイドカメラ４Ｒと同一の性能の撮影装置であり、前部座席の左サイドドアに取り付けられた左サイドミラーＭＬに、右サイドカメラ４Ｒと同様の態様で設置されている。左サイドカメラ４Ｌは、所定の周期で撮影を実行して撮影画像を生成し、出力する。以下、左サイドカメラ４Ｌが生成し、出力する撮影画像を「左サイドカメラ撮影画像」という。 The left side camera 4L is a photographing device having the same performance as the right side camera 4R, and is installed in the same manner as the right side camera 4R on the left side mirror ML attached to the left side door of the front seat. . The left side camera 4L executes shooting at a predetermined cycle, generates a shot image, and outputs it. Hereinafter, a captured image generated and output by the left side camera 4L is referred to as a “left side camera captured image”.
記憶装置５は、各種情報を記憶可能なメモリーを有する装置である。記憶装置５は、道路情報５ａを記憶している。道路情報５ａは、道路網の結節点を示すノードごとにノード情報を有し、ノードとノードとの間の道路区間を示すリンクごとにリンク情報を有する。リンク情報は、リンクＩＤの他、対応する道路の道幅や、道路が延びる方角、道路種別、両端の地図上の位置等を示す情報を含んでいる。特に本実施形態では、リンク情報は、対応する道路が坂道を含む場合、その坂道の上り始めの端部の地図上の位置（高度を含む）、および、上り終わりの端部の地図上の位置（高度を含む）を示す情報を含んでいる。坂道に係るリンク情報に基づいて、坂道は、上り始めの端部と、上り終わりの端部との間で延在する道路として認識できる。 The storage device 5 is a device having a memory capable of storing various information. The storage device 5 stores road information 5a. The road information 5a has node information for each node indicating a node of the road network, and has link information for each link indicating a road section between the nodes. The link information includes, in addition to the link ID, information indicating the road width of the corresponding road, the direction in which the road extends, the road type, the positions of both ends on the map, and the like. In particular, in the present embodiment, when the corresponding road includes a slope, the link information includes the position on the map at the end of the uphill beginning (including the altitude) and the position on the map at the end of the uphill. Contains information indicating (including altitude). Based on the link information related to the hill, the hill can be recognized as a road extending between the end portion at the beginning of the climb and the end portion at the end of the climb.
自車位置検出装置６は、図示しないＧＰＳユニット、ジャイロセンサー、加速度センサー、車速センサー等の各種センサーの検出値や、記憶装置５が記憶する道路情報５ａに基づいて、既存の技術により自車両の現在位置（以下、「自車位置」という）を所定の周期で検出し、出力する。 The own vehicle position detection device 6 is based on the detection values of various sensors (not shown) such as a GPS unit, a gyro sensor, an acceleration sensor, and a vehicle speed sensor, and road information 5a stored in the storage device 5 using existing technology. The current position (hereinafter referred to as “own vehicle position”) is detected and output at a predetermined cycle.
図１に示すように、画像処理装置１は、機能構成として、撮影画像取得部１０、相対傾斜道路態様検出部１１、画像処理部１２および表示制御部１３を備えている。上記各機能ブロック１０〜１３は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１０〜１３は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭ等を備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリー等の記録媒体に記憶されたプログラムが動作することによって実現される。また、図１に示すように、画像処理装置１は、記憶手段として、ルックアップテーブル記憶部１５を備えている。ルックアップテーブル記憶部１５は、後述するように、各種ルックアップテーブルを記憶する。 As shown in FIG. 1, the image processing apparatus 1 includes a captured image acquisition unit 10, a relative inclined road mode detection unit 11, an image processing unit 12, and a display control unit 13 as functional configurations. Each of the functional blocks 10 to 13 can be configured by any of hardware, DSP (Digital Signal Processor), and software. For example, when configured by software, each of the functional blocks 10 to 13 is actually configured by including a CPU, RAM, ROM, and the like of a computer, and a program stored in a recording medium such as a RAM, ROM, hard disk, or semiconductor memory. It is realized by operating. As shown in FIG. 1, the image processing apparatus 1 includes a lookup table storage unit 15 as a storage unit. The lookup table storage unit 15 stores various lookup tables as will be described later.
撮影画像取得部１０は、リアカメラ３からリアカメラ撮影画像を所定の周期で入力する。また、撮影画像取得部１０は、右サイドカメラ４Ｒから右サイドカメラ撮影画像を所定の周期で入力する。また、撮影画像取得部１０は、左サイドカメラ４Ｌから左サイドカメラ撮影画像を所定の周期で入力する。撮影画像取得部１０は、リアカメラ撮影画像、右サイドカメラ撮影画像および左サイドカメラ撮影画像を所定の周期で画像処理部１２に出力する。 The captured image acquisition unit 10 inputs a rear camera captured image from the rear camera 3 at a predetermined cycle. Further, the captured image acquisition unit 10 inputs the right side camera captured image from the right side camera 4R at a predetermined cycle. Also, the captured image acquisition unit 10 inputs the left side camera captured image from the left side camera 4L at a predetermined cycle. The captured image acquisition unit 10 outputs the rear camera captured image, the right side camera captured image, and the left side camera captured image to the image processing unit 12 at a predetermined cycle.
相対傾斜道路態様検出部１１は、自車両の後方に相対傾斜道路が存在するか否かを所定の周期で検出する。相対傾斜道路態様検出部１１は、自車両の後方に相対傾斜道路が存在する場合には、その相対傾斜道路の態様を検出する。相対傾斜道路とは、自車両が現在走行している路面を水平面としたときに、自車両から後方に向かって、その水平面に対して上り坂または下り坂となっている道路を意味する。図４の各図は、相対傾斜道路の例を示している。図４（Ａ）の道路Ｄ１、図４（Ｂ）の道路Ｄ２および図４（Ｃ）の道路Ｄ３はそれぞれ、相対傾斜道路である。以下、相対傾斜道路態様検出部１１の処理について詳述する。 The relative inclination road mode detection unit 11 detects whether or not there is a relative inclination road behind the host vehicle at a predetermined cycle. When there is a relative slope road behind the host vehicle, the relative slope road mode detector 11 detects the mode of the relative slope road. The relative inclined road means a road that is uphill or downhill with respect to the horizontal plane from the rear of the vehicle when the road surface on which the vehicle is currently traveling is a horizontal plane. Each figure in FIG. 4 shows an example of a relatively inclined road. Each of the road D1 in FIG. 4A, the road D2 in FIG. 4B, and the road D3 in FIG. 4C is a relative inclined road. Hereinafter, the process of the relative inclination road aspect detection part 11 is explained in full detail.
相対傾斜道路態様検出部１１は、自車両の後方に相対傾斜道路が存在するか否かの検出に関して、以下の処理を実行する。すなわち、相対傾斜道路態様検出部１１は、自車両が走行している道路において、自車両の後方であって、自車両を中心とする所定範囲内に相対傾斜道路がある場合、自車両の後方に相対傾斜道路が存在すると判定し、ない場合は存在しないと判定する。所定範囲は、後述する合成画像を表示したときに、ユーザーが明確に相対傾斜道路を認識し得る程度に相対傾斜道路の画像が現れるかどうかという観点から事前に適切に定められる。 The relative slope road mode detection unit 11 performs the following processing regarding detection of whether or not a relative slope road exists behind the host vehicle. That is, the relative slope road mode detection unit 11 is located behind the host vehicle when the host vehicle travels behind the host vehicle and there is a relative slope road within a predetermined range centered on the host vehicle. It is determined that a relatively inclined road exists, and if it does not exist, it is determined that it does not exist. The predetermined range is appropriately determined in advance from the viewpoint of whether or not the image of the relative slope road appears to such an extent that the user can clearly recognize the relative slope road when a composite image described later is displayed.
相対傾斜道路態様検出部１１は、記憶装置５が記憶する道路情報５ａおよび自車位置検出装置６により検出された自車位置に基づいて、自車両が走行する道路のリンクを特定し、特定したリンクのリンク情報を取得する。更に、相対傾斜道路態様検出部１１は、自車両が走行する道路に後続する道路（後方に向かって連続する複数の道路であってもよい）のリンクを特定し、特定したリンクのリンク情報を取得する。そして、相対傾斜道路態様検出部１１は、自車両が走行する道路のリンク情報、および、当該道路に後続する道路のリンク情報に基づいて、自車両が走行する道路と、後続する道路との相対的な位置関係および各道路の坂道の状況を認識し、所定範囲内に相対傾斜道路が存在するか否かを判定する。例えば、自車両が坂道を下り終えた直後（または上り終えた直後）から、自車両が直進するしばらくの期間は、自車両の後方に相対傾斜道路が存在する状況となる。 Based on the road information 5a stored in the storage device 5 and the own vehicle position detected by the own vehicle position detection device 6, the relative inclined road mode detection unit 11 specifies and specifies the link of the road on which the own vehicle travels. Get link information for a link. Furthermore, the relative inclination road mode detection unit 11 specifies a link of a road (which may be a plurality of roads continuous toward the rear) following the road on which the host vehicle travels, and obtains link information of the specified link. get. And the relative inclination road mode detection part 11 is based on the link information of the road on which the host vehicle travels, and the link information on the road that follows the road. It is determined whether or not there is a relative slope road within a predetermined range by recognizing the actual positional relationship and the slope condition of each road. For example, a relative slope road exists behind the host vehicle for a while during which the host vehicle goes straight from immediately after the host vehicle finishes going down a hill (or just after finishing going up).
また、相対傾斜道路態様検出部１１は、相対傾斜道路の態様の検出について、以下の処理を実行する。すなわち、相対傾斜道路態様検出部１１は、自車位置検出部１１により検出された自車位置と、記憶装置５が記憶する道路情報５ａとに基づいて、相対傾斜道路を含む道路のリンクを特定し、特定したリンクのリンク情報を取得する。次いで、相対傾斜道路態様検出部１１は、取得したリンク情報に基づいて、「相対傾斜道路の始端の地図上の位置（高度を含む）」および「相対傾斜道路の終端の地図上の位置（高度を含む）」を認識する。相対傾斜道路の始端は、相対傾斜道路の両端のうち自車両に近い側の端を意味し、相対傾斜道路の終端は、自車両から遠い側の端を意味する。なお、図４（Ｂ）に示すように、自車両が坂道を上っており、坂道を有さない道路が相対傾斜道路となっている場合、相対傾斜道路態様検出部１１は、相対傾斜道路に相当する道路の端のうち、自車両から遠い側の端（図４（Ｂ）の端ＳＴ）を、相対傾斜道路の終端とする。 Moreover, the relative inclination road aspect detection part 11 performs the following processes about the detection of the aspect of a relative inclination road. That is, the relative inclination road mode detection unit 11 specifies a link of a road including a relative inclination road based on the own vehicle position detected by the own vehicle position detection unit 11 and the road information 5a stored in the storage device 5. And obtain link information of the identified link. Next, based on the acquired link information, the relative inclination road mode detection unit 11 “a position on the map at the start of the relative inclination road (including altitude)” and “a position on the map at the end of the relative inclination road (altitude). Is included). The starting end of the relative inclined road means an end on the side closer to the own vehicle among both ends of the relative inclined road, and the end of the relative inclined road means an end far from the own vehicle. In addition, as shown in FIG. 4B, when the host vehicle is going up a slope and a road that does not have a slope is a relative slope road, the relative slope road mode detection unit 11 is a relative slope road. Among the ends of the road corresponding to the above, the end far from the host vehicle (end ST in FIG. 4B) is the end of the relatively inclined road.
相対傾斜道路の始端の位置、および、相対傾斜道路の終端の位置により、相対傾斜道路の始端から終端に至るまでの形状は定まる。これを踏まえ、本実施形態では、相対傾斜道路の始端の位置、および、相対傾斜道路の終端を認識することが、相対傾斜道路の態様を検出することに相当する。 The shape from the start end to the end of the relative slope road is determined by the position of the start edge of the relative slope road and the end position of the relative slope road. Based on this, in the present embodiment, recognizing the position of the start of the relative slope road and the end of the relative slope road corresponds to detecting the aspect of the relative slope road.
なお、相対傾斜道路の態様が、相対傾斜道路の始端および終端の位置によって特定されるのではなく、相対傾斜道路の傾斜角度や、相対傾斜道路の高さ（始端の高度と終端の高度との差）等用いて特定される構成でもよい。また、相対傾斜道路態様検出部１１が相対傾斜道路の態様を検出する方法は、例示した方法に限られない。 It should be noted that the aspect of the relative slope road is not specified by the position of the start and end of the relative slope road, but the inclination angle of the relative slope road or the height of the relative slope road (the height of the start slope and the end height). The structure specified using a difference etc. may be sufficient. Moreover, the method in which the relative inclination road aspect detection part 11 detects the aspect of a relative inclination road is not restricted to the illustrated method.
例えば、以下の構成でもよい。すなわち、走行軌跡情報が記憶装置５に記憶される。走行軌跡情報は、高度も加味した３次元座標系で、所定の周期毎の自車両の位置がプロットされた情報である。走行軌跡情報は、自車両の走行に応じて随時更新される。そして、相対傾斜道路態様検出部１１は、車両の走行軌跡に沿って道路の面が形成されているものとして、走行軌跡情報を分析し、相対傾斜道路の態様を検出する。なお、この場合、自車両の後方に相対傾斜道路が存在するか否かの検出についても、走行軌跡情報に基づいて行われる構成でもよい。 For example, the following configuration may be used. That is, the travel locus information is stored in the storage device 5. The travel trajectory information is information in which the position of the host vehicle is plotted for each predetermined cycle in a three-dimensional coordinate system that also includes altitude. The travel locus information is updated as needed according to the travel of the host vehicle. And the relative inclination road aspect detection part 11 analyzes traveling locus information, and detects the aspect of a relative inclination road, assuming that the road surface is formed along the traveling locus of the vehicle. In this case, the detection of whether or not a relative inclined road exists behind the host vehicle may be performed based on the travel locus information.
この他、自車両の後方における相対傾斜道路の有無および相対傾斜道路の態様の検出に際し、リアカメラ撮影画像およびサイドカメラ撮影画像の少なくとも一方を分析し、分析結果を利用するようにしてもよい。その他、リアカメラ３およびサイドカメラ４Ｒ，４Ｌ以外のカメラや、レーダー装置等の他の装置を利用して当該検出を行う構成でもよい。 In addition, when detecting the presence / absence of a relatively inclined road and the mode of the relatively inclined road behind the host vehicle, at least one of the rear camera photographed image and the side camera photographed image may be analyzed and the analysis result may be used. In addition, the structure which performs the said detection using other apparatuses, such as cameras other than the rear camera 3 and the side cameras 4R and 4L, and a radar apparatus, may be sufficient.
画像処理部１２は、撮影画像取得部１０から所定の周期でリアカメラ撮影画像およびサイドカメラ撮影画像を入力する度に、入力する撮影画像に基づいて合成画像生成処理を実行する。合成画像生成処理に関し、画像処理部１２は、相対傾斜道路態様検出部１１により自車両の後方に相対傾斜道路が存在しないと判定されている場合と存在すると判定されている場合とで異なる処理を実行する。以下、右サイドカメラ４Ｒの右サイドカメラ撮影画像およびリアカメラ３のリアカメラ撮影画像に基づいて、右側合成画像（合成画像）を生成する場合を例にして合成画像生成処理について詳述する。なお、画像処理部１２は、右側合成画像の生成と並行して、左サイドカメラ撮影画像およびリアカメラ撮影画像に基づいて左側合成画像を生成する。 The image processing unit 12 executes a composite image generation process based on the input captured image every time the rear camera captured image and the side camera captured image are input from the captured image acquisition unit 10 at a predetermined cycle. Regarding the composite image generation processing, the image processing unit 12 performs different processing depending on whether the relative inclined road state detecting unit 11 determines that there is no relative inclined road behind the host vehicle or not. Execute. Hereinafter, the composite image generation process will be described in detail by taking as an example the case of generating a right composite image (composite image) based on the right side camera captured image of the right side camera 4R and the rear camera captured image of the rear camera 3. Note that the image processing unit 12 generates a left composite image based on the left side camera captured image and the rear camera captured image in parallel with the generation of the right composite image.
＜自車両の後方に相対傾斜道路が存在しないと判定されている場合＞
相対傾斜道路態様検出部１１により自車両の後方に相対傾斜道路が存在しないと判定されている場合、合成画像生成処理において、まず、画像処理部１２は、ルックアップテーブル記憶部１５に記憶された右側ルックアップテーブルを用いて、撮影画像取得部１０から入力したリアカメラ撮影画像を補完画像に変換する。
<When it is determined that there is no relative slope road behind the host vehicle>
When it is determined by the relative slope road mode detection unit 11 that there is no relative slope road behind the host vehicle, in the composite image generation process, the image processing unit 12 is first stored in the lookup table storage unit 15. The rear camera photographed image input from the photographed image acquisition unit 10 is converted into a complementary image using the right lookup table.
右側ルックアップテーブルとは、リアカメラ撮影画像を、「右側仮想カメラが、車体を透過した状態で死角範囲ＤＨを仮想的に撮影することによって生成される撮影画像（＝補完画像）」に変換するために用いられるマッピングテーブルである。右側仮想カメラとは、右サイドカメラ４Ｒと同じ撮影方向、撮影範囲の仮想的な撮影装置のことであり、所定の撮影画像を、右サイドカメラ４Ｒの視点に視点変換する際に概念的に用いられる。 The right look-up table converts a rear camera photographed image into a “photographed image (= complementary image) generated by the right virtual camera virtually photographing the blind spot range DH while passing through the vehicle body”. This is a mapping table used for this purpose. The right virtual camera is a virtual shooting device having the same shooting direction and shooting range as the right side camera 4R, and is conceptually used when converting a predetermined shot image into a viewpoint of the right side camera 4R. It is done.
右側ルックアップテーブルは、右側仮想カメラの仮想的な撮影画像の死角領域ＤＲを構成する全てのドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置とが一対一で対応付けられた対応関係情報を有する。なお、上述したように、右サイドカメラ撮影画像の全領域における死角領域ＤＲの態様（位置、形状）は一定であり、右側仮想カメラの仮想的な撮影画像の死角領域ＤＲを構成する全てのドットのドット位置は事前に特定されている。 In the right-side lookup table, the dot positions of all the dots constituting the blind spot area DR of the virtual captured image of the right virtual camera and the dot positions of the corresponding dots of the rear camera captured image are associated one-to-one. Correspondence information. As described above, the mode (position, shape) of the blind spot area DR in the entire area of the right-side camera photographed image is constant, and all the dots constituting the blind spot area DR of the virtual photographed image of the right virtual camera. The dot positions are specified in advance.
右側ルックアップテーブルの対応関係情報は、リアカメラ３の視点を右側仮想カメラの視点に変換するという観点の下、車両座標系におけるリアカメラ３および右側仮想カメラの配置位置および配置角度、リアカメラ３の仕様（投影方法や、画角、ディストーション（レンズの歪み）、解像度等）、右側仮想カメラの仕様、視点変換に用いる投影面の態様、その他の要素を反映して事前に適切に設定されている。なお、本実施形態では、自車両の後方に相対傾斜道路が存在しない場合に用いられる右側ルックアップテーブルにおいて、投影面は、路面に対応する投影面と、この路面投影面に対して垂直に起立し、リアカメラ３の光学原点から所定の位置に設けられた投影面とにより構成される。 Correspondence information in the right-side lookup table includes the rear camera 3 and right virtual camera arrangement positions and angles in the vehicle coordinate system, and the rear camera 3 from the viewpoint of converting the rear camera 3 viewpoint to the right virtual camera viewpoint. Are properly set in advance to reflect the specifications (projection method, angle of view, distortion (lens distortion), resolution, etc.), right virtual camera specifications, projection plane used for viewpoint conversion, and other factors. Yes. In the present embodiment, in the right-side lookup table used when there is no relative inclined road behind the host vehicle, the projection surface stands upright with respect to the projection surface corresponding to the road surface and the road surface projection surface. And a projection plane provided at a predetermined position from the optical origin of the rear camera 3.
画像処理部１２は、右側ルックアップテーブルを用いて、右側仮想カメラの仮想的な撮影画像の死角領域ＤＲを構成するドットの画素値が、リアカメラ撮影画像の対応するドットの画素値によって置き換えられた補完画像を生成する。補完画像の生成後、画像処理部１２は、右サイドカメラ撮影画像の死角領域ＤＲに、補完画像を合成し、右側合成画像を生成する。 The image processing unit 12 uses the right lookup table to replace the pixel values of the dots constituting the blind spot area DR of the virtual captured image of the right virtual camera with the pixel values of the corresponding dots of the rear camera captured image. Generated complementary images. After the generation of the complementary image, the image processing unit 12 combines the complementary image with the blind spot area DR of the right side camera photographed image to generate a right composite image.
図５は、自車両の後方に相対傾斜道路が存在しない場合に、図３（Ａ）のリアカメラ撮影画像、および、図３（Ｂ）の右サイドカメラ撮影画像に基づいて生成される右側合成画像を示している。なお、図５では、右サイドカメラ撮影画像と補完画像との境界に破線を引いているが、この破線は、実際には表示されない。図５と図３（Ｂ）との比較で明らかな通り、右側合成画像では、死角領域ＤＲがリアカメラ撮影画像に基づいて生成された補完画像によって補われ、これにより死角範囲ＤＨの風景が表示された状態となる。 FIG. 5 shows a right-side composition generated based on the rear camera photographed image of FIG. 3A and the right side camera photographed image of FIG. 3B when there is no relative inclined road behind the host vehicle. An image is shown. In FIG. 5, a broken line is drawn at the boundary between the right-side camera photographed image and the complementary image, but this broken line is not actually displayed. As is apparent from a comparison between FIG. 5 and FIG. 3B, in the right-side composite image, the blind spot area DR is supplemented by a complementary image generated based on the rear camera photographed image, thereby displaying a landscape of the blind spot range DH. It will be in the state.
＜自車両の後方に相対傾斜道路が存在すると判定されている場合＞
相対傾斜道路態様検出部１１により自車両の後方に相対傾斜道路が存在すると判定されている場合、合成画像処理において、まず、画像処理部１２は、リアカメラ撮影画像を右側仮想カメラの視点に視点変換（画像変換）するときに用いる投影面を設定する。
<When it is determined that there is a relatively inclined road behind the host vehicle>
When it is determined by the relative inclination road state detection unit 11 that there is a relative inclination road behind the host vehicle, in the composite image processing, the image processing unit 12 first views the rear camera photographed image from the viewpoint of the right virtual camera. A projection plane used for conversion (image conversion) is set.
図６（Ａ）は、自車両と相対傾斜道路との位置関係において設定される投影面を示す図である。図６（Ａ）では、自車両の後方に、自車両の後方に向かって上り坂となっている相対傾斜道路が存在している。 FIG. 6A is a diagram showing a projection plane set in the positional relationship between the host vehicle and the relative inclined road. In FIG. 6A, there is a relative inclined road that is an uphill toward the rear of the host vehicle, behind the host vehicle.
図６（Ａ）の例の場合、画像処理部１２は、相対傾斜道路の始端の位置Ｐ１から自車両が走行する路面に対して垂直に下方に向かって延在する第１投影面ＴＭ１と、相対傾斜道路に沿って始端の位置Ｐ１から終端の位置Ｐ２に至るまで傾斜角度αだけ傾いた状態で延在する第２投影面ＴＭ２と、終端の位置Ｐ２から上記路面に対して垂直に上方に向かって延在する第３投影面ＴＭ３とにより構成される投影面を設定する。以下、自車両の後方に相対傾斜道路が存在すると判定されている場合に設定される投影面（第１投影面ＴＭ１、第２投影面ＴＭ２および第３投影面ＴＭ３により構成される投影面）を「設定投影面」という。 In the case of the example of FIG. 6A, the image processing unit 12 includes a first projection plane TM1 that extends downward from a position P1 at the start of a relatively inclined road perpendicularly to the road surface on which the vehicle travels. A second projection plane TM2 extending along the relatively inclined road from the start position P1 to the end position P2 in a state inclined by an inclination angle α, and vertically upward from the end position P2 to the road surface. A projection plane constituted by the third projection plane TM3 extending toward the upper side is set. Hereinafter, a projection plane (projection plane constituted by the first projection plane TM1, the second projection plane TM2, and the third projection plane TM3) set when it is determined that a relatively inclined road exists behind the host vehicle. This is called “setting projection plane”.
なお、画像処理部１２は、自車位置検出部１１により検出された自車位置と、相対傾斜道路態様検出部１１の検出結果とに基づいて、始端の位置Ｐ１および終端の位置Ｐ２を、自車両に対する相対的な位置として認識する。また、画像処理部１２は、始端の位置Ｐ１および終端の位置Ｐ２を、自車両の前後方向に対して直行する方向に延びる線分状の位置として認識する。また、画像処理部１２は、第２投影面ＴＭ２を、始端の位置Ｐ１から終点の位置Ｐ２に至るまで、傾斜角度αで傾く平面状の投影面として設定する。 Note that the image processing unit 12 determines the start position P1 and the end position P2 based on the vehicle position detected by the vehicle position detection unit 11 and the detection result of the relative inclination road state detection unit 11. Recognized as a relative position to the vehicle. In addition, the image processing unit 12 recognizes the start position P1 and the end position P2 as line-shaped positions extending in a direction perpendicular to the front-rear direction of the host vehicle. Further, the image processing unit 12 sets the second projection plane TM2 as a planar projection plane that is inclined at an inclination angle α from the start position P1 to the end position P2.
設定投影面の設定後、画像処理部１２は、相対傾斜道路用ルックアップテーブルを生成する。相対傾斜道路用ルックアップテーブルは、右側ルックアップテーブルと同様、リアカメラ撮影画像を、「右側仮想カメラが、車体を透過した状態で死角範囲ＤＨを仮想的に撮影することによって生成される撮影画像（＝補完画像）」に変換するために用いられるマッピングテーブルである。特に、相対傾斜道路用ルックアップテーブルは、視点変換に用いる投影面が、設定投影面とされる。つまり、相対傾斜道路用ルックアップテーブルは、車両座標系におけるリアカメラ３の配置位置および配置角度と右側仮想カメラの配置位置および配置角度との相違を反映して、「設定投影面」を用いてリアカメラ３の視点を右側仮想カメラの視点に変更するためのマッピングテーブルである。相対傾斜道路用ルックアップテーブルでは、右側仮想カメラの仮想的な撮影画像の死角領域ＤＲを構成する全てのドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置とが一対一で対応付けられている。 After setting the setting projection plane, the image processing unit 12 generates a relative inclined road lookup table. Like the right lookup table, the relative slope road lookup table is a rear camera photographed image, “a photographed image generated by the right virtual camera virtually photographing the blind spot range DH while passing through the vehicle body. (= Complementary image) ”is a mapping table used for conversion. In particular, in the lookup table for a relatively inclined road, a projection plane used for viewpoint conversion is set as a set projection plane. In other words, the relative inclined road lookup table uses the “set projection plane” to reflect the difference between the rear camera 3 placement position and placement angle and the right virtual camera placement position and placement angle in the vehicle coordinate system. It is a mapping table for changing the viewpoint of the rear camera 3 to the viewpoint of the right virtual camera. In the relative slope road lookup table, there is a one-to-one correspondence between the dot positions of all dots constituting the blind spot area DR of the virtual captured image of the right virtual camera and the corresponding dot positions of the rear camera captured image. It is associated.
以下、相対傾斜道路用ルックアップテーブルを生成する処理について詳述する。ここで、本実施形態に係るルックアップテーブル記憶部１５は、異なる複数の「垂直投影面」の距離に対応する複数の右側特定ルックアップテーブルを記憶している。右側特定ルックアップテーブルは、リアカメラ撮影画像を、「右側仮想カメラが、車体を透過した状態で死角範囲ＤＨを仮想的に撮影することによって生成される撮影画像（＝補完画像）」に変換するために用いられるマッピングテーブルであり、右側仮想カメラの仮想的な撮影画像の死角領域ＤＲを構成する全てのドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置とが一対一で対応付けられた対応関係情報を有する。 Hereinafter, the process for generating the lookup table for the relative slope road will be described in detail. Here, the lookup table storage unit 15 according to the present embodiment stores a plurality of right-side specific lookup tables corresponding to the distances of a plurality of different “vertical projection planes”. The right specific lookup table converts the rear camera photographed image into “a photographed image (= complementary image) generated by the right virtual camera virtually photographing the blind spot range DH while passing through the vehicle body”. Is a mapping table used for this purpose, and the dot positions of all the dots constituting the blind spot area DR of the virtual captured image of the right virtual camera and the dot positions of the corresponding dots of the rear camera captured image are one-to-one. It has correspondence information associated with each other.
特に、本実施形態では、右側特定ルックアップテーブルのそれぞれは、リアカメラ３の視点から右側仮想カメラの視点への視点変換に用いられる垂直投影面の距離が異なっている。図７は、垂直投影面を説明するため、自車両と後続車両とを横から見た様子を模式的に示す図である。図７に示すように、垂直投影面は、路面に対応する水平面に対して垂直に立ち上がった投影面のことを意味する。また、垂直投影面の距離は、リアカメラ３の光学原点から垂直投影面までの距離を意味する。 In particular, in the present embodiment, each of the right specific look-up tables has different vertical projection plane distances used for viewpoint conversion from the viewpoint of the rear camera 3 to the viewpoint of the right virtual camera. FIG. 7 is a diagram schematically illustrating a state in which the host vehicle and the following vehicle are viewed from the side in order to explain the vertical projection plane. As shown in FIG. 7, the vertical projection plane means a projection plane that rises perpendicular to the horizontal plane corresponding to the road surface. The distance of the vertical projection plane means the distance from the optical origin of the rear camera 3 to the vertical projection plane.
本実施形態では、視点変換に用いられる垂直投影面の距離が「０．５メートル」、「１メートル」、「２メートル」、「３メートル」、「４メートル」、「５メートル」、「７メートル」、「１０メートル」、「２０メートル」、「３０メートル」の右側特定ルックアップテーブルがルックアップテーブル記憶部１５に記憶されている。 In this embodiment, the distance of the vertical projection plane used for viewpoint conversion is “0.5 meters”, “1 meter”, “2 meters”, “3 meters”, “4 meters”, “5 meters”, “7”. The right specific lookup tables of “meter”, “10 meters”, “20 meters”, and “30 meters” are stored in the lookup table storage unit 15.
相対傾斜道路用ルックアップテーブルの生成に際し、画像処理部１２は、右側仮想カメラの仮想的な撮影画像の死角領域を構成するドットラインごとに以下の処理を行ってドットライン対応関係情報を生成する。ドットラインとは、左右方向に延びる１行分のドットのラインを意味する。図８（Ａ）は、右側仮想カメラの仮想的な撮影画像、および、当該画像における死角領域ＤＲを示す図である。以下、自車両と相対傾斜道路との関係が図６（Ａ）に示す状態であるものとして、死角領域ＤＲを構成するドットラインのうち、ある１つのドットラインＬ１（図８（Ａ）参照）について画像処理部１２が実行する処理を説明する。 When generating the lookup table for the relative slope road, the image processing unit 12 generates the dot line correspondence information by performing the following processing for each dot line constituting the blind spot area of the virtual captured image of the right virtual camera. . A dot line means a line of dots for one line extending in the left-right direction. FIG. 8A is a diagram showing a virtual photographed image of the right virtual camera and a blind spot area DR in the image. Hereinafter, assuming that the relationship between the host vehicle and the relatively inclined road is in the state shown in FIG. 6A, one dot line L1 among the dot lines constituting the blind spot region DR (see FIG. 8A). A process executed by the image processing unit 12 will be described.
まず、画像処理部１２は、設定投影面（第１投影面ＴＭ１＋第２投影面ＴＭ２＋第３投影面ＴＭ３）において、ドットラインＬ１に対応するポイントＸ１（図６（Ａ）参照）を特定する。次いで、画像処理部１２は、ポイントＸ１における投影面の距離（＝リアカメラ３の光学原点からポイントＸ１までの距離）を算出する。画像処理部１２は、自車両に対する相対傾斜道路の相対的な形状に基づいて、ポイントＸ１における投影面の距離を算出する。図６の例では、ポイントＸ１における投影面の距離は、「４．２５メートル」であるものとする。 First, the image processing unit 12 specifies a point X1 (see FIG. 6A) corresponding to the dot line L1 on the setting projection plane (first projection plane TM1 + second projection plane TM2 + third projection plane TM3). Next, the image processing unit 12 calculates the distance of the projection plane at the point X1 (= the distance from the optical origin of the rear camera 3 to the point X1). The image processing unit 12 calculates the distance of the projection plane at the point X1 based on the relative shape of the relative inclined road with respect to the host vehicle. In the example of FIG. 6, it is assumed that the distance of the projection plane at the point X1 is “4.25 meters”.
次いで、画像処理部１２は、ドットラインＬ１に含まれる全てのドットについて、各ドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置との対応関係が定義されたドットライン対応関係情報を生成する。 Next, the image processing unit 12 has a dot line correspondence relationship in which a correspondence relationship between the dot position of each dot and the dot position of each corresponding dot in the rear camera photographed image is defined for all dots included in the dot line L1. Generate information.
ドットラインＬ１についてのドットライン対応関係情報を算出する処理について詳述する。上述の通り、ドットラインＬ１に対応するポイントＸ１の投影面の距離は「４．２５メートル」である。この場合において、まず、画像処理部１２は、右側特定ルックアップテーブルのうち、垂直投影面の距離が、ポイントＸ１の投影面の距離よりも小さく、ポイントＸ１の投影面の距離に最も近い距離である右側特定ルックアップテーブルを特定する。本例では、ポイントＸ１の投影面の距離は「４．２５メートル」であるため、画像処理部１２は、垂直投影面の距離が「４メートル」の右側特定ルックアップテーブルを特定する。以下、ここで特定された右側特定ルックアップテーブルを「小側ルックアップテーブル」という。 The process for calculating the dot line correspondence information for the dot line L1 will be described in detail. As described above, the distance of the projection plane of the point X1 corresponding to the dot line L1 is “4.25 meters”. In this case, first, in the right specific lookup table, the image processing unit 12 has a distance of the vertical projection plane that is smaller than the distance of the projection plane of the point X1 and is the closest distance to the distance of the projection plane of the point X1. Identify a right specific lookup table. In this example, since the distance of the projection plane of the point X1 is “4.25 meters”, the image processing unit 12 specifies the right specific lookup table whose distance of the vertical projection plane is “4 meters”. Hereinafter, the right side specific lookup table identified here is referred to as a “small side lookup table”.
次いで、画像処理部１２は、右側特定ルックアップテーブルのうち、垂直投影面の距離が、ポイントＸ１の投影面の距離よりも大きく、ポイントＸ１の投影面の距離に最も近い距離である右側ルックアップテーブルを特定する。本例では、ポイントＸ１の投影面の距離は「４．２５メートル」であるため、画像処理部１２は、垂直投影面の距離が「５メートル」の右側特定ルックアップテーブルを特定する。以下、ここで特定された右側特定ルックアップテーブルを「大側ルックアップテーブル」という。 Next, the image processing unit 12 has a right-side lookup table in which the distance of the vertical projection plane is greater than the distance of the projection plane of the point X1 and is the closest distance to the distance of the projection plane of the point X1 in the right specific lookup table. Identify the table. In this example, since the distance of the projection plane of the point X1 is “4.25 meters”, the image processing unit 12 specifies the right specific lookup table whose distance of the vertical projection plane is “5 meters”. Hereinafter, the right-side specific lookup table identified here is referred to as a “large-side lookup table”.
更に、画像処理部１２は、小側ルックアップテーブルに係る垂直投影面の距離およびドットラインＬ１に対応するポイントＸ１の投影面の距離の差Ｓ１（絶対値）と、大側ルックアップテーブルに係る垂直投影面の距離およびドットラインＬ１に対応するポイントＸ１の投影面の距離の差Ｓ２（絶対値）との比を算出する。本例では、「差Ｓ１：差Ｓ２」＝「１：３」である。 Further, the image processing unit 12 relates to the difference S1 (absolute value) between the distance of the vertical projection plane according to the small side lookup table and the distance of the projection plane at the point X1 corresponding to the dot line L1, and the large side lookup table. A ratio between the distance of the vertical projection plane and the difference S2 (absolute value) of the distance of the projection plane at the point X1 corresponding to the dot line L1 is calculated. In this example, “difference S1: difference S2” = “1: 3”.
「差Ｓ１：差Ｓ２」を算出した後、画像処理部１２は、小側ルックアップテーブルのドットライン対応関係情報に対する反映度と、大側ルックアップテーブルのドットライン対応関係情報に対する反映度との比が、「差Ｓ２：差Ｓ１」となるように、各テーブルを加工してドットライン対応関係情報を生成する。ドットライン対応関係情報は、ドットラインＬ１に含まれる全てのドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置とが一対一で対応付けられた情報である。 After calculating “difference S1: difference S2”, the image processing unit 12 calculates the reflection degree for the dot-line correspondence information in the small-side lookup table and the reflection degree for the dot-line correspondence information in the large-side lookup table. Each table is processed to generate dot line correspondence information so that the ratio becomes “difference S2: difference S1”. The dot line correspondence information is information in which the dot positions of all the dots included in the dot line L1 and the dot positions of the corresponding dots of the rear camera photographed image are associated one-on-one.
ドットライン対応関係情報を生成する際に、ドットラインＬ１のある特定のドット（「特定ドットＤＸ」とする）について、リアカメラ撮影画像の対応するドット（「対応ドットＤＱ」とする）を特定する処理を、図８（Ａ）および図８（Ｂ）を用いて詳述する。図８（Ｂ）は、所定の座標系に展開したリアカメラ撮影画像の領域を模式的に示している。 When generating the dot line correspondence information, the dot (referred to as “corresponding dot DQ”) of the rear camera photographed image is specified for a specific dot (referred to as “specific dot DX”) in the dot line L1. The processing will be described in detail with reference to FIGS. 8A and 8B. FIG. 8B schematically shows a region of the rear camera photographed image developed in a predetermined coordinate system.
図８（Ｂ）において、符号ＤＹのドット（「小側ドットＤＹ」とする）は、小側ルックアップテーブルにおいて、特定ドットＤＸと対応付けられているドットである。また、図８（Ｂ）において、符号ＤＺのドット（「大側ドットＤＺ」とする）は、大側ルックアップテーブルにおいて、特定ドットＤＸと対応付けられているドットである。以上の状況の下、画像処理部１２は、リアカメラ撮影画像において、小側ドットＤＹと大側ドットＤＺを結ぶ線分において、以下の式ＳＫ１を満たすドットを対応ドットＤＱとする。
［式ＳＫ１］ 小側ドットＤＹからの距離：大側ドットＤＺからの距離＝差Ｓ１：差Ｓ２
このようにして特定される対応ドットＤＱは、「小側ルックアップテーブルの反映度：大側ルックアップテーブルの反映度」＝「差Ｓ２：差Ｓ１」となる。なお、ドットライン対応関係情報を生成する方法は、本実施形態で例示する方法に限られない。ドットラインに対応する投影面の位置が適切に反映されて生成されればよい。
In FIG. 8B, a dot with a code DY (referred to as “small side dot DY”) is a dot associated with a specific dot DX in the small side lookup table. In FIG. 8B, a dot with a code DZ (referred to as “large-side dot DZ”) is a dot associated with a specific dot DX in the large-side lookup table. Under the above situation, the image processing unit 12 sets a dot that satisfies the following expression SK1 as a corresponding dot DQ in a line segment connecting the small dot DY and the large dot DZ in the rear camera photographed image.
[Formula SK1] Distance from small dot DY: Distance from large dot DZ = difference S1: difference S2
The corresponding dot DQ identified in this way is “reflection of the small side lookup table: reflection of the large side lookup table” = “difference S2: difference S1”. Note that the method of generating the dot line correspondence information is not limited to the method exemplified in this embodiment. It is only necessary that the position of the projection plane corresponding to the dot line is appropriately reflected and generated.
画像処理部１２は、画像処理部１２は、右側仮想カメラの仮想的な撮影画像の死角領域ＤＲを構成するドットラインごとにドットライン対応関係情報を生成する。ドットラインごとにドットライン対応関係情報を生成した後、画像処理部１２は、全てのドットラインのドットライン対応関係情報に基づいて、相対傾斜道路用ルックアップテーブルを生成する。なお、相対傾斜道路用ルックアップテーブルを生成する方法は、本実施形態で例示する方法に限られない。相対傾斜道路用ルックアップテーブルは、設定投影面の態様が適切に反映されるように生成されればよい。 The image processing unit 12 generates dot line correspondence information for each dot line constituting the blind spot area DR of the virtual captured image of the right virtual camera. After generating dot line correspondence information for each dot line, the image processing unit 12 generates a relative slope road lookup table based on the dot line correspondence information of all dot lines. Note that the method for generating the relative inclined road lookup table is not limited to the method exemplified in this embodiment. The lookup table for the relative slope road may be generated so that the aspect of the set projection plane is appropriately reflected.
画像処理部１２は、相対傾斜道路用ルックアップテーブルを用いて、右側仮想カメラの仮想的な撮影画像の死角領域ＤＲを構成するドットの画素値が、リアカメラ撮影画像の対応するドットの画素値によって置き換えられた補完画像を生成する。補完画像の生成後、画像処理部１２は、右サイドカメラ撮影画像の死角領域ＤＲに、補完画像を合成し、右側合成画像を生成する。 The image processing unit 12 uses the relative slope road lookup table, and the pixel value of the dot constituting the blind spot region DR of the virtual captured image of the right virtual camera is the pixel value of the corresponding dot of the rear camera captured image. A complementary image replaced by is generated. After the generation of the complementary image, the image processing unit 12 combines the complementary image with the blind spot area DR of the right side camera photographed image to generate a right composite image.
図９（Ａ）は、自車両の後方に相対傾斜道路が存在する場合に、合成画像生成処理によって生成される右側合成画像を示している。なお、図９（Ａ）では、右サイドカメラ撮影画像と補完画像との境界（以下、単に「境界」という）に破線を引いているが、この破線は、実際には表示されない。図９（Ａ）は、図６（Ａ）の環境で生成された右サイドカメラ撮影画像およびリアカメラ撮影画像に基づいて生成される右側合成画像を示している。図９（Ａ）において、符号ＧＤは、相対傾斜道路の始端を表す画像であり、符号ＧＵは、相対傾斜道路の終端を表す画像である。図９（Ａ）に示すように、自車両の後方に相対傾斜道路が存在する場合も、存在しない場合と同様、右側合成画像では、死角領域ＤＲがリアカメラ撮影画像に基づく補完画像によって補われ、死角範囲ＤＨの風景が表示された状態となる。 FIG. 9A shows a right composite image generated by the composite image generation process when there is a relatively inclined road behind the host vehicle. In FIG. 9A, a broken line is drawn at the boundary (hereinafter simply referred to as “boundary”) between the image captured by the right side camera and the complementary image, but this broken line is not actually displayed. FIG. 9A shows a right composite image generated based on the right-side camera photographed image and the rear camera photographed image generated in the environment of FIG. In FIG. 9A, the symbol GD is an image representing the start of a relatively inclined road, and the symbol GU is an image representing the end of a relatively inclined road. As shown in FIG. 9A, when there is a relatively inclined road behind the host vehicle, the blind spot area DR is supplemented by a complementary image based on the rear camera photographed image in the right composite image, as in the case where there is no relative inclined road. The landscape of the blind spot range DH is displayed.
また、図９（Ａ）に示すように、右側合成画像では、境界において、相対傾斜道路の画像にズレが生じず、相対傾斜道路の画像の連続性が保たれた状態である。境界において相対傾斜道路の画像にズレが生じるとは、図９（Ｂ）に一例として示すように、境界の左右で、相対傾斜道路の終端を示す画像や、始端を示す画像等の相対傾斜道路の要素の画像に、ユーザーが違和感を覚える程度にズレが生じることを意味する。 Further, as shown in FIG. 9A, the right composite image is in a state in which the image of the relative slope road does not shift at the boundary and the continuity of the image of the relative slope road is maintained. As shown in FIG. 9B, for example, the image of the relatively inclined road at the boundary is shifted relative to the left and right of the boundary, such as an image indicating the end of the relatively inclined road or an image indicating the starting edge. This means that the image of the element is displaced to the extent that the user feels uncomfortable.
本実施形態で、合成画像の境界において、相対傾斜道路の画像にズレが生じず、相対傾斜道路の画像の連続性が保たれた状態となる理由は以下である。すなわち、本実施形態では、第２投影面ＴＭ２は、相対傾斜道路の始端から終端に至るまで相対傾斜道路に沿って延在する平面状の投影面であるため、始端および終端を含む相対傾斜道路の全域が、相対傾斜道路に沿った投影面上に位置する。つまり、相対傾斜道路に形成された要素（始端や、終端、相対傾斜道路に描画された道路標示等）は全て、相対傾斜道路に沿った投影面上に位置している。このため、「第２投影面ＴＭ２を含む設定投影面を用いた視点変換により生成された補完画像」が合成されて生成された合成画像において、相対傾斜道路の要素の画像の大きさおよび上下方向における位置は、補完画像と右サイドカメラ撮影画像とで基本的には一致し、相対傾斜道路に形成された要素の画像が境界を跨いでいる場合には、境界間でこれら画像のズレが生じない状態となる。 In the present embodiment, the reason why the relative slope road image is not shifted at the boundary of the composite image and the continuity of the relative slope road image is maintained is as follows. That is, in the present embodiment, the second projection plane TM2 is a planar projection plane that extends along the relative slope road from the start end to the end of the relative slope road, and thus the relative slope road including the start end and the end. Is located on the projection plane along the relatively inclined road. That is, all the elements formed on the relatively inclined road (starting edge, terminal, road marking drawn on the relatively inclined road, etc.) are all located on the projection plane along the relatively inclined road. For this reason, in the synthesized image generated by synthesizing the “complementary image generated by the viewpoint conversion using the setting projection plane including the second projection plane TM2,” the image size and the vertical direction of the element of the relative slope road The position at the position is basically the same between the supplementary image and the image taken by the right-side camera, and if the image of the element formed on the relatively inclined road straddles the boundary, these images will be misaligned between the boundaries. No state.
画像処理部１２は、以上の合成画像生成処理を所定の周期で行って合成画像（右側合成画像および左側合成画像）を生成する。画像処理部１２は、生成した合成画像を表示制御部１３に出力する。 The image processing unit 12 performs the above-described composite image generation process at a predetermined cycle to generate a composite image (a right composite image and a left composite image). The image processing unit 12 outputs the generated composite image to the display control unit 13.
表示制御部１３は、所定の周期で画像処理部１２から合成画像（右側合成画像および左側合成画像）を入力し、右側合成画像を右モニター２Ｒに表示し、左側合成画像を左モニター２Ｌに表示する。この結果、右モニター２Ｒには、リアカメラ３および右サイドカメラ４Ｒの撮影結果がリアルタイムに反映された動画として、車両の右サイドミラーＭＲを視認したときに確認できる風景と同等の風景が、右サイドミラーＭＲを視認したときには車体により遮蔽されて確認できない部分も含めて表示される。左モニター２Ｌについても同様である。 The display control unit 13 inputs the composite image (the right composite image and the left composite image) from the image processing unit 12 at a predetermined cycle, displays the right composite image on the right monitor 2R, and displays the left composite image on the left monitor 2L. To do. As a result, on the right monitor 2R, as a moving image in which the photographing results of the rear camera 3 and the right side camera 4R are reflected in real time, a landscape equivalent to a landscape that can be confirmed when viewing the right side mirror MR of the vehicle is displayed on the right monitor 2R. When the side mirror MR is visually recognized, it is displayed including a portion that is shielded by the vehicle body and cannot be confirmed. The same applies to the left monitor 2L.
次に、本実施形態に係る画像処理装置１の動作例についてフローチャートを用いて説明する。図１０のフローチャートは、画像処理部１２が、リアカメラ撮影画像および右サイドカメラ撮影画像に基づいて右側合成画像を生成するときの合成画像生成処理の詳細を示すフローチャートである。上述したように、画像処理装置１の画像処理部１２は、所定の周期で合成画像生成処理を実行する。 Next, an operation example of the image processing apparatus 1 according to the present embodiment will be described using a flowchart. The flowchart in FIG. 10 is a flowchart showing details of the composite image generation process when the image processing unit 12 generates the right composite image based on the rear camera captured image and the right side camera captured image. As described above, the image processing unit 12 of the image processing apparatus 1 executes the composite image generation process at a predetermined cycle.
図１０に示すように画像処理部１２は、相対傾斜道路態様検出部１１により自車両の後方に相対傾斜道路が存在しないと判定されたか、存在すると判定されたかを判定する（ステップＳＡ１）。相対傾斜道路態様検出部１１により自車両の後方に相対傾斜道路が存在しないと判定されている場合（ステップＳＡ１：「存在しない」）、画像処理部１２は、ルックアップテーブル記憶部１５に記憶された右側ルックアップテーブルを用いて、撮影画像取得部１０から入力したリアカメラ撮影画像を補完画像に変換する（ステップＳＡ２）。画像処理部１２は、ステップＳＡ２で生成した補完画像を右サイドカメラ撮影画像の死角領域ＤＲに合成し、右側合成画像を生成する（ステップＳＡ３）。ステップＳＡ３の処理後、画像処理部１２は合成画像生成処理を終了する。 As shown in FIG. 10, the image processing unit 12 determines whether the relative inclination road state detection unit 11 determines that there is no relative inclination road behind the host vehicle or not (step SA1). When it is determined by the relative slope road mode detection unit 11 that there is no relative slope road behind the host vehicle (step SA1: “does not exist”), the image processing unit 12 is stored in the lookup table storage unit 15. The rear camera captured image input from the captured image acquisition unit 10 is converted into a complementary image using the right lookup table (step SA2). The image processing unit 12 synthesizes the complementary image generated in step SA2 with the blind spot area DR of the right side camera photographed image to generate a right side composite image (step SA3). After the process of step SA3, the image processing unit 12 ends the composite image generation process.
一方、相対傾斜道路態様検出部１１により自車両の後方に相対傾斜道路が存在すると判定した場合（ステップＳＡ１：「存在する」）、画像処理部１２は、設定投影面を設定する（ステップＳＡ４）。次いで、画像処理部１２は、ステップＳＡ４で設定した設定投影面を用いて視点変換を行う相対傾斜道路用ルックアップテーブルを生成する（ステップＳＡ５）。次いで、画像処理部１２は、ステップＳＡ５で生成した相対傾斜道路用ルックアップテーブルを用いて補完画像を生成する（ステップＳＡ６）。次いで、画像処理部１２は、ステップＳＡ６で生成した補完画像を右サイドカメラ撮影画像の死角領域ＤＲに合成し、右側合成画像を生成する（ステップＳＡ７）。ステップＳＡ７の処理後、画像処理部１２は合成画像生成処理を終了する。 On the other hand, when the relative inclination road mode detection unit 11 determines that there is a relative inclination road behind the host vehicle (step SA1: “exists”), the image processing unit 12 sets a setting projection plane (step SA4). . Next, the image processing unit 12 generates a relative slope road lookup table for performing viewpoint conversion using the set projection plane set in step SA4 (step SA5). Next, the image processing unit 12 generates a complementary image using the relative slope road lookup table generated in step SA5 (step SA6). Next, the image processing unit 12 synthesizes the complementary image generated in Step SA6 with the blind spot area DR of the right side camera photographed image, and generates a right-side composite image (Step SA7). After the process of step SA7, the image processing unit 12 ends the composite image generation process.
以上、本発明の実施形態を説明したが、上記実施形態は、本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、または、その主要な特徴から逸脱することなく、様々な形で実施することができる。 Although the embodiments of the present invention have been described above, the above-described embodiments are merely examples of the implementation of the present invention, and the technical scope of the present invention is interpreted in a limited manner. It must not be. That is, the present invention can be implemented in various forms without departing from the gist or the main features thereof.
例えば、上記実施形態では、道路情報５ａを外部の記憶装置５が記憶する構成であるが、これを画像処理装置１（自機）自体が記憶する構成としてもよい。また、記憶装置５は、自車両に設けられた装置（例えば、ナビゲーション装置に含まれる装置）であってもよく、ネットワークを介して通信可能な車外の装置（例えば、サーバー装置）であってもよい。 For example, in the above embodiment, the external storage device 5 stores the road information 5a. However, the image processing device 1 (own device) itself may store the road information 5a. The storage device 5 may be a device provided in the host vehicle (for example, a device included in a navigation device), or may be a device outside the vehicle (for example, a server device) capable of communicating via a network. Good.
例えば、上記実施形態では、図６（Ａ）に示すように、第１投影面ＴＭ１は、位置Ｐ１から垂直下方に延在する投影面であり、第３投影面ＴＭ３は位置Ｐ２から垂直情報に延在する投影面であった。この点に関し、図６（Ｂ）に示すように、第１投影面ＴＭ１を自車両が走行する路面に沿って延在する投影面とし、また、第３投影面ＴＭ３を位置Ｐ２よりも後方（例えば、無限遠に相当する位置）に位置する投影面としてもよい。 For example, in the above embodiment, as shown in FIG. 6A, the first projection plane TM1 is a projection plane extending vertically downward from the position P1, and the third projection plane TM3 is changed from the position P2 to the vertical information. It was an extended projection surface. In this regard, as shown in FIG. 6B, the first projection plane TM1 is a projection plane extending along the road surface on which the host vehicle travels, and the third projection plane TM3 is located behind the position P2 ( For example, it may be a projection plane located at a position corresponding to infinity).
また、上記実施形態では、第２投影面ＴＭ２は、位置Ｐ１から傾斜角度αで傾斜する平らな面という単純な形状であったが、第２投影面ＴＭ２の形状は上記実施形態で例示した形状に限らない。第２投影面ＴＭ２の形状が車両の進行方向に対して傾いたり、部分的に傾斜角度が異なるような複雑な形状の場合、例えば、第２投影面ＴＭ２を、所定の３次元座標系のポリゴンデータ（第２投影面を３次元座標権のドットの集合として表すデータ）とすることにより、第２投影面ＴＭ２の形状を適切に定義することが可能である。 Further, in the above embodiment, the second projection surface TM2 has a simple shape of a flat surface inclined at the inclination angle α from the position P1, but the shape of the second projection surface TM2 is the shape exemplified in the above embodiment. Not limited to. In the case where the shape of the second projection surface TM2 is inclined with respect to the traveling direction of the vehicle or is a complicated shape having a partially different inclination angle, for example, the second projection surface TM2 is a polygon of a predetermined three-dimensional coordinate system. By using data (data representing the second projection plane as a set of three-dimensional coordinate right dots), the shape of the second projection plane TM2 can be appropriately defined.
また、上記実施形態では、リアカメラ３が魚眼カメラにより構成され、サイドカメラ４Ｒ，ＲＬが標準カメラにより構成されていたが、リアカメラ３やサイドカメラ４Ｒ，４Ｌをどのようなカメラにより構成するかは、実施形態の例に限定されない。 Moreover, in the said embodiment, although the rear camera 3 was comprised by the fish-eye camera and the side cameras 4R and RL were comprised by the standard camera, what constitutes the rear camera 3 and the side cameras 4R and 4L by what kind of camera. This is not limited to the example of the embodiment.
また、上記実施形態では、合成画像を表示する表示装置は、右モニター２Ｒおよび左モニター２Ｌであった。しかしながら、合成画像を表示する表示装置は、右モニター２Ｒおよび左モニター２Ｌに限らず、自車両のダッシュボードの中央やセンターコンソール等に設けられた表示パネルや、右サイドミラーＭＲおよび左サイドミラーＭＬに設けられた表示パネル、バックミラーに設けられた表示パネル等であってもよい。自車両のダッシュボードの中央やセンターコンソール等に設けられた表示パネルへの表示に際しては、ユーザーの指示に応じて、右側合成画像と左側合成画像との何れか一方を表示する構成でもよく、表示領域を分割し各画像を同時に表示する構成でもよい。表示装置は、携帯端末であってもよい。 In the above embodiment, the display devices that display the composite image are the right monitor 2R and the left monitor 2L. However, the display device that displays the composite image is not limited to the right monitor 2R and the left monitor 2L, but includes a display panel provided in the center of the dashboard of the host vehicle, the center console, and the like, the right side mirror MR, and the left side mirror ML. It may be a display panel provided on the display panel, a display panel provided on the rearview mirror, or the like. When displaying on the display panel provided in the center of the dashboard of the host vehicle or the center console, either the right composite image or the left composite image may be displayed according to the user's instruction. A configuration may be used in which the image is divided and the images are displayed simultaneously. The display device may be a mobile terminal.
また、サイドカメラ４Ｒ，４Ｌの自車両における設置位置は、上記実施形態で例示した位置に限られない。例えば、サイドカメラ４Ｒ，４Ｌは、車両の側面であって、車両の前端に近い位置に設けられてもよい。 Moreover, the installation position in the own vehicle of the side cameras 4R and 4L is not restricted to the position illustrated in the above embodiment. For example, the side cameras 4R and 4L may be provided on the side surface of the vehicle and near the front end of the vehicle.
１ 画像処理装置
２Ｒ 右モニター（表示装置）
２Ｌ 左モニター（表示装置）
３ リアカメラ
４Ｒ 右サイドカメラ（サイドカメラ）
４Ｌ 左サイドカメラ（サイドカメラ）
１０ 撮影画像取得部
１１ 相対傾斜道路態様検出部
１２ 画像処理部
１３ 表示制御部
1 Image processing device 2R Right monitor (display device)
2L left monitor (display device)
3 Rear camera 4R Right side camera (side camera)
4L left side camera (side camera)
DESCRIPTION OF SYMBOLS 10 Photographed image acquisition part 11 Relative inclination road mode detection part 12 Image processing part 13 Display control part
Claims (6)
前記撮影画像取得部により取得された前記リアカメラ撮影画像を画像変換することによって、前記撮影画像取得部により取得された前記サイドカメラ撮影画像における前記死角範囲に対応する死角領域を補完する補完画像を生成し、前記サイドカメラ撮影画像の前記死角領域に前記補完画像を合成して合成画像を生成する画像処理部と、
前記画像処理部により生成された前記合成画像を表示装置に表示する表示制御部と、
前記車両の後方に位置し、前記車両が走行中の路面を水平面としたときに、その水平面に対して傾斜する相対傾斜道路の態様を検出する相対傾斜道路態様検出部とを備え、
前記画像処理部は、
前記相対傾斜道路態様検出部により検出された前記相対傾斜道路の態様に基づいて、前記相対傾斜道路に沿った投影面を用いて前記リアカメラ撮影画像を画像変換し、前記補完画像を生成する
ことを特徴とする画像処理装置。 A side camera photographed image of a side camera that is provided on a side surface of the vehicle and shoots in a state in which a part of the vehicle body of the vehicle is included in the photographing range; A captured image acquisition unit that acquires a rear camera captured image of a rear camera that captures the rear of the vehicle in a state in which a blind spot range that is a blind spot by the vehicle body is included in the captured range;
A complementary image that complements the blind spot area corresponding to the blind spot range in the side camera shot image acquired by the captured image acquisition section by converting the rear camera shot image acquired by the captured image acquisition section. An image processing unit for generating and generating a composite image by combining the complementary image with the blind spot area of the side camera image;
A display control unit for displaying the composite image generated by the image processing unit on a display device;
A relative inclination road state detection unit that detects an aspect of a relative inclination road that is inclined with respect to the horizontal plane when the road surface on which the vehicle is running is a horizontal plane, located behind the vehicle;
The image processing unit
Based on the aspect of the relative slope road detected by the relative slope road aspect detection unit, the rear camera photographed image is converted using the projection plane along the relative slope road to generate the complementary image. An image processing apparatus.
前記相対傾斜道路態様検出部により検出された前記相対傾斜道路の態様に基づいて、前記車両の後方の所定位置から所定角度で傾く平面な投影面を用いて前記リアカメラ撮影画像を画像変換し、前記補完画像を生成する
ことを特徴とする請求項１に記載の画像処理装置。 The image processing unit
Based on the aspect of the relative inclination road detected by the relative inclination road aspect detection unit, the rear camera photographed image is image-converted using a flat projection surface inclined at a predetermined angle from a predetermined position behind the vehicle, The image processing apparatus according to claim 1, wherein the complementary image is generated.
前記相対傾斜道路態様検出部により検出された前記相対傾斜道路の態様に基づいて、前記相対傾斜道路に沿った投影面を用いた画像変換を行うためのルックアップテーブルを生成し、生成した前記ルックアップテーブルを用いて前記リアカメラ撮影画像を画像変換し、前記補完画像を生成する
ことを特徴とする請求項１または２に記載の画像処理装置。 The image processing unit
Based on the aspect of the relative inclined road detected by the relative inclined road aspect detection unit, a lookup table for performing image conversion using a projection plane along the relative inclined road is generated, and the generated look The image processing apparatus according to claim 1, wherein the rear camera photographed image is converted using an up table to generate the complementary image.
自機または外部装置が記憶する道路情報５ａに基づいて、前記相対傾斜道路の態様を検出する
ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。 The relative inclined road aspect detection unit
The image processing apparatus according to any one of claims 1 to 3, wherein an aspect of the relative inclined road is detected based on road information 5a stored in the own apparatus or an external apparatus.
前記車両の走行軌跡に基づいて、前記相対傾斜道路の態様を検出する
ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。 The relative inclined road aspect detection unit
The image processing apparatus according to claim 1, wherein an aspect of the relative inclined road is detected based on a travel locus of the vehicle.
前記画像処理装置の画像処理部が、前記撮影画像取得部により取得された前記リアカメラ撮影画像を画像変換することによって、前記撮影画像取得部により取得された前記サイドカメラ撮影画像における前記死角範囲に対応する死角領域を補完する補完画像を生成し、前記サイドカメラ撮影画像の前記死角領域に前記補完画像を合成して合成画像を生成する第２のステップと、
前記画像処理装置の表示制御部が、前記画像処理部により生成された前記合成画像を表示装置に表示する第３のステップとを含み、
前記第２のステップにおいて、前記画像処理部は、前記車両の後方に位置し、前記車両が走行中の路面を水平面としたときに、その水平面に対して傾斜する相対傾斜道路の態様を検出する相対傾斜道路態様検出部により検出された前記相対傾斜道路の態様に基づいて、前記相対傾斜道路に沿った投影面を用いて前記リアカメラ撮影画像を画像変換し、前記補完画像を生成する
ことを特徴とする画像処理方法。 A captured image acquisition unit of the image processing device is provided on a side surface portion of the vehicle, and a side camera captured image of a side camera that captures an image in a state where a part of the vehicle body of the vehicle is included in the imaging range, A first step of obtaining a rear camera photographed image of a rear camera for photographing the rear of the vehicle in a state in which a blind spot range that is a blind spot by the vehicle body is included in the photographing range of the photographing range of the side camera; ,
The image processing unit of the image processing device performs image conversion on the rear camera captured image acquired by the captured image acquisition unit, thereby causing the blind spot range in the side camera captured image acquired by the captured image acquisition unit to be within the blind spot range. A second step of generating a complementary image that complements a corresponding blind spot area, and generating a composite image by combining the complementary image with the blind spot area of the side camera image;
A display control unit of the image processing device includes a third step of displaying the composite image generated by the image processing unit on a display device;
In the second step, the image processing unit detects an aspect of a relatively inclined road that is located behind the vehicle and is inclined with respect to the horizontal plane when the road surface on which the vehicle is traveling is a horizontal plane. Based on the aspect of the relative inclination road detected by the relative inclination road aspect detection unit, the rear camera photographed image is converted using the projection plane along the relative inclination road, and the complementary image is generated. A featured image processing method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018101250A JP6999239B2 (en) | 2018-05-28 | 2018-05-28 | Image processing device and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018101250A JP6999239B2 (en) | 2018-05-28 | 2018-05-28 | Image processing device and image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019207453A true JP2019207453A (en) | 2019-12-05 |
| JP6999239B2 JP6999239B2 (en) | 2022-02-04 |
Family
ID=68767815
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018101250A Active JP6999239B2 (en) | 2018-05-28 | 2018-05-28 | Image processing device and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6999239B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111091595A (en) * | 2019-12-23 | 2020-05-01 | 吉林省广播电视研究所(吉林省广播电视局科技信息中心) | Strabismus three-dimensional mapping method and mapping system |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005333565A (en) * | 2004-05-21 | 2005-12-02 | Auto Network Gijutsu Kenkyusho:Kk | Monitoring equipment |
| JP2008033781A (en) * | 2006-07-31 | 2008-02-14 | Toyota Motor Corp | Road surface gradient detection device and image display device |
| JP2010245821A (en) * | 2009-04-06 | 2010-10-28 | Denso Corp | Image display for vehicle |
| JP2016175586A (en) * | 2015-03-20 | 2016-10-06 | 株式会社デンソーアイティーラボラトリ | Vehicle periphery monitoring device, vehicle periphery monitoring method, and program |
| JP2018117320A (en) * | 2017-01-20 | 2018-07-26 | 株式会社東芝 | Video synthesizer and video synthesis method for electron mirror |
-
2018
- 2018-05-28 JP JP2018101250A patent/JP6999239B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005333565A (en) * | 2004-05-21 | 2005-12-02 | Auto Network Gijutsu Kenkyusho:Kk | Monitoring equipment |
| JP2008033781A (en) * | 2006-07-31 | 2008-02-14 | Toyota Motor Corp | Road surface gradient detection device and image display device |
| JP2010245821A (en) * | 2009-04-06 | 2010-10-28 | Denso Corp | Image display for vehicle |
| JP2016175586A (en) * | 2015-03-20 | 2016-10-06 | 株式会社デンソーアイティーラボラトリ | Vehicle periphery monitoring device, vehicle periphery monitoring method, and program |
| JP2018117320A (en) * | 2017-01-20 | 2018-07-26 | 株式会社東芝 | Video synthesizer and video synthesis method for electron mirror |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111091595A (en) * | 2019-12-23 | 2020-05-01 | 吉林省广播电视研究所(吉林省广播电视局科技信息中心) | Strabismus three-dimensional mapping method and mapping system |
| CN111091595B (en) * | 2019-12-23 | 2023-06-02 | 吉林省广播电视研究所(吉林省广播电视局科技信息中心) | Strabismus three-dimensional mapping method and system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6999239B2 (en) | 2022-02-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3565739B1 (en) | Rear-stitched view panorama for rear-view visualization | |
| JP5491235B2 (en) | Camera calibration device | |
| US8395490B2 (en) | Blind spot display apparatus | |
| JP4861574B2 (en) | Driving assistance device | |
| CN106464847B (en) | Image compounding system and image synthesizing device and image synthesis method for it | |
| US8947533B2 (en) | Parameter determining device, parameter determining system, parameter determining method, and recording medium | |
| JP6392693B2 (en) | Vehicle periphery monitoring device, vehicle periphery monitoring method, and program | |
| JP5299296B2 (en) | Vehicle periphery image display device and vehicle periphery image display method | |
| JP5844454B2 (en) | Camera calibration method, camera calibration program, and camera calibration apparatus | |
| JP4796676B2 (en) | Vehicle upper viewpoint image display device | |
| JP2017091284A (en) | Image processing device for vehicle and image processing system for vehicle | |
| JP2007274377A (en) | Periphery monitoring apparatus, and program | |
| US11562576B2 (en) | Dynamic adjustment of augmented reality image | |
| US11394938B2 (en) | Projection apparatus, system and projection method | |
| US11393066B2 (en) | Display system, electronic apparatus, mobile body, and display method | |
| WO2018134897A1 (en) | Position and posture detection device, ar display device, position and posture detection method, and ar display method | |
| JP5083443B2 (en) | Driving support device and method, and arithmetic device | |
| JP6186905B2 (en) | In-vehicle display device and program | |
| JP3956817B2 (en) | Displacement data extraction method and object detection apparatus | |
| JP6999239B2 (en) | Image processing device and image processing method | |
| JP2013062657A (en) | Image display system, image display device, image display method, and image display program | |
| JP7029350B2 (en) | Image processing device and image processing method | |
| JP2019204393A (en) | Image processing device and image processing method | |
| JP2013152546A (en) | Driving support device, driving support method, and program | |
| KR20170099252A (en) | Display system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210108 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211208 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211221 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211221 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6999239 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |