JP2018069806A - Display control device - Google Patents
Display control device Download PDFInfo
- Publication number
- JP2018069806A JP2018069806A JP2016209009A JP2016209009A JP2018069806A JP 2018069806 A JP2018069806 A JP 2018069806A JP 2016209009 A JP2016209009 A JP 2016209009A JP 2016209009 A JP2016209009 A JP 2016209009A JP 2018069806 A JP2018069806 A JP 2018069806A
- Authority
- JP
- Japan
- Prior art keywords
- blind spot
- vehicle
- pillar
- area
- monitor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
Description
本発明の実施形態は、表示制御装置に関する。 Embodiments described herein relate generally to a display control apparatus.
従来、車両の周囲の状況についてユーザが確認しようとする場合、例えば、右折や左折の場合、または車線変更をする場合等、車両の構造上、通常の運転姿勢では目視確認することが難しい領域、いわゆる「死角」が存在する。この問題に対して、例えば、自動二輪車(オートバイ)の場合、バックミラーから得られる情報に加えて、後方領域を撮像する撮像装置による画面を表示装置に表示することにより、バックミラーの死角となる後方の死角領域の状況をユーザに認識させやすくする後方視認装置が提案されている。 Conventionally, when the user wants to check the situation around the vehicle, for example, when turning right or left, or when changing lanes, an area that is difficult to visually check in a normal driving posture, such as when changing lanes, There is a so-called “blind spot”. In response to this problem, for example, in the case of a motorcycle (motorcycle), in addition to information obtained from the rearview mirror, a blind spot of the rearview mirror is obtained by displaying on the display device a screen by an imaging device that images the rear region. A backward visual recognition device that makes it easy for the user to recognize the state of the blind spot area behind has been proposed.
「死角」の問題は自動二輪車以外の車両、例えば四輪車両にも同様に存在する。特に四輪車両の場合、ウインドウガラスや屋根部材をボディに支持する柱部(いわゆる、「ピラー」)が、運転席の周囲に多数存在する。例えば、四枚のドアを備える車両の場合、フロントピラー(Aピラー)、センターピラー(Bピラー)、リヤピラー(Cピラー)等がそれぞれ一対ずつ存在する。また、近年は、ボディ剛性の向上のために各ピラーを太くする傾向があったり、デザイン性の向上からボディ形状が複雑になったりする結果、「死角領域」の増加が問題になっている。また、例えば四輪車両の場合、自動二輪車に比べて死角領域が多い傾向にあるので、自動二輪車の撮像画像を用いた死角領域の表示技術をそのまま適用することは困難であり、改良の余地がある。 The “blind spot” problem also exists in vehicles other than motorcycles, such as four-wheel vehicles. In particular, in the case of a four-wheel vehicle, a large number of pillar portions (so-called “pillars”) that support window glass and a roof member on the body exist around the driver's seat. For example, in the case of a vehicle having four doors, there are a pair of front pillars (A pillars), center pillars (B pillars), rear pillars (C pillars), and the like. In recent years, there has been a tendency to increase the thickness of each pillar in order to improve the body rigidity, or the shape of the body has become complicated due to the improvement in design, resulting in an increase in “blind spot area”. In addition, for example, in the case of a four-wheeled vehicle, since there is a tendency that there are more blind spots compared to a motorcycle, it is difficult to apply the blind spot display technique using a captured image of a motorcycle as it is, and there is room for improvement. is there.
そこで、本発明の課題の一つは、撮像画像を用いて車両の死角領域の表示を実現する場合に、ユーザに死角領域の内容をより認識しやすくすることができる表示制御装置を提供することである。 Accordingly, one of the problems of the present invention is to provide a display control device that makes it easier for the user to recognize the contents of the blind spot area when the captured image is used to display the blind spot area of the vehicle. It is.
本発明の実施形態にかかる表示制御装置は、例えば、運転席に着座したときに車両のウインドウガラスを支持する柱部によって死角となる死角領域を含む車外領域を撮像する撮像部からの撮像画像データを取得する取得部と、上記撮像画像データに基づく画像から上記死角領域を含む死角可視画像を切り出す画像処理部と、上記死角可視画像により上記死角領域を補えるような上記柱部の位置に配置された表示装置に上記死角可視画像を表示させる制御部と、を備える。この構成によれば、死角領域を補えるような柱部の位置に配置された表示装置に死角可視画像を表示させるので、例えば、あたかも柱部が存在しない、または柱部を透過したかのように車外領域の表示ができる。その結果、ユーザは、運転姿勢を変えることなく、普段の運転時の視線の移動により死角領域に対応する車外領域の情報を得ることができる。 The display control apparatus according to the embodiment of the present invention is, for example, imaged image data from an imaging unit that images a vehicle outside area including a blind spot area that becomes a blind spot by a pillar part that supports a window glass of a vehicle when seated in a driver's seat. An image processing unit that cuts out a blind spot visible image including the blind spot area from an image based on the captured image data, and a position of the column part that supplements the blind spot area with the blind spot visible image. A control unit that displays the blind spot visible image on the display device. According to this configuration, since the blind spot visible image is displayed on the display device arranged at the position of the pillar part that can compensate for the blind spot area, for example, as if the pillar part does not exist or has passed through the pillar part. The area outside the vehicle can be displayed. As a result, the user can obtain information on the outside area corresponding to the blind spot area by moving the line of sight during normal driving without changing the driving posture.
本発明の実施形態にかかる表示制御装置の上記取得部は、例えば、上記運転席の位置より前方のフロントウインドウガラスを支持するフロント柱部によって死角となる死角領域を含む車外領域を撮像する第1撮像部からの第1撮像画像データを取得し、上記制御部は、上記フロント柱部の基部に配置された上記表示装置に上記死角可視画像を表示させてもよい。この構成によれば、例えば、運転時に行うサイドミラーを用いた後方の確認動作時に、フロント柱部によって死角となっていた領域の確認を併せて行わせることができる。その結果、車両の周囲状況をより迅速にユーザに把握させやすくなる。 For example, the acquisition unit of the display control apparatus according to the embodiment of the present invention images a vehicle outside area including a blind spot area that becomes a blind spot by a front column part that supports a front windshield in front of the position of the driver seat. The first captured image data from the imaging unit may be acquired, and the control unit may display the blind spot visible image on the display device arranged at the base of the front pillar. According to this configuration, for example, at the time of the backward confirmation operation using the side mirror performed during driving, it is possible to confirm the area that has become a blind spot by the front pillar portion. As a result, it becomes easier for the user to grasp the situation around the vehicle more quickly.
本発明の実施形態にかかる表示制御装置の上記画像処理部は、例えば、上記車両の速度に応じて上記撮像画像データから切り出す上記死角可視画像の切出し範囲を変化させるようにしてもよい。車両の速度によってユーザの視線の向きが異なる。例えば、低速の場合、運転席から近い位置に視線を向ける傾向がある。一方、速度が速くなると、より遠くに視線を向ける傾向がある。この構成によれば、例えば、運転状況に応じた適切な死角領域に対応する死角可視画像を提供することができる。 For example, the image processing unit of the display control apparatus according to the embodiment of the present invention may change the cutout range of the blind spot visible image cut out from the captured image data according to the speed of the vehicle. The direction of the user's line of sight varies depending on the speed of the vehicle. For example, in the case of a low speed, the line of sight tends to be directed closer to the driver's seat. On the other hand, as the speed increases, there is a tendency to look closer. According to this configuration, for example, it is possible to provide a blind spot visible image corresponding to an appropriate blind spot area corresponding to the driving situation.
本発明の実施形態にかかる表示制御装置の上記取得部は、例えば、さらに、上記運転席の位置より後方の車外後方領域を撮像する第2撮像部が撮像する第2撮像画像データを取得し、上記制御部は、上記車両の前進可能時には上記第1撮像画像データに基づく画像を上記表示装置に表示し、上記車両の後退可能時には上記第2撮像画像データに基づく画像を上記表示装置に表示するようにしてもよい。この構成によれば、例えば、前進可能な状態の場合には、主として注意を必要とする運転席より前方に存在する死角領域に対応する死角可視画像が表示装置に表示される。一方、後退可能な状態の場合には、主として注意を必要とする運転席より後方領域を示す画像が表示装置に表示される。このとき、例えば柱部の基部近傍に配置されることがあるサイドミラーに映る領域とともに表示装置に表示される第2撮像画像を併せて、ほぼ視線を移動させることなく認識させることができる。その結果、より広い後方領域をユーザに認識させることができる。 The acquisition unit of the display control device according to the embodiment of the present invention further acquires, for example, second captured image data captured by a second imaging unit that captures a rear exterior area behind the driver seat position, The control unit displays an image based on the first captured image data on the display device when the vehicle can move forward, and displays an image based on the second captured image data on the display device when the vehicle can move backward. You may do it. According to this configuration, for example, in a state in which the vehicle can move forward, a blind spot visible image corresponding to a blind spot area existing ahead of the driver's seat that requires attention is displayed on the display device. On the other hand, when the vehicle is in a reversible state, an image showing a region behind the driver's seat that requires attention is displayed on the display device. At this time, for example, the second captured image displayed on the display device together with the area reflected on the side mirror that may be arranged near the base of the pillar part can be recognized without substantially moving the line of sight. As a result, the user can recognize a wider rear region.
本発明の実施形態にかかる表示制御装置の上記画像処理部は、例えば、上記撮像画像データから上記死角領域の中の所定物体を検出し、上記制御部は、上記車両が上記死角領域の方向に移動する場合、上記所定物体の存在を示す案内を出力するようにしてもよい。この構成によれば、車両を死角領域が存在する方向に向かわせる場合、その死角領域に存在する所定物体、例えば、歩行者等を検出して、その存在を案内、例えば報知することができる。その結果、例えば、より確実に死角領域の状況をユーザに判断させやすくなる。 The image processing unit of the display control device according to the embodiment of the present invention detects, for example, a predetermined object in the blind spot area from the captured image data, and the control unit causes the vehicle to move in the direction of the blind spot area. When moving, guidance indicating the presence of the predetermined object may be output. According to this configuration, when the vehicle is directed in the direction in which the blind spot area exists, a predetermined object existing in the blind spot area, for example, a pedestrian or the like, can be detected and the presence thereof can be guided, for example, notified. As a result, for example, it becomes easier for the user to determine the state of the blind spot area more reliably.
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。 Hereinafter, exemplary embodiments of the present invention are disclosed. The configuration of the embodiment shown below and the operations, results, and effects brought about by the configuration are examples. The present invention can be realized by configurations other than those disclosed in the following embodiments, and at least one of various effects based on the basic configuration and derivative effects can be obtained. .
図1は、実施形態にかかる表示制御装置を搭載する車両10の車室12の一部が透視された状態の一例が示された斜視図である。本実施形態において、表示制御装置(表示制御システム)を搭載する車両10は、例えば、不図示の内燃機関を駆動源とする四輪の自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよい。また、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。
FIG. 1 is a perspective view illustrating an example of a state in which a part of a
図1に例示されるように、車両10は、不図示の乗員(運転者、同乗者)が乗車する車室12を構成している。車室12内には、乗員としての運転者(ユーザ)の座席14a(運転席)、同乗者の座席14b(助手席)、不図示の後部座席等の複数の座席14が設けられている。また、座席14aに臨む状態で、ステアリングホイール16や、ダッシュボード18等が設けられている。なお、本実施形態では、ステアリングホイール16が車両10の右側に配置された右ハンドル車を一例として示している。ダッシュボード18のほぼ中央部には、各種情報を運転者(ユーザ)や同乗者に提供する情報提供部としてモニタ装置20が設けられている。モニタ装置20は、例えば、LCD(liquid crystal display)や、OELD(organic electroluminescent display)等で構成される表示装置22を備える。また、モニタ装置20は、音声出力装置(例えば、スピーカ23;図7参照)を備える。表示装置22は、例えば、タッチパネル等、透明な操作入力部で覆われている。乗員(運転者や同乗者)は、操作入力部を介して表示装置22の表示画面に表示される画像を視認することができる。また、乗員は、表示装置22の表示画面に表示される画像に対応した位置で手指等により操作入力部を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。モニタ装置20は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置20とは異なる車室12内の他の位置に不図示の音声出力装置を設けることができるし、モニタ装置20の音声出力装置と他の音声出力装置から、音声を出力することができる。なお、モニタ装置20は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。
As illustrated in FIG. 1, the
本実施形態の車両10は、ピラー24によって、ウインドウガラス(フロントウインドウガラス、リヤウインドウガラス等)を支持するとともにボディに固定している。また、ピラー24は車両10のボディを構成するフレームの一部であり、屋根部材を支持するとともに、ボディ剛性を向上させている。図1の車両10は、一例として四枚のドアを備える構造が示され、ピラー24は、主としてフロントウインドウガラスや屋根部材の前部を支持する右フロントピラー24aR、左フロントピラー24aL、主として屋根部材の中央部を支持するとともに、前後のドアの間に設けられる右センターピラー24bR、左センターピラー(図示省略)、主としてリヤウインドウガラスや屋根部材の後部を支持する右リヤピラー24cR、左リヤピラー(図示省略)を備える。
The
図2は、車両10において、ステアリングホイール16に対峙する座席14a(運転席)にユーザ26(運転者)が着座したした場合に、主に右フロントピラー24aR、左フロントピラー24aL、右リヤピラー24cR、左リヤピラー24cLによって死角になる領域を説明する図である。なお、図2の場合、右センターピラー24bRおよび左センターピラーは図示を省略している。例えば、右フロントピラー24aRによって右前方死角領域DFRが形成される。同様に、左フロントピラー24aLによって左前方死角領域DFLが形成される。また、左リヤピラー24cLによって左後方死角領域DRLが形成され、右リヤピラー24cRによって右後方死角領域DRRが形成される。なお、左後方死角領域DRLおよび右後方死角領域DRRは、ユーザ26が座席14aに着座した運転姿勢で、ルームミラー29を介して見る後方視界中で右リヤピラー24cR、左リヤピラー24cLによって形成される死角領域である。また、図2の車両10の場合、右フロントピラー24aRの基部の近傍に右サイドミラー28Rが形成され、左フロントピラー24aLの基部の近傍に左サイドミラー28Lが形成されている。右サイドミラー28R、左サイドミラー28Lは一般的には、車両10の後方の遠方の領域を映すように調整されている。そのため、車両10の側方の路面は、右サイドミラー28R、左サイドミラー28Lの視野範囲に入っていない場合が多い。そこで、図2に示す例の場合、右サイドミラー28Rの表示範囲外、すなわち車両10の右側方の路面の領域を右側方死角領域DSRで示し、左サイドミラー28Lの表示範囲外、すなわち車両10の左側方の路面の領域を左側方死角領域DSLで示している。
FIG. 2 mainly shows that when a user 26 (driver) sits on a
図3は、ステアリングホイール16に対峙する運転席にユーザ26(運転者;不図示)が着座した場合に、右フロントピラー24aRによって生じる死角による見え方の具体的な例を説明する図である。図3の例の場合、一例として車両10の周囲に歩行者32a〜32dが存在する。フロントウインドウガラスFW越しには、歩行者32a、歩行者32bが見える。また、右サイドウインドウSRW越しには、歩行者32dが見える。一方、右フロントピラー24aRで死角となる領域に存在する歩行者32cは、運転席に着座するユーザ26からは見えない。なお、右フロントピラー24aR、左フロントピラー24aLには、死角を低減するための例えば矩形の覗き窓30が形成されている場合があるが、覗き窓30によって、視認できる領域は限られた領域で、図3に示すような位置に存在する歩行者32cを認識することは困難な場合が多い。
FIG. 3 is a diagram for explaining a specific example of how the blind spots generated by the right front pillar 24aR appear when the user 26 (driver; not shown) is seated in the driver's seat facing the
本実施形態の表示制御装置は、上述した右前方死角領域DFR、左前方死角領域DFL、左後方死角領域DRL、右後方死角領域DRRおよび左側方死角領域DSL、右側方死角領域DSRによる視認性の低下を解消するために、図4に示すように、複数の撮像装置34a〜34dと複数の表示装置(右フロントピラーモニタ36a〜右リヤピラーモニタ36d)を利用している。撮像装置34a〜34dは、例えば、CCD(charge coupled device)やCIS(CMOS image sensor)等の撮像素子を内蔵するデジタルカメラである。撮像装置34a〜34dは、所定のフレームレートで動画データ(撮像画像データ)を出力することができる。撮像装置34a〜34dは、それぞれ、例えば歪みの少ない標準レンズを有し、水平方向に例えば90°の範囲を撮像することができる。表示装置36としての右フロントピラーモニタ36a〜右リヤピラーモニタ36dは、例えば、LCD(liquid crystal display)や、OELD(organic electroluminescent display)等である。右フロントピラーモニタ36a〜右リヤピラーモニタ36dをLCDで構成する場合は、矩形や円形等を採用し得る。また、OELDで構成する場合には、ピラー24の形状に倣わせてピラー24の表面が表示装置を構成するようにすることが可能で、表示装置の存在をユーザ26に意識させることなく、撮像装置34a〜34dで撮像した撮像画像データに基づく画像(死角可視画像)を表示することができる。なお、右フロントピラーモニタ36a〜右リヤピラーモニタ36dは全て同じ種類(LCDまたはOELD)にする必要は無く、適宜組み合わせてもよい。例えば、右フロントピラーモニタ36a、左フロントピラーモニタ36bをOECDとし、左リヤピラーモニタ36c、右リヤピラーモニタ36dをLCDとしてもよい。OELDを用いた具体的な例を図5に示すが、詳細は後述する。
The display control apparatus according to the present embodiment has the visibility by the right front blind spot area DFR, left front blind spot area DFL, left rear blind spot area DRL, right rear blind spot area DRR, left side blind spot area DSL, and right side blind spot area DSR. In order to eliminate the decrease, a plurality of
本実施形態の場合、撮像装置34a、撮像装置34bを運転席である座席14aの位置より前方でフロントウインドウガラスFWを支持する左フロントピラー24aL、右フロントピラー24aR(柱部)によって死角となる左前方死角領域DFL、右前方死角領域DFRを含む車外領域を撮像する第1撮像部という場合がある。また、この第1撮像部から提供される撮像画像データを第1撮像画像データという場合がある。また、座席14aの位置より後方の車外後方領域を撮像する撮像装置34c、撮像装置34dを第2撮像部といい、この第2撮像部から提供される撮像画像データを第2撮像画像データという場合がある。
In the case of the present embodiment, the
右フロントピラー24aRにより生じる右前方死角領域DFRを可視化するための死角可視画像を取得するための撮像装置34aは、例えば、車両10の車室12内の左フロントピラー24aLの近傍、望ましくは、フロントウインドウガラスFWの車外側に配置されたワイパーの払拭領域内に入るような位置に設置される。つまり、降雨、降雪時にも車室12から雨、雪の影響および埃等による汚れの影響を受けることなく、車外領域が明瞭に撮影できるようにしている。そして、撮像装置34aで撮像された右前方撮像領域VFRの撮像画像データに基づく画像から右前方死角領域DFRに対応する死角可視画像が切り出される。切り出された死角可視画像は、図5に示されるように、右前方死角領域DFR(図4参照)を補えるように右フロントピラー24aRの位置に配置された右フロントピラーモニタ36a(表示装置)に表示される。つまり、死角可視画像が右フロントピラーモニタ36aに表示されることにより、右フロントピラー24aRを透過しているような車外状況(右フロントピラー24aRが存在しないように見える車外状況)の提供が実現できる。この場合、図3で右フロントピラー24aRによって右前方死角領域DFRが生じている場合に隠れていた歩行者32cが、図5の右フロントピラーモニタ36aで表示され視覚化される。その結果、ユーザ26に歩行者32cの存在を容易に認識させることができる。
An
なお、右フロントピラーモニタ36aをOELDで構成する場合、容易に右フロントピラー24aRの形状に倣わせることができる。図5の場合、右フロントピラーモニタ36aの大きさを右フロントピラー24aRの基部から上方に向かい半分程度とした例を示している。他の実施形態では、右フロントピラー24aRの全体を右フロントピラーモニタ36aで覆ってもよい。この場合、右フロントピラーモニタ36aの上部領域は、主に車両10の上空領域を表示するが、ピラーレスのように見せることが可能になり、デザイン上の特徴を出しやすくなるというメリットがある。
In the case where the right
撮像装置34aの右前方撮像領域VFRは、右前方死角領域DFRを含む広範囲の車外領域、つまり車両10の右前方の領域を撮像可能である。したがって、ステアリングホイール16に対峙する座席14a(運転席)に着座するユーザ26の体格や着座姿勢、座席14aの前後位置や上下位置等が原因で、ユーザ26が認識する死角領域が変化する場合でも右フロントピラーモニタ36aに表示する死角可視画像の表示範囲(切出し範囲)が容易に調整可能で、状況に応じた右前方死角領域DFRを補う死角可視画像の表示ができる。
The right front imaging area VFR of the
左フロントピラー24aLにより生じる左前方死角領域DFLを可視化するための死角可視画像を取得するための撮像装置34bは、例えば、車両10の車室12内の右フロントピラー24aRの近傍に、撮像装置34aと同様な態様で設置され得る。そして、撮像装置34bで撮像された左前方撮像領域VFLの撮像画像データに基づく画像から左前方死角領域DFLに対応する死角可視画像が切り出される。切り出された死角可視画像は、左前方死角領域DFLを補えるように左フロントピラー24aLの位置に配置された左フロントピラーモニタ36b(表示装置)に表示される。したがって、死角可視画像が左フロントピラーモニタ36bに表示されることにより、図5に示す右フロントピラーモニタ36aの例と同様に、左フロントピラー24aLを透過しているような車外状況(左フロントピラー24aLが存在しないように見える車外状況)の提供が実現できる。撮像装置34bの左前方撮像領域VFLは、左前方死角領域DFLを含む広範囲の車外領域、つまり車両10の左前方の領域を撮像可能であり、撮像装置34aが撮像した画像と同様に、左フロントピラーモニタ36bに表示する死角可視画像の表示範囲(切出し範囲)が容易に調整可能で、状況に応じた左前方死角領域DFLを補う死角可視画像の表示ができる。
An
ユーザ26がルームミラー29を介して認識する左リヤピラー24cLにより生じる左後方死角領域DRLを可視化するための死角可視画像を取得するための撮像装置34cは、例えば、車両10の左フロントピラー24aLの基部の車外側に設けられた左サイドミラー28Lに配置することができる。撮像装置34cは、雨、雪、汚れ等の影響を軽減するように配置されることが望ましい。例えば、撮像範囲の妨げにならないような態様で、左サイドミラー28Lのハウジングケース内部に配置されたり、フードが設けられたりしてもよい。撮像装置34cの撮像範囲は、車両10の左後輪周辺を含む左後方ボディと、その周辺の路面および車両10の水平後方を含む左後方領域とすることができる。そして、撮像装置34cで撮像した左後方撮像領域VSLの撮像画像データに基づく画像から左後方死角領域DRLに対応する死角可視画像が切り出される。切り出された死角可視画像は、左後方死角領域DRLを補えるように左リヤピラー24cLの位置に配置された左リヤピラーモニタ36c(表示装置)に表示される。つまり、死角可視画像が左リヤピラーモニタ36cに表示されることにより、図5に示す右フロントピラーモニタ36aの例と同様に、左リヤピラー24cLを透過しているような車外状況(左リヤピラー24cLが存在しないように見える車外状況)の提供が実現できる。撮像装置34cの左後方撮像領域VSLは、左後方死角領域DRLを含む広範囲の車外領域、つまり車両10の左後方の領域を撮像可能である。したがって、ルームミラー29を介したユーザ26が認識する死角領域がユーザ26の体格や着座姿勢等により変化する場合でも撮像装置34a、撮像装置34bの撮像した画像と同様に、左リヤピラーモニタ36cに表示する死角可視画像の表示範囲(切出し範囲)を容易に調整して、状況に応じた左後方死角領域DRLを補う死角可視画像の表示ができる。
The
撮像装置34cの撮像範囲は、上述したように、車両10の左後輪周辺を含む左後方ボディと、その周辺の路面および車両10の水平後方を含む左後方領域とすることができる。図2で説明したように、左サイドミラー28Lに映る後方領域には左側方死角領域DSLが含まれない。例えば、車両10を後退させながら駐車スペースに移動させる場合等には、左後輪の周辺の状況(左後輪の接地部周辺等)をユーザ26に把握させることが難しい場合がある。そこで、本実施形態の表示制御装置は、車両10が後退する場合、左フロントピラーモニタ36bに撮像装置34cが撮像した左後方撮像領域VSLのうち、左後輪周辺を含む左後方ボディおよびその周辺の路面の画像を左側方死角領域DSLに対応する死角可視画像として切り出す。そして、車両10の後退可能状態になった場合、例えば、シフトレバーが後退ポジション(「R」)に移動させられた場合に、図6に示すように、左フロントピラー24aLに配置された左フロントピラーモニタ36bの表示を左前方死角領域DFLに対応する死角可視画像から左側方死角領域DSLに対応する死角可視画像に切り替える。左フロントピラーモニタ36bは左サイドミラー28Lの基部に配置されているので、ユーザ26は、後退時に左サイドミラー28Lを目視すると当時に、左フロントピラーモニタ36bの表示内容を確認することができる。例えば、左サイドミラー28Lでは確認し難い駐車スペースに示された区画線38a、駐車スペースに配置された車輪止め38b等を容易に認識させることができる。また、撮像装置34cは、左サイドミラー28Lに設置されて、その位置から車外領域を撮像しているので、左サイドミラー28Lの鏡面28aに映り込んでいる壁38cも左フロントピラーモニタ36bに表示可能である。また、左後方撮像領域VSLには、車両10を示す自車画像10aも含まれ、左フロントピラーモニタ36bに表示されるので、車両10と区画線38aや車輪止め38bとの位置関係も容易に把握させることができる。その結果、ルームミラー29を介した左リヤピラーモニタ36cの確認に続いて、左フロントピラーモニタ36bと左サイドミラー28Lの確認を行わせることで、ユーザ26に車両10の左側方および左後方の車外状況の確認(左領域のほぼ全域の確認)を容易に行わせることができるとともに、車外状況を直感的に把握させやすくすることができる。
As described above, the imaging range of the
ユーザ26がルームミラー29を介して認識する右リヤピラー24cRにより生じる右後方死角領域DRRを可視化するための死角可視画像を取得するための撮像装置34dは、例えば、車両10の右フロントピラー24aRの基部の車外側に設けられた右サイドミラー28Rに配置することができる。撮像装置34dも撮像装置34cと同様に、撮像範囲の妨げにならないような態様で、右サイドミラー28Rのハウジングケース内部に配置されたり、フードが設けられたりしてもよい。撮像装置34dの撮像範囲は、車両10の右後輪周辺を含む右後方ボディと、その周辺の路面および車両10の水平後方を含む右後方領域を含むことができる。そして、撮像装置34dで撮像した右後方撮像領域VSRの撮像画像データに基づく画像から右後方死角領域DRRに対応する死角可視画像が切り出される。切り出された死角可視画像は、右後方死角領域DRRを補えるように右リヤピラー24cRの位置に配置された右リヤピラーモニタ36d(表示装置)に表示される。死角可視画像が右リヤピラーモニタ36dに表示されることにより、図5に示す右フロントピラーモニタ36aの例と同様に、右リヤピラー24cRを透過しているような車外状況(右リヤピラー24cRが存在しないように見える車外状況)の提供が実現できる。撮像装置34dの右後方撮像領域VSRは、右側方死角領域DSRを含む広範囲の車外領域、つまり車両10の右後方の領域を撮像可能である。したがって、ルームミラー29を介したユーザ26が認識する死角領域がユーザ26の体格や着座姿勢等で変化する場合でも撮像装置34cの撮像した画像と同様に、右リヤピラーモニタ36dに表示する死角可視画像の表示範囲(切出し範囲)を容易に調整して、状況に応じた右後方死角領域DRRを補う死角可視画像の表示ができる。
An
撮像装置34dの撮像範囲もまた、上述したように、車両10の右後輪周辺を含む右後方ボディと、その周辺の路面および車両10の水平後方を含む右後方領域とすることができる。右サイドミラー28Rに映る後方領域には右側方死角領域DSRが含まれない。そこで、車両10が後退する場合、右フロントピラーモニタ36aに撮像装置34dが撮像した右後方撮像領域VSRのうち、右後輪周辺を含む右後方ボディおよびその周辺の路面の画像を右側方死角領域DSRに対応する死角可視画像として切り出す。そして、車両10の後退可能状態になった場合、図6に示す左フロントピラーモニタ36bの例と同様に、右フロントピラーモニタ36aの表示を右前方死角領域DFRに対応する死角可視画像から右側方死角領域DSRに対応する死角可視画像に切り替える。右フロントピラーモニタ36aは右サイドミラー28Rの基部に配置されているので、ユーザ26は、ルームミラー29を介した右リヤピラーモニタ36dの確認に続いて、右フロントピラーモニタ36aと右サイドミラー28Rの確認を行わせることで、ユーザ26に車両10の右側方および右後方の車外状況の確認(右領域のほぼ全域の確認)を容易に行わせることができるとともに、車外状況を直感的に把握させやすくすることができる。なお、撮像装置34a、撮像装置34bの撮像範囲はほぼ同じとすることができる。同様に、撮像装置34c、撮像装置34dの撮像範囲はほぼ同じとすることができる。
As described above, the imaging range of the
なお、車両10の右側方および右後方の車外状況の確認は、ユーザ26が右サイドウインドウSRWから顔を出して振り返ることで実行することも可能なので、右リヤピラーモニタ36dや撮像装置34dは適宜省略してもよい。また、別の実施形態において、車両10の後方領域を撮像する専用の撮像装置を設けてもよい。この場合、後方専用の撮像装置は、例えば、リヤウインドウの内側や車体後端部、例えばリヤトランクの外壁面等に設けてもよい。この場合、撮像装置34cや撮像装置34dの撮像範囲は、後輪周辺を含む後方ボディおよびその周辺の路面としてもよい。このように、撮像装置を各死角領域専用として撮像範囲を狭めることにより、歪みの少ない高品質の画像を取得しやすくなる。
It should be noted that the confirmation of the vehicle exterior situation on the right side and the right rear side of the
図7は、上述したような死角可視画像の表示を行う表示制御装置を含む表示システム100の一例を示すブロック図である。表示制御装置を構成するECU40は、例えば、CPU40a(central processing unit)や、ROM40b(read only memory)、RAM40c(random access memory)、SSD40d(solid state drive、フラッシュメモリ)等を有している。
FIG. 7 is a block diagram illustrating an example of a
CPU40aは、例えば、撮像装置34(34a〜34d)が撮像した撮像画像データに基づく画像から各死角領域に対応する死角可視画像を切り出し、表示装置36に表示させたり、車両10の状態に応じて表示装置36(36a〜36d)に表示する死角可視画像を切り替えたりする。また、死角可視画像から所定の物体を検出し、ユーザ26にその物体の存在を報知する処理等を実行する。CPU40aは、ROM40bやSSD40d等の不揮発性の記憶装置に記憶された(インストールされた)プログラムを読み出し、当該プログラムに従って演算処理を実行する。各モジュールの詳細は後述する。
For example, the CPU 40 a cuts out a blind spot visible image corresponding to each blind spot area from an image based on the captured image data captured by the imaging device 34 (34 a to 34 d) and displays the blind spot visible image on the
RAM40cは、CPU40aでの演算で用いられる各種データを一時的に記憶する。また、SSD40dは、書き換え可能な不揮発性の記憶部であって、ECU40の電源がオフされた場合であってもデータを記憶することができる。なお、CPU40a、ROM40b、RAM40c等は、同一パッケージ内に集積されることができる。また、ECU40は、CPU40aに替えて、DSP(digital signal processor)等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、SSD40dに替えてHDD(hard disk drive)が設けられてもよいし、SSD40dやHDDは、表示制御用のECU40とは別に設けられてもよい。 The RAM 40c temporarily stores various data used in the calculation by the CPU 40a. The SSD 40d is a rewritable nonvolatile storage unit that can store data even when the power of the ECU 40 is turned off. Note that the CPU 40a, the ROM 40b, the RAM 40c, and the like can be integrated in the same package. Further, the ECU 40 may be configured such that another logical operation processor such as a DSP (digital signal processor), a logic circuit, or the like is used instead of the CPU 40a. Further, an HDD (hard disk drive) may be provided instead of the SSD 40d, and the SSD 40d and the HDD may be provided separately from the display control ECU 40.
CPU40aには、図示を省略したインタフェースを介して、例えば、撮像装置34(撮像装置34a〜撮像装置34d)や表示装置36(右フロントピラーモニタ36a、左フロントピラーモニタ36b、左リヤピラーモニタ36c、右リヤピラーモニタ36d)の他、モニタ装置20(表示装置22、スピーカ23)が電気的に接続され、各種制御信号の送受を行っている。また、CPU40aには、インタフェースを介して、車輪速センサ42、シフトセンサ44、舵角センサ46、ウインカ操作部48、ブレーキシステム50等が接続されている。
For example, the imaging device 34 (
車輪速センサ42は、例えば、車両10の車輪の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ42は、各車輪に配置され、各車輪で検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ42は、例えば、ホール素子などを用いて構成されうる。ECU40は、車輪速センサ42から取得したセンサ値に基づいて車両10の車速や移動量などを演算し、各種制御を実行する。ECU40は、各車輪速センサ42のセンサ値に基づいて車両10の車速を算出する場合、各車輪のうち最も小さいセンサ値の車輪の速度に基づき車両10の車速を決定し、各種制御を実行する。なお、本実施形態の場合、車輪速センサ42の検出したセンサ値は、右フロントピラーモニタ36aや左フロントピラーモニタ36bに表示する死角可視画像の表示範囲の切り替え(撮像画像データの切出し範囲の切り替え)を行うときの指令信号の一つとして用いることができる。
The
シフトセンサ44は、例えば、センターコンソールから突出したシフトレバーの操作位置を検出するセンサである。シフトセンサ44は、変位センサを含んでもよいし、スイッチとして構成されてもよい。なお、シフトセンサ44の検出する検出信号は、車両10が前進可能状態か後退可能状態かを判定する場合に利用可能で、その結果にしたがい、例えば左フロントピラーモニタ36bに左前方死角領域DFLに対応する死角可視画像を表示するか、左側方死角領域DSLに対応する死角可視画像を表示するかを決定することができる。
The
舵角センサ46は、例えば、ステアリングホイール16等の操舵量を検出するセンサである。舵角センサ46は、例えば、ホール素子などを用いて構成される。ECU40は、ユーザ26によるステアリングホイール16の操舵量や、自動操舵時の各車輪の操舵量等を、舵角センサ46から取得して各種制御を実行する。なお、舵角センサ46は、角度センサの一例である。舵角センサ46の検出値は、車輪速センサ42のセンサ値と同様に、右フロントピラーモニタ36aや左フロントピラーモニタ36bに表示する死角可視画像の表示範囲の切り替えを行うときの指令信号の一つとして用いることができる。また、死角可視画像の中に、例えば「歩行者」等を検出した場合に、注意を促す状況か否かを判定する場合の判定信号として用いることができる。
The
ウインカ操作部48は、ステアリングホイール16の近傍に配置されたレバーであり、車両10を旋回させる場合の意志表示をするウインカを点滅させる場合にユーザ26によって操作され、その操作状態を示す操作信号を出力する。ウインカ操作部48の操作信号は、舵角センサ46の検出値と同様に、右フロントピラーモニタ36aや左フロントピラーモニタ36bに表示する死角可視画像の表示範囲の切り替えを行うときの指令信号の一つとして用いることができる。また、死角可視画像の中に、例えば「歩行者」等を検出した場合に、注意を促すか状況か否かを判定する場合の判定信号として用いることができる。
The
ブレーキシステム50は、例えば、ブレーキのロックを抑制するABS(anti-lock brake system)や、コーナリング時の車両10の横滑りを抑制する横滑り防止装置(ESC:electronic stability control)、ブレーキ力を増強させる(ブレーキアシストを実行する)電動ブレーキシステム、BBW(brake by wire)等である。ブレーキシステム50は、アクチュエータ50aを介して、車輪ひいては車両10に制動力を与える。また、ブレーキシステム50は、左右の車輪の回転差などからブレーキのロックや、車輪の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ50bは、例えば、ブレーキペダルの位置を検出するセンサである。ブレーキセンサ50bは、変位センサを含む。本実施形態の場合、ブレーキシステム50は、ECU40が死角可視画像の中に、例えば「歩行者」等の注意を払うべき物体を検出した場合に、車両10を自動的に減速させたり、停車させたりすることができる。
The brake system 50 includes, for example, an anti-lock brake system (ABS) that suppresses brake locking, an anti-slip device (ESC: electronic stability control) that suppresses side slip of the
ECU40に含まれるCPU40aは、上述したような死角可視画像の表示制御を実現するために、図7に示されるような各種モジュールを備える。CPU40aは、モジュールとして、取得部52、画像処理部54、制御部56等を含む。また、制御部56は、表示制御部58、表示切替部60、案内制御部62、車両制御部64等を含む。これらのモジュールは、ROM40b等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現可能である。 The CPU 40a included in the ECU 40 includes various modules as shown in FIG. 7 in order to realize the display control of the blind spot visible image as described above. The CPU 40a includes an acquisition unit 52, an image processing unit 54, a control unit 56, and the like as modules. The control unit 56 includes a display control unit 58, a display switching unit 60, a guidance control unit 62, a vehicle control unit 64, and the like. These modules can be realized by reading a program installed and stored in a storage device such as the ROM 40b and executing it.
取得部52は、右前方死角領域DFRを含む車外領域を撮像する撮像装置34a(第1撮像部)から提供される撮像画像データ(第1撮像画像データ)、左前方死角領域DFLを含む車外領域を撮像する撮像装置34b(第1撮像部)から提供される撮像画像データ(第1撮像画像データ)を取得する。また、左側方死角領域DSL、左後方死角領域DRLを含む車外領域を撮像する撮像装置34c(第2撮像部)から提供される撮像画像データ(第2撮像画像データ)、右側方死角領域DSR、右後方死角領域DRRを含む車外領域を撮像する撮像装置34d(第2撮像部)から提供される撮像画像データ(第2撮像画像データ)を取得する。この他、取得部52は、車輪速センサ42、シフトセンサ44、舵角センサ46、ウインカ操作部48、ブレーキセンサ50b等から提供される各種検出値を取得する。
The acquisition unit 52 includes captured image data (first captured image data) provided from the
画像処理部54は、取得部52が取得した撮像画像データに基づく画像から各死角領域を含む死角可視画像を切り出す処理を実行する。また、画像処理部54は、車両10の速度に応じて取得部52が取得した撮像画像データから切り出す死角可視画像の切出し範囲を変化させることができる。例えば、図8に示すように、車両10が比較的大きな交差点70を右折する場合、注意を払うべき歩行者32が存在する可能性のある横断歩道70aまでの距離は十分にあり、横断歩道70a内の状況、例えば交差点70の手前側の状況の把握が比較的容易である。この場合、ユーザ26は、ほぼ正面を向きつつ、ある程度の速度を維持しつつ横断歩道70aの状況を確認しようとする。このような場合、ユーザ26が感じる右フロントピラー24aRによる右前方死角領域DFRは図8に示すようになる。一方、図9に示すように、車両10が比較的小さな交差点70に進入しようとする場合、交差点70を通過し終わるまでの距離は比較的短く、また、交差点70の近傍にある壁や建物等によりユーザ26の位置からの死角領域が増加し、交差点70内の状況、例えば交差点70の手前側の状況の把握が図8の場合より困難になる。この場合、ユーザ26は、より交差点70の隅の方に視線を向けて歩行者32の有無確認をしつつ、車速を図8の場合より落とし、交差点70の端、特に車両10に近い側の端部をより慎重に確認しようとする。このような場合、ユーザ26が感じる右フロントピラー24aRによる右前方死角領域DFRは図9に示すようになる。
The image processing unit 54 performs a process of cutting out a blind spot visible image including each blind spot area from an image based on the captured image data acquired by the acquisition unit 52. Further, the image processing unit 54 can change the extraction range of the blind spot visible image extracted from the captured image data acquired by the acquisition unit 52 according to the speed of the
そこで、画像処理部54は、車速が所定速度以上の場合、例えば、6km/h以上の場合、取得部52が取得した撮像画像データから死角可視画像の切出し範囲を図4に示すように右前方撮像領域VFRのうち切出し画像範囲「A」として、表示制御部58は、切出し画像範囲「A」で出切りだした死角可視画像を右フロントピラーモニタ36aに表示させる。その結果、ユーザ26は、図8のような比較的大きな交差点70を通過する際の通常の運転動作と同様な動作、つまり、ほぼ前方を向き、視界の隅で交差点70の隅の方の状況を確認することができる。また、画像処理部54は、車速が所定速度未満の場合、例えば、6km/h未満の場合でウインカ操作部48から右折の意志を示す右折操作信号が出力されている場合、取得部52が取得した撮像画像データから死角可視画像の切出し範囲を図4に示すように右前方撮像領域VFRのうち切出し画像範囲「B」として、表示制御部58は、切出し画像範囲「B」で出切りだした死角可視画像を右フロントピラーモニタ36aに表示させる。その結果、ユーザ26は、図9のような比較的小さな交差点70を通過する際の通常の運転動作と同様な動作、つまり、より交差点70の端、特に車両10に近い側の端部をより確認しやすくなる。なお、図4に示すように、右前方死角領域DFRに対応する右前方撮像領域VFRを撮像する撮像装置34aは、座席14aに着座するユーザ26より車両10の前方でかつより浅い角度で交差点70の手前側を撮影できる助手席側の位置に設置されている。その結果、切出し画像範囲「B」を用いた右前方撮像領域VFRは、ユーザ26が右折時に身を乗り出して視界を確保しようとするような画像を得ることができる。つまり、ユーザ26は運転姿勢を変えることなく(身を乗り出すことなく)、右フロントピラー24aRで遮らせる右前方死角領域DFRを右フロントピラーモニタ36aで確認させることができる。車両10が左折しようとする場合も同様であり、左前方死角領域DFLを補うように左前方撮像領域VFLの切出し画像範囲が範囲「A」と、範囲「B」で切り替えられる。
Therefore, when the vehicle speed is equal to or higher than a predetermined speed, for example, when the vehicle speed is 6 km / h or higher, the image processing unit 54 sets the cut-out range of the blind spot visible image from the captured image data acquired by the acquisition unit 52 as shown in FIG. As the cut-out image range “A” in the imaging region VFR, the display control unit 58 causes the right front pillar monitor 36 a to display the blind spot visible image cut out in the cut-out image range “A”. As a result, the
また、本実施形態の画像処理部54は、各撮像装置34が撮像した撮像画像データから対応する死角領域の中の所定物体、例えば、「歩行者」を検出することができる。例えば、撮像装置として、可視光画像データとともに赤外線画像データを取得できるものがある。このような撮像装置を各撮像装置34として使用した場合、死角可視画像用の画像が取得できるとともに、例えば「歩行者(人間)」の有無を検出する赤外線画像を取得できる。つまり、各撮像装置34は、赤外線サーモグラフィとして機能することができる。赤外線サーモグラフィは、対象物から出ている赤外線放射エネルギーを検出し、見かけの温度に変換して、温度分布を画像表示するもので、画像内の人間や動物の有無を検出することができる。なお、赤外線画像データの場合、気温や路面温度によって検出結果がシフトしてしまう場合がある。このような場合は、予め記憶した物体のサンプル形状のデータと赤外線画像の温度分布とを比較することにより、所定の物体(例えば人間や動物)の検出精度の向上を行うようにしてもよい。また、他の実施形態では、周知のパターン認識技術を用いて、予め記憶した物体のサンプル形状のデータと可視光画像データとの比較により、所定の物体(例えば人間や動物)等を検出してもよい。
In addition, the image processing unit 54 of the present embodiment can detect a predetermined object in the corresponding blind spot area, for example, “pedestrian” from the captured image data captured by each
表示制御部58は、死角可視画像により右前方死角領域DFRを補えるような右フロントピラー24aRの位置に配置された右フロントピラーモニタ36aに死角可視画像を表示させる。同様に、死角可視画像により左前方死角領域DFL等の死角領域を補えるような左フロントピラー24aLの位置に配置された左フロントピラーモニタ36bに死角可視画像を表示させる。また、左リヤピラーモニタ36c(右リヤピラーモニタ36d)にも撮像装置34c(撮像装置34d)で取得した死角可視画像を表示させる。なお、表示制御部58は、車両10が前進可能時(シフトレバーが「D」ポジション等の場合)は、右フロントピラーモニタ36aや左フロントピラーモニタ36bに撮像装置34aや撮像装置34bで取得した車両10の前方の死角可視画像を表示する。一方、車両10が後退可能時(シフトレバーが「R」ポジションの場合)は、右フロントピラーモニタ36aや左フロントピラーモニタ36bに撮像装置34cや撮像装置34dで撮像した左側方死角領域DSLや右側方死角領域DSRに対応する死角可視画像を表示する。
The display control unit 58 displays the blind spot visible image on the right front pillar monitor 36a disposed at the position of the right front pillar 24aR so as to supplement the right forward blind spot area DFR with the blind spot visible image. Similarly, the blind spot visible image is displayed on the left
表示切替部60は、車両10の走行状態、例えば前進可能状態か後退可能状態かに基づき、図4で説明したように、左フロントピラーモニタ36b(右フロントピラーモニタ36a)に左前方撮像領域VFL(右前方撮像領域VFR)を表示するか左後方撮像領域VSL(右後方撮像領域VSR)を表示するかを切り替える。なお、この切り替えは、シフトレバーの操作状態に基づき自動的に行ってもよいし、ユーザ26がスイッチ等を用いて手動で行ってもよい。また、シフトレバーが「P」ポジションの場合、デフォルトを前方の死角可視画像を表示するようにして、ユーザ26がスイッチ等を用いて手動で後方の死角可視画像の表示に切り替えるようにしてもよい。
As described with reference to FIG. 4, the display switching unit 60 displays the left front imaging region VFL on the left front pillar monitor 36 b (right front pillar monitor 36 a) based on the traveling state of the
案内制御部62は、画像処理部54が、死角可視画像内に所定の物体、例えば「歩行者」を検出した場合に、その歩行者の存在をユーザ26に報知するめの案内情報に関する制御を行う。例えば、案内制御部62は、ROM40b等に保持されたメッセージ、例えば「右死角可視画像内に歩行者がいます。注意してください。」等の音声メッセージをスピーカ23を介して出力させたり、表示装置22に同様な文字メッセージを表示させたりしてもよい。また、右フロントピラーモニタ36aや左フロントピラーモニタ36bに表示している死角可視画像内で警告ランプを点灯させたり、メッセージマーク(例えば、「!」)を表示させたりしてもよい。
The guidance control unit 62 performs control related to guidance information for notifying the
車両制御部64は、画像処理部54により死角可視画像内の所定物体(例えば歩行者)が検出された場合に、ブレーキシステム50を介して車両10の減速をユーザ26の操作に拘わらず実行したり、ブレーキランプの点灯を自動で行ったりする。
The vehicle control unit 64 executes deceleration of the
このような死角可視画像の表示に関する処理を実現する処理手順一例を図10のフローチャートを用いて説明する。 An example of a processing procedure for realizing the processing related to the display of such a blind spot visible image will be described with reference to the flowchart of FIG.
CPU40aは、イグニッションスイッチ(IG)がONでない場合、すなわち車両10の電源がONされていない場合(S100のNo)、このフローを実行しない。一方、CPU40aは、IGがONの場合(S100のYes)、取得部52は、各撮像装置34(34a〜34d)から車両10の車外領域を撮像した撮像画像データを取得する(S102)。表示切替部60は、現在のシフトレバーのポジションが後退「R」ポジションでなく前進可能状態の場合(S104のNo)、舵角センサ46からの検出値またはウインカ操作部48の出力値に基づき、車両10が旋回する可能性があるか否かを判定する(S106)。もし、ステアリングホイール16が中立位置から左右いずれかの方向に所定量回転していたり、左右いずれかのウインカが点灯したりしている場合(S106のYes)、制御部56は、画像処理部54により旋回しようとしている方向のフロントの対象死角領域に所定の物体、例えば「人」が検出されているか確認する(S108)。例えば、旋回方向が右方向である場合で、右前方死角領域DFRに「人」が検出されている場合(S108のYes)、案内制御部62は、ユーザ26に注意を促すフロント警報を出力する(S110)。 そして、画像処理部54は、車輪速センサ42の出力するセンサ値に基づき、現在の車速Vが所定速度αkm/h以上の場合(S112のYes)、例えば、6km/h以上の場合、右フロントピラーモニタ36aに、表示する右前方撮像領域VFRの切出し画像範囲として範囲「A」を選択する(S114)。また、画像処理部54は、現在の車速Vが所定速度αkm/h未満の場合(S112のNo)、例えば、6km/h未満の場合、右フロントピラーモニタ36aに、表示する右前方撮像領域VFRの切出し画像範囲として範囲「B」を選択する(S116)。なお、旋回方向が左方向の場合、左フロントピラーモニタ36bに表示する左前方撮像領域VFLに対して同様の処理が実行される。
The CPU 40a does not execute this flow when the ignition switch (IG) is not ON, that is, when the power of the
CPU40aは、S106で車両10が旋回しない場合(S106のNo)、例えば、舵角センサ46の検出値がステアリングホイール16の操作位置が実質的に中立位置であることを示す場合やウインカ操作部48が操作されていない(ウインカの非点灯)の場合、S108〜S112の処理をスキップしてS114に移行する。つまり、右フロントピラーモニタ36a、左フロントピラーモニタ36bを通表示状態、すなわち、ユーザ26が座席14aに正面を向いた姿勢で着座しているときに死角領域とされる右前方死角領域DFR、左前方死角領域DFLに対応する死角可視画像を範囲「A」で切り出すように決定される。
When the
また、CPU40aは、S108で旋回しようとしている方向のフロント旋回死角領域に「人」が検出されない場合(S108のNo)、S110の処理をスキップしてS112に移行して以降の処理を実行する。 On the other hand, when “person” is not detected in the front turning blind spot area in the direction to turn in S108 (No in S108), the CPU 40a skips the processing of S110 and proceeds to S112 to execute the subsequent processing.
表示制御部58は、画像処理部54が選択した切出し画像範囲に基づく右フロントピラーモニタ36a、左フロントピラーモニタ36b用として、右前方死角領域DFR、左前方死角領域DFLに対応するフロント側の死角可視画像の画像切出し処理を実行する。同様に、左リヤピラーモニタ36c、右リヤピラーモニタ36dが撮像した撮像画像データから左後方死角領域DRL、右後方死角領域DRRに対応する死角可視画像の切出し画像処理を実行する(S118)。そして、表示制御部58は、右フロントピラーモニタ36aおよび左フロントピラーモニタ36bに右前方死角領域DFR、左前方死角領域DFLに対応するフロント切出し画像を表示する。また、表示制御部58は、左リヤピラーモニタ36c、右リヤピラーモニタ36dに左後方死角領域DRL、右後方死角領域DRRに対応する死角可視画像としてリヤ切出し画像を表示する(S120)。そして、死角可視画像の表示終了条件が成立した場合(S122のYes)、例えば、IGがOFFされた場合は、このフローを一旦終了する。また、死角可視画像の表示終了条件が成立していない場合(S122のNo)、S102に戻り、死角可視画像の表示を継続する。
The display control unit 58 is used for the right front pillar monitor 36a and the left front pillar monitor 36b based on the clipped image range selected by the image processing unit 54, and the front side blind spot corresponding to the right front blind spot area DFR and the left front blind spot area DFL. An image cutout process of a visible image is executed. Similarly, cut-out image processing of a blind spot visible image corresponding to the left rear blind spot area DRL and right rear blind spot area DRR is executed from the captured image data captured by the left rear pillar monitor 36c and the right
S104において、現在のシフトレバーのポジションが後退「R」ポジションである場合(S104のYes)、表示切替部60は、右フロントピラーモニタ36aおよび左フロントピラーモニタ36bに表示する画像を撮像装置34c、撮像装置34dの撮像した画像に切り替える(S124)。この場合、表示制御部58は、右フロントピラーモニタ36a、左フロントピラーモニタ36b用として、左側方死角領域DSL、右側方死角領域DSRに対応するリヤ側の死角可視画像の画像切出し処理を実行する。同様に、左リヤピラーモニタ36c、右リヤピラーモニタ36dが撮像した撮像画像データから左後方死角領域DRL、右後方死角領域DRRに対応する死角可視画像の切出し画像処理を実行する(S126)。そして、表示制御部58は、右フロントピラーモニタ36aおよび左フロントピラーモニタ36bに左側方死角領域DSL、右側方死角領域DSRに対応する側方路面の切出し画像を表示する。また、左リヤピラーモニタ36c、右リヤピラーモニタ36dには、左後方死角領域DRL、右後方死角領域DRRに対応する死角可視画像としてリヤ切出し画像を表示する(S128)。そして、制御部56は、左側方死角領域DSL、右側方死角領域DSR、左後方死角領域DRL、右後方死角領域DRRのリヤの対象死角領域に「人」が検出されているか確認する(S130)。リヤの対象死角領域に所定の物体、例えば歩行者等の「人」が検出されている場合(S130のYes)、案内制御部62は、ユーザ26に車両10を後退させる場合に注意を促すリヤ警報を出力し(S132)、S122に移行して処理を継続する。例えば、「車両10の後方に歩行者がいます。注意してください。」等の音声メッセージをスピーカ23から出力させたり、同様の内容の文字メッセージを表示装置22から出力させたりする。一方、CPU40aは、S130において、リヤの対象死角領域に「人」が検出されない場合(S130のNo)、S132の処理をスキップしてS122に移行して処理を継続する。
In S104, when the current shift lever position is the reverse “R” position (Yes in S104), the display switching unit 60 displays an image to be displayed on the right front pillar monitor 36a and the left
このように、本実施形態の表示制御装置によれば、撮像画像を用いて車両10の死角領域の表示を実現する場合に、ユーザ26に死角領域の内容をより認識しやすくすることができる。
As described above, according to the display control apparatus of the present embodiment, when the display of the blind spot area of the
上述した実施形態では、右フロントピラーモニタ36a、左フロントピラーモニタ36b、左リヤピラーモニタ36c、右リヤピラーモニタ36dは、IGがONの場合、常時、死角可視画像を表示する例を示したが、例えば、ユーザ26が表示スイッチ等を操作したときのみ表示するようにしてもよい。
In the above-described embodiment, the right front pillar monitor 36a, the left
また、前述したように、ユーザ26(運転者)の体格や着座姿勢、座席14aの位置等が原因で、ユーザ26が認識する死角領域が変化する。この場合、車室12に設けた周知の視線検出装置を用いて、ユーザ26の通常の着座姿勢における視線の位置を検出したり、座席14aに設けたセンサにより座席14aの位置(前後位置や高さ位置)を検出したりすることで、自動的に死角領域を検出して、各撮像装置34が撮像した撮像画像データから切り出す死角可視画像の範囲を決めてもよい。この場合、各表示装置36が表示する画像と実際の車外風景とのズレが軽減され、より違和感のない表示を実現することができる。また、別の実施形態では、各表示装置36に表示する死角可視画像の表示領域を実際の死角領域より意図的に広くしてもよい。この場合、死角領域の周辺の状況も各表示装置36上で確認することが可能になり、死角領域を含む車外領域の把握を表示装置36上で容易に行わせることができる。これらの表示は、ユーザ26によって切り替え可能としてもよい。
Further, as described above, the blind spot area recognized by the
上述の実施形態では、フロントピラー用の切出し画像領域「A」と切出し画像領域「B」とを車速によって切り替える例を示したが、例えば、ユーザ26による操作により切り替えるようにしてもよい。この場合、画面の切り替えが必要以上に行われてしまうことを防止できる。また、表示装置36をLCDで構成する場合、LCD本体がピラー24からはみ出す場合がある。この場合、LCD本体で遮られる領域を含めて死角領域としてもよく、右後方撮像領域VSR等から切り出す死角可視画像の範囲を調整してもよい。この場合、OELDより相対的に安価なLCDを用いても、死角可視画像の表示品質をOELDを用いた場合と同等にすることができる。また、上述の実施形態では、主として、右左折時に生じる死角領域を死角可視画像で補う例を示したが、例えば、車線変更等をする際にピラー24によって生じる死角領域を死角可視画像で補うことも可能であり、同様の効果を得ることができる。
In the above-described embodiment, an example in which the cut-out image area “A” for the front pillar and the cut-out image area “B” are switched according to the vehicle speed has been described, but may be switched by an operation by the
本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although embodiments and modifications of the present invention have been described, these embodiments and modifications are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.
10…車両、24…ピラー、24aL…左フロントピラー、24aR…右フロントピラー、24cL…左リヤピラー、24cR…右リヤピラー、26…ユーザ、28L…左サイドミラー、28R…右サイドミラー、29…ルームミラー、32,32a,32b,32c,32d…歩行者、34,34a,34b,34c,34d…撮像装置、36…表示装置、36a…右フロントピラーモニタ、36b…左フロントピラーモニタ、36c…左リヤピラーモニタ、36d…右リヤピラーモニタ、40…ECU、40a…CPU、42…車輪速センサ、44…シフトセンサ、46…舵角センサ、48…ウインカ操作部、50…ブレーキシステム、52…取得部、54…画像処理部、56…制御部、58…表示制御部、60…表示切替部、62…案内制御部、64…車両制御部、DFL…左前方死角領域、DFR…右前方死角領域、DRL…左後方死角領域、DRR…右後方死角領域、DSL…左側方死角領域、DSR…右側方死角領域、VFL…左前方撮像領域、VFR…右前方撮像領域、VSL…左後方撮像領域、VSR…右後方撮像領域。
DESCRIPTION OF
Claims (5)
前記撮像画像データに基づく画像から前記死角領域を含む死角可視画像を切り出す画像処理部と、
前記死角可視画像により前記死角領域を補えるような前記柱部の位置に配置された表示装置に前記死角可視画像を表示させる制御部と、
を備える表示制御装置。 An acquisition unit that acquires captured image data from an imaging unit that captures an area outside the vehicle including a blind spot area that becomes a blind spot by a pillar that supports the window glass of the vehicle when seated in a driver's seat;
An image processing unit that cuts out a blind spot visible image including the blind spot area from an image based on the captured image data;
A control unit for displaying the blind spot visible image on a display device arranged at the position of the pillar part so as to supplement the blind spot area by the blind spot visible image;
A display control device.
前記制御部は、前記フロント柱部の基部に配置された前記表示装置に前記死角可視画像を表示させる請求項1に記載の表示制御装置。 The acquisition unit acquires first captured image data from a first imaging unit that images a vehicle exterior region including a blind spot region that is a blind spot by a front pillar supporting a front windshield in front of the position of the driver seat;
The display control device according to claim 1, wherein the control unit displays the blind spot visible image on the display device arranged at a base portion of the front pillar portion.
前記制御部は、前記車両の前進可能時には前記第1撮像画像データに基づく画像を前記表示装置に表示し、前記車両の後退可能時には前記第2撮像画像データに基づく画像を前記表示装置に表示する請求項2に記載の表示制御装置。 The acquisition unit further acquires second captured image data captured by a second imaging unit that captures a rear outside region behind the position of the driver seat,
The control unit displays an image based on the first captured image data on the display device when the vehicle can move forward, and displays an image based on the second captured image data on the display device when the vehicle can move backward. The display control apparatus according to claim 2.
前記制御部は、前記車両が前記死角領域の方向に移動する場合、前記所定物体の存在を示す案内を出力する請求項1から請求項4のいずれか1項に記載の表示制御装置。
The image processing unit detects a predetermined object in the blind spot area from the captured image data,
The display control device according to any one of claims 1 to 4, wherein the control unit outputs a guide indicating the presence of the predetermined object when the vehicle moves in the direction of the blind spot region.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016209009A JP2018069806A (en) | 2016-10-25 | 2016-10-25 | Display control device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016209009A JP2018069806A (en) | 2016-10-25 | 2016-10-25 | Display control device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018069806A true JP2018069806A (en) | 2018-05-10 |
Family
ID=62112048
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016209009A Pending JP2018069806A (en) | 2016-10-25 | 2016-10-25 | Display control device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018069806A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020113066A (en) * | 2019-01-11 | 2020-07-27 | 株式会社Jvcケンウッド | Video processing device, video processing method, and program |
-
2016
- 2016-10-25 JP JP2016209009A patent/JP2018069806A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020113066A (en) * | 2019-01-11 | 2020-07-27 | 株式会社Jvcケンウッド | Video processing device, video processing method, and program |
JP7275586B2 (en) | 2019-01-11 | 2023-05-18 | 株式会社Jvcケンウッド | Video processing device and video processing method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6806156B2 (en) | Peripheral monitoring device | |
JP6897340B2 (en) | Peripheral monitoring device | |
US10752238B2 (en) | Parking assistance device | |
JP6507626B2 (en) | Vehicle perimeter monitoring device | |
CN109313860B (en) | Peripheral monitoring device | |
JP6838340B2 (en) | Peripheral monitoring device | |
JP6447060B2 (en) | Vehicle periphery monitoring device | |
JP6400215B2 (en) | Vehicle control apparatus and vehicle control method | |
JP6281289B2 (en) | Perimeter monitoring apparatus and program | |
US11591018B2 (en) | Parking assistance device | |
CN107925746B (en) | Peripheral monitoring device | |
US20190244324A1 (en) | Display control apparatus | |
WO2019093176A1 (en) | Periphery monitoring device | |
JP2017094922A (en) | Periphery monitoring device | |
CN112492262A (en) | Image processing apparatus | |
US20200035207A1 (en) | Display control apparatus | |
JP2018069806A (en) | Display control device | |
JP6977318B2 (en) | Peripheral display device | |
JP2020043418A (en) | Periphery monitoring device | |
JP6776702B2 (en) | Peripheral monitoring device | |
JP6696229B2 (en) | Passenger seat control device | |
JP6953915B2 (en) | Peripheral monitoring device | |
JP6606956B2 (en) | Perimeter monitoring device | |
US11180084B2 (en) | Vehicle periphery display device | |
JP2016060237A (en) | Parking support device and parking support system |