JP2018022958A - Vehicle display controller and vehicle monitor system - Google Patents

Vehicle display controller and vehicle monitor system Download PDF

Info

Publication number
JP2018022958A
JP2018022958A JP2016151477A JP2016151477A JP2018022958A JP 2018022958 A JP2018022958 A JP 2018022958A JP 2016151477 A JP2016151477 A JP 2016151477A JP 2016151477 A JP2016151477 A JP 2016151477A JP 2018022958 A JP2018022958 A JP 2018022958A
Authority
JP
Japan
Prior art keywords
line
sight
vehicle
display
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016151477A
Other languages
Japanese (ja)
Inventor
正彰 白鳥
Masaaki Shiratori
正彰 白鳥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2016151477A priority Critical patent/JP2018022958A/en
Publication of JP2018022958A publication Critical patent/JP2018022958A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To make it possible, in the case of making an image on the periphery of a vehicle formed by a camera used by the vehicle be displayed on a display, to reduce ghosting of the display while reducing a driver's troublesomeness caused by display of the image.SOLUTION: A vehicle display controller comprises: a display control unit 104 for making each of lateral side indicators 40a, 40b successively display an image on a rear lateral side of the own vehicle successively formed by a camera fitted to the vehicle on a display area of an EL panel positioned inside an interior of the vehicle; and a line-of-sight movement identification unit 103 for identifying a movement direction of a line of sight from a direction of the line of sight successively identified by a line-of-sight identification unit 102. The display control unit 104, even when the direction of a line of sight identified by the line-of-sight identification unit 102 is directed to the display area of the EL panel, makes a suppressed image whose visibility is made to be lower than that of a normal image be displayed, on the basis of a variation showing passage on the display area in a movement direction of the line of sight identified by the line-of-sight movement identification unit 103.SELECTED DRAWING: Figure 3

Description

本発明は、車両で用いられるカメラで撮像したその車両周辺の画像を表示させる車両用表示制御装置及びこの車両用表示制御装置を含む車両用モニタシステムに関するものである。   The present invention relates to a vehicle display control device that displays an image around a vehicle imaged by a camera used in the vehicle and a vehicle monitor system including the vehicle display control device.

従来、車両の後側方の像をサイドミラーに映したり車両の後方の像をルームミラーに映したりする代わりに、車両で用いられるカメラで撮像した車両後側方や後方の画像をディスプレイに表示させる、電子ミラーシステムといった車両用モニタシステムが知られている。しかしながら、電子ミラーシステムでは、ディスプレイ表示をドライバが確認するタイミング以外にもディスプレイに視認性の高い画像を表示させ続けていると、ドライバがこの画像を煩わしく感じるおそれがある。   Conventionally, instead of displaying the rear side image of the vehicle on the side mirror or the rear side image of the vehicle on the rear view mirror, the rear side and rear images captured by the camera used in the vehicle are displayed on the display. A vehicle monitor system such as an electronic mirror system is known. However, in the electronic mirror system, if the display continues to display an image with high visibility other than the timing when the driver confirms the display, the driver may feel annoying the image.

そこで、この問題を解決する手段として、例えば、特許文献1には、ドライバの視線が、車両の後側方及び後方の撮像画像を表示させるディスプレイの、運転席前方に位置する表示領域に向いている場合には、通常画像をディスプレイに表示させる一方、表示領域外に向いている場合には、視認性を抑止した抑止画像を表示させる技術が開示されている。また、特許文献1には、ドライバの視線が表示領域から外れても、所定時間は視認性を抑止しない通常画像の表示を維持することで、画像の視認性の切り替わりによる違和感を抑制する技術が開示されている。   Therefore, as means for solving this problem, for example, in Patent Document 1, the driver's line of sight is directed to a display area located in front of the driver's seat of a display that displays captured images of the rear side and the rear of the vehicle. A technique is disclosed in which a normal image is displayed on the display when the image is displayed, and a suppressed image with reduced visibility is displayed when the image is directed outside the display area. Japanese Patent Application Laid-Open No. 2004-228867 discloses a technique for suppressing a sense of incongruity due to switching of image visibility by maintaining normal image display that does not inhibit visibility for a predetermined time even when the driver's line of sight deviates from the display area. It is disclosed.

特開2016−55801号公報Japanese Patent Application Laid-Open No. 2006-55801

しかしながら、特許文献1に開示の技術では、ドライバが車両の左右側方を目視によって直接確認する際に視線が表示領域を通過しただけでも、表示領域に所定時間は通常画像が表示され続けることになる。よって、ドライバが表示領域を確認する意図もないのに、通常画像が無駄に表示され続け、ドライバが煩わしさを感じるおそれがある。また、ドライバが表示領域を確認する意図もないのに、抑止画像よりも視認性の高い通常画像が無駄に表示され続けることで、表示領域に画像を表示させるディスプレイに焼き付きが生じてしまう。   However, in the technique disclosed in Patent Document 1, even when the driver directly confirms the left and right sides of the vehicle by visual observation, the normal image is continuously displayed in the display area for a predetermined time even if the line of sight passes through the display area. Become. Therefore, although the driver does not intend to confirm the display area, the normal image continues to be displayed unnecessarily, and the driver may feel annoyed. In addition, although the driver does not intend to confirm the display area, a normal image having a higher visibility than the suppression image is continuously displayed wastefully, so that a display that displays an image in the display area is burned.

本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、車両で用いられるカメラで撮像したその車両周辺の画像をディスプレイに表示させる場合に、画像の表示によるドライバの煩わしさをより低減するとともに、ディスプレイの焼き付きを低減することを可能にする車両用表示制御装置及び車両用モニタシステムを提供することにある。   The present invention has been made in view of the above-described conventional problems, and an object of the present invention is to bother a driver by displaying an image when an image around the vehicle captured by a camera used in the vehicle is displayed on a display. Another object of the present invention is to provide a vehicle display control apparatus and a vehicle monitor system that can further reduce the image quality and reduce burn-in of the display.

上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は、発明の更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。   The above object is achieved by a combination of the features described in the independent claims, and the subclaims define further advantageous embodiments of the invention. Reference numerals in parentheses described in the claims indicate a correspondence relationship with specific means described in the embodiments described later as one aspect, and do not limit the technical scope of the present invention. .

上記目的を達成するために、本発明の車両用表示制御装置は、車両で用いられ、車両に取り付けられたカメラ(20a,20b)で逐次撮像する車両周辺の画像を、ディスプレイ(40a,40b)によって車両の車室内に位置する表示領域に逐次表示させる表示制御部(104)と、車両のドライバの視線方向を逐次特定する視線特定部(102)とを備え、表示制御部は、視線特定部で特定する視線方向が表示領域に向いていないことをもとに、基準となる視認性よりも視認性を低下させた抑制画像を表示させる車両用表示制御装置であって、視線特定部で逐次特定する視線方向から視線の移動方向を特定する視線移動特定部(103)を備え、表示制御部は、視線特定部で特定する視線方向が表示領域に向いている場合であっても、視線移動特定部で特定する視線の移動方向が表示領域を通過する変化をしていたことをもとに、基準となる視認性の画像でなく抑制画像を表示させる。   In order to achieve the above object, a display control apparatus for a vehicle according to the present invention is used in a vehicle, and displays images (40a, 40b) around the vehicle that are sequentially captured by cameras (20a, 20b) attached to the vehicle. The display control unit (104) for sequentially displaying in the display area located in the vehicle interior of the vehicle and the line-of-sight specifying unit (102) for sequentially specifying the line-of-sight direction of the driver of the vehicle are provided. The display control device for a vehicle displays a suppressed image with a lower visibility than the reference visibility based on the fact that the line-of-sight direction specified by A line-of-sight movement specifying unit (103) that specifies the direction of movement of the line of sight from the line-of-sight direction to be specified is provided, and the display control unit is configured to view even when the line-of-sight direction specified by the line-of-sight specifying unit is facing the display area. Based on the movement direction of the line of sight to a specific mobile identification unit had a change passing through the display area to display the suppressed image rather than visibility of an image serving as a reference.

また、上記目的を達成するために、本発明の車両用モニタシステムは、車両で用いられ、車両に取り付けられ、車両周辺の画像を撮像するカメラ(20a,20b)と、カメラで逐次撮像する車両周辺の画像を、車両の車室内に位置する表示領域に逐次表示させるディスプレイ(40a,40b)と、本発明の車両用表示制御装置(10)とを含む。   In order to achieve the above object, a vehicle monitoring system of the present invention is used in a vehicle, is attached to the vehicle, and is a camera (20a, 20b) that captures images around the vehicle, and a vehicle that sequentially captures images with the camera. The display (40a, 40b) which displays a surrounding image sequentially on the display area located in the vehicle interior of the vehicle, and the vehicle display control device (10) of the present invention are included.

ドライバの視線の動きがディスプレイによって車両周辺の画像を表示させる表示領域を通過する変化をしていた場合、ドライバが表示領域を確認する意図がない可能性が高い。これに対して、本発明の構成によれば、視線特定部で特定する視線方向が表示領域に向いている場合であっても、視線移動特定部で特定する視線の移動方向が表示領域を通過する変化をしていたことをもとに、基準となる視認性の画像でなく抑制画像を表示させることになる。よって、視線方向が表示領域に向いている場合であっても、ドライバが表示領域を確認する意図がない可能性が高い状況においては、抑制画像を表示させることが可能になる。従って、ドライバが表示領域を確認する意図がない可能性が高い状況において、抑制画像よりも視認性の高い画像を無駄に表示させるのを防ぐことが可能になる。その結果、車両で用いられるカメラで撮像したその車両周辺の画像をディスプレイに表示させる場合に、画像の表示によるドライバの煩わしさをより低減するとともに、ディスプレイの焼き付きを低減することが可能になる。   When the movement of the driver's line of sight has changed through the display area for displaying an image around the vehicle on the display, there is a high possibility that the driver does not intend to confirm the display area. On the other hand, according to the configuration of the present invention, even if the line-of-sight direction specified by the line-of-sight specifying unit is facing the display area, the line-of-sight movement direction specified by the line-of-sight movement specifying unit passes through the display area. Based on this change, a suppressed image is displayed instead of the reference visibility image. Therefore, even when the line-of-sight direction is directed to the display area, it is possible to display a suppression image in a situation where there is a high possibility that the driver does not intend to confirm the display area. Therefore, in a situation where there is a high possibility that the driver does not intend to confirm the display area, it is possible to prevent an image with higher visibility than the suppression image from being displayed wastefully. As a result, when an image around the vehicle captured by a camera used in the vehicle is displayed on the display, it is possible to further reduce the driver's troublesomeness due to the display of the image and to reduce the burn-in of the display.

電子ミラーシステム1の概略的な構成の一例を示す図である。1 is a diagram illustrating an example of a schematic configuration of an electronic mirror system 1. FIG. 右側方表示器40aのELパネル41a及び左側方表示器40bのELパネル41bの取り付け位置の一例を説明するための図である。It is a figure for demonstrating an example of the attachment position of EL panel 41a of the right side indicator 40a, and EL panel 41b of the left side indicator 40b. HCU10の概略的な構成の一例を示す図である。It is a figure which shows an example of a schematic structure of HCU10. ELパネル41a,41bの表示領域と自車のドライバの視線方向との位置関係の一例を示す図である。It is a figure which shows an example of the positional relationship of the display area of EL panel 41a, 41b, and the gaze direction of the driver | operator of the own vehicle. HCU10での表示制御関連処理の流れの一例を示すフローチャートである。It is a flowchart which shows an example of the flow of the display control related process in HCU10. 実施形態1での視認性の切り替わりの一例について説明するためのタイミングチャートである。6 is a timing chart for explaining an example of visibility switching in the first embodiment.

図面を参照しながら、開示のための複数の実施形態及び変形例を説明する。なお、説明の便宜上、複数の実施形態及び変形例の間において、それまでの説明に用いた図に示した部分と同一の機能を有する部分については、同一の符号を付し、その説明を省略する場合がある。同一の符号を付した部分については、他の実施形態及び/又は変形例における説明を参照することができる。   A plurality of embodiments and modifications for disclosure will be described with reference to the drawings. For convenience of explanation, between the plurality of embodiments and the modified examples, parts having the same functions as those shown in the drawings used for the explanation so far are denoted by the same reference numerals and description thereof is omitted. There is a case. For the portions denoted by the same reference numerals, the description in other embodiments and / or modifications can be referred to.

(実施形態1)
<電子ミラーシステム1の概略構成>
以下、本発明の実施形態1における電子ミラーシステム1について図面を用いて説明する。実施形態1の電子ミラーシステム1は、自車の後側方の像をサイドミラー(例えばドアミラー)に映す代わりに、サイドミラーに映る像を模した画像をディスプレイに表示させる、車両用モニタシステムである。図1に示すように、電子ミラーシステム1は、HCU(Human Machine Interface Control Unit)10、右後側方カメラ20a、左後側方カメラ20b、周辺監視ECU30、右側方表示器40a、左側方表示器40b、及びDSM(Driver Status Monitor)50を含んでいる。電子ミラーシステム1を用いる車両を以下では自車と呼ぶ。
(Embodiment 1)
<Schematic configuration of electronic mirror system 1>
Hereinafter, the electronic mirror system 1 in Embodiment 1 of this invention is demonstrated using drawing. The electronic mirror system 1 according to the first embodiment is a vehicle monitoring system that displays an image imitating an image reflected on a side mirror on a display instead of reflecting an image of the rear side of the vehicle on a side mirror (for example, a door mirror). is there. As shown in FIG. 1, the electronic mirror system 1 includes an HCU (Human Machine Interface Control Unit) 10, a right rear side camera 20a, a left rear side camera 20b, a peripheral monitoring ECU 30, a right side display 40a, and a left side display. And a DSM (Driver Status Monitor) 50. Hereinafter, a vehicle using the electronic mirror system 1 is referred to as a host vehicle.

右後側方カメラ20a及び左後側方カメラ20bは自車の後側方を撮像する。右後側方カメラ20a及び左後側方カメラ20bは、入射する光を電気信号に変換する撮像素子と、撮像素子の撮像面へ光を入射させる光学系を有している。撮像素子としては、CCD(Charge-Coupled Device)イメージセンサ,CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等を用いればよい。この右後側方カメラ20a及び左後側方カメラ20bが請求項のカメラに相当する。   The right rear side camera 20a and the left rear side camera 20b capture the rear side of the vehicle. The right rear side camera 20a and the left rear side camera 20b have an imaging device that converts incident light into an electrical signal, and an optical system that causes light to enter the imaging surface of the imaging device. As the imaging element, a CCD (Charge-Coupled Device) image sensor, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, or the like may be used. The right rear side camera 20a and the left rear side camera 20b correspond to the claimed camera.

右後側方カメラ20aは、自車の後方に撮像面を向けた姿勢にて、自車の右側面に取り付けられる。一例として、ドアミラーを備えた車両における右ドアミラーの設置位置と同様の位置に、右後側方カメラ20aが取り付けられる構成とすればよい。右後側方カメラ20aは、自車の右側方から後方(以下、右後側方)の範囲を、所定のフレームレートで撮像する。   The right rear side camera 20a is attached to the right side surface of the host vehicle in a posture with the imaging surface facing the rear side of the host vehicle. As an example, the right rear side camera 20a may be attached to a position similar to the installation position of the right door mirror in a vehicle including a door mirror. The right rear side camera 20a captures an image of a range from the right side of the own vehicle to the rear (hereinafter, right rear side) at a predetermined frame rate.

左後側方カメラ20bは、自車の後方に撮像面を向けた姿勢にて、自車の左側面に取り付けられる。一例として、ドアミラーを備えた車両における左ドアミラーの設置位置と同様の位置に、左後側方カメラ20bが取り付けられる構成とすればよい。左後側方カメラ20bは、自車の左側方から後方(以下、左後側方)の範囲を、所定のフレームレートで撮像する。   The left rear side camera 20b is attached to the left side surface of the host vehicle in a posture with the imaging surface facing the rear side of the host vehicle. As an example, the left rear side camera 20b may be attached to a position similar to the installation position of the left door mirror in a vehicle equipped with a door mirror. The left rear side camera 20b captures a range from the left side of the host vehicle to the rear (hereinafter, left rear side) at a predetermined frame rate.

周辺監視ECU30は、プロセッサ、揮発性メモリ、不揮発性メモリ、及びこれらを相互に接続するバス等からなるマイクロコンピュータを備え、不揮発性メモリに記憶された制御プログラムを実行することで各種の処理を実行する。周辺監視ECU30は、各カメラ20a,20bの作動を制御する。また、周辺監視ECU30は、各カメラ20a,20bによって撮像される自車後側方の画像を逐次取得し、HCU10へ逐次転送する。   The peripheral monitoring ECU 30 includes a microcomputer including a processor, a volatile memory, a nonvolatile memory, and a bus that interconnects these, and executes various processes by executing a control program stored in the nonvolatile memory. To do. The periphery monitoring ECU 30 controls the operation of each camera 20a, 20b. In addition, the periphery monitoring ECU 30 sequentially acquires images of the rear side of the host vehicle captured by the cameras 20a and 20b, and sequentially transfers them to the HCU 10.

右側方表示器40aは、右後側方カメラ20aによって撮像された自車右後側方の画像を有機ELディスプレイパネル(以下、ELパネル)41aに表示する表示器である。右側方表示器40aのELパネル41aには、右後側方カメラ20aによって撮像された自車右後側方の画像の全体が表示される構成であってもよいし、トリミングされた画像が表示される構成であってもよい。右側方表示器40aのELパネル41aは、例えば図2に示すように、自車の車室内において、ウィンドシールドの右側に位置するピラーの根本近傍に配置すればよい。また、ELパネル41aは、表示領域を運転席のヘッドレストへ向けた姿勢にて自車の構造物に取り付ければよい。   The right side display 40a is a display that displays on the organic EL display panel (hereinafter referred to as EL panel) 41a an image of the right rear side of the host vehicle captured by the right rear side camera 20a. The EL panel 41a of the right side display 40a may be configured to display the entire right rear side image captured by the right rear side camera 20a, or a trimmed image may be displayed. It may be configured. For example, as shown in FIG. 2, the EL panel 41a of the right-side display 40a may be disposed in the vicinity of the base of the pillar located on the right side of the windshield in the cabin of the host vehicle. Further, the EL panel 41a may be attached to the structure of the host vehicle in a posture in which the display area is directed to the headrest of the driver's seat.

左側方表示器40bは、左後側方カメラ20bによって撮像された自車左後側方の画像を右側方表示器40aと同様にしてELパネル41bに表示する表示器である。左側方表示器40bのELパネル41bは、図2に示すように、自車の車室内において、ウィンドシールドの左側に位置するピラーの根本近傍に配置すればよい。また、ELパネル41bは、表示領域を運転席のヘッドレストへ向けた姿勢にて自車の構造物に取り付ければよい。   The left side display 40b is a display that displays an image of the left rear side of the host vehicle captured by the left rear side camera 20b on the EL panel 41b in the same manner as the right side display 40a. As shown in FIG. 2, the EL panel 41b of the left side display 40b may be disposed in the vicinity of the pillar located on the left side of the windshield in the passenger compartment of the vehicle. Further, the EL panel 41b may be attached to the structure of the own vehicle in a posture in which the display area is directed to the headrest of the driver's seat.

右側方表示器40a及び左側方表示器40bでは、液晶ディスプレイ等の有機ELディスプレイ以外のディスプレイを用いる構成としてもよい。しかしながら、車両用のモニタシステムでは、あらゆる環境下において、ぼやけ及びブレのないカメラ映像を表示する性能が要求されることから、応答性能の高い有機ELディスプレイを用いることが好ましい。   The right side display 40a and the left side display 40b may be configured to use a display other than an organic EL display such as a liquid crystal display. However, since the monitor system for vehicles requires the performance of displaying camera images without blurring and blurring under any environment, it is preferable to use an organic EL display with high response performance.

各側方表示器40a,40bは、表示領域に映し出す自車後側方の画像の情報を、HCU10から取得する。各側方表示器40a,40bは、HCU10から入力されるこの情報に基づき、表示領域に自車後側方の画像を表示する。   Each side display 40a, 40b obtains information on the image of the side of the rear side of the vehicle displayed in the display area from the HCU 10. Each side display 40a, 40b displays an image of the side of the vehicle rear side in the display area based on this information input from the HCU 10.

DSM50は、一例として、近赤外光源及び近赤外カメラと、これらを制御する制御ユニット等とによって構成されている。DSM50は、近赤外カメラを自車の運転席側に向けた姿勢にて、例えばステアリングコラムカバーに配置される。なお、DSM50は、自車の運転席に着座したドライバの顔を撮像できる位置であれば他の位置に配置される構成であってもよく、インスツルメントパネルの上面等に配置される構成であってもよい。   As an example, the DSM 50 includes a near-infrared light source and a near-infrared camera, a control unit that controls these, and the like. The DSM 50 is disposed, for example, on the steering column cover in a posture in which the near-infrared camera faces the driver's seat side of the own vehicle. The DSM 50 may be arranged at other positions as long as the face of the driver seated in the driver's seat of the own vehicle can be imaged, and is arranged at the upper surface of the instrument panel. There may be.

DSM50は、近赤外光源によって近赤外光を照射されたドライバの頭部を、近赤外カメラによって撮影する。近赤外カメラによる撮像画像は、制御ユニットによって画像解析される。制御ユニットは、例えばドライバの視線方向を、撮像画像から逐次検出する。一例として、DSM50は、近赤外カメラによってドライバの顔を撮像した撮像画像から、画像認識処理によって顔の輪郭、目、鼻、口などの部位を検出する。そして、各部位の相対的な位置関係からドライバの顔向きを検出する。また、一例として、DSM50は、近赤外カメラによってドライバの顔を撮像した撮像画像から、画像認識処理によって、ドライバの瞳孔及び角膜反射を検出し、検出した瞳孔と角膜反射との位置関係から車室内の基準位置に対する視線方向を検出する。基準位置は例えば近赤外カメラの設置位置等とすればよい。視線方向は、顔向きも考慮して検出する構成とすればよい。DSM50は、検出したドライバの視線方向の情報をHCU10へ出力する。   The DSM 50 photographs the driver's head irradiated with near-infrared light from a near-infrared light source with a near-infrared camera. The image captured by the near-infrared camera is analyzed by the control unit. For example, the control unit sequentially detects the line-of-sight direction of the driver from the captured image. As an example, the DSM 50 detects parts such as a face outline, eyes, nose, and mouth by image recognition processing from a captured image obtained by capturing a driver's face with a near-infrared camera. Then, the face orientation of the driver is detected from the relative positional relationship of each part. Further, as an example, the DSM 50 detects the driver's pupil and corneal reflection from the captured image obtained by capturing the driver's face with a near-infrared camera, and detects the driver's pupil and corneal reflection from the positional relationship between the detected pupil and corneal reflection. The line-of-sight direction with respect to the indoor reference position is detected. The reference position may be, for example, the installation position of the near infrared camera. The line-of-sight direction may be detected in consideration of the face direction. The DSM 50 outputs information on the detected line-of-sight direction of the driver to the HCU 10.

HCU10は、プロセッサ、揮発性メモリ、不揮発性メモリ、及びこれらを相互に接続するバス等からなるマイクロコンピュータを備える。プロセッサは、プログラムに基づいて種々の演算処理を実行する。揮発性メモリは、プロセッサによる演算の作業領域として機能する。不揮発性メモリは、プログラム等の情報を格納する非遷移的実体的記憶媒体である。なお、HCU10での処理の詳細については以下で説明を行う。   The HCU 10 includes a microcomputer that includes a processor, a volatile memory, a nonvolatile memory, and a bus that interconnects the processors. The processor executes various arithmetic processes based on the program. The volatile memory functions as a work area for operations by the processor. The nonvolatile memory is a non-transitional tangible storage medium that stores information such as programs. Details of processing in the HCU 10 will be described below.

<HCU10の概略構成>
続いて、図3を用いてHCU10の概略構成についての説明を行う。HCU10は、図3に示すように、撮像画像取得部101、視線特定部102、視線移動特定部103、及び表示制御部104を機能ブロックとして備える。なお、HCU10が実行する機能の一部または全部を、一つあるいは複数のIC等によりハードウェア的に構成してもよい。このHCU10が請求項の車両用映像処理装置に相当する。
<Schematic configuration of HCU10>
Subsequently, a schematic configuration of the HCU 10 will be described with reference to FIG. As illustrated in FIG. 3, the HCU 10 includes a captured image acquisition unit 101, a line-of-sight specifying unit 102, a line-of-sight movement specifying unit 103, and a display control unit 104 as functional blocks. Note that some or all of the functions executed by the HCU 10 may be configured in hardware by one or a plurality of ICs. The HCU 10 corresponds to the vehicle image processing device of the claims.

撮像画像取得部101は、周辺監視ECU30から逐次転送されてくる、各カメラ20a,20bによって撮像された自車後側方の画像を逐次取得する。撮像画像取得部101は、取得した画像を表示制御部104に出力する。   The captured image acquisition unit 101 sequentially acquires images of the rear side of the host vehicle captured by the cameras 20a and 20b, which are sequentially transferred from the periphery monitoring ECU 30. The captured image acquisition unit 101 outputs the acquired image to the display control unit 104.

視線特定部102は、DSM50から逐次出力されるドライバの視線方向の情報から、自車のドライバの視線方向を逐次特定する。視線特定部102は、ELパネル41a,41bの表示領域に対する自車のドライバの視線方向(図4参照)が少なくとも判別可能なように自車のドライバの視線方向を特定する。一例として、前述の基準位置とELパネル41a,41bの表示領域の位置との関係を予めHCU10の不揮発性メモリに記憶しておくことで、この関係を参照して、DSM50から逐次出力されるドライバの視線方向の情報から、ELパネル41a,41bの表示領域に対する自車のドライバの視線方向を特定すればよい。視線特定部102で特定した視線方向は、例えばHCU10の揮発性メモリに一定期間記憶しておく構成とすればよい。   The line-of-sight specifying unit 102 sequentially specifies the line-of-sight direction of the driver of the host vehicle from the information on the line-of-sight direction of the driver sequentially output from the DSM 50. The line-of-sight specifying unit 102 specifies the line-of-sight direction of the driver of the own vehicle so that at least the line-of-sight direction of the driver of the own vehicle with respect to the display areas of the EL panels 41a and 41b (see FIG. 4) can be discriminated. As an example, the relationship between the reference position described above and the position of the display area of the EL panels 41a and 41b is stored in advance in the nonvolatile memory of the HCU 10, so that the driver that is sequentially output from the DSM 50 with reference to this relationship The direction of the driver's line of sight with respect to the display areas of the EL panels 41a and 41b may be specified from the information on the line of sight of the vehicle. The line-of-sight direction specified by the line-of-sight specifying unit 102 may be stored in a volatile memory of the HCU 10 for a certain period, for example.

視線移動特定部103は、視線特定部102で逐次特定する視線方向から視線の移動方向を特定する。詳しくは、視線移動特定部103は、前述の揮発性メモリに記憶されている、視線特定部102で逐次特定した視線方向の時系列データから、視線の移動方向を特定する。   The line-of-sight movement specifying unit 103 specifies the movement direction of the line of sight from the line-of-sight directions sequentially specified by the line-of-sight specifying unit 102. Specifically, the line-of-sight movement specifying unit 103 specifies the line-of-sight movement direction from the time-series data of the line-of-sight direction sequentially specified by the line-of-sight specifying unit 102 stored in the volatile memory.

表示制御部104は、撮像画像取得部101で取得した自車後側方の画像をもとに、基準となる視認性の自車後側方の画像(以下、通常画像)と、通常画像よりも視認性を低下させた自車後側方の画像(以下、抑制画像)とを切り替えて各側方表示器40a,40bに表示させる。ここで言うところの基準となる視認性の画像とは、抑制画像よりも視認性が高い画像であればよく、各カメラ20a,20bによって撮像された画像に対して、画像処理が行われたものであっても画像処理が行われていないものであっても構わない。また、抑制画像は、通常画像よりも画像の明るさを抑えた画像とすればよい。なお、抑制画像は、通常画像よりも画像の大きさを小さくした画像や通常画像よりも解像度を低下させた画像とする等、視認性が通常画像よりも低下した自車後側方の画像でありさえすればよい。   Based on the image of the vehicle rear side acquired by the captured image acquisition unit 101, the display control unit 104 uses a reference visibility image of the vehicle rear side (hereinafter referred to as a normal image) and a normal image. In addition, the rear side image (hereinafter referred to as a suppression image) with reduced visibility is switched and displayed on each side display 40a, 40b. The reference visibility image referred to here may be an image having higher visibility than the suppression image, and is obtained by performing image processing on the images captured by the cameras 20a and 20b. However, the image processing may not be performed. The suppressed image may be an image in which the brightness of the image is suppressed as compared with the normal image. The suppression image is an image on the side of the rear side of the vehicle whose visibility is lower than that of the normal image, such as an image having a smaller image size than the normal image or an image having a resolution lower than that of the normal image. All you have to do is.

表示制御部104は、視線特定部102で特定する視線方向がELパネル41a,41bの表示領域に向いていない場合には、抑制画像を表示させる。また、表示制御部104は、視線移動特定部103で特定する視線の移動方向が、表示領域を通過する変化をした場合に、移動検知フラグをONにする。表示領域を通過する視線の移動方向の変化とは、例えば視線が右方向に移動を続けながら表示領域外から表示領域内を通過して表示領域外に至る変化を指している。ここでは視線が右方向に移動を続ける場合を例に挙げたが、視線が左方向に移動を続ける場合であってもよく、上方向や下方向や斜め方向に移動を続ける場合であってもよい。なお、視線が右方向に移動して表示領域外から表示領域内に移った後、視線が左方向に移動して表示領域内から表示領域外に移った場合のように、表示領域を通過しない視線の移動方向の変化については、表示制御部104が移動検知フラグをONにはしない。   When the line-of-sight direction specified by the line-of-sight specifying unit 102 does not face the display area of the EL panels 41a and 41b, the display control unit 104 displays a suppression image. Further, the display control unit 104 turns on the movement detection flag when the moving direction of the line of sight specified by the line-of-sight movement specifying unit 103 changes through the display area. The change in the movement direction of the line of sight passing through the display area refers to, for example, a change in which the line of sight passes from the outside of the display area to the outside of the display area while continuing to move in the right direction. Here, the case where the line of sight continues to move in the right direction is taken as an example, but the case where the line of sight continues to move in the left direction may be used, or even when the line of sight continues to move in the upward, downward, or diagonal directions. Good. Note that after the line of sight moves to the right and moves from outside the display area to the display area, the line of sight moves to the left and moves from within the display area to outside the display area. Regarding the change in the movement direction of the line of sight, the display control unit 104 does not turn on the movement detection flag.

表示制御部104は、移動検知フラグがONになるまでは、視線特定部102で特定する視線方向がELパネル41a,41bの表示領域に向いている場合、通常画像を表示させる。一方、移動検知フラグがONになってからの経過時間が規定時間内は、視線特定部102で特定する視線方向がELパネル41a,41bの表示領域に向いている場合であっても、抑制画像を表示させる。移動検知フラグがONになってからの経過時間が規定時間を超えた場合は、視線特定部102で特定する視線方向がELパネル41a,41bの表示領域に向いている場合に、通常画像を表示させる。   Until the movement detection flag is turned ON, the display control unit 104 displays a normal image when the line-of-sight direction specified by the line-of-sight specifying unit 102 faces the display area of the EL panels 41a and 41b. On the other hand, even if the line-of-sight direction specified by the line-of-sight specifying unit 102 is directed to the display area of the EL panels 41a and 41b within the specified time after the movement detection flag is turned on, the suppression image Is displayed. When the elapsed time after the movement detection flag is turned on exceeds a specified time, a normal image is displayed when the line-of-sight direction specified by the line-of-sight specifying unit 102 is directed to the display area of the EL panels 41a and 41b. Let

<HCU10での表示制御関連処理>
ここで、図5のフローチャートを用いて、HCU10での各側方表示器40a,40bに自車後側方の画像を表示させる処理に関連する処理(以下、表示制御関連処理)の流れの一例について説明を行う。図5のフローチャートは、例えば、自車のイグニッション電源がオンになったときに開始する構成とすればよい。
<Display control related processing in HCU10>
Here, an example of the flow of processing (hereinafter referred to as display control related processing) related to the processing of displaying the rear side image of the vehicle on each side display 40a, 40b in the HCU 10 using the flowchart of FIG. Will be described. The flowchart in FIG. 5 may be configured to start when, for example, the ignition power of the own vehicle is turned on.

まず、ステップS1では、撮像画像取得部101が、各カメラ20a,20bによって撮像された自車後側方の画像の取得を開始する。以降は、表示制御関連処理が終了するまで、撮像画像取得部101が、自車後側方の画像を逐次取得するものとする。   First, in step S1, the captured image acquisition unit 101 starts acquiring an image of the rear side of the host vehicle captured by the cameras 20a and 20b. Thereafter, it is assumed that the captured image acquisition unit 101 sequentially acquires images of the rear side of the host vehicle until the display control-related processing ends.

ステップS2では、視線特定部102が、自車のドライバの視線方向を特定し、HCU10の揮発性メモリに記憶する。また、揮発性メモリに既に視線方向が記憶されていた場合には、新たに特定した視線方向を含む視線方向の時系列データから、視線移動特定部103が、視線の移動方向を特定する。   In step S <b> 2, the line-of-sight specifying unit 102 specifies the line-of-sight direction of the driver of the host vehicle and stores it in the volatile memory of the HCU 10. When the line-of-sight direction is already stored in the volatile memory, the line-of-sight movement specifying unit 103 specifies the line-of-sight movement direction from the time-series data of the line-of-sight direction including the newly specified line-of-sight direction.

ステップS3では、S2で特定した視線方向がELパネル41a若しくはELパネル41bの表示領域に向いている場合(S3でYES)には、ステップS4に移る。一方、表示領域に向いていない場合(S3でNO)には、ステップS6に移る。なお、S3における判断は、例えば表示制御部104が行う構成とすればよい。   In step S3, when the line-of-sight direction specified in S2 is facing the display area of the EL panel 41a or EL panel 41b (YES in S3), the process proceeds to step S4. On the other hand, when it is not suitable for the display area (NO in S3), the process proceeds to step S6. The determination in S3 may be configured to be performed by the display control unit 104, for example.

ステップS4では、表示制御部104で移動検知フラグが既にONになっていた場合(S4でYES)には、ステップS11に移る。一方、移動検知フラグがOFFになっていた場合(S4でNO)には、ステップS5に移る。ステップS5では、表示制御部104が、各側方表示器40a,40bに抑制画像を表示させ、ステップS12に移る。   In step S4, when the movement detection flag is already ON in the display control unit 104 (YES in S4), the process proceeds to step S11. On the other hand, if the movement detection flag is OFF (NO in S4), the process proceeds to step S5. In step S5, the display control unit 104 displays the suppression image on each side display 40a, 40b, and proceeds to step S12.

ステップS6では、S2で特定した視線の移動方向が表示領域を通過する変化をしていた場合(S6でYES)には、ステップS7に移る。一方、表示領域を通過する変化をしていなかった場合(S6でNO)には、ステップS11に移る。なお、S6における判断は、例えば表示制御部104が行う構成とすればよい。   In step S6, when the moving direction of the line of sight specified in S2 has changed through the display area (YES in S6), the process proceeds to step S7. On the other hand, if the change through the display area has not been made (NO in S6), the process proceeds to step S11. Note that the determination in S6 may be configured to be performed by the display control unit 104, for example.

ステップS7では、表示制御部104で移動検知フラグが既にONになっていた場合(S7でYES)には、ステップS9に移る。一方、移動検知フラグがOFFになっていた場合(S7でNO)には、ステップS8に移る。ステップS8では、表示制御部104が、移動検知フラグをONにするとともに、タイマを起動し、ステップS11に移る。   In step S7, if the movement detection flag has already been turned on in the display control unit 104 (YES in S7), the process proceeds to step S9. On the other hand, if the movement detection flag is OFF (NO in S7), the process proceeds to step S8. In step S8, the display control unit 104 turns on the movement detection flag, starts a timer, and proceeds to step S11.

ステップS9では、S8でタイマを起動してからの経過時間が規定時間に達した場合、つまりタイムアウトとなった場合(S9でYES)には、ステップS10に移る。一方、タイムアウトとなっていない場合(S9でNO)には、ステップS11に移る。ここで言うところの規定時間は、表示領域を確認する意図のないドライバの視線が表示領域を往復して通過する際にかかると推定される往復時間よりも長い時間であれば、任意に設定可能な時間である。また、規定時間は、表示領域を確認する意図のあるドライバの視線が、たまたま表示領域を通過してしまった後で表示領域に向いた場合に、なるべく迅速に抑制画像から通常画像に切り替えられる程度に短い時間となっていることが好ましい。   In step S9, when the elapsed time after starting the timer in S8 reaches a specified time, that is, when a time-out occurs (YES in S9), the process proceeds to step S10. On the other hand, if the timeout has not occurred (NO in S9), the process proceeds to step S11. The specified time here can be arbitrarily set as long as it is longer than the estimated round-trip time that it takes when the driver's line of sight who does not intend to check the display area passes back and forth through the display area. It ’s a great time. In addition, the specified time is such that when the line of sight of the driver who intends to confirm the display area happens to go to the display area after passing through the display area, it can be switched from the suppressed image to the normal image as quickly as possible. It is preferable that the time is short.

ステップS10では、表示制御部104が、移動検知フラグをクリアして移動検知フラグをOFFにするとともに、タイマをクリアし、ステップS11に移る。ステップS11では、表示制御部104が、各側方表示器40a,40bに通常画像を表示させ、ステップS12に移る。   In step S10, the display control unit 104 clears the movement detection flag to turn off the movement detection flag, clears the timer, and proceeds to step S11. In step S11, the display control part 104 displays a normal image on each side display 40a, 40b, and moves to step S12.

ステップS12では、表示制御関連処理の終了タイミングであった場合(S12でYES)には、表示制御関連処理を終了する。一方、表示制御関連処理の終了タイミングでなかった場合(S12でNO)には、S2に戻って処理を繰り返す。表示制御関連処理の終了タイミングとしては、例えば自車のイグニッション電源がオフになったとき等が挙げられる。   In step S12, if it is the end timing of the display control related process (YES in S12), the display control related process is ended. On the other hand, if it is not the end timing of the display control related process (NO in S12), the process returns to S2 and the process is repeated. As the end timing of the display control related process, for example, when the ignition power source of the own vehicle is turned off can be cited.

<実施形態1での視認性の切り替わりについて>
続いて、図6のタイミングチャートを用いて、自車のドライバの視線方向と視線の移動方向と移動検知フラグと実施形態1での自車後側方の画像の視認性との関係を説明する。また、比較例として、特許文献1に開示の従来技術を適用したと仮定した場合の自車後側方の画像の視認性との関係も説明する。図6では、自車のドライバが車両右側方を目視で確認してから視線を正面に戻した後、続けて右側方表示器40aのELパネル41aの表示領域に表示される自車の右後側方の画像を確認して視線を正面に戻す動作を例に挙げて説明を行う。
<Visibility switching in Embodiment 1>
Subsequently, the relationship among the line-of-sight direction of the driver of the own vehicle, the direction of movement of the line-of-sight, the movement detection flag, and the visibility of the image behind the vehicle in the first embodiment will be described using the timing chart of FIG. . Further, as a comparative example, the relationship with the visibility of the image on the rear side of the host vehicle when it is assumed that the conventional technique disclosed in Patent Document 1 is applied will be described. In FIG. 6, after the driver of the own vehicle visually confirms the right side of the vehicle and returns the line of sight to the front, the right rear of the own vehicle displayed in the display area of the EL panel 41 a of the right side display 40 a is continuously displayed. An explanation will be given by taking as an example an operation of checking the side image and returning the line of sight to the front.

図6のAが、視線方向の時間変化を示している。縦軸が視線方向を示しており、横軸が時間を示している。Aでは、視線方向の種類を、表示領域内と表示領域外とした場合を示している。図6のBが、視線の移動方向の時間変化を示している。縦軸が視線の移動方向を示しており、横軸が時間を示している。Bでは、視線の移動方向の種類を、左と右とした場合を示している。図6のCが、視線の移動状況の時間変化を示している。ここで言うところの視線の移動状況とは、視線が表示領域内を移動している状況と、視線が表示領域の左側の領域外(以下、左表示領域外)を移動している状況と、視線が表示領域の右側の領域外(以下、右表示領域外)を移動している状況との3種類とする。Cの縦軸が視線の移動状況を示しており、横軸が時間を示している。   A in FIG. 6 shows a temporal change in the line-of-sight direction. The vertical axis indicates the line-of-sight direction, and the horizontal axis indicates time. A shows a case where the line-of-sight direction type is set within the display area and outside the display area. B of FIG. 6 shows a temporal change in the movement direction of the line of sight. The vertical axis indicates the direction of movement of the line of sight, and the horizontal axis indicates time. B shows a case where the line-of-sight movement direction is left and right. C in FIG. 6 shows a temporal change in the movement state of the line of sight. The movement of the line of sight here refers to the situation where the line of sight is moving within the display area, the situation where the line of sight is moving outside the left area of the display area (hereinafter, outside the left display area), and There are three types, that is, a situation where the line of sight is moving outside the area on the right side of the display area (hereinafter, outside the right display area). The vertical axis of C shows the movement of the line of sight, and the horizontal axis shows time.

図6のDが、移動検知フラグの時間変化を示している。縦軸が移動検知フラグのONOFFを示しており、横軸が時間を示している。図6のEが、実施形態1での自車後側方の画像の視認性の時間変化を示している。縦軸が視認性の高低を示しており、横軸が時間を示している。通常画像の表示時が視認性「高」であり、抑制画像の表示時が視認性「低」とする。図6のFが、従来技術での自車後側方の画像の視認性の時間変化を示している。縦軸が視認性の高低を示しており、横軸が時間を示している。通常画像の表示時が視認性「高」であり、抑制画像の表示時が視認性「低」とする。   D of FIG. 6 shows the time change of the movement detection flag. The vertical axis indicates ON / OFF of the movement detection flag, and the horizontal axis indicates time. E of FIG. 6 has shown the time change of the visibility of the image of the back side of the own vehicle in Embodiment 1. FIG. The vertical axis indicates the level of visibility, and the horizontal axis indicates time. The visibility is “high” when the normal image is displayed, and the visibility is “low” when the suppression image is displayed. F of FIG. 6 shows the change over time in the visibility of the image behind the host vehicle in the prior art. The vertical axis indicates the level of visibility, and the horizontal axis indicates time. The visibility is “high” when the normal image is displayed, and the visibility is “low” when the suppression image is displayed.

まず、ドライバが車両右側方を目視で確認するまでについて説明を行う。自車のドライバの視線が左表示領域外において右に移動している状況では、実施形態1でも従来技術でも、抑制画像を表示させることになる。続いて、視線が表示領域内に達し、表示領域内において右に移動している状況では、実施形態1でも従来技術でも、通常画像を表示させることになる。そして、視線が右表示領域外に達した場合(つまり、表示領域を通過した場合)に、従来技術では所定時間は通常画像の表示が維持されるのに対し、実施形態1では通常画像から抑制画像に切り替えることになる。よって、従来技術では、視線が表示領域から外れても所定時間は無駄に通常画像を表示させ続けるのに対し、実施形態1では、この無駄が生じずに済む。また、表示領域を通過した場合に、移動検知フラグがONとなる。   First, description will be made until the driver visually confirms the right side of the vehicle. In a situation where the line of sight of the driver of the own vehicle is moving to the right outside the left display area, the suppression image is displayed in both the first embodiment and the conventional technique. Subsequently, in a situation where the line of sight reaches the display area and moves to the right in the display area, the normal image is displayed in both the first embodiment and the conventional technique. When the line of sight reaches the outside of the right display area (that is, when the line of sight passes through the display area), the display of the normal image is maintained for a predetermined time in the conventional technique, whereas the normal image is suppressed in the first embodiment. Switch to the image. Therefore, in the conventional technique, even if the line of sight deviates from the display area, the normal image is continuously displayed for a predetermined time, whereas in the first embodiment, this waste does not occur. In addition, when the display area is passed, the movement detection flag is turned ON.

続いて、ドライバが車両右側方を目視で確認してから視線を正面に戻すまでについて説明を行う。視線が右表示領域外において右に移動してから折り返して左へ移動し、再度表示領域内に達した場合に、従来技術では通常画像が表示されるのに対し、実施形態1では移動検知フラグがOFFになっていないので抑制画像が表示されることになる。視線が表示領域内を左に移動して通過する間も、従来技術では通常画像が表示され、実施形態1では抑制画像が表示されることになる。よって、従来技術では、ドライバが表示領域を確認する意図もないのに、通常画像が無駄に表示され続けるのに対し、実施形態1では、この無駄が生じずに済む。   Next, a description will be given from the time when the driver visually confirms the right side of the vehicle until the line of sight is returned to the front. When the line of sight moves to the right outside the right display area, then turns back, moves to the left, and reaches the display area again, a normal image is displayed in the conventional technique, whereas in the first embodiment, a movement detection flag is displayed. Since is not OFF, a suppression image is displayed. While the line of sight moves to the left in the display area and passes through, the normal image is displayed in the conventional technique, and the suppression image is displayed in the first embodiment. Therefore, in the prior art, the normal image continues to be displayed wastefully even though the driver does not intend to confirm the display area, but in the first embodiment, this waste does not occur.

そして、視線が左表示領域外に達した場合(つまり、表示領域を再度通過した場合)に、従来技術では所定時間は通常画像の表示が維持されるのに対し、実施形態1では抑制画像の表示が維持されることになる。よって、従来技術では、このタイミングでも、視線が表示領域外であっても所定時間は無駄に通常画像を表示させ続けるのに対し、実施形態1では、この無駄が生じずに済む。また、移動検知フラグがオンになってからの経過時間が規定時間に達することにより、移動検知フラグがOFFとなる。   When the line of sight reaches the outside of the left display area (that is, when it passes through the display area again), the display of the normal image is maintained for a predetermined time in the conventional technique, whereas in the first embodiment, the suppression image is displayed. The display will be maintained. Therefore, in the prior art, even at this timing, even when the line of sight is outside the display area, the normal image is continuously displayed for a predetermined time, whereas in the first embodiment, this waste does not occur. Further, when the elapsed time after the movement detection flag is turned on reaches a specified time, the movement detection flag is turned off.

続いて、ドライバが車両右側方を目視で確認したのに続いて右側方表示器40aのELパネル41aの表示領域に表示される自車の右後側方の画像を確認して視線を正面に戻すまでについて説明を行う。自車のドライバの視線が左表示領域外において右に移動している状況において、実施形態1では抑制画像を表示させる一方、従来技術では通常画像の表示が維持されることになる。続いて、視線が表示領域内に達した状況において、過去に表示領域を通過して移動検知フラグがオンになったものの、移動検知フラグが既にOFFとなっているので、実施形態1では、通常画像を表示させることになる。従来技術でも通常画像を表示させることになる。そして、視線が左に折り返して移動し、表示領域内から左表示領域外に戻った場合に、従来技術では所定時間は通常画像の表示が維持されるのに対し、実施形態1では通常画像から抑制画像に切り替えることになる。よって、従来技術では、このタイミングでも、視線が表示領域から外れても所定時間は無駄に通常画像を表示させ続けるのに対し、実施形態1では、この無駄が生じずに済む。   Subsequently, after the driver visually confirms the right side of the vehicle, the right rear side image of the host vehicle displayed in the display area of the EL panel 41a of the right side indicator 40a is confirmed, and the line of sight is set to the front. An explanation will be given until it is returned. In a situation where the line of sight of the driver of the own vehicle is moving to the right outside the left display area, the suppression image is displayed in the first embodiment, while the display of the normal image is maintained in the conventional technique. Subsequently, in a situation where the line of sight has reached the display area, the movement detection flag has already been turned on after passing through the display area in the past. An image will be displayed. Even in the prior art, a normal image is displayed. Then, when the line of sight moves back to the left and returns from the display area to the outside of the left display area, the display of the normal image is maintained for a predetermined time in the conventional technique, whereas in the first embodiment, the normal image is displayed. Switching to the suppression image. Therefore, in the prior art, even at this timing, even if the line of sight departs from the display area, the normal image is continuously displayed for a predetermined time. In the first embodiment, this waste does not occur.

<実施形態1のまとめ>
実施形態1の構成によれば、前述したように、視線方向が表示領域に向いていない場合には、抑制画像を表示させるので、特許文献1に開示の従来技術に比べ、抑制画像よりも視認性の高い通常画像を無駄に表示させるのを防ぐことが可能になる。
<Summary of Embodiment 1>
According to the configuration of the first embodiment, as described above, when the line-of-sight direction does not face the display area, the suppression image is displayed. Therefore, the visual recognition is more visible than the suppression image compared to the conventional technique disclosed in Patent Document 1. It is possible to prevent a normal image with high performance from being displayed wastefully.

また、実施形態1の構成によれば、前述したように、視線方向が表示領域に向いている場合であっても、視線が表示領域を通過する動きを示してから規定時間内の、ドライバが表示領域を確認する意図がない可能性が高い状況においては、抑制画像を表示させる。従って、ドライバが表示領域を確認する意図がない可能性が高い状況において、抑制画像よりも視認性の高い通常画像を無駄に表示させるのを防ぐことが可能になる。   Further, according to the configuration of the first embodiment, as described above, even when the line-of-sight direction is directed to the display area, the driver within a specified time after the movement of the line-of-sight passing through the display area is indicated. In a situation where there is a high possibility that there is no intention to confirm the display area, a suppression image is displayed. Therefore, in a situation where there is a high possibility that the driver does not intend to confirm the display area, it is possible to prevent a normal image having higher visibility than the suppressed image from being displayed wastefully.

さらに、実施形態1の構成によれば、視線が表示領域を通過する動きを示してから規定時間を超えた場合には、視線方向が表示領域に向いている場合に、通常画像を表示させることができる。よって、ドライバが表示領域を確認しようとして、たまたま表示領域を通過してしまった後で表示領域に視線を向けた場合でも、迅速に抑制画像から通常画像に切り替えることが可能になる。   Furthermore, according to the configuration of the first embodiment, when a specified time has passed after the line of sight has shown movement through the display area, the normal image is displayed when the line of sight is directed to the display area. Can do. Therefore, even if the driver tries to check the display area and happens to pass the display area and then turns the line of sight to the display area, the driver can quickly switch from the suppressed image to the normal image.

なお、ELパネル41a,41bでは、自発光素子を用いているため、抑制画像よりも視認性の高い通常画像を無駄に表示させた場合、素子劣化による輝度低下が生じる。これに対して、実施形態1の構成によれば、通常画像を無駄に表示させるのを防ぐため、ELパネル41a,41bの素子劣化による輝度低下を低減することが可能になる。   Since the EL panels 41a and 41b use self-luminous elements, when a normal image having higher visibility than the suppressed image is displayed wastefully, the luminance decreases due to element deterioration. On the other hand, according to the configuration of the first embodiment, it is possible to reduce a decrease in luminance due to element deterioration of the EL panels 41a and 41b in order to prevent a normal image from being displayed wastefully.

(変形例1)
実施形態1では、各側方表示器40a,40bがELパネル41a,41bを用いる構成を示したが、必ずしもこれに限らない。例えば、各側方表示器40a,40bがELパネルでなく液晶パネル等を用いる構成としてもよい。
(Modification 1)
In the first embodiment, the configuration in which the side indicators 40a and 40b use the EL panels 41a and 41b is shown, but the configuration is not necessarily limited thereto. For example, each side display 40a, 40b may be configured to use a liquid crystal panel or the like instead of an EL panel.

(変形例2)
実施形態1では、DSM50でドライバの視線方向を検出する構成を示したが、必ずしもこれに限らない。例えば、眼電位センサで検出したドライバの眼電位とドライバの顔向きからドライバの視線方向を検出する構成としてもよい。また、ドライバの顔向きは、カメラで撮像した顔画像から検出する構成に限らず、Gセンサ等の慣性センサを用いて検出する構成としてもよい。また、運転席のシートやヘッドレストに設けられた赤外線センサ等の複数の測距センサによって、ドライバの頭部や肩等における複数のポイントまでの距離を計測し、計測した複数のポイントの距離からドライバの顔向きを検出する構成としてもよい。
(Modification 2)
In the first embodiment, the configuration in which the line-of-sight direction of the driver is detected by the DSM 50 is shown, but the present invention is not limited to this. For example, the line-of-sight direction of the driver may be detected from the electrooculogram of the driver detected by the electrooculogram sensor and the face direction of the driver. Further, the face orientation of the driver is not limited to a configuration that is detected from a face image captured by a camera, and may be a configuration that is detected using an inertial sensor such as a G sensor. In addition, the distance to multiple points on the driver's head, shoulders, etc. is measured by multiple ranging sensors such as infrared sensors on the driver's seat and headrest. It is good also as a structure which detects the face orientation of.

(実施形態2)
実施形態1では、自車の後側方の画像を各側方表示器40a,40bに表示させる場合を例に挙げて説明を行ったが、必ずしもこれに限らない。自車周辺の画像を自車の走行中に車室内でディスプレイに定常的に表示させる構成であれば、他のディスプレイに表示させる構成に適用してもよい。
(Embodiment 2)
In the first embodiment, the case where the rear side image of the own vehicle is displayed on each side display 40a, 40b has been described as an example, but the present invention is not necessarily limited thereto. The present invention may be applied to a configuration in which an image around the host vehicle is displayed on another display as long as the image is constantly displayed on the display in the passenger compartment while the host vehicle is traveling.

例えば、自車の後方の画像をディスプレイに表示させる構成に適用してもよい。この場合、ディスプレイは、ルームミラーを備えた車両におけるルームミラーの設置位置と同様の位置に、表示領域を運転席のヘッドレストに向けて設けられる構成とすればよい。他にも、ディスプレイは、運転席前方のウィンドシールドやコンバイナに画像を投影するHUD(Head-Up Display)であってもよい。HUDを用いる場合には、表示領域に自車の後方や後側方の画像を表示させる構成等とすればよい。HUDを用いる場合であっても、HUDの投射ユニットのパネルにおける焼き付きを低減することが可能になる。   For example, you may apply to the structure which displays the image of the back of the own vehicle on a display. In this case, the display may be configured so that the display area is provided toward the headrest of the driver's seat at the same position as the position of the room mirror in the vehicle including the room mirror. In addition, the display may be a HUD (Head-Up Display) that projects an image on a windshield or combiner in front of the driver's seat. In the case of using HUD, a configuration in which an image of the rear or rear side of the own vehicle is displayed in the display area may be used. Even when the HUD is used, it is possible to reduce the burn-in in the panel of the projection unit of the HUD.

なお、本発明は、上述した実施形態及び変形例に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態及び変形例にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。   The present invention is not limited to the above-described embodiments and modifications, and various modifications are possible within the scope of the claims, and technical means disclosed in different embodiments and modifications, respectively. Embodiments obtained by appropriately combining the above are also included in the technical scope of the present invention.

1 電子ミラーシステム(車両用モニタシステム)、10 HCU(車両用表示制御装置)、20a 右後側方カメラ(カメラ),20b 左後側方カメラ(カメラ)、30 周辺監視ECU、40a 右側方表示器(ディスプレイ)、40b 左側方表示器(ディスプレイ)、41a,41b ELパネル、50 DSM、101 撮像画像取得部、102 視線特定部、103 視線移動特定部、104 表示制御部 DESCRIPTION OF SYMBOLS 1 Electronic mirror system (vehicle monitor system), 10 HCU (vehicle display control apparatus), 20a Right rear side camera (camera), 20b Left rear side camera (camera), 30 Perimeter monitoring ECU, 40a Right side display (Display), 40b Left side display (display), 41a, 41b EL panel, 50 DSM, 101 Captured image acquisition unit, 102 Gaze identification unit, 103 Gaze movement identification unit, 104 Display control unit

Claims (6)

車両で用いられ、
前記車両に取り付けられたカメラ(20a,20b)で逐次撮像する前記車両周辺の画像を、ディスプレイ(40a,40b)によって前記車両の車室内に位置する表示領域に逐次表示させる表示制御部(104)と、
前記車両のドライバの視線方向を逐次特定する視線特定部(102)とを備え、
前記表示制御部は、前記視線特定部で特定する視線方向が前記表示領域に向いていないことをもとに、基準となる視認性よりも視認性を低下させた抑制画像を表示させる車両用表示制御装置であって、
前記視線特定部で逐次特定する視線方向から視線の移動方向を特定する視線移動特定部(103)を備え、
前記表示制御部は、前記視線特定部で特定する視線方向が前記表示領域に向いている場合であっても、前記視線移動特定部で特定する視線の移動方向が前記表示領域を通過する変化をしていたことをもとに、前記基準となる視認性の画像でなく前記抑制画像を表示させる車両用表示制御装置。
Used in vehicles,
A display control unit (104) for sequentially displaying images around the vehicle, which are sequentially captured by cameras (20a, 20b) attached to the vehicle, in a display region located in the vehicle interior of the vehicle by a display (40a, 40b). When,
A line-of-sight specifying unit (102) for sequentially specifying the line-of-sight direction of the driver of the vehicle,
The display control unit displays a suppressed image in which the visibility is lower than the reference visibility based on the fact that the line-of-sight direction specified by the line-of-sight specifying unit does not face the display area. A control device,
A line-of-sight movement specifying unit (103) for specifying a moving direction of the line of sight from the line-of-sight direction sequentially specified by the line-of-sight specifying unit;
The display control unit is configured to change the movement direction of the line of sight specified by the line-of-sight movement specifying unit through the display area even when the line-of-sight direction specified by the line-of-sight specifying unit faces the display area. Therefore, the vehicle display control apparatus displays the suppression image instead of the reference visibility image.
請求項1において、
前記表示制御部は、前記視線特定部で特定した視線方向が前記表示領域に向いている場合であっても、前記視線移動特定部で特定する視線の移動方向が、前記表示領域外から前記表示領域内を通過して前記表示領域外に変化していたことをもとに、前記基準となる視認性の画像でなく前記抑制画像を表示させる車両用表示制御装置。
In claim 1,
The display control unit is configured such that, even when the line-of-sight direction specified by the line-of-sight specifying unit faces the display area, the line-of-sight movement direction specified by the line-of-sight movement specifying unit is displayed from outside the display area. A vehicle display control apparatus that displays the suppression image instead of the reference visibility image based on passing through the region and changing outside the display region.
請求項2において、
前記表示制御部は、前記視線特定部で特定した視線方向が前記表示領域に向いている場合であっても、前記視線移動特定部で特定する視線の移動方向が、前記表示領域外から前記表示領域内を通過して前記表示領域外に変化してから規定時間が経過するまでは、前記基準となる視認性の画像でなく前記抑制画像を表示させる車両用表示制御装置。
In claim 2,
The display control unit is configured such that, even when the line-of-sight direction specified by the line-of-sight specifying unit faces the display area, the line-of-sight movement direction specified by the line-of-sight movement specifying unit is displayed from outside the display area. A vehicle display control device that displays the suppression image instead of the reference visibility image until a predetermined time has elapsed after passing through the region and changing outside the display region.
請求項3において、
前記表示制御部は、前記表示領域外から前記表示領域内を通過して前記表示領域外に変化する視線の移動方向の変化を特定した場合であっても、前記規定時間が経過した場合には、前記視線特定部で特定した視線方向が前記表示領域に向いている場合に、前記抑制画像でなく前記基準となる視認性の画像を表示させる車両用表示制御装置。
In claim 3,
Even if the display control unit identifies a change in the direction of movement of the line of sight that passes through the display area from outside the display area and changes to the outside of the display area, when the specified time has elapsed, A vehicle display control device that displays not the suppression image but the reference visibility image when the line-of-sight direction specified by the line-of-sight specifying unit faces the display area.
請求項2〜4のいずれか1項において、
前記表示制御部は、前記表示領域外から前記表示領域内を通過して前記表示領域外に変化する視線の移動方向の変化を特定していない場合には、前記視線特定部で特定した視線方向が前記表示領域に向いている場合に、前記基準となる視認性の画像を表示させる車両用表示制御装置。
In any one of Claims 2-4,
When the display control unit has not specified a change in the movement direction of the line of sight that passes through the display region from outside the display region and changes to the outside of the display region, the line-of-sight direction specified by the line-of-sight specifying unit A vehicle display control apparatus that displays a reference visibility image when is directed to the display area.
車両で用いられ、
前記車両に取り付けられ、前記車両周辺の画像を撮像するカメラ(20a,20b)と、
前記カメラで逐次撮像する前記車両周辺の画像を、前記車両の車室内に位置する表示領域に逐次表示させるディスプレイ(40a,40b)と、
請求項1〜5のいずれか1項に記載の車両用表示制御装置(10)とを含む車両用モニタシステム。
Used in vehicles,
Cameras (20a, 20b) attached to the vehicle and capturing images around the vehicle;
A display (40a, 40b) for sequentially displaying images around the vehicle, which are sequentially captured by the camera, in a display area located in a vehicle interior of the vehicle;
A vehicle monitor system including the vehicle display control device (10) according to any one of claims 1 to 5.
JP2016151477A 2016-08-01 2016-08-01 Vehicle display controller and vehicle monitor system Pending JP2018022958A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016151477A JP2018022958A (en) 2016-08-01 2016-08-01 Vehicle display controller and vehicle monitor system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016151477A JP2018022958A (en) 2016-08-01 2016-08-01 Vehicle display controller and vehicle monitor system

Publications (1)

Publication Number Publication Date
JP2018022958A true JP2018022958A (en) 2018-02-08

Family

ID=61165817

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016151477A Pending JP2018022958A (en) 2016-08-01 2016-08-01 Vehicle display controller and vehicle monitor system

Country Status (1)

Country Link
JP (1) JP2018022958A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111284498A (en) * 2018-12-10 2020-06-16 丰田自动车株式会社 Driving support device, driving support system, driving support method, wearable device, and storage medium
CN113165510A (en) * 2018-11-23 2021-07-23 日本精机株式会社 Display control apparatus, method and computer program
CN113386664A (en) * 2020-03-13 2021-09-14 本田技研工业株式会社 Vehicle control device and vehicle without side mirror
US11351918B2 (en) 2018-11-13 2022-06-07 Toyota Jidosha Kabushiki Kaisha Driver-assistance device, driver-assistance system, method of assisting driver, and computer readable recording medium
WO2023229000A1 (en) * 2022-05-26 2023-11-30 日本精機株式会社 Display control device, display system, display device, and display control method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11288259A (en) * 1998-02-06 1999-10-19 Sanyo Electric Co Ltd Method and device for power saving control
JP2008292753A (en) * 2007-05-24 2008-12-04 Denso Corp Information display device
JP2012095229A (en) * 2010-10-28 2012-05-17 Sharp Corp Image display device and computer program for image display device
JP2015152757A (en) * 2014-02-14 2015-08-24 シャープ株式会社 Device of reducing fatigue degree of eye and control method
JP2016055801A (en) * 2014-09-11 2016-04-21 トヨタ自動車株式会社 On-vehicle display device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11288259A (en) * 1998-02-06 1999-10-19 Sanyo Electric Co Ltd Method and device for power saving control
JP2008292753A (en) * 2007-05-24 2008-12-04 Denso Corp Information display device
JP2012095229A (en) * 2010-10-28 2012-05-17 Sharp Corp Image display device and computer program for image display device
JP2015152757A (en) * 2014-02-14 2015-08-24 シャープ株式会社 Device of reducing fatigue degree of eye and control method
JP2016055801A (en) * 2014-09-11 2016-04-21 トヨタ自動車株式会社 On-vehicle display device

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11351918B2 (en) 2018-11-13 2022-06-07 Toyota Jidosha Kabushiki Kaisha Driver-assistance device, driver-assistance system, method of assisting driver, and computer readable recording medium
CN113165510A (en) * 2018-11-23 2021-07-23 日本精机株式会社 Display control apparatus, method and computer program
CN111284498A (en) * 2018-12-10 2020-06-16 丰田自动车株式会社 Driving support device, driving support system, driving support method, wearable device, and storage medium
CN113386664A (en) * 2020-03-13 2021-09-14 本田技研工业株式会社 Vehicle control device and vehicle without side mirror
JP2021142958A (en) * 2020-03-13 2021-09-24 本田技研工業株式会社 Vehicular control apparatus and side-mirrorless vehicle
WO2023229000A1 (en) * 2022-05-26 2023-11-30 日本精機株式会社 Display control device, display system, display device, and display control method

Similar Documents

Publication Publication Date Title
CN108621937B (en) In-vehicle display apparatus, control method of in-vehicle display apparatus, and storage medium storing control program of in-vehicle display apparatus
US10311735B2 (en) Vehicle display system and method of controlling vehicle display system
US8345095B2 (en) Blind spot image display apparatus and method thereof for vehicle
JP2018022958A (en) Vehicle display controller and vehicle monitor system
JP5092776B2 (en) Gaze direction detection device and gaze direction detection method
JP4699054B2 (en) Vehicle perimeter monitoring device
JP6410987B2 (en) Driving support device, driving support method, and driving support program
JP5093611B2 (en) Vehicle periphery confirmation device
US10723266B2 (en) On-vehicle display controller, on-vehicle display system, on-vehicle display control method, and non-transitory storage medium
TWI522257B (en) Vehicle safety system and operating method thereof
JP2006044596A (en) Display device for vehicle
US20160337594A1 (en) Vehicle-mounted display device
JP2014045265A (en) On-vehicle imaging system
JP2017056909A (en) Vehicular image display device
JP2019040354A (en) Driving support device, and driving support method
JP2008037118A (en) Display for vehicle
CN109415020B (en) Luminance control device, luminance control system and luminance control method
JP2011184044A (en) Vehicle surroundings display device
JP5845909B2 (en) Obstacle alarm device
WO2016042714A1 (en) Electron mirror device
WO2013114871A1 (en) Driving assistance device and driving assistance method
JP7293990B2 (en) Vehicle display control device, vehicle display control method, and program
JP2007314023A (en) Driving support system
JP4696825B2 (en) Blind spot image display device for vehicles
JP2008191778A (en) Information display unit

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180911

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190625

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200107