JP2022148048A - Vehicle display control device and vehicle display control method - Google Patents

Vehicle display control device and vehicle display control method Download PDF

Info

Publication number
JP2022148048A
JP2022148048A JP2021049573A JP2021049573A JP2022148048A JP 2022148048 A JP2022148048 A JP 2022148048A JP 2021049573 A JP2021049573 A JP 2021049573A JP 2021049573 A JP2021049573 A JP 2021049573A JP 2022148048 A JP2022148048 A JP 2022148048A
Authority
JP
Japan
Prior art keywords
vehicle
unit
display
monitor
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021049573A
Other languages
Japanese (ja)
Inventor
宏樹 岩井
Hiroki Iwai
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2021049573A priority Critical patent/JP2022148048A/en
Publication of JP2022148048A publication Critical patent/JP2022148048A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Navigation (AREA)
  • Instrument Panels (AREA)

Abstract

To appropriately control a plurality of display components arranged in a vehicle.SOLUTION: A vehicle display control device 30 includes a main monitor 21 arranged at a position visible to a driver of a vehicle, a display control unit 41 that displays an image on a sub-monitor 22 arranged at a position different from the main monitor 21, and a line-of-sight detection unit 34 that detects the driver's line of sight, and when the display control unit 41 detects that the driver is not visually recognizing the sub-monitor 22 on the basis of the detection result of the line-of-sight detection unit 34, the sub-monitor 22 displays a content image for a passenger other than the driver.SELECTED DRAWING: Figure 1

Description

本発明は、車両用表示制御装置および車両用表示制御方法に関する。 The present invention relates to a vehicle display control device and a vehicle display control method.

インストルメントパネルの表示部が有する二つの画面に個別の画像を表示することが可能であるとともに、それぞれの表示内容を相互に切替えることが可能に設定された車両用モニタ装置に関する技術が知られている(例えば、特許文献1参照)。 2. Description of the Related Art There is known a technique related to a vehicle monitor device that is capable of displaying separate images on two screens of a display unit of an instrument panel and that is set so that the respective display contents can be switched between each other. (See Patent Document 1, for example).

特開2012-180080号公報Japanese Unexamined Patent Application Publication No. 2012-180080

車両には、インストルメントパネルの表示部を含め、複数の表示部が配置されている。これらの表示部は、走行中は運転者の運転を支援するための映像、および、運転者以外の搭乗者が快適に過ごせるようにコンテンツ映像を表示可能である。そこで、複数の表示部を適切に制御することが望まれる。 Vehicles are provided with a plurality of display units including a display unit of an instrument panel. These display units can display images for assisting the driver in driving and content images so that passengers other than the driver can spend time comfortably. Therefore, it is desirable to appropriately control the plurality of display units.

本発明は、上記に鑑みてなされたものであって、車内に複数配置された表示部を適切に制御することを目的とする。 SUMMARY OF THE INVENTION It is an object of the present invention to appropriately control a plurality of display units arranged in a vehicle.

上述した課題を解決し、目的を達成するために、本発明に係る車両用表示制御装置は、車両の運転者から視認可能な位置に配置された第一表示部と、前記第一表示部とは異なる位置に配置された第二表示部とに映像を表示させる表示制御部と、前記運転者の視線を検出する視線検出部と、を備え、前記表示制御部は、前記視線検出部の検出結果に基づいて、前記運転者が前記第二表示部を視認していないことを検出した場合、前記第二表示部に前記運転者以外の搭乗者向けのコンテンツ映像を表示させる。 In order to solve the above-described problems and achieve the object, a vehicle display control device according to the present invention includes: a first display unit arranged at a position visible to a driver of a vehicle; includes a display control unit for displaying an image on a second display unit arranged at a different position, and a line-of-sight detection unit for detecting the line of sight of the driver, wherein the display control unit detects the line-of-sight detection unit. Based on the result, when it is detected that the driver is not visually recognizing the second display unit, the second display unit is caused to display a content image for passengers other than the driver.

本発明に係る車両用表示制御方法は、車両の運転者から視認可能な位置に配置された第一表示部と、前記第一表示部とは異なる位置に配置された第二表示部とに映像を表示させる表示制御ステップと、前記運転者の視線を検出する視線検出ステップと、を含み、前記表示制御ステップは、前記視線検出ステップの検出結果に基づいて、前記運転者が前記第二表示部を視認していないことを検出した場合、前記第二表示部に前記運転者以外の搭乗者向けのコンテンツ映像を表示させる。 In a vehicle display control method according to the present invention, an image is displayed on a first display unit arranged at a position visible to a driver of a vehicle, and a second display unit arranged at a position different from the first display unit. and a line-of-sight detection step of detecting the line-of-sight of the driver, wherein the display control step causes the driver to display the second display unit based on the detection result of the line-of-sight detection step is detected, a content image for passengers other than the driver is displayed on the second display unit.

本発明によれば、車内に複数配置された表示部を適切に制御することができるという効果を奏する。 ADVANTAGE OF THE INVENTION According to this invention, there exists an effect that the display part arrange|positioned in the inside of a vehicle can be controlled appropriately.

図1は、第一実施形態に係る車両用表示制御装置を含む車両用表示システムの構成例を示すブロック図である。FIG. 1 is a block diagram showing a configuration example of a vehicle display system including a vehicle display control device according to the first embodiment. 図2は、第一実施形態に係る車両用表示制御装置における処理の流れを示すフローチャートである。FIG. 2 is a flowchart showing the flow of processing in the vehicle display control device according to the first embodiment. 図3は、第一実施形態に係る車両用表示制御装置における処理の流れを示すフローチャートである。FIG. 3 is a flowchart showing the flow of processing in the vehicle display control device according to the first embodiment. 図4は、第一実施形態に係る車両用表示制御装置における処理の流れを示すフローチャートである。FIG. 4 is a flow chart showing the flow of processing in the vehicle display control device according to the first embodiment.

以下に添付図面を参照して、本発明に係る車両用表示制御装置および車両用表示制御方法の実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。 Exemplary embodiments of a vehicle display control device and a vehicle display control method according to the present invention will be described below in detail with reference to the accompanying drawings. In addition, the present invention is not limited by the following embodiments.

[第一実施形態]
(車両用表示システム)
車両用表示システム1は、車両に搭載された複数の表示部に対する表示制御を行う。図1は、第一実施形態に係る車両用表示制御装置30を含む車両用表示システム1の構成例を示すブロック図である。本実施形態では、複数の表示部は、メインモニタ(第一表示部)21と、サブモニタ(第二表示部)22とを含む。
[First embodiment]
(vehicle display system)
A vehicle display system 1 performs display control on a plurality of display units mounted on a vehicle. FIG. 1 is a block diagram showing a configuration example of a vehicle display system 1 including a vehicle display control device 30 according to the first embodiment. In this embodiment, the multiple display units include a main monitor (first display unit) 21 and a sub-monitor (second display unit) 22 .

図1に示すように、車両用表示システム1は、通信部11と、車内カメラ12と、右側後方カメラ13と、左側後方カメラ14と、CAN(Controller Area Network)インターフェース部15と、警告部16と、車両用表示制御装置30とを有する。 As shown in FIG. 1, the vehicle display system 1 includes a communication unit 11, an in-vehicle camera 12, a right rear camera 13, a left rear camera 14, a CAN (Controller Area Network) interface unit 15, and a warning unit 16. and a vehicle display control device 30 .

通信部11は、通信ユニットである。通信部11は、車両に持ち込まれた携帯用電子機器とデータの送受信を可能にする。通信部11は、無線または有線によって通信する。通信部11は、例えば、5G回線等を含む携帯電話の回線を使用してもよい。通信部11は、例えば、Wi-Fi(登録商標)及びBluetooth(登録商標)を含む無線通信規格を使用してもよい。通信部11は、有線による通信規格を使用してもよい。 The communication section 11 is a communication unit. The communication unit 11 enables transmission and reception of data with a portable electronic device brought into the vehicle. The communication unit 11 communicates wirelessly or by wire. The communication unit 11 may use, for example, a mobile phone line including a 5G line. The communication unit 11 may use wireless communication standards including, for example, Wi-Fi (registered trademark) and Bluetooth (registered trademark). The communication unit 11 may use a wired communication standard.

車内カメラ12は、車両の前方に配置され、車両の運転者を撮影する。車内カメラ12は、運転者の顔および手指を撮影する。車内カメラ12は、車両用表示システム1の起動中、常時撮影する。車内カメラ12は、撮影した映像データを車両用表示制御装置30の映像データ取得部32へ出力する。 The in-vehicle camera 12 is arranged in front of the vehicle and photographs the driver of the vehicle. The in-vehicle camera 12 photographs the driver's face and fingers. The in-vehicle camera 12 constantly captures images while the vehicle display system 1 is running. The in-vehicle camera 12 outputs captured video data to the video data acquisition unit 32 of the vehicle display control device 30 .

右側後方カメラ13は、車両の右側方に配置され、車両の右側方を撮影する。右側後方カメラ13は、右サイドモニタ221による確認範囲を撮影する。右側後方カメラ13は、水平方向の画角が例えば15~45°、上下方向の画角が例えば15~45°である。右側後方カメラ13は、車両用表示システム1の起動中、常時撮影する。右側後方カメラ13は、撮影した映像データを車両用表示制御装置30の映像データ取得部32へ出力する。 The right rear camera 13 is arranged on the right side of the vehicle and photographs the right side of the vehicle. The right rear camera 13 photographs the confirmation range by the right side monitor 221 . The right rear camera 13 has a horizontal angle of view of, for example, 15 to 45° and a vertical angle of view of, for example, 15 to 45°. The right rear camera 13 constantly captures images while the vehicle display system 1 is running. The right rear camera 13 outputs captured video data to the video data acquisition unit 32 of the vehicle display control device 30 .

左側後方カメラ14は、車両の左側方に配置され、車両の左側方を撮影する。左側後方カメラ14は、左サイドモニタ222による確認範囲を撮影する。左側後方カメラ14は、水平方向の画角が例えば15~45°、上下方向の画角が例えば15~45°である。左側後方カメラ14は、車両用表示システム1の起動中、常時撮影する。左側後方カメラ14は、撮影した映像データを車両用表示制御装置30の映像データ取得部32へ出力する。 The left rear camera 14 is arranged on the left side of the vehicle and photographs the left side of the vehicle. The left rear camera 14 photographs the confirmation range by the left side monitor 222 . The left rear camera 14 has a horizontal angle of view of, for example, 15 to 45 degrees and a vertical angle of view of, for example, 15 to 45 degrees. The left rear camera 14 constantly captures images while the vehicle display system 1 is running. The left rear camera 14 outputs captured video data to the video data acquisition unit 32 of the vehicle display control device 30 .

CANインターフェース部15は、CANを介して各種車両情報を取得するためのインターフェースである。車両情報には、例えば、エンジンの動作状況や、車両の走行状況などに関する情報が含まれている。 The CAN interface unit 15 is an interface for acquiring various vehicle information via CAN. The vehicle information includes, for example, information related to the operational status of the engine, the running status of the vehicle, and the like.

警告部16は、運転者に対して警告を出力する。警告部16は、例えば、表示部、スピーカ、および、警告灯などの少なくともいずれかを含む。警告部16は、車両用表示制御装置30の警告制御部43からの制御信号に基づいて警告を行う。 A warning unit 16 outputs a warning to the driver. The warning unit 16 includes at least one of, for example, a display unit, a speaker, and a warning light. The warning unit 16 issues a warning based on a control signal from the warning control unit 43 of the vehicle display control device 30 .

(メインモニタ)
メインモニタ21は、車両のメインの表示装置である。メインモニタ21は、車両の走行中、運転者に対する情報を表示する。本実施形態では、メインモニタ21は、車両の走行中、ナビゲーションシステムの経路案内の地図映像のみを表示し、運転者以外の搭乗者向けのテレビ放送の放送映像およびビデオ映像などを含むコンテンツ映像を表示しない。メインモニタ21は、車両の走行中以外は、運転者以外の搭乗者向けのテレビ放送の放送映像およびビデオ映像などを含むコンテンツ映像を表示可能である。メインモニタ21は、車両用表示システム1に専用のものであっても、例えば、ナビゲーションシステムを含む他のシステムと共同で使用するものであってもよい。メインモニタ21は、運転者から視認容易な位置に配置されている。本実施形態では、メインモニタ21は、ダッシュボードの車幅方向の中央部のセンターコンソールに配置されている。メインモニタ21は、例えば、インフォテインメントモニタである。メインモニタ21は、表示部21aと操作部21bとを有する。
(main monitor)
The main monitor 21 is the main display device of the vehicle. The main monitor 21 displays information for the driver while the vehicle is running. In this embodiment, the main monitor 21 displays only map images for route guidance of the navigation system while the vehicle is running, and displays content images including TV broadcast images and video images for passengers other than the driver. Do not show. The main monitor 21 can display content images including television broadcast images and video images for passengers other than the driver except when the vehicle is running. The main monitor 21 may be dedicated to the vehicle display system 1, or may be used jointly with other systems including, for example, a navigation system. The main monitor 21 is arranged at a position where it can be easily viewed by the driver. In this embodiment, the main monitor 21 is arranged on the center console at the center of the dashboard in the vehicle width direction. The main monitor 21 is, for example, an infotainment monitor. The main monitor 21 has a display section 21a and an operation section 21b.

表示部21aは、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)または有機EL(Electro-Luminescence)ディスプレイを含むディスプレイである。表示部21aは、車両用表示システム1の車両用表示制御装置30から出力された映像信号に基づいて、例えば、ナビゲーションシステムの経路案内の地図映像を表示する。操作部21bは、表示部21aに配置されたタッチパネルによって構成される。操作部21bは、ナビゲーションシステムに対する各種操作を受け付け可能である。例えば、操作部21bは、目的地を入力する操作を受付可能である。例えば、操作部21bは、現在位置から目的地までの経路案内を開始する操作を受付可能である。操作部21bは、操作情報をナビゲーション制御装置20の操作受付部42へ出力する。操作部21bは、表示部21aに表示されたコンテンツ映像に対する再生、停止および早送りなどの各種操作を受付可能である。 The display unit 21a is, for example, a display including a liquid crystal display (LCD) or an organic EL (Electro-Luminescence) display. The display unit 21a displays, for example, a route guidance map image of the navigation system based on the image signal output from the vehicle display control device 30 of the vehicle display system 1. FIG. The operation unit 21b is configured by a touch panel arranged on the display unit 21a. The operation unit 21b can receive various operations for the navigation system. For example, the operation unit 21b can accept an operation of inputting a destination. For example, the operation unit 21b can accept an operation to start route guidance from the current position to the destination. The operation unit 21 b outputs operation information to the operation reception unit 42 of the navigation control device 20 . The operation unit 21b can accept various operations such as playback, stop, and fast-forward for the content video displayed on the display unit 21a.

(サブモニタ)
サブモニタ22は、メインモニタ21以外のモニタである。サブモニタ22は、車両用表示システム1に専用のものであっても、例えば、ナビゲーションシステムを含む他のシステムと共同で使用するものであってもよい。サブモニタ22は、メインモニタ21とは異なる位置に配置されている。本実施形態では、サブモニタ22は、右サイドモニタ221と、左サイドモニタ222と、後席モニタ223と、外部モニタ224とを含む。
(Sub monitor)
A sub-monitor 22 is a monitor other than the main monitor 21 . The sub-monitor 22 may be dedicated to the vehicle display system 1 or may be used jointly with other systems including, for example, a navigation system. The sub-monitor 22 is arranged at a different position from the main monitor 21 . In this embodiment, the sub-monitor 22 includes a right side monitor 221 , a left side monitor 222 , a rear seat monitor 223 and an external monitor 224 .

右サイドモニタ221は、表示装置である。右サイドモニタ221は、運転者および運転者以外の搭乗者から視認容易な位置に配置されている。本実施形態では、右サイドモニタ221は、ダッシュボードDの車幅方向の右側に配置されている。右サイドモニタ221は、表示部221aを有する。表示部221aは、例えば、液晶ディスプレイまたは有機ELディスプレイなどを含むディスプレイである。表示部221aは、車両用表示制御装置30の表示制御部41から出力された映像信号に基づき、車両の右側後方映像、地図映像、および、コンテンツ映像のすくなくともいずれかを表示可能である。 The right side monitor 221 is a display device. The right side monitor 221 is arranged at a position where it can be easily viewed by the driver and passengers other than the driver. In this embodiment, the right side monitor 221 is arranged on the right side of the dashboard D in the vehicle width direction. The right side monitor 221 has a display section 221a. The display unit 221a is a display including, for example, a liquid crystal display or an organic EL display. The display unit 221a can display at least one of the right rear image of the vehicle, the map image, and the content image based on the image signal output from the display control unit 41 of the vehicle display control device 30.

左サイドモニタ222は、表示装置である。左サイドモニタ222は、運転者および運転者以外の搭乗者から視認容易な位置に配置されている。本実施形態では、左サイドモニタ222は、ダッシュボードDの車幅方向の左側に配置されている。左サイドモニタ222は、表示部222aを有する。表示部221aは、例えば、液晶ディスプレイまたは有機ELディスプレイを含むディスプレイである。表示部222aは、車両用表示制御装置30の表示制御部41から出力された映像信号に基づき、車両の左側後方映像、地図映像、および、コンテンツ映像のすくなくともいずれかを表示可能である。 Left side monitor 222 is a display device. The left side monitor 222 is arranged at a position where it can be easily viewed by the driver and passengers other than the driver. In this embodiment, the left side monitor 222 is arranged on the left side of the dashboard D in the vehicle width direction. The left side monitor 222 has a display section 222a. The display unit 221a is, for example, a display including a liquid crystal display or an organic EL display. The display unit 222a can display at least one of the left rear image of the vehicle, the map image, and the content image based on the image signal output from the display control unit 41 of the vehicle display control device 30.

後席モニタ223は、タッチパネル付きの表示装置である。後席モニタ223は、後部座席に着座している搭乗者から視認容易な位置に配置されている。本実施形態では、後席モニタ223は、車室の中央上部に配置されている。後席モニタ223は、表示部223aと、操作部223bとを有する。 The rear seat monitor 223 is a display device with a touch panel. The rear seat monitor 223 is arranged at a position where it can be easily viewed by passengers sitting in the rear seats. In this embodiment, the rear seat monitor 223 is arranged in the upper center of the vehicle compartment. The rear seat monitor 223 has a display section 223a and an operation section 223b.

表示部223aは、例えば、液晶ディスプレイまたは有機ELディスプレイなどを含むディスプレイである。表示部223aは、車両用表示制御装置30の表示制御部41から出力された映像信号に基づき、地図映像、および、コンテンツ映像のすくなくともいずれかを表示可能である。操作部223bは、表示部223aに配置されたタッチパネルによって構成される。操作部223bは、表示部223aに表示されたコンテンツ映像に対する各種操作を受付可能である。操作部223bは、ナビゲーションシステムに対する各種操作を受け付け可能である。 The display unit 223a is a display including, for example, a liquid crystal display or an organic EL display. The display unit 223a can display at least one of the map image and the content image based on the image signal output from the display control unit 41 of the display control device 30 for vehicle. The operation unit 223b is configured by a touch panel arranged on the display unit 223a. The operation unit 223b can receive various operations on the content video displayed on the display unit 223a. The operation unit 223b can receive various operations for the navigation system.

外部モニタ224は、タッチパネル付きの表示装置である。外部モニタ224は、車両に持ち込まれた電子機器である。外部モニタ224は、表示部224aと、操作部224bとを有する。 The external monitor 224 is a display device with a touch panel. External monitor 224 is an electronic device brought into the vehicle. The external monitor 224 has a display section 224a and an operation section 224b.

表示部224aは、例えば、液晶ディスプレイまたは有機ELディスプレイなどを含むディスプレイである。表示部224aは、車両用表示制御装置30から出力された映像信号に基づき、地図映像、および、コンテンツ映像のすくなくともいずれかを表示可能である。操作部224bは、表示部224aに配置されたタッチパネルによって構成される。操作部224bは、表示部224aに表示されたコンテンツ映像に対する各種操作を受付可能である。操作部224bは、ナビゲーションシステムに対する各種操作を受け付け可能である。 The display unit 224a is a display including, for example, a liquid crystal display or an organic EL display. The display unit 224a can display at least one of the map image and the content image based on the image signal output from the display control device 30 for vehicle. The operation unit 224b is configured by a touch panel arranged on the display unit 224a. The operation unit 224b can receive various operations on the content video displayed on the display unit 224a. The operation unit 224b can receive various operations for the navigation system.

(車両用表示制御装置)
車両用表示制御装置30は、例えば、CPU(Central Processing Unit)などで構成された演算処理装置である。車両用表示制御装置30は、通信制御部31と、映像データ取得部32と、車両情報取得部33と、視線検出部34と、動作認識部35と、判定部36と、表示制御部41と、操作受付部42と、警告制御部43とを含む。車両用表示制御装置30は、図示しない記憶部に記憶されているプログラムに含まれる命令を実行する。
(Vehicle display control device)
The vehicle display control device 30 is, for example, an arithmetic processing device including a CPU (Central Processing Unit). The vehicle display control device 30 includes a communication control unit 31, a video data acquisition unit 32, a vehicle information acquisition unit 33, a line of sight detection unit 34, a motion recognition unit 35, a determination unit 36, and a display control unit 41. , an operation reception unit 42 and a warning control unit 43 . The vehicle display control device 30 executes commands included in a program stored in a storage unit (not shown).

通信制御部31は、通信部11による通信を制御する。 The communication control section 31 controls communication by the communication section 11 .

映像データ取得部32は、運転者を撮影する車内カメラ12からの映像データを取得する。映像データ取得部32は、取得した映像データを視線検出部34と動作認識部35とに出力する。 The image data acquisition unit 32 acquires image data from the in-vehicle camera 12 that captures the image of the driver. The video data acquisition unit 32 outputs the acquired video data to the line-of-sight detection unit 34 and the action recognition unit 35 .

映像データ取得部32は、車両の左右側後方を撮影する右側後方カメラ13および左側後方カメラ14からの映像データを取得する。映像データ取得部32は、取得したこれらの映像データを表示制御部41に出力する。 The video data acquisition unit 32 acquires video data from the right rear camera 13 and the left rear camera 14 that capture images of the rear left and right sides of the vehicle. The video data acquisition unit 32 outputs the acquired video data to the display control unit 41 .

車両情報取得部33は、車両の走行状態を示す車両情報を、CAN(Controller Area Network)や車両の状態をセンシングする各種センサなどから取得する。車両情報取得部33は、車速を示す車速情報を取得してもよい。車両情報取得部33は、車両情報を判定部36に出力する。 The vehicle information acquisition unit 33 acquires vehicle information indicating the running state of the vehicle from a CAN (Controller Area Network), various sensors that sense the state of the vehicle, and the like. The vehicle information acquisition unit 33 may acquire vehicle speed information indicating vehicle speed. The vehicle information acquisition unit 33 outputs vehicle information to the determination unit 36 .

視線検出部34は、車内映像データから、車両の運転者の視線の向きを検出する。より詳しくは、視線検出部34は、車内映像データから人物を認識する。車内映像データから人物を認識する方法は、公知の方法を使用可能であり、限定されない。検出される人物は、車両の運転者である。視線検出部34は、車内映像データに画像処理を行って、運転者の顔部を認識して、視線の向きを検出する。より詳しくは、視線検出部34は、例えば、車内映像データから運転者の眼を認識して、視線の向きを示す情報を取得する。運転者の目の映像に基づく視線検出は、目の映像から検出した目頭と光彩の位置関係に基づく視線検出や、角膜反射と瞳孔の位置関係に基づく視線検出など任意の手法が適用可能である。 The line-of-sight detection unit 34 detects the line-of-sight direction of the vehicle driver from the in-vehicle image data. More specifically, the line-of-sight detection unit 34 recognizes a person from the in-vehicle image data. A known method can be used for recognizing a person from in-vehicle video data, and is not limited. The detected person is the driver of the vehicle. The line-of-sight detection unit 34 performs image processing on the in-vehicle video data, recognizes the face of the driver, and detects the direction of the line of sight. More specifically, the line-of-sight detection unit 34, for example, recognizes the eyes of the driver from the in-vehicle image data, and acquires information indicating the line-of-sight direction. For line-of-sight detection based on the driver's eye image, any method can be applied, such as line-of-sight detection based on the positional relationship between the inner corner of the eye and the iris detected from the eye image, or line-of-sight detection based on the positional relationship between the corneal reflection and the pupil. .

動作認識部35は、車内映像データから、車両の運転者の手指の動作を認識する。より詳しくは、動作認識部35は、車内映像データから人物を認識する。車内映像データから人物を認識する方法は、公知の方法を使用可能であり、限定されない。検出される人物は、車両の運転者である。動作認識部35は、車内映像データに画像処理を行って、運転者の手指部を認識して、手指の動作を認識する。 The motion recognition unit 35 recognizes the finger motion of the driver of the vehicle from the in-vehicle image data. More specifically, the motion recognition unit 35 recognizes a person from the in-vehicle image data. A known method can be used for recognizing a person from in-vehicle video data, and is not limited. The detected person is the driver of the vehicle. The motion recognition unit 35 performs image processing on the in-vehicle image data, recognizes the driver's hand and fingers, and recognizes the motion of the fingers.

判定部36は、車両情報取得部33が取得した車両情報と、視線検出部34の検出結果および動作認識部35の認識結果の少なくともどちらかに基づいて、車両の走行中の運転者の視線または動作を判定する。 Based on at least one of the vehicle information acquired by the vehicle information acquisition unit 33, the detection result of the line of sight detection unit 34, and the recognition result of the action recognition unit 35, the determination unit 36 determines whether the line of sight or determine the action.

車両が走行中であるとは、例えば、車速がゼロより大きい状態が、所定時間以上継続していることをいう。 The fact that the vehicle is running means, for example, that the vehicle speed has been greater than zero for a predetermined period of time or longer.

判定部36は、例えば、車両情報取得部33が取得した車両情報と動作認識部35の認識結果とに基づいて、車両の走行中に運転者がいずれかの操作部を操作しようとしているか否かを判定する。 For example, based on the vehicle information acquired by the vehicle information acquisition unit 33 and the recognition result of the action recognition unit 35, the determination unit 36 determines whether the driver is trying to operate any operation unit while the vehicle is running. judge.

判定部36は、例えば、車両情報取得部33が取得した車両情報と視線検出部34の検出結果とに基づいて、車両の走行中に運転者が運転席から視認可能なサブモニタ22を視認しているか否かを判定する。本実施形態では、判定部36は、例えば、車両情報取得部33が取得した車両情報と視線検出部34の検出結果とに基づいて、車両の走行中に運転者が右サイドモニタ221または左サイドモニタ222を視認しているか否かを判定する。 For example, based on the vehicle information acquired by the vehicle information acquisition unit 33 and the detection result of the line-of-sight detection unit 34, the determination unit 36 visually recognizes the sub-monitor 22 that the driver can visually recognize from the driver's seat while the vehicle is running. determine whether or not there is In the present embodiment, the determination unit 36 determines whether the driver detects the right side monitor 221 or the left side monitor 221 while the vehicle is running, based on the vehicle information acquired by the vehicle information acquisition unit 33 and the detection result of the line-of-sight detection unit 34, for example. It is determined whether or not the monitor 222 is visually recognized.

判定部36は、例えば、車両情報取得部33が取得した車両情報と視線検出部34の検出結果とに基づいて、車両の走行中に運転者が運転席から視認不可能なサブモニタ22を視認しているか否かを判定する。本実施形態では、判定部36は、例えば、車両情報取得部33が取得した車両情報と視線検出部34の検出結果とに基づいて、車両の走行中に運転者が後席モニタ223または外部モニタ224を視認しているか否かを判定する。 For example, based on the vehicle information acquired by the vehicle information acquisition unit 33 and the detection result of the line-of-sight detection unit 34, the determination unit 36 visually recognizes the sub-monitor 22 that the driver cannot visually recognize from the driver's seat while the vehicle is running. Determine whether or not In the present embodiment, the determination unit 36 determines whether the driver is using the rear seat monitor 223 or the external monitor while the vehicle is running, based on the vehicle information acquired by the vehicle information acquisition unit 33 and the detection result of the line-of-sight detection unit 34, for example. 224 is visually recognized.

上記のいずれにも該当しない場合、メインモニタ21およびサブモニタ22の各種映像表示または各種操作を規制する。上記のいずれにも該当しない場合、メインモニタ21およびサブモニタ22の各種映像表示および各種操作を許可する。 If none of the above applies, various image displays or various operations on the main monitor 21 and the sub monitor 22 are restricted. If none of the above applies, various image displays and various operations on the main monitor 21 and the sub monitor 22 are permitted.

表示制御部41は、各種映像をメインモニタ21及びサブモニタ22に表示させる。表示制御部41は、ナビゲーションシステムから取得した地図映像をメインモニタ21、右サイドモニタ221、左サイドモニタ222、後席モニタ223、および、外部モニタ224に表示させる。表示制御部41は、映像データ取得部32で取得した右側後方カメラ13で撮影した映像を右サイドモニタ221に表示させる。表示制御部41は、映像データ取得部32で取得した左側後方カメラ14で撮影した映像を左サイドモニタ222に表示させる。表示制御部41は、カーオーディオシステムから取得したコンテンツ映像を右サイドモニタ221、左サイドモニタ222、後席モニタ223、および、外部モニタ224に表示させる。 The display control unit 41 causes the main monitor 21 and the sub monitor 22 to display various images. The display control unit 41 causes the main monitor 21 , the right side monitor 221 , the left side monitor 222 , the rear seat monitor 223 and the external monitor 224 to display the map image obtained from the navigation system. The display control unit 41 causes the right side monitor 221 to display the image captured by the right rear camera 13 acquired by the image data acquisition unit 32 . The display control unit 41 causes the left side monitor 222 to display the image captured by the left rear camera 14 acquired by the image data acquisition unit 32 . The display control unit 41 causes the right side monitor 221 , the left side monitor 222 , the rear seat monitor 223 and the external monitor 224 to display the content video acquired from the car audio system.

表示制御部41は、判定部36によって、車両の走行中に運転者がサブモニタ22を視認していないことを検出したと判定された場合、サブモニタ22にコンテンツ映像を表示させる。本実施形態では、表示制御部41は、判定部36によって、車両の走行中に運転者が右サイドモニタ221または左サイドモニタ222を視認していないことを検出したと判定した場合、右サイドモニタ221または左サイドモニタ222にコンテンツ映像を表示させる。 The display control unit 41 causes the sub-monitor 22 to display the content video when the determination unit 36 determines that the driver does not visually recognize the sub-monitor 22 while the vehicle is running. In this embodiment, when the determination unit 36 determines that the driver does not view the right side monitor 221 or the left side monitor 222 while the vehicle is running, the display control unit 41 displays the right side monitor 221 or the left side monitor 222 . 221 or the left side monitor 222 to display the content video.

表示制御部41は、判定部36によって、車両の走行中に運転者がサブモニタ22を視認していることを検出したと判定された場合、サブモニタ22に運転者が視認することが好ましい映像を表示させる。本実施形態では、表示制御部41は、判定部36によって、車両の走行中に運転者が右サイドモニタ221または左サイドモニタ222を視認していると判定した場合、右サイドモニタ221または左サイドモニタ222に、右側後方カメラ13で撮影した映像または左側後方カメラ14で撮影した映像を表示させる。このとき、表示制御部41は、右サイドモニタ221または左サイドモニタ222の一部に、メインモニタ21の映像を小さく重ねて表示してもよい。これにより、右サイドモニタ221または左サイドモニタ222に、助手席同乗者が見ていた映像が継続して表示される。 When the determination unit 36 determines that the driver is viewing the sub-monitor 22 while the vehicle is running, the display control unit 41 displays an image that the driver preferably views on the sub-monitor 22. Let In this embodiment, when the determination unit 36 determines that the driver is viewing the right side monitor 221 or the left side monitor 222 while the vehicle is running, the display control unit 41 displays the right side monitor 221 or the left side monitor 221 . The image taken by the right rear camera 13 or the image taken by the left rear camera 14 is displayed on the monitor 222.例文帳に追加At this time, the display control unit 41 may superimpose the image of the main monitor 21 on a part of the right side monitor 221 or the left side monitor 222 and display it. As a result, the image viewed by the fellow passenger in the front passenger seat is continuously displayed on the right side monitor 221 or the left side monitor 222 .

運転者が視認することが好ましい映像とは、車両の走行中に運転者の運転を支援する映像である。運転者が視認することが好ましい映像とは、例えば、右側後方カメラ13で撮影した映像または左側後方カメラ14で撮影した映像である。運転者が視認することが好ましい映像とは、例えば、ナビゲーションシステムからの映像である。運転者が視認することが好ましい映像とは、車両の走行に関する映像である。運転者が視認することが好ましい映像は、コンテンツ映像を含まない。 The image that the driver preferably visually recognizes is an image that assists the driver in driving while the vehicle is running. The video that the driver preferably views is, for example, the video captured by the right rear camera 13 or the video captured by the left rear camera 14 . The image that the driver preferably views is, for example, an image from a navigation system. The image that the driver preferably visually recognizes is an image relating to the running of the vehicle. The video that the driver preferably views does not include the content video.

表示制御部41は、サブモニタ22の画面の一部にコンテンツ映像を小さく重ねて表示させてもよい。表示制御部41は、サブモニタ22の画面にコンテンツ映像を重ねて表示させる際には、運転者が視認することが好ましい映像がコンテンツ映像より優先され大きく表示される。本実施形態では、表示制御部41は、助手席側に配置されている右サイドモニタ221または左サイドモニタ222の画面の一部にコンテンツ映像を重ねて表示させる。 The display control unit 41 may display the content video in a small size superimposed on a part of the screen of the sub-monitor 22 . When the display control unit 41 superimposes and displays the content video on the screen of the sub monitor 22, the video that is preferable for the driver to visually recognize is prioritized over the content video and displayed larger. In this embodiment, the display control unit 41 superimposes and displays the content video on a part of the screen of the right side monitor 221 or the left side monitor 222 arranged on the passenger seat side.

表示制御部41は、警告制御部43による脇見運転に関する警告の出力から所定時間経過後、後席モニタ223または外部モニタ224への映像の表示を中止する。 The display control unit 41 stops displaying the image on the rear seat monitor 223 or the external monitor 224 after a predetermined time has elapsed since the warning control unit 43 output a warning about inattentive driving.

操作受付部42は、各操作部を介した各種操作を受け付ける。操作受付部42は、各操作部が受け付けた操作の操作情報を取得する。例えば、操作受付部42は、車両用表示システム1に関する各種操作を示す操作情報を取得して制御信号を出力する。操作受付部42は、コンテンツ映像に関する各種操作を示す操作情報を取得して制御信号を出力する。 The operation reception unit 42 receives various operations via each operation unit. The operation reception unit 42 acquires operation information of operations received by each operation unit. For example, the operation reception unit 42 acquires operation information indicating various operations related to the vehicle display system 1 and outputs a control signal. The operation reception unit 42 acquires operation information indicating various operations related to the content video and outputs control signals.

操作受付部42は、サブモニタ22に配置された第二操作部を介した、搭乗者向けのコンテンツ映像に対する操作を受け付ける。操作受付部42は、車両の走行中に判定部36によって運転者がいずれかの操作部を操作しようとしていると判定した場合、各種操作を規制するために、各操作部の機能を制限する。各操作部の機能を制限するとは、例えば、各種操作を入力不可とすることである。 The operation accepting unit 42 accepts an operation on the content video for passengers via the second operating unit arranged on the sub-monitor 22 . When the determination unit 36 determines that the driver is about to operate any operation unit while the vehicle is running, the operation reception unit 42 restricts the function of each operation unit in order to regulate various operations. Restricting the function of each operation unit means, for example, disabling input of various operations.

警告制御部43は、各種警告を警告部16から出力する。例えば、警告制御部43は、操作受付部42によって各種操作が規制された場合、「操作はできません」と表示または音声などによる警告を警告部16から出力する。例えば、警告制御部43は、判定部36によって車両の走行中に運転者が後席モニタ223または外部モニタ224を視認していると判定した場合、脇見運転になっていることを表示または音声などによる警告を警告部16から出力する。 The warning control section 43 outputs various warnings from the warning section 16 . For example, when various operations are restricted by the operation accepting unit 42, the warning control unit 43 outputs a warning such as "Operation is not possible" from the warning unit 16 by display or voice. For example, when the determination unit 36 determines that the driver is visually recognizing the rear seat monitor 223 or the external monitor 224 while the vehicle is running, the warning control unit 43 displays or sounds that the driver is looking aside. is output from the warning unit 16.

(車両用表示制御装置における処理)
次に、図2ないし図4を用いて、車両用表示制御装置30による処理の流れについて説明する。図2は、第一実施形態に係る車両用表示制御装置30における処理の流れを示すフローチャートである。図3は、第一実施形態に係る車両用表示制御装置30における処理の流れを示すフローチャートである。図4は、第一実施形態に係る車両用表示制御装置30における処理の流れを示すフローチャートである。
(Processing in Vehicle Display Control Device)
Next, the flow of processing by the vehicle display control device 30 will be described with reference to FIGS. 2 to 4. FIG. FIG. 2 is a flow chart showing the flow of processing in the vehicle display control device 30 according to the first embodiment. FIG. 3 is a flow chart showing the flow of processing in the vehicle display control device 30 according to the first embodiment. FIG. 4 is a flow chart showing the flow of processing in the vehicle display control device 30 according to the first embodiment.

車両が起動されている間、車両用表示システム1が起動され、図2ないし図4に示す処理が実行される。図2ないし図4に示す処理の前提としては、映像データ取得部32は、車内カメラ12、右側後方カメラ13、および、左側後方カメラ14からの映像データを取得している。車両情報取得部33は、車両情報を取得している。メインモニタ21に地図映像が表示され、右サイドモニタ221の全面に右側後方カメラ13で撮影された映像が表示され、左サイドモニタ222の全面に左側後方カメラ14で撮影された映像が表示されている。 While the vehicle is running, the vehicle display system 1 is activated and the processes shown in FIGS. 2 to 4 are executed. As a premise for the processing shown in FIGS. 2 to 4 , the video data acquisition unit 32 acquires video data from the in-vehicle camera 12 , the right rear camera 13 , and the left rear camera 14 . The vehicle information acquisition unit 33 acquires vehicle information. A map image is displayed on the main monitor 21, an image captured by the right rear camera 13 is displayed on the entire surface of the right side monitor 221, and an image captured by the left rear camera 14 is displayed on the entire surface of the left side monitor 222. there is

まず、図2を用いて、各操作部に対する機能を制限する処理について説明する。車両用表示制御装置30は、運転者が操作しようとしているか否かを判定する(ステップS11)。より詳しくは、車両用表示制御装置30は、動作認識部35によって、運転者の手指の動作を認識する。車両用表示制御装置30は、判定部36によって、車両情報取得部33が取得した車両情報と動作認識部35の認識結果とに基づいて、車両の走行中に運転者がいずれかの操作部を操作しようとしているか否かを判定する。車両用表示制御装置30は、判定部36によって、運転者が操作しようとしていると判定する場合(ステップS11でYes)、ステップS12へ進む。車両用表示制御装置30は、判定部36によって、運転者が操作しようとしていると判定しない場合(ステップS11でNo)、ステップS11の処理を再度実行する。 First, with reference to FIG. 2, processing for restricting functions for each operation unit will be described. The vehicle display control device 30 determines whether or not the driver is about to operate (step S11). More specifically, the vehicular display control device 30 uses the motion recognition unit 35 to recognize motions of the driver's fingers. Based on the vehicle information acquired by the vehicle information acquisition unit 33 and the recognition result of the action recognition unit 35, the vehicle display control device 30 determines whether the driver operates any operation unit while the vehicle is running. Determine whether you are going to operate. When the determination unit 36 determines that the driver is about to operate (Yes in step S11), the vehicle display control device 30 proceeds to step S12. When the determination unit 36 does not determine that the driver is about to operate (No in step S11), the vehicle display control device 30 executes the process of step S11 again.

車両用表示制御装置30は、メインモニタ21およびサブモニタ22の操作を規制する(ステップS12)。より詳しくは、車両用表示制御装置30は、操作受付部42によって、各モニタの各操作部の機能を制限する。 The vehicle display control device 30 regulates the operation of the main monitor 21 and the sub-monitor 22 (step S12). More specifically, the vehicular display control device 30 restricts the function of each operation unit of each monitor by the operation reception unit 42 .

次に、図3を用いて、右サイドモニタ221および左サイドモニタ222の表示制御処理について説明する。車両用表示制御装置30は、運転者がサイドモニタを視認していないか否かを判定する(ステップS21)。より詳しくは、車両用表示制御装置30は、視線検出部34によって、車内映像データから、車両の運転者の視線の向きを検出する。車両用表示制御装置30は、判定部36によって、車両情報取得部33が取得した車両情報と視線検出部34の検出結果とに基づいて、車両の走行中に運転者が右サイドモニタ221または左サイドモニタ222を視認していないか否かを判定する。車両用表示制御装置30は、運転者がサイドモニタを視認していないと判定する場合(ステップS21でYes)、ステップS22へ進む。車両用表示制御装置30は、運転者がサイドモニタを視認していないと判定しない場合(ステップS21でNo)、ステップS23へ進む。 Next, display control processing for the right side monitor 221 and the left side monitor 222 will be described with reference to FIG. The vehicle display control device 30 determines whether or not the driver is viewing the side monitor (step S21). More specifically, the vehicular display control device 30 uses the line-of-sight detection unit 34 to detect the line-of-sight direction of the vehicle driver from the in-vehicle image data. Based on the vehicle information acquired by the vehicle information acquisition unit 33 and the detection result of the line-of-sight detection unit 34, the vehicle display control device 30 determines whether or not the driver is using the right side monitor 221 or the left side monitor 221 while the vehicle is running. It is determined whether or not the side monitor 222 is visually recognized. When the vehicle display control device 30 determines that the driver does not view the side monitor (Yes in step S21), the process proceeds to step S22. If the vehicle display control device 30 does not determine that the driver is not viewing the side monitor (No in step S21), the process proceeds to step S23.

運転者がサイドモニタを視認していないと判定する場合(ステップS21でYes)、車両用表示制御装置30は、サイドモニタにコンテンツ映像を表示させる(ステップS22)。より詳しくは、車両用表示制御装置30は、表示制御部41によって、右サイドモニタ221または左サイドモニタ222にコンテンツ映像を表示させる。 When it is determined that the driver does not view the side monitor (Yes in step S21), the vehicle display control device 30 causes the side monitor to display the content video (step S22). More specifically, the vehicle display control device 30 causes the display control unit 41 to display the content video on the right side monitor 221 or the left side monitor 222 .

運転者がサイドモニタを視認していないと判定しない場合(ステップS21でNo)、車両用表示制御装置30は、サイドモニタに側後方カメラ映像を表示させる(ステップS23)。より詳しくは、車両用表示制御装置30は、表示制御部41によって、右サイドモニタ221または左サイドモニタ222に、右側後方カメラ13で撮影した映像または左側後方カメラ14で撮影した映像を表示させる。車両用表示制御装置30は、表示制御部41によって、右サイドモニタ221または左サイドモニタ222に、メインモニタ21の映像を小さく重ねて表示してもよい。 If it is not determined that the driver is visually recognizing the side monitor (No in step S21), the vehicle display control device 30 displays the side rear camera image on the side monitor (step S23). More specifically, the vehicle display control device 30 causes the display control unit 41 to display the image captured by the right rear camera 13 or the left rear camera 14 on the right side monitor 221 or the left side monitor 222 . The vehicle display control device 30 may cause the display control unit 41 to superimpose the image of the main monitor 21 in a small size on the right side monitor 221 or the left side monitor 222 .

次に、図4を用いて、後席モニタ223および外部モニタ224の表示制御処理について説明する。車両用表示制御装置30は、運転者がサイドモニタ以外のサブモニタ22を視認しているか否かを判定する(ステップS31)。より詳しくは、車両用表示制御装置30は、視線検出部34によって、車内映像データから、車両の運転者の視線の向きを検出する。車両用表示制御装置30は、判定部36によって、車両情報取得部33が取得した車両情報と視線検出部34の検出結果とに基づいて、車両の走行中に運転者が外部モニタ224を視認しているか否かを判定する。車両用表示制御装置30は、運転者がサイドモニタ以外のサブモニタ22を視認していると判定する場合(ステップS31でYes)、ステップS32へ進む。車両用表示制御装置30は、運転者がサイドモニタ以外のサブモニタ22を視認していると判定しない場合(ステップS31でNo)、ステップS31の処理を再度実行する。 Next, display control processing for the rear seat monitor 223 and the external monitor 224 will be described with reference to FIG. The vehicle display control device 30 determines whether or not the driver is viewing the sub-monitor 22 other than the side monitor (step S31). More specifically, the vehicular display control device 30 uses the line-of-sight detection unit 34 to detect the line-of-sight direction of the vehicle driver from the in-vehicle image data. Based on the vehicle information acquired by the vehicle information acquisition unit 33 and the detection result of the line-of-sight detection unit 34, the vehicle display control device 30 determines whether the driver visually recognizes the external monitor 224 while the vehicle is running. Determine whether or not When the vehicle display control device 30 determines that the driver is visually recognizing the sub-monitor 22 other than the side monitor (Yes in step S31), the process proceeds to step S32. When the vehicle display control device 30 does not determine that the driver is visually recognizing the sub-monitor 22 other than the side monitor (No in step S31), the process of step S31 is executed again.

運転者がサイドモニタ以外のサブモニタ22を視認していると判定する場合(ステップS31でYes)、警告を出力する(ステップS32)。より詳しくは、車両用表示制御装置30は、警告制御部43によって、脇見運転になっていることを表示または音声などによる警告を出力する。 If it is determined that the driver is visually recognizing the sub-monitor 22 other than the side monitor (Yes in step S31), a warning is output (step S32). More specifically, the vehicular display control device 30 uses the warning control unit 43 to display or output a warning by sound or the like that the driver is inattentive driving.

(効果)
上述したように、本実施形態は、運転者がサブモニタ22を視認していないことを検出した場合、サブモニタ22に運転者以外の搭乗者向けのコンテンツ映像を表示させることができる。本実施形態は、車両の走行中に運転者が右サイドモニタ221または左サイドモニタ222を視認していないことを検出した場合、右サイドモニタ221または左サイドモニタ222に運転者以外の搭乗者向けのコンテンツ映像を表示させることができる。このように、本実施形態によれば、運転者の視線に応じて、本実施形態は、車内に複数配置されたサブモニタ22を適切に制御することができる。
(effect)
As described above, in the present embodiment, when it is detected that the driver is not looking at the sub-monitor 22, the sub-monitor 22 can display content video for passengers other than the driver. In this embodiment, when it is detected that the driver is not visually recognizing the right side monitor 221 or the left side monitor 222 while the vehicle is running, the right side monitor 221 or the left side monitor 222 is displayed for passengers other than the driver. content video can be displayed. Thus, according to the present embodiment, it is possible to appropriately control the plurality of sub-monitors 22 arranged in the vehicle according to the line of sight of the driver.

本実施形態では、車両の走行中に運転者がサブモニタ22を視認していることを検出したと判定された場合、サブモニタ22に運転者が視認することが好ましい映像を表示させることができる。本実施形態では、車両の走行中に運転者が右サイドモニタ221または左サイドモニタ222を視認していると判定した場合、右サイドモニタ221または左サイドモニタ222に、右側後方カメラ13で撮影した映像または左側後方カメラ14で撮影した映像を表示させることができる。 In this embodiment, when it is determined that the driver is visually recognizing the sub-monitor 22 while the vehicle is running, the sub-monitor 22 can be caused to display an image that is preferable for the driver to visually recognize. In this embodiment, when it is determined that the driver is visually recognizing the right side monitor 221 or the left side monitor 222 while the vehicle is running, the image is captured by the right rear camera 13 on the right side monitor 221 or the left side monitor 222. An image or an image taken by the left rear camera 14 can be displayed.

本実施形態では、サブモニタ22の画面の一部にコンテンツ映像を重ねて表示させることができる。本実施形態では、表示制御部41は、助手席側に配置されている右サイドモニタ221または左サイドモニタ222の画面の一部にコンテンツ映像を重ねて表示させることができる。本実施形態によれば、右サイドモニタ221または左サイドモニタ222に、助手席同乗者が見ていた映像を継続して表示することができる。 In this embodiment, the content video can be superimposed and displayed on a part of the screen of the sub-monitor 22 . In this embodiment, the display control unit 41 can superimpose and display the content video on a part of the screen of the right side monitor 221 or the left side monitor 222 arranged on the passenger seat side. According to this embodiment, it is possible to continuously display the image that the passenger in the front passenger seat was watching on the right side monitor 221 or the left side monitor 222 .

本実施形態は、サブモニタ22の各操作部から、コンテンツ映像に対する各種操作の他に、ナビゲーションシステムに対する各種操作を受け付けることができる。 In this embodiment, various operations for the navigation system can be received from each operation unit of the sub-monitor 22 in addition to various operations for the content video.

図示した車両用表示システムの各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。 Each component of the illustrated vehicle display system is functionally conceptual and does not necessarily have to be physically configured as illustrated. In other words, the specific form of each device is not limited to the illustrated one, and all or part of it may be functionally or physically distributed or integrated in arbitrary units according to the processing load and usage conditions of each device. may

車両用表示システムの構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。 The configuration of the vehicular display system is realized by, for example, a program loaded in a memory as software. In the above embodiments, functional blocks realized by cooperation of these hardware or software have been described. That is, these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.

上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。 The components described above include those that can be easily assumed by those skilled in the art and those that are substantially the same. Furthermore, the configurations described above can be combined as appropriate. Also, various omissions, substitutions, or modifications of the configuration are possible without departing from the gist of the present invention.

(変形例)
判定部36は、例えば、車両の走行中に、外部モニタ224が運転席で使用されているか否かを判定してもよい。より詳しくは、作認識部35は、運転者の動作として、運転者が運転席で外部モニタ224を使用していることを認識する。動作認識部35は、車内映像データに画像処理を行って、運転者の手指を認識する。動作認識部35は、車内映像データにパターンマッチングなどの画像処理を行って、外部モニタ224を認識する。判定部36は、車両情報取得部33が取得した車両情報と動作認識部35の認識結果とに基づいて、車両の走行中に外部モニタ224が運転席で使用されているか否かを判定してもよい。判定部36は、例えば、認識された外部モニタ224の映像データにおける位置から、運転席で使用されていると判定してもよい。判定部36は、例えば、認識された外部モニタ224の映像データにおける大きさから、運転席で使用されていると判定してもよい。車両の走行中に外部モニタ224が運転席で使用されていると判定された場合、警告制御部43によって警告を出力した後、操作受付部42によって外部モニタ224における各種操作を規制してもよい。
(Modification)
The determination unit 36 may determine, for example, whether the external monitor 224 is being used in the driver's seat while the vehicle is running. More specifically, the motion recognition unit 35 recognizes that the driver is using the external monitor 224 in the driver's seat as the driver's motion. The action recognition unit 35 performs image processing on the in-vehicle image data to recognize the driver's fingers. The action recognition unit 35 recognizes the external monitor 224 by performing image processing such as pattern matching on the in-vehicle video data. The determination unit 36 determines whether or not the external monitor 224 is being used in the driver's seat while the vehicle is running, based on the vehicle information acquired by the vehicle information acquisition unit 33 and the recognition result of the action recognition unit 35. good too. The determination unit 36 may determine that the external monitor 224 is used in the driver's seat, for example, from the recognized position in the video data of the external monitor 224 . The determination unit 36 may determine that the device is used in the driver's seat, for example, from the recognized size in the video data of the external monitor 224 . When it is determined that the external monitor 224 is being used in the driver's seat while the vehicle is running, after the warning control unit 43 outputs a warning, the operation reception unit 42 may restrict various operations on the external monitor 224. .

視線検出部34は、助手席に着座している搭乗者の視線を検出してもよい。この場合、車内カメラ12は、助手席に着座している搭乗者の顔も撮影する。表示制御部41は、判定部36によって、車両の走行中に助手席に着座している搭乗者がサブモニタ22を視認していないことを検出したと判定された場合、サブモニタ22にコンテンツ映像を非表示にする。コンテンツ映像が重ねて表示されている場合、コンテンツ映像を非表示にして、右側後方カメラ13で撮影した映像または左側後方カメラ14で撮影した映像のみを表示させる。 The line-of-sight detection unit 34 may detect the line of sight of the passenger sitting in the front passenger seat. In this case, the in-vehicle camera 12 also photographs the face of the passenger sitting in the front passenger seat. When the determination unit 36 determines that the passenger sitting in the front passenger seat is not viewing the sub-monitor 22 while the vehicle is running, the display control unit 41 does not display the content video on the sub-monitor 22 . display. When the content video is superimposed and displayed, the content video is hidden and only the video captured by the right rear camera 13 or the video captured by the left rear camera 14 is displayed.

1 車両用表示システム
11 通信部
12 車内カメラ
13 右側後方カメラ
14 左側後方カメラ
15 CAN I/F部
16 警告部
21 メインモニタ(第一表示部)
21a 表示部
21b 操作部
22 サブモニタ(第二表示部)
221 右サイドモニタ
221a 表示部
222 左サイドモニタ
222a 表示部
223 後席モニタ
223a 表示部
223b 操作部
224 外部モニタ
224a 表示部
224b 操作部
30 車両用表示制御装置
31 通信制御部
32 映像データ取得部
33 車両情報取得部
34 視線検出部
35 動作認識部
36 判定部
41 表示制御部
42 操作受付部
43 警告制御部
1 Vehicle Display System 11 Communication Unit 12 In-vehicle Camera 13 Right Rear Camera 14 Left Rear Camera 15 CAN I/F Section 16 Warning Section 21 Main Monitor (First Display Section)
21a display unit 21b operation unit 22 sub monitor (second display unit)
221 right side monitor 221a display unit 222 left side monitor 222a display unit 223 rear seat monitor 223a display unit 223b operation unit 224 external monitor 224a display unit 224b operation unit 30 vehicle display control device 31 communication control unit 32 video data acquisition unit 33 vehicle Information Acquisition Unit 34 Gaze Detection Unit 35 Action Recognition Unit 36 Judgment Unit 41 Display Control Unit 42 Operation Acceptance Unit 43 Warning Control Unit

Claims (5)

車両の運転者から視認可能な位置に配置された第一表示部と、前記第一表示部とは異なる位置に配置された第二表示部とに映像を表示させる表示制御部と、
前記運転者の視線を検出する視線検出部と、
を備え、
前記表示制御部は、前記視線検出部の検出結果に基づいて、前記運転者が前記第二表示部を視認していないことを検出した場合、前記第二表示部に前記運転者以外の搭乗者向けのコンテンツ映像を表示させる、
車両用表示制御装置。
a display control unit for displaying an image on a first display unit arranged at a position visible from the driver of the vehicle and a second display unit arranged at a position different from the first display unit;
a line-of-sight detection unit that detects the driver's line of sight;
with
When the display control unit detects that the driver is not visually recognizing the second display unit based on the detection result of the line-of-sight detection unit, to display a content video for
Vehicle display control device.
前記表示制御部は、前記第二表示部の画面の一部に前記コンテンツ映像を表示させる、
請求項1に記載の車両用表示制御装置。
The display control unit displays the content video on a part of the screen of the second display unit,
The vehicle display control device according to claim 1 .
前記第二表示部に配置された第二操作部を介した、前記コンテンツ映像に対する操作を受け付ける操作受付部、
を備える、請求項1または2に記載の車両用表示制御装置。
an operation reception unit that receives an operation on the content video via a second operation unit arranged on the second display unit;
The vehicle display control device according to claim 1 or 2, comprising:
前記第一表示部は、ナビゲーションシステムの経路案内の地図映像を表示するメインモニタであり、
前記第二表示部は、サイドモニタである、
請求項1から3のいずれか1項に記載の車両用表示制御装置。
The first display unit is a main monitor that displays a map image for route guidance of a navigation system,
The second display unit is a side monitor,
The vehicle display control device according to any one of claims 1 to 3.
車両の運転者から視認可能な位置に配置された第一表示部と、前記第一表示部とは異なる位置に配置された第二表示部とに映像を表示させる表示制御ステップと、
前記運転者の視線を検出する視線検出ステップと、
を含み、
前記表示制御ステップは、前記視線検出ステップの検出結果に基づいて、前記運転者が前記第二表示部を視認していないことを検出した場合、前記第二表示部に前記運転者以外の搭乗者向けのコンテンツ映像を表示させる、
車両用表示制御方法。
a display control step of displaying an image on a first display unit arranged at a position visible to the driver of the vehicle and a second display unit arranged at a position different from the first display unit;
a line-of-sight detection step of detecting the driver's line of sight;
including
In the display control step, when it is detected that the driver is not visually recognizing the second display unit based on the detection result of the line-of-sight detection step, a passenger other than the driver is displayed on the second display unit. to display a content video for
Vehicle display control method.
JP2021049573A 2021-03-24 2021-03-24 Vehicle display control device and vehicle display control method Pending JP2022148048A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021049573A JP2022148048A (en) 2021-03-24 2021-03-24 Vehicle display control device and vehicle display control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021049573A JP2022148048A (en) 2021-03-24 2021-03-24 Vehicle display control device and vehicle display control method

Publications (1)

Publication Number Publication Date
JP2022148048A true JP2022148048A (en) 2022-10-06

Family

ID=83463169

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021049573A Pending JP2022148048A (en) 2021-03-24 2021-03-24 Vehicle display control device and vehicle display control method

Country Status (1)

Country Link
JP (1) JP2022148048A (en)

Similar Documents

Publication Publication Date Title
CN111163968B (en) Display system in a vehicle
JP5905691B2 (en) Vehicle operation input device
EP2826689B1 (en) Mobile terminal
US20150352953A1 (en) Vehicle control system with mobile device interface
KR20190130517A (en) Method for calculating an augmented reality-fade in for displaying a navigation route on ar-display unit, device for carrying out the method, as well as motor vehicle and computer program
US20200117927A1 (en) Display control device, display control system, display control method, and display control program
EP2441635A1 (en) Vehicle User Interface System
US8874321B2 (en) Display control apparatus for vehicle
US10562539B2 (en) Systems and methods for control of vehicle functions via driver and passenger HUDs
JP6026011B2 (en) Display control apparatus, information display method, and information display system
JP5047650B2 (en) In-vehicle camera system
JP2014167438A (en) Information notification device
US10674003B1 (en) Apparatus and system for identifying occupants in a vehicle
JP2010018201A (en) Driver assistant device, driver assistant method, and driver assistant processing program
US10691122B2 (en) In-vehicle system
US20120253597A1 (en) Information display system, on-board device, and portable device
JP5948902B2 (en) Display control device
JP6686450B2 (en) Glasses type information display device
CN112429015B (en) Driving support device and driving support method
JP2022148048A (en) Vehicle display control device and vehicle display control method
KR101525351B1 (en) Display control system for vehicle interworking portable terminal
CN113044056B (en) Information providing device
JP2022086263A (en) Information processing apparatus and information processing method
WO2022168696A1 (en) Display system for displaying gesture operation result
JP2016099891A (en) Display operation apparatus