JP2020102027A - 制御装置、車両、画像表示システム、及び画像表示方法 - Google Patents

制御装置、車両、画像表示システム、及び画像表示方法 Download PDF

Info

Publication number
JP2020102027A
JP2020102027A JP2018240111A JP2018240111A JP2020102027A JP 2020102027 A JP2020102027 A JP 2020102027A JP 2018240111 A JP2018240111 A JP 2018240111A JP 2018240111 A JP2018240111 A JP 2018240111A JP 2020102027 A JP2020102027 A JP 2020102027A
Authority
JP
Japan
Prior art keywords
vehicle
driver
image
unit
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018240111A
Other languages
English (en)
Other versions
JP7176398B2 (ja
Inventor
卓郎 柳
Takuro Yanagi
卓郎 柳
麻貴 田村
Maki Tamura
麻貴 田村
睦実 松浦
Mutsumi Matsuura
睦実 松浦
井上 利彦
Toshihiko Inoue
利彦 井上
直樹 山室
Naoki Yamamuro
直樹 山室
林 貴志
Takashi Hayashi
貴志 林
孝広 志賀
Takahiro Shiga
孝広 志賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2018240111A priority Critical patent/JP7176398B2/ja
Priority to US16/600,687 priority patent/US11468692B2/en
Priority to CN201911319897.3A priority patent/CN111355925B/zh
Publication of JP2020102027A publication Critical patent/JP2020102027A/ja
Application granted granted Critical
Publication of JP7176398B2 publication Critical patent/JP7176398B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/265Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network constructional aspects of navigation devices, e.g. housings, mountings, displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4047Attentiveness, e.g. distracted by mobile phone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/44Event detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15Biometric patterns based on physiological signals, e.g. heartbeat, blood flow

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】運転手が運転中に見逃した対象を後で確認できるようにする。【解決手段】制御装置31は、制御部11を備える。制御部11は、車両10の運転手が運転中に車両10の外に存在する対象を見逃したことをイベントとして検出する。制御部11は、検出したイベントで見逃された対象を含む画像である対象画像41の、運転手に向けての出力を制御する。【選択図】図2

Description

本発明は、制御装置、車両、画像表示システム、及び画像表示方法に関する。
特許文献1には、視聴者がテレビの表示画面に映し出された映像を、よそ見をして見逃した場合に、その映像を視聴者が後で見ることができるように画像記録部に記録する技術が記載されている。
特開2007−318431号公報
運転手が運転中に店などの場所、若しくは看板などの固定された物を通り過ぎたとき、又は人、若しくは車などの移動する物とすれ違ったときに、その場所、物、又は人を見逃し、後で気になってしまうことがある。その結果、運転手の集中力が低下し、安全運転に支障をきたすおそれがある。
特許文献1に記載の技術は、テレビの視聴者が映像を見逃した場合に適用されるものであり、運転手が運転中に場所、物、又は人といった対象を見逃した場合には適用できない。
本発明の目的は、運転手が運転中に見逃した対象を後で確認できるようにすることである。
本発明の一実施形態に係る制御装置は、
車両の運転手が運転中に前記車両の外に存在する対象を見逃したことをイベントとして検出し、検出したイベントで見逃された対象を含む画像である対象画像の、前記運転手に向けての出力を制御する制御部を備える。
本発明の一実施形態に係る画像表示方法では、
制御装置が、車両の運転手が運転中に前記車両の外に存在する対象を見逃したことをイベントとして検出し、
前記車両の撮影部が、前記制御装置により検出されたイベントで見逃された対象を含む画像である対象画像を撮影し、
前記車両の出力部と、端末機器とのいずれかが、前記撮影部により撮影された対象画像を前記運転手に向けて表示する。
本発明の一実施形態によれば、運転手が運転中に見逃した対象を後で確認できる。
本発明の一実施形態に係る画像表示システムの構成を示す模式図である。 本発明の一実施形態に係る画像表示システムの構成を示すブロック図である。 本発明の一実施形態に係る画像表示システムの動作を示すフローチャートである。 本発明の一実施形態に係る画像表示システムの動作を示すフローチャートである。
以下、本発明の実施形態について、図を参照して説明する。
各図中、同一又は相当する部分には、同一符号を付している。本実施形態の説明において、同一又は相当する部分については、説明を適宜省略又は簡略化する。
図1及び図2を参照して、本実施形態の概要を説明する。
制御装置31は、車両10の運転手が運転中に車両10の外に存在する対象を見逃したことをイベントとして検出する。車両10の撮影部15は、制御装置31により検出されたイベントで見逃された対象を含む画像である対象画像41を撮影する。車両10の出力部17は、撮影部15により撮影された対象画像41を車両10の運転手に向けて表示する。あるいは、端末機器20は、車両10の撮影部15により撮影された対象画像41を車両10の運転手に向けて表示する。
車両10の運転手は、運転中に場所、物、又は人といった対象を見逃しても、後で、車両10の出力部17と、端末機器20とのいずれかに表示された対象画像41を見ることで、見逃した対象を確認できる。よって、本実施形態によれば、運転手は、運転中に見逃した対象のことが気にならず、集中力を保つことができる。その結果、運転の安全性が向上する。
対象画像41は、車両10の運転手が見逃した対象のみをアップにした画像でもよいし、又はその対象の周辺を含む画像でもよい。対象画像41は、車両10の運転手が見逃した対象が写っているフレームを少なくとも1つ含む動画像でもよいし、又はその対象が写っている静止画像でもよい。対象画像41は、本実施形態では、車両10から撮影された画像であるが、車両10の後続車両など、別の車両から撮影された画像でもよい。対象画像41が車両10とは別の車両から撮影された画像である場合、制御装置31は、対象画像41を、車車間通信、路車間通信、又はネットワーク32経由の通信によって、撮影元の車両から取得してよい。
車両10は、本実施形態では、自動車であるが、他の種類の車両でもよい。
図2を参照して、本実施形態に係る画像表示システム30の構成を説明する。
画像表示システム30は、制御装置31と、端末機器20とを備える。車両10の出力部17が対象画像41を表示する場合は、端末機器20を省略してもよい。
制御装置31は、車両10に備えられている。制御装置31は、ナビゲーション装置などの車載機器として構成されてもよいし、又はスマートフォンなど、車載機器に接続して使用される電子機器として構成されてもよい。
制御装置31は、制御部11、記憶部12、通信部13、及び測位部14といった構成要素を備える。
制御部11は、1つ以上のプロセッサである。プロセッサとしては、CPUなどの汎用プロセッサ、又は特定の処理に特化した専用プロセッサを使用できる。「CPU」は、Central Processing Unitの略語である。制御部11には、1つ以上の専用回路が含まれてもよいし、又は制御部11において、1つ以上のプロセッサを1つ以上の専用回路に置き換えてもよい。専用回路としては、例えば、FPGA又はASICを使用できる。「FPGA」は、Field-Programmable Gate Arrayの略語である。「ASIC」は、Application Specific Integrated Circuitの略語である。制御部11には、1つ以上のECUが含まれてもよい。「ECU」は、Electronic Control Unitの略語である。制御部11は、制御装置31を含む車両10の各部を制御しながら、制御装置31の動作に関わる情報処理を実行する。
記憶部12は、1つ以上のメモリである。メモリとしては、例えば、半導体メモリ、磁気メモリ、又は光メモリを使用できる。メモリは、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してよい。記憶部12には、制御装置31の動作に用いられる情報と、制御装置31の動作によって得られた情報とが記憶される。
通信部13は、1つ以上の通信モジュールである。通信モジュールとしては、例えば、DSRC、LTE、4G、又は5Gに対応した通信モジュールを使用できる。「DSRC」は、Dedicated Short Range Communicationsの略語である。「LTE」は、Long Term Evolutionの略語である。「4G」は、4th Generationの略語である。「5G」は、5th Generationの略語である。通信モジュールは、通信機能を有する。通信部13は、制御装置31の動作に用いられる情報を受信し、また制御装置31の動作によって得られる情報を送信する。
測位部14は、1つ以上の測位モジュールである。測位モジュールとしては、例えば、GPS、QZSS、GLONASS、又はGalileoに対応した測位モジュールを使用できる。「GPS」は、Global Positioning Systemの略語である。「QZSS」は、Quasi-Zenith Satellite Systemの略語である。QZSSの衛星は、準天頂衛星と呼ばれる。「GLONASS」は、Global Navigation Satellite Systemの略語である。測位部14は、車両10の位置情報を取得する。
制御装置31の機能は、本実施形態に係る制御プログラムを、制御部11に含まれるプロセッサで実行することにより実現される。すなわち、制御装置31の機能は、ソフトウェアにより実現される。制御プログラムは、制御装置31の動作に含まれるステップの処理をコンピュータに実行させることで、当該ステップの処理に対応する機能をコンピュータに実現させるためのプログラムである。すなわち、制御プログラムは、コンピュータを制御装置31として機能させるためのプログラムである。
プログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、又は半導体メモリを使用できる。プログラムの流通は、例えば、プログラムを記録したDVD又はCD−ROMなどの可搬型記録媒体を販売、譲渡、又は貸与することによって行う。「DVD」は、Digital Versatile Discの略語である。「CD−ROM」は、Compact Disc Read Only Memoryの略語である。プログラムをサーバのストレージに格納しておき、ネットワークを介して、サーバから他のコンピュータにプログラムを転送することにより、プログラムを流通させてもよい。プログラムをプログラムプロダクトとして提供してもよい。
コンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、メモリに格納する。そして、コンピュータは、メモリに格納されたプログラムをプロセッサで読み取り、読み取ったプログラムに従った処理をプロセッサで実行する。コンピュータは、可搬型記録媒体から直接プログラムを読み取り、プログラムに従った処理を実行してもよい。コンピュータは、コンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行してもよい。サーバからコンピュータへのプログラムの転送は行わず、実行指示及び結果取得のみによって機能を実現する、いわゆるASP型のサービスによって処理を実行してもよい。「ASP」は、Application Service Providerの略語である。プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるものが含まれる。例えば、コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータは、「プログラムに準ずるもの」に該当する。
制御装置31の一部又は全ての機能が、制御部11に含まれる専用回路により実現されてもよい。すなわち、制御装置31の一部又は全ての機能が、ハードウェアにより実現されてもよい。
車両10には、制御装置31のほかに、撮影部15、入力部16、及び出力部17が備えられている。車両10において、撮影部15、入力部16、及び出力部17を制御装置31の一部としてもよい。
撮影部15は、1つ以上の車載カメラである。車載カメラとしては、例えば、フロントカメラ、サイドカメラ、リアカメラ、又は車内カメラを使用できる。撮影部15は、車両10から画像を撮影する。すなわち、撮影部15は、車両10の外の画像を撮影する。撮影部15は、車両10の運転席、助手席、又は後部座席など、車両10の中の画像も撮影する。
入力部16は、1つ以上の入力インタフェースである。入力インタフェースとしては、例えば、物理キー、静電容量キー、ポインティングデバイス、車載ディスプレイと一体的に設けられたタッチスクリーン、又は車載マイクを使用できる。入力部16は、制御装置31の動作に用いられる情報の入力を、車両10の運転手などのユーザから受け付ける。
出力部17は、1つ以上の出力インタフェースである。出力インタフェースとしては、例えば、車載ディスプレイ又は車載スピーカを使用できる。車載ディスプレイとしては、例えば、HUD、LCD、又は有機ELディスプレイを使用できる。「HUD」は、Head-Up Displayの略語である。「LCD」は、Liquid Crystal Displayの略語である。「EL」は、Electro Luminescenceの略語である。車載ディスプレイは、表示機能を有する。出力部17は、制御装置31の動作によって得られる情報をユーザに向けて出力する。
端末機器20は、車両10の運転手によって使用される機器である。端末機器20は、スマートフォンなど、車両10の運転手によって携帯されるモバイル機器として構成されてもよいし、又はデスクトップPCなど、車両10の運転手によって自宅又はオフィスで使用される非モバイル機器として構成されてもよい。「PC」は、Personal Computerの略語である。
端末機器20は、制御部21、記憶部22、通信部23、撮影部24、入力部25、及び出力部26といった構成要素を備える。
制御部21は、1つ以上のプロセッサである。プロセッサとしては、CPUなどの汎用プロセッサ、又は特定の処理に特化した専用プロセッサを使用できる。制御部21には、1つ以上の専用回路が含まれてもよいし、又は制御部21において、1つ以上のプロセッサを1つ以上の専用回路に置き換えてもよい。専用回路としては、例えば、FPGA又はASICを使用できる。制御部21は、端末機器20の各部を制御しながら、端末機器20の動作に関わる情報処理を実行する。
記憶部22は、1つ以上のメモリである。メモリとしては、例えば、半導体メモリ、磁気メモリ、又は光メモリを使用できる。メモリは、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してよい。記憶部22には、端末機器20の動作に用いられる情報と、端末機器20の動作によって得られた情報とが記憶される。
通信部23は、1つ以上の通信モジュールである。通信モジュールとしては、例えば、LTE、4G、5G、又はLAN規格に対応した通信モジュールを使用できる。「LAN」は、Local Area Networkの略語である。通信部23は、端末機器20の動作に用いられる情報を受信し、また端末機器20の動作によって得られる情報を送信する。
撮影部24は、1つ以上のカメラである。撮影部24は、画像を撮影する。
入力部25は、1つ以上の入力インタフェースである。入力インタフェースとしては、例えば、物理キー、静電容量キー、ポインティングデバイス、ディスプレイと一体的に設けられたタッチスクリーン、又はマイクを使用できる。入力部25は、端末機器20の動作に用いられる情報の入力を、車両10の運転手などのユーザから受け付ける。
出力部26は、1つ以上の出力インタフェースである。出力インタフェースとしては、例えば、ディスプレイ又はスピーカを使用できる。ディスプレイとしては、例えば、LCD又は有機ELディスプレイを使用できる。ディスプレイは、表示機能を有する。出力部26は、端末機器20の動作によって得られる情報をユーザに向けて出力する。
端末機器20の機能は、本実施形態に係る端末プログラムを、制御部21に含まれるプロセッサで実行することにより実現される。すなわち、端末機器20の機能は、ソフトウェアにより実現される。端末プログラムは、端末機器20の動作に含まれるステップの処理をコンピュータに実行させることで、当該ステップの処理に対応する機能をコンピュータに実現させるためのプログラムである。すなわち、端末プログラムは、コンピュータを端末機器20として機能させるためのプログラムである。
端末機器20の一部又は全ての機能が、制御部21に含まれる専用回路により実現されてもよい。すなわち、端末機器20の一部又は全ての機能が、ハードウェアにより実現されてもよい。
図2のほかに、図3及び図4を参照して、本実施形態に係る画像表示システム30の動作を説明する。画像表示システム30の動作は、本実施形態に係る画像表示方法に相当する。
図3は、車両10の出力部17が対象画像41を表示する場合の画像表示システム30の動作を示している。
ステップS101からステップS104の処理は、車両10で実行される。
ステップS101において、制御装置31の制御部11は、車両10の運転手画像を取得する。
具体的には、制御部11は、車両10の運転席の画像など、車両10の運転手の頭及び眼球を含む画像を撮影部15から取得する。制御部11は、取得した画像を記憶部12に記憶する。
ステップS102において、制御部11は、車両10の運転手が運転中に車両10の外に存在する対象を見逃したことをイベントとして検出する。
本実施形態では、制御部11は、ステップS101で取得した、車両10で撮影された車両10の運転手を含む画像にてイベントを検出する。
具体的には、制御部11は、記憶部12に記憶された運転手画像を解析して、車両10の運転手の視線方向を算出する。人の頭及び眼球を含む画像から視線方向を算出する技術としては、任意の従来技術を使用できる。制御部11は、最新の視線方向の算出結果と、直近の一定期間内に視線方向を算出した結果とを合わせて、視線の軌跡を算出する。そして、制御部11は、視線の軌跡が二度見など、特定の移動パターンに当てはまっているかどうかを判定する。例えば、車両10の運転手の視線が一定期間、車両10のフロントガラスの特定領域、ドアミラー、バックミラー、計器パネル、又はナビゲーション画面など、車両10の運転手が注視すべき対象にしか向けられていなかったところ、急激に車両10のサイドガラスに向けられたのであれば、車両10の運転手が二度見をしたと判定できる。二度見とは、ある対象が運転手の視界に最初に入ったときに、その対象を運転手が見逃したため、その対象をもう一度見ようと、その対象の方向に運転手が視線を戻す行動のことである。よって、車両10の運転手が二度見をしたかどうかを判定することは、車両10の運転手が対象を見逃したかどうかを判定することに相当する。
制御部11は、車両10の運転手が対象を見逃したかどうかを判定する際に、車両10の運転手の心拍、血圧、脈圧、換気量、脳波、眼球運動、体温、又は発汗などの生体情報を補足情報として利用してよい。その場合、制御部11は、車両10に備えられた生体センサを介して、車両10の運転手の生体情報を取得する。制御部11は、取得した生体情報を解析して、車両10の運転手が運転中に車両10の外に存在する対象を見逃したことによる焦りを感じているかどうかを判定する。制御部11は、視線の軌跡が特定の移動パターンに当てはまっており、かつ運転手が焦りを感じていると判定した場合に、運転手が対象を見逃したと判定する。
制御部11は、車両10の運転手が対象を見逃したかどうかを判定する際に、出力部17を介して、実際に何らかの対象を見逃したかどうかを車両10の運転手に確認してよい。そして、制御部11は、入力部16を介して、回答を車両10の運転手から受け付けてよい。制御部11は、実際には何の対象も見逃していないという回答が返ってきた場合には、車両10の運転手が対象を見逃していないと判定する。よって、イベントの誤検出を回避できる。実際に何らかの対象を見逃したかどうかの確認及び回答は、タッチスクリーン上のボタン表示及びボタン押下によってやり取りしてもよいし、又は音声でやり取りしてもよい。
制御部11は、車両10で撮影された車両10の運転手を含む画像にてイベントを検出する代わりに、車両10で行われた運転手の入力操作に基づいてイベントを検出してもよい。その場合、制御部11は、入力部16を介して、車両10の運転手が運転中に車両10の外に存在する対象を見逃したことを通知する操作を車両10の運転手から受け付ける。この操作は、タッチスクリーン上のボタン押下でもよいし、又は音声入力でもよい。
ステップS101及びステップS102の処理は、制御部11によりイベントが検出されるまで繰り返し実行される。制御部11によりイベントが検出された場合、ステップS103以降の処理が実行される。
ステップS103において、制御部11は、対象画像41を取得する。対象画像41は、ステップS102で制御部11により検出されたイベントで見逃された対象を含む画像である。
具体的には、制御部11は、車両10の側方の画像、ステップS102で算出した視線方向の画像、又はその視線方向よりもやや後方の画像など、見逃された対象が存在する蓋然性が高い方向の画像を対象画像41として撮影部15から取得する。撮影範囲は、見逃された対象が対象画像41に確実に含まれるように適宜調整されてよい。制御部11は、取得した対象画像41を記憶部12に記憶する。
撮影部15は、車両10から対象画像41を撮影する際に、制御部11により制御されて、車両10の前方、側方、及び後方といった複数の撮影方向の中から、車両10の側方を選択してよい。あるいは、撮影部15は、車両10から対象画像41を撮影する際に、制御部11により制御されて、ステップS102で算出された視線方向又はその視線方向よりもやや後方にほぼ一致するように撮影方向を自動調整してよい。
制御部11は、撮影部15から取得した対象画像41に対し、切り出し、拡大縮小、又は解像度変更などの加工を施した上で、加工後の対象画像41を記憶部12に記憶してもよい。
対象画像41は、本実施形態では、制御部11によりイベントが検出されたときに制御部11の指令により車両10から撮影された画像であるが、制御部11によりイベントが検出される前に車両10から撮影された画像でもよい。その場合、撮影部15は、車両10の走行中に、車両10の少なくとも側方の動画像を連続的に撮影するか、又は車両10の少なくとも側方の静止画像を断続的に撮影する。制御部11は、撮影された画像を撮影部15から逐次取得する。制御部11は、取得した画像を記憶部12に逐次記憶する。制御部11は、ステップS102でイベントを検出した場合、イベントを検出する直前の一定期間内に取得した画像を対象画像41として特定する。
ステップS104において、制御部11は、ステップS103で取得した対象画像41の、車両10の運転手に向けての出力を制御する。図3の動作では、制御部11は、車両10の出力部17を制御して対象画像41を車両10の運転手に向けて表示させる。
具体的には、制御部11は、記憶部12に記憶された対象画像41を出力部17に入力する。出力部17に含まれる車載ディスプレイは、制御部11から入力された対象画像41を車両10の運転手に向けて表示する。
安全な運転に支障をきたさないように、車両10が停止しているときなど、車両10の速度が規定値よりも遅いときのみ、対象画像41を表示してもよい。
図4は、端末機器20が対象画像41を表示する場合の画像表示システム30の動作を示している。
ステップS201からステップS204の処理は、車両10で実行される。
ステップS201からステップS203の処理については、ステップS101からステップS103の処理と同じであるため、説明を省略する。
ステップS204において、制御装置31の制御部11は、ステップS203で取得した対象画像41の、車両10の運転手に向けての出力を制御する。図4の動作では、制御部11は、通信部13を制御して対象画像41を車両10の運転手の端末機器20へ送信させる。
具体的には、制御部11は、記憶部12に記憶された対象画像41を通信部13に入力する。通信部13は、制御部11から入力された対象画像41を、ネットワーク32経由の通信によって、端末機器20へ送信する。
ステップS205及びステップS206の処理は、端末機器20で実行される。
ステップS205において、端末機器20の通信部23は、車両10の制御装置31から送信された対象画像41を受信する。
具体的には、通信部23は、車両10の制御装置31から送信された対象画像41を、ネットワーク32経由の通信によって受信する。制御部21は、通信部23により受信された対象画像41を通信部23から取得する。制御部21は、取得した対象画像41を記憶部22に記憶する。
ステップS206において、端末機器20の制御部21は、出力部26を制御して、ステップS205で取得した対象画像41を車両10の運転手に向けて表示させる。
具体的には、制御部21は、記憶部22に記憶された対象画像41を出力部26に入力する。出力部26に含まれるディスプレイは、制御部21から入力された対象画像41を車両10の運転手に向けて表示する。
ステップS204において、車両10の制御装置31の通信部13は、対象画像41を、クラウドコンピューティングシステム又はその他のコンピューティングシステムに属するサーバにアップロードしてもよい。その場合、ステップS205において、端末機器20の通信部23は、対象画像41をサーバからダウンロードする。
上述のように、本実施形態では、制御装置31の制御部11は、車両10の運転手が運転中に車両10の外に存在する対象を見逃したことをイベントとして検出する。制御部11は、検出したイベントで見逃された対象を含む画像である対象画像41の、運転手に向けての出力を制御する。したがって、本実施形態によれば、運転手が運転中に見逃した対象を後で確認できる。
例えば、運転手が運転中に店などの場所、若しくは看板などの固定された物を通り過ぎたとき、又は人、若しくは車などの移動する物とすれ違ったときに、その場所、物、又は人といった対象を見逃したことに気づき、二度見をすることがある。運転手は、車両10が進んでいると、二度見をしても見逃した対象を確認できないか、又は見逃した対象を一瞬しか見ることができず、その対象を十分に確認できない。しかし、本実施形態では、制御装置31の制御部11が、運転手の二度見を検出し、車両10の出力部17に含まれる車載ディスプレイを制御して、運転手が見逃した対象を含む画像を表示させる。あるいは、その画像が端末機器20に送信され、端末機器20の出力部26に含まれるディスプレイに表示される。そのため、運転手は、運転中に見逃した場所、物、又は人といった対象を後で確認できる。したがって、運転手は、運転中に見逃した対象のことが気にならず、集中力を保つことができる。その結果、運転の安全性が向上する。
制御装置31は、クラウドコンピューティングシステム又はその他のコンピューティングシステムに属するサーバとして構成されてもよい。その場合、ステップS101からステップS103の処理、又はステップS201からステップS204の処理は、サーバで実行される。車両10の運転手画像又は対象画像41など、ステップS101からステップS103の処理、又はステップS201からステップS204の処理に必要な情報は、車両10からサーバにアップロードされてよい。対象画像41は、サーバから車両10又は端末機器20に配信されてよい。
本発明は上述の実施形態に限定されるものではない。例えば、ブロック図に記載の複数のブロックを統合してもよいし、又は1つのブロックを分割してもよい。フローチャートに記載の複数のステップを記述に従って時系列に実行する代わりに、各ステップを実行する装置の処理能力に応じて、又は必要に応じて、並列的に又は異なる順序で実行してもよい。その他、本発明の趣旨を逸脱しない範囲での変更が可能である。
10 車両
11 制御部
12 記憶部
13 通信部
14 測位部
15 撮影部
16 入力部
17 出力部
20 端末機器
21 制御部
22 記憶部
23 通信部
24 撮影部
25 入力部
26 出力部
30 画像表示システム
31 制御装置
32 ネットワーク
41 対象画像

Claims (11)

  1. 車両の運転手が運転中に前記車両の外に存在する対象を見逃したことをイベントとして検出し、検出したイベントで見逃された対象を含む画像である対象画像の、前記運転手に向けての出力を制御する制御部を備える制御装置。
  2. 前記制御部は、前記車両に備えられた、表示機能を有する出力部を制御して前記対象画像を前記運転手に向けて表示させる請求項1に記載の制御装置。
  3. 通信機能を有する通信部をさらに備え、
    前記制御部は、前記通信部を制御して前記対象画像を前記運転手の端末機器へ送信させる請求項1に記載の制御装置。
  4. 前記対象画像は、前記車両から撮影された画像である請求項1から請求項3のいずれか1項に記載の制御装置。
  5. 前記対象画像は、前記制御部により前記イベントが検出される前に前記車両から撮影された画像である請求項4に記載の制御装置。
  6. 前記制御部は、前記車両で撮影された前記運転手を含む画像にて前記イベントを検出する請求項1から請求項5のいずれか1項に記載の制御装置。
  7. 前記制御部は、前記車両で行われた前記運転手の入力操作に基づいて前記イベントを検出する請求項1から請求項5のいずれか1項に記載の制御装置。
  8. 前記対象画像を撮影する撮影部と、
    請求項1から請求項7のいずれか1項に記載の制御装置と
    を備える車両。
  9. 前記対象画像を前記運転手に向けて表示する出力部をさらに備える請求項8に記載の車両。
  10. 請求項1から請求項7のいずれか1項に記載の制御装置と、
    前記対象画像を前記制御装置から受信し、前記対象画像を前記運転手に向けて表示する端末機器と
    を備える画像表示システム。
  11. 制御装置が、車両の運転手が運転中に前記車両の外に存在する対象を見逃したことをイベントとして検出し、
    前記車両の撮影部が、前記制御装置により検出されたイベントで見逃された対象を含む画像である対象画像を撮影し、
    前記車両の出力部と、端末機器とのいずれかが、前記撮影部により撮影された対象画像を前記運転手に向けて表示する画像表示方法。
JP2018240111A 2018-12-21 2018-12-21 制御装置、車両、画像表示システム、及び画像表示方法 Active JP7176398B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018240111A JP7176398B2 (ja) 2018-12-21 2018-12-21 制御装置、車両、画像表示システム、及び画像表示方法
US16/600,687 US11468692B2 (en) 2018-12-21 2019-10-14 Control device, vehicle, image display system, and image display method
CN201911319897.3A CN111355925B (zh) 2018-12-21 2019-12-19 控制装置、车辆、图像显示系统和图像显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018240111A JP7176398B2 (ja) 2018-12-21 2018-12-21 制御装置、車両、画像表示システム、及び画像表示方法

Publications (2)

Publication Number Publication Date
JP2020102027A true JP2020102027A (ja) 2020-07-02
JP7176398B2 JP7176398B2 (ja) 2022-11-22

Family

ID=71097577

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018240111A Active JP7176398B2 (ja) 2018-12-21 2018-12-21 制御装置、車両、画像表示システム、及び画像表示方法

Country Status (3)

Country Link
US (1) US11468692B2 (ja)
JP (1) JP7176398B2 (ja)
CN (1) CN111355925B (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006172215A (ja) * 2004-12-16 2006-06-29 Fuji Photo Film Co Ltd 運転支援システム
WO2015071924A1 (ja) * 2013-11-12 2015-05-21 三菱電機株式会社 運転支援画像生成装置、運転支援画像表示装置、運転支援画像表示システム、及び運転支援画像生成プログラム

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5583495A (en) * 1992-09-02 1996-12-10 Ben Lulu; Dani Vehicle alarm system
JP3386034B2 (ja) 2000-05-10 2003-03-10 株式会社デンソー ナビゲーション装置及び記録媒体
AU2003219926A1 (en) 2002-02-26 2003-09-09 Canesta, Inc. Method and apparatus for recognizing objects
DE60330980D1 (de) * 2002-10-15 2010-03-04 Volvo Technology Corp Verfahren für die auswertung der kopf- und augenaktivität einer person
US7986339B2 (en) 2003-06-12 2011-07-26 Redflex Traffic Systems Pty Ltd Automated traffic violation monitoring and reporting system with combined video and still-image data
JP2007225282A (ja) 2004-03-31 2007-09-06 Pioneer Electronic Corp 情報提示装置、情報提示プログラム及び情報提示方法等
EP1961622B1 (en) 2005-12-12 2018-06-13 Panasonic Intellectual Property Corporation of America Safety-travel assistance device
JP2007318431A (ja) 2006-05-25 2007-12-06 Fujifilm Corp 表示制御システムおよび表示制御方法
JP4767797B2 (ja) 2006-09-05 2011-09-07 株式会社デンソーアイティーラボラトリ 車両用ナビゲーション装置、方法およびプログラム
US20100019932A1 (en) 2008-07-24 2010-01-28 Tele Atlas North America, Inc. Driver Initiated Vehicle-to-Vehicle Anonymous Warning Device
US8121618B2 (en) 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
US20120197522A1 (en) * 2009-12-25 2012-08-02 Hideki Fukuhara Navigation device
JP5910450B2 (ja) 2012-10-03 2016-04-27 株式会社デンソー 車両用ナビゲーションシステム
US8876535B2 (en) * 2013-03-15 2014-11-04 State Farm Mutual Automobile Insurance Company Real-time driver observation and scoring for driver's education
TW201528112A (zh) * 2013-12-27 2015-07-16 Sony Corp 控制裝置、控制方法及電腦程式
US9472023B2 (en) 2014-10-06 2016-10-18 Toyota Jidosha Kabushiki Kaisha Safety system for augmenting roadway objects on a heads-up display
US9586591B1 (en) * 2015-05-04 2017-03-07 State Farm Mutual Automobile Insurance Company Real-time driver observation and progress monitoring
KR101843773B1 (ko) 2015-06-30 2018-05-14 엘지전자 주식회사 차량 운전 보조 장치, 차량용 디스플레이 장치 및 차량
JP2017111469A (ja) * 2015-12-14 2017-06-22 富士通株式会社 道路標識視認判定システム、道路標識視認判定方法、及びプログラム
JP6563798B2 (ja) 2015-12-17 2019-08-21 大学共同利用機関法人自然科学研究機構 視覚認知支援システムおよび視認対象物の検出システム
TWI575223B (zh) 2016-01-07 2017-03-21 神達電腦股份有限公司 導航方法及導航裝置
CN105844257B (zh) * 2016-04-11 2019-03-01 吉林大学 基于机器视觉雾天行车错失道路标志牌的预警系统及方法
JP6699831B2 (ja) * 2016-04-28 2020-05-27 トヨタ自動車株式会社 運転意識推定装置
US10789840B2 (en) 2016-05-09 2020-09-29 Coban Technologies, Inc. Systems, apparatuses and methods for detecting driving behavior and triggering actions based on detected driving behavior
CN106143307B (zh) * 2016-07-11 2019-07-19 京东方科技集团股份有限公司 一种驾驶辅助系统及车辆
JP2018101337A (ja) 2016-12-21 2018-06-28 パナソニックIpマネジメント株式会社 ドライブレコーダ
CN107341468B (zh) * 2017-06-30 2021-05-04 北京七鑫易维信息技术有限公司 驾驶员状态识别方法、装置、存储介质及处理器
US10471955B2 (en) 2017-07-18 2019-11-12 lvl5, Inc. Stop sign and traffic light alert
WO2020015403A1 (zh) * 2018-07-16 2020-01-23 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006172215A (ja) * 2004-12-16 2006-06-29 Fuji Photo Film Co Ltd 運転支援システム
WO2015071924A1 (ja) * 2013-11-12 2015-05-21 三菱電機株式会社 運転支援画像生成装置、運転支援画像表示装置、運転支援画像表示システム、及び運転支援画像生成プログラム

Also Published As

Publication number Publication date
CN111355925B (zh) 2021-09-14
US20200202150A1 (en) 2020-06-25
JP7176398B2 (ja) 2022-11-22
US11468692B2 (en) 2022-10-11
CN111355925A (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
US20190092345A1 (en) Driving method, vehicle-mounted driving control terminal, remote driving terminal, and storage medium
US10281721B2 (en) System and method for augmented reality head up display for vehicles
US9771083B2 (en) Cognitive displays
US11351918B2 (en) Driver-assistance device, driver-assistance system, method of assisting driver, and computer readable recording medium
US9613459B2 (en) System and method for in-vehicle interaction
US11900672B2 (en) Integrated internal and external camera system in vehicles
US10723266B2 (en) On-vehicle display controller, on-vehicle display system, on-vehicle display control method, and non-transitory storage medium
US11057575B2 (en) In-vehicle device, program, and vehicle for creating composite images
JP2013255168A (ja) 撮像装置、および撮像方法
CN105564343B (zh) 用于连接移动照相机装置的装置和方法
US11616905B2 (en) Recording reproduction apparatus, recording reproduction method, and program
US20190135197A1 (en) Image generation device, image generation method, recording medium, and image display system
JP6891926B2 (ja) 車両システム、車両システムで実行される方法、および運転者支援システム
JP7176398B2 (ja) 制御装置、車両、画像表示システム、及び画像表示方法
EP3827297A1 (en) Apparatus and method for use with vehicle
US20200204955A1 (en) Map generation device, map generation system, map generation method, and map generation program
EP3209017A1 (en) Vehicle image display system
US11072348B2 (en) Driving assist device, vehicle, information providing device, driving assist system, and driving assist method
US20150130938A1 (en) Vehicle Operational Display
CN117922433A (zh) 影像监测方法、装置、电子设备、车辆及存储介质
EP3785994A1 (en) A system and method for highlighting of an object to a vehicle occupant
CN117360391A (zh) 基于ar的数字后视镜系统、车辆及显示方法
CN117755206A (zh) 车辆视野调节方法、装置、计算机设备和存储介质
JP2021124972A (ja) 情報処理システム、および情報処理プログラム
JP2023006970A (ja) 運転支援制御装置、及び運転支援制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221024

R151 Written notification of patent or utility model registration

Ref document number: 7176398

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151