JP2023165318A - 情報処理装置、運転診断方法及びプログラム - Google Patents

情報処理装置、運転診断方法及びプログラム Download PDF

Info

Publication number
JP2023165318A
JP2023165318A JP2022076207A JP2022076207A JP2023165318A JP 2023165318 A JP2023165318 A JP 2023165318A JP 2022076207 A JP2022076207 A JP 2022076207A JP 2022076207 A JP2022076207 A JP 2022076207A JP 2023165318 A JP2023165318 A JP 2023165318A
Authority
JP
Japan
Prior art keywords
information
target
vehicle
recognized
satisfied
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022076207A
Other languages
English (en)
Inventor
有輝也 櫛引
Yukiya Kushibiki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2022076207A priority Critical patent/JP2023165318A/ja
Priority to US18/183,166 priority patent/US20230351762A1/en
Priority to CN202310271000.4A priority patent/CN116994356A/zh
Publication of JP2023165318A publication Critical patent/JP2023165318A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/008Registering or indicating the working of vehicles communicating information to a remotely located station
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/085Registering performance data using electronic data carriers
    • G07C5/0866Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/96Management of image or video recognition tasks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/02Registering or indicating driving, working, idle, or waiting time only
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808Diagnosing performance data
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

【課題】車両外部で運転診断を行う場合における通信量を抑制する。【解決手段】情報処理装置は、車両の走行に係る走行情報と、前記車両に搭載されたカメラにより撮像された撮像画像からターゲットが認識されたか否かの情報を取得する取得部と、ある時刻を含む一定区間において取得した前記情報に、前記ターゲットが認識されたことを示す情報が含まれる場合、当該時刻において前記ターゲットが認識されていないことを示す情報であっても、前記ターゲットが認識されたことを示す情報に更新する前処理部と、各時刻について、前記ターゲットが認識されたことを示す情報がある場合であって、前記ターゲットの態様及び前記走行情報に基づく検知条件を満たした場合に、注意すべきイベントが発生したと診断する診断部と、を含む。【選択図】図7

Description

本発明は、情報処理装置、運転診断方法及びプログラムに関する。
特許文献1には、車両映像に基づいて車間距離を測定する車両距離の測定方法が開示されている。この車両距離の測定方法は、走行中の第1車両の撮影装置により撮影された走行映像を獲得するステップと、獲得された走行映像から第2車両を検出するステップと、走行映像から第2車両が検出されないと、走行映像を構成する複数のフレームのうち、第2車両が検出されなかったフレーム前の、第2車両が検出されたフレームに対応する第1フレームから第2車両領域の第1特徴点を検出するステップと、検出された第1特徴点を追跡することで、現在のフレームに対応する第2フレーム内の第2特徴点を検出するステップと、第1特徴点と第2特徴点との特徴点変化値を算出するステップと、算出された特徴点変化値に基づいて、第1車両の撮影装置から第2車両までの距離を算出するステップと、を含む。
特開2021-118002号公報
車両外部のサーバ等で運転診断を行う場合、従来技術では、車両からサーバに画像データを送付する必要があり、通信回路への負担が大きい。
本発明は、車両外部で運転診断を行う場合における通信量を抑制することができる情報処理装置、運転診断方法及びプログラムを提供することを目的とする。
請求項1に記載の情報処理装置は、車両の走行に係る走行情報と、前記車両に搭載されたカメラにより撮像された撮像画像からターゲットが認識されたか否かの情報を取得する取得部と、ある時刻を含む一定区間において取得した前記情報に、前記ターゲットが認識されたことを示す情報が含まれる場合、当該時刻において前記ターゲットが認識されていないことを示す情報であっても、前記ターゲットが認識されたことを示す情報に更新する前処理部と、各時刻について、前記ターゲットが認識されたことを示す情報がある場合であって、前記ターゲットの態様及び前記走行情報に基づく検知条件を満たした場合に、注意すべきイベントが発生したと診断する診断部と、を含む。
請求項1に記載の情報処理装置では、取得部が、車両の走行に係る走行情報と、前記車両に搭載されたカメラにより撮像された撮像画像からターゲットが認識されたか否かの情報を取得する。ここでターゲットとは、例えば、前方車両、信号機などのことである。前処理部は、ある時刻を含む一定区間において取得した前記情報に、前記ターゲットが認識されたことを示す情報が含まれる場合、当該時刻において前記ターゲットが認識されていないことを示す情報であっても、前記ターゲットが認識されたことを示す情報に更新する。診断部は、各時刻について、前記ターゲットが認識されたことを示す情報がある場合であって、前記ターゲットの態様及び前記走行情報に基づく検知条件を満たした場合に、注意すべきイベントが発生したと診断する。ここで注意すべきイベントとは、例えば、車間距離を短くしていること、発進時に前方車両に著しく遅れをとっていること、赤信号にも関わらず停止していないこと等である。ターゲットの態様及び走行情報に基づく条件とは、注意すべきイベントが発生していると診断するための、ターゲットの態様及び走行情報を用いて規定される条件である。
当該情報処理装置では、車両の走行に係る走行情報と、車両に搭載されたカメラにより撮像された撮像画像からターゲットが認識されたか否かの情報を取得する。そのため、当該情報処理装置によれば、車両外部で運転診断を行う場合における通信量を抑制することができる。
請求項2に記載の情報処理装置は、請求項1に記載の情報処理装置において、前記検知条件を満たした場合を契機に前記撮像画像を抽出する抽出部を更に含む。
請求項2に記載の情報処理装置では、前記検知条件を満たした場合を契機に前記撮像画像を抽出する。当該情報処理装置によれば、注意すべきイベントが発生した際の撮像画像を記録することができる。
請求項3に記載の情報処理装置は、請求項2に記載の情報処理装置において、前記抽出部は、前記検知条件を満たさなくなった場合を契機に前記撮像画像の抽出を終了する。
請求項3に記載の情報処理装置では、前記検知条件を満たさなくなった場合を契機に前記撮像画像の抽出を終了する。当該情報処理装置によれば、注意すべきイベントが発生したと診断された際の撮像画像の抽出を適切に終了することができる。
請求項4に記載の情報処理装置は、請求項2又は3に記載の情報処理装置において、前記抽出部は、前記走行情報に基づく所定の検知解除条件を満たした場合、抽出された前記撮像画像を削除する。
請求項4に記載の情報処理装置では、前記抽出部は、前記走行情報に基づく所定の検知解除条件を満たした場合、抽出された前記撮像画像を削除する。当該情報処理装置によれば、ここで所定の検知解除条件とは、注意すべきイベントが発生したとの診断を削除し、注意すべきイベントが発生していないと診断するための条件である。当該情報処理装置によれば、注意すべきイベントが発生したと一旦診断された後に、注意すべきイベントが発生していないと診断された際に、抽出された撮像画像を削除することができる。
請求項5に記載の運転診断方法は、車両の走行に係る走行情報と、前記車両に搭載されたカメラにより撮像された撮像画像からターゲットが認識されたか否かの情報を取得し、ある時刻を含む一定区間において取得した前記情報に、前記ターゲットが認識されたことを示す情報が含まれる場合、当該時刻において前記ターゲットが認識されていないことを示す情報であっても、前記ターゲットが認識されたことを示す情報に更新し、各時刻について、前記ターゲットが認識されたことを示す情報がある場合であって、前記ターゲットの態様及び前記走行情報に基づく検知条件を満たした場合に、注意すべきイベントが発生したと診断する処理をコンピュータが実行する。
請求項5に記載の運転診断方法では、コンピュータが、車両の走行に係る走行情報と、前記車両に搭載されたカメラにより撮像された撮像画像からターゲットが認識されたか否かの情報を取得する。コンピュータが、ある時刻を含む一定区間において取得した前記情報に、前記ターゲットが認識されたことを示す情報が含まれる場合、当該時刻において前記ターゲットが認識されていないことを示す情報であっても、前記ターゲットが認識されたことを示す情報に更新する。コンピュータが、各時刻について、前記ターゲットが認識されたことを示す情報がある場合であって、前記ターゲットの態様及び前記走行情報に基づく検知条件を満たした場合に、注意すべきイベントが発生したと診断する。
当該運転診断方法では、車両の走行に係る走行情報と、車両に搭載されたカメラにより撮像された撮像画像からターゲットが認識されたか否かの情報を取得する。そのため、当該運転診断方法によれば、車両外部で運転診断を行う場合における通信量を抑制することができる。
請求項6に記載のプログラムは、車両の走行に係る走行情報と、前記車両に搭載されたカメラにより撮像された撮像画像からターゲットが認識されたか否かの情報を取得し、ある時刻を含む一定区間において取得した前記情報に、前記ターゲットが認識されたことを示す情報が含まれる場合、当該時刻において前記ターゲットが認識されていないことを示す情報であっても、前記ターゲットが認識されたことを示す情報に更新し、各時刻について、前記ターゲットが認識されたことを示す情報がある場合であって、前記ターゲットの態様及び前記走行情報に基づく検知条件を満たした場合に、注意すべきイベントが発生したと診断する処理をコンピュータに実行させるプログラムである。
請求項6に記載のプログラムが実行されるコンピュータは、車両の走行に係る走行情報と、前記車両に搭載されたカメラにより撮像された撮像画像からターゲットが認識されたか否かの情報を取得する。コンピュータが、ある時刻を含む一定区間において取得した前記情報に、前記ターゲットが認識されたことを示す情報が含まれる場合、当該時刻において前記ターゲットが認識されていないことを示す情報であっても、前記ターゲットが認識されたことを示す情報に更新する。コンピュータが、各時刻について、前記ターゲットが認識されたことを示す情報がある場合であって、前記ターゲットの態様及び前記走行情報に基づく検知条件を満たした場合に、注意すべきイベントが発生したと診断する。
当該プログラムでは、車両の走行に係る走行情報と、車両に搭載されたカメラにより撮像された撮像画像からターゲットが認識されたか否かの情報を取得する。そのため、当該プログラムによれば、車両外部で運転診断を行う場合における通信量を抑制することができる。
本発明によれば、車両外部で運転診断を行う場合における通信量を抑制することができる。
本実施形態に係る運転診断システムの概略構成を示す図である。 本実施形態の車両のハードウェア構成を示すブロック図である。 本実施形態の車載器のROMの構成を示すブロック図である。 本実施形態の車載器のストレージの構成を示すブロック図である。 本実施形態の車載器の機能構成を示すブロック図である。 本実施形態のセンタサーバのハードウェア構成を示すブロック図である。 本実施形態のセンタサーバの機能構成を示すブロック図である。 本実施形態の車載器において実行されるターゲット情報送信処理の流れを示すフローチャートである。 本実施形態のセンタサーバにおいて実行される運転診断処理の流れを示すフローチャートである。 本実施形態のセンタサーバにおいて実行される運転診断処理の流れを示すフローチャートである。
本発明の情報処理装置を含む運転診断システムについて説明する。運転診断システムは、車両に搭載されたカメラの撮像画像において認識されたターゲットの情報と、車両の走行情報とを用いて、運転診断を行うシステムである。また、運転診断システムでは、注意すべきイベントが発生したと判断した際の撮像画像が記録される。
(全体構成)
図1に示されるように、本実施形態の運転診断システム10は、車両12と、情報処理装置としてのセンタサーバ30と、を含んで構成されている。また、車両12には車載器20が搭載されている。車載器20及びセンタサーバ30は、ネットワークNを通じて相互に接続されている。なお、図1には、1のセンタサーバ30に対して、1台の車両12及び車載器20が図示されているが、車両12及び車載器20の数はこの限りではない。
センタサーバ30は、例えば、車両12を製造する製造元、カーディーラー、又は任意の事業者に設置されている。
(車両)
図2に示されるように、本実施形態に係る車両12は、車載器20と、複数のECU(Electronic Control Unit)22と、複数の車載機器24と、を含んで構成されている。
車載器20は、CPU(Central Processing Unit)20A、ROM(Read Only Memory)20B、RAM(Random Access Memory)20C、ストレージ20D、無線通信I/F(Interface)20E及び車内通信I/F20Fを含んで構成されている。CPU20A、ROM20B、RAM20C、ストレージ20D、無線通信I/F20E及び車内通信I/F20Fは、内部バス20Gを介して相互に通信可能に接続されている。
CPU20Aは、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU20Aは、ROM20B又はストレージ20Dからプログラムを読み出し、RAM20Cを作業領域としてプログラムを実行する。
ROM20Bは、各種プログラム及び各種データを記憶している。図3に示されるように、本実施形態のROM20Bには、制御プログラム100が記憶されている。制御プログラム100は、カメラの撮像画像から認識されたターゲットの情報をセンタサーバ30に送信するためのプログラムである。
図2に示されるように、RAM20Cは、作業領域として一時的にプログラム又はデータを記憶する。
メモリであるストレージ20Dは、HDD(Hard Disk Drive)又はSSD(Solid State Drive)により構成され、各種プログラム及び各種データを記憶している。図4に示されるように、本実施形態のストレージ20Dには、認識されたターゲットの情報のデータ群であるターゲット情報DB(データベース)120が記憶されている。なお、ストレージ20Dが制御プログラム100及び規制情報DB120を記憶してもよい。
図2に示されるように、無線通信I/F20Eは、センタサーバ30と通信するための無線通信モジュールである。当該無線通信モジュールは、例えば、5G、LTE、Wi-Fi(登録商標)等の通信規格が用いられる。無線通信I/F20Eは、ネットワークNに対して接続されている。
車内通信I/F20Fは、各ECU22と接続するためのインタフェースである。当該インタフェースは、CANプロトコルによる通信規格が用いられる。車内通信I/F20Fは、外部バス20Hに対して接続されている。
ECU22は、ADAS(Advanced Driver Assistance System)-ECU22Aを少なくとも含む。
ADAS-ECU22Aは、先進運転支援システムを統括制御する。ADAS-ECU22Aには、車載機器24を構成する車速センサ24A及びカメラ24Cが接続されている。カメラ24Cは、車両12の周囲を撮像するカメラである。
図5に示されるように、本実施形態の車載器20では、CPU20Aが、制御プログラム100を実行することで、取得部200、処理部210及び送信部220として機能する。
取得部200は、車両情報及び撮像画像を取得する機能を有している。車両情報は、車載機器24の状態、及び車載機器24から得られる車両12の状態等の情報である。撮像画像は、車両12のカメラ24Cにより撮像された車両12外部の撮像画像である。本実施形態における車両情報は、位置情報又は車速等の走行情報を含む。
処理部210は、取得部200において取得された車両情報をストレージ20Dに記憶させたり、カメラ24Cにより撮像された撮像画像から、ターゲットを認識することにより、ターゲットの情報に情報化する機能を有している。具体的に、本実施形態の処理部210は、車両情報及びターゲットの情報を、一旦ストレージ20Dに記憶させ、その後、車両情報及びターゲットの情報を、送信部220によりセンタサーバ30に送信する。また、処理部210は、センタサーバ30から要求があった場合に、撮像画像を送信部220によりセンタサーバ30に送信する。また、処理部210は、カメラ24Cにより撮像された撮像画像から、画像認識処理により、ターゲットの情報に情報化する。
より具体的には、処理部210は、撮像画像が表すターゲットとして、前方車両、信号機の信号を認識し、前方車両の情報(前方車両の有無を表すフラグ、前方車両との車間距離、車間時間)、信号機の信号の情報(赤信号の有無を表すフラグ、青信号の有無を表すフラグ、信号機との距離)に情報化する。車間時間は、車間距離と車速から算出されるものである。
送信部220は、ストレージ20Dに記憶された車両情報及びターゲットの情報を、センタサーバ30に送信する機能を有している。具体的に、本実施形態の送信部220は、センタサーバ30から要求があった場合に、ストレージ20Dに記憶された車両情報及びターゲットの情報をセンタサーバ30に送信する。
また、送信部220は、センタサーバ30から要求があった場合に、カメラ24Cにより撮像された撮像画像をセンタサーバ30に送信する。
(センタサーバ)
図6に示されるように、センタサーバ30は、CPU30A、ROM30B、RAM30C、ストレージ30D及び通信I/F30Eを含んで構成されている。CPU30A、ROM30B、RAM30C、ストレージ30D及び通信I/F30Eは、内部バス30Gを介して相互に通信可能に接続されている。CPU30A、ROM30B、RAM30C、ストレージ30D及び通信I/F30Eの機能は、上述した車載器20のCPU20A、ROM20B、RAM20C、ストレージ20D及び無線通信I/F20Eの機能と同じである。なお、通信I/F30Eは有線による通信を行ってもよい。CPU30Aはプロセッサの一例である。
本実施形態のストレージ30Dには、プログラムとしての処理プログラム150、ターゲット情報DB160、及び抽出画像DB170が記憶されている。なお、ROM30Bが処理プログラム150を記憶してもよい。
処理プログラム150は、センタサーバ30を制御するためのプログラムである。処理プログラム150の実行に伴い、センタサーバ30は、車両12からターゲットの情報及び走行情報を取得し、車両12の走行情報に対して運転診断を行うための各処理を実行する。
ターゲット情報DB160には、車両12から取得したターゲットの情報が記憶されている。
具体的には、車両12から取得した、前方車両の情報(前方車両の有無を表すフラグ、前方車両との車間距離、車間時間)、信号機の信号の情報(赤信号の有無を表すフラグ、青信号の有無を表すフラグ、信号機との距離)が記憶されている。
抽出画像DB170には、注意すべきイベントが発生したと診断された際の撮像画像が記憶されている。
図7に示されるように、本実施形態のセンタサーバ30では、CPU30Aが、処理プログラム150を実行することで、取得部260、前処理部270、診断部280、及び抽出部290として機能する。
取得部260は、車両12の車載器20から、車両12の車両情報及びターゲットの情報を取得する機能を有している。取得部260は、取得したターゲットの情報をターゲット情報DB160に記憶させる。
前処理部270は、ある時刻を含む一定区間において取得したターゲットの情報に、ターゲットが認識されたことを示す情報が含まれる場合、当該時刻においてターゲットが認識されていないことを示す情報であっても、ターゲットが認識されたことを示す情報に更新する。
具体的には、前処理部270は、認識されたターゲットが、前方車両であり、ターゲットの情報が、前方車両があることを表すフラグである場合には、前方車両フラグを記録する。そして、前方車両の誤検出、未検出を避けるため、前方車両があることを表すフラグを、一定区間である前後0.2秒の最大値に置き換えるフィルタ処理をすることにより、当該最大値で、一定区間の全てのフラグを更新する。
また、前処理部270は、認識されたターゲットが、信号機の信号であり、ターゲットの情報が、赤信号であることを表すフラグである場合には、赤信号フラグを記録する。そして、赤信号の誤検出、未検出を避けるため、赤信号であることを表すフラグを、一定区間である前後1秒の最大値に置き換えるフィルタ処理をすることにより、当該最大値で、一定区間の全てのフラグを更新する。
また、前処理部270は、認識されたターゲットが、信号機の信号であり、ターゲットの情報が、青信号であることを表すフラグである場合には、青信号フラグを記録する。そして、青信号の誤検出、未検出を避けるため、青信号であることを表すフラグを、一定区間である前後1秒の最大値に置き換えるフィルタ処理をすることにより、当該最大値で、一定区間の全てのフラグを更新する。
診断部280は、車両12の車載器20から取得した車両情報及びターゲットの情報に基づいて、各時刻について、車両12の車載器20から取得したターゲットの情報が、ターゲットが認識されたことを示す情報である場合であって、ターゲットの態様、及び車両12の車載器20から取得した車両情報に含まれる走行情報に基づく検知条件を満たした場合に、注意すべきイベントが発生したと診断する。
具体的には、診断部280は、走行中又は停車中に車間距離を短くしていることを検知条件として、注意すべきイベントが発生したか診断する。
例えば、前方車両があることを表すフラグであり、かつ、車両12が走行中(車速>10km/h)であり、かつ、車間時間<0.5秒であることを、検知条件とする。また、前方車両があることを表すフラグであり、かつ、車両12が停止中(車速<0.5km/h)であり、かつ、車間距離<1500mmであることを、検知条件とする。
また、診断部280は、交差点や渋滞中の発進時に、前方車両に著しく遅れをとっていることを検知条件として、注意すべきイベントが発生したか診断する。
例えば、前方車両があることを表すフラグであり、かつ、車速<0.5km/hである場合、注意すべきイベントが発生したと仮に診断し、停車中に前方車両があり、かつ、停車中の最大車間距離-最小車間距離≧25000mmであれば、注意すべきイベントが発生したと診断する。
また、停車時間>120秒である場合、駐停車とみなし、注意すべきイベントが発生したとの仮診断を削除し、注意すべきイベントが発生していないと診断する。また前方車両との距離>15000mmである場合、注意すべきイベントが発生したとの仮診断を削除し、注意すべきイベントが発生していないと診断する。また、右左折時(ウインカースイッチがオン)である場合、発進遅延となる可能性が高いため、注意すべきイベントが発生したとの仮診断を削除し、注意すべきイベントが発生していないと診断する。
また、診断部280は、赤信号にも関わらず停止していないことを検知条件として、注意すべきイベントが発生したか診断する。
例えば、赤信号であることを表すフラグが、オンであれば、注意すべきイベントが発生したと仮に診断し、最低車速が閾値(1km/h)未満である場合、注意すべきイベントが発生したとの仮診断を削除し、注意すべきイベントが発生していないと診断する。
また、ウインカースイッチがオンである場合、矢印信号が出ているとみなし、注意すべきイベントが発生したとの仮診断を削除し、注意すべきイベントが発生していないと診断する。
また、赤信号を認識中に、信号機から常に10m以上離れている場合、注意すべきイベントが発生したとの仮診断を削除し、注意すべきイベントが発生していないと診断する。
また、赤信号から青信号にすぐに切り替わっている場合、注意すべきイベントが発生したとの仮診断を削除し、注意すべきイベントが発生していないと診断する。
抽出部290は、検知条件を満たした場合を契機に、車両12の車載器20へ撮像画像を要求し、車両12の車載器20から取得した撮像画像を抽出し、抽出画像DB170に記憶させる。
また、抽出部290は、検知条件を満たさなくなった場合を契機に、車両12の車載器20から取得した撮像画像の抽出を終了し、抽出した撮像画像を、抽出画像DB170に記憶させる。
また、抽出部290は、走行情報に基づく所定の検知解除条件を満たした場合、抽出された撮像画像を削除する。
具体的には、前方車両があることを表すフラグであり、かつ、車両12が走行中(車速>10km/h)であり、かつ、車間時間<0.5秒である、という検知条件、又は、前方車両があることを表すフラグであり、かつ、車両12が停止中(車速<0.5km/h)であり、かつ、車間距離<1500mmである、という検知条件を満たした場合を契機に、車両12の車載器20から取得した撮像画像の抽出を開始し、当該検知条件を満たさなくなった場合に、撮像画像の抽出を終了し、抽出した撮像画像を、抽出画像DB170に記憶させる。
前方車両があることを表すフラグであり、かつ、車速<0.5km/hである、という検知条件を満たした場合を契機に、車両12の車載器20から取得した撮像画像の抽出を開始し、当該検知条件を満たさなくなった場合に、撮像画像の抽出を終了する。そして、停車中に前方車両があり、かつ、停車中の最大車間距離-最小車間距離≧25000mmであれば、抽出した撮像画像を、抽出画像DB170に記憶させる。
また、停車時間>120秒であることを検知解除条件として、検知解除条件を満たした場合に、抽出した撮像画像を削除する。
また、前方車両との距離>15000mmであることを検知解除条件として、検知解除条件を満たした場合に、抽出した撮像画像を削除する。
また、右左折時(ウインカースイッチがオン)であることを検知解除条件として、検知解除条件を満たした場合に、抽出した撮像画像を削除する。
また、赤信号であることを表すフラグが、オンである、という検知条件を満たした場合を契機に、車両12の車載器20から取得した撮像画像の抽出を開始し、検知条件を満たさなくなった場合を契機に、撮像画像の抽出を終了し、抽出した撮像画像を、抽出画像DB170に記憶させる。
そして、最低車速が閾値(1km/h)未満であることを検知解除条件として、検知解除条件を満たした場合に、抽出した撮像画像を削除する。
また、ウインカースイッチがオンであることを検知解除条件として、検知解除条件を満たした場合に、矢印信号が出ているとみなし、抽出した撮像画像を削除する。
また、赤信号を認識中に、信号機から常に10m以上離れていることを検知解除条件として、検知解除条件を満たした場合に、抽出した撮像画像を削除する。
また、赤信号から青信号にすぐに切り替わっていることを検知解除条件として、検知解除条件を満たした場合に、抽出した撮像画像を削除する。
(制御の流れ)
本実施形態の運転診断システム10で実行される処理の流れについて、図8~図10のフローチャートを用いて説明する。車載器20における処理は、車載器20のCPU20Aが、取得部200、処理部210、及び送信部220として機能することにより実行される。また、センタサーバ30における処理は、センタサーバ30のCPU30Aが取得部260、前処理部270、診断部280、及び抽出部290として機能することにより実行される。
まず、車両12が走行しているときに、車載器20ではCPU20Aが図8に示すターゲット情報送信処理を繰り返し実行する。
図8のステップS100において、取得部200は、カメラ24Cにより撮像された車両12外部の撮像画像を取得すると共に、走行情報を取得する。
ステップS102において、処理部210は、カメラ24Cにより撮像された撮像画像から、ターゲットを認識することにより、ターゲットの情報に情報化し、ターゲット情報DB120に一旦記憶させる。
ステップS104において、処理部210は、上記ステップS102の処理によりターゲットが認識されたか否かを判定する。上記ステップS102の処理によりターゲットが認識された場合には、ステップS106へ移行する。一方、上記ステップS102の処理によりターゲットが認識されなかった場合には、ターゲット情報送信処理を終了する。
ステップS106では、送信部220は、上記ステップS102による認識結果として得られたターゲットの情報を、走行情報と共にセンタサーバ30に送信し、ターゲット情報送信処理を終了する。
また、センタサーバ30では、CPU30Aが図9~図10に示す運転診断処理を繰り返し実行する。
具体的には、CPU30Aが、注意すべきイベントとして車間距離を短くしていることを診断するための図9に示す運転診断処理を繰り返し実行する。
図9のステップS110において、取得部260は、車両12の車載器20から、車両12の走行情報を取得する。
ステップS112において、取得部260は、車両12の車載器20から、ターゲットの情報を取得する。
ステップS114において、前処理部270は、認識されたターゲットが、前方車両である場合には、前方車両があることを表すフラグであれば、前方車両フラグを記録する。そして、前方車両の誤検出、未検出を避けるため、前方車両があることを表すフラグを、一定区間である前後0.2秒の最大値に置き換えるフィルタ処理をすることにより、当該最大値で、一定区間の全てのフラグを更新する。
ステップS116において、診断部280は、走行中又は停車中に車間距離を短くしていることを検知条件として、注意すべきイベントが発生したか診断する。検知条件を満たしている場合には、注意すべきイベントが発生していると診断し、ステップS118へ移行する。一方、検知条件を満たしていない場合には、ステップS120へ移行する。
ステップS118において、抽出部290は、車両12の車載器20へ撮像画像を要求し、車両12の車載器20から取得した撮像画像の抽出を開始する。
ステップS120において、抽出部290は、撮像画像の抽出中であるか否かを判定する。撮像画像の抽出中である場合には、ステップS122へ移行し、撮像画像の抽出を終了し、抽出した撮像画像を、抽出画像DB170に記憶させる。一方、撮像画像の抽出中でない場合には、運転診断処理を終了する。
また、CPU30Aが、注意すべきイベントとして発進時に前方車両に著しく遅れをとっていることを診断するための図10に示す運転診断処理を繰り返し実行する。なお、上記図9と同様の処理については、同一符号を付して説明する。
図10のステップS110において、取得部260は、車両12の車載器20から、車両12の走行情報を取得する。
ステップS112において、取得部260は、車両12の車載器20から、ターゲットの情報を取得する。
ステップS114において、前処理部270は、認識されたターゲットが、前方車両である場合には、前方車両があることを表すフラグであれば、前方車両フラグを記録する。そして、前方車両があることを表すフラグを、一定区間である前後0.2秒の最大値に置き換えるフィルタ処理をすることにより、当該最大値で、一定区間の全てのフラグを更新する。
ステップS116において、診断部280は、交差点や渋滞中の発進時に、前方車両に著しく遅れをとっていることを検知条件として、注意すべきイベントが発生したか診断する。検知条件を満たしている場合には、注意すべきイベントが発生していると診断し、ステップS118へ移行する。一方、検知条件を満たしていない場合には、ステップS120へ移行する。
ステップS118において、抽出部290は、車両12の車載器20へ撮像画像を要求し、車両12の車載器20から取得した撮像画像の抽出を開始する。
ステップS120において、抽出部290は、撮像画像の抽出中であるか否かを判定する。撮像画像の抽出中である場合には、ステップS122へ移行し、撮像画像の抽出を終了し、抽出した撮像画像を、抽出画像DB170に記憶させる。一方、撮像画像の抽出中でない場合には、運転診断処理を終了する。
ステップS200では、抽出部290は、停車時間>120秒であること、前方車両との距離>15000mmであること、又は右左折時(ウインカースイッチがオン)であることを検知解除条件として、検知解除条件を満たしているか否かを判定する。検知解除条件を満たしていない場合には、運転診断処理を終了する。一方、検知解除条件を満たしている場合には、ステップS202へ移行する。
ステップS202では、抽出部290は、注意すべきイベントが発生したとの診断、及び抽出した撮像画像を削除し、運転診断処理を終了する。
また、CPU30Aが、発進時に前方車両に著しく遅れをとっていることを診断するための運転診断処理と同様に、注意すべきイベントとして赤信号にも関わらず停止していないことを診断するための上記図10に示す運転診断処理を繰り返し実行する。
ここで、ステップS114では、前処理部270は、認識されたターゲットが、信号機の信号である場合には、赤信号であることを表すフラグであれば、赤信号フラグを記録する。そして、赤信号であることを表すフラグを、一定区間である前後1秒の最大値に置き換えるフィルタ処理をすることにより、当該最大値で、一定区間の全てのフラグを更新する。
また、前処理部270は、青信号であることを表すフラグであれば、青信号フラグを記録する。そして、青信号であることを表すフラグを、一定区間である前後1秒の最大値に置き換えるフィルタ処理をすることにより、当該最大値で、一定区間の全てのフラグを更新する。
ステップS116では、診断部280は、赤信号にも関わらず停止していないことを検知条件として、注意すべきイベントが発生したか診断する。検知条件を満たしている場合には、注意すべきイベントが発生していると診断し、ステップS118へ移行する。一方、検知条件を満たしていない場合には、ステップS120へ移行する。
ステップS200では、抽出部290は、最低車速が閾値(1km/h)未満であること、ウインカースイッチがオンであること、赤信号を認識中に信号機から常に10m以上離れていること、又は赤信号から青信号にすぐに切り替わっていることを、検知解除条件として、検知解除条件を満たしているか否かを判定する。検知解除条件を満たしていない場合には、運転診断処理を終了する。一方、検知解除条件を満たしている場合には、ステップS202へ移行する。
(実施形態のまとめ)
本実施形態のセンタサーバ30は、車両の走行に係る走行情報と、車両に搭載されたカメラにより撮像された撮像画像からターゲットが認識されたか否かの情報を取得し、ターゲットの態様及び前記走行情報に基づく検知条件を満たした場合に、注意すべきイベントが発生したと診断する。そのため、センタサーバ30によれば、運転診断のために撮像画像の送信が不要であり、車両外部で運転診断を行う場合における車両との間の通信量を抑制することができる。
また、本実施形態のセンタサーバ30は、注意すべきイベントの検知条件を満たした場合を契機に撮像画像を抽出する。そのため、センタサーバ30によれば、注意すべきイベントが発生したと診断された際の撮像画像を記録することができる。
また、本実施形態のセンタサーバ30は、走行情報に基づく所定の検知解除条件を満たした場合、抽出された撮像画像を削除する。このため、センタサーバ30によれば、注意すべきイベントが発生したと一旦診断された後に、注意すべきイベントが発生していないと診断された際に、抽出された撮像画像を削除することができる。
[備考]
上記実施形態でCPU20A及びCPU30Aがソフトウェア(プログラム)を読み込んで実行した各種処理を、CPU以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、FPGA(Field-Programmable Gate Array)等の製造後に回路構成を変更可能なPLD(Programmable Logic Device)、及びASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、上述した各処理を、これらの各種のプロセッサのうちの1つで実行してもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGA、及びCPUとFPGAとの組み合わせ等)で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
また、上記実施形態において、各プログラムはコンピュータが読み取り可能な非一時的記録媒体に予め記憶(インストール)されている態様で説明した。例えば、車載器20における制御プログラム100はROM20Bに予め記憶され、センタサーバ30における処理プログラム150はストレージ30Dに予め記憶されている。しかしこれに限らず、各プログラムは、CD-ROM(Compact Disc Read Only Memory)、DVD-ROM(Digital Versatile Disc Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の非一時的記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
上記実施形態で説明した処理の流れは、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
12 車両
20 車載器
30 センタサーバ(情報処理装置)
30A CPU(プロセッサ)
30D ストレージ(メモリ)
150 処理プログラム(プログラム)
260 取得部
270 前処理部
280 診断部
290 抽出部

Claims (6)

  1. 車両の走行に係る走行情報と、前記車両に搭載されたカメラにより撮像された撮像画像からターゲットが認識されたか否かの情報を取得する取得部と、
    ある時刻を含む一定区間において取得した前記情報に、前記ターゲットが認識されたことを示す情報が含まれる場合、当該時刻において前記ターゲットが認識されていないことを示す情報であっても、前記ターゲットが認識されたことを示す情報に更新する前処理部と、
    各時刻について、前記ターゲットが認識されたことを示す情報がある場合であって、前記ターゲットの態様及び前記走行情報に基づく検知条件を満たした場合に、注意すべきイベントが発生したと診断する診断部と、
    を含む情報処理装置。
  2. 前記検知条件を満たした場合を契機に前記撮像画像を抽出する抽出部を更に含む請求項1記載の情報処理装置。
  3. 前記抽出部は、前記検知条件を満たさなくなった場合を契機に前記撮像画像の抽出を終了する請求項2記載の情報処理装置。
  4. 前記抽出部は、前記走行情報に基づく所定の検知解除条件を満たした場合、抽出された前記撮像画像を削除する請求項2又は3記載の情報処理装置。
  5. 車両の走行に係る走行情報と、前記車両に搭載されたカメラにより撮像された撮像画像からターゲットが認識されたか否かの情報を取得し、
    ある時刻を含む一定区間において取得した前記情報に、前記ターゲットが認識されたことを示す情報が含まれる場合、当該時刻において前記ターゲットが認識されていないことを示す情報であっても、前記ターゲットが認識されたことを示す情報に更新し、
    各時刻について、前記ターゲットが認識されたことを示す情報がある場合であって、前記ターゲットの態様及び前記走行情報に基づく検知条件を満たした場合に、注意すべきイベントが発生したと診断する
    処理をコンピュータが実行する運転診断方法。
  6. 車両の走行に係る走行情報と、前記車両に搭載されたカメラにより撮像された撮像画像からターゲットが認識されたか否かの情報を取得し、
    ある時刻を含む一定区間において取得した前記情報に、前記ターゲットが認識されたことを示す情報が含まれる場合、当該時刻において前記ターゲットが認識されていないことを示す情報であっても、前記ターゲットが認識されたことを示す情報に更新し、
    各時刻について、前記ターゲットが認識されたことを示す情報がある場合であって、前記ターゲットの態様及び前記走行情報に基づく検知条件を満たした場合に、注意すべきイベントが発生したと診断する
    処理をコンピュータに実行させるプログラム。
JP2022076207A 2022-05-02 2022-05-02 情報処理装置、運転診断方法及びプログラム Pending JP2023165318A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022076207A JP2023165318A (ja) 2022-05-02 2022-05-02 情報処理装置、運転診断方法及びプログラム
US18/183,166 US20230351762A1 (en) 2022-05-02 2023-03-14 Information processing device, driving diagnosis method, and program
CN202310271000.4A CN116994356A (zh) 2022-05-02 2023-03-16 信息处理装置、驾驶诊断方法及计算机可读非暂时性记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022076207A JP2023165318A (ja) 2022-05-02 2022-05-02 情報処理装置、運転診断方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2023165318A true JP2023165318A (ja) 2023-11-15

Family

ID=88512432

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022076207A Pending JP2023165318A (ja) 2022-05-02 2022-05-02 情報処理装置、運転診断方法及びプログラム

Country Status (3)

Country Link
US (1) US20230351762A1 (ja)
JP (1) JP2023165318A (ja)
CN (1) CN116994356A (ja)

Also Published As

Publication number Publication date
US20230351762A1 (en) 2023-11-02
CN116994356A (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
CN110570538B (zh) 智能驾驶汽车中黑匣子数据的管理方法、装置和设备
US9454901B2 (en) Method and device for monitoring real-time road condition
US10810807B2 (en) Data collection system and data center
CN111091706B (zh) 信息处理系统和信息处理方法
EP4360956A2 (en) Managing the camera acquiring interior data
JP2008102762A (ja) 画像収集システム、記録装置
JP2012098105A (ja) 事故発生場所周辺の映像収集システム
JP2007323281A (ja) 危険発生箇所情報収集システム,車載機及び危険発生箇所情報収集装置
JP7247592B2 (ja) 異常検出装置、異常検出プログラム、異常検出方法及び異常検出システム
CN108349495A (zh) 控制方法、控制装置和控制系统
CN113705479A (zh) 数据处理方法、装置、设备、系统和存储介质
JP2011131728A (ja) 記録システム
WO2020230683A1 (ja) 走行情報記録装置、走行情報記録方法及び走行情報記録プログラム
JP2023165318A (ja) 情報処理装置、運転診断方法及びプログラム
WO2021101302A1 (ko) 자율주행차량의 이벤트 데이터 기록을 위한 시스템
JP2023165313A (ja) 情報処理装置、運転診断方法及びプログラム
JP7115872B2 (ja) ドライブレコーダ、及び画像記録方法
US20230322230A1 (en) Driving diagnostic device, driving diagnostic method, and storage medium
CN113052791A (zh) 图像处理系统、装置、方法以及非暂时性存储介质
US20240177600A1 (en) Information processing device and non-transitory storage medium
JP2020071594A (ja) 履歴蓄積装置、及び履歴蓄積プログラム
US20230322239A1 (en) Driving diagnostic device, driving diagnostic method, and storage medium
US20230110843A1 (en) Image extraction device, image extraction system, image extraction method, and computer-readable storage medium
JP2023165315A (ja) 情報処理装置、運転診断方法及びプログラム
KR101294285B1 (ko) 도로 위치기반 적응형 영상 및 차량정보 수집 시스템 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240125