JP2022045520A - 情報管理システムおよびこれに用いられる車載装置、画像管理サーバ - Google Patents

情報管理システムおよびこれに用いられる車載装置、画像管理サーバ Download PDF

Info

Publication number
JP2022045520A
JP2022045520A JP2020151150A JP2020151150A JP2022045520A JP 2022045520 A JP2022045520 A JP 2022045520A JP 2020151150 A JP2020151150 A JP 2020151150A JP 2020151150 A JP2020151150 A JP 2020151150A JP 2022045520 A JP2022045520 A JP 2022045520A
Authority
JP
Japan
Prior art keywords
image
vehicle
vehicle state
rare
selected image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020151150A
Other languages
English (en)
Inventor
克彦 岩崎
Katsuhiko Iwasaki
優 渡辺
Masaru Watanabe
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020151150A priority Critical patent/JP2022045520A/ja
Priority to CN202111039643.3A priority patent/CN114241623B/zh
Priority to US17/469,802 priority patent/US20220078378A1/en
Publication of JP2022045520A publication Critical patent/JP2022045520A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/085Registering performance data using electronic data carriers
    • G07C5/0866Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/0875Registering performance data using magnetic data carriers
    • G07C5/0891Video recorder in combination with video camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00209Transmitting or receiving image data, e.g. facsimile data, via a computer, e.g. using e-mail, a computer network, the internet, I-fax
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)

Abstract

【課題】ユーザと画像管理サーバとの間における希少画像が含まれる動画の通信量を抑制する。【解決手段】車載装置は、記憶装置に記憶された撮影画像のうち選択された選択画像および選択画像を撮影したときの車両状態である選択車両状態を用いて選択画像が希少画像であるか否かを判定する車両側判定処理を実行し、車両側判定処理の実行により選択画像が希少画像であると判定した選択画像と選択車両状態とを前記携帯端末に転送する。携帯端末は、ユーザにより送信が許可されたときにのみ選択画像と選択車両状態とを画像管理サーバに送信する。画像管理サーバは、携帯端末から送信された選択画像と選択車両状態とを画像蓄積装置に蓄積する。【選択図】図3

Description

本発明は、情報管理システムおよびこれに用いられる車載装置、画像管理サーバに関する。
従来、この種のシステムとしては、ドライブレコーダと共に車載されたエッジデバイスと、複数のエッジデバイスに通信網により接続されたドライブレコーダ情報サーバと、この通信網に接続された外部サーバと、を備えるものが提案されている(例えば、特許文献1参照)。このシステムでは、エッジデバイスは、ドライブレコーダにより撮影された画像の特徴情報を抽出し、特徴情報に基づいて交通事故などの所定の事象が発生したか否かを検知する。そして、エッジデバイスは、所定の事象が発生したことを検知すると、所定の事象が検知された際の画像の特徴情報を、その画像が撮影された位置及び時刻の情報と共にドライブレコーダ情報サーバに送信する。ドライブレコーダ情報サーバは、エッジデバイスから取得した情報に基づいて発生した交通事故の概要を示す事故概要情報を生成し、事故概要情報を外部サーバに提供する。外部サーバは、このサーバを利用する多数の運転者に交通事故に関する情報を提供する。
特開2019-197525号公報
しかしながら、上述のシステムでは、ドライブレコーダにより撮影された画像から特徴情報を抽出し、特徴情報が抽出できたときには自動的に画像と位置および時刻の情報をドライブレコーダ情報サーバに送信するため、必要の有無を問わずに大量の画像が送信される場合が生じる。この場合、通信量が過大となる。
本発明の情報管理システムおよびこれに用いられる車載装置、画像管理サーバは、ユーザと画像管理サーバとの間における希少画像が含まれる画像の通信量や通信頻度を抑制することを主目的とする。
本発明の情報管理システムおよびこれに用いられる車載装置、画像管理サーバは、上述の主目的を達成するために以下の手段を採った。
本発明の情報管理システムは、
車両に搭載されたカメラと、車両状態を検出するセンサと、前記カメラにより撮影された画像および前記センサにより検出された車両状態とを時刻と共に撮影画像および検出車両状態として記憶する記憶装置と、前記撮影画像と前記検出車両状態の転送が可能な転送装置と、前記カメラと前記転送装置とを制御する制御装置と、を有する車載装置と、
前記転送装置から転送された前記撮影画像と前記検出車両状態とを取得すると共に送信可能な形態端末と、
前記携帯端末から送信された前記撮影画像と前記検出車両状態とを受信する画像管理サーバと、
を備える情報管理システムであって、
前記車載装置の前記制御装置は、前記記憶装置に記憶された撮影画像のうち選択された選択画像および前記選択画像を撮影したときの車両状態である選択車両状態を用いて前記選択画像が希少画像であるか否かを判定する車両側判定処理を実行し、前記車両側判定処理の実行により前記選択画像が希少画像であると判定した前記選択画像および前記選択車両状態を前記携帯端末に転送するものであり、
前記携帯端末は、ユーザにより送信が許可されたときにのみ前記車載装置から転送された前記選択画像と前記選択車両状態とを前記画像管理サーバに送信するものであり、
前記画像管理サーバは、前記携帯端末から受信した前記選択画像と前記選択車両状態とを蓄積する画像蓄積装置を備える、
ことを特徴とする。
この本発明の情報管理システムでは、車載装置は、カメラに撮影されて時刻と共に記憶された撮影画像のうち選択された選択画像とこの選択画像を撮影したときに検出された車両状態(選択車両状態)とを用いて車両側判定処理により選択画像が希少画像であるか否かを判定する車両側判定処理を実行し、車両側判定処理の実行により選択画像が希少画像であると判定した選択画像と選択車両状態とを携帯端末に転送する。携帯端末は、ユーザにより送信が許可されたときにのみ車載装置から転送された選択画像と選択車両状態と画像管理サーバに送信する。画像管理サーバは、携帯端末から受信した選択画像と選択車両状態とを画像蓄積装置に蓄積する。このように、本発明の情報管理システムでは、車載装置で選択画像と選択画像が撮影されたときの車両状態(選択車両状態)とを用いて車両側判定処理により選択画像が希少画像であると判定した選択画像と選択車両状態とを携帯端末に転送する。そして、ユーザにより送信が許可されたときにのみ携帯端末から選択画像と選択車両状態とを画像管理サーバに送信される。このため、選択画像のうち所定の条件に適合するものを自動的に画像管理サーバに送信するものに比して、ユーザと画像管理サーバとの間における希少画像が含まれる動画の通信量や通信頻度を抑制することができる。なお、「画像」には静止画や動画が含まれており、以下においても同様である。
本発明の情報管理システムにおいて、前記車載装置の前記制御装置は、ユーザにより前記撮影画像に対してスタート位置と終了位置とが指定されたときに指定された範囲の画像を前記選択画像として選択するものとしてもよい。即ち、ユーザによる操作によって選択画像を選択するのである。こうすれば、ユーザが希少画像であると感じた画像を選択画像に選択することができる。
本発明の情報管理システムにおいて、前記車載装置の前記制御装置は、所定のタイミングで前記撮影画像の所定範囲の画像を前記選択画像として選択するものとしてもよい。即ち、所定のタイミング毎に自動的に選択画像を選択するのである。例えば、所定時間毎に選択画像を選択するものとしたり、車両においてイグニッションオフ(起動停止)される毎に選択画像を選択するものとしたりしてもよい。あるいは、撮影画像に対して撮影直後にその画像を選択画像として選択し、選択画像に対して車両側判定処理を施し、選択画像が希少画像であると判定したときには希少画像と判定した画像の前後数秒分を選択画像として再選択するものとしてもよい。こうすれば、ユーザによる選択画像の選択を行なう必要がない。
本発明の情報管理システムにおいて、前記車両側判定処理は、前記画像蓄積装置に蓄積された過去の画像に基づいて前記選択画像を評価することによって希少画像であるか否かを判定する処理であるものとしてもよい。画像蓄積装置に蓄積された過去の画像を用いることができる。この場合、前記車両側判定処理は、前記画像蓄積装置に蓄積された過去の画像における事物または事象に対して学習した結果に基づいて前記選択画像における事物または事象が認識できないときに希少画像であると判定する処理であるものとしてもよい。即ち、画像蓄積装置に蓄積された過去の画像における事物または事象を画像認識することにより構築した人工知能画像認識処理により選択画像における事物または事象が認識可能であるか否かに基づいて選択画像が希少画像であるか否かを判定するものとしてもよいのである。これらの場合、前記車両側判定処理は、前記選択車両状態に基づいて前記選択画像が道路上で走行中に撮像された画像であるときに前記選択画像が希少画像であるか否かを判定する処理であるものとしてもよい。こうすれば、車両が道路上で走行しているときに撮影された画像に限定することができる。
本発明の情報管理システムにおいて、前記画像管理サーバは、前記携帯端末から受信した前記選択画像と前記選択車両状態とを用いて前記選択画像が希少画像であるか否かを判定するサーバ側判定処理を実行し、前記サーバ側判定処理の実行により前記選択画像が希少画像であると判定した前記選択画像を前記画像蓄積装置に蓄積するものとしてもよい。こうすれば、画像管理サーバは、ユーザにより選択および許可されて携帯端末から送信された選択画像に対してこの選択画像が希少画像であるか否かを判定するから、希少画像との判定に十分な工程を課すことができる。この結果、より適正に希少画像を判定して蓄積することができる。この場合、前記サーバ側判定処理は、前記画像蓄積装置に蓄積された過去の画像における事物または事象に対する学習を行なった結果に基づいて前記選択画像における事物または事象が認識できないときに希少画像であると判定する処理であって、所定のタイミングで前記学習を行なう処理であり、前記端末側判定処理は、過去の特定のタイミングで前記学習を行なった結果を用いた処理であるものとしてもよい。こうすれば、端末側判定処理をサーバ側判定処理を用いたものとすることができ、携帯端末からより適正な選択画像と選択車両状態とを画像管理サーバに送信することができる。更にこの場合、前記サーバ側判定処理は、前記選択車両状態に基づいて前記選択画像が道路上で走行中に撮像された画像であるときに前記選択画像が希少画像であるか否かを判定する処理であるものとしてもよい。こうすれば、車両が道路上で走行しているときに撮影された画像に限定することができる。
本発明の車載装置は、上述の本発明の情報管理システムを構成する車載装置である。即ち、本発明の車載装置は、
車両に搭載されたカメラと、車両状態を検出するセンサと、前記カメラにより撮影された画像および前記センサにより検出された車両状態とを時刻と共に撮影画像および検出車両状態として記憶する記憶装置と、前記撮影画像と前記検出車両状態の転送が可能な転送装置と、前記カメラと前記転送装置とを制御する制御装置と、を有する車載装置と、
前記転送装置から転送された前記撮影画像と前記検出車両状態とを取得すると共に送信可能な形態端末と、
前記携帯端末から送信された前記撮影画像と前記検出車両状態とを受信する画像管理サーバと、
を備える情報管理システムにおいて、
前記車載装置の前記制御装置は、前記記憶装置に記憶された撮影画像のうち選択された選択画像および前記選択画像を撮影したときの車両状態である選択車両状態を前記携帯端末に転送するものであり、
前記携帯端末は、ユーザにより送信が許可されたときにのみ前記車載装置から転送された前記選択画像と前記選択車両状態とを前記画像管理サーバに送信するものであり、
前記画像管理サーバは、前記携帯端末から受信した前記選択画像と前記選択車両状態とを蓄積する画像蓄積装置を備える、
ことを特徴とする情報管理システムにおける前記車載装置であって、
前記制御装置は、前記選択画像と前記選択車両状態を用いて前記選択画像が希少画像であるか否かを判定する車両側判定処理を実行し、前記車両側判定処理の実行により前記選択画像が希少画像であると判定した前記選択画像と前記選択車両状態とを前記携帯端末に転送するものである、
ことを特徴とする。
この本発明の車載装置は、本発明の情報管理システムに用いられる。本発明の車載装置を備える情報管理システムでは、車載装置は、カメラに撮影されて時刻と共に記憶された撮影画像のうち選択された選択画像とこの選択画像を撮影したときに検出された車両状態(選択車両状態)とを用いて車両側判定処理により選択画像が希少画像であるか否かを判定する車両側判定処理を実行し、車両側判定処理の実行により選択画像が希少画像であると判定した選択画像と選択車両状態とを携帯端末に転送する。携帯端末は、ユーザにより送信が許可されたときにのみ車載装置から転送された選択画像と選択車両状態と画像管理サーバに送信する。画像管理サーバは、携帯端末から受信した選択画像と選択車両状態とを画像蓄積装置に蓄積する。このように、本発明の車載装置を備える情報管理システムでは、車載装置で選択画像と選択画像が撮影されたときの車両状態(選択車両状態)とを用いて車両側判定処理により選択画像が希少画像であると判定した選択画像と選択車両状態とを携帯端末に転送する。そして、ユーザにより送信が許可されたときにのみ携帯端末から選択画像と選択車両状態とを画像管理サーバに送信される。このため、選択画像のうち所定の条件に適合するものを自動的に画像管理サーバに送信するものに比して、ユーザと画像管理サーバとの間における希少画像が含まれる動画の通信量や通信頻度を抑制することができる。
本発明の車載装置において、前記制御装置は、ユーザにより前記撮影画像に対してスタート位置と終了位置とが指定されたときに指定された範囲の画像を前記選択画像として選択するものとしてもよい。即ち、ユーザによる操作によって選択画像を選択するのである。こうすれば、ユーザが希少画像であると感じた画像を選択画像に選択することができる。
本発明の車載装置において、前記制御装置は、所定のタイミングで前記撮影画像の所定範囲の画像を前記選択画像として選択するものとしてもよい。即ち、所定のタイミング毎に自動的に選択画像を選択するのである。例えば、所定時間毎に選択画像を選択するものとしたり、車両においてイグニッションオフ(起動停止)される毎に選択画像を選択するものとしたりしてもよい。あるいは、撮影画像に対して撮影直後にその画像を選択画像として選択し、選択画像に対して車両側判定処理を施し、選択画像が希少画像であると判定したときには希少画像と判定した画像の前後数秒分を選択画像として再選択するものとしてもよい。こうすれば、ユーザによる選択画像の選択を行なう必要がない。
本発明の車載装置において、前記車両側判定処理は、前記画像蓄積装置に蓄積された過去の画像に基づいて前記選択画像を評価することによって希少画像であるか否かを判定する処理であるものとしてもよい。画像蓄積装置に蓄積された過去の画像を用いることができる。この場合、前記車両側判定処理は、前記画像蓄積装置に蓄積された過去の画像における事物または事象に対して学習した結果に基づいて前記選択画像における事物または事象が認識できないときに希少画像であると判定する処理であるものとしてもよい。即ち、画像蓄積装置に蓄積された過去の画像における事物または事象を画像認識することにより構築した人工知能画像認識処理により選択画像における事物または事象が認識可能であるか否かに基づいて選択画像が希少画像であるか否かを判定するものとしてもよいのである。これらの場合、前記車両側判定処理は、前記選択車両状態に基づいて前記選択画像が道路上で走行中に撮像された画像であるときに前記選択画像が希少画像であるか否かを判定する処理であるものとしてもよい。こうすれば、車両が道路上で走行しているときに撮影された画像に限定することができる。
本発明の画像管理サーバは、上述の本発明の情報管理システムを構成する画像管理サーバである。即ち、本発明の画像管理サーバは、
車両に搭載されたカメラと、車両状態を検出するセンサと、前記カメラにより撮影された画像および前記センサにより検出された車両状態とを時刻と共に撮影画像および検出車両状態として記憶する記憶装置と、前記撮影画像と前記検出車両状態の転送が可能な転送装置と、前記カメラと前記転送装置とを制御する制御装置と、を有する車載装置と、
前記転送装置から転送された前記撮影画像と前記検出車両状態とを取得すると共に送信可能な形態端末と、
前記携帯端末から送信された前記撮影画像と前記検出車両状態とを受信する画像管理サーバと、
を備える情報管理システムにおいて、
前記車載装置の前記制御装置は、前記記憶装置に記憶された撮影画像のうち選択された選択画像および前記選択画像を撮影したときの車両状態である選択車両状態を用いて前記選択画像が希少画像であるか否かを判定する車両側判定処理を実行し、前記車両側判定処理の実行により前記選択画像が希少画像であると判定した前記選択画像および前記選択車両状態を前記携帯端末に転送するものであり、
前記携帯端末は、ユーザにより送信が許可されたときにのみ前記車載装置から転送された前記選択画像と前記選択車両状態とを前記画像管理サーバに送信するものであり、
前記画像管理サーバは、前記携帯端末から受信した前記選択画像と前記選択車両状態とを蓄積する画像蓄積装置を備える、
ことを特徴とする情報管理システムにおける前記画像管理サーバであって、
前記携帯端末から受信した前記選択画像と前記選択車両状態とを用いて前記選択画像が希少画像であるか否かを判定するサーバ側判定処理を実行し、前記サーバ側判定処理の実行により前記選択画像が希少画像であると判定した前記選択画像を前記画像蓄積装置に蓄積する、
ことを特徴とする。
この本発明の画像管理サーバは、本発明の情報管理システムに用いられる。本発明の画像管理サーバを備える情報管理システムでは、車載装置は、カメラに撮影されて時刻と共に記憶された撮影画像のうち選択された選択画像とこの選択画像を撮影したときに検出された車両状態(選択車両状態)とを用いて車両側判定処理により選択画像が希少画像であるか否かを判定する車両側判定処理を実行し、車両側判定処理の実行により選択画像が希少画像であると判定した選択画像と選択車両状態とを携帯端末に転送する。携帯端末は、ユーザにより送信が許可されたときにのみ車載装置から転送された選択画像と選択車両状態と画像管理サーバに送信する。画像管理サーバは、携帯端末から受信した選択画像と選択車両状態とを画像蓄積装置に蓄積する。このように、本発明の画像管理サーバを備える情報管理システムでは、車載装置で選択画像と選択画像が撮影されたときの車両状態(選択車両状態)とを用いて車両側判定処理により選択画像が希少画像であると判定した選択画像と選択車両状態とを携帯端末に転送する。そして、ユーザにより送信が許可されたときにのみ携帯端末から選択画像と選択車両状態とを画像管理サーバに送信される。このため、選択画像のうち所定の条件に適合するものを自動的に画像管理サーバに送信するものに比して、ユーザと画像管理サーバとの間における希少画像が含まれる動画の通信量や通信頻度を抑制することができる。さらに、画像管理サーバは、ユーザにより選択および許可されて携帯端末から送信された選択画像に対してこの選択画像が希少画像であるか否かを判定するから、希少画像との判定に十分な工程を課すことができる。この結果、より適正に希少画像を判定して蓄積することができる。
本発明の画像管理サーバにおいて、前記サーバ側判定処理は、前記画像蓄積装置に蓄積された過去の動画に基づいて前記選択画像を評価することによって希少動画であるか否かを判定する所定判定処理を所定のタイミングで更新される処理であり、前記端末側判定処理は、過去の特定のタイミングで更新された前記サーバ側判定処理または前記サーバ側判定処理の少なくとも一部の判定精度を低下させた処理であるものとしてもよい。こうすれば、画像管理サーバは、ユーザにより選択および許可されて携帯端末から送信された選択画像に対してこの選択画像が希少画像であるか否かを判定するから、希少画像との判定に十分な工程を課すことができる。この結果、より適正に希少画像を判定して蓄積することができる。
本発明の画像管理サーバにおいて、前記サーバ側判定処理は、前記画像蓄積装置に蓄積された過去の画像における事物または事象に対する学習を行なった結果に基づいて前記選択画像における事物または事象が認識できないときに希少画像であると判定する処理であって、所定のタイミングで前記学習を行なう処理であり、前記端末側判定処理は、過去の特定のタイミングで前記学習を行なった結果を用いた処理であるものとしてもよい。こうすれば、端末側判定処理をサーバ側判定処理を用いたものとすることができ、携帯端末からより適正な選択画像と選択車両状態とを画像管理サーバに送信することができる。更にこの場合、前記サーバ側判定処理は、前記選択車両状態に基づいて前記選択画像が道路上で走行中に撮像された画像であるときに前記選択画像が希少画像であるか否かを判定する処理であるものとしてもよい。こうすれば、車両が道路上で走行しているときに撮影された画像に限定することができる。
本発明の第1実施例としての情報管理システム10の構成の概略を示す構成図である。 第1実施例の情報管理システム10が備える車載装置20の構成の概略を示す構成図である。 ユーザが画像を選択する際に車載装置20の電子制御ユニット30により実行される画像選択判定処理の一例を示すフローチャートである。 携帯端末120により実行される画像送信処理の一例を示すフローチャートである。 情報管理センター220の画像管理サーバ230により実行される画像蓄積処理の一例を示すフローチャートである。 変形例の画像蓄積処理の一例を示すフローチャートである。 第2実施例の車載装置20の電子制御ユニット30により実行される画像選択判定処理の一例を示すフローチャートである。
次に、本発明を実施するための形態を実施例を用いて説明する。
図1は、本発明の第1実施例としての情報管理システム10の構成の概略を示す構成図であり、図2は、第1実施例の情報管理システム10が備える車載装置20の構成の概略を示す構成図である。図示するように、第1実施例の情報管理システム10は、車載された車載装置20と、携帯端末120と、画像管理センター220と、を備える。
車載装置20は、図2に示すように、駆動源22から駆動軸24に出力された駆動力をデファレンシャルギヤ26を介して駆動輪28a,28bに伝達して走行する自動車に搭載されている。駆動源22としては、ガソリンや軽油などの炭化水素系の燃料を用いて駆動するエンジンとオートマチックトランスミッションとを備えるエンジン変速機システムや、エンジンとモータと蓄電池とを備えるハイブリッドシステム、モータと蓄電池とを備える電気自動車システム、モータと蓄電池と燃料電池を備える燃料電池システムなどを挙げることができる。
車載装置20は、カメラ60と、各種センサ40と、記憶装置64、表示装置70、操作装置72、通信装置74、電子制御ユニット30と、を備える。
カメラ60は、車両前方に配置されており、例えば車速やGPS(Global Positioning System)データ、時刻などを撮影画像と共に記憶するドライブレコーダに組み込まれたものを用いることができる。なお、カメラ60は、車両前方だけでなく車両後方や車両横方向にも取り付けられているものとしてもよい。
各種センサ40としては、車速センサ49や、車輪速センサ50、加速度センサ51、ヨーレートセンサ52、勾配センサ53、GPS(Global Positioning System)62など車両の状態を検出するセンサを挙げることができる。
記憶装置64は、例えばハードディスクドライブやSSD(Solid State Drive)により構成されており、ドライブレコーダに組み込まれたものや、ドライブレコーダとは別に設けられたものを用いることができる。
表示装置70は、例えば液晶ディスプレイとして構成されており、ドライブレコーダに組み込まれたものや、ドライブレコーダとは別に設けられたものを用いることができる。
操作装置72は、記憶装置64に記憶された画像(動画を含む)を表示装置70に表示させたり、表示装置70に表示されている画像(動画を含む)を編集する際に用いられるスイッチ類を備え、ドライブレコーダに組み込まれたものや、ドライブレコーダとは別に設けられたものを用いることができる。
通信装置74は、有線あるいは無線により携帯端末120に画像(動画を含む)を転送する機能(例えばブルートゥース(登録商標)の機能)を有しており、ドライブレコーダに組み込まれたものや、ドライブレコーダとは別に設けられたものを用いることができる。
電子制御ユニット30は、CPU31を中心として構成されたマイクロコンピュータであり、CPU31の他に、プログラムなどを記憶するROM32や、データを一時的に記憶するRAM32、データなど記憶するフラッシュメモリ34、タイマー機能などを有する時刻計35、図示しない入出力ポートを備える。電子制御ユニット30は、ドライブレコーダに組み込まれたものや、ドライブレコーダとは別に設けられたものを用いることができる。また、電子制御ユニット30は、車両の走行制御を行なうユニットとカメラ60により撮影された画像の編集や記憶、転送などの制御を行なうユニットとが別体のものとしてもよい。
電子制御ユニット30には、各種センサからの信号が入力ポートを介して入力されている。入力ポートを介して電子制御ユニット30に入力される信号としては、イグニッションスイッチ42からのイグニッション信号、シフトレバー43のポジションを検出するシフトポジションセンサ44からのシフトポジション、アクセルペダル45の踏み込み量を検出するアクセルペダルポジションセンサ46からのアクセル開度、ブレーキペダル47の踏み込み量を検出するブレーキペダルポジションセンサ48からのブレーキポジションなどを挙げることができる。また、車速センサ49からの車速、車輪速センサ50からの車輪速、加速度センサ51からの加速度、ヨーレートセンサ52からのヨーレート、勾配センサ53からの路面勾配、GPS62からのGPSデータ(位置情報)なども挙げることができる。さらに、操作装置72のスイッチ類の操作信号、駆動源22からの駆動源22の状態を示す各種信号なども挙げることができる。
電子制御ユニット30からは各種制御信号が出力ポートを介して出力されている。出力ポートを介して電子制御ユニット30から出力される制御信号としては、カメラ40により撮影された画像(動画を含む)を時刻と共に記憶装置64に記憶する制御信号、各種センサにより検出された車両の状態を示す信号を時刻と共に記憶装置64に記憶する制御信号、画像(動画を含む)を携帯端末120に転送する際に通信装置74に出力する転送制御信号などを挙げることができる。
携帯端末120は、例えばマイクロコンピュータの機能と電話機能とを有するスマートフォンとして構成されている。携帯端末120には、車載装置20から有線または無線により転送される画像を取得したり、インターネットや電話回線などの通信網を解して情報管理センター220と通信したりするアプリケーションソフトがインストールされている。
情報管理センター220は、画像管理サーバ230と、画像蓄積装置240と、通信装置250と、を備える。画像管理サーバ230は、汎用のマイクロコンピュータにより構成されており、携帯端末120と通信するプログラムや、携帯端末120との通信により取得した画像を評価するプログラムなどがインストールされている。画像蓄積装置240は、例えばハードディスクドライブやSSD(Solid State Drive)により構成されている。
第1実施例の情報管理システム10における車載装置20では、イグニッションスイッチ42のオンオフにかかわらず、常にカメラ60により撮影された画像が撮影時刻と共に記憶装置64に記憶されている。また、車載装置20では、各種センサ40により検出された車両状態についても、イグニッションスイッチ42のオンオフにかかわらず検出時刻と共に記憶装置64に記憶されている。車両状態としては、例えば車速センサ49からの車速、車輪速センサ50からの車輪速、加速度センサ51からの加速度、ヨーレートセンサ52からのヨーレート、勾配センサ53からの路面勾配、GPS62からのGPSデータ(位置情報)などの少なくとも一部が含まれる。なお、カメラ60による撮影や各種センサ40による車両状態の検出はイグニッションスイッチ42がオンとされているときに限定するものとしてもよい。
次に、こうして構成された第1実施例の情報管理システム10における動作について説明する。ユーザは、車載装置20の操作装置74のスイッチ類を操作して記憶装置64に記憶された画像(静止画および動画が含まれる。以下、同様である。)を表示装置72に表示して情報管理センター220に送信すべき画像の範囲を選択する。図3は、ユーザが情報管理センター220に送信すべき画像を選択する際に車載装置20の電子制御ユニット30により実行される画像選択判定処理の一例を示すフローチャートである。
画像選択判定処理が実行されると、電子制御ユニット30は、記憶装置64に記憶した画像の表示装置72での表示を開始する(ステップS100)。次に、情報管理センター220に転送すべき画像のスタート位置(時刻)が入力されるのを待って(ステップS110)、入力された位置(時刻)をスタート位置(時刻)として設定する(ステップS120)。具体的には、ユーザにより操作装置74の早送りスイッチや戻しスイッチなどが操作されて携帯端末120に転送すべき画像(動画)のスタート位置が入力されると、その位置をスタート位置(スタート時刻)として設定するのである。続いて、画像の終了位置(時刻)が入力されるのを待って(ステップS130)、入力された位置を終了位置(時刻)として設定する(ステップS140)。同様に、ユーザにより操作装置74の早送りスイッチや戻しスイッチなどが操作されて転送すべき画像の終了位置が入力されると、その位置を終了位置(終了時刻)として設定するのである。以下、スタート位置(スタート時刻)から終了位置(終了時刻)までの画像を選択画像と称する。
次に、ユーザにより、希少判定処理の「実行」が操作されるのを待つ(ステップS150)。ユーザにより希少判定処理の「実行」が操作されると、電子制御ユニット30は、選択画像の画像データあるいは車両状態データに含まれるGPSデータ(位置情報)に基づいて選択画像の撮影位置が道路上であるか否かを判定する(ステップS160、S170)。例えば、GPSデータを地図に照らして道路上であるか否かを判定することができる。選択画像の撮影位置が道路上ではないと判定したときには、希少画像に該当せず、不要画像と判断して選択画像の画像データと車両状態データとを削除し(ステップS240)、画像選択判定処理を終了する。
ステップS170で選択画像の撮影位置は道路上であると判定したときには、車両状態データに基づいて選択画像の撮影は走行中に行なわれたか否かを判定する(ステップS180、S190)。例えば、車速が閾値(3km/hや5km/hなど)以上であるか否かにより走行中であるか否かを判定することができる。選択画像の撮影が走行中に行なわれていないと判定したときには、希少画像に該当せず、不要画像と判断して選択画像の画像データと車両状態データとを削除し(ステップS240)、画像選択判定処理を終了する。
ステップS180で選択画像の撮影が走行中に行なわれていると判定したときには、選択画像に対して車両側AI画像認識処理を施して(ステップS200)、選択画像における事物や事象が認識できたか否かを判定する(ステップS210)。車両側AI画像認識処理は、第1実施例では画像管理サーバ230で所定のタイミングで更新されるサーバ側AI画像認識処理を用いて調整された車両側AI画像認識処理をダウンロードしたものである。サーバ側AI画像認識処理としては、第1実施例では、希少画像であると判断されて画像蓄積装置240に蓄積された多数の画像に対して各画像における事物や事象に対して解を与えて各画像における事物や事象を機械学習し、これにより得られた学習済みモデルを用いて選択画像における事物や事象を認識する処理を用いている。この機械学習は、画像蓄積装置240に希少画像としての選択画像が蓄積されたタイミングまたは一定期間毎のタイミングあるいは所望のタイミングで繰り返し行なわれ、サーバ側AI画像認識処理が更新される。車両側AI画像認識処理は、第1実施例では、こうしたサーバ側AI画像認識処理を用いて調整され、これが携帯端末120にダウンロードされ且つインストールされたものを用いている。したがって、ステップS200、S2210の処理では、選択画像の事物や事象が端末側AI画像認識処理によって認識できたと判定したときには、選択画像は希少画像ではないと判定することができる。この場合、選択画像は不要画像と判断して選択画像の画像データと車両状態データとを削除し(ステップS240)、画像選択判定処理を終了する。
ステップS200、S210で選択画像の事物や事象が車両側AI画像認識処理によって認識できないと判定したときには、選択画像は希少画像であると判定する。そして、ユーザにより、選択画像に対して「転送」が操作されるのを待つ(ステップS220)。ユーザにより「転送」が操作されると、選択画像の画像データと車両状態データとを携帯端末120に転送して(ステップS230)、画像選択判定処理を終了する。車載装置20から携帯端末120への転送は、ユーザにより、携帯端末120と車載装置20とを有線または無線により接続し、携帯端末120の車載装置20から転送される画像を取得したり情報管理センター220と通信したりするアプリケーションソフトが起動されている状態のときに行なわれる。
図3の画像選択判定処理のステップS150、S210の希少判定処理は選択的なものであり、ユーザにより希少判定処理の「実行」が操作されないときには希少判定処理やステップS220、S230の転送処理を行なうことなく画像選択判定処理を終了する。また、ステップS220、S230の転送処理も選択的なものであり、ユーザにより「転送」が操作されないときには希少判定処理により希少画像であると判定されていても選択画像を転送することなく画像選択判定処理を終了する。
次に、選択画像の転送を受けた携帯端末120の動作について説明する。図4は、携帯端末120により実行される画像送信処理の一例を示すフローチャートである。この処理は、携帯端末120と車載装置20とが有線または無線により接続されており、且つ、携帯端末120の車載装置20から転送される画像を取得したり情報管理センター220と通信したりするアプリケーションソフトが起動されているときに実行される。
画像送信処理が実行されると、携帯端末120は、まず、車載装置20から転送される選択画像の画像データと車両状態データとを取得する(ステップS300)。即ち、このステップS300が実行されているときに図3の画像選択判定処理のステップS220、S230が実行されることにより、選択画像の画像データと車両状態データとが車載装置20から転送され、携帯端末120により取得されるのである。なお、これ以降の処理では、携帯端末120と車載装置20との有線または無線による接続の有無は問わない。
続いて、ユーザにより、選択画像に対して「送信」が操作されるのを待つ(ステップS310)。ユーザにより「送信」が操作されると、選択画像の画像データと車両状態データとを情報管理センター20に送信して(ステップS320)、画像送信処理を終了する。こうしたステップS310、S320の選択画像の送信処理は選択的なものであり、ユーザにより「送信」が操作されないときには送信処理を行なうことなく画像送信処理を終了する。
次に、情報管理センター220の画像管理サーバ230の動作について説明する。図5は、情報管理センター220の画像管理サーバ230により実行される画像蓄積処理の一例を示すフローチャートである。携帯端末120から選択画像の画像データと車両状態データとが送信されると、情報管理センター220の画像管理サーバ230は、選択画像の画像データと車両状態データとを受信し(ステップS400)、選択画像を希少画像として画像蓄積装置240に蓄積し(ステップS410)、画像蓄積処理を終了する。選択画像は、車載装置20の画像選択判定処理における車両側AI画像認識処理により希少画像であると判定されているから、画像管理サーバでは、選択画像に対して希少判定処理を行なうことなく、選択画像を希少画像であるとして画像蓄積装置240に蓄積する。
以上説明した第1実施例の情報管理システム10では、車載装置20は、カメラ60に撮影されて時刻と共に記憶された画像のうちユーザにより選択された選択画像の画像データとこの選択画像を撮影したときの車両状態データとに基づいて選択画像が希少画像であるか否かを判定する。そして、選択画像が希少画像であると判定した選択画像の画像データと車両状態データとを携帯端末120に転送する。携帯端末120は、ユーザにより送信が許可されたときにのみ選択画像の画像データと車両状態データとを画像管理サーバ230に送信する。画像管理サーバ230は、選択画像の画像データと車両状態データとを受信すると、選択画像を希少画像であるとして画像蓄積装置240に蓄積する。このように 第1実施例の情報管理システム10では、車載装置20で選択画像の画像データと車両状態データとを用いて車両側AI画像認識処理により選択画像が希少画像であるか否かを判定し、選択画像が希少画像であると判定したときに選択画像の画像データと車両状態データとを携帯端末120に転送する。そして、ユーザにより送信が許可されたときにのみ選択画像の画像データと車両状態データとを画像管理サーバ230に送信する。このため、選択画像のうち所定の条件に適合するものを自動的に画像管理サーバに送信するものに比して、ユーザと画像管理サーバ230との間における希少画像が含まれる動画の通信量や通信頻度を抑制することができる。
第1実施例の情報管理システム10の車載装置20では、選択画像に対して、ユーザにより、希少判定処理の「実行」が操作されるのを待って選択画像が希少画像であるか否かの判定を行なうものとした。しかし、選択画像を設定したらユーザの操作を行なうことなく、選択画像が希少画像であるか否かの判定を行なうものとしてもよい。
第1実施例の情報管理システム10では、画像管理サーバ230は、携帯端末120から送信された選択画像の画像データと車両状態データとを受信すると、選択画像を希少画像であるとして画像蓄積装置240に蓄積するものとした。しかし、画像管理サーバ230でも希少判定を行なうものとしてもよい。この場合、図5の画像蓄積処理に代えて図6の画像蓄積処理を行なえばよい。
図6の画像蓄積処理では、画像管理サーバ230は、選択画像の画像データと車両状態データとを受信すると(ステップS500)、上述した図3の画像選択判定処理におけるステップS160~S190までと同様に、選択画像の画像データあるいは車両状態データに基づいて選択画像が道路上で走行中に撮影されたものであるか否かを判定する(ステップS510~S540)。選択画像の撮影位置が道路上ではないと判定したときや、選択画像の撮影が走行中に行なわれていないと判定したときには、希少画像に該当せず、不要画像と判断して選択画像の画像データと車両状態データとを削除し(ステップS580)、画像蓄積処理を終了する。ステップS510~S540で選択画像が道路上で走行中に撮影されたものであると判定したときには、選択画像に対してサーバ側AI画像認識処理を施して(ステップS550)、選択画像における事物や事象が認識できたか否かを判定する(ステップS560)。サーバ側AI画像認識処理については上述した。選択画像の事物や事象がサーバ側AI画像認識処理によっては認識できないと判定したときには、選択画像は希少画像であると判断し、選択画像を画像蓄積装置240に蓄積し(ステップS570)、画像蓄積処理を終了する。一方、選択画像の事物や事象がサーバ側AI画像認識処理によって認識できたと判定したときには、選択画像は希少画像ではなく不要画像であると判断し、選択画像の画像データと車両状態データとを削除し(ステップS580)、画像蓄積処理を終了する。
こうした画像蓄積処理により、携帯端末120から送信された選択画像のうち、道路上で走行中に撮影された画像であって、画像の事物や事象がサーバ側AI画像認識処理によっては認識できないものだけを希少画像として画像蓄積装置240に蓄積することができる。画像蓄積装置240に蓄積された希少画像は、上述のサーバ側AI画像認識処理や端末側AI画像認識処理に用いられるだけでなく、自動運転における画像認識処理や、希少画像が事故画像である場合には事故の解析や事故情報などに用いられる。このように画像管理サーバ230により図6の画像蓄積処理を行なうものとすれば、より適正に希少画像を判定して蓄積することができる。
図6の画像蓄積処理では、選択画像が道路上で走行中に撮影されたものではないときには、サーバ側AI画像認識処理による希少画像の判定を行なわないものとした。しかし、走行中でなくとも選択画像が道路上で撮影されたものであればサーバ側AI画像認識処理による希少画像の判定するものとしたり、道路上でなくても選択画像が道路上で走行中に撮影されたものであればサーバ側AI画像認識処理による希少画像の判定するものとしたり、道路上であるか否か走行中であるか否かにかかわらずに撮影された選択画像に対してサーバ側AI画像認識処理による希少画像の判定するものとしてもよい。
図6の画像蓄積処理では、選択画像が道路上で走行中に撮影されたものではないときには、サーバ側AI画像認識処理による希少画像の判定を行なわないものとした。しかし、選択画像が道路上で走行中であり、更に、所定の状態、例えば加速度が第1閾値以上または第2閾値未満の状態や、ヨーレートが第3閾値以上または第4閾値未満の状態、路面勾配が第5閾値以上または第6閾値未満の状態のいずれかのときに撮影されたものに対してサーバ側AI画像認識処理による希少画像の判定するものとしてもよい。
次に、本発明の第2実施例の情報管理システム510について説明する。第2実施例の情報管理システム510は、図1および図2に例示した第1実施例の情報管理システム10のハード構成と同一のハード構成をしている。したがって、第2実施例の情報管理システム510のハード構成についての説明は省略する。
第2実施例の情報管理システム510の車載装置20では、図7に示す画像選択判定処理が実行される。この処理は、イグニッションスイッチ42がオンされているときに実行される。
画像選択判定処理が実行されると、電子制御ユニット30は、所定時間経過するのを待つ(ステップS600)。所定時間は、例えば5秒や10秒などを用いることができる。所定時間経過すると、所定時間前から現在時刻までにカメラ60により撮影された画像を選択画像として設定する(ステップS610)。
続いて、設定した選択画像の画像データと車両状態データとを用いて選択画像が希少画像であるか否かの希少判定処理(ステップS620~S670)を行なう。この希少判定処理は、第1実施例の情報管理システム10の車載装置20が実行する図3の画像選択判定処理におけるステップS180~S210の処理と同一である。
ステップS620~S670で選択画像の撮影が道路上で走行中に行なわれており、且つ、選択画像の事物や事象が車両側AI画像認識処理によって認識できないと判定したときには、選択画像は希少画像であると判断し、選択画像の画像データと車両状態データとを携帯端末120の転送する(ステップS680)。そして、イグニッションスイッチ42がオフされているか否かを判定し(ステップS700)、イグニッションスイッチ42がオフされていないと判定したときには、ステップS600の所定時間経過するのを待つ処理に戻る。一方、イグニッションスイッチ42がオフされていると判定したときには、画像選択判定処理を終了する。
ステップS630で選択画像の撮影が道路上で行なわれていないと判定したときや、ステップS650で選択画像の撮影が走行中に行なわれていないと判定したとき、あるいは、ステップS670で選択画像の事物や事象が車両側AI画像認識処理によって認識できたと判定したときには、選択画像は希少画像ではないと判断し、選択画像の設定を解除する(ステップS690)。そして、イグニッションスイッチ42がオフされているか否かを判定し(ステップS700)、イグニッションスイッチ42がオフされていないと判定したときには、ステップS600の所定時間経過するのを待つ処理に戻る。一方、イグニッションスイッチ42がオフされていると判定したときには、画像選択判定処理を終了する。
第2実施例の情報管理システム510では、第1実施例の情報管理システム10と同様に、携帯端末120においては図4の画像送信処理が実行され、情報管理センター220の画像管理サーバ230においては図5の画像蓄積処理が実行される。これらの処理については上述したの説明は省略する。
以上説明した第2実施例の情報管理システム510では、車載装置20は、所定時間が経過する毎に所定時間前から現在時刻までにカメラ60に撮影された画像を選択画像として設定し、選択画像の画像データとこの選択画像を撮影したときの車両状態データとに基づいて選択画像が希少画像であるか否かを判定する。そして、選択画像が希少画像であると判定したときには、選択画像の画像データと車両状態データとを携帯端末120に転送する。携帯端末120は、ユーザにより送信が許可されたときにのみ選択画像の画像データと車両状態データとを画像管理サーバ230に送信する。画像管理サーバ230は、選択画像の画像データと車両状態データとを受信すると、選択画像を希少画像であるとして画像蓄積装置240に蓄積する。このように 第2実施例の情報管理システム10では、車載装置20で所定時間毎に選択画像を設定し、選択画像が希少画像であるかを判定し、希少画像であると判定した選択画像の画像データと車両状態データとを携帯端末120に転送する。そして、ユーザにより送信が許可されたときにのみ選択画像の画像データと車両状態データとを画像管理サーバ230に送信する。このため、選択画像のうち所定の条件に適合するものを自動的に画像管理サーバに送信するものに比して、ユーザと画像管理サーバ230との間における希少画像が含まれる動画の通信量や通信頻度を抑制することができる。
第2実施例の情報管理システム510の車載装置20では、所定時間経過する毎に選択画像を設定し、選択画像が希少画像であるか否かを判定するものとした。しかし、カメラ60の撮影と同時に撮影した画像を選択画像として設定し、選択画像が希少画像であるか否かを判定するものとしてもよい。この場合、選択画像を希少画像であると判定したときには、希少画像として判定した画像より所定時間(例えば5秒)だけ前の画像をスタート位置(スタート時刻)とすると共に、希少画像として判定されなくなった画像より所定時間(例えば5秒)だけ後の画像を終了位置(終了時刻)とし、スタート位置(スタート時刻)から終了位置(終了時刻)までの画像を選択画像として設定して携帯端末120に転送するものとしてもよい。
第2実施例の情報管理システム510の車載装置20では、イグニッションスイッチ42がオンされているときに、所定時間経過する毎に選択画像を設定し、選択画像が希少画像であるか否かを判定するものとした。しかし、イグニッションスイッチ40がオフされた以降に、イグニッションスイッチ42がオンされてからオフされるまでにカメラ60により撮影された画像を選択画像として設定し、選択画像が希少画像であるか否かを判定するものとしてもよい。この場合、イグニッションスイッチ42がオンされてからオフされるまでにカメラ60により撮影された画像を所定時間毎に区分し、順次選択画像に設定して選択画像が希少画像であるか否かを判定するものとしてもよい。
第2実施例の情報管理システム510では、画像管理サーバ230は、携帯端末120から送信された選択画像の画像データと車両状態データとを受信すると、選択画像を希少画像であるとして画像蓄積装置240に蓄積するものとした。しかし、図6の画像蓄積処理やその変形例の処理を行なって画像管理サーバ230でも希少判定を行なうものとしてもよい。
第1実施例の情報管理システム10や第2実施例の情報管理システム510の車載装置20では、選択画像が道路上で走行中に撮影されたものではないときには、車両側AI画像認識処理による希少画像の判定を行なわないものとした。しかし、走行中でなくとも選択画像が道路上で撮影されたものであれば車両側AI画像認識処理による希少画像の判定するものとしたり、道路上でなくても選択画像が道路上で走行中に撮影されたものであれば車両側AI画像認識処理による希少画像の判定するものとしたり、道路上であるか否か走行中であるか否かにかかわらずに撮影された選択画像に対して車両側AI画像認識処理による希少画像の判定するものとしてもよい。
第1実施例の情報管理システム10や第2実施例の情報管理システム510の車載装置20では、選択画像が道路上で走行中に撮影されたものではないときには、車両側AI画像認識処理による希少画像の判定を行なわないものとした。しかし、選択画像が道路上で走行中であり、更に、所定の状態、例えば加速度が第1閾値以上または第2閾値未満の状態や、ヨーレートが第3閾値以上または第4閾値未満の状態、路面勾配が第5閾値以上または第6閾値未満の状態のいずれかのときに撮影されたものに対して車両側AI画像認識処理による希少画像の判定するものとしてもよい。
第1実施例の情報管理システム10や第2実施例の情報管理システム510の車載装置20では、車両側AI画像認識処理として、画像管理サーバ230で所定のタイミングで更新されるサーバ側AI画像認識処理を用いて調整された車両側AI画像認識処理をダウンロードしてインストールするものとした。しかし、画像認識装置240に蓄積された希少画像に基づいて所定のタイミングで機械学習した結果(学習済みモデル)を用いて調整したものであれば、サーバ側AI画像認識処理を用いないものとしても構わない。
実施例では、本発明を情報管理システム10や情報管理システム510の形態として説明したが、情報管理システム10や情報管理システム510が備える車載装置20の形態としてもよいし、情報管理システム10や情報管理システム510が備える携帯端末120の形態としてもよいし、情報管理システム10や情報管理システム510が備える画像管理サーバ230の形態としてもよい。
実施例の主要な要素と課題を解決するための手段の欄に記載した発明の主要な要素との対応関係について説明する。実施例では、カメラ60が「カメラ」に相当し、各種センサ40が「センサ」に相当し、記憶装置64が「記憶装置」に相当し、通信装置74が「転送装置」に相当し、電子制御ユニット30「制御装置」に相当し、車載装置20が「車載装置」に相当する。また、携帯端末120が「形態端末」に相当し、画像管理サーバ230が「画像管理サーバ」に相当し、画像蓄積装置240が「画像蓄積装置」に相当する。
なお、実施例の主要な要素と課題を解決するための手段の欄に記載した発明の主要な要素との対応関係は、実施例が課題を解決するための手段の欄に記載した発明を実施するための形態を具体的に説明するための一例であることから、課題を解決するための手段の欄に記載した発明の要素を限定するものではない。即ち、課題を解決するための手段の欄に記載した発明についての解釈はその欄の記載に基づいて行なわれるべきものであり、実施例は課題を解決するための手段の欄に記載した発明の具体的な一例に過ぎないものである。
以上、本発明を実施するための形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々なる形態で実施し得ることは勿論である。
本発明は、情報管理システムやこれに用いる車載装置、画像管理サーバの製造産業などに利用可能である。
10 情報管理システム、20 車載装置、22 駆動源、24 駆動軸、26 デファレンシャルギヤ、28a,28b 駆動輪、30 電子制御ユニット、31 CPU、32 ROM、33 RAM、34 フラッシュメモリ、35 時刻計、40 各種センサ、42 イグニッションスイッチ、43 シフトレバー、44 シフトポジションセンサ、45 アクセルペダル、46 アクセルペダルポジションセンサ、47 ブレーキペダル、48 ブレーキペダルポジションセンサ、49 車速センサ49、50 車輪速センサ、51 加速度センサ、52 ヨーレートセンサ、53 勾配センサ、60 カメラ、62 GPS、64 記憶装置、70 表示装置、72 操作装置、74 通信装置、120 携帯端末、220 情報管理センター、230 画像管理サーバ、240 画像蓄積装置、250 通信装置。

Claims (18)

  1. 車両に搭載されたカメラと、車両状態を検出するセンサと、前記カメラにより撮影された画像および前記センサにより検出された車両状態とを時刻と共に撮影画像および検出車両状態として記憶する記憶装置と、前記撮影画像と前記検出車両状態の転送が可能な転送装置と、前記カメラと前記転送装置とを制御する制御装置と、を有する車載装置と、
    前記転送装置から転送された前記撮影画像と前記検出車両状態とを取得すると共に送信可能な形態端末と、
    前記携帯端末から送信された前記撮影画像と前記検出車両状態とを受信する画像管理サーバと、
    を備える情報管理システムであって、
    前記車載装置の前記制御装置は、前記記憶装置に記憶された撮影画像のうち選択された選択画像および前記選択画像を撮影したときの車両状態である選択車両状態を用いて前記選択画像が希少画像であるか否かを判定する車両側判定処理を実行し、前記車両側判定処理の実行により前記選択画像が希少画像であると判定した前記選択画像および前記選択車両状態を前記携帯端末に転送するものであり、
    前記携帯端末は、ユーザにより送信が許可されたときにのみ前記車載装置から転送された前記選択画像と前記選択車両状態とを前記画像管理サーバに送信するものであり、
    前記画像管理サーバは、前記携帯端末から受信した前記選択画像と前記選択車両状態とを蓄積する画像蓄積装置を備える、
    ことを特徴とする情報管理システム。
  2. 請求項1記載の情報管理システムであって、
    前記車載装置の前記制御装置は、ユーザにより前記撮影画像に対してスタート位置と終了位置とが指定されたときに指定された範囲の画像を前記選択画像として選択する、
    情報管理システム。
  3. 請求項1記載の情報管理システムであって、
    前記車載装置の前記制御装置は、所定のタイミングで前記撮影画像の所定範囲の画像を前記選択画像として選択する、
    情報管理システム。
  4. 請求項1ないし3のうちのいずれか1つの請求項に記載の情報管理システムであって、
    前記車両側判定処理は、前記画像蓄積装置に蓄積された過去の画像に基づいて前記選択画像を評価することによって希少画像であるか否かを判定する処理である、
    情報管理システム。
  5. 請求項4記載の情報管理システムであって、
    前記車両側判定処理は、前記画像蓄積装置に蓄積された過去の画像における事物または事象に対して学習した結果に基づいて前記選択画像における事物または事象が認識できないときに希少画像であると判定する処理である、
    情報管理システム。
  6. 請求項4または5記載の情報管理システムであって、
    前記車両側判定処理は、前記選択車両状態に基づいて前記選択画像が道路上で走行中に撮像された画像であるときに前記選択画像が希少画像であるか否かを判定する処理である、
    情報管理システム。
  7. 請求項1ないし6のうちのいずれか1つの請求項に記載の情報管理システムであって、
    前記画像管理サーバは、前記携帯端末から受信した前記選択画像と前記選択車両状態とを用いて前記選択画像が希少画像であるか否かを判定するサーバ側判定処理を実行し、前記サーバ側判定処理の実行により前記選択画像が希少画像であると判定した前記選択画像を前記画像蓄積装置に蓄積する、
    情報管理システム。
  8. 請求項7記載の情報管理システムであって、
    前記サーバ側判定処理は、前記画像蓄積装置に蓄積された過去の画像における事物または事象に対する学習を行なった結果に基づいて前記選択画像における事物または事象が認識できないときに希少画像であると判定する処理であって、所定のタイミングで前記学習を行なう処理であり、
    前記端末側判定処理は、過去の特定のタイミングで前記学習を行なった結果を用いた処理である、
    情報管理システム。
  9. 請求項7記載の情報管理システムであって、
    前記サーバ側判定処理は、前記選択車両状態に基づいて前記選択画像が道路上で走行中に撮像された画像であるときに前記選択画像が希少画像であるか否かを判定する処理である、
    情報管理システム。
  10. 車両に搭載されたカメラと、車両状態を検出するセンサと、前記カメラにより撮影された画像および前記センサにより検出された車両状態とを時刻と共に撮影画像および検出車両状態として記憶する記憶装置と、前記撮影画像と前記検出車両状態の転送が可能な転送装置と、前記カメラと前記転送装置とを制御する制御装置と、を有する車載装置と、
    前記転送装置から転送された前記撮影画像と前記検出車両状態とを取得すると共に送信可能な形態端末と、
    前記携帯端末から送信された前記撮影画像と前記検出車両状態とを受信する画像管理サーバと、
    を備える情報管理システムにおいて、
    前記車載装置の前記制御装置は、前記記憶装置に記憶された撮影画像のうち選択された選択画像および前記選択画像を撮影したときの車両状態である選択車両状態を前記携帯端末に転送するものであり、
    前記携帯端末は、ユーザにより送信が許可されたときにのみ前記車載装置から転送された前記選択画像と前記選択車両状態とを前記画像管理サーバに送信するものであり、
    前記画像管理サーバは、前記携帯端末から受信した前記選択画像と前記選択車両状態とを蓄積する画像蓄積装置を備える、
    ことを特徴とする情報管理システムにおける前記車載装置であって、
    前記制御装置は、前記選択画像と前記選択車両状態を用いて前記選択画像が希少画像であるか否かを判定する車両側判定処理を実行し、前記車両側判定処理の実行により前記選択画像が希少画像であると判定した前記選択画像と前記選択車両状態とを前記携帯端末に転送するものである、
    ことを特徴とする車載装置。
  11. 請求項10記載の車載装置であって、
    前記制御装置は、ユーザにより前記撮影画像に対してスタート位置と終了位置とが指定されたときに指定された範囲の画像を前記選択画像として選択する、
    車載装置。
  12. 請求項10記載の車載装置であって、
    前記制御装置は、所定のタイミングで前記撮影画像の所定範囲の画像を前記選択画像として選択する、
    車載装置。
  13. 請求項10ないし12のうちのいずれか1つの請求項に記載の車載装置であって、
    前記車両側判定処理は、前記画像蓄積装置に蓄積された過去の画像に基づいて前記選択画像を評価することによって希少画像であるか否かを判定する処理である、
    車載装置。
  14. 請求項13記載の車載装置であって、
    前記車両側判定処理は、前記画像蓄積装置に蓄積された過去の画像における事物または事象に対して学習した結果に基づいて前記選択画像における事物または事象が認識できないときに希少画像であると判定する処理である、
    車載装置。
  15. 請求項13または14記載の車載装置であって、
    前記車両側判定処理は、前記選択車両状態に基づいて前記選択画像が道路上で走行中に撮像された画像であるときに前記選択画像が希少画像であるか否かを判定する処理である、
    車載装置。
  16. 車両に搭載されたカメラと、車両状態を検出するセンサと、前記カメラにより撮影された画像および前記センサにより検出された車両状態とを時刻と共に撮影画像および検出車両状態として記憶する記憶装置と、前記撮影画像と前記検出車両状態の転送が可能な転送装置と、前記カメラと前記転送装置とを制御する制御装置と、を有する車載装置と、
    前記転送装置から転送された前記撮影画像と前記検出車両状態とを取得すると共に送信可能な形態端末と、
    前記携帯端末から送信された前記撮影画像と前記検出車両状態とを受信する画像管理サーバと、
    を備える情報管理システムにおいて、
    前記車載装置の前記制御装置は、前記記憶装置に記憶された撮影画像のうち選択された選択画像および前記選択画像を撮影したときの車両状態である選択車両状態を用いて前記選択画像が希少画像であるか否かを判定する車両側判定処理を実行し、前記車両側判定処理の実行により前記選択画像が希少画像であると判定した前記選択画像および前記選択車両状態を前記携帯端末に転送するものであり、
    前記携帯端末は、ユーザにより送信が許可されたときにのみ前記車載装置から転送された前記選択画像と前記選択車両状態とを前記画像管理サーバに送信するものであり、
    前記画像管理サーバは、前記携帯端末から受信した前記選択画像と前記選択車両状態とを蓄積する画像蓄積装置を備える、
    ことを特徴とする情報管理システムにおける前記画像管理サーバであって、
    前記携帯端末から受信した前記選択画像と前記選択車両状態とを用いて前記選択画像が希少画像であるか否かを判定するサーバ側判定処理を実行し、前記サーバ側判定処理の実行により前記選択画像が希少画像であると判定した前記選択画像を前記画像蓄積装置に蓄積する、
    ことを特徴とする画像管理サーバ。
  17. 請求項16記載の画像管理サーバであって、
    前記サーバ側判定処理は、前記画像蓄積装置に蓄積された過去の画像における事物または事象に対する学習を行なった結果に基づいて前記選択画像における事物または事象が認識できないときに希少画像であると判定する処理であって、所定のタイミングで前記学習を行なう処理であり、
    前記端末側判定処理は、過去の特定のタイミングで前記学習を行なった結果を用いた処理である、
    画像管理サーバ。
  18. 請求項17記載の画像管理サーバムであって、
    前記サーバ側判定処理は、前記選択車両状態に基づいて前記選択画像が道路上で走行中に撮像された画像であるときに前記選択画像が希少画像であるか否かを判定する処理である、
    画像管理サーバ。
JP2020151150A 2020-09-09 2020-09-09 情報管理システムおよびこれに用いられる車載装置、画像管理サーバ Pending JP2022045520A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020151150A JP2022045520A (ja) 2020-09-09 2020-09-09 情報管理システムおよびこれに用いられる車載装置、画像管理サーバ
CN202111039643.3A CN114241623B (zh) 2020-09-09 2021-09-06 信息管理系统以及在该信息管理系统中使用的车载装置、图像管理服务器
US17/469,802 US20220078378A1 (en) 2020-09-09 2021-09-08 Information management system, and in-vehicle device and image management server used therein

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020151150A JP2022045520A (ja) 2020-09-09 2020-09-09 情報管理システムおよびこれに用いられる車載装置、画像管理サーバ

Publications (1)

Publication Number Publication Date
JP2022045520A true JP2022045520A (ja) 2022-03-22

Family

ID=80471071

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020151150A Pending JP2022045520A (ja) 2020-09-09 2020-09-09 情報管理システムおよびこれに用いられる車載装置、画像管理サーバ

Country Status (3)

Country Link
US (1) US20220078378A1 (ja)
JP (1) JP2022045520A (ja)
CN (1) CN114241623B (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019029013A (ja) * 2017-07-24 2019-02-21 株式会社デンソー 取引システム、提供端末、利用端末、及び、ノード
JP2019200603A (ja) * 2018-05-16 2019-11-21 株式会社堀場製作所 車両状況解析方法、車両状況解析システム、車両状況解析装置及びドライブレコーダ
JP2020004017A (ja) * 2018-06-27 2020-01-09 アイシン・エィ・ダブリュ株式会社 画像データ送信装置、及び、画像データ送信プログラム
JP2020021372A (ja) * 2018-08-02 2020-02-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 情報処理方法および情報処理システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5290019B2 (ja) * 2009-03-30 2013-09-18 株式会社デンソーアイティーラボラトリ 撮像システム、端末装置、サーバ装置および撮像方法
JP5872866B2 (ja) * 2011-11-28 2016-03-01 富士通テン株式会社 端末装置、情報提示装置およびグループ通信システム
JP2013187877A (ja) * 2012-03-12 2013-09-19 Nissan Motor Co Ltd 画像提供装置及び画像提供方法
CN103507759B (zh) * 2012-06-27 2018-03-13 比亚迪股份有限公司 记录并通知车主车辆异常信息的车载装置、系统及其方法
JP5979602B2 (ja) * 2013-01-30 2016-08-24 株式会社デンソー 車両用映像撮影システム
CN103544744B (zh) * 2013-11-08 2017-06-20 陈一坚 一种基于云端控制的行车记录仪系统的记录方法
JP2015125669A (ja) * 2013-12-27 2015-07-06 日立オートモティブシステムズ株式会社 車両制御装置、車両制御装置を搭載した車両、及び、移動体検出方法
CN105357237A (zh) * 2014-08-19 2016-02-24 北京奇虎科技有限公司 行车记录的传输方法、行车记录仪及系统
EP3072710B1 (en) * 2015-03-24 2018-03-28 LG Electronics Inc. Vehicle, mobile terminal and method for controlling the same
US9817471B2 (en) * 2015-09-04 2017-11-14 Panasonic Intellectual Property Corporation Of America Method for adding information and server apparatus
WO2018229549A2 (en) * 2017-06-16 2018-12-20 Nauto Global Limited System and method for digital environment reconstruction
JP6806011B2 (ja) * 2017-09-14 2020-12-23 株式会社デンソー 画像処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019029013A (ja) * 2017-07-24 2019-02-21 株式会社デンソー 取引システム、提供端末、利用端末、及び、ノード
JP2019200603A (ja) * 2018-05-16 2019-11-21 株式会社堀場製作所 車両状況解析方法、車両状況解析システム、車両状況解析装置及びドライブレコーダ
JP2020004017A (ja) * 2018-06-27 2020-01-09 アイシン・エィ・ダブリュ株式会社 画像データ送信装置、及び、画像データ送信プログラム
JP2020021372A (ja) * 2018-08-02 2020-02-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 情報処理方法および情報処理システム

Also Published As

Publication number Publication date
CN114241623B (zh) 2024-03-15
US20220078378A1 (en) 2022-03-10
CN114241623A (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
KR101947493B1 (ko) Obd 정보를 이용한 차량용 영상 기록 장치 및 방법
US11288899B2 (en) Drive recorder and situation information management system
JP5115072B2 (ja) アドバイス提供システム
CN114241622B (zh) 信息管理系统以及在该信息管理系统中使用的便携终端、图像管理服务器
JP2022045520A (ja) 情報管理システムおよびこれに用いられる車載装置、画像管理サーバ
CN114771539B (zh) 车辆变道决策方法、装置、存储介质及车辆
JP7508957B2 (ja) 情報管理システムおよびこれに用いられる携帯端末、画像管理サーバ
JP5233712B2 (ja) 省エネ運転評価装置、省エネ運転評価方法
JP7494666B2 (ja) 情報管理システムおよびこれに用いられる車載装置、携帯端末、画像管理サーバ
CN113380062B (zh) 信息处理系统和信息处理方法
CN115022547A (zh) 车载摄像头清洗方法、装置、车辆、存储介质及芯片
JP7227106B2 (ja) 操作制御装置、操作制御方法、およびプログラム
JP2013057321A (ja) 省エネ評価装置、省エネ評価方法
JP6921302B2 (ja) 通知システムおよび通知方法
US20230419749A1 (en) Driving diagnostic device, driving diagnostic system, driving diagnostic method, and storage medium
US11954913B2 (en) System and method for vision-based vehicle fluid leak detection
JP7348344B1 (ja) 車両およびサーバ
CN115136578B (zh) 用于控制摄像机的方法和控制单元
CN118111414A (zh) 导航装置
CN117719526A (zh) 一种车辆控制方法及装置
CN118111415A (zh) 行驶历史管理系统、导航装置
JP2024015574A (ja) 車両の運転支援システム
JP2023170666A (ja) 情報処理装置
CN113888755A (zh) 信息处理方法、非临时性计算机可读取的介质、车载装置、车辆、信息处理装置、系统
CN115450769A (zh) 汽车

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220824

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240605

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240625