JP2022045521A - 情報管理システムおよびこれに用いられる携帯端末、画像管理サーバ - Google Patents

Abstract

【課題】ユーザと画像管理サーバとの間における希少画像が含まれる動画の通信量を抑制する。
【解決手段】車載装置は、記憶装置に記憶された撮影画像のうちユーザによって選択された選択画像と、選択画像を撮影したときの車両状態である選択車両状態とを形態端末に転送する。携帯端末は、選択画像と選択車両状態とを用いて選択画像が希少画像であるか否かを判定する端末側判定処理を実行し、端末側判定処理により希少画像であると判定した選択画像と選択車両状態とをユーザにより送信が許可されたときにのみ画像管理サーバに送信する。画像管理サーバは、携帯端末から送信された選択画像と選択車両状態とを画像蓄積装置に蓄積する。
【選択図】図４

Description

本発明は、情報管理システムおよびこれに用いられる携帯端末、画像管理サーバに関する。

従来、この種のシステムとしては、ドライブレコーダと共に車載されたエッジデバイスと、複数のエッジデバイスに通信網により接続されたドライブレコーダ情報サーバと、この通信網に接続された外部サーバと、を備えるものが提案されている（例えば、特許文献１参照）。このシステムでは、エッジデバイスは、ドライブレコーダにより撮影された画像の特徴情報を抽出し、特徴情報に基づいて交通事故などの所定の事象が発生したか否かを検知する。そして、エッジデバイスは、所定の事象が発生したことを検知すると、所定の事象が検知された際の画像の特徴情報を、その画像が撮影された位置及び時刻の情報と共にドライブレコーダ情報サーバに送信する。ドライブレコーダ情報サーバは、エッジデバイスから取得した情報に基づいて発生した交通事故の概要を示す事故概要情報を生成し、事故概要情報を外部サーバに提供する。外部サーバは、このサーバを利用する多数の運転者に交通事故に関する情報を提供する。

特開２０１９－１９７５２５号公報

しかしながら、上述のシステムでは、ドライブレコーダにより撮影された画像から特徴情報を抽出し、特徴情報が抽出できたときには自動的に画像と位置および時刻の情報をドライブレコーダ情報サーバに送信するため、必要の有無を問わずに大量の画像が送信される場合が生じる。この場合、通信量が過大となる。

本発明の情報管理システムおよびこれに用いられる携帯端末、画像管理サーバは、ユーザと画像管理サーバとの間における希少画像が含まれる画像の通信量や通信頻度を抑制することを主目的とする。

本発明の情報管理システムおよびこれに用いられる携帯端末、画像管理サーバは、上述の主目的を達成するために以下の手段を採った。

本発明の情報管理システムは、
車両に搭載されたカメラと、車両状態を検出するセンサと、前記カメラにより撮影された画像および前記センサにより検出された車両状態とを時刻と共に撮影画像および検出車両状態として記憶する記憶装置と、前記撮影画像と前記検出車両状態の転送が可能な転送装置と、前記カメラと前記転送装置とを制御する制御装置と、を有する車載装置と、
前記転送装置から転送された前記撮影画像と前記検出車両状態とを取得すると共に送信可能な形態端末と、
前記携帯端末から送信された前記撮影画像と前記検出車両状態とを受信する画像管理サーバと、
を備える情報管理システムであって、
前記車載装置の前記制御装置は、前記記憶装置に記憶された撮影画像のうちユーザによって選択された選択画像と、前記選択画像を撮影したときの車両状態である選択車両状態とを前記形態端末に転送するものであり、
前記携帯端末は、前記選択画像と前記選択車両状態とを用いて前記選択画像が希少画像であるか否かを判定する端末側判定処理を実行し、前記端末側判定処理により希少画像であると判定した前記選択画像と前記選択車両状態とをユーザにより送信が許可されたときにのみ前記画像管理サーバに送信するものであり、
前記画像管理サーバは、前記携帯端末から受信した前記選択画像と前記選択車両状態とを蓄積する画像蓄積装置を備える、
ことを特徴とする。

この本発明の情報管理システムでは、車載装置は、カメラに撮影されて時刻と共に記憶された撮影画像のうちユーザにより選択された選択画像とこの選択画像を撮影したときに検出された車両状態（選択車両状態）とを携帯端末に転送する。ここで、車両状態としては、車速や加速度、ヨーレート、車輪速、勾配、車両位置、シフトポジション、アクセル開度、ブレーキペダルポジションなどの少なくとも一部が含まれる。携帯端末は、選択画像と選択車両状態とを用いて選択画像が希少画像であるか否かを判定する端末側判定処理を実行し、端末側判定処理により希少画像であると判定した選択画像と選択車両状態とをユーザにより送信が許可されたときにのみ画像管理サーバに送信する。画像管理サーバは、携帯端末から受信した選択画像と選択車両状態とを画像蓄積装置に蓄積する。このように、本発明の情報管理システムでは、ユーザにより選択された選択画像と選択画像が撮影されたときの車両状態（選択車両状態）とが携帯端末に転送され、携帯端末で選択画像と選択車両状態とを用いて端末側判定処理により選択画像が希少画像であるか否かを判定する。そして、端末側判定処理により選択画像が希少画像であると判定されたときに、更にユーザにより送信が許可されたときにのみ選択画像と選択車両状態が携帯端末から画像管理サーバに送信される。このため、選択画像のうち所定の条件に適合するものを自動的に画像管理サーバに送信するものに比して、ユーザと画像管理サーバとの間における希少画像が含まれる動画の通信量や通信頻度を抑制することができる。なお、「画像」には静止画や動画が含まれており、以下においても同様である。

こうした本発明の情報管理システムにおいて、前記端末側判定処理は、前記画像蓄積装置に蓄積された過去の画像に基づいて前記選択画像を評価することによって希少画像であるか否かを判定する処理であるものとしてもよい。画像蓄積装置に蓄積された過去の画像を用いることができる。この場合、前記端末側判定処理は、前記画像蓄積装置に蓄積された過去の画像における事物または事象に対して学習した結果に基づいて前記選択画像における事物または事象が認識できないときに希少画像であると判定する処理であるものとしてもよい。即ち、画像蓄積装置に蓄積された過去の画像における事物または事象を画像認識することにより構築した人工知能画像認識処理により選択画像における事物または事象が認識可能であるか否かに基づいて選択画像が希少画像であるか否かを判定するものとしてもよいのである。これらの場合、前記端末側判定処理は、前記選択車両状態に基づいて前記選択画像が道路上で走行中に撮像された画像であるときに前記選択画像が希少画像であるか否かを判定する処理であるものとしてもよい。こうすれば、車両が道路上で走行しているときに撮影された画像に限定することができる。

本発明の情報管理システムにおいて、前記画像管理サーバは、前記携帯端末から受信した前記選択画像と前記選択車両状態とを用いて前記選択画像が希少画像であるか否かを判定するサーバ側判定処理を実行し、前記サーバ側判定処理の実行により前記選択画像が希少画像であると判定した前記選択画像を前記画像蓄積装置に蓄積するものとしてもよい。こうすれば、画像管理サーバは、ユーザにより選択および許可されて携帯端末から送信された選択画像に対してこの選択画像が希少画像であるか否かを判定するから、希少画像との判定に十分な工程を課すことができる。この結果、より適正に希少画像を判定して蓄積することができる。この場合、前記サーバ側判定処理は、前記画像蓄積装置に蓄積された過去の画像における事物または事象に対する学習を行なった結果に基づいて前記選択画像における事物または事象が認識できないときに希少画像であると判定する処理であって、所定のタイミングで前記学習を行なう処理であり、前記端末側判定処理は、過去の特定のタイミングで前記学習を行なった結果を用いた処理であるものとしてもよい。こうすれば、端末側判定処理をサーバ側判定処理を用いたものとすることができ、携帯端末からより適正な選択画像と選択車両状態とを画像管理サーバに送信することができる。更にこの場合、前記サーバ側判定処理は、前記選択車両状態に基づいて前記選択画像が道路上で走行中に撮像された画像であるときに前記選択画像が希少画像であるか否かを判定する処理であるものとしてもよい。こうすれば、車両が道路上で走行しているときに撮影された画像に限定することができる。

本発明の携帯端末は、上述の本発明の情報管理システムを構成する携帯端末である。即ち、本発明の携帯端末は、
車両に搭載されたカメラと、車両状態を検出するセンサと、前記カメラにより撮影された画像および前記センサにより検出された車両状態とを時刻と共に撮影画像および検出車両状態として記憶する記憶装置と、前記撮影画像と前記検出車両状態の転送が可能な転送装置と、前記カメラと前記転送装置とを制御する制御装置と、を有する車載装置と、
前記転送装置から転送された前記撮影画像と前記検出車両状態とを取得すると共に送信可能な形態端末と、
前記携帯端末から送信された前記撮影画像と前記検出車両状態とを受信する画像管理サーバと、
を備える情報管理システムにおいて、
前記車載装置の前記制御装置は、前記記憶装置に記憶された撮影画像のうちユーザによって選択された選択画像と、前記選択画像を撮影したときの車両状態である選択車両状態とを前記形態端末に転送するものであり、
前記画像管理サーバは、前記携帯端末から受信した前記選択画像と前記選択車両状態とを蓄積する画像蓄積装置を備えるものである、
ことを特徴とする情報管理システムにおける前記携帯端末であって、
前記車載装置から転送された前記選択画像と前記選択車両状態とを用いて前記選択画像が希少画像であるか否かを判定する端末側判定処理を実行し、前記端末側判定処理により希少画像であると判定した前記選択画像と前記選択車両状態とをユーザにより送信が許可されたときにのみ前記画像管理サーバに送信する、
ことを特徴とする。

本発明の携帯端末は、情報管理システムに用いられている。情報管理システムでは、車載装置は、カメラに撮影されて時刻と共に記憶された撮影画像のうちユーザにより選択された選択画像とこの選択画像を撮影したときに検出された車両状態（選択車両状態）とを携帯端末に転送する。携帯端末は、選択画像と選択車両状態とを用いて選択画像が希少画像であるか否かを判定する端末側判定処理を実行し、端末側判定処理により希少画像であると判定した選択画像と選択車両状態とをユーザにより送信が許可されたときにのみ画像管理サーバに送信する。画像管理サーバは、携帯端末から受信した選択画像と選択車両状態とを画像蓄積装置に蓄積する。このように、本発明の携帯端末を備える情報管理システムでは、ユーザにより選択された選択画像と選択画像が撮影されたときの車両状態（選択車両状態）とが携帯端末に転送され、携帯端末で選択画像と選択車両状態とを用いて端末側判定処理により選択画像が希少画像であるか否かを判定する。そして、端末側判定処理により選択画像が希少画像であると判定されたときに、更にユーザにより送信が許可されたときにのみ選択画像と選択車両状態が携帯端末から画像管理サーバに送信される。このため、選択画像のうち所定の条件に適合するものを自動的に画像管理サーバに送信するものに比して、ユーザと画像管理サーバとの間における希少画像が含まれる動画の通信量や通信頻度を抑制することができる。

本発明の携帯端末において、前記端末側判定処理は、前記画像蓄積装置に蓄積された過去の画像に基づいて前記選択画像を評価することによって希少画像であるか否かを判定する処理であるものとしてもよい。こうすれば、画像蓄積装置に蓄積された過去の画像を用いることができる。この場合、前記端末側判定処理は、前記画像蓄積装置に蓄積された過去の画像における事物または事象に対して学習した結果に基づいて前記選択画像における事物または事象が認識できないときに希少画像であると判定する処理であるものとしてもよい。即ち、画像蓄積装置に蓄積された過去の画像における事物または事象を画像認識することにより構築した人工知能画像認識処理により選択画像における事物または事象が認識可能であるか否かに基づいて選択画像が希少画像であるか否かを判定するものとしてもよいのである。これらの場合、前記端末側判定処理は、前記選択車両状態に基づいて前記選択画像が道路上で走行中に撮像された画像であるときに前記選択画像が希少画像であるか否かを判定する処理であるものとしてもよい。こうすれば、車両が道路上で走行しているときに撮影された画像に限定することができる。

本発明の画像管理サーバは、上述の本発明の情報管理システムを構成する画像管理サーバである。即ち、本発明の画像管理サーバは、
車両に搭載されたカメラと、車両状態を検出するセンサと、前記カメラにより撮影された画像および前記センサにより検出された車両状態とを時刻と共に撮影画像および検出車両状態として記憶する記憶装置と、前記撮影画像と前記検出車両状態の転送が可能な転送装置と、前記カメラと前記転送装置とを制御する制御装置と、を有する車載装置と、
前記転送装置から転送された前記撮影画像と前記検出車両状態とを取得すると共に送信可能な形態端末と、
前記携帯端末から送信された前記撮影画像と前記検出車両状態とを受信する画像管理サーバと、
を備える情報管理システムにおいて、
前記車載装置の前記制御装置は、前記記憶装置に記憶された撮影画像のうちユーザによって選択された選択画像と、前記選択画像を撮影したときの車両状態である選択車両状態とを前記形態端末に転送するものであり、
前記携帯端末は、前記選択画像と前記選択車両状態とを用いて前記選択画像が希少画像であるか否かを判定する端末側判定処理を実行し、前記端末側判定処理により希少画像であると判定した前記選択画像と前記選択車両状態とをユーザにより送信が許可されたときにのみ前記画像管理サーバに送信するものであり、
前記画像管理サーバは、前記携帯端末から受信した前記選択画像と前記選択車両状態とを蓄積する画像蓄積装置を備える、
ことを特徴とする情報管理システムにおける前記画像管理サーバであって、
前記画像管理サーバは、前記携帯端末から受信した前記選択画像と前記選択車両状態とを用いて前記選択画像が希少画像であるか否かを判定するサーバ側判定処理を実行し、前記サーバ側判定処理の実行により前記選択画像が希少画像であると判定した前記選択画像を前記画像蓄積装置に蓄積する、
ことを特徴とする。

本発明の画像管理サーバは、情報管理システムに用いられる。情報管理システムでは、車載装置は、カメラに撮影されて時刻と共に記憶された撮影画像のうちユーザにより選択された選択画像とこの選択画像を撮影したときに検出された車両状態（選択車両状態）とを携帯端末に転送する。携帯端末は、選択画像と選択車両状態とを用いて選択画像が希少画像であるか否かを判定する端末側判定処理を実行し、端末側判定処理により希少画像であると判定した選択画像と選択車両状態とをユーザにより送信が許可されたときにのみ画像管理サーバに送信する。画像管理サーバは、携帯端末から受信した選択画像と選択車両状態とを用いてサーバ側判定処理により選択画像が希少画像であるか否かを判定し、選択画像が希少画像であると判定したときには、その選択画像を蓄積する。このように、本発明の画像管理サーバを備える情報管理システムでは、ユーザにより選択された選択画像と選択画像が撮影されたときの車両状態（選択車両状態）とが携帯端末に転送され、携帯端末で選択画像と選択車両状態とを用いて端末側判定処理により選択画像が希少画像であるか否かを判定する。そして、端末側判定処理により選択画像が希少画像であると判定されたときに、更にユーザにより送信が許可されたときにのみ選択画像と選択車両状態が携帯端末から画像管理サーバに送信される。このため、選択画像のうち所定の条件に適合するものを自動的に画像管理サーバに送信するものに比して、ユーザと画像管理サーバとの間における希少画像が含まれる動画の通信量や通信頻度を抑制することができる。画像管理サーバは、ユーザにより選択および許可されて携帯端末から送信された選択画像に対してサーバ側判定処理により選択画像が希少画像であるか否かを判定する。これにより、希少画像との判定に十分な工程を課すことができる。この結果、より適正に希少画像を判定して蓄積することができる。

こうした本発明の画像管理サーバにおいて、前記サーバ側判定処理は、前記画像蓄積装置に蓄積された過去の動画に基づいて前記選択画像を評価することによって希少動画であるか否かを判定する所定判定処理を所定のタイミングで更新される処理であり、前記端末側判定処理は、過去の特定のタイミングで更新された前記サーバ側判定処理または前記サーバ側判定処理の少なくとも一部の判定精度を低下させた処理であるものとしてもよい。こうすれば、画像管理サーバは、ユーザにより選択および許可されて携帯端末から送信された選択画像に対してこの選択画像が希少画像であるか否かを判定するから、希少画像との判定に十分な工程を課すことができる。この結果、より適正に希少画像を判定して蓄積することができる。

本発明の画像管理サーバにおいて、前記サーバ側判定処理は、前記画像蓄積装置に蓄積された過去の画像における事物または事象に対する学習を行なった結果に基づいて前記選択画像における事物または事象が認識できないときに希少画像であると判定する処理であって、所定のタイミングで前記学習を行なう処理であり、前記端末側判定処理は、過去の特定のタイミングで前記学習を行なった結果を用いた処理であるものとしてもよい。こうすれば、端末側判定処理をサーバ側判定処理を用いたものとすることができ、携帯端末からより適正な選択画像と選択車両状態とを画像管理サーバに送信することができる。更にこの場合、前記サーバ側判定処理は、前記選択車両状態に基づいて前記選択画像が道路上で走行中に撮像された画像であるときに前記選択画像が希少画像であるか否かを判定する処理であるものとしてもよい。こうすれば、車両が道路上で走行しているときに撮影された画像に限定することができる。

本発明の一実施例としての情報管理システム１０の構成の概略を示す構成図である。 実施例の情報管理システム１０が備える車載装置２０の構成の概略を示す構成図である。 ユーザが画像を選択する際に車載装置２０の電子制御ユニット３０により実行される画像選択処理の一例を示すフローチャートである。 携帯端末１２０により実行される画像判定送信処理の一例を示すフローチャートである。 情報管理センター２２０の画像管理サーバ２３０により実行される画像蓄積処理の一例を示すフローチャートである。 変形例の画像蓄積処理の一例を示すフローチャートである。

次に、本発明を実施するための形態を実施例を用いて説明する。

図１は、本発明の一実施例としての情報管理システム１０の構成の概略を示す構成図であり、図２は、実施例の情報管理システム１０が備える車載装置２０の構成の概略を示す構成図である。図示するように、実施例の情報管理システム１０は、車載された車載装置２０と、携帯端末１２０と、画像管理センター２２０と、を備える。

車載装置２０は、図２に示すように、駆動源２２から駆動軸２４に出力された駆動力をデファレンシャルギヤ２６を介して駆動輪２８ａ，２８ｂに伝達して走行する自動車に搭載されている。駆動源２２としては、ガソリンや軽油などの炭化水素系の燃料を用いて駆動するエンジンとオートマチックトランスミッションとを備えるエンジン変速機システムや、エンジンとモータと蓄電池とを備えるハイブリッドシステム、モータと蓄電池とを備える電気自動車システム、モータと蓄電池と燃料電池を備える燃料電池システムなどを挙げることができる。

車載装置２０は、カメラ６０と、各種センサ４０と、記憶装置６４、表示装置７０、操作装置７２、通信装置７４、電子制御ユニット３０と、を備える。

カメラ６０は、車両前方に配置されており、例えば車速やＧＰＳ（Global Positioning System）データ、時刻などを撮影画像と共に記憶するドライブレコーダに組み込まれたものを用いることができる。なお、カメラ６０は、車両前方だけでなく車両後方や車両横方向にも取り付けられているものとしてもよい。

各種センサ４０としては、車速センサ４９や、車輪速センサ５０、加速度センサ５１、ヨーレートセンサ５２、勾配センサ５３、ＧＰＳ（Global Positioning System）６２など車両の状態を検出するセンサを挙げることができる。

記憶装置６４は、例えばハードディスクドライブやＳＳＤ（Solid State Drive）により構成されており、ドライブレコーダに組み込まれたものや、ドライブレコーダとは別に設けられたものを用いることができる。

表示装置７０は、例えば液晶ディスプレイとして構成されており、ドライブレコーダに組み込まれたものや、ドライブレコーダとは別に設けられたものを用いることができる。

操作装置７２は、記憶装置６４に記憶された画像（動画を含む）を表示装置７０に表示させたり、表示装置７０に表示されている画像（動画を含む）を編集する際に用いられるスイッチ類を備え、ドライブレコーダに組み込まれたものや、ドライブレコーダとは別に設けられたものを用いることができる。

通信装置７４は、有線あるいは無線により携帯端末１２０に画像（動画を含む）を転送する機能（例えばブルートゥース（登録商標）の機能）を有しており、ドライブレコーダに組み込まれたものや、ドライブレコーダとは別に設けられたものを用いることができる。

電子制御ユニット３０は、ＣＰＵ３１を中心として構成されたマイクロコンピュータであり、ＣＰＵ３１の他に、プログラムなどを記憶するＲＯＭ３２や、データを一時的に記憶するＲＡＭ３２、データなど記憶するフラッシュメモリ３４、タイマー機能などを有する時刻計３５、図示しない入出力ポートを備える。電子制御ユニット３０は、ドライブレコーダに組み込まれたものや、ドライブレコーダとは別に設けられたものを用いることができる。また、電子制御ユニット３０は、車両の走行制御を行なうユニットとカメラ６０により撮影された画像の編集や記憶、転送などの制御を行なうユニットとが別体のものとしてもよい。

電子制御ユニット３０には、各種センサからの信号が入力ポートを介して入力されている。入力ポートを介して電子制御ユニット３０に入力される信号としては、イグニッションスイッチ４２からのイグニッション信号、シフトレバー４３のポジションを検出するシフトポジションセンサ４４からのシフトポジション、アクセルペダル４５の踏み込み量を検出するアクセルペダルポジションセンサ４６からのアクセル開度、ブレーキペダル４７の踏み込み量を検出するブレーキペダルポジションセンサ４８からのブレーキポジションなどを挙げることができる。また、車速センサ４９からの車速、車輪速センサ５０からの車輪速、加速度センサ５１からの加速度、ヨーレートセンサ５２からのヨーレート、勾配センサ５３からの路面勾配、ＧＰＳ６２からのＧＰＳデータ（位置情報）なども挙げることができる。さらに、操作装置７２のスイッチ類の操作信号、駆動源２２からの駆動源２２の状態を示す各種信号なども挙げることができる。

電子制御ユニット３０からは各種制御信号が出力ポートを介して出力されている。出力ポートを介して電子制御ユニット３０から出力される制御信号としては、カメラ４０により撮影された画像（動画を含む）を時刻と共に記憶装置６４に記憶する制御信号、各種センサにより検出された車両の状態を示す信号を時刻と共に記憶装置６４に記憶する制御信号、画像（動画を含む）を携帯端末１２０に転送する際に通信装置７４に出力する転送制御信号などを挙げることができる。

携帯端末１２０は、例えばマイクロコンピュータの機能と電話機能とを有するスマートフォンとして構成されている。携帯端末１２０には、車載装置２０から有線または無線により転送される画像を取得したり、インターネットや電話回線などの通信網を解して情報管理センター２２０と通信したりするアプリケーションソフトがインストールされている。

情報管理センター２２０は、画像管理サーバ２３０と、画像蓄積装置２４０と、通信装置２５０と、を備える。画像管理サーバ２３０は、汎用のマイクロコンピュータにより構成されており、携帯端末１２０と通信するプログラムや、携帯端末１２０との通信により取得した画像を評価するプログラムなどがインストールされている。画像蓄積装置２４０は、例えばハードディスクドライブやＳＳＤ（Solid State Drive）により構成されている。

実施例の情報管理システム１０における車載装置２０では、イグニッションスイッチ４２のオンオフにかかわらず、常にカメラ６０により撮影された画像が撮影時刻と共に記憶装置６４に記憶されている。また、車載装置２０では、各種センサ４０により検出された車両状態についても、イグニッションスイッチ４２のオンオフにかかわらず検出時刻と共に記憶装置６４に記憶されている。車両状態としては、例えば車速センサ４９からの車速、車輪速センサ５０からの車輪速、加速度センサ５１からの加速度、ヨーレートセンサ５２からのヨーレート、勾配センサ５３からの路面勾配、ＧＰＳ６２からのＧＰＳデータ（位置情報）などの少なくとも一部が含まれる。なお、カメラ６０による撮影や各種センサ４０による車両状態の検出はイグニッションスイッチ４２がオンとされているときに限定するものとしてもよい。

次に、こうして構成された実施例の情報管理システム１０における動作について説明する。ユーザは、車載装置２０の操作装置７４のスイッチ類を操作して記憶装置６４に記憶された画像（静止画および動画が含まれる。以下、同様である。）を表示装置７２に表示して情報管理センター２２０に送信すべき画像の範囲を選択する。図３は、ユーザが情報管理センター２２０に送信すべき画像を選択する際に車載装置２０の電子制御ユニット３０により実行される画像選択処理の一例を示すフローチャートである。

画像選択処理が実行されると、電子制御ユニット３０は、記憶装置６４に記憶した画像の表示装置７２での表示を開始する（ステップＳ１００）。次に、情報管理センター２２０に転送すべき画像のスタート位置（時刻）が入力されるのを待って（ステップＳ１１０）、入力された位置（時刻）をスタート位置（時刻）として設定する（ステップＳ１２０）。具体的には、ユーザにより操作装置７４の早送りスイッチや戻しスイッチなどが操作されて情報管理センター２２０に転送すべき画像（動画）のスタート位置が入力されると、その位置をスタート位置（スタート時刻）として設定するのである。続いて、画像の終了位置（時刻）が入力されるのを待って（ステップＳ１３０）、入力された位置を終了位置（時刻）として設定する（ステップＳ１４０）。同様に、ユーザにより操作装置７４の早送りスイッチや戻しスイッチなどが操作されて画像の終了位置が入力されると、その位置を終了位置（終了時刻）として設定するのである。以下、スタート位置（スタート時刻）から終了位置（終了時刻）までの画像を選択画像と称する。

次に、ユーザにより、選択画像に対して「確認」が操作されるのを待つ（ステップＳ１５０）。ユーザにより「確認」が操作されると、電子制御ユニット３０は、選択画像を表示装置７２に表示し（ステップＳ１６０）、ユーザに選択画像を確認させる。こうしたステップＳ１５０、Ｓ１６０の選択画像の確認処理は選択的なものであり、確認処理なしに次の処理を行なうものとしてもよい。

続いて、ユーザにより、携帯端末１２０と車載装置２０とが有線または無線により接続され、携帯端末１２０の車載装置２０から転送される画像を取得したり情報管理センター２２０と通信したりするアプリケーションソフトが起動されている状態とし、選択画像に対して「転送」が操作されるのを待つ（ステップＳ１７０）。ユーザにより「転送」が操作されると、電子制御ユニット３０は、選択画像の画像データと選択画像を撮影したときに各種センサ４０により検出された車両状態のデータ（時刻付きの車両状態データ。以下、単に「車両状態データ」と称する。）を携帯端末１２０に転送し（ステップＳ１８０）、画像選択処理を終了する。なお、このステップＳ１７０、Ｓ１８０の転送処理も選択的なものであり、ユーザが「転送」を操作せずに画像選択処理を終了する場合もある。この場合、選択画像の転送を行なわずに処理を終了する。

次に、選択画像の転送を受けた携帯端末１２０の動作について説明する。図４は、携帯端末１２０により実行される画像判定送信処理の一例を示すフローチャートである。この処理は、携帯端末１２０と車載装置２０とが有線または無線により接続されており、且つ、携帯端末１２０の車載装置２０から転送される画像を取得したり情報管理センター２２０と通信したりするアプリケーションソフトが起動されているときに実行される。

画像判定送信処理が実行されると、携帯端末１２０は、まず、車載装置２０から転送される選択画像の画像データと車両状態データとを取得する（ステップＳ２００）。即ち、このステップＳ２００が実行されているときに図３の画像選択処理のステップＳ１７０、Ｓ１８０が実行されることにより、選択画像の画像データと車両状態データとが車載装置２０から転送され、携帯端末１２０により取得されるのである。なお、これ以降の処理では、携帯端末１２０と車載装置２０との有線または無線による接続の有無は問わない。

続いて、選択画像の画像データあるいは車両状態データに含まれるＧＰＳデータ（位置情報）に基づいて選択画像の撮影位置が道路上であるか否かを判定する（ステップＳ２１０、Ｓ２２０）。例えば、ＧＰＳデータを地図に照らして道路上であるか否かを判定することができる。選択画像の撮影位置が道路上ではないと判定したときには、希少画像に該当せず、不要画像と判断して選択画像の画像データと車両状態データとを削除し（ステップＳ２９０）、画像判定送信処理を終了する。

ステップＳ２２０で選択画像の撮影位置は道路上であると判定したときには、車両状態データに基づいて選択画像の撮影は走行中に行なわれたか否かを判定する（ステップＳ２３０、Ｓ２４０）。例えば、車速が閾値（３ｋｍ／ｈや５ｋｍ／ｈなど）以上であるか否かにより走行中であるか否かを判定することができる。選択画像の撮影が走行中に行なわれていないと判定したときには、希少画像に該当せず、不要画像と判断して選択画像の画像データと車両状態データとを削除し（ステップＳ２９０）、画像判定送信処理を終了する。

ステップＳ２４０で選択画像の撮影が走行中に行なわれていると判定したときには、選択画像に対して端末側ＡＩ画像認識処理を施して（ステップＳ２５０）、選択画像における事物や事象が認識できたか否かを判定する（ステップＳ２６０）。端末側ＡＩ画像認識処理は、実施例では画像管理サーバ２３０で所定のタイミングで更新されるサーバ側ＡＩ画像認識処理を用いて調整された端末側ＡＩ画像認識処理をダウンロードしたものである。サーバ側ＡＩ画像認識処理としては、実施例では、希少画像であると判断されて画像蓄積装置２４０に蓄積された多数の画像に対して各画像における事物や事象に対して解を与えて各画像における事物や事象を機械学習し、これにより得られた学習済みモデルを用いて選択画像における事物や事象を認識する処理を用いている。この機械学習は、画像蓄積装置２４０に希少画像としての選択画像が蓄積されたタイミングまたは一定期間毎のタイミングあるいは所望のタイミングで繰り返し行なわれ、サーバ側ＡＩ画像認識処理が更新される。端末側ＡＩ画像認識処理は、実施例では、こうしたサーバ側ＡＩ画像認識処理を用いて調整され、これが携帯端末１２０にダウンロードされ且つインストールされたものを用いている。したがって、ステップＳ２５０、Ｓ２６０の処理では、選択画像の事物や事象が端末側ＡＩ画像認識処理によって認識できたと判定したときには、選択画像は希少画像ではないと判定することができる。この場合、選択画像は不要画像と判断して選択画像の画像データと車両状態データとを削除し（ステップＳ２９０）、画像判定送信処理を終了する。

ステップＳ２５０、Ｓ２６０で選択画像の事物や事象が端末側ＡＩ画像認識処理によって認識できないと判定したときには、選択画像は希少画像であると判断する。そして、ユーザにより、選択画像に対して「送信」が操作されるのを待つ（ステップＳ２７０）。ユーザにより「送信」が操作されると、選択画像の画像データと車両状態データとを情報管理センター２０に送信して（ステップＳ２８０）、画像判定送信処理を終了する。

図５は、情報管理センター２２０の画像管理サーバ２３０により実行される画像蓄積処理の一例を示すフローチャートである。携帯端末１２０から選択画像の画像データと車両状態データとが送信されると、情報管理センター２２０の画像管理サーバ２３０は、選択画像の画像データと車両状態データとを受信し（ステップＳ３００）、選択画像を希少画像として画像蓄積装置２４０に蓄積し（ステップＳ３１０）、画像蓄積処理を終了する。選択画像は、携帯端末１２０の画像判定送信処理における端末側ＡＩ画像認識処理により希少画像であると判定されているから、画像管理サーバでは、選択画像に対して希少判定処理を行なうことなく、選択画像を希少画像であるとして画像蓄積装置２４０に蓄積する。

以上説明した実施例の情報管理システム１０では、車載装置２０は、カメラ６０に撮影されて時刻と共に記憶された画像のうちユーザにより選択された選択画像の画像データとこの選択画像を撮影したときの車両状態データとを携帯端末１２０に転送する。携帯端末１２０は、選択画像の画像データと車両状態データとを用いて選択画像が希少画像であるか否かを判定する端末側ＡＩ画像認識処理を実行し、端末側ＡＩ画像認識処理により希少画像であると判定した選択画像の画像データと車両状態データとをユーザにより送信が許可されたときにのみ画像管理サーバ２３０に送信する。画像管理サーバ２３０は、携帯端末１２０から送信された選択画像の画像データと車両状態データとを受信すると、選択画像を希少画像であるとして画像蓄積装置２４０に蓄積する。このように 実施例の情報管理システム１０では、携帯端末１２０で選択画像の画像データと車両状態データとを用いて端末側ＡＩ画像認識処理により選択画像が希少画像であるか否かを判定し、選択画像が希少画像であると判定したときに、更にユーザにより送信が許可されたときにのみ選択画像の画像データと車両状態データとを画像管理サーバ２３０に送信する。このため、選択画像のうち所定の条件に適合するものを自動的に画像管理サーバに送信するものに比して、ユーザと画像管理サーバ２３０との間における希少画像が含まれる動画の通信量や通信頻度を抑制することができる。

実施例の情報管理システム１０の携帯端末１２０では、選択画像が道路上で走行中に撮影されたものではないときには、端末側ＡＩ画像認識処理による希少画像の判定を行なわないものとした。しかし、走行中でなくとも選択画像が道路上で撮影されたものであれば端末側ＡＩ画像認識処理による希少画像の判定するものとしたり、道路上でなくても選択画像が道路上で走行中に撮影されたものであれば端末側ＡＩ画像認識処理による希少画像の判定するものとしたり、道路上であるか否か走行中であるか否かにかかわらずに撮影された選択画像に対して端末側ＡＩ画像認識処理による希少画像の判定するものとしてもよい。

実施例の情報管理システム１０の携帯端末１２０では、選択画像が道路上で走行中に撮影されたものではないときには、端末側ＡＩ画像認識処理による希少画像の判定を行なわないものとした。しかし、選択画像が道路上で走行中であり、更に、所定の状態、例えば加速度が第１閾値以上または第２閾値未満の状態や、ヨーレートが第３閾値以上または第４閾値未満の状態、路面勾配が第５閾値以上または第６閾値未満の状態のいずれかのときに撮影されたものに対して端末側ＡＩ画像認識処理による希少画像の判定するものとしてもよい。

実施例の情報管理システム１０の携帯端末１２０では、端末側ＡＩ画像認識処理として、画像管理サーバ２３０で所定のタイミングで更新されるサーバ側ＡＩ画像認識処理を用いて調整された端末側ＡＩ画像認識処理をダウンロードしてインストールするものとした。しかし、画像認識装置２４０に蓄積された希少画像に基づいて所定のタイミングで機械学習した結果（学習済みモデル）を用いて調整したものであれば、サーバ側ＡＩ画像認識処理を用いないものとしても構わない。

実施例の情報管理システム１０では、画像管理サーバ２３０は、携帯端末１２０から送信された選択画像の画像データと車両状態データとを受信すると、選択画像を希少画像であるとして画像蓄積装置２４０に蓄積するものとした。しかし、画像管理サーバ２３０でも希少判定を行なうものとしてもよい。この場合、図５の画像蓄積処理に代えて図６の画像蓄積処理を行なえばよい。

図６の画像蓄積処理では、画像管理サーバ２３０は、選択画像の画像データと車両状態データとを受信すると（ステップＳ４００）、上述した図４の画像判定送信処理におけるステップＳ２１０～Ｓ２４０までと同様に、選択画像の画像データあるいは車両状態データに基づいて選択画像が道路上で走行中に撮影されたものであるか否かを判定する（ステップＳ４１０～Ｓ４４０）。選択画像の撮影位置が道路上ではないと判定したときや、選択画像の撮影が走行中に行なわれていないと判定したときには、希少画像に該当せず、不要画像と判断して選択画像の画像データと車両状態データとを削除し（ステップＳ４８０）、画像蓄積処理を終了する。ステップＳ４１０～Ｓ４４０で選択画像が道路上で走行中に撮影されたものであると判定したときには、選択画像に対してサーバ側ＡＩ画像認識処理を施して（ステップＳ４５０）、選択画像における事物や事象が認識できたか否かを判定する（ステップＳ４６０）。サーバ側ＡＩ画像認識処理については上述した。選択画像の事物や事象がサーバ側ＡＩ画像認識処理によっては認識できないと判定したときには、選択画像は希少画像であると判断し、選択画像を画像蓄積装置２４０に蓄積し（ステップＳ４７０）、画像蓄積処理を終了する。一方、選択画像の事物や事象がサーバ側ＡＩ画像認識処理によって認識できたと判定したときには、選択画像は希少画像ではなく不要画像であると判断し、選択画像の画像データと車両状態データとを削除し（ステップＳ４８０）、画像蓄積処理を終了する。

こうした画像蓄積処理により、携帯端末１２０から送信された選択画像のうち、道路上で走行中に撮影された画像であって、画像の事物や事象がサーバ側ＡＩ画像認識処理によっては認識できないものだけを希少画像として画像蓄積装置２４０に蓄積することができる。画像蓄積装置２４０に蓄積された希少画像は、上述のサーバ側ＡＩ画像認識処理や端末側ＡＩ画像認識処理に用いられるだけでなく、自動運転における画像認識処理や、希少画像が事故画像である場合には事故の解析や事故情報などに用いられる。このように画像管理サーバ２３０により図６の画像蓄積処理を行なうものとすれば、より適正に希少画像を判定して蓄積することができる。

変形例の画像管理サーバ２３０では、選択画像が道路上で走行中に撮影されたものではないときには、サーバ側ＡＩ画像認識処理による希少画像の判定を行なわないものとした。しかし、走行中でなくとも選択画像が道路上で撮影されたものであればサーバ側ＡＩ画像認識処理による希少画像の判定するものとしたり、道路上でなくても選択画像が道路上で走行中に撮影されたものであればサーバ側ＡＩ画像認識処理による希少画像の判定するものとしたり、道路上であるか否か走行中であるか否かにかかわらずに撮影された選択画像に対してサーバ側ＡＩ画像認識処理による希少画像の判定するものとしてもよい。

変形例の画像管理サーバ２３０では、選択画像が道路上で走行中に撮影されたものではないときには、サーバ側ＡＩ画像認識処理による希少画像の判定を行なわないものとした。しかし、選択画像が道路上で走行中であり、更に、所定の状態、例えば加速度が第１閾値以上または第２閾値未満の状態や、ヨーレートが第３閾値以上または第４閾値未満の状態、路面勾配が第５閾値以上または第６閾値未満の状態のいずれかのときに撮影されたものに対してサーバ側ＡＩ画像認識処理による希少画像の判定するものとしてもよい。

実施例では、本発明を情報管理システム１０の形態として説明したが、情報管理システム１０が備える車載装置２０の形態としてもよいし、情報管理システム１０が備える携帯端末１２０の形態としてもよいし、情報管理システム１０が備える画像管理サーバ２３０の形態としてもよい。

実施例の主要な要素と課題を解決するための手段の欄に記載した発明の主要な要素との対応関係について説明する。実施例では、カメラ６０が「カメラ」に相当し、各種センサ４０が「センサ」に相当し、記憶装置６４が「記憶装置」に相当し、通信装置７４が「転送装置」に相当し、電子制御ユニット３０「制御装置」に相当し、車載装置２０が「車載装置」に相当する。また、携帯端末１２０が「形態端末」に相当し、画像管理サーバ２３０が「画像管理サーバ」に相当し、画像蓄積装置２４０が「画像蓄積装置」に相当する。

なお、実施例の主要な要素と課題を解決するための手段の欄に記載した発明の主要な要素との対応関係は、実施例が課題を解決するための手段の欄に記載した発明を実施するための形態を具体的に説明するための一例であることから、課題を解決するための手段の欄に記載した発明の要素を限定するものではない。即ち、課題を解決するための手段の欄に記載した発明についての解釈はその欄の記載に基づいて行なわれるべきものであり、実施例は課題を解決するための手段の欄に記載した発明の具体的な一例に過ぎないものである。

以上、本発明を実施するための形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々なる形態で実施し得ることは勿論である。

本発明は、情報管理システムやこれに用いる携帯端末、画像管理サーバの製造産業などに利用可能である。

１０ 情報管理システム、２０ 車載装置、２２ 駆動源、２４ 駆動軸、２６ デファレンシャルギヤ、２８ａ，２８ｂ 駆動輪、３０ 電子制御ユニット、３１ ＣＰＵ、３２ ＲＯＭ、３３ ＲＡＭ、３４ フラッシュメモリ、３５ 時刻計、４０ 各種センサ、４２ イグニッションスイッチ、４３ シフトレバー、４４ シフトポジションセンサ、４５ アクセルペダル、４６ アクセルペダルポジションセンサ、４７ ブレーキペダル、４８ ブレーキペダルポジションセンサ、４９ 車速センサ４９、５０ 車輪速センサ、５１ 加速度センサ、５２ ヨーレートセンサ、５３ 勾配センサ、６０ カメラ、６２ ＧＰＳ、６４ 記憶装置、７０ 表示装置、７２ 操作装置、７４ 通信装置、１２０ 携帯端末、２２０ 情報管理センター、２３０ 画像管理サーバ、２４０ 画像蓄積装置、２５０ 通信装置。

Claims (14)

1. 車両に搭載されたカメラと、車両状態を検出するセンサと、前記カメラにより撮影された画像および前記センサにより検出された車両状態とを時刻と共に撮影画像および検出車両状態として記憶する記憶装置と、前記撮影画像と前記検出車両状態の転送が可能な転送装置と、前記カメラと前記転送装置とを制御する制御装置と、を有する車載装置と、
   前記転送装置から転送された前記撮影画像と前記検出車両状態とを取得すると共に送信可能な形態端末と、
   前記携帯端末から送信された前記撮影画像と前記検出車両状態とを受信する画像管理サーバと、
   を備える情報管理システムであって、
   前記車載装置の前記制御装置は、前記記憶装置に記憶された撮影画像のうちユーザによって選択された選択画像と、前記選択画像を撮影したときの車両状態である選択車両状態とを前記形態端末に転送するものであり、
   前記携帯端末は、前記選択画像と前記選択車両状態とを用いて前記選択画像が希少画像であるか否かを判定する端末側判定処理を実行し、前記端末側判定処理により希少画像であると判定した前記選択画像と前記選択車両状態とをユーザにより送信が許可されたときにのみ前記画像管理サーバに送信するものであり、
   前記画像管理サーバは、前記携帯端末から受信した前記選択画像と前記選択車両状態とを蓄積する画像蓄積装置を備える、
   ことを特徴とする情報管理システム。
2. 請求項１記載の情報管理システムであって、
   前記端末側判定処理は、前記画像蓄積装置に蓄積された過去の画像に基づいて前記選択画像を評価することによって希少画像であるか否かを判定する処理である、
   情報管理システム。
3. 請求項２記載の情報管理システムであって、
   前記端末側判定処理は、前記画像蓄積装置に蓄積された過去の画像における事物または事象に対して学習した結果に基づいて前記選択画像における事物または事象が認識できないときに希少画像であると判定する処理である、
   情報管理システム。
4. 請求項２または３記載の情報管理システムであって、
   前記端末側判定処理は、前記選択車両状態に基づいて前記選択画像が道路上で走行中に撮像された画像であるときに前記選択画像が希少画像であるか否かを判定する処理である、
   情報管理システム。
5. 請求項１ないし４のうちのいずれか１つの請求項に記載の情報管理システムであって、
   前記画像管理サーバは、前記携帯端末から受信した前記選択画像と前記選択車両状態とを用いて前記選択画像が希少画像であるか否かを判定するサーバ側判定処理を実行し、前記サーバ側判定処理の実行により前記選択画像が希少画像であると判定した前記選択画像を前記画像蓄積装置に蓄積する、
   情報管理システム。
6. 請求項５記載の情報管理システムであって、
   前記サーバ側判定処理は、前記画像蓄積装置に蓄積された過去の画像における事物または事象に対する学習を行なった結果に基づいて前記選択画像における事物または事象が認識できないときに希少画像であると判定する処理であって、所定のタイミングで前記学習を行なう処理であり、
   前記端末側判定処理は、過去の特定のタイミングで前記学習を行なった結果を用いた処理である、
   情報管理システム。
7. 請求項６記載の情報管理システムであって、
   前記サーバ側判定処理は、前記選択車両状態に基づいて前記選択画像が道路上で走行中に撮像された画像であるときに前記選択画像が希少画像であるか否かを判定する処理である、
   情報管理システム。
8. 車両に搭載されたカメラと、車両状態を検出するセンサと、前記カメラにより撮影された画像および前記センサにより検出された車両状態とを時刻と共に撮影画像および検出車両状態として記憶する記憶装置と、前記撮影画像と前記検出車両状態の転送が可能な転送装置と、前記カメラと前記転送装置とを制御する制御装置と、を有する車載装置と、
   前記転送装置から転送された前記撮影画像と前記検出車両状態とを取得すると共に送信可能な形態端末と、
   前記携帯端末から送信された前記撮影画像と前記検出車両状態とを受信する画像管理サーバと、
   を備える情報管理システムにおいて、
   前記車載装置の前記制御装置は、前記記憶装置に記憶された撮影画像のうちユーザによって選択された選択画像と、前記選択画像を撮影したときの車両状態である選択車両状態とを前記形態端末に転送するものであり、
   前記画像管理サーバは、前記携帯端末から受信した前記選択画像と前記選択車両状態とを蓄積する画像蓄積装置を備えるものである、
   ことを特徴とする情報管理システムにおける前記携帯端末であって、
   前記車載装置から転送された前記選択画像と前記選択車両状態とを用いて前記選択画像が希少画像であるか否かを判定する端末側判定処理を実行し、前記端末側判定処理により希少画像であると判定した前記選択画像と前記選択車両状態とをユーザにより送信が許可されたときにのみ前記画像管理サーバに送信する、
   ことを特徴とする携帯端末。
9. 請求項８記載の携帯端末であって、
   前記端末側判定処理は、前記画像蓄積装置に蓄積された過去の画像に基づいて前記選択画像を評価することによって希少画像であるか否かを判定する処理である、
   携帯端末。
10. 請求項９記載の携帯端末であって、
    前記端末側判定処理は、前記画像蓄積装置に蓄積された過去の画像における事物または事象に対して学習した結果に基づいて前記選択画像における事物または事象が認識できないときに希少画像であると判定する処理である、
    携帯端末。
11. 請求項９または１０記載の情報管理システムであって、
    前記端末側判定処理は、前記選択車両状態に基づいて前記選択画像が道路上で走行中に撮像された画像であるときに前記選択画像が希少画像であるか否かを判定する処理である、
    携帯端末。
12. 車両に搭載されたカメラと、車両状態を検出するセンサと、前記カメラにより撮影された画像および前記センサにより検出された車両状態とを時刻と共に撮影画像および検出車両状態として記憶する記憶装置と、前記撮影画像と前記検出車両状態の転送が可能な転送装置と、前記カメラと前記転送装置とを制御する制御装置と、を有する車載装置と、
    前記転送装置から転送された前記撮影画像と前記検出車両状態とを取得すると共に送信可能な形態端末と、
    前記携帯端末から送信された前記撮影画像と前記検出車両状態とを受信する画像管理サーバと、
    を備える情報管理システムにおいて、
    前記車載装置の前記制御装置は、前記記憶装置に記憶された撮影画像のうちユーザによって選択された選択画像と、前記選択画像を撮影したときの車両状態である選択車両状態とを前記形態端末に転送するものであり、
    前記携帯端末は、前記選択画像と前記選択車両状態とを用いて前記選択画像が希少画像であるか否かを判定する端末側判定処理を実行し、前記端末側判定処理により希少画像であると判定した前記選択画像と前記選択車両状態とをユーザにより送信が許可されたときにのみ前記画像管理サーバに送信するものであり、
    前記画像管理サーバは、前記携帯端末から受信した前記選択画像と前記選択車両状態とを蓄積する画像蓄積装置を備える、
    ことを特徴とする情報管理システムにおける前記画像管理サーバであって、
    前記画像管理サーバは、前記携帯端末から受信した前記選択画像と前記選択車両状態とを用いて前記選択画像が希少画像であるか否かを判定するサーバ側判定処理を実行し、前記サーバ側判定処理の実行により前記選択画像が希少画像であると判定した前記選択画像を前記画像蓄積装置に蓄積する、
    ことを特徴とする画像管理サーバ。
13. 請求項１２記載の画像管理サーバであって、
    前記サーバ側判定処理は、前記画像蓄積装置に蓄積された過去の画像における事物または事象に対する学習を行なった結果に基づいて前記選択画像における事物または事象が認識できないときに希少画像であると判定する処理であって、所定のタイミングで前記学習を行なう処理であり、
    前記端末側判定処理は、過去の特定のタイミングで前記学習を行なった結果を用いた処理である、
    画像管理サーバ。
14. 請求項１３記載の画像管理サーバであって、
    前記サーバ側判定処理は、前記選択車両状態に基づいて前記選択画像が道路上で走行中に撮像された画像であるときに前記選択画像が希少画像であるか否かを判定する処理である、
    画像管理サーバ。

Images