JP2022044056A - 情報収集装置、情報収集サーバ及び情報収集システム - Google Patents

Abstract

【課題】移動体が移動する道路等の経路の不特定の場所で発生する事象に関する情報を収集し、当該情報を移動体に提供することを可能とする情報収集装置、情報収集サーバ及び情報収集システムを提供する。【解決手段】情報収集装置であって、移動体の搭乗者の状態を搭乗者状態情報として収集する搭乗者状態情報収集部と、前記搭乗者状態情報に基づいて、前記搭乗者の状態変化を検知し、状態変化検知情報を生成する状態変化検知部と、前記移動体の外部を撮影して撮影画像を生成する外部撮影部と、前記状態変化検知情報に応じて前記撮影画像を含む外部状況情報を生成して前記外部状況情報を、通信路を介して送信する外部状況情報送信部と、を含むことを特徴とする。【選択図】図１

Description

本発明は、情報収集装置、情報収集サーバ及び情報収集システムに関する。

従来から、交差点に設置してあるカメラからの情報を収集して、交差点付近の状況を、当該交差点付近の自動車に送信する交通情報提供システムが検討されている（特許文献１）。

特開２０１１－２５８０６８号公報

特許文献１に開示されているような交通情報提供システムでは、カメラが設置されている交差点等の道路上の特定の場所の情報しか得ることができない。そのため、例えば、当該特定の場所以外の場所でなんらかの事象が発生しても、その情報を収集して、当該収集された情報に基いた情報提供を行うことができないという問題が一例として挙げられる。

本発明は、上述した点に鑑みてなされたものであり、移動体が移動する道路等の経路の不特定の場所で発生する事象に関する情報を収集し、当該情報を移動体に提供することを可能とする情報収集装置、情報収集サーバ及び情報収集システムを提供することを課題の１つとする。

本願請求項１に記載の発明は、情報収集装置であって、移動体の搭乗者の状態を搭乗者状態情報として収集する搭乗者状態情報収集部と、前記搭乗者状態情報に基づいて、前記搭乗者の状態変化を検知し、状態変化検知情報を生成する状態変化検知部と、前記移動体の外部を撮影して撮影画像を生成する外部撮影部と、前記状態変化検知情報に応じて前記撮影画像を含む外部状況情報を生成して前記外部状況情報を、通信路を介して送信する外部状況情報送信部と、を含むことを特徴とする。

また、本願請求項７に記載の発明は、情報収集システムであって、移動体に設けられ、前記移動体の搭乗者の状態を搭乗者状態情報として収集する搭乗者状態情報収集部と、前記搭乗者状態情報に基づいて、前記搭乗者の状態変化を検知し、状態変化検知情報を生成する状態変化検知部と、前記移動体に設けられ前記移動体の外部を撮影して撮影画像を生成する外部撮影部と、前記状態変化検知情報に応じて前記撮影画像を含む外部状況情報を生成する外部状況情報生成部と、を含むことを特徴とする。

また、本願請求項１０に記載の発明は、情報収集サーバであって、移動体に搭乗している搭乗者の状態変化の検知に応じて生成された前記移動体の外部の撮影画像を含む外部状況情報を、通信路を介して受信する外部状況情報受信部と、前記外部状況情報に含まれる前記撮影画像を解析し、前記外部状況情報の有用度を判定する判定部と、有用であると判定された外部状況情報を、通信路を介して配信する外部状況情報配信部と、を含むことを特徴とする。

本発明の情報収集システムの全体構成図である。 端末装置の取付例を示す図である 端末装置及びサーバの機能ブロック図である。 搭乗者監視部の動作ルーチンの一例である。 画像抽出部の動作ルーチンの一例である。 自位置特定部の動作ルーチンの一例である。 コンテンツ選別部の動作ルーチンの一例である。 情報受信部の動作ルーチンの一例である。 コンテンツ選別部の動作ルーチンの一例である。 端末装置及びサーバの機能ブロック図である。

以下においては、本発明の好適な実施例について説明する。しかし、これらを適宜改変し、組み合わせてもよい。また、以下の説明及び添付図面において、実質的に同一又は等価な部分には同一の参照符を付して説明する。また、以下の説明において、画像とは動画及び静止画を含むものとして説明する。また、以下において、情報の送信または受信とは情報信号の送信または受信を含む表現である。

以下に、本発明の実施例１である情報収集システム１００について、添付の図面を参照して説明する。

図１は、実施例１の情報収集システムの１００の全体構成図である。図１に示すように、情報収集システム１００は、移動体としての自動車Ｍに搭載された情報収集装置としての端末装置１０とサーバ５０とが、ネットワークＮＷを介して接続されて構成されている。なお、図１において、移動体の一例として自動車Ｍが示されているが、移動体は、自転車、バイク、飛行機、船舶、移動する人等、自動車以外の移動体であっても良い。

図２は、自動車Ｍへの端末装置１０の取付例を示す図である。図２では、取り付け例として、自動車Ｍの前席部分に取り付けられた端末装置１０を示す。

自動車Ｍの車外（周囲）の状況、すなわち自動車Ｍの外部（外界）を撮影する外部撮影部としての車外撮影カメラ１１は、例えば、ダッシュボードＤＢ上に配されている。車外撮影カメラ１１は、例えば、フロントガラスを介して自動車Ｍの前方の広い領域を撮影可能である広角カメラであり得る。

なお、車外撮影カメラ１１は、車外の状況を撮影可能であればどこに設けられてもよい。例えば、車外撮影カメラ１１は、ルームミラーＲＭの裏、すなわちフロントガラスＦＧに対向する面に設けられていてもよい。また、車外撮影カメラ１１は、自動車Ｍの外側、例えばフロントバンパー等に設けられていてもよい。また、車外撮影カメラ１１は、車外の多方向を撮影可能なように複数設けられていてもよい。

搭乗者撮影部としての車内撮影カメラ１３は、搭乗者の状態情報である搭乗者状態情報としての搭乗者の動作等の状況を撮影するカメラである。車内撮影カメラ１３は、例えば
、フロントガラスＦＧの上端または当該上端付近の天井部に設けられている。なお、車内撮影カメラ１３は、車内及び搭乗者の状況を撮影可能であれば、どこに設けられていてもよく、例えば、ダッシュボードＤＢ上またはルームミラーＲＭ等に設けられていてもよい。

搭乗者状態情報としての車内の音を受音するマイク１５は、例えば、ダッシュボードＤＢ上に配されている。マイク１５は、車内の音を受音可能であれば、ルームミラーＲＭまたはハンドル等、どこに設けられていてもよい。

なお、車内撮影カメラ１３及びマイク１５を、搭乗者状態情報を収集する搭乗者状態情報収集部とする。

ＧＰＳ（Global Positioning System）衛星からの信号（ＧＰＳ信号）を受信するＧＰＳ受信機１７は、例えば、ダッシュボードＤＢ上に配されている。なお、ＧＰＳ受信機１７は、ＧＰＳ信号が受信できればどこに配されていてもよい。

外部等から受信した情報を表示すなわち告知する告知手段としてのディスプレイ１９は、例えば、ダッシュボードＤＢ上に配されている。ディスプレイ１９は、搭乗者から視認できる場所に配されていればよい。例えば、ディスプレイ１９は、ダッシュボードＤＢ内のセンターコンソールＣＣに取り付けられていてもよい。

本体２１は、車外撮影カメラ１１、車内撮影カメラ１３、マイク１５、ＧＰＳ受信機１７及びディスプレイ１９に接続されており、これらを制御する制御部（図３参照）を含む。本体２１は、例えば、ダッシュボードＤＢ内センターコンソールＣＣ部分に搭載されている。

図３に、端末装置１０の制御部２３及びサーバ５０内の機能ブロック図を示す。まず、制御部２３について説明する。

状態変化検知部としての搭乗者監視部２５は、車内撮影カメラ１３及びマイク１５の情報を受信可能である。搭乗者監視部２５は、車内撮影カメラ１３及びマイク１５から送信される画像または音声入力に基づいて、自動車Ｍに搭乗している搭乗者の状態、すなわち客室内を監視し、搭乗者の状態の変化を検知したか、例えば異常・異変が起きたか否かを判定する。搭乗者監視部２５は、搭乗者の状態の変化を検知したと判定すると、画像抽出部２７、自位置特定部２９及び情報送信部３１に状態変化検知情報を送信する。

画像抽出部２７は、車外撮影カメラ１１に接続されており、車外撮影カメラ１１が撮影した画像を受信する。画像抽出部２７は、搭乗者監視部２５からの状態変化検知情報に基づいて、車外撮影カメラ１１から受信した画像の一部を抽出して抽出画像を生成する。画像抽出部２７は、抽出画像を生成すると、当該抽出画像を、状態変化を検知した際の画像、すなわち、状態変化を検知した際に移動体の外部で発生している事象を撮影した事象画像として、情報送信部３１に送信する。

なお、車外撮影カメラ１１が常時撮影をしておらず、搭乗者監視部２５が状態変化検知情報を車外撮影カメラ１１に送信し、車外撮影カメラ１１が当該情報の受信に応じて撮影を行ってもよい。例えば、状態変化検知情報を受信した際に撮影を行うか、または状態変化検知情報を受信してから一定時間撮影を行うこととしてもよい。この場合、撮影された画像は画像抽出部によってさらにその一部が抽出されても良いし、画像抽出部を介さずに情報送信部３１に事象画像として送信されてもよい。

自位置特定部２９は、ＧＰＳ受信機１７に接続されており、端末装置１０が搭載されている自動車Ｍの現在位置を示す位置特定情報を出力可能である。自位置特定部２９は、搭乗者監視部２５から状態変化検知情報を受信すると、状態変化検知情報を受信した時刻における自動車Ｍの位置をＧＰＳ受信機１７からのＧＰＳ信号によって特定し、当該位置の情報である位置特定情報を情報送信部３１に送信する。また、自位置特定部２９は、必要に応じて情報受信部３３等の他の部分に、位置特定情報を送信可能である。

なお、自位置特定部２９は、ジャイロ装置（図示せず）からの自動車Ｍの姿勢情報または自動車Ｍの車速パルスにから得られた車速情報に基づいて自動車Ｍの位置を特定してもよい。また、自位置特定部２９は、地図情報を保持するかまたは外部から取得可能であってもよい。すなわち、ＧＰＳ受信機１７からのＧＰＳ情報、ジャイロ装置からの自動車Ｍの姿勢情報及び自動車Ｍの車速情報のうちの少なくとも１つと当該地図情報を組み合わせて、自動車Ｍの位置を特定可能であってもよい。

外部状況情報生成部または外部状況情報送信部としての情報送信部３１は、ネットワークＮＷ（図１参照）を介してサーバ５０へ情報信号を送信可能な送信機（図示せず）に接続されている。

情報送信部３１は、搭乗者監視部２５から状態変化検知情報を受信すると、外部状況情報としての情報コンテンツを生成する。情報送信部３１は、画像抽出部２７もしくは車外撮影カメラ１１から事象画像を受信し、かつ自位置特定部２９からの位置特定情報を受信する。そして、これらの受信情報に基づいて、状態変化検知情報の受信時刻（例えば、事象画像の撮影時刻）の情報、事象画像及び位置特定情報を含む、外部状況情報としての情報コンテンツを生成する。すなわち、情報送信部３１は、状態変化検知情報に応じて情報コンテンツを生成する。

情報送信部３１は、情報コンテンツを生成すると、当該情報コンテンツをサーバ５０に送信する。なお、搭乗者監視部２５から直接的に状態変化検知情報を受信せずとも、事象画像の受信または位置特定情報の受信をもって、搭乗者監視部２５から情報送信部３１に状態変化検知情報がもたらされたとすることとしてもよい。

情報受信部３３は、ネットワークＮＷを介してサーバ５０等の外部から情報を受信可能な受信機（図示せず）に接続されている。情報受信部３３は、サーバ５０から情報を受信すると、当該情報に基づいてディスプレイ１９に表示を行い、当該情報に基づく情報を搭乗者に告知することが可能である。

次に、サーバ５０について説明する。外部状況情報受信部としての情報受信部５１は、ネットワークＮＷを介して情報送信部３１から情報コンテンツを受信可能である。情報受信部５１は、情報コンテンツを受信するとそれをコンテンツ選別部５３に送信する。なお、図示していないが、情報受信部５１は、他の自動車Ｍに各々搭載されている複数の端末装置１０から、情報コンテンツを受信する。

選別部または判定部としてのコンテンツ選別部５３は、情報コンテンツを受信し、その中から自動車Ｍに送信すべき情報コンテンツを選別する機能部である。コンテンツ選別部５３は、情報コンテンツの中から自動車Ｍの移動経路の選択に資する等の観点から当該情報コンテンツを有用または有意なコンテンツか否か判定するコンテンツ有用度判定部５５を含む。

コンテンツ有用度判定部５５は、例えば、複数の情報コンテンツが受信されて蓄積された際に、当該蓄積された情報コンテンツうち、互いに同一または近傍の位置を示す位置特定情報を有する情報コンテンツ（以後、近傍コンテンツとも称する）が多数（または所定数以上）あるか否かを判定する。コンテンツ有用度判定部５５は、近傍コンテンツが所定数以上ある場合、当該近傍コンテンツ群が有用もしくは有意であると判定して、これらを選別して代表コンテンツ選択部５７に送信する。

なお、近傍コンテンツは、情報コンテンツうち、互いに同一または近傍の位置を示す位置特定情報を有し、かつ同時間帯（例えば、撮影時刻が前後３０分以内）に撮影された事象画像を有する情報コンテンツとしてもよい。

コンテンツ選別部５３は、近傍コンテンツ群の中から最も有用もしくは有意な、または良質な事象画像を保持する情報コンテンツを、代表コンテンツとして選別する代表コンテンツ選択部５７を含む。代表コンテンツ選択部５７は、例えば、近傍コンテンツ群が保持する事象画像を解析し、最も鮮明な事象画像を保持する情報コンテンツを代表コンテンツとして選別してもよい。また、近傍コンテンツ群のうち最近時に撮影された事象画像を保持する情報コンテンツを代表コンテンツとして選択してもよい。

代表コンテンツ選択部５７は、代表コンテンツを選択すると、それを情報送信部５９に送信する。

外部状況情報配信部としての情報送信部５９は、ネットワークＮＷを介して端末装置１０に情報信号を送信可能である。情報送信部５９は、代表コンテンツ選択部５７から代表コンテンツを受信すると、それを端末装置１０に送信する。

上述のように、端末装置１０の情報受信部３３は、サーバ５０から情報を受信すると、当該情報に基づいてディスプレイ１９に表示を行わせ、告知をすることが可能である。この表示は、例えば、地図上に自動車Ｍの位置と情報コンテンツに含まれる位置特定情報、すなわち事象が発生した位置を表示し、かつ情報コンテンツに含まれる事象画像を表示することで行われる。

ここで、情報受信部３３は、代表コンテンツを受信した後に、代表コンテンツの有する位置特定情報及び事象画像の撮影時刻に基づいて、ディスプレイ１９に当該代表コンテンツに基づく情報を表示するかの判定をすることとしてもよい。

この判定は、例えば、端末装置１０を搭載している自動車Ｍの現在位置と当該代表コンテンツの有する位置特定情報によって示される位置とが所定の距離内にあるか否かで行われてもよい。

また、自動車Ｍにナビゲーションシステムが搭載されている場合には、ナビゲーションシステムに設定されている経路が、当該代表コンテンツの位置特定情報によって示される位置を通過するかまたはその近傍を通過するかによって判定されてもよい。

［各部の動作ルーチン］
以下に、上述した各部の動作ルーチンについて説明する。なお、以下に説明する動作ルーチンのうち、端末装置１０の制御部２３内の各部の動作ルーチンは、例えば、自動車Ｍのエンジン、モータ等の原動機の始動時に開始され、原動機の停止まで繰り返し実行される。また、端末装置１０の個別のスイッチが設けられており、当該スイッチのオン時に動作ルーチンが開始され、当該スイッチがオフ時まで繰り返し実行されることとしてもよい。

図４に、搭乗者監視部２５の動作ルーチンの一例を示す。まず、搭乗者監視部２５は、搭乗者に状態変化、例えば異変が発生しているか否かを判定する（ステップＳ１）。この判定においては、例えば、操縦者または搭乗者の注視状態の変化に応じて、具体的には当該注視状態の変化が発生しているか否かに基づいて、状態変化が発生しているか否かを判定してもよい。注視状態の変化とは、例えば、注視をしていない状態から注視している状態への変化、すなわち注視度の変化、または注視している方向の変化等を含む。

例えば、操縦者が一方向を一定時間以上注視したことを車内撮影カメラ１３から送信される画像を用いた視線解析等で検知した際に、状態変化が発生した（検知された）と判定することとしてもよい。

また、操縦者を含む搭乗者の多数が一方向を一定時間以上注視したことを検知した際に、状態変化が発生したと判定することとしてもよい。なお、視線解析をせずとも、操縦者を含む搭乗者の顔の方向が一方向を一定時間以上向いた際に、操縦者または搭乗者が当該一方向を注視したと判定することとしてもよい。

また、操縦者の注視方向（位置）または視線方向の移動が閾値を超えた移動量であることを検知した際に、または注視方向（位置）又は視線方向が閾値を超えた速度で移動した際に状態変化が発生したと判定してもよい。

また、マイク１５から送信される音声を音声認識し、「事故」、「工事」、「大変」、「なんだろう？」等の特定のキーワードが認識された際に、異変が起きたと判定することとしてもよい。なお、状態変化検知情報には、状態変化発生時の操縦者または搭乗者が注視した方向の情報である注視方向情報が含まれていてもよい。また、状態変化検知情報には音声認識の結果が含まれていてもよい。

ステップＳ１において、状態変化が発生していると判定すると（ステップＳ１：ＹＥＳ）、搭乗者監視部２５は状態変化検知情報を画像抽出部２７、自位置特定部２９及び情報送信部３１に送信し（ステップＳ２）、動作ルーチンが終了する。ステップＳ１において、状態変化が発生していないと判定すると（ステップＳ１：ＮＯ）、その後動作ルーチンが終了する。

図５に画像抽出部２７の動作ルーチンの一例を示す。まず、画像抽出部２７は、搭乗者監視部２５から状態変化検知情報が到来したかを判定する（ステップＳ１）。ステップＳ１において、状態変化検知情報が到来していないと判定すると（ステップＳ１：ＮＯ）、その後動作ルーチンは終了する。

ステップＳ１において、状態変化検知情報が到来したと判定すると、画像抽出部２７は、車外撮影カメラ１１の画像を抽出して抽出画像を生成する（ステップＳ２）。この抽出画像の生成は、車外撮影カメラ１１の画像から、状態変化検知情報を受信した時刻の静止画を抽出することで行われてもよい。

また、車外撮影カメラ１１の画像から、状態変化検知情報を受信した時刻の前後の１または複数の静止画または当該時刻の前後所定の時間範囲の動画を抽出することで行われてもよい。また、上述のように状態変化検知情報に搭乗者の注視方向情報が含まれている場合には、当該注視方向情報に基づいて状態変化検知情報を受信した時刻に基づいて抽出された静止画または動画から、その一部領域をさらに切り出す（トリミングする）こととしてもよい。この際、画像抽出部は、画像切出部として機能する。

この場合、状態変化検知情報を受信した時刻に基づいて抽出された画像または動画から、注視方向情報に基づいて、搭乗者の注視方向と一致する領域部分を切り出して抽出することとしてもよい。

ステップＳ２の終了後、画像抽出部２７は、抽出画像を、状態変化を検知した際の画像、すなわち、状態変化を検知した際に移動体の外部で発生している事象を撮影した事象画像として、情報送信部３１に送信し（ステップＳ３）、その後動作ルーチンが終了する。

なお、上述のように、車外撮影カメラが常時撮影をしておらず搭乗者監視部２５が状態変化検知情報を車外撮影カメラ１１に送信し、車外撮影カメラ１１が当該情報の受信に応じて撮影を行ってもよい。例えば、状態変化検知情報を受信した際に撮影を行うか、または状態変化検知情報を受信してから一定時間撮影を行うこととしてもよい。

この場合、撮影された画像は、画像抽出部２７によってさらにその一部が時間的に抽出されて情報送信部３１に事象画像として送信されてもよい。また、当該撮影された画像は画像切出部として機能する画像抽出部２７によって当該画像の一部領域が切り出されて情報送信部３１に事象画像として送信されてもよい。なお、当該撮影された画像は、画像抽出部２７を介さずに情報送信部３１に事象画像として直接送信されてもよい。

図６に、自位置特定部２９の動作ルーチンの一例を示す。まず自位置特定部２９は、搭乗者監視部２５から状態変化検知情報が到来したかを判定する（ステップＳ１）。ステップＳ１において、状態変化検知情報が到来していないと判定すると（ステップＳ１：ＮＯ）、その後動作ルーチンは終了する。

ステップＳ１において、状態変化検知情報が到来したと判定すると、自位置特定部２９は、端末装置１０が搭載されている自動車Ｍの位置を特定する位置特定情報を生成する（ステップＳ２）。この位置特定情報は、ＧＰＳ受信機１７からのＧＰＳ信号によって特定された位置の情報であってもよい。なお、自位置特定部２９は、ジャイロ装置（図示せず）からの自動車Ｍの姿勢情報または自動車Ｍの車速パルスに基づく車速情報自動車Ｍの位置を特定する位置特定情報を生成してもよい。

また、自位置特定部２９は、地図情報を保持するかまたは外部から取得可能であってもよい。すなわち、自位置特定部２９は、ＧＰＳ受信機１７からのＧＰＳ信号、ジャイロ装置からの自動車Ｍの姿勢情報及び自動車Ｍの車速情報のうちの少なくとも１つと当該地図情報を組み合わせて、自動車Ｍの位置を特定する位置特定情報を生成してもよい。

ステップＳ２の終了後、自位置特定部２９は、生成した位置特定情報を情報送信部３１に送信し（ステップＳ３）、その後動作ルーチンは終了する。

情報送信部３１に送信された事象画像及び位置特定情報は、これらを含む情報コンテンツとして情報送信部３１によってサーバ５０の情報受信部５１に送信される。すなわち、情報送信部３１において、事象画像及び位置特定情報を含む情報コンテンツが生成され、サーバ５０の情報受信部５１に送信される。情報受信部５１は、情報コンテンツを受信すると、これをコンテンツ選別部５３に送信する。

図７に、コンテンツ有用度判定部５５及び代表コンテンツ選択部５７からなるコンテンツ選別部５３の動作ルーチンの一例を示す。この例では、コンテンツ選別部５３は、情報コンテンツが有意または有用であることを判定するために、一定範囲内の位置で撮影された事象画像を含む情報コンテンツが一定数以上到来したか否かを判定する。なお、上述のように、情報受信部５１は、複数の自動車Ｍに各々搭載されている複数の端末装置１０から、情報コンテンツを受信している。

まず、コンテンツ選別部５３は、情報受信部５１から互いに同一または近傍の位置を示す位置特定情報を有する情報コンテンツ（以下、近傍コンテンツとも称する）が所定数以上到来したか否かを判定する（ステップＳ１）。ステップＳ１において、近傍コンテンツが所定数以上到来していないと判定すると（ステップＳ１：ＮＯ）、動作ルーチンはその後終了する。

ステップＳ１において、近傍コンテンツが所定数以上到来していると判定すると（ステップＳ１：ＹＥＳ）、コンテンツ選別部５３は、当該近傍コンテンツの中から１つの情報コンテンツを代表コンテンツとして選別する（ステップＳ２）。

この代表コンテンツの選択は、例えば、近傍コンテンツの各々が保持する事象画像を解析し、最も鮮明な事象画像を代表画像とし、当該代表画像を保持する情報コンテンツを代表コンテンツとして選別してもよい。また、近傍コンテンツ各々が保持する事象画像のうち最近時に撮影された事象画像を代表画像とし、当該代表画像を保持する情報コンテンツを代表コンテンツとして選別してもよい。

なお、情報コンテンツに事象画像の撮影時の自動車Ｍの車速パルスまたはそれに基づく車速の情報が含まれていてもよく、その場合には最も鮮明な事象画像の選別に当該車速パルスまたは車速の情報が用いられてもよい。例えば、事象画像の撮影時の車速パルスを解析し、最も低速で撮影された事象画像を代表画像とし、当該代表画像を保持する情報コンテンツを代表コンテンツとしてもよい。

また、情報コンテンツに、搭乗者監視部２５からの状態変化検知情報の送信時（すなわち、事象画像の撮影時）の自動車Ｍの搭乗者が注視している方向（位置）または視線方向の情報が含まれていてもよい。この場合、例えば、自動車Ｍが事象画像の撮影時に走行していた道路上の、どの車線を走行（どの車線に停止）していたかを事象画像から判定し、代表画像を判定することとしてもよい。

例えば、状態変化検知情報の送信時に搭乗者が自動車Ｍの左方向を注視していた場合には、最も左の車線で撮影された事象画像を代表画像としてもよい。また、搭乗者が自動車Ｍの右方向を注視していた場合には、最も右の車線で撮影された事象画像を代表画像としてもよい。

ステップＳ２が終了すると、コンテンツ選別部５３は、代表画像を含む情報コンテンツである代表コンテンツを情報送信部５９に送信して（ステップＳ３）、その後動作ルーチンは終了する。情報送信部５９は、コンテンツ選別部５３から情報コンテンツを受信すると、それを端末装置１０の情報受信部３３に送信する。

図８に、情報受信部３３の動作ルーチンの一例を示す。まず、情報受信部３３は、サーバから情報コンテンツが到来したかを判定する（ステップＳ１）。情報コンテンツが到来していないと判定した場合（ステップＳ１：ＮＯ）、その後動作ルーチンは終了する。

ステップＳ１において、サーバから情報コンテンツが到来したと判定すると（ステップＳ１：ＹＥＳ）、情報受信部３３は、到来した情報コンテンツが、端末装置１０が搭載されている自動車Ｍの搭乗者にとって有用か否かを判定する（ステップＳ２）。

この判定において、例えば、到来した情報コンテンツが有する位置特定情報によって示される位置が、自動車Ｍの現在位置の近傍である（所定の距離内にある）場合に、当該情報コンテンツが有用であると判定してもよい。

また、例えば、自動車Ｍに搭載されているナビゲーションシステムにおいて経路が設定されている場合、当該経路に基づいて到来した情報コンテンツが有用か否かを判定してもよい。すなわち、例えば、到来した情報コンテンツが保持する位置特定情報によって示される位置が、当該設定されている経路上にあるかまたは当該経路の近傍にあることをして、当該情報コンテンツが有用であると判定することにしてもよい。

ステップＳ２において、到来した情報コンテンツが有用であると判定すると（ステップＳ２：ＹＥＳ）、情報受信部は、ディスプレイ１９に情報コンテンツに基づく情報を表示する（ステップＳ３）。この表示は、例えば、単に情報コンテンツが保持する事象画像及び位置特定情報を表示するものであってもよい。また、これに加えて、位置特定情報に基づいて地図上に事象画像が撮影された位置を表示することとしても良い。

ステップＳ２において、到来した情報コンテンツが有用ではないと判定すると（ステップＳ２：ＮＯ）、その後動作ルーチンは終了する。また、ステップＳ３が終了すると、その後動作ルーチンは終了する。

上述の情報システム１００、端末装置１０及びサーバ５０によれば、移動体の移動経路上の不特定の位置、例えば、狭い道や交通量の少ない道等、情報収集装置の未設置の経路を含む場所において発生した事象に関する画像を含む情報を収集することが可能である。さらには、当該収集した情報を、他の移動体に配信することが可能である。

また、情報システム１００、端末装置１０及びサーバ５０によれば、移動体の搭乗者に異変等の状態変化に基づいて当該状態変化時に撮影された画像を含む情報を生成し、かつ当該画像を含む情報を解析して有用または有意な情報を選別して配信することで、必要な情報のみを効率よく配信することが可能である。

以下に、本発明の実施例２のシステム２００について、図面を参照しつつ説明する。なお、実施例２のシステム２００は、コンテンツ選別部５３の動作ルーチンが異なる以外は、実施例１のシステム１００と同一の構成を有している。そのため、コンテンツ選別部５３の動作ルーチン以外の説明は省略する。

実施例２では、システム２００のコンテンツ選別部５３が、端末装置１０から送信された情報コンテンツ内の事象画像を画像分析して、当該事象画像が何の事象を撮影したものかを解析し、個々の情報コンテンツの有意性または有用性を判定する場合を例に説明する。すなわち、コンテンツ選別部５３が、事象画像の撮影時にどのような事象が発生しているかを解析して、有意性または有用性を判定する場合を例に説明する。

図９に、実施例２のシステム２００のコンテンツ選別部５３の動作ルーチンの一例を示す。まず、コンテンツ選別部５３は、端末装置１０から情報コンテンツが到来したかを判定する（ステップＳ１）。ステップＳ１において、情報コンテンツが到来していないと判定すると（ステップＳ１：ＮＯ）、動作ルーチンはその後終了する。なお、上述のように、情報コンテンツは、複数の自動車Ｍに各々搭載されている複数の端末装置１０から到来する。

ステップＳ１において、情報コンテンツが到来していると判定すると（ステップＳ１：ＹＥＳ）、コンテンツ選別部５３は、当該到来した情報コンテンツが有用または有意であるか否かを判定する（ステップＳ２）。

この判定は、例えば、情報コンテンツの各々に含まれる事象画像が何を撮影したものか、すなわちどのような事象が発生しているのかを解析することで行われる。例えば、事象画像が、「事故」、「工事現場」、「渋滞」、「人だかり」、「催事（イベント）」等、有用な画像であるとの画像であると解析された場合に、当該事象画像が含まれる情報コンテンツが有用または有意であると判定されてもよい。

具体的には、例えば、事象画像を画像解析し、多数の自動車が一定時間移動していないと解析された場合には渋滞と判定する。また、「工事」の文字が認識されたり、工事現場に見られる黄色と黒の斜線模様が認識された場合には「工事現場」と判定する。また、例えば、人が多数認識された場合には「人だかり」または「催事（イベント）」と判定される。ステップＳ２において、情報コンテンツが有用または有意ではないと判定された場合には（ステップＳ２：ＮＯ）、ルーチンはその後終了する。

ステップＳ２において、到来した情報コンテンツが有用または有意であると判定された場合には（ステップＳ２：ＹＥＳ）処理はステップＳ３に進む。ステップＳ３において、コンテンツ選別部５３は、当該有用または有意と判定された情報コンテンツが保持する事象画像と同時間帯（例えば、撮影時刻が前後３０分以内）及び同位置（または近傍位置）で撮影された事象画像を含む他の情報コンテンツが到来しているか否かを判定する（ステップＳ３）。

ステップＳ３において、同時間帯及び同位置で撮影された事象画像を含む他の情報コンテンツが到来していると判定した場合には（ステップＳ３：ＹＥＳ）、コンテンツ選別部５３は、当該情報コンテンツの中から１つの情報コンテンツを代表コンテンツとして選択する（ステップＳ４）。

実施例１において説明したように、この代表コンテンツの選択は、例えば、情報コンテンツの各々が保持する事象画像を解析し、最も鮮明な事象画像を代表画像とし、当該代表画像を保持する情報コンテンツを代表コンテンツとして選別してもよい。また、情報コンテンツの保持する事象画像のうち最近時に撮影された事象画像を代表画像とし、当該代表画像を保持する情報コンテンツを代表コンテンツとして選別してもよい。

なお、情報コンテンツに事象画像の撮影時の自動車Ｍの車速パルスまたは車速の情報が含まれていてもよく、その場合には最も鮮明な事象画像の選別に当該車速パルスまたは車速の情報が用いられてもよい。例えば、事象画像の撮影時の車速パルスを解析し、最も低速で撮影された事象画像を代表画像とし、当該代表画像を保持する情報コンテンツを代表コンテンツとしてもよい。

また、情報コンテンツに、搭乗者監視部２５からの状態変化検知情報の送信時（すなわち、事象画像の撮影時）の自動車Ｍの搭乗者が注視している方向（位置）または視線方向の情報が含まれていてもよい。この場合、例えば、事象画像から自動車Ｍがどの車線を走行（どの車線に停止）しているかを判定し、代表画像を判定することとしてもよい。

例えば、状態変化検知情報の送信時に搭乗者が自動車Ｍの左方向を注視していた場合には、最も左の車線で撮影された事象画像を代表画像としてもよい。また、搭乗者が自動車Ｍの左方向を注視していた場合には、最も右の車線で撮影された事象画像を代表画像としてもよい。

ステップＳ４の終了後、及びステップＳ３において、同時間帯及び同位置で撮影された事象画像を含む他の情報コンテンツが到来していないと判定した場合には（ステップＳ３：ＮＯ）、コンテンツ選別部５３は、代表画像を含む情報コンテンツをそのまま端末装置１０に送信する（ステップＳ５）。

なお、ステップＳ３において同時間帯及び同位置で撮影された事象画像を含む他の情報コンテンツが到来していない判定した場合には、ステップＳ２において有用または有意と判定された情報コンテンツを端末装置１０に送信する。ステップＳ５の終了後、動作ルーチンは終了する。

なお、この場合、サーバ５０から端末装置１０に送信される情報コンテンツは、ステップＳ２において行われた事象画像の解析結果を追加したものでもよい。すなわち、当該送信される情報コンテンツに、当該事象画像に映されている事象（例えば、「事故」、「工事現場」、「渋滞」「人だかり」または「催事（イベント）」等）の情報を含ませることとしてもよい。

このような事象に関する情報が情報コンテンツに含まれて端末装置１０に送信される場合、情報受信部は、当該事象に関する情報に基づいてディスプレイ１９に当該情報コンテンツに基づく情報を表示させるか否かを判定してもよい。例えば、端末装置１０を用いるユーザが、「事故」の情報のみを要求している場合には、「事故」に関する情報コンテンツに基づく情報のみをディスプレイ１９に表示させてもよい。

また、自動車Ｍにナビゲーションシステムが搭載されている場合、ナビゲーションシステムに対して当該事象に関する情報を提供し、当該ナビゲーションシステムに経路変更を促すこととしてもよい。例えば、情報コンテンツに基づいて、ナビゲーションシステムの設定経路上に事故が発生しているとの情報を提供し、当該事故を避けるように設定経路を変更するように促すこととしてもよい。

また、例えば、情報コンテンツに基づいて、ナビゲーションシステムの設定経路の近傍において、例えば花火のような「イベント（催事）」が催されているとの情報を提供し、当該設定経路を当該「イベント（催事）」が行われている場所を通過するような変更を促すこととしてもよい。なお、「イベント（催事）」による混雑及び渋滞等を見込んで、当該「イベント（催事）」が行われている場所を回避するような設定経路の変更を促すこととしてもよい。

上述の情報システム２００、端末装置１０及びサーバ５０によれば、移動体の移動経路上の不特定の位置、例えば、狭い道や交通量の少ない道等、情報収集装置の未設置の経路を含む場所において発生した事象に関する画像を含む情報を収集することが可能である。さらには、当該収集した情報を、他の移動体に配信することが可能である。

また、情報システム２００、端末装置１０及びサーバ５０によれば、移動体の搭乗者に異変等の状態変化に基づいて当該状態変化時に撮影された画像を含む情報を生成し、かつ当該画像を含む情報を解析して有用または有意な情報を選別して配信することで、必要な情報のみを効率よく配信することが可能である。

また、情報システム２００、端末装置１０及びサーバ５０によれば、移動体において撮影されて送信された事象に関する画像を解析し、どのような事象が発生しているかに関する情報を含む情報を配信可能である。これにより、発生している事象に関する詳細な情報を、自動車等の他の移動体に配信可能である。

以下に、実施例３のシステム３００について図１０を参照して説明する。図１０に示すように、システム３００においては、実施例１及び２において、端末装置１０側に設けられていた搭乗者監視部２５及び画像抽出部２７が搭乗者監視部２５Ｓ及び画像抽出部２７Ｓとして、サーバ５０側に設けられている。すなわち、端末装置１０側での処理をサーバ側に負担させるいわゆるクラウド構成になっている。

システム３００において、車外撮影カメラ１１、車内撮影カメラ１３及びマイク１５の画像及び音声、並びに自位置特定部２９からの位置特定情報は、情報送信部３１によってネットワークＮＷを介してサーバ５０に常時送信されている。送信された画像及び音声は、サーバ５０の情報受信部５１に受信される。なお、上記画像及び音声並びに位置特定情報は、複数の自動車Ｍに各々搭載されている複数の端末装置１０から到来する。

受信された画像及び音声は、車内撮影カメラ１３及びマイク１５の画像及び音声が搭乗者監視部２５Ｓへ、車外撮影カメラ１１の画像及び自位置特定部２９からの位置特定情報が画像抽出部２７Ｓにそれぞれ送信される。この送信において、上記画像及び音声並びに位置特定情報は、送信元の自動車Ｍ毎に識別できる態様で送信されてもよい。

システム３００において、搭乗者監視部２５Ｓは、例えば、図４に示す実施例１の搭乗者監視部２５と同様の動作ルーチンを実行して、搭乗者の状態を監視する。また、画像抽出部２７Ｓは、例えば、図５に示す実施例１の画像抽出部２７と同様の動作ルーチンを実行する。なお、画像抽出部２７Ｓは、図５のステップＳ３において、抽出した事象画像と共に、事象画像の撮影時刻及び位置特定情報をコンテンツ選別部５３に送信する。

コンテンツ選別部５３は、例えば、上記実施例１または２と同様の動作ルーチン（例えば、図７または図９に示す動作ルーチン）を実行し、端末装置１０に送信すべき情報コンテンツを選別する。その後、当該選別された情報コンテンツが情報送信部５９から送信される。

当該送信された情報コンテンツは、情報受信部３３によって受信される。情報受信部３３は、例えば、上記実施例１または２と同様の動作ルーチン（例えば、図８に示す動作ルーチン）を実行する。情報受信部３３は、実施例１または２に記載の態様と同様の態様で、必要に応じてディスプレイ１９に情報を表示する。

実施例３のシステム３００によれば、上記実施例１または２の利点に加えて、端末装置１０の処理負担を低減し、端末装置１０の消費電力を減少させることが可能である。また、端末装置１０を小型化することも可能である。

上述の実施例においては、車外撮影カメラ１１について広角カメラを一例に挙げたが、他の様々なカメラも使用可能である。例えば、角度調整可能な載置台に設けられ、撮影方向を変更可能なカメラを用いてもよい。この場合には、搭乗者監視部２５によって送信された状態変化検知情報内の注視方向情報に基づいて、車外撮影カメラ１１の撮影方向を注視方向に変更して撮影を行い、当該撮影された画像の一部または全部を事象画像としてもよい。

また、上述の実施例においては、搭乗者監視部２５は、搭乗者状態情報収集部としての車内撮影カメラ１３の画像及びマイク１５の音声から車内の搭乗者に状態変化が発生したことを判定することとしたが、これ以外の情報を用いて判定を行ってもよい。

例えば、搭乗者状態情報収集部として、搭乗者の生体情報（バイタルサイン）を検出する生体センサを設け、当該生体センサからの情報（例えば心拍数または血圧の変化）に基づいて、車内の搭乗者に状態変化が発生したことを判定し、状態変化検知情報を送信してもよい。この生体センサは、例えば、搭乗者に装着してもよいし、ハンドル、シート及びシートベルトに設けてもよい。

また、搭乗者状態情報収集部として、自動車Ｍに対する操縦操作に関する情報を収集する手段を備えても良い。この場合、搭乗者監視部２５は、急加速、急ブレーキ、急ハンドル等の操作を検知して、これらに基づいて状態変化検知情報を送信してもよい。

また、不要な状態変化の検知を低減するために、例えば、シフトレバーがバック位置に移動された際には、当該状況を考慮して状態変化を検知してもよい。例えば、シフトレバーがバック位置に移動した際には、自動車Ｍの後方への注視は、状態変化として検知しなくともよい。

また、上述の実施例においては、端末装置１０が告知手段としてディスプレイ１９を有するとしたが、告知手段としてスピーカを含んでいてもよい。この場合、ディスプレイ１９による表示及びスピーカによる音声によって情報コンテンツに基づく告知が行われてもよい。

また、音声のみによって情報コンテンツに基づく告知が行われてもよい。音声のみによる告知の場合、情報コンテンツに含まれる位置特定情報、すなわち事象の発生位置、事象の発生時刻及び事象の内容が音声告知されてもよい。

また、上述の実施例においては、コンテンツ選別部５３が、当該近傍コンテンツの中から１つの情報コンテンツを代表コンテンツとして選別するとしたが、複数の情報コンテンツが代表コンテンツとして選別されてもよい。この場合、例えば、含まれる事象画像が鮮明な順に複数の情報コンテンツが代表コンテンツとして選別されてもよい。

また、上述の実施例においては、端末装置１０が情報受信部３３及びティスプレイ１９を有することとしたが、端末装置１０は、情報受信部３３及びディスプレイ１９を含まなくともよい。すなわち、端末装置１０がサーバ５０へ情報を送信するのみの情報収集装置であってもよい。

また、上述の実施例においては、代表コンテンツを全ての移動体Ｍに送信する場合を例に説明したが、代表コンテンツを一部の自動車Ｍに送信することとしてもよい。例えば、個々の自動車Ｍの位置情報をサーバ５０が保有しており、代表コンテンツが含んでいる位置特定情報が示す位置の近傍、すなわち位置特定情報が示す位置から一定距離内に位置する自動車Ｍのみに送信することとしてもよい。

また、上述の実施例において、情報コンテンツは自動車Ｍの位置情報を示す位置特定情報を含むとしたが、位置特定情報は含まれなくともよい。この場合、サーバ５０が、自動車Ｍからの無線通信が移動体通信網のいずれの基地局を介しているか等の情報から自動車Ｍの位置を特定することとしてもよい。また、情報コンテンツに含まれる事象画像から、当該事象画像の位置が特定されてもよい。

また、代表コンテンツが含んでいる位置特定情報が示す位置に向かった場合の、当該位置特定情報が示す位置への到達時間が、一定時間内である位置に存在している自動車Ｍのみに代表コンテンツを送信することとしてもよい。

また、サーバ５０からの情報コンテンツは、例えば、スマートフォン、タブレット、ＰＤＡ及びパーソナルコンピュータ等の端末装置１０以外の機器によって受信可能であっても良い。

また、上記実施例においては、端末装置１０を移動体の一例としての自動車Ｍに搭載した場合を例に説明したが、移動体は自動車に限られない。例えば、端末装置１０が搭載される移動体は、船舶、飛行機、バイク、自転車等であってもよい。

なお、徒歩で移動する人が端末装置１０を保持して移動し、端末装置１０が情報コンテンツをサーバ５０に送信することとしてもよい。この際、端末装置１０の搭乗者撮影手段としての車内カメラは、移動する本人を撮影するカメラとなる。

例えば、端末装置１０をスマートフォンまたはタブレットで実現することとしてもよい。その場合には、スマートフォンまたはタブレットの内側カメラが実施例１乃至３において説明した車内撮影カメラに対応し、外側カメラが実施例１乃至３において説明した車外撮影カメラに対応することとしてもよい。

また、上記実施例においては、端末装置１０とサーバ５０の構成を図３及び図１０に例示して説明したが、端末装置１０とサーバ５０の構成はこの例に限られない。例えば、搭乗者監視部２５，２５Ｓ、画像抽出部２７，２７Ｓ、コンテンツ選別部５３は端末装置１０及びサーバ５０のどちらに配されていてもよい。

上述した実施例における種々の構成、ルーチン等は例示に過ぎず、用途等に応じて適宜選択することができる。

１００、２００、３００ 情報収集システム
１０ 端末装置
１１ 車外撮影カメラ
１３ 車内撮影カメラ
１５ マイク
１７ ＧＰＳ受信機
１９ ディスプレイ
２１ 本体
２３ 制御部
２５、２５Ｓ 搭乗者監視部
２７、２７Ｓ 画像抽出部
２９ 自位置特定部
３１ 情報送信部
３３ 情報受信部
５０ サーバ
５１ 情報受信部
５３ コンテンツ選別部
５５ コンテンツ有用度判定部
５７ 代表コンテンツ選択部
５９ 情報送信部

Claims (1)

1. 移動体の搭乗者の状態を搭乗者状態情報として収集する搭乗者状態情報収集部と、
   前記搭乗者状態情報に基づいて、前記搭乗者の状態変化を検知し、状態変化検知情報を生成する状態変化検知部と、
   前記移動体の外部を撮影して撮影画像を生成する外部撮影部と、
   前記状態変化検知情報に応じて前記撮影画像を含む外部状況情報を生成して前記外部状況情報を、通信路を介して送信する外部状況情報送信部と、
   を含むことを特徴とする情報収集装置。

Images