《第1の実施形態》
以下、第1の実施形態に係る情報処理システムについて、図1〜図5に基づいて、詳細に説明する。図1には、本第1の実施形態にかかる情報処理システム100の構成がブロック図にて示されている。
情報処理システム100は、図1に示すように、装着装置10と、サーバ30と、を備える(利用する)。装着装置10は、ユーザが身体(顔)に装着する眼鏡型の端末である。また、サーバ30は、装着装置10を装着したユーザが自転車や自動車を運転している間に装着装置10において取得されるデータを受信し、該データに基づいた処理を実行する。なお、サーバ30は、複数の装着装置10と通信可能であるものとする。
(装着装置10)
装着装置10は、図1に示すように、撮像部11と、表示部12と、操作部13と、マイク14と、スピーカ15と、記憶部16と、制御部17と、通信部18と、位置検出部19と、速度検出部20と、を備える。なお、図2には、装着装置10が斜視図にて示されている。図2に示すように、装着装置10は、眼鏡型のフレーム120を備える。なお、図1において図示され、図2において図示されていない装着装置10の構成は、フレーム120の内部や、フレーム120の一部に設けられているものとする。
撮像部11は、レンズ、撮像素子、画像処理部などを備え、静止画や動画を撮像するものである。撮像部11は、図2に示すようにフレーム120の端部近傍(ユーザの右目近傍)に設けられている。このため、ユーザが装着装置10を装着した状態では、ユーザが向いている(見ている)方向の画像を撮像することができる。
表示部12は、フレーム120内部又はフレーム120近傍に設けられたプロジェクタと、プロジェクタからの投影像をユーザの目に導くためのプリズムとを有している。すなわち、表示部12は、ユーザの視界に重畳するように画像等を表示できるようになっている。なお、図2に示す表示部12は一例であって、大きさやデザインは適宜変更することができる。表示部12は、制御部17の指示の下、各種情報を表示する。
操作部13は、フレーム120に設けられたタッチパッドであり、ユーザの指の動きを検知して、ユーザからの操作を受け付け、受け付けた操作情報を制御部17に送信する。なお、撮像部11、表示部12、及び操作部13などについては、例えば米国特許出願公開第2013/0044042号明細書にもその詳細が開示されている。
マイク14は、フレーム120に設けられ、ユーザ周囲の音声及びユーザが発した音声を収集する音声収集装置である。
スピーカ15は、例えば、フレーム120に設けられ、制御部17の制御の下、音声を出力する音声出力装置である。なお、スピーカ15としては、イヤホンやヘッドホンのほか、指向性があり、主に装着装置10を装着するユーザの耳に向けて音声情報を提供することが可能なスピーカなどを採用することができる。
記憶部16は、例えば、フラッシュメモリ等の不揮発性の半導体メモリであり、撮像部11が撮像した画像や、表示部12に表示する表示データ、スピーカ15から出力する音声などを記憶する。
制御部17は、装着装置10全体を統括的に制御する。制御部17は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を備える。制御部17は、装着装置10の各部の制御のほか、画像認識処理や音声認識処理も実行する。画像認識処理においては、装着装置10の撮像部11が撮像した画像の特徴点を、例えばSURF(Speeded Up Robust Features)やSIFT(Scale Invariant Feature Transform)といった特徴量検出アルゴリズムにより抽出し、インターネット上のデータベースなどから取得可能な複数の標準パターンと比較する。また、音声認識処理においては、マイク14が収集した音声を音声認識する。
通信部18は、他の機器(サーバ30等)と無線通信(携帯電話回線や無線LAN(Local Area Network)等を用いた通信)を行う。
位置検出部19は、例えば、GPS(Global Positioning System)モジュールを含み、装着装置10の位置(例えば緯度及び経度)を検出し、制御部17に出力する。なお、位置検出部19は、公衆回線の基地局との通信状態に基づいて位置を検出するものであってもよい。
速度検出部20は、例えば不図示の速度計や加速度計の測定結果から、ユーザの移動速度を検出する。ただし、これに限らず、速度検出部20は、撮像部11において撮像された複数枚の画像データに基づいて、装着装置10の移動速度を検出することとしてもよい。
(サーバ30)
サーバ30は、図1に示すように、通信部31と、記憶部32と、報知部33と、制御部35と、を備える。
通信部31は、装着装置10の通信部18と無線通信を行う。記憶部32は、例えば、フラッシュメモリ等の不揮発性の半導体メモリであり、図4に示す事故DB72などを記憶する。ここで、事故DB72は、装着装置10を装着しながら自転車等を運転していたユーザが事故にあった場合の、事故直前の情報や、ユーザの情報を格納するデータベースである。具体的には、事故DB72は、図4に示すように、事故ID、ユーザID、性別、年齢、画像データ、移動速度、位置情報、日時の各フィールドを有する。事故IDのフィールドには、過去に起きた事故の識別番号が格納される。ユーザIDのフィールドには、ユーザの識別情報が格納される。性別のフィールドには、ユーザの性別(男又は女)が格納される。年齢のフィールドには、ユーザの年齢が格納される。画像データのフィールドには、事故にあったユーザが装着していた装着装置10の撮像部11が事故直前(所定時間前)に撮像した画像データが格納される。移動速度のフィールドには、事故にあったユーザが装着していた装着装置10の事故直前(所定時間前)における移動速度の情報が格納される。位置情報のフィールドには、撮像部11が画像データを撮像した位置の情報が格納される。日時のフィールドには、画像データを撮像した日時の情報が格納される。
図1に戻り、報知部33は、装着装置10を装着するユーザが事故にあう可能性が高いと制御部35が判断した場合に、通信部31を介して、装着装置10に対してその旨を報知する。
制御部35は、サーバ30全体を統括的に制御する。制御部35は、CPU、RAM、ROM等を備える。
(処理について)
次に、図5に基づいて、サーバ30の処理について詳細に説明する。なお、ユーザは、図3に示すように装着装置10を装着して自転車等(本実施形態では自転車とする)を運転する際のアシストサービスを受ける契約を、サーバ30を所有する会社等との間で結んでいるものとする。この場合、ユーザは、サーバ30を所有する会社等に対し、装着装置10において得られたデータの利用を許可しているものとする。また、ユーザは、アシストサービスを受ける際に、操作部13やマイク14等を用いて、制御部17に対してサービス開始要求を入力するものとする。なお、サーバ30は、ハンドルと装着装置10との間で人体通信が成立した場合に、サービスを開始することとしてもよい。
図5の処理では、まず、ステップS10において、制御部35が、通信部31と、装着装置10の通信部18との間の通信が成立するまで待機する。この場合、装着装置10においてユーザがサービス開始要求を入力した段階で、制御部17の制御の下、通信部18と通信部31との間の通信が成立するものとする。
次いで、ステップS12では、制御部35は、通信部31を介して、装着装置10から、撮像部11により撮像される画像データ、速度検出部20が検出した移動速度、位置検出部19において検出される位置情報を取得する。なお、ステップS10の処理は、定期的に(所定時間間隔で)行われる。
次いで、ステップS14では、制御部35は、取得した情報に基づいて事故の発生可能性を判定する。この場合、制御部35は、記憶部32に記憶されている事故DB72を参照する。具体的には、制御部35は、撮像位置がステップS12で取得した位置情報と同一又は類似する画像データを事故DB72から抽出し、抽出した画像データとステップS12で取得した画像データとの類似度(物体の存在有無、物体の形状や位置の類似度等から算出)や、移動速度の類似度に基づいて算出する。
次いで、ステップS16では、制御部35は、ステップS14の判定の結果、事故が発生する可能性が高いか否かを判断する。例えば、制御部35は、ステップS14で判定された事故の発生可能性が所定の閾値よりも高い場合に、ステップS16の判断が肯定される。
ステップS16の判断が肯定された場合には、ステップS18に移行し、制御部35は、報知部33を介して、装着装置10に事故の発生可能性が高いことを報知する。装着装置10では、表示部12やスピーカ15を用いて、“事故発生の可能性が高いです。スピードを抑え、周囲の状況を十分に確認してください。”などの情報を報知する。これにより、過去の事故事例に似た状況であっても、ユーザが注意を払うことで、事故の発生を抑制することが可能となる。その後は、ステップS20に移行する。一方、ステップS16の判断が否定された場合には、ステップS18を経ずに、ステップS20に移行する。
ステップS20に移行すると、制御部35は、実際に事故が発生したか否かを判断する。この場合、制御部35は、例えば、画像データにおいて事故の現場が撮像された場合や、移動速度が急激に変化した場合(急停止した場合など)や、音声データを取得した結果、事故に関連する音声データ(衝突音や、大声、“痛い”などの音声)が含まれていた場合等において、事故が発生したと判断する。
ステップS20の判断が否定された場合には、ステップS10に戻るが、肯定された場合には、ステップS22に移行する。ステップS22に移行すると、制御部35は、事故が起こった直前(所定時間前)に装着装置10から取得された情報(画像データ、移動速度、位置情報)を事故DB72に記憶する。なお、情報の記憶に際しては、制御部35は、ユーザID、性別、年齢、日時についても事故DB72の各フィールドに格納するものとする。その後はステップS10に戻る。
その後は、ステップS10〜S22の処理・判断を繰り返し実行する。
以上、詳細に説明したように、本第1の実施形態によると、制御部35は、ユーザに装着された装着装置10が有する撮像部11により撮像された画像データと、装着装置10が有する速度検出部20により検出された移動速度と、を通信部31を介して取得し、取得した情報と、過去の事故事例が発生した際の画像データ及び移動速度とを記憶する事故DB72とに基づいて、ユーザの事故の発生可能性を判定し、判定結果に基づいて、報知部33を介して装着装置10に報知する。これにより、ユーザは、報知により、現在の状態が事故発生の可能性が高い状態であるかどうかを認識することができるので、ユーザが注意を払うことで、事故の発生を未然に防ぐことができる。また、本第1の実施形態では、過去の事故事例を格納する事故DB72に基づいて、現在の状態と過去の事故事例との類似度を判定し、事故発生可能性を判断するので、過去の事故事例に基づいて高精度な事故発生確率の判定を行うことが可能となる。
また、本第1の実施形態では、制御部35は、通信部18を介して、装着装置10の位置情報を取得し、事故DB72に記憶されている事故事例の情報のうち、位置情報が同一又は類似する事故事例の情報に基づいて、事故発生可能性を判断する。これにより、同一又は類似する位置において過去に発生した事故の画像データや移動速度を用いることで、事故発生可能性を高精度に判断することができる。
なお、上記第1の実施形態では、制御部35が装着装置10から取得する物理量がユーザの移動速度である場合について説明したが、これに限られるものではない。例えば、マイク14において取得される音声データ(音量や発生内容)、不図示の視線検出部により検出されるユーザの視線検出結果(視線の移動方向や移動速度など)、不図示の生体情報検出部により検出されたユーザの生体情報(脈拍や血圧、発汗量など)、を物理量として、制御部35が取得することとしてもよい。
なお、上記第1の実施形態では、制御部35が、事故の発生可能性を判定する場合について説明したが、これに限らず、その他の事故に関する状態(例えば、事故が起こった場合の重大度など)を判定することとしてもよい。
なお、上記第1の実施形態では、制御部35は、事故の発生可能性を判定する際に、ユーザの性別や年齢を考慮してもよい。例えば、制御部35は、性別や年齢が類似するユーザの事故情報のみを用いて、事故の発生可能性を判定してもよい。あるいは、性別や年齢を用いて、ステップS14で事故の発生可能性を補正してもよい。
なお、装着装置10は、眼鏡型の端末ではなくてもよい。例えば、体の任意の位置に装着可能な装着型端末であってもよく、その機能の一部が分離していてもよい。一例を挙げると、表示部を備えたコンタクトレンズ型の端末として、他の機能を腕時計型の端末に持たせるようにしてもよい。
なお、上記第1の実施形態では、装着装置10を装着するユーザが自転車を運転する例について説明したが、これに限らず、装着装置10を装着するユーザが自動車等のその他の車両を運転する場合に、図5の処理が行われることとしてもよい。
なお、上記第1の実施形態では、装着装置10に代えて、自転車や自動車に設置される装置(車載装置)を用いてもよい。この場合、車載装置が、図1の装着装置10と同様の構成を有し、画像データや物理量(移動速度など)をサーバ30に送信するようにすればよい。この場合、車載装置は、カーナビゲーションシステムや、サイクルメータ等であってもよいし、スマートフォンなどの携帯型の端末であってもよい。車載装置は、車両に対して着脱自在であってもよいし、着脱できなくてもよい。
なお、上記第1の実施形態では、サーバ30に対して画像データや移動速度のデータを送信してきた装置(装着装置10)に対して、事故に関する報知を行う場合について説明したが、これに限られるものではない。例えば、データを送信した装置(装着装置10)と対応する機器(例えば、装着装置10と予めペアリングされた端末)に対して報知を行うこととしてもよい。対応する機器は、腕時計型の端末のように、ユーザが装着していてもよいし、上述した車載装置であってもよい。なお、ペアリングは、例えば装着装置10と対応する機器とを接触させたり、近接させたりして、両者の間で近接通信を成立させることで行うこととしてもよい。なお、本実施形態においてペアリングとは、複数の装置間の協働処理を実行され得る状態にすることである。
なお、事故DB72にデータが蓄積されると、事故の傾向が分かってくるので、ある道路を走行するユーザに対して、走行する道路の事故の傾向を予め通知するようにしてもよい。
(変形例1)
なお、上記第1の実施形態と併せて、又は上記第1の実施形態に代えて、制御部35(又は制御部17)が図6の処理を行うこととしてもよい。なお、以下の図6の説明においては、制御主体が制御部35である場合について説明する。
図6の処理では、まず、ステップS30において、制御部35が、走行位置、走行速度を確認する。この場合、制御部35は、位置検出部19において検出された走行位置の情報、及び速度検出部20において検出された走行速度の情報を装着装置10から取得する。
次いで、ステップS32では、制御部35が、走行禁止場所又は制限速度以上か否かを判断する。この場合、制御部35は、不図示の走行禁止場所を定義するデータベースや、道路ごとに制限速度を定義するデータベースを参照し、現在の走行位置が走行禁止場所でないかどうか、及び現在の走行速度が制限速度以上でないかどうかを判断する。ここでの判断が否定された場合には、ステップS30に戻るが、肯定された場合には、ステップS34に移行する。
ステップS34に移行した場合、制御部35は、報知部33を介して装着装置10に対して報知する。装着装置10の制御部17は、ユーザが走行禁止場所を走行していることや制限速度以上であることを表示部12やスピーカ15から出力する。ステップS34の後は、ステップS30に戻り、制御部35は、図6の処理を繰り返し実行する。
以上のように、図6の処理が実行されることで、ユーザは、標識等を確認しなかった場合でも、装着装置10からの報知により、走行禁止場所を走行していることや制限速度以上で走行していることを認知することができる。これにより、ユーザが法令違反している状態を長期間継続するのを抑制することができる。
(変形例2)
なお、上記第1の実施形態や変形例1と併せて、又は上記第1の実施形態や変形例1に代えて、制御部35が図7の処理を行うこととしてもよい。なお、図7の処理の前提として、街中の各所には、定点カメラが設けられており、各定点カメラとサーバ30とは、通信が可能であるものとする。定点カメラは、サーバ30からの要求に応じて、撮像した画像データをサーバ30に送信するものとする。
図7の処理では、ステップS40において、制御部35が、ユーザの走行位置の確認を行う。具体的には、制御部35は、位置検出部19において検出された走行位置の情報を装着装置10から取得する。
次いで、ステップS42では、制御部35が、ユーザの前方(走行方向前方)に死角があるか否かを判断する。なお、制御部35は、ユーザの移動方向については、ステップS40において取得された走行位置の変化に基づいて検出することができる。なお、サーバ30の記憶部32には、街中のどこに死角が存在しているかを定めたデータベースが記憶されているものとし、制御部35は、当該データベースを用いて、ユーザの前方に死角があるか否かを判断するものとする。ステップS42の判断が否定された場合には、ステップS40に戻るが、肯定された場合には、ステップS44に移行する。
ステップS44に移行すると、制御部35は、ステップS42において特定された死角を撮像する画像データを定点カメラから取得する。例えば、制御部35は、ユーザの前方に死角として曲がり角があると特定した場合には、曲がり角の先を撮像する定点カメラから画像データを取得する。
次いで、ステップS46では、制御部35が、危険が存在するか否かを判断する。例えば、制御部35が、定点カメラから取得した画像データを検証した結果、ユーザの方向に向かって自動車が移動していたり、曲がり角の先で子供が遊んでいたとする。この場合、制御部35は、死角に危険が存在すると判断する。
ステップS46の判断が肯定された場合には、ステップS48において、制御部35が、装着装置10に対して報知を行う。この場合、装着装置10の制御部17は、表示部12やスピーカ15を用いて、死角に危険が存在することを出力する。その後は、ステップS40に戻る。一方、ステップS46の判断が否定された場合(死角に危険が存在しない場合)には、ステップS40に戻る。その後は、図7の処理が繰り返し実行される。
以上のように、図7の処理が実行されることにより、ユーザに対して、死角に危険が存在することを報知することができるので、ユーザが報知に従って注意を払うことで事故の発生を未然に防止することができる。
《第2の実施形態》
次に、第2の実施形態にかかる情報処理システム200について、図8〜図12に基づいて、詳細に説明する。なお、第2の実施形態では、情報処理システム200のサーバ130が、公共交通機関におけるマナー違反の情報を収集し、収集した情報に基づく処理を実行する。
図8には、情報処理システム200の構成がブロック図にて示されている。図8に示すように、装着装置110と、サーバ130と、出入り口装置40と、を備える(利用する)。なお、図9には、出入り口装置40の設置例を示している。
装着装置110は、第1の実施形態で説明した装着装置10(図1参照)と同一の構成の他、外部表示部21、姿勢センサ22を備える。また、通信部18に代えて、第1通信部18A、第2通信部18Bを備える。外部表示部21は、装着装置110の撮像部11において撮像処理が行われていることを周囲の人に通知するための表示部である。外部表示部21は、例えばパイロットランプ等である。姿勢センサ22は、例えば互いに直交する3軸方向に感度を有する加速度センサであり、装着装置110の姿勢を検出するセンサである。制御部17は、姿勢センサ22において装着装置110が所定の姿勢であることが検出され、かつ撮像部11が撮像処理を行っている場合に外部表示部21を用いた表示(例えばパイロットランプの点灯)を行う。第1通信部18Aは、出入り口装置40との間でBluetooth(登録商標)、RFID(Radio Frequency Identification)、TransferJet(登録商標)などの近接通信を行う。第2通信部18Bは、サーバ130の通信部31との間で無線通信を行う。
サーバ130は、公共交通機関を運営する会社等で管理されているサーバであり、第1の実施形態で説明したサーバ30(図1参照)と同一の構成を備える。なお、図8では、報知部33の図示を省略しているが、サーバ130は、報知部33を有していてもよいし、有していなくてもよい。サーバ130が有する記憶部32には、図10(a)のマナー違反収集DB74や、図10(b)のユーザ毎違反DB76が格納されている。
マナー違反収集DB74は、図10(a)に示すように、公共交通機関の車両(電車やバスなどであり、本実施形態では電車であるものとする)内において行われたマナー違反を格納する「マナー違反項目」、ある車両における「違反人数」及び「乗車人数」、マナー違反したユーザのIDである「違反ユーザID」の各フィールドを有する。サーバ130の制御部35は、装着装置110や出入り口装置40から取得した情報に基づいて、マナー違反収集DB74を更新する。なお、マナー違反収集DB74は、車両ごとに用意されているものとする。
ユーザ毎違反DB76は、図10(b)に示すように、「ユーザID」と、ユーザが違反したマナーの種類と日時を示す「違反履歴」のフィールドを有する。サーバ130の制御部35は、マナー違反収集DB74が更新される毎、又は所定時間毎に、マナー違反収集DB74に基づいてユーザ毎違反DB76を更新する。
出入り口装置40は、例えば、図9に示すように、電車の出入り口近傍に設けられる装置である。出入り口装置40は、図8に示すように、第1通信部41Aと、第2通信部41Bと、撮像部42と、記憶部43と、制御部45と、を備える。
第1通信部41Aは、電車の出入り口を通過した装着装置110の第1通信部18Aと近接通信を行う。なお、第1通信部41Aと装着装置110の第1通信部18Aとは、人体を介した人体通信を行うこととしてもよい。なお、人体通信には、人体に微弱な電流を流して、その電流を変調して情報を伝達する電流方式や、人体の表面に有機する電界を変調して情報を伝達する電界方式などがあるが、いずれのタイプを用いることとしてもよい。第1通信部41Aは、近接通信を行った装着装置110の情報(装着装置110を利用するユーザのユーザID)を制御部45に対して送信する。なお、第1通信部41Aは、装着装置110の第1通信部18Aの他に、例えば、IC乗車券(ICカード)と近接通信や人体通信を行うこととしてもよい。
第2通信部41Bは、サーバ130の通信部31との間で無線通信を行う。第2通信部41Bは、制御部45の指示の下、図10(c)に示すようなユーザ情報をサーバ130に対して送信する。図10(c)のユーザ情報においては、第1通信部41Aを介して制御部45が取得したユーザIDと、撮像部42が撮像したユーザの顔画像データとが関連付けられている。
撮像部42は、電車の出入り口を通過する人の顔を撮像し、撮像した顔画像データを制御部45に送信する。なお、図9では、撮像部42は、出入り口装置40の他の構成とは分離した状態となっているが、これに限らず、一体型であってもよい。
記憶部43は、例えば、フラッシュメモリ等の不揮発性の半導体メモリであり、出入り口装置40の各種処理に必要なデータや、各種処理において取得したデータ等を記憶する。
制御部45は、出入り口装置40全体を統括的に制御する。制御部45は、CPU、RAM、ROM等を備える。
次に、本第2の実施形態における処理について、図11、図12のフローチャートに沿って詳細に説明する。図11は、装着装置110の処理を示すフローチャートであり、図12は、サーバ130の処理を示すフローチャートである。
(装着装置110の処理)
以下、装着装置110の処理について、説明する。なお、図11の処理の前提として、装着装置110を装着したユーザは、電車内には乗っていないものとする。
図11の処理では、まず、ステップS100において、制御部17が、出入り口装置40との近接通信が成立するまで待機する。すなわち、装着装置110を装着したユーザが出入り口を通って電車に乗り、装着装置110の第1通信部18Aと出入り口装置40の第1通信部41Aとが近接通信を行った段階で、制御部17は、ステップS102に移行する。
なお、出入り口装置40では、近接通信が成立した段階で、出入り口を通過したユーザの顔を撮像し、当該顔画像と近接通信により得られたユーザIDとを関連付けたユーザ情報(図10(c))をサーバ130に送信するものとする。
次いで、ステップS102では、制御部17が、サーバ130との通信を開始する。具体的には、制御部17は、第2通信部18Bと通信部31とを介して、制御部35と無線通信を開始する。
次いで、ステップS104では、制御部17が、データ収集開始指示があるまで待機する。ユーザは、例えば、電車内でマナー違反している人を発見した場合に、操作部13等を介してサーバ130に報告する旨の入力を行う。この入力は、データ収集開始指示を意味する。したがって、ユーザから当該入力があった場合には、制御部17は、ステップS106に移行する。
ステップS106に移行すると、制御部17は、撮像部11を用いた撮像及びサーバ130への画像データの送信を開始する。なお、制御部17は、サーバ130に送信した画像データを記憶部16に蓄積せずに、破棄するものとする。これにより、サーバ130に送信した画像データが記憶部16の記憶容量を圧迫するのを抑制することができる。
次いで、ステップS108では、制御部17が、姿勢センサ22の検出結果に基づいて、装着装置110の姿勢(撮像部11の姿勢)が所定の姿勢か否かを判断する。例えば、装着装置110の姿勢が盗撮を疑われるような姿勢である場合に、ステップS108の判断が肯定される。ステップS108の判断が肯定された場合には、ステップS110に移行する。一方、ステップS108の判断が否定された場合には、ステップS112に移行する。
ステップS108の判断が肯定され、ステップS110に移行した場合、制御部17は、外部表示部21に撮像中である旨を表示する。例えば、外部表示部21がパイロットランプであれば、当該パイロットランプを点灯する。その後は、ステップS112に移行する。
ステップS108の判断が否定された後、又はステップS110の処理が行われた後、ステップS112に移行すると、制御部17は、出入り口装置40との近接通信が成立したか否かを判断する。このステップS112の判断が否定された場合には、ステップS108に戻るが、肯定された場合には、ステップS114に移行する。なお、ステップS112の判断が肯定される場合とは、装着装置110を装着したユーザが電車を降りた場合である。
ステップS114に移行すると、制御部17は、サーバ130との通信を終了し、図11の全処理を終了する。なお、ステップS114においては、制御部17は、撮像部11による撮像についても終了する。
以上のように、図11の処理が行われることにより、装着装置110では、電車に乗ったユーザがマナー違反をしている人を報告したいと判断した場合に、撮像を開始するとともに、撮像した画像をサーバ130に送信することができる。また、撮像中に、装着装置110の姿勢が所定の姿勢になった場合に、外部表示部21に表示を行うので、盗撮が疑われるのを抑制することができる。
なお、図11においては、ステップS114が行われた段階で、撮像部11による撮像を終了する場合について説明したが、これに限らず、ユーザから撮像を終了する旨が入力された場合に、撮像部11による撮像を終了することとしてもよい。
(サーバ130の処理)
次に、サーバ130の処理について、図12のフローチャートに沿って詳細に説明する。
図12の処理では、まず、ステップS120において、制御部35が、出入り口装置40からユーザ情報を受信したか否かを判断する。前述のように、出入り口装置40の制御部45は、装着装置110との通信が成立した場合に、装着装置110からユーザIDを取得するとともに、撮像部42を用いて撮像したユーザの顔画像データを取得する。そして、制御部45は、ユーザIDと顔画像データとを関連付けたユーザ情報(図10(c)参照)をサーバ130に対して送信する。このように、制御部45が送信したユーザ情報を、サーバ130の制御部35が受信した場合には、ステップS120の判断が肯定されてステップS122に移行するが、ステップS120の判断が否定された場合には、ステップS124に移行する。
ステップS120の判断が肯定されてステップS122に移行すると、制御部35は、ユーザ情報を登録(記憶部32に記憶)するとともに、図10(a)に示すマナー違反収集DB74の乗車人数をカウントアップする。
次いで、ステップS124では、制御部35が、画像データを受信したか否かを判断する。この場合、装着装置110において図11のステップS106の処理が実行されていれば、ステップS124の判断が肯定され、ステップS126に移行する。一方、ステップS124の判断が否定された場合には、ステップS130に移行する。
ステップS124の判断が肯定され、ステップS126に移行すると、制御部35は、マナー違反しているユーザを特定し、マナー違反収集DB74に記憶する。この場合、制御部35は、装着装置110から受信した画像データの中に、携帯電話で通話している人や、新聞などを大きく広げている人、大きな荷物により席等を占領している人、傘や杖などの近傍で困った顔をしている人等がいるかどうかを、マナー違反を示す基準画像とのテンプレートマッチング等により判定する。そして、制御部35は、画像データ中において上記のような人が存在していた場合には、記憶部32に記憶されているユーザ情報(図10(c))に基づいて、マナー違反している人の顔画像から当該人のユーザIDを特定する。また、制御部35は、特定したユーザIDをマナー違反項目と関連付けて、マナー違反収集DB74に登録する。更に、制御部35は、マナー違反収集DB74の違反人数をカウントアップする。
次いで、ステップS128では、制御部35が、ユーザ毎違反DB76にマナー違反収集DB74に記憶したデータを反映させる。例えば、ステップS126において、図10(a)のマナー違反項目“携帯電話での通話”に違反ユーザIDとして“001”を記憶した場合には、制御部35は、図10(b)のユーザ毎違反DB76においてユーザID“001”の違反履歴として“携帯電話での通話”及び本日の日付“20150105”を記憶する。その後は、ステップS130に移行する。
ステップS124の判断が否定された後、又はステップS126、S128の処理を行った後、ステップS130に移行すると、制御部35は、マナー違反収集DB74及び/又はユーザ毎違反DB76に基づく報知を行うべきか否かを判断する。このステップS130の判断が否定された場合には、ステップS120に戻るが、肯定された場合には、ステップS132において、制御部35が、報知処理を行った後、ステップS120に戻る。
ここで、ステップS130、S132の具体例について、詳細に説明する。例えば、ある時間のある車両において特定のマナー違反が多いという傾向がある場合には、制御部35は、特定のマナー違反に関する車内放送を行ったり、車内の電光掲示板を用いて特定のマナー違反に関する報知を行うよう、鉄道会社の担当者の端末に通知する。なお、マナー違反の傾向については、年齢毎、性別毎、曜日毎などに区分けして特定してもよい。また、例えば、特定の個人のマナー違反回数が多い場合には、制御部35は、その旨を当該個人が所有する端末(例えば装着装置110など)から通知する。また、マナー違反回数が多い人が電車に乗った場合に、車掌の端末等にその旨を通知し、注意を喚起してもよい。なお、マナー違反以外にも、例えば、ある車両における乗車人数が他の車両と比べて多い場合には、一部の車両に乗客が集中している旨や、混雑緩和のため乗客を移動させるべき旨を鉄道会社の担当者の端末に通知する。
以上、詳細に説明したように、本第2の実施形態によると、装着装置110は、出入り口装置40と近接通信を行う第1通信部18Aと、第1通信部18Aと出入り口装置40との通信が成立した場合(S100:肯定)に、サーバ130との通信を行う第2通信部18Bと、第2通信部18Bの通信に応じてユーザの周囲の情報を収集(撮像)する撮像部11と、撮像部11が収集(撮像)した情報を第2通信部18Bによりサーバ130に送信する制御部17と、を備えている。これにより、ユーザが電車に乗った後の適切なタイミングから、撮像部11がユーザの周囲を撮像し、サーバ130に画像データを送信するので、サーバ130は、電車内の状況を示す適切な画像データを収集することができる。
また、本第2の実施形態では、撮像部11は、ユーザからの収集開始指示を受け付けた場合に、ユーザの周囲の情報を収集(撮像)するので、ユーザがマナー違反等を報告したいタイミングから撮像を開始することができる。これにより、必要最小限の画像をサーバ130に対して送信することができる。
また、本第2の実施形態では、制御部17は、サーバ130に送信した画像データを記憶部16に蓄積せずに、破棄する。これにより、サーバ130に送信した画像データが記憶部16の記憶容量を圧迫するのを抑制することができる。
また、本第2の実施形態では、ユーザの周囲を撮像する撮像部11の姿勢を検出する姿勢センサ22と、検出した姿勢に応じて、撮像部11が撮像していることを外部に報知する外部表示部21と、を備えるので、装着装置110を装着したユーザが撮像部11を用いて盗撮していると疑われるのを防止することができる。
なお、上記第2の実施形態では、制御部17は、撮像した画像データを加工処理せずにサーバ130に送信しているが、これに限らず、画像データから人の顔部分を検出し、顔部分にフィルタ処理を施した後の画像データをサーバ130に送信することとしてもよい。これにより、電車内の乗客のプライバシーを確保することができる。この場合、サーバ130の制御部35は、各車両のマナー違反の傾向を画像データから把握すればよい。
なお、上記第2の実施形態では、電車内で撮像された画像データを収集する場合について説明したが、これに限られるものではない。例えば、マイク14を用いて電車内の音声データを収集してもよい。
なお、上記第2の実施形態では、撮像部11は、ユーザからの収集開始指示を受け付けたタイミングで、ユーザの周囲の情報を収集(撮像)する場合について説明したが、これに限らず、第2通信部18Bとサーバ130との通信が成立した段階から、撮像部11が撮像を開始するようにしてもよい。
なお、上記第2の実施形態においては、装着装置110の制御部17は、サーバ130との間の通信成立に応じて、電車内に設置された撮像装置やマイクから情報を収集し、サーバ130に対して収集した情報を送信してもよい。
なお、上記第2の実施形態では、制御部35は、ユーザ毎違反DB76においてマナーが良いユーザを特定できた場合に、当該ユーザが鉄道会社から優遇サービスを提供してもよい対象であることを、ユーザや鉄道会社等に対して通知するようにしてもよい。
なお、上記第2の実施形態では、装着装置110に代えて、ユーザが保持する装置(例えばスマートフォン)を採用してもよい。この場合において、スマートフォンの撮像部によりユーザの周囲の画像が撮像できない場合には、マイク14を用いて音声データを収集してもよい。
なお、上記第2の実施形態では、出入り口装置40は、電車やバスの出入り口のほか、所定空間(例えば、駅構内や遊園地などの公共の施設など)の出入り口(自動改札機や入場口など)に設けられてもよい。この場合にも、所定空間内において撮像された、マナー違反に関する画像データをサーバ130に対して送信することができる。
また、上記第2の実施形態では、出入り口装置40の第1通信部41Aが各座席やつり革等に設けられてもよい。
《第3の実施形態》
次に、第3の実施形態にかかる情報処理システム300について、図13〜図15に基づいて説明する。第3の実施形態では、情報処理システム300が、装着装置210と、携帯端末50と、を備える(利用する)。装着装置210は、第1の実施形態の装着装置210と同様である。なお、通信部18は、携帯端末50と通信を行う。また、記憶部16には、図15に示すような制御テーブル78(詳細については後述する)が格納されている。携帯端末50は、スマートフォンや携帯電話などの端末である。なお、同一ユーザが使用する装着装置210と携帯端末50とは予めペアリングされているものとする。
本第3の実施形態では、装着装置210の撮像部11が禁止事項を示すマークや文字を撮像した場合に、当該マークや文字に対応した処理を実行する。以下、図14、図15を用いて、装着装置210の処理について説明する。
図14は、第3の実施形態の装着装置210の制御部17により実行される処理を示すフローチャートである。図14の処理では、まず、ステップS200において、制御部17は、撮像部11により撮像された画像データを取得する。
次いで、ステップS202では、制御部17が、画像データに禁止マークが含まれているか否かを判断する。ここで、禁止マークとは、図15に示すような、携帯端末の使用禁止、撮影禁止、喫煙禁止などを示すマークを意味する。制御部17は、図15に示すようなマークの画像をテンプレート画像としたテンプレートマッチングにより、画像データ内に禁止マークが含まれているか否かを判断する。このステップS202の判断が否定された場合には、ステップS200に戻るが、肯定された場合には、ステップS204に移行する。
ステップS204に移行した場合、制御部17は、制御テーブル78に基づく処理を実行する。ここで、制御テーブル78は、図15に示すようなデータ構造を有する。例えば、図15では、携帯端末の使用禁止を示すマークに対して、“携帯端末の電源をOFFにする”という処理が関連付けられている。また、図15では、撮影禁止を示すマークに対して、“装着装置の撮像部が撮像した画像データを記憶しない”、“携帯端末のカメラ機能をOFFにする”、“携帯端末に撮影不可であることを報知する”という処理が関連付けられている。なお、装着装置の撮像部11の機能をOFFせずに、“装着装置の撮像部が撮像した画像データを記憶しない”としているのは、ステップS200の処理を継続的に行うためである。また、図15では、喫煙禁止を示すマークに対して、“携帯端末に禁煙エリアであることを報知する”という処理が関連付けられている。したがって、制御部17は、画像データに含まれていたマークに対応する処理を実行する。なお、制御部17は、携帯端末50に報知したり、携帯端末50を制御する場合には、通信部18を介して各処理を実行する。その後は、図14のステップS200に戻る。
以上の処理により、ユーザが禁止マークを見落としたとしても、禁止事項をユーザに対して報知したり、禁止事項をユーザが行わないように機器を制御するので、ユーザが禁止事項を行ってしまうのを未然に防ぐことができる。
なお、図15のマーク、及びマークに対応する処理は、一例である。各マークに対応して図15に示す処理以外の処理が定義されていてもよい。また、図15のマークのフィールドには、禁止事項を示す文字(例えば、“撮影禁止”、“フラッシュ禁止”、“禁煙”など)が格納されてもよい。
以上、説明したように、本第3の実施形態によると、装着装置210は、携帯端末50と通信する通信部18と、ユーザの周囲を撮像する撮像部11と、撮像部11が撮像した画像データに禁止事項に関する情報(禁止マーク等)が含まれる場合に、通信部18を介して携帯端末50に報知又は携帯端末50を制御する制御部17と、を備える。これにより、ユーザが禁止事項を行ってしまうのを未然に防ぐことができる。
なお、上記第3の実施形態では、制御部17は、位置検出部19が検出する位置情報に基づいて、図14の処理を行うか否かを判断してもよい。例えば、ユーザの位置が映画館や美術館など公共の施設内である場合にのみ、図14の処理を行うこととしてもよい。
なお、上記第3の実施形態では、装着装置210の制御部17が、携帯端末50を制御したり、報知を行う場合について説明したが、これに限られるものではない。例えば、ユーザが自動車を運転し、駐車をしようとした際(自動車のエンジンをOFFにしようとした際)に、撮像部11が駐車禁止マークを撮像したとする。この場合に、制御部17は、通信部18を介して、駐車禁止である旨を自動車のスピーカ等から報知したり、自動車のエンジンをOFFにできないように自動車を制御するなどしてもよい。
《第4の実施形態》
次に、第4の実施形態について、図16に基づいて説明する。なお、第4の実施形態の情報処理システムは、第1の実施形態と同様、装着装置10と、サーバ30とを備えている。本第4の実施形態の情報処理システムは、装着装置10を装着するユーザが他人のパーソナルエリアを侵害しているか否かを判断し、侵害している場合に所定の処理を行うシステムである。
図16は、本第4の実施形態の装着装置10(制御部17)の処理を示すフローチャートである。図16の処理では、まず、ステップS300において、制御部17は、撮像部11が撮像した画像データを取得する。次いで、ステップS302では、制御部17は、画像データ内に人物の顔が存在する場合に、人物認識を行う。ここでは、一例として、人物認識により、画像データ内の人物の性別を認識するものとする。なお、これに限らず、人物認識においては、個人を特定し、不図示の人物相関テーブルに基づいて、ユーザとの関係を特定してもよい。
次いで、ステップS304では、制御部17は、画像データ内の人物の顔の大きさから、ユーザと人物との間の距離を推定する。
次いで、ステップS306では、制御部17は、ユーザが画像データ内の人物のパーソナルエリアを侵害しているか否かを判断する。ここでは、制御部17は、人物の性別ごとに予め定めたパーソナルエリアの範囲(例えば、ユーザと人物が同姓であれば半径1m、異性であれば半径2m)内にユーザが入っているか否かを判断する。なお、ユーザと画像データ内の人物との距離以外に、例えば、画像データ内の人物の表情(嫌な顔をしているか否か)や、ユーザの生体情報(例えば脈拍など)を考慮して、パーソナルエリアを侵害しているか否かを判断することとしてもよい。なお、パーソナルエリアの範囲は、年齢やユーザとの関係(親族、友人、同僚など)に応じて定めておいてもよい。
ステップS306の判断が否定された場合には、ステップS300に戻るが、肯定された場合には、ステップS308に移行する。ステップS308に移行すると、制御部17は、ユーザがパーソナルエリアを侵害している時間が所定時間を経過したか否かを判断する。このステップS308の判断が否定された場合には、ステップS300に戻るが、肯定された場合には、ステップS310に移行する。
ステップS310に移行すると、制御部17は、装着装置10の表示部12やスピーカ15を介して、ユーザに対して他人のパーソナルエリアを侵害していることを報知する。これにより、ユーザに、他人のパーソナルエリア外に移動するよう促すことができる。
次いで、ステップS312では、制御部17は、通信部18を介してサーバ30に対して通知を行う。その後は、ステップS300に戻る。
なお、サーバ30は、ステップS312において通知を受けた場合に、パーソナルエリアを侵害する頻度や、パーソナルエリアを侵害した相手などの傾向をユーザ毎に集計する。そして、サーバ30は、侵害の頻度が高い人に対して、報知するようにしてもよい。
なお、図16の処理とともに、又は図16の処理に代えて、制御部17は、例えば、撮像部11により撮像された画像データや、マイク14により取得された音声データなどから、パワハラ(パワーハラスメント)を受けているかどうか、パワハラを行っていないかどうかを判断してもよい。この場合、制御部17は、取得した画像データと、予め用意しておいたパワハラの状況を示す画像とのテンプレートマッチング等により、パワハラが行われているかを判断すればよい。また、制御部17は、音声データに、暴言等が含まれているか、音声が大音量であるか等に基づいて、パワハラが行われているかを判断すればよい。なお、制御部17は、本処理を行うか否かを、位置検出部19において検出される位置情報に基づいて(例えば、ユーザが会社にいるか否かに基づいて)、制御するようにしてもよい。なお、本処理により、パワハラ以外、例えばセクハラ(セクシャルハラスメント)やモラハラ(モラルハラスメント)などの有無を判断することとしてもよい。
《第5の実施形態》
次に、第5の実施形態について、図17に基づいて説明する。なお、第5の実施形態の情報処理システムは、第1の実施形態と同様、装着装置10と、サーバ30とを備えている。本第5の実施形態の情報処理システムは、装着装置10を装着するユーザ(例えば、警察官)がパトロールしている際に、自動車が駐車しているか否かを自動的に判別し、駐車している場合にはその旨をサーバ30に通知するシステムである。
図17は、本第5の実施形態の装着装置10(制御部17)の処理を示すフローチャートである。図17の処理では、まず、ステップS400において、制御部17は、撮像部11が撮像した画像データを取得する。次いで、ステップS402では、制御部17は、画像データ内に自動車が存在するか否かを判断する。なお、自動車が存在するか否かは、画像データと、自動車のテンプレート画像とのテンプレートマッチングにより判断する。このステップS402の判断が否定された場合には、ステップS400に戻るが、肯定された場合には、ステップS404に移行する。
ステップS404に移行すると、制御部17は、画像データから自動車の運転席エリアを抽出する。なお、運転席エリアの抽出は、テンプレートマッチング等により行う。次いで、ステップS406は、抽出した運転席エリアにおいて、人物の顔を抽出できたか否かを判断する。このステップS406の判断が肯定された場合、すなわち、人が運転席に存在する場合には、ステップS400に戻る。一方、ステップS406の判断が否定された場合、すなわち、自動車の運転者が不在の場合には、ステップS408に移行する。
ステップS408に移行すると、制御部17は、自動車のナンバープレート部分を抽出し、文字認識を行う。具体的には、制御部17は、画像データの自動車部分のうち、白や黄色、緑の略矩形領域をナンバープレート部分として抽出し、抽出した部分内の文字を認識する。次いで、ステップS410では、制御部17は、文字認識結果を記憶部16に保存する。なお、文字認識結果を保存する際には、画像を取得した際の装着装置10の位置と撮像日時とを関連付けて保存する。
次いで、ステップS412では、制御部17は、同一位置で同一車両の認識結果を保存したか否かを判断する。このステップS412の判断が否定された場合、すなわち、過去に同一位置で同一車両が撮像されていなかった場合には、ステップS400に戻る。一方、ステップS412の判断が肯定された場合、すなわち、過去に同一位置で同一車両が撮像されていた場合には、ステップS414に移行する。
ステップS414に移行すると、制御部17は、自動車が、所定時間以上停車しているか否か、すなわち、過去に同一位置で撮像されてから、今回撮像するまでの間に所定時間が経過しているか否かを判断する。このステップS414の判断が否定された場合には、ステップS400に戻るが、肯定された場合には、ステップS416に移行する。
ステップS416に移行した場合、制御部17は、撮像した自動車が駐車をしていると判断し、サーバ30に送信する。この場合、制御部17は、通信部18を介して、駐車している自動車の情報(ナンバー情報)のほか、駐車している日時、位置情報をサーバ30に対して送信する。なお、サーバ30では、駐車している自動車の位置が駐車禁止エリアであるか否かを判断し、駐車禁止エリアに駐車している場合に、当該自動車が駐車違反をしているという情報を記憶部32(駐車違反DBなど)に格納する。なお、駐車禁止エリアであるか否かは、装着装置10の制御部17が判断してもよく、この場合には、駐車違反している自動車の情報のみをサーバ30に送信するようにしてもよい。
以上のように、本第5の実施形態によると、警察官がパトロールをしている間に、自動車が駐車しているか否かの判断や、タイヤへのマーキング等を行うことなく、駐車違反している自動車の情報をサーバ30に蓄積することができる。
なお、上記第5の実施形態では、警察官が装着装置10を装着する場合について説明したが、これに限らず、一般のユーザが装着する装着装置10において、図17と同様の処理を行うこととしてもよい。
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体(ただし、搬送波は除く)に記録しておくことができる。
プログラムを流通させる場合には、例えば、そのプログラムが記録されたDVD(Digital Versatile Disc)、CD−ROM(Compact Disc Read Only Memory)などの可搬型記録媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
上述した各実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。