JP2020179871A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP2020179871A
JP2020179871A JP2019082527A JP2019082527A JP2020179871A JP 2020179871 A JP2020179871 A JP 2020179871A JP 2019082527 A JP2019082527 A JP 2019082527A JP 2019082527 A JP2019082527 A JP 2019082527A JP 2020179871 A JP2020179871 A JP 2020179871A
Authority
JP
Japan
Prior art keywords
information
user
unit
output
acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019082527A
Other languages
English (en)
Inventor
哲治 橋本
Tetsuji Hashimoto
哲治 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meiji Oil Co Ltd
Original Assignee
Meiji Oil Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meiji Oil Co Ltd filed Critical Meiji Oil Co Ltd
Priority to JP2019082527A priority Critical patent/JP2020179871A/ja
Publication of JP2020179871A publication Critical patent/JP2020179871A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Loading And Unloading Of Fuel Tanks Or Ships (AREA)

Abstract

【課題】移動体に燃料を供給するユーザの状況に応じて適切な処理を行なうことができる情報処理装置を提供する。【解決手段】移動体に燃料を供給する燃料供給装置60に関して監視装置40が有するセンサが取得した取得情報、例えば、カメラ401等で撮影された画像等、を受け付ける取得情報受付部301と、この取得情報受付部301が受け付けた画像等の取得情報を解析する解析部302と、解析部302の解析結果に応じた出力を端末装置に対して行なう解析結果出力部304とを備えた情報処理装置30である。【選択図】図14

Description

本発明は、燃料供給時の情報を処理する装置等に関するものである。
従来の技術として、給油機ケース内に、地下の貯油タンクに連通する給油管を立ち上げ、この給油管の途中に、給油モータに連結した給油ポンプ、流量パルス発信器を接続した流量計を順次配設し、給油管の端部を給油機ケース外に導出して、ここに先端に給油ノズルを有する給油ホースを接続した給油装置が知られていた(例えば、特許文献1参照)。
特公平7−84233号公報(第1頁、第1図等)
しかしながら、従来の技術においては、燃料を移動体に供給するユーザの状況に応じて適切な処理を行なうことができない、という課題があった。例えば、適切な出力を端末装置に対して行うことができないという課題があった。ユーザの状況とは、例えば、供給時のユーザの動作状況や、供給時のユーザの周囲の状況や、ユーザがどのようなユーザであるかという状況である。
例えば、燃料供給時のユーザの動作に応じて、適切な燃料供給の制御を行なうことができなかった。例えば、ユーザが、静電防止シートにタッチせずに、自動車にガソリンの給油を行なおうとした場合であっても、強制的なガソリン給油の停止を行なうことができなかった。また、例えば、タバコ等の火気を所持したユーザが給油を行なおうとしても、強制的にガソリン給油の停止を行なうことができなかった。
このため、従来においては、給油所等の監視員等が、給油所等に設けられた監視カメラ等を用いて給油を行なうユーザを監視して、静電防止シートにタッチせずに給油しようとしたユーザや、火気を所持したユーザが給油を行なおうとしたユーザをチェックし、ユーザに口頭で注意を行なっていた。しかし、このようにすると、給油所等に監視員等を配置しなければならず、効率が悪く労力がかかるとともに、監視が不正確であるとともに、チェック漏れ等の人的ミスが生じる可能性があるという問題があった。
また、例えば、燃料供給を行なうユーザに応じて、ユーザに応じた適切な情報を提供することができなかった。例えば、燃料供給を行なうユーザが、給油を行なう給油所等が運営する特定の会に会員として登録されているユーザであったとしても、会員であることを認識して、会員の情報等を、ユーザに通知することができなかった。
本発明は、上記のような課題を解消するためになされたものであり、移動体に燃料を供給するユーザの状況に応じて適切な処理を行なうことができる情報処理装置および燃料供給装置等を提供することを目的とする。
本発明の情報処理装置は、移動体に燃料を供給する燃料供給装置に関してセンサが取得した取得情報を受け付ける画像受付部と、前記画像受付部が受け付けた画像を解析する解析部と、前記解析部の解析結果に応じた出力を端末装置に対して行なう解析結果出力部とを備えた情報処理装置である。
かかる構成により、移動体に燃料を供給するユーザの状況に応じて適切な出力を端末装置に行なうことができる。
また、本発明の情報処理装置は、前記情報処理装置において、前記解析部は、前記取得情報を解析して、予め決められた条件を満たすか否かを判断し、前記解析結果出力部は、前記解析部が予め決められた条件を満たすと判断した場合に、前記解析結果に応じた出力として、安全を担保するための安全担保出力を行なうようにしてもよい。
かかる構成により、端末装置に対して、安全を担保するための出力を行うことがで、安全を確保することが可能となる。
また、本発明の情報処理装置は、前記情報処理装置において、前記安全担保出力は、警告の出力を含むようにしてもよい。
かかる構成により、端末装置に対して、安全を担保するための警告を行うことができ、安全を確保することが可能となる。
また、本発明の情報処理装置は、前記情報処理装置において、前記安全担保出力は、燃料供給の禁止を示す出力を含むようにしてもよい。
かかる構成により、端末装置に対して、燃料供給を禁止するための警告を行うことがで、安全を確保することが可能となる。
また、本発明の情報処理装置は、前記情報処理装置において、前記解析部は、取得情報を解析して、取得情報内のユーザによる予め決められた物品の保持を検知し、保持が検知された場合に、予め決められた条件を満たすと判断するようにしてもよい。
かかる構成により、ユーザが燃料供給時に予め決められた物品を保持している場合に、安全を担保することができる。
また、本発明の情報処理装置は、前記情報処理装置において、前記解析部は、取得情報をを解析して、取得情報内に複数の人物が存在するか否かを判断し、複数の人物が存在すると判断した場合に、予め決められた条件を満たすと判断するようにしてもよい。
かかる構成により、燃料供給時に複数の人物が存在する場合に、安全を担保することができる。
また、本発明の情報処理装置は、前記情報処理装置において、前記解析部は、取得情報を解析して、取得情報内のユーザが静電除去シートにタッチしたことを検知し、タッチが検知されていない場合に、予め決められた条件を満たすと判断するようにしてもよい。
かかる構成により、ユーザが静電除去シートにタッチしていない場合に、安全を担保することができる。
また、本発明の情報処理装置は、前記情報処理装置において、前記解析部は、取得情報を解析して取得情報内のユーザが予め登録されたユーザであるか否かを判断し、登録されたユーザである場合に、当該ユーザに対応付けられたユーザ識別子を解析結果として取得するようにしてもよい。
かかる構成により、燃料供給を行なおうとするユーザのユーザ識別子を、ユーザが動作等を行なわなくても自動的に取得することができる。
また、本発明の情報処理装置は、前記情報処理装置において、ユーザのユーザ識別子と、当該ユーザに関するユーザ情報とが対応付けて格納されるユーザ情報格納部と、前記解析部が解析結果として取得したユーザ識別子を用いて、前記ユーザ情報格納部から当該ユーザ識別子に対応付けられたユーザ情報を取得して出力するユーザ情報出力部とをさらに備えるようにしてもよい。
かかる構成により、燃料供給を行なおうとするユーザの情報を出力することができる。
また、本発明の情報処理装置は、前記情報処理装置において、前記解析部は、画像を解析して、画像内のユーザに関する属性値を解析結果として取得し、前記解析部が取得した属性値に応じた属性対応情報を取得して出力する属性対応出力部をさらに備えるようにしてもよい。
かかる構成により、ユーザの属性に対応した情報を出力することができる。
また、本発明の情報処理装置は、前記情報処理装置において、前記属性対応情報は、広告としてもよい。
かかる構成により、ユーザの属性に対応した広告を出力することができる。
また、本発明の情報処理装置は、前記情報処理装置において、前記センサは、カメラであり、前記センサで取得された取得情報は、当該カメラで撮影された画像としてもよい。
かかる構成により、移動体に燃料を供給するユーザの状況に応じて適切な処理を行なうことができる。
また、本発明の情報処理装置は、前記情報処理装置において、前記センサは、赤外線センサであり、前記センサで取得された取得情報は、当該赤外線センサで撮影された画像としてもよい。
かかる構成により、移動体に燃料を供給するユーザの状況に応じて適切な処理を行なうことができる。
また、本発明の情報処理装置は、前記情報処理装置において、前記センサは、赤外線を用いて距離画像を取得する赤外線距離センサであり、前記センサで取得された取得情報は、当該赤外線距離センサで取得された赤外線距離画像としてもよい。
かかる構成により、移動体に燃料を供給するユーザの状況に応じて適切な処理を行なうことができる。
また、本発明の情報処理装置は、移動体に燃料を供給する燃料供給装置が有するセンサで取得された取得情報を受け付ける画像受付部と、前記画像受付部が受け付けた画像を解析する解析部と、前記解析部の解析結果に応じた処理を行なう処理部とを備えた情報処理装置である。
かかる構成により、移動体に燃料を供給するユーザの状況に応じて適切な処理を行なうことができる。
また、本発明の情報処理装置は、前記情報処理装置において、前記解析部は、前記画像を解析して、予め決められた条件を満たすか否かを判断し、前記処理部は、前記解析部が予め決められた条件を満たすと判断した場合に、前記解析結果に応じた処理として、安全を担保するための安全担保処理を行なう情報処理装置である。
かかる構成により、移動体に燃料を供給するユーザの状況に応じて、安全を担保することができる。
本発明の燃料供給装置は、移動体に燃料を供給する燃料供給装置であって、センサと、前記センサが取得した取得情報を、前記の情報処理装置に出力する画像出力部とを備えた燃料供給装置である。
かかる構成により、燃料供給を行なうユーザを撮影した画像を、情報処理装置に提供して、ユーザの状況に応じた処理が行なわれるようにすることができる。
本発明の燃料供給装置は、移動体に燃料を供給する燃料供給装置であって、センサと、前記センサが取得した情報を解析する解析部と、前記解析部の解析結果に応じた処理を行なう処理部とを備えた燃料供給装置である。
かかる構成により、移動体に燃料を供給するユーザの状況に応じて適切な処理を行なうことができる。
本発明によれば、移動体に燃料を供給するユーザの状況に応じて適切な処理を行なうことができる。
本発明の実施の形態1における燃料供給システムのブロック図 同燃料供給システムの概念図 同燃料供給システムの情報処理装置の動作を示すフローチャート 同燃料供給システムの燃料供給装置の動作を示すフローチャート 同燃料供給システムの情報処理装置のユーザ認識情報管理表を示す図 同燃料供給システムの情報処理装置の動作を説明するための画像例を示す図(図6(a)〜図6(d)) 同燃料供給システムの情報処理装置のユーザ情報管理表を示す図 同燃料供給システムの燃料供給装置の表示例を示す図(図8(a)〜図8(b)) 同燃料供給システムの情報処理装置の属性対応情報管理表を示す図 同燃料供給システムの燃料供給装置の表示例を示す図(図10(a)〜図10(c)) 同燃料供給システムの情報処理装置の供給関連情報管理表を示す図 本実施の形態1および2におけるコンピュータシステムの外観の一例を示す図 同コンピュータシステムの構成の一例を示す図 本発明の実施の形態2における燃料供給システムのブロック図 同燃料供給システムの情報処理装置の動作を示すフローチャート 同燃料供給システムの端末装置の表示例を示す図(図16(a)〜図16(c))
以下、情報処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
(実施の形態1)
図1は、本実施の形態における燃料供給システムのブロック図である。
図2は、本実施の形態における燃料供給システムの模式図である。
燃料供給システム1は、情報処理装置10と、燃料供給装置20とを備えている。なお、ここでは、燃料供給装置20が一つである場合について説明するが、燃料供給システム1は、2以上の燃料供給装置20を備えていても良い。情報処理装置10と1または2以上の燃料供給装置20とは、無線または有線のネットワーク等により通信可能となるよう接続されている。
情報処理装置10は、取得情報受付部101、解析部102、ユーザ認識情報格納部103、処理部104、ユーザ情報格納部105、ユーザ情報出力部106、取得部107、供給関連情報格納部108、解析蓄積部109、属性対応情報格納部110、および属性対応出力部111を備えている。
燃料供給装置20は、カメラ201、取得情報出力部202、受付部203、供給機204、制御部205、出力部206、操作受付部207、および供給関連出力部208を備えている。燃料供給装置20の正面には、ドーム形状の静電除去シート210が取付けられている。また、燃料供給装置20の正面には、モニタ2061と、このモニタ2061の画面に設けられたタッチパネル2071とが取付けられている。また、燃料供給装置20には、1以上のホース211を介して燃料を供給するノズル212が取付けられている。燃料供給装置20は、燃料計量器と考えてもよい。
燃料供給装置20は、移動体に燃料を供給する装置である。移動体とは、例えば、自動車や自動二輪車、原動機付き自転車、電動機付自転車等である。燃料とは、移動体が利用する燃料であり、例えば、ガソリンや、軽油、アルコール等の液体燃料、LPガス、水素ガス等の気体燃料、電気等である。以下、本実施の形態においては、燃料が液体燃料であり、移動体が、液体燃料を利用する自動車や、自動二輪等の移動体である場合について説明する。ただし、燃料供給装置20が供給する燃料は、液体燃料に限定されるものではなく、また、移動体は、液体燃料を利用する移動体に限定されるものではない。
取得情報受付部101は、移動体に燃料を供給する燃料供給装置20に関してセンサが取得した情報である取得情報を受け付ける。取得情報は、例えば、燃料供給装置20を利用して燃料供給を行うユーザについてセンサが取得したユーザの状況に関する情報や、燃料供給装置60の周辺について取得した情報等である。ユーザの状況に関する情報は、ユーザの行動に関する情報を含んでいてもよい。取得情報は、例えば、燃料供給装置20自身の状況についての情報を除いた情報であってもよい。燃料供給装置20自身の状況とは、例えば、燃料供給装置20の燃料供給量や、燃料供給中であるか否かを示す情報等の、燃料供給装置20自身の動作状況等を示す情報である。本実施の形態においては、取得情報受付部101が、移動体に燃料を供給する燃料供給装置20が有するセンサが取得した情報である取得情報を受け付ける場合について説明する。以下、本実施の形態においては、燃料供給装置20が有するセンサが、カメラ201であり、センサが取得した取得情報が、カメラ201が撮影した画像である例について説明する。すなわち、取得情報受付部101が、カメラ201が撮影した画像を受け付ける例について説明する。取得情報受付部101は、例えば、燃料供給装置20の取得情報出力部202から、カメラ201が撮影した画像を受信する。カメラ201が撮影した画像とは、例えば、カメラ201が燃料供給行なう際のユーザを撮影した画像である。カメラ201が撮影した画像とは、例えば、燃料供給行なう際に燃料供給装置20のカメラ201の前に立ったユーザをカメラ201が撮影した画像である。カメラ201が撮影する画像は、ここでは動画像である場合について説明するが、カメラ201が撮影する画像は、1または2以上の静止画像であってもよい。例えば、カメラ201が撮影する画像は、予め決められた時間間隔ごとに撮影された複数の静止画像の群であっても良い。カメラ201が撮影した画像は、カラー画像であっても良く、モノクローム画像であっても良い。また、カメラ201が撮影した画像のフォーマット等は問わない。なお、取得情報受付部101による画像の受付は、画像の受信に限定されるものではなく、例えば、信号線等を介してカメラ201等が出力する画像の受け付け等であっても良い。
解析部102は、取得情報受付部101が受け付けた取得情報を解析する。ここでは、解析部102が、取得情報受付部101が受け付けた画像を解析する例について説明する。解析部102は、例えば、画像を解析することにより、画像が予め決められた条件を満たすか否かを判断する。解析部102は、例えば、画像内のユーザの状況について解析を行なう。ユーザの状況についての解析とは、ユーザが保持する物品の解析や、ユーザの人数の解析や、ユーザの動作の解析である。以下、解析部102が行なう解析および判断の処理の例について説明する。ただし、解析部102が行なう解析は、以下の解析に限定されるものではない。
(1)保持する物品についての解析
解析部102は、例えば、取得情報受付部101が受け付けた画像を解析して、画像内のユーザによる予め決められた物品の保持を検知し、保持が検知された場合に、予め決められた条件を満たすと判断する。予め決められた物品とは、例えば、燃料を供給する際に保持していることが危険と考えられる物品である。予め決められた物品は、例えば、火気である。火気は、例えば、火のついたタバコである。ここでの保持は、例えば、タバコを口にくわえることも含むと考えてよい。また、予め決められた物品は、ライター等であってもよい。また、予め決められた物品は、携帯電話やいわゆるスマートフォン等の携帯端末であってもよい。解析部102は、例えば、燃料の引火等を防ぐために、火気等の予め決められた物品の保持を検知する。解析部102は、例えば、画像認識を行なって、画像から予め決められた物品を検知する。例えば、解析部102は、画像から特徴を分離抽出し、パターンマッチングや変換等を行い、予め決められた物品の特徴を特定し認識する。画像認識は、例えば、予め決められた物品について取得しておいた特徴点の情報や、予め決められた物品の画像等を用いて行なう。例えば、解析部102は、予め決められた物品の特徴点と一致する特徴点を有する画像を、取得情報受付部101が受け付けた画像から、パターンマッチング等を行なって検知する。この特徴点の情報は、例えば、情報処理装置10の図示しない格納部に蓄積しておくようにして、解析時に適宜読み出すようにすればよい。なお、解析部102が利用する画像認識処理は、上記の画像認識処理に限定されるものではない。特定の物品を検知する画像認識処理については、公知技術であるため、ここでは詳細な説明は省略する。なお、これ以降において解析部102が行なう画像認識も、ここで説明した画像認識と同様の画像認識を行なうようにすればよい。この場合、ここでの予め決められた物品は、画像認識により検知する対象物に適宜読み換えるようにすればよい。
(2)人数についての解析
解析部102は、例えば、取得情報受付部101が受け付けた画像を解析して、画像内に複数の人物が存在するか否かを判断し、複数の人物が存在すると判断した場合に、予め決められた条件を満たすと判断する。例えば、解析部102は、画像から、上記と同様に画像認識を行なって人間を検知し、検知した人間の数が、2人以上であるか否かを判断する。2人以上であれば、予め決められた条件を満たすと判断する。一人であれば、予め決められた条件を満たさないと判断する。複数人で燃料の供給を行なうと静電気等が発生して、燃料に引火する場合がある。解析部102は、このような燃料の引火を防ぐために、複数の人物が燃料の供給を行なうことを検知する。人間を検知する際には、画像を解析して画像内の人間の顔を検知するようにしても良い。そして、検知した顔が、2以上であれば、条件を満たすと判断し、一つであれば、条件を満たさないと判断しても良い。人の検知や、人間の顔認識については公知であるため、ここでは詳細な説明は省略する。
(3)動作についての解析
解析部102は、例えば、取得情報受付部101が受け付けた画像を解析して、画像内のユーザの動作が、予め決められた条件を満たすか否かを判断する。解析部102は、例えば、取得情報受付部101が受け付けた画像を解析して、画像内のユーザが予め決められた動作を行なったか否かを検知し、予め決められた動作を行なったことが検知されていない場合に、予め決められた条件を満たすと判断し、予め決められた動作を行なったことが検知された場合に、予め決められた条件を満たさないと判断する。ここでの、予め決められた動作は、例えば、安全のために、燃料供給の前に必須となる動作である。予め決められた動作は、例えば、燃料供給装置20に取付けられた静電除去シート210をタッチする動作である。例えば、解析部102は、画像を解析して、画像内のユーザが静電除去シート210をタッチしたことを検知し、タッチされたことが検知された場合、予め決められた条件を満たさないと判断し、タッチされたことが検知されない場合は、予め決められた条件を満たすと判断する。解析部102は、例えば、静電除去シート210がタッチされたことが検知されるまでは、予め決められた条件を満たすと判断し続けるようにしてもよい。また、静電除去シート210がタッチされたことが検知される前に、燃料を供給するガンノズル等と呼ばれるノズル等にタッチする等の予め決められた動作が検知された場合に、予め決められた条件を満たすと判断してもよい。なお、静電除去シート210へのタッチのように、解析部102による検知の対象が一度行なえばよい動作である場合、解析部102は、例えば、この動作を一度検知した後は、検知したことを示すフラグ等の情報を図示しない格納部等に蓄積するようにし、その後の、同じ動作を検知する処理においては、このフラグの情報が検出できれば、取得情報受付部101が受け付けた画像からこの動作の検出を行なわなくても、画像内のユーザの動作が、予め決められた条件を満たすという判断結果を取得するようにする。なお、上記の予め決められた動作の一つは、燃料供給装置20のノズルを移動体の給油口に挿入した、という動作であってもよい。
解析部102は、例えば、取得情報受付部101が受け付けた画像を解析して、画像内のユーザが予め決められた動作を行なったか否かを判断し、予め決められた動作を行なったことが検知された場合に、予め決められた条件を満たすと判断し、予め決められた動作を行なったことが検知されなかった場合に、予め決められた条件を満たさないと判断してもよい。例えば、解析部102は、ユーザが、移動体以外へ燃料供給(例えば、給油)を行なうための動作を行なったか否かを判断し、移動体以外へ燃料供給を行なうための動作を行なったことが検知された場合に、予め決められた条件を満たすと判断し、検知されなかった場合には、予め決められた条件を満たさないと判断してもよい。移動体以外へ燃料供給を行なうための動作とは、例えば、ポリタンクにガソリン等の燃料を供給するための動作であり、例えば、燃料のノズルの移動先が、移動体と重なる位置であるか否かを画像から検知することで、移動体への燃料供給であるか否かを検知することができる。あるいは、解析部102は、画像内においてポリタンクを検知し、検知できた場合に、移動体以外への燃料供給であると判断してもよい。
なお、解析部102は、画像の解析結果と、燃料供給装置20に設けられた他のセンサ等(図示せず)が検知した情報等との組合せが、予め決められた条件を満たすか否かを判断するようにしてもよい。例えば、解析部102が画像から、ユーザが移動体に燃料供給を行なう予め決められた動作(例えば、移動体の燃料供給口に燃料供給装置のノズル等を差し込む動作)を検知し、この動作の検知が、静電除去シート210に設けた圧力センサ(図示せず)がユーザのタッチによる圧力を検知した後である場合には、予め決められた条件を満たさないと判断して安全担保処理を行なわないようにし、上記の動作が、静電除去シート210に設けた圧力センサ(図示せず)がユーザのタッチによる圧力を検知していない状況で検知された場合には、予め決められた条件を満たすと判断して安全担保処理を行なうようにしてもよい。
解析部102は、例えば、取得情報受付部101が受け付けた画像を解析して、画像内のユーザが登録されたユーザであるか否かを判断してもよい。登録されたユーザとは、例えば、特定の組織の一員として登録されているユーザである。特定の組織の一員とは、例えば、特定の会の会員等である。特定の会とは、例えば、給油所等の、燃料の提供を行なうものが運営している顧客向けの会である。例えば、解析部102は、取得情報受付部101が受け付けた画像から、ユーザの顔の特徴点の情報を取得し、予め蓄積されている1または2以上の登録されたユーザの顔の特徴点の情報から、取得した特徴点の情報と一致する特徴点のユーザを検知する。取得するユーザの特徴点の情報は、例えば、予め決められた特徴点の情報である。ここでは、後述するユーザ認識情報格納部103に予め格納されている登録されている1以上のユーザの顔の特徴点の情報を用いてユーザが登録されたユーザであるか否かを判断する場合について説明する。例えば、解析部102は、取得情報受付部101が受け付けた画像から、ユーザの顔の特徴点の情報を取得し、ユーザ認識情報格納部103に格納されている1または2以上の登録されたユーザの顔の特徴点の情報から、取得した特徴点の情報と一致する特徴点の情報を検知し、検知できた場合、登録されたユーザであると判断する。解析部102は、登録されたユーザである場合に、例えば、このユーザに対応付けられたユーザ識別子を解析結果として取得する。例えば、解析部102は、画像から取得した特徴点の情報と一致する特徴点の情報がユーザ認識情報格納部103に格納されている特徴点の情報から検知された場合に、この特徴点の情報に対応付けてユーザ認識情報格納部103に格納されているユーザ識別子を取得しても良い。ユーザ識別子は、例えば、ユーザの会員番号等であっても良く、ユーザに割当てられたユニークな文字列等であっても良く、ユーザのメールアドレス等であっても良い。ここでの特徴点の情報の一致は、完全一致であっても良く、部分一致(例えば、閾値以上の一致)であっても良い。なお、登録されたユーザを認識する処理は、顔認証処理等において公知技術であるため、ここでは詳細な説明は省略する。ただし、解析部102が行なう登録ユーザであるか否かの判断処理は、上記の処理に限定されるものではない。
また、解析部102は、例えば、画像を解析して、取得情報受付部101が受け付けた画像内のユーザに関する属性値を解析結果として取得してもよい。ユーザに関する属性値は、例えば、ユーザの性別や、ユーザの年齢や年齢層等を示す値である。例えば、解析部102は、取得情報受付部101が受け付けた画像から、ユーザの顔や体型等についてユーザの特徴点の情報を取得し、取得した情報を用いてユーザに関する属性値を取得する。例えば、解析部102は、SVMや、SVR、深層学習、決定木、ランダムフォレスト等の機械学習等の技術を用いて、画像から取得した特徴点の情報を用いて、ユーザに関する属性値を取得する。例えば、解析部102は、画像から取得した複数のユーザの特徴点の情報と、この複数のユーザのそれぞれに関する属性値とを予め学習させた学習器を用いて、画像から取得した特徴点の情報から、ユーザの属性値を取得する。学習器は、例えば、図示しない格納部等に予め格納されているようにすればよい。なお、機械学習等により、ユーザの特徴点の情報から、ユーザの性別や年齢等を取得する処理は公知技術であるため、ここでは、詳細な説明は省略する。なお、解析部102が、ユーザに関する属性値を取得する処理は、上記の処理に限定されるものではない。
ユーザ認識情報格納部103には、1または2以上のユーザの顔の特徴点の情報が格納されている。この1または2以上のユーザは、例えば、会員等に予め登録されたユーザである。ここでは、一例として、ユーザ認識情報格納部103に、会員等に予め登録されたユーザの顔の特徴点の情報と、このユーザのユーザ識別子とを有する1または2以上のユーザ認識情報が格納されている場合について説明する。例えば、上述した解析部102は、画像から取得した特徴点と一致する特徴点を有するユーザ認識情報をユーザ認識情報格納部103に格納されているユーザ認識情報から検知し、検知したユーザ認識情報が有するユーザ識別子を取得する。なお、ユーザ認識情報格納部103には、1または2以上のユーザの顔の特徴点の情報の代わりに、ユーザの顔の画像等が格納されているようにして、解析部102が登録されたユーザ等を検知する際に、格納されている顔の画像からユーザの顔の特徴点の情報を取得するようにしても良い。
ユーザ認識情報格納部103は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。かかることは、他の格納部についても同様である。
処理部104は、解析部102の解析結果に応じた処理を行なう。処理部104は、例えば、解析部102が予め決められた条件を満たすと判断した場合に、解析結果に応じた処理として、安全を担保するための安全担保処理を行なう。例えば、解析部102が、上記で(1)〜(3)に示したような判断を行なった結果、予め決められた条件を満たすと判断した場合に、処理部104は、解析結果に応じた処理として、安全を担保するための安全担保処理を行なうようにしてもよい。安全担保処理とは、例えば、燃料供給装置20を用いて燃料供給を行なう際の安全を担保するための処理である。安全担保処理とは、例えば、安全を担保するための警告の出力である。ここでの警告とは、警告を出力するための情報と考えてもよい。警告は、例えば、燃料供給を行えない状況であることを通知する情報や、燃料供給を禁止することを通知する情報や、燃料供給を行なうためにはどのような点を改善すべきかを通知する情報であっても良い。ここでの警告は、警告音や、警告する音声の出力であってもよく、警告するテキストや画像の出力であっても良い。警告は、例えば、上記の(1)〜(3)の判断結果にそれぞれ応じて異なっていてもよい。ここでの警告の出力は、情報処理装置10が出力しても良く、燃料供給装置20が出力してもよい。例えば、処理部104は、燃料供給装置20に対し、所望の警告を出力させるための指示等を出力してもよい。ここでの出力は、ネットワーク等を介した送信であってもよい。
また、安全担保処理は、燃料供給を禁止する制御処理であっても良い。燃料供給を禁止する制御処理は、例えば、燃料供給を禁止するよう燃料供給装置20を制御する処理である。燃料供給を禁止する制御処理とは、燃料を供給するための操作を受け付けなくする制御処理であっても良く、燃料を供給する操作を受け付けても、燃料が供給されないようにする制御処理であってもよい。例えば、処理部104は、燃料供給を禁止する制御指示を燃料供給装置20に出力するようにしても良い。ここでの出力は、ネットワーク等を介した送信であってもよい。
なお、安全担保処理を行なった後に、解析部102が予め決められた条件を満たさなくなったことを検知した場合に、処理部104は、安全担保処理を終了したり解除したりするようにしてもよい。例えば、警告の出力を終了したり、燃料供給の禁止を終了する制御を出力行なってもよい。例えば、処理部104は、警告の出力を終了する指示や、燃料供給の禁止を終了する制御指示を、燃料供給装置20に送信しても良い。
なお、ここでの出力は、モニタへの表示、音出力、外部の装置への送信、他の処理装置や他のプログラム等への処理結果の引渡し等を含む概念である。ユーザ情報出力部106は、モニタやスピーカ等の出力デバイスを含むと考えても含まないと考えても良い。出力部は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
ユーザ情報格納部105には、ユーザ情報が格納される。ユーザ情報は、上述したような登録されたユーザに関する情報である。例えば、ユーザ情報は、特定の組織に属する会員であるユーザに関する情報である。ユーザ情報は、例えば、ユーザが有しているポイントやクーポン等の特典に関する情報であっても良く、ユーザ情報は、ユーザの名前、年齢、性別、住所等の情報であっても良く、ユーザの特定の組織における階級やクラス等を示す情報であってもよい。ユーザ情報は、これらの2以上の情報を有していてもよい。ユーザ情報は、例えば、対応するユーザのユーザ識別子と対応付けてユーザ情報格納部105に格納される。
ユーザ情報出力部106は、解析部102が解析結果として取得したユーザ識別子を用いて、ユーザ情報格納部105からこのユーザ識別子に対応付けられたユーザ情報を取得して出力する。ここでの出力は、モニタへの表示、音出力、外部の装置への送信、他の処理装置や他のプログラム等への処理結果の引渡し等を含む概念である。例えば、ユーザ情報出力部106は、取得したユーザ識別子と一致するユーザ識別子を、ユーザ情報格納部105に格納されているユーザ識別子の中から検知し、検知したユーザ識別子と対応付けられたユーザ情報を読み出して出力する。例えば、ユーザ情報出力部106は、取得したユーザ情報を、燃料供給装置20に送信する。
ユーザ情報出力部106は、モニタやスピーカ等の出力デバイスを含むと考えても含まないと考えても良い。出力部は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
取得部107は、燃料供給装置20が行なう燃料供給に関連する供給関連情報を取得する。供給関連情報は、例えば、燃料供給を行なった日時や、供給した燃料の量を示す情報や、供給した燃料の料金の情報や、燃料の種類を示す情報等である。例えば、取得部107は、燃料供給装置20が出力する供給関連情報を取得する。例えば、取得部107は、燃料供給装置20が送信する供給関連情報を受信する。取得部107は、例えば、情報を受信する受信手段等を有していても良い。
供給関連情報格納部108には、供給関連情報が、解析部102が取得した画像の解析結果と対応付けて蓄積される。
解析蓄積部109は、解析部102が取得した解析結果と、取得部107が取得した供給関連情報とを対応付けて蓄積する。ここでの解析結果は、例えば、解析部102が取得したユーザ識別子、またはユーザに関する属性値であっても良く、その両方であってもよい。
属性対応情報格納部110には、1または2以上の属性対応情報が格納される。属性対応情報は、ユーザの属性値と対応付けて、属性対応情報格納部110に格納される。一の属性値と対応付けられて属性対応情報格納部110に格納されている属性対応情報は、この属性値に対応づけられた情報である。一の属性値に対応付けられた属性対応情報は、この属性値を有するユーザに対して提供することが好ましい、あるいは提供することが求められる情報である。属性対応情報は、例えば、広告である。例えば、一の属性値に対応付けられた属性対応情報は、この属性値を有するユーザに提供することが望まれる広告である。ここでの広告は、テキストデータの広告であってもよく、静止画像や動画像の広告であってもよく、音声の広告であってもよく、そのデータの種類等は問わない。また、一の属性値に対応付けられた属性対応情報は、この属性値を有するユーザに提供することが望まれるクーポンや景品やサービスの引換券等の特典情報であってもよい。クーポンは、例えば、クーポンコード等であってもよい。
属性対応出力部111は、解析部102が取得したユーザの属性値に応じて属性対応情報を取得し出力する。例えば、属性対応出力部111は、属性対応情報格納部110から、解析部102が取得したユーザの属性値と予め決められた関係を有する属性値と対応付けられて蓄積されている属性対応情報を取得し出力する。予め決められた関係は、例えば、一致する、という関係であっても良い。例えば、属性対応出力部111は、属性対応情報格納部110から、解析部102が取得したユーザの属性値と一致する属性値と対応付けられて蓄積されている属性対応情報を取得し出力する。ここでの一致は、完全一致であっても良く、部分一致であってもよい。また、予め決められた関係は、包含関係にある関係等であっても良い。ここでの出力は、モニタへの表示、音出力、外部の装置への送信、他の処理装置や他のプログラム等への処理結果の引渡し等を含む概念である。例えば、属性対応出力部111は、取得した属性対応情報を燃料供給装置20に送信する。
属性対応出力部111は、モニタやスピーカ等の出力デバイスを含むと考えても含まないと考えても良い。出力部は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
カメラ201は、燃料供給装置20が有するセンサである。カメラ201は、画像を撮影する。例えば、カメラ201は、CCD(Charge Coupled Device)やCMOS(Complementary MOS)等の撮像素子と、レンズ等の光学系を有するカメラである。カメラ201は、例えば、可視光に感度を有するカメラである。ただし、赤外線に感度を有するカメラであっても良い。カメラ201は、例えば、燃料の供給を行なうユーザが撮影できる位置に設けられており、このユーザを撮影する。カメラ201は、通常、燃料供給装置20の正面に設けられており、正面に位置するユーザを撮影する。燃料供給装置20の正面とは、例えば、供給する燃料のオーダー等を受け付けるインターフェース(図示せず)等が設けられている面である。カメラ201が撮影する画像は、通常、動画像であるが、一定又は不定のタイミング毎に連続して撮影される静止画像であっても良い。
カメラ201の光軸方向、取付け位置、画角、画素数、撮影する画像がカラーであるかモノクロームであるか等は問わない。カメラ201は、例えば、燃料供給を行なうために燃料供給装置20の正面に立ったユーザを撮影可能な位置に取付けられていることが好ましい。また、カメラ201は、解析部102が行なう解析に利用可能な画像が撮影可能な画角や光軸方向、画素数等を有していることが好ましい。例えば、解析部102が、ユーザの顔から、解析によってユーザを特定する場合、カメラ201は、ユーザの顔が撮影可能となるような光軸方向および画角となるよう燃料供給装置20に取付けられていることが好ましい。カメラ201は、例えば、広角レンズや魚眼レンズ等を備えたカメラであることが好ましい。また、解析部102が、ユーザが静電除去シート210にタッチした否かを解析する場合、カメラ201は、静電除去シート210が撮影可能となるような光軸方向および画角となるよう燃料供給装置20に取付けられていることが好ましい。カメラ201が画像の撮影を開始するタイミング等は問わない。例えば、カメラ201は、常時、画像を撮影していても良く、ユーザが後述するタッチパネル2071等を操作した場合に撮影を開始しても良い。なお、燃料供給装置20が有するカメラ201は、通常一つであるが、複数であっても良い。また、カメラ201は、撮影した画像の画角等を補整した画像を、後述する取得情報出力部202に渡しても良い。なお、カメラ201は、距離画像センサ(図示せず)を用いて距離画像を撮影するカメラであっても良い。
取得情報出力部202は、燃料供給装置20が有するセンサが取得した取得情報を情報処理装置20に出力する。ここでは、取得情報出力部202が、センサであるカメラ201が撮影した画像を情報処理装置10に出力する例について説明する。ここでの出力は、送信であっても良い。例えば、取得情報出力部202は、カメラ201が撮影した画像を情報処理装置10に送信する。取得情報出力部202は、カメラ201が撮影した画像を、タイムラグができるだけ生じないように出力することが好ましい。例えば、取得情報出力部202は、無線または有線の通信手段で実現される。
受付部203は、情報処理装置10から出力される情報を受け付ける。受付部203は、例えば、情報処理装置10から出力される警告、燃料供給を禁止するための制御指示、ユーザ情報、および属性対応情報を受け付ける。ここでの受け付けは受信であっても良い。受付部203は、例えば、処理部104が送信する警告を受信する。また、受付部203は、例えば、処理部104が送信する燃料供給を禁止するための制御指示を受信する。また、受付部203は、例えば、ユーザ情報出力部106が送信するユーザ情報を受信する。また、受付部203は、例えば、属性対応出力部111が送信する属性対応情報を受信する。例えば、受付部203は、無線または有線の通信手段で実現される。
供給機204は、燃料を供給する処理等を行なう。供給機204は、例えば、図示しない燃料タンク、燃料タンクと連通する燃料の経路となる供給管、供給管の途中に設けられた燃料を供給するためのポンプ、流量パルス発振器等と接続された燃料の流量計等を備えている。この供給管の先端(燃料タンクとは反対側の端部)に、ホース211を介してノズル212が取付けられている。供給機204は、例えば、通常のガソリン等の液体燃料の燃料供給装置と同様の構成を有していればよい。供給機204の構成は公知であるため、詳細な説明は省略する。なお、供給機204の構成は、燃料が供給可能なものであれば、この構成に限定されるものではない。
なお、燃料供給装置20は、ユーザに対して決済処理等を行なう決済処理部(図示せず)等を有していても良い。決済処理は、例えば、課金処理も含むと考えてもよい。決済処理部については、通常の燃料供給装置等において公知であるため、ここでは詳細な説明は省略する。
制御部205は、供給機204による燃料の供給を制御する。例えば、制御部205は、供給機204からの燃料供給の開始や停止を制御する。制御部205は、例えば、後述する操作受付部207が受け付けた操作に応じて、供給機204からの燃料供給の開始や停止を制御する。制御部205は、受付部203が受け付けた燃料供給を禁止するための制御指示に応じて、燃料供給を行なわないようにする。例えば、制御部205は、燃料供給を禁止するための制御指示に応じて、燃料を供給する操作を受け付けられないよう操作受付部207等を制御してもよく、燃料を供給する操作を受け付けても供給機204が燃料を供給しないよう制御してもよい。燃料を供給する操作を受け付けないようにする制御は、例えば、供給機204がノズル212から液体燃料を供給するものである場合、供給機204に接続されたノズル212の燃料を供給するためのレバーを引けないようにロックすることや、レバーを引いても、燃料を供給する指示が、供給機204が有する燃料を送り出すポンプ(図示せず)に送信されないようにすることであっても良い。なお、燃料供給を禁止する制御は、かかる制御に限定されるものではない。
制御部205は、供給機204等から上述したような供給関連情報を取得する。また、制御部205は、カメラ201や取得情報出力部202等の他の処理部の処理を制御してもよい。また、制御部205は、上述したような図示しない決済処理部の処理を制御してもよい。なお、制御部205は、受付部203が燃料供給の禁止を終了する制御指示を受け付けた場合、この制御指示に応じて、燃料供給の禁止を終了してもよい。燃料供給の禁止を終了する、ということは、例えば、供給機204を燃料供給可能な状態に制御することである。
出力部206は、例えば、受付部203が受け付けた警告の出力を行なう。例えば、出力部206は、受付部203が受け付けたユーザ情報を出力する。また、出力部206は、例えば、受付部203が受け付けた広告等の属性対応情報を出力する。ここでの出力は、表示であっても良く、音声出力であっても良く、これらの組合せであっても良い。なお、出力部206は、例えば、燃料供給装置20に対する操作や、料金決済のための操作等を受け付けるための操作メニュー画面等を表示してもよい。出力部206は、表示を、例えば、燃料供給装置20の正面に設けられたモニタ2061を用いて行なう。ただし、出力部206が利用する表示デバイスはモニタ2061に限定されるものではない。また、出力部203が警告の出力を終了する指示を受付部203が受け付けた場合、この指示に応じて警告の表示を終了しても良い。
操作受付部207は、燃料供給装置20に対する操作を受け付ける。例えば、操作受付部207は、燃料供給を行なうための操作や、料金決済のための操作等を受け付けてもよい。操作受付部207は、例えば、出力部206が表示する操作メニュー画面等を介して操作を受け付ける。ここでは、操作受付部207がタッチパネル2071を介して操作を受け付ける場合を例に挙げて説明する。ただし、操作受付部207が操作を受け付ける入力デバイス等は、タッチパネル2071に限定されるものではない。例えば、操作受付部207は、図示しないボタン等を介して操作を受け付けても良い。
供給関連出力部208は、制御部205が取得した供給関連情報を情報処理装置10に出力する。ここでの出力は、例えば、送信である。例えば、取得情報出力部202は、無線または有線の通信手段で実現される。
次に、情報処理装置10の動作の一例について図3のフローチャートを用いて説明する。
(ステップS101)取得情報受付部101は、カメラ201が撮影した画像の受け付け(例えば、受信)を開始するか否かを判断する。例えば、取得情報受付部101は、画像を受け付けていない状態において、新たに画像を受け付けた場合に、画像の受付を開始する。取得情報受付部101は、画像の受け付けを開始すると判断した場合、カメラ201が順次撮影する画像の受け付けを開始し、ステップS102に進む。また、画像の受け付けを開始しない場合、ステップS101に戻る。
(ステップS102)解析部102は、取得情報受付部101が受け付けた画像を解析して、ユーザが登録されたユーザであるか否かを判断する。登録されたユーザである場合、このユーザのユーザ識別子を取得し、ステップS103に進み、登録されたユーザでない場合、ステップS104に進む。
(ステップS103)ユーザ情報出力部106は、ステップS102で取得されたユーザ識別子に対応するユーザ情報をユーザ情報格納部105から取得して出力する。ここでの出力は、例えば、燃料供給装置20への送信である。そして、ステップS105に進む。
(ステップS104)ユーザ情報出力部106は、登録されたユーザでないことを示す情報を出力する。ここでの出力は、例えば、燃料供給装置20への送信である。そして、ステップS105に進む。
(ステップS105)解析部102は、取得情報受付部101が受け付けた画像を解析して、ユーザの属性値を取得する。
(ステップS106)属性対応出力部111は、ステップS105で取得した属性対応情報を属性対応情報格納部110から取得して出力する。ここでの出力は、例えば、燃料供給装置20への送信である。
(ステップS107)解析部102は、取得情報受付部101が受け付けた画像を解析して、ユーザが予め決められた物品を保持しているか否かを検知し、検知した結果が予め決められた条件を満たすか否かを判断する。例えば、燃料供給時に保持していることが禁止されている物品を保持していることを検知した場合、予め決められた条件を満たすと判断し、保持していない場合、条件を満たさないと判断する。予め決められた条件を満たす場合、ステップS108に進み、満たさない場合、ステップS111に進む。
(ステップS108)処理部104は、安全担保処理を行なう。例えば、処理部104は、安全担保処理として、燃料供給を禁止する制御指示と、物品の保持に関する警告とを燃料供給装置20へ送信する。
(ステップS109)解析部102は、取得情報受付部101が受け付けた画像を解析して、ユーザが予め決められた物品を保持しているか否かを検知し、検知した結果が予め決められた条件を満たすか否かを判断する。条件を満たす場合、ステップS109に戻り、条件を満たさない場合、ステップS110に進む。
(ステップS110)処理部104は、安全担保処理を終了する。例えば、処理部104は、燃料供給の禁止を終了する制御指示と、物品の保持に関する警告の出力を終了する指示とを、燃料供給装置20へ送信する。
(ステップS111)解析部102は、取得情報受付部101が受け付けた画像を解析して、ユーザの人数を検知し、人数が複数であるか否かを検知する。そして、検知した結果が予め決められた条件を満たすか否かを判断する。例えば、人数が複数である場合、予め決められた条件を満たすと判断し、複数でない場合、条件を満たさないと判断する。予め決められた条件を満たす場合、ステップS112に進み、満たさない場合、ステップS115に進む。
(ステップS112)処理部104は、安全担保処理を行なう。例えば、処理部104は、燃料供給を禁止する制御指示と、複数の人数が燃料供給装置20の近くにいることに関する警告とを、燃料供給装置20へ送信する。
(ステップS113)取得情報受付部101が受け付けた画像を解析して、ユーザの人数を検知し、人数が複数であるか否かを検知する。そして、検知した結果が予め決められた条件を満たすか否かを判断する。条件を満たす場合、ステップS113に戻り、条件を満たさない場合、ステップS114に進む。
(ステップS114)処理部104は、安全担保処理を終了する。例えば、処理部104は、燃料供給の禁止を終了する制御指示と、複数の人数が燃料供給装置20の近くにいることに関する警告の出力を終了する指示とを、燃料供給装置20へ送信する。
(ステップS115)解析部102は、取得情報受付部101が受け付けた画像を解析して、ユーザが予め決められた動作を行なったか否かを検知し、検知した結果が予め決められた条件を満たすか否かを判断する。例えば、静電除去シート210へのタッチ等の燃料供給時に必須の予め決められた動作が行なわれていない場合、予め決められた条件を満たすと判断し、動作が行なわれた場合、条件を満たさないと判断する。予め決められた条件を満たす場合、ステップS116に進み、満たさない場合、ステップS119に進む。なお、静電除去シート210へのタッチのように、予め決められた動作が、給油を行なう際に一度行なえばよい動作である場合、解析部102は、例えば、このステップや、後述するステップS117において、一度、ユーザが予め決められた動作を行なったことが検知された場合、フラグ等の情報を図示しない格納部等に蓄積するようにして、その後のこのステップS115の処理においては、解析部102は、このフラグ等の情報が格納されていることが検知された場合、画像を解析せずに、動作の検知結果が予め決められた条件を満たさないと判断するようにする。
(ステップS116)処理部104は、安全担保処理を行なう。例えば、処理部104は、燃料供給を禁止する制御指示と、予め決められた動作を行なわれていないことに関する警告とを、燃料供給装置20へ送信する。
(ステップS117)解析部102は、取得情報受付部101が受け付けた画像を解析して、ユーザが予め決められた動作を行なったか否かを検知し、検知した結果が予め決められた条件を満たすか否かを判断する。条件を満たす場合、ステップS117に戻り、条件を満たさない場合、ステップS118に進む。
(ステップS118)処理部104は、安全担保処理を終了する。例えば、処理部104は、燃料供給の禁止を終了する制御指示と、予め決められた動作を行なわれていないことに関する警告の出力を終了する指示とを、燃料供給装置20へ送信する。
(ステップS119)取得情報受付部101は、画像の受け付けが終了したか否かを判断する。例えば、燃料供給装置20からの画像の送信が終了したか否かを判断する。終了した場合、ステップS120に進み、終了していない場合、ステップS107に戻る。
(ステップS120)取得部107は、供給関連情報を取得したか否かを判断する。例えば、燃料供給装置20から供給関連情報を受信したか否かを判断する。供給関連情報を取得した場合(例えば、受信した場合)、ステップS121に進み、取得していない場合、ステップS120に戻る。
(ステップS121)解析蓄積部109は、ステップS120で取得した供給関連情報を、解析部102が上記で取得した解析結果のうちの予め指定された1以上を対応付けて供給関連情報格納部108に蓄積する。上記で取得した解析結果は、例えば、ユーザ識別子であっても良く、ユーザの属性値であっても良い。なお、解析部102が上記以外の解析を行なうようにし、解析によって取得した解析結果を、解析蓄積部109が供給関連情報と対応付けて蓄積するようにしても良い。そして、ステップS101に戻る。
なお、図3のフローチャートにおいて、解析部102が複数の解析を行なう順番等は、上記の順番に限定されるものではない。例えば、ステップS115からステップS118までの処理は、ステップS107の前に行なうようにしても良い。
なお、図3のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
次に、燃料供給装置20の動作の一例について図4のフローチャートを用いて説明する。なお、ここでは、燃料供給装置20が行なう決済処理や、供給する燃料に関するオーダーを受け付ける処理等は省略する。
(ステップS201)カメラ201は、撮影開始のタイミングであるか否かを判断する。例えば、操作受付部207が燃料供給をオーダーするための操作(例えば、燃料供給開始のためのメニュー項目の選択やボタンの押下等)を受け付けた場合に、カメラ201は撮影開始のタイミングであると判断しても良い。また、図示しない赤外線センサ等のセンサが、ユーザが燃料供給装置20の正面に居ることを検知した場合に、カメラ201は撮影開始のタイミングであると判断してもよい。撮影開始のタイミングである場合、ステップS202に進み、撮影開始のタイミングでない場合、ステップS201に戻る。
(ステップS202)カメラ201は、撮影を開始して画像を取得する。カメラ201は、例えば、連続的に撮影を行なって動画像を取得する。
(ステップS203)取得情報出力部202は、カメラ201が撮影した画像を情報処理装置10に出力する。ここでの出力は、例えば送信である。
(ステップS204)受付部203は、ユーザ情報を情報処理装置10から受け付けたか否か(例えば、受信したか否か)を判断する。受け付けた場合、ステップS205に進み、受け付けていない場合、ステップS206に進む。
(ステップS205)出力部206は、ステップS204で受け付けたユーザ情報を出力する。例えば、出力部206は、ユーザ情報をモニタ2061に表示してもよく、図示しないスピーカ等からユーザ情報を音声出力してもよい。そして、ステップS207に進む。
(ステップS206)受付部206は、登録されたユーザでないことを示す情報を情報処理装置10から受け付けたか否か(例えば、受信したか否か)を判断する。受け付けた場合、ステップS207に進み、受け付けていない場合、ステップS206に戻る。
(ステップS207)受付部203は、情報処理装置10から属性対応情報を受け付けたか(受信したか)否かを判断する。受け付けた場合、ステップS208に進み、受け付けていない場合、ステップS207に戻る。
(ステップS208)出力部206は、ステップS207で受け付けた属性対応情報を出力する。例えば、出力部206は、受け付けた属性対応情報である広告の画像や音声を、モニタ2061や図示しないスピーカ等から出力する。
(ステップS209)受付部203は、燃料供給の禁止の制御指示と、警告とを受け付けたか否かを判断する。例えば、燃料供給の禁止の制御指示と、警告とを、情報処理装置10から受信したか否かを判断する。受け付けた場合(例えば、受信した場合)、ステップS210に進み、受け付けていない場合、ステップS214に進む。
(ステップS210)制御部205は、ステップS209で受け付けた制御指示に応じて、燃料供給の禁止の制御を行なう。例えば、操作受付部207等が燃料を供給する操作を受け付けないように制御してもよく、燃料を供給する操作を受け付けても、供給機204が燃料を供給しないよう供給機204等を制御しても良い。ここで受け付ける燃料供給の禁止の制御指示および警告は、図3において説明したステップS108、ステップS112、およびステップS116のいずれのステップで出力されたものであっても良い。
(ステップS211)出力部206は、ステップS209で受け付けた警告を出力する。
(ステップS212)受付部203は、燃料供給の禁止を終了する制御指示と、警告の出力を終了する指示とを受け付けたか否か(例えば、情報処理装置10から受信したか否か)を判断する。受け付けていない場合、ステップS212に戻り、受け付けた場合、ステップS213に進む。
(ステップS213)制御部205は、ステップS212で受け付けた制御指示に応じて、ステップS210で行なった燃料供給を禁止する制御を終了して、燃料供給を可能な状況とする。例えば、燃料の供給中に、燃料供給を禁止する制御によって、燃料の供給が中断された場合においては、燃料の供給を再開可能な状態とする。また、出力部206は、ステップS212で受け付けた指示に応じて、ステップS210で行なった警告の出力を終了する。そして、ステップS209に戻る。
(ステップS214)操作受付部207は、燃料を供給する操作をユーザから受け付けたか否かを判断する。燃料を供給する操作は、例えば、ノズル212に設けられた燃料を供給する図示しないレバー等を握る操作である。受け付けた場合、ステップS214に進み、受け付けていない場合、ステップS209に戻る。なお、既に、燃料を供給する操作をユーザから受け付けている場合や、既に燃料を供給する操作を受け付けて、燃料の供給が行なわれている場合等も、ここでは、燃料を供給する操作を受け付けたと判断しても良い。
(ステップS215)供給機204は、燃料を供給する。
(ステップS216)供給機204は、燃料供給を終了するか否かを判断する。例えば、予め決められた量の燃料が供給された時点で燃料供給を終了する。終了する場合、ステップS216に進み、終了しない場合、ステップS209に戻る。
(ステップS217)カメラ201は撮影を終了する。また、取得情報出力部202は、画像の出力を終了する。
(ステップS218)供給関連出力部208は、制御部205から供給関連情報を取得し、情報処理装置10に出力(例えば、送信)する。そして、ステップS201に戻る。
なお、図4のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
(具体例)
以下、本実施の形態における燃料供給システム1の具体的な動作について一例を挙げて説明する。ここでは、燃料供給装置20が、レギュラーガソリン、いわゆるハイオクガソリンと呼ばれる高オクタン価ガソリン、および軽油を供給可能なものである場合を例に挙げて説明する。
ユーザが、ガソリンの給油を行なうために、移動体である自動車を燃料供給装置20の前に駐車して、自動車から降りて、燃料供給装置20の正面に立ったとする。そして、給油を行なうために、モニタ2061に表示される給油をオーダーするためのメニューボタンを、タッチパネル2071を介して押したとする。操作受付部207がこの操作を受け付けると、カメラ201は、撮影を行なうタイミングであると判断して、燃料供給装置20の正面のユーザの撮影を開始する。取得情報出力部202は、カメラ201が取得した動画像を、順次、情報処理装置10に対して送信する。ここでは、カメラ201は、広角レンズ(図示せず)を有しているものとする。
情報処理装置10の取得情報受付部101は、燃料供給装置20から画像が送信されると、この画像の受信を開始する。
図5は、ユーザ認識情報格納部103に格納されているユーザ認識情報を管理するユーザ認識情報管理表である。ユーザ認識情報管理表は、「ユーザID」および「特徴点」という属性を有している。「ユーザID」は、ユーザ識別子であり、ここでは、例えば、ユーザの会員番号であるとする。「特徴点」は、ユーザの顔の特徴点の情報であり、ここでは、複数の特徴点の情報が格納されたファイルのファイル名を示している。ユーザ認識情報管理表の各レコード(行)が、それぞれのユーザに対応したユーザ認識情報であるとする。このユーザ認識情報管理表は、燃料供給装置20を用いた給油を提供する企業が運営する会員制度の会員として予め登録されたユーザのユーザ識別子と、そのユーザの顔の特徴点の情報とを有するユーザ認識情報を管理するものであるとする。
図6(a)〜図6(d)は、解析部102が行なう解析を説明するための、取得情報受付部101が受信した画像の1フレームを示す図である。各画像には、ドーム形状の静電除去シート210が写っているものとする。
図7は、ユーザ情報格納部105に格納されているユーザ情報を管理するユーザ情報管理表を示す図である。ユーザ情報管理表は、「ユーザID」と「ユーザ情報」という属性を有している。「ユーザ情報」は、さらに「ポイント数」と「氏名」という属性を有している。「ユーザID」については、図5の「ユーザID」と同様である。「ユーザ情報」は、ユーザ情報である。「ポイント数」は、ユーザが有するポイント数であるとする。ポイント数とは、例えば、給油に関して発生する料金の支払の割引に利用できるポイントの値や、物品に交換可能なポイントの値である。「氏名」は、ユーザの氏名である。ここでは、ユーザ情報が、ポイント数と、氏名とで構成されている
図8(a)は、出力部206によるユーザ情報の表示例を示す図であり、図8(b)は、出力部206による属性対応情報の表示例を示す図である。
解析部102は、取得情報受付部101が受信した画像を解析して、画像に撮影されているユーザが登録されたユーザであるか否かを判断する。例えば、取得情報受付部101が受信した画像が、図6(a)に示すような画像であったとすると、解析部102は、まず、ユーザの顔61を認識し、認識したユーザの顔61から複数の特徴点の情報を取得する。そして、図5に示したユーザ認識情報管理表の各レコードの中から、「特徴点」の属性値が示すファイルが有する複数の特徴点が、ユーザの顔61から取得した複数の特徴点と一致するレコードを検出する。ここでは、複数の特徴点のうちの予め設定された閾値以上の比率が一致(例えば、特徴点が90%以上一致等)する場合、顔から取得した複数の特徴点と、一のレコードの「特徴点」の属性値が示すファイルが有する複数の特徴点とが一致すると判断する。そして、一致するレコードが検出できた場合、解析部102は、検出されたレコードの「ユーザID」の属性値を取得する。ここでは、「特徴点」の情報が一致するレコードが検出され、そのレコードの「ユーザID」である「M1003」を解析部102が取得したとする。
ユーザ情報出力部106は、図7に示したユーザ情報管理表のレコード(行)の中から、「ユーザID」の属性値が、解析部102が上記で取得した「ユーザID」である「M1003」と一致するレコードを検出し、検出したレコードの「ポイント数」の属性値である「750」と「氏名」の属性値である「木村C助」を取得する。そして、ユーザ情報出力部106は、取得したユーザ情報であるポイント数「750」と氏名「木村C助」とを、燃料供給装置20に送信する。
燃料供給装置20の受付部203は、ユーザ情報であるポイント数「750」と氏名「木村C助」とを情報処理装置10から受信する。出力部206は、受信したポイント数と氏名とを、図8(a)に示すようにモニタ2061に表示する。受信した情報は、例えば、予め用意されたテンプレート等に配置して表示される。このようにして、ユーザの顔を自動的に認識して、ユーザ情報を燃料供給装置20のモニタ2061に表示することができる。
なお、ユーザ認識情報管理表において「特徴点」の情報が一致するレコードが検出できず、登録されたユーザであると判断できなかった場合、上記のようなユーザ情報等を取得する処理は行なわない。
次に、解析部102は、上記のように画像から取得したユーザの顔の特徴点から、図示しない格納部等に予め格納されている学習器を用いて、ユーザの属性値を取得する。ここでは、属性値として性別と年齢層とを示す情報を取得する。ここで用いられる学習器は、例えば、複数のユーザから取得した各ユーザの顔の特徴点と、各ユーザの性別と、各ユーザの年齢とを学習して得られる学習器である。解析部102は、属性値として、性別「男性」および年齢層「40代」という情報を取得したとする。
図9は、属性対応情報格納部110に格納されている属性対応情報を管理する属性対応情報管理表を示す図である。属性対応情報管理表は、「性別」、「年齢層」、および「属性対応情報」という属性を有している。「性別」は、ユーザの性別、「年齢層」は、ユーザの年齢層、「属性対応情報」は、広告の情報であり、ここでは、広告の動画像のファイル名を示している。この「属性対応情報」が示す広告の情報は、同じレコードの「性別」および「年齢層」が示す性別および年齢層のユーザをターゲットとした広告の情報であるとする。
図10(a)〜図10(c)は、出力部206が出力する警告の表示例である。
属性対応出力部111は、図9に示す属性対応情報管理表において、「性別」の属性値が「男性」であり、かつ「年齢層」の属性値が「40代」であるレコードを検出し、検出したレコードの「属性対応情報」の属性値である「m40.mp4」を取得する。そして、属性対応情報であるファイル名が「m40.mp4」である広告の動画像のファイルを取得し、取得したファイルを燃料供給装置20に送信する。
燃料供給装置20の受付部203が属性対応情報であるファイル名が「m40.mp4」である動画像のファイルを受信すると、出力部206は、図8(b)に示すように、この動画像のファイルを燃料供給装置20のモニタ2061に表示する。これにより、ユーザの性別および年齢層にあった広告の動画像がモニタ2061に表示される。
なお、ここでは、燃料供給装置20の操作受付部207は、例えば、上記のような給油をオーダーするための操作を受け付けたあと、属性対応情報である広告の出力が終了するまでの間に、給油の種類や、給油量を指定する操作や、料金支払等の操作を受け付けていたとする。そして、この操作の受け付けに応じて、燃料供給装置20が、ユーザによるノズル212のレバー(図示せず)の操作に応じて給油が可能な状態となっていたとする。ここでの給油の種類や、給油量を指定する操作の受け付けは、例えば、出力部206がモニタ2061に表示する給油の種類や、給油量、支払方法等を受け付けるためのメニュー画面等により受け付けるようにすればよい。
情報処理装置10の解析部102は、取得情報受付部101が受け付けた画像を解析して、ユーザが、予め決められた物品を保持していることを検知する処理を行なう。ここでは、予め決められた物品がタバコであるとする。すなわち、解析部102は、ユーザがタバコを保持していることを検知する処理を行なう。ここでは、例えば、取得情報受付部101が受け付けた画像が、上述したような図6(a)に示したような画像であるとすると、解析部102はこの画像内において画像認識を行なって、タバコを検知する処理を行なう。そして、タバコが検知されなかった場合、解析部102は、ユーザが予め決められた物品を保持していることに関して、予め決められた条件を満たさないと判断する。例えば、図6(a)においては、タバコが検知されないため、解析部102は予め決められた条件を満たさないと判断する。このため、処理部104は、安全担保処理を行なわない。そして、解析部102は、後述するように、人数について解析を行なう。
ここで、仮に、取得情報受付部101が受け付けた画像が、図6(b)に示すような画像であり、この画像から画像認識によりタバコ62が検知されたとすると、解析部102は、ユーザが予め決められた物品を保持していることに関して、予め決められた条件を満たすと判断する。このため、処理部104は、安全担保処理として、給油を禁止する制御指示と、タバコを保持していることに関する警告とを、燃料供給装置20に送信する。タバコを保持していることに関する警告は、例えば、タバコを保持しているために給油ができないこと、およびタバコを捨てることをユーザに求める警告のテキストの情報であるとする。この警告は、予め図示しない格納部等に格納されているものとする。
燃料供給装置20の受付部203が、情報処理装置10の処理部104が送信する給油を禁止する制御指示と、警告とを受信すると、燃料供給装置20の制御部205は、受信された制御指示に応じて、供給機204が燃料を供給しないように制御する。具体的には、燃料供給装置20のノズル212に設けられた給油を行なうレバー(図示せず)を握ったとしても、燃料がノズル212から供給できないように、供給機204を制御する。例えば、給油を行なうレバー(図示せず)を握っても、供給機204の燃料を供給するポンプ(図示せず)が動作しないよう制御する。
また、出力部206は、受付部203が受信した警告を図10(a)に示すように、モニタ2061に表示する。
情報処理装置10の解析部102は、予め決められた物品であるタバコを保持していることを一旦検知した場合、再度、取得情報受付部101が受け付ける画像を解析して、ユーザが、タバコを保持していることを検知する処理を、予め決められた物品を保持していることが検知されなくなるまで繰り返し行なう。これにより、ユーザが予め決められた物品であるタバコを保持している間は、安全担保処理が継続されることとなる。そして、解析部102が、ユーザがタバコを保持していることを検知しなくなった場合、解析部102は、予め決められた条件を満たさないと判断する。この判断に応じて、処理部104は、給油の禁止を終了する制御指示と、警告の出力を終了する指示とを燃料供給装置20に送信する。そして、解析部102は、人数に関する解析を行なう。
燃料供給装置20の受付部203が、情報処理装置10の処理部104が送信する給油の禁止を終了する制御指示と、警告の出力を終了する指示とを受信すると、燃料供給装置20の制御部205は、受信された制御指示に応じて、供給機204による給油の禁止を終了し、給油可能な状態となるよう制御する。また、出力部206は警告の出力を終了する。
上記のように、ユーザが保持する物品(ここでは、タバコ)について予め決められた条件を満たさないと判断した場合、解析部102は、画像内に複数の人物が存在するか否かを検知する処理を行なう。例えば、解析部102は、取得情報受付部101が受け付けた画像において、顔認識を行なって顔を検知し、検知した顔の数をカウントする。ここでは、例えば、取得情報受付部101が受け付けた画像が、上述したような図6(a)に示したような画像であるとすると、解析部102はこの画像内において顔認識を行なって顔を検知して、顔の数をカウントする。そして、顔が一つしか検知されなかった場合、解析部102は、複数の人物しか検知されないと判断し、人数についての予め決められた条件を満たさないと判断する。例えば、図6(a)においては、顔が一つしか検知されないため、解析部102予め決められた条件を満たさないと判断する。このため、処理部104は、安全担保処理を行なわない。そして、解析部102は、後述するように、ユーザの動作について解析を行なう。
ここで、仮に、取得情報受付部101が受け付けた画像が、図6(c)に示すような画像であり、この画像から画像認識により顔61および顔63が検知されたとすると、検知した顔の数をカウントして、解析部102は、複数の人物を検知したと判断する。このため、解析部102は、人数に関して、予め決められた条件を満たすと判断する。このため、処理部104は、安全担保処理として、給油を禁止する制御指示と、複数の人物が存在することに関する警告を、燃料供給装置20に送信する。複数の人物が存在することに関する警告は、例えば、複数の人物が存在するために給油ができないこと、および一人で給油することをユーザに求めるテキストの情報であるとする。この警告は、予め図示しない格納部等に格納されているものとする。
燃料供給装置20の受付部203が、情報処理装置10の処理部104が送信する給油を禁止する制御指示と、警告とを受信すると、燃料供給装置20の制御部205は、受信された制御指示に応じて、供給機204が燃料を供給しないように制御する。また、出力部206は、受付部203が受信した警告を図10(b)に示すように、モニタ2061に表示する。
情報処理装置10の解析部102は、複数の人物が存在することを一旦検知した場合、取得情報受付部101が受け付ける画像を解析して、ユーザが、複数の人物が存在することを検知する処理を、複数の人物が存在することが検知されなくなるまで繰り返し行なう。これにより、複数の人物が存在する間は、安全担保処理が継続されることとなる。そして、解析部102が、複数の人物が存在することを検知しなくなった場合、解析部102は、予め決められた条件を満たさないと判断する。この判断に応じて、処理部104は、給油の禁止を終了する制御指示と、警告の出力を終了する指示とを燃料供給装置20に送信する。そして、解析部102は、ユーザの動作に関する解析を行なう。
燃料供給装置20の受付部203が、情報処理装置10の処理部104が送信する給油の禁止を終了する制御指示と、警告の出力を終了する指示とを受信すると、燃料供給装置20の制御部205は、受信された制御指示に応じて、供給機204による給油の禁止を終了し、給油可能な状態となるよう制御する。また、出力部206は警告の出力を終了する。
画像内に複数の人物が存在することを検知しなかった場合、解析部102は、ユーザが予め決められた動作を検知する処理を行なう。ここでの予め決められた動作は、静電除去シート210にタッチする動作である。例えば、解析部102は、取得情報受付部101が受け付けた画像内の静電除去シート210が位置する領域210aに、ユーザの手が侵入したか否かを検知する処理を行なう。例えば、静電除去シート210が位置する領域210aに対する物体の侵入を検知し、検知した場合に、検知した物体がユーザの手であるか否かを画像認識を行なって判断する。そして、ユーザの手である場合に、静電除去シート210にタッチしたことを検知する。それ以外の場合(例えば、領域210aに対する物体の侵入が検知できない場合や、侵入した物体がユーザの手でない場合等)には、タッチしたことを検知しない。例えば、取得情報受付部101が受け付けた画像が、図6(d)に示すような画像であったとすると、解析部102は、静電除去シート210が位置する領域210a内に物体の侵入を検知し、この物体が手であることを検知して、ユーザが静電除去シート210にタッチしたことを検知する。これにより、解析部102は、ユーザが静電除去シート210にタッチしたと判断して、ユーザの動作が予め決められた条件を満たさないと判断する。このため、処理部104は、安全担保処理を行なわない。そして、後述するように、画像受付部210が画像を受け付けたか否かの判断処理を行なう。なお、一旦、静電除去シート210に対するタッチを検出した以降は、解析部102は、ユーザが静電除去シート210にタッチしたか否かの検知を行なわずに、ユーザの動作が予め決められた条件を満たさないと判断する。
ここで、例えば、取得情報受付部101が受け付けた画像が、図6(a)に示したような画像であるとすると、静電除去シート210が位置する領域210aに物体が侵入していないため、解析部102は、ユーザが静電除去シート210にタッチしていないと判断し、ユーザの動作についての予め決められた条件を満たすと判断する。このため、処理部104は、安全担保処理を行なう。処理部104は、安全担保処理として、給油を禁止する制御指示と、静電除去シート210にタッチしていないことに関する警告とを、燃料供給装置20に送信する。静電除去シート210にタッチしていないことに関する警告は、例えば、静電除去シート210にタッチしていないため給油ができないこと、および静電除去シート210にタッチすることをユーザに求めるテキストの情報であるとする。この警告は、予め図示しない格納部等に格納されているものとする。
燃料供給装置20の受付部203が、情報処理装置10の処理部104が送信する給油を禁止する制御指示と、警告とを受信すると、燃料供給装置20の制御部205は、受信された制御指示に応じて、供給機204が燃料を供給しないように制御する。また、出力部206は、受付部203が受信した警告を図10(c)に示すように、モニタ2061に表示する。
情報処理装置10の解析部102は、静電除去シート210にタッチしていないことを一旦、検知した場合、取得情報受付部101が受け付ける画像を解析して、ユーザが、静電除去シート210にタッチしていないことを検知する処理を、ユーザが静電除去シート210にタッチしたことが検知されるまで繰り返し行なう。これにより、静電除去シート210にタッチするまでは、安全担保処理が継続される。そして、解析部102が、静電除去シート210にタッチしたことを検知した場合、解析部102は、予め決められた条件を満たさないと判断する。この判断に応じて、処理部104は、給油の禁止を終了する制御指示と、警告の出力を終了する指示とを燃料供給装置20に送信する。なお、一旦、静電除去シート210に対するタッチを検出した以降は、解析部102は、ユーザが静電除去シート210にタッチしたか否かの検知を行なわずに、ユーザの動作が予め決められた条件を満たさないと判断する。
燃料供給装置20の受付部203が、情報処理装置10の処理部104が送信する給油の禁止を終了する制御指示と、警告の出力を終了する指示とを受信すると、燃料供給装置20の制御部205は、受信された制御指示に応じて、供給機204による給油の禁止を終了し、給油可能な状態となるよう制御する。また、出力部206は警告の出力を終了する。
上記のように、ユーザの動作が予め決められた条件を満たさないと判断された場合、画像受付部210は、画像の受け付け(ここでは、画像の受信)を終了したか否かの判断処理を行なう。解析部102は、画像受付部210が画像の受け付けを終了したと判断するまで、上述したようなユーザの保持する物品についての解析、人数についての解析、および動作についての解析を繰り返す。
燃料供給装置20の操作受付部207は、給油を禁止する制御を制御部205から受けていない状態において、ユーザから給油を行なう操作を受け付けたか否かの判断を行なう。そして、操作受付部207が、ノズル212の給油を行なうレバー等を介して、レバーを握る操作等の、給油を行なうための操作を受け付けた場合、供給機204は、ノズル212から給油を行なう。
受付部203は、給油開始前も、給油中も、給油を禁止する制御指示および警告を受信したか否かの判断を行なう。この判断は、カメラ201による撮影が終了するまで行なわれる。例えば、給油中に、受付部203が給油を禁止する制御指示を受信した場合、この制御指示に応じて、制御部205が供給機204に対して給油を禁止する制御を行なうことで、給油が中断される。また、出力部206は、受信した警告を表示する。この給油の中断や警告の出力は、上記と同様に、受付部203が給油の禁止を終了する制御指示および警告の出力を終了する指示を受信することによって解除され、給油が再開され、警告の表示も消える。
供給機204は、ユーザ等により指定された量の給油が行なわれたか否かを判断し、指定された量が給油されたと判断した場合に供給機204は給油を終了する。
供給機204が、給油を終了すると、カメラ201は撮影を終了し、画像出力部302は画像の出力を終了する。
供給関連出力部208は、供給機204が行なった給油に関する供給関連情報として、レギュラーやハイオク等の給油の種類、給油量、金額、給油開始日時等の情報を、制御部205等から取得し、取得した供給関連情報を情報処理装置10に送信する。取得した供給関連情報は、給油の種類を示す「ハイオク」と、給油量を示す「40.0」L、給油開始時刻「14:20」であるとする。
情報処理装置10の画像受付部210は、燃料供給装置20からの画像の送信が終了すると、画像の受信が終了したと判断する。画像受付部210が、画像の受信を終了したと判断した場合、取得部107は、燃料供給装置20から供給関連情報を受信したか否かの判断処理を繰り返す。そして、取得部107が供給関連情報を受信した場合、解析蓄積部109は、取得部107が受信した供給関連情報と、解析部102が取得した解析結果のうちの予め決められた1以上の解析結果とを対応付けて、供給関連情報格納部108に蓄積する。ここでは、解析結果として、ユーザ識別子「M1003」を対応付けて蓄積する。そして、一回の給油について情報処理装置10が行なう処理が終了する。
図11は、供給関連情報格納部108に格納された供給関連情報と解析結果とを対応付けて管理するための供給関連情報管理表を示す図である。供給関連情報管理表は、供給関連情報を示す「供給関連情報」とユーザ識別子である「ユーザID」という属性を有する。「ユーザID」は、解析部102が取得した解析結果の一つである。「供給関連情報」はさらに「種類」、「給油量」、「時刻」という属性を有している。「種類」は供給する燃料の種類名である。「給油量」は給油した量である。「時刻」は、給油開始時刻である。ここでは、図11の一行目のレコードが、新たに追記された供給関連情報と解析結果であるとする。
以上、本実施の形態によれば、燃料供給装置20が有するカメラが撮影した画像の解析結果に応じて処理を行なうことで、移動体に燃料を供給するユーザの状況に応じて適切な処理を行なうことができる。
例えば、解析結果が予め決められた条件を満たす場合に、安全担保処理を行なって、ユーザが安全な状況でない場合に、燃料供給を禁止したりすることができる。
なお、上記実施の形態において、情報処理装置10と燃料供給装置20とがネットワークを介して接続された個別の装置である場合について説明したが、情報処理装置10の構成を適宜、燃料供給装置20の構成に加えて設けるようにして、情報処理装置10と燃料供給装置20とを一の燃料供給装置で実現するようにしても良い。この場合、上記実施の形態における情報の送信や受信は、適宜、信号線や配線等を介した情報の出力や入力と読み替えてもよい。また、この場合、情報処理装置10と燃料供給装置20との間で情報の送受信を行なうために設けられていた構成等の、省略可能な構成は適宜省略しても良い。また、情報処理装置10と燃料供給装置20との間で情報の送受信を行なうために設けられていた構成は、情報の入出力を行なうための構成として用いてもよい。例えば、このような燃料供給装置は、カメラ201と、カメラ201が撮影した画像を解析する解析部102と、解析部102の解析結果に応じた処理を行なう処理部104とを備えた燃料供給装置である。
なお、上記実施の形態においては、燃料供給装置20が有するセンサとして可視光に感度を有するカメラ201を用いた場合について説明したが、燃料供給装置20が有するセンサは、カメラ201に限定されるものではない。このセンサは、例えば、燃料供給を行うユーザの状況に関する情報を取得することが可能なセンサであることが好ましい。ユーザの状況に関する情報は、ユーザの行動に関する情報と考えてもよい。また、センサは、このような情報が取得可能な位置に設置することが好ましい。例えば、このセンサは、解析部が上記において説明したような解析の1以上を行なうことが可能な情報を取得可能なものであればどのようなセンサであってもよい。このセンサは、感知対象物の複数の位置についての情報(例えば、複数の位置についての色や輝度、距離情報等)を取得するセンサであることが好ましい。また、上記実施の形態においては、センサであるカメラ201が撮影した画像を解析部102が解析する場合について説明したが、解析部102は、センサが取得した情報である取得情報を用いて上記のような解析のうちの1以上を行なうものであればよい。この場合、上記実施の形態においてカメラ201が撮影した画像について説明した箇所は、適宜に、センサが取得した取得情報に読み替えるようにすればよい。例えば、カメラ201が撮影した画像を受け付ける取得情報受付部102を、センサが取得した取得情報を受け付ける取得情報受付部102に読み替えるようにすればよい。また、取得情報受付部102が受け付けた画像を解析する解析部102を、取得情報受付部102が受け付けた取得情報を解析する解析部102と読み替えるようにすればよい。
例えば、燃料供給装置20が有するセンサが、赤外線に感度を有する赤外線センサであってもよく、センサが取得する取得情報は、赤外線センサが取得した赤外線画像であってもよい。この場合、例えば、上記の実施の形態の説明におけるカメラ201が撮影した画像は、適宜、赤外線画像と読み替えるようにすればよい。ここでの赤外線センサは、複数の光電変換素子を平面状に配置したセンサであることが好ましい。例えば、この赤外線センサは、いわゆる赤外線サーモグラフィーであってもよく、赤外線カメラ等であってもよい。なお、赤外線画像から、解析部102が上記のような解析を行なう処理は、公知技術であるため、ここでは詳細な説明は省略する。なお、赤外線画像においては、赤外線の強度分布を知ることができるため、火気の検出が容易となる。同様に、人間の体温を検出して、人間の居る位置を特定することで、人間の人数を検出することが容易になる。また、赤外線カメラ等の赤外線センサが、自動車のマフラー部の近傍の画像を取得するようにして、この赤外線センサが取得した画像を解析部102が解析することにより、燃料曲給時(例えば、給油)時に、移動体のエンジンが動作中であるか否かを判断し、動作中である場合に処理部104が安全担保処理を行うようにしてもよい。
また、例えば、燃料供給装置20が有するセンサは、赤外線を用いて距離画像を取得するいわゆる赤外線距離センサであってもよく、センサが取得する取得情報が、距離画像であってもよい。この場合、例えば、上記の実施の形態の説明におけるカメラ201が撮影した画像は、適宜、距離画像と読み替えるようにすればよい。距離画像とは、例えば、画像の各画素を色の値で表す代わりに、被写体までの距離を示す値で表した画像である。距離画像については、公知技術であるため、ここでは詳細な説明は省略する。また、距離画像から、解析部102が上記のようなユーザの動作等の解析を行なう処理は、公知技術であるため、ここでは詳細な説明は省略する。
なお、燃料供給装置20が有するセンサは、上記のようなセンサの2以上の組合せであっても良い。
なお、上記実施の形態において、解析部102は、教師有り機械学習等の機械学習を用いて取得した学習器を用いて取得情報受付部101が受け付けた取得情報を解析してもよい。例えば、解析部102は、学習器に取得情報を適用して得られる学習器の出力を、解析結果として取得しても良く、学習器に取得情報を適用して、学習器の出力を取得し、この学習器の出力を用いて解析結果を取得しても良い。例えば、学習器の出力を分類することで、解析結果を取得してもよい。解析結果は、上述したような予め決められた条件を満たすか否かの判断結果であってもよく、このような判断の対象として用いられる学習器の出力であってもよい。この予め決められた条件は、例えば、ユーザの状況が燃料供給を行なう際に好ましくない状況であるとする条件である。
学習器は、例えば、上述したような画像等の取得情報と、ユーザの状況を示す状況識別情報との複数の組を教師データとして用いて生成された学習器である。学習器は、例えば、取得情報を訓練用の入力データとし、状況識別情報を訓練用の出力データとして用いて、ニューラルネットワークの学習を行うことにより、予め生成した学習器である。解析部102は、このような学習器に、取得情報受付部101が受け付けた取得情報を適用して、ユーザの状況を特定する情報を取得する。
ここでの取得情報、例えば、教師データのうちの訓練用の入力データとして用いられる取得情報は、一以上のセンサが取得した情報であればよい。例えば、教師データとして用いられる取得情報は、カメラ201が取得した画像であってもよく、赤外線カメラ等の赤外線センサ等が取得した取得情報であってもよい。また、カメラ201で取得した画像と、赤外線センサ等が取得した情報との組合せであってもよい。なお、学習器は、取得情報を取得するセンサ毎に生成するようにしてもよい。学習器は、センサが運用時に実際に設置される位置において取得した取得情報を教師データの訓練用の入力データとして用いて生成することが好ましい。
状況識別情報は、例えば、取得情報の取得時やその前後等における燃料供給(例えば、給油)を行うユーザの状況を示す情報である。ユーザの状況を示す情報は、ユーザの状況を特定する情報等と考えてもよい。ユーザの状況を示す情報は、ユーザの行動を示す情報も含むと考えてもよい。ユーザの状況とは、ユーザ自身の状況であってもよく、ユーザが置かれている周辺の状況や、ユーザが燃料供給を行う移動体の状況であってもよい。状況識別情報は、ユーザの状況を特定する情報であってもよく、燃料供給時のユーザの状況が、燃料供給時に禁じられている状況であるか否かや、燃料供給時に適切な状況であるか否かを示す情報であってもよい。状況識別情報とは、例えば、燃料供給を行うユーザの保持する物品を示す情報であってもよく、保持する物品が燃料供給時に保持してよいか否かを示す情報であってもよい。また、状況識別情報は、燃料供給を行うユーザの人数であってもよく、静電除去シートにユーザがタッチしたか否かや、ポリタンクに給油を行っているか否かや、ユーザが火のついたタバコを持っている等の、ユーザが予め決められた動作を行っているか否かを示す情報であってもよい。また、状況識別情報は、ユーザが給油時に禁じられている動作を行った(あるいは行っていない)か否かを示す情報であってもよい。状況識別情報とは、いわゆるラベルや、正解データ等と考えてもよい。
上記のニューラルネットワークとしては、例えば、物体検出に用いられるCNN(Convolutional Neural Network)等と同様のものが利用可能である。ニューラルネットワークとしては、例えば、画像データに対して形状検出フィルタ等を適用して畳み込みを行う畳み込み層と、フィルタ出力に対してマックスプーリングなどの手法を適用するプーリング層とを一段以上(例えば、多段以上)連結したものと、ソフトマックス等の全結合層とを有するニューラルネットワークが利用可能である。なお、この場合、プーリング層は省略しても良い。また、学習器の入力および出力がいずれも画像でよい場合等においては、全結合層は省略してもよい。なお、学習器は、上記のような教師データを用いて、SVMや、SVR、深層学習、決定木、ランダムフォレスト等のニューラルネットワーク以外の学習を行って生成された学習器であってもよい。
訓練用の出力データとして、ユーザの状況を特定する状況識別情報を用いた場合、取得情報を機械学習により得られた学習器に適用することで、学習器の出力としてユーザの状況を示す情報を得ることができることから、解析部102は、例えば、学習器に取得情報を適用して得られた出力が示す状況が、燃料供給時に禁止されている状況であるか否かを判断し、その判断結果を解析結果として取得してもよい。また、訓練用の出力データとして、ユーザの状況が、燃料供給時に禁止されている状況であるか否かを示す状況識別情報を用いた場合、解析部102は、例えば、学習器に取得情報を適用して得られた出力が示す給油時に禁止されている状況であるか否かを示す情報を、そのまま解析結果として取得してもよい。
学習器は、例えば、図示しない格納部等に格納するようにして、解析部102が解析を行う際に、適宜利用するようにしてもよい。なお、学習器が図示しない格納部に格納されているとは、例えば、学習器そのもの(例えば、入力に対して値を出力する関数や学習結果のモデル等)が記憶されていることであってもよく、学習器を構成するために必要なパラメータ等の情報が記憶されていることであってもよい。後者の場合であっても、そのパラメータ等の情報を用いて学習器を構成できるため、実質的に学習器が図示しない格納部に格納されていると考えることができるからである。
解析部102は、解析に複数の異なる学習器を用いてもよい。例えば、訓練用の出力データとして、ユーザが火のついたタバコを持っているか否かを示す行動識別情報を用いて生成した学習器と、ユーザが静電除去シートに触っているか否かを示す行動識別情報を用いて生成した学習器とをそれぞれ用いるようにしてもよい。また、例えば、訓練用の出力データとしてユーザが燃料供給時に禁じられている動作を行っているか否かを示す行動識別情報を用いて生成した学習器を用いる場合、火のついたタバコを持っているという動作や、宣伝除去シートに触っていない、というような様々な燃料供給時に禁止されている動作を、一つの学習器を用いて検出することができる。
解析部102は、機械学習を利用した解析と、機械学習を利用しない解析との両方を用いてもよい。
解析部102が行う登録されたユーザであるか否かの判断等も、上記のような機械学習を用いて取得した学習器を用いて行うようにしても良い。この場合、ユーザ認識情報格納部103は省略しても良い。ユーザの検出等を、ニューラルネットワーク等の機械学習等を用いて行うことは公知技術であるため、ここでは、詳細な説明は省略する。また、解析部102がユーザの属性を検出する処理も、上記のような機械学習を用いて取得した学習器を用いて行うようにしても良い。ユーザの属性等を、ニューラルネットワーク等の機械学習等を用いて行うことは公知技術であるため、ここでは、詳細な説明は省略する。なお、これらの学習器も、予め図示しない格納部等に格納しておくようにしてもよい。
なお、上記で説明した解析部102による機械学習を用いた解析、例えば学習器を用いた解析等については、以下の実施の形態2においても利用するようにしてもよい。
(実施の形態2)
図14は、本実施の形態における燃料供給システムのブロック図である。
燃料供給システム2は、情報処理装置30と、1以上の監視装置40と、1以上の端末装置50と、一以上の燃料供給装置60とを備えている。なお、ここでは、監視装置20および燃料供給装置60がそれぞれ一つである場合について説明するが、情報処理システム1は、2以上の監視装置20を備えていても良く、2以上の燃料供給装置60を備えていても良い。また、ここでは、端末装置30が一つである場合について説明するが、情報処理システム1は、2以上の端末装置30を備えていても良い。情報処理装置10と、1または2以上の監視装置20および1または2以上の端末装置30とは、無線または有線のネットワーク等により通信可能となるよう接続されている。なお、燃料供給システム2から、燃料供給装置60を除外したものを、情報処理システムと考えてもよい。
情報処理装置30は、取得情報受付部301、解析部302、ユーザ認識情報格納部103、解析結果出力部304、ユーザ情報格納部105、ユーザ情報出力部106、属性対応情報格納部110、および属性対応出力部111を備えている。取得情報受付部301、解析部302、および解析結果出力部304以外の構成については、情報処理装置10と同様であるため、ここでは説明は省略する。
監視装置40は、カメラ401、取得情報出力部202を備えている。監視装置40は、例えば、1または2以上の燃料供給装置60を監視するための装置である。
燃料供給装置60は、移動体に燃料を供給する装置である。燃料供給装置60は、通常の、移動体に燃料を供給可能な機能を有するものであればよい。燃料供給装置60は、通常の、燃料計量器と考えてもよい。例えば、燃料供給機60は、通常のガソリンスタンドの給油計量器である。本実施の形態の燃料供給装置60は、例えば、上記実施の形態1において説明した燃料供給装置20の、少なくとも燃料供給を行うための構成を有するものであってもよい。例えば、燃料供給装置60は、上記実施の形態において説明した燃料供給装置20の供給機204、制御部205、操作受付部207を有するものであってもよい。この場合、制御部205は、燃料供給を禁止する制御、例えば、燃料供給の操作を受け付けなくするような制御は行わないようにしてよい。また、燃料供給装置60は、燃料供給装置20と同様に、決済処理部(図示しない)等を有していてもよい。
端末装置50は、端末受信部501および端末出力部502を備えている。端末装置50は、例えば、燃料供給装置60を管理する管理者や、燃料供給装置60を用いて燃料を提供する店舗の店員等が利用する端末装置である。また、端末装置50は、燃料供給装置60を利用するユーザ等が利用する端末装置であってもよい。また、端末装置50は、燃料供給装置60の利用料金の支払等を受け付けるための用いられる端末装置や、利用料金の支払を受け付ける装置と接続された端末装置である。端末装置50は、例えば、いわゆるPOS(Point of sales)端末装置であってもよい。POS端末装置とは、販売時点管理システム(Point of sales system)の端末装置である。端末装置50は、例えば、コンピュータ等により実現可能である。利用料金の支払等を受け付ける端末装置50は、例えば、いわゆるPOSレジスタ等であってもよい。ただし、端末装置50は、これらに限定されるものではない。端末装置50は、上記のような処理、例えばPOS端末装置として処理等を実行するための、端末受信部501および端末出力部502以外の構成を有していてもよい。
取得情報受付部301は、移動体に燃料を供給する燃料供給装置60に関して、1以上のセンサが取得した情報である取得情報を受け付ける。ここでの取得情報は、例えば、燃料供給装置60を利用するユーザについて(例えば、ユーザの行動について)取得した情報や、燃料供給装置60の周辺について取得した情報等である。この取得情報は、例えば、燃料供給装置60自身の状況(例えば、燃料供給装置60自身についての動作状況等)についての情報を除いた情報であってもよい。ここでの1以上のセンサは、例えば、1以上の監視装置20が有する1以上のセンサである。取得情報は、例えば、監視装置20のセンサが取得した情報である点を除けば、上記実施の形態1のセンサが取得した取得情報と同様の情報と考えてもよい。以下、本実施の形態においては、センサが、上記実施の形態1の燃料供給装置20が有するセンサと同様に、CMOSやCCD等のイメージセンサを有する後述するカメラ401であり、センサが取得した取得情報が、カメラ401が撮影した画像である例について説明する。ただし、本実施の形態のセンサは、上記実施の形態1において説明したカメラ以外の他のセンサであってもよい。また、取得情報受付部101は、2以上のセンサ、例えば、2以上の異なるセンサがそれぞれ取得した情報を受け付けても良い。
解析部302は、取得情報受付部301が受け付けた取得情報を解析する点を除けば、上記実施の形態1の解析部102と同様であるため、ここでは詳細な説明は省略する。なお、解析部302は、解析部102と同様に、図示しない格納部等に格納された学習器を用いて解析を行っても良い。
解析結果出力部304は、解析部302の解析結果に応じた出力を1または2以上の端末装置50に対して行う。ここでの出力は、解析結果出力部304が出力する情報と考えてもよい。解析結果出力部304は、例えば、解析部302が予め決められた条件を満たすと判断した場合に、前記解析結果に応じた出力として、安全担保出力を行なう。安全担保出力は、上記実施の形態1において説明したような燃料供給装置60を用いて燃料供給を行なう際の、安全を担保するために行われる出力である。安全担保出力とは、例えば、上記実施の形態において説明した安全担保処理等の、安全を担保するための処理や行動を行うことを、端末装置50のユーザや、燃料供給を行うユーザ等に指示したり、促したり、要請したりする出力や、安全担保のための処理や行動を行うことが必要であることを端末装置50のユーザ等に知らせるための出力である。安全担保出力が示す指示等は、例えば、解析部302が解析の際に用いた取得情報を取得したカメラ401等のセンサが検知する燃料供給装置60や、この燃料供給装置60を利用して燃料の供給を行うユーザに関して出力される安全を担保するための指示等である。安全担保出力が示す指示等は、例えば、端末装置50を利用するユーザに対して出力される安全を担保するための指示等である。安全を担保するための指示は、例えば、上記実施の形態において説明した安全担保処理を、端末装置50のユーザに行わせるための指示である。なお、端末装置50のユーザは、例えば、燃料供給装置60を利用して燃料をユーザに提供する店舗等の店員や管理者等である。なお、安全担保出力は、安全を担保することが必要な燃料供給装置60を識別する識別子を有していてもよい。燃料供給装置60を識別する識別子は、解析部302が解析に用いた取得情報を出力した監視装置40の識別子であってもよく、この監視装置60と対応付けられた、この監視装置60によって画像等の周囲の状況に関する情報が取得される燃料供給装置60の識別子であってもよい。
安全担保出力は、例えば、警告の出力を含む出力である。ここでの警告は、例えば、解析部302が解析の際に用いた取得情報を取得したカメラ401等のセンサの検知対象となる燃料供給装置60を利用して燃料の供給を行うユーザが、禁止された状況において燃料の補給を行っていることを警告する出力である。ここでの警告は、禁止された要因や状況を説明するための情報や、禁止された状況を解消するための措置等を示す情報を有していてもよい。
安全担保出力は、例えば、燃料供給の禁止を示す出力であってもよい。燃料供給は、例えば、燃料供給を禁止するための操作や行動を行うことを示す出力である。燃料供給の禁止を示す出力は、例えば、解析部302が解析の際に用いた取得情報を取得したカメラ401等のセンサの検知対象となる燃料供給装置60が行う燃料供給を停止させることや、停止させるための操作を行うことを、端末装置50のユーザに対して指示する出力であってもよい。ここでの燃料供給の禁止を示す出力は、燃料供給が禁止された要因や状況を説明するための情報や、禁止された状況を解消するための措置等を示す情報を有していてもよい。また、燃料供給を禁止するための手順等を示す情報を有していてもよい。
安全担保出力等の解析結果出力部304が解析結果に応じて行う出力は、例えば、テキストデータや画像データ、テキストと画像データとを組み合わせたデータ、音声データ等の出力等である。解析結果出力部304が解析結果に応じて行う警告の出力は、例えば、警告内容を示すテキストデータや、画像データ、テキストと画像データとを組み合わせたデータ、音声データ等の出力等である。ただし、ここでの出力は、解析結果に応じた出力(例えば警告の出力等)を端末装置50に実行させるための命令や、制御信号、アプリケーション、パラメータ等の出力であってもよい。また、解析結果に応じて、端末装置50に接続された警告灯等を点灯させるための指示等の出力であってもよい。 なお、解析結果出力部304が解析結果に応じて行う出力は、解析部302による解析結果を示す情報であってもよい。例えば、解析結果を示す情報は、燃料供給を行っているユーザの状況を示す情報であってもよく、燃料供給を行っているユーザの周囲の状況を示す情報であってもよい。燃料供給を行っているユーザの状況を示す情報は、ユーザがタバコ等の火気を持っている等の状況を示す情報や、ユーザが複数人で給油している等の状況をを示す情報である。ユーザの周囲の状況を示す情報は、例えば、給油対象の自動車のエンジンがかかった状態であることを示す情報である。
ここでの出力は、外部の装置への送信、他の処理装置や他のプログラム等への処理結果の引渡し等を含む概念である。解析結果出力部304は、通信手段等の出力デバイスを含むと考えても含まないと考えても良い。出力部は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
なお、解析結果出力部304は、解析結果に応じた出力として、解析結果に応じた表示や音声出力、警告灯の点灯等を行うようにしてもよい。
監視装置40が有するカメラ401は、1以上の燃料供給装置60についての情報を取得するカメラである。カメラ401は、例えば、一以上の燃料供給装置60を利用して燃料供給を行うユーザや、その周辺等を撮影して、ユーザの状況に関する画像を取得するためのカメラである。ユーザの状況は、ユーザの行動等と考えてもよい。カメラ401は、燃料供給装置60に取付けられていてもよい。例えば、カメラ401は、燃料供給装置60内に内蔵されていてもよく、筐体等に取付けられていてもよい。カメラ401は、燃料供給装置60が有するもの(例えば、燃料供給装置60の一部を構成しているもの)であってもよく、燃料供給装置60が有していないものであってもよい。カメラ401の取付けられている場所等はこれらに限定されるものではない。カメラ401は、燃料供給装置60を用いて燃料供給を行うユーザの状況に関する情報を取得可能となるよう(例えば、取得可能な位置に)設置することが好ましい。一の監視装置40は、複数のカメラ401を有していてもよい。
上記以外のカメラ401の構成等については、カメラ201と同様であるため、ここでは、詳細な説明は省略する。
なお、ここでは、監視装置40がカメラ401を有しているようにしたが、監視装置40は、上記実施の形態1の燃料供給装置20と同様に、カメラ401の代わりに、あるいはカメラ401に加えて、カメラ401以外の、燃料供給を行うユーザの状況に関する情報(例えば、行動に関する情報等)を取得する一以上のセンサを有するようにしてもよい。このようなセンサは、燃料供給を行うユーザの状況に関する情報を取得可能となるように(例えば、可能となる位置に)設けることが好ましい。
取得情報出力部202は、監視装置40が有するカメラ401等のセンサが取得した情報(例えば、画像)を、取得情報として情報処理装置30に出力(例えば送信)する。取得情報出力部202は、カメラ401の出力手段や送信手段等と考えてもよい。取得情報出力部202は、上記実施の形態のカメラ201と取得情報出力部202と同様であるため、ここでは説明を省略する。
端末受信部501は、受付部203と同様に、情報処理装置10から出力される情報を受信する。例えば、端末受信部501は、情報処理装置30の解析結果出力部304が出力する情報を受信する。例えば、端末受信部501は、解析結果出力部304が出力する解析部302の解析結果に応じた出力を受信する。例えば、端末受信部501は、解析結果出力部304が出力する安全担保出力、例えば、警告や、燃料供給の禁止を示す出力を受信する。また、端末受信部501は、ユーザ情報出力部106が出力するユーザ情報を受信してもよい。また、端末受信部501は、属性対応出力部111が出力する属性対応情報を受信してもよい。端末受信部501は、通常、無線または有線の通信手段で実現される。
端末出力部502は、出力部206と同様に、端末受信部501が受信した解析結果出力部304が出力する情報を出力する。例えば、端末出力部502は、端末受信部501が受信した解析部302の解析結果に応じた情報を出力する。例えば、端末出力部502は、端末受信部501が受信した安全担保出力に応じた出力、例えば、安全担保出力である警告や、燃料供給の禁止を示す情報の出力や、この警告や、禁止を示す情報に対応する情報の出力等を行う。
なお、端末出力部502は、端末受信部501が受信したユーザ情報を出力してもよく、端末受信部501が受信した属性対応情報を出力(例えば、表示)してもよい。このユーザ情報および属性対応情報の出力は、このユーザ情報および属性対応情報に対応するユーザが燃料供給装置60を用いて、燃料供給を行なう際に、このユーザの視野に入るような位置に出力されるようにすることが好ましい。例えば、この出力を行う出力デバイス(例えば、表示デバイス)は、このユーザの視野に入るような位置、例えば、燃料供給装置60の前等に設置されることが好ましい。例えば、カメラ201でユーザが検出可能な領域に配置される燃料供給装置60の前に立ったユーザの視野に入るような位置に、ユーザ情報および属性対応情報を表示するためのモニタ等の出力デバイスを配置することが好ましい。この出力デバイスと、解析結果出力部304が出力する情報を出力する出力デバイスとは、異なる位置に配置された異なる出力デバイスであってもよい。ただし、同じ出力デバイスを用いるようにしてもよい。
ここでの出力は、モニタへの表示、プロジェクターを用いた投影、プリンタへの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラム等への処理結果の引渡し等を含む概念である。端末出力部502は、例えば、上記以外の情報の出力、例えば、操作等を受け付けるための操作メニュー画面等を表示してもよい。
端末出力部501は、モニタやスピーカ−、プリンタ等の出力デバイスを含むと考えても含まないと考えても良い。端末出力部501は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
次に、本実施の形態の情報処理装置10の動作の一例について、図15のフローチャートを用いて説明する。ここでは、解析結果出力部304が出力する解析結果に応じた情報が、安全担保出力である場合を例に挙げて説明する。ただし、解析結果出力部304が出力する解析結果に応じた情報はこれに限定されるものではない。なお、図3と同一符号の処理ステップは、同一または相当する処理ステップを示しており、ここでは説明を省略する。
(ステップS303)ユーザ情報出力部106は、ステップS102で取得されたユーザ識別子に対応するユーザ情報をユーザ情報格納部105から取得して出力する。ここでの出力は、例えば、端末装置50への送信である。そして、ステップS105に進む。
(ステップS304)ユーザ情報出力部106は、登録されたユーザでないことを示す情報を出力する。ここでの出力は、例えば、端末装置50への送信である。そして、ステップS105に進む。
(ステップS306)属性対応出力部111は、ステップS105で取得した属性対応情報を属性対応情報格納部110から取得して出力する。ここでの出力は、例えば、端末装置50への送信である。
(ステップS308)解析結果出力部304は、ステップS107による解析結果に応じた出力として、安全担保出力を端末装置50に対して行う。出力先の端末装置50は、例えば、解析に利用された取得情報を出力した監視装置40に対して予め対応付けられた1または2以上の端末装置50である。例えば、解析結果出力部304は、ここでの安全担保出力として、燃料供給を行うユーザが禁止された物品を保持していることを警告するための表示用のデータと、警告音を出力させるためのデータと、燃料供給を禁止させることを、店員等に指示するための表示を行うための表示用のデータと、を端末装置20へ送信する。そして、ステップS109に進む。
(ステップS310)解析結果出力部304は、ステップS308の出力を終了する。そして、ステップS111に進む。
(ステップS312)解析結果出力部304は、ステップS111による解析結果に応じた出力として、ステップS308と同様に、安全担保出力を行う。例えば、解析結果出力部304は、ここでの安全担保出力として、燃料供給を行うユーザが人数についての条件を満たさないことを警告するための表示用のデータ等を出力する。
(ステップS314)解析結果出力部304は、ステップS312の出力を終了する。そして、ステップS115に進む。
(ステップS316)解析結果出力部304は、ステップS115による解析結果に応じた出力として、ステップS308と同様に、安全担保出力を行う。例えば、解析結果出力部304は、ここでの安全担保出力として、ユーザが動作についての条件を満たさないことを警告するための表示用のデータ、例えば、静電気除去シート等に触れていないことを警告するための表示用のデータ等を出力する。
(ステップS318)解析結果出力部304は、ステップS316の出力を終了する。そして、ステップS119に進む。
なお、図15のフローチャートにおいては、ステップS119において、画像の受け付けが終了したと判断された場合、ステップS101に戻る。
なお、図15のフローチャートにおいても、図3のフローチャートと同様に、解析部102が複数の解析を行なう順番等は、上記の順番に限定されるものではない。
なお、図15のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
次に、監視装置40の動作の一例について簡単に説明する。カメラ201は、撮影開始のタイミングであるか否かを判断する。例えば、図示しない赤外線センサ等のセンサが、ユーザが燃料供給装置60の正面に居ることを検知した場合に、カメラ201は撮影開始のタイミングであると判断する。そして、撮影開始のタイミングであると、カメラ201は、撮影を開始して画像を取得する。カメラ201は、例えば、連続的に撮影を行なって動画像を取得する。ただし、静止画像を、一定または不定のタイミング等で、繰り返し取得しても良い。取得情報出力部202は、カメラ201が撮影した画像を情報処理装置10に出力する。ここでの出力は、例えば送信である。カメラ201は、ユーザが撮影終了のタイミングであると判断した場合に、撮影を終了する。例えば、図示しない赤外線センサ等のセンサが、ユーザが燃料供給装置60の正面に居ることを検知しなくなった場合に、カメラ201は撮影終了のタイミングであると判断する。なお、どのようにして、カメラ201が撮影開始と、撮影終了のタイミングを検出するかは、上記に限定されるものではない。
次に、端末装置50の動作の一例について簡単に説明する。端末受信部501が、情報処理装置30からユーザ情報を受信した場合、端末出力部502は、受信したユーザ情報に応じた出力、例えば、ユーザ情報の表示等を行う。また、端末出力部502は、端末受信部501が、情報処理装置30から属性対応情報を受信した場合、受信した属性対応情報に応じた出力、例えば、属性態様情報の表示を行う。また、端末出力部502は、端末受信部501が、情報処理装置30から安全担保出力を受信した場合、受信した安全担保出力に応じた情報の表示を行う。なお、ユーザ情報の表示および属性対応情報の表示と、安全担保出力に応じた情報の表示とは、異なるモニタ(図示せず)等に行うようにしても良い。例えば、ユーザ情報の表示および属性対応情報の表示は、燃料供給を行うユーザが見ることが可能な位置に配置されたモニタに表示し、安全担保処理に関する情報の表示は、燃料供給装置60を用いて燃料を提供する店舗等の店員等が視認することが可能な位置に配置されたモニタに表示することが好ましい。ただし、同じモニタに表示してもよい。
(具体例)
次に、本実施の形態の情報処理システムの具体的な動作について一例を挙げて説明する。ここでは、監視装置40のカメラ201が、燃料供給装置60の正面のユーザを撮影可能な位置に設置されている例を挙げて説明する。ただし、設置される位置はこれに限定されるものではない。
ユーザが、ガソリンの給油を行なうために、移動体である自動車を燃料供給装置60の前に駐車して、自動車から降りて、燃料供給装置60の正面に立ったとすると、赤外線センサ(図示せず)等がユーザを検知する。カメラ201は、この赤外線センサ等が出力するユーザを検知したことを示す情報を受け付けると、撮影を行なうタイミングであると判断して、上記実施の形態1の具体例と同様に、燃料供給装置60の正面のユーザの撮影を開始する。取得情報出力部202は、カメラ201が取得した画像を取得情報として情報処理装置10に対して送信する。
情報処理装置10の取得情報受付部101が、燃料供給装置60から取得情報である画像を受信すると、解析部302は、上記実施の形態1の具体例の解析部102と同様に、受信した画像を解析して、画像に撮影されているユーザが登録されたユーザであるか否かを判断し、登録ユーザである場合、図7に示したようなユーザ情報管理表から、このユーザのユーザ情報を取得し、端末装置50に送信する。端末装置50の端末受信部501がユーザ情報を受信すると、端末出力部502は、受信したユーザ情報を、燃料供給装置60の正面等に配置されたモニタ(図示せず)に受信したユーザ情報を表示する。例えば、図8と同様に、ユーザのポイント数と氏名とをモニタに表示する。これにより、登録ユーザに対して、適切な情報を提示することができる。登録されたユーザであると判断できなかった場合、上記のようなユーザ情報等を取得する処理等は行なわない。
次に、解析部102は、上記のように画像から取得したユーザの顔の特徴点から、上記実施の形態1の具体例と同様に、図示しない格納部等に予め格納されている学習器等を用いて、ユーザの属性値を取得し、取得した属性値に対応する属性対応情報である広告の動画像のファイルを、図9に示したような属性対応情報管理表から取得し、端末装置50に送信する。端末装置50の端末受信部501が属性対応情報である動画像のファイルを受信すると、端末出力部502は、図8(b)に示すように、この動画像を燃料供給装置60の正面に配置されたモニタ(図示せず)に表示する。これにより、ユーザの性別および年齢層にあった広告の動画像がモニタに表示される。
情報処理装置30の解析部302が、上記実施の形態1の具体例と同様に、取得情報受付部101が受け付けた画像を解析して、ユーザが、予め決められた物品であるタバコを保持していることを検知する処理を行なった結果、タバコが検知されたとすると、解析部302は、タバコの保持に関して予め決められた条件を満たすと判断し、この判断結果に応じて、解析結果出力部304が、タバコの保持についての安全担保出力を端末装置50に対して行う。例えば、安全を担保するための情報を端末装置50に対して送信する。ここでの、安全担保出力により送信される情報は、タバコを捨てるよう、ユーザに警告することを店員に要請するテキストデータであるとする。
端末装置50の端末受信部501が、上記のような端末装置50からの安全担保出力の情報を受信すると、端末出力部502は、受信した安全担保出力に応じた情報を、図16(a)に示すように、端末装置50が有する図示しないモニタ等に表示する。
なお、上記実施の形態1の具体例と同様に、解析部302は、ユーザがタバコを保持していることを一旦検知した場合、再度、取得情報受付部301が受け付ける画像を解析して、ユーザが、タバコを保持していることを検知する処理を、予め決められた物品を保持していることが検知されなくなるまで繰り返し行なう。かかることは、解析部302が、後述する人数に関する条件を満たすことを検出した場合や、動作についての条件を満たすことを検出した場合についても同様である。
解析部302は、タバコの保持についての条件を満たさない、あるいは満たさなくなったと判断した場合、上記実施の形態1の具体例と同様に、受け付けた画像内に複数の人が存在するか否かを検知する処理を行なう。そして、複数の人が居ることが検出された場合、解析部302は、人数に関して予め決められた条件を満たすと判断し、この判断結果に応じて、解析結果出力部304が、複数の人が居ることについての安全担保出力を端末装置50に対して行う。ここでの、安全担保出力により送信される情報は、複数の人数で給油しないよう、ユーザに警告することを店員に要請するテキストデータであるとする。
端末装置50の端末受信部501が、上記のような端末装置50からの安全担保出力の情報を受信すると、端末出力部502は、受信した安全担保出力に応じた情報を、図16(b)に示すように、端末装置50が有する図示しないモニタ等に表示する。
解析部302は、人数についての条件を満たさない、あるいは満たさなくなったと判断した場合、上記実施の形態1の具体例と同様に、ユーザが予め決められた動作である静電除去シートにタッチする動作を検知する処理を行なう。そして、タッチしていないことを検出した場合(例えば、撮影開始から一定時間内にタッチしていないことを検出した場合や、タッチしていない状態で、ユーザが給油のための動作を開始したことを検出した場合等)に、解析部302は、ユーザの動作が予め決められた条件を満たすと判断し、解析結果出力部304が、静電除去シートにタッチしていないことについての安全担保出力を端末装置50に対して行う。ここでの、安全担保出力により送信される情報は、静電除去シートにタッチするよう、ユーザに警告することを店員に要請するテキストデータであるとする。
端末装置50の端末受信部501が、上記のような端末装置50からの出力を受信すると、端末出力部502は、受信した安全担保出力に応じた情報を、図16(c)に示すように、端末装置50が有する図示しないモニタ等に表示する。なお、一旦、静電除去シートに対するタッチを検出した以降は、解析部302は、ユーザが静電除去シートにタッチしたか否かの検知を行なわずに、ユーザの動作が予め決められた条件を満たさないと判断する。
上述したような燃料供給装置60に設けられた赤外線センサ等が、ユーザによる燃料供給が終了し、ユーザが燃料供給装置60から離れたことを検出した場合、カメラ201は撮影を終了する。
以上、本実施の形態によれば、カメラ201等のセンサが取得した取得情報の解析結果に応じた出力を行なうことで、移動体に燃料を供給するユーザの状況に応じて、燃料供給装置60を用いて燃料を提供する店舗等の店員等が適切な対応を取ることができる。
なお、上記各実施の形態において、各処理(各機能)は、単一の装置(システム)によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
また、上記各実施の形態において、一の装置に存在する2以上の通信手段(画像出力部や供給関連出力部など)は、物理的に一の媒体で実現されても良いことは言うまでもない。
また、上記各実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをCPU等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。その実行時に、プログラム実行部は、格納部(例えば、ハードディスクやメモリ等の記録媒体)にアクセスしながらプログラムを実行してもよい。
なお、上記実施の形態1における情報処理装置10を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、移動体に燃料を供給する燃料供給装置が有するセンサで取得された取得情報を受け付ける取得情報受付部と、取得情報受付部が受け付けた取得情報を解析する解析部と、解析部の解析結果に応じた処理を行なう処理部として機能させるためのプログラムである。
また、上記実施の形態2における情報処理装置10を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、移動体に燃料を供給する燃料供給装置に関してセンサが取得した取得情報を受け付ける取得情報受付部と、取得情報受付部が受け付けた取得情報を解析する解析部と、解析部の解析結果に応じた出力を端末装置に対して行なう解析結果出力部として機能させるためのプログラムである。
なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を取得する取得部や、情報を出力する出力部などにおけるモデムやインターフェースカードなどのハードウェアでしか実現できない機能は、上記プログラムが実現する機能には含まれない。
また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
図12は、上記プログラムを実行して、上記各実施の形態による情報処理装置等を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現されうる。
図12において、コンピュータシステム900は、CD−ROM(Compact Disk Read Only Memory)ドライブ905を含むコンピュータ901と、キーボード902と、マウス903と、モニタ904とを備える。
図13は、コンピュータシステム900の内部構成を示す図である。図13において、コンピュータ901は、CD−ROMドライブ905に加えて、MPU(Micro Processing Unit)911と、ブートアッププログラム等のプログラムを記憶するためのROM912と、MPU911に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するRAM(Random Access Memory)913と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク914と、MPU911、ROM912等を相互に接続するバス915とを備える。なお、コンピュータ901は、LANへの接続を提供する図示しないネットワークカードを含んでいてもよい。
コンピュータシステム900に、上記実施の形態による情報処理装置等の機能を実行させるプログラムは、CD−ROM921に記憶されて、CD−ROMドライブ905に挿入され、ハードディスク914に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ901に送信され、ハードディスク914に記憶されてもよい。プログラムは実行の際にRAM913にロードされる。なお、プログラムは、CD−ROM921、またはネットワークから直接、ロードされてもよい。
プログラムは、コンピュータ901に、上記実施の形態による情報処理装置等の機能を実行させるオペレーティングシステム(OS)、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能(モジュール)を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム900がどのように動作するのかについては周知であり、詳細な説明は省略する。
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
以上のように、本発明にかかる情報処理装置等は、燃料供給時の情報を処理する装置等として適しており、特に、燃料供給装置を利用するユーザの状況に応じて処理を行なう装置等として有用である。
1、2 燃料供給システム
10、30 情報処理装置
20、60 燃料供給装置
40 監視装置
50 端末装置
101、301 取得情報受付部
102、302 解析部
103 ユーザ認識情報格納部
104 処理部
105 ユーザ情報格納部
106 ユーザ情報出力部
107 取得部
108 供給関連情報格納部
109 解析蓄積部
110 属性対応情報格納部
111 属性対応出力部
201 カメラ
202 取得情報出力部
203 受付部
204 供給機
205 制御部
206 出力部
207 操作受付部
208 供給関連出力部
210 静電除去シート
304 解析結果出力部

Claims (16)

  1. 移動体に燃料を供給する燃料供給装置に関してセンサが取得した取得情報を受け付ける取得情報受付部と、
    前記取得情報受付部が受け付けた取得情報を解析する解析部と、
    前記解析部の解析結果に応じた出力を端末装置に対して行なう解析結果出力部とを備えた情報処理装置。
  2. 前記解析部は、前記取得情報を解析して、予め決められた条件を満たすか否かを判断し、
    前記解析結果出力部は、前記解析部が予め決められた条件を満たすと判断した場合に、前記解析結果に応じた出力として、安全を担保するための安全担保出力を行なう請求項1記載の情報処理装置。
  3. 前記安全担保出力は、警告の出力を含む請求項2記載の情報処理装置。
  4. 前記安全担保出力は、燃料供給の禁止を示す出力を含む請求項2または請求項3記載の情報処理装置。
  5. 前記解析部は、取得情報を解析して、取得情報内のユーザによる予め決められた物品の保持を検知し、保持が検知された場合に、予め決められた条件を満たすと判断する請求項2から請求項4いずれか一項記載の情報処理装置。
  6. 前記解析部は、取得情報を解析して、取得情報内に複数の人物が存在するか否かを判断し、複数の人物が存在すると判断した場合に、予め決められた条件を満たすと判断する請求項2から請求項5いずれか一項記載の情報処理装置。
  7. 前記解析部は、取得情報を解析して、取得情報内のユーザが静電除去シートにタッチしたことを検知し、タッチが検知されていない場合に、予め決められた条件を満たすと判断する請求項2から請求項6いずれか一項記載の情報処理装置。
  8. 前記解析部は、取得情報を解析して取得情報内のユーザが予め登録されたユーザであるか否かを判断し、登録されたユーザである場合に、当該ユーザに対応付けられたユーザ識別子を解析結果として取得する請求項1から請求項7いずれか一項記載の情報処理装置。
  9. ユーザのユーザ識別子と、当該ユーザに関するユーザ情報とが対応付けて格納されるユーザ情報格納部と、
    前記解析部が解析結果として取得したユーザ識別子を用いて、前記ユーザ情報格納部から当該ユーザ識別子に対応付けられたユーザ情報を取得して出力するユーザ情報出力部とをさらに備えた請求項8記載の情報処理装置。
  10. 前記解析部は、取得情報を解析して、取得情報内のユーザに関する属性値を解析結果として取得し、
    前記解析部が取得した属性値に応じた属性対応情報を取得して出力する属性対応出力部をさらに備えた請求項1から請求項9いずれか一項記載の情報処理装置。
  11. 前記属性対応情報は、広告である請求項10記載の情報処理装置。
  12. 前記センサは、カメラであり、
    前記センサで取得された取得情報は、当該カメラで撮影された画像である請求項1から請求項11いずれか一項記載の情報処理装置。
  13. 前記センサは、赤外線センサであり、
    前記センサで取得された取得情報は、当該赤外線センサで撮影された画像である請求項1から請求項11いずれか一項記載の情報処理装置。
  14. 前記センサは、赤外線を用いて距離画像を取得する赤外線距離センサであり、
    前記センサで取得された取得情報は、当該赤外線距離センサで取得された赤外線距離画像である請求項1から請求項11いずれか一項記載の情報処理装置。
  15. 取得情報受付部と、解析部と、解析結果出力部とを用いて行なわれる情報処理方法であって、
    前記取得情報受付部が、移動体に燃料を供給する燃料供給装置に関してセンサが取得した取得情報を受け付ける取得情報受付ステップと、
    前記解析部が、前記取得情報受付ステップで受け付けた取得情報を解析する解析ステップと、
    前記解析結果出力部が、前記解析ステップによる解析結果に応じた出力を端末装置に対して行なう出力ステップとを備えた情報処理方法。
  16. コンピュータを、
    移動体に燃料を供給する燃料供給装置に関してセンサが取得した取得情報を受け付ける取得情報受付部と、
    前記取得情報受付部が受け付けた取得情報を解析する解析部と、
    前記解析部の解析結果に応じた出力を端末装置に対して行なう解析結果出力部として機能させるためのプログラム。
JP2019082527A 2019-04-24 2019-04-24 情報処理装置、情報処理方法、およびプログラム Pending JP2020179871A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019082527A JP2020179871A (ja) 2019-04-24 2019-04-24 情報処理装置、情報処理方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019082527A JP2020179871A (ja) 2019-04-24 2019-04-24 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2020179871A true JP2020179871A (ja) 2020-11-05

Family

ID=73024183

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019082527A Pending JP2020179871A (ja) 2019-04-24 2019-04-24 情報処理装置、情報処理方法、およびプログラム

Country Status (1)

Country Link
JP (1) JP2020179871A (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008150090A (ja) * 2006-12-19 2008-07-03 Fujitsu Ltd 燃料供給制御プログラム、該プログラムを記録した記録媒体、燃料供給システム制御装置および燃料供給システム制御方法
WO2017184319A1 (en) * 2016-04-21 2017-10-26 Wayne Fueling Systems Llc Intelligent fuel dispensers
JP2018154401A (ja) * 2017-03-21 2018-10-04 日本電気株式会社 供給制御装置、供給機、供給制御方法、プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008150090A (ja) * 2006-12-19 2008-07-03 Fujitsu Ltd 燃料供給制御プログラム、該プログラムを記録した記録媒体、燃料供給システム制御装置および燃料供給システム制御方法
WO2017184319A1 (en) * 2016-04-21 2017-10-26 Wayne Fueling Systems Llc Intelligent fuel dispensers
JP2018154401A (ja) * 2017-03-21 2018-10-04 日本電気株式会社 供給制御装置、供給機、供給制御方法、プログラム

Similar Documents

Publication Publication Date Title
JP7412800B2 (ja) 情報処理装置、燃料供給システム、情報処理方法、およびプログラム
US20210037892A1 (en) Smoking substitute device
US10642555B2 (en) Image processing system, method, and non-transitory computer readable medium
CN104936825B (zh) 停车计系统
JP5224360B2 (ja) 電子広告装置、電子広告方法及びプログラム
JP4941132B2 (ja) 喫煙者検出装置、喫煙者警報システム、喫煙者監視サーバ、消し忘れタバコ警報装置、喫煙者検出方法、および、喫煙者検出プログラム
KR102164397B1 (ko) 전기차 주차구역 관리 시스템 및 방법
CN107004353B (zh) 交通违章管理系统和交通违章管理方法
WO2011126515A1 (en) Authenticating a person's identity using rfid card, biometric signature recognition and facial recognition
CN108305391A (zh) 加油信息采集处理方法及加油服务系统
KR20080111317A (ko) 차량의 윤곽 이미지를 이용한 차종 인식장치 및 방법
JP2020140236A (ja) 画像解析システムおよび画像解析方法
TWI661398B (zh) 基於臉部辨識進行驗證的交易系統及其方法
JP6174178B1 (ja) 運転整備記録管理システム
JP2020179871A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2014118153A (ja) 給油作業モニタ装置、給油作業モニタシステム、給油作業モニタ方法および給油作業モニタプログラム
JP2009241962A (ja) 給油制御システム
US20200167831A1 (en) Advertising system and method using movable advertisement medium
KR102448958B1 (ko) 비대면 검체 앰플 공급 키오스크 시스템 및 그 방법
CN206378926U (zh) 口罩自助配发装置及系统
KR101414832B1 (ko) 사전 스티커 발부 인지를 위한 주차단속 사전인지 앱이 탑재된 스마트폰
KR20150006938A (ko) 차량 내 장치를 이용한 운전 확인 및 보상 모바일 장치, 시스템 및 이를 이용한 서비스 제공 방법
CN111368590A (zh) 一种情绪识别方法、装置、电子设备及存储介质
JP2020135898A (ja) 情報処理システム、情報処理システムの制御方法、プログラム、及び記録媒体
US20220153281A1 (en) Information provision system, information terminal, and information provision method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220408

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230220

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230620