JP2020140236A - Image analysis system and image analysis method - Google Patents
Image analysis system and image analysis method Download PDFInfo
- Publication number
- JP2020140236A JP2020140236A JP2019033102A JP2019033102A JP2020140236A JP 2020140236 A JP2020140236 A JP 2020140236A JP 2019033102 A JP2019033102 A JP 2019033102A JP 2019033102 A JP2019033102 A JP 2019033102A JP 2020140236 A JP2020140236 A JP 2020140236A
- Authority
- JP
- Japan
- Prior art keywords
- refueling
- vehicle
- image analysis
- analysis system
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010191 image analysis Methods 0.000 title claims abstract description 77
- 238000003703 image analysis method Methods 0.000 title claims description 4
- 238000001514 detection method Methods 0.000 claims abstract description 51
- 230000000694 effects Effects 0.000 claims description 52
- 230000005611 electricity Effects 0.000 claims description 26
- 230000003068 static effect Effects 0.000 claims description 26
- 230000006399 behavior Effects 0.000 claims description 23
- 238000004458 analytical method Methods 0.000 claims description 19
- 230000000391 smoking effect Effects 0.000 claims description 9
- 239000003350 kerosene Substances 0.000 claims description 7
- 239000002360 explosive Substances 0.000 claims description 4
- 206010000117 Abnormal behaviour Diseases 0.000 claims description 2
- 235000019504 cigarettes Nutrition 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 36
- 238000010801 machine learning Methods 0.000 abstract description 30
- 238000000034 method Methods 0.000 abstract description 5
- 238000003384 imaging method Methods 0.000 abstract description 2
- 238000012544 monitoring process Methods 0.000 description 58
- 238000012549 training Methods 0.000 description 51
- 238000007781 pre-processing Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 16
- 238000003780 insertion Methods 0.000 description 11
- 230000037431 insertion Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000012546 transfer Methods 0.000 description 9
- 230000033001 locomotion Effects 0.000 description 8
- 239000013589 supplement Substances 0.000 description 8
- 240000004050 Pentaglottis sempervirens Species 0.000 description 7
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 7
- 239000000463 material Substances 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 239000000446 fuel Substances 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000012797 qualification Methods 0.000 description 4
- 239000000725 suspension Substances 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 244000061176 Nicotiana tabacum Species 0.000 description 2
- 235000002637 Nicotiana tabacum Nutrition 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000000383 hazardous chemical Substances 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- -1 carrying Cans Substances 0.000 description 1
- 238000009833 condensation Methods 0.000 description 1
- 230000005494 condensation Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- TVMXDCGIABBOFY-UHFFFAOYSA-N octane Chemical compound CCCCCCCC TVMXDCGIABBOFY-UHFFFAOYSA-N 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Landscapes
- Alarm Systems (AREA)
- Image Analysis (AREA)
- Loading And Unloading Of Fuel Tanks Or Ships (AREA)
Abstract
Description
本発明は、画像解析システムおよび画像解析方法に関する。 The present invention relates to an image analysis system and an image analysis method.
従来、セルフサービスによって給油を行うガソリンスタンドが知られている。このようなガソリンスタンドには、法令によって危険物取扱者の資格を有する監視者が常駐する。監視者は、ガソリンスタンドの事務室から給油スペースのライブ画像を通して給油者の給油動作を確認しながら、給油の可否をリモート操作する。 Conventionally, gas stations that refuel by self-service are known. At such gas stations, observers who are qualified as hazardous materials handlers are stationed by law. The observer remotely controls whether or not refueling is possible while checking the refueling operation of the refueling person through a live image of the refueling space from the office of the gas station.
また、特許文献1には、「車両の給油口付近を撮像して給油ノズルの色調を識別し、識別された給油ノズルの色調に基づいて、給油ノズルの油種が車両の油種に合致していないと判別された場合には、油種不適の警告を行う」旨の技術が開示される。
Further, in
特許文献1には、「給油ノズルの色調に基づく油種不適」以外の警告については、開示がない。
しかしながら、監視者が給油可否を判断する上で、判断すべき不正行為(安全または誤り防止の規範から外れる行為)は他にも存在する。
一般に、監視者は、給油スペースのライブ映像を常時注視しながら様々な不正行為に対して同時に注意を払わなければならない。そのため、監視者の負担が大きいという問題が有った。
However, there are other fraudulent acts (acts that deviate from the norms of safety or error prevention) that the observer should judge when deciding whether or not to refuel.
In general, observers must keep an eye on the live footage of the refueling space and pay attention to various frauds at the same time. Therefore, there is a problem that the burden on the observer is heavy.
そこで、本発明は、給油可否を判定するための画像解析技術を提供する。 Therefore, the present invention provides an image analysis technique for determining whether or not refueling is possible.
上記課題を解決するために、代表的な本発明の画像解析システムの一つは、給油スペースを撮像した映像を取得する映像取得部と、給油スペースの映像群について不正行為を機械学習した学習モデルを用いて、映像取得部が取得した映像について不正行為を検知する検知部と、不正行為の検知結果に基づいて給油可否に関する情報を生成する判定部とを備える。 In order to solve the above problem, one of the typical image analysis systems of the present invention is a video acquisition unit that acquires an image of the refueling space and a learning model that machine-learns fraudulent activity about the video group of the refueling space. It is provided with a detection unit that detects fraudulent activity in the video acquired by the image acquisition unit and a determination unit that generates information on whether or not refueling is possible based on the detection result of the fraudulent activity.
本発明により、給油可否を判定する画像解析が可能になる。
上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
INDUSTRIAL APPLICABILITY According to the present invention, image analysis for determining whether or not refueling is possible becomes possible.
Issues, configurations and effects other than those described above will be clarified by the description of the following embodiments.
以下、本発明の実施例について図面を用いて説明する。 Hereinafter, examples of the present invention will be described with reference to the drawings.
[実施例1の構成説明]
図1は、セルフサービス式のガソリンスタンドGSを示す図である。
同図において、ガソリンスタンドGSには、複数の給油レーン(No1〜NoX)が設置される。これらの給油レーンには、給油装置10がそれぞれ配置される。給油装置10には、3つの油種(レギュラー、ハイオク、および軽油)に対応して、3系統の給油ノズルが設けられる。これら3系統の給油ノズルは、給油者が油種を区別しやすいように、色分けされる。
[Structure Description of Example 1]
FIG. 1 is a diagram showing a self-service gas station GS.
In the figure, a plurality of refueling lanes (No1 to NoX) are installed at the gas station GS. A refueling
例えば、レギュラーガソリンを給油する給油ノズルは「赤色」に色分けされる。ハイオクガソリンを給油する給油ノズルは「黄色」に色分けされる。軽油を給油する給油ノズルは「緑色」に色分けされる。 For example, a refueling nozzle that refuels regular gasoline is color coded "red." Refueling nozzles that refuel high octane gasoline are color coded "yellow". The refueling nozzle that refuels light oil is color-coded into "green".
一方、給油レーンそれぞれには、給油スペースの映像をなるべく死角なく取得するように、映像取得部11が設置される。例えば、映像取得部11は、給油者の行動を俯瞰位置や鳥瞰位置から撮影するカメラA1(行動解析用)と、車両のナンバープレートを斜め横方向から撮影するカメラB1(車番解析用)とから構成される。 On the other hand, in each of the refueling lanes, an image acquisition unit 11 is installed so as to acquire an image of the refueling space with as few blind spots as possible. For example, the image acquisition unit 11 includes a camera A1 (for behavior analysis) that captures the behavior of the refueling person from a bird's-eye view position or a bird's-eye view position, and a camera B1 (for vehicle number analysis) that captures the license plate of the vehicle from an oblique lateral direction. Consists of.
図2は、給油監視用の画像解析システム100のブロック図である。
同図において、画像解析システム100は、映像取得部11、検知部12(学習モデル200〜260を含む)、判定部13、給油履歴14、監視パソコン15、警報器16、警報器16a、手持ち端末17、無線LAN18、インターフェース部19、給油制御装置20、およびネットワークスイッチ21を備えて構成される。
FIG. 2 is a block diagram of the image analysis system 100 for refueling monitoring.
In the figure, the image analysis system 100 includes an image acquisition unit 11, a detection unit 12 (including learning models 200 to 260), a
ここで、検知部12、判定部13、および給油履歴14は、AI学習機能付きの画像処理サーバ22の機能によって実現される。
Here, the
この画像処理サーバ22は、ハードウェアとしてCPU(Central Processing Unit)やメモリなどを備えたコンピュータとして構成される。このハードウェアの一部または全部については、DSP(Digital Signal Processor)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)などで代替してもよい。また、ハードウェアの一部または全部をネットワーク上のサーバに集中または分散してクラウド配置してもよい。 The image processing server 22 is configured as a computer equipped with a CPU (Central Processing Unit), a memory, and the like as hardware. Part or all of this hardware may be replaced with a DSP (Digital Signal Processor), FPGA (Field-Programmable Gate Array), GPU (Graphics Processing Unit), or the like. In addition, part or all of the hardware may be centralized or distributed to servers on the network and placed in the cloud.
次に、画像解析システム100内の信号の流れについて説明する。
映像取得部11は、LANケーブル(PoE給電)を介して、ネットワークスイッチ21に接続される。映像取得部11は、ネットワークスイッチ21側からLANケーブルを介して電源供給を受ける。また、映像取得部11から出力された映像情報は、LANケーブルを介して、ネットワークスイッチ21に供給される。
Next, the signal flow in the image analysis system 100 will be described.
The video acquisition unit 11 is connected to the
ネットワークスイッチ21は、給油レーンごとの映像取得部11から供給される映像情報(ライブ映像)を給油レーンごとに切り替えて、検知部12に出力する。
The
検知部12は、映像情報を学習モデル200〜260を使用して解析し、給油スペースの不正行為などを検知する。判定部13は、不正行為の検知結果に基づいて給油可否に関する情報を生成する。
The
判定部13で生成された給油可否に関する情報は、ネットワークスイッチ21を介して、ガソリンスタンドGSの事務室内の監視パソコン15へ伝達される。監視パソコン15は、この給油可否に関する情報に基づいて、常駐する監視者への注意喚起をモニタ画面や警報器16を通して実施する。
The information regarding whether or not refueling is possible, which is generated by the
また、給油レーンそれぞれには、警報器16aも設置される。これらの警報器16aは、ネットワークスイッチ21を介して、監視パソコン15に接続される。監視パソコン15は、警報器16aを介して、給油者への音声ガイドや注意喚起を実施する。
An alarm 16a is also installed in each of the refueling lanes. These alarms 16a are connected to the monitoring
さらに、監視パソコン15は、ネットワークスイッチ21、インターフェース部19を介して、給油制御装置20に接続される。
Further, the monitoring
給油制御装置20は、給油レーンごとに給油装置10内の給油バルブや給油圧力を制御することにより、給油装置10の給油の停止や給油量や吐出量を制御する。
The
この給油装置10は、ネットワークスイッチ21を介して監視パソコン15や画像処理サーバ22とも通信を行い、給油時の課金決済や、選択された油種・給油量などの情報を伝達する。給油履歴14は、給油に係る履歴を情報記録する。
The
なお、監視者は、タブレットなどの手持ち端末17を介して、監視パソコン15と同様の給油監視や給油制御を行うことができる。この手持ち端末17がガソリンスタンドGSの敷地内での通信をカバーするように、複数の無線LAN18が分散して配置される。
The observer can perform refueling monitoring and refueling control similar to those of the monitoring
なお、検知部12に含まれる学習モデル200〜260は、次の不正行為や車番認識などの画像解析に使用される。
・学習モデル200:給油位置に正しく停止しない不正行為
・学習モデル210:静電気除去をしない不正行為
・学習モデル220:給油ノズルを正しく挿置しない不正行為
・学習モデル230:不必要な人数が滞在する不正行為
・学習モデル240:車両以外へ給油する不正行為
・学習モデル250:要注意状況に関する不正行為
・学習モデル260:車番の認識
なお、これら学習モデル200〜260の機械学習および使用については後述する。
The learning models 200 to 260 included in the
・ Learning model 200: Cheating that does not stop properly at the refueling position ・ Learning model 210: Cheating that does not remove static electricity ・ Learning model 220: Cheating that does not insert the refueling nozzle correctly ・ Learning model 230: Unnecessary number of people stay Cheating / learning model 240: Cheating / learning model 250 for refueling other than vehicles: Cheating / learning model 260 for situations requiring attention: Car number recognition The machine learning and use of these learning models 200 to 260 will be described later. To do.
[学習モデル200〜260の基本構成]
まず、学習モデル200〜260に共通する基本構成について説明する。
[Basic configuration of learning models 200 to 260]
First, the basic configuration common to the learning models 200 to 260 will be described.
図3は、学習モデル200〜260の基本構成を示す図である。
同図において、給油スペースの映像情報は、前処理部31に入力される。前処理部31は、画像解析の解析内容に合わせた前処理を映像情報に実施する。
FIG. 3 is a diagram showing a basic configuration of learning models 200 to 260.
In the figure, the video information of the refueling space is input to the
例えば、前処理部31は、解析領域設定(クロップ、リサイズ、鳥瞰変換、視点変換、歪み補正、畳み込み前のパディングなど)や、差分比較(背景差分、輪郭抽出など)や、ベクトル解析(動きベクトル検出、動き追跡)や、信号処理(特徴抽出、形状抽出、輪郭強調、階調補正、ダイナミックレンジの拡大縮小、レベル正規化、ノイズ抑制、モアレ除去、ホワイトバランス調整、色処理、減色処理、モノクロ化など)や、その他の前処理を実施する。
For example, the preprocessing
例えば、図4[A]に示す「物体有無の画像解析」を行う学習モデルでは、前処理部31は、差分比較や、物体の形状抽出、物体の特徴抽出、物体の存在し得る対象エリアのクロップなどの画像処理を実施する。
For example, in the learning model that performs "image analysis of the presence or absence of an object" shown in FIG. 4 [A], the preprocessing
また、図4[B]に示す「給油ノズルや給油先などに関する画像解析」を行う学習モデルでは、前処理部31は、給油ノズルの色と給油装置10の前面収納位置から給油種別の油種を判定する。また、前処理部31は、給油ノズル(または給油者の手)の動きをベクトル解析することによって給油ノズルや給油先の対象エリアを検出し、その対象エリアをクロップする。
Further, in the learning model for performing "image analysis on the refueling nozzle, refueling destination, etc." shown in FIG. 4 [B], the
さらに、図4[C]に示す「車番に関する画像解析」を行う学習モデルでは、前処理部31は、ナンバープレートを差分比較や形状抽出によってナンバープレートの対象エリアを検出し、その対象エリアをクロップする。また、必要であればナンバープレートに台形補正などを加えたり、ナンバープレートの地色を除く減色処理などを実施してもよい。
Further, in the learning model for performing "image analysis on vehicle number" shown in FIG. 4 [C], the preprocessing
また、図4[D]に示す「人間の行動に関する画像解析」を行う種類の学習モデルでは、前処理部31は、手の動き、形状、差分比較により喫煙や電話通話中やモバイル機器の利用中などの対象エリアを検出し、その対象エリアをクロップする。
Further, in the learning model of the type that performs "image analysis on human behavior" shown in FIG. 4 [D], the preprocessing
前処理部31において前処理された映像情報は、学習モデル200〜260内の入力層32に入力される。入力層32の映像情報は、畳み込み層・活性化関数33およびプーリング層34を介して処理され、画像空間の局所的な特徴に応じて活性化するニューロンからなる特徴マップに変換される。この畳み込み層・活性化関数33およびプーリング層34は、画像解析に適した層数だけ多層化される。
The video information preprocessed by the preprocessing
多層化された畳み込み層・活性化関数33およびプーリング層34を経由した特徴マップのニューロンの値はシリアル化された後、ニューラルネットワーク35に入力される。ニューラルネットワーク35は画像解析に適する層数でニューロンを結合(例えば全結合)して構成される。ニューラルネットワーク35の最終端の出力層36からは、画像解析の結果(尤度など)を示す値が出力される。
The neuron values of the feature map via the multi-layered convolution layer /
[学習モデル200〜260の機械学習]
上述した畳み込み層・活性化関数33やニューラルネットワーク35内のニューロンは、重み配列wやバイアスbを有する。これらの重み配列wやバイアスbは、学習用データセットを用いた機械学習(誤差逆伝搬法など)を繰り返すことにより逐次更新され、学習した教師データに沿った判定結果を出力するようになる。
[Machine learning of learning models 200-260]
The above-mentioned convolution layer /
この機械学習は、システムの運用開始前に準備として行われる。また、システムの運用開始後には、実際の監視映像を訓練画像として自動収集しつつ、その監視映像に対する監視者の判断を教師データとすることで、現実に即した機械学習が行われる。 This machine learning is performed as a preparation before the system starts operation. In addition, after the system starts operation, machine learning is performed in line with reality by automatically collecting the actual surveillance image as a training image and using the judgment of the observer for the surveillance image as teacher data.
図5〜図11は、このような機械学習に使用する学習用データセット(訓練画像と教師データのセット群)の例を、画像解析の種類別に示す図である。以下、これらの学習用データセットについてそれぞれ説明する。 5 to 11 are diagrams showing examples of learning data sets (sets of training images and teacher data) used for such machine learning by type of image analysis. Hereinafter, each of these training data sets will be described.
・学習モデル200に対する「給油位置に正しく停止しない不正行為」の機械学習
図5には、給油時の車両の正しい停止位置(以下「給油位置」という)について機械学習を行うための学習用データセット200A〜Cが示される。この学習用データセット200A〜Cの訓練画像は、学習モデル200の前処理部31の前処理(給油位置付近を対象エリアとしてクロップする処理、好ましくは鳥瞰変換により停止枠を長方形に変換する処理)がすでに実施された映像情報である。
-Machine learning of "fraud that does not stop correctly at the refueling position" for the learning model 200 Fig. 5 shows a learning data set for performing machine learning about the correct stop position of the vehicle at the time of refueling (hereinafter referred to as "refueling position"). 200A-C are shown. The training images of the
同図において、学習用データセット200Aの訓練画像の群は、給油スペースの停止枠からはみ出さずに車両が停止し、かつ車両の給油口が給油装置10の方向に有る状態の映像情報である。これら訓練画像の群に対しては、「給油位置OK」の教師データが付与される。
In the figure, the group of training images of the learning data set 200A is video information in a state where the vehicle is stopped without protruding from the stop frame of the refueling space and the refueling port of the vehicle is in the direction of the
一方、学習用データセット200Bの訓練画像の群は、給油スペースの停止枠からはみ出して車両が停止した状態の映像情報である。これら訓練画像の群に対しては、「給油位置NG」の教師データが付与される。
On the other hand, the group of training images of the learning
さらに、学習用データセット200Cの訓練画像の群は、車両の給油口が給油装置10と反対側に有る状態の映像情報である。これら訓練画像の群に対しては、「給油位置NG(または給油口逆向きNG)」の教師データが付与される。
Further, the group of training images of the learning
図5に示す学習用データセット200A〜Cにより、車両が給油位置に停止しているか否かを機械学習させることにより、車両が給油位置に停止しない不正行為(さらには、給油口が給油装置10と反対側にある不正行為)を検知する学習モデル200が得られる。
By machine learning whether or not the vehicle is stopped at the refueling position by using the learning
・学習モデル210に対する「静電気除去しない不正行為」の機械学習
図6には、静電気除去しない不正行為について機械学習を行うための学習用データセット210A〜Cが示される。この学習用データセット210A〜Cの訓練画像は、学習モデル210の前処理部31の前処理(静電気除去シート付近を対象エリアとしてクロップする処理)を実施済みの映像情報である。
-Machine learning of "cheating without static electricity removal" for the learning model 210 FIG. 6 shows learning
同図において、学習用データセット210Aの訓練画像の群は、給油者が静電気除去シートに素手(手袋など非着用)で接触している状態の映像情報である。これら訓練画像の群に対しては、「静電気除去OK」の教師データが付与される。 In the figure, the group of training images of the learning data set 210A is video information in a state where the refueling person is in contact with the static electricity removing sheet with bare hands (without wearing gloves or the like). Teacher data of "static electricity removal OK" is given to the group of these training images.
一方、学習用データセット210Bの訓練画像の群は、給油者が静電気除去シートに接触していない状態の映像情報である。これら訓練画像の群に対しては、「静電気除去NG」の教師データが付与される。
On the other hand, the group of training images of the learning
さらに、学習用データセット210Cの訓練画像の群は、給油者が静電気除去シートに手袋やハンカチなどを介して接触(放電不十分)した状態の映像情報である。これら訓練画像の群に対しては、「静電気除去NG(または手袋着用NG)」の教師データが付与される。
Further, the group of training images of the learning
図6に示す学習用データセット210A〜Cにより、給油者が静電気除去行動をしたか否かを機械学習させることにより、給油者が静電気除去行動をしない不正行為(さらには、手袋などをつけて静電気除去を行った不正行為)を検知する学習モデル210が得られる。
By using the learning
・学習モデル220に対する「給油ノズルを正しく挿置しない不正行為」の機械学習
図7には、給油ノズルの挿置に関する不正行為を機械学習するための学習用データセット220A〜Cが示される。この学習用データセット220A〜Cの訓練画像は、学習モデル220の前処理部31の前処理(給油ノズルの移動ベクトルにより検出した給油口付近を対象エリアとしてクロップする処理)を実施済みの映像情報である。
-Machine learning of "fraud of not inserting the refueling nozzle correctly" with respect to the learning model 220 FIG. 7 shows learning
同図において、学習用データセット220Aの訓練画像の群は、給油ノズルが給油口に正しく挿置された状態の映像情報である。これら訓練画像の群に対しては、「ノズル挿置OK」の教師データが付与される。 In the figure, the group of training images of the learning data set 220A is video information in a state where the refueling nozzle is correctly inserted in the refueling port. Teacher data of "nozzle insertion OK" is given to the group of these training images.
一方、学習用データセット220Bの訓練画像の群は、給油ノズルが給油口に挿置されない状態の映像情報である。これら訓練画像の群に対しては、「ノズル挿置NG」の教師データが付与される。
On the other hand, the group of training images of the learning
さらに、学習用データセット220Cの訓練画像の群は、給油ノズルが給油口の奥まで挿置されずに浮いたり傾いたりした状態の映像情報である。これら訓練画像の群に対しては、「ノズル挿置NG」の教師データが付与される。
Further, the group of training images of the learning
図7に示す学習用データセット220A〜Cにより、給油ノズルが給油口に正しく挿置されたか否かを機械学習させることにより、給油ノズルが給油口に正しく挿置されない不正行為を検知する学習モデル220が得られる。
A learning model that detects fraudulent activities in which the refueling nozzle is not correctly inserted into the refueling port by machine learning whether or not the refueling nozzle is correctly inserted into the refueling port using the learning
・学習モデル230に対する「不必要な人数が滞在する不正行為」の機械学習
図8には、滞在人数に関する不正行為を機械学習するための学習用データセット230A〜Cが示される。この学習用データセット230A〜Cの訓練画像は、学習モデル230の前処理部31の前処理(車両の周辺を対象エリアとしてクロップする処理、好ましくは鳥瞰変換により停止枠を長方形に変換する処理)を実施済みの映像情報である。
-Machine learning of "cheating behavior in which an unnecessary number of people stay" with respect to the learning model 230 FIG. 8 shows learning
同図において、学習用データセット230Aの訓練画像の群は、滞在人数が給油に必要な人数(例えば給油者一人)の状態の映像情報である。これら訓練画像の群に対しては、「滞在人数OK」の教師データが付与される。 In the figure, the group of training images of the learning data set 230A is video information in which the number of people staying is the number of people required for refueling (for example, one refueling person). Teacher data of "number of people staying OK" is given to these groups of training images.
一方、学習用データセット230Bの訓練画像の群も、滞在人数が給油に必要な人数(例えば給油者とアドバイス者の二人程度)の状態の映像情報である。これら訓練画像の群に対しては、「滞在人数OK」の教師データが付与される。
On the other hand, the group of training images of the learning
さらに、学習用データセット230Cの訓練画像の群は、滞在人数が給油に必要な所定数を超える状態の映像情報である。これら訓練画像の群に対しては、「滞在人数NG」の教師データが付与される。
Further, the group of training images of the learning
図8に示す学習用データセット230A〜Cにより、給油スペースの滞在人数を機械学習させることにより、給油スペースの人数が所定数を超える不正行為を検知する学習モデル230が得られる。
By machine learning the number of people staying in the refueling space using the learning
・学習モデル240に対する「車両以外へ給油する不正行為」の機械学習
図9には、車両以外へ給油する不正行為を機械学習するための学習用データセット240A〜Cが示される。この学習用データセット240A〜Cの訓練画像は、学習モデル240の前処理部31の前処理(給油ノズルの挿置先や届く範囲を対象エリアとしてクロップする処理)を実施済みの映像情報である。
-Machine learning of "fraud to refuel other than vehicle" for learning model 240 FIG. 9 shows learning data sets 240A to C for machine learning of fraudulent behavior to refuel other than vehicle. The training images of the learning data sets 240A to C are video information in which the preprocessing of the
同図において、学習用データセット240Aの訓練画像の群は、車両に給油している状態の映像情報である。これら訓練画像の群に対しては、「車両への給油OK」の教師データが付与される。 In the figure, the group of training images of the learning data set 240A is video information in a state where the vehicle is refueled. Teacher data of "refueling to the vehicle is OK" is given to the group of these training images.
一方、学習用データセット240Bの訓練画像の群は、車両以外(灯油タンク、ポリタンク、携行缶など)に給油している状態の映像情報である。これら訓練画像の群に対しては、「車両以外への給油NG」の教師データが付与される。
On the other hand, the group of training images of the learning
さらに、学習用データセット240Cの訓練画像の群は、車両トランクなどに搭載した(灯油タンク、ポリタンク、携行缶など)に給油している状態の映像情報である。これら訓練画像の群に対しては、「車両以外への給油NG」の教師データが付与される。
Further, the group of training images of the learning
図9に示す学習用データセット240A〜Cにより、給油先が車両か否かを機械学習させることにより、車両以外に給油する不正行為を検知する学習モデル240が得られる。 By machine learning whether or not the refueling destination is a vehicle by using the learning data sets 240A to C shown in FIG. 9, a learning model 240 for detecting a fraudulent act of refueling other than the vehicle can be obtained.
・学習モデル250に対する「要注意状況に関する不正行為」の機械学習
図10には、要注意状況に関する不正行為を機械学習するための学習用データセット250A〜Cが示される。この学習用データセット250A〜Cの訓練画像は、学習モデル250の前処理部31の前処理(要注意状況が生じる範囲を対象エリアとしてクロップする処理)を実施済みの映像情報である。
-Machine learning of "fraud related to a caution situation" with respect to the learning model 250 FIG. 10 shows learning
同図において、学習用データセット250A,250Bの訓練画像の群は、次のいずれか1種類の要注意状況(または複数種類の要注意状況の組み合わせ)が発生した状態の映像情報である。
In the figure, the group of training images of the learning
(1)火気使用、(2)たばこ、(3)ライター、(4)マッチ、(5)喫煙具、(6)喫煙、(7)発火、(8)スパーク発生、(9)高温物、(10)引火物、(11)可燃物、(12)爆発物、(13)危険物、(14)携行缶、(15)灯油タンク、(16)通話や画面注視の不注意状態、(17)携帯電話による不注意状態、(18)モバイル機器による不注意状態、(19)車外の子供の存在、(20)給油中のよそ見、(21)給油中の会話、(22)給油者などの転倒、(23)給油者などの争い、(24)給油スペースでの騒乱、(25)給油キャップの紛失や閉め忘れ、(26)酔っ払い、倒れ込む、しゃがみ込む、何かを隠すなどの異常行動、(27)不注意行動、(28)危険行動
これら訓練画像の群に対しては、「要注意状況NG」の教師データが付与される。
(1) Use of fire, (2) Tobacco, (3) Lighter, (4) Match, (5) Smoking equipment, (6) Smoking, (7) Ignition, (8) Spark generation, (9) High temperature material, ( 10) Flammables, (11) Combustibles, (12) Explosives, (13) Dangerous goods, (14) Carrying cans, (15) Kerosene tanks, (16) Careless state of talking and screen gaze, (17) Carelessness due to mobile phones, (18) Carelessness due to mobile devices, (19) Presence of children outside the vehicle, (20) Looking away during refueling, (21) Conversation during refueling, (22) Falling of refuelers, etc. , (23) Conflict with refuelers, (24) Mayhem in refueling space, (25) Lost or forgotten refueling cap, (26) Drunk, collapsed, crouched, hidden something, etc. 27) Careless behavior, (28) Dangerous behavior Teacher data of "Caution required status NG" is given to these groups of training images.
一方、学習用データセット250Cの訓練画像の群は、学習用データセット250A,250Bの訓練画像から『要注意状況』を取り除いた状態の映像情報である。これら訓練画像の群に対しては、「要注意状況なしOK」の教師データが付与される。
On the other hand, the group of training images of the learning
図10に示す学習用データセット250A〜Cにより、要注意状況に関する不正行為を機械学習させることにより、要注意状況に関する不正行為をそれぞれ検知する複数個の学習モデル250が得られる。
By machine learning the fraudulent activity related to the caution situation by using the learning
・学習モデル260に対する「車番認識」の機械学習
図11には、車番の領域区分のための学習用データセット260Aが示される。この学習用データセット260Aの訓練画像は、学習モデル260の前処理部31の前処理(ナンバープレートの領域をクロップする処理、好ましくはナンバープレートを長方形に変換し、ナンバープレートの画像サイズを正規化する処理)を実施済みの映像情報である。
-Machine learning of "vehicle number recognition" for the learning model 260 FIG. 11 shows a learning data set 260A for area division of vehicle numbers. The training image of this training data set 260A is preprocessed by the preprocessing
これら訓練画像の群に対しては、訓練画像をコード種類別に領域区分するための領域ラベル(陸上コード、車種コード、用途コード、一連指定番号コードなど)が付与される。ここでの領域ラベルは、画像解析システム100の使用国または使用地域のナンバープレートの表示法令などに従った領域ラベルを付与する。 Area labels (land code, vehicle type code, usage code, serial designation number code, etc.) for classifying the area of the training image according to the code type are assigned to these groups of training images. As the area label here, the area label in accordance with the license plate display law of the country or area of use of the image analysis system 100 is given.
このような学習用データセット260Aにより機械学習を行うことにより、ナンバープレートの車番をコード種類別の画像領域に領域区分する学習モデル260が得られる。 By performing machine learning with such a learning data set 260A, a learning model 260 that divides the vehicle number of the license plate into an image area for each code type can be obtained.
さらに、この学習モデル260は、領域区分された画像領域を、文字認識用の学習器で処理することにより、車番の各コードを文字や数字や記号として読み取る。 Further, the learning model 260 reads each code of the vehicle number as characters, numbers, and symbols by processing the area-divided image area with the learning device for character recognition.
[画像解析システム100の動作説明]
続いて、機械学習済みの学習モデル200〜260を用いて行われる画像解析システム100の動作を説明する。
[Explanation of operation of image analysis system 100]
Subsequently, the operation of the image analysis system 100 performed by using the machine-learned learning models 200 to 260 will be described.
図12〜図13は、画像解析システム100の動作を示す流れ図である。
図14〜図18は、画像解析の様子を説明するための図である。
図19は、監視パソコン15や手持ち端末17の表示画面を示す図である。
以下、図12〜図13に示すステップ番号の順に、画像解析の動作を説明する。
12 to 13 are flow charts showing the operation of the image analysis system 100.
14 to 18 are diagrams for explaining the state of image analysis.
FIG. 19 is a diagram showing a display screen of the monitoring
Hereinafter, the operation of image analysis will be described in the order of the step numbers shown in FIGS. 12 to 13.
ステップS11: 給油レーン別に配置されたカメラA1,B1(映像取得部11)は、給油スペースの映像情報(動画)を出力する。この映像情報は、ネットワークスイッチ21を介して画像処理サーバ22内の検知部12に入力される。
Step S11: The cameras A1 and B1 (image acquisition unit 11) arranged for each refueling lane output video information (moving image) of the refueling space. This video information is input to the
ステップS12: 検知部12は、学習モデル200に映像情報を出力する。学習モデル200内の前処理部31は、この映像情報に対して前処理(車両の給油位置付近を対象エリアとしてクロップする処理、好ましくは鳥瞰変換により停止枠を長方形に変換する処理)を実施する。前処理された映像情報は、車両が給油位置に正しく停止しているか否かを機械学習した学習モデル200を介して処理される。学習モデル200は、車両が給油位置に停止しない不正行為の尤度を出力する。または、車両方向が逆向きで給油口が給油装置10側に存在しない不正行為の尤度を出力する。
Step S12: The
図14は、車両の給油位置の検知例を示す図である。
車両が正しい位置および向きに停止するほど、不正行為の尤度は低くなる。逆に、車両が正しい給油位置から外れたり、車両が逆向きになるほど、不正行為の尤度は高くなる。
FIG. 14 is a diagram showing an example of detecting the refueling position of the vehicle.
The more the vehicle stops in the correct position and orientation, the less likely it is to cheat. Conversely, the more the vehicle deviates from the correct refueling position or the vehicle is turned in the opposite direction, the higher the likelihood of fraud.
ステップS13: 判定部13は、学習モデル200が出力する不正行為の尤度に基づいて、給油可否に関する情報を生成する。ここで給油不可と判定される場合、判定部13はステップS14に動作を移行する。それ以外の場合、判定部13はステップS15に動作を移行する。
Step S13: The
ステップS14: 判定部13は、給油不可に関する情報を、監視パソコン15や手持ち端末17や警報器16aに転送する。監視パソコン15や手持ち端末17や警報器16は、「車両が給油位置に停止しない不正行為」や「車両方向が逆向きで給油口が給油装置10側に存在しない不正行為」を、モニタ表示や音声通知や警報点灯によって監視者に報知する。給油レーンに配置された警報器16aも音声通知や警報点灯を行い、給油者に対して「車両が給油位置に停止しない不正行為」や「車両方向が逆向きで給油口が給油装置10側に存在しない不正行為」を報知する。これらの報知動作の後、判定部13はステップS12に動作を戻す。
Step S14: The
ステップS15: 検知部12は、学習モデル210に映像情報を出力する。学習モデル210内の前処理部31は、この映像情報に対して前処理(静電気除去シート付近を対象エリアとしてクロップする処理)を実施する。前処理された映像情報は、静電気除去をしたか否かを機械学習した学習モデル210を介して処理される。学習モデル210は、静電気除去をしない不正行為の尤度を出力する。
Step S15: The
図15は、静電気除去行動の検知例を示す図である。
静電気除去シートに一瞬でも給油者の手が触れることによって、不正行為の尤度は低くなる。ただし、肌色と異なる色の手袋やハンカチなどの介在物を検知すると、不正行為の尤度は高くなる。
FIG. 15 is a diagram showing an example of detecting static electricity removal behavior.
If the refueling person touches the static electricity removal sheet even for a moment, the likelihood of fraud is reduced. However, if an inclusion such as a glove or a handkerchief with a color different from the skin color is detected, the likelihood of cheating increases.
ステップS16: 判定部13は、学習モデル210が出力する不正行為の尤度に基づいて、給油可否に関する情報を生成する。ここで給油不可と判定される場合、判定部13はステップS17に動作を移行する。それ以外の場合、判定部13はステップS18に動作を移行する。
Step S16: The
ステップS17: 判定部13は、給油不可に関する情報を、監視パソコン15や手持ち端末17や警報器16aに転送する。監視パソコン15や手持ち端末17や警報器16は、「静電気除去をしない不正行為」を、モニタ表示や音声通知や警報点灯によって監視者に報知する。給油レーンに配置された警報器16aも音声通知や警報点灯を行い、給油者に対して「静電気除去をしない不正行為」を報知する。これらの報知動作の後、判定部13はステップS15に動作を戻す。
Step S17: The
ステップS18: 検知部12は、学習モデル220に映像情報を出力する。学習モデル220内の前処理部31は、この映像情報に対して前処理(給油ノズルのベクトル追跡により検出した給油口付近を対象エリアとしてクロップする処理)を実施する。前処理された映像情報は、給油ノズルが給油口に正しく挿置されたか否かを機械学習した学習モデル220を介して処理される。学習モデル220は、給油ノズルを正しく挿置しない不正行為の尤度を出力する。
Step S18: The
図16は、給油ノズルの挿置状況の検知例を示す図である。
給油ノズルが給油口に正しく挿置されるほど、不正行為の尤度は低くなる。給油ノズルが浮いたり傾いたりするほど、不正行為の尤度は高くなる。
FIG. 16 is a diagram showing an example of detecting the insertion state of the refueling nozzle.
The more correctly the refueling nozzle is inserted into the refueling port, the lower the likelihood of fraud. The more the refueling nozzle floats or tilts, the higher the likelihood of fraud.
ステップS19: 判定部13は、学習モデル220が出力する不正行為の尤度に基づいて、給油可否に関する情報を生成する。ここで給油不可と判定される場合、判定部13はステップS20に動作を移行する。それ以外の場合、判定部13はステップS21に動作を移行する。
Step S19: The
ステップS20: 判定部13は、給油不可に関する情報を、監視パソコン15や手持ち端末17や警報器16aに転送する。監視パソコン15や手持ち端末17や警報器16は、「給油ノズルを給油口に正しく挿置しない不正行為」を、モニタ表示や音声通知や警報点灯によって監視者に報知する。給油レーンに配置された警報器16aも音声通知や警報点灯を行い、給油者に対して「給油ノズルを給油口に正しく挿置しない不正行為」を報知する。これらの報知動作の後、判定部13はステップS18に動作を戻す。
Step S20: The
ステップS21: 検知部12は、学習モデル230に映像情報を出力する。学習モデル230内の前処理部31は、この映像情報に対して前処理(車両の周辺を対象エリアとしてクロップする処理、好ましくは鳥瞰変換により停止枠を長方形に変換する処理)を実施する。前処理された映像情報は、給油に不必要な人数を機械学習した学習モデル230を介して処理される。学習モデル230は、人数が所定数を超えて給油スペースに不必要な人数が滞在する不正行為の尤度を出力する。
Step S21: The
図17は、給油者以外の人物の検知例を示す図である。
給油に必要な人数であれば、不正行為の尤度は低くなる。給油者以外の人数が増えるほど、不正行為の尤度は高くなる。
FIG. 17 is a diagram showing a detection example of a person other than the refueling person.
If the number of people required for refueling, the likelihood of cheating is low. The greater the number of non-fuelers, the higher the likelihood of fraud.
ステップS22: 判定部13は、学習モデル230が出力する不正行為の尤度に基づいて、給油可否に関する情報を生成する。ここで給油不可と判定される場合、判定部13はステップS23に動作を移行する。それ以外の場合、判定部13はステップS24に動作を移行する。
Step S22: The
ステップS23: 判定部13は、給油不可に関する情報を、監視パソコン15や手持ち端末17や警報器16aに転送する。監視パソコン15や手持ち端末17や警報器16は、「給油に不必要な人数が滞在する不正行為」を、モニタ表示や音声通知や警報点灯によって監視者に報知する。給油レーンに配置された警報器16aも音声通知や警報点灯を行い、給油者に対して「給油に不必要な人数が滞在する不正行為」を報知する。これらの報知動作の後、判定部13はステップS21に動作を戻す。
Step S23: The
ステップS24: 検知部12は、学習モデル240に映像情報を出力する。学習モデル240内の前処理部31は、この映像情報に対して前処理(給油ノズルの届く範囲を対象エリアとしてクロップする処理)を実施する。前処理された映像情報は、給油先が車両(バイク含む)か否かを機械学習した学習モデル240を介して処理される。学習モデル240は、車両以外を給油先とする不正行為の尤度を出力する。
Step S24: The
図18は、車両以外への給油などの検知例を示す図である。 FIG. 18 is a diagram showing a detection example of refueling to a vehicle other than the vehicle.
車両への正常な給油であれば、不正行為の尤度は低くなる。車両以外に給油先が検知されると、不正行為の尤度は高くなる。 With proper refueling of the vehicle, the likelihood of fraud is low. If a refueling destination other than the vehicle is detected, the likelihood of fraud increases.
ステップS25: 判定部13は、学習モデル240が出力する不正行為の尤度に基づいて、給油可否に関する情報を生成する。ここで給油不可と判定される場合、判定部13はステップS26に動作を移行する。それ以外の場合、判定部13はステップS27に動作を移行する。
Step S25: The
ステップS26: 判定部13は、給油不可に関する情報を、監視パソコン15や手持ち端末17や警報器16aに転送する。監視パソコン15や手持ち端末17や警報器16は、「車両以外を給油先とする不正行為」を、モニタ表示や音声通知や警報点灯によって監視者に報知する。給油レーンに配置された警報器16aも音声通知や警報点灯を行い、給油者に対して「車両以外を給油先とする不正行為」を報知する。これらの報知動作の後、判定部13はステップS24に動作を戻す。
Step S26: The
ステップS27: 検知部12は、学習モデル250に映像情報を出力する。学習モデル250内の前処理部31は、この映像情報に対して前処理(要注意状況が生じる範囲を対象エリアとしてクロップする処理など)を実施する。前処理された映像情報は、要注意状況について機械学習した学習モデル250を介して処理される。学習モデル250は、要注意状況に関する不正行為の尤度を出力する。
Step S27: The
ステップS28: 判定部13は、学習モデル250が出力する不正行為の尤度に基づいて、給油可否に関する情報を生成する。ここで給油不可と判定される場合、判定部13はステップS29に動作を移行する。それ以外の場合、判定部13はステップS30に動作を移行する。
Step S28: The
ステップS29: 判定部13は、給油不可に関する情報を、監視パソコン15や手持ち端末17や警報器16aに転送する。監視パソコン15や手持ち端末17や警報器16は、「要注意状況に関する不正行為」を、モニタ表示や音声通知や警報点灯によって監視者に報知する。給油レーンに配置された警報器16aも音声通知や警報点灯を行い、給油者に対して「要注意状況に関する不正行為」を報知する。これらの報知動作の後、判定部13はステップS27に動作を戻す。
Step S29: The
ステップS30: 検知部12は、学習モデル260に映像情報を出力する。学習モデル260内の前処理部31は、この映像情報に対して前処理(ナンバープレートの領域をクロップする処理、好ましくはナンバープレートを長方形に変換し、ナンバープレートの画像サイズを正規化する処理)を実施する。前処理された映像情報は、車番の読み取りについて機械学習した学習モデル260を介して処理される。学習モデル260は、車番の読み取り結果を出力する。
Step S30: The
ステップS31: 検知部12は、給油スペースの映像情報に基づいて、給油に使用される給油ノズルの色を判別し、給油する油種を情報取得する。なお、給油装置10で購入選択された油種を給油する油種として、給油装置10などから情報取得してもよい。
Step S31: The
ステップS32: 判定部13は、ステップS30で読み取った車番を給油履歴14に照合する。給油履歴14に同一の車番が見つかった場合、判定部13は、過去に給油された油種を給油履歴14から取得する。
Step S32: The
ステップS33: 判定部13は、ステップS31で情報取得した油種が、過去に同一車両に給油された油種と異なる場合、ステップS34に動作を移行する。一方、過去と同一の油種を給油する場合や、給油履歴14に車番が見つからない場合は、判定部13は、ステップS35に動作を移行する。
Step S33: When the oil type information acquired in step S31 is different from the oil type refueled to the same vehicle in the past, the
ステップS34: 判定部13は、油種不適に関する情報を、監視パソコン15や手持ち端末17や警報器16aに転送する。監視パソコン15や手持ち端末17や警報器16は、「油種不適による給油不可」を、モニタ表示や音声通知や警報点灯によって監視者に報知する。給油レーンに配置された警報器16aも音声通知や警報点灯を行い、給油者に対して「油種不適による給油不可」を報知する。これらの報知動作の後、判定部13はステップS31に動作を戻す。
Step S34: The
ステップS35: 判定部13は、ステップS30で読み取った車番を、インターネットなどのネットワークを介して外部などの登録データベースに照会し、油種や車種の登録情報を取得する。(固定客など許可が事前に得られる場合、可能ならば自動車検査登録情報提供サービスなどから油種や車種の登録情報を取得する。)
Step S35: The
ステップS36: ステップS31で情報取得した油種が登録情報と適合しない場合、判定部13は、ステップS37に動作を移行する。一方、登録情報と適合する油種を給油する場合や、登録データベースに車番が見つからない場合は、判定部13は、ステップS38に動作を移行する。
Step S36: If the oil type information acquired in step S31 does not match the registered information, the
ステップS37: 判定部13は、油種不適に関する情報を、監視パソコン15や手持ち端末17や警報器16aに転送する。監視パソコン15や手持ち端末17や警報器16は、「油種不適による給油不可」を、モニタ表示や音声通知や警報点灯によって監視者に報知する。給油レーンに配置された警報器16aも音声通知や警報点灯を行い、給油者に対して「油種不適による給油不可」を報知する。これらの報知動作の後、判定部13はステップS31に動作を戻す。
Step S37: The
ステップS38: 判定部13は、ステップS30で読み取った車番について、レンタカー(カーシェアを含む)の車番か否か(例えば、日本では車番の用途コードが「わ」または「れ」は、レンタカーの車番である)を判定する。
Step S38: The
ステップS39: レンタカーの場合、給油者にとって一時的な車両利用であるために、給油者が油種を間違う確率が高くなる。そこで、判定部13は、レンタカーの車番を検知すると、「油種間違いのおそれ有り」と判定し、ステップS40に動作を移行する。レンタカーの車番でない場合、判定部13はステップS41に動作を移行する。
Step S39: In the case of a rental car, since the refueler uses the vehicle temporarily, the probability that the refueler makes a mistake in the oil type increases. Therefore, when the
ステップS40: 判定部13は、油種間違いの可能性を、監視パソコン15や手持ち端末17や警報器16aに転送する。監視パソコン15や手持ち端末17や警報器16は、「油種間違いのおそれ有り」を、モニタ表示や音声通知や警報点灯によって監視者に報知する。給油レーンに配置された警報器16aも音声通知や警報点灯を行い、給油者に対して「油種間違いのおそれ有り」を報知する。これらの報知動作の後、判定部13はステップS41に動作を戻す。
Step S40: The
ステップS41: バイクのように給油タンクの小さな車両の場合、ノズルの差し込みが傾いたり浅くなるため、給油ノズルによる満タン検出(給油ストッパー動作)が不正確になり得る。そこで、判定部13は、バイクのように給油タンクの小さな車両の車番を検知すると、給油の吐出量や給油量を抑制して燃料の吹きこぼれを回避する。
Step S41: In the case of a vehicle having a small refueling tank such as a motorcycle, the full tank detection (refueling stopper operation) by the refueling nozzle may be inaccurate because the nozzle insertion is tilted or shallow. Therefore, when the
ステップS42: セルフサービス式のガソリンスタンドGSでは、法令などに従い、危険物取扱者である監視者が、給油者が行う給油を監視し、給油の許可を行う。
図19は、この監視者が使用する監視パソコン15や手持ち端末17の画面表示を示す図である。
同図において、画面表示は、ライブ表示域301、情報欄302、解析表示域303、確認要ボタン304、および操作域305などのマルチウィンドウから構成される。
ライブ表示域301には、映像取得部11により撮影される給油レーンごとのライブ映像がマルチ画面で同時に表示される。
情報欄302には、ステップS30で検知された車番、ステップS35で照会された登録情報、ステップS32で照会された給油履歴14のデータ、顧客の課金決裁の情報、当該車両や給油者における過去の不正行為などが一覧表示される。
Step S42: At the self-service gas station GS, a monitor who handles hazardous materials monitors the refueling performed by the refueler and permits refueling in accordance with laws and regulations.
FIG. 19 is a diagram showing a screen display of the monitoring
In the figure, the screen display is composed of a multi-window such as a live display area 301, an information field 302, an
In the live display area 301, live images for each refueling lane taken by the image acquisition unit 11 are simultaneously displayed on a multi-screen.
In the information column 302, the vehicle number detected in step S30, the registration information inquired in step S35, the data of the
解析表示域303には、上述した学習モデル200〜260による解析結果として、給油不可に係る重要部分の画像や、解析内容の状況説明や、不正行為に対する対処方策が表示される。
この解析表示域303には、監視者がライブ表示域301の画面選択により選択した給油レーンについて解析結果を表示してもよい。
また、複数の給油レーンごとの解析結果を所定間隔おきに自動的に切替え表示してもよい。
さらに、給油者の存在する給油レーンの解析結果を優先的に表示してもよい。
また、不正行為が発生中の給油レーンの解析結果を自動選択して表示してもよい。
In the
In this
Further, the analysis results for each of a plurality of refueling lanes may be automatically switched and displayed at predetermined intervals.
Further, the analysis result of the refueling lane in which the refueler exists may be displayed preferentially.
In addition, the analysis result of the refueling lane in which fraud is occurring may be automatically selected and displayed.
解析表示域303の表示の内、保安上の問題が生じ得る解析結果については、監視者に確認を促すために、確認要ボタン304が点灯ないし点滅表示する。監視者は、解析内容の状況説明を確認した上で確認要ボタン304を操作(クリックまたはタップ)する。この確認要ボタン304の操作結果は、不正行為の内容やライブ映像や日時情報と共に監視パソコン15内の監視ログファイルに逐次記録される。
Among the displays in the
操作域305には、給油レーンの選択ボタンと、選択された給油レーンの給油可否を制御するための操作ボタン(OKボタン、NGボタン)が表示される。監視者は、OKボタンを操作することにより、給油者の給油を許可する。また、監視者は、NGボタンを操作することにより、給油者の給油を禁止(または一時停止)する。 In the operation area 305, a refueling lane selection button and an operation button (OK button, NG button) for controlling whether or not the selected refueling lane can be refueled are displayed. The observer permits the refueler to refuel by operating the OK button. In addition, the observer prohibits (or suspends) the refueling of the refueling person by operating the NG button.
ステップS43: 判定部13は、車番、給油した油種、給油量、日時、不正行為の内容、および給油可否に関する情報を給油履歴14に記録する。
Step S43: The
以上の一連の監視支援が給油許可まで随時に繰り返されることにより、監視者は少ない負担で給油許可を慎重かつ安全に行うことが可能になる。 By repeating the above series of monitoring support as needed until the refueling permit, the observer can carefully and safely perform the refueling permit with a small burden.
[画像解析システム100の給油許可後の動作]
図20は、給油許可の後も検知する不正行為の項目を示す図である。
以下、同図に示す項目別に、給油許可の後の動作について説明する。
[Operation after refueling permission of image analysis system 100]
FIG. 20 is a diagram showing items of fraudulent activity detected even after refueling permission.
Hereinafter, the operation after the refueling permission is described for each item shown in the figure.
・「給油ノズルを正しく挿置しない不正行為」
給油直前や給油中において、給油ノズルを給油口から浮かして給油ノズルによる液面検出を遅らせ、給油口ぎりぎりまで給油を行う行為(以下「追加給油行為」という)が知られている。この追加給油行為では、給油の自動停止機能が十分に機能せず、給油口から燃料が吹きこぼれる可能性が有る。
・ "Cheating that does not insert the refueling nozzle correctly"
Immediately before refueling or during refueling, the act of floating the refueling nozzle from the refueling port to delay the detection of the liquid level by the refueling nozzle and refueling to the very limit of the refueling port (hereinafter referred to as "additional refueling act") is known. In this additional refueling action, the automatic refueling stop function does not function sufficiently, and there is a possibility that fuel may spill out from the refueling port.
そこで、画像解析システム100は、給油許可の後も、給油ノズルの挿置状況について継続して検知を行う。その結果、給油直前や給油中に給油ノズルを給油口から浮かせる追加給油行為を検知することが可能になる。 Therefore, the image analysis system 100 continuously detects the insertion status of the refueling nozzle even after the refueling permission is granted. As a result, it becomes possible to detect an additional refueling action in which the refueling nozzle is floated from the refueling port immediately before or during refueling.
給油直前に追加給油行為が検知された場合、画像解析システム100は、給油許可を給油不可に一旦変更する。この状態で、警報器16aによる給油者への注意喚起と、監視パソコン15などによる監視者への不正行為の報知がなされる。監視者は給油ノズルが正しく挿置されたことを確認した上で、監視パソコン15などを操作して給油不可を給油許可に切り替える。
When an additional refueling action is detected immediately before refueling, the image analysis system 100 temporarily changes the refueling permission to non-refueling. In this state, the alarm 16a alerts the refueling person and the monitoring
また、給油中に追加給油行為が検知された場合、画像解析システム100は、給油許可を給油不可に一旦変更すると共に、安全のために給油を一時停止する制御を行う。この状態で、警報器16aによる給油者への注意喚起と、監視パソコン15などによる監視者への不正行為の報知がなされる。監視者は給油ノズルが正しく挿置されたことを確認した上で、監視パソコン15などを操作して給油不可を給油許可に切替え、給油の一時停止を解除する。
Further, when an additional refueling action is detected during refueling, the image analysis system 100 temporarily changes the refueling permission to non-refueling and controls to suspend refueling for safety. In this state, the alarm 16a alerts the refueling person and the monitoring
・「給油位置に正しく停止しない不正行為」
運転者が給油者と別人の場合、給油時に運転者が誤って車両を発進させる場合が有る。この場合、給油が正常に行えないばかりか、給油中のエンジン始動による不測の事態や、車体の揺れによって給油口から燃料がこぼれるなどの可能性も有る。
・ "Cheating that does not stop properly at the refueling position"
If the driver is different from the refueling person, the driver may accidentally start the vehicle when refueling. In this case, not only can fuel not be refueled normally, but there is also the possibility of an unexpected situation caused by starting the engine during refueling, or fuel spilling from the refueling port due to shaking of the vehicle body.
そこで、画像解析システム100は、給油許可の後も、車両の給油位置について継続して検知を行う。その結果、給油直前や給油中の車両移動を検知することが可能になる。 Therefore, the image analysis system 100 continuously detects the refueling position of the vehicle even after the refueling permission is granted. As a result, it becomes possible to detect the movement of the vehicle immediately before or during refueling.
給油直前に車両移動が検知された場合、画像解析システム100は、給油許可を給油不可に一旦変更する。この状態で、警報器16aによる運転者への注意喚起と、監視パソコン15などによる監視者への不正行為の報知がなされる。監視者は車両が正しい給油位置に戻ったことを確認した上で、監視パソコン15などを操作して給油不可を給油許可に切り替える。
When the movement of the vehicle is detected immediately before refueling, the image analysis system 100 temporarily changes the refueling permission to non-refueling. In this state, the alarm 16a alerts the driver and the monitoring
また、給油中に車両移動が検知された場合、画像解析システム100は、給油許可を給油不可に一旦変更すると共に、安全のために給油を一時停止する制御を行う。この状態で、警報器16aによる運転者への注意喚起と、監視パソコン15などによる監視者への不正行為の報知がなされる。監視者は車両が正しい給油位置に戻ったことを確認した上で、監視パソコン15などを操作して給油不可を給油許可に切替え、給油の一時停止を解除する。
Further, when the movement of the vehicle is detected during refueling, the image analysis system 100 temporarily changes the refueling permission to non-refueling and controls to suspend refueling for safety. In this state, the alarm 16a alerts the driver and the monitoring
・「要注意状況に関する不正行為」
下記のような要注意状況は、給油許可の後も同様に注意すべき状況である。
・ "Cheating about the situation requiring attention"
The following situations requiring caution are situations that should be noted in the same way even after refueling permission.
(1)火気使用、(2)たばこ、(3)ライター、(4)マッチ、(5)喫煙具、(6)喫煙、(7)発火、(8)スパーク発生、(9)高温物、(10)引火物、(11)可燃物、(12)爆発物、(13)危険物、(14)携行缶、(15)灯油タンク、(16)通話や画面注視の不注意状態、(17)携帯電話による不注意状態、(18)モバイル機器による不注意状態、(19)車外の子供の存在、(20)給油中のよそ見、(21)給油中の会話、(22)給油者などの転倒、(23)給油者などの争い、(24)給油スペースでの騒乱、(25)給油キャップの紛失や閉め忘れ、(26)酔っ払い、倒れ込む、しゃがみ込む、何かを隠すなどの異常行動、(27)不注意行動、(28)危険行動
そこで、画像解析システム100は、給油許可の後も、要注意状況について継続して検知を行う。
(1) Use of fire, (2) Tobacco, (3) Lighter, (4) Match, (5) Smoking equipment, (6) Smoking, (7) Ignition, (8) Spark generation, (9) High temperature material, ( 10) Flammables, (11) Combustibles, (12) Explosives, (13) Dangerous goods, (14) Carrying cans, (15) Kerosene tanks, (16) Careless state of talking and screen gaze, (17) Carelessness due to mobile phones, (18) Carelessness due to mobile devices, (19) Presence of children outside the vehicle, (20) Looking away during refueling, (21) Conversation during refueling, (22) Falling of refuelers, etc. , (23) Conflict with refuelers, (24) Mayhem in refueling space, (25) Lost or forgotten refueling cap, (26) Drunk, collapsed, crouched, hidden something, etc. 27) Careless behavior, (28) Dangerous behavior Therefore, the image analysis system 100 continuously detects the situation requiring attention even after the refueling permission.
給油直前に要注意状況が検知された場合、画像解析システム100は、給油許可を給油不可に一旦変更する。この状態で、警報器16aによる給油者への注意喚起と、監視パソコン15などによる監視者への要注意状況の報知がなされる。監視者は要注意状況が解消されたことを確認した上で、監視パソコン15などを操作して給油不可を給油許可に切り替える。
When a caution status is detected immediately before refueling, the image analysis system 100 temporarily changes the refueling permission to non-refueling. In this state, the alarm device 16a alerts the refueling person, and the monitoring
また、給油中に要注意状況が検知された場合、画像解析システム100は、給油許可を給油不可に一旦変更すると共に、安全のために給油を一時停止する制御を行う。この状態で、警報器16aによる給油者への注意喚起と、監視パソコン15などによる監視者への不正行為の報知がなされる。監視者は要注意状況の解消を確認した上で、監視パソコン15などを操作して給油不可を給油許可に切替え、給油の一時停止を解除する。
Further, when a cautionary situation is detected during refueling, the image analysis system 100 temporarily changes the refueling permission to non-refueling and controls to suspend refueling for safety. In this state, the alarm 16a alerts the refueling person and the monitoring
・「不必要な人数が滞在する不正行為」
給油直前や給油中に不必要な人数が集まる行為は、不測の事態ともなり得る。そこで、画像解析システム100は、給油許可の後も、給油スペースの滞在人数を検知する。
・ "Cheating that unnecessary people stay"
The act of gathering an unnecessary number of people immediately before or during refueling can be an unexpected situation. Therefore, the image analysis system 100 detects the number of people staying in the refueling space even after the refueling permission is granted.
給油直前に「不必要な人数が滞在する不正行為」が検知された場合、画像解析システム100は、給油許可を給油不可に一旦変更する。この状態で、警報器16aによる滞在者への注意喚起と、監視パソコン15などによる監視者への要注意状況の報知がなされる。監視者は状況の安全を確認した上で、監視パソコン15などを操作して給油不可を給油許可に切り替える。
When "a fraudulent act in which an unnecessary number of people stay" is detected immediately before refueling, the image analysis system 100 temporarily changes the refueling permission to non-refueling. In this state, the alarm device 16a alerts the resident, and the monitoring
また、給油中に「不必要な人数が滞在する不正行為」が検知された場合、画像解析システム100は、給油許可を給油不可に一旦変更すると共に、安全のために給油を一時停止する制御を行う。この状態で、警報器16aによる滞在者への注意喚起と、監視パソコン15などによる監視者への不正行為の報知がなされる。監視者は状況の安全を確認した上で、監視パソコン15などを操作して給油不可を給油許可に切替え、給油の一時停止を解除する。
[実施例1の効果]
In addition, when "a fraudulent act in which an unnecessary number of people stay" is detected during refueling, the image analysis system 100 temporarily changes the refueling permission to non-refueling and controls to suspend refueling for safety. Do. In this state, the alarm device 16a alerts the resident, and the monitoring
[Effect of Example 1]
(1)実施例1では、給油スペースの映像群について不正行為を機械学習させた学習モデルを使用する。このような機械学習では、監視者が危険や誤りとして感じる不正行為に反応する学習モデルが得られる。そのため、監視者を補って(または監視者に代わって)給油スペースの不正行為を検知することが可能になる。 (1) In the first embodiment, a learning model in which cheating is machine-learned for a video group of a refueling space is used. Such machine learning provides a learning model that responds to fraudulent activity that the observer perceives as dangerous or incorrect. Therefore, it is possible to supplement the observer (or on behalf of the observer) to detect fraudulent activity in the refueling space.
(2)実施例1では、給油スペースの映像群について車両が給油位置に停止しているか否かを機械学習させた学習モデル200を使用する。そのため、監視者を補って(または監視者に代わって)、車両が給油位置に停止しない不正行為を検知することが可能になる。 (2) In the first embodiment, a learning model 200 is used in which machine learning is performed on whether or not the vehicle is stopped at the refueling position for the video group of the refueling space. Therefore, it is possible to supplement the observer (or on behalf of the observer) to detect fraudulent activity in which the vehicle does not stop at the refueling position.
(3)実施例1では、給油スペースの映像群について給油者が静電気除去行動をしたか否かを機械学習させた学習モデル210を使用する。そのため、監視者を補って(または監視者に代わって)、給油者が静電気除去行動をしない不正行為を検知することが可能になる。 (3) In the first embodiment, a learning model 210 is used in which the refueler is machine-learned whether or not the refueling person has performed static electricity removal behavior for the image group of the refueling space. Therefore, it is possible to supplement the observer (or on behalf of the observer) to detect fraudulent activity in which the refueler does not perform static electricity removal behavior.
(4)実施例1では、給油スペースの映像群について給油ノズルが給油先に正しく挿置されたか否かを機械学習させた学習モデル220を使用する。そのため、監視者を補って(または監視者に代わって)、給油ノズルの挿置についての不正行為を検知することが可能になる。 (4) In the first embodiment, a learning model 220 is used in which it is machine-learned whether or not the refueling nozzle is correctly inserted in the refueling destination for the image group of the refueling space. Therefore, it is possible to supplement the observer (or on behalf of the observer) to detect fraudulent activity regarding the insertion of the refueling nozzle.
(5)実施例1では、給油スペースの映像群について給油スペースの人数を機械学習させた学習モデル230を使用する。そのため、監視者を補って(または監視者に代わって)、給油スペースの人数が所定数を超える不正行為を検知することが可能になる。 (5) In the first embodiment, a learning model 230 in which the number of people in the refueling space is machine-learned for the video group of the refueling space is used. Therefore, it is possible to supplement the observer (or on behalf of the observer) and detect fraudulent activities in which the number of people in the refueling space exceeds a predetermined number.
(6)実施例1では、給油スペースの映像群について給油先が車両か否かを機械学習させた学習モデル240を使用する。そのため、監視者を補って(または監視者に代わって)、車両以外に給油する不正行為を検知することが可能になる。 (6) In the first embodiment, a learning model 240 is used in which machine learning is performed on whether or not the refueling destination is a vehicle for the video group of the refueling space. Therefore, it is possible to supplement the observer (or on behalf of the observer) and detect fraudulent acts of refueling other than the vehicle.
(7)実施例1では、給油スペースの映像群について、火気使用、たばこ、ライター、マッチ、喫煙具、喫煙、発火、スパーク発生、高温物、引火物、可燃物、爆発物、危険物、携行缶、灯油タンク、通話や画面注視、携帯電話、モバイル機器、車外の子供、よそ見、会話、転倒、争い、騒乱、給油キャップの紛失や閉め忘れ、酔っ払い、倒れ込む、しゃがみ込む、何かを隠すなどの異常行動、不注意行動、および危険行動からなる群の少なくとも一つ以上の要注意状況について機械学習させた学習モデル250を使用する。そのため、監視者を補って(または監視者に代わって)、これらの要注意状況を不正行為として検知することが可能になる。 (7) In Example 1, about the image group of the refueling space, fire use, cigarette, lighter, match, smoking equipment, smoking, ignition, spark generation, high temperature material, flammable material, combustible material, explosive material, dangerous material, carrying Cans, kerosene tanks, calls and screen gazes, mobile phones, mobile devices, children outside the car, looking away, talking, falling, fighting, mayhem, lost or forgetting to close the refueling cap, drunk, falling, crouching, hiding something, etc. A learning model 250 is used that is machine-learned for at least one or more attention-requiring situations in the group consisting of abnormal behavior, inattention behavior, and dangerous behavior. Therefore, it is possible to supplement (or replace the observer) the observer and detect these caution situations as fraudulent activity.
(8)実施例1では、給油対象の車両について車番を検知する。車番は車両全てにおいて異なるため、車両の個体識別が可能になる。その車番を過去の給油履歴14に照合することにより、給油が2回目以降であって過去と同じ油種の給油が選択されない場合は給油不可と判定することができる。
(8) In the first embodiment, the vehicle number is detected for the vehicle to be refueled. Since the vehicle number is different for all vehicles, it is possible to identify the individual vehicle. By collating the vehicle number with the
(9)さらに、実施例1では、車番に関連付けて油種(または油種を特定可能な車種)が登録された登録データベースに、給油対象の車両の車番を照会する。登録済みの車両であれば、照会結果と適合する油種が選択されない場合は給油不可と判定することができる。 (9) Further, in the first embodiment, the vehicle number of the vehicle to be refueled is inquired to the registration database in which the oil type (or the vehicle type whose oil type can be specified) is registered in association with the vehicle number. If the vehicle is a registered vehicle, it can be determined that refueling is not possible if an oil type that matches the inquiry result is not selected.
(10)実施例1では、給油対象の車番がレンタカー(カーシェアを含む)の車番(日本の場合は用途コードが「わ」または「れ」)と一致すると、「油種間違いのおそれ有り」と判定する。一般に、給油者にとってレンタカーは一時的な利用のため、給油者は油種を間違えやすくなる。そのため、レンタカーを検知して注意喚起を行うことにより、「油種間違い」を高い確率で防止することが可能になる。 (10) In Example 1, if the car number to be refueled matches the car number of the rental car (including car sharing) (in Japan, the usage code is "wa" or "re"), "there is a risk of incorrect oil type". Yes ”is determined. In general, a rental car is a temporary use for a refueler, so it is easy for a refueler to make a mistake in the oil type. Therefore, by detecting the rental car and calling attention, it is possible to prevent "oil type error" with a high probability.
(11)実施例1では、事務室内の監視パソコン15の画面(図19参照)において、不正行為の検知と給油可否の決定を一元的に操作することが可能になる。 (11) In the first embodiment, on the screen of the monitoring personal computer 15 (see FIG. 19) in the office room, it is possible to centrally operate the detection of fraudulent activity and the determination of whether or not to refuel.
(12)実施例1では、手持ち端末17を介して、監視パソコン15と同様の一元的な操作が可能である。そのため、監視者が給油レーンに向かうために事務室から離れても、手持ち端末17を用いて、不正行為の検知と給油可否の決定を一元的に操作することが可能になる。
(12) In the first embodiment, the same unified operation as that of the monitoring
続いて、実施例2について説明する。
従来、タクシー会社や運輸会社のように所定数の車両を運用する会社では、社有駐車場の一角に専用給油所を設けることがある。このような専用給油所では、会社の営業車や社用車などの車両(以下「資格車」という)に限って会社の経費負担で給油が行われる。
Subsequently, the second embodiment will be described.
Conventionally, a company that operates a predetermined number of vehicles, such as a taxi company or a transportation company, may set up a dedicated gas station in a corner of a company-owned parking lot. At such a dedicated gas station, only vehicles such as company business vehicles and company vehicles (hereinafter referred to as "qualified vehicles") are refueled at the expense of the company.
通常、専用給油所では、資格車の運転者に対して、給油資格を示すIDカードを貸与することで、資格車か否かを判断する。しかしながら、IDカードを不正使用して無資格車が無料で給油を行う行為(以下「無資格給油の不正行為」という)を防ぐことが困難であった。 Normally, a dedicated gas station determines whether or not a vehicle is qualified by lending an ID card indicating refueling qualification to the driver of the qualified vehicle. However, it has been difficult to prevent an unqualified vehicle from illegally using an ID card to refuel for free (hereinafter referred to as "unqualified refueling fraud").
[実施例2の構成説明]
図21は、専用給油所の給油監視に好適な画像解析システム500の要部を示す図である。
[Structure Description of Example 2]
FIG. 21 is a diagram showing a main part of an image analysis system 500 suitable for refueling monitoring of a dedicated gas station.
同図において、専用給油所GS2には、画像解析システム500、および給油装置510が設置される。
画像解析システム500は、一体型カメラユニット520と、検知部530と、判定部540と、資格車の車番を予め登録した登録部550と、監視パソコン560とを備えて構成される。
ここで、検知部530、および判定部540は、画像処理サーバ570の機能によって実現される。
In the figure, the image analysis system 500 and the
The image analysis system 500 includes an integrated camera unit 520, a detection unit 530, a determination unit 540, a registration unit 550 in which the vehicle number of a qualified vehicle is registered in advance, and a monitoring personal computer 560.
Here, the detection unit 530 and the determination unit 540 are realized by the functions of the image processing server 570.
一体型カメラユニット520は、ナンバープレートを撮影する高感度カメラ521と、暗部を照明する赤外線照明装備522と、曇りや雨滴や内部結露を除去するためのヒーターガラス装備523と、駐車場の入口ゲートや給油スペースにカメラを設置するための設置柱524と、不正行為を警告するための警報器525とを備えて構成される。 The integrated camera unit 520 includes a high-sensitivity camera 521 that shoots a number plate, an infrared lighting device 522 that illuminates a dark area, a heater glass device 523 that removes cloudiness, raindrops, and internal dew condensation, and an entrance gate of a parking lot. It is composed of an installation pillar 524 for installing a camera in a refueling space and an alarm 525 for warning of fraudulent activity.
その他、実施例2の画像解析システム500は、実施例1の画像解析システム100と同一の構成(図1,図2参照)を備える。 In addition, the image analysis system 500 of the second embodiment has the same configuration as the image analysis system 100 of the first embodiment (see FIGS. 1 and 2).
[実施例2の動作説明]
図22は、画像解析システム500の動作を説明する図である。
以下、同図に示すステップ番号に沿って説明する。
[Explanation of operation of Example 2]
FIG. 22 is a diagram illustrating the operation of the image analysis system 500.
Hereinafter, description will be given according to the step numbers shown in the figure.
ステップS111: 検知部530は、高感度カメラ521から給油対象の車両のナンバープレートの映像情報を取得する。 Step S111: The detection unit 530 acquires the image information of the license plate of the vehicle to be refueled from the high-sensitivity camera 521.
ステップS112: 検知部530は、実施例1と同様にして、ナンバープレートの映像情報から車番を検知する。 Step S112: The detection unit 530 detects the vehicle number from the image information of the license plate in the same manner as in the first embodiment.
ステップS113: 判定部540は、検知された車番を、給油資格を有する資格車の車番を登録した登録部550に照会する。 Step S113: The determination unit 540 inquires the detected vehicle number to the registration unit 550 that has registered the vehicle number of the qualified vehicle having the refueling qualification.
ステップS114: 判定部540は、車番が登録部550に登録されていない場合、無資格給油の不正行為と判定し、ステップS115に動作を移行する。一方、車番が登録部550に登録されていた場合、専用給油所GS2において給油資格有りと判定し、実施例1(図12)のステップS11に動作を移行する。これ以降は、実施例1と同じ動作が行われる。 Step S114: If the vehicle number is not registered in the registration unit 550, the determination unit 540 determines that the vehicle number is a fraudulent act of unqualified refueling, and shifts the operation to step S115. On the other hand, when the vehicle number is registered in the registration unit 550, the dedicated gas station GS2 determines that the vehicle is qualified for refueling, and shifts the operation to step S11 of the first embodiment (FIG. 12). After that, the same operation as in the first embodiment is performed.
ステップS115: 判定部540は、無資格給油の不正行為と判定し、給油装置510に対して給油禁止信号を出力して給油を停止し、無資格給油を未然に防止する。
Step S115: The determination unit 540 determines that the unqualified refueling is a fraudulent act, outputs a refueling prohibition signal to the
ステップS116: 判定部540は、監視パソコン560および警報器525に対して、無資格給油の不正行為を情報伝達する。監視パソコン560は、監視者に対して無資格給油の警報を出力し、注意喚起を行う。警報器525は、給油者に対して警報を発して、無資格給油の事情を音声ガイドで説明する。監視パソコン560は、無資格給油の未遂としてナンバープレートの映像と車番などを記録保存する。 Step S116: The determination unit 540 informs the monitoring personal computer 560 and the alarm device 525 of the fraudulent act of unqualified refueling. The monitoring personal computer 560 outputs an unqualified refueling alarm to the observer to alert the observer. The alarm 525 issues an alarm to the refueling person and explains the situation of unqualified refueling by voice guide. The monitoring personal computer 560 records and saves the license plate image and the vehicle number as an attempted unqualified refueling.
[実施例2の効果]
実施例2は、実施例1の効果に加えて、さらに次の効果を奏する。
(1)実施例2では、給油対象の車両について車番を検知する。車番は車両全てにおいて異なるため、車両の個体識別が可能になる。その車番を登録部550に照会することにより、無資格給油の不正行為を判定することが可能になる。
[Effect of Example 2]
In the second embodiment, in addition to the effects of the first embodiment, the following effects are further exerted.
(1) In the second embodiment, the vehicle number is detected for the vehicle to be refueled. Since the vehicle number is different for all vehicles, it is possible to identify the individual vehicle. By inquiring the vehicle number to the registration unit 550, it becomes possible to determine the fraudulent activity of unqualified refueling.
<実施形態の補足>
上述した実施例1,2では、車両の識別に車番を使用する。しかしながら、本発明はこれに限定されるものではない。車番の代わりに、車体の特徴を使用しても、車両の識別を行うことができる。
例えば、タクシーなどの営業車であれば、車体の塗装パターンや屋上灯によってタクシー会社の車両の識別(給油資格を有するか否かなど)が可能である。
また、運輸会社の車両であれば、車体のロゴマークや会社名や塗装パターンによって運輸会社の車両の識別(給油資格を有するか否かなど)が可能である。
さらに、一般車であっても、車体に貼られた車検シールの位置や配置の違いや、車体とタイルホイールの組み合わせや、車体に付けたQRコードなどのコード、車体の損傷などの固有の特徴や、それら2つ以上の組み合わせにより、車両の個体識別が可能である。
<Supplement to the embodiment>
In Examples 1 and 2 described above, the vehicle number is used to identify the vehicle. However, the present invention is not limited to this. Vehicle identification can also be performed by using vehicle body features instead of vehicle numbers.
For example, in the case of a commercial vehicle such as a taxi, it is possible to identify the vehicle of the taxi company (whether or not it has refueling qualification, etc.) by the painting pattern of the vehicle body and the roof light.
In addition, in the case of a vehicle of a transportation company, it is possible to identify the vehicle of the transportation company (whether or not it has refueling qualification, etc.) by the logo mark of the vehicle body, the company name, and the painting pattern.
Furthermore, even for ordinary cars, unique features such as differences in the position and arrangement of vehicle inspection stickers affixed to the car body, the combination of the car body and tile wheels, codes such as QR codes attached to the car body, and damage to the car body. Or, by combining two or more of them, it is possible to identify the individual vehicle.
また、上述した実施例1,2では、車番を映像情報から読み取っている。しかしながら、本発明はこれに限定されない。車番は、映像情報から読み取るだけではなく、車両に搭載された無線タグや無線装置などを通じた情報通信により取得してもよい。 Further, in the above-described first and second embodiments, the vehicle number is read from the video information. However, the present invention is not limited to this. The vehicle number may be acquired not only by reading from the video information but also by information communication through a wireless tag or a wireless device mounted on the vehicle.
さらに、上述した実施例1,2では、監視者が給油許可の最終判断を行っている。しかしながら、本発明はこれに限定されない。法令などに反しない場合は、判定部が給油装置の給油可否を直接的に制御してもよい。 Further, in the above-mentioned Examples 1 and 2, the observer makes the final judgment of the refueling permission. However, the present invention is not limited to this. If it does not violate the law, the determination unit may directly control whether or not the refueling device can be refueled.
また、上述した実施例1,2では、学習モデル200〜260として、畳込みニューラルネットワーク(図3参照)を使用した。しかしながら、本発明はこれに限定されない。例えば、このような学習モデルとしては、決定木学習、相関ルール学習、ニューラルネットワーク、遺伝的プログラミング、帰納論理プログラミング、サポートベクターマシン、クラスタリング、ベイジアンネットワーク、強化学習、表現学習、主成分分析、エクストリーム・ラーニング・マシン、およびその他の機械学習技法の少なくとも一つの技法に基づく学習モデルを採用してもよい。 Further, in Examples 1 and 2 described above, a convolutional neural network (see FIG. 3) was used as the learning models 200 to 260. However, the present invention is not limited to this. For example, such learning models include decision tree learning, correlation rule learning, neural networks, genetic programming, inductive logic programming, support vector machines, clustering, Basian networks, reinforcement learning, expression learning, principal component analysis, and extreme learning. A learning model based on at least one of the learning machines and other machine learning techniques may be adopted.
さらに、上述した実施例1,2では、ガソリンや軽油の給油について説明した。しかしながら、本発明の給油はこれに限定されない。例えば、灯油を給油する装置であれば、ガソリン車やディーゼル車への給油を不正行為として検知すればよい。 Further, in Examples 1 and 2 described above, refueling of gasoline or light oil has been described. However, the refueling of the present invention is not limited to this. For example, in the case of a device that refuels kerosene, refueling of a gasoline vehicle or a diesel vehicle may be detected as a fraudulent activity.
また、上述した実施例1,2では、ガソリンスタンドGSや専用給油所GS2の単位で実施している。しかしながら、本発明はこれに限定されない。クラウドネットワーク上に画像解析システムの一部または全部を設置して、個々の給油装置とネットワーク接続することによって、地域単位やガソリン供給会社単位などの広域を単位にして、発明を実施することが可能になる。 Further, in the above-mentioned Examples 1 and 2, the implementation is carried out in units of the gas station GS and the dedicated refueling station GS2. However, the present invention is not limited to this. By installing a part or all of the image analysis system on the cloud network and connecting it to each refueling device via a network, it is possible to implement the invention in units of a wide area such as a regional unit or a gasoline supplier unit. become.
さらに、上述した実施例1,2では、給油履歴を油種不適の発見に使用している。しかしながら、本発明はこれに限定されない。画像解析システムは、給油履歴として蓄積される過去の不正行為から、不正行為の常習者(常習車両)を抽出して要注意リストを作成してもよい。画像解析システムは、この要注意リストに入店者(入店車両)を照会することにより、不正行為を行う前に常習者(常習車両)を予防的に検知することが可能になる。その結果、画像解析システムは、常習者に対する事前の注意を監視者に促すことができる。また、画像解析システムは、常習者に対する不正行為の検知処理を優先することが可能になる。 Further, in Examples 1 and 2 described above, the refueling history is used for finding the unsuitable oil type. However, the present invention is not limited to this. The image analysis system may extract a fraudulent addict (addicted vehicle) from the past fraudulent acts accumulated as a refueling history and create a caution list. By inquiring the store entrant (entry vehicle) to this caution list, the image analysis system can proactively detect the addict (addict vehicle) before committing fraudulent activity. As a result, the image analysis system can alert the observer in advance to the addict. In addition, the image analysis system can prioritize the detection process of fraudulent activity against the addict.
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、有る実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、有る実施例の構成に他の実施例の構成を加えることも可能である。
さらに、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
The present invention is not limited to the above-described examples, and includes various modifications. For example, the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to those having all the described configurations.
In addition, it is possible to replace a part of the configuration of an embodiment with the configuration of another embodiment, and it is also possible to add the configuration of another embodiment to the configuration of an existing embodiment.
Further, it is possible to add / delete / replace a part of the configuration of each embodiment with another configuration.
GS…ガソリンスタンド、10…給油装置、11…映像取得部、12…検知部、13…判定部、14…給油履歴、15…監視パソコン、16…警報器、16a…警報器、17…手持ち端末、18…無線LAN、19…インターフェース部、20…給油制御装置、21…ネットワークスイッチ、22…画像処理サーバ、31…前処理部、32…入力層、33…畳み込み層・活性化関数、34…プーリング層、35…ニューラルネットワーク、100…画像解析システム、200…学習モデル、210…学習モデル、220…学習モデル、230…学習モデル、240…学習モデル、250…学習モデル、260…学習モデル、301…ライブ表示域、302…情報欄、303…解析表示域、304…確認要ボタン、305…操作域、GS2…専用給油所、500…画像解析システム、510…給油装置、520…一体型カメラユニット、521…高感度カメラ、522…赤外線照明装備、523…ヒーターガラス装備、524…設置柱、525…警報器、530…検知部、540…判定部、550…登録部、560…監視パソコン、570…画像処理サーバ GS ... Gas station, 10 ... Refueling device, 11 ... Video acquisition unit, 12 ... Detection unit, 13 ... Judgment unit, 14 ... Refueling history, 15 ... Monitoring personal computer, 16 ... Alarm, 16a ... Alarm, 17 ... Handheld terminal , 18 ... wireless LAN, 19 ... interface unit, 20 ... refueling control device, 21 ... network switch, 22 ... image processing server, 31 ... preprocessing unit, 32 ... input layer, 33 ... convolution layer / activation function, 34 ... Pooling layer, 35 ... Neural network, 100 ... Image analysis system, 200 ... Learning model, 210 ... Learning model, 220 ... Learning model, 230 ... Learning model, 240 ... Learning model, 250 ... Learning model, 260 ... Learning model, 301 ... Live display area, 302 ... Information column, 303 ... Analysis display area, 304 ... Confirmation required button, 305 ... Operation area, GS2 ... Dedicated refueling station, 500 ... Image analysis system, 510 ... Refueling device, 520 ... Integrated camera unit , 521 ... High-sensitivity camera, 522 ... Infrared lighting equipment, 523 ... Heater glass equipment, 524 ... Installation pillar, 525 ... Alarm, 530 ... Detection unit, 540 ... Judgment unit, 550 ... Registration unit, 560 ... Surveillance personal computer, 570 … Image processing server
Claims (13)
前記給油スペースの映像群について不正行為を機械学習させた学習モデルを用いて、前記映像取得部が取得した映像について前記不正行為を検知する検知部と、
前記不正行為の検知結果に基づいて給油可否に関する情報を生成する判定部と、
を備えたことを特徴とする画像解析システム。 An image acquisition unit that acquires an image of the refueling space,
Using a learning model in which fraudulent activity is machine-learned for the video group of the refueling space, a detection unit that detects the fraudulent activity in the video acquired by the video acquisition unit, and a detection unit.
A determination unit that generates information on whether or not refueling is possible based on the detection result of the fraudulent activity,
An image analysis system characterized by being equipped with.
前記検知部は、
前記給油スペースの映像群について車両が給油位置に停止しているか否かを機械学習させた学習モデルを用いて、前記映像取得部が取得した映像について、車両が給油位置に停止しない不正行為を検知する
ことを特徴とする画像解析システム。 In the image analysis system according to claim 1,
The detector is
Using a learning model in which the vehicle is machine-learned whether or not the vehicle is stopped at the refueling position for the video group of the refueling space, a fraudulent act in which the vehicle does not stop at the refueling position is detected in the video acquired by the video acquisition unit. An image analysis system characterized by learning.
前記検知部は、
前記給油スペースの映像群について給油者が静電気除去行動をしたか否かを機械学習させた学習モデルを用いて、前記映像取得部が取得した映像について、給油者が静電気除去行動をしない不正行為を検知する
ことを特徴とする画像解析システム。 In the image analysis system according to any one of claims 1 and 2.
The detector is
Using a learning model that machine-learns whether or not the refueling person has performed static electricity removal behavior for the video group of the refueling space, the refueling person does not perform static electricity removal behavior for the video acquired by the video acquisition unit. An image analysis system characterized by detection.
前記検知部は、
前記給油スペースの映像群について給油ノズルが給油先に正しく挿置されたか否かを機械学習させた学習モデルを用いて、前記映像取得部が取得した映像について、給油ノズルの挿置についての不正行為を検知する
ことを特徴とする画像解析システム。 In the image analysis system according to any one of claims 1 to 3.
The detector is
Using a learning model that machine-learned whether or not the refueling nozzle was correctly inserted in the refueling destination for the video group of the refueling space, the video acquired by the video acquisition unit was fraudulently engaged in inserting the refueling nozzle. An image analysis system characterized by detecting.
前記検知部は、
前記給油スペースの映像群について給油スペースの人数を機械学習させた学習モデルを用いて、前記映像取得部が取得した映像について、給油スペースの人数が所定数を超える不正行為を検知する
ことを特徴とする画像解析システム。 In the image analysis system according to any one of claims 1 to 4.
The detector is
Using a learning model in which the number of people in the refueling space is machine-learned for the video group of the refueling space, the video acquired by the video acquisition unit is characterized by detecting fraudulent activities in which the number of people in the refueling space exceeds a predetermined number. Image analysis system.
前記検知部は、
前記給油スペースの映像群について給油先が車両か否かを機械学習させた学習モデルを用いて、前記映像取得部が取得した映像について、車両以外に給油する不正行為を検知する
ことを特徴とする画像解析システム。 In the image analysis system according to any one of claims 1 to 5,
The detector is
Using a learning model in which it is machine-learned whether or not the refueling destination is a vehicle for the image group of the refueling space, the image acquired by the image acquisition unit is characterized in that a fraudulent act of refueling other than the vehicle is detected. Image analysis system.
前記検知部は、
前記給油スペースの映像群について、
火気使用、たばこ、ライター、マッチ、喫煙具、喫煙、発火、スパーク発生、高温物、引火物、可燃物、爆発物、危険物、携行缶、灯油タンク、通話や画面注視、携帯電話、モバイル機器、車外の子供、よそ見、会話、転倒、争い、騒乱、給油キャップの紛失や閉め忘れ、異常行動、不注意行動、および危険行動からなる群の少なくとも一つ以上の要注意状況について機械学習させた学習モデルを用いて、前記映像取得部が取得した映像について、前記要注意状況を不正行為として検知する
ことを特徴とする画像解析システム。 In the image analysis system according to any one of claims 1 to 6,
The detector is
About the video group of the refueling space
Use of fire, cigarettes, lighters, matches, smoking equipment, smoking, ignition, sparks, high temperatures, flammables, combustibles, explosives, dangerous goods, carrying cans, kerosene tanks, calls and screen gazes, mobile phones, mobile devices Machine-learned about at least one or more alert situations in the group consisting of children outside the vehicle, looking away, talking, falling, fighting, mayhem, lost or forgetting to close the refueling cap, abnormal behavior, careless behavior, and dangerous behavior. An image analysis system characterized in that the video acquired by the video acquisition unit is detected as a fraudulent act by using a learning model.
前記検知部は、
給油対象の車両について、車番または特徴を検知し、
前記判定部は、
前記検知部が検知した前記車番または前記特徴を給油履歴に照合し、給油が2回目以降であって過去と同じ油種の給油が選択されない場合は給油不可と判定する
ことを特徴とする画像解析システム。 In the image analysis system according to any one of claims 1 to 7.
The detector is
Detects the vehicle number or characteristics of the vehicle to be refueled,
The determination unit
An image characterized in that the vehicle number or the feature detected by the detection unit is collated with the refueling history, and if refueling is performed for the second time or later and refueling of the same oil type as in the past is not selected, it is determined that refueling is not possible. Analysis system.
前記検知部は、
給油対象の車両について、車番または特徴を検知し、
前記判定部は、
車番または特徴に関連付けて油種または車種が登録された登録データベースに対して、前記検知部が読み取った前記車番または前記特徴を照会して油種または車種を情報取得し、情報取得した油種または車種に適合する油種が選択されない場合は給油不可と判定する
ことを特徴とする画像解析システム。 In the image analysis system according to any one of claims 1 to 8.
The detector is
Detects the vehicle number or characteristics of the vehicle to be refueled,
The determination unit
The oil type or vehicle type is registered in association with the vehicle number or feature, and the vehicle number or feature read by the detection unit is inquired from the registration database to acquire information on the oil type or vehicle type, and the information-acquired oil. An image analysis system characterized in that if an oil type suitable for a type or vehicle type is not selected, it is determined that refueling is not possible.
前記検知部は、
給油対象の車両について、車番を検知し、
前記判定部は、
前記検知部の検知した車番がレンタカーの車番と一致すると、油種間違いのおそれ有りと判定する
ことを特徴とする画像解析システム。 In the image analysis system according to any one of claims 1 to 9,
The detector is
Detects the vehicle number of the vehicle to be refueled and
The determination unit
An image analysis system characterized in that if the vehicle number detected by the detection unit matches the vehicle number of the rental car, it is determined that there is a risk of an incorrect oil type.
給油対象の車両から車番または特徴を検知する検知部と、
前記検知部が検知した車両の車番または特徴が、前記登録部に登録されていない場合、無資格給油の不正行為と判定する判定部と、
を備えたことを特徴とする画像解析システム。 Registration department for registering the car number or characteristics of vehicles that are qualified to refuel,
A detector that detects the vehicle number or characteristics from the vehicle to be refueled,
If the vehicle number or feature of the vehicle detected by the detection unit is not registered in the registration unit, the determination unit that determines that the vehicle is a fraudulent act of unqualified refueling, and
An image analysis system characterized by being equipped with.
前記給油スペースの映像群について不正行為を機械学習させた学習モデルを用いて、前記映像取得ステップが取得した映像について前記不正行為を検知する検知ステップと、
前記不正行為の検知結果に基づいて給油可否に関する情報を生成する判定ステップと、
を備えたことを特徴とする画像解析方法。 An image acquisition step to acquire an image of the refueling space, and
Using a learning model in which fraudulent activity is machine-learned for the video group of the refueling space, a detection step for detecting the fraudulent activity in the video acquired by the video acquisition step and a detection step
A determination step for generating information on whether or not refueling is possible based on the detection result of the fraudulent activity,
An image analysis method characterized by being equipped with.
給油対象の車両から車番または特徴を検知する検知ステップと、
前記検知ステップが検知した車両の車番または特徴が、前記登録ステップにおいて登録されていない場合、無資格給油の不正行為と判定する判定ステップと、
を備えたことを特徴とする画像解析方法。 Registration steps for registering vehicle numbers or features of vehicles that are eligible for refueling,
A detection step that detects the vehicle number or feature from the vehicle to be refueled,
If the vehicle number or feature of the vehicle detected by the detection step is not registered in the registration step, the determination step of determining that the vehicle is a fraudulent act of unqualified refueling, and
An image analysis method characterized by being equipped with.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019033102A JP7372038B2 (en) | 2019-02-26 | 2019-02-26 | Image analysis system and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019033102A JP7372038B2 (en) | 2019-02-26 | 2019-02-26 | Image analysis system and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020140236A true JP2020140236A (en) | 2020-09-03 |
JP7372038B2 JP7372038B2 (en) | 2023-10-31 |
Family
ID=72264927
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019033102A Active JP7372038B2 (en) | 2019-02-26 | 2019-02-26 | Image analysis system and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7372038B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113103946A (en) * | 2021-03-19 | 2021-07-13 | 深圳恩联科技有限公司 | Oil tank truck anti-theft system based on machine learning |
WO2023044324A1 (en) * | 2021-09-16 | 2023-03-23 | Wayne Fueling Systems Llc | Determining dispenser vehicle connection |
WO2023053200A1 (en) * | 2021-09-28 | 2023-04-06 | 日本電気株式会社 | Fuel supply system, fuel supply control method, and non-transitory computer readable medium |
CN116681699A (en) * | 2023-07-31 | 2023-09-01 | 国网浙江省电力有限公司宁波供电公司 | Intelligent storage method and device for transformer substation oil samples |
WO2023166605A1 (en) * | 2022-03-02 | 2023-09-07 | 日本電気株式会社 | Action determination device, action determination method, and non-transitory computer-readable medium |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09295696A (en) * | 1996-04-26 | 1997-11-18 | Tatsuno Co Ltd | Monitoring device for oil supply station |
JP2002193399A (en) * | 2000-12-28 | 2002-07-10 | Showa Kiki Kogyo Co Ltd | Managing device for self-refueling station |
JP2009241962A (en) * | 2008-03-31 | 2009-10-22 | Nippon Oil Corp | Oil supply control system |
JP2014118153A (en) * | 2012-12-13 | 2014-06-30 | Sumitomo Electric Ind Ltd | Oil supply work monitoring device, oil supply work monitoring system, oil supply work monitoring method, and oil supply work monitoring program |
JP2017027374A (en) * | 2015-07-23 | 2017-02-02 | 昭和シェル石油株式会社 | Vehicle information acquisition system |
JP2018097487A (en) * | 2016-12-09 | 2018-06-21 | 富士ゼロックス株式会社 | Monitoring device and program |
JP2018154401A (en) * | 2017-03-21 | 2018-10-04 | 日本電気株式会社 | Supply control device, supply unit, supply control method and program |
JP2019218095A (en) * | 2018-06-19 | 2019-12-26 | 明治石油株式会社 | Information processing device, fuel supply device, information processing method and program |
JP2020083422A (en) * | 2018-11-29 | 2020-06-04 | ホームネットカーズ株式会社 | Refueling system, refueling method, program, and recording medium |
JP2020132162A (en) * | 2019-02-13 | 2020-08-31 | 株式会社富永製作所 | Oil feed nozzle, and oil feed nozzle insertion state determination device |
-
2019
- 2019-02-26 JP JP2019033102A patent/JP7372038B2/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09295696A (en) * | 1996-04-26 | 1997-11-18 | Tatsuno Co Ltd | Monitoring device for oil supply station |
JP2002193399A (en) * | 2000-12-28 | 2002-07-10 | Showa Kiki Kogyo Co Ltd | Managing device for self-refueling station |
JP2009241962A (en) * | 2008-03-31 | 2009-10-22 | Nippon Oil Corp | Oil supply control system |
JP2014118153A (en) * | 2012-12-13 | 2014-06-30 | Sumitomo Electric Ind Ltd | Oil supply work monitoring device, oil supply work monitoring system, oil supply work monitoring method, and oil supply work monitoring program |
JP2017027374A (en) * | 2015-07-23 | 2017-02-02 | 昭和シェル石油株式会社 | Vehicle information acquisition system |
JP2018097487A (en) * | 2016-12-09 | 2018-06-21 | 富士ゼロックス株式会社 | Monitoring device and program |
JP2018154401A (en) * | 2017-03-21 | 2018-10-04 | 日本電気株式会社 | Supply control device, supply unit, supply control method and program |
JP2019218095A (en) * | 2018-06-19 | 2019-12-26 | 明治石油株式会社 | Information processing device, fuel supply device, information processing method and program |
JP2020083422A (en) * | 2018-11-29 | 2020-06-04 | ホームネットカーズ株式会社 | Refueling system, refueling method, program, and recording medium |
JP2020132162A (en) * | 2019-02-13 | 2020-08-31 | 株式会社富永製作所 | Oil feed nozzle, and oil feed nozzle insertion state determination device |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113103946A (en) * | 2021-03-19 | 2021-07-13 | 深圳恩联科技有限公司 | Oil tank truck anti-theft system based on machine learning |
WO2023044324A1 (en) * | 2021-09-16 | 2023-03-23 | Wayne Fueling Systems Llc | Determining dispenser vehicle connection |
WO2023053200A1 (en) * | 2021-09-28 | 2023-04-06 | 日本電気株式会社 | Fuel supply system, fuel supply control method, and non-transitory computer readable medium |
WO2023166605A1 (en) * | 2022-03-02 | 2023-09-07 | 日本電気株式会社 | Action determination device, action determination method, and non-transitory computer-readable medium |
CN116681699A (en) * | 2023-07-31 | 2023-09-01 | 国网浙江省电力有限公司宁波供电公司 | Intelligent storage method and device for transformer substation oil samples |
CN116681699B (en) * | 2023-07-31 | 2023-12-15 | 国网浙江省电力有限公司宁波供电公司 | Intelligent storage method and device for transformer substation oil samples |
Also Published As
Publication number | Publication date |
---|---|
JP7372038B2 (en) | 2023-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7372038B2 (en) | Image analysis system and method | |
US9092968B2 (en) | Method and apparatus to automate data collection during a mandatory inspection | |
US7362229B2 (en) | Ensuring the performance of mandated inspections combined with the collection of ancillary data | |
JP6876219B2 (en) | Refueling system, refueling method, program, and recording medium | |
WO2006005953A2 (en) | System and method for preventing mis-fuelling of vehicles at service stations | |
US11313765B2 (en) | Systems and methods for remote visual inspection and emissions testing of vehicles | |
US20170140237A1 (en) | Methods For Vehicle Identification And Specification Recall With Localization Optimization For License Plate Recognition | |
CN107004353B (en) | Traffic violation management system and traffic violation management method | |
CN112818757A (en) | Gas station safety detection early warning method and system | |
US7096895B2 (en) | Method and apparatus for dispensing motor vehicle fuel at unattended locations | |
CN109145590A (en) | A kind of function hook detection method, detection device and computer-readable medium | |
JP7151992B2 (en) | Information processing device, fuel supply device, information processing method, and program | |
JP3738099B2 (en) | Unmanned gas station system | |
CN111302293A (en) | Automatic vehicle refueling identification system and server | |
JP2005166064A (en) | Vehicle lending and returning machine, system and method thereof | |
KR20140032603A (en) | Fuel mixing prevention system and fuel mixing preventing method thereof | |
JP2024071768A (en) | Self-service fuel management system | |
JP2009241962A (en) | Oil supply control system | |
CN109583353A (en) | A kind of traffic offence based on recognition of face looks into careful method and system | |
JP2020083478A (en) | Refueling system, refueling method, program, and recording medium | |
GB2516279A (en) | Object detection and recognition system | |
KR20150125463A (en) | Device for converting the vehicle number into the image, Method for controlling the same and Vehicle number reading system using the same | |
JP2008121654A (en) | Driver's license, information card and engine start control for automobile | |
GB2417152A (en) | System and method for preventing mis-fuelling of vehicles at service stations | |
US20150294278A1 (en) | System and Method for Recycling Electronics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230530 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230908 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231017 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231019 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7372038 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |