JP2015041344A - 忘れ物防止システム、旅客自動車の乗務員に対する情報提供方法、コンピュータプログラム - Google Patents

忘れ物防止システム、旅客自動車の乗務員に対する情報提供方法、コンピュータプログラム Download PDF

Info

Publication number
JP2015041344A
JP2015041344A JP2013173444A JP2013173444A JP2015041344A JP 2015041344 A JP2015041344 A JP 2015041344A JP 2013173444 A JP2013173444 A JP 2013173444A JP 2013173444 A JP2013173444 A JP 2013173444A JP 2015041344 A JP2015041344 A JP 2015041344A
Authority
JP
Japan
Prior art keywords
passenger
state
analysis result
infrared image
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013173444A
Other languages
English (en)
Other versions
JP6343769B2 (ja
Inventor
中嶋 公栄
Kimie Nakajima
公栄 中嶋
利孝 宮崎
Toshitaka Miyazaki
利孝 宮崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IDEA CROSS KK
KOKUSAI MOTORCARS CO Ltd
Original Assignee
IDEA CROSS KK
KOKUSAI MOTORCARS CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IDEA CROSS KK, KOKUSAI MOTORCARS CO Ltd filed Critical IDEA CROSS KK
Priority to JP2013173444A priority Critical patent/JP6343769B2/ja
Priority to PCT/JP2013/078279 priority patent/WO2015025435A1/ja
Publication of JP2015041344A publication Critical patent/JP2015041344A/ja
Application granted granted Critical
Publication of JP6343769B2 publication Critical patent/JP6343769B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/24Reminder alarms, e.g. anti-loss alarms
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras

Landscapes

  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Emergency Alarm Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】乗客のプライバシーを保護しつつ旅客自動車内の暗い部分であっても忘れ物を検知可能な忘れ物防止システムを提供する。
【解決手段】忘れ物防止システム1は、可視光では撮像できない部位を含むタクシー車内の撮像を赤外線を用いて行うカメラ10を備える。忘れ物防止システム1は、赤外線画像のうち解像度の高い特定波長の赤外線画像をもとに、乗客が乗車していないときには存在しない物体の有無を乗客の降車の際に解析する。物体が有る場合には、警告部40により、タクシーの乗務員に忘れ物が発生した可能性があることを警告する。
【選択図】図1

Description

この発明は、タクシーやハイヤーなどの旅客自動車の乗務員に、乗客の忘れ物がある可能性を通知する忘れ物防止システムに関する。
旅客自動車では、乗客による忘れ物防止のために、従来から様々な仕組みが提案されている。例えば特許文献1には、車内撮影用の監視カメラにより、空車時にドアが開いたとき及び精算後にドアが閉じたときに車内を撮像し、撮像した車内映像を基準映像と比較することで忘れ物の有無を検知する車内忘れ物防止装置が提案されている。基準映像は、乗客が乗車するときの映像である。忘れ物有りを検知した場合には、忘れ物が有ることを乗客又は乗務員に報知する。
また、特許文献2には、忘れ物として検知すべき物品のリストを記憶しておき、乗客が降車した際に車両内の物品を判別し、判別した物品がリストに含まれる場合に当該物品を忘れ物として検知する車載装置が提案されている。物品の判別は、撮像装置により撮像された乗客の乗車前後の画像の差分に基づいて行われる。
特開2006−338535号公報 特開2012−123497号公報
特許文献1、2に開示された装置は、いずれも撮像装置により車内を撮像し、その撮像画像から忘れ物を検知するものである。撮像装置による撮像画像から忘れ物を検知する方法は、センサ等により忘れ物を検知する方法よりも一般的にはコスト面で優位となる。しかし、撮像装置で車内を撮像するため、乗客の顔が撮像される可能性がある。乗客を特定できる形態の撮像は、乗客のプライバシー保護の観点から好ましくない。乗客によっては、撮像されることを好ましく思わず、抵抗感を抱くことも考えられる。
また、可視光による撮像では、撮像装置からみて何らかの物体の影になったり、トランクルームなどのように暗い部分では、忘れ物の検知が困難となる。さらに、従来の撮像装置による撮像では、天候(晴天、曇天)、時間帯(日中、夜間)、走行環境(トンネル等の有無)、太陽光の角度によって、映り方が異なる。そのため、撮像時の光量のムラによって物体の認識処理に誤差が生じたり、影を物体と誤認識したりする場合がある。
本発明は、乗客のプライバシーを保護しつつ、天候、時間帯等の影響を受けずに旅客自動車内への忘れ物を検知可能な忘れ物防止システムを提供することを課題とする。
上記課題を解決するための本発明の忘れ物防止システムは、乗客が存在する賃走状態と、乗客が存在しない空車状態とを有する旅客自動車に設置され、当該時点の撮像環境では他の波長よりも高い解像度となる特定波長の赤外線を用いて前記旅客自動車の車内を撮像する撮像装置と、前記空車状態のときに前記撮像装置より取得した第1赤外線画像に映された物体を解析し、その解析結果を保持するとともに、前記空車状態から賃走状態に変化した後、乗客が降車する際に前記撮像装置より取得した第2赤外線画像に映された物体を解析し、その解析結果を前記保持されている解析結果と比較する解析手段と、前記解析手段による比較内容に応じて乗客以外の物体が車内に存在するかどうかを判別する判別手段と、前記乗客以外の物体が車内に存在すると判別された場合に、前記旅客自動車の乗務員に向けて、忘れ物が発生した可能性があることを警告する警告手段と、を備えることを特徴とする。
この忘れ物防止システムは、コンピュータプログラムと、このコンピュータプログラムを読み込み可能なコンピュータとの協働により実現することができる。また、このコンピュータにより、旅客自動車の乗務員に対する情報提供方法を実施することができる。
本発明は、例えば車内への太陽光の入射角度、光量、天候に応じて最適な解像度となる特定波長の赤外線を用いて旅客自動車の車内を撮像する。そのため、可視光により撮影を行う従来の撮像装置では生じ得る、影を物体と誤認したり、あるいは、影の部分に存在する物体を認識できないなどの事態の発生を防止することができる。また、赤外線画像に映された物体の解析を行うため、乗客のプライバシーを害することもない。
また、赤外線画像に映された物体の解析結果に基づいて忘れ物の可能性がある物体や乗客の判別を行うので、画像を保持したり、画像同士を比較する場合に比べて、処理の負荷を著しく軽減させることができる。そのため、乗客の忘れ物の可能性の有無を迅速に判別することができる。
忘れ物防止システムの全体構成図。 忘れ物防止システムに形成される機能構成図。 (a)、(b)はカメラの配置と撮像範囲の説明図。 忘れ物防止システムが実行する処理のタイミングの説明図。 乗客が降車するときに実行する忘れ物防止システムの処理手順説明図。 空車状態のときに実行される忘れ物防止システムの処理手順説明図。 賃走状態のときに実行される忘れ物防止システムの処理手順説明図。
以下、本発明の実施の形態を図面を用いて詳細に説明する。
<システム構成>
図1は、本実施形態の忘れ物防止システムの構成図である。この忘れ物防止システム1は、旅客自動車の一例であるタクシーに搭載されており、乗客の忘れ物の有無をタクシーの乗務員に通知する。
忘れ物防止システム1は、撮像装置として、カメラ10が複数台設けられる。複数のカメラ10は、タクシーの車両内の各所に、できるだけ死角を作らないように配置される。本実施形態では、後部座席右シートの足下を撮像する右シートカメラ11、後部座席左シートの足下を撮像する左シートカメラ12、後部座席シートを頭上から撮像する頭上カメラ13、及びトランク内部を撮像するトランクカメラ14が、車両内に備えられる。
但し、カメラ10の数量、配置は、本例に限らず、コスト及び忘れ物の検知精度を考慮して、適宜設けられる。
カメラ10は、赤外線に感度を持つ赤外線カメラであり、自動シャッタにより静止画像を撮る。シャッタ音は出ないように設定する。赤外線カメラは、可視光線の赤色より波長が長く(周波数が低い)、電波より波長の短い電磁波に感度を持つカメラであり、可視光による撮像ができない部位、例えばトランク内部、後部座席のフロアマット、夜のように車内が暗い場合であっても撮像が可能である。また、赤外線カメラでは、被写体の相対的な大きさの解析によって乗客の存在は認識できるが、乗客の顔までは識別しない。そのため、乗客のプライバシーを害することもない。
忘れ物防止システム1は、忘れ物検知に関する主な機能をコンピュータの一種である制御部20において形成する。制御部20は、インタフェース21、CPU(Central Processing Unit)22、RAM(Random Access Memory)23、ROM(Read Only Memory)24を備える。また、大容量記録媒体であるHDD(Hard Disk Drive)25を備える。
インタフェース21、CPU22、RAM23、ROM24及びHDD25は、バスを介して相互にデータの送受信が可能に接続されている。
インタフェース21は、カメラ10により撮像された赤外線画像を取得する。インタフェース21は、タクシーメータ30に接続されており、タクシーメータ30の状態(賃走、空車、割増、支払)を表す状態データを取得する。タクシーメータ30は、乗務員の操作により、その状態(賃走状態、空車状態、割増状態、支払状態)が変更されるが、後述するとおり、制御部20からの制御データにより、状態が強制変更される場合もある。
インタフェース21は、警告部40にも接続されている。警告部40は、スピーカ41及び警告灯42に接続される。
CPU22は、HDD25から本発明のコンピュータプログラムを読み込み、さらに、ROM24から制御に必要な制御プログラムを読み込み、これらをRAM23を作業領域として実行することで、乗客の忘れ物検知に関する処理を実行する。
図2は、CPU22がコンピュータプログラムを実行することで制御部20に形成される機能を表す機能ブロック図である。
制御部20は、画像管理部101、通知部104、メータ管理部105、波長毎の画像解析部201〜204、解析結果比較部205〜208、解析結果保持部209〜212、判別部300として機能する。
メータ管理部105は、タクシーメータ30の管理と、タクシーメータ30からの状態データに基づく画像管理部101の制御とを行う。具体的には、インタフェース21を通じてタクシーメータ30より取得した状態データに基づき、タクシーの状態を認識する。例えばタクシーメータ30からの状態データが賃走状態を表すものであれば、乗客を乗車させて走行している状態と認識する。同様に、空車状態であれば、乗客が存在しない状態で走行している状態と認識する。割増状態であれば、深夜帯に乗客を乗車させて走行している状態と認識する。支払状態であれば、賃走状態の後に停止して、乗客から支払いを受けている状態と認識する。
これらの認識結果に基づき、メータ管理部105は、カメラ10の作動タイミング(シャッタの押下及びそれにより撮像された画像の取得タイミング)を定めるカメラ制御信号を画像管理部101へ送出する。また、後述する判別部300から制御データを受信したときに、タクシーメータ30の状態を強制的に変更する。
メータ管理部105におけるこれらの機能動作については、後述する。
画像管理部101は、上記のカメラ制御信号に基づき、カメラ10から赤外線画像(画像を表現するための電子データ)を取得する。赤外線画像は、タクシーが空車状態のときは一定時間毎、例えば1分間毎に繰り返し取得する。タクシーが乗客を乗せるために停止し、賃走状態に変化したときは、取得を停止しても良いが、乗客の有無を監視する場合は、そのまま継続するか、あるいは赤外線画像の取得周期を5分以上にして取得する。タクシーが空車状態から賃走状態に変化し、さらに支払い状態に変化した場合は、その時点で赤外線画像を取得し、その後、画像取得を停止する。以後の説明では、特に、区別する必要がない場合を除き、空車状態又は賃走状態で取得する赤外線画像を第1赤外線画像、支払い状態に変化したときに取得する赤外線画像を第2赤外線画像という。
取得した赤外線画像は、複数の波長の画像の集合として画像管理部101に入力される。波長A画像解析部201は、これらの複数の波長の画像のうち、波長Aの画像に映されている物体の輪郭、配置等を解析し、解析結果を、解析結果保持部209に保持させる。この処理を赤外線画像を取得する度に繰り返す。
解析結果比較部205は、解析結果保持部209に保持されている解析結果と今回の解析結果とを比較する。解析結果が同じである場合は、車内に変化が無いことを表す情報(「変化無し」)を判別部300へ出力する。画像の同じ位置で毎回映される物体は、固定的に設置されている物体ということになるので、当該物体を基準物体として保持したり、あるいは、当該基準物体にマスキングを施し、毎回の解析及び比較のための処理負荷を軽減するようにしてよい。
一方、解析結果が異なる場合は、車内の物体の配置に変化があったことを表す情報(「変化有り」)を判別部300へ出力する。解析結果が異なる場合は、例えば、基準物体とは異なる物体が新たに存在することになった場合、あるいは、乗客と思われる物体が存在する場合である。乗客が映り込む場合、乗客は赤外線画像における相対割合が大きくなるのが通常であり、しかも、乗客の場合には体温が検知される。そのため、そのような物体を乗客とみなし、「変化有り」に加え、乗客の存在を表す情報(「乗客有り」)を判別部300へ出力する。
同様の処理を、波長B画像解析部202、波長C画像解析部203、波長D画像解析部204、解析結果比較部206,207,208、解析結果保持部210,211,212について行う。すなわち、波長B画像解析部202は、波長Bの画像に映されている物体の輪郭、配置等を解析し、解析結果を解析結果保持部210に保持させる。波長C画像解析部203は、波長Cの画像に映されている物体の輪郭、配置等を解析し、解析結果を解析結果保持部211に保持させる。波長D画像解析部203は、波長Dの画像に映されている物体の輪郭、配置等を解析し、解析結果を解析結果保持部212に保持させる。解析結果比較部206,207,208は、それぞれ対応する解析結果保持部に保持されている最新の解析結果と今回の解析結果とを比較する。
なお、画像管理部101は、波長A、波長B、波長C、波長Dのうち、撮像時点の撮像環境では他の波長よりも高い解像度となる1つ又はいくつか(本例では3つ以下)の波長の解析結果だけを有効にすることを判別部300に通知しておくことが望ましい。
有効にする波長は、車内へのカメラ10の取付位置、カメラ10の性能、走行時間帯、天候、車内へ入射される太陽光の状況のような撮像環境に応じた実測結果に基づき、個別に設定する。例えば、さまざまな季節、天候、時間帯第1赤外線画像又は第2赤外線画像を波長A、波長B、波長C、波長D毎に解析した結果、解析結果同士の比較が最も容易な波長の解析結果が波長A,波長Dのものであったする。この場合、波長B、波長Cについては無効フラグを立て、あるいは、波長A及び波長Dの画像解析について有効フラグを立て、波長A及び波長Dの画像解析結果だけがフィルタリングされるようにする。
判別部300は、メータ管理部105より入力される状態データ、画像管理部101より入力される有効波長の情報、及び、有効波長の赤外線画像の解析結果の比較内容に応じて、車内における乗客、乗客の忘れ物である可能性のある物体の判別を行う。すなわち、乗客が乗車する前と降車するときの赤外線画像同士を単に比較するのではなく、取得した赤外線画像に映された物体の解析結果の比較により、乗客又は物体の存在の有無を判別する。
例えば、タクシーが空車状態で、有効な波長の画像解析が波長A及び波長Dのものであり、解析結果比較部205、208から「変化無し」の情報が入力されている場合は、物体も乗客も存在しないと判別する。
他方、タクシーが賃走状態から支払状態に変化し、乗客が降車したにも関わらず「変化有り」の情報が入力されている場合は、直前に乗車した乗客の忘れ物の可能性がある物体が存在すると判別する。また、タクシーが空車状態であるにも関わらず、「乗客有り」の情報が入力される場合、あるいは、タクシーが賃走状態であるにも関わらず、「変化無し」の情報が入力される場合は、タクシーメータ30の変更し忘れの可能性があると判別する。
判別部300は、タクシーメータ30の変更し忘れの可能性がある状態が、一定時間(例えば1分間)以上継続する場合は、その旨を表す報知情報を通知部104へ出力するとともに、制御データをタクシーメータ管理部105に出力する。報知情報は乗務員へ報知する目的で生成される情報であり、制御データは、タクシーメータ30の状態を変更させるためのデータである。制御データは、報知情報の出力後一定時間経過後も同じ状態であるときに出力される。制御データを受領したタクシーメータ管理部105は、タクシーメータ30の状態を強制的に変更することができる。
通知部104は、メータ管理部105からの報知情報と、判別部300からの判別結果とをもとに警告情報を生成し、この警告情報を警告部40に向けて出力する。警告情報の内容及びデータ形式は、報知情報かどうか、あるいは、判別部300の判別結果がどのような内容かによって異なるものとなる。
報知情報の場合、警告情報は、乗客にその旨が知得されることがないようにするため、警告灯42の作動信号として生成される。この作動信号により、警告等42が例えば赤色で点滅する。また、判別部300の判別結果が「変化有り」の場合、警告情報は、「忘れ物が存在する可能性があります。」という音声メッセージであり、スピーカ41から合成音声により出力される。
なお、警告情報の出力は、スピーカ41又は警告等42以外の出力装置であってもよい。
<カメラ配置>
図3は、カメラ10の具体的な配置及び撮像部位の説明図である。図3(a)は、タクシー車内を横から見た場合の断面図であり、図3(b)は、タクシー車内の俯瞰図である。上述の通り、本実施形態において配置されるカメラ10は、右シートカメラ11、左シートカメラ12、頭上カメラ13、及びトランクカメラ14の4台である。
右シートカメラ11は、前列座席右シートの下部に設けられており、後部座席右シート前のフロアマット上及び後部座席右シートと後部座席右側ドアとの間を撮像可能に配置される。左シートカメラ12は、前列座席左シートの下部に設けられており、後部座席左シート前のフロアマット上及び後部座席左シートと後部座席左側ドアとの間を撮像可能に配置される。右シートカメラ11及び左シートカメラ12は、それぞれ、後部座席シートの座面より下側を撮像するようにする。これにより、右シートカメラ11及び左シートカメラ12は、後部座席シートに乗車する乗客の顔を撮像することはできないし、乗客にこれらのカメラ11,12の存在を気付かせることもない。
頭上カメラ13は、後部座席シート上の天井に設けられており、後部座席シートの座面上を撮像可能に配置される。頭上カメラ13を後部座席シートの背もたれ部分より後方に配置することで、後部座席シートに乗車する乗客の顔を撮像することはできないし、乗客にそのカメラ13の存在を気付かせることもない。しかし、後方過ぎると頭上カメラ13から後部座席シート上に死角ができる。そのため、忘れ物検知の観点からは、あまり後方に頭上カメラ13を配置することは好ましくない。本実施形態では、頭上カメラ13を後部座席シートのヘッドレスト上方に設けており、乗客の顔を撮像することなく、後部座席シートの座面上全体を撮像することとしている。
トランクカメラ14は、トランク内上部に設けられており、トランクの床面全体を撮像可能に配置される。
以上のように本実施形態のカメラ10は、タクシー車内の、主に後部座席シート周辺、フロアマット、及びトランク内部を撮像可能に配置される。忘れ物の検知精度を上げる場合には、カメラの台数を増やす。例えば頭上カメラ13を2台にして、後部座席右シート上及び後部座席左シート上に設けるようにしてもよい。また、逆に、乗務員により比較的視認しやすい後部座席左シート周辺を撮像部位から除く(左シートカメラ12を除く)ようにしてコストを削減してもよい。また、カメラ10にパン、チルトが可能なもの或いは広角レンズを用いて、撮像部位を可変にして、1台のカメラで広範囲を撮像するようにしてもよい。
<運用形態:情報提供方法>
次に、上記のように構成される忘れ物防止システム1の運用形態例を説明する。ここでは、忘れ物防止システム1を、乗務員に対する情報提供のためのツールとして使用する場合の例を挙げる。
図4は、忘れ物防止システム1において実行される情報処理のタイミングの説明図である。この情報処理は、乗客の乗車、降車、タクシーの発車等のイベントにより、主として乗務員により操作されるタクシーメータ30の状態に応じて適宜行われる。なお、図4では、空車状態では乗客が存在せず、賃走状態では乗客が存在する場合の例である。
忘れ物防止システム1が実行する処理は、タクシーが空車状態のときに、カメラ10より取得した第1赤外線画像のうち、有効波長の画像に映された物体の輪郭、位置等を解析し、その解析結果を保持するとともに、空車状態から賃走状態に変化した後、乗客が降車する際にカメラ10より取得した第2赤外線画像に映された物体を解析し、その解析結果を保持されている解析結果と比較する段階を有する。
赤外線画像に映された物体の解析には多大な処理を要するところ、空車状態では、忘れ物防止システム1の処理負荷が比較的少ないため、そのような解析を詳細に行うことができる。そのため、通常は賃走状態よりも長い時間走行する空車状態のときに、第1赤外線画像に基づき、車内後部のシート周辺、フロア・マット、及びトランク内部の配置状況を特定するなどの解析を行い、その結果を保持しておく。これらの処理は走行中、繰り返し行われる。その周期は、上述したとおり通常は1分程度であるが、空車状態が一定時間継続される度に自動的に間隔が長くなるようにしてもよい。
乗客が降車するときには、乗務員により、タクシーメータ30が賃走状態から支払状態に変えられる。支払状態のときに忘れ物防止システム1が実行する処理は、第2赤外線画像に映された物体の解析を行い、予め保持されている最新の解析結果と第1赤外線画像による解析結果との比較を行い、比較内容に応じて、乗客以外の物体が車内に存在するかどうかを判別する段階と、乗客以外の物体が車内に存在すると判別された場合に、乗務員に向けて、忘れ物が発生した可能性があることを警告する段階とを有する。
警告は、タクシーメータ30が賃走状態の後、乗客が降車した所定時間経過前、例えば降車直後から1分以内に行う。これにより、乗客がタクシーから離れる前に乗務員が忘れ物の有無を確認することができる。
なお、乗客による支払いが迅速に行われ、警告が発車に間に合わない可能性もある。発車後に警告が行われると、忘れ物の可能性を検知しても忘れ物の防止にならない。そのため、警告を発車の前に確実に行うために、警告の他に忘れ物の可能性が無い旨の通知を行うようにしてもよい。
あるいは、乗務員が警告又は報知情報に対して応答した場合にだけ発車を許可する許可機能を制御部20に設けることで、警告が発車後に行われることを防止するようにしてもよい。この場合の乗務員による応答は、例えば警告又は報知情報の出力がスピーカ41により行われる場合にはスピーカ41の消音、警告灯42により行われる場合には警告灯42のリセットがある。これにより、忘れ物の可能性がある物体が存在する場合に、タクシーの乗務員に確実にその状況を知らせることができる。
上記の乗務員に対する情報提供を行う際の忘れ物防止システム1の処理手順は、以下のようになる。
図5は、乗客が降りようとするときの情報提供処理の手順説明図である。忘れ物防止システム1は、タクシーメータ30が支払状態であることを確認する。支払状態でなければ、当該情報提供処理を行わない(S10:N)。
タクシーメータ30が支払状態であれば(S10:Y)、乗客が降車するタイミングであるので、制御部20は、「ご乗車ありがとうございます。お忘れ物の無いようにお手回りの品をご確認ください。」のような音声案内を、スピーカ41により行う(S11)。このような音声案内により、まず、乗客に忘れ物への注意を喚起する。
音声案内中に、忘れ物防止システム1は、第1赤外線画像に映された物体の解析結果と第2赤外線画像に映された物体の解析結果の比較内容に応じて忘れ物の可能性がある物体の有無を判別する(S12)。具体的には、第2赤外線画像における解析結果と、予め保持されている第1赤外線画像における解析結果とを比較する。その結果、いずれも基準物体であり、変化が無い場合は、忘れ物の可能性のある物体が存在しないことになるので、変化無し通知を行い、そのまま当該情報提供処理を終える(S12「無」)。
第2赤外線画像に映された物体を確認できない場合、例えば車外からの光が強すぎる場合(赤外線画像の白飛び等)場合(S12「判断不可」)、次の周期の第2赤外線画像に基づく判別処理を繰り返す。それでも判断できない場合は、基準物体と異なる物体が存在しないと判別する。当該物体が存在した場合(S12:有)、警告を出力する(S13)。
以上のような処理により、乗務員は、スピーカ41からの警告音(音声)や警告灯42の表示により、忘れ物の発生の可能性を知ることができるので、降車した乗客に対して直ちに、忘れ物に対する注意を喚起することができる。
<走行中の解析処理>
図6及び図7は、タクシーが走行しているときに忘れ物防止システム1が実行する処理手順説明図である。図6は、タクシーメータ30が支払状態から空車状態に変化した後にタクシーが走行を開始したとき、図7はタクシーメータ30が賃走状態で走行しているときの例である。なお、図6では、空車状態時に解析した基準物体に関する情報が解析結果として保持されているものとする。
図6を参照すると、忘れ物防止システム1は、タクシーメータ30が空車状態であることを認識すると(S20:Y)、物体、乗客の判別処理を行う(S21)。すなわちカメラ10から赤外線画像を取得して、その赤外線画像に映された車内の物体の輪郭、配置等を解析する。赤外線画像に映された物体が乗客かどうかの判別基準については上述したとおりである。今回の解析結果と予め保持されている前回の解析結果と比較し、基準物体との変化が無ければ、忘れ物の可能性のある物体が存在しないことになるので、変化無し通知を行い(S21「変化無し」,S22)、S20の処理に戻る。変化無し通知は、警告灯42を緑色に点灯させてもよく、あるいは、何も表示させないようにしてもよい。
S21において、乗客に相当する物体は存在しないが、基準物体と異なる物体が存在すると判別した場合(S21:「変化有り」,「乗客無し」)、忘れ物防止システム1は、その物体を輪郭等によって特定する(S23)。この状態は、図5の情報提供処理の際における物体の判別漏れであるため、改めて警告を出した後、S20の処理に戻る。
S21において、乗客が存在すると判別した場合(S21:「変化有り」,「乗客有り」)、タクシーメータ30の状態と実際の車内の状態とが異なることになる。これは、一般的には、乗務員がタクシーメータ30を空車状態から賃走状態ないし割増状態に切り替え忘れた場合に生じる現象である。そこで、忘れ物防止システム1は、乗客有り通知を行い(S24)、警告灯42を点滅させる。一定時間経過前であれば、警告灯42の点滅状態を継続したままS20に戻る。一定時間経過後も同じであれば、タクシーメータ30の状態を強制的に変更させる(S25:Y、S26)。
なお、乗務員が応答した場合に警告灯42の点滅を解消できることは、上述したとおりである。また、タクシーメータ30の状態を強制的に変更させる必要がない場合は、その処理を省略し、乗客有り通知のまま、S20に戻るようにする。
図7を参照し、忘れ物防止システム1は、タクシーメータ30が賃走状態であることを認識すると(S30:Y)、乗客の有無の判別を行う(S31)。
S31において、乗客が存在すると判別した場合(S31:「乗客有り」)、タクシーメータ30の状態と実際の車内の状態とが一致するので、乗客有り通知を行い(S32)、S30に戻る。乗客有り通知は、警告灯42を緑色に点灯させてもよく、あるいは、何も表示させないようにしてもよい。
S31において、乗客が存在しないと判別した場合(S31:「乗客無し」)、タクシーメータ30の状態と実際の車内の状態とが異なることになる。これは、一般的には、乗務員がタクシーメータ30を賃走状態から空車状態に切り替え忘れた場合に生じる現象である。そこで、忘れ物防止システム1は、乗客無し通知を行い(S33)、警告灯42を点滅させる。一定時間経過前であれば、警告灯42の点滅状態を継続したままS30に戻る。一定時間経過後も同じであれば、タクシーメータ30の状態を強制的に変更させる(S34:Y、S35)。
なお、乗務員が応答した場合は、点滅状態を解消できることは、上述したとおりである。また、タクシーメータ30の状態を強制的に変更させる必要がない場合は、その処理を省略し、乗客無し通知のまま、S30に戻るようにする。
[実施形態による効果]
以上説明したように、本実施形態の忘れ物防止システム1では、カメラ10のシャッタを押す時点の撮像環境では他の波長よりも高い解像度となる特定波長の赤外線を用いてタクシーの車内を撮像する。そのため、可視光により撮影を行う従来の撮像装置では生じ得る、影を物体と誤認したり、あるいは、影の部分に存在する物体を認識できないなどの事態の発生を防止することができる。
また、赤外線画像に映された物体の輪郭や配置等の解析を繰り返し行い、解析結果同士を比較して、乗客及び忘れ物の可能性の高い物体を判別する。そのため、撮像画像それ自体を保持し、画像同士を比較する場合に比べて、処理の負荷量が著しく軽減される。これにより、乗客が支払いを済ませ、降車するまでの僅かな時間の間に、忘れ物の可能性のある物体を検知することができる。
さらに、赤外線を用いて撮像するため、乗客のプライバシーを害さないことはもとより、トランクルームや後部座席のシート下部あるいはフロアマットのように暗い場所に存在する物体をも識別することができる。そのため、可視光を用いた撮像装置を用いる場合よりも、検知精度を格段に高めることができる。
[変形例]
本実施形態は、忘れ物防止システム1をタクシーに搭載した場合の例であるが、タクシー以外にもハイヤー等の他の旅客自動車に搭載してもよい。
また、本実施形態では、特定波長の赤外線画像に映された物体の解析を行う例として、図2の波長別画像解析部201〜204、解析結果比較部205〜208、解析結果保持部209〜212を設けているが、この例に限定されない。例えば、当該特定波長の赤外線だけを透過させるフィルタ(フィルタリング回路)を設けるようにしてもよい。
GPSレシーバを設け、GPSデータから導かれる位置データ及び時刻データに基づいて、いつ、どこで乗車した乗客の忘れ物であるかを特定できるようにしてもよい。この場合、忘れ物の可能性のある物体を判別したときに、当該物体に関する情報をGPSデータに関連付けて保持しておく必要がある。
1…忘れ物防止システム、10…カメラ、11…右シートカメラ、12…左シートカメラ、13…頭上カメラ、14…トランクカメラ、20…制御部、21…インタフェース、22…CPU、23…RAM、24…ROM、25・・・HDD、30…タクシーメータ、40…警告部、41…スピーカ、42…警告灯、101…画像管理部、104…通知部、105…メータ管理部、201〜204・・・波長別の画像解析部、205〜208・・・解析結果比較部、209〜212・・・解析結果保持部。

Claims (10)

  1. 乗客が存在する賃走状態と、乗客が存在しない空車状態とを有する旅客自動車に設置され、当該時点の撮像環境では他の波長よりも高い解像度となる特定波長の赤外線を用いて前記旅客自動車の車内を撮像する撮像装置と、
    前記空車状態のときに前記撮像装置より取得した第1赤外線画像に映された物体を解析し、その解析結果を保持するとともに、前記空車状態から賃走状態に変化した後、乗客が降車する際に前記撮像装置より取得した第2赤外線画像に映された物体を解析し、その解析結果を前記保持されている解析結果と比較する解析手段と、
    前記解析手段による比較内容に応じて、乗客以外の物体が車内に存在するかどうかを判別する判別手段と、
    前記乗客以外の物体が車内に存在すると判別された場合に、前記旅客自動車の乗務員に向けて、忘れ物が発生した可能性があることを警告する警告手段と、を備える、
    忘れ物防止システム。
  2. 前記解析手段は、前記撮像装置により撮像された前記第1赤外線画像又は第2赤外線画像を異なる波長毎に解析し、解析結果同士の比較が最も容易な波長の解析結果を前記比較の結果として前記判別手段へ出力する、
    請求項1記載の忘れ物防止システム。
  3. 前記撮像装置は、前記波長の赤外線だけを透過させるフィルタを有する、
    請求項2記載の忘れ物防止システム。
  4. 前記撮像装置は、前記車内の後部座席のフロアのほか、フロアマット及びトランク内部の一方を撮像可能に配置される、
    請求項1、2又は3記載の忘れ物防止システム。
  5. 少なくとも賃走状態又は空車状態を示すメータをさらに備えており、
    前記解析手段は、前記メータが空車状態を示す間、繰り返し前記第1赤外線画像を前記撮像装置から取得して前記解析を行い、最新の解析結果を保持するとともに、この最新の解析結果と前記第2赤外線画像に映された物体の解析結果とを比較するものであり、
    前記警告手段は、前記メータが賃走状態の後、乗客が降車した所定時間経過前に、前記警告する、
    請求項1ないし4のいずれかの項記載の忘れ物防止システム。
  6. 前記メータが空車状態のときに前記撮像装置が撮像した第1赤外線画像又は前記第2赤外線画像の解析結果に乗客に相当する物体が存在するとき、又は、前記メータが賃走状態のときに前記撮像装置が撮像した前記第1赤外線画像又は前記第2赤外線画像の解析結果に乗客に相当する物体が存在するときに、その旨を表す報知情報を出力するメータ管理手段をさらに備える、
    請求項1ないし5のいずれかの項記載の忘れ物防止システム。
  7. 前記メータ管理手段は、前記報知情報の出力後一定時間経過しても前記メータの状態が変更されない場合に、強制的に当該メータの状態を変更させる、
    請求項6記載の忘れ物防止システム。
  8. 前記警告又は前記報知情報の出力に対して前記乗務員が応答することで、前記旅客自動車の発車を許可する許可手段をさらに備える、
    請求項1〜7のいずれかの記載の忘れ物防止システム。
  9. 乗客が存在する賃走状態と、乗客が存在しない空車状態とを有する旅客自動車に設置され、当該時点の撮像環境では他の波長よりも高い解像度となる特定波長の赤外線を用いて前記旅客自動車の車内を撮像する撮像装置が接続されるコンピュータが実行する方法であって、
    前記旅客自動車が空車状態のときに前記撮像装置より取得した第1赤外線画像に映された物体を解析し、その解析結果を保持するとともに、前記空車状態から賃走状態に変化した後、乗客が降車する際に前記撮像装置より取得した第2赤外線画像に映された物体を解析し、その解析結果を前記保持されている解析結果と比較する段階と、
    前記解析結果の比較内容に応じて乗客以外の物体が車内に存在するかどうかを判別する段階と、
    前記乗客以外の物体が車内に存在すると判別された場合に、前記旅客自動車の乗務員に向けて、忘れ物が発生した可能性があることを警告する段階とを有する、
    旅客自動車の乗務員に対する情報提供方法。
  10. 乗客が存在する賃走状態と、乗客が存在しない空車状態とを有する旅客自動車に設置され、当該時点の撮像環境では他の波長よりも高い解像度となる特定波長の赤外線を用いて前記旅客自動車の車内を撮像する撮像装置が接続されるコンピュータを忘れ物防止システムとして動作させるためのコンピュータプログラムであって、
    前記コンピュータを、
    前記空車状態のときに前記撮像装置より取得した第1赤外線画像に映された物体を解析し、その解析結果を保持するとともに、前記空車状態から賃走状態に変化した後、乗客が降車する際に前記撮像装置より取得した第2赤外線画像に映された物体を解析し、その解析結果を前記保持されている解析結果と比較する解析手段、
    前記解析手段による比較内容に応じて乗客以外の物体が車内に存在するかどうかを判別する判別手段、
    前記乗客以外の物体が車内に存在すると判別された場合に、前記旅客自動車の乗務員に向けて、忘れ物が発生した可能性があることを警告する警告手段、として機能させるコンピュータプログラム。
JP2013173444A 2013-08-23 2013-08-23 忘れ物防止システム、旅客自動車の乗務員に対する情報提供方法、コンピュータプログラム Expired - Fee Related JP6343769B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013173444A JP6343769B2 (ja) 2013-08-23 2013-08-23 忘れ物防止システム、旅客自動車の乗務員に対する情報提供方法、コンピュータプログラム
PCT/JP2013/078279 WO2015025435A1 (ja) 2013-08-23 2013-10-18 忘れ物防止システム、旅客自動車の乗務員に対する情報提供方法、コンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013173444A JP6343769B2 (ja) 2013-08-23 2013-08-23 忘れ物防止システム、旅客自動車の乗務員に対する情報提供方法、コンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2015041344A true JP2015041344A (ja) 2015-03-02
JP6343769B2 JP6343769B2 (ja) 2018-06-20

Family

ID=52483237

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013173444A Expired - Fee Related JP6343769B2 (ja) 2013-08-23 2013-08-23 忘れ物防止システム、旅客自動車の乗務員に対する情報提供方法、コンピュータプログラム

Country Status (2)

Country Link
JP (1) JP6343769B2 (ja)
WO (1) WO2015025435A1 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105809904A (zh) * 2016-05-10 2016-07-27 杨小平 办事窗口物品遗忘提醒器
JP6014817B1 (ja) * 2015-04-28 2016-10-26 順一 浅間 タクシー乗客乗降車直後におけるタクシーの発進時の安全性向上システム及び方法
JP2018024263A (ja) * 2013-10-28 2018-02-15 順一 浅間 タクシー内忘れ物発見システム
KR101845077B1 (ko) 2016-12-12 2018-04-03 김한주 윤곽 분석 서버의 동작 방법, 윤곽 분석 서버와 통신하는 온도 윤곽 센싱 장치, 및 윤곽 분석 서버를 포함하는 보안 시스템
JP2018142130A (ja) * 2017-02-27 2018-09-13 株式会社東海理化電機製作所 制御装置及びシステム
JP2019046271A (ja) * 2017-09-04 2019-03-22 株式会社Zmp 統合タクシー配車システム
WO2019072573A1 (de) * 2017-10-11 2019-04-18 Bayerische Motoren Werke Aktiengesellschaft Verfahren und vorrichtung zum konfigurieren von fahrzeugfunktionen
WO2019150488A1 (ja) * 2018-01-31 2019-08-08 三菱電機株式会社 車内監視装置及び車内監視方法
JP2019144868A (ja) * 2018-02-21 2019-08-29 株式会社ミツバ 忘れ物防止支援装置及び忘れ物防止支援プログラム
US10706711B2 (en) 2018-03-09 2020-07-07 Honda Motor Co., Ltd. Vehicle control device, vehicle control method, and storage medium
WO2020179782A1 (ja) * 2019-03-04 2020-09-10 テイ・エス テック株式会社 通知システム及び通知システムを備える車両
JP2022530299A (ja) * 2020-03-25 2022-06-29 上海商▲湯▼▲臨▼港智能科技有限公司 遺留対象検出

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105809902B (zh) * 2016-04-13 2017-03-29 京东方科技集团股份有限公司 一种出租车监控方法、装置及系统
US9720416B1 (en) 2016-04-18 2017-08-01 Ford Global Technologies, Llc Vehicle security system
DE102017000557A1 (de) 2017-01-21 2017-07-06 Daimler Ag Verfahren zur Überwachung eines Fahrzeuginnenraums
US10290158B2 (en) 2017-02-03 2019-05-14 Ford Global Technologies, Llc System and method for assessing the interior of an autonomous vehicle
US10509974B2 (en) 2017-04-21 2019-12-17 Ford Global Technologies, Llc Stain and trash detection systems and methods
US10304165B2 (en) 2017-05-12 2019-05-28 Ford Global Technologies, Llc Vehicle stain and trash detection systems and methods
US9975380B1 (en) 2017-09-05 2018-05-22 Honda Motor Co., Ltd. Passenger reminder systems and methods
US9965940B1 (en) 2017-09-05 2018-05-08 Honda Motor Co., Ltd. Passenger reminder systems and methods
CN111986453A (zh) * 2019-05-21 2020-11-24 奥迪股份公司 提醒系统、包括其的车辆及相应的方法和介质
US11130446B2 (en) 2019-10-15 2021-09-28 Robert Bosch Gmbh System to detect objects ejected from a vehicle
CN112926970B (zh) * 2021-02-06 2023-01-20 苏州鱼得水电气科技有限公司 一种基于智慧城市的公共交通运行管理系统
US11780349B2 (en) 2021-03-10 2023-10-10 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for detecting objects left behind by using heated resistive filament in a vehicle
CN113537117B (zh) * 2021-07-27 2022-05-06 广东机电职业技术学院 车载遗留物监控告警方法及其5g系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005115911A (ja) * 2003-09-16 2005-04-28 Denso Corp 車両内忘れ物防止装置
JP2006338535A (ja) * 2005-06-03 2006-12-14 Matsushita Electric Ind Co Ltd 車内忘れ物防止方法及び装置
JP2010231415A (ja) * 2009-03-26 2010-10-14 Denso Corp 車両用監視装置
JP2011154618A (ja) * 2010-01-28 2011-08-11 Fbinnovation Inc 移動体用乗客有無判断装置
JP2011258214A (ja) * 2011-07-07 2011-12-22 Mega Chips Corp 物体検出装置
JP2012238175A (ja) * 2011-05-11 2012-12-06 Canon Inc 情報処理装置、情報処理方法、及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005115911A (ja) * 2003-09-16 2005-04-28 Denso Corp 車両内忘れ物防止装置
JP2006338535A (ja) * 2005-06-03 2006-12-14 Matsushita Electric Ind Co Ltd 車内忘れ物防止方法及び装置
JP2010231415A (ja) * 2009-03-26 2010-10-14 Denso Corp 車両用監視装置
JP2011154618A (ja) * 2010-01-28 2011-08-11 Fbinnovation Inc 移動体用乗客有無判断装置
JP2012238175A (ja) * 2011-05-11 2012-12-06 Canon Inc 情報処理装置、情報処理方法、及びプログラム
JP2011258214A (ja) * 2011-07-07 2011-12-22 Mega Chips Corp 物体検出装置

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018024263A (ja) * 2013-10-28 2018-02-15 順一 浅間 タクシー内忘れ物発見システム
JP6014817B1 (ja) * 2015-04-28 2016-10-26 順一 浅間 タクシー乗客乗降車直後におけるタクシーの発進時の安全性向上システム及び方法
WO2016175168A1 (ja) * 2015-04-28 2016-11-03 浅間順一 タクシー乗客乗降車直後におけるタクシーの発進時の安全性向上システム及び方法
JP2016208425A (ja) * 2015-04-28 2016-12-08 順一 浅間 タクシー乗客乗降車直後におけるタクシーの発進時の安全性向上システム及び方法
CN105809904A (zh) * 2016-05-10 2016-07-27 杨小平 办事窗口物品遗忘提醒器
KR101845077B1 (ko) 2016-12-12 2018-04-03 김한주 윤곽 분석 서버의 동작 방법, 윤곽 분석 서버와 통신하는 온도 윤곽 센싱 장치, 및 윤곽 분석 서버를 포함하는 보안 시스템
JP2018142130A (ja) * 2017-02-27 2018-09-13 株式会社東海理化電機製作所 制御装置及びシステム
JP2019046271A (ja) * 2017-09-04 2019-03-22 株式会社Zmp 統合タクシー配車システム
WO2019072573A1 (de) * 2017-10-11 2019-04-18 Bayerische Motoren Werke Aktiengesellschaft Verfahren und vorrichtung zum konfigurieren von fahrzeugfunktionen
WO2019150488A1 (ja) * 2018-01-31 2019-08-08 三菱電機株式会社 車内監視装置及び車内監視方法
JPWO2019150488A1 (ja) * 2018-01-31 2020-04-09 三菱電機株式会社 車内監視装置及び車内監視方法
JP2019144868A (ja) * 2018-02-21 2019-08-29 株式会社ミツバ 忘れ物防止支援装置及び忘れ物防止支援プログラム
US10706711B2 (en) 2018-03-09 2020-07-07 Honda Motor Co., Ltd. Vehicle control device, vehicle control method, and storage medium
WO2020179782A1 (ja) * 2019-03-04 2020-09-10 テイ・エス テック株式会社 通知システム及び通知システムを備える車両
JP2020142570A (ja) * 2019-03-04 2020-09-10 テイ・エス テック株式会社 通知システム及び通知システムを備える車両
JP2022530299A (ja) * 2020-03-25 2022-06-29 上海商▲湯▼▲臨▼港智能科技有限公司 遺留対象検出
JP7403546B2 (ja) 2020-03-25 2023-12-22 上海臨港絶影智能科技有限公司 遺留対象検出

Also Published As

Publication number Publication date
WO2015025435A1 (ja) 2015-02-26
JP6343769B2 (ja) 2018-06-20

Similar Documents

Publication Publication Date Title
JP6343769B2 (ja) 忘れ物防止システム、旅客自動車の乗務員に対する情報提供方法、コンピュータプログラム
CA2864653C (en) Stop violation detection system and method
CA2849684C (en) Device, system and method for vehicle safety sensing and alerting
US20120286974A1 (en) Hit and Run Prevention and Documentation System for Vehicles
US10005425B2 (en) Seat-belt warning device
US20110215915A1 (en) Detection system and detecting method for car
KR101487165B1 (ko) 차량 승객을 위한 승하차 안전 시스템
CN105984407B (zh) 一种车后情况监视及警示装置
US11460376B2 (en) Vehicle scratch detection system and vehicle
KR102420289B1 (ko) 자동차 상에 존재하는 적어도 하나의 오브젝트를 검출하기 위한 방법, 제어 장치 및 자동차
US20180086307A1 (en) Device and method for monitoring a vehicle, particularly for the management of loss events
KR101205365B1 (ko) 차량용 탑승자 정보 획득 시스템 및 방법
JP7187080B2 (ja) 実時間で相対車両の速度及び距離を分析及び保存するイベント検知システム
KR101580567B1 (ko) 이벤트 영상 촬영 녹화 장치, 이벤트 영상 제공 방법
KR20170035035A (ko) 졸음운전 방지 장치 및 방법
JP2009220658A (ja) 監視装置
CN214084149U (zh) 乘员监测系统及车辆
US20210097316A1 (en) Vehicle interior detection device, vehicle interior detection method, and non-transitory storage medium
JP2018060487A (ja) タクシーの運行支援システム
JP2023130394A (ja) システム及びプログラム等
JP2017224075A (ja) 出庫支援装置、出庫支援方法及び出庫支援システム
KR20110129726A (ko) 차량용 블랙박스 및 이를 이용한 차량 관리방법
KR101443746B1 (ko) 블랙박스 촬영 이벤트 통지 장치
CN116176490A (zh) 汽车安全带检测方法及相关设备
JP2015178298A (ja) 車両用セキュリティ装置

Legal Events

Date Code Title Description
A625 Written request for application examination (by other person)

Free format text: JAPANESE INTERMEDIATE CODE: A625

Effective date: 20160823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20160825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180306

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20180320

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180320

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180507

R150 Certificate of patent or registration of utility model

Ref document number: 6343769

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees