JP2022133643A - 車両管理システム - Google Patents

車両管理システム Download PDF

Info

Publication number
JP2022133643A
JP2022133643A JP2021032436A JP2021032436A JP2022133643A JP 2022133643 A JP2022133643 A JP 2022133643A JP 2021032436 A JP2021032436 A JP 2021032436A JP 2021032436 A JP2021032436 A JP 2021032436A JP 2022133643 A JP2022133643 A JP 2022133643A
Authority
JP
Japan
Prior art keywords
vehicle
characteristic value
value difference
traveling direction
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021032436A
Other languages
English (en)
Other versions
JP7438547B2 (ja
Inventor
浩二 舘盛
Koji Tatemori
省人 今村
Yoshito Imamura
義邦 高倉
Yoshikuni Takakura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tateyama Kagaku Co Ltd
Original Assignee
Tateyama Kagaku Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tateyama Kagaku Co Ltd filed Critical Tateyama Kagaku Co Ltd
Priority to JP2021032436A priority Critical patent/JP7438547B2/ja
Publication of JP2022133643A publication Critical patent/JP2022133643A/ja
Application granted granted Critical
Publication of JP7438547B2 publication Critical patent/JP7438547B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Character Discrimination (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】車両通過エリアを走行する特定車両の走行方向を、少ない数の車両画像を分析することによって精度よく認識できる車両管理システムを提供する。【解決手段】特性値差算出手段34は、特定の1台の車両である特定車両16(1)を管理対象としたとき、車両関連情報取得手段32から取得した特定車両16(1)についての領域状態特性値Yがα個に達すると、当該α個の領域状態特性値Yの中から総当たりで抽出される2個を比較して、前記2個の各組み合せにおける特性値差ΔYを各々算出する。走行方向認識手段36は、特性値差算出手段34から特定車両16(1)についての特性値差ΔYを取得して分析することにより、特定車両16(1)の走行方向を特定する。【選択図】図1

Description

本発明は、道路や施設の敷地や駐車場等に出入りする自動車やオートバイ等の車両の管理を自動で行う車両管理システムに関する。
従来、例えば図8に示すように、道路10から施設の敷地12への出入口となる車両通過エリア14を撮像するように設置され、車両通過エリア14を通過する車両16の出入りを管理する車両管理システム18があった。車両管理システム18は、車両通過エリア14を通過する車両16のナンバープレート24を撮像可能な角度に設置されたビデオカメラ等の撮像部20を有し、所定の時間間隔で撮像した画像データを取得する。そして、コンピュータ等の処理装置22で画像データを分析し、ナンバープレート24の表示内容を文字認識して車両16を特定するとともに、特定した車両16(以下、特定車両16と称する。)の走行方向が往方向なのか復方向なのか、すなわち特定車両16が敷地12に進入したのか退出したのかを認識する。
特定車両16の走行方向を認識する時の処理内容を、特定車両16が車両通過エリア14を往方向に走行している状況を想定して説明する。図9(a)に示す車両画像は、特定車両16が撮像部20から離れた位置にいる時に撮像された画像[車両撮像時間T=T1]で、ナンバープレート24が画像フレーム26内の左寄りの位置に小さく写っている。図9(b)に示す車両画像は、その後、特定車両16が移動して撮像部20に近づいた時に撮像された画像[車両撮像時間T=T1+Δt]で、ナンバープレート24が画像フレーム26内のほぼ中央部の下寄りの位置に図9(a)よりも大きく写っている。
2つの車両画像から、ナンバープレート24内の特定領域24aを各々抜き出し、1つの画像フレーム26の中に重ねると、図10(a)のようになる。ここで、特定領域24aの状態を数値で表すため、画像フレーム26の左下の角部を原点とするXY座標系を定義すると、特定領域24aの右上の頂点の座標は、T=T1の時に(x1,y1)で、T=T1+Δtになると(x2,y2)に変化している。したがって、図10(b)のグラフに示すように、例えばY座標の値が時間とともに小さくなっていれば、走行方向は「往方向」であると判断することができる。反対に、Y座標の値が時間とともに大きくなっていれば、走行方向は「復方向」であると判断することができる。
また、特定領域24aの面積Sは、T=T1の時にS1で、T=T1+ΔtになるとS1よりも大きいS2に変化している。したがって、図10(b)のグラフに示すように、面積Sの値が時間とともに大きくなっていれば、走行方向は「往方向」であると判断することができる。反対に、面積Sの値が時間とともに小さくなっていれば、走行方向は「復方向」であると判断することができる。
その他にも、特定領域24aの一辺や対角線の長さ寸法L(図示せず)を検出し、寸法Lの変化のしかたを観測することによって、走行方向を判断することができる。以下、特定領域24aの状態を示すX座標、Y座標、面積S、寸法L等の特性値を、領域状態特性値と称する。
このように、車両管理システム18によれば、撮像部20で撮像した画像データを分析することによって、車両通過エリア14を通過した車両16を特定するとともに、特定車両16が敷地12に進入したのか敷地12から退出したのかを認識することができる。なお、車両管理システム18と同様の機能又は類似した機能を備えたシステムは、例えば特許文献1,2等に開示されている。
特開2004-234486号公報 特開平11-144196号公報
従来の車両管理システム18では、車両通過エリア14の路面14aの起伏や車両が走行する状況によって、特定車両16の走行方向の認識精度が低くなってしまう可能性がある。
例えば、図11(a)に示すように、敷地12が道路10よりも高くなっている場合、車両通過エリア14の路面14aに段差が生じる。そのため、特定車両16が車両通過エリア14を往方向に移動したとすると、車両画像から検出されるY座標の値は、図11(b)のグラフに示すように、右肩下がりに滑らかに小さくなるのではなく、途中で一旦大きくなった後、徐々に小さくなる。この場合、最初の数個(例えばT1~T4)の車両画像が取得された時点で分析すると、「Y座標の値がy1→y2で大きくなった」という検出結果がノイズ情報となり、且つこのノイズ情報が強く影響するため、「走行方向は往方向である」と正しく認識することは難しい。
また、図12(a)に示すように、車両通過エリア14の路面14aに段差はないが、路面14a上の砂利や積雪、特定車両16のサスペンションの作動により、車体が上下に振動する状況が想定される。そうすると、車両画像から検出されるY座標の値は、図12(b)のグラフに示すように、時間とともに右肩下がりに滑らかに小さくなるのではなく、上下振動を繰り返しながら小さくなる。この場合、最初の数個(例えばT1~T4)の車両画像が取得された時点で分析すると、「Y座標の値がy1→y2で大きくなった」及び「Y座標の値がy3→y4で大きくなった」という検出結果がノイズ情報となり、且つこのノイズ情報が強く影響するため、「走行方向は往方向である」と正しく認識することは難しい。
なお、この問題は、より多くの車両画像が取得された段階で分析すれば、解決することができる。例えば、図11、図12の例であれば、10個程度の車両画像(例えばT1~T10の車両画像)を分析すればノイズ情報の影響が弱まり、さらに統計的手法を用いてノイズ情報をフィルタリングする処理等を行えば、走行方向を正しく認識することは可能と考えられる。
しかしながら、分析対象の車両画像データが多くなるほどその分析に時間が掛かり、さらに多数の車両画像データを分析する処理装置22の負担が大きくなって処理速度が遅くなるため、走行方向を正しく認識するまでに長い時間が掛かってしまう。
特に、走行している車両を撮像する場合、車両が高速で通過するケースを考慮して、非常に短い時間間隔で撮像する(例えば1/10~1/50秒間隔)ことが一般的であるため、実際は、車両画像の数は10個では十分とは言えず、より多くの車両画像を分析する必要があり、処理装置22に掛かる負担も非常に大きくなってしまう。
このように、従来の車両管理システム18では、車両通過エリア14を走行する特定車両16の走行方向を短時間で精度よく認識することは難しい。また、この問題は、車両管理システム18の構成に、特許文献1,2に開示された技術を組み合わせたとしても、解決することはできない。
本発明は、上記背景技術に鑑みて成されたものであり、車両通過エリアを走行する特定車両の走行方向を、少ない数の車両画像を分析することによって精度よく認識できる車両管理システムを提供することを目的とする。
本発明は、車両が往方向及び復方向に通過可能な車両通過エリアを撮像部にて所定の時間間隔で撮像し、画像データと前記画像データを取得した時間である撮像時間情報とを相互に紐付けて出力する画像取得手段と、
前記画像データ及び前記撮像時間情報を取得し、取得した前記画像データの中から、前記車両のナンバープレートが撮像されている車両画像データを抽出する画像抽出部、前記車両画像データから前記ナンバープレートの表示内容情報を認識する表示内容認識部、及び前記車両画像データから前記車両における特定領域の状態を示す領域状態特性値を算出する領域状態特性値算出部を有した車両関連情報取得手段と、
前記車両関連情報取得手段から前記領域状態特性値及び前記撮像時間情報を取得し、特定の1台の前記車両である特定車両を管理対象としたとき、取得した当該特定車両についての前記領域状態特性値がα個(αは、あらかじめ設定された3以上の定数)に達すると、当該α個の前記領域状態特性値の中から総当たりで抽出される2個を比較して、前記2個の各組み合せにおける前記領域状態特性値の変化の度合いを示す特性値差を各々算出し、算出した前記特性値差を出力する特性値差算出手段と、
前記特性値差算出手段から前記特定車両についての前記特性値差を取得して分析することにより、前記特定車両の走行方向を特定する走行方向認識手段とを備える車両管理システムである。
前記領域状態特性値は、例えば、前記特定領域の、前記車両画像データの画像フレーム内の位置座標、面積及び寸法のうち1つ、または2つ以上の組み合わせであることが好ましい。
前記走行方向認識手段は、走行方向判定部及び走行方向特定部を備え、前記走行方向判定部は、前記特性値差算出手段から前記特定車両についての前記特性値差を取得し、取得した前記特性値差毎に、前記特定車両の走行方向が「往方向」か「復方向」かを判定しその判定結果を前記走行特定部に出力し、前記走行方向特定部は、前記判定結果の中の「往方向」と「復方向」の各個数に応じて前記特定車両の走行方向を特定する構成にすることが好ましい。この場合、前記走行方向判定部は、前記特性値差算出手段から取得した前記特定車両についての前記特性値差が、あらかじめ設定された閾値より小さい場合は「不明」と判定する構成にすることができる。
また、前記走行方向特定部は、前記走行方向判定部から取得した前記特定車両についての前記判定結果の中に、「往方向」又は「復方向」が合計3個以上ある場合、当該3個以上の前記判定結果の中の過半数を占めた方の走行方向を、前記特定車両の走行方向であると特定する構成にすることができる。
前記走行方向特定部は、前記走行方向判定部から取得した前記特定車両について「往方向」と「復方向」の前記判定結果が同数の場合、「往方向」の判定の基になった前記特性値差と「復方向」の判定の基になった前記特性値差を比較し、前記特性値差が大きいと認められる方の走行方向を、前記特定車両の走行方向であると特定する構成にすることができる。
また、前記走行方向判定部は、前記特定車両についてあらかじめ設定された走行方向認識時間が経過する前の時点で、前記特定車両についての「往方向」又は「復方向」の前記判定結果が合計で2個以下の場合、当該判定結果を前記走行方向特定部に出力せずに待機し、前記特性値差算出手段は、前記車両関連情報取得手段から前記特定車両についての新しい前記領域状態特性値が取得されると、先に取得済みの前記領域状態特性値に新しく取得した前記領域状態特性値を含めた中から総当たりで抽出される2個を比較して、改めて前記2個の各組み合せにおける前記特性値差を算出して出力し、前記走行方向判定部は、改めて算出された前記特性値差が取得されると、取得した前記特性値差毎に、前記特定車両の走行方向が「往方向」か「復方向」かを判定する構成にすることができる。
また、あらかじめ設定された前記特定車両についての走行方向認識時間が経過した時点で、前記特性値差算出手段が取得した前記特定車両についての前記領域状態特性値が1個の時、前記走行方向認識手段は、前記特性値差算出手段の動作に関係なく、前記前記特定車両の走行方向を「不明」とし、前記特性値差算出手段が取得した前記特定車両についての前記領域状態特性値が2個の時、前記特性値差算出手段は、当該2個の前記領域状態特性値を比較して1個の前記特性値差を算出し、前記走行方向認識手段は、当該1個の特性値差に基づいて前記特定車両の走行方向を特定する構成にすることが好ましい。
さらに、前記画像抽出部は、前記画像取得手段から出力された前記画像データの中から、動体が撮像されていると認められる動体画像データを抽出し、抽出した前記動体画像データの中の一部を、各前記動体画像データの前記撮像時間が所定の割合で間引かれるように選択して順に出力する動体画像抽出部と、前記動体画像抽出部から出力された前記動体画像データの中から、前記ナンバープレートが撮像された車両画像データを抽出する車両画像抽出部とを備える構成にすることができる。この場合、前記動体画像抽出部は、前記動体画像データを抽出し、抽出した前記動体画像データの中の一部を、前記各動体画像データの前記撮像時間が略均等に間引かれるように選択して順に出力する構成にすることが好ましい。
本発明の車両管理システムは、車両関連情報取得手段が動作することによって、車両通過エリアを走行する車両を的確に特定することができ、さらに独特な処理を行う特性値差算出手段及び走行方向認識手段を備えているため、特定車両の走行方向についても、少ない数の車両画像を分析することによって、短時間で精度よく認識することができる。したがって、例えば、小売店や車両の整備管理店などは、その顧客に関する情報(顧客の来店予約情報、その顧客が来店する頻度、車両の滞在時間等)を、車両番号に対応付けて管理することができ、訪れた顧客に対し、その顧客に合ったサービスを迅速に提供することが可能になる。また、商業施設や生産施設などで本発明の車両管理システムを使用する場合、進入車両の車両番号と進入時間の取得や、車両の滞在時間の把握をすることができ、当該施設のセキュリティを向上させることができる。
本発明の車両管理システムの一実施形態の構成及びデータ等の流れ示すシステム構成図である。 車両のナンバープレートの表示内容を示す図である。 車両関連情報取得手段が出力するデータ等の具体例を示す図表である 車両関連情報取得手段、特性値差算出手段及び走行方向判定部が実行する処理の流れを示すフローチャートである。 走行方向特定部が実行する処理の流れを示すフローチャートである。 この実施形態の車両管理システムの、走行方向の判定に係る処理内容の具体例を示す図表である。 この実施形態の車両管理システムの、走行方向の判定に係る処理内容の他の具体例を示す図表である。 従来の車両管理システムが車両通行エリアに設置された状況を示す平面図(a)、正面図(b)である。 図8の中の撮像部で撮像された1台の車両(特定車両)についての2つの車両画像を示す図(a)、(b)である。 図9(a)、(b)に写っているナンバープレート内の特定領域の状態変化をXY平面に表した図(a)、領域状態特性値(座標Y、面積S)の変化を示すグラフ(b)である。 従来の車両管理システムの問題点の一例を示す図(a)及びグラフ(b)である。 従来の車両管理システムの問題点の他の例を示す図(a)及びグラフ(b)である。
以下、本発明の車両管理システムの一実施形態について、図面に基づいて説明する。この実施形態の車両管理システム28は、図8に示す従来の車両管理システム18と同様に、道路10から施設の敷地12への出入口となる車両通過エリア14に設置され、車両通過エリア14を通過する車両16の出入りを管理するシステムである。
車両管理システム28は、図1に示すように、撮像部20を有した画像取得手段30、車両関連情報取得手段32、特性値差算出手段34及び走行方向認識手段36とで構成される。撮像部20以外の各手段は、いわゆる機能ブロックであり、コンピュータ等の中に設けられる。なお、車両関連情報取得手段32の全部または一部の処理や、特性値差算出手段34及び走行方向認識手段36の処理を、撮像部20が備えるプロセッサーで行う構成にしてもよい。
画像取得手段30は、車両16が往方向及び復方向に通過可能な車両通過エリア14を撮像部20にて所定の時間間隔で撮像し、画像データと当該画像データを取得した時間に関する情報である撮像時間情報(撮像時間Tの情報)とを相互に紐付けて出力する。画像取得手段30は、この実施形態では車両16が車両通過エリア14を走行しているか否かにかかわらず、車両通過エリア14を連続して撮像する。なお、画像取得手段30においては、撮像部20が画像データと撮像時間情報とを紐づけてもよいし、コンピュータが撮像部20から画像データを取得した後、画像データと撮像時間情報とを紐づけてもよい。更に、撮像時間情報は、撮像した時間とおおよそ同じであればよい。
車両関連情報取得手段32は、画像抽出部38、表示内容認識部40、領域状態特性値算出部42及びデータ等出力部44で構成される。
画像抽出手段38は、画像取得手段30が出力した画像データ及び撮像時間情報を取得し、取得した画像データの中から、車両通過エリア14を走行している車両16が撮像された画像データであって、車両16のナンバープレート24が撮像されている車両画像データを抽出する処理を行う機能ブロックであり、この処理を、動体画像抽出部38aと車両画像抽出部38bとで実行する。
動体画像抽出部38aは、画像取得手段30が出力した画像データ(車両16等の動体が写っていない画像データを含む)を取得し、その中から、動体が撮像されていると認められる動体画像データを抽出する。そして、抽出した動体画像データの中の一部を、動体画像データの撮像時間Tが所定の割合で間引かれるように選択し、順に出力する処理を行う。
例えば、撮像時間Tの間隔が非常に短いと、前後する画像データを比較した時に、車両16等の動体の状態がごく僅かしか変化していない場合が多い。そこで、動体画像抽出部38aは、動体画像データの撮像時間Tが所定の割合で間引かれるように(好ましくは略均等に間引かれるように)、動体画像データを選択して出力する。これによって、2つの動体画像データを比較した時に動体の状態の変化量が大きくなるため、後のブロックにおいて、特定領域24aの状態変化の度合いを適切に検出することが可能になる。また、無駄な動体画像データを分析する必要が無くなるため、後のブロックの処理負担を大幅に軽減することができる。
車両画像抽出部38bは、動体画像抽出部38aから出力された動体画像データの中から、車両16のナンバープレート24が写っている車両画像データを抽出する処理を行う。以降、車両画像データを取得した時間である撮像時間情報を車両撮像時間情報と称する。なお、コンピュータのCPUの能力が十分高い場合、画像抽出手段38は、動体画像抽出部38aを設けずに車両画像抽出部38bのみの構成でもよい。
表示内容認識部40は、車両画像データからナンバープレート24の表示内容情報を認識する。図2に示すように、ナンバープレート24には、運輸支局又は自動車検査登録事務所を示す「富山」等の文字、自動車の種別を示す「***」の数字列、用途を示す「さ」等の文字、一連指定番号を示す「23-45」等の数字列が表示されており、これらの中から表示内容を文字認識し、表示内容情報「富山_***_さ_2345」を作成する。なお、表示内容情報は、ナンバープレート24の表示内容の全部を含んでいる必要はなく、複数の車両16の中から1台の車両(特定車両16)を特定するための必要最小限の内容が含まれていればよい。
領域状態特性値算出部42は、車両画像データから車両における特定領域24aの状態を示す領域状態特性値を算出する。ここでは、ナンバープレート24内の一連指定番号である「23-45」が表示された領域を特定領域24aとしている。領域状態特性値は、上記のように、特定領域24aの状態を示すX座標、Y座標、面積S、寸法L等である。
データ等出力部44は、表示内容認識部40が車両画像データを基に作成した前記表示内容情報と、領域状態特性値算出部42が車両画像データを基に算出した前記領域状態特性値と、これらに対応する車両撮像時間情報とを相互に紐付けて出力する。
なお、図1では、車両関連情報取得手段32が有する3つの特徴的な機能を表すため、画像抽出部38、表示内容認識部40及び領域特性状態特性値算出部42という3つの機能ブロックを設けている。しかし、車両関連情報取得手段32は、厳密には区分できるものではなく、各機能ブロックが適宜のタイミングで情報を交換しながら処理を実行することによって、3つの機能が実現される。例えば、画像抽出部38と表示内容認識部40とが一体になって処理を実行してもよく、具体的には、まず画像抽出部38が車両画像データの候補を抽出して表示内容認識部40に送り、表示内容認識部40がその候補に基づいて所定の表示内容情報が認識できた場合、画像抽出部38がその候補を車両画像データであると特定する、というような流れにすることができる。また、領域状態特性値算出部42を機能ブロックとして独立させず、表示内容認識部40が画像解析を行う過程で領域状態特性値を算出するという構成(つまり、表示内容認識部40が領域状態特性値算出部42の機能も備えるという構成)にしてもよい。
データ等出力部44が出力するデータ等、すなわち車両関連情報取得手段32が出力するデータ等は、図3のように整理することができる。特定車両16(1),16(2),・・・は、車両通過エリア14を通過した又は通過中の複数台の車両を示している。また、車両通過エリア14の幅(走行方向と直角な幅)が広いときや車両通過エリア14が敷地12の複数箇所に設けられている場合は、複数の撮像部20(1),20(2),・・・が設置される場合があるため、撮像した撮像部の情報も出力されるようにするとよい。また、図示しないが、車両16のナンバープレートのみを切り出した画像や、車両の種類なども出力されるようにしてもよい。さらに、車両画像データの表示内容情報が予め登録された特定の表示内容情報と一致する場合、データ等を出力しないように設定されてもよい。
特性値差算出手段34は、概して言うと、車両関連情報取得手段32から図3に示すデータ等を取得し、特定の1台の車両である特定車両16(k)を管理対象とした時、特定車両16(k)についての領域状態特性値がα個(αはあらかじめ設定された3以上の定数)に達すると、当該α個の領域状態特性値の中から総当たりで抽出される2個を比較して、前記2個の各組み合せにおける領域状態特性値の変化の度合いを示す特性値差を各々算出し、算出した特性値差を出力する処理を行う。
特性値差算出手段34は、特定車両16(k)を管理対象とする時、車両16の特徴に基づいて認識すればよく、例えば、車両関連情報取得手段32から取得した表示内容情報に基づいて管理対象の車両を認識する。
走行方向認識手段36は、特性値差算出手段34から特定車両16(k)についての特性値差を取得し、これを分析することによって特定車両16(k)の走行方向が「往方向」か「復方向」か「不明」かを特定する機能ブロックで、この処理を、走行方向判定部46と走行方向特定部48とで実行する。走行方向判定部46は、概して言うと、特性値差算出手段34から特定車両16(k)についての特性値差を取得し、取得した特性値差毎に、特定車両16(k)の走行方向が「往方向」か「復方向」か「不明」かを判定し、その判定結果を走行方向特定部48に出力する。そして、走行方向特定部48は、判定結果の中の「往方向」、「復方向」及び「不明」の各個数に応じて特定車両16(k)の走行方向を特定する処理を行う。
以下、特性値差算出手段34及び走行方向認識手段36が行う処理内容を、図4、図5に示すフローチャートに基づいて、2つの具体例(図6、7)を示しながら詳しく説明する。また、説明を分かりやすくするため、ここでは、定数α=3、領域状態特性値を座標Y(Y1,Y2,・・・)、2つの座標Yの特性値差をΔY(ΔY1,ΔY2,・・・)、これらに対応する車両撮像時間をT(T1,T2,・・・)とし、管理対象の車両を特定車両16(1)と想定する。
図4に示すように、まずステップS10で、車両関連情報取得手段32が、ナンバープレート24の表示内容が認識された全ての車両16についてのデータ等(図3に示すデータ等)を出力する。そして、特性値差算出手段34は、このデータ等を取得すると、表示内容情報に基づいて認識される1台の特定車両16(1)を管理対象とし、特定車両16(1)についての領域状態特性値及び車両撮像時間情報と抽出する[ステップS20]。
ステップS20を行った結果、領域状態特性値y1,y2,y3が抽出されたとすると、この時点で領域状態特性値Yが3個に達しているため、ステップS21からステップS22に進み、図6に示すように、3個の領域状態特性値y1,y2,y3を総当たりで比較して、3個の特性値差ΔY1=y2-y1,ΔY2=y3-y2,ΔY3=y3-y1を算出する。なお、特性値差を算出する時は、時間の経過とともに領域状態特性値Yが大きくなったかあるいは小さくなったかを検出する必要があるため、車両撮像時間が後のものから先のものを引き算するとよい。特性値差ΔYの数は、領域状態特性値Yの数をn個とすると、(n・(n-1)/2)個になる。
次に、ステップS23に進み、走行方向判定部46が、特性値差ΔY1,ΔY2,ΔY3毎に、走行方向が「往方向」か「復方向」か「不明」かを判定する。具体的には、ΔY<0の時は、時間の経過とともにYが小さくなったと読み取れるため、走行方向を「往方向」と判定する。また、ΔY>0の時は、時間の経過とともにYが大きくなったと読み取れるため、走行方向を「復方向」と判定する。ただし、特定値差ΔYの大きさ|ΔY|が、あらかじめ設定された閾値Ythより小さい時は、走行方向を「不明」と判定する。閾値Ythはごく小さい値であり、|ΔY|<Ythの時は、ΔYに基づいて「往方向」か「復方向」かの判定を行ったとしても、判定結果の信頼性が高くないと考えられるため、ここでは「不明」と判定することにしている。
例えば、特定車両16(1)が車両通過エリア14を走行し、ナンバープレート24が図11(b)のように移動したとすると、図6に示すように、特性値差ΔY1については、ΔY1>0,|ΔY1|≧Ythなので、「復方向」と判定される。また、特性値差ΔY2については、ΔY2<0,|ΔY2|≧Ythなので、「往方向」と判定される。また、特性値差ΔY3については、ΔY3<0,|ΔY3|≧Ythなので、「往方向」と判定される。ステップS23が終了すると、[B]に進む。
なお、ステップS20において、領域状態特性値Yが1個又は2個抽出されたとすると、この時点で領域状態特性値Yが3個に達していないため、ステップS21からステップS24に進み、特定車両16(1)について、あらかじめ設定された走行方向認識時間Txが経過したか否かを確認する。走行方向認識時間Txは、例えば、車両管理システム28の目的もしくは仕様に沿って設定される、車両16が車両通過エリア14を通過してから車両情報を出力するまでの最大許容時間である。特定車両16(1)の走行方向認識時間Txの起点は、例えば、特性値差算出手段34が特定車両16(1)についての最初の領域状態特性値y1を取得した時に設定される。
したがって、走行方向認識時間Txが経過する前であれば、車両関連情報取得手段32から、次の特定車両16(1)についてのデータ等が出力される可能性があるため、特性値差算出手段34はステップS24から再び[A]に戻る。一方、走行方向認識時間Txが既に経過している時は、特性値差算出手段34はステップS24からステップS25に進む。
ステップS25では、抽出された領域状態特性値Yの数を確認し、領域状態特性値Yがy1,y2の2個の時は、ステップS25からステップS26に進み、2個の領域状態特性値y1,y2から1個の特性値差ΔY1を算出し、さらにステップS27に進み、特性値差ΔY1について、走行方向が「往方向」か「復方向」か「不明」かを判定する。この判定方法は、上記のステップS23と同様である。ステップS27が終了すると、[B]に進む。また、抽出された領域状態特性値Yが1個の時は、特性値差ΔYを算出できず、走行方向判定部46においても判定を行うことができないので、特性値差算出手段34及び走行方向判定部46で特に処理を行わず、ステップS25から[C]に進む。
図5は、走行方向特定部48が実行する処理を示している。図4に示す処理の後、[B]の流れで進んだ時はステップS30に進み、先のステップS23,S27で行われた走行方向判定部46の判定結果を取得し、「往方向」又は「復方向」の判定結果が合計3個以上あるかを確認する。さらに、3個以上の場合にステップS31に進み、「往方向」と「復方向」の判定結果の個数が同数であるかを確認する。そして、「往方向」と「復方向」の判定結果の個数が違っていればステップS32に進み、「往方向」と「復方向」の判定結果の中の過半数を占めた方の走行方向を、特定車両16(1)の走行方向であると特定する。
図6の例では、「往方向」又は「復方向」の判定結果が合計3個で、内訳は「往方向」が2個で「復方向」が1個なので、走行方向特定部48は、特定車両16(1)の走行方向は「往方向」であると特定する。
このように、特定車両16(1)が図11(b)のように走行した場合、図6に示す処理結果が順に伝達され、ステップS32において、走行方向が「往方向」であると特定されることになる。即ち、特定車両16(1)の正しい走行方向が、非常に少ない数のデータ(車両撮像時間T1~T3のデータ)を分析した段階で、素早く認識される。
なお、ステップS30において、「往方向」又は「復方向」の判定結果が合計2個以下の時は、ステップS33に進む。「往方向」又は「復方向」の判定結果が合計2個以下になるケースは、図11(b)の状況では発生していないが、図12(b)の状況では発生し得る。特定車両16(1)が図12(b)のように走行した場合、領域状態特性値y1→y2の変化量が非常に小さく、図7の上段に示すように、ΔY1>0ではあるが、|ΔY1|<Ythであるため、ΔY1については「不明」と判定される。その他のΔY2,ΔY3については、どちらも「往方向」と判定される。したがって、ステップS30に進んだ時、「往方向」又は「復方向」の判定結果が合計2個ということになる。
ステップS30からステップS33に進むと、特定車両16(1)について、走行方向認識時間Txが経過したか否かを確認する。走行方向認識時間Txが経過する前であれば、車両関連情報取得手段32から、次の特定車両16(1)についてのデータ等が出力される可能性があるため、ステップS33から再び[A]に戻る。なお、ステップS33から再び[A]に戻る時、「不明」と判定されたΔYの基になった2つの領域状態特性値は、[A]に戻った後の処理において、そのまま使用するようにしてもよいが、差が小さくノイズ情報となり得るため、片方を削除してもよいし、1つの領域状態特性値として扱うようにしてもよい。一方、走行方向認識時間Txが既に経過している時は、走行判定特定部48はステップS33からステップS34に進む。
ステップS34では、「往方向」又は「復方向」の判定結果の合計数を確認し、合計2個の時は、ステップS34からステップS35に進む。そして、当該2個の判定結果が同じ時は、さらにステップS36に進み、その走行方向を特定車両16(1)の走行方向であると特定する。例えば、図7の上段の例では、「往方向」又は「復方向」の判定結果が合計2個で、どちらの内容も「往方向」なので、走行方向特定部48は、特定車両16(1)の走行方向は「往方向」であると特定する。一方、当該2個の判定結果が違う時は、ステップS35からステップS37に進み、「往方向」の判定の基になった特定値差ΔYと「復方向」の判定の基になった特性値差ΔYとを比較して、差が大きいと認められる方の走行方向(|ΔY|が大きい方の走行方向)を、特定車両16(1)の走行方向であると特定する。
ステップS34で、「往方向」又は「復方向」の判定結果の合計数が1個の時は、ステップS36に進み、その走行方向を、特定車両16(1)の走行方向であると特定する。また、ステップ「往方向」又は「復方向」の判定結果の合計数が0個の時は、ステップS38に進み、特定車両16(1)の走行方向は「不明」とする。
次に、先のステップS30からステップS33を経て[A]に戻り、再び[B]の流れでステップS30に進んだケースを考える。このケースでは、例えば図7の下段に示すように、再びステップS30に進んだ段階で、車両撮像時間T4における領域状態特性値y4が新たに取得され、領域状態特性値y1~y4に基づく6個の特性値差ΔY1~ΔY6が算出され、走行方向の判定結果が6個になる。そして、6個の判定結果の中の、「往方向」又は「復方向」の合計数が3個以上であるため、ステップS30からステップS31に進むことになる。
ステップS31に進むと、「往方向」と「復方向」の判定結果の個数が同数であるかを確認し、「往方向」と「復方向」の判定結果の個数が違う場合は、上述したステップS32の処理を行う。また、「往方向」と「復方向」の判定結果の個数が同じ場合は、上述したステップS37の処理を行う。
図7の下段の例では、「往方向」が4個で「復方向」が1個になっているため、ステップS32に進み、走行方向特定部48は、特定車両16(1)の走行方向は「往方向」であると特定する。
このように、特定車両16(1)が図12(b)のように走行した場合は、図7の上段及び下段に示す処理結果が順に伝達され、ステップS32にいて、走行方向が「往方向」であると特定されることになる。即ち、特定車両16(1)の正しい走行方向が、非常に少ない数のデータ(車両撮像時間T1~T4のデータ)を分析した段階で、素早く認識される。
その他、図4に示す処理の後、[C]の流れで進んだ時は、ステップS38に進み、特定車両16(1)の走行方向は「不明」とする。先のステップS25で分かるように、領域状態特性値が1個しかなく、特定値差ΔY1に基づく判定結果の数がゼロであるため、特定車両16(1)の走行方向を特定できないからである。
車両管理システム28が特定車両16(1)を管理対象にした時に実行する処理の流れは以上である。実際は、複数台の特定車両16(1),16(2),・・・について、上述した一連の処理を並行して行うことになる。
なお、特定車両16(1)が図12(b)に示す動き方したとすると、車両撮像時間T1,T2,・・・の間隔を少し長くすれば、正しい走行方向を、より少ない数の車両画像を基に認識することが可能になる。車両管理システム28の場合、動体画像抽出部38aが、動体画像データの撮像時間が所定の割合で間引かれるように動体画像データを選択して出力するので、この間引く割合を状況に合わせて調節することができる。したがって、図12(b)に示す動き方した時、間引く割合を少し大きくするとよい。これによって、必要な画像データを取得するのに掛かる時間は少し長くなるものの、画像解析や演算処理を行うブロックの負担を大幅に軽減できるので、総合的に見て、正しい走行方向を短い時間で認識することができる。
以上説明したように、車両管理システム28は、車両関連情報取得手段32が動作することによって、車両通過エリア14を走行する車両16を的確に特定することができ、さらに独特な処理を行う特性値差算出手段34及び走行方向認識手段36を備えているので、特定車両16の走行方向についても、少ない数の車両画像を分析することによって、短い時間で精度よく認識することができる。例えば、特定車両16が図11(b)、図12(b)に示す動き方をした時、特定車両16の走行方向を正しく認識するために、従来の車両管理システム18であれば、10個又はそれ以上の膨大な数の車両画像を分析する必要があるのに対し、車両管理システム28の場合は、3~5個程度の車両画像を分析すればよいので、非常に有利である。
なお、本発明の車両管理システムは、上記実施形態に限定されるものではない。上記の車両管理システム28の動作説明は、図4のステップS21,S22に記載したように、「領域状態特性値Yの数が3個(α=3)に達した段階で特性値差ΔYを算出する」と想定して説明したが、定数αは3以上であればよく、状況に合わせて4以上に設定することができる。ただし、定数αは、所望の短い時間で走行方向を認識できるようにするため、そして画像解析や演算処理を行うブロックの負担が大きくなり過ぎないようにするため、できるだけ小さい値に設定することが好ましい。
上記の走行方向認識手段36は、特定車両16(1)の走行方向を特定した後、車両関連情報取得手段32から、次の特定車両16(1)についてのデータ等が出力されたとしても、再び走行方向認識処理が実行されないように構成することが好ましい。走行方向認識手段36の負担を軽減するためである。この場合、例えば、走行方向認識手段36で特定車両16(1)の走行方向を特定した時間から規定時間が経過するまで、走行方向の認識を行わないように設定する方法が考えられる。
上記の走行方向判定部46は、特性値差ΔYの大きさ|ΔY|が閾値Ythより小さい時に「不明」と判定することにしている。これは、|ΔY|が小さすぎると判定の信頼性が低くなるという考え方に基づいているが、判定の信頼性が十分確保されると考えられる時は、閾値Ythを設けずにΔYが正か負かによってシンプルに判定する構成にしてもよい。
上記の車両関連情報取得手段32の場合、画像データの中から車両画像データを抽出する処理を画像解析により行っているが、例えば、車両通過エリア14に動体又は車両が近づいたことを赤外線センサや重量センサ等で検知し、その検知結果を利用して車両画像データを抽出する構成にすることも可能である。その他、車両関連情報取得手段が行う画像解析の手法は特に限定されず、公知の解析手法の中から自由に選択することができる。
上記の動作説明では、領域状態特性値を、ナンバープレート24内の特定領域24aのY座標としたが、特定領域24aの面積S、特定領域24aの寸法L、或いはこれ以外の特性値を使用することができ、ほぼ同様の作用効果が得られる。また、複数種類の領域状態特性値を組み合わせて使用することも可能である。例えば、車両撮像時間T1,T2の領域状態特性値Y1,Y2,から特性値差ΔY1を、領域状態特性値S1,S2から特性値差ΔS1を各々算出し、ΔY1,ΔS1について走行方向を判定すると、本来であれば、ΔY1についての判定とΔS1についての判定は同じになるはずである。したがって、2つの判定が「往方向」と「復方向」に分かれた時は、データの信頼性が低いと考えられるため「不明」と判定するのが好ましく、これによって、走行方向の認識精度をさらに向上させることができる。また、ΔY1の大きさ|ΔY1|が閾値Ythより小さくても、ΔS1の大きさ|ΔS1|が閾値Sthより大きい場合は、走行方向が「往方向」か「復方向」かの判定を、ΔS1に基づいて速やかに行うことができる。
その他、車両管理システムが設置される車両通過エリアは、車両が往方向又は復方向に通過可能な場所であれば、大きさや形状は特に限定されない。また、画像取得手段の撮像部の設置方法も特に限定されず、車両通過エリアを走行する車両のナンバープレートを的確に撮像できる場所に、適宜の角度で設置されていればよい。
14 車両通過エリア
16 車両(特定車両)
16(1),16(2),・・・,16(k) 特定車両
18,28 車両管理システム
20 撮像部
24 ナンバープレート
24a 特定領域
26 画像フレーム
30 画像取得手段
32 車両関連情報取得手段
34 特性値差算出手段
36 走行方向認識手段
38 画像抽出部
38a 動体画像抽出部
38b 車両画像抽出部
40 表示内容認識部
42 領域状態特性値算出部
44 データ等出力部
46 走行方向判定部
48 走行方向特定部

Claims (10)

  1. 車両が往方向及び復方向に通過可能な車両通過エリアを固定された撮像部にて所定の時間間隔で撮像し、画像データと前記画像データを取得した時間である撮像時間情報とを相互に紐付けて出力する画像取得手段と、
    前記画像データ及び前記撮像時間情報を取得し、取得した前記画像データの中から、前記車両のナンバープレートが撮像されている車両画像データを抽出する画像抽出部、前記車両画像データから前記ナンバープレートの表示内容情報を認識する表示内容認識部、及び前記車両画像データから前記車両における特定領域の状態を示す領域状態特性値を算出する領域状態特性値算出部を有した車両関連情報取得手段と、
    前記車両関連情報取得手段から前記領域状態特性値及び前記撮像時間情報を取得し、特定の1台の前記車両である特定車両を管理対象としたとき、取得した当該特定車両についての前記領域状態特性値がα個(αは、あらかじめ設定された3以上の定数)に達すると、当該α個の前記領域状態特性値の中から総当たりで抽出される2個を比較して、前記2個の各組み合せにおける前記領域状態特性値の変化の度合いを示す特性値差を各々算出し、算出した前記特性値差を出力する特性値差算出手段と、
    前記特性値差算出手段から前記特定車両についての前記特性値差を取得して分析することにより、前記特定車両の走行方向を特定する走行方向認識手段とを備えることを特徴とする車両管理システム。
  2. 前記領域状態特性値は、前記特定領域の、前記車両画像データの画像フレーム内の位置座標、面積、及び寸法のうちの1つ、または2つ以上の組み合わせである請求項1記載の車両管理システム。
  3. 前記走行方向認識手段は、走行方向判定部及び走行方向特定部を備え、
    前記走行方向判定部は、前記特性値差算出手段から前記特定車両についての前記特性値差を取得し、取得した前記特性値差毎に、前記特定車両の走行方向が「往方向」か「復方向」かを判定しその判定結果を前記走行方向特定部に出力し、
    前記走行方向特定部は、前記判定結果の中の「往方向」と「復方向」の各個数に応じて前記特定車両の走行方向を特定する請求項1又は2記載の車両管理システム。
  4. 前記走行方向判定部は、前記特性値差算出手段から取得した前記特定車両についての前記特性値差が、あらかじめ設定された閾値より小さい場合は「不明」と判定する請求項3記載の車両管理システム。
  5. 前記走行方向特定部は、前記走行方向判定部から取得した前記特定車両についての前記判定結果の中に、「往方向」又は「復方向」が合計3個以上ある場合、当該3個以上の前記判定結果の中の過半数を占めた方の走行方向を、前記特定車両の走行方向であると特定する請求項3又は4記載の車両管理システム。
  6. 前記走行方向特定部は、前記走行方向判定部から取得した前記特定車両について「往方向」と「復方向」の前記判定結果が同数の場合、「往方向」の判定の基になった前記特性値差と「復方向」の判定の基になった前記特性値差を比較し、前記特性値差が大きいと認められる方の走行方向を、前記特定車両の走行方向であると特定する請求項3乃至5のいずれか記載の車両管理システム。
  7. 前記走行方向判定部は、前記特定車両についてあらかじめ設定された走行方向認識時間が経過する前の時点で、前記特定車両についての「往方向」又は「復方向」の前記判定結果が合計で2個以下の場合、当該判定結果を前記走行方向特定部に出力せずに待機し、
    前記特性値差算出手段は、前記車両関連情報取得手段から前記特定車両についての新しい前記領域状態特性値が取得されると、先に取得済みの前記領域状態特性値に新しく取得した前記領域状態特性値を含めた中から総当たりで抽出される2個を比較して、改めて前記2個の各組み合せにおける前記特性値差を算出して出力し、
    前記走行方向判定部は、改めて算出された前記特性値差が取得されると、取得した前記特性値差毎に、前記特定車両の走行方向が「往方向」か「復方向」かを判定する請求項3乃至6のいずれか記載の車両管理システム。
  8. あらかじめ設定された前記特定車両についての走行方向認識時間が経過した時点で、
    前記特性値差算出手段が取得した前記特定車両についての前記領域状態特性値が1個の時、前記走行方向認識手段は、前記特性値差算出手段の動作に関係なく、前記前記特定車両の走行方向を「不明」とし、
    前記特性値差算出手段が取得した前記特定車両についての前記領域状態特性値が2個の時、前記特性値差算出手段は、当該2個の前記領域状態特性値を比較して1個の前記特性値差を算出し、前記走行方向認識手段は、当該1個の特性値差に基づいて前記特定車両の走行方向を特定する請求項1乃至7のいずれか記載の車両管理システム。
  9. 前記画像抽出部は、前記画像取得手段から出力された前記画像データの中から、動体が撮像されていると認められる動体画像データを抽出し、抽出した前記動体画像データの中の一部を、各前記動体画像データの前記撮像時間が所定の割合で間引かれるように選択して順に出力する動体画像抽出部と、前記動体画像抽出部から出力された前記動体画像データの中から、前記ナンバープレートが撮像された車両画像データを抽出する車両画像抽出部とを備える請求項1乃至8のいずれか記載の車両管理システム。
  10. 前記動体画像抽出部は、前記動体画像データを抽出し、抽出した前記動体画像データの中の一部を、前記各動体画像データの前記撮像時間が略均等に間引かれるように選択して順に出力する請求項9記載の車両管理システム。
JP2021032436A 2021-03-02 2021-03-02 車両管理システム Active JP7438547B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021032436A JP7438547B2 (ja) 2021-03-02 2021-03-02 車両管理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021032436A JP7438547B2 (ja) 2021-03-02 2021-03-02 車両管理システム

Publications (2)

Publication Number Publication Date
JP2022133643A true JP2022133643A (ja) 2022-09-14
JP7438547B2 JP7438547B2 (ja) 2024-02-27

Family

ID=83229946

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021032436A Active JP7438547B2 (ja) 2021-03-02 2021-03-02 車両管理システム

Country Status (1)

Country Link
JP (1) JP7438547B2 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11144196A (ja) * 1997-11-07 1999-05-28 Ishida Co Ltd 駐車場の管理システム
JP2004234486A (ja) * 2003-01-31 2004-08-19 Matsushita Electric Ind Co Ltd 車両逆走検知装置
JP2006018339A (ja) * 2004-06-30 2006-01-19 Hitachi Ltd ナンバープレート認識装置及び方法
JP2008146154A (ja) * 2006-12-06 2008-06-26 Mitsubishi Electric Corp 車種判別装置
JP2008192109A (ja) * 2007-01-11 2008-08-21 Tamotsu Koyama 警報表示システム
JPWO2018139212A1 (ja) * 2017-01-25 2019-11-14 パナソニックIpマネジメント株式会社 運転制御システムおよび運転制御方法
JP2020204839A (ja) * 2019-06-14 2020-12-24 マツダ株式会社 外部環境認識装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6151412B2 (ja) 2012-09-18 2017-06-21 デクセリアルズ株式会社 異方性導電フィルム、異方性導電フィルムの製造方法、接続体の製造方法、及び接続方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11144196A (ja) * 1997-11-07 1999-05-28 Ishida Co Ltd 駐車場の管理システム
JP2004234486A (ja) * 2003-01-31 2004-08-19 Matsushita Electric Ind Co Ltd 車両逆走検知装置
JP2006018339A (ja) * 2004-06-30 2006-01-19 Hitachi Ltd ナンバープレート認識装置及び方法
JP2008146154A (ja) * 2006-12-06 2008-06-26 Mitsubishi Electric Corp 車種判別装置
JP2008192109A (ja) * 2007-01-11 2008-08-21 Tamotsu Koyama 警報表示システム
JPWO2018139212A1 (ja) * 2017-01-25 2019-11-14 パナソニックIpマネジメント株式会社 運転制御システムおよび運転制御方法
JP2020204839A (ja) * 2019-06-14 2020-12-24 マツダ株式会社 外部環境認識装置

Also Published As

Publication number Publication date
JP7438547B2 (ja) 2024-02-27

Similar Documents

Publication Publication Date Title
CN106652465B (zh) 一种道路异常驾驶行为的识别方法及系统
KR100459476B1 (ko) 차량의 대기 길이 측정 장치 및 방법
Pai et al. Pedestrian detection and tracking at crossroads
US8655078B2 (en) Situation determining apparatus, situation determining method, situation determining program, abnormality determining apparatus, abnormality determining method, abnormality determining program, and congestion estimating apparatus
JP3569992B2 (ja) 移動体検出・抽出装置、移動体検出・抽出方法及び移動体監視システム
US7899211B2 (en) Object detecting system and object detecting method
JP4973008B2 (ja) 車両判別装置及びそのプログラム
CN102479327B (zh) 目标识别系统,以及用于汽车的障碍识别系统和方法
KR102099265B1 (ko) 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템 및 그 방법
US20130120125A1 (en) Method and system for lane departure warning
JP2006268097A (ja) 車載物体検出装置、および物体検出方法
US20130064425A1 (en) Image recognizing apparatus, image recognizing method, and program
KR101473957B1 (ko) 운전 패턴 인식에 기반하여 보험료를 결정하는 장치 및 방법
JP2008286725A (ja) 人物検出装置および方法
JP2012160165A (ja) ベースライン帯域ビデオ監視システムおよび方法
KR20150029551A (ko) 도착 레인으로 합병되는 이동 아이템의 출발 레인을 결정
JPH08233525A (ja) 車種判別装置
KR101256873B1 (ko) 객체 추적 방법, 객체 추적 장치 및 이를 이용한 교통 감시 시스템
Dinh et al. Image segmentation based on histogram of depth and an application in driver distraction detection
US10789727B2 (en) Information processing apparatus and non-transitory recording medium storing thereon a computer program
JP2002197588A (ja) 走行車両のタイヤ種別判別方法,車種判別方法及び車種判別装置
JP7438547B2 (ja) 車両管理システム
KR100532058B1 (ko) 카메라 캘리브레이션을 이용한 교통정보 추출 방법 및 장치
JP2002367077A (ja) 交通渋滞判定装置及び交通渋滞判定方法
Wennan et al. Lane detection in some complex conditions

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221014

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240206

R150 Certificate of patent or registration of utility model

Ref document number: 7438547

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150