JP2021117726A - 自動駐車システム、マーカ不具合判定方法、及びマーカ不具合判定プログラム - Google Patents

自動駐車システム、マーカ不具合判定方法、及びマーカ不具合判定プログラム Download PDF

Info

Publication number
JP2021117726A
JP2021117726A JP2020010538A JP2020010538A JP2021117726A JP 2021117726 A JP2021117726 A JP 2021117726A JP 2020010538 A JP2020010538 A JP 2020010538A JP 2020010538 A JP2020010538 A JP 2020010538A JP 2021117726 A JP2021117726 A JP 2021117726A
Authority
JP
Japan
Prior art keywords
marker
vehicle
determination
defect
lighting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020010538A
Other languages
English (en)
Other versions
JP7318545B2 (ja
Inventor
亮佑 松花
Ryosuke MATSUHANA
亮佑 松花
陽介 服部
Yosuke Hattori
陽介 服部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2020010538A priority Critical patent/JP7318545B2/ja
Priority to US17/157,665 priority patent/US11727804B2/en
Priority to DE102021101677.0A priority patent/DE102021101677A1/de
Publication of JP2021117726A publication Critical patent/JP2021117726A/ja
Application granted granted Critical
Publication of JP7318545B2 publication Critical patent/JP7318545B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/14Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/141Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
    • G08G1/143Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces inside the vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06Automatic manoeuvring for parking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/14Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/149Traffic control systems for road vehicles indicating individual free spaces in parking areas coupled to means for restricting the access to the parking space, e.g. authorization, access barriers, indicative lights
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/53Road markings, e.g. lane marker or crosswalk
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/105Controlling the light source in response to determined parameters
    • H05B47/11Controlling the light source in response to determined parameters by determining the brightness or colour temperature of ambient light
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/20Responsive to malfunctions or to light source life; for protection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Combustion & Propulsion (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Navigation (AREA)

Abstract

【課題】車両の走行を誘導するための複数のマーカのうち、メンテナンスを要するマーカを簡易に特定できる、自動駐車システム、マーカ不具合判定方法、及びマーカ不具合判定プログラムを提供する。【解決手段】駐車場に表示されている複数のマーカを用いて車両16の走行を誘導するAVPシステムは、マーカを検出する車載カメラ40と、車載カメラ40の検出結果に基づいて、不具合が生じているマーカを判定するマーカ判定部72と、マーカ判定部72の判定結果を出力する判定結果出力部78と、を備える。【選択図】図2

Description

本発明は、自動駐車システム、マーカ不具合判定方法、及びマーカ不具合判定プログラムに関する。
近年、複数台の車両を駐車可能な駐車場において、車両を誘導して自動的に駐車させる自動バレー駐車(Automated Valet Parking、以下「AVP」ともいう。)に関する技術開発が行われている。
特許文献1には、駐車誘導方法として、車両を誘導するための誘導標記を撮像し、撮像した誘導標記に基づいて車両を誘導し、車両を誘導しているときに車両を駐車スペースに駐車するための駐車標記を撮像し、撮像した駐車標記に基づいて車両を駐車スペースに駐車することが開示されている。
特開2015−41348号公報
ここで、特許文献1に開示されているように誘導表示等のマーカを撮像することで車両を誘導する構成では、マーカが適切に撮像(検出)されるように、いわゆる認識ロストを防ぐためにマーカに対するメンテナンスを必要とする。ここでいうメンテナンスとは、マーカの汚れの除去や、マーカの検出を阻害するような障害物の除去等である。
しかしながら、駐車場が大型となるほどマーカの数も多くなり、例えば、駐車場の管理員の目視によってメンテナンスを必要とするマーカを判別するには時間と手間を要する。
本発明は上記背景に鑑み、車両の走行を誘導するための複数のマーカのうち、メンテナンスを要するマーカを簡易に特定できる、自動駐車システム、マーカ不具合判定方法、及びマーカ不具合判定プログラムを提供することを目的とする。
本発明は上記課題を解決するために以下の技術的手段を採用する。特許請求の範囲及びこの項に記載した括弧内の符号は、ひとつの態様として後述する実施形態に記載の具体的手段との対応関係を示す一例であって、本発明の技術的範囲を限定するものではない。
本発明の一態様の自動駐車システム(10)は、駐車場(12)に表示されている複数のマーカ(14)を用いて車両(16)の走行を誘導する自動駐車システムであって、前記マーカを検出するマーカ検出手段(40)と、前記マーカ検出手段の検出結果に基づいて、不具合が生じている前記マーカを判定するマーカ判定手段(72)と、前記マーカ判定手段の判定結果を出力する出力手段(78)と、を備える。
本発明によれば、車両の走行を誘導するための複数のマーカのうち、メンテナンスを要するマーカを簡易に特定できる。
第1実施形態の駐車場の概略上面図である。 第1実施形態のAVPシステムの電気的構成を示す機能ブロック図である。 第1実施形態の照明不良判定処理の流れを示すフローチャートである。 第1実施形態の自車位置送信処理の流れを示すフローチャートである。 第1実施形態のマーカ不良判定処理の流れを示すフローチャートである。 第2実施形態のAVPシステムの電気的構成を示す機能ブロック図である。 第3実施形態のAVPシステムの電気的構成を示す機能ブロック図である。
以下、図面を参照して本発明の実施形態を説明する。なお、以下に説明する実施形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施形態に応じた具体的構成が適宜採用されてよい。
(第1実施形態)
図1は、本実施形態の自動バレー駐車システム(以下「AVPシステム」という。)10が適用される駐車場12の概略上面図である。
AVPシステム10は、駐車場12に表示されている複数のマーカ14を用いて車両16の走行を誘導する自動駐車システムである。なお、AVPシステム10によって誘導可能な車両16をAVP対応車両ともいう。また、本実施形態の駐車場12は、例えば、商業施設や公的施設、又はマンションに併設して設けられる。また、駐車場12は、車両16が自走して駐車スペース18まで移動する平面状であればよく、例えば複数階が斜路で繋がった2階建て以上の立体駐車場や地下駐車場でもよい。
本実施形態のAVPシステム10は、駐車場12内にランドマークとなる各々異なる複数のマーカ14が適宜設けられている。そして、駐車場12に進入した車両16は、マーカ14を検出すると共に駐車場12内を示す地図データにおける自車位置を確認しながら、走行ルートデータに基づいて自動運転を行う。なお、走行ルートデータは、目標とする駐車スペース18に至るまでの車両16の走行ルートを示すデータであり、駐車場12進入した車両16毎に生成される。また、地図データは、駐車場12内に設けられている複数のマーカ14の位置も示している。
本実施形態のマーカ14は、一例として四角形状の2次元コードとされている。より具体的には、本実施形態のマーカ14は、一例として、黒色の四角形状内にマーカ14毎に異なる一又は複数の白色の四角形状が表示されており、この表示がマーカ14を識別するためのID(以下「マーカID」という。)に対応付けられる。
図1に示されるマーカ14の配置位置や数、形状、及び配色は、一例であり、これに限られない。例えば、マーカ14は、車両16が左折、右折、又は直進する位置毎や、駐車スペース18毎に表示されてもよい。また、本実施形態のマーカ14は、車両16の走行路上に表示されるが、これも一例であり、走行路面だけでなく、例えば、屋根付きの駐車場では柱にマーカ14が表示されてもよい。さらに、マーカ14は、四角形状に限らず、三角形状等の多角形状でもよいし、マーカ14を識別するためにマーカ14内に四角形状以外の図形又は数字、文字等が表示されてもよく、車両16を誘導可能な表記であれば、特に限定されない。
ここで、上述したように、車両16は、自動走行を行うためにマーカ14を検出する。しかしながら、マーカ14そのものに不具合が生じていると、車両16は、マーカ14を適切に認識できない可能性がある。なお、ここでいう不具合とは、例えば、マーカ14自体の汚れ、剥がれ、擦れ、及び褪せの他、障害物や環境(明るさ)による認識不可等である。そこで、本実施形態のAVPシステム10は、マーカ14の検出結果に基づいて、不具合が生じているマーカ14を判定し、その判定結果を出力してマーカ14のメンテナンスの必要性等を示す。
図2は、本実施形態のAVPシステム10の電気的構成を示す機能ブロック図である。図2に示されるように、AVPシステム10は、駐車場機器20、AVPローカル管制装置22、及び車両16(AVP対応車両)を含んで構成される。
駐車場機器20は、ゲート装置30、監視カメラ32、照明装置34、通信機36、及び照明不良判定装置38を備える。駐車場機器20が提供する手段や機能(通信機36及び照明不良判定装置38等)は、実質的な記録媒体に記憶されたソフトウェア及びそれを実行するコンピュータ、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの組合せによって提供することができる。例えば、駐車場機器20が提供する手段や機能がハードウェアである電子回路とされる場合、それは多数の論理回路を含むデジタル回路、又はアナログ回路によって提供することができる。
ゲート装置30は、駐車場12への車両16の入場又は退場を規制するゲート、駐車場12に入場する車両16に発券を行う発券装置、及び車両16の駐車場12内での滞在時間に応じて課金を行う課金装置等を備える。なお、ゲート装置30は、駐車場12に複数台が備えられてもよく、入口と出口とが異なっている駐車場12では、発券装置と課金装置とが別々に設けられてもよい。また、駐車場12には、必ずしもゲート装置30が備えられなくてもよい。例えば、無料の駐車場12にはゲート装置30そのものが備えられない。また、駐車場12がマンション等に設けられている場合には、ゲートは備えられるものの、課金装置が備えられなくてもよい。
監視カメラ32は、駐車場12を上方から撮像するものであり、駐車場12の全体を撮像できるように、例えば、一又は複数が駐車場12に設置された支柱や天井等に設置される。
照明装置34は、駐車場12を上方から照らすものであり、駐車場12の全体を照らすことができるように、例えば、一又は複数が駐車場12に設置された支柱や天井等に設置される。
照明不良判定装置38は、照明装置34の照明状態が適切であるか否かを判定する。本実施形態の照明不良判定装置38は、一例として、照明装置34の出力電流値に基づいて照明状態が適切であるか否かを判定する。照明状態が適切でないとは、例えば、照明装置34の照度が十分でない(照度不足)ことを示す。
通信機36は、他の装置とデータの送受信を行う。本実施形態の通信機36は、ゲート装置30の作動状態を示すゲート状態データ、監視カメラ32による撮像画像を示す監視画像データ、及び照明装置34の作動状態を示す照明状態データ等を、AVPローカル管制装置22に送信する。なお、通信機36は、他の装置とのデータの送受信を有線通信又は無線通信の何れで行ってもよい。
図3は、照明不良判定装置38による照明不良判定処理の流れを示すフローチャートである。照明不良判定処理は、駐車場機器20が備える記録媒体に格納されたプログラムによって実行される。なお、このプログラムが実行されることで、プログラムに対応する方法が実行される。照明不良判定処理は、一例として、所定時間間隔毎(例えば30分間隔毎)に行われる。
まず、ステップS100では、照明装置34毎の出力電流値を照明不良判定装置38が取得する。
次のステップS102では、出力電流値が基準上下限値内であるか否かを照明不良判定装置38が判定し、肯定判定の場合はステップS106へ移行する一方、否定判定の場合はステップS104へ移行する。なお、基準上下限値は、後述する車載カメラ40による走行画像データに基づいて、不良のない正常なマーカ14を画像認識できる照度を満たす限界値である。
ステップS104では、出力電流値が基準上下限値外となった照明装置34に対応する照明異常フラグをオン(ON)とする。一方、出力電流値が基準上下限値内となっている照明装置34の照明異常フラグはオフ(OFF)のままである。なお、照明不良判定装置38は、照明装置34毎の位置データと照明異常フラグとが対応付けられた照明状態データを生成する。
次のステップS106では、全ての照明装置34に対する判定が終了したか否かを照明不良判定装置38が判定し、肯定判定の場合はステップ108へ移行する一方、否定判定の場合はステップS100へ戻る。
次のステップS108では、照明状態データを通信機36がAVPローカル管制装置22へ送信して、本照明不良判定処理を終了する。なお、照明装置34の位置データは、駐車場12における各照明装置34の位置を示したデータであるが、例えば、位置データは照明装置34毎に付されている番号等であってもよい。また、照明装置34の位置データには、駐車場12におけるマーカ14を識別するマーカIDが対応付けられてもよい。これによりAVPローカル管制装置22は、不具合が生じている照明装置34を把握し、かつ照明不良の影響を受けるマーカ14も把握することができる。
次に車両16の構成を説明する。車両16は、車載カメラ40、カメラECU(Electronic Control Unit)42、ソナー44、自動駐車ECU46、及び通信機48を備える。
車両16が提供する手段や機能(カメラECU42、自動駐車ECU46、及び通信機48等)は、実質的な記録媒体に記憶されたソフトウェア及びそれを実行するコンピュータ、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの組合せによって提供することができる。例えば、車両16が提供する手段や機能がハードウェアである電子回路とされる場合、それは多数の論理回路を含むデジタル回路、又はアナログ回路によって提供することができる。
車載カメラ40は、少なくとも車両16の前方に一又は複数備えられ、車両16の前方やその周辺を示す走行画像データを取得する。なお、車載カメラ40は、詳細を後述するように、マーカ14を検出するマーカ検出手段としての機能、及びマーカ14の検出を阻害する障害物を検出する障害物検出手段としての機能も有する。
カメラECU42は、車載カメラ40によって取得された走行画像データを解析して、所定の画像認識等を行う。本実施形態のカメラECU42は、マーカ認識部50、障害物認識部52、及び明るさ推定部54を備える。
マーカ認識部50は、車載カメラ40が取得した走行画像データからマーカ14を認識する。なお、マーカ認識部50は、一例として、内側に白色が含まれる黒色の四角形状をマーカ14として認識する。そして、マーカ認識部50は、認識したマーカ14内に表示される白色の四角形状に基づいて各マーカ14に対応付けられているマーカIDを読み取る。なお、車両16が所定の駐車スペース18に至るまでの間にマーカ認識部50によって読み取られた複数のマーカIDはリスト化されてAVPローカル管制装置22へ送信される。以下の説明では、マーカIDをリスト化したデータを検出済マーカIDリストという。
障害物認識部52は、車載カメラ40によるマーカ14の検出を阻害する障害物を、走行画像データから認識する。障害物認識部52は、車載カメラ49によって障害物が検出された場合には、当該障害物の位置を示す障害物位置データを生成する。なお、本実施形態の障害物認識部52は、ソナー44による検出結果を用いて、障害物を認識してもよい。
明るさ推定部54は、走行画像データに基づいて車両16及びマーカ14の周囲の明るさを推定し、マーカIDに対応付けられる明るさ推定結果を生成する。
ソナー44は、車両16の前方及び後方等に備えられ、車両16の周辺の物体までの距離を検出する。なお、ソナー44は、マーカ14の検出を阻害する障害物を検出する障害物検出手段としての機能も有してもよい。
自動駐車ECU46は、AVPローカル管制装置22から送信された走行ルートデータや地図データ、カメラECU42によるマーカ14の認識結果、ソナー44による検出結果、及びその他各種通信機能を介して取得した情報(データ)に基づいて、車両16を走行ルートデータで示される駐車スペース18まで自動運転させる。
通信機48は、他の装置とデータの送受信を無線通信により行う。本実施形態の通信機48は、カメラECU42による画像認識結果、検出済マーカIDリスト、明るさ推定結果、及び車両16の走行状態を示すデータ等をAVPローカル管制装置22へ送信すると共に、AVPローカル管制装置22からの走行ルートデータ及び地図データ等を受信する。
本実施形態の車両16は、マーカ認識部50によって読み取られた検出済マーカIDリストと自車位置の推定結果とを対応付けてAVPローカル管制装置22へ送信する。図4は、車両16によって実行される検出済マーカIDリストと自車位置の推定結果とを送信する処理(以下「自車位置送信処理」という。)の流れを示すフローチャートである。自車位置送信処理は、車両16が備える記録媒体に格納されたプログラムによって実行される。なお、このプログラムが実行されることで、プログラムに対応する方法が実行される。
なお、自車位置送信処理は、AVPローカル管制装置22から送信された走行ルートデータに基づいて、車両16が自動運転を開始すると共に開始される。
まず、ステップS200では、マーカ認識部50が走行画像データからマーカ14を認識する。なお、マーカ認識部50は、認識したマーカ14から対応するマーカIDを読み取り、マーカIDを読み取る毎に検出済マーカIDリストに追加する。
次のステップS202では、地図データと認識したマーカ14とから自動駐車ECU46が自車位置を推定する。なお、自車位置の推定には、車両16が受信したGPS(Global Positioning System)信号が用いられてもよい。
次のステップS204では、走行ルートデータにより示される駐車スペース18に自車が到達したか否かを自動駐車ECU46が判定し、肯定判定の場合はステップ206へ移行する一方、否定判定の場合はステップS200へ戻る。
次のステップS206では、自車位置の推定結果とマーカIDリストとを通信機48がAVPローカル管制装置22へ送信し、本自車位置送信処理を終了する。なお、マーカ認識部50によってマーカ14が認識されたものの、マーカIDが読み取れなかった場合には、当該マーカ14のマーカIDはAVPローカル管制装置22に送信されないこととなる。
次にAVPローカル管制装置22の構成について説明する。
AVPローカル管制装置22は、管制用サーバ60、ディスプレイ62、及びキーボードやマウス等の入力装置64を備える情報処理装置であり、車両16や駐車場機器20から送信される各種データに基づいて、車両16の位置及び走行状態、並びに駐車場12の状態を把握する。このため、AVPローカル管制装置22は、駐車場12を示す地図データ、マーカ14毎のマーカID、及び駐車場12に対する車両16の駐車状態等を記憶している。
管制用サーバ60は、走行ルート導出部70、マーカ判定部72、照明判定部74、判定結果出力部78、及び通信機80を備える。管制用サーバ60が提供する手段や機能は、実質的な記録媒体に記憶されたソフトウェア及びそれを実行するコンピュータ、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの組合せによって提供することができる。例えば、管制用サーバ60が提供する手段や機能がハードウェアである電子回路とされる場合、それは多数の論理回路を含むデジタル回路、又はアナログ回路によって提供することができる。
走行ルート導出部70は、車両16から送信される車両16の位置データ、車両16によるマーカ14の検出状態、及び地図データ等に基づいて、空いている駐車スペース18へ車両16を誘導するための走行ルートデータを導出する。
マーカ判定部72は、車載カメラ40によるマーカ14の検出結果、すなわち、マーカ認識部50の認識結果に基づいて、不具合が生じているマーカ14を判定する。これにより、マーカ判定部72は、マーカ14に対するメンテナンスの要否を判断することとなる。
本実施形態のマーカ判定部72は、車載カメラ40によって検出されるべきマーカ14が検出されなかった場合に、検出されなかったマーカ14に不具合が生じていると判定する。より具体的には、本実施形態のマーカ判定部72は、一例として、マーカ認識部50がマーカ14として認識したもののマーカIDを読み取れなかったマーカ14を、不具合が生じているマーカ14と判定する。
照明判定部74は、マーカ14に対する照明不良を判定する。本実施形態の照明判定部74は、一例として、明るさ推定部54による明るさ推定結果や照明装置34から送信される照明状態データに基づいて照明不良を判定する。すなわち、照明判定部74は、照度不足となるマーカ14を特定することとなる。
すなわち、照明判定部74は、明るさ推定結果が示すマーカIDに対応付けられた明るさが所定値以下であれば、当該マーカ14近辺の照明装置34を照明不良が生じている照明装置34として特定する。また、照明判定部74は、照明状態データによって照明異常フラグがオンとされている照明装置34を、照明不良が生じている照明装置34として特定する。
判定結果出力部78は、マーカ判定部72の判定結果や照明判定部74の判定結果を出力する。本実施形態の判定結果出力部78は、一例として、判定結果をディスプレイ62に表示させる。これにより、AVPシステム10の管理員は、AVPシステム10の状態を確認できる。なお、判定結果出力部78による判定結果の出力先は、ディスプレイ62に限らず、駐車場12を走行している他の車両16や駐車場12の管理員が所持する携帯型端末装置等であってもよい。
通信機80は、他の装置とデータの送受信を行う。本実施形態の通信機80は、駐車場機器20及び車両16からの各種情報を受信し、車両16には走行ルートデータや地図データ等を送信する。なお、通信機80は、駐車場機器20とのデータの送受信を有線通信又は無線通信の何れかで行い、車両16とのデータの送受信を無線通信で行う。
図5は、本実施形態のAVPローカル管制装置22で実行されるマーカ不良判定処理の流れを示すフローチャートである。マーカ不良判定処理は、管制用サーバ60が備える記録媒体に格納されたプログラムによって実行される。なお、このプログラムが実行されることで、プログラムに対応する方法が実行される。マーカ不良判定処理は、一例として、駐車場12へ進入した車両16毎に行われる。
まず、ステップS300では、マーカ不良判定処理に用いる各種情報を通信機80が受信する。各種情報とは、車両16から送信される自車位置、検出済マーカIDリスト、明るさ推定結果、及び障害物位置データや、駐車場機器20から送信される照明状態データである。なお、車両16は、マーカ不良判定処理に用いる情報を所定の駐車スペース18に到達したタイミングでAVPローカル管制装置22に送信してもよい。
次のステップS302では、車両16の走行ルート上から車両16によって検出可能と予想されるマーカ14(以下「検出予想マーカ」という。)のマーカIDをマーカ判定部72が抽出する。抽出された複数の検出予想マーカはリスト化(以下「検出予想マーカIDリスト」という。)とされる。
次のステップS304では、障害物位置データに基づいて、マーカ14と車両16との間における障害物の有無をマーカ判定部72が判定し、肯定判定(障害物あり)の場合はステップS306へ移行し、否定判定(障害物なし)の場合はステップS308へ移行する。より具体的には、マーカ判定部72は、障害物位置データと検出予想マーカIDリストとに基づいて、車両16と障害物とマーカ14とが直線状に位置するか否かを判定することで、車両16(車載カメラ40)に対して障害物によって死角となるマーカ14が存在の有無を判定する。
ステップS306では、障害物によって車両16から認識不可となるマーカ14のマーカIDをマーカ判定部72が特定する。
ステップS308では、明るさ推定結果及び照明状態データに基づいて、照明不良とされる照明装置34が存在するか否かを照明判定部74が判定し、肯定判定の場合はステップS310へ移行し、否定判定の場合はステップS312へ移行する。具体的には、明るさ推定結果が所定の明るさ以下となるマーカ14の位置に対応する照明装置34や照明異常フラグがオンとされた照明装置34に不良が生じているとされる。
ステップS310では、照明不良の照明装置34を照明判定部74が特定する。
次のステップS312では、認識不可のマーカ14が存在するか否かをマーカ判定部72が判定し、肯定判定の場合はステップS314へ移行し、否定判定の場合はステップS316へ移行する。具体的には、マーカ判定部72は、検出済マーカIDリストと検出予想マーカIDリストとを照合し、検出予想マーカIDリストとに含まれているものの検出済マーカIDリストに含まれていないマーカIDのマーカ14を抽出する。そして。マーカ判定部72は、抽出したマーカ14のうち、障害物の死角に位置するとされたマーカ14及び照明不良とされた照明装置34に対応するマーカ14に該当しないマーカ14を認識不可のマーカ14、すなわち、不具合が生じているマーカ14とする。
ステップS314では、認識不可のマーカ14をマーカ判定部72が特定する。
次のステップS316では、判定結果出力部78が、認識不可のマーカ14、障害物の位置、及び照明不良の照明装置34を示す画像をディスプレイ62に表示させ、ステップ300へ戻る。なお、管制用サーバ60は、不具合が生じているマーカ14、障害物の除去が必要な位置、不具合が生じている照明装置34に対して、メンテナンスの必要性を示すメンテナンス必要フラグをオンとする。
以上説明したマーカ不良判定処理によって、車両16の走行を誘導するための複数のマーカ14のうち、メンテナンスを要するマーカ14を簡易に特定できる。また、ステップS304からステップS312で示されるように、マーカ不良判定処理は、車両16によるマーカ14の認識不良(認識ロスト)を、マーカ14そのものの不良、障害物による影響、及び照明装置34の不良に切り分けて判定可能である。
そして、駐車場12の管理員は、マーカ不良判定処理による判定結果に基づくディスプレイ62の表示を確認すると、不具合が生じているマーカ14に対するメンテナンスや、障害物の除去、不具合が生じている照明装置34に対するメンテナンスを行う。なお、マーカ14に対するメンテナンスは、例えば、マーカ14に生じた汚れの除去やマーカ14の貼り直し又は塗り直し等である。照明装置34に対するメンテナンスは、照明装置34の修理等である。管理員は、メンテナンスの実施後にメンテナンスの終了を、入力装置64を介して管制用サーバ60に入力する。これにより、メンテナンスが終了した対象を示すメンテナンス必要フラグがオフとなり、正常状態に復帰する。
また、不具合が生じているマーカ14、障害物の位置、及び照明不良の照明装置34は、不良データとして管制用サーバ60が備える記憶手段に記憶される。そして、走行ルート導出部70は、次回以降の走行ルートの導出において、不具合が生じているマーカ14を用いないように車両16の走行ルートを不良データも用いて導出する。これにより、AVPシステム10による車両16の自動走行の安全性がより高くなる。
なおこれに限らず、走行ルート導出部70は、不具合が生じているマーカ14だけでなく、障害物が存在する位置及び照明不良の照明装置34が存在する位置を車両16が走行しないように走行ルートを導出してもよい。
また、管制用サーバ60は、駐車場12を走行している他の車両16へ不良データを送信してもよい。不良データを受信した他の車両16は、不具合が生じているマーカ14等を用いて走行しないように自車の走行ルートを不良データに基づいて修正する。
(第2実施形態)
図6は、本実施形態に係るAVPシステム10の電気的構成を示す機能ブロック図である。なお、図6における図2と同一の構成部分については図2と同一の符号を付して、その説明の一部又は全部を省略する。
本実施形態のAVPシステム10は、第1実施形態でAVPローカル管制装置22に備えられていたマーカ判定部72、照明判定部74、判定結果出力部78、及び走行ルート導出部70を車両16に備える。すなわち、車両16は、マーカ判定部172、照明判定部174、判定結果出力部178、及び走行ルート導出部170を備える。また、駐車場機器20が備える照明不良判定装置38による判定結果は、直接又はAVPローカル管制装置22を介して車両16に送信される。
これにより、マーカ不良判定処理も車両16で実行されることとなる。また、本実施形態のマーカ不良判定処理は、車両16が備える記録媒体に格納されたプログラムによって実行される。このプログラムは、いわゆるアプリケーションとして車両16に配信等されてもよい。
なお、車両16が備えるマーカ判定部172、照明判定部174、判定結果出力部178、及び走行ルート導出部170の各機能は、各々上述したマーカ判定部72、照明判定部74、判定結果出力部78、及び走行ルート導出部70と同様なため、以下ではこれらと異なる機能のみを説明する。
判定結果出力部178は、マーカ不良判定処理による判定結果(不良データ)をAVPローカル管制装置22に送信し、AVPローカル管制装置22は不良データをディスプレイ62に表示させる。また、判定結果出力部178は、不良データを直接又はAVPローカル管制装置22を介して他の車両16へ送信する。
走行ルート導出部170は、車両16が駐車場12に進入する前にAVPローカル管制装置22から配信された地図データと駐車スペース18に対する車両16の駐車状況とに基づいて自車の走行ルートを導出する。また、走行ルート導出部170は、他の車両16からの不良データを受信した場合に、導出した走行ルートを不良データに基づいて修正する。なお、走行ルート導出部170は、車両16に備えられずに、第1実施形態のようにAVPローカル管制装置22に備えられてもよい。
(第3実施形態)
図7は、本実施形態に係るAVPシステム10の電気的構成を示す機能ブロック図である。なお、図7における図2と同一の構成部分については図2と同一の符号を付して、その説明の一部又は全部を省略する。
本実施形態のAVPシステム10は、駐車場機器20が備える監視カメラ32がマーカ14の検出手段、及び障害物の検出手段として機能する。また、本実施形態のAVPシステム10は、第1実施形態で車両16に備えられていたマーカ認識部50、障害物認識部52、及び明るさ推定部54をAVPローカル管制装置22が備える。すなわち、AVPローカル管制装置22は、マーカ認識部150、障害物認識部152、及び明るさ推定部154を備える。また、駐車場機器20は、監視カメラ32が取得した監視画像データを照明不良判定装置38による判定結果である照明状態データと共にAVPローカル管制装置22に送信する。
なお、AVPローカル管制装置22が備えるマーカ認識部150、障害物認識部152、及び明るさ推定部154の各機能は、各々上述したマーカ認識部50、障害物認識部52、及び明るさ推定部54と同様なため、以下ではこれらと異なる機能のみを説明する。
マーカ認識部150は、監視カメラ32が取得した監視画像データからマーカ14を認識する。
障害物認識部152は、車載カメラ40によるマーカ14の撮影を阻害する障害物を監視画像データから認識する。なお、障害物認識部152は、車両16が備えるソナー44による検出結果を用いて、障害物を認識してもよい。
明るさ推定部154は、監視画像データに基づいてマーカ14の周囲の明るさを推定する。
以上、本発明を、上記実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更又は改良を加えることができ、該変更又は改良を加えた形態も本発明の技術的範囲に含まれる。
上記実施形態では、マーカIDを読み取れなかったマーカ14を不具合が生じているマーカ14と判定する形態について説明したが、本発明は、これに限定されるものではない。例えば、本来表示されるべき位置にマーカ14が検出されたか否かを示すマーカ有無信号や、検出したマーカ14の認識度(信頼度)、マーカ14の色(色相や明度、彩度等)が適切な範囲であるか否か等によってマーカ14の不具合が判定されてもよい。
上記実施形態では、照明不良判定装置38を備える形態について説明したが、本発明は、これに限定されるものではなく、照明不良判定装置38が備えられなくてもよい。この形態の場合、照明不良は明るさ推定結果にのみ基づいて判定される。
上記第1実施形態及び第3実施形態では、走行ルートをAVPローカル管制装置22が生成し、車両16へ送信する形態について説明したが、本発明は、これに限定されるものではなく、AVPローカル管制装置22から送信されたデータに基づいて車両16が自車の走行ルートを生成してもよい。
また、上記実施形態で説明した処理の流れも一例であり、本発明の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
10・・・AVPシステム、12・・・駐車場、14・・・マーカ、16・・・車両、
40・・・車載カメラ、22・・・AVPローカル管制装置、
70・・・走行ルート導出部、72・・・マーカ判定部、74・・・照明判定部、
78・・・判定結果出力部

Claims (10)

  1. 駐車場(12)に表示されている複数のマーカ(14)を用いて車両(16)の走行を誘導する自動駐車システム(10)であって、
    前記マーカを検出するマーカ検出手段(40)と、
    前記マーカ検出手段の検出結果に基づいて、不具合が生じている前記マーカを判定するマーカ判定手段(72)と、
    前記マーカ判定手段の判定結果を出力する出力手段(78)と、
    を備える自動駐車システム。
  2. 前記マーカ判定手段は、前記マーカ検出手段によって検出されるべき前記マーカが検出されなかった場合に、検出されなかった前記マーカに不具合が生じていると判定する、請求項1記載の自動駐車システム。
  3. 前記マーカ判定手段の判定結果に基づいて、不具合が生じている前記マーカを用いないように前記車両の走行ルートを導出する走行ルート導出手段(70)を備える、請求項1又は請求項2記載の自動駐車システム。
  4. 前記マーカに対する照明不良を判定する照明判定手段(74)を備え、
    前記出力手段は、前記マーカ判定手段の判定結果と共に前記照明判定手段の判定結果を出力する、
    請求項1から請求項3の何れか1項記載の自動駐車システム。
  5. 前記マーカの検出を阻害する障害物を検出する障害物検出手段(40)を備え、
    前記マーカ判定手段は、前記障害物検出手段の検出結果に基づいて、前記マーカと前記車両との間における前記障害物の有無を判定する、
    請求項1から請求項4の何れか1項記載の自動駐車システム。
  6. 前記マーカ検出手段が前記車両に備えられ、
    前記マーカ判定手段及び前記出力手段が前記車両外の情報処理装置(22)に備えられる、
    請求項1から請求項5の何れか1項記載の自動駐車システム。
  7. 前記マーカ検出手段、前記マーカ判定手段、及び前記出力手段が前記車両に備えられる、請求項1から請求項5の何れか1項記載の自動駐車システム。
  8. 前記マーカ検出手段が前記駐車場に設置され、
    前記マーカ判定手段と前記出力手段とが前記車両外の情報処理装置に備えられる、
    請求項1から請求項5の何れか1項記載の自動駐車システム。
  9. 駐車場に表示されている複数のマーカを用いて車両の走行を誘導する自動駐車システムにおけるマーカ不具合判定方法であって、
    前記マーカを検出する第1工程と、
    前記第1工程の検出結果に基づいて、不具合が生じている前記マーカを判定する第2工程と、
    前記第2工程の判定結果を出力する第3工程と、
    を有するマーカ不具合判定方法。
  10. 駐車場に表示されている複数のマーカを用いて車両の走行を誘導する自動駐車システムが備えるコンピュータを、
    前記マーカを検出するマーカ検出手段と、
    前記マーカ検出手段の検出結果に基づいて、不具合が生じている前記マーカを判定するマーカ判定手段と、
    前記マーカ判定手段の判定結果を出力する出力手段と、
    して機能させるためのマーカ不具合判定プログラム。
JP2020010538A 2020-01-27 2020-01-27 自動駐車システム、マーカ不具合判定方法、及びマーカ不具合判定プログラム Active JP7318545B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020010538A JP7318545B2 (ja) 2020-01-27 2020-01-27 自動駐車システム、マーカ不具合判定方法、及びマーカ不具合判定プログラム
US17/157,665 US11727804B2 (en) 2020-01-27 2021-01-25 Method and program product for determining whether there is problem in recognition of marker
DE102021101677.0A DE102021101677A1 (de) 2020-01-27 2021-01-26 Verfahren und Programmprodukt für ein Bestimmen, ob es ein Problem bei einer Erkennung einer Markierung gibt

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020010538A JP7318545B2 (ja) 2020-01-27 2020-01-27 自動駐車システム、マーカ不具合判定方法、及びマーカ不具合判定プログラム

Publications (2)

Publication Number Publication Date
JP2021117726A true JP2021117726A (ja) 2021-08-10
JP7318545B2 JP7318545B2 (ja) 2023-08-01

Family

ID=76753771

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020010538A Active JP7318545B2 (ja) 2020-01-27 2020-01-27 自動駐車システム、マーカ不具合判定方法、及びマーカ不具合判定プログラム

Country Status (3)

Country Link
US (1) US11727804B2 (ja)
JP (1) JP7318545B2 (ja)
DE (1) DE102021101677A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7468556B2 (ja) 2022-02-17 2024-04-16 トヨタ自動車株式会社 移動体支援システム及び移動体支援方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114419924B (zh) * 2022-03-28 2022-06-14 穗企通科技(广州)有限责任公司 一种基于智慧城市的ai应用控制管理系统
DE102022107253A1 (de) * 2022-03-28 2023-09-28 Valeo Schalter Und Sensoren Gmbh Verfahren, computerprogrammprodukt, parkassistenzsystem und gebäude

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002236870A (ja) * 2001-02-09 2002-08-23 Denso Corp 光学的情報読取装置
JP2005018649A (ja) * 2003-06-27 2005-01-20 Omron Corp 2次元コードの読取方法および2次元コード読取装置
JP2017117188A (ja) * 2015-12-24 2017-06-29 Kyb株式会社 車両誘導装置及び車両誘導装置を備えた車両誘導システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6302636B2 (ja) 2013-08-23 2018-03-28 Kyb株式会社 駐車誘導装置
KR101795151B1 (ko) * 2015-10-05 2017-12-01 현대자동차주식회사 주차안내 장치 및 방법
JP6680170B2 (ja) * 2016-09-30 2020-04-15 株式会社デンソー 運転支援装置及び運転支援方法
US11136022B2 (en) * 2018-05-29 2021-10-05 Hitachi Automotive Systems, Ltd. Road marker detection method
JP6984555B2 (ja) 2018-07-10 2021-12-22 トヨタ自動車株式会社 サーバ、車両および充電情報提供方法
US11604464B2 (en) * 2018-10-30 2023-03-14 Here Global B.V. Virtual valet
JP7246167B2 (ja) * 2018-11-14 2023-03-27 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
KR20190091419A (ko) * 2019-07-17 2019-08-06 엘지전자 주식회사 자율주행 차량의 제어방법 및 이를 위한 제어장치
KR102239277B1 (ko) * 2019-08-09 2021-04-12 엘지전자 주식회사 자율 주행 시스템에서 차량의 무선 통신을 위한 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002236870A (ja) * 2001-02-09 2002-08-23 Denso Corp 光学的情報読取装置
JP2005018649A (ja) * 2003-06-27 2005-01-20 Omron Corp 2次元コードの読取方法および2次元コード読取装置
JP2017117188A (ja) * 2015-12-24 2017-06-29 Kyb株式会社 車両誘導装置及び車両誘導装置を備えた車両誘導システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7468556B2 (ja) 2022-02-17 2024-04-16 トヨタ自動車株式会社 移動体支援システム及び移動体支援方法

Also Published As

Publication number Publication date
US20210233404A1 (en) 2021-07-29
DE102021101677A1 (de) 2021-07-29
US11727804B2 (en) 2023-08-15
JP7318545B2 (ja) 2023-08-01

Similar Documents

Publication Publication Date Title
JP2021117726A (ja) 自動駐車システム、マーカ不具合判定方法、及びマーカ不具合判定プログラム
US20190287400A1 (en) Method, device and system for parking space navigation
KR100796266B1 (ko) 주차 관제 시스템
JP2644844B2 (ja) 分散型画像認識システム
JP6971020B2 (ja) 異常検出装置および異常検出方法
JP6707887B2 (ja) 車両用装置
CN102568236A (zh) 识别交通标志并将其与交通标志信息比较的方法和装置
CN109284801B (zh) 交通指示灯的状态识别方法、装置、电子设备及存储介质
CN103065496A (zh) 一种基于地磁的停车场车辆循迹定位管理系统及方法
US20190122050A1 (en) Wide area parking spot identification
KR100838277B1 (ko) 차량 탑재형 거주자 우선지정 주차관리시스템 및 그운영방법
JP2020506387A (ja) より高度に自動化された、例えば、高度自動化車両(haf)をデジタル式位置特定マップで位置特定するための方法
US20210375135A1 (en) Method for indicating parking position and vehicle-mounted device
JP2001291194A (ja) 駐車場混雑度判定システム
CN113362610B (zh) 识别违规交通参与对象的方法、系统和计算机可读存储介质
JP2019507933A (ja) 車両用インフラ検出装置、信号の発生方法および修理情報の提供方法
KR20120014095A (ko) 선로 영상을 이용한 열차 운행 종합 제어 시스템 및 그 제어방법
JPH0991591A (ja) 駐車場誘導システム
JP2005134941A (ja) 緊急車両の走行支援システム
US11414069B1 (en) Method for parking guidance and parking guidance system
KR100462362B1 (ko) 무선 주차 관제 시스템
JP2005332005A (ja) 駐車場における車両管理システム
JP6220322B2 (ja) ホーム検知方法およびホーム検知装置ならびに列車の開扉支援装置
KR20150069061A (ko) Rfid를 이용한 열차 운전정보 안내 시스템 및 방법
JP6942913B1 (ja) 自動車

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220413

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230620

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230703

R151 Written notification of patent or utility model registration

Ref document number: 7318545

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151