JP2013216305A - 車両の駐車区画認識方法 - Google Patents

車両の駐車区画認識方法 Download PDF

Info

Publication number
JP2013216305A
JP2013216305A JP2012155840A JP2012155840A JP2013216305A JP 2013216305 A JP2013216305 A JP 2013216305A JP 2012155840 A JP2012155840 A JP 2012155840A JP 2012155840 A JP2012155840 A JP 2012155840A JP 2013216305 A JP2013216305 A JP 2013216305A
Authority
JP
Japan
Prior art keywords
parking
slot
type
corner
intersection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012155840A
Other languages
English (en)
Other versions
JP6074183B2 (ja
Inventor
Dae Joong Yoon
大 仲 尹
Jae Seob Choi
在 燮 崔
Ho Gi Jung
昊 基 鄭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Industry University Cooperation Foundation IUCF HYU
Kia Corp
Original Assignee
Hyundai Motor Co
Kia Motors Corp
Industry University Cooperation Foundation IUCF HYU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Kia Motors Corp, Industry University Cooperation Foundation IUCF HYU filed Critical Hyundai Motor Co
Publication of JP2013216305A publication Critical patent/JP2013216305A/ja
Application granted granted Critical
Publication of JP6074183B2 publication Critical patent/JP6074183B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06Automatic manoeuvring for parking
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/14Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/141Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
    • G08G1/143Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces inside the vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/14Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/14Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/145Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas
    • G08G1/147Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas where the parking area is within an open public zone, e.g. city centre
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/002Special television systems not provided for by H04N7/007 - H04N7/18

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】 車両のカメラ映像を通じて使用者の指示や入力なしに自動的に多様なparking slot markingに適用可能な車両の駐車区画認識方法を提供する。
【解決手段】本発明は、駐車区画が含まれた映像で角になった角部分を捕捉する角捕捉段階、捕捉された角部分のうち隣接する角部分を組合わせて交差地点を捕捉する交差捕捉段階、捕捉された交差地点を組合わせて駐車区画の端部枠であるスロットを捕捉するスロット捕捉段階、捕捉されたスロットから駐車区画のタイプを選定するタイプ選定段階、及び上記選定されたタイプに基づいて最終スロットを選定する最終選定段階、を含むことを特徴とする。
【選択図】図1

Description

本発明は、車両の駐車区画の認識方法に係り、より詳しくは、車両カメラの映像から駐車区画を自動的に抽出して認識する車両の駐車区画認識方法に関する。
最近、自動駐車に関する使用者の関心が増加するに伴い、これについての研究が業界及び学界で活発に進められている。このような自動駐車システムは、target position designation、path planning、path trackingのように3つのcomponentから構成され、このうちtarget position designationに使用される方法は、user−interface基盤、infrastructure基盤、free−space基盤、parking slot marking基盤のように4つのcategoryに分類することができる。現在量産された製品は、大部分user−interface基盤の方法か、超音波センサーを使用したfree−space基盤の方法を使用している。
User interface基盤の方法は、具現が簡単で、自動認識失敗時に補正用として有用であるが、使用者が毎回操作しなければならない不便さがある。 また、ultrasonic sensorを使用したfree−space基盤の方法は、縦列駐車の状況では実用的なsolutionを提供するものと報告されているが、並列駐車の状況で失敗の可能性が高く周辺車両の姿勢によって斜めに目標駐車位置を過って設定する問題点がある。
本発明は、車両のカメラ映像からparking slot markingをfull−automaticで認識して、目標駐車区画を設定することを手助けする方法を提案する。駐車区画表示認識基盤の方法は、他の接近法に比べて次のような長所を有する。
1)user interface基盤の方法と結合して、その短所である運転者の操作の程度を最小にすることができる。2)free−space基盤の方式は、周辺車両の姿勢に依存して駐車位置を設定するので、目標位置が斜めに設定されることがあり得るが、parking slot marking認識方法は、駐車区画線に正しく整列するように目標を設定することができる。3)scanning laser radar、short range radar、stereo camera基盤の方法は、別のセンサーを追加しなければならないが、parking slot marking認識方法は、既存の後方カメラを活用することができる。4)Ultrasonic sensorを使用する方法は、センシングの限界によって並列駐車の状況で失敗の可能性が高いが、parking slot marking認識方法は、並列駐車の状況で効果的に適用可能である。5)monocular motion stereo基盤の方法は、多くの演算量を必要とするが、parking slot marking認識方法は、比較的少ない演算量で具現が可能である。
一方、parking slot marking認識基盤の方法は、parking slot markingがある時にだけ使用できるという短所があるが、運転者が混雑したurban situationで主に駐車について難しさを感じ、このような状況では大部分parking slot markingが存在することを考慮したとき、非常に有用な接近方法であるということができる。このようなparking slot marking基盤の方法は、parking slot markingを描く時、infrastructureを設置しない以上image sensorでのみ認識可能という特徴を有する。
Parking slot marking基盤の方法は、parking slotの情報について使用者の入力を必要とするsemi−automatic方法と、使用者の入力を必要としないfull−automatic方法に分類できる。Semi−automatic方法は、使用者が駐車空間について付加情報を入力するのでfull−automatic方法より速度及び認識率の側面でより優秀であり、自動認識システムが失敗した場合にbackup toolとしても使用価値が高い。
一部では、使用者が駐車をしたい区域内部の一点をタッチスクリーンで押せば、その情報を基盤にdirectional intensity gradientを使用してmarking line−segmentを認識することにより、parking slotを認識する方法を提案している。しかしこの方法は、一種類のparking slot markingにのみ適用可能という短所を有する。 したがって、これを補完するために、使用者が願う駐車区画の入口を示す二つの交差地点の初期位置をタッチスクリーンで入力した時、binarizationを通じて得たparking slot marking領域のskeletonを、template matchingすることによりparking slotを認識する方法が提案された。
Full−automatic方法も、各種開発されている。一部では、parking slot markingが特定の色を有するという特性を使用してrestricted Coulomb energy neural−networkを基盤としたcolor segmentation方法で、 parking slot markingに属したピクセルを抽出してparking slotを認識する方法を提案している。
そして、binocular stereo cameraを使用して車両後方のvertical edgeに対する3D reconstructionを実施した後、ground surfaceのhomographyを満足するピクセルのみを使用してparking slot marking 認識を実施している。
一方、parking slot markingがfixed widthを有した平行な二直線とこれに垂直な一直線から構成されるという仮定の下に、 bird’s−eye view edge imageのHough spaceをfilteringすることによりparking slotを認識する方法も提案されている。これは、車両が駐車のために後進を始める直前までvehicle positionとdeflection angleを基盤としてvirtual target positionを持続的に計算した後、improved random sample consensus アルゴリズムによってoutlierを除去し、straight lineを検出する方法を提案している。しかし、このような既存のfull−automatic方法は、共通してparking slot markingの種類を一種類と仮定するという重要な限界を有する。
したがって、このようなfull−automatic方法の短所を改善するために、本発明では多様なparking slot markingに適用可能なfull−automatic parking slot marking認識方法を提案した。提案された方法は、多様なtypeのparking slot markingがhierarchical tree structureから構成されているという事実を基盤とする。各typeのparking slot markingは、多数のslotから構成されており、単一slotは、二つの交差地点からなり、単一交差地点は、二つのcornerの組合から構成される。
特開2011−235677号公報
本発明は、このような問題点を解決するためになされたものであって、車両のカメラ映像を通じて使用者の指示や入力なしに自動的に多様なparking slot markingに適用可能な車両の駐車区画認識方法を提供することにその目的がある。
本発明は、駐車区画が含まれた映像で角になった角部分を捕捉する角捕捉段階、捕捉された角部分のうち隣接する角部分を組合わせて交差地点を捕捉する交差捕捉段階、捕捉された交差地点を組合わせて駐車区画の端部枠であるスロットを捕捉するスロット捕捉段階、捕捉されたスロットから駐車区画のタイプを選定するタイプ選定段階、及び前記選定されたタイプに基づいて最終スロットを選定する最終選定段階、を含むことを特徴とする。
駐車区画が含まれた映像を車両に設けられたカメラからバードアイビュー(Bird eye view)形式で抽出する映像抽出段階をさらに含むことを特徴とする。
前記映像抽出段階は、車両のカメラから抽出されたフィッシュアイビュー(Fish eye view)形式の映像をバードアイビュー形式に変換することを特徴とする。
前記角捕捉段階は、駐車区画の駐車線幅より小さな半径の円で角部分が含む弧の角度によって、捕捉された角部分の種類を区別することを特徴とする。
前記角捕捉段階は、角部分を45度、60度、90度、120度、135度、270度のうち選択された複数の角度の種類に区分することを特徴とする。
前記交差捕捉段階は、交差地点をT型、L型、Y型、I型の種類に区分することを特徴とする。
前記角捕捉段階は、駐車区画の駐車線と道路の境界を明るさの変化に従ってベクトルで表現することを特徴とする。
前記交差捕捉段階は、角部分の種類、駐車線と道路の境界のベクトルの方向性及び隣接する角部分間の隔離距離を土台に、交差地点をT型、L型、Y型、I型の種類に区分することを特徴とする。
前記交差捕捉段階は、角部分が隣接する一対として捕捉されない場合にも、単一の角部分についての種類及び駐車線と道路の境界のベクトルの方向性によって交差地点の種類を推定することを特徴とする。
前記交差捕捉段階は、駐車線と道路の境界ベクトルの方向性によって交差地点をベクトルで表現し、前記スロット捕捉段階は、交差地点のベクトル方向によってスロットの方向を判断して、捕捉されたスロットが、駐車区画が始まる地点のスロットであるかを判別することを特徴とする。
前記スロット捕捉段階は、スロットを長方形、平行四辺形の種類に区分することを特徴とする。
前記最終選定段階は、捕捉されたスロットの駐車区画タイプとの類似度、及び明るさ程度によって最終スロットを選定することを特徴とする。
また、本発明は、駐車区画が含まれた映像で角になった角部分を捕捉する角捕捉段階、捕捉された角部分のうち隣接する角部分を組合わせて交差地点を捕捉する交差捕捉段階、捕捉された交差地点を組合わせて駐車区画の端部枠であるスロットを捕捉するスロット捕捉段階、及び捕捉されたスロットの明るさを比較して最終スロットを選定する最終選定段階、を含むことを特徴とする。
また、本発明は、車両カメラの映像から駐車区画の角部分を捕捉し、隣接する角部分を組合わせて交差地点を捕捉し、隣接する交差地点を組合わせて駐車区画の端部枠であるスロットを捕捉し、捕捉されたスロットをあらかじめ設けられた駐車区画のタイプに代入したりスロット間の明るさを比べることにより最終スロットを選定し、これを通じて駐車区画を認識することを特徴とする。
本発明によれば、使用者の入力がなくても自動的にカメラの映像を通じて駐車区画を認識するため、センサー装備が不要で、全自動でシステムを具現することができる。
また、階層構造方式の認識を適用することにより、多様な状況と形状の駐車区画も全て認識することができる長所がある。
本発明の一実施例による車両の駐車区画認識方法の順序図である。 本発明の一実施例による車両の駐車区画認識方法の階層図である。 本発明の一実施例による車両の駐車区画認識方法の認識過程を示した図面である。 本発明の一実施例による車両の駐車区画認識方法の認識過程を示した図面である。 本発明の一実施例による車両の駐車区画認識方法の角部分を示した図面である。 本発明の一実施例による車両の駐車区画認識方法の交差地点を示した図面である。 本発明の一実施例による車両の駐車区画認識方法の交差地点を示した図面である。 本発明の一実施例による車両の駐車区画認識方法のスロットを示した図面である。 本発明の一実施例による車両の駐車区画認識方法の具現例を示した図面である。
以下、添付図面を参照して本発明の望ましい実施例による車両の駐車区画認識方法について詳細に説明する。
図1は、本発明の一実施例による車両の駐車区画認識方法の順序図である。本発明の車両の駐車区画認識方法は、駐車区画が含まれた映像で角になった角部分を捕捉する角捕捉段階S200、捕捉された角部分のうち隣接する角部分を組合わせて交差地点を捕捉する交差捕捉段階S300、捕捉された交差地点を組合わせて駐車区画の端部枠であるスロットを捕捉するスロット捕捉段階S400、捕捉されたスロットから駐車区画のタイプを選定するタイプ選定段階S500、及び上記選定されたタイプに基づいて最終スロットを選定する最終選定段階S600、を含む。
本発明の車両の駐車区画認識方法は、車両カメラの撮影映像を利用するが、例示的には車両の後方カメラを利用することができる。現在後方カメラで抽出する映像は、魚眼レンズを用いたフィッシュアイビュー映像であり、これをまずバードアイビューに転換する。このために本発明の車両の駐車区画認識方法は、駐車区画が含まれた映像を車両に設けられたカメラからバードアイビュー(Bird eye view)形式で抽出する映像抽出段階S100、をさらに含むことができる。
そして、映像抽出段階は、車両のカメラから抽出されたフィッシュアイビュー(Fish eye view)形式の映像をバードアイビュー形式に変換して、まるでの上から眺めたように駐車区画を示し、これを正確に認識するようにするものである。
車両の駐車区画は、大きく角部分、交差地点、スロット、駐車区画から構成されるとみることができる。よって、本発明の車両の駐車区画認識方法では、まず角部分を認識し、その後交差部分を認識し、そしてスロットを認識するようにする。その後、上位段階である駐車区画を決定し、その基盤となるモデルに合わせて最も正確なスロットを検出するようにすることにより、早く正確な駐車区画認識の結果を得るようにする。
図2は、本発明の一実施例による車両の駐車区画認識方法の階層図であり、最上位の駐車区画タイプは、複数のスロットから構成され、そのスロットは交差地点から構成され、交差地点は角部分からなる。
まず角捕捉段階S200では、駐車区画が含まれた映像で角になった角部分を捕捉し、交差捕捉段階S300は捕捉された角部分のうち隣接する角部分を組合わせて交差地点を捕捉する。そしてスロット捕捉段階S400は、捕捉された交差地点を組合わせて駐車区画の端部枠であるスロットを捕捉し、捕捉されたスロットから駐車区画のタイプを選定するタイプ選定段階S500、及び上記選定されたタイプに基づいて最終スロットを選定する最終選定段階S600、を行う。
図3は、本発明の一実施例による車両の駐車区画認識方法の認識過程を示した図面であり、駐車区画40は、スロットと交差地点20及びこれをなす一対の角部分10から構成され、本発明は角部分10から始めて最終的には駐車区画40を認識するようにするものである。
図4は、多数の駐車区画の種類を示したものであり、本発明では多様な駐車区画タイプのstructureを分析して、これらがタイプ−スロット−交差地点−角部分からなったhierarchical tree structureから構成されていることを前提とする。本発明では、図4で示すように、駐車区画のタイプのうち最も頻繁に存在する4種に対して対応する方法を提案する。
各駐車区画のタイプは、“(a)rectangular type、(b)uneven rectangular type、(c)diamond type、(d)open rectangular type”と命名することができる。4種のタイプの駐車区画は、図4の(e)ないし(i)に示すように5種類のスロットから構成され、単一スロットは2つの交差地点の互いに異なる組合から構成される。この図では、それぞれのスロットを示し、各スロットを構成する交差地点のpairを共に赤色で表示して示す。
図4で(a)は、rectangular typeを構成し、(b)はuneven rectangular typeを構成し、(c)と(d)はそれぞれdiamond typeとopen rectangular typeを構成する。図4の(e)〜(i)に示す5種のスロットは、それぞれTT−スロット、TL−スロット、T′T′−スロット、YY−スロット、II−スロットと命名した。
具体的に、本発明の車両の駐車区画認識方法は、角捕捉段階S200は、駐車区画の駐車線の幅より小さな半径の円で角部分が含む弧の角度によって捕捉された角部分の種類を区別し、角部分を60度、90度、120度、270度の種類に区分できる。また、角捕捉段階S200は、駐車区画の駐車線と道路の境界を明るさの変化に応じてベクトルで表現することができる。
これによって、交差捕捉段階S300は、交差地点をT型、L型、Y型、I型の種類に区分できる。
具体的に、スロットの交差地点を構成する角部分は、中心で駐車線幅より小さな半径で円を描いた時、ground planeに該当する弧の角度によって、図5のように4種類に分類される。この図で(a)−(d)に示すコーナーは、それぞれground planeに該当する弧の角度が60゜、90゜、120゜、270゜をなし、これによって60゜−角部分、90゜−角部分、120゜−角部分、and 270゜−角部分と命名することができる。勿論、このような角部分の種類には45゜、135゜等の角度も含むことができる。
4種類の角部分のtemplateは、駐車ラインの明るさが255で、ground planeの明るさが0であるidealな駐車区画状況を仮定して生成した。このような状況で、図5に示す通り、60゜−角部分のcircular intensity profileは、60゜は明るさ0を、残りの300゜は明るさ255を有し、90゜−角部分の場合には90゜は明るさ0を、残り270゜は明るさ255を有し、120゜−角部分の場合には120゜は明るさ0を、残り240゜は明るさ255を有し、270゜−角部分の場合には、270゜は明るさ0を、残り90゜は明るさ255を有する。
すなわち、各角部分の場合、時計方向に中心を基準としてスキャンする場合、明るさの差を示す角度の程度によって各角部分の種類を検出することができる。
図6、図7は、本発明の一実施例による車両の駐車区画認識方法の交差地点を示した図面であり、駐車区画のスロットを構成する交差地点は、これを構成する角部分の種類及び方向によって4種類に分類される。各交差地点を構成する角部分の種類と方向は、図6の通りである。Green、red、blue、blackで描かれた線分の対は、それぞれ60゜−角部分、90゜−角部分、120゜−角部分、270゜−角部分を意味し、circleで終わる線分とそうではない線分は、それぞれW2BTD(ホワイトからブラックに明るさが変わるベクトル)と、B2WTD(ブラックからホワイトに明るさが変わるベクトル)を意味し、二つの線分の交差点は角部分の位置を意味する。また、点線矢印は交差地点の方向を意味し、その開始点は交差地点の位置を意味する。
図7は、このような分析によった各種の交差地点を駐車区画線に示した図面である。
したがって、交差捕捉段階S300は、角部分の種類、駐車線と道路境界のベクトルの方向性、及び隣接する角部分間の隔離距離を土台に交差地点をT型、L型、Y型、I型の種類に区分し、交差捕捉段階S300は、角部分が隣接する一対として捕捉されない場合にも、単一の角部分についての種類及び駐車線と道路境界のベクトルの方向性によって交差地点の種類を推定する。
このために交差捕捉段階S300は、駐車線と道路の境界ベクトルの方向性によって交差地点をベクトルで表現し、スロット捕捉段階S400は、交差地点のベクトル方向によってスロットの方向を判断して捕捉されたスロットが駐車区画が始まる地点のスロットであるかを判別する。
一方、二つの角部分から交差地点が生成されるためには、次のような4つの条件を満足しなければならない。
1)T−交差地点の場合:(1)二つの角部分が全て90゜−角部分(2)二つの角部分の間の距離が駐車線幅だけ離れる(3)角部分#1のW2BTDと角部分#2のB2WTDが一致し、角部分#1のB2WTDと角部分#2のW2BTDが反対(4)coner#1から角部分#2に向かうベクトルは、角部分#1のB2WTDとは反対で、角部分#2のW2BTDとは同一。
2)L−交差地点の場合:(1)角部分#1は90゜−角部分、角部分#2は270゜−角部分(2)二つの角部分の間の距離が駐車線幅の倍だけ離れる(3)角部分#1のW2BTDと角部分#2のB2WTDが一致し、角部分#1の B2WTDと角部分#2のW2BTDが一致(4)coner#1から角部分#2に向かうベクトルは角部分#1のB2WTDと角部分#2のW2BTDと時計方向に45゜差がある。
3)Y−交差地点の場合:(1)角部分#1は60゜−角部分、角部分#2は120゜−角部分(2)二つの角部分の間の距離が駐車線幅だけ離れる(3)角部分#1のB2WTDと角部分#2のW2BTDが反対で、角部分#1のB2WTDと角部分#2のW2BTDが反対(4)coner#1から角部分#2に向かうベクトルは、角部分#1のB2WTDとは反対で、角部分#2のW2BTDとは同一。
4)I−交差地点の場合:(1)二つの角部分が全て270゜−角部分 (2)二つの角部分の間の距離が駐車線幅だけ離れる(3)角部分#1のW2BTDと角部分#2のB2WTDが一致し、角部分#1のB2WTDと角部分#2の W2BTDが反対(4)coner#1から角部分#2に向かうベクトルは角部分#1のB2WTDとは同一で、角部分#2の W2BTDとは反対。
図8は、本発明の一実施例による車両の駐車区画認識方法のスロットを示した図面であり、駐車区画を構成する5種類のスロットは、図8に示すようにこれらを構成する交差地点の形態及び方向によって分類される。この図で赤色の四角形は、二つの交差地点が生成するスロットを意味し、四角形内部の赤色実線で表示された矢印はスロットの方向を意味する。これによって角部分から生成された交差地点二つをcombineすることにより、多様な種類のスロットを検出することができる。
二つの交差地点からスロットを構成する方法は、2つの角部分から交差地点を生成する方法と類似する。このためには、交差地点の3種の情報(形、位置、方向)を使用する。二つの交差地点からスロットが生成されるためには、次の条件を満足しなければならない。
(a)TT−スロットの場合:(1)二つの交差地点が全てT−交差地点(2)二つの交差地点の間の距離が車両の幅だけ離れる(2)二つの交差地点の方向が一致(4)二つの交差地点をつなぐベクトルは、二つの交差地点の方向と垂直。
(b)LT−スロットの場合:(1)交差地点#1はL−交差地点で、交差地点#2はT−交差地点(2)二つの交差地点の間の距離が車両の幅だけ離れる(3)二つの交差地点の方向が垂直か向い合い(4)二つの交差地点をつなぐベクトルはT−交差地点の方向と平行で、L−交差地点の方向と垂直か平行。
(c)T’T’スロットの場合:(1)二つの交差地点が全てT−交差地点(2)二つの交差地点の間の距離が車両の幅だけ離れる(3)二つの交差地点の方向が反対(4)二つの交差地点をつなぐベクトルは二つの交差地点の方向と向い合う。
(d)YY−スロットの場合:(1)二つの交差地点が全てY−交差地点(2)二つの交差地点の間の距離が車両の幅の1/cos30゜倍だけ離れる(3)二つの交差地点の方向が一致(4)二つの交差地点をつなぐベクトルは一交差地点の方向と60゜差があり、他の交差地点と120゜差がある。
(e)II−スロットの場合:(1)二つの交差地点が全てI−交差地点(2)二つの交差地点の間の距離が車両の幅だけ離れる(3)二つの交差地点の方向が一致(4)二つの交差地点をつなぐベクトルは、二つの交差地点の方向と垂直である。
すなわち、スロット捕捉段階S400は、スロットを長方形、平行四辺形の種類に区分し、最終選定段階S600は、捕捉されたスロットの駐車区画タイプとの類似度及び明るさの程度によって最終スロットを選定する。
多数の角部分と交差地点によって検出された多数のスロット候補群のうちで最も明るさが大きいものを代表的なスロットを確定し、このスロットと一致する駐車区画タイプを抽出した後、これに従って駐車区画を最終的に認識する。
このためには、一般的かつ多様な形態の駐車区画タイプをあらかじめ保存しなければならない。
本発明は、多様な種類の駐車区画をfull−automaticで認識する方法を提案する。提案された方法は、駐車区画がタイプ−スロット−交差地点−角部分のlevelからなったhierarchical tree structureでmodelingすることができることを示した。これを基盤に過検出を実施しながらtree structureをbottom−up方向に構成した後、最終設定された駐車区画のタイプを基準にtop−down方式でtree structureを整理し確定する方式を適用することにより、単純な方法で高い検出率を有するアルゴリズムが確保可能である。
そして、提案された方法を多様な駐車区画状況で撮影された191の車両後方映像で評価した結果、既存のsemi−automatic方法より優秀な95.3%の検出率を示し、0.689秒の非常に早い処理速度を示した。
一方、本発明のまた他の車両の駐車区画認識方法は、駐車区画が含まれた映像で角になった角部分を捕捉する角捕捉段階S200、 捕捉された角部分のうち隣接する角部分を組合わせて交差地点を捕捉する交差捕捉段階S300、 捕捉された交差地点を組合わせて駐車区画の端部枠であるスロットを捕捉するスロット捕捉段階S400、及び捕捉されたスロットの明るさを比較して最終スロットを選定する最終選定段階S600、を含む。すなわち、最終選定ではあらかじめ設けられた駐車区画タイプを利用せず、すぐ最も明るいスロットを選定して駐車区画を認識するのである。
また、本発明の車両の駐車区画認識方法は、車両カメラの映像から駐車区画の角部分を捕捉し、隣接する角部分を組合わせて交差地点を捕捉して、隣接する交差地点を組合わせて駐車区画の端部枠であるスロットを捕捉し、捕捉されたスロットをあらかじめ設けられた駐車区画のタイプに代入したりスロット間の明るさを比べることにより最終スロットを選定し、これによって駐車区画を認識するものと表現されることもできる。
以上、本発明に関する好ましい実施形態を説明したが、本発明は前記実施形態に限定されるものではなく、本発明の属する技術分野を逸脱しない範囲での全ての変更が含まれる。
S100 : 映像抽出段階
S200 : 角捕捉段階
S300 : 交差捕捉段階
S400 : スロット捕捉段階
S500 : タイプ選定段階
S600 : 最終選定段階

Claims (14)

  1. 駐車区画が含まれた映像で角になった角部分を捕捉する角捕捉段階、
    捕捉された角部分のうち隣接する角部分を組合わせて交差地点を捕捉する交差捕捉段階、
    捕捉された交差地点を組合わせて駐車区画の端部枠であるスロットを捕捉するスロット捕捉段階、
    捕捉されたスロットから駐車区画のタイプを選定するタイプ選定段階、及び
    前記選定されたタイプに基づいて最終スロットを選定する最終選定段階、
    を含むことを特徴とする車両の駐車区画認識方法。
  2. 駐車区画が含まれた映像を車両に設けられたカメラからバードアイビュー(Bird eye view)形式で抽出する映像抽出段階をさらに含むことを特徴とする請求項1に記載の車両の駐車区画認識方法。
  3. 前記映像抽出段階は、車両のカメラから抽出されたフィッシュアイビュー(Fish eye view)形式の映像をバードアイビュー形式に変換することを特徴とする請求項2に記載の車両の駐車区画認識方法。
  4. 前記角捕捉段階は、駐車区画の駐車線幅より小さな半径の円で角部分が含む弧の角度によって、捕捉された角部分の種類を区別することを特徴とする請求項1に記載の車両の駐車区画認識方法。
  5. 前記角捕捉段階は、角部分を45度、60度、90度、120度、135度、270度のうち選択された複数の角度の種類に区分することを特徴とする請求項4に記載の車両の駐車区画認識方法。
  6. 前記交差捕捉段階は、交差地点をT型、L型、Y型、I型の種類に区分することを特徴とする請求項1に記載の車両の駐車区画認識方法。
  7. 前記角捕捉段階は、駐車区画の駐車線と道路の境界を明るさの変化に従ってベクトルで表現することを特徴とする請求項4に記載の車両の駐車区画認識方法。
  8. 前記交差捕捉段階は、角部分の種類、駐車線と道路の境界のベクトルの方向性及び隣接する角部分間の隔離距離を土台に、交差地点をT型、L型、Y型、I型の種類に区分することを特徴とする請求項7に記載の車両の駐車区画認識方法。
  9. 前記交差捕捉段階は、角部分が隣接する一対として捕捉されない場合にも、単一の角部分についての種類及び駐車線と道路の境界のベクトルの方向性によって交差地点の種類を推定することを特徴とする請求項8に記載の車両の駐車区画認識方法。
  10. 前記交差捕捉段階は、駐車線と道路の境界ベクトルの方向性によって交差地点をベクトルで表現し、
    前記スロット捕捉段階は、交差地点のベクトル方向によってスロットの方向を判断して、捕捉されたスロットが、駐車区画が始まる地点のスロットであるかを判別することを特徴とする請求項8に記載の車両の駐車区画認識方法。
  11. 前記スロット捕捉段階は、スロットを長方形、平行四辺形の種類に区分することを特徴とする請求項1に記載の車両の駐車区画認識方法。
  12. 前記最終選定段階は、捕捉されたスロットの駐車区画タイプとの類似度、及び明るさ程度によって最終スロットを選定することを特徴とする請求項1に記載の車両の駐車区画認識方法。
  13. 駐車区画が含まれた映像で角になった角部分を捕捉する角捕捉段階、
    捕捉された角部分のうち隣接する角部分を組合わせて交差地点を捕捉する交差捕捉段階、
    捕捉された交差地点を組合わせて駐車区画の端部枠であるスロットを捕捉するスロット捕捉段階、及び
    捕捉されたスロットの明るさを比較して最終スロットを選定する最終選定段階、
    を含むことを特徴とする車両の駐車区画認識方法。
  14. 車両カメラの映像から駐車区画の角部分を捕捉し、隣接する角部分を組合わせて交差地点を捕捉し、隣接する交差地点を組合わせて駐車区画の端部枠であるスロットを捕捉し、捕捉されたスロットをあらかじめ設けられた駐車区画のタイプに代入したりスロット間の明るさを比べることにより最終スロットを選定し、これを通じて駐車区画を認識することを特徴とする車両の駐車区画認識方法。
JP2012155840A 2012-04-10 2012-07-11 車両の駐車区画認識方法 Active JP6074183B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120037405A KR101947826B1 (ko) 2012-04-10 2012-04-10 차량의 주차구획 인식방법
KR10-2012-0037405 2012-04-10

Publications (2)

Publication Number Publication Date
JP2013216305A true JP2013216305A (ja) 2013-10-24
JP6074183B2 JP6074183B2 (ja) 2017-02-01

Family

ID=49210003

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012155840A Active JP6074183B2 (ja) 2012-04-10 2012-07-11 車両の駐車区画認識方法

Country Status (5)

Country Link
US (1) US9467645B2 (ja)
JP (1) JP6074183B2 (ja)
KR (1) KR101947826B1 (ja)
CN (1) CN103358993B (ja)
DE (1) DE102012222497A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3654238A1 (en) 2018-11-14 2020-05-20 Clarion Co., Ltd. Image processing device and image processing method
EP3708466A1 (en) 2019-03-11 2020-09-16 Clarion Co., Ltd. Parking assistance device and parking assistance method
JP2022551717A (ja) * 2019-10-12 2022-12-13 東軟睿馳汽車技術(瀋陽)有限公司 駐車スペース及びその方向角検出方法、装置、デバイス及び媒体

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9922258B2 (en) * 2012-11-27 2018-03-20 Clarion Co., Ltd. On-vehicle image processing apparatus
KR20150022436A (ko) * 2013-08-23 2015-03-04 주식회사 만도 주차 제어 장치, 방법 및 시스템
JP6214995B2 (ja) * 2013-10-11 2017-10-18 株式会社東芝 駐車車両検出装置、車両管理システム、制御方法及び制御プログラム
KR102153030B1 (ko) 2013-11-05 2020-09-07 현대모비스 주식회사 주차 지원 장치 및 방법
ES2632599T3 (es) * 2013-12-20 2017-09-14 Nokia Technologies Oy Método y aparato para provocar el envío de una directriz de aparcamiento
KR102176773B1 (ko) 2014-06-11 2020-11-09 현대모비스 주식회사 자동차의 주차시스템
KR102176775B1 (ko) * 2014-07-02 2020-11-09 현대모비스 주식회사 어라운드 뷰 시스템 및 그 동작방법
KR101714131B1 (ko) * 2014-12-26 2017-03-08 현대자동차주식회사 주차구획 인식 장치 및 방법
KR102267562B1 (ko) 2015-04-16 2021-06-22 한국전자통신연구원 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법
DE102015209147A1 (de) 2015-05-19 2016-11-24 Hella Kgaa Hueck & Co. Verfahren zur Parkflächenerkennung
DE102015209154A1 (de) 2015-05-19 2016-11-24 Hella Kgaa Hueck & Co. Verfahren zur Parkflächenlokalisierung
CN104933409B (zh) * 2015-06-12 2018-04-03 北京理工大学 一种基于全景图像点线特征的车位识别方法
CN104916163B (zh) * 2015-06-29 2017-05-03 惠州华阳通用电子有限公司 泊车位检测方法
KR20170016199A (ko) * 2015-08-03 2017-02-13 현대모비스 주식회사 주차 구획 인식 장치 및 그 제어 방법
CN106541944B (zh) * 2016-11-07 2019-03-05 纵目科技(上海)股份有限公司 一种库位检测方法、系统、及移动设备
CN106772389A (zh) * 2016-11-07 2017-05-31 纵目科技(上海)股份有限公司 一种库位检测方法、系统、及移动设备
US10481609B2 (en) * 2016-12-09 2019-11-19 Ford Global Technologies, Llc Parking-lot-navigation system and method
CN107316492B (zh) * 2017-07-25 2020-10-23 纵目科技(上海)股份有限公司 在图像中定位停车位的方法及系统
CN107527017B (zh) * 2017-07-25 2021-03-12 纵目科技(上海)股份有限公司 停车位检测方法及系统、存储介质及电子设备
CN109389644B (zh) * 2017-08-10 2024-02-13 纵目科技(上海)股份有限公司 基于方向梯度增强的车位线检测方法
CN109389013B (zh) * 2017-08-10 2024-02-09 纵目科技(上海)股份有限公司 基于车位主方向及模板响应点的车位组合算法和介质
CN108417044A (zh) * 2018-03-16 2018-08-17 广东容祺智能科技有限公司 一种无人机自动识别室外停车场违规停放系统及其方法
CN109631896B (zh) * 2018-07-23 2020-07-28 同济大学 一种基于车辆视觉和运动信息的停车场自主泊车定位方法
US11288525B2 (en) * 2018-10-31 2022-03-29 Texas Instruments Incorporated Object detection for distorted images
DE102018131106A1 (de) 2018-12-06 2020-06-10 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erkennen eines Parkbereichs für ein Fahrzeug durch separates Erkennen von Elementen einer Parkflächenmarkierung, Recheneinrichtung sowie Fahrassistenzsystem
JP7203587B2 (ja) * 2018-12-14 2023-01-13 株式会社デンソーテン 画像処理装置および画像処理方法
DE102019102561A1 (de) 2019-02-01 2020-08-06 Connaught Electronics Ltd. Verfahren zum Erkennen einer Pflastermarkierung
JP7296768B2 (ja) * 2019-04-22 2023-06-23 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
JP7288793B2 (ja) 2019-04-25 2023-06-08 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
JP2021000958A (ja) * 2019-06-24 2021-01-07 本田技研工業株式会社 駐車支援システム
CN110390306B (zh) * 2019-07-25 2021-08-10 湖州宏威新能源汽车有限公司 直角车位的检测方法、车辆和计算机可读存储介质
US10867192B1 (en) * 2019-08-06 2020-12-15 Black Sesame International Holding Limited Real-time robust surround view parking space detection and tracking
CN110544386A (zh) * 2019-09-18 2019-12-06 奇瑞汽车股份有限公司 车位识别方法、装置及存储介质
CN112991807B (zh) * 2019-12-13 2023-01-13 浙江宇视科技有限公司 一种车位状态检测方法、装置、设备及存储介质
US10916141B1 (en) 2019-12-18 2021-02-09 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for generating a parking space directory
JP7482054B2 (ja) * 2020-02-27 2024-05-13 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
KR102260556B1 (ko) * 2020-03-26 2021-06-03 세종대학교산학협력단 전역 정보와 지역 정보 통합을 통한 딥러닝 기반 주차구획 검출 방법 및 장치
JP7448403B2 (ja) * 2020-03-31 2024-03-12 本田技研工業株式会社 駐車枠認識システム、及び、駐車枠認識システムを備えた駐車支援システム
CN111739043B (zh) * 2020-04-13 2023-08-08 北京京东叁佰陆拾度电子商务有限公司 一种停车位绘制方法、装置、设备和存储介质
CN112052782B (zh) * 2020-08-31 2023-09-05 安徽江淮汽车集团股份有限公司 基于环视的停车位识别方法、装置、设备及存储介质
TWI803894B (zh) * 2021-06-29 2023-06-01 正修學校財團法人正修科技大學 停車偏移警示系統
CN113267143B (zh) * 2021-06-30 2023-08-29 三一建筑机器人(西安)研究院有限公司 边模识别方法
CN113627277A (zh) * 2021-07-20 2021-11-09 的卢技术有限公司 一种识别车位的方法和装置
CN116189137B (zh) * 2022-12-07 2023-08-04 深圳市速腾聚创科技有限公司 车位检测方法、电子设备及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090207045A1 (en) * 2008-02-14 2009-08-20 Mando Corporation Method and apparatus for detecting target parking position by using two reference points, and parking assist system using the same
JP2011148369A (ja) * 2010-01-20 2011-08-04 Denso Corp 運転支援装置
JP2012035723A (ja) * 2010-08-06 2012-02-23 Suzuki Motor Corp 駐車枠の横線検出方法及び駐車支援装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6104314A (en) * 1998-02-10 2000-08-15 Jiang; Jung-Jye Automatic parking apparatus
KR20050107388A (ko) * 2003-03-20 2005-11-11 마쯔시다덴기산교 가부시키가이샤 장해물 검지 장치
JP4639753B2 (ja) * 2004-10-25 2011-02-23 日産自動車株式会社 運転支援装置
KR101143176B1 (ko) * 2006-09-14 2012-05-08 주식회사 만도 조감도를 이용한 주차구획 인식 방법, 장치 및 그를 이용한주차 보조 시스템
KR100816377B1 (ko) 2006-09-14 2008-03-25 주식회사 만도 호프 변환을 이용한 주차구획 인식 방법, 장치 및 그를이용한 주차 보조 시스템
KR101188588B1 (ko) * 2008-03-27 2012-10-08 주식회사 만도 모노큘러 모션 스테레오 기반의 주차 공간 검출 장치 및방법
JP5633376B2 (ja) * 2010-01-27 2014-12-03 株式会社デンソーアイティーラボラトリ 駐車支援システム
KR101377346B1 (ko) 2010-07-02 2014-04-02 주식회사 만도 주차공간 인식 방법 및 그 장치
US9129524B2 (en) * 2012-03-29 2015-09-08 Xerox Corporation Method of determining parking lot occupancy from digital camera images
KR101393881B1 (ko) * 2012-10-24 2014-05-12 현대자동차주식회사 차량의 주차구획 인식방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090207045A1 (en) * 2008-02-14 2009-08-20 Mando Corporation Method and apparatus for detecting target parking position by using two reference points, and parking assist system using the same
JP2011148369A (ja) * 2010-01-20 2011-08-04 Denso Corp 運転支援装置
JP2012035723A (ja) * 2010-08-06 2012-02-23 Suzuki Motor Corp 駐車枠の横線検出方法及び駐車支援装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3654238A1 (en) 2018-11-14 2020-05-20 Clarion Co., Ltd. Image processing device and image processing method
JP2020079030A (ja) * 2018-11-14 2020-05-28 クラリオン株式会社 画像処理装置及び画像処理方法
US11270452B2 (en) 2018-11-14 2022-03-08 Clarion Co., Ltd. Image processing device and image processing method
JP7246167B2 (ja) 2018-11-14 2023-03-27 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
EP3708466A1 (en) 2019-03-11 2020-09-16 Clarion Co., Ltd. Parking assistance device and parking assistance method
US11318930B2 (en) 2019-03-11 2022-05-03 Clarion Co., Ltd. Parking assistance device and parking assistance method
JP2022551717A (ja) * 2019-10-12 2022-12-13 東軟睿馳汽車技術(瀋陽)有限公司 駐車スペース及びその方向角検出方法、装置、デバイス及び媒体
JP7414978B2 (ja) 2019-10-12 2024-01-16 東軟睿馳汽車技術(瀋陽)有限公司 駐車スペース及びその方向角検出方法、装置、デバイス及び媒体

Also Published As

Publication number Publication date
US20130265429A1 (en) 2013-10-10
US9467645B2 (en) 2016-10-11
JP6074183B2 (ja) 2017-02-01
CN103358993A (zh) 2013-10-23
KR101947826B1 (ko) 2019-02-13
CN103358993B (zh) 2017-04-26
KR20130114944A (ko) 2013-10-21
DE102012222497A1 (de) 2013-10-10

Similar Documents

Publication Publication Date Title
JP6074183B2 (ja) 車両の駐車区画認識方法
KR101393881B1 (ko) 차량의 주차구획 인식방법
WO2022110049A1 (zh) 一种导航方法、装置和系统
Lee et al. Vpgnet: Vanishing point guided network for lane and road marking detection and recognition
KR101856401B1 (ko) 차선 데이터의 처리 방법, 장치, 저장매체 및 기기
EP2811423B1 (en) Method and apparatus for detecting target
JP4930046B2 (ja) 路面判別方法および路面判別装置
CN105740782B (zh) 一种基于单目视觉的驾驶员换道过程量化方法
EP2958054A2 (en) Hazard detection in a scene with moving shadows
EP2887315B1 (en) Camera calibration device, method for implementing calibration, program and camera for movable body
KR20120072020A (ko) 자율주행 시스템의 주행정보 인식 방법 및 장치
KR101295092B1 (ko) 차량용 색상검출기
Yazdan et al. Improving traffic sign recognition results in urban areas by overcoming the impact of scale and rotation
CN104463138A (zh) 基于视觉结构属性的文本定位方法及系统
JP5188429B2 (ja) 環境認識装置
KR102132823B1 (ko) 어라운드 뷰 모니터링 시스템 및 가용 주차 공간 검출 방법
Scharwächter et al. Visual guard rail detection for advanced highway assistance systems
JP6130325B2 (ja) 道路環境認識装置
CN110809766B (zh) 高级驾驶员辅助系统和方法
KR101365557B1 (ko) 차선 검출장치 및 그 방법
JP2011209896A (ja) 障害物検知装置、障害物検知方法及び障害物検知プログラム
Philipsen et al. Ongoing work on traffic lights: Detection and evaluation
CN104252707A (zh) 对象检测方法和装置
Kiran et al. Automatic hump detection and 3D view generation from a single road image
CN104123715B (zh) 配置视差值的方法和系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170106

R150 Certificate of patent or registration of utility model

Ref document number: 6074183

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250