JP2014122894A - 車両のための装置及び方法、及び、その方法を実行するための命令を含む記憶媒体 - Google Patents

車両のための装置及び方法、及び、その方法を実行するための命令を含む記憶媒体 Download PDF

Info

Publication number
JP2014122894A
JP2014122894A JP2013261265A JP2013261265A JP2014122894A JP 2014122894 A JP2014122894 A JP 2014122894A JP 2013261265 A JP2013261265 A JP 2013261265A JP 2013261265 A JP2013261265 A JP 2013261265A JP 2014122894 A JP2014122894 A JP 2014122894A
Authority
JP
Japan
Prior art keywords
data
vehicle
detected
feature
reference data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013261265A
Other languages
English (en)
Other versions
JP6359825B2 (ja
Inventor
V Prokhorov Danil
ブイ.プロコロフ ダニル
Yasuo Uehara
康生 上原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Engineering and Manufacturing North America Inc
Original Assignee
Toyota Motor Engineering and Manufacturing North America Inc
Toyota Engineering and Manufacturing North America Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Engineering and Manufacturing North America Inc, Toyota Engineering and Manufacturing North America Inc filed Critical Toyota Motor Engineering and Manufacturing North America Inc
Publication of JP2014122894A publication Critical patent/JP2014122894A/ja
Application granted granted Critical
Publication of JP6359825B2 publication Critical patent/JP6359825B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments

Abstract

【課題】処理システムを含む装置によって制御車両内で又は制御車両と関連してアルゴリズム的処理を実行し、自律機能性又は操作性を提供する。
【解決手段】車両の位置を決定するように構成されたナビゲーションユニットと、車両の外側にある物体を検知し且つ物体の特徴を認識するように構成された検知ユニットと、物体の特徴データと物体の位置を識別する位置データとを含む物体参照データを記憶するように構成されたローカルデータベースと、検知ユニットによって認識された物体の特徴を、ローカルデータベースに記憶され、検知されることが予想された物体の特徴データと比較することによって、車両の決定された位置に基づいて検知されることが予想された物体を識別するように構成された識別ユニットと、送受信機と、を具備する装置による。
【選択図】図1

Description

本開示の態様は、自動車のための自律運転システムに関する。
車両システムは、車両の周囲の物体を検知するため、且つ、縁石、車線及び道路標識のような道路上の要素と、特定の高さよりも上方の物体を含む道路外の要素と、の間で識別するための、センサ及び/又は撮像装置を利用することができる。車両の自律操作のための運転指示を生成するため、これらの高さのある物体は、車両の決定された位置を改善するべく検知され得る。
処理システムを含む装置は、制御車両内で、又は、制御車両と関連してアルゴリズム的処理を実行することができ、自律機能性又は操作性を提供することができる。メモリのような非一時的なコンピュータ可読媒体は、1又は複数の処理デバイス又は構成要素によってアルゴリズム的処理を実行するために、コンピュータプログラムを記憶することができる。
車両のための装置は、車両の位置を決定するように構成されたナビゲーションユニットを含んでもよい。検知ユニットは、車両の外側にある物体を検知し、物体の特徴を認識するように構成され得る。ローカルデータベースは、物体の位置を識別する特徴データ及び位置データを含み得る、物体参照データを記憶するように構成され得る。識別ユニットは、検知ユニットによって認識された物体の特徴を、ローカルデータベースにおいて検知されることが予想された物体の特徴データと比較することによって、車両の決定された位置に基づいて検知されることが予想された物体を識別するように、構成され得る。送受信機は、リモートデータベースであって物体の付加的な特徴データと、それぞれの物体の位置を識別する対応する位置データと、を有した付加的な物体参照データを記憶するリモートデータベースと通信するように構成され得る。更に、識別ユニットが第1の物体を識別することができないことを決定するのに応じて、送受信機は、付加的な物体参照データにアクセスするためにリモートデータベースと通信するように構成され得る。識別ユニットは、第1の物体を識別するために、第1の物体の特徴を、付加的な特徴データと比較するように、構成され得る。ナビゲーションユニットは、識別された物体の位置データに基づいて車両の位置を更新するように、更に構成され得る。
識別ユニットが、第1の物体を識別することができないと決定するのに応じて、識別ユニットは、車両の決定された位置に基づいて検知されることが予想された物体のため、ローカルデータベースとリモートデータベースとの間でそれぞれの特徴データを比較し、リモートデータベースに含まれた付加的な情報を反映させるべくローカルデータベースを更新するように構成され得る。
付加的な情報には、物体のための更新された位置又は特徴データが含まれ得る。
第1の物体は、車両の決定された位置に基づいて検知されることが予想された物体の1つであってもよく、識別ユニットは、検知された物体の1つを第1の物体として識別するために、検知された物体の認識された特徴を、第1の物体の特徴データと比較するように構成されてもよい。
第1の物体は、検知ユニットによって検知される物体であってもよい。第1の物体が車両の決定された位置に基づいて検知されることが予想された物体の1つではないことを識別ユニットが決定するのに応じて、送受信機は、リモートデータベースから識別応答を受信するように構成され得る。
第1の物体及び対応する位置の識別を含む識別応答に応じて、ローカルデータベースは、第1の物体のために対応する物体参照データを記憶するように構成され得る。
リモートデータベースに送信された認識された特徴に基づいてリモートデータベースが決定し得る、識別応答に含まれた車両の位置データに応じて、ナビゲーションユニットは、識別応答に含まれる位置データに基づいて、車両の位置を更新するように構成され得る。
ディスプレイが含まれ得る。ディスプレイは、第1の物体の特徴を、付加的な物体参照データの付加的な特徴データと比較した後に、識別ユニットが第1の物体を識別することができないことを決定するのに応じて、或いは、識別ユニットが第1の物体を識別するために付加的な物体参照データにアクセスすることができないことを決定するのに応じて、検知されることが予想された物体が配置された領域のイメージを表示することができる。ディスプレイは、物体選択入力及び物体定義入力の少なくとも一方を受信することができ、ディスプレイは、物体選択入力又は物体定義入力に基づいて、第1の物体を識別することができる。
ローカルデータベースは、車両の決定された位置とは無関係である共通物体(common objects)の特徴データを含む共通物体参照データを記憶するように、構成され得る。識別ユニットは、識別ユニットが付加的な物体参照データにアクセスすることができないとき、物体参照データ及び共通物体参照データに基づいて、物体リストを作成するように構成され得る。識別ユニットは、第1の物体の特徴を付加的な物体参照データの付加的な特徴データと比較することによって、識別ユニットが第1の物体を識別することができないとき、物体参照データ、共通物体参照データ、及び、付加的な物体参照データに基づいて、物体リストを作成するように構成され得る。
ディスプレイは、インタフェースユニットがイメージを表示するときに、物体リストを含む選択メニューを表示するように構成され得る。
物体選択入力は、選択メニューを通して提供されてもよく、物体選択入力は、物体リストにおけるアイテムの選択であってもよい。物体定義入力は、選択メニューによって提供されてもよく、独立した物体識別の選択であってもよい。独立した物体識別は、物体リストとは無関係に、使用者が定義することが可能な入力であってもよい。
識別ユニットは、物体選択入力又は物体定義入力に基づいて、第1の物体の特徴データ、及び、第1の物体の位置を識別する位置データを決定するように、構成され得る。識別ユニットは、決定された特徴データ及び決定された位置データで物体参照データを更新するように、構成され得る。
識別ユニットは、第1の物体が検知されることが予想された物体であり、第1の物体の特徴と付加的な特徴データとの比較が、検知されることが予想された第1の物体がもはや存在しないことを示すとき、物体参照データに含まれるそれぞれの特徴データ及びそれぞれの位置データを取り除くように構成することができる。識別ユニットは、検知されることが予想された第1の物体がもはや存在しないことを示す、物体選択入力又は物体定義入力を受信するとき、物体参照データに含まれたそれぞれの特徴データ及びそれぞれの位置データを取り除くように、構成され得る。
識別ユニットは、位置データであって物体参照データに含まれるそれぞれの位置データによって識別されたそれぞれの位置とは異なる位置で検知された、検知されることが予想された物体の位置データで、物体参照データを更新するように、構成され得る。
車両のための装置には、フィルタユニットが含まれ得る。フィルタは、車両が運転される道路の上方に所定の高さで配置された道路外の物体ではないと決定された検知された物体を取り除くことにより識別ユニットによって識別から検知された物体をフィルタリングするように構成され得る。
所定の高さは3.048m(10ft)とすることができる。
検知ユニットは、撮像デバイスの出力イメージに基づいて、物体の特徴を認識するように構成することができる。撮像デバイスには、1又は複数のカメラ及び1又は複数のライダーが含まれ得る。識別ユニットは、検知ユニットによって認識された物体の特徴を特徴データと比較するため、出力イメージで特徴比較を実行するように構成され得る。
車両のための装置は、車両の位置を決定するためのナビゲーション手段と、車両の外側にある物体を検知し且つ物体の特徴を認識するための検知手段と、物体の特徴データ及び物体の位置を識別する位置データを含む物体参照データをローカルに記憶するための記憶手段と、を有することができる。装置は、検知手段によって認識された物体の特徴を、記憶手段に記憶された、検知されることが予想された物体の特徴データと比較することによって、車両の決定された位置に基づいて検知されることが予想された物体を識別するための識別手段を有することができる。それぞれの物体の位置を識別する物体及び対応する位置データの付加的な特徴データを含む付加的な物体参照データを記憶するリモートデータベースと通信するための送受信機が提供され得る。
識別手段が第1の物体を識別することができないと決定するのに応じて、送受信機は、付加的な物体参照データにアクセスするためにリモートデータベースと通信し、識別手段が、第1の物体を識別するために、第1の物体の特徴を付加的な特徴データと比較する。ナビゲーション手段は、識別された物体の位置データに基づいて車両の位置を更新することができる。
車両のための方法は、車両の位置を決定することと、車両の外側にある物体を検知し且つ物体の特徴を認識することと、物体参照データであって、物体の特徴データ及び物体の位置を識別する位置データを含み、ローカルデータベース内に記憶された物体参照データへとローカルデータベースから、アクセスすることと、を含むことができる。第1の物体が識別され得ないことを検知するのに応じてリモートデータベースと通信を開始することができ、物体の付加的な特徴データ及びそれぞれの物体の位置を識別する対応する位置データを含む、リモートデータベースの付加的な物体参照データにアクセスする。第1の物体を識別するため、第1の物体の特徴は、付加的な特徴データと比較することができる。識別された物体の位置データに基づいて車両の位置が更新され得る。
方法は、1又は複数のプロセッサ又は処理システムにより実行することができる。更に、非一時的なコンピュータ可読記憶媒体は、1又は複数のプロセッサによって実行されたときに、その方法を1又は複数のプロセッサに実行させる実行可能な命令を含む。
上の各段落は、一般的な緒言として提供している。記載する実施態様及び例は、その効果と共に、添付の図面と次に示す詳細な説明を参照することにより、最もよく理解される。
本開示の態様とその多くの効果のより完全な認識は、添付の図面と共に考慮され、次に示す詳細な説明を参照することにより容易になされ、同様に、よりよく理解されるようになる。
例示的な制御システムを概略的に示す。 識別される物体を含む、車両が進行する道路の図を示す。 図1の道路上の物体を検知する車両の図を示す。 例示的な制御システムの方法及びプロセスを示すアルゴリズム的フローチャートである。 物体を識別する例示的な方法及びプロセスを示すアルゴリズム的フローチャートである。 リモートデータソースから付加的な物体参照データを得る例示的な方法及びプロセスを示す、アルゴリズム的フローチャートである。 予め識別されていない物体を識別するためにユーザ入力データを得る、例示的な方法及びプロセスを示す、アルゴリズム的フローチャートである。 ローカルデータベースにおける物体の位置を更新する例示的な方法及びプロセスを示す、アルゴリズム的フローチャートである。 使用者によって識別されていない物体を識別するのに用いられる、ヒューマンマシンインタフェースを示す。 ナビゲーションシステムの例示的な処理ハードウェアを概略的に示す。
図面において、類似する参照符号又は表示は、複数の図を通して同一の又は対応する部分を表す。さらに、本明細書に使用する「a」、「an」などの語は、特に明記しない限り、通常、「1以上」の意味を有するものとする。さらにまた、本開示の態様及びアルゴリズムは、例えばネットワークを通じて別々に提供され得るか又は協働して接続され得る1以上のコンピュータ化されたシステムによって実行することができる。
本開示の態様は、推定された位置を、車両位置であって所定のルートで車両の周囲にあると予想される道路外の高い位置にある物体を検知することで決定された車両位置と、比較することによって、車両位置の決定及び自律車両操作を向上させるものである。
目的地に至るように車両を自律的に操作するために用いられる車両位置を連続的に改善するため、車両制御システムは、所定の車両ルート上の車両の周囲に位置する、既存の物体を利用することができる。
車両制御システムは、車両ルートに沿った既存の物体の特徴及び位置データを提供するため、車両制御システムのローカルデータベースに予め記憶され、又は、無線ネットワークで得られ得る、デジタル衛星及び街路レベルのマップを利用することができる。車両制御システムは、特徴及び位置データを、特定の特徴を有した既存の物体に対応する物体参照データの部分集合(subset)へとフィルタリングし、予想される物体のリストを決定することができる。データをフィルタリングするのに用いることができる特徴には、物体の種類及び車両が進行している道路に対する高さが含まれ得る。車両ルートに沿った、予想される車両位置は、予想される物体のリストに対応する物体情報に含まれる位置データを用いて、車両制御システムにより決定することができる。車両制御システムは、車両の予想される位置に基づいて、車両の自律操作の運転指示を策定する(formulate)することができる。
所定の車両ルートに沿って自律的に自律操作する車両付近の物体の特徴を検知して認識するため、複数のセンサが、車両制御システムによって利用され得る。車両付近で検知された物体の、検知された特徴及び位置データは、認識された特徴に基づいて、検知された物体情報の部分集合へとフィルタリングされ得る。検知された特徴及び位置データをフィルタリングするために利用される特徴には、物体の種類及び車両によって自律運転される道路よりも上方の高さが含まれていてもよい。車両制御システムは、検知された物体情報を、予想される物体に対応する物体参照データと比較し、予想される物体が検知されたか否かを決定することができる。車両制御システムは、検知された物体の位置データに基づいて車両位置を推定し、推定された位置に基づいて、車両の自律操作の運転指示を修正することができる。所定のルートに沿うと予想される、検知された物体の位置データが、対応する、予想される物体に対して検知された物体情報によって示される位置データとは異なる場合、物体参照データは、検知された物体位置データによって更新される。
車両のより正確かつ安全な自律操作は、所定のルートに沿って車両位置を推定し改善するのに用いられ得る、多数の物体によって達成することができる。予想される物体が識別されるか、又は予想される物体の一群が識別されると、車両は、その位置及び配向(「ポーズ」)を改善するように制御されることができ、ナビゲーションユニットからの高レベルの運転指示に従いつつ、その路程測定(odometry)を更新して、より正確なナビゲーションを達成することができる。特定の種類及び高さの物体(例えば、建物、照明用及びケーブルを支持するポール、木、広告標識)は、数が多く、これらは、道路に沿った他の要素又は構造により簡単には妨げられないので、容易に検知され得る。参照ポイントとして、特定の物体の既知の位置を用いることによって、自律的に操作される車両が安全に目的地に到達することを確実とするための、多数の比較点を提供することができる。加えて、検知された位置データで予想される位置データを更新することで、予め選択された目的地への旅程に必要な、参照データと検知された物体情報との間の比較数が減少する。
ここで、図面を参照して、本開示の態様について論じる。類似する参照符号は、複数の図を通じて同一の又は対応した部分を表す。
図1は、例示的な実施態様による制御システムのブロック図を示す。図1に示すように、制御システムには検知ユニットが含まれ得る。検知ユニットには、車両の操作条件及び車両周囲領域の物体の位置データを含む情報を検知するように構成される、1以上のセンサが含まれ得る。センサは、例えば、1以上のライダー、レーダー、ソナー、カメラ、又はこれらの組合せであってもよい。図1の制御システムの検知ユニットに含まれるセンサの種類、取付け位置及び数は、制御システムが利用される車両の種類によって選択することができる。
車両制御システムには、検知ユニットから特徴及び位置データを受信し、このデータを制御システムの適切な処理ユニットに配信する、フィルタユニットが含まれ得る。検知された特徴及び位置データについて、フィルタユニットは、検知ユニットからのデータが、特定の種類及び高さの物体を示すことを決定してもよい。フィルタユニットは、道路外の鉛直に固定された物体の高さに基づいて、道路外の鉛直に固定された物体(例えば、照明用ポール及び電柱、木の幹、街灯、建物の端部、高い標識)に関する特徴及び位置データを含む物体情報をフィルタリングし、後述する識別ユニットに物体情報を送信してもよい。
図1に示すように、車両制御システムには、横方向/長手方向の位置決定ユニットが含まれ得る。横方向/長手方向の位置決定ユニットには、長手方向の位置システム及び横方向の位置システムが含まれ得る。長手方向の位置システムは、フィルタユニットを介して検知ユニットから提供される情報に基づいて車両の長手方向の位置を決定し得る、車内の路程測定システムから構成されていてもよい。車内の路程測定システムは、運転されていないハンドルにおけるアンチロックブレーキングシステム(ABS)にあるセンサ、及び/又は、検知ユニットの一部であてもよい道路表示認識カメラから、情報を利用してもよい。
図1に示す制御システムの横方向の位置システムは、道路又は車線の境界に対する車両の位置を決定してもよい。横方向の位置システムは、車両の横方向の位置を決定するために、車両側に取り付けられたライダー、又は、検知ユニットの一部であってもよい他の種類のセンサ、及び、関連した処理アルゴリズムからの情報を利用してもよい。横方向の位置システムは、道路の横方向の特徴(例えば、道路又は車線の幅)を観察してもよく、観察された特徴を、以下で詳細に説明される自動ナビゲーションユニットに含まれ得るナビゲーションシステムによって提供されたマップに基づいた情報と、比較してもよい。
図1に示され且つ上述されたように、車両制御システムには、ナビゲーションシステムを備えた自律ナビゲーションユニットが含まれ得る。ナビゲーションシステムは、GPSユニットからの衛星及び街路レベルのマップと、二次元の道路のカーブ情報と、を有してもよい。二次元の道路のカーブ情報は、道路の直線/カーブ区分の位置及び長さと、他の道路の詳細な情報(例えば、道路の標高及び傾斜)と、を有してもよい。自動ナビゲーションユニットは、衛星及び街路レベルのマップ、並びに、二次元の道路のカーブ情報を処理し、車両運転制御プロセッサによって実行される高レベルの運転指示(例えば、右折左折、車線変更、道路工事)を提供してもよい。
図1に示すように、車両制御システムは、ドライバー及び自律ナビゲーションユニットと双方向通信する、ユーザインタフェースを有してもよい。ユーザインタフェースは、車両が自律的に運転される位置の選択のためにドライバーに表示される自律ナビゲーションユニットから、衛星及び街路レベルのマップを受信してもよい。ユーザインタフェースは、ドライバーから位置選択入力を受信し、自律ナビゲーションユニットにその位置選択入力を提供してもよい。自律ナビゲーションユニットは、選択された目的地及びナビゲーションシステムからの情報に基づいて車両が自律的に運転される最適ルートを決定してもよい。最適ルート情報は、ドライバーの個人的な好み(すなわち、ドライバーは、渋滞が予想され得る特定の道路又は領域を回避することを望むかもしれない)を考慮することができる。最適ルート情報は、方向の変更、道路の変更、右折左折等の全ての点を含んでもよく、自律ナビゲーションユニットによって他の一般的な道路情報と共に処理されて、車両運転制御プロセッサによって実行される運転方向のシーケンスに変換されてもよい。
上述のルート情報に加えて、自律ナビゲーションユニットは、一般的なランドマークに対応した物体データのため、ナビゲーションシステムから、最適ルートに対応するルート情報をポーリングする。自律ナビゲーションユニットは、一般的なランドマークのため物体データをフィルタリングしてもよく、特徴及び位置データを含む物体参照データを識別ユニットに送信してもよい。物体参照データは、照明用ポール及び電柱、木の幹、街灯、建物の縁部、高い位置にある標識等を含み得る道路外の鉛直に固定された物体である、一般的なランドマークに対応してもよい。
識別ユニットは、車両ローカルデータベース、リモートデータベースと通信する無線インタフェース、フィルタユニット、及び、自律ナビゲーションユニットからデータを受信してもよい。識別ユニットが自律ナビゲーションユニットから物体参照データを受信するとき、識別ユニットは、自律操作のルートに存在することが予想される物体のリストを作成してもよい。識別ユニットは、車両の自律操作の間、予想される物体のため、特徴及び位置データを含む物体参照データを参照用のデータベースに送信してもよい。
自律操作の間、フィルタユニットは、検知された道路外の鉛直に固定された物体の、検知された物体情報を、識別ユニットに送信することができる。識別ユニットは、検知された物体情報を、予想される物体に対応する物体参照データの特徴及び位置データと、比較することができる。比較に基づいて、識別ユニットは、予想される物体のリストにおける物体が検知されたか否かを決定し、これらを識別することができる。識別された物体の位置データは、識別された物体に対する推定された車両位置を決定するために自律ナビゲーションユニットに送信され得る。予想される物体が検知されない状況において、識別ユニットは、付加的な物体参照データを受信するために無線インタフェースと通信してもよい。識別ユニットは、物体選択入力又はドライバーが定めた物体定義入力の一方を受信するため、自律ナビゲーションユニットによってユーザインタフェースへ物体のリストを送信してもよい。自律ナビゲーションユニットは、運転指示のシーケンスを連続的に修正するために、車両の位置に基づいて車両位置を更新してもよい。
図2は、制御システムを用いて車両が自律的に運転され得る、道路を示す。また、図2は、制御システムにより検知することができる、2つの種類の物体も示す。第1の物体の組は、道路標識、縁石、マイル標識、信号、郵便受け等を含み得る、道路上の物体(RE1、RE2)を含んでもよい。第2の物体の組は、高い位置にある固定された物体(OE1‐OE5)を含んでもよい。図3は、種々のセンサ(例えば、ライダー、レーダー、ソナー又はカメラ)によって得ることができる、検知信号(D1‐D5)を得る車両(B)を示す。特徴及び位置データとして処理される検知信号(D1‐D5)は、検知された物体情報へとフィルタリングされ、自律運転操作のため車両の位置を推定して改善するべく、制御システムによって使用される。
図4は、例示的な制御システムの方法及びプロセス400を示す、アルゴリズム的フローチャートである。
ステップS402において、制御システムは、通常操作で、又は、制御システムの指示によって、車両が既知の位置へ移動した後、マップに対する車両の位置及び配向を決定する。例えば、制御システムは、現在の位置に基づいて最も近い既知の位置を示すように、ユーザインタフェース又はディスプレイを操作してもよく、自律運転操作要求に応じて既知の位置へと車両を動かすように、ドライバーに指示してもよい。
ステップS404において、制御システムは、ドライバーによって特定された目的地を受信する。制御システムは、ローカルデータベースに記憶されてもよく、或いは、外部ソース(例えば、GPSユニット)を通して提供されるナビゲーションデータから、車両が目的地に到達するように自律的に運転されるルートを決定してもよい。決定されたルートに基づいて、制御システムは、ルート情報のためのナビゲーションデータを処理してもよく、自律的に車両を運転するために実行される運転指示のシーケンスを決定してもよい。決定された車両ルートは、回避する道路、交通事情、時刻などに関するドライバー入力の嗜好を組み込んでもよい。
ステップS406において、制御システムは、ルート情報から、車両ルートに沿って特定の基準を満たす、物体の位置及び特徴データを含んだ物体参照データを抽出する。基準は、ルートに沿った(すなわち、道路上又は道路外の)物体の種類、及び、車両ルートとして進行する道路の上方の物体の高さに基づいていてもよい。高さ閾値は、道路よりも高い、少なくとも3.048m(10ft)の高さであってもよいが、他の値であってもよい。位置データを含む物体参照データは、車両のローカルデータベースに記憶されてもよい。制御システムは、特定の基準に基づいた予想される物体のリストを追加し、ローカルデータベース内の対応する物体参照データを、それぞれの予想される物体にリンクさせる。また、物体参照データは、特定の基準を満たす物体のためのシーケンスデータを含んでもよい。シーケンスデータは予想されるシーケンスに対応してもよく、物体は、決定されたルート上で進行する車両による遭遇が予想され得る。
ステップS408において、制御システムは、運転指示のシーケンスに基づき、横方向及び長手方向の運転制御を用いて車両が自律的に運転されるように制御する。車両の路程測定、及び、道路又は車線境界に対する横方向の位置は、車両ルートにおける次の地点へと車両を運転するのに用いられる。例えば、制御システムは、所定のホイール路程測定の縁石又は車線境界、観察された二次元の道路カーブ、及び、車両ルートに沿った次の目的地への距離に従ったシンプルな動作で、車両を運転させることができる。制御システムは、車両ルートに沿う道路に沿った次の位置への距離を短くするために、車両を運転するための長手方向の車両制御を使用してもよい。さらに、制御システムは、車両ルートに亘り道路内又は車線境界内に車両を維持するために、横方向の車両制御を使用してもよい。
例示的な制御システム及び方法400において、制御システムは、物体参照データを用いて物体を連続的に識別するために、車両を自律的に運転しつつ、500でアルゴリズムを実行してもよい。
ステップS410において、制御システムは、車両ルートに沿って識別された物体のため、物体位置データを含む検知された物体情報に基づいて予想される車両位置を推定してもよい。車両は、他の車両及び歩行者との衝突を回避しつつ、不一致を最小化するように、識別された物体のパターンから予想される推定された位置で、その位置及び配向(「ポーズ」)を更新(適合)させるために自律的に運転される。車両がルート終点の目的地に到達するまで、制御システムは、連続的に車両の位置を推定して、更新してもよい。
物体を識別する例示的なアルゴリズムを図5に示す。
ステップS502において、制御システムは、車両に設けられた種々のセンサを利用することによって、車両ルートに沿って物体を検知する。制御システムは、(位置データを含み得る)検知された物体の特徴を認識し、また、物体が検知されるシーケンスを認識してもよい。
ステップS504において、制御システムは、検知された物体の位置及び認識された特徴データを、検知された物体情報へと処理し、フィルタリングする。更に検知された物体情報は、それぞれの検知された物体のために認識されたシーケンスデータを有してもよく、一方の検知された物体に対して、他方の検知された物体が検知された、相対的な順序を有することができる。制御システムは、物体の高さ、種類(道路上又は道路外)又はその両方に基づいて、特徴及び位置データをフィルタリングすることができる。例えば、制御システムは、検知された高い位置にある固定された物体(例えば、図2の物体OE1‐OE4)のため、位置及び認識された特徴データを、検知された物体情報へとフィルタリングしてもよい。その代わりに又はそれに加えて、制御システムは、道路上の物体に対して対向するように検知された道路外の物体(例えば図2のRE1及びRE2)のために位置及び特徴データをフィルタリングして、検知された物体情報と認識してもよい。
ステップS506において、制御システムは、ステップS406においてローカルデータベースに記憶される、予想される物体のための物体参照データを、ステップS504で位置及び認識された特徴データからフィルタリングされた、検知された物体情報と、比較する。比較のプロセスは、車両ルートに沿った領域において予想され且つ/又は検知される物体の密度に基づいて、連続的なものであってもよく、或いは、一時的なものであってもよい。例えば、物体の密度が所定のレベルよりも低い領域においては、制御システムは、必要に応じて又は一時的に、物体参照データと検知された情報とを比較することができる。制御システムは、「オンデマンドの」比較を実行することができる(すなわち、車両が予想される物体に接近しているか、又は、物体の検知が予想される領域に接近していると決定するとき、物体情報間の比較が実行され得る)。逆に、予想される物体の密度が高い状況において、制御システムは、連続的に、物体参照データと、検知された物体情報とを比較することができる。
他の状況において、物体がセンサによって検知されるシーケンスは、ナビゲーション情報の別のソースとして機能し得る。例えば、道路標識、交通信号及び電柱が、連続的に検知されることが予想される場合であってもよい。道路標識より前に検知された交通信号より前に、電柱が検知された場合、予想された方向とは反対方向に車両が移動したことを決定することができる。車両のポーズ(すなわち、例えば、ナビゲーションシステム又はマップにおける車両の方向/配置)は、検知された物体情報及び物体参照データにおけるシーケンスデータ間の比較と、予想される方向に対して反対方向に車両が移動したという決定と、に基づいて、更新されてもよい。
ステップS508において、制御システムは、ステップS506で実行された比較に基づいて、予想される物体のリストにおける物体を識別する。制御システムが予想される物体の物体参照データを、(検知された高い位置にある固定された物体の位置データを含み得る)検知された物体情報に対して適合させるとき、制御システムは、予想される物体が検知された物体として識別されたものと決定し、その逆も同様である。制御システムは、予想される物体を識別するために、フィルタリングされた位置及び認識された特徴データ(検知された物体情報)を、物体参照データと、連続的に比較してもよい。
ステップS510において、制御システムは、検知された物体又は予想される物体が識別できなかった/されなかったか否かを決定する。予想される物体のリストにおける物体の全てが検知された物体として識別され、検知された物体のすべてが予想される物体として識別された場合、物体を識別するための例示的なアルゴリズム500は終了する。予想される又は検知される物体がステップS508において識別されないと決定された場合、制御システムは、以下で更に詳細に説明する、リモート識別600のための例示的なアルゴリズムを実行する。
ステップS512において、制御システムは、予め識別されていない物体が識別されたか否かを、リモート識別600のアルゴリズムによって決定する。識別されなかった場合、制御システムは、以下でより詳細に説明する、ユーザインタフェース識別700の例示的なアルゴリズムを実行する。ただし、物体がリモート識別600で識別された場合、制御システムは、予め識別されていない物体がステップS514で予想される物体であるか否かを決定してもよい。
ステップS514において、予め識別されていない物体が予想された物体である場合、制御システムは、以下でより詳細に説明する、例示的な、予想される物体の位置更新アルゴリズム800を実行する。これは、センサ故障、センサエラーを生じる運転条件、ステップS404で処理されるナビゲーションデータによって説明されない、予想された物体の再配置、又は、予想された物体の位置データに関するナビゲーションデータの不正確さの結果として、生じ得る。
ステップS514において、予め識別されていない物体が検知され、これが予想された物体ではない場合、制御システムは、予め識別されていない物体のために、ステップ516における車両ローカルデータベースに物体情報を加える。これは、ステップS404で処理されるナビゲーションデータへの最近の更新に先行した、木、ポール、建物など又は他の道路外の高さのある固定された物体の追加の結果として生じる可能性がある。
図6は、リモート識別アルゴリズム600を示す、アルゴリズム的フローチャートである。
ステップS602において、制御システムは、例えば無線ネットワークを経て、リモートデータベースにアクセスできるか否かを決定することができる。制御システムが、リモートデータベースが利用可能でないと決定する場合、リモート識別アルゴリズム600は、識別されない物体を識別せずに終了してもよい。
ステップS604において、制御システムが、リモートデータベースがアクセス可能と決定する場合、制御システムは、物体データ(物体参照データ又は検知された物体情報)、或いは、ナビゲーションデータを、リモートデータベースへとアップロードすることができる。例えば、識別されない物体が識別されていない予想された物体であることが判断される場合、制御システムは、予想された物体の物体参照データをアップロードすることができる。識別されない物体が予想された物体として識別されなかった、検知された物体である場合、制御システムは、フィルタ済みの検知された特徴(検知された物体情報)もアップロードすることができる。他の例では、制御システムは、車両のおおよその位置を示すナビゲーションデータをアップロードすることができる。
ステップS606において、制御ユニットは、リモートデータベースから追加参照データを受信することができる。リモートデータベースは、車両位置ベースの物体参照データ、若しくは、リモートデータベースにアップロードされる検知された物体情報、物体の識別、及び/又は付加的な物体参照データを含む、追加参照データを送信することができる。
ステップS608において、制御システムは、追加参照データが車両位置を含むことを判断することができる。この状況において、制御システムは、ステップS410に類似して、車両の位置を更新することができる。
ステップS610において、制御システムは、追加参照データに基づいて、識別されない物体を識別することができる。制御システムが、ステップS606で付加的な物体参照データを含む追加の参照データを提供する状況において、制御システムは、物体参照データ及び/又は検知された物体情報と、付加的な物体参照データとを比較して、識別されない物体を識別することができる。識別が生じる場合、制御システムは、予め識別されていない物体が予想される物体であるか、又は、予想される物体に加えて検知された物体であるか否かについて判断することができる。
ステップS610において、制御システムは、物体参照データを比較して、それぞれの予想される物体がまだ存在することを確認し、検知されずその後確認されなかった、予想される物体について、ローカルデータベースから物体参照データを取り除くことができる。また、ステップS610において、種類、サイズ、位置などを含む特徴を示す対応する付加的な物体参照データが、いずれかの予想される物体に対して変化して、予め検知されて識別される場合であっても、制御システムは、いずれかの予想される物体に対応する物体参照データを修正することができる。
ステップS610において、識別が生じない場合、制御システムは、追加参照データに基づいて、物体の補足リストを追加することができる。
図7は、リモート識別アルゴリズム700を示す、アルゴリズム的フローチャートである。
ステップS702において、制御システムは、位置を含み得る物体及び対応した物体情報を識別する、修正する又は追加するのにドライバーにより使用され得る物体リストを、車両のローカルデータベースに追加することができる。制御システムは、予めステップS610で追加される場合、(識別される、及び、識別されない)予想される物体、例えば、木、標識、ポールなどの物体を含む一般的な物体、及び、物体の補足リストからの物体を有する物体リストを追加することができる。
ステップS704において、制御システムは、例えば図9のように、検知された物体の光景をユーザインタフェースに表示することができる。制御システムは、ステップS502において検知されるすべての物体を表示しても、ステップS504のフィルタ済みの検知された物体情報に対応する物体のみを表示してもよい。ユーザインタフェースのディスプレイは、人間がアシストする自動運転の安全性を脅かすことなく、適切な動作を実行するように、ドライバーに都合の良い位置に配置される、別個のスクリーンであってもよい。例えば、音声インタフェースを有するフロントガラス上に投影されるディスプレイ(複合型音声‐視覚HMI)などの透明なディスプレイを利用することができる。また、ディスプレイは、少なくともフロントガラスの一部に埋め込まれていてもよい。
ステップS706において、制御システムは、識別されなかった予想される物体の予想される位置、及び、予想される物体の予想される位置に近接した、ステップS702で追加された物体リストを表示することができる。
ステップS708において、制御システムは、ステップS502において車両の種々のセンサによって検知された識別されない物体に近接して物体リストを表示することができる。
ステップS710において、制御システムは、識別されない予想される物体又はユーザインタフェースに表示される検知された物体に関連する、少なくとも1つの物体リストから、選択入力を受信することができる。ステップS710において、制御システムは、リスト選択入力又はユーザ定義入力を受信することができる。前者の場合、選択入力は、ユーザインタフェース上の識別されない物体と共に表示される、物体リストの物体のうちの1つの選択によって提供される。後者の場合、選択入力は、ドライバーによる識別されない物体の定義の入力を可能にするか、又は、予想される物体がないことを示す、二次的な選択オプションの選択によって提供される。また、制御システムは、ディスプレイの指定されていない物体が識別される必要があることを示す、選択入力を受信することもできる。この状況において、制御システムは、ドライバーがユーザインタフェースのタッチスクリーン上の指定されていない物体を選択するとき、指定されていない物体に近接して物体リストを提供することができる。
ステップS712において、制御システムは、選択入力に基づいて、予め識別されていない物体を識別することができる。加えて、制御システムは、二次的な選択入力によって予想される物体の状態を要求することによって、識別されなかった予想される物体がまだ存在するか否かを確認することができる。
ステップS712において、ドライバーが、予想される物体が存在しないと示す場合、制御システムは、車両のローカルデータベースから対応する物体参照データを取り除くことができる。ステップS712において、予め識別されていない物体が予想される物体であり、ドライバーが、予想される物体は存在するが、予想された位置にないことを示す場合、制御システムは、ドライバーに対して、予想される物体を、ユーザインタフェースに表示された検知された物体に適合させるように要求することができる。加えて、ドライバーが、予想される物体は存在するが検知されないことを示す場合、制御システムは、ドライバーに対して、ユーザインタフェースのタッチスクリーン上に予想される物体を配置するように要求することができる。制御システムは、予想される物体位置更新のアルゴリズム800で使用するため、予想される物体のための位置データを記憶することができる。
ドライバー入力は、タイピング/タッチスクリーンコマンドの代わりに、適切な音声コマンドを出すことによって提供され得る。例えば、物体がドライバーにより識別された場合、この物体は、最初にユーザインタフェースのディスプレイに強調され、ドライバーからの音声指示が要求され得る。要求される音声指示の内容は、要素種別又は他の種類の識別指示を含んでもよい。他の例において、ドライバーは、例えば「左に移動」、「右に移動」及び「配置」のように、口頭の指示を出すことによって、対象となる物体が実際にある位置へと、予想される位置を修正することができる。
図8は、予想される物体の位置更新アルゴリズム800を示す、アルゴリズム的フローチャートである。
ステップS802において、制御システムは、リモート識別アルゴリズム600又はユーザインタフェースアルゴリズム700で識別された、予想される物体に関連した位置データが、予想される物体のために車両データベース内に記憶された、対応する物体参照データの位置データに適合しないということを決定してもよい。
ステップS804において、制御システムは、リモート識別アルゴリズム600又はユーザインタフェース識別アルゴリズム700によって識別されたとき、予想される物体に対応する物体参照データにおける位置データを、予想される物体に関連した位置データで更新してもよい。
図10は、例示的な処理システムを示しており、且つ、ハードウェアであって、本開示において説明された処理、アルゴリズム及び/又は方法の、実施及び/又は実行のための、コントローラ又はコンピューティングシステム(例えば車両制御コンピューティングユニット)において設けられた例示的なハードウェアを示す。
図10に示されるように、本開示による処理システムは、マイクロプロセッサ、又は、中央処理装置(CPU)及び/又は少なくとも1つの特定用途向けプロセッサ(ASP)(図示せず)のような同等のものを用いて実現され得る。マイクロプロセッサは、マイクロプロセッサを制御して、本開示のプロセス及びシステムを実行及び/又は制御するように構成された、メモリ回路(例えば、ROM、EPROM、EEPROM、フラッシュメモリ、スタティックメモリ、DRAM、SDRAM及び同等のもの)のようなコンピュータ可読媒体を利用する回路である。他の記憶媒体は、ハードディスク又は光ディスクドライブを制御することができる、ディスクコントローラのようなコントローラによって制御され得る。
別の実施携帯におけるその態様としてのマイクロプロセッサは、本開示を拡大させるため、或いは、完全に実施するために、論理デバイスを有することができ、或いは、もっぱら論理デバイスのみ有することができる。かかる論理回路は、限定されるものではないが、特定用途向け集積回路(ASIC)、フィールドプログラマブルアレイ(FPGA)、汎用配列論理回路(GAL)、及び、これらの同等のものを含む。マイクロプロセッサは、分離されたデバイス又はシングルプロセッシングメカニズムであってもよい。さらに、本開示は、マルチコアCPUの並列処理能力の利益を享受することができる。
別の態様において、本開示による処理の結果は、ディスプレイコントローラによって、ユーザインタフェースを提供するタッチスクリーンモニタに表示され得る。好適には、ディスプレイコントローラは、改良された演算効率のため複数のグラフィックス処理コアによって提供され得る、少なくとも1つのグラフィック処理デバイスを有する。加えて、カメラ、ライダー、ソナー、レーダー等を含み得る、センサ1、2・・・Nからの信号及び/又はデータを入力するため、且つ、タッチスクリーンモニタへと制御信号を出力するための、I/O(入/出力)インタフェースが設けられる。タッチスクリーンモニタは、コマンド/指示インタフェースを提供するための、タッチセンサ式のインタフェースを有する。
さらに、他の入力装置は、周辺装置としてI/Oインタフェースに接続され得る。例えば、(フラッシュドライブという形式をとることができる)GPS更新ユニットは、更新されたナビゲーションデータの、車両制御システムへのダウンロードを提供するため、I/Oインタフェースに接続され得る。
上述の構成要素は、制御可能なパラメータを含むデータの送信又は受信のために、ネットワークインタフェースを介して、インターネット又はローカルイントラネットのようなネットワークへと接続され得る。セントラルバスは、上述のハードウェア構成要素を共に接続するために設けられ、両者間のデジタル通信のための少なくとも1つのパスを提供する。
多くの実施態様を説明してきた。それでもなお、本開示の趣旨及び範囲から逸脱することなく、種々の改良がなされてもよいことが理解される。例えば、開示する技術の段階が異なる順序で実行される場合、開示するシステムの構成要素が異なる方法で組み合わされる場合、又は、構成要素が、他の構成要素に置換されるか若しくは他の構成要素で補足される場合、好適な結果が達成され得る。
400 制御方法
500 アルゴリズム
600 リモート識別
700 リモート識別アルゴリズム
800 アルゴリズム
B 車両
D1 検知信号
D2 検知信号
D3 検知信号
D4 検知信号
OE1 固定された物体
OE2 固定された物体
OE3 固定された物体
OE4 固定された物体
OE5 固定された物体
RE1 道路上の物体
RE2 道路上の物体
S402 ステップ
S404 ステップ
S406 ステップ
S408 ステップ
S410 ステップ
S502 ステップ
S504 ステップ
S506 ステップ
S508 ステップ
S510 ステップ
S512 ステップ
S514 ステップ
S516 ステップ
S602 ステップ
S604 ステップ
S606 ステップ
S608 ステップ
S610 ステップ
S702 ステップ
S704 ステップ
S706 ステップ
S708 ステップ
S710 ステップ
S712 ステップ
S802 ステップ
S804 ステップ

Claims (20)

  1. 車両のための装置であって、当該装置が、
    前記車両の位置を決定するように構成されたナビゲーションユニットと、
    前記車両の外側にある物体を検知し且つ該物体の特徴を認識するように構成された検知ユニットと、
    物体の特徴データと物体の位置を識別する位置データとを含む物体参照データを記憶するように構成されたローカルデータベースと、
    前記検知ユニットによって認識された物体の前記特徴を、前記ローカルデータベースに記憶された、「検知されることが予想された物体」の前記特徴データと比較することによって、前記車両の決定された位置に基づいて前記検知されることが予想された物体を識別するように構成された識別ユニットと、
    物体の付加的な特徴データとそれぞれの物体の位置を識別する対応する位置データとを有した付加的な物体参照データを記憶するリモートデータベースと通信するように構成された送受信機と、を具備し、
    前記識別ユニットが第1の物体を識別することができないと決定するのに応じて、前記送受信機は、前記付加的な物体参照データにアクセスするために前記リモートデータベースと通信するように構成され、前記識別ユニットが、前記第1の物体を識別するために、前記第1の物体の特徴を前記付加的な特徴データと比較するように構成され、
    更に前記ナビゲーションユニットが、識別された物体の位置データに基づいて前記車両の位置を更新するように構成された装置。
  2. 前記識別ユニットが前記第1の物体を識別することができないことを決定するのに応じて、前記識別ユニットが、前記ローカルデータベースと前記リモートデータベースとの間の、前記車両の前記決定された位置に基づいて検知されることが予想された物体のためのそれぞれの特徴データを比較し、前記リモートデータベースに含まれた付加的な情報を反映するために前記ローカルデータベースを更新するように構成された請求項1に記載の装置。
  3. 前記付加的な情報が、更新された、物体のための位置又は特徴データを含む請求項2に記載の装置。
  4. 前記第1の物体が、前記車両の前記決定された位置に基づいて検知されることが予想された物体の1つであり、
    前記識別ユニットが、前記検知された物体の1つを前記第1の物体として識別するために、前記検知された物体の前記認識された特徴を、前記第1の物体の特徴データと比較するように構成された請求項2に記載の装置。
  5. 前記第1の物体が前記検知ユニットによって検知された物体であり、
    前記第1の物体が前記車両の前記決定された位置に基づいて検知されることが予想された物体の1つではないことを、前記識別ユニットが決定するのに応じて、前記送受信機が、前記第1の物体の認識された特徴を前記リモートデータベースに送信するように構成され、且つ、
    前記送受信機が、前記リモートデータベースから識別応答を受信するように構成された請求項2に記載の装置。
  6. 前記第1の物体の識別と対応する位置とを含む前記識別応答に応じて、前記ローカルデータベースが前記第1の物体のための対応する物体参照データを記憶するように構成された請求項5に記載の装置。
  7. 前記リモートデータベースが該リモートデータベースに対して送信された前記認識された特徴に基づいて決定した、前記車両の位置データを含む前記識別応答に応じて、前記ナビゲーションユニットが、前記識別応答に含まれた前記位置データに基づいて前記車両の位置を更新するように構成された請求項5に記載の装置。
  8. ディスプレイであって、
    前記識別ユニットが前記第1の物体の特徴を前記付加的な物体参照データの前記付加的な特徴データと比較した後に、前記識別ユニットが前記第1の物体を識別することができないことを決定するのに応じて、或いは、前記第1の物体を識別するために前記付加的な物体参照データにアクセスできないことを決定するのに応じて、検知されることが予想された前記物体が配置された領域のイメージを表示し、
    物体選択入力及び物体定義入力の少なくとも一方を受信し、且つ、
    前記物体選択入力及び前記物体定義入力の少なくとも一方に基づいて前記第1の物体を識別するように構成されたディスプレイを更に具備する請求項1に記載の装置。
  9. 前記ローカルデータベースが、前記車両の前記決定された位置とは無関係な共通物体の特徴データを含む共通物体参照データを記憶するように構成され、
    前記識別ユニットは、該識別ユニットが前記付加的な物体参照データにアクセスできないときに、前記物体参照データ及び前記共通物体参照データに基づいて物体リストを作成するように構成され、且つ、
    前記識別ユニットは、該識別ユニットが前記第1の物体の前記特徴を前記付加的な物体参照データの前記付加的な特徴データと比較することによって前記第1の物体を識別することができないときに、前記物体参照データ、前記共通物体参照データ及び前記付加的な物体参照データに基づいて前記物体リストを作成するように構成された請求項8に記載の装置。
  10. 前記ディスプレイは、インタフェースユニットが前記イメージを表示するときに前記物体リストを含む選択メニューを表示するように構成された請求項9に記載の装置。
  11. 前記物体選択入力が、前記選択メニューを通して提供され且つ前記物体リストにおけるアイテムの選択であり、且つ、
    前記物体定義入力が、前記選択メニューを通して提供され且つ独立した物体識別の選択であり、前記独立した物体識別は、前記物体リストとは無関係の、使用者が定義可能な入力である請求項10に記載の装置。
  12. 前記識別ユニットが、前記物体選択入力及び前記物体定義入力の一方に基づいて、前記第1の物体の特徴データ及び前記第1の物体の位置を識別する位置データを決定するように構成され、且つ、決定された前記特徴データ及び決定された前記位置データで前記物体参照データを更新するように構成された請求項8に記載の装置。
  13. 前記識別ユニットは、前記第1の物体が検知されることが予想された物体であり、且つ、前記識別ユニットによって前記第1の物体の前記特徴を前記付加的な特徴データと比較すること、及び、前記インタフェースユニットによって前記物体選択入力と前記物体定義入力との少なくとも一方を受信すること、の一方が、検知されることが予想された前記第1の物体がもはや存在しないことを示すときに、前記物体参照データに含まれた特徴データ及び位置データのそれぞれを取り除くように構成された請求項8に記載の装置。
  14. 前記識別ユニットが、前記物体参照データを、位置データであって前記物体参照データに含まれるそれぞれの位置データによって識別されたそれぞれの位置とは異なる位置で検知された、検知されることが予想された物体のための位置データで、更新するように構成された請求項1に記載の装置。
  15. フィルタユニットであって、車両が運転される道路の上方に所定の高さで配置された道路外の物体ではないと決定された検知された物体を取り除くことにより前記識別ユニットによって識別から検知された物体をフィルタリングするように構成されたフィルタユニットを更に具備する請求項1に記載の装置。
  16. 前記所定の高さが、3.048mである請求項15に記載の装置。
  17. 前記検知ユニットが撮像デバイスの出力イメージに基づいて前記物体の特徴を認識するように構成され、前記撮像デバイスが、1又は複数のカメラ及び1又は複数のライダーの少なくとも一方を含み、
    前記識別ユニットが、前記出力イメージで、前記検知ユニットによって認識された前記物体の前記特徴を特徴データと比較するための特徴比較を実行するように構成された請求項1に記載の装置。
  18. 車両のための装置であって、
    前記車両の位置を決定するためのナビゲーション手段と、
    前記車両の外側にある物体を検知し且つ前記物体の特徴を認識するための検知手段と、
    物体の特徴データ及び前記物体の位置を識別する位置データを含む物体参照データをローカルに記憶するための記憶手段と、
    前記検知手段によって認識された前記物体の前記特徴を、前記記憶手段に記憶された、検知されることが予想された物体の前記特徴データと比較することによって、前記車両の決定された位置に基づいて前記検知されることが予想された物体を識別するための識別手段と、
    それぞれの物体の位置を識別する前記物体及び対応する位置データの付加的な特徴データを含む付加的な物体参照データを記憶するリモートデータベースと通信するための送受信機と、を具備し、
    前記識別手段が第1の物体を識別することができないと決定するのに応じて、前記送受信機は、前記付加的な物体参照データにアクセスするために前記リモートデータベースと通信し、前記識別手段が、前記第1の物体を識別するために、前記第1の物体の特徴を前記付加的な特徴データと比較し、
    前記ナビゲーション手段が、識別された物体の位置データに基づいて前記車両の位置を更新する装置。
  19. 車両のための方法であって、
    前記車両の位置を決定することと、
    前記車両の外側にある物体を検知し且つ前記物体の特徴を認識することと、
    物体参照データであって、物体の特徴データ及び前記物体の位置を識別する位置データを含み、ローカルデータベース内に記憶された物体参照データへと前記ローカルデータベースから、アクセスすることと、
    前記認識において認識された前記物体の前記特徴を、前記ローカルデータベースに保存された、検知されることが予想された物体の前記特徴データと比較することによって、前記車両の決定された位置に基づいて前記検知されることが予想された物体を識別することと、
    第1の物体が識別され得ないことを検知するのに応じてリモートデータベースと通信し、前記物体の付加的な特徴データ及びそれぞれの物体の位置を識別する対応する位置データを含む、前記リモートデータベースの付加的な物体参照データにアクセスすることと、
    前記第1の物体を識別するために前記第1の物体の特徴を前記付加的な特徴データと比較することと、
    識別された物体の位置データに基づいて前記車両の位置を更新することと、を含む方法。
  20. 1又は複数のプロセッサによって実行されたときに、請求項19に記載の方法を前記1又は複数のプロセッサに実行させる実行可能な命令を含む非一時的なコンピュータ可読記憶媒体。
JP2013261265A 2012-12-19 2013-12-18 車両のための装置及び方法、及び、その方法を実行するための命令を含む記憶媒体 Active JP6359825B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/720,465 US8825371B2 (en) 2012-12-19 2012-12-19 Navigation of on-road vehicle based on vertical elements
US13/720,465 2012-12-19

Publications (2)

Publication Number Publication Date
JP2014122894A true JP2014122894A (ja) 2014-07-03
JP6359825B2 JP6359825B2 (ja) 2018-07-18

Family

ID=50878854

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013261265A Active JP6359825B2 (ja) 2012-12-19 2013-12-18 車両のための装置及び方法、及び、その方法を実行するための命令を含む記憶媒体

Country Status (3)

Country Link
US (2) US8825371B2 (ja)
JP (1) JP6359825B2 (ja)
DE (1) DE102013113096A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016130896A (ja) * 2015-01-13 2016-07-21 株式会社デンソー 障害物識別装置、及び障害物識別システム
JP2017067464A (ja) * 2015-09-28 2017-04-06 クラリオン株式会社 情報処理装置
KR20190105285A (ko) * 2018-03-05 2019-09-17 재단법인 다차원 스마트 아이티 융합시스템 연구단 이미지 워핑을 이용한 오브젝트 디텍팅 방법 및 시스템
JP2020194571A (ja) * 2015-02-10 2020-12-03 モービルアイ ビジョン テクノロジーズ リミテッド 自律車両ナビゲーションのための疎な地図
JP2022535887A (ja) * 2019-06-07 2022-08-10 ビーエーエスエフ コーティングス ゲゼルシャフト ミット ベシュレンクテル ハフツング 物体認識システムのための少なくとも1つのグラウンドトゥルースデータベースを形成するための装置及び方法

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8606512B1 (en) 2007-05-10 2013-12-10 Allstate Insurance Company Route risk mitigation
US10096038B2 (en) 2007-05-10 2018-10-09 Allstate Insurance Company Road segment safety rating system
US9932033B2 (en) 2007-05-10 2018-04-03 Allstate Insurance Company Route risk mitigation
JP5905846B2 (ja) * 2013-03-29 2016-04-20 株式会社日本自動車部品総合研究所 横断判定装置およびプログラム
US9043072B1 (en) * 2013-04-04 2015-05-26 Google Inc. Methods and systems for correcting an estimated heading using a map
US9150224B2 (en) * 2013-09-24 2015-10-06 Ford Global Technologies, Llc Transitioning from autonomous vehicle control to to driver control to responding to driver control
EP2913216B1 (en) * 2013-09-27 2022-01-19 Transoft Solutions, Inc. Method and apparatus for generating a vehicle path
US9558408B2 (en) 2013-10-15 2017-01-31 Ford Global Technologies, Llc Traffic signal prediction
US20150106010A1 (en) * 2013-10-15 2015-04-16 Ford Global Technologies, Llc Aerial data for vehicle navigation
US9354073B2 (en) * 2013-12-09 2016-05-31 Harman International Industries, Inc. Eye gaze enabled navigation system
US10037469B2 (en) * 2013-12-10 2018-07-31 Google Llc Image location through large object detection
JP6237214B2 (ja) * 2013-12-24 2017-11-29 株式会社デンソー 逆走検出装置
US10096067B1 (en) 2014-01-24 2018-10-09 Allstate Insurance Company Reward system related to a vehicle-to-vehicle communication system
US9355423B1 (en) 2014-01-24 2016-05-31 Allstate Insurance Company Reward system related to a vehicle-to-vehicle communication system
US9390451B1 (en) 2014-01-24 2016-07-12 Allstate Insurance Company Insurance system related to a vehicle-to-vehicle communication system
US10783587B1 (en) 2014-02-19 2020-09-22 Allstate Insurance Company Determining a driver score based on the driver's response to autonomous features of a vehicle
US9940676B1 (en) 2014-02-19 2018-04-10 Allstate Insurance Company Insurance system for analysis of autonomous driving
US10783586B1 (en) 2014-02-19 2020-09-22 Allstate Insurance Company Determining a property of an insurance policy based on the density of vehicles
US10796369B1 (en) 2014-02-19 2020-10-06 Allstate Insurance Company Determining a property of an insurance policy based on the level of autonomy of a vehicle
DE102014214713A1 (de) * 2014-07-25 2016-01-28 Conti Temic Microelectronic Gmbh Verfahren zum Betrieb eines Assistenzsystems eines Kraftfahrzeugs sowie Assistenzsystem
JP6225889B2 (ja) * 2014-11-19 2017-11-08 株式会社豊田中央研究所 車両位置推定装置及びプログラム
US9823081B2 (en) * 2014-12-03 2017-11-21 Ford Global Technologies, Llc Vehicle passenger identification
DE102015203016B4 (de) 2015-02-19 2019-08-01 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur optischen Selbstlokalisation eines Kraftfahrzeugs in einem Umfeld
CN104819723B (zh) * 2015-04-29 2017-10-13 京东方科技集团股份有限公司 一种定位方法和定位服务器
EP3303083A4 (en) * 2015-06-08 2019-06-12 Arity International Limited REDUCTION OF RISKS OF ROUTE
US9908425B2 (en) 2015-07-01 2018-03-06 Toyota Motor Engineering & Manufacturing North America, Inc. Locating and aligning wireless charging elements for electric vehicles
US9958870B1 (en) * 2015-09-29 2018-05-01 Amazon Technologies, Inc. Environmental condition identification assistance for autonomous vehicles
US9971348B1 (en) 2015-09-29 2018-05-15 Amazon Technologies, Inc. Passenger profiles for autonomous vehicles
WO2017070010A1 (en) * 2015-10-19 2017-04-27 Intelligent Technologies International, Inc. Vehicular navigation system updating based on object presence
US10267908B2 (en) * 2015-10-21 2019-04-23 Waymo Llc Methods and systems for clearing sensor occlusions
DE102016101455A1 (de) * 2016-01-27 2017-07-27 Terraloupe Gmbh Positionsbestimmungsvorrichtung und Erdoberflächenmodell-Datenbank
US10269075B2 (en) 2016-02-02 2019-04-23 Allstate Insurance Company Subjective route risk mapping and mitigation
US20170227366A1 (en) * 2016-02-10 2017-08-10 Delphi Technologies, Inc. Automated Vehicle Map Updates Based On Human Verification
DE102016204011A1 (de) * 2016-03-11 2017-09-14 Robert Bosch Gmbh Vorrichtung zur Ermittlung einer Dejustage einer an einem Fahrzeug befestigten Detektionseinrichtung
US9877470B2 (en) 2016-05-10 2018-01-30 Crinklaw Farm Services, Inc. Robotic agricultural system and method
US10149468B2 (en) 2016-05-10 2018-12-11 Crinklaw Farm Services, Inc. Robotic agricultural system and method
US20200183009A1 (en) * 2016-05-17 2020-06-11 Pioneer Corporation Information output device, terminal device, control method, program and storage medium
US10852744B2 (en) 2016-07-01 2020-12-01 Uatc, Llc Detecting deviations in driving behavior for autonomous vehicles
DE102016212146A1 (de) * 2016-07-04 2018-01-04 Audi Ag Verfahren zur Lokalisierung eines Kraftfahrzeugs und Kraftfahrzeug
US10471904B2 (en) * 2016-08-08 2019-11-12 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for adjusting the position of sensors of an automated vehicle
EP3503703B8 (en) 2016-08-29 2023-10-18 Guss Automation LLC Robotic agricultural system and method
KR20190062390A (ko) 2016-10-11 2019-06-05 모빌아이 비젼 테크놀로지스 엘티디. 검출된 배리어에 기반한 차량의 항법
US10169999B2 (en) * 2016-11-10 2019-01-01 Allstate Solutions Private Limited Identifying roadway obstacles based on vehicular data
US10515390B2 (en) 2016-11-21 2019-12-24 Nio Usa, Inc. Method and system for data optimization
US10338591B2 (en) 2016-11-22 2019-07-02 Amazon Technologies, Inc. Methods for autonomously navigating across uncontrolled and controlled intersections
JP2020515950A (ja) * 2017-03-31 2020-05-28 エイ・キューブド・バイ・エアバス・エル・エル・シー 乗り物センサを較正するためのシステムおよび方法
US10838415B2 (en) * 2017-09-01 2020-11-17 Qualcomm Incorporated Systems and methods for automatically customizing operation of a robotic vehicle
US10635109B2 (en) 2017-10-17 2020-04-28 Nio Usa, Inc. Vehicle path-planner monitor and controller
US10935978B2 (en) * 2017-10-30 2021-03-02 Nio Usa, Inc. Vehicle self-localization using particle filters and visual odometry
US10755111B2 (en) 2018-01-29 2020-08-25 Micron Technology, Inc. Identifying suspicious entities using autonomous vehicles
DE102018104781A1 (de) * 2018-03-02 2019-09-05 Sick Ag Verfahren und Vorrichtung zum Ergänzen einer elektronisch nutzbaren Repräsentation einer Umgebung
US11269326B2 (en) * 2018-03-07 2022-03-08 Mile Auto, Inc. Monitoring and tracking mode of operation of vehicles to determine services
US11727794B2 (en) 2018-03-14 2023-08-15 Micron Technology, Inc. Systems and methods for evaluating and sharing human driving style information with proximate vehicles
US11009876B2 (en) 2018-03-14 2021-05-18 Micron Technology, Inc. Systems and methods for evaluating and sharing autonomous vehicle driving style information with proximate vehicles
US10997429B2 (en) * 2018-04-11 2021-05-04 Micron Technology, Inc. Determining autonomous vehicle status based on mapping of crowdsourced object data
US11161518B2 (en) 2018-06-15 2021-11-02 Micron Technology, Inc. Detecting road conditions based on braking event data received from vehicles
US10176405B1 (en) * 2018-06-18 2019-01-08 Inception Institute Of Artificial Intelligence Vehicle re-identification techniques using neural networks for image analysis, viewpoint-aware pattern recognition, and generation of multi- view vehicle representations
GB201814566D0 (en) * 2018-09-07 2018-10-24 Tomtom Global Content Bv Methods and systems for determining the position of a vehicle
US11270162B2 (en) * 2018-10-30 2022-03-08 Here Global B.V. Method and apparatus for detecting objects of interest in an environment
DE102018127059A1 (de) 2018-10-30 2020-04-30 Daimler Ag Verfahren zur Überprüfung mindestens eines Umfelderfassungssensors eines Fahrzeugs
DE102019203484A1 (de) * 2019-03-14 2020-09-17 Zf Friedrichshafen Ag Verfahren, Vorrichtung und System zur Navigation autonomer Fahrzeuge
DE102019206021A1 (de) * 2019-04-26 2020-10-29 Robert Bosch Gmbh Verfahren zur Erkennung einer Funktionsfähigkeit eines Umgebungssensors, Steuergerät und Fahrzeug
DE102019206918B3 (de) * 2019-05-13 2020-10-08 Continental Automotive Gmbh Positionsbestimmungsverfahren und Positionsbestimmungseinrichtung
GB2585938B (en) * 2019-07-26 2023-09-13 Arm Ip Ltd Recognition apparatus and method
US11474530B1 (en) 2019-08-15 2022-10-18 Amazon Technologies, Inc. Semantic navigation of autonomous ground vehicles
IT202100033116A1 (it) * 2021-12-30 2023-06-30 Prinoth Spa Veicolo cingolato e metodo di localizzazione di un veicolo cingolato

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007094371A1 (ja) * 2006-02-16 2007-08-23 Pioneer Corporation データ更新装置、データ更新方法、データ更新プログラムおよび記録媒体
US20080240505A1 (en) * 2007-03-30 2008-10-02 Aisin Aw Co., Ltd. Feature information collecting apparatuses, methods, and programs
JP2009264983A (ja) * 2008-04-25 2009-11-12 Mitsubishi Electric Corp 位置標定装置、位置標定システム、位置標定システムのユーザインタフェース装置、位置標定システムの標定サーバ装置および位置標定方法
WO2012160630A1 (ja) * 2011-05-20 2012-11-29 株式会社日立製作所 軌跡補正方法、軌跡補正装置および移動体装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983802B2 (en) * 1997-10-22 2011-07-19 Intelligent Technologies International, Inc. Vehicular environment scanning techniques
WO2001011388A1 (en) * 1999-08-06 2001-02-15 Roadrisk Technologies, Llc Methods and apparatus for stationary object detection
JP4600357B2 (ja) 2006-06-21 2010-12-15 トヨタ自動車株式会社 測位装置
US7840352B2 (en) 2006-09-05 2010-11-23 Honeywell International Inc. Method and system for autonomous vehicle navigation
JP4944551B2 (ja) 2006-09-26 2012-06-06 日立オートモティブシステムズ株式会社 走行制御装置、走行制御方法、および、走行制御プログラム
US8224500B2 (en) * 2008-09-11 2012-07-17 Deere & Company Distributed knowledge base program for vehicular localization and work-site management
US8818567B2 (en) 2008-09-11 2014-08-26 Deere & Company High integrity perception for machine localization and safeguarding
US20110046784A1 (en) 2009-08-18 2011-02-24 Noel Wayne Anderson Asymmetric stereo vision system
JP4866951B2 (ja) 2009-09-16 2012-02-01 株式会社日立製作所 測位組み合わせ決定システム
US8670897B1 (en) * 2009-12-02 2014-03-11 Feeney Wireless, LLC Mobile in-vehicle communication and routing apparatus, system, and method
JP5057184B2 (ja) 2010-03-31 2012-10-24 アイシン・エィ・ダブリュ株式会社 画像処理システム及び車両制御システム
DE102011012081B4 (de) * 2011-02-23 2014-11-06 Audi Ag Kraftfahrzeug
US8078349B1 (en) 2011-05-11 2011-12-13 Google Inc. Transitioning a mixed-mode vehicle to autonomous mode
US9511751B2 (en) * 2011-07-22 2016-12-06 GM Global Technology Operations LLC Object identification and active safety control for vehicles
US8583361B2 (en) * 2011-08-24 2013-11-12 Modular Mining Systems, Inc. Guided maneuvering of a mining vehicle to a target destination

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007094371A1 (ja) * 2006-02-16 2007-08-23 Pioneer Corporation データ更新装置、データ更新方法、データ更新プログラムおよび記録媒体
US20080240505A1 (en) * 2007-03-30 2008-10-02 Aisin Aw Co., Ltd. Feature information collecting apparatuses, methods, and programs
JP2008249479A (ja) * 2007-03-30 2008-10-16 Aisin Aw Co Ltd 地物情報収集装置及び地物情報収集方法
JP2009264983A (ja) * 2008-04-25 2009-11-12 Mitsubishi Electric Corp 位置標定装置、位置標定システム、位置標定システムのユーザインタフェース装置、位置標定システムの標定サーバ装置および位置標定方法
WO2012160630A1 (ja) * 2011-05-20 2012-11-29 株式会社日立製作所 軌跡補正方法、軌跡補正装置および移動体装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016130896A (ja) * 2015-01-13 2016-07-21 株式会社デンソー 障害物識別装置、及び障害物識別システム
JP2020194571A (ja) * 2015-02-10 2020-12-03 モービルアイ ビジョン テクノロジーズ リミテッド 自律車両ナビゲーションのための疎な地図
JP7077517B2 (ja) 2015-02-10 2022-05-31 モービルアイ ビジョン テクノロジーズ リミテッド 自律車両ナビゲーションで使用する陸標を識別するシステム、及び、自律車両ナビゲーションで使用する陸標を識別する方法
JP2017067464A (ja) * 2015-09-28 2017-04-06 クラリオン株式会社 情報処理装置
KR20190105285A (ko) * 2018-03-05 2019-09-17 재단법인 다차원 스마트 아이티 융합시스템 연구단 이미지 워핑을 이용한 오브젝트 디텍팅 방법 및 시스템
KR102055496B1 (ko) * 2018-03-05 2019-12-12 재단법인 다차원 스마트 아이티 융합시스템 연구단 이미지 워핑을 이용한 오브젝트 디텍팅 방법 및 시스템
JP2022535887A (ja) * 2019-06-07 2022-08-10 ビーエーエスエフ コーティングス ゲゼルシャフト ミット ベシュレンクテル ハフツング 物体認識システムのための少なくとも1つのグラウンドトゥルースデータベースを形成するための装置及び方法
JP7402898B2 (ja) 2019-06-07 2023-12-21 ビーエーエスエフ コーティングス ゲゼルシャフト ミット ベシュレンクテル ハフツング 物体認識システムのための少なくとも1つのグラウンドトゥルースデータベースを形成するための装置及び方法

Also Published As

Publication number Publication date
US8825371B2 (en) 2014-09-02
JP6359825B2 (ja) 2018-07-18
DE102013113096A1 (de) 2014-06-26
US9062977B2 (en) 2015-06-23
US20140324336A1 (en) 2014-10-30
US20140172290A1 (en) 2014-06-19

Similar Documents

Publication Publication Date Title
JP6359825B2 (ja) 車両のための装置及び方法、及び、その方法を実行するための命令を含む記憶媒体
US10259457B2 (en) Traffic light anticipation
CN107683234B (zh) 周边环境识别装置以及计算机程序产品
CN104691447B (zh) 用于动态地聚焦车辆传感器的系统和方法
KR102279078B1 (ko) 자율 주행 차량의 v2x 통신 기반의 차량 차로 시스템
JP6493282B2 (ja) サーバー及び情報提供装置
JP2019145175A (ja) 出力装置、地図情報記憶装置、自動運転制御装置、出力方法、プログラム及び記憶媒体
US20180326997A1 (en) Destination changes in autonomous vehicles
CN110347145A (zh) 用于自动驾驶车辆的感知辅助
US11520339B2 (en) Systems and methods for changing a destination of an autonomous vehicle in real-time
US10860868B2 (en) Lane post-processing in an autonomous driving vehicle
US10152635B2 (en) Unsupervised online learning of overhanging structure detector for map generation
CN111177288A (zh) 用于导出自主车辆启用的可行驶地图的系统
CN113167592A (zh) 信息处理设备、信息处理方法和信息处理程序
CN109085818A (zh) 基于车道信息控制自动驾驶车辆的车门锁的方法和系统
CN114329237A (zh) 接载位置的语义识别
EP3588007B1 (en) Information processing method and information processing device
US10421396B2 (en) Systems and methods for signaling intentions to riders
KR20200084446A (ko) 전자 장치 및 그의 제어 방법
US11352011B2 (en) Information processing system, program, and information processing method
CN106627576B (zh) 用于根据目的地类型控制车辆的方法
US20230331237A1 (en) Method and apparatus for generating personalized splines
US20220222946A1 (en) Traffic environment recognition device and vehicle control device
JP2022093646A (ja) 端末装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160901

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170822

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20171121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180522

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180621

R150 Certificate of patent or registration of utility model

Ref document number: 6359825

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350