JP2017523392A - 進路変更方向プレビューの生成 - Google Patents

進路変更方向プレビューの生成 Download PDF

Info

Publication number
JP2017523392A
JP2017523392A JP2016568019A JP2016568019A JP2017523392A JP 2017523392 A JP2017523392 A JP 2017523392A JP 2016568019 A JP2016568019 A JP 2016568019A JP 2016568019 A JP2016568019 A JP 2016568019A JP 2017523392 A JP2017523392 A JP 2017523392A
Authority
JP
Japan
Prior art keywords
images
computing devices
preview
image
subset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016568019A
Other languages
English (en)
Other versions
JP6336623B2 (ja
Inventor
アラン・シェリダン
ダニエル・ジョセフ・フィリップ
ジェレミー・ブライアント・パック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2017523392A publication Critical patent/JP2017523392A/ja
Application granted granted Critical
Publication of JP6336623B2 publication Critical patent/JP6336623B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3644Landmark guidance, e.g. using POIs or conspicuous other objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3647Guidance involving output of stored or live camera images or video streams

Abstract

本開示の太陽は、進路変更方向プレビューを生成することに関する。一態様において、1つまたは複数のコンピュータデバイスは、進路変更方向プレビューについての要求を受信してもよい。1つまたは複数のコンピューティングデバイスは、第1の地理的位置Aと第二の地理的位置Bに接続する一連の道路区分1−4に基づいて、進路変更方向のセットを生成してもよい。進路変更方向セットの各方向は、中継地点に関連してもよい。1つまたは複数のコンピューティングデバイスは、進路変更方向のセットの2つの隣接した中継地点間の一連の道路区分に対応する画像のセットを次いで識別し、および進路変更方向プレビューに含まれる画像のセットのサブセットを決定する。続いて、1つまたは複数のコンピューティングデバイスは、画像のセットの決定されたサブセットに少なくとも部分的に基づいて、進路変更方向プレビューを生成してもよい。

Description

[関連するアプリケーションの相互参照]
本出願は、2014年6月27日に出願された米国特許出願第14/317,706号(特許番号第9,002,647号)、および2015年3月6日に出願された米国特許出願第14/640,524の継続出願であり、その内容は参照により本明細書に組み込まれる。
ナビゲーションデバイスおよびウェブベースの地図インタフェースは、ユーザに異なる地理的位置の入力と、それらの位置につながる様々なルートに沿って進路変更方向を見ることを可能にする。進路変更方向に加えて、いくつかのデバイスおよびウェブベースのアプリケーションは、ユーザがルート上の通りレベルのパノラマ画像を見る、またはルートの近くの特定の部分を見ることを可能にしてもよい。通りレベルのパノラマ画像は、観測者を囲む特定の領域の広い視野を含む、通りレベルの絵または写真であってもよい。例えば、通りレベルのパノラマ画像は、商業ビルまたは住居ビルのような1つまたは複数のビル、様々な目印、樹木、車両、隣接した道路等を含んでもよい。
1つの態様において、進路変更方向プレビューを生成するための方法は、1つまたは複数のコンピューティングデバイスを使用して、進路変更方向プレビューのための要求を受信するステップと、1つまたは複数のコンピューティングデバイスを使用して、第1の地理的位置および第2の地理的位置に接続する一連の道路区分に基づいて進路変更方向のセットを生成するステップであって、ここで進路変更方向のセットの各方向は、対応する中継地点に関連する、生成するステップと、を含む。また、該方法は、1つまたは複数のコンピューティングデバイスを使用して、進路変更方向のセットの2つの隣接した中継地点間の一連の道路区分\\に対応する画像のセットを識別するステップと、1つまたは複数のコンピューティングデバイスを使用して、進路変更方向プレビューに含むために画像のセットのサブセットを決定するステップと、を含む。さらに、該方法は、1つまたは複数のコンピューティングデバイスを使用して、画像のセットの決定されたサブセットの少なくとも一部に基づいて、進路変更方向プレビューを生成するステップを含む。
別の態様において、システムは、メモリと、1つまたは複数のコンピューティングデバイスを含み、1つまたは複数のコンピューティングデバイスのそれぞれが、1つまたは複数のプロセッサを有し、前記1つまたは複数のコンピューティングデバイスが前記メモリに接続されている。1つまたは複数のコンピューティングデバイスは、進路変更方向プレビューのための要求を受信し、第1の地理的位置および第2の地理的位置に接続する一連の道路区分に基づいて進路変更方向のセットを生成し、ここでそれぞれの進路変更方向は、対応する中継地点を含むように構成される。さらに、1つまたは複数のコンピューティングデバイスは、進路変更方向のセットの2つの隣接した中継地点間の一連の道路区分に対応する画像のセットを識別し、進路変更方向プレビューに含むために画像のセットのサブセットを決定し、および画像のセットの決定されたサブセットの少なくとも一部に基づいて、進路変更方向プレビューを生成するように構成される。
さらに別の態様において、非一時的有形コンピュータ可読媒体は、その中に命令が保存され、命令が1つまたは複数のコンピューティングデバイスによって実行されるとき、進路変更方向プレビューのための要求を受信するステップと、第1の地理的位置および第2の地理的位置に接続する一連の道路区分に基づいて進路変更方向のセットを生成するステップであって、ここでそれぞれの進路変更方向は、対応する中継地点を含む、生成するステップと、を含む方法を実行する。また、該方法は、進路変更方向のセットの2つの隣接した中継地点間のそれぞれの道路区分のための通りレベルパノラマ画像のセットを識別するステップと、通りレベルパノラマ画像のセットの任意の通りレベルパノラマ画像が、2つの隣接した中継地点のそれぞれからの閾値距離外であるか否かを決定するステップと、を含む。該決定に基づいて、該方法は、閾値距離外である通りレベルパノラマ画像を削除するために通りレベルパノラマ画像のセットをフィルタリングするステップと、少なくともフィルタリングされた通りレベルパノラマ画像のセットに基づいて、進路変更方向プレビューを生成するステップと、を含む。
本開示の態様に従ったシステムの機能図である。 本開示の態様に従ったシステム例の絵図である。 本開示の態様に従ったスクリーンショット例である。 本開示の態様に従った進路変更方向例の略図である。 本開示の態様に従った画像フィルタリング技術の例である。 本開示の態様に従った画像フィルタリング技術の別の例である。 本開示の態様に従ったマップデータの例である。 本開示の態様に従った流れ図の例である。 本開示の態様に従った流れ図の別の例である。
[概要]
本開示は、進路変更方向からのプレビューを生成することに関する。例えば、ユーザは、地理的位置間の進路変更方向のセットを要求してもよい。ユーザはまた、ルートを辿る前に進路変更方向のプレビューを望んでもよい。それに応じて、進路変更方向プレビューは、該ルートのために生成されてもよい。それに沿って、ユーザは、例えば様々な位置とルート沿いの中継地点の画像(パノラマ画像を含む)を動的にプレビューすることができてもよい。本明細書で使用する場合、「中継地点」という用語は、経路に沿ったルートまたは方向を定義するのに役立つルートに沿ったポイントを含むが、それに限定されない、明白かつ通常の意味を含む。例えば、中継地点は、方向に含まれる道路に沿ったポイント、つまり、目印、記念碑、またはルート沿いのビジネス施設、方向を変えるべき位置またはその近くにある位置等であってもよい。
2つ以上または3つ以上の様々な位置間の進路変更方向プレビューのための要求に応答して、道路区分のような地図情報は、進路変更方向およびルートのセットを決定するために使用されてもよい。各道路区分は、道路区分の全体的な形、方位、位置、制限速度、道路区分の近くの目印及び/又は1つまたは複数の施設等を表す固有の識別子に関連してもよい。一例において、これらの一連の道路区分は、2つの位置間の進路変更方向およびルートのセットを生成するために接続されてもよい。さらに、進路変更方向のセットの各曲がり角は、中継地点と考えられてもよい。その際、2つの中継地点は、1つ又は複数の道路区分によって接続されてもよい。
一旦進路変更方向のセットが決定されると、ルートの進路変更方向プレビューは、進路変更方向の一連の道路区分に関連する画像から生成されてもよい。例えば、各道路区分は、道路区分に沿ってあらかじめ移動されたカメラによってキャプチャされた画像(例えば、通りレベルのパノラマ画像)のセットに関連してもよい。各セットにおけるパノラマ画像の数は、例えば、0以上であってもよい。
進路変更方向の各道路区分に関連する画像のセットは、進路変更プレビューのためのより大きな画像のセットとして、一緒につなげられてもよい。しかしながら、進路変更プレビューのための画像のこのセットは、とりわけ多くの画像を含み、および画像の少なくともいくつかを削除するためにフィルタリングを必要とすることがある。例えば、進路変更方向の中継地点に近い画像は、進路変更方向プレビューを生成するために使用されてもよいが、遠くの画像は除外されてもよい。この際、フィルタリングプロセスは、プレビュー中にユーザの興味を失う可能性を低減するために、画像の数を減らす。プレビューはまた、クロスフェードまたは画像ジャンプなどの様々な遷移技術を使用して、1つのパノラマ画像を別のパノラマ画像に遷移することができる。
進路変更方向プレビューのための画像のセットは、重要ではないあるいは過度の繰り返しのために冗長である、等の様々な要因に基づいてフィルタリングされてもよい。例えば、ルートに沿った中継地点から特定の距離(例えば、0.25マイル)を越えた画像は、進路変更方向プレビューから除外されてもよい。別の例において、各道路区分に関連する画像の閾値数(例えば、10)のみが、進路変更プレビューのための画像のセットに含まれてもよい。さらに別に例において、各道路区分に沿って所定の間隔(例えば、5マイル毎)の画像のみが含まれてもよい。例えば、道路区分に沿った距離がxマイル(例えば、80マイル)より大きい場合、進路変更プレビューのための画像のセットには、yマイル(例えば、8マイル)毎の画像のみが含まれる。
さらに別の例において、ルートに沿った識別点に対応する画像は、進路変更方向プレビューのための画像のセットに含まれてもよい。例えば、道路から橋への遷移およびその逆、ならびに目印の画像を示す画像が含まれてもよい。このような目印は、訪問データ(例えば、訪問された眺望ポイント)、エリアまたはオブジェクトが何回撮影されたか(例えば、多くの写真は、他の物体であるように見える給水塔のような興味深いモニュメントが撮影されることが知られている)を含む人気などに基づいて含まれてもよい。
上述した進路変更方向プレビューは、前もってビデオに所定のルートのための全ての画像をプリコンパイルする必要なしに、即座にかつ動的に生成されてもよい。さらに、ルートの各道路区分に関連する1つまたは複数のパノラマ画像をフィルタリングすることによって、ユーザは関連性のある/有用な画像かつ繰り返さない画像をプレビューすることができてもよい。さらに、特定のパノラマ画像を除外することは、最終的にシステムリソースを節約することができる。
[システム例]
図1および2は、本明細書に記載された態様で実装され得る、1つの可能なシステム例100を図示する。図1において、システム100は、クライアントコンピューティングデバイス110、130、および160を含んでもよい。図示するように、1つまたは複数のクライアントコンピューティングデバイス110は、1つまたは複数のプロセッサ112、メモリ114、ディスプレイ120、および汎用コンピューティングデバイスに一般的に存在する他のコンポーネントを含んでもよい。図1は、単体のブロックとしても表される1つまたは複数のクライアントコンピューティングデバイス110内の単一ブロックとしてプロセッサ112とメモリ114のそれぞれを機能的に表しているが、本明細書に記載のシステムおよび方法は、同一の物理的筐体内に保存されてもよいし、されなくてもよい、複数のプロセッサ、メモリ、およびデバイスを含んでもよい。例えば、単一のコンピュータ(例えば、1つ又は複数のプロセッサ112)を含むものとして以下に記載される様々な例および方法は、複数のコンポーネント(例えば、コンピューティングデバイス、コンピュータ、“ラック”等のネットワークを介して分散された複数のコンピューティングデバイス、さらに、ロードがコンピューティングデバイス間からシフトされるとき、異なる時間で異なるコンピューティングデバイスによって実行されてもよい実施形態によって実行される様々な機能)を含んでもよい。同様に、異なるコンポーネント(例えば、クライアントコンピューティングデバイス110、130、および160)を含んでいるとして以下に記載される様々な例および方法は、単一のコンポーネント(例えば、クライアントコンピューティングデバイス130が以下で記載される決定を実行するのではなく、むしろ、クライアントコンピューティングデバイス130が1つまたは複数のクライアントコンピューティングデバイス110に関連するデータを送信してもよく、およびさらに処理あるいは表示するために、決定の結果を受信してもよい)を含んでもよい。
1つまたは複数のクライアントコンピューティングデバイス110のメモリ114は、1つまたは複数のプロセッサ112によってアクセス可能な、プロセッサによって実行され得る命令116を含む、情報を保存してもよい。メモリ114は、1つまたは複数のプロセッサ112によって読み出される、操作される、あるいは格納され得るデータ118も含んでもよい。本明細書に記載されるメモリ114および他のメモリは、ハードディスクドライブ、半導体ドライブ、メモリカード、RAM、ROM、DVD、書き込み可能メモリまたは読み出し専用メモリなどの関連性のあるプロセッサによってアクセス可能な情報を記憶することができる任意のタイプの記憶装置であってもよい。さらに、メモリは、データ118のようなデータが同一あるいは異なる地理的位置に物理的に位置し得る複数の異なるストレージデバイス上に格納される、分散型ストレージシステムを含んでもよい。
命令116は、1つまたは複数のプロセッサ112または別のコンピューティングデバイスによって実行される命令の任意のセットであってもよい。その関連で、「命令」「アプリケーション」「ステップ」および「プログラム」という用語は、本明細書において区別せずに用いられ得る。命令は、プロセッサによって即時に処理するためにオブジェクトコードフォーマットで格納されてもよく、あるいは要求に応じてインタープリッとされるかまたは事前にコンパイルされる、独立ソースコードモジュールのスクリプトまたは集合を含む別のコンピューティングデバイス言語で格納されてもよい。命令の機能、方法、およびルーチンは、以下でより詳細に説明される。1つまたは複数のプロセッサ112はそれぞれ、市販の中央処理装置(CPU)またはグラフィックス処理装置(GPU)などの任意の従来のプロセッサであってもよい。あるいは、プロセッサは、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、あるいは他のハードウェアベースのプロセッサなどのような専用コンポーネントであってもよい。
データ118は、命令116に従って、1つまたは複数のクライアントコンピューティングデバイス110によって読み出され、格納され、あるいは変更されてもよい。例えば、本明細書に記載される主題は、任意の特定のデータ構造によって制限されないが、データは、コンピュータレジスタに格納されてもよく、多くの異なるフィールドあるいはレコード、またはXMLドキュメントを有するテーブルとして関係型データベースに格納されてもよい。データは、これらに限定されることはないが、バイナリ値、ASCIIまたはUnicodeなどの任意のコンピューティングデバイス可読フォーマットにフォーマットされてもよい。さらに、データは、数、説明文、商標コード、ポインタ、他のネットワーク位置のような他のメモリ内に記憶されたデータへの参照、あるいは関係データを計算するための関数によって使用される情報などの、関連する情報を識別するために十分な任意の情報を含んでもよい。図3乃至6に関してより詳細に以下に説明するように、データ118は、例えば少なくとも進路変更の方向、道路区分、中継地点、様々な道路区分に関連するパノラマ画像、フィルタリングされたパラメータなどを含んでもよい。
本明細書に記載されるディスプレイ120および別のディスプレイは、スクリーンを備えたモニタ、タッチスクリーン、プロジェクタ、あるいはテレビジョンのような、任意の種類のディスプレイであってもよい。1つまたは複数のコンピューティングデバイス110のディスプレイ120は、グラフィカルユーザインタフェース(GUI)またはユーザインタフェースの別の種類を介して、ユーザに情報を電子的に表示してもよい。例えば、以下に議論されるように、ディスプレイ120は、道路区分に対応する2つの地理的位置間の進路変更方向と中継地点と一緒に、地図インタフェースを含むウェブブラウザを電子的に表示してもよい。
さらに、クライアントコンピューティングデバイス110、130、および160は、ネットワーク170の1つのノードに位置してもよく、および例えば1つまたは複数のサーバコンピューティングデバイス140またはストレージシステム150のような、ネットワーク170の別のノードと直接的にあるいは間接的に通信することができる。図1には、いくつかのコンピューティングデバイスしか示していないが、代表的なシステムは、ネットワーク170の異なるノードに位置する各異なるコンピューティングデバイスを備えた、多数の接続されたコンピューティングデバイスを含んでもよい。本明細書で記載されるネットワーク170および介在ノードは、ネットワークが、インターネット、ワールド・ワイド・ウェブ、固有のイントラネット、ワイド・エリア・ネットワーク、あるいはローカルネットワークの一部であってもよいというような、様々なプロトコルおよびシステムを使用して相互接続されてもよい。ネットワークは、イーサネット(登録商標)、Wi-Fi、およびHTTPプロトコルのような標準的な通信プロトコル、1つまたは複数の企業に独占的なプロトコル、およびそれらの様々な組合せを利用してもよい。上述のように、情報が送信または受信されるとき、特定の利点が得られるが、本明細書に記載される主題の他の態様は、情報の特定の送信方法に限定されない。
一例として、1つまたは複数のサーバコンピューティングデバイス140は、ネットワーク170を介して1つまたは複数のクライアントコンピューティングデバイス110と通信することができるウェブサーバであってもよい。図2に関してより詳細に後述するように、クライアントコンピューティングデバイス110、130、および160は、クライアントコンピューティングデバイス、あるいは他のユーザデバイスであってもよく、1つまたは複数のサーバコンピューティングデバイス140は、クライアントコンピューティングデバイス110、130、および160のユーザに情報を送信および提供するために、ネットワーク170を使用することによって表示のための情報を提供してもよい。
別の例として、ストレージシステム150は、データ118に保存されているものに加えて、様々な進路変更方向、道路区分、中継地点、進路変更方向プレビューに含むための画像、画像データ、画像特性、フィルタ等を保存してもよい。保存された道路区分は、進路変更方向およびルートを決定するために使用されてもよい。さらに、ストレージシステム150は、画像および道路区分に関連する固有の識別子を保存してもよい。例えば、画像は、通りレベルのパノラマ画像、写真、絵等であってもよい。固有の識別子は、道路区分の全体的な形状、方向、位置、制限速度、ランドマーク及び/又は施設を表すことができる。
通りレベルの画像の例は、地面にほぼ垂直な角度で、カメラによってキャプチャされた、または地面またはその近くに配置されているカメラによってキャプチャされた、地理的オブジェクト、人物、及び/又は物体の画像である。従って、通りレベルの画像は、ビル、歩道、通り、車両、人物、街灯、標識、広告、樹木、彫刻、水域、店舗、目印などの様々な地理的オブジェクトを表すことができる。
パノラマ画像のような画像は、画像の方向を示す情報に関連してもよい。例えば、通りレベルの画像が、標準的な写真を含む場合、方向は、単純にカメラの角度であってもよい。通りレベルの画像が、画像に関連する地理的位置を中心とする360度パノラマのようなパノラマ画像である場合、方向は、地面に直接平行な角度で、カメラ位置から真北を見ることに対応する画像の一部を示してもよい。さらに、上述された画像は、画像の位置(例えばGPS座標)、時刻または磁気、デバイスの方向(例えば、角度、傾斜、ロール(roll)及び/又はコンパス(compass)点)、加速度計情報、GPS位置の精度、GPS位置統計(例えば、都市vs田舎vs荒野)等を含み得るメタデータを含んでもよい。
メモリ114と同様に、ストレージシステム150は、ハードドライブ、メモリカード、ROM、RAM、DVD、CD-ROM、書き込みケーブル、および読出し専用メモリなどの、1つまたは複数のサーバコンピューティングデバイス140によってアクセス可能な情報を格納することができる任意の種類のコンピュータ化されたストレージとすることができる。さらに、ストレージシステム150は、データが同じまたは異なる地理的位置に物理的に位置され得る複数の異なるストレージデバイスに保存される、分散ストレージシステムを含んでもよい。ストレージシステム150は、図1に示されるようなネットワーク170を介してクライアントコンピューティングデバイスに接続してもよく、及び/又は例えば110、130、および160(図示せず)のような任意のクライアントコンピューティングデバイスに直接接続されるか組み込まれてもよい。その関連で、メモリ114に保存されたデータ118は、ストレージシステム150から読み出されてもよい。
例えば、1つまたは複数のクライアントコンピューティングデバイス110は、(図2で示される)ユーザ216によって使用されるように意図されたラップトップなどのパーソナルコンピューティングデバイス210であってもよい。パーソナルコンピューティングデバイス210は、CPUまたはGPU、データおよび命令を格納するメモリ、ディスプレイ212のようなディスプレイ(例えば、スクリーン、タッチスクリーン、プロジェクタ、テレビジョン、あるいは情報を表示するために使用可能な別のデバイスを有するモニタ)、およびユーザ入力デバイス214(例えば、マウス、キーボード、タッチスクリーン、マイクロフォンなど)の、パーソナルコンピューティングデバイスに関連して通常使用される全てのコンポーネントを有してもよい。さらに、パーソナルコンピューティングデバイス210は、その位置および向きを決定するためのコンポーネント(図示せず)を含んでもよい。例えば、これらのコンポーネントは、デバイスの緯度、経度及び/又は高度を決定するGPSレシーバのほかに、加速度計、ジャイロスコープ、または他の類似の装置も含んでもよい。
別の例において、クライアントコンピューティングデバイス130は、ユーザ232による使用を対象とした、頭部装着型のコンピューティングシステム、またはコンピューティングブレスレット、コンピューティングリング、コンピューティング時計等の装着型コンピューティングデバイスを含んでもよい。さらなる例において、クライアントコンピューティングデバイス160は、ユーザ262による使用を対象とし、インターネットなどのネットワークを介してサーバとデータを無線で交換することができるモバイルコンピューティングデバイス260を含んでもよい。ほんの一例として、モバイルコンピューティングデバイス260は、携帯電話またはインターネットを介して情報を取得することができる無線対応PDA、タブレットPC、あるいはネットブックなどのデバイスであってもよい。
デバイスは、オペレーティングシステムで動作するように構成されてもよい。これに関して、本明細書で記載される動作中に実行されるいくつかの命令は、オペレーティングシステムによって提供されてもよく、他の命令は、デバイスにインストールされたアプリケーションによって提供されてもよい。図1および2に示すクライアントコンピューティングデバイス110、130、および160、および本明細書に記載のシステムおよび方法に従った別のコンピューティングデバイスは、命令を処理し、人間及び/又はローカルストレージ機能を持たないネットワークコンピュータやテレビ用のセットトップボックスを含む他のコンピュータとデータを送受信することができる他のデバイスを含んでもよい。
[方法例]
上記で説明されかつ図に示された動作に加えて、様々な動作がここで説明される。以下の動作は、以下で説明する正確な順序で実行される必要はない。むしろ、様々なステップは異なる順序で、または同時に扱うことができ、ステップは追加または省略することもできる。
図3は、本開示の態様に従った、ウェブベース地図インタフェース例300である。例えば、ユーザは、地理的位置“A”と地理的位置“B”との間の進路変更運転案内の取得及び/又はプレビューを望んでもよい。この例において、位置Aは、開始地点であり、および地理的位置Bは目的地点である。初めに、ユーザは、クライアントコンピューティングデバイス110、130、または160のような、彼又は彼女のクライアントコンピューティングデバイス上のウェブブラウザを開いてもよい。次いで、ユーザは、図示されているようにURLアドレス(例えば、www.a.com)を入力し、ウェブベースの地図インタフェースにアクセスして、位置AとBとの間の進路変更運転案内のプレビューを要求してもよい。
ユーザは、最初にウェブベースの地図インタフェース300に情報を入力してもよい。例えば、地図インタフェース300は、開始フィールド310および目的フィールド320のような入力フィールドを含んでもよい。従って、ユーザは、開始フィールド310に位置Aを入力し、および目的フィールド320に位置Bを入力してもよい。ほんの一例として、位置Aは、忙しい大都市圏に位置するレストランのアドレスであってもよく、および位置Bは、町のいくつかのブロックを超えた菓子店であってもよい。様々な位置の物理的アドレスが開始および目的地点として入力されてもよいが、ユーザは、地図インタフェース300が場所を識別できるようにする他のタイプの命令を入力してもよい。例えば、ユーザは、所望の場所の名前(例えば、ABC公園、XYZカフェなど)あるいは場所のタイプ(例えば、博物館、図書館、鉄道駅)を入力してもよい。この情報は、1つ又は複数のルートのための進路変更方向を決定するために、サーバコンピューティングデバイス140のような1つまたは複数のサーバコンピューティングデバイスに送信されてもよく、および図3に例として示すように、表示のためにクライアントに進路変更方向を送信してもよい。
一旦、ユーザが開始地点および目的地点を入力すると、1つまたは複数のサーバコンピューティングデバイスは、2つの位置を接続する進路変更方向の1つまたは複数のセットを含む、仮想の地図を表示してもよい。例えば、図3に示すように、地図330は、位置AおよびBにまたがる関連する地理的位置だけを表示してもよい。必要に応じて、ユーザは、地図330の右下に位置し得るプラス/マイナスアイコンを介して、地理的領域をズームインまたはズームアウトすることができる。さらに、地図330は、進路変更方向のセット、進路変更方向に沿った道路区分、関連した中継地点、道程全体を示すマーカ、およびウェブベースの地図インタフェースに関連する別の特徴を含んでもよい。
いくつかの例において、地図インタフェースは、2つの地理的位置間の進路変更方向の2つ以上のセットを表示してもよい。図3に示すように、地図330は、位置AとBを接続する進路変更方向の2つの異なるセットを含んでもよい。一例において、進路変更方向332の第1のセットは、実線で表される。別の例において、進路変更方向334の第2のセットは、破線で表される。
地図インタフェース300は、進路変更方向について、ユーザにさらに通知するために、距離マーカ336および338のような地図330上の様々な情報マーカを含んでもよい。例えば、距離マーカ336は、進路変更方向の第1のセット332が、0.88マイルの全長距離を有することを示す。別の例において、距離マーカ338は、進路変更方向の第2のセット334が、1.00マイルの全長距離を有することを示す。さらに、地図インタフェースは、ユーザがルートをどれくらい長く移動することが予想されるかを示す時間マーカ(図示せず)を含んでもよく、あるいは特定のルート沿いの交通流量の集中を示すトラフィックマーカ(図示せず)を含んでもよい。
上述したように、進路変更方向のセットは、1つ以上の中継地点と、2つの隣接した中継地点間の1つ以上の進路区分とを含んでもよい。中継地点は、方向の変更が必要なポイントと考えられてもよい。ほんの一例として、進路変更方向の第1のセット332は、5つの異なる中継地点を含んでもよい。言い換えると、例えば、車両は、進路変更方向の第1のセット332を移動している間に、5つの異なる回数旋回しなければならない。図示されているように、順番は、(1)右折(2)左折(3)右折(4)左折(5)右折である。さらに、進路変更方向の第1のセット332は、開始地点Aと目的地点Bとの間を接続する19の道路区分を含んでもよい。道路区分は、その形状、地理的方向、地理的位置、道路区分に沿った制限速度、関連した画像等によって表されてもよい。
一例において、2つの中継地点間に4つの道路区分が存在してもよい。図示されているように、道路区分は、中継地点と、道路マーカ340との間に形成される。道路区分2は、道路マーカ340と別の道路マーカ342の間に形成される。同様に、道路区分3は、道路マーカ342と第3の道路マーカ344との間に形成される。さらに、道路区分4は、道路マーカ344と別の中継地点との間に形成される。道路マーカは、例えば、交通事象(例えば、標識、信号機、横断歩道など)あるいは特定の目印(例えば、レストラン、博物館、郵便局等)を表してもよい。
別の例において、進路変更方向の第2のセット334は、5つの異なる中継地点を含んでもよい。進路変更方向の第2のセット336の旋回シーケンスは、(1)左折(2)右折(3)左折(4)右折、および(5)左折であってもよい。進路変更方向の第1のセット332と同様に、進路変更方向の第2のセット334は、隣接した中継地点(図示せず)の間に複数の道路区分を含んでもよい。地図330上に進路変更方向の2つ以上のセットを表示する利点の1例は、交通量、建設、事故などのリアルタイムイベントに基づいて方向の特定のセットを選択するオプションをユーザに与えることができることである。
図3の地図330は、比較的小さい大都市圏を図示しているが、地図インタフェース300は、国の1沿岸から反対側の沿岸に及ぶ地図のような、大きな地理的領域の地図を表示してもよい。また、上述した例は、走行方向が含まれているが、進路変更方向は、車両の走行方向だけに限定されず、歩行方向、自転車方向などであってもよい。
図4は、地図330に描かれた進路変更方向332の図を含む。上述したように、進路変更方向332の開始地点Aと目的地点Bとの間の5つの異なる中継地点410、420、430、440、および450が存在する。図示されているように、道路区分460は、開始地点Aと中継地点410を接続する。道路区分462は、中継地点410と420を接続する。さらに、道路区分464は、中継地点420と430とを接続する。道路区分466は、中継地点430と440を接続する。同様に、道路区分468は、中継地点450と450を接続する。および道路区分470は、中継地点450と目的地点Bを接続する。上述したように、進路変更方向のセットの道路区分は、画像のセットに関連付けられてもよい。例えば、道路区分460、462、464、466、468、および470は、1つまたは複数の画像に関連付けられてもよい。これらの画像は、示されているように、“PI”によって示される通りレベルのパノラマ画像を含んでもよい。その点について、1つ以上のパノラマ画像が選択され、フィルタ処理し、及び/又はつなぎあわせて進路変更方向プレビューを生成することができる。
一例において、1つまたは複数のテーブルは、進路変更方向のセットおよび関連情報を描写するために使用されてもよい。ほんの一例として、テーブル480は、6つの別々の列を含んでもよい。第1列は、ユーザが選択した進路変更方向のセットの道路区分460、462、464、466、468、および470を含んでもよい。第2列は、方向に沿ったエンドツーエンドポイントのような、第1列の各道路区分についての記述を含んでもよい。例えば、道路区分462についての記述は、道路区分が中継地点410から420に接続することを含んでもよい。第3列は、接続された各道路区分の全長距離を含んでもよい。第4列は、それぞれの道路区分にそって接続された道路区分の数を含んでもよい。第5列は、道路区分に関連する画像の数を含んでもよい。第6列は、前述の任意の列に関連する1つ又は複数の固有の識別子を含んでもよい。一例において、固有の識別子は、特定の道路区分の形状、方向、位置、制限速度、交通事象等を表してもよい。固有の識別子は、タイムスタンプ、位置、画像角度などの、特定の道路区分に関連する上述された画像のメタデータを含んでもよい。
進路変更方向を示すことに加えて、テーブルは、進路変更方向に関連する情報を編成してもよい。例えば、テーブル480の最後の行は、道路区分470が、中継地点450と目的地点Bを接続し、6つの異なる道路区分に沿って0.25マイルの合計距離をカバーし、37の関連する画像を有することを示すことができる。テーブル480は、さらに道路区分470の6つの道路区分が固有の識別子“a”、“b”、“c”、“l”、“m”、および“p”に対応することを示してもよい。例えば、“a”は、全ての道路区分が南北に向いていることを示してもよい。別の例において、“b”は、全ての道路区分に沿った制限速度が、時速25マイルであることを明示してもよい。さらに別の例において、“p”は、道路区分が全て比較的直線であることを示してもよい。固有の識別子a、b、c、l、mおよびpは、全ての道路区分にわたって共通に共有し得る記述にもとづいているが、固有の識別子は、1つの特定の道路区分あるいは1つの特定の画像にそれぞれ関連してもよい。その観点から、進路変更方向のセットに関連する情報は、例えば、進路変更方向プレビューを生成するとき、1つまたは複数のコンピューティングデバイスによって、容易にアクセス可能であってもよい。
一旦進路変更方向のセット、関連する道路区分、および画像が識別されると、ルートの進路変更方向プレビューが生成される。以下にさらに記述されるように、特定の道路区分または一連の道路区分に関連する識別された画像は、進路変更方向プレビューを生成する前にフィルタリングされてもよい。次いで、道路区分に関連するフィルタリングされた画像は、進路変更方向プレビューのためのより大きな画像のセットに一緒につなげられてもよい。
多数の画像が各道路区分に関連するので、1つまたは複数のコンピューティングデバイスは、様々な理由のために少なくともいくつかの画像を削除するためにフィルタリング技術を実装してもよい。これらの理由には、画像の解像度の最大化、処理速度の向上、あるいは反復的及び/又は無関係な画像のスキップを含んでもよい。
一例において、特定の方向の中継地点の閾値距離内の画像は、進路変更方向プレビューを生成するために使用されてもよく、一方閾値距離外の画像は、プレビューから除外されてもよい。図5は、閾値距離を使用した画像フィルタリング技術例500を図示している。ほんの一例として、中継地点1および2からの特定の閾値距離外の画像は除外されてもよい。ブラケット530は、閾値距離を表してもよい。閾値距離の大きさは、中継地点に基づいてさまざまであってもよい。例えば、中継地点が高速出口の場合、閾値距離は1マイルまたはそれより比較的大きくてもよい。しかしながら、中継地点が近くの交差点でのターンである場合、閾値距離は1/2マイルまたはそれより小さいように、比較的小さくてもよい。図5の例において、中継地点1に隣接した最初の8つの画像の1つまたは複数は、ブラケット530内にある進路変更方向プレビューに含まれてもよい。同様に、中継地点2に隣接した最後の8つの画像の1つまたは複数は、閾値距離を表してもよいブラケット540内にあるので、プレビューに含まれてもよい。この点について、別の画像は、進路変更方向プレビューの画像のセットに含まれなくてもよく、あるいは進路変更方向プレビューの画像のセットからフィルタリングされてもよい。
別のフィルタリング技術は、画像の閾値数に基づいてもよい。例えば、隣接した中継地点間の閾値数の画像のみが進路変更方向プレビューに含まれてよく、一方で閾値数外の画像はプレビューから除外されてもよい。閾値数は、道路区分の全体距離に依存して変化してもよい。道路区分の距離が比較的長い、例えば80マイル(それより大きいあるいは小さい)場合、その時、閾値数は大きくてもよい。距離が比較的短い、例えば0.5マイル(それより大きいあるいは小さい)場合、その時閾値数は小さくてもよい。図5の例に戻って、中継地点1に隣接した最初の8つの画像および中継地点2に隣接した最後の8つの画像は、たとえば6のような閾値数に基づいてさらにフィルタリングされてもよい。その点について、中継地点1に近い画像502、504および506はもちろん、中継地点2に近い画像518、520、および522も進路変更方向プレビューに含まれてもよい。ブラケット530と540内の別の10の画像は、プレビューから除外されてもよい。画像の選択は、さまざまな要素に基づいてよく、例えば、距離に沿った所定の間隔で画像を含むこと、あるいは特定の目印の画像を含むこと、などである。
さらなる例において、2つの隣接した中継地点間のそれぞれの道路区分に沿った所定の間隔での画像のみが進路変更方向プレビューに含まれてもよい。例えば、図6の画像フィルタリング技術例600において、所定の間隔は、中継地点1および2間の接続された道路区分の80マイルの長さに沿ってそれぞれ8マイルであってもよい。図示のように、画像602は0マイルマーク(たとえば、ゼロ中継地点1と2との間の道路区分に沿った中継地点1からの0の中点)に対応し、画像604は8マイルマークに対応し、画像606は16マイルマークに対応し、画像608は24マイルマークに対応し、画像610は32マイルマークに対応し、画像612は40マイルマークに対応し、画像614は48マイルマークに対応し、画像616は56マイルマークに対応し、画像618は64マイルマークに対応し、画像620は72マイルマークに対応し、および画像622は80マイルマークに対応する。したがって、中継地点1と2との間の長い道路にまたがる多数の画像のうち、11の画像だけが進路変更方向プレビューの画像のセットに含まれてもよい。その点において、他の画像は除外されるかあるいはフィルタリングされてもよい。
さらに別の例において、フィルタリング技術は、1つまたは複数の道路区分に沿った識別点を選択し、およびプレビュー内のそれらの点に対応する画像を含むことに基づいてもよい。例えば、道路から橋、道路からトンネル、あるいは地方の道から主要な道への遷移は、識別点と考えられてもよい。従って、これらの遷移を描写する画像は、進路変更方向プレビューに含まれてもよい。ルートに沿った様々な目印もまた、識別点と考えられてもよい。目印には、レストラン、博物館、郵便局、観光地、水域、公園などが含まれてもよい。さらに、目印は、画像(例えば、訪問されたビジタポイント)あるいはエリアまたはオブジェクトの写真が何回撮影されたを含む人気に関連する訪問データあるいはメタデータに基づいてもよい。例えば、ゴルフボールに似た道路区分に沿った給水塔の写真は、通常の給水塔よりも頻繁に撮られることがある。その点について、ゴルフボールに似た給水塔は、目印と見なされてもよい。
別の例において、フィルタリング技術は、様々な画像間の1つ以上のマッチング画像特徴に基づいてもよい。ほんの一例として、1つまたは複数の画像特徴は、異なるパノラマ区分間で一致する画像の識別可能な区分に対応してもよい。例えば、識別可能な区分は、オブジェクト、目印等が複数の画像の同じ場所/スポットにあることを示す特定のオブジェクト、目印などを含んでもよい。従って、フィルタリング技術は、進路変更方向プレビューの画像のセットを含むために、少ないから多い、まで変わる特定の数の画像特徴に基づいてもよい。この点について、進路変更方向プレビューから反復画像が除外されるだけでなく、画像が共通の特徴を共有するので、進路変更方向プレビューに含まれる画像間の視覚的遷移が改善され得る。
図5は、2つの異なるフィルタリング技術の組合せを示しているが、より多くのフィルタリング技術を適用してもよい。例えば、特定の距離間隔で中継地点の閾値距離内の画像と、それらの識別点に関連する画像のみが、進路変更方向プレビューに含まれてもよい。さらに、図6に示すように、個々のフィルタリング技術を適用してもよい。
画像間に大きな物理的距離が存在する場合の切断感を避けるために、進路変更方向プレビューは、それらの画像間の異なるタイプの遷移を含んでもよい。図5の例において、画像502から画像504への遷移550は、通りレベルビューから空中ビュー(例えば、遷移550の頂点)へジャンプし、次いで通りレベルビューに戻ってもよい。同様の遷移が、画像504と画像506との間で実行されてもよい。例えば画像506から画像518のような、大きな物理的距離にまたがる遷移において、遷移560は、画像506の通りレベルビューから、遷移550に関連する空中ビューよりも高い空中ビューにジャンプしてから、画像518の通りレベルビューに戻ってもよい。図6の例において、ある画像から別の画像への遷移は、比較的類似していてもよい。図5に示す遷移と同様に、画像602から画像604への遷移630は、通りレベルのビューから空中のビューへジャンプして、次いで画像604の通りレベルビューに戻ってもよい。
画像の長さが、国全体のような広い地理的領域にまたがる場合、1つの画像から別の画像への遷移は、国の地図表示を含んでもよい。例えば、図7は、ある国のある沿岸から反対側の沿岸への進路変更方向の地図表示例700である。例えば、ユーザは米国の西海岸(例えば、カリフォルニア州サンタクララ)に位置する開始地点702から東海岸の目的地点718(例えば、マサチューセッツ州ボストン)までの進路変更方向プレビューを要求してもよい。この点について、1つまたは複数のコンピューティングデバイスは、進路変更方向の生成されたセットの主要な中継地点704、706、708、710、712、および716として、開始と目的地点(例えば、2つの沿岸)間に様々な都市を指定してもよい。ここで、例えば主要な中継地点704、706、708、710、712、714、および716は、それぞれラスベガス、デンバー、ダラス、セントルイス、シカゴ、ワシントンD.C、およびニューヨークシティであってもよい。従って、進路変更方向プレビューは、主要な中継地点間の道路区分に関連する全ての画像を表示する必要はない。その代わりに、プレビューは、図7で図示されるように地図を表示し、2つの主要な中継地点を接続する点線を含むことによって、画像をある主要な中継地点から別の主要な中継地点の画像に遷移してもよい。
図8は、進路変更方向プレビューを生成する方法例の流れ図800である。ブロック810で、1つ又は複数のコンピューティングデバイスは、進路変更方向プレビューのためにユーザから要求を受信してもよい。ブロック820で、1つまたは複数のコンピューティングデバイスは、第1の地理的位置および第2の地理的位置に接続する一連の道路区分に基づいて、進路変更方向のセットを生成してもよく、各進路変更方向は、対応する中継地点を含む。この例において、第1の地理的位置は、ユーザが地図インタフェース上に入力した開始地点であってもよく、および第2の地理的位置は、目的地点であってもよい。
ブロック830で、1つまたは複数のコンピューティングデバイスは、進路変更方向のセットの2つの隣接した中継地点間の一連の道路区分に対応する画像のセットを識別してもよい。上記で説明したように、道路区分や同種のものに関連する情報を識別する方法の一例は、図4に示されたテーブル480のような情報を編成するテーブルの使用である。その後、1つまたは複数のコンピューティングデバイスは、ブロック840で、進路変更方向プレビューに含むための画像のセットのサブセットを決定してもよい。ブロック850で、1つまたは複数のコンピューティングデバイスは、画像のセットの決定されたサブセットに少なくとも部分的に基づいて、進路変更方向プレビューを生成する。
図9は、進路変更方向プレビューを生成する方法の別の例の流れ図900である。流れ図800の方法例と類似して、ブロック910で、1つまたは複数のコンピューティングデバイスは、進路変更方向プレビューのための要求を受信してもよい。ブロック920で、1つまたは複数のコンピューティングデバイスは、第1の地理的位置および第2の地理的位置に接続する一連の道路区分に基づいて、進路変更方向のセットを生成してもよい。ここで、各進路変更方向は、対応する中継地点を含む。次いで、ブロック930で、進路変更方向のセットの2つの隣接した中継地点間の各道路区分のための通りレベルパノラマ画像のセットは、識別されてもよい。
ブロック940において、1つまたは複数のコンピューティングデバイスが、通りレベルパノラマ画像のセットの任意の通りレベルパノラマ画像が2つの隣接した中継地点のそれぞれからの特定の閾値距離外であるか否かを決定してもよい。この決定は、図5および6について上記で議論されたフィルタリング技術に基づいてもよい。この決定に基づいて、ブロック950において、パノラマ画像のセットは、閾値距離外である通りレベルのパノラマ画像を削除するためにフィルタリングしてもよい。その後、ブロック960において、1つまたは複数のコンピューティングデバイスは、少なくともフィルタリングされた通りレベルパノラマ画像のセットに基づいて、ユーザのために進路変更方向プレビューを生成してもよい。
特に明記しない限り、前述の代替実施例は相互に排他的ではないが、固有の利点を達成するために様々な組合せで実施されることができる。上記で検討した特徴のこれらのおよび他の変形例および組合せは、特許請求の範囲によって規定された主題から逸脱することなく利用できるので、実施形態の上述した説明は、特許請求の範囲によって規定される主題を限定するものではなくむしろ説明するものとして考えられるべきである。さらに、本明細書に記載された例の条件、「例えば〜など」「含む」などで表現された節は、特許請求の範囲の主題を特定の例に限定するものとして解釈されるべきではなく、むしろ、これらの例は、多くの可能な実施形態の1つのみを例示することを意図している。さらに、異なる図面における同一の参照番号は、同一または類似の要素を識別することができる。
本発明は、これに限定されるものではないが、進路変更方向からプレビューを生成することを含む広範な産業上の利用可能性を享受する。
110 クライアントコンピューティングデバイス
112 プロセッサ
114 メモリ
116 命令
118 データ
120 ディスプレイ
130 クライアントコンピューティングデバイス
140 サーバコンピューティングデバイス
142 プロセッサ
144 メモリ
146 命令
148 データ
150 ストレージシステム
160 クライアントコンピューティングデバイス
170 ネットワーク
310 開始地点
320 到着地点

Claims (20)

  1. 進路変更方向プレビューを生成するための方法であって、
    1つまたは複数のコンピューティングデバイスを使用して、進路変更方向プレビューのための要求を受信するステップと、
    前記1つまたは複数のコンピューティングデバイスを使用して、第1の地理的位置および第2の地理的位置に接続する一連の道路区分に基づいて進路変更方向のセットを生成するステップであって、ここで進路変更方向の前記セットの各方向は、対応する中継地点に関連する、生成するステップと、
    前記1つまたは複数のコンピューティングデバイスを使用して、進路変更方向の前記セットの2つの隣接した中継地点間の一連の道路区分に対応する画像のセットを識別するステップと、
    前記1つまたは複数のコンピューティングデバイスを使用して、前記進路変更方向プレビューに含むために画像の前記セットのサブセットを決定するステップと、
    前記1つまたは複数のコンピューティングデバイスを使用して、画像の前記セットの前記決定されたサブセットの少なくとも一部に基づいて、前記進路変更方向プレビューを生成するステップと、
    を含む、方法。
  2. 画像の前記セットが、1つまたは複数の通りレベルのパノラマ画像を含む、請求項1に記載の方法。
  3. 前記1つまたは複数のコンピューティングデバイスを使用して、クライアントコンピューティングデバイス上に前記進路変更方向プレビューの表示を提供するステップをさらに含む、請求項1に記載の方法。
  4. 前記1つまたは複数のコンピューティングデバイスを使用して、前記サブセットを決定するために、各進路変更方向に対応する前記中継地点から閾値距離内の前記画像だけを含むように画像の前記セットをフィルタリングするステップをさらに含む、請求項1に記載の方法。
  5. 前記1つまたは複数のコンピューティングデバイスを使用して、前記サブセットを決定するために、前記道路区分のそれぞれのために指定された画像の所定の量を超える任意の画像を削除するために画像の前記セットをフィルタリングするステップをさらに含む、請求項1に記載の方法。
  6. 前記1つまたは複数のコンピューティングデバイスを使用して、前記サブセットを決定するために、前記道路区分のそれぞれに従って所定の距離間隔で前記画像だけを含むように画像の前記セットをフィルタリングするステップをさらに含む、請求項1に記載の方法。
  7. 前記1つまたは複数のコンピューティングデバイスを使用して、前記サブセットを決定するために、前記道路区分のそれぞれに従って1つまたは複数の目印の前記画像を含むように画像の前記セットをフィルタリングするステップをさらに含む、請求項1に記載の方法。
  8. 前記進路変更方向プレビューが、第1の画像から第2の画像にジャンプすることを含む、請求項3に記載の方法。

  9. 前記1つまたは複数のコンピューティングデバイスを使用して、進路変更方向の前記セットの追加の隣接した中継地点間の前記一連の道路区分に従った、画像の追加のセットを識別するステップと、
    前記1つまたは複数のコンピューティングデバイスを使用して、前記進路変更方向プレビューに含むために画像の前記追加のセットの追加のサブセットを決定するステップと、を
    さらに含む、請求項1に記載の方法。
  10. メモリと、
    1つまたは複数のコンピューティングデバイスを含むシステムであって、
    前記1つまたは複数のコンピューティングデバイスのそれぞれが、1つまたは複数のプロセッサを有し、前記1つまたは複数のコンピューティングデバイスが前記メモリに接続されており、
    ここで、前記1つ又は複数のコンピューティングデバイスが、
    進路変更方向プレビューのための要求を受信し、
    第1の地理的位置および第2の地理的位置に接続する一連の道路区分に基づいて進路変更方向のセットを生成し、ここでそれぞれの進路変更方向は、対応する中継地点を含み、
    進路変更方向の前記セットの2つの隣接した中継地点間の前記一連の道路区分に対応する画像のセットを識別し、
    前記進路変更方向プレビューに含むために画像の前記セットのサブセットを決定し、
    画像の前記セットの前記決定されたサブセットの少なくとも一部に基づいて、前記進路変更方向プレビューを生成するように構成された、
    システム。
  11. 画像の前記セットが、1つまたは複数の通りレベルのパノラマ画像を含む、請求項10に記載のシステム。
  12. 前記1つまたは複数のコンピューティングデバイスが、クライアントコンピューティングデバイス上に前記進路変更方向プレビューの表示を提供するようにさらに構成された、請求項10に記載のシステム。
  13. 前記1つまたは複数のコンピューティングデバイスが、前記サブセットを決定するために、各進路変更方向に対応する中継地点から閾値距離内の前記画像だけを含むように画像の前記セットをフィルタリングするようにさらに構成された、請求項10に記載のシステム。
  14. 前記1つまたは複数のコンピューティングデバイスが、前記サブセットを決定するために、前記道路区分のそれぞれのために指定された画像の所定の量を超える任意の画像を削除するために画像の前記セットをフィルタリングするようにさらに構成された、請求項10に記載のシステム。
  15. 前記1つまたは複数のコンピューティングデバイスが、前記サブセットを決定するために、前記道路区分のそれぞれに従って所定の距離間隔で前記画像だけを含むように画像の前記セットをフィルタリングするようにさらに構成された、請求項10に記載のシステム。
  16. 前記1つまたは複数のコンピューティングデバイスが、前記サブセットを決定するために、前記道路区分のそれぞれに従って1つまたは複数の目印の前記画像を含むように画像の前記セットをフィルタリングするようにさらに構成された、請求項10に記載のシステム。
  17. 前記進路変更方向プレビューが、第1の画像から第2の画像にジャンプすることを含む、請求項12に記載のシステム。
  18. 前記1つまたは複数のコンピューティングデバイスが、
    進路変更方向の前記セットの追加の隣接した中継地点間の前記一連の道路区分に対応する、画像の追加のセットを識別し、
    前記進路変更方向プレビューに含むために画像の前記追加のセットの追加のサブセットを決定するように、
    さらに構成された、請求項10に記載のシステム。
  19. 命令が保存された非一時的有形コンピュータ可読媒体であって、1つまたは複数のコンピューティングデバイスによって実行されるとき、前記命令は、
    進路変更方向プレビューのための要求を受信するステップと、
    第1の地理的位置および第2の地理的位置に接続する一連の道路区分に基づいて進路変更方向のセットを生成するステップであって、ここでそれぞれの進路変更方向は、対応する中継地点を含む、生成するステップと、
    進路変更方向の前記セットの2つの隣接した中継地点間のそれぞれの道路区分のための通りレベルパノラマ画像のセットを識別するステップと、
    通りレベルパノラマ画像の前記セットの任意の通りレベルパノラマ画像が、前記2つの隣接した中継地点のそれぞれからの閾値距離外であるか否かを決定するステップと、
    前記決定に基づいて、前記閾値距離外である前記通りレベルパノラマ画像を削除するために通りレベルパノラマ画像の前記セットをフィルタリングするステップと、
    少なくとも前記フィルタリングされた通りレベルパノラマ画像のセットに基づいて、前記進路変更方向プレビューを生成するステップと、を含む方法を実行する、
    非一時的有形コンピュータ可読媒体。
  20. 前記方法が、クライアントコンピューティングデバイス上に前記進路変更方向プレビューの表示を提供するステップをさらに含む、請求項19に記載の非一時的有形コンピュータ可読媒体。
JP2016568019A 2014-06-27 2015-06-25 進路変更方向プレビューの生成 Active JP6336623B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US14/317,706 US9002647B1 (en) 2014-06-27 2014-06-27 Generating turn-by-turn direction previews
US14/317,706 2014-06-27
US14/640,524 2015-03-06
US14/640,524 US9377320B2 (en) 2014-06-27 2015-03-06 Generating turn-by-turn direction previews
PCT/US2015/037716 WO2015200651A1 (en) 2014-06-27 2015-06-25 Generating turn-by-turn direction previews

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018088741A Division JP6749363B2 (ja) 2014-06-27 2018-05-02 進路変更方向プレビューの生成

Publications (2)

Publication Number Publication Date
JP2017523392A true JP2017523392A (ja) 2017-08-17
JP6336623B2 JP6336623B2 (ja) 2018-06-06

Family

ID=52745234

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016568019A Active JP6336623B2 (ja) 2014-06-27 2015-06-25 進路変更方向プレビューの生成
JP2018088741A Active JP6749363B2 (ja) 2014-06-27 2018-05-02 進路変更方向プレビューの生成

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018088741A Active JP6749363B2 (ja) 2014-06-27 2018-05-02 進路変更方向プレビューの生成

Country Status (8)

Country Link
US (5) US9002647B1 (ja)
EP (2) EP3584538B1 (ja)
JP (2) JP6336623B2 (ja)
CN (1) CN106461410B (ja)
AU (1) AU2015279837B2 (ja)
BR (1) BR112016026942B1 (ja)
DE (1) DE202015009128U1 (ja)
WO (1) WO2015200651A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD781318S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
USD780777S1 (en) 2014-04-22 2017-03-07 Google Inc. Display screen with graphical user interface or portion thereof
USD781317S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
US9972121B2 (en) * 2014-04-22 2018-05-15 Google Llc Selecting time-distributed panoramic images for display
US9934222B2 (en) 2014-04-22 2018-04-03 Google Llc Providing a thumbnail image that follows a main image
US9002647B1 (en) 2014-06-27 2015-04-07 Google Inc. Generating turn-by-turn direction previews
US9618344B2 (en) * 2014-12-09 2017-04-11 Brett Harrison Digital map tracking apparatus and methods
CN106403978A (zh) 2016-09-30 2017-02-15 北京百度网讯科技有限公司 导航路线生成方法和装置
USD820855S1 (en) * 2016-11-02 2018-06-19 Google Llc Computer display screen with graphical user interface for navigation
USD830376S1 (en) * 2016-11-02 2018-10-09 Google Llc Computer display screen with transitional graphical user interface for navigation
CN106933940A (zh) * 2016-11-07 2017-07-07 阿里巴巴集团控股有限公司 地图交互、搜索、显示方法、装置和系统、服务器、终端
CN107883974B (zh) * 2017-09-30 2020-08-28 百度在线网络技术(北京)有限公司 导航路径的规划方法、导航服务器及计算机可读介质
US20210364312A1 (en) * 2017-12-05 2021-11-25 Google Llc Routes on Digital Maps with Interactive Turn Graphics
CN110741227B (zh) 2017-12-05 2024-03-29 谷歌有限责任公司 地标辅助导航
US10725475B2 (en) * 2018-04-09 2020-07-28 Toyota Jidosha Kabushiki Kaisha Machine learning enhanced vehicle merging
CN111351500B (zh) * 2018-12-24 2024-03-12 博泰车联网科技(上海)股份有限公司 车辆、导航终端及其弯道精准导航方法
CN112185144A (zh) * 2019-07-01 2021-01-05 大陆泰密克汽车系统(上海)有限公司 交通预警方法以及系统
US11288522B2 (en) 2019-12-31 2022-03-29 Woven Planet North America, Inc. Generating training data from overhead view images
US11244500B2 (en) * 2019-12-31 2022-02-08 Woven Planet North America, Inc. Map feature extraction using overhead view images
US11037328B1 (en) 2019-12-31 2021-06-15 Lyft, Inc. Overhead view image generation
JP2023537959A (ja) * 2020-08-18 2023-09-06 グーグル エルエルシー ナビゲーション案内プレビュー
USD953371S1 (en) * 2021-10-22 2022-05-31 BioReference Health, LLC Display screen or portion thereof with animated graphical user interface
CN114485671A (zh) * 2022-01-24 2022-05-13 轮趣科技(东莞)有限公司 一种移动设备的自动转弯方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002258740A (ja) * 2001-03-02 2002-09-11 Mixed Reality Systems Laboratory Inc 画像記録装置及び画像再生装置とそれらの方法
JP2011515717A (ja) * 2008-03-24 2011-05-19 グーグル インコーポレイテッド 運転指図内のパノラマ画像

Family Cites Families (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020049832A1 (en) * 1996-03-08 2002-04-25 Craig Ullman Enhanced video programming system and method for incorporating and displaying retrieved integrated internet information segments
EP0895599B1 (en) * 1996-04-25 2002-08-07 Sirf Technology, Inc. Spread spectrum receiver with multi-bit correlator
JP3099734B2 (ja) 1996-05-09 2000-10-16 住友電気工業株式会社 複数経路提供装置
JPH10126731A (ja) 1996-10-17 1998-05-15 Toppan Printing Co Ltd 旅行アルバム作成システム
JP3906938B2 (ja) 1997-02-18 2007-04-18 富士フイルム株式会社 画像再生方法及び画像データ管理方法
US6552744B2 (en) 1997-09-26 2003-04-22 Roxio, Inc. Virtual reality camera
US6199014B1 (en) * 1997-12-23 2001-03-06 Walker Digital, Llc System for providing driving directions with visual cues
US7810037B1 (en) 2000-02-11 2010-10-05 Sony Corporation Online story collaboration
EP1128285B1 (en) 2000-02-21 2010-04-28 Hewlett-Packard Company, A Delaware Corporation Augmentation of sets of image recordings
DE10044935B4 (de) 2000-09-12 2010-12-16 Robert Bosch Gmbh Navigationsvorrichtung
US6351710B1 (en) * 2000-09-28 2002-02-26 Michael F. Mays Method and system for visual addressing
US7865306B2 (en) * 2000-09-28 2011-01-04 Michael Mays Devices, methods, and systems for managing route-related information
US20020122073A1 (en) 2001-03-02 2002-09-05 Abrams David Hardin Visual navigation history
US7096428B2 (en) 2001-09-28 2006-08-22 Fuji Xerox Co., Ltd. Systems and methods for providing a spatially indexed panoramic video
US20030128389A1 (en) 2001-12-26 2003-07-10 Eastman Kodak Company Method for creating and using affective information in a digital imaging system cross reference to related applications
US7271742B2 (en) 2002-03-01 2007-09-18 Networks In Motion, Inc. Method and apparatus for sending, retrieving and planning location relevant information
CN100407782C (zh) 2002-09-27 2008-07-30 富士胶片株式会社 相册制作方法及其装置
US7082572B2 (en) 2002-12-30 2006-07-25 The Board Of Trustees Of The Leland Stanford Junior University Methods and apparatus for interactive map-based analysis of digital video content
CN103398718B (zh) 2004-03-23 2017-04-12 咕果公司 数字地图描绘系统
US7746376B2 (en) 2004-06-16 2010-06-29 Felipe Mendoza Method and apparatus for accessing multi-dimensional mapping and information
US8751156B2 (en) 2004-06-30 2014-06-10 HERE North America LLC Method of operating a navigation system using images
US8207964B1 (en) 2008-02-22 2012-06-26 Meadow William D Methods and apparatus for generating three-dimensional image data models
JP2006084184A (ja) 2004-09-14 2006-03-30 Ntt Docomo Inc 3次元gisナビゲーション方法、3次元gisナビゲーションサーバおよび3次元gisナビゲーションシステム
JP4512998B2 (ja) 2004-09-29 2010-07-28 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置
US7272498B2 (en) 2004-09-30 2007-09-18 Scenera Technologies, Llc Method for incorporating images with a user perspective in navigation
US20060084184A1 (en) * 2004-10-19 2006-04-20 Renovar Incorporated Reagents for urine-based immunological assays
JP4719500B2 (ja) * 2004-11-04 2011-07-06 アルパイン株式会社 車載装置
US8626440B2 (en) 2005-04-18 2014-01-07 Navteq B.V. Data-driven 3D traffic views with the view based on user-selected start and end geographical locations
US7321919B2 (en) 2005-05-23 2008-01-22 Picateers, Inc. System and method for collaborative image selection
US7933929B1 (en) 2005-06-27 2011-04-26 Google Inc. Network link for providing dynamic data layer in a geographic information system
US7617246B2 (en) 2006-02-21 2009-11-10 Geopeg, Inc. System and method for geo-coding user generated content
US8793579B2 (en) 2006-04-20 2014-07-29 Google Inc. Graphical user interfaces for supporting collaborative generation of life stories
US8571580B2 (en) 2006-06-01 2013-10-29 Loopt Llc. Displaying the location of individuals on an interactive map display on a mobile communication device
CN101467005A (zh) * 2006-06-12 2009-06-24 松下电器产业株式会社 导航装置以及导航方法
US20080033641A1 (en) 2006-07-25 2008-02-07 Medalia Michael J Method of generating a three-dimensional interactive tour of a geographic location
JP4808259B2 (ja) * 2006-11-10 2011-11-02 三菱電機株式会社 ナビゲーション装置
US8498497B2 (en) 2006-11-17 2013-07-30 Microsoft Corporation Swarm imaging
US20080215964A1 (en) 2007-02-23 2008-09-04 Tabblo, Inc. Method and system for online creation and publication of user-generated stories
JP4661838B2 (ja) 2007-07-18 2011-03-30 トヨタ自動車株式会社 経路計画装置及び方法、コスト評価装置、並びに移動体
US20090055087A1 (en) 2007-08-07 2009-02-26 Brandon Graham Beacher Methods and systems for displaying and automatic dynamic re-displaying of points of interest with graphic image
JP5044817B2 (ja) 2007-11-22 2012-10-10 インターナショナル・ビジネス・マシーンズ・コーポレーション 仮想空間を構築するための画像処理方法、装置
US8131118B1 (en) 2008-01-31 2012-03-06 Google Inc. Inferring locations from an image
US20090202102A1 (en) * 2008-02-08 2009-08-13 Hermelo Miranda Method and system for acquisition and display of images
US20090210277A1 (en) 2008-02-14 2009-08-20 Hardin H Wesley System and method for managing a geographically-expansive construction project
US7948502B2 (en) * 2008-05-13 2011-05-24 Mitac International Corp. Method of displaying picture having location data and apparatus thereof
US8805110B2 (en) 2008-08-19 2014-08-12 Digimarc Corporation Methods and systems for content processing
JP5434018B2 (ja) 2008-09-03 2014-03-05 株式会社ニコン 画像表示装置、および画像表示プログラム
WO2010052558A2 (en) 2008-11-05 2010-05-14 Easywalk Capital S.A. System and method for the precise integration of virtual objects to interactive panoramic walk-through applications
US8493408B2 (en) 2008-11-19 2013-07-23 Apple Inc. Techniques for manipulating panoramas
CN101782394B (zh) * 2009-01-21 2013-03-20 佛山市顺德区顺达电脑厂有限公司 判断移动对象转弯的方法及使用该方法的导航装置
US9454847B2 (en) * 2009-02-24 2016-09-27 Google Inc. System and method of indicating transition between street level images
US20120141023A1 (en) 2009-03-18 2012-06-07 Wang Wiley H Smart photo story creation
WO2010114620A1 (en) * 2009-04-03 2010-10-07 Certusview Technologies, Llc Methods, apparatus, and systems for documenting and reporting events via geo-referenced electronic drawings
JP5521374B2 (ja) 2009-04-08 2014-06-11 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US9298345B2 (en) 2009-06-23 2016-03-29 Microsoft Technology Licensing, Llc Block view for geographic navigation
US8015172B1 (en) 2009-07-03 2011-09-06 eBridge, Inc. Method of conducting searches on the internet to obtain selected information on local entities and provide for searching the data in a way that lists local businesses at the top of the results
JP5464955B2 (ja) 2009-09-29 2014-04-09 株式会社ソニー・コンピュータエンタテインメント パノラマ画像表示装置
KR101631497B1 (ko) * 2009-11-13 2016-06-27 삼성전자주식회사 디스플레이 장치, 사용자 단말 장치 및 그 방법들
US9766089B2 (en) 2009-12-14 2017-09-19 Nokia Technologies Oy Method and apparatus for correlating and navigating between a live image and a prerecorded panoramic image
JP2011137638A (ja) 2009-12-25 2011-07-14 Toshiba Corp ナビゲーションシステム、観光スポット検出装置、ナビゲーション装置、観光スポット検出方法、ナビゲーション方法、観光スポット検出プログラム及びナビゲーションプログラム
US20110231745A1 (en) 2010-03-15 2011-09-22 TripAdvisor LLC. Slideshow creator
US20110283210A1 (en) 2010-05-13 2011-11-17 Kelly Berger Graphical user interface and method for creating and managing photo stories
US20120082401A1 (en) 2010-05-13 2012-04-05 Kelly Berger System and method for automatic discovering and creating photo stories
US8655111B2 (en) 2010-05-13 2014-02-18 Shutterfly, Inc. System and method for creating and sharing photo stories
WO2011146141A1 (en) 2010-05-21 2011-11-24 Telecommunication Systems, Inc. Personal wireless navigation system
US20120066573A1 (en) 2010-09-15 2012-03-15 Kelly Berger System and method for creating photo story books
US20120092266A1 (en) 2010-10-14 2012-04-19 Motorola Mobility, Inc. Method and Apparatus for Providing a Navigation Path on a Touch Display of a Portable Device
JP5899232B2 (ja) 2010-11-24 2016-04-06 グーグル インコーポレイテッド 地理的位置指定パノラマを通した誘導付きナビゲーション
US20120246562A1 (en) 2011-03-25 2012-09-27 Leslie Gable Maness Building a customized story
JP6211510B2 (ja) 2011-04-08 2017-10-11 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 画像処理システム及び方法
JP2013003048A (ja) 2011-06-20 2013-01-07 Sony Corp 経路探索装置、経路探索方法、及びプログラム
US8706397B2 (en) 2011-07-11 2014-04-22 Harman International Industries, Incorporated System and method for determining an optimal route using aggregated route information
US9116011B2 (en) * 2011-10-21 2015-08-25 Here Global B.V. Three dimensional routing
KR101316176B1 (ko) * 2011-12-14 2013-10-08 현대자동차주식회사 다중도로구간 안내시스템 및 그 안내 방법
US8930141B2 (en) * 2011-12-30 2015-01-06 Nokia Corporation Apparatus, method and computer program for displaying points of interest
JP2013161416A (ja) * 2012-02-08 2013-08-19 Sony Corp サーバ、クライアント端末、システム、およびプログラム
US10176633B2 (en) 2012-06-05 2019-01-08 Apple Inc. Integrated mapping and navigation application
EP2859535A4 (en) 2012-06-06 2016-01-20 Google Inc SYSTEM AND METHOD FOR PROVIDING CONTENTS FOR A RELEVANT POINT
US20130332854A1 (en) 2012-06-10 2013-12-12 Apple Inc. Creating image streams and sharing the image streams across different devices
US9488489B2 (en) 2012-09-28 2016-11-08 Google Inc. Personalized mapping with photo tours
CN103971399B (zh) 2013-01-30 2018-07-24 深圳市腾讯计算机系统有限公司 街景图像过渡方法和装置
US20140330814A1 (en) 2013-05-03 2014-11-06 Tencent Technology (Shenzhen) Company Limited Method, client of retrieving information and computer storage medium
US9002647B1 (en) 2014-06-27 2015-04-07 Google Inc. Generating turn-by-turn direction previews

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002258740A (ja) * 2001-03-02 2002-09-11 Mixed Reality Systems Laboratory Inc 画像記録装置及び画像再生装置とそれらの方法
JP2011515717A (ja) * 2008-03-24 2011-05-19 グーグル インコーポレイテッド 運転指図内のパノラマ画像

Also Published As

Publication number Publication date
US9841291B2 (en) 2017-12-12
US9377320B2 (en) 2016-06-28
WO2015200651A1 (en) 2015-12-30
AU2015279837A1 (en) 2016-11-17
DE202015009128U1 (de) 2016-11-07
CN106461410B (zh) 2021-06-29
EP3137851B1 (en) 2019-08-07
JP6749363B2 (ja) 2020-09-02
US9002647B1 (en) 2015-04-07
CN106461410A (zh) 2017-02-22
EP3137851A1 (en) 2017-03-08
AU2015279837B2 (en) 2017-06-01
BR112016026942A8 (pt) 2018-08-14
EP3584538B1 (en) 2022-12-28
JP2018119989A (ja) 2018-08-02
US11067407B2 (en) 2021-07-20
BR112016026942A2 (pt) 2018-07-10
BR112016026942B1 (pt) 2022-05-17
EP3584538A1 (en) 2019-12-25
US20190271555A1 (en) 2019-09-05
US20160265931A1 (en) 2016-09-15
US20180073885A1 (en) 2018-03-15
JP6336623B2 (ja) 2018-06-06
US10775188B2 (en) 2020-09-15
US20150377641A1 (en) 2015-12-31

Similar Documents

Publication Publication Date Title
JP6749363B2 (ja) 進路変更方向プレビューの生成
JP6833886B2 (ja) 初期ナビゲーションにおいて視覚ランドマークを使用するためのシステムおよび方法
KR101864814B1 (ko) 스트리트 뷰 목적지에 대한 안내를 제공하는 방법 및 장치
US20220155085A1 (en) Collective Vehicle Traffic Routing
US9212927B2 (en) Map view
US20090093955A1 (en) Apparatus and Method of Compiling a Combined Picture and Showing It on a Display
US9354076B2 (en) Guiding server, guiding method and recording medium recording guiding program
Wang et al. A system of automatic generation of landmark-based pedestrian navigation instructions and its effectiveness for wayfinding
JP2019144556A (ja) 情報処理装置、方法およびプログラム
JP2017058576A (ja) 情報処理装置、方法およびプログラム
JP2023106379A (ja) 2人以上のユーザを待ち合わせ場所にナビゲートするための方法およびデバイス

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180502

R150 Certificate of patent or registration of utility model

Ref document number: 6336623

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250