JP2018155606A - Navigation system, navigation method, and program - Google Patents

Navigation system, navigation method, and program Download PDF

Info

Publication number
JP2018155606A
JP2018155606A JP2017052773A JP2017052773A JP2018155606A JP 2018155606 A JP2018155606 A JP 2018155606A JP 2017052773 A JP2017052773 A JP 2017052773A JP 2017052773 A JP2017052773 A JP 2017052773A JP 2018155606 A JP2018155606 A JP 2018155606A
Authority
JP
Japan
Prior art keywords
unit
plan
movement plan
navigation
travel plan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017052773A
Other languages
Japanese (ja)
Other versions
JP6552118B2 (en
Inventor
裕紀 田中
Hironori Tanaka
裕紀 田中
健太 川上
Kenta Kawakami
健太 川上
智也 宮崎
Tomoya Miyazaki
智也 宮崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2017052773A priority Critical patent/JP6552118B2/en
Priority to US15/910,092 priority patent/US10775795B2/en
Priority to CN201810203248.6A priority patent/CN108627169B/en
Publication of JP2018155606A publication Critical patent/JP2018155606A/en
Application granted granted Critical
Publication of JP6552118B2 publication Critical patent/JP6552118B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3453Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3484Personalized, e.g. from learned user behaviour or user-defined profiles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3697Output of additional, non-guidance related information, e.g. low fuel level
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1815Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/089Driver voice
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/045Occupant permissions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/221Physiology, e.g. weight, heartbeat, health or special needs
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Abstract

PROBLEM TO BE SOLVED: To provide a navigation system, a navigation method, and a program with which it is possible to provide a comfortable riding time.SOLUTION: The navigation system comprises: a detection unit for detecting a state in a moving vehicle; a determination unit for determining the degree of excitement of conversation in the moving vehicle on the basis of the result of detection by the detection unit; a moving plan setting unit for setting a moving plan on the basis of set information set by a user, and altering at least part of the set moving plan on the basis of the result of determination by the determination unit; and a navigation unit for guiding the moving vehicle along the moving plan that is set or altered by the moving plan setting unit.SELECTED DRAWING: Figure 2

Description

本発明は、ナビゲーションシステム、ナビゲーション方法、および、プログラムに関する。   The present invention relates to a navigation system, a navigation method, and a program.

ナビゲーション装置を利用して車両を運転する場合、最も早く目的地に到着するルートや走行距離が最も短いルート等、効率的な経路が設定される場合が多い。しかしながら、自動運転技術の進歩に伴い、車を移動手段として用いるだけではなく、乗車時間を楽しむユーザが増えてきている。   When driving a vehicle using a navigation device, an efficient route is often set, such as a route arriving at the destination earliest or a route having the shortest travel distance. However, with the advancement of automatic driving technology, more and more users enjoy not only using the car as a moving means but also enjoying the boarding time.

従来、目的地に到着した時点で音楽の再生が終了するように、音楽の再生残り時間に基づいて、過不足なく目的地に到着できるように経路の再検索を行う技術が知られている(例えば、特許文献1参照)。   2. Description of the Related Art Conventionally, there is known a technique for re-searching a route so as to arrive at a destination without excess or deficiency based on the remaining playback time of music so that music playback ends when the destination is reached ( For example, see Patent Document 1).

特開2004−340727号公報JP 2004-340727 A

しかしながら、目的地に到着したタイミングで会話が盛り上がっていた場合、会話が継続できず、快適な乗車時間を提供できない場合があった。   However, if the conversation is exciting at the time of arrival at the destination, the conversation cannot be continued and a comfortable boarding time may not be provided.

本発明は、このような事情を考慮してなされたものであり、快適な乗車時間を提供することができるナビゲーションシステム、ナビゲーション方法、および、プログラムを提供することを目的の一つとする。   The present invention has been made in view of such circumstances, and an object of the present invention is to provide a navigation system, a navigation method, and a program capable of providing a comfortable boarding time.

請求項1に記載の発明は、移動体内の状況を検出する検出部(16)と、前記検出部による検出結果に基づいて、前記移動体内の会話の盛り上がり度合を判定する判定部(25)と、ユーザにより設定された設定情報に基づいて移動プランを設定するとともに、前記判定部による判定結果に基づいて、設定されている移動プランの少なくとも一部を変更する移動プラン設定部(22)と、前記移動プラン設定部により設定または変更された移動プランに沿って前記移動体を誘導するナビゲーション部(23)と、を備えるナビゲーションシステムである。   The invention according to claim 1 includes a detection unit (16) for detecting a situation in the moving body, a determination unit (25) for determining the degree of excitement of the conversation in the moving body based on a detection result by the detection unit, A movement plan setting unit (22) for setting a movement plan based on setting information set by a user and changing at least a part of the set movement plan based on a determination result by the determination unit; And a navigation unit (23) for guiding the moving body along the movement plan set or changed by the movement plan setting unit.

請求項2に記載の発明は、請求項1に記載のナビゲーションシステムであって、前記移動プラン設定部が、前記判定部により盛り上がっている状態であると判定された場合、到着を遅らせるように移動プランを変更する。   Invention of Claim 2 is the navigation system of Claim 1, Comprising: When the said movement plan setting part determines with the determination part being in the state where it is excited, it moves so that arrival may be delayed Change the plan.

請求項3に記載の発明は、請求項1または2に記載のナビゲーションシステムであって、前記判定部による判定結果に基づいて、移動体内に話題を提供する話題提供部(26)をさらに備える。   The invention according to claim 3 is the navigation system according to claim 1 or 2, further comprising a topic providing unit (26) for providing a topic in the moving body based on a determination result by the determination unit.

請求項4に記載の発明は、請求項1から3のうちいずれか一項に記載のナビゲーションシステムであって、前記検出部による検出結果に基づいて、前記移動体内の会話の内容を解析する解析部(24)をさらに備え、前記移動プラン設定部が、前記解析部による解析結果に基づいて、前記設定されている移動プランの少なくとも一部を変更する。   Invention of Claim 4 is the navigation system as described in any one of Claim 1 to 3, Comprising: The analysis which analyzes the content of the conversation in the said mobile body based on the detection result by the said detection part The movement plan setting unit changes at least a part of the set movement plan based on the analysis result by the analysis unit.

請求項5に記載の発明は、請求項4に記載のナビゲーションシステムであって、前記移動プラン設定部が、前記判定部による判定結果と前記解析部による解析結果とに基づいて、盛り上がった話題に関連する地図上の関連ポイントを検索し、前記設定されている移動プランの少なくとも一部を前記関連ポイントに向かう移動プランに変更する。   Invention of Claim 5 is a navigation system of Claim 4, Comprising: The said movement plan setting part is a hot topic based on the determination result by the said determination part, and the analysis result by the said analysis part. A related point on a related map is searched, and at least a part of the set movement plan is changed to a movement plan directed to the related point.

請求項6に記載の発明は、請求項5に記載のナビゲーションシステムであって、前記移動プラン設定部が、前記設定されている移動プランの少なくとも一部を前記関連ポイントに向かう移動プランに変更した後、更に前記移動プランを変更した場合に前記関連ポイントがルートからはずれるならば、前記関連ポイントに向かう移動プランからの変更を禁止する。   Invention of Claim 6 is the navigation system of Claim 5, Comprising: The said movement plan setting part changed at least one part of the said movement plan set to the movement plan which goes to the said relevant point. Later, if the relevant point deviates from the route when the movement plan is further changed, the change from the movement plan toward the relevant point is prohibited.

請求項7に記載の発明は、コンピュータが、移動体内の状況を検出し、検出結果に基づいて、前記移動体内の会話の盛り上がり度合を判定し、ユーザにより設定された設定情報に基づいて移動プランを設定するとともに、判定結果に基づいて、設定されている移動プランの少なくとも一部を変更し、設定または変更された移動プランに沿って移動体を誘導するナビゲーション方法である。   According to the seventh aspect of the present invention, the computer detects the situation in the moving body, determines the degree of excitement of the conversation in the moving body based on the detection result, and moves based on the setting information set by the user. Is set, and at least a part of the set movement plan is changed based on the determination result, and the moving body is guided along the set or changed movement plan.

請求項8に記載の発明は、コンピュータに、移動体内の状況を検出させ、検出結果に基づいて、前記移動体内の会話の盛り上がり度合を判定させ、ユーザにより設定された設定情報に基づいて移動プランを設定するとともに、判定結果に基づいて、設定されている移動プランの少なくとも一部を変更させ、設定または変更された移動プランに沿って移動体を誘導させるプログラムである。   According to an eighth aspect of the present invention, a computer is caused to detect a situation in a moving body, based on the detection result, a degree of excitement of the conversation in the moving body is determined, and a movement plan is set based on setting information set by a user. Is set, and at least a part of the set movement plan is changed based on the determination result, and the moving body is guided along the set or changed movement plan.

請求項1,2,7,8に記載の発明によれば、車内の盛り上がりに応じた移動プランに変更することができるため、ユーザは、車内の雰囲気に合ったドライブを楽しむことができる。   According to the first, second, seventh, and eighth aspects of the invention, the user can enjoy a drive that matches the atmosphere in the vehicle because the movement plan can be changed according to the excitement in the vehicle.

請求項3に記載の発明によれば、車内の会話が活性化されるため、ドライブにより乗員同士の親睦を深めることができる。   According to the invention described in claim 3, since the conversation in the vehicle is activated, the relatives of the passengers can be deepened by driving.

請求項4に記載の発明によれば、車内の会話に応じた移動プランに変更することができるため、ユーザは、車内の会話に合ったドライブを楽しむことができる。   According to the fourth aspect of the present invention, the user can change to the movement plan corresponding to the conversation in the vehicle, so that the user can enjoy driving suitable for the conversation in the vehicle.

請求項5に記載の発明によれば、車内の会話にあった場所に行くことができるため、ドライブをさらに楽しむことができる。   According to the fifth aspect of the present invention, it is possible to go to a place suitable for conversation in the vehicle, so that driving can be further enjoyed.

請求項6に記載の発明によれば、車内の盛り上がりに比べて車内の話題を優先した移動プランを設定することができる。   According to the sixth aspect of the present invention, it is possible to set a movement plan that prioritizes the topic in the vehicle as compared to the excitement in the vehicle.

ナビゲーションシステム1の概略を示す図である。1 is a diagram showing an outline of a navigation system 1. FIG. ナビゲーション装置10の機能構成を示す図である。2 is a diagram showing a functional configuration of a navigation device 10. FIG. ナビゲーション装置10において実行される処理を示すフローチャートである。3 is a flowchart showing processing executed in the navigation device 10. ナビゲーション装置10を搭載した車両の走行ルートの一例を示す図である。It is a figure which shows an example of the driving | running route of the vehicle carrying the navigation apparatus. ナビゲーションシステム1Aの機能構成を示す図である。It is a figure which shows the function structure of 1 A of navigation systems. 第3実施形態の車両システムの構成図である。It is a block diagram of the vehicle system of 3rd Embodiment.

以下、図面を参照し、本発明のナビゲーションシステム、ナビゲーション方法、および、プログラムの実施形態について説明する。   Hereinafter, embodiments of a navigation system, a navigation method, and a program according to the present invention will be described with reference to the drawings.

(第1実施形態)
図1は、ナビゲーションシステム1の概略を示す図である。図1に示す通り、ナビゲーションシステム1は、ネットワークNWを介して互いに通信するナビゲーション装置10と、サーバ100とを含む。ネットワークNWは、例えば、WAN(Wide Area Network)、LAN(Local Area Network)、インターネット、プロバイダ装置、無線基地局、専用回線などのうちの一部または全部を含む。
(First embodiment)
FIG. 1 is a diagram showing an outline of the navigation system 1. As shown in FIG. 1, the navigation system 1 includes a navigation device 10 and a server 100 that communicate with each other via a network NW. The network NW includes, for example, part or all of a WAN (Wide Area Network), a LAN (Local Area Network), the Internet, a provider device, a wireless base station, a dedicated line, and the like.

ナビゲーション装置10は、例えば、四輪車両、三輪車両、船舶、航空機、ヘリコプター、ホバークラフト等の移動体に搭載される。また、移動体は、自動運転が可能な車両であって、座席が回転して乗員が向かい合う構造を備えるものであってもよい。   The navigation device 10 is mounted on a moving body such as a four-wheel vehicle, a three-wheel vehicle, a ship, an aircraft, a helicopter, or a hovercraft. Further, the moving body may be a vehicle capable of automatic driving, and may have a structure in which a seat rotates to face an occupant.

サーバ100には、各種情報が格納されており、例えば、事前に登録されているユーザに関する情報(以下、ユーザ登録情報と記す)が格納されている。ユーザ登録情報には、ユーザの年齢、性別、趣味、過去にユーザが利用した移動プランに関する情報等が含まれる。   The server 100 stores various types of information, for example, information related to users registered in advance (hereinafter referred to as user registration information). The user registration information includes the user's age, sex, hobbies, information related to the travel plan used by the user in the past, and the like.

図2は、ナビゲーション装置10の機能構成を示す図である。図2に示す通り、ナビゲーション装置10は、通信部11と、入力部12と、GNSS受信機13と、表示部14と、スピーカ15と、検出部16と、データ処理部20と、記憶部30とを含む。   FIG. 2 is a diagram illustrating a functional configuration of the navigation device 10. As shown in FIG. 2, the navigation device 10 includes a communication unit 11, an input unit 12, a GNSS receiver 13, a display unit 14, a speaker 15, a detection unit 16, a data processing unit 20, and a storage unit 30. Including.

通信部11は、例えば、ネットワークNWを介してサーバ100と通信する。通信部11は、ネットワークNWを介して、サーバ100から各種情報を取得し、データ処理部20に出力する。   The communication unit 11 communicates with the server 100 via the network NW, for example. The communication unit 11 acquires various information from the server 100 via the network NW and outputs the information to the data processing unit 20.

入力部12は、例えば、各種キー、ボタン、ダイヤルスイッチ、マウス、表示部14と一体として形成されるタッチパネルなどのうち一部または全部を含む。   The input unit 12 includes, for example, some or all of various keys, buttons, dial switches, a mouse, a touch panel formed integrally with the display unit 14, and the like.

GNSS(Global Navigation Satellite System)受信機13は、GLONASS、Galileo等の全地球型測位システムを構成する衛星から受信した信号に基づいて、ナビゲーション装置10が搭載されている車両の位置を特定する。   A GNSS (Global Navigation Satellite System) receiver 13 specifies the position of a vehicle on which the navigation device 10 is mounted, based on signals received from satellites constituting a global positioning system such as GLONASS and Galileo.

表示部14は、例えば、LCD(Liquid Crystal Display)や有機EL(Electroluminescence)表示装置などである。   The display unit 14 is, for example, an LCD (Liquid Crystal Display) or an organic EL (Electroluminescence) display device.

スピーカ15は、データ処理部20から入力した情報に基づいて音声を出力する。   The speaker 15 outputs sound based on the information input from the data processing unit 20.

検出部16は、例えば、マイクやカメラ等を含み、車内の音声や景色を検出し、検出結果(例えば、音声データや画像データ等)をデータ処理部20に出力する。   The detection unit 16 includes, for example, a microphone, a camera, and the like, detects the sound and scenery in the vehicle, and outputs a detection result (for example, sound data and image data) to the data processing unit 20.

データ処理部20の各構成要素は、例えば、CPU(Central Processing Unit)等のプロセッサが、記憶部30に記憶されたプログラム(ソフトウェア)を実行することで実現される。また、データ処理部20の構成要素のうち一部または全部は、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)等のハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。データ処理部20は、データ管理部21と、移動プラン設定部22と、ナビゲーション部23と、解析部24と、判定部25と、話題提供部26とを備える。   Each component of the data processing unit 20 is realized, for example, when a processor such as a CPU (Central Processing Unit) executes a program (software) stored in the storage unit 30. Also, some or all of the components of the data processing unit 20 may be realized by hardware such as LSI (Large Scale Integration), ASIC (Application Specific Integrated Circuit), and FPGA (Field-Programmable Gate Array). However, it may be realized by cooperation of software and hardware. The data processing unit 20 includes a data management unit 21, a movement plan setting unit 22, a navigation unit 23, an analysis unit 24, a determination unit 25, and a topic providing unit 26.

データ管理部21は、通信部11または入力部12を用いて取得された各種情報を記憶部30に格納する。また、データ管理部21は、記憶部30から読み出した各種情報等を、通信部11とネットワークNWとを介してサーバ100に送信する。   The data management unit 21 stores various types of information acquired using the communication unit 11 or the input unit 12 in the storage unit 30. In addition, the data management unit 21 transmits various information read from the storage unit 30 to the server 100 via the communication unit 11 and the network NW.

移動プラン設定部22は、例えば、GNSS受信機13により特定された自車両の位置(或いは入力された任意の位置)と、入力部12を用いて乗員により入力された設定情報とに基づいて、地図データ32を参照し、移動プランを生成する。移動プランには、目的地あるいは経由地までの経路、目的地または経由地までの到着時刻、目的地または経由地までの所要時間等が含まれる。移動プラン設定部22は、生成した移動プランを、ナビゲーション部23による案内対象に設定する。   The movement plan setting unit 22 is based on, for example, the position of the own vehicle specified by the GNSS receiver 13 (or any input position) and the setting information input by the occupant using the input unit 12. The movement plan is generated with reference to the map data 32. The travel plan includes a route to the destination or waypoint, an arrival time to the destination or waypoint, a required time to the destination or waypoint, and the like. The movement plan setting unit 22 sets the generated movement plan as a guidance target by the navigation unit 23.

設定情報には、例えば、目的地、経由地、ドライブの目的、最大所要時間、到着時刻、コース内容等が含まれる。ドライブの目的には、例えば、買い物、車内でのお茶会、気分転換等が含まれる。最大所要時間は、移動プランに利用できる時間の最大値である。コース内容とは、移動プランの目的や所要時間等を総合的に決定できる設定であって、例えば、一時間くらいで買い物ができるコース、二時間ゆっくりおしゃべりするコース等が含まれる。   The setting information includes, for example, the destination, waypoint, drive purpose, maximum required time, arrival time, course content, and the like. The purpose of the drive includes, for example, shopping, a tea party in the car, and a change of mood. The maximum required time is the maximum time available for the travel plan. The course content is a setting that can comprehensively determine the purpose and required time of the travel plan, and includes, for example, a course in which shopping can be done in about one hour, a course in which two hours of chatting are performed.

ナビゲーション部23は、移動プラン設定部22により設定された移動プランに基づいて、表示部14およびスピーカ15を用いて経路案内を行い、車両を誘導する。なお、ナビゲーション部23は、例えば、乗員の保有するスマートフォンやタブレット端末等の端末装置を用いて経路案内を行ってもよい。   The navigation unit 23 performs route guidance using the display unit 14 and the speaker 15 based on the travel plan set by the travel plan setting unit 22 to guide the vehicle. In addition, the navigation part 23 may perform route guidance using terminal devices, such as a smart phone and a tablet terminal which a passenger | crew holds, for example.

解析部24は、検出部16による検出結果に基づいて、車内の会話の内容を解析する。例えば、解析部24は、音声データに基づいて音声認識し、会話内容のテキストデータを作成し、判定部25に出力する。また、解析部24は、音声データを解析し、笑い声や拍手等を解析結果として取得してもよい。また、解析部24は、カメラによって撮影された静止画や動画を解析することにより、笑顔や顔の向き等を解析結果として取得してもよい。   The analysis unit 24 analyzes the content of the conversation in the vehicle based on the detection result by the detection unit 16. For example, the analysis unit 24 performs voice recognition based on the voice data, creates text data of conversation contents, and outputs the text data to the determination unit 25. Moreover, the analysis part 24 may analyze audio | voice data and may acquire a laughter, applause, etc. as an analysis result. The analysis unit 24 may acquire a smile, a face orientation, and the like as an analysis result by analyzing a still image or a moving image captured by the camera.

判定部25は、検出部16による検出結果、または、解析部24による解析結果に基づいて、車内の会話の盛り上がり度合を判定する。例えば、判定部25は、予め決められた条件を満たした場合、車内の会話が盛り上がっている状態であると判定する。予め決められた条件とは、任意に設定可能であり、例えば、音量が閾値以上である、声の周波数分布が所定のパターンを示している、会話時間が閾値以上である、笑い声が検出される、笑顔が検出される、お互いの顔を向い合せている時間が閾値以上である等が含まれる。なお、判定部25は、段階的に設けられた閾値を参照して、盛り上がり度合を複数のレベルで判定してもよい。また、判定部25は、盛り上がり度合の変化に基づいて、盛り上がり傾向であるか否か、および、盛り下がり傾向であるか否かを判定してもよい。   The determination unit 25 determines the degree of excitement of the conversation in the vehicle based on the detection result by the detection unit 16 or the analysis result by the analysis unit 24. For example, the determination part 25 determines with it being in the state where the conversation in a vehicle is exciting, when predetermined conditions are satisfy | filled. The predetermined condition can be arbitrarily set. For example, a laughing voice is detected in which the volume is equal to or higher than the threshold, the voice frequency distribution indicates a predetermined pattern, the conversation time is equal to or higher than the threshold. , A smile is detected, the time when the faces are facing each other is equal to or greater than a threshold value, and the like. Note that the determination unit 25 may determine the degree of excitement at a plurality of levels with reference to thresholds provided in stages. Moreover, the determination part 25 may determine whether it is a rising tendency and whether it is a rising tendency based on the change of the rising degree.

話題提供部26は、判定部25による判定結果に基づいて、車内に話題を提供する。話題の内容は、車内の盛り上がりを活性化させるものであって、例えば、判定部25により盛り上がっている状態であると判定された会話に含まれている内容や、やや盛り上がったと判定された会話(盛り上がり度合が予め決められた閾値の範囲内)に含まれている内容等である。また、話題提供部26は、ユーザ設定情報31に含まれるユーザ登録情報に基づいて、乗員の趣味や年齢に応じたテーマやキーワードを取得し、話題を提供してもよい。   The topic providing unit 26 provides a topic in the vehicle based on the determination result by the determining unit 25. The content of the topic activates the excitement in the vehicle. For example, the content of the topic is included in the conversation determined to be in a state of being excited by the determination unit 25, or the conversation ( The degree of excitement is included in a predetermined threshold range). Further, the topic providing unit 26 may acquire themes and keywords according to the hobby and age of the occupant based on the user registration information included in the user setting information 31 and provide the topics.

移動プラン設定部22は、判定部25による判定結果に基づいて、設定されている移動プランの少なくとも一部を変更してもよい。ここで、移動プラン設定部22は、設定情報の一部または全部により決まる移動プランの条件(以下、設定条件という)を満たす範囲において、判定結果に応じた移動プランを生成する。設定条件には、例えば、到着時刻、最大所要時間、コース内容等が含まれる。   The movement plan setting unit 22 may change at least a part of the set movement plan based on the determination result by the determination unit 25. Here, the movement plan setting unit 22 generates a movement plan according to the determination result in a range that satisfies the conditions of the movement plan (hereinafter referred to as setting conditions) determined by part or all of the setting information. The setting conditions include, for example, arrival time, maximum required time, course contents, and the like.

例えば、車内が盛り上がっている状態であると判定された場合、移動プラン設定部22は、車両の現在位置から目的地までのルートであって、現在設定されている到着時刻を最大所要時間まで延長するルートを検索する。一方、車内が盛り下がっている状態であると判定された場合、移動プラン設定部22は、到着時刻を早めるルートを検索してもよい。また、移動プラン設定部22は、車内において盛り上がった話題に関連する地図上のポイント(以下、関連ポイントと記す)を検索し、関連ポイントに向かうルートを検索してもよい。   For example, when it is determined that the interior of the vehicle is in a state of excitement, the movement plan setting unit 22 is a route from the current position of the vehicle to the destination and extends the currently set arrival time to the maximum required time. Find the route you want. On the other hand, when it is determined that the vehicle is in a state of rising, the movement plan setting unit 22 may search for a route that advances the arrival time. In addition, the movement plan setting unit 22 may search for a point on the map (hereinafter referred to as a related point) related to a topic that has been raised in the vehicle, and search for a route toward the related point.

なお、移動プラン設定部22は、ナビゲーション部23により案内されている移動プランが関連ポイントに向かうルートに変更された後、関連ポイントがルートからはずれる移動プランが生成された場合、設定されている移動プランの変更を禁止してもよい。   In addition, the movement plan setting part 22 is set when the movement plan guided by the navigation part 23 is changed to a route toward the related point, and a movement plan in which the related point deviates from the route is generated. Plan changes may be prohibited.

また、移動プラン設定部22は、設定情報に基づいて生成された複数の移動プランの中から、ユーザ登録情報に示される乗員の属性に応じた移動プランを一つ選択し、選択した移動プランをナビゲーション部23による案内対象に設定してもよい。   Further, the movement plan setting unit 22 selects one movement plan corresponding to the attribute of the occupant indicated in the user registration information from the plurality of movement plans generated based on the setting information, and selects the selected movement plan. You may set to the guidance object by the navigation part 23. FIG.

記憶部30は、例えば、RAM(Random Access Memory)やROM(Read Only Memory)、SSD(Solid State Drive)などのフラッシュメモリ、HDD(Hard Disk Drive)などで実現される。記憶部30には、ユーザ設定情報31と、地図データ32と、移動プラン情報33と、判定参照値34と、話題情報35などの情報が格納される。   The storage unit 30 is realized by, for example, a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory such as an SSD (Solid State Drive), an HDD (Hard Disk Drive), or the like. The storage unit 30 stores information such as user setting information 31, map data 32, movement plan information 33, determination reference value 34, topic information 35, and the like.

ユーザ設定情報31は、ユーザにより設定された設定情報と、ユーザ登録情報とを含む。なお、ユーザ設定情報31は、ユーザごとに用意されており、各ユーザを識別する固有の情報(以下、ユーザIDと記す)と対応付けられている。   The user setting information 31 includes setting information set by the user and user registration information. The user setting information 31 is prepared for each user and is associated with unique information (hereinafter referred to as a user ID) for identifying each user.

地図データ32は、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。地図データ32は、道路の曲率やPOI(Point Of Interest)情報などを含んでもよい。   The map data 32 is information in which a road shape is expressed by a link indicating a road and nodes connected by the link. The map data 32 may include road curvature and POI (Point Of Interest) information.

移動プラン情報33は、移動プラン設定部22により生成された移動プランであって、ナビゲーション部23の案内対象として設定された移動プランに関する情報である。設定されている移動プランが変更された場合、移動プラン情報33は、移動プラン設定部22により更新される。   The travel plan information 33 is a travel plan generated by the travel plan setting unit 22 and is information related to the travel plan set as a guidance target of the navigation unit 23. When the set movement plan is changed, the movement plan information 33 is updated by the movement plan setting unit 22.

判定参照値34は、判定部25により参照される参照値であって、盛り上がっている状態か否かを判定する条件や、盛り上がり度合を判定するための閾値等を含む。   The determination reference value 34 is a reference value that is referred to by the determination unit 25 and includes a condition for determining whether or not the swell is in progress, a threshold value for determining the degree of swell, and the like.

話題情報35は、話題提供部26により提供される話題に関する情報である。話題情報35には、例えば、判定部25により盛り上がっている状態であると判定された会話に含まれているキーワード等が含まれる。また、話題情報35は、ユーザが興味を示すテーマやキーワードであって、ユーザ登録情報に基づいて話題提供部26あるいはサーバ100により外部装置から取得された情報が含まれていてもよい。   The topic information 35 is information related to the topic provided by the topic providing unit 26. The topic information 35 includes, for example, keywords included in the conversation determined to be in a state of being excited by the determination unit 25. The topic information 35 is a theme or keyword that the user is interested in, and may include information acquired from an external device by the topic providing unit 26 or the server 100 based on the user registration information.

次に、図3を参照して、ナビゲーション装置10において実行される処理について説明する。図3は、ナビゲーション装置10において実行される処理を示すフローチャートである。   Next, with reference to FIG. 3, the process performed in the navigation apparatus 10 is demonstrated. FIG. 3 is a flowchart showing processing executed in the navigation device 10.

まず、データ管理部21は、通信部11または入力部12を用いて取得したユーザ登録情報や設定情報を、ユーザ設定情報31に格納する(ステップS101)。次いで、移動プラン設定部22は、ユーザ登録情報と設定情報とに基づいて、例えば、GNSS受信機13により特定された車両の位置から目的地または経由地までのルートを検索し、検索結果を含む移動プランを移動プラン情報33に格納する(ステップS102)。そして、ナビゲーション部23は、移動プラン情報33を参照し、移動プランに沿った経路案内を開始する(ステップS103)。車両は、経路案内に従って、走行を開始する。この走行は、後述するように、自動運転による走行であってもよい。   First, the data management unit 21 stores user registration information and setting information acquired using the communication unit 11 or the input unit 12 in the user setting information 31 (step S101). Next, the movement plan setting unit 22 searches for a route from the position of the vehicle specified by the GNSS receiver 13 to the destination or waypoint based on the user registration information and the setting information, and includes the search result. The travel plan is stored in the travel plan information 33 (step S102). Then, the navigation unit 23 refers to the movement plan information 33 and starts route guidance along the movement plan (step S103). The vehicle starts traveling according to the route guidance. This traveling may be traveling by automatic driving, as will be described later.

次いで、検出部16は、音声データや画像データを取得し、解析部24に出力する(ステップS104)。解析部24は、検出部16による検出結果に基づいて、車内の会話の内容を解析する(ステップS105)。そして、判定部25は、解析部24による解析結果に基づいて、車内の会話の盛り上がり度合を判定する(ステップS106)。   Next, the detection unit 16 acquires audio data and image data and outputs them to the analysis unit 24 (step S104). The analysis unit 24 analyzes the content of the conversation in the vehicle based on the detection result by the detection unit 16 (step S105). And the determination part 25 determines the excitement degree of the conversation in a vehicle based on the analysis result by the analysis part 24 (step S106).

例えば、移動プラン設定部22は、判定部25による判定結果が、車内の会話が盛り上がっている状態であるか否かを判定する(ステップS107)。判定部25による判定結果が盛り上がっている状態である場合、移動プラン設定部22は、設定条件を満たす範囲において、到着時間が遅くなるルートを検索し、検索結果を、表示部14とスピーカ15とを用いて、乗員に提供する(ステップS108)。そして、話題提供部26は、盛り上がっている状態において解析部24により解析された車内の会話を取得し、話題情報35に格納する(ステップS109)。   For example, the movement plan setting unit 22 determines whether or not the determination result by the determination unit 25 is a state in which the conversation in the vehicle is exciting (step S107). When the determination result by the determination unit 25 is in a state of excitement, the movement plan setting unit 22 searches for a route whose arrival time is delayed within a range satisfying the setting condition, and displays the search result as the display unit 14 and the speaker 15. To the passenger (step S108). Then, the topic providing unit 26 acquires the in-vehicle conversation analyzed by the analyzing unit 24 in a lively state, and stores it in the topic information 35 (step S109).

一方、車内の会話が盛り上がっている状態でないと判定された場合、移動プラン設定部22は、判定部25による判定結果が、車内の会話が盛り下がっている状態であるか否かを判定する(ステップS110)。判定部25による判定結果が盛り下がっている状態である場合、移動プラン設定部22は、設定条件を満たす範囲において、到着時間が早くなるルートを検索し、検索結果を、表示部14とスピーカ15とを用いて、乗員に提供する(ステップS111)。そして、話題提供部26は、話題情報35を参照して、話題を乗員に提供する(ステップS112)。なお、話題情報35に話題が格納されていない場合、話題提供部26は、ユーザ設定情報31からユーザ登録情報を読み出し、乗員の趣味や年齢に応じた話題を取得し、乗員に提供してもよい。   On the other hand, when it is determined that the conversation in the vehicle is not in an excited state, the movement plan setting unit 22 determines whether or not the determination result by the determination unit 25 is in a state in which the conversation in the vehicle is excited ( Step S110). When the determination result by the determination unit 25 is in a state of energization, the movement plan setting unit 22 searches for a route with an earlier arrival time within a range that satisfies the setting condition, and displays the search result as the display unit 14 and the speaker 15. To the passenger (step S111). Then, the topic providing unit 26 refers to the topic information 35 and provides the topic to the occupant (step S112). When no topic is stored in the topic information 35, the topic providing unit 26 reads the user registration information from the user setting information 31, acquires a topic corresponding to the hobby and age of the occupant, and provides the occupant with the topic. Good.

移動プラン設定部22は、入力部12からの入力情報に基づいて、乗員から移動プランの変更の指示があったか否かを判定する(ステップS113)。移動プランの変更の指示があった場合、移動プラン設定部22は、変更後の移動プランに基づいて移動プラン情報33を更新する。そして、ナビゲーション部23は、移動プラン情報33を参照し、変更後の移動プランに沿った経路案内を開始する(ステップS114)。   The movement plan setting unit 22 determines whether there is an instruction to change the movement plan from the occupant based on the input information from the input unit 12 (step S113). When there is an instruction to change the movement plan, the movement plan setting unit 22 updates the movement plan information 33 based on the changed movement plan. Then, the navigation unit 23 refers to the movement plan information 33 and starts route guidance along the changed movement plan (step S114).

次いで、ナビゲーション部23は、目的地に到着したか否かを判定する(ステップS115)。目的地に到着していない場合、ナビゲーション装置10は、ステップS106に戻って処理を繰り返す。一方、目的地に到着した場合、ナビゲーション部23は、案内を終了する(ステップS116)。   Next, the navigation unit 23 determines whether or not the destination has been reached (step S115). When the navigation apparatus 10 has not arrived at the destination, the navigation apparatus 10 returns to step S106 and repeats the process. On the other hand, when arriving at the destination, the navigation unit 23 ends the guidance (step S116).

次に、図4を参照して、ナビゲーション装置10を搭載した車両の走行ルートの一例について説明する。図4は、ナビゲーション装置10を搭載した車両の走行ルートの一例を示す図である。図4には、スタート地点にナビゲーション装置10を搭載した車両Aが位置している状態を示す。車両Aの設定情報として「二時間で遊びに行くコース」が設定されているとする。この場合、目的地や到着時刻は決定されていない。   Next, an example of a travel route of a vehicle on which the navigation device 10 is mounted will be described with reference to FIG. FIG. 4 is a diagram illustrating an example of a travel route of a vehicle on which the navigation device 10 is mounted. FIG. 4 shows a state where the vehicle A equipped with the navigation device 10 is located at the start point. It is assumed that “course to go play in two hours” is set as the setting information of the vehicle A. In this case, the destination and arrival time are not determined.

移動プラン設定部22は、解析部24による解析結果に基づいて、車内の会話の内容に応じた目的地を決定する。例えば、車内の会話の内容がアウトドアやバーベキュー等に関連する内容であった場合、移動プラン設定部22は、二時間で到着する場所であって、バーベキューができる場所を検索し、検索結果のうちの最も近い場所(例えば、山の中にあるキャンプ場P1)を第1目的地に決定する。そして、移動プラン設定部22は、第1目的地までの移動プランを生成し、移動プラン情報33に格納する。これにより、ナビゲーション部23は、山の中にあるキャンプ場P1までの経路案内を実行する。   The movement plan setting unit 22 determines a destination according to the content of the in-vehicle conversation based on the analysis result by the analysis unit 24. For example, if the content of the conversation in the vehicle is related to the outdoors or a barbecue, the movement plan setting unit 22 searches for a place where the barbecue can be reached in two hours, and out of the search results. Is determined as the first destination (for example, the campsite P1 in the mountain). Then, the movement plan setting unit 22 generates a movement plan up to the first destination and stores it in the movement plan information 33. Thereby, the navigation part 23 performs the route guidance to the campsite P1 in a mountain.

そして、車内で海に関する話題が盛り上がったとする。この場合、移動プラン設定部22は、設定条件を満たす範囲で海が見えるバーベキュー場を検索する。検索により海岸沿いのバーベキュー場P2が得られた場合、移動プラン設定部22は、海岸沿いのバーベキュー場P2を第2目的地に設定し、第2目的地までの最短ルートを含む移動プランを生成し、移動プラン情報33に格納する。この最短ルートは、経由地P3を通過するルートである。これにより、ナビゲーション部23は、目的地を山から海に変更し、海岸沿いのバーベキュー場P2までの経路案内を実行する。   Then, suppose that the topic about the sea has risen in the car. In this case, the movement plan setting unit 22 searches for a barbecue place where the sea can be seen within a range that satisfies the setting conditions. If the barbecue place P2 along the coast is obtained by the search, the movement plan setting unit 22 sets the barbecue place P2 along the coast as the second destination and generates a movement plan including the shortest route to the second destination. And stored in the movement plan information 33. This shortest route is a route that passes through the transit point P3. Thereby, the navigation part 23 changes a destination from a mountain to the sea, and performs route guidance to the barbecue place P2 along a coast.

次いで、車内の会話が盛り上がっている状態になったとする。この場合、移動プラン設定部22は、設定条件を満たす範囲で第2目的地への到着時刻を遅らせるルートを検索する。移動プラン設定部22は、検索により、経由地P4を経由するルートを得て、移動プラン情報33に格納する。これにより、ナビゲーション部23は、経由地P3を通過するルートを、経由地P4を通過するルートに変更し、第2目的地に到着する時刻を遅らせたルートの経路案内を実行することができる。   Next, it is assumed that the conversation in the vehicle is in a state of excitement. In this case, the movement plan setting unit 22 searches for a route that delays the arrival time at the second destination within a range that satisfies the setting condition. The movement plan setting unit 22 obtains a route via the waypoint P4 by the search and stores it in the movement plan information 33. Thereby, the navigation part 23 can change the route which passes the waypoint P3 into the route which passes the waypoint P4, and can perform route guidance of the route which delayed the time of arrival at the second destination.

なお、経由地P3においてバーベキューの材料が購入できるのに対して、経由地P4を通過するルートでは、バーベキューの材料を購入できる場所がない場合、移動プラン設定部22は、経由地P4を通過するルートへの変更を禁止してもよい。   In addition, in the route passing through the transit point P4, the movement plan setting unit 22 passes through the transit point P4 when there is no place where the barbecue material can be purchased in the route passing through the transit point P4. Changes to the route may be prohibited.

(第2実施形態)
次に、図5を参照して、第2実施形態に係るナビゲーションシステム1Aについて説明する。ナビゲーションシステム1Aは、主に、解析部24、判定部25および話題提供部26が、サーバ100Aに搭載されている点で、第1実施形態に係るナビゲーションシステム1と異なる。以下、第1実施形態と異なる点について説明し、同じ機能を有する構成についての説明は省略する。
(Second Embodiment)
Next, a navigation system 1A according to the second embodiment will be described with reference to FIG. The navigation system 1A is different from the navigation system 1 according to the first embodiment mainly in that an analysis unit 24, a determination unit 25, and a topic providing unit 26 are mounted on the server 100A. Hereinafter, a different point from 1st Embodiment is demonstrated and description about the structure which has the same function is abbreviate | omitted.

図5は、ナビゲーションシステム1Aの機能構成を示す図である。図5に示す通り、ナビゲーションシステム1Aは、ナビゲーション装置10Aとサーバ100Aとを含む。サーバ100Aは、データ処理部200と、記憶部300と、通信部400とを備える。データ処理部200は、解析部24と、判定部25と、話題提供部26とを備える。記憶部300には、判定参照値34と、話題情報35とが格納される。通信部400は、ネットワークNWを介して、ナビゲーション装置10Aと通信する。   FIG. 5 is a diagram showing a functional configuration of the navigation system 1A. As shown in FIG. 5, the navigation system 1A includes a navigation device 10A and a server 100A. The server 100A includes a data processing unit 200, a storage unit 300, and a communication unit 400. The data processing unit 200 includes an analysis unit 24, a determination unit 25, and a topic providing unit 26. The storage unit 300 stores a determination reference value 34 and topic information 35. The communication unit 400 communicates with the navigation device 10A via the network NW.

サーバ100Aは、入力部12を用いて受け付けた入力情報、検出部16による検出結果、設定情報およびユーザ登録情報等を、ナビゲーション装置10Aから受信し、データ処理部200に出力する。そして、サーバ100Aは、解析部24による解析結果、判定部25による判定結果、および、話題提供部26により提供される話題等を、ナビゲーション装置10Aに送信する。これにより、ナビゲーション装置10Aは、サーバ100Aから受信した情報に基づいて、設定されている移動プランの少なくとも一部を変更したり、話題を乗員に提供できる。   The server 100 </ b> A receives input information received using the input unit 12, detection results by the detection unit 16, setting information, user registration information, and the like from the navigation device 10 </ b> A and outputs them to the data processing unit 200. Then, the server 100A transmits the analysis result by the analysis unit 24, the determination result by the determination unit 25, the topic provided by the topic providing unit 26, and the like to the navigation device 10A. Thereby, 10 A of navigation apparatuses can change at least one part of the set movement plan, or can provide a topic to a passenger | crew based on the information received from the server 100A.

以上説明した実施形態によれば、検出部16による検出結果に基づいて、車内の会話の盛り上がり度合を判定する判定部25と、判定部25による判定結果に基づいて、設定されている移動プランの少なくとも一部を変更する移動プラン設定部22とを備えることにより、車内の盛り上がりに応じた移動プランに変更することができるため、ユーザは、車内の雰囲気に合ったドライブを楽しむことができる。   According to the embodiment described above, based on the detection result by the detection unit 16, the determination unit 25 that determines the degree of excitement of the conversation in the vehicle, and the movement plan that is set based on the determination result by the determination unit 25. By providing the movement plan setting unit 22 that changes at least a part, it is possible to change the movement plan according to the excitement in the vehicle, so that the user can enjoy driving that matches the atmosphere in the vehicle.

また、以上説明した実施形態によれば、車内に話題を提供する話題提供部26をさらに備えることにより、車内の会話が活性化されるため、ドライブにより乗員同士の親睦を深めることができる。   Moreover, according to embodiment described above, since the conversation in a vehicle is activated by further providing the topic provision part 26 which provides a topic in a vehicle, the relatives of passengers can be deepened by driving.

また、以上説明した実施形態によれば、車内の会話の内容を解析する解析部24をさらに備え、移動プラン設定部22は、解析部24による解析結果に基づいて、設定されている移動プランの少なくとも一部を変更することにより、車内の会話に応じた移動プランに変更することができるため、ユーザは、車内の会話に合ったドライブを楽しむことができる。   In addition, according to the embodiment described above, the analysis unit 24 that analyzes the content of the conversation in the vehicle is further provided, and the movement plan setting unit 22 is configured based on the analysis result of the analysis unit 24. By changing at least a part, it is possible to change the travel plan according to the in-car conversation, so that the user can enjoy driving suitable for the in-car conversation.

また、以上説明した実施形態によれば、移動プラン設定部22が、解析部24による解析結果と判定部25による判定結果とに基づいて、盛り上がった話題に関連する地図上の関連ポイントを検索し、関連ポイントに向かう移動プランに変更することにより、車内の会話にあった場所に行くことができるため、ドライブをさらに楽しむことができる。   Further, according to the embodiment described above, the movement plan setting unit 22 searches for a related point on the map related to the raised topic based on the analysis result by the analysis unit 24 and the determination result by the determination unit 25. By changing the travel plan to the relevant point, you can go to the place that was in conversation in the car, you can enjoy the drive further.

また、以上説明した実施形態によれば、設定されている移動プランを変更したならば関連ポイントがルートからはずれる場合、移動プラン設定部22が、設定されている移動プランの変更を禁止することにより、車内の盛り上がりに比べて車内の話題を優先した移動プランを設定することができる。   In addition, according to the embodiment described above, if the related point deviates from the route if the set movement plan is changed, the movement plan setting unit 22 prohibits the change of the set movement plan. It is possible to set a travel plan that prioritizes topics in the car compared to the excitement in the car.

(第3実施形態)
第1実施形態のナビゲーション装置10または第2実施形態のナビゲーション装置10Aを、自動運転車両に適用してもよい。図6は、第3実施形態の車両システムの構成図である。ナビゲーション装置10Bは、第1実施形態または第2実施形態において説明した処理によって決定した移動プランを、例えば、基準地点ごとの目標経過時刻と共に推奨車線決定装置50に出力する。推奨車線決定装置50は、ナビゲーション装置10Bが備える地図データ32よりも詳細な地図を参照し、車両が走行する推奨車線を決定し、例えば、基準地点ごとの目標経過時刻と共に自動運転制御装置60に出力する。
(Third embodiment)
The navigation device 10 of the first embodiment or the navigation device 10A of the second embodiment may be applied to an autonomous driving vehicle. FIG. 6 is a configuration diagram of the vehicle system of the third embodiment. The navigation device 10B outputs the travel plan determined by the processing described in the first embodiment or the second embodiment to the recommended lane determination device 50 together with the target elapsed time for each reference point, for example. The recommended lane determining device 50 refers to a map that is more detailed than the map data 32 provided in the navigation device 10B, determines a recommended lane on which the vehicle travels, and, for example, the automatic driving control device 60 together with the target elapsed time for each reference point. Output.

自動運転制御装置60は、カメラやレーダ装置、LIDAR(Light Detection and Ranging、或いはLaser Imaging Detection and Ranging)、物体認識装置などを含む外界センサユニット70から入力される情報に基づいて、推奨車線決定装置50から入力される推奨車線に沿って走行するように、エンジンやモータを含む駆動力出力装置80、ブレーキ装置82、ステアリング装置84のうち一部または全部を制御する。この際に、自動運転制御装置60は、入力された基準地点ごとの目標経過時刻を満たすように、将来の目標軌道と速度を決定する。   The automatic driving control device 60 is a recommended lane determining device based on information input from an external sensor unit 70 including a camera, a radar device, LIDAR (Light Detection and Ranging or Laser Imaging Detection and Ranging), an object recognition device, and the like. A part or all of the driving force output device 80 including the engine and the motor, the brake device 82, and the steering device 84 are controlled so as to travel along the recommended lane input from the vehicle 50. At this time, the automatic operation control device 60 determines the future target trajectory and speed so as to satisfy the target elapsed time for each input reference point.

第3実施形態において、入力部12を用いて乗員により入力される設定情報には、「一時間程度、景色の良い経路を走行する」といったものが含まれてもよい。第3の実施形態のナビゲーション装置10Bは、地図データ32を参照し、設定情報に基づいて自動的に経路を生成する。   In the third embodiment, the setting information input by the occupant using the input unit 12 may include information such as “running a route with a good scenery for about an hour”. The navigation device 10B of the third embodiment refers to the map data 32 and automatically generates a route based on the setting information.

例えば、ナビゲーション装置10Bは、出発地点から景色の良い経路を走行して一時間後に到着する地点を目的地に設定し、目的地までの移動プランを設定する。この場合、ナビゲーション装置10Bは、設定情報により決定する設定条件を満たす範囲において、ランドマークや観光スポットを目的地に設定してもよい。自動運転中、車内が盛り上がっている状態であると判定された場合、ナビゲーション装置10Bは、設定情報により決定する設定条件を満たす範囲において、到着を遅らせるルートを検索する。また、目的地に到着したときに車内が盛り上がっている状態にあると判定された場合、ナビゲーション10Bは、目的地の設定を解除し、例えば、予め決められた時間(例えば15分)以内で周辺を走行するルートを検索し、移動プランに設定してもよい。   For example, the navigation device 10B sets a destination that travels on a route with good scenery from the departure point and arrives one hour later as a destination, and sets a travel plan to the destination. In this case, the navigation device 10B may set a landmark or a sightseeing spot as a destination within a range that satisfies the setting condition determined by the setting information. When it is determined that the vehicle is in a state of being swelled during automatic driving, the navigation device 10B searches for a route that delays arrival within a range that satisfies the setting condition determined by the setting information. In addition, when it is determined that the interior of the vehicle is in a raised state when it arrives at the destination, the navigation 10B cancels the setting of the destination and, for example, within the predetermined time (for example, 15 minutes) You may search for a route that travels and set it as a travel plan.

また、入力部12を用いて乗員により入力される設定情報には、「一時間程度、景色の良い経路を走行した後、昼ごはんを食べる」といったものが含まれてもよい。この場合、ナビゲーション装置10Bは、出発地点から景色の良い経路を走行して一時間程度経過後に到着する飲食店を目的地に設定し、目的地までの移動プランを設定する。自動運転中、車内が盛り上がっている状態であると判定された場合、ナビゲーション装置10Bは、到着が遅くなる別の飲食店に目的地に変更し、変更後の目的地までの移動プランを設定する。一方、自動運転中に、車内が盛り下がっている状態であると判定された場合、ナビゲーション装置10Bは、到着が早くなる別の飲食店に目的地に変更し、変更後の目的地までの移動プランを設定する。   Further, the setting information input by the occupant using the input unit 12 may include information such as “eating lunch for about an hour after driving on a route with a good view”. In this case, the navigation device 10B sets a restaurant that travels on a route with a good scenery from the departure point and arrives after about one hour has passed as a destination, and sets a travel plan to the destination. When it is determined that the interior of the vehicle is in a state of being excited during automatic driving, the navigation device 10B changes the destination to another restaurant that arrives later and sets a travel plan to the changed destination. . On the other hand, if it is determined that the interior of the vehicle is in a state of rising during automatic driving, the navigation device 10B changes to a different restaurant that arrives earlier and moves to the destination after the change. Set up a plan.

また、目的地が自宅に設定されているなど、目的地を変更できない場合、ナビゲーション10Bは、到着を遅らせるために目的地付近を通過して戻ってくる移動プランを生成してもよい。   In addition, when the destination cannot be changed, such as when the destination is set at home, the navigation 10B may generate a movement plan that returns near the destination in order to delay arrival.

また、第3実施形態において、特定の地点への到着を遅らせることは、経路を変更するだけでなく、自動運転において低速で走行することで実現されてもよい。   In the third embodiment, delaying the arrival at a specific point may be realized not only by changing the route but also by traveling at a low speed in automatic driving.

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。   As mentioned above, although the form for implementing this invention was demonstrated using embodiment, this invention is not limited to such embodiment at all, In the range which does not deviate from the summary of this invention, various deformation | transformation and substitution Can be added.

なお、ナビゲーション装置10の一部または全部の機能は、例えば、乗員の保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。例えば、ナビゲーション装置10は、通信部11を介してサーバ100に現在位置や設定情報等を送信し、サーバ100により生成された移動プランに基づいて経路案内をしてもよい。   Note that some or all of the functions of the navigation device 10 may be realized by functions of a terminal device such as a smartphone or a tablet terminal held by an occupant, for example. For example, the navigation device 10 may transmit the current position, setting information, and the like to the server 100 via the communication unit 11 and perform route guidance based on the movement plan generated by the server 100.

また、移動プラン設定部22は、少なくとも一部のルートを変更した移動プランに設定を変更する場合、乗員に確認せずに、自動的に変更してもよい。   Moreover, the movement plan setting part 22 may change automatically, without confirming to a passenger | crew, when changing a setting to the movement plan which changed at least one part route.

1…ナビゲーションシステム、10…ナビゲーション装置、11…通信部、12…入力部、13…GNSS受信機、14…表示部、15…スピーカ、16…検出部、20…データ処理部、21…データ管理部、22…移動プラン設定部、23…ナビゲーション部、24…解析部、25…判定部、26…話題提供部、30…記憶部、31…ユーザ設定情報、32…、32…地図データ、33…移動プラン情報、34…判定参照値、35…話題情報 DESCRIPTION OF SYMBOLS 1 ... Navigation system, 10 ... Navigation apparatus, 11 ... Communication part, 12 ... Input part, 13 ... GNSS receiver, 14 ... Display part, 15 ... Speaker, 16 ... Detection part, 20 ... Data processing part, 21 ... Data management , 22 ... Movement plan setting part, 23 ... Navigation part, 24 ... Analysis part, 25 ... Determination part, 26 ... Topic providing part, 30 ... Storage part, 31 ... User setting information, 32 ..., 32 ... Map data, 33 ... Movement plan information, 34 ... Determination reference value, 35 ... Topic information

Claims (8)

移動体内の状況を検出する検出部と、
前記検出部による検出結果に基づいて、前記移動体内の会話の盛り上がり度合を判定する判定部と、
ユーザにより設定された設定情報に基づいて移動プランを設定するとともに、前記判定部による判定結果に基づいて、設定されている移動プランの少なくとも一部を変更する移動プラン設定部と、
前記移動プラン設定部により設定または変更された移動プランに沿って前記移動体を誘導するナビゲーション部と、
を備えるナビゲーションシステム。
A detection unit for detecting a situation in the moving body;
Based on the detection result by the detection unit, a determination unit that determines the excitement level of the conversation in the mobile body,
A travel plan setting unit that sets a travel plan based on setting information set by a user, and changes at least a part of the travel plan that is set based on a determination result by the determination unit;
A navigation unit for guiding the moving body along the movement plan set or changed by the movement plan setting unit;
A navigation system comprising:
前記移動プラン設定部は、
前記判定部により盛り上がっている状態であると判定された場合、到着を遅らせるように移動プランを変更する
請求項1に記載のナビゲーションシステム。
The travel plan setting unit
The navigation system according to claim 1, wherein the movement plan is changed so as to delay arrival when the determination unit determines that the state is rising.
前記判定部による判定結果に基づいて、移動体内に話題を提供する話題提供部をさらに備える
請求項1または2に記載のナビゲーションシステム。
The navigation system according to claim 1, further comprising a topic providing unit that provides a topic in the moving body based on a determination result by the determination unit.
前記検出部による検出結果に基づいて、前記移動体内の会話の内容を解析する解析部をさらに備え、
前記移動プラン設定部は、前記解析部による解析結果に基づいて、前記設定されている移動プランの少なくとも一部を変更する
請求項1から3のうちいずれか一項に記載のナビゲーションシステム。
Based on the detection result by the detection unit, further comprising an analysis unit for analyzing the content of the conversation in the mobile body,
The navigation system according to any one of claims 1 to 3, wherein the movement plan setting unit changes at least a part of the set movement plan based on an analysis result by the analysis unit.
前記移動プラン設定部は、
前記判定部による判定結果と前記解析部による解析結果とに基づいて、盛り上がった話題に関連する地図上の関連ポイントを検索し、前記設定されている移動プランの少なくとも一部を前記関連ポイントに向かう移動プランに変更する
請求項4に記載のナビゲーションシステム。
The travel plan setting unit
Based on the determination result by the determination unit and the analysis result by the analysis unit, a search is made for a related point on a map related to a hot topic, and at least a part of the set movement plan is directed to the related point. The navigation system according to claim 4, wherein the navigation system is changed to a movement plan.
前記移動プラン設定部は、
前記設定されている移動プランの少なくとも一部を前記関連ポイントに向かう移動プランに変更した後、更に前記移動プランを変更した場合に前記関連ポイントがルートからはずれるならば、前記関連ポイントに向かう移動プランからの変更を禁止する
請求項5に記載のナビゲーションシステム。
The travel plan setting unit
If at least a part of the set travel plan is changed to a travel plan directed to the related point, and if the related plan deviates from the route when the travel plan is further changed, the travel plan directed to the related point 6. The navigation system according to claim 5, wherein a change from is prohibited.
コンピュータが、
移動体内の状況を検出し、
検出結果に基づいて、前記移動体内の会話の盛り上がり度合を判定し、
ユーザにより設定された設定情報に基づいて移動プランを設定するとともに、判定結果に基づいて、設定されている移動プランの少なくとも一部を変更し、
設定または変更された移動プランに沿って移動体を誘導する
ナビゲーション方法。
Computer
Detect the situation inside the moving body,
Based on the detection result, determine the degree of excitement of the conversation in the mobile body,
A travel plan is set based on the setting information set by the user, and at least a part of the set travel plan is changed based on the determination result.
A navigation method that guides moving objects along a set or changed movement plan.
コンピュータに、
移動体内の状況を検出させ、
検出結果に基づいて、前記移動体内の会話の盛り上がり度合を判定させ、
ユーザにより設定された設定情報に基づいて移動プランを設定するとともに、判定結果に基づいて、設定されている移動プランの少なくとも一部を変更させ、
設定または変更された移動プランに沿って移動体を誘導させる
プログラム。
On the computer,
To detect the situation inside the moving body,
Based on the detection result, the degree of excitement of the conversation in the mobile body is determined,
While setting the travel plan based on the setting information set by the user, based on the determination result, change at least a part of the set travel plan,
A program that guides moving objects according to a set or changed movement plan.
JP2017052773A 2017-03-17 2017-03-17 Navigation system, navigation method, and program Expired - Fee Related JP6552118B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017052773A JP6552118B2 (en) 2017-03-17 2017-03-17 Navigation system, navigation method, and program
US15/910,092 US10775795B2 (en) 2017-03-17 2018-03-02 Navigation system, navigation method, and recording medium
CN201810203248.6A CN108627169B (en) 2017-03-17 2018-03-13 Navigation system, navigation method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017052773A JP6552118B2 (en) 2017-03-17 2017-03-17 Navigation system, navigation method, and program

Publications (2)

Publication Number Publication Date
JP2018155606A true JP2018155606A (en) 2018-10-04
JP6552118B2 JP6552118B2 (en) 2019-07-31

Family

ID=63520068

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017052773A Expired - Fee Related JP6552118B2 (en) 2017-03-17 2017-03-17 Navigation system, navigation method, and program

Country Status (3)

Country Link
US (1) US10775795B2 (en)
JP (1) JP6552118B2 (en)
CN (1) CN108627169B (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018204500A1 (en) * 2018-03-23 2019-09-26 Continental Automotive Gmbh System for generating confidence values in the backend
US20210366286A1 (en) * 2018-06-08 2021-11-25 Nissan Motor Co., Ltd. Vehicle management system, vehicle management device, and vehicle management method
RU2743048C1 (en) * 2019-09-09 2021-02-15 Борис Викторович Рыжков Method for determining the relative position of navigation objects and a system for using this method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002366166A (en) * 2001-06-11 2002-12-20 Pioneer Electronic Corp System and method for providing contents and computer program for the same
JP2008082822A (en) * 2006-09-27 2008-04-10 Denso It Laboratory Inc Watching object detector and watching object detection method
JP2009109758A (en) * 2007-10-30 2009-05-21 Nissan Motor Co Ltd Speech-recognition dictionary generating device and method
WO2016121174A1 (en) * 2015-01-30 2016-08-04 ソニー株式会社 Information processing system and control method

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3211739B2 (en) * 1997-08-25 2001-09-25 日本電気株式会社 Semiconductor storage device
JP2002091466A (en) * 2000-09-12 2002-03-27 Pioneer Electronic Corp Speech recognition device
JP4042622B2 (en) 2003-05-15 2008-02-06 株式会社デンソー Route search device
US20050288857A1 (en) * 2004-06-23 2005-12-29 E-Lead Electronic Co., Ltd. Vehicle multimedia navigation apparatus with dual audio output
EP1879000A1 (en) * 2006-07-10 2008-01-16 Harman Becker Automotive Systems GmbH Transmission of text messages by navigation systems
JP4609527B2 (en) * 2008-06-03 2011-01-12 株式会社デンソー Automotive information provision system
TWI382157B (en) * 2008-09-26 2013-01-11 Mitac Int Corp Portable navigation device providing conversational system and processing method therefor
US8855919B2 (en) * 2010-12-02 2014-10-07 Telenav, Inc. Navigation system with destination-centric en-route notification delivery mechanism and method of operation thereof
CN102523174A (en) * 2011-11-30 2012-06-27 向进轮 Instant messaging client group member association identification method
CN104583721B (en) * 2012-08-27 2017-08-15 索尼公司 Information processor, information processing method and program
DE102012223320A1 (en) * 2012-12-17 2014-06-18 Robert Bosch Gmbh Device and method for automatically adjusting the volume of noise in a vehicle interior
WO2014157322A1 (en) * 2013-03-28 2014-10-02 本田技研工業株式会社 Notification system, electronic device, notification method, and program
JP5744957B2 (en) * 2013-04-12 2015-07-08 プライムアースEvエナジー株式会社 Battery status judgment device
CN105263741B (en) * 2013-06-13 2017-08-08 株式会社 Ihi Vehicle powering system
US9234764B2 (en) * 2014-05-20 2016-01-12 Honda Motor Co., Ltd. Navigation system initiating conversation with driver
CN105282708B (en) * 2014-07-17 2019-06-21 本田技研工业株式会社 The method and electronic equipment communicated news
US9652017B2 (en) * 2014-12-17 2017-05-16 Qualcomm Incorporated System and method of analyzing audio data samples associated with speech recognition

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002366166A (en) * 2001-06-11 2002-12-20 Pioneer Electronic Corp System and method for providing contents and computer program for the same
JP2008082822A (en) * 2006-09-27 2008-04-10 Denso It Laboratory Inc Watching object detector and watching object detection method
JP2009109758A (en) * 2007-10-30 2009-05-21 Nissan Motor Co Ltd Speech-recognition dictionary generating device and method
WO2016121174A1 (en) * 2015-01-30 2016-08-04 ソニー株式会社 Information processing system and control method

Also Published As

Publication number Publication date
CN108627169A (en) 2018-10-09
CN108627169B (en) 2022-03-11
JP6552118B2 (en) 2019-07-31
US20180267546A1 (en) 2018-09-20
US10775795B2 (en) 2020-09-15

Similar Documents

Publication Publication Date Title
JP6782773B2 (en) Sharing navigation data between computing devices in the same location
US10705536B2 (en) Method and system to manage vehicle groups for autonomous vehicles
US20180275661A1 (en) Multi-mode transportation planning and scheduling
JP5964728B2 (en) Navigation system
US20130345958A1 (en) Computing Recommendations for Stopping During a Trip
US9651397B2 (en) Navigation route scheduler
EP3201861A1 (en) Content presentation based on travel patterns
JP2010112797A (en) Route setting device, navigation device and program
JP6552118B2 (en) Navigation system, navigation method, and program
JP2020095475A (en) Matching method, matching server, matching system, and program
CN111189463A (en) Information processing apparatus and information processing program
JP5879008B2 (en) Information processing apparatus, information processing method, and information processing program
JP2019120670A (en) Destination information retrieval device, program, and destination information retrieval system
JP5729257B2 (en) Information providing apparatus and information providing method
CN114691979A (en) Information providing device, information providing method, and storage medium
US20200380630A1 (en) Information processing apparatus, information processing method, and program
US20200400448A1 (en) Ride-sharing management device, ride-sharing management method, and recording medium
US20100036609A1 (en) Navigation systems and navigation methods thereof
JP2022103675A (en) Information processing device, information processing method, and program
CN113739816A (en) Vehicle navigation control method and device and vehicle
JP4985505B2 (en) Sound output device and program
JP6385255B2 (en) Route search system, route search method, computer program
CN110914881A (en) Enhanced vehicle route operation
WO2021192527A1 (en) Information processing device, information processing method, information processing program, and storage medium
US20230025049A1 (en) Multi-modal input-based service provision device and service provision method

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190326

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190701

R150 Certificate of patent or registration of utility model

Ref document number: 6552118

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees