JP2014038188A - Vehicle voice control device - Google Patents

Vehicle voice control device Download PDF

Info

Publication number
JP2014038188A
JP2014038188A JP2012180152A JP2012180152A JP2014038188A JP 2014038188 A JP2014038188 A JP 2014038188A JP 2012180152 A JP2012180152 A JP 2012180152A JP 2012180152 A JP2012180152 A JP 2012180152A JP 2014038188 A JP2014038188 A JP 2014038188A
Authority
JP
Japan
Prior art keywords
external application
output
voice
control device
external
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012180152A
Other languages
Japanese (ja)
Other versions
JP5920104B2 (en
Inventor
Takateru Gondo
高輝 權藤
Masakazu Ito
正和 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2012180152A priority Critical patent/JP5920104B2/en
Publication of JP2014038188A publication Critical patent/JP2014038188A/en
Application granted granted Critical
Publication of JP5920104B2 publication Critical patent/JP5920104B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Navigation (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a system in which without breaking a system of voice changeover in a fundamental function part of a vehicle system, appropriate voice changeover to outer applications being newly developed can be performed.SOLUTION: When an external application is activated at an external control device 20, an output control part 26 refers to attribute information of the external application stored in a management file in a storage area 24. Then, the output control part 26 transmits a start trigger of the external application and a priority of the external application acquired from the attribute information from the management file to the control device 10. In the control device 10, when receiving it, a voice management part 13 compares a priority of a dedicated application in a voice-output capable state in the control device 10 with the priority of the external application which is notified from the output control part 26 of the external control device 20. As a result of the comparison, the voice management part 13 performs control of changing over to voice output executed by an application having a higher priority.

Description

本発明は、車載機器で動作する外部アプリケーションと専用アプリケーションとによる音声出力を制御する、車両用の音声制御装置に関する。   The present invention relates to a sound control device for a vehicle that controls sound output by an external application and a dedicated application that operate on a vehicle-mounted device.

車両用ナビゲーション装置等の車両用システムにおいて、基本機能として初めから実装されている専用アプリケーションに加え、外部で作成されたアプリケーション(以下、外部アプリケーション)を後から取込んで実装可能な仕組みを備えるものがある。ここでいう外部アプリケーションとは、システムに元々実装されておらず、外部の開発者にも開発可能な汎用的なアプリケーションであって、クラウドコンピューティング等から通信を介してダウンロードできるアプリケーションを指す。   In a vehicle system such as a vehicle navigation device, in addition to a dedicated application that has been implemented from the beginning as a basic function, it has a mechanism that allows an application created externally (hereinafter referred to as an external application) to be implemented later. There is. The external application here refers to a general-purpose application that is not originally implemented in the system and can be developed by an external developer, and can be downloaded from a cloud computing or the like via communication.

このようなシステムにおいては、基本機能としての専用アプリケーションと、外部アプリケーションとの間で音声出力の競合を避けるため、音声出力の適切な切替制御が必要になる。例えば、車両用ナビゲーション装置における「交通情報」、「案内音声」、「クリアランスソナーによる警告音」等は重要な音声情報であるため、外部アプリケーションの音声に阻害される事なく音声出力される事が望ましい。ただし、外部アプリケーションの中に上記よりも重要な音声情報を出力する機能が存在する場合も考えられる。そのような場合、一義的なルールで音声出力の切替を実施してしまうと、ユーザにとって重要度の高い情報を聞き取れなくなる可能性がある。   In such a system, appropriate audio output switching control is necessary to avoid contention of audio output between a dedicated application as a basic function and an external application. For example, “traffic information”, “guidance voice”, “warning sound by clearance sonar”, etc. in the navigation device for vehicles are important voice information, and may be output without being obstructed by the voice of the external application. desirable. However, there may be a case where an external application has a function of outputting voice information more important than the above. In such a case, if the voice output is switched according to a unique rule, there is a possibility that information having high importance for the user cannot be heard.

一方、特定のルールによって複数のアプリケーション間の音声切替を行う仕組みについては、既存のナビゲーション装置に適用されている。例えば、専用の無線機(例えば、DCM:Data Communication Module)や携帯電話端末を用いて外部から特定のアプリケーションを取込み、そのアプリケーションによる表示や音声等の出力を行うことにより情報提供をする車両用ナビゲーション装置が開発されている(非特許文献1参照)。   On the other hand, a mechanism for performing voice switching between a plurality of applications according to a specific rule is applied to an existing navigation device. For example, a vehicle navigation system that provides information by taking in a specific application from the outside using a dedicated wireless device (for example, DCM: Data Communication Module) or a mobile phone terminal, and performing display or sound output by the application. An apparatus has been developed (see Non-Patent Document 1).

“G−BOOK.com”、[online]、トヨタメディアサービス株式会社、[平成24年6月18日検索]、インターネット<URL:http://g-book.com/pc/default.asp>“G-BOOK.com”, [online], Toyota Media Service Co., Ltd. [searched on June 18, 2012], Internet <URL: http://g-book.com/pc/default.asp>

しかしながら、従来技術では、車両用ナビゲーション装置における動作要件に合わせて専用開発されたアプリケーションとの連携が前提となっており、後発的に開発される汎用性の高い外部アプリケーションとの連携については考慮されていない。そのため、従来の車両用ナビゲーション装置では、専用開発されたアプリケーションとの連携を前提とした一義的なルールに基づいて複数のアプリケーション間で音声切替を実施している。   However, the conventional technology is premised on the cooperation with the application developed exclusively for the operation requirements of the vehicle navigation device, and the cooperation with the versatile external application developed later is considered. Not. Therefore, in the conventional vehicle navigation apparatus, voice switching is performed between a plurality of applications based on a unique rule based on the cooperation with a dedicated application.

一方、外部アプリケーションは、様々なベンダーで独自に開発され、それをユーザが自由に導入できるものである性質上、導入される車両用システムでの動作要件を意識したものにはなっていない。このような事情により、従来の車両用ナビゲーション装置のような、一義的なルールに基づいてアプリケーションの音声切替を行うシステムにおいて、多様な外部アプリケーションを導入した場合、以下のような不都合が生じる可能性がある。   On the other hand, external applications are uniquely developed by various vendors and are not conscious of the operational requirements of the introduced vehicle system due to the nature that users can freely introduce them. Due to such circumstances, when various external applications are introduced in a system that performs voice switching of applications based on a unique rule, such as a conventional vehicle navigation device, the following inconvenience may occur. There is.

(1)専用アプリケーションと外部アプリケーションとで、双方の音声出力を単純に混合する制御を行う場合。例えば、専用アプリケーションであるハンズフリー電話機能による音声通話中に、外部アプリケーションであるスケジューラ機能による時刻アラーム音を出力するイベントが発生した状況を想定してみる。このような状況では、通話音声にアラーム音を混同してしまい、通話音声が聴き取りにくくなるという不都合がある。   (1) The case where the dedicated application and the external application are controlled to simply mix both audio outputs. For example, assume a situation in which an event for outputting a time alarm sound by a scheduler function, which is an external application, occurs during a voice call using a hands-free telephone function, which is a dedicated application. In such a situation, there is an inconvenience that the alarm sound is confused with the call voice and it is difficult to hear the call voice.

(2)専用アプリケーションによる音声出力から、外部アプリケーションによる後発の音声出力に一義的に切替える場合。例えば、専用アプリケーションであるナビゲーション機能による経路案内音声を出力している途中で、外部アプリケーションであるスケジューラ機能による時刻アラーム音を出力するイベントが発生した状況を想定してみる。このような状況では、経路案内の途中で音声が切替わってしまうため、ユーザが案内ポイントを見落としてしまうおそれがある。   (2) When the voice output by the dedicated application is uniquely switched to the subsequent voice output by the external application. For example, assume a situation in which an event for outputting a time alarm sound by a scheduler function, which is an external application, occurs in the middle of outputting route guidance sound by a navigation function, which is a dedicated application. In such a situation, since the voice is switched during the route guidance, the user may miss the guidance point.

あるいは、専用アプリケーションであるオーディオ機能による音楽再生音を出力している最中に、外部アプリケーションであるカレンダー機能(音声出力なし)が起動するといったケースも考えられる。このケースでは、音声出力のない外部アプリケーションに音声出力が切替えられて無音状態になり、ユーザは音楽を聴くことができなくなる。このようなケースにおいては、たとえカレンダー機能が起動してもオーディオ機能による音楽再生音が出力されたままになることが、ユーザの観点からは望ましい。   Alternatively, there may be a case where a calendar function (no audio output), which is an external application, is activated while music playback sound is output by the audio function, which is a dedicated application. In this case, the sound output is switched to an external application that does not have sound output, and the user becomes silent, and the user cannot listen to the music. In such a case, it is desirable from the viewpoint of the user that the music reproduction sound by the audio function remains output even if the calendar function is activated.

(3)外部アプリケーションの起動時にユーザに音声出力を選択させる場合。例えば、専用アプリケーションによる音声出力を行っている最中に、新たに外部アプリケーションが起動した場合、外部アプリケーションへの音声出力の切替の可否をユーザに問合せるようにすることも考えられる。しかしながら、ユーザにとっての利便性の観点からは、操作の必要なしに違和感なく音声切替の制御が行われることが望ましい。   (3) When the user selects audio output when starting an external application. For example, when a new external application is activated during the audio output by the dedicated application, it may be possible to inquire the user whether or not the audio output can be switched to the external application. However, from the viewpoint of convenience for the user, it is desirable that the voice switching control be performed without a sense of incongruity without the need for operation.

上述のように、従来技術で適用されてきた音声切替の一義的なルールには、後発的に開発されるアプリケーションについて考慮されていなかったため、外部アプリケーションを追加する場合には、取込み先の動作要件を考慮して個別にソフトウェアを書換える必要があった。しかしながら、そのような仕組みは多大な開発資源を必要とし、現実的ではない。そのため、車両用システムの基本機能部分の音声切替の仕組みを崩す事なく、新しく開発されていく外部アプリケーションに対して適切な音声切替を実施できる仕組みが必要となる。   As mentioned above, the unique rules for voice switching that have been applied in the prior art did not take into account later-developed applications, so when adding external applications, the operational requirements of the capture destination It was necessary to rewrite the software individually considering this. However, such a mechanism requires a lot of development resources and is not realistic. Therefore, there is a need for a mechanism that can perform appropriate voice switching for a newly developed external application without breaking the voice switching mechanism of the basic functional part of the vehicle system.

本発明は、上記課題を解決するものである。   The present invention solves the above problems.

上記目的を達成するためになされた本発明における車両用音声制御装置は、記憶手段と、出力制御手段と、音声管理手段とを備える。記憶手段は、インストールされている外部アプリケーションごとの、音声出力の優先度を示す優先度情報を記憶する。出力制御手段は、所定の音声出力開始条件を満たす1又は複数の外部アプリケーションのうち、記憶手段に記憶されている優先度情報で示される優先度が最も高い外部アプリケーションに関する音声の出力開始要求を、音声管理手段に通知する。音声管理手段は、出力制御手段から通知された出力開始要求に係る外部アプリケーションに該当の音声出力の優先度と、所定の音声出力条件を満たす専用アプリケーションについて定義されている音声出力の優先度とを比較し、比較の結果、優先度の高い方のアプリケーションによる音声を、車両に備えられた音声出力手段から出力させる。   In order to achieve the above object, a vehicle voice control apparatus according to the present invention includes storage means, output control means, and voice management means. The storage means stores priority information indicating the priority of audio output for each installed external application. The output control means outputs a voice output start request related to the external application having the highest priority indicated by the priority information stored in the storage means among one or a plurality of external applications satisfying a predetermined voice output start condition. Notify the voice management means. The voice management means determines the priority of the voice output corresponding to the external application related to the output start request notified from the output control means, and the priority of the voice output defined for the dedicated application that satisfies a predetermined voice output condition. As a result of the comparison, the voice of the application with the higher priority is output from the voice output means provided in the vehicle.

本発明によれば、インストールされている外部アプリケーションごとに個別に保有する音声出力の優先度に応じて、複数のアプリケーション間における音声出力の切替えを動的に実施できる。ここで、音声出力の優先度は、外部アプリケーションによって提供される音声情報の重要性等の性質を反映して決められたものとすることが考えられる。このような仕組みより、本発明では、外部アプリケーションをインストールする際に、インストール先の動作要件に応じてソフトウェアを個別に改変する必要がなく、その外部アプリケーションの性質に応じた動的な音声切替えを実施できる。   According to the present invention, it is possible to dynamically switch audio output between a plurality of applications in accordance with the priority of audio output individually held for each installed external application. Here, it is conceivable that the priority of audio output is determined by reflecting properties such as the importance of audio information provided by an external application. Due to such a mechanism, in the present invention, when installing an external application, it is not necessary to individually modify the software according to the operation requirements of the installation destination, and dynamic voice switching according to the nature of the external application is performed. Can be implemented.

(a)車両用ナビゲーションシステムの概略構成を示すブロック図。(b)ソフトウェアシステムの概略構成を示すブロック図。(A) The block diagram which shows schematic structure of the navigation system for vehicles. (B) The block diagram which shows schematic structure of a software system. 管理ファイルの内容を示す説明図。Explanatory drawing which shows the content of the management file. 車両用ナビゲーションシステムによる処理の手順を示すシーケンス図。The sequence diagram which shows the procedure of the process by the navigation system for vehicles. 属性情報管理部による処理の手順を示すフローチャート。The flowchart which shows the procedure of the process by an attribute information management part. 出力制御部による処理の手順を示すフローチャート。The flowchart which shows the procedure of the process by an output control part. 音声管理部による処理の手順を示すフローチャート。The flowchart which shows the procedure of the process by a voice management part. 音声出力の状態遷移の一例を示す説明図。Explanatory drawing which shows an example of the state transition of an audio | voice output. 音声出力の状態遷移の一例を示す説明図。Explanatory drawing which shows an example of the state transition of an audio | voice output. 音声出力の状態遷移の一例を示す説明図。Explanatory drawing which shows an example of the state transition of an audio | voice output. 音声制御部による処理の手順を示すフローチャート。The flowchart which shows the procedure of the process by an audio | voice control part.

以下、本発明の一実施形態を図面に基づいて説明する。なお、本発明は下記の実施形態に何ら限定されるものではなく様々な態様にて実施することが可能である。
[車両用ナビゲーションシステム1の構成の説明]
本実施形態の車両用ナビゲーションシステム1は、車両に搭載されるナビゲーションシステムであり、図1(a)に示すように、制御装置10と、外部制御装置20と、音声出力部30と、表示部40とを備える。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. In addition, this invention is not limited to the following embodiment at all, and can be implemented in various aspects.
[Description of Configuration of Vehicle Navigation System 1]
A vehicle navigation system 1 according to the present embodiment is a navigation system mounted on a vehicle. As shown in FIG. 1A, a control device 10, an external control device 20, an audio output unit 30, and a display unit. 40.

制御装置10は、CPU11やメモリ12等を中心に構成される情報処理装置である。この制御装置10は、車両用ナビゲーションシステム1の基本機能を司るブロックとして、専用アプリケーションを動作させるための仕組みを備え、映像と音声の出力制御を行う。CPU11は、プログラムに従って制御装置10の各部構成を制御する演算処理装置である。CPU11は、メモリ12から読込んだ専用アプリケーションのプログラムに基づく処理を実行する。専用アプリケーションは、車両用ナビゲーションシステム1の基本機能として初めから実装されているアプリケーションである。CPU11が実行する専用アプリケーションとしては、ナビゲーション機能、オーディオ機能、ハンズフリー電話機能等が例示される。なお、ここで例示した専用アプリケーションは、ほんの一例であり、その他の専用アプリケーションが実装されていてもよい。   The control device 10 is an information processing device configured with a CPU 11, a memory 12, and the like as a center. The control device 10 includes a mechanism for operating a dedicated application as a block that controls the basic functions of the vehicle navigation system 1, and performs video and audio output control. The CPU 11 is an arithmetic processing device that controls each component configuration of the control device 10 according to a program. The CPU 11 executes processing based on a dedicated application program read from the memory 12. The dedicated application is an application implemented from the beginning as a basic function of the vehicle navigation system 1. Examples of the dedicated application executed by the CPU 11 include a navigation function, an audio function, and a hands-free telephone function. The dedicated application illustrated here is only an example, and other dedicated applications may be mounted.

ナビゲーション機能は、車両向けの経路案内を行うアプリケーションであり、地図表示や経路探索、経路案内等が実行される。地図表示は、現在地付近の地図や車両の現在地を示すマーク等を表示する機能である。また、経路探索は、現在地から目的地までの最適な経路を自動的に算出する機能である。経路案内は、前述の経路探索によって求めた経路に沿った走行案内を行う機能である。ナビゲーション機能による画像は、表示制御部15を通じて表示部40に表示される。また、走行案内には、ガイド音声の出力も併用する。ガイド音声は、音声制御部14を通じて音声出力部30から出力される。   The navigation function is an application that performs route guidance for vehicles, and executes map display, route search, route guidance, and the like. The map display is a function for displaying a map near the current location, a mark indicating the current location of the vehicle, and the like. The route search is a function for automatically calculating the optimum route from the current location to the destination. The route guidance is a function for performing travel guidance along the route obtained by the route search described above. An image by the navigation function is displayed on the display unit 40 through the display control unit 15. The travel guidance is also used with the output of the guide voice. The guide voice is output from the voice output unit 30 through the voice control unit 14.

オーディオ機能は、例えば、テレビチューナや、CDドライブ、DVDドライブ、デジタルオーディオプレーヤ、ラジオチューナ等の各種映像・音声ソースに基づいて各種映像や音声の出力を行うアプリケーションである。オーディオ関係の機能としては、選択可能な複数の映像・音声ソースのうち、ユーザによって指定された映像・音声ソースからの映像・音声信号に基づく映像や音声を、表示部40及び音声出力部30により出力する。   The audio function is an application that outputs various video and audio based on various video and audio sources such as a TV tuner, a CD drive, a DVD drive, a digital audio player, and a radio tuner. As an audio-related function, among a plurality of selectable video / audio sources, video and audio based on video / audio signals from a video / audio source designated by the user are displayed by the display unit 40 and the audio output unit 30. Output.

ハンズフリー電話機能は、移動電話による車内でのハンズフリー通話機能を提供するアプリケーションである。このハンズフリー電話機能では、外部からの電話の着信があったときに、着信を運転者に知らせるための画面を表示する。ハンズフリー電話機能による着信音声は、音声制御部14を通じて音声出力部30から出力される。また、ハンズフリー電話機能による画像は、表示制御部15を通じて表示部40に表示される。   The hands-free telephone function is an application that provides a hands-free telephone call function in a car using a mobile telephone. This hands-free telephone function displays a screen for notifying the driver of an incoming call when an incoming call is received from the outside. The incoming voice by the hands-free telephone function is output from the voice output unit 30 through the voice control unit 14. Further, the image by the hands-free telephone function is displayed on the display unit 40 through the display control unit 15.

メモリ12は、ハードディスクドライブや書換え可能な不揮発性半導体メモリ等で具現化される記憶装置である。このメモリ12には、制御装置10が動作するためにCPU11が実行するシステムプログラムや、アプリケーションプログラム等の各種データが記憶されている。上述のナビゲーション機能や、オーディオ機能、ハンズフリー電話機能等の専用アプリケーションのプログラムもここに記憶されている。   The memory 12 is a storage device embodied by a hard disk drive, a rewritable nonvolatile semiconductor memory, or the like. The memory 12 stores various data such as a system program executed by the CPU 11 for operating the control device 10 and application programs. Programs for dedicated applications such as the navigation function, audio function, and hands-free telephone function described above are also stored here.

音声管理部13は、制御装置10で実行される専用アプリケーションによる音声と、外部制御装置20で実行される外部アプリケーションによる音声とのどちらを出力するかを判断する音声出力調停を行う機能的構成である。音声管理部13は、制御装置10で音声出力可能な状態にある専用アプリケーションにおける優先度と、外部制御装置20から通知される外部アプリケーションの属性情報で示される優先度との比較結果に応じて、音声出力の切替制御を行う。   The voice management unit 13 has a functional configuration that performs voice output arbitration that determines whether to output voice from a dedicated application executed by the control device 10 or voice from an external application executed by the external control device 20. is there. The voice management unit 13, according to the comparison result between the priority in the dedicated application that is in a state in which voice output is possible in the control device 10 and the priority indicated by the attribute information of the external application notified from the external control device 20 Performs audio output switching control.

音声制御部14は、音声管理部13により指示された音声データに基づく音声出力信号を音声出力部30に出力し、音声を出力させる音声出力用のインタフェースユニットである。表示制御部15は、各アプリケーションからの表示出力信号を表示部40に出力し、映像を表示させる表示出力用のインタフェースユニットである。   The audio control unit 14 is an audio output interface unit that outputs an audio output signal based on audio data instructed by the audio management unit 13 to the audio output unit 30 and outputs audio. The display control unit 15 is a display output interface unit that outputs a display output signal from each application to the display unit 40 and displays an image.

外部制御装置20は、CPU21やメモリ22等を中心に構成される情報処理装置である。この外部制御装置20は、車両用ナビゲーションシステム1における拡張機能を司るブロックとして、外部アプリケーションを動作させるための仕組みを備える。   The external control device 20 is an information processing device configured with a CPU 21 and a memory 22 as the center. The external control device 20 includes a mechanism for operating an external application as a block that controls an extended function in the vehicle navigation system 1.

CPU21は、プログラムに従って外部制御装置20の各部構成を制御する演算処理装置である。CPU21は、メモリ22から読込んだ外部アプリケーションのプログラムに基づく処理を実行する。外部アプリケーションは、車両用ナビゲーションシステム1に元々実装されておらず、ユーザの任意によりインターネットを中心とするクラウドコンピューティングを構成するサーバ群からデータ通信を介して導入される汎用的なアプリケーション等が想定される。このような外部アプリケーションにより、クラウドコンピューティングや、スマートフォン等の高機能携帯端末との連携により、広い分野での情報やユーザインタフェースの相互利用が可能となる。これらの各汎用アプリケーションによって、車両の走行に関するものに限らず多様性に富む音声情報や画像情報が提供される。汎用アプリケーションからの音声情報や画像情報は、制御装置10を通じて音声出力部30及び表示部40から出力される。   The CPU 21 is an arithmetic processing device that controls each component configuration of the external control device 20 according to a program. The CPU 21 executes processing based on the external application program read from the memory 22. The external application is not originally implemented in the vehicle navigation system 1 and is assumed to be a general-purpose application or the like that is introduced through data communication from a server group that constitutes cloud computing centered on the Internet as desired by the user. Is done. Such external applications enable mutual use of information and user interfaces in a wide range of fields in cooperation with cloud computing and high-function mobile terminals such as smartphones. Each of these general-purpose applications provides audio information and image information that are not limited to vehicle driving but rich in diversity. Audio information and image information from the general-purpose application are output from the audio output unit 30 and the display unit 40 through the control device 10.

メモリ22は、ハードディスクドライブや書換え可能な不揮発性半導体メモリ等で具現化される記憶装置である。このメモリ22には、外部制御装置20が動作するためにCPU21が実行するシステムプログラムや、外部から導入された外部アプリケーションのプログラム等の各種データが記憶されている。   The memory 22 is a storage device embodied by a hard disk drive, a rewritable nonvolatile semiconductor memory, or the like. The memory 22 stores various data such as a system program executed by the CPU 21 to operate the external control device 20 and an external application program introduced from the outside.

属性情報管理部23は、メモリ22にインストールされている外部アプリケーションの音声出力方法に関する属性情報の管理を行う機能的構成である。属性情報管理部23は、外部アプリケーションのインストール時に、その外部アプリケーションの音声出力方法に関する属性情報を、記憶領域24に記憶されている管理ファイルに記録する。また、属性情報管理部23は、外部アプリケーションのアンインストール時に、記憶領域24の管理ファイルから、その外部アプリケーションの属性情報を削除する。記憶領域24は、メモリ22にインストールされている全ての外部アプリケーションに関する属性情報をまとめて記録した管理ファイルを記憶するための記憶領域である。   The attribute information management unit 23 has a functional configuration that manages attribute information related to the audio output method of the external application installed in the memory 22. The attribute information management unit 23 records attribute information related to the audio output method of the external application in a management file stored in the storage area 24 when the external application is installed. Further, the attribute information management unit 23 deletes the attribute information of the external application from the management file in the storage area 24 when the external application is uninstalled. The storage area 24 is a storage area for storing a management file in which attribute information regarding all external applications installed in the memory 22 is recorded together.

ここで、外部アプリケーションの属性情報の詳しい内容について、図2を参照しながら説明する。
図2に示すとおり、メモリ22にインストールされている外部アプリケーションA,B,Cうち、外部アプリケーションAのデータには、音声出力方法を規定する属性情報Aが含まれているものと想定する。この属性情報Aは、外部アプリケーションAの開発元において予め付加されたものであり、外部アプリケーションAのプログラムと一緒にメモリ22にインストールされたものである。一方、メモリ22内の外部アプリケーションB,Cには、属性情報は付属していないものと想定する。
Here, the detailed contents of the attribute information of the external application will be described with reference to FIG.
As shown in FIG. 2, it is assumed that among the external applications A, B, and C installed in the memory 22, the data of the external application A includes attribute information A that defines the audio output method. The attribute information A is added in advance by the developer of the external application A, and is installed in the memory 22 together with the program of the external application A. On the other hand, it is assumed that attribute information is not attached to the external applications B and C in the memory 22.

記憶領域24内の管理ファイルには、メモリ22にインストールされている外部アプリケーションA,B,Cに関する属性情報A,B,Cが記録されている。この内、属性情報Aは、属性情報管理部23によってメモリ22にインストールされている外部アプリケーションAのデータから読出され、管理ファイルに記録されたものである。一方、属性情報が付加されていない外部アプリケーションB,Cに対応する属性情報B,Cは、属性情報管理部23によって所定の値として独自に定義されたものである。   In the management file in the storage area 24, attribute information A, B, and C related to the external applications A, B, and C installed in the memory 22 is recorded. Among these, the attribute information A is read from the data of the external application A installed in the memory 22 by the attribute information management unit 23 and recorded in the management file. On the other hand, the attribute information B and C corresponding to the external applications B and C to which no attribute information is added are uniquely defined by the attribute information management unit 23 as predetermined values.

各外部アプリケーションの属性情報には、「音声出力」、「出力方法」、「優先度」、「音声出力の開始条件」、「音声出力の終了条件」といった情報項目が含まれる。「音声出力」の情報項目には、その外部アプリケーションが音声出力を行うか否かを示す情報が記述されている。「出力方法」の情報項目には、音声出力時に他のアプリケーションの音声出力を排他するか、他のアプリケーションの音声出力と混合するかを示す情報が記述されている。「優先度」の情報項目には、その外部アプリケーションにより出力される音声情報の重要度に応じて定義された、音声出力の優先度を示す情報が記述されている。   The attribute information of each external application includes information items such as “audio output”, “output method”, “priority”, “audio output start condition”, and “audio output end condition”. In the information item “sound output”, information indicating whether or not the external application performs sound output is described. In the “output method” information item, information indicating whether the audio output of another application is to be excluded or mixed with the audio output of the other application is described. In the “priority” information item, information indicating the priority of audio output defined according to the importance of audio information output by the external application is described.

「音声出力の開始条件」の情報項目には、その外部アプリケーションが音声出力を開始したと判断するための条件を示す情報が記述されている。具体的な開始条件としては、外部アプリケーションの起動や、動作中に音声出力を開始したこと等が例示される。また、「音声出力の終了条件」の情報項目には、その外部アプリケーションが音声出力を終了したと判断するための条件を示す情報が記述されている。具体的な終了条件としては、外部アプリケーションの終了や、動作中に音声出力を終了したこと等が例示される。これらの開始条件及び終了条件は、外部アプリケーションの仕様や動作要件に応じて自由に定義できる。なお、管理ファイルに記録されている属性情報は、外部アプリケーション側で予め定義されている・いないに関わらず、ユーザが任意に内容を変更できるものとする。   The information item “sound output start condition” describes information indicating a condition for determining that the external application has started sound output. Specific start conditions include starting an external application, starting audio output during operation, and the like. In the information item “sound output end condition”, information indicating a condition for determining that the external application has ended the sound output is described. Specific termination conditions include termination of an external application, termination of audio output during operation, and the like. These start conditions and end conditions can be freely defined according to the specifications and operation requirements of the external application. The attribute information recorded in the management file can be arbitrarily changed by the user regardless of whether or not the attribute information is previously defined on the external application side.

図1(a)のブロック図の説明に戻る。起動管理部25は、外部アプリケーションのインストール、起動、動作終了、アンインストールの管理を行う機能的構成である。出力制御部26は、動作中の外部アプリケーションによる音声出力の制御を行う機能的構成である。出力制御部26は、起動管理部25から外部アプリケーションの起動が通知されると、記憶領域24の管理ファイルを参照する。そして、管理ファイルにおける属性情報で示される音声出力条件を満たす場合に、外部アプリケーションによる音声出力の開始を示す開始トリガと、外部アプリケーションから出力される音声データとを、制御装置10へ送信する。また、音声終了条件を満たした場合、外部アプリケーションによる音声出力を終了することを示す終了トリガを、制御装置10へ送信する。   Returning to the description of the block diagram of FIG. The activation management unit 25 has a functional configuration that manages installation, activation, operation termination, and uninstallation of external applications. The output control unit 26 has a functional configuration that controls audio output by an external application that is operating. The output control unit 26 refers to the management file in the storage area 24 when the activation management unit 25 is notified of the activation of the external application. Then, when the audio output condition indicated by the attribute information in the management file is satisfied, a start trigger indicating the start of audio output by the external application and audio data output from the external application are transmitted to the control device 10. When the audio end condition is satisfied, an end trigger indicating that the audio output by the external application is ended is transmitted to the control device 10.

なお、出力制御部26による音声データの出力形式は、外部制御装置20側の仕組みに依存する。例えば、複数のアプリケーションが動作している場合に音声データをミキシングして出力するか、アクティブなアプリケーションの音声のみを出力するかは、外部制御装置20側で判断される。本実施形態では、前記の判断後に出力された音声データを扱うものとする。   The output format of the audio data by the output control unit 26 depends on the mechanism on the external control device 20 side. For example, when a plurality of applications are operating, it is determined on the external control device 20 side whether the audio data is mixed and output or only the sound of the active application is output. In the present embodiment, it is assumed that audio data output after the determination is handled.

音声出力部30は、専用アプリケーションや外部アプリケーションによる音声出力を行うための出力装置である。表示部40は、液晶ディスプレイ等の表示面を有するカラー表示装置であり、専用アプリケーションや外部アプリケーション等により出力される画像を表示するための出力装置である。   The audio output unit 30 is an output device for performing audio output by a dedicated application or an external application. The display unit 40 is a color display device having a display surface such as a liquid crystal display, and is an output device for displaying an image output by a dedicated application, an external application, or the like.

制御装置10及び外部制御装置20によって実現されるソフトウェアシステムについて、図1(b)を参照しながら説明する。制御装置10及び外部制御装置20では、プラットフォーム50及び外部アプリケーション管理部51と、それらに依存して動作する専用アプリケーション及び外部アプリケーションからなるソフトウェアシステムが構成されている。   A software system realized by the control device 10 and the external control device 20 will be described with reference to FIG. In the control device 10 and the external control device 20, a platform 50 and an external application management unit 51, and a software system including a dedicated application and an external application that operate depending on them are configured.

プラットフォーム50は、コンピュータシステムのハードウェアを抽象化したインタフェースをアプリケーションに提供するオペレーティングシステム(OS)であり、車両用ナビゲーションシステム1の基本動作に必要な機能を提供する。ナビゲーション機能や、オーディオ機能、ハンズフリー電話機能等の専用アプリケーションは、プラットフォーム50に依存して動作する。   The platform 50 is an operating system (OS) that provides an application with an interface that abstracts the hardware of the computer system, and provides functions necessary for the basic operation of the vehicle navigation system 1. Dedicated applications such as a navigation function, an audio function, and a hands-free telephone function operate depending on the platform 50.

外部アプリケーション管理部51は、標準化された規格に準拠したオープンプラットフォームであり、その標準規格に則って作られた様々な外部アプリケーションを動作させることができる。外部アプリケーション管理部51は、外部制御装置20にインストールされた外部アプリケーションの管理及び制御を行う仕組みを備え、外部アプリケーション管理部51自体がプラットフォーム50上で動作するソフトウェアとして構成されている。   The external application management unit 51 is an open platform that conforms to a standardized standard, and can operate various external applications created in accordance with the standard. The external application management unit 51 includes a mechanism for managing and controlling external applications installed in the external control device 20, and the external application management unit 51 itself is configured as software that operates on the platform 50.

これにより、オープンプラットフォームの標準規格に準拠したアプリケーションであれば、車両用ナビゲーションシステム1本体のベンダーとは直接の関係がないサードパーティにより開発された外部アプリケーションであっても、これらの外部アプリケーションによる音声出力や映像出力を車両用ナビゲーションシステム1で実現できるようになっている。   As a result, if the application conforms to the standard of the open platform, even if it is an external application developed by a third party that is not directly related to the vehicular navigation system 1 main body, the audio generated by these external applications Output and video output can be realized by the vehicle navigation system 1.

[音声出力切替シーケンスの説明]
つぎに、制御装置10及び外部制御装置20の各機能により実行される音声出力切替シーケンスの概要について、図3を参照しながら説明する。
[Description of audio output switching sequence]
Next, the outline of the audio output switching sequence executed by the functions of the control device 10 and the external control device 20 will be described with reference to FIG.

図3に示すシーケンス図は、外部アプリケーションが外部制御装置20にインストールされるところから始まる。外部アプリケーションのインストールが完了すると、起動管理部25が、属性情報管理部23に対してインストールの完了を通知する。属性情報管理部23は、起動管理部25からインストールの完了を通知されると、インストールされた外部アプリケーションのデータに付属する属性情報を参照する。そして、属性情報管理部23は、参照した属性情報を記憶領域24の管理ファイルに記録する。この属性情報管理部23による一連の処理の詳細な手順については、後述する(図4、フロー1)。属性情報の記録後、属性情報管理部23は、起動管理部25に対して登録の完了を通知する。   The sequence diagram shown in FIG. 3 starts when an external application is installed in the external control device 20. When the installation of the external application is completed, the activation management unit 25 notifies the attribute information management unit 23 of the completion of the installation. When the activation information is notified from the activation management unit 25, the attribute information management unit 23 refers to the attribute information attached to the data of the installed external application. Then, the attribute information management unit 23 records the referenced attribute information in the management file in the storage area 24. A detailed procedure of a series of processing by the attribute information management unit 23 will be described later (FIG. 4, flow 1). After recording the attribute information, the attribute information management unit 23 notifies the activation management unit 25 of the completion of registration.

つぎに、インストールされている外部アプリケーションが起動したことを起動管理部25が検知すると、起動管理部25は、出力制御部26に対して外部アプリケーションの起動通知を送信する。出力制御部26は、起動管理部25から起動通知を受信すると、記憶領域24の管理ファイルから起動した外部アプリケーションの属性情報を参照する。そして、外部アプリケーションの音声出力開始時条件が成立している場合、外部アプリケーションの音声出力を開始することを示す開始トリガと、属性情報で示される優先度とを音声管理部13へ送信する。この出力制御部26による一連の処理の詳細な手順については、後述する(図5、フロー2)。   Next, when the activation management unit 25 detects that the installed external application has been activated, the activation management unit 25 transmits an activation notification of the external application to the output control unit 26. When the output control unit 26 receives the activation notification from the activation management unit 25, the output control unit 26 refers to the attribute information of the external application activated from the management file in the storage area 24. When the audio output start condition of the external application is satisfied, a start trigger indicating that audio output of the external application is started and the priority indicated by the attribute information are transmitted to the audio management unit 13. A detailed procedure of a series of processing by the output control unit 26 will be described later (FIG. 5, flow 2).

音声管理部13は、出力制御部26から外部アプリケーションに関する開始トリガと優先度とを受信すると、優先度に基づく音声切替条件の成否を判断する。判断の結果、音声切替条件を満たす場合、音声管理部13は、音声出力を現在の状態から外部アプリケーションに切替えるための音声切替指示を音声制御部14に通知する。この音声管理部13による一連の処理の詳細な手順については、後述する(図6、フロー4)。音声制御部14は、音声管理部13から音声切替指示を受信すると、音声出力を現在の状態(例えば、専用アプリケーションによる音声を出力している状態)から外部アプリケーションに切替える。   When the voice management unit 13 receives the start trigger and the priority regarding the external application from the output control unit 26, the voice management unit 13 determines whether the voice switching condition based on the priority is successful. As a result of the determination, if the voice switching condition is satisfied, the voice management unit 13 notifies the voice control unit 14 of a voice switching instruction for switching the voice output from the current state to the external application. A detailed procedure of a series of processing by the voice management unit 13 will be described later (FIG. 6, flow 4). When the voice control unit 14 receives the voice switching instruction from the voice management unit 13, the voice control unit 14 switches the voice output from the current state (for example, a state in which voice is output by the dedicated application) to the external application.

一方、動作中の外部アプリケーションは、音声データを随時出力する。出力制御部26は、外部アプリケーションから出力された音声データを音声管理部13へ送信する。音声管理部13は、出力制御部26から受信した音声データを音声制御部14に出力する。音声制御部14は、音声出力が外部アプリケーションに切替わっている条件下において、音声管理部13から受信した外部アプリケーションの音声データを音声出力部30から出力させる。   On the other hand, the operating external application outputs audio data as needed. The output control unit 26 transmits the audio data output from the external application to the audio management unit 13. The voice management unit 13 outputs the voice data received from the output control unit 26 to the voice control unit 14. The voice control unit 14 causes the voice output unit 30 to output the voice data of the external application received from the voice management unit 13 under the condition that the voice output is switched to the external application.

その後、動作中であった外部アプリケーションの終了を起動管理部25が検知すると、起動管理部25は、出力制御部26に対して外部アプリケーションの終了通知を送信する。出力制御部26は、起動管理部25から終了通知を受信すると、音声出力終了条件の成否を判断する。判断の結果、音声出力終了条件を満たす場合、外部アプリケーションの音声出力を終了することを示す終了トリガを音声管理部13へ送信する。この出力制御部26による一連の処理の詳細な手順については、後述する(図5、フロー3)。   Thereafter, when the activation management unit 25 detects the termination of the external application that was operating, the activation management unit 25 transmits an external application termination notification to the output control unit 26. When receiving the end notification from the activation management unit 25, the output control unit 26 determines whether or not the audio output end condition is satisfied. As a result of the determination, if the audio output end condition is satisfied, an end trigger indicating that the audio output of the external application is ended is transmitted to the audio management unit 13. A detailed procedure of a series of processing by the output control unit 26 will be described later (FIG. 5, flow 3).

音声管理部13は、出力制御部26から外部アプリケーションに関する終了トリガを受信すると、音声出力を現在の状態から専用アプリケーションに切替えるための音声切替指示を音声制御部14に通知する。音声制御部14は、音声管理部13から音声切替指示を受信すると、音声出力を現在の状態(外部アプリケーションによる音声を出力している状態)から専用アプリケーションに切替える。   When receiving the termination trigger related to the external application from the output control unit 26, the voice management unit 13 notifies the voice control unit 14 of a voice switching instruction for switching the voice output from the current state to the dedicated application. When the voice control unit 14 receives the voice switching instruction from the voice management unit 13, the voice control unit 14 switches the voice output from the current state (a state in which the voice from the external application is output) to the dedicated application.

一方、属性情報管理部23は、ユーザから属性情報変更指示を受付けた場合、記憶領域24の管理ファイルにおける属性情報の内容を、与えられた指示に沿った内容に更新する。なお、属性情報変更指示の入力は、例えば、車両に設けられた操作スイッチ等の入力装置や、車両用ナビゲーションシステム1に外部接続して用いられる操作端末(何れも図示なし)を通じて行われるものとする。   On the other hand, when the attribute information management unit 23 receives an attribute information change instruction from the user, the attribute information management unit 23 updates the content of the attribute information in the management file in the storage area 24 to the content according to the given instruction. The input of the attribute information change instruction is performed through, for example, an input device such as an operation switch provided in the vehicle or an operation terminal (none of which is shown) that is used by being externally connected to the vehicle navigation system 1. To do.

一方、インストール済みの外部アプリケーションがアンインストールされたことを起動管理部25が検知すると、起動管理部25は、属性情報管理部23に対してアンインストールの完了を通知する。属性情報管理部23は、起動管理部25からアンインストールの完了を通知されると、アンインストールされた外部アプリケーションに該当の属性情報を、記憶領域24の管理ファイルから削除する。   On the other hand, when the activation management unit 25 detects that the installed external application has been uninstalled, the activation management unit 25 notifies the attribute information management unit 23 of the completion of the uninstallation. When notified of completion of uninstallation from the activation management unit 25, the attribute information management unit 23 deletes attribute information corresponding to the uninstalled external application from the management file in the storage area 24.

[属性情報管理部の制御フロー]
属性情報管理部23が実行する処理の手順について、図4のフローチャートを参照しながら説明する。
[Control flow of attribute information manager]
A procedure of processing executed by the attribute information management unit 23 will be described with reference to the flowchart of FIG.

(フロー1.属性情報登録処理)
属性情報管理部23は、外部アプリケーションのインストールが完了したことを条件に、属性情報登録処理を実行する。S100では、属性情報管理部23は、インストールされた外部アプリケーションのプログラムに付属する属性情報を参照する。そして、S102では、参照先の外部アプリケーションに属性情報が存在するか否かに応じて処理を分岐する。参照先の外部アプリケーションに属性情報が存在する場合(S102:YES)、S106に進む。このS106では、参照先の外部アプリケーションに付属する属性情報を読出し、それを当該外部アプリケーションの属性情報として記憶領域24の管理ファイルに記録する。記録後、本処理を終了する。
(Flow 1. Attribute information registration process)
The attribute information management unit 23 executes the attribute information registration process on the condition that the installation of the external application is completed. In S100, the attribute information management unit 23 refers to attribute information attached to the installed external application program. In S102, the process branches depending on whether or not the attribute information exists in the external application that is the reference destination. When the attribute information exists in the external application that is the reference destination (S102: YES), the process proceeds to S106. In S106, the attribute information attached to the reference destination external application is read and recorded in the management file in the storage area 24 as the attribute information of the external application. After recording, this process is terminated.

一方、参照先の外部アプリケーションに属性情報が存在しない場合(S102:NO)、S104に進む。S104では、予め規定されているデフォルトの属性情報を作成する。そして、次のS106では、S104で作成したデフォルトの属性情報を、当該外部アプリケーションの属性情報として記憶領域24の管理ファイルに記録する。記録後、本処理を終了する。   On the other hand, when the attribute information does not exist in the reference external application (S102: NO), the process proceeds to S104. In S104, default attribute information defined in advance is created. In the next S106, the default attribute information created in S104 is recorded in the management file in the storage area 24 as the attribute information of the external application. After recording, this process is terminated.

[出力制御部の制御フロー]
出力制御部26が実行する処理の手順について、図5のフローチャートを参照しながら説明する。
[Control flow of output control unit]
The procedure of processing executed by the output control unit 26 will be described with reference to the flowchart of FIG.

(フロー2.開始トリガ送信処理)
出力制御部26は、外部アプリケーションが起動、又は、動作中の外部アプリケーションが音声出力開始条件を満たしたことを条件に、開始トリガ送信処理を実行する。S200では、属性情報管理部23は、外部アプリケーションが起動した場合、起動した外部アプリケーションに対応する属性情報を、記憶領域24の管理ファイルから取得し、起動リストに登録する。起動リストは、外部制御装置20において現在動作中の外部アプリケーションと、その属性情報の一覧である。
(Flow 2. Start trigger transmission process)
The output control unit 26 executes the start trigger transmission process on the condition that the external application is activated or the operating external application satisfies the audio output start condition. In S200, when the external application is activated, the attribute information management unit 23 acquires attribute information corresponding to the activated external application from the management file in the storage area 24 and registers it in the activation list. The activation list is a list of external applications currently operating in the external control device 20 and attribute information thereof.

S202では、起動リストに登録されている各外部アプリケーションの属性情報の中から音声出力開始条件を検索する。S204では、音声出力開始条件を検索した結果において、現時点で音声出力開始条件を満たす外部アプリケーションが存在するか否かを判定する。音声出力開始条件を満たす外部アプリケーションが存在する場合(S204:YES)、S206に進む。一方、音声出力開始条件を満たす外部アプリケーションが存在しない場合(S204:NO)、本処理を終了する。   In S202, the audio output start condition is searched from the attribute information of each external application registered in the activation list. In S204, it is determined whether there is an external application that satisfies the audio output start condition at the present time as a result of searching for the audio output start condition. If there is an external application that satisfies the audio output start condition (S204: YES), the process proceeds to S206. On the other hand, if there is no external application that satisfies the audio output start condition (S204: NO), this process ends.

音声出力開始条件を満たす外部アプリケーションが存在する場合に進むS206では、外部アプリケーションによる音声出力を開始することを示す開始トリガと、音声出力開始条件を満たす外部アプリケーションの中で最も高い優先度の値とを、制御装置10に送信する。送信後、本処理を終了する。   In S206, which proceeds when there is an external application satisfying the audio output start condition, a start trigger indicating that audio output by the external application is started, and the highest priority value among the external applications satisfying the audio output start condition are set. Is transmitted to the control device 10. After transmission, this process is terminated.

(フロー3.終了トリガ送信処理)
出力制御部26は、外部アプリケーションの動作が終了、又は、動作中の外部アプリケーションが音声出力終了条件を満たしたことを条件に、終了トリガ送信処理を実行する。S300では、属性情報管理部23は、動作が終了、又は音声出力終了条件を満たした外部アプリケーションに対応する属性情報を、起動リストから削除する。
(Flow 3. End trigger transmission process)
The output control unit 26 executes the end trigger transmission process on the condition that the operation of the external application is ended or the operating external application satisfies the audio output end condition. In S300, the attribute information management unit 23 deletes the attribute information corresponding to the external application that has completed the operation or satisfied the audio output end condition from the activation list.

次のS302では、起動リストに登録されている各外部アプリケーションの属性情報の中から音声出力開始条件を検索する。S304では、音声出力開始条件を検索した結果において、現時点で音声出力開始条件を満たす外部アプリケーションが存在するか否かを判定する。音声出力開始条件を満たす外部アプリケーションが存在する場合(S304:YES)、S308に進む。一方、音声出力開始条件を満たす外部アプリケーションが存在しない場合(S304:NO)、S306に進む。   In next step S302, the audio output start condition is searched from the attribute information of each external application registered in the activation list. In S304, it is determined whether there is an external application that satisfies the audio output start condition at the present time as a result of searching for the audio output start condition. If there is an external application that satisfies the audio output start condition (S304: YES), the process proceeds to S308. On the other hand, if there is no external application that satisfies the audio output start condition (S304: NO), the process proceeds to S306.

音声出力開始条件を満たす外部アプリケーションが存在しない場合に進むS306では、外部アプリケーションによる音声出力を終了すること示す終了トリガを、制御装置10に送信する。送信後、本処理を終了する。一方、音声出力開始条件を満たす外部アプリケーションが存在する場合に進むS308では、外部アプリケーションによる音声出力を開始することを示す開始トリガと、音声出力開始条件を満たす外部アプリケーションの中で最も高い優先度の値とを、制御装置10に送信する。送信後、本処理を終了する。   In S <b> 306, which proceeds when there is no external application that satisfies the audio output start condition, an end trigger indicating that audio output by the external application is to be ended is transmitted to the control device 10. After transmission, this process is terminated. On the other hand, in S308, which proceeds when there is an external application that satisfies the audio output start condition, the start trigger indicating that audio output by the external application is started and the highest priority among the external applications that satisfy the audio output start condition The value is transmitted to the control device 10. After transmission, this process is terminated.

[音声管理部の制御フロー]
音声管理部13が実行する処理の手順について、図6のフローチャートを参照しながら説明する。
[Control flow of voice management unit]
The procedure of processing executed by the voice management unit 13 will be described with reference to the flowchart of FIG.

(フロー4.音声出力開始処理)
音声管理部13は、外部制御装置20から外部アプリケーションに関する開始トリガと優先度とを受信したことを条件に、音声出力開始処理を実行する。S400では、制御装置10において現時点で音声出力可能な状態の専用アプリケーションの優先度と、開始トリガと共に受信した外部アプリケーションの優先度とを比較する。なお、専用アプリケーションの優先度は、個々の専用アプリケーションごとに予め制御装置10に登録されているものとする。次のS402では、優先度の比較の結果、外部アプリケーションの優先度の方が、専用アプリケーションの優先度よりも高いか否かによって処理を分岐する。外部アプリケーションの優先度の方が専用アプリケーションの優先度よりも高い場合(S402:YES)、S404に進む。一方、外部アプリケーションの優先度が専用アプリケーションの優先度以下である場合(S402:NO)、本処理を終了する。
(Flow 4. Audio output start processing)
The voice management unit 13 executes the voice output start process on condition that the start trigger and the priority related to the external application are received from the external control device 20. In S400, the priority of the dedicated application in a state in which voice output is currently possible in the control device 10 is compared with the priority of the external application received together with the start trigger. In addition, the priority of a dedicated application shall be previously registered into the control apparatus 10 for every dedicated application. In next step S402, as a result of the priority comparison, the process branches depending on whether the priority of the external application is higher than the priority of the dedicated application. When the priority of the external application is higher than the priority of the dedicated application (S402: YES), the process proceeds to S404. On the other hand, when the priority of the external application is equal to or lower than the priority of the dedicated application (S402: NO), this process ends.

外部アプリケーションの優先度の方が専用アプリケーションの優先度よりも高い場合に進むS404では、音声出力を外部制御装置20側の外部アプリケーションに切替えるための音声出力切替指示「外部制御装置」を、音声制御部14に送信する。その結果、音声制御部14において、音声出力が外部制御装置20側の外部アプリケーションに切替えられる。   In S404, which proceeds when the priority of the external application is higher than the priority of the dedicated application, a voice output switching instruction “external control device” for switching the voice output to the external application on the external control device 20 side is set to voice control. To the unit 14. As a result, the voice control unit 14 switches the voice output to the external application on the external control device 20 side.

[音声出力の状態遷移の具体例]
本実施形態の車両用ナビゲーションシステム1における音声出力の状態遷移の具体例について、図7〜9を参照しながら説明する。
[Specific example of state transition of audio output]
A specific example of the state transition of audio output in the vehicle navigation system 1 of the present embodiment will be described with reference to FIGS.

図7(a)は、制御装置10における専用アプリケーションの音声出力の状態遷移の一例である。ここでは、制御装置10が、AMラジオ(優先度:5)、FMラジオ(優先度:5)、CDプレーヤ(優先度:5)の各専用アプリケーションの間で、所定の操作ごとに音声出力を順次切替える状態遷移を持つシステムを想定する。なお、図7(a)に示す事例では、前提条件として、現時点でCDプレーヤが音声出力可能な状態となっている状況を想定する。   FIG. 7A is an example of state transition of the audio output of the dedicated application in the control device 10. Here, the control device 10 outputs audio for each predetermined operation between dedicated applications of the AM radio (priority: 5), FM radio (priority: 5), and CD player (priority: 5). Assume a system with state transitions that switch sequentially. In the case shown in FIG. 7A, as a precondition, it is assumed that the CD player is in a state where audio output is possible at the present time.

上述の前提において、外部制御装置20側で外部アプリケーションが起動、又は、外部アプリケーションの音声出力開始条件が成立した場合の制御例を、図7(b)に示す。ここでは、当該外部アプリケーションには音声出力があり、優先度が4であることを前提条件とする。   FIG. 7B shows a control example in the case where the external application is started on the external control device 20 side or the audio output start condition of the external application is satisfied on the premise described above. Here, it is assumed that the external application has audio output and has a priority of 4.

このとき、外部制御装置20の出力制御部26において、開始トリガ送信処理(図5、フロー2)が実行される。その結果、外部アプリケーションの開始トリガと、優先度が外部制御装置20から制御装置10へ送信される(S600)。これを受けて、制御装置10の音声管理部13では、音声出力開始処理(図6、フロー4)が実行される。その結果、現時点で音声出力中の専用アプリケーション(CDプレーヤ)の優先度「5」よりも、外部アプリケーションの優先度「4」の方が低いため、外部アプリケーションへの音声の切替えは行われず、専用アプリケーションによる音声出力の状態が維持される(S602)。   At this time, the start trigger transmission process (FIG. 5, flow 2) is executed in the output control unit 26 of the external control device 20. As a result, the start trigger and priority of the external application are transmitted from the external control device 20 to the control device 10 (S600). In response to this, the voice management unit 13 of the control device 10 executes a voice output start process (FIG. 6, flow 4). As a result, since the priority “4” of the external application is lower than the priority “5” of the dedicated application (CD player) that is currently outputting sound, the sound is not switched to the external application, and the dedicated application The state of audio output by the application is maintained (S602).

この事例では、外部アプリケーションの優先度が、音声出力中の専用アプリケーションの優先度よりも低いため、外部アプリケーションの開始トリガの発生に伴う強制的な音声切替は行われない。そして、制御装置10側の仕組みに従って、所定の操作ごとにAMラジオ、FMラジオ、CDプレーヤの各専用アプリケーション及び外部アプリケーションの間で、音声出力を順次切替える制御が行われる。   In this case, since the priority of the external application is lower than the priority of the dedicated application that is outputting audio, forcible audio switching is not performed when the start trigger of the external application is generated. Then, according to the mechanism on the control device 10 side, control for sequentially switching the audio output between the dedicated application of the AM radio, the FM radio, and the CD player and the external application is performed for each predetermined operation.

つぎに、図8(a)は、制御装置10における専用アプリケーションの音声出力の状態遷移の一例である。この事例は、図7(a)に示す前提と同様である。この前提において、外部制御装置20側で外部アプリケーションが起動、又は、外部アプリケーションの音声出力開始条件が成立した場合の制御例を、図8(b)に示す。なお、前提条件として、当該外部アプリケーションには音声出力がないものとする。外部アプリケーションからの音声出力がない場合、音声出力の状態遷移は、外部アプリケーションを飛ばして、次の専用アプリケーションによる音声出力状態に移る。   Next, FIG. 8A is an example of the state transition of the audio output of the dedicated application in the control device 10. This case is the same as the premise shown in FIG. FIG. 8B shows an example of control when the external application is started on the external control device 20 side or the audio output start condition of the external application is satisfied under this assumption. As a precondition, it is assumed that the external application has no audio output. When there is no sound output from the external application, the state transition of the sound output skips the external application and shifts to the sound output state by the next dedicated application.

つぎに、図9(a)は、制御装置10における専用アプリケーションの音声出力の状態遷移の一例である。この事例は、図7(a)に示す前提と同様である。この前提において、外部制御装置20側で外部アプリケーションが起動、又は、外部アプリケーションの音声出力開始条件が成立した場合の制御例を、図9(b)に示す。ここでは、当該外部アプリケーションには音声出力があり、優先度が6であることを前提条件とする。   Next, FIG. 9A is an example of the state transition of the audio output of the dedicated application in the control device 10. This case is the same as the premise shown in FIG. FIG. 9B shows an example of control when the external application is started on the external control device 20 side or the audio output start condition of the external application is satisfied under this premise. Here, it is assumed that the external application has audio output and has a priority of 6.

このとき、外部制御装置20の出力制御部26において、開始トリガ送信処理(図5、フロー2)が実行される。その結果、外部アプリケーションの開始トリガと、優先度が外部制御装置20から制御装置10へ送信される(S700)。これを受けて、制御装置10の音声管理部13では、音声出力開始処理(図6、フロー4)が実行される。その結果、現時点で音声出力中の専用アプリケーション(CDプレーヤ)の優先度「5」よりも、外部アプリケーションの優先度「6」の方が高いため、専用アプリケーションから外部アプリケーションへの音声の切替えが行われる(S702)。   At this time, the start trigger transmission process (FIG. 5, flow 2) is executed in the output control unit 26 of the external control device 20. As a result, the start trigger and priority of the external application are transmitted from the external control device 20 to the control device 10 (S700). In response to this, the voice management unit 13 of the control device 10 executes a voice output start process (FIG. 6, flow 4). As a result, since the priority “6” of the external application is higher than the priority “5” of the dedicated application (CD player) that is currently outputting audio, the audio is switched from the dedicated application to the external application. (S702).

この事例では、外部アプリケーションの優先度が、何れの専用アプリケーションの優先度よりも高いため、どの状態からでも外部アプリケーションの開始トリガに伴う強制的な音声切替が行われる。   In this case, since the priority of the external application is higher than the priority of any dedicated application, forcible voice switching accompanying the start trigger of the external application is performed from any state.

その後、音声出力の現在状態が外部アプリケーションのときに、その外部アプリケーションの動作が終了、又は、音声出力終了条件が成立した場合、外部制御装置20の出力制御部26において、終了トリガ送信処理(図5、フロー3)が実行される。その結果、外部アプリケーションの終了トリガが外部制御装置20から制御装置10へ送信される(S800)。これを受けて、制御装置10の音声管理部13から、音声出力を専用アプリケーションに切替える音声出力切替指示が出され、音声出力が1つ前の状態(すなわち、CDプレーヤ)に切替えられる(S802)。   After that, when the current state of the audio output is an external application, when the operation of the external application ends or the audio output end condition is satisfied, the output control unit 26 of the external control device 20 performs an end trigger transmission process (FIG. 5. Flow 3) is executed. As a result, an external application termination trigger is transmitted from the external control device 20 to the control device 10 (S800). In response to this, an audio output switching instruction for switching the audio output to the dedicated application is issued from the audio management unit 13 of the control device 10, and the audio output is switched to the previous state (ie, CD player) (S802). .

[音声制御部の制御フロー]
音声制御部14が実行する処理の手順について、図10のフローチャートを参照しながら説明する。
[Control flow of voice control unit]
The procedure of processing executed by the voice control unit 14 will be described with reference to the flowchart of FIG.

(フロー5.音声出力切替処理)
音声制御部14は、制御装置10において音声モード切替要求を受付けたことを条件に、音声出力切替処理を実行する。音声モード切替要求は、音声出力するアプリケーションを任意に切替えるための指示であり、例えば、ユーザからの操作によって制御装置10に入力されるものとする。S500では、音声制御部14は、音声モード切替要求に従って遷移すべき次の状態が、外部制御装置20(外部アプリケーション)からの音声出力であるか否かに応じて処理を分岐する。遷移すべき次の状態が外部制御装置20である場合(S500:YES)、S502に進む。一方、遷移すべき次の状態が外部制御装置20ではない場合(S500:NO)、S504に進む。
(Flow 5. Audio output switching process)
The voice control unit 14 executes the voice output switching process on condition that the control device 10 has received the voice mode switching request. The voice mode switching request is an instruction for arbitrarily switching an application that outputs voice, and is input to the control device 10 by an operation from a user, for example. In S500, the voice control unit 14 branches the process depending on whether or not the next state to be changed according to the voice mode switching request is a voice output from the external control device 20 (external application). When the next state to be changed is the external control device 20 (S500: YES), the process proceeds to S502. On the other hand, when the next state to be transitioned is not the external control device 20 (S500: NO), the process proceeds to S504.

遷移すべき次の状態が外部制御装置20である場合に進むS502では、音声管理部13から音声出力切替指示「外部制御装置」を受信済みであるか否かを判定する。音声出力切替指示「外部制御装置」を受信済みである場合(S502:YES)、S506に進む。一方、音声出力切替指示「外部制御装置」を受信していない場合(S502:NO)、S504に進む。   In S <b> 502, which proceeds when the next state to be changed is the external control device 20, it is determined whether or not the audio output switching instruction “external control device” has been received from the audio management unit 13. If the audio output switching instruction “external control device” has been received (S502: YES), the process proceeds to S506. On the other hand, when the audio output switching instruction “external control device” has not been received (S502: NO), the process proceeds to S504.

音声出力切替指示「外部制御装置」を受信済みである場合に進むS506では、音声出力部30への音声出力を外部制御装置20(外部アプリケーション)に切替える。切替後、本処理を終了する。一方、遷移すべき次の状態が外部制御装置20ではない場合、又は、音声出力切替指示「外部制御装置」を受信していない場合に進むS504では、音声出力部30への音声出力を次の遷移先の専用アプリケーションに切替える。切替後、本処理を終了する。   In S <b> 506, which proceeds when the audio output switching instruction “external control device” has been received, the audio output to the audio output unit 30 is switched to the external control device 20 (external application). After switching, this process is terminated. On the other hand, when the next state to be changed is not the external control device 20 or when the audio output switching instruction “external control device” has not been received, the audio output to the audio output unit 30 is performed in the next step S504. Switch to the transition destination dedicated application. After switching, this process is terminated.

[効果]
実施形態の車両用ナビゲーションシステム1によれば、以下のような効果を奏する。
管理ファイル内に記録されている、外部アプリケーションの属性情報で示される優先度に基づいて、専用アプリケーションと外部アプリケーションとの音声出力の切替えを動的に実施できる。なお、管理ファイル内の属性情報は、外部アプリケーションが外部制御装置20にインストールされたときに、属性情報管理部23により記録することができる。
[effect]
The vehicle navigation system 1 according to the embodiment has the following effects.
Based on the priority indicated by the attribute information of the external application recorded in the management file, it is possible to dynamically switch the audio output between the dedicated application and the external application. The attribute information in the management file can be recorded by the attribute information management unit 23 when the external application is installed in the external control device 20.

このような仕組みより、車両用ナビゲーションシステム1では、外部アプリケーションをインストールする際に、インストール先の動作要件に応じてソフトウェアを個別に改変する必要がなく、その外部アプリケーションの性質に応じた動的な音声切替えを実施できる。   With such a mechanism, in the vehicle navigation system 1, when installing an external application, there is no need to individually modify the software according to the operation requirements of the installation destination, and the dynamic system according to the nature of the external application. Voice switching can be performed.

[変形例]
上記の実施形態では、制御装置10と外部制御装置20とが、それぞれ個別のCPUとメモリとを備える事例について説明したが、同一のCPU上で動作する別々の制御ソフトウェアの仕組みで、制御装置10及び外部制御装置20の機能を実現してもよい。また、制御装置10と外部制御装置20とが、一体の装置として構成されていてもよいし、別体の装置として構成されていてもよい。なお、後者の場合、外部制御装置20は車載装置であってもよいし、車両用ナビゲーションシステムに通信接続される携帯型端末であってもよい。
[Modification]
In the above embodiment, the case where the control device 10 and the external control device 20 are each provided with an individual CPU and memory has been described. However, the control device 10 has a mechanism of separate control software that operates on the same CPU. The functions of the external control device 20 may be realized. Moreover, the control apparatus 10 and the external control apparatus 20 may be comprised as an integrated apparatus, and may be comprised as a separate apparatus. In the latter case, the external control device 20 may be an in-vehicle device or a portable terminal that is communicatively connected to the vehicle navigation system.

1…車両用ナビゲーションシステム、10…制御装置、11…CPU、12…メモリ、13…音声管理部、14…音声制御部、15…表示制御部、20…外部制御装置、21…CPU、22…メモリ、23…属性情報管理部、24…記憶領域、25…起動管理部、26…出力制御部、30…音声出力部、40…表示部、50…プラットフォーム、51…外部アプリケーション管理部。   DESCRIPTION OF SYMBOLS 1 ... Vehicle navigation system, 10 ... Control apparatus, 11 ... CPU, 12 ... Memory, 13 ... Voice management part, 14 ... Voice control part, 15 ... Display control part, 20 ... External control apparatus, 21 ... CPU, 22 ... Memory, 23 ... attribute information management unit, 24 ... storage area, 25 ... activation management unit, 26 ... output control unit, 30 ... audio output unit, 40 ... display unit, 50 ... platform, 51 ... external application management unit.

Claims (3)

基本機能として予め実装されている専用アプリケーションと、外部との情報通信を通じて後発的に導入される外部アプリケーションとが独立して動作し、それらのアプリケーションによる音声出力を行う機能を備える車両用音声制御装置(1)であって、
インストールされている外部アプリケーションごとの、音声出力の優先度を示す優先度情報を記憶する記憶手段(24)と、
所定の音声出力開始条件を満たす1又は複数の外部アプリケーションのうち、前記記憶手段に記憶されている優先度情報で示される優先度が最も高い外部アプリケーションに関する音声の出力開始要求を、音声管理手段(13)に通知する出力制御手段(26)と、
前記出力制御手段から通知された出力開始要求に係る外部アプリケーションに該当の音声出力の優先度と、所定の音声出力条件を満たす専用アプリケーションについて定義されている音声出力の優先度とを比較し、比較の結果、優先度の高い方のアプリケーションによる音声を、車両に備えられた音声出力手段から出力させる音声管理手段(13)と、
を備えることを特徴とする車両用音声制御装置。
A voice control device for a vehicle having a function in which a dedicated application pre-installed as a basic function and an external application introduced later through information communication with the outside operate independently and perform voice output by these applications (1)
Storage means (24) for storing priority information indicating the priority of audio output for each installed external application;
Of one or a plurality of external applications satisfying a predetermined audio output start condition, an audio output start request for an external application having the highest priority indicated by the priority information stored in the storage unit is sent to an audio management unit ( 13) output control means (26) for notifying,
Compare and compare the priority of the audio output corresponding to the external application related to the output start request notified from the output control means and the priority of the audio output defined for the dedicated application that satisfies the predetermined audio output condition As a result, the sound management means (13) for outputting the sound by the higher priority application from the sound output means provided in the vehicle,
A vehicle voice control apparatus comprising:
請求項1に記載の車両用音声制御装置において、
外部アプリケーションがインストールされたときに、インストールされた外部アプリケーションのデータに含まれる前記優先度情報を取得し、その取得した優先度情報を前記記憶手段に記録する取得手段を更に備えること
を特徴とする車両用音声制御装置。
In the vehicle voice control device according to claim 1,
When the external application is installed, the apparatus further comprises an acquisition unit that acquires the priority information included in the data of the installed external application and records the acquired priority information in the storage unit. Voice control device for vehicles.
請求項1又は請求項2に記載の車両用音声制御装置において、
前記出力制御手段は、前記音声出力開始条件として、外部アプリケーションが起動したことを条件に、前記優先度情報で示される優先度が最も高い外部アプリケーションに関する音声の出力開始要求を、音声管理手段に通知すること
を特徴とする車両用音声制御装置。
In the vehicle voice control device according to claim 1 or 2,
The output control means notifies the voice management means of a voice output start request relating to the external application having the highest priority indicated by the priority information on the condition that the external application is started as the voice output start condition. A vehicular voice control device characterized by:
JP2012180152A 2012-08-15 2012-08-15 Voice control device for vehicle Active JP5920104B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012180152A JP5920104B2 (en) 2012-08-15 2012-08-15 Voice control device for vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012180152A JP5920104B2 (en) 2012-08-15 2012-08-15 Voice control device for vehicle

Publications (2)

Publication Number Publication Date
JP2014038188A true JP2014038188A (en) 2014-02-27
JP5920104B2 JP5920104B2 (en) 2016-05-18

Family

ID=50286381

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012180152A Active JP5920104B2 (en) 2012-08-15 2012-08-15 Voice control device for vehicle

Country Status (1)

Country Link
JP (1) JP5920104B2 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109716295A (en) * 2016-12-14 2019-05-03 株式会社电装天 Output processing apparatus and output processing method
JP2019164791A (en) * 2018-03-19 2019-09-26 トヨタ自動車株式会社 Method for determining resource competition by vehicle application
CN110869911A (en) * 2017-07-10 2020-03-06 住友电气工业株式会社 In-vehicle communication device, log collection method, and log collection program
CN111086511A (en) * 2019-12-31 2020-05-01 浙江合众新能源汽车有限公司 Method and device for actively starting TJA function of automobile through voice
EP3664458A1 (en) 2018-12-06 2020-06-10 Alpine Electronics, Inc. Guide voice output control system and guide voice output control method
US10877719B2 (en) 2016-06-29 2020-12-29 Clarion Co., Ltd. Audio device, audio system
JP2022088585A (en) * 2021-06-08 2022-06-14 阿波▲羅▼智▲聯▼(北京)科技有限公司 Voice broadcast method, voice broadcast device, electronic apparatus, storage medium and computer program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006184257A (en) * 2004-12-28 2006-07-13 Nissan Motor Co Ltd System and method for providing information
JP2012083981A (en) * 2010-10-13 2012-04-26 Alpine Electronics Inc On-vehicle device
JP2012133575A (en) * 2010-12-21 2012-07-12 Toyota Motor Corp Application output control method and application output control device
WO2012105215A1 (en) * 2011-01-31 2012-08-09 本田技研工業株式会社 Vehicle control device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006184257A (en) * 2004-12-28 2006-07-13 Nissan Motor Co Ltd System and method for providing information
JP2012083981A (en) * 2010-10-13 2012-04-26 Alpine Electronics Inc On-vehicle device
JP2012133575A (en) * 2010-12-21 2012-07-12 Toyota Motor Corp Application output control method and application output control device
WO2012105215A1 (en) * 2011-01-31 2012-08-09 本田技研工業株式会社 Vehicle control device

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10877719B2 (en) 2016-06-29 2020-12-29 Clarion Co., Ltd. Audio device, audio system
CN109716295A (en) * 2016-12-14 2019-05-03 株式会社电装天 Output processing apparatus and output processing method
CN110869911A (en) * 2017-07-10 2020-03-06 住友电气工业株式会社 In-vehicle communication device, log collection method, and log collection program
JP2019164791A (en) * 2018-03-19 2019-09-26 トヨタ自動車株式会社 Method for determining resource competition by vehicle application
US10705817B2 (en) 2018-03-19 2020-07-07 Toyota Jidosha Kabushiki Kaisha Conflict determination and mitigation for vehicular applications
EP3664458A1 (en) 2018-12-06 2020-06-10 Alpine Electronics, Inc. Guide voice output control system and guide voice output control method
US11705119B2 (en) 2018-12-06 2023-07-18 Alpine Electronics, Inc. Guide voice output control system and guide voice output control method
CN111086511A (en) * 2019-12-31 2020-05-01 浙江合众新能源汽车有限公司 Method and device for actively starting TJA function of automobile through voice
JP2022088585A (en) * 2021-06-08 2022-06-14 阿波▲羅▼智▲聯▼(北京)科技有限公司 Voice broadcast method, voice broadcast device, electronic apparatus, storage medium and computer program

Also Published As

Publication number Publication date
JP5920104B2 (en) 2016-05-18

Similar Documents

Publication Publication Date Title
JP5920104B2 (en) Voice control device for vehicle
JP5192434B2 (en) Information providing system, in-vehicle device, portable terminal, and processing method
US8406991B2 (en) In-vehicle device and wireless communication system
CN103373292B (en) Inter-vehicle information system, information terminal, application executing method
US8676270B2 (en) Display apparatus, mobile communication terminal and display system
JP6433641B2 (en) Information display device and information display method
JP6058654B2 (en) In-vehicle information system, information terminal, application execution method
US9841293B2 (en) In-vehicle display system for navigation and additional functions
JP2012023510A (en) Information providing system and in-vehicle device
JP6370193B2 (en) Electronic device, system, and operation mode selection program
JP2012123490A (en) Information processor and information providing device
WO2013180279A1 (en) In-vehicle information system, information terminal, application execution method, and program
JP5725504B2 (en) In-vehicle device
JP2013250132A (en) On-vehicle device and on-vehicle information system
JP2015125640A (en) Car onboard electronic device, control method, and program
JP2012229965A (en) Route search device, route search method, and route search system
JP2012253605A (en) Communication device and communication control method
JP6325231B2 (en) Information display system, control method and program for information display system
US10877719B2 (en) Audio device, audio system
EP2867751B1 (en) Systems and methods for executing one or more vehicle functions using an association between vehicle functions
JP2011135419A (en) Data communication system, on-vehicle machine, communication terminal, server device, program, and data communication method
KR101273935B1 (en) A system and a method outputing for a navigation information using a mobile terminal
JP2019021277A (en) On-vehicle system
JP3610876B2 (en) Distribution method, communication terminal and distribution station used therefor
JP2012221392A (en) On-vehicle device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160328

R151 Written notification of patent or utility model registration

Ref document number: 5920104

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250