JP2013191979A - On-vehicle apparatus, portable terminal, and program for portable terminal - Google Patents

On-vehicle apparatus, portable terminal, and program for portable terminal Download PDF

Info

Publication number
JP2013191979A
JP2013191979A JP2012055866A JP2012055866A JP2013191979A JP 2013191979 A JP2013191979 A JP 2013191979A JP 2012055866 A JP2012055866 A JP 2012055866A JP 2012055866 A JP2012055866 A JP 2012055866A JP 2013191979 A JP2013191979 A JP 2013191979A
Authority
JP
Japan
Prior art keywords
vehicle
application
image
navigation
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012055866A
Other languages
Japanese (ja)
Inventor
Takeshi Kondo
武史 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2012055866A priority Critical patent/JP2013191979A/en
Publication of JP2013191979A publication Critical patent/JP2013191979A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Navigation (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephone Function (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a technique which enables a driver to keep watching a screen for navigation even if an interruption occurs, in a terminal mode.SOLUTION: In response to the occurrence of an interruption in the portable terminal, the portable terminal starts execution of an application other than an application for navigation (step 603), transmits a double screen display instruction 605 to an on-vehicle apparatus, and transmits both an image for navigation and an image for the application mentioned above to the on-vehicle apparatus. The on-vehicle apparatus having received the double screen display instruction 605 simultaneously displays the image for navigation and the image for the application mentioned above on a display (step 607).

Description

本発明は、車載器、携帯端末および携帯端末用のプログラムに関するものである。   The present invention relates to a vehicle-mounted device, a portable terminal, and a program for the portable terminal.

従来、車載ディスプレイを備えた車載器に携帯端末を接続し、携帯端末にナビゲーション機能を実現させ、その際、携帯端末から出力された表示用の画像を車載ディスプレイに表示させる技術が、ターミナルモードという名で知られている(例えば、特許文献1〜8参照)。   Conventionally, a technology for connecting a mobile terminal to an in-vehicle device equipped with a vehicle-mounted display and realizing a navigation function on the mobile terminal, and displaying an image for display output from the mobile terminal on the vehicle-mounted display is called terminal mode. It is known by name (for example, see Patent Documents 1 to 8).

特開2003−244343号公報JP 2003-244343 A 特開2010−130674号公報JP 2010-130673 A 特開2009−281991号公報JP 2009-281991 A 特開2007−195144号公報JP 2007-195144 A 特開2008−003093号公報JP 2008-003093 A 特開2008−309794号公報JP 2008-309794 A 特開2009−139347号公報JP 2009-139347 A 特開2010−130670号公報JP 2010-130670 A

上記のようなターミナルモードについて発明者が検討したところ、以下のような問題点を見いだした。ターミナルモードでナビゲーション機能を使用しているとき、携帯端末側に割り込み(例えば、電話着信、メール着信)が入った場合、車載ディスプレイはナビゲーション機能の表示がキャンセルされ、割り込に応じた表示(例えば、着信画面表示)が表示されてしまう可能性がある。このようになると、ドライバーはナビゲーション用の画面が見えなくなり、進路方向を確認できなくなる等の問題が発生する可能性がある。   The inventor examined the terminal mode as described above, and found the following problems. When using the navigation function in terminal mode, if the mobile terminal receives an interrupt (for example, incoming call or incoming mail), the in-vehicle display will cancel the display of the navigation function, and display according to the interrupt (for example, , Incoming call screen display) may be displayed. If this happens, the driver may not be able to see the navigation screen and may not be able to check the course direction.

本発明は上記点に鑑み、ターミナルモードにおいて、割り込みが発生しても、ドライバーがナビゲーション用の画面を見続けることができるような技術を提供することを目的とする。   SUMMARY OF THE INVENTION In view of the above, an object of the present invention is to provide a technique that allows a driver to continue to view a navigation screen even when an interruption occurs in the terminal mode.

上記目的を達成するための請求項1に記載の発明は、車載器(2)と接続する携帯側接続手段(16)と、前記携帯側接続手段を介して前記車載器にナビゲーション用の画像を送信しているときに所定の割り込みが発生したことに基づいて、ナビゲーション用のアプリケーションを実行したまま、前記ナビゲーション用のアプリケーション以外の他のアプリケーションの実行を開始し、前記ナビゲーション用の画像と共に、前記他のアプリケーション用の画像を、前記携帯側接続手段を介して前記車載器に送信する画像送信手段(140)と、所定の割り込みが発生したことに基づいて前記携帯側接続手段を介して前記車載器に複数画面表示命令を送信することで、前記車載器に前記ナビゲーション用の画像と前記他のアプリケーション用の画像とを別々の領域に同時表示させる画面制御手段(205〜265、405〜445)と、を備えた携帯端末である。   In order to achieve the above object, the invention according to claim 1 is characterized in that a portable side connection means (16) connected to the vehicle-mounted device (2), and an image for navigation to the vehicle-mounted device via the portable side connection means. Based on the occurrence of a predetermined interruption during transmission, the execution of an application other than the navigation application is started while the navigation application is being executed, and together with the navigation image, An image transmitting means (140) for transmitting an image for another application to the vehicle-mounted device via the portable side connecting means, and the vehicle-mounted via the portable side connecting means based on occurrence of a predetermined interrupt By sending a multi-screen display command to the device, the navigation image and the other application A screen control means for simultaneously displaying the image in separate regions (205~265,405~445), a portable terminal having a.

このように、携帯端末が、車載器にナビゲーション用の画像を送信しているときに所定の割り込みが発生すると、他のアプリケーション用の画像を当該ナビゲーション用の画像と共に車載器に送信すると共に、複数画面表示命令を送信することで、これら2種類の画像の両方を前記車載器に表示させるので、割り込みが発生してもドライバーがナビゲーション用の画面を見続けることができる。   As described above, when a predetermined interruption occurs while the mobile terminal is transmitting the navigation image to the vehicle-mounted device, the image for other application is transmitted to the vehicle-mounted device together with the navigation image, and a plurality of images are transmitted. By transmitting the screen display command, both of these two types of images are displayed on the vehicle-mounted device, so that the driver can continue to view the navigation screen even if an interrupt occurs.

また、請求項3に記載の発明は、携帯端末(1)と接続する車載側接続手段(26)と、前記車載側接続手段を介して前記携帯端末から受信したナビゲーション用の画像を表示するディスプレイ(23)と、前記携帯端末から複数画面表示命令を受信したことに基づいて、前記携帯端末から受信した前記ナビゲーション用の画像と、前記携帯端末から受信した他のアプリケーション用の画像とを、同時に前記ディスプレイに表示させる複数画面表示手段(607、707、807)と、を備えた車載器である。   In addition, the invention described in claim 3 is a vehicle-side connection means (26) connected to the mobile terminal (1), and a display for displaying a navigation image received from the mobile terminal via the vehicle-side connection means. (23) and the navigation image received from the portable terminal and the image for another application received from the portable terminal at the same time based on the reception of the multi-screen display command from the portable terminal. It is a vehicle-mounted device provided with multiple screen display means (607, 707, 807) to be displayed on the display.

このように、車載器が、携帯端末から複数画面表示命令を受信したことに基づいて、携帯端末から受信した2種類の画像(ナビゲーション用の画像と、他のアプリケーション用の画像)を同時にディスプレイに表示させるので、ドライバーがナビゲーション用の画面を見続けることができる。   In this way, based on the fact that the vehicle-mounted device has received the multi-screen display command from the mobile terminal, two types of images (navigation image and other application image) received from the mobile terminal are simultaneously displayed on the display. Because it is displayed, the driver can continue to look at the navigation screen.

また、請求項4に記載の発明は、携帯端末(1)と接続する車載側接続手段(26)と、前記車載側接続手段を介して前記携帯端末から受信した画像を表示する第1のディスプレイおよび第2のディスプレイと、前記携帯端末から複数画面表示命令を受信したことに基づいて、前記携帯端末から受信した前記ナビゲーション用の画像を前記第1のディスプレイに、前記携帯端末から受信した他のアプリケーション用の画像を前記第2のディスプレイに、同時表示させる複数画面表示手段(607、707、807)と、を備えた車載器である。   According to a fourth aspect of the present invention, there is provided on-vehicle side connection means (26) connected to the portable terminal (1), and a first display for displaying an image received from the portable terminal via the on-vehicle side connection means. And the second display and the other image received from the portable terminal on the first display, the navigation image received from the portable terminal based on the reception of the multi-screen display command from the portable terminal. The vehicle-mounted device includes a plurality of screen display means (607, 707, 807) for simultaneously displaying an application image on the second display.

このように、車載器が、携帯端末から複数画面表示命令を受信したことに基づいて、携帯端末から受信した2種類の画像(ナビゲーション用の画像と、他のアプリケーション用の画像)を同時に別々のディスプレイに表示させるので、ドライバーがナビゲーション用の画面を見続けることができる。   In this way, based on the fact that the vehicle-mounted device has received the multi-screen display command from the mobile terminal, two types of images (navigation image and other application image) received from the mobile terminal can be separated at the same time. Because it is displayed on the display, the driver can continue to look at the navigation screen.

また、請求項5に記載のように、請求項1に記載の発明は、プログラムの発明としても捉えることができる。   Further, as described in claim 5, the invention described in claim 1 can also be understood as a program invention.

なお、上記および特許請求の範囲における括弧内の符号は、特許請求の範囲に記載された用語と後述の実施形態に記載される当該用語を例示する具体物等との対応関係を示すものである。   In addition, the code | symbol in the bracket | parenthesis in the said and the claim shows the correspondence of the term described in the claim, and the concrete thing etc. which illustrate the said term described in embodiment mentioned later. .

本発明の一実施形態に係る携帯端末1の構成図である。It is a lineblock diagram of portable terminal 1 concerning one embodiment of the present invention. 車載器2の構成図である。It is a block diagram of the onboard equipment 2. FIG. 車載器と携帯端末の接続時に携帯端末が実行する処理のフローチャートである。It is a flowchart of the process which a portable terminal performs at the time of connection of onboard equipment and a portable terminal. 車載器と携帯端末の接続時に車載器が実行する処理のフローチャートである。It is a flowchart of the process which an onboard equipment performs at the time of connection of an onboard equipment and a portable terminal. ターミナルモード処理の概要を示す図である。It is a figure which shows the outline | summary of a terminal mode process. 電話着信時(主にドライバーが通話)の携帯端末と車載器の作動を示すシーケンス図である。It is a sequence diagram which shows the action | operation of the portable terminal and vehicle equipment at the time of the telephone call arrival (mainly a driver's call). 電話着信時および電話発信時に携帯側制御部が実行する処理のフローチャートである。It is a flowchart of the process which a portable side control part performs at the time of a telephone call arrival and a telephone call. 車載器のディスプレイ23における2画面表示の一例を示す図である。It is a figure which shows an example of the 2 screen display in the display 23 of onboard equipment. 電話着信時(主に非ドライバーが通話)の携帯端末と車載器の作動を示すシーケンス図である。It is a sequence diagram which shows the action | operation of the portable terminal and vehicle equipment at the time of the telephone call arrival (mainly a non-driver is a telephone call). 電話発信時(主にドライバーが通話)の携帯端末と車載器の作動を示すシーケンス図である。It is a sequence diagram which shows the action | operation of a portable terminal and vehicle equipment at the time of telephone transmission (mainly a driver's telephone call). 車載器のディスプレイ23における2画面表示の一例を示す図である。It is a figure which shows an example of the 2 screen display in the display 23 of onboard equipment. 電話発信時(主に非ドライバーが通話)の携帯端末と車載器の作動を示すシーケンス図である。It is a sequence diagram which shows the action | operation of the portable terminal and onboard equipment at the time of telephone transmission (mainly a non-driver is a telephone call). メデイアアプリケーション実行時の携帯端末と車載器の作動を示すシーケンス図である。It is a sequence diagram which shows the action | operation of the portable terminal and vehicle equipment at the time of media application execution. メデイアアプリケーション実行時に携帯側制御部が実行する処理のフローチャートである。It is a flowchart of the process which a portable side control part performs at the time of media application execution. 走行規制表示の一例を示す図である。It is a figure which shows an example of a travel regulation display.

以下、本発明の一実施形態について説明する。本実施形態の通信システムは、ユーザが携帯する携帯端末1(図1参照)と、車両に搭載される車載器(図2参照)とを備えている。本実施形態では、携帯端末1がユーザ(乗員)と共に車内に入っているときに、携帯端末1と車載器2とが有線または無線で接続し、この接続を介して、携帯端末1から車載器2にナビゲーション用の画像が送信される。そして車載器2は、このナビゲーション用の画像を受信して表示する。   Hereinafter, an embodiment of the present invention will be described. The communication system of the present embodiment includes a mobile terminal 1 (see FIG. 1) carried by a user and an in-vehicle device (see FIG. 2) mounted on a vehicle. In the present embodiment, when the mobile terminal 1 is in the vehicle together with the user (occupant), the mobile terminal 1 and the vehicle-mounted device 2 are connected by wire or wirelessly, and the mobile device 1 is connected to the vehicle-mounted device via this connection. An image for navigation is transmitted to 2. The vehicle-mounted device 2 receives and displays the navigation image.

また、車載器2がナビゲーション用の画像を受信して表示しているときに、携帯端末1において割り込みが発生すると、携帯端末1は、ナビゲーション用のアプリケーションの実行を継続したまま、その割り込みに応じた他のアプリケーションをマルチタスクで実行開始する。そして携帯端末1は、ナビゲーション用の画像と共に当該他のアプリケーション用の画像も車載器2に送信し、また、所定の2画面表示命令(複数画面表示命令の一例に相当する。以下同じ)を車載器2に送信する。車載器2は、この2画面表示命令を受信したことに基づいて、ナビゲーション用の画像と当該他のアプリケーション用の画像の両方を同時に別々の領域に表示する。   Further, when an interruption occurs in the mobile terminal 1 while the vehicle-mounted device 2 receives and displays the navigation image, the mobile terminal 1 responds to the interruption while continuing to execute the navigation application. Start other applications with multitasking. Then, the portable terminal 1 transmits the image for the other application together with the navigation image to the vehicle-mounted device 2 and also transmits a predetermined two-screen display command (corresponding to an example of a multi-screen display command; the same applies hereinafter). To device 2. The vehicle-mounted device 2 displays both the navigation image and the image for the other application simultaneously in different areas based on the reception of the two-screen display command.

以下、このような携帯端末1および車載器2の構成について説明する。図1に示すように、携帯端末1は、電話通話および広域ネットワーク(例えばインターネット)接続を行うための遠隔通信部10、音声を出力する音声出力部11、マイク等の音声入力部12、画像を表示するディスプレイ13、ユーザの操作を受け付ける操作検出部14、データおよびプログラムが記録された記憶部15、車載器2と有線または無線で接続するための外部機器器通信部16(携帯側接続手段の一例に相当する)、および携帯側制御部17を有している。携帯側制御部17は、記憶部15に記録されたプログラムを実行することで、後述する各種処理を実現する。   Hereinafter, the configuration of the mobile terminal 1 and the vehicle-mounted device 2 will be described. As shown in FIG. 1, the mobile terminal 1 includes a remote communication unit 10 for performing a telephone call and a wide area network (for example, Internet) connection, a voice output unit 11 for outputting voice, a voice input unit 12 such as a microphone, and an image. Display 13 for displaying, operation detecting unit 14 for accepting user operations, storage unit 15 storing data and programs, external device communication unit 16 (for portable side connection means) for connecting to vehicle-mounted device 2 by wire or wirelessly Equivalent to an example) and a portable side control unit 17. The portable control unit 17 implements various processes to be described later by executing a program recorded in the storage unit 15.

また、図2に示すように、車載器2は、車内の乗員が聞こえるよう音声を出力する音声出力部21、マイク等の音声入力部22、画像を車内の乗員に表示するディスプレイ23、乗員の操作を受け付ける操作検出部24、データおよびプログラムが記録された記憶部25、携帯端末1と有線または無線で接続するための外部機器通信部26(車載側接続手段の一例に相当する)、および車載側制御部27を有している。車載側制御部27は、記憶部25に記録されたプログラムを実行することで、後述する各種処理を実現する。   In addition, as shown in FIG. 2, the vehicle-mounted device 2 includes an audio output unit 21 that outputs sound so that an occupant in the vehicle can hear, an audio input unit 22 such as a microphone, a display 23 that displays an image to the occupant in the vehicle, An operation detection unit 24 that receives an operation, a storage unit 25 in which data and a program are recorded, an external device communication unit 26 (corresponding to an example of an in-vehicle side connection means) for connecting to the mobile terminal 1 by wire or wireless, and in-vehicle A side control unit 27 is provided. The vehicle-mounted side control part 27 implement | achieves the various processes mentioned later by running the program recorded on the memory | storage part 25. FIG.

以下、携帯端末1および車載器2の作動について説明する。まず、車両の乗員が携帯端末1を携帯して車両内に入り、当該車両に搭載された車載器2を起動させる。更に乗員は、携帯端末1に操作検出部14に対して所定の操作を行う。すると、携帯端末1の携帯側制御部17は、当該所定の操作が行われたことに基づいて、図3に示す処理を開始する。また、車載器2の車載側制御部27は、起動した時点で、図4に示すような処理を開始している。   Hereinafter, the operation of the mobile terminal 1 and the vehicle-mounted device 2 will be described. First, a vehicle occupant carries the mobile terminal 1 and enters the vehicle, and activates the vehicle-mounted device 2 mounted on the vehicle. Further, the occupant performs a predetermined operation on the operation detection unit 14 on the portable terminal 1. Then, the mobile-side control unit 17 of the mobile terminal 1 starts the process illustrated in FIG. 3 based on the predetermined operation being performed. Moreover, the vehicle-mounted side control part 27 of the onboard equipment 2 has started the process as shown in FIG. 4 at the time of starting.

そして、携帯側制御部17は、まず図3のステップ110で、外部機器通信部16を介して車載器2に接続依頼のデータを送信する。一方、車載側制御部27は、ステップ150で接続依頼のデータを受信するまで待機しており、外部機器通信部26を介して上記接続依頼のデータを受信するとステップ160に進み、外部機器通信部26を介して所定の接続許可のデータを携帯端末1に送信する。   And the portable side control part 17 transmits the data of a connection request to the onboard equipment 2 via the external apparatus communication part 16 first by step 110 of FIG. On the other hand, the in-vehicle side control unit 27 stands by until receiving the connection request data in step 150. When the connection request data is received via the external device communication unit 26, the process proceeds to step 160, where the external device communication unit A predetermined connection permission data is transmitted to the portable terminal 1 through the terminal 26.

一方、携帯側制御部17は、ステップ110で接続依頼のデータを送信した後、ステップ120で接続許可のデータを受信するまで待機しており、外部機器通信部16を介して上記接続依頼のデータを受信するとステップ130に進む。このように、携帯端末1から車載器2に接続依頼のデータが渡され、車載器2から携帯端末1に接続許可のデータが渡されることで、外部機器通信部16、26を介した携帯端末1と車載器2の接続が実現する。   On the other hand, after transmitting the connection request data in step 110, the portable side control unit 17 waits until the connection permission data is received in step 120, and the connection request data is transmitted via the external device communication unit 16. Is received, the process proceeds to step 130. In this way, connection request data is passed from the mobile terminal 1 to the vehicle-mounted device 2, and connection permission data is transferred from the vehicle-mounted device 2 to the mobile terminal 1, so that the mobile terminal via the external device communication units 16, 26. 1 and the vehicle-mounted device 2 are connected.

ステップ130で携帯側制御部17は、記憶部15からナビゲーション用のアプリケーションを読み出して実行を開始する。ナビゲーション用のアプリケーションとは、地図の表示、当該地図中における自機の現在位置の表示、当該現在位置から目的地までの最適な誘導経路の算出、当該誘導経路に沿った信号の案内等を行うためのアプリケーションである。   In step 130, the mobile-side control unit 17 reads the navigation application from the storage unit 15 and starts executing it. The navigation application displays a map, displays the current position of the aircraft in the map, calculates an optimum guide route from the current position to the destination, and guides signals along the guide route. It is an application for.

このナビゲーション用のアプリケーションの実行において必要となるデータ(例えば地図データ)は、記憶部15に記録されており、ナビゲーション用のアプリケーションの実行において自機の現在位置を特定するための装置としては、携帯端末1に搭載されたGPS受信機(図示せず)を用いてもよい。   Data (for example, map data) necessary for the execution of the navigation application is recorded in the storage unit 15, and an apparatus for specifying the current position of the own device in the execution of the navigation application is portable. A GPS receiver (not shown) mounted on the terminal 1 may be used.

ステップ130に続いて携帯側制御部17は、ステップ140で、携帯側ターミナルモード処理を行う。また、車載側制御部27は、ステップ160に続くステップ170で、車載側ターミナルモード処理を行う。   Following step 130, the portable side control unit 17 performs portable side terminal mode processing in step 140. In addition, the in-vehicle side control unit 27 performs in-vehicle side terminal mode processing in step 170 following step 160.

ここで、携帯側ターミナルモード処理を実行するときの携帯側制御部17の作動および
車載側ターミナルモード処理を実行するときの車載側制御部27の作動について、図5を参照して説明する。
Here, the operation of the mobile side control unit 17 when executing the mobile side terminal mode process and the operation of the in-vehicle side control unit 27 when executing the in-vehicle side terminal mode process will be described with reference to FIG.

携帯側ターミナルモード処理と車載側ターミナルモード処理は、携帯端末1から車載器2に画像データおよび音声データを渡し、また車載器2から携帯端末1にユーザの操作内容のデータおよび音声データを渡すための処理である。   The portable terminal mode process and the in-vehicle terminal mode process pass image data and audio data from the portable terminal 1 to the in-vehicle device 2, and also pass data and audio data of user operations from the in-vehicle device 2 to the portable terminal 1. It is processing of.

まず、これらターミナルモード処理における基本作動について説明する。図5に示すように、携帯側制御部17は、携帯側ターミナルモード処理140を実行し、それと同時に(すなわちマルチタスクで)、ターミナルモード対応のアプリケーション17a、17bを実行しているときに、それらアプリケーション17a、17bにおいて作成した画面表示用の画像および出力用の音声を、携帯側ターミナルモード処理140で逐次取得し、取得した画面表示用の画像および出力用の音声を、外部機器通信部16を介して車載器2に逐次送信する。   First, the basic operation in these terminal mode processes will be described. As shown in FIG. 5, the mobile-side control unit 17 executes the mobile-side terminal mode processing 140, and at the same time (that is, in multitasking), when executing the terminal mode compatible applications 17a and 17b, The screen display image and output sound created in the applications 17a and 17b are sequentially acquired by the portable terminal mode processing 140, and the acquired screen display image and output sound are transmitted to the external device communication unit 16. Via the vehicle-mounted device 2 sequentially.

車載器2側では、車載側制御部27が車載側ターミナルモード処理170を実行しているときに、外部機器通信部26を介して携帯端末1から画面表示用の画像および出力用の音声を受信すると、画面表示用の画像をディスプレイ23に表示させると共に、出力用の音声を音声出力部21に出力させる。   On the in-vehicle device 2 side, when the in-vehicle side control unit 27 is executing the in-vehicle side terminal mode processing 170, an image for screen display and output sound are received from the portable terminal 1 through the external device communication unit 26. Then, an image for screen display is displayed on the display 23, and output sound is output to the sound output unit 21.

また、車内において乗員(たとえばドライバ)が発話すると、その発話音声を音声入力部22が音声信号に変換して車載側制御部27に入力する。すると車載側制御部27は、車載側ターミナルモード処理170において、当該音声信号に応じた音声データを携帯端末1に送信する。   Further, when an occupant (for example, a driver) speaks in the vehicle, the voice input unit 22 converts the spoken voice into a voice signal and inputs the voice signal to the vehicle-mounted control unit 27. Then, the in-vehicle side control unit 27 transmits audio data corresponding to the audio signal to the mobile terminal 1 in the in-vehicle side terminal mode processing 170.

この音声データを受信した携帯側制御部17は、携帯側ターミナルモード処理140において、他のアプリケーション17bが実行されていれば、当該音声データを当該他のアプリケーション17bに渡す。以上が、これらターミナルモード処理における基本作動である。   The mobile-side control unit 17 that has received the audio data passes the audio data to the other application 17b if the other application 17b is executed in the mobile-side terminal mode processing 140. The above is the basic operation in the terminal mode processing.

ここで、携帯端末1から画像データを受信したときに、車載側制御部27がディスプレイ23を用いてどのように画面表示を行うかについて、より具体的に説明する。ディスプレイ23を用いた画面表示の方法は、1画面表示モードの場合と、2画面表示モードの場合とで異なる。まず、1画面表示モード時における作動について詳しく説明する。   Here, how the in-vehicle side control unit 27 performs screen display using the display 23 when image data is received from the portable terminal 1 will be described more specifically. The method of screen display using the display 23 differs between the case of the single screen display mode and the case of the dual screen display mode. First, the operation in the single screen display mode will be described in detail.

1画面表示モードの場合は、後述するとおり、携帯側制御部17では、ターミナルモード対応のアプリケーションとしては、ナビゲーション用のアプリケーション17aのみが実行されており、他のターミナルモード対応のアプリケーション17bは実行されていない。したがって、1画面表示モード時に携帯側ターミナルモード処理140によって取得され送信されるのは、ナビゲーション用のアプリケーション17aによって作成された表示用画像(すなわち、ナビゲーション用の画像)のみである。   In the case of the single screen display mode, as will be described later, in the portable control unit 17, only the navigation application 17a is executed as the terminal mode compatible application, and the other terminal mode compatible applications 17b are executed. Not. Therefore, only the display image (that is, the navigation image) created by the navigation application 17a is acquired and transmitted by the portable terminal mode processing 140 in the single screen display mode.

そして車載側制御部27は、1画面表示モード時には、車載側ターミナルモード処理170において、受信した表示用画像をディスプレイ23全体に表示させる。さらに車載側制御部27は、車載側ターミナルモード処理170において、操作検出部24に対して乗員が操作を行うと、その操作の内容を示す操作データを作成し、作成した操作データを携帯端末1に送信する。   Then, in the in-screen display mode, the in-vehicle side control unit 27 displays the received display image on the entire display 23 in the in-vehicle side terminal mode processing 170. Further, when the occupant performs an operation on the operation detecting unit 24 in the in-vehicle terminal mode processing 170 in the in-vehicle side terminal mode processing 170, the in-vehicle side control unit 27 generates operation data indicating the content of the operation, and the generated operation data is stored in the mobile terminal 1. Send to.

操作データは、例えば、ディスプレイ23に表示した上記表示用画像のどの位置にユーザがタッチしたかを示す座標値であってもよい。この場合、座標値は、表示用画像の左上端の座標値(0,0)とし、右下端の座標値を(1,1)と規格化した上での座標値とする。   For example, the operation data may be a coordinate value indicating which position of the display image displayed on the display 23 is touched by the user. In this case, the coordinate value is the coordinate value at the upper left corner of the display image (0, 0), and the coordinate value at the lower right corner is normalized to (1, 1).

携帯側制御部17は、携帯側ターミナルモード処理140において、この操作データを受信し、表示用画像の作成元のアプリケーション(すなわち、本例ではナビゲーション用のアプリケーション17a)に、当該操作データを渡す。当該アプリケーション(本例ではナビゲーション用のアプリケーション17a)の実行においては、携帯側制御部17は、その渡された操作データに応じて、ユーザがどのような操作を行ったかを特定し、特定した操作に応じた処理を実行する。以上が1画面モード時の作動である。2画面モード時の作動については後述する。   The portable side control unit 17 receives this operation data in the portable side terminal mode processing 140 and passes the operation data to the application that created the display image (that is, the navigation application 17a in this example). In the execution of the application (the navigation application 17a in this example), the mobile-side control unit 17 specifies what operation the user has performed according to the passed operation data, and specifies the specified operation. The process according to is executed. The above is the operation in the single screen mode. The operation in the two-screen mode will be described later.

次に、1画面モード時に、携帯端末1において所定の割り込みが発生した場合の作動について、図6〜図15を参照して説明する。   Next, an operation when a predetermined interrupt occurs in the mobile terminal 1 in the one-screen mode will be described with reference to FIGS.

[電話着信時]
まず、所定の割り込みの一例として、電話着信という割り込みが携帯端末1に発生した場合の事例について、図6〜図9を参照説明する。まず、携帯側制御部17は、遠隔通信部10を介して電話着信の割り込みが発生したことを検知する(図6のステップ601参照)と、図7に示す処理の実行を開始する。
[When receiving a call]
First, as an example of a predetermined interrupt, a case where an interrupt of incoming call occurs in the mobile terminal 1 will be described with reference to FIGS. First, when the mobile-side control unit 17 detects that an incoming call interruption has occurred via the remote communication unit 10 (see step 601 in FIG. 6), it starts executing the processing shown in FIG.

図7の処理において、まずステップ205で、電話通話用のアプリケーションの実行を開始する(図6のステップ603参照)。この電話通話用のアプリケーションは、ターミナルモード対応の他のアプリケーション17bの一例である。   In the process of FIG. 7, first, in step 205, execution of an application for a telephone call is started (see step 603 of FIG. 6). This application for telephone calls is an example of another application 17b compatible with the terminal mode.

なお、この電話通話用のアプリケーションの実行開始は、ナビゲーション用のアプリケーション17aを実行したまま行われる。すなわち、携帯側制御部17は、マルチタスクによってナビゲーション用のアプリケーション17aと電話通話用のアプリケーションを同時実行する状態になる。   The execution of the telephone call application is started while the navigation application 17a is being executed. That is, the mobile-side control unit 17 is in a state of simultaneously executing the navigation application 17a and the telephone call application by multitasking.

また、ナビゲーション用のアプリケーション17aと電話通話用のアプリケーションに加え、図7の処理および上述の携帯側ターミナルモード処理140も、マルチタスクで同時に実行される状態となる。   Further, in addition to the navigation application 17a and the telephone call application, the process of FIG. 7 and the above-described portable terminal mode process 140 are also executed simultaneously in multitasking.

続いて携帯側制御部17は、ステップ210で、外部機器通信部16を介して、所定の2画面表示命令605を車載器2に送信すると共に、1画面表示モードから2画面表示モードに遷移する。車載側制御部27は、外部機器通信部26を介してこの2画面表示命令605を受信したことに基づいて、ステップ607で、1画面表示モードから2画面表示モードに遷移する。   Subsequently, in step 210, the portable control unit 17 transmits a predetermined two-screen display command 605 to the vehicle-mounted device 2 via the external device communication unit 16, and transits from the one-screen display mode to the two-screen display mode. . The in-vehicle-side control unit 27 transitions from the one-screen display mode to the two-screen display mode in step 607 based on the reception of the two-screen display command 605 via the external device communication unit 26.

ここで、2画面表示モードにおける携帯側制御部17および車載側制御部27の作動について、図5を参照して説明する。なお、2画面表示モードにおいても、ターミナルモード処理における基本作動は同じである。   Here, the operation of the portable control unit 17 and the in-vehicle control unit 27 in the two-screen display mode will be described with reference to FIG. In the two-screen display mode, the basic operation in the terminal mode process is the same.

2画面表示モードの場合は、上述のとおり、携帯側制御部17では、ターミナルモード対応のアプリケーションとしては、ナビゲーション用のアプリケーション17aに加え、他のターミナルモード対応のアプリケーション17b(本事例では電話通話用のアプリケーション)が1つ実行されている。   In the case of the two-screen display mode, as described above, in the mobile-side control unit 17, as an application compatible with the terminal mode, in addition to the navigation application 17 a, an application 17 b compatible with another terminal mode (in this example, for telephone calls) 1 application) is executed.

したがって、2画面表示モード時に携帯側ターミナルモード処理140によって取得され送信されるのは、ナビゲーション用のアプリケーション17aの実行によって作成された表示用画像(すなわち、ナビゲーション用の画像)、および、当該他のアプリケーション17bの実行によって作成された表示用画像の2種類がある。   Accordingly, in the two-screen display mode, what is acquired and transmitted by the portable terminal mode processing 140 is a display image (that is, a navigation image) created by the execution of the navigation application 17a, and the other There are two types of display images created by executing the application 17b.

携帯側制御部17は、携帯側ターミナルモード処理140においては、ナビゲーション用のアプリケーション17aから渡された表示用画像に対しては、この表示用画像がナビゲーション用の画像であることを示す所定の識別情報を含めた上で、当該表示用画像を車載器2に送信する。   In the mobile-side terminal mode processing 140, the mobile-side control unit 17 performs a predetermined identification indicating that the display image is a navigation image for the display image passed from the navigation application 17a. After including the information, the display image is transmitted to the vehicle-mounted device 2.

また、携帯側制御部17は、携帯側ターミナルモード処理140においては、当該他のアプリケーション17bから渡された表示用画像に対しては、この表示用画像が当該他のアプリケーション17b用の画像(本事例では電話通話アプリケーションの実行によって作成された表示用の画像)であることを示す所定の識別情報を含めた上で、当該表示用画像を車載器2に送信する。   Further, in the mobile terminal mode processing 140, the mobile side control unit 17 determines that the display image is an image for the other application 17b (this book) for the display image passed from the other application 17b. In the example, the display image is transmitted to the vehicle-mounted device 2 after including predetermined identification information indicating that the image is a display image created by execution of the telephone call application.

このようになっているので、携帯側制御部17では、受信した表示用画像が、携帯端末1におけるどのアプリケーションで作成されたかを、これら識別情報に基づいて特定することができる。   Since it is in this way, in the portable side control part 17, it can identify by which identification application the received display image was produced in the portable terminal 1 based on these identification information.

そして車載側制御部27は、2画面表示モード時には、車載側ターミナルモード処理170において、受信した2種類の表示用画像の両方を、図8に例示するような所定の配置で、ディスプレイ23内に同時に別々の領域に表示させる。   Then, in the two-screen display mode, the in-vehicle side control unit 27 displays both of the received two types of display images in the display 23 in a predetermined arrangement as illustrated in FIG. Display in different areas at the same time.

図8の表示例では、ディスプレイ23の表示画面を左右に2等分した配置(所定の配置の一例に相当する)で、右側にはナビゲーション用の画像30を、右側には当該他のアプリケーション17b用の画像31(本事例では電話通話アプリケーションの実行によって作成された表示用の画像31)を表示させる。   In the display example of FIG. 8, the display screen of the display 23 is divided into left and right parts (corresponding to an example of a predetermined arrangement), the navigation image 30 is on the right side, and the other application 17b is on the right side. Image 31 (in this example, display image 31 created by executing the telephone call application) is displayed.

その際、受信したナビゲーション用の画像および当該他のアプリケーション17b用の画像は、ディスプレイ23のサイズおよびディスプレイ23内における両画像の配置に応じて、縦横のピクセル数およびアスペクト比を変換した後に、ディスプレイ23に上記配置で表示する。   At that time, the received navigation image and the image for the other application 17b are converted into the display 23 after converting the number of vertical and horizontal pixels and the aspect ratio according to the size of the display 23 and the arrangement of both images in the display 23. 23 is displayed in the above arrangement.

本例では、電話通話アプリケーション用の画像31には、ユーザが指定可能な通話終了ボタン32が含まれている。また、車載側制御部27は、当該他のアプリケーション17b用の画像31(電話通話アプリケーション用の画像31)の一部に、ユーザが指定可能な画面オフボタン33を重畳表示させる。この画面オフボタン33の画像データは、車載器2の記憶部25にあらかじめ記録されている所定の画像データを使用する。   In this example, the telephone call application image 31 includes a call end button 32 that can be designated by the user. In addition, the in-vehicle control unit 27 displays a screen off button 33 that can be specified by the user on a part of the image 31 for the other application 17b (the image 31 for the telephone call application). As the image data of the screen off button 33, predetermined image data recorded in advance in the storage unit 25 of the vehicle-mounted device 2 is used.

さらに車載側制御部27は、車載側ターミナルモード処理170において、操作検出部24に対して乗員が操作を行うと、その操作の内容を示す操作データを作成し、作成した操作データを携帯端末1に送信する。   Further, when the occupant performs an operation on the operation detecting unit 24 in the in-vehicle terminal mode processing 170 in the in-vehicle side terminal mode processing 170, the in-vehicle side control unit 27 generates operation data indicating the content of the operation, and the generated operation data is stored in the mobile terminal 1. Send to.

操作データは、例えば、ディスプレイ23に表示した上記表示用画像のどの位置にユーザがタッチしたかを示す座標値であってもよい。ただし、2画面表示モードの場合は、操作データは、ナビゲーション用の画像30と、当該他のアプリケーション17b用の画像31のどちらにユーザがタッチしたかを示す操作対象識別データ、および、そのタッチした側の画像のどの部分をタッチしたかを示す座標値のデータを含む。   For example, the operation data may be a coordinate value indicating which position of the display image displayed on the display 23 is touched by the user. However, in the case of the two-screen display mode, the operation data includes operation target identification data indicating which one of the navigation image 30 and the image 31 for the other application 17b is touched by the user, and the touched data. It includes coordinate value data indicating which part of the side image is touched.

この場合、座標値は、一画面表示モード時と同様、タッチした側の画像(例えば、ナビゲーション用の画像30)の左上端の座標値(0,0)とし、右下端の座標値を(1,1)と規格化した上での座標値とする。   In this case, the coordinate value is the coordinate value (0, 0) at the upper left corner of the image on the touched side (for example, the navigation image 30), and the coordinate value at the lower right corner is (1), as in the single screen display mode. , 1) and the coordinate values after normalization.

携帯側制御部17は、携帯側ターミナルモード処理140において、この操作データを受信し、受信した操作データに含まれる操作対象識別データに基づいて、乗員が操作したい対象のアプリケーションを、ナビゲーション用のアプリケーション17aおよび当該他のアプリケーション17bのうちから1つ特定する。   The mobile-side control unit 17 receives this operation data in the mobile-side terminal mode processing 140 and, based on the operation target identification data included in the received operation data, selects a target application that the occupant wants to operate as a navigation application. One of 17a and the other application 17b is specified.

そして携帯側制御部17は、特定したアプリケーションに対して、当該操作データを渡す。当該操作データを渡された当該アプリケーション(ナビゲーション用のアプリケーション17aまたは当該他のアプリケーション17b)の実行においては、携帯側制御部17は、その渡された操作データに応じて、ユーザがどのような操作を行ったかを特定し、特定した操作に応じた処理を実行する。以上が、2画面表示モード時の携帯側ターミナルモード処理140および車載側ターミナルモード処理170による作動内容である。   Then, the portable control unit 17 passes the operation data to the identified application. In the execution of the application (the navigation application 17a or the other application 17b) to which the operation data is passed, the portable control unit 17 determines what operation the user performs according to the passed operation data. The process according to the identified operation is executed. The above is the operation contents of the portable terminal mode processing 140 and the in-vehicle terminal mode processing 170 in the two-screen display mode.

なお、図7のステップ205で実行開始された電話通話用のアプリケーションにおいては、携帯側制御部17は、まず直接通話を行うかハンズフリー通話を行うかをユーザに問い合わせるため、所定の問い合わせ画像を生成して出力する。   In the application for telephone calls started in step 205 in FIG. 7, the portable control unit 17 first asks the user whether to make a direct call or a hands-free call. Generate and output.

これにより、携帯端末1のディスプレイ13に当該問い合わせ画像が表示させると共に、上述の2画面表示モード時の作動により、車載器2のディスプレイ23の一部にも当該問い合わせ画像が表示される。   Thereby, the inquiry image is displayed on the display 13 of the portable terminal 1 and the inquiry image is also displayed on a part of the display 23 of the vehicle-mounted device 2 by the operation in the above-described two-screen display mode.

乗員は、この問い合わせ表示に対して、携帯端末1の操作検出部12を操作して直接通話とハンズフリー通話のどちらか一方を選択してもよい。その場合、操作検出部12に対して行われた選択操作の内容は、電話通話用アプリケーションに渡される。   In response to the inquiry display, the occupant may operate the operation detection unit 12 of the mobile terminal 1 to select either a direct call or a hands-free call. In this case, the content of the selection operation performed on the operation detection unit 12 is passed to the telephone call application.

あるいはユーザは、この問い合わせ表示に対して、車載器2の操作検出部22を操作して直接通話とハンズフリー通話のどちらか一方を選択してもよい。選択方法は、問い合わせ画像に含まれる「直接通話」のボタンと「ハンズフリー」のボタンのいずれかをタッチすることである。その場合、上述のターミナルモード処理により、当該他のアプリケーション17b用の画像31がタッチされたことを示す操作対象識別データを含むと共に当該当該他のアプリケーション17b用の画像31中のタッチ位置(上述のように規格化した位置)を示す座標を含む操作データが、車載器2から携帯端末1に送信される。   Or a user may operate the operation detection part 22 of the onboard equipment 2 with respect to this inquiry display, and may select either a direct call or a hands-free call. The selection method is to touch either the “direct call” button or the “hands-free” button included in the inquiry image. In that case, the above-described terminal mode processing includes operation target identification data indicating that the image 31 for the other application 17b has been touched, and the touch position in the image 31 for the other application 17b (described above). The operation data including the coordinates indicating the normalized position) is transmitted from the vehicle-mounted device 2 to the portable terminal 1.

そして、携帯端末1の携帯側制御部17は、携帯側ターミナルモード処理140において、受信した操作データに当該他のアプリケーション17b用の画像31がタッチされたことを示す操作対象識別データが含まれていることに基づいて、当該他のアプリケーション(本事例では電話通話用のアプリケーション)に対して、当該操作データに含まれるタッチ位置の座標を渡す。   And the portable side control part 17 of the portable terminal 1 contains the operation target identification data which shows that the image 31 for the said other application 17b was touched in the received operation data in the portable side terminal mode process 140. The coordinates of the touch position included in the operation data are passed to the other application (application for telephone call in this example).

このように、直接通話かハンズフリーかについて、携帯端末1の操作検出部12に対して操作した場合も、車載器2の操作検出部22に対して操作した場合も、その操作結果が当該他のアプリケーション(本事例では電話通話用のアプリケーション)に渡される。   As described above, whether the direct call or the hands-free operation is performed on the operation detection unit 12 of the portable terminal 1 or when the operation detection unit 22 of the on-vehicle device 2 is operated. Application (in this case, an application for telephone calls).

これにより、携帯側制御部17は、当該他のアプリケーション17b(本事例では電話通話用のアプリケーション)の実行において、渡された操作内容に応じて、直接通話用の処理とハンズフリー通話用の処理のうちどちらかを実行する。例えば、ターミナルモード処理から渡されたタッチ位置座標が直接通話ボタンの位置座標に該当すれば、直接通話用の処理(携帯端末1のみの音声出力部11および音声入力部12を用いて電話通話を行う処理)を行い、タッチ位置座標がハンズフリーのボタンの位置座標に該当すれば、ハンズフリー通話用の処理(車載器2の音声出力部21から通話相手の発話音声を出力し、車載器2の音声入力部12を用いて乗員の発話音声を取得する処理)を行う。   Thereby, the portable side control unit 17 performs processing for direct calling and processing for hands-free calling according to the contents of the operation in execution of the other application 17b (application for telephone call in this example). Do one of the following: For example, if the touch position coordinates passed from the terminal mode process correspond to the position coordinates of the direct call button, the direct call process (phone call using the voice output unit 11 and the voice input unit 12 of the mobile terminal 1 only) is performed. If the touch position coordinates correspond to the position coordinates of the hands-free button, the hands-free call processing (the voice output from the voice output unit 21 of the vehicle-mounted device 2 is output, and the vehicle-mounted device 2 To obtain the utterance voice of the occupant).

それと共に制御部17は、当該他のアプリケーション(本事例では電話通話用のアプリケーション)の実行において、直接通話処理を実行するかハンズフリー通話処理を実行するかの情報を、図7の処理に渡す。この渡された情報により、図7の処理において携帯側制御部17は、ステップ215で、直接通話を行うかハンズフリー通話を行うかを判定する。   At the same time, the control unit 17 passes information on whether to execute the direct call process or the hands-free call process to the process of FIG. 7 in the execution of the other application (application for telephone call in this example). . Based on this passed information, in the process of FIG. 7, the portable control unit 17 determines in step 215 whether to perform a direct call or a hands-free call.

本事例では、乗員が操作検出部14、24のいずれかを用いてハンズフリー通話を選択したとする。すると携帯側制御部17は、上述の通りハンズフリー通話処理を実行することで、携帯端末1と車載器2を用いた電話通話が開始する(図6のステップ609参照)。また携帯側制御部17は、図7の処理においてステップ215でハンズフリー通話を行うと判定してステップ235に進む。   In this example, it is assumed that the occupant selects a hands-free call using one of the operation detection units 14 and 24. Then, the mobile-side control unit 17 starts the telephone call using the mobile terminal 1 and the vehicle-mounted device 2 by executing the hands-free call process as described above (see step 609 in FIG. 6). Further, the portable control unit 17 determines that a hands-free call is to be performed in step 215 in the processing of FIG. 7, and proceeds to step 235.

なお、このハンズフリー通話処理において、車載器2の音声出力部21に出力される音声の信号は、上述の携帯側ターミナルモード処理140および車載側ターミナルモード処理170を介して車載器2に送信され、車載器2の音声入力部22が取得した乗員の発話音声の信号は、上述の携帯側ターミナルモード処理140および車載側ターミナルモード処理170を介して車載器2から受信する。   In this hands-free call processing, the audio signal output to the audio output unit 21 of the in-vehicle device 2 is transmitted to the in-vehicle device 2 through the above-described portable terminal mode processing 140 and in-vehicle terminal mode processing 170. The signal of the occupant's utterance voice acquired by the voice input unit 22 of the vehicle-mounted device 2 is received from the vehicle-mounted device 2 through the portable terminal mode processing 140 and the vehicle-mounted terminal mode processing 170 described above.

図7の処理においては、ステップ235では、画面オフ要求(後述する)を携帯端末1から受信したか否かを判定する。本事例では、画面オフ要求をまだ受信していないので、受信していないと判定してステップ240に進む。   In the process of FIG. 7, in step 235, it is determined whether a screen off request (described later) has been received from the mobile terminal 1. In this example, since the screen-off request has not been received yet, it is determined that it has not been received, and the process proceeds to step 240.

ステップ240では、先に開始した電話通話を終了するか否かを判定し、電話通話を終了しない場合はステップ235に戻り、終了する場合はステップ245に進む。したがって画面オフ要求を受信せず電話通話が続いている間、図7の処理ではステップ235、240の処理が繰り返される。   In step 240, it is determined whether or not the telephone call started first is to be terminated. If the telephone call is not terminated, the process returns to step 235, and if it is terminated, the process proceeds to step 245. Therefore, while the telephone call is continued without receiving the screen-off request, the processes of steps 235 and 240 are repeated in the process of FIG.

図7の処理でステップ235、240の処理が繰り返されている間も、携帯側制御部17は携帯側ターミナルモード処理140および車載側ターミナルモード処理170を実行し続ける。したがって、ナビゲーション用の画像30と他のアプリケーション17b用の画像31が携帯端末1から車載器2に送信され、ディスプレイ23に両方の画像が同時に表示される。   While the processes in steps 235 and 240 are repeated in the process of FIG. 7, the mobile side control unit 17 continues to execute the mobile side terminal mode process 140 and the in-vehicle side terminal mode process 170. Therefore, an image 30 for navigation and an image 31 for another application 17b are transmitted from the mobile terminal 1 to the vehicle-mounted device 2, and both images are displayed on the display 23 at the same time.

この状態で、電話通話を終了するため、乗員が操作検出部24を操作して他のアプリケーション17b用の画像31の通話終了ボタン32をタッチして指定したとする。   In this state, in order to end the telephone call, it is assumed that the passenger operates the operation detection unit 24 and touches and specifies the call end button 32 of the image 31 for the other application 17b.

すると、この操作に応じた操作データ(当該他のアプリケーションの画像がタッチされたことを示す操作対象識別データおよび通話終了ボタン32に該当する位置座標のデータ)が、車載側ターミナルモード処理170および携帯側ターミナルモード処理140を介して上述の通り当該他のアプリケーション17bに渡される。すると携帯側制御部17は、当該他のアプリケーション17b(本事例では電話通話アプリケーション)の実行において、電話通話を終了することを示すデータを図7の処理に渡す。   Then, operation data corresponding to this operation (operation target identification data indicating that an image of the other application has been touched and data of position coordinates corresponding to the call end button 32) are stored in the in-vehicle terminal mode process 170 and the mobile phone. As described above, it is passed to the other application 17b via the side terminal mode processing 140. Then, in the execution of the other application 17b (in this example, a telephone call application), the mobile-side control unit 17 passes data indicating that the telephone call is to be terminated to the process of FIG.

すると携帯側制御部17は、図7の処理において、ステップ240で通話を終了すると判定し、ステップ245に進み、当該他のアプリケーション17b(本事例では電話通話アプリケーション)の実行を終了させる。これにより、当該他のアプリケーション17bの実行が終了し、電話通話も終了する(図6のステップ611参照)。これにより、ターミナルモード対応のアプリケーションとしては、ナビゲーション用のアプリケーション17aのみの実行が継続された状態となる(図6のステップ615)。   Then, in the process of FIG. 7, the mobile-side control unit 17 determines in step 240 that the call is to be terminated, proceeds to step 245, and terminates execution of the other application 17 b (in this example, a telephone call application). As a result, the execution of the other application 17b is finished, and the telephone call is also finished (see step 611 in FIG. 6). As a result, only the navigation application 17a is continuously executed as the terminal mode compatible application (step 615 in FIG. 6).

さらにステップ250では、所定の1画面表示命令613を車載器2に送信すると共に、2画面表示モードから1画面表示モードに遷移する。車載器2は、この1画面表示命令を受信したことに基づいて、2画面表示モードから1画面表示モードに遷移し、ナビゲーション用の画像と当該他のアプリケーション用の画像の両方を同時に表示していた状態から、ナビゲーション用の画像のみをディスプレイ23の表示画面全体に表示する状態に戻す(図6のステップ617)。   Further, in step 250, a predetermined one-screen display command 613 is transmitted to the vehicle-mounted device 2, and a transition is made from the two-screen display mode to the one-screen display mode. The in-vehicle device 2 transitions from the two-screen display mode to the one-screen display mode based on the reception of the one-screen display command, and simultaneously displays both the navigation image and the other application image. The state is returned to the state in which only the navigation image is displayed on the entire display screen of the display 23 (step 617 in FIG. 6).

このように、携帯端末1が、車載器2にナビゲーション用の画像30を送信しているときに所定の割り込み(上記の事例では、電話着信という割り込み)が発生すると、他のアプリケーション用の画像31を当該ナビゲーション用の画像30と共に車載器2に送信すると共に、2画面表示命令を送信することで、これら2種類の画像30、31の両方を前記車載器に表示させるので、割り込みが発生してもドライバーがナビゲーション用の画面を見続けることができる。   As described above, when a predetermined interruption (in the above example, an interruption of a telephone call) occurs while the mobile terminal 1 is transmitting the navigation image 30 to the vehicle-mounted device 2, the image 31 for another application is generated. Is transmitted to the vehicle-mounted device 2 together with the navigation image 30 and a two-screen display command is transmitted to display both of the two types of images 30 and 31 on the vehicle-mounted device. Even the driver can continue to look at the navigation screen.

ここで、図7の処理において携帯側制御部17がステップ235、240の処理を繰り返しているときに、乗員が図8の画面オフボタン33を指定した場合の事例について、図9を参照して説明する。なお、図6と図9の事例においては、ステップ601で電話着信があってからステップ609で電話通話が開始されるまでの作動は、共に同じである。   Here, with reference to FIG. 9, a case where the occupant designates the screen off button 33 of FIG. 8 while the portable side control unit 17 repeats the processing of steps 235 and 240 in the processing of FIG. explain. In the case of FIGS. 6 and 9, the operations from when a call is received at step 601 to when a telephone call is started at step 609 are the same.

乗員が図8の画面オフボタン33を指定する典型的な場面としては、車内で電話通話を行う者がドライバー以外の乗員(助手席乗員、後部座席乗員等)であるため、ドライバーにとっては当該他のアプリケーション17b(本事例では電話通話アプリケーション)用の画像の表示が邪魔なので、ドライバーが当該画面オフボタン33を指定するという場面がある。   A typical scene in which the occupant designates the screen off button 33 in FIG. 8 is that the person who makes the telephone call in the car is an occupant other than the driver (passenger seat occupant, rear seat occupant, etc.). Since the display of the image for the application 17b (phone call application in this example) is an obstacle, there is a scene where the driver designates the screen off button 33.

上述の通り、この画面オフボタン33は、車載側制御部27が記憶部25から読み出してディスプレイ23に重畳表示させているものである。乗員が操作検出部24を操作してこの画面オフボタン33を指定すると、車載側制御部27は、車載側ターミナルモード処理170の処理において、画面オフボタン33が操作されたことを検知し、検知したことに基づいて、所定の画面オフ要求を作成し、作成した画面オフ要求610を携帯端末1に送信する。   As described above, the screen off button 33 is read out from the storage unit 25 by the in-vehicle side control unit 27 and superimposed on the display 23. When the occupant operates the operation detection unit 24 and designates the screen off button 33, the in-vehicle side control unit 27 detects that the screen off button 33 has been operated in the processing of the in-vehicle terminal mode processing 170, and the detection. Based on this, a predetermined screen-off request is created, and the created screen-off request 610 is transmitted to the mobile terminal 1.

すると携帯端末1は、携帯側ターミナルモード処理140において、この画面オフ要求610を受信し、さらに、図7の処理に対して、この画面オフ要求のデータを渡す。すると携帯側制御部17は、図7のステップ235において、画面オフ要求を受信したと判定し、ステップ255に進む。   Then, the portable terminal 1 receives this screen-off request 610 in the portable-side terminal mode processing 140, and further passes this screen-off request data to the processing of FIG. Then, the portable control unit 17 determines that the screen off request has been received in step 235 of FIG. 7 and proceeds to step 255.

ステップ255では、ステップ250と同様、所定の1画面表示命令613を車載器2に送信すると共に、2画面表示モードから1画面表示モードに遷移する。車載器2は、この1画面表示命令613を受信したことに基づいて、2画面表示モードから1画面表示モードに遷移すると共に、ナビゲーション用の画像と当該他のアプリケーション用の画像の両方を同時に表示していた状態から、ナビゲーション用の画像のみをディスプレイ23の表示画面全体に表示する状態に戻す(図9のステップ614)。   In step 255, as in step 250, a predetermined one-screen display command 613 is transmitted to the vehicle-mounted device 2, and the transition is made from the two-screen display mode to the one-screen display mode. The in-vehicle device 2 transitions from the two-screen display mode to the one-screen display mode based on the reception of the one-screen display command 613, and simultaneously displays both the navigation image and the other application image. Returning to the state where only the navigation image is displayed on the entire display screen of the display 23 from the state where it has been (step 614 in FIG. 9).

1画面表示命令613を受信して以後は、携帯側制御部17では、ターミナルモード対応のアプリケーションとしては、ナビゲーション用のアプリケーション17aと当該他のアプリケーション17bの両方が実行され、両アプリケーション17a、17bの画像が携帯端末1から車載器2に送信されるが、車載側制御部27がディスプレイ23に表示させるのは、ナビゲーション用の画像のみである。このように、ドライバーに関係がない画面(電話用通話用アプリケーションの画像)はドライバーの操作で画面をオフすることができる。なお、ディスプレイ23に電話用通話用アプリケーションの画像が表示されなくとも、ハンズフリー通話は継続する。   After receiving the one-screen display command 613, the mobile-side control unit 17 executes both the navigation application 17a and the other application 17b as terminal mode compatible applications, and the both applications 17a and 17b. An image is transmitted from the portable terminal 1 to the vehicle-mounted device 2, but the vehicle-mounted control unit 27 displays only the navigation image on the display 23. In this way, the screen (image of the telephone call application) that is not related to the driver can be turned off by the operation of the driver. Note that the hands-free call continues even if the image of the telephone call application is not displayed on the display 23.

携帯側制御部17は、ステップ255に続いてステップ260で、ステップ240と同様に、電話通話を終了する否かを判定する。そして、終了すると判定した場合は、ステップ260の処理を再度実行する。この状態で、電話通話を終了するため、乗員が携帯端末1の操作検出部14に対して電話通話終了用の操作を行ったとする。   In step 260 following step 255, the portable-side control unit 17 determines whether or not to end the telephone call in the same manner as in step 240. And when it determines with complete | finishing, the process of step 260 is performed again. In this state, it is assumed that an occupant performs an operation for terminating the telephone call on the operation detection unit 14 of the portable terminal 1 in order to terminate the telephone call.

すると、すると携帯側制御部17は、当該他のアプリケーション17b(本事例では電話通話アプリケーション)の実行において、電話通話を終了することを示すデータを図7の処理に渡す。   Then, in the execution of the other application 17b (in this example, a telephone call application), the mobile-side control unit 17 passes data indicating that the telephone call is to be terminated to the process of FIG.

すると携帯側制御部17は、図7の処理において、ステップ260で通話を終了すると判定し、ステップ265に進み、当該他のアプリケーション17b(本事例では電話通話アプリケーション)の実行を終了させる。これにより、当該他のアプリケーション17bの実行が終了し、電話通話も終了する(図9のステップ611参照)。これにより、ターミナルモード対応のアプリケーションとしては、ナビゲーション用のアプリケーション17aのみの実行が継続された状態となる(図9のステップ618)。   Then, in the process of FIG. 7, the mobile-side control unit 17 determines in step 260 that the call is to be terminated, proceeds to step 265, and terminates execution of the other application 17 b (in this example, a telephone call application). As a result, the execution of the other application 17b is terminated, and the telephone call is also terminated (see step 611 in FIG. 9). As a result, only the navigation application 17a is continuously executed as the terminal mode compatible application (step 618 in FIG. 9).

次の事例として、当該他のアプリケーション(本事例では電話通話用のアプリケーション)の実行開始時に、乗員が操作検出部14、24のいずれかを用いて、ハンズフリー通話ではなく直接通話を選択したとする。すると携帯側制御部17は、上述の通り直接通話用の処理を実行することで、携帯端末1単独での(すなわち、車載器2を用いない)電話通話が開始する。   As the next example, at the start of execution of the other application (application for telephone call in this example), the occupant selects a direct call instead of a hands-free call by using one of the operation detection units 14 and 24. To do. Then, the mobile-side control unit 17 executes a direct call process as described above, thereby starting a telephone call using the mobile terminal 1 alone (that is, not using the vehicle-mounted device 2).

そして携帯側制御部17は、図7の処理においてステップ215で直接通話を行うと判定してステップ220に進む。ステップ220では、ステップ250と同様、所定の1画面表示命令613を車載器2に送信する。車載器2は、この1画面表示命令を受信したことに基づいて、ナビゲーション用の画像と当該他のアプリケーション用の画像の両方を同時に表示していた状態から、ナビゲーション用の画像のみをディスプレイ23の表示画面全体に表示する状態に戻す。   Then, the portable control unit 17 determines that a direct call is made in Step 215 in the process of FIG. In step 220, as in step 250, a predetermined one-screen display command 613 is transmitted to the vehicle-mounted device 2. The in-vehicle device 2 displays only the navigation image on the display 23 from the state in which both the navigation image and the image for the other application are simultaneously displayed based on the reception of the one-screen display command. Return to the display state on the entire display screen.

1画面表示命令613を受信して以後は、携帯側制御部17では、ターミナルモード対応のアプリケーションとしては、ナビゲーション用のアプリケーション17aと当該他のアプリケーション17bの両方が実行され、両アプリケーション17a、17bの画像が携帯端末1から車載器2に送信されるが、車載側制御部27がディスプレイ23に表示させるのは、ナビゲーション用の画像のみである。   After receiving the one-screen display command 613, the mobile-side control unit 17 executes both the navigation application 17a and the other application 17b as terminal mode compatible applications, and the both applications 17a and 17b. An image is transmitted from the portable terminal 1 to the vehicle-mounted device 2, but the vehicle-mounted control unit 27 displays only the navigation image on the display 23.

携帯側制御部17は、ステップ220に続いてステップ225で、ステップ240と同様に、電話通話が終了するか否かを判定する。そして、終了しないと判定した場合は、ステップ225の処理を再度実行する。この状態で、電話通話を終了するため、乗員が携帯端末1の操作検出部14に対して電話通話終了用の操作を行ったとする。   In step 225 following step 220, the portable control unit 17 determines whether or not the telephone call is terminated, as in step 240. And when it determines with not complete | finishing, the process of step 225 is performed again. In this state, it is assumed that an occupant performs an operation for terminating the telephone call on the operation detection unit 14 of the portable terminal 1 in order to terminate the telephone call.

すると、すると携帯側制御部17は、当該他のアプリケーション17b(本事例では電話通話アプリケーション)の実行において、電話通話を終了することを示すデータを図7の処理に渡す。   Then, in the execution of the other application 17b (in this example, a telephone call application), the mobile-side control unit 17 passes data indicating that the telephone call is to be terminated to the process of FIG.

すると携帯側制御部17は、図7の処理において、ステップ225で通話を終了すると判定し、ステップ230に進み、当該他のアプリケーション17b(本事例では電話通話アプリケーション)の実行を終了させる。これにより、当該他のアプリケーション17bの実行が終了し、電話通話も終了する。これにより、ターミナルモード対応のアプリケーションとしては、ナビゲーション用のアプリケーション17aのみの実行が継続された状態となる。   Then, in the process of FIG. 7, the mobile-side control unit 17 determines in step 225 that the call is to be terminated, proceeds to step 230, and terminates execution of the other application 17 b (in this example, a telephone call application). Thereby, the execution of the other application 17b is finished, and the telephone call is also finished. As a result, only the navigation application 17a is continuously executed as the terminal mode compatible application.

[電話発信時]
次に、車載器2の電話ボタンが押下された場合について、図7、図10〜図11を参照して説明する。まず、乗員(主にドライバー)が、電話通話を開始するために、車載器2の操作検出部24の一部として設けられた電話ボタン(ソフトウェアで表示されるボタンではなくハードボタン)を押下する(ステップ701)。
[When calling]
Next, a case where the telephone button of the vehicle-mounted device 2 is pressed will be described with reference to FIGS. 7 and 10 to 11. First, an occupant (mainly a driver) presses a telephone button (a hard button instead of a button displayed by software) provided as a part of the operation detection unit 24 of the vehicle-mounted device 2 to start a telephone call. (Step 701).

すると車載側制御部27は、電話ボタンが押下されたことを検知し(図6のステップ601参照)、検知したことに基づいて、電話ボタンが押下されたことを示す操作内容通知702を作成し、外部機器通信部26を介して携帯端末1に送信する。この操作内容通知702を携帯端末1が受信することが、携帯端末1において発生する所定の割り込みに相当する。   Then, the vehicle-mounted control unit 27 detects that the telephone button is pressed (see step 601 in FIG. 6), and creates an operation content notification 702 indicating that the telephone button is pressed based on the detection. Then, the data is transmitted to the mobile terminal 1 via the external device communication unit 26. Receiving the operation content notification 702 by the mobile terminal 1 corresponds to a predetermined interrupt that occurs in the mobile terminal 1.

一方、携帯側制御部17は、外部機器通信部16を介して当該操作内容通知702を受信し、この電話ボタンが押下されたことを示す操作内容通知702を受信したことに基づいて、図7の処理を開始する。図7の処理の内容は、既に説明した通りであるので、以下は簡略化して説明する。   On the other hand, the mobile-side control unit 17 receives the operation content notification 702 via the external device communication unit 16 and receives the operation content notification 702 indicating that the telephone button has been pressed, based on FIG. Start processing. Since the contents of the processing in FIG. 7 have already been described, the following description will be simplified.

図7の処理において、まずステップ205で、電話通話用のアプリケーションの実行を開始する(図10のステップ703参照)。なお、この電話通話用のアプリケーションの実行開始は、ナビゲーション用のアプリケーション17aを実行したままマルチタスクで行われる。   In the process of FIG. 7, first, in step 205, execution of an application for a telephone call is started (see step 703 in FIG. 10). The execution of the telephone call application is started by multitasking while the navigation application 17a is being executed.

続いて携帯側制御部17は、ステップ210で、所定の2画面表示命令705を車載器2に送信すると共に、1画面表示モードから2画面表示モードに遷移する。車載側制御部27は、この2画面表示命令705を受信したことに基づいて、ステップ707で、1画面表示モードから2画面表示モードに遷移する。2画面表示モードにおける携帯側制御部17および車載側制御部27の作動については、既に説明した通りであるが、それを本事例における電話発信時の作動に特化した部分のみについて具体的に説明する。   Subsequently, in step 210, the mobile-side control unit 17 transmits a predetermined two-screen display command 705 to the vehicle-mounted device 2, and transits from the one-screen display mode to the two-screen display mode. The vehicle-mounted side control unit 27 transitions from the one-screen display mode to the two-screen display mode in step 707 based on the reception of the two-screen display command 705. The operations of the mobile side control unit 17 and the in-vehicle side control unit 27 in the two-screen display mode are as described above, but only the part specialized for the operation at the time of calling in this example is specifically described. To do.

車載側制御部27は、2画面表示モード時には、受信した2種類の表示用画像の両方を、図11に例示するような所定の配置で、ディスプレイ23内に同時に表示させる。本事例では、図11に示すように、ディスプレイ23の表示画面を左右に2等分した配置(所定の配置の一例に相当する)で、右側にはナビゲーション用の画像30を、右側には当該他のアプリケーション17b用の画像35(本事例では電話通話アプリケーションの実行によって作成された表示用の画像31)を表示させる。   In the two-screen display mode, the vehicle-mounted side control unit 27 displays both of the received two types of display images simultaneously in the display 23 with a predetermined arrangement as illustrated in FIG. In this example, as shown in FIG. 11, the display screen of the display 23 is divided into left and right halves (corresponding to an example of a predetermined arrangement). The image 35 for the other application 17b (in this example, the display image 31 created by executing the telephone call application) is displayed.

本例では、電話通話アプリケーション用の画像35には、ユーザが指定可能な複数の電話番号指定ボタン36および発信ボタン37が含まれている。乗員が車載器2の操作検出部24を操作して電話番号指定ボタン36のボタンを複数指定(具体的にはタッチ)して電話番号を入力し、さらに、発信ボタン37を指定(タッチ)する(ステップ709)。   In this example, the telephone call application image 35 includes a plurality of telephone number designation buttons 36 and a call button 37 that can be designated by the user. An occupant operates the operation detection unit 24 of the vehicle-mounted device 2 to specify a plurality of buttons of the telephone number specification button 36 (specifically, touch), input a telephone number, and further specify (touch) a call button 37. (Step 709).

すると、車載側制御部27は、車載側ターミナルモード処理170において、その操作の内容を示す操作データ711を作成し、作成した操作データ711を携帯端末1に送信する。なおこの操作データ711には、当該他のアプリケーション17b用の画像31にユーザがタッチしたことを示す操作対象識別データも含める。   Then, the in-vehicle side control unit 27 creates operation data 711 indicating the content of the operation in the in-vehicle side terminal mode process 170, and transmits the created operation data 711 to the mobile terminal 1. The operation data 711 includes operation target identification data indicating that the user has touched the image 31 for the other application 17b.

携帯側制御部17は、携帯側ターミナルモード処理140において、この操作データ711を受信し、受信した操作データに含まれる操作対象識別データに基づいて、乗員が操作したい対象のアプリケーションが当該他のアプリケーション17bであると特定する。   The mobile-side control unit 17 receives the operation data 711 in the mobile-side terminal mode processing 140, and the target application that the occupant wants to operate is based on the operation target identification data included in the received operation data. 17b is specified.

そして携帯側制御部17は、特定したアプリケーション17bに対して、当該操作データを渡す。当該操作データを渡された当該アプリケーション17bの実行においては、携帯側制御部17は、その渡された操作データに応じた電話番号に対して発信を行う(ステップ713)。これにより、電話通話が開始される(ステップ715)。なお、発信を行った後、電話通話用のアプリケーションが作成して携帯側ターミナルモード処理140に渡す画像は、図8の画像31で示したようなものとなる。   Then, the portable control unit 17 passes the operation data to the identified application 17b. In the execution of the application 17b to which the operation data is passed, the mobile side control unit 17 makes a call to the telephone number corresponding to the passed operation data (step 713). Thereby, a telephone call is started (step 715). Note that after making a call, an image created by a telephone call application and passed to the portable terminal mode processing 140 is as shown by an image 31 in FIG.

なお、図7のステップ205で実行開始された電話通話用のアプリケーションにおいては、携帯側制御部17は、電話発信後、直接通話を行うかハンズフリー通話を行うかをユーザに問い合わせるため、所定の問い合わせ画像を生成して出力する。   In the application for telephone calls started in step 205 in FIG. 7, the mobile-side control unit 17 asks the user whether to make a direct call or a hands-free call after making a call. Generate and output an inquiry image.

これにより、携帯端末1のディスプレイ13に当該問い合わせ画像が表示させると共に、上述の2画面表示モード時の作動により、車載器2のディスプレイ23の一部にも当該問い合わせ画像が表示される。この問い合わせに対する乗員の操作の方法およびその操作に対する携帯端末1の携帯側ターミナルモード処理140および当該他のアプリケーション(本事例では電話通話アプリケーション)での作動および車載器2の車載側ターミナルモード処理170での作動は、上述の電話着信時の作動と同じである。   Thereby, the inquiry image is displayed on the display 13 of the portable terminal 1 and the inquiry image is also displayed on a part of the display 23 of the vehicle-mounted device 2 by the operation in the above-described two-screen display mode. In the operation of the passenger in response to this inquiry, the portable terminal mode processing 140 of the portable terminal 1 for the operation and the operation in the other application (phone call application in this example) and the in-vehicle terminal mode processing 170 of the vehicle-mounted device 2 The operation of is the same as the operation when a telephone call is received.

したがって、制御部17は、当該他のアプリケーション(本事例では電話通話用のアプリケーション)の実行において、直接通話処理を実行するかハンズフリー通話処理を実行するかの情報を、図7の処理に渡す。この渡された情報により、図11の処理において携帯側制御部17は、ステップ215で、直接通話を行うかハンズフリー通話を行うかを判定する。   Therefore, in the execution of the other application (in this case, an application for a telephone call), the control unit 17 passes information on whether to execute a direct call process or a hands-free call process to the process of FIG. . Based on this passed information, in the process of FIG. 11, the portable control unit 17 determines whether to perform a direct call or a hands-free call in step 215.

本事例では、乗員が操作検出部14、24のいずれかを用いてハンズフリー通話を選択したとする。すると携帯側制御部17は、上述の通り開始された電話通話でハンズフリー通話処理を実行する(図10のステップ715参照)。また携帯側制御部17は、図7の処理においてステップ215でハンズフリー通話を行うと判定してステップ235に進む。そして、画面オフ要求を受信せず電話通話が続いている間、図7の処理ではステップ235、24の処理が繰り返される。この間も、したがって、ナビゲーション用の画像30と他のアプリケーション17b用の画像31が携帯端末1から車載器2に送信され、ディスプレイ23に両方の画像が同時に表示される。   In this example, it is assumed that the occupant selects a hands-free call using one of the operation detection units 14 and 24. Then, the mobile-side control unit 17 performs a hands-free call process with the telephone call started as described above (see step 715 in FIG. 10). Further, the portable control unit 17 determines that a hands-free call is to be performed in step 215 in the process of FIG. Then, while the telephone call is continued without receiving the screen off request, the processes of steps 235 and 24 are repeated in the process of FIG. During this time, therefore, the navigation image 30 and the image 31 for the other application 17b are transmitted from the portable terminal 1 to the vehicle-mounted device 2, and both images are simultaneously displayed on the display 23.

この状態で、電話通話を終了するため、乗員が操作検出部24を操作して他のアプリケーション17b用の画像31の通話終了ボタン32をタッチして指定したとする(ステップ717)。すると、この操作に応じた操作データ719が、車載側ターミナルモード処理170および携帯側ターミナルモード処理140を介して上述の通り当該他のアプリケーション17bに渡される。すると携帯側制御部17は、当該他のアプリケーション17b(本事例では電話通話アプリケーション)の実行において、電話通話を終了することを示すデータを図7の処理に渡す。   In this state, in order to end the telephone call, it is assumed that the occupant operates the operation detection unit 24 and touches and specifies the call end button 32 of the image 31 for the other application 17b (step 717). Then, the operation data 719 corresponding to this operation is passed to the other application 17b as described above via the in-vehicle terminal mode process 170 and the portable terminal mode process 140. Then, in the execution of the other application 17b (in this example, a telephone call application), the mobile-side control unit 17 passes data indicating that the telephone call is to be terminated to the process of FIG.

すると携帯側制御部17は、図7の処理において、ステップ240で通話を終了すると判定し、ステップ245に進み、当該他のアプリケーション17b(本事例では電話通話アプリケーション)の実行を終了させる。これにより、当該他のアプリケーション17bの実行が終了し、電話通話も終了する(ステップ721)。これにより、ターミナルモード対応のアプリケーションとしては、ナビゲーション用のアプリケーション17aのみの実行が継続された状態となる(図6のステップ725)。   Then, in the process of FIG. 7, the mobile-side control unit 17 determines in step 240 that the call is to be terminated, proceeds to step 245, and terminates execution of the other application 17 b (in this example, a telephone call application). Thereby, the execution of the other application 17b is finished, and the telephone call is also finished (step 721). As a result, only the navigation application 17a is continuously executed as the terminal mode compatible application (step 725 in FIG. 6).

さらにステップ250では、所定の1画面表示命令723を車載器2に送信すると共に、2画面表示モードから1画面表示モードに遷移する。車載器2は、この1画面表示命令を受信したことに基づいて、2画面表示モードから1画面表示モードに遷移し、ナビゲーション用の画像と当該他のアプリケーション用の画像の両方を同時に表示していた状態から、ナビゲーション用の画像のみをディスプレイ23の表示画面全体に表示する状態に戻す(ステップ727)。   Further, in step 250, a predetermined one-screen display command 723 is transmitted to the vehicle-mounted device 2, and a transition is made from the two-screen display mode to the one-screen display mode. The in-vehicle device 2 transitions from the two-screen display mode to the one-screen display mode based on the reception of the one-screen display command, and simultaneously displays both the navigation image and the other application image. The state is returned to the state in which only the navigation image is displayed on the entire display screen of the display 23 (step 727).

このように、携帯端末1が、車載器2にナビゲーション用の画像30を送信しているときに所定の割り込み(上記の事例では、操作内容通知702の受信という割り込み)が発生すると、他のアプリケーション用の画像31を当該ナビゲーション用の画像30と共に車載器2に送信すると共に、2画面表示命令を送信することで、これら2種類の画像30、31の両方を前記車載器に表示させるので、割り込みが発生してもドライバーがナビゲーション用の画面を見続けることができる。   As described above, when a predetermined interruption occurs (in the above example, an interruption of reception of the operation content notification 702) when the mobile terminal 1 is transmitting the navigation image 30 to the vehicle-mounted device 2, another application is generated. The image 31 for navigation is transmitted to the vehicle-mounted device 2 together with the navigation image 30 and the two-screen display command is transmitted to display both the two types of images 30 and 31 on the vehicle-mounted device. Even if this happens, the driver can continue to look at the navigation screen.

次に、所定の割り込みの一例として、電話ボタン押下という割り込みが携帯端末1に発生した場合について、図12等を参照して説明する。まず、乗員(主にドライバー以外の助手席乗員、後部座席乗員)が、電話通話を開始するために、携帯端末1の操作検出部14の電話ボタン(ソフトウェアで表示されるボタンでもハードボタンでもよい)を押下する(ステップ700)。   Next, as an example of a predetermined interruption, a case where an interruption such as pressing of a telephone button occurs in the mobile terminal 1 will be described with reference to FIG. First, passengers (mainly passenger seat passengers other than drivers and rear seat passengers) may use telephone buttons (software-displayed buttons or hard buttons) of the operation detection unit 14 of the mobile terminal 1 to start a telephone call. ) Is pressed (step 700).

すると携帯側制御部17は、電話ボタンが押下されたことを検知し、検知したことに基づいて、図7の処理を開始する。図7の処理の内容は、既に説明した通りであるので、以下は簡略化して説明する。図7の処理において、まずステップ205で、電話通話用のアプリケーションの実行を開始する(図12のステップ703参照)。なお、この電話通話用のアプリケーションの実行開始は、ナビゲーション用のアプリケーション17aを実行したままマルチタスクで行われる。   Then, the portable control unit 17 detects that the telephone button has been pressed, and starts the process of FIG. 7 based on the detection. Since the contents of the processing in FIG. 7 have already been described, the following description will be simplified. In the process of FIG. 7, first, in step 205, execution of an application for telephone calls is started (see step 703 in FIG. 12). The execution of the telephone call application is started by multitasking while the navigation application 17a is being executed.

続いて携帯側制御部17は、ステップ210で、所定の2画面表示命令705を車載器2に送信すると共に、1画面表示モードから2画面表示モードに遷移する。車載側制御部27は、この2画面表示命令705を受信したことに基づいて、ステップ707で、1画面表示モードから2画面表示モードに遷移する。2画面表示モードにおける携帯側制御部17および車載側制御部27の作動については、既に説明した通りである。   Subsequently, in step 210, the mobile-side control unit 17 transmits a predetermined two-screen display command 705 to the vehicle-mounted device 2, and transits from the one-screen display mode to the two-screen display mode. The vehicle-mounted side control unit 27 transitions from the one-screen display mode to the two-screen display mode in step 707 based on the reception of the two-screen display command 705. The operations of the portable side control unit 17 and the in-vehicle side control unit 27 in the two-screen display mode are as already described.

車載側制御部27は、2画面表示モード時には、受信した2種類の表示用画像の両方を、図11に例示するような所定の配置で、ディスプレイ23内に同時に表示させる。本事例では、図11に示すように、ディスプレイ23の表示画面を左右に2等分した配置(所定の配置の一例に相当する)で、右側にはナビゲーション用の画像30を、右側には当該他のアプリケーション17b用の画像35(本事例では電話通話アプリケーションの実行によって作成された表示用の画像31)を表示させる。   In the two-screen display mode, the vehicle-mounted side control unit 27 displays both of the received two types of display images simultaneously in the display 23 with a predetermined arrangement as illustrated in FIG. In this example, as shown in FIG. 11, the display screen of the display 23 is divided into left and right halves (corresponding to an example of a predetermined arrangement). The image 35 for the other application 17b (in this example, the display image 31 created by executing the telephone call application) is displayed.

ここで、乗員は、携帯端末1の操作検出部14を操作して、発信先の電話番号を入力し、発信ボタンを操作したとする。すると、携帯側制御部17は、電話通話アプリケーションにおいて、この発信先に対して発信を行う(ステップ713)。これにより、電話通話が開始される(ステップ715)。なお、発信を行った後、電話通話用のアプリケーションが作成して携帯側ターミナルモード処理140に渡す画像は、図8の画像31で示したようなものとなる。   Here, it is assumed that the occupant operates the operation detection unit 14 of the mobile terminal 1 to input a destination telephone number and operate a call button. Then, the mobile-side control unit 17 makes a call to this call destination in the telephone call application (step 713). Thereby, a telephone call is started (step 715). Note that after making a call, an image created by a telephone call application and passed to the portable terminal mode processing 140 is as shown by an image 31 in FIG.

なお、図7のステップ205で実行開始された電話通話用のアプリケーションにおいては、携帯側制御部17は、電話発信後、直接通話を行うかハンズフリー通話を行うかをユーザに問い合わせるため、所定の問い合わせ画像を生成して出力する。   In the application for telephone calls started in step 205 in FIG. 7, the mobile-side control unit 17 asks the user whether to make a direct call or a hands-free call after making a call. Generate and output an inquiry image.

これにより、携帯端末1のディスプレイ13に当該問い合わせ画像が表示させると共に、上述の2画面表示モード時の作動により、車載器2のディスプレイ23の一部にも当該問い合わせ画像が表示される。この問い合わせに対する乗員の操作の方法およびその操作に対する携帯端末1の携帯側ターミナルモード処理140および当該他のアプリケーション(本事例では電話通話アプリケーション)での作動および車載器2の車載側ターミナルモード処理170での作動は、上述の電話着信時の作動と同じである。   Thereby, the inquiry image is displayed on the display 13 of the portable terminal 1 and the inquiry image is also displayed on a part of the display 23 of the vehicle-mounted device 2 by the operation in the above-described two-screen display mode. In the operation of the passenger in response to this inquiry, the portable terminal mode processing 140 of the portable terminal 1 for the operation and the operation in the other application (phone call application in this example) and the in-vehicle terminal mode processing 170 of the vehicle-mounted device 2 The operation of is the same as the operation when a telephone call is received.

したがって、制御部17は、当該他のアプリケーション(本事例では電話通話用のアプリケーション)の実行において、直接通話処理を実行するかハンズフリー通話処理を実行するかの情報を、図7の処理に渡す。この渡された情報により、図11の処理において携帯側制御部17は、ステップ215で、直接通話を行うかハンズフリー通話を行うかを判定する。   Therefore, in the execution of the other application (in this case, an application for a telephone call), the control unit 17 passes information on whether to execute a direct call process or a hands-free call process to the process of FIG. . Based on this passed information, in the process of FIG. 11, the portable control unit 17 determines whether to perform a direct call or a hands-free call in step 215.

本事例では、乗員が操作検出部14、24のいずれかを用いてハンズフリー通話を選択したとする。すると携帯側制御部17は、上述の通り開始された電話通話でハンズフリー通話処理を実行する(図10のステップ715参照)。また携帯側制御部17は、図7の処理においてステップ215でハンズフリー通話を行うと判定してステップ235に進む。そして、画面オフ要求を受信せず電話通話が続いている間、図7の処理ではステップ235、24の処理が繰り返される。この間も、したがって、ナビゲーション用の画像30と他のアプリケーション17b用の画像31が携帯端末1から車載器2に送信され、ディスプレイ23に両方の画像が同時に表示される。   In this example, it is assumed that the occupant selects a hands-free call using one of the operation detection units 14 and 24. Then, the mobile-side control unit 17 performs a hands-free call process with the telephone call started as described above (see step 715 in FIG. 10). Further, the portable control unit 17 determines that a hands-free call is to be performed in step 215 in the processing of FIG. 7, and proceeds to step 235. Then, while the telephone call is continued without receiving the screen off request, the processes of steps 235 and 24 are repeated in the process of FIG. During this time, therefore, the navigation image 30 and the image 31 for the other application 17b are transmitted from the portable terminal 1 to the vehicle-mounted device 2, and both images are simultaneously displayed on the display 23.

ここで、図7の処理において携帯側制御部17がステップ235、240の処理を繰り返しているときに、乗員が図8の画面オフボタン33を指定したとする。乗員が図8の画面オフボタン33を指定する典型的な場面としては、車内で電話通話を行う者がドライバー以外の乗員(助手席乗員、後部座席乗員等)であるため、ドライバーにとっては当該他のアプリケーション17b(本事例では電話通話アプリケーション)用の画像の表示が邪魔なので、ドライバーが当該画面オフボタン33を指定するという場面がある。   Here, it is assumed that the occupant designates the screen off button 33 in FIG. 8 when the portable control unit 17 repeats the processes in steps 235 and 240 in the process in FIG. A typical scene in which the occupant designates the screen off button 33 in FIG. 8 is that the person who makes the telephone call in the car is an occupant other than the driver (passenger seat occupant, rear seat occupant, etc.). Since the display of the image for the application 17b (phone call application in this example) is an obstacle, there is a scene where the driver designates the screen off button 33.

乗員(主にドライバー)が操作検出部24を操作してこの画面オフボタン33を指定すると、車載側制御部27は、車載側ターミナルモード処理170の処理において、画面オフボタン33が操作されたことを検知し、検知したことに基づいて、所定の画面オフ要求を作成し、作成した画面オフ要求763を携帯端末1に送信する。   When an occupant (mainly a driver) operates the operation detection unit 24 and designates this screen off button 33, the in-vehicle side control unit 27 indicates that the screen off button 33 has been operated in the in-vehicle terminal mode processing 170. And a predetermined screen-off request is created based on the detection, and the created screen-off request 763 is transmitted to the mobile terminal 1.

すると携帯端末1は、携帯側ターミナルモード処理140において、この画面オフ要求763を受信し、さらに、図7の処理に対して、この画面オフ要求のデータを渡す。すると携帯側制御部17は、図7のステップ235において、画面オフ要求を受信したと判定し、ステップ255に進む。   Then, the portable terminal 1 receives this screen-off request 763 in the portable-side terminal mode processing 140, and further passes this screen-off request data to the processing in FIG. Then, the portable control unit 17 determines that the screen off request has been received in step 235 of FIG. 7 and proceeds to step 255.

ステップ255では、ステップ250と同様、所定の1画面表示命令765を車載器2に送信すると共に、2画面表示モードから1画面表示モードに遷移する。車載器2は、この1画面表示命令を受信したことに基づいて、2画面表示モードから1画面表示モードに遷移すると共に、ナビゲーション用の画像と当該他のアプリケーション用の画像の両方を同時に表示していた状態から、ナビゲーション用の画像のみをディスプレイ23の表示画面全体に表示する状態に戻す(ステップ767)。   In step 255, as in step 250, a predetermined one-screen display command 765 is transmitted to the vehicle-mounted device 2, and a transition is made from the two-screen display mode to the one-screen display mode. The in-vehicle device 2 transitions from the two-screen display mode to the one-screen display mode based on the reception of the one-screen display command, and simultaneously displays both the navigation image and the other application image. It returns to the state which displays only the image for navigation on the whole display screen of the display 23 from the state which was (step 767).

1画面表示命令765を受信して以後は、携帯側制御部17では、ターミナルモード対応のアプリケーションとしては、ナビゲーション用のアプリケーション17aと当該他のアプリケーション17bの両方が実行され、両アプリケーション17a、17bの画像が携帯端末1から車載器2に送信されるが、車載側制御部27がディスプレイ23に表示させるのは、ナビゲーション用の画像のみである。このように、ドライバーに関係がない画面(電話用通話用アプリケーションの画像)はドライバーの操作で画面をオフすることができる。   After receiving the one-screen display command 765, the mobile-side control unit 17 executes both the navigation application 17a and the other application 17b as the terminal mode compatible applications. An image is transmitted from the portable terminal 1 to the vehicle-mounted device 2, but the vehicle-mounted control unit 27 displays only the navigation image on the display 23. In this way, the screen (image of the telephone call application) that is not related to the driver can be turned off by the operation of the driver.

携帯側制御部17は、ステップ255に続いてステップ260で、ステップ240と同様に、電話通話が終了するか否かを判定する。そして、終了しないと判定した場合は、ステップ260の処理を再度実行する。この状態で、電話通話を終了するため、乗員が携帯端末1の操作検出部14に対して電話通話終了用の操作を行ったとする。   In step 260 following step 255, the portable control unit 17 determines whether or not the telephone call is terminated, as in step 240. And when it determines with not complete | finishing, the process of step 260 is performed again. In this state, it is assumed that an occupant performs an operation for terminating the telephone call on the operation detection unit 14 of the portable terminal 1 in order to terminate the telephone call.

すると、すると携帯側制御部17は、当該他のアプリケーション17b(本事例では電話通話アプリケーション)の実行において、電話通話を終了することを示すデータを図7の処理に渡す。   Then, in the execution of the other application 17b (in this example, a telephone call application), the mobile-side control unit 17 passes data indicating that the telephone call is to be terminated to the process of FIG.

すると携帯側制御部17は、図7の処理において、ステップ260で通話を終了すると判定し、ステップ265に進み、当該他のアプリケーション17b(本事例では電話通話アプリケーション)の実行を終了させる。これにより、当該他のアプリケーション17bの実行が終了し、電話通話も終了する(ステップ769)。これにより、ターミナルモード対応のアプリケーションとしては、ナビゲーション用のアプリケーション17aのみの実行が継続された状態となる(ステップ771)。   Then, in the process of FIG. 7, the mobile-side control unit 17 determines in step 260 that the call is to be terminated, proceeds to step 265, and terminates execution of the other application 17 b (in this example, a telephone call application). As a result, the execution of the other application 17b is terminated, and the telephone call is also terminated (step 769). As a result, only the navigation application 17a is continuously executed as the terminal mode compatible application (step 771).

次の事例として、当該他のアプリケーション(本事例では電話通話用のアプリケーション)の実行開始および発信後に、乗員が操作検出部14、24のいずれかを用いて、ハンズフリー通話ではなく直接通話を選択したとする。すると携帯側制御部17は、上述の通り直接通話用の処理を実行することで、携帯端末1単独での(すなわち、車載器2を用いない)電話通話が開始する。その後の作動は、電話着信時において直接通話が選択された場合と同じである。   As the next example, after the start of the execution of the other application (in this case, the application for telephone calls) and the outgoing call, the occupant selects either direct call instead of hands-free call using one of the operation detection units 14 and 24. Suppose that Then, the mobile-side control unit 17 executes a direct call process as described above, thereby starting a telephone call using the mobile terminal 1 alone (that is, not using the vehicle-mounted device 2). The subsequent operation is the same as when direct communication is selected when a call is received.

[メディアアプリ実行時]
次に、ターミナルモード対応の他のアプリケーションとして、他の電話通話アプリケーション以外のメディアアプリケーション(例えば、Web閲覧アプリケーション、楽曲再生アプリケーション)を実行するための所定の操作(以下の例ではメディアボタンの押下)が携帯端末1の操作検出部14に対して行われた場合の事例について、図13〜図15を参照して説明する。この事例では、携帯端末1に対して当該所定の操作が行われたことが、所定の割り込みに相当する。
[When running media app]
Next, as another application corresponding to the terminal mode, a predetermined operation for executing a media application (for example, a Web browsing application or a music playback application) other than the other telephone call application (pressing a media button in the following example) Will be described with reference to FIG. 13 to FIG. 15 when the operation is performed on the operation detection unit 14 of the mobile terminal 1. In this case, the predetermined operation performed on the mobile terminal 1 corresponds to a predetermined interrupt.

まず乗員(主にドライバー以外の助手席乗員、後部座席乗員)が、メディアアプリケーションの実行を開始させるために、携帯端末1の操作検出部14のメディアボタン(ソフトウェアで表示されるボタンでもハードボタンでもよい)を押下する(図13のステップ801)。   First, the occupants (mainly passenger seat passengers other than the driver and rear seat occupants) start the execution of the media application in order to start execution of the media application. Is pressed (step 801 in FIG. 13).

すると携帯側制御部17は、メディアボタンが押下されたことを検知し、検知したことに基づいて、図14に示す処理の実行を開始する。図14の処理において、まずステップ405で、メディアアプリケーションの実行を開始する(図13のステップ803参照)。このメディアアプリケーションは、ターミナルモード対応の他のアプリケーション17bの一例である。   Then, the mobile-side control unit 17 detects that the media button has been pressed, and starts executing the process illustrated in FIG. 14 based on the detection. In the process of FIG. 14, first, in step 405, execution of the media application is started (see step 803 of FIG. 13). This media application is an example of another application 17b compatible with the terminal mode.

なお、このメディアアプリケーションの実行開始は、ナビゲーション用のアプリケーション17aを実行したまま行われる。すなわち、携帯側制御部17は、マルチタスクによってナビゲーション用のアプリケーション17aとメディアアプリケーションを同時実行する状態になる。   The start of execution of the media application is performed while the navigation application 17a is being executed. That is, the mobile-side control unit 17 enters a state in which the navigation application 17a and the media application are simultaneously executed by multitasking.

また、ナビゲーション用のアプリケーション17aとメディアアプリケーションに加え、図14の処理および上述の携帯側ターミナルモード処理140も、マルチタスクで同時に実行される状態となる。   Further, in addition to the navigation application 17a and the media application, the process of FIG. 14 and the above-described portable terminal mode process 140 are also executed simultaneously in multitasking.

続いて携帯側制御部17は、ステップ410で、外部機器通信部16を介して、所定の2画面表示命令805を車載器2に送信すると共に、1画面表示モードから2画面表示モードに遷移する。車載側制御部27は、外部機器通信部26を介してこの2画面表示命令805を受信したことに基づいて、ステップ807で、1画面表示モードから2画面表示モードに遷移する。   Subsequently, in step 410, the portable control unit 17 transmits a predetermined two-screen display command 805 to the vehicle-mounted device 2 via the external device communication unit 16 and transitions from the one-screen display mode to the two-screen display mode. . The in-vehicle-side control unit 27 transitions from the one-screen display mode to the two-screen display mode in step 807 based on the reception of the two-screen display command 805 via the external device communication unit 26.

2画面表示モードにおける携帯側制御部17および車載側制御部27の作動については、電話地着信時の事例で説明した通りである。ただし、当該他のアプリケーション17bが、本事例ではメディアアプリケーションに置き換えられる。この場合、ナビゲーション用の画像と同時にディスプレイ23に表示されるのは、メディアアプリケーションによって作成された表示用画像(例えば、再生中の楽曲の表示、取得したWebページの表示、各種操作ボタン等の画像、メディアアプリケーションを終了するための終了ボタン)である。   The operations of the portable side control unit 17 and the in-vehicle side control unit 27 in the two-screen display mode are as described in the case of the incoming call. However, the other application 17b is replaced with a media application in this example. In this case, what is displayed on the display 23 at the same time as the navigation image is a display image created by a media application (for example, display of a song being played, display of an acquired web page, images of various operation buttons, etc.) , An end button for ending the media application).

なお、本事例でも、車載側制御部27は、当該他のアプリケーション17b用の画像(メディアアプリケーション用の画像)の一部に、ユーザが指定可能な画面オフボタンを重畳表示させる。この画面オフボタンの画像データは、車載器2の記憶部25にあらかじめ記録されている所定の画像データを使用する。   Also in this example, the in-vehicle side control unit 27 displays a screen off button that can be designated by the user on a part of the image for the other application 17b (image for the media application). As the image data of the screen off button, predetermined image data recorded in advance in the storage unit 25 of the vehicle-mounted device 2 is used.

図14の処理においては、ステップ410に続き、ステップ435で、画面オフ要求を携帯端末1から受信したか否かを判定する。本事例では、画面オフ要求をまだ受信していないので、受信していないと判定してステップ440に進む。   In the process of FIG. 14, following step 410, it is determined in step 435 whether a screen-off request has been received from the mobile terminal 1. In this example, since the screen-off request has not been received yet, it is determined that it has not been received, and the process proceeds to step 440.

ステップ440では、先に開始した電話通話が終了するか否かを判定し、電話通話を終了しない場合はステップ435に戻り、終了する場合はステップ445に進む。したがって画面オフ要求を受信せず電話通話が続いている間、図7の処理ではステップ435、440の処理が繰り返される。   In step 440, it is determined whether or not the telephone call started first is terminated. If the telephone call is not terminated, the process returns to step 435, and if it is terminated, the process proceeds to step 445. Therefore, while the telephone call continues without receiving the screen-off request, the processes of steps 435 and 440 are repeated in the process of FIG.

図7の処理でステップ435、440の処理が繰り返されている間も、携帯側制御部17は携帯側ターミナルモード処理140および車載側ターミナルモード処理170を実行し続ける。したがって、ナビゲーション用の画像30と他のアプリケーション17b用の画像31が携帯端末1から車載器2に送信され、ディスプレイ23に両方の画像が同時に表示される。   While the processes of steps 435 and 440 are repeated in the process of FIG. 7, the mobile side control unit 17 continues to execute the mobile side terminal mode process 140 and the in-vehicle side terminal mode process 170. Therefore, an image 30 for navigation and an image 31 for another application 17b are transmitted from the mobile terminal 1 to the vehicle-mounted device 2, and both images are displayed on the display 23 at the same time.

ここで、図14の処理において携帯側制御部17がステップ435、440の処理を繰り返しているときに、乗員が画面オフボタンを指定したとする。乗員が画面オフボタン33を指定する典型的な場面としては、車内で電話通話を行う者がドライバー以外の乗員(助手席乗員、後部座席乗員等)であるため、ドライバーにとっては当該他のアプリケーション17b(本事例ではメディアアプリケーション)用の画像の表示が邪魔なので、ドライバーが当該画面オフボタンを指定するという場面がある。   Here, it is assumed that the occupant designates the screen off button while the portable side control unit 17 repeats the processes of steps 435 and 440 in the process of FIG. As a typical scene in which the occupant designates the screen off button 33, since the person who makes a telephone call in the car is an occupant other than the driver (passenger seat occupant, rear seat occupant, etc.), the other application 17b for the driver. Since the display of the image for (media application in this example) is in the way, there is a scene where the driver designates the screen off button.

乗員が操作検出部24を操作してこの画面オフボタンを指定すると、車載側制御部27は、車載側ターミナルモード処理170の処理において、画面オフボタンが操作されたことを検知し、検知したことに基づいて、所定の画面オフ要求を作成し、作成した画面オフ要求809を携帯端末1に送信する。   When the occupant operates the operation detection unit 24 and designates this screen off button, the in-vehicle side control unit 27 detects and detects that the screen off button is operated in the processing of the in-vehicle side terminal mode processing 170. Based on the above, a predetermined screen off request is created, and the created screen off request 809 is transmitted to the mobile terminal 1.

すると携帯端末1は、携帯側ターミナルモード処理140において、この画面オフ要求809を受信し、さらに、図14の処理に対して、この画面オフ要求のデータを渡す。すると携帯側制御部17は、図14のステップ435において、画面オフ要求を受信したと判定し、ステップ455に進む。   Then, the portable terminal 1 receives this screen-off request 809 in the portable-side terminal mode processing 140, and further passes this screen-off request data to the processing of FIG. Then, the portable control unit 17 determines that the screen off request has been received in step 435 of FIG. 14 and proceeds to step 455.

ステップ455では、ステップ450と同様、所定の1画面表示命令811を車載器2に送信すると共に、2画面表示モードから1画面表示モードに遷移する。車載器2は、この1画面表示命令811を受信したことに基づいて、2画面表示モードから1画面表示モードに遷移すると共に、ナビゲーション用の画像と当該他のアプリケーション用の画像の両方を同時に表示していた状態から、ナビゲーション用の画像のみをディスプレイ23の表示画面全体に表示する状態に戻す(図13のステップ813)。   In step 455, as in step 450, a predetermined one-screen display command 811 is transmitted to the vehicle-mounted device 2, and the transition from the two-screen display mode to the one-screen display mode is made. The in-vehicle device 2 transitions from the two-screen display mode to the one-screen display mode based on the reception of the one-screen display command 811 and simultaneously displays both the navigation image and the other application image. From this state, the state is returned to the state in which only the navigation image is displayed on the entire display screen of the display 23 (step 813 in FIG. 13).

1画面表示命令811を受信して以後は、携帯側制御部17では、ターミナルモード対応のアプリケーションとしては、ナビゲーション用のアプリケーション17aと当該他のアプリケーション17bの両方が実行され、両アプリケーション17a、17bの画像が携帯端末1から車載器2に送信されるが、車載側制御部27がディスプレイ23に表示させるのは、ナビゲーション用の画像のみである。このように、ドライバーに関係がない画面(メディアアプリケーションの画像)はドライバーの操作で画面をオフすることができる。なお、ディスプレイ23にメディアアプリケーション用の画像が表示されなくとも、携帯端末1のディスプレイ13にはメディアアプリケーション用の画像が表示されるので、携帯端末1を携帯する乗員(助手席乗員または後部座席乗員)は、引き続きメディアアプリケーションを利用することができる。   After receiving the one-screen display command 811, the mobile-side control unit 17 executes both the navigation application 17 a and the other application 17 b as terminal mode compatible applications. An image is transmitted from the portable terminal 1 to the vehicle-mounted device 2, but the vehicle-mounted control unit 27 displays only the navigation image on the display 23. In this way, a screen (media application image) that is not related to the driver can be turned off by the operation of the driver. Even if the image for the media application is not displayed on the display 23, the image for the media application is displayed on the display 13 of the mobile terminal 1, so that an occupant (passenger seat passenger or rear seat occupant carrying the mobile terminal 1). ) Can continue to use the media application.

携帯側制御部17は、ステップ455に続いてステップ460で、メディアアプリケーションを終了する否かを判定する。そして、終了しないと判定した場合は、ステップ460の処理を再度実行する。この状態で、メディアアプリケーションを終了するため、乗員が携帯端末1の操作検出部14に対してメディアアプリケーション終了用の操作を行ったとする。   In step 460 following the step 455, the portable-side control unit 17 determines whether or not to end the media application. And when it determines with not complete | finishing, the process of step 460 is performed again. In this state, it is assumed that the occupant performs an operation for ending the media application on the operation detection unit 14 of the mobile terminal 1 in order to end the media application.

すると携帯側制御部17は、当該他のアプリケーション17b(本事例では電話通話アプリケーション)の実行において、メディアアプリケーションを終了することを示すデータを図14の処理に渡す。   Then, the portable control unit 17 passes data indicating that the media application is to be terminated to the process of FIG. 14 in the execution of the other application 17b (in this example, a telephone call application).

すると携帯側制御部17は、図14の処理において、ステップ460でメディアアプリケーションを終了すると判定し、ステップ465に進み、当該他のアプリケーション17b(本事例ではメディアアプリケーション)の実行を終了させる(図13のステップ815)。これにより、ターミナルモード対応のアプリケーションとしては、ナビゲーション用のアプリケーション17aのみの実行が継続された状態となる(図13のステップ820)。   Then, in the process of FIG. 14, the mobile-side control unit 17 determines that the media application is terminated in step 460, proceeds to step 465, and terminates execution of the other application 17b (media application in this example) (FIG. 13). Step 815). As a result, only the navigation application 17a is continuously executed as the terminal mode compatible application (step 820 in FIG. 13).

次に、ステップ435、440を繰り返している状態で、メディアアプリケーションを終了するため、乗員が操作検出部24を操作して他のアプリケーション17b用の画像(メディアアプリケーション用の画像)の終了ボタンをタッチして指定した事例について説明する。   Next, in a state where steps 435 and 440 are repeated, in order to end the media application, the occupant operates the operation detection unit 24 and touches the end button of the image for other application 17b (image for media application). The case specified as above will be explained.

この場合、この操作に応じた操作データ(当該他のアプリケーションの画像がタッチされたことを示す操作対象識別データおよび終了ボタンの画像に該当する位置座標のデータ)が、車載側ターミナルモード処理170および携帯側ターミナルモード処理140を介して上述の通り当該他のアプリケーション17bに渡される。すると携帯側制御部17は、当該他のアプリケーション17b(本事例ではメディアアプリケーション)の実行において、メディアアプリケーションを終了することを示すデータを図14の処理に渡す。   In this case, operation data corresponding to this operation (operation target identification data indicating that an image of the other application has been touched and position coordinate data corresponding to the image of the end button) is included in the in-vehicle terminal mode processing 170 and As described above, it is passed to the other application 17b via the portable terminal mode processing 140. Then, in the execution of the other application 17b (in this example, a media application), the mobile-side control unit 17 passes data indicating that the media application is to be terminated to the process in FIG.

すると携帯側制御部17は、図14の処理において、ステップ440でメディアアプリケーションを終了すると判定し、ステップ445に進み、当該他のアプリケーション17b(本事例ではメディアアプリケーション)の実行を終了させる。これにより、当該他のアプリケーション17bの実行が終了する。これにより、ターミナルモード対応のアプリケーションとしては、ナビゲーション用のアプリケーション17aのみの実行が継続された状態となる。   Then, the portable control unit 17 determines in step 440 that the media application is to be terminated in the process of FIG. 14, proceeds to step 445, and terminates execution of the other application 17 b (media application in this example). Thereby, the execution of the other application 17b ends. As a result, only the navigation application 17a is continuously executed as the terminal mode compatible application.

さらにステップ450では、所定の1画面表示命令を車載器2に送信すると共に、2画面表示モードから1画面表示モードに遷移する。車載器2は、この1画面表示命令を受信したことに基づいて、2画面表示モードから1画面表示モードに遷移し、ナビゲーション用の画像と当該他のアプリケーション用の画像の両方を同時に表示していた状態から、ナビゲーション用の画像のみをディスプレイ23の表示画面全体に表示する状態に戻す。   Further, in step 450, a predetermined one-screen display command is transmitted to the vehicle-mounted device 2, and the transition is made from the two-screen display mode to the one-screen display mode. The in-vehicle device 2 transitions from the two-screen display mode to the one-screen display mode based on the reception of the one-screen display command, and simultaneously displays both the navigation image and the other application image. From this state, the state is returned to the state in which only the navigation image is displayed on the entire display screen of the display 23.

このように、携帯端末1が、車載器2にナビゲーション用の画像30を送信しているときに所定の割り込み(上記の事例では、メディアアプリケーションを実行するための操作が携帯端末1にあったという割り込み)が発生すると、他のアプリケーション用の画像を当該ナビゲーション用の画像と共に車載器2に送信すると共に、2画面表示命令を送信することで、これら2種類の画像の両方を前記車載器に表示させるので、割り込みが発生してもドライバーがナビゲーション用の画面を見続けることができる。   Thus, when the mobile terminal 1 is transmitting the navigation image 30 to the vehicle-mounted device 2, a predetermined interrupt (in the above case, the mobile terminal 1 has been operated to execute the media application). When an interrupt occurs, an image for another application is transmitted to the vehicle-mounted device 2 together with the navigation image, and a two-screen display command is transmitted to display both of these two types of images on the vehicle-mounted device. Therefore, even if an interrupt occurs, the driver can continue to look at the navigation screen.

(他の実施形態)
以上、本発明の実施形態について説明したが、本発明の範囲は、上記実施形態のみに限定されるものではなく、本発明の各発明特定事項の機能を実現し得る種々の形態を包含するものである。例えば、以下のような形態も許容される。
(Other embodiments)
As mentioned above, although embodiment of this invention was described, the scope of the present invention is not limited only to the said embodiment, The various form which can implement | achieve the function of each invention specific matter of this invention is included. It is. For example, the following forms are also acceptable.

(1)上記実施形態では、ターミナルモード対応でナビゲーション用のアプリケーション以外のアプリケーション(すなわち、他のアプリケーション)としては、電話通話用のアプリケーション、および、メディアアプリケーションのみが例示されている。しかし、他のアプリケーションとしては、これらに限らず、例えば、メール送受信用のアプリケーションであってもよい。その場合、携帯端末1におけるメールの着信が、所定の割り込みに相当し、また、携帯端末1におけるメールアプリケーションの起動のための操作も、所定の割り込みに相当する。   (1) In the above-described embodiment, only applications for telephone calls and media applications are illustrated as applications (that is, other applications) other than the navigation application corresponding to the terminal mode. However, the other application is not limited to these, and may be an application for mail transmission / reception, for example. In that case, incoming mail on the mobile terminal 1 corresponds to a predetermined interrupt, and an operation for starting the mail application on the mobile terminal 1 also corresponds to a predetermined interrupt.

(2)また、上記実施形態において、車載器2の車載側制御部27は、2画面表示モードにおいて、車両が走行していない場合は、ナビゲーション用の画像と他のアプリケーション17b用の画像を同時に表示し、車両が走行している場合は、図15に示すように、2画面表示モード用の所定の配置でナビゲーション用の画像のみ表示して、他のアプリケーション17bの画像用の箇所には、他のアプリケーション17bの画像ではなく、車載器2の記憶部25にあらかじめ記憶された規制画像(走行時には表示できないことを示す画像)40を表示させるようになっていてもよい。この場合でも、画面オフボタン33は当該画像40に重畳表示させてもよい。   (2) In the above-described embodiment, the vehicle-mounted control unit 27 of the vehicle-mounted device 2 simultaneously displays the navigation image and the image for the other application 17b when the vehicle is not traveling in the two-screen display mode. When the vehicle is running, as shown in FIG. 15, only the navigation image is displayed in the predetermined arrangement for the two-screen display mode, and the image portion of the other application 17b includes Instead of the image of the other application 17b, a regulation image (an image indicating that it cannot be displayed during traveling) 40 stored in advance in the storage unit 25 of the vehicle-mounted device 2 may be displayed. Even in this case, the screen off button 33 may be superimposed on the image 40.

(3)また、上記実施形態においては、車載器2は1個のディスプレイ23を有しているが、車載器2は複数個のディスプレイを有していてもよい。例えば、車載器2は第1のディスプレイと第2のディスプレイという2個のディスプレイを有していてもよい。この場合、車載器2の車載側制御部27は、上述の1画面表示モードにおいては、第1のディスプレイと第2のディスプレイのうち一方のみまたは両方に、携帯端末1から受信したナビゲーション用の画像を表示させる。   (3) Moreover, in the said embodiment, although the onboard equipment 2 has the one display 23, the onboard equipment 2 may have a some display. For example, the vehicle-mounted device 2 may have two displays, a first display and a second display. In this case, the vehicle-mounted control unit 27 of the vehicle-mounted device 2 receives the navigation image received from the mobile terminal 1 on only one or both of the first display and the second display in the above-described one-screen display mode. Is displayed.

そして車載側制御部27は、携帯端末1から上記のように2画面表示命令を受信したことに基づいて、1画面表示モードから2画面表示モードに遷移した場合、2画面表示モードにおいて、車載側ターミナルモード処理170において、受信した2種類の表示用画像のうち一方を第1のディスプレイに表示させ、他方を第2のディスプレイに表示させるようになっていてもよい。   When the vehicle-side control unit 27 transitions from the one-screen display mode to the two-screen display mode based on the reception of the two-screen display command from the mobile terminal 1 as described above, in the two-screen display mode, In the terminal mode processing 170, one of the two types of received display images may be displayed on the first display and the other may be displayed on the second display.

1 携帯端末
2 車載器
16 外部機器通信部(携帯側接続手段の一例)
23 ディスプレイ
26 外部機器通信部(車載側接続手段の一例)
140 携帯側ターミナルモード処理(画像送信手段の一例)
DESCRIPTION OF SYMBOLS 1 Portable terminal 2 Onboard equipment 16 External apparatus communication part (an example of a portable side connection means)
23 Display 26 External device communication unit (an example of in-vehicle side connection means)
140 Mobile terminal mode processing (an example of image transmission means)

Claims (6)

車載器(2)と接続する携帯側接続手段(16)と、
前記携帯側接続手段を介して前記車載器にナビゲーション用の画像を送信しているときに所定の割り込みが発生したことに基づいて、ナビゲーション用のアプリケーションを実行したまま、前記ナビゲーション用のアプリケーション以外の他のアプリケーションの実行を開始し、前記ナビゲーション用の画像と共に、前記他のアプリケーション用の画像を、前記携帯側接続手段を介して前記車載器に送信する画像送信手段(140)と、
所定の割り込みが発生したことに基づいて前記携帯側接続手段を介して前記車載器に複数画面表示命令を送信することで、前記車載器に前記ナビゲーション用の画像と前記他のアプリケーション用の画像とを別々の領域に同時表示させる画面制御手段(205〜265、405〜445)と、を備えた携帯端末。
Mobile-side connection means (16) for connecting to the vehicle-mounted device (2);
Based on the occurrence of a predetermined interrupt when a navigation image is being transmitted to the vehicle-mounted device via the portable side connection means, the navigation application is being executed, and other than the navigation application. Image transmission means (140) for starting execution of another application and transmitting the image for other application together with the image for navigation to the vehicle-mounted device via the portable side connection means;
By transmitting a multi-screen display command to the in-vehicle device via the portable side connection means based on the occurrence of a predetermined interrupt, the navigation image and the other application image are transmitted to the in-vehicle device. And a screen control means (205 to 265, 405 to 445) for simultaneously displaying in a separate area.
前記画面制御手段は、前記車載器から前記携帯側接続手段を介して所定の画面オフ要求を受信したことに基づいて、前記携帯側接続手段を介して前記車載器に所定の1画面表示命令を送信することで、前記車載器に前記他のアプリケーション用の画像の表示を終了させることを特徴とする請求項1に記載の携帯端末。   The screen control means sends a predetermined one-screen display command to the in-vehicle device via the portable side connection means based on receiving a predetermined screen off request from the on-vehicle device via the portable side connection means. The mobile terminal according to claim 1, wherein display of the image for the other application is terminated on the vehicle-mounted device by transmitting. 携帯端末(1)と接続する車載側接続手段(26)と、
前記車載側接続手段を介して前記携帯端末から受信した画像を表示するディスプレイ(23)と、
前記携帯端末から複数画面表示命令を受信したことに基づいて、前記携帯端末から受信した前記ナビゲーション用の画像と、前記携帯端末から受信した他のアプリケーション用の画像とを、前記ディスプレイの別々の領域に同時表示させる複数画面表示手段(607、707、807)と、を備えた車載器。
On-vehicle side connection means (26) for connecting with the portable terminal (1),
A display (23) for displaying an image received from the portable terminal via the in-vehicle side connection means;
Based on the reception of the multi-screen display command from the mobile terminal, the navigation image received from the mobile terminal and the other application image received from the mobile terminal are separated into different areas of the display. A plurality of screen display means (607, 707, 807) for simultaneous display on the vehicle-mounted device.
携帯端末(1)と接続する車載側接続手段(26)と、
前記車載側接続手段を介して前記携帯端末から受信した画像を表示する第1のディスプレイおよび第2のディスプレイと、
前記携帯端末から複数画面表示命令を受信したことに基づいて、前記携帯端末から受信した前記ナビゲーション用の画像を前記第1のディスプレイに、前記携帯端末から受信した他のアプリケーション用の画像を前記第2のディスプレイに、同時表示させる複数画面表示手段(607、707、807)と、を備えた車載器。
On-vehicle side connection means (26) for connecting with the portable terminal (1),
A first display and a second display for displaying an image received from the portable terminal via the in-vehicle side connection means;
Based on the reception of the multi-screen display command from the mobile terminal, the navigation image received from the mobile terminal is displayed on the first display, and the image for another application received from the mobile terminal is displayed on the first display. A vehicle-mounted device provided with multiple screen display means (607, 707, 807) for simultaneous display on two displays.
前記2画面表示手段は、前記携帯端末から2画面表示命令を受信したことに基づいて、前記携帯端末から受信した前記ナビゲーション用の画像と、前記携帯端末から受信した他のアプリケーション用の画像とを、同時に前記ディスプレイに表示させると共に、前記他のアプリケーション用の画像の消去を受け付けるための画面オフボタンを前記ディスプレイに表示させ、
前記車載器は、前記2画面表示手段が表示させた前記画面オフボタンを指定する操作が乗員によって行われたとき、前記車載側接続手段を介して前記車載器から所定の1画面表示命令を受信したことに基づいて、前記他のアプリケーション用の画像の表示を終了し、前記ナビゲーション用の画像の表示を続けることを特徴とする請求項3に記載の車載器。
The two-screen display means, based on receiving a two-screen display command from the portable terminal, displays the navigation image received from the portable terminal and another application image received from the portable terminal. And simultaneously displaying on the display and displaying on the display a screen off button for accepting erasure of the image for the other application,
The on-vehicle device receives a predetermined one-screen display command from the on-vehicle device via the on-vehicle side connection means when an operation for designating the screen off button displayed by the two-screen display means is performed by an occupant. 4. The vehicle-mounted device according to claim 3, wherein the display of the image for the other application is terminated and the display of the image for the navigation is continued based on the above.
車載器(2)と接続する携帯側接続手段(16)を備えた携帯端末(1)に用いるプログラムであって、
前記携帯側接続手段を介して前記車載器にナビゲーション用の画像を送信しているときに所定の割り込みが発生したことに基づいて、ナビゲーション用のアプリケーションを実行したまま、前記ナビゲーション用のアプリケーション以外の他のアプリケーションの実行を開始し、前記ナビゲーション用の画像と共に、前記他のアプリケーション用の画像を、前記携帯側接続手段を介して前記車載器に送信する画像送信手段(140)、および、
前記割り込みが発生したことに基づいて前記携帯側接続手段を介して前記車載器に2画面表示命令を送信することで、前記車載器に前記ナビゲーション用の画像と前記他のアプリケーション用の画像の両方を表示させる画面制御手段(205〜265、405〜445)として、前記携帯端末を機能させるプログラム。
A program used for a portable terminal (1) provided with a portable side connection means (16) for connecting to the vehicle-mounted device (2),
Based on the occurrence of a predetermined interrupt when a navigation image is being transmitted to the vehicle-mounted device via the portable side connection means, the navigation application is being executed, and other than the navigation application. Image transmission means (140) for starting execution of another application and transmitting the image for the other application together with the image for navigation to the vehicle-mounted device via the portable side connection means; and
By transmitting a two-screen display command to the in-vehicle device via the portable side connection means based on the occurrence of the interruption, both the navigation image and the other application image are transmitted to the on-vehicle device. A program that causes the portable terminal to function as screen control means (205-265, 405-445).
JP2012055866A 2012-03-13 2012-03-13 On-vehicle apparatus, portable terminal, and program for portable terminal Pending JP2013191979A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012055866A JP2013191979A (en) 2012-03-13 2012-03-13 On-vehicle apparatus, portable terminal, and program for portable terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012055866A JP2013191979A (en) 2012-03-13 2012-03-13 On-vehicle apparatus, portable terminal, and program for portable terminal

Publications (1)

Publication Number Publication Date
JP2013191979A true JP2013191979A (en) 2013-09-26

Family

ID=49391839

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012055866A Pending JP2013191979A (en) 2012-03-13 2012-03-13 On-vehicle apparatus, portable terminal, and program for portable terminal

Country Status (1)

Country Link
JP (1) JP2013191979A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019509646A (en) * 2016-12-06 2019-04-04 ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド System and method for supporting two terminals to establish connection between both terminals
JP2020005247A (en) * 2018-06-29 2020-01-09 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド Method and device for displaying interface
US10555354B2 (en) 2016-12-06 2020-02-04 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for assisting two terminals to establish connections therebetween
WO2022267682A1 (en) * 2021-06-23 2022-12-29 Oppo广东移动通信有限公司 Navigation switching method and apparatus, electronic device, and storage medium

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001014133A (en) * 1999-07-02 2001-01-19 Matsushita Electric Ind Co Ltd Plural screen controller
JP2007080033A (en) * 2005-09-15 2007-03-29 Navitime Japan Co Ltd Image display method for portable terminal and image display system for portable terminal
US20080114541A1 (en) * 2006-11-15 2008-05-15 Sony Corporation Method, apparatus and system for use in navigation
JP2009246939A (en) * 2008-03-10 2009-10-22 Denso Corp In-vehicle handsfree apparatus
JP2011247832A (en) * 2010-05-28 2011-12-08 Fujitsu Ten Ltd In-vehicle display device and display method
JP2011254299A (en) * 2010-06-02 2011-12-15 Alpine Electronics Inc Content display device and content display method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001014133A (en) * 1999-07-02 2001-01-19 Matsushita Electric Ind Co Ltd Plural screen controller
JP2007080033A (en) * 2005-09-15 2007-03-29 Navitime Japan Co Ltd Image display method for portable terminal and image display system for portable terminal
US20080114541A1 (en) * 2006-11-15 2008-05-15 Sony Corporation Method, apparatus and system for use in navigation
JP2009246939A (en) * 2008-03-10 2009-10-22 Denso Corp In-vehicle handsfree apparatus
JP2011247832A (en) * 2010-05-28 2011-12-08 Fujitsu Ten Ltd In-vehicle display device and display method
JP2011254299A (en) * 2010-06-02 2011-12-15 Alpine Electronics Inc Content display device and content display method

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019509646A (en) * 2016-12-06 2019-04-04 ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド System and method for supporting two terminals to establish connection between both terminals
US10555354B2 (en) 2016-12-06 2020-02-04 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for assisting two terminals to establish connections therebetween
JP2020005247A (en) * 2018-06-29 2020-01-09 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド Method and device for displaying interface
WO2022267682A1 (en) * 2021-06-23 2022-12-29 Oppo广东移动通信有限公司 Navigation switching method and apparatus, electronic device, and storage medium

Similar Documents

Publication Publication Date Title
US9055158B2 (en) Vehicular apparatus, mobile phone, and instrument coordination system
JP6501217B2 (en) Information terminal system
JP6074150B2 (en) In-vehicle information system, information terminal, application execution method, program
WO2013183765A1 (en) Display device
JP6058654B2 (en) In-vehicle information system, information terminal, application execution method
EP2530432B1 (en) In-vehicle information device
JP5413321B2 (en) Communication system, in-vehicle terminal, and portable terminal
US10180334B2 (en) Onboard information system
JP2010130223A (en) Voice activation system and voice activation method
JP7133025B2 (en) head up display system
JP6362875B2 (en) In-vehicle device, in-vehicle information system
JP2013191979A (en) On-vehicle apparatus, portable terminal, and program for portable terminal
JP2012124578A (en) On-vehicle device, on-vehicle system, and portable terminal
CN103592862B (en) The control system of mobile unit many candidates POI and method
WO2013180279A1 (en) In-vehicle information system, information terminal, application execution method, and program
JP2014123353A (en) Method for providing help, computer program and computer
JP5626794B2 (en) In-vehicle device system and in-vehicle device and portable terminal constituting the in-vehicle device system
JP2015046669A (en) Mobile terminal device
JP2013250132A (en) On-vehicle device and on-vehicle information system
US11334170B2 (en) Method and apparatus for controlling a mobile terminal
WO2006095500A1 (en) Operation system and operable terminal
JP5812322B2 (en) In-vehicle device system and in-vehicle device constituting the in-vehicle system
JP7193904B2 (en) Electronic devices and systems
JP2017041848A (en) Information processing device and system
JP6047948B2 (en) Vehicle equipment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141017

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150714

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160322

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160519

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20161108