JP2021518728A - 端末機器の制御方法 - Google Patents

Abstract

ＯＳと、第１のアプリケーションと、ＯＳに含まれる標準機能としてＯＳにインストールされた第２のアプリケーションとを有する端末機器の制御方法において、第１のインストラクションは第１のアプリケーションによって接続機器へ送信される。第１のインストラクションは、第２のアプリケーションの動作に関連する。第１のインストラクションの内容に基づいて接続機器によって送信される第２のインストラクションは、端末機器によって受信される。第２のアプリケーションは、第２のインストラクションに基づいて動作する。【選択図】図１

Description

（関連出願への相互参照）
本出願は、２０１８年３月１９日付で出願された米国仮出願第６２／６４４，９７０号に基づく優先権を主張するものであり、当該仮出願の内容が、参照により本明細書に援用される。

（技術分野）
本開示は、ユーザが端末機器に視線を集中させ続けることが困難な場合であっても、適切に端末機器を制御するための方法に関する。

ユーザが端末機器に視線を集中させ続けることが困難な場合であっても、適切に端末機器を制御するための方法として米国特許公報第２０１５／０３６２９９１号が開示されている。

米国特許公報第２０１５／０３６２９９１号

上述した先行文献によれば、特別なアプリケーションを用いて端末機器の有する機能を利用することによって、端末機器がユーザの視野外に存在する場合であっても適切に端末機器を制御することができる。

しかしながら、端末機器を制御するＯＳの種類、または利用しようとする端末機器の機能によっては、当該アプリケーションは、直接端末機器の有する機能を利用するように制限される場合がある。

このようにアプリケーションが直接端末機器の有する機能を利用するように制限される場合は、当該機能を用いるという理由で当該アプリケーションを使用することができなくなるため、端末機器がユーザの視野外に存在する場合であっても適切に端末機器を制御することができなくなる。

本開示は、上記課題を解決するために、端末機器がユーザの視野外に存在する場合であっても適切に端末機器を制御することができる端末機器の制御方法を提供する。

図１は、端末機器と接続機器が利用される状況の一例を示した図である。 図２は、端末機器と接続機器２の接続を示すブロック図である。 図３は、端末機器の概略構成を示すブロック図である。 図４は、接続機器の概略構成を示すブロック図である。 図５は、システムの動作の概要を示すチャートである。 図６は、第１のアプリケーションのＵＩの一例を示す図である。 図７は、電話発信動作の概要を示すチャートである。 図８は、第１のアプリケーションのＵＩの一例を示す図である。 図９は、音楽再生動作の概要を示すチャートである。 図１０は、音楽再生動作の概要を示すチャートである。 図１１は、メッセージ送信動作の概要を示すチャートである。 図１２は、第１のアプリケーションのＵＩの一例を示す図である。 図１３は、音声アシスタント動作の概要を示すチャートである。 図１４は、電話着信動作の概要を示すチャートである。

以下、図面を参照しながら、本開示に係る端末機器の制御方法を具体的に開示した実施形態（以下、「本実施形態」という）を詳細に説明する。但し、詳細な説明は省略する場合がある。例えば、既によく知られた事項や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。また、本明細書は米国特許公報第２０１５／０３６２９９１号の全内容を参照により、本明細書に援用する。

以下、図面を用いて本実施形態の一例を説明する。

［システムの構成］
図１から図４を用いてシステムの構成を概略的に説明する。

図１は端末機器と接続機器が利用される状況の一例を示した図である。図１は車内から見た運転席近辺の状況を表している。

本実施形態の一例として、図１に示されるような、端末機器１としてのスマートフォンが接続機器２としての車（車に実装あるいは設置された情報処理装置を含む）に接続されている。具体的には車のユーザが、端末機器１に視線を集中させ続けることが困難な場合であっても、車の運転に集中するために、適切に端末機器１を制御するための方法を説明する。

図２は端末機器と接続機器２の接続を示すブロック図である。

図２に示されるように端末機器１と接続機器２は互いに通信可能である。端末機器１と接続機器２を接続する方法は様々なものが考えられる。端末機器１と接続機器２を接続する方法の一例としては、Ｂｌｕｅｔｏｏｔｈ接続、ＵＳＢ接続、Ｗｉ−Ｆｉ接続などが挙げられるがこれらに限られない。端末機器と接続機器２を接続する方法はデバイス間を通信可能にするものならば良い。

図３は端末機器の概略構成を示すブロック図である。

ＣＰＵ１１は端末機器１の他の要素を制御する。

メモリ１２は端末機器１の制御に必要な情報を一時的あるいは恒久的に記録する。

タッチパネルディスプレイ１３は端末機器１の表面に配置され、情報を表示すると共にユーザからの操作を受け付ける。

ＳＰ／ＭＩＣ（スピーカーおよびマイクロフォン）はユーザに対して音を発し、また、ユーザの発する音を受け付ける。

通信モジュール１５はインターネットとの通信、電話回線（４Ｇ／ＬＴＥ等）との通信、接続機器２との通信等のうち少なくとも１つのために用いられるモジュールである。

図４は接続機器の概略構成を示すブロック図である。

ＣＰＵ２１は接続機器２の他の要素を制御する。

メモリ２２は接続機器２の制御に必要な情報を一時的あるいは恒久的に記録する。

入力機器２３は接続機器２のユーザの付近に配置され、ユーザからの操作を受け付ける。

ＳＰ／ＭＩＣ（スピーカーおよびマイクロフォン）２４はユーザに対して音を発し、また、ユーザの発する音を受け付ける。

通信モジュール２５はインターネットとの通信、電話回線（４Ｇ／ＬＴＥ等）との通信、端末機器１との通信等のうち少なくとも１つのために用いられるモジュールである。

なお、端末機器１と接続機器２の具体的構成は図３および図４に示した構成に限られない。本開示の目的を達する限りで一部の要素が省略されてもよいし、統合されてもよいし、変更されても良い。例えば端末機器１において、本開示の実施に必要なユーザからの入力を受けつける為に、カメラなどを用いて表情認識を行っても良い。他の例として接続機器２において、本開示の実施に必要なユーザからの入力を受けつける為に、ダッシュボード上のタッチパネルなどを用いても良い。

図１において、端末機器１上では特定のアプリケーション（第１のアプリケーション）がフォアグラウンドで動作している。第１のアプリケーションは端末機器から電話の発信を行うための操作領域をＧＵＩで表示している。具体的には操作領域をユーザがタッチすると、アプリケーションは、ジョン（Ｊｏｈｎ）という人物に電話の発信をすることができる。図１に示すように第１のアプリケーションは電話の発信を行う操作領域を端末機器１上の画面の支配的な領域に一様な色またはパターンと共に表示する。このようにすることでユーザは端末機器１が視野の外にあったとしても、適切に操作領域の場所及び機能を識別することができる。よって、ユーザは端末機器１に視線を集中させ続けることが困難な場合であっても、操作領域に対する操作を行うことができる。

ここで、図１に示すようなシステムを用いて実際に電話の発信を行うためには、端末機器１のＯＳは、標準として提供されるアプリケーション（電話機能）（第２のアプリケーション）を第１のアプリケーションの操作に連動して必ず動作させる。言い換えれば第１のアプリケーションから直接第２のアプリケーションを制御するような挙動の実現が必要である。

しかしながら、第２のアプリケーションを他のアプリケーションから制御する手段がＯＳによって、全体的にまたは部分的に、技術的に制限されているまたは実質的に不可能になっている場合がある。このような場合を「第２のアプリケーションが他のアプリケーションから直接制御されることが禁止される」と呼ぶ。

以下、図５を用いて、上述した課題を解決するためのシステムの動作の概要を説明する。

［システムの動作の概要］
図５は、システムの動作の概要を示すチャートである。

図５に示すように、システムの動作は接続機器２と端末機器１内にインストールされた第１のアプリケーションと第２のアプリケーションとが相互に情報をやりとりすることで実現される。なお、当該情報のやり取りは、接続機器２および端末機器１のＣＰＵ１１以外のハードウェア要素が作用することによって実現される。

ステップＳ５０１において、接続機器２と端末機器１は互いにペアリングを行う。ペアリングとは接続機器２と端末機器１が互いに通信可能になることをいう。本実施形態においてはペアリングの例としてＢｌｕｅｔｏｏｔｈペアリングについて説明を行う。ペアリングの具体的な方法はＢｌｕｅｔｏｏｔｈペアリングに限られない。ペアリングとしてはＵＳＢによる接続も例示できる。

ステップＳ５０２において、第１のアプリケーションは第１のアプリケーションのＵＩを端末機器１のタッチパネルディスプレイ上に表示する。ステップＳ５０２はユーザが第１のアプリケーションを起動した後、または、端末機器１の移動速度（図示しない地理情報取得センサ（ＧＰＳ等）から得られる情報、あるいは接続機器２から得られる情報によって取得され得る）が所定の速度を超えた後に実行される。

図６は第１のアプリケーションのＵＩの一例を示す図である。

図６に示すように、第１のアプリケーションのＵＩは画面の支配的領域を占めている。第１のアプリケーションのＵＩはアイコン領域とその他の領域を有する。アイコン領域をタッチするとアイコンの種類に応じて電話、音楽再生、テキスト（メッセージ）送信、ナビゲーション、音声認識、商品注文、ロードサイドサービス等の機能を動作させることができる。その他の領域をクリックすることで、あるいは、接続機器２に配置された入力機器２３（例えばリモートコントローラ、ステアリングキー）を操作することで、他の機能を動作させるアイコンを表示する画面へとＵＩが変化する。具体的には図６（Ａ）に示すように中央の人の顔をしたアイコン（電話機能を動作させるアイコン）以外の領域を下方向にクリックした場合、図６（Ｂ）に示すように音符の形をしたアイコン（音楽機能を動作させるアイコン）にＵＩが遷移する。また、その他の領域はアイコンの種類に応じて互いに異なる一様なパターン（色および／または形状）を有する。

ステップＳ５０３において、第１のアプリケーションは第２のアプリケーションの動作に関連する第１のインストラクションを生成する。第２のアプリケーションの動作に関連する第１のインストラクションとは、「第２のアプリケーションが当該インストラクションの少なくとも一部を解釈することで第２のアプリケーションの機能を発現することができるもの」および／または「第２のアプリケーションが、引数として当該インストラクションの少なくとも一部を生成する、あるいは当該インストラクションの少なくとも一部に基づいて引数を生成して、第２のアプリケーションの機能を発現することができるもの」をいう。以下に具体的に第２のアプリケーションの動作に関連する第１のインストラクションを例示する。

第２のアプリケーション 第１のインストラクション
電話アプリ 発呼要求＋電話番号
テキストアプリ メッセージ送信要求＋電話番号＋テキストの内容
音楽アプリ 楽曲情報送信要求
音楽アプリ 楽曲再生要求
音声アシスタントアプリ 音声アシスタント起動要求

ステップＳ５０４において、第１のアプリケーションは接続機器２に対して第１のインストラクションを送信する。一般的には、第１のインストラクションは第１のアプリケーションから第２のアプリケーションに送信されることが考えられる。しかしながら、上述したように、本実施形態においては第２のアプリケーションが他のアプリケーションから直接制御されることが禁止されている。そこで、本実施形態においては、接続機器２に対して第１のインストラクションを送信することで上述した課題を解決する。なお、本実施形態においては第１のインストラクションはＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）プロトコルを用いて送信される。

ステップＳ５０５において、接続機器２は、第１のインストラクションを受信する。

ステップＳ５０６において、接続機器２は、第１のインストラクションを修正する。本ステップは第１のインストラクションをそのまま第２のアプリケーションに送信できない場合に特に有効であるが、第１のインストラクションをそのまま第２のアプリケーションに送信できる場合は必須のステップではない。本実施形態においては、ＢＬＥプロトコルを用いて送信された第１のインストラクションに基づいて、当該第１のインストラクションをＢＴ（Ｂｌｕｅｔｏｏｔｈ）プロトコルを用いて送信するための修正がステップＳ５０６において行われる。なお、修正されたインストラクションを第１のインストラクションと区別するために第２のインストラクションと呼ぶが、仮にインストラクションを修正しない場合であっても（内容が同一であっても）本開示においては送信主体等を明確にするために「第〜の」という言葉を用いて互いのインストラクションを区別して表現する。つまり「第〜の」の部分が異なることは必ずしもインストラクションの内容が異なることを意味しない。なお、本実施形態において接続機器２がインストラクションを第１または第２のアプリケーションから受信し、当該受信したインストラクションを第２または第１のアプリケーションに送信する場合には、ステップＳ５０６と同様のステップが行われる場合があるが、説明の簡略化のために他の図面において当該ステップは省略される場合がある。

ステップＳ５０７において、接続機器２は第２のインストラクションを端末機器１上の第２のアプリケーションへ送信する。上述したように本実施形態においては第２のアプリケーションが他のアプリケーションから直接制御されることが禁止されている。しかしながら、そのような場合であっても他のデバイスから第２のアプリケーションを制御することは制限されていない場合がある。本実施形態ではそのような特性を利用して、接続機器２を介在させることで、第１のアプリケーションから第２のアプリケーションを制御するための挙動を実現することができる。

ステップＳ５０８において、第２のアプリケーションは第２のインストラクションを受信する。

ステップＳ５０９において、第２のアプリケーションは自身の機能を実行する。当該実行は第２のインストラクションに基づいて行われる動作である。実行される機能の内容は第１のインストラクションの内容に準ずる（詳細は後述する）。ステップＳ５０９においては、フォアグラウンドのＵＩが第２のアプリケーションに切り替わる場合もある。なお、第２のアプリケーションが自身の機能を実行する際に、音声などの出力が必要になる場合は接続機器２に備えられたスピーカーが当該出力を行う場合がある。

ステップＳ５１０において、第２のアプリケーションは、ステップＳ５０９で実行した機能の状態（第２のアプリケーションの状態）を接続機器２に送信する。当該状態はＢＴプロトコルを用いて送信される。この構成は、第２のアプリケーションの状態において、接続機器２または第１のアプリケーションの状態を容易に変化させることである。よって、ステップＳ５１０を代替する処理（例えば第２のアプリケーション終了後の表示画面をあらかじめ定めておくなど）が存在する場合は、ステップＳ５１０およびそれに関連するステップを省略することも考えられる。なお、ステップＳ５１０は第２のアプリケーションで実行しようとする機能によっては、定期的に、あるいは第２のアプリケーションの状態が変化することをトリガとして、ループして実行されることがある。例えば、第２のアプリケーションが音声認識機能である場合、ステップＳ５１０は起動時に１回実行される。また、第２のアプリケーションが電話機能である場合は、通話の状態が変化したことをトリガとしてステップＳ５１０が実行される。

ステップＳ５１１において、接続機器２は第２のアプリケーションの状態を受信する。

ステップＳ５１２において、接続機器２は第２のアプリケーションの状態を第１のアプリケーションに送信する。なお、図示しないが、ステップＳ５０６と同様に第２のアプリケーションの状態も、接続機器２によって修正されてもよい。本実施形態でもステップＳ５０６と同様に、ステップＳ５１１とＳ５１２の間において、第２のアプリケーションの状態が修正され、ＢＬＥプロトコルを用いて送信される。

ステップＳ５１３において、第１のアプリケーションは第２のアプリケーションの状態に基づいてＵＩの変更を行う。この詳細は以下に述べる個別の機能の説明において行う。

以上、図５を用いて、システムの動作の概要を説明した。

以下では、さらに具体的に、第２のアプリケーションの個別の機能（電話機能、メッセージ送受信機能、音楽再生機能、音声アシスタント機能）の動作が上述したシステム動作の概要を基礎としてどのように行われるかを説明する。なお、個別の機能の種類によってはシステム動作の概要では述べなかったステップが実行される場合もあり、この点も含めて説明を行う。

［電話発信動作］
以下、図７を用いて、電話発信動作の説明を行う。

図７は、電話発信動作の概要を示すチャートである。図７において図５で述べた各ステップと実質的に同様なものについては図５と同じ符号を付したうえで説明を省略し、電話発信動作の説明を付すのみにとどめる。

ステップＳ５０２においては、第１のアプリケーションのＵＩとして図８（Ａ）あるいは図８（Ｂ）に示すＵＩが端末機器１のフォアグラウンドに表示される。図８（Ａ）は電話機能を選択するためのＵＩである。図８（Ａ）において中央をタッチするとＵＩが図８（Ｂ）に遷移する。図８（Ｂ）はどの連絡先へ電話を発信するかを選択するためのＵＩである。

ステップＳ５０３においては、発呼要求＋電話番号が第１のインストラクションの内容として生成される。なお、ステップＳ５０３は、図８（Ｂ）において具体的な連絡先を示す中央のアイコンをタッチする時に実行される。

ステップＳ５０９においては、第２のアプリケーションとしての電話アプリによって発呼処理が行われる。その際に電話アプリのＵＩとして図８（Ｃ）が端末機器１のフォアグラウンドに表示される。それまでに表示されていた第１のアプリケーションの画面はバックグラウンドに切り替えられる。このように第１のアプリケーションのＵＩがバックグラウンドに切り替えられ、第２のアプリケーションのＵＩがフォアグラウンドに表示される動作を「第１のアプリケーションの表示画面を終了させ、第２のアプリケーションの表示画面を表示させる」と表現する。なお「第１のアプリケーションの表示画面を終了させ、第２のアプリケーションの表示画面を表示させる」という表現には第２のアプリケーションが支配的に表示されつつも、部分的に第１のアプリケーションの表示が存在する状態を含む。

ステップＳ７１０においては、第２のアプリケーションの状態として「通話中（および通話時間）、呼び出し中、相手先話し中（ＢＵＳＹ）、通話終了」などの呼状態が接続機器２へ送信される。

ステップＳ５１３においては、第１のアプリケーションは、呼状態の第１のアプリケーション内への記録、およびバックグラウンド上での第１のアプリケーションのＵＩの更新を行う。このようにＵＩの更新を行うことで、呼状態に応じて、第１のアプリケーションのＵＩを第２のアプリケーションが終了した後に表示される適切な内容で更新することができる。例えば、呼状態から取得される通話時間を通話終了後に第１のアプリケーション上に表示することが可能になる。また、ユーザが通話の終了後に再度当該通話先に電話をかけ直すことができるＵＩに、ＵＩを更新することも考えられる。

ステップＳ７１４において、第１のアプリケーションは、呼状態が相手先話し中（呼び出しを数回行っても応答がない場合）でかつ、第１のアプリケーション内の設定において自動再発呼設定がオン（ＯＮ）になっているか否かを判断する。ステップＳ７１４でＹｅｓの場合はステップＳ５０３へ処理がループする。

ステップＳ７１５において、電話発信が終了する。ステップＳ７１５は割込み処理として接続機器２が行う処理である（必ずしも接続機器２から行われるとは限られず（ステップＳ７１７参照）、破線で表している）。接続機器２における入力機器２３への入力によってステップＳ７１５が実行される。

ステップＳ７１６において、接続機器２は第２のアプリケーションに終話要求を送信する。ステップＳ７１６は接続機器２によってステップＳ７１５が実行された際に実行される。終話要求はＢＴプロトコルを用いて送信される。なお、ステップＳ７１６に関連する一連のステップは第１のアプリケーションが起点となって接続機器２経由で第２のアプリケーションに終話要求を送信する処理としてもよい（この場合は第１のアプリケーションから接続機器２への終話要求はＢＬＥプロトコルを用いて行われる）。

ステップＳ７１７において、電話発信が終了する。ステップＳ７１７は割込み処理として第２のアプリケーションが行う処理である。第２のアプリケーションにおいて図８（Ｃ）下部に示すアイコンをタッチすることによりステップＳ７１７が実行される。また、ステップＳ７１６からの遷移によってもステップＳ７１７が実行される。さらに、ステップＳ７１７が実行されるとフォアグラウンドで表示されていた第２のアプリケーションのＵＩが終了し、第１のアプリケーションのＵＩがフォアグラウンドに復帰する。

ステップＳ７１８において、ステップＳ５１０と同様に第２のアプリケーションの状態（終話状態）が接続機器２へＢＴプロトコルを用いて送信される。

ステップＳ７１９において、接続機器２は第２のアプリケーションの状態を受信する。

ステップＳ７２０において、ステップＳ５１２およびＳ５１０と同様に第２のアプリケーションの状態（終話状態）が第１のアプリケーションへＢＬＥプロトコルを用いて送信される。

ステップＳ７２１において、ステップＳ５１３と同様に、呼状態を第１のアプリケーション内に記録することおよびバックグラウンド上での第１のアプリケーションのＵＩを更新することが行われる。具体的には終話後の画面として、最終的な通話時間等が表示される。発呼直前のＵＩが表示される。ナビゲーション中であればナビゲーション画面に戻る。

［音楽再生動作］
以下、図９および図１０を用いて、音楽再生動作の説明を行う。

図９および図１０は、音楽再生動作の概要を示すチャートである（紙面の都合上２つの図面を用いて示す）。図９および図１０において、図５で述べた各ステップと実質的に同様なものについては図５と同じ符号を付したうえで説明を省略する。音楽再生動作の説明を付すのみにとどめる。

ステップＳ５０２においては、第１のアプリケーションのＵＩとして図６（Ｂ）あるいは図８（Ａ）において中央のアイコンをタッチすると表示されるＵＩが端末機器１のフォアグラウンドに表示される。図６（Ｂ）は音楽再生機能を選択するためのＵＩである。図６（Ｂ）において中央のアイコンをタッチするとＵＩが再生情報を選択する画面に遷移する。再生情報とは楽曲ソース（ラジオ、接続機器２に接続されたＣＤ等の、第２のアプリケーション（音楽アプリ）内の音楽）に加えて具体的な楽曲情報（曲名、アーティスト名等）を有する情報である。なお楽曲ソースが第２のアプリケーションである具体例としては、楽曲ソースがＢｌｕｅｔｏｏｔｈ Ａｕｄｉｏである場合が挙げられる。

ステップＳ５０３においては、再生情報を内容とする楽曲情報送信要求が第１のインストラクションの内容として生成される。なお、ステップＳ５０３は、再生情報を選択する画面において具体的な再生情報を選択する時に実行される。

ステップＳ９０５において、接続機器２は、第２のアプリケーションが楽曲ソースである第１のインストラクションの内容を有し、楽曲情報が接続機器２内に保存されているかを判断する。

ステップＳ５０６（ステップＳ９０５においてＹｅｓ）においては、楽曲情報送信要求が第２のインストラクションとしてＢＴプロトコル形式に変換される。なお第２のインストラクションを第１のインストラクションから楽曲ソースを削除したものとしてもよい。

ステップＳ５０９においては、第２のアプリケーションとしての音楽再生アプリによって楽曲情報取得処理が行われる。

ステップＳ９１０において、取得した楽曲情報が接続機器２へＢＴプロトコルを用いて送信される。

ステップＳ９１１（ステップＳ９１０からの遷移、またはステップＳ９０５においてＮｏ）において、接続機器２は楽曲情報を取得する。楽曲ソースがラジオの場合はラジオ放送の信号から楽曲情報を取得する。楽曲ソースがＣＤである場合も当該ＣＤから楽曲情報が取得可能である。

ステップＳ９１２において、ＢＬＥプロトコルを用いて楽曲情報が第２のアプリケーションへ送信される。

ステップＳ５１３においては、当該楽曲情報が、再生ボタンと共にフォアグラウンドで動作する第１のアプリケーションに表示される。

ステップＳ９１４において、ステップＳ５１３で表示された楽曲情報に対応する再生情報を内容とする楽曲再生要求がＢＬＥプロトコルを用いて接続機器２へ送信される。ステップＳ９１５はユーザが第１のアプリケーション上の再生ボタンをタッチした際に実行される。

ステップＳ９１５において、接続機器２は楽曲再生要求を受信する。

ステップＳ１０１６において、接続機器２は、楽曲再生要求の内容となっている楽曲ソース情報が、楽曲ソースとして第２のアプリケーションを有する情報であるかを判断する。

ステップＳ１０１７（ステップＳ１０１６でＹｅｓ）において、ＢＴプロトコル形式に変換された楽曲再生要求が第２のアプリケーションに送信される。

ステップＳ１０１８において、第２のアプリケーションが楽曲再生要求を受信する。

ステップＳ１０１９において、第２のアプリケーションが楽曲の再生を行う。なお、本実施形態においては、ステップＳ１０１９が実行されている場合であっても、端末機器１のフォアグラウンドには第１のアプリケーションの画面が表示されている。

ステップＳ１０２０において、第２のアプリケーションは楽曲の再生状態をＢＴプロトコル形式で接続機器２へ送信する。再生状態には、現在の曲の進行状態を示す情報が含まれる。

ステップＳ１０２１において、接続機器２は再生状態を受信する。

ステップＳ１０２２（ステップＳ１０１６でＮｏ）において、接続機器２は楽曲再生要求に従ってラジオ、またはＣＤの音楽を再生する。

ステップＳ１０２３において、接続機器２はステップＳ１０２１で受信した再生状態、またはステップＳ１０２２で再生している楽曲の再生状態をＢＬＥプロトコル形式で第１のアプリケーションに送信する。

ステップＳ１０２４において、第１のアプリケーションは受信した再生状態をＵＩに反映させる。

［メッセージ送信動作］
以下、図１１を用いて、メッセージ送信動作の説明を行う。

図１１は、メッセージ送信動作の概要を示すチャートである。図１１において図５で述べた各ステップと実質的に同様なものについては図５と同じ符号を付したうえで説明を省略する。メッセージ送信動作の説明を付すのみにとどめる。

ステップＳ５０２においては、第１のアプリケーションのＵＩとして図１２（Ａ）（ＢあるいはＣ）が示すＵＩが端末機器１のフォアグラウンドに表示される。図１２（Ａ）はメッセージ機能を選択するためのＵＩである。図１２（Ａ）において中央のアイコンをタッチするとＵＩが図１２（Ｂ）に遷移する。図１２（Ｂ）はどの連絡先へメッセージを送信するかを選択するためのＵＩである。図１２（Ｂ）において中央のアイコンをタッチするとＵＩが図１２（Ｃ）に遷移する。図１２（Ｃ）は連絡先へどのメッセージを送信するかを選択するためのＵＩである（なお図１２（Ｃ）中の「スピーチ…」を選択すると音声認識が開始し、音声認識で認識した内容がメッセージの内容となる。以降の処理は後述する［音声アシスタント起動動作］を参照。）。

ステップＳ５０３においては、メッセージ送信要求＋電話番号＋テキストの内容が第１のインストラクションの内容として生成される。なお、ステップＳ５０３は、図１２（Ｃ）において具体的なメッセージの内容を示す文章をタッチする、または音声認識を行う時に実行される。

ステップＳ５０９においては、第２のアプリケーションとしてのメッセージアプリによってメッセージ送信処理が行われる。本実施形態ではステップＳ５０９が実施される場合であっても、第１のアプリケーションのＵＩが端末機器１に表示される。

ステップＳ５１０においては、第２のアプリケーションの状態として「送信中、到達、既読」などのメッセージ状態が接続機器２へ送信される。

ステップＳ５１３においては、メッセージ状態が第１のアプリケーション内に登録され、バックグラウンド上での第１のアプリケーションのＵＩの更新が行われる。

［音声アシスタント動作］
以下、図１３を用いて、音声アシスタント動作の説明を行う。

図１３は、音声アシスタント動作の概要を示すチャートである。図１３において図５で述べた各ステップと実質的に同様なものについては図５と同じ符号を付したうえで説明を省略する。音声アシスタント動作の説明を付すのみにとどめる。

ステップＳ５０２においては、第１のアプリケーションのＵＩとして音声アシスタント起動アイコンが表示される。

ステップＳ５０３においては、音声アシスタント起動要求が第１のインストラクションの内容として生成される。なお、ステップＳ５０３は、ユーザが音声アシスタント起動アイコンを選択する時に、または接続機器２の入力機器２３に入力を行う時に実行される。

ステップＳ５０９においては、第２のアプリケーションとしての音声アプリにおける起動処理が行われる。

ステップＳ１３１０において、第２のアプリケーションが音声を受け付ける。具体的にはユーザによって行われたマイクまたは端末機器１の接続機器２に対する発声を受け付ける。

ステップＳ１３１１において、第２のアプリケーションは受け付けた音声に対する音声認識を実行する。

［電話着信動作］
以下、図１４を用いて、電話着信動作の説明を行う。

図１４は、電話着信動作の概要を示すチャートである。

ステップＳ１４０１において、ステップＳ５０１と同様にペアリングが行われる。

ステップＳ１４０２において、ステップＳ５０２と同様に第１のアプリケーションのＵＩが端末機器１に表示される。

ステップＳ１４０３において、第２のアプリケーションが外部からの着信を受け付ける。本実施形態においては、第２のアプリケーションが外部からの着信を受け付けると、端末機器１には第２のアプリケーションのＵＩが表示され、第１のアプリケーションのＵＩはバックグラウンドに移る。

ステップＳ１４０４において、第２のアプリケーションは第１のアプリケーションの動作に関連する第１のインストラクションを生成する。第１のアプリケーションの動作に関連する第１のインストラクションとは、「第１のアプリケーションが当該インストラクションの少なくとも一部を解釈することで第１のアプリケーションの機能を発現することができるもの」および／または「第１のアプリケーションが当該インストラクションの少なくとも一部で引数を生成して、あるいは少なくとも一部に基づいて引数を生成して、第１のアプリケーションの機能を発現することができるもの」をいう。電話着信動作においては、着信の状態を伝える呼状態および着信元の電話番号が第１のインストラクションの内容となる。

ステップＳ１４０５において、第２のアプリケーションは接続機器２に対してステップＳ１４０４で生成した第１のインストラクションを送信する。第１のインストラクションはＢＴプロトコルを用いて送信される。

ステップＳ１４０６において、接続機器２は、第１のインストラクションを受信する。

ステップＳ１４０７において、接続機器２は、第１のインストラクションに基づいて、第１のインストラクションを修正した第２のインストラクションおよび第１のアプリケーションを、ＢＬＥプロトコルを用いて送信する。

ステップＳ１４０８において、第１のアプリケーションは第２のインストラクションを受信する。

ステップＳ１４０９において、第１のアプリケーションは、第２のインストラクションに基づいて、呼状態の第１のアプリケーション内への記録、およびバックグラウンド上での第１のアプリケーションのＵＩの更新を行う。具体的には、このようにＵＩの更新を行うことで、呼状態に応じて、第２のアプリケーションが終了した後に表示される第１のアプリケーションのＵＩを適切な内容に更新することができる。例えば呼状態から取得される通話時間を通話終了後に第１のアプリケーション上に表示することが可能になる。

ステップＳ１４１０において、第１のアプリケーションはオプション機能が有効であるかを判断する。本実施形態においてオプション機能は着信に対して自動的に反応を行う機能であり、少なくとも、着信に対する自動応答機能、着信に対する自動拒否機能、着信に対する自動メッセージ返信機能を有する。当該オプション機能の有効化は第１のアプリケーション内で個別に設定できるほか、接続機器２内で個別に設定することもできる。なお、オプション機能が無効である場合は図７におけるステップＳ７１０に処理が合流する（ステップＳ１４１１）。

ステップＳ１４１２において（ステップＳ１４１０がＹｅｓ）、第１のアプリケーションは有効であったオプション機能の内容に応じて第３のインストラクションを生成し、ＢＬＥプロトコルを用いて接続機器２に送信する。ここでの、第３のインストラクションの意味はステップＳ５０３の説明で述べた第１のインストラクションの意味と同様である。具体的に（有効であった）オプション機能の内容に応じた第３のインストラクションの内容を挙げると以下のようになる。

オプション機能 第３のインストラクション
自動応答機能 受話要求
自動拒否機能 終話要求
自動メッセージ返信機能 終話要求
自動メッセージ返信機能 メッセージ送信要求＋電話番号＋テキストの内容

なお、自動メッセージ返信機能に第３のインストラクションが２種類存在するが、これはまず終話要求を第３のインストラクションとして送信し、第２のアプリケーションが終話処理を行い、さらにメッセージ送信要求＋電話番号＋テキストの内容が第３のインストラクションとして再び送信されることを意味する。

ステップＳ１４１３において、接続機器２は第３のインストラクションを受信する。

ステップＳ１４１４において、接続機器２は第３のインストラクションをＳ５０６と同様に（任意に）修正することで第４のインストラクションを生成し、当該第４のインストラクションを第２のアプリケーションにＢＴプロトコルを用いて送信する。

ステップＳ１４１５において、第２のアプリケーションは第４のインストラクションを受信する。

ステップＳ１４１６において、第２のアプリケーションは自身の機能を実行する。当該実行は第４のインストラクションに基づいて行われる動作である。実行される機能の内容は上述した第３のインストラクションの内容に準ずる。すなわち第３のインストラクションが受話要求ならば着信に対する応答が行われ、終話要求ならば着信に対する終話が行われ、メッセージ送信要求＋電話番号＋テキストの内容ならば当該電話番号に当該テキストの内容を含むメッセージが送信される。

ステップＳ１４１７において、ステップＳ５１０と同様に、第２のアプリケーションの状態が接続機器２へ送信される。

ステップＳ１４１８において、ステップＳ５１１と同様に、第２のアプリケーションの状態が接続機器２に受信される。

ステップＳ１４１９において、ステップＳ５１２と同様に、第２のアプリケーションの状態が第１のアプリケーションに通知される。

ステップＳ１４２０において、ステップＳ５１３と同様に、第１のアプリケーションが第２のアプリケーションの状態に基づいて呼状態の記録およびＵＩの更新を行う。なお、上述したようにオプション機能が自動メッセージ返信機能である場合、第３のインストラクションが２種類存在する。この場合は、終話要求に基づく動作（ステップＳ１４１６）の後ステップＳ１４２０の間に、ステップＳ１４１２においてメッセージ送信要求＋電話番号＋テキストの内容が第３のインストラクションとして接続機器２に対して送信される。

以上、第２のアプリケーションの個別の機能の動作ごとに端末機器１を制御するための方法を述べた。具体的には、第２のアプリケーションが他のアプリケーションから直接制御されることが禁止される場合であっても接続機器２を介在させることで第１のアプリケーションを制御することが可能であることを示した。

［その他の構成例］
以上述べたように、本開示は端末機器１に視線を集中させ続けることが困難な場合であっても、適切に端末機器１を制御するための方法に関するものであるから、本開示は当該趣旨を逸脱しない限りでさまざまな端末機器１とさまざまな接続機器２の組み合わせが可能である。

本実施形態の一例として、端末機器１がスマートフォンである例を挙げた。しかし端末機器１はスマートフォンに限られない。第２のアプリケーションが他のアプリケーションから直接制御されることが禁止される場合があれば本開示は適用可能である。例えば端末機器１はタブレット、ＰＣ、汎用端末、専用端末等であることも考えられる。

本実施形態の一例として、接続機器２が車（車に実装あるいは設置された情報処理装置を含む）である例を挙げた。しかし接続機器２は車に限られない。端末機器１と通信可能であるデバイスであれば、本開示は適用可能である。例えば接続機器２は、電気自動車、バイク、飛行機、専用端末、スマートフォン、タブレット、ＰＣ、汎用端末、専用端末等であることも考えられる。

本実施形態で挙げた第２のアプリケーションの例としては、ｉＯＳあるいはＡｎｄｒｏｉｄ ＯＳに標準として実装されているアプリケーション、または公式提供されるアプリケーション、または第三者作成のアプリケーションである場合も考えられる。

また、本実施形態では、端末機器１がスマートフォンである例を挙げたため、「ＵＩを表示」の語句は端末機器１上にほぼフルスクリーンで表示されることを想定して説明を行った。しかし、ユーザが視野外でも操作可能なほど端末機器上で支配的な領域を占めていれば「ＵＩを表示」の意義はフルスクリーンのみに限定されない。例えばタブレットの画面内において複数のウインドウが論理的に表示されている場合に一部のウインドウに第１または第２のアプリケーションの画面が表示される場合であっても「ＵＩを表示」と言い得る。

また、本実施形態では、第１のアプリケーションおよび第２のアプリケーションへの操作が端末機器１に設けられたタッチスクリーン等の入力デバイスを介して行われる例を説明した。しかし、第１のアプリケーションおよび第２のアプリケーションへの操作は、接続機器２の入力機器２３（ステアリングキーなど）から行われても良い。接続機器２の入力機器２３から第１のアプリケーションおよび第２のアプリケーションへの操作が行われる場合は、各操作に対応するコマンドがＢＬＥプロトコル、またはＢＴプロトコルを用いて送信される。

また、本実施形態では、ユーザと端末機器１との間の情報のやり取りはタッチパネル等の物理的入出力デバイスを用いる例を中心に説明を行ったが、ＳＰ／ＭＩＣを用いて情報のやり取りを行うことも本開示の範囲に含まれる。

また、本実施形態において、第１のアプリケーションは接続機器２を介して第２のアプリケーションの状態を取得したが、当該取得した状態を、あるいは取得した状態を状態遷移等にまとめたものを、外部のサーバ等へ送信してもよい。加えて当該外部のサーバが第２のアプリケーションの状態を解析し、ユーザに対して情報（一例としての、コメント情報、運転に関する情報）を送信してもよい。

［システムダイアログにおける自動応答動作］
以下、他の構成例として、システムダイアログにおける自動応答動作について説明する。

システムダイアログは、端末機器１のＯＳがユーザに提示するメッセージの一種である。システムダイアログは、ユーザに応答を要求することである。システムダイアログは、通常、メッセージやユーザの応答をボタンとして表示され、タッチパネルディスプレイ１３に表示されてユーザに提示される。システムダイアログの例としては、（１）通話操作の前にユーザに提示可能なもの（ユーザに通話を可能にさせるためのメッセージおよびボタン（例えば、「ＯＫ」ボタン））、（２）テキスト送信前にユーザに提示可能なもの（ユーザにメッセージ開始を可能にするためのメッセージおよびボタン（例えば、「送信」ボタン））がある。

システムダイアログの表示動作は、ＯＳの標準で実現してもよい。したがって、第２のアプリケーションの機能が発揮されると、タッチパネルディスプレイにシステムダイアログが強制的に表示される。

しかしながら、端末機器１が視野外に存在する場合であっても、端末機器１を適切に制御することができる。したがって、システムダイアログは、できるだけユーザの応答なしに処理されることが望ましい。

本実施形態では、第１のアプリケーションは、システムダイアログが発生したタイミングで、第２のアプリケーションにコマンド（第５のコマンド）を送信し、システムダイアログに対する応答を行う。接続機器２は第５のコマンドを受信し、第２のアプリケーションにコマンド（第６のコマンド）を送信し、システムダイアログに対する応答を行う。第６のコマンドの内容の具体例としては、システムに対する第２のアプリケーションに対して、システムダイアログを削除するためのキーコードを入力するコマンドがある。

そして、システムダイアログは、表示されてからほぼ瞬時に応答を受けて消える。したがって、ユーザにシステムダイアログの出現を意識させることなく、システムダイアログに対する応答を完了させることができる。例えば、電話をかける場合、ユーザが第１のアプリケーションに電話をかけるための入力を完了すると、その後に表示されるシステムダイアログは、ユーザの応答がなくても消える。したがって、ユーザの負担を軽減することが出来る。また、システム全体としての端末機器１の応答速度を向上させることが出来る。

ただし、システムダイアログが現れるタイミングは、提示される第２のアプリケーションの機能によって異なる。また、第１のアプリケーションがシステムダイアログの出現タイミングを、どの程度正確に認識するかも異なる。

そこで、例えば、提示される第２のアプリケーションの機能が、第１のアプリケーションのバックグラウンドへの移行を要求するもの（例えば、通話機能）である場合には、以下の処理が行われる。具体的には、第１のアプリケーションは、ユーザが第２のアプリケーションの機能の開始を第１のアプリケーションに入力すると、所定の時間間隔後に第６のコマンドが第２のアプリケーションに到達するように接続機器２を制御する。これは、第１のアプリケーションがバックグラウンドに移行した後、システムダイアログがどのタイミングで表示されるかを正確に把握することが困難だからである。また、所定時間間隔後にコマンドに到達する具体的な実装例として、第１のアプリケーションが所定時間をカウントした後に、第５のコマンドを送信する場合がある。また、第１のアプリケーションは、接続機器２のＣＰＵ２１が所定時間をカウントした後に第６のコマンドを送信するように、第５のコマンドを送信してもよい。

また、提示される第２のアプリケーションの機能が、第１のアプリケーションのバックグラウンドへの移行を要求しない機能（例えば、テスト送信機能）である場合、
第１のアプリケーションは、システムダイアログの表示を通知するイベントをＯＳから受信した後に、第５のコマンドを接続機器２に送信する。これにより、より確実にシステムダイアログを消すことが出来る。

また、上記の実装を行った場合でも、実装の具体的な設計思想や端末機器１の動作状態／仕様によっては、システムダイアログが短時間画面に表示されてもよい。

［キーコードの登録動作］
以下、他の構成例として、キーコードの登録動作について説明する。

キーコードは、端末機器１によって認識された場合に、特定のキーまたはキーシーケンスが端末機器１に入力されたことを示す情報である。

第２のアプリケーションで機能を発揮させる場合には、端末機器１に所定のキーコードが必ず入力され得る。しかし、同じ機能（例えば、音声アシスタント機能）であっても、端末機器１の種別によって、その機能を発揮するためのキーコードが異なる場合がある。端末機器１の種別は、ＯＳの種別、端末機器１の機種、ＯＳのバージョンによって定義される。

本実施形態では、第１のアプリケーションは、第１のアプリケーションがインストールされている端末機器１の種別を判定する。そして、第１のアプリケーションは、判定した種別に対応し、第２のアプリケーションの機能を発揮するための入力を示すキーコードを、通信モジュール１５を介して、接続機器２のメモリ２２に登録する。第１のアプリケーションが起動され、接続機器２に入力された第２のアプリケーションの機能が発揮されると（例えば、接続機器２が車であれば、車のハンドル付近に配置された音声アシスタント機能開始ボタンが押されると）、接続機器２は、登録されたキーコードを参照して、端末機器１にキーコードを送信することにより、第２のアプリケーションに所望の第２のアプリケーションの機能を発揮させる。

これにより、接続機器２への入力（例えば、接続機器２が車であれば、車のハンドル付近に配置された音声アシスタント機能開始ボタンが押されると）が行われた場合に、第１のアプリケーションに端末機器１の種別を問い合わせる手間を省くことが出来る。したがって、端末機器１の処理速度が向上する。

また、上記実施形態において、通信モジュールは、第２のアプリケーションにコマンドを送信する際に、登録されたキーコードを参照して、所望の第２のアプリケーションの機能を発揮させるコマンドを発行してもよい。

［まとめ］
以上に述べたように、本開示は以下のような構成を有することで端末機器１または接続機器２の機能改善を行う。

本開示の有する一構成として、
ＯＳと、第１のアプリケーションと、前記ＯＳに含まれる標準機能として前記ＯＳにインストールされた第２のアプリケーションとを備える端末機器１の制御方法であって、
第１のアプリケーションによって、接続機器２に対して第２のアプリケーションの動作に関連する第１のインストラクションを送信し、
前記端末機器１によって、前記接続機器２から前記第１のインストラクションの内容に基づいて送信された第２のインストラクションを受信し、
前記第２のアプリケーションを、前記第２のインストラクションに基づいて動作をする、
端末機器の制御方法、
が挙げられる。

このようにすることで、第２のアプリケーションが他のアプリケーションから直接制御されることが禁止される場合であっても接続機器２を介在させることで第２のアプリケーションを制御することが可能であるから、より適切に端末機器１を制御することが可能になる。

また、本開示の有する一構成として、
前記第１のインストラクション及び第２のインストラクションは互いに異なるプロトコルで送信される、
ことが挙げられる。

このようにすることで、通信プロトコルが、接続機器２の通信プロトコルと異なる場合でも、接続機器２を介在させることで第１のアプリケーションを制御することが可能であるから、より適切に端末機器１を制御することが可能になる。

また、本開示の有する一構成として、
前記第１のインストラクションは、前記第１のアプリケーションの表示画面を表示した状態で前記接続機器２に対して送信される、
ことが挙げられる。

このようにすることで、第１のアプリケーション上の操作によって、直接第２のアプリケーションの操作を行うという体験をユーザに与えることができる。

なお「前記第１のインストラクションは、前記第１のアプリケーションの表示画面を表示した状態で前記接続機器２に対して送信され、」の一例には、第１のインストラクションを生成するトリガとなる操作を行う際に第１のアプリケーションの表示画面が表示されている状態が含まれる。

また、本開示の有する一構成として、
前記第２のアプリケーションは、電話機能、メッセージ送受信機能、音楽再生機能、音声アシスタント機能のうちの１つである、
ことが挙げられる。

このようにすることでユーザが端末機器１を注視することが困難な場合に頻繁に使用され、かつ、ユーザの注視が必要なアプリケーションを、適切に操作することが可能になる。

また、本開示の有する一構成として、前記ＯＳは、前記第２のアプリケーションが前記第１のアプリケーションから直接制御されることを禁止する、
ことが挙げられる。

このようにすると、ＯＳレベルで強固に直接制御が禁止されている場合であっても、適切に端末機器１を制御することが可能になる。

また、本開示の有する一構成として、前記ＯＳは、ｉＯＳである、ことが挙げられる。

このようにすると、ＯＳレベルで強固に直接制御が禁止されている場合であっても、適切に端末機器１を制御することが可能になる。

また、本開示の有する一構成として、
前記第２のアプリケーションが前記第２のインストラクションに基づいて動作をする際に、
前記第１のアプリケーションの表示画面を終了させ、
前記第２のアプリケーションの表示画面を表示させ、
前記第２のアプリケーションが前記第２のインストラクションに基づいた動作を終了する際に、
前記第２のアプリケーションの表示画面を終了させ、
前記第１のアプリケーションの表示画面を表示させる、
ことが挙げられる。

このようにすることで、通常時は第１のアプリケーションの画面をユーザに提示しつつも、必要に応じて第２のアプリケーションの画面をユーザに提示することができるので、より適切に端末機器１を制御することが可能になる。

また、本開示の有する一構成として、
前記第２のアプリケーションが前記第２のインストラクションに基づいて動作をする際に、
前記第１のアプリケーションの表示画面が表示されたまま前記第２のアプリケーションがバックグラウンドにおいて動作をする、
ことが挙げられる。

このようにすることで、第１のアプリケーションの画面が第２のアプリケーションの画面よりもより適切な情報をユーザに提示することができる場合に、より適切に端末機器１を制御することが可能になる。

また、本開示の有する一構成として、
前記第２のアプリケーションが前記第２のインストラクションに基づいて動作をする際に、
前記第２のアプリケーションの表示画面が表示されたまま前記第１のアプリケーションがバックグラウンドにおいて動作をする、
ことが挙げられる。

このようにすることで第２のアプリケーションから第１のアプリケーションへフォアグラウンドのＵＩが遷移した場合であっても、第１のアプリケーションがバックグラウンドで動作をしているので、適切な画面を提示することができる。

また、本開示の有する一構成として、
前記第１のアプリケーションは端末機器１のフルスクリーンを占有する表示画面を有し、
前記第１のインストラクションは前記表示画面における支配的な領域をタッチ操作することで送信される、
ことが挙げられる。

このようにすることで、ユーザが端末機器１を注視することが困難な場合でも端末機器１を、適切に操作することが可能になる

また、本開示の有する一構成として、
前記接続機器２は車であり、
前記端末機器１は前記車と所定の通信プロトコルを介して接続され、
前記第２のアプリケーションが前記第２のインストラクションに基づいて動作をする際に、前記車に備えられた出力機能が前記所定の通信プロトコルを介して動作する、
ことが挙げられる。

このようにすることで、接続機器２と端末機器１を接続する仕様が定まっている場合であっても、当該仕様を活用して、適切に端末機器１を制御することが可能になる。

また、本開示の有する一構成として、
前記第２のアプリケーションは通話機能を有するアプリケーションであり、
前記端末機器１は前記第２のアプリケーションが前記第２のインストラクションに基づいて発呼動作をした後に、前記通話機能の呼状態を前記接続機器２に対して送信し、
前記端末機器１は、前記接続機器２から前記呼状態を受信し、
前記第１のアプリケーションが前記呼状態に基づいて動作をする、
ことが挙げられる。

このようにすることで、呼状態に応じて第１のアプリケーションに適切な処理を行わせることができる。

また、本開示の有する一構成として、
ＯＳと、第１のアプリケーションと、前記ＯＳに含まれる標準機能として前記ＯＳにインストールされた第２のアプリケーションとを備える端末機器の制御方法であって、
第２のアプリケーションによって、第１のアプリケーションの動作に関連する第１のインストラクションを接続機器に送信し、
前記端末機器によって、前記接続機器から前記第１のインストラクションの内容に基づいて送信された第２のインストラクションを受信し、
前記第１のアプリケーションを、前記第２のインストラクションに基づいて動作をする、
端末機器の制御方法、
が挙げられる。

このようにすることで、第２のアプリケーションがＯＳの標準機能に基づいて動作する場合であっても、第１のアプリケーションを適切に制御することが出来る。

また、本開示の有する一構成として、前記第２のアプリケーションは通話機能を有するアプリケーションであり、
前記端末機器１は前記第１のアプリケーションが前記第２のインストラクションに基づいて前記第１のアプリケーションの表示画面を変更する動作をし、さらに前記通話機能に対する入呼に対する処理を示す第３のインストラクションを前記接続機器２に対して送信し、
前記接続機器２から前記第３のインストラクションの内容に基づいて送信された第４のインストラクションを受信し、
前記第１のアプリケーションが前記第４のインストラクションに基づいて動作をする、
ことが挙げられる。

このようにすることで電話機能に対する入呼に基づいて第２のアプリケーションが動作する場合であっても、適切に第１のアプリケーションを制御することができる。

また、本開示の有する一構成として、
接続機器２と通信を行い、前記接続機器２により制御される端末機器１を制御する方法であって、
前記接続機器２は、
前記端末機器１の有する第１のアプリケーションから第１のインストラクションを受信し、
前記第１のインストラクションが少なくとも他の機器の電話番号を含む場合には、当該電話番号に対する電話発信を前記端末機器１の有する第２のアプリケーションに指示する第２のインストラクションを、前記端末機器１に向けて送信する、
ことが挙げられる。

このようにすることで、第２のアプリケーションが他のアプリケーションから直接制御されることが禁止される場合であっても接続機器２を介在させることで第１のアプリケーションを制御することが可能であるから、より適切に端末機器１を制御することが可能になる。

また、本開示の有する一構成として、
接続機器２と通信を行い、前記接続機器２によって制御される端末機器１を制御する方法であって、
前記接続機器２は、
前記端末機器１の有する第１のアプリケーションから第１のインストラクションを受信し、
前記第１のインストラクションが、前記端末機器１の有する第２のアプリケーションが再生する楽曲に関する楽曲情報を前記端末機器１へ送信するよう指示するものである場合は、前記楽曲情報を前記接続機器２に送信するよう前記第２のアプリケーションに指示する第２のインストラクションを、前記端末機器１に向けて送信する、
ことが挙げられる。

このようにすることで、楽曲情報を直接第１のアプリケーションと第２のアプリケーション間でやりとりすることが困難であっても、適切に端末機器１を制御することが可能になる。

また、本開示の有する一構成として、
前記接続機器２は、
前記第１のインストラクションが、前記楽曲情報を前記端末機器１へ送信するよう指示するものである場合でかつ、前記楽曲情報を前記接続機器２が保持していない場合に前記第２のインストラクションを、前記端末機器１に向けて送信する、
ことが挙げられる。

このようにすることで接続機器２と端末機器１との間の通信量を低減させることができる。

また、本開示の有する一構成として、
前記ＯＳは、第２のアプリケーションが前記第２のインストラクションに基づいて動作する際に、システムダイアログを表示し、
前記第１のアプリケーションは、前記第２のアプリケーションに前記システムダイアログに対する応答を行わせるために、前記接続機器へ第５のインストラクションを送信し、
前記第５のインストラクションの内容に基づいて送信された第６のインストラクションを前記接続機器から受信し、
前記第２のアプリケーションは、前記第６のインストラクションに基づいて前記システムダイアログに応答する、
ことが挙げられる。

このようにすることで、システムダイアログに対するユーザの応答の手間を軽減することができ、端末機器の操作性が向上する。

また、本開示の有する一構成として、
前記第５のインストラクションは、前記第１のアプリケーションが前記第１のインストラクションを送信するとき所定時間が計時された後に送信される、
ことが挙げられる。

このようにすることで、システムダイアログに対する応答が確実に行われ、端末機器の操作性が向上する。

また、本開示の有する一構成として、
前記第５のインストラクションは、所定時間が計時された後に前記第６のインストラクションを前記接続機器に送信する制御内容を含む、
ことが挙げられる。

このようにすることで、システムダイアログに対する応答が確実に行われ、端末機器の操作性が向上する。

また、本開示の有する一構成として、
前記第２のアプリケーションは、前記第２のアプリケーションがインストールされている前記端末機器の種別を判定し、
判定された種別に対応し、前記第２のアプリケーションの機能を発揮させるための入力を示すキーコードが前記接続機器に登録される、
ことが挙げられる。

このようにすることで、接続機器から端末機器を容易に操作することができ、端末機器の操作性が向上する。

Claims (21)

1. ＯＳと、第１のアプリケーションと、前記ＯＳに含まれる標準機能として前記ＯＳにインストールされた第２のアプリケーションとを有する端末機器の制御方法であって、
   前記第１のアプリケーションによって、前記第２のアプリケーションの動作に関する第１のインストラクションを接続機器に送信し、
   前記端末機器によって、前記接続機器から前記第１のインストラクションの内容に基づいて送信された第２のインストラクションを受信し、
   前記第２のアプリケーションを、前記第２のインストラクションに基づいて動作する、
   端末機器の制御方法。
2. 前記第１のインストラクションおよび前記第２のインストラクションは互いに異なるプロトコルで送信される、
   請求項１に記載の端末機器の制御方法。
3. 前記第１のインストラクションは、前記第１のアプリケーションの表示画面を表示した状態で前記接続機器に対して送信される、
   請求項１に記載の端末機器の制御方法。
4. 前記第２のアプリケーションは、電話機能、メッセージ送受信機能、音楽再生機能、音声アシスタント機能のうちの１つである、
   請求項１に記載の端末機器の制御方法。
5. 前記ＯＳは、前記第２のアプリケーションが前記第１のアプリケーションから直接制御されることを禁止する、
   請求項１に記載の端末機器の制御方法。
6. 前記ＯＳは、ｉＯＳである、
   請求項１に記載の端末機器の制御方法。
7. 前記第２のアプリケーションが前記第２のインストラクションに基づいて動作をする際に、
   前記第１のアプリケーションの表示画面を終了させ、
   前記第２のアプリケーションの表示画面を表示させ、
   前記第２のアプリケーションが前記第２のインストラクションに基づいた動作を終了する際に、
   前記第２のアプリケーションの表示画面を終了させ、
   前記第１のアプリケーションの表示画面を表示させる、
   請求項３に記載の端末機器の制御方法。
8. 前記第２のアプリケーションが前記第２のインストラクションに基づいて動作をする際に、
   前記第１のアプリケーションの表示画面が表示されたまま前記第２のアプリケーションがバックグラウンドにおいて動作をする、
   請求項３に記載の端末機器の制御方法。
9. 前記第２のアプリケーションが前記第２のインストラクションに基づいて動作をする際に、
   前記第２のアプリケーションの表示画面が表示されたまま前記第１のアプリケーションがバックグラウンドにおいて動作をする、
   請求項３に記載の端末機器の制御方法。
10. 前記第１のアプリケーションは前記端末機器のフルスクリーンを占有する表示画面を有し、
    前記第１のインストラクションは前記表示画面における支配的な領域をタッチ操作することで送信される、
    請求項３に記載の端末機器の制御方法。
11. 前記接続機器は車であり、
    前記端末機器は前記車と所定の通信プロトコルを介して接続され、
    前記第２のアプリケーションが前記第２のインストラクションに基づいて動作をする際に、前記車に備えられた出力機能が前記所定の通信プロトコルを介して動作する、
    請求項３に記載の端末機器の制御方法。
12. 前記第２のアプリケーションは通話機能を有するアプリケーションであり、
    前記端末機器は前記第２のアプリケーションが前記第２のインストラクションに基づいて発呼動作をした後に、前記通話機能の呼状態を前記接続機器に対して送信し、
    前記端末機器は、前記接続機器から前記呼状態を受信し、
    前記第１のアプリケーションは前記呼状態に基づいて動作をする
    請求項３に記載の端末機器の制御方法。
13. ＯＳと、第１のアプリケーションと、前記ＯＳに含まれる標準機能として前記ＯＳにインストールされた第２のアプリケーションとを有する端末機器の制御方法であって、
    前記第２のアプリケーションによって、前記第１のアプリケーションの動作に関する第１のインストラクションを接続機器に送信し、
    前記端末機器によって、前記接続機器から前記第１のインストラクションの内容に基づいて送信された第２のインストラクションを受信し、
    前記第１のアプリケーションを、前記第２のインストラクションに基づいて動作する、
    端末機器の制御方法。
14. 前記第２のアプリケーションは通話機能を有するアプリケーションであり、
    前記端末機器は、前記第１のアプリケーションが、前記第２のインストラクションに基づいて前記第１のアプリケーションの表示画面を変更する動作をし、さらに前記通話機能に対する入呼に対する処理を行うことを示す第３のインストラクションを前記接続機器に対して送信し、
    前記端末機器は、前記接続機器から前記第３のインストラクションの内容に基づいて送信された第４のインストラクションを受信し、
    前記第１のアプリケーションは前記第４のインストラクションに基づいて動作をする、
    請求項１３に記載の端末機器の制御方法。
15. 接続機器と通信を行い、前記接続機器によって制御される端末機器を制御する方法であって、
    前記接続機器は、
    前記端末機器の有する第１のアプリケーションから第１のインストラクションを受信し、
    前記第１のインストラクションが少なくとも他の機器の電話番号を含む場合には、当該電話番号に対する電話発信を前記端末機器の有する第２のアプリケーションに指示する第２のインストラクションを、前記端末機器に向けて送信する、
    端末機器の制御方法。
16. 接続機器と通信を行い、前記接続機器によって制御される端末機器を制御する方法であって、
    前記接続機器は、
    前記端末機器の有する第１のアプリケーションから第１のインストラクションを受信し、
    前記第１のインストラクションが、前記端末機器の有する第２のアプリケーションが再生する楽曲に関する情報である楽曲情報を前記端末機器へ送信するよう指示するものである場合は、前記楽曲情報を前記接続機器に送信するよう前記第２のアプリケーションに指示する第２のインストラクションを、前記端末機器に向けて送信する、
    端末機器の制御方法。
17. 前記接続機器は、
    前記第１のインストラクションが、前記楽曲情報を前記端末機器へ送信するよう指示するものである場合でかつ、前記楽曲情報を前記接続機器が保持していない場合に前記第２のインストラクションを、前記端末機器に向けて送信する、
    請求項１６に記載の端末機器の制御方法。
18. 前記ＯＳは、第２のアプリケーションが前記第２のインストラクションに基づいて動作する際に、システムダイアログを表示し、
    前記第１のアプリケーションは、前記第２のアプリケーションに前記システムダイアログに対する応答を行わせるために、前記接続機器へ第５のインストラクションを送信し、
    前記第５のインストラクションの内容に基づいて送信された第６のインストラクションを前記接続機器から受信し、
    前記第２のアプリケーションは、前記第６のインストラクションに基づいて前記システムダイアログに応答する、
    請求項１に記載の端末機器の制御方法。
19. 前記第５のインストラクションは、前記第１のアプリケーションが前記第１のインストラクションを送信するとき所定時間が計時された後に送信される、
    請求項１８に記載の端末機器の制御方法。
20. 前記第５のインストラクションは、所定時間が計時された後に前記第６のインストラクションを前記接続機器に送信する制御内容を含む、
    請求項１８に記載の端末機器の制御方法。
21. 前記第２のアプリケーションは、前記第２のアプリケーションがインストールされている前記端末機器の種別を判定し、
    判定された種別に対応し、前記第２のアプリケーションの機能を発揮させるための入力を示すキーコードが前記接続機器に登録される、
    請求項１に記載の端末機器の制御方法。

Images