JP2017151630A - 情報処理システム、および情報処理方法 - Google Patents

Abstract

【課題】操作していない機器への通知が発生した際に、操作している機器へその通知を行うことで、必要に応じた操作していない機器への操作を、操作中の機器で行うことを可能とさせるシステムを提供することである。【解決手段】本発明に係る情報処理システムは、第１の装置が、所定のアプリケーションの画面表示要求を受け付け、画面表示要求に基づいた第１の画像を表示し、表示された画像を作成するための情報を第２の装置に送信し、第２の装置が、受信した情報に基づいて、第１の装置に表示されている第１の画像を第２の表示手段に表示し、表示された第１の画像に対する入力を受け付け、入力に基づいた所定のアプリケーションの画面表示を第１の装置に要求し、第１の装置が、所定のアプリケーションの画面表示の要求を受けると、要求に基づいて、所定のアプリケーションの画面表示を実行する、ことを特徴とする。【選択図】図６

Description

本発明は、情報処理システム、および情報処理方法に関する。

近年、情報処理装置として、パーソナルコンピュータ（ＰＣ）、スマートフォン、タブレット端末などに代表される機器の普及が進んでいる。これらの機器が普及する中で使用用途も所有するユーザによって様々である。例えば、インターネットなどネットワークを介して情報を閲覧することが主な使用用途であるユーザもいれば、ミュージックプレーヤーなどの代行品として音楽鑑賞することが主な使用用途であるユーザもいて、使用用途は多岐に及んでいる。

情報処理装置の多岐の使用用途に伴い、スマートフォンとパーソナルコンピュータ（ＰＣ）や、スマートフォンとタブレット端末など、複数の機器を所有するユーザが増えてきている。複数の機器を所有する主な理由としては、例えば、スマートフォンでは電話とメールなどによる音声通話やメッセージの送受信を主に行い、タブレット端末ではインターネットによる情報閲覧を主に行うなど、機器ごとの使用用途の分散などがある。

複数の機器を備えることで、例えば、タブレット端末を用いてインターネットの情報を閲覧している際に、スマートフォンで受信したメッセージに気づかないようなことが起こりうる。つまり、一方の機器の使用に集中しているがために、もう一方の機器への関心が疎かになってしまうということである。また、スマートフォンとタブレット端末とが互いに離れた位置にある場合は、ユーザが離れた位置にある機器を取りに行かなくてはならないという手間も生じる。

ユーザからすると、一方の機器を使用している時に、もう一方の機器に常に注意を払い続けておくことは不可能である。もし、一方の機器を使用している時に、もう一方の機器に常に注意を払うことを考えると、現在使用している機器を満足に操作することができなくなり、ユーザの不快感が増してしまう状況に陥る。

そこで、現代のように複数の機器を所有するユーザが多数存在する中で、複数の機器を同時に操作できる技術の開発が課題となっている。かかる課題を解決するために非特許文献１では、パーソナルコンピュータ（ＰＣ）とスマートフォンをペアリング操作により連携し、スマートフォンへの着信をパーソナルコンピュータ（ＰＣ）に通知したり、スマートフォンの記憶媒体に記憶されている写真や動画などをパーソナルコンピュータ（ＰＣ）で閲覧できる技術が開示されている。

複数の機器をペアリング操作で連携することで、一つの機器で複数の機器の操作を可能となるが、非特許文献１では、使用できる機能が着信の通知のみによるものであったり、記憶されている写真の動画などの閲覧など限定的であり、また、ユーザの意識によってもう一方の機器の状況確認を行うため、もう一方の機器に所定のイベントが起きていない場合などに状況確認を行う手間が発生することなどが、新たな課題となっている。

株式会社sMedio、"製品・キャンペーン・イベントのお知らせ"、[online]、平成27年6月26日、[平成28年2月23日]、インターネット〈URL:http://www.smedio.co.jp/soft/blog/2015/06/26/4525/〉

つまり、ユーザが一方の機器を使用している際に、もう一方の機器へのユーザの関心は、特定のイベントが生じた時などの必要最小限に留めておくことが好ましい。そのようにしておくことでユーザが一方の機器の操作を行っている際に、不必要なもう一方の機器への確認といった操作を行う手間を無くすことが可能となる。

そこで、本発明は、上記課題に鑑みてなされたもので、その目的とするところは、
操作していない機器への通知が発生した際に、操作している機器へその通知を行うことで、必要に応じた操作していない機器への操作を、操作中の機器で行うことを可能とさせるシステムを提供することである。

本発明に係る情報処理システムは、第１の装置と第２の装置とが通信可能に接続された情報処理システムであって、第１の装置が、画像を表示する第１の表示手段と、所定のアプリケーションの画面表示要求を受け付ける表示画面受付手段と、画面表示要求に基づいた第１の画像を第１の表示手段に表示し、表示された画像を作成するための情報を第２の装置に送信する情報送信手段と、を有し、第２の装置が、画像を表示する第２の表示手段と、第１の装置から情報を受信し、受信した情報に基づいて、第１の装置に表示されている第１の画像を第２の表示手段に表示し、表示された第１の画像に対する入力を受け付ける画像入力受付手段と、表示された第１の画像に対する入力を受け付けると、入力に基づいた所定のアプリケーションの画面表示を第１の装置に要求する画像要求手段と、を有し、第１の装置が、所定のアプリケーションの画面表示の要求を受けると、要求に基づいて、所定のアプリケーションの画面表示を実行する、ことを特徴とする。

本発明によれば、操作していない機器へ通知が発生した際に、その通知を転送することで、操作していない機器への必要に応じた操作を、操作中の機器で行うことが可能となる。

本発明の実施形態にかかるメッセージ通知の概略図の１例である。 本発明の実施形態にかかるメッセージ通知からの情報送信の概略図の１例である。 本発明の実施形態にかかる音声通知の概略図の１例である。 本発明の実施形態にかかる音声通知からの情報送信の概略図の１例である。 本発明の実施形態にかかるハードウェア構成図の１例である。 本発明の実施形態にかかる機能ブロック図の１例である。 本発明の実施形態にかかる携帯端末の機能と位置情報を関連付けたテーブル情報である。 本発明の実施形態にかかる通知表示の表示例の１例である。 本発明の実施形態にかかる携帯端末から送信された情報に基づいて、携帯端末の機能と位置情報に、更に据置端末の位置情報を関連付けたテーブルである。 本発明の実施形態にかかる携帯端末、および据置端末の位置情報と機能に、操作検出判定を関連付けたテーブルである。 本発明の実施形態にかかる転送された画面に対する操作の１例である。 本発明の実施形態にかかる情報処理システムのフローチャートである。

以下、本発明の実施の形態について詳細に説明する。

本実施形態のシステム概要について図を用いて説明する。本実施形態のシステム概略の１例として、一方の装置（本実施形態では携帯端末１）が通知を受信した場合にもう一方の装置（本実施形態では据置端末２）と連動して本システムを起動させることを考えてみる。尚、ここでの携帯端末１はスマートフォンやタブレット端末などの使用者が携帯して持ち運びできるものを想定しており、据置端末２はパーソナルコンピュータ（ＰＣ）、およびタブレット端末など比較的に据え置いて操作する機会が多いものを想定しているが、例えば２つともスマートフォンやタブレット端末などの持ち運び可能な機器としてもよく、組み合わせ等に特に限定はしない。

図１は、本実施形態にかかる携帯端末１がメッセージ通知を受信する概略図である。まず、携帯端末１が外部からメッセージ通知を受信する。ここで受信するメッセージ通知は、例えばメールなどのメッセージ受信、もしくはソーシャルネットワークサービスのアプリによるメッセージ受信など多岐に渡るものを想定している。携帯端末１がメッセージ通知を受信すると、所定のプログラムに基づいて、アプリケーションの画面表示を受け付ける。ここでのアプリケーションとは、例えばメールなどであれば、所定のアイコンやポップアップによる表示、また所定の画面への切り替え要求などがある。図１ではメール受信により所定のアイコンにより、メールがきたことを通知している。

次に、図２は、携帯端末１の受信に基づいて行われる処理についての概略図である。携帯端末１でメッセージの通知を受信すると、据置端末２へ携帯端末１で表示されている画像を生成するための情報が送信される。ここでの画像を生成するための情報とは、例えば表示されているアイコンなどの位置に関する情報や、画像の色に関する情報などがある。据置端末２は、携帯端末１より受信した情報に基づいて、携帯端末１で表示されている画像を所定の位置に表示する。このように携帯端末１で表示されている画面を据置端末２で表示することで、携帯端末１で起こっているイベントを、携帯端末１が見えない状況にあっても知ることができ、またその通知に基づいた操作を行うことも可能となる。

次に図３、図４で別の通知による処理について説明する。図３は、図１の場合がメッセージ通知であったのに対し、音声、つまり着信による通知を受信する概略図である。音声通知を受信する場合においても、携帯端末１は所定のプログラムに基づいて、画面表示を受け付ける。音声通知による画面表示は、発信者の名前、および電話番号などが一般的である。つまり、携帯端末１が音声通知を受信すると、発信者、および電話番号などの情報を示す画面表示を行うことを要求し、その画面表示を行うわけである。

図４は、図２の場合と同様に携帯端末１の受信に基づいて行われる処理についての概略図である。携帯端末１が受信するものがメッセージ通知ではなく音声通知であるため、携帯端末１で受ける画面表示の内容が異なるが、画面表示の要求に基づいて画面を表示した後は同様の処理が行われる。据置端末２は、携帯端末１より受信した情報に基づいて、携帯端末１で表示されている画面を所定の位置に表示する。ここでは音声通知による発信者の名前、および電話番号の情報を表示することで、携帯端末１で着信のイベントが起きていることを、携帯端末１が見えない状況にあっても知ることができる。

尚、携帯端末１で受信する通知においては、ネットワークを介して受信するメッセージ通知や、基地局を介して受信する音声通知など、外部からの受信だけに限定はされない。例えば、携帯端末１のハードウェアなどが故障した場合、もしくはファームウェア等の更新情報など、携帯端末１の内部で起こるイベントなども通知の情報として含まれる。通知は外部、内部に区分けせずに携帯端末１が受信するイベント全てが対象となる。

以上が、本発明の情報処理システムに関してのシステム概要の説明である。処理の詳細な説明に関しては、以下で行うものとする。

本実施形態の情報処理システムのハードウェア構成について図５を用いて説明する。尚、情報処理システムの構成は、図５に示したものと必ずしも同じ構成である必要はなく、本実施形態を実現できるハードウェアを備えていればそれで十分である。

携帯端末１は、所定のプログラムを実行することにより、携帯端末１の全体の制御を実現するためのＣＰＵ１０１と、携帯端末１の電源が投入されたときにＣＰＵ１０１が読出すプログラムを記憶する読出専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ））１０２と、ＣＰＵ１０１が作業用メモリとして使用するランダム・アクセス・メモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ））１０３と、携帯端末１の電源が切断されたときに種々のデータの記録を保持することが可能なＨＤＤ１０４と、マウスや入力キーで構成される入力装置１０５と、液晶、および有機ＥＬなどのパネルを用いたディスプレイを備えた表示装置１０６と、を備えている。

また、携帯端末１は、他の専有機能として、電話機能部１０７と、通信Ｉ／Ｆ１０８と、通知管理部１０９と、画像制御部１１０と、テーブル記憶部１１１と、操作処理部１１２と、を備えている。尚、これらの専有機能はＣＰＵ１０１からの指令に基づいて連動して動作する。

携帯端末１の電話機能部１０７は、発着信処理部とスピーカを有している。発着信処理部は、アンテナ３００を介して基地局からの着信電波を受信したり、また、携帯端末１側から発信電波を基地局に送信する。また、スピーカにより入力された音声信号で、通話者との会話が可能となっている。本実施形態では、アンテナ３００を介して基地局からの着信電波を受信した受信信号が通知管理部１０９に送信される。

携帯端末１の通信Ｉ／Ｆ１０８は、携帯端末１をネットワーク４００に接続し、情報の送受信を行う。通信Ｉ／Ｆ１０８は、具体的にはＵＳＢポートやＬＡＮポート、無線ＬＡＮポート、および赤外線通信Ｉ／Ｆなどもあり、外部の機器とデータの送受信が行えればどのようなものでも構わない。本実施形態では、携帯端末１、および据置端末２を同期付けするための経由媒体でもあり、同期付けの方法としては、周知技術の範囲で可能な方法で構わない。また、携帯端末１から情報を送信したり、据置端末２からの信号を受信したりなど、ネットワークを介して通信を行う経由媒体として機能する。

携帯端末１の通知管理部１０９は、携帯端末１が受信する全ての通知情報を集約して管理を行う。通知情報としては例えば、電話機能部１０７が基地局から受信する着信電波や、通信Ｉ／Ｆ１０８を介して受信した電子メール、およびソーシャルネットワークサービスを介して受信した電子メッセージ、など携帯端末１が備える全てのアプリケーションによるサービス通知などである。また、携帯端末１で通知を受信し、その通知が集約されたことに基づいて、据置端末２へ通知を転送することや、据置端末２から携帯端末１へ送信された信号などの集約など、通知に関する制御全般を行う。

携帯端末１の画像制御部１１０は、通知管理部１０９へ、通知が集約された際に、所定のプログラムに基づいて、その通知に関連するアプリケーションの表示画面の要求を受け付け、その要求に基づいた画面表示を行う。例えば、図１の場合であればメッセージ通知の受信に伴い、メール型のアイコンを表示しており、図３の場合であれば音声通知の受信に伴い、発信者と電話番号を示す画面を表示している。通知ごとにどのような画面表示を要求するかは予めＲＯＭ１０２などで定義付けされており、その内容に基づいた画面表示を行うものとする。

また、画像制御部１１０は、表示された画面のアイコンやオブジェクトと機能と関連付けて、据置端末２へ送信するための情報を生成する。情報においては、その表示された画面の色などの情報は勿論のこと、所定のアイコンやオブジェクトの位置情報、およびそのアイコンやオブジェクトの機能の情報などがある。詳細においては以下に述べるものとするが、それらの情報を生成し、生成された情報はテーブル記憶部１１１へ送信される。

携帯端末１のテーブル記憶部１１１は、携帯端末１の画面上に表記されているアイコン、つまり押印操作が可能なオブジェクトを位置情報と紐づけて記憶する。例えば、図７にテーブル記憶部１１１で記憶するテーブルの１例について示している。携帯端末１に表示されている表示画面上には、複数のアイコンが存在することになり、それらのアイコンの位置情報を機能と関連付けて記憶させる。

例えば、位置座標（x1,y1）〜（x2,y2）であるとする。尚、（x1,y1）〜（x2,y2）の座標の定義としては、所定のアイコンを包括できる矩形領域に設定し、その矩形領域の対角線上に位置する２つの座標としたものであるが、位置座標の定義はあくまで１例に過ぎず、例えばアイコンの中心点を示す１座標として定義しても構わない。また、（x1,y1）〜（x2,y2）で定義される位置座標に該当する機能は「メール機能」である。つまり、位置座標（x1,y1）〜（x2,y2）の範囲内を操作することで「メール機能」を起動させることができるわけである。

尚、図７のテーブル情報は、最新の画面に対応させて更新させておくことが好ましい。本発明では、図７のテーブル情報は、画像制御部１１０で生成された情報と関連付けて記憶されることになる。画像制御部１１０で、据置端末２で表示させる画像の情報を生成するプログラムが実行された際に、テーブル記憶部１１１を参照して、最新の画面に対応されたテーブル情報であれば、生成される画像に対応するテーブル情報であるからである。

次に、据置端末２のハードウェア構成について説明する。据置端末２は、所定のプログラムを実行することにより、据置端末２の全体の制御を実現するためのＣＰＵ２０１と、据置端末２の電源が投入されたときにＣＰＵ２０１が読出すプログラムを記憶する読出専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ））２０２と、ＣＰＵ２０１が作業用メモリとして使用するランダム・アクセス・メモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ））２０３と、据置端末２の電源が切断されたときに種々のデータの記録を保持することが可能なＨＤＤ２０４と、マウスや入力キーで構成される入力装置２０５と、液晶、および有機ＥＬなどのパネルを用いたディスプレイを備えた表示装置２０６と、を備えている。

また、据置端末２は、他の専有機能として、操作検出部２０７と、通信Ｉ／Ｆ２０８と、音声処理部２０９と、テーブル記憶部２１０と、画像生成部２１１と、操作データ生成部２１２と、を備えている。尚、これらの専有機能はＣＰＵ２０１からの指令に基づいて連動して動作する。

据置端末２の表示装置２０６は、タッチセンサとディスプレイにより構成されている。本実施形態では据置端末２は、入力デバイスとしての機能も備えているタッチ操作型のディスプレイを想定しており、表示装置２０６のディスプレイへのタッチ操作が可能なものを想定している。タッチ操作されたディスプレイの位置を検出し、タッチされた位置情報を操作検出部２０７で集約する。

表示装置２０６の画面制御部は、表示装置２０６で表示する画面に関する制御を行っている。例えば、通信Ｉ／Ｆ２０８を介して、携帯端末１で表示されている画像を生成するための情報を受信したとすると、所定の処理が行われ、携帯端末１で表示されている画像を表示装置２０６で表示する制御を行う。画像を表示する制御に関しては、画像を表示する位置や大きさなどがあるが、据置端末２の使用状況によって様々な対応が取られるように予め設定されている。

据置端末２が例えば、全体画面を使用して操作が行われている場合には、受信した情報に基づいて生成された画像をすぐに表示するのではなく、全体画面を使用する操作の完了に基づいて画像を表示するようにコントロールすることが好ましい。このような場合に画像をすぐに表示してしまうとユーザの操作を妨げてしまうことになるからである。

また、画像をすぐに表示できないと判断できる場合には、半透明テロップや、ポップアップやアイコン表示を、ユーザの操作の妨げにならない範囲に表示しておくことも可能である。例えば、図８のように、携帯端末１で受信した通知の種類によって、表示する内容を変更させることも可能である。表示時間においても最初の数秒間のみの表示に留めておき、所定の時間が経過したら消えるように設定することも可能である。

据置端末２の操作検出部２０７は、据置端末２の表示画面に対して操作されて検出された情報を集約する。操作としては、例えば、タッチセンサと一体となった表示装置２０６のディスプレイへのタッチ操作、および入力装置２０５による文字入力操作、および音声処理部２０９のスピーカを介した音声入力操作などがある。尚、検出される操作情報はこれらに限定されず、据置装置２の表示画面上で操作された全ての操作に基づく操作情報が対象である。

据置端末２の通信Ｉ／Ｆ２０８は、据置端末２をネットワーク４００に接続し、情報の送受信を行う。通信Ｉ／Ｆ２０８は、具体的にはＵＳＢポートやＬＡＮポート、無線ＬＡＮポート、および赤外線通信Ｉ／Ｆなどもあり、外部の機器とデータの送受信が行えればどのようなものでも構わない。本発明では、携帯端末１、および据置端末２を同期付けするための経由媒体である。

据置端末２の音声処理部２０９は、スピーカと音声入出力Ｉ／Ｆを備えている。スピーカを介して入力された音声が、音声入出力Ｉ／Ｆを介して音声信号として入力される。また、音声信号が音声入出力Ｉ／Ｆを介して外部に出力される。本実施形態では入力された音声信号は操作検出部２０７に集約される。

据置端末２のテーブル記憶部２１０は、携帯端末１で生成された情報に据置端末２の画面上の位置情報を関連付けて記憶する。携帯端末１で生成された画面における情報を、図７に示したものであるとする。携帯端末１で生成された画面を据置端末２で表示される位置においては予め表示装置２０６の画面制御部などで定義されているものとする。

携帯端末１で表示された画面上のアイコンなどは、据置端末２で表示される画面上で位置関係が異なる。図７に示された情報が、画像制御部１１０で生成された画面のアイコンと位置情報を関連付けたものであるとするならば、図９のように、このテーブル情報に更に据置端末２の画面上の位置情報を関連付ける。例えば、「メールソフト」を備えているアイコンの位置情報が、携帯端末１では、（x1,y1）〜（x2,y2）の矩形領域の範囲内であるならば、据置端末２の画面上では、（s1,t1）〜（s2,t2）の矩形領域の範囲内として関連付けるものとする。

このように関連付けることで、携帯端末１で表示されている画像を据置端末２の画面上に表示する際には、「メールソフト」を備えるアイコンが位置（s1,t1）〜（s2,t2）の範囲内で表示されるようになる。尚、「メールソフト」以外で、アプリケーションを備えるアイコンが表示される位置情報も同様に関連付ける。

据置端末２の画像生成部２１１は、画像制御部１１０で生成された携帯端末１で表示されている画像の情報と、その情報に対して、据置端末の画面上の位置情報と、を関連付けた情報と、に基づいて携帯端末１で表示されている画像を生成する。

ここで生成される画像に関しては、例えば、一般的な画面転送型のシンクライアントシステムに見られる画像を想定している。シンクライアントシステムで転送された画像に対して、例えば文字入力操作や、タッチ操作を行うと、生成した画像を表示している機器（ここでは据置端末２）では、操作を検出し、操作に対する操作データを生成し、この操作データを画像情報の送信元の機器（ここでは携帯端末１）に送信し、携帯端末１でこの操作データに基づいて処理を行うというものである。

このような構成により、あたかも据置端末２を用いて携帯端末１の操作を行っているような１種の遠隔操作を実現することができる。尚、画面に対する操作検出は、据置端末２での所定の操作ごとに行われ、その都度、携帯端末１へ操作データが送信される。

据置端末２の操作データ生成部２１２は、据置端末で表示されている画像に対する操作の操作データを生成する。ここでの操作とは、入力装置２０５、および表示装置２０６に備えられているタッチセンサによる文字などの入力操作、および音声処理部２０９に備えられているスピーカによる音声入力操作などがある。

これらの入力操作が操作検出部２０７により集約され、それらの入力操作が一度データとして記憶される。データの記憶手段としては、例えば図１０に示したようなテーブル情報とする手段がある。つまり、テーブル記憶部２１０に記憶されている図９のテーブル情報に対して、それぞれのアプリケーションのアイコンなどに対する検出判定情報、および検出内容の情報を関連付ける。

例えば、据置端末２の位置（s1,t1）〜（s2,t2）の矩形領域の範囲にあるアイコンに対して、マウス・カーソルによるクリック操作が行われたことを想定する。クリック操作は１回のワンクリックでも、２回のクリックアンドクリックでも回数は問わない。クリック操作に基づいて、所定のアイコンに対する操作の判定が行われ、操作検出結果は「○」、そして操作の内容がクリック操作であるため、検出内容に「クリック操作検出」と判定がなされる。

操作の内容は、音声入力操作やタッチ操作、文字入力操作など、予め判定基準とする操作内容をＲＯＭ２０２で定義させることが可能である。このように種々の操作内容を検出し、据置端末２の画面上でどの位置に対してどのような操作が行われたかを操作データとして生成することができる。生成された操作データは通信Ｉ／Ｆ２０８により、ネットワーク４００を介して携帯端末１に送信される。

携帯端末１の操作処理部１１２は、据置端末２の操作データ生成部２１２で生成された操作データに基づいて、所定の処理を行う。据置端末２で生成された操作データは、図１０のようなテーブル情報であるものとする。携帯端末１の画像制御部１１０で生成されたアイコンの位置情報が、据置端末２の画面上の位置関係と関連付けられているため、テーブル情報に基づいて所定の処理を行うことが可能となる。

例えば、据置端末２の画面上の位置（s1,t5）〜（s2,t6）の矩形領域に該当するアイコンに備える「アプリ２」にタッチ操作が検出された判定されると、据置端末２の画面上の位置（s1,t5）〜（s2,t6）に対応する携帯端末１の位置は、（x1,y5）〜（x2,y6）であるため、タッチ操作の検出判定に基づいて、携帯端末１の画面上の位置（x1,y5）〜（x2,y6）に対してタッチ操作を行うよう処理させることができる。

このような構成で、携帯端末１が外部から通知を受信した際に、その通知を据置端末２へ転送することで、据置端末２より携帯端末１への操作を実現することが可能となる。具体的な操作例としては、図１１のようなケースである。

図１１は、図１の携帯端末１でのメッセージ受信に伴い、所定のアプリケーションの画面要求により表示された画像の情報を据置端末２へ送信し、据置端末２が受信した情報に基づいて生成した画像を操作している１例である。本実施形態により、メッセージ受信に対する文字入力操作、もしくは着信に対する音声応答などが携帯端末１で行うときと同様に行うことが可能となる。

図６は、本発明の実施形態にかかる情報処理システムの機能ブロック図である。図６に示すように、本発明にかかる情報処理システムは、携帯端末１が、表示画面受付手段１１と、情報送信手段１２と、を備えており、据置端末２が、画像入力受付手段２１と、画像要求手段２２と、を備えている。尚、本実施形態では携帯端末１と据置端末２とは予め、１対１の無線通信伝送によるペアリングがなされているものとする。

携帯端末１の表示画面受付手段１１は、所定のアプリケーションの画面表示要求を受け付ける。画面表示要求は携帯端末１に対する通知を受信した際に、画面表示要求が行われる。通知においては、外部、内部問わず、携帯端末１に対する通知全般が対象となる。

携帯端末１の表示画面受付手段１１は、ＣＰＵ１０１が、所定のプログラムに基づいて、アンテナ３００を介して基地局からの電話着信通知、および通信Ｉ／Ｆ１０８を介してネットワーク４００からのメッセージ通知などを受信し、通知管理部１０９に集約されて通知内容に基づいて表示装置１０６に所定のアプリケーションの画面表示を要求することで実現が可能である。

携帯端末１の情報送信手段１２は、画面表示要求に基づいて表示された画像を作成するための情報を第２の装置に送信する。ここでの画像を作成するための情報は、画像制御部１１０で作成された、画面上のアイコンやオブジェクトの位置情報を含めた情報である。

携帯端末１の情報送信手段１２は、ＣＰＵ１０１が、所定のプログラムに基づいて
表示装置１０６に表示された画像を、画像制御部１１０で、据置端末２で表示させるための情報を生成し、その生成した情報をテーブル記憶部１１１より読み出し、通信Ｉ／Ｆ１０８を介して据置端末２へ送信させることで実現が可能である。

据置端末２の画像入力受付手段２１は、携帯端末１より受信した情報に基づいて、携帯端末１に表示されている画像を据置端末２で表示し、表示された画像に対する入力を受け付ける。

据置端末２の画像入力受付手段２１は、ＣＰＵ２０１が、所定のプログラムに基づいて、画像生成部２１１で生成した画像に対する入力を操作検出２０７で検出させることで実現が可能である。

据置端末２の画像要求手段２２は、表示された画像に対する入力を受け付けると、入力に基づいた所定のアプリケーションの画面表示を携帯端末１に要求する。ここでの入力とは、入力装置２０５による文字入力、および表示装置２０６のタッチセンサによるタッチ入力、および音声処理部２０９による音声入力などがある。

据置端末２の画像要求手段２２は、ＣＰＵ２０１が、所定のプログラムに基づいて、操作データ生成部２１２により生成された操作データに基づいて、携帯端末１に所定の処理を行わせることで実現が可能である。

次に、図１２を参照して本実施形態の情報処理システムを実行する処理の流れを説明する。図１２は、本発明の実施形態にかかる情報処理システムの処理の一例に関するフローチャートである。

まず、携帯端末１側の処理として、通知を受信する（ステップ１）。ここでの通知はアンテナ３００を介して受信する電話機能通知、およびネットワーク４００を介して受信する通知など、もしくは携帯端末１の内部で発生したイベントの通知など携帯端末１が受ける通知全般を指すものとする。通知を受信すると、所定のプログラムに基づいて、受信した通知に対応するアプリケーションの画面表示要求を受け付ける（ステップ２）。

据置端末１は、画面表示要求に基づいた画像の表示を行う(ステップ３)。ここでの画像は例えば、メッセージ受信であればアイコンなどが表示された画像であり、音声着信であれば発信者に関する情報が示された画像である。表示されている画像を生成するための情報を据置端末２へ送信する（ステップ４）。

受信した情報に基づいて、携帯端末１で表示されている画像を生成し、据置端末２で生成された画像を表示する（ステップ５）。次に、表示された画像に対する入力を検出する（ステップ６）。ここでの入力は文字入力、タッチ操作、および音声入力などがある。

次に、入力に基づく所定のアプリケーションの画面表示を携帯端末１へ要求する（ステップ７）。ここでは据置端末２で検出された入力操作に基づいて生成された操作データを携帯端末１へ送信し、携帯端末１はその操作に基づいて処理されることが要求される。

次に、携帯端末１では、その画面表示の要求に基づいて所定のアプリケーションの画面表示を実行する（ステップ８）。つまり、携帯端末１では受信した操作データに基づいて処理が実行され、あたかも据置端末２で行われた入力操作が携帯端末１で入力操作されたものと同様に処理を実行することが可能となる。

次に、携帯端末１では、据置端末２で追加の操作があったかを確認する（ステップ９）。追加の操作があった際には、再度、ステップ８での要求に基づいた画面表示を実行する。追加の操作が無い場合は、携帯端末１で別の通知を受信したかを確認する（ステップ１０）。別の通知を受信した際には、ステップ２より処理が繰り返される。

以上、本実施を好適な形態で行う実施例を説明した。ここでは特定の具体例を示して説明を行ったが、特許請求の範囲の趣旨及び範囲から逸脱しない範囲で、本具体例の様々な修正、および形態変更などが可能である。

本発明により、ユーザが操作していない機器へ通知が発生した際に、その通知に対する操作を離れた位置にある機器からでも行うことが可能となる。

本願発明を実現できるような構成であれば、用いる装置の具備する内容、および装置の数量などは本実施例に限定されない。

１０ 第１の表示手段
１１ 表示画面受付手段
１２ 情報送信手段
２０ 第２の表示手段
２１ 画像入力受付手段
２２ 画像要求手段

Claims (7)

1. 第１の装置と第２の装置とが通信可能に接続された情報処理システムであって、
   第１の装置が、
   画像を表示する第１の表示手段と、
   所定のアプリケーションの画面表示要求を受け付ける表示画面受付手段と、
   前記画面表示要求に基づいた第１の画像を前記第１の表示手段に表示し、前記表示された画像を作成するための情報を第２の装置に送信する情報送信手段と、
   を有し、
   第２の装置が、
   画像を表示する第２の表示手段と、
   前記第１の装置から前記情報を受信し、受信した情報に基づいて、前記第１の装置に表示されている第１の画像を前記第２の表示手段に表示し、前記表示された第１の画像に対する入力を受け付ける画像入力受付手段と、
   前記表示された第１の画像に対する入力を受け付けると、前記入力に基づいた所定のアプリケーションの画面表示を前記第１の装置に要求する画像要求手段と、
   を有し、
   第１の装置が、
   所定のアプリケーションの画面表示の要求を受けると、前記要求に基づいて、所定のアプリケーションの画面表示を実行する、
   ことを特徴とする情報処理システム。
2. 前記表示画面受付手段は、メール、およびソーシャルネットワークサービスによるメッセージ、または音声着信などの外部通知の受信に基づいて、所定のアプリケーションの画面表示要求を受け付ける、
   ことを特徴とする請求項１に記載の情報処理システム。
3. 前記表示画面受付手段は、該第１の装置内の備えられているソフトウェア、およびハードウェアを含むファームウェアのトラブル、および情報更新などの内部通知の受信に基づいて、所定のアプリケーションの画面表示要求を受け付ける、
   ことを特徴とする請求項１、及び２に記載の情報処理システム。
4. 前記画像入力受付手段は、前記第２の装置において、全画面を使用するコンテンツを実行中であるときは、前記受信した情報に基づいて、半透明テロップ、及びアイコンを一時的に前記第２の表示手段に表示し、前記コンテンツの終了に基づいて、前記第１の装置に表示されている第１の画像を前記第２の表示手段に表示し、前記表示された画像に対する入力を受け付ける、
   ことを特徴とする請求項１から３のいずれか１項に記載の情報処理システム。
5. 前記情報送信手段は、前記画面表示要求に基づいて前記第１の表示手段に表示された第１の画像において、画像内のアイコン、及びオブジェクトの位置情報を第２の装置に送信する、
   ことを特徴とする請求項１から４のいずれか１項に記載の情報処理システム。
6. 前記画像入力受付手段は、前記受信した位置情報と、前記第２の表示手段に表示する前記アイコン、及びオブジェクトの位置情報と、を関連付けて前記第１の画像を前記第２の表示手段に表示し、前記表示された第１の画像に対する入力受け付ける、
   ことを特徴とする請求項５に記載の情報処理システム。
7. 第１の装置と第２の装置とが通信可能に接続された情報処理システムを実現するための情報処理方法であって、
   第１の装置が、
   画像を表示するステップと、
   所定のアプリケーションの画面表示要求を受け付けるステップと、
   前記画面表示要求に基づいた第１の画像を表示し、前記表示された画像を作成するための情報を第２の装置に送信するステップと、
   を有し、
   第２の装置が、
   画像を表示するステップと、
   前記第１の装置から前記情報を受信し、受信した情報に基づいて、前記第１の装置に表示されている第１の画像を表示し、前記表示された第１の画像に対する入力を受け付けるステップと、
   前記表示された第１の画像に対する入力を受け付けると、前記入力に基づいた所定のアプリケーションの画面表示を前記第１の装置に要求するステップと、
   を有し、
   第１の装置が、
   所定のアプリケーションの画面表示の要求を受けると、前記要求に基づいて、所定のアプリケーションの画面表示を実行する、
   ことを特徴とする情報処理方法。

Images