JP2016139342A - 装置連携による情報入力方法、情報処理装置、コンピュータプログラム - Google Patents

Abstract

【課題】デジタルカメラへの情報入力を行うときのユーザの操作負担を軽減させる。
【解決手段】デジタルカメラ５１の表示画面５３のキャプチャ画像とユーザによってタッチ操作された入力項目などの情報をスマートフォン５２に送信し、表示画面５４に表示させる。スマートフォン５２は、これらの情報の表示を通じて受け付けた入力情報をデジタルカメラ５１に送信する。デジタルカメラ５１は、入力情報をタッチ操作された入力項目に入力する。
【選択図】図４

Description

本発明は、ユーザが保持する複数の情報処理装置の連携により、文字入力などの操作負担を軽減する情報入力方法、情報処理装置およびコンピュータプログラムに関する。

近年、デジタルカメラやビデオカメラなどのデバイスの中には、撮影画像に対してタイトルやファイル名などの任意の文字を操作画面から入力する機能を搭載したものがある。さらに、ユーザの利便性の向上を目的として、ユーザが使い慣れている携帯端末を利用してデジタルカメラなどのデバイスに対して文字入力する従来技術もある（特許文献１参照）。

このような従来技術では、ユーザが機器側で画面上の文字入力領域にフォーカスを合わせ、携帯端末側の動作モードを文字入力モードに切り替えて文字を入力する。文字入力モードに切り替えると、携帯端末側でアプリケーションが起動され、画面に文字入力エリアが表示され、キーボードなどを利用した文字入力が可能となる。

特開２０１０−１９８４８９号公報

従来技術では、携帯端末側の画面には、デジタルカメラなどのデバイス側の情報が表示されない。そのため、ユーザが携帯端末へ文字などを入力する際に、自分がどのデバイスのどの部分に対して文字を入力しているかなど、デバイス側の画面表示の内容を逐一確認する必要があり、煩雑であった。このような問題は、２つ以上の情報処理装置を連携させて文字などを入力する場合に共通に生じる。

本発明は、２つ以上の情報処理装置を連携させて情報入力を行うときのユーザの操作負担を軽減する技術を提供することを主たる課題とする。

本発明は、それぞれ情報入力用の表示画面を有する複数の情報処理装置を通信路を介して接続し、いずれか一つの第１情報処理装置の前記表示画面の画面情報を他の第２情報処理装置の前記表示画面に表示させ、該画面情報の表示を通じて前記第２情報処理装置で受け付けた入力情報を前記第１情報処理装置に入力する、装置連携による情報入力方法を提供する。

本発明によれば、第１情報処理装置の表示画面の情報が第２情報処理装置の表示画面に表示されるので、第２情報処理装置から第１情報処理装置への情報入力を行う際のユーザの操作負担を軽減することができる。

情報処理装置のハードウェア構成を示すブロック図。 情報処理装置の機能ブロック図。 （ａ），（ｂ）は第１実施例による処理手順説明図。 第１実施例の具体的な処理内容を示す説明図。 第２実施例による処理手順説明図。 第２実施例による具体的な処理内容を示す画面例。 情報処理装置による処理手順を示すフローチャート。 情報処理装置の具体的な処理内容を示す説明図。 （ａ），（ｂ）は第３実施例による処理手順説明図。 第４実施例による処理手順説明図。 （ａ），（ｂ）は第４実施例による処理手順説明図。

以下、本発明の実施の形態例について説明する。
図１は、本実施形態に係る情報処理装置のハードウェア構成図である。後述する複数の情報処理装置に共通となるハードウェア構成例を示してある。情報処理装置１は、コントローラ部１１、インターフェース部１２、タッチパネルディスプレイ１３、ハードディスク１４を備えている。コントローラ部１１は、ＣＰＵ１５、ＲＯＭ１６、ＲＡＭ１７を含むコンピュータである。ＣＰＵ（Central Processing Unit）１５は、コンピュータプログラムを実行することにより、装置全体の動作を制御する。このコンピュータプログラムは、装置全体の動作を制御するための基本プログラムのほか、タッチセンサ用プログラムなど、個別的な機能を実現するためのアプリケーションプログラムも含まれる。これらのプログラムは、ＲＯＭ（Read Only Memory）１６およびハードディスク１４に格納されている。そして、一時記憶領域としてのＲＡＭ（Random Access Memory）１７に適宜読み出される。すなわち、ＲＡＭ１７は、ＣＰＵ１５が各処理の実行の際に使用される作業領域である。ＲＡＭ１７には、ユーザによって入力されたデータなども一時的に記憶される。ハードディスク１４には、上記のコンピュータプログラム（一部）のほか、ＵＩ（User Interface）操作を実現するためのＵＩデータも格納されている。ＵＩデータは、例えばユーザが操作する操作ボタンや入力項目などのＵＩ操作項目、表示画面のレイアウト、文字入力エリア、専用文字入力エリア、ソフトウェアキーボードなどである。ソフトウェアキーボードは、タッチパネルディスプレイ１３に表示され、タッチ操作などで文字の入力や変換を行うことが可能な公知の情報入力ツールである。

タッチパネルディスプレイ１３は、表示画面となるＧＵＩ（Graphical User Interface）を有する。ＧＵＩには、適宜、上記のＵＩ操作項目などが表示される。タッチパネルディスプレイ１３は、また、ＵＩ操作項目の一つである入力項目への入力操作を受け付ける。すなわち、タッチパネルディスプレイ１３はタッチセンサを備えており、このタッチセンサで検出された信号がＲＯＭ１６に格納されたタッチセンサ用プログラムにより処理される。そして、ユーザによるタッチ位置がタッチパネルディスプレイ１３上の座標値として算出される。この算出された座標値とタッチパネルディスプレイ１３に表示されるＵＩ操作項目の座標値との対応関係から、ユーザが操作したＵＩ操作項目がどのような種別のもので、どのような操作内容であったのかが検出される。また、検出結果に基づいて所要の処理が実行可能になる。

例えば、ユーザが表示画面に表示された入力項目を１回タッチしたとする。この場合、その入力項目と、そこに１回タッチされたという操作内容とが検出される。入力項目のうち文字入力エリアがタッチされると、ソフトウェアキーボードなどの仮想キーボードが自動的に起動する。このように、入力項目に特定の機能が割り当てられている場合、操作内容に応じた機能が実行可能になる。情報処理装置１は、インターフェース部１２を介して同種の外部装置と通信路を介して接続され、各種データの送受信を行う。

図２は、複数の情報処理装置のうち通信路で接続可能な２つを連携させて文字入力を行うときの機能構成図である。ここでは、一つの情報処理装置がデジタルカメラに搭載され、他の情報処理装置がスマートフォンに搭載されている場合の例を示す。デジタルカメラに搭載されている情報処理装置を第１情報処理装置２、スマートフォンに搭載されている情報処理装置を第２情報処理装置４とする。デジタルカメラは、それ自体でも文字入力が可能なデバイスであるが、ここでは、文字の入力を情報入力が比較的容易なスマートフォンで行う場合の例を説明する。第１情報処理装置２および第２情報処理装置４は、それぞれ図１に示したハードウェア構成を有するものであり、ネットワーク３を介して相互に接続されている。なお、「文字」とは、狭義の文字のほか、記号、数字、語句などを含む。デジタルカメラおよびスマートフォンに搭載されている他の構成部品については省略してある。

デジタルカメラに搭載される第１情報処理装置２は、そのＣＰＵが、本発明の第１コンピュータプログラムを実行することにより、制御部２１および通信部３１として動作する。制御部２１は、デジタルカメラの機能全体を統括的に制御する制御手段として機能する。制御部２１は、また、操作検出部２５、接続判断部２６、画面キャプチャ部２７、操作項目解析部２８、仮想キーボード表示部２９、及びデータ表示部３０として機能する。操作項目とは、上述したＵＩ操作項目である。仮想キーボードとはソフトウェアキーボードなどの情報入力ツールである。一方、スマートフォンに搭載される第２情報処理装置４は、そのＣＰＵが第２コンピュータプログラムを実行することにより、制御部４１および通信部４８として動作する。制御部４１は、スマートフォンの機能全体を統括的に制御する制御手段として機能する。制御部４１は、また、情報解析部４３、データ表示部４４、仮想キーボード表示部４５、操作検出部４６、及び状態判断部４７として機能する。

第１情報処理装置２の各部の機能を詳しく説明する。使用するハードウェアについては、適宜、図１に示したものを参照する。制御部２１のうち、操作検出部２５は、タッチパネルディスプレイ１３の操作内容を検出する検出手段として機能する。具体的には、タッチパネルディスプレイ１３の表示画面に表示されている複数の入力項目のいずれかに対する操作内容を表す操作信号を受け取り、操作内容を検出する。操作された入力項目が文字入力エリア（文字入力用のＵＩ操作項目）であれば、文字入力の指示であることを検出する。接続判断部２６は、通信路で接続されている外部装置、本例では第２情報処理装置４の有無を判断する。画面キャプチャ部２７は、タッチパネルディスプレイ１３の表示内容をキャプチャして、キャプチャ画像を生成するキャプチャ手段として機能する。「キャプチャ」とは表示画面を取り込んで画像データとして保存することをいう。操作項目解析部２８は、操作検出部２５で検出された操作項目および操作内容を解析する。例えばタッチ操作された入力項目が文字入力エリアであった場合、当該文字入力エリアの種別、表示画面のサイズ、表示画面における文字入力エリアの表示位置などを特定する。特定は、ハードディスク１４に格納されたＵＩデータを基に行う。仮想キーボード表示部２９は、ソフトウェアキーボードなどを表示する。データ表示部３０は、ＵＩ部品や文字データなどをタッチパネルディスプレイ１３に表示する表示手段として機能する。通信部３１は画面キャプチャ部２７で生成したキャプチャ画像と、操作項目解析部２８の解析結果などを、通信路を形成するネットワーク３を介して第２情報処理装置４へ送信する。通信部３１は、また、第２情報処理装置４から送信されてくる情報を取得する取得手段としても機能する。

第２情報処理装置４の各部の構成を詳しく説明する。通信部４８は、第１情報処理装置２から送信されたキャプチャ画像および解析結果などの情報を取得する取得手段として機能する。また、入力情報を第１情報処置装置２へ送信する。制御部４１のうち、情報解析部４３は、第１情報処理装置２から受信した情報を解析する。例えば、第１情報処理装置２でタッチ操作された入力項目が文字入力エリアであった場合、当該文字入力エリアの種別、表示画面のサイズ、文字入力エリアの表示位置などを、予め格納されたＵＩデータを基に特定する。データ表示部４４は、情報解析部４３の解析結果に基づいて、キャプチャ画像およびこのキャプチャ画像への文字入力エリアなどの重畳表示などを行う。例えば第２情報処理装置４自体が有する文字入力エリアなどのＵＩ操作項目を、キャプチャ画像に重畳表示する。仮想キーボード表示部４５は、ソフトウェアキーボードなどを表示する。操作検出部４６は、自装置のタッチパネルディスプレイ１３への操作内容を検出する。例えば、ソフトウェアキーボードにおいて選択（入力）された文字を検出する。状態判断部４７は、第２情報処理装置４側の動作状態を監視する。例えば文字入力が完了したか否かの判断などを行う。

［情報入力方法］
次に、上記のように構成される各情報処理装置２，４が行う、装置連携による情報入力方法の実施の形態例を説明する。この情報入力方法は、まず、第１情報処理装置２の表示画面の画面情報を第２情報処理装置４に伝達して、第２情報処理装置４の表示画面に表示させる。また、該画面情報の表示を通じて第２情報処理装置４で受け付けた入力情報を、第２情報処理装置４から第１情報処理装置２へ伝達する。つまり、第１情報処理装置２に入力する。第１情報処理装置２は、例えば静止画と動画の少なくとも一方を撮像するデジタルカメラに搭載される。第２情報処理装置４は、情報入力がデジタルカメラよりも比較的容易なスマートフォンに搭載される。通信路は、例えばＷｉｆｉなどの無線通信により形成される。
以下、情報入力の例として、デジタルカメラで撮影した画像に関連する文字を入力する場合の実施例を説明する。デジタルカメラはサーバ機能も搭載されており、通信路を介してスマートフォンに接続されているものとする。

［第１実施例］
図３は、情報入力方法の第１実施例の手順説明図であり、（ａ）は第１情報処理装置２側、（ｂ）は第２情報処理装置４側の手順例である。図３（ａ）を参照すると、第１情報処理装置２の操作検出部２５は、タッチパネルディスプレイ１３の表示画面の文字入力エリアに対する操作を検出する（Ｓ１０１）。接続判断部２６は、操作検出部２５で操作が検出されたときに、第２情報処理装置４が通信路を介して接続されているかどうかを判断する（Ｓ１０２）。第２情報処理装置４が接続されている場合（Ｓ１０２：ＹＥＳ）、画面キャプチャ部２７が、タッチパネルディスプレイ１３の表示内容をキャプチャし、キャプチャ画像として保存する（Ｓ１０３）。次いで、操作項目解析部２８が、Ｓ１で検出したタッチ操作で指示された文字入力エリア関連の情報を解析する（Ｓ１０４）。「文字入力エリア関連の情報」は、例えば、文字入力エリアの種別（他の文字入力エリアと区別する情報）、表示画面のサイズ、当該文字入力エリアが表示画面のどの位置に配置されているかを示す座標値などである。解析は、これらの情報を特定する処理である。続いて、通信部３１がキャプチャ画像とＳ１０４による解析結果を画面情報とし、この画面情報を通信路を介して第２情報処理装置４へ送信（伝達）する（Ｓ１０５）。通信部３１は、また、第２情報処理装置４側で入力された入力情報、例えば文字データが該装置４から送信されるのを待ち、送信されたらそれを受信（取得）する（Ｓ１０６）。Ｓ１０２において、第２情報処理装置４が接続されていない場合（Ｓ１０２：ＮＯ）、仮想キーボード表示部２９が、例えば第１情報処理装置２自身が持つソフトウェアキーボードを表示する。そして、第１情報処理装置２自身による文字データの入力を可能にする（Ｓ１０７）。こうしてデータ表示部３０が、Ｓ１０６で受信した文字データ、あるいはＳ１０７でソフトウェアキーボードより入力された文字データを、文字入力エリアと関連付けてＲＡＭ１７に記憶する。そしてこの文字データを、表示画面の文字入力エリアに表示し（Ｓ１０８）、処理を終える。

次に、図３（ｂ）を参照して第２情報処理装置４が行う処理の手順例を説明する。第２情報処理装置４は、通信部４８が、第１情報処理装置２側から画面情報を取得する。本例ではキャプチャ画像と文字入力エリア関連の情報を画面情報として受信し、これをＲＡＭ１７に記憶する（Ｓ１０９）。そして、情報解析部４３が、受信した画面情報を解析する（Ｓ１１０）。具体的には、文字入力エリアの種別、表示画面のサイズ、当該文字入力エリアが表示画面のどの位置に配置されているかを示す座標値などを特定する。続いて、データ表示部４４が、Ｓ１１０で解析した情報を基に、キャプチャ画像を表示画面に表示するとともに、文字入力エリアの位置に、第２情報処理装置４側で用意された文字入力エリアを重ねて表示する（Ｓ１１１）。例えば、背景画像となるキャプチャ画像のうち文字入力エリアの部分に、文字入力用のＨＴＭＬ部品である<input type=”text”>要素を指定して重ねる。これにより、第２情報処理装置４側での当該文字入力エリアへの文字入力が可能となる。その後、仮想キーボード表示部４５が、第２情報処理装置４自身のソフトウェアキーボードなどを表示する（Ｓ１１２）。そして、操作検出部４６が、ユーザによるソフトウェアキーボードに対するタッチ操作を検出し、文字入力を受け付ける（Ｓ１１３）。状態判断部４７は、第２情報処理装置４側のユーザによる文字入力が完了したか否かの判断を行う（Ｓ１１４）。文字入力が完了していない場合（Ｓ１１４：ＮＯ）、Ｓ１１３の処理に戻る。一方、文字入力が完了している場合（Ｓ１１４：ＹＥＳ）、通信部４８は、第２情報処理装置４側で入力された文字データを第１情報処理装置２に送信し（Ｓ１１５）、処理を終える。

このように、第１実施例では、第１情報処理装置２の表示画面の画面情報を第２情報処理装置４の表示画面に表示させ、この表示を通じて第２情報処理装置４側で受け付けた入力情報を第１情報処理装置２側の表示画面に入力する。そのため、第２情報処理装置４側では、第１情報処理装置２側のどの部分に対する情報入力なのかを直感的に把握できるので、装置連携による情報入力の際の操作負担を軽減することができる。

図４に、第１実施例による情報入力の様子を具体的に説明する。デジタルカメラ５１の背面には表示画面５３が設けられている。この表示画面５３には、撮影画像（Photo01）のほか、この撮影画像に関するタイトル、コメント、タグなどの文字入力エリアが表示されている。つまり、デジタルカメラ５１では、撮像された画像に対するタイトル、コメント又はタグの入力を受け付けることができる。ここで文字入力エリアの一つであるコメントの入力項目５３ａに対してタッチ操作が行われたとする。すると、デジタルカメラ５１は、表示画面５３のキャプチャ画像およびコメントの入力項目５３ａへの文字入力が指示されたことを表す指示情報を接続先のスマートフォン５２へ送信する（＃１）。なお、画像のタイトル、コメント、タグはデジタルカメラ５１で入力可能な文字情報の一例であって、これに限定されない。画像に属性情報として関連付けられる文字情報であれば、例えば画像データのファイル名、その他の識別情報などを入力可能であってもよい。

スマートフォン５２は、Ｗｅｂブラウザおよびアプリケーションプログラムなどを起動し、デジタルカメラ５１から受信した情報を表示画面５４に表示する。そして、受信した情報をもとに、キャプチャ画像の中で文字入力が指示されている位置を解析し、自身の文字入力用のＵＩ部品（文字入力エリア）５４ａを重ねて表示する。また、ソフトウェアキーボード５５も表示し、ユーザからの文字入力を受け付ける。デジタルカメラ５１側で、コメントではなく、タイトル、タグの文字入力エリアへの入力を受け付けた場合、スマートフォン５２でもこれらの文字データも入力を受け付ける。入力が完了したら、入力情報を表示画面５４と関連付けて記憶する。また、この入力情報をデジタルカメラ５１に向けて送信する（＃２）。入力情報（文字データなど）を受信したデジタルカメラ５１は、この入力情報を表示画面５３と関連付けて記憶する。また、コメントの入力項目５３ａに文字データを表示する。これにより、デジタルカメラ５１に対して情報（文字データ）を入力する際の操作負荷を軽減することができる。

［第２実施例］
次に、情報入力方法の第２実施例について説明する。第２実施例では、第１情報処理装置２が、第２情報処理装置４が有する表示画面のサイズ又は解像度を取得し、取得した情報に基づいて自装置の表示画面からキャプチャする領域を決定する場合の例を説明する。なお、第１実施例と重複する部分の説明を省略する。また、便宜上、第１情報処理装置２の動作をデジタルカメラの動作、第２情報処理装置４の動作をスマートフォンの動作として説明する。

図５は、デジタルカメラ（第１情報処理装置２）側で行う処理の手順説明図である。デジタルカメラ側では、表示画面の文字入力エリアに対するタッチ操作を検出する（Ｓ２０１）。タッチ操作は、本例では文字入力の指示を表す操作である。デジタルカメラ側では、また、スマートフォンが接続されているかどうかを判断する（Ｓ２０２）。接続されている場合（Ｓ２０２：ＹＥＳ）、そのスマートフォンの表示画面の画面情報を取得して解析する（Ｓ２０３）。「画面情報」は、例えば表示画面の縦横サイズ、解像度などの情報であり、スマートフォンへの接続時にデジタルカメラ側（画面キャプチャ部２７）から要求される。なお、この情報は、予め取得して記憶しておいてもよい。続いて、デジタルカメラは、スマートフォン側の画面情報に応じたキャプチャ画像を生成する（Ｓ２０４）。例えば、スマートフォンの表示画面の縦横サイズに適合するように、文字入力が指示された文字入力エリアを中心に画面を切り出し、これをキャプチャ画像とする。このとき、縦横サイズのほか、解像度をも考慮して、スマートフォン側でより見やすいキャプチャ画像としてもよい。その後のＳ２０５〜Ｓ２０９までの処理は図３のＳ１０４〜Ｓ１０８の処理と同様である。

次に、図６を参照して、第２実施例による装置連携の情報入力の様子を詳しく説明する。図６（ａ）はスマートフォン５２側の様子を示している。エリア６１は、表示画面５４のうちデジタルカメラ５１からのキャプチャ画像を表示できる範囲であり、「表示画面の情報」の一例として、デジタルカメラ５１へ送信される。表示画面５４には、ソフトウェアキーボード６２も表示される。図６（ｂ）はデジタルカメラ５１の様子を示している。エリア６１の情報を受信したデジタルカメラ５１では、表示画面５４のどの領域を切り取ってキャプチャしたらよいかを解析する。本例では、タッチ箇所６３を中心として、エリア６１と同じサイズであるエリア６４をキャプチャ領域とし、キャプチャ画像を生成する。図６（ｃ）はデジタルカメラ５１で生成されたキャプチャ画像６５の例を示している。図６（ｄ）は、スマートフォン５２側で、キャプチャ画像６５に基づく情報入力用の画像６６を表示画面５４に表示した例である。図示の例では、キャプチャ画像６５に対して文字入力エリアのＵＩ操作部品を重ねて表示し、文字入力を受け付ける。

このように、第２実施例では、デジタルカメラ５１が、スマートフォン５２の表示画面の情報（サイズ、解像度）を取得し、この情報に応じて自身の表示画面のキャプチャ領域を決定する。そのため、スマートフォン５２に対して、必要最小限の情報量のキャプチャ画像が送信され、画面全体のキャプチャ画像に比べて通信時の負荷を削減することができる。

［第３実施例］
次に、情報入力方法の第３実施例について説明する。第３実施例では、第２情報処理装置４を搭載したスマートフォン側で、情報入力が指示された部分を文字入力エリアとして予め認識できるようにする場合の例を示す。第１実施例と重複する部分の説明を省略する。また、第１情報処理装置２の動作をデジタルカメラの動作、第２情報処理装置４の動作をスマートフォンの動作として説明する。

図７は、スマートフォン側の処理の手順説明図である。スマートフォンは、デジタルカメラからキャプチャ画像と文字入力エリア関連の情報を受信する（Ｓ３０１）。また、受信した画面情報を解析する（Ｓ３０２）。その後、キャプチャ画像のうち、情報入力が指示された文字入力エリアを示す指標、例えば矢印などのマークを重ねて表示する（Ｓ３０３）。これにより、スマートフォンでは、指標により特定される入力項目への情報入力を可能にする。具体的には、スマートフォン自身のソフトウェアキーボードと、専用文字入力エリアを表示する（Ｓ３０４）。専用文字入力エリアとは、例えばアプリケーションに関わらず、常に同じ位置に表示される文字入力用エリアである。Ｓ３０５〜Ｓ３０７の処理は、図３（ｂ）のＳ１１３〜Ｓ１１５と同様である。

次に、図８を参照して、第３実施例による情報入力の様子を詳しく説明する。図６と重複する部分の説明は省略する。スマートフォン５２は、キャプチャ画像を含む画面情報を受信し、表示画面５４に表示する。また、専用文字入力エリア８１を表示し、さらに、キャプチャ画像のどの入力項目に対する文字入力かを示す指標（矢印）８２を表示する。そのため、スマートフォン５２を使用して文字入力を行うユーザは、指標８２を参照することで、キャプチャ画像上のどの入力項目に対する文字入力を行っているかを直感的に把握することができる。

このように、第３実施例によれば、専用文字入力エリア８１と指標８２とを設けることで、デジタルカメラに対し、スマートフォンを利用して外部装置から文字入力を行う場合の操作負荷を更に軽減させることができる。

［第４実施例］
次に、情報入力方法の第４実施例について説明する。第４実施例では、デジタルカメラで生成するキャプチャ画像に、第３実施例で説明した指標により特定される入力項目以外の入力項目の画像が含まれている場合の例を説明する。この場合、スマートフォンでは指標により特定される入力項目のほか、それ以外の入力項目への情報入力を可能にする。なお、第１乃至第３実施例と重複する部分の説明は省略する。また、第１情報処理装置２の動作をデジタルカメラの動作、第２情報処理装置４の動作をスマートフォンの動作として説明する。

図９は第４実施例の処理手順説明図であり、（ａ）はデジタルカメラ側、（ｂ）はスマートフォン側の処理例である。図９（ａ）において、Ｓ４０１ないしＳ４０４までは、図３（ａ）のＳ１０１〜Ｓ１０４の処理と同じである。第４実施例では、これらの処理の後、デジタルカメラが、キャプチャ画像の中に、情報入力が指示されていない他の文字入力エリアが含まれるかどうかを判断する（Ｓ４０５）。含まれる場合（Ｓ４０５：ＹＥＳ）、デジタルカメラは、当該他の文字入力エリア関連の情報も解析する（Ｓ４０６）。「文字入力エリア関連の情報」は、例えば、当該他の文字入力エリアの種別、当該他の文字入力エリアが表示画面のどの位置に配置されているかを示す座標値などである。こうしてデジタルカメラは、情報入力が指示されていない他の文字入力エリア関連の情報を、文字入力を指示された文字入力エリア関連に含めて、スマートフォン側へ送信する（Ｓ４０７）。Ｓ４０５において、他の文字入力エリアが含まれていないと判断した場合（Ｓ４０５：ＮＯ）、直ちにＳ４０７の処理に移行する。その後のＳ４０８〜Ｓ４１０の処理は、図３（ｂ）のＳ１０６〜Ｓ１０８の処理と同様である。

図９（ｂ）において、スマートフォン側では、Ｓ４１１〜Ｓ４１５は図７のＳ３０１〜Ｓ３０５の処理と同様である。第４実施例では、これらの処理の後、キャプチャ画像の中に複数の文字入力エリアが含まれているかどうかを判断する（Ｓ４１６）。含まれている場合（Ｓ４１６：ＹＥＳ）、スマートフォンは、他の文字入力エリアへのタッチ操作があるかどうかを判断する（Ｓ４１７）。他の文字入力エリアへのタッチ操作である場合（Ｓ４１７：ＹＥＳ）、Ｓ４１３の処理に戻る。Ｓ４１６において複数の文字入力エリアが含まれていない場合（Ｓ４１６：ＮＯ）およびＳ４１７においてタッチ操作がない場合（Ｓ４１７：ＮＯ）の処理は、図７のＳ３０６〜Ｓ３０７と同様となる（Ｓ４１８，Ｓ４１９）。

このように、第４実施例によれば、デジタルカメラ側で情報入力が指示されていない文字入力エリアに対してもスマートフォン側で文字を入力することが可能となる。そして、スマートフォンから、デジタルカメラに向けて、スマートフォンにて入力された全ての文字データを送信できるので、文字入力時のユーザの操作負担が軽減される。

［第５実施例］
次に、情報入力方法の第５実施例について説明する。第５実施例では、スマートフォン側の専用文字入力エリアを使用して文字入力を行う場合の例を示す。なお、第１乃至第３実施例と重複する部分の説明は省略する。また、第１情報処理装置２の動作をデジタルカメラの動作、第２情報処理装置４の動作をスマートフォンの動作として説明する。

図１０は、第５実施例におけるスマートフォン側の処理手順説明図である。Ｓ５０１〜Ｓ５０２の処理は、図７のＳ３０１〜Ｓ３０２の処理と同じである。第５実施例では、これらの処理の後、スマートフォンが、文字入力をユーザに行わせる際に、専用文字入力エリアを使用して文字入力をさせるかどうかを判断する（Ｓ５０３）。専用文字入力エリアとは、例えば、図８のエリア８１のようなものである。専用文字入力エリアを使用して文字入力をさせる場合（Ｓ５０３：ＹＥＳ）、図７のＳ３０３〜Ｓ３０４と同様の処理を行う（Ｓ５０４，Ｓ５０５）。専用文字入力エリアを使用して文字入力をさせない場合（Ｓ５０３：ＮＯ）は、図３（ｂ）のＳ１１１〜Ｓ１１２と同様の処理を行う（Ｓ５０６，Ｓ５０７）。その後のＳ５０８〜Ｓ５１０の処理は、図７のＳ３０５〜Ｓ３０７の処理と同様となる。

このように、第５実施例によれば、スマートフォン側において、専用文字入力エリアを使用して文字入力させるかどうかによって処理の内容を切り替えることができる。そのため、入力方式の選択の自由度が高まる。

［第６実施例］
次に、情報入力方法の第６実施例について説明する。第６実施例では、デジタルカメラ側で、キャプチャする領域の縦サイズと横サイズとを比較するとともに、キャプチャ画像を表示する際に推奨する表示画面の向きを表す推奨画面向き情報を比較結果に応じて決定する場合の例を説明する。この場合、決定した推奨画面向き情報を画面情報に含めてスマートフォンへ送信する。なお、第１実施例の処理と重複する部分の説明は省略する。

図１１は、第６実施例の処理手順説明図であり、（ａ）はデジタルカメラ側、（ｂ）はスマートフォン側の例である。図１１（ａ）において、Ｓ６０１〜６０３の処理は図９（ａ）のＳ４０１〜Ｓ４０３の処理と同様である。第６実施例では、これらの処理の後、デジタルカメラが、キャプチャ画像の縦横サイズを取得する（Ｓ６０４）。そして、取得したキャプチャ画像の縦サイズと横サイズとを比較する（Ｓ６０５）。横のサイズが縦のサイズ以上の場合（Ｓ６０５：ＹＥＳ）、スマートフォンの推奨画面向きを横に決定する（Ｓ６０６）。横のサイズが縦のサイズ以上でない場合（Ｓ６０５：ＮＯ）、推奨画面向きを縦に決定する（Ｓ６０７）。その後、情報入力が指定された文字入力エリア関連の情報を解析する（Ｓ６０８）。また、キャプチャ画像、文字入力エリア関連の情報および決定した推奨画面向きの情報をスマートフォンへ送信する（Ｓ６０９）。その後のＳ６１０〜Ｓ６１２の処理は、図９（ａ）のＳ４０８〜Ｓ４１０と同様である。

スマートフォン側では、図１１（ｂ）に示される手順で処理を行う。すなわち、キャプチャ画像、文字入力エリア関連の情報および推奨画面向きの情報を受信する（Ｓ６１３）。続いて、受信したキャプチャ画像と、文字入力エリア関連の情報および推奨画面向きの情報を解析する（Ｓ６１４）。例えば、文字入力エリアの種別、当該文字入力エリアが表示画面のどの位置に配置されているかなどを示す座標値、推奨画面向きが縦か横かなどである。そして、スマートフォン自身の現在の画面の向きと、Ｓ６１４で解析した推奨画面向きが異なるか否かを判断する（Ｓ６１５）。推奨画面向きが異ならない場合（Ｓ６１５：ＮＯ）、Ｓ６１８の処理に進む。異なる場合（Ｓ６１５：ＹＥＳ）、例えば回転方向を示す矢印（変更を促す情報）を現在画面に表示されている情報に重ねて表示させ、ユーザにスマートフォンの向きを推奨画面向きへ変更するように促す（Ｓ６１６）。なお、変更の促し方は上記例に限定されない。そして、スマートフォン自身の現在の画面の向きと解析した推奨画面向きが同じになったか否かを判断する（Ｓ６１７）。推奨画面向きが同じになっていない場合（Ｓ６１７：ＮＯ）、Ｓ６１６の処理に戻る。推奨画面向きが同じになった場合（Ｓ６１７：ＹＥＳ）、Ｓ６１８の処理に進む。Ｓ６１８〜Ｓ６２２の処理は、図１０のＳ５０６〜Ｓ５１０と同様である。

このように、第６実施例によれば、デジタルカメラ側でキャプチャ画像の縦横サイズを比較し、横のサイズが縦のサイズ以上の場合は、推奨画面向き情報を横に決定する。横のサイズが縦のサイズ以上でない場合は、推奨画面向き情報を縦に決定する。そして、キャプチャ画像と解析した文字入力用の操作項目に関する情報と共に推奨画面向き情報を関連づけてスマートフォン側に送信する。一方、スマートフォン側では、推奨画面向き情報に基づいて自身の向き推奨画面向きの方向へ変更することを促す情報を表示する。そのため、デジタルカメラから文字入力指示の通知を受け取ったときに、キャプチャ画像がスマートフォン側でより大きく表示されるため見易くなり、文字入力時の利便性が向上する。

［変形例］
本実施形態および実施例では、第１情報処理装置２と第２情報処理装置４とをネットワーク３で接続した場合の例を説明した。しかし、本発明は、それぞれ情報入力用の表示画面を有する複数の情報処理装置を通信路を介して接続し、いずれか一つの情報処理装置の表示画面の画面情報を他の情報処理装置の表示画面に表示させる態様でも実施が可能である。
また、第１〜第６実施例では第１情報処理装置２がデジタルカメラに搭載され、第２情報処理装置４がスマートフォンに搭載されている場合の例を説明したが、搭載するデバイスはこれらの例に限定されない。デジタルカメラはタブレット端末や携帯端末であってもよい。スマートフォンもまた、タブレット端末やパーソナルコンピュータであってもよい。

なお、本発明は、本発明のコンピュータプログラムを、ネットワーク又は可搬性の記憶媒体を介して、情報処理装置に供給し、そのＣＰＵがコンピュータプログラムを読出し、実行する形態でも実施が可能である。本発明は、また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現が可能である。

Claims (15)

1. それぞれ情報入力用の表示画面を有する複数の情報処理装置を通信路を介して接続し、いずれか一つの第１情報処理装置の前記表示画面の画面情報を他の第２情報処理装置の前記表示画面に表示させ、該画面情報の表示を通じて前記第２情報処理装置で受け付けた入力情報を前記第１情報処理装置に入力する、
   装置連携による情報入力方法。
2. 前記画面情報は、前記第１情報処理装置の表示画面をキャプチャしたキャプチャ画像と、前記表示画面のうち情報入力が指示された入力項目を表す指示情報とを含む、
   請求項１に記載の情報入力方法。
3. 前記画面情報は、前記入力項目を特定するための指標をさらに含み、
   前記第２情報処理装置は、前記指標により特定される入力項目への情報入力を可能にする、
   請求項２に記載の情報入力方法。
4. 前記キャプチャ画像には、前記指標により特定される入力項目以外の入力項目の画像が含まれており、
   前記第２情報処理装置は、前記指標により特定される入力項目のほか、それ以外の入力項目への情報入力を可能にする、
   請求項３に記載の情報入力方法。
5. 前記第２情報処理装置は、前記入力項目に対応する文字入力エリアを自装置の表示画面に表示させ、該表示を介して入力された情報を当該入力項目に関連付けて記憶する、
   請求項３又は４に記載の情報入力方法。
6. 前記第２情報処理装置は、前記入力項目に対応する文字入力エリアを、前記キャプチャ画像のうち、前記情報入力が指示された入力項目に重ねて表示させる、
   請求項５に記載の情報入力方法。
7. 前記第１情報処理装置は、前記第２情報処理装置が有する表示画面のサイズを取得し、取得したサイズに基づいて自装置の表示画面からキャプチャする領域を決定する、
   請求項２ないし６のいずれかの１項に記載の情報入力方法。
8. 前記第１情報処理装置は、前記第２情報処理装置の前記表示画面の解像度を取得し、取得した解像度に基づいて自装置の表示画面からキャプチャする領域を決定する、
   請求項２ないし７のいずれか１項に記載の情報入力方法。
9. 前記第１情報処理装置は、前記キャプチャする領域の縦サイズと横サイズとを比較するとともに、前記キャプチャ画像を表示する際に推奨する表示画面の向きを表す推奨画面向き情報を前記比較結果に応じて決定し、決定した推奨画面向き情報を前記画面情報に含めて第２情報処理装置へ送信する、
   請求項５ないし７のいずれか１項に記載の情報入力方法。
10. 前記第２情報処理装置は、受信した前記推奨画面向き情報により特定される推奨画面向きと自身の表示画面の向きとが異なるかどうかを判断し、異なる場合は自身の表示画面の向きを推奨画面向きの方向への変更をユーザに促す情報を当該表示画面に表示させる、
    請求項９に記載の情報入力方法。
11. 前記第１情報処理装置が静止画又は動画を撮像するデジタルカメラに搭載されており、
    前記第２情報処理装置は、前記デジタルカメラで撮像された画像に付与される属性情報の入力を受け付ける、
    請求項１ないし１０のいずれか１項に記載の情報入力方法。
12. 外部装置と通信路を介して接続可能な情報処理装置であって、
    情報入力用の第１表示画面を表示する表示手段と、
    前記第１表示画面において情報入力が指示された入力項目を検出する検出手段と、
    前記入力項目が検出されたときの前記第１表示画面の表示内容をキャプチャするキャプチャ手段と、
    前記表示内容と前記入力項目とを含む画面情報を前記外部装置に伝達するとともに、伝達した画面情報を通じて前記外部装置で入力された入力情報を当該外部装置から取得し、取得した入力情報を前記検出された入力項目と関連付けて記憶する制御手段と、
    を備えた情報処理装置。
13. 情報入力用の第１表示画面を有する外部装置と通信路を介して接続可能な情報処理装置であって、
    前記第１表示画面の表示内容と当該第１表示画面において情報入力が指示された入力項目とを含む画面情報を前記外部装置から取得する取得手段と、
    取得した画面情報のうち前記表示内容を自装置における情報入力用の第２表示画面に表示するとともに、前記入力項目に対応する部分に自装置の情報入力用のＵＩ操作項目を表示し、該表示に基づいて入力された入力情報を前記外部装置へ伝達する制御手段と、
    を備える情報処理装置。
14. コンピュータを、外部装置と通信路を介して接続可能な情報処理装置として動作させるコンピュータプログラムであって、
    前記コンピュータを、
    情報入力用の第１表示画面を表示する表示手段、
    前記第１表示画面において情報入力が指示された入力項目を検出する検出手段、
    前記入力項目が検出されたときの前記第１表示画面の表示内容をキャプチャするキャプチャ手段、
    前記表示内容と前記入力項目とを含む画面情報を前記外部装置に伝達するとともに、伝達した画面情報を通じて前記外部装置で入力された入力情報を当該外部装置から取得し、取得した入力情報を前記検出された入力項目と関連付けて記憶する制御手段、
    として機能させるコンピュータプログラム。
15. コンピュータを、情報入力用の第１表示画面を有する外部装置と通信路を介して接続可能な情報処理装置として動作させるためのコンピュータプログラムであって、
    前記コンピュータを、
    前記第１表示画面の表示内容と当該第１表示画面において情報入力が指示された入力項目とを含む画面情報を前記外部装置から取得する取得手段、
    取得した画面情報のうち前記表示内容を自装置における情報入力用の第２表示画面に表示するとともに、前記入力項目に対応する部分に自装置の情報入力用のＵＩ操作項目を表示し、該表示に基づいて入力された入力情報を前記外部装置へ伝達する制御手段、
    として機能させるコンピュータプログラム。

Images