JP2016184426A - データ処理装置及びプログラム - Google Patents

Abstract

【課題】アプリケーションの実行中に受付可能となる複数種の指示情報（コマンド）を表現した各指標（マーク）の配列の中から任意の指標がユーザ指定されるだけで、その指標に割り当てられている動作を実行できるようにする。【解決手段】書画カメラ３による紙シート７の撮影画像を解析することによりユーザによって指示され紙シート７上のマーク８を認識し（ステップＳ３７）、そのマーク８に基づいてマークテーブルＹを参照することによって（ステップＳ３８）、そのマーク８に対応するコマンドを読み出すと共に（ステップＳ３８）、そのコマンドに応じた動作の実行を現在実行中のアプリケーションに対して指示する（ステップＳ３９）。【選択図】 図１２

Description

本発明は、表示画面上に所定レイアウトで表示される複数の表示選択肢に対する選択で
データ処理を実行するデータ処理装置及びプログラムに関する。

従来、パーソナルコンピュータなどのデータ処理装置に対してコマンド（指示情報）を入力する場合、そのコマンド入力を簡素化する技術としては、コマンド入力媒体として紙シートを使用する技術、すなわち、紙シートに印刷されている複数の指標（マーク）のいずれかをユーザが指先などで指定している様子をカメラで撮影し、その撮影画像を解析することによって、どの指標が指示されたのかを判別し、その指標に割り当てられているコマンドを入力するようにした技術が存在している（特許文献１参照）。

特開２０１２−１４６０６号公報

しかしながら、上述した特許文献の技術は、紙媒体パンフレット（紙シート）上でユーザ指定されたマークを認識し、そのマークに対応する情報コンテンツを床面に表示させる案内システムであり、マークと情報コンテンツとを対応付けによって表示可能なコンテンツ数が増えると、紙媒体上のマーク数も多くなり、全体として煩雑なものとなり、かえって操作性を損なう危険性があった。

本発明の課題は、表示画面上に表示される表示選択肢に対する選択を、所定の媒体上に
おける指示によっても選択できるようにすることである。

請求項１は、表示画面上に所定レイアウトで表示される複数の表示選択肢に対する選択
でデータ処理を実行するデータ処理装置であって、前記複数の表示選択肢のそれぞれに対
応する複数のマークが前記所定レイアウトとは異なるレイアウトで配列される媒体上で、
何れかの任意のマークの位置がユーザにより指示されたことを検出した際は、その検出さ
れた位置のマークを判別する判別手段と、前記判別手段により判別されたマークに対応す
る表示選択肢の前記表示画面上における表示位置を、前記複数の表示選択肢毎に、その個
々の表示選択肢に対応する複数のマークと前記表示画面上における複数の表示位置とを記
憶する記憶手段を参照することで特定し、前記表示画面上に表示される複数の表示選択肢
の内で、その特定された表示位置に表示される表示選択肢を選択する選択手段と、を具備
したことを特徴とする。

請求項８は、表示画面上に所定レイアウトで表示される複数の表示選択肢に対する選択
でデータ処理を実行するデータ処理装置であって、前記表示画面上に表示される複数の表
示選択肢を抽出し、その複数の表示選択肢毎に、その各表示選択肢を表現した複数のマー
クを生成する生成手段と、前記生成手段で生成された複数のマークを、前記表示画面上で
表示される複数の表示選択肢のレイアウトとは異なるレイアウトで配列して所定媒体上に
印刷出力する出力手段と、を具備したことを特徴とする。

本発明によれば、表示画面上に表示される表示選択肢に対する選択を、所定の媒体上に
おける指示によっても選択することが可能となる。

ビデオ会議システム（通信システム）を示したブロック図。 ビデオ会議システムを構成するデータ処理装置１側の書画カメラ３を説明するための図。 コマンド入力媒体としての紙シート７を説明するための図。 紙シート７を利用してユーザが所望するマーク８を指差す指差し操作を行った場合に、そのマーク認識方法を説明するための図。 内蔵カメラ付きデータ処理装置（例えば、ノート型のパーソナルコンピュータ）１の基本的な構成を示したブロック図。 アプリケーション実行中に表示される画面の構成ファイルＸを説明するための図。 構成ファイルＸ内に設けられた内部テーブルの設定内容を具体的に示すと共に、この内部テーブルの設定内容に基づいて自動生成されたマークテーブルＹの内容を説明するための図。 アプリケーション画面を例示した図。 シート管理テーブルＺを説明するための図。 起動対象のアプリケーションの選択に応じて実行開始されるデータ処理装置１の動作（本実施形態の特徴的な動作）を説明するためのフローチャート。 図１０の動作に続くフローチャート。 図１１の動作に続くフローチャート。 本実施形態の変形例として、紙シート７を利用してユーザが所望するマーク８を指差した場合に、そのマーク認識方法の他の例を説明するための図。

以下、図１〜図１２を参照して実施形態を説明する。
図１は、ビデオ会議システム（通信システム）を示したブロック図である。
ビデオ会議システムは、遠隔の会議参加者（発言者）同士が相手の顔画像（例えば、動画）や資料画像を自己の端末画面で見ながら相手と音声通話を行うことが可能な通信システムである。このビデオ会議システムは、内蔵カメラ付きデータ処理装置１として、例えば、ディスクトップ型やノート型のパーソナルコンピュータ、タブレット端末などの携帯端末装置が公衆通信網（インターネット、無線通信網）２を介して接続されており、各データ処理装置１の間で高速双方向通信が可能な遠隔会議システムである。

データ処理装置１には、会議用の資料などを撮影する書画カメラ３、マイクとヘッドフォンを一体化したヘッドセット４、印刷装置５が有線接続あるいは無線接続されている。この場合、会議参加者（発言者）Ｓ１、Ｓ２、Ｓ３、…の全員あるいはその何人かには、データ処理装置１、ヘッドセット４のほか、書画カメラ３、印刷装置５が備えられている。なお、図示の例では、発言者Ｓ１、Ｓ２側に書画カメラ３、印刷装置５を備えた場合を例示し、また、発言者Ｓ１、Ｓ２、Ｓ３、…のうち、その一人（発言者Ｓ２）を議長（調停者）としている。

データ処理装置１は、自己の内蔵カメラ（図１では図示省略）から取得した自己の顔画像データや書画カメラ３から取得した資料画像データ、ヘッドセット４から取得した自己の音声データを圧縮処理して他の各データ処理装置１に送信し、また、他のデータ処理装置１から遠隔会議相手の顔画像データや資料画像データ、相手の音声データを受信取得すると、この画像データ、音声データを解凍処理して自己の端末画面に表示させたり、ヘッドセット４に音声出力させたり、また、資料画像データを印刷装置５に送信して印刷出力させたりする。

図２は、データ処理装置１側に有線接続あるいは無線接続されている書画カメラ３を説明するための図である。
書画カメラ３は、机面などに載置された会議用の資料６などをその上方向（略真上方向）から撮影するスタンド型のデジタルカメラであり、図示省略したが、撮影レンズからの被写体像が撮像素子（ＣＣＤやＣＭＯＳなど）に結像されることにより静止画像、動画像を高精細に撮影可能となっている。また、書画カメラ３は、会議用の資料６を撮影するカメラとして機能するほか、その撮影範囲内に載置されたコマンド入力用の紙シート７を撮影するカメラとして機能するようにしている。なお、書画カメラ３は、撮影レンズや撮像素子を含む画像テータ生成部のほか、中央演算処理装置や画像処理装置などを含む画像データ処理部を有する構成となっているが、この画像データ処理部をデータ処理装置１側に備えるようにしてもよい。

紙シート７は、アプリケーション（例えば、会議）毎にそのアプリケーションで受付可能となる複数種の指示情報（コマンド）を表現した各指標（マーク）８が配列印刷されている紙シートであり、アプリケーション（例えば、会議）毎に印刷装置５から印刷発行されたものである。この会議用として最適な紙シート７が書画カメラ３の撮影範囲内に載置されている状態において、ユーザ（会議参加者）が紙シート７上の所望する指標（マーク）８を指先でなどで指差しする指差し操作を行うと、書画カメラ３は、そのユーザがマーク８を指差している様子を撮影する。データ処理装置１は、書画カメラ３からその撮影画像を取得し、その撮影画像を解析することによって、どのマーク８がユーザ指定されたのかを判別して、そのマーク８に割り当てられているコマンドを入力するようにしている。なお、指差し操作は、マーク８に指先を接触させても接近させてもよく、どのマーク８がユーザ指定されたかを認識できれば、その接近具合も問わない。このように紙シート７は、マーク８への指差し操作とデータ処理装置１側の動作（マーク８の種類に応じた動作）とを連動させる際に使用される。

図３は、紙シート７を説明するための図である。
紙シート７は、複数種のマーク８が配列印刷された帯状の紙シートで、図示の例では、矩形のマーク８を２×４のマトリックス状に配列印刷した場合を例示している。紙シート７の上部右端側にはシート名「会議（１）」と共にシート識別情報（シートＩＤ）を示したバーコード情報９が印刷されている。各マーク８上の文字列は、入力されるコマンド名を明記したもので、例えは、図中、上段の左側のマーク７から“資料（１）”、“資料（２）”、“発言者（Ｓ１）”、“発言者（Ｓ２）”の文字列（コマンド名）が印刷され、また、下段の左側のマーク７から“発言者（Ｓ３）”、“発言”、“賛成”、“印刷”の文字列（コマンド名）が印刷されている。

ここで、“資料（１）”、“資料（２）”のマーク８は、その資料データの送信を要求する際にユーザ指定されるマークである。“発言者（Ｓ１）”、“発言者（Ｓ２）”、“発言者（Ｓ３）”のマーク８は、発言者の映像（顔画像）の送信を要求する際にユーザ指定されるマークである。“発言”のマーク８は、自己が発言する際に議長に対して調停を要求する際にユーザ指定されるマークである。“賛成”のマーク８は、相手の発言内容が良かった場合など、その発言者に賛同したことを伝える際にユーザ指定されるマークである。このように紙シート７に印刷されている各種のマーク８とそのマーク８の種類に応じた動作とは１対１に関連付けられている。なお、紙シート７上の各種マーク８は、アプリケーション毎に異なり、アプリケーション毎に異なる動作に関連付けられている。

図４は、紙シート７を利用してユーザが所望するマーク８を指差す指差し操作を行った場合に、そのマーク認識方法を説明するための図である。
紙シート７上のマーク８をユーザが指差している様子が書画カメラ３によって撮影されると、データ処理装置１は、その撮影画像を基に、どのマーク８が指示されたのかを次のようにして判別（認識）するようにしている。すなわち、紙シート７上の矩形マーク８の全体は、その赤色の矩形枠（赤枠）によって構成されている。書画カメラ３は、色フィルタ機能によって赤色のみを撮影する。

データ処理装置１は、書画カメラ３から取得した撮影画像の中からマーク８の矩形枠に最も近いサイズの赤枠画像を抽出する。図示の例では、資料（１）と資料（２）のマーク７の赤枠画像を抽出した場合を例示したもので、この赤枠画像の中からユーザの指差しによって赤枠が欠けた（指で切られた）部分を有する赤枠画像を特定し、その赤枠画像がユーザによって指差しされたマーク８として認識するようにしている。なお、図示の例では資料（１）と資料（２）のマーク７のうち、資料（２）のマーク８が指差し操作によってユーザ指定されたマーク８として認識された場合である。これによって資料（２）を入手して自己の端末画面に表示させることが可能となる。

図５は、内蔵カメラ付きデータ処理装置（例えば、ノート型のパーソナルコンピュータ）１の基本的な構成を示したブロック図である。
データ処理装置１の中核を成すＣＰＵ１１は、電源部１２からの電力供給によって動作し、記憶部１３内の各種のプログラムに応じてこのデータ処理装置１の全体動作を制御する中央演算処理装置である。記憶部１３は、各種のプログラムや情報を記憶するもので、図１０〜図１２に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラム領域１３ａのほか、このデータ処理装置１で必要とされる各種のデータを記憶するデータ領域１３ｂと、一時記憶用のワーク領域１３ｃを有し、データ領域１３ｂには、後述する構成ファイルＸ、マークテーブルＹ、シート管理テーブルＺなどが記憶されている。

通信部１４は、電子メール機能、インターネット接続機能などの動作時に、ブロードバンドの公衆通信網に接続（例えば、光通信接続）される。キー操作部１５は、押しボタン式の各種のキーを備え、データやコマンドを入力する。ポインティングデバイス（マウス）１６は、画面上のアイコン、ボタンを選択指定してデータやコマンドを入力する。ここで、本実施形態においては、現在実行中のアプリケーションで受付可能なコマンドを入力する手段として、上述のように紙シート７上を利用したコマンド入力に限らず、マウス１６を利用して表示画面上のアイコン、ボタンをポイント指定することによって同様のコマンドを入力したり、キー操作部１５のキー操作によって同様のコマンドを入力したりすることも可能としている。

表示部１７は、縦横比の異なる画面を有した高精細液晶ディスプレイあるいは有機ＥＬ（Electro Luminescence）ディスプレイで、作業画面などを表示する。内蔵カメラ１８は、対面するユーザ（会議参加者）を撮影するデジタルカメラで、図示省略したが、撮影レンズからの被写体像が撮像素子（ＣＣＤやＣＭＯＳなど）に結像されることにより静止画像、動画像を高精細に撮影可能となっている。外部接続部１９は、ＵＳＢ（Universal Serial Bus）コネクタを有し、会議用の資料などを撮影する書画カメラ３、ヘッドセット４、印刷装置５などが接続可能となっている。

図６は、アプリケーション実行中に表示される画面の構成ファイルＸを説明するための図である。
構成ファイルＸは、アプリケーション画面のレイアウト用で、アプリケーションの実行時に表示される画面上にアイコンをどこに配置するか、どのような大きさで配置するかなどの画面レイアウトの構成が設定されるファイルである。このような構成ファイルＸは、アプリケーションの画面毎に設けられ、一つのアプリケーションで複数の画面を使用する場合には、画面数に対応して複数の構成ファイルＸが設けられる。このように一つのアプリケーションに複数の構成ファイルＸが設けられている場合には、紙シート７は、構成ファイルＸ毎に用意されている。すなわち、紙シート７は、上述したようにアプリケーション毎に用意されたものであるが、更に、一つのアプリケーションに複数の構成ファイルＸが設けられている場合には、構成ファイルＸ毎に用意されている。

図示の例は、各種のアプリケーションＡ、Ｂ、Ｃの画面レイアウト用として、「構成ファイル（１）会議（１）」、「構成ファイル（２）会議（２）」、「構成ファイル（３）会議（３）」が設けた場合である。この「構成ファイル（１）会議（１）」には、内部テーブル（１１）、内部テーブル（１２）が設定され、「構成ファイル（２）会議（２）」には、内部テーブル（２１）、内部テーブル（２２）、内部テーブル（２３）が設定され、「構成ファイル（３）会議（３）」には、内部テーブル（３１）、内部テーブル（３２）が設定されている。

図７は、構成ファイルＸ内に設けられた内部テーブルの設定内容を具体的に示すと共に、この内部テーブルの設定内容に基づいて自動生成されたマークテーブルＹの内容を説明するための図である。
図示の例は、構成ファイルＸの内部テーブルとして、「構成ファイル（１）会議（１）」の内部テーブル（１１）、内部テーブル（１２）を示し、内部テーブル（１１）は「コマンド」、「マウス指示画面座標位置」、「キー」の各項目を有している。「コマンド」は、アプリケーション画面上に表示されるアイコンを示すと共にそのアイコンに割り当てられているコマンドを示し、図示の例は、“発言”、“賛成”、“印刷”、…が設定されている場合を示している。

「マウス指示画面座標位置」は、マウス操作によってアイコンを選択する場合のアイコン（“発言”、“賛成”、“印刷”、…）の座標位置を示している。図８は、アプリケーション画面上のアイコンの表示例を示した図である。図示のアプリケーション画面には、複数人の相手の顔画像が配置表示されていると共に、各種の資料として、資料（１）、資料（２）が配置表示され、更にアプリケーション画面上の所定位置には、複数のアイコンが表示されている状態を例示している。「マウス指示画面座標位置」は、このアプリケーション画面上のアイコンの表示座標位置を示している。「キー」は、マウス操作でのアイコン選択に代わるキー操作を示し、アイコン“発言”、“賛成”、“印刷”、に対応して、“Ｆ１”、“Ｆ２”、“Ｆ３”、…の各キーが割り当て設定されている。

内部テーブル（１２）は、「コマンド」、「マウス指示画面座標位置」、「キー」の各項目を有し、「コマンド」には、“資料（１）”、“資料（２）”、“資料（３）”、“発信者（Ｓ１）”、“発信者（Ｓ２）”、“発信者（Ｓ３）”、…が設定されている。このような内部テーブル（１１）、内部テーブル（１２）の設定内容に基づいてマークテーブルＹが自動生成される。マークテーブルＹは、アプリケーションの実行中に受付可能となる複数種のコマンドとこの各コマンドを表現した複数種のマーク８とを対応付けた紙シート７をアプリケーション毎に記憶管理する情報シートであり、「コマンド」、「マーク」の各項目を有している。また、マークテーブルＹには、各紙シート７の個々を識別するシートＩＤが記憶されている。

図示の例において、内部テーブル（１１）に対応するマークテーブルＹには、“発言”、“賛成”、“印刷”、…の「コマンド」に対応する「マーク」として、“Ｍ１”、“Ｍ２”、“Ｍ３”、…が設定され、内部テーブル（１２）に対応するマークテーブルＹには、“資料（１）”、“資料（２）”、“資料（３）”、“発言者（Ｓ１）”、“発言者（Ｓ２）”、“発言者（Ｓ３）”の「コマンド」に対応する「マーク」として、“Ｍ１１”、“Ｍ１２”、“Ｍ１３”、“Ｍ１４”、“Ｍ１５”、“Ｍ１６”が設定されている。更に、マークテーブルＹには、それを識別する「シートＩＤ」として“ＩＤ１”が設定されている。

図９は、シート管理テーブルＺを説明するための図である。
シート管理テーブルＺは、マークテーブルＹが自動生成される毎に、マークテーブルＹに関する情報を記憶管理するテーブルであり、「構成ファイルＩＤ」、「内部テーブルＩＤ」、「シートＩＤ」の各項目を有している。このようにシート管理テーブルＺは、各紙シート７の個々とアプリケーションの個々とを対応付けるシートＩＤをリンク情報として記憶管理するもので、図示の例は、「構成ファイルＩＤ」が“アプリケーションＡ（会議（１））”、「内部テーブルＩＤ」が“（１１）”、「シートＩＤ」が“ＩＤ１”が設定され、また、「構成ファイルＩＤ」が“アプリケーションＡ（会議（１））”、「内部テーブルＩＤ」が“（１２）”、「シートＩＤ」が“ＩＤ２”が設定され、更に「構成ファイルＩＤ」が“アプリケーションＡ（会議（２））”、「内部テーブルＩＤ」が“（２１）”、「シートＩＤ」が“ＩＤ３”のシート管理テーブルＺが設定されている場合である。

次に、本実施形態におけるデータ処理操作１の動作概念を図１０〜図１２に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。なお、図１０〜図１２は、データ処理装置１の全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図１０〜図１２のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。

図１０〜図１２は、起動対象のアプリケーションの選択に応じて実行開始されるデータ処理装置１の動作（本実施形態の特徴的な動作）を説明するためのフローチャートである。
先ず、データ処理装置１のＣＰＵ１１は、ユーザ操作などにより選択指定されたアプリケーションを起動（図１０のステップＳ１）させた後、そのデフォルト画面を表示部１７にレイアウト表示（ステップＳ２）させると共に、その構成ファイルＸの内部テーブルに対してデフォルト画面の表示内容に基づいてデフォルト設定を行う（ステップＳ３）。この状態において、ユーザ操作により画面構成の変更設定が指示されたかを調べる（ステップＳ４）。ここで、ユーザは、選択したアプリケーションの画面レイアウトを、例えば、会議（１）用として設定する場合には、その会議が開催される前に、その画面レイアウトを会議（１）用に適宜変更設定するために画面構成の変更設定を指示する。

いま、ユーザ操作により画面構成の変更設定が指示されたときには（ステップＳ４でＹＥＳ）、アイコン、ボタンの追加、削除など、画面レイアウトをユーザ操作に応じて任意に変更する処理を行う（ステップＳ５）。これによって画面レイアウトを変更すると、その変更後の画面レイアウトを構成ファイルＸとして登録することがユーザ操作によって指示されたかを調べる（ステップＳ６）。いま、その登録指示が無ければ（ステップＳ６でＮＯ）、上述のステップＳ４に戻るが、その登録指示が有れば（ステップＳ６でＹＥＳ）、アプリケーション画面上のアイコン、ボタンを抽出すると共に（ステップＳ７）、抽出したアイコン、ボタンを基に内部テーブルを設定する処理を行う（ステップＳ８）。この場合、抽出したアイコン、ボタン毎にそのアイコン、ボタンに割り当てられているコマンドを取得して、「コマンド」、「マウス指示画面座標位置」の各項目への設定を行うほかに、特定のアイコン、ボタンに対応してそのアイコン、ボタンに割り当てられているコマンドを入力する「キー」項目への設定を行う。

次に、ユーザ操作により画面構成の変更設定の終了が指示されたかを調べ（ステップＳ９）、変更設定の終了が指示されるまで（ステップＳ９でＮＯ）、上述のステップＳ４に戻り、以下、上述の動作を繰り返すが（ステップＳ４〜Ｓ９）、変更設定の終了が指示されたときには（ステップＳ９でＹＥＳ）、上述のように設定した内部テーブルを含む構成ファイルＸを記憶すると共に、その構成ファイルＩＤを生成して構成ファイルＸに付加する（ステップＳ１０）。次に、ユーザ操作によりマークテーブル（情報シート）Ｙの作成が指示されたかを調べ（ステップＳ１１）、その作成指示が無ければ（ステップＳ１１でＮＯ）、図１０〜図１２のフローの終了となる。

また、マークテーブルＹの作成指示が有れば（ステップＳ１１でＹＥＳ）、上述のステップＳ７で抽出した各アイコンに対応するマーク８を生成し（ステップＳ１２）、このマーク８を基にマークテーブルＹを自動生成する（ステップＳ１３）。この場合、抽出したアイコン、ボタン毎に、そのアイコン、ボタンに割り当てられているコマンドと、上述のようにして生成したマーク８とを対応付けたマークテーブルＹを自動生成する。そして、シートＩＤを生成してマークテーブルＹに記憶させる（ステップＳ１４）。これによってマークテーブルＹを生成すると、そのシートに関する情報として「構成ファイルＩＤ」、「内部テーブルＩＤ」、「シートＩＤ」の各項目を持ったレコードを生成してシート管理テーブルＺに追加登録する（ステップＳ１５）。

そして、「シートＩＤ」をバーコード情報９に変換して、そのバーコード情報９と共に、マークテーブルＹ内の各「マーク」を外部接続部１９から印刷装置５に送信して印刷出力させる（ステップＳ１６）。この場合、印刷装置５側では、所定の印刷フォームに応じてバーコード情報を所定の位置に印刷すると共に、マークテーブルＹの「マーク」を順次配列印刷させる。例えば、“マークＭ１”、“マークＭ２”を配列印刷させるが、この場合、“マークＭ１”にはコマンド名として“発言”、“マークＭ２”には、コマンド名として“賛成”が印刷される。

これによって紙シート７が自動発行されるが、この紙シート７は、アプリケーション毎（更にはアプリケーション実行中に表示される画面（構成ファイルＸ）毎）に生成される。すなわち、アプリケーション実行中に表示される画面が複数存在している場合には、そのアプリケーション画面毎にアイコン、ボタン（コマンド）を取得し、複数の画面毎に取得した各アイコン、ボタンに基づいて複数種のマークを生成し、複数の画面毎にマークテーブルＹを生成すると共に、複数の画面毎に紙シート７を印刷発行させる。このような印刷が終わると、図１０〜図１２のフローの終了となる。

一方、画面構成の変更設定が指示されなければ（ステップＳ４でＮＯ）、図１１のフローに移り、ユーザ操作により構成ファイルＸの読み出しが指示されたかを調べる（ステップＳ１７）。ここで、ユーザは、会議の開催に当たり、予め会議用として設定しておいた構成ファイルＸの読み出しをユーザ操作により指示する。いま、構成ファイルＸの読み出しが指示されたときには（ステップＳ１７でＹＥＳ）、シート管理テーブルＺを参照して、各構成ファイルＸの一覧を表示させる（ステップＳ１８）。そして、この一覧画面の中からユーザ操作によって任意の構成ファイルＸが選択指定されると（ステップＳ１９）、シート管理テーブルＺを参照して、その選択指定の構成ファイルＸから内部テーブルを読み出し（ステップＳ２０）、その内部テーブルの設定内容に応じたアプリケーション画面を表示部１７に表示させる（ステップＳ２１）。

このようにして所望する会議用のアプリケーション画面が表示されている状態において、書画カメラ３からの撮影画像を取得し（ステップＳ２２）、その撮影画像を解析することにより紙シート７上のいずれかのマーク８がユーザによる指差し操作によって指定されたかを調べる（ステップＳ２３）。ここで、マーク８が指差し操作によって指定されていなければ（ステップＳ２３でＮＯ）、キー操作又はマウス操作のいずれかが行われたかを調べ（ステップＳ２４）、キー操作又はマウス操作のいずれも行われなければ（ステップＳ２４でＮＯ）、上述のステップＳ２２に戻る。

いま、キー操作又はマウス操作を検出したときには（ステップＳ２４でＹＥＳ）、どのキーが操作されたのか、どのアイコンやボタンの位置がマウス操作されたのかに応じて，その操作キーに対応付けられているコマンド又はマウス操作された位置（アイコンやボタン）の個々に対応付けられているコマンドを内部テーブルから読み出し（ステップＳ２５）、そのコマンドに応じた動作の実行を、現在実行中のアプリケーションに対して指示する（ステップＳ２６）。

このようなアプリケーションの動作実行により他の内部テーブルへの移行を要するかを調べ（ステップＳ２７）、他の内部テーブルへの移行が不要なときには（ステップＳ２７でＮＯ）、上述のステップＳ２２に戻って操作待ち状態となるが、他の内部テーブルへの移行を要するときには（ステップＳ２７でＹＥＳ）、当該他の内部テーブルを読出対象として指定（ステップＳ２８）した後、上述のステップＳ２０に戻り、その内部テーブルの設定内容を読み出し、以下、上述の動作を繰り返す。

また、書画カメラ３からの撮影画像を解析することにより紙シート７上のいずれかのマーク８が指差し操作によって指定されたときには（ステップＳ２３でＹＥＳ）、図１２のフローに移り、撮影画像を解析することにより紙シート７上のバーコード情報を読み込んでシートＩＤに変換する（ステップＳ２９）。そして、現在実行中の構成ファイルＸの内部テーブルに対応付けられている「シートＩＤ」をシート管理テーブルＺから読み出し、紙シート７から読み込んだシートＩＤと比較して両者は一致するかを調べる（ステップＳ３０）。つまり、書画カメラ３の前に置いた紙シート７は、現在実行中のアプリケーション画面に対応する紙シート７であるかを調べる。

いま、両者の不一致を検出したときには（ステップＳ３０でＮＯ）、現在実行中のアプリケーション画面に対応する紙シート７ではないので、予め任意に設定されている優先フラグ（図示省略）を参照し、紙シート７から読み込んだシートＩＤをシート管理テーブルＺから読み出したシートＩＤよりも優先するかを調べる（ステップＳ３１）。つまり、書画カメラ３の前に置いた紙シート７を現在実行中のアプリケーション画面よりも優先するかを調べ、優先しないことが設定されているときには（ステップＳ３０でＮＯ）、つまり、シート管理テーブルＺから読み出したシートＩＤを優先する場合には、紙シート７の交換を要求するメッセージを表示（ステップＳ３６）させた後、図１１のステップＳ２２に戻る。

また、紙シート７から読み込んだシートＩＤを優先する場合には（ステップＳ３１でＹＥＳ）、このシートＩＤに基づいてシート管理テーブルＺを参照し、それに対応付けられている構成ファイルＸを読み出し（ステップＳ３２）、現在実行中のアプリケーションと同一であるかを調べる（ステップＳ３３）。つまり、シートＩＤは一致しないが、アプリケーションは同一であるかを調べ、同一のアプリケーションであれば（ステップＳ３３でＹＥＳ）、例えば、紙シート７から読み込んだシートＩＤが“ＩＤ１”、シート管理テーブルＺから読み出したシートＩＤが“ＩＤ２”の場合、アプリケーションは“Ａ”で同一であるため、次のステップＳ３４に移り、その構成ファイルＸから内部テーブルを読み出してレイアウト表示させる（ステップＳ３５）。また、両者のアプリケーションが同一でなければ（ステップＳ３３でＮＯ）、紙シート７から読み込んだシートＩＤ対応のアプリケーションを起動（ステップＳ３４）させた後、その構成ファイルＸから内部テーブルを読み出してレイアウト表示させる（ステップＳ３５）。

また、紙シート７から読み込んだシートＩＤとシート管理テーブルＺから読み出したシートＩＤとが一致する場合には（ステップＳ３０でＹＥＳ）、書画カメラ３による紙シート７の撮影画像を解析することによりユーザによって指示され紙シート７上のマーク８を認識し（ステップＳ３７）、そのマーク８に基づいてマークテーブルＹを参照することによって（ステップＳ３８）、そのマーク８に対応するコマンドを読み出すと共に（ステップＳ３８）、そのコマンドに応じた動作の実行を現在実行中のアプリケーションに対して指示する（ステップＳ３９）。その後、図１１のステップＳ２７に移る。

以上のように、本実施形態においてデータ処理装置１は、現在実行中のアプリケーションで受付可能となる複数種の指示情報（コマンド）に対応する各指標（マーク）８が配列印刷されている紙シート７上において、ユーザが任意のマーク８を指差すと、そのマーク８を判別すると共に、そのマーク８に基づいてマークテーブルＹを参照することによりそのマーク８に対応するコマンドを選択し、そのコマンドにしたがった動作を現在実行中のアプリケーションに行わせるようにしたので、紙シート７上の各マーク８の配列をアプリケーション単位とすることができ、ユーザにあっては、数少ないマーク配列の中から所望のマーク８を指差すだけで、そのマーク８に割り当てられている動作を実行させることができ、操作性の更なる向上を期待することが可能となる。すなわち、アプリケーション実行中（会議中）の画面全体は、図８に示したように煩雑で見づらく、正確な位置で操作する必要があり、操作に不慣れなユーザにあっては、操作性の悪いものとなっていたが、アプリケーション単位の紙シート７上で任意のマーク８を指差す指差し操作だけで良いために操作性の向上を期待することが可能となり、会議に専念することができる。

ＣＰＵ１１は、紙シート７から取得したバーコード情報（シートＩＤ）に基づいてシート管理テーブルＺを参照することによりそのシートＩＤ対応のアプリケーションを特定し、このアプリケーションが現在実行中である場合に、紙シート７上でユーザ指定された任意のマーク８を判別するようにしたので、紙シート７からアプリケーションを特定することができると共に、そのアプリケーションが現在実行中である場合に紙シート７を使用したマーク指定を有効とすることができ、紙シート７とアプリケーションとの対応関係を維持することが可能となる。

紙シート７から特定したアプリケーションが現在実行中ではない場合に、その旨をメッセージ表示によって報知するようにしたので、ユーザにあっては紙シート７の交換を行うことにより、紙シート７とアプリケーションとの対応関係を維持することが可能となる。

紙シート７から特定したアプリケーションが現在実行中ではない場合に、そのアプリケーションを起動させるようにしたので、ユーザにあっては特別な操作を行うこと無しに紙シート７とアプリケーションとの対応関係を維持することが可能となる。

現在実行中のアプリケーションで受付可能なコマンドを入力する手段として、紙シート７上を利用したコマンド入力に限らず、マウス１６を利用して表示画面上のアイコンをポイント指定することによってコマンドを入力することもできるので、操作に慣れたユーザにあっては、入力手段を選択することができ、使い勝手が良くなる。

現在実行中のアプリケーションで受付可能なコマンドを入力する手段として、紙シート７を利用したコマンド入力に限らず、キー操作によってコマンドを入力することもできるので、操作に慣れたユーザにあっては、入力手段を選択することができ、使い勝手が良くなる。

マークテーブルＹは、一つのアプリケーション内の構成ファイルＸ毎にその構成ファイルＸを当該アプリケーションが実行した際に受付可能となる複数種のコマンドと、この各コマンドを表現した複数種のマーク８とを対応付けて記憶管理するようにしたので、アプリケーションの実行時に表示される画面レイアウトの構成と複数種のマーク８とを対応付けることが可能となる。

アプリケーションの実行中に受付可能となる複数種のコマンドを取得して、この各コマンドを表現するマーク８を生成してマークテーブルＹに記憶するようにしたので、マークテーブルＹの自動生成が可能となる。

紙シート７上で任意のマーク８がユーザ指定されている状態を書画カメラ３で撮影された際に、データ処理装置１は、その撮影画像を解析することによってどのマーク８が指定されたかを判別するようにしたので、ユーザにあってはマーク８の方向を指差すだけでアプリケーション処理が可能となる。

アプリケーションの実行中に受付可能となる複数種のコマンドを取得すると共に、各コマンドを表現した複数種のマーク８を生成し、この複数種のコマンドと複数種のマークとを対応付けてマークテーブルＹに記憶させると共に、生成した複数種のマークを配列出力するようにしたので、ユーザにあっては、自動生成された紙シート７上で任意のマーク８を指差すだけで、そのマーク８に割り当てられている動作を実行させることができ、操作性の更なる向上を期待することが可能となる。

アプリケーションの実行中に受付可能となる複数種のコマンドは、マウス１６の操作によりポイント指定が可能な表示画面上の各アイコンやボタンに割り当てられているコマンドとすることもできるので、現在実行中のアプリケーションで受付可能なコマンドを入力する手段として、紙シート７上を利用したコマンド入力に限らず、マウス１６を利用してのコマンド入力も可能となり、操作に慣れたユーザにあっては、入力手段を選択することができ、より使い勝手の向上を期待することができる。

アプリケーションの実行中に受付可能となる複数種のコマンドは、キー操作部１５上の各キーに割り当てられているコマンドとすることもできるので、現在実行中のアプリケーションで受付可能なコマンドを入力する手段として、紙シート７上を利用したコマンド入力に限らず、キー操作によるコマンド入力も可能となり、操作に慣れたユーザにあっては、入力手段を選択することができ、より使い勝手の向上を期待することが可能となる。

アプリケーション実行中に表示される複数の画面（構成ファイルＸ）毎に受付可能となる複数種のコマンドを取得し、複数の画面毎に取得した各コマンドに基づいて複数種のマークを生成し、複数の画面毎に、複数種のコマンドと複数種のマークとを対応付けてマークテーブルＹに記憶させると共に、複数の画面毎に、生成した複数種のマークを配列出力するようにしたので、アプリケーション実行中に表示される複数の画面毎に紙シート７を自動生成することができる。

なお、上述した実施形態においては、紙シート７を利用してユーザが所望するマーク８を指差す指差し操作を行った場合に、そのマーク認識方法として、図４に示したように、各マーク８の中から指差しによって赤枠が欠けた（指で切られた）部分を有する赤枠画像を特定し、その赤枠画像がユーザによって指差しされたマーク８として認識するようにしたが、一部が欠けた赤枠画像が複数存在するような場合には、その複数の赤枠画像の中からその一つを次のようにして選択するようにしてもよい。

例えば、図１３に示すように紙シート７上に３行×４列にわたってマーク８が配列印刷されている場合には、指差しによって複数のマーク８（図中、塗り潰したマーク部分）、つまり、図示の例では上から２行目左から３列目のマーク８と、３行３列目及び４列目のマーク８の一部が欠けた（指で切られた）状態となる。このような場合、一部が欠けた複数のマーク８のうち、例えば、最も上側のマーク８、図示の例では、２行３列目のマーク８を特定し、そのマーク８をユーザによって指差しされたマーク８として認識するようにしてもよい。なお、指差しする方向によっては、最も左側のマーク８あるいは最も右側のマーク８を指差しされたマーク８として認識するようにしてもよい。

上述した実施形態においては、複数種のマーク８が配列印刷されている紙シート７を印刷発行するようにしたが、表示部１７上に複数種のマーク８を配列表示させるようにしてもよい。このように複数種のマーク８を配列表示させるようにすれば、印刷装置５が不要となる。

上述した実施形態においては、ユーザが紙シート７上のマーク８を指差している状態を書画カメラ３で撮影するようにしたが、表示パネル上にタッチパネルを配置したタッチ表示部（図示省略）を設け、このタッチ表示部に複数種のマーク８を配列表示させている状態において、ユーザが任意のマーク表示位置をタッチした際に、タッチされたマークを認識するようにしてもよい。このように複数種のマーク８を配列表示させるようにすれば、印刷装置５及び書画カメラなどの撮像装置が不要となる。

上述した実施形態においては、コマンドを表現した複数種の指標としてマーク８を示したが、マークに限らず、文字列、記号などであってもよい。また、例えば、指標の数が少ないような場合には、上下左右の位置・領域を複数種の指標としてもよい。

また、上述した実施形態においては、ビデオ会議システムに適用した場合を例示したが、ビデオ会議以外の通信システムであってもよく、更にシステムに限らず、データ処理装置単体であってもよい。更に、データ処理装置としては、ディスクトップ型やノート型のパーソナルコンピュータ、タブレット端末などの携帯端末装置であってもよく、スマートフォンなどの携帯電話機、電子ゲーム、音楽プレイヤー、デジタルカメラであってもよい。また、

また、上述した実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
複数のアプリケーションを備え、アプリケーション毎にその実行に応じて対応するデータ処理を行うデータ処理装置であって、
アプリケーション毎にそのアプリケーションの実行中に受付可能となる複数種の指示情報とこの各指示情報を表現した複数種の指標とを対応付けて記憶管理する指標記憶手段と、
現在実行中のアプリケーションで受付可能となる複数種の指示情報に対応する各指標が配列出力されている出力媒体内からユーザ操作によって任意に指定された指標を判別する判別手段と、
前記判別手段によって判別された指標に基づいて前記指標記憶手段を参照することによりその指標に対応する指示情報を選択する選択手段と、
前記選択手段によって選択された指示情報にしたがった動作を現在実行中のアプリケーションに行わせるための制御を行う制御手段と、
を備えたことを特徴とするデータ処理装置である。
（請求項２）
請求項２に記載の発明は、請求項１に記載のデータ処理装置において、
前記指標記憶手段は、アプリケーションの実行中に受付可能となる複数種の指示情報とこの各指示情報を表現した複数種の指標とを対応付けた情報シートをアプリケーション毎に記憶管理すると共に、前記情報シートの個々とアプリケーションの個々とを対応付けるリンク情報を記憶管理し、
前記複数種の指標が配列出力されていると共に前記リンク情報が出力されている出力媒体内から当該リンク情報を取得する取得手段と、
前記取得手段によって取得したリンク情報に基づいて前記指標記憶手段を参照することによりそのリンク情報に対応付けられているアプリケーションを特定する特定手段と、
を更に備え、
前記判別手段は、前記特定手段により特定されたアプリケーションが現在実行中である場合に、前記出力媒体内からユーザ操作によって任意に指定された指標を判別する、
ようにしたことを特徴とするデータ処理装置である。
（請求項３）
請求項３に記載の発明は、請求項２に記載のデータ処理装置において、
前記特定手段によって特定されたアプリケーションが現在実行中ではない場合に、その旨を報知する報知手段を更に備える、
ようにしたことを特徴とするデータ処理装置である。
（請求項４）
請求項４に記載の発明は、請求項２に記載のデータ処理装置において、
前記特定手段によって特定されたアプリケーションが現在実行中ではない場合に、そのアプリケーションを起動させる起動手段を更に備える、
ようにしたことを特徴とするデータ処理装置である。
（請求項５）
請求項５に記載の発明は、請求項１〜請求項４のいずれかに記載のデータ処理装置において、
表示画面上に表示されているアイコンあるいはボタンをポイント指定することによって前記現在実行中のアプリケーションで受付可能となる指示情報を入力するポインティング入力手段を備え、
前記制御手段は、前記ポインティング入力手段によって入力された指示情報、前記選択手段によって選択された指示情報のいずれかに応じて、その指示情報にしたがった動作を現在実行中のアプリケーションに行わせるための制御を行う、
ようにしたことを特徴とするデータ処理装置である。
（請求項６）
請求項６に記載の発明は、請求項１〜請求項４のいずれかに記載のデータ処理装置において、
前記現在実行中のアプリケーションで受付可能となる指示情報をキー操作によって入力するキー入力手段を備え、
前記制御手段は、前記キー入力手段によって入力された指示情報、前記選択手段によって選択された指示情報のいずれかに応じて、その指示情報にしたがった動作を現在実行中のアプリケーションに行わせるための制御を行う、
ようにしたことを特徴とするデータ処理装置である。
（請求項７）
請求項７に記載の発明は、請求項１〜請求項６のいずれかに記載のデータ処理装置において、
前記指標記憶手段は、一つのアプリケーション内の構成ファイル毎に、その構成ファイルを当該アプリケーションで実行した際に受付可能となる複数種の指示情報と、この各指示情報を表現した複数種の指標とを対応付けて記憶管理する、
ようにしたことを特徴とするデータ処理装置である。
（請求項８）
請求項８に記載の発明は、請求項１〜請求項７のいずれかに記載のデータ処理装置において、
アプリケーションの実行中に受付可能となる複数種の指示情報を取得してこの各指示情報を表現する指標を生成する指標生成手段を更に備え、
前記指標記憶手段は、前記取得された各指示情報と前記生成された各指標とを対応付けて記憶管理する、
ようにしたことを特徴とするデータ処理装置である。
（請求項９）
請求項９に記載の発明は、請求項１〜請求項８のいずれかに記載のデータ処理装置において、
前記判別手段は、前記各指標が配列印刷されている紙媒体あるいは前記各指標が配列表示されている表示媒体内からユーザ操作によって任意の指標が指定された状態を撮像手段によって撮影された画像を解析することによってどの指標が指定されたかを判別する、
ようにしたことを特徴とするデータ処理装置である。
（請求項１０）
請求項１０に記載の発明は、請求項１〜請求項８のいずれかに記載のデータ処理装置において、
前記判別手段は、前記各指標が配列表示されているタッチ表示部上においてユーザ操作によってタッチされた位置に基づいてどの指標が指定されたかを判別する、
ようにしたことを特徴とするデータ処理装置である。
（請求項１１）
請求項１１に記載の発明は、
複数のアプリケーションを備え、アプリケーション毎にその実行に応じて対応するデータ処理を行うデータ処理装置であって、
アプリケーションの実行中に受付可能となる複数種の指示情報を取得する取得手段と、
前記取得手段によって取得された複数種の指示情報毎に、各指示情報を表現した複数種の指標を生成する生成手段と、
前記取得手段によって取得された複数種の指示情報と前記生成手段によって生成された複数種の指標とを対応付けて記憶管理する指標記憶手段と、
前記生成手段によって生成された複数種の指標を配列出力する出力手段と、
を備えたことを特徴とするデータ処理装置である。
（請求項１２）
請求項１２に記載の発明は、請求項１１に記載のデータ処理装置において、
アプリケーションの実行中に受付可能となる複数種の指示情報は、ポインティング入力手段によりポイント指定が可能な表示画面上の各アイコンあるいは各ボタンに割り当てられている指示情報である、
ことを特徴とするデータ処理装置である。
（請求項１３）
請求項１３に記載の発明は、請求項１１あるいは請求項１２に記載のデータ処理装置において、
アプリケーションの実行中に受付可能となる複数種の指示情報は、キー入力手段上の各キーに割り当てられている指定情報である、
ことを特徴とするデータ処理装置である。
（請求項１４）
請求項１４に記載の発明は、請求項１１〜請求項１３のいずれかに記載のデータ処理装置において、
前記取得手段は、前記アプリケーション実行中に表示される複数の画面毎に受付可能となる複数種の指示情報を取得し、
前記生成手段は、前記アプリケーション実行中に表示される複数の画面毎に前記取得手段により取得した各指示情報に基づいて複数種の指標を生成し、
前記指標記憶手段は、前記アプリケーション実行中に表示される複数の画面毎に前記取得手段によって取得された複数種の指示情報と前記生成手段によって生成された複数種の指標とを対応付けて記憶管理し、
前記出力手段は、前記アプリケーション実行中に表示される複数の画面毎に前記生成手段によって生成された複数種の指標を配列出力する、
ようにしたことを特徴とするデータ処理装置である。
（請求項１５）
請求項１５に記載の発明は、請求項１１〜請求項１５のいずれかに記載のデータ処理装置において、
前記出力手段は、前記生成手段によって生成された複数種の指標を紙媒体に配列印刷、あるいは表示媒体に配列表示する、 ようにしたことを特徴とするデータ処理装置である。
（請求項１６）
請求項１６に記載の発明は、
コンピュータに対して、
アプリケーション毎にそのアプリケーションの実行中に受付可能となる複数種の指示情報とこの各指示情報を表現した複数種の指標とを対応付けて記憶管理する機能と、
現在実行中のアプリケーションで受付可能となる複数種の指示情報に対応する各指標が配列出力されている出力媒体内からユーザ操作によって任意に指定された指標を判別する機能と、
前記判別された指標に基づいて前記指標記憶手段を参照することによりその指標に対応する指示情報を選択する機能と、
前記選択された指示情報にしたがった動作を現在実行中のアプリケーションに行わせるための制御を行う機能と、
を実現させるためのプログラムである。
（請求項１７）
請求項１７に記載の発明は、
コンピュータに対して、
アプリケーションの実行中に受付可能となる複数種の指示情報を取得する機能と、
前記取得された複数種の指示情報毎に、各指示情報を表現した複数種の指標を生成する機能と、
前記取得された複数種の指示情報と前記生成された複数種の指標とを対応付けて記憶管理する機能と、
前記生成された複数種の指標を配列出力する機能と、
を実現させるためのプログラムである。

１ データ処理装置
３ 書画カメラ
５ 印刷装置
１１ ＣＰＵ
１３ 記憶部
１５ キー操作部
１６ マウス
１７ 表示部
１８ 内蔵カメラ
１９ 外部接続部
Ｘ 構成ファイル
Ｙ マークテーブル
Ｚ シート管理テーブル

本発明は、データ処理装置及びプログラムに関する。

請求項１は、表示画面上に表示される表示選択肢に対する選択でデータ処理を実行するデータ処理装置であって、表示画面上に表示される複数の表示選択肢の内で、任意の表示選択肢の表示位置がユーザにより指示された場合には、その指示された表示位置の表示選択肢を選択する第１選択手段と、前記複数の表示選択肢に対応する複数のマークが配置された媒体上において、何れかのマークの位置がユーザにより指示された際は、その指示された位置のマークを判別する判別手段と、複数のマークを識別するマーク識別情報を前記各表示選択肢に対応して記憶する記憶手段を参照することで、前記判別手段で判別したマークに対応する表示選択肢を選択する第２選択手段と、を具備したことを特徴とする。

請求項５は、表示画面上に表示される表示選択肢に対する選択でデータ処理を実行するデータ処理装置であって、表示画面上に表示される複数の表示選択肢に対応する複数のマークが配置された媒体の媒体識別情報を取得する取得手段と、複数のアプリケーションに対応付けて媒体識別情報を記憶する記憶手段を参照することで、前記取得手段で取得した媒体識別情報に対応するアプリケーションを特定する特定手段と、前記特定手段で特定されたアプリケーションの実行で表示される表示選択肢を前記表示画面上に表示する表示制御手段と、を具備したことを特徴とする。

Claims (14)

1. 表示画面上に所定レイアウトで表示される複数の表示選択肢に対する選択でデータ処理
   を実行するデータ処理装置であって、
   前記複数の表示選択肢のそれぞれに対応する複数のマークが前記所定レイアウトとは異
   なるレイアウトで配列される媒体上で、何れかの任意のマークの位置がユーザにより指示
   されたことを検出した際は、その検出された位置のマークを判別する判別手段と、
   前記判別手段により判別されたマークに対応する表示選択肢の前記表示画面上における
   表示位置を、前記複数の表示選択肢毎に、その個々の表示選択肢に対応する複数のマーク
   と前記表示画面上における複数の表示位置とを対応付けて記憶する記憶手段を参照するこ
   とで特定し、前記表示画面上に表示される複数の表示選択肢の内で、その特定された表示
   位置に表示される表示選択肢を選択する選択手段と、
   を具備したことを特徴とするデータ処理装置。
2. 前記選択手段は、前記複数の表示選択肢が前記表示画面上で表示されている状態で、前
   記媒体上の任意のマーク位置がユーザにより指示された際は、前記選択手段により、その
   指示されたマーク位置のマークに対応する表示選択肢を選択し、一方、前記表示画面上に
   表示される複数の表示選択肢の内の任意の表示位置がユーザにより直接指示された際は、
   その指示された表示位置の表示選択肢を選択する、
   ことを特徴とする請求項１に記載のデータ処理装置。
3. 前記複数のマークが配列される媒体が、前記表示画面上に表示される複数の表示選択肢
   に対応するマークが配列される媒体ではない場合には、そのマークが配列される媒体が前
   記表示画面に表示される表示選択肢に対応する媒体でないことを報知する、
   ことを特徴とする請求項１又は２に記載のデータ処理装置。
4. 前記複数のマークが配列される媒体が、前記表示画面上に表示される複数の表示選択肢
   に対応するマークが配列される媒体ではない場合には、前記表示画面上に表示される表示
   内容を、前記マークが配列される媒体に対応する表示選択肢を含む表示内容に更新して前
   記表示画面上に表示させる、
   ことを特徴とする請求項１又は２に記載のデータ処理装置。
5. 前記記憶手段に記憶される複数の表示選択肢と、その複数の表示選択肢毎に、個々の表
   示選択肢に対応づけて記憶される複数のマークと前記表示画面上における複数の表示位置
   とは、複数のアプリケーション毎に記憶され、
   前記選択手段は、任意に選択されたアプリケーションの実行により表示される表示選択
   肢の内の何れかを選択する、
   ことを特徴とする請求項１〜４の何れかに記載のデータ処理装置。
6. 前記判別手段は、前記各マークが配列印刷されている印刷媒体あるいは前記各マークが
   配列表示されている表示媒体上において、ユーザ操作によって任意のマークが指示された
   状態を撮像手段によって撮影された画像を解析することによって、どのマークが指示され
   たかを判別する、
   ようにしたことを特徴とする請求項１〜５の何れかに記載のデータ処理装置。
7. 前記判別手段は、前記各マークが配列表示されているタッチ表示部上においてユーザ操
   作によってタッチされた位置に基づいてどのマークが指定されたかを判別する、
   ようにしたことを特徴とする請求項１〜５の何れかに記載のデータ処理装置。
8. 表示画面上に所定レイアウトで表示される複数の表示選択肢に対する選択でデータ処理
   を実行するデータ処理装置であって、
   前記表示画面上に表示される複数の表示選択肢を抽出し、その複数の表示選択肢毎に、
   その各表示選択肢を表現した複数のマークを生成する生成手段と、
   前記生成手段で生成された複数のマークを、前記表示画面上で表示される複数の表示選
   択肢のレイアウトとは異なるレイアウトで配列して所定媒体上に印刷出力する出力手段と
   、
   を具備したことを特徴とするデータ処理装置。
9. 前記生成手段は、前記表示画面上に表示される表示選択肢とその表示レイアウトが異な
   る複数の表示内容毎に、その各表示選択肢を表現した複数のマークを生成し、
   前記出力手段は、前記生成手段で生成された複数のマークを、前記複数のアプリケーシ
   ョン毎に印刷出力する、
   ことを特徴とする請求項８に記載のデータ処理装置。
10. 前記生成手段は、複数のアプリケーション毎に、その個々のアプリケーションを実行し
    た際に表示される複数の表示選択肢毎に、その各表示選択肢を表現した複数のマークを生
    成し、
    前記出力手段は、前記生成手段で生成された複数のマークを、前記複数のアプリケーシ
    ョン毎に印刷出力する、
    ことを特徴とする請求項８に記載のデータ処理装置。
11. 前記表示画面上に表示される複数の表示選択肢に関して、その表示選択肢の当該表示画
    面上における表示位置情報を前記個々の選択肢毎に取得する取得手段と、
    前記取得手段で取得された前記複数の表示位置情報を前記個々の表示選択肢に対応付け
    て記憶するよう制御すると共に、前記生成手段で生成された複数のマークを前記個々の表
    示選択肢に対応付けて記憶するよう制御する記憶制御手段と、
    を更に具備したことを特徴とする請求項８〜１０の何れかに記載のデータ処理装置。
12. 前記所定媒体上で、何れかの任意のマークの位置がユーザにより指示されたことを検出
    した際は、その検出された位置のマークを判別する判別手段と、
    前記判別手段により判別されたマークに対応する表示選択肢の前記表示画面上における
    表示位置を、前記記憶制御手段で記憶制御された前記複数の表示選択肢毎の複数のマーク
    と前記複数の表示位置情報とを参照することで特定し、前記表示画面上に表示される複数
    の表示選択肢の内で、その特定された表示位置に表示される表示選択肢を選択する選択手
    段と、
    を更に具備したことを特徴とする請求項１１に記載のデータ処理装置。
13. 表示画面上に所定レイアウトで表示される複数の表示選択肢に対する選択でデータ処理
    を実行するデータ処理装置のコンピュータを制御するためのプログラムであって、
    前記コンピュータを、
    前記複数の表示選択肢のそれぞれに対応する複数のマークが前記所定レイアウトとは異
    なるレイアウトで配列される媒体上で、何れかの任意のマークの位置がユーザにより指示
    されたことを検出した際は、その検出された位置のマークを判別する判別手段、
    前記判別手段により判別されたマークに対応する表示選択肢の前記表示画面上における
    表示位置を、前記複数の表示選択肢毎に、その個々の表示選択肢に対応する複数のマーク
    と前記表示画面上における複数の表示位置とを記憶する記憶手段を参照することで特定し
    、前記表示画面上に表示される複数の表示選択肢の内で、その特定された表示位置に表示
    される表示選択肢を選択する選択手段、
    として機能させるためのプログラム。
14. 表示画面上に所定レイアウトで表示される複数の表示選択肢に対する選択でデータ処理
    を実行するデータ処理装置のコンピュータを制御するためのプログラムであって、
    前記コンピュータを、
    前記表示画面上に表示される複数の表示選択肢を抽出し、その複数の表示選択肢毎に、
    その各表示選択肢を表現した複数のマークを生成する生成手段、
    前記生成手段で生成された複数のマークを、前記表示画面上で表示される複数の表示選
    択肢のレイアウトとは異なるレイアウトで配列して所定媒体上に印刷出力する出力手段、
    として機能させるためのプログラム。

Images