JP2008009572A

JP2008009572A - ドキュメント処理システム、ドキュメント処理方法及びプログラム

Info

Publication number: JP2008009572A
Application number: JP2006177375A
Authority: JP
Inventors: Kizashi Toki; 萌時; Taro Terao; 太郎寺尾
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2006-06-27
Filing date: 2006-06-27
Publication date: 2008-01-17
Also published as: US8418048B2; US20070296695A1

Abstract

【課題】内容に関わらずドキュメントの現物を用いて指示入力ができるユーザインタフェースを実現すること。
【解決手段】コンピュータ１２は、ドキュメントの現物２４におけるユーザの指示位置（カーソル画像３０の位置）を取得し、ドキュメントデータベース３６は、前記ドキュメントのレイアウトデータ及び該レイアウトデータに関連づけられた前記ドキュメントの内容データを記憶する。そして、コンピュータ１２は、ドキュメントデータベース３６に記憶される前記レイアウトデータ及びユーザの指示位置に基づいて、同ドキュメントデータベース３６に記憶される前記内容データから前記ユーザの指示位置のデータを取得するとともに、取得されるデータを文書作成等のコンピュータプログラムに従って処理する。
【選択図】図１

Description

本発明はドキュメント処理システム、ドキュメント処理方法及びプログラムに関し、特に、ドキュメントの現物を用いるユーザインタフェースに関する。

下記特許文献１には、ドキュメント（書類）の現物上にカーソルの画像をプロジェクタにより投影するとともに、そうしてカーソルの画像が投影されたドキュメントの画像を撮影しておき、ユーザがカーソルの画像を移動させてドキュメント上の位置を指示すると、その位置の撮像画像を切り出して、これに対して文字や図形の認識処理を施す装置が知られている（特許文献１参照）。この装置によれば、ユーザは、ドキュメントの現物を用いて、その内容に関連した情報処理を指示することができる。
特開平０９−３１９５５６号公報

しかしながら、上記背景技術では、ドキュメントの撮像画像に対して文字や図形の認識処理を施すので、そうした認識処理に不向きなドキュメント、例えば微少な文字を含むドキュメント等を使用するのが困難であるという問題があった。一方、時代的背景として、紙文書に対応する電子データが殆ど存在するいま、ユビギタス環境を想定し、ユーザがＩＴのことを意識することなく、通常の操作で物理媒体から電子データを取出せるＵＩが求められている。

本発明は上記課題に鑑みてなされたものであって、内容に関わらずドキュメントの現物を用いて指示入力ができるユーザインタフェースを備えたドキュメント処理システム、ドキュメント処理方法及びプログラムを提供することにある。

上記課題を解決するために、本発明に係るドキュメント処理システムは、ドキュメントの現物におけるユーザの指示位置を取得する指示位置取得手段と、前記ドキュメントのレイアウトデータ及び該レイアウトデータに関連づけられた前記ドキュメントの内容データを記憶するデータ記憶手段と、前記データ記憶手段に記憶される前記レイアウトデータ及び前記指示位置に基づいて、前記データ記憶手段に記憶される前記内容データから前記指示位置のデータを取得するデータ取得手段と、前記データ取得手段により取得されるデータを処理するデータ処理手段と、を含むことを特徴とする。

本発明の一態様では、前記ドキュメントの現物が配置された投影対象領域内にコンピュータプログラムに関する画像を投影する投影手段をさらに含み、前記データ処理手段は、前記ユーザにより前記コンピュータプログラムに関する画像に対する指示に基づいて、前記データ取得手段により取得されるデータを前記コンピュータプログラムに従って処理する。

この態様では、前記コンピュータプログラムに関する画像がコンピュータプログラムとしてのアプリケーションソフトウエアに関するメニュー含む操作指示のための画像及び処理内容を表示する領域を示す画像のうち少なくとも1つであってよい。

あるいは、前記処理内容を表示する領域がウインドウであり、前記データ処理手段が処理結果のデータを、投影手段を介して当該ウインドウに表示してよい。

また、本発明の一態様では、データ処理手段の処理結果を表示画面上に表示する表示装置を含み、前記投影手段は、前記投影対象領域内に前記ユーザの現在の指示位置を示す画像をさらに投影し、指示位置が所定の投影領域を外れた場合には、処理結果を前記表示手段の表示画面に表示する。

また、本発明の一態様では、前記データ取得手段によりデータが取得される場合に、該データの取得に関する情報を履歴として記録するデータ取得情報記録手段をさらに含む。

また、本発明の一態様では、前記データ記憶手段が、内容データの代りに内容データの格納先アドレスを記憶し、データ取得手段は格納先アドレスが示す記憶手段から内容データに基づくデータを取得する。

また、本発明の一態様では、前記投影手段は、前記投影対象領域内に前記ユーザの現在の指示位置を示す画像をさらに投影する。

この態様では、前記ドキュメントはそれぞれ記述を含む１又は複数の部分領域を備え、前記投影手段は、前記ユーザの指示位置を示す画像がいずれかの前記部分領域上に投影される場合に、前記レイアウトデータに基づいて、該部分領域を識別する領域識別画像を前記投影対象領域内に投影し、前記データ取得手段は、前記データ記憶手段に記憶される前記内容データから、前記領域識別画像により識別される前記部分領域に含まれる記述のデータを取得するようにしてよい。

また、本発明の一態様では、前記ドキュメントの現物には前記ドキュメントを識別する識別情報が記録され、前記ドキュメントの現物に記録された識別情報に基づいて、前記ドキュメントを特定するドキュメント特定手段をさらに含み、前記データ取得手段は、特定される前記ドキュメントの前記レイアウトデータ及び前記ユーザの指示位置に基づいて、特定される前記ドキュメントの前記内容データから前記ユーザの指示位置のデータを取得する。

また、本発明に係るドキュメント処理方法は、ドキュメントの現物におけるユーザの指示位置を取得する指示位置取得ステップと、データ記憶手段に記憶される前記ドキュメントのレイアウトデータ及び前記指示位置に基づいて、前記データ記憶手段に記憶される前記レイアウトデータに関連づけられた前記ドキュメントの内容データから前記指示位置のデータを取得するデータ取得ステップと、前記データ取得ステップで取得されるデータを処理するデータ処理ステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、ドキュメントの現物におけるユーザの指示位置を取得する指示位置取得手段、前記ドキュメントのレイアウトデータ及び該レイアウトデータに関連づけられた前記ドキュメントの内容データを記憶するデータ記憶手段、前記データ記憶手段に記憶される前記レイアウトデータに基づいて、前記データ記憶手段に記憶される前記内容データから前記指示位置のデータを取得するデータ取得手段、及び前記データ取得手段により取得されるデータを処理するデータ処理手段としてコンピュータを機能させるためのプログラムである。プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な情報記憶媒体に格納されてよい。

以上のように本発明によれば、文字認識等をすることなく、例えば、ポインティングデバイスに協働し、その移動に対応した位置に投影されるカーソルを示す画像に対応して、ドキュメントの現物(即ち、紙文書)上の所望の位置(電子データが必要な位置)を指示するだけで、指示位置に対応する電子データを取り出し処理することができる。

以下、本発明の一実施形態について図面に基づき詳細に説明する。

図１は、本発明の実施形態に係るドキュメント処理システムの全体構成を示す図である。同図に示すように、このドキュメント処理システム１０は、投影台２０の上に文書や図形等が表されたドキュメントの現物２４が置かれている。投影台２０の上方にはプロジェクタ１８が設置されており、該プロジェクタ１８により、ドキュメントの現物２４の横にドキュメント処理等のためのプログラムに関する画像、具体的にはプログラムウィンドウ２８が投影されている。すなわち、プロジェクタ１８の投影対象領域２２内にドキュメントの現物２４が配置されるとともに、同領域内におけるドキュメントの現物２４の横にプログラムウィンドウ２８が投影されている。プロジェクタ１８は、投影対象領域２２内にユーザの現在の指示位置を示すカーソル画像３０も投影しており、ユーザは、マウスやタッチパッド等のポインティングデバイス１６により、このカーソル画像３０の投影位置を任意に移動させることができる。そして、カーソル画像３０によりドキュメントの現物２４の任意の箇所を指示するとともに、その位置でポインティングデバイス１６に備えられたボタンを押下し、その状態でカーソル画像３０をプログラムウィンドウ２８が投影されている領域内に移動させ、ボタンの押下を解除する操作、いわゆるドラッグアンドドロップ操作により、ドキュメントの現物２４におけるユーザの指示位置のデータをドキュメント処理等のためのプログラムに渡すことができる。これによりプログラムは渡されたデータを用いて各種のデータ処理を行うことができる。

上記機能を実現するために、ドキュメント処理システム１０は、プロジェクタ１８が接続されたコンピュータ１２を備えている。また、コンピュータ１２にはカメラ１４及びポインティングデバイス１６が接続されている。

コンピュータ１２はインターネット等の通信ネットワーク３２に接続されており、同じく通信ネットワーク３２に接続されたサーバ３４とデータ通信を行うことができるようになっている。また、通信ネットワーク３２にはコンピュータ３８も接続されており、該コンピュータ３８もサーバ３４とデータ通信を行うことができるようになっている。コンピュータ３８はドキュメントのデータを作成するコンピュータであって、プリンタ４０を備えており、このプリンタ４０によりドキュメントのデータを紙等の印刷媒体に印刷して、ドキュメントの現物２４を形成する。コンピュータ３８は、ドキュメントを作成する際、このドキュメントの識別情報、すなわちドキュメントＩＤを生成するようになっている。ドキュメントＩＤは、例えばドキュメントのデータに基づいて生成されるハッシュ値であってもよい。そして、このドキュメントＩＤを表す文字や画像等の情報がドキュメントの内容に含められ、ドキュメントの現物２４にはこの情報が印刷されるようになっている。本実施形態では、図２に示すように、ドキュメントＩＤを表す情報として１次元又は２次元のバーコード２６を採用しており、ドキュメントの現物２４の隅に印刷される。また、コンピュータ３８により生成されるドキュメントのデータは、図３（ａ）に示すように、該ドキュメントのレイアウトを示すレイアウトデータ４４と、各位置に表されるべき記述を示す内容データ４６と、を含んでいる。

コンピュータ３８は、ドキュメントのデータを作成した場合に、それをドキュメントＩＤとともにサーバ３４に送信するようにしている。サーバ３４では、コンピュータ３８からドキュメントのデータ及びドキュメントＩＤを受信すると、それらをドキュメントデータベース３６に登録する。この場合、サーバ３４はドキュメントのデータから該データに含まれるレイアウトデータ４４を抽出する。図３（ｂ）は、抽出後のレイアウトデータ４４を模式的に示しており、ドキュメント内において記述がされている各領域（記述領域）の位置を特定するデータを含んでいる。そして、サーバ３４は、図４に示すようにして、ドキュメントＩＤと、該ドキュメントＩＤにより識別されるドキュメントのデータと、該データから抽出されるレイアウトデータと、を互いに関連づけてドキュメントデータベース３６に記憶する。これにより、ドキュメントＩＤをキーとして、ドキュメントのデータやレイアウトデータをドキュメントデータベース３６から読み出せるようになっている。

ユーザは、プリンタ４０により印字出力されるドキュメントの現物２４を入手すると、その隅に表されたバーコード２６をカメラ１４により撮像する。撮像されたバーコード２６の画像はコンピュータ１２に入力され、バーコード２６の画像により示されるドキュメントＩＤが生成される。このドキュメントＩＤは通信ネットワーク３２を介してサーバ３４に送信される。サーバ３４は、受信したドキュメントＩＤに関連づけてドキュメントデータベース３６に記憶されているレイアウトデータを読み出し、それをコンピュータ１２に返信する。

コンピュータ１２では、このレイアウトデータに基づいて、ドキュメントの現物２４を置くべき場所を指示するキャリブレーション画像（不図示）を投影対象領域２２内に投影するようになっている。このキャリブレーション画像は、ドキュメントの画像２４の四隅が一致すべき位置を示す４つのＬ字型の画像からなるものであってよい。ユーザは、こうしたキャリブレーション画像による位置案内を頼りに、ドキュメントの現物２４を投影台２０における所定箇所に置く。コンピュータでは、こうしてキャリブレーション画像により案内されたドキュメントの現物２４が置かれる領域を特定するデータ、すなわち現物領域特定データを保持しており、さらに、カーソル画像３０の現在位置を管理している。そして、現物領域特定データにより特定される領域に対する、カーソル画像３０の現在位置の相対的な位置を算出して、これにより、ドキュメントの現物２４のどの位置がユーザにより指示されているかを取得する。そして、こうして取得される位置と、サーバ３４から受信したレイアウトデータと、に基づいて、どの記述領域がユーザにより指示されているかを判定する。すなわち、レイアウトデータにより特定される１又は複数の記述領域のうち、どの領域内にカーソル画像３０が位置しているかを判定する。

そして、いずれかの記述領域内にカーソル画像３０が位置していれば、その記述領域を識別する画像（領域識別画像）をドキュメントの現物２４上に投影する。このとき、投影位置は、領域識別画像により識別される領域内に現物２４上に表された該領域に対応する記述が位置するように調整される。図５は、現物２４上のある記述の位置にカーソル画像３０が投影されている場合に、その記述に対応する領域を識別する領域識別画像４２が現物２４上に投影されている様子を示している。このように、カーソル画像３０により指示されている記述領域を識別する領域識別画像４２を現物２４上に投影させることで、ユーザはどの記述領域がデータ処理の候補となっているかを直感的に把握できる。

すなわち、カーソル画像３０によりいずれかの記述領域が指示され、該記述領域を識別する領域識別画像４２が現物２４上に投影されている状態で、上述のようにしてポインティングデバイス１６をドラッグアンドドロップ操作すると、指示されている記述領域を特定するデータ（記述領域特定データ）及びバーコード２６に基づいて既に生成されているドキュメントＩＤが通信ネットワーク３２を介してサーバ３４に送信される。そして、サーバ３４は、受信したドキュメントＩＤに関連づけてドキュメントデータベース３６に記憶されているドキュメントのデータの中から、受信した記述領域特定データにより特定される記述領域内の記述を示すデータを取得し、このデータをコンピュータ１２に返信する。そして、このデータをプログラムウィンドウ２８に係るプログラムの処理対象として渡す。こうして、文書処理等のプログラムにより、サーバ３４から受信したデータを用いたデータ処理が実行される。

図６は、本ドキュメント処理システム１０の動作フロー図である。同図に示す処理は、コンピュータ１２で本実施形態に係るドキュメント処理プログラムが実行されることにより実現されるものであり、このプログラムは、例えばＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な情報記憶媒体に格納され、該情報記憶媒体を通じてコンピュータ１２にインストールされる。或いは、通信ネットワーク３２を通じて他のコンピュータからダウンロードされる。

同図に示すように、ドキュメント処理システム１０では、まずカメラ１４によりドキュメント現物２４に印刷されたバーコード２６を撮像する（Ｓ１０１）。次に、コンピュータ１２が撮影されたバーコード２６の画像からドキュメントＩＤを生成する（Ｓ１０２）。そして、こうして生成されるドキュメントＩＤをサーバ３４に送信して、該サーバ３４から返信されるレイアウトデータを受信する（Ｓ１０３）。そして、レイアウトデータに従って投影対象領域２２内にキャリブレーション画像を投影し、ユーザに対し、ドキュメントの現物２４を投影台２０の所定箇所に置くよう案内する（Ｓ１０４）。

その後、ポインティングデバイス１６の出力信号に従ってカーソル画像３０の現在の位置座標を算出し（Ｓ１０５）、カーソル画像３０の現在の位置座標がドキュメントのいずれかの記述領域内にあるかを判断する（Ｓ１０６）。そして、記述領域内になければ、Ｓ１０５の処理に戻る。一方、記述領域内にあれば、その記述領域に対して、該領域を識別する領域識別画像をプロジェクタ１８により投影する（Ｓ１０７）。さらに、ポインティングデバイス１６がクリックされたかを判定する（Ｓ１０８）。クリックされていなければ、Ｓ１０５の処理に戻る。一方、クリックされていれば、クリックが解除される、すなわちポインティングデバイス１６のボタン押下が解除されるタイミングにおける、カーソル画像３０の位置座標をドラッグアンドドロップの終了位置座標として取得する（Ｓ１０９）。そして、ドラッグアンドドロップの終了位置座標がプログラムウィンドウ２８内であるかを判断する（Ｓ１１０）。プログラムウィンドウ２８内でなければ、Ｓ１０５の処理に戻る。一方、プログラムウィンドウ内であれば、投影されている領域識別画像により識別される記述領域を特定する記述領域特定データをサーバ３４に送信して、該サーバ３４から返信される記述内容のデータを受信する（Ｓ１１１）。そして、プログラムウィンドウ２８に対応するプログラムにより、受信したデータの処理を開始する（Ｓ１１２）。

以上説明した実施形態によれば、ドキュメントのレイアウトデータを用いて、ドキュメントの現物２４におけるユーザの指示位置のデータを特定するとともに、そのデータをドキュメントデータベース３６に記憶されたドキュメントデータから取得できるので、ドキュメントに関するデータ処理を、文字の大小等、その内容によらず、該ドキュメントの現物２４を用いてユーザが指示入力できる。

また、ドキュメントの現物２４と、投影表示されるプログラムウィンドウ２８と、を投影対象領域２２内に並べることができ、前者のデータを後者のプログラムで処理させる指示を直感的に行うことができるようになる。さらに、ドキュメントの現物２４上にカーソル画像３０の位置に応じて領域識別画像４２が投影されるので、ユーザはドラッグアンドドロップ操作を行うと、どの記述のデータが処理されるかを直感的に把握できる。

なお、本発明は種々の変形実施が可能である。たとえば、サーバ３４は、ドキュメントデータベース３６から記述領域特定データにより特定される記述のデータが読み出される場合に、コンピュータ１２のユーザに関連づけてその旨を記録しておいてもよい。こうすれば、各記述のデータが取得されることに対して、ユーザに課金する等の制御が可能となる。また、ユビキタス社会のポータルＵＩとして活用されるサービス事例の一つとして、ユーザがコンビニエンスストアに設置されている複合機を使って、雑誌や新聞に掲載されている写真、文章のうち、所望のものの電子版を購入して、自分の携帯機器に転送するようにしてよい。

さらに、コンピュータ１２の処理結果を表示画面上に表示する表示装置をコンピュータ１２に接続して、プロジェクタ１８は、投影対象領域内にユーザの現在の指示位置を示す画像をさらに投影し、指示位置が所定の投影領域を外れた場合には、ウインドウ２８に代えて処理結果を表示装置の表示画面に表示するようにしてもよい。

更に、前記データ記憶手段が、内容データの代りに内容データの格納先アドレスを記憶し、データ取得手段は格納先アドレスが示す記憶手段から内容データに基づくデータを取得するようにしてもよい。

本発明の一実施形態に係るドキュメント処理システムの全体構成を示す図である。ドキュメント現物の一例を示す図である。ドキュメントデータ及びレイアウトデータの内容を模式的に示す図である。ドキュメントデータベースの記憶内容を模式的に示す図である。ドキュメントの現物に領域識別画像が投影された様子を示す図である。ドキュメント処理システムの動作フロー図である。

符号の説明

１０ドキュメント処理システム、１２，３８コンピュータ、１４カメラ、１６ポインティングデバイス、１８プロジェクタ、２０投影台、２２投影対象領域、２４ドキュメントの現物、２６バーコード、２８プログラムウィンドウ、３０カーソル画像、３２通信ネットワーク、３４サーバ、３６ドキュメントデータベース、４０プリンタ、４２領域識別画像。

Claims

ドキュメントの現物におけるユーザの指示位置を取得する指示位置取得手段と、
前記ドキュメントのレイアウトデータ及び該レイアウトデータに関連づけられた前記ドキュメントの内容データを記憶するデータ記憶手段と、
前記データ記憶手段に記憶される前記レイアウトデータ及び前記指示位置に基づいて、前記データ記憶手段に記憶される前記内容データから前記指示位置のデータを取得するデータ取得手段と、
前記データ取得手段により取得されるデータを処理するデータ処理手段と、
を含むことを特徴とするドキュメント処理システム。
請求項１に記載のドキュメント処理システムにおいて、
前記ドキュメント処理システムは、
前記ドキュメントの現物が配置された投影対象領域内にコンピュータプログラムに関する画像を投影する投影手段をさらに含み、
前記データ処理手段は、前記ユーザにより前記コンピュータプログラムに関する画像に対する指示に基づいて、前記データ取得手段により取得されるデータを前記コンピュータプログラムに従って処理する、
ことを特徴とするドキュメント処理システム。
請求項２に記載のドキュメント処理システムにおいて、
前記コンピュータプログラムに関する画像がコンピュータプログラムとしてのアプリケーションソフトウエアに関するメニュー含む操作指示のための画像及び処理内容を表示する領域を示す画像のうち少なくとも1つであるドキュメント処理システム。
請求項３に記載のドキュメント処理システムにおいて、
前記処理内容を表示する領域がウインドウであり、前記データ処理手段が処理結果のデータを、投影手段を介して当該ウインドウに表示するドキュメント処理システム。
請求項１に記載のドキュメント処理システムにおいて、
データ処理手段の処理結果を表示画面上に表示する表示装置を含み、前記投影手段は、前記投影対象領域内に前記ユーザの現在の指示位置を示す画像をさらに投影し、指示位置が所定の投影領域を外れた場合には、処理結果を前記表示手段の表示画面に表示するドキュメント処理システム。
請求項１乃至５のいずれかに記載のドキュメント処理システムにおいて、
前記データ取得手段によりデータが取得される場合に、該データの取得に関する情報を履歴として記録するデータ取得情報記録手段をさらに含む、
ことを特徴とするドキュメント処理システム。
請求項１に記載のドキュメント処理システムにおいて、
前記データ記憶手段が、内容データの代りに内容データの格納先アドレスを記憶し、データ取得手段は格納先アドレスが示す記憶手段から内容データに基づくデータを取得するドキュメント処理システム。
請求項１乃至７のいずれかに記載のドキュメント処理システムにおいて、
前記投影手段は、前記投影対象領域内に前記ユーザの現在の指示位置を示す画像をさらに投影する、
ことを特徴とするドキュメント処理システム。
請求項８に記載のドキュメント処理システムにおいて、
前記ドキュメントはそれぞれ記述を含む１又は複数の部分領域を備え、
前記投影手段は、前記ユーザの指示位置を示す画像がいずれかの前記部分領域上に投影される場合に、前記レイアウトデータに基づいて、該部分領域を識別する領域識別画像を前記投影対象領域内に投影し、
前記データ取得手段は、前記データ記憶手段に記憶される前記内容データから、前記領域識別画像により識別される前記部分領域に含まれる記述のデータを取得する、
ことを特徴とするドキュメント処理システム。
請求項１乃至９のいずれかに記載のドキュメント処理システムにおいて、
前記ドキュメントの現物には前記ドキュメントを識別する識別情報が記録され、
前記ドキュメントの現物に記録された識別情報に基づいて、前記ドキュメントを特定するドキュメント特定手段をさらに含み、
前記データ取得手段は、特定される前記ドキュメントの前記レイアウトデータ及び前記ユーザの指示位置に基づいて、特定される前記ドキュメントの前記内容データから前記ユーザの指示位置のデータを取得する、
ことを特徴とするドキュメント処理システム。
ドキュメントの現物におけるユーザの指示位置を取得する指示位置取得ステップと、
データ記憶手段に記憶される前記ドキュメントのレイアウトデータ及び前記指示位置に基づいて、前記データ記憶手段に記憶される前記レイアウトデータに関連づけられた前記ドキュメントの内容データから前記指示位置のデータを取得するデータ取得ステップと、
前記データ取得ステップで取得されるデータを処理するデータ処理ステップと、
を含むことを特徴とするドキュメント処理方法。
ドキュメントの現物におけるユーザの指示位置を取得する指示位置取得手段、
前記ドキュメントのレイアウトデータ及び該レイアウトデータに関連づけられた前記ドキュメントの内容データを記憶するデータ記憶手段、
前記データ記憶手段に記憶される前記レイアウトデータに基づいて、前記データ記憶手段に記憶される前記内容データから前記指示位置のデータを取得するデータ取得手段、及び
前記データ取得手段により取得されるデータを処理するデータ処理手段
としてコンピュータを機能させるためのプログラム。