JP2005100315A - Paper document information operating system and information operating method - Google Patents
Paper document information operating system and information operating method Download PDFInfo
- Publication number
- JP2005100315A JP2005100315A JP2003409482A JP2003409482A JP2005100315A JP 2005100315 A JP2005100315 A JP 2005100315A JP 2003409482 A JP2003409482 A JP 2003409482A JP 2003409482 A JP2003409482 A JP 2003409482A JP 2005100315 A JP2005100315 A JP 2005100315A
- Authority
- JP
- Japan
- Prior art keywords
- information
- paper
- document
- code
- paper document
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011017 operating method Methods 0.000 title claims description 4
- 238000001514 detection method Methods 0.000 claims abstract description 47
- 238000007639 printing Methods 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 33
- 230000010365 information processing Effects 0.000 claims description 23
- 230000003287 optical effect Effects 0.000 claims description 19
- 238000009434 installation Methods 0.000 claims description 7
- 230000001678 irradiating effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 14
- 238000012545 processing Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000007257 malfunction Effects 0.000 description 4
- 230000005484 gravity Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
Description
本発明は、紙文書情報操作システムおよび情報操作方法に関するものである。 The present invention relates to a paper document information operation system and an information operation method.
従来、紙などの実世界の対象物にコード情報を埋め込み、カメラなどの撮像手段によりコード情報およびペンなどの操作オブジェクトの動きを検出し、他の情報端末装置へ対応する電子的実体であるデータを移動したりする手法としては、たとえば特許文献1に示された方法がある。この方法では、カメラによりペン操作を監視し、ペンの物理オブジェクトへの指示動作を検知した際に物理オブジェクトに添付されているビジュアルマーカー情報を上記カメラにより認識して、あらかじめネット上のサーバに登録されているペンID情報と物理オブジェクトのデジタル情報をリンクさせ、同一ペンが他の情報端末画面にタッチされたなどの処理動作をカメラで監視する。さらに処理動作を検知した際に対象となる情報端末装置装置へ上記リンク情報を元にデジタルオブジェクトデータを送出して、前記情報端末が前記データを受信、実体であるデジタルオブジェクト情報を受け渡すことにより、操作者が実際に実世界のオブジェクトを操作する感覚で所望の情報操作を行なうことを実現している。
Conventionally, data that is an electronic entity corresponding to other information terminal devices by embedding code information in a real-world object such as paper, detecting movement of the code information and an operation object such as a pen by an imaging means such as a camera, etc. For example, there is a method disclosed in
しかしながら、上記特許文献1に示されるような従来の方法にあっては、カメラによる撮影範囲内の操作が対象であるため、カメラ配置によっては手元が障害物で隠れたりした場合に動作検出が困難になったり、照明などの環境に大きく影響を受けるなど確実に情報の指示が行われない場合が生じる。また、基本的に動作検出が画像認識技術に大きく依存しているため、処理速度を高速化することが困難であった。
However, in the conventional method as shown in
本発明は、上記に鑑みてなされたものであって、対象部位に対する追従性を向上させて、安定した操作環境を実現するとともに操作者にわかりやすく自然な操作環境を実現するための紙文書情報操作システムおよび情報操作方法を提供することを目的とする。 The present invention has been made in view of the above, and improves the followability with respect to a target part to realize a stable operation environment and to realize a natural operation environment that is easy for the operator to understand. An object is to provide an operation system and an information operation method.
上述した課題を解決し、目的を達成するために、請求項1にかかる発明は、紙面の所定の位置に、少なくとも、文書情報に対応し、情報処理装置から参照するためのドキュメント情報および印刷情報がコード化され、かつこの紙面コード情報が光学的に読み取り可能な形式で埋め込んで印刷され、前記情報処理装置のデジタル空間に電子実体を有する紙文書と、画像を表示する画像表示手段と、前記画像表示手段に表示された前記紙文書を読み取る読取手段を有し、その座標を指示する座標指示手段と、前記画像表示手段における所定の位置が前記座標指示手段によって指示された際に画面座標指示情報を検出する位置検出手段と、前記画面座標指示情報と読み取った前記紙面コード情報とに対応する前記紙文書を、電子的実体上のデジタル情報に対して所定の操作制御を実行する制御手段と、を備えたことを特徴とする。
In order to solve the above-described problems and achieve the object, the invention according to
この請求項1にかかる発明によれば、ドキュメント情報および印刷情報がコード化され、かつこの紙面コード情報が光学的に読み取り可能な形式で埋め込んで印刷された紙文書を、その操作対象となる紙面部が画像表示手内の所定の位置になるように画面前面にセットし、この紙面コード情報を座標指示手段の読取手段で読み取るとともに、座標指示手段の先端部が紙面を介してもしくは直接に画面に接触した際の位置検出手段からの信号の有無にしたがって電子的実体上のデジタル情報に対する操作動作を制御することが可能になる。 According to the first aspect of the present invention, a paper document on which the document information and the print information are coded and the paper code information is embedded and printed in an optically readable format is printed on the paper surface to be operated. Set the front of the screen so that the part is at a predetermined position in the image display hand, and read this page code information with the reading unit of the coordinate indicating unit, and the tip of the coordinate indicating unit through the page or directly It is possible to control the operation of the digital information on the electronic entity in accordance with the presence or absence of a signal from the position detection means when touching.
また、請求項2にかかる発明は、前記画像表示手段は、前記紙文書より表示面積が大きい画面を有し、前記紙文書は、前記紙面コード情報に、少なくともコードが印刷されている紙面位置情報、印刷されているドキュメント情報および紙面サイズ情報を含み、さらに、前記制御手段により、読み取った紙面位置および紙面サイズ情報と前記画面座標指示情報から対応する操作メニュー情報を前記紙文書の外周周辺部の所定の位置に表示制御する表示制御手段を備えたことを特徴とする。 According to a second aspect of the present invention, the image display means has a screen having a display area larger than that of the paper document, and the paper document has at least a code printed on the paper surface code information. , Including the printed document information and the paper size information, and further, the control means displays the operation menu information corresponding to the read paper surface position and paper size information and the screen coordinate instruction information on the outer periphery of the paper document. A display control means for controlling the display at a predetermined position is provided.
この請求項2にかかる発明によれば、請求項1において、読み取った紙面位置および紙面サイズ情報と画面座標指示情報から対応する操作メニュー情報を前記紙文書の外周周辺部の所定の位置に表示制御する表示制御手段を備えることにより、追従性にすぐれ、安定した操作環境の実現が可能になり、かつ操作者にわかりやすく自然な操作環境が実現可能になる。 According to the second aspect of the present invention, in the first aspect, the operation menu information corresponding to the read paper surface position and paper surface size information and the screen coordinate instruction information is displayed and controlled at a predetermined position on the outer periphery of the paper document. By providing the display control means, it is possible to realize a stable operation environment with excellent followability and a natural operation environment that is easy for the operator to understand.
また、請求項3にかかる発明は、前記紙文書は、前記紙面コード情報に、少なくともドキュメント情報、ページ情報、紙面座標および紙面サイズ情報を含み、さらに、前記紙文書を画面上においての操作の際に紙文書の前記情報と前記座標指示手段からの画面座標指示情報から対応するドキュメントを、概略等倍で、かつドキュメント上の位置と紙面位置がほぼ対応した形で画面上に表示する表示制御手段を備えたことを特徴とする。 According to a third aspect of the present invention, the paper document includes at least document information, page information, page coordinates, and page size information in the page code information, and when the paper document is operated on a screen. Display control means for displaying a document corresponding to the information on the paper document and the screen coordinate instruction information from the coordinate instruction means on the screen at a substantially equal magnification and with the position on the document substantially corresponding to the paper surface position. It is provided with.
この請求項3にかかる発明によれば、請求項1において、紙文書を画面上においての操作の際に紙文書の前記情報と座標指示手段からの画面座標指示情報から対応するドキュメントを、概略等倍で、かつドキュメント上の位置と紙面位置がほぼ対応した形で画面上に表示する表示制御手段を備えることにより、追従性にすぐれ、安定した操作環境が実現可能になるとともに操作者にわかりやすく自然な操作環境が実現可能になる。 According to the third aspect of the present invention, in the first aspect, when the paper document is operated on the screen, the corresponding document from the information of the paper document and the screen coordinate instruction information from the coordinate instruction means is roughly By providing a display control means that displays on the screen in a form that is almost the same as the position on the document and the position on the paper surface, it is possible to realize a stable operation environment and easy to understand for the operator. A natural operating environment can be realized.
また、請求項4にかかる発明は、さらに、前記座標指示手段の座標指示動作を検出する指示動作検出手段と、前記指示動作検出手段に連動して前記読取手段の動作を制御する読取制御手段と、を備えたことを特徴とする。 According to a fourth aspect of the present invention, there is further provided an instruction operation detection unit that detects a coordinate instruction operation of the coordinate instruction unit, and a reading control unit that controls the operation of the reading unit in conjunction with the instruction operation detection unit. , Provided.
この請求項4にかかる発明によれば、請求項1において、座標指示手段の座標指示動作を検出し、この検出動作に連動して読取手段の動作を制御することで、読取手段による不要な読み取り動作を抑制することが可能になる。
According to the invention of claim 4, in
また、請求項5にかかる発明は、さらに、前記座標指示手段上に所定の操作を指示し、かつ前記読取手段によるコード情報の読み取りの有無にしたがって操作ステップが可変になるよう制御する操作指示制御手段を備えたことを特徴とする。 According to a fifth aspect of the invention, there is further provided an operation instruction control for instructing a predetermined operation on the coordinate instruction means and controlling an operation step to be variable according to whether or not code information is read by the reading means. Means are provided.
この請求項5にかかる発明によれば、請求項1において、操作指示制御手段の状態を検知することにより、誤動作を防止し操作者の意図した操作が可能になり、本方法を搭載した装置の操作性を向上させることが可能になる。
According to the invention according to
また、請求項6にかかる発明は、紙面の所定の位置に、少なくとも文書情報に対応する電子的実体への情報処理装置から参照するためのドキュメント情報および印刷情報がコード化され、かつこの紙面コード情報が光学的に読み取り可能な形式で埋め込んで印刷され、前記情報処理装置のデジタル空間に電子実体を有する紙文書と、画像を表示する画像表示手段と、前記画像表示手段における所定の位置が指示された際に画面座標指示情報を検出する位置検出手段と、前記画像表示手段に表示された前記紙文書を読み取る読取手段を有し、その座標を指示する座標指示手段と、を備え、紙面コード情報を読み取り、紙面位置情報を取得する第1のステップと、前記第1のステップと対応するデジタルデータへの参照情報を取得する第2のステップと、前記紙面位置情報による情報操作パラメータと前記座標指示動作とを関連付ける第3のステップと、を含むことを特徴とする。
In the invention according to
この請求項6にかかる発明によれば、紙面コード情報を読み取り、紙面位置情報を取得する第1のステップと、第1のステップと対応するデジタルデータへの参照情報を取得する第2のステップと、紙面位置情報による情報操作パラメータと座標指示動作とを関連付ける第3のステップと、を含む方法とすることにより、対象部位に対する追従性にすぐれ、安定した操作環境が実現可能になるとともに操作者にわかりやすく自然な操作環境が実現可能になる。
According to the invention of
また、請求項7にかかる発明は、さらに、前記座標指示手段上に所定の操作を指示し、かつ前記読取手段によるコード情報の読み取りの有無にしたがって操作ステップが可変になるよう制御する操作指示制御手段を備え、前記第1のステップは、前記操作指示制御手段の状態を検知するステップを含むことを特徴とする。 According to a seventh aspect of the present invention, there is further provided an operation instruction control for instructing a predetermined operation on the coordinate instruction means and controlling an operation step to be variable according to whether or not code information is read by the reading means. And the first step includes a step of detecting a state of the operation instruction control means.
この請求項7にかかる発明によれば、請求項6において、操作指示制御手段の状態を検知するステップを含むことにより、操作者の意図した操作が指示可能になり、本方法を搭載した装置の操作性を向上させることが可能になる。
According to the invention according to
また、請求項8にかかる発明は、紙面の所定の位置に、少なくとも、文書情報に対応し、情報処理装置から参照するためのドキュメント情報および印刷情報がコード化され、かつこの紙面コード情報が光学的に読み取り可能な形式で埋め込んで印刷され、前記情報処理装置のデジタル空間に電子実体を有する紙文書と、画像を表示する画像表示手段と、画面座標を指示する座標指示手段と、前記画像表示手段における所定の位置が前記座標指示手段によって指示された際に画面座標指示情報を検出する位置検出手段と、前記画像表示手段上の前記紙文書の紙面コード情報を読み取るコード読取手段と、前記画面座標指示情報と前記コード読取手段で読み取った前記紙面コード情報とに対応する前記紙文書を、電子的実体上のデジタル情報に対して所定の操作制御を実行する制御手段と、を備えたことを特徴とする。
In the invention according to
この請求項8にかかる発明によれば、ドキュメント情報および印刷情報がコード化され、かつこの紙面コード情報が光学的に読み取り可能な形式で埋め込んで印刷された紙文書を、その操作対象となる紙面部が画像表示手内の所定の位置になるように画面前面にセットし、この紙面コード情報をコード読取手段で読み取るとともに、座標指示手段の先端部が紙面を介してもしくは直接に画面に接触した際の位置検出手段からの信号の有無にしたがって電子的実体上のデジタル情報に対する操作動作を制御することが可能になる。 According to the eighth aspect of the present invention, a paper document on which the document information and the print information are encoded and the paper code information is embedded and printed in an optically readable format is printed on the paper surface to be operated. Set the front part of the screen so that the part is at a predetermined position in the image display hand, read this paper surface code information with the code reading means, and the tip of the coordinate instruction means contacted the screen through the paper surface or directly It is possible to control the operation of the digital information on the electronic entity according to the presence or absence of a signal from the position detection means.
また、請求項9にかかる発明は、前記画像表示手段は、前記紙文書より表示面積が大きい画面を有し、前記紙文書は、前記紙面コード情報に、少なくともコードが印刷されている紙面位置情報、印刷されているドキュメント情報および紙面サイズ情報を含み、さらに、前記コード読取手段で読み取った紙面コード情報と前記コード読取手段の設置位置情報とから生成される紙面位置情報から、対応する所望の操作メニュー情報を前記紙文書の外周周辺部の所定の位置に表示制御する表示制御手段を備えたことを特徴とする。 According to a ninth aspect of the present invention, the image display means has a screen having a larger display area than the paper document, and the paper document has at least a code printed on the paper surface code information. , Including the printed document information and the paper size information, and further corresponding desired operation from the paper surface position information generated from the paper surface code information read by the code reading means and the installation position information of the code reading means. It is characterized by comprising display control means for controlling display of the menu information at a predetermined position on the periphery of the paper document.
この請求項9にかかる発明によれば、請求項8において、コード読取手段で読み取った紙面コード情報と前記コード読取手段の設置位置情報とから生成される紙面位置情報から、対応する所望の操作メニュー情報を紙文書の外周周辺部の所定の位置に表示制御する表示制御手段を備えることにより、追従性にすぐれ、安定した操作環境の実現が可能になり、かつ操作者にわかりやすく自然な操作環境が実現可能になる。 According to the ninth aspect of the present invention, in the eighth aspect, from the paper surface position information generated from the paper surface code information read by the code reading means and the installation position information of the code reading means, a corresponding desired operation menu is obtained. By providing a display control unit that controls the display of information at a predetermined position on the periphery of a paper document, it is possible to realize a stable operation environment with excellent followability and a natural operation environment that is easy for the operator to understand. Becomes feasible.
また、請求項10にかかる発明は、前記紙文書は、前記紙面コード情報に、少なくともドキュメント情報、ページ情報、紙面サイズ情報、またはこれら情報への参照情報を含み、さらに、前記紙文書を画面上の所定位置においての操作の際に紙文書の前記情報と前記コード読取手段の設置位置情報から生成されるコードが挿入されている紙面位置情報からから対応するドキュメントを、概略等倍で、かつドキュメント上の位置と紙面位置がほぼ対応した形で画面上に表示する表示制御手段を備えたことを特徴とする。
In the invention according to
この請求項10にかかる発明によれば、請求項8において、紙文書は、前記紙面コード情報に、少なくともドキュメント情報、ページ情報、紙面サイズ情報、またはこれら情報への参照情報を含み、さらに、紙文書を画面上の所定位置においての操作の際に紙文書の前記情報と前記コード読取手段の設置位置情報から生成されるコードが挿入されている紙面位置情報からから対応するドキュメントを、概略等倍で、かつドキュメント上の位置と紙面位置がほぼ対応した形で画面上に表示する表示制御手段を備えることにより、追従性にすぐれ、安定した操作環境が実現可能になるとともに操作者にわかりやすく自然な操作環境が実現可能になる。
According to the invention according to
また、請求項11にかかる発明は、前記コード読取手段は、所定の位置に光信号を斜めから照射し、かつ紙面からの拡散光の一部を検出する光検出手段を有し、前記制御手段は、前記光検出手段に連動してコード読取動作を制御することを特徴とする。
Further, the invention according to
この請求項11にかかる発明によれば、請求項8において、所定の位置に光信号を斜めから照射し、かつ紙面からの拡散光の一部を検出する光検出手段を有し、制御手段が、光検出手段に連動してコード読取動作を制御することにより、不要な読み取り動作を抑制することが可能になる。 According to the eleventh aspect of the present invention, in the eighth aspect of the present invention, the control means includes the light detection means for irradiating the predetermined position with the optical signal obliquely and detecting a part of the diffused light from the paper surface. By controlling the code reading operation in conjunction with the light detection means, unnecessary reading operation can be suppressed.
また、請求項12にかかる発明は、さらに、前記座標指示手段上に所定の操作を指示し、かつ前記コード読取手段によるコード情報の読み取りの有無にしたがって操作ステップが可変になるよう制御する操作指示制御手段を備えたことを特徴とする。
The invention according to
この請求項12にかかる発明によれば、請求項8において、操作指示制御手段の状態を検知することにより、誤動作を防止し操作者の意図した操作が可能になり、本方法を搭載した装置の操作性を向上させることが可能になる。 According to the twelfth aspect of the present invention, in the eighth aspect, by detecting the state of the operation instruction control means, malfunctions can be prevented and the operation intended by the operator can be performed. Usability can be improved.
また、請求項13にかかる発明は、前記紙面コード情報は、前記コード読取手段での光学的なゆがみに対応して変形された画像として形成されることを特徴とする。
Further, the invention according to
この請求項13にかかる発明によれば、請求項8において、紙面コード情報を、コード読取手段での光学的なゆがみに対応して変形された画像として形成することにより、コード読み取り後における画像補正処理を最小限にして応答速度を速くすることが可能になる。
According to the invention of
また、請求項14にかかる発明は、紙面の所定の位置に、少なくとも、文書情報に対応し、情報処理装置から参照するためのドキュメント情報および印刷情報がコード化され、かつこの紙面コード情報が光学的に読み取り可能な形式で埋め込んで印刷され、前記情報処理装置のデジタル空間に電子実体を有する紙文書と、画像を表示する画像表示手段と、画面座標を指示する座標指示手段と、前記画像表示手段における所定の位置が前記座標指示手段によって指示された際に画面座標指示情報を検出する位置検出手段と、前記画像表示手段上の前記紙文書の紙面コード情報を読み取るコード読取手段と、を備え、前記紙文書が前記画像表示手段の所定の位置に置かれた際に前記コード情報読取手段により前記コード情報を取得する第1のステップと、前記コード情報の読み取りに対応して紙面位置情報を生成する第2のステップと、読み取った前記コード情報に対応する電子的実体への参照情報を取得する第3のステップと、紙面位置情報と前記画面座標指示情報、情報操作パラメータとを関連付ける第4のステップと、を含むことを特徴とする。 According to the fourteenth aspect of the present invention, document information and print information corresponding to at least document information for reference from the information processing apparatus are coded at a predetermined position on the sheet, and the sheet code information is optically encoded. A paper document embedded and printed in a readable format and having an electronic entity in the digital space of the information processing apparatus, image display means for displaying an image, coordinate instruction means for indicating screen coordinates, and the image display A position detection unit that detects screen coordinate instruction information when a predetermined position in the unit is instructed by the coordinate instruction unit; and a code reading unit that reads the page code information of the paper document on the image display unit. A first step of acquiring the code information by the code information reading means when the paper document is placed at a predetermined position of the image display means. A second step of generating paper surface position information corresponding to the reading of the code information, a third step of acquiring reference information to an electronic entity corresponding to the read code information, and a paper surface position And a fourth step of associating the information with the screen coordinate instruction information and the information operation parameter.
この請求項14にかかる発明によれば、文書が画像表示手段の所定の位置に置かれた際にコード情報読取手段によりコード情報を取得する第1のステップと、コード情報の読み取りに対応して紙面位置情報を生成する第2のステップと、読み取った前記コード情報に対応する電子的実体への参照情報を取得する第3のステップと、紙面位置情報と画面座標指示情報、情報操作パラメータとを関連付ける第4のステップと、を含む方法とすることにより、対象部位に対する追従性にすぐれ、安定した操作環境が実現可能になるとともに操作者にわかりやすく自然な操作環境が実現可能になる。 According to the fourteenth aspect of the invention, the first step of acquiring the code information by the code information reading means when the document is placed at a predetermined position of the image display means, and corresponding to the reading of the code information A second step of generating paper surface position information, a third step of acquiring reference information to an electronic entity corresponding to the read code information, paper surface position information, screen coordinate instruction information, and information operation parameters. By using the method including the fourth step of associating, it is possible to realize a stable operation environment with excellent followability with respect to the target site, and to realize a natural operation environment that is easy for the operator to understand.
また、請求項15にかかる発明は、さらに、前記座標指示手段上に所定の操作を指示し、かつ前記コード読取手段によるコード情報の読み取りの有無にしたがって操作ステップが可変になるよう制御する操作指示制御手段を備え、前記第1のステップは、前記操作指示制御手段の状態を検知するステップを含むことを特徴とする。 According to the fifteenth aspect of the present invention, there is further provided an operation instruction for instructing a predetermined operation on the coordinate instruction means and controlling an operation step to be variable according to whether or not the code information is read by the code reading means. Control means is provided, and the first step includes a step of detecting a state of the operation instruction control means.
この請求項15にかかる発明によれば、請求項14において、操作指示制御手段の状態を検知するステップを含むことにより、操作者の意図した操作が指示可能になり、本方法を搭載した装置の操作性を向上させることが可能になる。 According to the fifteenth aspect of the present invention, in the fourteenth aspect, by including the step of detecting the state of the operation instruction control means, the operation intended by the operator can be instructed, and the apparatus equipped with the method is provided. Usability can be improved.
本発明(請求項1)にかかる紙文書情報操作システムは、紙面の所定の位置に、少なくとも、文書情報に対応し、電子的実体への情報処理装置から参照するためのドキュメント情報および印刷情報がコード化され、かつこの紙面コード情報が光学的に読み取り可能な形式で埋め込んで印刷された紙文書と、画像を表示する画像表示手段と、画像表示手段における所定の位置が指示された際に画面座標指示情報を検出する位置検出手段と、画像表示手段に表示された前記紙文書を読み取る読取手段を有し、その座標を指示する座標指示手段と、画面座標指示情報と読み取った前記紙面コード情報とに対応する紙文書を、電子的実体上のデジタル情報に対して所定の操作制御を実行する制御手段と、を備え、ドキュメント情報および印刷情報がコード化され、かつこの紙面コード情報が光学的に読み取り可能な形式で埋め込んで印刷された紙文書を、その操作対象となる紙面部が画像表示手内の所定の位置になるように画面前面にセットし、この紙面コード情報を座標指示手段の読取手段で読み取るとともに、座標指示手段の先端部が紙面を介してもしくは直接に画面に接触した際の位置検出手段からの信号の有無にしたがって電子的実体上のデジタル情報に対する操作動作を制御するので、対象部位に対する追従性にすぐれ、安定した操作環境を実現するとともに操作者にわかりやすく自然な操作環境を実現するための紙文書情報操作システムを提供するという効果を奏する。 In the paper document information operation system according to the present invention (claim 1), document information and print information corresponding to at least document information and to be referred to from an information processing apparatus to an electronic entity are provided at a predetermined position on the sheet. A paper document that is encoded and printed with this paper code information embedded in an optically readable format, an image display means for displaying an image, and a screen when a predetermined position on the image display means is instructed A position detection unit for detecting coordinate instruction information; a reading unit for reading the paper document displayed on the image display unit; a coordinate instruction unit for indicating the coordinates; the screen coordinate instruction information; Control means for executing predetermined operation control on the digital information on the electronic entity, and the document information and the print information are copied. A paper document printed with this paper code information embedded in an optically readable format is placed on the front of the screen so that the paper part to be operated becomes a predetermined position in the image display hand. The paper surface code information is read by the reading means of the coordinate instruction means, and electronically according to the presence or absence of a signal from the position detection means when the tip of the coordinate instruction means contacts the screen via the paper surface or directly. Since the operation of digital information on the entity is controlled, the paper document information operation system is provided to realize a stable operation environment and a natural operation environment that is easy for the operator to understand, with excellent followability to the target part. The effect of doing.
また、本発明(請求項2)にかかる紙文書情報操作システムは、請求項1において、画像表示手段は、紙文書より表示面積が大きい画面を有し、紙文書は、紙面コード情報に、少なくともコードが印刷されている紙面位置情報、印刷されているドキュメント情報および紙面サイズ情報を含み、さらに、制御手段により、読み取った紙面位置および紙面サイズ情報と画面座標指示情報から対応する操作メニュー情報を紙文書の外周周辺部の所定の位置に表示制御する表示制御手段を備えたので、追従性にすぐれ、安定した操作環境を実現するとともに操作者にわかりやすく自然な操作環境を実現するという効果を奏する。
The paper document information operating system according to the present invention (Claim 2) is the paper document information operation system according to
また、本発明(請求項3)にかかる紙文書情報操作システムは、請求項1において、紙文書は、紙面コード情報に、少なくともドキュメント情報、ページ情報、紙面座標および紙面サイズ情報を含み、さらに、紙文書を画面上においての操作の際に紙文書の上記情報と座標指示手段からの画面座標指示情報から対応するドキュメントを、概略等倍で、かつドキュメント上の位置と紙面位置がほぼ対応した形で画面上に表示する表示制御手段を備えたので、追従性にすぐれ、安定した操作環境を実現するとともに操作者にわかりやすく自然な操作環境を実現するとともに、情報端末のGUI操作環境を利用したわかりやすい操作環境を提供することが可能であるという効果を奏する。
The paper document information operation system according to the present invention (Claim 3) is the paper document information processing system according to
また、本発明(請求項4)にかかる紙文書情報操作システムは、請求項1において、座標指示手段の座標指示動作を検出する指示動作検出手段と、指示動作検出手段に連動して読取手段の動作を制御する読取制御手段と、を備えたことにより、読取手段による不要な読み取り動作を抑制することが可能になるため、省電力動作が実現するという効果を奏する。 According to a fourth aspect of the present invention, there is provided a paper document information operation system according to the first aspect, wherein an instruction operation detecting unit for detecting a coordinate instruction operation of the coordinate instruction unit and a reading unit in conjunction with the instruction operation detecting unit. By providing the reading control means for controlling the operation, it becomes possible to suppress unnecessary reading operations by the reading means, and thus there is an effect that a power saving operation is realized.
また、本発明(請求項5)にかかる紙文書情報操作システムは、請求項1において、座標指示手段上に所定の操作を指示し、かつ読取手段によるコード情報の読み取りの有無にしたがって操作ステップが可変になるよう制御する操作指示制御手段を備えたことにより、誤操作を防止し操作者の意図した操作が指示可能になり、本方法を搭載した装置の操作性を向上させることができるという効果を奏する。
The paper document information operation system according to the present invention (Claim 5) is characterized in that, in
また、本発明(請求項6)にかかる紙文書情報操作方法は、紙面の所定の位置に、少なくとも文書情報に対応する電子的実体への情報処理装置から参照するためのドキュメント情報および印刷情報がコード化され、かつこの紙面コード情報が光学的に読み取り可能な形式で埋め込んで印刷された紙文書と、画像を表示する画像表示手段と、画像表示手段における所定の位置が指示された際に画面座標指示情報を検出する位置検出手段と、画像表示手段に表示された前記紙文書を読み取る読取手段を有し、その座標を指示する座標指示手段と、を備え、紙面コード情報を読み取り、紙面位置情報を取得する第1のステップと、第1のステップと対応するデジタルデータへの参照情報を取得する第2のステップと、紙面位置情報による情報操作パラメータと座標指示動作とを関連付ける第3のステップと、を含むことにより、対象部位に対する追従性にすぐれ、安定した操作環境を実現するとともに操作者にわかりやすく自然な操作環境を実現するための紙文書情報操作方法を提供するという効果を奏する。 In the paper document information operation method according to the present invention (claim 6), document information and print information to be referred to from an information processing apparatus at least to an electronic entity corresponding to the document information are provided at a predetermined position on the sheet. A paper document that is encoded and printed with this paper code information embedded in an optically readable format, an image display means for displaying an image, and a screen when a predetermined position on the image display means is instructed A position detection unit for detecting coordinate instruction information; a reading unit for reading the paper document displayed on the image display unit; and a coordinate instruction unit for indicating the coordinates thereof. A first step of acquiring information; a second step of acquiring reference information to digital data corresponding to the first step; By including the third step for associating the meter with the coordinate indicating operation, the paper has excellent followability with respect to the target part, realizes a stable operation environment, and realizes a natural operation environment that is easy for the operator to understand. There is an effect of providing a document information operation method.
また、本発明(請求項7)にかかる紙文書操作方法は、請求項6において、座標指示手段上に所定の操作を指示し、かつ読取手段によるコード情報の読み取りの有無にしたがって操作ステップが可変になるよう制御する操作指示制御手段を備え、第1のステップは、前記操作指示制御手段の状態を検知するステップを含むことにより、操作者の意図した操作が指示可能になり、本方法を搭載した装置の操作性を向上させることができるという効果を奏する。
The paper document operation method according to the present invention (Claim 7) is that, according to
また、本発明(請求項8)にかかる紙文書情報操作システムは、ドキュメント情報および印刷情報がコード化され、かつこの紙面コード情報が光学的に読み取り可能な形式で埋め込んで印刷された紙文書を、その操作対象となる紙面部が画像表示手内の所定の位置になるように画面前面にセットし、この紙面コード情報をコード読取手段で読み取るとともに、座標指示手段の先端部が紙面を介してもしくは直接に画面に接触した際の位置検出手段からの信号の有無にしたがって電子的実体上のデジタル情報に対する操作動作を制御することが可能になるため、対象部位に対する追従性にすぐれ、安定した操作環境を実現するとともに操作者にわかりやすく自然な操作環境を実現するための紙文書情報操作システムを提供するという効果を奏する。 A paper document information operating system according to the present invention (claim 8) is a paper document information in which document information and print information are encoded, and the paper code information is embedded and printed in an optically readable format. The paper surface portion to be operated is set on the front of the screen so that it is in a predetermined position in the image display hand, and the paper surface code information is read by the code reading means, and the front end portion of the coordinate instruction means is passed through the paper surface. Or, it is possible to control the operation of digital information on the electronic entity according to the presence or absence of a signal from the position detection means when directly touching the screen, so it has excellent followability to the target part and stable operation Provides an effect of providing a paper document information operation system for realizing a natural operating environment that is easy for the operator to understand and realizes the environment. .
また、本発明(請求項9)にかかる紙文書情報操作システムは、請求項8において、コード読取手段で読み取った紙面コード情報と前記コード読取手段の設置位置情報とから生成される紙面位置情報から、対応する所望の操作メニュー情報を紙文書の外周周辺部の所定の位置に表示制御する表示制御手段を備えたので、追従性にすぐれ、安定した操作環境を実現するとともに操作者にわかりやすく自然な操作環境を実現するという効果を奏する。
A paper document information operation system according to the present invention (Claim 9) is the paper document information operation system according to
また、本発明(請求項10)にかかる紙文書情報操作システムは、請求項8において、紙文書は、前記紙面コード情報に、少なくともドキュメント情報、ページ情報、紙面サイズ情報、またはこれら情報への参照情報を含み、さらに、紙文書を画面上の所定位置においての操作の際に紙文書の前記情報と前記コード読取手段の設置位置情報から生成されるコードが挿入されている紙面位置情報からから対応するドキュメントを、概略等倍で、かつドキュメント上の位置と紙面位置がほぼ対応した形で画面上に表示する表示制御手段を備えたので、追従性にすぐれ、安定した操作環境を実現するとともに操作者にわかりやすく自然な操作環境を実現するとともに、情報端末のGUI操作環境を利用したわかりやすい操作環境を提供することができるという効果を奏する。
A paper document information operation system according to the present invention (Claim 10) is the paper document information processing system according to
また、本発明(請求項11)にかかる紙文書情報操作システムは、請求項8において、所定の位置に光信号を斜めから照射し、かつ紙面からの拡散光の一部を検出する光検出手段を有し、制御手段が、光検出手段に連動してコード読取動作を制御することにより、不要な読み取り動作を抑制することが可能になるので、省電力化が実現するとともに、斜めからの照明であるため、安定したコード情報の読み取りができるという効果を奏する。
The paper document information operation system according to the present invention (invention 11) is the light detection means according to
また、本発明(請求項12)にかかる紙文書情報操作システムは、請求項8において、誤操作を防止し操作者の意図した操作が指示可能になり、本方法を搭載した装置の操作性を向上させることができるという効果を奏する。
The paper document information operation system according to the present invention (Claim 12) is characterized in that, in
また、本発明(請求項13)にかかる紙文書情報操作システムは、請求項8において、紙面コード情報を、コード読取手段での光学的なゆがみに対応して変形された画像として形成することにより、コード読み取り後における画像補正処理を最小限にして応答速度を速くすることが可能になるので、良好な追従性を有する装置を提供できるという効果を奏する。
A paper document information operation system according to the present invention (Claim 13) is characterized in that, in
また、本発明(請求項14)にかかる紙文書情報操作方法は、文書が画像表示手段の所定の位置に置かれた際にコード情報読取手段によりコード情報を取得する第1のステップと、コード情報の読み取りに対応して紙面位置情報を生成する第2のステップと、読み取った前記コード情報に対応する電子的実体への参照情報を取得する第3のステップと、紙面位置情報と画面座標指示情報、情報操作パラメータとを関連付ける第4のステップと、を含む方法とするため、対象部位に対する追従性にすぐれ、安定した操作環境が実現可能になるとともに操作者にわかりやすく自然な操作環境を提供できるという効果を奏する。 The paper document information operating method according to the present invention (Claim 14) includes a first step of acquiring code information by the code information reading means when the document is placed at a predetermined position of the image display means, A second step of generating paper surface position information in response to reading of information, a third step of acquiring reference information to an electronic entity corresponding to the read code information, a paper surface position information, and screen coordinate instructions Since the method includes a fourth step for associating information and information operation parameters, it is possible to realize a stable operation environment with excellent followability to the target part and provide an easy-to-understand natural operation environment for the operator. There is an effect that can be done.
また、本発明(請求項15)にかかる紙文書情報操作方法は、請求項14において、操作指示制御手段の状態を検知するステップを含むので、操作者の意図した操作が指示可能になり、本方法を搭載した装置の操作性を向上させることができるという効果を奏する。
Further, the paper document information operation method according to the present invention (claim 15) includes the step of detecting the state of the operation instruction control means in
以下、本発明にかかる紙文書情報操作システムおよび情報操作方法の最良な実施の形態について添付図面を参照し、詳細に説明する。なお、本発明はこの実施の形態に限定されるものではない。 DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiments of a paper document information operation system and an information operation method according to the present invention will be described below in detail with reference to the accompanying drawings. The present invention is not limited to this embodiment.
(第1の実施の形態)
図1は、本発明の第1の実施の形態にかかる紙文書情報操作システムの構成を示すブロック図である。また、図2は、図1における本体部分の構成を示す説明図であり、図3は、図1における座標表示部材の構成を示す説明図である。
(First embodiment)
FIG. 1 is a block diagram showing the configuration of a paper document information operating system according to the first embodiment of the present invention. 2 is an explanatory diagram showing the configuration of the main body portion in FIG. 1, and FIG. 3 is an explanatory diagram showing the configuration of the coordinate display member in FIG.
本発明による紙文書情報操作システムは、図1および図2に示すようにLCD(Liquid Crystal Display)やCRT(Cathode−Ray Tube)のディスプレイなどの表示部1を有するPC(パーソナルコンピュータ)などのコンピュータに代表される情報処理装置(以下、PC本体と記述する)9に操作者が指示する座標指示部材3と、座標指示部材3を介し操作者と対向する表示部1前面の所定の位置に設置される検出ユニットを搭載した位置検出ユニット8と、を備えている。
As shown in FIGS. 1 and 2, a paper document information operation system according to the present invention is a computer such as a PC (personal computer) having a
また、位置検出ユニット8には図1および図2に示すような座標指示部材3からの超音波発信信号および所定の情報を受信するのための光受信部6およびマイクロフォンによる超音波受信器4a,4b(受信手段に対応した受信回路を含む)と、座標位置の演算などを含む演算処理と各モジュールを制御する本体制御部7、演算結果や演算用データなどを記憶するメモリ16を備えている。
The
また、図3に示すように上記座標指示部材3である座標入力用スタイラスペンの先端部位の位置検出ユニット8に概略対向する面に設置してなる赤外線LED(Light Emitting Diode)などの発光素子を有するLED素子27と、ほぼ全周囲に所定の超音波信号を送信する超音波発信素子(スピーカ部)25を有し、所定の信号を光信号および超音波信号に重畳する各送信手段を制御するためのペン制御部20、および駆動回路21、検出部23、電源モジュール28とからなる。
Further, as shown in FIG. 3, a light emitting element such as an infrared LED (Light Emitting Diode) is provided on a surface substantially facing the
つぎに本発明による位置検出動作について説明する。本発明では、情報表示部の表示面2の所望の座標を指示すると、座標指示部材(入力ペン)3の先端部分24に設けた感圧スイッチ23により指示動作を検出して、ペン制御部20に通知した後、ペン制御部20にて各駆動回路を介して発光素子であるLED素子27および超音波発信素子25を駆動し、光信号および超音波信号を座標指示部材3の先端部から所定の方向に向けて送信する。位置検出ユニット8においては光受信部6により光信号(少なくともヘッダー情報+データ情報を含む)のヘッダー情報を検出した際に本体制御部7内部のカウンタ回路をリセットし、超音波受信器(マイクロホン)4a(もしくは4b)により所定の超音波信号を受信した際のカウンタのカウント値(これをnとする)を本体制御部7にて取得する。ここで、室温時の音速をVsとすると、次式の関係から本体制御部7にて超音波信号の伝播距離Hを算出する。
Next, the position detection operation according to the present invention will be described. In the present invention, when a desired coordinate on the
H=Hs×n/fc
ただし、fcは位置検出ユニットのクロック周波数で設計時に既値
H = Hs × n / fc
However, fc is the current value at the time of design at the clock frequency of the position detection unit.
さらには、位置検出ユニット8には、サーミスタなどの温度センサ17を設けて室温を監視し、それに応じた音速をあらかじめメモリ16にテーブル情報として格納しておき、これを参照して上記伝播距離を算出して精度を向上させてもよい。二つの超音波受信器(マイクロホン)4,5におけるそれぞれの伝搬距離情報と、各マイクロホン間の距離情報から三角測量の原理により指示位置を算出する。情報処理装置(PC本体)9では専用ソフト(ドライバ)により本情報と位置検出ユニット8のセッティング情報(設計情報もしくは実際にはキャリブレーション作業から取得した情報)から画面座標に変換することにより表示情報への指示位置情報を取得する。
Further, the
また、情報操作対象となるプリントアウトされたドキュメントの紙文書には所定の情報を埋め込んだバーコード12が印刷されている。埋め込む情報としては、図4に示すように少なくともドキュメントの実体であるデータのPC本体9の認知認知可能なデジタル空間上の保存先情報(ディレクトリー情報31とドキュメント名30)、プリントアウト時のレイアウト情報参照のための印刷情報32(たとえばプリンタ情報、用紙サイズ、印刷条件の直接情報もしくはこれら情報が格納されたPC本体9が認知可能な格納先情報)、コードが書かれているコード重心位置情報(紙面座標情報)33が盛り込まれている。
Further, a
さて、コードの形式としてはある程度の情報量を入れることを考えた場合には、たとえば図5に示すQRコードなどの二次元バーコードなどを用いることが可能である。なお、QRコードは、デンソー社が開発し、大容量で省スペース、高速読み取りが可能であるマトリックスタイプの2次元バーコードである。2次元バーコードとしては、この他にGI Matrix社のDataMatrix、UPS社のMaxi−Codeなどを用いてもよい。 Now, when considering a certain amount of information as a code format, for example, a two-dimensional barcode such as a QR code shown in FIG. 5 can be used. The QR code is a matrix type two-dimensional bar code developed by Denso Corporation, which has a large capacity, saves space, and can be read at high speed. As the two-dimensional barcode, GI Matrix DataMatrix, UPS Maxi-Code, or the like may be used.
また、上記コード情報を読み取った後にPC本体9などで情報ソースへの参照作業を可能にするようなDB(Data Base)処理を行なうシステムとした場合には、上記情報のコード化を工夫する(たとえばコード化するのはドキュメントにユニークなID(IDentification)とし、ID情報を取得した後にIDからドキュメントの実体への参照をサポートするサーバシステムを情報処理装置(PC本体)9の認知可能なデジタル空間上において、実際の参照を行なう)ことにより一次元バーコードなどの比較的情報量の少ないコード形式を用いることも可能である。
Further, in the case of a system that performs DB (Data Base) processing that enables reference work to an information source by the PC
つぎに本発明による紙面情報とデジタル空間とのインターラクション操作手法について説明する。この実施の形態では、図2に示すように紙ドキュメント11はその操作対象となる紙面部が画面表示部内の所定の位置になるように上記画面前面に置かれる。また、上記座標指示部材3の先端部が紙面を介してもしくは直接に画面に接触した際の位置検出ユニット8からの信号の有無により操作動作が、以下に示すフローチャートのように制御される。
Next, an interaction operation method between the page information and the digital space according to the present invention will be described. In this embodiment, as shown in FIG. 2, the
図6は、本発明の第1の実施の形態にかかるシステムの動作例を示すフローチャートである。まず、表示画面2に対して座標指示部材(ペン)3がタッチしたか、ペンDOWNであるか否かを判断する(ステップS11)。ここで、座標指示部材3の先端が接触したことを検知したと判断すると、前述した三角測量の手法で画面上の動作指示のための位置情報を取得する(ステップS12)。また、同時に、座標指示部材3の先端部に設けたペンカメラである読取部26にて画像を所定の周期で静止画として取り込み、コードを認識したか否かを判断する(ステップS13)。ここで、読取部26の読取画像を静止画として取り込み、コードを認識したか否かを判断すると、取り込んだ画像に対し、座標指示部材3に搭載されたデコード処理部20aにてコードの検出とデコード処理を行なう(ステップS14)。
FIG. 6 is a flowchart illustrating an operation example of the system according to the first embodiment of the present invention. First, it is determined whether or not the coordinate indicating member (pen) 3 has touched the
続いて、デコードに成功したか否か、すなわち紙面コード情報が得られたかを判断する(ステップS15)。一方、ステップS13にてコード認識ができなかった場合、あるいはステップS14においてデコードがなされなかった場合、このコード認識処理を所定の時間繰り返し実行したか否かを判断する(ステップS17)。すなわち、紙面コード情報が読み取れない場合には所定の回数もしくは時間試みた後、紙面コード情報が存在しないと判断し、ペンの画面座標指示入力モードのみの動作を開始して、通常ペン入力操作でのGUI(グラフィカルユーザーインタフェイス)操作を行なう。 Subsequently, it is determined whether or not the decoding is successful, that is, whether or not the page code information has been obtained (step S15). On the other hand, if the code cannot be recognized in step S13, or if the decoding is not performed in step S14, it is determined whether or not the code recognition process has been repeatedly executed for a predetermined time (step S17). That is, if the page code information cannot be read, after a predetermined number of attempts or time, it is determined that the page code information does not exist, the operation of only the pen screen coordinate instruction input mode is started, and the normal pen input operation is performed. The GUI (graphical user interface) is operated.
ステップS15において紙面コード情報のデコードに成功した場合には、デコード情報を生成し(ステップS16)、上記光送信部27および受信手段により所定(IrDA;InfraRed Data Associationなど)の通信方法を介して受け取るとともに、上記画面座標指示情報とリンクした形で本システムのオペレーションシステム(OS)に受け渡す。ここで、コード情報を受け取ったか否かを判断する(ステップS18)。
When the page code information is successfully decoded in step S15, decode information is generated (step S16), and is received by the
ステップS18においてコード情報を受け取ったと判断するとつぎの動作を実行する。本システムでは、本情報を処理するための専用のアプリケーションが常駐ソフトとして起動されており、上記ドキュメント情報によりデジタル空間での電子的実体であるデータを参照、プリントアウト情報を参照してドキュメント内のレイアウト情報を取得し(ステップS19)、紙面情報からドキュメント内のどのオブジェクト情報を指示したかを判定するとともに所望の動作コマンドの発行を行なう(ステップS20)。このとき、余白部分と判定された場合はドキュメント全体を指示したものと判定する。そして、指示部材(ペン)3の移動をOSが検出した際には上記オブジェクト情報を保持したままドラッグ動作などの所定のGUI操作(ステップS21、S22、S23)に移行する。 If it is determined in step S18 that the code information has been received, the following operation is executed. In this system, a dedicated application for processing this information is started as resident software, and the document information refers to data that is an electronic entity in the digital space, and printout information is referred to in the document. Layout information is acquired (step S19), it is determined from the page information which object information in the document is designated, and a desired operation command is issued (step S20). At this time, if it is determined to be a blank portion, it is determined that the entire document has been instructed. Then, when the OS detects the movement of the pointing member (pen) 3, the process proceeds to a predetermined GUI operation (steps S21, S22, S23) such as a drag operation while holding the object information.
すなわち、図2に示すようにドキュメント情報の取得時に、あらかじめ設定した所定の動作を指示するためのドロップ領域をGUIしたアイコン群13(たとえばOSが用意しているモジュール機能をつかってプログラミングしたアプリケーションソフト)を、たとえば、紙面サイズ情報と紙面コード位置および画面指示位置から画面と紙面の重なり関係を算出して前記アイコン群13を概略紙面周囲の所定の位置に配置されるよう起動表示しておき、前記ドラッグ動作から所定のアイコンにドロップされた(たとえば、感圧スイッチ23によるペンUP動作を検知したら、リンクされた)オブジェクト情報に対してドロップ領域に定義された所定の操作を行なう。
That is, as shown in FIG. 2, when document information is acquired, an
たとえば、紙面内の図面情報を座標指示部材(ペン)3で指示し、そのままドラッグしてフォルダアイコン15にドロップすると、その画像情報が新たにひとつのファイルとして保存されたり、紙面余白を指示してプリントアイコン14にドロップすると新たに同じドキュメントがプリントアウトされるといったユーザが直感的にわかりやすい操作でドキュメント情報を操作することが可能になる。
For example, when drawing information on a sheet is designated with the coordinate designating member (pen) 3 and dragged as it is and dropped onto the
つぎに、紙ドキュメント11は、紙面コード情報に、少なくともドキュメント情報、ページ情報、紙面座標および紙面サイズ情報を含み、さらに、紙ドキュメント11を画面上においての操作の際に紙ドキュメント11の上記情報と座標指示部材3からの画面座標指示情報から対応するドキュメントを、概略等倍で、かつドキュメント上の位置と紙面位置がほぼ対応した形で画面上に表示する例について説明する。
Next, the
この例では、少なくとも前記紙面コード情報にはドキュメント情報、ページ情報、紙面座標および紙面サイズ情報もしくはそれら情報へのリンク情報が含くまれており、前記紙文書を画面上においての操作の際に、図7に示すように紙面サイズ情報と紙面コード位置および画面指示位置から画面と紙面の重なり関係を算出して対応するドキュメント61を概略等倍で、かつドキュメント上の位置と紙面位置が対応した形で画面上に上記ドキュメントの編集機能を有するアプリケーション60にて表示するようにする。
In this example, at least the page code information includes document information, page information, page coordinates and page size information, or link information to the information, and when the paper document is operated on the screen, As shown in FIG. 7, the overlapping relationship between the screen and the paper surface is calculated from the paper size information, the paper surface code position, and the screen instruction position, so that the
これにより、紙面上の所定の情報10を指示した際にOS側からみると上記編集アプリケーション上での直接ドキュメント61の紙面とおなじオブジェクト情報62に対しての特に指示されたオブジェクト情報62の参照を行わなくて(上記専用の常駐アプリケーションソフトが直接参照しないという意味)も画面指示が行われ、かつ前記ドラッグ操作などを制御する上記常駐ソフトは紙面位置情報に対応したバーチャルキーコード情報をOSに渡すのみで、その後の操作はOSが本来有している機能と上記バーチャルキーコード情報の組み合わせのみで操作を行なうことが可能である。
As a result, when the
たとえば、マイクロソフト社のwindows(登録商標)システムでは、ワープロソフトで作成されたドキュメントであれば、そこに貼られた図面が指示ドロップされた場合、OSはペンの指示動作で紙面裏の画面に表示されたドキュメント61の対応する図面62をハイライトし、その際、前記常駐ソフトからの“shiftキー”のバーチャルキーコード情報のみを受け取ってドラッグすることにより、元ドキュメント11の対応するオブジェクト情報10のデジタル空間上の実体をコピーしてドラッグすることになる。
For example, in the Microsoft Windows (registered trademark) system, if a document created with word processing software is dropped, the OS displays it on the screen behind the paper with the pen pointing action. The corresponding drawing 62 of the
このような構成にすることにより、OSの機能を有効に利用して常駐アプリケーションの機能として必要最小限の構成を実装することにより、OSのリソースなどの有限な資源を効率よく使用するシステムの構成が可能になる。 By adopting such a configuration, a configuration of a system that efficiently uses limited resources such as OS resources by effectively using the OS functions and implementing the minimum required configuration as a resident application function. Is possible.
つぎに、座標指示部材3上に所定の操作を指示し、かつ読取部26によるコード情報の読み取りの有無にしたがって操作ステップが可変になるよう制御する操作指示制御手段を備えた例について説明する。
Next, an example provided with an operation instruction control means for instructing a predetermined operation on the coordinate
この座標指示部材では、図9に示すように座標指示部材3上に所定の操作を指示するための操作指示制御手段として操作指示スイッチ65を設け、上記光信号にこのスイッチの状態情報を重畳する。ここで、上記光信号に紙面コードのデコード結果がない場合には、OSのクリック操作のための情報として上記スイッチ状態を用いるようにするとマウスのエミュレーション動作時のクリック動作指示が可能になる。
In this coordinate indicating member, as shown in FIG. 9, an
また、紙面コード情報とともに伝送された場合にはクリック動作に加えて、上記スイッチ状態が変化しない間は、座標指示部材3の先端の接触を検知する感圧スイッチ23の検出状態を保持するようにしてコード情報の読み取りの有無により操作ステップを可変に制御する。これにより、たとえば紙面から画面へのドラッグ操作時の紙面−画面間の段差によって生じる感圧スイッチ23の接触状態の変化による誤動作を防止することが可能である。
In addition to the click operation when transmitted together with the page code information, the detection state of the pressure
なお、本発明は上記例に限らず種々の変形が可能で、たとえば座標指示検知手段をLCD画面背面に設けた電磁方式のデジタイザを座標指示装置に用いるなど、他の座標入力装置と組み合わせても実現することが可能である。また、撮像手段(読取部26)による紙面コードを安定して読み込むための照明手段を先端部位にも受けてもよいし、紙面コードも従来のバーコードのほかanoto社がすでに開発しているようなドットパターンによるコードを用いても可能である。 The present invention is not limited to the above example, and various modifications are possible. For example, an electromagnetic digitizer having a coordinate instruction detecting means provided on the back surface of the LCD screen may be used in the coordinate instruction apparatus. It is possible to realize. Also, the illumination means for stably reading the paper code by the image pickup means (reading unit 26) may be received at the tip portion, and the paper code is already developed by Anoto in addition to the conventional barcode. It is also possible to use a code with a simple dot pattern.
(第2の実施の形態)
この第2の実施の形態は、前述した第1の実施の形態に対し、座標指示部材上には紙面コード情報を読み取る手段を設けずに、表示画面側の所定位置に紙面コード情報を読み取る手段を設け、その検出範囲内にコード情報が存在するときに読み取り、かつ検出範囲を狭くすることにより、実質的に紙文書の画面上での位置を拘束して紙面位置を既知のものにする例について示すものである。以下、具体的に説明する。
(Second Embodiment)
In the second embodiment, in contrast to the first embodiment described above, a means for reading the paper surface code information at a predetermined position on the display screen side without providing a means for reading the paper surface code information on the coordinate indicating member. An example of making the paper surface position known by substantially restricting the position of the paper document on the screen by reading the code information within the detection range and narrowing the detection range. It shows about. This will be specifically described below.
図8は、本発明の第2の実施の形態にかかる紙文書情報操作システムの構成を示す説明図である。本構成は前述した第1の実施の形態における図2に対し、同一機能を有するブロックについては同一符号を付し、異なる機能を有するブロックについては符号を新たに付してある。すなわち、図2の構成に対して表示面上の紙ドキュメント11のバーコード12を読み取るコード読取装置5を情報表示部1の右上方に設置したものである。他の構成は重複するためここでの説明は省略する。
FIG. 8 is an explanatory diagram showing the configuration of the paper document information operation system according to the second embodiment of the present invention. In this configuration, blocks having the same function are denoted by the same reference numerals and blocks having different functions are newly denoted by reference numerals with respect to FIG. 2 in the first embodiment described above. That is, a
なお、バーコード12は前述したようにQRコードなどの二次元のバーコードを用いる。情報操作対象となるプリントアウトされたドキュメントの紙文書11には所定の情報を埋め込んだ二次元バーコード12が印刷されている。埋め込む情報としては、少なくともドキュメントの実体であるデータのPC本体9から認知可能なデジタル空間上の保存先情報(ディレクトリー情報31とドキュメント名(データ名)30)、プリントアウト時のレイアウト情報参照のための印刷情報32(たとえばプリンタ情報、用紙サイズ、倍率や余白などの印刷条件など)の直接情報もしくはこれら情報が格納されたデータのコンピュータ側から認知可能な格納先情報、コードが書かれている紙面座標位置情報33が盛り込まれている。コードの形式としてはある程度の情報量を入れることを考えた場合には、たとえば図5に示すQRコードなどの二次元バーコードなどを用いることが可能である。
As described above, the
また、本システムが読み取った後にコンピュータなどで情報ソースへの参照作業を可能にするようなDB処理を行うシステムとした場合には、上記情報のコード化を工夫する(たとえばコード化する情報としてはドキュメントに付与するユニークなID番号とコードが書かれているコード重心位置情報(紙面座標位置情報)33のみとし、ID番号情報取得後にID番号からドキュメントの電子的実体への参照等の対応するドキュメント情報および印刷情報などを格納したデータベースシステムへの操作をサポートするサーバシステムをPC本体9の認知可能なデジタル空間上において、実際の参照はこのDB処理を介して行う)ことにより一次元バーコードなどの比較的情報量の少ないコード形式を用いることも可能である。
In addition, in the case of a system that performs DB processing that enables a reference work to an information source by a computer or the like after being read by this system, devise coding of the above information (for example, as information to be coded) Only the code center of gravity position information (paper coordinate position information) 33 in which the unique ID number and code assigned to the document are written, and the corresponding document such as a reference from the ID number to the electronic entity of the document after obtaining the ID number information A server system that supports operations on a database system that stores information, print information, etc., on the recognizable digital space of the PC
図10は、図9における紙文書情報操作システムに使用する座標指示部材の構成を示す説明図である。この座標指示部材は、前述した第1の実施の形態に使用する座標指示部材にバーコード12を読み取るための撮像手段を設けていたのに対し、バーコード12の読み取りはコード読取装置5で行なうので不要であることから、この部分が削除された構成となっている。したがって、図3および図8と同一機能の部分については同一符号を付し、重複説明については省略する。また、座標検出動作は前述した第1の実施の形態と同様であるのでその動作についても省略する。
FIG. 10 is an explanatory diagram showing the configuration of the coordinate indicating member used in the paper document information operation system shown in FIG. This coordinate indicating member is provided with an imaging means for reading the
図11は、図9におけるコード読取装置の構成を示すブロック図である。コード読取装置5は、図示するように、所定の解像度を有するイメージセンサを搭載し、バーコード12を撮像する撮像部40、投光用のLED素子41、集光系レンズ搭載のPINフォトダイオードからなる受光素子42、受光部43、本体制御部7の出力信号によって撮像部40を制御する撮像制御部44を備えている。
FIG. 11 is a block diagram showing the configuration of the code reading device in FIG. As shown in the figure, the
なお、図11に示すように、この場合におけるバーコード12はコード読取装置5が斜めから読み取ることを考慮し、あらかじめ所定の形に歪ませて印刷されている。これにより、撮影された画像データの光学的なひずみ補正を省略することが可能であるため、デコード処理を高速で行なうことができる。
As shown in FIG. 11, the
つぎに、図9〜図11のように構成された紙文書情報操作システムの動作について図12に示すフローチャートを参照し、説明する。 Next, the operation of the paper document information operation system configured as shown in FIGS. 9 to 11 will be described with reference to the flowchart shown in FIG.
本発明では、LED素子41は本体制御部7による制御にしたがって所定の時間間隔で点灯している。通常、表示部1はガラス面等で覆われているため、斜めからの照射光はそのほとんどが正反射するため、LED素子41と同じ側に設置されている受光素子42に入射する反射光はほとんどない。しかし、紙ドキュメント11が置かれると紙面表面の拡散反射により再帰光成分が発生するため、受光素子42への入射光が増加する。さらには撮像部40が本波長域も感度を有するならば、投光用のLED素子41は紙面コードを安定して読むための照明手段としても機能する。
In the present invention, the
図12において、ペン(座標指示部材3)による座標指示があったか否かを判断し(ステップS31)、当該座標指示があったならば、画面に指示された位置情報を取得する(ステップS32)。続いて、画面にコード情報があるか否かを判断する(ステップS33)。すなわち、この受光素子42の光量変化を検出して撮影部40を駆動し、紙面上の印刷されたバーコード12の静止画像を撮影し取り込む。取り込まれた画像は、本体制御部7に設けたデコード処理部にてコードの検出とデコード処理を行う(ステップS34)。紙面コード情報が読み取れない場合あるいはデコードに成功しない場合には所定の回数もしくは時間試みた後(ステップS43)、紙面コードが存在しないとしてペンの画面座標指示入力モードのみの動作を開始して、通常ペン入力操作でのGUI(グラフィカルユーザーインタフェイス)操作を行う。
In FIG. 12, it is determined whether or not there is a coordinate instruction by the pen (coordinate instruction member 3) (step S31). If there is a coordinate instruction, position information instructed on the screen is acquired (step S32). Subsequently, it is determined whether or not there is code information on the screen (step S33). That is, the light quantity change of the
紙面コード情報のデコードに成功したか否かを判断し(ステップS35)、デコードに成功した場合には、デコード情報を生成し(ステップS36)、画面座標指示情報とリンクした形で本システムのオペレーションシステム(OS)に受け渡す。さらに、コード情報を受け取ったか否かを判断し(ステップS37)、受け取ったならばステップS38を実行し、受け取っていないならばステップS40に移行する。 It is determined whether or not the page code information has been successfully decoded (step S35). If the decoding is successful, decode information is generated (step S36) and the operation of this system is linked to the screen coordinate instruction information. Delivered to the system (OS). Further, it is determined whether or not code information is received (step S37). If it is received, step S38 is executed, and if not received, the process proceeds to step S40.
本システムでは、本情報を処理するための専用のアプリケーションが常駐ソフトとして起動されており、上記ドキュメント情報によりデジタル空間での電子的実体であるデータを参照、プリントアウト情報を参照してドキュメント内のレイアウト情報を取得後(ステップS38)、さらに上記座標から生成したコード部の前記画面表示部上での座標情報を生成し、さらに前記情報および前記座標指示部材の画面指示座標情報から対応する画面位置に該当ドキュメントを編集するためのアプリケーションソフトから起動し(ステップS39)、所定の操作情報をOSへ通知する(ステップS40)。このとき、オブジェクト情報が存在しない余白部分を指示した場合などはドキュメント全体を指示したものとして前記操作情報を通知する。 In this system, a dedicated application for processing this information is started as resident software, and the document information refers to data that is an electronic entity in the digital space, and printout information is referred to in the document. After the layout information is acquired (step S38), further, coordinate information on the screen display unit of the code unit generated from the coordinates is generated, and the screen position corresponding to the information and the screen instruction coordinate information of the coordinate indicating member is generated. Is started from application software for editing the corresponding document (step S39), and predetermined operation information is notified to the OS (step S40). At this time, when a blank portion where no object information exists is indicated, the operation information is notified as indicating the entire document.
さらに、ペン(座標指示部材3)がUP操作されたかを判断し(ステップS41)、ペンのUP移動をOSが検出した際には上記操作情報を保持したままドラッグ動作などの所定のGUI操作(ステップS42)に移行し、前記操作情報とOSもしくは上記アプリケーションソフトが提供するGUI操作との組み合わせに対応した操作を指示したオブジェクト情報に対して実行する。さらに、図9に示すようにドキュメント情報取得時に、あらかじめ設定した所定の動作を指示するためのドロップ領域をGUI化したアイコン群13(たとえばOSが用意しているモジュール機能をつかってプログラミングしたアプリケーションソフト)を、たとえば紙面サイズ情報および紙面コード位置情報から画面上での紙面位置を推定し、アイコン群13を概略紙面周囲の所定の位置に配置されるよう起動表示しておき、上記ドラッグ動作から所定のアイコンにドロップされた、たとえば圧力センサによるペンUP動作を検知したら、指示されたオブジェクト情報に対してドロップ領域に定義された所定の操作を行う。
Further, it is determined whether or not the pen (coordinate instruction member 3) has been UP-operated (step S41). When the OS detects the UP movement of the pen, a predetermined GUI operation (such as a drag operation) while maintaining the operation information (see FIG. The process proceeds to step S42), and the operation corresponding to the combination of the operation information and the GUI operation provided by the OS or the application software is executed on the object information instructed. Further, as shown in FIG. 9, when obtaining document information, an
すなわち、たとえば紙面内の図面情報を座標指示部材3で指示し、そのままドラッグしてフォルダアイコン15にドロップすると、その画像情報が新たにひとつのファイルとして保存されたり、紙面余白を指示してプリントアイコン14にドロップすると新たに同じドキュメントがプリントアウトされるといったユーザが直感的にわかりやすい操作でドキュメント情報を操作することが可能になる。
That is, for example, when drawing information on a paper surface is designated by the coordinate designating
つぎに、紙面情報の表示方法および操作についてさらに詳しく説明する。この実施の形態では、少なくとも紙面コード情報にはドキュメント情報として電子的実体へのリンク情報、紙面ページ情報、コードの印刷位置座標及び紙面サイズ情報(印刷時の倍率も含む)もしくはそれら情報へのリンク情報が含くまれていて、紙ドキュメント11を画面上に置いての操作の際に、図13に示すように紙面サイズ情報と紙面コード位置情報、コード読取装置5でのコードの位置情報(本例の場合、たとえば図14に示すような撮影画面65内でのコード画像の重心位置情報)およびコード読取装置5の表示画面との設置位置関係情報から、紙面と表示画面との物理的な位置対応関係を生成し、紙面情報と前記位置対応関係から、画面と紙面の重なり関係を算出して対応するドキュメント(=電子的実体)を概略紙面情報に等倍でかつドキュメントの位置と紙面位置が概略重なる形で画面上に前記ドキュメントの編集機能を有するアプリケーション60とともに表示するようにする。
Next, the display method and operation of the page information will be described in more detail. In this embodiment, at least the paper code information includes, as document information, link information to an electronic entity, paper page information, code printing position coordinates and paper size information (including the magnification at the time of printing), or links to such information. In the operation of placing the
これにより紙面上の所定の情報63を指示した際にOSから見ると編集アプリケーション60上での直接ドキュメント61の紙面とおなじオブジェクト情報62に対しての特に指示されたオブジェクト情報62の参照を行わなくて(前記本発明の専用の常駐アプリケーションソフトが直接参照しないという意味)も所望のオブジェクト(ここでは62)に対して画面指示が行われ、かつドラッグ操作等を制御する前記常駐ソフトは紙面位置情報に対応した操作コマンド情報をOSに渡すのみで、その後の操作はOSが本来有している機能と前記操作情報の組み合わせのみで操作を行うことが可能である。
As a result, when the
たとえば、マイクロソフト社のwindows(登録商標)システムでは、ワープロソフトで作成されたドキュメントであれば、そこに貼られた図面を指示しドロップされた場合、OSはペンの指示動作で紙面裏の画面に表示されたドキュメント61の対応する図面62をハイライトし、その際前記常駐ソフトから、たとえば“controllキー”のバーチャルキーコード情報のみを受け取って通常のマウスのクリック動作とドラッグ操作コマンドと組み合わせてOSにメッセージを送るだけで元ドキュメント11の対応するオブジェクト情報63のデジタル空間上の実体62をコピーしてドラッグすることになる。
For example, in the Windows (registered trademark) system of Microsoft Corporation, if a document created with word processing software is dropped by pointing to the drawing pasted there, the OS will display the screen on the back of the paper with the pointing operation of the pen. The corresponding drawing 62 of the displayed
このような構成にすることにより、OSの機能を有効に利用して常駐アプリケーションの機能として必要最小限の構成を実装することにより、OSのリソース等の有限な資源を効率よく使用するシステムの構成が可能になる。 By adopting such a configuration, a configuration of a system that efficiently uses limited resources such as OS resources by effectively using the functions of the OS and implementing the minimum necessary configuration as a function of the resident application. Is possible.
また、この実施の形態による他の座標指示部材では、図15に示すように座標指示部材3上に所定の操作を指示するための制御手段としてスイッチ70を設けており、前記超音波信号にこのスイッチの状態情報を重畳する。ここで、コード読取装置5からの読み取り信号に紙面コードのデコード結果がない場合には、OSのクリック操作のための情報として前記スイッチ状態を用いるようにするとマウスのエミュレーション動作時のクリック動作指示が可能になる。また、紙面コード情報とともに伝送された場合にはマウスエミュレーション動作に加えて、前記スイッチ状態が変化しない間はペン先の接触を検知するスイッチ23の検出状態を保持するようにしてコード情報の読み取りの有無により操作ステップを可変に制御する。これにより、たとえば紙面から画面へのドラッグ操作時の紙面-画面間の段差によって生じる前記スイッチ23の接触状態の変化による誤動作を防止することが可能である。
Further, in another coordinate indicating member according to this embodiment, a
なお、本発明は上述した実施の形態に限らず種々の変形が可能で、たとえば座標指示検知手段をLCD画面背面に設けた電磁方式のデジタイザを座標指示装置に用いるなど、他の座標入力装置と組み合わせても実現可能である。また、紙面コードも従来のバーコードのほかanoto社発明のようなドットパターによるコードを用いた光学的なものや、位置精度は若干劣るが紙面上の図などの比較的形の大きなオブジェクト操作が主目的なシステムとしてはRFID(Radio Frequency Identification:媒体に電波を用いたIDシステム)タグのように微小半導体チップを紙面周辺部にコード情報を書き込んだ状態で埋め込み、近距離無線検出手法による方法もコード読み取り手段にもちいることも可能であるとともに、シート情報電極をプリントしての有線検出による方法も可能である。 The present invention is not limited to the above-described embodiment, and various modifications are possible. For example, an electromagnetic digitizer provided with a coordinate instruction detection unit on the back of the LCD screen is used for the coordinate instruction apparatus. It can also be realized by combining them. Also, the paper code is an optical one that uses a dot pattern code as in the invention of anoto in addition to the conventional bar code, and relatively large object operations such as drawings on the paper, although the position accuracy is slightly inferior. As a main purpose system, there is a method using a short-range wireless detection method by embedding a minute semiconductor chip with code information written in a peripheral portion of a paper surface like an RFID (Radio Frequency Identification: ID system using radio waves as a medium) tag. It can be used as a code reading means, and a method by wire detection by printing a sheet information electrode is also possible.
以上のように、本発明にかかる紙文書情報操作システムおよび情報操作方法は、表示画面上に複数のコード化した情報群をライトペンなどで指示し、所望の処理を行なわせる装置やシステムに有用であり、特に、紙面上への入力情報の取得、またはパーソナルコンピュータ、アミューズメント用入力装置、携帯端末などにおける画面上のカーソルなどの移動指示やストロークデータの入力を行なうための2次元座標領域へ入力可能な座標入力装置に適している。 As described above, the paper document information operation system and the information operation method according to the present invention are useful for an apparatus or a system for instructing a plurality of coded information groups on a display screen with a light pen or the like and performing a desired process. In particular, input to a two-dimensional coordinate area for obtaining input information on paper or inputting a movement instruction of a cursor on a screen and input of stroke data in a personal computer, an amusement input device, a portable terminal, etc. Suitable for possible coordinate input device.
1 表示部
2 表示画面
3 座標指示部材
5 コード読取装置
4a,4b 超音波受信器
6 光信号受信器
7 本体制御部
8 位置検出ユニット
9 情報処理装置(PC本体)
11 紙ドキュメント
12 バーコード
13 アイコン群
14 プリントアイコン
15 フォルダアイコン
20 ペン制御部
23 感圧スイッチ
25 超音波発信素子
26 読取部
27 LED素子
65 操作指示スイッチ
70 スイッチ
DESCRIPTION OF
DESCRIPTION OF
Claims (15)
画像を表示する画像表示手段と、
前記画像表示手段に表示された前記紙文書を読み取る読取手段を有し、その座標を指示する座標指示手段と、
前記画像表示手段における所定の位置が前記座標指示手段によって指示された際に画面座標指示情報を検出する位置検出手段と、
前記画面座標指示情報と読み取った前記紙面コード情報とに対応する前記紙文書を、電子的実体上のデジタル情報に対して所定の操作制御を実行する制御手段と、
を備えたことを特徴とする紙文書情報操作システム。 Document information and print information corresponding to at least document information for reference from the information processing apparatus are encoded at a predetermined position on the page, and the page code information is embedded in an optically readable format for printing. A paper document having an electronic entity in the digital space of the information processing apparatus;
Image display means for displaying an image;
A coordinate indicating means for reading the paper document displayed on the image display means and indicating the coordinates;
Position detection means for detecting screen coordinate instruction information when a predetermined position in the image display means is instructed by the coordinate instruction means;
Control means for executing predetermined operation control on the digital information on the electronic entity, the paper document corresponding to the screen coordinate instruction information and the read paper surface code information;
A paper document information operation system characterized by comprising:
前記紙文書は、前記紙面コード情報に、少なくともコードが印刷されている紙面位置情報、印刷されているドキュメント情報および紙面サイズ情報を含み、
さらに、前記制御手段により、読み取った紙面位置および紙面サイズ情報と前記画面座標指示情報から対応する操作メニュー情報を前記紙文書の外周周辺部の所定の位置に表示制御する表示制御手段を備えたことを特徴とする請求項1に記載の紙文書情報操作システム。 The image display means has a screen having a larger display area than the paper document,
The paper document includes at least the paper surface position information on which the code is printed, the printed document information, and the paper size information in the paper code information.
Furthermore, the control means includes display control means for controlling the display of the operation menu information corresponding to the read paper surface position and paper size information and the screen coordinate instruction information at a predetermined position on the outer periphery of the paper document. The paper document information operation system according to claim 1.
さらに、前記紙文書を画面上においての操作の際に紙文書の前記情報と前記座標指示手段からの画面座標指示情報から対応するドキュメントを、概略等倍で、かつドキュメント上の位置と紙面位置がほぼ対応した形で画面上に表示する表示制御手段を備えたことを特徴とする請求項1に記載の紙文書情報操作システム。 The paper document includes at least document information, page information, page coordinates, and page size information in the page code information,
Further, when the paper document is operated on the screen, the corresponding document from the information on the paper document and the screen coordinate instruction information from the coordinate instruction means is approximately the same size, and the position on the document and the paper surface position are the same. 2. The paper document information operation system according to claim 1, further comprising display control means for displaying on the screen in a substantially corresponding form.
前記座標指示手段の座標指示動作を検出する指示動作検出手段と、
前記指示動作検出手段に連動して前記読取手段の動作を制御する読取制御手段と、
を備えたことを特徴とする請求項1に記載の紙文書情報操作システム。 further,
Indicating operation detecting means for detecting the coordinate indicating operation of the coordinate indicating means;
Reading control means for controlling the operation of the reading means in conjunction with the instruction operation detecting means;
The paper document information operation system according to claim 1, further comprising:
紙面コード情報を読み取り、紙面位置情報を取得する第1のステップと、
前記第1のステップと対応するデジタルデータへの参照情報を取得する第2のステップと、
前記紙面位置情報による情報操作パラメータと前記座標指示動作とを関連付ける第3のステップと、
を含むことを特徴とする紙文書情報操作方法。 Document information and print information for reference from an information processing apparatus to at least an electronic entity corresponding to the document information is encoded at a predetermined position on the page, and the page code information is optically readable. A paper document that is embedded and printed and has an electronic entity in the digital space of the information processing apparatus, an image display unit that displays an image, and screen coordinate instruction information that is detected when a predetermined position on the image display unit is specified A position detection means, a reading means for reading the paper document displayed on the image display means, and a coordinate instruction means for indicating the coordinates thereof,
A first step of reading the paper surface code information and obtaining the paper surface position information;
A second step of obtaining reference information to the digital data corresponding to the first step;
A third step of associating the information operation parameter based on the paper surface position information with the coordinate instruction operation;
A paper document information operating method comprising:
前記第1のステップは、前記操作指示制御手段の状態を検知するステップを含むことを特徴とする請求項6に記載の紙文書情報操作方法。 And an operation instruction control means for instructing a predetermined operation on the coordinate instruction means and controlling an operation step to be variable according to whether or not code information is read by the reading means,
7. The paper document information operation method according to claim 6, wherein the first step includes a step of detecting a state of the operation instruction control means.
画像を表示する画像表示手段と、
画面座標を指示する座標指示手段と、
前記画像表示手段における所定の位置が前記座標指示手段によって指示された際に画面座標指示情報を検出する位置検出手段と、
前記画像表示手段上の前記紙文書の紙面コード情報を読み取るコード読取手段と、
前記画面座標指示情報と前記コード読取手段で読み取った前記紙面コード情報とに対応する前記紙文書を、電子的実体上のデジタル情報に対して所定の操作制御を実行する制御手段と、
を備えたことを特徴とする紙文書情報操作システム。 Document information and print information corresponding to at least document information for reference from the information processing apparatus are encoded at a predetermined position on the page, and the page code information is embedded in an optically readable format for printing. A paper document having an electronic entity in the digital space of the information processing apparatus;
Image display means for displaying an image;
Coordinate indicating means for indicating screen coordinates;
Position detection means for detecting screen coordinate instruction information when a predetermined position in the image display means is instructed by the coordinate instruction means;
Code reading means for reading page code information of the paper document on the image display means;
Control means for performing predetermined operation control on the digital information on the electronic entity, the paper document corresponding to the screen coordinate instruction information and the paper surface code information read by the code reading means;
A paper document information operation system characterized by comprising:
前記紙文書は、前記紙面コード情報に、少なくともコードが印刷されている紙面位置情報、印刷されているドキュメント情報および紙面サイズ情報を含み、
さらに、前記コード読取手段で読み取った紙面コード情報と前記コード読取手段の設置位置情報とから生成される紙面位置情報から、対応する所望の操作メニュー情報を前記紙文書の外周周辺部の所定の位置に表示制御する表示制御手段を備えたことを特徴とする請求項8に記載の紙文書情報操作システム。 The image display means has a screen having a larger display area than the paper document,
The paper document includes at least the paper surface position information on which the code is printed, the printed document information, and the paper size information in the paper code information.
Further, from the paper surface position information generated from the paper surface code information read by the code reading means and the installation position information of the code reading means, the corresponding desired operation menu information is obtained at a predetermined position on the outer periphery of the paper document. 9. The paper document information operation system according to claim 8, further comprising display control means for controlling display.
さらに、前記紙文書を画面上の所定位置においての操作の際に紙文書の前記情報と前記コード読取手段の設置位置情報から生成されるコードが挿入されている紙面位置情報からから対応するドキュメントを、概略等倍で、かつドキュメント上の位置と紙面位置がほぼ対応した形で画面上に表示する表示制御手段を備えたことを特徴とする請求項8に記載の紙文書情報操作システム。 The paper document includes at least document information, page information, paper size information, or reference information to the information in the paper code information,
Further, when the paper document is operated at a predetermined position on the screen, a corresponding document is obtained from the paper surface position information in which the code generated from the information of the paper document and the installation position information of the code reading unit is inserted. 9. The paper document information operation system according to claim 8, further comprising display control means for displaying on the screen such that the position on the document and the position on the paper are substantially corresponding to each other.
前記制御手段は、前記光検出手段に連動してコード読取動作を制御することを特徴とする請求項8に記載の紙文書情報操作システム。 The code reading means includes a light detection means for irradiating a predetermined position with an optical signal obliquely and detecting a part of diffused light from the paper surface,
9. The paper document information operation system according to claim 8, wherein the control unit controls a code reading operation in conjunction with the light detection unit.
前記紙文書が前記画像表示手段の所定の位置に置かれた際に前記コード情報読取手段により前記コード情報を取得する第1のステップと、
前記コード情報の読み取りに対応して紙面位置情報を生成する第2のステップと、
読み取った前記コード情報に対応する電子的実体への参照情報を取得する第3のステップと、
紙面位置情報と前記画面座標指示情報、情報操作パラメータとを関連付ける第4のステップと、
を含むことを特徴とする紙文書情報操作方法。 Document information and print information corresponding to at least document information for reference from the information processing apparatus are encoded at a predetermined position on the page, and the page code information is embedded in an optically readable format for printing. A paper document having an electronic entity in the digital space of the information processing apparatus, image display means for displaying an image, coordinate instruction means for instructing screen coordinates, and a predetermined position in the image display means is the coordinate instruction means A position detection means for detecting screen coordinate instruction information when instructed by the code, and a code reading means for reading the page code information of the paper document on the image display means,
A first step of acquiring the code information by the code information reading means when the paper document is placed at a predetermined position of the image display means;
A second step of generating paper surface position information corresponding to the reading of the code information;
A third step of obtaining reference information to an electronic entity corresponding to the read code information;
A fourth step of associating the paper surface position information with the screen coordinate instruction information and the information operation parameter;
A paper document information operating method comprising:
前記第1のステップは、前記操作指示制御手段の状態を検知するステップを含むことを特徴とする請求項14に記載の紙文書情報操作方法。 Furthermore, an operation instruction control means for instructing a predetermined operation on the coordinate instruction means and controlling an operation step to be variable according to whether or not code information is read by the code reading means,
15. The paper document information operation method according to claim 14, wherein the first step includes a step of detecting a state of the operation instruction control unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003409482A JP4589619B2 (en) | 2003-09-03 | 2003-12-08 | Paper document information operation system and information operation method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003311696 | 2003-09-03 | ||
JP2003409482A JP4589619B2 (en) | 2003-09-03 | 2003-12-08 | Paper document information operation system and information operation method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005100315A true JP2005100315A (en) | 2005-04-14 |
JP4589619B2 JP4589619B2 (en) | 2010-12-01 |
Family
ID=34467585
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003409482A Expired - Fee Related JP4589619B2 (en) | 2003-09-03 | 2003-12-08 | Paper document information operation system and information operation method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4589619B2 (en) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007074357A (en) * | 2005-09-07 | 2007-03-22 | Fuji Xerox Co Ltd | Image forming apparatus, image generation system, and image processing method |
WO2007105819A1 (en) * | 2006-03-10 | 2007-09-20 | Kenji Yoshida | System for input to information processing device |
JP2008027020A (en) * | 2006-07-19 | 2008-02-07 | Hitachi Ltd | Writing tool and collation system |
WO2009081566A1 (en) * | 2007-12-21 | 2009-07-02 | Kenji Yoshida | Remote control device possible to read out dot pattern formed on medium or display |
JP2011028351A (en) * | 2009-07-22 | 2011-02-10 | Shinsedai Kk | Remote code reader system, host computer for the same, code reader, code collection processing method, computer program, and recording medium with the same recorded |
JP4816808B1 (en) * | 2010-12-14 | 2011-11-16 | 大日本印刷株式会社 | Computer apparatus, input system, and program |
JP4816809B1 (en) * | 2010-12-14 | 2011-11-16 | 大日本印刷株式会社 | Computer apparatus, input system, and program |
JP2012086570A (en) * | 2006-03-10 | 2012-05-10 | Kenji Yoshida | Printing control system and printing method |
JP2012128828A (en) * | 2011-05-20 | 2012-07-05 | Dainippon Printing Co Ltd | Computer device, input system and program |
JP2012146012A (en) * | 2011-01-07 | 2012-08-02 | Dainippon Printing Co Ltd | Computer device, input system, and program |
JP2012146011A (en) * | 2011-01-07 | 2012-08-02 | Dainippon Printing Co Ltd | Electronic pen, computer device, input system, and program |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06162247A (en) * | 1992-11-25 | 1994-06-10 | Matsushita Electric Ind Co Ltd | Two-dimensional code read bar code reader |
JPH07219927A (en) * | 1994-01-31 | 1995-08-18 | Toppan Moore Co Ltd | Data accumulating processing system |
JP2000215000A (en) * | 1999-01-21 | 2000-08-04 | Ricoh Co Ltd | Information processing system |
JP2000293303A (en) * | 1999-02-03 | 2000-10-20 | Ricoh Co Ltd | Coordinate input device, information processing system and medium |
JP2002215768A (en) * | 2001-01-12 | 2002-08-02 | Ricoh Co Ltd | Customer service method, service system, correspondence course service method and correspondence course service system |
JP2002373053A (en) * | 2001-06-13 | 2002-12-26 | Fujitsu Ltd | Device and method for inputting coordinates |
JP2003508843A (en) * | 1999-08-30 | 2003-03-04 | アノト・アクティエボラーク | Note pad |
-
2003
- 2003-12-08 JP JP2003409482A patent/JP4589619B2/en not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06162247A (en) * | 1992-11-25 | 1994-06-10 | Matsushita Electric Ind Co Ltd | Two-dimensional code read bar code reader |
JPH07219927A (en) * | 1994-01-31 | 1995-08-18 | Toppan Moore Co Ltd | Data accumulating processing system |
JP2000215000A (en) * | 1999-01-21 | 2000-08-04 | Ricoh Co Ltd | Information processing system |
JP2000293303A (en) * | 1999-02-03 | 2000-10-20 | Ricoh Co Ltd | Coordinate input device, information processing system and medium |
JP2003508843A (en) * | 1999-08-30 | 2003-03-04 | アノト・アクティエボラーク | Note pad |
JP2002215768A (en) * | 2001-01-12 | 2002-08-02 | Ricoh Co Ltd | Customer service method, service system, correspondence course service method and correspondence course service system |
JP2002373053A (en) * | 2001-06-13 | 2002-12-26 | Fujitsu Ltd | Device and method for inputting coordinates |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4595757B2 (en) * | 2005-09-07 | 2010-12-08 | 富士ゼロックス株式会社 | Image forming apparatus |
JP2007074357A (en) * | 2005-09-07 | 2007-03-22 | Fuji Xerox Co Ltd | Image forming apparatus, image generation system, and image processing method |
JP2012086570A (en) * | 2006-03-10 | 2012-05-10 | Kenji Yoshida | Printing control system and printing method |
KR101067360B1 (en) | 2006-03-10 | 2011-09-23 | 켄지 요시다 | Printing method of information processing device and printing control system of icon image |
WO2007105819A1 (en) * | 2006-03-10 | 2007-09-20 | Kenji Yoshida | System for input to information processing device |
KR101304290B1 (en) * | 2006-03-10 | 2013-09-11 | 켄지 요시다 | Order system |
JP2008027020A (en) * | 2006-07-19 | 2008-02-07 | Hitachi Ltd | Writing tool and collation system |
WO2009081566A1 (en) * | 2007-12-21 | 2009-07-02 | Kenji Yoshida | Remote control device possible to read out dot pattern formed on medium or display |
JP2011028351A (en) * | 2009-07-22 | 2011-02-10 | Shinsedai Kk | Remote code reader system, host computer for the same, code reader, code collection processing method, computer program, and recording medium with the same recorded |
JP4816808B1 (en) * | 2010-12-14 | 2011-11-16 | 大日本印刷株式会社 | Computer apparatus, input system, and program |
JP4816809B1 (en) * | 2010-12-14 | 2011-11-16 | 大日本印刷株式会社 | Computer apparatus, input system, and program |
JP2012146012A (en) * | 2011-01-07 | 2012-08-02 | Dainippon Printing Co Ltd | Computer device, input system, and program |
JP2012146011A (en) * | 2011-01-07 | 2012-08-02 | Dainippon Printing Co Ltd | Electronic pen, computer device, input system, and program |
JP2012128828A (en) * | 2011-05-20 | 2012-07-05 | Dainippon Printing Co Ltd | Computer device, input system and program |
Also Published As
Publication number | Publication date |
---|---|
JP4589619B2 (en) | 2010-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7535489B2 (en) | Digital platform apparatus | |
JP4618401B2 (en) | Information display system and information display method | |
CN104166509B (en) | A kind of contactless screen exchange method and system | |
JP5482522B2 (en) | Display control apparatus, display control method, and program | |
JP2006195995A (en) | System and method for identifying termination of data input | |
JP4589619B2 (en) | Paper document information operation system and information operation method | |
JP2010118027A (en) | Mouse having dot pattern reading function | |
JPH1145149A (en) | Device and method for displaying data, recording medium, device and method for transmitting data | |
JP2003256137A (en) | Display and transparent sheet | |
JP5353219B2 (en) | Board writing system, computer apparatus and program | |
JP5664303B2 (en) | Computer apparatus, input system, and program | |
TWI668600B (en) | Method, device, and non-transitory computer readable storage medium for virtual reality or augmented reality | |
JP5657471B2 (en) | Digital platform device | |
JP2005275439A (en) | Ui design evaluation method and apparatus | |
JP2000259338A (en) | Input system, display system, presentation system and information storage medium | |
JP2008250376A (en) | Document creation device, display control device and program | |
US20040032428A1 (en) | Document including computer graphical user interface element, method of preparing same, computer system and method including same | |
JP5773003B2 (en) | Display control apparatus, display control method, and program | |
JP2008276219A (en) | Digital platform device | |
JP2005063029A (en) | Handwritten information acquisition device | |
JP4615178B2 (en) | Information input / output system, program, and storage medium | |
JP4560312B2 (en) | Paper document information operation system and paper document information operation method | |
JP2006134105A (en) | Device for reading form | |
JP5664300B2 (en) | Computer apparatus, input system, and program | |
JP4145070B2 (en) | Presentation method using document camera device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060515 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090318 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090331 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090529 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100615 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100816 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100907 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100910 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130917 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |