JP2007079976A - 空間配置再現方法、読取り装置、及びプログラム - Google Patents

空間配置再現方法、読取り装置、及びプログラム Download PDF

Info

Publication number
JP2007079976A
JP2007079976A JP2005267373A JP2005267373A JP2007079976A JP 2007079976 A JP2007079976 A JP 2007079976A JP 2005267373 A JP2005267373 A JP 2005267373A JP 2005267373 A JP2005267373 A JP 2005267373A JP 2007079976 A JP2007079976 A JP 2007079976A
Authority
JP
Japan
Prior art keywords
medium
information
code
document
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005267373A
Other languages
English (en)
Other versions
JP4674513B2 (ja
Inventor
Kimii Hasuike
公威 蓮池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2005267373A priority Critical patent/JP4674513B2/ja
Priority to US11/348,504 priority patent/US20070057060A1/en
Publication of JP2007079976A publication Critical patent/JP2007079976A/ja
Application granted granted Critical
Publication of JP4674513B2 publication Critical patent/JP4674513B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/08—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code using markings of different kinds or more than one marking of the same kind in the same record carrier, e.g. one marking being sensed by optical and the other by magnetic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H04N1/00355—Mark-sheet input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H04N1/00355—Mark-sheet input
    • H04N1/00358—Type of the scanned marks
    • H04N1/00363—Bar codes or the like
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H04N1/00355—Mark-sheet input
    • H04N1/00358—Type of the scanned marks
    • H04N1/00366—Marks in boxes or the like, e.g. crosses or blacking out
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H04N1/00355—Mark-sheet input
    • H04N1/00368—Location of the scanned marks
    • H04N1/00374—Location of the scanned marks on the same page as at least a part of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H04N1/00355—Mark-sheet input
    • H04N1/00376—Means for identifying a mark sheet or area
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H04N1/00355—Mark-sheet input
    • H04N1/00379—Means for enabling correct scanning of a mark sheet or area, e.g. registration or timing marks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H04N1/00392—Other manual input means, e.g. digitisers or writing tablets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00567—Handling of original or reproduction media, e.g. cutting, separating, stacking
    • H04N1/0057—Conveying sheets before or after scanning
    • H04N1/00572—Conveying sheets before or after scanning with refeeding for double-sided scanning, e.g. using one scanning head for both sides of a sheet
    • H04N1/00575—Inverting the sheet prior to refeeding
    • H04N1/00578—Inverting the sheet prior to refeeding using at least part of a loop, e.g. using a return loop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/19—Image acquisition by sensing codes defining pattern positions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Toxicology (AREA)
  • General Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

【課題】 基材に貼付された貼付材の位置、大きさを電子的に認識できるようにする。
【解決手段】 識別情報及び位置情報を含むコード画像が印刷されたコード付き文書５１０に対し、同じく識別情報及び位置情報を含むコード画像が印刷された付箋５２０を貼り付ける。そして、コード付き文書５１０と付箋５２０の境界部分の画像をペンデバイス６００で捕捉する。これにより、ディスプレイ７５０上に、コード付き文書５１０を表す文書オブジェクト７１０と、付箋５２０を表す付箋オブジェクト７２０とが表示される。その際、例えば、識別情報の不連続性により境界を特定し、位置情報により境界点の座標を求め、この座標と付箋５２０のサイズや角度の情報とから付箋５２０の範囲を算出し、文書オブジェクト７１０上のその範囲に付箋オブジェクト７２０が表示されるようにする。
【選択図】 図２

Description

本発明は、紙等の媒体に印刷されたコード画像から情報を読み取って処理する技術に関する。
近年、細かなドットが印刷された特殊な用紙に文字や絵を描き、ユーザがこの用紙上に書いた文字等のデータをパソコンや携帯電話等に転送し、この内容の保存や、メール送信を可能とする技術が注目されている。この技術では、この特殊な用紙に例えば０.３ｍｍ程度の間隔にて小さなドットが印刷され、これが例えば所定の大きさのグリッドごとに、全て異なるパターンを描くように構成されている。これを、例えばデジタルカメラを内蔵した専用のペンを用いて読み込むことで、この特殊な用紙上に書かれた文字等の位置を特定することができ、このような文字等を電子情報として利用することが可能となる。
ここで、公報記載の従来技術として、電子的に記憶された文書を、位置コーディングパターンを備えた紙シート上に印刷する技術が存在する(例えば、特許文献１参照)。この技術においても、位置コーディングパターンを備えた特殊な紙シートが用いられる。この紙シートに文書を印刷し、その上から、位置コーディングパターン読取り用手段を備えたデジタルペンと紙の表面にマーキングを付けるペンポイントとを用いて手動で編集し、その編集結果が電子情報に反映されるように構成されている。また、この特許文献１には、文書情報を位置コーディングパターンと一緒に印刷するのが望ましいとも記載されている。
特表２００３−５２８３８８号公報(第６３段落等)
ところで、ブレインストーミング等では、様々なアイデアをメモした複数の付箋を紙の上に貼り付けて、アイデアの検討を行うことがある。しかしながら、このような付箋にメモした情報を電子化したい場合、従来は、付箋が貼り付けられた紙を、スキャナで読んだり、デジタルカメラで撮影したりするしかなく、電子化された情報のうちのどの部分が付箋であるかを認識することすら難しいという問題点があった。
また、このようにスキャナやデジタルカメラで付箋を含む情報を電子化した場合は、付箋とそれが貼られた紙を１つの画像として処理することになる。従って、電子情報としての付箋や紙を独立に操作することができないという問題点もあった。例えば、電子情報としての付箋のみを紙とは別に移動したり削除したりする作業が必要となることがあるが、従来技術では、このような作業は行えなかった。
かかる問題点に対し、特許文献１の技術も、何ら有効な解決手段を提供するものではない。即ち、特許文献１では、位置コーディングパターン付きの文書情報を印刷しているに過ぎず、文書情報に貼られた付箋の認識は行っていない。
尚、以上のような問題点は付箋に限らず、シール等を用いた場合においても生じ得る。以下、付箋、シール等の紙の上から貼り付けることの可能な媒体を総称して「貼付材」といい、貼付材を貼り付けることの可能な媒体を「基材」ということにする。
本発明は、以上のような技術的課題を解決するためになされたものであって、その目的は、基材に貼付された貼付材の位置、大きさを電子的に認識できるようにすることにある。
また、本発明の他の目的は、基材と、基材に貼付された貼付材とを、独立に操作可能な電子情報として再現することにある。
かかる目的のもと、本発明では、コードが付与された基材(第１の媒体)と、コードが付与された貼付材(第２の媒体)とを使用し、基材と貼付材との境界(貼付材の貼付範囲)を認識することにより、基材と貼付材の位置関係を再現するようにした。即ち、本発明の空間配置再現方法は、第１の媒体上の第１のコード画像と、その第１の媒体に貼付された第２の媒体上の第２のコード画像とを読み取るステップと、第１のコード画像と第２のコード画像とを用いて、第１の媒体上の第２の媒体の貼付範囲を認識するステップと、認識された貼付範囲を含む第１の媒体と第２の媒体との空間配置関係を電子空間上に再現するステップとを含んでいる。
ここで、認識するステップにおける認識方法としては、例えば、次の２つが考えられる。
第一に、第１のコード画像が表す情報と第２のコード画像が表す情報との複数の不連続部分の位置情報を用いて、貼付範囲を認識する方法である。
第二に、第１のコード画像が表す情報と第２のコード画像が表す情報との不連続部分の位置情報と、第２の媒体のサイズの情報とを用いて、貼付範囲を認識する方法である。
また、再現するステップでは、第１の媒体を表す第１のオブジェクトを表示すると共に、第２の媒体を表す第２のオブジェクトを第１のオブジェクト上の貼付範囲に対応する範囲に表示するようにしてもよい。そして、第１のオブジェクトと、第２のオブジェクトとを、独立に操作できるようにしてもよい。
また、本発明は、媒体から情報を読み取る読取り装置として捉えることもできる。その場合、本発明の読取り装置は、第１の媒体に印刷されたその第１の媒体内での位置情報を含む第１の情報と、その第１の媒体に貼付された第２の媒体に印刷された第２の情報とを入力する入力部と、第１の情報と第２の情報との不連続部分の位置情報を用いて、第１の媒体上の第２の媒体の貼付範囲を認識する処理部とを備えている。
一方、本発明は、所定の機能をコンピュータに実現させるプログラムとして捉えることもできる。
そのような機能としては、まず、媒体から読み取った情報に基づく処理機能がある。その場合、本発明のプログラムは、コンピュータに、貼付材が貼付された基材に印刷されたコード情報を入力する機能と、コード情報の連続性が途切れる箇所の位置情報を用いて、基材上の貼付材の貼付範囲を認識する機能とを実現させるものである。
次に、読取り装置から得た情報に基づく処理機能がある。その場合、本発明の第１のプログラムは、コンピュータに、第１の媒体に貼付された第２の媒体の端辺のその第１の媒体上での位置情報を取得する機能と、位置情報に基づいて、第１の媒体上の第２の媒体の貼付範囲を算出する機能と、第１の媒体を表す第１のオブジェクト上の貼付範囲に対応する範囲に、第２の媒体を表す第２のオブジェクトを配置する機能とを実現させるものである。また、本発明の第２のプログラムは、コンピュータに、第１の媒体に貼付された第２の媒体の端辺上の少なくとも１つの点のその第１の媒体上での位置を示す第１の情報と、第２の媒体のサイズを示す第２の情報と、第１の媒体に対する第２の媒体の傾きを示す第３の情報とを取得する機能と、第１の情報と第２の情報と第３の情報とに基づいて、第１の媒体上の第２の媒体の貼付範囲を算出する機能と、第１の媒体を表す第１のオブジェクト上の貼付範囲に対応する範囲に、第２の媒体を表す第２のオブジェクトを配置する機能とを実現させるものである。
本発明によれば、基材に貼付された貼付材の位置、大きさを電子的に認識できるようになる。
以下、添付図面を参照して、本発明を実施するための最良の形態(以下、「実施の形態」という)について詳細に説明する。
図１は、本実施の形態が適用されるシステムの構成の一例を示したものである。このシステムは、少なくとも、電子文書の印刷を指示する端末装置１００と、電子文書を印刷する際に媒体に付与する識別情報を管理し電子文書の画像にこの識別情報等を含むコード画像を重畳した画像を生成する識別情報管理サーバ２００と、電子文書を管理する文書管理サーバ３００と、電子文書の画像にコード画像を重畳した画像を印刷する画像形成装置４００とがネットワーク９００に接続されることにより構成されている。
また、識別情報管理サーバ２００には、識別情報を記憶する記憶装置としての識別情報リポジトリ２５０が接続され、文書管理サーバ３００には、電子文書を記憶する記憶装置としての文書リポジトリ３５０が接続されている。
更に、このシステムは、端末装置１００からの指示により画像形成装置４００にて出力される印刷物５００と、印刷物５００に印刷された電子文書と印刷物５００に書き込まれた手書き文字等を重ね合わせて表示する端末装置７００とを含んでいる。
尚、本明細書では、「電子文書」の文言を用いるが、これは、テキストを含む「文書」を電子化したデータのみを意味するものではない。例えば、絵、写真、図形等の画像データ(ラスタデータかベクターデータかによらない)、その他の印刷可能な電子データも含めて「電子文書」としている。
以下、本システムの動作の概略を説明する。
まず、端末装置１００は、識別情報管理サーバ２００に対し、文書リポジトリ３５０にて管理されている電子文書の画像にコード画像を重畳して印刷するよう指示する(Ａ)。このとき、端末装置１００からは、用紙サイズ、向き、縮小/拡大、Ｎ−ｕｐ(用紙の１ページ内に電子文書のＮページを割り付ける印刷)、両面印刷等の印刷属性も入力される。これにより、識別情報管理サーバ２００は、印刷を指示された電子文書を文書管理サーバ３００から取得する(Ｂ)。そして、取得した電子文書の画像に対し、識別情報リポジトリ２５０にて管理されている識別情報と、適宜決定された位置情報とを含むコード画像を付与し、画像形成装置４００にその印刷を指示する(Ｃ)。尚、ここで、識別情報とは、電子文書の画像が印刷された個々の媒体(用紙)を一意に識別する情報であり、位置情報とは、個々の媒体上の座標位置(Ｘ座標、Ｙ座標)を特定するための情報である。
次いで、画像形成装置４００は、識別情報管理サーバ２００からの指示に従い、印刷物５００を出力する(Ｄ)。尚、画像形成装置４００は、識別情報管理サーバ２００で付与されたコード画像を、赤外光の吸収率が高く、かつ、略不可視のトナーを用いて形成する。一方、その他の画像(オリジナルの電子文書に含まれていた部分の画像)を、赤外光の吸収率が低く、かつ、可視のトナーを用いて形成するものとする。
その後、ユーザは、印刷物５００に印刷されたコード画像から情報を読み取る操作を行うことにより、印刷物５００に印刷された画像の元となる電子文書の表示指示を行う(Ｅ)。これにより、端末装置７００は、電子文書の取得要求を識別情報管理サーバ２００に対して送信し、文書管理サーバ３００にて管理される電子文書を識別情報管理サーバ２００を介して取得する(Ｆ)。
尚、その際、印刷物５００からの情報の読取りは、印刷物５００の全体を読取り可能なデバイスを用いて行ってもよいし、印刷物５００の一部を読取り可能なペンデバイスを用いて行ってもよい。本明細書では、前者のデバイスを特に「読取りデバイス」と呼び、後者はそのままペンデバイスと呼ぶことにする。
また、図１には示していないが、本実施の形態は、印刷物５００を基材として、その上に貼付材を貼り付け、端末装置７００にて、これら基材と貼付材を区別可能な形で表示するものである。
但し、このような構成はあくまで一例に過ぎない。例えば、識別情報管理サーバ２００の機能と文書管理サーバ３００の機能とを１台のサーバに持たせてもよい。また、識別情報管理サーバ２００の機能を画像形成装置４００の画像処理部にて実現してもよい。更に、端末装置１００と７００は、同一の端末装置としてもよい。
次に、本実施の形態の概要について説明する。尚、以下では、貼付材を付箋として説明する。
本実施の形態では、図１のＤにて、コード付き文書５１０と、付箋５２０とを出力する。
コード付き文書５１０には、電子文書の文書画像と、識別情報や位置情報等を含むコード画像とが印刷されている。また、印刷の際に、識別情報と電子文書との対応が、例えば、識別情報管理サーバ２００に記憶され、どの媒体にどの電子文書が印刷されたかを後で追跡できるようになっているものとする。
また、付箋５２０には、識別情報や位置情報等を含むコード画像は印刷されているが、電子文書の文書画像は印刷されていない。従って、識別情報は、二重の払い出しを防ぐために管理されることはあるが、電子文書と対応付けて管理されることはない。
図２に、本実施の形態における処理の流れの概要を示す。
このうち、図２(ａ)は、上述したコード付き文書５１０である。コード画像は網掛けで表している。
次に、図２(ｂ)に示すように、コード付き文書５１０に付箋５２０を貼り付ける。ここで、コード付き文書５１０に印刷されたコード画像が表す情報と、付箋５２０に印刷されたコード画像が表す情報とは連続していない。このようにコード付き文書５１０と付箋５２０の境界で情報が不連続になっていることを、図では、網掛けの濃淡で表現している。
この状態で、図２(ｃ)に示すように、例えば、ペンデバイス６００を用いて、コード付き文書５１０と付箋５２０の境界を読み取る。これにより、端末装置７００のディスプレイ７５０上に、コード付き文書５１０を表す電子オブジェクトである文書オブジェクト７１０と、付箋５２０を表す電子オブジェクトである付箋オブジェクト７２０とが、実際のコード付き文書５１０と付箋５２０の位置関係を再現するように表示される。
ところで、図２では、コード付き文書５１０と付箋５２０の境界をペンデバイス６００を用いて読み取る方法を示したが、先にも述べたように、付箋５２０が貼られたコード付き文書５１０の全体を読取り可能な読取りデバイスを用いて読み取ることも考えられる。
そこで、以下では、読取りデバイスを用いて読み取る場合を第１の実施の形態、ペンデバイス６００を用いて読み取る場合を第２の実施の形態として、コード付き文書５１０と付箋５２０の境界の認識から文書オブジェクト７１０及び付箋オブジェクト７２０の生成、表示までの構成及び動作について、詳細に説明する。
［第１の実施の形態］
まず、第１の実施の形態で用いるコード画像について説明しておく。
図３(ａ)〜(ｃ)は、第１の実施の形態において印刷物５００に印刷される２次元コード画像を説明するための図である。図３(ａ)は不可視画像によって形成され、配置される２次元コード画像の単位を模式的に示すために格子状に表現した図である。また、図３(ｂ)は不可視画像が赤外光照射により認識された２次元コード画像の１単位(以下、単に「２次元コード」という)を示した図である。更に、図３(ｃ)は、バックスラッシュ「＼」とスラッシュ「／」の斜線パターンを説明するための図である。
本実施の形態において、かかる２次元コード画像は、例えば、可視光領域(４００ｎｍ〜７００ｎｍ)における最大吸収率が例えば７％以下であり、近赤外領域(８００ｎｍ〜１０００ｎｍ)における吸収率が例えば３０％以上の不可視トナーによって形成される。また、この不可視トナーは、画像の機械読取りのために必要な近赤外光吸収能力を高めるために、平均分散径は１００ｎｍ〜６００ｎｍの範囲のものが採用される。ここで、「可視」及び「不可視」は、目視により認識できるかどうかとは関係しない。印刷された媒体に形成された画像が可視光領域における特定の波長の吸収に起因する発色性の有無により認識できるかどうかで「可視」と「不可視」とを区別している。
また、２次元コード画像は、赤外光照射による機械読取りと復号化処理とが長期に亘って安定して可能で、かつ、情報が高密度に記録できる不可視画像で形成される。更に、画像を出力する媒体表面の可視画像が設けられた領域とは関係なく、任意の領域に設けることが可能な不可視画像であることが好ましい。本実施の形態では、印刷される媒体の大きさに合わせて媒体一面(紙面)の全面に不可視画像が形成される。また、例えば、目視した際に光沢差によって認識できる不可視画像であることが更に好ましい。但し、「全面」とは、用紙の四隅を全て含む意味ではない。電子写真方式等の装置では、通常、紙面の周囲は印刷できない範囲である場合が多いことから、かかる範囲には不可視画像を印刷する必要はない。
図３(ｂ)に示す２次元コードは、媒体上の座標位置を示す位置コードが格納される領域と、印刷媒体を一意に特定するための識別コードが格納される領域とを含んでいる。また、同期コードが格納される領域も含んでいる。そして、図３(ａ)に示すように、この２次元コードが媒体(紙面)一面に複数、格子状に配置される。即ち、媒体一面に、図３(ｂ)に示すような２次元コードが複数個、配置され、その各々が、位置コード、識別コード、及び同期コードを備えている。そして、複数の位置コードの領域には、それぞれ配置される場所により異なる位置情報が格納されている。一方、複数の識別コードの領域には、配置される場所によらず同じ識別情報が格納されている。
図３(ｂ)において、位置コードは、６ビット×６ビットの矩形領域内に配置されている。各ビット値は、回転角度が異なる複数の微小ラインビットマップで形成され、図３(ｃ)に示される斜線パターン(パターン０とパターン１)で、ビット値０とビット値１を表現している。より具体的には、相互に異なる傾きを有するバックスラッシュ「＼」及びスラッシュ「／」を用いてビット０とビット１とを表現している。斜線パターンは６００ｄｐｉで８×８画素の大きさで構成されており、左上がりの斜線パターン(パターン０)がビット値０を、右上がりの斜線パターン(パターン１)がビット値１を表現する。従って、１つの斜線パターンで１ビットの情報(０又は１)を表現できる。このような２種類の傾きからなる微小ラインビットマップを用いることで、可視画像に与えるノイズが極めて小さく、かつ大量の情報を高密度にデジタル化して埋め込むことが可能な２次元コードを提供することが可能となる。
即ち、図３(ｂ)に示した位置コード領域には合計３６ビットの位置情報が格納されている。この３６ビットのうち、１８ビットをＸ座標の符号化に、１８ビットをＹ座標の符号化に使用することができる。各１８ビットを全て位置の符号化に使用すると、２１８通り(約２６万通り)の位置を符号化できる。各斜線パターンが図３(ｃ)に示したように８画素×８画素(６００ｄｐｉ)で構成されている場合には、６００ｄｐｉの１ドットは０.０４２３ｍｍであることから、図３(ｂ)の２次元コード(同期コードを含む)の大きさは、縦横共に３ｍｍ程度(８画素×９ビット×０.０４２３ｍｍ)となる。３ｍｍ間隔で２６万通りの位置を符号化した場合、約７８６ｍの長さを符号化できる。このように１８ビット全てを位置の符号化に使用してもよいし、或いは、斜線パターンの検出誤りが発生するような場合には、誤り検出や誤り訂正のための冗長ビットを含めてもよい。
また、識別コードは、２ビット×８ビット及び６ビット×２ビットの矩形領域に配置されており、合計２８ビットの識別情報を格納できる。識別情報として２８ビットを使用した場合は、２２８通り(約２億７千万通り)の識別情報を表現できる。識別コードも位置コードと同様に、２８ビットの中に誤り検出や誤り訂正のための冗長ビットを含めることができる。
尚、図３(ｃ)に示す例では、２つの斜線パターンは互いに角度が９０度異なるが、角度差を４５度とすれば４種類の斜線パターンを構成できる。このように構成した場合は、１つの斜線パターンで２ビットの情報(０〜３)を表現できる。即ち、斜線パターンの角度種類を増やすことで、表現できるビット数を増加することができる。
また、図３(ｃ)に示す例では、斜線パターンを使用してビット値の符号化を説明しているが、選択できるパターンは斜線パターンに限らない。ドットのＯＮ/ＯＦＦや、ドットの位置を基準位置からずらす方向により符号化する方法も採用することが可能である。
以下、本実施の形態の具体的な構成及び動作を述べる。
図４は、本実施の形態における読取りデバイスの構成を示す図である。
この読取りデバイスは、積載された原稿束から原稿を順次、搬送する原稿送り装置８１０、スキャンによって画像を読み込むスキャナ装置８７０、原稿送り装置８１０やスキャナ装置８７０の駆動制御及びスキャナ装置８７０によって読み込まれた画像信号を処理する処理装置８８０に大別される。
原稿送り装置８１０は、複数枚の原稿からなる原稿束を積載可能な原稿トレイ８１１、原稿トレイ８１１を上昇及び下降させるトレイリフタ８１２を備えている。また、トレイリフタ８１２により上昇された原稿トレイ８１１の原稿を搬送するナジャーロール８１３、ナジャーロール８１３により搬送された原稿を更に下流側まで搬送するフィードロール８１４、ナジャーロール８１３により供給される原稿を１枚ずつ捌くリタードロール８１５を備えている。最初に原稿が搬送される第１搬送路８３１には、一枚ずつに捌かれた原稿を下流側のロールまで搬送するテイクアウェイロール８１６、原稿を更に下流側のロールまで搬送すると共にループ作成を行うプレレジロール８１７、一旦、停止した後にタイミングを合わせて回転を再開し、原稿読取り部に対してレジストレーション調整を施しながら原稿を供給するレジロール８１８、読込み中の原稿搬送をアシストするプラテンロール８１９、読み込まれた原稿を更に下流に搬送するアウトロール８２０を備えている。また、第１搬送路８３１には、搬送される原稿のループ状態に応じて支点を中心として回動するバッフル８５０が設けられている。
アウトロール８２０の下流側には、原稿トレイ８１１の下部に設けられ読込みが終了した原稿を積載させる排出トレイ８４０に原稿を導く第２搬送路８３２が設けられている。そして、この第２搬送路８３２には、排出トレイ８４０に対して原稿を排出させる第１排出ロール８２１が取り付けられている。尚、第１排出ロール８２１は、後述するように、原稿を逆方向にも搬送するため、正逆方向に回転駆動されるように構成されている。
また、この原稿送り装置８１０では、両面に画像が形成された原稿を読み取る場合において、両面の画像を１プロセスで読み取ることができるよう、読取りが終了した原稿を反転搬送するための第３搬送路８３３が設けられている。第３搬送路８３３は、第１排出ロール８２１の入口側とプレレジロール８１７の入口側との間に設けられている。更に、この原稿送り装置８１０では、原稿の両面読取りを行った場合に、両面読取りが終了した原稿を更にもう一度反転させてから排出トレイ８４０に排出させるための第４搬送路８３４が設けられている。第４搬送路８３４は、第１排出ロール８２１の入口側から下方に分岐するように形成されており、第４搬送路８３４には、排出トレイ８４０に対して原稿を排出させる第２排出ロール８２２が取り付けられている。また、第３搬送路８３３と第４搬送路８３４との分岐部には、これらの搬送路を切り替える搬送路切替ゲート８６０が設けられている。
以上の構成において、ナジャーロール８１３は、待機時にはリフトアップされて退避位置に保持され、原稿搬送時にニップ位置(原稿搬送位置)へ降下して原稿トレイ８１１上の最上位の原稿を搬送する。ナジャーロール８１３及びフィードロール８１４は、フィードクラッチ(図示せず)の連結によって原稿の搬送を行う。プレレジロール８１７は、停止しているレジロール８１８に原稿先端を突き当ててループを作成する。レジロール８１８では、ループ作成時に、レジロール８１８に噛み込んだ原稿先端をニップ位置まで戻している。このループが形成されると、バッフル８５０は支点を中心として開き、原稿のループを妨げることのないように機能している。また、テイクアウェイロール８１６及びプレレジロール８１７は、読込み中におけるループを保持している。このループ形成によって、読込みタイミングの調整が図られ、また、読込み時における原稿搬送に伴うスキューを抑制して、位置合わせの調整機能を高めることができる。読込みの開始タイミングに合わせて、停止されていたレジロール８１８が回転を開始し、プラテンロール８１９によって、第２プラテンガラス８７２Ｂ(後述)に押圧されて、下面方向から画像データが読み込まれる。
この読取りデバイスにおいて、原稿の片面画像を読み取る片面モードでは、片面の読取りを終了した原稿が、第１搬送路８３１から第２搬送路８３２へと導かれ、第１排出ロール８２１によって排出トレイ８４０へと排出される。
一方、原稿の両面画像を読み取る両面モードでは、片面(第１面)の読取りを終了した原稿が、第１搬送路８３１から第２搬送路８３２へと導かれ、第１排出ロール８２１によって更に搬送される。そして、原稿の搬送方向後端が搬送路切替ゲート８６０を通過した直後のタイミングで、搬送路切替ゲート８６０が原稿を第３搬送路８３３側へと導くように切り替えられ、第１排出ロール８２１の回転方向が逆方向に切り替えられる。その結果、原稿は、その表裏が反転した状態で、第２搬送路８３２から再び第１搬送路８３１へと導かれる。そして、他の片面(第２面)の読取りを終了した原稿が、第１搬送路８３１から第２搬送路８３２へと導かれ、第１排出ロール８２１によって更に搬送される。その後、原稿の搬送方向後端が搬送路切替ゲート８６０を通過した直後のタイミングで、搬送路切替ゲート８６０が今度は原稿を第４搬送路８３４側へと導くように切り替えられ、第１排出ロール８２１の回転方向が再び逆方向に切り替えられる。その結果、原稿は、更に表裏が反転した状態で、第２搬送路８３２から第４搬送路８３４へと導かれ、第２排出ロール８２２によって排出トレイ８４０へと排出される。
このような構成を採用することにより、本実施の形態に係る原稿送り装置８１０では、片面モード、両面モードに関係なく、画像読取りを終了した原稿を、原稿トレイ８１１へのセット時と表裏の関係が同じ状態で排出トレイ８４０に積載することができる。
次に、スキャナ装置８７０について説明する。
スキャナ装置８７０は、上述した原稿送り装置８１０を装置フレーム８７１によって支え、原稿送り装置８１０によって搬送された原稿の画像読取りを行っている。このスキャナ装置８７０は、装置フレーム８７１に、画像を読み込むべき原稿を静止させた状態で載置する第１プラテンガラス８７２Ａ、原稿送り装置８１０によって搬送中の原稿を読み取るための光の開口部を形成する第２プラテンガラス８７２Ｂが設けられている。尚、本実施の形態では、スキャナ装置８７０に対して原稿送り装置８１０が奥側を支点に揺動自在に取り付けられており、第１プラテンガラス８７２Ａ上に原稿をセットする際には、原稿送り装置８１０を持ち上げて原稿を載置し、その後、原稿送り装置８１０をスキャナ装置８７０側に降ろして押し付けるようになっている。
また、スキャナ装置８７０は、第２プラテンガラス８７２Ｂの下に静止し、及び第１プラテンガラス８７２Ａの全体にわたってスキャンして画像を読み込むフルレートキャリッジ８７３、フルレートキャリッジ８７３から得られた光を像結合部へ提供するハーフレートキャリッジ８７５を備えている。フルレートキャリッジ８７３には、原稿に光を照射する照明ランプ８７４、原稿から得られた反射光を受光する第１ミラー８７６Ａが備えられている。ここで、照明ランプ８７４は、コード画像を読み取るための近赤外光を含む光を照射する。
また、ハーフレートキャリッジ８７５には、第１ミラー８７６Ａから得られた光を結像部へ提供する第２ミラー８７６Ｂ及び第３ミラー８７６Ｃが備えられている。更に、スキャナ装置８７０は、第３ミラー８７６Ｃから得られた光学像を光学的に縮小する結像用レンズ８７７、結像用レンズ８７７によって結像された光学像を光電変換するＣＣＤ(Charge Coupled Device)イメージセンサ８７８、ＣＣＤイメージセンサ８７８が取り付けられる駆動基板８７９を備え、ＣＣＤイメージセンサ８７８によって得られた画像信号は駆動基板８７９を介して処理装置８８０に送られる。ここで、ＣＣＤイメージセンサ８７８は、コード画像を読み取るための近赤外光に対しても感度を有する。
尚、本実施の形態では、これらフルレートキャリッジ８７３、照明ランプ８７４、ハーフレートキャリッジ８７５、第１ミラー８７６Ａ、第２ミラー８７６Ｂ、第３ミラー８７６Ｃ、結像用レンズ８７７、ＣＣＤイメージセンサ８７８、及び駆動基板８７９によって、読取り手段が構成されている。また、本実施の形態では、読取りデバイスのスキャナ装置８７０の光学系としてＣＣＤ方式の光学系を用いた場合を例として説明したが、これ以外の方式、例えばＣＩＳ方式等の光学系を用いたスキャナ装置を用いても構わない。
ここで、第１プラテンガラス８７２Ａに載置された原稿の画像を読み取る原稿固定読取りの場合には、フルレートキャリッジ８７３とハーフレートキャリッジ８７５とが、２：１の割合でスキャン方向(矢印方向)に移動する。このとき、フルレートキャリッジ８７３の照明ランプ８７４の光が原稿の被読取り面に照射されると共に、その原稿からの反射光が第１ミラー８７６Ａ、第２ミラー８７６Ｂ、第３ミラー８７６Ｃの順に反射されて結像用レンズ８７７に導かれる。結像用レンズ８７７に導かれた光は、ＣＣＤイメージセンサ８７８の受光面に結像される。ＣＣＤイメージセンサ８７８に設けられるラインセンサは、１次元のセンサであり、１ライン分を同時に処理している。このライン方向(スキャンの主走査方向)の１ラインの読取りが終了すると、主走査方向とは直交する方向(副走査方向)にフルレートキャリッジ８７３を移動させ、原稿の次のラインを読み取る。これを原稿サイズ全体にわたって実行することで、１ページの原稿読取りを完了させる。
一方、第２プラテンガラス８７２Ｂは、例えば長尺の板状構造をなす透明なガラスプレートで構成される。原稿送り装置８１０によって搬送される原稿の画像を読み取る原稿流し読取りの場合には、原稿送り装置８１０によって搬送される原稿がこの第２プラテンガラス８７２Ｂの上を通過する。このとき、フルレートキャリッジ８７３とハーフレートキャリッジ８７５とは、図４に示す実線の位置に停止した状態にある。まず、原稿送り装置８１０のプラテンロール８１９を経た原稿の１ライン目の反射光が、第１ミラー８７６Ａ、第２ミラー８７６Ｂ、及び第３ミラー８７６Ｃを経て結像用レンズ８７７にて結像され、ＣＣＤイメージセンサ８７８によって画像が読み込まれる。即ち、ＣＣＤイメージセンサ８７８に設けられる１次元のセンサであるラインセンサによって主走査方向の１ライン分を同時に処理した後、原稿送り装置８１０によって搬送される原稿の次の主走査方向の１ラインが読み込まれる。原稿の先端が第２プラテンガラス８７２Ｂの読取り位置に到達した後、原稿が第２プラテンガラス８７２Ｂの読取り位置を通過することによって、副走査方向にわたって１ページの読取りが完了する。
ここで、読取りデバイスを用いた場合の境界の認識処理について、図５の具体例を参照して説明する。
図５は、コード付き文書５１０に付箋５２０を貼り付けたときの状態を示している。ここでは、付箋５２０を網掛けで示している。また、付箋５２０は、無造作に貼り付けることが通常であるので、コード付き文書５１０に対し、若干の傾き(角度)を持たせて描いている。尚、コード付き文書５１０及び付箋５２０に設けた個々の区画は、図３(ｂ)に示した同期コード、識別コード、位置コードを含む２次元コードの範囲を示している。
本実施の形態では、このようなコード付き文書５１０及び付箋５２０の境界部分を、図示するように捕捉する。即ち、範囲５１１ａ〜５１１ｊの画像をこの順に読み込む。但し、本実施の形態では、コード付き文書５１０の全面に亘ってスキャンを行うので、図５の範囲５１１ａ〜５１１ｊは、副走査方向の１つのラインに着目した場合の主走査方向における読取り範囲を示したものである。
本実施の形態における境界の認識方法は、概略、次の通りである。
即ち、各範囲にて認識される識別情報から、各範囲にコード付き文書５１０と付箋５２０のいずれが存在するかを判断する。そして、識別情報が、コード付き文書５１０を表すものから付箋５２０を表すものへと、又は、付箋５２０を表すものからコード付き文書５１０を表すものへと切り替わった位置を境界と認識する。
ところで、既述のように、付箋５２０がコード付き文書５１０に対し一定の角度を持って貼り付けられることは普通に起こり得る。この場合、この角度を補正して情報を読み取る必要がある。一般にこの角度はそれほど大きな角度とならないので、図３のコード(グリフ)を用いた場合の微細な角度を補正するアルゴリズムに従って補正することが可能である。この方法では、大まかには、原点からグリフピッチに等しい距離にある暗い画素を順次探索していき、その方向を角度のずれであると判断する。尚、この補正についての詳細は、特開２００１−３１２７３３に述べられている。
但し、スキャンした範囲によっては、その範囲の中にコード付き文書５１０のコード画像と、付箋５２０の一定の角度を持ったコード画像とが混在することも考えられる。その場合、特開２００１−３１２７３３の手法を用いて角度を補正することは困難であるため、このような範囲については、角度の補正が不可能であるとして処理を進めることにする。
図６は、処理装置８８０(図４参照)の動作を示したフローチャートである。
まず、処理装置８８０は、特定範囲のコード画像に着目する(ステップ８０１)。即ち、画像の読込みは、図５に示すように、複数の範囲に対し順次行われるが、このフローチャートでは、その中の１つの範囲を対象とした処理を示している。
次に、処理装置８８０は、この着目したコード画像が整形可能かどうか判定する(ステップ８０２)。ここで、整形とは、角度の補正やノイズ除去等があるが、特に、１つの範囲にコード付き文書５１０及び付箋５２０が混在することにより角度の補正が不可能となっていないかどうかを判定する。
その結果、整形不可能と判定された場合は、整形不可能数に１を加算する(ステップ８０３)。即ち、整形不可能数を格納する変数をｅとすると、この変数ｅにより、連続して整形不可能と判断された範囲の数が表される。
一方、整形可能と判定された場合、処理装置８８０は、画像の整形を行う(ステップ８０４)。そして、整形されたスキャン画像からスラッシュ「／」やバックスラッシュ「＼」等のビットパターン(斜線パターン)を検出する(ステップ８０５)。また、整形されたスキャン画像から、２次元コードを検出する(ステップ８０６)。ここで、２次元コードの検出は、その位置決め用のコードである同期コードを検出し参照することにより行う。その後、処理装置８８０は、２次元コードからＥＣＣ(Error Correcting Code：誤り訂正符号)等の情報を取り出し復号し、復号した情報から識別情報及び位置情報を取り出してメモリに記憶する(ステップ８０７)。尚、スキャン画像からの識別情報及び位置情報の具体的な取り出し方法については後述する。
ここで、１つ前の範囲からも、同様の処理によって識別情報及び位置情報が取り出され、メモリに記憶されているので、今回記憶した識別情報と前回記憶した識別情報とが同一であるかどうかを判定する(ステップ８０８)。尚、ここでいう「前回」とは、整形不可能な範囲を除いて、前回処理した範囲を指す。
その結果、識別情報が同一でなければ、前回の範囲と今回の範囲との間に境界があることをメモリに記憶する(ステップ８０９)。その際、前回の範囲がコード付き文書５１０上にあり、今回の範囲が付箋５２０上にあるのであれば、前々回の位置情報と、前回の位置情報とに基づいて、境界位置も求めて記憶する。一方、前回の範囲が付箋５２０上にあり、今回の範囲がコード付き文書５１０上にあるのであれば、今回の位置情報と、次回の位置情報とに基づいて、境界位置を求めることになる。尚、コード付き文書５１０に付箋５２０を貼り付ける場合、通常、コード付き文書５１０の領域が付箋５２０の領域を囲むことになるので、対象となる範囲は、外側の領域にあれば、コード付き文書５１０上にあり、内側の領域にあれば、付箋５２０上にあると判断することができる。
一方、識別情報が同一であれば、前回の範囲と今回の範囲はいずれもコード付き文書５１０上、又は、付箋５２０上に存在することになるので、今回の範囲についての処理はそのまま終了する。
図７(ａ),(ｂ)は、ペンデバイス６００におけるコード情報の読取りを説明するための図である。図７(ａ)に示すように、印刷された媒体上には、位置コード(位置情報に対応するコード)と、識別コード(識別情報に対応するコード)とが、それぞれ複数個、２次元配置されている。尚、図７(ａ)では、説明の便宜上、同期コードは図示していない。前述のように、複数の位置コードは、それぞれ配置される場所により異なる位置情報が格納されており、複数の識別コードは、配置される場所によらず、それぞれ同じ識別情報が格納されている。今、コード画像の読取り領域が図７(ａ)の太線で示されるものとする。この読取り領域近傍を拡大した図が図７(ｂ)に示されている。位置コードは、画像内での位置により異なる情報が格納されているので、読み取った画像内に必ず１つ以上の位置コードが含まれていないと検出できない。しかし、識別コードには、画像内の位置によらず全て同じ識別情報が格納されているので、断片的な情報から復元することができる。図７(ｂ)に示す例では、読取り領域にある部分的な４つのコード(Ａ,Ｂ,Ｃ,Ｄ)を組み合わせて１つの識別コードを復元している。
次に、図６の処理を、メモリに格納されるデータの具体例を用いてより詳細に説明する。
図８は、図５に示した範囲５１１ａ〜５１１ｊについて処理した場合にメモリに記憶されるデータの例である。
ここで、識別情報「Ａ」は、コード付き文書５１０の識別情報を意味し、識別情報「Ｂ」は、付箋５２０の識別情報を意味する。そして、識別情報「Ｂｏｒｄｅｒ」は、コード付き文書５１０と付箋５２０の境界を意味する。
また、位置情報としては、以下のような情報を記憶している。
即ち、コード付き文書５１０及び境界については、コード付き文書５１０における座標系に従った位置情報を記憶している。例えば、コード付き文書５１０の左上点を原点とした位置情報である。尚、Ｘ座標及びＹ座標の先頭の「Ａ」が、識別情報「Ａ」が付与されたコード付き文書５１０における位置情報であることを示している。
一方、付箋５２０については、付箋５２０における座標系に従った位置情報を記憶している。例えば、付箋５２０の左上点を原点とした位置情報である。尚、Ｘ座標及びＹ座標の先頭の「Ｂ」が、識別情報「Ｂ」が付与された付箋５２０における位置情報であることを示している。
以下、範囲５１１ａ〜５１１ｊを対象とする図６の処理を具体的に説明する。
範囲５１１ａについては、ステップ８０７で識別情報Ａと位置情報(Ａｘ０１，Ａｙ０５)とが記憶され、範囲５１１ｂについては、ステップ８０７で識別情報Ａと位置情報(Ａｘ０２，Ａｙ０５)とが記憶される。また、範囲５１１ｃ〜５１１ｆについては、コード付き文書５１０及び付箋５２０が無視できない程度に混在するため、ステップ８０２で整形不可能と判定され、識別情報及び位置情報は記憶されない。次に、範囲５１１ｇについては、ステップ８０７で識別情報Ｂと位置情報(Ｂｘ０１，Ｂｙ０１)とが記憶され、前回の識別情報と同一ではないので、ステップ８０９で前回の範囲と今回の範囲の間に境界があることが記憶される。
即ち、位置情報(Ａｘ０２，Ａｙ０５)と位置情報(Ｂｘ０１，Ｂｙ０１)との間に境界点が存在することが記憶される。このように前回の範囲がコード付き文書５１０上であり、今回の範囲が付箋５２０上である場合、境界点の座標Ｐ０は、境界点の１つ前の範囲の座標をＰ１、境界点の２つ前の範囲の座標をＰ２とすると、次のようにして求められる。但し、ここでも、「１つ前」、「２つ前」は、整形不可能な範囲を除いて数えるものとする。
・整形不可能な範囲の数が０個の場合：Ｐ０＝Ｐ１＋(Ｐ１−Ｐ２)/２
・整形不可能な範囲の数が１個の場合：Ｐ０＝Ｐ１＋(Ｐ１−Ｐ２)
・整形不可能な範囲の数が２個の場合：Ｐ０＝Ｐ１＋(Ｐ１−Ｐ２)＋(Ｐ１−Ｐ２)/２
・整形不可能な範囲の数が３個の場合：Ｐ０＝Ｐ１＋(Ｐ１−Ｐ２)＊２
以上のことから、一般に、整形不可能数ｅを用いて、境界点の座標Ｐ０は、「Ｐ０＝Ｐ１＋(Ｐ１−Ｐ２)＊(ｅ＋１)/２」により求めることができる。
本実施の形態の例の場合、整形不可能な範囲の数は４個であるので、Ａｘ０３＝Ａｘ０２＋(Ａｘ０２−Ａｘ０１)＊５/２となる。
また、範囲５１１ｈについては、コード付き文書５１０及び付箋５２０が無視できない程度に混在するため、ステップ８０２で整形不可能と判定され、識別情報及び位置情報は記憶されない。次に、範囲５１１ｉについては、ステップ８０７で識別情報Ａと位置情報(Ａｘ０５，Ａｙ０５)とが記憶され、前回の識別情報と同一ではないので、ステップ８０９で前回の範囲と今回の範囲の間に境界があることが記憶される。
即ち、位置情報(Ｂｘ０１，Ｂｙ０１)と位置情報(Ａｘ０５，Ａｙ０５)との間に境界点が存在することが記憶される。但し、この場合においては、前回の範囲が付箋５２０上であり、今回の範囲がコード付き文書５１０上であるので、境界点の座標は、次の範囲の処理を待って行われる。つまり、範囲５１１ｊについて、ステップ８０７で識別情報Ａと位置情報(Ａｘ０６，Ａｙ０５)とが記憶され、これにより境界点が求められる。
この場合、境界点の座標Ｐ０は、境界点の１つ後の範囲の座標をＰ１、境界点の２つ後の範囲の座標をＰ２とすると、次のようにして求められる。但し、ここでも、「１つ後」、「２つ後」は、整形不可能な範囲を除いて数えるものとする。
・整形不可能な範囲の数が０個の場合：Ｐ０＝Ｐ１−(Ｐ２−Ｐ１)/２
・整形不可能な範囲の数が１個の場合：Ｐ０＝Ｐ１−(Ｐ２−Ｐ１)
・整形不可能な範囲の数が２個の場合：Ｐ０＝Ｐ１−(Ｐ２−Ｐ１)−(Ｐ２−Ｐ１)/２
・整形不可能な範囲の数が３個の場合：Ｐ０＝Ｐ１−(Ｐ２−Ｐ１)＊２
以上のことから、一般に、整形不可能数ｅを用いて、境界点の座標Ｐ０は、「Ｐ０＝Ｐ１−(Ｐ２−Ｐ１)＊(ｅ＋１)/２」により求めることができる。
本実施の形態の例の場合、整形不可能な範囲の数は１個であるので、Ａｘ０４＝Ａｘ０５−(Ａｘ０６−Ａｘ０５)＊２/２となる。
次に、図８に示したデータを取得して文書オブジェクト７１０及び付箋オブジェクト７２０を表示する端末装置７００について説明する。
図９は、端末装置７００の機能構成を示したブロック図である。
図示するように、端末装置７００は、受信部７１と、オブジェクト生成部７２と、表示部７３とを備えている。
ここで、受信部７１は、スキャンした各点の情報を受信する。オブジェクト生成部７２は、受信した情報に基づいて文書オブジェクト７１０及び付箋オブジェクト７２０を生成する。表示部７３は、生成された文書オブジェクト７１０及び付箋オブジェクト７２０を表示する。
このような構成を有する端末装置７００は、次のように動作する。
まず、受信部７１が、スキャンした各点の識別情報及び位置情報を、読取りデバイスから有線又は無線により受信し、これらの情報をオブジェクト生成部７２に受け渡す。
これにより、オブジェクト生成部７２では、図１０に示すような動作が行われる。
即ち、スキャンした各点について、識別情報及び位置情報を取得し、メモリ上の各点に対応する位置に、識別情報を属性として付与して記憶する(ステップ７０１)。尚、ここでいう識別情報とは、コード付き文書５１０上の点については、そのコード付き文書５１０の識別情報であり、付箋５２０上の点については、その付箋５２０の識別情報である。一方、コード付き文書５１０と付箋５２０の境界上の点については、境界上にあることを示す情報(図８では「Ｂｏｒｄｅｒ」)である。
次に、オブジェクト生成部７２は、メモリ上の各点のうち、外側の領域の各点に付与された識別情報を特定し、この識別情報をキーとして電子文書を取得する(ステップ７０２)。付箋５２０は、コード付き文書５１０の内側に貼るのが普通であるので、外側の領域をコード付き文書５１０であると判断しているのである。尚、ここでの電子文書の取得は、具体的には、外側の領域における識別情報を識別情報管理サーバ２００に送信することで行う。この識別情報の送信を受けた識別情報管理サーバ２００は、文書管理サーバ３００から該当する電子文書を取得し、端末装置７００に対して返信する。
その後、オブジェクト生成部７２は、取得した電子文書のイメージから文書オブジェクト７１０を生成し、外側の領域に配置する(ステップ７０３)。尚、このとき、付箋５２０の識別情報が付与された領域(内側の領域)にも文書オブジェクト７１０は配置されるが、オブジェクト生成部７２は、その領域の範囲を記憶しておくものとする。
一方、オブジェクト生成部７２は、付箋オブジェクト７２０を生成し、その記憶しておいた内側の領域に付箋オブジェクト７２０を配置する(ステップ７０４)。
このようなオブジェクト生成部７２の処理が終了すると、最後に、表示部７３が、配置されたオブジェクトを画面上に表示する。その際、文書オブジェクト７１０の前面に付箋オブジェクト７２０を表示することで、コード付き文書５１０と付箋５２０の上下関係をも含む空間配置関係を電子空間上に再現することが可能となる。
また、このように表示された文書オブジェクト７１０及び付箋オブジェクト７２０を個別に選択したり移動したりする操作の指示があった場合、互いに独立に操作に応じた処理を実行することも可能である。つまり、例えば、付箋オブジェクト７２０に対し操作指示があった場合であれば、端末装置７００の図示しない受付部がその指示を受け付け、同じく図示しない操作実行部が、付箋オブジェクト７２０に対し、文書オブジェクト７１０とは独立に、指示された操作を実行する。
尚、本実施の形態では、読取りデバイスによりコード付き文書５１０の全面を読み取り、処理装置８８０によりスキャン画像の全面から画像を読み取ったが、必ずしもコード付き文書５１０の全面を処理対象とする必要はない。即ち、コード付き文書５１０の一部を処理対象とするものであっても、境界上の複数の点の位置情報を求めることができ、これによって境界線が特定できればよい。
以上述べたように、本実施の形態では、付箋５２０が貼付されたコード付き文書５１０における各点の位置情報を読取りデバイスで読み取って処理するようにした。これにより、コード付き文書５１０に貼付された付箋５２０の位置、大きさを電子的に認識し、コード付き文書５１０と付箋５２０の位置関係を電子空間上に再現できるようになった。
［第２の実施の形態］
まず、第２の実施の形態で用いるコード画像について説明しておく。
図１１(ａ)〜(ｃ)は、第２の実施の形態において印刷物５００に印刷される２次元コード画像を説明するための図である。図１１(ａ)は不可視画像によって形成され、配置される２次元コード画像の単位を模式的に示すために格子状に表現した図である。また、図１１(ｂ)は不可視画像が赤外光照射により認識された２次元コード画像の１単位(２次元コード)を示した図である。更に、図１１(ｃ)は、バックスラッシュ「＼」とスラッシュ「／」の斜線パターンを説明するための図である。
ところで、第１の実施の形態で述べた図３(ｂ)の２次元コードは、位置コードが格納される領域と、識別コードが格納される領域と、同期コードが格納される領域とを含んでいたが、図１１(ｂ)の２次元コードは、これらに加えて、付加コードが格納される領域も含む。
図１１(ｂ)において、位置コードは、５ビット×５ビットの矩形領域内に配置されている。各ビット値は、回転角度が異なる複数の微小ラインビットマップで形成され、図１１(ｃ)に示される斜線パターン(パターン０とパターン１)で、ビット値０とビット値１を表現している。より具体的には、相互に異なる傾きを有するバックスラッシュ「＼」およびスラッシュ「／」を用いてビット０とビット１とを表現している。斜線パターンは６００ｄｐｉで８×８画素の大きさで構成されており、左上がりの斜線パターン(パターン０)がビット値０を、右上がりの斜線パターン(パターン１)がビット値１を表現する。従って、１つの斜線パターンで１ビットの情報(０または１)を表現できる。このような２種類の傾きからなる微小ラインビットマップを用いることで、可視画像に与えるノイズが極めて小さく、かつ大量の情報を高密度にデジタル化して埋め込むことが可能な２次元コードを提供することが可能となる。
即ち、図１１(ｂ)に示した位置コード領域には合計２５ビットの位置情報が格納されている。この２５ビットのうち、１２ビットをＸ座標の符号化に、１２ビットをＹ座標の符号化に使用することができる。残りの１ビットは、どちらの符号化に利用してもよい。各１２ビットを全て位置の符号化に使用すると、２１２通り(４０９６通り)の位置を符号化できる。各斜線パターンが図１１(ｃ)に示したように８画素×８画素(６００ｄｐｉ)で構成されている場合には、６００ｄｐｉの１ドットは０.０４２３ｍｍであることから、図１１(ｂ)の２次元コード(同期コードを含む)の大きさは、縦横共に３ｍｍ程度(８画素×９ビット×０.０４２３ｍｍ)となる。３ｍｍ間隔で４０９６通りの位置を符号化した場合、約１２ｍの長さを符号化できる。このように１２ビット全てを位置の符号化に使用してもよいし、或いは、斜線パターンの検出誤りが発生するような場合には、誤り検出や誤り訂正のための冗長ビットを含めてもよい。
また、識別コードは、３ビット×８ビットの矩形領域に配置されており、合計２４ビットの識別情報を格納できる。識別情報として２４ビットを使用した場合は、２２４通り(約１７００万通り)の識別情報を表現できる。識別コードも位置コードと同様に、２４ビットの中に誤り検出や誤り訂正のための冗長ビットを含めることができる。
一方、付加コードは、５ビット×３ビットの矩形領域に配置されており、合計１５ビットの識別情報を格納できる。付加情報として１５ビットを使用した場合は、２１５通り(約３万３千通り)の付加情報を表現できる。付加コードも識別コードや位置コードと同様に、１５ビットの中に誤り検出や誤り訂正のための冗長ビットを含めることができる。
ところで、本実施の形態では、このような構成の２次元コードにおける付加コードに対し、媒体のサイズの情報を格納しておく。こうすることにより、第１の実施の形態の読取りデバイスのような広範囲をスキャンするデバイスを用いなくても、付箋５２０の貼付範囲を求めることができる。即ち、ペンデバイス６００でコード付き文書５１０と付箋５２０とに跨る線を引くだけで、付箋５２０の貼付範囲を求めることができるものである。
以下、本実施の形態の具体的な構成及び動作を述べる。
図１２は、本実施の形態におけるペンデバイス６００の構成を示す図である。
このペンデバイス６００は、コード画像と文書画像とが合成されて印刷された用紙(媒体)に通常のペンと同様の操作により文字や図形を記録する筆記部６１と、筆記部６１の動きを監視しペンデバイス６００が用紙に押し付けられていることを検出する筆圧検出部６２とを備えている。また、ペンデバイス６００の全体の電子的な動作を制御する制御部６３と、用紙上のコード画像を読み取るために赤外光を照射する赤外照射部６４と、反射される赤外光を受光することによりコード画像を認識して入力する画像入力部６５とを備えている。
ここで、制御部６３について更に詳しく説明する。
制御部６３は、コード取得部６３１と、軌跡算出部６３２と、情報記憶部６３３とを備えている。コード取得部６３１は、画像入力部６５から入力された画像を解析してコードを取得する部分であり、コード情報を入力するという観点から入力部として捉えることができる。軌跡算出部６３２は、コード取得部６３１により取得したコードに対し、筆記部６１のペン先の座標と画像入力部６５が捕捉した画像の座標とのずれを補正してペン先の軌跡を算出する部分である。情報記憶部６３３は、コード取得部６３１が取得したコードや軌跡算出部６３２が算出した軌跡情報を記憶する部分である。また、図示しないが、制御部６３において後述する境界を認識する処理を行う部分を、処理部として捉えることもできる。
ここで、ペンデバイス６００を用いた場合の境界の認識処理について、図１３の具体例を参照して説明する。
図１３は、コード付き文書５１０に付箋５２０を貼り付けたときの状態を示している。ここでは、付箋５２０を網掛けで示している。また、付箋５２０は、無造作に貼り付けることが通常であるので、コード付き文書５１０に対し、若干の傾き(角度)を持たせて描いている。尚、コード付き文書５１０及び付箋５２０に設けた個々の区画は、図１１(ｂ)に示した同期コード、識別コード、位置コード、付加コードを含む２次元コードの範囲を示している。
本実施の形態では、このようなコード付き文書５１０及び付箋５２０の境界部分を、図示するように捕捉する。即ち、範囲５１１ｋ〜５１１ｑが、ペンデバイス６００がその軌跡に沿って捕捉した範囲であり、これらの範囲の画像をこの順に読み込む。
本実施の形態における境界の認識方法は、概略、次の通りである。
即ち、各範囲にて認識される識別情報から、各範囲にコード付き文書５１０と付箋５２０のいずれが存在するかを判断する。そして、識別情報が、コード付き文書５１０を表すものから付箋５２０を表すものへと、又は、付箋５２０を表すものからコード付き文書５１０を表すものへと切り替わった位置を境界と認識する。
ところで、既述のように、付箋５２０がコード付き文書５１０に対し一定の角度を持って貼り付けられることは普通に起こり得る。この場合、第１の実施の形態で述べたのと同様の方法を用いて角度を補正することが可能である。
また、本実施の形態においても、スキャンした範囲によっては、その範囲の中にコード付き文書５１０のコード画像と、付箋５２０の一定の角度を持ったコード画像とが混在することが考えられる。その場合、角度を補正することは困難であるため、このような範囲については、角度の補正が不可能であるとして処理を進めることにする。
図１４は、ペンデバイス６００の主に制御部６３にて実行される処理を示したフローチャートである。ペンデバイス６００を用いて、例えば用紙に文字や図形の記録が行われると、用紙に対してペンによる記録が行われていることの検出信号が筆圧検出部６２から制御部６３へ送られる。制御部６３は、この検出信号を検出することにより、図１４の動作を開始する。
まず、制御部６３は、ペン先の近傍のコード画像に着目する(ステップ６０１)。即ち、赤外照射部６４が、ペン先の近傍の用紙上に赤外光を照射すると、赤外光はコード画像にて吸収され、それ以外の部分では反射される。画像入力部６５ではこの反射された赤外光を受光し、赤外光が反射されなかった部分をコード画像として認識する。これにより、制御部６３は、このコード画像に着目する。
次に、制御部６３は、この着目したコード画像が整形可能かどうか判定する(ステップ６０２)。ここで、整形とは、角度の補正やノイズ除去等があるが、特に、１つの範囲にコード付き文書５１０及び付箋５２０が混在することにより角度の補正が不可能となっていないかどうかを判定する。
その結果、整形不可能と判定された場合は、整形不可能数に１を加算する(ステップ６０３)。即ち、整形不可能数を格納する変数をｅとすると、この変数ｅにより、連続して整形不可能と判断された範囲の数が表される。
一方、整形可能と判定された場合、制御部６３は、画像の整形を行う(ステップ６０４)。このとき、本実施の形態では、画像の角度を取得しておく(ステップ６０５)。そして、整形されたスキャン画像からスラッシュ「／」やバックスラッシュ「＼」等のビットパターン(斜線パターン)を検出する(ステップ６０６)。また、整形されたスキャン画像から、２次元コードを検出する(ステップ６０７)。ここで、２次元コードの検出は、その位置決め用のコードである同期コードを検出し参照することにより行う。その後、処理装置８８０は、２次元コードからＥＣＣ(Error Correcting Code：誤り訂正符号)等の情報を取り出し復号し、復号した情報から識別情報、位置情報、付加情報を取り出し、識別情報と、位置情報と、付加情報から得られるサイズの情報と、ステップ６０５で取得しておいた角度の情報とをメモリに記憶する(ステップ６０８)。尚、スキャン画像からの識別情報、位置情報、付加情報の取得は、図７で述べた方法に倣って行えばよい。
ここで、１つ前の範囲からも、同様の処理によって識別情報、位置情報、サイズ、角度が取り出され、メモリに記憶されているので、今回記憶した識別情報と前回記憶した識別情報とが同一であるかどうかを判定する(ステップ６０９)。尚、ここでいう「前回」とは、整形不可能な範囲を除いて、前回処理した範囲を指す。
その結果、識別情報が同一でなければ、前回の範囲と今回の範囲との間に境界があることをメモリに記憶する(ステップ６１０)。その際、前々回の位置情報と、前回の位置情報とに基づいて、前々回及び前回の範囲が存在する媒体上での境界位置も求めて記憶する。また、今回の位置情報と、次回の位置情報とに基づいて、今回及び次回の範囲が存在する媒体上での境界位置も求める。
一方、識別情報が同一であれば、前回の範囲と今回の範囲はいずれもコード付き文書５１０上、又は、付箋５２０上に存在することになるので、今回の範囲についての処理はそのまま終了する。
次に、図１４の処理を、メモリに格納されるデータの具体例を用いてより詳細に説明する。
図１５は、図１３に示した範囲５１１ｋ〜５１１ｑについて処理した場合にメモリに記憶されるデータの例である。
ここで、識別情報「Ａ」は、コード付き文書５１０の識別情報を意味し、識別情報「Ｂ」は、付箋５２０の識別情報を意味する。そして、識別情報「Ｂｏｒｄｅｒ」は、コード付き文書５１０と付箋５２０の境界を意味する。
また、位置情報としては、以下のような情報を記憶している。
即ち、コード付き文書５１０については、コード付き文書５１０における座標系に従った位置情報を記憶している。例えば、コード付き文書５１０の左上点を原点とした位置情報である。尚、Ｘ座標及びＹ座標の先頭の「Ａ」が、識別情報「Ａ」が付与されたコード付き文書５１０における位置情報であることを示している。
一方、付箋５２０については、付箋５２０における座標系に従った位置情報を記憶している。例えば、付箋５２０の左上点を原点とした位置情報である。尚、Ｘ座標及びＹ座標の先頭の「Ｂ」が、識別情報「Ｂ」が付与された付箋５２０における位置情報であることを示している。
そして、境界については、コード付き文書５１０における座標系に従った位置情報と、付箋５２０における座標系に従った位置情報の両方を記憶している。
また、メモリには、付加情報から得られた各媒体のサイズの情報も記憶されている。即ち、コード付き文書５１０については、Ｘ方向の長さとしてＬａｘが、Ｙ方向の長さとしてＬａｙが記憶されている。また、付箋５２０については、Ｘ方向の長さとしてＬｂｘが、Ｙ方向の長さとしてＬｂｙが記憶されている。
更に、メモリには、各媒体の角度の情報も記憶されている。ここでは、コード付き文書５１０に対し角度０が、付箋５２０に対し角度θが記憶されている。
以下、範囲５１１ｋ〜５１１ｑを対象とする図１４の処理を具体的に説明する。
範囲５１１ｋについては、ステップ６０８で識別情報Ａと位置情報(Ａｘ０７，Ａｙ０７)とサイズ(Ｌａｘ，Ｌａｙ)と角度０とが記憶され、範囲５１１ｌについては、ステップ６０８で識別情報Ａと位置情報(Ａｘ０８，Ａｙ０８)とサイズ(Ｌａｘ，Ｌａｙ)と角度０とが記憶され、範囲５１１ｍについては、ステップ６０８で識別情報Ａと位置情報(Ａｘ０９，Ａｙ０９)とサイズ(Ｌａｘ，Ｌａｙ)と角度０とが記憶される。また、範囲５１１ｎについては、コード付き文書５１０及び付箋５２０が無視できない程度に混在するため、ステップ６０２で整形不可能と判定され、識別情報、位置情報、サイズ、角度は記憶されない。次に、範囲５１１ｏについては、ステップ６０８で識別情報Ｂと位置情報(Ｂｘ０８，Ｂｙ０８)とサイズ(Ｌｂｘ，Ｌｂｙ)と角度θとが記憶され、前回の識別情報と同一ではないので、ステップ６１０で前回の範囲と今回の範囲の間に境界があることが記憶される。
即ち、位置情報(Ａｘ０９，Ａｙ０９)と位置情報(Ｂｘ０８，Ｂｙ０８)との間に境界点が存在することが記憶される。本実施の形態では、この境界点の座標として、前回の範囲が存在する媒体上での座標と、今回の範囲が存在する媒体上での座標とを求める。
まず、前回の範囲が存在する媒体上での境界点の座標Ｐ０は、境界点の１つ前の範囲の座標をＰ１、境界点の２つ前の範囲の座標をＰ２、整形不可能数をｅとすると、「Ｐ０＝Ｐ１＋(Ｐ１−Ｐ２)＊(ｅ＋１)/２」により求められる。
本実施の形態の例の場合、整形不可能な範囲の数は１個であるので、Ａｘ１０＝Ａｘ０９＋(Ａｘ０９−Ａｘ０８)＊２/２、Ａｙ１０＝Ａｙ０９＋(Ａｙ０９−Ａｙ０８)＊２/２である。
また、今回の範囲が存在する媒体上での境界点の座標Ｐ０は、境界点の１つ後の範囲の座標をＰ１、境界点の２つ後の範囲の座標をＰ２、整形不可能数をｅとすると、「Ｐ０＝Ｐ１−(Ｐ２−Ｐ１)＊(ｅ＋１)/２」により求められる。
本実施の形態の例の場合、整形不可能な範囲の数は１個であるので、Ｂｘ０７＝Ｂｘ０８−(Ｂｘ０９−Ｂｘ０８)＊２/２、Ｂｙ０７＝Ｂｙ０８−(Ｂｙ０９−Ｂｙ０８)＊２/２である。尚、(Ｂｘ０９，Ｂｙ０９)については、この時点では判明していないので、この計算は、次の処理で(Ｂｘ０９，Ｂｙ０９)を求めた後に行われる。
即ち、範囲５１１ｐについては、ステップ６０８で識別情報Ｂと位置情報(Ｂｘ０９，Ｂｙ０９)とサイズ(Ｌｂｘ，Ｌｂｙ)と角度θとが記憶される。そして、最後に、範囲５１１ｑについては、ステップ６０８で識別情報Ｂと位置情報(Ｂｘ１０，Ｂｙ１０)とサイズ(Ｌｂｘ，Ｌｂｙ)と角度θとが記憶される。
次に、図１５に示したデータを取得して文書オブジェクト７１０及び付箋オブジェクト７２０を表示する端末装置７００について説明する。
図１６は、端末装置７００の機能構成を示したブロック図である。
図示するように、端末装置７００は、受信部７１と、境界算出部７４と、オブジェクト生成部７２と、表示部７３とを備えている。
ここで、受信部７１、オブジェクト生成部７２、表示部７３の機能は、第１の実施の形態と同様である。境界算出部７４を備えた点でのみ、第１の実施の形態における端末装置７００と異なる。この境界算出部７４は、受信部７１が受信した情報に基づいてコード付き文書５１０と付箋５２０の境界を計算で求める。
このような構成を有する端末装置７００は、次のように動作する。
まず、受信部７１が、スキャンした各点の識別情報、位置情報、サイズ、角度を、ペンデバイス６００から有線又は無線により受信し、これらの情報を境界算出部７４に受け渡す。
これにより、境界算出部７４及びオブジェクト生成部７２では、図１７に示すような動作が行われる。
即ち、スキャンした各点について、識別情報、位置情報、サイズ、角度を取得する(ステップ７５１)。尚、ここでいう識別情報とは、コード付き文書５１０上の点については、そのコード付き文書５１０の識別情報であり、付箋５２０上の点については、その付箋５２０の識別情報である。一方、コード付き文書５１０と付箋５２０の境界上の点については、境界上にあることを示す情報(図１５では「Ｂｏｒｄｅｒ」)である。
次に、境界算出部７４は、２つのサイズの情報を比較し、大きい方をコード付き文書５１０、小さい方を付箋５２０に決定する(ステップ７５２)。そして、境界点の位置情報と、付箋５２０のサイズ及び角度を用いて、境界を算出する(ステップ７５３)。即ち、境界点のコード付き文書５１０上での座標が分かり、境界点の付箋５２０上での座標も分かるので、付箋５２０における位置情報の原点のコード付き文書５１０上での座標も分かる。従って、その原点を基準として、コード付き文書５１０上で、指定のサイズ及び角度の付箋５２０を描けば、付箋５２０の貼付範囲を再現することができる。
付箋５２０の貼付範囲が求まると、オブジェクト生成部７２が、コード付き文書５１０の識別情報(大きい方のサイズに対応する識別情報)をキーとして電子文書を取得する(ステップ７５４)。尚、ここでの電子文書の取得は、具体的には、大きい方のサイズに対応する識別情報を識別情報管理サーバ２００に送信することで行う。この識別情報の送信を受けた識別情報管理サーバ２００は、文書管理サーバ３００から該当する電子文書を取得し、端末装置７００に対して返信する。
その後、オブジェクト生成部７２は、取得した電子文書のイメージから、指定サイズで、かつ、下位レイヤの文書オブジェクト７１０を生成し、配置する(ステップ７５５)。
一方、オブジェクト生成部７２は、指定サイズで、かつ、上位レイヤの付箋オブジェクト７２０を生成し、ステップ７５３で算出された範囲に配置する(ステップ７５６)。
このようなオブジェクト生成部７２の処理が終了すると、最後に、表示部７３が、配置されたオブジェクトを画面上に表示する。その際、文書オブジェクト７１０の前面に付箋オブジェクト７２０を表示することで、コード付き文書５１０と付箋５２０の上下関係をも含む空間配置関係を電子空間上に再現することが可能となる。
また、このように表示された文書オブジェクト７１０及び付箋オブジェクト７２０を個別に選択したり移動したりする操作の指示があった場合、互いに独立に操作に応じた処理を実行することも可能である。つまり、例えば、付箋オブジェクト７２０に対し操作指示があった場合であれば、端末装置７００の図示しない受付部がその指示を受け付け、同じく図示しない操作実行部が、付箋オブジェクト７２０に対し、文書オブジェクト７１０とは独立に、指示された操作を実行する。
尚、本実施の形態では、ペンデバイス６００によりコード付き文書５１０と付箋５２０の境界を跨ぐ線を１本だけ書き込んだが、線の数はこれに限られず、２本以上の線を書き込むものであってもよい。
また、本実施の形態では、ペンデバイス６００が、境界上の１つの点の位置情報と、付箋５２０のサイズや角度の情報とを取得する処理を行い、端末装置７００が、これらの情報を用いてオブジェクトを生成する処理を行うようにした。しかしながら、この一連の境界の認識からオブジェクトの生成までの処理のうち、どの部分までペンデバイス６００が分担し、どの部分から端末装置７００が分担するかは、任意に決定することが可能である。
以上述べたように、本実施の形態では、コード付き文書５１０と付箋５２０の境界上の１つの点の位置情報と、付箋５２０のサイズや角度の情報をペンデバイス６００で読み取って処理するようにした。これにより、コード付き文書５１０に貼付された付箋５２０の位置、大きさを電子的に認識し、コード付き文書５１０と付箋５２０の位置関係を電子空間上に再現できるようになった。
以上、本発明の第１の実施の形態、及び、第２の実施の形態について説明してきたが、本発明は、これらの実施の形態に限定されるものではない。
例えば、上記では、コード画像に含める識別情報を、媒体を一意に識別する情報として説明したが、媒体に印刷された電子文書を一意に識別する情報であってもよい。
また、本実施の形態では、付箋５２０にもコード画像を印刷し、コード付き文書５１０上のコード画像が表す情報と付箋５２０上のコード画像が表す情報との不連続性により、境界を認識するようにした。しかしながら、付箋５２０上にはコード画像を印刷しない変形例も考えられる。この場合は、コード付き文書５１０上のコード画像が表す情報が付箋５２０の貼付位置にて途切れることを検出することで、境界を認識することができる。
本発明の実施の形態が適用されるシステムの全体構成を示した図である。 本発明の実施の形態の処理の流れの概要を説明するための図である。 本発明の第１の実施の形態において媒体上に印刷される２次元コード画像を説明するための図である。 本発明の第１の実施の形態においてコード画像の読取りに用いられる読取りデバイスの構成を示した図である。 本発明の第１の実施の形態におけるコード画像の捕捉方法を説明するための図である。 本発明の第１の実施の形態における読取りデバイスの処理装置の動作を示したフローチャートである。 本発明の第１の実施の形態における情報の読取り方法を説明するための図である。 本発明の第１の実施の形態において処理装置がメモリに格納するデータの例を示した図である。 本発明の第１の実施の形態においてオブジェクトを表示する端末装置の構成を示したブロック図である。 本発明の第１の実施の形態における端末装置内のオブジェクト生成部の動作を示したフローチャートである。 本発明の第２の実施の形態において媒体上に印刷される２次元コード画像を説明するための図である。 本発明の第２の実施の形態においてコード画像の読取りに用いられるペンデバイスの構成を示した図である。 本発明の第２の実施の形態におけるコード画像の捕捉方法を説明するための図である。 本発明の第２の実施の形態におけるペンデバイスの制御部の動作を示したフローチャートである。 本発明の第２の実施の形態において制御部がメモリに格納するデータの例を示した図である。 本発明の第２の実施の形態においてオブジェクトを表示する端末装置の構成を示したブロック図である。 本発明の第２の実施の形態における端末装置内の境界算出部及びオブジェクト生成部の動作を示したフローチャートである。
符号の説明
１００，７００…端末装置、２００…識別情報管理サーバ、３００…文書管理サーバ、４００…画像形成装置、５００…印刷物、６００…ペンデバイス

Claims (18)

  1. 第１の媒体上の第１のコード画像と、当該第１の媒体に貼付された第２の媒体上の第２のコード画像とを読み取るステップと、
    前記第１のコード画像と前記第２のコード画像とを用いて、前記第１の媒体上の前記第２の媒体の貼付範囲を認識するステップと、
    認識された前記貼付範囲を含む前記第１の媒体と前記第２の媒体との空間配置関係を電子空間上に再現するステップと
    を含むことを特徴とする空間配置再現方法。
  2. 前記認識するステップでは、前記第１のコード画像が表す情報と前記第２のコード画像が表す情報との複数の不連続部分の位置情報を用いて、前記貼付範囲を認識することを特徴とする請求項１記載の空間配置再現方法。
  3. 前記認識するステップでは、前記第１のコード画像が表す情報と前記第２のコード画像が表す情報との不連続部分の位置情報と、前記第２の媒体のサイズの情報とを用いて、前記貼付範囲を認識することを特徴とする請求項１記載の空間配置再現方法。
  4. 前記認識するステップでは、前記第１のコード画像又は前記第２のコード画像を用いて、前記第１の媒体又は前記第２の媒体に対する追記情報を更に認識し、
    前記再現するステップでは、前記追記情報を更に再現することを特徴とする請求項１記載の空間配置再現方法。
  5. 前記再現するステップでは、前記第１の媒体を表す第１のオブジェクトを表示すると共に、前記第２の媒体を表す第２のオブジェクトを当該第１のオブジェクト上の前記貼付範囲に対応する範囲に表示することにより、前記空間配置関係を再現することを特徴とする請求項１記載の空間配置再現方法。
  6. 前記再現するステップでは、前記第１のオブジェクトの前面に前記第２のオブジェクトを表示することにより、前記第１の媒体と前記第２の媒体の上下関係を含む前記空間配置関係を再現することを特徴とする請求項５記載の空間配置再現方法。
  7. 前記再現するステップでは、前記第１のオブジェクトと、前記第２のオブジェクトとを、独立に操作可能に管理することを特徴とする請求項５記載の空間配置再現方法。
  8. 第１の媒体に印刷された当該第１の媒体内での位置情報を含む第１の情報と、当該第１の媒体に貼付された第２の媒体に印刷された第２の情報とを入力する入力部と、
    前記第１の情報と前記第２の情報との不連続部分の位置情報を用いて、前記第１の媒体上の前記第２の媒体の貼付範囲を認識する処理部と
    を備えたことを特徴とする読取り装置。
  9. 前記処理部は、前記第１の情報に含まれる前記第１の媒体の識別情報と、前記第２の情報に含まれる前記第２の媒体の識別情報とを比較することにより、前記不連続部分を特定することを特徴とする請求項８記載の読取り装置。
  10. 前記処理部は、前記第１の情報に含まれる前記第１の媒体内での位置情報と、前記第２の情報に含まれる前記第２の媒体内での位置情報とを比較することにより、前記不連続部分を特定することを特徴とする請求項８記載の読取り装置。
  11. 前記処理部は、複数の前記不連続部分の位置情報を用いて、前記貼付範囲を認識することを特徴とする請求項８記載の読取り装置。
  12. 前記処理部は、前記第２の情報に含まれる前記第２の媒体のサイズの情報を更に用いて、前記貼付範囲を認識することを特徴とする請求項８記載の読取り装置。
  13. コンピュータに、
    貼付材が貼付された基材に印刷されたコード情報を入力する機能と、
    前記コード情報の連続性が途切れる箇所の位置情報を用いて、前記基材上の前記貼付材の貼付範囲を認識する機能と
    を実現させるためのプログラム。
  14. 前記入力する機能では、前記貼付材に印刷されたコード情報を更に入力し、
    前記認識する機能では、前記連続性が途切れる箇所を、前記基材に印刷されたコード情報と前記貼付材に印刷されたコード情報とを用いて特定することを特徴とする請求項１３記載のプログラム。
  15. コンピュータに、
    第１の媒体に貼付された第２の媒体の端辺の当該第１の媒体上での位置情報を取得する機能と、
    前記位置情報に基づいて、前記第１の媒体上の前記第２の媒体の貼付範囲を算出する機能と、
    前記第１の媒体を表す第１のオブジェクト上の前記貼付範囲に対応する範囲に、前記第２の媒体を表す第２のオブジェクトを配置する機能と
    を実現させるプログラム。
  16. 前記コンピュータに、
    前記第２のオブジェクトに対する操作の指示を受け付ける機能と、
    前記第１のオブジェクトとは独立に、前記第２のオブジェクトに対し指示された操作を行う機能と
    を更に実現させる請求項１５記載のプログラム。
  17. コンピュータに、
    第１の媒体に貼付された第２の媒体の端辺上の少なくとも１つの点の当該第１の媒体上での位置を示す第１の情報と、当該第２の媒体のサイズを示す第２の情報と、当該第１の媒体に対する当該第２の媒体の傾きを示す第３の情報とを取得する機能と、
    前記第１の情報と前記第２の情報と前記第３の情報とに基づいて、前記第１の媒体上の前記第２の媒体の貼付範囲を算出する機能と、
    前記第１の媒体を表す第１のオブジェクト上の前記貼付範囲に対応する範囲に、前記第２の媒体を表す第２のオブジェクトを配置する機能と
    を実現させるプログラム。
  18. 前記コンピュータに、
    前記第２のオブジェクトに対する操作の指示を受け付ける機能と、
    前記第１のオブジェクトとは独立に、前記第２のオブジェクトに対し指示された操作を行う機能と
    を更に実現させる請求項１７記載のプログラム。
JP2005267373A 2005-09-14 2005-09-14 空間配置再現方法、読取り装置、及びプログラム Active JP4674513B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005267373A JP4674513B2 (ja) 2005-09-14 2005-09-14 空間配置再現方法、読取り装置、及びプログラム
US11/348,504 US20070057060A1 (en) 2005-09-14 2006-02-07 Scanner apparatus and arrangement reproduction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005267373A JP4674513B2 (ja) 2005-09-14 2005-09-14 空間配置再現方法、読取り装置、及びプログラム

Publications (2)

Publication Number Publication Date
JP2007079976A true JP2007079976A (ja) 2007-03-29
JP4674513B2 JP4674513B2 (ja) 2011-04-20

Family

ID=37854073

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005267373A Active JP4674513B2 (ja) 2005-09-14 2005-09-14 空間配置再現方法、読取り装置、及びプログラム

Country Status (2)

Country Link
US (1) US20070057060A1 (ja)
JP (1) JP4674513B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010218221A (ja) * 2009-03-17 2010-09-30 Fuji Xerox Co Ltd 媒体位置管理装置及びプログラム
JP2015135632A (ja) * 2014-01-17 2015-07-27 富士ゼロックス株式会社 画像処理装置及びプログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008021168A (ja) * 2006-07-13 2008-01-31 Fuji Xerox Co Ltd 筆跡検出シートおよび手書きシステム
JP5038229B2 (ja) * 2008-05-09 2012-10-03 キヤノン株式会社 画像処理装置、画像処理方法並びに画像処理プログラム及びそれを記録する記録媒体
IT1404493B1 (it) * 2011-02-02 2013-11-22 Apsis Srl Sistema di anticontraffazione tramite codici bidimensionali
JP2023028288A (ja) * 2021-08-19 2023-03-03 セイコーエプソン株式会社 印刷システムおよび印刷判定方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06209398A (ja) * 1993-01-11 1994-07-26 Hitachi Ltd 画像データ入力装置
JP2005107965A (ja) * 2003-09-30 2005-04-21 Canon Inc 指標同定方法および装置
JP2007004621A (ja) * 2005-06-24 2007-01-11 Fuji Xerox Co Ltd 文書管理支援装置、文書管理支援方法およびプログラム
JP2007060242A (ja) * 2005-08-24 2007-03-08 Fuji Xerox Co Ltd 画像形成装置

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4493420A (en) * 1981-01-29 1985-01-15 Lockwood Graders (U.K.) Limited Method and apparatus for detecting bounded regions of images, and method and apparatus for sorting articles and detecting flaws
US5051736A (en) * 1989-06-28 1991-09-24 International Business Machines Corporation Optical stylus and passive digitizing tablet data input system
EP0578692B1 (en) * 1991-04-03 1995-06-14 Hewlett-Packard Company Position-sensing apparatus
US5146087A (en) * 1991-07-23 1992-09-08 Xerox Corporation Imaging process with infrared sensitive transparent receiver sheets
US5852434A (en) * 1992-04-03 1998-12-22 Sekendur; Oral F. Absolute optical position determination
US5477012A (en) * 1992-04-03 1995-12-19 Sekendur; Oral F. Optical position determination
US5446559A (en) * 1992-10-05 1995-08-29 Hewlett-Packard Company Method and apparatus for scanning and printing
US5652412A (en) * 1994-07-11 1997-07-29 Sia Technology Corp. Pen and paper information recording system
US5737440A (en) * 1994-07-27 1998-04-07 Kunkler; Todd M. Method of detecting a mark on a oraphic icon
US5661506A (en) * 1994-11-10 1997-08-26 Sia Technology Corporation Pen and paper information recording system using an imaging pen
EP0774730B1 (en) * 1995-11-01 2005-08-24 Canon Kabushiki Kaisha Object extraction method, and image sensing apparatus using the method
JPH1044513A (ja) * 1996-08-07 1998-02-17 Olympus Optical Co Ltd コード印刷装置及びそれに適用されるコード印刷媒体
US6218964B1 (en) * 1996-09-25 2001-04-17 Christ G. Ellis Mechanical and digital reading pen
US5937110A (en) * 1996-12-20 1999-08-10 Xerox Corporation Parallel propagating embedded binary sequences for characterizing objects in N-dimensional address space
US6621524B1 (en) * 1997-01-10 2003-09-16 Casio Computer Co., Ltd. Image pickup apparatus and method for processing images obtained by means of same
US6330976B1 (en) * 1998-04-01 2001-12-18 Xerox Corporation Marking medium area with encoded identifier for producing action through network
US6727996B1 (en) * 1999-05-25 2004-04-27 Silverbrook Research Pty Ltd Interactive printer
US6549935B1 (en) * 1999-05-25 2003-04-15 Silverbrook Research Pty Ltd Method of distributing documents having common components to a plurality of destinations
AUPQ291299A0 (en) * 1999-09-17 1999-10-07 Silverbrook Research Pty Ltd A self mapping surface and related applications
AUPQ363299A0 (en) * 1999-10-25 1999-11-18 Silverbrook Research Pty Ltd Paper based information inter face
US7176896B1 (en) * 1999-08-30 2007-02-13 Anoto Ab Position code bearing notepad employing activation icons
US7128270B2 (en) * 1999-09-17 2006-10-31 Silverbrook Research Pty Ltd Scanning device for coded data
US6795209B1 (en) * 1999-10-14 2004-09-21 Eastman Kodak Company Method and apparatus for modifying a hard copy image digitally in accordance with instructions provided by consumer
US6678425B1 (en) * 1999-12-06 2004-01-13 Xerox Corporation Method and apparatus for decoding angular orientation of lattice codes
US6880755B2 (en) * 1999-12-06 2005-04-19 Xerox Coporation Method and apparatus for display of spatially registered information using embedded data
US6935562B2 (en) * 1999-12-06 2005-08-30 Xerox Corporation Operations on images having glyph carpets
US6836555B2 (en) * 1999-12-23 2004-12-28 Anoto Ab Information management system with authenticity check
US20060082557A1 (en) * 2000-04-05 2006-04-20 Anoto Ip Lic Hb Combined detection of position-coding pattern and bar codes
JP4317334B2 (ja) * 2000-09-08 2009-08-19 株式会社リコー 画像形成装置及び文書管理システム
JP2002183166A (ja) * 2000-12-19 2002-06-28 Nec Corp ドキュメントファイリングシステムおよび方法
US7103848B2 (en) * 2001-09-13 2006-09-05 International Business Machines Corporation Handheld electronic book reader with annotation and usage tracking capabilities
US6773177B2 (en) * 2001-09-14 2004-08-10 Fuji Xerox Co., Ltd. Method and system for position-aware freeform printing within a position-sensed area
JP2003170645A (ja) * 2001-12-06 2003-06-17 Olympus Optical Co Ltd 記録用紙及び画像記録装置
US6763199B2 (en) * 2002-01-16 2004-07-13 Xerox Corporation Systems and methods for one-step setup for image on paper registration
US6898334B2 (en) * 2002-01-17 2005-05-24 Hewlett-Packard Development Company, L.P. System and method for using printed documents
US7121639B2 (en) * 2002-12-02 2006-10-17 Silverbrook Research Pty Ltd Data rate equalisation to account for relatively different printhead widths
US20040229195A1 (en) * 2003-03-18 2004-11-18 Leapfrog Enterprises, Inc. Scanning apparatus
US7465342B2 (en) * 2003-04-07 2008-12-16 Silverbrook Research Pty Ltd Method of minimizing absorption of visible light in ink compositions comprising infrared metal-dithiolene dyes
GB0321164D0 (en) * 2003-09-10 2003-10-08 Hewlett Packard Development Co Methods,apparatus and software for printing location pattern
US20050185225A1 (en) * 2003-12-12 2005-08-25 Brawn Dennis E. Methods and apparatus for imaging documents
US7707039B2 (en) * 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
EP1569140A3 (en) * 2004-01-30 2006-10-25 Hewlett-Packard Development Company, L.P. Apparatus, methods and software for associating electronic and physical documents
WO2005111920A1 (en) * 2004-05-18 2005-11-24 Silverbrook Research Pty Ltd Authentication of an object using a signature encoded in a number of data portions
JP2006085506A (ja) * 2004-09-16 2006-03-30 Fuji Xerox Co Ltd 画像処理装置
US7639876B2 (en) * 2005-01-14 2009-12-29 Advanced Digital Systems, Inc. System and method for associating handwritten information with one or more objects
US8154769B2 (en) * 2005-02-15 2012-04-10 Ricoh Co. Ltd Systems and methods for generating and processing evolutionary documents
US7284921B2 (en) * 2005-05-09 2007-10-23 Silverbrook Research Pty Ltd Mobile device with first and second optical pathways
US7720286B2 (en) * 2005-05-25 2010-05-18 Advanced Digital Systems, Inc. System and method for associating handwritten information with one or more objects via discontinuous regions of a printed pattern
US7427997B2 (en) * 2005-05-27 2008-09-23 Xerox Corporation Systems and methods for registering a substrate
JP2007005941A (ja) * 2005-06-21 2007-01-11 Fuji Xerox Co Ltd 複写システム、画像形成装置、サーバ、画像形成方法、及びプログラム
KR20080033998A (ko) * 2005-07-25 2008-04-17 실버브룩 리서치 피티와이 리미티드 레이아웃을 식별하는 부호화 데이터를 가지는 상품 아이템
JP4539479B2 (ja) * 2005-07-27 2010-09-08 富士ゼロックス株式会社 媒体管理システム、画像形成装置、媒体管理方法、及びプログラム
JP4497052B2 (ja) * 2005-08-12 2010-07-07 富士ゼロックス株式会社 画像処理装置、及びプログラム
JP4687324B2 (ja) * 2005-08-18 2011-05-25 富士ゼロックス株式会社 情報処理装置及び関連付け方法
JP4561549B2 (ja) * 2005-09-14 2010-10-13 富士ゼロックス株式会社 画像生成装置、印刷方法、プログラム、及び印刷媒体群
US7403797B2 (en) * 2005-09-19 2008-07-22 Silverbrook Research Pty Ltd Obtaining a physical product via a coded surface
US7738674B2 (en) * 2005-09-19 2010-06-15 Silverbrook Research Pty Ltd Retrieving location data by sensing coded data on a surface
US7697714B2 (en) * 2005-09-19 2010-04-13 Silverbrook Research Pty Ltd Associating an object with a sticker and a surface
US20070085332A1 (en) * 2005-09-19 2007-04-19 Silverbrook Research Pty Ltd Link object to sticker and location on surface

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06209398A (ja) * 1993-01-11 1994-07-26 Hitachi Ltd 画像データ入力装置
JP2005107965A (ja) * 2003-09-30 2005-04-21 Canon Inc 指標同定方法および装置
JP2007004621A (ja) * 2005-06-24 2007-01-11 Fuji Xerox Co Ltd 文書管理支援装置、文書管理支援方法およびプログラム
JP2007060242A (ja) * 2005-08-24 2007-03-08 Fuji Xerox Co Ltd 画像形成装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010218221A (ja) * 2009-03-17 2010-09-30 Fuji Xerox Co Ltd 媒体位置管理装置及びプログラム
JP2015135632A (ja) * 2014-01-17 2015-07-27 富士ゼロックス株式会社 画像処理装置及びプログラム

Also Published As

Publication number Publication date
JP4674513B2 (ja) 2011-04-20
US20070057060A1 (en) 2007-03-15

Similar Documents

Publication Publication Date Title
JP4678278B2 (ja) 両面同時読取装置
US8189229B2 (en) Image processing method, image processing apparatus and program for image position correction processing
US8587818B2 (en) Captured image processing system and recording medium
JP4674513B2 (ja) 空間配置再現方法、読取り装置、及びプログラム
US20060049260A1 (en) 2-dimensional code pattern, 2-dimensional code pattern supporting medium, 2-dimensional code pattern generating method, and 2-dimensional code reading apparatus and method
JP4539479B2 (ja) 媒体管理システム、画像形成装置、媒体管理方法、及びプログラム
US10362188B2 (en) Image processing method, program, and image processing apparatus
US11140286B2 (en) System and method for alignment of scan documents
US20090003649A1 (en) Image processing apparatus and method for controlling the same
JP2007049636A (ja) 画像形成装置、画像処理装置、印刷媒体、画像処理方法、及びプログラム
JP2008113410A (ja) 画像処理装置およびその制御方法、画像読取システムにおける読取方法
JP2018056783A (ja) 画像読取装置、画像形成装置、画像読取方法及び画像読取プログラム
JP4645511B2 (ja) 画像読み取り装置および画像読み取り方法
US10623602B2 (en) Image reading apparatus for recognizing, correcting and arraying card image data
JP4692265B2 (ja) 印刷指示装置、印刷装置、印刷システム、及びプログラム
JP2007174479A (ja) 読取制御システム
JP2009206685A (ja) 画像形成装置
US8280271B2 (en) Printing system and order-sheet-based batch printing method
JP2006041624A (ja) 印刷制御装置及び方法
JP2008199155A (ja) 画像読み取り装置
JP5550309B2 (ja) 画像処理装置及び表示制御方法
JP2006091979A (ja) 画像処理システム及び画像処理方法
JP7059842B2 (ja) 画像処理装置及び画像処理装置の制御方法
JP2008205997A (ja) ファクシミリ装置及び画像データ処理方法
JP2009010690A (ja) 画像読取装置および画像形成装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101228

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110110

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140204

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4674513

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350