JP2010537590A - ハンドヘルドデバイスの位置および速度の決定 - Google Patents

ハンドヘルドデバイスの位置および速度の決定 Download PDF

Info

Publication number
JP2010537590A
JP2010537590A JP2010522107A JP2010522107A JP2010537590A JP 2010537590 A JP2010537590 A JP 2010537590A JP 2010522107 A JP2010522107 A JP 2010522107A JP 2010522107 A JP2010522107 A JP 2010522107A JP 2010537590 A JP2010537590 A JP 2010537590A
Authority
JP
Japan
Prior art keywords
handheld device
image
marking
handheld
sensors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010522107A
Other languages
English (en)
Other versions
JP2010537590A5 (ja
JP5449160B2 (ja
Inventor
ブレッドソー、ジェイムズ、ディー.
カールスン、グレゴリー、エフ.
シモンズ、アッシャー
ミーリー、ジェイムズ
Original Assignee
マーベル ワールド トレード リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マーベル ワールド トレード リミテッド filed Critical マーベル ワールド トレード リミテッド
Publication of JP2010537590A publication Critical patent/JP2010537590A/ja
Publication of JP2010537590A5 publication Critical patent/JP2010537590A5/ja
Application granted granted Critical
Publication of JP5449160B2 publication Critical patent/JP5449160B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/10Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using flat picture-bearing surfaces
    • H04N1/107Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using flat picture-bearing surfaces with manual scanning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B41PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41JTYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J3/00Typewriters or selective printing or marking mechanisms characterised by the purpose for which they are constructed
    • B41J3/36Typewriters or selective printing or marking mechanisms characterised by the purpose for which they are constructed for portability, i.e. hand-held printers or laptop printers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0317Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543Mice or pucks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543Mice or pucks
    • G06F3/03544Mice or pucks having dual sensing arrangement, e.g. two balls or two coils used to track rotation of the pointing device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/047Detection, control or error compensation of scanning velocity or position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/10Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using flat picture-bearing surfaces
    • H04N1/107Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using flat picture-bearing surfaces with manual scanning
    • H04N1/1074Apparatus incorporating a hardcopy reproducing device, e.g. a printer, not working directly by manual scanning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/19Image acquisition by sensing codes defining pattern positions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04Scanning arrangements
    • H04N2201/047Detection, control or error compensation of scanning velocity or position
    • H04N2201/04701Detection of scanning velocity or position
    • H04N2201/04715Detection of scanning velocity or position by detecting marks or the like, e.g. slits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04Scanning arrangements
    • H04N2201/047Detection, control or error compensation of scanning velocity or position
    • H04N2201/04701Detection of scanning velocity or position
    • H04N2201/04715Detection of scanning velocity or position by detecting marks or the like, e.g. slits
    • H04N2201/04717Detection of scanning velocity or position by detecting marks or the like, e.g. slits on the scanned sheet, e.g. a reference sheet

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Printers Characterized By Their Purpose (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)
  • Ink Jet (AREA)
  • Facsimile Scanning Arrangements (AREA)

Abstract

本発明の諸実施形態はハンドヘルドデバイスを提供し、このハンドヘルドデバイスは、デバイスに隣接する表面に関する情報を取得および/または受信するための情報モジュールと、そのハンドヘルドデバイスの位置および/または速度のうち少なくとも1つを決定するための位置決定構成とを備える。位置決定構成は、デバイスに隣接する表面上に配置された表面マーキングおよび/または入力装置上に配置された装置マーキングのうち少なくとも1つに基づいて、ハンドヘルドデバイスの相対位置および/またはハンドヘルドデバイスの速度のうち少なくとも1つを決定するように構成される決定モジュールを備える。表面マーキングおよび装置マーキングは、絶対位置情報を提供するように構成される。
【選択図】図9

Description

本出願は、「True X−Y Position,Velocity and Angular Determination of Random Motion Devices Using the Integration of Roller Ball and Optical Navigation Technologies」と題する、2007年8月28日出願の米国特許仮出願第60/968,480号に基づく優先権を主張し、この米国仮出願の明細書全体は、本願明細書と相反する部分がある場合はその部分を除いて、すべての目的で参照として本明細書に組み込まれる。
本発明の諸実施形態は、画像変換の分野に関し、より詳細にはハンドヘルド型画像変換デバイスの位置決めを判定することに関する。
従来の印刷デバイスは、その他の機構が媒体を直交方向に前進させるにつれて、プリントヘッドを直線方向に移送するための機械的に操作されるキャリッジに依拠する。プリントヘッドが媒体の上を移動するにつれて、画像を印刷することができる。ポータブルプリンタは、操作機構のサイズを小さくする技法を通じて開発されてきた。しかしながら、プリントヘッドと媒体との間の相対運動を提供する原理は、従来の印刷デバイスと同じままである。したがって、これらの機構は、プリンタのサイズの縮小を制限するだけでなく、媒体として使用することができる材料を制限する。
媒体の上に画像を印刷するために、オペレータが媒体の上でハンドヘルドデバイスを表面的に操作できるようにするハンドヘルド型印刷デバイスが開発されてきた。しかしながら、これらのデバイスは、オペレータによるデバイスの予測不能で非線形の動きに苛まれる。デバイス自体の回転を含む様々なオペレータの動きにより、プリントヘッドの正確な場所を判定することが難しくなる。この種の位置決めエラーは、印刷された画像の品質に対して悪影響を及ぼすことがある。
ターゲット媒体から画像を取得するために、ある特定のハンドヘルドスキャナが開発されてきた。スキャン中、画像センサにブラケット接続する位置決めセンサよる位置決めデータとともに、画像データが画像センサによって記録される。累積画像データは位置タグを付けられ、歪画像データとして記録される。歪画像データが取得された後、回転歪みが修正される整流画像を提供するために処理される。さらに、この整流プロセスは、取得された画像データの領域を重複させて、最終画像を容易にスティッチングできるようにすることに依拠する。
スキャンに関するシナリオではこのプロセスを行うことができるが、印刷に関するシナリオでは他の問題が提示される。たとえば、印刷操作においては、ハンドヘルド型印刷デバイスの位置決めを、媒体が完全にスキャンし終わるまで延期することはできない。さらに、取り込まれた画像のスティッチングを利用することもできない。
様々な実施形態によると、ハンドヘルドデバイスは、デバイスに隣接する表面に関する情報を取得および/または受信するための情報モジュールと、ハンドヘルドデバイスの位置および/または速度のうち少なくとも1つを決定するための位置決定構成と、を備える。位置決定構成は、デバイスに隣接する表面上に配置された表面マーキングおよび/または入力装置上に配置された装置マーキングのうち少なくとも1つに基づいて、ハンドヘルドデバイスの位置および/または速度を決定するように構成された決定モジュールを含み、表面マーキングおよび装置マーキングが、ハンドヘルドデバイスに対して絶対位置情報を提供するように構成される。
様々な実施形態によると、入力装置は、フレーム内に支持され、装置マーキングを含むローラーボールと、ローラーボールをフレーム内に移動可能に支持するための少なくとも3つのベアリングと、装置マーキングを読み取るための少なくとも2つのセンサと、を備える。様々な実施形態によると、少なくとも2つのセンサは、CMOS画像センサを含む。
様々な実施形態によると、入力装置は、ローラーボールに隣接する少なくとも1つのクリーニングブラケットをさらに備える。いくつかの実施形態によると、ハンドヘルドデバイスは、少なくとも2つの入力構成を備える。いくつかの実施形態によると、ハンドヘルドデバイスは、少なくとも4つの入力構成を備える。
様々な実施形態によると、装置マーキングは、ローラーボールの表面にペイントされたパターンを含む。いくつかの実施形態によると、装置マーキングは、ローラーボールの表面に埋め込まれたパターンを含む。
いくつかの実施形態によると、決定モジュールが、隣接する表面から予め印刷されたパターンを読み取るように構成される少なくとも2つの画像センサを備える。いくつかの実施形態によると、少なくとも2つの画像センサは赤外CMOSセンサである。
様々な実施形態によると、ハンドヘルドデバイスはプリンタである。いくつかの実施形態のよると、ハンドヘルドデバイスはスキャナである。いくつかの実施形態のよると、ハンドヘルドデバイスは、印刷およびスキャンするように構成される画像変換デバイスである。
様々な実施形態によると、決定モジュールはさらに、ハンドヘルドデバイスの予測位置を決定するように構成される。いくつかの実施形態によると、決定モジュールは、2次元パラメトリック曲線関数を使用して、ハンドヘルドデバイスの予測位置を決定するように構成される。いくつかの実施形態によると、2次元パラメトリック曲線関数は、キャットマルロム(Catmull−Rom)バイキュービックスプライン関数である。
本発明はまた、ハンドヘルドデバイスを表面の上で移動させるステップと、表面および/または入力装置のうち少なくとも1つの上のマーキングを読み取るステップであって、マーキングが絶対位置情報を提供するように構成されるステップと、マーキングを読み取るステップに基づいて、ハンドヘルドデバイスの位置および/または角度および/または速度のうち少なくとも1つを決定するステップと、を含む方法を提供する。
様々な実施形態によると、方法は、表面上に印刷物質を堆積させるステップをさらに含む。様々な実施形態によると、方法は、印刷物質の堆積レベルを決定するために画像表現を使用するステップをさらに含む。様々な実施形態によると、方法は、印刷物質を堆積させるときに修正される画像表現を使用するステップをさらに含む。いくつかの実施形態によると、方法は、表面からの情報をスキャンするステップをさらに含む。様々な実施形態によると、方法は、スキャンされた画像から歪みを除去するステップをさらに含む。様々な実施形態によると、方法は、スキャンされた情報をスティッチングして完全なスキャン画像を形成するステップをさらに含む。
様々な実施形態によると、マーキングは、入力装置に含まれるトラックボールから読み取られる。様々な実施形態によると、方法は、ハンドヘルドデバイスを移動させながら、前記トラックボールをクリーニングするステップをさらに含む。
様々な実施形態によると、マーキングは、表面から読み取られる。様々な実施形態によると、マーキングは、表面および入力装置に含まれるトラックボールから読み取られる。
様々な実施形態によると、方法は、ハンドヘルドデバイスの予測位置を決定するステップをさらに含む。いくつかの実施形態によると、予測位置は、2次元パラメトリック曲線関数を使用して決定される。様々な実施形態によると、2次元パラメトリック曲線関数は、キャットマルロムバイキュービックスプライン関数である。
本発明の諸実施形態は、添付の図面と併せると、以下の詳細な説明によって容易に理解されよう。説明を簡単にするために、同様の参照番号は、同様の構造的要素を示す。本発明の諸実施形態は、例示のために示されており、添付の図面の各図に限定するためのものではない。
本発明の様々な実施形態によるハンドヘルド型画像変換デバイスを含むシステムの概略図である。 本発明の様々な実施形態によるハンドヘルド型画像変換デバイスの底部平面図である。 本発明の様々な実施形態によるハンドヘルド型画像変換デバイスの頂部平面図である。 本発明の様々な実施形態によるハンドヘルド型画像変換デバイスの位置決め操作を示すフローチャートである。 本発明の様々な実施形態によるハンドヘルド型画像変換デバイスの位置決め操作を示すグラフである。 本発明の様々な実施形態によるIRタグパターンの一例の概略図である。 位置決め経路の一例の概略図である。 逆正接比の領域の概略図である。 本発明の様々な実施形態によるハンドヘルドデバイスの位置、角度および/または速度を決定するためのハンドヘルドデバイス用の入力構成の概略図である。 本発明の様々な実施形態による図9に示された入力構成の上面概略図である。 本発明の様々な実施形態によるハンドヘルド型画像変換デバイスの印刷操作を示すフローチャートである。 本発明の様々な実施形態によるハンドヘルド型画像変換デバイスの制御ブロックを実施できるコンピューティングデバイスを示す図である。
以下の詳細の説明では、本明細書の一部をなす添付の図面が参照されるが、図中、同様の参照番号は全体を通して同様の部分を指し、本発明を実施し得る実施形態を図示するために示される。本発明の範囲から逸脱することなく、他の実施形態を利用することができ、構造的または論理的変更をなし得ることを理解されたい。したがって、以下の詳細な説明は限定的な意味に解釈されるべきではなく、本発明による諸実施形態の範囲は、添付の特許請求の範囲およびその等価物によって定義される。
次いで、本発明の諸実施形態の理解に役立ち得る方法で、複数の別個の操作として様々な操作を順に説明し得るが、説明の順番は、これらの操作が順番に依存するものであると示唆するように解釈されるべきではない。
この説明は、上/下、前/後、頂部/底部などの視点に基づく記述を使用することがある。このような記述は、議論を容易にするためにのみ使用され、本発明の諸実施形態の応用例を制限することを目的とするものではない。
本発明については、表現「A/B」はAまたはBを意味する。本発明については、表現「Aおよび/またはB」は「(A)、(B)または(AおよびB)」を意味する。本発明については、表現「A、BおよびCのうち少なくとも1つ」は、「(A)、(B)、(C)、(AおよびB)、(AおよびC)、(BおよびC)、または(A、BおよびC)」を意味する。本発明については、表現「(A)B」は「(B)または(AB)」を意味し、つまりAは任意選択の要素である。
この説明は、表現「一実施例において」または「諸実施例において」を使用し得るが、これらの表現はそれぞれ、1つまたは複数の同じまたは異なる実施形態を指すものである。さらに、用語「備える」「含む」「有する」などは、本発明の諸実施形態について使用される場合は同義である。
図1は本発明の様々な実施形態によるハンドヘルド型画像変換(IT)デバイス104を含むシステム100の概略図である。ITデバイス104は、制御ブロック108を含むことができ、制御ブロック108の各コンポーネントは、IT操作全体を通じて、入出力(I/O)コンポーネント112の高い精度で正確な位置決めが容易になるように設計される。こうして位置決めすることより、以下に説明するように、ITデバイス104は、本当に移動可能かつ多機能なプラットフォーム内で画像を確実に変換できるようにすることができる。
本明細書で使用される場合、画像変換は、特定のコンテキスト(たとえば、媒体)に存在する画像の別のコンテキスト内の画像への画像変換を指すことがある。たとえば、IT操作は、スキャン操作とすることができる。この状況において、ターゲット画像、たとえば有形媒体上に存在する画像は、ITデバイス104によってスキャンされ、ターゲット画像に対応する取得された画像が生成され、ITデバイス104のメモリに保存される。別の実施例では、IT操作は、印刷操作とすることができる。この状況において、取得された画像、たとえばITデバイス104のメモリ内に存在する画像を、媒体上に印刷することができる。
制御ブロック108は、通信インターフェース116を含むことができ、この通信インターフェース116は、制御ブロック108を画像転送デバイス120に通信可能に結合するように構成される。画像転送デバイス120は、IT操作に伴い、画像に関するデータつまり画像データを送受信できる任意のタイプのデバイスを含むことができる。画像転送デバイス120は、汎用コンピューティングデバイス(たとえばデスクトップコンピューティングデバイス、ラップトップコンピューティングデバイス、モバイルコンピューティングデバイス、携帯情報端末、携帯電話など)を含むことができ、あるいは取外し可能な保存媒体(たとえば画像データのようなデータを保存するように設計されたフラッシュメモリデータデータ保存デバイス)とすることができる。画像転送デバイス120が、取外し可能な保存デバイス、たとえば、ユニバーサルシリアルバス(USB)保存デバイスの場合、通信インターフェース116を、保存デバイスを受けるように設計されるITデバイス104のポート(たとえばUSBポート)に結合することができる。
通信インターフェース116は、画像転送デバイス120との通信可能な結合が無線リンクを介して生じることができるように、無線送受信器を含むことができる。画像データは、無線スペクトル、赤外線スペクトルまたはマイクロ波スペクトルの周波数を有する電磁波を変調することにより、リンクを介してワイヤレスに送信することができる。
無線リンクは、ITデバイス104の移動性および多機能性に寄与することができる。しかしながら、いくつかの実施形態は、付加的/代替的に、画像転送デバイス120を通信インターフェース116に通信可能に結合する有線リンクを含むことができる。
いくつかの実施形態において、通信インターフェース116は、パーソナルエリアネットワーク、ローカルエリアネットワーク、広域ネットワーク、メトロポリタンエリアネットワークなどを含むがそれらには限定されない1つまたは複数の有線および/または無線ネットワークを介して、画像転送デバイス120と通信することができる。802.11、802.16、Bluetooth(登録商標)、Global System for Mobile Communications(GSM)、符号分割多元接続(CDMA)、Ethernet(登録商標)などを含むがそれらには限定されない多くの基準および/または仕様のうちいずれかに準拠する方法で、データ伝送を行うことができる。
IT操作が印刷操作を含む場合、通信インターフェース116は、画像転送デバイス120から画像データを受信し、受信した画像データをオンボード画像処理モジュール128に送信することができる。画像処理モジュール128は、後の印刷プロセスを容易にする方法で、受信した画像データを処理することができる。画像処理技法は、ディザリング、デコンプレッション、ハーフトーン処理、カラープレーン分離および/または画像保存を含むことができる。様々な実施形態においては、画像転送デバイス120または他のデバイスによって、これらの画像処理操作のうちいくつかまたは全部を行うことができる。次いで、処理された画像をI/Oモジュール132に送信することができ、このI/Oモジュール132は、印刷操作を予期してキャッシュされるこの実施形態では印刷モジュールとして機能することができる。
I/Oコンポーネント112を制御するように構成することができるI/Oモジュール132は、ポジションモジュール134からの基準位置に対するI/Oコンポーネント112のプリントヘッド位置を示すことができる位置決め情報を受信することができる。ポジションモジュール134は、1つまたは複数のナビゲーションセンサ138を制御して、基準位置に対するITデバイス104の増分移動を追跡するためにナビゲーション測定値を取得することができる。
いくつかの実施形態において、ナビゲーション測定値は、ITデバイス104に隣接する媒体のナビゲーション画像とすることができる。これらの実施形態において、ナビゲーションセンサ138は、1つまたは複数の画像ナビゲーションセンサを含むことができる。画像ナビゲーションセンサは、光源(たとえば発光ダイオード(LED)、レーザなど)と、ITデバイス104が媒体の上を移動するにつれて隣接する媒体の一連のナビゲーション画像を捕捉するように設計される光電子センサとを含むことができる。本発明の様々な実施形態によると、ナビゲーションセンサ138は、当該技術ではIRカメラとしても知られる赤外線相補型金属酸化膜半導体(IR CMOS)センサを含む。
ポジションモジュール134は、ナビゲーション画像を処理して媒体の構造的な変動を検出することができる。連続する画像の構造的変動の動きは、媒体に対するITデバイス104の動きを示すことができる。この相対運動を追跡することにより、ナビゲーションセンサ138の正確な位置決めが容易に決定できるようになる。ナビゲーションセンサ138は、I/Oコンポーネント112との構造的に頑強な関係を維持することができ、それによってI/Oコンポーネント112の正確な場所を計算することができるようになる。
ナビゲーションセンサ138は、所望の精度で画像変換デバイス104の移動を追跡するのに十分な操作特性を有することができる。一実施例において、画像ナビゲーションセンサは、1秒間に約2000フレームを処理することができ、各フレームは、30×30画素の方形アレイを含む。各画素は、たとえば、64個の異なるレベルのパターニングを感知することができる6ビットグレースケール値を検出することができる。
I/Oモジュール132が位置決め情報を受信すると、プリントヘッドの場所を、対応する場所を有する処理された画像の一部分と連係させることができる。次いで、このI/Oモジュールは、ITデバイス104に隣接する媒体に印刷物質を堆積させて処理された画像の対応する部分を表現する方法で、I/Oコンポーネント112のプリントヘッドを制御することができる。
プリントヘッドは、液体のインク滴を噴出するように設計される複数のノズルを有するインクジェットプリントヘッドとすることができる。リザーバまたはカートリッジに含まれ得るインクは、黒および/または多くの様々な色のうちいずれかとすることができる。通常のフルカラーインクジェットプリントヘッドは、シアンインク、マゼンタインク、黄色インクおよび黒色インク用の複数のノズルを有することができる。その他の実施形態は、その他の印刷技法(たとえば、レーザまたはLEDプリンタのようなトナーベースのプリンタ、固体インクプリンタ、昇華型プリンタ、ソリッドインクプリンタなど)を利用することができる。
IT操作がスキャン操作を含む実施形態において、I/Oモジュール132は、画像捕捉モジュールとして機能することができ、I/Oコンポーネント112の1つまたは複数の光学画像センサと通信可能に結合することができる。複数の個別のセンサ素子を含むことができる光学画像センサは、ITデバイス104に隣接する媒体の複数の表面画像を捕捉するように設計することができる。複数の表面画像は、個々に、コンポーネント表面画像と呼ぶことができる。I/Oモジュール132は、複数のコンポーネント表面画像をスティッチングすることによって、複合画像を生成することができる。I/Oモジュール132は、ポジションモジュール134から位置決め情報を受信して、コンポーネント表面画像を複合画像に容易に構成できるようにすることができる。
画像ナビゲーションセンサと比較すると、光学画像センサは、より高い解像度、小さな画素サイズ、および/または高い要光量を有することができる。画像ナビゲーションセンサは、画像の下にある媒体の構造について詳細を取得するように構成することができるが、光学画像センサは、媒体自体の表面の画像を捕捉するように構成することができる。
ITデバイス104がフルカラー画像をスキャンできる実施形態において、光学画像センサは、様々な色をスキャンするように設計されるセンサ素子を有することができる。
続いて、ITデバイス104によって取得された複合画像を、たとえば、電子メール、ファックス、ファイル転送プロトコルなどによって、画像転送デバイス120に送信することができる。付加的には/代替的には、後で行われる閲覧、伝送、印刷などのために、複合画像をITデバイス104によってローカルに保存することできる。
複合画像取得に加えて(またはその代わりに)、ポジションモジュール134を較正するために、画像捕捉モジュールを利用することができる。様々な実施形態では、コンポーネント表面画像(複合画像として個別か、いくつかのグループか、または集合的かにかかわらず)を、画像処理モジュール128によってもたらされた処理された印刷画像と比較して、累積された位置決めエラーを修正し、および/またはポジションモジュール134が基準ポイントの追跡を失敗する事象においてポジションモジュール134を再配向することができる。たとえば、ITデバイス104がIT操作中に媒体から取り除かれると、このようなことが生じることがある。
ITデバイス104は、制御ブロック108に結合された電源150を含むことができる。電源150は、モバイル電源(たとえばバッテリ、再充電可能なバッテリ、太陽エネルギーによる電源など)とすることができる。他の実施形態において、電源150は、付加的には/代替的には、別のコンポーネント(たとえば、画像転送デバイス120、交流(AC)出力に結合された電源コードなど)によって提供される電力を調整することができる。
図2は、本発明の様々な実施形態によるITデバイス200の底部平面図である。ITデバイス104と実質的に交換可能であり得るITデバイス200は、第1のナビゲーションセンサ204と、第2のナビゲーションセンサ208と、プリントヘッド212を有することができる。用途に応じて所望されるように、もっと多くのナビゲーションセンサを含むことも、もっと少数のナビゲーションを含むこともできることが、当業者は理解するであろう。
ポジションモジュール、たとえばポジションモジュール134がナビゲーションセンサ204および208を利用して、プリントヘッド212に関する位置決め情報を決定することができる。上述のように、プリントヘッド212とナビゲーションセンサ204および208との近位関係を固定して、ナビゲーションセンサ204および208によって得られた情報を通じて、プリントヘッド212を容易に位置決めできるようにすることができる。
プリントヘッド212は、異なるカラーインク用の複数のノズル列を有するインクジェットプリントヘッドとすることができる。具体的には、図2に示すように、プリントヘッド212は、シアン色インク用のノズル列212cと、マゼンタ色インク用のノズル列212mと、黄色インク用のノズル列212yと、黒色インク用のノズル列212kとを有することができる。
図2に示されるノズル列212c、212m、212yおよび212kは、それぞれの色にしたがって列状に配置されるが、その他の実施形態は、媒体の上をITデバイス200が自然に動くことによって、媒体上に適切な量の適当な色のインクが堆積する機会を増やすことができる方法で、異なる色のノズルを混合することができる。
別の実施形態では、ITデバイス200は、これらのノズル列に隣接して光学画像センサを含むことができる。
図3は、本発明の様々な実施形態によるITデバイス200の頂部平面図である。ITデバイス200は、ITデバイス200を使用することによってイネーブルされる機能を提供するために、様々なユーザ入力/出力を有することができる。ITデバイス200の基本的な機能のうちいくつかを提供するために使用できる入力/出力のいくつかの例は、印刷および/またはスキャン操作を開始/再開するためのIT制御入力304ならびにディスプレイ308を含むが、これらを含むとは限られない。
ディスプレイ308は、受動ディスプレイ、対話型ディスプレイなどとすることができ、様々な情報をユーザに提供することができる。それらの情報は、ITデバイス200の現在の操作状況(たとえば、印刷中、スキャン中、印刷準備済み、スキャン準備済み、画像データの受信中、画像データの送信中など)、バッテリ電力、エラー(たとえば、位置決めエラー/印刷エラー/スキャンエラーなど)、指示(たとえば、「IT操作を開始する前に媒体上にITデバイスを置いて下さい」など)に関することができる。ディスプレイ308が対話型ディスプレイの場合、IT制御入力304に加えて、またはIT制御入力304の代わりに制御インターフェースを提供することができる。
図4は、本発明の様々な実施形態によるITデバイス200の位置決め操作を示すフローチャート400である。ブロック404において、位置決め操作は、印刷操作の開始、たとえばIT制御入力304を作動させること、から始めることができる。ブロック408において、ITデバイス200内のポジションモジュールは、基準位置を設定することができる。IT操作の初めにITデバイス200を媒体上におくと、基準位置を設定することができる。ITデバイス200が定位置に置かれた後にユーザにIT制御入力304を作動させるように指示することによって、および/またはITデバイス200の適切な配置を位置決め操作を開始する前の状態として扱うことによって、確実に基準位置を設定することができる。いくつかの実施形態において、ナビゲーションセンサ204および/または208ならびに/あるいはいくつかのその他のセンサ(たとえば、近接センサ)を通じて、ITデバイス200の適切な配置を自動的に決定することができる。
ブロック408で基準位置が設定されると、ポジションモジュールは、ブロック412において、位置決め情報、たとえば基準位置からの平行移動変化または回転変化を、ナビゲーションセンサ204および208を用いて決定することができ、決定された位置決め情報をI/Oモジュールへ送信することができる。2次元座標系に沿ったナビゲーションセンサの位置の増分変化(たとえばΔxおよびΔy)を追跡することによって、平行移動変化を決定することができる。回転変化は、たとえばy軸に対するITデバイス200の角度の変化(たとえばΔΘ)を指す。ナビゲーションセンサ204および208によって取られた連続するナビゲーション測定値と比較してポジションモジュールによって、これらの平行移動変化および/または回転変化を決定し、これらの移動を検出することができる。図5およびそれに対応する議論を参照して、さらにこのプロセスを説明することができる。
本発明の諸実施形態は、ITデバイスを2次元座標系内で追跡することについて議論するが、その他の実施形態は、3次元座標系内で追跡することを含んでもよい。
図5は、本発明の諸実施形態によるITデバイス200の位置決め操作のグラフである。開始時、たとえばt=0では、センサ204および208は、204(t=0)および208(t=0)によってそれぞれ示される開始位置にあり得る。連続する時間間隔(たとえば、t=1〜4)にわたって、センサ204および208を、204(t=4)および208(t=4)でそれぞれ示される終了位置まで移動させることができる。この実施形態の記述で使用される場合、「開始位置」および「終了位置」は、この特定の操作に関してのみ使用され、印刷操作、または、ましてやその他の位置決め操作の開始または終了に必ずしも関するものではない。
センサ204および208が移動するのにともない、示された時間間隔たとえばt=0〜4の各々で、ナビゲーション測定値を捕捉することができる。この捕捉周期は、たとえばポジションモジュールから送信される捕捉信号を一緒に結線接続することによって、センサ204とセンサ208との間で同期させることができる。設定された時間周期、検出された動き、またはその他のトリガに基づいて、捕捉周期を変化させ、決定することができる。いくつかの実施形態において、センサ204および208はそれぞれ、異なる捕捉周期を有し、この捕捉周囲は異なるトリガに基づいても、異なるトリガに基づかなくてもよい。
ポジションモジュールが捕捉されたナビゲーション測定値を使用して、基準位置(たとえば、センサ204(t=0)およびセンサ208(t=0))に対するITデバイス200の平行移動、ならびにITデバイス200の回転を決定することができる。いくつかの実施形態において、第1のセンサたとえばセンサ204からのナビゲーション測定値を分析することによって、デバイス200の平行移動を決定することができ、第2のセンサたとえばセンサ208からのナビゲーション測定値を分析することによって、デバイス200の回転を決定することができる。具体的には、いくつかの実施形態によると、センサ208によって提供されたナビゲーション測定値から導かれる平行移動情報を、センサ204によって提供されたナビゲーション測定値から導かれる平行移動情報と比較することによって、ITデバイス200の回転を決定することができる。ITデバイス200の平行移動と回転を両方とも決定することにより、プリントヘッド212の全てのノズルを正確に位置決めできるようにすることができる。
センサ204および208の平行移動は、ワールドスペース(w−s)座標系、たとえばデカルト座標系内のコンテキストについて決定することができる。具体的には、平行移動値は、w−s座標系の2次元(たとえば、図5に示されるx軸およびy軸)に対して決定することができる。たとえば、ポジションモジュールは、時間0から時間4までのセンサ204および208の総平行移動を決定するために、連続する時間周期の間の増分ΔxおよびΔyを累積することができる。センサ204の累積変化は、ΔxおよびΔyで示すことができ、センサ208の累積変化は、ΔxおよびΔyで示すことができる。センサ204とセンサ208との間の距離は、距離dとすることができる。次いで、次の式で、ITデバイス200の回転Θを決定することができる。
Figure 2010537590
いくつかの実施形態において、各センサ204および208は、それぞれの座標系内の増分デルタ値を報告することができ、次いで、その増分デルタ値をw−s座標系にマッピングしてw−s平行移動値および/またはw−s回転値を提供することができる。式1からわかるように、回転Θは、部分的には、arcsin値の分母に距離dを代入することによって導き出すことができる。したがって、距離dが大きいと、所与のセンサ解像度について回転Θをより正確に決定できるようになる。したがって、ITデバイス200を設計する際に、距離dを、センサ204および208からのデータ出力の解像度に少なくとも部分的に基づいて確立することができる。たとえば、センサ204および208が1インチあたり約1600カウントの解像度を有する場合、距離dは、約2インチとすることできる。このようなセンサ解像度および距離dを有する実施形態では、回転Θを、約0.0179度まで信頼性を持って計算することができる。
図2に示される実施形態は、プリントヘッド212の第1の側面に配置されたセンサ204および208を示すが、所望の距離dを維持したままで、他の構成を使用することもできる。たとえば、センサ204および208は、プリントヘッド212の反対側の側面に配置してもよい。特定の実施形態の目的に基づいて、使用される構成を選択することができる。たとえば、プリントヘッド212の同じ側面にセンサ204とセンサ208を両方とも設けると、印刷時にセンサ204および208がインクで汚染させる可能性を制限する場合があり、第2の印刷経路が、部分的に印刷された部分をユニットが通過する際に濡れた媒体が引きずられ易くなる同じ領域に形成される前に、媒体上でインクが乾くのにより多くの時間がかかる場合がある。別の実施例では、センサ204および208をプリントヘッド212の対向する側面に配置すると、媒体の縁部を容易に検出できるようにすることができる。
再び図4を参照すると、ブロック412における位置決定に続いて、ブロック416において、ポジションモジュールは、位置決め操作が完了したかどうかを判定することができる。位置決め操作がまだ完了していないことが判定された場合、操作はブロック412に戻る。位置決め操作が終わったことが判定された場合には、操作はブロック420で終了する。位置決め操作の終了を、図11を参照して本明細書でさらに説明される印刷操作の終了と結び付けることができる。
本発明の様々な実施形態によると、たとえば紙媒体上の黄色または赤外線のような肉眼では見えないマーキング技法を用いて予めマーキングされた(予めタグ付けされた)紙を、印刷媒体として使用する。この予めタグ付けされた媒体は、その表面に符号化されたマーキングまたはタグを有し、それによって、データが媒体上で符号化された実際の位置に対しての絶対X、Y位置情報を提供する。位置データを復号化または決定するためには、ナビゲーションセンサ204および208は、絶対X、Y位置データを抽出するために、予めタグ付けされた媒体上の符号化された情報を読み取ることができるCMOSセンサである。したがって、本発明のこの実施形態は、媒体上の符号化されたマーキングの光波に調整されたCMOS画像センサを使用し、このCMOS画像センサは、ITデバイス200の移動中に、媒体上の絶対符号化X、Y位置情報を読み取ることができる。この実施形態により、ITデバイス200は、各位置測定に関する絶対位置情報を抽出できるようになる。この種の手法を用いると、位置エラーは、一般的には累積しない。光学ナビゲーション技法を使用する諸実施形態の場合、この実施形態は、2つのセンサ204および208を使用する構成をさらに含み、これらのセンサの各々は、絶対X、Y位置データを提供し、次いで、この絶対X、Y位置データは印刷をサポートするために必要とされるプリントヘッド位置の角度精度を計算するために使用される。さらに、ITデバイス200の速度も、位置の変化と、位置の変化に必要とされる時間とを計算することによって決定することができる。
したがって、この種の実施形態においては、印刷媒体に、タグ情報を予め印刷しておく必要がある。様々な実施形態によると、マーキング情報は赤外線符号化であり、したがってナビゲーションセンサ204および208は、IR照明の下でのみ読み取ることができる(したがって肉眼では見えない)IRシグニチャを捕捉できるIR CMOS画像センサである。IRシグニチャまたはタグ情報を、規則的なパターンおよびデジタルに符号化されたデータのフィールドから構成することができる。規則的なパターンを使用して、規模の小さな位置オフセットおよび回転を決定することができる。データは、媒体上に絶対位置を提供することができる。IR CMOSセンサと予めタグ付けられた紙の技法の一例は、オーストラリアのシドニーにあるSilverbrook researchによって提供される。図6は、IRタグパターンの一例を示す。センサ204とセンサ208の各々の全体的な位置および角度を求めるために、予め印刷されたタグが処理される。2つのセンサ204および208の位置情報を使用して、ITデバイス200の印刷システムの複合位置および回転を生成する。図6のタグは拡大されていることを理解されたい。実際の使用時には、タグは、IRスペクトルでは吸収するが、可視スペクトルでは吸収しないインクで印刷され、肉眼では見えないマーキングが付けられる。
センサ204および208によってもたらされた位置情報は印刷媒体に対して絶対的なので、最終的な位置情報を決定するための処理はほとんど必要とされない。様々な実施形態によると、センサ204および208からの位置データは、16.16整数データのローカルフォームに比例される。16ビットスーパー基数データは、印刷システムの解像度に対応させるために1インチの300分の1単位の位置である。2つの位置を平均化して、センサ204および208の両方からデータが最終位置に組み込まれる。平均化により、位置ノイズが低減される。結果として得られた位置に関するデータは、2つのセンサ204とセンサ208のそれぞれの中心の中間点である。本発明の様々な実施形態によると、ITデバイス200の印刷システムは、ミリ秒毎にあるいはそれよりも短い時間毎に新しい位置データを必要とするので、中間位置が予測される。単純な1次予測補間により、合理的な結果を得ることができる。最後に測定された2つの位置を使用して、XとYの導関数を計算することができる。以下の式によって、補間点を計算することができる。
Figure 2010537590
Figure 2010537590
速度および加速度の変化を取り扱うために、2次元パラメトリック曲線関数を使用することができる。2次元パラメトリック曲線は、時間(t)をパラメータ値としたパラメトリック方程式として、ITデバイス200の動きを記述する。
Figure 2010537590
Figure 2010537590
式5および式6により、バイキュービックスプライン、2次元パラメトリック曲線の形式が表される。式5および式6において、係数は、開始位置(D)、速度(C)、加速度(B)ならびにX軸およびY軸における加速度の変化率(A)に対応する。これらは、式5および式6に関する係数を決定するための数多くの方法が当該分野で知られている。1つのよく知られる方法であるキャットマルロムバイキュービックスプラインは、得られた式が入力制御点を確実に含むという利点を提供する。
図7を参照すると、3次方程式を用いて、2つの式に関する4つの係数全てを確立するために、一般的には、4つの点が必要とされる。X軸およびY軸は、別々に取り扱うことができる。等しい時間間隔で、サンプル点を取ることができる。これにより、曲線の弧の長さを正確に解釈することが保証しやすくなる。曲線上に様々な間隔で点が存在する場合、次いで正しい予測結果をもたらすためには、時間ドメインを別々に平滑化しなければならない。
キャットマルロムバイキュービックスプライン係数の助けにより、サンプリングされた履歴が上述の式によって規定される曲線700に含まれることが保証されても、曲線の予測経路部分702は、実際の経路と必ずしも正確には整合しない。この実施形態の性能を評価するために、t+4eにおける予測された次のサンプル704を、センサ204および208のうち少なくとも1つによって測定された次の実際の位置と比較することができる。
ITデバイス200の角度を計算するために、まず、X位置およびY位置の差を決定することできる。Xの差を、Yの差で除算する。これを達成するために、XおよびYの値を調節して、ポジションモジュール134に特有であり得る限定された32ビット整数演算に対して最も有利となるようにすることができる。
様々な実施形態によると、比X/Yを使用して、たとえば、表を参照することによって、逆正接を決定することができる。表参照の結果は、印刷媒体上の符号化されたタグ情報の予め印刷されたグリッドに対するITデバイス200の角度である。長さが16K(K=1024)ロケーションである表内に0から45度の範囲で、表を表すことができる。また、X値がY値よりも大きいときには、この比をY/Xと表すことができる。これにより、比の範囲は1未満の数値に限定され、角度が90度および270度に近付いたときに0で割られるという特異性が回避される。図8は、逆正接比に関する領域を表す。
位置情報および角度情報を使用して、ITデバイス200、したがってプリントヘッド212の位置が、従来の光学ナビゲーションベースのシステムに基づいて、図5を参照して前述された同じ2次元の空間回転によって決定される。
その結果、ITデバイス200の印刷の位置が印刷媒体に固定される。ページ上の画像の開始位置を移動させるために、開始位置は、図4を参照して前述されたように、印刷を開始する直前に捕捉される。この開始位置を絶対位置から差し引くことにより、印刷媒体上のいずれの場所にも画像を配置することができるようになる。変わった角度で印刷するために、ITデバイス200の初期角度を捕捉することができる。印刷オフセット角が0でないとき、位置情報を回転させて印刷媒体上の画像の回転に影響を与えなければならない。
位置情報が印刷システムに搬送される前に、画像の初期または開始位置を中心にして、その位置を回転させる。結果は、印刷に関する位置および角度である。
Figure 2010537590
Figure 2010537590
便宜上、この角度を、0、90、180および270度離してスナップさせることができる。このようにするために、この角度を、強制的に4つのスナップ角度のうち1つにすることができる。この角度が90度のスナップ角に近い狭い範囲内のときに、「スナップ」が生じる。
ポジションモジュール134によってITデバイス200の位置および角度を計算した後、この情報をプリントヘッド212に送り、それにより画像に対する各ノズルの位置を計算し、適切なノズルを噴射させることができる。
図9および図10を参照すると、本発明の様々な実施形態による、入力装置900が示される。この実施形態は、従来の機械的マウス手法に基づき、ローラーボール902を含み、このローラーボールは、CMOS画像センサ906によって読み取られる表面に符号化された情報マーキング904を含み、CMOS画像センサは、当該分野で知られるような光源とセンサを両方とも含む。マーキング904は、CMOS画像センサ906によって読み取られる絶対位置情報を含み、それによりローラーボール902の縦軸位置および横軸位置に関する絶対位置情報が提供される。様々な実施形態によると、精度を高めるために、2つのCMOS画像センサ906を備えることができる。所望に応じて、より多くのCMOS画像センサ906を備えてもよい。
この実施形態では、媒体が符号化されたマーキングを含む実施形態では媒体上にあるのが望ましい、符号化されたマーキングは媒体上にある必要はない。ローラーボール902は、自由回転でき線形動作をシステムに結合させる機械的な「サンドイッチ」を介して、入力装置900内に保持される。様々な実施形態によると、この構成は、ローラーボール902を安定化させ、ITデバイス200内の定位置に保持するのを補助するためにフレーム908を含む。フレーム908と協働して移動可能に支持するために、3つのベアリング910が設けられる。このように構成することにより、ユーザに触覚フィードバックを与えるためだけでなく、印刷媒体からITデバイス200が持ち上げられるときにローラーボール902がランダムに移動しないようにするために、一定レベルの摩擦で、ローラーボールがフレーム908で自由に動けるようにする。
様々な実施形態によると、ローラーボール902に隣接してクリーニングブラケット912を設けることができるが、このクリーニングブラケット912は、絶えずローラーボール902を掃除して、ナビゲーション結果に悪影響を与えることがある汚染物質を取り除くクリーニング材料を備えることができる。クリーニングブラケット912は、ローラーボール902の一部分を取り囲む単一デバイスであってよく、あるいは、複数のデバイスから構成されてもよい。
前述の諸実施形態のように、所与のX、Y位置に関連付けられた角度情報を計算するために、(2つのナビゲーションセンサ204および208の反対側に)2つの入力構成900が含まれる。様々な実施形態によると、媒体表面への接触点として作用し、位置決め精度を高めるために、4つの入力構成900が使用される。これにより、ナビゲーションおよび印刷が行われる表面に対して、印刷操作を平坦に保つための方法が提供される。論じられたように、入力構成900のうち2つのみが、所望の場合には、表面移動を検出し、実際のローラーボール位置X,Yデータを報告するために含まれるCMOS画像センサ906を有する必要がある。次いで、ITデバイス200のX、Y位置、角度および/または速度の数学的決定が、CMOS画像センサ906によって入力構成900のローラーボール902上のマーキングを読み取ることによって決定される。これは図6〜図8を参照して、位置情報で符号化された予めタグ付けされた媒体を読み取ることについて、前述したものと同様である。
様々な実施形態によると、ローラーボール902の表面マーキングを、所与のCMOS画像センサ906、光源および画像センサの両方に関する特性と整合させることができる。このような最適化は、ローラーボール902自体にペイントされた、あるいはローラーボール902自体の内部に埋め込まれた認識可能なパターンの形態をとることができる。また、この最適化は、調整された光源および画像センサを必要とする場合がある。調整された光源および画像センサは、デリケートなナビゲーションセンサ素子がITデバイス200ハウジングによって保護されている、所与の現在のデバイスにおける符号化技術に比べて、よりデリケートとなることがある。
デバイス200は、入力構成900ならびにナビゲーションセンサ204および208とともに構成することができ、それにより、ITデバイス200は、図6〜図10を参照して説明された方法うち1つまたは複数を、所望に応じて別々にあるいは同時に使用することにより、ITデバイス200の位置、角度および/または速度を決定することができることを当業者は理解するであろう。
図11は、本発明の様々な実施形態によるITデバイス200の印刷操作を示すフローチャート1100である。印刷操作は、ブロック1104で開始することができる。印刷モジュールは、ブロック1108で、画像処理モジュールから処理された画像を受信する。処理された画像を受信すると、ブロック1112において、ディスプレイ308は、ITデバイス200が印刷できる状態であることを示す。
ブロック1116において、印刷モジュールは、ユーザから発生した印刷コマンドを受信して、IT制御入力304を作動させることができる。次いで、ブロック1120で、印刷モジュールは、ポジションモジュールから位置決め情報を受信することができる。次いで、ブロック1124で、印刷モジュールは、印刷物質を所与の位置に堆積させるかどうかを決定することができる。印刷物質を堆積させるかどうかについての決定は、所与の場所に対する総液滴量と以前に堆積された総量の関数とすることができる。
印刷モジュールは、メモリ内の印刷された画像の表示を読み込むことにより、印刷物質を堆積する旨の決定を行うことができる。印刷モジュールが、印刷物質を堆積させるべき旨の決定する場合、堆積された印刷物質の量と場所により、画像表現を修正することができる。印刷モジュールは、修正された表現を使用して、さらなる印刷物質を堆積させる必要があるかどうかを判断することができる。印刷モジュールは、修正された表現を使用して、堆積された印刷物質の量を変えることができる。
ブロック1124において、さらなる印刷物質を追加させる必要はないと決定された場合、操作をブロック1128に進めて、印刷操作が終了に至ったかどうかを決定する。ブロック1124において、さらなる印刷物質が堆積させるべきである旨を決定した場合には、印刷モジュールは、ブロック1132で、ノズルに印刷物質を滴下させる制御信号を生成し、プリントヘッドへ送信することによって、適当な量の印刷物質を堆積させることができる。
図からわかるように、印刷モジュールがプリントヘッドを制御して印刷物質を堆積させる前に、ITデバイス200の平行移動および回転に関するポジションモジュールの決定が行われる。位置決め情報が印刷決定と関連したままにするためには、位置決め情報の決定が、その決定が基づいているナビゲーション測定値の取得後出来る限り速やかに行われるのが望ましいことがある。したがって、その時点まで累積されたデータに基づいて、平行移動計算および回転計算をリアルタイムで行うことができる。回転計算は、上述の従来のスキャンデバイスで行われるように平行移動および画像データの包括的な累積に基づいて、遡及して決定されるものでない。
ブロック1128における印刷操作の終了に至ったかどうかの決定は、総印刷量と総予測印刷量の関数とすることができる。いくつかの実施形態では、総印刷量が総予測印刷量未満より少ない場合であっても、印刷操作の終了に至る場合がある。たとえば、一実施形態は、総印刷量が総予測印刷量の95%のときに、印刷操作が終了したとみなすことができる。その一方で、残量の配分も、印刷終了の分析に考慮することができる場合がある。たとえば、5%の残量が比較的狭い面積に分配される場合には、印刷操作は完了したとみなすことができない場合がある。
いくつかの実施形態において、ユーザが操作を手動でキャンセルすることによって、印刷ジョブの終了を確立することができる。
ブロック1128で印刷操作が完了した旨の決定がされると、印刷操作はブロック1136で終了することができる。
ブロック1128で印刷操作が完了していない旨の決定がされると、印刷操作は、ブロック1120に戻ることができる。
図12は、様々な実施形態による.制御ブロック、たとえば制御ブロック108を実装できるコンピューティングデバイス1200を示す。図示のように、諸実施形態では、コンピューティングデバイス1200は、1つまたは複数のプロセッサ1204と、メモリ1208と、バス1212とを含み、これらは図示のようにそれぞれ結合される。さらに、コンピューティングデバイス1200は、ストレージ1216と、互いに結合される1つまたは複数の入出力インターフェース1220と、図示される前述のエレメントを含む。コンピューティングデバイス1200のコンポーネントは、本明細書で説明されるように、ITデバイスの制御ブロックの印刷機能および/または位置決め機能を提供するように設計することができる。
メモリ1208およびストレージ1216は、具体的には、コード1224およびデータ1228の一時的なコピーおよび永続的なコピーをそれぞれ含むことができる。コード1224は、プロセッサ1204がアクセスしたときに、コンピューティングデバイス1200に、本発明の諸実施形態による制御ブロックの様々なモジュールとともに記載されるような操作を実行させる結果となる複数の命令を含むことができる。処理データ1228は、コード1224の命令によって作動されるべきデータを含むことができる。具体的には、プロセッサ1204がコード1224およびデータ1228にアクセスすることにより、本明細書に記載されるような印刷操作および/または位置決め操作が容易にできるようになる。
プロセッサ1204は、1つまたは複数のシングルコアプロセッサ、マルチコアプロセッサ、コントローラ、特定用途向け集積回路(ASIC)などを含むことができる。
メモリ1208は、ランダムアクセスメモリ(RAM)、動的RAM(DRAM)、静的RAM(SRAM)、シンクロナスDRAM(SDRAM)、デュアルデータレートRAM(DDRRAM)などを含むことができる。
ストレージ1216は、一体型ストレージデバイスおよび/または周辺ストレージデバイス(ディスクおよび関連ドライブ(たとえば、磁気、光学)などが含まれるが、これらには限定されない)、USBストレージデバイスおよび関連ポート、フラッシュメモリ、読み出し専用メモリ(ROM)、不揮発性半導体デバイスなどを含むことができる。ストレージ1216は、コンピューティングデバイス1200の物理的に一部であるストレージリソースとしてもよく、あるいは、コンピューティングデバイス1200の一部である必要はないが、コンピューティングデバイス1200によってアクセス可能としてもよい。たとえば、コンピューティングデバイス1200は、ネットワークを介してストレージ1216にアクセスすることができる。
I/Oインターフェース1220は、周辺ハードウェア(たとえば、I/Oコンポーネント112、ナビゲーションセンサ138など)および/または遠隔デバイス(たとえば、画像転送デバイス120)と通信するように設計されたインターフェースを含むことができる。
様々な実施形態において、コンピューティングデバイス1200は、より多くの、もしくはより少ないエレメントおよび/または様々なアーキテクチャを有することができる。
本発明の諸実施形態をハンドヘルド型ITデバイスについて記載してきたが、諸実施形態の様々な態様をその他のタイプのハンドヘルドデバイスに応用できることを当業者は理解するであろう。
好ましい実施形態を記述するために、本明細書には、ある特定の実施形態を図示し説明してきたが、同じ目的を達成するために算出された様々な代替的および/または等価の実施形態および実装形態が、本発明の範囲から逸脱することなく、図示され記載された実施形態と置換できることが、当業者には理解されよう。本発明による実施形態は、幅広く様々な方法で実装できることが、当業者には容易に理解できよう。本出願は、本明細書で論じられた実施形態の任意の適応物またはバリエーションを網羅することを意図するものである。したがって、本発明による実施形態が、特許請求の範囲およびその等価物によってのみ限定されるべきであることが、明白に意図される。

Claims (30)

  1. ハンドヘルドデバイスであって、
    前記デバイスに隣接する表面に関する情報を取得および/または受信するための情報モジュールと、
    前記ハンドヘルドデバイスの位置および/または速度のうち少なくとも1つを決定するための位置決定構成と、を備え、前記位置決定構成が、前記デバイスに隣接する前記表面上に配置された表面マーキングおよび/または入力装置上に配置された装置マーキングのうち少なくとも1つに基づいて、前記ハンドヘルドデバイスの前記位置および/または速度を決定するように構成された決定モジュールを含み、前記表面マーキングおよび装置マーキングが、前記ハンドヘルドデバイスに関する絶対位置情報を提供するように構成される、ハンドヘルドデバイス。
  2. 前記入力装置が、
    フレーム内に支持され、前記装置マーキングを含むローラーボールと、
    前記ローラーボールを前記フレーム内に移動可能に支持するための少なくとも3つのベアリングと、
    前記装置マーキングを読み取るための少なくとも2つのセンサと、を備える請求項1に記載のハンドヘルドデバイス。
  3. 前記少なくとも2つのセンサが、CMOS画像センサを含む、請求項2に記載のハンドヘルドデバイス。
  4. 前記入力装置が、前記ローラーボールに隣接するクリーニングブラケットをさらに備える、請求項2に記載のハンドヘルドデバイス。
  5. 前記ハンドヘルドデバイスが、少なくとも2つの入力構成を備える、請求項2に記載のハンドヘルドデバイス。
  6. 前記ハンドヘルドデバイスが、少なくとも4つの入力構成を備える、請求項2に記載のハンドヘルドデバイス。
  7. 前記装置マーキングが、前記ローラーボールの表面にペイントされたパターンを含む、請求項2に記載のハンドヘルドデバイス。
  8. 前記装置マーキングが、前記ローラーボールの表面に埋め込まれたパターンを含む、請求項2に記載のハンドヘルドデバイス。
  9. 前記決定モジュールが、隣接する表面から予め印刷されたパターンを読み取るように構成される少なくとも2つの画像センサを備える、請求項1に記載のハンドヘルドデバイス。
  10. 前記少なくとも2つの画像センサが赤外CMOSセンサである、請求項9に記載のハンドヘルドデバイス。
  11. 前記ハンドヘルドデバイスがプリンタである、請求項1に記載のハンドヘルドデバイス。
  12. 前記ハンドヘルドデバイスがスキャナである、請求項1に記載のハンドヘルドデバイス。
  13. 前記ハンドヘルドデバイスが、印刷およびスキャンするように構成される画像変換デバイスである、請求項1に記載のハンドヘルドデバイス。
  14. 前記決定モジュールが、前記ハンドヘルドデバイスの予測位置を決定するようにさらに構成される、請求項1に記載のハンドヘルドデバイス。
  15. 前記決定モジュールが、2次元パラメトリック曲線関数を使用して、前記ハンドヘルドデバイスの前記予測位置を決定するように構成される、請求項14に記載のハンドヘルドデバイス。
  16. 前記2次元パラメトリック曲線関数が、キャットマルロムバイキュービックスプライン関数である、請求項15に記載のハンドヘルドデバイス。
  17. ハンドヘルドデバイスを表面の上で移動させるステップと、
    前記表面および/または入力装置のうち少なくとも1つの上のマーキングを読み取るステップであって、前記マーキングが絶対位置情報を提供するように構成されるステップと、
    前記マーキングを読み取るステップに基づいて、前記ハンドヘルドデバイスの位置および/または角度および/または速度のうち少なくとも1つを決定するステップと、を含む方法。
  18. 前記表面上に印刷物質を堆積させるステップをさらに含む、請求項17に記載の方法。
  19. 前記印刷物質の堆積レベルを決定するために画像表現を使用するステップをさらに含む、請求項18に記載の方法。
  20. 前記印刷物質を堆積させるときに、修正された画像表現を使用するステップをさらに含む、請求項19に記載の方法。
  21. 前記表面からの情報をスキャンするステップをさらに含む、請求項17に記載の方法。
  22. 前記スキャンされた画像から歪みを除去するステップをさらに含む、請求項21に記載の方法。
  23. 前記スキャンされた情報をスティッチングして完全なスキャン画像を形成するステップをさらに含む、請求項21に記載の方法。
  24. 前記マーキングが、前記入力装置に含まれるトラックボールから読み取られる、請求項17に記載の方法。
  25. 前記ハンドヘルドデバイスを移動したときに、トラックボールをクリーニングするステップをさらに含む、請求項17に記載の方法。
  26. 前記マーキングが、前記表面から読み取られる、請求項17に記載の方法。
  27. 前記マーキングが、前記表面および前記入力装置に含まれるトラックボールから読み取られる、請求項17に記載の方法。
  28. 前記ハンドヘルドデバイスの予測位置を決定するステップをさらに含む、請求項17に記載の方法。
  29. 前記予測位置が、2次元パラメトリック曲線関数を使用して決定される、請求項28に記載の方法。
  30. 前記2次元パラメトリック曲線関数が、キャットマルロムバイキュービックスプライン関数である、請求項29に記載の方法。
JP2010522107A 2007-08-28 2008-08-28 ハンドヘルドデバイス、ハンドヘルドデバイスの位置を決定する方法及びプログラム Expired - Fee Related JP5449160B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US96848007P 2007-08-28 2007-08-28
US60/968,480 2007-08-28
PCT/US2008/074665 WO2009029723A1 (en) 2007-08-28 2008-08-28 Determining position and velocity of a handheld device

Publications (3)

Publication Number Publication Date
JP2010537590A true JP2010537590A (ja) 2010-12-02
JP2010537590A5 JP2010537590A5 (ja) 2011-03-17
JP5449160B2 JP5449160B2 (ja) 2014-03-19

Family

ID=39870159

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010522107A Expired - Fee Related JP5449160B2 (ja) 2007-08-28 2008-08-28 ハンドヘルドデバイス、ハンドヘルドデバイスの位置を決定する方法及びプログラム

Country Status (5)

Country Link
US (2) US7773796B2 (ja)
EP (1) EP2204040B1 (ja)
JP (1) JP5449160B2 (ja)
CN (1) CN101796808B (ja)
WO (1) WO2009029723A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013510738A (ja) * 2009-11-12 2013-03-28 コミサリア ア レネルジ アトミク エ オウ エネルジ アルタナティヴ 画像印刷用の携帯装置および方法、並びに同装置用の記録媒体、ペンおよびベンチマーク
JP2015212021A (ja) * 2014-05-01 2015-11-26 株式会社リコー 携帯型画像形成装置

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8633894B1 (en) 2008-10-15 2014-01-21 Marvell International Ltd. Folded focal length optics for an optical movement sensor
US8259118B2 (en) * 2008-12-12 2012-09-04 Mobitv, Inc. Event based interactive animation
JP5347511B2 (ja) * 2009-01-05 2013-11-20 セイコーエプソン株式会社 原稿読み取り装置
US8441696B2 (en) 2009-05-20 2013-05-14 Dacuda Ag Continuous scanning with a handheld scanner
US8582182B2 (en) * 2009-05-20 2013-11-12 Dacuda Ag Automatic sizing of images acquired by a handheld scanner
US8441695B2 (en) * 2009-05-20 2013-05-14 Dacuda Ag Handheld scanner with high image quality
US9300834B2 (en) * 2009-05-20 2016-03-29 Dacuda Ag Image processing for handheld scanner
US8339467B2 (en) * 2010-03-25 2012-12-25 Dacuda Ag Synchronization of navigation and image information for handheld scanner
US8525777B2 (en) * 2009-08-25 2013-09-03 Microsoft Corporation Tracking motion of mouse on smooth surfaces
US8497840B2 (en) * 2010-03-25 2013-07-30 Dacuda Ag Computer peripheral for scanning
US8279500B2 (en) * 2011-01-27 2012-10-02 Seiko Epson Corporation System and method for integrated pair-wise registration of images using image based information and sensor coordinate and error information
US8253985B2 (en) * 2011-01-27 2012-08-28 Seiko Epson Corporation Image registration parameters and confidence estimation from sensor data
US8437497B2 (en) 2011-01-27 2013-05-07 Seiko Epson Corporation System and method for real-time image retensioning and loop error correction
US8885878B2 (en) * 2011-07-22 2014-11-11 Microsoft Corporation Interactive secret sharing
US10298898B2 (en) 2013-08-31 2019-05-21 Ml Netherlands C.V. User feedback for real-time checking and improving quality of scanned image
EP3089102B1 (en) 2013-12-03 2019-02-20 ML Netherlands C.V. User feedback for real-time checking and improving quality of scanned image
EP3092603B1 (en) 2014-01-07 2022-05-11 ML Netherlands C.V. Dynamic updating of composite images
WO2015104236A1 (en) 2014-01-07 2015-07-16 Dacuda Ag Adaptive camera control for reducing motion blur during real-time image capture
WO2015173173A1 (en) 2014-05-12 2015-11-19 Dacuda Ag Method and apparatus for scanning and printing a 3d object
KR101802993B1 (ko) * 2015-02-12 2017-12-28 남한석 비제한적 구동형 마킹 시스템 및 그 마킹 방법
CN105227761B (zh) * 2015-08-31 2018-12-25 小米科技有限责任公司 用户手持方式的判断方法和装置
KR101853127B1 (ko) 2017-05-19 2018-04-27 주식회사 랜도르아키텍쳐 구동형 마킹 시스템, 구동형 마킹 장치의 제어방법 및 컴퓨터 판독 가능한 기록매체
DE102018220409A1 (de) * 2017-12-06 2019-06-06 Robert Bosch Gmbh Medienauftragsvorrichtung

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63171834U (ja) * 1987-04-28 1988-11-08
JPH06195168A (ja) * 1992-10-05 1994-07-15 Logitech Inc 光検出アレーを利用したポインティングデバイス
JPH08504047A (ja) * 1993-03-19 1996-04-30 ソン ホー タク コンパクトマウス構造体
JPH08152964A (ja) * 1994-11-28 1996-06-11 Nec Gumma Ltd マウス
JPH10108151A (ja) * 1996-06-10 1998-04-24 Mitsubishi Electric Inf Technol Center America Inc ネットワークシステム
JPH10512080A (ja) * 1995-10-23 1998-11-17 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ データ処理装置用入力装置
JPH11355526A (ja) * 1998-03-20 1999-12-24 Hewlett Packard Co <Hp> 画像形成装置
US20040109034A1 (en) * 2002-10-18 2004-06-10 Hewlett-Packard Development Company, Lp. Hybrid printing/pointing device
JP2006031709A (ja) * 2004-07-15 2006-02-02 Microsoft Corp 複合追跡システムの方法および装置
JP2006527355A (ja) * 2003-03-31 2006-11-30 エックスパンディウム アーベー 光学センサーを用いた位置検出法および該方法を利用した装置
JP2007183955A (ja) * 2006-01-06 2007-07-19 Samsung Electronics Co Ltd 3次元guiのための操作装置および方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5703356A (en) * 1992-10-05 1997-12-30 Logitech, Inc. Pointing device utilizing a photodetector array
GB2272763B (en) * 1992-11-14 1996-04-24 Univ Sheffield Device and method for determining movement
EP0873003B1 (en) * 1997-04-14 2007-03-21 Hewlett-Packard Company, A Delaware Corporation Image scanning device and method
EP1227432A1 (en) 2001-01-26 2002-07-31 Hewlett-Packard Company, A Delaware Corporation Printing mouse
US7032469B2 (en) * 2002-11-12 2006-04-25 Raytheon Company Three axes line-of-sight transducer
JP4334275B2 (ja) * 2003-05-19 2009-09-30 シャープ株式会社 画像形成装置
US7532201B2 (en) * 2003-12-30 2009-05-12 Liposonix, Inc. Position tracking device
US20060001657A1 (en) * 2004-07-02 2006-01-05 Logitech Europe S.A. Scrolling device
US7726764B2 (en) * 2005-05-09 2010-06-01 Silverbrook Research Pty Ltd Method of using a mobile device to determine a position of a print medium configured to be printed on by the mobile device
US7738674B2 (en) * 2005-09-19 2010-06-15 Silverbrook Research Pty Ltd Retrieving location data by sensing coded data on a surface
US7570250B2 (en) * 2006-05-04 2009-08-04 Yi-Ming Tseng Control device including a ball that stores data
JP4821559B2 (ja) * 2006-10-27 2011-11-24 富士ゼロックス株式会社 情報生成装置、情報生成プログラム、情報生成方法、情報読取システム、電子ペン及び記録媒体
US20090040286A1 (en) * 2007-08-08 2009-02-12 Tan Theresa Joy L Print scheduling in handheld printers

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63171834U (ja) * 1987-04-28 1988-11-08
JPH06195168A (ja) * 1992-10-05 1994-07-15 Logitech Inc 光検出アレーを利用したポインティングデバイス
JPH08504047A (ja) * 1993-03-19 1996-04-30 ソン ホー タク コンパクトマウス構造体
JPH08152964A (ja) * 1994-11-28 1996-06-11 Nec Gumma Ltd マウス
JPH10512080A (ja) * 1995-10-23 1998-11-17 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ データ処理装置用入力装置
JPH10108151A (ja) * 1996-06-10 1998-04-24 Mitsubishi Electric Inf Technol Center America Inc ネットワークシステム
JPH11355526A (ja) * 1998-03-20 1999-12-24 Hewlett Packard Co <Hp> 画像形成装置
US20040109034A1 (en) * 2002-10-18 2004-06-10 Hewlett-Packard Development Company, Lp. Hybrid printing/pointing device
JP2006527355A (ja) * 2003-03-31 2006-11-30 エックスパンディウム アーベー 光学センサーを用いた位置検出法および該方法を利用した装置
JP2006031709A (ja) * 2004-07-15 2006-02-02 Microsoft Corp 複合追跡システムの方法および装置
JP2007183955A (ja) * 2006-01-06 2007-07-19 Samsung Electronics Co Ltd 3次元guiのための操作装置および方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN5010011290; I. S. MACKENZIE: 'A Two-Ball Mouse Affords Tree Degrees of Freedom' CONFERENCE ON HUMAN FACTORS IN COMPUTING SYSTEMS [ONLINE] P303-304, 19970322 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013510738A (ja) * 2009-11-12 2013-03-28 コミサリア ア レネルジ アトミク エ オウ エネルジ アルタナティヴ 画像印刷用の携帯装置および方法、並びに同装置用の記録媒体、ペンおよびベンチマーク
JP2015212021A (ja) * 2014-05-01 2015-11-26 株式会社リコー 携帯型画像形成装置

Also Published As

Publication number Publication date
US20100321732A1 (en) 2010-12-23
EP2204040A1 (en) 2010-07-07
US20090060283A1 (en) 2009-03-05
US7773796B2 (en) 2010-08-10
WO2009029723A1 (en) 2009-03-05
EP2204040B1 (en) 2016-11-09
CN101796808B (zh) 2014-03-12
US7940980B2 (en) 2011-05-10
JP5449160B2 (ja) 2014-03-19
CN101796808A (zh) 2010-08-04

Similar Documents

Publication Publication Date Title
JP5449160B2 (ja) ハンドヘルドデバイス、ハンドヘルドデバイスの位置を決定する方法及びプログラム
JP2010537590A5 (ja)
JP5033247B2 (ja) 印刷表面にリアルタイムにインライン式タグ付け可能なハンドヘルド型携帯印刷装置
US8240801B2 (en) Determining positioning of a handheld image translation device
US8396654B1 (en) Sensor positioning in handheld image translation device
US7845748B2 (en) Handheld image translation device
WO2008109550A1 (en) Position correction for handheld printer
US8614826B2 (en) Positional data error correction
US8717617B1 (en) Positioning and printing of a handheld device
US8345306B1 (en) Handheld image translation device including an image capture device
US8043015B1 (en) Detecting edge of a print medium with a handheld image translation device

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101102

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20110131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130524

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131101

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20131112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131224

R150 Certificate of patent or registration of utility model

Ref document number: 5449160

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees
S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371