JP2013532860A - 符号化パターンを備えるディスプレイ - Google Patents

符号化パターンを備えるディスプレイ Download PDF

Info

Publication number
JP2013532860A
JP2013532860A JP2013520050A JP2013520050A JP2013532860A JP 2013532860 A JP2013532860 A JP 2013532860A JP 2013520050 A JP2013520050 A JP 2013520050A JP 2013520050 A JP2013520050 A JP 2013520050A JP 2013532860 A JP2013532860 A JP 2013532860A
Authority
JP
Japan
Prior art keywords
display
axis
grid
product
array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013520050A
Other languages
English (en)
Other versions
JP2013532860A5 (ja
Inventor
エリクソン,ペッター
アンダース シェーグレン,
Original Assignee
アノト アクティエボラーク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アノト アクティエボラーク filed Critical アノト アクティエボラーク
Publication of JP2013532860A publication Critical patent/JP2013532860A/ja
Publication of JP2013532860A5 publication Critical patent/JP2013532860A5/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0317Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

ディスプレイ(20)が、画素(22)のアレイを備える第1の表面であって、アレイx軸およびアレイy軸を定めるようにアレイ中の画素(22)が整列させられた第1の表面を備える。ディスプレイ(20)は、第1の表面上に重なる第2の表面(32)であって、格子x軸および格子y軸を定めるように構成された格子に従って配置されたマーク(46)を備える符号化パターン(40)を設けられた第2の表面(32)をさらに備える。格子x軸がアレイx軸に対してある角度だけオフセットされるように、格子x軸がアレイx軸上に重なる。
【選択図】図3

Description

本発明は、ディスプレイとのユーザ対話に関する。特に、本発明は、ディスプレイ上に置かれるべき製品であって、ディスプレイ上で符号化された情報を記録できるようにする符号化パターンが設けられた製品に関する。
デジタル装置は生活のあらゆる場面で用いられる。情報をユーザに提示する何らかのディスプレイをデジタル装置が有することが、ますます一般的になりつつある。これは、テレビ画面、コンピュータモニタ、タブレットPC、携帯電話、またはセルフサービスキオスクのような端末の場合がある。また、デジタル装置は、ユーザが装置と対話するために情報を入力できるようにもする。この関連では、例えばキーボード、マウス、ジョイスティック、そしてデジタルペンのような、さまざまな入力装置がある。
ディスプレイを有するデジタル装置と対話する際、ディスプレイ自体の上で情報を入力できると非常に便利な場合が多い。これにより、ユーザは常にディスプレイに集中でき、ディスプレイと入力装置との間で視線を移動させる必要がない。
この点において、タッチスクリーンが開発されてきた。センサ技術がより安価かつより正確になるにつれて、タッチスクリーンの人気はますます上昇してきている。しかし、接触検知技術のコストは、ディスプレイの大きさに大きく依存している。これはつまり、大型ディスプレイを用いようとすると、接触検知技術を用いることが非常に高価になるということである。このようなわけで、ディスプレイ上の位置を検知するための、より安価な技術が必要である。
用紙上の手書きを電子的に取り込む技術の分野では、位置を符号化するために受動的な位置符号化パターンを用いることが知られている。その際、センサはデジタルペン内に配置される。これはつまり、表面には先進技術が施されないということである。よって、表面に位置符号化パターンを設けるコストはかなり低く、表面の大きさには事実上依存しない。代わりに、センサはデジタルペンに配置されるので、センサの大きさは常に同じで、表面全体に配置する必要がない。
特許文献1では、位置符号化パターンをコンピュータ画面に組み込むか、またはコンピュータ画面上に配置することが提案されている。あるいは、位置符号化パターンは、コンピュータ画面などのディスプレイ画面に電子的に表示され得る。しかし、最初の解決法には、ディスプレイを位置符号化パターンとともに製造することが必要である。これはつまり、既に位置符号化パターンなしで作られた古いディスプレイにはこの技術を用いることができないということである。2番目の解決法は実現が困難である。なぜならば、適切な検出のためには位置符号化パターンを非常に正確に生成する必要があるからである。
特許文献2に開示されたように、ディスプレイ上に配置し得る透明板に位置符号化パターンを配置することも提案されている。ディスプレイ上の位置符号化パターンの配置は、ユーザが体験する際、表示されている画像の視認性に影響を及ぼさないことが好ましい。これは、特許文献2によれば、位置符号化パターンを不可視な要素によって形成することにより実現される。この考えの下に、位置符号化パターンは、赤外放射または紫外放射を反射するように構成され得る。
特許文献3によれば、透明板上の位置符号化パターンは、x座標およびy座標を符号化するように断続的に配列されたドットアレイによって形成することができる。x座標値を符号化したドットアレイとy座標値を符号化したドットアレイとが、表示画素の画素ピッチと概ね同等のピッチで、交互に配列され形成される。さらに、隣り合うドットアレイが間に大きな間隙をあけて配列され、ドットによって覆われる面積の総和が、位置符号化パターンを設けた板の全領域に対して非常に小さくなるようなっている。従って、特許文献3によれば、ドットアレイに起因する表示画像への悪影響がほとんどない。
国際公開第01/48591号 特開2001−243006号 特開2002−149331号
本発明の目的は、各種ディスプレイへの応用に適した符号化パターンを持つ製品を提供することである。本発明のさらなる目的は、符号化パターンが表示画像と干渉しないようにすることである。
本発明の第1の態様によれば、第1の態様は製品に関するものであり、この製品は、表面を備える製品であって、表面が、表面x軸および表面y軸を定める縁を備え、表面が、格子x軸および格子y軸を定めるように構成された格子に従って配置されたマークを備える符号化パターンをさらに設けられた製品において、格子x軸が表面x軸に対してある角度だけオフセットされた製品である。
本製品は、符号化パターンを任意のディスプレイ上に配置する可能性を提供する。本製品は、異なるディスプレイの間で本製品を移しかえて用いられるように、携帯型かつ着脱自在にディスプレイに取り付け可能であってよい。
ディスプレイは、画素のアレイを備え、ディスプレイ上に画像を形成するように画素が制御される。アレイ中の画素は、アレイx軸およびアレイy軸を定めるように整列させられる。通常、アレイx軸およびアレイy軸は、ディスプレイの各縁に対して平行になる。本製品をディスプレイに取り付ける際は、表面の縁をディスプレイの各縁と平行に配置するのが実際的である。これはつまり、表面x軸がアレイx軸とそろうということである。格子x軸が表面x軸に対してある角度だけオフセットされているおかげで、格子x軸は、本製品が取り付けられるディスプレイのアレイx軸に対してもある角度だけオフセットされる。本発明により、アレイx軸とある角度をなすように格子x軸を配置することで、符号化パターンの格子とディスプレイの画素ピッチとの間の干渉問題が回避され得るということが実現した。特に、モアレ干渉効果がユーザに見えなくなるように符号化パターンを表示画素に関して配置してよい。よって、本製品は、ディスプレイの特性にかかわらず任意のディスプレイでの使用に好適であろう。従って、ディスプレイの画素ピッチを考慮する必要なしに、同一の本製品を異なるディスプレイの間で移しかえて用いることが可能である。さらに、異なる画素ピッチに特別に合わせた製品を作る必要がない。
あるいは、本製品は特定のディスプレイに固定的に取り付けられてもよい。そのような実施の形態では、本製品を結合するディスプレイの画素ピッチがあらかじめ分かっているであろう。よって、格子寸法をディスプレイの画素ピッチに適合させることが、少なくとも理論的には可能であろう。しかし、格子寸法と画素ピッチとを慎重に調和させて、格子寸法が画素ピッチの整数倍に等しいか、あるいは画素ピッチが格子寸法の整数倍に等しいようにしないと、干渉問題が生じる恐れがある。従って、格子x軸を表面x軸に対してある角度だけオフセットすることによって、本製品に符号化パターンを配置する際の正確さの要件を低くすることが可能である。これはつまり、本製品の製造コストが下がり得るということである。
さらに、符号化パターンの格子寸法をディスプレイの画素ピッチに適合させる必要がないため、異なる種類のディスプレイのための異なる製品すべてに、同じ格子寸法を有する符号化パターンを設けてよい。これはつまり、符号化パターンを読み取る読取器を、所定の格子寸法を有する符号化パターンの読み取り用に最適化してよいということである。そしてこの読取器を、製品が結合するディスプレイの種類にかかわらず任意の製品の符号化パターンの読み取りに用いてよい。
本製品は、可視放射に対して透明であるべきである。これはつまり、本製品が、ディスプレイに付けられた時に表示画像の視認性に影響を及ぼさないということである。ただし、符号化パターンは透明である必要はない。符号化パターンは、例えば、赤外放射を拡散反射するであろう白色マークを備えてよい。この符号化パターンは、ユーザにはほとんど見えず、また主として表示画像のコントラストを下げる可能性がある。さらに、上述したように、格子x軸がディスプレイのアレイx軸に対してある角度だけオフセットされているので、符号化パターンの格子とディスプレイの画素ピッチとの間の干渉問題が回避され得る。
符号化パターンのマークは光学的に検出可能であってよい。マークは、符号化パターンを光学的に検知する画像センサを用いた読取器によって符号化パターンが検出され得るように、入射放射と相互作用するように構成されてよい。この点で、符号化パターンは赤外放射を拡散反射するマークを備えてよい。しかしながら、符号化パターンは、表面の画像内でマークを検出できるようにするために入射放射の鏡面反射、回折、屈折、吸収、全反射、またはブラッグ反射を与えるように構成されたマークを、代わりに備えてもよい。
マークは、好ましくは、マークが設けられた表面からマークが識別可能となるように、本製品の取得画像において大きな信号対雑音比を与えるべきである。取得画像において十分な信号対雑音比を与えるために必要なマークの大きさは、マークがどのように入射放射と相互作用するかに依存するであろう。例えば、拡散反射するマークを用いる際は、マークは80μmないし110μmの範囲の直径を有するドットであってよい。
ある実施の形態において、符号化パターンのマークは、ディスプレイのサブ画素よりも相当小さくてよい。サブ画素は、典型的には赤、緑、または青という、画素の一色を与える要素である。マークがサブ画素より相当小さいおかげで、マークがサブ画素を完全に覆ってしまうことがない。これにより、個々のマークがディスプレイの個々の画素で体験される色に影響を及ぼさなくなる。よって、ディスプレイで体験される色におけるノイズが軽減または回避される。
符号化パターンのマークは、100μmより小さな直径を有するドットであってよい。これにより、本製品を大型ディスプレイで用いる際に、ディスプレイで体験される色におけるノイズが回避されるであろう。ある実施の形態において、符号化パターンのマークは、80μmより小さな直径を有するドットであってよい。例えば、拡散反射するマークを用いる際は、マークは60μmないし80μmの範囲の直径を有するドットであってよい。こうすれば、小さな画素寸法を有するより多くの種類のディスプレイで本製品を容易に使えるようになる。他の実施の形態では、マークは40μmより小さな直径を有するドットであってよい。
ある実施の形態において、符号化パターンのマークは、10μmより大きな直径を有するドットであってよい。ドットの直径が大きくなるほど、本製品の画像においてドットを検出するのが容易になる。したがって、ドットを小さく作りすぎてしまうと、検出が困難になってしまう。ある実施の形態において、符号化パターンのマークは、10μmないし40μmの範囲の直径を有するドットであってよい。そのような実施の形態では、マークは、入射放射の鏡面反射を与えるように構成されてよい。
ある実施の形態において、符号化パターンのマークは、不均整な形状で構成される。符号化パターンのマークは、例えば楕円形または長方形のドットであってよい。マークは、本製品をディスプレイに配置した時に、アレイx軸に平行な方向におけるマークの延長がアレイy軸に平行な方向におけるマークの延長よりも長くなるように、表面に配置されてよい。これは、アレイx軸に沿って配向したサブ画素を有するディスプレイとともに本製品を用いる時に、すなわちサブ画素がアレイx軸の方向に短辺が延びる長方形である場合に、有利な場合がある。このような配置では、マーク1つあたりの総面積を大きくしながらマークとディスプレイのサブ画素との重なりを小さくできる。これにより、ディスプレイで体験される色におけるノイズが軽減または回避されることになるであろう。例えば、マークは、70μmの短径および140μmの長径を有する楕円形のドットであってよい。
ある実施の形態では、本製品を用いるディスプレイの画素ピッチが本製品の生産前に決定される。既知の画素ピッチを用いて、固定格子寸法を有する符号化パターンとさまざまな画素ピッチとの間のさまざまなオフセット角について、モアレ干渉効果を解析する。この解析を好適なオフセット角の決定に用いてよい。
例えば、ある製品は大型テレビ画面用であってよく、一方、別の製品は小さなラップトップのディスプレイまたは携帯電話のディスプレイ用であってよい。これら異なる種類の画面の画素ピッチは全く異なる可能性がある。従って、解析を行って、その特定の製品に好適なオフセット角を決定してよい。その後、決定された好適なオフセット角を用いて、符号化パターンがその特定の製品に設けられる。
別の実施の形態では、本製品をいくつかの異なる種類のディスプレイ用に用意してよい。その際、格子x軸を表面x軸に対してある角度だけオフセットしてよく、その角度は、符号化パターンの格子寸法とディスプレイの画素ピッチとのさまざまな関係について目に見えるモアレ干渉が回避され得るように選ばれる。ある実施の形態では、格子x軸が約10°ないし15°、25°ないし35°、またはおよそ45°の角度だけオフセットされる。好適なオフセット角は、格子寸法と画素ピッチとの関係に依存する。約10°ないし15°、または25°ないし35°のオフセット角を用いることにより、目に見えるモアレ干渉効果を生じることなく、さまざまな画素ピッチを有するディスプレイで本表面を用いることが可能になる。少なくともいくつかの構成について、40°ないし50°といった、およそ45°の角度にすると好適であることが観察された。ただし、他のオフセット角がより好適な場合もある。
符号化パターンが、互いに交差して格子交差点を形成する仮想格子線を備え、少なくともいくつかのマークが、情報を符号化するために格子交差点からずらされ、格子交差点からのマークのずれの方向が、そのマークによって符号化される値を決定するようにしてよい。いくつかの格子線が、格子交差点に配置されたマークを用いて示されてもよい。これにより、格子線の検出が容易になるであろう。
格子交差点からのマークのずれによって、ディスプレイのマークの位置に局所的な干渉効果が生じる可能性がある。従って、どの方向にマークがずらされたか検出できる状態を保ちつつ、格子交差点からのマークのずれをなるべく小さくすべきである。ある実施の形態において、格子交差点からのマークのずれはおよそ50μmである。しかしながら、別の実施の形態では、格子交差点からのマークのずれは50μmより小さく、好ましくは10μmないし30μmの範囲にある。ある実施の形態では、格子交差点からのマークのずれは、マークの直径の約50パーセントである。
別の実施の形態において、符号化パターンは、規則的に配置されて格子を画定するマークを備えてよい。この実施の形態では、各マークが仮想格子線の格子交差点に配置されてよい。そしてマークは、情報を符号化するために異なる形状または色を有してもよい。
符号化パターンの格子寸法は、符号化パターンの反復特徴間の距離と一致してよい。符号化パターンが仮想格子線によって形成される場合、符号化パターンの格子寸法は、隣接する格子線間の距離と一致する。
格子は長方形のパターンを有してよい。長方形の画素を有するディスプレイの場合、これはつまり、格子y軸とアレイy軸との関係が格子x軸とアレイx軸との関係と同様になるということである。しかしながら、格子は他の形と配列を有してもよい。例えば、格子は三角形でよい。この場合、格子y軸とアレイy軸との関係が格子x軸とアレイx軸との関係と同様にはならない。しかし、格子x軸をアレイx軸に対してある角度だけオフセットされるように配置することによって、ただし格子y軸もまたアレイy軸に対してある角度だけオフセットされている限りにおいて、目に見えるモアレ干渉がやはり回避され得る。これはつまり、形と配列が三角形のものについては、実現可能な角度の範囲が異なり得るということである。
符号化パターンは、位置を符号化するように構成されてよい。よって、表面には位置符号化パターンが設けられてよい。位置符号化パターンは、表面の特定の部分から位置符号化パターンが読み取られた時に表面上のその特定の部分の位置を復号することができるように、表面上の位置を符号化するものである。位置符号化パターンは、表面が配置されるディスプレイに対して較正されてよい。これはつまり、表面上の検出位置が、ディスプレイ上の対応位置と関連づけられ得るということである。
位置符号化パターンは、格子x軸および格子y軸に沿った座標として表される位置を与えてよい。そうした座標を対応するディスプレイ座標に変換するためには、較正を格子x軸とディスプレイのアレイx軸との間のオフセット角に合わせて調整する必要がある。こうして、記録された格子座標を対応するディスプレイ座標に変換する2次元変換関数を較正により提供してよい。
電子ペンのような移動型読取器を用いて、デジタル装置を制御するために表面上の位置を読み取ってデジタル装置に入力してよい。例えば、電子ペンからの入力はマウスをエミュレートするものと解釈してよく、ディスプレイ上の位置を指し示すことによって、マウスカーソルでポイントすることと検出された位置においてクリックすることとに対応する動作を実現してよい。
本発明の第2の態様によれば、第2の態様はディスプレイに関するものであり、このディスプレイは、画素のアレイを備える第1の表面であって、アレイx軸およびアレイy軸を定めるようにアレイ中の画素が整列させられた第1の表面と、第1の表面上に重なる第2の表面であって、格子x軸および格子y軸を定めるように構成された格子に従って配置されたマークを備える符号化パターンを設けられた第2の表面とを備えるディスプレイであって、格子x軸がアレイx軸に対してある角度だけオフセットされるように、格子x軸がアレイx軸上に重なるディスプレイである。
本発明の第2の態様によれば、符号化パターンは画素のアレイ上に重ねて配置され、格子x軸はアレイx軸に対してある角度だけオフセットされる。本発明の第1の態様に関して上に説明したように、これはつまり、符号化パターンの格子とディスプレイの画素ピッチとの間の干渉問題が回避され得るということである。よって、ディスプレイの画素ピッチに対して特別に適合させた符号化パターンを用いる必要がない。
ある実施の形態において、第2の表面は、ディスプレイに着脱可能に取り付けられる製品に配置されてよい。ディスプレイは、保持部をさらに備えてもよい。この保持部は、ディスプレイに取り付けられており、第1の表面の前面に第2の表面を装着するために本製品を受けるように構成されている。この保持部が、格子x軸がアレイx軸に対してある角度だけオフセットされるように、第1の表面に関する第2の表面の装着を制御するように構成してもよい。
格子x軸がアレイx軸に対してある角度だけオフセットされているので、画素のアレイに関する符号化パターンの配置は、干渉問題を回避するために重要ではない。よって、ディスプレイに関する保持部の装着と保持部に関する本製品の装着とをそれほど正確に制御する必要はない。これはつまり、保持部は、ディスプレイに関する本製品の配置を制御する大きなガイド面を含む必要がなく、単純な構造でよいということである。ある実施の形態では、ディスプレイに取り付けられ、本製品を受けてその場所にしっかりと保持するように構成された2つのクリップによって、保持部が単純に形成されてよい。また、ユーザは本製品をディスプレイに正しく装着するためにあまり注意する必要がなく、そのため本製品の装着が容易になる。ある実施の形態において、保持部は、格子x軸がアレイx軸に対して約10°ないし15°、25°ないし35°、またはおよそ45°の角度だけオフセットされるように本製品をディスプレイに関して配置するように構成されてよい。さらに、符号化パターンは、本製品がしっかりと装着されたら、装着された本製品とディスプレイとの関係を決定するためにディスプレイに対して較正されてよい。
本発明の第3の態様によれば、第3の態様は処理装置における方法に関するものであり、処理装置が、ユーザ対話のためにディスプレイと接続され、ディスプレイが、画素のアレイを備える第1の表面であって、アレイx軸およびアレイy軸を定めるようにアレイ中の画素が整列させられた第1の表面と、第1の表面上に重なる第2の表面であって、格子x軸および格子y軸を定めるように構成された格子に従って配置されたマークを備える位置符号化パターンを設けられた第2の表面とを備えるディスプレイであって、格子x軸がアレイx軸に対してある角度だけオフセットされるように、格子x軸がアレイx軸上に重なるディスプレイである。本方法は、処理装置によって決定されたディスプレイ座標でディスプレイ上に少なくとも2つの較正マークを示すようにディスプレイを制御し、表示された少なくとも2つの較正マークに対応して位置符号化パターンにおける位置を表す格子座標を受け取り、受け取った格子座標と少なくとも2つの較正マークの既知のディスプレイ座標とに基づいて、格子座標を対応するディスプレイ座標と相互に関係づける変換関数を決定し、ディスプレイ上のユーザ入力を表す後続の格子座標を受け取り、決定された変換関数を用いて後続の格子座標を対応するディスプレイ座標に変換し、ディスプレイ座標とのユーザ対話と関連づけられた動作を実行することを含む方法である。
本発明の第3の態様によれば、干渉問題を回避するために格子x軸がディスプレイのアレイx軸に対してある角度だけオフセットされた状態で位置符号化パターンを配置することが可能である。位置符号化パターンがディスプレイに対して角度がついていることを考慮するために、較正が行われる。よって、処理装置は、ディスプレイに対して角度のある位置符号化パターンで記録された位置であっても正しく扱うことができる。
位置符号化パターンを設けられた第2の表面が、画素のアレイを備える第1の表面と平行に配置されていれば、較正マークを2つだけ用いて正しい座標変換関数が得られるであろう。しかし、第1および第2の表面が平行でない場合は、これらの表面間に3次元的な関係がある。よって、より正確な較正、これは第1の表面と第2の表面とが平行な関係に装着されていないことも考慮してよいが、そうした較正を得るために、較正マークを4つ以上用いてもよい。
ある実施の形態において、処理装置は、ディスプレイに情報を出力したりディスプレイ上の位置として入力を受けたりする1つ以上のアプリケーションを実行する。そして、ディスプレイ座標とのユーザ対話と関連づけられた動作の実行が、処理装置で実行される動作中のアプリケーションにディスプレイ座標を送ることを含んでよい。動作中のアプリケーションは、そのディスプレイ座標をディスプレイのその位置におけるマウス対話として解釈してよい。これはつまり、ユーザは、位置符号化パターンを読み取る読取器、例えば電子ペンの形のものを、処理装置と対話するためのマウスの代替物として用いてよいということである。
電子装置とのユーザ対話を提供するシステムの模式図。 画素のアレイを説明する、ディスプレイの模式図。 符号化パターンを設けられた製品の模式図。 ディスプレイに着脱可能に取り付けられた製品を説明する模式図。 (A)〜(F)符号化パターンの模式図。 電子ペンを模式的に説明する縦断面図。 ディスプレイを介した電子装置とのユーザ対話を説明する模式図。
以下、本発明の実施の形態について、添付の図面を参照してさらに詳しく説明する。
図1を参照して、電子装置10とのユーザ対話を提供するシステムについて簡単に説明する。電子装置10は処理部12を備え、処理部12は、ユーザに出力を提供し処理部12が処理した情報の結果を表示するディスプレイ20に接続される。製品30が、固定的または着脱可能にディスプレイ20に取り付けられる。製品30は、符号化パターン40を設けられた表面32を備える。符号化パターン40は表面32上に情報を符号化する。ユーザは、符号化パターン40を読み取ることのできる読取器50を用いて処理部12と対話することができる。その際、ユーザは、ディスプレイのさまざまな部分に読取器50を向けることにより、符号化パターン40のさまざまな部分を読取器50に読み取らせてよい。このようにして、読取器50は、符号化パターン40によって符号化された情報を記録し、記録された情報を処理部12へ入力として送ることができる。処理部12は、記録された情報を処理し、ディスプレイ20の画像を更新することによって結果をユーザに表示してよい。
符号化パターン40を設けられた表面32は、符号化パターン40を介した電子装置10とのユーザ対話を可能にするために任意の種類のディスプレイに付けられてよい。よって、電子装置10は、例えば、デスクトップコンピュータ、ラップトップ、タブレットPC、もしくはハンドヘルドPCのようなパーソナルコンピュータ(PC)や、携帯電話、テレビゲーム機、スマートテレビ、またはセルフサービスキオスクもしくは業務用ゲーム機のような端末であってよい。処理部12は、典型的には電子装置10の内部に配置される。処理部12は、ディスプレイ20に画像を出力するためにディスプレイ20によって正しく解釈され得る信号を作成するディスプレイ制御部を備えてよい。
ディスプレイ20は別個のユニットであってよく、それが電子装置10および処理部12に接続されてよい。ディスプレイ20は、ケーブルまたは例えば電波信号を用いた無線接続を介して電子装置10に接続されてよい。そのようなディスプレイ20が、ディスプレイ20に現在接続されている電子装置10にユーザインターフェースを提供するために、異なる種類の電子装置10に接続可能であってもよい。そのようなディスプレイ20の例は、ブラウン管画面、液晶ディスプレイ、またはプラズマディスプレイパネルのような、画像を表示するための任意の種類の技術を用いたテレビ画面またはコンピュータモニタである。あるいは、ディスプレイ20を電子装置10と一体化して単一の物理ユニットにしてもよい。そのようなディスプレイ20の例は、ラップトップ画面、またはタブレットPC、ハンドヘルドPC、携帯電話、テレビゲーム機、スマートテレビ、もしくはセルフサービスキオスクもしくは業務用ゲーム機のような端末のディスプレイである。
図2に示すように、ディスプレイ20は画素22を備え、画素22は、作動させられてディスプレイ20上に画像を作成する。カラーディスプレイでは、各画素22は、赤色、緑色、および青色の3つのドットで構成され得る。画素22は、ディスプレイ20の表面全体を覆うように配置されて画素22のアレイを形成する。画素22の大きさおよび隣接する画素22の間隔がディスプレイ20の画素ピッチを定め、画素22は、例えば赤色、緑色、および青色をそれぞれ与えるサブ画素を含んでよい。アレイ中の画素22は、ディスプレイ表面にわたって周期的な構造を形成する。従って、画素ピッチにより、ディスプレイ20上の画素22の空間周波数も定まる。
画素22は通常、ディスプレイ表面上で水平および/または垂直な列に配置される。従って、画素22のアレイはアレイx軸およびアレイy軸を定めてよく、これらはそれぞれディスプレイ表面の水平方向および垂直方向に沿って配置される。サブ画素は、アレイy軸に沿って長辺を有する長方形であることが多い。さらに、サブ画素は、画素22が全体として正方形となるようにアレイx軸に沿って並んで配置されてよい。
画素ピッチは、時にドットピッチ、ラインピッチ、ストライプピッチ、または蛍光体ピッチとも呼ばれ、異なるディスプレイ20の間で異なり得る。より小さな画素ピッチを設けることにより、ディスプレイ20はより鮮明な画像を生成できるであろう。また、ユーザは、典型的には異なる種類のディスプレイ20を異なる距離から眺めるであろう。例えば、ユーザは、典型的にはコンピュータ画面よりも携帯電話のディスプレイに、より近づくであろう。これはつまり、コンピュータ画面の画質が携帯電話のディスプレイの画質よりも悪いとユーザが感じることなく、コンピュータ画面が携帯電話のディスプレイよりも大きな画素ピッチを有し得るということである。よって、画素ピッチは、異なる種類のディスプレイ20の間で、そして同じ種類のディスプレイ20の間でも、ディスプレイ20の質によって著しく異なる。
図3を参照して、符号化パターン40を設けられた製品30についてさらに説明する。製品30は、ディスプレイ20と一体化されてよく、ディスプレイ20の製造中にディスプレイ20に取り付けられてよい。代替例によれば、製品30は、別個に配達されてよく、ディスプレイ20に取り付けられてよい。製品30は、製品30が異なるディスプレイ20の間を移動させられるように、ディスプレイ20に着脱可能に取り付けられてよい。
製品30は、可視光に対して透明なシートまたはフィルムで形成されてよい。これはつまり、製品30は、ディスプレイ20に付けられた時に、表示画像の視認性に影響を及ぼさないということである。シートまたはフィルムの厚さは、製品30をどんな種類のディスプレイ20で用いるかよって異なってよい。製品30は、好適なプラスチック材料またはガラス材料のような、適切な光学特性および物理特性を有する好適な材料から形成されてよい。
ディスプレイ20は、ディスプレイ表面とのタッチ対話が可能なように整えてあってもよいし、そうでなくてもよい。ディスプレイ20がタッチ対話用に整えてある場合、おそらくディスプレイ20には保護シートが設けられ、保護シートは、ディスプレイをタッチする際に加わる圧力がディスプレイ20を損傷しないように、加わる圧力を分散するであろう。しかし、ディスプレイ20がタッチ対話用に整えていない場合、製品30がタッチされることによる損傷からディスプレイ20を保護するように、製品30を設計する必要があるかもしれない。そのような場合、製品30は、加わる圧力をより広い面に分散させるであろう比較的厚いシートによって形成されてよい。よって、ディスプレイ20を保護するために、製品30は、典型的には数mmの厚さを有するシートによって形成されてよい。
製品30は、ディスプレイ20に対して一定の関係に保持されてよい。これはつまり、符号化パターン40とディスプレイ位置との関係が経時的に変化しないということである。ディスプレイ20に対して一定の関係に製品30を保持する能力は、いくつかの要因に依存する。例えば、製品30を厚くて剛性のあるものとすることにより、製品30は、いったんディスプレイ20に装着されるとその位置にとどまるであろう。例えば、製品30を大型テレビ画面で用いる場合、大型の製品30が必要になるであろう。よって、製品30に剛性をもたせるために、mmのオーダーの厚みを有するシートから製品30が形成されてよい。厚いシートの製品30により、大型の製品30をディスプレイ20に対して一定の関係にしっかりと保持することが可能になる。
一方、小型の製品30は、1mmよりずっと薄い、典型的には0.1mmないし0.5mmの厚さを有する薄膜によって形成されてよい。そのような薄膜は、製品30を、例えば携帯電話のディスプレイ、またはラップトップ画面に対して一定の関係に配置するのに好適であろう。また、薄膜の製品30は、製品30の運搬を容易にするために巻けるのに十分なほど弾力性に富んでいてもよい。これはつまり、製品30がユーザによって運ばれて、ユーザがディスプレイ20と対話できるように望んだ時に、任意のディスプレイ20に取り付けられ得るということである。
製品30は、ある特定の大きさのディスプレイ20に取り付けられるように意図されていてよい。その際、製品30は、製品30を用いるディスプレイ20とほぼ同じ大きさであってよい。これはつまり、製品30が、ディスプレイ20にぴったりと合うように、ディスプレイ20に対して端から端までの関係に配置されてよいということである。しかしながら、代わりに、製品30をさまざまな大きさのディスプレイ20用にしてもよい。その場合、製品30は、ディスプレイ20の各縁のうちの少なくとも1つから製品30が外側に突き出るように、ディスプレイ20に取り付けられてよい。また、製品30が、ディスプレイ20の一部分だけを覆うことにより、ディスプレイ20のその特定の部分との対話を提供するということも考えられるであろう。また、製品30は、たいていのディスプレイ20の形状に合うようにするため、長方形であってよい。
製品30の1つ以上の部分に、製品30がディスプレイ20に取り付けられるようにする粘着性物質を設けてよい。あるいは、製品30は、ディスプレイ20に付けられた時にディスプレイ表面にくっつくように、粘着性表面を有してもよい。さらなる代替例として、製品30およびディスプレイ20に、ベルクロ(登録商標)ファスナーのような面ファスナーを1片以上設けてもよい。さらにもう一つの代替例として、製品30に、ディスプレイ20の縁を受けるクリップを設けてもよい。もちろん、その代わりに、または付加的に、ディスプレイ20の方に、製品30をディスプレイ20に取り付けるための、粘着性物質またはクリップのような手段を設けてもよい。
さらにもう一つの代替例として、製品30をディスプレイ20に取り付けるための別個の締結具が提供されてもよい。これは、両面テープとして実現されてよく、両面テープは、製品30がディスプレイ20に付けられる前に、製品30またはディスプレイ20のいずれか一方に取り付けられる。図4に例示した実施の形態では、保持部組立体60が提供される。保持部組立体60は枠62を備えてよく、枠62は、例えばねじを用いて、ディスプレイ20にしっかりと取り付けられてよい。また、保持部組立体60は1つ以上のクリップまたは協働腕の対64も備えてよく、それらは枠62に装着されてよい。製品30をディスプレイ20に装着する際、製品30はクリップまたは協働腕の対64にぴったり収まり、それによってディスプレイ20に関する製品30の位置が定まる。
製品30は表面32を提供し、表面32には符号化パターン40が設けられてよい。製品30は、表面32がディスプレイ20に面して配置されるようにディスプレイ20に取り付けられるよう、構成されてよい。あるいは、表面32が保護層で覆われてもよい。これはつまり、ユーザは符号化パターン40が配置された表面32と直接対話することがないということである。よって、例えば読取器50を用いて本製品にタッチすることによるユーザ対話が符号化パターン40を摩耗させないように、表面32が保護される。
製品30の表面32は縁34、36によって境界が定められてよく、これらが表面x軸および表面y軸を定める。上に説明したように、製品30は、ディスプレイ20の最も一般的な形状に対応するために、長方形であってよい。その場合、縁34、36は互いに垂直であってよく、従って表面x軸と表面y軸とは互いに垂直になる。
符号化パターン40は情報の図形的な符号化を提供してよい。その際、符号化パターン40は、格子に従って配置されたマークを備えてよく、マークの配置および/または形態によって情報を符号化する。
図5Aに例示した実施の形態では、符号化パターン40は仮想格子線42を備え、仮想格子線42は、実際には表面32上に示されない場合があるので仮想と呼ばれる。従って、図5Aにおいて格子線42は点線で示されている。仮想格子線42は互いに垂直で直交格子を形成してよい。仮想格子線42は格子交差点44で交差し、格子交差点44は称呼点を形成する。符号化パターン40の情報はマーク46によって符号化されてよく、マーク46はマーク46の称呼点44に関してずらされている。称呼点44からのマーク46のずれの方向が、マーク46によって符号化される値を決定する。例えば、マーク46は、図5Bないし図5Eに例示したように、4つの異なる方向のうちの1方向にずらされ得るようにされてよい。そして、各マーク46が2ビットの情報を符号化することになる。マーク46は、図5Bないし図5Eに例示したように、仮想格子線42のうちの1つに沿ってずらされてよい。この種の符号化パターン40については、米国特許第6,663,008号明細書にさらに記載されており、当該出願は引用することによりここに組み込まれているものとする。
マークはまた、格子交差点44に設けられてもよいし、格子交差点44のうちの一部の格子交差点に設けられてもよい。これは、おそらく仮想格子線42を検出するのに役立ち、従って符号化パターン40の復号を容易にするであろう。さらに、各格子交差点44が、情報を符号化するマーク46と関連づけられる必要はない。ある実施の形態では、格子線42を示すマークが設けられている格子交差点44は、情報を符号化するマーク46を伴わず、その一方で、格子線を示すマークが設けられていない格子交差点44は、情報を符号化するマーク46を伴う。
いくつかの称呼点44または各称呼点44が、情報を符号化する複数のマーク46を伴ってもよい。これを用いて、1つの称呼点44に関してさらなる情報を符号化してよい。図5Fに例示した実施の形態では、称呼点44が1対のマーク46を伴い、1対のマーク46は、その重心が称呼点44になるように、称呼点44の両側に配置される。これにより、仮想格子線42の検出が容易になる。
マーク46は、正方形や三角形などの任意の単純な形状によって形成されてよい。ある実施の形態において、マーク46は円形のドットによって形成されるが、円形のドットは印刷が容易であろう。別の実施の形態では、マーク46は不均整な形状を有するドットによって形成される。ドットは、例えば楕円形または長方形であってよい。あるいは、マーク46がさまざまな形状を有して、マーク46の形状が符号化パターン40の情報の符号化に寄与し得るようにしてもよい。
マーク46は、赤外放射を拡散反射するように構成されてよい。これによりマーク46の検出が容易になり得るが、それは、多くのディスプレイ20が赤外フィルタを備え、従ってディスプレイ20からは赤外放射が放出されないからである。読取器50は赤外放射を検出するように構成されてよく、赤外線を反射するマーク46は、赤外放射を放出する光源と組み合わされると、読取器50において暗い背景上の輝点として見える。
しかしながら、その代わりに、マーク46は、表面の画像内でマーク46を検出できるようにするために入射放射の鏡面反射、回折、屈折、吸収、全反射、またはブラッグ反射を与えるように構成されてもよい。
ディスプレイ20からの放射が符号化パターン40の検出と干渉しないようにするために、製品30には赤外フィルタ層が設けられてよい。この赤外フィルタ層は、符号化パターン40と読取器50との間にならないように、ディスプレイ20と面して配置されるべきである。
赤外線を反射するマーク46は、赤外放射および可視放射を両方とも拡散反射する白色マークとして容易に実現され得る。これはつまり、符号化パターン40がユーザの目に見え得るということである。しかしながら、符号化パターン40は非常に小さなマークによって形成され得るため、符号化パターン40は単に表示画像のコントラストのかすかな低下として体験されるだけである。
符号化パターン40は、位置を符号化するように構成された位置符号化パターンであってよい。ある実施の形態において、複数のマーク46のセル1つを、1つの位置の符号化に用いてよく、場合によっては識別子の符号化にも用いてよい。この識別子は製品30を他の製品から識別するために用いられ得る。そのようなセルが、表面32全体にわたって位置を符号化すべく表面32全体にわたって並んで配置されてよい。別の実施の形態では、例えば米国特許第6,663,008号明細書に記載されたように、位置符号化パターンが窓属性を有する。窓属性とは、所定の大きさの各部分が位置符号内で一意であり、それによって位置符号化パターン内の明白な位置を符号化するというものである。各位置はドットのような複数の単純な記号によって符号化されてよく、第1の位置を符号化するのに用いられる複数の記号の少なくともいくつかが、第2の隣接位置の符号化にも寄与する。
位置符号化パターンは、1つの位置を符号化するのに、例えば6×6のマーク46を用いてよい。これにより非常に広い領域の位置を符号化でき、位置符号化パターンの異なる部分を異なる製品30に配置し得るようになる。よって、各製品30は異なる範囲の位置を符号化するように構成され得るので、符号化された識別子を製品30の識別に用いる代わりに、記録された位置で製品30を識別してよい。これはつまり、製品30上の位置符号化パターン40が広い領域内の絶対位置を符号化し得るということである。よって、当該領域の座標の原点を製品30自体の上に符号化する必要がない。絶対位置は、位置符号化パターンによって符号化された広い領域の部分集合内の局所位置に変換されてよい。部分集合は、製品表面32に対応する領域内の位置を符号化してよい。これにより、絶対位置を製品表面32上の局所位置として解釈するのが容易になり得る。
しかしながら、そのような大きな位置符号化パターンを用いる必要がない場合もあるであろう。別の実施の形態では、1つの位置を符号化するのに、より少ないマーク46が用いられる。これにより、位置の復号が高速化され得る。
さらなる実施の形態において、マーク46は表面32全体にわたって規則的に配置される。マーク46は、情報を符号化するためにさまざまな形状または色を有してよい。各マーク46は、多くの情報を符号化できるようにするために複雑な構造を有してよい。よって、表面32上の位置は、単一のマーク46によって符号化されてもよい。
符号化パターン40は、表面32にわたって周期的な構造を形成してよい。符号化パターン40が、格子に従って配置されたマーク46を備え、格子が表面上のマーク46の周期性を定めるようにしてよい。符号化パターン40の格子寸法は、符号化パターン40内の2本の隣接する格子線42の間の距離として定義されてよい。符号化パターン40の格子寸法は、表面32上のマーク46の空間周波数も定める。たとえ個々のマーク46が格子交差点44から異なる方向にずれている場合であっても、マーク46の空間周波数は格子寸法によって与えられる。格子が格子x軸および格子y軸も定め、これらが符号化パターン40の仮想格子線42と一致するようにしてもよい。
上述したように、画素ピッチはディスプレイ20上の画素22の空間周波数を定める。さらに、ディスプレイ20の上には、表面32上のマーク46の空間周波数を定める格子寸法を有する格子に従って配置されたマーク46が重ねられる。これはつまり、重なった状態で配置された2つの周期構造が存在し、それら2つの周期構造がいくつもの空間周波数を備えるということである。よって、2つの周期構造の空間周波数の絡み合いにより、結果的に別の周波数が形成される場合がある。結果として生じる周波数が人間の知覚できる周波数内にある場合、すなわち周波数が非常に小さい場合、ユーザにディスプレイ20上のモアレパターンが見える恐れがある。モアレパターンは、非常に目立ち、表示画像の視認性にひどく影響する場合がある。
従って、目に見えるモアレパターンがディスプレイ20上に形成されないようにすることが望ましい。モアレパターンが形成されないようにする方法の1つは、符号化パターン40の格子寸法をディスプレイ20の画素ピッチに適合させることである。しかしながら、その代わりに、格子x軸がアレイx軸に対してある角度だけオフセットされるように、符号化パターン40をディスプレイ20に関して回転させてもよい。符号化パターン40の回転により、目に見えるモアレパターンの生じにくくなるような、符号化パターン40の格子と画素22のアレイとの関係が得られる場合がある。
符号化パターン40の回転のおかげで、ディスプレイ20の画素ピッチが符号化パターン40の格子寸法と相性がよいか否かを考慮する必要なく、同一の製品30をさまざまなディスプレイ20で用いることが可能である。これにより、さまざまなディスプレイ20で用いられ得る携帯型の製品30の製造が容易になる。
また、符号化パターン40の同じ格子寸法を常に用いてもよい。これはつまり、符号化パターン40を読み取る読取器50を、特定の格子寸法を有する符号化パターン40の読み取りに合わせて調整し最適化してよいということである。さらに、符号化パターン40がどのような種類のディスプレイ20に付けられるかにかかわらず、同一の読取器50を符号化パターン40の読み取りに用いてよい。
さらに、たとえ符号化パターン40が、ディスプレイ20の製造時にディスプレイ20に固定的に装着される製品30上に配置される場合であっても、ディスプレイ20に関して回転した符号化パターン40を用いると有利であろう。そのような状況においては、符号化パターン40を重ねられることになるディスプレイ20の画素ピッチが既知であり、従って符号化パターン40の格子寸法をこの画素ピッチに適合させることは可能である。例えば、格子寸法を、画素ピッチの整数倍と等しくなるように設定してよい。しかし、モアレ効果が生じないようにするには、格子寸法を極めて厳密に所望の値に合わせる必要がある。従って、符号化パターン40の格子寸法をディスプレイ20の画素ピッチに適合させるには、製造時の精度の要求が厳しくなる恐れがある。よって、符号化パターン40をディスプレイ20に関して回転させることにより、生産の歩止まりが改善されるであろう。
格子x軸がアレイx軸に対してある角度だけオフセットされるように符号化パターン40をディスプレイ20に関して回転させることは、符号化パターン40を製品表面32の表面x軸に関して回転させることによって実現され得る。上で論じたように、製品30はディスプレイ20とそろうように配置されてよい。従って、格子x軸が製品30の表面x軸に対してある角度だけオフセットされていれば、製品30がディスプレイ20に取り付けられた時に、格子x軸がディスプレイ20のアレイx軸に対してある角度だけ同様にオフセットされることになる。
仮想格子線42は、直交格子を形成するように配置される必要はない。ある代替例では、仮想格子線42が互いに60°の角度に配置されて菱形格子が形成されてよい。さらなる代替例では、仮想格子線42は三角形または六角形の格子を形成してよい。そのような場合、格子y軸とアレイy軸との関係は格子x軸とアレイx軸との関係と同様にはならない。しかしながら、格子x軸をアレイx軸に関してある角度だけオフセットされるように配置することにより、格子y軸もまたアレイy軸に関して好適な角度だけオフセットされている限りにおいて、目に見えるモアレ干渉は依然として回避可能である。これはつまり、可能な角度の範囲が、仮想格子線42の非直交構成では異なるということである。
製品30は、特定の複数の種類のディスプレイ20用にしてもよい。製品30を製造する前に、製品30を用いるディスプレイ20のさまざまな画素ピッチの範囲が決定されてよい。さらに、使用する符号化パターン40の格子寸法を設定してよい。ある実施の形態において、格子寸法は約300μmである。もちろん、他の格子寸法も同様に用いてよい。例えば、格子寸法は100μmないし2mmの範囲にあってよい。設定された格子寸法および既知の範囲の画素ピッチを用いて、格子x軸とアレイx軸との間のさまざまな角度の効果を解析してよい。Isaac Amidror著「The Theory of the Moire Phenomenon, Volume I: Periodic Layers」(「モアレ現象の理論」)の第3章に説明されているように、目に見えるモアレ干渉を生じさせる角度を特定するために、重ね合わされた2つの周波数の関係を解析してよい。
格子x軸とアレイx軸との間のさまざまな角度の効果を解析したら、モアレ問題を引き起こさない角度を決定してよい。これにより、モアレ効果が目に見えない角度の許容範囲が見つかるであろう。そして、格子x軸が表面x軸に対して許容範囲内の角度をなすように、符号化パターン40を製品30に付けることができる。これはつまり、製品30をディスプレイ20に装着する際に許容差が認められ得るということであり、それは、格子x軸のアレイx軸に対する角度がわずかに変化してもモアレ効果を生じないからである。
例えば、製品30はコンピュータモニタ用にしてもよい。19インチの画面寸法および1280×1024画素の解像度を有するコンピュータモニタは、0.208mmの画素ピッチを有する。このコンピュータ画面で0.300mmの格子寸法を有する製品30を用いる場合、目に見えるモアレ干渉を回避するために、格子x軸がアレイx軸に対して10°ないし35°の範囲の角度だけオフセットされてよい。別の製品30はテレビ画面用であってよい。42インチの画面寸法および1920×1080画素の解像度を有するテレビ画面は、0.342mmの画素ピッチを有する。この例では、このコンピュータ画面で0.300mmの格子寸法を有する製品30を用いる場合、目に見えるモアレ干渉を回避するために、格子x軸がアレイx軸に対して30°ないし40°の範囲の角度だけオフセットされてよい。
別の代替例によれば、格子x軸と表面x軸との間の好適な角度は、用いる画素ピッチに関して格子寸法を特に解析することなく選ばれてよい。ある実施の形態において、格子x軸は、製品30の表面x軸に対して10°ないし15°の角度だけオフセットされるように配置されてよい。別の実施の形態において、格子x軸は、製品30の表面x軸に対して25°ないし35°の角度だけオフセットされるように配置されてよい。これらの実施の形態のいずれにおいても、モアレ効果が見られないように符号化パターン40の格子とディスプレイ20の画素22のアレイとの関係が与えられ得る。さらに別の実施の形態において、格子x軸は、本製品の表面x軸に対して、40°ないし50°といった、およそ45°の角度だけオフセットされるように配置されてよい。符号化パターン40の格子とディスプレイ20の画素22のアレイとのこの関係も、目に見えるモアレ干渉が回避され得るシステムをもたらすことが分かった。
当然のことながら、製品表面32上の符号化パターン40の配置については、ディスプレイ20のアレイx軸と製品30の表面x軸との関係も考慮に入れてよい。状況により、製品30がディスプレイ20に関してどのように装着されるかが非常に正確に分かっている場合がある。これは例えば、ディスプレイ20の製造時に製品30がディスプレイ20に組み込まれる場合や、あるいは製品30のディスプレイ20への取り付けが保持部60によって正確に制御される場合であろう。そのような場合は、格子x軸とアレイx軸との最終的な関係がよく分かっているであろう。よって、格子x軸がアレイx軸に対して許容範囲内で角度をなすように、符号化パターン40を製品30に付けることができる。
マーク46の大きさは、ディスプレイ20のサブ画素よりも相当小さくてよい。これはつまり、マーク46はサブ画素を完全に覆うことがないということであり、さもなければディスプレイ20の色に不快なシフトが生じてしまう。従って、マーク46の大きさは、マーク46の検出を容易にするためにはできるだけ大きい方が良いものの、ディスプレイ20の色への干渉を回避するためにできるだけ小さい方がよい。
所与の製品について、すべてのマーク46は、好ましくは同一またはほぼ同一の大きさを有する。マーク46が10μmよりも小さな直径を有するとマーク46の検出が困難になる恐れがあり、一方、マーク46が110μmよりも大きな直径を有するとマーク46がディスプレイ20の色に干渉する恐れがある。マーク46を検出する困難さは、マーク46がどのように入射放射と相互作用するかに依存するであろう。例えば、放射を拡散反射するようにマーク46が構成される場合、マーク46は60μmないし80μm、または80μmないし110μmの範囲の直径を有してよい。放射を鏡面反射するようにマーク46が構成される場合、マーク46は10μmないし40μmの範囲の直径を有するように構成されてよい。より小さな直径を有するようにマーク46を構成することにより、製品30は、ディスプレイ20の色への干渉を生じることなく、より多くの異なる種類のディスプレイ20で用いられ得る。
マーク46の大きさは、製品30を用いる予定のディスプレイ20の種類に応じて選択されてよい。
ある実施の形態において、マーク46は不均整な形状を有するように構成される。マーク46は、ディスプレイのサブ画素に関して、マーク46がサブ画素の長辺にわたって有する延長よりも長い延長をサブ画素の短辺にわたって有するように構成されてよい。これはつまり、マーク46はサブ画素の短辺全体にわたって延びる一方、サブ画素の長辺にわたっては小部分にしか延びないように構成されてよいということである。そのような不均整なマーク46は、円形のドットと等しい面積を有しつつ、個々のサブ画素のより小さな部分を覆うようにすることができる。そうする代わりに、不均整なマーク46を少なくとも2つの隣接するサブ画素と重なるように構成してもよい。これはつまり、ディスプレイ20上の体験される色におけるシフトが回避され得るということである。
ある特定のディスプレイのサブ画素は、アレイx軸に沿って80μm、アレイy軸に沿って240μm延びてよい。このような実施の形態では、マーク46は、アレイx軸に沿って延びる140μmの長径およびアレイy軸に沿って延びる70μmの短径を有する楕円形のドットとして構成されてよい。
留意すべきは、たとえマーク46が格子に従って配置され、格子x軸が表面x軸に対してある角度だけオフセットされていても、不均整なマーク46は、表面x軸とそろった長辺を有してよいということである。これはつまり、製品30がディスプレイ20上に配置された時に、マーク46の長辺がアレイx軸とそろうということである。例えば、楕円形のドットの長径がこれによりアレイx軸とそろうことになる。
マーク46が格子交差点44からずらされる場合、このずれによって、ディスプレイ20の画素との局所的な目に見える干渉が生じる恐れがある。よって、たとえ格子寸法と画素ピッチとの目に見えるモアレ干渉を回避するために格子x軸がディスプレイ20の画素のアレイに対してある角度だけオフセットされていても、マーク46の格子交差点44からのずれによって局所的な干渉が引き起こされる恐れがある。マーク46のずれがディスプレイのユーザ体験に影響を及ぼすのを回避するために、ずれの大きさをできる限り小さく構成してよい。
ある実施の形態において、マーク46の格子交差点44からのずれは、50μmより小さく、好ましくは10μmないし30μmの範囲にある。これにより、マーク46の格子交差点44からのずれは、ディスプレイ20との目に見える局所的な干渉を生じないであろう。
マーク46の格子交差点44からのずれは、マーク46が格子交差点44からずらされた方向を検出できるのに十分なほどには大きくしておくべきである。ある実施の形態において、マーク46の格子交差点44からのずれは、マーク46の直径のおよそ50パーセントであり、これによりずれの方向の検出を確実にし得る。
製品30は、ディスプレイ20の画素のアレイのごく近傍に配置されてよい。これにより、ユーザがディスプレイ20に対する視角を変化させると製品30上のマーク46が画素に関して移動するのにユーザが気づくこと、これは視差現象としても知られるが、これが回避され得る。しかし、製品30がディスプレイ20の画素のアレイに接近して配置されると、マーク46と画素との局所的な干渉効果がより明確に視認できるようになる恐れがある。よって、製品30がディスプレイ20の画素のアレイに接近して配置される場合、目に見える局所的な干渉問題を回避するためには、マーク46の大きさおよびマーク46の格子交差点44からのずれをできる限り小さくすることがさらに重要である。あるいは、製品30を、ディスプレイ20の画素のアレイから離れて装着されるように構成することによって、局所的な干渉問題を回避してもよい。
次に、図6を参照して、符号化パターン40を読み取る読取器50について説明する。読取器50は、製品32の画像を電荷結合素子(CCD)センサまたは相補型金属酸化膜半導体(CMOS)センサのような光学画像センサ54に形成する光学系52を備えてよく、光学画像センサ54は、2次元画像を取得するように構成される。光学系52は、センサ表面に画像の焦点を合わせるためのレンズ56を備えてもよい。光学系52は光ガイド58も備えてもよく、光ガイド58は、光学画像センサ54に光を導くための1つ以上の鏡を含んでよい。また、光学系52は、望ましくない波長を除去するための波長フィルタを備えてもよい。上に説明したように、符号化パターン40は、赤外線を反射するマーク46によって形成されてよい。赤外放射だけを光学画像センサ表面に到達させることにより、光学画像センサ54によって取得される画像における信号対雑音比が向上する。
読取器50は光源(図示しない)をさらに備えてもよい。光源は、撮像されている表面32の部分に向けて光を放出してよい。これにより撮像条件が向上し得る。光源はさらに、符号化パターン40が強く相互作用する赤外放射を放出するように構成されてもよい。
読取器50は、図6に例示したように、電子ペン70として構成されてよい。電子ペン70は、内部に電子ペン70のすべての部品が装着されるペン型のケースを有してもよい。
電子ペン70は解析ユニット72をさらに備えてよく、解析ユニット72は、光学画像センサ54によって記録された画像に基づいて符号化パターン40を復号するように構成されてよい。ある実施の形態において、光学画像センサ54は表面32上の位置符号化パターンを描写し、解析ユニット72は電子ペン70の位置を復号するように構成される。画像が記録される際に電子ペン70の位置を直接決定するために、解析ユニット72は光学画像センサ54と一体化されてよい。例えば、解析ユニット72は、目的に適合させられた特定顧客向け集積回路(例えばASIC、特定用途向け集積回路)として実現されてよく、特定顧客向け集積回路が光学画像センサ54を保持してもよい。代替例として、解析ユニット72は、光学画像センサ54から記録画像を受け取るように構成されてよい。その際もまた、解析ユニット72は、特定顧客向け集積回路として実現されてもよく、または何らかの形のプログラム可能集積回路(例えばPROM(プログラマブルROM)、FPGA(フィールド・プログラマブル・ゲート・アレイ))もしくは取得された位置データに基づいて位置を決定するための特別なソフトウェアプログラムを実行する通常のプロセッサであってもよい。
さらなる代替例として、光学画像センサ54が、記録画像を前処理するための特定顧客向け集積回路に組み込まれてもよい。例えば、画像内のマーク46の場所を検出するために画像が前処理されてよい。そして、特定顧客向け集積回路が画像内のマーク46の場所のリストを解析ユニット72に出力してよく、解析ユニット72はそのリストを処理して符号化パターン40を復号してよい。
あるいは、電子ペン70は、単に画像を記録し、その画像を解析のために電子装置10に送るように構成されてもよい。そのような場合、解析ユニットは電子装置10内に配置されることになる。さらなる代替例として、電子ペン70は、記録画像の何らかの前処理を行い、その前処理された画像を、撮像された符号化パターン40を最終的に復号するために電子装置10に送るように構成されてもよい。
解析ユニット72は、位置符号化パターン40の画像を解析し、その画像内に描かれた位置符号化パターンの部分によって符号化された位置を復号するように構成されてよい。解析ユニット72は、位置符号化パターン40の符号化形式に依存する命令を当然有し、解析ユニット72において行われる復号が、復号しようとする特定の位置符号化パターンに適合するようになっている。そのような復号アルゴリズムの例は、米国特許第6,663,008号明細書および米国特許第6,667,695号明細書に示されている。
マーク46は、マーク46が画像内で暗い背景上の輝点として見えるように、赤外放射を拡散反射してよい。画像は、光学画像センサ54のセンサ画素によって記録された輝度値を含むグレースケール画像として記録されてよい。画像内のマーク46の場所を検出するため、解析はまず、2値画像を形成するために画像を閾値処理するステップを含んでよい。これはつまり、グレースケール画像の各輝度値が閾値と比較されるということである。輝度値が閾値よりも大きければ2値画像中の対応する輝度値が1に設定され、そうでなければ0に設定される。従って、出力2値画像は、暗い背景(値0)に対して、理想的にはマーク46を構成する、明るい対象物(値1)を含む。解析は、2値画像中の輝点を識別し、輝点の画像内の場所を決定するステップをさらに含んでよい。輝点は、2値画像にエッジフィルタを適用して識別することができる。2値画像内の点を識別するステップは、識別された点の場所のリストを返してよい。
電子ペン70は、紙のような別の種類の表面に付けられた符号化パターンを検出するように構成されてもよい。これにより、電子ペン70の汎用性が得られる。ただし、紙に印刷された符号化パターンを電子ペン70が読み取る場合は、符号化パターンは、典型的には、明るい背景上の暗いドットによって形成される。従って、電子ペン70が暗い符号化パターンを読み取る時には、2値画像が値0を有する背景に対して値1を有する点を依然として含むこととなるように、閾値処理フィルタが反転させられてよい。ユーザが電子ペン70を制御して、反転フィルタを用いるようにしてもよい。あるいは、電子ペン70が、画像の平均輝度値を検出して、その平均輝度値に基づいて適切なフィルタを適用するように構成されてもよい。
電子ペン70は、電子ペン70で製品30を指し示すための、ケースから突出したペン先74をさらに備えてよい。ペン先74は、電子ペン70のケース内へと延びるプラスチック製スタイラス76の尖った先端として形成されてよい。スタイラス76は、製品30に当てられた時に製品30に跡を残さないように構成される。製品30は、長期間にわたってディスプレイ20との対話に用いられるものである。よって、ディスプレイ20との以前の対話による跡は、製品30上で目に見えないことが望ましい。
プラスチック製スタイラス76は、ペン先74を構成する筆記用の先端を有する筆記用具と交換可能であってよい。筆記用具は、電子ペン70での筆記中に表面に顔料の跡を残すように構成されてよい。これは、例えば紙のような、ディスプレイ表面以外の表面で電子ペン70を用いる場合に利用されてよい。
さらなる代替例によれば、スタイラスと筆記用具とが同時に電子ペン70に装着されてよい。筆記用具およびスタイラスは、使用する先端を選ぶために延長位置と後退位置との間で移動可能であってよい。
電子ペン70は、ペン先74を有する必要は全くない。代わりに、所望の位置を指し示すために製品30に当てられる接触面を形成する環状のフランジを、電子ペン70が有してよい。
電子ペン70は、電子ペン70が製品30に当てられたか否かを決定するペンダウン検出部78を備えてよい。そして、ペンダウン検出部78は、電子ペン70でデータの入力を開始するためにユーザが電子ペン70を製品30上に下ろすのを検出する。
ペンダウン検出部78は、力センサであってよい。力センサは、スタイラス76の、先74とは反対側の端に配置されてよい。スタイラス76は、先74が製品30に押し付けられた時に力センサに力が加わるように、移動可能であってよい。あるいは、ペン70が製品30に当てられたことの検出は、合焦した表面32の画像を取得できる電子ペン70の光学画像センサ54によって実現されてもよい。さらなる代替例として、電子ペン70が光源および光検出部をペンの先端に備えてもよい。光源は光パルスを送出するように構成されてよく、所定の時間枠内に光検出部が基部からの反射光を検出したら、ペン70が製品30に当てられたと決定されてよい。これらの技術の任意の組み合わせが用いられてもよい。
ペンダウン検出部78は、ペン70における情報の記録を起動するように構成されてよい。例えば、製品30にペン先74が当てられたことを力センサが検出したら、この検出をトリガとして、光学画像センサ54が画像の取得を開始し、解析ユニット72が画像の解析を開始するようにしてよい。あるいは、表面32が合焦状態で撮像されたことを検出することによってペンダウン検出が実現される場合は、このペンダウン検出をトリガとして、撮像された符号化パターン40の復号を解析ユニット72が開始するようにしてよい。
さらに、電子ペン70は、情報の記録を可能にするために製品30に物理的に当てられる必要はない。電子ペン70は、電子ペン70が製品30から短い距離に保持されている、いわゆるホバリング状態の時に、符号化パターン40の画像を取得できるようになっていてよい。電子ペン70は、ペン70が製品30に当てられているペンダウン状態で画像が記録されたのか、またはホバリング状態で画像が記録されたのかを示す情報を記録してもよい。
電子ペン70は、電子ペン70を制御するためにユーザが押し得るボタン80を備えてもよい。例えば、ボタン80は、電子ペン70において情報の記録を起動するために押されてもよいし、あるいは電子ペン70から入力を受けるアプリケーションにおいてマウスの右ボタンとして動作してもよい。
電子ペン70は、電子装置10と通信するための通信ユニット82をさらに備えてよい。電子ペン70は、有線接続および無線接続の両方により電子装置10と通信するように構成されてもよい。
有線接続は、例えば、プラグを受けるための、またはレセプタクルに差し込まれるためのコネクタを備える電子ペン70によって確立されてよい。コネクタは、USB(ユニバーサル・シリアル・バス)のような、あらゆる種類の電気コネクタであってよい。
無線接続によって通信を提供するために、電子ペン70の通信ユニット82は送受信部を備えてよい。送受信部は、電子装置10の受信部によって受信され得る信号を送り、電子装置10から送信された信号を受信するように構成されてよい。送受信部は、電子装置10との短距離通信用に構成されてよい。例えば、送受信部は、電波信号を送受信するように構成されてよい。その際、送受信部はアンテナを備えてよい。送受信部は、Bluetooth(登録商標)プロトコルで電子装置10と通信するように構成されてよい。
電子ペン70は、情報をリアルタイムで電子装置10に伝送するように構成されてよい。これはつまり、電子ペン70は、ペン70が情報を記録している最中に、その情報を電子装置10へ連続的に伝送するということである。送られる情報は、光学画像センサ54によって取得された画像であっても、前処理された画像であっても、または電子ペン70の位置のような復号された情報であってもよい。
電子ペン70は、電子装置10へのコネクタを介して電力供給されてもよい。あるいは、電子ペン70は、電池によって電力供給されてもよい。電池は、電子ペン70が電子装置10に接続された時に再充電可能であってもよい。
電子ペン70は、プリント基板86をさらに備えてよい。プリント基板86にはプロセッサ88が装着されてよい。プロセッサ88は、電子ペン70の機能を制御するように構成されてよい。この点において、電子ペン70のさまざまな部分、例えばペンダウン検出部78、光学画像センサ54、光源、および通信ユニット82などもまた、プリント基板86に接続および/または装着されてよい。プリント基板86は、電子ペン70の長手方向に延びるように構成されてよく、これにより電子ペン70を小さな直径で製造することが可能になる。電子ペン70は支持体も備えてよく、支持体は、ペンのケース内で電子ペンの各部の装着を制御する装着ユニットを構成してよい。そのような支持体の例は国際公開第05/057471号に示されている。
読取器50は、電子ペンとして構成される必要はない。光学系52および光源は、どのような種類の筐体に設けられてもよい。筐体は、ユーザによる筐体の取り扱いを容易にするため、手持ち式に適したものであってよい。さらに、筐体は、光学画像センサ54によって撮像されるのが筐体に関して製品30のどの部分になるのかをユーザに示すガイド面を備えてよい。一例として、筐体はマウス型の形状を有してよい。
次に、図7を参照して、ディスプレイ20を介した電子装置10とのユーザ対話について説明する。電子装置10はプロセッサ12を備えてよい。プロセッサ12は、ディスプレイ20上に画像を出力するためにディスプレイ20によって正確に解釈され得る信号を作成するディスプレイ制御部を備えてよい。プロセッサ12は、読取器50からの入力を処理するための制御プログラムを実行してもよい。
制御プログラムは、制御プログラムが初めて起動された時に、ディスプレイ20の画素22のアレイに関する位置符号化パターン40の配置を決定するための較正を実行してよい。較正処理は、製品30が移動させられたり、読取器50で指し示した位置と電子装置10によって検出された位置との不一致をユーザが感じたりした場合に、ユーザによって起動されてもよい。較正のおかげで、読取器50を用いた位置の入力が、較正後は、ディスプレイ20上の対応する位置との対話として解釈されることができる。
ディスプレイ20は、表面32に位置符号化パターン40を有する製品30が取り付けられた状態で製造および配達されてよい。ディスプレイ20の製造時に、ディスプレイ20の画素22のアレイに関する位置符号化パターン40の配置が決定されてよい。よって、位置符号化パターン40は、製造中にディスプレイ20に対して較正されてよい。
あるいは、製品30はディスプレイ20とは別に配達されてもよい。よって、製品30が初めてディスプレイ20に付けられた時に、制御プログラムが較正を開始してよい。較正中、制御プログラムは、第1の較正マーク100をディスプレイ20の隅に示すようにディスプレイを制御する。ユーザは、読取器50を較正マーク100に向けるように促される。こうして読取器50は、このディスプレイ位置の上に重なる位置符号化パターン40を読み取り、位置符号化パターン40の位置が復号され得る。較正は続き、制御プログラムが、さらなる較正マーク102、104、106をディスプレイの他の隅に示すようにディスプレイを制御し、ユーザが、読取器50をこれらの位置に向けて、位置符号化パターン40の対応位置を決定する。
このようにして、位置符号化パターン40の対応位置とディスプレイ位置との対が、4対決定される。制御プログラムは、これらの対応位置の対を用いて1組の方程式を立ててよい。これらの方程式は以下のようであってよい。
ただし、(ui,vi)は点iのディスプレイ座標、(xi,yi)は点iの位置符号化パターンの対応座標、k1ないしk8は位置符号化パターンの位置をディスプレイ位置に関連づける変換関数の定数である。4対の対応位置を用いて、未知数がk1ないしk8の8個ある8本の方程式の組が生成される。よって、その連立方程式を解いて、ディスプレイ座標と位置符号化パターンの座標との間の射影変換を決定してよい。
上に説明したように、符号化パターン40の格子は、格子x軸がディスプレイ20のアレイx軸に対してある角度だけオフセットされるように配置されてよい。位置符号化パターンの座標は、格子x軸に沿ったx座標および格子y軸に沿ったy座標として表現されてよい。これはつまり、変換関数は、ディスプレイ座標系に関する位置符号化パターンの座標系の変倍に加えて、ディスプレイに関する位置符号化パターンの角度ずれも扱う必要があるということである。従って、制御プログラムは、座標系の角度ずれおよび変倍を扱うことのできる変換関数を上記のように計算する。その較正はまた、ディスプレイ20と平行に配置されていない製品30の表面および/または位置符号化パターンに起こり得るずれ(shearing)も扱うことができる。
ただし、較正は、較正マークを2つだけ使って行うこともできる。その場合、ディスプレイ座標を位置符号化パターンの座標にマッピングする方程式は、2×2行列を1つだけ用いて立てることができる。そのような方程式は、座標系の変倍および回転を扱うことができる。
より信頼性の高い変換関数を得るために、上記の代わりに4つを越える較正マークを用いてもよい。さらなる較正マークを用いると、過剰決定の連立方程式を立てることができ、これは、例えば最小二乗法を用いて解くことができる。そのような較正は、位置符号化パターン40とディスプレイ20との関係に関するより多くのデータを用いてよく、従ってより正確になり得る。
変換関数が決定したら、制御プログラムは、記録された位置符号化パターンの位置を対応するディスプレイ位置に変換するために、変換関数を用いてよい。
制御プログラムは、記録されたディスプレイ位置を、ディスプレイへの出力を制御する動作中のアプリケーションに転送するように構成されてよい。例えば、ディスプレイ位置はマウス入力としてオペレーティングシステムに転送されてよく、それにより、読取器50はマウスをエミュレートしていると解釈されてよい。電子ペン70がホバリング状態に保持されている時の記録位置は、マウスカーソルの移動と解釈されてよく、一方、電子ペンがペンダウン状態にある時の記録位置は、記録位置におけるマウスの左クリックとして解釈されてよい。さらに、電子ペン70を製品30に当てるのと同時に電子ペン70のボタン80が押された場合、これは記録位置におけるマウスの右クリックとして解釈されてよい。
電子装置10のプロセッサ12は、読取器50から入力を受けるのに特に適合されたプログラムを実行してよい。これは、上記の制御プログラムに組み込まれてよい。そのような特に適合されたプログラムは、セルフサービスキオスクまたはタブレットPCのような、ディスプレイ20とのユーザ対話用の電子装置10で用いられてよい。制御プログラムによって決定されたディスプレイ位置は、ディスプレイ位置との対話に関連づけられた動作を実行するプログラムによって直接解釈されてよい。たとえば、記録されたディスプレイ位置は、ディスプレイ20に表示されたボタンまたはアイコンをユーザが押しているものと解釈されてよく、プログラムは、押されているボタンに関連づけられた適切な動作を開始してよい。
電子装置10のディスプレイ20は、ディスプレイ20の製造中に符号化パターン40を設けられてよい。これはつまり、読取器50をディスプレイ20上のさまざまな位置に向けることによってユーザが電子装置10に入力できるようにする対話機能の付いた状態で、ディスプレイ20が届けられるということである。ディスプレイ20の製造中に、符号化パターン40を設けられた製品30がディスプレイ20に装着され、また符号化パターン40がディスプレイ20に対して較正されてよい。
しかしながら、製品30は独立したユニットとして届けられてもよく、ディスプレイ20とのユーザ対話が所望された時にそのユニットがディスプレイ20に装着されてよい。これはつまり、タッチスクリーン機能を、そのような機能なしで製造されたディスプレイ20に与えることが可能ということである。よって、ユーザは、タッチスクリーン機能が欲しい時に製品30を任意のディスプレイ20に付けるために、製品30を携帯してよい。これは、例えばプレゼンテーションをする際、発表者が、タッチスクリーン機能を有するディスプレイ20を会議場または講堂に持ち込みたくないが、それでもプレゼンテーション中にディスプレイ20と対話できるようにしておきたいと望む場合に、非常に好適である。
最後に、製品30の製造について以下に説明する。まず、プラスチック材料またはガラス材料のような、好適な光学特性および物理特性を有する材料で、シートまたはフィルムが製造される。材料は可視光および赤外光に対して透明である必要があろう。さらに、材料は、シートが大型ディスプレイに対して一定の関係に保持され得るように、十分剛性のあることが必要な場合がある。しかしながら、別の実施の形態では、材料は、フィルムを巻けるようにするために、十分柔軟であることが必要な場合がある。
シートまたはフィルムの表面32には、符号化パターン40が設けられることになる。符号化パターン40は、符号化パターン40の格子x軸が表面x軸に対してある角度だけオフセットされるように、表面32に配置されることになる。
パターン生成アルゴリズムが、符号化パターン40によってどの情報が符号化されることになるかについての入力を受け取ってよい。例えば、パターン生成アルゴリズムは、符号化パターンによって製品30上に符号化されることになる位置の範囲についての入力を受け取ってよい。パターン生成アルゴリズムは、符号化パターン40の図形的外観を計算し、その図形的外観の情報を、符号化パターン40を製品表面32上に印刷する印刷工程に渡してよい。
ある実施の形態において、パターン生成アルゴリズムは、x座標およびy座標の長方形部分の図形的外観を計算する。次に、この長方形部分が、例えば10°ないし15°、25°ないし35°、または40°ないし50°の範囲内の、所定の角度だけ回転させられて、製品表面32上に印刷される画像が形成される。よって、製品表面全体に符号化パターン40が設けられるようにするためには、図形的外観が計算される長方形部分を製品表面32よりも大きくする必要がある。
別の実施の形態では、パターン生成アルゴリズムは、用いられるオフセット角についての入力を受け取る。次に、パターン生成アルゴリズムは、符号化パターン40の長方形部分の図形的外観を計算してよいが、その際、格子x軸が長方形部分のx軸に関してオフセット角だけ回転させられる。これはつまり、表面32に付けられる符号化パターン40の図形的外観がパターン生成アルゴリズムによって決定されるということである。
上記の実施の形態のいずれにおいても、符号化パターン40の画像が、製品30がプリンタに対してまっすぐになるように、プリンタに提供されてよい。プリンタは、製品表面32上に画像を印刷することによって、表面x軸に対してある角度だけオフセットされた格子x軸を有する符号化パターン40を生成する。
別の実施の形態において、パターン生成アルゴリズムは、x座標およびy座標の長方形部分の図形的外観を計算する。この図形的外観が、符号化パターン40を製品表面32に印刷するプリンタへ渡される。印刷後、長方形の製品表面32が得られるように製品30が表面の縁に対してある角度で切断され、それで、符号化パターンの格子x軸が表面x軸に対してある角度だけオフセットされる。これはつまり、符号化パターン40が印刷される表面領域を、切り出される製品30の表面領域よりも大きくする必要があるということである。よって、この製造方法を用いると、製品材料に無駄が生じる。一方、符号化パターンの図形的外観の画像を生成する工程、または生成画像の出力のためにプリンタにおいてラスタ画像を作成する工程に、さらなる空間周波数が入り込むリスクは非常に低い。
製品30は、印刷された符号化パターン40を保護するための層をさらに設けられてよい。この層は、電子ペンのスタイラスによる引っかきに耐性があってよい。また、製品30は、ディスプレイ20からの赤外放射が光学画像センサ54に到達して赤外線を反射するマーク46の検出を妨げることがないようにするため、赤外放射を吸収する層を設けられてもよい。
以上、いくつかの実施の形態を参照して本発明をあらかた説明した。しかしながら、当業者が容易に認めるように、上に開示したものとは別の実施の形態が、添付の特許請求の範囲によってのみ定められ制限される本発明の範囲と精神の内において、等しく可能である。
例えば、符号化パターン40は、ディスプレイ20上でマーク46を検出できるようにする他の光学特性を有するマーク46によって形成されてよい。マーク46は紫外光を反射または吸収してよい。あるいは、製品30には赤外反射材料の層が設けられてよく、マーク46は、明るい背景上で暗い点として検出されるようにするために、赤外放射を吸収してよい。
また、符号化パターン40は、位置を符号化するように構成される必要はない。符号化パターン40は情報を符号化でき、その情報は、電子装置10によって実行される特定の機能の要求として直接解釈されてよい。これは、セルフサービスキオスクのような、ディスプレイに永久的に装着される製品30にとって、特に効果的であろう。そのような場合、ディスプレイの少なくともいくつかの部分が特定の機能と関連づけられてよく、それがユーザに対して示されてよい。そして、これらの部分には、特定の機能を提供せよという要求として制御プログラムによって直接解釈される情報を符号化する符号化パターン40が設けられてよい。

Claims (21)

  1. 表面(32)を備える製品であって、
    前記表面(32)が、表面x軸および表面y軸を定める縁(34、36)を備え、
    前記表面(32)が、格子x軸および格子y軸を定めるように構成された格子に従って配置されたマーク(46)を備える符号化パターン(40)をさらに設けられた製品において、
    前記格子x軸が前記表面x軸に対してある角度だけオフセットされた製品。
  2. 前記格子x軸が前記表面x軸に対して約10°ないし15°、25°ないし35°、またはおよそ45°の角度だけオフセットされた請求項1に記載の製品。
  3. 前記マーク(46)が、100μmより小さな直径を有するドットである請求項1または2に記載の製品。
  4. 前記マーク(46)が、60μmないし80μmの範囲の直径を有するドットである請求項1または2に記載の製品。
  5. 前記マーク(46)が、10μmより大きな直径を有するドットである請求項1ないし4のいずれか1項に記載の製品。
  6. 前記マーク(46)が、10μmないし40μmの範囲の直径を有するドットである請求項1または2に記載の製品。
  7. 前記マーク(46)が、不均整な形状を有するドットである請求項1ないし6のいずれか1項に記載の製品。
  8. 可視放射に対して透明な材料で形成された請求項1ないし7のいずれか1項に記載の製品。
  9. 前記マーク(46)が赤外反射材料によって形成された請求項1ないし8のいずれか1項に記載の製品。
  10. 前記符号化パターン(40)が、互いに交差して格子交差点(44)を形成する仮想格子線(42)を備え、少なくともいくつかの前記マーク(46)が、情報を符号化するために前記格子交差点(44)からずらされた請求項1ないし9のいずれか1項に記載の製品。
  11. 前記格子交差点(44)からの前記マーク(46)のずれの大きさが50μmより小さい請求項10に記載の製品。
  12. 前記格子交差点(44)からの前記マーク(46)のずれの大きさが10μmないし30μmの範囲にある請求項10に記載の製品。
  13. 前記符号化パターン(40)が、前記格子x軸および前記格子y軸に沿った座標として表される位置を符号化するように構成された請求項1ないし12のいずれか1項に記載の製品。
  14. 画素(22)のアレイを備える第1の表面であって、アレイx軸およびアレイy軸を定めるように前記アレイ中の前記画素(22)が整列させられた第1の表面と、
    前記第1の表面上に重なる第2の表面(32)であって、格子x軸および格子y軸を定めるように構成された格子に従って配置されたマーク(46)を備える符号化パターン(40)を設けられた第2の表面(32)と
    を備えるディスプレイであって、
    前記格子x軸が前記アレイx軸に対してある角度だけオフセットされるように、前記格子x軸が前記アレイx軸上に重なるディスプレイ。
  15. 前記マーク(46)が、前記アレイx軸とそろえられた長辺を持つ不均整な形状を有する請求項14に記載のディスプレイ。
  16. モアレ干渉を生じさせることなく前記符号化パターン(40)の格子寸法と前記画素(22)のアレイの画素ピッチとの関係に自由度が許容されるように、前記格子x軸が前記表面x軸に対してある角度だけオフセットされた請求項14または15に記載のディスプレイ。
  17. 前記第2の表面(32)が、前記ディスプレイ(20)に着脱可能に取り付けられた製品(30)に配置された請求項14ないし16のいずれか1項に記載のディスプレイ。
  18. 前記ディスプレイ(20)に取り付けられ、前記第1の表面の前面に前記第2の表面(32)を装着するために前記製品(30)を受けるように構成された保持部(60)をさらに備え、前記格子x軸が前記アレイx軸に対してある角度だけオフセットされるように、前記保持部(60)が前記第1の表面に関する前記第2の表面(32)の装着を制御するように構成された請求項17に記載のディスプレイ。
  19. 処理装置(12)における方法であって、
    前記処理装置(12)が、ユーザ対話のためにディスプレイ(20)と接続され、
    前記ディスプレイ(20)が、画素(22)のアレイを備える第1の表面であって、アレイx軸およびアレイy軸を定めるように前記アレイ中の前記画素(22)が整列させられた第1の表面と、前記第1の表面上に重なる第2の表面(32)であって、格子x軸および格子y軸を定めるように構成された格子に従って配置されたマーク(46)を備える位置符号化パターン(40)を設けられた第2の表面(32)とを備えるディスプレイであって、前記格子x軸が前記アレイx軸に対してある角度だけオフセットされるように、前記格子x軸が前記アレイx軸上に重なるディスプレイであり、
    前記方法が、
    前記処理装置(12)によって決定されたディスプレイ座標で前記ディスプレイ(20)上に少なくとも2つの較正マーク(100、102、104、106)を示すように前記ディスプレイ(20)を制御し、
    前記表示された少なくとも2つの較正マーク(100、102、104、106)に対応して前記位置符号化パターン(40)における位置を表す格子座標を受け取り、
    前記受け取った格子座標と前記少なくとも2つの較正マーク(100、102、104、106)の前記既知のディスプレイ座標とに基づいて、格子座標を対応するディスプレイ座標と相互に関係づける変換関数を決定し、
    前記ディスプレイ(20)上のユーザ入力を表す後続の格子座標を受け取り、
    前記決定された変換関数を用いて前記後続の格子座標を対応するディスプレイ座標に変換し、
    前記ディスプレイ座標とのユーザ対話と関連づけられた動作を実行する
    ことを含む方法。
  20. 前記ディスプレイ座標とのユーザ対話と関連づけられた動作の前記実行が、前記処理装置(12)で実行される動作中のアプリケーションに前記ディスプレイ座標を送ることを含む請求項19に記載の方法。
  21. 動作の前記実行が、動作中のアプリケーションが前記ディスプレイ座標を前記ディスプレイ(20)のその位置におけるマウス対話として解釈することをさらに含む請求項20に記載の方法。
JP2013520050A 2010-07-23 2011-07-08 符号化パターンを備えるディスプレイ Pending JP2013532860A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US34444610P 2010-07-23 2010-07-23
EP10170672A EP2410406A1 (en) 2010-07-23 2010-07-23 Display with coding pattern
US61/344,446 2010-07-23
EP10170672.9 2010-07-23
PCT/EP2011/061626 WO2012010441A1 (en) 2010-07-23 2011-07-08 Display with coding pattern

Publications (2)

Publication Number Publication Date
JP2013532860A true JP2013532860A (ja) 2013-08-19
JP2013532860A5 JP2013532860A5 (ja) 2014-09-25

Family

ID=43414893

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013520050A Pending JP2013532860A (ja) 2010-07-23 2011-07-08 符号化パターンを備えるディスプレイ

Country Status (6)

Country Link
US (1) US20130314313A1 (ja)
EP (1) EP2410406A1 (ja)
JP (1) JP2013532860A (ja)
KR (1) KR20130095264A (ja)
CN (1) CN103026321A (ja)
WO (1) WO2012010441A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015041362A1 (ja) * 2013-09-20 2015-03-26 グリッドマーク株式会社 情報入力補助シート、情報入力補助シートを用いたドットコード光学読み取り装置、ドットコード情報処理システムおよびキャリブレーション方法
JP2016004487A (ja) * 2014-06-18 2016-01-12 富士フイルム株式会社 光学的パターン読み取り方法、光学的パターン読み取りシステム、光学的パターン読み取り装置、および光学的パターンを含む光学部材
JP2016004485A (ja) * 2014-06-18 2016-01-12 富士フイルム株式会社 光学部材および光学部材を有するディスプレイ
JP2021501403A (ja) * 2017-10-30 2021-01-14 ナノガ・ソシエテ・アノニム デジタル筆記具用装置

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012162090A2 (en) * 2011-05-20 2012-11-29 William Mark Corporation App gadgets and methods therefor
CN104040469A (zh) * 2011-05-23 2014-09-10 智思博公司 在基于笔的计算系统中的内容选择
US9392045B2 (en) * 2012-01-31 2016-07-12 Hewlett-Packard Development Company, L.P. Remote graphics corresponding to region
CN104094205B (zh) 2012-02-08 2017-03-08 株式会社日本有机雷特显示器 信息显示装置
JPWO2013161246A1 (ja) * 2012-04-26 2015-12-21 パナソニック株式会社 表示制御システム及び表示装置
KR101373203B1 (ko) * 2012-06-05 2014-03-12 (주)펜제너레이션스 반사형 디스플레이 및 이를 이용한 전자펜 시스템
KR101453467B1 (ko) * 2012-06-05 2014-10-22 (주)펜제너레이션스 광학필름 및 이를 이용한 전자펜 시스템
WO2014020820A1 (ja) * 2012-07-31 2014-02-06 パナソニック株式会社 符号読取装置および符号読取方法
KR101410990B1 (ko) * 2012-09-04 2014-06-23 이승희 전자펜을 이용한 입력 시스템
US9363476B2 (en) * 2013-09-20 2016-06-07 Microsoft Technology Licensing, Llc Configuration of a touch screen display with conferencing
US20150085060A1 (en) 2013-09-20 2015-03-26 Microsoft Corporation User experience for conferencing with a touch screen display
US9395824B2 (en) * 2013-10-18 2016-07-19 Synaptics Incorporated Active pen with improved interference performance
US9582864B2 (en) * 2014-01-10 2017-02-28 Perkinelmer Cellular Technologies Germany Gmbh Method and system for image correction using a quasiperiodic grid
US8896573B1 (en) * 2014-01-21 2014-11-25 Atmel Corporation Line spacing in mesh designs for touch sensors
CN105446550B (zh) * 2014-08-20 2019-03-08 联想(北京)有限公司 输入装置及其定位方法、电子设备及输入系统
CN107209596B (zh) * 2015-01-30 2020-12-08 惠普发展公司,有限责任合伙企业 使用输入设备将输入设备校准到显示器
CN106527768A (zh) * 2015-09-08 2017-03-22 天津三星电子有限公司 一种光标的定位方法、定位设备、定位系统以及光标设备
EP3179411A1 (en) * 2015-12-07 2017-06-14 Gemalto Sa Method for printing an image by means of a laser printing machine
US10838551B2 (en) * 2017-02-08 2020-11-17 Hewlett-Packard Development Company, L.P. Calibration of displays
CN108667462A (zh) * 2017-04-02 2018-10-16 田雪松 位置编码的解码方法及装置
CN108664151A (zh) * 2017-04-02 2018-10-16 田雪松 数码笔
CN108664531A (zh) * 2017-04-02 2018-10-16 田雪松 一种基于编码图案的位置信息获取装置和获取方法
CN108664961A (zh) * 2017-04-02 2018-10-16 田雪松 具有位置编码图案的文件输出方法
CN108664833A (zh) * 2017-04-02 2018-10-16 田雪松 一种基底以及基底上编码图案的处理方法
CN108664863A (zh) * 2017-04-02 2018-10-16 田雪松 基于编码图案的图像数据处理系统
TWI657367B (zh) * 2018-05-04 2019-04-21 友達光電股份有限公司 觸控顯示裝置及觸控位置偵測系統
CN109190157B (zh) * 2018-07-26 2023-05-23 中国核电工程有限公司 一种用于Autodesk AutoCAD P&ID的对象位置信息的刷新方法
CN110953989B (zh) * 2019-12-09 2021-07-30 青岛歌尔微电子研究院有限公司 产品标记位置偏移的测量方法、装置、设备及介质
CN113129394B (zh) * 2020-12-23 2022-09-06 合肥工业大学 一种基于区域分割编码的平行四边形编码标志及其编码方法
KR20220106259A (ko) 2021-01-21 2022-07-29 삼성디스플레이 주식회사 표시 장치 및 이를 포함하는 터치 입력 시스템

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020021284A1 (en) * 2000-03-21 2002-02-21 Linus Wiebe System and method for determining positional information
JP2003511761A (ja) * 1999-10-01 2003-03-25 アノト・アクティエボラーク 光学読み取り用の符号化用紙
JP2003256137A (ja) * 2002-02-28 2003-09-10 Kokuyo Co Ltd ディスプレイ、透明シート
WO2007105819A1 (ja) * 2006-03-10 2007-09-20 Kenji Yoshida 情報処理装置への入力処理システム
JP2008154211A (ja) * 2006-03-10 2008-07-03 Kenji Yoshida リモコン
JP2008269545A (ja) * 2006-06-29 2008-11-06 Dainippon Printing Co Ltd パターン印刷透明シート
US20090015548A1 (en) * 2007-06-28 2009-01-15 Keiko Tazaki Image projection system
JP2009014884A (ja) * 2007-07-03 2009-01-22 Dainippon Printing Co Ltd 光学フィルム
JP2009043228A (ja) * 2008-03-24 2009-02-26 Kenji Yoshida キャリブレーション方法および情報入力補助シート
JP2010108526A (ja) * 2010-02-18 2010-05-13 Dainippon Printing Co Ltd 座標入力用システム用シートの製造方法および座標入力用システムの製造方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7710408B2 (en) * 1999-08-30 2010-05-04 Anoto Ab Centralized information management based upon position information
WO2001048591A1 (en) 1999-12-23 2001-07-05 Anoto Ab Centralized information management
JP2001243006A (ja) 2000-02-25 2001-09-07 Ricoh Elemex Corp 座標入力装置および座標入力方法
US6315916B1 (en) * 2000-05-08 2001-11-13 Pisces-Print Image Sciences, Inc. Chemical imaging of a lithographic printing plate
JP2002149331A (ja) 2000-11-15 2002-05-24 Canon Inc 座標板、座標入力装置、座標入出力装置
US6667695B2 (en) 2001-06-25 2003-12-23 Anoto Ab Position code
CN1918577B (zh) 2003-12-15 2010-09-01 阿诺托股份公司 用于电子笔的光学系统、分析系统和模块化单元
US20080100586A1 (en) * 2006-10-26 2008-05-01 Deere & Company Method and system for calibrating a touch screen
JP2009037311A (ja) * 2007-07-31 2009-02-19 Dainippon Printing Co Ltd 偏光板用表面フィルム及びこれを用いた偏光板
US20090273577A1 (en) * 2008-04-30 2009-11-05 Apple Inc. Moire-Free Touch Screen with Tilted or Curved ITO Pattern
US7916295B2 (en) * 2008-09-03 2011-03-29 Macronix International Co., Ltd. Alignment mark and method of getting position reference for wafer
WO2010132588A2 (en) * 2009-05-15 2010-11-18 Polyvision Corporation Electronic display systems having mobile components

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003511761A (ja) * 1999-10-01 2003-03-25 アノト・アクティエボラーク 光学読み取り用の符号化用紙
US6548768B1 (en) * 1999-10-01 2003-04-15 Anoto Ab Determination of a position code
JP2006141061A (ja) * 1999-10-01 2006-06-01 Anoto Ip Lic Hb 位置符号化パターンを用いた情報処理を行うための製品及び情報処理方法
US20020021284A1 (en) * 2000-03-21 2002-02-21 Linus Wiebe System and method for determining positional information
JP2003256137A (ja) * 2002-02-28 2003-09-10 Kokuyo Co Ltd ディスプレイ、透明シート
WO2007105819A1 (ja) * 2006-03-10 2007-09-20 Kenji Yoshida 情報処理装置への入力処理システム
JP2008154211A (ja) * 2006-03-10 2008-07-03 Kenji Yoshida リモコン
JP2008269545A (ja) * 2006-06-29 2008-11-06 Dainippon Printing Co Ltd パターン印刷透明シート
US20090015548A1 (en) * 2007-06-28 2009-01-15 Keiko Tazaki Image projection system
JP2009014884A (ja) * 2007-07-03 2009-01-22 Dainippon Printing Co Ltd 光学フィルム
JP2009043228A (ja) * 2008-03-24 2009-02-26 Kenji Yoshida キャリブレーション方法および情報入力補助シート
JP2010108526A (ja) * 2010-02-18 2010-05-13 Dainippon Printing Co Ltd 座標入力用システム用シートの製造方法および座標入力用システムの製造方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015041362A1 (ja) * 2013-09-20 2015-03-26 グリッドマーク株式会社 情報入力補助シート、情報入力補助シートを用いたドットコード光学読み取り装置、ドットコード情報処理システムおよびキャリブレーション方法
JP2016004487A (ja) * 2014-06-18 2016-01-12 富士フイルム株式会社 光学的パターン読み取り方法、光学的パターン読み取りシステム、光学的パターン読み取り装置、および光学的パターンを含む光学部材
JP2016004485A (ja) * 2014-06-18 2016-01-12 富士フイルム株式会社 光学部材および光学部材を有するディスプレイ
JP2021501403A (ja) * 2017-10-30 2021-01-14 ナノガ・ソシエテ・アノニム デジタル筆記具用装置
US11630568B2 (en) 2017-10-30 2023-04-18 Nanoga Sa Device for a digital writing instrument
JP7377199B2 (ja) 2017-10-30 2023-11-09 ナノガ・ソシエテ・アノニム デジタル筆記具用装置

Also Published As

Publication number Publication date
US20130314313A1 (en) 2013-11-28
CN103026321A (zh) 2013-04-03
WO2012010441A1 (en) 2012-01-26
EP2410406A1 (en) 2012-01-25
KR20130095264A (ko) 2013-08-27

Similar Documents

Publication Publication Date Title
JP2013532860A (ja) 符号化パターンを備えるディスプレイ
JP5902198B2 (ja) 符号化パターンを備える製品
US20060139338A1 (en) Transparent optical digitizer
KR101152724B1 (ko) 도트 패턴 판독 기능을 구비한 마우스
US9189107B2 (en) Eraser for use with optical interactive surface
TWI657367B (zh) 觸控顯示裝置及觸控位置偵測系統
WO2011163601A1 (en) Activation objects for interactive systems
WO2013161246A1 (ja) 表示制御システム、表示装置及び表示パネル
JPWO2013035319A1 (ja) 表示装置及び表示制御システム
JP5553920B2 (ja) 表示パネルおよび表示装置
EP3437085B1 (en) Near infrared transparent display border with underlyng encoded pattern.
WO2010132588A2 (en) Electronic display systems having mobile components
TWI592862B (zh) 利用光學圖案追蹤表面上的手持式裝置
WO2013161236A1 (ja) 光学フィルム、表示パネルおよび表示装置
JP2006092410A (ja) 電子ペンおよびタッチパネル装置
JP2014041602A (ja) 情報読取装置
JP6048165B2 (ja) コンピュータ装置、電子ペンシステム、及びプログラム
WO2013161245A1 (ja) 表示制御システム、表示装置及び表示パネル
WO2016132732A1 (ja) 表示パネル
JP2012133487A (ja) 座標入力装置、座標入力方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140704

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140804

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150526

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20151020