JP2010515971A - 複数のカメラを使用する鏡面反射の低減 - Google Patents

複数のカメラを使用する鏡面反射の低減 Download PDF

Info

Publication number
JP2010515971A
JP2010515971A JP2009544890A JP2009544890A JP2010515971A JP 2010515971 A JP2010515971 A JP 2010515971A JP 2009544890 A JP2009544890 A JP 2009544890A JP 2009544890 A JP2009544890 A JP 2009544890A JP 2010515971 A JP2010515971 A JP 2010515971A
Authority
JP
Japan
Prior art keywords
image
camera
specular reflection
display screen
lighting device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009544890A
Other languages
English (en)
Other versions
JP2010515971A5 (ja
Inventor
ジェンキンス,ディヴィッド・アール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2010515971A publication Critical patent/JP2010515971A/ja
Publication of JP2010515971A5 publication Critical patent/JP2010515971A5/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04182Filtering of noise external to the device and not generated by digitiser components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Non-Portable Lighting Devices Or Systems Thereof (AREA)
  • Position Input By Displaying (AREA)

Abstract

対話型ディスプレイスクリーンを含む対話型ディスプレイシステム。照明装置は、ディスプレイスクリーンの内側または外側表面の一方を照明するように位置決めされる。ディスプレイスクリーンの照明された表面を見るために、少なくとも2つのカメラが設置される。カメラうちの少なくとも1台はそれぞれ、照明装置からの鏡面反射がカメラで受信されるように位置決めされる。別々のカメラからの画像がマージされ、鏡面反射が低減された、または除去さえも行われた、マージされた画像を形成する。
【選択図】図1

Description

多くの計算機システムおよびその他の装置の機能は、ディスプレイを使用した情報の効率的な表示に依存している。最近では、ディスプレイは、ユーザの直接入力装置として、対話型形式でも使用されている。例えばディスプレイは、物理的に接触されたディスプレイスクリーンの部分を検知するために、タッチセンサ式の抵抗型および/または容量型アレイを備え得る。
従来の対話型ディスプレイには、ディスプレイスクリーンの背後にカメラが定置され、ディスプレイスクリーンが1つまたは複数の透明または半透明な材料の層で構成された、「ビジョンキャプチャ(vision capture)」技術を使用しているものもある。赤外線照明装置もディスプレイスクリーンの背後に定置され、ディスプレイの前部の、またはディスプレイに接触している対象物を照明する。対象物から反射された照明光(すなわち、照明装置から発する光)は、カメラで受信され、カメラは反射光の写真を撮る。写真は、システムへの電子的入力として使用される。ディスプレイ前部の対象物の配置、大きさ、および輝度は、カメラで撮られたその画像に影響を与えるので、対象物はシステムへの入力情報として使用され得る。
照明光のあるものは、対象物からではなく、ディスプレイスクリーンを形成する透明または半透明な(1つまたは複数の)層の比較的平坦な表面から反射される。その結果、カメラはディスプレイスクリーンの特定の領域に比較的強い輝度の鏡面反射をとらえる。鏡面反射はかなり強いことがあり得るので、実際に入力された対象物から反射されたどのような画像も、鏡面反射の領域内では識別することが困難なことがある。鏡面反射はその特定の領域内でカメラを飽和させることさえある。この効果は、人が晴れた日に浅い池を下方に見る状況とある程度類似している。人は、太陽がまばゆく反射しているかまたはその近くの領域を除いて、池の底を見ることができるであろう。
したがって特に、カメラが鏡面反射を受けるディスプレイスクリーンの領域に入力対象物が定置されていると、対話型ディスプレイを入力として使用する能力に、鏡面反射は悪影響を及ぼし得る。
必須ではないが、本発明の実施形態は、対話型ディスプレイスクリーンを含む対話型ディスプレイシステムに関する。照明装置は、ディスプレイスクリーンの内側または外側表面の一方を照明するように位置決めされる。ディスプレイスクリーンの照明された表面を見るために、少なくとも2つのカメラが設置される。カメラうちの少なくとも1台はそれぞれ、照明装置からの鏡面反射がカメラで受信されるように位置決めされる。別々のカメラからの画像がマージされ、鏡面反射が低減された、または除去さえも行われた、マージされた画像を形成する。
本概要は、選定した概念を簡潔な形で紹介するために提供されるものであり、それらは下記の発明を実施するための形態においてさらに説明される。本概要は、特許請求される事項の主要な特性または必須の特性を特定することを意図しておらず、特許請求される事項の範囲を決定するための支援として使用されることも意図していない。
添付された図面は、本発明の実施形態をより具体的に説明するために使用される。これらの図面は、本発明の典型的な実施形態のみを表現するものであり、したがって本発明の範囲を限定するものと考えるべきではないと理解して、実施形態は添付する図面を用いて、さらに具体的にかつ詳細に表現され説明される。
それぞれのカメラに対する鏡面反射がキャプチャされた画像の異なる部分で生じている、2台のカメラと1台の照明装置を示す、対話型ディスプレイを例示する図である。 図2Aは、図1の第1のカメラによってキャプチャされ得る画像の表示を示す図である。図2Bは、図1の第2のカメラによってキャプチャされ得る画像の表示を示す図である。 画像をマージ処理して2台のカメラからの画像を重ね合わせる方法のフローチャートを例示する図である。 図1の対話型ディスプレイの具体的な5台のカメラの実施形態を例示する上面図である。 図4の照明装置に使用され得る、照明装置モジュールを例示する図である。 図5の照明装置内の光源に使用され得る、光源を例示する図である。
本発明の実施形態は、ディスプレイスクリーンの内側または外側表面を見ることができるように配置された複数のカメラを含む、対話型ディスプレイまで拡張される。照明装置もまた、見られたディスプレイスクリーンの表面を照明して、ディスプレイスクリーンの前部の、またはスクリーンに接触している対象物の反射された画像がカメラで受信できるように配置される。鏡面反射の領域は、少なくとも2台のカメラに対して異なっており、したがってカメラのうちの1台からの画像を他のカメラからの鏡面反射を低減し、またはキャンセルするために使用できる。
図1は、本発明の1つの実施形態に従った対話型ディスプレイ100の側面図を例示する。対話型ディスプレイ100は、ディスプレイスクリーン110を構成する1つまたは複数の透明または半透明の層の、外側表面(図1に例示されている上面)から画像を表示するように構成されている。しかし、図1には概して示されていないが、対話型ディスプレイ100は、ディスプレイ機構から離れてそれとは別に画像化機構を含む。図1の説明を通して、本実施形態は、図1に例示されるように、表示された画像がディスプレイスクリーン110の上面から見られるものとして説明される。この場合、ディスプレイスクリーン110の上面はディスプレイスクリーンの外側表面になり、一方ディスプレイスクリーン110の底面はディスプレイスクリーンの内側表面になる。しかし別の実施形態では、表示された画像はディスプレイスクリーン110の底面から見られ得る。この場合は、ディスプレイスクリーンの底面はディスプレイスクリーン110の外側表面になり、ディスプレイスクリーンの上面はディスプレイスクリーンの内側表面になる。
具体的には1つの実施形態において、照明装置120はディスプレイスクリーン110の内側表面に光を放出(以下同様に、「照明光」と称する)するように位置決めされる。この説明および特許請求項において、「光」は、可視または可視でない、任意の周波数の任意の放出された電磁放射を含むものとして、広く定義される。照明光は、ディスプレイ処理と干渉しないように、一般的には表示された光(以下同様に、「表示光」と称する)と同じスペクトルではない。例えば、表示光が可視スペクトル内にあるときは、照明装置120は主に赤外領域すなわち赤外スペクトル内、あるいは紫外領域すなわち紫外スペクトル内、または任意の他の不可視スペクトル内の照明光を放出してよい。赤外照明光の場合、カメラは、放射スペクトルの赤外領域のみを見るようなスペクトル領域に限定されてよい。本発明の原理は、対話型処理モードで常に処理するディスプレイに限定されない。しかし、対話型処理モードで処理している場合には、ディスプレイスクリーンの前部の対象物を画像化するときに照明装置120が光を放出する。
照明装置120は多くの方向に照明光を放出する。照明光のあるものはディスプレイスクリーン110を通過するが、それは表示光とは異なる周波数のスペクトルであるから、ディスプレイ処理とは干渉しない。ディスプレイスクリーン110の外側表面上(すなわち、図1の上面の上またはその上方)に置かれた対象物から反射された他の照明光、したがって反射光は、ディスプレイスクリーンの前部の対象物に関する情報を表す。しかし他の照明光はディスプレイスクリーン110の平坦な表面から反射し、したがってディスプレイスクリーンの前部の対象物に関する情報を表さない、単なる鏡面反射である。
例えば、鏡面反射のデータ収録との干渉を例示するために、照明装置120から放出されている照明光121、122、123、124、および125の5つの光線が例示されている。カメラ131は、光線122を含む範囲151内の光を受信する。カメラ131で受信される光の多くは、ディスプレイスクリーン110の外側表面上、またはその前部に置かれた対象物に関する有効な情報を表し得るが、光線122は鏡面反射のみを表す。このような鏡面反射は、鏡面反射領域内にあるディスプレイスクリーンの前部の対象物を感知する能力を低減し得る。鏡面反射は、ディスプレイスクリーンのこの領域内でカメラを飽和させることさえある。したがって、ディスプレイスクリーン110上またはその前部に置かれた対象物が鏡面反射の領域にあるかまたはその近くにある場合は、カメラ131がそれを画像化することは困難である。
カメラ132は範囲152内の光を受信する。前述と同様に、カメラ132で受信される光の多くは、ディスプレイスクリーン110上、またはその前部に置かれた対象物に関する有効な情報を表し得るが、光線124は鏡面反射のみを表す。したがってカメラ132も鏡面反射領域を有し、そこで、またはその近くでは、ディスプレイスクリーンの前部の対象物を画像化することが困難である。しかし、カメラ131に対する鏡面反射領域は、カメラ132に対する鏡面反射領域とは異なる。すなわち、鏡面反射のためにカメラ131で画像化することがより困難な対象物は、カメラ132によってより容易に画像化され得る。さらに、鏡面反射のためにカメラ132によって画像化することがより困難な対象物は、カメラ131によってより容易に画像化され得る。図1に示すマージ処理装置140については、以下でより詳細に説明する。
まず図2Aは、カメラ131によってキャプチャされた第1の画像200Aの表示を示すものであるが、領域1は、カメラ131によって受信された画像200A内の鏡面反射の領域を示す。図2Bは、カメラ132によってキャプチャされた画像200Bの表示を示す。図2Bの領域4は、カメラ132によって受信された画像200B内の鏡面反射の領域を示す。しかし鏡面反射の領域は2つのカメラに対して異なる。例えば、図2Aの画像200Aの領域2は如何なる鏡面反射も含まないが、図2Bの画像200Bの領域4のような、ディスプレイスクリーンの同じ領域の画像は、まさに鏡面反射を含んでいる。一方、図2Bの画像200Bの領域3は如何なる鏡面反射も含まないが、図2Aの画像200Aの領域1と同様の領域のディスプレイスクリーンの画像は、まさに鏡面反射を含んでいる。
図1に戻ると、対話型ディスプレイ100は、2つのカメラ131および132に接続された画像マージ処理装置140を示す。画像マージ処理装置140は、2つのカメラからの画像を重ね合わせる任意の機構またはアルゴリズムであってよい。そのような方法の例300Aを図3に例示する。画像マージ処理装置は、第1のカメラで撮られた第1の画像の部分にアクセスする(行為310)が、たとえ画像の他の部分は鏡面反射を有していても、この第1の部分は鏡面反射がない。画像マージ処理装置は、第2のカメラで撮られた第2の画像の部分にアクセスする(行為320)が、たとえ第2の画像の他の部分は鏡面反射を有していても、この第2の部分もまた鏡面反射がない。画像マージ処理装置は、次に2つの部分をマージする(行為330)。この方法は非常に広範に検討されてきたので、本発明の原理は特定のタイプのマージ処理に限定されない。しかし明確にするために、本発明の原理に使用可能な複数の異なる画像マージ処理装置にたとえ何らの制限がなくとも、画像マージの種々の例をここで説明する。
第1の例において、鏡面反射を含んでいる領域1を除いて、第1の画像200Aの全体が撮られるであろう。画像200Bに関しては、領域3のみが撮られる。画像200Aの領域1は、鏡面反射を有さないマージした画像を生成するために、画像200Bの領域3と置き換えられてよい。カメラ131の範囲151はディスプレイの全領域をカバーしていないので、画像200Bの右側の部分も画像200Aに添加されてよいであろう。
第2の例において、鏡面反射を含んでいる領域4を除き、画像200Bの全体が撮られるであろう。画像200Aに関しては、領域2のみが撮られる。画像200Bの領域4は、鏡面反射を有さないマージした画像を生成するために画像200Aの領域2で置き換えられてよい。カメラ132の範囲152はディスプレイの全領域をカバーしていないので、やはり画像200Aの左側の部分も画像200Bに添加されてよいであろう。しかし、前述したように、画像「マージ」には、単一の画像を形成するために、複数の画像からのデータを使用する任意の処理を含み得る。
これらの例において、鏡面反射は除去される。しかし、両方のカメラの鏡面反射の領域が重なり合う実施形態もあり得る。例えば、ディスプレイの前部に置かれた対象物は、それが両方のカメラに対する鏡面反射の領域にある場合は、まったく画像化されないことがある。これは好ましいことではないが、本発明の原理は、そのような状況においても鏡面反射を低減するために同様に適用できる。例えば、第2のカメラの画像の部分は、第1のカメラによって受信された鏡面反射の一部分のみを除去するために、使用され得る。
図1および2は、2台のカメラが1台の照明装置と共に使用される単純な実施形態を示す。しかし、本発明の原理はこのような実施形態に限定されない。例えば図4は、1台の照明装置と一緒に作動する5台のカメラシステム400の上面図を示す。カメラ431から435、および照明装置420はそれぞれ、ディスプレイ表面を構成しているディスプレイスクリーン410の背後に位置決めされる。カメラ431から434はそれぞれ、照明装置420から反射された画像をキャプチャするために、画像領域の特定の四分割部分に対して位置決めされる。例えば、カメラ431は下部左側四分割部分の、カメラ432は下部右側四分割部分の、カメラ433は上部左側四分割部分の、およびカメラ434は上部右側四分割部分の、画像をキャプチャする。カメラ431および432は、それらがそれぞれ照明装置420によって起こされた鏡面反射をキャプチャするように位置決めされる。照明装置420は、ディスプレイスクリーンの水平方向中点から十分外れて位置決めされるので、カメラ433および434は、照明装置420からの鏡面反射を避けるように位置決めされる。カメラ435(以下、「オーバーラッピングカメラ」とも称する)は、カメラ431および432が鏡面反射を有する領域を、鏡面反射なくキャプチャするように位置決めされる。したがって、カメラ431から434までの全4画像をマージすることによって、および鏡面反射領域をカメラ435によってキャプチャされた画像部分と置き換えることによって、最終画像は鏡面反射のないものとなり得る。
図4の例において、照明装置420は中心から外れて配置される。図5は、図4の照明装置420に使用され得る照明モジュール500を例示する。LEDアレイモジュール504は光源として働く。ディスプレイスクリーンにおいてほぼ均一な放射分布が受信されるように、光の方向を適切に再設定するために、反射器502および部分的反射コーティング503が使用される。部分的反射コーティング503が、構造支持用のカバーガラス501上に位置決めされる。LEDアレイモジュール504から放出された光のうちのあるものは、部分的反射コーティング503により減衰させられたいくらかの光と共に、反射器502によって反射される。反射器502の形状は、実験的におよび/またはコンピュータシミュレーションを介して得られ、LEDアレイモジュール504の放射分布のみでなく、ディスプレイスクリーン背後の照明モジュールの位置決めによっても異なり得る。光の方向を再設定するために成形反射器を使用することは当技術分野でよく知られている。
図6は、図5のLEDアレイモジュール504の構造例600の例示である。発光ダイオードチップ601のアレイはシリコンの層602内に封入される。さらにシリコン層602の上に、ドームレンズ603(シリコン、あるいはエポキシ、ガラス、またはプラスチックでも形成される)が位置決めされる。シリコン層602およびドームレンズ603は約1.5の屈折率を有し、一方、周囲の物質(例えば、空気)は約1.0の屈折率を有する。ドームレンズ603がないと、LEDダイオードアレイ601から放出された光の多くは、内部反射を介してシリコン層602内に反射して戻されるであろう。ドームレンズ603があると、照明光は、内部全反射する光の量を減じることによってより効率的に周囲の空気内を通過するようにされ、したがって照明モジュールによって放出された光を、ディスプレイスクリーン上に放射するようにされる。
複数のカメラが鏡面反射を低減または除去するために使用される、複数カメラの対話型ディスプレイの実施形態を、適宜説明してきた。本発明は、その精神または必須の特性から逸脱することなく、別の特定の形で実施され得る。説明された実施形態は、すべての事項において単に例示するものであり、限定するものではないと考えるべきである。本発明の範囲はしたがって、上述の説明ではなく、添付する特許請求の範囲に示される。特許請求の範囲と均等な意図および範囲内にある変更は、特許請求の範囲内に包含されるべきである。

Claims (20)

  1. 1つまたは複数のディスプレイ層を備えるディスプレイスクリーン(110)と、
    前記ディスプレイスクリーン(110)の内側表面または外側表面の1つを照明するように位置決めされた照明装置(120)と、
    前記照明装置(120)が点灯されているときに、第1のカメラ(131)によってキャプチャされた画像(200A)の領域において鏡面反射が発生する位置で、前記ディスプレイスクリーン(110)の前記照明された表面を見るように位置決めされた第1のカメラ(131)と、
    前記照明装置(120)が点灯されているときに、前記第1のカメラ(131)の前記鏡面反射領域の少なくとも一部分を第2のカメラ(132)が見ることができる位置で、前記ディスプレイスクリーン(110)の前記照明された表面を見るように位置決めされた第2のカメラ(132)と、
    前記第1のカメラでキャプチャされた前記画像と比較して、マージされた画像内で少なくとも鏡面反射が低減されるように、前記第1のカメラ(131)からの、および前記第2のカメラ(132)からの画像を重ね合わせるように構成された画像マージ機構(140)とを備える対話型ディスプレイシステム(100)。
  2. 前記ディスプレイスクリーンの前記照明された表面を見るように位置決めされた第3のカメラをさらに備える、請求項1に記載の対話型ディスプレイシステム。
  3. 前記照明装置が点灯されているときに、前記第2のカメラが鏡面反射を受けないように、前記照明装置が位置決めされた、請求項1に記載の対話型ディスプレイシステム。
  4. 前記照明装置が前記1つまたは複数のディスプレイ層に対して中心から外れて位置決めされた、請求項3に記載の対話型ディスプレイシステム。
  5. 前記照明装置が点灯されているときに、前記第3のカメラによってキャプチャされた画像の第3の部分において鏡面反射が発生するように前記第3のカメラが位置決めされており、前記第3の部分は前記第1および第2の位置とは異なっている、請求項2に記載の対話型ディスプレイシステム。
  6. 前記ディスプレイスクリーンの前記照明された表面を見るように位置決めされた第4および第5のカメラをさらに備える、請求項5に記載の対話型ディスプレイシステム。
  7. 前記照明装置が主に赤外領域内の光を放出する、請求項1に記載の対話型ディスプレイシステム。
  8. 前記第1のカメラがたとえ鏡面反射を受信しても前記第1のカメラで撮られた第1の画像の第1の部分には鏡面反射がない状態で、前記第1の画像の前記第1の部分にアクセスするステップと、
    前記第2のカメラで撮られた第2の画像の第2の部分には鏡面反射がない状態で、前記第2の画像の前記第2の部分にアクセスするステップと、
    前記第1の画像の前記第1の部分と前記第2の画像の前記第2の部分とをマージするステップとによって
    前記第1および第2のカメラからの画像を重ね合わせるように、前記画像マージ機構が構成された、請求項1に記載の対話型ディスプレイシステム。
  9. 前記第1の画像の前記第1の部分、および前記第2の画像前記第2の部分は重ね合わされると、ディスプレイスクリーンの実質的にすべてのディスプレイ可能な領域を表示する、請求項8に記載の対話型ディスプレイシステム。
  10. 前記第1の画像の前記第1の部分の大部分が、前記第2の画像内の鏡面反射のある領域に相当する、請求項8に記載の対話型ディスプレイシステム。
  11. 前記第1の画像の前記第1の部分が矩形である、請求項10に記載の対話型ディスプレイシステム。
  12. 前記照明装置が主に紫外スペクトル内の光を放出する、請求項1に記載の対話型ディスプレイシステム。
  13. 前記対話型ディスプレイが対話型モードで作動している実質的にすべての時間、前記照明装置が点灯するように構成された、請求項1に記載の対話型ディスプレイシステム。
  14. 対話型ディスプレイ(100)と一緒に使用するための画像マージ機構(140)であって、1つまたは複数のディスプレイ層(110)と、前記照明装置(120)が点灯されているときに、第1のカメラ(131)によってキャプチャされた画像(200A)の領域において鏡面反射が発生する位置で、前記1つまたは複数のディスプレイ層の照明された表面を見るように位置決めされた第1のカメラ(131)と、前記照明装置(120)が点灯されているときに、第2のカメラ(132)が、少なくとも前記第1のカメラ(131)の前記鏡面反射領域の一部分を見ることができる位置で、前記1つまたは複数のディスプレイ層(110)の照明された表面を見るように位置決めされた第2のカメラ(132)とを含み、
    前記第1のカメラにある前記鏡面反射レベルと比較して鏡面反射が少なくとも低減されるように、前記第1および第2のカメラ(131、132)からの画像(200A、200B)を重ね合わせる行為(300)を実行するように構成された、画像マージ機構(140)。
  15. 前記画像を重ね合わせる行為が、
    前記第1のカメラがたとえ鏡面反射を受信しても前記第1のカメラで撮られた第1の画像の第1の部分には鏡面反射がない状態で、前記第1の画像の前記第1の部分にアクセスするステップと、
    前記第2のカメラで撮られた第2の画像の第2の部分には鏡面反射がない状態で、前記第2の画像の前記第2の部分にアクセスするステップと、
    前記第1の画像の前記第1の部分と前記第2の画像の前記第2の部分とをマージするステップとを含む、請求項14に記載の画像マージ機構。
  16. 前記第1の画像の前記第1の部分と、前記第2の画像の前記第2の部分とが、重ね合わせられると、前記1つまたは複数のディスプレイ層の実質的にすべてのディスプレイ可能な領域を表す、請求項15に記載の画像マージ機構。
  17. 前記第1の画像の前記第1の部分の大部分が、前記第2の画像内の鏡面反射がある部分に相当する、請求項15に記載の画像マージ機構。
  18. 1つまたは複数のディスプレイ層を備えるディスプレイスクリーン(110、410)と、
    前記ディスプレイスクリーン層(110、410)の内側または外側の表面の1つを照明するように位置決めされた照明装置(120、420)と、
    前記照明装置(120、420)が点灯されているときに、第1のカメラ(131、431)によってキャプチャされた画像(200A)の領域において鏡面反射が発生する位置で、前記1つまたは複数のディスプレイスクリーン層(110、410)の前記照明された表面を見るように位置決めされた第1のカメラ(131、431)と、
    前記照明装置(120、420)が点灯されているときに、第2のカメラ(132、432)によってキャプチャされた画像の第2の部分において鏡面反射が発生する位置で、前記1つまたは複数のディスプレイスクリーン層(110、410)の前記照明された表面を見るように位置決めされた第2のカメラ(132、432)であって、前記1つまたは複数のディスプレイスクリーン層(110、410)の第2の領域において前記照明装置(120、420)から反射された画像をキャプチャする第2のカメラ(132、432)と、
    前記1つまたは複数のディスプレイスクリーン層(410)の第3の領域において前記照明装置(420)から反射された画像を第3のカメラ(433)がキャプチャする位置で、前記1つまたは複数のディスプレイスクリーン層(410)の前記照明された表面を見るように位置決めされた第3のカメラ(433)と、
    前記1つまたは複数のディスプレイスクリーン層(410)の第4の領域において前記照明装置(420)から反射された画像を第4のカメラ(434)がキャプチャする位置で、前記1つまたは複数のディスプレイスクリーン層(410)の前記照明された表面を見るように位置決めされた第4のカメラ(434)と、
    前記第1および第2のカメラ(431、432)に対して鏡面反射する領域からの画像をオーバーラッピングカメラ(435)がキャプチャする位置で、前記1つまたは複数のディスプレイスクリーン層(410)の前記照明された表面を見るように位置決めされて、それ自体はそれらに相当する領域を鏡面反射なくキャプチャするオーバーラッピングカメラ(435)とを備える対話型ディスプレイシステム(100)。
  19. 前記照明装置が主に紫外スペクトル内の光を放出する、請求項18に記載の対話型ディスプレイ。
  20. 前記照明装置が主に赤外スペクトル内の光を放出する、請求項18に記載の対話型ディスプレイ。
JP2009544890A 2007-01-05 2007-12-23 複数のカメラを使用する鏡面反射の低減 Pending JP2010515971A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/620,591 US7630002B2 (en) 2007-01-05 2007-01-05 Specular reflection reduction using multiple cameras
PCT/US2007/088769 WO2008085724A1 (en) 2007-01-05 2007-12-23 Specular reflection reduction using multiple cameras

Publications (2)

Publication Number Publication Date
JP2010515971A true JP2010515971A (ja) 2010-05-13
JP2010515971A5 JP2010515971A5 (ja) 2010-11-25

Family

ID=39593926

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009544890A Pending JP2010515971A (ja) 2007-01-05 2007-12-23 複数のカメラを使用する鏡面反射の低減

Country Status (7)

Country Link
US (1) US7630002B2 (ja)
EP (1) EP2103149A1 (ja)
JP (1) JP2010515971A (ja)
KR (1) KR20090094833A (ja)
CN (1) CN101573988B (ja)
CA (1) CA2674324A1 (ja)
WO (1) WO2008085724A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014163721A (ja) * 2013-02-22 2014-09-08 Seiko Epson Corp 分光カメラ、及び分光画像処理方法
JP2015060327A (ja) * 2013-09-17 2015-03-30 株式会社リコー 投影装置、投影方法及び情報処理システム
JP2017112486A (ja) * 2015-12-16 2017-06-22 オムロンオートモーティブエレクトロニクス株式会社 画像処理装置

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7593593B2 (en) 2004-06-16 2009-09-22 Microsoft Corporation Method and system for reducing effects of undesired signals in an infrared imaging system
US7760962B2 (en) * 2005-03-30 2010-07-20 Casio Computer Co., Ltd. Image capture apparatus which synthesizes a plurality of images obtained by shooting a subject from different directions, to produce an image in which the influence of glare from a light is reduced
US7911444B2 (en) 2005-08-31 2011-03-22 Microsoft Corporation Input method for surface of interactive display
US8212857B2 (en) * 2007-01-26 2012-07-03 Microsoft Corporation Alternating light sources to reduce specular reflection
US8094137B2 (en) 2007-07-23 2012-01-10 Smart Technologies Ulc System and method of detecting contact on a display
US20090219253A1 (en) * 2008-02-29 2009-09-03 Microsoft Corporation Interactive Surface Computer with Switchable Diffuser
US8736751B2 (en) * 2008-08-26 2014-05-27 Empire Technology Development Llc Digital presenter for displaying image captured by camera with illumination system
US8810522B2 (en) * 2008-09-29 2014-08-19 Smart Technologies Ulc Method for selecting and manipulating a graphical object in an interactive input system, and interactive input system executing the method
US20100083109A1 (en) * 2008-09-29 2010-04-01 Smart Technologies Ulc Method for handling interactions with multiple users of an interactive input system, and interactive input system executing the method
WO2011003171A1 (en) * 2009-07-08 2011-01-13 Smart Technologies Ulc Three-dimensional widget manipulation on a multi-touch panel
WO2011026227A1 (en) * 2009-09-01 2011-03-10 Smart Technologies Ulc Interactive input system with improved signal-to-noise ratio (snr) and image capture method
EP2339534A1 (en) * 2009-11-18 2011-06-29 Panasonic Corporation Specular reflection compensation
US8502789B2 (en) 2010-01-11 2013-08-06 Smart Technologies Ulc Method for handling user input in an interactive input system, and interactive input system executing the method
TW201205551A (en) * 2010-07-29 2012-02-01 Hon Hai Prec Ind Co Ltd Display device assembling a camera
US8730356B2 (en) * 2011-03-07 2014-05-20 Sony Corporation System and method for automatic flash removal from images
US9912847B1 (en) 2012-09-25 2018-03-06 Amazon Technologies, Inc. Image capture guidance to reduce specular reflection effects
US9307148B1 (en) 2013-05-15 2016-04-05 Amazon Technologies, Inc. Video enhancement techniques
WO2015017796A2 (en) * 2013-08-02 2015-02-05 Digimarc Corporation Learning systems and methods
CN104376545B (zh) * 2013-08-16 2018-12-14 联想(北京)有限公司 一种信息处理的方法及一种电子设备
US9275448B2 (en) * 2013-08-27 2016-03-01 Xerox Corporation Flash/no-flash imaging for binarization
JP5841587B2 (ja) * 2013-12-25 2016-01-13 株式会社Pfu 撮像システム
KR102579730B1 (ko) 2014-02-27 2023-09-19 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 정반사 검출 및 저감을 위한 시스템 및 방법
WO2015164214A1 (en) * 2014-04-22 2015-10-29 The Government of the United State of America as represented by the Secretary of the Navy System and method for sun glint correction of split focal plane visibile and near infrared imagery
US9454699B2 (en) 2014-04-29 2016-09-27 Microsoft Technology Licensing, Llc Handling glare in eye tracking
NO337926B1 (no) * 2014-06-17 2016-07-11 Vision Io As Et sensordeksel for en rørinspeksjonssammenstilling, en rørsammenstilling og en fremgangsmåte for rørinspeksjon.
US9667880B2 (en) * 2014-08-22 2017-05-30 Qualcomm Incorporated Activating flash for capturing images with text
DK3204081T3 (da) * 2014-10-06 2020-09-14 Sanofi Aventis Deutschland Supplerende anordning til montering på en injektionsanordning til bestemmelse af den indstillede og/eller indgivne dosis med ocr-billedbehandling, inklusive en fremgangsmåde til blændingsreduktion
US10456530B2 (en) * 2014-10-06 2019-10-29 Sanofi-Aventis Deutschland Gmbh Supplementary device for attachment to a drug injection device for monitoring injection doses having OCR imaging system with glare reduction
DE102014017062B3 (de) * 2014-11-14 2015-12-03 Technische Universität Ilmenau Verfahren zur Kompensation von Reflexionen bei einer Bildaufnahme
JP6344608B2 (ja) * 2015-02-05 2018-06-20 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び、手術システム
JP6515637B2 (ja) * 2015-03-30 2019-05-22 富士ゼロックス株式会社 画像読取装置および画像形成装置
US10607324B2 (en) 2015-04-28 2020-03-31 Dolby Laboratories Licensing Corporation Image highlight detection and rendering
ES2655924T3 (es) * 2015-09-11 2018-02-22 Sick Ag Procedimiento para ajustar varias zonas parciales de una zona de protección deseada
US10255674B2 (en) 2016-05-25 2019-04-09 International Business Machines Corporation Surface reflectance reduction in images using non-specular portion replacement
US10713520B2 (en) 2016-10-27 2020-07-14 Engineering Innovation, Inc. Method of taking a picture without glare
US10837916B2 (en) * 2017-03-09 2020-11-17 Spirit Aerosystems, Inc. Optical measurement device for inspection of discontinuities in aerostructures
CN108924530A (zh) * 2017-03-31 2018-11-30 深圳市易快来科技股份有限公司 一种3d拍摄异常图像校正的方法、装置及移动端
EP3407296A1 (en) 2017-05-23 2018-11-28 Thomson Licensing Method and device for determining a characteristic of a display device
RU2661760C1 (ru) * 2017-08-25 2018-07-19 Общество с ограниченной ответственностью "Аби Продакшн" Использование нескольких камер для выполнения оптического распознавания символов

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05292503A (ja) * 1992-04-13 1993-11-05 Hitachi Eng Co Ltd 画像処理方法及びその装置
JPH08186808A (ja) * 1994-12-28 1996-07-16 Sumitomo Metal Ind Ltd 画像処理方法及びその装置
JPH0981759A (ja) * 1995-09-18 1997-03-28 Mitsubishi Heavy Ind Ltd 境界抽出方法およびその装置
JP2003141524A (ja) * 2001-10-30 2003-05-16 Hitachi Ltd 非接触画像読み取り方法および非接触画像読み取りシステム
US20050057399A1 (en) * 2003-09-11 2005-03-17 Issy Kipnis MEMS based tunable antena for wireless reception and transmission

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4972093A (en) 1987-10-09 1990-11-20 Pressco Inc. Inspection lighting system
US5515452A (en) 1992-12-31 1996-05-07 Electroglas, Inc. Optical character recognition illumination method and system
US5461417A (en) 1993-02-16 1995-10-24 Northeast Robotics, Inc. Continuous diffuse illumination method and apparatus
US6061091A (en) 1996-05-30 2000-05-09 Agfa Gevaert N.V. Detection of and correction for specular reflections in digital image acquisition
US6088612A (en) * 1997-04-04 2000-07-11 Medtech Research Corporation Method and apparatus for reflective glare removal in digital photography useful in cervical cancer detection
JP3968477B2 (ja) * 1997-07-07 2007-08-29 ソニー株式会社 情報入力装置及び情報入力方法
JP3794180B2 (ja) * 1997-11-11 2006-07-05 セイコーエプソン株式会社 座標入力システム及び座標入力装置
US6956963B2 (en) 1998-07-08 2005-10-18 Ismeca Europe Semiconductor Sa Imaging for a machine-vision system
JP4043128B2 (ja) * 1999-02-24 2008-02-06 富士通株式会社 光走査型タッチパネル
US6633338B1 (en) 1999-04-27 2003-10-14 Gsi Lumonics, Inc. Programmable illuminator for vision system
KR20010005203A (ko) 1999-06-30 2001-01-15 윤종용 프로젝션 텔레비전
US6788411B1 (en) 1999-07-08 2004-09-07 Ppt Vision, Inc. Method and apparatus for adjusting illumination angle
JP4052498B2 (ja) * 1999-10-29 2008-02-27 株式会社リコー 座標入力装置および方法
GB2356996A (en) * 1999-12-03 2001-06-06 Hewlett Packard Co Improvements to digital cameras
GB2372391A (en) * 2001-02-16 2002-08-21 Hewlett Packard Co Removal of specular reflection
US6639594B2 (en) 2001-06-03 2003-10-28 Microsoft Corporation View-dependent image synthesis
US8035612B2 (en) * 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US7058217B2 (en) 2001-09-28 2006-06-06 Nec Laboratories America, Inc. Broadened-specular reflection and linear subspaces for object recognition
US7050835B2 (en) 2001-12-12 2006-05-23 Universal Display Corporation Intelligent multi-media display communication system
WO2003058979A2 (en) * 2002-01-04 2003-07-17 Neurok Llc Three-dimensional image projection employing retro-reflective screens
US6813016B2 (en) 2002-03-15 2004-11-02 Ppt Vision, Inc. Co-planarity and top-down examination method and optical module for electronic leaded components
US7006128B2 (en) 2002-05-30 2006-02-28 Siemens Corporate Research, Inc. Object detection for sudden illumination changes using order consistency
JP3787841B2 (ja) * 2002-06-05 2006-06-21 ソニー株式会社 表示装置および表示方法
JP4069855B2 (ja) 2003-11-27 2008-04-02 ソニー株式会社 画像処理装置及び方法
US7394459B2 (en) * 2004-04-29 2008-07-01 Microsoft Corporation Interaction between objects and a virtual environment display
US7492357B2 (en) * 2004-05-05 2009-02-17 Smart Technologies Ulc Apparatus and method for detecting a pointer relative to a touch surface
US7398927B2 (en) * 2005-01-26 2008-07-15 Datalogic Scanning, Inc. Data reader and methods for imaging targets subject to specular reflection
US20060202974A1 (en) * 2005-03-10 2006-09-14 Jeffrey Thielman Surface

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05292503A (ja) * 1992-04-13 1993-11-05 Hitachi Eng Co Ltd 画像処理方法及びその装置
JPH08186808A (ja) * 1994-12-28 1996-07-16 Sumitomo Metal Ind Ltd 画像処理方法及びその装置
JPH0981759A (ja) * 1995-09-18 1997-03-28 Mitsubishi Heavy Ind Ltd 境界抽出方法およびその装置
JP2003141524A (ja) * 2001-10-30 2003-05-16 Hitachi Ltd 非接触画像読み取り方法および非接触画像読み取りシステム
US20050057399A1 (en) * 2003-09-11 2005-03-17 Issy Kipnis MEMS based tunable antena for wireless reception and transmission

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014163721A (ja) * 2013-02-22 2014-09-08 Seiko Epson Corp 分光カメラ、及び分光画像処理方法
US9826172B2 (en) 2013-02-22 2017-11-21 Seiko Epson Corporation Spectroscopic camera and spectroscopic image processing method
JP2015060327A (ja) * 2013-09-17 2015-03-30 株式会社リコー 投影装置、投影方法及び情報処理システム
JP2017112486A (ja) * 2015-12-16 2017-06-22 オムロンオートモーティブエレクトロニクス株式会社 画像処理装置

Also Published As

Publication number Publication date
KR20090094833A (ko) 2009-09-08
US20080165266A1 (en) 2008-07-10
CN101573988A (zh) 2009-11-04
CA2674324A1 (en) 2008-07-17
US7630002B2 (en) 2009-12-08
WO2008085724A1 (en) 2008-07-17
CN101573988B (zh) 2012-02-22
EP2103149A1 (en) 2009-09-23

Similar Documents

Publication Publication Date Title
JP2010515971A (ja) 複数のカメラを使用する鏡面反射の低減
KR101432339B1 (ko) 경면 반사를 줄이기 위한 광원 교번
KR101258587B1 (ko) 자체로서 완비된 상호작용 비디오 디스플레이 시스템
JP4955684B2 (ja) 対話式ディスプレイ面の入力方法
US8035612B2 (en) Self-contained interactive video display system
CN109791325A (zh) 具有外围任务栏显示区的设备和用于屏上指纹感测的lcd屏下光学传感器模块
CN101390041A (zh) 交互式显示面板的均匀照明
EP2335141B1 (en) Interactive display device with infrared capture unit
US20050110964A1 (en) Interactive video window display system
US20050277071A1 (en) Method for controlling an intensity of an infrared source used to detect objects adjacent to an interactive display surface
CN102597860A (zh) 具有液晶显示设备的红外线视觉
US11231580B2 (en) Eye tracking device and virtual reality imaging apparatus
TWI759662B (zh) 螢幕下圖像獲取結構及電子設備
CN117581149A (zh) 空中悬浮影像显示装置
JP2021152599A (ja) 表示装置および電子装置
JP2006004330A (ja) 映像表示システム
US9762892B2 (en) Auto-multiscopic 3D display and camera system
JP2007156040A (ja) 液晶表示装置
WO2022261944A9 (zh) 可穿戴显示设备及注视点的位置的确定方法
TWI841745B (zh) 圖像採集裝置及電子設備
TW202024990A (zh) 一種屏下圖像獲取結構及電子設備

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101004

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101004

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20101004

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20101026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110113

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110412