CN1666248A - 多功能集成图像传感器以及在虚拟接口技术上的应用 - Google Patents
多功能集成图像传感器以及在虚拟接口技术上的应用 Download PDFInfo
- Publication number
- CN1666248A CN1666248A CN03815231.2A CN03815231A CN1666248A CN 1666248 A CN1666248 A CN 1666248A CN 03815231 A CN03815231 A CN 03815231A CN 1666248 A CN1666248 A CN 1666248A
- Authority
- CN
- China
- Prior art keywords
- imaging sensor
- pixel
- data input
- function
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005516 engineering process Methods 0.000 title description 6
- 238000003384 imaging method Methods 0.000 claims abstract description 326
- 230000006870 function Effects 0.000 claims description 184
- 239000000203 mixture Substances 0.000 claims description 72
- 238000005286 illumination Methods 0.000 claims description 40
- 230000004044 response Effects 0.000 claims description 40
- 230000003287 optical effect Effects 0.000 claims description 28
- 238000001514 detection method Methods 0.000 claims description 18
- 230000005484 gravity Effects 0.000 claims description 18
- 230000005855 radiation Effects 0.000 claims description 17
- 230000009471 action Effects 0.000 claims description 12
- 230000001360 synchronised effect Effects 0.000 claims description 12
- 238000011144 upstream manufacturing Methods 0.000 claims description 12
- 238000007639 printing Methods 0.000 claims description 10
- 238000012905 input function Methods 0.000 claims description 9
- 238000012790 confirmation Methods 0.000 claims description 7
- 230000001678 irradiating effect Effects 0.000 claims 3
- 238000013479 data entry Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 239000013589 supplement Substances 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 230000001413 cellular effect Effects 0.000 description 6
- 230000009131 signaling function Effects 0.000 description 6
- 238000000034 method Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000001939 inductive effect Effects 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
- G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1662—Details related to the integrated keyboard
- G06F1/1673—Arrangements for projecting a virtual keyboard
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Studio Devices (AREA)
- Image Input (AREA)
- Lock And Its Accessories (AREA)
- Color Television Image Signal Generators (AREA)
- Credit Cards Or The Like (AREA)
Abstract
一种电子照相机,包括提供代表被成像场的输出的电子成像传感器,使用电子成像传感器以对被成像场中的景象照相的第一成像功能,使用电子成像传感器以响应于用户手部动作进行数据输入的第二成像功能,和可操作以使得用户能够选择第一和第二成像功能之一中的操作的用户操作成像功能选择开关。
Description
相关申请的交叉引用
本申请要求了以下共同未审决的美国专利申请的优先权:
2002年6月26日递交的题为“Virtual Interface Implementation andApplication”(虚拟接口实现和应用)的美国临时申请序列号No.60/392,376,和2003年1月7日递交的题为“Multifunctional IntegratedImage Sensor and Application to Virtual Interface Technology”(多功能集成图像传感器以及在虚拟接口技术上的应用)的美国临时申请序列号No.60/438,327。
技术领域
本发明总体上涉及数据输入方法和装置。
背景技术
以下专利和公开被认为反映了本领域的当前状态:
美国专利:6,377,238;6,281,238;5,767,842;5,457,550;5,181,181和4,843,568。
外国专利文件:WO00/21024;EP0982 676 A1;DE298 02 435U1;WO01/93182和WO02/054169。
发明内容
根据本发明的优选实施例,提供了一种电子照相机,该电子照相机包括提供代表被成像场的输出的电子成像传感器;使用所述电子成像传感器以对所述被成像场中的景象照相的第一成像功能(functionality);使用所述电子成像传感器以响应于用户手部动作进行数据输入的第二成像功能;和可操作以使得用户能够选择所述第一和第二成像功能之一中的操作的用户操作成像功能选择开关。
根据本发明的另一个优选实施例,提供了一种便携式电话,该便携式电话包括电话功能;提供代表被成像场的输出的电子成像传感器;使用所述电子成像传感器以对所述被成像场中的景象照相的第一成像功能;使用所述电子成像传感器以响应于用户手部动作进行数据输入的第二成像功能;和可操作以使得用户能够选择所述第一和第二成像功能之一中的操作的用户操作成像功能选择开关。
根据本发明的又一个优选实施例,提供了一种数字个人助理,该数字个人助理包括至少一个个人数字助理功能;提供代表被成像场的输出的电子成像传感器;使用所述电子成像传感器以对所述被成像场中的景象照相的第一成像功能;使用所述电子成像传感器以响应于用户手部动作进行数据输入的第二成像功能;和可操作以使得用户能够选择所述第一和第二成像功能之一中的操作的用户操作成像功能选择开关。
根据本发明的另一个优选实施例,所述电子成像传感器包括CMOS传感器。
优选地,所述第一成像功能结合电子成像传感器上游的第一透镜装置。另外,第二成像功能结合电子成像传感器上游的第二透镜装置。
根据本发明的另一个优选实施例,所述第二成像功能结合了红外光发生器以定义光束,由于用户手部动作而得到的该光束的照射产生代表数据的光图案。另外,第二成像功能还结合了至少一个与所述电子成像传感器相关联的可通过红外光的滤光器。
根据本发明的另一个优选实施例,所述第二成像功能结合了处理器,该处理器接收来自所述电子成像传感器的输出以提供数据输入输出信号。另外,该处理器与所述电子成像传感器一起结合在单个芯片上。
根据本发明的另一个优选实施例,所述第一功能是彩色照相功能。作为补充或替代,所述第二功能是红外光束照射感应数据输入功能。
根据本发明的另一个优选实施例,所述用户操作图像功能选择开关是机械响应开关,该开关可选择地以机械方式与所述电子成像传感器上游的所述第一和第二透镜装置相关联。作为补充或替代,所述用户操作成像功能选择开关是机械响应开关,该开关可选择地以机械方式将选定的滤光器与所述电子成像传感器相关联。
根据本发明的另一个优选实施例,所述用户操作成像功能选择开关是电子响应开关,该开关可选择地以电子方式确定对来自所述电子成像传感器的预定部分的选定输出信号的响应。
根据本发明的另一个优选实施例,所述电子照相机还包括布置在所述电子成像传感器之上的可通过红、绿、蓝以及红外光的像素式元件的阵列。作为补充或替代,电子照相机还包括第二成像功能所使用的数据输入模板投影器。优选地,电子照相机还包括第二成像功能所使用的照明器。作为补充或替代,电子照相机还包括同步照明功率变化功能。
根据本发明的另一个优选实施例,所述便携式电话还包括布置在所述电子成像传感器之上的可通过红、绿、蓝以及红外光的像素式元件的阵列。作为补充或替代,便携式电话还包括第二成像功能所使用的数据输入模板投影器。优选地,便携式电话还包括第二成像功能所使用的照明器。作为补充或替代,便携式电话还包括同步照明功率变化功能。
根据本发明的另一个优选实施例,所述数字个人助理还包括布置在所述电子成像传感器之上的可通过红、绿、蓝以及红外光的像素式元件的阵列。作为补充或替代,数字个人助理还包括第二成像功能所使用的数据输入模板投影器。优选地,数字个人助理还包括第二成像功能所使用的照明器。作为补充或替代,数字个人助理还包括同步照明功率变化功能。
根据本发明的另一个优选实施例,还提供了一种电子照相机,该电子照相机包括提供代表被成像场的输出的电子成像传感器;和布置在所述电子成像传感器之上的可通过红、绿、蓝以及红外光的像素式元件的阵列。
根据本发明的另一个优选实施例,还提供了一种便携式电话,该便携式电话包括电话功能;提供代表被成像场的输出的电子成像传感器;和布置在所述电子成像传感器之上的可通过红、绿、蓝以及红外光的像素式元件的阵列。
根据本发明的另一个优选实施例,还提供了一种数字个人助理,该数字个人助理包括至少一个个人数字助理功能;提供代表被成像场的输出的电子成像传感器;和布置在所述电子成像传感器之上的可通过红、绿、蓝以及红外光的像素式元件的阵列。
根据本发明的另一个优选实施例,还提供了一种电子照相机,该电子照相机包括提供代表被成像场的输出的电子成像传感器;第一成像功能,其以可见辐射成像模式使用所述电子成像传感器以对所述被成像场中的景象照相;以及第二成像功能,其以红外辐射感应模式使用所述电子成像传感器以响应于用户手部动作进行数据输入。
根据本发明的另一个优选实施例,还提供了一种便携式电话,该便携式电话包括电话功能;提供代表被成像场的输出的电子成像传感器;第一成像功能,其以可见辐射成像模式使用所述电子成像传感器以对所述被成像场中的景象照相;以及第二成像功能,其以红外辐射感应模式使用所述电子成像传感器以响应于用户手部动作进行数据输入。
根据本发明的另一个优选实施例,还提供了一种数字个人助理,该数字个人助理包括至少一个个人数字助理功能;提供代表被成像场的输出的电子成像传感器;第一成像功能,其以可见辐射成像模式使用所述电子成像传感器以对所述被成像场中的景象照相;以及第二成像功能,其以红外辐射感应模式使用所述电子成像传感器以响应于用户手部动作进行数据输入。
根据本发明的另一个优选实施例,所述电子照相机包括布置在所述电子成像传感器之上的可通过红、绿、蓝以及红外光的像素式元件的阵列。
根据本发明的另一个优选实施例,所述便携式电话包括布置在所述电子成像传感器之上的可通过红、绿、蓝以及红外光的像素式元件的阵列。
根据本发明的另一个优选实施例,所述数字个人助理包括布置在所述电子成像传感器之上的可通过红、绿、蓝以及红外光的像素式元件的阵列。
优选地,在第一成像功能中,使用了所述可透过红、绿、蓝光的元件之下的像素的输出。另外,所述可通过红外光的元件之下的像素的输出被用来防止所述成像传感器的色彩响应失真。另外,在所述第二成像功能中,使用了所述可通过红外光的元件之下的像素的输出。
根据本发明的另一个优选实施例,所述电子照相机还包括处理器。根据本发明的另一个优选实施例,所述电子照相机形成为电话的一部分。可替换地,该电子照相机形成为个人数字助理的一部分。可替换地,该电子照相机形成为手表的一部分。
根据本发明的另一个优选实施例,所述便携式电话还包括处理器。
根据本发明的另一个优选实施例,所述数字个人助理还包括处理器。
根据本发明的另一个优选实施例,所述处理器包括以下功能:在获取了每个像素值时,利用像素坐标确定该像素是否处于预定击键区域之内;为处于所述预定击键区域之内的所述像素坐标获取像素值;基于确定每个像素的像素函数,在为每个所述击键区域保存的像素总数中加上或者从中减去每个所述像素值;将每个所述击键区域的所述像素总数与当前按键致动阈值比较;如果在给定帧中对于给定的击键区域,所述像素总数超出所述按键致动阈值,并且在前一帧中对于该击键区域,所述像素总数未超出所述按键致动阈值,则提供按键致动输出;并且如果在给定帧中对于给定的击键区域,所述像素总数未超出所述按键致动阈值,且在前一帧中对于该击键区域,所述像素总数超出所述按键致动阈值,则提供按键消动输出。
根据本发明的另一个优选实施例,所述确定像素是否处于预定击键区域中是通过使用像素索引表完成的,所述像素索引表为每个像素指示所述像素是否处在预定击键区域之内,并且如果是,则指示它处在哪个击键区域内。可替换地,所述两个确定步骤都使用了所述像素索引表。
根据本发明的另一个优选实施例,在击键区域累加器表中为每个击键区域保存所述像素总数。
根据本发明的另一个优选实施例,所述比较使用了击键区域阈值表。
根据本发明的另一个优选实施例,所述处理器还包括以下功能:一旦一帧中的所有像素都已经被处理,则确定帧的更新后的背景电平;以及通过从为每个击键区域建立的预定阈值电平中减去所述更新后的背景电平,为所述击键区域阈值表确定按键致动阈值。另外,所述像素函数包括将所述击键区域中的多个像素的像素值相加。
根据本发明的另一个优选实施例,所述处理器可操作以确定二维图像传感器中像素的像素值的“重心”。优选地,所述处理器包括以下功能:在获取了每个像素值时,利用像素坐标确定所述像素是否处在预定作用区域之内;为不同像素坐标获取像素值;以及确定所述像素值的“重心”。
根据本发明的另一个优选实施例,确定“重心”是通过以下步骤完成的:将所述像素值乘以代表每个像素的地理位置的X和Y值;沿着相互垂直的轴X和Y将所得到的结果求和;对所述作用区域的所有相关像素的像素值的总数求和;以及将所述求和得到的结果除以所述像素值的所述总数,以确定代表了所需接合位置的“重心”的X和Y坐标。
优选地,所述像素值在对其求和之前是被阈值化的。
根据本发明的另一个优选实施例,还提供了一种手表,该手表包括手表功能;提供代表被成像场的输出的电子成像传感器;使用所述电子成像传感器以对所述被成像场中的景象照相的第一成像功能;使用所述电子成像传感器以响应于用户手部动作进行数据输入的第二成像功能;和可操作以使得用户能够选择所述第一和第二成像功能之一中的操作的用户操作成像功能选择开关。
根据本发明的另一个优选实施例,还提供了一种车辆,该车辆包括车架、传动系统和底盘,其中包括至少一个可锁闭入口以及入口开锁功能;和进入控制组件,用于管理对所述至少一个可锁闭入口的授权进入,所述进入控制组件包括:至少一个可以从所述底盘外部接触到的、至少部分透光的用户手指接合表面;照明器,其可操作以照明邻近所述至少一个用户手指接合表面的至少一个用户手指接合平面;二维成像传感器,其从所述至少一个手指接合表面内侧的位置上观察所述至少一个用户手指接合表面,以检测来自所述照明器的、由于用户的手指与所述至少一个手指接合表面的接合而被散射的光;和数据输入处理器,其接收来自所述二维成像传感器的输出并向所述入口开锁功能提供数据输入输入信号。
根据本发明的另一个优选实施例,还提供了一种用于车辆的进入控制装置,所述车辆包括底盘,其具有至少一个可锁闭入口以及入口开锁功能,并且还包括至少一个可以从所述底盘外部接触到的、至少部分透光的用户手指接合表面,所述进入控制装置包括:照明器,其可操作以照明所述至少一个用户手指接合表面;二维成像传感器,其从所述至少一个手指接合表面内侧的位置上观察所述至少一个用户手指接合表面,以检测来自所述照明器的、由于用户的手指与所述至少一个手指接合表面的接合而被散射的光;和数据输入处理器,其接收来自所述二维成像传感器的输出并向所述入口开锁功能提供数据输入输入信号。
根据本发明的另一个优选实施例,还提供了一种用于外壳的进入控制装置,所述外壳具有至少一个可锁闭入口以及入口开锁功能,并且还包括至少一个可以从所述外壳外部接触到的、至少部分透光的用户手指接合表面,所述进入控制装置包括:照明器,其可操作以照明所述至少一个用户手指接合表面;二维成像传感器,其从所述至少一个手指接合表面内侧的位置上观察所述至少一个用户手指接合表面,以检测来自所述照明器的、由于用户的手指与所述至少一个手指接合表面的接合而被散射的光;和数据输入处理器,其接收来自所述二维成像传感器的输出并向所述入口开锁功能提供数据输入输入信号。
根据本发明的另一个优选实施例,还提供了一种数据输入装置,其与至少一个至少部分透光的用户手指接合表面一起使用,所述数据输入装置包括:照明器,其可操作以照明所述至少一个用户手指接合表面;二维成像传感器,其从所述至少一个手指接合表面内侧的位置上观察所述至少一个用户手指接合表面,以检测来自所述照明器的、由于用户的手指与所述至少一个手指接合表面的接合而被散射的光;和数据输入处理器,其接收来自所述二维成像传感器的输出并提供数据输入输入信号。
优选地,所述照明器位于所述至少一个接合表面内侧的位置上。作为补充或替代,所述至少一个手指接合表面包括多个手指接合表面的一维阵列。可替换地,所述至少一个手指接合表面包括多个手指接合表面的二维阵列。
根据本发明的另一个优选实施例,所述车辆还包括照明导引器,该照明导引器与所述照明器合作以提供大体上平行于所述至少一个手指接合表面的照明光束。
根据本发明的另一个优选实施例,所述进入控制装置还包括照明导引器,该照明导引器与所述照明器合作以提供大体上平行于所述至少一个手指接合表面的照明光束。
根据本发明的另一个优选实施例,所述数据输入装置还包括照明导引器,该照明导引器与所述照明器合作以提供大体上平行于所述至少一个手指接合表面的照明光束。
优选地,所述照明导引器包括棱镜。
根据本发明的另一个优选实施例,还提供了一种数据输入装置,其与至少一个接合表面一起使用,所述数据输入装置包括:发光数据输入接合元件,该元件仅在其处于与所述至少一个接合表面至少预定邻近处时发光;二维成像传感器,其观察所述至少一个接合表面以检测由所述发光数据输入接合元件发出的光;和数据输入处理器,其接收来自所述二维成像传感器的输出并提供数据输入输入信号。
优选地,所述发光数据输入接合元件在其端部具有LED。可替换地,所述LED包括IR发光LED。作为补充或替代,所述数据输入装置还包括接近开关。
根据本发明的另一个优选实施例,还提供了一种数据输入装置,其与至少一个接合表面一起使用,所述数据输入装置包括:投影器,其可操作以照明所述至少一个接合表面并且在其上定义至少一个触垫区域和至少一个键盘区域,所述触垫区域由零级衍射图像定义;照明器,其可操作以照明所述至少一个接合表面;二维成像传感器,其从所述至少一个接合表面内侧的位置上观察所述至少一个接合表面,以检测来自所述照明器的、由于用户手指与所述至少一个接合表面的接合而被散射的光;和数据输入处理器,其接收来自所述二维成像传感器的输出并提供数据输入输入信号。
优选地,所述处理器包括以下功能:在获取了每个像素值时,利用像素坐标确定该像素是否处于预定击键区域之内;为处于所述预定击键区域之内的所述像素坐标获取像素值;基于确定每个像素的像素函数,在为每个所述击键区域保存的像素总数中加上或者从中减去每个所述像素值;将每个所述击键区域的所述像素总数与当前按键致动阈值比较;如果在给定帧中对于给定的击键区域,所述像素总数超出所述按键致动阈值,并且在前一帧中对于该击键区域,所述像素总数未超出所述按键致动阈值,则提供按键致动输出;并且如果在给定帧中对于给定的击键区域,所述像素总数未超出所述按键致动阈值,并且在前一帧中对于该击键区域,所述像素总数超出所述按键致动阈值,则提供按键消动输出。
根据本发明的另一个优选实施例,还提供了一种数据输入设备,该数据输入设备包括:照明器,其可操作以通过沿着至少一个接合平面对光进行导引而照明所述至少一个接合平面;包括光楔元件的二维成像传感器,其从所述至少一个接合平面外部的位置上观察所述至少一个接合平面,以检测来自所述照明器的、由于数据输入对象与所述至少一个接合平面的接合而被散射的光;和数据输入处理器,其接收来自所述二维成像传感器的输出并向应用电路提供数据输入输入信号。
优选地,所述光楔元件使得所述成像传感器能够有效地检测来自所述接合平面的光。
根据本发明的另一个优选实施例,还提供了一种数据输入设备,该数据输入设备包括:照明器,其可操作以通过沿着至少一个接合平面对光进行导引而照明所述至少一个接合平面;包括一对相反朝向的光楔元件的二维成像传感器,其从所述至少一个接合平面外部的位置上观察所述至少一个接合平面,以检测来自所述照明器的、由于数据输入对象与所述至少一个接合平面的接合而被散射的光;和数据输入处理器,其接收来自所述二维成像传感器的输出并向应用电路提供数据输入输入信号。
根据本发明的另一个优选实施例,还提供了一种数据输入设备,该数据输入设备包括:照明器,其可操作以通过沿着至少一个接合平面对光进行导引而照明所述至少一个接合平面,并且照明接合表面上的正确定位确认位置;二维成像传感器,其包括,从所述至少一个接合平面外部的位置上观察所述至少一个接合平面,以检测来自所述照明器的、由于数据输入对象与所述至少一个接合平面的接合而被散射的光;和数据输入处理器,其接收来自所述二维成像传感器的输出信号并向应用电路提供数据输入输入信号。
优选地,所述成像传感器检测在所述正确定位确认位置处是否有照明。另外,当所述成像传感器检测到在所述正确定位确认位置处没有照明时,所述数据输入装置可操作以关闭其自身。
根据本发明的另一个优选实施例,还提供了一种游戏装置,该游戏装置包括:至少一个游戏棋子;游戏模板投影器,可操作以向一个表面上投影游戏模板;照明器,其可操作以照明所述表面;和成像传感器,其观察所述表面以检测来自所述照明器的、被安装在所述至少一个游戏棋子上的至少一个经光学编码的反射器所反射的光。
根据本发明的另一个优选实施例,所述至少一个反射器中的每一个识别所述至少一个游戏棋子中的一个,并可操作以指示所述至少一个游戏棋子在所述游戏模板上的位置。作为补充或替代,所述至少一个反射器还识别所述游戏棋子的空间方向。
附图说明
从以下结合附图的详细描述中可以更全面地理解和认识本发明,其中:
图1A和1B是根据本发明优选实施例构造和操作的电子照相机在两种不同操作模式下的简化图示说明;
图2A和2B是根据本发明优选实施例构造和操作的装备了照相机的蜂窝式电话在两种不同操作模式下的简化图示说明;
图3A和3B是根据本发明优选实施例构造和操作的装备了照相机的个人数字助理在两种不同操作模式下的简化图示说明;
图4A和4B是根据本发明一个优选实施例的成像功能选择操作在两种不同操作模式下的简化图解示图;
图5A和5B是根据本发明另一个优选实施例的成像功能选择操作在两种不同操作模式下的简化图解示图;
图6是在图1A-5B中任何一个的实施例中可用的数据输入对象接合位置检测子系统的简化图解示图;
图7是简化流程图,示出了根据本发明优选实施例的图6中的数据输入对象接合位置检测子系统的操作;
图8是在图7所示数据输入对象接合位置检测子系统的操作中所使用的优选数据结构的简化示图;
图9是如对键盘进行观察的二维图像传感器检测到的、典型击键区域的轮廓的简化图示说明,其中所述键盘例如为图6中所见的键盘;
图10是具有几个击键区域的由数据输入对象接合引起的典型光图案的典型覆盖区的轮廓的简化图示说明,其中所述击键区域例如图9中所见的;
图11A、11B和11C是用于确定如图7所示像素在其所处的击键区域内的函数的三种可替换方法的简化示图;
图12A、12B和12C是有助于理解图11A、11B和11C的轨迹的简化示图;
图13是示出了数据输入对象接合位置检测子系统的操作的简化流程图,所述子系统被用在根据本发明优选实施例而构造和操作的跟踪系统和方法中;
图14是示出了根据本发明优选实施例而有用的同步照明功率变化功能的简化示图;
图15是在车辆进入控制系统中实现的数据输入装置的部分图示、部分图解形式的简化示图;
图16是图15的数据输入装置中的一种变型的部分图示、部分图解形式的简化示图;
图17是根据本发明另一个优选实施例而构造和操作的数据输入装置的简化图示说明;
图18A和18B分别是根据本发明另一个优选实施例而构造和操作的数据输入装置的简化图示说明和简化截面示图;
图19A和19B分别是根据本发明又一个实施例而构造和操作的数据输入装置的简化图示说明和简化截面示图;
图20A和20B分别是根据本发明再一个优选实施例而构造和操作的数据输入装置的简化图示说明和简化截面示图;
图21是根据本发明另一个优选实施例而构造和操作的数据输入装置的简化图示说明;
图22是根据本发明另一个优选实施例而构造和操作的数据输入装置的简化图示说明;
图23是根据本发明的一个优选实施例而构造和操作的游戏装置的简化图示说明;和
图24是根据本发明另一个优选实施例而构造和操作的游戏装置的简化图示说明。
具体实施方式
现参照图1A和1B,它们是根据本发明优选实施例构造和操作的电子照相机在两种不同操作模式下的简化图示说明。电子照相机100除了可以是如下文中具体描述的构造那样,也可以是传统构造的,例如可从日本东京的尼康公司购买到的Nikon COOLPIX 5700,如图1A和1B中所看到的,电子照相机100装备有电子成像传感器模块102,该模块可以包括CMOS阵列,例如可从美国加州Sunnyvale的1341Orleans Drive的Omnivision Technologies公司购买到的CMOS阵列OVT6130,所述模块提供代表被成像场的输出。
优选地,提供一个由用户操作的成像功能选择开关104,以使得用户能够选择两种可能的成像功能的一种中的操作。在图1A所示的第一成像功能中,电子成像传感器模块102被用来对被成像场中的景象照相。在图1B所示的第二成像功能中,电子成像传感器模块102被用于响应于用户手部动作进行数据输入。
下文中将参照图4A-5B描述第一和第二成像功能的各种实施例。优选,但不是必须的,第二成像功能如图1B所示使用数据输入模板投影器106,该投影器将例如由参考标号108指定的数据输入模板投影到一个表面上,例如桌面110。优选地提供一个照明器111并且它可操作以照明邻近数据输入模板108的一个区域。成像传感器模块102观察数据输入模板区域,以检测来自照明器111的光。第二成像功能还优选结合处理功能,这种处理功能的一个例子在申请人的已公开PCT申请WO02/054169 A2中描述,该申请的公开内容通过引用结合与此。
图1A中可见,当电子照相机100在第一成像功能、又称为图片模式下工作时,提供数字图片112。类似地,在图1B中可见,当电子照相机100在第二成像功能、又称为数据模式下工作时,提供数据流114。
现参照图2A和2B,它们是根据本发明优选实施例构造和操作的装备了照相机的蜂窝式电话在两种不同操作模式下的简化图示说明。装备照相机的蜂窝式电话200除了可以是如下文中具体描述的构造那样,也可以是传统构造的,例如可从韩国汉城的三星电子公司购买到的Samsung SPH-I330,如图2A和2B中所看到的,该蜂窝式电话200装备有电子成像传感器模块202,该模块可以包括CMOS阵列,例如可从美国加州Sunnyvale的1341 Orleans Drive的OmnivisionTechnologies公司购买到的CMOS阵列OVT6130,所述模块提供代表被成像场的输出。
优选地提供一个由用户操作的成像功能选择开关204,以使得用户能够选择两种可能的成像功能的一种中的操作。在图2A所示的第一成像功能中,电子成像传感器模块202被用来对被成像场中的景象照相。在图2B所示的第二成像功能中,电子成像传感器模块202被用于响应于用户手部动作进行数据输入。
下文中将参照图4A-5B描述第一和第二成像功能的各种实施例。优选,但不是必须的,第二成像功能如图2B所示使用数据输入模板投影器206,该投影器将例如由参考标号208指定的数据输入模板投影到一个表面上,例如桌面210。优选地提供一个照明器211并且它可操作以照明邻近数据输入模板208的一个区域。成像传感器模块202观察数据输入模板区域,以检测来自照明器211的光。第二成像功能还优选结合处理功能,这种处理功能的一个例子在申请人的已公开PCT申请WO02/054169 A2中描述,该申请的公开内容通过引用结合与此。
在图2A中可见,当装备照相机的蜂窝式电话200在第一成像功能、又称为图片模式下工作时,提供数字图片212。类似地,在图2B中可见,当装备照相机的蜂窝式电话200在第二成像功能、又称为数据模式下工作时,提供数据流214。
现参照图3A和3B,它们是根据本发明优选实施例构造和操作的装备了照相机的个人数字助理在两种不同操作模式下的简化图示说明。装备照相机的个人数字助理300除了可以是如下文中具体描述的构造那样,也可以是传统构造的,例如可从韩国汉城的三星电子公司购买到的Samsung SPH-I700,如在图3A和3B中所见,该个人数字助理300装备有电子成像传感器模块302,该模块可以包括CMOS阵列,例如可从美国加州Sunnyvale的1341 Orleans Drive的OmnivisionTechnologies公司购买到的CMOS阵列OVT6130,所述模块提供代表被成像场的输出。
优选地,提供一个由用户操作的成像功能选择开关304,以使得用户能够选择两种可能的成像功能的一种中的操作。在图3A所示的第一成像功能中,电子成像传感器模块302被用来对被成像场中的景象照相。在图3B所示的第二成像功能中,电子成像传感器模块302被用于响应于用户手部动作进行数据输入。
下文中将参照图4A-5B描述第一和第二成像功能的各种实施例。优选,但不是必须的,第二成像功能如图3B所示使用数据输入模板投影器306,该投影器将例如由参考标号308指定的数据输入模板投影到一个表面上,例如桌面310。优选地提供一个照明器311并且它可操作以照明邻近数据输入模板308的一个区域。成像传感器模块302观察数据输入模板区域,以检测来自照明器311的光。第二成像功能还优选结合处理功能,这种处理功能的一个例子在申请人的已公开PCT申请WO02/054169 A2中描述,该申请的公开内容通过引用结合与此。
在图3A中可见,当装备照相机的个人数字助理300在第一成像功能、又称为图片模式下工作时,提供数字图片312。类似地,在图3B中可见,当装备照相机的个人数字助理300在第二成像功能、又称为数据模式下工作时,提供数据流314。
现参照图4A和4B,它们是根据本发明一个优选实施例的成像功能选择操作在两种不同操作模式下的简化图解示图。如在图4A和4B中所见,本发明的一种实现方式涉及使用第一和第二可选择定位的光学组件,该第一和第二光学组件可以有选择地被设置在电子成像传感器模块402的前方。
在所示实施例中,传感器模块402包括二维CMOS检测器阵列404,该阵列上覆盖有透过红外辐射的滤色镜406。透镜408将来自成像场的光聚焦到阵列404上。
图4A示出了第一可选择定位光学组件410,其优选地包括与透镜408对准的IR阻挡滤光器412。由于图4A的成像功能防止IR辐射使传感器模块402的色彩响应失真,所以它适合用于照相。
图4B示出了第二可选择定位光学组件420,其优选地包括与透镜408对准的可见光辐射阻挡滤光器422、IR带通滤光器424和场镜426。由于图4B的成像功能仅允许相对较窄的IR辐射波段从相对较宽的视场到达传感器模块402,所以它适合用于数据输入。
现参照图5A和5B,它们是根据本发明另一个优选实施例的成像功能选择操作在两种不同操作模式下的简化图解示图。在该实施例中,成像功能选择是以电子方式实现的,无需可机械移动的光学元件。
如在图5A和5B中所见,本发明的该实现方式涉及使用包括CMOS检测器阵列504的电子成像传感器模块502,所述CMOS检测器阵列上覆盖有像素式选择性光透射滤光器506的重复阵列,特征在于该阵列包括红(R)、绿(G)、蓝(B)和红外(IR)透射滤光器。透镜508将来自成像场的光聚焦到检测器阵列504。
图5A示出了图5A和5B的实施例在照相模式下的成像功能,其中只有位于R、G和B滤光器之下(underlying)的像素的输出被利用,位于R、G和B滤光器之下的每个像素的输出的相应的IR含量被从中减去。这种色彩处理防止IR辐射使传感器模块502的色彩响应失真。
图5B示出了图5A和5B的实施例在数据输入模式下的成像功能,其中只有位于IR滤光器之下的像素的输出被利用。
现参照图6,它是优选被结合于根据本发明优选实施例的图1A-5B的实施例中的投影键盘系统和方法的简化并统一化的示图。优选包括固态光源(未示出)的投影子系统550在投影表面554上定义出键盘图像552,所述投影表面优选为诸如桌面之类的无活动(inert)表面,所述固态光源照明一个空间光调制元件(未示出)。
优选包括固态光源(未示出)的照明子系统556,以放射状定向的照明图案558来导引光,所述照明图案优选在大体上平行于投影表面554的平面上延伸。可以认识到,放射状定向的照明图案558在大体上垂直于投影表面554的方向上具有非常窄的分布。还可以认识到,该放射状定向的照明图案558优选地被设置得非常接近于投影表面554。
放射状定向的照明图案558中的光在诸如用户手指、记录笔(stylus)或者其他工具的数据输入对象560上的照射,导致光从那里被散射或者反射。可以认识到,只有在数据输入对象560与在投影表面554上定义的键盘552紧密接触时,光才被散射或反射。
检测子系统562优选地使用被结合在图1A-5B的实施例中的照相机中的固态成像传感器(未示出),该子系统接收从数据输入对象560被反射或散射的光。接收到的光相对于键盘的表示被映射到成像传感器上,以将由检测子系统562感应到的数据输入对象560的位置与键盘552上的按键位置563相关联。这样,感应到的数据输入对象560的位置指示了键盘552的哪个按键正在被接合。
现参照图7,它是简化流程图,示出了根据本发明优选实施例的图6中的数据输入对象接合位置检测子系统的操作,还要参照图8,它是在图7所示数据输入对象接合位置检测子系统的操作中所使用的优选数据结构的简化示图。
图8示出了下文中相对图7所描述的数据输入对象接合位置检测方法的操作中所使用的优选数据结构的简化示图。可以认识到,照相机,例如照相机100(图1)的成像检测器一般由一套M×N个像素构成,其中特定的一组像素观察接合平面的固定区域,所述接合平面优选位于投影表面110(图1A)之上。这样,有可能位于照相机100的图像平面中的特定的像素组可以接收来自接合了按键位置563(图6)的数据输入对象560(图6)的散射光。
这样,当照相机100观察投影表面110时,照相机100的图像平面中的M×N像素中的每一个可以接收来自接合平面中的对应区域的关于与之接合的数据输入对象的光。
如在图7中所见,获取用于各种像素坐标的像素值,例如灰度电平值。当获取了每个像素值时,利用像素坐标,进行关于该像素是否在预定击键区域内,例如图9所示的击键区域600内的判断。优选地通过利用像素索引表601来进行该判断,所述像素索引表为每个像素指示该像素是否在预定击键区域内,例如击键区域605、606、607和609(图9)内,并且如果是,则指示它位于哪个击键区域内。
然后,优选地通过利用表601来确定像素在其所处的击键区域内的函数。该函数一般是加法的或者减法的,但是可替换地也可以有其他函数。通常,根据该函数,在击键区域累加器表602中为每个击键区域所保存的像素总数上加上或者从其减去像素值。
一旦一帧中的所有像素都已经如前所述地被处理,则为该帧确定更新后的背景电平(background level),并且一般通过从为每个击键区域建立的预定阈值电平中减去该更新后的背景电平来确定按键致动阈值。这优选通过利用击键区域阈值表604来实现。
优选地,随后将用于每个击键区域的击键区域累加器表602的内容与当前的按键致动阈值比较。如果在给定的一帧中,对于给定按键致动区域,累加器表602的内容超出按键致动阈值,并且在前一帧中,累加器表602的内容没有超出按键致动阈值,则提供按键致动输出。
类似地,如果在给定的一帧中,对于给定按键致动区域,累加器表602的内容没有超出按键致动阈值,并且在前一帧中,累加器表602的内容超出按键致动阈值,则提供按键消动输出。在所有其他情况下,都无需产生输出。
现参照图9,图9是如由对键盘,例如图6中所见的键盘552进行观察的二维图像传感器(图6)所检测到的,典型击键区域605、606、607和608的轮廓的简化图示说明。
现参照图10,图10是由对应于击键区域605、606、607和608(图9)的数据输入对象接合引起的典型光图案的典型覆盖区(footprint)609、610、611和612的轮廓的简化图示说明。
现参照图11A、11B和11C,它们是如图8所示用于确定像素在其所处的击键区域内的函数的三种可替换方法的简化示图,还要参照图12A、12B和12C,它们是有助于理解图11A、11B和11C的轨迹(traces)的简化示图。
现在来看图11A,其示出了沿着一个公共的任意轴618布置的对应于给定按键并包含多个像素622的简化击键区域620。由与给定按键的数据输入对象接合引起的典型光图案的典型简化覆盖区用参考标号624来指示。图10示出了对应于图9中标明了605、606、607和608的击键区域的典型覆盖区609、610、611和612的轮廓。
典型背景信号图案用参考标号634指示。参考标号635处指示覆盖区624在背景信号图案634上的叠置。参考标号636处指示覆盖区624在击键区域620之上的一维可选择重叠。参考标号637处指示背景信号图案634在击键区域620之上的一维可选择重叠。参考标号638处指示叠置635在击键区域620之上的一维可选择重叠。
图12A示出了对应于沿轴618所取的击键区域620的横截面的偏置函数640,该偏置函数沿轴618定义了击键区域620。还可以看到有对应于覆盖区624沿轴618的横截面的信号函数644;对应于背景信号图案634沿轴618的横截面的背景信号函数646以及对应于叠置635的横截面的组合信号648。
在图12A中还示出了对应于一维可选择重叠636的一维卷积650;对应于一维可选择重叠637的一维卷积652以及对应于一维可选择重叠638的一维卷积654。卷积650被示为具有阈值660;卷积652被示为具有阈值662;而卷积654被示为具有阈值664。
现在来看图11B,其示出了沿着公共的任意轴670布置的对应于给定按键并包含多个像素682的简化击键区域680。简化击键区域680在这里示为被简化击键区域边界683所包围。由数据输入对象与该给定按键的接合引起的典型光图案的典型简化覆盖区用参考标号684指示。典型背景信号图案用参考标号686指示。覆盖区684在背景信号图案686上的叠置在参考标号688处指示。参考标号690处指示覆盖区684在击键区域680和边界683之上的一维可选择重叠。参考标号692处指示背景信号图案686在击键区域680和边界683之上的一维可选择重叠。参考标号694处指示叠置688在击键区域680和边界683之上的一维可选择重叠。
图12B示出了对应于沿轴670所取的击键区域680和边界683的横截面的偏置函数700,该偏置函数沿轴670定义了击键区域680。可以看到,相对于击键区域680的值,边界683被分配了一个负值。这种值的分配被认为能够提高数据输入对象接合的值达到它们处于击键区域680内的程度,并且能够减小这样的数据输入对象接合的值达到它们延伸出了边界683的程度。还可以看到有对应于覆盖区684沿轴670的横截面的信号函数704;对应于背景信号图案686沿轴670的横截面的背景信号函数706以及对应于叠置688的横截面的组合信号708。
在图12B中还示出了对应于一维可选择重叠690的一维卷积720;对应于一维可选择重叠692的一维卷积722以及对应于一维可选择重叠694的一维卷积724。卷积720被示为具有阈值726;卷积722被示为具有阈值727;而卷积724被示为具有阈值728。
现在来看图11C,其示出了沿着公共的任意轴730布置的对应于给定按键并包含多个像素741的简化击键区域740。简化击键区域740在这里示为被简化击键区域内边界742和简化击键区域外边界743所包围。由数据输入对象与给定按键的接合引起的典型光图案的典型简化覆盖区用参考标号744指示。参考标号746指示典型背景信号图案。参考标号748处指示覆盖区744在背景信号图案746上的叠置。参考标号750处指示覆盖区744在击键区域740和边界742及743之上的一维可选择重叠。参考标号752处指示背景信号图案746在击键区域740和边界742及743之上的一维可选择重叠。参考标号754处指示叠置748在击键区域740和边界742及743之上的一维可选择重叠。
图12C示出了对应于沿轴730所取的击键区域740和边界742及743的横截面的偏置函数760,该偏置函数沿轴730定义了击键区域740。可以看到,相对于击键区域740的值,边界742被分配了一个零值而边界743被分配了一个负值。这种值的分配被认为能够提高数据输入对象接合的值达到它们处于击键区域740内的程度,并且能够减小这样的数据输入对象接合的值达到它们延伸跨过边界742并至少延伸到边界743内的程度。还可以看到对应于覆盖区744沿轴730的横截面的信号函数764;对应于背景信号图案746沿轴730的横截面的背景信号函数766以及对应于叠置748的横截面的组合信号768。
在图12C中还示出了对应于一维可选择重叠750的一维卷积780;对应于一维可选择重叠752的一维卷积782以及对应于一维可选择重叠754的一维卷积784。卷积780被示为具有阈值786;卷积782被示为具有阈值787;而卷积784被示为具有阈值788。
从对卷积638、694和754的考虑中可以认识到,图11C和12C的双边界布置提供了对数据输入对象击键接合的最佳检测,同时将背景影响最小化。
现参照图13,图13是示出了在根据本发明优选实施例而构造和操作的跟踪系统和方法中使用的数据输入对象接合位置检测子系统的操作的简化流程图。
如图13中所见,获取用于各种像素坐标的像素值,例如灰度电平值。当获取了每个像素值时,可以利用像素坐标,进行关于该像素是否在预定作用区域(active region)内的判断。一般,如果像素不处于预定作用区域内,则忽略其值。
每个像素的像素值优选是被阈值化的(thresholded),典型地所有落在给定阈值之下的像素值都被忽略。剩下的像素值可以用选定的权重参数进行加权。为了确定被阈值化并被加权的像素值的“重心”,被阈值化并被加权的像素值分别乘以代表每个像素的坐标位置的X和Y值,并且所得结果被沿着相互垂直的轴X和Y进行求和并存储在X和Y累加器中。对于整个作用区域,所有相关像素的总的被阈值化并被加权的像素值同样也被求和并存储在数据累加器中。
一旦一帧中的所有像素都已经如前所述地被处理,则沿着X和Y轴求和的被阈值化并被加权的像素值分别被除以整个作用区域的总的被阈值化并被加权的像素值,以确定代表了所需要的接合位置的“重心”的X和Y坐标。
现参照图14,图14是示出了根据本发明优选实施例的有用的同步照明功率变化功能的简化示图。图14中所示的该功能是关于对被提供用于数据输入对象接合检测的照明的量进行调制。该调制是合乎需要的,因为射到数据输入对象上以及从而被其所散射的光的强度随着照明器830与数据输入对象之间的距离而减小。这样,可以认识到,射到数据输入对象832上的光的量实质上大于射到数据输入对象834上的光的量。此外,射到检测器836上的散射光的量随着数据输入对象与检测器之间的距离而减小。这两个距离相关性使得数据输入对象接合的检测较困难。
为了克服这一困难,根据本发明的优选实施例提供了可变强度驱动电子装置840,其被耦合到照明器830和检测器836,并使得照明器830所产生的光的强度同步于检测器836的成像场位置而变化,变化的方式一般是斜坡方式。
这样,可以看到,当接合表面554(图6)的近处部分(A)被成像(一般是在检测器836的顶部A)时,强度处于最小。当接合表面554的中间部分(B)被成像(一般是在检测器836的中间)时,强度处于中间水平,而当接合表面554的远处部分(C)被成像(一般是在检测器836的底部(C))时,强度处于最大。
可变强度驱动电子装置840优选地通过向检测器836提供同步输出842并向照明器830提供对应的同步输出844来工作,使得强度水平同步于检测器836中被扫描的图像区域的位置而及时增大。
现参照图15,图15是在车辆进入控制系统中实现的数据输入装置的部分图示、部分图解形式的简化示图。如在图15中所见,车辆1500一般包括车架、传动系统和底盘,包括至少一个可锁闭入口或门1502以及入口开锁功能,车辆1500包括用参考标号1504来总体标明的入口控制组件。
进入控制组件1504优选包括至少一个至少部分透光的用户手指接合表面,该表面可以从底盘的外部接触到。在所示的实施例中,在车门窗户1508上定义了多个用户手指接合表面1506。优选被设置在车辆外壳以内的照明器1510,例如红外线发生器(IR line generator),可操作以照明邻近用户手指接合表面1506的手指接合平面1512。在申请人的已公开的PCT申请WO02/054169 A2中描述了一种优选的红外线发生器,该申请的内容通过引用被结合于此。
位于车辆外壳以内的二维成像传感器1514从车门窗户1508内侧的一个位置上观察手指接合表面1506,以检测从照明器1510发出的、由于用户手指与手指接合表面1506的接合而被散射的光。在申请人的已公开的PCT申请WO02/054169 A2中描述了一种优选的二维成像传感器1514,该申请所公开的内容通过引用被结合于此。
数据输入处理器1516接收来自二维成像传感器1514的输出,并向传统车门开锁功能(未示出)提供数据输入输入信号。
现参照图16,图16是图15的数据输入装置中的一种变型的简化图解示图。如在图16中所见,车辆1600一般包括车架、传动系统和底盘,所述底盘包括至少一个可锁闭入口或门1602以及入口开锁功能,车辆1600包括用参考标号1604来总体标明的入口控制组件。
入口控制组件1604优选包括至少一个至少部分透光的用户手指接合表面,该表面可以从底盘的外部接触到。在所示的实施例中,在车门窗户1608上定义了多个用户手指接合表面1606。优选地设置在车辆外壳以内的照明器1610,例如红外线发生器,可操作以照明邻近用户手指接合表面1606的手指接合平面1612。在申请人的已公开的PCT申请WO02/054169 A2中描述了一种优选的红外线发生器,该申请所公开的内容通过引用被结合于此。
在图16的实施例中,由于提供了一个一般沿着从照明器1610开始的光路被置于车窗1608的外部上的棱镜1613,手指接合平面1612平行于手指接合表面1606。
位于车辆外壳以内的二维成像传感器1614从车门窗户1608内侧的一个位置上观察手指接合表面1606,以检测从照明器1610发出的、由于用户手指与手指接合表面1606的接合而被散射的光。在申请人的已公开的PCT申请WO02/054169 A2中描述了一种优选的二维成像传感器1614,该申请所公开的内容通过引用被结合于此。
数据输入处理器1616接收来自二维成像传感器1614的输出,并向传统车门开锁功能(未示出)提供数据输入输入信号。
可以认识到,图15和16的装置的部分可以在其他类型的入口控制环境中以及各种数据输入环境中得以应用。
现参照图17,图17是根据本发明另一个优选实施例而构造和操作的数据输入装置的简化图示说明。如在图17中所见,优选是记录笔1700形式的发光的数据输入接合元件,当且仅当它处于至少预定的接近接合表面1702处时才发射光。
二维成像传感器1704观察接合表面1702,以检测记录笔1700所发射的光。数据输入处理器1706接收来自二维成像传感器1704的输出,并提供数据输入输入信号。
如在图17中所见,记录笔1700优选包括位于其IR透射尖端1710内的IR发射LED1708。例如接触开关的接近开关1712提供指示尖端1710向接合表面1702接近的输出。电路1714接收来自接近开关1712的输入,并相应地操作LED1708,以便提供IR发射,该IR发射的位置指示了笔触及接合表面1702的位置。
现参照图18A和18B,它们分别是根据本发明另一个优选实施例而构造和操作的数据输入装置的简化图示说明和简化截面示图。如在图18A和18B中所见,数据输入装置包括投影器1800,该投影器可操作以照明至少一个接合表面1802并在其上定义至少一个触垫区域1804和至少一个键盘区域1806,该触垫区域1804是通过投影器1800所提供的零级衍射图像而定义的。
现在具体来看图18B,可以看到,投影器1800包括光源,例如二极管激光器1810,该光源经由准直透镜1812向第一衍射光学元件1814上进行输出。衍射光学元件1814将射到其上的光衍射成初级键盘图像光束1816和次级重影(ghost image)光束1818,光束1816射到至少一个键盘区域1806上,光束1818优选被屏障1819阻隔。剩下的穿过衍射光学元件1814的光定义了零级光束1820,其射到第二衍射光学元件1822上。
衍射光学元件1822将从零级光束1820射到其上的光衍射成触垫定义光束1824,其射到至少一个触垫区域1804上。
回到图18A,可以看到还提供有可操作以照明手指接合表面的照明器1830。二维成像传感器1832观察接合表面,以检测来自照明器1830的、由于用户的手指与手指接合表面的接合而被散射的光。数据输入处理器1834接收来自二维成像传感器1832的输出并提供数据输入输入信号。
现参照图19A和19B,它们分别是根据本发明的另一个实施例而构造和操作的数据输入装置的简化图示说明和简化截面示图。如在图19A和19B中所见,数据输入装置包括投影器1900,该投影器可操作以照明至少一个手指接合表面1902并典型地在其上定义至少一个键盘区域1904。照明器1906可操作以照明手指接合表面1902。
包括有二维成像传感器1910的成像传感器模块1908观察接合表面,以检测来自照明器1906的、由于用户手指与手指接合表面1902的接合而被散射的光。成像传感器模块1908的一个特殊特征在于它包括光楔元件1912,该光楔元件提供一个倾斜,使得大体上垂直放置的成像传感器1910能够有效地检测来自大体上垂直于其延伸的手指接合表面1902的光。
数据输入处理器1914接收来自二维成像传感器1910的输出并提供数据输入输入信号。
现参照图20A和20B,它们分别是根据本发明的另一个优选实施例而构造和操作的数据输入装置的简化图示说明和简化截面示图。如在图20A和20B中所见,数据输入装置包括投影器2000,该投影器可操作以照明至少一个手指接合表面2002并典型地在其上定义至少一个键盘区域2004。照明器2006可操作以照明手指接合表面2002。
包括有二维成像传感器2010的成像传感器模块2008观察接合表面,以检测来自照明器2006的、由于用户手指与手指接合表面2002的接合而被散射的光。成像传感器模块2008的一个特殊特征在于它包括一对相反朝向的光楔元件2012和2014,它们中的每一个都为进入检测器2010光的一部分提供倾斜,使得能够有效地利用大体上为矩形的成像检测器的区域,如参考标号2016处所见。
现在参照图21,图21是根据本发明的另一个实施例而构造和操作的数据输入装置的简化图示说明。如在图21中所见,数据输入装置包括投影器2100,该投影器可操作以照明至少一个手指接合表面2102并典型地在其上定义至少一个键盘区域2104。照明器2106可操作以照明手指接合表面2102。
包括有二维成像传感器2110的成像传感器模块2108观察接合表面,以检测来自照明器2106的、由于用户手指与手指接合表面2102的接合而被散射的光。
照明器2106的一个特殊特征在于定义了辅助光路2112,该辅助光路触及手指接合表面2102上的正确定位确认位置2114,该位置2114邻近照明器并优选地比所述至少一个键盘区域2104更靠近照明器。成像传感器模块2108检测位置2114处照明的存在,并且在没有在该位置处检测到照明的情况下(通常指示数据输入装置的放置不正确),通常关闭数据输入装置。
数据输入处理器2116接收来自二维成像传感器2110的输出并提供数据输入输入信号。
现参照图22,图22是根据本发明另一个优选实施例而构造和操作的手表形式的数据输入装置的简化图示说明。手表2200除了可以是如下文中具体描述的构造那样,也可以是传统构造的,如在图22中所见,手表2200装备有电子成像传感器模块2202,该模块可以包括CMOS阵列,例如可从美国加州Sunnyvale的1341 Orleans Drive的Omnivision Technologies公司购买到的CMOS阵列OVT6130,所述模块提供代表被成像场的输出。
优选提供一个由用户操作的成像功能选择开关2204,以使得用户能够选择数据输入功能中的操作,所述数据输入功能利用电子成像传感器模块2202以响应于用户手部动作进行数据输入。
数据输入功能优选使用数据输入模板投影器2206,该投影器将例如由参考标号2208指定的数据输入模板投影到一个表面上,例如桌面2210。照明器2212可操作以照明邻近数据输入模板的一个区域。成像传感器模块2202观察数据输入模板区域,以检测来自照明器2212的、由于用户手指与数据输入模板的接合而被散射的光。
数据输入功能还优选结合处理功能,这种处理功能的一个例子在申请人的已公开PCT申请WO02/054169 A2中描述。该申请所公开的内容通过引用结合与此。数据输入功能产生数据流2214。
现参照图23,图23是根据本发明另一个优选实施例而构造和操作的游戏装置的简化图示说明。游戏装置的一个例子是棋盘游戏,例如国际象棋,如在图23中所见,游戏装置设置有电子成像传感器模块2302,该模块可以包括CMOS阵列,例如可从美国加州Sunnyvale的1341 Orleans Drive的Omnivision Technologies公司购买到的CMOS阵列OVT6130,所述模块提供代表被成像场的输出。
优选提供一个由用户操作的成像功能选择开关2304,以使得用户能够选择诸如不同的棋盘游戏的多种游戏功能之一的操作,所述游戏功能利用电子成像传感器模块2303以定位游戏棋子。
游戏功能优选地使用游戏模板投影器2306,该投影器将由参考标号2308指定的游戏模板,例如国际象棋棋盘投影到一表面上,例如桌面2310上。照明器2312可操作以照明邻近游戏模板2308的一个区域。成像传感器模块2302观察游戏模板区域,以检测来自照明器2312的、被安装在单个的游戏棋子2316上的经光学编码的反射器所反射的光。该反射器2314优选地单独识别各个游戏棋子并指示其在游戏模板2308上的位置。
游戏功能还优选结合处理功能,这种处理功能的一个例子在申请人的已公开PCT申请WO02/054169 A2中描述。该申请所公开的内容通过引用结合与此。游戏功能产生数据流2316,该数据流可被用于游戏管理和记分。
现参照图24,图24是根据本发明另一个优选实施例而构造和操作的游戏装置的简化图示说明。图24示出了游戏棋子,例如骰子2402,该骰子在其各个表面上携带有各种不同编码的反射器2404,从而使得不仅能够识别和定位,而且还能够获知待检测的游戏棋子的空间定向。
本领域的技术人员应该认识到,本发明不限于上文中已经具体示出和描述的内容。确切的,本发明的范围包括上文所描述的各种特征的组合和次组合,以及现有技术中没有的、在阅读了以上说明书之后本领域的人员会想到的其修改和变型。
Claims (148)
1、一种电子照相机,包括:
提供代表被成像场的输出的电子成像传感器;
使用所述电子成像传感器以对所述被成像场中的景象照相的第一成像功能;
使用所述电子成像传感器以响应于用户手部动作进行数据输入的第二成像功能;和
可操作以使得用户能够选择所述第一和第二成像功能之一中的操作的用户操作成像功能选择开关。
2、如权利要求1所述的电子照相机,其中所述电子成像传感器包括CMOS传感器。
3、如以上权利要求中任何一个所述的电子照相机,其中所述第一成像功能结合了所述电子成像传感器上游的第一透镜装置。
4、如以上权利要求中任何一个所述的电子照相机,其中所述第二成像功能结合了所述电子成像传感器上游的第二透镜装置。
5、如以上权利要求中任何一个所述的电子照相机,其中所述第二成像功能结合了红外光发生器以确定一光束,由于所述的用户手部动作而得到的该光束的照射产生代表所述数据的光图案。
6、如权利要求5所述的电子照相机,其中所述第二成像功能还结合了至少一个与所述电子成像传感器相关联的可通过红外光的滤光器。
7、如以上权利要求中任何一个所述的电子照相机,其中所述第二成像功能结合了处理器,该处理器接收来自所述电子成像传感器的输出以提供数据输入输出信号。
8、如权利要求7所述的电子照相机,其中所述处理器与所述电子成像传感器一起结合在单个芯片上。
9、如以上权利要求中任何一个所述的电子照相机,其中所述第一功能是彩色照相功能。
10、如以上权利要求中任何一个所述的电子照相机,其中所述第二功能是红外光束照射检测数据输入功能。
11、如以上权利要求中任何一个所述的电子照相机,其中所述用户操作成像功能选择开关是机械响应开关,该开关可选择地以机械方式与所述电子成像传感器上游的所述第一和第二透镜装置相关联。
12、如以上权利要求中任何一个所述的电子照相机,其中所述用户操作成像功能选择开关是机械响应开关,该开关可选择地将选定的滤光器与所述电子成像传感器以机械方式相关联。
13、如以上权利要求中任何一个所述的电子照相机,其中所述用户操作成像功能选择开关是电子响应开关,该开关可选择地以电子方式确定对来自所述电子成像传感器的预定部分的选定输出的响应。
14、如以上权利要求中任何一个所述的电子照相机,包括布置在所述电子成像传感器之上的可通过红、绿、蓝以及红外光的像素式元件的阵列。
15、如以上权利要求中任何一个所述的电子照相机,还包括由所述第二成像功能所使用的数据输入模板投影器。
16、如以上权利要求中任何一个所述的电子照相机,还包括由所述第二成像功能所使用的照明器。
17、如以上权利要求中任何一个所述的电子照相机,还包括同步照明功率变化功能。
18、一种电子照相机,包括:
提供代表被成像场的输出的电子成像传感器;和
布置在所述电子成像传感器之上的可通过红、绿、蓝以及红外光的像素式元件的阵列。
19、一种电子照相机,包括:
提供代表被成像场的输出的电子成像传感器;
第一成像功能,其以可见光辐射成像模式使用所述电子成像传感器以对所述被成像场中的景象照相;以及
第二成像功能,其以红外辐射检测模式使用所述电子成像传感器以响应于用户手部动作进行数据输入。
20、如权利要求19所述的电子照相机,包括布置在所述电子成像传感器之上的可通过红、绿、蓝以及红外光的像素式元件的阵列。
21、如权利要求20所述的电子照相机,其中在所述第一成像功能中,使用了在所述可透过红、绿、蓝光的元件之下的像素的输出。
22、如权利要求21所述的电子照相机,其中在所述可通过红外光的元件之下的像素的输出被用来防止所述成像传感器的色彩响应失真。
23、如权利要求20所述的电子照相机,其中在所述第二成像功能中,使用了在所述可通过红外光的元件之下的像素的输出。
24、如权利要求18-23中任何一个所述的电子照相机,还包括处理器。
25、如以上权利要求中任何一个所述的电子照相机,其中所述电子照相机形成为电话的一部分。
26、如以上权利要求中任何一个所述的电子照相机,其中所述电子照相机形成为个人数字助理的一部分。
27、如以上权利要求中任何一个所述的电子照相机,其中所述电子照相机形成为手表的一部分。
28、如权利要求7-17以及24中任何一个所述的电子照相机,其中所述处理器包括以下功能:
在获取了每个像素值时,利用像素坐标确定该像素是否处于预定击键区域之内;
获取用于处于所述预定击键区域之内的所述像素坐标的像素值;
基于确定每个像素的像素函数,在为每个所述击键区域保存的像素总数中加上或者从中减去每个所述像素值;
将每个所述击键区域的所述像素总数与当前按键致动阈值比较;
如果对于一给定帧中的一给定的击键区域,像素总数超出按键致动阈值,并且在前一帧中对于该击键区域,像素总数未超出按键致动阈值,则提供按键致动输出;并且
如果对于一给定帧中的一给定的击键区域,像素总数未超出按键致动阈值,并且在前一帧中对于该击键区域,像素总数超出按键致动阈值,则提供按键消动输出。
29、如权利要求28所述的电子照相机,其中所述确定像素是否处于预定击键区域中是通过使用像素索引表进行的,所述像素索引表为每个像素指示该像素是否处在预定击键区域之内,并且如果是,则指示其处在哪个击键区域内。
30、如权利要求28和29中任何一个所述的电子照相机,其中所述两个确定步骤都使用所述像素索引表。
31、如权利要求28-30中任何一个所述的电子照相机,其中在击键区域累加器表中为每个击键区域保存所述像素总数。
32、如权利要求28-31中任何一个所述的电子照相机,其中所述比较使用击键区域阈值表。
33、如权利要求32所述的电子照相机,还包括以下功能:
一旦一帧中的所有像素都已经被处理,则确定用于一帧的更新后的背景电平;以及
通过从为每个击键区域建立的预定阈值电平中减去所述更新后的背景电平,为所述击键区域阈值表确定按键致动阈值。
34、如以上权利要求28-33中任何一个所述的电子照相机,其中所述像素函数包括将所述击键区域中的多个像素的像素值相加。
35、如以上权利要求28-34中任何一个所述的电子照相机,其中所述处理器可操作以确定所述二维图像传感器中像素的像素值的“重心”。
36、如以上权利要求28-35中任何一个所述的电子照相机,其中所述处理器包括以下功能:
在获取了每个像素值时,利用像素坐标确定该像素是否处在预定作用区域之内;
获取用于不同像素坐标的像素值;以及
确定像素值的“重心”。
37、如权利要求36所述的电子照相机,其中确定“重心”是通过以下步骤完成的:
将所述像素值乘以代表每个像素的地理位置的X和Y值;
沿着相互垂直的轴X和Y对所得到的结果求和;
对所述作用区域的所有相关像素的像素值的总数求和;以及
将所述求和得到的结果除以所述像素值的所述总数,以确定代表所期望的接合位置的“重心”的X和Y坐标。
38、如权利要求36和37中任何一个所述的电子照相机,其中所述像素值在对其求和之前是被阈值化的。
39、一种便携式电话,包括:
电话功能;
提供代表被成像场的输出的电子成像传感器;
使用所述电子成像传感器以对所述被成像场中的景象照相的第一成像功能;
使用所述电子成像传感器以响应于用户手部动作进行数据输入的第二成像功能;和
可操作以使得用户能够选择所述第一和第二成像功能之一中的操作的用户操作成像功能选择开关。
40、如权利要求39所述的便携式电话,其中所述电子成像传感器包括CMOS传感器。
41、如权利要求39或40所述的便携式电话,其中所述第一成像功能结合了所述电子成像传感器上游的第一透镜装置。
42、如权利要求39-41中任何一个所述的便携式电话,其中所述第二成像功能结合了所述电子成像传感器上游的第二透镜装置。
43、如权利要求39-42中任何一个所述的便携式电话,其中所述第二成像功能结合了红外光发生器以确定一光束,由于所述的用户手部动作而得到的该光束的照射产生代表所述数据的光图案。
44、如权利要求43所述的便携式电话,其中所述第二成像功能还结合了至少一个与所述电子成像传感器相关联的可通过红外光的滤光器。
45、如权利要求39-44中任何一个所述的便携式电话,其中所述第二成像功能结合了处理器,该处理器接收来自所述电子成像传感器的输出以提供数据输入输出信号。
46、如权利要求45所述的便携式电话,其中所述处理器与所述电子成像传感器一起结合在单个芯片上。
47、如权利要求39-46中任何一个所述的便携式电话,其中所述第一功能是彩色照相功能。
48、如权利要求39-47中任何一个所述的便携式电话,其中所述第二功能是红外光束照射检测数据输入功能。
49、如权利要求39-48中任何一个所述的便携式电话,其中所述用户操作成像功能选择开关是机械响应开关,该开关可选择地以机械方式与所述电子成像传感器上游的所述第一和第二透镜装置相关联。
50、如权利要求39-49中任何一个所述的便携式电话,其中所述用户操作成像功能选择开关是机械响应开关,该开关可选择地将选定的滤光器与所述电子成像传感器以机械方式相关联。
51、如权利要求39-50中任何一个所述的便携式电话,其中所述用户操作成像功能选择开关是电子响应开关,该开关可选择地以电子方式确定对来自所述电子成像传感器的预定部分的选定输出的响应。
52、如权利要求39-51中任何一个所述的便携式电话,包括布置在所述电子成像传感器之上的可通过红、绿、蓝以及红外光的像素式元件的阵列。
53、如权利要求39-52中任何一个所述的便携式电话,还包括由所述第二成像功能所使用的数据输入模板投影器。
54、如权利要求39-53中任何一个所述的便携式电话,还包括由所述第二成像功能所使用的照明器。
55、如权利要求39-54中任何一个所述的便携式电话,还包括同步照明功率变化功能。
56、一种便携式电话,包括:
电话功能;
提供代表被成像场的输出的电子成像传感器;和
布置在所述电子成像传感器之上的可通过红、绿、蓝以及红外光的像素式元件的阵列。
57、一种便携式电话,包括:
电话功能;
提供代表被成像场的输出的电子成像传感器;
第一成像功能,其以可见光辐射成像模式使用所述电子成像传感器以对所述被成像场中的景象照相;以及
第二成像功能,其以红外辐射检测模式使用所述电子成像传感器以响应于用户手部动作进行数据输入。
58、如权利要求57所述的便携式电话,包括布置在所述电子成像传感器之上的可通过红、绿、蓝以及红外光的像素式元件的阵列。
59、如权利要求58所述的便携式电话,其中在所述第一成像功能中,使用在所述可透过红、绿、蓝光的元件之下的像素的输出。
60、如权利要求59所述的便携式电话,其中在所述可通过红外光的元件之下的像素的输出被用来防止所述成像传感器的色彩响应失真。
61、如权利要求58所述的便携式电话,其中在所述第二成像功能中,使用在所述可通过红外光的元件之下的像素的输出。
62、如权利要求56-61中任何一个所述的便携式电话,还包括处理器。
63、如权利要求45-55以及62中任何一个所述的便携式电话,其中所述处理器包括以下功能:
在获取了每个像素值时,利用像素坐标确定该像素是否处于预定击键区域之内;
为处于所述预定击键区域之内的所述像素坐标获取像素值;
基于确定每个像素的像素函数,在为每个所述击键区域保存的像素总数中加上或者从中减去每个所述像素值;
将每个所述击键区域的所述像素总数与当前按键致动阈值比较;
如果在给定帧中对于给定的击键区域,像素总数超出按键致动阈值,并且在前一帧中对于该击键区域,像素总数未超出按键致动阈值,则提供按键致动输出;并且
如果在给定帧中对于给定的击键区域,像素总数未超出按键致动阈值,并且在前一帧中对于该击键区域,像素总数超出按键致动阈值,则提供按键消动输出。
64、如权利要求63所述的便携式电话,其中所述确定像素是否处于预定击键区域中是通过使用像素索引表进行的,所述像素索引表为每个像素指示该像素是否处在预定击键区域之内,并且如果是,则指示它处在哪个击键区域内。
65、如权利要求63和64中任何一个所述的便携式电话,其中所述两个确定步骤都使用所述像素索引表。
66、如权利要求63-65中任何一个所述的便携式电话,其中在击键区域累加器表中为每个击键区域保存所述像素总数。
67、如权利要求63-66中任何一个所述的便携式电话,其中所述比较使用击键区域阈值表。
68、如权利要求67所述的便携式电话,还包括以下功能:
一旦一帧中的所有像素都已经被处理,确定一帧的更新后的背景电平;以及
通过从为每个击键区域建立的预定阈值电平中减去所述更新后的背景电平,为所述击键区域阈值表确定按键致动阈值。
69、如以上权利要求63-68中任何一个所述的便携式电话,其中所述像素函数包括将所述击键区域中的多个像素的像素值相加。
70、如以上权利要求63-69中任何一个所述的便携式电话,其中所述处理器可操作以确定所述二维图像传感器中像素的像素值的“重心”。
71、如以上权利要求63-70中任何一个所述的便携式电话,其中所述处理器包括以下功能:
在获取了每个像素值时,利用像素坐标确定该像素是否处在预定作用区域之内;
为不同像素坐标获取像素值;以及
确定像素值的“重心”。
72、如权利要求71所述的便携式电话,其中确定“重心”是通过以下步骤完成的:
将所述像素值乘以代表每个像素的地理位置的X和Y值;
沿着相互垂直的轴X和Y对所得到的结果求和;
对所述作用区域中的所有相关像素的像素值的总数求和;以及
将所述求和得到的结果除以所述像素值的所述总数,以确定代表所期望的接合位置的“重心”的X和Y坐标。
73、如权利要求71和72中任何一个所述的便携式电话,其中所述像素值在对其求和之前是被阈值化的。
74、一种数字个人助理,包括:
至少一个个人数字助理功能;
提供代表被成像场的输出的电子成像传感器;
使用所述电子成像传感器以对所述被成像场中的景象照相的第一成像功能;
使用所述电子成像传感器以响应于用户手部动作进行数据输入的第二成像功能;和
可操作以使得用户能够选择所述第一和第二成像功能之一中的操作的用户操作成像功能选择开关。
75、如权利要求74所述的数字个人助理,其中所述电子成像传感器包括CMOS传感器。
76、如权利要求74或75所述的数字个人助理,其中所述第一成像功能结合了所述电子成像传感器上游的第一透镜装置。
77、如权利要求74-76中任何一个所述的数字个人助理,其中所述第二成像功能结合了所述电子成像传感器上游的第二透镜装置。
78、如权利要求74-77中任何一个所述的数字个人助理,其中所述第二成像功能结合了红外光发生器以确定一光束,由于所述的用户手部动作而得到该光束的照射产生代表所述数据的光图案。
79、如权利要求78所述的数字个人助理,其中所述第二成像功能还结合了至少一个与所述电子成像传感器相关联的可通过红外光的滤光器。
80、如权利要求74-79中任何一个所述的数字个人助理,其中所述第二成像功能结合了处理器,该处理器接收来自所述电子成像传感器的输出以提供数据输入输出信号。
81、如权利要求80所述的数字个人助理,其中所述处理器与所述电子成像传感器一起结合在单个芯片上。
82、如权利要求74-81中任何一个所述的数字个人助理,其中所述第一功能是彩色照相功能。
83、如权利要求74-82中任何一个所述的数字个人助理,其中所述第二功能是红外光束照射检测数据输入功能。
84、如权利要求74-83中任何一个所述的数字个人助理,其中所述用户操作成像功能选择开关是机械响应开关,该开关可选择地以机械方式与所述电子成像传感器上游的所述第一和第二透镜装置相关联。
85、如权利要求74-84中任何一个所述的数字个人助理,其中所述用户操作成像功能选择开关是机械响应开关,该开关可选择地将选定的滤光器与所述电子成像传感器以机械方式相关联。
86、如权利要求74-85中任何一个所述的数字个人助理,其中所述用户操作成像功能选择开关是电子响应开关,该开关可选择地以电子方式确定对来自所述电子成像传感器的预定部分的选定输出的响应。
87、如权利要求74-86中任何一个所述的数字个人助理,包括布置在所述电子成像传感器之上的可通过红、绿、蓝以及红外光的像素式元件的阵列。
88、如权利要求74-87中任何一个所述的数字个人助理,还包括由所述第二成像功能所使用的数据输入模板投影器。
89、如权利要求74-88中任何一个所述的数字个人助理,还包括由所述第二成像功能所使用的照明器。
90、如权利要求74-89中任何一个所述的数字个人助理,还包括同步照明功率变化功能。
91、一种数字个人助理,包括:
至少一个个人数字助理功能;
提供代表被成像场的输出的电子成像传感器;和
布置在所述电子成像传感器之上的可通过红、绿、蓝以及红外光的像素式元件的阵列。
92、一种数字个人助理,包括:
至少一个个人数字助理功能;
提供代表被成像场的输出的电子成像传感器;
第一成像功能,其以可见光辐射成像模式使用所述电子成像传感器以对所述被成像场中的景象照相;以及
第二成像功能,其以红外辐射检测模式使用所述电子成像传感器以响应于用户手部动作进行数据输入。
93、如权利要求92所述的数字个人助理,包括布置在所述电子成像传感器之上的可通过红、绿、蓝以及红外光的像素式元件的阵列。
94、如权利要求93所述的数字个人助理,其中在所述第一成像功能中,使用在所述可透过红、绿、蓝光的元件之下的像素的输出。
95、如权利要求94所述的数字个人助理,其中在所述可通过红外光的元件之下的像素的输出被用来防止所述成像传感器的色彩响应失真。
96、如权利要求93所述的数字个人助理,其中在所述第二成像功能中,使用在所述可通过红外光的元件之下的像素的输出。
97、如权利要求91-96中任何一个所述的数字个人助理,还包括处理器。
98、如权利要求80-90以及97中任何一个所述的数字个人助理,其中所述处理器包括以下功能:
在获取了每个像素值时,利用像素坐标确定该像素是否处于预定击键区域之内;
为处于所述预定击键区域之内的所述像素坐标获取像素值;
基于确定每个像素的像素函数,在为每个所述击键区域保存的像素总数中加上或者从中减去每个所述像素值;
将每个所述击键区域的所述像素总数与当前按键致动阈值比较;
如果在给定帧中对于给定的击键区域,像素总数超出按键致动阈值,并且在前一帧中对于该击键区域,像素总数未超出按键致动阈值,则提供按键致动输出;并且
如果在给定帧中对于给定的击键区域,像素总数未超出按键致动阈值,并且在前一帧中对于该击键区域,所像素总数超出按键致动阈值,则提供按键消动输出。
99、如权利要求98所述的数字个人助理,其中所述确定像素是否处于预定击键区域中是通过使用像素索引表进行的,所述像素索引表为每个像素指示该像素是否处在预定击键区域之内,并且如果是,则指示它处在哪个击键区域内。
100、如权利要求98和99中任何一个所述的数字个人助理,其中所述两个确定步骤都使用了所述像素索引表。
101、如权利要求98-100中任何一个所述的数字个人助理,其中在击键区域累加器表中为每个击键区域保存所述像素总数。
102、如权利要求98-101中任何一个所述的数字个人助理,其中所述比较使用击键区域阈值表。
103、如权利要求102所述的数字个人助理,还包括以下功能:
一旦一帧中的所有像素都已经被处理,确定一帧的更新后的背景电平;以及
通过从为每个击键区域建立的预定阈值电平中减去所述更新后的背景电平,为所述击键区域阈值表确定按键致动阈值。
104、如权利要求98-103中任何一个所述的数字个人助理,其中所述像素函数包括将所述击键区域中的多个像素的像素值相加。
105、如权利要求98-104中任何一个所述的数字个人助理,其中所述处理器可操作以确定所述二维图像传感器中像素的像素值的“重心”。
106、如权利要求98-105中任何一个所述的数字个人助理,其中所述处理器包括以下功能:
在获取了每个像素值时,利用像素坐标确定该像素是否处在预定作用区域之内;
为不同像素坐标获取像素值;以及
确定像素值的“重心”。
107、如权利要求106所述的数字个人助理,其中确定“重心”是通过以下步骤完成的:
将所述像素值乘以代表每个像素的地理位置的X和Y值;
沿着相互垂直的轴X和Y对所得到的结果求和;
对所述作用区域中的所有相关像素的像素值的总数求和;以及
将所述求和得到的结果除以所述像素值的所述总数,以确定代表所需接合位置的“重心”的X和Y坐标。
108、如权利要求106和107中任何一个所述的数字个人助理,其中所述像素值在对其求和之前是被阈值化的。
109、一种手表,包括:
手表功能;
提供代表被成像场的输出的电子成像传感器;
使用所述电子成像传感器以对所述被成像场中的景象照相的第一成像功能;
使用所述电子成像传感器以响应于用户手部动作进行数据输入的第二成像功能;和
可操作以使得用户能够选择所述第一和第二成像功能之一中的操作的用户操作成像功能选择开关。
110、一种车辆,包括:
车架、传动系统和底盘,包括至少一个可锁闭入口以及入口开锁功能;和
进入控制组件,用于管理向所述至少一个可锁闭入口的授权的进入,包括:
至少一个可以从所述底盘外部接触到的、至少部分透光的用户手指接合表面;
照明器,其可操作以照明邻近所述至少一个用户手指接合表面的至少一个用户手指接合平面;
二维成像传感器,其从所述至少一个手指接合表面内侧的位置上观察所述至少一个用户手指接合表面,以检测来自所述照明器的、由于用户的手指与所述至少一个手指接合表面的接合而被散射的光;和
数据输入处理器,其接收来自所述二维成像传感器的输出并向所述入口开锁功能提供数据输入输入信号。
111、如权利要求110所述的车辆,其中所述照明器位于所述至少一个接合表面内侧的位置上。
112、如权利要求110或111所述的车辆,其中所述至少一个手指接合表面包括多个手指接合表面的一维阵列。
113、如权利要求110或111所述的车辆,其中所述至少一个手指接合表面包括多个手指接合表面的二维阵列。
114、如以上权利要求110-113中任何一个所述的车辆,还包括照明导引器,该照明导引器与所述照明器合作以提供大体上平行于所述至少一个手指接合表面的照明光束。
115、如权利要求114所述的车辆,其中所述照明导引器包括棱镜。
116、一种用于车辆的进入控制装置,所述车辆包括底盘,具有至少一个可锁闭入口以及入口开锁功能,并且还包括至少一个可以从所述底盘外部接触到的、至少部分透光的用户手指接合表面,所述进入控制装置包括:
照明器,其可操作以照明所述至少一个用户手指接合表面;
二维成像传感器,其从所述至少一个手指接合表面内侧的位置上观察所述至少一个用户手指接合表面,以检测来自所述照明器的、由于用户的手指与所述至少一个手指接合表面的接合而被散射的光;和
数据输入处理器,其接收来自所述二维成像传感器的输出并向所述入口开锁功能提供数据输入输入信号。
117、如权利要求116所述的进入控制装置,其中所述照明器位于所述至少一个接合表面内侧的位置上。
118、如权利要求116或117所述的进入控制装置,其中所述至少一个手指接合表面包括多个手指接合表面的一维阵列。
119、如权利要求116或117所述的进入控制装置,其中所述至少一个手指接合表面包括多个手指接合表面的二维阵列。
120、如以上权利要求116-119中任何一个所述的进入控制装置,还包括照明导引器,该照明导引器与所述照明器合作以提供大体上平行于所述至少一个手指接合表面的照明光束。
121、如权利要求120所述的进入控制装置,其中所述照明导引器包括棱镜。
122、一种用于外壳的进入控制装置,所述外壳具有至少一个可锁闭入口以及入口开锁功能,并且还包括至少一个可以从所述外壳外部接触到的、至少部分透光的用户手指接合表面,所述进入控制装置包括:
照明器,其可操作以照明所述至少一个用户手指接合表面;
二维成像传感器,其从所述至少一个手指接合表面内侧的位置上观察所述至少一个用户手指接合表面,以检测来自所述照明器的、由于用户的手指与所述至少一个手指接合表面的接合而被散射的光;和
数据输入处理器,其接收来自所述二维成像传感器的输出并向所述入口开锁功能提供数据输入输入信号。
123、如权利要求122所述的进入控制装置,其中所述照明器位于所述至少一个接合表面内侧的位置上。
124、如权利要求122或123所述的进入控制装置,其中所述至少一个手指接合表面包括多个手指接合表面的一维阵列。
125、如权利要求122或123所述的进入控制装置,其中所述至少一个手指接合表面包括多个手指接合表面的二维阵列。
126、如以上权利要求122-125中任何一个所述的进入控制装置,还包括照明导引器,该照明导引器与所述照明器合作以提供大体上平行于所述至少一个手指接合表面的照明光束。
127、如权利要求126所述的进入控制装置,其中所述照明导引器包括棱镜。
128、一种数据输入装置,与至少一个至少部分透光的用户手指接合表面一起使用,所述数据输入装置包括:
照明器,其可操作以照明所述至少一个用户手指接合表面;
二维成像传感器,其从所述至少一个手指接合表面内侧的位置上观察所述至少一个用户手指接合表面,以检测来自所述照明器的、由于用户的手指与所述至少一个手指接合表面的接合而被散射的光;和
数据输入处理器,其接收来自所述二维成像传感器的输出并提供数据输入输入信号。
129、如权利要求128所述的数据输入装置,其中所述照明器位于所述至少一个接合表面内侧的位置上。
130、如权利要求128或129所述的数据输入装置,其中所述至少一个手指接合表面包括多个手指接合表面的一维阵列。
131、如权利要求128或129所述的数据输入装置,其中所述至少一个手指接合表面包括多个手指接合表面的二维阵列。
132、如以上权利要求128-131中任何一个所述的数据输入装置,还包括照明导引器,该照明导引器与所述照明器合作以提供大体上平行于所述至少一个手指接合表面的照明光束。
133、如权利要求132所述的数据输入装置,其中所述照明导引器包括棱镜。
134、一种数据输入装置,与至少一个接合表面一起使用,所述数据输入装置包括:
发光的数据输入接合元件,该元件仅当其处于预定的接近所述至少一个接合表面处时才发射光;
二维成像传感器,其观察所述至少一个接合表面,以检测所述发光的数据输入接合元件所发射的光;和
数据输入处理器,其接收来自所述二维成像传感器的输出并提供数据输入输入信号。
135、如权利要求134所述的数据输入装置,其中所述发光的数据输入接合元件包括在其端部具有LED的细长元件。
136、如权利要求135所述的数据输入装置,其中所述LED包括红外发射LED。
137、如权利要求134-136中任何一个所述的数据输入装置,还包括接近开关。
138、一种数据输入装置,与至少一个接合表面一起使用,所述数据输入装置包括:
投影器,其可操作以照明所述至少一个接合表面并且在其上定义至少一个触垫区域和至少一个键盘区域,所述触垫区域由零级衍射图像确定;
照明器,其可操作以照明所述至少一个接合表面;
二维成像传感器,其从所述至少一个接合表面内侧的位置上观察所述至少一个接合表面,以检测来自所述照明器的、由于用户手指与所述至少一个接合表面的接合而被散射的光;和
数据输入处理器,其接收来自所述二维成像传感器的输出并提供数据输入输入信号。
139、如权利要求128-138中任何一个所述的数据输入装置,其中所述处理器包括以下功能:
在获取了每个像素值时,利用像素坐标确定该像素是否处于预定击键区域之内;
为处于所述预定击键区域之内的所述像素坐标获取像素值;
基于确定每个像素的像素函数,在为每个所述击键区域保存的像素总数中加上或者从中减去每个所述像素值;
将每个所述击键区域的所述像素总数与当前按键致动阈值比较;
如果在给定帧中对于给定的击键区域,像素总数超出按键致动阈值,并且在前一帧中对于该击键区域,像素总数未超出按键致动阈值,则提供按键致动输出;并且
如果在给定帧中对于给定的击键区域,像素总数未超出按键致动阈值,并且在前一帧中对于该击键区域,像素总数超出按键致动阈值,则提供按键消动输出信号。
140、一种数据输入设备,包括
照明器,其可操作以通过沿着至少一个接合平面对光进行导引而照明所述至少一个接合平面;
包括光楔元件的二维成像传感器,其从所述至少一个接合平面外部的位置上观察所述至少一个接合平面,以检测来自所述照明器的、由于数据输入对象与所述至少一个接合平面的接合而被散射的光;和
数据输入处理器,其接收来自所述二维成像传感器的输出并向应用电路提供数据输入输入信号。
141、如权利要求140所述的数据输入设备,其中所述光楔元件使得所述成像传感器能够有效地检测来自所述接合平面的光。
142、一种数据输入设备,包括:
照明器,其可操作以通过沿着至少一个接合平面对光进行导引而照明所述至少一个接合平面;
包括一对相反朝向的光楔元件的二维成像传感器,其从所述至少一个接合平面外部的位置上观察所述至少一个接合平面,以检测来自所述照明器的、由于数据输入对象与所述至少一个接合平面的接合而被散射的光;和
数据输入处理器,其接收来自所述二维成像传感器的输出并向应用电路提供数据输入输入信号。
143、一种数据输入设备,包括:
照明器,其可操作以通过沿着至少一个接合平面对光进行导引而照明所述至少一个接合平面,并且照明接合表面上的正确定位确认位置;
二维成像传感器,其包括,从所述至少一个接合平面外部的位置上观察所述至少一个接合平面,以检测来自所述照明器的、由于数据输入对象与所述至少一个接合平面的接合而被散射的光;和
数据输入处理器,其接收来自所述二维成像传感器的输出并向应用电路提供数据输入输入信号。
144、如权利要求143所述的数据输入设备,其中所述成像传感器检测在所述正确定位确认位置处存在或不存在照明。
145、如权利要求144所述的数据输入设备,其中当所述成像传感器检测到在所述正确定位确认位置处不存在照明时,所述数据输入设备可操作以关闭其自身。
146、一种游戏装置,包括:
至少一个游戏棋子;
可操作以向一个表面上投影游戏模板的游戏模板投影器;
可操作以照明所述表面的照明器;和
成像传感器,其观察所述表面以检测来自所述照明器的、被安装在所述至少一个游戏棋子上的至少一个经光学编码的反射器所反射的光。
147、如权利要求146所述的游戏装置,其中所述至少一个反射器中的每一个识别所述至少一个游戏棋子中的一个,并可操作以指示所述至少一个游戏棋子在所述游戏模板上的位置。
148、如权利要求146或147所述的游戏装置,其中所述至少一个反射器还识别所述游戏棋子的空间方向。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US39237602P | 2002-06-26 | 2002-06-26 | |
US60/392,376 | 2002-06-26 | ||
US43832703P | 2003-01-07 | 2003-01-07 | |
US60/438,327 | 2003-01-07 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN1666248A true CN1666248A (zh) | 2005-09-07 |
Family
ID=30003248
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN03815231.2A Pending CN1666248A (zh) | 2002-06-26 | 2003-06-26 | 多功能集成图像传感器以及在虚拟接口技术上的应用 |
Country Status (7)
Country | Link |
---|---|
US (3) | US7307661B2 (zh) |
EP (1) | EP1540641A2 (zh) |
JP (1) | JP2005533463A (zh) |
CN (1) | CN1666248A (zh) |
AU (1) | AU2003238660A1 (zh) |
CA (1) | CA2490292A1 (zh) |
WO (1) | WO2004003656A2 (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101849241A (zh) * | 2007-10-17 | 2010-09-29 | 智能技术Ulc公司 | 交互式输入系统、其控制器以及控制装置的方法 |
CN102541256A (zh) * | 2010-10-28 | 2012-07-04 | 微软公司 | 具有视觉反馈的位置知晓姿势作为输入方法 |
CN103019457A (zh) * | 2011-09-23 | 2013-04-03 | 原相科技股份有限公司 | 光学触控系统 |
CN103677358A (zh) * | 2012-09-06 | 2014-03-26 | 东莞万士达液晶显示器有限公司 | 显示器模块 |
CN104202547A (zh) * | 2014-08-27 | 2014-12-10 | 广东威创视讯科技股份有限公司 | 投影画面中提取目标物体的方法、投影互动方法及其系统 |
CN104723883A (zh) * | 2013-12-18 | 2015-06-24 | 富士重工业株式会社 | 车载图像显示装置 |
US10521054B2 (en) | 2014-12-25 | 2019-12-31 | Sony Corporation | Projection display unit |
CN112791376A (zh) * | 2021-01-28 | 2021-05-14 | 济南其石电子科技有限公司 | 一种电子棋盘控制器及电子棋盘的实现方法 |
Families Citing this family (88)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9513744B2 (en) | 1994-08-15 | 2016-12-06 | Apple Inc. | Control systems employing novel physical controls and touch screens |
US8228305B2 (en) | 1995-06-29 | 2012-07-24 | Apple Inc. | Method for providing human input to a computer |
US20090273574A1 (en) | 1995-06-29 | 2009-11-05 | Pryor Timothy R | Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics |
US9239673B2 (en) | 1998-01-26 | 2016-01-19 | Apple Inc. | Gesturing with a multipoint sensing device |
US9292111B2 (en) | 1998-01-26 | 2016-03-22 | Apple Inc. | Gesturing with a multipoint sensing device |
US7614008B2 (en) | 2004-07-30 | 2009-11-03 | Apple Inc. | Operation of a computer with touch screen interface |
US8479122B2 (en) | 2004-07-30 | 2013-07-02 | Apple Inc. | Gestures for touch sensitive input devices |
US8482535B2 (en) | 1999-11-08 | 2013-07-09 | Apple Inc. | Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics |
US8576199B1 (en) | 2000-02-22 | 2013-11-05 | Apple Inc. | Computer control systems |
CN100489881C (zh) * | 2001-01-08 | 2009-05-20 | Vkb有限公司 | 数据输入装置和数据输入方法 |
AU2003238660A1 (en) * | 2002-06-26 | 2004-01-19 | Vkb Inc. | Multifunctional integrated image sensor and application to virtual interface technology |
US7358963B2 (en) | 2002-09-09 | 2008-04-15 | Apple Inc. | Mouse having an optically-based scrolling feature |
US20070159453A1 (en) * | 2004-01-15 | 2007-07-12 | Mikio Inoue | Mobile communication terminal |
US20050273201A1 (en) * | 2004-06-06 | 2005-12-08 | Zukowski Deborra J | Method and system for deployment of sensors |
US8381135B2 (en) | 2004-07-30 | 2013-02-19 | Apple Inc. | Proximity detector in handheld device |
KR100663515B1 (ko) * | 2004-11-08 | 2007-01-02 | 삼성전자주식회사 | 휴대 단말 장치 및 이를 위한 데이터 입력 방법 |
WO2006090386A2 (en) | 2005-02-24 | 2006-08-31 | Vkb Inc. | A virtual keyboard device |
JP4612853B2 (ja) * | 2005-03-29 | 2011-01-12 | キヤノン株式会社 | 指示位置認識装置及びそれを有する情報入力装置 |
US20080246738A1 (en) * | 2005-05-04 | 2008-10-09 | Koninklijke Philips Electronics, N.V. | System and Method for Projecting Control Graphics |
TWI268095B (en) * | 2005-06-02 | 2006-12-01 | Benq Corp | Scanner |
US8018579B1 (en) * | 2005-10-21 | 2011-09-13 | Apple Inc. | Three-dimensional imaging and display system |
US8077147B2 (en) | 2005-12-30 | 2011-12-13 | Apple Inc. | Mouse with optical sensing surface |
FR2898315B1 (fr) * | 2006-03-08 | 2009-02-20 | Peugeot Citroen Automobiles Sa | Interface de commande d'un equipement fixe ou nomade de vehicule, avec utilisation d'un clavier virtuel |
DE102006049172A1 (de) * | 2006-10-18 | 2008-04-30 | Dräger Medical AG & Co. KG | Virtuelles Anzeige- und Bediensystem für medizinische Geräte |
KR20080044017A (ko) * | 2006-11-15 | 2008-05-20 | 삼성전자주식회사 | 터치 스크린 |
WO2009042605A1 (en) * | 2007-09-24 | 2009-04-02 | Laser Technology, Inc. | Integrated still image, motion video and speed measurement system |
US9171454B2 (en) * | 2007-11-14 | 2015-10-27 | Microsoft Technology Licensing, Llc | Magic wand |
US20090159799A1 (en) * | 2007-12-19 | 2009-06-25 | Spectral Instruments, Inc. | Color infrared light sensor, camera, and method for capturing images |
EP2103751A1 (de) * | 2008-03-19 | 2009-09-23 | BrainLAB AG | Einbaueinheit für Anzeigevorrichtungen |
JP5277703B2 (ja) * | 2008-04-21 | 2013-08-28 | 株式会社リコー | 電子機器 |
US8952894B2 (en) * | 2008-05-12 | 2015-02-10 | Microsoft Technology Licensing, Llc | Computer vision-based multi-touch sensing using infrared lasers |
US20090289188A1 (en) * | 2008-05-20 | 2009-11-26 | Everspring Industry Co., Ltd. | Method for controlling an electronic device through infrared detection |
WO2009148210A1 (en) * | 2008-06-02 | 2009-12-10 | Lg Electronics Inc. | Virtual optical input unit and control method thereof |
US8068641B1 (en) | 2008-06-19 | 2011-11-29 | Qualcomm Incorporated | Interaction interface for controlling an application |
US7777899B1 (en) * | 2008-06-19 | 2010-08-17 | Gesturetek, Inc. | Interaction interface for controlling an application |
EP2144189A3 (en) * | 2008-07-10 | 2014-03-05 | Samsung Electronics Co., Ltd. | Method for recognizing and translating characters in camera-based image |
US8847739B2 (en) | 2008-08-04 | 2014-09-30 | Microsoft Corporation | Fusing RFID and vision for surface object tracking |
TW201007254A (en) * | 2008-08-04 | 2010-02-16 | Pixart Imaging Inc | Image-sensing module and image-sensing system |
CN101650520A (zh) * | 2008-08-15 | 2010-02-17 | 索尼爱立信移动通讯有限公司 | 移动电话的可视激光触摸板和方法 |
US8228345B2 (en) * | 2008-09-24 | 2012-07-24 | International Business Machines Corporation | Hand image feedback method and system |
FR2937441B1 (fr) * | 2008-10-16 | 2010-12-31 | Neopost Technologies | Interface utilisateur virtuelle pour systeme de traitement de courrier. |
JP5276417B2 (ja) * | 2008-11-25 | 2013-08-28 | シャープ株式会社 | レーザプロジェクタ装置及びそれを備えた携帯電話端末 |
GB2466023A (en) * | 2008-12-08 | 2010-06-09 | Light Blue Optics Ltd | Holographic Image Projection Systems |
US20100153457A1 (en) * | 2008-12-15 | 2010-06-17 | Grant Isaac W | Gestural Interface Device and Method |
GB2466497B (en) | 2008-12-24 | 2011-09-14 | Light Blue Optics Ltd | Touch sensitive holographic displays |
TWI507945B (zh) | 2009-03-27 | 2015-11-11 | Tpk Touch Solutions Inc | 觸控裝置及其光源結構 |
CN201444297U (zh) | 2009-03-27 | 2010-04-28 | 宸鸿光电科技股份有限公司 | 触控装置、其激光光源组及其激光光源结构 |
US7763841B1 (en) | 2009-05-27 | 2010-07-27 | Microsoft Corporation | Optical component for a depth sensor |
US20100315376A1 (en) * | 2009-06-10 | 2010-12-16 | Dave Jaeyeong Choi | Control interface assemblies and vehicles including same |
TWI413923B (zh) * | 2009-06-30 | 2013-11-01 | E Pin Optical Industry Co Ltd | 微機電掃描之座標偵測方法及其觸控螢幕 |
KR101773464B1 (ko) | 2009-06-30 | 2017-08-31 | 엘지전자 주식회사 | 멀티플레이어 게임을 제공하는 휴대 단말기 및 그 동작방법 |
GB0920754D0 (en) * | 2009-11-27 | 2010-01-13 | Compurants Ltd | Inamo big book 1 |
DE202009005253U1 (de) | 2009-09-09 | 2010-01-07 | Tpk Touch Solutions Inc. | Berührungsvorrichtung, Laserquellenmodul und Laserquellenstruktur |
CN203287855U (zh) * | 2010-05-24 | 2013-11-13 | 卡尼特·布迪派特 | 用于移动计算装置的虚拟输入装置的设备 |
US8542218B2 (en) * | 2010-08-19 | 2013-09-24 | Hyundai Motor Company | Electronic switch apparatus for vehicle |
EP2441635B1 (en) * | 2010-10-06 | 2015-01-21 | Harman Becker Automotive Systems GmbH | Vehicle User Interface System |
CN102169366B (zh) * | 2011-03-18 | 2012-11-07 | 汤牧天 | 三维立体空间中的多目标跟踪方法 |
US8928589B2 (en) * | 2011-04-20 | 2015-01-06 | Qualcomm Incorporated | Virtual keyboards and methods of providing the same |
TW201248452A (en) * | 2011-05-30 | 2012-12-01 | Era Optoelectronics Inc | Floating virtual image touch sensing apparatus |
GB201110156D0 (en) * | 2011-06-16 | 2011-07-27 | Light Blue Optics Ltd | Touch-sensitive display devices |
GB201110157D0 (en) | 2011-06-16 | 2011-07-27 | Light Blue Optics Ltd | Touch sensitive display devices |
GB201110159D0 (en) | 2011-06-16 | 2011-07-27 | Light Blue Optics Ltd | Touch sensitive display devices |
EP2725458B1 (en) * | 2011-06-23 | 2016-06-15 | Fujitsu Limited | Information processing device, input control method, and input control program |
GB201117542D0 (en) | 2011-10-11 | 2011-11-23 | Light Blue Optics Ltd | Touch-sensitive display devices |
US20130179811A1 (en) * | 2012-01-05 | 2013-07-11 | Visteon Global Technologies, Inc. | Projection dynamic icon knobs |
CA2862446C (en) | 2012-01-11 | 2018-07-10 | Smart Technologies Ulc | Interactive input system and method |
WO2013108032A1 (en) | 2012-01-20 | 2013-07-25 | Light Blue Optics Limited | Touch sensitive image display devices |
WO2013108031A2 (en) | 2012-01-20 | 2013-07-25 | Light Blue Optics Limited | Touch sensitive image display devices |
KR102133702B1 (ko) | 2012-02-24 | 2020-07-14 | 토마스 제이. 모스카릴로 | 제스처 인식 디바이스들 및 방법들 |
GB201205303D0 (en) | 2012-03-26 | 2012-05-09 | Light Blue Optics Ltd | Touch sensing systems |
US9747306B2 (en) * | 2012-05-25 | 2017-08-29 | Atheer, Inc. | Method and apparatus for identifying input features for later recognition |
US8994495B2 (en) | 2012-07-11 | 2015-03-31 | Ford Global Technologies | Virtual vehicle entry keypad and method of use thereof |
TW201409298A (zh) * | 2012-08-21 | 2014-03-01 | Wintek Corp | 顯示器模組 |
JP5971053B2 (ja) * | 2012-09-19 | 2016-08-17 | 船井電機株式会社 | 位置検出装置及び画像表示装置 |
US9377355B2 (en) * | 2013-02-18 | 2016-06-28 | Eminent Electronic Technology Corp. Ltd. | Optical sensor apparatus and image sensing apparatus integrating multiple functions |
US9049369B2 (en) * | 2013-07-10 | 2015-06-02 | Christie Digital Systems Usa, Inc. | Apparatus, system and method for projecting images onto predefined portions of objects |
US9047514B2 (en) * | 2013-07-10 | 2015-06-02 | Christie Digital Systems Usa, Inc. | Apparatus, system and method for projecting images onto predefined portions of objects |
JP2015079169A (ja) * | 2013-10-18 | 2015-04-23 | 増田 麻言 | 投影装置 |
JP2016114963A (ja) * | 2014-12-11 | 2016-06-23 | 株式会社リコー | 入力操作検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、及びプロジェクタシステム |
US20160255323A1 (en) | 2015-02-26 | 2016-09-01 | Dual Aperture International Co. Ltd. | Multi-Aperture Depth Map Using Blur Kernels and Down-Sampling |
FR3034889B1 (fr) * | 2015-04-10 | 2017-04-28 | Cn2P Sas | Bracelet electronique pour l’affichage d’un contenu numerique interactif destine a etre projete sur une zone d’un bras |
US9898142B2 (en) * | 2016-04-01 | 2018-02-20 | Ford Global Technologies, Llc | Touch detection on a curved surface |
WO2017212601A1 (ja) * | 2016-06-09 | 2017-12-14 | 日立マクセル株式会社 | 光測距装置、及びこれを備えた映像投写装置 |
WO2018203595A1 (ko) * | 2017-05-04 | 2018-11-08 | 임성현 | 터치 인터랙션이 가능한 프로젝터 |
US10137857B1 (en) * | 2017-08-22 | 2018-11-27 | Ford Global Technologies, Llc | Vehicle unlocking systems, devices, and methods |
US10300889B2 (en) | 2017-09-08 | 2019-05-28 | Ford Global Technologies, Llc | Iris-detection alignment for vehicle feature activation |
CN113165572A (zh) * | 2018-12-05 | 2021-07-23 | 金泰克斯公司 | 用于虹膜认证和驾驶员监测的成像系统 |
US11287885B1 (en) * | 2019-01-22 | 2022-03-29 | Facebook Technologies, Llc | Apparatus, system, and method for determining the position of wearables donned by users of artificial reality systems |
Family Cites Families (54)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4561017A (en) | 1983-08-19 | 1985-12-24 | Richard Greene | Graphic input apparatus |
US4843568A (en) | 1986-04-11 | 1989-06-27 | Krueger Myron W | Real time perception of and response to the actions of an unencumbered participant/user |
US5181181A (en) | 1990-09-27 | 1993-01-19 | Triton Technologies, Inc. | Computer apparatus input device for three-dimensional information |
US5182659A (en) | 1991-02-20 | 1993-01-26 | Holographix, Inc. | Holographic recording and scanning system and method |
US5457550A (en) | 1991-02-27 | 1995-10-10 | Ricoh Company, Ltd. | Optical scanner unit having recursive optical system |
US5181108A (en) | 1991-10-07 | 1993-01-19 | Greene Richard M | Graphic input device with uniform sensitivity and no keystone distortion |
DE69204045T2 (de) * | 1992-02-07 | 1996-04-18 | Ibm | Verfahren und Vorrichtung zum optischen Eingang von Befehlen oder Daten. |
WO1994025915A1 (en) | 1993-04-28 | 1994-11-10 | Mcpheters R Douglas | Holographic operator interface |
US6281878B1 (en) * | 1994-11-01 | 2001-08-28 | Stephen V. R. Montellese | Apparatus and method for inputing data |
FI961459A0 (fi) * | 1996-04-01 | 1996-04-01 | Kyoesti Veijo Olavi Maula | Arrangemang foer optisk fjaerrstyrning av en anordning |
US5781252A (en) | 1996-04-02 | 1998-07-14 | Kopin Corporation | Dual light valve color projector system |
US5680205A (en) | 1996-08-16 | 1997-10-21 | Dew Engineering And Development Ltd. | Fingerprint imaging apparatus with auxiliary lens |
DE69727125T2 (de) | 1996-09-24 | 2004-11-11 | Seiko Epson Corp. | Projektionsanzeigevorrichtung mit einer lichtquelle |
FR2756077B1 (fr) | 1996-11-19 | 1999-01-29 | Opto System | Ecran tactile et dispositif de visualisation utilisant cet ecran tactile |
US6043839A (en) | 1997-10-06 | 2000-03-28 | Adair; Edwin L. | Reduced area imaging devices |
US5952731A (en) * | 1998-02-02 | 1999-09-14 | Lear Automotive Dearborn, Inc. | Membrane keyless entry switch for vehicles |
DE29802435U1 (de) | 1998-02-12 | 1998-05-07 | Siemens Nixdorf Inf Syst | Anordnung der Projektionsfläche einer virtuellen Eingabeeinheit |
US6211521B1 (en) * | 1998-03-13 | 2001-04-03 | Intel Corporation | Infrared pixel sensor and infrared signal correction |
US6657663B2 (en) * | 1998-05-06 | 2003-12-02 | Intel Corporation | Pre-subtracting architecture for enabling multiple spectrum image sensing |
US6281238B1 (en) | 1998-05-12 | 2001-08-28 | American Home Products Corporation | 4-aryl-1-oxa-9-thia-cylopenta[B]fluorenes |
US6700613B1 (en) * | 1998-06-16 | 2004-03-02 | Eastman Kodak Company | Data-reading image capture apparatus, camera, and method of use |
US6266048B1 (en) | 1998-08-27 | 2001-07-24 | Hewlett-Packard Company | Method and apparatus for a virtual display/keyboard for a PDA |
CA2246258A1 (en) | 1998-08-31 | 2000-02-29 | Photonics Research Ontario | Novel optical scheme for holographic imaging of complex defractive elements in materials |
US6690357B1 (en) * | 1998-10-07 | 2004-02-10 | Intel Corporation | Input device using scanning sensors |
TW464800B (en) | 1998-10-07 | 2001-11-21 | Intel Corp | A method for inputting data to an electronic device, an article comprising a medium for storing instructions, and an image processing system |
FI990676A (fi) | 1999-03-26 | 2000-09-27 | Nokia Mobile Phones Ltd | Syöttöjärjestely tiedon käsisyöttöä varten ja matkapuhelin |
US6614422B1 (en) * | 1999-11-04 | 2003-09-02 | Canesta, Inc. | Method and apparatus for entering data using a virtual input device |
US7030863B2 (en) | 2000-05-26 | 2006-04-18 | America Online, Incorporated | Virtual keyboard system with automatic correction |
US6512838B1 (en) * | 1999-09-22 | 2003-01-28 | Canesta, Inc. | Methods for enhancing performance and data acquired from three-dimensional image systems |
US6424338B1 (en) | 1999-09-30 | 2002-07-23 | Gateway, Inc. | Speed zone touchpad |
US20030132921A1 (en) * | 1999-11-04 | 2003-07-17 | Torunoglu Ilhami Hasan | Portable sensory input device |
US20030174125A1 (en) * | 1999-11-04 | 2003-09-18 | Ilhami Torunoglu | Multiple input modes in overlapping physical space |
US6710770B2 (en) | 2000-02-11 | 2004-03-23 | Canesta, Inc. | Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device |
US6611252B1 (en) * | 2000-05-17 | 2003-08-26 | Dufaux Douglas P. | Virtual data input device |
WO2001093182A1 (en) | 2000-05-29 | 2001-12-06 | Vkb Inc. | Virtual data entry device and method for input of alphanumeric and other data |
US6650318B1 (en) | 2000-10-13 | 2003-11-18 | Vkb Inc. | Data input device |
US7042442B1 (en) * | 2000-06-27 | 2006-05-09 | International Business Machines Corporation | Virtual invisible keyboard |
US6690354B2 (en) * | 2000-11-19 | 2004-02-10 | Canesta, Inc. | Method for enhancing performance in a system utilizing an array of sensors that sense at least two-dimensions |
FI113094B (fi) | 2000-12-15 | 2004-02-27 | Nokia Corp | Parannettu menetelmä ja järjestely toiminnon aikaansaamiseksi elektronisessa laitteessa ja elektroninen laite |
CN100489881C (zh) * | 2001-01-08 | 2009-05-20 | Vkb有限公司 | 数据输入装置和数据输入方法 |
GB2374266A (en) | 2001-04-04 | 2002-10-09 | Matsushita Comm Ind Uk Ltd | Virtual user interface device |
US6761634B1 (en) * | 2001-06-07 | 2004-07-13 | Hasbro, Inc. | Arcade table |
US6854870B2 (en) * | 2001-06-30 | 2005-02-15 | Donnelly Corporation | Vehicle handle assembly |
US7071924B2 (en) * | 2002-01-10 | 2006-07-04 | International Business Machines Corporation | User input method and apparatus for handheld computers |
AU2003238660A1 (en) * | 2002-06-26 | 2004-01-19 | Vkb Inc. | Multifunctional integrated image sensor and application to virtual interface technology |
US7151530B2 (en) * | 2002-08-20 | 2006-12-19 | Canesta, Inc. | System and method for determining an input selected by a user through a virtual interface |
DE10260305A1 (de) * | 2002-12-20 | 2004-07-15 | Siemens Ag | HMI Einrichtung mit einem optischem Touch Screen |
TW594549B (en) * | 2002-12-31 | 2004-06-21 | Ind Tech Res Inst | Device and method for generating virtual keyboard/display |
JP4311988B2 (ja) * | 2003-06-12 | 2009-08-12 | アキュートロジック株式会社 | 固体撮像素子用カラーフィルタおよびこれを用いたカラー撮像装置 |
US20070115261A1 (en) * | 2005-11-23 | 2007-05-24 | Stereo Display, Inc. | Virtual Keyboard input system using three-dimensional motion detection by variable focal length lens |
JP2006033483A (ja) * | 2004-07-16 | 2006-02-02 | Aisin Seiki Co Ltd | カラー撮像装置 |
US7248151B2 (en) * | 2005-01-05 | 2007-07-24 | General Motors Corporation | Virtual keypad for vehicle entry control |
GB2440683B (en) * | 2005-02-23 | 2010-12-08 | Zienon L L C | Method and apparatus for data entry input |
TWI333624B (en) * | 2006-09-27 | 2010-11-21 | Chia Hoang Lee | A virtual input device and the input method thereof |
-
2003
- 2003-06-26 AU AU2003238660A patent/AU2003238660A1/en not_active Abandoned
- 2003-06-26 CN CN03815231.2A patent/CN1666248A/zh active Pending
- 2003-06-26 JP JP2004548899A patent/JP2005533463A/ja active Pending
- 2003-06-26 US US10/481,932 patent/US7307661B2/en not_active Expired - Fee Related
- 2003-06-26 EP EP03732996A patent/EP1540641A2/en not_active Withdrawn
- 2003-06-26 CA CA002490292A patent/CA2490292A1/en not_active Abandoned
- 2003-06-26 WO PCT/IL2003/000538 patent/WO2004003656A2/en not_active Application Discontinuation
-
2004
- 2004-04-13 US US10/823,337 patent/US7417681B2/en not_active Expired - Fee Related
-
2008
- 2008-07-15 US US12/173,218 patent/US20080309620A1/en not_active Abandoned
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101849241A (zh) * | 2007-10-17 | 2010-09-29 | 智能技术Ulc公司 | 交互式输入系统、其控制器以及控制装置的方法 |
CN102541256A (zh) * | 2010-10-28 | 2012-07-04 | 微软公司 | 具有视觉反馈的位置知晓姿势作为输入方法 |
US9195345B2 (en) | 2010-10-28 | 2015-11-24 | Microsoft Technology Licensing, Llc | Position aware gestures with visual feedback as input method |
CN102541256B (zh) * | 2010-10-28 | 2016-01-20 | 微软技术许可有限责任公司 | 具有视觉反馈的位置知晓姿势作为输入方法 |
CN103019457A (zh) * | 2011-09-23 | 2013-04-03 | 原相科技股份有限公司 | 光学触控系统 |
CN103677358A (zh) * | 2012-09-06 | 2014-03-26 | 东莞万士达液晶显示器有限公司 | 显示器模块 |
CN104723883A (zh) * | 2013-12-18 | 2015-06-24 | 富士重工业株式会社 | 车载图像显示装置 |
US10042163B2 (en) | 2013-12-18 | 2018-08-07 | Subaru Corporation | Onboard image display device for vehicle |
CN104202547A (zh) * | 2014-08-27 | 2014-12-10 | 广东威创视讯科技股份有限公司 | 投影画面中提取目标物体的方法、投影互动方法及其系统 |
CN104202547B (zh) * | 2014-08-27 | 2017-10-10 | 广东威创视讯科技股份有限公司 | 投影画面中提取目标物体的方法、投影互动方法及其系统 |
US10521054B2 (en) | 2014-12-25 | 2019-12-31 | Sony Corporation | Projection display unit |
CN112791376A (zh) * | 2021-01-28 | 2021-05-14 | 济南其石电子科技有限公司 | 一种电子棋盘控制器及电子棋盘的实现方法 |
Also Published As
Publication number | Publication date |
---|---|
US20040207732A1 (en) | 2004-10-21 |
WO2004003656A2 (en) | 2004-01-08 |
AU2003238660A1 (en) | 2004-01-19 |
US7417681B2 (en) | 2008-08-26 |
CA2490292A1 (en) | 2004-01-08 |
US20040246338A1 (en) | 2004-12-09 |
US7307661B2 (en) | 2007-12-11 |
JP2005533463A (ja) | 2005-11-04 |
EP1540641A2 (en) | 2005-06-15 |
WO2004003656A3 (en) | 2004-06-24 |
US20080309620A1 (en) | 2008-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1666248A (zh) | 多功能集成图像传感器以及在虚拟接口技术上的应用 | |
CN1284073C (zh) | 信息显示系统及其信息处理装置、指示装置和标记显示法 | |
CN1149466C (zh) | 位置探测装置和遥控装置 | |
CN1204739C (zh) | 摄像机控制装置和方法 | |
CN1577386A (zh) | 位置检测装置 | |
CN1276338C (zh) | 基底上形成或搁置的显示装置 | |
CN101030013A (zh) | 图像捕获装置 | |
CN1708764A (zh) | 输入字母数字及其他数据的虚拟数据输入设备与方法 | |
CN1774692A (zh) | 触摸屏信号处理 | |
CN1845064A (zh) | 信息处理方法和设备 | |
CN1469184A (zh) | 自动聚焦装置及图像输入装置 | |
CN1845002A (zh) | 投影机用失真修正处理 | |
CN1494701A (zh) | 信息终端装置 | |
CN1611189A (zh) | 成像设备及方法、以及通信终端装置 | |
CN1133314C (zh) | 检测与控制图像阅读器的原位的方法 | |
CN1929561A (zh) | 图像捕获设备和图像捕获方法 | |
CN101034070A (zh) | 表面状态的检查方法以及表面状态检查装置 | |
CN1573283A (zh) | 图像测量方法和图像测量装置 | |
CN1165262C (zh) | 超声显示设备 | |
EP3502767A1 (en) | Mobile terminal and method for controlling the same | |
CN1580849A (zh) | 交换透镜、交换透镜系统、及照相机系统 | |
CN1556938A (zh) | 显示设备和显示方法 | |
CN1271424A (zh) | 用于三维成像和记录的设备 | |
CN1828629A (zh) | 用于光学读取附加到目标的信息的方法和设备 | |
CN1716083A (zh) | 电子像机和自动聚焦方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1082969 Country of ref document: HK |
|
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: WD Ref document number: 1082969 Country of ref document: HK |