CN103918252A - 用于图像的ir信号捕获 - Google Patents
用于图像的ir信号捕获 Download PDFInfo
- Publication number
- CN103918252A CN103918252A CN201180074630.8A CN201180074630A CN103918252A CN 103918252 A CN103918252 A CN 103918252A CN 201180074630 A CN201180074630 A CN 201180074630A CN 103918252 A CN103918252 A CN 103918252A
- Authority
- CN
- China
- Prior art keywords
- reflector
- signal
- readable instructions
- machine readable
- bearing medium
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004364 calculation method Methods 0.000 claims description 49
- 238000000034 method Methods 0.000 claims description 36
- 238000004891 communication Methods 0.000 claims description 24
- 230000000295 complement effect Effects 0.000 claims description 4
- 229910044991 metal oxide Inorganic materials 0.000 claims description 4
- 150000004706 metal oxides Chemical class 0.000 claims description 4
- 238000003672 processing method Methods 0.000 claims description 4
- 239000004065 semiconductor Substances 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 9
- 238000012545 processing Methods 0.000 description 36
- 230000006870 function Effects 0.000 description 14
- 230000009471 action Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000000429 assembly Methods 0.000 description 5
- 230000000712 assembly Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000008030 elimination Effects 0.000 description 5
- 238000003379 elimination reaction Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 238000001429 visible spectrum Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 239000013307 optical fiber Substances 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 241000282485 Vulpes vulpes Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
- Stroboscope Apparatuses (AREA)
- Camera Bodies And Camera Details Or Accessories (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
一般地公开了用于从IR信号捕获图像的技术和实施方案。
Description
背景技术
除非另有所述,否则在该部分中描述的方法不是本申请中的权利要求的现有技术,并且不认为由于包括在该部分中而是现有技术。
由于微软的发布,深度相机已经变为很多人使用的装置。在Kinect的情况下,可以使用结构光来提取深度信息。如这里使用的,“结构光”可以指将特定红外图案投射到其处可以至少部分地基于对象上投射的图案的变形了多少(例如,投射图案的变形的程度)来计算深度信息的对象上的处理。
发明内容
这里描述了与捕获结构光图像相关的一些示例方法、设备和系统。在一个示例中,这样的设备可以包括第一红外(IR)发射器、第二IR发射器、图像捕获装置、处理器和/或信号承载介质。第一IR发射器可以被构造为发射第一IR信号。第二IR发射器可以被构造为发射第二IR信号。图像捕获装置可以被构造为接收第一IR信号和第二IR信号。处理器可以通信地耦接到第一IR发射器、第二IR发射器和/或图像捕获装置。信号承载介质可以包括其上存储的机器可读指令,该机器可读指令在由处理器执行时可以用于使得计算装置能够以交替的方式进行第一IR信号和第二IR信号分别从第一IR发射器和第二IR发射器的发射。
在另一示例中,涉及捕获结构光图像的设备可以包括红外(IR)发射器、图像捕获装置、处理器和/或信号承载介质。IR发射器可以被构造为发射IR信号并且在基本上水平方向、基本上竖直方向或基本上水平和竖直方向中的至少一个上移动。图像捕获装置可以被构造为接收来自IR发射器的一个或更多个位置的IR信号。处理器可以通信地耦接到IR发射器和图像捕获装置。信号承载介质可以包括其上存储的机器可读指令,该机器可读指令在由处理器执行时可以用于使得计算装置能够移动IR发射器。
在又一示例中,一种涉及捕获结构光图像的图像处理方法可以包括在图像捕获装置处接收来自第一IR发射器的第一红外(IR)信号。可以在图像捕获装置处接收来自第二IR发射器的第二IR信号。可以进行从接收的来自第一IR发射器的第一IR信号是否检测到阴影区域的确定。第一IR信号从第一IR发射器的发射以及第二IR信号从第二IR发射器的发射可以以交替的方式进行。
在又一示例中,一种涉及捕获结构光图像的图像处理方法可以包括在图像捕获装置处接收来自处于第一位置的IR发射器的第一红外(IR)信号。IR发射器可以被构造为在基本上水平方向、基本上竖直方向或基本上水平和竖直方向中的至少一个上移动。IR发射器可以移动到第二位置。可以在图像捕获装置处从处于第二位置处的IR发射器接收第二IR信号。
在又一示例中,一种制品可以包括信号承载介质,其包括其上存储的机器可读指令,该机器可读指令在由处理器执行时,用于使得计算装置能够捕获结构光图像。例如,可以在图像捕获装置处从第一IR发射器接收第一红外(IR)信号。可以在图像捕获装置处从第二IR发射器接收第二IR信号。可以进行从接收的来自第一IR发射器的第一IR信号是否检测到阴影区域的确定。第一IR信号从第一发射器的发射以及第二IR信号从第二IR发射器的发射可以以交替的方式进行。
在又一示例中,一种制品可以包括信号承载介质,其包括其上存储的机器可读指令,该机器可读指令在由处理器执行时,用于使得计算装置能够捕获结构光图像。例如,可以在图像捕获装置处从处于第一位置的IR发射器接收第一红外(IR)信号,IR发射器可以被构造为在基本上水平方向、基本上竖直方向或基本上水平和竖直方向中的至少一个上移动。IR发射器可以移动到第二位置。可以在图像捕获装置处从处于第二位置的IR发射器接收第二IR信号。
上面的概述仅是说明性的且并不旨在以任意方式表示限制。除了如上描述的说明性方面、实施方式和特征,通过参考附图和下面的详细描述将显见其他方面、实施方式和特征。
附图说明
在本说明书的结论部分中特别地指出并且明确地要求保护主题。根据结合附图进行的以下描述和所附权利要求书,本公开的以上和其它特征将变得更充分地显而易见。要理解的是,这些附图仅描述了根据本公开的多个实施方式,因此不能被认为是对本公开的范围的限制,将通过使用附图来利用附加的特征和细节描述本公开。
在附图中:
图1示出了根据本公开的至少一些实施方式布置的示例结构光装置;
图2示出了根据本公开的至少一些实施方式布置的捕获对象的图像的示例结构光装置;
图3示出了根据本公开的至少一些实施方式布置的对象的示例捕获图像;
图4示出了根据本公开的至少一些实施方式布置的用于捕获结构光图像的示例处理;
图5是根据本公开的至少一些实施方式布置的示例计算机程序产品;
图6示出了根据本公开的至少一些实施方式布置的另一示例结构光装置;
图7示出了根据本公开的至少一些实施方式布置的用于捕获二维结构光图像的另一示例处理;
图8是根据本公开的至少一些实施方式布置的另一示例计算机程序产品的视图;以及
图9是根据本公开的至少一些实施方式布置的计算装置的示出实施方式的框图。
具体实施方式
下面的描述阐述各种示例的具体细节以提供权利要求所记载的主题的完整理解。然而,本领域技术人员将理解的是,权利要求中所记载的主题可以在没有这个公开的具体细节的某些或更多的情况下实施。此外,在某些情况下,没有详细描述公知的方法、过程、系统、组件和/或电路以便于避免不必要地使得权利要求中记载的主题模糊。
在下面的详细说明中,参照附图,这些附图形成了本说明书的一部分。在附图中,除非上下文另行说明,否则相似的符号通常标识相似的部件。在具体说明书、附图和权利要求中描述的例示性实施方式不意味着为限制。在不脱离本文表现的主题的精神或范围的情况下,可利用其它实施方式,并且可以进行其它改变。容易理解的是,如本文总体描述的和附图例示的本公开的各个方面,可以按照各种不同的配置来布置、替换、组合和设计,其在这里是明确地设想到的。
除其它因素外,本公开被描绘为与从第一IR信号和第二IR信号捕获图像有关的方法、设备和系统。
如上所述,可以使用结构光提取深度信息。然而,利用一些传统的结构光技术,能够沿着对象的轮廓形成阴影区域。由于在这样的阴影区域中不能够看到结构光图案,因此不能够提取深度信息。
图1示出了根据本公开的至少一些实施方式布置的示例结构光装置。在所示示例中,结构光装置100可以包括第一红外(IR)发射器102、第二IR发射器104、图像捕获装置106、处理器108和/或信号承载介质110。
第一IR发射器102可以被构造为发射第一IR信号。类似地,第二IR发射器104可以被构造为发射第二IR信号。如这里使用的,术语“结构光”可以指将特定红外图案投射到其处可以至少部分地基于对象上投射的图案的变形了多少(例如,投射图案的变形的程度)来计算深度信息的对象上的处理。
如下面将更详细地描述的,第一IR发射器102和第二IR发射器104可以交替地进行发射,从而在第一IR发射器102发射第一IR信号时第二IR发射器104可以不发射第二IR信号。类似地,在第二IR发射器104发射第二IR信号时第一IR发射器102可以不发射第一IR信号以避免第一IR信号与第二IR信号之间的干扰。如下面将更详细地描述的,可以由处理器108来管理这样的交替,该处理器108确定何时在第一IR发射器102与第二IR发射器104之间进行切换。例如,处理器108可以至少部分地基于时间索引来确定何时在第一IR发射器102和第二IR发射器104之间进行切换。这样的时间索引可以指示何时开始从第一IR发射器102和第二IR发射器104中的一个进行发射,这样的发射将持续多长时间,和/或何时切换到第一IR发射器102和第二IR发射器104中的另一个。额外地,为了利用每秒三十帧的深度视频的最终产品,例如,当第一IR发射器102和第二IR发射器104可以以交替方式进行操作时,可以获得每秒六十帧的视频
在一些示例中,第一IR发射器102和第二IR发射器104可以被布置为以预定距离彼此隔开。在其它示例中,第一IR发射器102和第二IR发射器104可以均被布置在一个或更多个轨道(未示出)上,该轨道被构造为移动第一IR发射器102和/或第二IR发射器104。例如,第一IR发射器102和/或第二IR发射器104可以在基本上水平方向、基本上竖直方向或基本上水平和基本上竖直方向中的至少一个方向上移动(例如,可以由图6的结构光装置600更好地示出)。例如,如下面将更详细地描述的,在这样的示例中,第一IR发射器102和/或第二IR发射器104可以在读取之间移动到交替位置。
图像捕获装置106可以被构造为接收第一和第二IR信号。在一些示例中,图像捕获装置106可以包括互补金属氧化物半导体(CMOS)器件。例如,CMOS器件可以包括单色CMOS传感器。在一些示例中,图像捕获装置106可以包括电荷耦合器件(CCD)。在一些示例中,图像捕获装置106可以包括单独的IR传感器和单独的可见光谱传感器(例如,红-绿-蓝型可见光谱传感器)。
处理器108可以通信地耦接到第一IR发射器102、第二IR发射器104和/或图像捕获装置106。信号承载介质110可以包括其上存储的机器可读指令,该机器可读指令在由处理器108执行时可以用于使得计算装置(例如,图9的计算装置900)能够进行以交替的方式分别从第一IR发射器102和第二IR发射器104进行第一IR信号和第二IR信号的发射。
在操作中,机器可读指令可以用于使得计算装置能够至少部分地基于接收的第一IR信号和第二IR信号确定对象的图像的深度。替选地或额外地,机器可读指令可以用于使得计算装置能够确定从接收自第一IR发射器的第一IR信号是否检测到阴影区域。在这样的示例中,如果结构光装置100确定从接收自第一IR发射器102的第一信号检测到阴影区域,则其可以利用对应于从第二IR发射器104接收的第二IR信号的图像。类似地,如果结构光装置100确定从接收自第一IR发射器102的第一IR没有检测到阴影区域,则其可以利用对应于从第一IR发射器102接收的第一IR信号的图像。
图2示出了根据本公开的至少一些实施方式布置的捕获对象200的图像的示例结构光装置100。在所示示例中,图像捕获装置106被示出为包括单独的IR传感器202和单独的可见光谱传感器204(例如,红-绿-蓝型可见光谱传感器)。
如所示的,可以由结构光装置100捕获对象200(例如,用户的手)。例如,第一IR发射器102可以在时间索引n发射IR信号206。这样的时间索引n可以指示何时从第一IR发射器102开始发射,这样的发射将持续多久和/或何时切换到第二IR发射器104。在这样的示例中,这时,第二IR发射器104可以不发射IR信号207以避免干扰。例如,如果第一IR发射器102和第二IR发射器104同时发射,则可能由于多于一个IR图案会混合在一起而不能够计算深度。
如所示的,来自第一IR发射器102的IR信号206可以导致在对象200上(例如,在用户的脸的右侧)形成阴影区域208。为了移除该阴影区域,第二IR发射器104可以在时间索引n+1发射IR信号207,以替代第一IR发射器102。这样的时间索引n+1可以指示何时从第二IR发射器104开始发射,这样的发射将持续多久,和/或何时切换到第一IR发射器102。在第二IR发射器104具有比第一IR发射器102更好的优点位置的情况下,来自第二IR发射器104的IR信号207可以减少(或消除)阴影区域208。在来自第二IR发射器104的IR信号207减少(或消除)阴影区域208的情况下,可以选择与第二IR发射器104关联的图像来替代与第一IR发射器102关联的图像。
替选地,与第二IR发射器104关联的图像的深度信息的一部分可以与和第一IR发射器102关联的图像的深度信息的一部分结合地使用。在这样的示例中,与时间n的图像关联的深度信息和与时间n+1的图像关联的深度信息可以用于最小化或消除阴影区域。因此,为了捕获每秒三十帧的深度视频,在实践中,可以获得每秒六十帧的视频。
在操作中,结构光装置100可以用于面部识别、单个用户的身体检测、多个用户的检测、其它对象的识别或检测等等和/或其组合。例如,结构光装置100可以用于其中深度信息可以与脸部关联的脸部识别,例如,脸部图像识别。在用户的脸部上形成有阴影区域208的情况下,在没有减少(或消除)阴影区域208的来自IR发射器104的IR信号207的情况下,深度信息可能不是准确的。在另一示例中,结构光装置100可以用于其中身体的诸如臂的一部分能够藏在用户的身体之后(例如,网球游戏中的使用臂)的单个用户的身体检测。在这样的情况下,在没有减少(或消除)阴影区域208的来自第二IR发射器104的IR信号207的情况下难以追踪用户的臂。在又一示例中,结构光装置100可以用于检测其中可以形成很多阴影的多个用户的检测。在这样的示例中,在没有减少(或消除)阴影区域208的来自第二IR发射器104的IR信号207的情况下,由用户形成的阴影可能阻碍每个用户的深度信息的提取。
图3示出了根据本公开的至少一些实施方式布置的对象的示例捕获图像。在所示的示例中,示出了深度图像300。单个IR发射器已经生成了深度图像300。图片的右侧的白色部分是阴影区域302。由于单个IR发射器位于图片的左侧,而阴影区域302示出了在脸部的右侧没有出现IR图案。阴影区域302还存在于肩膀上。
造成阴影区域的原因的其它示例可以包括其中存在两个用户的情况和/或其中用户的一部分(例如,臂)远离单个IR发射器的情况。例如,由第一用户形成的阴影可以影响第二用户。因此,可以难以获得关于第二用户的准确的深度信息。类似地,在用户的臂远离单个IR发射器的示例中,可以难以获得关于用户的臂的位置的准确的深度信息。
图4示出了根据本公开的至少一些实施方式布置的捕获结构光图像的示例处理400。在所示的示例中,这里描述的处理400和其它处理阐述了可以描述为可以由硬件、软件和/或固件执行的处理步骤、功能操作、事件和/或动作等等的各种功能块或动作。本领域技术人员在本公开的教导下将了解到可以在各种实施中实施图4中所示的功能块的多种替选方案。例如,虽然图4中所示的处理400可以包括特定顺序的块或动作,但是这些块或动作被示出的顺序不必将权利要求中记载内容限制到任何特定的顺序。类似地,在不偏离权利要求的内容的范围的情况下,可以采用图4中未示出的中间动作和/或图4中未示出的额外的动作和/或可以消除图4中所示的动作中的一些。处理400可以包括由示例操作402、404、406和/或408指示的功能操作中的一个或更多个。
如所示的,处理400可以在结构光装置(参见例如图1的结构光装置100)中实施,并且处理400可以实施为捕获结构光图像。处理可以在操作402“接收第一红外信号”处开始,在该操作中,可以接收第一红外(IR)信号。例如,可以在图像捕获装置处从第一IR发射器接收第一红外(IR)信号。
处理可以从操作402继续到操作404“接收第二红外信号”,在该操作中,可以接收第二红外(IR)信号。例如,可以在图像捕获装置处从第二IR发射器接收第二IR信号。
处理可以从操作404继续到操作406“确定是否检测到阴影区域”,在该操作中,可以进行关于是否从接收自第一IR发射器的第一IR信号检测到阴影区域的确定。在一些示例中,是否检测到阴影区域的确定可以包括至少部分地基于接收的第一和第二IR信号确定图像的深度。
处理可以从操作406继续到操作408“以交替的方式进行从第一IR发射器的发射和从第二IR发射器的发射”,在该操作中,可以以交替的方式进行从第一IR发射器的发射和从第二IR发射器的发射。例如,可以以交替的方式进行第一IR信号从第一IR发射器的发射和第二IR信号从第二IR发射器的发射。
在操作中,如果确定从接收自第一IR发射器的第一信号检测到阴影区域,则处理400可以包括利用对应于从第二IR发射器接收的第二IR信号的图像的操作。类似地,如果确定从接收自第一IR发射器的第一IR信号没有检测到阴影区域,则处理400可以包括利用对应于从第一IR发射器接收的第一IR信号的图像的操作。
虽然已经参考图1的结构光装置100在上面描述了处理400,但是在一些示例中,处理400可以实施为图6的结构光装置600。例如,如下面更详细地描述的,第一IR发射器和第二IR发射器可以包括布置在轨道上的第一IR发射器和第二IR发射器中的每一个,该轨道被构造为在基本上水平方向、基本上竖直方向或基本上水平和基本上竖直方向中的至少一个方向上移动第一IR发射器和第二IR发射器。在这样的示例中,第一IR发射器和/或第二IR发射器可以在读取之间移动到交替的位置。
在操作中,处理400可以操作以通过移除阴影区域获得深度信息。例如,可以利用两个或更多IR发射器(或一个或更多移动IR发射器,例如,参见图6)。可以利用启用的第一IR发射器(或者利用第一位置的第一IR发射器)来捕获对象的第一图像。在这样的示例中,其它IR发射器可以不发射红外线以便于避免干扰。类似地,可以利用启用的第二IR发射器(或者利用第二位置的第一IR发射器)来捕获对象的第二图像。类似地,除了第二IR发射器之外的其它IR发射器可以不发射红外线以便于避免干扰。可以经由额外的(例如,最多M个IR发射器)IR发射器(和/或额外的位置)来捕获额外的图像。
在一些示例中,可以使用获得的M个图像在没有阴影区域的情况下创建深度图像。例如,可以从获得的M个图像逐个图像地检测阴影区域。在图像的一部分被检测为阴影区域的情况下,可以使用更好的图像作为替换。例如,与具有阴影区域的图像关联的IR图案信息可以被替换为与不具有(或减少了)阴影区域的图像(例如,由另外的IR发射器或在另外的位置获得的图像)关联的IR图案信息。另外地或替选地,可以通过捕获来自不与阴影区域关联(或与减少的阴影区域关联)的IR发射器(或IR发射器位置)的重复图像可以捕获不具有(或减少了)阴影区域的深度视频;或者可以通过从获得的M个图像中重复地选择最佳图像来捕获不具有(或减少了)阴影区域的深度视频。
图5示出了根据本公开的至少一些示例布置的示例计算机程序产品500。程序产品500可以包括信号承载介质502。信号承载介质502可以包括一个或更多个指令504,该指令504在由一个或更多个处理器执行时,该指令可以使得计算装置提供以上针对图4描述的功能。因此,例如,结构光装置100(参见图1)可以响应于由介质502传送的指令504来进行图4中所示的动作中的一个或更多个。
在一些实现中,信号承载介质502可以包括非瞬时性计算机可读介质506,诸如但不限于硬盘驱动器、质密盘(CD)、数字通用盘(DVD)、数字磁带、存储器等。在一些实现中,信号承载介质502可以包括可记录介质508,诸如但不限于存储器、读/写(R/W)CD、R/W DVD等。在一些实现中,信号承载介质502可以包括通信介质510,诸如但不限于数字和/或模拟通信介质(例如,光纤线缆、波导、有线通信链路、无线通信链路等)。
图6示出了根据本公开的至少一些实施方式布置的另一示例结构光装置。在所示的死狐狸中,结构光装置600可以包括一个或更多个红外(IR)发射器602、一个或更多个轨道604、图像捕获装置106、处理器108和/或信号承载介质110。
IR发射器602可以被构造为发射IR信号。IR发射器602可以被构造为在基本上水平方向、基本上竖直方向或基本上水平和竖直方向中的至少一个方向上移动。例如,IR发射器602可以被布置在一个或更多个轨道604上。这样的轨道604可以被构造为在基本上水平方向、基本上竖直方向或基本上水平和竖直方向中的至少一个方向上移动IR发射器602。图像捕获装置106可以被构造为从IR发射器602的一个或更多个位置接收IR信号。
处理器108可以通信地耦接到IR发射器602和图像捕获装置106。信号承载介质110可以包括其上存储的机器可读指令,该机器可读指令在由处理器执行时可以用于使得计算装置能够移动IR发射器602。例如,IR发射器602可以经由轨道604而移动。
在操作中,机器可读指令可以用于使得计算装置能够至少部分地基于来自IR发射器602的一个或更多个位置的IR信号确定图像的深度。额外地或替选地,机器可读指令可以用于使得计算装置能够确定轮廓对象。例如,不具有结构光图案的对象可以被视为轮廓对象。额外地或替选地,机器可读指令可以用于使得计算装置能够从被部分遮挡的对象中推断出完整的对象图像。
在一些示例中,机器可读指令可以用于使得计算装置能够确定从接收自IR发射器的第一位置的第一IR信号是否检测到阴影区域。在这样的示例中,结构光装置600可以将IR发射器602移动到第二位置并且如果确定从接收自IR发射器602的第一位置的第一IR信号检测到阴影区域则利用对应于从IR发射器602的第二位置接收的第二IR信号的图像。类似地,结构光装置600可以将IR发射器602移动到第二位置并且如果确定从接收自IR发射器602的第一位置的第一IR信号没有检测到阴影区域则利用对应于从IR发射器602的第一位置接收的第一IR信号的图像。
图7示出了根据本公开的至少一些实施方式布置的捕获结构光图像的另一示例处理700。在所示的示例中,处理700可以包括由示例操作702、704和/或706示出的功能操作中的一个或更多个。
如所示的,处理700可以在结构光装置(例如,图6的结构光装置600)中实施并且可以实施为捕获结构光图像。处理可以在操作702“接收第一红外信号”处开始,在该操作中,可以接收第一红外(IR)信号。例如,可以在图像捕获装置处从位于第一位置的IR发射器接收第一红外(IR)信号。在这样的示例中,IR发射器可以被构造为在基本上水平方向、基本上竖直方向或基本上水平和竖直方向中的至少一个方向上移动。
处理可以从操作702继续到操作704“移动IR发射器”,在该操作中,可以移动IR发射器。例如,IR发射器可以移动到第二位置。
处理可以从操作704继续到操作706“接收第二红外信号”,在该操作中,可以接收第二IR信号。例如,可以在图像捕获装置处从位于第二位置处的IR发射器接收第二IR信号。
在一些示例中,处理700可以包括确定从接收自IR发射器的第一位置的第一IR信号是否检测到阴影区域的操作。在这样的示例中,如果确定从接收自IR发射器的第一位置的第一IR信号检测到阴影区域,则处理700可以包括利用对应于从IR发射器的第二位置接收的第二IR信号的图像的操作。类似地,如果确定从接收自IR发射器的第一位置的第一IR信号没有检测到阴影区域,则处理700可以包括利用对应于从IR发射器的第一位置接收的第一IR信号的图像的操作。在一些示例中,确定是否检测到阴影区域的步骤可以包括至少部分地基于第一IR信号和第二IR信号确定图像的深度。
图8示出了根据本公开的至少一些示例布置的示例计算机程序产品800。程序产品800可以包括信号承载介质802。信号承载介质802可以包括一个或更多个机器可读指令804,该指令804在由一个或更多个处理器执行时,该指令可以使得计算装置能够提供以上针对图7描述的功能。因此,例如,结构光装置600(例如,参见图6)可以响应于由介质802传送的指令804来进行图7中所示的动作中的一个或更多个。
在一些实现中,信号承载介质802可以包括非瞬时性计算机可读介质806,诸如但不限于硬盘驱动器、质密盘(CD)、数字通用盘(DVD)、数字磁带、存储器等。在一些实现中,信号承载介质802可以包括可记录介质808,诸如但不限于存储器、读/写(R/W)CD、R/W DVD等。在一些实现中,信号承载介质802可以包括通信介质810,诸如但不限于数字和/或模拟通信介质(例如,光纤线缆、波导、有线通信链路、无线通信链路等)。
图9是示出根据本公开的至少一些实施方式布置的可以由本领域技术人员实施的示例计算装置900的框图。在一个示例构造901中,计算装置900可以包括一个或更多个处理器910和系统存储器920。存储器总线930可以用于在处理器910和系统存储器920之间通信。
根据想要的配置,处理器910可以是任何类型,包括但不限于微处理器(μP)、微控制器(μC)、数字信号处理器(DSP)或者它们的任意组合。处理器910可以包括诸如一级缓存911和二级缓存912的一级或更多级缓存、处理器核心913和寄存器914。处理器核心913可以包括算术逻辑单元(ALU)、浮点单元(FPU)、数字信号处理核心(DSP核心)或者它们的任意组合。存储器控制器915还可以与处理器910一起使用,或者在一些实现中,存储器控制器915可以是处理器910的内部部分。
根据想要的配置,系统存储器920可以是任何类型,包括但不限于易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪速存储器等)或者它们的任意组合。系统存储器920可以包括操作系统921、一个或更多个应用922以及程序数据924。应用922可以包括用于执行这里所描述的包括关于图4的处理400和/或图7的处理700所描述的功能块和/或动作的功能的图像捕获算法923。程序数据924可以包括用于与图像捕获算法923一起使用的图像数据925。在一些示例实施方式中,应用922可以被布置为在操作系统912上利用程序数据924来操作,从而可以提供如这里所描述的提供用于捕获图像的指导的实施。例如,结构光装置100(例如,参见图1)和/或结构光装置600(例如,参见图6)可以包括计算装置900的全部或一部分并且能够执行应用922的全部或一部分,从而可以如这里所描述地提供捕获图像的实施。该描述的基本配置在图9中由虚线910内的组件示出。
计算装置900可以具有附加的特征或功能以及附加接口,以便于基本配置901与任何所需装置和接口之间的通信。例如,可以使用总线/接口控制器940以便于经由存储装置接口总线941的基本配置901和一个或更多个数据存储装置950之间的通信。数据存储装置950可以是可移除存储装置951、非可移除存储装置952或二者的组合。举例来说,可移除存储装置和非可移除存储装置的示例包括磁盘装置(例如,柔性盘驱动器和硬盘驱动器(HDD))、光盘驱动器(例如,压缩盘(CD)驱动器或数字通用盘(DVD)驱动器)、固态驱动器(SSD)和带驱动器。示例计算机存储介质可以包括在用于存储信息(例如,计算机可读指令、数据结构、程序模块或其它数据)的任何方法或技术实现的易失性和非易失性、可移除和非可移除介质。
系统存储器920、可移除存储装置951和非可移除存储装置952都是计算机存储介质的示例。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪速存储器或其它存储技术、CD-ROM、数字通用盘(DVD)或其它光学存储装置、磁带盒、磁带、磁盘存储装置或其它磁性存储装置、或者可以用于存储期望的信息并且可以被计算装置900访问的任何其它介质。任何这种计算机存储介质可以是装置900的一部分。
计算装置900还可以包括接口总线942,所述接口总线942便于经由总线/接口控制器940从各种接口装置(例如,输出接口、外围接口和通信接口)到基本配置901的通信。示例输出接口960可以包括图形处理单元961和音频处理单元962,所述图形处理单元961和所述音频处理单元962可以被配置为经由一个或更多个A/V端口963与诸如显示器或扬声器的各种外部装置进行通信。示例外围接口970可以包括串行接口控制器971或并行接口控制器972,所述串行接口控制器971或所述并行接口控制器972可以被配置为经由一个或更多个I/O端口973与诸如输入装置(例如,键盘、鼠标、笔、语音输入装置、触摸输入装置等)的外部装置或其它外围装置(例如,打印机、扫描仪等)进行通信。示例通信接口980包括网络控制器981,所述网络控制器981可以被设置为便于经由一个或更多个通信端口982通过网络通信与一个或更多个其它计算装置990进行通信。通信连接是通信介质的一个示例。通信介质可以通常由诸如载波或其它传输介质的调制数据信号中的计算机可读指令、数据结构、程序模块或其它数据来实施,并且可以包括任意信息传送介质。“调制数据信号”可以是具有以对信号中的信息进行编码的方式设置或改变的一个或更多个特征的信号。举例来说,并且没有限制,通信介质可以包括有线介质(例如,有线网络或直接有线连接)和无线介质(例如,声学、射频(RF)、微波、红外(IR)和其它无线介质)。这里使用的术语计算机可读介质可以包括存储介质和通信介质这二者。
计算装置900可以被实现为小型因素便携式(或移动)电子装置(例如,蜂窝电话、个人数据助理(PDA)、个人媒体播放器装置、无线网络观看装置、个人头戴装置、专用装置或包括以上功能中的任何一个的混合装置)。计算装置900还可以被实现为包括膝上型计算机和非膝上型计算机配置这二者的个人计算机。另外,计算装置900可以被实施为无线基站或其它无线系统或装置的一部分。
前面详细描述的一些部分已经从有关存储在计算系统存储器(如计算机存储器)内的数据比特或二进制数字信号的运算的算法或符号性表述方面进行了呈现。这些算法描述或表述是数据处理领域的普通技术人员所使用的技术的示例,以向本领域其它技术人员表达它们的工作的实质。算法在此并且通常被视为导致希望结果的自身一致的运算序列或类似处理。在这个上下文中,运算或处理涉及物理量的物理操纵。通常地,尽管不必须,但这种量采取能够被存储、传递、组合、比较或以其它方式操纵的电或磁信号形式。已经证实,有时便利地,主要出于常见用法的理由,来将这种信号称为比特、数据、值、组元、符号、字符、项、数字、数值等。然而,应当明白的是,所有这些和类似术语要与适当物理量相关联,并且仅是便利性标记。除非如根据下面讨论清楚地另外具体规定,应当清楚的是,在整个说明书中利用诸如“处理(processing)”、“计算(computing)”、“计算(calculating)”、“确定(determining)”等的术语的讨论是指计算装置的动作和处理,其操纵或变换表示为存储器、寄存器,或该计算装置的其它信息存储装置、传输装置,或显示装置内的物理电子或磁量的数据。
要求保护的主题在范围上不限于在此描述的特定实现方式。例如,一些实现方式可以采用硬件,举例来说,如被采用以在装置或多个装置的组合上操作,而其它实现方式可以采用软件和/或固件。同样地,尽管要求保护的主题在范围上不限于这方面,但一些实现可以包括一个或更多个物品,如信号承载介质,存储介质以及/或存储媒介。这种存储介质(举例来说,如CD-ROM、计算机盘、闪速存储器等)可以具有存储在其上的指令,其在通过计算装置(举例来说,如计算系统、计算平台,或其它系统)执行时,可以导致处理器根据要求保护的主题(举例来说,如先前描述的实现之一)来执行。作为一种可能性,计算装置可以包括:一个或更多个处理单元或处理器、一个或更多个输入/输出装置(如显示器、键盘以及/或鼠标器),以及一个或更多个存储器(如静态随机存取存储器、动态随机存取存储器、闪速存储器,以及/或硬盘驱动器)。
系统的多个方面的硬件与软件实现之间区别不大;使用硬件还是软件通常(但并不总是,因为在某些背景下,硬件与软件之间的选择可以变得显著)是表示成本与效率权衡的设计选择。存在可以实现在此描述的处理和/或系统和/或其它技术(例如,硬件、软件,以及/或固件)的各种承载工具,并且优选承载工具将随着部署该处理和/或系统和/或其它技术的背景而改变。例如,如果实现方确定速度和准确度最重要,则该实现方可以选择主要硬件和/或固件承载工具;如果灵活性最重要,则该实现方可以选择主要软件实现;或者,此外又另选地,该实现方可以选择硬件、软件,以及/或固件的一些组合。
前述详细描述已经经由使用框图、流程图,以及/或示例阐述了该装置和/或处理的各种实施方式。至于这种框图、流程图,以及/或示例包含一个或更多个功能和/或操作,本领域技术人员应当明白,这种框图、流程图,或示例内的每一个功能和/或操作可以单独地和/或共同地,通过宽范围的硬件、软件、固件,或者实际上其任何组合来实现。在一个实施方式中,在此描述的主旨的几个部分可以经由专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP),或其它集成格式来实现。然而,本领域技术人员应当认识到,在此公开的实施方式的一些方面整个地或者部分地可以等同地在集成电路中实现,实现为运行在一个或更多个计算机上的一个或更多个计算机程序(例如,实现为运行在一个或更多个计算机系统上的一个或更多个程序),实现为运行在一个或更多个处理器上的一个或更多个程序(例如,实现为运行在一个或更多个微处理器上的一个或更多个程序),实现为固件,或者实际上实现为其任何组合,并且根据本公开,设计电路和/或编写用于软件和/或固件的代码完全处于本领域技术人员的技术内。另外,本领域技术人员应当清楚的是,在此描述的主题的机制能够按多种形式作为程序产品分配,并且在此描述的主题的例示性实施方式适用,而与被用于实际执行该分配的特定类型的信号承载介质无关。信号承载介质的示例包括但不限于,以下:可记录型介质,如软盘、硬盘驱动器(HDD)、质密盘(CD)、数字通用盘(DVD)、数字磁带、计算机存储器等;和传输型介质,如数字和/或模拟通信媒介(例如,光纤线缆、波导管、有线通信链路、无线通信链路等)。
本领域技术人员应当认识到,按在此阐述的方式来描述装置和/或处理,并且此后,使用工程实践将这样描述的装置和/或处理集成到数据处理系统中是本领域内常见的。即,在此描述的装置和/或处理的至少一部分可以经由合理量的实验而集成到数据处理系统中。本领域技术人员应当认识到的是,通常的数据处理系统通常包括以下中的一个或更多个:系统单元外壳、视频显示装置、诸如易失性和非易失性存储器的存储器、诸如微处理器和数字信号处理器的处理器、诸如操作系统、驱动器、图形用户接口,以及应用程序的计算实体、诸如触摸板或触摸屏的一个或更多个交互式装置,以及/或包括反馈回路和控制电动机的控制系统(例如,用于感测位置和/或速度的反馈;用于移动和/或调节组件和/或数量的控制马达)。通常的数据处理系统可以利用任何合适商业可获组件来实现,如通常在数据计算/通信和/或网络通信/计算系统中找到的那些。
在此描述的主题有时例示了包含在不同的其它组件内或与其相连接的不同组件。要明白的是,这样描绘的架构仅仅是示例性的,并且实际上,可以实现获得相同功能的许多其它架构。在概念意义上,用于获得相同功能的组件的任何排布结构都有效地“关联”,以使获得希望功能。因此,在此为获得特定功能而组合的任两个组件都可以被看作彼此“相关联”,以使获得希望功能,而与架构或中间组件无关。同样地,这样关联的任两个组件还可以被视作彼此“可操作地连接”,或“可操作地耦接”,以获得希望功能,并且能够这样关联的任两个组件也可以被视作可彼此“操作地耦接”,以获得希望功能。可操作地耦接的具体示例包括但不限于,物理上可配合和/或物理上交互的组件和/或可无线地交互和/或无线地交互的组件和/或逻辑上交互和/或逻辑上可交互组件。
针对在此实质上使用的任何复数和/或单数术语,本领域技术人员可以针对背景和/或应用在适当时候从复数翻译成单数和/或从单数翻译成复数。为清楚起见,各种单数/多数置换在此可以确切地阐述。
本领域技术人员应当明白,一般来说,在此使用的,而且尤其是在所附权利要求书中(例如,所附权利要求书的主体)使用的术语通常旨在作为“开放式”措辞(例如,措辞“包括(including)”应当解释为“包括但不限于”,措辞“具有(having)”应当解释为“至少具有”,措辞“包括(include)”应当解释为“包括但不限于”等)。本领域技术人员还应当明白,如果想要特定数量的介绍权利要求列举,则这种意图将明确地在该权利要求中陈述,并且在没有这些列举的情况下,不存在这种意图。例如,为帮助理解,下面所附权利要求书可以包含使用介绍性短语“至少一个”和“一个或更多个”来介绍权利要求列举。然而,使用这种短语不应被认作,暗示由不定冠词“一(a)”或“一(an)”介绍的权利要求列举将包含这种介绍权利要求列举的任何特定权利要求限制于仅包含一个这种列举的发明,即使同一权利要求包括介绍性短语“一个或更多个”或“至少一个”以及诸如“一(a)”或“一(an)”的不定冠词(例如,“一(a)”或“一(an)”通常应当被解释成意指“至少一个”或“一个或更多个”);其对于使用为介绍权利要求列举而使用的定冠词来说同样保持为真。另外,即使明确地陈述特定数量的介绍权利要求列举,本领域技术人员也应当认识到,这种列举通常应当被解释成,至少意指所陈述数量(例如,“两个列举”的仅有的列举在没有其它修饰语的情况下通常意指至少两个列举,或者两个或更多个列举)。而且,在使用类似于“A、B,以及C等中的至少一个”的惯例的那些实例中,一般来说,这种句法结构希望本领域技术人员在意义上应当理解这种惯例(例如,“具有A、B,以及C中的至少一个的系统”应当包括但不限于具有单独A、单独B、单独C、A和B一起、A和C一起、B和C一起,以及/或A、B以及C一起等的系统)。在使用类似于“A、B,或C等中的至少一个”的惯例的那些实例中,一般来说,这种句法结构希望本领域技术人员在意义上应当理解这种惯例(例如,“具有A、B,或C中的至少一个的系统”应当包括但不限于具有单独A、单独B、单独C、A和B一起、A和C一起、B和C一起,以及/或A、B以及C一起等的系统)。本领域技术人员还应当明白的是,实际上,呈现两个或更多个另选术语的任何转折词和/短语(无论处于描述、权利要求书中,还是在附图中)应当被理解成,设想包括这些术语、这些术语中的任一个,或者两个术语的可能性。例如,短语“A或B”应当被理解成,包括“A”或“B”或“A和B”的可能性。
本说明书中针对“实现方式”、“一个实现方式”、“一些实现方式”,或“其它实现方式”的引用可以意指,结合一个或更多个实现方式描述的特定特征、结构,或特性可以被包括在至少一些实现方式中,但不必被包括在所有实现方式中。前述描述中不同出现的“实现方式”、“一个实现方式”,或“一些实现方式”不必全部针对同一实现方式而引用。
虽然利用不同方法和系统描述和示出了特定示例性技术,但本领域技术人员应当明白,在不脱离要求保护的主题的情况下,可以进行各种其它修改,并且可以代替等同物。另外,在不脱离在此描述的中心概念的情况下,可以进行许多修改以使适应针对要求保护的主题的教导的特定情况。因此,要求保护的主题不限于所公开的特定示例,而是这种要求保护的主题还可以包括落入所附权利要求书及其等同物的范围内的所有实现。
Claims (41)
1.一种设备,所述设备包括:
第一红外(IR)发射器,所述第一IR发射器被构造为发射第一IR信号;
第二IR发射器,所述第二IR发射器被构造为发射第二IR信号;
图像捕获装置,所述图像捕获装置被构造为接收所述第一IR信号和所述第二IR信号;
处理器,所述处理器通信地耦接到所述第一IR发射器、所述第二IR发射器和所述图像捕获装置;以及
信号承载介质,所述信号承载介质包括其上存储的机器可读指令,如果所述机器可读指令由所述处理器执行,则所述机器可读指令用于使得计算装置能够以交替的方式进行所述第一IR信号和所述第二IR信号分别从所述第一IR发射器和所述第二IR发射器的发射。
2.根据权利要求1所述的设备,其中,所述信号承载介质包括下述信号承载介质,该信号承载介质包括其上存储的机器可读指令,如果所述机器可读指令由所述处理器执行,则所述机器可读指令用于使得计算装置能够确定从接收自所述第一IR发射器的所述第一IR信号是否检测到阴影区域。
3.根据权利要求2所述的设备,其中,所述信号承载介质包括下述信号承载介质,该信号承载介质包括其上存储的机器可读指令,如果所述机器可读指令由所述处理器执行,则所述机器可读指令用于使得计算装置能够在确定出从接收自所述第一IR发射器的所述第一信号检测到阴影区域的情况下利用对应于从所述第二IR发射器接收的所述第二IR信号的图像。
4.根据权利要求2所述的设备,其中,所述信号承载介质包括下述信号承载介质,该信号承载介质包括其上存储的机器可读指令,如果所述机器可读指令由所述处理器执行,则所述机器可读指令用于使得计算装置能够在确定出从接收自所述第一IR发射器的所述第一IR信号没有检测到阴影区域的情况下利用对应于从所述第一IR发射器接收的所述第一IR信号的图像。
5.根据权利要求1所述的设备,其中,所述第一IR发射器和所述第二IR发射器包括之间具有预定距离的第一发射器和第二发射器。
6.根据权利要求1所述的设备,其中,所述第一IR发射器和所述第二IR发射器包括布置在轨道上的第一IR发射器和第二IR发射器中的每一个,所述轨道被构造为在基本上竖直方向、基本上水平方向、或基本上竖直和基本上水平方向中的至少一个方向上移动所述第一IR发射器和所述第二IR发射器。
7.根据权利要求1所述的设备,其中,所述图像捕获装置包括互补金属氧化物半导体(CMOS)器件。
8.根据权利要求7所述的设备,其中,所述CMOS器件包括单色CMOS传感器。
9.根据权利要求1所述的设备,其中,所述图像捕获装置包括电荷耦合器件(CCD)。
10.根据权利要求1所述的设备,其中,所述信号承载介质包括下述信号承载介质,该信号承载介质包括其上存储的机器可读指令,如果所述机器可读指令由所述处理器执行,则所述机器可读指令用于使得计算装置能够至少部分地基于接收的所述第一IR信号和所述第二IR信号确定图像的深度。
11.一种设备,所述设备包括:
红外(IR)发射器,所述IR发射器被构造为发射IR信号并且在基本上水平方向、基本上竖直方向、或基本上水平和竖直方向中的至少一个方向上移动;
图像捕获装置,所述图像捕获装置被构造为接收来自所述IR发射器的一个或更多个位置的IR信号;
处理器,所述处理器通信地耦接到所述IR发射器和所述图像捕获装置;以及
信号承载介质,所述信号承载介质包括其上存储的机器可读指令,如果所述机器可读指令由所述处理器执行,则所述机器可读指令用于使得计算装置能够移动所述IR发射器。
12.根据权利要求11所述的设备,所述信号承载介质包括下述信号承载介质,该信号承载介质包括其上存储的机器可读指令,如果所述机器可读指令由所述处理器执行,则所述机器可读指令用于使得计算装置能够确定从接收自所述IR发射器的第一位置的第一IR信号是否检测到阴影区域。
13.根据权利要求12所述的设备,其中,所述信号承载介质包括下述信号承载介质,该信号承载介质包括其上存储的机器可读指令,如果所述机器可读指令由所述处理器执行,则所述机器可读指令用于使得计算装置能够将所述IR发射器移动到第二位置并且在确定出从接收自所述IR发射器的所述第一位置的所述第一IR信号检测到阴影区域的情况下利用对应于从所述IR发射器的所述第二位置接收的第二IR信号的图像。
14.根据权利要求12所述的设备,其中,所述信号承载介质包括下述信号承载介质,该信号承载介质包括其上存储的机器可读指令,如果所述机器可读指令由所述处理器执行,则所述机器可读指令用于使得计算装置能够将所述IR发射器移动到第二位置并且在确定出从接收自所述IR发射器的所述第一位置的所述第一IR信号没有检测到阴影区域的情况下利用对应于从所述IR发射器的所述第一位置接收的所述第一IR信号的图像。
15.根据权利要求11所述的设备,其中,所述IR发射器包括布置在轨道上的IR发射器。
16.根据权利要求11所述的设备,其中,所述图像捕获装置包括互补金属氧化物半导体(CMOS)器件。
17.根据权利要求16所述的设备,其中,所述CMOS器件包括单色CMOS传感器。
18.根据权利要求11所述的设备,其中,所述图像捕获装置包括电荷耦合器件(CCD)。
19.根据权利要求11所述的设备,其中,所述信号承载介质包括下述信号承载介质,该信号承载介质包括其上存储的机器可读指令,如果所述机器可读指令由所述处理器执行,则所述机器可读指令用于使得计算装置能够至少部分地基于来自所述IR发射器的一个或更多个位置的IR信号确定图像的深度。
20.根据权利要求11所述的设备,其中,所述信号承载介质包括下述信号承载介质,该信号承载介质包括其上存储的机器可读指令,如果所述机器可读指令由所述处理器执行,则所述机器可读指令用于使得计算装置能够确定轮廓对象。
21.根据权利要求11所述的设备,其中,所述信号承载介质包括下述信号承载介质,该信号承载介质包括其上存储的机器可读指令,如果所述机器可读指令由所述处理器执行,则所述机器可读指令用于使得计算装置能够从所确定的部分遮挡的对象推断出完整的对象图像。
22.一种图像处理方法,所述方法包括:
在图像捕获装置处接收来自接收的第一红外(IR)发射器的第一IR信号;
在所述图像捕获装置处接收来自第二IR发射器的第二IR信号;
确定从接收自所述第一IR发射器的所述第一IR信号是否检测到阴影区域;以及
以交替的方式进行所述第一IR信号从所述第一IR发射器的发射以及所述第二IR信号从所述第二IR发射器的发射。
23.根据权利要求22所述的方法,所述方法进一步包括如果确定出从接收自所述第一IR发射器的所述第一信号检测到阴影区域,则利用对应于从所述第二IR发射器接收的所述第二IR信号的图像。
24.根据权利要求22所述的方法,所述方法进一步包括如果确定出从接收自所述第一IR发射器的所述第一IR信号没有检测到阴影区域,则利用对应于从所述第一IR发射器接收的所述第一IR信号的图像。
25.根据权利要求22所述的方法,其中,所述第一IR发射器和所述第二IR发射器包括之间具有预定距离的第一IR发射器和第二IR发射器。
26.根据权利要求22所述的方法,其中,所述第一IR发射器和所述第二IR发射器包括布置在轨道上的第一IR发射器和第二IR发射器中的每一个,所述轨道被构造为在基本上水平方向、基本上竖直方向、或基本上竖直和基本上水平方向中的至少一个上移动所述第一IR发射器和所述第二IR发射器。
27.根据权利要求22所述的方法,其中,确定步骤包括至少部分地基于接收的所述第一IR信号和所述第二IR信号确定图像的深度。
28.一种图像处理方法,所述方法包括:
在图像捕获装置处接收来自处于第一位置的红外(IR)发射器的第一IR信号,所述IR发射器被构造为在基本上水平方向、基本上竖直方向、或基本上水平和竖直方向中的至少一个上移动;
将所述IR发射器移动到第二位置;以及
在所述图像捕获装置处接收来自位于所述第二位置的所述IR发射器的第二IR信号。
29.根据权利要求28所述的方法,所述方法进一步包括确定是否从接收自所述IR发射器的所述第一位置的所述第一IR信号检测到阴影区域。
30.根据权利要求29所述的方法,所述方法进一步包括如果确定出从接收自所述IR发射器的所述第一位置的所述第一IR信号检测到阴影区域,则利用对应于从所述IR发射器的所述第二位置接收的所述第二IR信号的图像。
31.根据权利要求29所述的方法,所述方法进一步包括如果确定出从接收自所述IR发射器的所述第一位置的所述第一IR信号没有检测到阴影区域,则利用对应于从所述IR发射器的所述第一位置接收的所述第一IR信号的图像。
32.根据权利要求28所述的方法,其中,所述IR发射器包括布置在轨道上的IR发射器。
33.根据权利要求28所述的方法,其中,所述图像捕获装置包括互补金属氧化物半导体(CMOS)器件。
34.根据权利要求28所述的方法,其中,所述图像捕获装置包括电荷耦合器件(CCD)。
35.一种制品,所述制品包括:
信号承载介质,所述信号承载介质包括其上存储的机器可读指令,如果所述机器可读指令由处理器执行,则所述机器可读指令用于使得计算装置能够:
在图像捕获装置处接收来自第一红外(IR)发射器的第一IR信号;
在所述图像捕获装置处接收来自第二IR发射器的第二IR信号;
确定从接收自所述第一IR发射器的所述第一IR信号是否检测到阴影区域;以及
以交替的方式进行所述第一IR信号从所述第一IR发射器的发射以及所述第二IR信号从所述第二IR发射器的发射。
36.根据权利要求35所述的制品,其中,所述信号承载介质进一步包括下述信号承载介质,该信号承载介质包括其上存储的机器可读指令,如果所述机器可读指令由所述处理器执行,则所述机器可读指令用于使得计算装置能够在确定出从接收自所述第一IR发射器的所述第一信号检测到阴影区域的情况下利用对应于从所述第二IR发射器接收的所述第二IR信号的图像。
37.根据权利要求35所述的制品,其中,所述信号承载介质进一步包括下述信号承载介质,该信号承载介质包括其上存储的机器可读指令,如果所述机器可读指令由所述处理器执行,则所述机器可读指令用于使得计算装置能够在确定出从接收自所述第一IR发射器的所述第一IR信号没有检测到阴影区域的情况下利用对应于从所述第一IR发射器接收的所述第一IR信号的图像。
38.一种制品,所述制品包括:
信号承载介质,所述信号承载介质包括其上存储的机器可读指令,如果所述机器可读指令由所述处理器执行,则所述机器可读指令用于使得计算装置能够:
在图像捕获装置处接收来自处于第一位置的红外(IR)发射器的第一IR信号,所述IR发射器被构造为在基本上水平方向、基本上竖直方向、或基本上水平和竖直方向中的至少一个上移动;
将所述IR发射器移动到第二位置;以及
在所述图像捕获装置处接收来自处于所述第二位置的所述IR发射器的第二IR信号。
39.根据权利要求38所述的制品,其中,所述信号承载介质进一步包括下述信号承载介质,该信号承载介质包括其上存储的机器可读指令,如果所述机器可读指令由所述处理器执行,则所述机器可读指令用于使得计算装置能够确定从接收自所述IR发射器的所述第一位置的所述第一IR信号是否检测到阴影区域。
40.根据权利要求39所述的制品,其中,所述信号承载介质进一步包括下述信号承载介质,该信号承载介质包括其上存储的机器可读指令,如果所述机器可读指令由所述处理器执行,则所述机器可读指令用于使得计算装置能够在确定出从接收自所述IR发射器的所述第一位置的所述第一IR信号检测到阴影区域的情况下利用对应于从所述IR发射器的所述第二位置接收的第二IR信号的图像。
41.根据权利要求39所述的制品,其中,所述信号承载介质进一步包括下述信号承载介质,该信号承载介质包括其上存储的机器可读指令,如果所述机器可读指令由所述处理器执行,则所述机器可读指令用于使得计算装置能够在确定出从接收自所述IR发射器的所述第一位置的所述第一IR信号没有检测到阴影区域的情况下利用对应于从所述IR发射器的所述第一位置接收的所述第一IR信号的图像。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2011/059413 WO2013066351A1 (en) | 2011-11-04 | 2011-11-04 | Ir signal capture for images |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103918252A true CN103918252A (zh) | 2014-07-09 |
CN103918252B CN103918252B (zh) | 2017-06-06 |
Family
ID=48192535
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180074630.8A Expired - Fee Related CN103918252B (zh) | 2011-11-04 | 2011-11-04 | 用于图像的ir信号捕获 |
Country Status (5)
Country | Link |
---|---|
US (2) | US8976249B2 (zh) |
JP (1) | JP6178321B2 (zh) |
KR (1) | KR101566812B1 (zh) |
CN (1) | CN103918252B (zh) |
WO (1) | WO2013066351A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106954058A (zh) * | 2017-03-09 | 2017-07-14 | 深圳奥比中光科技有限公司 | 深度图像获取系统和方法 |
CN108171150A (zh) * | 2017-12-26 | 2018-06-15 | 信利光电股份有限公司 | 一种用于面部识别的触控模组 |
JP2019504522A (ja) * | 2015-11-06 | 2019-02-14 | フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーFacebook Technologies, Llc | ステレオカメラと構造化光とを用いたヘッドマウントディスプレイを伴う奥行きマッピング |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6447516B2 (ja) * | 2013-12-27 | 2019-01-09 | ソニー株式会社 | 画像処理装置、および画像処理方法 |
KR101582726B1 (ko) | 2013-12-27 | 2016-01-06 | 재단법인대구경북과학기술원 | 스테레오 타입의 거리 인식 장치 및 방법 |
US9846924B2 (en) * | 2016-03-28 | 2017-12-19 | Dell Products L.P. | Systems and methods for detection and removal of shadows in an image |
US10643336B2 (en) * | 2018-03-06 | 2020-05-05 | Sony Corporation | Image processing apparatus and method for object boundary stabilization in an image of a sequence of images |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1942735A (zh) * | 2004-04-19 | 2007-04-04 | 西克Ivp股份公司 | 分配系统中的测量装置和方法 |
JP2009264862A (ja) * | 2008-04-24 | 2009-11-12 | Panasonic Electric Works Co Ltd | 3次元形状計測方法および装置 |
WO2009157129A1 (ja) * | 2008-06-26 | 2009-12-30 | パナソニック株式会社 | 画像処理装置、画像分割プログラムおよび画像合成方法 |
CN101986717A (zh) * | 2010-11-11 | 2011-03-16 | 昆山龙腾光电有限公司 | 立体显示用图像数据生成系统 |
Family Cites Families (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0616147B2 (ja) * | 1986-03-26 | 1994-03-02 | チノン株式会社 | カメラ |
CA2166255C (en) * | 1995-12-28 | 2001-12-18 | John V. Taglione | Multi-channel optical transceiver |
US5862844A (en) * | 1996-05-03 | 1999-01-26 | Nartron Corporation | Methods and systems for controlling a dispensing apparatus |
US6097394A (en) * | 1997-04-28 | 2000-08-01 | Board Of Trustees, Leland Stanford, Jr. University | Method and system for light field rendering |
KR100319548B1 (ko) * | 1999-03-22 | 2002-01-05 | 김재한 | 게이트 통과 객체의 방향 검출 및 통보 장치 |
US6341016B1 (en) | 1999-08-06 | 2002-01-22 | Michael Malione | Method and apparatus for measuring three-dimensional shape of object |
US6775014B2 (en) * | 2001-01-17 | 2004-08-10 | Fujixerox Co., Ltd. | System and method for determining the location of a target in a room or small area |
EP1419516A4 (en) * | 2001-05-07 | 2009-05-06 | Panavision Imaging Llc | IMAGE ENCODING CMOS SYSTEM AND METHOD THEREOF |
JP2003016429A (ja) | 2001-06-28 | 2003-01-17 | Honda Motor Co Ltd | 車両周辺監視装置 |
JP2004110804A (ja) * | 2002-08-28 | 2004-04-08 | Fuji Xerox Co Ltd | 3次元画像撮影装置及び方法 |
US7242818B2 (en) | 2003-01-17 | 2007-07-10 | Mitsubishi Electric Research Laboratories, Inc. | Position and orientation sensing with a projector |
KR100615576B1 (ko) * | 2003-02-06 | 2006-08-25 | 주식회사 고영테크놀러지 | 3차원형상 측정장치 |
US7103227B2 (en) * | 2003-03-19 | 2006-09-05 | Mitsubishi Electric Research Laboratories, Inc. | Enhancing low quality images of naturally illuminated scenes |
US7738725B2 (en) * | 2003-03-19 | 2010-06-15 | Mitsubishi Electric Research Laboratories, Inc. | Stylized rendering using a multi-flash camera |
US7206449B2 (en) * | 2003-03-19 | 2007-04-17 | Mitsubishi Electric Research Laboratories, Inc. | Detecting silhouette edges in images |
US20060261931A1 (en) * | 2003-08-15 | 2006-11-23 | Ziyi Cheng | Automobile security defence alarm system with face identification and wireless communication function |
US7308112B2 (en) * | 2004-05-14 | 2007-12-11 | Honda Motor Co., Ltd. | Sign based human-machine interaction |
US7593593B2 (en) * | 2004-06-16 | 2009-09-22 | Microsoft Corporation | Method and system for reducing effects of undesired signals in an infrared imaging system |
WO2006017771A1 (en) | 2004-08-06 | 2006-02-16 | University Of Washington | Variable fixation viewing distance scanned light displays |
US7463772B1 (en) | 2004-09-13 | 2008-12-09 | Google Inc. | De-warping of scanned images |
US20060125658A1 (en) * | 2004-12-10 | 2006-06-15 | Deutsches Zentrum For Luft-Und Raumfahrt E.V. | System for assisting navigation operation of moving objects |
US7660458B1 (en) | 2004-12-14 | 2010-02-09 | Google Inc. | Three-dimensional model construction using unstructured pattern |
US8888593B2 (en) * | 2005-10-26 | 2014-11-18 | Sony Computer Entertainment Inc. | Directional input for a video game |
US20070285554A1 (en) | 2005-10-31 | 2007-12-13 | Dor Givon | Apparatus method and system for imaging |
US7822263B1 (en) | 2005-12-28 | 2010-10-26 | Prokoski Francine J | Method and apparatus for alignment, comparison and identification of characteristic tool marks, including ballistic signatures |
KR20070081773A (ko) * | 2006-02-13 | 2007-08-17 | 스마트 와이어레스 가부시키가이샤 | 적외선 얼굴 인증장치, 이를 구비하는 휴대 단말기 및보안장치 |
JP4740826B2 (ja) | 2006-02-23 | 2011-08-03 | 株式会社神戸製鋼所 | 形状測定装置、形状測定方法 |
JP4899534B2 (ja) * | 2006-02-28 | 2012-03-21 | ソニー株式会社 | 監視カメラ |
US7763005B2 (en) * | 2006-03-02 | 2010-07-27 | Covidien Ag | Method for using a pump set having secure loading features |
WO2008052006A2 (en) * | 2006-10-23 | 2008-05-02 | Xenogen Corporation | Apparatus and methods for fluorescence guided surgery |
GB2456482B (en) * | 2006-11-08 | 2011-08-17 | Univ East Anglia | Detecting illumination in images |
JP2008131292A (ja) * | 2006-11-20 | 2008-06-05 | Olympus Corp | 撮像装置 |
KR101456319B1 (ko) * | 2007-07-09 | 2014-11-03 | 플리르 시스템스 에이비 | 적외선 이미지 프로세싱 방법, 적외선 이미지 캡쳐 시스템 및 컴퓨터 판독가능 매체 |
US8384780B1 (en) * | 2007-11-28 | 2013-02-26 | Flir Systems, Inc. | Infrared camera systems and methods for maritime applications |
US8107083B2 (en) | 2008-03-05 | 2012-01-31 | General Electric Company | System aspects for a probe system that utilizes structured-light |
US7969583B2 (en) | 2008-03-05 | 2011-06-28 | General Electric Company | System and method to determine an object distance from a reference point to a point on the object surface |
US8319666B2 (en) * | 2009-02-20 | 2012-11-27 | Appareo Systems, Llc | Optical image monitoring system and method for vehicles |
US8878929B2 (en) | 2009-05-27 | 2014-11-04 | Koh Young Technology Inc. | Three dimensional shape measurement apparatus and method |
US8547327B2 (en) * | 2009-10-07 | 2013-10-01 | Qualcomm Incorporated | Proximity object tracker |
CN102118554B (zh) * | 2010-01-04 | 2014-07-02 | 鸿富锦精密工业(深圳)有限公司 | 监控系统 |
EP2392389A4 (en) * | 2010-02-03 | 2014-10-15 | Nintendo Co Ltd | GAME SYSTEM, OPERATING METHOD AND GAME PROCESSING METHOD |
US9008457B2 (en) * | 2010-05-31 | 2015-04-14 | Pesonify, Inc. | Systems and methods for illumination correction of an image |
KR20120023268A (ko) * | 2010-09-01 | 2012-03-13 | 삼성전자주식회사 | 디스플레이 장치 및 그 영상 생성 방법 |
CN102580269B (zh) * | 2011-01-14 | 2016-05-18 | 富泰华工业(深圳)有限公司 | 具有求救功能的电子装置及其求救方法 |
US9116666B2 (en) * | 2012-06-01 | 2015-08-25 | Microsoft Technology Licensing, Llc | Gesture based region identification for holograms |
US9477307B2 (en) * | 2013-01-24 | 2016-10-25 | The University Of Washington | Methods and systems for six degree-of-freedom haptic interaction with streaming point data |
US9292923B2 (en) * | 2013-03-06 | 2016-03-22 | The Nielsen Company (Us), Llc | Methods, apparatus and articles of manufacture to monitor environments |
-
2011
- 2011-11-04 JP JP2014535708A patent/JP6178321B2/ja not_active Expired - Fee Related
- 2011-11-04 WO PCT/US2011/059413 patent/WO2013066351A1/en active Application Filing
- 2011-11-04 KR KR1020147008709A patent/KR101566812B1/ko active IP Right Grant
- 2011-11-04 CN CN201180074630.8A patent/CN103918252B/zh not_active Expired - Fee Related
- 2011-11-04 US US13/695,356 patent/US8976249B2/en not_active Expired - Fee Related
-
2015
- 2015-02-02 US US14/611,952 patent/US9398288B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1942735A (zh) * | 2004-04-19 | 2007-04-04 | 西克Ivp股份公司 | 分配系统中的测量装置和方法 |
JP2009264862A (ja) * | 2008-04-24 | 2009-11-12 | Panasonic Electric Works Co Ltd | 3次元形状計測方法および装置 |
WO2009157129A1 (ja) * | 2008-06-26 | 2009-12-30 | パナソニック株式会社 | 画像処理装置、画像分割プログラムおよび画像合成方法 |
CN101986717A (zh) * | 2010-11-11 | 2011-03-16 | 昆山龙腾光电有限公司 | 立体显示用图像数据生成系统 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019504522A (ja) * | 2015-11-06 | 2019-02-14 | フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーFacebook Technologies, Llc | ステレオカメラと構造化光とを用いたヘッドマウントディスプレイを伴う奥行きマッピング |
CN106954058A (zh) * | 2017-03-09 | 2017-07-14 | 深圳奥比中光科技有限公司 | 深度图像获取系统和方法 |
CN106954058B (zh) * | 2017-03-09 | 2019-05-10 | 深圳奥比中光科技有限公司 | 深度图像获取系统和方法 |
CN108171150A (zh) * | 2017-12-26 | 2018-06-15 | 信利光电股份有限公司 | 一种用于面部识别的触控模组 |
CN108171150B (zh) * | 2017-12-26 | 2021-09-10 | 信利光电股份有限公司 | 一种用于面部识别的触控模组 |
Also Published As
Publication number | Publication date |
---|---|
JP2015501574A (ja) | 2015-01-15 |
US8976249B2 (en) | 2015-03-10 |
US20140247364A1 (en) | 2014-09-04 |
US9398288B2 (en) | 2016-07-19 |
CN103918252B (zh) | 2017-06-06 |
US20150145960A1 (en) | 2015-05-28 |
KR101566812B1 (ko) | 2015-11-13 |
KR20140057379A (ko) | 2014-05-12 |
JP6178321B2 (ja) | 2017-08-09 |
WO2013066351A1 (en) | 2013-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103918252A (zh) | 用于图像的ir信号捕获 | |
CN107810470B (zh) | 便携式装置和用于改变其屏幕的方法 | |
KR102157313B1 (ko) | 촬영된 영상을 이용하여 객체를 인식하는 방법 및 컴퓨터 판독 가능한 기록 매체 | |
EP2783472B1 (en) | Apparatus and method for providing dynamic fiducial markers for devices | |
US11797965B2 (en) | Reader detection signal based proximity feedback | |
US10949668B2 (en) | Electronic apparatus and method for controlling thereof | |
CN103069363A (zh) | 用于通过在电子装置显示器上方的空中移动物体与电子装置应用程序交互的方法和设备 | |
CN104321115A (zh) | 用于增强的输入灵敏度和功能性的多传感器控制手柄 | |
CN105359086A (zh) | 控制聊天窗口的方法和实施该方法的电子设备 | |
JP2011138519A5 (zh) | ||
KR102359139B1 (ko) | 전자펜, 전자펜과 연동되는 전자기기 및 전자기기의 제어방법 | |
KR102286589B1 (ko) | 전자펜 | |
EP2450774A1 (en) | Method and apparatus for detecting movement of a medium and providing associated output | |
US11789569B2 (en) | Physical control device for touchscreens | |
US9367717B1 (en) | Read head array stitching | |
US20160098780A1 (en) | Merchandise sales service device based on dynamic scene change, merchandise sales system based on dynamic scene change, method for selling merchandise based on dynamic scene change and non-transitory computer readable storage medium having computer program recorded thereon | |
KR102292619B1 (ko) | 색상 생성 방법 및 그에 따른 장치, 그에 따른 시스템 | |
CN104063653B (zh) | 验证界面显示方法及装置 | |
US9430075B2 (en) | Signal enhancement | |
CN110520841B (zh) | 基于目标距离的应用启动 | |
KR102136739B1 (ko) | 디스플레이 유닛 상의 입력 위치를 검출하는 방법 및 장치 | |
TW201502873A (zh) | 觸控系統與以無線觸控筆調整觸控顯示裝置上物件位置的方法 | |
CN106970725A (zh) | 将混合信号用于大输入对象拒绝 | |
TW201629696A (zh) | 行動裝置之輸入介面裝置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170606 Termination date: 20191104 |
|
CF01 | Termination of patent right due to non-payment of annual fee |