CN107277490A - 可重配置多模式相机 - Google Patents
可重配置多模式相机 Download PDFInfo
- Publication number
- CN107277490A CN107277490A CN201710178970.4A CN201710178970A CN107277490A CN 107277490 A CN107277490 A CN 107277490A CN 201710178970 A CN201710178970 A CN 201710178970A CN 107277490 A CN107277490 A CN 107277490A
- Authority
- CN
- China
- Prior art keywords
- platform
- optical sensor
- imaging device
- arrangement
- computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 190
- 230000003287 optical effect Effects 0.000 claims abstract description 167
- 230000000007 visual effect Effects 0.000 claims abstract description 62
- 238000000034 method Methods 0.000 claims abstract description 30
- 230000015654 memory Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 9
- 239000004744 fabric Substances 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 239000012528 membrane Substances 0.000 claims description 2
- 230000006399 behavior Effects 0.000 claims 1
- 230000033001 locomotion Effects 0.000 abstract description 10
- 238000003860 storage Methods 0.000 description 27
- 238000009877 rendering Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 6
- 238000000429 assembly Methods 0.000 description 5
- 230000000712 assembly Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 229920003023 plastic Polymers 0.000 description 2
- 239000004033 plastic Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
- H04N13/289—Switching between monoscopic and stereoscopic modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/001—Constructional or mechanical details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/007—Aspects relating to detection of stereoscopic image format, e.g. for adaptation to the display format
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
Abstract
描述了一种可重配置成像设备、计算机实现的方法和成像系统。通常,该装置包括平台。每个平台容纳一个或多个光学传感器。枢转连接器与至少两个平台连接并且支持这样的平台相对于彼此的相对运动。因此,平台可以基于枢转连接器被布置和在不同布置之间切换,从而允许设备的重配置。在示例布置中,光学传感器指向不同的方向以覆盖不同的视场,从而支持单像成像。在另一示例布置中,光学传感器指向基本上相同的方向以覆盖基本上相同的视场,从而支持立体成像。
Description
背景技术
成像设备广泛用于不同的应用。例如,小型相机可以与便携式或移动设备集成。这种成像设备用于包括捕获静态图像和视频的日常任务。
此外,成像设备提供广泛的能力。这些能力包括单像和立体成像。通常,成像设备的能力取决于其光学传感器(或多个)。例如,为了生成三百六十度单像视场图像,成像设备包括多个光学传感器。这些光学传感器被设置为指向不同的方向,使得覆盖至少三百六十度的视场。在另一示例中,为了生成一百八十度立体视场图像,成像设备还包括多个光学传感器。在该示例中,光学传感器被设置为指向相同的方向,使得在不同焦深沿着相同方向捕获对象的图像数据。
然而,没有现有的成像设备提供在使用多个光学传感器的单像和立体成像间切换的能力。例如,现有的成像设备不能从三百六十度单像视场切换到一百八十度立体视场,反之亦然。
发明内容
总的来说,描述了一种可重新配置以支持不同操作状态的成像设备。操作状态支持单像成像和立体成像。在示例中,成像设备包括多个平台。每个平台容纳一个或多个光学传感器。至少两个平台以基于连接两个平台的枢转连接器的特定布置来布置。这些平台在基于枢转连接器的另一布置中被重新布置。例如,第一布置将光学传感器指向不同的方向以覆盖不同的视场。该第一布置支持单像成像。第二布置将光学传感器指向大致相同的方向以覆盖基本上相同的视场。该第二布置支持立体成像。操作枢转连接器以在第一布置和第二布置之间切换两个平台。
此外,描述了一种用于操作成像设备的计算机实现的方法。该计算机实现的方法包括选择成像设备的操作状态。操作状态可以对应于或者单像成像或者立体成像,并且基于平台的布置进行选择。由每个光学传感器捕获的图像数据用于根据操作状态生成单像图像或立体图像。
在示例中,可重配置成像设备包括第一平台、设置在第一平台上的第一光学传感器、第二平台、设置在第二平台上的第二光学传感器以及与第一平台连接并与第二平台连接的枢转连接器。枢转连接器被配置成在第一布置和第二布置之间枢转第一平台和第二平台。第一布置对应于成像设备的单像状态,并且将第一光学传感器和第二光学传感器指向基本上不同的方向。第二布置对应于成像设备的立体状态,并且将第一光学传感器和第二光学传感器指向基本上相同的方向。
在示例中,计算机实现的方法包括由计算机访问由可重配置成像设备的第一光学传感器捕获的第一图像数据。第一光学传感器设置在可重配置成像设备的第一平台上。计算机实现的方法还包括由计算机访问由可重配置成像设备的第二光学传感器捕获的第二图像数据。第二光学传感器设置在可重配置成像设备的第二平台上。计算机实现的方法还包括由计算机从单像状态和立体状态中选择可重配置成像设备的操作状态。基于指示第一平台和第二平台的布置的操作数据来选择操作状态。基于枢转连接器形成布置,该枢转连接器与第一平台和第二平台连接并且被配置成枢转第一平台和第二平台。计算机实现的方法还包括由计算机基于操作状态从第一图像数据和第二图像数据生成单像图像或立体图像。
在示例中,成像系统包括第一平台、设置在第一平台上的第一光学传感器、第二平台、设置在第二平台上的第二光学传感器以及与第一平台和第二平台连接的枢转连接器。枢转连接器被配置成枢转第一平台和第二平台。基于第一平台和第二平台的枢转连接器的枢转形成第一平台和第二平台的布置。成像系统还包括处理器和存储计算机可读指令的存储器,在处理器执行该计算机可读指令时使成像系统基于第一平台和第二平台的布置选择成像系统的操作状态,和基于操作状态从第一图像数据和第二图像数据生成图像。第一图像数据由第一光学传感器捕获。第二图像数据由第二光学传感器捕获。
可以通过参考说明书的其他部分和附图来实现对在此公开和建议的实施例的性质和优点的进一步理解。
附图说明
图1A和1B示出根据本公开的实施例的用于操作成像设备的示例环境。
图2A、2B、2C和2D示出根据本公开的实施例的可重配置成像设备的不同视图。
图3A和3B示出根据本公开的实施例的可重配置成像设备的另一示例。
图4A和4B示出根据本公开的实施例的可重配置成像设备的另一示例。
图5示出根据本公开的实施例的成像设备的附加组件的示例。
图6示出了根据本公开的实施例的用于操作可重配置成像设备的示例流程。
图7示出了根据本公开的实施例的适合的计算机系统。
具体实施方式
本公开尤其涉及一种可重配置成像设备。可重配置成像设备支持在不同操作能力之间切换,比如在单像成像和立体成像之间切换。在示例中,可重配置成像设备包括多个平台及一个或多个枢转连接器。每个平台包括、容纳、附接或保持相机的一个或多个组件。例如,在平台上设置光学传感器。枢转连接器连接至少两个平台,并且被配置成根据不同的枢转角度枢转两个平台。每个枢转角度对应于平台的布置。
在由枢转连接器支持的一个布置中,一个平台的光学传感器和另一个平台的光学传感器指向不同方向,从而在不同的单个视场捕获图像数据。来自两个光学传感器的图像数据可以被拼接在一起以生成具有大于任何一个单个视场的视场的图像。根据平台的数量、光学传感器的数量和/或各单个视场,从所捕获的图像数据生成至少三百度视场的单像图像。因此,该布置对应于可重配置成像设备的单像状态。
在由枢转连接器支持的另一布置中,两个平台的两个光学传感器指向相同的方向,从而在基本上相同的视场内的不同深度捕获图像数据。所捕获的图像数据可以被布置为生成立体图像。因此,该布置对应于可重配置成像设备的立体状态。
为了说明,考虑包括连接两个平台的枢转连接器的可重配置成像设备的示例。在该示例中,枢转连接器包括铰链。在每个平台上设置广角光学传感器(例如,具有大约两百度视场的光学传感器),并且光学传感器从平台的表面指向外部。在第一布置中,铰链将两个平台布置在两个平行的平面中。光学传感器指向相反的视场,使得至少三百度的视场同时被光学传感器覆盖。在两百度的图示中,大约四百度的视场被覆盖,并且包括四十度重叠。由两个光学传感器捕获的图像数据被拼接以生成至少三百度视场的单像图像。在第二布置中,铰链将两个平台布置在基本相同的平面中。光学传感器指向基本上相同的视场。由于两个光学传感器的中心之间的距离,所以在不同深度捕获图像数据。该图像数据被布置为生成至少一百度视场的立体图像。
上述所提供的实施例是为了说明的目的。下面将在文中进一步描述可重配置成像设备的这些和其他布置及元件。为了清楚解释起见,描述示例性平台和枢转连接器。如所描述的,平台包括容纳、附接和/或保持可重配置成像设备的电气、电子和机械组件的壳体。壳体可以由不同的材料制成,如塑料、金属和/或其他材料。然而,可重配置成像设备的实施例可以包括其他类型的平台,如壳、容器、框架、封闭的外壳和/或开放的外壳。示例性枢转连接器包括铰链。然而,可重配置成像设备的实施例可包括其他类型的枢转连接器,如多个枢轴、柔性膜和/或其他连接器,用于连接至少两个平台并支持所连接的平台的相对运动。
图1A和1B示出用于操作成像设备110的示例环境。成像设备110可被重新配置以支持不同的操作状态。操作状态表示操作的状态,如成像设备110在其下操作的模式。图1A示出在单像状态下使用成像设备110的示例。相比之下,图1B示出在立体状态下使用成像设备110的示例。成像设备110表示独立的相机、与成像系统连接或集成在其中的相机、或者能够捕获图像数据和/或生成图像的其他类型的成像设备。图像数据表示可由诸如信号处理器或计算机的处理器使用以生成图像的数据。图像表示静止图像或视频。
通常,单像状态指的是成像设备110在单像视场中捕获图像数据或图像的能力。单个相机或光学传感器用于捕获单个视场中的图像。由多个相机或光学传感器捕获的图像被拼接在一起以创建大于任何一个单个视场的单像视场。例如,虽然单个视场为约一百二十度,但单像视场可覆盖更大的范围,如在一百六十度到四百度之间。在单像状态的说明性示例中,成像设备110捕获三百度的静止图像或视频。
通常,立体状态是指成像设备110在立体视场中捕获图像数据或图像的能力。在示例中,以一定距离分离开的两个相机或两个光学传感器用于在相同视场(例如,立体视场)中捕获图像数据以给出深度的感知。每个相机或光学传感器被映射到人眼。相机间或光学传感器间的距离对应于人眼之间的瞳孔间距(IPD)。由每个相机或光学传感器的图像数据分别生成图像,形成左眼图像和右眼图像。一对左右图像并排布置以创建人眼的深度错觉。该对图像表示三维(3D)图像。3D图像将每个图像映射到每个眼睛。在立体状态的说明性示例中,成像设备110捕获3D静止图像或视频。
图1A示出在环境112、如会议室环境内以单像状态操作成像设备110。其他环境也是可以的。成像设备110通过例如数据网络与后端系统120接口。虚拟现实(VR)头戴式设备130还通过相同或不同的数据网络与后端系统120接口,以访问和显示环境112的图像。其他终端用户设备,如台式电脑、便携式设备或移动设备也可以与后端系统120接口。数据网络表示有助于数据交换的一组网络设备,并且可以包括公共网络,如因特网和/或私有网(如内部网)。
后端系统120表示提供基于图像操作的计算系统,如服务器或基于云的服务。某些操作可用于终端用户。例如,后端系统120允许多个用户基于拉取或推送机制来访问和接收图像。因此,操作VR头戴式设备130的用户132可以观看环境112的所存储的或实时的图像。后端系统120可以允许多用户访问并且可以增强图像。例如,操作VR头戴式设备的多个用户可以同时对环境112进行虚拟访问以在他们之间进行虚拟会议。
后端系统120的其他操作对成像设备110可用。在一示例中,成像设备110本地处理所捕获的图像数据以生成并发送图像到后端系统120。进而,后端系统存储并管理用户对这些图像的访问。在另一示例中,图像的生成被分布在成像设备110和后端系统120之间。举例来说,成像设备110将图像数据发送到后端系统120。进而,后端系统生成并存储图像。在又一示例中,后端系统控制成像设备110的某些能力。例如,基于一组规则(例如,基于日历的规则)或基于与管理员控制台的接口,后端系统120打开和关闭成像设备110,指示成像设备110进入待机状态,和/或控制成像设备的操作状态的选择。具体地,后端系统120可以指示成像设备110进入单像状态或立体状态。因此,成像设备110的内部组件(例如电气、电子和机械组件)改变了容纳相机或光学传感器的成像设备110壳体的布置。可以基于连接壳体的铰链设置适当的布置,如在下面附图中所进一步描述的。
因此,如图1A所示,成像设备110向用户132提供单像图像。用户经由VR头戴式设备130观看例如环境112的三百六十度图像140。
图1B示出了在环境112内以立体状态操作成像设备110。从单像状态到立体状态(反之亦然)的切换可以根据成像设备110的可重配置能力以不同的方式发生。在示例中,可重配置能力限于机械重配置。在该示例中,诸如会议室的管理员的用户通过移动围绕成像设备110的铰链的壳体,来机械地重新定位相机或光学传感器。在另一示例中,可重配置能力还包括可远程控制的机电组件。控制可以通过后端系统120来实现。因此,管理员通过管理员控制台和/或用户132通过VR头戴式设备130远程控制到立体状态的切换。
在立体状态下,成像设备110捕获3D图像数据。成像设备110和/或后端系统120由3D图像数据生成和/或存储3D图像。用户132经由VR头戴式设备130观看3D图像150。
图1A和1B示出后端系统,可以不使用这种系统。取而代之,终端用户设备(如VR头戴式设备130)可以直接从成像设备110且无需后端系统120而访问图像数据和/或图像。在示例中,经由数据网络发生设备访问。在另一示例中,经由存储介质的传输来促进设备访问。例如,所捕获的图像数据和/或图像被存储在存储介质(如存储卡)上。通过从成像设备110移除存储介质并将存储介质110插入终端用户设备中,图像数据和/或图像被传输到终端用户设备。在任一示例中,如果仅提供图像数据,则终端用户设备处理图像数据以创建图像。
图2A、2B、2C和2D示出了支持多个操作状态的可重配置成像设备200(如图1的成像设备110)的不同视图。在示例中,成像设备200包括壳体210和壳体220以及铰链230。铰链230与壳体210和220连接。如本文上述所描述的,壳体和铰链分别是平台和枢转连接器的示例。其他平台类型和/或枢转连接器类型也是可以的。成像设备200还包括光学传感器212和光学传感器222。壳体210容纳光学传感器212并且包括孔,使得光学传感器212通过孔暴露于壳体210外部的环境光。类似地,壳体220容纳光学传感器222。成像设备200基于光学传感器212和222的相应布置支持单像状态和立体状态。
图2A和2B分别示出成像设备200的第一布置250的侧视图和俯视图。布置250支持单像状态。特别地,每个光学传感器212和222中具有宽视场,如约两百度的视场。布置250将光学传感器指向基本相反的方向。如图2A所示,光学传感器212覆盖向外延伸到成像设备200的左侧的视场,而光学传感器222覆盖向外延伸到成像设备200的右侧的视场。因此,两个光学传感器212和222的共同视场覆盖成像设备200周围的整个三百六十度,对于总共约四百度的视场有大约四十度的重叠。由光学传感器212和222捕获的图像数据可以被拼接在一起以生成至少三百六十度的单像视场图像,如成像设备200周围的三百六十度图像。
图2B示出,在示例中,成像设备200还包括固定连接器240。固定连接器240与壳体210和220连接,并且保持或维持壳体210和220的位置以支持布置250。根据每个壳体210和220的材料、尺寸和/或构造,可使用不同类型的固定连接器。例如,固定连接器240包括销锁、支架、磁体和/或钩和环紧固件中的任一种。
图2C和图2D分别示出成像设备200的第二布置260的侧视图和俯视图。布置260支持立体状态。特别地,布置260将光学传感器指向基本上相同的方向。由此,光学传感器212和222覆盖具有一定偏移的基本上相同的视场。该偏移对应于光学传感器212和222的中心之间的距离。该距离可以被设置为人类IPD的函数(例如,落入其范围内)。所捕获的图像数据可以被封装以生成3D图像(例如,每个3D图像的两个偏移图像,一个用于左眼并且一个用于右眼)。3D图像覆盖至少一百八十度的视场。
图2D示出,在示例中,成像设备200还包括固定连接器242。固定连接器242与壳体210和220连接,并且保持或维持壳体210和220的位置以支持布置260。根据每个壳体210和220的材料、尺寸和/或构造,可使用不同类型的固定连接器。例如,固定连接器242包括销、支架、磁体和/或杆中的任一种。
虽然固定连接器240和固定连接器242被示出为成像设备200的分离组件,但是这样的连接器240和242不需要是分离的。取而代之,连接器240和242可以彼此集成或与其他组件集成,或者甚至不需要使用。例如,根据布置250和布置260,其他机制可以保持壳体210和220。例如,固定连接器240和/或固定连接器242可以与铰链230集成。在另一个图示中,铰链230基于机械力(例如,沿着铰链230的中心轴线的摩擦力)或机电组件(例如,铰链230是远程可控的电铰链)保持壳体210和220的位置。
另外,壳体210和220可以容纳、附接或保持成像设备200的附加组件。在示例中,成像设备200是独立的相机。在该示例中,壳体210和220包括其他相机相关的硬件、软件和中间件组件。在另一示例中,成像设备200与成像系统接口。在该示例中,一些相机相关的组件分布在成像设备200和成像系统之间。例如,成像设备200向成像系统输出图像数据。继而,成像系统由图像数据生成图像。
图3A和3B示出可重配置以支持多操作状态的成像设备300的另一示例。通常,可重配置成像设备可以包括两个或更多个相机或光学传感器。示例性成像设备300包括三个光学传感器312,322和332,在第一布置302中,成像设备300支持单像状态。在第二布置304中,支持立体状态、二维(2D)状态和单像状态。2D状态表示成像设备300以预定视场捕获2D图像的能力。
图3A示出支持单像状态的第一布置302的俯视图。如图所示,成像设备300包括容纳光学传感器312的壳体310、容纳光学传感器322的壳体320和容纳光学传感器332的壳体330。此外,成像设备300包括多个延伸部分,如延伸部分324和延伸部分334。延伸部分可以由与壳体310,320和330中的任一个相同或不同的材料制成。通常,延伸部分有助于成像设备300在第一布置302和第二布置304之间切换。成像设备300还包括连接壳体310、320和330以及延伸部分322和334的多个铰链。例如,铰链350连接壳体310和壳体320。铰链360连接壳体320和延伸部分324。铰链370连接延伸部分324和壳体330。铰链380连接壳体330和延伸部分334。以及铰链390连接延伸部分334和壳体310。在该示例中,一系列壳体、延伸部分和铰链形成闭环。然而,仍然可以使用开环。例如,铰链390可以无需使用。
布置302将光学传感器312,322和332指向不同的方向,以共同覆盖大于任何单个视场的视场。例如,布置302表示为三角形形状。每个边包括一个壳体,并且可选地包括一个延伸部分。光学传感器312,322和332中的每一个具有宽的单个视场。例如,每个单个视场至少是一百八十度。因此,共同的视场(例如,单像状态的视场)为至少三百六十度,并具有大约一百八十度的重叠。
图3B示出支持立体状态、2D状态和单像状态的布置304的俯视图。特别地,壳体310、320和330以及延伸部分324和334基于铰链350、360、370、380和390由三角形形状重新布置为矩形形状。布置304将光学传感器312和322指向基本上相同的方向以覆盖基本上相同的视场。因此,由光学传感器312和322捕获的图像数据用于在布置304中生成3D图像(例如,支持立体状态)。相比之下,光学传感器332指向不同(例如,相反方向)。由光学传感器332捕获的图像数据用于生成2D图像(例如,支持2D状态)。光学传感器312和光学传感器332的组合支持单像状态,因为这些传感器指向不同的方向并且共同覆盖至少三百六十度的视场。类似地,光学传感器322和光学传感器332的组合也支持单像状态。
图4A和4B示出可重配置以支持多操作状态的成像设备400的另一示例。在该示例中,成像设备400包括四个光学传感器412、422、432和444。在第一布置402中,成像设备400支持单像状态。在第二布置404中,支持立体状态、单像状态和单像立体混合状态。单像立体混合状态表示成像设备400在单像视场(例如,三百六十度视场)中捕获3D图像(例如,立体图像)的能力。
图4A示出支持单像状态的第一布置402的俯视图。如图所示,成像设备400包括容纳光学传感器412的壳体410、容纳光学传感器422的壳体420、容纳光学传感器432的壳体430和容纳光学传感器442的壳体440。成像设备400还包括连接壳体410、420、430以及440的多个铰链。例如,铰链450连接壳体410和壳体420。铰链460连接壳体420和壳体430。铰链470连接壳体430和壳体440。以及铰链480连接壳体440和壳体410。在该示例中,一系列壳体和铰链形成闭合环。然而,仍然可以使用开环。例如,铰链480可以无需使用。
布置402将光学传感器412、422、432和442指向不同方向以共同覆盖大于任何单个视场的视场。例如,布置404表示矩形或正方形形状。每条边包括一个壳体。每个光学传感器412、422、432和442具有宽的单个视场。例如,每个单独的视场至少是一百八十度。因此,共同的视场(例如,单像状态的视场)为至少三百六十度,并具有大约三百六十度的重叠。
图4B示出支持立体状态、单像状态和单像立体混合状态的布置404的俯视图。特别地,壳体410、420、430以及440基于铰链450,460,470和480由矩形或正方形形状重新布置为矩形形状。布置404将光学传感器412和422指向基本上相同的方向以覆盖基本上相同的视场。因此,在布置404中由光学传感器412和422捕获的图像数据用于生成3D图像(例如,支持立体状态)。类似地,布置404将光学传感器432和442指向基本上相同的方向,以覆盖基本上相同的视场。该视场在光学传感器412和422的视场的相反方向上。在布置404中由光学传感器432和432捕获的图像数据也用于生成3D图像(例如,支持立体状态)。两个光场(例如,由光学传感器412和422在一个方向上覆盖的一个光场以及由光学传感器432和442在另一方向上覆盖的另一个光场)的组合支持单像立体混合状态。特别地,3D图像可以在该操作状态下拼接在一起,以一起形成至少三百度视场的3D图像。另一方面,光学传感器412和光学传感器432或442的组合支持单像状态,因为这些传感器被指向不同方向并且共同覆盖至少三百六十度视场。类似地,光学传感器422和光学传感器432或442中的任一个的组合也支持单像状态。
图5示出了成像设备500的附加组件的示例。根据壳体的数量和光学传感器的数量,成像设备500可被重配置以支持不同的操作状态。通常,壳体和/或光学传感器的数量越大,所支持的操作状态的数量越大。
如图5的侧视图所示,成像设备500包括通过铰链530连接的壳体510和壳体520。壳体510容纳光学传感器512。同样地,壳体520容纳光学传感器524。
铰链530便于壳体510和520的重新布置。例如,铰链530使壳体510和520能够相对于彼此以不同的枢转角度枢转。所示的侧视图示出了大约一百八十度的枢转角。以该枢转角度,壳体布置将光学传感器512和522指向基本上相同的方向,以至少支持立体状态。在另一个示例中,枢转角度为大约零度。在该示例中,光学传感器512和522指向基本相反的方向以至少支持单像状态。基于铰链530的其他枢转角度也是可以的,并且落在零至一百八十度或甚至三百六十度的范围内。
在一个示例中,铰链530是机械操作的。在该示例中,成像设备500的用户相对于彼此移动壳体510和520以实现对应于期望操作状态的枢转角度。此外,铰链530可以包括视觉标记以指示枢转角度和/或相应的操作状态。
在另一个示例中,铰链530是机电控制的。控制按钮启动壳体510和520的相对运动以实现期望的枢转角度。控制按钮可设在成像设备500本地或远离那里(例如,在后端系统或终端用户设备上托管的图形用户界面上的软控制按钮)。与铰链530集成或接口的控制单元(例如致动器)响应于控制按钮的激励经由铰链530驱动运动。此外,铰链530可以集成电位计。电位计将枢转角度映射到特定电压,从而生成指示枢转角度和/或操作状态的信号。该信号可用于在远程设备(例如,后端系统或终端用户设备)处呈现(例如,显示或提供可听消息)枢转角度和/或操作状态。
壳体不需要在固定位置处容纳相应的光学传感器。相反,光学传感器可以沿着一个或多个方向移动,以例如调整光学传感器的中心之间的相对距离。调整距离使得设置距离以落入人眼的IPD范围内(例如,在五十二到七十八毫米之间或二到三英寸之间)。
在示例中,光学传感器512安装在或附接到壳体510的滑动连接器514。滑动连接器514促进光学传感器512沿一个方向(例如,水平地)的移动。例如,滑动连接器514包括轨道或槽中的任一个。因此,在支持立体状态的布置中,光学传感器512可以被移动至更接近或远离另一壳体520的光学传感器522。附加地或替代地,光学传感器512安装在或连接到壳体520的滑动连接器524上。该滑动连接器524有助于光学传感器522沿相同方向(例如,水平)或不同方向(例如,垂直)移动。如果使用相同的方向,则在支持立体状态的布置中,光学传感器522可以被移动至更接近或远离光学传感器512。如果使用另一方向,则光学传感器522可以被移动至更接近或远离其他壳体的其他光学传感器。不管滑动连接器的数量和方向如何,光学传感器512和522的中心可以位于IPD距离550。
在示例中,滑动连接器514和滑动连接器524被类似地机械地操作。在该示例中,用户相对于彼此移动光学传感器512和522以实现期望的距离。此外,滑动连接器514和524可以包括指示距离的视觉标记。
在另一个示例中,滑动连接器514和滑动连接器524被类似地机电地操作的。在该示例中,本地或远程控制按钮启动相对运动。与滑动连接器514和524集成或接口的控制单元(例如致动器)响应于控制按钮的激励经由滑动连接器514和524驱动运动。此外,滑动连接器514和524可以集成电位计(或多个)。电位计(或多个)将得到的距离映射到特定电压,从而生成指示距离的信号。该信号可用于在远程设备(例如,后端系统或终端用户设备)处呈现(例如,显示或提供可听消息)距离。
成像设备500还包括固定连接器。固定连接器将壳体510和520维持或保持在特定枢转角度以支持期望的布置,以及等价于支持期望的操作状态。如图5所示,固定连接器包括销540和环542。当壳体510和520被布置为支持单像状态时,销540插入环542中以维持该布置。其他类型的固定连接器也是可以的,如支架、棒、磁体和/或钩和环紧固件。另外,固定连接器被机械地和/或机电地操作。
此外,成像设备500包括其他电气、电子和机械组件,以支持成像设备的可重配置功能和成像功能。例如,成像设备500包括电缆、电源(或多个)、信号处理器(或多个)、存储器、处理器、电源端口、数据端口、用户接口以及其他相机相关组件。这些组件中的一些或全部可以被容纳在壳体510和/或520内。
在一个示例中,成像设备500包括处于在外壳510中的处理模块550。处理模块550表示成像设备500的信号处理器、存储器和/或处理器,其适于处理由光学传感器512和514捕获的图像数据,并且可选地实现对诸如铰链530、滑动连接器514和524以及固定连接器的任何连接器的控制。信号电缆552耦接光学传感器511和处理模块550。信号电缆552穿过壳体510。类似地,信号电缆554耦接光学传感器522和处理模块550。信号电缆554穿过壳体520和壳体510。此外,信号电缆基于一组电缆接口556(例如,孔、电缆扎带等)围绕或穿过铰链530。
在示例中,成像设备500表示可重配置多相机成像装置。这种装置包括具有第一视场的第一相机。例如,第一相机包括光学传感器512。可重配置多相机成像装置还包括具有第二视场的第二相机。例如,第二相机包括光学传感器522。另外,可重配置多相机成像装置包括枢转地连接第一相机和第二相机的铰链,如铰链530。此外,可重配置多相机成像装置包括锁定元件,如由销540和环542形成的固定连接器。锁定元件被配置成将第一相机和第二相机相对于彼此保持在一个或多个固定枢转角度。每个固定枢转角度对应于第一相机和第二相机的布置。另外,可重配置多相机成像装置包括信号处理器。例如,信号处理器是处理模块550的一部分。可重配置多相机成像装置还包括来自第二相机的信号电缆,如信号电缆554。信号电缆穿过铰链到达信号处理器。信号处理器被配置为输入来自第一相机和第二相机的信号。在枢转角度的第一布置中,信号处理器被配置为将来自第一相机的第一图像和来自第二相机的第二图像组合成单个组合图像,其具有大于第一视场和第二视场中的任何一个的视场。在枢转角度的第二布置中,信号处理器被配置为将来自第一相机的第一图像和来自第二相机的第二图像封装成立体图像。
图6示出用于在不同操作状态下操作可重配置成像设备的示例流程600。处理器被示为执行流程600的操作。例如,处理器耦接到计算机可读存储介质并且执行存储在计算机可读存储介质中的计算机可读指令。计算机可读指令包括用于执行操作的指令。根据成像设备是独立设备还是分布式成像系统的一部分,处理器和/或计算机可读存储介质是成像设备、后端系统、终端用户设备或分布于这些组件之间的一部分。另外,尽管以特定顺序示出了操作,但是可以重新排序或省略某些操作。
在示例中,流程600包括操作602,其中控制第一光学传感器和第二光学传感器的布置。例如,处理器基于包括铰链、固定连接器和/或滑动连接器的成像设备的机电组件来控制该布置。该控制可以基于存储在计算机可读存储介质中的一组规则(例如,基于日历的规则)或基于成像设备本地或远程的动作按钮来启动。
一般而言,布置对应于操作状态。所支持的操作状态取决于成像设备的壳体的数量以及光学传感器的数量和位置。操作状态例如包括:2D状态、单像状态、立体状态和单像立体混合状态。为了建立用于2D状态的布置,处理器在特定方向上布置具有光学传感器的至少一个壳体。为了建立用于单像状态的布置,处理器在基本上不同的方向上布置至少两个壳体。每个壳体具有至少一个光学传感器。因此,光学传感器具有不同的视场。为了建立用于立体状态的布置,处理器在基本相同的方向上布置至少两个壳体。每个壳体具有至少一个光学传感器。因此,光学传感器具有基本相同的视场。光学传感器的中心之间的距离可以被调整为对应于人类IPD。为了建立用于单像立体状态的布置,处理器布置至少两个光学传感器(在相同的壳体或不同的壳体上)指向基本上相同的第一方向,并且布置另外至少两个光学传感器指向基本相同的第二方向。第一方向和第二方向基本上不同。
尽管处理器被示为执行操作602,但该操作可以是可选的。例如,当成像设备不包括机电组件时,操作602是可选的。在这种情况下,该布置以机械地建立。
在示例中,流程600包括操作604,其中访问由第一光学传感器捕获的第一图像数据。例如,处理器基于拉取(例如,视频点播)或推送机制(例如,视频广播)接收第一图像数据。在这种情况下,与第一光学传感器集成或接口的信号处理器处理所感测的原始数据以生成第一图像数据并将第一图像数据发送到处理器。
在示例中,流程600包括操作606,其中访问由第二光学传感器捕获的第二图像数据。该操作可以类似于操作604。例如,处理器基于拉取或推送机制接收第二图像数据。
虽然在操作604和606中将第一图像数据和第二图像数据描述为由处理器基于拉取或推送机制来接收,但是其他类型的访问也是可以的。例如,第一光学传感器是第一相机的一部分。第一图像数据被存储在第一相机的第一存储介质上,例如第一存储卡。同样,第二光学传感器是同一或不同相机的一部分。第二图像数据被存储在同一或不同存储介质上。第一存储介质(及可应用的第二存储介质)可以从第一相机(及可应用的第二相机)移除并插入到处理器可访问的数据端口(多个)中。因此,处理器从所插入的存储介质(或存储媒介)访问第一和第二图像数据。
在示例中,流程600包括操作608,其中基于布置选择操作状态。取决于成像设备的重配置能力,可选择不同的技术。在一项技术中,如果处理器在操作604中控制布置,则该布置对处理器是已知的。由此,处理器访问将布置映射到对应操作状态的表(或一些其他数据结构),并由给定的已知布置选择适当的操作状态。这样的表被存储在计算机可读存储介质中。在另一项技术中,布置可能并不被处理器所知。由此,处理器首先确定该布置,然后从表中选择操作状态。
在一示例中,从在成像设备上的所选的按钮(或键)确定布置。例如,按钮向用户标识布置或相应的操作状态。按钮的用户选择触发相应的选择信号被发送到处理器。在另一示例中,无需用户选择或按钮。取而代之,图像设备的铰链(或多个)、固定连接器(或多个)和/或滑动连接器(或多个)包括电位计(或多个)。处理器处理由电位计(或多个)所生成的信号(或多个)以确定布置。在又一说明中,处理器分析第一和第二图像数据以检测对象。如果检测指示在第一图像数据中检测到多个对象但在第二图像数据中没有检测到对象,则处理器确定光学传感器指向不同的方向,从而该布置是针对单像状态的。另一方面,如果在第二图像中也检测到在第一图像中检测到的相同对象,则处理器确定光学传感器指向基本上相同的方向,从而该布置是针对立体状态的。
在示例中,执行上述技术的组合。该组合使得能够以更高的置信水平确定布置和/或生成错误通知。例如,如果电位计读数与图像处理确定相匹配,则确认相应的布置。但是,如果存在不匹配,则会生成错误通知。错误通知可以以不同的方式呈现。例如,在成像设备处激活视觉呈现(例如,特定颜色或闪烁速率的LED灯)。在另一个说明中,在图形用户界面处显示错误消息。其他呈现形式也是可用的,如可听警报。
在示例中,流程600包括操作610,其中基于操作状态从第一图像数据和第二图像数据生成图像。例如,处理器启动并执行成像处理以根据操作状态生成图像。不同的成像过程可以被定义为存储在计算机可读存储介质中的计算机可读指令的一部分。当选择单像状态作为操作状态时,成像处理包括应用于第一和第二图像数据的拼接处理和边缘平滑处理。相比之下,当选择立体状态作为操作状态时,成像处理包括应用于第一和第二图像数据的立体视觉处理。立体视觉处理包括从第一图像数据生成第一图像和从第二图像数据生成第二图像,并且并排布置第一图像和第二图像以创建深度感知。图像对的并排布置表示3D图像。
在示例中,流程600包括操作612,其中提供图像到虚拟头戴式设备(以及类似地,另一终端用户设备)。如果处理器是虚拟头戴式设备的组件,则提供图像包括在图形用户界面上显示图像。否则,提供图像包括将图像发送到虚拟头戴是设备以在那里显示。
图7示出根据各种实施例的适于实现计算机系统700的硬件系统的示例。计算机系统700包括:例如,成像设备、后端系统、虚拟头戴式设备和/或其他终端用户设备的组件。计算机系统700包括用于运行软件应用和可选地操作系统的中央处理单元(CPU)705。CPU 705可以由一个或多个同构或异构处理核构成。内存710存储供CPU 705使用的应用和数据。存储器715为非易失性存储和其他计算机可读介质提供应用和数据,并且可以包括固定磁盘驱动器、可移动磁盘驱动器、闪存设备以及CD-ROM、DVD-ROM、蓝光、HD-DVD或其他光存储设备,以及信号传输和存储媒介。用户输入设备720将来自一个或多个用户的用户输入传送到计算机系统700,其示例可以包括键盘、鼠标、操纵杆、触摸板、触摸屏、静止相机或摄像机,和/或麦克风。网络接口725允许计算机系统700经由电子通信网络与其他计算机系统通信,并且可以包括通过局域网和广域网(如因特网)的有线或无线通信。音频处理器755适于由CPU 705、内存710和/或存储器715提供的指令和/或数据生成模拟或数字音频输出。计算机系统700的组件,包括CPU 705、内存710、数据存储器715、用户输入设备720、网络接口725和音频处理器755,经由一个或多个数据总线760连接。
图形子系统730进一步连接到数据总线760和计算机系统700的组件。图形子系统730包括图形处理单元(GPU)745和图形存储器740。图形存储器740包括用于存储输出图像的每个像素的像素数据的显示存储器(例如,帧缓冲器)。图形存储器740可以集成在与GPU745相同的设备中、作为分离的设备与GPU 745连接和/或在内存710中实现。像素数据可以直接从CPU 705提供给图形存储器740。或者,CPU 705向GPU 745提供定义所期望的输出图像的数据和/或指令,GPU 745据此生成一个或多个输出图像的像素数据。定义所期望的输出图像的数据和/或指令可以被存储在内存710和/或图形存储器740中。在实施例中,GPU745包括3D渲染能力,由定义场景的几何、光线、阴影、纹理、运动和/或相机参数的指令和数据生成输出图像的像素数据。GPU 745还可以包括能够执行着色程序的一个或多个可编程执行单元。
图形子系统730周期性地从图形存储器740输出用于显示在显示设备750上的图像的像素数据。显示设备750可以是能够响应于来自计算机系统700的信号显示视觉信息的任何设备,包括CRT、LCD、等离子体和OLED显示器。计算机系统700可以向显示设备750提供模拟或数字信号。
根据各实施例,CPU 705是具有一个或多个处理核的一个或多个通用微处理器。可以使用具有特别适用于高度并行和计算密集型应用(诸如媒体和交互式娱乐应用)的微处理器架构的一个或多个CPU 705来实现更多的实施例。
系统的组件可以经由网络连接,该网络可以是以下的任意组合:因特网、IP网、内部网、广域网(“WAN”)、局域网(“LAN”)、虚拟专用网(“VPN”)、公共交换电话网(“PSTN”)或支持本文描述的设备之间的数据通信的任何其他类型的网络。网络可以包括有线和无线连接,包括光链路。根据本公开,许多其他示例是可能的并且对于本领域技术人员是显而易见的。在本文的论述中,可以具体地或可以不具体地提到网络。
在前述描述中,参考其具体实施例描述了本发明,但本领域技术人员可知本发明不限于此。上述发明的各种特征和方面可以单独或联合使用。此外,在不脱离本说明书的宽泛的精神和范围的情况下,本发明可以用于超出本文所述的任何环境和应用。因此,说明书和附图被认为是说明性的而非限制性的。
应当注意,上面讨论的方法、系统和设备仅旨在作为示例。必须强调的是,各种实施例可以适当地省略、替换或添加各种过程或组件。例如,应当理解,在替代实施例中,可以以与所描述的顺序不同的顺序执行方法,并且可以添加、省略或组合各个步骤。并且,对于某些实施例所描述的特征可以在各种其他实施例中被组合。实施例的不同方面和元件可以以类似的方式组合。此外,应当强调的是,技术演变,并且因此许多元件是示例,并且不应被解释为限制本发明的范围。
在说明书中给出具体细节以提供对实施例的透彻理解。然而,本领域的普通技术人员将理解的是,可以在没有这些具体细节的情况下实践实施例。例如,已经示出公知的电路、过程、算法、结构和技术而没有不必要的细节,以避免模糊实施例。
并且,应注意的是,实施例可被描绘为流程图或框图的过程所描述。虽然可以按照顺序过程描述每个操作,但是许多操作可以并行或并发地执行。此外,操作的顺序可以重新排列。过程可以具有不包括在图中的附加步骤。
此外,如本文所公开的,术语“存储器”或“存储单元”可以表示用于存储数据的一个或多个设备,包括只读存储器(ROM)、随机存取存储器(RAM)、磁性RAM、核存储器、磁盘存储介质、光存储介质、闪存设备或用于存储信息的其他计算机可读介质。术语“计算机可读介质”包括但不限于便携式或固定存储设备、光学存储设备、无线信道、SIM卡、其他智能卡,以及能够存储、包含或携带指令或数据的各种其他介质。
还有,实施例可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合来实现。当以软件、固件、中间件或微代码实现时,用于执行必要任务的程序代码或代码段可以被存储在诸如存储介质的计算机可读介质中。处理器可以执行必要的任务。
除非另有说明,否则在本说明书(包括在所附权利要求中)中阐述的所有测量、值、等级、位置、大小、尺寸和其他规范是近似的,而不是精确的。它们旨在具有与它们所涉及的功能和它们所属的领域中的习惯相一致的合理范围。“大约”包括在公差±”包括在%、±”包括%、±,%、±,%、±,%、±,%、±,%、±,%、±,包%、±,包%、±,包%、±,包%内,或如本领域已知的其他范围。“基本上”是指大于66%、75%、80%、90%、95%、99%、99.9%或根据术语“基本上”出现的上下文,如本领域已知的其他值。
已经描述了若干实施例,本领域技术人员将认识到,在不脱离本发明的精神的情况下,可以使用各种修改、替代结构和等同物。例如,上述元件可以仅仅是较大系统的组件,其中其他规则可以优先于或以其他方式修改本发明的应用。此外,可以在考虑上述元件之前,期间或之后进行多个步骤。因此,上述描述不应被视为限制本发明的范围。
Claims (20)
1.一种可重配置成像设备,包括:
第一平台;
设置在第一平台上的第一光学传感器;
第二平台;
设置在第二平台上的第二光学传感器;和
与第一平台连接并与第二平台连接的枢转连接器,其中枢转连接器被配置成在第一布置和第二布置之间枢转第一平台和第二平台,其中第一布置对应于成像设备的单像状态并且将第一光学传感器和第二光学传感器指向基本上不同的方向,并且其中第二布置对应于成像设备的立体状态并且将第一光学传感器和第二光学传感器指向基本相同的方向。
2.如权利要求1所述的可重配置成像设备,还包括:
处理器;和
存储计算机可读指令的存储器,在处理器执行该计算机可读指令时使可重配置成像设备:
基于枢转连接器在第一布置中设置第一光学传感器和第二光学传感器来选择单像状态作为可重配置成像设备的操作状态;
基于枢转连接器在第二布置中设置第一光学传感器和第二光学传感器来选择立体状态作为可重配置成像设备的操作状态;
接收由第一光学传感器捕获的第一图像数据和由第二光学传感器捕获的第二图像数据;和
基于操作状态由第一图像数据和第二图像数据生成图像。
3.如权利要求2所述的可重配置成像设备,其中如果选择单像状态,则图像包括至少三百度视场的单像图像,并且其中如果选择立体状态,则图像包括至少一百度立体视场的图像。
4.如权利要求1所述的可重配置成像设备,其中,枢转连接器包括铰链或柔性膜中的至少一个。
5.如权利要求1所述的可重配置成像设备,其中,第一光学传感器被安装在第一平台的滑动连接器上。
6.如权利要求5所述的可重配置成像设备,其中,滑动连接器基本上垂直于枢轴,并且包括轨道或槽中的至少一个。
7.如权利要求1所述的可重配置成像设备,还包括被配置成在第一布置或第二布置中固定第一平台和第二平台的固定连接器,其中固定连接器包括销锁、支架或磁体中的至少一个。
8.一种计算机实现的方法,包括:
由计算机访问由可重配置成像设备的第一光学传感器捕获的第一图像数据,其中第一光学传感器设置在可重配置成像设备的第一平台上;
由计算机访问由可重配置成像设备的第二光学传感器捕获的第二图像数据,其中第二光学传感器设置在可重配置成像设备的第二平台上;
由计算机从单像状态和立体状态中选择可重配置成像设备的操作状态,其中基于指示第一平台和第二平台的布置的操作数据来选择操作状态,并且其中基于枢转连接器形成布置,枢转连接器与第一平台和第二平台连接并且被配置成枢转第一平台和第二平台;和
由计算机基于操作状态,从第一图像数据和第二图像数据生成单像图像或立体图像。
9.如权利要求8所述的计算机实现的方法,其中,计算机远离可重配置成像设备,并且其中访问第一图像数据包括通过数据网络从可重配置成像设备接收第一图像数据。
10.如权利要求8所述的计算机实现的方法,其中,指示第一平台和第二平台的布置的操作数据是基于计算机对第一图像数据和第二图像数据的分析而生成的。
11.如权利要求8所述的计算机实现的方法,其中,从可重配置成像设备接收指示第一平台和第二平台的布置的操作数据。
12.如权利要求11所述的计算机实现的方法,其中,基于设置在可重配置成像设备的枢转连接器内的电位计来生成操作数据。
13.如权利要求11所述的计算机实现的方法,还包括:
由计算机基于对第一图像数据和第二图像数据的分析生成指示第一平台和第二平台的布置的附加操作数据;和
由计算机基于从可重配置成像设备接收的操作数据与由计算机生成的附加操作数据之间的差异生成错误通知。
14.如权利要求8所述的计算机实现的方法,其中,基于固定连接器从可重配置成像设备接收指示第一平台和第二平台的布置的操作数据,该固定连接器与第一平台和第二平台连接并且被配置成在布置中固定第一侧和第二侧。
15.如权利要求8所述的计算机实现的方法,其中,第一光学传感器安装在第一平台的滑动连接器上,并且还包括:
由计算机通过基于枢转连接器枢转第一平台和第二平台来控制布置;和
由计算机基于滑动连接器控制第一光学传感器和第二光学传感器之间的瞳孔间距(IPD)。
16.如权利要求8所述的计算机实现的方法,还包括:
如果选择单像状态作为操作状态,则由计算机调用图像拼接处理以从第一图像数据和第二图像数据生成单像图像;和
如果选择立体状态作为操作状态,则由计算机调用立体处理以从第一图像数据和第二图像数据生成立体图像。
17.一种成像系统,包括:
第一平台;
设置在第一平台上的第一光学传感器;
第二平台;
设置在第二平台上的第二光学传感器;
与第一平台和第二平台连接的枢转连接器,其中枢转连接器被配置成枢转第一平台和第二平台,其中基于枢转连接器对第一平台和第二平台的枢转形成第一平台和第二平台的布置;
处理器;和
存储计算机可读指令的存储器,在处理器执行该计算机可读指令时使成像系统:
基于第一平台和第二平台的布置来选择成像系统的操作状态,和
基于操作状态从第一图像数据和第二图像数据生成图像,其中第一图像数据由第一光学传感器捕获,并且其中第二图像数据由第二光学传感器捕获。
18.如权利要求17所述的成像系统,其中,从成像系统的单像状态和立体状态中选择操作状态,其中如果选择单像状态则图像包括单像图像,其中如果选择立体状态则图像包括立体图像,并且其中在由处理器执行计算机可读指令时进一步使成像系统基于操作状态将单像图像或立体图像提供给虚拟现实头戴式设备。
19.如权利要求17所述的成像系统,其中,布置包括对应于成像系统的单像状态的第一布置,并且第一布置将第一光学传感器和第二光学传感器指向基本上不同的方向,并且其中布置包括对应于成像系统的立体状态的第二布置,并且第二布置将第一光学传感器和第二光学传感器指向基本上相同的方向。
20.如权利要求17所述的成像系统,还包括第三平台和设置在第三平台上的第三光学传感器,并且其中布置将第一光学传感器和第二光学传感器指向基本上相同的方向,并且将第一光学传感器和第三光学传感器指向基本上不同的方向。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/085,867 US10616563B2 (en) | 2016-03-30 | 2016-03-30 | Reconfigurable multi-mode camera |
US15/085,867 | 2016-03-30 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107277490A true CN107277490A (zh) | 2017-10-20 |
CN107277490B CN107277490B (zh) | 2020-09-04 |
Family
ID=59959987
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710178970.4A Active CN107277490B (zh) | 2016-03-30 | 2017-03-23 | 可重配置多模式相机 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10616563B2 (zh) |
CN (1) | CN107277490B (zh) |
TW (1) | TWI675686B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110278380A (zh) * | 2019-07-18 | 2019-09-24 | 成都甄识科技有限公司 | 一种可重构的超多目相机及其复用方法 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2557175A (en) * | 2016-11-17 | 2018-06-20 | Nokia Technologies Oy | Method for multi-camera device |
CN111491094B (zh) * | 2019-01-28 | 2021-08-31 | 北京小米移动软件有限公司 | 摄像模组及终端 |
US11892647B2 (en) | 2020-09-28 | 2024-02-06 | Hewlett-Packard Development Company, L.P. | Head mountable device with tracking feature |
FR3144235A1 (fr) * | 2022-12-23 | 2024-06-28 | Idemia Identity & Security France | Support électronique pour dispositif d’acquisition d’image, ensemble comportant un tel support, et dispositif d’acquisition d’image comportant un tel ensemble |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110128393A1 (en) * | 2009-12-01 | 2011-06-02 | Nokia Corporation | Digital imaging |
CN102467341A (zh) * | 2010-11-04 | 2012-05-23 | Lg电子株式会社 | 移动终端以及在其中控制图像拍摄的方法 |
CN102566244A (zh) * | 2010-12-21 | 2012-07-11 | 天津国信浩天三维科技有限公司 | 360度全景三维立体拍摄系统 |
CN102572494A (zh) * | 2010-12-22 | 2012-07-11 | 索尼公司 | 成像装置、其控制方法和程序 |
US20120206568A1 (en) * | 2011-02-10 | 2012-08-16 | Google Inc. | Computing device having multiple image capture devices and image modes |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2946438B1 (fr) * | 2009-06-08 | 2014-11-07 | Erwan Devigon | Systeme et procede de generation d'image stereoscopique a decalage des lointains parametrable dans un systeme et procede a n appareils de prise de vue (n>1) |
US9204026B2 (en) * | 2010-11-01 | 2015-12-01 | Lg Electronics Inc. | Mobile terminal and method of controlling an image photographing therein |
US10198865B2 (en) | 2014-07-10 | 2019-02-05 | Seiko Epson Corporation | HMD calibration with direct geometric modeling |
US9686468B2 (en) * | 2015-10-15 | 2017-06-20 | Microsoft Technology Licensing, Llc | Imaging apparatus |
-
2016
- 2016-03-30 US US15/085,867 patent/US10616563B2/en active Active
-
2017
- 2017-03-23 CN CN201710178970.4A patent/CN107277490B/zh active Active
- 2017-03-30 TW TW106110907A patent/TWI675686B/zh active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110128393A1 (en) * | 2009-12-01 | 2011-06-02 | Nokia Corporation | Digital imaging |
CN102467341A (zh) * | 2010-11-04 | 2012-05-23 | Lg电子株式会社 | 移动终端以及在其中控制图像拍摄的方法 |
CN104935809A (zh) * | 2010-11-04 | 2015-09-23 | Lg电子株式会社 | 移动终端以及在其中控制图像拍摄的方法 |
CN102566244A (zh) * | 2010-12-21 | 2012-07-11 | 天津国信浩天三维科技有限公司 | 360度全景三维立体拍摄系统 |
CN102572494A (zh) * | 2010-12-22 | 2012-07-11 | 索尼公司 | 成像装置、其控制方法和程序 |
US20120206568A1 (en) * | 2011-02-10 | 2012-08-16 | Google Inc. | Computing device having multiple image capture devices and image modes |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110278380A (zh) * | 2019-07-18 | 2019-09-24 | 成都甄识科技有限公司 | 一种可重构的超多目相机及其复用方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107277490B (zh) | 2020-09-04 |
US20170289527A1 (en) | 2017-10-05 |
TWI675686B (zh) | 2019-11-01 |
US10616563B2 (en) | 2020-04-07 |
TW201739488A (zh) | 2017-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107277490A (zh) | 可重配置多模式相机 | |
US11043031B2 (en) | Content display property management | |
CN107924584B (zh) | 增强现实 | |
JP7331088B2 (ja) | 3次元モデル共有のための方法およびシステム | |
CN107305435A (zh) | 在增强现实和虚拟现实环境之间链接和交互的系统和方法 | |
CN107850779A (zh) | 虚拟位置定位锚 | |
US20080255945A1 (en) | Producing image data representing retail packages | |
CN106797459A (zh) | 三维视频的传输 | |
CN106575137A (zh) | 模块化计算设备 | |
US20230139454A1 (en) | Mobility surrogates | |
CN109345616A (zh) | 三维虚拟宠物的二维渲染图的生成方法、设备及存储介质 | |
US20240231476A9 (en) | Systems and methods for virtual interaction | |
CN113763532A (zh) | 基于三维虚拟对象的人机交互方法、装置、设备及介质 | |
CN107111998A (zh) | 生成和显示实际大小的交互式对象 | |
WO2017187095A1 (fr) | Dispositif et procede de partage d'immersion dans un environnement virtuel | |
JP5802019B2 (ja) | 情報処理装置、情報処理プログラム、情報処理方法、情報処理システム | |
Kot et al. | Application of augmented reality in mobile robot teleoperation | |
US20220331966A1 (en) | Mobility surrogates | |
CN109565584A (zh) | 立体数字内容的动态重配准 | |
Nocent et al. | 3d displays and tracking devices for your browser: A plugin-free approach relying on web standards | |
Dugan | Virtual Reality System Telecommunication | |
Neumann | Design and implementation of multi-modal AR-based interaction for cooperative planning tasks | |
Rastogi et al. | StereoCam3D (An Android App. That Lets You Capture Realtime 3D Pics And Videos) | |
Abergel et al. | Personal hand-held devices and virtual reality passive technologies for digital heritage browsing: Lesson learnt with the KIVI project | |
CN118341078A (zh) | 虚拟对象的分发方法、装置、设备、介质和程序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |