CN105659591B - 将至少一个非立体照相机转换为立体照相机 - Google Patents

将至少一个非立体照相机转换为立体照相机 Download PDF

Info

Publication number
CN105659591B
CN105659591B CN201480056514.7A CN201480056514A CN105659591B CN 105659591 B CN105659591 B CN 105659591B CN 201480056514 A CN201480056514 A CN 201480056514A CN 105659591 B CN105659591 B CN 105659591B
Authority
CN
China
Prior art keywords
image
camera
cubic
visual field
optical element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480056514.7A
Other languages
English (en)
Other versions
CN105659591A (zh
Inventor
G·G·罗丝
F·P·安东尼奥
C·U·李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105659591A publication Critical patent/CN105659591A/zh
Application granted granted Critical
Publication of CN105659591B publication Critical patent/CN105659591B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras

Abstract

本发明描述了用于将非立体照相机转换为立体照相机的方法、装置和设备。至少一个光学元件可以用于临时性地改变第一非立体照相机的有效位置和有效方位。所改变的有效位置可以距第二非立体照相机的有效位置位移预定距离,并且所改变的有效方位可以向第一非立体照相机提供与第二非立体照相机的视野重叠的视野。至少一个光学元件可以用于通过第一非立体照相机来捕获第一图像。第二图像可以通过第二非立体照相机来捕获。第二图像可以具有距第一图像的参照系位移了预定距离的参照系。

Description

将至少一个非立体照相机转换为立体照相机
交叉引用
本专利申请要求享有由Rose等人于2013年10月16日递交的、名称为“Conversionof at Least One Non-Stereo Camera into a Stereo Camera”的美国专利申请No.14/055,157的优先权,该申请已经被转让给本申请的受让人。
背景技术
概括地说,下面的内容涉及立体照相机,并且更为具体地说,涉及将至少一个非立体照相机转换为立体照相机。
非立体照相机在时间上从单个视角捕获单个图像。当前,当非立体照相机用于捕获立体照片时,用户可以从第一视角捕获场景的第一图像,并在之后将照相机移动到第二位置以从另一视角捕获该场景的另一图像。然而,内置照相机的移动设备的立体图像处理软件并不知道照相机移动的距离。因此,对于立体图像处理软件来说,没有可用的绝对比例因子,而且确定重构的场景的比例可能会是困难的。对于缺少绝对比例因子的目前的解决方案包括尝试在场景的图像中识别公共目标,其中该公共目标具有已知的大小(例如,DVD封面、信用卡、电源插座等)。于是,可以基于该目标的已知大小来计算比例因子。对于缺少绝对比例因子的目前的另一解决方案包括将加速计作为惯性导航系统来使用,以估计相同场景的被捕获图像之间的位移。然而,当前的这些解决方案都没有提供用于在重构场景中使用的绝对比例因子。
发明内容
所描述的特征总体上涉及用于将非立体照相机转换为立体照相机的一个或多个改进的方法、装置和/或设备。该方法、装置和/或设备使用至少一个光学元件来临时性地改变第一非立体照相机的有效位置和有效方位。该至少一个光学元件将第一非立体照相机的有效位置距第二非立体照相机的有效位置位移了预定距离,而第一非立体照相机的有效方位使得第一非立体照相机的视野与第二非立体照相机的视野重叠。
在第一组示例性实施例中,描述了用于将非立体照相机转换为立体照相机的方法。在一种配置中,可以使用至少一个光学元件来临时性地改变第一非立体照相机的有效位置和有效方位。所改变的有效位置可以距第二非立体照相机的有效位置位移了预定距离,并且所改变的有效方位可以向所述第一非立体照相机提供与所述第二非立体照相机的视野重叠的视野。可以使用所述至少一个光学元件来通过所述第一非立体照相机捕获第一图像。可以通过所述第二非立体照相机捕获第二图像。所述第二图像可以具有距所述第一图像的参照系(frame of reference)位移了所述预定距离的参照系。
在某些例子中,所述至少一个光学元件可以临时性地将所述第一非立体照相机的所述有效位置和所述第二非立体照相机的有效位置之间的位移固定为所述预定距离。
在某些例子中,所述至少一个光学元件可以包括用于向所述第一非立体照相机反射所述第一图像的镜子。
在某些例子中,所述至少一个光学元件可以包括用于将所述第一图像聚焦在所述第一非立体照相机处的透镜。
在某些例子中,所述至少一个光学元件可以包括用于向所述第一非立体照相机传播所述第一图像的光导管。
在某些例子中,可以将所述至少一个光学元件附着到包括所述第一非立体照相机和所述第二非立体照相机的移动设备上。
在某些例子中,可以将所述至少一个光学元件卡合到包括所述第一非立体照相机和所述第二非立体照相机的移动设备上。
在某些例子中,所述第一非立体照相机可以包括移动设备的前置照相机,以及所述第二非立体照相机可以包括所述移动设备的后置照相机。
在某些例子中,所述第一图像和所述第二图像是同时被捕获的。
在某些例子中,可以按下按钮以发起对所述第一图像和所述第二图像二者的捕获。在这样的例子中,按下所述按钮可以使得移动设备至少部分地基于所述第一图像的所述参照系和所述第二图像的所述参照系之间的所述预定距离来计算所述第一图像和所述第二图像中的至少一个公共目标的大小。按下所述按钮还可以使得所述移动设备至少部分地基于所计算的所述第一图像和所述第二图像中的所述至少一个公共目标的大小来执行对场景的数学重构。
在某些例子中,可以使用所述至少一个光学元件来临时性地将所述第一非立体照相机的所述视野分裂为第一和第二重叠的视野。
在某些例子中,可以使用所述至少一个光学元件来临时性地将所述第二非立体照相机的所述视野分裂为第一和第二重叠的视野。
在第二组示例性实施例中,描述了用于将非立体照相机转换为立体照相机的装置。在一种配置中,所述装置可以包括用于捕获第一图像的单元;用于捕获第二图像的单元;以及用于在捕获所述第一图像时临时性地改变所述用于捕获所述第一图像的单元的有效位置和有效方位的光学单元。所述第二图像可以具有距所述第一图像的参照系位移了预定距离的参照系。所述用于捕获所述第一图像的单元的所改变的有效位置可以距所述用于捕获所述第二图像的单元的有效位置位移了所述预定距离,并且所改变的有效方位可以向所述用于捕获第一图像的单元提供与所述用于捕获所述第二图像的单元的视野重叠的视野。
在某些例子中,所述装置可以包括用于实现上面参考第一组示例性实施例的方法描述的一个或多个方面的单元。
在第三组示例性实施例中,描述了用于将非立体照相机转换为立体照相机的另一装置。在一种配置中,所述装置可以包括第一非立体照相机,用于捕获第一图像;第二非立体照相机,用于捕获第二图像;以及至少一个光学元件,用于在捕获所述第一图像期间临时性地改变所述第一非立体照相机的有效位置和有效方位。所述第二图像可以具有距所述第一图像的参照系位移了预定距离的参照系。所述第一非立体照相机的所改变的有效位置可以距所述第二非立体照相机的有效位置位移了所述预定距离,并且所改变的有效方位可以向所述第一非立体照相机提供与所述第二非立体照相机的视野重叠的视野。
在某些例子中,指令还可以由处理器可执行以实现上面参考第一组示例性实施例的方法描述的一个或多个方面。
在第四组示例性实施例中,描述了用于将非立体照相机转换为立体照相机的设备。在一种配置中,所述设备可以包括至少一个光学元件,其用于在捕获第一图像期间临时性地改变第一非立体照相机的有效位置和有效方位;以及至少一个附着构件,其被配置为将所述至少一个光学元件附着到包括所述第一非立体照相机和所述第二非立体照相机的移动设备上。所改变的有效位置可以距第二非立体照相机的有效位置位移了预定距离,并且所改变的有效方位可以向所述第一非立体照相机提供与所述第二非立体照相机的视野重叠的视野。
在某些例子中,所述至少一个附着构件可以包括至少一个偏置构件,其被配置为将所述至少一个光学元件卡合到包括所述第一非立体照相机和所述第二非立体照相机的移动设备上。
在某些例子中,所述第一非立体照相机可以包括移动设备的前置照相机;以及所述第二非立体照相机可以包括所述移动设备的后置照相机。
在某些例子中,所述至少一个光学元件可以包括用于向所述第一非立体照相机反射所述第一图像的镜子。
在某些例子中,所述至少一个光学元件可以包括用于将所述第一图像聚焦在所述第一非立体照相机处的透镜。
在某些例子中,所述至少一个光学元件可以包括用于向所述第一非立体照相机传播所述第一图像的光导管。
通过下面的具体实施方式、权利要求书以及附图,本文所描述的方法和装置的进一步适用范围将变得显而易见。仅仅通过示例的方式给出了具体实施方式和特定例子,这是因为对于本领域普通技术人员来说,落入本说明书的精神和范围之内的各种改变和修改将变得显而易见。
附图说明
通过参照下面的附图,可以实现对于本发明的性质和优点的进一步理解。在附图中,类似的部件或特征可以具有相同的附图标记。此外,相同类型的各个部件可以通过在附图标记之后加上破折号以及用于区分相似部件的第二标记来进行区分。如果在说明书中仅使用了第一附图标记,则该描述可适用于具有相同的第一附图标记的任何一个类似部件,而不管第二附图标记如何。
图1是无线通信系统的例子的方框图;
图2是根据各种实施例的具有非立体照相机模块和立体照相机模块的移动设备的例子的方框图;
图3是根据各种实施例的具有第一和第二非立体照相机和立体照相机模块的移动设备的例子的方框图;
图4是根据各种实施例的具有非立体照相机和立体照相机模块的移动设备的例子的方框图;
图5是根据各种实施例的具有带有远程处理管理器的立体照相机模块的移动设备的例子的方框图;
图6是根据各种实施例的移动设备的例子的方框图;
图7A和图7B分别示出了具有前置照相机和后置照相机的移动设备的前视图和后视图;
图8A示出了至少一个光学元件附着其上的移动设备的侧视图;
图8B示出了至少一个光学元件附着其上的移动设备的底视图;
图9示出了至少一个光学元件附着其上的移动设备的另一侧视图;
图10是用于将非立体照相机转换为立体照相机的方法的流程图;
图11是用于将非立体照相机转换为立体照相机的另一方法的流程图;以及
图12是用于将非立体照相机转换为立体照相机的方法的流程图。
具体实施方式
描述了一个或多个非立体照相机到立体照相机的转换。如前所述,非立体照相机可以用于通过从第一视角捕获场景的第一图像、并且然后将该非立体照相机移动到第二位置以从另一视角捕获该场景的另一图像,来捕获立体照片。然而,内置了照相机的移动设备的立体图像处理软件并不知道照相机移动的距离。因此,对于立体图像处理软件来说,没有可用的绝对比例因子。
目前可用的智能电话通常具有两个照相机——前置照相机和后置照相机。由于这些照相机是朝向相反的方向的,所以它们是非立体照相机。然而,如果光学器件可改变这些照相机中的一个照相机的有效位置和有效方位,则前置和后置非立体照相机可以被提供重叠的视野,从而使得可以将非立体照相机转换为立体照相机。如果光学器件是从智能电话上可拆卸的,则可以附着该光学器件以临时性地改变这些照相机中的一个照相机的有效位置和有效方位,并在之后当用户不想要使用立体照相机时将其分离。本文描述的光学元件也可以被附着到具有单个非立体照相机的设备上,以便将该单个非立体照相机转换为立体照相机。
首先参考图1,方框图示出了包括至少一个移动设备105的无线通信系统100的例子。移动设备105可以是多种类型的设备中的任意一种,诸如蜂窝电话、智能电话、膝上型计算机、个人数字助理(PDA)、照相机、游戏设备、电子阅读器、平板计算机、便携式数字音乐播放器,或用于传递声音和/或数据的另一移动设备,或上述的任意组合。在一些实施例中,移动设备105还可以或替代地经由有线的通信系统进行通信。在一些实施例中,移动设备105可以是照相机或不具有用于连接到通信系统的能力的其它移动设备。
在一些情形下,移动设备105可以经由无线接入系统110连接到无线通信系统100的网络115。无线接入系统110和网络115可以能够使用多种不同的无线协议中的任何无线协议来传输数据。这样的无线接入系统和无线网络是公知的,并且无需在此进行进一步详细描述。在一些情形下,网络115可以是或可以包括互联网。在其它情形下,网络115可以是或可以包括蜂窝网。无线接入系统110可以包括多个接入点,其中每一个接入点可以为相应的覆盖区域提供通信覆盖。在一些实施例中,接入点可以采用基站、基站收发机、无线基站、无线收发机、基本服务集(BSS)、扩展服务集(ESS)、节点B、演进型节点B(eNB)、家庭节点B、家庭eNodeB、无线局域网(WLAN)接入点的形式或接入点的某些其它形式。
无线通信系统100可以包括中央服务器计算机系统120,其可以例如由一个或多个服务器计算机、个人计算机、工作站、网站服务器、或其它适合的计算设备组成,并且针对给定服务器的个别计算设备彼此之间可以是本地的或远程的。在各种实施例中,中央服务器计算机系统120可以从移动设备105接收图像和图像处理请求。例如,中央服务器计算机系统120可以将其从移动设备105接收的图像重构为三维图像。
无线通信系统100还可以包括用户系统125,其可以是例如移动设备105可以连接到的个人计算机或控制台。在各种实施例中,用户系统125可以从移动设备105接收图像和图像处理请求。例如,用户系统125可以将其从移动设备105接收的图像重构为三维图像。
现在参考图2,方框图200示出了根据各种实施例的包括移动设备105-a和用于将设备105-a的至少一个非立体照相机转换为立体照相机的至少一个光学元件220的装置。移动设备105-a可以是参考图1描述的移动设备105的一个或多个方面的例子。移动设备105-a可以包括非立体照相机模块205、立体照相机模块210,和/或显示器模块215。这些部件中的每一个部件都可以在彼此之间进行通信。
可以使用适用于执行硬件中的可应用功能中的一些或全部功能的一个或多个专用集成电路(ASIC),来单独地或共同地实现移动设备105-a中的部件。可替代地,可以由一个或多个集成电路上的一个或多个其它处理单元(或内核)来执行这些功能。在其它实施例中,可以使用其它类型的集成电路(例如,结构化/平台ASIC、现场可编程门阵列(FPGA)和其它半定制IC),它们可以使用任何现有方式来编程。此外,可以使用包含在存储器中的、被格式化为由一个或多个通用或专用处理器执行的指令,来全部地或部分地实现每个单元的功能。
非立体照相机模块205可以包括一个或多个非立体照相机。每一非立体照相机可以包含互补金属氧化物半导体(CMOS)传感器或通过其可以捕获图像以用于显示和/或数字处理的其它技术的传感器。
至少一个光学元件220可以向非立体照相机模块205的至少一个非立体照相机反射、聚焦、传播和/或重定向图像。例如,在其中非立体照相机模块205包括用于捕获第一图像的第一非立体照相机和用于捕获第二图像的第二非立体照相机的实施例中,至少一个光学元件220可以在第一图像的捕获期间临时性地改变第一非立体照相机的有效位置和有效方位。所改变的有效位置可以距第二非立体照相机的有效位置位移了预定距离,以及所改变的有效方位可以向第一非立体照相机提供与第二非立体照相机的视野重叠的视野。在一些实施例中,该至少一个光学元件220还可以临时性地改变第二非立体照相机的有效位置和/或有效方位。
在该至少一个光学元件220的另一例子中,该至少一个光学元件220可以临时性地将非立体照相机模块205中的一个或多个非立体照相机中的每一个的视野分裂,从而产生重叠的视野。在一些情形下,将非立体照相机的视野分裂包括将非立体照相机的像素分裂为第一和第二子集,并且使用至少一个光学元件220来临时性地改变所述子集中的一个子集或全部两个子集的有效位置,从而将第一子集的有效位置距第二子集的有效位置位移预定距离。
在该至少一个光学元件220的另一例子中,该至少一个光学元件220可以既改变非立体照相机模块205中的一个非立体照相机的有效位置和/或有效方位,又将非立体照相机模块205中的同一和/或不同的非立体照相机的视野分裂。
立体照相机模块210可以执行各种功能。在一些情形下,立体照相机模块210可以接收由非立体照相机模块205中的第一非立体照相机捕获的第一图像并且接收由非立体照相机模块205中的第二非立体照相机捕获的第二图像。在其它情形下,立体照相机模块210可以从具有分裂视野的非立体照相机接收第一和第二图像。在另外其它情形下,立体照相机模块210可以接收多于两个图像,其中这些图像是从具有不同的视角和重叠视野的多于两个的照相机捕获的。在这些情形中的任意情形下,立体照相机模块210可结合至少一个光学元件220来将移动设备105-a的一个或多个非立体照相机转换为立体照相机。例如,立体照相机模块210可以用于执行对场景的数学重构,其中该场景以由非立体照相机模块205中的一个或多个非立体照相机捕获的多个图像中的每一图像来表示。在一些情形下,第一和第二非立体照相机的有效位置之间(或非立体照相机的像素的第一和第二子集之间)的预定距离可以在执行数学重构的过程中帮助立体照相机模块210(和/或立体照相机模块210与之通信的脱机(off-device)处理服务)。例如,数学重构可涉及按比例表示被包括在所重构的场景中的目标,其中可使用预定距离来识别或确定比例。数学重构还可涉及渲染所重构的场景的三维图像。在一些情形下,可以将所重构的场景输出给显示器模块215,以用于由移动设备105-a的用户观看。
在一些情形下,显示器模块215可包括液晶显示器(LCD)或发光二极管(LED)显示器。
现参考图3,方框图300示出了根据各种实施例的包括移动设备105-b和用于将非立体照相机转换为立体照相机的至少一个光学元件220-a的装置。移动设备105-b可以是参考图1和/或图2描述的移动设备105的一个或多个方面的例子。移动设备105-b可以包括第一非立体照相机205-a、第二非立体照相机205-b、立体照相机模块210-a,和/或显示器模块215。这些部件中的每一部件都可以在彼此之间通信。
可以使用适用于执行硬件中的可应用功能中的一些或全部功能的一个或多个ASIC,来单独地或共同地实现移动设备105-b中的部件。可替代地,可以由一个或多个集成电路上的一个或多个其它处理单元(或内核)来执行这些功能。在其它实施例中,可以使用其它类型的集成电路(例如,结构化/平台ASIC、FPGA和其它半定制IC),它们可以使用任何现有方式来编程。此外,可以使用包含在存储器中的、被格式化为由一个或多个通用或专用处理器执行的指令,来全部地或部分地实现每个单元的功能。
第一和第二非立体照相机205-a、205-b可以是参考图2描述的非立体照相机模块205中的非立体照相机的例子。在一些情形下,第一非立体照相机205-a可以包括移动设备105-b的前置照相机,而第二非立体照相机205-b可以包括移动设备105-b的后置照相机。
至少一个光学元件220-a可以用于临时性地改变第一非立体照相机205-a的有效位置和有效方位。改变第一非立体照相机205-a的有效位置可以涉及将第一非立体照相机205-a的有效位置距第二非立体照相机205-b的有效位置位移预定距离。改变第一非立体照相机205-a的有效方位可以涉及改变第一非立体照相机205-a的有效方位以向第一非立体照相机205-a提供与第二非立体照相机205-b的视野重叠的视野。当第一和第二非立体照相机205-a、205-b分别是前置和后置照相机时,至少一个光学元件220-a可以用于向前置照相机提供与后置照相机的视野重叠的视野。
在一些情形下,至少一个光学元件220-a可以包括用于向第一非立体照相机205-a反射第一图像的镜子。在其它情形下,至少一个光学元件220-a可以包括用于将第一图像聚焦在第一非立体照相机205-a处的透镜。在其它情形下,至少一个光学元件220-a可以包括用于向第一非立体照相机205-a传播第一图像的光导管。在其它情形下,至少一个光学元件220-a可以包括用于向第一非立体照相机205-a重定向第一图像的棱镜。此外,至少一个光学元件220-a还可以包括不同类型的光学元件和/或上述以及其它类型的光学元件的组合。
第一和第二非立体照相机205的视野可以是相同的或不同的(例如,彼此之间一致或彼此之间不一致)。
在一些情形下,至少一个光学元件220可以临时性地将第一非立体照相机205的有效位置和第二非立体照相机205的有效位置之间的位移固定为预定距离。
至少一个光学元件220-a可以用于利用第一非立体照相机205-a捕获第一图像。第二图像可以利用第二非立体照相机205-b来捕获。第二图像可以具有距第一图像的参照系位移了使用至少一个光学元件220-a建立的预定距离的参照系。
在一些实施例中,第一和第二非立体照相机205-a、205-b可以同时(例如,在相同的时间处或在重叠的时间段)捕获第一和第二图像。在其它实施例中,第一和第二非立体照相机205-a、205-b可以顺序地捕获第一和第二图像。无论第一和第二图像是同时地还是顺序地被捕获,第一和第二非立体照相机205-a、205-b的有效位置都可以在第一和第二图像的捕获期间保持固定。如果第一和第二非立体照相机205-a、205-b的有效位置不保持固定,则在重构以第一和第二图像表示的场景期间,第一和第二非立体照相机205-a、205-b的有效位置之间的预定距离可能是不可用的。
立体照相机模块210-a可以是参考图2描述的立体照相机模块210的一个或多个方面的例子。在一些实施例中,立体照相机模块210-a可以包括比例因子识别模块305、目标大小计算模块310,和/或重构模块315。
在一些实施例中,比例因子识别模块305可以用于识别要应用于第一图像和第二图像中的至少一个公共目标的比例因子。该比例因子可以至少部分地基于第一图像的参照系和第二图像的参照系之间的预定距离,其中该预定距离可以通过将至少一个光学元件220-a附着到移动设备105-b上来临时性地固定。
在一些实施例中,目标大小计算模块310可以接收由第一和第二非立体照相机205-a、205-b捕获的第一和第二图像,并计算第一和第二图像中的至少一个公共目标的大小。可以至少部分地基于比例因子和/或第一图像的参照系和第二图像的参照系之间的预定距离来计算公共目标的大小。
在一些实施例中,重构模块315可以接收由第一和第二非立体照相机205-a、205-b捕获的第一和第二图像,并至少部分地基于所计算的第一图像和第二图像中的至少一个公共目标的大小来执行对场景的数学重构。在一些情形下,重构模块315可以执行对场景的三维数学重构。在一些情形下,可以将重构的场景输出给显示器模块215,以用于由移动设备105-b的用户观看。
可以以类似于参照图2所描述的方式来配置显示器模块215。
现参考图4,方框图400示出了根据各种实施例、包括移动设备105-c和用于将非立体照相机转换为立体照相机的至少一个光学元件220-b的装置。移动设备105-c可以是参照图1和/或图2描述的移动设备105的一个或多个方面的例子。移动设备105-c可以包括非立体照相机205-c、立体照相机模块210-b,和/或显示器模块215。这些部件中的每个部件可以彼此之间通信。
可以使用适用于执行硬件中的可应用功能中的一些或全部功能的一个或多个ASIC,来单独地或共同地实现移动设备105-c中的部件。可替代地,可以由一个或多个集成电路上的一个或多个其它处理单元(或内核)来执行这些功能。在其它实施例中,可以使用其它类型的集成电路(例如,结构化/平台ASIC、FPGA和其它半定制IC),它们可以使用任何现有方式来编程。此外,可以使用包含在存储器中的、被格式化为由一个或多个通用或专用处理器执行的指令,来全部地或部分地实现每个单元的功能。
非立体照相机205-c可以是参考图2描述的非立体照相机模块205中的非立体照相机的例子。在一些情形下,非立体照相机205-c可以是移动设备105-c的后置照相机。在一些情形下,非立体照相机205-c可以是移动设备105-c的前置照相机。
该至少一个光学元件220-b可以用于临时性地将非立体照相机205-c的视野分裂,从而产生重叠的视野。在一些情形下,将非立体照相机205-c的视野分裂可以包括将非立体照相机的像素分裂为第一和第二子集,并使用至少一个光学元件220-b来临时性地改变上述子集中的一个子集或全部两个子集的有效位置,从而将第一子集的有效位置距第二子集的有效位置位移预定距离。
在一些情形下,至少一个光学元件220-b可以包括用于向非立体照相机205-c的像素的第一子集反射第一图像的镜子。在其它情形下,至少一个光学元件220-b可以包括用于将第一图像聚焦在非立体照相机205-c的像素的第一子集上的透镜。在其它情形下,至少一个光学元件220-b可以包括用于向非立体照相机205-c的像素的第一子集传播第一图像的光导管。在其它情形下,至少一个光学元件220-b可以包括用于向非立体照相机205-c的像素的第一子集重定向第一图像的棱镜。此外,至少一个光学元件220-b还可以包括不同类型的光学元件和/或上述以及其它类型的光学元件的组合。至少一个光学元件220-b还可以、或替代地向非立体照相机205-c的像素的第二子集反射、聚焦、传播、和/或重定向第二图像。
非立体照相机205-c的像素的第一和第二子集的视野可以是相同的或不同的(例如,彼此之间一致或彼此之间不一致)。
在一些情形下,至少一个光学元件220可以临时性地将非立体照相机205的像素的第一和第二子集的有效位置之间的位移固定为预定距离。
至少一个光学元件220-b可以用于利用非立体照相机205-c来捕获第一和第二图像。在一些情形下,第一图像可以由非立体照相机205-c的像素的第一子集来捕获,而第二图像可以由非立体照相机205-c的像素的第二子集来捕获。第二图像可以具有距第一图像的参照系位移了使用至少一个光学元件220-b建立的预定距离的参照系。
非立体照相机205-c的像素的第一和第二子集的有效位置可以在第一和第二图像的捕获期间保持固定。如果像素的第一和第二子集的有效位置不保持固定,则在重构以第一和第二图像表示的场景期间,像素的第一和第二子集的有效位置之间的预定距离可能是不可用的。
立体照相机模块210-b可以是参考图2和/或图3描述的立体照相机模块210的一个或多个方面的例子。在一些实施例中,立体照相机模块210-a可以包括比例因子识别模块305-a、目标大小计算模块310-a,和/或重构模块315-a。模块305-a、310-a和/或315-a可以是参照图3描述的、被类似编号的模块305、310和/或315的例子。
在一些实施例中,比例因子识别模块305-a可以用于识别要应用于第一图像和第二图像中的至少一个公共目标的比例因子。该比例因子可以至少部分地基于第一图像的参照系和第二图像的参照系之间的预定距离,其中该预定距离可以通过将至少一个光学元件220-b附着到移动设备105-c上来临时性地固定。
在一些实施例中,目标大小计算模块310-a可以接收由非立体照相机205-c捕获的第一和第二图像,并计算第一和第二图像中的至少一个公共目标的大小。可以至少部分地基于比例因子和/或第一图像的参照系和第二图像的参照系之间的预定距离来计算公共目标的大小。
在一些实施例中,重构模块315-a可以接收由非立体照相机205-c捕获的第一和第二图像,并至少部分地基于所计算的第一图像和第二图像中的至少一个公共目标的大小来执行对场景的数学重构。重构模块315-a还可以执行对场景的三维数学重构。在一些情形下,可以将重构的场景输出给显示器模块215,以用于由移动设备105-c的用户观看。
可以以类似于参照图2所描述的方式来配置显示器模块215。
现参照图5,方框图500示出了根据各种实施例的、包括移动设备105-d和用于将非立体照相机转换为立体照相机的至少一个光学元件220-a的装置。移动设备105-d可以是参照图1、图2和/或图3描述的移动设备105的一个或多个方面的例子。移动设备105-d可以包括第一非立体照相机205-a、第二非立体照相机205-b、立体照相机模块210-c、显示器模块215、接收机模块505,和/或发射机模块515。这些部件中的每个部件可以在彼此之间通信。
可以使用适用于执行硬件中的可应用功能中的一些或全部功能的一个或多个ASIC,来单独地或共同地实现移动设备105-d中的部件。可替代地,可以由一个或多个集成电路上的一个或多个其它处理单元(或内核)来执行这些功能。在其它实施例中,可以使用其它类型的集成电路(例如,结构化/平台ASIC、FPGA和其它半定制IC),它们可以使用任何现有方式来编程。此外,可以使用包含在存储器中的、被格式化为由一个或多个通用或专用处理器执行的指令,来全部地或部分地实现每个单元的功能。
可以以类似于参照图3所描述的方式来配置至少一个光学元件220-a、第一和第二非立体照相机205-a、205-b和显示器模块215。
接收机模块505可以包括任意数量的接收机。在一些情形下,接收机模块505可以包括蜂窝接收机。在一些情形下,蜂窝接收机可以是LTE/LTE-A接收机或GSM接收机。蜂窝接收机可以用于接收各种类型的数据和/或控制信号,其被统称为传输。传输可以在诸如参照图1描述的无线通信系统100的无线通信系统的一个或多个通信信道上被接收。在一些情形下,接收机模块505可以包括替代的或额外类型的接收机,诸如以太网或WLAN接收机。以太网或WLAN接收机也可以用于接收各种类型的数据和/或控制信号,以及也可以在诸如无线通信系统100的无线通信系统的一个或多个通信信道上接收传输。
发射机模块515可以包括任意数量的发射机。在一些情形下,发射机模块515可以包括蜂窝发射机。在一些情形下,蜂窝发射机可以是LTE/LTE-A发射机或GSM发射机。蜂窝发射机可以用于发送各种类型的数据和/或控制信号,其被统称为传输。传输可以在诸如参照图1描述的无线通信系统100的无线通信系统的一个或多个通信信道上被发送。在一些情形下,发射机模块515可以包括替代的或额外类型的发射机,诸如以太网或WLAN发射机。以太网或WLAN发射机也可以用于发送各种类型的数据和/或控制信号,以及也可以在诸如无线通信系统100的无线通信系统的一个或多个通信信道上进行发送。
立体照相机模块210-b可以是参考图2和/或图3描述的立体照相机模块210的一个或多个方面的例子。在一些实施例中,立体照相机模块210-b可以包括远程处理管理器510。在一些实施例中,远程处理管理器510可以从第一和第二非立体照相机205-a、205-b接收相应的第一和第二图像。然后,远程处理管理器510可以经由发射机模块515将第一和第二图像发送给脱机处理服务。在一些情形下,脱机处理服务可以被托管在诸如参照图1描述的中央服务器计算机系统120或用户系统125的系统中。在一些情形下,非现场(off-site)处理服务可以执行诸如由参照图3描述的比例因子识别模块305、目标大小计算模块310和/或重构模块315执行的处理之类的处理。然后,在一些情形下,非现场处理服务可以返回其处理的结果,包括对场景的数学重构。处理结果可以经由接收机模块505在移动设备105-d处被接收。然后,远程处理管理器510可以使得所重构的场景和/或其它图像或数据在显示器模块215上被显示。
在一些情形下,与远程处理管理器510相似的远程处理管理器可以被合并到参考图3和/或图4描述的移动设备105中的任意一个中。与远程处理管理器510相似的远程处理管理器还可以取代参考图4描述的立体照相机模块210-b的部件305-a、310-a、315-a。
图6是移动设备105-e的方框图600的例子。移动设备105-e可以是参考图1、图2、图3、图4和/或图5描述的移动设备105的一个或多个方面的例子。移动设备105-e可以具有各种配置中的任意一种,并且可以是蜂窝电话、智能电话、膝上型笔记本、PDA、照相机、游戏设备、电子阅读器、平板计算机、便携式数字音乐播放器等,或作为其一部分被包括在它们中。移动设备105-e可以具有内部电源(未示出),诸如小型电池以有助于移动操作。
移动设备105-e可以包括天线605、收发机模块610、存储器615和处理器模块625。这些部件中的每一部件可以(例如,经由一个或多个总线)直接地或间接地在彼此之间通信。收发机模块610可以被配置为经由天线605和/或一个或多个有线或无线链路与一个或多个网络双向地通信。例如,收发机模块610可以被配置为与参考图1描述的中央服务器计算机系统120或用户系统125中的一个或多个双向地通信。收发机模块610还可以被配置为(例如,经由设备到设备通信)与一个或多个其它移动设备直接地通信。收发机模块610可以包括被配置为调制分组并将经调制的分组提供给天线605用于传输,以及解调从天线605接收的分组的调制解调器。尽管移动设备105-e可以包括单个天线,但是移动设备105-e可以典型地包括用于多个链路的多个天线。
存储器615可以包括随机存取存储器(RAM)和/或只读存储器(ROM)。存储器615可以存储包含指令的计算机可读、计算机可执行软件(SW)代码620,该指令被配置为当被执行时,使得处理器模块625执行各种功能,包括本文描述的用于识别比例因子、计算目标大小、重构场景和/或处理一个或多个图像的功能中的一个或多个功能。可替代地,软件代码620可以不是由处理器模块625直接可执行的,而是可以被配置为(例如,当其被编译和执行时)使得移动设备105-e执行本文所描述的功能中的一个或多个功能。
处理器模块625可以包括智能硬件设备,例如,CPU、微控制器、ASIC等。处理器模块625可以处理经由天线605和收发机模块610接收的信息,和/或可以发送将要经由收发机模块610和天线605发送的信息。处理器模块625可以独立地或与立体照相机模块210-d结合地处理利用第一非立体照相机205-d和第二非立体照相机205-e捕获图像,以及将非立体照相机205-d、205-e中的一者或二者转换为立体照相机的各个方面。在一些实施例中,处理器模块可以被配置为操作第一和第二非立体照相机205-d、205-e以捕获相应的第一和第二图像,以用于使用立体照相机模块210-d来进行处理。
根据图6的体系架构,移动设备105-e还可以包括通信管理模块630和状态模块635。通信管理模块630可以建立和管理与其它系统120、125和/或其它移动设备105的通信。
状态模块635可以反映和控制当前的设备状态(例如,上下文、认证、基站关联和/或其它连接性问题)。
移动设备105-e还可以包括第一非立体照相机205-d、第二非立体照相机205-e和/或立体照相机模块210-d。非立体照相机205-d、205-e可以是参考图2、图3、图4和/或图5描述的非立体照相机205的例子。立体照相机模块210可以是参考图2、图3、图4和/或图5描述的立体照相机模块210的例子。
如参考图2、图3、图4和/或图5所描述的,至少一个光学元件220-c可以用于将图像反射、聚焦、传播和/或重定向给或在第一非立体照相机205-d或第二非立体照相机205-e处。尽管至少一个光学元件220-c被示出为是与第一非立体照相机205-d相关联的,但是至少一个光学元件220-c可以替代地与第二非立体照相机205-e相关联或与非立体照相机205-d、205-e二者相关联。
举例而言,通信管理模块630、状态模块635和/或立体照相机模块210-d中的每一模块可以是移动设备105-e中的部件,其(例如,经由一个或多个总线)与移动设备105-e中的其它部件中的一些或所有部件通信。可替代地,通信管理模块630、状态模块635和/或立体照相机模块210-d的功能可以被实现为收发机模块610中的部件、计算机程序产品,和/或处理器模块625的一个或多个功能或元件。
可以使用适用于执行硬件中的可应用功能中的一些或全部功能的一个或多个ASIC,来单独地或共同地实现移动设备105-e中的部件。可替代地,可以由一个或多个集成电路上的一个或多个其它处理单元(或内核)来执行这些功能。在其它实施例中,可以使用其它类型的集成电路(例如,结构化/平台ASIC、FPGA和其它半定制IC),它们可以使用任何现有方式来编程。此外,可以使用包含在存储器中的、被格式化为由一个或多个通用或专用处理器执行的指令,来全部地或部分地实现每个单元的功能。上述模块中的每一模块均可以是用于执行与移动设备105-e的操作有关的一个或多个功能的单元。
图7A和图7B分别是示例性移动设备105-f的前视图和后视图700-a、700-b。移动设备可以是参考图1、图2、图3、图4、图5和/或图6描述的移动设备105的各方面的例子。如图7A中所示出的,移动设备105-f的正面可以包括前置照相机205-f、扬声器705和/或触摸感应式显示器710。如图7B中所示出的,移动设备105-f的背面可以包括后置照相机205-g和/或照相机闪光机构720。前置和后置照相机205-f、205-g可以是参考图2、图3、图4、图5和/或图6描述的非立体照相机205的例子。移动设备105-f的正面和背面中的每一面还可以包括其它部件(未示出)。
当在移动设备105-f上激活立体照相机应用时,可以在触摸感应式显示器710上显示用于发起对第一和第二图像的捕获的图形按钮715。移动设备105-f的用户可以象征性地按压该按钮,从而发起对第一和第二图像的捕获以及其它可能的处理。第一和第二图像可以分别通过前置照相机205-f和后置照相机205-g来捕获。
图8A是在将至少一个光学元件220-d附着到移动设备105-f上之后、图7A和图7B中示出的示例性移动设备105-f的侧视图800-a。至少一个光学元件220-d可以是参考图2、图3、图5和/或图6描述的至少一个光学元件220的各方面的例子。举例而言,至少一个光学元件220-d包括透镜805和第一及第二镜子810、815。可以放置透镜805和第一及第二镜子810、815,以将包括场景830的图像聚焦并反射到前置照相机205-f上,从而有效地定位和定向前置照相机,从而使得其具有与后置照相机205-g的视野V2重叠的视野V1。场景830可以基本上位于前置照相机205-f和后置照相机205-g二者的视野之内。在一些情形下,可以如参考图2、图3、图5、图10和/或图11所描述的、在三维中数学重构该场景。
图8B是在将至少一个光学元件220-d附着到移动设备105-f上之后的示例性移动设备105-f的底视图800-b。如图8A和图8B所示出的,至少一个光学元件220-d可以耦合到至少一个附着构件825-a、825-b。至少一个附着构件825-a、825-b可以被配置为将至少一个光学元件220-d附着到移动设备105-f。在一些情形下,至少一个光学元件220-d可以被安装在外壳820上、形成于外壳820中或以其它方式附着到外壳820上。在这些情形下,至少一个附着构件825-a、825-b可以是从外壳820延伸出的、突入外壳820中的,或以其它方式耦合到外壳820或在外壳820上形成的。举例而言,附着构件825-a和825-b可以是相反偏置的构件(例如,外壳820的扩展)。相反偏置的构件可以被配置为通过外壳820将至少一个光学元件卡合到移动设备105-f上。在替代的实施例中,可以用束缚带(strap)、吸盘、粘合物质(adhesive)和/或其它附着构件来补充或替代偏置的构件825-a、825-b。
图9是在将至少一个光学元件220-e附着到移动设备105-f上之后的图7A和图7B中示出的示例性移动设备105-f的另一侧视图900。至少一个光学元件220-e可以是参考图2、图3、图4和/或图6描述的至少一个光学元件220的各方面的例子。举例而言,至少一个光学元件220-e可以包括镜子、透镜、光导管和棱镜中的一个或多个。可以放置至少一个光学元件220-e以将后置照相机205-g的视野分裂为第一和第二重叠的视野V1和V2。在一些情形下,分裂后置照相机205-g的视野可以包括将后置照相机205-g的像素分裂为第一和第二子集,并使用至少一个光学元件220-e来临时性地改变所述子集中的一个子集或全部两个子集的有效位置,从而将第一子集的有效位置距第二子集的有效位置位移预定距离。场景905可以基本上位于上述视野中的每一视野内(即,在视野V1和V2内)。在一些情形下,可以如参考图2、图4、图11和/或图12所描述的、在三维中数学重构该场景。
图10是示出了根据各种实施例的用于将非立体照相机转换为立体照相机的方法1000的例子的流程图。为了清楚起见,下面根据参考图1、图2、图3、图5、图6、图7A、图7B、图8A和/或图8B描述的移动设备105中的一个移动设备,参考图2、图3、图5、图6、图7A、图7B、图8A和/或图8B描述的非立体照相机205中的第一和第二非立体照相机,和/或参考图2、图3、图5、图6、图8A和/或图8B描述的至少一个光学元件220来描述方法1000。
在框1005,至少一个光学元件220可以用于临时性地改变第一非立体照相机205的有效位置和有效方位。改变第一非立体照相机205的有效位置可以涉及将第一非立体照相机205的有效位置距第二非立体照相机205的有效位置位移预定距离。改变第一非立体照相机205的有效方位可以涉及改变第一非立体照相机205的有效方位以向第一非立体照相机205提供与第二非立体照相机205的视野重叠的视野。
在一些情形下,第一非立体照相机205可以包括移动设备105的前置照相机,而第二非立体照相机205可以包括移动设备105的后置照相机。在这些情形下,改变第一非立体照相机205的有效位置和有效方位可以涉及使用至少一个光学元件220来向前置照相机提供与后置照相机的视野重叠的视野。
在一些情形下,至少一个光学元件220可以包括用于向第一非立体照相机205反射第一图像的镜子。在其它情形下,至少一个光学元件220可以包括用于将第一图像聚焦在第一非立体照相机205处的透镜。在其它情形下,至少一个光学元件220可以包括用于向第一非立体照相机205传播第一图像的光导管。在其它情形下,至少一个光学元件220可以包括用于向第一非立体照相机205重定向第一图像的棱镜。至少一个光学元件220还可以包括不同类型的光学元件和/或上述和其它类型的光学元件的组合。
第一和第二非立体照相机205的视野可以是相同的或不同的(例如,彼此之间一致或彼此之间不一致)。
在一些情形下,至少一个光学元件220可以临时性地将第一非立体照相机205的有效位置和第二非立体照相机205的有效位置之间的位移固定为预定距离。
在一些情形下,框1005处的操作可以通过移动设备105的用户和至少一个光学元件220来执行。
在框1010,至少一个光学元件220可以用于利用第一非立体照相机205来捕获第一图像。在一些情形下,框1010处的操作可以在来自于第一非立体照相机205的自动或半自动操作的辅助下,通过移动设备105的用户和至少一个光学元件220来执行。
在框1015,第二图像可以利用第二非立体照相机205来捕获。第二图像可以具有距第一图像的参照系位移了在框1005处建立的预定距离的参照系。在一些情形下,框1015处的操作可以在来自于第二非立体照相机205的自动或半自动操作的辅助下,通过移动设备105的用户和至少一个光学元件220来执行。
在一些实施例中,第一和第二图像可以是同时被捕获的(例如,在相同的时间处或在重叠的时间段中)。在其它实施例中,第一和第二图像可以是顺序地被捕获的。无论第一和第二图像是同时还是顺序地被捕获,第一和第二非立体照相机205的有效位置都应当在第一和第二图像的捕获期间保持固定。如果第一和第二非立体照相机205的有效位置没有保持固定,则在重构以第一和第二图像表示的场景期间,第一和第二非立体照相机205的有效位置之间的预定距离可能是不可用的。
在一些情形下,至少一个光学元件220可以用于将第一和第二非立体照相机205转换为立体照相机。除此之外,第一和第二非立体照相机205的有效位置之间的预定距离可以帮助在其中封装有照相机205的移动设备105(和/或移动设备105可访问的脱机处理服务)来执行对以由第一和第二非立体照相机205捕获的第一和第二图像表示的场景的数学重构。数学重构可以涉及按比例表示被包含在所重构的场景中的目标,其中可以使用预定距离来识别或确定比例。数学重构还可以涉及渲染重构场景的三维图像。
因此,方法1000可以规定将非立体照相机转换为立体照相机。应当注意到的是,方法1000仅仅是一种实现方式,并且可以重新安排或以其它方式修改方法1000的操作以使得其它实现方式也可行。
图11是示出了根据各种实施例的用于将非立体照相机转换为立体照相机的方法1100的例子的流程图。为了清楚起见,下面根据参考图1、图2、图3、图5、图6、图7A、图7B、图8A和/或图8B描述的移动设备105中的一个移动设备,参考图2、图3、图5、图6、图7A、图7B、图8A和/或图8B描述的非立体照相机205中的第一和第二非立体照相机,和/或参考图2、图3、图5、图6、图8A和/或图8B描述的至少一个光学元件220来描述方法1100。
在框1105,可以将至少一个光学元件220附着到包含第一非立体照相机205和第二非立体照相机205的移动设备105上。在一些情形下,将至少一个光学元件220附着到移动设备105上可以包括将至少一个光学元件卡合到移动设备105上。此外,附着至少一个光学元件220还可以包括,例如,将至少一个光学元件220束缚在、吸在,和/或粘在(例如,粘性地附着在)移动设备105上。在一些情形下,至少一个光学元件220可以包括被安装在用于作为单个单元被附着到移动设备105的器件中或上的一个或多个光学元件。
至少一个光学元件220可以在框1110处用于临时性地改变第一非立体照相机205的有效位置和有效方位。改变第一非立体照相机205的有效位置可以涉及将第一非立体照相机205的有效位置距第二非立体照相机205的有效位置位移预定距离。改变第一非立体照相机205的有效方位可以涉及改变第一非立体照相机205的有效方位以向第一非立体照相机205提供与第二非立体照相机205的视野重叠的视野。
在一些情形下,第一非立体照相机205可以包括移动设备105的前置照相机,而第二非立体照相机205可以包括移动设备105的后置照相机。在这些情形下,改变第一非立体照相机205的有效位置和有效方位可以涉及使用至少一个光学元件220来向前置照相机提供与后置照相机的视野重叠的视野。
在一些情形下,将至少一个光学元件220附着到移动设备105上的动作可以使得使用至少一个光学元件220来临时性地改变第一非立体照相机205的有效位置和有效方位。在其它情形下,使用至少一个光学元件220来临时性地改变第一非立体照相机205的有效位置和有效方位可以包括在附着之后放置和/或调整至少一个光学元件220。
在一些情形下,至少一个光学元件220可以包括用于向第一非立体照相机205反射第一图像的镜子。在其它情形下,至少一个光学元件220可以包括用于将第一图像聚焦在第一非立体照相机205处的透镜。在其它情形下,至少一个光学元件220可以包括用于向第一非立体照相机205传播第一图像的光导管。在其它情形下,至少一个光学元件220可以包括用于向第一非立体照相机205重定向第一图像的棱镜。至少一个光学元件220还可以包括不同类型的光学元件和/或上述和其它类型的光学元件的组合。
第一和第二非立体照相机205的视野可以是相同的或不同的(例如,彼此之间一致或彼此之间不一致)。
在一些情形下,至少一个光学元件220可以临时性地将第一非立体照相机205的有效位置和第二非立体照相机205的有效位置之间的位移固定为预定距离。
在框1115,可以按下按钮以发起对第一图像和第二图像二者的捕获。在一些情形下,该按钮可以是移动设备105上的、能够被手动地按下的按钮,诸如移动设备105的边缘或表面上的按钮。在其它情形下,该按钮可以是移动设备105的触摸感应式显示器上经渲染的图形元素,其中该按钮可以被象征性地按下(例如,通过在触摸感应式显示器上触摸该按钮)。
在一些情形下,框1105、1110和/或1115处的操作可以通过移动设备105的用户和至少一个光学元件220来执行。
在框1120,至少一个光学元件220可以用于利用第一非立体照相机205来捕获第一图像,而与此同时,第二非立体照相机205捕获第二图像。在一些情形下,作为至少一个光学元件220将第一图像反射、聚焦、传播和/或重定向给或在第一非立体照相机205处的结果,第一非立体照相机205可以捕获第一图像。第二图像可以具有距第一图像的参照系位移了在框1110处建立的预定距离的参照系。同时捕获第一和第二图像可以包括在相同时间处或在重叠的时间段中捕获第一和第二图像。在一些情形下,框1120处的操作可以在来自于第一和第二非立体照相机205的自动或半自动操作的辅助下,通过移动设备105的用户和至少一个光学元件220来执行。
第一和第二非立体照相机205的有效位置应当在第一和第二图像的捕获期间保持固定。如果第一和第二非立体照相机205的有效位置不保持固定,则在重构以第一和第二图像表示的场景期间,第一和第二非立体照相机205的有效位置之间的预定距离可能是不可用的。
在一些情形下,至少一个光学元件220可以用于将第一和第二非立体照相机205转换为立体照相机。就这一点而言,以及在框1125处,在框1115按下按钮可以使得移动设备105至少部分地基于第一图像的参照系和第二图像的参照系之间的预定距离来计算第一图像和第二图像中的至少一个公共目标的大小。在框1130,并进一步响应于在框1115按下按钮,可以执行对场景的数学重构。该数据重构可以至少部分地基于所计算的第一图像和第二图像中的至少一个公共目标的大小,以及可以涉及基于所计算的至少一个公共目标的大小按照比例来表示被包含在所重构的场景中的目标。数学重构还可以涉及渲染所重构的场景的三维图像。
在一些实施例中,框1125和/或1130处执行的操作可以通过脱机处理服务来执行。例如,可以经由移动设备105和脱机处理服务的主机之间的无线或有线通信来访问该脱机处理服务。
因此,方法1100可以规定将非立体照相机转换为立体照相机。应当注意到的是,方法1100仅仅是一种实现方式,并且可以重新安排或以其它方式修改方法1100的操作以使得其它实现方式也可行。
图12是示出了根据各种实施例的用于将非立体照相机转换为立体照相机的方法1200的例子的流程图。为了清楚起见,下面根据参考图1、图4、图6、图7A、图7B、和/或图9描述的移动设备105中的一个移动设备,参考图4、图6、图7A、图7B、和/或图9描述的非立体照相机205,和/或参考图4、图6、图7A、图7B和/或图9描述的至少一个光学元件220来描述方法1200。
在框1205,至少一个光学元件220可以用于临时性地将非立体照相机205的视野分裂为第一和第二重叠的视野。在一些情形下,分裂非立体照相机205的视野可以包括将非立体照相机205的像素分裂为第一和第二子集,并使用至少一个光学元件220临时性地改变所述子集中的一个子集或全部两个子集的有效位置,从而将第一子集的有效位置距第二子集的有效位置位移预定距离。
在一些情形下,非立体照相机205可以包括移动设备105的后置照相机。在其它情形下,非立体照相机205可以包括移动设备105的前置照相机。
在一些情形下,至少一个光学元件220可以包括用于向非立体照相机205的像素的第一子集反射第一图像的镜子。在其它情形下,至少一个光学元件220可以包括用于将第一图像聚焦在非立体照相机205的像素的第一子集上的透镜。在其它情形下,至少一个光学元件220可以包括用于向非立体照相机205的像素的第一子集传播第一图像的光导管。在其它情形下,至少一个光学元件220可以包括用于向非立体照相机205的像素的第一子集重定向第一图像的棱镜。至少一个光学元件220还可以包括不同类型的光学元件和/或上述和其它类型的光学元件的组合。此外,至少一个光学元件220还可以或替代地向非立体照相机205的像素的第二子集反射、聚焦、传播和/或重定向第二图像。
第一和第二非立体照相机205的视野可以是相同的或不同的(例如,彼此之间一致或彼此之间不一致)。
在一些情形下,至少一个光学元件220可以临时性地将非立体照相机205的像素的第一和第二子集的有效位置之间的位移固定为预定距离。
在一些情形下,框1205处的操作可以通过移动设备105的用户和至少一个光学元件220来执行。
在框1210,至少一个光学元件220可以用于利用非立体照相机205来捕获第一和第二图像。在一些情形下,第一图像可以由非立体照相机205的像素的第一子集来捕获,而第二图像可以由非立体照相机205的像素的第二子集来捕获。第二图像可以具有距第一图像的参照系位移了在框1205处建立的预定距离的参照系。在一些情形下,框1210处的操作可以在来自于非立体照相机205的自动或半自动操作的辅助下,通过移动设备105的用户和至少一个光学元件220来执行。
非立体照相机205的像素的第一和第二子集的有效位置应当在第一和第二图像的捕获期间保持固定。如果像素的第一和第二子集的有效位置不保持固定,则在重构以第一和第二图像表示的场景期间,像素的第一和第二子集的有效位置之间的预定距离可能是不可用的。
在一些情形下,至少一个光学元件220可以用于将非立体照相机205转换为立体照相机。除此之外,非立体照相机205的像素的第一和第二子集的有效位置之间的预定距离可以帮助在其中封装有照相机205的移动设备105(和/或移动设备105可访问的脱机处理服务)来执行对以由非立体照相机205捕获的第一和第二图像表示的场景的数学重构。数学重构可以涉及按比例表示被包含在所重构的场景中的目标,其中可以使用预定距离来识别或确定比例。数学重构还可以涉及渲染所重构的场景的三维图像。
因此,方法1200可以规定将非立体照相机转换为立体照相机。应当注意到的是,方法1200仅仅是一种实现方式,而且可以重新安排或以其它方式修改方法1200的操作以使得其它实现方式也可行。
在一些情形下,可以将方法1000、1100、1200中的不同的方法或其操作进行组合。例如,方法1200可以与方法1000或方法1100组合以提供具有第一、第二和第三图像的照相机,根据该第一、第二和第三图像可以重构场景。当将方法1200与方法1000或方法1100进行组合时,可以分裂第一和第二非立体照相机中的一者或两者的视野。还可以以其它方式来组合方法1000、1100、1200或其操作。
上面结合附图阐述的具体实施方式描述了一些示例性实施例,但其并不表示仅可以实现这些实施例,也不表示仅这些实施例才落入权利要求书的范围之内。当在本说明书中使用术语“例子”或“示例性”时,意味着“用作例子、例证或说明”,但并不意味着“优选”或“比其它实施例更具优势”。具体实施方式包括出于提供对所描述技术的透彻理解的目的的特定细节。但是,可以在不使用这些特定细节的情况下实践这些技术。在一些实例中,为了避免对所描述的实施例的概念造成模糊,以框图形式示出了公知的结构和部件。
可以使用多种不同的技术和技艺中的任意一种来表示信息和信号。例如,贯穿上面的说明书可能提及的数据、指令、命令、信息、信号、比特、符号和码片可以用电压、电流、电磁波、磁场或磁粒子、光场或光粒子或者其任意组合来表示。
可以用被设计用于执行本文所述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件部件或者其任意组合,来实现或执行结合本文的公开内容描述的各种示例性框和模块。通用处理器可以是微处理器,或者,该处理器也可以是任何常规的处理器、控制器、微控制器或者状态机。处理器也可以被实现为计算设备的组合,例如,DSP和微处理器的组合、多个微处理器、与DSP内核结合的一个或多个微处理器,或者任何其它此种结构。在一些情形下,处理器可以与存储器电通信,其中存储器可以存储可由该处理器执行的指令。
本文所述功能中的一些功能可以用硬件、由处理器执行的软件、固件或者其任意组合的方式来实现。如果用由处理器执行的软件实现,则可以将这些功能存储在计算机可读介质上,或者作为计算机可读介质上的一个或多个指令或代码进行传输。其它例子和实现方式也落入本公开内容及其所附权利要求书的范围和精神之内。例如,由于软件的性质,上文所描述的功能可以使用由处理器执行的软件、硬件、固件、硬连线或者其任意组合来实现。用于实现功能的特征可以物理地分布在多个位置处,其包括分布式的使得在不同的物理位置来实现功能的各部分。此外,如本文(其包括权利要求书)所使用的,如以“中的至少一个”描述的列表项中所使用的“或”指示分离的列表,使得例如,列表“A、B或C中的至少一个”意味着:A或B或C或AB或AC或BC或ABC(即,A和B和C)。
为使本领域技术人员能够实现或者使用本公开内容,上面提供了本公开内容的说明书。对于本领域技术人员来说,对本公开内容进行各种修改是显而易见的,并且,本文定义的总体原则也可以在不脱离本发明的精神或范围的基础上适用于其它变型。贯穿本公开内容的术语“例子”或者“示例性”指示例子或者实例,而不是暗示或者要求针对所述例子的任何优选。因此,本公开内容并不限于本文所描述的例子和设计,而是符合与本文所公开的原则和新颖性特征相一致的最广范围。

Claims (28)

1.一种用于将非立体照相机转换为立体照相机的方法,包括:
使用至少一个光学元件来临时性地将第一非立体照相机或第二非立体照相机的视野分裂成第一视野和第二视野,所述第一视野的至少一部分与所述第二视野相重叠,所述第一视野距所述第二视野位移了预定距离,其中,所述第一视野是被像素的第一子集捕获的,而所述第二视野是被像素的第二子集捕获的;
使用所述至少一个光学元件,捕获包括所述第一视野的第一图像;
捕获包括所述第二视野的第二图像,所述第二图像具有距所述第一图像的参照系位移了所述预定距离的参照系;
按下按钮以发起对所述第一图像和所述第二图像二者的捕获;以及
计算所述第一图像和所述第二图像中的至少一个公共目标的大小,所计算的大小至少部分地基于所述第一图像的所述参照系和所述第二图像的所述参照系之间的所述预定距离。
2.根据权利要求1所述的方法,其中,所述至少一个光学元件将所述第一非立体照相机的有效位置和所述第二非立体照相机的有效位置之间的位移临时性地固定为所述预定距离。
3.根据权利要求1所述的方法,其中,所述至少一个光学元件包括用于向所述第一非立体照相机反射所述第一图像的镜子。
4.根据权利要求1所述的方法,其中,所述至少一个光学元件包括用于将所述第一图像聚焦在所述第一非立体照相机处的透镜。
5.根据权利要求1所述的方法,其中,所述至少一个光学元件包括用于向所述第一非立体照相机传播所述第一图像的光导管。
6.根据权利要求1所述的方法,还包括:
将所述至少一个光学元件附着到包括所述第一非立体照相机和所述第二非立体照相机的移动设备上。
7.根据权利要求1所述的方法,还包括:
将所述至少一个光学元件卡合到包括所述第一非立体照相机和所述第二非立体照相机的移动设备上。
8.根据权利要求1所述的方法,其中,所述第一非立体照相机包括移动设备的前置照相机,以及所述第二非立体照相机包括所述移动设备的后置照相机。
9.根据权利要求1所述的方法,其中,所述第一图像和所述第二图像是同时被捕获的。
10.根据权利要求1所述的方法,还包括:
至少部分地基于所计算的所述第一图像和所述第二图像中的所述至少一个公共目标的大小来执行对场景的数学重构。
11.根据权利要求1所述的方法,还包括:
使用所述至少一个光学元件将所述第一非立体照相机的所述视野临时性地分裂为第一和第二重叠的视野。
12.根据权利要求1所述的方法,还包括:
使用所述至少一个光学元件将所述第二非立体照相机的所述视野临时性地分裂为第一和第二重叠的视野。
13.一种用于将非立体照相机转换为立体照相机的装置,包括:
用于捕获第一图像的单元;
用于捕获第二图像的单元,所述第二图像具有距所述第一图像的参照系位移了预定距离的参照系;
用于临时性地将所述用于捕获第一图像的单元或所述用于捕获第二图像的单元的视野分裂成第一视野和第二视野的光学单元,所述第一视野的至少一部分与所述第二视野相重叠,所述第一视野距所述第二视野位移了所述预定距离,其中,所述第一视野是被像素的第一子集捕获的,而所述第二视野是被像素的第二子集捕获的;
用于按下按钮以发起对所述第一图像和所述第二图像二者的捕获的单元;以及
用于计算所述第一图像和所述第二图像中的至少一个公共目标的大小的单元,所计算的大小至少部分地基于所述第一图像的所述参照系和所述第二图像的所述参照系之间的所述预定距离。
14.根据权利要求13所述的装置,其中,所述光学单元将所述用于捕获所述第一图像的单元的有效位置和所述用于捕获所述第二图像的单元的有效位置之间的位移临时性地固定为所述预定距离。
15.根据权利要求13所述的装置,其中,所述光学单元包括:
用于向所述用于捕获所述第一图像或所述第二图像的单元反射所述第一图像或所述第二图像的单元。
16.根据权利要求13所述的装置,其中,所述光学单元包括:
用于将所述第一图像或所述第二图像聚焦在所述用于捕获所述第一图像或所述第二图像的单元处的单元。
17.根据权利要求13所述的装置,其中,所述光学单元包括:
用于向所述用于捕获所述第一图像或所述第二图像的单元传播所述第一图像或所述第二图像的单元。
18.根据权利要求13所述的装置,还包括:
用于将所述光学单元附着到包括所述用于捕获所述第一图像的单元和所述用于捕获所述第二图像的单元的移动设备上的单元。
19.根据权利要求13所述的装置,还包括:
用于将所述光学单元卡合到包括所述用于捕获所述第一图像的单元和所述用于捕获所述第二图像的单元的移动设备上的单元。
20.一种用于将非立体照相机转换为立体照相机的装置,包括:
第一非立体照相机,用于捕获第一图像;
第二非立体照相机,用于捕获第二图像,所述第二图像具有距所述第一图像的参照系位移了预定距离的参照系;
至少一个光学元件,用于临时性地将所述第一非立体照相机或所述第二非立体照相机的视野分裂成第一视野和第二视野,所述第一视野的至少一部分与所述第二视野相重叠,所述第一视野距所述第二视野位移了所述预定距离,其中,所述第一视野是被像素的第一子集捕获的,而所述第二视野是被像素的第二子集捕获的;
按钮,用于发起对所述第一图像和所述第二图像二者的捕获;以及
处理器,用于计算所述第一图像和所述第二图像中的至少一个公共目标的大小,所计算的大小至少部分地基于所述预定距离、和/或所述至少一个公共目标的比例因子。
21.根据权利要求20所述的装置,其中,所述至少一个光学元件将所述第一视野的有效位置和所述第二视野的有效位置之间的位移临时性地固定为所述预定距离。
22.根据权利要求20所述的装置,其中,所述至少一个光学元件包括用于向所述第一非立体照相机或所述第二非立体照相机反射所述第一图像或所述第二图像的镜子。
23.一种用于立体成像的装置,包括:
至少一个光学元件,用于临时性地将第一非立体照相机或第二非立体照相机的视野分裂成第一视野和第二视野,所述第一视野的至少一部分与所述第二视野相重叠,所述第一视野距所述第二视野位移了预定距离,其中,所述第一视野是被像素的第一子集捕获的,而所述第二视野是被像素的第二子集捕获的;以及
至少一个附着构件,其被配置为将所述至少一个光学元件附着到包括所述第一非立体照相机和所述第二非立体照相机的移动设备上;
按钮,用于发起对第一图像和第二图像二者的捕获;以及
处理器,用于计算来自于所述第一非立体照相机的第一图像和来自于所述第二非立体照相机的第二图像中的至少一个公共目标的大小,所述大小至少部分地基于所述预定距离、和/或所述至少一个公共目标的比例因子。
24.根据权利要求23所述的装置,其中,所述至少一个附着构件包括:
至少一个构件,其被配置为将所述至少一个光学元件卡合到包括所述第一非立体照相机和所述第二非立体照相机的移动设备的边缘上。
25.根据权利要求23所述的装置,其中:
所述第一非立体照相机是移动设备的前置非立体照相机;以及
所述第二非立体照相机是所述移动设备的后置非立体照相机。
26.根据权利要求23所述的装置,其中,所述至少一个光学元件包括用于向所述第一非立体照相机或所述第二非立体照相机反射所述第一图像或所述第二图像的镜子。
27.根据权利要求23所述的装置,其中,所述至少一个光学元件包括用于将所述第一图像或所述第二图像聚焦在所述第一非立体照相机或所述第二非立体照相机处的透镜。
28.根据权利要求23所述的装置,其中,所述至少一个光学元件包括用于向所述第一非立体照相机或所述第二非立体照相机传播所述第一图像或所述第二图像的光导管。
CN201480056514.7A 2013-10-16 2014-10-06 将至少一个非立体照相机转换为立体照相机 Expired - Fee Related CN105659591B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/055,157 2013-10-16
US14/055,157 US20150103146A1 (en) 2013-10-16 2013-10-16 Conversion of at least one non-stereo camera into a stereo camera
PCT/US2014/059280 WO2015057418A1 (en) 2013-10-16 2014-10-06 Conversion of at least one non-stereo camera into a stereo camera

Publications (2)

Publication Number Publication Date
CN105659591A CN105659591A (zh) 2016-06-08
CN105659591B true CN105659591B (zh) 2018-07-10

Family

ID=51790865

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480056514.7A Expired - Fee Related CN105659591B (zh) 2013-10-16 2014-10-06 将至少一个非立体照相机转换为立体照相机

Country Status (5)

Country Link
US (1) US20150103146A1 (zh)
EP (1) EP3058725A1 (zh)
JP (1) JP2016541008A (zh)
CN (1) CN105659591B (zh)
WO (1) WO2015057418A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9473760B2 (en) * 2012-08-08 2016-10-18 Makerbot Industries, Llc Displays for three-dimensional printers
US9615081B2 (en) * 2013-10-28 2017-04-04 Lateral Reality Kft. Method and multi-camera portable device for producing stereo images
US9697613B2 (en) 2015-05-29 2017-07-04 Taylor Made Golf Company, Inc. Launch monitor
EP3217355A1 (en) * 2016-03-07 2017-09-13 Lateral Reality Kft. Methods and computer program products for calibrating stereo imaging systems by using a planar mirror
US10554896B2 (en) * 2016-05-04 2020-02-04 Insidemaps, Inc. Stereoscopic imaging using mobile computing devices having front-facing and rear-facing cameras
CN107529052A (zh) * 2016-06-22 2017-12-29 中兴通讯股份有限公司 一种辅助拍摄装置和立体拍摄方法
US10828560B2 (en) * 2016-09-30 2020-11-10 Sony Interactive Entertainment Inc. Systems and methods for stereoscopic vision with head mounted display
CN108696694B (zh) * 2017-03-31 2023-04-07 钰立微电子股份有限公司 有关深度信息/全景图像的图像装置及其相关图像系统
GB2569325B (en) 2017-12-13 2020-05-06 Imperial Innovations Ltd Ear examination apparatus
CN111479607A (zh) * 2017-12-14 2020-07-31 皇家飞利浦有限公司 捕获并且使用用于面罩定制中的面部度量
JP7366594B2 (ja) * 2018-07-31 2023-10-23 キヤノン株式会社 情報処理装置とその制御方法
US11356606B2 (en) * 2019-02-26 2022-06-07 Insidemaps, Inc. Imaging using mobile computing device in communication with wide field of view (FOV) camera
EP3993385A1 (en) 2020-10-29 2022-05-04 Universitat de València A multiperspective photography camera device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101482693A (zh) * 2008-12-01 2009-07-15 深圳市掌网立体时代视讯技术有限公司 单传感器并列式立体图像拍摄方法及装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1146373A (ja) * 1997-07-29 1999-02-16 Sony Corp 立体映像取り込み装置
JP3691656B2 (ja) * 1998-03-31 2005-09-07 株式会社リコー 撮像装置
US8085293B2 (en) * 2001-03-14 2011-12-27 Koninklijke Philips Electronics N.V. Self adjusting stereo camera system
JP4414661B2 (ja) * 2003-02-25 2010-02-10 オリンパス株式会社 ステレオアダプタ及びそれを用いた距離画像入力装置
JP2006238387A (ja) * 2005-02-28 2006-09-07 Sony Corp 電子機器のアダプタ取着用の取り付け具および撮像装置付き携帯電話機のアダプタ取着用の取り付け具
US8330801B2 (en) * 2006-12-22 2012-12-11 Qualcomm Incorporated Complexity-adaptive 2D-to-3D video sequence conversion
CA2627999C (en) * 2007-04-03 2011-11-15 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
JP4958689B2 (ja) * 2007-08-30 2012-06-20 学校法人早稲田大学 立体画像生成装置およびプログラム
US20100194860A1 (en) * 2009-02-03 2010-08-05 Bit Cauldron Corporation Method of stereoscopic 3d image capture using a mobile device, cradle or dongle
JP2010230879A (ja) * 2009-03-26 2010-10-14 Fujifilm Corp 複眼カメラ装置
US8228373B2 (en) * 2009-06-05 2012-07-24 Hines Stephen P 3-D camera rig with no-loss beamsplitter alternative
US7948515B1 (en) * 2009-06-05 2011-05-24 Hines Stephen P Mini 3-D camera rig
US20100328420A1 (en) * 2009-06-29 2010-12-30 Roman Kendyl A Optical adapters for mobile devices with a camera
US20110081946A1 (en) * 2009-10-07 2011-04-07 Byron Singh N John Singh Apparatus and method for changing an image-capturing position of a mobile phone camera using a mirror device
US20110080466A1 (en) * 2009-10-07 2011-04-07 Spatial View Inc. Automated processing of aligned and non-aligned images for creating two-view and multi-view stereoscopic 3d images
US8908015B2 (en) * 2010-03-24 2014-12-09 Appcessories Llc Apparatus and method for producing images for stereoscopic viewing
JP5625887B2 (ja) * 2010-12-22 2014-11-19 ソニー株式会社 撮像装置、その制御方法およびプログラム
US8274552B2 (en) * 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US10200671B2 (en) * 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US8587583B2 (en) * 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
US9110368B2 (en) * 2011-06-16 2015-08-18 Reald Inc. Anamorphic stereoscopic optical apparatus and related methods
US9270875B2 (en) * 2011-07-20 2016-02-23 Broadcom Corporation Dual image capture processing
JP2013025298A (ja) * 2011-07-26 2013-02-04 Sony Corp 立体画像撮像装置
US9143673B2 (en) * 2012-09-19 2015-09-22 Google Inc. Imaging device with a plurality of pixel arrays

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101482693A (zh) * 2008-12-01 2009-07-15 深圳市掌网立体时代视讯技术有限公司 单传感器并列式立体图像拍摄方法及装置

Also Published As

Publication number Publication date
CN105659591A (zh) 2016-06-08
EP3058725A1 (en) 2016-08-24
WO2015057418A1 (en) 2015-04-23
JP2016541008A (ja) 2016-12-28
US20150103146A1 (en) 2015-04-16

Similar Documents

Publication Publication Date Title
CN105659591B (zh) 将至少一个非立体照相机转换为立体照相机
JP6966572B2 (ja) 署名生成方法、電子機器及び記憶媒体
WO2021013230A1 (zh) 机器人的控制方法、机器人、终端、服务器及控制系统
CN110456938A (zh) 一种曲面屏的防误触方法及电子设备
CN106412681A (zh) 弹幕视频直播方法及装置
CN102566207B (zh) 用于使用相机设备拍摄照片的方法和对应相机设备
CN104850547B (zh) 图片展示方法及装置
CN107429998B (zh) 距离图像获取装置以及距离图像获取方法
CN103714161A (zh) 图像缩略图的生成方法、装置和终端
EP3537700A1 (en) Printing system, server, printing method and program
CN110457571B (zh) 获取兴趣点信息的方法、装置、设备及存储介质
CN113160427A (zh) 虚拟场景的创建方法、装置、设备及存储介质
CN103389887A (zh) 图像对位显示方法及其装置
CN104205825A (zh) 图像处理装置及方法以及摄像装置
CN110535890A (zh) 文件上传的方法和装置
CN102540690A (zh) 在便携式终端中产生三维图像的设备和方法
EP4027252A1 (en) Picture search method and device
CN110503416B (zh) 数值转移方法、装置、计算机设备及存储介质
CN107888827A (zh) 图像处理方法及相关产品
CN107255812A (zh) 基于3d技术的测速方法、移动终端、及存储介质
CN103442297B (zh) 协作播放方法、装置、设备及系统
CN106488168A (zh) 电子终端中采集的画面的角度切换方法及装置
CN107885422A (zh) 移动终端的显示内容设置方法、移动终端以及存储装置
CN111294320B (zh) 数据转换的方法和装置
CN103885896B (zh) 匹配设备的方法和电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180710

Termination date: 20201006