CN114096935B - 构建3d数据项的方法和可弯曲设备 - Google Patents

构建3d数据项的方法和可弯曲设备 Download PDF

Info

Publication number
CN114096935B
CN114096935B CN201980098006.8A CN201980098006A CN114096935B CN 114096935 B CN114096935 B CN 114096935B CN 201980098006 A CN201980098006 A CN 201980098006A CN 114096935 B CN114096935 B CN 114096935B
Authority
CN
China
Prior art keywords
bendable device
bendable
data item
imaging sensors
bending angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980098006.8A
Other languages
English (en)
Other versions
CN114096935A (zh
Inventor
穆罕默德·谢拉吉
阿希什·乔普拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN114096935A publication Critical patent/CN114096935A/zh
Application granted granted Critical
Publication of CN114096935B publication Critical patent/CN114096935B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1652—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being flexible, e.g. mimicking a sheet of paper, or rollable
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1615—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1675—Miscellaneous details related to the relative movement between the different enclosures or enclosure parts
    • G06F1/1677—Miscellaneous details related to the relative movement between the different enclosures or enclosure parts for detecting open or closed state or particular intermediate positions assumed by movable parts of the enclosure, e.g. detection of display lid position with respect to main body in a laptop, detection of opening of the cover of battery compartment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Mathematical Physics (AREA)
  • Studio Devices (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Endoscopes (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一种用于在可弯曲设备中构建三维(3D)数据项的方法。该方法包括由可弯曲设备基于与眼睛相关联的生物特征来确定可弯曲设备的至少两个成像传感器之间的轴间距离。此外，该方法包括由可弯曲设备基于轴间距离来确定可弯曲设备的弯曲角度。此外，该方法包括由可弯曲设备使用可弯曲设备的弯曲角度来构建3D数据项。

Description

构建3D数据项的方法和可弯曲设备
技术领域
本公开涉及在电子设备中执行动作。更具体地，涉及在录制模式和效果中的至少一种下录制包括至少一个对象的多媒体文件的电子设备和方法。
背景技术
一般来说，使用偏振三维(3D)技术来提供3D图像，该偏振3D技术在单个屏幕上显示图像，但在图像源和3D眼镜两者上使用偏振器，为用户的每只眼睛创建两个不同的图像。随着技术的进步，具有多个成像传感器(例如，相机)的任何电子设备可以用于捕捉3D图像。然而，虽然可以捕捉到3D图像，但是由于用于捕捉3D图像的角度数量有限，因此不能预测3D图像中捕捉到的对象的实际深度。此外，传统的3D录制技术向用户提供的3D图像可能不是用户的个性化3D内容。
电子设备包括具有柔性显示器并可以用于电视、移动设备、平板电脑等的新型可弯曲设备。如图3A和图3B所示，可弯曲设备具有不同类型。此外，使用可弯曲设备以更深的深度来捕捉3D图像的可能性仍有待探索。
将以上信息呈现为背景信息仅是为了帮助读者理解本发明。申请人未对以上任何内容是否可以用作关于本申请的现有技术做出任何确定，也没有断言。
发明内容
【问题的解决方案】
本文的实施例相应地提供了一种用于在可弯曲设备(100)中构建三维(3D)数据项的方法。该方法包括由可弯曲设备(100)基于眼睛的生物特征来确定可弯曲设备(100)的至少两个成像传感器之间的轴间距离。此外，该方法包括由可弯曲设备(100)基于轴间距离来确定可弯曲设备(100)的弯曲角度。此外，该方法包括由可弯曲设备(100)使用可弯曲设备(100)的弯曲角度来构建3D数据项。
本文的实施例相应地提供了一种用于构建三维(3D)数据项的可弯曲设备(100)。可弯曲设备(100)包括存储器(160)和耦接到存储器(160)的处理器(140)。处理器(140)被配置为基于眼睛的生物特征来确定可弯曲设备(100)的至少两个成像传感器之间的轴间距离。处理器(140)还被配置为基于轴间距离来确定可弯曲设备(100)的弯曲角度，并使用可弯曲设备(100)的弯曲角度来构建3D数据项。
当结合以下描述和附图考虑时，将更好地了解和理解本文中的实施例的这些和其他方面。然而，应该理解，虽然以下描述指示了优选实施例及其许多具体细节，但是以下描述是通过说明而非限制性的方式给出的。可以在不脱离本发明的精神的前提下在本文中的实施例的范围内做出多种改变和修改，并且本文中的实施例包括所有这样的修改。
在进行下文的详细描述之前，对整个专利文档所使用的特定词语和短语的定义进行阐述，可能是有利的：术语“包括”和“包含”以及其衍生词，表示包含性的而不是限制；术语“或者”是包含性的，表示和/或；短语“关联于”和“与之关联”以及其衍生词可以表示包括、被包括在其中、与之互连、含有、被包含在其中、连接至或与之连接、耦接至或与之耦接、可以与之通信、与之配合、交错、并置、接近于、绑定至或与之绑定、具有、具有某种性质等；术语“控制器”表示控制至少一个操作的任何设备、系统或其一部分，这种设备可以在硬件、固件或软件中实现，或者可以在硬件、固件或软件中的至少两种的某种组合中实现。需要注意，与任何特定控制器相关联的功能可以是集中式或分布式的，无论本地还是远程。
此外，下文所描述的各种功能可以由一个或多个计算机程序实现或支持，每个计算机程序由计算机可读程序代码形成并被实施在计算机可读介质中。术语“应用”和“程序”指代一个或多个计算机程序、软件组件、指令集、过程、功能、对象、类、实例、相关数据或其中适于在适当的计算机可读程序代码中实现的部分。短语“计算机可读程序代码”包括任意类型的计算机代码，包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够由计算机访问的任意类型的介质，诸如只读存储器(ROM)、随机访问存储器(RAM)、硬盘驱动器、压缩盘(CD)、数字视频盘(DVD)或任何其他类型的存储器。“非暂时性”计算机可读介质不包括传输暂时性电信号或其他信号的有线、无线、光学或其他通信链路。非暂时性计算机可读介质包括其中能够永久存储数据的介质和其中能够存储数据且随后能够被重写的介质，诸如可重写的光盘或可擦除的存储器设备。
在本专利文档中提供了特定词语和短语的定义，本领域技术人员应理解的是，在许多实例中(如果不是大多数实例)，这些定义适用于这样定义的词语和短语的在先以及将来使用。
【发明的有益效果】
根据本公开的一方面，提供了一种可弯曲设备和用于在可弯曲设备中构建三维(3D)数据项的方法。
根据本公开的另一方面，提供了一种基于眼睛的诸如瞳孔间距(IPD)、虹膜间距(IID)、视网膜间距(IRD)之一的生物特征来确定可弯曲设备的至少两个成像传感器之间的轴间距离的可弯曲设备和方法。
根据本公开的另一方面，提供了一种基于轴间距离以及可弯曲设备的跨越可弯曲设备的轴的长度来确定可弯曲设备的弯曲角度的可弯曲设备和方法。
根据本公开的另一方面，提供了一种确定用于构建3D数据项的拍摄模式的可弯曲设备和方法。
根据本公开的另一方面，提供了一种选择并配置用于使用弯曲角度来构建3D数据项的至少两个成像传感器的可弯曲设备和方法。
根据本公开的另一方面，提供了一种使用可弯曲设备的弯曲角度来构建3D数据项的可弯曲设备和方法。
附图说明
在附图中示出了本发明，贯穿附图，相似的附图标记指示各附图中的对应部分。从参考附图的以下描述中将更好地理解本文的实施例，在附图中：
图1A示出了根据本文公开的实施例的使用可弯曲设备的弯曲角度来构建三维(3D)数据项的可弯曲设备的框图；
图1B示出了根据本文公开的实施例的用于构建三维(3D)数据项的可弯曲设备的处理器的各种组件的框图；
图2A和图2B是示出了根据本文公开的实施例的用于在可弯曲设备中构建3D数据项的方法的流程图；
图3A和图3B是示出了根据本文公开的实施例的用于构建3D数据项的各种类型的可弯曲设备的示例；
图4A和图4B示出了根据本文公开的实施例的用于构建3D数据项的可弯曲设备的至少一个成像传感器的旋转；
图5A示出了根据本文公开的实施例的用于在平行拍摄模式下确定用于构建3D数据项的可弯曲设备的至少一个成像传感器的位置的方法；
图5B示出了根据本文公开的实施例的用于在会聚拍摄模式下确定用于构建3D数据项的可弯曲设备的至少一个成像传感器的位置的方法；
图6A和图6B是示出了根据本文公开的实施例的使用可弯曲设备的弯曲角度为用户构建3D数据项的示例；
图7A和图7B是示出了根据本文公开的实施例的通过基于不同用户的瞳孔间距(IPD)选择拍摄模式，来使用可弯曲设备的弯曲角度构建3D数据项的示例；
图8A是示出了根据本文公开的实施例的可弯曲设备的至少一个成像传感器基于用户的个性化IPD和多个用户的一般性IPD的不同程度的弹出的示例；
图8B是示出了根据本文公开的实施例的基于用户的个性化IPD和多个用户的一般性IPD来选择可弯曲设备的至少两个成像传感器的示例；
图8C示出了根据本文公开的实施例的基于来自可弯曲设备的至少两个成像传感器的多个帧来构建3D数据项的视频；
图9是示出了根据本文公开的实施例的同时基于个性化IPD和一般性IPD来构建3D数据项的示例；
图10示出了根据本文公开的实施例的当用户将可弯曲设备弯曲到特定角度时可弯曲设备自动在3D模式下录制场景的示例场景；
图11A和图11B示出了根据本文公开的实施例的可弯曲设备基于在3D模式下捕捉的图像来构建用户的自拍图像的示例；
图12A示出了根据本文公开的实施例的向可弯曲设备提供增强的安全性的基于深度学习网络的模型；
图12B是示出了根据本文公开的实施例的可弯曲设备中基于深度学习的增强安全特征的示例；以及
图13示出了显示3D数据项的现有方法。
具体实施方式
以下讨论的图1A至图13以及在本专利文件中用来描述本公开的原理的各种实施例仅是为了示例，而不应当以任何方式被解释为限制本公开的范围。本领域技术人员将了解的是，本公开的原理可以在任何适当布置的系统或设备上实现。
现在将参考附图详细地描述本公开的各种实施例。在以下描述中，仅提供特定细节(例如，详细配置和组件)来帮助全面理解本公开的这些实施例。因此，本领域技术人员应当清楚的是，可以在不背离本公开的范围和精神的情况下对本文所描述的实施例进行各种改变和修改。此外，为了清楚和简明的目的，省略了对公知功能和结构的描述。此外，本文描述的各种实施例不必互相排斥，因为一些实施例可以与一个或多个其他实施例结合以形成新的实施例。在本文中，除非另有说明，否则本文所用的术语“或”是指非排他性的。本文中使用的示例仅旨在便于理解可以实现实施例的方式并使本领域技术人员能够实践本文中的实施例。因此，示例不应被理解为限制本文中的实施例的范围。
如在本领域中常见的，可以围绕执行期望功能的块来描述和示出实施例。在本文中可以称为单元、引擎、管理器、模块等的这些块通过诸如逻辑门、集成电路、微处理器、微控制器、存储器电路、无源电子组件、有源电子组件、光学组件、硬连线电路等的模拟和/或数字电路物理地实现，并且可以可选地由固件和/或软件驱动。例如，电路可以具体实现在一个或多个半导体芯片中，或者在诸如印刷电路板等的衬底支撑件上。构成块的电路可以由专用硬件或由处理器(例如，一个或多个编程的微处理器和相关联的电路)来实现，或者由用于执行该块的一些功能的专用硬件和用于执行该块的其他功能的处理器的组合来实现。在不脱离本公开的范围的情况下，实施例的每个块可以物理地分成两个或更多个交互和分立的块。类似地，在不脱离本公开的范围的情况下，实施例的块可以物理地组合成更复杂的块。
本文的实施例相应地提供了一种用于在可弯曲设备(100)中构建三维(3D)数据项的方法。该方法包括由可弯曲设备(100)基于与眼睛相关联的生物特征来确定可弯曲设备(100)的至少两个成像传感器之间的轴间距离。此外，该方法包括由可弯曲设备(100)基于轴间距离来确定可弯曲设备(100)的弯曲角度。此外，该方法包括由可弯曲设备(100)使用可弯曲设备(100)的弯曲角度来构建3D数据项。
在实施例中，由可弯曲设备(100)使用可弯曲设备(100)的弯曲角度来构建3D数据项的方法包括检测由用户执行以达到所确定的弯曲角度的弯曲动作。该方法还包括通过将至少两个成像传感器的视野内的场景与距至少两个成像传感器的距离相关来执行3D频谱图分析。此外，该方法包括基于3D频谱图分析来确定拍摄模式并选择用于使用弯曲角度来构建3D数据项的至少两个成像传感器。此外，该方法还包括将至少一个成像传感器配置成所确定的拍摄模式，并使用可弯曲设备(100)的弯曲角度来构建3D数据项。
在实施例中，该方法还包括由可弯曲设备(100)确定至少一个成像传感器的位置并由可弯曲设备(100)将至少一个成像传感器配置在所确定的位置。此外，该方法还包括由可弯曲设备(100)使用可弯曲设备(100)的弯曲角度来构建3D数据项。
在实施例中，拍摄模式是平行拍摄和会聚拍摄中的至少一种。
在实施例中，由可弯曲设备(100)确定至少一个成像传感器的位置的方法包括：执行至少一个成像传感器的旋转、至少一个成像传感器从可弯曲设备(100)的弹出、至少一个成像传感器的倾斜中的至少一种。
在实施例中，由可弯曲设备(100)选择用于使用弯曲角度来构建3D数据项的至少两个成像传感器的方法包括：确定与用户的眼睛相关联的个性化生物特征，其中与眼睛相关联的个性化生物特征对于用户是特定的；基于与用户的眼睛相关联的个性化生物特征以及与眼睛相关联的一般性生物特征来识别要用于构建3D数据项的至少两个成像传感器，其中与眼睛相关联一般性生物特征是与多个用户的眼睛相关联的生物特征的平均值。此外，该方法还包括选择用于使用弯曲角度来构建3D数据项的至少两个成像传感器。
在实施例中，与眼睛相关联的生物特征对于可弯曲设备(100)的用户具有唯一性，并且其中，与眼睛相关联的生物特征使用可弯曲设备(100)的至少一个成像传感器来确定。
在实施例中，可弯曲设备(100)包括至少两个可折叠显示器、沿该至少两个可折叠显示器的轴的机械铰链，其中该机械铰链能够围绕该轴折叠该至少两个可折叠显示器。
在实施例中，可弯曲设备(100)是可卷曲和可折叠的柔性显示器。
在实施例中，该方法还包括由可弯曲设备(100)确定可弯曲设备(100)的至少两个成像传感器之间的轴间距离等于与眼睛相关联的生物特征；以及由可弯曲设备(100)使用可弯曲设备(100)的弯曲角度来自动构建至少两个成像传感器的视野内的场景的3D数据项。
在实施例中，眼睛的生物特征是瞳孔间距(IPD)、虹膜间距(IID)、视网膜间距(IRD)之一。
与传统方法和系统不同，在所提出的方法中，具有个性化3D内容的真实3D视图由可弯曲设备(100)构建。
与传统方法和系统不同，在所提出的方法中，可以通过弯曲角度和3D频谱分析来预测场景的实际深度。
与传统方法和系统不同，在所提出的方法中，当用户对可弯曲设备(100)进行弯曲并且IAD变得等于与用户眼睛相关联的生物特征时，可弯曲设备(100)自动在3D模式下录制场景。
现在参考附图，并且更具体地参考图1A至图13示出了实施例，其中贯穿附图类似附图标记一致地表示相应特征。
图1A是根据本文公开的实施例的使用可弯曲设备(100)的弯曲角度来构建三维(3D)数据项的可弯曲设备(100)的框图。
参考图1A，可弯曲设备(100)可以是例如移动电话、智能电话、个人数字助理(PDA)、平板电脑、可穿戴设备等。在实施例中，可弯曲设备(100)包括至少两个成像传感器(120)、处理器(140)、存储器(160)和可弯曲显示器(180)。
在实施例中，至少两个成像传感器(120)被配置为预览至少两个成像传感器(120)的视野内的场景。此外，至少两个成像传感器(120)被配置为确定与眼睛相关联的生物特征。与眼睛相关联的生物特征对于特定用户具有唯一性。与眼睛相关联的生物特征是瞳孔间距(IPD)、虹膜间距(IID)、视网膜间距(IRD)之一。
在实施例中，处理器(140)被配置为基于与眼睛相关联的生物特征来确定可弯曲设备(100)的至少两个成像传感器(120)之间的轴间距离。处理器(140)还被配置为基于轴间距离以及可弯曲设备(100)的跨越可弯曲设备(100)的轴的长度来确定可弯曲设备(100)的弯曲角度，并使用可弯曲设备(100)的弯曲角度来构建3D数据项。
在实施例中，存储器(160)可以包括非易失性存储元件。这种非易失性存储元件的示例可以包括磁性硬盘、光盘、软盘、闪存、或电可编程存储器(EPROM)或电可擦除可编程(EEPROM)存储器的形式。另外，在一些示例中，存储器(160)可以被认为是非暂时性存储介质。术语“非暂时性”可以表示存储介质没有通过载波或传播信号来实现。然而，术语“非暂时性”不应被解释为存储器(160)是不可移动的。在一些示例中，存储器(160)被配置为存储比存储器(160)更大量的信息。在某些示例中，非暂时性存储介质可以存储随时间变化的数据(例如，在随机存取存储器(RAM)或高速缓存中存储)。
在实施例中，可弯曲显示器(180)被配置为显示至少两个成像传感器(120)的视野内的场景。此外，可弯曲显示器(180)被配置为在所确定的拍摄模式下显示由处理器(140)构建的3D数据项。此外，3D数据项可以显示在可弯曲显示器(180)的整个显示区域上或显示在可弯曲显示器(180)的一部分中。
尽管图1A示出了可弯曲设备(100)的硬件元件，但应当理解，其他实施例不限于此。在其他实施例中，可弯曲设备(100)可以包括更少或更多的元件。此外，元件的标签或名称仅用于说明性目的，并且不限制本发明的范围。一个或多个组件可以组合在一起以执行相同或基本相似的功能。
图1B示出了根据本文公开的实施例的用于构建三维(3D)数据项的处理器(140)的各种组件的框图。
参考图1B，处理器(140)包括IAD确定引擎(142)、弯曲角度管理引擎(144)、3D频谱图分析仪(146)、拍摄模式确定引擎(148)、成像传感器管理引擎(150)、3D数据项构建引擎(152)、生物特征数据库(154)和3D数据项数据库(156)。
在实施例中，IAD确定引擎(142)被配置为基于与眼睛相关联的生物特征来确定可弯曲设备(100)的至少两个成像传感器(120)之间的轴间距离(IAD)。此外，IAD确定引擎(142)能够测量多个用户的IAD。IAD确定引擎(142)还被配置为基于生物特征数据库(154)中存储的与多个用户的眼睛相关联的个性化生物特征来确定与眼睛相关联的一般性生物特征。
在实施例中，弯曲角度管理引擎(144)被配置为检测由用户执行以达到所确定的弯曲角度的弯曲动作。此外，弯曲角度管理引擎(144)被配置为接收由IAD确定引擎(142)确定的IAD，并且还确定可弯曲设备(100)的跨越可弯曲设备(100)的轴的长度(即，l)、可弯曲设备(100)的至少两个成像传感器(120)之间的180°距离。此外，弯曲角度管理引擎(144)被配置为基于IAD和l来计算弯曲角度θ：
【数学式1】
弯曲角度
弯曲角度管理引擎(144)还被配置为在可弯曲设备(100)的至少两个成像传感器(120)之间的IAD等于与眼睛相关联的生物特征时，检测由用户执行的弯曲动作。
在实施例中，3D频谱图分析器(146)被配置为通过将至少两个成像传感器(120)的视野内的场景与从该至少两个成像传感器(120)到场景内的对象的距离相关来执行3D频谱图分析。
在实施例中，拍摄模式确定引擎(148)被配置为接收来自3D频谱图分析器(146)的输入并基于3D频谱图分析来确定拍摄模式。拍摄模式是平行拍摄和会聚拍摄中的至少一种。
在实施例中，成像传感器管理引擎(150)被配置为基于所选择的拍摄模式来选择用于使用弯曲角度来构建3D数据项的至少两个成像传感器。此外，成像传感器管理引擎(150)还将至少一个成像传感器配置成所确定的拍摄模式(120)。
在另一实施例中，成像传感器管理引擎(150)被配置为确定至少一个成像传感器(120)的位置并将至少一个成像传感器(120)配置在所确定的位置。通过执行至少一个成像传感器(120)的旋转、至少一个成像传感器(120)从可弯曲设备(100)的弹出、至少一个成像传感器(120)的倾斜中的至少一种来将至少一个成像传感器(120)配置在确定位置。
在实施例中，3D数据项构建引擎(152)被配置为使用可弯曲设备的弯曲角度来构建至少一个成像传感器(120)的视野内的场景内的对象的3D数据项(100)。
在另一实施例中，3D数据项构建引擎(152)被配置为：当弯曲角度管理引擎(144)检测到可弯曲设备(100)的至少两个成像传感器(120)之间的IAD等于与眼睛相关联的生物特征时，使用弯曲角度自动构建至少两个成像传感器(120)的视野内的场景的3D数据项。
在实施例中，生物特征数据库(154)被配置为存储与多个用户的眼睛相关联的个性化生物特征，该个性化生物特征用于确定与眼睛相关联的一般性生物特征。与眼睛相关联的一般性生物特征是与多个用户的眼睛相关联的生物特征的平均值。
在实施例中，3D数据项数据库(156)被配置为存储由3D数据项构建引擎(152)构建的3D数据项。
图2A和图2B是示出了根据本文公开的实施例的用于在可弯曲设备(100)中构建3D数据项的方法的流程图200。
参考图2A，在步骤202，可弯曲设备(100)基于与眼睛相关联的生物特征来确定可弯曲设备(100)的至少两个成像传感器(120)之间的轴间距离。例如，在如图1A所示的可弯曲设备(100)中，处理器(140)可以被配置为基于与眼睛相关联的生物特征来确定可弯曲设备(100)的至少两个成像传感器(120)之间的轴间距离。
在步骤204，可弯曲设备(100)基于轴间距离以及可弯曲设备(100)的跨越可弯曲设备(100)的轴的长度来确定弯曲角度。例如，在如图1A所示的可弯曲设备(100)中，处理器(140)可以被配置为基于轴间距离以及可弯曲设备(100)的跨越可弯曲设备(100)的轴的长度来确定弯曲角度。
在步骤206，可弯曲设备(100)检测由用户执行以达到所确定的弯曲角度的弯曲动作。例如，在图1A所示的可弯曲设备(100)中，处理器(140)可以被配置为检测由用户执行以达到所确定的弯曲角度的弯曲动作。
在步骤208，可弯曲设备(100)通过将至少两个成像传感器(120)的视野内的场景与距至少两个成像传感器(120)的距离相关来执行3D频谱图分析。例如，在如图1A所示的可弯曲设备(100)中，处理器(140)可以被配置为通过将至少两个成像传感器(120)的视野内的场景与距该至少两个成像传感器(120)的距离相关来执行3D频谱图分析。
在步骤210，可弯曲设备(100)基于3D频谱图分析来确定拍摄模式。例如，在图1A所示的可弯曲设备(100)中，处理器(140)可以被配置为基于3D频谱图分析来确定拍摄模式。
在步骤212，可弯曲设备(100)选择用于使用弯曲角度来构建3D数据项的至少两个成像传感器(120)。例如，在图1A所示的可弯曲设备(100)中，处理器(140)可以被配置为选择用于使用弯曲角度构建3D数据项的至少两个成像传感器(120)。
在步骤214，可弯曲设备(100)将至少一个成像传感器(120)配置成所确定的拍摄模式。例如，在图1A所示的可弯曲设备(100)中，处理器(140)可以被配置为在所确定的拍摄模式下配置至少一个成像传感器(120)。
参考图2B，在步骤216，可弯曲设备(100)使用弯曲角度来构建3D数据项。例如，在如图1A所示的可弯曲设备(100)中，处理器(140)可以被配置为使用弯曲角度来构建3D数据项。
在步骤218，可弯曲设备(100)确定至少一个成像传感器(120)的位置。例如，在如图1A所示的可弯曲设备(100)中，处理器(140)可以被配置为确定至少一个成像传感器(120)的位置。
在步骤220，可弯曲设备(100)将至少一个成像传感器(120)配置在所确定的位置。例如，在如图1A所示的可弯曲设备(100)中，处理器(140)可以被配置为将至少一个成像传感器(120)布置在所确定的位置。
在步骤222，可弯曲设备(100)循环到步骤216。
在步骤224，可弯曲设备(100)确定可弯曲设备(100)的至少两个成像传感器(120)之间的轴间距离等于与眼睛相关联的生物特征。例如，在如图1A所示的可弯曲设备(100)中，处理器(140)可以被配置为确定可弯曲设备(100)的至少两个成像传感器(120)之间的轴间距离等于与眼睛相关联的生物特征。
在步骤226，可弯曲设备(100)使用弯曲角度来自动构建至少两个成像传感器(120)的视野内的场景的3D数据项。例如，在如图1A所示的可弯曲设备(100)中，处理器(140)可以被配置为使用可弯曲设备(100)的弯曲角度来自动构建至少两个成像传感器(120)的视野内的场景的3D数据项。
可以按照所呈现的顺序、按照不同顺序或同时执行方法中的各种动作、行为、块、步骤等。此外，在一些实施例中，在不脱离本发明的范围的情况下，一些动作、行为、块、步骤等可以被省略、添加、修改、跳过等。
图3A和图3B是示出了根据本文公开的实施例的用于构建3D数据项的各种类型的可弯曲设备(100)的示例。
如图3A的302a至306a所示，考虑可弯曲设备(100)包括至少两个可折叠显示器、以及沿该至少两个可折叠显示器的轴的机械铰链，其中机械铰链能够围绕轴而折叠至少两个可折叠显示器。
在302a，可弯曲设备(100)处于折叠状态，其中至少两个可折叠显示器围绕轴被折叠。在302a，可弯曲设备(100)在至少两个可折叠显示器之间形成180°的角度。在306a，可弯曲设备(100)以一定角度(被称为弯曲角度)被弯曲。
在308a，可弯曲设备(100)包括至少一个当图像需要被捕捉时能够从可弯曲设备(100)的结构中弹出的成像传感器(120)。在310a，可弯曲设备(100)包括至少一个嵌入在可弯曲设备(100)的主体上并用于捕捉图像的成像传感器(120)。
在另一示例中，如图3B所示，可弯曲设备(100)可以是可卷曲和可折叠的柔性显示器。在302b，可弯曲设备(100)的柔性显示器被完全卷成圆柱形状。在步骤304b，可弯曲设备(100)在柔性显示器部分被打开成平坦的，而在末端被卷起。
图4A和图4B示出了根据本文公开的实施例的用于构建3D数据项的可弯曲设备(100)的至少一个成像传感器(120)的旋转。
参考图4A，在①处，考虑具有通过铰链连接的两个柔性显示器的可弯曲设备(100)。第一成像传感器(120a)设置在可弯曲设备(100)的第一柔性显示器上，并且由三个成像传感器(120b至120d)构成的组设置在可弯曲设备(100)的第二柔性显示器上。
在实施例中，当可弯曲设备(100)确定要用于构建3D数据项的拍摄模式时，可弯曲设备(100)还确定第一成像传感器(120a)的位置。在②处，确定第一成像传感器(120a)的位置以使可弯曲设备(100)能够在所确定的拍摄模式下捕捉场景并构建场景的3D数据项。
结合图4A来参考图4B，在可弯曲设备(100)中，至少一个成像传感器(120a)设置在与可弯曲设备(100)附接的可移动托盘中。此外，基于由可弯曲设备(100)确定的拍摄模式，旋转移动托盘中的至少一个成像传感器(120a)以构建3D数据项。
至少一个成像传感器(120a)连同锁定模块以可旋转模式安装在可弯曲设备(100)的容纳空间中。可旋转模式使至少一成像传感器(120a)能够在脱离锁定模块之后自动翻转。因此，如图4A和图4B所示，至少一个成像传感器(120a)是多功能的，并且可以旋转到任何角度以捕捉场景。在所提出的方法中，可旋转的至少一个成像传感器(120a)在捕捉场景的同时提供增强的深度。
图5A示出了根据本文公开的实施例的用于在平行拍摄模式下确定用于构建3D数据项的可弯曲设备(100)的至少一个成像传感器(120)的位置的方法。
参考图5A，在①处，考虑可弯曲设备(100)具有不可旋转且在可弯曲设备(100)上具有固定位置的第一成像传感器(120a)和第二成像传感器(120b)。如图5A所示，第一成像传感器(120a)的视野和第二成像传感器(120b)的视野重叠。在平行拍摄模式下，仅捕捉落入第一成像传感器(120a)的视野与第二成像传感器(120b)的视野的重叠区域内的一部分场景的3D视图。平行拍摄模式用于捕捉远处对象的3D视图。
然而，在所提出的方法中，在平行拍摄模式下，可弯曲设备(100)确定捕捉场景的3d视图所需的第一成像传感器(120a)和第二成像传感器(120b)的位置。基于弯曲角度来确定第一成像传感器(120a)的旋转角度和第二成像传感器(120b)的旋转角度。
【数学式2】
【数学式3】
其中，θ是弯曲角度。
此外，可弯曲设备(100)建议用户执行弯曲动作以达到将第一成像传感器(120a)和第二成像传感器(120b)配置在所确定的位置所需的弯曲角度。因此，如②所示，第一成像传感器(120a)的视野和第二成像传感器(120b)的视野在平行拍摄模式下捕捉场景的3D视图。
图5B示出了根据本文公开的实施例的用于在会聚拍摄模式下确定用于构建3D数据项的可弯曲设备(100)的至少一个成像传感器(120)的位置的方法。
参考图5B，在①处，考虑可弯曲设备(100)具有不可旋转且在可弯曲设备(100)上具有固定位置的第一成像传感器(120a)和第二成像传感器(120b)。如图5B所示，第一成像传感器(120a)的视野与第二成像传感器(120b)的视野完全重叠。
因此，在会聚拍摄模式下，仅捕捉落入第一成像传感器(120a)的视野与第二成像传感器(120b)的视野的重叠区域内的一部分场景的3D视图。会聚拍摄模式用于捕捉附近对象的3D视图。
然而，在所提出的方法中，在会聚拍摄模式下，可弯曲设备(100)确定捕捉场景的3D视图所需的第一成像传感器(120a)和第二成像传感器(120b)的位置。基于弯曲角度来确定第一成像传感器(120a)的旋转角度和第二成像传感器(120b)的旋转角度。
【数学式4】
【数学式5】
此外，可弯曲设备(100)建议用户执行弯曲动作以达到将第一成像传感器(120a)和第二成像传感器(120b)配置在所确定的位置所需的弯曲角度。因此，如②所示，第一成像传感器(120a)的视野和第二成像传感器(120b)的视野在会聚拍摄模式下捕捉场景的3D视图。
图6A和图6B是示出了根据本文公开的实施例的使用可弯曲设备(100)的弯曲角度为用户构建3D数据项的示例。
参考图6A，在步骤602，可弯曲设备(100)确定用户的瞳孔间距(IPD)为60mm。此外，可弯曲设备(100)基于可弯曲设备(100)的用户的IPD确定可弯曲设备(100)的至少两个成像传感器(120a、120b)之间的轴间距离(IAD)。在步骤604，可弯曲设备(100)基于IAD和可弯曲设备(100)的跨越可弯曲设备(100)的轴的长度(l/2)来确定弯曲角度为37°。
在步骤606，可弯曲设备(100)在可弯曲设备(100)的屏幕上显示消息以提示用户将可弯曲设备100弯曲到所确定的37°的弯曲角度。
在步骤608，可弯曲设备(100)确定由用户执行的弯曲到37°的弯曲角度的弯曲动作。在步骤610，可弯曲设备(100)通过将至少两个成像传感器(120a、120b)的视野内的场景与从该至少两个成像传感器(120a、120b)到对象的距离相关来执行3D频谱图分析。此外，可弯曲设备(100)基于3D频谱图分析将拍摄模式确定为会聚模式。在步骤612，可弯曲设备(100)选择第一成像传感器(120a)和第二成像传感器(120b)；以及使用弯曲角度来确定用于构建3D数据项的第一成像传感器(120a)和第二成像传感器(120b)的位置。
在步骤614，可弯曲设备(100)将第一成像传感器(120a)和第二成像传感器(120b)配置为会聚拍摄模式并且将其配置在所确定的位置。如图6B所示，将第二成像传感器(120b)配置在所确定的位置包括旋转第二成像传感器(120b)。
此外，在步骤616，可弯曲设备(100)使用可弯曲设备(100)的弯曲角度来构建3D数据项，并且在步骤618显示该3D数据项。
图7A是示出了根据本文公开的实施例的通过基于不同用户的IPD选择拍摄模式，来使用可弯曲设备(100)的弯曲角度构建3D数据项的示例。
考虑第一用户使用可弯曲设备(100)基于第一用户的IPD来构建3D数据项。此外，考虑第二用户使用可弯曲设备(100)基于第二用户的IPD来构建3D数据项。
参考图7A，在步骤702a，可弯曲设备(100)确定第一用户的IPD为60mm。在步骤702b，可弯曲设备(100)确定第二用户的IPD为65mm。此外，可弯曲设备(100)基于可弯曲设备(100)的各个用户的IPD来确定IAD。在步骤704a，可弯曲设备(100)基于第一用户的IAD来确定第一用户的弯曲角度为35°。类似地，在步骤704b，可弯曲设备(100)基于第二用户的IAD来确定第二用户的弯曲角度为37°。
在步骤706a，可弯曲设备(100)在可弯曲设备(100)的屏幕上显示消息以提示第一用户将可弯曲设备100弯曲到所确定的35°的弯曲角度。在步骤706b，可弯曲设备(100)提示第二用户将可弯曲设备100弯曲到所确定的37°的弯曲角度。
在步骤708a和步骤708b，可弯曲设备(100)分别确定由第一用户执行的弯曲到35°弯曲角度的弯曲动作和由第二用户执行的弯曲到37°弯曲角度的弯曲动作。
参考图7B，在步骤710a和步骤710b，可弯曲设备(100)基于3D频谱图分析分别确定要用于构建场景的3D视图的拍摄模式，对于第一用户是会聚模式而对于第二用户是平行模式。在步骤712a，可弯曲设备(100)选择第一成像传感器(120a)和第二成像传感器(120b)，并确定用于使用第一用户的弯曲角度来构建3D数据项的第一成像传感器(120a)和第二成像传感器(120b)的位置。此外，如图7B所示，可弯曲设备(100)将第一成像传感器(120a)和第二成像传感器(120b)配置成会聚拍摄模式，并基于第一用户的弯曲角度来确定位置。
类似地，在步骤712b，可弯曲设备(100)选择第一成像传感器(120a)和第二成像传感器(120b)，并确定用于使用第二用户的弯曲角度来构建3D数据项的第一成像传感器(120a)和第二成像传感器(120b)的位置。此外，如图7A所示，可弯曲设备(100)将第一成像传感器(120a)和第二成像传感器(120b)配置成平行拍摄模式，并基于第二用户的弯曲角度来确定位置。
此外，在步骤716a，可弯曲设备(100)使用第一用户的弯曲角度来构建3D数据项，并且在步骤716b，可弯曲设备(100)使用第二用户的弯曲角度来构建3D数据项。
因此，在传统方法和系统中，对于使用可弯曲设备(100)的多个用户，可弯曲设备(100)不使用默认拍摄模式。与传统方法和系统不同，在所提出的方法中，可弯曲设备(100)基于个人用户的IPD确定构建3D数据项的最佳拍摄模式。
图8A是示出了根据本文公开的实施例的可弯曲设备(100)的至少一个成像传感器(120)基于用户的个性化IPD和多个用户的一般性IPD的不同程度的弹出的示例。
参考图8A，考虑用户的个性化IPD小于一般性IPD。考虑到可弯曲设备(100)具有四个成像传感器(120a至120d)，其中第二成像传感器(120b)、第三成像传感器(120c)和第四成像传感器(120d)是能够弹出的成像传感器。此外，第一成像传感器(120a)是可弯曲设备(100)的第一显示器上的固定成像传感器。第四成像传感器(120d)离第一成像传感器(120a)最近，而第二成像传感器(120b)离第一成像传感器(120a)最远。
在802a，可弯曲设备(100)使用至少一个成像传感器(120a)确定用户的个性化IPD。此外，基于用户的个性化IPD，可弯曲设备(100)弹出第二成像传感器(120b)。
在804a，可弯曲设备(100)使用至少一个成像传感器(120)来确定用户的个性化IPD，并将用户的个性化IPD与可弯曲设备(100)中存储的多个用户的一般性IPD进行比较。可弯曲设备(100)确定个性化IPD与一般性IPD之间的差异是可以忽略的。此外，可弯曲设备(100)弹出第二成像传感器(120b)和第三成像传感器(120c)以使用个性化IPD和一般性IPD来捕捉3D数据项。由于个性化IPD小于一般性IPD，因此可弯曲设备(100)使用第一成像传感器(120a)和第二成像传感器(120b)以使用一般性IPD来构建3D数据项。此外，可弯曲设备(100)使用第一成像传感器(120a)和第三成像传感器(120c)以使用个性化IPD来构建3D数据项。
类似地，在806a，可弯曲设备(100)确定个性化IPD与一般性IPD之间的差异非常大。此外，可弯曲设备(100)弹出第二成像传感器(120b)、第三成像传感器(120c)和第四成像传感器(120d)以使用个性化IPD和一般性IPD来捕捉3D数据项。由于个性化IPD小于一般性IPD，因此可弯曲设备(100)使用第一成像传感器(120a)和第二成像传感器(120b)以使用一般性IPD来构建3D数据项。此外，可弯曲设备(100)使用第一成像传感器(120a)和第四成像传感器(120d)以使用个性化IPD来构建3D数据项。
图8B是示出了根据所公开的实施例的基于用户的个性化IPD和多个用户的一般性IPD来选择可弯曲设备(100)的至少两个成像传感器(120)的示例。
结合图8A参考图8B，考虑情况1，其中用户的个性化IPD较大，并且用户的个性化IPD大于一般性IPD。选择最远的成像传感器(即，第一成像传感器(120a)和第四成像传感器(120d))以使用个性化IPD构建场景的3D视图。选择彼此更接近的成像传感器(即，第一成像传感器(120a)和第三成像传感器(120c))以使用一般性IPD构建场景的3D视图。
在情况2中，用户的个性化IPD等于一般性IPD。选择最远的成像传感器(即，第一成像传感器(120a)和第四成像传感器(120d))以使用个性化IPD和一般性IPD来构建场景的3D视图。此外，最远的成像传感器可以提供最大范围。
在情况3、情况1中，用户的个性化IPD较小，并且一般性IPD大于用户的个性化IPD。选择最远的成像传感器(即，第一成像传感器(120a)和第三成像传感器(120c))以使用一般性IPD来构建场景的3D视图。选择彼此更接近的成像传感器(即，第一成像传感器(120a)和第二成像传感器(120b))以使用个性化IPD来构建场景的3D视图。
图8C示出了根据本文公开的实施例的基于来自可弯曲设备(100)的至少两个成像传感器(120)的多个帧来构建3D数据项的视频。
参考图8C，可弯曲设备(100)可以同时捕捉具有个性化IPD和一般性IPD的3D数据项的视频，并以MPEG格式存储在可弯曲设备(100)中。
此外，使用至少一个成像传感器(120)的两个独立的成像传感器来捕捉关于用户的每只眼睛的帧，然后将其打包在单个文件中作为立体3D录制。由于MPEG格式支持以并排视频格式保存立体3D视频，因此使用MPEG格式来存储两个视频。
例如，将具有个性化IPD的第一用户视为IPD1。将来自第一成像传感器(120a)的与第一用户的第一眼相对应的视频帧和来自第二成像传感器(120b)的与第一用户的第二眼相对应的视频帧存储为立体3D视频，其被称为文件1。类似地，文件2对应于第二用户的使用第一成像传感器(120a)和第三成像传感器(120c)捕捉的立体3D视频。此外，如图8C所示，文件3对应于第三用户的使用第一成像传感器(120a)和第四成像传感器(120d)捕捉的立体3D视频。
此外，每次使用各个用户的个性化IPD录制立体3D视频时，可弯曲设备(100)还同时使用一般性IPD录制立体3D视频。一般性IPD是个体用户的个性化IPD的平均值，即，一般性IPD＝Avg(第一用户的个性化IPD+第二用户的个性化IPD+第三用户的个性化IPD)。
图9是示出了根据本文公开的实施例的同时基于个性化IPD和一般性IPD来构建3D数据项的示例。
参考图9，在步骤902，可弯曲设备(100)确定用户的个性化IPD为60mm。在步骤904，可弯曲设备(100)基于个性化IPD确定弯曲角度。此外，可弯曲设备(100)还将个性化IPD与一般性IPD(即，65mm)进行比较，并确定个性化IPD小于一般性IPD。
在步骤906，可弯曲设备(100)在可弯曲设备(100)的屏幕上显示消息，提示用户执行弯曲动作以达到37°的弯曲角度。在步骤908，用户将可弯曲设备(100)弯曲到弯曲角度。在步骤910，可弯曲设备(100)基于3D频谱图分析将拍摄模式确定为会聚拍摄模式。此外，可弯曲设备(100)确定至少一个成像传感器(120)的位置，并将至少两个成像传感器(120)配置在所确定的位置。
在步骤912a，可弯曲设备(100)包括固定的至少两个成像传感器(120)。可弯曲设备(100)通过旋转第二成像传感器(120b)来配置至少两个成像传感器(120)。此外，可弯曲设备(100)使用第一成像传感器(120a)和第二成像传感器(120b)、基于个性化IPD来构建3D数据项。可弯曲设备(100)还同时使用第一成像传感器(120a)和第四成像传感器(120d)、基于一般性IPD来构建3D数据项。
在另一示例中，考虑可弯曲设备(100)包括至少两个可以弹出的成像传感器(120)。在步骤912b，可弯曲设备(100)通过弹出第二成像传感器(120b)、第三成像传感器(120c)和第四成像传感器(120d)来配置至少两个成像传感器(120)。此外，可弯曲设备(100)使用第一成像传感器(120a)和第二成像传感器(120b)、基于个性化IPD来构建3D数据项。可弯曲设备(100)还同时使用第一成像传感器(120a)和第四成像传感器(120d)、基于一般性IPD来构建3D数据项。
在步骤914，可弯曲设备(100)同时基于用户的一般性IPD和个性化IPD来构建3D数据项。此外，在图9中清晰地示出了基于用户的一般性IPD和个性化IPD构建的3D数据项的区别。因此，所提出的方法为特定用户提供了3D数据项的个性化构建以及3D数据项的可以被不同用户共享/查看的一般性构建。
图10示出了根据本文公开的实施例的示例场景，其中当用户将可弯曲设备(100)弯曲到特定角度时，可弯曲设备(100)自动在3D模式下录制场景。
参考图10，在步骤1002，考虑可弯曲设备(100)的用户正在在折叠模式(即，可弯曲设备(100)的第一柔性显示器和第二柔性显示器彼此折叠)下录制视频。此外，在步骤1004，用户在完全展开模式(即，可弯曲设备(100)的第一柔性显示器和第二柔性显示器展开并彼此成180°)下录制视频。然而，完全展开模式默认为非3D录制，并且视频在非3D录制模式下录制。
在步骤1006，用户对可弯曲设备(100)进行弯曲。在特定时刻，可弯曲设备(100)的IAD变得等于可弯曲设备(100)的用户的IPD。如步骤1008所示，当可弯曲设备(100)的IAD等于用户的IPD时，可弯曲设备(100)自动在3D模式下录制场景。然而，在用户不想在3D模式下录制视频的情况下，可弯曲设备(100)的用户可以手动切换到非3D录制。
因此，可弯曲设备(100)不断地将可弯曲设备(100)的IAD与用户的IPD进行比较，并且当可弯曲设备(100)的IAD等于用户的IPD时，自动切换到在3D模式下录制场景。
图11A和图11B示出了根据本文公开的实施例的可弯曲设备(100)基于在3D模式下捕捉的图像来构建用户的自拍图像的示例。
如果在3D模式下拍摄自拍图像，则可以获得用户的更好的自拍图像。在3D模式下拍摄的图像提供了用于构建用户的图像的更多点。因此，可弯曲设备(100)将通过去除在3D模式下识别出的用户面部的异常来捕捉自拍图像。参考图11A，最初可弯曲设备(100)在3D模式下捕捉用户的图像。分析在3D模式下捕捉的图像，并由可弯曲设备(100)预定义并记录眼袋的所有异常、斑点和深度。此外，如图11B所示，在用户实时捕捉自拍的同时，提供了更好的自拍。
与单个图像相比，简化的3D(S3D)视图以及可变的轴间距离和会聚向可弯曲设备(100)提供了更多的关于用户(即，其图像要被捕捉的用户)的信息。
图12A示出了根据本文公开的实施例的向可弯曲设备(100)提供增强的安全性的基于深度学习网络的模型。
参考图12A，可弯曲设备(100)包括4层深度学习网络，并且该4层深度学习网络经过训练以获得更好的安全性。由于深度增加导致3D图像中的多个面部点的可用性，因此用于可弯曲设备(100)的4层深度学习网络提供了增强的安全性。因此，所提出的可弯曲设备(100)提供了增强的安全面部解锁机制。在示例中，考虑input_shape＝(160)，它表示4层深度学习网络使用的面部点的数量。此外，在4层深度学习网络中使用分类器函数来预测输出。此外，可弯曲设备(100)使用软最大分类器来训练和再训练4层深度学习网络。
图12B是示出了根据本文公开的实施例的可弯曲设备(100)中基于深度学习的增强安全特征的示例。
参考图12B，在1202，示出了用于面部识别以解锁可弯曲设备(100)的现有二维(2D)面部图像。现有2D技术从用户的面部捕捉约23个点来构建用户的信息以解锁手机。
在1204，示出了所提出的使用3D图像进行面部识别的深度学习技术。所提出的深度学习技术从用户面部捕捉超过4000个点，以构建关于用户的信息来解锁手机。此外，所提出的深度学习技术使可弯曲设备(100)能够使用来自可变IAD的两个图像来匹配3D模型。可变IAD的使用将确保任何时候都没有两个图像可以破解可弯曲设备(100)。
图13示出了根据现有技术的显示3D数据项的现有方法。
如①所示，创建3D数据项的传统方法包括自动立体复制技术，该技术包括不需要用户佩戴特殊头饰或3D眼镜来显示立体图像。
如②所示，在另一传统方法中，平板显示器使用双凸透镜或视差屏障将图像重定向到多个观看区域。视差屏障是放置在平板显示器前面的设备，无需观看者佩戴3D眼镜即可以提供立体图像或多视野图像。类似地，也可以在平板显示器的图像源使用双凸透镜以提供立体图像。
一般来说，偏振3D技术也在单个屏幕上显示图像，但在图像源和3D眼镜两者上使用偏振器，以为用户的每只眼睛创建两个不同的图像。偏振3D技术包括两种偏振方式，即，圆偏振和线偏振。传统3D设备包括圆偏振眼镜(例如，如③所示，立体眼镜)和线偏振眼镜。此外，在线偏振眼镜中，没有场景的动画。来自正被捕捉的场景的两束光穿过线偏振眼镜的一个专门镜头。
以上对具体实施例的描述充分揭示了本文中的实施例的一般性质，从而其他技术人员通过应用现有知识，能够在不背离总体构思的前提下，容易地对这些具体实施例进行修改和/或针对各种应用进行调整，因此这种调整和修改应该且意图被包括在所公开的实施例的等同物的意义和范围内。可以理解，本文使用的短语或术语用于描述目的而不是限制性的。因此，尽管已经根据优选实施例描述了本文的实施例，但是本领域技术人员将认识到，可以在如本文所述的实施例的精神和范围内通过修改来实践本文的实施例。
尽管已经使用各种实施例描述了本公开，但是本领域技术人员可以提出各种改变和修改。本公开意在包括落在所附权利要求范围内的这些改变和修改。

Claims (14)

1.一种用于在可弯曲设备中构建三维3D数据项的方法，所述方法包括：
由所述可弯曲设备基于与用户的眼睛相关联的生物特征来确定所述可弯曲设备的至少两个成像传感器之间的轴间距离；
由所述可弯曲设备基于所述轴间距离来确定所述可弯曲设备的弯曲角度；以及
由所述可弯曲设备使用所述可弯曲设备的弯曲角度来构建所述3D数据项，
其中，使用所述轴间距离以及所述可弯曲设备的跨越所述可弯曲设备的轴的长度来确定所述弯曲角度。
2.根据权利要求1所述的方法，其中，由所述可弯曲设备使用所述可弯曲设备的弯曲角度来构建所述3D数据项包括：
检测由所述用户执行以达到所确定的弯曲角度的弯曲动作；
通过将所述至少两个成像传感器的视野内的场景与距所述至少两个成像传感器的距离相关来执行3D频谱图分析；
基于所述3D频谱图分析来确定拍摄模式；
选择用于使用所述弯曲角度来构建所述3D数据项的所述至少两个成像传感器；
将所述至少两个成像传感器配置成所确定的拍摄模式；以及
使用所述可弯曲设备的弯曲角度来构建所述3D数据项。
3.根据权利要求2所述的方法，其中，所述拍摄方式是平行拍摄或会聚拍摄中的至少一种。
4.根据权利要求2所述的方法，还包括：
由所述可弯曲设备确定所述至少两个成像传感器的位置；
由所述可弯曲设备将所述至少两个成像传感器配置在所确定的位置中；以及
由所述可弯曲设备使用所述可弯曲设备的弯曲角度来构建所述3D数据项。
5.根据权利要求4所述的方法，其中，由所述可弯曲设备确定所述至少两个成像传感器的位置包括：
执行所述至少两个成像传感器的旋转、所述至少两个成像传感器从所述可弯曲设备的弹出、或所述至少两个成像传感器的倾斜中的至少一种。
6.根据权利要求5所述的方法，其中，由所述可弯曲设备选择用于使用所述弯曲角度来构建所述3D数据项的所述至少两个成像传感器包括：
确定与所述用户的眼睛相关联的个性化生物特征，其中，与眼睛相关联的个性化生物特征对于所述用户是特定的；
基于与所述用户的眼睛相关联的个性化生物特征以及所述可弯曲设备中与眼睛相关联的一般性生物特征来识别要用于构建所述3D数据项的所述至少两个成像传感器，其中与眼睛相关联的一般性生物特征是与多个用户的眼睛相关联的生物特征的平均值；以及
选择用于使用所述弯曲角度来构建所述3D数据项的所述至少两个成像传感器。
7.根据权利要求1所述的方法，其中与眼睛相关联的生物特征对于所述可弯曲设备的用户具有唯一性，
其中使用所述可弯曲设备的所述至少两个成像传感器来确定所述与眼睛相关联的生物特征。
8.根据权利要求1所述的方法，还包括：
由所述可弯曲设备确定所述可弯曲设备的所述至少两个成像传感器之间的轴间距离等于所述与眼睛相关联的生物特征；以及
由所述可弯曲设备使用所述可弯曲设备的弯曲角度来自动构建所述至少两个成像传感器的视野内的场景的3D数据项。
9.根据权利要求1所述的方法，其中，所述眼睛的生物特征是瞳孔间距(IPD)、虹膜间距(IID)或视网膜间距(IRD)之一。
10.一种存储指令的非暂时性计算机可读存储介质，当所述指令被电子设备的处理器执行时，使所述电子设备执行根据权利要求1至9中任一项所述的方法。
11.一种构建三维3D数据项的可弯曲设备，所述可弯曲设备包括：
存储器；
至少两个成像传感器；以及
处理器，耦接到所述存储器，所述处理器被配置为：
基于与用户的眼睛相关联的生物特征来确定所述可弯曲设备的所述至少两个成像传感器之间的轴间距离；
基于所述轴间距离来确定所述可弯曲设备的弯曲角度；以及
使用所述可弯曲设备的弯曲角度来构建所述3D数据项，
其中，使用所述轴间距离以及所述可弯曲设备的跨越所述可弯曲设备的轴的长度来确定所述弯曲角度。
12.根据权利要求11所述的可弯曲设备，其中，所述处理器还被配置为根据权利要求2至9中所述的方法之一进行操作。
13.根据权利要求11所述的可弯曲设备，其中，所述可弯曲设备包括：
至少两个可折叠显示器；以及
沿所述至少两个可折叠显示器的轴的机械铰链，所述机械铰链能够围绕所述轴来折叠所述至少两个可折叠显示器。
14.根据权利要求11所述的可弯曲设备，其中，所述可弯曲设备是能够卷曲和能够折叠的柔性显示器。
CN201980098006.8A 2019-08-07 2019-12-24 构建3d数据项的方法和可弯曲设备 Active CN114096935B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IN201941032000 2019-08-07
IN201941032000 2019-08-07
PCT/KR2019/018393 WO2021025241A1 (en) 2019-08-07 2019-12-24 Method and bendable device for constructing 3d data item

Publications (2)

Publication Number Publication Date
CN114096935A CN114096935A (zh) 2022-02-25
CN114096935B true CN114096935B (zh) 2024-05-03

Family

ID=74498769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980098006.8A Active CN114096935B (zh) 2019-08-07 2019-12-24 构建3d数据项的方法和可弯曲设备

Country Status (5)

Country Link
US (1) US11029522B2 (zh)
EP (1) EP3969980B1 (zh)
KR (1) KR102574288B1 (zh)
CN (1) CN114096935B (zh)
WO (1) WO2021025241A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009253232A (ja) * 2008-04-10 2009-10-29 Yamamoto Seimitsu:Kk 筐体相互の連結ユニット及び携帯端末
CN104101305A (zh) * 2013-04-02 2014-10-15 三星显示有限公司 柔性显示器的弯曲运动的光学检测
US9025007B1 (en) * 2009-04-28 2015-05-05 Lucasfilm Entertainment Company Ltd. Configuring stereo cameras
CA2863957A1 (en) * 2014-09-16 2016-03-16 Gtech Canada Ulc 3d enhanced gaming machine with selectable 3d intensity level
CN107430433A (zh) * 2015-01-07 2017-12-01 三星电子株式会社 显示设备及其操作方法
CN108475171A (zh) * 2015-12-28 2018-08-31 三星电子株式会社 具有柔性显示器的电子设备以及用于操作电子设备的方法

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6138379A (ja) * 1984-07-30 1986-02-24 シャープ株式会社 冷凍冷蔵庫
JPH06138379A (ja) * 1992-09-14 1994-05-20 Nikon Corp 視線検出装置付きカメラ
US20030112508A1 (en) * 2001-08-17 2003-06-19 Byoungyi Yoon Method and system for controlling space magnification for stereoscopic images
JP4090896B2 (ja) * 2003-01-16 2008-05-28 シャープ株式会社 情報端末装置
US20060250322A1 (en) * 2005-05-09 2006-11-09 Optics 1, Inc. Dynamic vergence and focus control for head-mounted displays
KR101297665B1 (ko) 2007-10-18 2013-08-21 삼성테크윈 주식회사 회전형 카메라 모듈
EP2489195A1 (en) * 2009-10-14 2012-08-22 Nokia Corp. Autostereoscopic rendering and display apparatus
JP5478205B2 (ja) * 2009-11-13 2014-04-23 任天堂株式会社 ゲーム装置、ゲームプログラム、ゲームシステムおよびゲーム制御方法
KR101648453B1 (ko) * 2010-02-08 2016-08-16 엘지전자 주식회사 휴대용 단말기
US8922625B2 (en) * 2009-11-19 2014-12-30 Lg Electronics Inc. Mobile terminal and controlling method thereof
US8928673B2 (en) * 2010-06-30 2015-01-06 Blue Sky Studios, Inc. Methods and systems for 3D animation
US20120113232A1 (en) * 2010-11-10 2012-05-10 Sony Pictures Technologies Inc. Multiple camera system and method for selectable interaxial separation
KR101852811B1 (ko) * 2011-01-05 2018-04-27 엘지전자 주식회사 영상표시 장치 및 그 제어방법
US8754961B2 (en) 2011-08-17 2014-06-17 Nokia Corporation Apparatus and method for generating image data from overlapping regions of images
US9007300B2 (en) * 2011-10-14 2015-04-14 Blackberry Limited Method and system to control a process with bend movements
US9851811B2 (en) * 2012-02-20 2017-12-26 Beijing Lenovo Software Ltd. Electronic device and method for controlling the same
KR101303203B1 (ko) 2012-03-14 2013-09-10 주식회사 펀진 정면 영상 생성 영상통화 장치 및 방법
KR20150039463A (ko) * 2013-10-02 2015-04-10 삼성전자주식회사 3d 디스플레이장치 및 3d영상처리방법
JP5922639B2 (ja) * 2013-12-07 2016-05-24 レノボ・シンガポール・プライベート・リミテッド 折り畳み式の電子機器、表示システム、および表示方法
CN103685892A (zh) 2013-12-12 2014-03-26 路宽 自动翻转摄像头
KR102292192B1 (ko) * 2014-02-17 2021-08-23 엘지전자 주식회사 증강 현실 이미지를 디스플레이 하는 디스플레이 시스템 및 그 제어 방법
US9712749B2 (en) * 2014-02-27 2017-07-18 Google Technology Holdings LLC Electronic device having multiple sides
KR101632008B1 (ko) * 2014-04-30 2016-07-01 엘지전자 주식회사 이동단말기 및 그 제어방법
US10613585B2 (en) * 2014-06-19 2020-04-07 Samsung Electronics Co., Ltd. Transparent display apparatus, group play system using transparent display apparatus and performance methods thereof
KR20160020189A (ko) * 2014-08-13 2016-02-23 삼성전자주식회사 이미지 처리 방법 및 그 장치
KR102171450B1 (ko) * 2014-08-18 2020-10-29 엘지전자 주식회사 포터블 디바이스 및 그 제어 방법
US9792757B2 (en) * 2014-09-16 2017-10-17 Igt Canada Solutions Ulc 3D enhanced gaming machine with selectable 3D intensity level
CN107209390A (zh) * 2015-02-12 2017-09-26 谷歌公司 组合高分辨率窄场显示和中分辨率宽场显示
US20160269720A1 (en) * 2015-03-11 2016-09-15 Oculus Vr, Llc Flexible substrate display panel and panel geometry for ergonomics
WO2016182502A1 (en) 2015-05-14 2016-11-17 Medha Dharmatilleke Multi purpose mobile device case/cover integrated with a camera system & non electrical 3d/multiple video & still frame viewer for 3d and/or 2d high quality videography, photography and selfie recording
KR102471302B1 (ko) * 2015-07-07 2022-11-28 삼성전자 주식회사 헤드 마운트 디스플레이 장치
GB2552090B (en) * 2017-06-29 2021-06-16 Inodyn Newmedia Gmbh Front-facing camera and maximized display screen of a mobile device
US20170115489A1 (en) 2015-10-26 2017-04-27 Xinda Hu Head mounted display device with multiple segment display and optics
CA2913369A1 (en) * 2015-11-26 2017-05-26 Peter Johann Kielland Mount for a camera to be carried on a body-supported computer
KR20170076471A (ko) 2015-12-24 2017-07-04 삼성전자주식회사 변형 가능한 디스플레이 장치 및 이를 이용한 영상 표시 방법
US10409080B2 (en) * 2017-02-01 2019-09-10 Facebook Technologies, Llc Spherical display using flexible substrates

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009253232A (ja) * 2008-04-10 2009-10-29 Yamamoto Seimitsu:Kk 筐体相互の連結ユニット及び携帯端末
US9025007B1 (en) * 2009-04-28 2015-05-05 Lucasfilm Entertainment Company Ltd. Configuring stereo cameras
CN104101305A (zh) * 2013-04-02 2014-10-15 三星显示有限公司 柔性显示器的弯曲运动的光学检测
CA2863957A1 (en) * 2014-09-16 2016-03-16 Gtech Canada Ulc 3d enhanced gaming machine with selectable 3d intensity level
CN107430433A (zh) * 2015-01-07 2017-12-01 三星电子株式会社 显示设备及其操作方法
CN108475171A (zh) * 2015-12-28 2018-08-31 三星电子株式会社 具有柔性显示器的电子设备以及用于操作电子设备的方法

Also Published As

Publication number Publication date
EP3969980A4 (en) 2022-06-29
KR102574288B1 (ko) 2023-09-07
US11029522B2 (en) 2021-06-08
EP3969980A1 (en) 2022-03-23
EP3969980B1 (en) 2024-04-24
US20210041700A1 (en) 2021-02-11
KR20220024555A (ko) 2022-03-03
CN114096935A (zh) 2022-02-25
WO2021025241A1 (en) 2021-02-11
EP3969980C0 (en) 2024-04-24

Similar Documents

Publication Publication Date Title
US9380207B1 (en) Enabling multiple field of view image capture within a surround image mode for multi-lense mobile devices
EP3179719B1 (en) Mobile terminal and method of controlling an image photographing therein
KR101674959B1 (ko) 이동 단말기 및 이것의 영상 촬영 제어 방법
EP2523450B1 (en) Handheld electronic device with dual image capturing method and computer program product
US8922625B2 (en) Mobile terminal and controlling method thereof
CN101834994B (zh) 摄影装置和摄影控制方法
US8890935B2 (en) Capturing device, image processing method, and program
US10074343B2 (en) Three-dimensional image output apparatus and three-dimensional image output method
CN102467341A (zh) 移动终端以及在其中控制图像拍摄的方法
CN104782110A (zh) 图像处理装置、摄像装置、程序及图像处理方法
KR102181208B1 (ko) 이동 단말기 및 그것의 제어 방법
KR102223281B1 (ko) 이동단말기 및 그 제어방법
KR101737840B1 (ko) 이동 단말기 및 그 제어방법
EP2981074B1 (en) Display device, display method, and display program
CN114096935B (zh) 构建3d数据项的方法和可弯曲设备
KR101809946B1 (ko) 휴대용 단말기
CN102081294A (zh) 摄像装置
KR101622220B1 (ko) 휴대용 단말기
US20210152736A1 (en) Methods and apparatus for instant capture of content
KR101648453B1 (ko) 휴대용 단말기
KR101882263B1 (ko) 이동 단말기 및 그 제어방법
KR200379501Y1 (ko) 2차원 영상 또는 3차원 입체영상 표시기능을 갖는정보단말기
KR101833828B1 (ko) 이동 단말기 및 그 제어방법
WO2024193050A1 (zh) 可折叠的电子设备的拍摄方法及可折叠的电子设备
KR102135091B1 (ko) 카메라, 및 이를 구비하는 영상표시장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant