CN117078899A - 用于生成对象的三维虚拟表示的系统、方法和用户界面 - Google Patents
用于生成对象的三维虚拟表示的系统、方法和用户界面 Download PDFInfo
- Publication number
- CN117078899A CN117078899A CN202310554840.1A CN202310554840A CN117078899A CN 117078899 A CN117078899 A CN 117078899A CN 202310554840 A CN202310554840 A CN 202310554840A CN 117078899 A CN117078899 A CN 117078899A
- Authority
- CN
- China
- Prior art keywords
- virtual
- electronic device
- physical object
- representation
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 192
- 230000008569 process Effects 0.000 claims abstract description 108
- 230000000007 visual effect Effects 0.000 claims abstract description 85
- 230000002093 peripheral effect Effects 0.000 claims description 66
- 230000004044 response Effects 0.000 claims description 41
- 230000008859 change Effects 0.000 claims description 26
- 238000004891 communication Methods 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 13
- 230000000977 initiatory effect Effects 0.000 claims description 10
- 230000007704 transition Effects 0.000 claims description 6
- 230000001052 transient effect Effects 0.000 claims description 2
- 238000005286 illumination Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- 238000012800 visualization Methods 0.000 description 5
- 238000005562 fading Methods 0.000 description 4
- 230000009021 linear effect Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 230000008676 import Effects 0.000 description 3
- 238000010079 rubber tapping Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000007717 exclusion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 230000000284 resting effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000020280 flat white Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
- G06F3/04855—Interaction with scrollbars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/004—Annotating, labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2021—Shape modification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2024—Style variation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Architecture (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明题为“用于生成对象的三维虚拟表示的系统、方法和用户界面。”生成三维物理对象的三维虚拟表示能够基于捕获或接收捕获束或一组图像。在一些示例中,生成该物理对象的该虚拟表示能够由用于识别物理对象并捕获该物理对象的一组图像的用户界面来促进。生成该虚拟表示能够包括预览或修改一组图像。在一些示例中,生成该物理对象的该虚拟表示能够包括生成该物理对象的第一表示(例如,点云)和/或生成该物理对象的第二三维虚拟表示(例如,网格重建)。在一些示例中,能够诸如在捕获用户界面中显示图像捕获过程的进度和/或生成三维对象的虚拟表示的视觉指示。
Description
相关申请的交叉引用
本申请要求2022年5月17日提交的美国临时申请号63/364,878、2023年5月15日提交的美国专利申请号18/317,886、2023年5月15日提交的美国专利申请号18/317,890和2023年5月15日提交的美国专利申请号18/317,893的权益,这些申请的全部内容全文以引用方式并入本文以用于所有目的。
技术领域
本发明整体涉及用于捕获和/或接收物理对象的图像并且基于这些图像生成物理对象的三维虚拟表示的系统、方法和用户界面。
发明内容
本发明整体涉及用于捕获和/或接收物理对象的图像并且基于这些图像生成物理对象的三维虚拟表示的系统、方法和用户界面。在一些示例中,生成三维对象的三维表示可以基于捕获到物理对象的一组图像(例如,使用用于识别目标物理对象并捕获该对象的图像的用户界面)和/或基于接收到物理对象的捕获束或一组图像(例如,使用用于导入捕获束或一组图像的用户界面)。在一些实施方案中,生成物理对象的虚拟表示包括生成物理对象的一个或多个点云表示和/或对象的一个或多个网格表示。
附图说明
图1示出了根据本公开的示例的能够生成三维对象的三维表示的示例性系统。
图2示出了根据本公开的示例的用于导入图像以生成三维对象的三维表示的示例性用户界面。
图3示出了根据本公开的示例的示例性图像预览。
图4示出了根据本公开的示例的三维对象的示例性第一点表示。
图5示出了根据本公开的示例的三维对象的示例性第二点表示。
图6示出了根据本公开的示例的三维对象的示例性第三点表示。
图7示出了根据本公开的示例的三维对象的示例性第二表示。
图8至图9示出了根据本公开的示例从图像或对象捕获生成对象的三维表示的示例性流程图。
图10至图29示出了根据本公开的示例的用于生成物理对象的三维虚拟表示的示例性用户界面。
图30至图31示出了根据本公开的示例的生成物理对象的三维虚拟表示的示例性流程图。
具体实施方式
在以下对示例的描述中将参考形成以下描述的一部分的附图并且在附图中以举例的方式示出了可被实施的具体示例。应当理解,在不脱离所公开的示例的范围的情况下,可使用其他示例并且可进行结构性变更。
本发明整体涉及用于生成三维物理对象的三维虚拟表示的系统、方法和用户界面。在一些示例中,生成物理对象的虚拟表示可以基于捕获到一组图像(例如,使用用于识别目标物理对象并捕获该对象的图像的用户界面)、接收到捕获束,和/或接收到一组图像(例如,使用用于导入捕获束或一组图像的用户界面)。在一些示例中,生成三维对象的三维表示可包括预览和/或修改一组图像(例如,使用预览用户界面)。在一些示例中,生成三维对象的三维表示可包括生成三维对象的第一表示(例如,点云)。在一些示例中,生成三维对象的三维表示可包括生成三维对象的第二三维表示(例如,三维对象的三维网格重建)。
在一些示例中,生成三维对象的第一表示和生成三维对象的第二表示可包括使用进度条和/或使用与从图像导出的多个点相关联的进度指示和/或使用点云来显示进度。例如,在一些示例中,当显示三维对象的第一表示时,可显示生成三维对象的第二表示的进度的第一视觉指示(例如,进度的第一视觉指示包括改变对应于该进度的第一表示的外观)。在一些示例中,在显示多个点(例如,与该组图像相关联)时,可以显示生成点云的进度的第二视觉指示(不同于进度的第一可视化)(例如,该进度的第二视觉指示包括改变对应于该进度的该多个点的外观)。
在一些示例中,生成三维对象的三维表示包括显示用于识别目标物理对象的第一对象捕获用户界面,包括使用电子设备显示覆盖在物理对象的实况视图上的虚拟标线以帮助用户将电子设备的视场集中在物理对象上。在一些示例中,响应于确定物理对象在虚拟标线内居中(并且任选地,响应于检测到对启动示能表示的选择),电子设备显示将虚拟标线变换成围绕物理对象的三维虚拟限界形状(例如,限界框)的动画。
在一些示例中,生成物理对象的三维表示包括显示第二对象捕获用户界面以用于在图像捕获过程期间(例如,在电子设备自动地和/或响应于用户输入来捕获物理对象的图像的持续时间期间)向用户提供反馈。第二对象捕获用户界面任选地包括各种用户界面元素,这些用户界面元素向用户指示物理对象的哪些视角已被电子设备捕获以及哪些视角仍需要被捕获。在一些示例中,第二对象捕获用户界面包括由电子设备构造的物理对象的虚拟表示的预览。
图1示出了根据本公开的示例的能够生成三维对象的三维表示的系统的示例性框图。在一些示例中,系统包括第一计算系统100和第二计算系统101。在一些示例中,第二计算系统101可用于捕获图像或者接收或导入现实世界三维对象的捕获束,并且第一计算系统100可用于使用捕获束或图像来生成三维对象的三维表示。在一些示例中,第二计算系统101可具有比第一计算系统相对更小的处理能力。在一些示例中,第一计算系统100包括台式计算机、膝上型计算机、平板计算设备、移动设备或可穿戴设备(例如,智能手表或头戴式设备)。在一些示例中,第二计算系统101包括台式计算机、膝上型计算机、平板计算设备、移动设备或可穿戴设备。在一些示例中,第一计算系统100是台式/膝上型计算机,第二计算系统101是平板计算设备、移动设备或可穿戴设备。在一些示例中,系统可包括第一计算系统100,该第一计算系统可捕获图像或者接收或导入捕获束并且使用捕获束或图像生成三维对象的三维表示。在一些示例中,系统可包括第一计算系统100,该第一计算系统可使用存储在计算系统100上或由该计算系统从另一计算系统或其他电子设备接收的捕获束或图像来生成三维对象的三维表示。
在一些示例中,如图1所示,计算系统100包括处理器102、存储器104、显示器106、扬声器108、麦克风110、一个或多个图像传感器116、通信电路120以及任选地触觉发生器124(例如,能够生成触觉警报的电路和/或其他硬件),它们任选地通过计算系统100的通信总线122进行通信。在一些示例中,图像传感器116包括用于检测和/或监视用户的凝视方向的面向用户的眼睛跟踪传感器(例如,位于头戴式设备中)和/或用于检测用户手势的手部跟踪传感器。在一些示例中,如图1所示,计算系统101包括处理器103、存储器105、显示器107、扬声器109、麦克风111、一个或多个图像传感器117和通信电路121以及任选地触觉发生器125(例如,能够生成触觉警报的电路和/或其他硬件),它们任选地通过计算系统101的通信总线123进行通信。在一些示例中,图像传感器117包括用于检测和/或监视用户的凝视方向的面向用户的眼睛跟踪传感器(例如,位于头戴式设备中)和/或用于检测用户手势的手部跟踪传感器。在一些示例中,计算系统100和计算系统101可包括多于一个处理器、多于一个存储器、多于一个显示器、多于一个扬声器、多于一个麦克风、多于一个图像传感器,并且/或者任选地通过多于一个通信总线进行通信。在一些示例中,计算系统100和/或计算系统101可省略本文所述的部件中的一者或多者(例如,计算系统100可不包括相机,或者计算系统101可不包括扬声器或麦克风等)。尽管图1示出了一个示例性计算系统,但是应当理解,在一些示例中,多个用户可以使用计算系统100和计算系统101的多个实例(或者计算系统100和/或计算系统101的变型),并且计算系统的不同实例可以进行通信(例如,经由通信电路120和/或通信电路121)。
处理器102和/或103可被配置为执行本文所述的过程。处理器102和103可包括一个或多个通用处理器、一个或多个图形处理器、和/或一个或多个数字信号处理器。在一些示例中,存储器104和105是非暂态计算机可读存储介质(例如,闪存存储器、随机存取存储器或其他易失性或非易失性存储器或存储装置),该非暂态计算机可读存储介质存储被配置为由处理器102和/或103执行以执行本文所述的过程的计算机可读指令(例如,程序)。在一些示例中,存储器104和/或105可包括多于一个非暂态计算机可读存储介质。非暂态计算机可读存储介质可以是可有形地包含或存储计算机可执行指令以供指令执行系统、装置和设备使用或与其结合的任何介质(例如,不包括信号)。在一些示例中,存储介质是暂态计算机可读存储介质。在一些示例中,存储介质是非暂态计算机可读存储介质。非暂态计算机可读存储介质可包括但不限于磁性、光学和/或半导体存储器,诸如磁盘、基于CD、DVD或蓝光技术的光盘,以及持久性固态存储器诸如闪存驱动器、固态驱动器等。
计算系统100和101还可分别包括显示器106和107(在本文中通常称为显示生成部件)。在一些示例中,显示器106和107可包括单个显示器(例如,液晶显示器(LCD)、有机发光二极管(OLED)或其他类型的显示器)。在一些示例中,显示器106和107包括多个显示器。在一些示例中,显示器106和107可包括具有触摸感测能力的显示器(例如,触摸屏)或投影仪。在一些示例中,计算系统100和/或计算系统101包括麦克风110和/或111或其他合适的音频传感器。计算系统100和/或计算系统101使用麦克风110和/或111来检测来自用户和/或用户的真实世界环境的声音。在一些示例中,麦克风110和/或111包括麦克风阵列(多个麦克风),这些麦克风任选地联合操作,以便识别环境声级。
计算系统100和/或计算系统101任选地包括图像传感器116和/或117,这些图像传感器任选地包括一个或多个可见光图像传感器(诸如电荷耦合器件(CCD)传感器)以及/或者可操作以获得真实世界环境中的物理对象的图像的互补金属氧化物半导体(CMOS)传感器。在一些示例中,图像传感器116和/或117还包括一个或多个红外传感器,诸如无源红外传感器或有源红外传感器,这些传感器被配置为检测真实世界环境中的红外光。例如,有源红外传感器包括被配置为将红外光发射到真实世界环境中的发射器。图像传感器116和/或117还任选地包括一个或多个相机,该一个或多个相机被配置为捕获物理对象在真实世界环境中的移动。图像传感器116和/或117还任选地包括一个或多个深度传感器,这些深度传感器被配置为检测物理对象与计算系统的距离。在一些示例中,来自一个或多个深度传感器的信息允许设备标识真实世界环境中的对象并且将其与真实世界环境中的其他对象区分开。在一些示例中,一个或多个深度传感器允许计算系统确定真实世界环境中的对象的纹理和/或形貌。在一些示例中,计算系统100和/或计算系统101组合使用CCD传感器、红外传感器和深度传感器来检测计算系统周围的物理环境。在一些示例中,图像传感器116和/或117包括多个图像传感器,该多个图像传感器联合工作并且被配置为捕获真实世界环境中的物理对象的不同信息。在一些示例中,计算系统100和/或计算系统101使用图像传感器116和/或117来检测真实世界(物理)环境中的一个或多个对象的位置和取向。例如,当计算系统相对于物理对象移动时,计算系统100和/或计算系统101可使用图像传感器116和/或117来跟踪真实世界环境中的一个或多个静止物理对象的位置和取向。
通信电路120和/或121任选地包括用于与电子设备、网络(例如,因特网)、内联网、有线网络和/或无线网络、蜂窝网络和无线局域网(LAN)等通信的电路。通信电路120和/或121任选地包括用于使用近场通信(NFC)和/或近程通信(例如,)进行通信的电路。
应当理解,计算系统100和/或计算系统101不限于图1的部件和配置,而是可包括处于多种配置的更少的部件、其他部件或附加部件。
图2示出了根据本公开的示例的用于导入图像(或捕获束)以生成三维对象的三维表示的示例性用户界面。在一些示例中,计算系统200对应于计算系统100。在一些示例中,如图2所示,计算系统200包括可配置为显示一个或多个用户界面的显示器。在一些示例中,用户界面可被包括在用于生成物理对象的三维虚拟表示的应用202中。例如,这样的用户界面任选地包括用于识别要捕获的物理对象、捕获该物理对象的图像、和/或导入该物理对象的图像的用户界面。在一些示例中,应用202可包括用于导入图像或捕获束的窗口。例如,图2示出了具有用于拖动照片或捕获束以及将照片或捕获束放到应用202的窗口中的指令和/或文本指令的图形表示208的用户界面元素。如图2中所示,图形表示可包括照片的表示和图像储存库的表示。另外,在一些示例中,用户界面可包括表示多个图像或捕获束(例如,任选地由计算系统101捕获)的源位置的窗口204。例如,图2中的窗口204被示为包括图像或捕获束206(例如,图像栈或对象捕获束的图形表示)。在一些示例中,窗口204可以在计算系统200内的另一位置。在一些示例中,窗口204可以是应用202的一部分。在一些示例中,图形表示208可以是用户可选择按钮。在一些示例中,图形表示208可由用户选择以启动窗口204,以使得用户能够访问或导航到源图像或捕获束。在一些示例中,窗口204可表示计算系统上的文件夹的分层表示。在一些示例中,窗口204可以从多个文件夹收集图像或捕获束以便于访问。在一些示例中,用户可以从计算系统200上的另一位置或从与计算系统200通信的另一计算系统(例如,计算系统101)上的位置导入一个或多个图像。在一些示例中,拖放或其他合适的输入/手势可被用来将图像或捕获束206从窗口204移动到应用202中或移动到应用202内的图形表示208上(或在其阈值距离内)。
在一些示例中,图像或捕获束206表示由图像传感器捕获的一组图像(例如,原始图像)。该组图像可以从各个方向/取向/视角捕获三维对象的表示。例如,图3示出了表面上放置有工具的工作台(本文中称为工具台)的不同视图。在一些示例中,通过包括具有三维对象的各种方向、取向和/或变化的视角/视图的图像,计算设备200能够生成三维对象的准确的三维表示,该三维表示可用于生成图形表示以在计算设备或显示设备上向用户显示。在一些示例中,图像或捕获束206表示包括从一个或多个图像导出的信息(并且任选地包括一个或多个图像本身)的捕获束。捕获束中的附加信息可用于帮助生成三维对象。在一些示例中,该束包括深度信息、方位信息(例如,一个或多个对象的取向)、重力信息(例如,相对于重力的取向的信息)、颜色信息和/或对象比例信息。在一些示例中,捕获束包括一个或多个对象的点云表示。在一些示例中,捕获束中的附加信息帮助分辨可能更难以从图像精确重建的无特征表面,诸如平坦白色表面。在一些示例中,捕获束还可包括定义的边界框(例如,在第二计算系统101上生成的)。如本文所述,在一些示例中,捕获束中的边界框可在计算设备200(第一计算设备100)上被调整或者可被自动地添加或由用户添加,如本文所讨论的。
如本文所述,生成三维对象的三维表示的过程(例如,重建过程)可以根据用户是从图像开始还是从捕获束开始而不同。在一些示例中,当利用图像开始重建过程时,可显示包括图像的预览用户界面。图3示出了根据本公开的示例的能够在计算系统(例如,计算系统100、200)的显示器上显示的图像的示例性预览。在一些示例中,如图3所示,预览用户界面300包括将由计算系统200的用户使用(例如,由其选择或为其显示)的一个或多个图像。例如,如图3所示,预览用户界面300显示图像302、图像304、图像306、图像308、图像310、图像312、图像314和图像316。图像302-316中的每一者包括示例性三维对象320(例如,工具台)的一部分。尽管图3示出了图像302-316,但是应当理解,在一些示例中,可以由用户导入更多或更少数量的图像以用于生成三维表示(例如,三维模型重建)。
在一些示例中,图像包括来自捕获环境的非感兴趣三维对象的一部分的一个或多个附加对象。例如,图像302、图像304、图像306和图像308各自包括三维对象320(例如,工具台),但也包括不同于三维对象320的第二三维对象322(例如,自行车)。尽管图3中未示出,但图像还可捕获环境的其他对象或方面(例如,地板、墙壁、树、门、天空、山等)。如本文所述,在一些示例中,环境的其他对象或方面可以使用限界框从重建过程中排除。在一些示例中,计算系统(例如,计算系统200)可被配置为确定针对三维模型的生成聚焦哪个(哪些)对象或者从三维模型的生成中排除哪个(哪些)对象。在一些示例中,计算系统200的用户可以选择感兴趣的对象或要在用户界面300内排除的对象。在一些示例中,可实现机器学习或人工智能(例如,作为计算系统的处理电路的一部分)来分析图像以识别要排除的对象或区域或识别要包括以用于模型重建的对象或区域。例如,计算系统200可能够确定第二三维对象322存在于图像302-308中,但不存在于图像310-316中,并且因此,第二三维对象322可能不是重建过程的对象。应当理解,该确定能够以不同于上述示例的各种方式进行。在一些示例中,用户界面300可包括用户界面元素(未示出)以启用或禁用确定感兴趣的或排除的对象或区域的特征(例如,触发按钮或菜单项)。当特征被禁用时,重建过程可以依赖于限界框或编辑要生成的三维对象的范围的其他手段。当该特征被启用时,重建过程可以使用图像掩模来聚焦在感兴趣对象上和/或排除对于重建过程而言不感兴趣的对象。
在一些示例中,在预览用户界面300中,可以选择或取消选择图像中的一个或多个图像以在用于重建过程的该组图像中添加或排除。在一些示例中,计算系统可以推荐图像以包括在重建过程中或从重建过程中排除。例如,可以排除重复或类似的视图以减少处理负担,而可以包括唯一的视图。又如,可包括满足质量特性(例如,良好聚焦、对比度、亮度等)的图像,并且可排除未满足质量特性(例如,不良聚焦、对比度、亮度等)的那些图像。在一些示例中,预览用户界面300可提供用于手动或自动调整图像中的一个或多个图像的特性的用户界面。例如,可以调整或标准化照片的颜色和/或照明。在一些示例中,系统可以自动确定使用哪些图像并应用归一化调整,而不需要预览用户界面中的用户输入。在一些示例中,预览用户界面300可以强调图像的外观或以其他方式识别图像以在重建过程中排除和/或修改(或包括)。例如,要排除和/或修改的图像可以变灰或淡化或者覆盖有指示警告的图标或徽章。在一些示例中,选择图标或徽章可以提供排除、修改(例如,调整亮度、颜色等)或删除图像的选项。响应于选择/取消选择,可以更新要用于生成三维模型的该组图像和/或图像的特性。
尽管主要在依赖于图像导入的重建过程的上下文中描述图像预览,但是应当理解,在一些示例中,当捕获束包括图像时,该预览可以任选地在依赖于捕获束导入的重建过程的上下文中显示。
在一些示例中,重建过程可包括生成三维对象的点表示。任选地,生成三维对象的点表示可以在预览用户界面300中预览图像、选择和/或修改图像、和/或确定聚焦哪个(哪些)对象和/或排除哪个(哪些)方面或哪个(哪些)对象之后发生。图4至图5示出了根据本公开的示例的三维对象的第一点表示和第二点表示。在一些示例中,第一点表示可对应于在点云表示的生成期间的点表示,并且第二点表示可对应于在点云生成结束时的点云表示。如本文所述,在一些示例中,可通过改变点表示中对应于进度的点的外观来向用户显示生成点云的进度的视觉指示。
在初始状态中(例如,在发起生成点云表示的过程时),用户界面可以显示多个点。在一些示例中,这些点在形状上可以是球形的,但是应当理解,点表示可包括具有另选形状(例如,立方体、椭圆、二十面体或任何合适的规则或不规则形状)的点。在一些示例中,在初始状态下,该多个点可以随机地分布在用户界面内或用户界面的区域内(例如,用户界面400、500中示出的地板附近的区域)。在一些示例中,在初始状态下,该多个点可以具有均匀尺寸(例如,均匀半径/直径)。在一些示例中,在初始状态下,该多个点可以具有随机分布的尺寸(例如,非均匀半径/直径,任选地在最大或最小尺寸内)。在一些示例中,该多个点可以具有原始照片的特性。例如,该多个点任选地具有从原始图像中提取的颜色特性(例如,从图像中采样颜色)。在一些示例中,该多个点能够以图像的颜色的灰度表示来呈现。如图4所示,该一个或多个点整体表示三维对象320(例如,工具台)的图像。
如图4所示,用户界面400在生成三维对象(例如,对应于三维对象320)的点云期间显示第一点表示402。第一表示402可包括多个点的表示的显示。
然而,与初始表示不同,第一表示402可以示出生成点云的进度的可视化。例如,在一些示例中,进度的可视化包括相对于对应于进度的初始状态改变多个点的外观。例如,在一些示例中,外观的改变包括随着更多数据在处理期间变得可用而将该多个点的子集移向或移动到对应于点云中的最终位置的位置。在一些示例中,外观的改变包括随着进度增加而使该多个点的子集的颜色增亮(例如,增加亮度)。在一些示例中,外观的改变包括随着进度增加该多个点的子集的颜色的改变(例如,点的颜色改变为点云表示的颜色或从灰色调改变为彩色)。在一些示例中,改变外观可包括改变该多个点的尺寸(例如,缩小半径尺寸)和/或密度(例如,相对于初始状态增加点的密度)。在一些示例中,外观的改变可包括移动点、改变点的照明和/或颜色、和/或改变点的尺寸和/或密度。
如图4所示,该多个点的出现可以提供生成点云的进度的视觉指示。附加地或另选地,在一些示例中,用户界面400还可包括进度的图形用户界面元素和/或文本表示。例如,图4示出了进度条404和/或百分比(例如,45%)。在一些示例中,进度条404可与用户界面400中的该多个点(例如,第一表示402)同时显示。
当该多个点前进到第二点表示时,该多个点的外观最终显示三维对象的示例性最终点表示(例如,点云)。例如,如图5所示,用户界面500呈现第二点表示502(例如,最终的点云)。在一些示例中,在第二点表示502中,这些点可以具有均匀尺寸,并且/或者点密度和颜色可以对应于最终点云表示中点的点密度和颜色。
在一些示例中,用户界面500可包括围绕第二点表示502(例如,围绕点云)的限界框504。附加地或另选地,用户界面500可包括用于从点云创建三维模型表示(例如,网格重建)的用户界面元素506(例如,用户可选择按钮)和/或用于选择三维模型的质量的用户界面元素508(例如,下拉菜单)。在一些示例中,并且如图5中所示,第二点表示502可表示三维对象的三维表示的预览(例如,三维对象的三维表示的生成的低质量版本)。
在一些示例中,并且在生成三维对象的三维模型之前,用户可以与限界框504交互以裁剪要包括在三维模型中的三维对象的第二点表示502的部分。例如,如图6至图7所示,从三维(网格)模型中排除图5的限界框504之外的点表示的部分。另外,用户界面500可包括改变限界框的特性的能力。例如,图5示出了具有两个控制柄示能表示510和512的限界框504,但是应当理解,限界框504可包括多于两个控制柄示能表示。在一些示例中,限界框504可由用户通过与控制柄示能表示510交互来重新定位以相对于第二点表示502在环境内移动限界框504。在一些示例中,可使用控制柄示能表示510和/或512(和/或未示出的附加控制柄示能表示)来调整限界框的尺寸。例如,控制柄可用于调整矩形限界框的长度、宽度和高度,或调整圆柱形限界框的周长和高度。
在一些示例中,用户界面元素506(例如,用户可选择按钮)可以是可选择的以请求发起生成三维对象320的不同于点云表示的第二表示(例如,网格/模型重建)的过程。在一些示例中,用户还可以选择第二表示的输出质量(例如,用户界面元素508指示图5中的介质的质量设置)。在一些示例中,质量设置可以包括低、中或高,以及其他可能性。在一些示例中,发起生成三维模型的过程可以使得用户界面停止显示限界框504。
图6示出了根据本公开的示例的三维对象的示例性第三点表示。例如,如图6所示,用户界面600在生成三维对象320(例如,工具台)的三维网格重建的过程期间呈现三维对象320(例如,工具台)的第三表示602。在一些示例中,第三点表示602包括对应于第二点表示502的多个点(例如,点云)。然而,在一些示例中,与第二点表示502不同,第三点表示602改变点云的外观以提供生成三维模型的进度的可视化。例如,使用第三点表示602的进度的视觉指示可包括改变对应于进度的第三点表示602的外观。例如,如果最终确定网格模型的进度百分比是45%,则第三点表示602的外观包括应用于45%的外观变化。在一些示例中,改变第三点表示602的外观包括以对应于初始状态(例如,0%进度)的相对暗的点云开始(例如,与第二点表示502相比使颜色变暗)。随着用于生成三维模型的进度继续,点云可以增亮(例如,点云的被增亮的百分比对应于过程的百分比)。在一些示例中,增亮可以在用户界面600中被呈现为从点云的顶部到点云的底部的线性效果。应当理解,可针对线性效果(例如,从底部到顶部、从左到右或从右到左)或使用其他效果以不同取向来应用增亮。另选地,在一些示例中,改变第三点表示602的外观包括以对应于初始状态(例如,0%进度)的灰度点云开始。随着用于生成三维模型的进度继续,颜色可以替换点云中的灰度点(例如,用具有彩色点的点云的百分比替换对应于进度的百分比的灰度)。在一些示例中,着色可以在用户界面600中被呈现为从点云的顶部到点云的底部的线性效果。应当理解,可针对线性效果(例如,从底部到顶部、从左到右、或从右到左)或使用其他效果以不同取向来应用着色。如图6所示,该多个点的出现可以提供生成点云的进度的视觉指示。附加地或另选地,在一些示例中,用户界面600还可包括进度的图形用户界面元素(例如,进度条604)和/或文本表示(“45%”)。
在一些示例中,一旦最终确定了第二表示,计算系统就停止显示第三点表示并且呈现最终的三维表示(例如,网格重建)。例如,图7示出了根据本公开的示例的三维对象的示例性第二表示。例如,如图7所示,用户界面700呈现了三维对象320(例如,工具台)的第二表示702。如图7所示,最终确定的第二表示702是基于来自图3的图像的三维对象320的模型表示,该图像包括纹理化的网格表面(而不是表示网格表面的顶点的点云)。在一些示例中,用户界面700可包括相对于第二表示702采取动作的用户界面元素。例如,用户界面700包括用户界面元素704和706以将第二表示702添加到内容创作应用(例如,任选地作为应用202的一部分)内的项目,或者将第二表示702导出到计算系统200或另选计算系统(例如,通过有线或无线连接)上的存储装置或另一应用。例如,如图7所示,用户界面元素704可以是用户可选择按钮,该用户可选择按钮可被选择以将最终确定的第二表示702添加到内容创建应用中的项目。附加地或另选地,用户界面元素706可以是可选择以将第二表示702导出到计算系统上的另一位置(例如,以保存文件或将文件添加到另一应用)或另选计算系统的用户可选择按钮。
图8至图9示出了根据本公开的示例从图像或对象捕获生成对象的三维表示的示例性流程图。如上所述,用于三维模型的输入数据可包括多个原始图像或捕获束。在一些示例中,用于生成三维对象的过程可以基于输入数据是多个图像还是捕获束而变化。例如,流程图800表示用于从多个原始图像生成三维模型的过程,并且流程图900表示用于从捕获束生成三维模型的过程。
在操作802处,计算系统为计算系统200的用户显示用户界面以选择要用来生成三维对象的三维表示的多个图像。如本文所述,在一些示例中,该选择可包括在图2中所示的用户界面的上下文中所示的拖放操作。在一些示例中,该多个图像可被存储在计算系统200(例如,计算系统100)上和/或从另一计算系统(例如,计算系统101)接收。在一些示例中,在操作804处,计算系统显示用户界面以供用户预览和/或审阅要用来生成三维对象的三维表示的多个照片(或子集)。例如,预览用户界面300可以用于预览图像、修改图像的特性、掩蔽图像和/或精简图像的子集以用于网格重建。在操作806处,计算系统然后处理多个图像(或该多个图像的子集)以生成点云。在一些示例中,计算系统显示指示生成点云的过程的进度的用户界面,如用户界面400-500中所示。例如,用户界面可显示多个点的稀疏云,并且该多个点的外观可以在生成点云期间改变。附加地或另选地,在一些实施方案中,用户界面可以显示预览网格,用户可以使用该预览网格来设置或调整限界框。在这种情况下,可以或可以不向用户显示点云。附加地或另选地,在一些示例中,还可通过进度条和/或文本来指示进度。在操作808处,计算系统显示用户界面以使得用户能够应用和/或调整限界框来裁剪点云表示。例如,用户界面500示出了限界框504和用于调整限界框的放置和尺寸的用户界面元素(控制柄示能表示510和512)。在操作810处,计算系统显示用户界面以使得用户能够选择三维模型的质量水平并且发起从点云对三维模型的处理。例如,用户界面500示出了用于从点云创建三维模型表示的用户界面元素506和/或用于选择三维模型的质量的用户界面元素508。在一些示例中,当生成三维模型时,计算系统显示指示从点云生成三维模型的过程的进度的用户界面,如用户界面600中所示。例如,用户界面可以显示点云,并且该点云的多个点的外观可以在生成模型期间改变(例如,使点云的表示进度的部分变亮)。附加地或另选地,在一些示例中,还可通过进度条和/或文本来指示进度。
流程图900表示用于从捕获束生成三维模型的过程。在一些示例中,在操作902处,计算系统显示用户界面以供用户选择捕获束。在一些示例中,该选择可包括在图2中所示的用户界面的上下文中所示的拖放操作。在一些示例中,该捕获束可被存储在计算系统200(例如,计算系统100)上和/或从另一计算系统(例如,计算系统101)接收。如上所述,因为与多个照片相比,捕获束包括不同的或附加的信息(例如,深度信息、重力信息、方位信息等),所以流程图900可以任选地省略流程图800的处理多个原始图像的操作。在一些这样的示例中,捕获束可包括与由操作806生成的点云相同或相似的点云。在操作904处,计算系统显示用户界面以使得用户能够应用和/或调整限界框来裁剪点云表示(例如,对应于操作808)。在操作906处,计算系统显示用户界面以使得用户能够选择三维模型的质量水平并且发起从点云对三维模型的处理(例如,对应于操作810)。
在一些示例中,参考流程图800和/或900示出和描述的过程在包括显示器和用于接收用户输入的一个或多个输入设备(例如,键盘、鼠标、触摸板、触摸屏等)的计算机系统(例如,计算系统100、200,诸如台式或膝上型计算机、平板计算机、智能电话等)处执行。在一些示例中,参考流程图800和/或900示出和描述的过程由存储在非暂态计算机可读存储介质(例如,存储器104)中并且由计算系统的一个或多个处理器(诸如计算系统100的一个或多个处理器102)执行的指令管理或根据该指令执行。参考流程图800和/或流程图900示出和描述的过程中的一些操作被任选地组合和/或省略。在一些示例中,参考流程图800和/或900示出和描述的过程中的一些操作的顺序任选地改变。例如,在一些示例中,在流程图800中示出的过程可以跳过操作804和/或操作808(例如,在没有预览和/或裁剪的情况下生成点云和/或网格重建)。附加地或另选地,在一些示例中,在流程图800中示出的过程可被修改为在对应于操作804而不是操作810的用户界面处具有质量选择,和/或可以生成最终模型而不在操作806处示出中间点云的生成。附加地或另选地,流程图800中所示的过程可以在操作806之前设置限界框(例如,作为预览用户界面300的一部分)。附加地或另选地,流程图800中所示的过程可在操作808而不是操作810处提供质量选择。
以上参考图1至图9的描述主要集中于用于接收(例如,导入或以其他方式获得)与物理对象相关联的一组图像和/或捕获束并且使用这些图像和/或捕获束来生成该物理对象的虚拟表示的用户界面、设备和过程。如下文所述,电子设备可附加地或另选地包括各种用户界面以促进这些组图像和/或捕获束的初始捕获。
在一些示例中,电子设备(例如,计算系统100、101和/或200)提供便于捕获三维物理对象的图像以生成该物理对象的虚拟表示(诸如参考图4至图9所述的对象的点云表示和/或网格表示)的对象捕获用户界面(例如,与对象捕获应用相关联)。对象捕获用户界面可任选地用于捕获一组图像或捕获束,诸如参考图1至图9所述的该组图像和捕获束。
在一些示例中,对象捕获用户界面包括用于识别将为其生成虚拟表示的目标物理对象的第一对象捕获用户界面,以及用于在对象捕获过程期间(例如,在目标物理对象已被识别进行捕获并且电子设备已发起捕获目标物理对象的图像的过程之后)向用户提供各种类型的反馈的第二对象捕获用户界面。尽管图10至图28的示例描绘了示出在手持式设备诸如蜂窝式电话的显示器上的用户界面,但本文中所述的用户界面任选地在不同类型的电子设备上实现,诸如头戴式设备(例如,用于向用户呈现增强现实(AR)环境的头戴式耳机)、智能手表、平板计算机、膝上型计算机或另一类型的设备。
图10描绘了用于识别要捕获的目标物理对象的第一对象捕获用户界面1002。第一用户界面1002任选地呈现(例如,显示)在电子设备的显示器上,该显示器任选地是触摸屏显示器,诸如在计算系统100的显示器106上(例如,在手持式设备上)、基于投影的显示器(例如,在头戴式设备上)或另一类型的显示器。在一些示例中,视图由佩戴头戴式设备的用户查看(例如,由用户通过透明镜头作为透传视图来查看,而不被相机检测到)。物理环境的视图任选地是在电子设备的视场中(例如,由电子设备的传感器捕获的物理环境的区域)和/或在用户的视场内(例如,如果用户正在佩戴头戴式设备)的物理环境的实况视图。第一用户界面1002包括电子设备的物理环境的视图,该物理环境包括水壶1004和表面1010(其可以是例如桌面、地板或另一表面)。在一些示例中,视图由电子设备的一个或多个传感器检测,诸如由电子设备的一个或多个相机(例如,图像传感器116)检测。
在一些示例中,电子设备分析表示相机的实况视图的数据以识别电子设备的视场中的物理对象的各种物理特性,诸如通过识别物理对象的边缘和/或表面的位置、物理对象的高度、深度和/或宽度、对象是否搁置于物理表面(例如,表面1010)上和/或其他物理特性。在一些示例中,物理表面1010由电子设备(例如,使用相机和/或图像处理技术)基于具有任选地与物理环境的地板或地平面重合或平行(或例如在1度、3度、5度、7度、9度或11度平行范围内)的平面表面来识别。
在一些示例中,第一对象捕获用户界面1002包括二维虚拟标线1006(例如,具有限定二维标线区域1006e的顶点1006a-1006d)以帮助用户定位电子设备的视场,使得目标物理对象诸如水壶1004呈现(例如,显示)在虚拟标线1006内。虽然本文的示例将二维标线1006描绘为矩形形状,但是可以使用其他形状(例如,圆形、五边形、八边形等)而不脱离本发明的范围。
如图10的示例中所示,虚拟标线1006与物理环境的视图同时显示(例如,覆盖在其上)。在一些示例中,物理对象必须搁置在表面(例如,表面1010)上以供电子设备将该物理对象识别为目标物理对象。在一些示例中,显示第一对象捕获用户界面1002包括在虚拟标线1006的中心(例如,在虚拟标线和/或显示器的平面中)显示瞄准示能表示1008。在一些示例中,虚拟标线1006和/或瞄准示能表示1008被屏幕锁定(或者对于头戴式设备具体实施而言是头部锁定的),并且当电子设备在物理环境内移动以改变视场时保持锁定在显示器上和/或用户视场中的相同位置。
在一些示例中,虚拟标线(诸如虚拟标线1006)在目标物理对象已被识别之前被初始呈现第一视觉特性,并且随后在目标物理对象已被识别之后被呈现不同于第一视觉特性的第二视觉特性(例如,以向用户提供物理对象已被识别用于对象捕获的反馈)。例如,虚拟标线任选地初始被呈现为具有第一颜色、透明度、线宽、线图案(例如,虚线、实线、连接、未连接)、形状、亮度和/或其他视觉特性,并且在物理对象已被识别之后(例如,响应于在虚拟标线1006内检测到目标物理对象和/或响应于接收到确认目标物理对象的识别的用户输入)任选地呈现第二颜色、透明度、线宽、线图案(例如,虚线、实线、连接、未连接)、形状、亮度和/或其他视觉特性。
在图10的示例中,虚拟标线1006初始被显示为矩形的四个未连接的顶点1006a-1006d(例如,拐角)(例如,在电子设备已识别目标物理对象进行捕获之前),其中瞄准示能表示1008位于虚拟标线1006的中心。
在一些示例中,电子设备确定表面(例如,表面1010)上的物理对象(例如,水壶1004)是否部分或完全包含(例如,显示)在虚拟标线1006的区域1006e内(例如,在由四个未连接拐角1006a-1006d限定的矩形区域内)。例如,电子设备任选地确定用户已使物理对象居中还是以其他方式定位在虚拟标线1006中和/或视场是否在距物理对象适当距离处,使得物理对象的全部或大部分呈现于显示器上的虚拟标线1006内,以及瞄准示能表示1008覆盖目标物理对象的中心区域(例如,在包括目标物理对象的几何中心的区域中)。
在一些示例中,如果电子设备确定表面上的物理对象并非至少部分地(例如,物理对象的视场的至少30%、40%、50%、60%、70%、80%或90%)或任选地全部(例如,100%)呈现于虚拟标线1006的区域内(例如,在由四个未连接拐角1006a-1006d限定的矩形区域内),那么电子设备任选地向用户提供反馈以警示用户电子设备的视场需要移动使得目标物理对象在虚拟标线1006的区域内(例如,由该虚拟标线的区域覆盖),诸如下文所述。
在一些示例中,响应于确定表面上的物理对象并非大部分或全部在虚拟标线1006的区域内(诸如图10中所描绘),电子设备通过视觉振动(例如,摇动)虚拟标线1006的所显示图像和/或通过提供不同形式的警报(诸如通过显示不同视觉警报、显示文本消息1012、发出可听警报(例如,使用扬声器108)和/或发出触觉警报(例如,物理振动电子设备的一部分,诸如使用触觉发生器124或125))来向用户提供反馈。任选地,文本消息和/或可听警报向用户提供指导以指示用户如何相对于物理对象适当地定位电子设备的视场以使得对象捕获过程能够继续进行。
在图10的示例中,电子设备确定水壶1004并非大部分或全部包含在虚拟标线1006的区域内,并且作为响应,电子设备通过视觉振动(例如,摇动)虚拟标线1006的所显示图像(如由拐角1006a-1006d附近的Z字形线所指示)来向用户提供反馈,显示文本消息1012,并且(任选地)显示继续示能表示1008,该继续示能表示在被选择时使得电子设备重新确定目标物理对象是否适当地位于虚拟标线1006的区域内,并且/或者继续进行对象捕获过程。例如,响应于接收到反馈诸如文本消息1012,用户可移动电子设备的视场以更好地将水壶1004定位在虚拟标线1006内并且可选择继续示能表示1008以使得电子设备前进到对象捕获过程的下一步骤。任选地,电子设备基于用户输入来检测对继续示能表示1008的选择,该用户输入可包括用户在触摸屏上轻击示能表示1008、使用鼠标点击来选择示能表示1008、看向示能表示1008并且/或者做出空中手势(例如,在佩戴头戴式设备时)、和/或通过提供其他用户输入。
从图10到图11,用户已移动电子设备的视场,使得水壶1004大部分在虚拟标线1006的区域内,但不在虚拟标线1006的中心或位于该虚拟标线内。在一些示例中,如果电子设备确定物理对象(例如,水壶1004)大部分或全部包含在虚拟标线1006的区域1006e内(例如,在由四个未连接顶点1006a-1006d限定的矩形区域内)但不在虚拟标线中居中(例如,瞄准示能表示1008距物理对象的质心或几何中心大于阈值虚拟距离(在显示器上))和/或物理对象的边缘与虚拟标线1006的区域的边界之间超过阈值距离1102(例如,在显示器上的虚拟距离),那么电子设备向用户提供反馈以警示用户电子设备的视场应移动,使得目标物理对象在虚拟标线1006中居中和/或使得目标物理对象的边缘与虚拟标线1006的矩形区域的边界之间小于阈值距离,诸如通过显示文本消息1116、视觉振动虚拟标线1006、发出可听警报(例如,使用扬声器108)和/或发出触觉警报(例如,物理振动电子设备的一部分)。任选地,文本消息和/或可听警报向用户提供指导以指示用户如何相对于物理对象适当地定位电子设备的视场以使得对象捕获过程能够继续进行。
如图12所示,在一些示例中,如果电子设备确定水壶1004大部分或全部在虚拟标线1006的区域1006e内(例如,在由四个未连接拐角限定的矩形区域内)、在虚拟标线1006中居中,和/或在水壶1004的一个或多个边缘与虚拟标线1006的区域的一个或多个边缘之间小于阈值距离1202(例如,指示电子设备的视场使得已识别目标对象并且对象捕获可开始),那么电子设备改变虚拟标线1006的视觉特性以向用户指示电子设备的视场现在处于适当位置以开始对象捕获过程。例如,电子设备任选地改变虚拟标线1006的颜色、形状、厚度、不透明度、线宽或其他视觉特性。
在一些示例中,用户可通过选择虚拟标线1006的一部分并且提供拖动输入来手动地调整二维虚拟标线1006的尺寸(任选地,在已识别目标物理对象和/或虚拟标线1006的视觉特性被改变之前或之后)。例如,用户可任选地点击(使用鼠标)、轻击虚拟标线1006(例如,在手持式设备的触摸屏上)以选择虚拟标线1006、使用出现在显示器中的物理或虚拟手指的图像来虚拟轻击虚拟标线1006,或可任选地看向虚拟标线1006并提供空中手势诸如空气捏合手势(例如,在佩戴具有眼睛跟踪传感器和/或其他图像传感器的头戴式设备时)以选择虚拟标线1006。在选择虚拟标线1006之后,用户接着可通过在例如触摸屏上提供拖动输入(例如,包括第一拖动量)或者通过做出由头戴式设备检测的空气拖动手势(任选地,同时将手指或手部保持在特定位置,诸如捏合位置)来调整虚拟标线1006的尺寸。在一些示例中,电子设备根据第一拖动量来调整虚拟标线1006的尺寸,诸如通过将虚拟标线1006的所选边缘移动与第一拖动量相对应的量来扩展虚拟标线1006的区域。在一些示例中,响应于检测到调整虚拟标线1006的尺寸的用户输入,电子设备停止自动调整虚拟标线1006的尺寸。
在一些示例中,响应于确定已识别目标物理对象而改变虚拟标线1006的视觉特性包括呈现将二维虚拟标线1006转换成虚拟三维形状(例如,三维限界框)的动画,该虚拟三维形状在显示器上(或在佩戴头戴式设备的用户的视场中)视觉地包围目标物理对象中的一些或全部,诸如以下参考图13至图17更详细描述的。
任选地,如果电子设备确定水壶1004完全在虚拟标线1006的区域内、在虚拟标线1006中居中、和/或在目标物理设备的边缘与虚拟标线1006的矩形区域的边界之间小于阈值距离1202,那么电子设备显示捕获发起示能表示1204,该捕获发起示能表示在被选择时使得电子设备呈现将二维虚拟标线1006转换成虚拟三维形状的动画。任选地,电子设备基于用户输入来检测对捕获发起示能表示1204的选择,该用户输入可包括用户在触摸屏上轻击示能表示1204、使用鼠标点击来选择示能表示1204、看向示能表示1204并且/或者做出空中姿势(例如,在佩戴头戴式设备时)、和/或通过提供其他用户输入。任选地,电子设备在显示物理环境的视图和二维虚拟标线1006的同时显示捕获发起示能表示1204。
图13至图14描绘了在二维虚拟标线1006到三维限界框的示例性动画过渡期间的两个离散时间,其中虚拟标线1006的拐角首先朝向彼此延伸(图13),任选地直到它们结合以在显示器的平面中形成矩形的完整轮廓(图14)。任选地,虚拟标线1006的拐角朝向彼此延伸,但是没有延伸得足够远以彼此连接并形成二维形状(例如,矩形)的完整轮廓,从而保持不连接。
在一些示例中,在将虚拟标线1006的拐角延伸到最终延伸(例如,以形成矩形或其他形状的轮廓)(诸如图14中所示)之后,电子设备通过在一段时间内将虚拟标线1006从显示器的平面视觉地旋转到物理表面1010的平面上使得虚拟标线1006看起来搁置在物理表面1010的平面或略高于该平面并环绕(例如,围绕)目标物理对象(例如,水壶1004)的底部部分来继续该动画。任选地,在该转变期间继续显示瞄准示能表示1008。图15描绘了动画的该部分的表示。尽管在图15中用箭头示出了两个标线,以示出当虚拟标线1006旋转到表面1010的平面上时该虚拟标线的起始位置与结束位置之间的运动,但是任选地,电子设备实际上仅显示一个动画标线并且不显示箭头。
如图16至图17所示,在一些示例中,在将虚拟标线1006旋转到表面1010的平面上之后,电子设备通过向二维虚拟标线1006的轮廓添加高度以转变为显示围绕水壶1004的至少一部分的虚拟三维限界形状1602的轮廓来继续该动画(例如,使得水壶1004的一些或全部被包含在限界形状1602的体积1602a内)。在一些示例中,三维限界形状1602的底部表面1602b(例如,基底)对应于虚拟标线1006的形状。在本文的示例中,虚拟标线1006是矩形,并且因此三维限界形状1602的基底也是矩形(例如,限界形状1602是立方体,其可以被称为限界框)。例如,如果虚拟标线是圆形,则三维限界形状将任选地是圆柱体,以此类推。
在一些示例中,电子设备基于检测到的物理对象的高度、宽度和/或深度来自动地选择和/或调整虚拟三维限界形状1602的高度、宽度和/或深度。例如,电子设备任选地基于对象的一个或多个视图来估计物理对象的高度、宽度和/或深度,并且自动地(例如,而无需用户干预)向虚拟限界形状1602添加足够的高度、宽度和/或深度,使得虚拟限界形状1602足够高和/或足够宽以将物理对象包围(或几乎包围)在限界形状1602的体积1602a内。在一些示例中,物理对象的估计尺寸的准确度取决于由电子设备检测到的物理对象的视图,并且电子设备任选地基于当用户在物理对象周围移动电子设备的视场时检测到物理对象的新视图来调整(例如,自动地)限界形状1602的高度、宽度和/或深度。
如图17所示,在一些示例中,显示动画和/或显示虚拟限界形状1602任选地包括在虚拟限界形状1602的一个或多个边缘和/或表面上显示一个或多个虚拟控制柄示能表示1702a-1702e,诸如虚拟限界形状1602的顶部部分和/或虚拟限界形状的底部部分的边缘或表面。在图16的示例中,虚拟限界形状1602包括在第一边缘上的第一控制柄示能表示1702a、在第二边缘上的第二控制柄示能表示1702b、在第三边缘上的第三控制柄示能表示1702c以及在第四边缘上的第四控制柄示能表示1702d。虚拟限界形状1602还包括在虚拟限界形状1602的顶部表面的中心的中心控制柄示能表示1702e。在一些示例中,控制柄示能表示1702a-1702e被显示在虚拟限界形状1602的顶部部分中,诸如在虚拟限界形状1602的顶部表面的平面中。
在一些示例中,电子设备在向虚拟标线添加高度以形成虚拟限界形状1602的同时和/或在虚拟限界形状1602的高度已经停止增加之后显示控制柄示能表示1702a-1702e。在一些示例中,显示控制柄示能表示1702a-1702e包括显示与控制柄示能表示1702a-1702e相关联的照明效果,诸如在控制柄示能表示1702a-1702e周围显示虚拟辉光和/或显示控制柄示能表示1702a-1702e的虚拟反射(例如,这使得控制柄示能表示1702a-1702e类似于橱柜上的控制柄示能表示看起来有光泽或金属感,和/或向用户建议控制柄示能表示1702a-1702e是可选择的并且能够被“拉动”)。
在一些示例中,由电子设备显示的控制柄示能表示1702a-1702e的数量和/或位置取决于电子设备相对于物理对象的视角。例如,在一些示例中,电子设备响应于检测到电子设备相对于物理对象的视角改变(诸如当电子设备的视场移动得更靠近底部表面的平面的高程时)而在虚拟限界框的底部表面1602b的平面中心显示底部控制柄示能表示(未示出)。在一些示例中,底部控制柄示能表示的显示随着电子设备被移动得更靠近底部表面的平面的高程而在视觉显著性方面增加(例如,通过增加尺寸和/或不透明度,和/或以另一方式),任选地直到底部控制柄示能表示被显示为具有与控制柄示能表示1702a-1702e相同或相似的视觉显著性。在一些示例中,响应于检测到与第一对象捕获用户界面相关联的光标和/或用户的手指正悬停在相应控制柄上方,电子设备在视觉上增加相应控制柄的尺寸和/或以其他方式改变相应控制柄的视觉特性。
在一些示例中,控制柄示能表示1702a-1702e可由用户选择并被拖动以调整虚拟限界形状1602的尺寸。例如,响应于检测到与第二控制柄示能表示1702b的选择相对应的第一用户输入以及与所选第二控制柄示能表示1702b的第一拖动量相对应的第二用户输入(例如,触摸屏上的轻击和拖动输入、或由头戴式设备检测到的凝视、捏合和拖动移动),电子设备根据第一拖动量来调整虚拟限界形状1602的尺寸,如图17A所示,其中用户已选择第一控制柄示能表示1702a并将其拖动到屏幕的右侧(从用户的角度)以加宽限界形状1602。因此,控制柄示能表示1702a-1702e任选地允许用户竖直地(例如,使用中心控制柄示能表示1702e或底部控制柄,未示出)或水平地(例如,使用控制柄示能表示1702a-1702d)来手动调整虚拟限界形状1602的尺寸以改变高度、宽度、深度或这些的组合,诸如当虚拟限界形状1602不自动调整尺寸以包围全部目标物理对象时可能是期望的。
在一些示例中,响应于检测到用户注意力指向特定控制柄示能表示1702a-1702e,电子设备诸如通过增加特定控制柄示能表示1702a-1702e的尺寸或亮度或相对于其他控制柄示能表示改变其颜色来增加其视觉显著性。在一些示例中,电子设备基于用户凝视的方向(例如,如果用户正看向控制柄示能表示)、基于用户提供使得光标在控制柄示能表示上悬停的输入、基于用户在控制柄示能表示上轻击(例如,在触摸屏上)或基于其他用户输入来确定用户的注意力指向控制柄示能表示。
在一些示例中,响应于检测到调整虚拟限界形状1602的尺寸的用户输入,电子设备停止自动调整虚拟限界形状1602的尺寸(例如,响应于检测到物理对象的新视图)。在一些示例中,响应于检测到用户已选择相应控制柄示能表示1702a-1702e,电子设备在视觉上增加相应控制柄示能表示1702a-1702e尺寸和/或以其他方式改变相应控制柄的视觉特性。
在一些示例中,电子设备基于目标物理对象的检测到的尺寸在动画之前、期间和/或之后自动地调整二维虚拟标线1006和/或三维限界形状1602的尺寸(例如,如先前描述的),使得虚拟标线1006和/或限界形状1602包围(例如,限定)目标物理对象显示的全部或大部分,和/或使得虚拟标线1006的边缘和/或限界形状1602的边缘或表面与目标物理对象的边缘之间的虚拟距离(例如,图12的距离1202)小于阈值距离。
返回到图17,在一些示例中,在电子设备已显示(和/或正在显示)限界形状1602之后和/或同时,电子设备显示继续示能表示1704,该继续示能表示在被选择时任选地使得电子设备向用户显示提示以开始诸如参考图18所述的对象捕获过程。
图18描绘了响应于检测到对图17(或图17A)中的继续示能表示1704的选择而由电子设备任选地显示的提示1802的示例。在一些示例中,提示1802包括图形提示,该图形提示任选地包括电子设备的表示1806和/或物理对象的表示1808,并且向用户指示了如何使用电子设备开始捕获过程。在一些示例中,提示1802包括向用户指示如何开始捕获过程的文本信息1804。例如,如图18中所示,提示1802任选地包括文本消息1804,该文本消息指示用户在物理对象周围移动电子设备的视场以使得电子设备能够从多个视角(诸如从物理对象周围的360度)捕获物理对象的图像以使得电子设备能够构建物理对象的准确虚拟表示。
如先前所讨论的,在一些示例中,对象捕获用户界面任选地包括用于在对象捕获过程期间(例如,在已识别目标物理对象进行捕获并且已发起捕获过程之后,诸如参考图10至图17A所述)向用户提供反馈的第二对象捕获用户界面。
图19描绘了在对象捕获过程期间由电子设备任选地显示的第二对象捕获用户界面(捕获用户界面1902)的示例。在一些示例中,捕获用户界面1902在对象捕获过程期间向用户提供反馈以确保从物理对象的各种视角获得足够数量和/或质量的物理对象的图像,由此使得电子设备能够构建物理对象的准确三维表示。
在一些示例中,电子设备响应于检测到(任选地,在检测到如图17中所示的对继续示能表示1704的选择之后和/或在如图18中所示的显示提示1802之后)电子设备的视场相对于目标物理对象改变而发起捕获过程;例如,当用户在目标物理对象周围走动时,电子设备的视场指向该物理对象。在一些示例中,发起捕获过程包括显示捕获用户界面1902和/或在显示捕获用户界面1902时(例如,响应于相同或相似的输入)开始自动地(例如,而无需附加用户输入)捕获(例如,物理对象的)图像。例如,电子设备任选地通过每隔0.25秒、0.5秒、0.75秒、1秒、1.25秒、1.5秒、1.75秒、2秒、2.5秒或3秒自动开始捕获图像和/或响应于检测到电子设备的视场改变而开始捕获过程。
任选地,捕获用户界面包括捕获示能表示1912,该捕获示能表示在被用户选择时使得电子设备捕获图像。例如,捕获示能表示1912任选地是与用于捕获图像的物理相机按钮类似地起作用的手动图像捕获示能表示。任选地,响应于检测到对捕获示能表示1912的选择,电子设备停止图像的自动捕获。任选地,电子设备在检测到对捕获示能表示的选择之后继续自动地捕获图像1912。任选地,电子设备响应于对捕获示能表示1912的选择而根据确定电子设备在捕获图像之后尚未移动而放弃图像的自动捕获(例如,以避免捕获重复图像)。
如图19所示,捕获用户界面1902包括物理环境的实况视图;例如,电子设备的视场。在图19的示例中,电子设备的视场包括参考图10至图17A所述的水壶1004和表面1010。捕获用户界面1902包括中心元素1906和围绕中心元素1906的周边周向布置的多个外围元素(包括外围元素1904a-1904c)。在一些示例中,外围元素围绕周边布置,并且在每个外围元素的边缘与周边之间具有一定距离(例如,外围元素靠近但不接触周边)。中心元素1906和外围元素覆盖在实况视图上,使得用户可以同时看到实况视图、中心元素1906和外围元素。在图19的示例中,中心元素1906是圆形的,并且外围元素被示为从中心元素1906的周边辐射的均匀间隔的相邻射线,每条射线对应于物理对象的相应视角。其他配置是可能的。例如,在一些示例中,中心元素是与圆形不同的形状,诸如正方形或椭圆形。在一些示例中,外围元素任选地是单个用户界面元素的片段,诸如围绕中心元素的空心盘的片段。
在一些示例中,围绕中心元素1906的周边的外围元素的位置对应于相对于物理对象的观看视角。例如,中心元素1906的左侧上的外围元素(诸如外围元素1904b)任选地对应于从物理对象的左侧(相对于物理对象的当前视图)看到的物理对象的观看视角,从而向用户指示如果用户希望捕获物理对象的该视角的图像,则用户应当沿着围绕物理对象的周边向左移动电子设备的视场。以此方式,中心元素1906和外围元素可充当用户的地图并且帮助引导用户从不同视角捕获物理对象的图像。
在一些示例中,从中心元素1906辐射的相应外围元素的长度响应于检测到用户已将电子设备的视场移动到对应于相应外围元素的视角而增加。在一些示例中,相应外围元素的长度、厚度和/或不透明度响应于检测到电子设备已捕获到物理对象的一个或多个图像(从对应于相应外围元素的视角)而增加。例如,任选地,电子设备拉长外围元素以指示电子设备的当前视角,并且/或者任选地,在已从该视角捕获一个或多个图像之后,使外围元素变暗。
在图19的示例中,外围元素1904b比外围元素1904a和1904c更长且更暗,从而指示已从与外围元素1904b相关联的视角捕获一个或多个图像并已从与外围元素1904a和1904c相关联的视角捕获较少(或没有)图像。因此,在一些示例中,相对于电子设备的当前视角(例如,电子设备的当前视场),外围用户元素任选地向用户指示物理对象的哪些视角已被捕获以及哪些视角尚未被捕获。任选地,对应于相应视角的外围元素在图像已在相应视角处被捕获之后保持拉长并变暗。图20至图23更详细地示出了这些特征。
在图19的示例中,中心元素1906被描绘为不透明的(例如,表面1010通过中心元素1906不可见)。在一些示例中,中心元素是部分或完全透明的。在一些示例中,中心元素1906被显示在物理表面1010的平面中(或与其平行),使得中心元素1906看起来与物理表面1010上的物理对象(例如,水壶1004)相邻。在一些示例中,中心元素1906用作视觉平台,当由电子设备构建物理对象的虚拟表示时,将在该视觉平台上显示该虚拟表示的预览1908。
在一些示例中,在作为图像捕获过程的一部分捕获到任何图像之前,中心元素1906是空的(例如,没有物理对象的虚拟表示的预览被显示在中心元素上),并且以一种或多种第一视觉特性显示外围元素。例如,任选地,初始以第一透明度、第一长度、第一颜色、第一亮度或其他第一视觉特性显示外围元素。在一些示例中,一旦电子设备已从给定视角捕获一个或多个图像,便以第二视觉特性显示对应于该视角的外围元素以在视觉上区分表示已捕获图像的视角的外围元素与表示尚未捕获图像的视角的外围元素,如先前所讨论的。在一些示例中,一旦电子设备已捕获到物理对象(例如,水壶1004)的一个或多个图像,电子设备便开始构建物理对象(例如,虚拟模型)的三维虚拟表示的预览1908。在一些示例中,物理对象的虚拟表示的预览1908是随着点云表示被构建和/或细化而在捕获过程期间随时间改变的点云表示的预览。例如,随着更多图像被捕获,电子设备可使用附加图像来生成点云中的附加点并将它们添加到预览1908,和/或电子设备可通过调整现有点的颜色和/或尺寸来细化预览1908中现有点的显示。
在图19的示例中,外围元素的一部分变暗并拉长(例如,包括外围元素1904b),从而指示已从这些视角捕获水壶1004的图像,但尚未从其他视角捕获图像。水壶1004的虚拟表示的预览1908相应地部分完成,因为它是基于不完整的一组捕获图像构建的。
在一些示例中,随着电子设备在水壶1004周围移动,电子设备根据在电子设备的视场中的水壶1004的视角改变来改变水壶1004的虚拟表示的预览1908的视角,使得虚拟表示的预览1908的视角反映(例如,对应于、匹配、跟随)水壶1004的视角。例如,用户可以从与物理对象相同的视角看到虚拟表示。
在一些示例中,当捕获每个图像时,电子设备在捕获用户界面1902中显示瞬时视觉指示和/或呈现听觉指示。例如,每当捕获图像时,电子设备任选地显示闪光,诸如通过短暂地点亮中心元素1906和/或捕获用户界面的另一元素,和/或任选地发出指示捕获图像的声音(例如,相机快门声音、点击或另一声音)。
如图19所示,在一些示例中,捕获用户界面1902包括从最大数量的图像中捕获的图像数量的指示1910。图像的最大数量任选地取决于特定的电子设备(例如,基于电子设备的存储容量和/或其他因素)。在一些示例中,每当在捕获过程期间捕获图像时,电子设备递增图像的数量。任选地,电子设备放弃显示最大数量的图像。
如图19至图21所示,在一些示例中,随着用户在水壶1004周围移动电子设备的视场,并且电子设备继续从不同视角捕获水壶1004的更多图像,对应的外围元素被显示为更暗更长以指示物理对象的附加视角的图像已被捕获,并且水壶的虚拟表示的对应更新的预览1908被显示在中心元素1906上或上方。例如,在图20中,外围元素1904c被显示为比其在图19中更暗更长,从而指示已从对应于外围元素1904c的视角捕获附加图像。
在一些示例中,电子设备基于针对电子设备相对于物理对象的对应视角所捕获的图像的数量而改变相应外围用户界面元素的视觉特性。例如,随着针对物理对象的相应视角捕获更多图像,根据所捕获的图像数量增加,对应的外围元素被任选地显示为逐渐变得更暗和/或更长。
在一些示例中,虚拟表示的预览1908相对于中心元素1906的位置和/或取向根据水壶1004的观看视角改变而改变。例如,如图20至图21中所示,当电子设备的视场沿着(例如,围绕)水壶1004的周边移动使得水壶1004的不同视角在显示器上可见时,虚拟表示的预览1908的对应不同视角被显示为使得虚拟表示的视图反映(例如,匹配、对应)水壶1004的视图。
如参考图22至图24所述,在一些示例中,响应于检测到电子设备的当前视场和/或当前环境条件不适合于捕获高质量图像,电子设备向用户提供反馈,该反馈指导用户改变电子设备的视场的位置和/或取向,或者改变物理对象周围的环境照明,或者采取其他动作来改善物理对象的随后捕获的图像的质量。例如,电子设备任选地显示图形和/或文本反馈。在一些示例中,这样的反馈任选地包括改变第二对象捕获用户界面中的中心元素和/或外围元素的视觉特性。在一些示例中,当电子设备的当前视场和/或当前环境条件保持不适合于捕获高质量图像时,电子设备停止自动捕获对象的图像。
图22示出了其中环境照明不足以使电子设备捕获水壶1004的高质量图像的示例;例如,物理环境中的照明低于照明阈值。响应于检测到与水壶1004相关联的照明低于照明阈值,电子设备向用户提供指示照明不足(例如,“需要更多的光”)的图形和/或文本反馈2202。在一些示例中,如果电子设备检测到照明已改变为足以捕获高质量图像,那么电子设备停止显示图形和/或文本反馈2202。
图23示出了其中用户已移动电子设备的视场使得水壶1004不再在显示器中居中并且部分地偏离显示器(例如,部分地离开电子设备的视场)的示例。物理对象的虚拟表示的预览1908同样部分地偏离中心元素1906,从而在显示器上反映水壶1004的位置。在一些示例中,根据确定随着电子设备相对于物理对象移动,物理对象正移出电子设备的视场,该电子设备将该物理对象的虚拟表示的预览1908朝向(或偏离)中心元素1906的边缘移动。
如图23所示,在一些示例中,响应于检测到电子设备的视场中物理对象的位置未近似在电子设备的视场中居中和/或至少部分地在电子设备的视场之外,电子设备向用户提供指示用户应当移动电子设备的视场的图形反馈2302和/或文本反馈2304,任选地包括用户应当移动视场的方向的指示。
在图23的示例中,电子设备显示指向左侧(朝向物理对象)的箭头和文本消息(“瞄准对象”),从而向用户指示用户应当将电子设备的视场向左移动以使物理对象在视场中重新居中。根据物理对象相对于视场的位置,电子设备任选地视情况为其他方向(例如,指向右侧、向上或向下的箭头)提供类似的反馈,以指示用户应当移动电子设备的视场的方向。
在一些示例中,根据确定随着电子设备相对于物理对象移动,物理对象正移出电子设备的视场,中心元素1906、外围元素(例如,外围元素1904a-1904c)和/或物理对象的虚拟表示的预览1908的至少一部分淡出(例如,变得更透明)。在一些示例中,淡化的量和位置对应于物理对象在电子设备的视场之外的量。在一些示例中,中心元素1906和/或外围元素以空间梯度(例如,透明度的渐变空间过渡)淡出,其中这些元素的更远离虚拟表示的预览1908的部分比更接近虚拟表示的预览1908的部分淡化更多。
在一些示例中,如果电子设备检测到视场已被移动为使得物理对象再次被显示在显示器上和/或在视场中重新居中,那么电子设备停止显示图形和/或文本反馈并且/或者显示中心元素、外围元素和/或虚拟表示的预览而不淡化。
图24示出了用户已将电子设备的视场移动为使得电子设备太靠近水壶1004并且水壶1004的一部分不再显示在显示器上的示例。如图24所示,在一些示例中,响应于检测到电子设备的视场太靠近物理对象(例如,在物理对象的阈值距离内)和/或物理对象至少部分地在视场之外同时物理对象近似居中于视场中(指示电子设备太靠近物理对象),电子设备向用户提供指示用户应当将电子设备的视场移动得更远离物理对象的图形和/或文本反馈。
在图24的示例中,电子设备显示文本消息2402(“移远一点”),其向用户提供了关于重新定位电子设备的视场的引导,并且附加地或另选地通过淡出中心元素1906的一部分和外围元素中的至少一些(例如,外围元素1904a)来提供向用户指示用户应当将电子设备的视场移动得更远离水壶1004的图形反馈。在一些示例中,中心元素1906和/或外围元素的位置(例如,在中心元素1906周围)和淡化量基于电子设备与物理对象有多近;例如,电子设备越靠近物理对象,淡化量越大(例如,透明度越大),并且中心元素1906和外围元素被淡化的部分越大。例如,电子设备任选地通过淡化最靠近用户的中心元素和外围元素的部分来开始,并且随着用户将电子设备移动得更靠近物理对象而继续淡化中心元素和/或附加外围元素的附加部分。
在一些示例中,如果电子设备检测到视场已移动为使得视场不再过于靠近物理对象(例如,物理对象再次完全显示在显示器上和/或在视场中居中),那么电子设备停止显示图形和/或文本反馈,任选地通过随着用户将电子设备移回远离物理对象而淡入中心元素和/或外围元素(例如,降低其透明度)。
尽管图24未示出,但在一些示例中,如果视场离物理对象太远,那么电子设备向用户提供如图24中所描绘的相似反馈(例如,通过显示文本消息诸如“移近一点”和/或通过根据电子设备与物理对象之间的距离来改变中心元素和/或外围元素的透明度)。
在一些示例中,如果电子设备确定电子设备相对于物理对象移动得比阈值速度更快,那么电子设备向用户提供指示用户应当更慢地移动电子设备的图形和/或文本反馈。
任选地,参考图10至图24所述的对象捕获过程是对象捕获过程的第一部分,其对应于在对象相对于物理表面处于第一取向(例如,直立,如图10中的水壶1004所示)时捕获物理对象的图像。在一些示例中,图像捕获过程任选地包括对象识别和图像捕获过程的两个或更多个部分(其可包括重复或迭代),对象识别和图像捕获过程各自在物理对象相对于物理表面处于不同取向时执行,以使得电子设备能够基于在物理对象处于两个或更多个不同取向时捕获到的图像来构建物理对象的更准确的总体虚拟表示。
在一些示例中,当电子设备确定第一图像捕获过程完成时(例如,在已经以阈值数量的视角捕获阈值数量的图像之后,在已构建物理对象的第一虚拟表示之后,基于与终止第一图像捕获过程的请求相对应的用户输入,和/或基于另一标准),电子设备确定物理对象是否是“可翻转的”—例如,物理对象是否可以在其一侧翻转(例如,移动到相对于物理表面的第二取向),使得电子设备能够在物理对象处于第二取向时捕获物理对象的第二组图像。如果电子设备确定对象是可翻转的(例如,基于与分析物理对象和/或表面相关联的各种启发法),则任选地,电子设备显示提示用户改变物理对象相对于表面的取向的提示。
图25描绘了在第一图像捕获过程完成之后电子设备任选地显示的提示2502。提示2502包括提示用户改变物理对象的取向的文本消息2512,诸如通过将物理对象翻转到其一侧。任选地,提示2508包括在第一图像捕获过程中捕获的物理对象(图10的水壶1004)的表示。任选地,提示2502包括可基于在不同取向扫描相同物理对象来执行的不同图像捕获过程的数量的指示2510。在图25的示例中,提示2502指示电子设备可(任选地)执行三个单独的图像捕获过程,同时物理对象被放置在三个相应定向中。任选地,指示2510诸如通过呈现对应于每个图像捕获过程的单独指示并且在视觉上区分对应于已完成的图像捕获过程的指示来指示图像捕获过程中的一者或多者是否已完成。例如,如果第一图像捕获过程已完成,则指示2510可包括与第一图像捕获过程相关联的视觉突出显示(在图25中被示为围绕“1”的较暗圆圈)。
提示2502包括完成示能表示2506,该完成示能表示在被选择时使得电子设备显示物理对象的部分或完整虚拟表示和/或退出图像捕获用户界面(例如,不执行第二图像捕获过程)。
提示2502包括继续示能表示2504,该继续示能表示在被选择时使得电子设备发起与参考图10至图24所述类似的第二图像捕获过程。
在一些示例中,响应于检测到图25中对继续示能表示2504的选择,电子设备显示图26中示出的包括文本消息2606和/或图形指示2604的另一提示2602,该提示提示用户将物理对象的取向改变到期望取向(例如,由电子设备指定的第二取向),诸如通过将物理对象翻转到其一侧和/或图形地示出物理对象的期望取向以及电子设备相对于物理对象的对应运动和位置。任选地,提示2602包括继续示能表示2608,该继续示能表示在被选择时使得电子设备显示由虚拟标线覆盖的环境的实况视图,如图27中所示。任选地,电子设备响应于检测到电子设备的运动、响应于检测到自显示提示2602起已过去了阈值量的时间、或者响应于另一类型的输入来显示该实况视图和虚拟标线。
图27描绘了与图10中介绍的相同的用户界面1002,但是在该图中,水壶1004已经(由用户)以与图10中不同的取向侧放。图27中所示的用户界面元素对应于图10中所示的那些,并且用于在不同取向捕获水壶1004的图像的过程任选地如参考图10至图20所述的那样进行。例如,响应于检测到水壶1004的视图在虚拟标线1006中居中,电子设备任选地显示将二维虚拟标线转换成三维限界形状的动画,如图28所示。响应于检测到图28中对继续示能表示1704的选择,电子设备显示如图29中所示的捕获用户界面1902(例如,如图19中所介绍的),并且任选地发起对水壶1004的图像的捕获。
如图29中所示,在第二图像捕获过程期间,电子设备基于在水壶1004处于第二取向时捕获到的水壶1004的图像来构建水壶1004的第二虚拟表示(例如,第二点云表示)的预览2908。任选地,在完成第二图像捕获过程之后(以及任选地,在完成附加图像捕获过程之后),电子设备合并由不同图像捕获过程生成的图像和/或虚拟表示以生成物理对象的合成虚拟表示,诸如点云表示或网格表示。
任选地,电子设备在显示器上显示物理对象的合成虚拟表示。
图30至图31示出了根据本公开的示例的用于捕获物理对象捕获的图像的过程的示例性流程图。过程3000表示用于识别要捕获的物理对象的过程,并且过程3100表示用于捕获所识别的物理对象的图像的过程。
图30描绘了可由与显示器通信(例如,包括和/或交换信号)的电子设备(例如,计算机系统100、101和/或200)执行的过程3000。在操作3002处,当呈现物理环境的视图时,电子设备使用显示器显示覆盖有物理环境的视图的二维虚拟标线。例如,电子设备显示如图10所示的虚拟标线1006,其覆盖包括水壶1004和表面1010的物理环境的视图。虚拟标线具有一定区域(例如,区域1006e)并且显示于显示器的平面中,诸如图10中所示。
在操作3004处,根据确定满足一个或多个标准,其中该一个或多个标准包括当虚拟标线的区域在显示器上覆盖物理对象的至少一部分(例如,图10中的标线1006覆盖水壶1004的一部分)时满足的标准,电子系统使用显示器显示将虚拟标线转换成围绕物理对象的该至少一部分的虚拟三维形状的动画,诸如参考图13至图17所述。在一些示例中,该一个或多个标准包括当物理对象在物理环境中的物理表面上(例如,水壶1004在表面1010上)时满足的标准。在一些示例中,该一个或多个标准包括当物理对象完全在虚拟标线的区域内、在虚拟标线中居中和/或在目标物理设备的边缘与虚拟标线的矩形区域的边界之间小于阈值距离时满足的标准,诸如参考图12所述。在一些示例中,该一个或多个标准包括当检测到对捕获示能表示的选择时满足的标准(例如,图12中示出的捕获示能表示1204)。
任选地,在操作3006处,在一些示例中,根据确定不满足一个或多个标准,电子设备向该电子设备的用户提供反馈。例如,响应于确定水壶1004不在虚拟标线1006中居中和/或水壶1004的一部分在虚拟标线1006之外,电子设备向用户提供反馈(例如,文本消息1012、1116和/或虚拟标线1006的振动),如参考图10至图11所述。
图31描绘了可由与显示器通信(例如,包括和/或交换信号)的电子设备(例如,计算机系统100、101和/或200)执行的过程3100。
在操作3102处,电子设备发起用于生成在电子设备的视场内的物理对象的三维虚拟表示的捕获过程,其中该捕获过程包括捕获物理对象的多个图像。例如,电子设备通过开始自动地捕获物理对象(例如,水壶1004)的图像来发起捕获过程,如参考图18至图19所述。
在操作3104处,在呈现物理对象的视图并执行捕获过程时,使用显示器显示包括围绕中心用户界面元素(例如,中心元素1906)的周边布置的一个或多个外围用户界面元素(例如,外围元素1904a-c)的捕获用户界面(例如,图19的用户界面1902),其中该一个或多个外围用户界面元素在视觉上指示针对物理对象的多个不同视角的捕获过程的状态,包括指示在捕获过程期间捕获的多个图像中的一个或多个图像是否满足针对物理对象的相应视角的一个或多个标准。例如,图19的拉长并变暗的外围元素1904b指示已针对对应于外围元素1904b的视角捕获满足一个或多个标准(例如,具有足够图像质量或其他标准)的一个或多个图像。
捕获用户界面包括相对于中心用户界面元素的平面显示的物理对象的虚拟表示的预览(例如,预览1908)(例如,显示为搁置在中心元素1906的平面上或上方),其中物理对象的虚拟表示的预览相对于平面的二维位置对应于物理对象在电子设备的视场内的位置,并且其中物理对象的虚拟表示的预览相对于平面的取向对应于物理对象在电子设备的视场内的取向。例如,预览1908被显示为近似以中心元素1906为中心,对应于水壶1004近似以电子设备的视场为中心。例如,预览1908的取向(例如,直立、搁置在中心元素1906上)对应于水壶1004在表面1010上的取向(例如,直立、搁置在表面1010上)。
因此,根据以上所述,本公开的一些示例涉及一种方法。该方法可包括:在与显示器和一个或多个输入设备通信的电子设备处:使用显示器显示包括点云的三维对象的第一表示。在显示第一表示时,接收请求生成三维对象的第二表示的输入,该第二表示包括三维对象的三维网格重建。根据请求生成第二表示的输入,显示生成三维对象的第二表示的进度的第一视觉指示,其中该进度的第一视觉指示包括改变对应于该进度的第一表示的外观。在生成第二表示之后,显示三维对象的该第二表示并且停止显示三维对象的第一表示和进度的第一视觉指示。
附加地或另选地,在一些示例中,该方法还包括接收请求从不同视角的三维对象的多个图像生成点云的输入。根据请求生成点云的输入,显示多个点的表示,在显示该多个点时,显示生成点云的进度的第二视觉指示,该第二视觉指示不同于进度的第一可视化,其中该进度的第二视觉指示包括改变对应于该进度的该多个点的外观。在生成点云之后,显示该点云。
附加地或另选地,在一些示例中,该多个点具有该多个图像的一个或多个特性。
附加地或另选地,在一些示例中,所显示的点云的尺寸和/或密度不同于该多个点的尺寸和/或密度。
附加地或另选地,在一些示例中,进度包括改变对应于该进度的第一表示的位置、改变对应于该进度的第一表示的尺寸,以及改变对应于该进度的第一表示的该多个点的密度中的一者或多者。
附加地或另选地,在一些示例中,该方法还包括根据请求生成点云的输入,与第二视觉指示一起同时显示生成点云的进度的第三视觉指示,其中进度的第三视觉指示不同于进度的第一可视化,并且其中该进度的第三视觉指示是进度条。
附加地或另选地,在一些示例中,该方法还包括根据请求生成第二表示的输入,与第一视觉指示一起同时显示生成三维对象的第二表示的进度的第四视觉指示,其中第四视觉指示不同于进度的第二视觉指示,并且其中该进度的第四视觉指示是进度条。
附加地或另选地,在一些示例中,改变对应于进度的第一表示的外观包括使第一表示的颜色增亮。
附加地或另选地,在一些示例中,改变对应于进度的第一表示的外观包括改变该多个点的百分比以与进度的百分比一致。
附加地或另选地,在一些示例中,该方法还包括使用显示器在该多个图像中的一个或多个图像上显示用户界面元素,使用这些用户界面元素接收更新该多个图像中的一个或多个图像的一个或多个特性的输入,更新该多个图像中的一个或多个图像的一个或多个特性以生成更新的多个图像,以及从更新的多个图像生成点云。
附加地或另选地,在一些示例中,该方法还包括从由不同于该电子设备的第二电子设备捕获的捕获束接收包括点云的三维对象的第一表示。
附加地或另选地,在一些示例中,该方法还包括使用显示器显示用于以下的用户界面元素:接收对应于生成三维对象的第二表示的质量的输入,以及接收对应于生成第二表示的质量的输入,其中第二表示是以根据质量的输入的质量生成的。
附加地或另选地,在一些示例中,该方法还包括在显示第一表示时,接收用于限定第一表示的裁剪区的输入,以及基于裁剪区内的第一表示生成第二表示。
附加地或另选地,在一些示例中,以灰度显示点云。
附加地或另选地,在一些示例中,以彩色显示点云。
附加地或另选地,在一些示例中,改变对应于进度的第一表示的外观包括随着进度增加而使该多个点增亮。
附加地或另选地,在一些示例中,改变对应于进度的第一表示的外观包括随着进度增加将多个点的颜色从灰度改变为彩色。
附加地或另选地,在一些示例中,该方法还包括使用显示器显示用于导出三维对象的第二表示的用户界面元素,使用用于导出三维对象的第二表示的用户界面元素来接收请求导出三维对象的第二表示的输入,以及根据请求导出三维对象的第二表示的输入来导出三维对象的第二表示。
附加地或另选地,在一些示例中,该方法还包括使用显示器显示用于存储或保存三维对象的第二表示的用户界面元素,使用用于存储或保存三维对象的第二表示的用户界面元素来接收请求存储或保存三维对象的第二表示中的一者或多者的输入,以及根据请求存储或保存三维对象的第二表示的输入来存储或保存三维对象的第二表示。
根据以上所述,本公开的一些示例涉及一种方法。该方法可包括:在与显示器通信的电子设备处,在呈现物理环境的视图时,使用该显示器显示与该物理环境的视图重叠的二维虚拟标线,该虚拟标线具有一定区域并且被显示在该显示器的平面中。该方法可包括:根据确定满足一个或多个标准,其中该一个或多个标准包括当虚拟标线的区域在显示器上覆盖在虚拟标线的中心的阈值距离内的物理对象的至少一部分时满足的标准;使用显示器显示将虚拟标线转换成围绕物理对象的该至少一部分的虚拟三维形状的动画。
附加地或另选地,在一些示例中,该方法还包括根据确定不满足一个或多个标准而向该电子设备的用户提供反馈。
附加地或另选地,在一些示例中,该一个或多个标准包括当物理对象的至少一部分被虚拟标线的中心覆盖时满足的标准。
附加地或另选地,在一些示例中,该反馈包括触觉警报、视觉警报、听觉警报或这些的组合。
附加地或另选地,在一些示例中,物理环境的视图由电子设备的相机捕获并且显示在该电子设备的显示器上。
附加地或另选地,在一些示例中,虚拟标线包括该虚拟标线的区域的一个或多个视觉指示。
附加地或另选地,在一些示例中,虚拟标线的区域的视觉指示是对应于该虚拟标线的区域的虚拟二维形状的顶点的视觉指示。
附加地或另选地,在一些示例中,虚拟标线的区域的视觉指示是对应于该虚拟标线的区域的虚拟二维形状的轮廓的视觉指示。
附加地或另选地,在一些示例中,二维标线是屏幕锁定的,并且该方法还包括在虚拟二维标线的中心显示屏幕锁定的瞄准示能表示。
附加地或另选地,在一些示例中,显示动画包括:在视觉上旋转与虚拟标线的区域相对应的虚拟二维形状的轮廓,使得该轮廓看起来覆盖物理对象的底部部分所接触的物理表面的平面并且包围该物理对象的底部部分,以及向虚拟二维形状的轮廓添加高度以转变为在物理对象的至少一部分周围显示虚拟三维形状的轮廓,其中该虚拟三维形状的高度基于该物理对象的高度。
附加地或另选地,在一些示例中,显示动画包括:在视觉上旋转虚拟二维形状的轮廓之前,显示在视觉上连接该二维虚拟标线的区域的视觉指示以形成该虚拟二维形状的轮廓的动画。
附加地或另选地,在一些示例中,在视觉上旋转该虚拟二维形状的轮廓包括基于该物理对象的底部部分的面积来调整该虚拟二维形状的轮廓的尺寸。
附加地或另选地,在一些示例中,该虚拟三维形状是长方体。
附加地或另选地,在一些示例中,该虚拟三维形状的一个或多个表面是透明的,使得物理对象通过该虚拟三维形状的一个或多个表面可见。
附加地或另选地,在一些示例中,显示该虚拟三维形状的轮廓包括显示与该虚拟三维形状的轮廓相关联的照明效果。
附加地或另选地,在一些示例中,随着电子设备在物理对象周围移动,基于检测到物理对象的部分未被虚拟三维形状包围或者物理对象的边缘与虚拟三维形状的表面之间超过阈值距离,自动地调整该虚拟三维形状的轮廓的尺寸以包围物理对象。
附加地或另选地,在一些示例中,该方法包括在该虚拟三维形状的顶部部分上显示一个或多个虚拟控制柄示能表示;检测与移动该一个或多个虚拟控制柄示能表示中的第一虚拟控制柄示能表示的请求相对应的输入;以及响应于检测到该输入,根据该输入调整该虚拟三维形状的高度、宽度、深度或这些的组合。
附加地或另选地,在一些示例中,该方法包括响应于检测到该输入,停止随着电子设备在物理对象周围移动而自动地调整该虚拟三维形状的尺寸。
附加地或另选地,在一些示例中,该方法包括检测用户注意力指向第一虚拟控制柄示能表示;以及响应于检测到该用户注意力指向第一虚拟控制柄示能表示,放大该第一虚拟控制柄示能表示。
附加地或另选地,在一些示例中,该方法包括根据检测到电子设备正移动得更靠近三维形状的底部表面的高程,增加虚拟三维形状的底部表面上的第二虚拟控制柄示能表示的视觉显著性。
根据以上所述,本公开的一些示例涉及一种方法。该方法可包括:在与显示器通信的电子设备处,发起用于生成在该电子设备的视场内的物理对象的三维虚拟表示的捕获过程,其中该捕获过程包括捕获该物理对象的多个图像;当呈现物理对象的视图并执行捕获过程时,使用显示器显示捕获用户界面,该捕获用户界面包括:围绕中心用户界面元素的周边布置的一个或多个外围用户界面元素,其中该一个或多个外围用户界面元素在视觉上指示针对物理对象的多个不同视角的捕获过程的状态,包括指示在捕获过程期间捕获的多个图像中的一个或多个图像是否满足针对物理对象的相应视角的一个或多个标准;以及相对于中心用户界面元素的平面显示的物理对象的虚拟表示的预览,其中物理对象的虚拟表示的预览相对于平面的二维位置对应于物理对象在电子设备的视场内的位置,并且其中物理对象的虚拟表示的预览相对于平面的取向对应于物理对象在电子设备的视场内的取向。
附加地或另选地,在一些示例中,该方法包括基于针对电子设备相对于物理对象的相应视角捕获的图像的数量而改变该一个或多个外围用户界面元素中的相应外围用户界面元素的视觉特性,该相应视角对应于该相应外围用户界面元素。
附加地或另选地,在一些示例中,该方法包括随着电子设备在物理对象周围移动,根据物理对象在电子设备的视场中的视角改变来改变物理对象的虚拟表示的预览的视角,使得虚拟表示的预览的视角反映物理对象的视角。
附加地或另选地,在一些示例中,该方法包括根据确定随着电子设备相对于物理对象移动,物理对象正移出电子设备的视场,将物理对象的虚拟表示的预览朝向中心用户界面元素的边缘移动。
附加地或另选地,在一些示例中,根据确定随着电子设备相对于物理对象移动,物理对象正移出电子设备的视场,捕获用户界面的至少一部分和物理对象的虚拟表示的预览的至少一部分淡出,其中淡出量对应于物理对象在电子设备的视场之外的量。
附加地或另选地,在一些示例中,该方法包括根据确定物理对象正移出电子设备的视场,向电子设备的用户提供将电子设备瞄准物理对象的反馈。
附加地或另选地,在一些示例中,该方法包括根据确定电子设备相对于物理对象移动得比阈值速度更快,向电子设备的用户提供更慢地移动电子设备的反馈。
附加地或另选地,在一些示例中,捕获用户界面包括在显示器的平面中指示电子设备的瞄准方向的屏幕锁定的示能表示。
附加地或另选地,在一些示例中,发起捕获过程包括随着电子设备在物理对象周围移动,从多个视角自动地捕获物理对象的多个图像。
附加地或另选地,在一些示例中,当捕获该多个图像中的每个图像时,电子设备在捕获用户界面中显示瞬时视觉指示。
附加地或另选地,在一些示例中,物理对象的虚拟表示的预览是随着点云表示被构建而在捕获过程期间随时间改变的点云表示的预览。
附加地或另选地,在一些示例中,该方法包括显示从最大数量的图像中捕获的图像数量的指示。
附加地或另选地,在一些示例中,中心用户界面元素是圆形的,并且该一个或多个外围用户界面元素包括从中心用户界面元素的周边的阈值距离辐射的多条圆周射线,每条射线对应于物理对象的相应视角。
本公开的一些示例涉及计算机可读存储介质。该计算机可读存储介质可存储用于执行上述方法中的任一方法的一个或多个程序。本公开的一些示例涉及一种电子设备。该电子设备可包括显示器、存储器和被配置为执行上述方法中的任一方法的一个或多个处理器。
尽管参照附图对本公开的示例进行了全面的描述,但应注意,各种变化和修改对于本领域内的技术人员而言将变得显而易见。应当理解,此类变化和修改被认为被包括在由所附权利要求所限定的本公开的示例的范围内。
Claims (47)
1.一种方法,包括:
在与显示器通信的电子设备处:
在呈现物理环境的视图时,使用所述显示器显示与所述物理环境的所述视图重叠的二维虚拟标线,所述虚拟标线具有一区域并且被显示在所述显示器的平面中;以及
根据确定满足一个或多个标准,其中所述一个或多个标准包括当所述虚拟标线的所述区域在所述显示器上覆盖在所述虚拟标线的中心的阈值距离内的物理对象的至少一部分时满足的标准:
使用所述显示器显示将所述虚拟标线转换成围绕所述物理对象的所述至少一部分的虚拟三维形状的动画。
2.根据权利要求1所述的方法,还包括:
根据确定不满足所述一个或多个标准:
向所述电子设备的用户提供反馈。
3.根据权利要求1至2中任一项所述的方法,其中所述一个或多个标准包括当所述物理对象的所述至少一部分被所述虚拟标线的所述中心覆盖时满足的标准。
4.根据权利要求2或3中任一项所述的方法,其中所述反馈包括触觉警报、视觉警报、听觉警报或这些的组合。
5.根据权利要求1至4中任一项所述的方法,其中所述物理环境的所述视图由所述电子设备的相机捕获并且显示在所述电子设备的所述显示器上。
6.根据权利要求1至5中任一项所述的方法,其中所述虚拟标线包括所述虚拟标线的所述区域的一个或多个视觉指示。
7.根据权利要求6所述的方法,其中所述虚拟标线的所述区域的所述视觉指示是对应于所述虚拟标线的所述区域的虚拟二维形状的顶点的视觉指示。
8.根据权利要求6所述的方法,其中所述虚拟标线的所述区域的所述视觉指示是对应于所述虚拟标线的所述区域的虚拟二维形状的轮廓的视觉指示。
9.根据权利要求1至8中任一项所述的方法,其中所述二维虚拟标线被屏幕锁定,所述方法还包括:
在所述二维虚拟标线的所述中心显示屏幕锁定的瞄准示能表示。
10.根据权利要求1至9中任一项所述的方法,其中显示所述动画包括:
视觉上旋转与所述虚拟标线的所述区域相对应的虚拟二维形状的轮廓,使得所述轮廓看起来覆盖物理对象的底部部分所接触的物理表面的平面并且包围所述物理对象的所述底部部分;以及
向所述虚拟二维形状的所述轮廓添加高度以转变为在所述物理对象的所述至少一部分周围显示所述虚拟三维形状的轮廓,其中所述虚拟三维形状的高度基于所述物理对象的高度。
11.根据权利要求10所述的方法,其中显示所述动画包括:
在旋转所述虚拟二维形状的所述轮廓之前,显示在视觉上连接所述二维虚拟标线的所述区域的所述视觉指示以形成所述虚拟二维形状的所述轮廓的动画。
12.根据权利要求10至11中任一项所述的方法,其中在视觉上旋转所述虚拟二维形状的所述轮廓包括基于所述物理对象的所述底部部分的面积来调整所述虚拟二维形状的所述轮廓的尺寸。
13.根据权利要求1至12中任一项所述的方法,其中所述虚拟三维形状是长方体。
14.根据权利要求1至13中任一项所述的方法,其中所述虚拟三维形状的一个或多个表面是透明的,使得所述物理对象透过所述虚拟三维形状的所述一个或多个表面可见。
15.根据权利要求9至14中任一项所述的方法,其中随着所述电子设备在所述物理对象周围移动,基于检测到所述物理对象的部分未被所述虚拟三维形状包围或者所述物理对象的边缘与所述虚拟三维形状的表面之间超过阈值距离,自动地调整所述虚拟三维形状的所述轮廓的尺寸以包围所述物理对象。
16.根据权利要求9至15中任一项所述的方法,还包括:
在所述虚拟三维形状的顶部部分上显示一个或多个虚拟控制柄示能表示;
检测与移动所述一个或多个虚拟控制柄示能表示中的第一虚拟控制柄的请求相对应的输入;以及
响应于检测到所述输入,根据所述输入调整所述虚拟三维形状的高度、宽度、深度或这些的组合。
17.根据权利要求16所述的方法,还包括:
检测用户注意力指向所述第一虚拟控制柄示能表示;以及
响应于检测到所述用户注意力指向所述第一虚拟控制柄示能表示,放大所述第一虚拟控制柄示能表示。
18.根据权利要求1至17中任一项所述的方法,还包括:
根据检测到所述电子设备的视场正移动得更靠近所述虚拟三维形状的底部表面的高程,增加在所述虚拟三维形状的所述底部表面上的第二虚拟柄示能表示的视觉显著性。
19.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令当由电子设备的一个或多个处理器执行时,使得所述电子设备执行根据权利要求1至18中任一项所述的方法。
20.一种电子设备,包括:
显示器;
存储器;和
一个或多个处理器,所述一个或多个处理器被配置为执行根据权利要求1至18中任一项所述的方法。
21.一种方法,包括:
在与显示器通信的电子设备处:
发起用于生成在所述电子设备的视场内的物理对象的三维虚拟表示的捕获过程,其中所述捕获过程包括捕获所述物理对象的多个图像;
在呈现所述物理对象的视图并执行所述捕获过程时,使用所述显示器显示捕获用户界面,所述捕获用户界面包括:
围绕中心用户界面元素的周边布置的一个或多个外围用户界面元素,其中所述一个或多个外围用户界面元素在视觉上指示针对所述物理对象的多个不同视角的所述捕获过程的状态,包括指示在所述捕获过程期间捕获的所述多个图像中的一个或多个图像是否满足针对所述物理对象的相应视角的一个或多个标准;以及
相对于所述中心用户界面元素的平面显示的所述物理对象的所述虚拟表示的预览,其中所述物理对象的所述虚拟表示的所述预览相对于所述平面的二维位置对应于所述物理对象在所述电子设备的所述视场内的位置,并且其中所述物理对象的所述虚拟表示的所述预览相对于所述平面的取向对应于所述物理对象在所述电子设备的所述视场内的取向。
22.根据权利要求21所述的方法,还包括:
基于针对所述电子设备相对于所述物理对象的相应视角捕获的图像的数量而改变所述一个或多个外围用户界面元素中的相应外围用户界面元素的视觉特性,所述相应视角对应于所述相应外围用户界面元素。
23.根据权利要求21至22中任一项所述的方法,还包括:
随着所述电子设备在所述物理对象周围移动,根据所述物理对象在所述电子设备的所述视场中的视角改变来改变所述物理对象的所述虚拟表示的所述预览的视角,使得所述虚拟表示的所述预览的所述视角反映所述物理对象的所述视角。
24.根据权利要求21至23中任一项所述的方法,还包括:
根据确定随着所述电子设备相对于所述物理对象移动,所述物理对象正移出所述电子设备的所述视场,朝向所述中心用户界面元素的边缘移动所述物理对象的所述虚拟表示的所述预览。
25.根据权利要求21至图24中任一项所述的方法,其中根据确定随着所述电子设备相对于所述物理对象移动,所述物理对象正移出所述电子设备的所述视场,所述捕获用户界面的至少一部分和所述物理对象的所述虚拟表示的所述预览的至少一部分淡出,其中淡出量对应于所述物理对象在所述电子设备的所述视场之外的量。
26.根据权利要求25所述的方法,还包括:
根据确定所述物理对象正移出所述电子设备的所述视场,向所述电子设备的用户提供将所述电子设备瞄准所述物理对象的反馈。
27.根据权利要求21-26中任一项所述的方法,还包括:
根据确定所述电子设备相对于所述物理对象移动得比阈值速度更快,向所述电子设备的用户提供更慢地移动所述电子设备的反馈。
28.根据权利要求21至图27中任一项所述的方法,其中所述捕获用户界面包括在所述显示器的所述平面中指示所述电子设备的瞄准方向的屏幕锁定的示能表示。
29.根据权利要求21至图28中任一项所述的方法,其中发起所述捕获过程包括随着所述电子设备在所述物理对象周围移动,从多个视角自动地捕获所述物理对象的多个图像。
30.根据权利要求29所述的方法,其中当捕获所述多个图像中的每个图像时,所述电子设备在所述捕获用户界面中显示瞬时视觉指示。
31.根据权利要求21至图30中任一项所述的方法,其中所述物理对象的所述虚拟表示的所述预览是点云表示的预览,所述点云表示的预览随着所述点云表示被构建而在所述捕获过程期间随时间改变。
32.根据权利要求21至31中任一项所述的方法,还包括:
显示从最大数量的图像中捕获的图像数量的指示。
33.根据权利要求21-32中任一项所述的方法,其中所述中心用户界面元素是圆形的,并且所述一个或多个外围用户界面元素包括从所述中心用户界面元素的周边的阈值距离辐射的多条圆周射线,每条射线对应于所述物理对象的相应视角。
34.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令当由电子设备的一个或多个处理器执行时,使得所述电子设备执行根据权利要求21至33中任一项所述的方法。
35.一种电子设备,包括:
显示器;
存储器;和
一个或多个处理器,所述一个或多个处理器被配置为执行根据权利要求21至33中任一项所述的方法。
36.一种方法,包括:
在与显示器和一个或多个输入设备通信的电子设备处:
使用所述显示器显示包括点云的三维对象的第一表示;
在显示所述第一表示时,接收请求生成所述三维对象的第二表示的输入,所述第二表示包括所述三维对象的三维网格重建;
根据请求生成所述第二表示的所述输入,显示生成所述三维对象的所述第二表示的进度的第一视觉指示,其中所述进度的所述第一视觉指示包括改变对应于所述进度的所述第一表示的外观;以及
在生成所述第二表示之后,显示所述三维对象的所述第二表示并且停止显示所述三维对象的所述第一表示和所述进度的所述第一视觉指示。
37.根据权利要求36所述的方法,还包括:
接收请求从不同视角的所述三维对象的多个图像生成所述点云的输入;
根据请求生成所述点云的所述输入:
显示多个点的表示;
在显示所述多个点时,显示生成所述点云的进度的第二视觉指示,所述第二视觉指示不同于所述进度的第一可视化,其中所述进度的所述第二视觉指示包括改变对应于所述进度的所述多个点的外观;以及
在生成所述点云之后,显示所述点云。
38.根据权利要求37所述的方法,其中所述多个点具有所述多个图像的一个或多个特性。
39.根据权利要求37至图38中任一项所述的方法,其中所显示的点云的尺寸和/或密度不同于所述多个点的尺寸和/或密度。
40.根据权利要求37至图39中任一项所述的方法,其中所述进度包括改变对应于所述进度的所述第一表示的位置、改变对应于所述进度的所述第一表示的尺寸,以及改变对应于所述进度的所述第一表示的所述多个点的密度中的一者或多者。
41.根据权利要求36至40中任一项所述的方法,还包括:
根据请求生成所述点云的所述输入:
与所述第二视觉指示一起同时显示生成所述点云的进度的第三视觉指示,其中所述进度的所述第三视觉指示不同于所述进度的第一可视化,并且其中所述进度的所述第三视觉指示是进度条。
42.根据权利要求36至41中任一项所述的方法,还包括:
根据请求生成所述第二表示的所述输入:
与所述第一视觉指示一起同时显示生成所述三维对象的所述第二表示的进度的第四视觉指示,其中所述第四视觉指示不同于所述进度的所述第二视觉指示,并且其中所述进度的所述第四视觉指示是进度条。
43.根据权利要求36至42中任一项所述的方法,其中所述改变对应于所述进度的所述第一表示的所述外观包括使所述第一表示的颜色增亮。
44.根据权利要求36至图43中任一项所述的方法,其中所述改变对应于所述进度的所述第一表示的所述外观包括改变所述多个点的百分比以与所述进度的百分比一致。
45.根据权利要求37至44中任一项所述的方法,还包括:
使用所述显示器在所述多个图像中的一个或多个图像上显示用户界面元素;
使用所述用户界面元素接收更新所述多个图像中的所述一个或多个图像的一个或多个特性的输入;
更新所述多个图像中的所述一个或多个图像的所述一个或多个特性以生成更新的多个图像;以及
从所述更新的多个图像生成所述点云。
46.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令当由电子设备的一个或多个处理器执行时,使得所述电子设备执行根据权利要求36至45中任一项所述的方法。
47.一种电子设备,包括:
显示器;
存储器;和
一个或多个处理器,所述一个或多个处理器被配置为执行根据权利要求36至45中任一项所述的方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US63/364,878 | 2022-05-17 | ||
US18/317,886 | 2023-05-15 | ||
US18/317,893 | 2023-05-15 | ||
US18/317,886 US20230377299A1 (en) | 2022-05-17 | 2023-05-15 | Systems, methods, and user interfaces for generating a three-dimensional virtual representation of an object |
US18/317,890 | 2023-05-15 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117078899A true CN117078899A (zh) | 2023-11-17 |
Family
ID=88706726
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310554840.1A Pending CN117078899A (zh) | 2022-05-17 | 2023-05-17 | 用于生成对象的三维虚拟表示的系统、方法和用户界面 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117078899A (zh) |
-
2023
- 2023-05-17 CN CN202310554840.1A patent/CN117078899A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230333662A1 (en) | Velocity field interaction for free space gesture interface and control | |
US20220084279A1 (en) | Methods for manipulating objects in an environment | |
JP7033152B2 (ja) | ユーザインタフェースカメラ効果 | |
US20210258474A1 (en) | Adjusting Motion Capture Based on the Distance Between Tracked Objects | |
CN105809620B (zh) | 用于线性全景图像拼接的预览图像获取用户界面 | |
US11809681B2 (en) | Reality capture graphical user interface | |
US9465437B2 (en) | Method and apparatus for controlling screen by tracking head of user through camera module, and computer-readable recording medium therefor | |
US7743348B2 (en) | Using physical objects to adjust attributes of an interactive display application | |
US7701441B2 (en) | Techniques for pointing to locations within a volumetric display | |
US20140320524A1 (en) | Image Display Apparatus, Image Display Method, And Information Storage Medium | |
CN104281397A (zh) | 多深度区间的重聚焦方法、装置及电子设备 | |
US20180190019A1 (en) | Augmented reality user interface visibility | |
JP6304398B2 (ja) | 一連の画像からベース画像と再配置されるオブジェクトとを合成する画像生成 | |
US20220343590A1 (en) | System and techniques for lighting adjustment for an immersive content production system | |
Yoo et al. | 3D remote interface for smart displays | |
US20230377259A1 (en) | Systems, methods, and user interfaces for generating a three-dimensional virtual representation of an object | |
US20230377299A1 (en) | Systems, methods, and user interfaces for generating a three-dimensional virtual representation of an object | |
CN117078899A (zh) | 用于生成对象的三维虚拟表示的系统、方法和用户界面 | |
US20230031832A1 (en) | Devices, methods and graphical user interfaces for three-dimensional preview of objects | |
KR101743888B1 (ko) | 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 컴퓨터 구현 방법 | |
US20240104876A1 (en) | Systems and methods of creating and editing virtual objects using voxels | |
US20220343562A1 (en) | Color and lighting adjustment for immersive content production system | |
US20220342488A1 (en) | Light capture device | |
Dong et al. | Air-touch interaction system for integral imaging 3D display |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |