CN111095101A - 一种摄影系统和方法 - Google Patents
一种摄影系统和方法 Download PDFInfo
- Publication number
- CN111095101A CN111095101A CN201880051126.8A CN201880051126A CN111095101A CN 111095101 A CN111095101 A CN 111095101A CN 201880051126 A CN201880051126 A CN 201880051126A CN 111095101 A CN111095101 A CN 111095101A
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- images
- image capture
- controller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
- G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/02—Illuminating scene
- G03B15/06—Special arrangements of screening, diffusing, or reflecting devices, e.g. in studio
- G03B15/07—Arrangements of lamps in studios
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/56—Accessories
- G03B17/561—Support related camera accessories
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Accessories Of Cameras (AREA)
Abstract
一种摄影系统(10)包括摄影装置(11)和控制器(13)。摄影设备(11)具有多个间隔开的图像捕捉装置(12),多个图像捕捉装置(12)被配置成在不同角度捕捉位于摄影装置(11)内的对象的图像。与图像捕获设备进行数据通信的控制器(13)被配置为同步地操作图像捕获设备(12)并且处理来自每个图像捕获设备(12)的对象的图像以生成对象的至少一部分模拟360度印象图像。
Description
技术领域
本发明涉及一种摄影系统和方法。具体地,该摄影系统包括摄影装置,该摄影装置具有多个间隔开的图像捕捉设备以及控制器,该多个间隔开的图像捕捉设备被配置成以对象的不同角度捕捉居中地位于该摄影装置内的对象的图像,该控制器被配置成同步地操作图像捕捉设备。此外,但不排他地,控制器被配置为从每个图像捕捉设备接收对象的图像,并且处理来自每个图像捕捉设备的对象的图像,以便生成对象的360度印象图像。
背景技术
用于捕捉表示对象的360度的图像的现有摄影方法通常涉及将待摄影的对象定位在转盘上,然后利用图像捕捉设备(诸如数字单镜头反射(SLR)相机等)在转盘的不同旋转角度处捕捉对象的图像。该转盘可手动操作或与数字相机结合来自动操作。
在一种用于捕捉表示对象360度的图像的现有摄影方法中,对象居中地位于摄影装置内的自动操作的转盘的中心。该摄影装置包括用于照明对象的照明装备、用于对象图像的合适背景、以及开口,该开口使得当图像通过开口在转盘上旋转时,图像捕捉设备(诸如兼容的数字单镜头反射(SLR)相机)可以捕捉对象的图像。在该方法中,兼容的数字照相机和转盘由外部控制器例如计算机控制,以便对于转盘的全程旋转以指定的帧速率同步地捕捉对象的图像。
然后,根据该现有方法捕捉的对象的图像或帧由控制器处理,以生成对象的交互式360度动画。为此,在对象的不同角度处拍摄的对象的图像由控制器处理以生成对象的360度的交互动画。然后,以诸如图像文件(例如JPG、TIFF、PNG和RAW)、360度动画文件(例如HTML5、Flash和GIF)和视频文件(例如MOV和MP4)等多个文件选项来输出360度动画以供观看。
在使用这种现有方法的示例中,要拍摄的对象是人类模型或人类尺寸的人体模型,并且这里所使用的拍摄装置的尺寸必须被设计为接收人类模型或人体模型并且利用照明装备均匀地照亮人类模型或人体模型。因此照明装备的搭建可是耗时且昂贵的。为了在不同角度捕捉人类模型的合适图像以生成人类模型的360度动画,需要人类模型在转盘经过相机旋转一整圈时保持相同姿态(例如,甚至不眨眼),并且为了成功进行拼接处理,人体模型的照明必须对于每个不同角度的每个图像基本上相同。此外,在数字照相机捕捉不同角度的所有所需图像的同时,转盘旋转完整的360度是耗时的。通常,在转盘的整个旋转期间拍摄24或48幅图像来生成高质量的360度动画,且该旋转可能花费几分钟。因此,为了确保生成高质量的360度动画,通常要求数字相机的专业操作员在执行图像处理之前检查图像。
此外,为了以不同的角度捕捉在摄影装置中的转盘上的人类模型或人体尺寸的人体模型的合适的图像,数字相机必须位于距人类模型或人体尺寸的人体模型的足够距离处,以具有美感,以及捕捉整个人类模型或人体模型。
在描述本发明内容之前,将理解,提供以上示例性现有技术的描述仅作为解释本发明的上下文的背景。不应将其视为承认所提及的任何材料是公开的或已知的,或者是相关领域的公知常识的一部分。
发明内容
根据本发明的一个方面,提供了一种摄影装置,其具有安装到该摄影装置的、多个间隔开的图像捕捉设备,这些图像捕捉设备被配置成在对象的不同角度处捕捉居中地位于该摄影装置内的对象的图像;以及与每个图像捕捉设备进行数据通信的控制器,其中控制器被配置成同步地操作图像捕捉设备,以从每个图像捕捉设备接收对象的图像,并且处理来自每个图像捕捉设备的对象的图像以生成对象的模拟360度印象图像的至少一部分。
根据本发明的另一方面,提供了一种摄影方法,包括:将对象居中地定位在摄影装置内,摄影装置具有安装到摄影装置的多个间隔开的图像捕捉设备;控制器,同步操作图像捕捉设备以在对象的不同角度处捕捉居中地位于摄影装置内的对象的图像;在控制器处从每一个图像捕捉设备中接收对象的图像;以及控制器处理来自每个图像捕捉设备的对象的图像,以生成对象的模拟360度印象图像的至少一部分。
优选地,“模拟360度印象图像”是交互式图像,其中观看者可以与交互式图像中的对象的360度印象交互(例如,旋转)以生成覆盖对象的完整360度水平旋转的对象视图。此外,对象也可以至少部分垂直地旋转,以覆盖对象的至少一些垂直旋转。
在一个示例中,对象是人类模型、人类尺寸的人体模型或一些其他人类尺寸的对象。安装到摄影装置的每个图像捕捉设备利用例如几乎相同的曝光来同步捕捉位于摄影装置中的例如人类模型的图像。优选地,摄影装置包括安装到该装置的2到120个图像捕捉设备。
在一个实施例中,图像捕捉设备围绕摄影装置的圆周间隔开,并且控制器被配置成处理来自每个图像捕捉设备中的对象的图像以生成对象的模拟360度印象图像。这里,不需要使人类模型旋转经过数字相机并在延长的时间段内保持相同的姿势。
在另一实施例中,摄影装置还包括平台,该平台被布置成将对象居中地定位在其上并相对于图像捕捉设备旋转对象,其中控制器还被配置成同步地旋转平台和操作图像捕捉设备。然后,控制器又被配置成在平台旋转之后处理来自每个图像捕捉设备的对象的图像,以生成对象的模拟360度印象图像。
在另一实施例中,摄影装置还包括安装有图像捕捉设备的轨道,并且该轨道被配置为围绕对象旋转图像捕捉设备,其中控制器还被配置为旋转轨道并同步地操作图像捕捉设备。控制器又被配置成在轨道旋转之后处理来自每个图像捕捉设备的对象的图像,以生成对象的模拟360度印象图像。
因此,在每个实施例中,摄影系统的操作者不需要在处理之前检查图像。然而,本领域技术人员将理解,任何尺寸的对象都可以使用上述摄影系统和方法来摄影,以生成该对象的模拟360度印象图像,并且以相同或接近的曝光对摄影装置中的对象的图像进行同步捕捉提供了对象的一致的360度印象图像。
本领域技术人员还将理解,与图像捕捉设备进行数据通信的控制器可以与图像捕捉设备以及摄影和摄影装置定位在一起,或者通过网络与图像捕捉设备进行数据通信。此外,一个控制器可被配置成通过网络控制多于一个摄影装置。在任何情况下,控制器通常包括处理器和存储器,其中程序代码存储在存储器上以实现控制器的功能,诸如处理对象的图像等。
如上所述,在一个实施例中,图像捕捉设备围绕摄影装置的圆周间隔开,且对象居中地位于摄影装置内。对于人类尺寸的对象的示例,摄影装置是圆柱形的,摄影装置的圆周的直径是2米,并且纵向高度是2.2米,以便适合人类尺寸的对象位于其中。也可以设想摄影装置的其它形状和尺寸以适合不同大小的对象,例如摄影装置的形状是长方体。
在实施例中,控制器还被配置成使用神经网络算法处理来自每个图像捕捉设备的对象的图像以生成对象的模拟360度印象图像,其中通过以不同角度捕捉的居中地位于摄影装置内的另一对象的图像来训练神经网络算法。这里,在围绕所述另一对象的360度间隔开的指定的不同角度处捕捉用于神经网络算法的另一对象的图像。例如,在24个不同角度处捕捉用于神经网络算法的另一对象的图像。
此外,神经网络算法可以包括在以指定的不同角度捕捉的另一对象的图像上训练的第一神经网络和在以随机的不同角度捕捉的另一对象的图像上训练的第二神经网络。这些另一对象可以具有不同的高度和形状,并且在随机不同的照明条件和随机不同的范围下捕捉的所述另一对象的图像上训练第二神经网络。
在实施例中,控制器拼接对象的图像(例如,基本上水平和垂直地)以生成对象的模拟360度印象图像。如上所述,控制器是计算机,控制器包括处理器,其与存储器进行数据通信以实现程序代码以通过组合由每个图像捕捉设备拍摄的对象的多个图像来执行拼接。如上所述,在一个实施例中,对象的所有图像在相同的光照条件下同步拍摄,使得它们具有基本相同的曝光,用于图像的无缝拼接以生成360度印象图像。在另一个实施例中,对象的图像是在指定的照明条件下同步地且顺序地拍摄的,使得它们具有用于图像拼接的期望的相同曝光以生成360度印象图像。
在一个实施例中,图像捕捉设备围绕摄影装置的圆周等距分开,以便由每个图像捕捉设备拍摄的对象的多个图像为对象的等尺寸的图像片段,所述图像片段将通过拼接进行组合。因此,在摄影装置的圆周上的图像捕捉设备之间的距离与圆周大小是基于被拍摄对象和图像捕捉设备的大小来确定的。优选地,图像捕捉设备沿摄影装置的圆周成排地等间距分布。例如,有五排图像捕捉设备绕摄影装置的圆周安装。然后,控制器按照前文描述方法,通过将对象的图像基本垂直和水平地拼接起来,而处理来自每个图像捕捉设备的对象的图像,以生成对象的360度印象图像。
在另一个实施例中,摄影装置包括在摄影装置上纵向间隔的两个或更多个图像捕捉设备,以在对象的不同角度处拍摄对象的图像。这里,对象旋转经过图像捕捉设备的纵向阵列。
本领域技术人员将理解,每个图像捕捉设备具有由图像捕捉设备的光学器件和图像传感器确定的视场(FOV)。多个图像捕捉设备(imagecapture devices)可具有相同的组件和相同的FOV。因此,在一个实施例中,为了生成诸如人类模型等对象的360度印象图像,围绕摄影装置的足够大的圆周等间隔安装有足够数量的图像捕捉设备,以便所有模型都在FOV中,并且以便捕捉模型的足够的图像片段用于进行拼接,从而生成模拟360度印象图像。例如,摄影装置的直径为2.5米,并且围绕摄影装置的圆周以均匀间隔安装有二十四个图像捕捉设备。
图像捕捉设备可能具有传感器尺寸、孔径和/焦距组合,以捕捉包含整个对象(如人类模型)的具有高清晰度的大景深。图像捕捉设备还可具有传感器尺寸、孔径和/或焦距组合,以捕捉具有丰富色差的图像,从而在彩色条纹中有效地编码深度信息。例如,参考使用神经网络算法生成对象的模拟360度印象图像的实施例中,使用不同深度的多幅图像对神经网络算法进行训练。
以典型的人体尺寸的模型为例,将理解,图像捕捉设备在摄影装置纵轴线上的距离也是基于典型的人类模型的尺寸和图像捕捉设备的FOV来确定的。由于每个相机只需要捕捉人类模型的一部分的图像,因此可以减小摄影装置的周长。例如,当四个图像捕捉设备纵向安装时,如果每个图像捕捉设备的FOV中只要求四分之一的模型,则摄影装置的直径可以减少到2米左右。具体地说,在本例中,摄影装置的直径为2米,并且在四个均匀间隔的图像捕捉设备行中,可以有二十四个图像捕捉设备以均匀间隔围绕摄影装置的圆周安装。
在实施例中,控制器通过补偿对象的图像中的失真并且在拼接对象的图像之前基本上垂直地和水平地对准对象图像来处理来自每个图像捕捉设备的对象的图像,以生成对象的模拟360度印象图像。或者,控制器通过几何拼接对象的图像,然后使用光流算法来补偿对象的图像中的失真,来处理来自每个图像捕捉设备的对象的图像,以生成对象的模拟360度印象图像。
例如,垂直轴线上的每个图像捕捉设备立即捕捉同一对象的整个高度的不同角度的图像。在捕捉后,控制器对图像运行以下算法以创建一个垂直拼接图像:
a)寻找主体模型的边缘和蚀刻轮廓;;
b)根据变化的焦距重新缩放每个图像以调整比例;
c)矫正变形或翘曲;和
d)混合或缝合所有图像,以创建一个输出文件。
在实施例中,摄影装置包括摄影装置上且围绕摄影装置的圆周的间隔开的多个杆件(如纵向延伸),其中图像捕捉设备安装在杆件上。
在一个实施例中,摄影装置包括安装在上述24根杆件上的五行图像捕捉设备。也就是说,有120个图像捕捉设备,以15度的分段捕捉对象的120个不同的图像。在另一个实施例中,摄影装置包括三行的两个图像捕捉设备,图像捕捉设备安装在摄影装置的弧形部分中的杆件上。即,有6个图像捕捉设备捕捉对象的不同图像,且对于对象(或图像捕捉设备)的完整旋转,控制器处理的来自6个图像捕捉设备中的每个图像捕捉设备的对象的多个图像,以生成对象的模拟360度印象图像。
优选地,可以用适当的固定方式组装这些杆件,以形成摄影装置,并由摄影装置的操作员方便地拆卸。通过这种方式,摄影装置在任何地方都可以很容易地运输和使用。
在实施例中,摄影装置包括安装在摄影装置上的一个或更多个光源,该光源被配置为操作来对位于摄影装置内的对象进行照明。在该实施例中,又将控制器配置为同步操作图像捕捉设备、平台和光源,以使当对象相对于图像捕捉设备在平台上旋转时,该对象以指定的照明等级被照明。
附图说明
现在将仅以示例的方式,参照附图来描述本发明的实施例,其中:
图1是根据本发明实施例的摄影系统的表示;
图2是根据图1的实施例的摄影系统的另一种表示;
图3是根据本发明的实施例的摄影装置的侧壁的一部分的表示;
图4是图3的部分的截面图;
图5是根据本发明实施例的位于摄影装置内的对象的表示;
图6是根据本发明实施例生成的图5的对象的360度印象图像的表示;
图7是根据本发明实施例的摄影系统的表示;
图8是根据本发明的实施例的安装在被配置为捕捉对象的图像的摄影装置的杆件上的图像捕捉设备的表示;
图9是根据图8的实施例捕捉的对象的图像的表示;
图10是根据本发明实施例生成的图9所示对象的图像的表示;
图11是示出根据本发明的实施例生成的对象的部分图像的界面显示的表示;
图12是表示根据本发明实施例的摄影方法的流程图;
图13是根据本发明实施例的摄影系统的表示;
图14是根据本发明的另一实施例的摄影系统的表示;和
图15是根据本发明的另个实施例的摄影系统的表示。
具体实施方式
图1和图2示出了摄影系统10的实施例,摄影系统10包括摄影装置11,摄影装置11具有安装在摄影装置11上的多个间隔开的图像捕捉设备12。图像捕捉设备12如图2所示,图像捕捉设备12被配置为在不同角度捕捉对象的图像,如图5-10所示的对象为居中地位于摄影装置11内的人类模型O。摄影系统10还包括控制器13(如图7所示),用于与每个图像捕捉设备12进行数据通信。如上所述,控制器13可以与摄影装置11放置在一起,或者远离摄影装置11,通过数据网络,诸如无线LAN或因特网等,与图像捕捉设备12进行数据通信。
控制器13被配置为同步操作图像捕捉设备12,以从每个图像捕捉设备12接收对象的图像。也就是说,控制器13基本上同时向每个图像捕捉设备12发信号以捕捉对象的图像。这样,每个对象的光照条件都是一致的。此外,控制器13处理从每个图像捕捉设备12中获取的对象的图像,以生成对象的模拟360度印象图像(如图6中的模型O的360度印象图像17)。模拟360度印象图像由控制器13以诸如图像文件(如JPG)、360度动画文件(如HTML5)和视频文件(如MP4)等所需的文件类型来输出,以供使用,诸如在计算机上查看等。如上所述,实施例中的控制器13也是计算机,控制器13具有处理器和存储器,存储器上存储有程序代码以实现生成对象的360度印象图像所需的步骤。
如上所述,在实施例中,对象是人类模型或人体尺寸的人体模型。因此,摄影装置11的大小是为了捕捉人类尺寸模型的图像。在实施例中,摄影装置11为圆柱形。并且,在一个实施例中,摄影装置11的直径为2米,纵向高度为2.2米,以便在其中安装人体尺寸的对象。以人的形式的对象通过圆柱形摄影装置11中的开口14进入摄影装置。图1中的开口14由门28提供,该门被配置成在铰链15上枢转打开,以允许对象进入摄影装置11,并在捕捉到对象的图像后枢转关闭。
图像捕捉设备12在摄影装置11的圆周16上等距间隔开,且对象居中地位于摄影装置11中以被成像。为了便于说明,如图2示出了被安装在仅仅三个杆件18上的图像捕捉设备12。由图2可见,摄影装置11包括沿摄影装置11的圆周16纵向延伸的多根杆件18,多根杆件18围绕圆周16均匀间隔开。如上所述,图像捕捉设备12安装在每根杆件18上,以便同时捕捉对象的所有侧面的图像。
在该实施例中,图像捕捉设备12在摄影装置11的每个杆件18上纵向地以及周向地间隔开,使得摄影装置11具有围绕摄影装置11的圆周16的多行间隔开的图像捕捉设备12。图1至5示出了安装到杆件18的五行图像捕捉设备12。在该实施例中,有五行图像捕捉设备12安装在二十四个杆件18上。因此,这里有120个图像捕捉设备12。然而,将理解,摄影系统10可采用其他数量和布置的图像捕捉设备,这取决于每个图像捕捉设备12的视场(FOV)和被成像的对象的大小。
本实施例中的图像捕捉设备12具有若干用于捕捉图像的组件,包括但不限于镜头、图像传感器、处理器和存储器。处理器执行存储在存储器上的程序代码,以接收来自控制器13的指令从而捕捉图像,然后接收和处理来自对象的图像传感器的信息,并输出图像。镜头和图像传感器的尺寸被确定为提供应用于对象的期望视场(FOV)。
摄影系统10的控制器13从每个图像捕捉设备12接收图像,并通过将对象的不同片段的这些图像拼接在一起来处理对象的这些图像,以便以上文描述的方式生成对象的模拟360度印象图像。或者,控制器13使用神经网络算法处理来自每个图像捕捉设备12的对象的图像以生成对象的模拟360度印象图像,并且在以不同角度捕捉的居中地位于摄影装置11内的另一对象的图像上训练神经网络算法。
图3和图4分别示出摄影装置11的一部分侧壁和该部分侧壁的分解图。摄影装置11包括框架20,框架20被配置成以间隔开的方式容纳杆件18。如上所述,通过将图像捕捉设备12安装在杆件18上,杆件18可用合适的固定方式容易地组装到摄影装置11上和从摄影装置11上拆卸,从而使摄影装置11相当便于携带。如图7所示,摄影装置11具有圆形底座或平台40和圆形天顶棚42,这些组件被配置成与框架20配合形成圆柱形摄影装置11的结构。因此,当杆件被组装形成圆柱形摄影装置11时,图像捕捉设备12被相对于摄影装置11纵向地和周向地安装在期望的间隔开位置上。
所述摄影装置11还包括框架20两侧上的圆柱形外壁24和圆柱形内壁26。如上所述,开口14是位于内壁26和外壁24内的可伸缩门28,以便对象能够进入摄影装置内部进行成像。内壁26是以磨砂或乳白色丙烯酸层的形式的半透明层,以在摄影装置11中漫反射和漫射光。尽管图中未显示,但至少部分图像捕捉设备12安装在半透明层26上,诸如通过半透明层26中的孔等,使得半透明层26不干扰图像的捕捉。
该摄影装置11还包括多个安装在框架16和/或外壁24上的光源22,诸如LED光源等,光源被配置为操作来照亮位于摄影装置11内的对象。在一个实施例中,控制器13操作LED光源22,以确保对象被均匀地照明,使得对象的图像具有一致的曝光,以改进图像的拼接,从而生成对象的高质量360度印象图像。
摄影装置11的顶棚42和底座38安装于内壁26和外壁24以及框架20上,以形成摄影装置11。如图7所示,顶棚42还包括安装在其上的顶部光源38,光源38也是LED光源。在实施例中,顶部光源38也由控制器13控制,以确保对象被均匀地照明。
现在将参照图5至10来描述摄影系统10的操作。在这些图形所示的实施例中,对象是位于摄影装置11内的待拍摄的人类模型O。例如,人类模型是试衣模型,模拟360度印象图像以360度示出了穿着服装的模型。
如上所述,摄影装置11的尺寸被确定为捕捉人体尺寸模型的图像以生成模型O的图6所示的模拟360度印象图像17。如上所述,摄影装置11的尺寸是基于图像捕捉设备12的FOV和生成模型O的360度印象图像17所需的图像捕捉设备12的数量来选择的。在图5所示的实施例中,有120个图像捕捉设备12安装在24个杆件18上,以15度分段捕捉模型O的120个不同的图像。然而,在图7至10所示的实施例中,有96个图像捕捉设备12安装在24个杆件18上,以15度分段捕捉模型O的96个不同的图像。关于这个实施例,如果图像捕捉设备12的FOV与五个图像捕捉设备被安装到一个杆件的实施例相同,则摄影装置11的周长将更大以确保整个模型O仍然被捕捉在图像中。例如,图7至10所示的摄影装置11具有2.2米的直径和2.2米的纵向高度,以将模型O适配在其中并对整个模型O进行成像。
此外,在图7至图10所示的实施例中,当模型O位于摄影装置11中时,控制器13操作图像捕捉设备12以同步捕捉模型O的图像。如上所述,模型O居中地位于摄影装置11内,并用壁装式光源22和/或顶棚安装的光源38均匀地照明。
在一个实施例中,控制器13从图像捕捉设备12接收不同的图像,并且通过基本上垂直和水平地拼接图像来处理图像,以生成模型O的360度印象图像17。控制器13还通过补偿图像中的失真并在基本上垂直和水平地拼接图像之前基本上垂直和水平地对准图像来处理来自每个图像捕捉设备12的图像,以生成模型O的360度印象图像17。
在另一个实施例中,如上所述,控制器13接收来自图像捕捉设备12的图像,并使用神经网络算法处理这些图像,以生成对象的模拟360度印象图像。例如,存在沿圆周间隔开的24个杆件18,每根杆件具有在设备11上纵向间隔开的4个图像捕捉设备12,以便在对象的不同角度捕捉图像。该神经网络算法先前在以这些不同的指定角度捕捉的位于摄影装置内的其他对象的图像上被训练过。
此外,神经网络算法可以包括两个神经网络。第一神经网络已经在现有的360度印象图像的数据集上被训练,以将潜在矢量或特征描述符映射到24个图像的集合中,从而形成具有所需角度和完美照明的360度印象图像。第二神经网络被训练成从自各种不同角度和光照场景捕捉的图像产生相同的潜在向量或特征描述符。捕捉多种照明和角度,并且图像的子集被用于训练第二神经网络,以从在未定义角度下的不完美照明中的不完美捕捉图像的最小集合鲁棒地生成完美照明中的完美360度印象图像。这样,控制器13使用两个神经网络从不同的角度生成对象的模拟360度印象图像。
在又一实施例中,一些图像处理是相对于摄影装置11局部执行。在图7至图10所示的实施例中,摄影装置11包括用于每个图像捕捉设备12的图像处理器30,图像处理器30被配置为分别生成模型O的四幅图像34A、34B、34C、34D。图像处理器被配置为与基于杆件的图像处理器32进行通信,例如,安装在每根杆件18上,用于垂直拼接由安装在每根特定杆件18上的图像捕捉设备12拍摄的图像。
图8至10示出了与摄影装置11一起定位的模型O以及安装到一根特定杆件18的图像捕捉设备12,该图像捕捉设备12被配置为同步地捕捉模型O的图像。安装到一根杆件18的四个图像捕捉设备12部分重叠地捕捉模型O的基本上不同的垂直部分的四个图像34A、34B、34C、34D。基于杆件的图像处理器32被配置成处理模型O的这四个图像34A、34B、34C、34D,并且基本上垂直地拼接对象的这些图像以生成模型O的局部360度印象图像36。然后,经由数据网络将每个不同的基于杆件的图像处理器32接收到的模型O的局部360度印象图像36发送到控制器13,用于基本上水平地处理和拼接以生成模型O的360度印象图像17。
在实施例中,如图11所示,在显示器44上向摄影装置11的操作者呈现界面I,用于检查和可能地改变使用摄影装置11捕捉的模型O的图像。为此,如上所述,捕捉模型O的局部360度印象图像36并经由数据网络将其发送到控制器13,用于基本上水平和垂直地处理和拼接以生成模型O的四个局部图像。模型O的360度印象图像17的这四个局部图像是模型O的正面、左侧、右侧和背面图像。然后,界面I的操作者可以观察这些局部图像并确定是否应该重新拍摄这些局部图像中的一个或更多个以生成模型O的最终360度印象图像17。
图13示出了由六个相同尺寸部分组装的摄影装置11的实施例。本领域技术人员将理解,其它配置也是可能的,诸如由四个部分组装的摄影装置11等。在任何情况下,这些部分能够使摄影装置11是便携式的,并且其尺寸适于以半组装形式通过建筑物的标准尺寸的门廊。此外,可以看出,每个部分具有用于组装设备11的铰链62,并且圆柱形装置11可以设置有耐久性的外壳。在组装位置,可以看到,摄影装置11具有多个围绕摄影装置11的框架20的圆周间隔开的杆件18。此外,装置11具有由所述部分中的一个提供的如上所述的开口。
现在转到图12,示出了摄影方法的流程图50,包括以下步骤:定位步骤52,将对象居中地定位在摄影装置内,摄影装置具有安装到摄影装置的多个间隔开的图像捕捉设备;控制器操作步骤54,控制器同步地操作图像捕捉设备以在对象的不同角度处捕捉居中地位于摄影装置内的对象的图像;接收步骤56,在控制器处从每个图像捕捉设备接收对象的图像;以及控制器处理步骤58,控制器处理来自每个图像捕捉设备的对象的图像,以生成对象的至少部分模拟360度印象图像。
该方法的其他方面将会从摄影系统10的以上描述中显而易见。本领域技术人员将理解,方法50可以以程序代码来实施,以便由控制器13的处理器来执行,其可以以多种方式来提供;例如在计算机可读介质上,诸如控制器13的盘或存储器等,或者作为数据信号,诸如通过从服务器传输等。
图14和15分别示出了摄影系统100的两个不同实施例。两个实施例的摄影系统100包括摄影装置110,摄影装置110具有安装到摄影装置110的多个间隔开的图像捕捉设备12。四个图像捕捉设备12在图15中被示为在摄影装置110上纵向地间隔开,并被安装到摄影装置110的轨道112。图14中的图像捕捉设备12也在摄影装置110上的壳体114内纵向地间隔开(未示出)。如上所述,还将理解,摄影系统100可以采用其他数量和布置的图像捕捉设备,这取决于每个图像捕捉设备12的视场(FOV)和被成像的对象的尺寸。
摄影系统100的两个实施例的图像捕捉设备12还被配置成以不同角度捕捉居中地位于摄影装置11内的,如图5至10中示为人类模型O的对象的图像。同样如上所述,摄影系统100还包括与每个图像捕捉设备12进行数据通信的控制器13。如上所述,控制器13可以与摄影装置11配置在一起或远离照相装置11,通过数据网络,例如无线LAN或因特网与图像捕捉设备12进行数据通信。
图14和15的实施例中的控制器13被配置为同步地操作图像捕捉设备12,并且从每个图像捕捉设备12接收对象的图像。也就是说,控制器13基本上同时向每个图像捕捉设备12发信号以捕捉对象的图像。这样,对于对象的一个弧形视野,对象的每幅图像的照明条件是一致的。控制器13处理从每个图像捕捉设备12获取的对象的这些图像,以生成模拟360度印象图像的一部分。为了生成模拟360度印象图像,控制器13还配置成同步地旋转平台40和操作图像捕捉设备12。控制器13在对象的完整的、基本完整的旋转之后处理来自每个图像捕捉设备12的对象的图像,以生成对象的模拟360度印象图像。模拟360度印象图像再次由控制器13以期望的文件类型,诸如图像文件(例如JPG)、360度动画文件(例如HTML5)和视频文件(例如MP4)等输出,以供使用,诸如用于在计算机上观看。
如上所述,在图14和15的实施例中,对象是人类模型O或人体尺寸的人体模型。因此,摄影装置110的尺寸被确定为捕捉人类尺寸模型O的图像。在实施例中,摄影装置110是多面体。具体地,摄影装置110基本上是测地多面体,直径为2米,纵向高度为2.2米,以便在其中适配人体尺寸的对象O。人体尺寸的对象O通过摄影装置110中的如图14中更清楚地示出的开口14进入摄影装置110。摄影系统10的控制器13从每个图像捕捉设备12接收图像,并以上述方式通过拼接对象的不同片段的这些图像来处理对象的这些图像,以生成对象的模拟360度印象图像。除了控制器13几何地拼接对象的图像之外,控制器13还使用光流算法来补偿对象的图像中的失真,以生成对象的模拟360度印象图像。
多面体形状的摄影装置110是由杆件116和杆件116的配件118构成的框架。这样,摄影装置110的框架可以容易地组装和拆卸,使得摄影装置11相当便携。
摄影装置110还包括弯曲的背景122,其被安装到摄影装置110的框架以漫反射摄影装置110中的光。因此,在使用中,人类模型O经由该开口14进入摄影装置110,并基本上居中地站立在平台40上以被成像。弯曲背景122漫反射摄影装置11中的来自安装到摄影装置110的杆件116的多个光源120、121的光。安装到框架的光源120、121可以是LED光源,且被配置为可由控制器13操作以用期望的照明条件照亮位于摄影装置11内的对象O。在一个实施例中,控制器13操作光源120、121以确保对象被均匀地照明,使得对象的图像具有一致的曝光以用于图像的拼接,从而生成对象的高质量模拟360度印象图像。在另一实施例中,为了增强对象的模拟360度印象图像,光源120、121可以由控制器13控制以改变对象的不同角度的照明水平。这样,控制器13可被配置成提供增强例如织物褶边中的阴影并在由人类模型O穿戴的衣服中产生更清晰边缘的照明。
应当理解,在不脱离本发明的范围的情况下,可以对先前描述的部分进行各种改变、添加和/或修改,并且根据上述教导,本发明可以以本领域技术人员理解的各种方式来实现。
Claims (20)
1.一种摄影系统,包括:
摄影装置,所述摄影装置具有安装到所述摄影装置的多个间隔开的图像捕捉设备,所述图像捕捉设备被配置成在对象的不同角度处捕捉居中地位于所述摄影装置内的所述对象的图像;以及
与每个所述图像捕捉设备进行数据通信的控制器,其中
所述控制器被配置成同步地操作所述图像捕捉设备,以从每个所述图像捕捉设备接收所述对象的图像,并且处理来自每个所述图像捕捉设备的所述对象的图像以生成所述对象的至少一部分模拟360度印象图像。
2.根据权利要求1所述的摄影系统,其特征在于,所述图像捕捉设备围绕所述摄影装置的圆周间隔开,并且所述控制器被配置为处理来自每个所述图像捕捉设备的所述对象的图像以生成所述对象的模拟360度印象图像。
3.根据权利要求1所述的摄影系统,其特征在于,所述摄影装置还包括平台,所述平台被布置成将所述对象居中地定位在平台上并且相对于所述图像捕捉设备旋转所述对象,其中,所述控制器还被配置成同步地旋转所述平台和操作所述图像捕捉设备。
4.根据权利要求3所述的摄影系统,其特征在于,所述控制器还被配置成在所述平台旋转之后处理来自每个所述图像捕捉设备的所述对象的图像,以生成所述对象的模拟360度印象图像。
5.根据权利要求1所述的摄影系统,其特征在于,所述摄影装置还包括轨道,所述轨道具有安装到所述轨道上的图像捕捉设备,并且所述轨道被配置为围绕所述对象旋转所述图像捕捉设备,其中,所述控制器还被配置为旋转所述轨道并且同步地操作所述图像捕捉设备。
6.根据权利要求5所述的摄影系统,其特征在于,所述控制器还被配置成在所述轨道旋转之后处理来自每个所述图像捕捉设备的所述对象的图像,以生成所述对象的模拟360度印象图像。
7.如权利要求2所述的摄影系统,其特征在于,所述控制器还被配置成使用神经网络算法处理来自每个所述图像捕捉设备的所述对象的图像以生成所述对象的模拟360度印象图像,其中所述神经网络算法是在以不同角度捕捉的、居中地位于所述摄影装置内的另一对象的图像上训练的。
8.如权利要求7所述的摄影系统,其特征在于,用于所述神经网络算法的另一对象的图像是在围绕所述另一对象的360度间隔开的指定的不同角度处捕捉的。
9.如权利要求8所述的摄影系统,其特征在于,所述神经网络算法包括第一神经网络和第二神经网络,所述第一神经网络是在以指定的不同角度捕捉的所述另一对象的图像上训练的,所述第二神经网络是在以随机的不同角度捕捉的另一对象的图像上训练的。
10.如权利要求9所述的摄影系统,其特征在于,所述另一对象具有不同的高度和形状,并且所述第二神经网络是在所述另一对象的图像上训练的,所述另一对象的图像是在随机的不同光照条件和随机的不同范围下捕捉的。
11.如权利要求2至10中任一项所述的摄影系统,其特征在于,所述控制器拼接来自每个所述图像捕捉设备的所述对象的图像,以生成所述对象的模拟360度印象图像。
12.如权利要求11所述的摄影系统,其特征在于,所述控制器通过补偿所述对象的图像中的失真并且在基本上垂直和水平地拼接所述对象的图像之前基本上垂直和水平地对准所述对象的图像,来处理来自每个所述图像捕捉设备的所述对象的图像,以生成所述对象的模拟360度印象图像。
13.如权利要求11所述的摄影系统,其特征在于,所述控制器几何地拼接来自每个所述图像捕捉设备的所述对象的图像,然后使用光流算法来补偿所述对象的图像中的失真,以生成所述对象的模拟360度印象图像。
14.如权利要求2所述的摄影系统,其特征在于,所述摄影装置具有多行所述图像捕捉设备,多行所述图像捕捉设备纵向延伸并且围绕所述摄影装置的圆周间隔开。
15.如权利要求14所述的摄影系统,其特征在于,所述摄影装置包括在所述摄影装置上纵向延伸并围绕所述摄影装置的圆周间隔开的多个杆件,其中所述图像捕捉设备被安装到所述杆件。
16.如权利要求1至15中任一项所述的摄影系统,其特征在于,所述摄影装置包括2至120个所述图像捕捉设备。
17.根据权利要求1所述的摄影系统,其特征在于,所述摄影装置包括在所述摄影装置上纵向间隔开的两个或更多个所述图像捕捉设备。
18.如权利要求1到17中任一项所述的摄影系统,其特征在于,所述摄影装置包括安装到所述摄影装置的一个或更多个光源,所述一个或更多个光源被配置成由所述控制器操作以照亮位于所述摄影装置内的对象。
19.如权利要求18所述的摄影系统,当从属于权利要求4时,其特征在于,所述控制器被配置成同步地操作所述图像捕捉设备、所述平台和所述光源,使得当所述对象在所述平台上相对于所述图像捕捉设备旋转时,所述对象以指定的照明等级被照亮。
20.一种摄影方法,包括:
将对象居中地定位在摄影装置内,所述摄影装置具有安装到所述摄影装置的多个间隔开的图像捕捉设备;
控制器同步操作所述图像捕捉设备以在所述对象的不同角度处捕捉居中地位于所述摄影装置内的所述对象的图像;
在所述控制器处从每个所述图像捕捉设备接收所述对象的图像;以及
控制器处理来自每个图像捕捉设备的对象的图像,以生成所述对象的至少一部分模拟360度印象图像。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762517597P | 2017-06-09 | 2017-06-09 | |
US62/517,597 | 2017-06-09 | ||
PCT/IB2018/054074 WO2018224991A1 (en) | 2017-06-09 | 2018-06-07 | A photography system and method |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111095101A true CN111095101A (zh) | 2020-05-01 |
Family
ID=64565761
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880051126.8A Pending CN111095101A (zh) | 2017-06-09 | 2018-06-07 | 一种摄影系统和方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20200201165A1 (zh) |
EP (1) | EP3635486A4 (zh) |
JP (1) | JP2020523960A (zh) |
CN (1) | CN111095101A (zh) |
WO (1) | WO2018224991A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6804482B2 (ja) * | 2018-02-05 | 2020-12-23 | Eizo株式会社 | 撮像装置 |
US11250296B2 (en) * | 2019-07-24 | 2022-02-15 | Nvidia Corporation | Automatic generation of ground truth data for training or retraining machine learning models |
RU2750650C1 (ru) * | 2020-10-06 | 2021-06-30 | Игорь Сергеевич Лернер | Многофункциональная мультимедийная студия самообслуживания для производства фото/видеоматериалов |
US11823327B2 (en) | 2020-11-19 | 2023-11-21 | Samsung Electronics Co., Ltd. | Method for rendering relighted 3D portrait of person and computing device for the same |
US20220351331A1 (en) * | 2021-04-30 | 2022-11-03 | International Business Machines Corporation | Object stitching image generation |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4089597A (en) * | 1976-03-11 | 1978-05-16 | Robert Bruce Collender | Stereoscopic motion picture scanning reproduction method and apparatus |
WO1992002845A1 (en) * | 1990-08-08 | 1992-02-20 | Trutan Pty Limited | Multiple angle projection for 3-d imagery |
US20050025313A1 (en) * | 2003-06-19 | 2005-02-03 | Wachtel Robert A. | Digital imaging system for creating a wide-angle image from multiple narrow angle images |
US20120293632A1 (en) * | 2009-06-09 | 2012-11-22 | Bartholomew Garibaldi Yukich | Systems and methods for creating three-dimensional image media |
WO2015174885A1 (ru) * | 2014-05-16 | 2015-11-19 | Андрей Владимирович КЛИМОВ | Способ построения трехмерного цветного изображения и устройство для его осуществления |
US20160150217A1 (en) * | 2014-11-20 | 2016-05-26 | Cappasity Inc. | Systems and methods for 3d capturing of objects and motion sequences using multiple range and rgb cameras |
CN106200248A (zh) * | 2015-05-28 | 2016-12-07 | 长沙维纳斯克信息技术有限公司 | 一种3d数字影像的自动拍摄系统 |
US20170148223A1 (en) * | 2014-10-31 | 2017-05-25 | Fyusion, Inc. | Real-time mobile device capture and generation of ar/vr content |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR200348130Y1 (ko) * | 2004-01-31 | 2004-05-03 | (주)오픈브이알 | 카메라 고정식 3차원 이미지 생성장치 |
US8217993B2 (en) * | 2009-03-20 | 2012-07-10 | Cranial Technologies, Inc. | Three-dimensional image capture system for subjects |
US20150138311A1 (en) * | 2013-11-21 | 2015-05-21 | Panavision International, L.P. | 360-degree panoramic camera systems |
CN205176477U (zh) * | 2015-11-27 | 2016-04-20 | 常州信息职业技术学院 | 一种3d环视拍摄系统 |
-
2018
- 2018-06-07 CN CN201880051126.8A patent/CN111095101A/zh active Pending
- 2018-06-07 WO PCT/IB2018/054074 patent/WO2018224991A1/en unknown
- 2018-06-07 JP JP2020518593A patent/JP2020523960A/ja active Pending
- 2018-06-07 US US16/620,862 patent/US20200201165A1/en not_active Abandoned
- 2018-06-07 EP EP18813005.8A patent/EP3635486A4/en not_active Withdrawn
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4089597A (en) * | 1976-03-11 | 1978-05-16 | Robert Bruce Collender | Stereoscopic motion picture scanning reproduction method and apparatus |
WO1992002845A1 (en) * | 1990-08-08 | 1992-02-20 | Trutan Pty Limited | Multiple angle projection for 3-d imagery |
US20050025313A1 (en) * | 2003-06-19 | 2005-02-03 | Wachtel Robert A. | Digital imaging system for creating a wide-angle image from multiple narrow angle images |
US20120293632A1 (en) * | 2009-06-09 | 2012-11-22 | Bartholomew Garibaldi Yukich | Systems and methods for creating three-dimensional image media |
WO2015174885A1 (ru) * | 2014-05-16 | 2015-11-19 | Андрей Владимирович КЛИМОВ | Способ построения трехмерного цветного изображения и устройство для его осуществления |
US20170148223A1 (en) * | 2014-10-31 | 2017-05-25 | Fyusion, Inc. | Real-time mobile device capture and generation of ar/vr content |
US20160150217A1 (en) * | 2014-11-20 | 2016-05-26 | Cappasity Inc. | Systems and methods for 3d capturing of objects and motion sequences using multiple range and rgb cameras |
CN106200248A (zh) * | 2015-05-28 | 2016-12-07 | 长沙维纳斯克信息技术有限公司 | 一种3d数字影像的自动拍摄系统 |
Also Published As
Publication number | Publication date |
---|---|
EP3635486A1 (en) | 2020-04-15 |
US20200201165A1 (en) | 2020-06-25 |
WO2018224991A1 (en) | 2018-12-13 |
JP2020523960A (ja) | 2020-08-06 |
EP3635486A4 (en) | 2021-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111095101A (zh) | 一种摄影系统和方法 | |
US11699243B2 (en) | Methods for collecting and processing image information to produce digital assets | |
US10706621B2 (en) | Systems and methods for processing image information | |
CN106797459A (zh) | 三维视频的传输 | |
US20170154463A1 (en) | Systems and Methods for Processing Image Information | |
JP2004046772A (ja) | 画像処理方法、画像処理システム、及び画像処理装置 | |
CN109788215A (zh) | 图像处理装置、计算机可读存储介质以及图像处理方法 | |
US20200396382A1 (en) | Photographing apparatus, and control method and device applied to photographing apparatus | |
US20180307121A1 (en) | Outdoor photography system | |
CN112019826A (zh) | 投影方法、系统、装置、电子设备及存储介质 | |
CN116386520B (zh) | 球形内侧显示屏校正方法、装置、电子设备以及存储介质 | |
JP2006285763A (ja) | 被写体についての陰影のない画像を生成する方法および装置、並びにそれに用いる白色板 | |
KR20180137916A (ko) | 가상현실 영상컨텐츠 제공시스템 및 제공방법 | |
US20240121514A1 (en) | Photographic stage | |
KR20190090980A (ko) | 필터 부착 조명 및 드론을 이용한 3d 모델 생성 장치 | |
CN112399067B (zh) | 全景拍摄方法、装置、电子设备及存储介质 | |
CN108876891B (zh) | 人脸图像数据采集方法及人脸图像数据采集装置 | |
JP5506371B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
CN110313172A (zh) | 信息处理设备和方法 | |
JP6200204B2 (ja) | 照明情報計測装置 | |
JP2016125917A (ja) | 三次元形状計測装置、方法およびプログラム | |
US10270964B2 (en) | Camera and illumination system | |
CN110581959A (zh) | 多重成像设备和多重成像方法 | |
US11677921B2 (en) | System and method for generating dewarped image using projection patterns captured from omni-directional stereo cameras | |
WO2016194209A1 (ja) | 撮像システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200501 |
|
WD01 | Invention patent application deemed withdrawn after publication |