CN105407256A - 静止图像提取方法以及实现该方法的图像处理装置 - Google Patents
静止图像提取方法以及实现该方法的图像处理装置 Download PDFInfo
- Publication number
- CN105407256A CN105407256A CN201510564421.1A CN201510564421A CN105407256A CN 105407256 A CN105407256 A CN 105407256A CN 201510564421 A CN201510564421 A CN 201510564421A CN 105407256 A CN105407256 A CN 105407256A
- Authority
- CN
- China
- Prior art keywords
- frame
- camera
- shooting
- frames
- moving picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
- G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
一种静止图像提取方法以及实现该方法的图像处理装置,静止图像提取方法从使照相机相对于被摄体相对移动并同时在时间上连续地拍摄而得到的运动图像流中,提取多个帧分别作为静止图像。进行下述动作:提取在所述运动图像流中包含的多个第1帧,取得所提取的多个第1帧各自的拍摄时刻;根据多个第1帧,确定多个第1帧各自的所述拍摄时刻时的照相机的拍摄位置;基于利用多个第1帧分别确定的所述照相机的拍摄位置、及取得的所述拍摄时刻,推定在距离等间隔的多个拍摄位置处通过拍摄而得到的多个帧各自的拍摄时刻;以及作为在距离等间隔的多个拍摄位置处通过拍摄而得到的多个帧中的每1帧,从所述运动图像流中提取所推定的各个所述拍摄时刻的第2帧。
Description
技术领域
本技术涉及从运动图像流中提取多个帧作为静止图像的静止图像提取方法以及实现该方法的图像处理装置。
背景技术
为了得到物体的整个周围的数据,从该物体周边的各位置利用照相机将该物体作为被摄体进行拍摄。在此,为了交互式地显示和阅览物体的整个周围的静止图像,进行拍摄的照相机的各个位置(以下称为拍摄位置)最好距离等间隔地进行分离。
以往,为了得到上述各拍摄位置处的静止图像,依次进行各拍摄位置处的静止图像的拍摄(参照日本公开专利特开2007-72537号公报)。即,使照相机移动,并同时在各个拍摄位置处反复进行如下处理动作:将照相机固定在拍摄位置并在该拍摄位置处由照相机进行拍摄。
发明内容
本技术的静止图像提取方法从使照相机相对于被摄体相对移动并同时在时间上连续地拍摄而得到的运动图像流中,分别作为静止图像而提取多个帧。该静止图像提取方法进行下述动作,即:提取在所述运动图像流中包含的多个第1帧,并且取得所提取的多个第1帧各自的拍摄时刻;根据多个第1帧,确定多个第1帧各自的所述拍摄时刻时的照相机的拍摄位置;基于利用多个第1帧分别确定的所述照相机的拍摄位置、以及取得的所述拍摄时刻,对在距离等间隔的多个拍摄位置处通过拍摄而得到的多个帧各自的拍摄时刻进行推定;以及作为在距离等间隔的多个拍摄位置处通过拍摄而得到的多个帧中的每1帧,从所述运动图像流中提取所推定的各个所述拍摄时刻的第2帧。
附图说明
图1是表示本技术的实施方式中的图像处理系统的结构图。
图2是用于说明在基于实施方式的拍摄部中的被摄体的拍摄方法的说明图。
图3是表示实施方式中的图像处理系统1的动作的流程图。
图4是表示实施方式中的静止图像提取方法的动作的流程图。
图5是表示实施方式中的照相机21的拍摄位置的确定方法的流程图。
图6是表示实施方式中的初始采样点的说明图。
图7是表示实施方式中的对再次采样点的时间戳进行推定的方法的动作的流程图。
图8是表示实施方式中的初始采样点的时间戳与相对于基准点的角度之间的关系的说明图。
图9是表示实施方式中的再次采样点的说明图。
图10是表示对再次采样点处的由拍摄得到的多个帧的各自的时间戳进行推定的方法的说明图。
图11是表示本技术的其他实施方式所涉及的静止图像提取方法的动作的流程图。
图12是表示本技术的其他实施方式所涉及的被摄体的拍摄方法的说明图。
具体实施方式
下面,参照附图说明本技术的实施方式所涉及的图像处理装置。但是,有时省略不必要的详细说明。例如,有时省略关于已经公知的事项的详细说明、对实质相同的结构的重复说明。这是为了避免下面的说明不必要地变得冗长,使本领域技术人员容易理解。
此外,发明人为了使本领域技术人员充分理解本技术而提供附图以及下面的说明,并不意在通过附图以及下面的说明对权利要求书中记载的主题进行限定。
[1-1.结构]
图1是表示本技术的实施方式中的图像处理系统的结构图。
本实施方式中的图像处理系统1是下述系统,即,将照相机相对于被摄体进行相对移动,并同时对被摄体进行连续地拍摄,由此取得运动图像流,从所述运动图像流中提取多个帧分别作为静止图像。图像处理系统1具备:图像处理装置10、拍摄部20、控制部30、拍摄图像存储部40、以及多视点图像数据库(DB)50。
在本实施方式中的图像处理系统1中,运动图像流例如是通过帧速为60fps(framepersecond)的拍摄而生成的,包含通过时间上等间隔的拍摄,即每1/60秒的拍摄而得到的多个帧。另外,在各个帧中附加有时间戳(timestamp),每通过拍摄而生成1个帧,则该时间戳加“1”。时间戳表示附加有时间戳的帧的拍摄时刻。例如,在运动图像流的帧速为60fps的情况下,从运动图像拍摄的开始起1秒后的时间戳,表示在运动图像拍摄开始时的时间戳上加上“60”得到的值。在运动图像拍摄开始时的时间戳为“10”的情况下,从运动图像拍摄的开始起1秒后的时间戳为“70”。
此外,在本实施方式中,运动图像流是从以等时间间隔拍摄的帧生成的运动图像,但不限于此。例如,也可以是以等时间间隔连续拍摄的静止图像的集合。例如,将图像ID与以等时间间隔连续拍摄的静止图像进行关联,能够与时间戳同样地对待图像ID。因此,在本实施方式中,在静止图像提取方法中使用时间戳,但在运动图像流是以等时间间隔连续拍摄的静止图像的集合的情况下,在静止图像提取方法中使用图像ID。
图像处理装置10进行如下动作:从存储在拍摄图像存储部40中的运动图像流中提取多个帧分别作为静止图像。多个帧的静止图像成为在等间隔地分离的距离的多个拍摄位置处拍摄的图像。将照相机相对于被摄体相对移动,并同时在时间上连续地对所述被摄体进行拍摄,由此得到运动图像流。例如,利用在以被摄体为中心的圆周上移动的照相机进行拍摄,从由此得到的运动图像流中,图像处理装置10提取在形成每隔10度的等间隔的角度的36个拍摄位置处拍摄的静止图像。
图像处理装置10具备图像提取部11以及拍摄位置计算部12。
图像提取部11提取在运动图像流中包含的多个第1帧,取得所提取的多个第1帧各自的拍摄时刻。另外,图像提取部11进行初始采样动作和再次采样动作。
拍摄位置计算部12根据多个第1帧,确定与利用多个第1帧中的每1帧取得的拍摄时刻时的照相机的拍摄位置有关的信息。拍摄位置计算部12基于利用各个第1帧取得的拍摄时刻、以及利用各个第1帧确定的与拍摄位置有关的信息,进行对拍摄时刻进行推定的动作,该拍摄时刻是利用距离等间隔地分离的多个拍摄位置处的照相机进行拍摄而得到的多个帧各自的拍摄时刻。
所述图像提取部11在初始采样中,提取在运动图像流中包含的多个第1帧,取得表示所提取的多个第1帧各自的拍摄时刻的时间戳。将通过初始采样提取的第1帧称为初始采样帧。此时,图像提取部11以取得的时间戳等间隔的方式提取多个初始采样帧。
所述图像提取部11在再次采样中,从运动图像流中提取与由拍摄位置计算部12推定的各个拍摄时刻(时间戳)对应的第2帧。作为通过在距离等间隔地分离的多个拍摄位置处拍摄而得到的多个帧,提取从运动图像流中提取的第2帧。下面,将由图像提取部11通过再次采样提取的第2帧称为再次采样帧。例如,图像提取部11作为利用在每隔10度的等间隔的角度的拍摄位置处的照相机进行拍摄而得到的帧,提取36个再次采样帧。
拍摄位置计算部12根据初始采样帧各自的时间戳,对照相机的拍摄位置进行确定。即,拍摄位置计算部12能够确定对被摄体进行拍摄时的相对于被摄体的照相机的相对位置。下面,将由初始采样帧分别确定的拍摄位置称为初始采样点。
拍摄位置计算部12还基于初始采样点和通过初始采样取得的时间戳,推定通过在多个拍摄位置处进行拍摄而得到的多个帧各自的时间戳。下面,将由再次采样帧分别确定的拍摄位置称为再次采样点。
图2是用于说明在基于实施方式的拍摄部中的被摄体的拍摄方法的说明图。
如图2所示,拍摄部20具备照相机21、机械手22、以及转台(turntable)23。转台23是载置被摄体24并旋转的台子,以转台23的旋转轴(图2的Z轴)为旋转中心进行旋转。此外,转台23的转速由于载置在转台23上的被摄体24的重心位置、或者转台23的机械构造的精度等的影响,并不限定于一定的速度。照相机21通过对载置在转台23上的被摄体24进行拍摄,从而生成旋转的被摄体24的运动图像流。即,照相机21在以被摄体24为中心的圆周上相对于被摄体24相对移动,并同时对被摄体24进行拍摄,由此生成运动图像流。机械手22安装有照相机21,能够沿以被摄体24为中心的图2的XZ平面上的圆周方向使照相机21移动。
被摄体24是载置在转台23的旋转中心上,由照相机21进行拍摄的物体。利用被摄体24的静止图像,例如通过3维的计算机图形(CG)来表现被摄体24,该被摄体24的静止图像是由图像处理装置10提取的,并且是利用在距离等间隔地分离(即处于等间隔的角度)的多个拍摄位置处的照相机21进行拍摄而得到的。
此外,在本实施方式中,通过由转台23进行旋转,使照相机21相对于被摄体24相对移动并同时拍摄被摄体24,但并不限定于此。例如,也可以使照相机21在以被摄体24为中心的圆周上实际移动,并同时拍摄被摄体24。
另外,在本实施方式中,照相机21在以被摄体24为中心的圆周上相对于被摄体24相对移动,并同时对被摄体24进行拍摄,但并不限定于此。例如,也可以使照相机21沿直线上移动,并同时拍摄被摄体24。由此,可以作为利用在等间隔的距离的多个拍摄位置处的照相机21进行拍摄而得到的多个帧,提取再次采样帧中的每1帧。
控制部30进行拍摄部20的拍摄的控制。具体而言,控制部30进行由照相机21进行的运动图像拍摄的开始及结束、转台23的旋转、以及由机械手22产生的照相机21的移动的控制。由此,控制部30通过使转台23旋转,从而从位于与转台23的台面平行的面并且以被摄体24为中心的圆周上的位置,使照相机21对被摄体24进行拍摄。此外,控制部30进行机械手22的控制,沿以被摄体24为中心的图2的XZ平面上的圆周方向使照相机21移动。即,控制部30通过反复进行转台23的旋转、以及利用机械手22产生的照相机21的移动的控制,从而从以被摄体24为中心的球面上的位置,使照相机21对被摄体24进行拍摄。
拍摄图像存储部40是存储由拍摄部20生成的运动图像流的例如非易失性存储器。另外,拍摄图像存储部40存储时间戳,该时间戳表示在运动图像流中包含的帧的各自的拍摄时刻。
多视点图像DB50例如由非易失性存储器等构成,作为静止图像而保存多个再次采样帧,该多个再次采样帧是由图像处理装置10提取的,并且是通过在推定为距离等间隔的多个拍摄位置处,利用照相机21进行拍摄而得到的。
[1-2.动作]
关于以如上方式构成的本实施方式中的图像处理系统1,对动作进行说明。
图3是表示实施方式中的图像处理系统1的动作的流程图。
首先,如图3所示,拍摄部20根据控制部30的控制对被摄体24进行拍摄(步骤S201)。具体而言,控制部30通过进行转台23的旋转的控制,从而使照相机21从被摄体24的360度周围,对载置在转台23上的被摄体24进行拍摄。此外,控制部30通过进行利用机械手22产生的照相机21的移动的控制,从而在与转台23的台面垂直的面中,使照相机21沿以被摄体24为中心的圆周方向移动。照相机21从移动后的位置,再次从被摄体24的360度周围对被摄体24进行拍摄。控制部30通过反复进行转台23的旋转、以及利用机械手22产生的照相机21的移动的控制,从而从以被摄体24为中心的球面上的位置,使照相机21对被摄体24进行拍摄,生成该拍摄所得到的运动图像流。将生成的运动图像流存储在拍摄图像存储部40中。此时也存储时间戳,该时间戳表示在运动图像流中包含的帧的各自的拍摄时刻。即,将运动图像流中包含的多个帧和与该多个帧分别对应的时间戳存储在拍摄图像存储部40中。
下面,图像处理装置10将在推定为距离等间隔的多个拍摄位置(再次采样点)处,通过利用照相机21进行拍摄而得到的多个帧(再次采样帧),从存储在拍摄图像存储部40中的运动图像流中提取出来(步骤S202)。
最后,图像处理装置10将提取出的多个再次采样帧作为静止图像,保存在多视点图像DB50中(步骤S203)。
图4是表示实施方式中的静止图像提取方法的动作的流程图。图4是详细表示图3的步骤S202的处理的流程图。
首先,图像提取部11进行初始采样,即,从存储在拍摄图像存储部40中的运动图像流中,提取多个初始采样帧,取得与提取出的多个初始采样帧分别对应的时间戳(步骤S301)。例如,图像提取部11提取8个初始采样帧,取得与所提取的8个初始采样帧分别对应的8个时间戳。在此,所提取的8个初始采样帧是与初始采样帧分别对应的8个时间戳等间隔的帧。即,图像提取部11以一定的时间间隔提取初始采样帧。此外,初始采样帧不限于8个,也可以是2~7个,或者也可以是9个以上。通过增加初始采样帧的数量,从而使后述的再次采样点处的由照相机21的拍摄得到的多个帧各自的时间戳的推定精度变高。
下面,拍摄位置计算部12确定图像提取部11中8个初始采样帧各自的时间戳时的照相机21的拍摄位置(初始采样点)(步骤S302)。
此外,拍摄位置计算部12基于所确定的8个初始采样点、以及由图像提取部11取得的8个初始采样帧各自的时间戳,推定再次采样点处的由照相机21的拍摄得到的多个帧各自的时间戳(步骤S303)。
最后,图像提取部11进行再次采样,即,从存储在拍摄图像存储部40中的运动图像流中,作为再次采样点处的由照相机21的拍摄得到的多个帧的每1帧,提取再次采样帧(步骤S304)。
图5是表示实施方式中的照相机21的拍摄位置的确定方法的流程图。图5是详细表示图4的步骤S302的处理的流程图。
首先,拍摄位置计算部12提取8个初始采样帧各自的特征点(特征量)(步骤S401)。特征点通过SIFT或Harris的角点(corner)检测等进行提取。此外,特征点的提取方法并不限定于这些方法。
下面,拍摄位置计算部12利用所提取的8个初始采样帧各自的特征点的匹配,计算帧间的对应的点(步骤S402)。
最后,拍摄位置计算部12根据计算出的帧间的各个对应的点,使用SFM(StructureFromMotion)算法确定拍摄位置(步骤S403)。
如上述所示,确定初始采样点,即8个初始采样帧各自的时间戳时的照相机21的拍摄位置。初始采样点例如用以任意点为原点的坐标(Xi,Yi,Zi)表示。在本实施方式中,通过初始采样提取了8个初始采样帧,因而i=0~7。
图6是表示实施方式中的初始采样点的说明图。图6所示的S0(X0,Y0,Z0)~S7(X7,Y7,Z7)是各初始采样点及其坐标。在本实施方式中,图像提取部11以一定的时间间隔提取8个初始采样帧。如图6所示,各初始采样点并不存在于距离等间隔的位置。即,图像提取部11以通过初始采样取得的时间戳等间隔的方式,提取8个初始采样帧,但提取出的8个初始采样帧的初始采样点并不位于距离等间隔的位置。这是因为,转台23并未以恒定的速度旋转。因此,即使在图像提取部11以通过初始采样取得的时间戳等间隔的方式提取8个初始采样帧的情况下,初始采样点也处于定位不完全的拍摄位置。
图7是表示实施方式中的对再次采样点的时间戳进行推定的方法的动作的流程图。图7是详细表示图4的步骤S303的处理的流程图。
首先,拍摄位置计算部12计算载置有被摄体24的转台23的旋转中心的位置(步骤S501)。具体而言,通过使用下式1~7的最小二乘法,计算转台23的旋转中心的位置。
下式1是表示球的中心点与半径之间的关系的式子。
式1
(Xi-X)2+(Yi-Y)2+(Zi-Z)2=r2(式1)
式1所示的Xi、Yi、Zi分别是初始采样点的坐标的x成分、y成分、z成分。X、Y、Z分别是转台23的旋转中心的坐标的x成分、y成分、z成分。另外,r是转台23的旋转中心与初始采样点之间的距离。即,r是以转台23的旋转中心为中心的球的半径。
下式2及3是表示式1的左边与右边的差的累积平方误差的式子。
式2
∑((Xi-X)2+(Yi-Y)2+(Zi-Z)2-r2)2(式2)
在此,如果假设A=-2X、B=-2Y、C=-2Z、D=X2+Y2+Z2-r2,则以下式3的方式将式2进行整理。
式3
下式4~7是用变量A~D对式3进行偏微分得到的值为0时的方程式。在用变量A~D对式3进行偏微分得到的值为0时,计算出式3所示的累积平方误差达到最小的球的中心点以及半径。具体而言,通过将初始采样点的坐标(X0,Y0,Z0)~(X7,Y7,Z7)代入下式4~7的(Xi,Yi,Zi)并求解,从而计算出转台23的旋转中心的坐标。
式4
式5
式6
式7
通过这样做,计算出转台23的旋转中心的位置。
此外,按照式1~7所示的方式,使用最小二乘法计算了转台23的旋转中心的坐标,但不限于此。例如,也可以使用适用了RANSAC(RANdomSAmpleConsensus)算法的鲁棒(robust)估算法。
下面,拍摄位置计算部12将初始采样点中的1个点作为基准点,计算从转台23的旋转中心到基准点的矢量、与从转台23的旋转中心到除基准点外的初始采样点的矢量之间所成的角(步骤S502)。例如,将图6所示的点S0作为基准点,设为点Sb。另外,在将转台23的旋转中心作为原点O的情况下,设点Sb的坐标为(xb,yb,zb),其他7个初始采样点的坐标为(xi,yi,zi)(i=1~7)。下式8及9中示出计算角θi的式子,该角θi是从转台23的旋转中心O到基准点Sb的矢量、与从转台23的旋转中心O分别到其他7个初始采样点Si的矢量之间所成的角。
式8
(式8)
式9
通过这样做,作为相对于基准点的角度而计算初始采样点的位置。另外,图像提取部11取得8个初始采样帧各自的时间戳(步骤S301)。因此,8个初始采样点的相对于基准点的角度同8个初始采样帧各自的时间戳相对应。
下面,拍摄位置计算部12对再次采样点处的由照相机21的拍摄得到的多个帧的各自的时间戳进行推定(步骤S503)。
图8是表示实施方式中的初始采样点的时间戳与相对于基准点的角度之间的关系的说明图。将各初始采样点的时间戳si与相对于基准点的角度θi相对应。
在图8中,相对于基准点的角度θi是在步骤S502中利用拍摄位置计算部12计算出的角度的例子。在本实施方式中,图像提取部11以1秒为间隔提取初始采样帧,运动图像流的帧速为60fps,因而时间戳si是以60(1秒)为单位的等间隔的时间戳。另一方面,相对于基准点的角度θi不是等间隔的角度。这是因为,如前所述,转台23并未以恒定的速度旋转。因此,即使在图像提取部11以时间戳等间隔的方式提取多个初始采样帧的情况下,初始采样点也处于定位不完全的拍摄位置。
此外,运动图像流的帧速为60fps,但不限于此。运动图像流的帧速也可以小于60fps,例如为30fps,还可以大于60fps,例如为120fps。
图9是表示实施方式中的再次采样点的说明图。如图9所示,拍摄位置计算部12例如对每22.5度的等间隔的角度的再次采样点处的、由照相机21的拍摄得到的16个帧的各自的时间戳进行推定。在图9中,点Tx(x=0~15)是再次采样点。
此外,在本实施方式中,再次采样点是16个,但不限于此。再次采样点也可以少于16个,例如,每45度的等间隔的角度的再次采样点为8个。另外,再次采样点也可以多于16个,例如,每10度的等间隔的角度的再次采样点为36个。
拍摄位置计算部12对再次采样点Tx处的由照相机21的拍摄得到的帧的时间戳tx进行推定。具体而言,根据再次采样点Tx附近的初始采样点Sm及Sm-1的相对于基准点的角度θm及θm-1、以及对应的时间戳sm及sm-1,对再次采样点Tx处的由照相机21的拍摄得到的帧的时间戳tx进行推定。即,通过基于初始采样点Sm及Sm-1的相对于基准点的角度θm及θm -1、以及时间戳sm及sm-1的线性插值,对再次采样点Tx处的由照相机21的拍摄得到的帧的时间戳tx进行推定。在本实施方式中,再次采样点是16个,因而x=0~15。另外,初始采样点是8个,因而m=1~7。再次采样点Tx处的由照相机21的拍摄得到的帧的时间戳tx的计算式为下式10。
式10
在式10中,θ表示距离等间隔地分离的再次采样点之间的角度。即,如图9所示,在本实施方式中,对每22.5度的等间隔的角度的再次采样点处的、由照相机21的拍摄得到的多个帧的各自的时间戳进行推定,因而θ=22.5。
图10是表示对再次采样点处的由拍摄得到的多个帧的各自的时间戳进行推定的方法的说明图。如图10所示,通过基于再次采样点T2(x=2)附近的初始采样点S2及S1(m=2)的相对于基准点的角度θ2及θ1、以及时间戳s2及s1的线性插值,对再次采样点T2处的由照相机21的拍摄得到的帧的时间戳t2进行推定。通过将图8所示的与初始采样点S2及S1对应的时间戳、以及相对于基准点的角度代入式10,从而能够推定时间戳t2。在本实施方式中,根据θ2=75、θ1=30、s2=180以及s1=120,将时间戳t2推定为140。
如图8所示,8个初始采样点处的由照相机21的拍摄得到的8个初始采样帧是以60(1秒)为单位的等间隔的时间戳的帧。通过这样做,如图6所示,初始采样点能够分布得较宽地位于圆周上。因此,再次采样点Tx处的由照相机21的拍摄得到的多个帧的各自的时间戳tx的推定精度变高。另一方面,例如,在初始采样点集中于圆周上的一部分的情况下,再次采样点与集中于圆周上的一部分的初始采样点群相距越远,则再次采样点处的由照相机21的拍摄得到的帧的时间戳的推定精度越低。
此外,在本实施方式中,多个初始采样帧分别是在时间上等间隔的时间戳的帧,但不限于此。例如,多个初始采样帧也可以不是分别等间隔的时间戳的帧。
下面,与推定为140的时间戳t2同样地,对其他的再次采样点处的由照相机21的拍摄得到的帧的时间戳进行推定。由此,对多个再次采样点处的由照相机21的拍摄得到的多个帧的各自的时间戳进行推定。
最后,图像提取部11从存储在拍摄图像存储部40中的运动图像流中,作为再次采样点处的由照相机21的拍摄得到的多个帧的每1帧,通过再次采样而提取由拍摄位置计算部12推定的各个时间戳的再次采样帧。然后,图像提取部11将提取出的再次采样帧作为静止图像,保存在多视点图像DB50中。
[1-3.效果等1
如上述所示,本技术是一种静止图像提取方法,该方法从使照相机相对于被摄体相对移动并同时在时间上连续地拍摄而得到的运动图像流中,分别作为静止图像而提取多个帧。该静止图像提取方法进行下述动作,即,提取在所述运动图像流中包含的多个第1帧,并且取得所提取的多个第1帧各自的拍摄时刻;根据多个第1帧,确定多个第1帧各自的所述拍摄时刻时的照相机的拍摄位置;基于利用多个第1帧分别确定的所述照相机的拍摄位置、以及取得的所述拍摄时刻,对在距离等间隔的多个拍摄位置处通过拍摄而得到的多个帧各自的拍摄时刻进行推定;以及作为在距离等间隔的多个拍摄位置处通过拍摄而得到的多个帧中的每1帧,从所述运动图像流中提取所推定的各个所述拍摄时刻的第2帧。
由此,能够通过短时间的拍摄,提取距离等间隔地分离的适当的拍摄位置处的静止图像。
即,在本实施方式中,通过初始采样而提取在运动图像流中包含的多个初始采样帧,取得与该多个初始采样帧对应的时间戳。并且,确定所提取的多个初始采样帧的各自的初始采样点,基于确定的初始采样点、以及与该多个初始采样帧对应的时间戳,推定在再次采样点处的通过照相机的拍摄而得到的多个帧的各自的时间戳。最后,作为在再次采样点处的由照相机21的拍摄得到的多个帧中的每1帧,从所述运动图像流中提取与推定的各个时间戳对应的再次采样帧。
由此,在使照相机相对于被摄体移动并同时对被摄体进行拍摄的情况下,能够从虽然在时间上等间隔但距离并非等间隔的拍摄位置处的通过拍摄而得到的图像群中,提取在距离等间隔地分离的多个拍摄位置处的通过拍摄而得到的静止图像。因此,能够通过短时间的拍摄,提取距离等间隔地分离的适当的拍摄位置处的静止图像。
另外,对于从所述运动图像流中提取出的第2帧的拍摄位置,基于该第2帧进行确定,判定所述第2帧的拍摄位置、与所述距离等间隔地分离的多个拍摄位置中的1个等间隔位置之间的位置偏差是否在规定的范围内,在所述位置偏差不在规定的范围内的情况下,使用提取出的所述第2帧的拍摄位置以及所述拍摄时刻,再次对在所述等间隔位置处的通过照相机的拍摄而得到的帧的拍摄时刻进行推定,作为在距离等间隔地分离的多个拍摄位置处的通过所述照相机的拍摄而得到的帧,从所述运动图像流中提取再次推定的所述拍摄时刻的第2帧。
由此,能够高精度地提取距离等间隔地分离的拍摄位置处的静止图像。
另外,在推定所述拍摄时刻时,利用基于多个第1帧各自的确定的拍摄位置、以及取得的拍摄时刻的线性插值,对在距离等间隔的多个拍摄位置处通过拍摄而得到的多个帧各自的拍摄时刻进行推定。
由此,对于在距离等间隔地分离的多个拍摄位置处的通过照相机的拍摄而得到的多个帧,能够推定各自的拍摄时刻。
另外,在对所述多个第1帧的各自的拍摄位置进行确定时,利用从所述多个第1帧中分别提取出的多个特征点的匹配,计算帧间的对应的点,根据计算出的帧间的各个对应的点,使用SFM(StructureFromMotion)算法确定所述拍摄位置。
由此,能够确定在运动图像流中包含的多个帧的各自的所取得的拍摄时刻时的、照相机的拍摄位置。
另外,在提取所推定的各个所述拍摄时刻的第2帧时,从使照相机在以被摄体为中心的圆周上移动并同时进行拍摄而得到的运动图像流中,作为在等间隔的角度的多个拍摄位置处的通过照相机的拍摄而得到的多个帧,分别提取第2帧。
由此,从通过以被摄体为中心的圆周上的位置处的拍摄而得到的运动图像流中,能够提取从等间隔地配置的拍摄位置观察的整个周围的图像。
此外,在提取所推定的各个所述拍摄时刻的第2帧时,从使照相机在以被摄体为中心的圆周的切线方向上移动并进行拍摄而得到的运动图像流中,提取用于生成具有视差的3维图像的多个第2帧。
由此,根据通过从纵深方向进行拍摄而得到的运动图像流,能够生成具有视差的3维图像。
另外,在提取所推定的各个所述拍摄时刻的第2帧时,从使照相机在直线上移动并同时进行拍摄而得到的运动图像流中,作为在等间隔的距离的多个拍摄位置处的通过照相机的拍摄而得到的多个帧,分别提取第2帧。
另外,本技术的图像处理装置从使照相机相对于被摄体相对移动并同时在时间上连续地拍摄而得到的运动图像流中,分别作为静止图像而提取多个帧。所述图像处理装置具备图像提取部和拍摄位置计算部。所述图像提取部进行下述动作,即,提取在运动图像流中包含的多个第1帧,取得所提取的多个第1帧各自的拍摄时刻。所述拍摄位置计算部进行下述动作,即,根据多个第1帧,确定与利用多个第1帧分别取得的拍摄时刻时的照相机的拍摄位置有关的信息;基于利用第1帧分别取得的拍摄时刻、以及利用第1帧分别确定的与拍摄位置有关的信息,对在距离等间隔地分离的多个拍摄位置处通过拍摄而得到的多个帧各自的拍摄时刻进行推定。此外,所述图像提取部进行下述动作,即,作为在距离等间隔地分离的多个拍摄位置处通过拍摄而得到的多个帧中的每1帧,从运动图像流中提取与利用拍摄位置计算部推定的各个拍摄时刻对应的第2帧。
由此,能够通过短时间的拍摄,提取距离等间隔地分离的适当的拍摄位置处的静止图像。
图11是表示本技术的其他实施方式所涉及的静止图像提取方法的动作的流程图。
本实施方式的图像处理系统的图像处理装置10对通过再次采样提取出的再次采样帧的拍摄位置进行验证,如果该拍摄位置从再次采样点偏离,则再一次进行再次采样。
如图11所示,与图4所示的处理同样地进行步骤S301~S304的处理。在步骤S304中,图像提取部11作为再次采样点处的由照相机21的拍摄得到的多个帧的每1帧,从运动图像流中通过再次采样而提取再次采样帧。与步骤S303中推定的各个时间戳对应的再次采样帧,不一定是在再次采样点处的由照相机21的拍摄得到的多个帧。具体而言,如果在再次采样点附近的2个初始采样点之间,时间戳与相对于基准点的角度之间的关系不是比例关系,则步骤S303中的推定是错误的。
在转台23的转速不恒定的情况下,初始采样点之间的时间戳与相对于基准点的角度之间的关系不是比例关系。由此,通过基于并非比例关系的时间戳和相对于基准点的角度的线性插值而推定的时间戳,不是与再次采样点对应的时间戳。
在本实施方式中,在步骤S304中通过再次采样而提取出的多个再次采样帧并不作为静止图像而直接保存在多视点图像DB50中,图像提取部11对于在步骤S304中从运动图像流中通过再次采样而提取出的多个再次采样帧的拍摄位置,根据该帧以及初始采样帧进行确定(步骤S305)。即,对于通过再次采样而提取出的多个再次采样帧,进行步骤S302中的动作。由此可知步骤S303中的推定是否是正确的。
下面,图像提取部11判定通过再次采样而提取出的再次采样帧的由步骤S305确定的拍摄位置、与等间隔位置即再次采样点之间的位置偏差是否在规定的范围内,该等间隔位置是距离等间隔地分离的多个拍摄位置中的1个拍摄位置(步骤S306)。例如,图像提取部11判定通过再次采样而提取出的再次采样帧的由步骤S305确定的拍摄位置、与45度的再次采样点之间的位置偏差是否在规定的范围内,该45度的再次采样点是每22.5度的等间隔的角度的多个拍摄位置中的1个拍摄位置。
图像提取部11在通过再次采样而提取出的多个再次采样帧的全部的位置偏差在规定范围内的情况下(步骤S306中Yes),将通过再次采样而提取出的多个再次采样帧作为静止图像保存在多视点图像DB50中。
图像提取部11在通过再次采样而提取出的多个再次采样帧的位置偏差不在规定范围内的情况下(步骤S306中No),使用通过再次采样而提取出的再次采样帧的拍摄位置以及时间戳,再一次对在再次采样点处的由照相机21的拍摄得到的帧的时间戳进行推定。即,在多个初始采样帧的拍摄位置中,加入通过再次采样而提取出的多个再次采样帧的拍摄位置以及时间戳,进行推定精度变高了的步骤S303中的动作。并且,图像提取部11作为再次采样点处的由照相机21的拍摄得到的帧,从运动图像流中提取所推定的时间戳的帧。即,图像提取部11使用通过刚刚进行的再次采样而提取出的再次采样帧,反复执行再次采样,直到所提取的多个再次采样帧的位置偏差达到规定的范围内为止。由此,能够提取位置偏差可靠地纳入规定范围内的帧。换言之,能够以较高的精度提取再次采样点处的帧。
如上述所示,对于从运动图像流中通过再次采样而提取出的多个再次采样帧的拍摄位置,基于该再次采样帧进行确定。并且,判定通过再次采样而提取出的再次采样帧的拍摄位置与再次采样点之间的位置偏差是否在规定的范围内。在通过再次采样而提取出的多个再次采样帧的位置偏差不在规定范围内的情况下,使用通过再次采样而提取出的再次采样帧的拍摄位置以及时间戳,对在再次采样点处的由照相机21的拍摄得到的帧的时间戳进行推定。并且,使用通过刚刚进行的再次采样而提取出的再次采样帧,反复执行再次采样,直到利用推定的时间戳所提取的多个再次采样帧的位置偏差达到规定的范围内为止。
由此,进行再次采样,直到通过再次采样而提取的多个再次采样帧的位置偏差纳入规定的范围内为止,因而能够提取距离等间隔地分离的适当的拍摄位置处的静止图像。
图12是表示本技术的其他实施方式所涉及的被摄体的拍摄方法的说明图。如图12所示,拍摄部20与机械手22分开地具备滑座25,将照相机21安装在滑座25上。
如图12的点划线包围的部分所示(箭头A所示的部分),机械手22按照能够沿以被摄体24为中心的图12的XZ平面上的圆周方向移动的方式,保持有滑座25以及安装在滑座25上的照相机21。如图12的箭头A所示,滑座25以能够沿图12的y轴方向移动的方式,保持有安装在滑座25上的照相机21。图12的由点划线包围的部分是表示从正面观察照相机21时的、利用滑座25使照相机21向y轴方向移动的情形的图。
在上述实施方式中,照相机21在以被摄体24为中心的圆周上相对于被摄体24相对移动,并同时对被摄体24进行拍摄,由此生成运动图像流。另一方面,在本实施方式中,照相机21还在以被摄体24为中心的圆周的切线方向(y轴方向)上移动,在移动之后,再次在以被摄体24为中心的圆周上相对于被摄体24相对移动,并同时对被摄体24进行拍摄。具体而言,控制部30进行下述控制。
与上述实施方式同样,控制部30通过反复进行转台23的旋转、以及利用机械手22产生的照相机21的移动的控制,从而从以被摄体24为中心的球面上的位置,使照相机21对被摄体24进行拍摄。并且,控制部30进行利用滑块25产生的照相机21的移动的控制,沿图12的y轴方向使照相机21移动。控制部30在使照相机21沿y轴方向移动之后,再次从以被摄体24为中心的球面上的位置,使照相机21对被摄体24进行拍摄。由此,在被摄体24的纵深方向上也进行拍摄,因而得到用于生成3维图像的运动图像流,该3维图像是从以被摄体24为中心的球面上的位置对被摄体24进行拍摄而得到的具有视差的3维图像。
如上述所示,在本变形例中,使照相机21在以被摄体24为中心的圆周的切线方向上移动并进行拍摄。
由此,得到包含帧的运动图像流,该帧用于生成具有视差的3维图像。因此,能够提取用于生成具有视差的3维图像的多个帧。
本技术例如能够适用于对静止图像进行提取的图像处理装置,该静止图像用于交互式地显示物体的整个周围的图像。
如上述所示,作为本技术的技术例示,说明了实施方式。为此,提供了附图以及详细说明。
因此,在附图以及详细说明所记载的结构要素中,不仅包含解决课题所必需的结构要素,还有可能包含解决课题并不必需的结构要素。因此,不应当由于这些并不必需的结构要素记载在附图和详细说明中,就直接认定这些并不必需的结构要素是必需的。
另外,上述实施方式是用于对本技术的技术进行例示的,因此能够在权利要求书或其同等范围中进行各种变更、置换、附加、省略等。
Claims (8)
1.一种静止图像提取方法,其从使照相机相对于被摄体相对移动并同时在时间上连续地拍摄而得到的运动图像流中,提取多个帧分别作为静止图像,该静止图像提取方法进行如下动作:
提取在所述运动图像流中包含的多个第1帧,并且取得所提取的多个第1帧各自的拍摄时刻;
根据多个第1帧,确定多个第1帧各自的所述拍摄时刻处的照相机的拍摄位置;
基于利用多个第1帧分别确定的所述照相机的拍摄位置、以及取得的所述拍摄时刻,推定通过在距离等间隔的多个拍摄位置处进行拍摄而得到的多个帧各自的拍摄时刻;以及
从所述运动图像流中提取所推定的各个所述拍摄时刻的第2帧,作为通过在距离等间隔的多个拍摄位置处进行拍摄而得到的多个帧中的每1帧。
2.根据权利要求1所述的静止图像提取方法,进行如下动作:
基于从所述运动图像流中提取出的第2帧,确定该第2帧的拍摄位置,
判定所述第2帧的拍摄位置、与所述距离等间隔地分离的多个拍摄位置中的1个等间隔位置之间的位置偏差是否在规定的范围内,
在所述位置偏差不在规定的范围内的情况下,使用所提取出的所述第2帧的拍摄位置以及所述拍摄时刻,再次推定在所述等间隔位置处的通过照相机的拍摄而得到的帧的拍摄时刻,
从运动图像流中提取所再次推定的所述拍摄时刻的第2帧,作为通过在距离等间隔地分离的多个拍摄位置处的拍摄而得到的帧。
3.根据权利要求1所述的静止图像提取方法,
在推定所述拍摄时刻时,利用基于多个第1帧各自的所确定的拍摄位置、以及所取得的拍摄时刻的线性插值,推定通过在距离等间隔的多个拍摄位置处进行拍摄而得到的多个帧各自的拍摄时刻。
4.根据权利要求1所述的静止图像提取方法,
在对所述多个第1帧的各自的拍摄位置进行确定时,利用从所述多个第1帧中分别提取出的多个特征点的匹配,计算帧间的对应的点,根据计算出的帧间的各个对应的点,使用SFM算法确定所述拍摄位置。
5.根据权利要求1所述的静止图像提取方法,
在提取所推定的各个所述拍摄时刻的第2帧时,从使照相机在以被摄体为中心的圆周上移动并同时进行拍摄而得到的运动图像流中,分别提取第2帧,作为在处于等间隔的角度的多个拍摄位置处的通过照相机的拍摄而得到的多个帧。
6.根据权利要求1所述的静止图像提取方法,
在提取所推定的各个所述拍摄时刻的第2帧时,从使照相机在以被摄体为中心的圆周的切线方向上移动并进行拍摄而得到的运动图像流中,提取用于生成具有视差的3维图像的多个第2帧。
7.根据权利要求1所述的静止图像提取方法,
在提取所推定的各个所述拍摄时刻的第2帧时,从使照相机在直线上移动并同时进行拍摄而得到的运动图像流中,分别提取第2帧,作为在处于等间隔的距离的多个拍摄位置处的通过照相机的拍摄而得到的多个帧。
8.一种图像处理装置,其实现静止图像提取方法,该静止图像提取方法从使照相机相对于被摄体相对移动并同时在时间上连续地拍摄而得到的运动图像流中,提取多个帧分别作为静止图像,
所述图像处理装置具备图像提取部和拍摄位置计算部,
所述图像提取部进行下述动作:提取在运动图像流中包含的多个第1帧,取得所提取的多个第1帧各自的拍摄时刻,
所述拍摄位置计算部进行下述动作:根据多个第1帧,确定与利用多个第1帧分别取得的拍摄时刻处的照相机的拍摄位置有关的信息,基于利用第1帧分别取得的拍摄时刻、以及与利用第1帧分别确定的拍摄位置有关的信息,推定通过在距离等间隔地分离的多个拍摄位置处进行拍摄而得到的多个帧各自的拍摄时刻,
所述图像提取部还进行下述动作:从运动图像流中提取与利用拍摄位置计算部所推定的各个拍摄时刻对应的第2帧,作为通过在距离等间隔地分离的多个拍摄位置处进行拍摄而得到的多个帧中的每1帧。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014-182721 | 2014-09-08 | ||
JP2014182721 | 2014-09-08 | ||
JP2015082965A JP6476414B2 (ja) | 2014-09-08 | 2015-04-15 | 静止画像抽出方法及びその方法を実現する画像処理装置 |
JP2015-082965 | 2015-04-15 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105407256A true CN105407256A (zh) | 2016-03-16 |
CN105407256B CN105407256B (zh) | 2018-05-18 |
Family
ID=55438739
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510564421.1A Active CN105407256B (zh) | 2014-09-08 | 2015-09-07 | 静止图像提取方法以及实现该方法的图像处理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9843789B2 (zh) |
CN (1) | CN105407256B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109285115A (zh) * | 2017-07-20 | 2019-01-29 | 京瓷办公信息系统株式会社 | 图像处理装置、图像形成装置、图像处理方法以及记录介质 |
CN110419208A (zh) * | 2017-03-17 | 2019-11-05 | 株式会社理光 | 成像系统、成像控制方法、图像处理设备和图像处理程序 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7180074B2 (ja) * | 2017-01-31 | 2022-11-30 | 株式会社リコー | 撮像装置 |
US10885622B2 (en) | 2018-06-29 | 2021-01-05 | Photogauge, Inc. | System and method for using images from a commodity camera for object scanning, reverse engineering, metrology, assembly, and analysis |
DE102018122435A1 (de) | 2018-09-13 | 2020-03-19 | Hendrik Fehlis | Virtuelle dreidimensionale Objekte in einem Livevideo |
US12002220B2 (en) * | 2021-05-13 | 2024-06-04 | Beijing Sankuai Online Technology Co., Ltd. | Method of image acquisition based on motion control signal according to acquisition pose |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040100566A1 (en) * | 2002-11-25 | 2004-05-27 | Eastman Kodak Company | Correlating captured images and timed event data |
CN1531826A (zh) * | 2001-02-09 | 2004-09-22 | 带有数据注释的全向图像和3维数据获取的方法和装置以及动态范围扩展方法 | |
CN101917547A (zh) * | 2009-03-31 | 2010-12-15 | 卡西欧计算机株式会社 | 拍摄装置和拍摄控制方法 |
CN102045501A (zh) * | 2009-10-09 | 2011-05-04 | 索尼公司 | 图像处理装置和方法以及程序 |
CN202026393U (zh) * | 2011-03-30 | 2011-11-02 | 天津三星光电子有限公司 | 一种能够拍摄三维照片的数码相机 |
CN202033570U (zh) * | 2011-05-10 | 2011-11-09 | 卢培庆 | 一种镜头可移动的摄像机 |
US20130215239A1 (en) * | 2012-02-21 | 2013-08-22 | Sen Wang | 3d scene model from video |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4578653B2 (ja) | 2000-08-24 | 2010-11-10 | 三菱電機株式会社 | 奥行き画像生成装置、奥行き画像生成方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP4508049B2 (ja) | 2005-09-05 | 2010-07-21 | 株式会社日立製作所 | 360°画像撮影装置 |
WO2007077719A1 (ja) * | 2005-12-27 | 2007-07-12 | Kyocera Corporation | 撮像装置およびその画像処理方法 |
US7952612B2 (en) * | 2006-06-22 | 2011-05-31 | Nokia Corporation | Method and system for image construction using multiple exposures |
JP4819834B2 (ja) | 2008-03-03 | 2011-11-24 | 株式会社エヌ・ティ・ティ・ドコモ | 立体映像処理装置及び立体映像処理方法 |
JP5281495B2 (ja) * | 2009-06-18 | 2013-09-04 | キヤノン株式会社 | 画像処理装置およびその方法 |
JP5744614B2 (ja) * | 2011-04-28 | 2015-07-08 | オリンパス株式会社 | 画像処理装置、画像処理方法、および、画像処理プログラム |
US9177384B2 (en) * | 2013-07-31 | 2015-11-03 | Trimble Navigation Limited | Sequential rolling bundle adjustment |
-
2015
- 2015-07-20 US US14/803,960 patent/US9843789B2/en active Active
- 2015-09-07 CN CN201510564421.1A patent/CN105407256B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1531826A (zh) * | 2001-02-09 | 2004-09-22 | 带有数据注释的全向图像和3维数据获取的方法和装置以及动态范围扩展方法 | |
US20040100566A1 (en) * | 2002-11-25 | 2004-05-27 | Eastman Kodak Company | Correlating captured images and timed event data |
CN101917547A (zh) * | 2009-03-31 | 2010-12-15 | 卡西欧计算机株式会社 | 拍摄装置和拍摄控制方法 |
CN102045501A (zh) * | 2009-10-09 | 2011-05-04 | 索尼公司 | 图像处理装置和方法以及程序 |
CN202026393U (zh) * | 2011-03-30 | 2011-11-02 | 天津三星光电子有限公司 | 一种能够拍摄三维照片的数码相机 |
CN202033570U (zh) * | 2011-05-10 | 2011-11-09 | 卢培庆 | 一种镜头可移动的摄像机 |
US20130215239A1 (en) * | 2012-02-21 | 2013-08-22 | Sen Wang | 3d scene model from video |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110419208A (zh) * | 2017-03-17 | 2019-11-05 | 株式会社理光 | 成像系统、成像控制方法、图像处理设备和图像处理程序 |
CN110419208B (zh) * | 2017-03-17 | 2021-03-26 | 株式会社理光 | 成像系统、成像控制方法、图像处理设备和计算机可读介质 |
US10992879B2 (en) | 2017-03-17 | 2021-04-27 | Ricoh Company, Ltd. | Imaging system with multiple wide-angle optical elements arranged on a straight line and movable along the straight line |
CN109285115A (zh) * | 2017-07-20 | 2019-01-29 | 京瓷办公信息系统株式会社 | 图像处理装置、图像形成装置、图像处理方法以及记录介质 |
CN109285115B (zh) * | 2017-07-20 | 2023-03-21 | 京瓷办公信息系统株式会社 | 图像处理装置、图像形成装置、图像处理方法以及记录介质 |
Also Published As
Publication number | Publication date |
---|---|
US20160073095A1 (en) | 2016-03-10 |
CN105407256B (zh) | 2018-05-18 |
US9843789B2 (en) | 2017-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105407256A (zh) | 静止图像提取方法以及实现该方法的图像处理装置 | |
EP3252715B1 (en) | Two-camera relative position calculation system, device and apparatus | |
EP3028252B1 (en) | Rolling sequential bundle adjustment | |
KR102239530B1 (ko) | 복수의 카메라로부터 뷰를 결합하는 방법 및 카메라 시스템 | |
CN102272796B (zh) | 运动向量生成装置以及运动向量生成方法 | |
CN103053154B (zh) | 立体相机的自动对焦 | |
JP5027747B2 (ja) | 位置測定方法、位置測定装置、およびプログラム | |
Jia et al. | Probabilistic 3-d motion estimation for rolling shutter video rectification from visual and inertial measurements | |
US9025859B2 (en) | Inertial sensor aided instant autofocus | |
JP5522018B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
CN105453136A (zh) | 使用自动聚焦反馈进行立体侧倾校正 | |
EP3296952A1 (en) | Method and device for blurring a virtual object in a video | |
CN109035330A (zh) | 箱体拟合方法、设备和计算机可读存储介质 | |
CN103824303A (zh) | 基于被摄物的位置、方向调整图像透视畸变的方法和装置 | |
US11212510B1 (en) | Multi-camera 3D content creation | |
KR20130039522A (ko) | 입체 파노라마 영상을 생성하는 장치 및 방법 | |
TWI669683B (zh) | 三維影像重建方法、裝置及其非暫態電腦可讀取儲存媒體 | |
US10388069B2 (en) | Methods and systems for light field augmented reality/virtual reality on mobile devices | |
CN109040525A (zh) | 图像处理方法、装置、计算机可读介质及电子设备 | |
CN110717593A (zh) | 神经网络训练、移动信息测量、关键帧检测的方法及装置 | |
US11176353B2 (en) | Three-dimensional dataset and two-dimensional image localization | |
CN107743190A (zh) | 视频防抖方法 | |
JP6476414B2 (ja) | 静止画像抽出方法及びその方法を実現する画像処理装置 | |
Fallqvist | Automatic Volume Estimation Using Structure-from-Motion Fused with a Cellphone's Inertial Sensors | |
CN109741375B (zh) | 一种裸眼3d模型光场生成方法及其装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |