CN105407256B - 静止图像提取方法以及实现该方法的图像处理装置 - Google Patents

静止图像提取方法以及实现该方法的图像处理装置 Download PDF

Info

Publication number
CN105407256B
CN105407256B CN201510564421.1A CN201510564421A CN105407256B CN 105407256 B CN105407256 B CN 105407256B CN 201510564421 A CN201510564421 A CN 201510564421A CN 105407256 B CN105407256 B CN 105407256B
Authority
CN
China
Prior art keywords
frame
camera
shooting
frames
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510564421.1A
Other languages
English (en)
Other versions
CN105407256A (zh
Inventor
小仓康伸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2015082965A external-priority patent/JP6476414B2/ja
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN105407256A publication Critical patent/CN105407256A/zh
Application granted granted Critical
Publication of CN105407256B publication Critical patent/CN105407256B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

一种静止图像提取方法以及实现该方法的图像处理装置，静止图像提取方法从使照相机相对于被摄体相对移动并同时在时间上连续地拍摄而得到的运动图像流中，提取多个帧分别作为静止图像。进行下述动作：提取在所述运动图像流中包含的多个第1帧，取得所提取的多个第1帧各自的拍摄时刻；根据多个第1帧，确定多个第1帧各自的所述拍摄时刻时的照相机的拍摄位置；基于利用多个第1帧分别确定的所述照相机的拍摄位置、及取得的所述拍摄时刻，推定在距离等间隔的多个拍摄位置处通过拍摄而得到的多个帧各自的拍摄时刻；以及作为在距离等间隔的多个拍摄位置处通过拍摄而得到的多个帧中的每1帧，从所述运动图像流中提取所推定的各个所述拍摄时刻的第2帧。

Description

静止图像提取方法以及实现该方法的图像处理装置
技术领域
本技术涉及从运动图像流中提取多个帧作为静止图像的静止图像提取方法以及实现该方法的图像处理装置。
背景技术
为了得到物体的整个周围的数据，从该物体周边的各位置利用照相机将该物体作为被摄体进行拍摄。在此，为了交互式地显示和阅览物体的整个周围的静止图像，进行拍摄的照相机的各个位置(以下称为拍摄位置)最好距离等间隔地进行分离。
以往，为了得到上述各拍摄位置处的静止图像，依次进行各拍摄位置处的静止图像的拍摄(参照日本公开专利特开2007-72537号公报)。即，使照相机移动，并同时在各个拍摄位置处反复进行如下处理动作：将照相机固定在拍摄位置并在该拍摄位置处由照相机进行拍摄。
发明内容
本技术的静止图像提取方法从使照相机相对于被摄体相对移动并同时在时间上连续地拍摄而得到的运动图像流中，分别作为静止图像而提取多个帧。该静止图像提取方法进行下述动作，即：提取在所述运动图像流中包含的多个第1帧，并且取得所提取的多个第1帧各自的拍摄时刻；根据多个第1帧，确定多个第1帧各自的所述拍摄时刻时的照相机的拍摄位置；基于利用多个第1帧分别确定的所述照相机的拍摄位置、以及取得的所述拍摄时刻，对在距离等间隔的多个拍摄位置处通过拍摄而得到的多个帧各自的拍摄时刻进行推定；以及作为在距离等间隔的多个拍摄位置处通过拍摄而得到的多个帧中的每1帧，从所述运动图像流中提取所推定的各个所述拍摄时刻的第2帧。
附图说明
图1是表示本技术的实施方式中的图像处理系统的结构图。
图2是用于说明在基于实施方式的拍摄部中的被摄体的拍摄方法的说明图。
图3是表示实施方式中的图像处理系统1的动作的流程图。
图4是表示实施方式中的静止图像提取方法的动作的流程图。
图5是表示实施方式中的照相机21的拍摄位置的确定方法的流程图。
图6是表示实施方式中的初始采样点的说明图。
图7是表示实施方式中的对再次采样点的时间戳进行推定的方法的动作的流程图。
图8是表示实施方式中的初始采样点的时间戳与相对于基准点的角度之间的关系的说明图。
图9是表示实施方式中的再次采样点的说明图。
图10是表示对再次采样点处的由拍摄得到的多个帧的各自的时间戳进行推定的方法的说明图。
图11是表示本技术的其他实施方式所涉及的静止图像提取方法的动作的流程图。
图12是表示本技术的其他实施方式所涉及的被摄体的拍摄方法的说明图。
具体实施方式
下面，参照附图说明本技术的实施方式所涉及的图像处理装置。但是，有时省略不必要的详细说明。例如，有时省略关于已经公知的事项的详细说明、对实质相同的结构的重复说明。这是为了避免下面的说明不必要地变得冗长，使本领域技术人员容易理解。
此外，发明人为了使本领域技术人员充分理解本技术而提供附图以及下面的说明，并不意在通过附图以及下面的说明对权利要求书中记载的主题进行限定。
[1-1.结构]
图1是表示本技术的实施方式中的图像处理系统的结构图。
本实施方式中的图像处理系统1是下述系统，即，将照相机相对于被摄体进行相对移动，并同时对被摄体进行连续地拍摄，由此取得运动图像流，从所述运动图像流中提取多个帧分别作为静止图像。图像处理系统1具备：图像处理装置10、拍摄部20、控制部30、拍摄图像存储部40、以及多视点图像数据库(DB)50。
在本实施方式中的图像处理系统1中，运动图像流例如是通过帧速为60fps(frameper second)的拍摄而生成的，包含通过时间上等间隔的拍摄，即每1/60秒的拍摄而得到的多个帧。另外，在各个帧中附加有时间戳(time stamp)，每通过拍摄而生成1个帧，则该时间戳加“1”。时间戳表示附加有时间戳的帧的拍摄时刻。例如，在运动图像流的帧速为60fps的情况下，从运动图像拍摄的开始起1秒后的时间戳，表示在运动图像拍摄开始时的时间戳上加上“60”得到的值。在运动图像拍摄开始时的时间戳为“10”的情况下，从运动图像拍摄的开始起1秒后的时间戳为“70”。
此外，在本实施方式中，运动图像流是从以等时间间隔拍摄的帧生成的运动图像，但不限于此。例如，也可以是以等时间间隔连续拍摄的静止图像的集合。例如，将图像ID与以等时间间隔连续拍摄的静止图像进行关联，能够与时间戳同样地对待图像ID。因此，在本实施方式中，在静止图像提取方法中使用时间戳，但在运动图像流是以等时间间隔连续拍摄的静止图像的集合的情况下，在静止图像提取方法中使用图像ID。
图像处理装置10进行如下动作：从存储在拍摄图像存储部40中的运动图像流中提取多个帧分别作为静止图像。多个帧的静止图像成为在等间隔地分离的距离的多个拍摄位置处拍摄的图像。将照相机相对于被摄体相对移动，并同时在时间上连续地对所述被摄体进行拍摄，由此得到运动图像流。例如，利用在以被摄体为中心的圆周上移动的照相机进行拍摄，从由此得到的运动图像流中，图像处理装置10提取在形成每隔10度的等间隔的角度的36个拍摄位置处拍摄的静止图像。
图像处理装置10具备图像提取部11以及拍摄位置计算部12。
图像提取部11提取在运动图像流中包含的多个第1帧，取得所提取的多个第1帧各自的拍摄时刻。另外，图像提取部11进行初始采样动作和再次采样动作。
拍摄位置计算部12根据多个第1帧，确定与利用多个第1帧中的每1帧取得的拍摄时刻时的照相机的拍摄位置有关的信息。拍摄位置计算部12基于利用各个第1帧取得的拍摄时刻、以及利用各个第1帧确定的与拍摄位置有关的信息，进行对拍摄时刻进行推定的动作，该拍摄时刻是利用距离等间隔地分离的多个拍摄位置处的照相机进行拍摄而得到的多个帧各自的拍摄时刻。
所述图像提取部11在初始采样中，提取在运动图像流中包含的多个第1帧，取得表示所提取的多个第1帧各自的拍摄时刻的时间戳。将通过初始采样提取的第1帧称为初始采样帧。此时，图像提取部11以取得的时间戳等间隔的方式提取多个初始采样帧。
所述图像提取部11在再次采样中，从运动图像流中提取与由拍摄位置计算部12推定的各个拍摄时刻(时间戳)对应的第2帧。作为通过在距离等间隔地分离的多个拍摄位置处拍摄而得到的多个帧，提取从运动图像流中提取的第2帧。下面，将由图像提取部11通过再次采样提取的第2帧称为再次采样帧。例如，图像提取部11作为利用在每隔10度的等间隔的角度的拍摄位置处的照相机进行拍摄而得到的帧，提取36个再次采样帧。
拍摄位置计算部12根据初始采样帧各自的时间戳，对照相机的拍摄位置进行确定。即，拍摄位置计算部12能够确定对被摄体进行拍摄时的相对于被摄体的照相机的相对位置。下面，将由初始采样帧分别确定的拍摄位置称为初始采样点。
拍摄位置计算部12还基于初始采样点和通过初始采样取得的时间戳，推定通过在多个拍摄位置处进行拍摄而得到的多个帧各自的时间戳。下面，将由再次采样帧分别确定的拍摄位置称为再次采样点。
图2是用于说明在基于实施方式的拍摄部中的被摄体的拍摄方法的说明图。
如图2所示，拍摄部20具备照相机21、机械手22、以及转台(turntable)23。转台23是载置被摄体24并旋转的台子，以转台23的旋转轴(图2的Z轴)为旋转中心进行旋转。此外，转台23的转速由于载置在转台23上的被摄体24的重心位置、或者转台23的机械构造的精度等的影响，并不限定于一定的速度。照相机21通过对载置在转台23上的被摄体24进行拍摄，从而生成旋转的被摄体24的运动图像流。即，照相机21在以被摄体24为中心的圆周上相对于被摄体24相对移动，并同时对被摄体24进行拍摄，由此生成运动图像流。机械手22安装有照相机21，能够沿以被摄体24为中心的图2的XZ平面上的圆周方向使照相机21移动。
被摄体24是载置在转台23的旋转中心上，由照相机21进行拍摄的物体。利用被摄体24的静止图像，例如通过3维的计算机图形(CG)来表现被摄体24，该被摄体24的静止图像是由图像处理装置10提取的，并且是利用在距离等间隔地分离(即处于等间隔的角度)的多个拍摄位置处的照相机21进行拍摄而得到的。
此外，在本实施方式中，通过由转台23进行旋转，使照相机21相对于被摄体24相对移动并同时拍摄被摄体24，但并不限定于此。例如，也可以使照相机21在以被摄体24为中心的圆周上实际移动，并同时拍摄被摄体24。
另外，在本实施方式中，照相机21在以被摄体24为中心的圆周上相对于被摄体24相对移动，并同时对被摄体24进行拍摄，但并不限定于此。例如，也可以使照相机21沿直线上移动，并同时拍摄被摄体24。由此，可以作为利用在等间隔的距离的多个拍摄位置处的照相机21进行拍摄而得到的多个帧，提取再次采样帧中的每1帧。
控制部30进行拍摄部20的拍摄的控制。具体而言，控制部30进行由照相机21进行的运动图像拍摄的开始及结束、转台23的旋转、以及由机械手22产生的照相机21的移动的控制。由此，控制部30通过使转台23旋转，从而从位于与转台23的台面平行的面并且以被摄体24为中心的圆周上的位置，使照相机21对被摄体24进行拍摄。此外，控制部30进行机械手22的控制，沿以被摄体24为中心的图2的XZ平面上的圆周方向使照相机21移动。即，控制部30通过反复进行转台23的旋转、以及利用机械手22产生的照相机21的移动的控制，从而从以被摄体24为中心的球面上的位置，使照相机21对被摄体24进行拍摄。
拍摄图像存储部40是存储由拍摄部20生成的运动图像流的例如非易失性存储器。另外，拍摄图像存储部40存储时间戳，该时间戳表示在运动图像流中包含的帧的各自的拍摄时刻。
多视点图像DB 50例如由非易失性存储器等构成，作为静止图像而保存多个再次采样帧，该多个再次采样帧是由图像处理装置10提取的，并且是通过在推定为距离等间隔的多个拍摄位置处，利用照相机21进行拍摄而得到的。
[1-2.动作]
关于以如上方式构成的本实施方式中的图像处理系统1，对动作进行说明。
图3是表示实施方式中的图像处理系统1的动作的流程图。
首先，如图3所示，拍摄部20根据控制部30的控制对被摄体24进行拍摄(步骤S201)。具体而言，控制部30通过进行转台23的旋转的控制，从而使照相机21从被摄体24的360度周围，对载置在转台23上的被摄体24进行拍摄。此外，控制部30通过进行利用机械手22产生的照相机21的移动的控制，从而在与转台23的台面垂直的面中，使照相机21沿以被摄体24为中心的圆周方向移动。照相机21从移动后的位置，再次从被摄体24的360度周围对被摄体24进行拍摄。控制部30通过反复进行转台23的旋转、以及利用机械手22产生的照相机21的移动的控制，从而从以被摄体24为中心的球面上的位置，使照相机21对被摄体24进行拍摄，生成该拍摄所得到的运动图像流。将生成的运动图像流存储在拍摄图像存储部40中。此时也存储时间戳，该时间戳表示在运动图像流中包含的帧的各自的拍摄时刻。即，将运动图像流中包含的多个帧和与该多个帧分别对应的时间戳存储在拍摄图像存储部40中。
下面，图像处理装置10将在推定为距离等间隔的多个拍摄位置(再次采样点)处，通过利用照相机21进行拍摄而得到的多个帧(再次采样帧)，从存储在拍摄图像存储部40中的运动图像流中提取出来(步骤S202)。
最后，图像处理装置10将提取出的多个再次采样帧作为静止图像，保存在多视点图像DB 50中(步骤S203)。
图4是表示实施方式中的静止图像提取方法的动作的流程图。图4是详细表示图3的步骤S202的处理的流程图。
首先，图像提取部11进行初始采样，即，从存储在拍摄图像存储部40中的运动图像流中，提取多个初始采样帧，取得与提取出的多个初始采样帧分别对应的时间戳(步骤S301)。例如，图像提取部11提取8个初始采样帧，取得与所提取的8个初始采样帧分别对应的8个时间戳。在此，所提取的8个初始采样帧是与初始采样帧分别对应的8个时间戳等间隔的帧。即，图像提取部11以一定的时间间隔提取初始采样帧。此外，初始采样帧不限于8个，也可以是2～7个，或者也可以是9个以上。通过增加初始采样帧的数量，从而使后述的再次采样点处的由照相机21的拍摄得到的多个帧各自的时间戳的推定精度变高。
下面，拍摄位置计算部12确定图像提取部11中8个初始采样帧各自的时间戳时的照相机21的拍摄位置(初始采样点)(步骤S302)。
此外，拍摄位置计算部12基于所确定的8个初始采样点、以及由图像提取部11取得的8个初始采样帧各自的时间戳，推定再次采样点处的由照相机21的拍摄得到的多个帧各自的时间戳(步骤S303)。
最后，图像提取部11进行再次采样，即，从存储在拍摄图像存储部40中的运动图像流中，作为再次采样点处的由照相机21的拍摄得到的多个帧的每1帧，提取再次采样帧(步骤S304)。
图5是表示实施方式中的照相机21的拍摄位置的确定方法的流程图。图5是详细表示图4的步骤S302的处理的流程图。
首先，拍摄位置计算部12提取8个初始采样帧各自的特征点(特征量)(步骤S401)。特征点通过SIFT或Harris的角点(corner)检测等进行提取。此外，特征点的提取方法并不限定于这些方法。
下面，拍摄位置计算部12利用所提取的8个初始采样帧各自的特征点的匹配，计算帧间的对应的点(步骤S402)。
最后，拍摄位置计算部12根据计算出的帧间的各个对应的点，使用SFM(StructureFrom Motion)算法确定拍摄位置(步骤S403)。
如上述所示，确定初始采样点，即8个初始采样帧各自的时间戳时的照相机21的拍摄位置。初始采样点例如用以任意点为原点的坐标(Xi，Yi，Zi)表示。在本实施方式中，通过初始采样提取了8个初始采样帧，因而i＝0～7。
图6是表示实施方式中的初始采样点的说明图。图6所示的S0(X0，Y0，Z0)～S7(X7，Y7，Z7)是各初始采样点及其坐标。在本实施方式中，图像提取部11以一定的时间间隔提取8个初始采样帧。如图6所示，各初始采样点并不存在于距离等间隔的位置。即，图像提取部11以通过初始采样取得的时间戳等间隔的方式，提取8个初始采样帧，但提取出的8个初始采样帧的初始采样点并不位于距离等间隔的位置。这是因为，转台23并未以恒定的速度旋转。因此，即使在图像提取部11以通过初始采样取得的时间戳等间隔的方式提取8个初始采样帧的情况下，初始采样点也处于定位不完全的拍摄位置。
图7是表示实施方式中的对再次采样点的时间戳进行推定的方法的动作的流程图。图7是详细表示图4的步骤S303的处理的流程图。
首先，拍摄位置计算部12计算载置有被摄体24的转台23的旋转中心的位置(步骤S501)。具体而言，通过使用下式1～7的最小二乘法，计算转台23的旋转中心的位置。
下式1是表示球的中心点与半径之间的关系的式子。
式1
(Xi-X)2+(Yi-Y)2+(Zi-Z)2＝r2 (式1)
式1所示的Xi、Yi、Zi分别是初始采样点的坐标的x成分、y成分、z成分。X、Y、Z分别是转台23的旋转中心的坐标的x成分、y成分、z成分。另外，r是转台23的旋转中心与初始采样点之间的距离。即，r是以转台23的旋转中心为中心的球的半径。
下式2及3是表示式1的左边与右边的差的累积平方误差的式子。
式2
∑((Xi-X)2+(Yi-Y)2+(Zi-Z)2-r2)2 (式2)
在此，如果假设A＝-2X、B＝-2Y、C＝-2Z、D＝X2+Y2+Z2-r2，则以下式3的方式将式2进行整理。
式3
(式3)
下式4～7是用变量A～D对式3进行偏微分得到的值为0时的方程式。在用变量A～D对式3进行偏微分得到的值为0时，计算出式3所示的累积平方误差达到最小的球的中心点以及半径。具体而言，通过将初始采样点的坐标(X0，Y0，Z0)～(X7，Y7，Z7)代入下式4～7的(Xi，Yi，Zi)并求解，从而计算出转台23的旋转中心的坐标。
式4
(式4)
式5
(式5)
式6
(式6)
式7
(式7)
通过这样做，计算出转台23的旋转中心的位置。
此外，按照式1～7所示的方式，使用最小二乘法计算了转台23的旋转中心的坐标，但不限于此。例如，也可以使用适用了RANSAC(RANdom SAmple Consensus)算法的鲁棒(robust)估算法。
下面，拍摄位置计算部12将初始采样点中的1个点作为基准点，计算从转台23的旋转中心到基准点的矢量、与从转台23的旋转中心到除基准点外的初始采样点的矢量之间所成的角(步骤S502)。例如，将图6所示的点S0作为基准点，设为点Sb。另外，在将转台23的旋转中心作为原点O的情况下，设点Sb的坐标为(xb，yb，zb)，其他7个初始采样点的坐标为(xi，yi，zi)(i＝1～7)。下式8及9中示出计算角θi的式子，该角θi是从转台23的旋转中心O到基准点Sb的矢量、与从转台23的旋转中心O分别到其他7个初始采样点Si的矢量之间所成的角。
式8
(式8)
式9
(式9)
通过这样做，作为相对于基准点的角度而计算初始采样点的位置。另外，图像提取部11取得8个初始采样帧各自的时间戳(步骤S301)。因此，8个初始采样点的相对于基准点的角度同8个初始采样帧各自的时间戳相对应。
下面，拍摄位置计算部12对再次采样点处的由照相机21的拍摄得到的多个帧的各自的时间戳进行推定(步骤S503)。
图8是表示实施方式中的初始采样点的时间戳与相对于基准点的角度之间的关系的说明图。将各初始采样点的时间戳si与相对于基准点的角度θi相对应。
在图8中，相对于基准点的角度θi是在步骤S502中利用拍摄位置计算部12计算出的角度的例子。在本实施方式中，图像提取部11以1秒为间隔提取初始采样帧，运动图像流的帧速为60fps，因而时间戳si是以60(1秒)为单位的等间隔的时间戳。另一方面，相对于基准点的角度θi不是等间隔的角度。这是因为，如前所述，转台23并未以恒定的速度旋转。因此，即使在图像提取部11以时间戳等间隔的方式提取多个初始采样帧的情况下，初始采样点也处于定位不完全的拍摄位置。
此外，运动图像流的帧速为60fps，但不限于此。运动图像流的帧速也可以小于60fps，例如为30fps，还可以大于60fps，例如为120fps。
图9是表示实施方式中的再次采样点的说明图。如图9所示，拍摄位置计算部12例如对每22.5度的等间隔的角度的再次采样点处的、由照相机21的拍摄得到的16个帧的各自的时间戳进行推定。在图9中，点Tx(x＝0～15)是再次采样点。
此外，在本实施方式中，再次采样点是16个，但不限于此。再次采样点也可以少于16个，例如，每45度的等间隔的角度的再次采样点为8个。另外，再次采样点也可以多于16个，例如，每10度的等间隔的角度的再次采样点为36个。
拍摄位置计算部12对再次采样点Tx处的由照相机21的拍摄得到的帧的时间戳tx进行推定。具体而言，根据再次采样点Tx附近的初始采样点Sm及Sm-1的相对于基准点的角度θm及θm-1、以及对应的时间戳sm及sm-1，对再次采样点Tx处的由照相机21的拍摄得到的帧的时间戳tx进行推定。即，通过基于初始采样点Sm及Sm-1的相对于基准点的角度θm及θm-1、以及时间戳sm及sm-1的线性插值，对再次采样点Tx处的由照相机21的拍摄得到的帧的时间戳tx进行推定。在本实施方式中，再次采样点是16个，因而x＝0～15。另外，初始采样点是8个，因而m＝1～7。再次采样点Tx处的由照相机21的拍摄得到的帧的时间戳tx的计算式为下式10。
式10
(式10)
在式10中，θ表示距离等间隔地分离的再次采样点之间的角度。即，如图9所示，在本实施方式中，对每22.5度的等间隔的角度的再次采样点处的、由照相机21的拍摄得到的多个帧的各自的时间戳进行推定，因而θ＝22.5。
图10是表示对再次采样点处的由拍摄得到的多个帧的各自的时间戳进行推定的方法的说明图。如图10所示，通过基于再次采样点T2(x＝2)附近的初始采样点S2及S1(m＝2)的相对于基准点的角度θ2及θ1、以及时间戳s2及s1的线性插值，对再次采样点T2处的由照相机21的拍摄得到的帧的时间戳t2进行推定。通过将图8所示的与初始采样点S2及S1对应的时间戳、以及相对于基准点的角度代入式10，从而能够推定时间戳t2。在本实施方式中，根据θ2＝75、θ1＝30、s2＝180以及s1＝120，将时间戳t2推定为140。
如图8所示，8个初始采样点处的由照相机21的拍摄得到的8个初始采样帧是以60(1秒)为单位的等间隔的时间戳的帧。通过这样做，如图6所示，初始采样点能够分布得较宽地位于圆周上。因此，再次采样点Tx处的由照相机21的拍摄得到的多个帧的各自的时间戳tx的推定精度变高。另一方面，例如，在初始采样点集中于圆周上的一部分的情况下，再次采样点与集中于圆周上的一部分的初始采样点群相距越远，则再次采样点处的由照相机21的拍摄得到的帧的时间戳的推定精度越低。
此外，在本实施方式中，多个初始采样帧分别是在时间上等间隔的时间戳的帧，但不限于此。例如，多个初始采样帧也可以不是分别等间隔的时间戳的帧。
下面，与推定为140的时间戳t2同样地，对其他的再次采样点处的由照相机21的拍摄得到的帧的时间戳进行推定。由此，对多个再次采样点处的由照相机21的拍摄得到的多个帧的各自的时间戳进行推定。
最后，图像提取部11从存储在拍摄图像存储部40中的运动图像流中，作为再次采样点处的由照相机21的拍摄得到的多个帧的每1帧，通过再次采样而提取由拍摄位置计算部12推定的各个时间戳的再次采样帧。然后，图像提取部11将提取出的再次采样帧作为静止图像，保存在多视点图像DB 50中。
[1-3.效果等1
如上述所示，本技术是一种静止图像提取方法，该方法从使照相机相对于被摄体相对移动并同时在时间上连续地拍摄而得到的运动图像流中，分别作为静止图像而提取多个帧。该静止图像提取方法进行下述动作，即，提取在所述运动图像流中包含的多个第1帧，并且取得所提取的多个第1帧各自的拍摄时刻；根据多个第1帧，确定多个第1帧各自的所述拍摄时刻时的照相机的拍摄位置；基于利用多个第1帧分别确定的所述照相机的拍摄位置、以及取得的所述拍摄时刻，对在距离等间隔的多个拍摄位置处通过拍摄而得到的多个帧各自的拍摄时刻进行推定；以及作为在距离等间隔的多个拍摄位置处通过拍摄而得到的多个帧中的每1帧，从所述运动图像流中提取所推定的各个所述拍摄时刻的第2帧。
由此，能够通过短时间的拍摄，提取距离等间隔地分离的适当的拍摄位置处的静止图像。
即，在本实施方式中，通过初始采样而提取在运动图像流中包含的多个初始采样帧，取得与该多个初始采样帧对应的时间戳。并且，确定所提取的多个初始采样帧的各自的初始采样点，基于确定的初始采样点、以及与该多个初始采样帧对应的时间戳，推定在再次采样点处的通过照相机的拍摄而得到的多个帧的各自的时间戳。最后，作为在再次采样点处的由照相机21的拍摄得到的多个帧中的每1帧，从所述运动图像流中提取与推定的各个时间戳对应的再次采样帧。
由此，在使照相机相对于被摄体移动并同时对被摄体进行拍摄的情况下，能够从虽然在时间上等间隔但距离并非等间隔的拍摄位置处的通过拍摄而得到的图像群中，提取在距离等间隔地分离的多个拍摄位置处的通过拍摄而得到的静止图像。因此，能够通过短时间的拍摄，提取距离等间隔地分离的适当的拍摄位置处的静止图像。
另外，对于从所述运动图像流中提取出的第2帧的拍摄位置，基于该第2帧进行确定，判定所述第2帧的拍摄位置、与所述距离等间隔地分离的多个拍摄位置中的1个等间隔位置之间的位置偏差是否在规定的范围内，在所述位置偏差不在规定的范围内的情况下，使用提取出的所述第2帧的拍摄位置以及所述拍摄时刻，再次对在所述等间隔位置处的通过照相机的拍摄而得到的帧的拍摄时刻进行推定，作为在距离等间隔地分离的多个拍摄位置处的通过所述照相机的拍摄而得到的帧，从所述运动图像流中提取再次推定的所述拍摄时刻的第2帧。
由此，能够高精度地提取距离等间隔地分离的拍摄位置处的静止图像。
另外，在推定所述拍摄时刻时，利用基于多个第1帧各自的确定的拍摄位置、以及取得的拍摄时刻的线性插值，对在距离等间隔的多个拍摄位置处通过拍摄而得到的多个帧各自的拍摄时刻进行推定。
由此，对于在距离等间隔地分离的多个拍摄位置处的通过照相机的拍摄而得到的多个帧，能够推定各自的拍摄时刻。
另外，在对所述多个第1帧的各自的拍摄位置进行确定时，利用从所述多个第1帧中分别提取出的多个特征点的匹配，计算帧间的对应的点，根据计算出的帧间的各个对应的点，使用SFM(Structure From Motion)算法确定所述拍摄位置。
由此，能够确定在运动图像流中包含的多个帧的各自的所取得的拍摄时刻时的、照相机的拍摄位置。
另外，在提取所推定的各个所述拍摄时刻的第2帧时，从使照相机在以被摄体为中心的圆周上移动并同时进行拍摄而得到的运动图像流中，作为在等间隔的角度的多个拍摄位置处的通过照相机的拍摄而得到的多个帧，分别提取第2帧。
由此，从通过以被摄体为中心的圆周上的位置处的拍摄而得到的运动图像流中，能够提取从等间隔地配置的拍摄位置观察的整个周围的图像。
此外，在提取所推定的各个所述拍摄时刻的第2帧时，从使照相机在以被摄体为中心的圆周的切线方向上移动并进行拍摄而得到的运动图像流中，提取用于生成具有视差的3维图像的多个第2帧。
由此，根据通过从纵深方向进行拍摄而得到的运动图像流，能够生成具有视差的3维图像。
另外，在提取所推定的各个所述拍摄时刻的第2帧时，从使照相机在直线上移动并同时进行拍摄而得到的运动图像流中，作为在等间隔的距离的多个拍摄位置处的通过照相机的拍摄而得到的多个帧，分别提取第2帧。
另外，本技术的图像处理装置从使照相机相对于被摄体相对移动并同时在时间上连续地拍摄而得到的运动图像流中，分别作为静止图像而提取多个帧。所述图像处理装置具备图像提取部和拍摄位置计算部。所述图像提取部进行下述动作，即，提取在运动图像流中包含的多个第1帧，取得所提取的多个第1帧各自的拍摄时刻。所述拍摄位置计算部进行下述动作，即，根据多个第1帧，确定与利用多个第1帧分别取得的拍摄时刻时的照相机的拍摄位置有关的信息；基于利用第1帧分别取得的拍摄时刻、以及利用第1帧分别确定的与拍摄位置有关的信息，对在距离等间隔地分离的多个拍摄位置处通过拍摄而得到的多个帧各自的拍摄时刻进行推定。此外，所述图像提取部进行下述动作，即，作为在距离等间隔地分离的多个拍摄位置处通过拍摄而得到的多个帧中的每1帧，从运动图像流中提取与利用拍摄位置计算部推定的各个拍摄时刻对应的第2帧。
由此，能够通过短时间的拍摄，提取距离等间隔地分离的适当的拍摄位置处的静止图像。
图11是表示本技术的其他实施方式所涉及的静止图像提取方法的动作的流程图。
本实施方式的图像处理系统的图像处理装置10对通过再次采样提取出的再次采样帧的拍摄位置进行验证，如果该拍摄位置从再次采样点偏离，则再一次进行再次采样。
如图11所示，与图4所示的处理同样地进行步骤S301～S304的处理。在步骤S304中，图像提取部11作为再次采样点处的由照相机21的拍摄得到的多个帧的每1帧，从运动图像流中通过再次采样而提取再次采样帧。与步骤S303中推定的各个时间戳对应的再次采样帧，不一定是在再次采样点处的由照相机21的拍摄得到的多个帧。具体而言，如果在再次采样点附近的2个初始采样点之间，时间戳与相对于基准点的角度之间的关系不是比例关系，则步骤S303中的推定是错误的。
在转台23的转速不恒定的情况下，初始采样点之间的时间戳与相对于基准点的角度之间的关系不是比例关系。由此，通过基于并非比例关系的时间戳和相对于基准点的角度的线性插值而推定的时间戳，不是与再次采样点对应的时间戳。
在本实施方式中，在步骤S304中通过再次采样而提取出的多个再次采样帧并不作为静止图像而直接保存在多视点图像DB 50中，图像提取部11对于在步骤S304中从运动图像流中通过再次采样而提取出的多个再次采样帧的拍摄位置，根据该帧以及初始采样帧进行确定(步骤S305)。即，对于通过再次采样而提取出的多个再次采样帧，进行步骤S302中的动作。由此可知步骤S303中的推定是否是正确的。
下面，图像提取部11判定通过再次采样而提取出的再次采样帧的由步骤S305确定的拍摄位置、与等间隔位置即再次采样点之间的位置偏差是否在规定的范围内，该等间隔位置是距离等间隔地分离的多个拍摄位置中的1个拍摄位置(步骤S306)。例如，图像提取部11判定通过再次采样而提取出的再次采样帧的由步骤S305确定的拍摄位置、与45度的再次采样点之间的位置偏差是否在规定的范围内，该45度的再次采样点是每22.5度的等间隔的角度的多个拍摄位置中的1个拍摄位置。
图像提取部11在通过再次采样而提取出的多个再次采样帧的全部的位置偏差在规定范围内的情况下(步骤S306中Yes)，将通过再次采样而提取出的多个再次采样帧作为静止图像保存在多视点图像DB 50中。
图像提取部11在通过再次采样而提取出的多个再次采样帧的位置偏差不在规定范围内的情况下(步骤S306中No)，使用通过再次采样而提取出的再次采样帧的拍摄位置以及时间戳，再一次对在再次采样点处的由照相机21的拍摄得到的帧的时间戳进行推定。即，在多个初始采样帧的拍摄位置中，加入通过再次采样而提取出的多个再次采样帧的拍摄位置以及时间戳，进行推定精度变高了的步骤S303中的动作。并且，图像提取部11作为再次采样点处的由照相机21的拍摄得到的帧，从运动图像流中提取所推定的时间戳的帧。即，图像提取部11使用通过刚刚进行的再次采样而提取出的再次采样帧，反复执行再次采样，直到所提取的多个再次采样帧的位置偏差达到规定的范围内为止。由此，能够提取位置偏差可靠地纳入规定范围内的帧。换言之，能够以较高的精度提取再次采样点处的帧。
如上述所示，对于从运动图像流中通过再次采样而提取出的多个再次采样帧的拍摄位置，基于该再次采样帧进行确定。并且，判定通过再次采样而提取出的再次采样帧的拍摄位置与再次采样点之间的位置偏差是否在规定的范围内。在通过再次采样而提取出的多个再次采样帧的位置偏差不在规定范围内的情况下，使用通过再次采样而提取出的再次采样帧的拍摄位置以及时间戳，对在再次采样点处的由照相机21的拍摄得到的帧的时间戳进行推定。并且，使用通过刚刚进行的再次采样而提取出的再次采样帧，反复执行再次采样，直到利用推定的时间戳所提取的多个再次采样帧的位置偏差达到规定的范围内为止。
由此，进行再次采样，直到通过再次采样而提取的多个再次采样帧的位置偏差纳入规定的范围内为止，因而能够提取距离等间隔地分离的适当的拍摄位置处的静止图像。
图12是表示本技术的其他实施方式所涉及的被摄体的拍摄方法的说明图。如图12所示，拍摄部20与机械手22分开地具备滑座25，将照相机21安装在滑座25上。
如图12的点划线包围的部分所示(箭头A所示的部分)，机械手22按照能够沿以被摄体24为中心的图12的XZ平面上的圆周方向移动的方式，保持有滑座25以及安装在滑座25上的照相机21。如图12的箭头A所示，滑座25以能够沿图12的y轴方向移动的方式，保持有安装在滑座25上的照相机21。图12的由点划线包围的部分是表示从正面观察照相机21时的、利用滑座25使照相机21向y轴方向移动的情形的图。
在上述实施方式中，照相机21在以被摄体24为中心的圆周上相对于被摄体24相对移动，并同时对被摄体24进行拍摄，由此生成运动图像流。另一方面，在本实施方式中，照相机21还在以被摄体24为中心的圆周的切线方向(y轴方向)上移动，在移动之后，再次在以被摄体24为中心的圆周上相对于被摄体24相对移动，并同时对被摄体24进行拍摄。具体而言，控制部30进行下述控制。
与上述实施方式同样，控制部30通过反复进行转台23的旋转、以及利用机械手22产生的照相机21的移动的控制，从而从以被摄体24为中心的球面上的位置，使照相机21对被摄体24进行拍摄。并且，控制部30进行利用滑块25产生的照相机21的移动的控制，沿图12的y轴方向使照相机21移动。控制部30在使照相机21沿y轴方向移动之后，再次从以被摄体24为中心的球面上的位置，使照相机21对被摄体24进行拍摄。由此，在被摄体24的纵深方向上也进行拍摄，因而得到用于生成3维图像的运动图像流，该3维图像是从以被摄体24为中心的球面上的位置对被摄体24进行拍摄而得到的具有视差的3维图像。
如上述所示，在本变形例中，使照相机21在以被摄体24为中心的圆周的切线方向上移动并进行拍摄。
由此，得到包含帧的运动图像流，该帧用于生成具有视差的3维图像。因此，能够提取用于生成具有视差的3维图像的多个帧。
本技术例如能够适用于对静止图像进行提取的图像处理装置，该静止图像用于交互式地显示物体的整个周围的图像。
如上述所示，作为本技术的技术例示，说明了实施方式。为此，提供了附图以及详细说明。
因此，在附图以及详细说明所记载的结构要素中，不仅包含解决课题所必需的结构要素，还有可能包含解决课题并不必需的结构要素。因此，不应当由于这些并不必需的结构要素记载在附图和详细说明中，就直接认定这些并不必需的结构要素是必需的。
另外，上述实施方式是用于对本技术的技术进行例示的，因此能够在权利要求书或其同等范围中进行各种变更、置换、附加、省略等。

Claims (7)

1.一种静止图像提取方法，其从使照相机相对于被摄体相对移动并同时在时间上连续地拍摄而得到的运动图像流中，提取多个帧分别作为静止图像，该静止图像提取方法进行如下动作：
提取在所述运动图像流中包含的多个第1帧，并且取得所提取的多个第1帧各自的拍摄时刻；
根据多个第1帧，确定多个第1帧各自的所述拍摄时刻处的照相机的拍摄位置；
基于利用多个第1帧分别确定的所述照相机的拍摄位置、以及取得的所述拍摄时刻，推定通过在距离等间隔的多个拍摄位置处进行拍摄而得到的多个帧各自的拍摄时刻；以及
从所述运动图像流中提取所推定的各个所述拍摄时刻的第2帧，作为通过在距离等间隔的多个拍摄位置处进行拍摄而得到的多个帧中的每1帧，
所述静止图像提取方法还进行如下动作：
基于从所述运动图像流中提取出的第2帧，确定该第2帧的拍摄位置，
判定所述第2帧的拍摄位置、与所述距离等间隔地分离的多个拍摄位置中的1个等间隔位置之间的位置偏差是否在规定的范围内，
在所述位置偏差不在规定的范围内的情况下，使用所提取出的所述第2帧的拍摄位置以及所述拍摄时刻，再次推定在所述等间隔位置处的通过照相机的拍摄而得到的帧的拍摄时刻，
从运动图像流中提取所再次推定的所述拍摄时刻的第2帧，作为通过在距离等间隔地分离的多个拍摄位置处的拍摄而得到的帧。
2.根据权利要求1所述的静止图像提取方法，
在推定所述拍摄时刻时，利用基于多个第1帧各自的所确定的拍摄位置、以及所取得的拍摄时刻的线性插值，推定通过在距离等间隔的多个拍摄位置处进行拍摄而得到的多个帧各自的拍摄时刻。
3.根据权利要求1所述的静止图像提取方法，
在对所述多个第1帧的各自的拍摄位置进行确定时，利用从所述多个第1帧中分别提取出的多个特征点的匹配，计算帧间的对应的点，根据计算出的帧间的各个对应的点，使用SFM算法确定所述拍摄位置。
4.根据权利要求1所述的静止图像提取方法，
在提取所推定的各个所述拍摄时刻的第2帧时，从使照相机在以被摄体为中心的圆周上移动并同时进行拍摄而得到的运动图像流中，分别提取第2帧，作为在处于等间隔的角度的多个拍摄位置处的通过照相机的拍摄而得到的多个帧。
5.根据权利要求1所述的静止图像提取方法，
在提取所推定的各个所述拍摄时刻的第2帧时，从使照相机在以被摄体为中心的圆周的切线方向上移动并进行拍摄而得到的运动图像流中，提取用于生成具有视差的3维图像的多个第2帧。
6.根据权利要求1所述的静止图像提取方法，
在提取所推定的各个所述拍摄时刻的第2帧时，从使照相机在直线上移动并同时进行拍摄而得到的运动图像流中，分别提取第2帧，作为在处于等间隔的距离的多个拍摄位置处的通过照相机的拍摄而得到的多个帧。
7.一种图像处理装置，其实现静止图像提取方法，该静止图像提取方法从使照相机相对于被摄体相对移动并同时在时间上连续地拍摄而得到的运动图像流中，提取多个帧分别作为静止图像，
所述图像处理装置具备图像提取部和拍摄位置计算部，
所述图像提取部进行下述动作：提取在运动图像流中包含的多个第1帧，取得所提取的多个第1帧各自的拍摄时刻，
所述拍摄位置计算部进行下述动作：根据多个第1帧，确定与利用多个第1帧分别取得的拍摄时刻处的照相机的拍摄位置有关的信息，基于利用第1帧分别取得的拍摄时刻、以及与利用第1帧分别确定的拍摄位置有关的信息，推定通过在距离等间隔地分离的多个拍摄位置处进行拍摄而得到的多个帧各自的拍摄时刻，
所述图像提取部还进行下述动作：从运动图像流中提取与利用拍摄位置计算部所推定的各个拍摄时刻对应的第2帧，作为通过在距离等间隔地分离的多个拍摄位置处进行拍摄而得到的多个帧中的每1帧，
所述拍摄位置计算部还进行下述动作：基于从运动图像流中提取出的第2帧，确定该第2帧的拍摄位置，判定所述第2帧的拍摄位置、与所述距离等间隔地分离的多个拍摄位置中的1个等间隔位置之间的位置偏差是否在规定的范围内，在所述位置偏差不在规定的范围内的情况下，使用所提取出的所述第2帧的拍摄位置以及所述拍摄时刻，再次推定在所述等间隔位置处的通过照相机的拍摄而得到的帧的拍摄时刻，
所述图像提取部还进行下述动作：从运动图像流中提取所再次推定的所述拍摄时刻的第2帧，作为通过在距离等间隔地分离的多个拍摄位置处的拍摄而得到的帧。
CN201510564421.1A 2014-09-08 2015-09-07 静止图像提取方法以及实现该方法的图像处理装置 Active CN105407256B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014182721 2014-09-08
JP2014-182721 2014-09-08
JP2015-082965 2015-04-15
JP2015082965A JP6476414B2 (ja) 2014-09-08 2015-04-15 静止画像抽出方法及びその方法を実現する画像処理装置

Publications (2)

Publication Number Publication Date
CN105407256A CN105407256A (zh) 2016-03-16
CN105407256B true CN105407256B (zh) 2018-05-18

Family

ID=55438739

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510564421.1A Active CN105407256B (zh) 2014-09-08 2015-09-07 静止图像提取方法以及实现该方法的图像处理装置

Country Status (2)

Country Link
US (1) US9843789B2 (zh)
CN (1) CN105407256B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7180074B2 (ja) * 2017-01-31 2022-11-30 株式会社リコー 撮像装置
JP6969121B2 (ja) * 2017-03-17 2021-11-24 株式会社リコー 撮像システム、画像処理装置および画像処理プログラム
CN109285115B (zh) * 2017-07-20 2023-03-21 京瓷办公信息系统株式会社 图像处理装置、图像形成装置、图像处理方法以及记录介质
US10885622B2 (en) * 2018-06-29 2021-01-05 Photogauge, Inc. System and method for using images from a commodity camera for object scanning, reverse engineering, metrology, assembly, and analysis
DE102018122435A1 (de) 2018-09-13 2020-03-19 Hendrik Fehlis Virtuelle dreidimensionale Objekte in einem Livevideo
US12002220B2 (en) * 2021-05-13 2024-06-04 Beijing Sankuai Online Technology Co., Ltd. Method of image acquisition based on motion control signal according to acquisition pose

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1531826A (zh) * 2001-02-09 2004-09-22 带有数据注释的全向图像和3维数据获取的方法和装置以及动态范围扩展方法
CN101917547A (zh) * 2009-03-31 2010-12-15 卡西欧计算机株式会社 拍摄装置和拍摄控制方法
CN102045501A (zh) * 2009-10-09 2011-05-04 索尼公司 图像处理装置和方法以及程序
CN202026393U (zh) * 2011-03-30 2011-11-02 天津三星光电子有限公司 一种能够拍摄三维照片的数码相机
CN202033570U (zh) * 2011-05-10 2011-11-09 卢培庆 一种镜头可移动的摄像机

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4578653B2 (ja) 2000-08-24 2010-11-10 三菱電機株式会社 奥行き画像生成装置、奥行き画像生成方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
US7158689B2 (en) * 2002-11-25 2007-01-02 Eastman Kodak Company Correlating captured images and timed event data
JP4508049B2 (ja) 2005-09-05 2010-07-21 株式会社日立製作所 ３６０°画像撮影装置
WO2007077719A1 (ja) * 2005-12-27 2007-07-12 Kyocera Corporation 撮像装置およびその画像処理方法
US7952612B2 (en) * 2006-06-22 2011-05-31 Nokia Corporation Method and system for image construction using multiple exposures
JP4819834B2 (ja) 2008-03-03 2011-11-24 株式会社エヌ・ティ・ティ・ドコモ 立体映像処理装置及び立体映像処理方法
JP5281495B2 (ja) * 2009-06-18 2013-09-04 キヤノン株式会社 画像処理装置およびその方法
JP5744614B2 (ja) * 2011-04-28 2015-07-08 オリンパス株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
US20130215239A1 (en) * 2012-02-21 2013-08-22 Sen Wang 3d scene model from video
US9177384B2 (en) * 2013-07-31 2015-11-03 Trimble Navigation Limited Sequential rolling bundle adjustment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1531826A (zh) * 2001-02-09 2004-09-22 带有数据注释的全向图像和3维数据获取的方法和装置以及动态范围扩展方法
CN101917547A (zh) * 2009-03-31 2010-12-15 卡西欧计算机株式会社 拍摄装置和拍摄控制方法
CN102045501A (zh) * 2009-10-09 2011-05-04 索尼公司 图像处理装置和方法以及程序
CN202026393U (zh) * 2011-03-30 2011-11-02 天津三星光电子有限公司 一种能够拍摄三维照片的数码相机
CN202033570U (zh) * 2011-05-10 2011-11-09 卢培庆 一种镜头可移动的摄像机

Also Published As

Publication number Publication date
CN105407256A (zh) 2016-03-16
US9843789B2 (en) 2017-12-12
US20160073095A1 (en) 2016-03-10

Similar Documents

Publication Publication Date Title
CN105407256B (zh) 静止图像提取方法以及实现该方法的图像处理装置
US9025859B2 (en) Inertial sensor aided instant autofocus
US9781340B2 (en) Image processing system, information processing device, information storage device, and image processing method
CN109035330A (zh) 箱体拟合方法、设备和计算机可读存储介质
JP5522018B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN103051916A (zh) 产生三维（3d）全景图像的设备和方法
WO2017041740A1 (en) Methods and systems for light field augmented reality/virtual reality on mobile devices
US11212510B1 (en) Multi-camera 3D content creation
WO2018078986A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN111955005B (zh) 处理360度图像内容的方法和系统
TWI502271B (zh) 控制方法及電子裝置
US9916863B1 (en) Systems and methods for editing videos based on shakiness measures
JP2017091202A (ja) 物体認識方法及び物体認識装置
Han et al. Video stabilization for camera shoot in mobile devices via inertial-visual state tracking
JP6476414B2 (ja) 静止画像抽出方法及びその方法を実現する画像処理装置
TWI508526B (zh) 產生視角平移影像之方法及其可攜式電子設備
Grau et al. Motion and velocity estimation of rolling shutter cameras
TWI524213B (zh) 控制方法及電子裝置
Ueberheide et al. Low cost setup for high resolution multiview panorama recording and registration
TWI569641B (zh) 影像擷取方法及電子裝置
CN112561915B (zh) 图像处理方法、装置、图像采集装置及存储介质
Fallqvist Automatic Volume Estimation Using Structure-from-Motion Fused with a Cellphone's Inertial Sensors
JP2018074502A (ja) 撮像装置、情報処理装置、撮像システム、撮像方法、情報処理方法、およびプログラム
Dona Localization of RGB-D Sensors for Robotic and AR Applications
Jiang et al. Omnidirectional 3D reconstruction using rotating camera with mirrors

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant