CN108141510A - 摄像系统 - Google Patents

摄像系统 Download PDF

Info

Publication number
CN108141510A
CN108141510A CN201580083983.2A CN201580083983A CN108141510A CN 108141510 A CN108141510 A CN 108141510A CN 201580083983 A CN201580083983 A CN 201580083983A CN 108141510 A CN108141510 A CN 108141510A
Authority
CN
China
Prior art keywords
imaginary
angle
subject
camera system
imagination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580083983.2A
Other languages
English (en)
Inventor
宫下尚之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN108141510A publication Critical patent/CN108141510A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/22—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

本发明的目的在于，使用与所拍摄的被摄体相同的被摄体来引导适合被摄体的角度下的摄影，本发明的摄像系统(1)具有：摄像部(2)，其拍摄被摄体；立体信息取得部(7)，其取得被摄体的立体信息而在假想空间中构成假想被摄体；假想角度生成部(10)，其生成摄像部(2)相对于由立体信息取得部(7)取得的假想被摄体的假想的位置和姿态作为假想角度；假想图像生成部(12)，其生成从在假想角度生成部(10)中生成的假想角度拍摄被摄体的情况下的假想摄像图像；以及显示部(6)，其对由假想图像生成部(12)生成的假想摄像图像进行显示。

Description

摄像系统
技术领域
本发明涉及摄像系统。
背景技术
公知有一种照相机，该照相机识别被摄体类别，将与类别相应的构图引导显示于在监视器上显示的被摄体的图像上(例如，参照专利文献1)。
专利文献1的技术是对所取得的图像进行加工而提供构图引导或裁剪图像的技术。
现有技术文献
专利文献
专利文献1：日本特开2011-223599号公报
发明内容
发明要解决的课题
构图引导是对所取得的图像进行加工而生成的，因此只能进行同一角度下的引导。
本发明是鉴于上述的情况而完成的，其目的在于，提供摄像系统，能够使用与所拍摄的被摄体相同的被摄体来引导适合被摄体的角度下的摄影。
用于解决课题的手段
本发明的一个方式是摄像系统，其具有：摄像部，其拍摄被摄体；立体信息取得部，其取得所述被摄体的立体信息而在假想空间中构成假想被摄体；假想角度生成部，其生成所述摄像部相对于由该立体信息取得部取得的所述假想被摄体的假想的位置和姿态作为假想角度；假想图像生成部，其生成从在该假想角度生成部中生成的所述假想角度拍摄所述被摄体的情况下的假想摄像图像；以及显示部，其对由该假想图像生成部生成的所述假想摄像图像进行显示。
根据本方式，由立体信息取得部取得被摄体的立体信息，在假想空间内构成假想被摄体的立体模型。然后，由假想角度生成部生成摄像部相对于假想被摄体的立体模型的位置和姿态作为假想角度，由假想图像生成部生成从所生成的假想角度拍摄被摄体的情况下的假想摄像图像。所生成的假想摄像图像显示在显示部上。
即，在显示部上显示从与拍摄被摄体的摄像部的实际角度不同的假想角度拍摄的被摄体自身的假想摄像图像，从而能够建议可通过变更角度而取得适合于被摄体的图像。
例如，在拍摄烹饪食物时被认为优选的角度之一是从正上方的摄影，但对从斜上方拍摄烹饪食物的用户来说，难以识别其有效性。根据本方式，通过将正上方的角度作为假想角度而生成假想摄像图像并显示在显示部上，能够有效地告知对于正在拍摄的被摄体来说正上方的角度适合。
在上述方式中，也可以是，所述摄像系统具有假想角度判定部，该假想角度判定部判定能否按照在所述假想角度生成部中生成的所述假想角度进行拍摄，当在所述假想角度判定部中判定为能够进行拍摄的情况下，所述假想图像生成部生成所述假想摄像图像。
这样，能够建议可进行拍摄的角度以敦促用户变更角度。
并且，在上述方式中，也可以是，所述摄像系统具有假想角度判定部，该假想角度判定部判定能否按照在所述假想角度生成部中生成的所述假想角度进行拍摄，所述显示部区分在所述假想角度判定部中判定为能够进行拍摄的情况和判定为无法进行拍摄的情况来进行显示。
由此，在显示了能够进行拍摄的情况下，用户能够实际变更角度而拍摄优选的图像，在显示了无法进行拍摄的情况下，能够使用户认识到通过变更角度而带来的效果。
并且，在上述方式中，也可以是，所述假想角度判定部根据所述被摄体的位置、大小、所述摄像部的可动范围以及能够进行拍摄的视场角中的至少一方而进行判定。
这样，能够使用被摄体的位置、大小、摄像部的可动范围以及能够进行拍摄的视场角中的一个以上而容易地判定是否能够变更角度而进行拍摄。例如，在被摄体是塔或高层大厦那样的巨大建筑物的情况等时，如果是手持的摄像部的话，则能够判断为无法从正上方拍摄被摄体，另一方面，在摄像部搭载于无人机那样的飞行物的情况下，能够判断为可进行拍摄。
并且，在上述方式中，也可以是，所述摄像系统具有被摄体类别识别部，该被摄体类别识别部识别由所述摄像部取得的所述被摄体的类别，所述假想角度生成部根据参照角度而生成所述假想角度，所述参照角度是根据由所述被摄体类别识别部识别出的所述被摄体的类别而预先设定的。
这样，仅通过将适合被摄体的角度作为参照角度而与被摄体对应起来存储，就能够根据由被摄体类别识别部识别出的被摄体的类别，易于理解地对用户提出优选的角度。
并且，在上述方式中，也可以是，所述摄像系统具有实际角度检测部，该实际角度检测部检测所述摄像部的实际角度，所述假想角度生成部从预先设定的多个参照角度中、从接近所述实际角度的参照角度开始依次生成所述假想角度。
这样，在将角度从作为摄像部的当前的角度的实际角度向接下来的假想角度变更的情况下，按照容易变更的顺序生成假想角度。由此，能够高效地使用户确认所有参照角度。
并且，在上述方式中，也可以是，所述假想图像生成部在由所述立体信息取得部取得的所述假想被摄体的立体信息不完全的情况下，应用根据所述被摄体的类别预先定义的三维形状模型而生成所述假想摄像图像。
这样，即使在假想被摄体的立体信息不完全的情况下，也能够使用根据被摄体的类别预先定义的三维形状模型来生成对立体信息的未构成的部分进行插值后的假想摄像图像，从而能够降低给用户带来的不适感。
并且，在上述方式中，也可以是，所述摄像系统具有角度变更引导部，该角度变更引导部在由所述立体信息取得部取得的所述假想被摄体的立体信息不完全的情况下，敦促变更为对该不完全的部分进行插值的实际角度。
这样，根据角度变更引导部，用户通过变更为能够取得用于对立体信息的不完全部分进行插值的立体信息的实际角度，能够取得所缺少的立体信息，从而能够取得完全的假想摄像图像。
并且，在上述方式中，也可以是，所述摄像系统具有变更信息生成部，该变更信息生成部根据所述实际角度检测部检测到的所述实际角度和所述假想角度生成部生成的所述假想角度，生成所述摄像部的角度的变更方向的信息并使所述显示部显示该信息。
这样，由变更信息生成部生成的角度的变更方向的信息显示在显示部上，因此，通过由用户按照所显示的信息来变更角度，能够容易地取得从优选的角度拍摄的图像。
发明效果
根据本发明，实现了如下的效果：能够使用与所拍摄的被摄体相同的被摄体来引导适合被摄体的角度下的摄影。
附图说明
图1是示出本发明的一个实施方式的摄像系统的整体结构图。
图2是示出保存在图1的摄像系统的数据库部中的被摄体类别和参照角度的一例的图表。
图3是作为图2的变形例而示出参照角度具有角度范围的情况的图表。
图4是示出图1的摄像系统的假想角度判定部的判定的一例的示意图。
图5是示出在假想的摄像部附近存在障碍物作为图4的变形例的示意图。
图6是作为图4的变形例而示出被摄体是巨大建筑物的情况的示意图。
图7是示出在图1的摄像系统的显示部上显示了所拍摄的图像的情况的图。
图8是示出使用了图1的摄像系统的摄像方法的流程图。
图9是示出图1的摄像系统的变形例的整体结构图。
图10是示出使用图9的摄像系统来生成被摄体的立体信息的情况的示意图。
图11是示出图9的摄像系统的变形例的整体结构图。
图12是示出以巨大建筑物作为被摄体而使用图11的摄像系统进行拍摄的情况的示意图。
图13A是示出从图12的假想角度A拍摄被摄体而得到的图像的图。
图13B是示出从图12的假想角度B拍摄被摄体而得到的图像的图。
图13C是示出从图12的假想角度C拍摄被摄体而得到的图像的图。
图14是示出使用图11的摄像系统从一侧拍摄被摄体的情况的示意图。
图15是示出使用图11的摄像系统，通过实际角度的摄像部和假想角度候选的摄像部来拍摄被摄体的情况的示意图。
图16是示出使用变更信息生成部而将摄像部的移动方向示意化地显示在显示部上的情况的图。
图17是示出使用角度变更引导部而将摄像部的移动方向示意化地显示在显示部上的情况的图。
具体实施方式
以下，参照附图对本发明的一个实施方式的摄像系统1进行说明。
如图1所示，本实施方式的摄像系统1具有：摄像部2，其取得被摄体的图像；运算部3，其对由摄像部2取得的图像进行处理；操作部4，其进行针对运算部3指示处理的输入；数据库部5，其存储有预先设定的信息；以及显示部6，其对在运算部3中处理后的图像等进行显示。
摄像系统1是照相机。
摄像部2是CCD或CMOS成像设备等摄像元件。
运算部3具有：立体信息取得部7，其在立体假想空间内构成三维的假想被摄体；被摄体类别识别部8，其识别被摄体的类别；参照角度取得部9，其从数据库部5中取得参照角度；假想角度候选生成部(假想角度生成部)10，其根据所取得的参照角度而生成假想角度候选；假想角度判定部11，其判定能否按照所生成的假想角度候选进行拍摄；以及假想图像生成部12，其根据被判定为能够进行拍摄的假想角度候选而生成拍摄了被摄体的情况下的假想摄像图像。
立体信息取得部7输入有在摄像部2中按照时间序列所取得的被摄体的多个图像，通过SLAM(Simultaneous Localization And Mapping：即时定位与地图构建)方法，从所输入的图像组中取得被摄体A的三维点群和纹理信息、摄像部2的位置和姿态、被摄体的实际尺度(scale)等立体信息。并且，作为本发明的一例，使用了SLAM，但只要是能够取得等同的立体信息的方法，则也可以使用其他方法。
被摄体类别识别部8对在摄像部2中取得的被摄体的图像进行图像处理以提取特征量，根据该特征量来识别被摄体的类别。作为被摄体的类别，具有烹饪食物、花、建筑物、人等。另外，关于识别方法，也可以使用普遍公知的图像识别方法。
如图2所示，数据库部5例如将被摄体的类别和一个以上的优选的参照角度(立体假想空间中的照相机相对于被摄体的优选的角度)对应起来存储。当输入了在被摄体类别识别部8中识别出的被摄体的类别时，输出与所输入的类别对应起来存储的一个以上的参照角度。参照角度也可以像图3所示那样具有角度范围。
假想角度候选生成部10根据从数据库部5输出的参照角度来计算配置于立体假想空间内的假想的摄像部2的位置、姿态以及视场角。在从数据库部5输出了两个以上的参照角度的情况下，假想角度候选生成部10生成标注了优先顺序的多个假想角度候选。作为优先顺序，能够采用数据库部5内的定义顺序或在数据库部5内另外规定的优先级顺序。
假想角度判定部11使用被摄体的位置、大小、摄像系统1的可动范围以及能够进行拍摄的视场角中的至少一方来判定能否按照假想角度进行拍摄。
例如像以下这样进行判定。
在像图4所示那样将假想的摄像部2A配置成某个假想角度候选时，相对于被摄体A的高度距离dz＝0.3m、焦距(视场角的广度)f＝24mm，在实际的摄像部2B的焦距f＝120mm时，如果想要通过实际的摄像部2B拍摄出与假想的摄像部2A等同的角度和视场角，则计算出实际的摄像部2B的高度距离dz＝1.5m(0.3m×120mm/24mm＝1.5m)。在被摄体A为烹饪食物、摄像部2B为手持照相机的情况下，很难将摄像部2B摆放于从放置在桌子B上的被摄体A往上1.5m的位置，因此能够判定为无法在该假想角度下进行拍摄。
然而，如果实际的摄像部2B的焦距与假想的摄像部2A的焦距等同，则判定为能够进行拍摄。
并且，例如，当像图5所示那样在立体假想空间的配置成假想角度的假想的摄像部2A的附近存在障碍物(例如，灯C)的情况下，很难配置实际的摄像部2B，能够判定为无法进行拍摄。这样，在假想角度判定中，能够也考虑被摄体的周围环境的立体信息而进行判定。
而且，在像图6所示那样识别出的被摄体A是巨大建筑物、实际的摄像部2B1是手持照相机的情况下，由于照相机的可动范围有限，因此判定为无法进行拍摄，另一方面，在实际的摄像部2B2安装于无人机那样的飞行物D的情况下，由于可动范围扩大，因此判定为能够进行拍摄。
因此，在假想角度判定部11中，也可以是，还考虑摄像部2的类别而进行判定。作为摄像部2的类别，能够列举手持照相机、三脚架、自拍杆、无人机等。
如图7所示，假想图像生成部12使用在假想角度判定部11中判定为能够进行拍摄的假想角度，生成在立体假想空间中拍摄假想被摄体时的图像作为假想摄像图像G1。另外，假想图像生成部12在判定为无法拍摄时，也使用该假想角度而生成在立体假想空间中拍摄假想被摄体时的图像作为假想摄像图像G2，并且将表示无法进行拍摄这一内容的字符或符号(例如，图7的感叹号S)等合成在假想摄像图像G2的一部分上。图中，标号G0是摄像部2的实时图像。
以下，对这样构成的本实施方式的摄像系统1的作用进行说明。
要想使用本实施方式的摄像系统1来取得图像，如图8所示，在用户保持着由手持照相机构成的摄像系统1而拍摄被摄体A时，按照时间序列取得被摄体A的多个图像(步骤S1)，并输入给运算部3。
在运算部3中，由立体信息取得部7根据被摄体A的多个图像来构成立体假想空间内的假想被摄体(步骤S2)，并且由被摄体类别识别部8识别被摄体A的类别(步骤S3)。
在识别出有效的被摄体A的类别的情况下(步骤S4)，由参照角度取得部9使用识别出的类别而对数据库部5内进行检索，读出与类别对应起来存储的参照角度(步骤S5)。
在读出了参照角度的情况下，由假想角度候选生成部10根据所取得的参照角度而生成假想角度候选(步骤S6)，由假想角度判定部11判定能否按照所生成的假想角度候选进行拍摄(步骤S7)。
在无法进行拍摄的情况下，将标志设定为有效(ON)(步骤S8)。
然后，在假想图像生成部12中，根据假想角度候选，生成在立体假想空间内拍摄假想被摄体时的假想摄像图像(步骤S9)，并且显示在显示部6上(步骤S10)。
在该情况下，在显示于显示部6上的假想摄像图像中，区分显示能否进行拍摄。
利用使用了实际要拍摄的被摄体A的假想摄像图像对用户进行引导，以使用户在实际移动摄像系统1之前容易了解到通过从与当前的角度不同的角度拍摄被摄体A而能够拍摄更优选的图像。并且，具有如下的优点：在无法进行拍摄的情况，也能够注意到如果清楚障碍则能够取得更优选的图像。
另外，在本实施方式中，在从数据库部5中读出了参照角度的情况下，生成并显示假想摄像图像，但也可以是，当在数据库部5内检测到参照角度的情况下，将该内容通知用户，根据来自用户的指示而生成假想摄像图像。
并且，在本实施方式中，假想角度判定部11使用被摄体A的位置、大小、摄像部2的可动范围以及能够进行拍摄的视场角中的至少一方来判定能否按照假想角度进行拍摄，但也可以是，预先制定根据被摄体类别而优先判定的判定基准。
并且，在本实施方式中，根据由摄像部2按照时间序列所取得的多个图像来生成被摄体A的立体信息，但也可以取而代之，根据由与摄像部2不同的设备所取得的图像来生成被摄体A的立体信息。作为不同的设备，也可以如图9和图10所示，通过由配置于被摄体A所配置的室内的例如天花板附近的多个3D传感器7a构成的立体信息取得部7来取得立体信息，并发送给运算部3、存储在立体信息存储部13中。或者，也可以根据由安装于无人机那样飞行物的摄像部2所取得的图像来取得立体信息。并且，摄像部2也可以具有例如TOF(TimeOf Flight：飞行时间)方法那样的主动系统3D传感器。
并且，也可以是如图11所示，具有检测摄像部2的实际角度的实际角度检测部14，从多个假想角度与实际角度的差分小(接近实际角度的假想角度)的假想摄像图像依次显示在显示部6上。
例如，能够像以下这样计算假想角度A与实际角度α的差分。
Dif(α，A)＝(coefD×Distance)+(coefA×Angle)
其中，Dif(α，A)是实际角度α与假想角度A之间的差分，Distance是从实际角度α到假想角度A的距离，Angle是从实际角度α到假想角度A的角度，coefD、coefA是规定的系数。
并且，能够像以下这样计算从实际角度α到假想角度A的Distance和Angle。
Distance＝|αx-Ax|+|αy-Ay|+|αz-Az|
Angle＝|αrx-Arx|+|αry-Ary|+|αrz-Arz|
其中，αx、αy、αz是将实际角度α的位置投影于立体假想空间中得到的位置，αrx、αry、αrz是实际角度α的姿态。并且，Ax、Ay、Az是假想角度A的立体假想空间中的位置，Arx、Ary、Arz是假想角度A的姿态。
作为实际角度检测部14，可以根据通过SLAM鉴定出的最新帧中的摄像部2的位置和姿态而进行检测，也可以利用GPS或陀螺仪等。
例如，以塔那样的巨大建筑物作为被摄体A，只要如图12所示，在用户位于地点α时按照假想角度A、B、C的顺序显示图13A至图13C所示的假想摄像图像，在用户位于地点β时按照假想角度C、B、A的顺序显示假想摄像图像即可。
由于从接近用户所保持的摄像系统1的位置依次显示，因此结果为，能够使用户沿着特定的路径移动。
例示了以巨大建筑物作为被摄体A的情况，但也可以取而代之，在用于从大厦的入口达到特定的场所的路径引导、内窥镜的插入引导、工厂内装置的部件检查的校验点引导等中使用。
并且，在上述实施方式中，例示了充分取得被摄体A的立体信息而充分构成假想被摄体的情况，但例如在仅根据像图14所示那样从一侧拍摄被摄体A而得到的图像、通过SLAM而取得立体信息的情况下，由于没有取得未拍摄的一侧(箭头E侧)的立体信息，因此有时无法充分构成假想被摄体。
在这样的情况下，即使从数据库部5读出参照角度，根据与该参照角度对应的假想角度而生成的假想摄像图像也不完全，因此优选从由显示部6显示的图像中去除。因此，只要针对所读出的各个参照角度，计算从与该参照角度对应的假想角度观察到的假想被摄体的结构比例，去除结构比例为规定的值以下的参照角度即可。
并且，也可以代替去除结构比例为规定的值以下的参照角度，而是，预先在数据库部5中与被摄体A的类别对应起来存储立体模型，通过代入于假想被摄体而构成插值了未构成的部分后的假想被摄体。
例如，在被摄体A是盘子上的烹饪食物的情况下，只要通过预先存储圆形的立体模型，通过立体模型进行插值而生成未构成的部分的盘子的假想被摄体即可。并且，在被摄体A是巨大建筑物的情况下，也能够通过立体模型而对被摄体A的背侧进行插值，从而构成下层被摄体。
并且，通过像图14所示那样取得图像，由于假想被摄体的立体信息不完全而导致无法充分构成假想被摄体，在该情况下也可以是，摄像系统1使用角度变更引导部(省略图示)来敦促变更实际角度。角度变更引导部在由立体信息取得部7取得的假想被摄体的立体信息不完全的情况下，敦促变更为对该不完全的部分进行插值的实际角度。由此，能够通过像图17所示那样示意化地在显示部6上显示用于从实际角度接近假想角度候选的摄像部2的移动方向，而对用户进行提示。
而且，在由实际角度检测部14检测到的实际角度的摄像部2B与根据参照角度而生成的假想角度候选的摄像部2A的关系为图15所示那样的位置关系的情况下，也可以是，摄像系统1使用变更信息生成部(省略图示)来敦促变更作为实际角度的摄像部2B的角度。变更信息生成部根据由实际角度检测部14检测到的实际角度和由假想角度候选生成部10生成的假想角度，生成作为实际角度的摄像部2B的角度的变更方向的信息。由此，能够像图16所示那样，示意化地在显示部6上显示用于从实际角度接近假想角度候选的实际角度的摄像部2B的移动方向，敦促用户取得图像。
标号说明
1：摄像系统；2、2A、2B、2B1、2B2：摄像部；6：显示部；7：立体信息取得部；8：被摄体类别识别部；10：假想角度候选生成部(假想角度生成部)；11：假想角度判定部；12：假想图像生成部；14：实际角度检测部；A：被摄体。

Claims (9)

1.一种摄像系统，其具有：
摄像部，其拍摄被摄体；
立体信息取得部，其取得所述被摄体的立体信息而在假想空间中构成假想被摄体；
假想角度生成部，其生成所述摄像部相对于由该立体信息取得部取得的所述假想被摄体的假想的位置和姿态作为假想角度；
假想图像生成部，其生成从在该假想角度生成部中生成的所述假想角度拍摄所述被摄体的情况下的假想摄像图像；以及
显示部，其对由该假想图像生成部生成的所述假想摄像图像进行显示。
2.根据权利要求1所述的摄像系统，其中，
所述摄像系统具有假想角度判定部，该假想角度判定部判定能否按照在所述假想角度生成部中生成的所述假想角度进行拍摄，
当在所述假想角度判定部中判定为能够进行拍摄的情况下，所述假想图像生成部生成所述假想摄像图像。
3.根据权利要求1所述的摄像系统，其中，
所述摄像系统具有假想角度判定部，该假想角度判定部判定能否按照在所述假想角度生成部中生成的所述假想角度进行拍摄，
所述显示部区分在所述假想角度判定部中判定为能够进行拍摄的情况和判定为无法进行拍摄的情况来进行显示。
4.根据权利要求1至3中的任意一项所述的摄像系统，其中，
所述假想角度判定部根据所述被摄体的位置、大小、所述摄像部的可动范围以及能够进行拍摄的视场角中的至少一方而进行判定。
5.根据权利要求1至4中的任意一项所述的摄像系统，其中，
所述摄像系统具有被摄体类别识别部，该被摄体类别识别部识别由所述摄像部取得的所述被摄体的类别，
所述假想角度生成部根据参照角度而生成所述假想角度，所述参照角度是根据由所述被摄体类别识别部识别出的所述被摄体的类别而预先设定的。
6.根据权利要求5所述的摄像系统，其中，
所述摄像系统具有实际角度检测部，该实际角度检测部检测所述摄像部的实际角度，
所述假想角度生成部从预先设定的多个参照角度中、从接近所述实际角度的参照角度开始依次生成所述假想角度。
7.根据权利要求5或6所述的摄像系统，其中，
所述假想图像生成部在由所述立体信息取得部取得的所述假想被摄体的立体信息不完全的情况下，应用根据所述被摄体的类别预先定义的三维形状模型而生成所述假想摄像图像。
8.根据权利要求1至7中的任意一项所述的摄像系统，其中，
所述摄像系统具有角度变更引导部，该角度变更引导部在由所述立体信息取得部取得的所述假想被摄体的立体信息不完全的情况下，敦促变更为对该不完全的部分进行插值的实际角度。
9.根据权利要求6所述的摄像系统，其中，
所述摄像系统具有变更信息生成部，该变更信息生成部根据所述实际角度检测部检测到的所述实际角度和所述假想角度生成部生成的所述假想角度，生成所述摄像部的角度的变更方向的信息并使所述显示部显示该信息。
CN201580083983.2A 2015-10-30 2015-10-30 摄像系统 Pending CN108141510A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/080851 WO2017072975A1 (ja) 2015-10-30 2015-10-30 撮像システム

Publications (1)

Publication Number Publication Date
CN108141510A true CN108141510A (zh) 2018-06-08

Family

ID=58630003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580083983.2A Pending CN108141510A (zh) 2015-10-30 2015-10-30 摄像系统

Country Status (4)

Country Link
US (1) US20180213203A1 (zh)
JP (1) JPWO2017072975A1 (zh)
CN (1) CN108141510A (zh)
WO (1) WO2017072975A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112752015A (zh) * 2019-10-31 2021-05-04 北京达佳互联信息技术有限公司 拍摄角度推荐方法、装置、电子设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11025921B1 (en) 2016-09-22 2021-06-01 Apple Inc. Providing a virtual view by streaming serialized data
US11293748B2 (en) * 2019-03-07 2022-04-05 Faro Technologies, Inc. System and method for measuring three-dimensional coordinates
CN111898640B (zh) * 2020-06-28 2023-10-31 武汉旷视金智科技有限公司 模拟抓拍机推送图片的方法、装置、测试系统及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101661163A (zh) * 2009-09-27 2010-03-03 合肥工业大学 增强现实系统的立体头盔显示器
US20110164116A1 (en) * 2010-01-04 2011-07-07 Disney Enterprises, Inc. Video capture system control using virtual cameras for augmented reality
JP2011151446A (ja) * 2010-01-19 2011-08-04 Fujitsu Ten Ltd 画像処理装置、画像処理システム、および、画像処理方法
WO2013096052A2 (en) * 2011-12-19 2013-06-27 Dolby Laboratories Licensing Corporation Highly-extensible and versatile personal display
CN104395692A (zh) * 2012-06-29 2015-03-04 富士胶片株式会社 三维测定方法、装置、系统以及图像处理装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4266736B2 (ja) * 2003-07-31 2009-05-20 キヤノン株式会社 画像処理方法および装置
JP5456020B2 (ja) * 2009-10-30 2014-03-26 キヤノン株式会社 情報処理装置および方法
JP2015002476A (ja) * 2013-06-17 2015-01-05 パナソニック株式会社 撮像処理装置
US9900583B2 (en) * 2014-12-04 2018-02-20 Futurewei Technologies, Inc. System and method for generalized view morphing over a multi-camera mesh

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101661163A (zh) * 2009-09-27 2010-03-03 合肥工业大学 增强现实系统的立体头盔显示器
US20110164116A1 (en) * 2010-01-04 2011-07-07 Disney Enterprises, Inc. Video capture system control using virtual cameras for augmented reality
JP2011151446A (ja) * 2010-01-19 2011-08-04 Fujitsu Ten Ltd 画像処理装置、画像処理システム、および、画像処理方法
WO2013096052A2 (en) * 2011-12-19 2013-06-27 Dolby Laboratories Licensing Corporation Highly-extensible and versatile personal display
CN104395692A (zh) * 2012-06-29 2015-03-04 富士胶片株式会社 三维测定方法、装置、系统以及图像处理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112752015A (zh) * 2019-10-31 2021-05-04 北京达佳互联信息技术有限公司 拍摄角度推荐方法、装置、电子设备及存储介质
CN112752015B (zh) * 2019-10-31 2022-05-13 北京达佳互联信息技术有限公司 拍摄角度推荐方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20180213203A1 (en) 2018-07-26
JPWO2017072975A1 (ja) 2018-08-30
WO2017072975A1 (ja) 2017-05-04

Similar Documents

Publication Publication Date Title
US10636185B2 (en) Information processing apparatus and information processing method for guiding a user to a vicinity of a viewpoint
WO2019189661A1 (ja) 学習データセット作製方法及び装置
CN108141510A (zh) 摄像系统
KR20150096922A (ko) 카메라 포즈 추정 장치 및 카메라 포즈 추정 방법
JP2016218905A (ja) 情報処理装置、情報処理方法、及びプログラム
RU2018111707A (ru) Система и способ администрирования данных
KR101575954B1 (ko) 3차원 정합을 이용한 증강현실 장치 및 그 방법
KR20140128654A (ko) 증강현실 제공 장치 및 그 방법
JP4906683B2 (ja) カメラパラメータ推定装置およびカメラパラメータ推定プログラム
JP6506032B2 (ja) 測量データ処理装置、測量データ処理方法およびプログラム
JPWO2019204118A5 (zh)
KR20180046803A (ko) 실제카메라 영상과 가상카메라 영상을 활용하여 넓은 시야각을 제공하는 무인선 관제시스템
JP7173133B2 (ja) カメラ較正方法、カメラ較正装置、カメラ較正システムおよびカメラ較正プログラム
CN105704386A (zh) 一种图像获取方法、电子设备及电子装置
KR20160082886A (ko) 복수의 센서를 탑재한 무인 비행체를 이용하는 매핑 방법 및 시스템
WO2019044038A1 (ja) 撮影対象追跡装置及び撮影対象追跡方法
JP6409769B2 (ja) ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム
CN112818919A (zh) 抽烟行为识别方法与装置
US20160217605A1 (en) Processing device for label information for multi-viewpoint images and processing method for label information
CN108896035B (zh) 通过影像信息实现导航的方法、设备以及导航机器人
JP7004131B2 (ja) 管理システム、管理方法及び管理プログラム
JP2007109126A (ja) 移動体分布推定装置、移動体分布推定方法及び移動体分布推定プログラム
KR101509105B1 (ko) 증강현실 제공 장치 및 그 방법
JP2020188914A5 (zh)
JP2020051856A (ja) カメラのキャリブレーション方法および装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180608

WD01 Invention patent application deemed withdrawn after publication