CN114726978A - 信息处理装置、信息处理方法以及程序 - Google Patents

信息处理装置、信息处理方法以及程序 Download PDF

Info

Publication number
CN114726978A
CN114726978A CN202110985737.3A CN202110985737A CN114726978A CN 114726978 A CN114726978 A CN 114726978A CN 202110985737 A CN202110985737 A CN 202110985737A CN 114726978 A CN114726978 A CN 114726978A
Authority
CN
China
Prior art keywords
data
image data
information
imaging
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110985737.3A
Other languages
English (en)
Inventor
佐野雄磨
中岛谅
柏木正子
三岛直
关晃仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN114726978A publication Critical patent/CN114726978A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/383—Indoor data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供信息处理装置、信息处理方法及程序。将图像数据或者进深数据以易于与其它比较的方式显示。实施方式的信息处理装置具备位置推测部、进深推测部、登记部及显示控制部。位置推测部根据对象图像数据推测表示对象图像数据被摄像到的摄像位置的对象位置数据。进深推测部根据对象图像数据推测表示从根据对象位置数据表示的摄像位置至目标对象为止的距离的对象进深数据。登记部将包含对象图像数据、对象位置数据及对象进深数据的新的摄像信息登记于第1数据库。显示控制部使保存于第1数据库的多个摄像信息中的指定的指定摄像信息包含的图像数据及进深数据中的至少一方与地图数据中的和指定摄像信息所包含的位置数据对应的像素位置对应地显示。

Description

信息处理装置、信息处理方法以及程序
技术领域
本发明的实施方式涉及信息处理装置、信息处理方法以及程序。
背景技术
例如利用摄像机对建筑物、隧道等社会基础设施的内部或者建筑物的内部进行摄像，使用摄像而得到的大量的图像数据，进行检查社会基础设施的内部、建筑物的内部或者设置于它们的设备的状态的作业。但是，当在如无法利用GPS(Global PositioningSystem，全球定位系统)等定位系统那样的屋内的环境下进行这样的检查作业的情况下，检查者必须对大量的图像数据分别输入摄像位置。
另外，在这样的检查作业中，检查者必须比较对检查对象进行摄像而得到的图像数据和在不同的时刻对相同的检查对象进行摄像而得到的图像数据。因此，作业人员必须进行通过目视从大量的图像数据之中选择或者确认在不同的时刻对相同的检查对象进行摄像而得到的图像数据的作业，作业花费工夫。
发明内容
本发明要解决的课题在于提供能够将图像数据或者进深数据以易于与其它图像数据或者其它进深数据进行比较的方式显示的信息处理装置、信息处理方法以及程序。
实施方式的信息处理装置具备第1管理部、获取部、位置推测部、进深推测部、登记部以及显示控制部。所述第1管理部管理第1数据库，该第1数据库保存多个摄像信息，该多个摄像信息分别包含图像数据、表示所述图像数据被摄像到的摄像位置的位置数据以及表示从根据所述位置数据表示的摄像位置至目标对象为止的距离的进深数据。所述获取部获取对象图像数据。所述位置推测部根据所述对象图像数据，推测表示所述对象图像数据被摄像到的摄像位置的对象位置数据。所述进深推测部根据所述对象图像数据，推测表示从根据所述对象位置数据表示的摄像位置至目标对象为止的距离的对象进深数据。所述登记部将包含所述对象图像数据、所述对象位置数据以及所述对象进深数据的新的摄像信息登记于所述第1数据库。所述显示控制部使表示所述图像数据被摄像到的环境的地图的地图数据显示于显示装置。所述显示控制部使保存于所述第1数据库的所述多个摄像信息中的所指定的指定摄像信息所包含的所述图像数据以及所述进深数据中的至少一方与所述地图数据中的和所述指定摄像信息所包含的所述位置数据对应的像素位置对应地显示。根据上述信息处理装置，能够将图像数据或者进深数据以易于与其它图像数据或者其它进深数据进行比较的方式显示。
附图说明
图1是示出实施方式的信息处理装置的功能结构的图。
图2是示出保存于第1数据库的信息的内容的图。
图3是示出信息处理装置的登记处理的流程的流程图。
图4是示出信息处理装置的显示处理的流程的流程图。
图5是示出显示有地图数据的显示装置的一个例子的图。
图6是示出显示有位置图标以及方向图标的显示装置的一个例子的图。
图7是示出显示有地图数据以及图像数据的显示装置的一个例子的图。
图8是示出信息处理装置的变化区域信息的生成处理的流程的流程图。
图9是示出显示有变化区域图像的显示装置的画面的一个例子的图。
图10是用于说明视点变换处理的图。
图11是示出第1变形例的信息处理装置的功能结构的图。
图12是示出第2变形例的信息处理装置的功能结构的图。
图13是示出第3变形例的信息处理装置的功能结构的图。
图14是示出信息处理装置的硬件结构的图。
符号说明
10：信息处理装置；22：第1DB存储部；24：第1管理部；26：第2DB存储部；28：第2管理部；30：获取部；32：位置推测部；34：进深推测部；36：登记部；40：地图存储部；42：显示控制部；44：输入部；46：比较部；80：辨识部
具体实施方式
以下，参照附图，说明实施方式的信息处理装置10。
信息处理装置10获取利用摄像机对作为检查对象的多个目标对象分别进行摄像而得到的多个图像数据。作为检查对象的多个目标对象例如分别是社会基础设施、厂房或者工厂等建筑物的内部部分以及设置于它们的内部的设备等。而且，信息处理装置10根据获取到的多个图像数据，使用于判断多个目标对象各自的劣化等状态的信息显示于显示装置。
图1是示出信息处理装置10的功能结构的图。图2是示出保存于第1数据库的信息的内容的图。
信息处理装置10是网络上的服务器或者专用或者通用的计算机等。信息处理装置10通过执行程序，从而具备如图1所示的功能结构。即，信息处理装置10具备第1DB存储部22、第1管理部24、第2DB存储部26、第2管理部28、获取部30、位置推测部32、进深推测部34、登记部36、地图存储部40、显示控制部42、输入部44以及比较部46。
第1DB存储部22存储第1数据库。第1DB存储部22也可以由设置于信息处理装置10的外部的服务器或者云等实现。
第1数据库如图2所示保存多个摄像信息。多个摄像信息分别包含ID、日期时间数据、图像数据、位置数据、姿势数据、进深数据以及摄像机参数。
ID是识别摄像信息的信息。日期时间数据是表示对图像数据进行摄像的年月日以及时刻的信息。图像数据表示由单眼的摄像机摄像到的2维图像。在本实施方式中，图像数据是彩色图像的数据。
位置数据表示图像数据被摄像到的摄像位置。摄像位置表示现实空间的三维点的位置。例如，摄像位置既可以是根据纬度、经度以及高度表示的信息，也可以根据以任意的基准位置为原点的X方向、Y方向以及Z方向的距离来表示。X方向、Y方向以及Z方向是现实空间中的相互正交的方向。
姿势数据表示对图像数据进行摄像的摄像机的摄像姿势。摄像姿势表示现实空间中的从摄像位置向图像中心的目标对象的方向。例如，摄像姿势既可以是根据方位表示的信息，也可以根据从任意的基准方向起的水平方向以及垂直方向的角度来表示。
进深数据表示从根据位置数据表示的摄像位置至图像数据所包含的目标对象为止的距离。进深数据是与图像数据相同的视场角的数据。
摄像机参数包括对图像数据进行摄像的摄像机的摄像时的多个参数。在本实施方式中，摄像机参数包括焦点距离以及图像中心。即，摄像机参数包括用于将图像坐标和摄像机坐标相互进行变换的参数。
第1管理部24管理存储于第1DB存储部22的第1数据库。例如，第1管理部24管理向第1数据库的访问。例如，第1管理部24从第1数据库获取与所指定的条件一致的1个或者多个摄像信息。
第2DB存储部26存储第2数据库。第2DB存储部26也可以由设置于信息处理装置10的外部的服务器或者云等实现。
第2数据库保存多个参照摄像信息。多个参照摄像信息分别包含参照图像数据、参照位置数据以及参照姿势数据。
参照图像数据表示由单眼的摄像机摄像到的2维图像。参照位置数据表示参照图像数据被摄像到的摄像位置。参照姿势数据表示对参照图像数据进行摄像的摄像机的摄像姿势。
多个参照摄像信息是通过由作业人员或者机器人等利用摄像机对作为检查对象的多个目标对象进行摄像而生成的信息。参照位置数据以及参照姿势数据是在参照图像数据的摄像时作业人员等输入的信息。另外，多个参照图像数据优选表示由如单反式摄像机那样的高规格的摄像机摄像到的精度良好的图像。由此，第2数据库能够保存精度良好的多个参照摄像信息。
第2管理部28管理存储于第2DB存储部26的第2数据库。例如，第2管理部28管理向第2数据库的访问。例如，第2管理部28从第2数据库获取与所指定的条件一致的1个或者多个参照摄像信息。
获取部30例如经由因特网等通信单元获取对象图像数据。对象图像数据是利用摄像机对作为检查对象的目标对象进行摄像而得到的图像数据。对象图像数据既可以是作业人员摄像到的图像数据，也可以是机器人摄像到的图像数据。对象图像数据既可以是由如智能手机那样的小型摄像机摄像到的图像数据，也可以是由如单反式那样的高规格摄像机摄像到的图像数据。
另外，获取部30与对象图像数据一起，还获取表示摄像日期时间的对象日期时间数据以及至少表示焦点距离以及图像中心的对象摄像机参数。获取部30将对象图像数据、对象日期时间数据以及对象摄像机参数发送到位置推测部32、进深推测部34以及登记部36。
位置推测部32收取对象图像数据。位置推测部32根据对象图像数据，推测表示对象图像数据被摄像到的摄像位置的对象位置数据以及表示对对象图像数据进行摄像的摄像机的摄像姿势的对象姿势数据。然后，位置推测部32将推测出的对象位置数据以及对象姿势数据发送到登记部36。
在本实施方式中，位置推测部32经由第2管理部28从第2数据库获取多个参照摄像信息。然后，位置推测部32通过将对象图像数据与获取到的多个参照摄像信息分别进行比对，从而推测对象位置数据以及对象姿势数据。例如，位置推测部32找出多个参照摄像信息所包含的多个参照图像数据中的以最接近对象图像数据的摄像位置以及摄像姿势摄像到的接近图像数据。然后，位置推测部32根据对象图像数据与接近图像数据之间的位置差以及姿势差和包含接近图像数据的参照摄像信息所包含的参照位置数据以及参照姿势数据，计算对象位置数据以及对象姿势数据。
此外，位置推测部32能够根据对象图像数据以及多个参照摄像信息，使用深度神经网络，计算对象位置数据以及对象姿势数据。例如，位置推测部32通过使用非专利文献1所记载的深度神经网络，能够计算对象位置数据以及对象姿势数据。
进深推测部34收取对象图像数据。进深推测部34根据对象图像数据，推测表示从根据对象位置数据表示的摄像位置至对象图像数据所包含的目标对象为止的距离的对象进深数据。然后，进深推测部34将推测出的对象进深数据发送到登记部36。
在本实施方式中，进深推测部34根据对象图像数据的模糊的强度，推测表示直至各自的像素位置的目标对象为止的距离的对象进深数据。进深推测部34通过对将图像数据所包含的目标对象的模糊的强度与直至目标对象为止的距离对应起来的模型预先进行机器学习，从而能够从对象图像数据推测对象进深数据。例如，进深推测部34通过使用非专利文献2所记载的深度神经网络，能够根据对象图像数据来计算对象进深数据。此外，在本实施方式中，进深推测部34根据对象图像的模糊的强度而推测出进深数据。代替其，进深推测部34既可以从对象图像的上下文推测进深数据，也可以根据从立体摄像机推测出的视差来计算进深数据，也可以根据使用如LiDAR(Light Detection and Ranging，光探测和测距)那样的利用激光的照射的测距装置测量出的数据来生成进深数据。
登记部36获取对象图像数据、对象日期时间数据、对象摄像机参数、对象位置数据、对象姿势数据以及对象进深数据。登记部36生成新的摄像信息，该新的摄像信息作为图像数据、日期时间数据、摄像机参数、位置数据、姿势数据以及进深数据而包含对象图像数据、对象日期时间数据、对象摄像机参数、对象位置数据、对象姿势数据以及对象进深数据。然后，登记部36将所生成的新的摄像信息登记于存储于第1DB存储部22的第1数据库。由此，登记部36能够每当获取部30获取到对象图像数据时，对第1数据库追加新的摄像信息。
地图存储部40存储表示保存于第1数据库的多个图像数据被摄像到的环境的地图的地图数据。例如，地图数据表示设置有作为检查对象的多个目标对象的场所的地图、仪器的配置图或者楼层地图等图像。另外，地图数据的像素位置对应于现实空间的三维点的位置。例如，地图数据在表示楼层地图的情况下，像素对应于现实的楼层中的2维位置。
显示控制部42获取存储于地图存储部40的地图数据。然后，显示控制部42使获取到的地图数据显示于显示装置。
进而，显示控制部42从第1数据库获取1个或者多个摄像信息。显示控制部42关于获取到的1个或者多个摄像信息分别在地图数据上使表示存在图像数据以及进深数据的摄像位置信息显示。在该情况下，显示控制部42使摄像位置信息显示于地图数据中的与位置数据所示的摄像位置对应的像素位置。
进而，显示控制部42关于获取到的1个或者多个摄像信息分别在地图数据上使表示对图像数据进行摄像的摄像机的摄像姿势的摄像姿势信息显示。在该情况下，显示控制部42在地图数据中的与位置数据所示的摄像位置对应的像素位置处使摄像姿势信息显示。
输入部44获取用于从第1数据库获取1个或者多个摄像信息的条件信息。例如，输入部44根据由用户输入的信息，获取条件信息。例如，输入部44作为条件信息而获取日期时间。显示控制部42在获取到条件信息的情况下，从第1数据库获取与条件信息一致的1个或者多个摄像信息。例如，显示控制部42在作为条件信息而获取到日期时间的情况下，从第1数据库获取包含与条件信息一致的日期时间数据的1个或者多个摄像信息，关于获取到的1个或者多个摄像信息分别在地图数据上使摄像位置信息以及摄像姿势信息显示。
进而，输入部44例如从用户受理保存于第1数据库的多个摄像信息中的任意的摄像信息的指定。例如，输入部44受理显示控制部42获取到的1个或者多个摄像信息中的任意的摄像信息的指定。例如，输入部44通过对在地图数据上显示的摄像位置信息进行点击等操作，从而受理与被点击的摄像位置信息对应的摄像信息的指定。此外，在此，将所指定的摄像信息称为指定摄像信息。
然后，显示控制部42使指定摄像信息所包含的图像数据以及进深数据中的至少一方显示于显示装置。在该情况下，显示控制部42与地图数据中的和指定摄像信息所包含的位置数据所示的摄像位置对应的像素位置对应地，使图像数据或者进深数据显示。
另外，进而，输入部44受理执行状态比较处理的操作。状态比较处理是根据在不同的日期时间摄像到的两个图像数据或者两个进深数据而自动检测目标对象是否因劣化等而变化的处理。
比较部46在输入部44受理执行状态比较处理的操作的情况下，执行状态比较处理。比较部46在状态比较处理中，获取保存于第1数据库的多个摄像信息中的包含在不同的日期时间对相同的目标对象进行摄像而得到的图像数据的第1摄像信息以及第2摄像信息。
例如，输入部44也可以与执行状态比较处理的操作一起，受理第1摄像信息以及第2摄像信息的指定。在该情况下，比较部46获取由用户指定的第1摄像信息以及第2摄像信息。
然后，比较部46根据获取到的第1摄像信息以及第2摄像信息，生成表示目标对象中的状态发生变化的区域的变化区域信息。例如，比较部46通过比较第1摄像信息所包含的图像数据和第2摄像信息所包含的图像数据，从而生成表示目标对象中的状态发生变化的区域的变化区域信息。
在该情况下，比较部46通过对第1摄像信息所包含的图像数据以及第2摄像信息所包含的图像数据中的至少一方进行视点变换处理，从而将第1摄像信息所包含的图像数据和第2摄像信息所包含的图像数据变换为以相同的摄像位置以及相同的摄像姿势摄像的状态。
然后，比较部46通过比较变换为以相同的摄像位置以及相同的摄像姿势摄像的状态的第1摄像信息所包含的图像数据和第2摄像信息所包含的图像数据，从而生成变化区域信息。例如，比较部46计算变换为以相同的摄像位置以及相同的摄像姿势摄像的状态的第1摄像信息所包含的图像数据与第2摄像信息所包含的图像数据的颜色或者亮度的差分，生成表示差分为预定的阈值以上的区域的变化区域信息。由此，比较部46能够精度良好地比较目标对象从不同的视点被摄像到的两个图像数据，生成精度良好地表示目标对象中的状态发生变化的区域的变化区域信息。
另外，例如，比较部46通过比较第1摄像信息所包含的进深数据和第2摄像信息所包含的进深数据，从而生成表示目标对象中的状态发生变化的区域的变化区域信息。例如，比较部46通过对第1摄像信息所包含的进深数据以及第2摄像信息所包含的进深数据中的至少一方进行视点变换处理，从而将第1摄像信息所包含的进深数据和第2摄像信息所包含的进深数据变换为以相同的摄像位置以及相同的摄像姿势摄像的状态。
然后，比较部46通过比较变换为以相同的摄像位置以及相同的摄像姿势摄像的状态的第1摄像信息所包含的进深数据和第2摄像信息所包含的进深数据，从而生成变化区域信息。例如，比较部46计算变换为以相同的摄像位置以及相同的摄像姿势摄像的状态的第1摄像信息所包含的进深数据与第2摄像信息所包含的进深数据的距离的差分，生成表示差分为预定的阈值以上的区域的变化区域信息。由此，比较部46能够精度良好地比较目标对象从不同的视点被摄像到的两个进深数据，生成精度良好地表示目标对象中的状态发生变化的区域的变化区域信息。
比较部46将所生成的变化区域信息发送到显示控制部42。显示控制部42在执行状态比较处理的情况下，使第1摄像信息或者第2摄像信息所包含的图像数据或者进深数据显示于显示装置，并且使变化区域信息与图像数据或者进深数据中的目标对象的状态发生变化的区域对应地显示。
另外，比较部46也可以在生成变化区域信息的情况下，进而计算目标对象中的状态发生变化的区域的大小。例如，比较部46也可以根据变化区域信息的图像数据上的像素尺寸，计算状态发生变化的区域的现实空间中的尺寸。另外，例如，比较部46也可以根据变换为以相同的摄像位置以及相同的摄像姿势摄像的状态的第1摄像信息所包含的进深数据与第2摄像信息所包含的进深数据的同一像素位置处的距离的差分，计算状态发生变化的区域的现实空间中的深度的变化量。
然后，在该情况下，比较部46将状态发生变化的区域的大小发送到显示控制部42。显示控制部42使第1摄像信息或者第2摄像信息所包含的图像数据或者进深数据显示于显示装置，并且使比较部46计算出的大小与图像数据或者进深数据中的目标对象的状态发生变化的区域对应地显示。
图3是示出信息处理装置10的登记处理的流程的流程图。信息处理装置10例如在经由因特网等通信单元获取到对象图像数据的情况下，按照图3所示的流程执行处理。
首先，在S11中，信息处理装置10获取对象图像数据。信息处理装置10还获取表示对对象图像数据进行摄像的日期时间的对象日期时间数据以及表示对对象图像数据进行摄像时的摄像机参数的对象摄像机参数。
接着，在S12中，信息处理装置10根据对象图像数据，推测表示对象图像数据被摄像到的摄像位置的对象位置数据以及表示对对象图像数据进行摄像的摄像机的摄像姿势的对象姿势数据。例如，信息处理装置10将对象图像数据以及保存于第2数据库的多个参照摄像信息输入到非专利文献1所记载的深度神经网络，推测对象位置数据以及对象姿势数据。
接着，在S13中，信息处理装置10根据对象图像数据，推测表示从根据对象位置数据表示的摄像位置至对象图像数据所包含的目标对象为止的距离的对象进深数据。例如，信息处理装置10将对象图像数据输入到非专利文献2所记载的深度神经网络，计算进深数据。
接着，在S14中，信息处理装置10生成包含对象图像数据、对象日期时间数据、对象摄像机参数、对象位置数据、对象姿势数据以及对象进深数据的新的摄像信息。然后，信息处理装置10将所生成的新的摄像信息登记于第1数据库。信息处理装置10当结束S14的处理时，结束本流程的处理。
信息处理装置10每当获取到对象图像数据时，按照S11至S14所示的流程执行处理。由此，信息处理装置10能够每当从各种各样的位置对社会基础设施、厂房或者工厂等建筑物的内部部分以及设置于它们的内部的设备等进行摄像时，生成包含图像数据、日期时间数据、位置数据、姿势数据以及摄像机参数的摄像信息，登记于第1数据库。
图4是示出信息处理装置10的显示处理的流程的流程图。图5是示出显示有地图数据的显示装置的画面的一个例子的图。图6是示出显示有地图数据、位置图标206以及方向图标208的显示装置的画面的一个例子的图。图7是示出显示有地图数据以及图像数据的显示装置的画面的一个例子的图。
信息处理装置10例如在通过用户的操作而进行信息显示的操作的情况下，按照图4所示的流程执行处理。
首先，在S21中，信息处理装置10获取存储于地图存储部40的地图数据，使获取到的地图数据显示于显示装置。例如，信息处理装置10如图5所示使表示设置有作为检查对象的多个目标对象的屋内的楼层地图的楼层地图图像202作为地图数据而显示于显示装置。
接着，在S22中，信息处理装置10获取条件信息。例如，信息处理装置10如图5所示，使用于受理作为条件信息的一个例子的年月日的指定的年月日输入框204显示于显示装置。然后，信息处理装置10使用户在年月日输入框204中输入年月日。此外，信息处理装置10不限于年月日，也可以作为条件信息而获取月、年或者任意的期间。
接着，在S23中，信息处理装置10从第1数据库获取与获取到的条件信息一致的1个或者多个摄像信息。例如，信息处理装置10从第1数据库获取包含与输入到年月日输入框204的年月日一致的日期时间数据的1个或者多个摄像信息。
接着，在S24中，关于获取到的1个或者多个摄像信息分别在地图数据上使表示存在图像数据以及进深数据的摄像位置信息以及表示对图像数据进行摄像的摄像机的摄像姿势的摄像姿势信息显示。例如，信息处理装置10如图6所示关于获取到的1个或者多个摄像信息分别使位置图标206作为摄像位置信息而显示于显示装置，使方向图标208作为摄像姿势信息而显示于显示装置。在该情况下，信息处理装置10使位置图标206显示于楼层地图图像202中的与对应的位置数据所示的摄像位置对应的像素位置。另外，信息处理装置10使方向图标208以示出对应的姿势数据所示的方向的方式显示于楼层地图图像202中的与对应的位置数据所示的摄像位置对应的像素位置。
接着，在S25中，信息处理装置10判断获取到的1个或者多个摄像信息中的哪个摄像信息被指定为指定摄像信息。例如，信息处理装置10在如图6所示的显示于显示装置的1个或者多个位置图标206中的任意图标通过鼠标等被点击的情况下，判断为与被点击的位置图标206对应的摄像信息被指定为指定摄像信息。
信息处理装置10在哪个摄像信息都未被指定的情况下(S25的否)，在S25中等待处理。信息处理装置10在任意摄像信息被指定的情况下(S25的是)，使处理进入到S26。
在S26中，信息处理装置10使指定摄像信息所包含的图像数据以及进深数据中的至少一方与地图数据中的与指定摄像信息所包含的位置数据所示的摄像位置对应的像素位置对应地显示。例如，显示控制部42如图7所示在楼层地图图像202中的从对应的位置图标206出现的标注图像210之中，使指定摄像信息所包含的图像数据或者进深数据显示。显示控制部42也可以使与楼层地图图像202不同的窗口显示，在其它窗口内使图像数据或者进深数据显示。
另外，信息处理装置10也可以使用于使用户指定图像数据或者进深数据中的一方的种类指定框212显示于显示装置。信息处理装置10使用户使用种类指定框212选择使图像数据或者进深数据中的哪个数据显示。然后，信息处理装置10使指定摄像信息所包含的图像数据以及进深数据中的使用种类指定框212选择的一方显示于标注图像210之中。
信息处理装置10当结束S26的处理时，使处理返回到S25。然后，在新指定不同的摄像信息的情况下，信息处理装置10关于新的指定摄像信息而执行S26的处理。
信息处理装置10在由用户进行信息显示的操作的情况下，执行从S21至S26为止的处理。由此，信息处理装置10能够将在各种各样的位置处对社会基础设施、厂房或者工厂等建筑物的内部部分以及设置于它们的内部的设备等进行摄像而得到的图像数据以及对应的进深数据与地图数据对应起来并且显示给用户。由此，信息处理装置10能够容易地确认是关于哪个目标对象的图像数据或者进深数据。因而，信息处理装置10能够将图像数据或者进深数据以易于与其它图像数据或者其它进深数据进行比较的方式显示。
进而，信息处理装置10能够根据日期时间等条件信息容易地锁定所显示的图像数据以及进深数据而使其显示。由此，信息处理装置10能够使用户容易地确认随着时间的经过而目标对象怎样变化。
图8是示出信息处理装置10的变化区域信息的生成处理的流程的流程图。图9是示出显示有变化区域信息的显示装置的画面的一个例子的图。
信息处理装置10执行检测目标对象是否发生变化的状态比较处理。例如，信息处理装置10也可以如图9所示为了检测变化状况而使包括变化状况按钮的种类指定框212显示于显示装置。然后，信息处理装置10在由用户选择变化状况按钮的情况下，按照图8所示的流程执行状态比较处理。
首先，在S31中，信息处理装置10受理第1摄像信息的指定。例如，信息处理装置10在当受理执行状态比较处理的操作之后，显示于楼层地图图像202上的任意的位置图标206被点击的情况下，作为第1摄像信息而受理与被点击的位置图标206对应的摄像信息。
接着，在S32中，信息处理装置10受理第2摄像信息的指定。例如，信息处理装置10选择包含从第1摄像信息所包含的位置数据以及姿势数据起预先决定的距离以及角度的范围内的位置数据以及姿势数据，且包含与第1摄像信息所包含的日期时间数据不同的日期时间数据的1个或者多个摄像信息。接着，信息处理装置10关于所选择的1个或者多个摄像信息，使位置图标206以及方向图标208显示于楼层地图图像202。然后，信息处理装置10在显示于楼层地图图像202上的任意的位置图标206被点击的情况下，作为第2摄像信息而受理与被点击的位置图标206对应的摄像信息。由此，信息处理装置10能够从附近的视点获取包含在不同的日期时间对相同的目标对象进行摄像而得到的图像数据的第1摄像信息以及第2摄像信息。
接着，在S33中，信息处理装置10通过对第1摄像信息所包含的图像数据以及第2摄像信息所包含的图像数据中的至少一方进行视点变换处理，从而将第1摄像信息所包含的图像数据和第2摄像信息所包含的图像数据变换为以相同的摄像位置以及相同的摄像姿势摄像的状态。进而，信息处理装置10通过对第1摄像信息所包含的进深数据以及第2摄像信息所包含的进深数据也同样地进行视点变换处理，从而将第1摄像信息所包含的进深数据和第2摄像信息所包含的进深数据变换为以相同的摄像位置以及相同的摄像姿势摄像的状态。此外，关于视线变换处理的更详细的内容，将参照图10在后面叙述。
接着，在S34中，信息处理装置10通过比较变换为以相同的摄像位置以及相同的摄像姿势摄像的状态的第1摄像信息所包含的图像数据和第2摄像信息所包含的图像数据，从而生成表示目标对象中的状态发生变化的区域的变化区域信息。例如，信息处理装置10通过将变换为以相同的摄像位置以及相同的摄像姿势摄像的状态的第1摄像信息所包含的图像数据和第2摄像信息所包含的图像数据用对应的像素彼此进行比较，从而生成表示颜色或者亮度的差分为预定的阈值以上的区域的变化区域信息。也可以代替其或者除此之外，信息处理装置10比较变换为以相同的摄像位置以及相同的摄像姿势摄像的状态的第1摄像信息所包含的进深数据和第2摄像信息所包含的进深数据，从而生成变化区域信息。例如，信息处理装置10通过将变换为以相同的摄像位置以及相同的摄像姿势摄像的状态的第1摄像信息所包含的进深数据和第2摄像信息所包含的进深数据用对应的像素彼此进行比较，从而生成表示距离的差分为预定的阈值以上的区域的变化区域信息。
接着，在S35中，信息处理装置10计算目标对象中的状态发生变化的区域的大小。例如，信息处理装置10根据变化区域信息的图像数据上的像素尺寸，计算状态发生变化的区域的现实空间中的尺寸。另外，例如，信息处理装置10也可以根据变换为以相同的摄像位置以及相同的摄像姿势摄像的状态的第1摄像信息所包含的进深数据与第2摄像信息所包含的进深数据的同一像素位置处的距离的差分，计算状态发生变化的区域中的现实空间中的深度的变化量。
接着，在S36中，信息处理装置10使第1摄像信息或者第2摄像信息所包含的图像数据或者进深数据显示于显示装置，并且使变化区域信息与图像数据或者进深数据中的目标对象的状态发生变化的区域对应地显示。例如，信息处理装置10如图9所示使表示变化区域的位置的变化区域图像214显示于图像数据中的目标对象的状态发生变化的区域。进而，信息处理装置10也可以使在S35中计算出的大小也与图像数据中的目标对象的状态发生变化的区域对应地显示。
由此，信息处理装置10能够在社会基础设施、厂房或者工厂等建筑物的内部部分以及设置于它们的内部的设备等随着时间经过而劣化等的情况下，使用户容易地确认劣化的部位。
图10是用于说明视点变换处理的图。信息处理装置10例如通过以下说明的方法来执行视点变换处理。
图10所示的第1图像数据Ii是从第1摄像位置i对第1目标对象230进行摄像而得到的图像数据。第1进深数据Di按照与第1图像数据Ii相同的视场角表示从第1摄像位置i至第1目标对象230以及第1目标对象230的周围的目标对象为止的距离。
图10所示的第2图像数据Ij是从第2摄像位置j对第1目标对象230进行摄像而得到的图像数据。第2摄像位置j是与第1摄像位置i不同的位置。第2进深数据Dj按照与第2图像数据Ij相同的视场角表示从第2摄像位置j至第1目标对象230以及第1目标对象230的周围的目标对象为止的距离。
另外，Tji表示使摄像机从第1摄像位置i向第2摄像位置j平行移动的平移矢量。Rji表示使摄像机从第1摄像位置i处的摄像机的摄像姿势向第2摄像位置j处的摄像机的摄像姿势旋转移动的旋转矢量。
在将第1图像数据Ii以及第1进深数据Di中的像素p的位置表示为(x，y)以及将进深表示为Di(p)的情况下，像素p的三维坐标{Xi(p)，Yi(p)，Zi(p)}如式(1)那样表示。
【式1】
Figure BDA0003230508390000161
此外，fx表示第1图像数据Ii的焦点距离的水平方向的分量。fy表示第1图像数据Ii的焦点距离的垂直方向的分量。cx表示第1图像数据Ii的图像中心的水平方向的分量。cy表示第1图像数据Ii的图像中心的垂直方向的分量。
在此，p是第1图像数据Ii以及第1进深数据Di中的显示有第1目标对象230的P点的像素位置。p的三维坐标{Xi(p)，Yi(p)，Zi(p)}是从第1摄像位置i观察P点时的三维坐标。因而，从第2摄像位置j观察P点时的三维坐标{X′，Y′，Z′}根据Tji以及Rji，根据像素p的三维坐标{Xi(p)，Yi(p)，Zi(p)}，如式(2)那样表示。
【式2】
Figure BDA0003230508390000171
p′是第2图像数据Ij以及第2进深数据Dj中的显示有第1目标对象230的P点的像素位置。p′是通过将三维坐标{X′，Y′，Z′}投影到第2图像数据Ij而计算的。因而，第2图像数据Ij中的显示有第1目标对象230的P点的像素p′＝(x′，y′)如式(3)那样表示。
【式3】
Figure BDA0003230508390000172
此外，f′x表示第2图像数据Ij的焦点距离的水平方向的分量。f′y表示第2图像数据Ij的焦点距离的垂直方向的分量。c′x表示第2图像数据Ij的图像中心的水平方向的分量。c′y表示第2图像数据Ij的图像中心的垂直方向的分量。
另外，第2进深数据Dj中的显示有第1目标对象230的P点的像素p′的进深(Di(p′))通过Z′来表示。
基于以上，信息处理装置10通过使用式(1)、式(2)以及式(3)进行运算，能够以使第1摄像信息所包含的图像数据以及进深数据成为从第2摄像信息所包含的图像数据的摄像位置以及摄像姿势进行摄像而得到的校正图像数据以及校正进深数据的方式，执行视点变换处理。
此外，p′(＝(x′，y′))有时不为整数值。在该情况下，信息处理装置10对进行视点变换处理之后的校正图像数据以及校正进深数据进行双线性插补处理等，变换为包含整数位置的像素的校正图像数据以及校正进深数据。由此，信息处理装置10能够比较包含彼此相同的位置的多个像素的图像数据以及进深数据，生成变化区域信息。
另外，信息处理装置10也可以执行上述方法以外的视点变换处理。例如，信息处理装置10也可以将第1摄像信息所包含的图像数据以及进深数据以及第2摄像信息所包含的图像数据以及进深数据分别使用式(1)而变换为用3维坐标表示的3维点群信息，在3维点群信息的状态下使视点一致。在该情况下，例如，信息处理装置10使用ICP((IterativeClosest Point，迭代最近点)或者NDT(Normal Distribution Transform，正态分布变换)等方法，在3维点群信息的状态下使视点一致。
图11是示出第1变形例的信息处理装置10的功能结构的图。信息处理装置10也可以代替图1所示的结构而是如图11所示的第1变形例的结构。此外，第1变形例的信息处理装置10与图1所示的结构大致相同，所以对具有大致相同的功能的构成要素附加相同的符号，除了不同点之外，省略详细的说明。关于第2变形例以后也相同。
第3变形例的信息处理装置10还具备辨识部80。辨识部80在显示控制部42获取到的1个或者多个摄像信息中的任意的摄像信息被指定为指定摄像信息的情况下，获取指定摄像信息所包含的图像数据。例如，辨识部80在显示于显示装置的1个或者多个位置图标206中的任意图标通过鼠标等被点击的情况下，获取与被点击的位置图标206对应的指定摄像信息所包含的图像数据。
辨识部80对获取到的图像数据执行图像辨识处理，对目标对象辨识裂痕或者锈等劣化内容。辨识部80将辨识结果发送到显示控制部42。然后，显示控制部42使从辨识部80收取到的辨识结果与指定摄像信息所包含的图像数据或者进深数据一起显示于显示装置。由此，第1变形例的信息处理装置10能够在目标对象产生劣化的情况下，将劣化内容通知给用户。
此外，辨识部80在比较部46执行状态比较处理的情况下，也可以对图像数据中的变化区域信息所示的区域执行图像辨识处理。由此，第1变形例的信息处理装置10能够使用户辨识在变化区域产生怎样的内容的变化。
图12是示出第2变形例的信息处理装置10的功能结构的图。
在第2变形例中，第2数据库保存的多个参照摄像信息分别还包含参照进深数据。参照进深数据表示从参照图像数据被摄像到的位置至参照图像数据所包含的目标对象为止的距离。参照进深数据是参照与图像数据相同的视场角的数据。参照进深数据例如也可以是由如立体摄像机那样的高规格的摄像机生成的进深数据。由此，第2数据库能够保存包含精度良好的进深数据的参照摄像信息。
另外，第2变形例的进深推测部34如图12所示将推测出的对象进深数据发送到位置推测部32。
第2变形例的位置推测部32收取对象图像数据以及对象进深数据。位置推测部32基于对象图像数据以及对象进深数据，推测表示对象图像数据被摄像到的摄像位置的对象位置数据以及表示对对象图像数据进行摄像的摄像机的摄像姿势的对象姿势数据。然后，位置推测部32将推测出的对象位置数据以及对象姿势数据发送到登记部36。
在本变形例中，位置推测部32经由第2管理部28从第2数据库获取多个参照摄像信息。然后，位置推测部32通过将对象图像数据以及对象进深数据的组与获取到的多个参照摄像信息分别进行比对，从而推测对象位置数据以及对象姿势数据。例如，位置推测部32找出多个参照摄像信息所包含的多个组的参照图像数据以及参照进深数据中的以最接近对象图像数据以及对象进深数据的组的摄像位置以及摄像姿势摄像到的接近图像数据以及接近进深数据的组。然后，位置推测部32根据对象图像数据以及对象进深数据的组与接近图像数据以及接近进深数据的组之间的位置差以及姿势差和包含接近图像数据以及接近进深数据的组的参照摄像信息所包含的参照位置数据以及参照姿势数据，计算对象位置数据以及对象姿势数据。此外，位置推测部32也可以根据对象图像数据、对象进深数据以及多个参照摄像信息，使用深度神经网络来计算对象位置数据以及对象姿势数据。
这样的第2变形例的位置推测部32通过进一步使用进深数据，能够精度更良好地推测对象位置数据以及对象姿势数据。例如，即使在外观与对象图像数据类似的多个参照图像数据包含于第2数据库的情况下，位置推测部32通过比较对象进深数据和参照进深数据，从而也能够精度更良好地找出接近图像数据和接近进深数据的组。其结果，位置推测部32能够精度更良好地计算对象位置数据以及对象姿势数据。
图13是示出第3变形例的信息处理装置10的功能结构的图。
在第3变形例中，登记部36将包含对象图像数据、对象日期时间数据、对象摄像机参数、对象位置数据、对象姿势数据以及对象进深数据的新的摄像信息登记于第1数据库，并且将新的摄像信息作为获取信息而发送到显示控制部42。另外，第3变形例的登记部36也可以不将新的摄像信息登记于第1数据库，而将新的摄像信息作为获取信息发送到显示控制部42。
在第3变形例中，显示控制部42从第1数据库获取1个或者多个摄像信息，并且从登记部36获取获取信息。显示控制部42关于获取到的1个或者多个摄像信息以及登记信息分别在地图数据上使表示存在图像数据以及进深数据的摄像位置信息显示。
然后，显示控制部42受理获取信息以及多个摄像信息中的任意信息的指定。显示控制部42在获取信息被指定的情况下，使对象图像数据以及对象进深数据中的至少一方与地图数据中的和位置数据对应的像素位置对应地显示。显示控制部42在多个摄像信息中的任意摄像信息被指定的情况下，使图像数据以及进深数据中的至少一方与地图数据中的和位置数据对应的像素位置对应地显示。
这样的第3变形例的信息处理装置10在经由因特网等通信单元获取到对象图像数据的情况下，能够为了判断劣化等状态而使根据获取到的对象图像数据而生成的获取信息与预先登记于第1数据库的多个摄像信息一起显示于显示装置。
图14是示出实施方式的信息处理装置10的硬件结构的一个例子的图。信息处理装置10例如由如图14所示的硬件结构的计算机实现。信息处理装置10具备CPU(CentralProcessing Unit，中央处理单元)301、RAM(Random Access Memory，随机存取存储器)302、ROM(Read Only Memory，只读存储器)303、操作输入装置304、信息显示装置305、存储装置306以及通信装置307。然后，这些各部分利用总线连接。
CPU301是依照程序而执行运算处理以及控制处理等的处理器。CPU301将RAM302的预定区域作为作业区域，通过与存储于ROM303以及存储装置306等的程序的协作来执行各种处理。
RAM302是SDRAM(Synchronous Dynamic Random Access Memory，同步动态随机存取存储器)等存储器。RAM302作为CPU301的作业区域发挥功能。ROM303是无法改写地存储程序以及各种信息的存储器。
操作输入装置304是鼠标以及键盘等输入器件。操作输入装置304作为指示信号而受理从用户操作输入的信息，将指示信号输出到CPU301。
信息显示装置305是LCD(Liquid Crystal Display，液晶显示器)等显示器件，是显示装置的一个例子。信息显示装置305根据来自CPU301的显示信号，显示各种信息。
存储装置306是在基于闪速存储器等半导体的存储介质或者能够磁性地或者光学性地记录的存储介质等中写入以及读出数据的装置。存储装置306根据来自CPU301的控制，在存储介质中进行数据的写入以及读出。通信装置307根据来自CPU301的控制，经由网络而与网络外部的仪器进行通信。
由计算机执行的程序是包括第1管理模块、第2管理模块、获取模块、位置推测模块、进深推测模块、登记模块、显示控制模块、输入模块以及比较模块的模块结构。该程序通过由CPU301(处理器)在RAM302上展开而执行，从而使处理器作为第1管理部24、第2管理部28、获取部30、位置推测部32、进深推测部34、登记部36、显示控制部42、输入部44以及比较部46发挥功能。该程序通过由CPU301(处理器)在RAM302上展开而执行，从而使存储装置306作为第1DB存储部22以及第2DB存储部26发挥功能。此外，第1管理部24、第2管理部28，获取部30，位置推测部32、进深推测部34、登记部36、显示控制部42、输入部44以及比较部46的一部分或者全部也可以由硬件电路实现。
另外，由计算机执行的程序通过能够安装于计算机的形式或者能够执行的形式的文件记录于CD－ROM、软盘、CD－R、DVD(Digital Versatile Disk，数字多功能光盘)等能够由计算机读取的记录介质而提供。
另外，也可以构成为通过将该程序保存于与因特网等网络连接的计算机上并经由网络进行下载而提供。另外，也可以构成为经由因特网等网络提供或者分发该程序。另外，也可以构成为将由信息处理装置10执行的程序预先编入到ROM303等而提供。
说明了本发明的几个实施方式，但这些实施方式是作为例子而提示的，未意图限定发明的范围。这些新的实施方式能够以其它各种各样的方式被实施，能够在不脱离发明的要旨的范围进行各种省略、置换、变更。这些实施方式、其变形包含于发明的范围、要旨，并且包含于权利要求书所记载的发明及其均等的范围。
此外，能够将上述实施方式总结成以下的技术方案。
技术方案1
一种信息处理装置，具备：
第1管理部，管理第1数据库，该第1数据库保存多个摄像信息，该多个摄像信息分别包含图像数据、表示所述图像数据被摄像到的摄像位置的位置数据以及表示从根据所述位置数据表示的摄像位置至目标对象为止的距离的进深数据；
获取部，获取对象图像数据；
位置推测部，根据所述对象图像数据，推测表示所述对象图像数据被摄像到的摄像位置的对象位置数据；
进深推测部，根据所述对象图像数据，推测表示从根据所述对象位置数据表示的摄像位置至目标对象为止的距离的对象进深数据；
登记部，将包含所述对象图像数据、所述对象位置数据以及所述对象进深数据的新的摄像信息登记于所述第1数据库；以及
显示控制部，使表示所述图像数据被摄像到的环境的地图的地图数据显示于显示装置，
所述显示控制部使保存于所述第1数据库的所述多个摄像信息中的所指定的指定摄像信息所包含的所述图像数据以及所述进深数据中的至少一方与所述地图数据中的和所述指定摄像信息所包含的所述位置数据对应的像素位置对应地显示。
技术方案2
根据技术方案1所述的信息处理装置，其中，
保存于所述第1数据库的所述多个摄像信息分别还包含表示对所述图像数据进行摄像的摄像机的摄像姿势的姿势数据，
所述位置推测部进而推测表示对所述对象图像数据进行摄像的摄像机的摄像姿势的对象姿势数据，
所述登记部将还包含所述对象姿势数据的所述新的摄像信息登记于所述第1数据库。
技术方案3
根据技术方案2所述的信息处理装置，其中，
所述信息处理装置还具备第2管理部，该第2管理部管理保存多个参照摄像信息的第2数据库，
所述多个参照摄像信息分别包含参照图像数据、表示所述参照图像数据被摄像到的摄像位置的参照位置数据以及表示对所述参照图像数据进行摄像的摄像机的摄像姿势的参照姿势数据，
所述位置推测部通过将所述对象图像数据与保存于所述第2数据库的所述多个参照摄像信息分别进行比对，从而推测所述对象位置数据以及所述对象姿势数据。
技术方案4
根据技术方案2所述的信息处理装置，其中，
所述信息处理装置还具备第2管理部，该第2管理部管理保存多个参照摄像信息的第2数据库，
所述多个参照摄像信息分别包含参照图像数据、表示所述参照图像数据被摄像到的摄像位置的参照位置数据、表示对所述参照图像数据进行摄像的摄像机的摄像姿势的参照姿势数据以及表示从根据所述参照位置数据表示的摄像位置至目标对象为止的距离的参照进深数据，
所述位置推测部通过将所述对象图像数据以及所述对象进深数据与由所述第2数据库管理的所述多个参照摄像信息分别进行比对，从而推测所述对象位置数据以及所述对象姿势数据。
技术方案5
根据技术方案1至4中的任意一项所述的信息处理装置，其中，
所述进深推测部根据所述对象图像数据的模糊的强度，推测所述对象进深数据。
技术方案6
根据技术方案1至5中的任意一项所述的信息处理装置，其中，
所述信息处理装置还具备输入部，该输入部将由所述第1数据库管理的所述多个摄像信息中的任意的摄像信息作为所述指定摄像信息而受理指定。
技术方案7
根据技术方案1至6中的任意一项所述的信息处理装置，其中，
所述多个摄像信息分别还包含表示所述图像数据被摄像到的日期时间的日期时间数据。
技术方案8
根据技术方案7所述的信息处理装置，其中，
所述显示控制部使保存于所述第1数据库的所述多个摄像信息中的包含所指定的期间的所述日期时间数据的摄像信息所包含的所述图像数据以及所述进深数据中的至少一方与所述地图数据中的和所述位置数据对应的像素位置对应地显示。
技术方案9
根据技术方案7所述的信息处理装置，其中，
所述信息处理装置还具备比较部，该比较部获取保存于所述第1数据库的所述多个摄像信息中的包含在不同的日期时间对相同的目标对象进行摄像而得到的所述图像数据的第1摄像信息以及第2摄像信息，比较所述第1摄像信息所包含的所述图像数据和所述第2摄像信息所包含的所述图像数据，从而生成表示目标对象中的状态发生变化的区域的变化区域信息，
所述显示控制部使所述第1摄像信息或者所述第2摄像信息所包含的所述图像数据显示于所述显示装置，并且使所述变化区域信息与所述图像数据中的目标对象的状态发生变化的区域对应地显示。
技术方案10
根据技术方案9所述的信息处理装置，其中，
所述比较部通过对所述第1摄像信息所包含的所述图像数据以及所述第2摄像信息所包含的所述图像数据中的至少一方进行视点变换处理，从而将所述第1摄像信息所包含的所述图像数据和所述第2摄像信息所包含的所述图像数据变换为以相同的摄像位置以及相同的摄像姿势进行摄像的状态，
通过比较变换为以相同的摄像位置以及相同的摄像姿势摄像的状态的所述第1摄像信息所包含的所述图像数据和所述第2摄像信息所包含的所述图像数据，从而生成所述变化区域信息。
技术方案11
根据技术方案7所述的信息处理装置，其中，
所述信息处理装置还具备比较部，该比较部获取保存于所述第1数据库的所述多个摄像信息中的包含在不同的日期时间对相同的目标对象进行摄像而得到的所述图像数据的第1摄像信息以及第2摄像信息，比较所述第1摄像信息所包含的所述进深数据和所述第2摄像信息所包含的所述进深数据，从而生成表示目标对象中的状态发生变化的区域的变化区域信息，
所述显示控制部使所述第1摄像信息或者所述第2摄像信息所包含的所述图像数据显示于所述显示装置，并且使所述变化区域信息与所述图像数据中的目标对象的状态发生变化的区域对应地显示。
技术方案12
根据技术方案11所述的信息处理装置，其中，
通过对所述第1摄像信息所包含的所述进深数据以及所述第2摄像信息所包含的所述进深数据中的至少一方进行视点变换处理，从而将所述第1摄像信息所包含的所述进深数据和所述第2摄像信息所包含的所述进深数据变换为以相同的摄像位置以及相同的摄像姿势摄像的状态，
通过比较变换为以相同的摄像位置以及相同的摄像姿势摄像的状态的所述第1摄像信息所包含的所述进深数据和所述第2摄像信息所包含的所述进深数据，从而生成所述变化区域信息。
技术方案13
根据技术方案9至12中的任意一项所述的信息处理装置，其中，
所述比较部进而计算目标对象中的状态发生变化的区域的大小。
技术方案14
根据技术方案9至13中的任意一项所述的信息处理装置，其中，
所述信息处理装置还具备辨识部，该辨识部辨识目标对象中的状态发生变化的区域中的状态的内容，
所述显示控制部使状态的内容的辨识结果与所述图像数据中的目标对象的状态发生变化的区域对应地显示。
技术方案15
一种信息处理装置，具备：
获取部，获取对象图像数据；
位置推测部，根据所述对象图像数据，推测表示所述对象图像数据被摄像到的摄像位置的对象位置数据；
进深推测部，根据所述对象图像数据，推测表示从根据所述对象位置数据表示的摄像位置至目标对象为止的距离的对象进深数据；以及
显示控制部，使表示所述对象图像数据被摄像到的环境的地图的地图数据显示于显示装置，
所述显示控制部接受获取信息以及预先生成的多个摄像信息中的任意信息的指定，
所述获取信息包含所述对象图像数据、所述对象位置数据以及所述对象进深数据，
所述多个摄像信息分别包含图像数据、表示所述图像数据被摄像到的摄像位置的位置数据以及表示从根据所述位置数据表示的摄像位置至目标对象为止的距离的进深数据，
所述显示控制部在所述获取信息被指定的情况下，使所述对象图像数据以及所述对象进深数据中的至少一方与所述地图数据中的和所述位置数据对应的像素位置对应地显示，
在所述多个摄像信息中的任意摄像信息被指定的情况下，使所述图像数据以及所述进深数据中的至少一方与所述地图数据中的和所述位置数据对应的像素位置对应地显示。
技术方案16
一种信息处理方法，是由信息处理装置执行的信息处理方法，在所述信息处理方法中，
管理第1数据库，该第1数据库保存多个摄像信息，该多个摄像信息分别包含图像数据、表示所述图像数据被摄像到的摄像位置的位置数据以及表示从根据所述位置数据表示的摄像位置至目标对象为止的距离的进深数据，
获取对象图像数据，
根据所述对象图像数据，推测表示所述对象图像数据被摄像到的摄像位置的对象位置数据，
根据所述对象图像数据，推测表示从根据所述对象位置数据表示的摄像位置至目标对象为止的距离的对象进深数据，
将包含所述对象图像数据、所述对象位置数据以及所述对象进深数据的新的摄像信息登记于所述第1数据库，
使表示所述图像数据被摄像到的环境的地图的地图数据显示于显示装置，
使保存于所述第1数据库的所述多个摄像信息中的所指定的指定摄像信息所包含的所述图像数据以及所述进深数据中的至少一方与所述地图数据中的和所述指定摄像信息所包含的所述位置数据对应的像素位置对应地显示。
技术方案17
一种程序，是由计算机执行的程序，所述程序使所述计算机作为如下功能部发挥功能：
第1管理部，管理第1数据库，该第1数据库保存多个摄像信息，该多个摄像信息分别包含图像数据、表示所述图像数据被摄像到的摄像位置的位置数据以及表示从根据所述位置数据表示的摄像位置至目标对象为止的距离的进深数据；
获取部，获取对象图像数据；
位置推测部，根据所述对象图像数据，推测表示所述对象图像数据被摄像到的摄像位置的对象位置数据；
进深推测部，根据所述对象图像数据，推测表示从根据所述对象位置数据表示的摄像位置至目标对象为止的距离的对象进深数据；
登记部，将包含所述对象图像数据、所述对象位置数据以及所述对象进深数据的新的摄像信息登记于所述第1数据库；以及
显示控制部，使表示所述图像数据被摄像到的环境的地图的地图数据显示于显示装置，
所述显示控制部使保存于所述第1数据库的所述多个摄像信息中的所指定的指定摄像信息所包含的所述图像数据以及所述进深数据中的至少一方与所述地图数据中的和所述指定摄像信息所包含的所述位置数据对应的像素位置对应地显示。

Claims (10)

1.一种信息处理装置，具备：
第1管理部，管理第1数据库，该第1数据库保存多个摄像信息，该多个摄像信息分别包含图像数据、表示所述图像数据被摄像到的摄像位置的位置数据以及表示从根据所述位置数据表示的摄像位置至目标对象为止的距离的进深数据；
获取部，获取对象图像数据；
位置推测部，根据所述对象图像数据，推测表示所述对象图像数据被摄像到的摄像位置的对象位置数据；
进深推测部，根据所述对象图像数据，推测表示从根据所述对象位置数据表示的摄像位置至目标对象为止的距离的对象进深数据；
登记部，将包含所述对象图像数据、所述对象位置数据以及所述对象进深数据的新的摄像信息登记于所述第1数据库；以及
显示控制部，使表示所述图像数据被摄像到的环境的地图的地图数据显示于显示装置，
所述显示控制部使保存于所述第1数据库的所述多个摄像信息中的所指定的指定摄像信息所包含的所述图像数据以及所述进深数据中的至少一方与所述地图数据中的和所述指定摄像信息所包含的所述位置数据对应的像素位置对应地显示。
2.根据权利要求1所述的信息处理装置，其中，
保存于所述第1数据库的所述多个摄像信息分别还包含表示对所述图像数据进行摄像的摄像机的摄像姿势的姿势数据，
所述位置推测部进而推测表示对所述对象图像数据进行摄像的摄像机的摄像姿势的对象姿势数据，
所述登记部将还包含所述对象姿势数据的所述新的摄像信息登记于所述第1数据库。
3.根据权利要求2所述的信息处理装置，其中，
所述信息处理装置还具备第2管理部，该第2管理部管理保存多个参照摄像信息的第2数据库，
所述多个参照摄像信息分别包含参照图像数据、表示所述参照图像数据被摄像到的摄像位置的参照位置数据以及表示对所述参照图像数据进行摄像的摄像机的摄像姿势的参照姿势数据，
所述位置推测部通过将所述对象图像数据与保存于所述第2数据库的所述多个参照摄像信息分别进行比对，从而推测所述对象位置数据以及所述对象姿势数据。
4.根据权利要求2所述的信息处理装置，其中，
所述信息处理装置还具备第2管理部，该第2管理部管理保存多个参照摄像信息的第2数据库，
所述多个参照摄像信息分别包含参照图像数据、表示所述参照图像数据被摄像到的摄像位置的参照位置数据、表示对所述参照图像数据进行摄像的摄像机的摄像姿势的参照姿势数据以及表示从根据所述参照位置数据表示的摄像位置至目标对象为止的距离的参照进深数据，
所述位置推测部通过将所述对象图像数据以及所述对象进深数据与由所述第2数据库管理的所述多个参照摄像信息分别进行比对，从而推测所述对象位置数据以及所述对象姿势数据。
5.根据权利要求1至4中的任意一项所述的信息处理装置，其中，
所述多个摄像信息分别还包含表示所述图像数据被摄像到的日期时间的日期时间数据。
6.根据权利要求5所述的信息处理装置，其中，
所述信息处理装置还具备比较部，该比较部获取保存于所述第1数据库的所述多个摄像信息中的包含在不同的日期时间对相同的目标对象进行摄像而得到的所述图像数据的第1摄像信息以及第2摄像信息，比较所述第1摄像信息所包含的所述图像数据和所述第2摄像信息所包含的所述图像数据，从而生成表示目标对象中的状态发生变化的区域的变化区域信息，
所述显示控制部使所述第1摄像信息或者所述第2摄像信息所包含的所述图像数据显示于所述显示装置，并且使所述变化区域信息与所述图像数据中的目标对象的状态发生变化的区域对应地显示。
7.根据权利要求6所述的信息处理装置，其中，
所述比较部通过对所述第1摄像信息所包含的所述图像数据以及所述第2摄像信息所包含的所述图像数据中的至少一方进行视点变换处理，从而将所述第1摄像信息所包含的所述图像数据和所述第2摄像信息所包含的所述图像数据变换为以相同的摄像位置以及相同的摄像姿势进行摄像的状态，
通过比较变换为以相同的摄像位置以及相同的摄像姿势摄像的状态的所述第1摄像信息所包含的所述图像数据和所述第2摄像信息所包含的所述图像数据，从而生成所述变化区域信息。
8.一种信息处理装置，具备：
获取部，获取对象图像数据；
位置推测部，根据所述对象图像数据，推测表示所述对象图像数据被摄像到的摄像位置的对象位置数据；
进深推测部，根据所述对象图像数据，推测表示从根据所述对象位置数据表示的摄像位置至目标对象为止的距离的对象进深数据；以及
显示控制部，使表示所述对象图像数据被摄像到的环境的地图的地图数据显示于显示装置，
所述显示控制部接受获取信息以及预先生成的多个摄像信息中的任意信息的指定，
所述获取信息包含所述对象图像数据、所述对象位置数据以及所述对象进深数据，
所述多个摄像信息分别包含图像数据、表示所述图像数据被摄像到的摄像位置的位置数据以及表示从根据所述位置数据表示的摄像位置至目标对象为止的距离的进深数据，
所述显示控制部在所述获取信息被指定的情况下，使所述对象图像数据以及所述对象进深数据中的至少一方与所述地图数据中的和所述位置数据对应的像素位置对应地显示，
在所述多个摄像信息中的任意摄像信息被指定的情况下，使所述图像数据以及所述进深数据中的至少一方与所述地图数据中的和所述位置数据对应的像素位置对应地显示。
9.一种信息处理方法，是由信息处理装置执行的信息处理方法，在所述信息处理方法中，
管理第1数据库，该第1数据库保存多个摄像信息，该多个摄像信息分别包含图像数据、表示所述图像数据被摄像到的摄像位置的位置数据以及表示从根据所述位置数据表示的摄像位置至目标对象为止的距离的进深数据，
获取对象图像数据，
根据所述对象图像数据，推测表示所述对象图像数据被摄像到的摄像位置的对象位置数据，
根据所述对象图像数据，推测表示从根据所述对象位置数据表示的摄像位置至目标对象为止的距离的对象进深数据，
将包含所述对象图像数据、所述对象位置数据以及所述对象进深数据的新的摄像信息登记于所述第1数据库，
使表示所述图像数据被摄像到的环境的地图的地图数据显示于显示装置，
使保存于所述第1数据库的所述多个摄像信息中的所指定的指定摄像信息所包含的所述图像数据以及所述进深数据中的至少一方与所述地图数据中的和所述指定摄像信息所包含的所述位置数据对应的像素位置对应地显示。
10.一种程序，是由计算机执行的程序，所述程序使所述计算机作为如下功能部发挥功能：
第1管理部，管理第1数据库，该第1数据库保存多个摄像信息，该多个摄像信息分别包含图像数据、表示所述图像数据被摄像到的摄像位置的位置数据以及表示从根据所述位置数据表示的摄像位置至目标对象为止的距离的进深数据；
获取部，获取对象图像数据；
位置推测部，根据所述对象图像数据，推测表示所述对象图像数据被摄像到的摄像位置的对象位置数据；
进深推测部，根据所述对象图像数据，推测表示从根据所述对象位置数据表示的摄像位置至目标对象为止的距离的对象进深数据；
登记部，将包含所述对象图像数据、所述对象位置数据以及所述对象进深数据的新的摄像信息登记于所述第1数据库；以及
显示控制部，使表示所述图像数据被摄像到的环境的地图的地图数据显示于显示装置，
所述显示控制部使保存于所述第1数据库的所述多个摄像信息中的所指定的指定摄像信息所包含的所述图像数据以及所述进深数据中的至少一方与所述地图数据中的和所述指定摄像信息所包含的所述位置数据对应的像素位置对应地显示。
CN202110985737.3A 2021-01-04 2021-08-26 信息处理装置、信息处理方法以及程序 Pending CN114726978A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021000253A JP7427615B2 (ja) 2021-01-04 2021-01-04 情報処理装置、情報処理方法およびプログラム
JP2021-000253 2021-01-04

Publications (1)

Publication Number Publication Date
CN114726978A true CN114726978A (zh) 2022-07-08

Family

ID=82219757

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110985737.3A Pending CN114726978A (zh) 2021-01-04 2021-08-26 信息处理装置、信息处理方法以及程序

Country Status (3)

Country Link
US (1) US20220215576A1 (zh)
JP (1) JP7427615B2 (zh)
CN (1) CN114726978A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019205069A1 (en) * 2018-04-27 2019-10-31 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for updating 3d model of building
US20230267691A1 (en) * 2022-02-22 2023-08-24 Snap Inc. Scene change detection with novel view synthesis

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008044605A1 (fr) 2006-10-04 2008-04-17 Nikon Corporation Appareil électronique et caméra électronique associée
JP2011244058A (ja) 2010-05-14 2011-12-01 Sony Corp 情報処理装置、情報処理システム、及びプログラム
US8878773B1 (en) * 2010-05-24 2014-11-04 Amazon Technologies, Inc. Determining relative motion as input
US10678259B1 (en) * 2012-09-13 2020-06-09 Waymo Llc Use of a reference image to detect a road obstacle
US9619691B2 (en) * 2014-03-07 2017-04-11 University Of Southern California Multi-view 3D object recognition from a point cloud and change detection
KR101930657B1 (ko) * 2014-10-24 2018-12-18 유센스, 인코퍼레이티드 몰입식 및 대화식 멀티미디어 생성을 위한 시스템 및 방법
US10419657B2 (en) * 2014-10-26 2019-09-17 Galileo Group, Inc. Swarm approach to consolidating and enhancing smartphone target imagery by virtually linking smartphone camera collectors across space and time using machine-to machine networks
US9877012B2 (en) * 2015-04-01 2018-01-23 Canon Kabushiki Kaisha Image processing apparatus for estimating three-dimensional position of object and method therefor
US20180143024A1 (en) * 2016-11-22 2018-05-24 Microsoft Technology Licensing, Llc Automated generation of indoor map data
US10368062B2 (en) * 2017-04-13 2019-07-30 Facebook, Inc. Panoramic camera systems
US11348269B1 (en) * 2017-07-27 2022-05-31 AI Incorporated Method and apparatus for combining data to construct a floor plan
US11274929B1 (en) * 2017-10-17 2022-03-15 AI Incorporated Method for constructing a map while performing work
US10026218B1 (en) * 2017-11-01 2018-07-17 Pencil and Pixel, Inc. Modeling indoor scenes based on digital images
US10948297B2 (en) * 2018-07-09 2021-03-16 Samsung Electronics Co., Ltd. Simultaneous location and mapping (SLAM) using dual event cameras
US10809066B2 (en) 2018-10-11 2020-10-20 Zillow Group, Inc. Automated mapping information generation from inter-connected images
US11354728B2 (en) * 2019-03-24 2022-06-07 We.R Augmented Reality Cloud Ltd. System, device, and method of augmented reality based mapping of a venue and navigation within a venue

Also Published As

Publication number Publication date
US20220215576A1 (en) 2022-07-07
JP2022105442A (ja) 2022-07-14
JP7427615B2 (ja) 2024-02-05

Similar Documents

Publication Publication Date Title
US10825198B2 (en) 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images
TWI574223B (zh) 運用擴增實境技術之導航系統
JP6692320B2 (ja) 設備状態検出装置およびプログラム
JP2018163654A (ja) 電気通信インベントリ管理のためのシステムおよび方法
WO2016199605A1 (ja) 画像処理装置および方法、並びにプログラム
KR20200105380A (ko) 굴착기의 버킷의 포즈 결정 방법 및 장치
CN111192331A (zh) 一种激光雷达和相机的外参标定方法及装置
US10311593B2 (en) Object instance identification using three-dimensional spatial configuration
JP2017118396A (ja) デプスカメラの内部パラメータを算出するプログラム、装置及び方法
JPWO2013111229A1 (ja) カメラ校正装置、カメラ校正方法およびカメラ校正用プログラム
US10657658B2 (en) Transformation matrix deriving device, position estimation apparatus, transformation matrix deriving method, and position estimation method
WO2015068470A1 (ja) ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム
CN114726978A (zh) 信息处理装置、信息处理方法以及程序
US20160292888A1 (en) Image measurement device, and recording medium
US11989827B2 (en) Method, apparatus and system for generating a three-dimensional model of a scene
US20210097760A1 (en) System and method for collecting geospatial object data with mediated reality
US12002237B2 (en) Position coordinate derivation device, position coordinate derivation method, position coordinate derivation program, and system
US11941749B2 (en) Image display method, display control device, and recording medium for displaying shape image of subject and coordinates estimated from two-dimensional coordinates in reference image projected thereon
CN113610702B (zh) 一种建图方法、装置、电子设备及存储介质
US20220076399A1 (en) Photographing guide device
JP2006317418A (ja) 画像計測装置、画像計測方法、計測処理プログラム及び記録媒体
JP2013109624A (ja) 画像処理装置、画像処理方法
WO2021111613A1 (ja) ３次元地図作成装置、３次元地図作成方法、及び３次元地図作成プログラム
JP6546898B2 (ja) ３次元空間特定装置、方法、及びプログラム
JP7443303B2 (ja) 計測装置、計測方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination