CN109643489A - 三维信息处理方法以及三维信息处理装置 - Google Patents

三维信息处理方法以及三维信息处理装置 Download PDF

Info

Publication number
CN109643489A
CN109643489A CN201780051543.8A CN201780051543A CN109643489A CN 109643489 A CN109643489 A CN 109643489A CN 201780051543 A CN201780051543 A CN 201780051543A CN 109643489 A CN109643489 A CN 109643489A
Authority
CN
China
Prior art keywords
dimensional
data
information
dimensional data
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780051543.8A
Other languages
English (en)
Other versions
CN109643489B (zh
Inventor
远间正真
西孝启
杉尾敏康
松延徹
吉川哲史
小山达也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to CN202210453296.7A priority Critical patent/CN114627664A/zh
Publication of CN109643489A publication Critical patent/CN109643489A/zh
Application granted granted Critical
Publication of CN109643489B publication Critical patent/CN109643489B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/182—Selecting between different operative modes, e.g. comfort and performance modes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3655—Timing of guidance instructions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G01C21/367—Details, e.g. road map scale, orientation, zooming, illumination, level of detail, scrolling of road map or positioning of current position marker
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3844—Data obtained from position sensors only, e.g. from inertial navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data
    • G01C21/3867—Geometry of map features, e.g. shape points, polygons or for simplified maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/51—Display arrangements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G05D1/0236—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Processing (AREA)

Abstract

三维信息处理方法包括：获得步骤(S701)，通过通信路径获得包括第1三维位置信息的地图数据；生成步骤(S702)，根据由传感器检测的信息，生成第2三维位置信息；判断步骤(S703)，通过对第1三维位置信息或第2三维位置信息执行异常判断处理，从而对第1三维位置信息或第2三维位置信息是否为异常进行判断；决定步骤(S705)，在判断第1三维位置信息或第2三维位置信息为异常的情况下(S704的“是”)，决定针对该异常的应对工作；以及工作控制步骤(S706)，执行应对工作的实施时所需要的控制。

Description

三维信息处理方法以及三维信息处理装置
技术领域
本申请涉及三维信息处理方法以及三维信息处理装置。
背景技术
在用于汽车或机器人自主地进行工作的计算机视觉、地图信息、监视、基础结构检查、或影像分发等较大的领域中，今后将会普及灵活运用了三维数据的装置或服务。三维数据通过测距仪等距离传感器、立体摄影机、或多个单眼相机的组合等各种方法来获得。
作为三维数据的一个表现方法有被称作点云数据的表现方法，该方法通过三维空间内的点群来表现三维结构的形状(例如，参照非专利文献1)。在点云数据中存放了点群的位置以及颜色。虽然预想点云数据作为三维数据的表现方法将成为主流，但是，点群的数据量非常大。因此，在三维数据的蓄积或传输中与二维的动态图像(作为一个例子，有以MPEG而被标准化后的MPEG-4AVC或HEVC等)一样，需要通过编码来进行数据量的压缩。
并且，关于点云数据的压缩，有一部分由进行点云数据关联的处理的公开的程序库(Point Cloud Library：点云库)等支持。
(现有技术文献)
(非专利文献)
非专利文献1“Octree-Based Progressive Geometry Coding of PointClouds”，Eurographics Symposium on Point-Based Graphics(2006)
在对这种三维信息进行处理的三维信息处理方法或三维信息处理装置中，希望即使在三维位置信息发生了异常的情况下，也能够进行恰当的对应。
发明内容
本申请的目的在于，提供一种即使在三维位置信息发生了异常的情况下，也能够进行恰当的对应的三维信息处理方法或三维信息处理装置。
本申请的一个形态所涉及的三维信息处理方法包括：获得步骤，通过通信路径获得包括第1三维位置信息的地图数据；生成步骤，根据由传感器检测的信息，生成第2三维位置信息；判断步骤，通过对所述第1三维位置信息或所述第2三维位置信息执行异常判断处理，从而对所述第1三维位置信息或所述第2三维位置信息是否为异常进行判断；决定步骤，在判断所述第1三维位置信息或所述第2三维位置信息为异常的情况下，决定针对该异常的应对工作；以及工作控制步骤，执行所述应对工作的实施时所需要的控制。
另外，这些所有的或具体的形态可以作为系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现，并且可以通过对系统、方法、集成电路、计算机程序以及记录介质进行组合来实现。
本申请能够提供一种即使在三维位置信息发生了异常的情况下，也能够恰当地进行对应的三维信息处理方法或三维信息处理装置。
附图说明
图1示出了实施方式1所涉及的编码三维数据的构成。
图2示出了属于实施方式1所涉及的GOS的最下层的SPC间的预测结构的一个例子。
图3示出了实施方式1所涉及的层间的预测结构的一个例子。
图4示出了实施方式1所涉及的GOS的编码顺序的一个例子。
图5示出了实施方式1所涉及的GOS的编码顺序的一个例子。
图6是实施方式1所涉及的三维数据编码装置的方框图。
图7是实施方式1所涉及的编码处理的流程图。
图8是实施方式1所涉及的三维数据解码装置的方框图。
图9是实施方式1所涉及的解码处理的流程图。
图10示出了实施方式1所涉及的元信息的一个例子。
图11示出了实施方式2所涉及的SWLD的构成例。
图12示出了实施方式2所涉及的服务器以及客户端的工作例。
图13示出了实施方式2所涉及的服务器以及客户端的工作例。
图14示出了实施方式2所涉及的服务器以及客户端的工作例。
图15示出了实施方式2所涉及的服务器以及客户端的工作例。
图16是实施方式2所涉及的三维数据编码装置的方框图。
图17是实施方式2所涉及的编码处理的流程图。
图18是实施方式2所涉及的三维数据解码装置的方框图。
图19是实施方式2所涉及的解码处理的流程图。
图20示出了实施方式2所涉及的WLD的构成例。
图21示出了实施方式2所涉及的WLD的八叉树结构的例子。
图22示出了实施方式2所涉及的SWLD的构成例。
图23示出了实施方式2所涉及的SWLD的八叉树结构的例子。
图24是示出实施方式3所涉及的车辆间的三维数据的收发的状态的模式图。
图25示出了在实施方式3所涉及的车辆间被传输的三维数据的一个例子。
图26是实施方式3所涉及的三维数据制作装置的方框图。
图27是实施方式3所涉及的三维数据制作处理的流程图。
图28是实施方式3所涉及的三维数据发送装置的方框图。
图29是实施方式3所涉及的三维数据发送处理的流程图。
图30是实施方式3所涉及的三维数据制作装置的方框图。
图31是实施方式3所涉及的三维数据制作处理的流程图。
图32是实施方式3所涉及的三维数据发送装置的方框图。
图33是实施方式3所涉及的三维数据发送处理的流程图。
图34是实施方式4所涉及的三维信息处理装置的方框图。
图35是实施方式4所涉及的三维信息处理方法的流程图。
图36是实施方式4所涉及的三维信息处理方法的流程图。
图37示出了映像信息处理系统的构成。
图38示出了相机启动时被显示的通知画面的一个例子。
图39是实现内容分发服务的内容提供系统的全体构成图。
图40是数字广播用系统的全体构成图。
图41示出了智能电话的一个例子。
图42是示出智能电话的构成例的方框图。
具体实施方式
当在实际的装置或服务中使用点云数据等编码数据时，需要针对所希望的空间位置或目标对象等进行随机存取，但是到目前为止，三维的编码数据中的随机存取作为功能并不存在，因此，为此的编码方法也不存在。
在本申请中，对能够提供一种在编码三维数据中能够提供随机存取功能的三维数据编码方法、三维数据解码方法、三维数据编码装置或三维数据解码装置。
本申请的一个形态所涉及的三维数据编码方法对三维数据进行编码，所述三维数据编码方法包括：划分步骤，将所述三维数据划分为分别与三维坐标对应的第一处理单位，该第一处理单位是随机存取单位；以及编码步骤，通过对多个所述第一处理单位的每一个进行编码，来生成编码数据。
据此，以每个第一处理单位的随机存取成为可能。这样，该三维数据编码方法能够提供在编码三维数据中的随机存取功能。
例如，也可以是，所述三维数据编码方法包括生成步骤，在该生成步骤中生成第一信息，该第一信息示出多个所述第一处理单位、以及与多个所述第一处理单位的每一个对应的三维坐标，所述编码数据包括所述第一信息。
例如，也可以是，所述第一信息进一步示出与所述多个第一处理单位的每一个对应的对象、时刻以及数据存放目的地中的至少一个。
例如，也可以是，在所述划分步骤，进一步将所述第一处理单位划分为多个第二处理单位，在所述编码步骤，对多个所述第二处理单位的每一个进行编码。
例如，也可以是，在所述编码步骤，针对处理对象的第一处理单位中包含的处理对象的第二处理单位，参照所述处理对象的第一处理单位中包含的其他的第二处理单位来进行编码。
据此，通过参照其他的第二处理单位，从而能够提高编码效率。
例如，也可以是，在所述编码步骤中，作为所述处理对象的第二处理单位的类型，从不参照其他的第二处理单位的第一类型、参照其他的一个第二处理单位的第二类型、以及参照其他的两个第二处理单位的第三类型中选择一个，并按照选择的类型，对所述处理对象的第二处理单位进行编码。
例如，也可以是，在所述编码步骤中，按照所述三维数据中包含的对象的数量或疏密程度，变更对所述第一类型进行选择的频度。
据此，能够对折衷的关系中的随机存取性与编码效率进行恰当地设定。
例如，也可以是，在所述编码步骤中，按照所述三维数据中包含的对象的数量或疏密程度、或者动态对象的数量或疏密程度，决定所述第一处理单位的大小。
据此，能够对折衷的关系中的随机存取性与编码效率进行恰当地设定。
例如，也可以是，所述第一处理单位包括在预先规定的方向上被空间划分的多个层，该多个层的每一层中包括一个以上的所述第二处理单位，在所述编码步骤，参照与该第二处理单位为同一层或比该第二处理单位下层的层中包括的所述第二处理单位，来对所述第二处理单位进行编码。
据此，例如能够提高在系统中的重要的层的随机存取性，并且能够抑制编码效率的降低。
例如，也可以是，在所述划分步骤，将仅包括静态对象的第二处理单位与仅包括动态对象的第二处理单位，分配到不同的第一处理单位。
据此，能够容易地对动态对象与静态对象进行控制。
例如，也可以是，在所述编码步骤中，对多个动态对象分别进行编码，所述多个动态对象的编码数据与仅包括静态对象的第二处理单位对应。
据此，能够容易地对动态对象与静态对象进行控制。
例如，也可以是，在所述划分步骤，进一步将所述第二处理单位划分为多个第三处理单位，在所述编码步骤，对多个所述第三处理单位的每一个进行编码。
例如，也可以是，所述第三处理单位包括一个以上的体素，该体素是与位置信息对应的最小单位。
例如，也可以是，所述第二处理单位包括根据由传感器得到的信息而导出的特征点群。
例如，也可以是，所述编码数据包括示出多个所述第一处理单位的编码顺序的信息。
例如，也可以是，所述编码数据包括示出多个所述第一处理单位的大小的信息。
例如，也可以是，在所述编码步骤，对多个所述第一处理单位进行并行编码。
并且，本申请的一个形态所涉及的三维数据解码方法包括解码步骤，在该解码步骤中通过对分别与三维坐标对应的第一处理单位的编码数据的每一个进行解码，从而生成所述第一处理单位的三维数据，所述第一处理单位是随机存取单位。
据此，每个第一处理单位的随机存取则成为可能。这样，该三维数据解码方法能够提供在编码三维数据中的随机存取功能。
并且，也可以是，本申请的一个形态所涉及的三维数据编码装置包括：划分部，将所述三维数据划分为分别与三维坐标对应的第一处理单位，该第一处理单位是随机存取单位；以及编码部，通过对多个所述第一处理单位的每一个进行编码，来生成编码数据。
据此，按每个第一处理单位的随机存取成为可能。这样，该三维数据编码装置能够提供在编码三维数据中的随机存取功能。
并且，也可以是，本申请的一个形态所涉及的三维数据解码装置对三维数据进行解码，所述三维数据解码装置包括解码部，该解码部通过对分别与三维坐标对应的第一处理单位的编码数据的每一个进行解码，来生成所述第一处理单位的三维数据，所述第一处理单位是随机存取单位。
据此，按每个第一处理单位的随机存取成为可能。这样，该三维数据解码装置能够提供在编码三维数据的随机存取功能。
另外，本申请通过对空间进行划分并编码的构成，能够使空间的量化、预测等成为可能，即使在不进行随机存取的情况下也有效。
并且，本申请的一个形态所涉及的三维数据编码方法包括：提取步骤，从第1三维数据提取特征量为阈值以上的第2三维数据；以及第1编码步骤，通过对所述第2三维数据进行编码，来生成第1编码三维数据。
据此，该三维数据编码方法生成对特征量为阈值以上的数据进行编码而得到的第1编码三维数据。这样，与直接对第1三维数据进行编码的情况相比，能够减少编码三维数据的数据量。因此，该三维数据编码方法能够减少传输时的数据量。
例如，也可以是，所述三维数据编码方法进一步包括第2编码步骤，在该第2编码步骤，通过对所述第1三维数据进行编码，来生成第2编码三维数据。
据此，该三维数据编码方法例如能够按照使用用途等，对第1编码三维数据与第2编码三维数据进行有选择地传输。
例如，也可以是，所述第2三维数据由第1编码方法编码，所述第1三维数据由与所述第1编码方法不同的第2编码方法编码。
据此，该三维数据编码方法能够针对第1三维数据与第2三维数据分别采用恰当的编码方法。
例如，也可以是，在所述第1编码方法，与所述第2编码方法相比，帧内预测以及帧间预测中的帧间预测被优先。
据此，该三维数据编码方法针对邻接的数据间的相关容易变低的第2三维数据，能够提高帧间预测的优先级。
例如，也可以是，在所述第1编码方法与所述第2编码方法，三维位置的表现手法不同。
据此，该三维数据编码方法针对数据数不同的三维数据，能够采用更恰当的三维位置的表现手法。
例如，也可以是，所述第1编码三维数据以及所述第2编码三维数据的至少一方包含标识符，该标识别符示出该编码三维数据是通过对所述第1三维数据进行编码而得到的编码三维数据、还是通过对所述第1三维数据中的一部分进行编码而得到的编码三维数据。
据此，解码装置能够容易地判断获得的编码三维数据是第1编码三维数据还是第2编码三维数据。
例如，也可以是，在所述第1编码步骤，以所述第1编码三维数据的数据量成为比所述第2编码三维数据的数据量小的方式，来对所述第2三维数据进行编码。
据此，该三维数据编码方法能够使第1编码三维数据的数据量比第2编码三维数据的数据量小。
例如，也可以是，在所述提取步骤进一步从所述第1三维数据，将与具有预先规定的属性的物体相对应的数据作为所述第2三维数据来提取。
据此，该三维数据编码方法能够生成包括解码装置所需要的数据的第1编码三维数据。
例如，也可以是，所述三维数据编码方法进一步包括发送步骤，在该发送步骤中，按照客户端的状态，将所述第1编码三维数据以及所述第2编码三维数据的一方发送到所述客户端。
据此，该三维数据编码方法能够按照客户端的状态来发送恰当的数据。
例如，也可以是，所述客户端的状态包括所述客户端的通信状况或所述客户端的移动速度。
例如，也可以是，所述三维数据编码方法进一步包括发送步骤，在该发送步骤中，按照客户端的请求，将所述第1编码三维数据以及所述第2编码三维数据的一方发送到所述客户端。
据此，该三维数据编码方法能够按照客户端的请求来发送恰当的数据。
并且，本申请的一个形态所涉及的三维数据解码方法包括：第1解码步骤，以第1解码方法，对第1编码三维数据进行解码，该第1编码三维数据是通过对从第1三维数据提取的特征量为阈值以上的第2三维数据进行编码而得到的；以及第2解码步骤，以与所述第1解码方法不同的第2解码方法，对通过编码所述第1三维数据而得到的第2编码三维数据进行解码。
据此，该三维数据解码方法能够针对特征量为阈值以上的数据被编码而得到的第1编码三维数据、以及第2编码三维数据，例如按照使用用途等来有选择地接收。据此，该三维数据解码方法能够减少传输时的数据量。而且，该三维数据解码方法能够针对第1三维数据与第2三维数据分别采用恰当的解码方法。
例如，也可以是，在所述第1解码方法，与所述第2解码方法相比，帧内预测以及帧间预测之中的帧间预测被优先。
据此，该三维数据解码方法针对邻接的数据间的相关容易变低的第2三维数据，能够提高帧间预测的优先级。
例如，也可以是，在所述第1解码方法与所述第2解码方法中，三维位置的表现手法不同。
据此，该三维数据解码方法针对数据数不同的三维数据，能够采用更恰当的三维位置的表现手法。
例如，也可以是，所述第1编码三维数据以及所述第2编码三维数据的至少一方包括标识符，该标识符示出该编码三维数据是通过对所述第1三维数据进行编码而得到的编码三维数据、还是对所述第1三维数据中的一部分进行编码而得到的编码三维数据，参照所述标识符，对所述第1编码三维数据以及所述第2编码三维数据进行识别。
据此，该三维数据解码方法能够容易地判断获得的编码三维数据是第1编码三维数据还是第2编码三维数据。
例如，也可以是，所述三维数据解码方法进一步包括：通知步骤，将客户端的状态通知给服务器；接收步骤，按照所述客户端的状态，接收从所述服务器发送的所述第1编码三维数据以及所述第2编码三维数据的一方。
据此，该三维数据解码方法能够按照客户端的状态，来接收恰当的数据。
例如，也可以是，所述客户端的状态包括所述客户端的通信状况或所述客户端的移动速度。
例如，也可以是，所述三维数据解码方法进一步包括：请求步骤，向服务器请求所述第1编码三维数据以及所述第2编码三维数据的一方；以及接收步骤，按照所述请求，接收从所述服务器发送的所述第1编码三维数据以及所述第2编码三维数据的一方。
据此，该三维数据解码方法能够接收与用途对应的恰当的数据。
并且，本申请的一个形态所涉及的三维数据编码装置具备：提取部，从第1三维数据提取特征量为阈值以上的第2三维数据；以及第1编码部，通过对所述第2三维数据进行编码，来生成第1编码三维数据。
据此，该三维数据编码装置生成对特征量为阈值以上的数据进行编码而得到的第1编码三维数据。据此，与直接对第1三维数据进行编码的情况相比，能够减少数据量。因此，该三维数据编码装置能够减少传输时的数据量。
并且，本申请的一个形态所涉及的三维数据解码装置具备：第1解码部，利用第1解码方法对第1编码三维数据进行解码，该第1编码三维数据是通过对从第1三维数据提取的特征量为阈值以上的第2三维数据进行编码而得到的；以及第2解码部，利用与所述第1解码方法不同的第2解码方法，对通过编码所述第1三维数据而得到的第2编码三维数据进行解码。
据此，该三维数据解码装置针对特征量为阈值以上的数据被编码而得到的第1编码三维数据、以及第2编码三维数据，例如能够按照使用用途等来有选择的接收。据此，该三维数据解码装置能够减少传输时的数据量。而且，该三维数据解码装置能够针对第1三维数据与第2三维数据分别采用恰当的解码方法。
并且，本申请的一个形态所涉及的三维数据制作方法包括：制作步骤，根据由传感器检测的信息，制作第1三维数据；接收步骤，接收通过第2三维数据被编码而得到的编码三维数据；解码步骤，通过对接收的所述编码三维数据进行解码，从而获得所述第2三维数据；以及合成步骤，通过对所述第1三维数据与所述第2三维数据进行合成，从而制作第3三维数据。
据此，该三维数据制作方法能够利用制作的第1三维数据、接收的第2三维数据，制作详细的第3三维数据。
例如，也可以是，在所述合成步骤通过对所述第1三维数据与所述第2三维数据进行合成，来制作密度比所述第1三维数据以及所述第2三维数据高的第3三维数据。
例如，也可以是，所述第2三维数据通过从第4三维数据提取特征量为阈值以上的数据，而生成的三维数据。
据此，该三维数据制作方法能够减少被传输的三维数据的数据量。
例如，也可以是，所述三维数据制作方法进一步包括搜索步骤，在该搜索步骤作为所述编码三维数据的发送源的发送装置，在所述接收步骤，从搜索到的所述发送装置接收所述编码三维数据。
据此，该三维数据制作方法例如能够通过搜索，来确定持有所需要的三维数据的发送装置。
例如，也可以是，所述三维数据制作方法进一步包括：决定步骤，决定请求范围，该请求范围是请求三维数据的三维空间的范围；以及发送步骤，将示出所述请求范围的信息，发送到所述发送装置，所述第2三维数据包括所述请求范围的三维数据。
据此，该三维数据制作方法不仅能够接收所需要的三维数据，而且能够减少被传输的三维数据的数据量。
例如，也可以是，在所述决定步骤，将包括所述传感器不能检测的遮挡区域的空间范围，决定为所述请求范围。
本申请的一个形态所涉及的三维数据发送方法包括：制作步骤，根据由传感器检测的信息，制作第5三维数据；提取步骤，通过提取所述第5三维数据的一部分，来制作第6三维数据；编码步骤，通过对所述第6三维数据进行编码，来生成编码三维数据；以及发送步骤，发送所述编码三维数据。
据此，该三维数据发送方法不仅能够将自身制作的三维数据发送到其他的装置，而且能够减少被传输的三维数据的数据量。
例如，也可以是，在所述制作步骤，根据由所述传感器检测的信息，制作第7三维数据，并通过从所述第7三维数据提取特征量为阈值以上的数据，来制作所述第5三维数据。
据此，该三维数据发送方法能够减少被传输的三维数据的数据量。
例如，也可以是，所述三维数据发送方法进一步包括接收步骤，在该接收步骤，从接收装置接收示出请求范围的信息，该请求范围是请求三维数据的三维空间的范围，在所述提取步骤，通过从所述第5三维数据提取所述请求范围的三维数据，来制作所述第6三维数据，在所述发送步骤，将所述编码三维数据发送到所述接收装置。
据此，该三维数据发送方法能够减少被传输的三维数据的数据量。
并且，本申请的一个形态所涉及的三维数据制作装置具备：制作部，根据由传感器检测的信息，制作第1三维数据；接收部，接收通过第2三维数据被编码而得到的编码三维数据；解码部，通过对接收的所述编码三维数据进行解码，从而获得所述第2三维数据；以及合成部，通过对所述第1三维数据与所述第2三维数据进行合成，从而制作第3三维数据。
据此，该三维数据制作装置能够利用制作的第1三维数据、接收的第2三维数据，制作详细的第3三维数据。
并且，本申请的一个形态所涉及的三维数据发送装置具备：制作部，根据由传感器检测的信息，制作第5三维数据；提取部，通过提取所述第5三维数据的一部分，来制作第6三维数据；编码部，通过对所述第6三维数据进行编码，从而生成编码三维数据；以及发送部，发送所述编码三维数据。
据此，该三维数据发送装置不仅能够将自身制作的三维数据发送到其他的装置，又能够减少被传输的三维数据的数据量。
并且，本申请的一个形态所涉及的三维信息处理方法包括：获得步骤，经由通信路径获得包括第1三维位置信息的地图数据；生成步骤，根据由传感器检测的信息，生成第2三维位置信息；判断步骤，通过对所述第1三维位置信息或所述第2三维位置信息执行异常判断处理，来判断所述第1三维位置信息或所述第2三维位置信息是否为异常；决定步骤，在判断所述第1三维位置信息或所述第2三维位置信息为异常的情况下，决定针对该异常的应对工作；以及工作控制步骤，执行所述应对工作的实施时所需要的控制。
据此，该三维信息处理方法能够检测第1三维位置信息或第2三维位置信息的异常，并能够进行应对工作。
例如，也可以是，所述第1三维位置信息，以具有三维的坐标信息的部分空间为单位而被编码，所述第1三维位置信息包括多个随机存取单位，多个随机存取单位的每一个为一个以上的部分空间的集合体，且能够被独立地解码。
据此，该三维信息处理方法能够减少获得的第1三维位置信息的数据量。
例如，也可以是，所述第1三维位置信息是三维的特征量成为规定的阈值以上的特征点被编码的数据。
据此，该三维信息处理方法能够减少获得的第1三维位置信息的数据量。
例如，也可以是，在所述判断步骤，对经由所述通信路径是否能够获得所述第1三维位置信息进行判断，在经由所述通信路径不能获得所述第1三维位置信息的情况下，将所述第1三维位置信息判断为异常。
据此，该三维信息处理方法按照通信状况等，在不能构成第1三维位置信息的情况下，进行恰当的应对工作。
例如，也可以是，所述三维信息处理方法进一步包括自身位置估计步骤，在自身位置估计步骤，利用所述第1三维位置信息以及所述第2三维位置信息，进行具有所述传感器的移动体的自身位置估计，在所述判断步骤，对所述移动体是否将会进入通信状态差的区域进行预测，在所述工作控制步骤，在预测到所述移动体将会进入通信状态差的区域的情况下，在所述移动体进入该区域之前，所述移动体获得所述第1三维信息。
据此，该三维信息处理方法在有不能获得第1三维位置信息的可能性的情况下，能够预先获得第1三维位置信息。
例如，也可以是，在所述工作控制步骤，在经由所述通信路径不能获得所述第1三维位置信息的情况下，通过所述通信路径获得比所述第1三维位置信息的范围窄的第3三维位置信息。
据此，该三维信息处理方法能够减少经由通信路径获得的数据的数据量，即使在通信状况差的情况下，也能够获得三维位置信息。
例如，也可以是，所述三维信息处理方法进一步包括自身位置估计步骤，在该自身位置估计步骤，利用所述第1三维位置信息以及所述第2三维位置信息，进行具有所述传感器的移动体的自身位置估计，在所述工作控制步骤，在经由所述通信路径不能获得所述第1三维位置信息的情况下，经由所述通信路径获得包括二维位置信息的地图数据，利用所述二维位置信息以及所述第2三维位置信息，进行具有所述传感器的移动体的自身位置估计。
据此，该三维信息处理方法能够减少经由通信路径获得的数据的数据量，因此即使在通信状况差的情况下，也能够获得三维位置信息。
例如，也可以是，所述三维信息处理方法进一步包括自动驾驶步骤，在该自动驾驶步骤，利用所述自身位置估计的结果，使所述移动体进行自动驾驶，在所述判断步骤，进一步，根据所述移动体的移动环境，判断是否进行利用了根据所述二维位置信息和所述第2三维位置信息进行的所述移动体的所述自身位置估计的结果的所述移动体的自动驾驶。
据此，该三维信息处理方法能够按照移动体的移动环境，来判断是否继续进行自动驾驶。
例如，也可以是，所述三维信息处理方法进一步包括自动驾驶步骤，在该自动驾驶步骤，利用所述自身位置估计的结果，使所述移动体进行自动驾驶，在所述工作控制步骤，根据所述移动体的移动环境，对所述自动驾驶的模式进行切换。
据此，该三维信息处理方法能够按照移动体的移动环境，来设定恰当的自动驾驶的模式。
例如，也可以是，在所述判断步骤判断所述第1三维位置信息的数据是否完备，在所述第1三维位置信息的数据不完备的情况下，判断所述第1三维位置信息为异常。
据此，该三维信息处理方法例如在第1三维位置信息毁坏了的情况下等，能够进行恰当的应对工作。
例如，在所述判断步骤，判断所述第2三维位置信息的数据的生成精度是否为基准值以上，在所述第2三维位置信息的数据的生成精度不是所述基准值以上的情况下，判断所述第2三维位置信息为异常。
据此，该三维信息处理方法在第2三维位置信息的精度低的情况下，能够进行恰当的应对工作。
例如，也可以是，在所述工作控制步骤，在所述第2三维位置信息的数据的生成精度不是所述基准值以上的情况下，根据由与所述传感器不同的代替传感器检测的信息，生成第4三维位置信息。
据此，该三维信息处理方法例如在传感器出现故障等情况下，能够利用代替传感器来获得三维位置信息。
例如，也可以是，所述三维信息处理方法进一步包括：自身位置估计步骤，利用所述第1三维位置信息以及所述第2三维位置信息，进行具有所述传感器的移动体的自身位置估计；以及自动驾驶步骤，利用所述自身位置估计的结果，使所述移动体进行自动驾驶，在所述工作控制步骤，在所述第2三维位置信息的数据的生成精度不是所述基准值以上的情况下，对所述自动驾驶的模式进行切换。
据此，该三维信息处理方法在第2三维位置信息的精度低的情况下，进行恰当的应对工作。
例如，也可以是，在所述工作控制步骤，在所述第2三维位置信息的数据的生成精度不是所述基准值以上的情况下，进行所述传感器的工作校正。
据此，该三维信息处理方法在第2三维位置信息的精度低的情况下，能够提高第2三维位置信息的精度。
并且，本申请的一个形态所涉及的三维信息处理装置具备：获得部，经由通信路径获得包括第1三维位置信息的地图数据；生成部，根据由传感器检测的信息，生成第2三维位置信息；判断部，通过针对所述第1三维位置信息或所述第2三维位置信息执行异常判断处理，来判断所述第1三维位置信息或所述第2三维位置信息是否为异常；决定部，在判断所述第1三维位置信息或所述第2三维位置信息为异常的情况下，决定针对该异常的应对工作；以及工作控制部，执行所述应对工作的实施时所需要的控制。
据此，该三维信息处理装置能够检测第1三维位置信息或第2三维位置信息的异常，并能够进行应对工作。
另外，这些概括性的或具体的形态可以由系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现，而且可以由系统、方法、集成电路、计算机程序以及记录介质的任意的组合来实现。
以下参照附图对实施方式进行具体说明。另外，以下将要说明的实施方式均为示出本申请的一个具体例子。以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接形态、步骤、步骤的顺序等均为一个例子，其主旨并非是对本申请进行限定。并且，针对以下的实施方式的构成要素之中没有记载在示出最上位概念的技术方案中的构成要素，作为任意的构成要素来说明。
(实施方式1)
首先，对本实施方式所涉及的编码三维数据(以下也记作编码数据)的数据结构进行说明。图1示出了本实施方式所涉及的编码三维数据的构成。
在本实施方式中，三维空间被划分为相当于动态图像的编码中的图片的空间(SPC)，以空间为单位对三维数据进行编码。空间被进一步划分为相当于动态图像编码中的宏块等的体积(VLM)，以VLM为单位进行预测以及转换。体积包括与位置坐标相对应的最小单位即多个体素(VXL)。另外，预测是指，与二维图像中进行的预测相同，参照其他的处理单位，生成与处理对象的处理单位类似的预测三维数据，并对该预测三维数据与处理对象的处理单位的差分进行编码。并且，该预测不仅包括参照同一时刻的其他的预测单位的空间预测，而且包括参照不同时刻的预测单位的时间预测。
例如，三维数据编码装置(以下也记作编码装置)在对由点云数据等的点群数据来表现的三维空间进行编码时，按照体素的大小，对点群的各个点或体素内所包含的多个点一并进行编码。若将体素细分，则能够对点群的三维形状进行高精度的表现，若将体素的大小增大，则能够对点群的三维形状进行粗略的表现。
另外，以下虽然以三维数据为点云数据的情况为例进行说明，但是，三维数据并非受点云数据所限，也可以是任意形式的三维数据。
并且，可以利用阶层结构的体素。在这种情况下，在n次的阶层中，可以按顺序示出在n-1次以下的阶层(n次的阶层的下层)中是否存在采样点。例如，在仅对n次的阶层进行解码时，当在n-1次以下的阶层存在采样点的情况下，能够视为n次阶层的体素的中心存在采样点来进行解码。
并且，编码装置通过距离传感器、立体摄影机、单眼相机、回转仪、或惯性传感器等来获得点群数据。
关于空间，与动态图像的编码同样，至少被分类为以下三个预测结构的任一个，这三个预测结构为：能够单独解码的帧内空间(I-SPC)、仅能单向参照的预测空间(P-SPC)、以及能够双向参照的双向空间(B-SPC)。并且，空间具有解码时刻和显示时刻这两种时刻信息。
并且，如图1所示，作为包括多个空间的处理单位，有作为随机存取单位的GOS(Group Of Space：空间群)。而且，作为包括多个GOS的处理单位，存在世界空间(WLD)。
世界空间所占的空间区域通过GPS或纬度以及经度信息等，与地球上的绝对位置建立了对应。该位置信息作为元信息而被存放。另外，元信息可以包含在编码数据中，也可以与编码数据分开来传输。
并且，在GOS内，所有的SPC可以是三维上的邻接，也可以存在与其他的SPC不是三维上邻接的SPC。
另外，以下将与GOS、SPC或VLM等处理单位中包含的三维数据所对应的编码、解码或参照等处理，也简单地记作对处理单位进行编码、解码或参照等。并且，处理单位中所包含的三维数据例如包括三维坐标等空间位置与颜色信息等特性值的至少一个组。
接着，对GOS中的SPC的预测结构进行说明。同一GOS内的多个SPC、或同一SPC内的多个VLM虽然彼此占有不同的空间，却持有相同的时刻信息(解码时刻以及显示时刻)。
并且，在GOS内，在解码顺序上为开头的SPC是I-SPC。并且，GOS中存在封闭式GOS和开放式GOS这两种。封闭式GOS是从开头I-SPC开始解码时，能够对GOS内的所有的SPC进行解码的GOS。在开放式GOS中，在GOS内，比开头I-SPC的显示时刻早的一部分SPC参照不同的GOS，只能在该GOS进行解码。
另外，在地图信息等的编码数据中，有从与编码顺序相反的方向对WLD进行解码的情况，若在GOS间存在依存性，则难以进行逆方向再生。因此，在这种情况下，基本上采用封闭式GOS。
并且，GOS在高度方向上具有层结构，从底下的层的SPC开始顺序进行编码或解码。
图2示出了属于GOS的最下层的层的SPC间的预测结构的一个例子。图3示出了层间的预测结构的一个例子。
在GOS内中存在一个以上的I-SPC。在三维空间内虽然存在人、动物、汽车、自行车、信号灯、或成为陆上标志的建物等对象，但是，尤其是将尺寸小的对象作为I-SPC来编码时有效。例如，三维数据解码装置(以下也记作解码装置)在对GOS以低处理量或高速进行解码时，仅对GOS内的I-SPC进行解码。
并且，编码装置可以按照WLD内的对象的疏密程度，对I-SPC的编码间隔或出现频率进行切换。
并且，在图3所示的构成中，编码装置或解码装置针对多个层从下层(层1)开始依次进行编码或解码。据此，例如针对自动行走的车辆等而言，能够提高信息量多的地面附近的数据的优先级。
另外，在无人机(drone)等使用的编码数据中，在GOS内，可以从高度方向的上方的层的SPC开始依次进行编码或解码。
并且，编码装置或解码装置也可以是以解码装置大致掌握GOS并能够逐渐提高分辨率的方式，来对多个层进行编码或解码。例如，编码装置或解码装置可以按照层3、8、1、9……的顺序进行编码或解码。
接着，对静态对象以及动态对象的对应方法进行说明。
在三维空间中存在建筑物或道路等静态对象或场景(以后统一称为静态对象)、以及车辆或人等动态对象(以后称为动态对象)。对象的检测可以通过从点云数据的数据、或立体摄影机等拍摄影像等中提取特征点来另外执行。在此，对动态对象的编码方法的例子进行说明。
第一方法是不区别静态对象与动态对象而进行编码的方法。第二方法是通过识别信息来区别静态对象与动态对象的方法。
例如，GOS被用作识别单位。在这种情况下，包括构成静态对象的SPC的GOS、与包括构成动态对象的SPC的GOS在编码数据内、或由与编码数据分开存放的识别信息来区別。
或者，SPC被用作识别单位。在这种情况下，仅包括构成静态对象的VLM的SPC、与包括构成动态对象的VLM的SPC，由上述的识别信息来区別。
或者，可以将VLM或VXL用作识别单位。在这种情况下，包括静态对象的VLM或VXL、与包括动态对象的VLM或VXL由上述的识别信息来区別。
并且，编码装置可以将动态对象作为一个以上的VLM或SPC来进行编码，将包括静态对象的VLM或SPC、与包括动态对象的SPC作为彼此不同的GOS来进行编码。并且，编码装置在按照动态对象的大小而GOS的大小成为可变的情况下，将GOS的大小作为元信息来另外存放。
并且，编码装置使静态对象与动态对象彼此独立地编码，针对由静态对象构成的世界空间，可以重叠动态对象。此时，动态对象由一个以上的SPC构成，各SPC与构成重叠了该SPC的静态对象一个以上的SPC对应。另外，动态对象可以不由SPC来表现，可以由一个以上的VLM或VXL来表现。
并且，编码装置可以将静态对象与动态对象作为彼此不同的流来编码。
并且，编码装置也可以生成包括构成动态对象的一个以上的SPC的GOS。而且，编码装置可以将包括动态对象的GOS(GOS_M)、与和GOS_M的空间区域对应的静态对象的GOS设定为大小相同(占有相同的空间区域)。这样，能够以GOS为单位来进行重叠处理。
构成动态对象的P-SPC或B-SPC也可以参照编码完毕的不同的GOS中包含的SPC。动态对象的位置随着时间发生变化，同一动态对象作为不同时刻的GOS而被编码的情况中，跨越GOS的参照从压缩率的观点来看是有效的。
并且，也可以按照编码数据的用途，来对上述的第一方法与第二方法进行切换。例如，在编码三维数据作为地图而被应用的情况下，由于希望与动态对象分离，因此，编码装置采用第二方法。另外，编码装置在对音乐会或体育等活动的三维数据进行编码的情况下，若无需对动态对象进行分离，则采用第一方法。
并且，GOS或SPC的解码时刻与显示时刻能够存放在编码数据内、或作为元信息存放。并且，静态对象的时刻信息可以全部相同。此时，实际的解码时刻与显示时刻可以由解码装置来决定。或者，作为解码时刻，按照每个GOS或SPC来赋予不同的值，作为显示时刻，也可以全被赋予同一个值。而且，如HEVC的HRD(Hypothetical Reference Decoder)等动态图像编码中的解码器模式所示，解码器具有规定的大小的缓冲器，只要按照解码时刻，以规定的比特率读取比特流，就可以导入不会被破坏且保证能够解码的模型。
接着，对世界空间内的GOS的配置进行说明。世界空间中的三维空间的坐标由彼此正交的三个坐标轴(x轴、y轴、z轴)来表现。通过在GOS的编码顺序中设定规定的规则，从而在空间上邻接的GOS能够在编码数据内进行连续的编码。例如在图4所示的例子中，对xz平面内的GOS进行连续的编码。在一个xz平面内的所有的GOS的编码结束后，对y轴的值进行更新。即，随着不断地编码，世界空间向y轴方向延伸。并且，GOS的索引编号被设定为编码顺序。
在此，世界空间的三维空间与GPS、或纬度以及经度等地理上的绝对坐标一一对应。或者，可以由相对于预先设定的基准位置的相对位置来表现三维空间。三维空间的x轴、y轴、z轴的方向作为基于纬度以及经度等而被决定的方向矢量来表现，该方向矢量作为元信息与编码数据一同存放。
并且，GOS的大小被设定为固定，编码装置将该大小作为元信息来存放。并且，GOS的大小例如可以根据是否为市内或者室内、室外等来进行切换。即，GOS的大小可以按照具有作为信息的价值的对象的量或性质来进行切换。或者，编码装置可以在同一世界空间内，按照对象的密度等，对GOS的大小、或GOS内的I-SPC的间隔进行恰当地切换。例如，编码装置在对象的密度越高的情况下，就越将GOS的大小设定为小、将GOS内的I-SPC的间隔设定为短。
在图5的例子中，在从第3至第10个GOS的区域中，由于对象的密度高，因此，为了实现微小粒度的随机存取，则GOS被细分。并且，从第7到第10个GOS分别存在于第3至第6个GOS的背面。
接着，对本实施方式所涉及的三维数据编码装置的构成以及工作的流程进行说明。图6是本实施方式所涉及的三维数据编码装置100的方框图。图7是示出三维数据编码装置100的工作例子的流程图。
图6所示的三维数据编码装置100通过对三维数据111进行编码，来生成编码三维数据112。该三维数据编码装置100具备：获得部101、编码区域决定部102、划分部103、以及编码部104。
如图7所示，首先，获得部101获得作为点群数据的三维数据111(S101)。
接着，编码区域决定部102从获得的点群数据所对应的空间区域中，决定编码对象的区域(S102)。例如，编码区域决定部102按照用户或车辆的位置，将该位置的周边的空间区域决定为编码对象的区域。
接着，划分部103将编码对象的区域中包含的点群数据划分为各个处理单位。在此，处理单位是上述的GOS以及SPC等。并且，该编码对象的区域例如与上述的世界空间对应。具体而言，划分部103根据预先设定的GOS的大小、动态对象的有无或大小，将点群数据划分为处理单位(S103)。并且，划分部103在各个GOS中决定在编码顺序中成为开头的SPC的开始位置。
接着，编码部104通过对各个GOS内的多个SPC进行依次编码，来生成编码三维数据112(S104)。
另外，在此，在将编码对象的区域划分为GOS以及SPC之后，虽然示出了对各个GOS进行编码的例子，不过，处理的顺序并非受上述所限。例如，可以在决定了一个GOS的构成之后，对该GOS进行编码，在此之后决定GOS的构成等顺序。
这样，三维数据编码装置100通过对三维数据111进行编码，来生成编码三维数据112。具体而言，三维数据编码装置100将三维数据划分为随机存取单位，即划分为分别与三维坐标对应的第一处理单位(GOS)，将第一处理单位(GOS)划分为多个第二处理单位(SPC)，将第二处理单位(SPC)划分为多个第三处理单位(VLM)。并且，第三处理单位(VLM)包括一个以上的体素(VXL)，体素(VXL)是与位置信息对应的最小单位。
接着，三维数据编码装置100通过对多个第一处理单位(GOS)的每一个进行编码，来生成编码三维数据112。具体而言，三维数据编码装置100在各个第一处理单位(GOS)，对多个第二处理单位(SPC)的每一个进行编码。并且，三维数据编码装置100在各个第二处理单位(SPC)，对多个第三处理单位(VLM)的每一个进行编码。
例如，三维数据编码装置100在处理对象的第一处理单位(GOS)为封闭式GOS的情况下，针对处理对象的第一处理单位(GOS)中包含的处理对象的第二处理单位(SPC)，参照处理对象的第一处理单位(GOS)中包含的其他的第二处理单位(SPC)进行编码。即，三维数据编码装置100不参照与处理对象的第一处理单位(GOS)不同的第一处理单位(GOS)中包含的第二处理单位(SPC)。
并且，在处理对象的第一处理单位(GOS)为开放式GOS的情况下，针对处理对象的第一处理单位(GOS)中包含的处理对象的第二处理单位(SPC)，参照处理对象的第一处理单位(GOS)中包含的其他的第二处理单位(SPC)、或与处理对象的第一处理单位(GOS)不同的第一处理单位(GOS)中包含的第二处理单位(SPC)进行编码。
并且，三维数据编码装置100，作为处理对象的第二处理单位(SPC)的类型，从不参照其他的第二处理单位(SPC)的第一类型(I-SPC)、参照其他的一个第二处理单位(SPC)的第二类型(P-SPC)、以及参照其他的两个第二处理单位(SPC)的第三类型中选择一个，并按照选择的类型，对处理对象的第二处理单位(SPC)进行编码。
接着，对本实施方式所涉及的三维数据解码装置的构成以及工作的流程进行说明。图8是本实施方式所涉及的三维数据解码装置200的方框图。图9是示出三维数据解码装置200的工作例子的流程图。
图8所示的三维数据解码装置200通过对编码三维数据211进行解码，来生成解码三维数据212。在此，编码三维数据211例如是在三维数据编码装置100生成的编码三维数据112。该三维数据解码装置200具备：获得部201、解码开始GOS决定部202、解码SPC决定部203、以及解码部204。
首先，获得部201获得编码三维数据211(S201)。接着，解码开始GOS决定部202决定为解码对象的GOS(S202)。具体而言，解码开始GOS决定部202参照编码三维数据211内或与编码三维数据分别存放的元信息，将包括开始解码的空间位置、对象、或与时刻对应的SPC的GOS决定为解码对象的GOS。
接着，解码SPC决定部203决定在GOS内进行解码的SPC的类型(I、P、B)(S203)。例如，解码SPC决定部203对(1)是否仅解码I-SPC、(2)是否解码I-SPC以及P-SPC、(3)是否解码所有的类型进行决定。另外，在解码所有的SPC等预先规定了将要解码的SPC的类型的情况下，也可以不进行本步骤。
接着，解码部204获得在GOS内的解码顺序(与编码顺序相同)中为开头的SPC，在编码三维数据211内开始的地址位置，从该地址位置获得开头SPC的编码数据，从该开头SPC依次对各个SPC进行解码(S204)。并且，上述地址位置被存放在元信息等中。
这样，三维数据解码装置200对解码三维数据212进行解码。具体而言，三维数据解码装置200通过对分别与三维坐标对应的第一处理单位(GOS)的编码三维数据211的每一个进行解码，来生成作为随机存取单位的第一处理单位(GOS)的解码三维数据212。更具体而言，三维数据解码装置200在各个第一处理单位(GOS)对多个第二处理单位(SPC)的每一个进行解码。并且，三维数据解码装置200在各个第二处理单位(SPC)对多个第三处理单位(VLM)的每一个进行解码。
以下对随机存取用的元信息进行说明。该元信息由三维数据编码装置100生成，包含在编码三维数据112(211)中。
在以往的二维的动态图像的随机存取中，解码是从指定的时刻的附近的随机存取单位的开头帧开始的。然而，在世界空间中，除了时刻以外还设想了针对(坐标或对象等)的随机存取。
因此，为了至少实现对坐标、对象、以及时刻这三个要素的随机存取，准备了对各个要素与GOS的索引编号建立了对应的表。而且，将GOS的索引编号与成为GOS的开头的I-SPC的地址建立对应。图10示出了元信息中包含的表的一个例子。另外，无需使用图10所示的所有的表，至少使用一个表即可。
以下作为一个例子，对以坐标为起点的随机存取进行说明。在针对坐标(x2、y2、z2)进行存取时，首先参照坐标-GOS表，可以知道坐标为(x2、y2、z2)的地点包含在第二个GOS中。接着，参照GOS地址表，由于可以知道第二个GOS中开头的I-SPC的地址为addr(2)，因此解码部204从该地址获得数据，并开始解码。
另外，地址可以是逻辑格式中的地址，也可以是HDD或存储器的物理地址。并且，也可以取代地址而采用对文件段进行确定的信息。例如，文件段是对一个以上的GOS等进行分段后的单位。
并且，在对象为跨越多个GOS的情况下，在对象GOS表中也可以示出多个对象所属的GOS。若该多个GOS为封闭式GOS，编码装置以及解码装置能够并行进行编码或解码。另外，若该多个GOS为开放式GOS，则通过多个GOS彼此相互参照，从而能够进一步提高压缩效率。
作为对象的例子有人、动物、汽车、自行车、信号灯、或成为陆上标志的建筑物等。例如，三维数据编码装置100在世界空间的编码时，从三维的点云数据等中提取对象所特有的特征点，根据该特征点来检测对象，并能够将检测的对象设定为随机存取点。
这样，三维数据编码装置100生成第一信息，该第一信息示出多个第一处理单位(GOS)、以及与多个第一处理单位(GOS)的每一个对应的三维坐标。并且，编码三维数据112(211)包括该第一信息。并且，第一信息进一步示出与多个第一处理单位(GOS)的每一个对应的对象、时刻以及数据存放目的地之中的至少一个。
三维数据解码装置200从编码三维数据211中获得第一信息，利用第一信息来确定与被指定的三维坐标、对象或时刻对应的第一处理单位的编码三维数据211，并对该编码三维数据211进行解码。
以下对其他的元信息的例子进行说明。除了随机存取用的元信息以外，三维数据编码装置100还可以生成并存放以下的元信息。并且，三维数据解码装置200也可以将该元信息在解码时利用。
在将三维数据作为地图信息来利用的情况下等，按照用途来规定档次(profile)，示出该档次的信息可以包含在元信息内。例如规定了面向市区或郊外的档次、或者规定了面向飞行物的档次，并且分别定义了世界空间、SPC或VLM的最大或最小的大小等。例如，在面向市区的档次中，需要比郊外更详细的信息，因此VLM的最小尺寸被设定得较小。
元信息也可以包括示出对象的种类的标签值。该标签值与构成对象的VLM、SPC、或GOS对应。可以按照对象的种类等来设定标签值，例如标签值“0”表示“人”、标签值“1”表示“汽车”、标签值“2”表示“信号灯”。或者，在对象的种类难以判断或不需要判断的情况下，也可以使用表示大小、或是动态对象还是静态对象等性质的标签值。
并且，元信息也可以包括示出世界空间所占的空间区域的范围的信息。
并且，元信息也可以作为编码数据的流全体、或GOS内的SPC等多个SPC所共享的头信息，来存放SPC或VXL的大小。
并且，元信息也可以包括点云数据的生成中所使用的距离传感器或摄像机等识别信息，或者包括示出点云数据内的点群的位置精度的信息。
并且，元信息可以包括示出世界空间是仅由静态对象构成还是含有动态对象的信息。
以下对本实施方式的变形例进行说明。
编码装置或解码装置可以对彼此不同的2个以上的SPC或GOS并行进行编码或解码。并行进行编码或解码的GOS能够根据示出GOS的空间位置的元信息等来决定。
在将三维数据作为车辆或飞行物体等移动时的空间地图来使用、或者生成这种空间地图的情况等中，编码装置或解码装置可以对基于GPS、路径信息、或缩放倍率等而被确定的空间中包含的GOS或SPC进行编码或解码。
并且，解码装置也可以从离自身位置或行走路径近的空间开始依次进行解码。编码装置或解码装置也可以使离自身位置或行走路径远的空间的优先级比近的空间的优先级低，来进行编码或解码。在此，使优先级降低是指，降低处理顺序、降低分辨率(筛选后处理)、或降低画质(提高编码效率。例如加大量化步长)等。
并且，解码装置在对空间内被分阶层编码的编码数据进行解码时，也可以仅解码低阶层。
并且，解码装置也可以按照地图的缩放倍率或用途，先从低阶层开始进行解码。
并且，在汽车或机器人的自动走行时所进行的自身位置估计或物体识别等用途中，编码装置或解码装置也可以将距离路面规定高度以内的区域(进行识别的区域)之外的区域的分辨率降低来进行编码或解码。
并且，编码装置也可以对表现室内和室外的空间形状的点云数据分别独立地进行编码。例如通过将表现室内的GOS(室内GOS)与表现室外的GOS(室外GOS)分开，从而解码装置在利用编码数据时，能够按照视点位置来选择将要解码的GOS。
并且，编码装置可以使坐标近的室内GOS和室外GOS在编码流中邻接，来进行编码。例如，编码装置将两者的标识符对应起来，对示出在编码流内、或另外存放的元信息内建立了对应的标识符的信息进行存放。据此，解码装置能够参照元信息内的信息，来识别坐标近的室内GOS与室外GOS。
并且，编码装置也可以在室内GOS与室外GOS对GOS或SPC的大小进行切换。例如，编码装置在室内与室外相比，将GOS的大小设定得较小。并且，编码装置也可以在室内GOS和室外GOS，对从点云数据提取特征点时的精确度或对象检测的精确度等进行变更。
并且，编码装置可以将用于解码装置将动态对象与静态对象进行区分显示的信息附加到编码数据。据此，解码装置能够对动态对象与红色框或说明用的文字等进行组合来表示。另外，解码装置也可以取代动态对象而仅用红色框或说明用文字来表示。并且，解码装置可以表示更详细的对象类别。例如，汽车可以采用红色框，人可以采用黄色框。
并且，编码装置或解码装置可以按照动态对象的出现频度、或静态对象与动态对象的比例等，将动态对象与静态对象作为不同的SPC或GOS，来决定是否进行编码或解码。例如，在动态对象的出现频度或比例超过阈值的情况下，动态对象与静态对象混在的SPC或GOS则被允许，在动态对象的出现频度或比例没有超过阈值的情况下，动态对象与静态对象混在的SPC或GOS则不会被允许。
在动态对象不是从点云数据而是从摄像机的二维图像信息检测时，编码装置可以对用于识别检测结果的信息(框或文字等)与对象位置分别获得，将这些信息作为三维的编码数据的一部分来编码。在这种情况下，解码装置针对静态对象的解码结果，使表示动态对象的辅助信息(框或文字)重叠显示。
并且，编码装置可以按照静态对象的形状的复杂程度等，对VXL或VLM的疏密程度进行变更。例如，编码装置在静态对象的形状越复杂的情况下，就越将VXL或VLM设定成密。而且，编码装置可以按照VXL或VLM的疏密程度，来决定在对空间位置或色信息进行量化时的量化步长等。例如，编码装置在VXL或VLM越密的情况下，就越将量化步长设定为小。
如以上所示，本实施方式所涉及的编码装置或解码装置以具有坐标信息的空间单位，来进行空间的编码或解码。
并且，编码装置以及解码装置在空间内以体积单位来进行编码或解码。体积包括与位置信息对应的最小单位即体素。
并且，编码装置以及解码装置通过将包括坐标、对象、以及时间等的空间信息的各个要素与GOP建立了对应的表、或在各个要素间对应的表，使任意的要素之间建立对应来进行编码或解码。并且，解码装置利用被选择的要素的值来判断坐标，并根据坐标来确定体积、体素或空间，对包括该体积或体素的空间、或被确定的空间进行解码。
并且，编码装置通过特征点提取或对象识别，来判断能够由要素选择的体积、体素或空间，并作为能够随机存取的体积、体素或空间来编码。
空间被分为三种类型，即：以该空间单体能够编码或解码的I-SPC、参照任意的一个处理完毕的空间来编码或解码的P-SPC、参照任意的两个处理完毕的空间来编码或解码的B-SPC。
一个以上的体积与静态对象或动态对象对应。包含静态对象的空间与包含动态对象的空间彼此作为不同的GOS而被编码或解码。即，包含静态对象的SPC与包含动态对象的SPC被分配到不同的GOS。
动态对象按每个对象来编码或解码，与仅包含静态对象的一个以上的空间对应。即，多个动态对象被分别编码，得到的多个动态对象的编码数据与仅包含静态对象的SPC对应。
编码装置以及解码装置提高GOS内的I-SPC的优先级，来进行编码或解码。例如，编码装置以使I-SPC的劣化减少的方式(解码后，原本的三维数据能够更忠实地被再现)来进行编码。并且，解码装置例如仅对I-SPC进行解码。
编码装置可以按照世界空间内的对象的疎密程度或数值(数量)，改变利用I-SPC的频度，来进行编码。即，编码装置按照三维数据中包含的对象的数量或疏密程度，来变更对I-SPC进行选择的频度。例如，编码装置在世界空间内的对象的密度越大的情况下，就越提高I空间的使用频度。
并且，编码装置以GOS为单位对随机存取点进行设定，将示出与GOS对应的空间区域的信息存放到头信息。
编码装置例如采用默认值来作为GOS的空间大小。另外，编码装置也可以按照对象或动态对象的数值(数量)或疏密程度来变更GOS的大小。例如，编码装置在对象或动态对象越密或数量越多的情况下，就越将GOS的空间大小设定为小。
并且，空间或体积包括利用深度传感器、回转仪、或摄像机等传感器得到的信息而被导出的特征点群。特征点的坐标被设定为体素的中心位置。并且，通过体素的细分化，能够实现位置信息的高精度化。
特征点群利用多个图片而被导出。多个图片至少具有以下的两种时刻信息，即：实际的时刻信息、以及与空间对应的在多个图片中的同一个时刻信息(例如，用于速率控制等的编码时刻)。
并且，以包括一个以上的空间的GOS为单位来进行编码或解码。
编码装置以及解码装置参照处理完毕的GOS内的空间，对处理对象的GOS内的P空间或B空间进行预测。
或者，编码装置以及解码装置不参照不同的GOS，利用处理对象的GOS内的处理完毕的空间，对处理对象的GOS内的P空间或B空间进行预测。
并且，编码装置以及解码装置以包括一个以上的GOS的世界空间为单位，来发送或接收编码流。
并且，GOS至少在世界空间内的一个方向上具有层结构，编码装置以及解码装置从下位层开始进行编码或解码。例如，能够随机存取的GOS属于最下位层。属于上位层的GOS仅参照属于同一层以下的层的GOS。即，GOS在预先规定的方向上被空间划分，包括分别具有一个以上的SPC的多个层。编码装置以及解码装置针对各个SPC，通过参照与该SPC为同一层或比该SPC下层的层中包含的SPC来进行编码或解码。
并且，编码装置以及解码装置在包括多个GOS的世界空间单位内，连续地对GOS进行编码或解码。编码装置以及解码装置将示出编码或解码的顺序(方向)的信息作为元数据进行写入或读取。即，编码数据包括示出多个GOS的编码顺序的信息。
并且，编码装置以及解码装置对彼此不同的两个以上的空间或GOS并行进行编码或解码。
并且，编码装置以及解码装置对空间或GOS的空间信息(坐标、大小等)进行编码或解码。
并且，编码装置以及解码装置对根据GPS、路径信息或倍率等与自己的位置或/以及区域大小有关的外部信息，而被确定的特定空间中包含的空间或GOS进行编码或解码。
编码装置或解码装置使离自己的位置远的空间的优先级低于离自己近的空间，来进行编码或解码。
编码装置按照倍率或用途，对世界空间中的一个方向进行设定，对在该方向上具有层结构的GOS进行编码。并且，解码装置针对按照倍率或用途而被设定的在世界空间的一个方向具有层结构的GOS，从下位层开始优先进行解码。
编码装置使室内和室外的空间中所包含的特征点提取、对象识别的精度、或空间区域大小等发生变化。但是，编码装置以及解码装置将坐标近的室内GOS与室外GOS在世界空间内相邻来进行编码或解码，将这些标识符也对应起来进行编码或解码。
(实施方式2)
在将点云数据的编码数据用于实际的装置或服务时，为了抑制网络带宽，而希望按照用途来对所需要的信息进行收发。然而，至今的三维数据的编码结构中不存在这样的功能，因此也没有与此相对的编码方法。
在本实施方式中将要说明的是，用于提供在三维的点云数据的编码数据中，按照用途来对所需要的信息进行收发的功能的三维数据编码方法以及三维数据编码装置、还有对该编码数据进行解码的三维数据解码方法以及三维数据解码装置。
将具有一定以上的特征量的体素(VXL)定义为特征体素(FVXL)，将以FVXL构成的世界空间(WLD)定义为稀疏世界空间(SWLD)。图11示出了稀疏世界空间以及世界空间的构成例。在SWLD中包括：FGOS，是以FVXL构成的GOS；FSPC，是以FVXL构成的SPC；以及FVLM，是以FVXL构成的VLM。FGOS、FSPC以及FVLM的数据结构以及预测结构可以与GOS、SPC以及VLM相同。
特征量是指，对VXL的三维位置信息、或VXL位置的可见光信息进行表现的特征量，尤其是立体物的角部以及边缘等能够检测到较多的特征量。具体而言，该特征量虽然是以下所述的三维特征量或可见光的特征量，除此之外，只要是表示VXL的位置、亮度、或颜色信息等的特征量，可以是任意的特征量。
作为三维特征量，采用SHOT特征量(Signature of Histograms ofOrienTations：方位直方图特征)、PFH特征量(Point Feature Histograms：点特征直方图)、或PPF特征量(Point Pair Feature：点对特征)。
SHOT特征量通过对VXL周边进行划分，并对基准点与被划分的区域的法线向量的内积进行计算，进行直方图化而得到的。该SHOT特征量具有维数高、特征表现力高的特征。
PFH特征量是通过在VXL附近选择多个2点组，根据这2点算出法线向量等，并进行直方图化而得到的。该PFH特征量由于是直方图特征，针对少量干扰具有橹棒性，而且具有特征表现力高的特征。
PPF特征量是按照2点的VXL，利用法线向量等而算出的特征量。在该PPF特征量中，由于使用所有的VXL，因此针对遮蔽具有橹棒性。
并且，作为可见光的特征量，能够使用采用了图像的亮度梯度信息等信息的SIFT(Scale-Invariant Feature Transform：尺度不变特征转换)、SURF(Speeded Up RobustFeatures：加速稳健特征)、或HOG(Histogram of Oriented Gradients：方向梯度直方图)等。
SWLD是通过从WLD的各VXL算出上述特征量，并提取FVXL而生成的。在此，SWLD可以在WLD每次被更新时来更新，也可以是与WLD的更新定时无关，在一定时间经过后定期地进行更新。
SWLD可以按照每个特征量来生成。例如基于SHOT特征量的SWLD1和基于SIFT特征量的SWLD2所示，可以按照每个特征量来分别生成SWLD，并按照用途来区分使用SWLD。并且，也可以将算出的各FVXL的特征量作为特征量信息来保持到各FVXL。
接着，对稀疏世界空间(SWLD)的利用方法进行说明。由于SWLD仅包含特征体素(FVXL)，因此，与包括所有的VXL的WLD相比，数据大小一般比较小。
在利用特征量来实现某种目的的应用中，通过取代WLD而利用SWLD的信息，能够抑制从硬盘的读出时间，并且能够抑制网络传输时的频带以及传输时间。例如，作为地图信息，事先将WLD和SWLD保持到服务器，通过按照来自客户端的需求来将发送的地图信息切换为WLD或SWLD，从而能够抑制网络带宽以及传输时间。以下示出具体的例子。
图12以及图13示出了SWLD以及WLD的利用例。如图12所示，在作为车载装置的客户端1需要作为自身位置判断用途的地图信息的情况下，客户端1向服务器发送自身位置估计用的地图数据的获取需求(S301)。服务器按照该获取需求将SWLD发送给客户端1(S302)。客户端1利用接收的SWLD进行自身位置判断(S303)。此时，客户端1通过测距仪等距离传感器、立体摄像机、或多个单眼相机的组合等各种方法，来获取客户端1的周边的VXL信息，根据得到的VXL信息和SWLD来估计自身位置信息。在此，自身位置信息包括客户端1的三维位置信息以及朝向等。
如图13所示，在作为车载装置的客户端2需要作为三维地图等地图描绘的用途的地图信息的情况下，客户端2将地图描绘用的地图数据的获取需求发送给服务器(S311)。服务器按照该获取需求，将WLD发送给客户端2(S312)。客户端2利用接收的WLD来进行地图描绘(S313)。此时，客户端2例如使用自己用可见光摄像机等拍摄的图像、以及从服务器获取的WLD，来制成构思图像，将制成的图像描绘到汽车导航等画面。
如以上所示，服务器在主要需要自身位置估计这种各VXL的特征量的用途中，将SWLD发送给客户端，像地图描绘那样，在需要详细的VXL信息的情况下，将WLD发送给客户端。据此，能够高效地对地图数据进行收发。
另外，客户端可以判断自己需要SWLD和WLD的哪一个，并向服务器请求SWLD或WLD的发送。并且，服务器可以根据客户端或网络的状况，来判断应该发送SWLD或WLD的哪一个。
接着，将要说明的是对稀疏世界空间(SWLD)与世界空间(WLD)的收发进行切换的方法。
可以按照网络带宽来对WLD或SWLD的接收进行切换。图14示出了这种情况下的工作例。例如，在能够使用LTE(Long Term Evolution：长期演进)环境下等的网络带宽的低速网络被使用的情况下，客户端经由低速网络来向服务器进行存取时(S321)，从服务器获取作为地图信息的SWLD(S322)。另外在使用WiFi环境下等网络带宽有富余的高速网络的情况下，客户端经由高速网络来向服务器进行存取(S323)，从服务器获取WLD(S324)。据此，客户端能够按照该客户端的网络带宽来获取恰当的地图信息。
具体而言，客户端在室外经由LTE来接收SWLD，在进入到设施等室内的情况下，经由WiFi来获取WLD。据此，客户端能够获取室内的更加详细的地图信息。
这样，客户端可以按照自身所使用的网络的频带，向服务器请求WLD或SWLD。或者，客户端可以将示出自身所使用的网络的频带的信息发送给服务器，服务器按照该信息，向该客户端发送恰当的数据(WLD或SWLD)。或者，服务器可以判别客户端的网络带宽，向该客户端发送恰当的数据(WLD或SWLD)。
并且，可以按照移动速度来对WLD或SWLD的接收进行切换。图15示出了这种情况下的工作例。例如，在客户端高速移动的情况下(S331)，客户端从服务器接收SWLD(S332)。另外，在客户端低速移动的情况下(S333)，客户端从服务器接收WLD(S334)。据此，客户端既能够抑制网络带宽，又能够按照速度来获得地图信息。具体而言，客户端在高速公路行驶中，通过接收数据量少的SWLD，从而大致能够以恰当的速度来更新地图信息。另外，在客户端在一般道路行驶时，通过接收WLD，从而能够获取更加详细的地图信息。
这样，客户端可以按照自身的移动速度向服务器请求WLD或SWLD。或者，客户端可以将示出自身的移动速度的信息发送给服务器，服务器按照该信息，向该客户端发送恰当的数据(WLD或SWLD)。或者，服务器可以判别客户端的移动速度，向该客户端发送恰当的数据(WLD或SWLD)。
并且，也可以是，客户端先从服务器获取SWLD，而后获取其中的重要区域的WLD。例如，客户端在获取地图数据时，首先以SWLD获取概略的地图信息，从中筛选建筑物、标识、或人物等的特征出现较多的区域，之后再获得筛选后的区域的WLD。据此，客户端既能够抑制来自服务器的接收数据量，又能够获取所需要的区域的详细信息。
并且，也可以是，服务器根据WLD按照每个物体来分别制作SWLD，客户端按照用途来分别进行接收。据此，能够抑制网络带宽。例如，服务器从WLD中预先识别人或车，制作出人的SWLD和车的SWLD。客户端在想获取周围的人的信息的情况下，接收人的SWLD，在想获取车的信息的情况下，接收车的SWLD。并且，这种SWLD的种类可以根据被附加在头部等的信息(标志或类型等)来区別。
接着，对本实施方式所涉及的三维数据编码装置(例如服务器)的构成以及工作的流程进行说明。图16是本实施方式所涉及的三维数据编码装置400的方框图。图17是由三维数据编码装置400进行三维数据编码处理的流程图。
图16所示的三维数据编码装置400，通过对输入三维数据411进行编码，从而生成作为编码流的编码三维数据413以及414。在此，编码三维数据413是与WLD对应的编码三维数据，编码三维数据414是与SWLD对应的编码三维数据。该三维数据编码装置400具备：获得部401、编码区域决定部402、SWLD提取部403、WLD编码部404、以及SWLD编码部405。
如图17所示，首先，获得部401获得作为三维空间内的点群数据的输入三维数据411(S401)。
接着，编码区域决定部402根据点群数据所存在的空间区域，来决定编码对象的空间区域(S402)。
接着，SWLD提取部403将编码对象的空间区域定义为WLD，根据WLD中包含的各VXL算出特征量。并且，SWLD提取部403提取特征量为预先规定的阈值以上的VXL，将提取的VXL定义为FVXL，通过将该FVXL追加到SWLD，从而生成提取三维数据412(S403)。即，从输入三维数据411提取特征量为阈值以上的提取三维数据412。
接着，WLD编码部404通过对与WLD对应的输入三维数据411进行编码，从而生成与WLD对应的编码三维数据413(S404)。此时，WLD编码部404将用于区别该编码三维数据413是包含WLD的流的信息附加到编码三维数据413的头部。
并且，SWLD编码部405通过对与SWLD对应的提取三维数据412进行编码，从而生成与SWLD对应的编码三维数据414(S405)。此时，SWLD编码部405将用于区别该编码三维数据414是包含SWLD的流的信息附加到编码三维数据414的头部。
并且，生成编码三维数据413的处理与生成编码三维数据414的处理的处理顺序也可以与上述相反。并且，上述的处理的一部分或全部也可以并行执行。
作为被赋予到编码三维数据413以及414的头部的信息例如被定义为“world_type”这种参数。在world_type＝0的情况下，表示流包含WLD，在world_type＝1的情况下，表示流包含SWLD。在定义其他的更多的类别的情况下，可以如world_type＝2这样，增加分配的数值。并且，在编码三维数据413以及414的一方中可以包含特定的标志。例如，在编码三维数据414可以被赋予包括示出该流包含SWLD的标志。在这种情况下，解码装置可以根据标志的有无，来判别是包含WLD的流、还是包含SWLD的流。
并且，WLD编码部404对WLD进行编码时使用的编码方法可以与SWLD编码部405对SWLD进行编码时使用的编码方法不同。
例如，由于在SWLD数据被抽选，这与WLD相比，与周边的数据的相关有可能变低。因此，在用于SWLD的编码方法中，与用于WLD的编码方法相比，帧内预测以及帧间预测之中的帧间预测被优先。
并且，也可以是在用于SWLD的编码方法与用于WLD的编码方法中，三维位置的表现手法不同。例如，可以是，在FWLD由三维坐标来表现FVXL的三维位置，在WLD通过后述的八叉树来表现三维位置，并且可以是相反的。
并且，SWLD编码部405以SWLD的编码三维数据414的数据大小比WLD的编码三维数据413的数据大小小的方式进行编码。例如以上所述，SWLD与WLD相比，数据间的相关有可能降低。据此，编码効率降低，编码三维数据414的数据大小有可能比WLD的编码三维数据413的数据大小大。因此，SWLD编码部405在得到的编码三维数据414的数据大小比WLD的编码三维数据413的数据大小大的情况下，通过进行再编码，从而再次生成降低了数据大小的编码三维数据414。
例如，SWLD提取部403再次生成提取的特征点的数量减少了的提取三维数据412，SWLD编码部405对该提取三维数据412进行编码。或者，可以将SWLD编码部405中的量化程度变得粗糙。例如，在后述的八叉树结构中，通过对最下层的数据进行舍入，从而能够使量化的程度变得粗糙。
并且，SWLD编码部405在不能将SWLD的编码三维数据414的数据大小比WLD的编码三维数据413的数据大小小的情况下，也可以不生成SWLD的编码三维数据414。或者，可以将WLD的编码三维数据413复制到SWLD的编码三维数据414。即，作为SWLD的编码三维数据414，可以直接使用WLD的编码三维数据413。
接着，对本实施方式所涉及的三维数据解码装置(例如客户端)的构成以及工作的流程进行说明。图18是本实施方式所涉及的三维数据解码装置500的方框图。图19是三维数据解码装置500进行三维数据解码处理的流程图。
图18所示的三维数据解码装置500通过对编码三维数据511进行解码，从而生成解码三维数据512或513。在此，编码三维数据511例如是在三维数据编码装置400生成的编码三维数据413或414。
该三维数据解码装置500具备：获得部501、头部解析部502、WLD解码部503、以及SWLD解码部504。
如图19所示，首先，获得部501获得编码三维数据511(S501)。接着，头部解析部502对编码三维数据511的头部进行解析，判别编码三维数据511是包含WLD的流、还是包含SWLD的流(S502)。例如，参照上述的world_type的参数来进行判别。
在编码三维数据511是包含WLD的流的情况下(S503的“是”)，WLD解码部503对编码三维数据511进行解码，从而生成WLD的解码三维数据512(S504)。另外，在编码三维数据511是包含SWLD的流的情况下(S503的“否”)，SWLD解码部504对编码三维数据511进行解码，从而生成SWLD的解码三维数据513(S505)。
并且，与编码装置同样，WLD解码部503在对WLD进行解码时使用的解码方法、与SWLD解码部504对SWLD进行解码时使用的解码方法可以不同。例如，在用于SWLD的解码方法中，与用于WLD的解码方法相比，可以使帧内预测以及帧间预测中的帧间预测优先。
并且，在用于SWLD的解码方法与用于WLD的解码方法中，三维位置的表现手法可以不同。例如，在SWLD可以通过三维坐标来表现FVXL的三维位置，在WLD可以通过后述的八叉树来表现三维位置，并且也可以相反。
接着，对作为三维位置的表现手法的八叉树表现进行说明。三维数据中包含的VXL数据被转换为八叉树结构后被编码。图20示出了WLD的VXL的一个例子。图21示出了图20所示的WLD的八叉树结构。在图20所示的例子中，存在作为包含点群的VXL(以下，有效VXL)的三个VXL1～3。如图21所示，八叉树结构由节点和树叶构成。各节点最大具有8个节点或树叶。各树叶具有VXL信息。在此，图21所示的树叶之中，树叶1、2、3分别表示图20所示的VXL1、VXL2、VXL3。
具体而言，各节点以及树叶与三维位置对应。节点1与图20所示的所有的块对应。与节点1对应的块被划分为8个块，8个块之中，包括有效VXL的块被设定为节点，除此以外的块被设定为树叶。与节点对应的块进一步被划分为8个节点或树叶，这种处理被重复的次数与树状结构中的阶层数相同。并且，最下层的块全被设定为树叶。
并且，图22示出了从图20所示的WLD生成的SWLD的例子。图20所示的VXL1以及VXL2的特征量提取的结果被判断为FVXL1以及FVXL2，被加入到SWLD。另外，VXL3没有被判断为FVXL，因此不包含在SWLD中。图23示出了图22所示的SWLD的八叉树结构。在图23所示的八叉树结构中，图21所示的、相当于VXL3的树叶3被删除。据此，图21所示的节点3没有有效VXL，而被变更为树叶。这样，一般而言，SWLD的树叶数比WLD的树叶数少，SWLD的编码三维数据也比WLD的编码三维数据小。
以下对本实施方式的变形例进行说明。
例如也可以是，在车载装置等客户端在进行自身位置估计时，从服务器接收SWLD，利用SWLD进行自身位置估计，并进行障碍物检测的情况下，利用测距仪等距离传感器、立体摄像机、或多个单眼相机的组合等各种方法，根据自身获得的周边的三维信息来执行障碍物检测。
并且，一般而言，在SWLD中很难包含平坦区域的VXL数据。为此，服务器保持用于静止的障碍物的检测的对WLD进行了下采样的下采样世界空间(subWLD)，并可以将SWLD与subWLD发送给客户端。据此，既能够抑制网络带宽，又能够在客户端侧进行自身位置估计以及障碍物检测。
并且，在客户端快速描绘三维地图数据时，地图信息为网格结构则会有方便的情况。于是，服务器可以根据WLD生成网格，作为网格世界空间(MWLD)来事先保持。例如，在客户端需要进行粗糙的三维描绘时则接收MWLD，在需要进行详细的三维描绘时则接收WLD。据此，能够抑制网络带宽。
并且，服务器虽然从各VXL中，将特征量为阈值以上的VXL设定为FVXL，不过也可以通过不同的方法来算出FVXL。例如，服务器将构成信号或交叉点等的VXL、VLM、SPC、或GOS判断为在自身位置估计、驾驶辅助、或自动驾驶等中需要，则可以作为FVXL、FVLM、FSPC、FGOS而包含在SWLD。并且，上述判断可以通过手动进行。另外，可以在基于特征量而设定的FVXL等中加入由上述方法得到的FVXL等。即，SWLD提取部403进一步可以从输入三维数据411，将与具有预先规定的属性的物体对应的数据作为提取三维数据412来提取。
并且，可以针对需要用于这些用途的状况赋予与特征量不同的标签。服务器可以将信号或交叉点等自身位置估计、驾驶辅助、或自动驾驶等中所需要的FVXL，作为SWLD的上位层(例如车道世界空间)而另外保持。
并且，服务器也可以按照随机存取单位或规定的单位，将属性附加到WLD内的VXL。属性例如包括：示出自身位置估计中所需要的或不需要的信息、或示出作为信号或交叉点等交通信息是否重要等信息。并且，属性中也可以包括车道信息(GDF：Geographic DataFiles等)中的与Feature(交叉点或道路等)的对应关系。
并且，作为WLD或SWLD的更新方法，可以采用如下的方法。
示出人、施工、或街道树(面向轨迹)的变化等更新信息作为点群或元数据被加载到服务器。服务器根据该加载来更新WLD，在此之后，利用更新的WLD来更新SWLD。
并且，在客户端对自身位置估计时自身所生成的三维信息与从服务器接收的三维信息的不匹配进行检测的情况下，可以将自身所生成的三维信息与更新通知一起发送到服务器。在这种情况下，服务器利用WLD来更新SWLD。在SWLD没有被更新的情况下，服务器判断WLD自身是旧的。
并且，作为编码流的头部信息，虽然附加了用于区别是WLD还是SWLD的信息，例如在网格世界空间或车道世界空间等存在多种世界空间的情况下，用于对他们进行区別的信息可以被附加到头部信息。并且，在特征量不同的SWLD存在多个的情况下，用于对他们分别进行区別的信息也可以被附加到头部信息。
并且，SWLD虽然由FVXL来构成，不过也可以包括没有被判断为FVXL的VXL。例如，SWLD可以包括在算出FVXL的特征量时所使用的邻接VXL。据此，即使在SWLD的各FVXL没有附加特征量信息的情况下，客户端也能够在接收SWLD时来算出FVXL的特征量。另外，此时，SWLD可以包括用于区别各VXL是FVXL还是VXL的信息。
如以上所述，三维数据编码装置400从输入三维数据411(第1三维数据)提取特征量为阈值以上的提取三维数据412(第2三维数据)，通过对提取三维数据412进行编码，来生成编码三维数据414(第1编码三维数据)。
据此，三维数据编码装置400生成对特征量为阈值以上的数据进行编码而得到的编码三维数据414。这样，与直接对输入三维数据411进行编码的情况相比，能够减少数据量。因此，三维数据编码装置400能够减少传输时的数据量。
并且，三维数据编码装置400进一步通过对输入三维数据411进行编码，来生成编码三维数据413(第2编码三维数据)。
据此，三维数据编码装置400例如按照使用用途等，能够对编码三维数据413与编码三维数据414进行有选择地传输。
并且，提取三维数据412由第1编码方法而被编码，输入三维数据411由与第1编码方法不同的第2编码方法而被编码。
据此，三维数据编码装置400能够针对输入三维数据411与提取三维数据412分别采用恰当的编码方法。
并且，在第1编码方法中，与第2编码方法相比，帧内预测以及帧间预测之中的帧间预测被优先。
据此，三维数据编码装置400能够针对邻接的数据间的相关容易变低的提取三维数据412，来提高帧间预测的优先级。
并且，在第1编码方法与第2编码方法中，三维位置的表现手法不同。例如在第2编码方法中，由八叉树来表现三维位置，在第1编码方法中，由三维坐标来表现三维位置。
据此，三维数据编码装置400针对数据数(VXL或FVXL的数量)不同的三维数据，能够采用更加恰当的三维位置的表现手法。
并且，在编码三维数据413以及414的至少一方包括，示出该编码三维数据是通过对输入三维数据411进行编码而得到的编码三维数据、还是通过对输入三维数据411之中的一部分进行编码而得到的编码三维数据的标识符。即，该标识符示出编码三维数据是WLD的编码三维数据413、还是SWLD的编码三维数据414。
据此，解码装置能够容易地判断获取的编码三维数据是编码三维数据413还是编码三维数据414。
并且，三维数据编码装置400以编码三维数据414的数据量比编码三维数据413的数据量少的方式，对提取三维数据412进行编码。
据此，三维数据编码装置400能够使编码三维数据414的数据量比编码三维数据413的数据量少。
并且，三维数据编码装置400进一步，从输入三维数据411将与具有预先规定的属性的物体对应的数据，作为提取三维数据412来提取。例如，具有预先规定的属性的物体是指，自身位置估计、驾驶辅助、或自动驾驶等中所需要的物体，是信号或交叉点等。
据此，三维数据编码装置400能够生成包括解码装置所需要的数据的编码三维数据414。
并且，三维数据编码装置400(服务器)进一步按照客户端的状态，将编码三维数据413以及414的一方发送到客户端。
据此，三维数据编码装置400能够按照客户端的状态，来发送恰当的数据。
并且，客户端的状态包括客户端的通信状况(例如网络带宽)或客户端的移动速度。
并且，三维数据编码装置400进一步按照客户端的请求，将编码三维数据413以及414的一方发送到客户端。
据此，三维数据编码装置400能够按照客户端的请求，发送恰当的数据。
并且，本实施方式所涉及的三维数据解码装置500对由上述三维数据编码装置400生成的编码三维数据413或414进行解码。
即，三维数据解码装置500通过第1解码方法，对从输入三维数据411提取的特征量为阈值以上的提取三维数据412被编码而得到的编码三维数据414进行解码。并且，三维数据解码装置500对输入三维数据411被编码而得到的编码三维数据413，利用与第1解码方法不同的第2解码方法进行解码。
据此，三维数据解码装置500针对特征量为阈值以上的数据被编码而得到的编码三维数据414与编码三维数据413，例如能够按照使用用途等来有选择地接收。据此，三维数据解码装置500能够减少传输时的数据量。而且，三维数据解码装置500能够针对输入三维数据411与提取三维数据412分别采用恰当的解码方法。
并且，在第1解码方法中，与第2解码方法相比，帧内预测以及帧间预测之中的帧间预测被优先。
据此，三维数据解码装置500针对邻接的数据间的相关容易变低的提取三维数据，能够提高帧间预测的优先级。
并且，在第1解码方法与第2解码方法中，三维位置的表现手法不同。例如在第2解码方法中通过八叉树来表现三维位置，在第1解码方法中通过三维坐标来表现三维位置。
据此，三维数据解码装置500针对数据数(VXL或FVXL的数量)不同的三维数据，能够采用更恰当的三维位置的表现手法。
并且，编码三维数据413以及414的至少一方包括标识符，该标识符示出该编码三维数据是通过对输入三维数据411进行编码而得到的编码三维数据、还是通过对输入三维数据411中的一部分进行编码而得到的编码三维数据。三维数据解码装置500参照该标识符，来识别编码三维数据413以及414。
据此，三维数据解码装置500能够容易地判断获得的编码三维数据是编码三维数据413还是编码三维数据414。
并且，三维数据解码装置500进一步将客户端(三维数据解码装置500)的状态通知给服务器。三维数据解码装置500按照客户端的状态，来接收从服务器发送的编码三维数据413以及414的一方。
据此，三维数据解码装置500能够按照客户端的状态来接收恰当的数据。
并且，客户端的状态包括客户端的通信状况(例如网络带宽)或客户端的移动速度。
并且，三维数据解码装置500进一步向服务器请求编码三维数据413以及414的一方，并按照该请求，接收从服务器发送的编码三维数据413以及414的一方。
据此，三维数据解码装置500能够接收与用途对应的恰当的数据。
(实施方式3)
在本实施方式中，对车辆间的三维数据的收发方法进行说明。
图24是示出自身车辆600与周围车辆601之间的三维数据607的收发的状态的模式图。
在通过被搭载于自身车辆600的传感器(测距仪等距离传感器、立体摄影机、或多个单眼相机的组合等)来获取三维数据的情况下，由于周围车辆601等障碍物的影响，虽然在自身车辆600的传感器检测范围602内，但是会出现不能制作三维数据的区域(以后将此称为遮挡区域604)。并且，虽然获得三维数据的空间越大，自律动作的精确度就会越高，但是，仅自身车辆600的传感器检测范围是有限的。
自身车辆600的传感器检测范围602包括能够获得三维数据的区域603以及遮挡区域604。自身车辆600想要获得三维数据的范围包括自身车辆600的传感器检测范围602、以及除此以外的区域。并且，周围车辆601的传感器检测范围605包括遮挡区域604、以及自身车辆600的传感器检测范围602中没有包括的区域606。
周围车辆601将周围车辆601检测的信息传输到自身车辆600。自身车辆600通过获得前方行驶车辆等周围车辆601检测的信息，从而能够获得遮挡区域604、以及自身车辆600的传感器检测范围602以外的区域606的三维数据607。自身车辆600利用周围车辆601获得的信息，对遮挡区域604以及传感器检测范围外的区域606的三维数据进行补充。
车辆或机器人的自律动作中的三维数据的用途为自身位置估计、周围状况的检测、或者这双方。例如，在自身位置估计中根据自身车辆600的传感器信息，而使用以自身车辆600生成的三维数据。在周围状况的检测中，除了以自身车辆600生成的三维数据以外，还使用由周围车辆601获得的三维数据。
用于将三维数据607传输给自身车辆600的周围车辆601，可以按照自身车辆600的状态来决定。例如，该周围车辆601是自身车辆600直行时的前方行驶车辆、自身车辆600右转时的对向车辆、自身车辆600后退时的后方车辆。并且，也可以是，自身车辆600的驾驶人直接指定用于将三维数据607传输到自身车辆600的周围车辆601。
并且，自身车辆600也可以搜索想要获得三维数据607的空间内包含的、持有自身车辆600不能获得的区域的三维数据的周围车辆601。自身车辆600不能获得的区域是指；遮挡区域604或传感器检测范围602以外的区域606等。
并且，自身车辆600也可以根据自身车辆600的传感器信息，来确定遮挡区域604。例如，自身车辆600将自身车辆600的传感器检测范围602内包含的、不能制作三维数据的区域确定为遮挡区域604。
以下对传输三维数据607的是前方行驶车辆的情况下的工作例子进行说明。图25示出了这种情况下的被传输的三维数据的一个例子。
如图25所示，从前方行驶车辆传输的三维数据607例如是点云数据的稀疏世界空间(SWLD)。即，前方行驶车辆根据该前方行驶车辆的传感器所检测的信息，制作WLD的三维数据(点云数据)，通过从WLD的三维数据提取特征量为阈值以上的数据，来制作SWLD的三维数据(点云数据)。并且，前方行驶车辆将制作的SWLD的三维数据传输到自身车辆600。
自身车辆600接受SWLD，并将接受的SWLD合并到自身车辆600所制作的点云数据。
被传输的SWLD具有绝对坐标(三维图的坐标系中的SWLD的位置)的信息。自身车辆600根据该绝对坐标，对由自身车辆600生成的点云数据进行叠加，从而能够实现合并处理。
从周围车辆601传输的SWLD可以是自身车辆600的传感器检测范围602外、且周围车辆601的传感器检测范围605内的区域606的SWLD、或者可以是相对于自身车辆600的遮挡区域604的SWLD、或者可以是这双方的SWLD。并且，被传输的SWLD也可以是，上述的SWLD中的、周围车辆601在进行周围状况的检测时使用的区域的SWLD。
并且，周围车辆601可以按照基于自身车辆600与周围车辆601的速度差的可通信时间，使被传输的点云数据的密度发生变化。例如，在速度差大而可通信时间短的情况下，周围车辆601可以通过从SWLD中提取特征量大的三维点，来降低点云数据的密度(数据量)。
并且，周围状况的检测是指，判断是否有人、车辆、以及道路施工用的器材等的存在，确定其种类，并对其位置、移动方向以及移动速度等进行的检测。
并且，也可以是，自身车辆600取代由周围车辆601生成的三维数据607而获得周围车辆601的制动信息、或者除了三维数据607以外，还获得周围车辆601的制动信息。在此，周围车辆601的制动信息例如是示出周围车辆601的加速器或制动器被踩下、或者示出被踩下的程度的信息。
并且，在各个车辆生成的点云数据，考虑车辆间的低延迟通信，将三维空间细分为随机存取单位。另外，在从服务器下载的地图数据，与车辆间通信的情况相比，三维地图等被划分为大的随机存取单位。
前方行驶车辆的前方的区域或后方行驶车辆的后方的区域等容易成为遮挡区域的区域的数据，作为面向低延迟的数据，被划分为小的随机存取单位。
在高速行驶时，由于正面的重要性增高，各车辆在高速行驶时，将视角窄的范围的SWLD，以小的随机存取单位来制作。
在前方行驶车辆为了进行传输而制作的SWLD内，包括以自身车辆600能够获得点云数据的区域的情况下，前方行驶车辆可以通过去除该区域的点云数据来减少传输量。
接着，对作为本实施方式所涉及的三维数据接收装置的三维数据制作装置620的构成以及工作进行说明。
图26是本实施方式所涉及的三维数据制作装置620的方框图。该三维数据制作装置620例如被包括在上述的自身车辆600，通过将接收的第2三维数据635与三维数据制作装置620所制作的第1三维数据632进行合成，从而制作更密的第3三维数据636。
该三维数据制作装置620具备：三维数据制作部621、请求范围决定部622、搜索部623、接收部624、解码部625、以及合成部626。图27是示出三维数据制作装置620的工作的流程图。
首先，三维数据制作部621利用由自身车辆600具备的传感器检测的传感器信息631，制作第1三维数据632(S621)。接着，请求范围决定部622决定请求范围，该请求范围是指制作的第1三维数据632中的数据不够的三维空间范围(S622)。
接着，搜索部623对持有请求范围的三维数据的周围车辆601进行搜索，将示出请求范围的请求范围信息633，发送到通过搜索而确定的周围车辆601(S623)。接着，接收部624从周围车辆601接收作为请求范围的编码流的编码三维数据634(S624)。另外，搜索部623可以针对确定的范围中存在的所有的车辆无差别地发出请求，从有应答的对方接收编码三维数据634。并且，搜索部623并非受限于车辆，也可以向信号机或标识等物体发出请求，并从该物体接收编码三维数据634。
接着，通过解码部625对接收的编码三维数据634进行解码，而获得第2三维数据635(S625)。接着，通过合成部626对第1三维数据632与第2三维数据635进行合成，来制作更密的第3三维数据636(S626)。
接着，对本实施方式所涉及的三维数据发送装置640的构成以及工作进行说明。图28是三维数据发送装置640的方框图。
三维数据发送装置640例如包括在上述的周围车辆601中，将周围车辆601制作的第5三维数据652加工为自身车辆600所请求的第6三维数据654，并通过对第6三维数据654进行编码来生成编码三维数据634，将编码三维数据634发送到自身车辆600。
三维数据发送装置640具备：三维数据制作部641、接收部642、提取部643、编码部644、以及发送部645。图29是示出三维数据发送装置640的工作流程图。
首先，三维数据制作部641利用由周围车辆601具备的传感器检测的传感器信息651，制作第5三维数据652(S641)。接着，接收部642接收从自身车辆600发送的请求范围信息633(S642)。
接着，通过提取部643从第5三维数据652提取由请求范围信息633表示的请求范围的三维数据，将第5三维数据652加工成第6三维数据654(S643)。接着，通过编码部644对第6三维数据654进行编码，从而生成作为编码流的编码三维数据634(S644)。于是，发送部645向自身车辆600发送编码三维数据634(S645)。
另外，在此，虽然对自身车辆600具备三维数据制作装置620，周围车辆601具备三维数据发送装置640的例子进行了说明，但是，各个车辆也可以具有三维数据制作装置620和三维数据发送装置640的功能。
以下，对三维数据制作装置620为实现自身车辆600的周围状况的检测处理的周围状况检测装置的情况下的构成以及工作进行说明。图30是示出这种情况下的三维数据制作装置620A的构成的方框图。图30所示的三维数据制作装置620A除了图26所示的三维数据制作装置620的构成以外，还具备：检测区域决定部627、周围状况检测部628、以及自律动作控制部629。并且，三维数据制作装置620A包括在自身车辆600中。
图31是由三维数据制作装置620A进行自身车辆600的周围状况检测处理的流程图。
首先，三维数据制作部621利用由自身车辆600具备的传感器检测的、自身车辆600的检测范围的传感器信息631，制作作为点云数据的第1三维数据632(S661)。另外，三维数据制作装置620A还可以利用传感器信息631，来进行自身位置估计。
接着，检测区域决定部627决定作为想要检测周围状况的空间区域的检测对象范围(S662)。例如，检测区域决定部627按照自身车辆600的行驶方向以及速度等自律动作(自动驾驶)的状况，算出为了进行安全的自律动作而在周围状况检测中所需要的区域，并将该区域决定为检测对象范围。
接着，请求范围决定部622将遮挡区域604、以及虽然是自身车辆600的传感器的检测范围外但却是周围状况检测所需要的空间区域，决定为请求范围(S663)。
在由步骤S663决定的请求范围存在的情况下(S664的“是”)，搜索部623对持有与请求范围有关的信息的周围车辆进行搜索。例如，搜索部623可以向周围车辆询问是否持有与请求范围有关的信息，根据请求范围与周围车辆的位置，来判断该周围车辆是否持有与请求范围有关的信息。接着，搜索部623针对通过搜索而确定的周围车辆601，发送用于委托三维数据的传输的委托信号637。并且，搜索部623在接收到从周围车辆601发送的、表示接受委托信号637的委托的允许信号之后，将示出请求范围的请求范围信息633发送到周围车辆601(S665)。
接着，接收部624检测作为与请求范围有关的信息的发送数据638的传输通知，并接受该发送数据638(S666)。
另外，三维数据制作装置620A也可以不搜索发送请求的对方，而针对确定的范围内存在的所有的车辆，无差别地发出请求，从应答为持有与请求范围有关的信息的对方接收发送数据638。并且，搜索部623并非受车辆所限，也可以向信号机或标识等物体发出请求，并从该物体接收发送数据638。
并且，发送数据638包括由周围车辆601生成的、请求范围的三维数据被编码而得到的编码三维数据634、以及请求范围的周围状况检测结果639的至少一方。周围状况检测结果639示出周围车辆601所检测的人以及车辆的位置、移动方向以及移动速度等。并且，发送数据638也可以包括示出周围车辆601的位置以及移动等信息。例如，发送数据638也可以包括周围车辆601的制动信息。
在被接收的发送数据638中包括编码三维数据634的情况下(S667的“是”)，通过解码部625对编码三维数据634进行解码，从而获得SWLD的第2三维数据635(S668)。即，第2三维数据635是通过从第4三维数据(WLD)提取特征量为阈值以上的数据，而被生成的三维数据(SWLD)。
接着，通过合成部626对第1三维数据632与第2三维数据635进行合成，从而生成第3三维数据636(S669)。
接着，周围状况检测部628利用周围状况检测时所需要的空间区域的点云数据即第3三维数据636，来检测自身车辆600的周围状况(S670)。另外，在被接收的发送数据638中包括周围状况检测结果639的情况下，周围状况检测部628除了第3三维数据636以外还利用周围状况检测结果639，来检测自身车辆600的周围状况。并且，在被接收的发送数据638中包括周围车辆601的制动信息的情况下，周围状况检测部628除了第3三维数据636以外还利用该制动信息，来检测自身车辆600的周围状况。
接着，自律动作控制部629根据由周围状况检测部628进行的周围状况检测结果，来控制自身车辆600的自律动作(自动驾驶)(S671)。另外，可以通过UI(用户接口)等，将周围状况检测结果提示给驾驶人。
并且，在步骤S663不存在请求范围的情况下(S664的“否”)，即基于传感器信息631制作了周围状况检测时所需要的所有的空间区域的信息的情况下，周围状况检测部628利用周围状况检测时所需要的空间区域的点云数据即第1三维数据632，来检测自身车辆600的周围状况(S672)。于是，自律动作控制部629根据由周围状况检测部628进行的周围状况检测结果，来控制自身车辆600的自律动作(自动驾驶)(S671)。
并且，在被接收的发送数据638中不包括编码三维数据634的情况下(S667的“否”)，即在发送数据638中仅包括周围车辆601的周围状况检测结果639或制动信息的情况下，周围状况检测部628利用第1三维数据632、以及周围状况检测结果639或制动信息，来检测自身车辆600的周围状况(S673)。于是，自律动作控制部629根据由周围状况检测部628进行的周围状况检测结果，来控制自身车辆600的自律动作(自动驾驶)(S671)。
接着，对将发送数据638发送向上述的三维数据制作装置620A的三维数据发送装置640A进行说明。图32是该三维数据发送装置640A的方框图。
图32所示的三维数据发送装置640A除了图28所示的三维数据发送装置640的构成以外，还具备传输可否判断部646。并且，三维数据发送装置640A包括在周围车辆601中。
图33是示出三维数据发送装置640A的工作例的流程图。首先，三维数据制作部641利用周围车辆601所具备的传感器检测的传感器信息651，来制作第5三维数据652(S681)。
接着，接收部642从自身车辆600，接收用于委托三维数据的传输请求的委托信号637(S682)。接着，传输可否判断部646决定是否应答由委托信号637示出的委托(S683)。例如，传输可否判断部646根据用户预先设定的内容，来决定是否应答委托。另外，也可以是，接收部642先接受请求范围等来自对方的请求，传输可否判断部646根据该内容来决定是否应答委托。例如，传输可否判断部646可以在持有请求范围的三维数据的情况下，决定为应答委托，在没有请求范围的三维数据的情况下，决定为不应答委托。
在应答委托的情况下(S683的“是”)，三维数据发送装置640A将允许信号发送到自身车辆600，接收部642接收示出请求范围的请求范围信息633(S684)。接着，提取部643从作为点云数据的第5三维数据652取出请求范围的点云数据，制作包括取出的点云数据的SWLD即第6三维数据654的发送数据638(S685)。
即，可以是，三维数据发送装置640A根据传感器信息651制作第7三维数据(WLD)，通过从第7三维数据(WLD)提取特征量为阈值以上的数据，来制作第5三维数据652(SWLD)。并且可以是，三维数据制作部641预先制作SWLD的三维数据，在提取部643从SWLD的三维数据提取请求范围的SWLD的三维数据，也可以是，提取部643根据请求范围的WLD的三维数据，生成请求范围的SWLD的三维数据。
并且，发送数据638可以包括由周围车辆601进行的请求范围的周围状况检测结果639、以及周围车辆601的制动信息。并且，发送数据638也可以不包括第6三维数据654，而可以仅包括由周围车辆601进行的请求范围的周围状况检测结果639、以及周围车辆601的制动信息的至少一方。
在发送数据638包括第6三维数据654的情况下(S686的“是”)，编码部644对第6三维数据654进行编码，从而生成编码三维数据634(S687)。
于是，发送部645将包括编码三维数据634的发送数据638发送到自身车辆600(S688)。
并且，在发送数据638不包括第6三维数据654的情况下(S686的“否”)，发送部645将包括由周围车辆601进行的请求范围的周围状况检测结果639、以及周围车辆601的制动信息的至少一方的发送数据638发送到自身车辆600(S688)。
以下对本实施方式的变形例进行说明。
例如，从周围车辆601传输的信息也可以不是周围车辆制作的三维数据或周围状况检测结果，而可以是周围车辆601自身的正确的特征点信息。自身车辆600利用该周围车辆601的特征点信息，来校正自身车辆600所获得的点云数据内的前方行驶车辆的特征点信息。据此，自身车辆600能够提高自身位置估计时的匹配精确度。
并且，前方行驶车辆的特征点信息例如是由色信息以及坐标信息构成的三维点信息。据此，即使自身车辆600的传感器是激光传感器、或是立体摄影机，也能够不依存于其种类，而使用前方行驶车辆的特征点信息。
另外，自身车辆600也并非受传输时所限，而可以在算出自身位置估计时的精确度时，使用SWLD的点云数据。例如，在自身车辆600的传感器为立体摄影机等撮像装置的情况下，对自身车辆600以摄像机拍摄的图像上的二维点进行检测，利用该二维点来估计自身位置。并且，自身车辆600在进行自身位置的估计的同时，制作周边物体的点云数据。自身车辆600将其中的SWLD的三维点，再次投影到二维图像上，根据二维图像上的检测点与再次进行的投影点的误差，来评价自身位置估计的精确度。
并且，在自身车辆600的传感器为LIDAR等激光传感器的情况下，自身车辆600根据利用制作的点云数据的SWLD、与三维地图的SWLD通过迭代最近点算法(Iterative ClosestPoint)而算出的误差，来对自身位置估计的精确度进行评价。
并且，在经由5G等基站或服务器的通信状态差的情况下，自身车辆600可以从周围车辆601获得三维地图。
并且，关于不能从自身车辆600的周边的车辆来获得的远处的信息，可以通过车与车之间的通信来获得。例如，关于在前方几百米或几公里处刚刚发生的交通事故信息等，自身车辆600可以通过与对向车辆会车时的通信、或在周围车辆依次传递的方式等来获得。此时，被传输的数据的数据形式为，作为动态的三维地图的上位层的元信息被传输。
并且，周围状况的检测结果、以及自身车辆600检测的信息可以通过用户接口来提示给用户。例如，通过重叠到导航的画面或挡风玻璃，来实现这些信息的提示。
并且，也可以不支援自动驾驶，在具有巡航定速的车辆，发现以自动驾驶模式行驶的周围车辆时，而可以跟踪该周围车辆。
并且，在不能获得三维地图、或因遮挡区域过多等原因而不能进行自身位置估计的情况下，自身车辆600可以将工作模式从自动驾驶模式切换为周围车辆的跟踪模式。
并且，在被跟踪的车辆可以将被跟踪的状况向用户发出警告，用户能够指定的是否允许跟踪的用户接口也可以被搭载。此时可以在跟踪车辆设计广告显示，在被跟踪一侧设计支付奖励等。
并且，被传输的信息虽然基本上是作为三维数据的SWLD，也可以是与被设定在自身车辆600的请求设定或前方行驶车辆的公开设定对应的信息。例如，被传输的信息可以是密度大的点云数据的WLD、也可以是由前方行驶车辆进行的周围状况的检测结果、前方行驶车辆的制动信息。
并且，自身车辆600接收WLD，将WLD的三维数据视觉化，并利用GUI将被视觉化后的三维数据提示给驾驶人。此时，自身车辆600可以采用自身车辆600制作的点云数据与接收的点云数据能够由用户区别的方式，采用不同的颜色表示信息，以进行提示。
并且，在自身车辆600利用GUI将自身车辆600所检测的信息和周围车辆601的检测结果提示给驾驶人的情况下，以自身车辆600所检测的信息与接收的检测结果能够由用户区別的方式，将信息进行颜色区分等来提示。
如以上所述，在本实施方式所涉及的三维数据制作装置620，三维数据制作部621根据传感器检测的传感器信息631，制作第1三维数据632。接收部624接收通过第2三维数据635被编码而得到的编码三维数据634。解码部625通过对接收的编码三维数据634进行解码，从而获得第2三维数据635。合成部626通过对第1三维数据632与第2三维数据635进行合成，从而制作第3三维数据636。
据此，三维数据制作装置620能够利用制作的第1三维数据632、接收的第2三维数据635，来制作详细的第3三维数据636。
并且，合成部626通过对第1三维数据632与第2三维数据635进行合成，从而能够制作密度比第1三维数据632以及第2三维数据635高的第3三维数据636。
并且，第2三维数据635(例如SWLD)是通过从第4三维数据(例如WLD)提取特征量为阈值以上的数据而被生成的三维数据。
据此，三维数据制作装置620能够减少传输的三维数据的数据量。
并且，三维数据制作装置620还包括搜索部623，对作为编码三维数据634的发送源的发送装置进行搜索。接收部624从搜索到的发送装置接收编码三维数据634。
据此，三维数据制作装置620例如能够通过搜索，来确定持有所需要的三维数据的发送装置。
并且，三维数据制作装置进一步具备请求范围决定部622，决定请求范围，该请求范围是请求三维数据的三维空间的范围。搜索部623将示出请求范围的请求范围信息633发送到发送装置。第2三维数据635包括请求范围的三维数据。
据此，三维数据制作装置620不仅能够接收所需要的三维数据，而且能够减少传输的三维数据的数据量。
并且，请求范围决定部622将包括传感器不能检测的遮挡区域604的空间范围，决定为请求范围。
并且，在本实施方式所涉及的三维数据发送装置640，三维数据制作部641根据传感器所检测的传感器信息651，来制作第5三维数据652。提取部643通过对第5三维数据652的一部分进行提取，从而制作第6三维数据654。编码部644通过对第6三维数据654进行编码，从而生成编码三维数据634。发送部645对编码三维数据634进行发送。
据此，三维数据发送装置640不仅能够将自身制作的三维数据发送到其他的装置，而且还能够减少传输的三维数据的数据量。
并且，三维数据制作部641根据传感器所检测的传感器信息651，来制作第7三维数据(例如WLD)，通过从第7三维数据提取特征量为阈值以上的数据，从而制作第5三维数据652(例如SWLD)。
据此，三维数据发送装置640能够减少传输的三维数据的数据量。
并且，三维数据发送装置640进一步具备接收部642，从接收装置接收示出请求范围的请求范围信息633，所述请求范围是请求三维数据的三维空间的范围。提取部643通过从第5三维数据652提取请求范围的三维数据，从而制作第6三维数据654。发送部645将编码三维数据634发送到接收装置。
据此，三维数据发送装置640能够减少传输的三维数据的数据量。
(实施方式4)
在本实施方式中，对基于三维地图的自身位置估计中的有关异常状况的工作进行说明。
使机动车的自动驾驶、机器人、或者无人机等飞行物体等移动体自律的移动等用途今后将会扩大。作为实现这种自律的移动的方法的一个例子有，移动体一边估计自己在三维地图内的位置(自身位置估计)，一边按照地图来行驶的方法。
自身位置估计是通过对三维地图、与搭载于自身车辆的测距仪(LiDAR等)或立体相机等传感器所获得的自身车辆周边的三维信息(以后称为自身车辆检测三维数据)进行匹配，并对三维地图内的自身车辆位置进行估计而实现的。
三维地图如HERE公司提出的HD地图等所示，不仅是三维的点云，而且可以包括道路以及交叉路口的形状信息等二维的地图数据、或堵塞以及事故等以实际时间发生变化的信息。由三维数据、二维数据、实际时间中发生变化的元数据等多个层次构成三维地图，装置可以仅获得需要的数据，或者也可以参考所需要的数据。
点云的数据可以是上述的SWLD，也可以包括不是特征点的点群数据。并且，点云的数据的收发基本上以一个或多个随机存取单位来执行。
作为三维地图与自身车辆检测三维数据的匹配方法，能够采用以下的方法。例如，装置对彼此的点云中的点群的形状进行比较，将特征点间的类似度高的部位决定为同一位置。并且，在三维地图由SWLD构成的情况下，装置对构成SWLD的特征点、与从自身车辆检测三维数据提取的三维特征点进行比较并进行匹配。
在此，为了高精度地进行自身位置估计，需要满足如下的(A)和(B)，(A)已经能够获得三维地图和自身车辆检测三维数据，(B)他们的精度满足预先决定的基准。但是，在以下的这种异常情况中，(A)或(B)不能满足。
(1)通过通信路径不能获得三维地图。
(2)不存在三维地图，或者获得的三维地图被损坏。
(3)自身车辆的传感器出现故障，或者由于天气不好，自身车辆检测三维数据的生成精度不够。
以下对为了应对这些异常情况的工作进行说明。以下虽然以车辆为例对其工作进行说明，以下的方法也能够适用于机器人或无人机等进行自律移动的所有的运动物体。
以下将要说明的是为了对应三维地图或自身车辆检测三维数据中的异常情况的本实施方式所涉及的三维信息处理装置的构成以及工作。图34是示出本实施方式所涉及的三维信息处理装置700的构成例的方框图。图35是由三维信息处理装置700进行的三维信息处理方法的流程图。
三维信息处理装置700例如被搭载于机动车等移动物体。如图34所示，三维信息处理装置700具备：三维地图获得部701、自身车辆检测数据获得部702、异常情况判断部703、应对工作决定部704、以及工作控制部705。
另外，三维信息处理装置700也可以具备获得二维图像的相机，或者可以具备采用了超声波或激光的一维数据的传感器等用于检测自身车辆周边的结构物体或移动物体的未图示的二维或一维传感器。并且，三维信息处理装置700也可以具备通信部(未图示)，该通信部用于通过4G或5G等移动体通信网、或者车与车之间的通信、道路与车之间的通信，来获得三维地图。
如图35所示，三维地图获得部701获得行驶路径附近的三维地图711(S701)。例如，三维地图获得部701通过移动体通信网、或车与车之间的通信、道路与车之间的通信获得三维地图711。
接着，自身车辆检测数据获得部702根据传感器信息，获得自身车辆检测三维数据712(S702)。例如，自身车辆检测数据获得部702根据由自身车辆所具备的传感器获得的传感器信息，生成自身车辆检测三维数据712。
接着，异常情况判断部703通过针对获得的三维地图711以及自身车辆检测三维数据712的至少一方执行预先决定的检查，来检测异常情况(S703)。即，异常情况判断部703对获得的三维地图711以及自身车辆检测三维数据712的至少一方判断是否为异常。
在步骤S703，在异常情况被检测出的情况下(S704的“是”)、应对工作决定部704决定针对异常情况的应对工作(S705)。接着，工作控制部705对三维地图获得部701等在应对工作的实施中所需要的各处理部的工作进行控制(S706)。
另外，在步骤S703，在异常情况没有检测出的情况下(S704的“否”)，三维信息处理装置700结束处理。
并且，三维信息处理装置700利用三维地图711和自身车辆检测三维数据712，进行具有三维信息处理装置700的车辆的自身位置估计。接着，三维信息处理装置700利用自身位置估计的结果，使该车辆进行自动驾驶。
据此，三维信息处理装置700经由通信路径，获得包括第1三维位置信息的地图数据(三维地图711)。例如，第1三维位置信息以具有三维的坐标信息的部分空间为单位而被编码，第1三维位置信息包括多个随机存取单位，多个随机存取单位的每一个为一个以上的部分空间的集合体，且能够被独立解码。例如，第1三维位置信息是三维的特征量成为规定的阈值以上的特征点被编码的数据(SWLD)。
并且，三维信息处理装置700根据由传感器检测的信息，生成第2三维位置信息(自身车辆检测三维数据712)。接着，三维信息处理装置700通过针对第1三维位置信息或第2三维位置信息执行异常判断处理，来判断第1三维位置信息或所述第2三维位置信息是否为异常。
三维信息处理装置700在判断第1三维位置信息或第2三维位置信息为异常的情况下，决定针对该异常的应对工作。接着，三维信息处理装置700执行在应对工作的实施时所需要的控制。
据此，三维信息处理装置700能够检测第1三维位置信息或第2三维位置信息的异常，并能够进行应对工作。
以下对异常情况1即经由通信不能获得三维地图711的情况下的应对工作进行说明。
在进行自身位置估计时需要三维地图711，但是在车辆没有事先获得与到达目的地的路径对应的三维地图711的情况下，则需要通过通信来获得三维地图711。然而，由于通信路径的拥塞或电波接收状态的恶化等，会有车辆不能获得行驶路径上的三维地图711的情况。
异常情况判断部703确认到达目的地的路径上的所有的区间、或从当前位置的规定的范围内的区间中的三维地图711是否已经获得，在不能获得的情况下，判断为异常情况1。即，异常情况判断部703判断经由通信路径是否能够获得三维地图711(第1三维位置信息)，在经由通信路径不能获得三维地图711的情况下，判断三维地图711为异常。
在判断为异常情况1的情况下，应对工作决定部704从以下的两个应对工作之中选择其中的一方，(1)继续进行自身位置估计，以及(2)停止自身位置估计。
首先，(1)对继续进行自身位置估计的情况下的应对工作的具体例子进行说明。在继续进行自身位置估计的情况下，则需要到达目的地的路径上的三维地图711。
例如，车辆对已经获得了三维地图711的范围内能够利用通信路径的场所进行判断，移动到该场所，获得三维地图711。此时，车辆可以获得到达目的地的所有的三维地图711，也可以在自身车辆的存储器或HDD等记录部中能够保持的上限大小内，按每个随机存取单位来获得三维地图711。
另外也可以进行如下的工作，车辆另外获得路径上的通信状态，在能够预测到路径上的通信状态变差的情况下，在到达通信状态差的区间之前，事先获得该区间的三维地图711，或者事先获得能够获得的最大范围的三维地图711。即，三维信息处理装置700预测车辆是否将会进入通信状态差的区域。三维信息处理装置700在预测到车辆将会进入通信状态差的区域的情况下，在该车辆进入该区域之前，获得三维地图711。
并且也可以是，车辆对比通常时的范围窄的、构成路径上的自身位置估计时所需要的最小限的三维地图711的随机存取单位进行确定，并接收确定的随机存取单位。即，三维信息处理装置700在经由通信路径不能获得三维地图711(第1三维位置信息)的情况下，可以经由通信路径获得比第1三维位置信息的范围窄的第3三维位置信息。
并且，车辆在不能向三维地图711的分发服务器进行访问的情况下，可以从在自身车辆周边行驶的其他车辆等移动体获得三维地图711，此时的其他车辆等为已经获得了到达目的地的路径上的三维地图711、且能够与自身车辆通信的移动体。
接着，对(2)停止自身位置估计的情况下的应对工作的具体例子进行说明。在这种情况下，不需要到达目的地的路径上的三维地图711。
例如，车辆将基于自身位置估计的自动驾驶等功能不能继续执行的状况通知给驾驶人，将工作模式转移为由驾驶人进行的人工操作模式。
通常在进行自身位置估计时，虽然有按照人的存在而级别不同的情况，但是执行自动驾驶。另外，自身位置估计的结果也有利用人在驾驶时的导航等的可能性。因此，自身位置估计的结果并非必需要用于自动驾驶。
并且，在车辆不能利用4G或5G等移动体通信网等通常使用的通信路径的情况下，确认经由道路与车辆间的Wi-Fi(注册商标)或毫米波通信、或者车与车之间的通信等其他的通信路径路径，是否能够获得三维地图711，可以将使用的通信路径切换为能够获得三维地图711的通信路径。
并且，在车辆不能获得三维地图711的情况下，也可以获得二维地图，利用二维地图与自身车辆检测三维数据712来继续进行自动驾驶。即，三维信息处理装置700在经由通信路径不能获得三维地图711的情况下，可以经由通信路径获得包括二维位置信息的地图数据(二维地图)，利用二维位置信息与自身车辆检测三维数据712进行车辆的自身位置估计。
具体而言，车辆在自身位置估计中使用二维地图和自身车辆检测三维数据712，在周边的车辆、歩行人、以及障碍物等检测中使用自身车辆检测三维数据712。
在此，HD地图等的地图数据除了能够包括由三维的点云等构成的三维地图711，而且能够包括二维的地图数据(二维地图)、从二维的地图数据中提取了道路形状或交叉路口等具有特征的信息的简易版的地图数据、示出堵塞、事故或施工等实际时间信息的元数据。例如，地图数据具有从下位层开始依次配置的三维数据(三维地图711)、二维数据(二维地图)、元数据的层结构。
在此，二维的数据与三维的数据相比，数据小。因此，即使通信状态不好，车辆也能够获得二维地图。并且，车辆能够在通信状态良好的区间统一获得大范围的二维地图。因此，车辆在通信路径的状态差而难于获得三维地图711的情况下，可以不接收三维地图711而接收包括二维地图的层。另外，由于元数据的数据大小小，因此，例如车辆可以不受通信状态的影响而时常接收元数据。
在采用了二维地图和自身车辆检测三维数据712的自身位置估计的方法中例如有以下的两种方法。
第1个方法是进行二维特征量的匹配的方法。具体而言，车辆从自身车辆检测三维数据712提取二维的特征量，进行提取的二维的特征量与二维地图的匹配。
例如，车辆将自身车辆检测三维数据712投影到与二维地图为相同的平面，进行得到的二维数据与二维地图的匹配。匹配是利用从两者提取的二维的图像特征量执行的。
在三维地图711包括SWLD的情况下，三维地图711可以同时存放三维空间内的特征点上的三维特征量、以及与二维地图为同一平面内的二维的特征量。例如，在二维的特征量中被赋予识别信息。或者，二维的特征量被存放在与三维数据以及二维地图不同的层，车辆在获得二维地图的同时获得二维的特征量的数据。
在二维地图将道路内的白线、护栏以及建筑物等距离地上的高度不同的(不在同一平面内)位置的信息在同一地图内表示的情况下，车辆从自身车辆检测三维数据712的多个高度数据中提取特征量。
并且，示出二维地图中的特征点与三维地图711中的特征点的对应关系的信息，可以作为地图数据的元信息来存放。
第2个方法是进行三维特征量的匹配的方法。具体而言，车辆获得与二维地图的特征点对应的三维特征量，对获得的三维特征量、与自身车辆检测三维数据712的三维特征量进行匹配。
具体而言，与二维地图的特征点对应的三维特征量被存放在地图数据。车辆在获得二维地图时，也获得该三维特征量。另外，在三维地图711包括SWLD的情况下，通过赋予用于识别SWLD的特征点中的与二维地图的特征点对应的特征点的信息，从而，车辆能够根据识别信息，来决定与二维地图一起获得的三维特征量。另外，在这种情况下，由于只要能够表现二维位置即可，因此与表现三维位置的情况相比，能够减少数据量。
并且，在使用二维地图进行自身位置估计时，与三维地图711相比，自身位置估计的精度降低。因此，车辆判断即使在估计精度降低的情况下是否继续进行自动驾驶，只有在判断为能够继续的情况下才继续进行自动驾驶。
自动驾驶是否能够继续进行会受到如下的影响，即车辆行驶中的道路是市区地带、还是高速公路等其他的车辆或歩行人的进入较少的道路，或者道路宽度、道路的混乱程度(车辆或歩行人的密度)等行驶环境。而且，能够在企业用地、大街、或者建筑物内等配置用于使相机等传感器进行识别的标记。在这些特定的区域、由于能够由二维的传感器高精度地识别标记、例如通过在二维地图内包括标记的位置信息，从而能够执行高精度的自身位置估计。
并且，通过在地图内包括示出各区域是否为特定区域的识别信息等，从而车辆能够判断该车辆是否存在于特定区域内。车辆在该车辆存在于特定区域内的情况下，判断为继续自动驾驶。这样，车辆可以根据二维地图使用时的自身位置估计的精度、或车辆的行驶环境，来判断是否可以继续自动驾驶。
这样，三维信息处理装置700根据车辆的行驶环境(移动体的移动环境)，能够判断是否进行采用了如下结果的车辆的自动驾驶，该结果是利用二维地图和自身车辆检测三维数据712进行了车辆的自身位置估计的结果。
并且，也可以是，车辆不进行是否可以继续进行自动驾驶的判断，而是按照自身位置估计的精度或车辆的行驶环境，来切换自动驾驶的级别(模式)。在此，对自动驾驶的级别(模式)的切换例如是指，对速度进行限制、增加驾驶人的操作量(降低自动驾驶的自动级别)、获得前方行驶车辆的行驶信息并参考该信息进行的模式切换、获得设定为同一目的地的车辆的驾驶信息并利用该信息进行的自动驾驶的模式切换等。
并且，地图可以包括与位置信息建立了对应的、示出利用二维地图进行自身位置估计的情况下的自动驾驶的推荐级别的信息。推荐级别可以是按照交通量等而发生动态变化的元数据。据此，车辆可以不必按照周边的环境等依次判断级别，而能够仅通过获得地图内的信息来决定级别。并且，通过多个车辆参照同一地图，从而能够将各个车辆的自动驾驶的级别保持稳定。另外，推荐级别也可以不是推荐的，而是必需遵守的级别。
并且，车辆可以按照是否有驾驶人(是有人还是无人)，来进行自动驾驶的级别的切换。例如，车辆在有人的情况下降低自动驾驶的级别，在无人的情况下停止。车辆通过识别周边的通行人、车辆以及交通标识，来判断能够安全停止的位置。或者，地图可以包括示出车辆能够安全停止的位置的位置信息，车辆可以参照该位置信息来判断能够安全停止的位置。
接着，对异常情况2即三维地图711不存在、或获得的三维地图711损坏了的情况下的应对工作进行说明。
异常情况判断部703对属于以下的(1)和(2)的哪一种情况进行确认，在在属于其中的某个情况下判断为异常情况2，(1)到达目的地的路径上的一部分或所有的区间中的三维地图711不存在于成为访问目的地的分发服务器等而不能获得，或者(2)已获得的三维地图711的一部分或全部发生损坏。即，异常情况判断部703判断三维地图711的数据是否完备，在三维地图711的数据不完备的情况下，判断三维地图711为异常。
在判断为异常情况2的情况下，执行以下的应对工作。首先，对(1)不能获得三维地图711的情况下的应对工作的例子进行说明。
例如，车辆设定不通过没有三维地图711的区间的路径。
并且，车辆由于不存在代替的路径、或即使存在代替的路径但距离会大幅度增加等理由，而不能设定代替的路径的情况下，设定包括没有三维地图711的区间的路径。并且，车辆在该区间向驾驶人通知进行驾驶模式的切换，以将驾驶模式切换为人工操作模式。
(2)在已获得的三维地图711的一部分或全部为毁坏的情况下，进行以下的应对工作。
车辆对三维地图711中的毁坏部位进行确定，通过通信来请求毁坏部位的数据，并获得该毁坏部位的数据，利用获得的数据对三维地图711进行更新。此时，车辆可以通过三维地图711中的绝对坐标或相对坐标等位置信息来指定毁坏部位，也可以通过构成毁坏部位的随机存取单位的索引编号来指定。在这种情况下，车辆以获得的随机存取单位来替换包括毁坏部位的随机存取单位。
接着，对异常情况3即自身车辆的传感器由于故障或不好的天气而不能生成自身车辆检测三维数据712的情况下的应对工作进行说明。
异常情况判断部703确认自身车辆检测三维数据712的生成误差是否在允许范围内，若不在允许范围则判断为异常情况3。即，异常情况判断部703判断自身车辆检测三维数据712的数据的生成精度是否为基准值以上，在自身车辆检测三维数据712的数据的生成精度不是基准值以上的情况下，将自身车辆检测三维数据712判断为异常。
作为自身车辆检测三维数据712的生成误差是否为允许范围内的确认方法，能够采用以下的方法。
根据测距仪或立体相机等自身车辆的三维传感器中的深度方向以及扫描方向的分辨率、或能够生成的点群的密度等，来预先决定正常工作时的自身车辆检测三维数据712的空间分辨率。并且，车辆根据三维地图711中包含的元信息等，来获得三维地图711的空间分辨率。
车辆利用两者的空间分辨率，来估计在根据三维特征量等对自身车辆检测三维数据712与三维地图711进行匹配时的匹配误差的基准值。作为匹配误差，能够利用每个特征点的三维特征量的误差、多个特征点间的三维特征量的误差的平均值等统计量、或多个特征点间的空间的距离的误差等。与基准值偏离的允许范围被事先设定。
车辆在开始行驶前或行驶中生成的自身车辆检测三维数据712与三维地图711的匹配误差不是允许范围内的情况下，判断为异常情况3。
或者可以是，车辆利用具有用于精度检查的已知的三维形状的测试模式，来获得针对行驶开始前等测试模式的自身车辆检测三维数据712，根据形状误差是否为允许范围内，来判断是否为异常情况3。
例如，车辆在行驶开始前每次都进行上述判断。或者，车辆通过在行驶中以一定的时间间隔等进行上述判断，从而获得匹配误差的时间序列变化。车辆在匹配误差具有增加倾向时，即使误差在允许范围内，也可以判断为是异常情况3。并且，车辆根据时间序列变化，在能够预测成为异常的情况下，可以通过对催促検査或修理的消息进行显示等，将预测到成为异常的状况通知给用户。并且，车辆针对因不好的天气等一时性的原因造成的异常、以及因传感器的故障导致的异常，通过时间序列变化来判断，可以仅将由于传感器的故障导致的异常通知给用户。
并且，车辆在判断为异常情况3的情况下，对如下三种应对工作的任一个进行选择，或者有选择地执行，(1)使应急用的代替传感器工作(救援模式)、(2)切换运转模式、(3)进行三维传感器的工作校正。
首先，(1)对使应急用的代替传感器工作的情况进行说明。车辆使与通常运转时所使用的三维传感器不同的应急用的代替传感器工作。即，三维信息处理装置700在自身车辆检测三维数据712的数据的生成精度不是基准值以上的情况下，根据与通常的传感器不同的代替由传感器所检测的信息，来生成自身车辆检测三维数据712(第4三维位置信息)。
具体而言，在车辆并用多个相机或LiDAR来获得自身车辆检测三维数据712的情况下，车辆根据自身车辆检测三维数据712的匹配误差超过允许范围的方向等，来确定工作不良的传感器。于是，车辆使与工作不良的传感器对应的代替传感器工作。
代替传感器可以是三维传感器，也可以是获得二维图像的相机，还可以是超声波等一维传感器等。在代替传感器为三维传感器以外的传感器的情况下，由于会有自身位置估计的精度降低、或不能进行自身位置估计的情况，因此，车辆可以按照代替传感器的种类来对自动驾驶的模式进行切换。
例如，车辆在代替传感器为三维传感器的情况下，继续进行自动驾驶模式。并且，车辆在代替传感器为二维传感器的情况下，将运转模式从完全自动驾驶变更为以人的运转操作为前提的准自动驾驶模式。并且，车辆在代替传感器为一维传感器的情况下，将运转模式切换为不能进行自动的制动控制的人工操作模式。
并且，车辆也可以根据行驶环境，对自动驾驶模式进行切换。例如，车辆在代替传感器为二维传感器的情况下，若在高速公路行驶中则继续进行完全自动驾驶模式，若在市区行驶中则将运转模式切换为准自动驾驶模式。
并且，车辆在没有代替传感器的情况下，若仅以进行正常工作的传感器能够获得充分数量的特征点，则可以继续自身位置估计。但是，由于不能进行针对特定方向的检测，因此，车辆将运转模式切换为准自动驾驶或人工操作模式。
接着，(2)对切换运转模式的应对工作进行说明。车辆将运转模式从自动驾驶模式切换为人工操作模式。或者，车辆可以在直到能够安全停止的路肩等场所为止继续自动驾驶，而后再停止。并且，车辆可以在停止后，将运转模式切换为人工操作模式。这样，三维信息处理装置700在自身车辆检测三维数据712的生成精度不是基准值以上的情况下，对自动驾驶的模式进行切换。
接着，(3)将要说明进行三维传感器的工作校正的应对工作。车辆根据匹配误差发生的方向等，来确定工作不良的三维传感器，进行确定的传感器的校准。具体而言，作为传感器，在使用多个LiDAR或相机的情况下，由各传感器再构成的三维空间的一部分重叠。即，重叠部分的数据由多个传感器获得。在正常的传感器与工作不良的传感器，针对重叠部分获得的三维的点群数据不同。因此，车辆以使工作不良的传感器能够获得与正常的传感器等同的三维的点群数据的方式，进行LiDAR的原点校正、或相机的曝光、聚焦等，对预先决定的部位的工作进行调整。
在调整后，若匹配误差能够在允许范围内，车辆则继续刚才的运转模式。另外，在调整后，若匹配精度不能在允许范围内，车辆进行上述的(1)使应急用的代替传感器工作的应对工作、或(2)进行切换运转模式的应对工作。
这样，三维信息处理装置700在自身车辆检测三维数据712的数据的生成精度不是基准值以上的情况下，进行传感器的工作校正。
以下对应对工作的选择方法进行说明。应对工作可以由驾驶人等用户来选择，也可以不通过用户而由车辆自动选择。
并且，车辆也可以根据是否有驾驶人同乗，来对控制进行切换。例如，在驾驶人同乗的情况下，车辆使向人工操作模式的切换优先。另外，在没有驾驶人同乗的情况下，车辆使移动到安全的场所来停止的模式优先。
示出停止场所的信息可以作为元信息包含在三维地图711中。或者，车辆可以向对自动驾驶的运行信息进行管理的服务发出停止场所的应答请求，从而获得示出停止场所的信息。
并且，在车辆运行在规定的路线的情况下等，车辆的运转模式可以被移向经由通信路径的由操作员对车辆的运行进行管理的模式。尤其是，在以完全自动驾驶模式行驶中的车辆中，自身位置估计功能的异常的危险性高。因此，车辆在异常情况的检测时、或检测出的异常不能修正的情况下，经由通信路径，向对运行信息进行管理的服务通知异常的发生。该服务可以向在该车辆的周边行驶的车辆等通知发生了异常车辆的存在、或发出使附近的停止场所空出的指示。
并且，在检测异常情况时，车辆可以使行驶速度比通常时慢。
在车辆为进行出租车等配车服务的自动驾驶车、且该车辆发生了异常情况时，该车辆向运行管理中心联系，以停止在安全的场所。并且，配车服务也可以分发替代的车辆。或者可以是由配车服务的利用者来驾驶车辆。在这些状况中，可以并用费用的打折或赋予特别积分等。
并且，在异常情况1的应对方法中，虽然基于二维地图对自身位置估计的方法进行了说明，即使在通常时，也可以利用二维地图进行自身位置估计。图36是这种情况下的自身位置估计处理的流程图。
首先，车辆获得行驶路径附近的三维地图711(S711)。接着，车辆根据传感器信息，获得自身车辆检测三维数据712(S712)。
接着，车辆判断在进行自身位置估计时是否需要三维地图711(S713)。具体而言，车辆根据二维地图使用时的自身位置估计的精度、以及行驶环境，来判断是否需要三维地图711。例如，采用与上述的异常情况1的应对方法相同的方法。
在判断为不需要三维地图711的情况下(S714的“否”)，车辆获得二维地图(S715)。此时，车辆可以同时获得异常情况1的应对方法中说明的附加信息。并且，车辆可以根据三维地图711来生成二维地图。例如，车辆可以从三维地图711中提取任意的平面，来生成二维地图。
接着，车辆利用自身车辆检测三维数据712和二维地图，进行自身位置估计(S716)。另外，采用了二维地图的自身位置估计的方法，例如与上述的异常情况1的应对方法中说明的方法相同。
另外，在判断为需要三维地图711的情况下(S714的“是”)，车辆获得三维地图711(S717)。接着，车辆利用自身车辆检测三维数据712和三维地图711，进行自身位置估计(S718)。
另外，车辆可以按照自身车辆的通信设备的对应速度、或通信路径的状况，来对基本上采用二维地图、还是采用三维地图711进行切换。例如，在接收三维地图711的同时，预先设定行驶时所需要的通信速度，在行驶时的通信速度为设定值以下的情况下，车辆基本上利用二维地图，在行驶时的通信速度比设定值大的情况下，基本上利用三维地图711。另外，车辆也可以不对是利用二维地图还是利用三维地图进行切换判断，而基本上使用二维地图。
以上对本申请的实施方式所涉及的三维信息处理装置进行了说明，但是本申请并非受这些实施方式所限。
并且，上述的实施方式所涉及的三维信息处理装置中包括的各处理部，典型的作为集成电路的LSI来实现。这些可以被个别的制成一个芯片，也可以是其中的一部分或全部被制成一个芯片。
并且，集成电路化并非受LSI所限，也可以由专用电路或通用处理器来实现。也可以利用在LSI制造后可编程的FPGA(Field Programmable Gate Array：现场可编程门阵列)、或能够重构LSI内部的电路单元的连接或设定的可重构处理器。
并且，在上述的各实施方式中，各构成要素可以由专用的硬件来构成，或者可以通过执行适于各构成要素的软件程序来实现。各构成要素也可以通过CPU或处理器等程序执行部读出被记录在硬盘或半导体存储器等记录介质的软件程序并执行来实现。
并且，本申请可以作为由三维信息处理装置执行的三维信息处理方法来实现。
并且，方框图中的功能块的划分为一个例子，多个功能块可以作为一个功能块来实现，一个功能块也可以划分为多个，一部分的功能也可以移动到其他的功能块。并且，具有类似的功能的多个功能块的功能也可以由单一的硬件或软件进行并行处理或者进行时间分割处理。
并且，关于流程图中的各步骤的执行顺序，是为了对本申请进行具体说明而举出的例子，也可以是上述以外的顺序。并且，上述步骤的一部分也可以与其他的步骤同时(并行)执行。
以上基于实施方式对一个或多个形态所涉及的三维信息处理装置进行了说明，但是，本申请并非受这些实施方式所限。在不脱离本申请的主旨的范围内，将本领域技术人员能够想到的各种变形执行于本实施方式而得到的形态、以及对不同的实施方式中的构成要素进行组合而得到的形态均包含在一个或多个形态的范围内。
(实施方式5)
对上述的各实施方式所示的图像处理方法以及装置的构成的其他的应用例以及利用了这些方法和装置的系统进行说明。该系统能够适用于智能化和对象空间的广域化有进展的影像系统，例如能够适用于如下的(1)至(4)，(1)安装在店铺或工厂的监视摄像机、或警察的车载摄像机等的监视系统、(2)采用了私人拥有的相机或各车载摄像机、或者设置在道路上的相机等的交通信息系统、(3)采用了无人机等远程操作或可自动控制的装置的环境调查或发送系统、以及(4)采用了娱乐设施或体育场等中的设置相机、无人机等移动相机、或私人拥有的相机等的影像等内容收发系统等。
图37示出了本实施方式中的影像信息处理系统ex100的构成。在本实施方式中，对防止死角的发生的例子、以及禁止拍摄特定的区域的例子进行说明。
图37所示的影像信息处理系统ex100包括：影像信息处理装置ex101、多个相机ex102、以及影像接收装置ex103。另外，影像接收装置ex103也可以不必包括在影像信息处理系统ex100中。
影像信息处理装置ex101具备保存部ex111、以及解析部ex112。N个相机ex102的每一个具有对影像进行拍摄的功能、以及将拍摄的影像数据发送到影像信息处理装置ex101的功能。并且，相机ex102也有具有对拍摄中的影像进行显示的功能的情况。另外，相机ex102也可以将拍摄的影像信号，利用像HEVC或H.264这种编码方式进行编码后发送到影像信息处理装置ex101，也可以将没有经过编码的影像数据发送到影像信息处理装置ex101。
在此，各相机ex102为监视相机等固定相机、搭载于无人飞行型无线电遥控或车等的移动相机、或用户所持有的用户相机。
移动相机接收从影像信息处理装置ex101发送来的指示信号，按照接收的指示信号，变更移动相机自身的位置或拍摄方向。
并且，在开始拍摄前，关于多个相机ex102的时刻，采用服务器或基准相机的时刻信息等来校准。并且，关于多个相机ex102的空间位置，则根据成为拍摄对象的空间中的对象的映现方式或与基准相机的相对位置而被校准。
信息处理装置ex101中包括的保存部ex111，保存从N个相机ex102发送来的影像数据。
解析部ex112根据被保存在保存部ex111的影像数据，来检测死角，将用于防止死角的发生的示出给移动相机的指示的指示信号，发送给移动相机。移动相机按照指示信号移动，并继续拍摄。
解析部ex112例如利用SfM(Structure from Motion：运动恢复结构)来进行死角检测。SfM是指，将从不同的位置拍摄的多个影像恢复为被摄物体的三维形状的方法，是广泛知道的同时对被摄物体形状以及相机位置进行估计的形状恢复技术。例如，解析部ex112利用SfM，根据被保存在保存部ex111的影像数据，来恢复设施内或体育场内的三维形状，将不能恢复的区域作为死角来检测。
另外，解析部ex112在相机ex102的位置以及拍摄方向为固定，且位置以及拍摄方向的信息是已知的情况下，则可以利用这些已知的信息来进行SfM。并且，在移动相机的位置以及拍摄方向能够通过移动相机所具备的GPS以及角度传感器等来获得的情况下，移动相机将该移动相机的位置以及拍摄方向的信息发送到解析部ex112，解析部ex112可以利用发送来的位置以及拍摄方向的信息来进行SfM。
另外，死角检测的方法并非受利用上述的SfM的方法所限。例如，解析部ex112可以通过利用光电测距仪等的深度传感器的信息，来把握作为拍摄对象的对象的空间距离。并且，解析部ex112根据空间内预先设定的标记或特定的对象是否包括在图像中，在包括的情况下，则可以依据标记或特定的对象的大小等，来检测相机位置、拍摄方向以及变焦倍率等的信息。这样，解析部ex112利用能够检测各相机的拍摄区域的任意的方法，对死角进行检测。并且，解析部ex112可以从影像数据或接近距离传感器等，获得针对多个拍摄对象的彼此的位置关系等的信息，并根据获得的位置关系，来确定死角发生可能性高的区域。
在此，死角不仅是想要拍摄的区域中的不存在影像的部分，而且包括与其他的部分相比画质差的部分、以及没有得到预先决定的画质的部分等。该检测对象的部分可以按照该系统的构成或目的进行恰当的设定。例如，针对拍摄的空间中的特定的被摄物体，可以将要求的画质设定得较高。并且，关于拍摄空间中的特定的区域，可以将要求的画质设定得较低，即可以设定为，即使没有拍摄影像，也不判断为是死角。
另外，上述的画质是指，包括影像中的成为拍摄对象的被摄物体所占的面积(例如像素数)、或焦点是否对准成为拍摄对象的被摄物体等与影像有关的各种信息，可以将这些信息或他们的组合作为基准来判断是否为死角。
另外，在上述的说明中，虽然针对的是实际上成为死角的区域的检测，但是，为了防止死角的发生，需要检测的区域并非受实际上成为死角的区域所限。例如，在存在多个拍摄对象，且至少其中一部分移动了的情况下，通过在某个拍摄对象与相机之间加入其他的拍摄对象，则有可能生成新的死角。对此，解析部ex112例如可以从拍摄的影像数据等中检测多个拍摄对象的运动，根据检测出的多个拍摄对象的运动与相机ex102的位置信息，来估计有可能成为新的死角的区域。在这种情况下，影像信息处理装置ex101将指示信号发送给移动相机，以使该移动相机拍摄有可能成为死角的区域，从而可以防止死角的发生。
另外，在移动相机为多个的情况下，影像信息处理装置ex101为了拍摄死角、或有可能成为死角的区域，而需要选择将指示信号发送到哪个移动相机。并且，在移动相机以及死角、或有可能成为死角的区域分别为多个的情况下，影像信息处理装置ex101需要针对多个移动相机的每一个来决定拍摄哪个死角、或有可能成为死角的区域。例如，影像信息处理装置ex101根据死角、或有可能成为死角的区域、以及各移动相机在进行拍摄时的区域的位置，来选择与死角、或成为死角的区域最近的移动相机。并且，影像信息处理装置ex101也可以针对各移动相机，在没有得到该移动相机正在拍摄中的影像数据的情况下，判断是否发生了新的死角，并可以选择即使没有得到正在拍摄中的影像数据，也被判断为没有发生死角的移动相机。
通过以上的构成，影像信息处理装置ex101检测死角，为了防止死角，而向移动相机发送指示信号，据此能够防止死角的发生。
(变形例1)
另外，在以上的说明中，虽然陈述了向移动相机发送用于指示移动的指示信号的例子，指示信号也可以是用于指示用户相机的用户移动的信号。例如，用户相机根据指示信号，向用户显示指示图像，该指示图像指示变更相机的方向。另外，用户相机也可以显示表示地图上的移动路径的指示图像，以作为用户的移动的指示。并且，用户相机为了提高获得的图像的质量，也可以不显示拍摄方向、角度、画角、画质、以及拍摄区域的移动等详细的拍摄的指示，而且，若在影像信息处理装置ex101侧能够进行控制，影像信息处理装置ex101也可以自动地对与进行这种拍摄有关的相机ex102的特征量进行控制。
在此，用户相机例如是体育场内观众或设施内的警卫所持的智能电话、平板电脑型终端、可穿戴终端、或HMD(Head Mounted Display)。
并且，对指示图像进行显示的显示终端可以不必与拍摄影像数据的用户相机相同。例如，可以针对预先与用户相机建立了对应的显示终端，用户相机发送指示信号或指示图像，该显示终端对指示图像进行显示。并且，也可以是，与用户相机对应的显示终端的信息被预先注册到影像信息处理装置ex101。在这种情况下，影像信息处理装置ex101通过向与用户相机对应的显示终端直接发送指示信号，从而使显示终端对指示图像进行显示。
(变形例2)
解析部ex112例如可以利用SfM，通过从被保存在保存部ex111的影像数据，恢复设施内或体育场内的三维形状，来生成自由视点影像(三维再构成数据)。该自由视点影像被保存在保存部ex111。影像信息处理装置ex101从保存部ex111，读出与从影像接收装置ex103发送的视野信息(以及/或者视点信息)对应的影像数据，并发送到影像接收装置ex103。另外，影像接收装置ex103可以是多个相机中的一个。
(变形例3)
影像信息处理装置ex101也可以检测拍摄禁止区域。在这种情况下，解析部ex112对拍摄图像进行解析，在移动相机拍摄了拍摄禁止区域的情况下，向移动相机发送拍摄禁止信号。在移动相机接收拍摄禁止信号过程中，停止拍摄。
解析部ex112例如通过使利用SfM而被恢复的三维的虚拟空间、与拍摄影像映射，从而对空间内预先设定的移动相机是否正在拍摄拍摄禁止区域进行判断。或者，解析部ex112将空间内配置的标记或特征性的对象作为触发，来判断移动相机是否正在拍摄拍摄禁止区域。拍摄禁止区域例如是设施内或体育场内洗手间等。
并且，在用户相机拍摄了拍摄禁止区域的情况下，用户相机可以将消息显示到通过无线或有线连接的显示器等，或者通过从扬声器或耳机输出声音或语音，来向用户通知现在的场所是拍摄禁止场所。
例如，作为上述的消息，显示现在相机所对着的方向是禁止拍摄的。或者，在显示的地图上示出拍摄禁止区域和现在的拍摄区域。并且，关于拍摄的再次开始，例如在没有拍摄禁止信号的输出时自动执行。或者，在拍摄禁止信号没有被输出、且用户进行了再次开始拍摄的操作的情况下，可以再次开始拍摄。并且，在拍摄的停止与再次开始在短期间内发生了多次的情况下，也可以再次进行校准。或者，可以发出使用户进行当前位置的确认、或催促用户移动的通知。
并且，在警察等特殊任务的情况下，为了进行记录，也可以采用关闭这些功能的验证密码或指纹认证等。而且，即使在这种情况下，当拍摄禁止区域的影像被显示到外部或被保存时，也可以自动施加马赛克等图像处理。
通过以上的构成，影像信息处理装置ex101通过对拍摄禁止进行判断，并向用户通知停止拍摄，从而能够对某个区域进行禁止拍摄的设定。
(变形例4)
为了从影像构筑三维的虚拟空间，则需要收集多个视点的影像，因此，影像信息处理系统ex100对传送了拍摄影像的用户设定奖励。例如，影像信息处理装置ex101可以对传送了影像的用户以免费或打折优惠方式进行影像分发，或者赋予网店或实际店铺、或游戏内能够使用的具有金钱价值的分数，或者赋予游戏等虚拟空间中的社会地位等非金钱价值的分数。并且，影像信息处理装置ex101对传送了像请求多的这种具有价值的视野(以及/或者视点)的拍摄影像的用户，赋予特殊的高分数。
(变形例5)
影像信息处理装置ex101可以根据解析部ex112的解析结果，向用户相机发送附加信息。在这种情况下，用户相机将附加信息重叠到拍摄影像，并显示到画面。附加信息是指，例如在体育场中的比赛被拍摄的情况下，选手名或身高等选手的信息，与影像内的各选手建立对应，显示该选手的姓名或面部照片等。另外，影像信息处理装置ex101根据影像数据的一部分或全部的区域，通过经由因特网的检索，从而可以提取附加信息。并且，相机ex102可以通过以Bluetooth(注册商标)为代表的近距离无线通信、或通过体育场等照明的可见光通信，来接受这些附加信息，并将接受的附加信息映射到影像数据。并且，相机ex102可以根据被保持在通过有线或无线与相机ex102连接的存储部的表等一定的规则，来执行该映射，所述表也可以是示出通过可见光通信技术得到的信息与附加信息的对应关系的表等，并且也可以通过因特网检索，采用最确切的组合结果来执行映射。
并且，在监视系统中，能够通过针对设施内的警卫所持有的用户相机，重叠例如需要注意人物的信息，从而能够期待监视系统的高精度化。
(变形例6)
解析部ex112可以通过获取自由视点影像与用户相机的拍摄影像的匹配，来判断用户相机正在拍摄设施内或体育场内的哪个区域。另外，拍摄区域的判断方法并非受此所限，也可以采用上述的各实施方式所说明的各种拍摄区域的判断方法或其他的拍摄区域的判断方法。
影像信息处理装置ex101根据解析部ex112的解析结果，向用户相机发送过去影像。用户相机将过去影像重叠到拍摄影像，或将拍摄影像替换为过去影像，并显示到画面。
例如，可以在中场休息时，作为过去影像来显示前半场的最精彩场景。据此，用户能够在中场休息时，作为自己所看的方向的影像，来欣赏前半场的最精彩场景。另外，过去影像并非受前半场的最精彩场景所限，也可以是在该体育场进行的过去的比赛中的最精彩场景等。并且，影像信息处理装置ex101对过去影像进行分发的定时并非受中场休息中所限，例如可以是比赛结束后，也可以是比赛中。尤其是在比赛中的情况下，根据解析部ex112的解析结果，影像信息处理装置ex101可以分发认为是用户错过的重要的场景。并且，影像信息处理装置ex101可以仅在有用户的请求时才分发过去影像，或者可以在过去影像的分发前，发出允许分发的消息。
(变形例7)
影像信息处理装置ex101也可以根据解析部ex112的解析结果，向用户相机发送广告信息。用户相机将广告信息重叠到拍摄影像，并显示到画面。
广告信息例如可以是在将要分发变形例6所示的中场休息中或比赛结束后的过去影像前被分发。据此，分发业主能够从广告业主得到广告费，从而能够向用户提供廉价的或免费的影像分发服务。并且，影像信息处理装置ex101可以在将要分发广告信息前，分发允许进行广告分发的消息，也可以仅在用户视听了广告的情况下才提供免费的服务，或者可以提供比没有视听广告的情况下廉价的服务。
并且，当按照广告用户点击了“现在马上购买”等时，根据该系统或任意的位置信息，由把握了用户的位置的服务人员或会场的自动发送系统，将购买的饮料送到座位。结帐可以直接交给服务人员，也可以根据预先在移动终端的程序等中设定的信用卡信息来执行。并且，广告中可以包括向电子商务网站的链接，也可以是通常的送货上门等网上购物成为可能的状态。
(变形例8)
影像接收装置ex103也可以是一个相机ex102(用户相机)。在这种情况下，解析部ex112通过获得自由视点影像与用户相机的拍摄影像的匹配，来判断用户相机正在拍摄设施内或体育场内的哪个区域。另外，拍摄区域的判断方法并非受此所限。
例如，当用户向显示在画面上的箭头的方向进行滑动操作时，用户相机生成示出向该方向移动视点的视点信息。影像信息处理装置ex101从保存部ex111读出拍摄了从解析部ex112判断的用户相机的拍摄区域移动了视点信息部分的区域的影像数据，并开始该影像数据向用户相机的发送。于是，用户相机不仅显示拍摄影像，而且显示由影像信息处理装置ex101分发的影像。
如以上所述，设施内或体育场内的用户，通过滑动画面这种简单的操作，就能够视听喜好的视点的影像。例如，在棒球场的3垒侧观战的观众，能够视听1垒侧的视点的影像。并且，在监视系统中，设施内的警卫能够以滑动画面这种简单的操作，来视听自身想要确认的视点或从控制中心加入的需要注视的影像等，由于能够按照需要改变视点来进行视听，因此能够期待监视系统的高精度化。
并且，关于向设施内或体育场内的用户的影像的分发，例如即使在用户相机与拍摄对象之间存在障碍物而出现不能看到的区域的情况下也有效。在这种情况下，用户相机可以将用户相机的拍摄区域中含有障碍物的一部分的区域的影像，从拍摄影像切换为来自影像信息处理装置ex101的分发影像来显示，也可以将画面全体从拍摄影像切换为分发影像来显示。并且，用户相机可以对拍摄影像与分发影像进行合成，来显示透过障碍物能够看到视听对象的影像。通过此构成，即使在由于障碍物的影响而从用户的位置不能看到拍摄对象的情况下，也能够视听从影像信息处理装置ex101分发的影像，从而能够减轻障碍物的影响。
并且，在作为因障碍物而不能看到的区域的影像，对分发影像进行显示的情况下，像上述的滑动画面这种由用户进行的输入处理，可以进行与按照该输入处理的显示的切换控制不同的显示切换控制。例如，根据用户相机的移动和拍摄方向的信息、以及预先得到的障碍物的位置信息，在判断为拍摄区域中含有障碍物的情况下，从拍摄影像向分发影像的显示切换可以被自动执行。并且，在通过拍摄影像数据的解析，判断为不是拍摄对象而映现了障碍物的情况下，从拍摄影像向分发影像的显示切换可以被自动执行。并且，在拍摄影像中包含的障碍物的面积(例如像素数)超过了规定的阈值的情况下，或者相对于拍摄对象的面积的障碍物的面积的比超过了规定的比例的情况下，从拍摄影像向分发影像的显示切换可以被自动执行。
另外，可以按照用户的输入处理，来进行从拍摄影像向分发影像的显示的切换，以及进行从分发影像向拍摄影像的显示的切换。
(变形例9)
也可以根据在各相机ex102拍摄的影像数据的重要度，来指示将影像数据传送到影像信息处理装置ex101的速度。
在这种情况下，解析部ex112判断被保存在保存部ex111影像数据、或拍摄了该影像数据的相机ex102的重要度。在此的重要度的判断例如根据影像中包含的人数或移动物体的数量、影像数据的画质等的信息、或他们的组合而被执行。
并且，影像数据的重要度的判断也可以根据拍摄了影像数据的相机ex102的位置或影像数据拍摄的区域而被执行。例如，在成为对象的相机ex102的附近存在多个正在进行拍摄的其他的相机ex102的情况下，将成为对象的相机ex102所拍摄的影像数据的重要度降低。并且，即使成为对象的相机ex102的位置远离其他的相机ex102，在拍摄了相同区域的其他的相机ex102存在多个的情况下，将成为对象的相机ex102拍摄的影像数据的重要度降低。并且，影像数据的重要度的判断也可以根据影像分发服务中的请求的多少而被执行。另外，重要度的判断方法并非受上述方法或组合所限，只要是符合监视系统或影像分发系统的构成或目的的方法即可。
并且，重要度的判断也可以不根据拍摄的影像数据来执行。例如，可以将向影像信息处理装置ex101以外的终端发送影像数据的相机ex102的重要度设定得较高。相反，也可以将向影像信息处理装置ex101以外的终端发送影像数据的相机ex102的重要度设定得较低。据此，例如在需要进行影像数据的传输的多个服务共享通信频带的情况下，符合各个服务的目的或特性的通信频带的控制的自由度增高。据此，能够防止因不能获得所需要的影像数据而造成的各个服务的质量降低。
并且，解析部ex112也可以利用自由视点影像和相机ex102的拍摄影像，对影像数据的重要度进行判断。
影像信息处理装置ex101根据在解析部ex112进行的重要度的判断结果，向相机ex102发送通信速度指示信号。影像信息处理装置ex101例如向拍摄了重要度高的影像的相机ex102指示高的通信速度。并且，影像信息处理装置ex101不仅是进行速度的控制，而且可以针对重要的信息，为了降低因欠缺而带来的不利之处，而发送指示进行多次发送的方式的信号。据此，能够高效地进行设施内或体育场内全体的通信。另外，相机ex102与影像信息处理装置ex101的通信既可以是有线通信，也可以是无线通信。并且，影像信息处理装置ex101也可以仅控制有线通信以及无线通信的任意一方。
相机ex102以依照了通信速度指示信号的通信速度，将拍摄影像数据发送到影像信息处理装置ex101。另外，相机ex102在规定的次数的再次发送失败了的情况下，也可以停止该拍摄影像数据的再次发送，而开始下一个拍摄影像数据的传送。据此，能够高效地进行设施内或体育场内全体的通信，从而能够实现解析部ex112中的处理的高速化。
并且，相机ex102在分配给各自的通信速度不是能够传送拍摄的影像数据的充分的频带的情况下，可以将拍摄的影像数据转换为能够以分配的通信速度来发送的位速率的影像数据，可以发送转换后的影像数据，也可以停止影像数据的传送。
并且，为了防止上述这样的死角的发生，在使用了影像数据的情况下，仅是拍摄的影像数据中包含的拍摄区域中的一部分区域有可能需要对死角进行弥补。在这种情况下，相机ex102从影像数据，至少需要提取用于防止死角的发生的区域，来生成提取影像数据，从而可以将生成的提取影像数据发送到影像信息处理装置ex101。通过此构成，能够以较少的通信频带来实现死角发生的抑制。
并且，例如在进行了附加信息的重叠显示或影像分发的情况下，相机ex102需要将相机ex102的位置信息以及拍摄方向的信息发送给影像信息处理装置ex101。在这种情况下，仅被分配了不能充分地传送影像数据的频带的相机ex102，也可以仅发送由相机ex102检测出的位置信息以及拍摄方向的信息。并且，在影像信息处理装置ex101，在对相机ex102的位置信息以及拍摄方向的信息进行估计的情况下，相机ex102可以将拍摄的影像数据转换为在位置信息以及拍摄方向的信息的估计中所需要的分辨率，并可以将被转换的影像数据发送到影像信息处理装置ex101。通过此构成，即使是仅被分配了少的通信频带的相机ex102，也能够提供附加信息的重叠显示或影像分发的服务。并且，影像信息处理装置ex101为了从更多的相机ex102获得拍摄区域的信息，例如以检测受到关注的区域等为目的，在利用拍摄区域的信息的情况下也有效。
另外，与上述被分配的通信频带相符的影像数据的传送处理的切换，可以根据被通知的通信频带而由相机ex102执行，也可以是，由影像信息处理装置ex101决定各相机ex102的工作，将示出被决定的工作的控制信号通知到各相机ex102。据此，按照工作的切换判断所需要的计算量、相机ex102的处理能力、以及所需要的通信频带等，恰当地进行处理的分担。
(变形例10)
解析部ex112可以根据从影像接收装置ex103发送的视野信息(以及/或者视点信息)，来判断影像数据的重要度。例如，解析部ex112将包括了较多的视野信息(以及/或者视点信息)所示的区域的拍摄影像数据的重要度设定得较高。并且，也可以是，解析部ex112考虑影像中包含的人数、或移动物体的数量，来判断影像数据的重要度。另外，重要度的判断方法并非受此所限。
另外，本实施方式所说明的通信控制方法，并非必需用于从多个影像数据来进行三维形状的再构筑的系统。例如在有多个相机ex102存在的环境中，只要是针对影像数据，有选择的或以不同的传输速度，通过有线通信以及/或者无线通信来进行发送的情况，本实施方式所说明的通信控制方法就会有效。
(变形例11)
在影像分发系统中，影像信息处理装置ex101也可以将示出拍摄场景的全体的概观影像发送到影像接收装置ex103。
具体而言，影像信息处理装置ex101在接收从影像接收装置ex103发送来的分发请求的情况下，从保存部ex111读出设施内或体育场内全体的概观影像，将该概观影像发送到影像接收装置ex103。该概观影像的更新间隔可以长(可以是低帧率)，并且，画质可以低。视听者触摸被显示在影像接收装置ex103的画面上的概观影像中想要看的部分。据此，影像接收装置ex103将与被触摸的部分对应的视野信息(以及/或者视点信息)，发送给影像信息处理装置ex101。
影像信息处理装置ex101从保存部ex111读出与视野信息(以及/或者视点信息)相符的影像数据，并将该影像数据发送给影像接收装置ex103。
并且，解析部ex112针对视野信息(以及/或者视点信息)所示的区域，通过优先进行三维形状的恢复(三维再构成)，从而生成自由视点影像。解析部ex112针对设施内或体育场内全体的三维形状，以能够示出概观的程度的精度来恢复。据此，影像信息处理装置ex101能够高效地进行三维形状的恢复。这样，能够实现视听者想要看的区域的自由视点影像的高帧率化以及高画质。
(变形例12)
另外，也可以是，影像信息处理装置ex101例如将从设计图等中事前生成的设施或体育场的三维形状恢复数据作为事前影像，来预先保存。另外，事前影像并非受此所限，也可以是虚拟空间数据，该虚拟空间数据是指，按照每个对象，映射了从深度传感器获得的空间的凹凸、以及从过去或校准时的图像或影像数据中导出的图片的数据。
例如，在体育场进行足球比赛的情况下，解析部ex112可以仅对选手以及球进行限定，来进行三维形状的恢复，通过对得到的恢复数据与事前影像进行合成，来生成自由视点影像。或者，解析部ex112可以针对选手以及球优先进行三维形状的恢复。据此，影像信息处理装置ex101能够高效地进行三维形状的恢复。这样，能够实现与视听者所关注的选手以及球有关的自由视点影像的高帧率化以及高画质化。并且，在监视系统中，解析部ex112可以仅限定人物以及移动物体、或将他们优先进行三维形状的恢复。
(变形例13)
各装置的时刻也可以根据服务器的基准时刻等，在拍摄开始时被校准。解析部ex112利用多个相机ex102拍摄的多个拍摄影像数据之中的、按照时刻设定的精度，属于预先设定的时间范围内的时刻中拍摄的多个影像数据，进行三维形状的恢复。在该时刻的检测中，例如采用拍摄影像数据被存放到保存部ex111的时刻。另外，时刻的检测方法并非受此所限。据此，影像信息处理装置ex101能够高效地进行三维形状的恢复，因此能够实现自由视点影像的高帧率化以及高画质化。
或者，解析部ex112可以仅利用被保存在保存部ex111的多个影像数据中的高画质数据，或优先利用高画质数据，进行三维形状的恢复。
(变形例14)
解析部ex112可以利用相机属性信息，进行三维形状的恢复。例如，解析部ex112可以利用相机属性信息，通过视觉外型法或多视角立体视觉(multi-view stereo)法等手法，来生成三维影像。在这种情况下，相机ex102将拍摄影像数据与相机属性信息发送到影像信息处理装置ex101。相机属性信息例如是拍摄位置、拍摄角度、拍摄时刻、或变焦倍率等。
据此，由于影像信息处理装置ex101能够高效地进行三维形状的恢复，因此能够实现自由视点影像的高帧率化以及高画质化。
具体而言，相机ex102在设施内或体育场内定义三维坐标，相机ex102将示出哪个位置上的坐标是从哪个角度、以怎样的变焦、在哪个时间拍摄的信息与影像一起，作为相机属性信息发送到影像信息处理装置ex101。并且，在相机ex102的启动时，设施内或体育场内的通信网络上的时钟与相机内的时钟获得同步，从而生成时间信息。
并且，在相机ex102的启动时或任意的定时，通过使相机ex102朝向设施内或体育场内的特定的点，从而获得相机ex102的位置以及角度信息。图38示出了相机ex102在启动时，在相机ex102的画面上显示的通知的一个例子。用户按照该通知，使显示在画面中央的“+”，重叠到体育场北侧的广告中的足球的中心上的“+”，在触摸相机ex102的显示器时，相机ex102获得从相机ex102到广告的向量信息，对相机位置以及角度的基准进行确定。之后，根据相机ex102的动作信息，来确定每个时刻的相机坐标以及角度。当然，并非受该显示所限，也可以采用箭头等，即使在拍摄期间中也可以进行指示坐标、角度、或拍摄区域的移动速度等的显示。
相机ex102的坐标的确定可以利用GPS、WiFi(注册商标)、3G、LTE(Long TermEvolution：长期演进)、以及5G(无线LAN)的电波来进行，也可以利用信标(Bluetooth(注册商标)、超声波)等近距离无线。并且，也可以利用示出拍摄影像数据被送到设施内或体育场内的哪个基站的信息。
(变形例15)
该系统可以作为在智能电话等的移动终端上工作的应用程序而被提供。
在向上述系统的登录中，可以采用各种SNS等帐户。另外，也可以采用应用程序专用的帐户、或功能受到限制的客户帐户。这样，通过采用帐户，从而能够对喜好的影像或喜好的帐户等进行评价。并且，通过针对与拍摄中或视听中的影像数据类似的影像数据、与拍摄中或视听中的影像数据的视点类似的视点的影像数据等优先分配频带，从而能够提高这些影像数据的分辨率。据此，能够以高的精度进行从这些视点的三维形状的恢复。
并且，用户以该应用程序来选择喜好的图像影像，通过跟随对方，从而能够比其他的用户优先看到选择的图像，在对方的承认等条件下，能够以文本聊天来获得联系。这样，能够生成新的群体。
这样，用户彼此在群体内获得联系，从而能够活跃拍摄本身，并且拍摄的图像的共享等也活跃，从而能够促进更高精度的三维形状的恢复。
并且，能够按照群体内的联系的设定，用户可以编辑其他人拍摄的图像或影像，通过对其他人的图像与自己的图像进行拼贴，来制作新的图像或影像。据此，只有该群体内的人才能分用新的图像或影像等，从而新的影像作品的分用成为可能。并且，在该编辑中，通过插入CG动画等，从而在增强现实(Augmented Reality)的游戏等中也能够利用影像作品。
并且，由于通过该系统，三维模型数据能够被依次输出，因此根据进球场景等特征性场景的三维模型数据，设施所具有的3D打印机等能够输出立体对象。据此，在比赛后，基于该比赛中的场景的对象能够作为钥匙圈等礼品来销售，并能够向参加用户分发。当然，作为通常的照片，也能够打印最佳视点的图像。
(变形例16)
利用上述系统，例如能够根据警察的车载摄像机、以及警察的可穿戴相机的影像等，通过与该系统连接的控制中心，来管理地区全体的大致状态。
在进行一般的巡视时，例如每隔几分钟就进行静止图像的收发。并且，控制中心根据利用过去的犯罪数据等而分析的结果所制成的犯罪地图，来确定犯罪发生的可能性高的地区，或者保持与这样被确定的犯罪发生概率关联的地区数据。可以在被确定的犯罪发生概率高的地区，提高图像的收发频度，也可以将图像变更为动画。并且，在事件发生时也可以采用动画、或利用SfM等制作的三维再构成数据。并且，控制中心或各终端可以同时利用深度传感器或温度传感器等其他的传感器的信息，来校正图像或虚拟空间，从而警察能够更正确的掌握状况。
并且，控制中心通过利用三维再构成数据，向多个终端反馈该对象的信息。据此，具有各终端的个人能够追踪对象。
并且，最近，在建筑物或环境的调查、或者体育运动等具有临场感的拍摄等目的中，通过四轴飞行器(quadcopter)、无人机等能够飞行的装置从空中进行拍摄。通过这种自律移动装置的拍摄，虽然图像的晃动容易成为课题，SfM能够通过位置以及倾斜，在对其晃动进行校正的同时进行三维化。据此，能够实现画质的提高以及空间的恢复精度的提高。
并且，拍摄车外的车载摄像机的设置，会因国家的规定而成为义务。即使在这种车载摄像机中，也能够通过利用从多个图像而被模型化的三维数据，以更高的精度来掌握目的地方向的天气以及前方的路面状态、交通拥挤程度等。
(变形例17)
上述系统例如也能够适用于采用多个相机来进行建筑物或设备的测距或建模的系统。
在此，例如在利用一台无人机来从上空拍摄建筑物，进行建筑物的测距或建模的情况下，当在测距中有动的物体被映入相机时，会出现测距的精度降低的问题。并且，会有不能进行动的物体的测距以及建模的问题。
另外，如以上所述，通过利用多个相机(固定相机、智能电话、可穿戴相机以及无人机等)，不论是否有动的物体，都能够以稳定的精度来实现建筑物的测距以及建模。并且，能够实现动的物体的测距以及建模。
具体而言，例如在建筑工地，将相机安装到作业人员的防护帽等。据此，能够与作业人员的工作并行，进行建筑物的测距。并且能够用于作业的效率化以及错误的防止中。并且能够利用由被安装在作业人员的相机拍摄的影像，来对建筑物进行建模。而且，在异地的管理者能够通过观看被建模的建筑物，来确认进展状况。
并且，该系统能够用于工场或发电站的设备等不能停止的设备的检查中。并且，该系统能够用于桥梁或水库的开闭、或者游乐园的乘坐项目的工作等中是否有异常的检查中。
并且，通过该系统对道路的拥挤状况或交通量进行监视，从而能够生成示出各时间段的道路的拥挤状况或交通量的地图。
(实施方式6)
通过将用来实现上述各实施方式所示的图像处理方法的构成的程序记录到存储介质中，从而能够将上述各实施方式所示的处理在独立的计算机系统简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。
进而，这里说明上述各实施方式所示的图像处理方法的应用例以及采用了他们的系统。该系统的特征是，具有使用了图像处理方法的装置。关于系统的他的构成，可以根据情况适当地变更。
图39是示出实现内容分发服务的内容提供系统ex200的全体构成的图。将通信服务的提供区划分为希望的大小，在各单元内分别设置作为固定无线站的基站ex206、ex207、ex208、ex209、ex210。
该内容提供系统ex200在因特网ex201上经由因特网服务商ex202、通信网ex204、以及基站ex206～ex210，而与计算机ex211、PDA(Personal Digital Assistant)ex212、相机ex213、智能电话ex214、游戏机ex215等各设备连接。
但是，内容提供系统ex200并非受图39所示的构成所限，也可以将某个要素组合连接。并且，也可以不经由作为固定无线站的基站ex206～ex210，将各设备直接连接到电话线、有线电视、或光通信等通信网ex204。并且，各设备也可以经由近距离无线等而直接相互连接。
相机ex213是数字摄像机等能够进行运动图像拍摄的设备，相机ex216是数字相机等能够进行静止图像拍摄、运动图像拍摄的设备。并且，智能电话ex214是GSM(注册商标)(Global System for Mobile Communications)方式、CDMA(Code Division MultipleAccess)方式、W-CDMA(Wideband-Code Division Multiple Access)方式、或LTE(LongTerm Evolution)方式、HSPA(High Speed Packet Access)、或与利用高频域的通信方式等对应的智能电话机、或PHS(PersonalHandyphone System)等，是哪种都可以。
在内容提供系统ex200，通过将相机ex213等经由基站ex209、通信网ex204连接到流媒体服务器ex203，从而能够进行实况演出分发等。在实况演出分发中，对用户使用相机ex213拍摄的内容(例如，音楽实况演出的影像等)进行编码处理，向流媒体服务器ex203发送。另一方面，流媒体服务器ex203将发送来的内容数据对有要求的客户端进行流分发。作为客户端，有能够对上述编码处理后的数据进行解码的计算机ex211、PDAex212、相机ex213、智能电话ex214、游戏机ex215等。在接收到分发的数据的各设备中，对接收的数据进行解码处理并再生。
另外，拍摄的数据的编码处理既可以由相机ex213进行，也可以由进行数据的发送处理的流媒体服务器ex203进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器ex203进行，也可以相互分担进行。并且，不仅限于相机ex213，也可以将由相机ex216拍摄的静止图像以及/或运动图像数据经由计算机ex211，向流媒体服务器ex203发送。此情况下的编码处理由相机ex216、计算机ex211、流媒体服务器ex203的哪个进行都可以，也可以相互分担进行。而且，关于被解码的图像的显示，也可以通过与系统连接的多个设备联动来显示相同的图像，也可以在具有大的显示部的装置进行全体图像的显示，还可以在智能电话ex214等对图像的一部分区域进行放大显示。
并且，这些编码解码处理一般在计算机ex211或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。并且，也可以将运动图像编码解码用的软件装入到能够由计算机ex211等读取的某些记录介质(CD-ROM、软盘、硬盘等)，使用该软件进行编码解码处理。而且，在智能电话ex214带有相机的情况下，也可以发送由该相机获得的运动图像数据。此时的运动图像数据是由智能电话ex214具有的LSIex500编码处理的数据。
并且，也可以是，流媒体服务器ex203是多个服务器或多个计算机，对数据进行分散处理、记录并分发。
如以上所述，在内容提供系统ex200，被编码的数据由客户端接收并能够被再生。这样，在内容提供系统ex200，客户端能够将用户发送的信息实时地接收、解码、再生，即使是没有特别的权利或设备的用户也能够实现个人广播。
另外，并不限于内容提供系统ex200的例子，如图40所示，在数字广播用系统ex300中也能够适用上述各实施方式。具体而言，在广播站ex301，将对影像数据复用了音乐数据等而得到的复用数据，经由电波向通信或卫星ex302传送。该影像数据是由上述各实施方式所说明的运动图像编码方法编码后的数据。接受到该数据的广播卫星ex302发出广播用的电波，能够对该电波进行卫星广播接收的家庭的天线ex304接收该电波。通过电视机(接收机)ex400或机顶盒(STB)ex317等装置对接收的复用数据进行解码并再生。
并且，在将记录在DVD、BD等记录介质ex315、或SD等存储器ex316中的复用数据读取并解码、或将记录介质ex315或存储器ex316中的影像信号进行编码，进一步根据情况对音楽信号进行复用而写入到读取器/记录器ex318中也能够安装上述各实施方式所示的运动图像解码装置或运动图像编码装置。在此情况下，可以将再生的影像信号显示在监视器ex319，通过记录有复用数据的记录介质ex315、或存储器ex316在其他的装置或系统中能够再生影像信号。并且，可以是，在连接在有线电视用的线缆ex303或卫星/地面波广播的天线ex304的机顶盒ex317内安装运动图像解码装置，将其用电视机的监视器ex319显示。此时，也可以不是机顶盒，而可以在电视机内组装运动图像解码装置。
图41示出了智能电话ex214。并且，图42示出了智能电话ex214的构成例。智能电话ex214具有：用于在与基站ex210之间收发电波的天线ex450、能够拍摄影像、静止图像的相机部ex465、显示将由相机部ex465拍摄的影像、由天线ex450接收的影像等解码后的数据的液晶显示器等显示部ex458。智能电话ex214还具备：作为触摸屏等的操作部ex466；作为用于输出声音的扬声器等的声音输出部ex457；作为用于输入声音的麦克风等的声音输入部ex456；能够保存拍摄的影像、静止图像、录音的声音、或接收的影像、静止图像、邮件等编码后的数据或解码后的数据的存储器部ex467；或者作为接口部的插槽部ex464，该接口部是与图40所示的存储器ex316、或对用户进行确定、以网络为代表的用于对各种数据的接入进行认证的SIMex468的接口。
智能电话ex214针对合并控制显示部ex458以及操作部ex466等的主控制部ex460，电源电路部ex461、操作输入控制部ex462、影像信号处理部ex455、相机接口部ex463、LCD(Liquid Crystal Display：液晶显示器)控制部ex459、调制/解调部ex452、复用/分离部ex453、声音信号处理部ex454、插槽部ex464、存储器部ex467经由总线ex470相互连接。
电源电路部ex461如果通过用户的操作使通话结束以及电源键成为开启状态，则通过从电池组向各个部供电，智能电话ex214启动为能够工作的状态。
智能电话ex214基于具有CPU、ROM、RAM等的主控制部ex460的控制，在语音通话模式时，将由声音输入部ex456集音的声音信号通过声音信号处理部ex454转换为数字声音信号，将其用调制/解调部ex452进行波普扩散处理，由发送/接收部ex451实施数字模拟转换处理以及频率变换处理后由天线ex450发送。并且，智能电话ex214在语音通话模式时，将由天线ex450接收的接收数据放大并实施频率变换处理以及模拟数字转换处理，用调制/解调部ex452进行波普逆扩散处理，通过声音信号处理部ex454转换为模拟声音信号后，将其经由声音输出部ex457输出。
进一步，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作部ex466等的操作而被输入的电子邮件的文本数据，经由操作输入控制部ex462向主控制部ex460送出。主控制部ex460将文本数据用调制/解调部ex452进行波普扩散处理，由发送/接收部ex451实施数字模拟转换处理以及频率变换处理后由天线ex450向基站ex210发送。在接收电子邮件的情况下，对接收的数据执行大致上述处理的逆处理，并输出到显示部ex458。
在数据通信模式时，在发送影像、静止图像、或影像和声音的情况下，影像信号处理部ex455将从相机部ex465提供的影像信号通过上述各实施方式所示的运动图像编码方法进行压缩编码，将编码后的影像数据送出到复用/分离部ex453。并且，声音信号处理部ex454对通过相机部ex465拍摄影像、静止图像等过程中由声音输入部ex456集音的声音信号进行编码，将编码后的声音数据送出到复用/分离部ex453。
复用/分离部ex453通过规定的方式，对从影像信号处理部ex455提供的编码后的影像数据和从声音信号处理部ex454提供的编码后的声音数据进行复用，将其结果得到的复用数据用调制/解调部(调制/解调电路部)ex452进行波谱扩散处理，由发送/接收部ex451实施数字模拟转换处理以及频率变换处理后，经由天线ex450发送。
在数据通信模式时，接收到链接到主页等运动图像文件的数据的情况下，或者接收到附加了影像以及/或者声音的电子邮件的情况下，为了对经由天线ex450接收的复用数据进行解码，复用/分离部ex453通过将复用数据分离，分为影像数据的比特流和声音数据的比特流，经由同步总线ex470将编码后的影像数据向影像信号处理部ex455提供，并将编码后的声音数据提供到声音信号处理部ex454。影像信号处理部ex455通过与上述各实施方式所示的运动图像编码方法对应的运动图像解码方法进行解码，由此对影像信号进行解码，经由LCD控制部ex459从显示部ex458显示例如链接到主页的运动图像文件中包含的影像、静止图像。另外，声音信号处理部ex454对声音信号进行解码，从声音输出部ex457输出声音。
并且，上述智能电话ex214等终端与电视机ex400同样，处理具有编码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端的三种安装形式。而且，在数字广播用系统ex300，以发送、接收在影像数据中复用了音乐数据等得到的复用数据为例进行了说明，但除了声音数据以外复用了与影像关联的字符数据等的数据也可以，不是复用数据而是影像数据本身也可以。
并且，本申请并非受上述实施方式所限，能够在不脱离本申请的范围内进行各种变形或修正。
本申请能够适用于三维信息处理装置。
符号说明
100、400 三维数据编码装置
101、201、401、501 获得部
102、402 编码区域决定部
103 划分部
104、644 编码部
111、607 三维数据
112、211、413、414、511、634 编码三维数据
200、500 三维数据解码装置
202 解码开始GOS决定部
203 解码SPC决定部
204、625 解码部
212、512、513 解码三维数据
403 SWLD提取部
404 WLD编码部
405 SWLD编码部
411 输入三维数据
412 提取三维数据
502 头部解析部
503 WLD解码部
504 SWLD解码部
600 自身车辆
601 周围车辆
602、605 传感器检测范围
603、606 区域
604 遮挡区域
620、620A 三维数据制作装置
621、641 三维数据制作部
622 请求范围决定部
623 搜索部
624、642 接收部
626 合成部
627 检测区域决定部
628 周围状况检测部
629 自律动作控制部
631、651 传感器信息
632 第1三维数据
633 请求范围信息
635 第2三维数据
636 第3三维数据
637 委托信号
638 发送数据
639 周围状况检测结果
640、640A 三维数据发送装置
643 提取部
645 发送部
646 传输可否判断部
652 第5三维数据
654 第6三维数据
700 三维信息处理装置
701 三维地图获得部
702 自身车辆检测数据获得部
703 异常情况判断部
704 应对工作决定部
705 工作控制部
711 三维地图
712 自身车辆检测三维数据

Claims (15)

1.一种三维信息处理方法，包括：
获得步骤，通过通信路径获得包括第1三维位置信息的地图数据；
生成步骤，根据由传感器检测的信息，生成第2三维位置信息；
判断步骤，通过对所述第1三维位置信息或所述第2三维位置信息执行异常判断处理，从而对所述第1三维位置信息或所述第2三维位置信息是否为异常进行判断；
决定步骤，在判断所述第1三维位置信息或所述第2三维位置信息为异常的情况下，决定针对该异常的应对工作；以及
工作控制步骤，执行所述应对工作的实施时所需要的控制。
2.如权利要求1所述的三维信息处理方法，
所述第1三维位置信息，以具有三维的坐标信息的部分空间为单位而被编码，所述第1三维位置信息包括多个随机存取单位，所述多个随机存取单位的每一个为一个以上的部分空间的集合体，且能够被独立地解码。
3.如权利要求1或2所述的三维信息处理方法，
所述第1三维位置信息是三维的特征量成为规定的阈值以上的特征点被编码的数据。
4.如权利要求1至3的任一项所述的三维信息处理方法，
在所述判断步骤，判断经由所述通信路径是否能够获得所述第1三维位置信息，在经由所述通信路径不能获得所述第1三维位置信息的情况下，判断所述第1三维位置信息为异常。
5.如权利要求4所述的三维信息处理方法，
所述三维信息处理方法进一步包括自身位置估计步骤，
在该自身位置估计步骤，利用所述第1三维位置信息和所述第2三维位置信息，进行具有所述传感器的移动体的自身位置估计，
在所述判断步骤，预测所述移动体是否将会进入通信状态差的区域，
在所述工作控制步骤，在预测到所述移动体将会进入通信状态差的区域的情况下，在所述移动体进入该区域之前，所述移动体获得所述第1三维位置信息。
6.如权利要求4所述的三维信息处理方法，
在所述工作控制步骤，在经由所述通信路径不能获得所述第1三维位置信息的情况下，经由所述通信路径获得比所述第1三维位置信息的范围窄的第3三维位置信息。
7.如权利要求4所述的三维信息处理方法，
所述三维信息处理方法进一步包括自身位置估计步骤，
在所述自身位置估计步骤，利用所述第1三维位置信息和所述第2三维位置信息，进行具有所述传感器的移动体的自身位置估计，
在所述工作控制步骤，在经由所述通信路径不能获得所述第1三维位置信息的情况下，经由所述通信路径获得包括二维位置信息的地图数据，利用所述二维位置信息和所述第2三维位置信息，进行具有所述传感器的移动体的自身位置估计。
8.如权利要求7所述的三维信息处理方法，
所述三维信息处理方法进一步包括自动驾驶步骤，
在所述自动驾驶步骤，利用所述自身位置估计的结果，使所述移动体进行自动驾驶，
在所述判断步骤，进一步，根据所述移动体的移动环境，判断是否进行利用了如下的结果的所述移动体的自动驾驶，所述结果是指，利用所述二维位置信息和所述第2三维位置信息，进行了所述移动体的所述自身位置估计的结果。
9.如权利要求7所述的三维信息处理方法，
所述三维信息处理方法进一步包括自动驾驶步骤，
在所述自动驾驶步骤，利用所述自身位置估计的结果，使所述移动体进行自动驾驶，
在所述工作控制步骤，根据所述移动体的移动环境，对所述自动驾驶的模式进行切换。
10.如权利要求1至3的任一项所述的三维信息处理方法，
在所述判断步骤，判断所述第1三维位置信息的数据是否完备，在所述第1三维位置信息的数据不完备的情况下，判断所述第1三维位置信息为异常。
11.如权利要求1至3的任一项所述的三维信息处理方法，
在所述判断步骤，判断所述第2三维位置信息的数据的生成精度是否为基准值以上，在所述第2三维位置信息的数据的生成精度不是所述基准值以上的情况下，判断所述第2三维位置信息为异常。
12.如权利要求11所述的三维信息处理方法，
在所述工作控制步骤，在所述第2三维位置信息的数据的生成精度不是所述基准值以上的情况下，根据由与所述传感器不同的代替传感器检测的信息，来生成第4三维位置信息。
13.如权利要求11所述的三维信息处理方法，
所述三维信息处理方法进一步包括：
自身位置估计步骤，利用所述第1三维位置信息和所述第2三维位置信息，进行具有所述传感器的移动体的自身位置估计；以及
自动驾驶步骤，利用所述自身位置估计的结果，使所述移动体进行自动驾驶，
在所述工作控制步骤，在所述第2三维位置信息的数据的生成精度不是所述基准值以上的情况下，对所述自动驾驶的模式进行切换。
14.如权利要求11所述的三维信息处理方法，
在所述工作控制步骤，在所述第2三维位置信息的数据的生成精度不是所述基准值以上的情况下，进行所述传感器的工作校正。
15.一种三维信息处理装置，具备：
获得部，经由通信路径获得包括第1三维位置信息的地图数据；
生成部，根据由传感器检测的信息，生成第2三维位置信息；
判断部，通过针对所述第1三维位置信息或所述第2三维位置信息执行异常判断处理，来判断所述第1三维位置信息或所述第2三维位置信息是否为异常；
决定部，在判断所述第1三维位置信息或所述第2三维位置信息为异常的情况下，决定针对该异常的应对工作；以及
工作控制部，执行所述应对工作的实施时所需要的控制。
CN201780051543.8A 2016-08-26 2017-08-23 三维信息处理方法以及三维信息处理装置 Active CN109643489B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210453296.7A CN114627664A (zh) 2016-08-26 2017-08-23 三维信息处理方法以及三维信息处理装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662379878P 2016-08-26 2016-08-26
US62/379878 2016-08-26
PCT/JP2017/030034 WO2018038131A1 (ja) 2016-08-26 2017-08-23 三次元情報処理方法及び三次元情報処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210453296.7A Division CN114627664A (zh) 2016-08-26 2017-08-23 三维信息处理方法以及三维信息处理装置

Publications (2)

Publication Number Publication Date
CN109643489A true CN109643489A (zh) 2019-04-16
CN109643489B CN109643489B (zh) 2022-05-03

Family

ID=61246109

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210453296.7A Pending CN114627664A (zh) 2016-08-26 2017-08-23 三维信息处理方法以及三维信息处理装置
CN201780051543.8A Active CN109643489B (zh) 2016-08-26 2017-08-23 三维信息处理方法以及三维信息处理装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202210453296.7A Pending CN114627664A (zh) 2016-08-26 2017-08-23 三维信息处理方法以及三维信息处理装置

Country Status (5)

Country Link
US (3) US11410552B2 (zh)
EP (2) EP3506238A4 (zh)
JP (4) JP7050683B2 (zh)
CN (2) CN114627664A (zh)
WO (1) WO2018038131A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111674048A (zh) * 2020-05-13 2020-09-18 广东工业大学 一种基于机器视觉的3d打印机断丝报警装置及报警方法
WO2021109890A1 (zh) * 2019-12-05 2021-06-10 灵动科技（北京）有限公司 具有追踪功能的自动驾驶系统
CN114450733A (zh) * 2020-04-01 2022-05-06 松下知识产权经营株式会社 信息处理装置以及信息处理方法
CN115176295A (zh) * 2020-02-21 2022-10-11 株式会社电装 管制装置、停车场系统以及位置精度计算方法

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109565605B (zh) * 2016-08-10 2021-06-29 松下电器（美国）知识产权公司 拍摄技术生成方法以及影像处理装置
CN114359487A (zh) * 2016-09-16 2022-04-15 松下电器（美国）知识产权公司 三维数据制作方法以及三维数据制作装置
KR102012549B1 (ko) * 2017-01-25 2019-08-20 엘지전자 주식회사 이동 객체를 식별하여 맵을 작성하는 방법 및 이를 구현하는 로봇
US10220857B2 (en) 2017-02-23 2019-03-05 Uber Technologies, Inc. Vehicle control system
US11360216B2 (en) * 2017-11-29 2022-06-14 VoxelMaps Inc. Method and system for positioning of autonomously operating entities
US11403816B2 (en) * 2017-11-30 2022-08-02 Mitsubishi Electric Corporation Three-dimensional map generation system, three-dimensional map generation method, and computer readable medium
JP6678820B2 (ja) * 2017-11-30 2020-04-08 三菱電機株式会社 三次元地図生成システム、三次元地図生成方法および三次元地図生成プログラム
JP7013926B2 (ja) * 2018-02-23 2022-02-01 株式会社デンソー 光学的測距装置およびその方法
KR102117588B1 (ko) * 2018-04-18 2020-06-02 엔쓰리엔 주식회사 차량 관련 데이터 수집 장치 및 방법
KR102420568B1 (ko) * 2018-04-27 2022-07-13 삼성전자주식회사 차량의 위치를 결정하는 방법 및 이를 위한 차량
CN110832275B (zh) * 2018-06-14 2021-05-18 北京嘀嘀无限科技发展有限公司 基于双目图像更新高分辨率地图的系统和方法
WO2020032004A1 (ja) * 2018-08-06 2020-02-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ格納方法、三次元データ取得方法、三次元データ格納装置、及び三次元データ取得装置
CN109376987A (zh) * 2018-09-10 2019-02-22 百度在线网络技术（北京）有限公司 无人驾驶汽车调度方法、装置、设备及存储介质
JP7202112B2 (ja) * 2018-09-11 2023-01-11 本田技研工業株式会社 車両用制御システムおよび車両の制御方法
JP7163115B2 (ja) * 2018-09-12 2022-10-31 キヤノン株式会社 ロボットシステム、ロボットシステムの制御方法、物品の製造方法、制御装置、操作装置、撮像装置、制御プログラム及び記録媒体
CN112492290B (zh) * 2018-09-30 2022-11-11 Oppo广东移动通信有限公司 一种数据处理方法、服务器和计算机存储介质
FR3088041B1 (fr) * 2018-11-02 2020-10-16 Renault Sas Procede d’elaboration d’une consigne de pilotage d’un vehicule automobile
US10843694B2 (en) * 2018-11-19 2020-11-24 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle height detection and environmental warning system
CN111238494B (zh) * 2018-11-29 2022-07-19 财团法人工业技术研究院 载具、载具定位系统及载具定位方法
JP2022516913A (ja) * 2019-01-03 2022-03-03 ネイバーラボス コーポレーション エンドデバイス、エンドデバイスを制御するためのエッジサーバ、およびクラウドサーバを含む三者間通信システムとこの動作方法
US11312379B2 (en) 2019-02-15 2022-04-26 Rockwell Collins, Inc. Occupancy map synchronization in multi-vehicle networks
US11610337B2 (en) * 2019-02-17 2023-03-21 Purdue Research Foundation Calibration of cameras and scanners on UAV and mobile platforms
WO2020175588A1 (ja) * 2019-02-26 2020-09-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
EP3944195A4 (en) 2019-03-18 2022-08-03 Panasonic Intellectual Property Corporation of America METHOD OF ENCODING THREE-DIMENSIONAL DATA, METHOD OF DECODING OF THREE-DIMENSIONAL DATA, DEVICE FOR ENCODING OF THREE-DIMENSIONAL DATA, AND DECODER OF DECODING OF THREE-DIMENSIONAL DATA
CN113574568A (zh) 2019-03-26 2021-10-29 松下电器（美国）知识产权公司 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置
JP2020183166A (ja) * 2019-05-07 2020-11-12 アルパイン株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP2021009429A (ja) * 2019-06-28 2021-01-28 トヨタ自動車株式会社 自動運転車両および運行管理システム
WO2021010200A1 (ja) * 2019-07-17 2021-01-21 ソニー株式会社 情報処理装置および方法
JP7201550B2 (ja) * 2019-07-29 2023-01-10 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
CN110789533B (zh) * 2019-09-25 2021-08-13 华为技术有限公司 一种数据呈现的方法及终端设备
JP7226238B2 (ja) * 2019-10-15 2023-02-21 トヨタ自動車株式会社 車両制御システム
JP6849256B1 (ja) * 2020-05-08 2021-03-24 シンメトリー・ディメンションズ・インク ３次元モデル構築システム、および３次元モデル構築方法
CN111833717B (zh) * 2020-07-20 2022-04-15 阿波罗智联(北京)科技有限公司 用于定位交通工具的方法、装置、设备和存储介质
WO2022137792A1 (ja) * 2020-12-22 2022-06-30 ソニーグループ株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP7322902B2 (ja) * 2021-01-13 2023-08-08 トヨタ自動車株式会社 運転支援サーバ及びシステム
JP2022138036A (ja) * 2021-03-09 2022-09-22 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
WO2022254602A1 (ja) * 2021-06-02 2022-12-08 日本電気株式会社 緊急ルート決定システム、緊急ルート決定方法、及び非一時的なコンピュータ可読媒体
CN113276861B (zh) * 2021-06-21 2023-03-28 上汽通用五菱汽车股份有限公司 车辆控制方法、车辆控制系统及存储介质
CN113449058B (zh) * 2021-06-25 2023-06-02 安克创新科技股份有限公司 一种地图数据传输方法、清洁机器人及存储介质
WO2023032292A1 (ja) * 2021-09-02 2023-03-09 ソニーグループ株式会社 情報処理方法、情報処理プログラム、及び情報処理装置
US11999352B2 (en) * 2021-12-15 2024-06-04 Industrial Technology Research Institute Method and system for extracting road data and method and system for controlling self-driving car
CN114219705B (zh) * 2021-12-22 2024-09-06 大连理工大学 一种基于三维点云高程分布相似度的可通行区域检测方法
JP7496447B2 (ja) 2022-09-12 2024-06-06 ソフトバンク株式会社 監視支援システム、監視支援装置の制御方法、及び監視支援装置の制御プログラム
WO2024122273A1 (ja) * 2022-12-05 2024-06-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 復号装置、符号化装置、復号方法、及び符号化方法
CN117745988B (zh) * 2023-12-20 2024-09-13 亮风台（上海）信息科技有限公司 一种用于呈现ar标签信息的方法与设备
CN117921622B (zh) * 2024-03-25 2024-06-04 宁波昂霖智能装备有限公司 拾起垃圾的机器人的控制方法及拾起垃圾的机器人

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6240368B1 (en) * 1996-11-02 2001-05-29 Robert Bosch Gmbh Positioning system for a motor vehicle having a satellite receiver
CN101118695A (zh) * 2007-09-03 2008-02-06 深圳市赛格导航科技股份有限公司 一种车辆监控装置及其实现方法
CN101154110A (zh) * 2006-09-29 2008-04-02 三星电子株式会社 基于真实空间的图像来控制移动装置的方法、设备和介质
CN101344986A (zh) * 2008-09-01 2009-01-14 北京中兴恒和卫星应用科技股份有限公司 基于北斗卫星的运输监控系统
CN101650891A (zh) * 2008-08-12 2010-02-17 三星电子株式会社 创建3维网络地图的方法和控制自动行进设备的方法
CN101669156A (zh) * 2007-04-06 2010-03-10 电子地图有限公司 用于确定数字地图数据库中的位置的方法、导航装置和服务器
US20100094460A1 (en) * 2008-10-09 2010-04-15 Samsung Electronics Co., Ltd. Method and apparatus for simultaneous localization and mapping of robot
US20100324752A1 (en) * 2008-03-27 2010-12-23 Toyota Jidosha Kabushiki Kaisha Gradient information calculating system, vehicle running control system, navigation system, and gradient information calculating method
CN102254431A (zh) * 2011-06-14 2011-11-23 上海雷腾软件有限公司 一种车辆位置数据采集处理方法及其系统
US20130088369A1 (en) * 2011-10-11 2013-04-11 Hyundai Motor Company Vehicle location information-based abnormal driving determination and warning system
CN103582803A (zh) * 2011-06-14 2014-02-12 克朗设备有限公司 共享与自动化工业车辆相关联的地图数据的方法和装置
CN103697882A (zh) * 2013-12-12 2014-04-02 深圳先进技术研究院 一种基于图像识别的地理三维空间定位方法和装置
CN103782247A (zh) * 2011-09-07 2014-05-07 克朗设备有限公司 用于使用预先安置的物体定位工业车辆的方法和装置
CN103885443A (zh) * 2012-12-20 2014-06-25 联想(北京)有限公司 用于即时定位与地图构建单元的设备、系统和方法
CN103926927A (zh) * 2014-05-05 2014-07-16 重庆大学 一种室内移动机器人双目视觉定位与三维建图方法
CN104316050A (zh) * 2013-02-28 2015-01-28 三星电子株式会社 移动式机器人及其定位和地图构建的方法
CN105711591A (zh) * 2016-04-26 2016-06-29 百度在线网络技术（北京）有限公司 无人驾驶车辆、无人驾驶车辆的控制方法和装置
WO2016113904A1 (ja) * 2015-01-16 2016-07-21 株式会社日立製作所 ３次元情報算出装置、３次元情報算出方法、および自律移動装置
CN105843223A (zh) * 2016-03-23 2016-08-10 东南大学 一种基于空间词袋模型的移动机器人三维建图与避障方法
CN105869421A (zh) * 2016-06-13 2016-08-17 乐视控股（北京）有限公司 异常路况信息处理方法、装置及车辆

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000075028A (ja) * 1998-08-27 2000-03-14 Toyota Motor Corp 車載ｄｂｆレーダ装置
EP1035531B1 (en) 1999-03-05 2006-04-26 Hitachi, Ltd. Information providing system for mobile units
JP2001012960A (ja) * 1999-06-28 2001-01-19 Hitachi Ltd 情報提供システム
JP4068774B2 (ja) * 1999-11-26 2008-03-26 本田技研工業株式会社 移動体用地図情報表示システム
KR20070048709A (ko) * 2004-09-07 2007-05-09 가부시키가이샤 캐드 센터 3차원 지도 분배 서버 장치, 클라이언트 단말기 장치 및3차원 지도 분배 시스템
US7376499B2 (en) * 2005-09-16 2008-05-20 Gm Global Technology Operations, Inc. State-of-health monitoring and fault diagnosis with adaptive thresholds for integrated vehicle stability system
KR100944642B1 (ko) * 2007-07-23 2010-03-04 팅크웨어(주) 네비게이션 시스템 및 맵 보정 안내방법
JP2009193240A (ja) * 2008-02-13 2009-08-27 Toyota Motor Corp 移動ロボット及び環境地図の生成方法
JP2009250754A (ja) * 2008-04-04 2009-10-29 Toyota Motor Corp 車載装置、情報配信システム、及び、カーナビゲーションシステム
US9066018B2 (en) * 2011-03-28 2015-06-23 Panasonic Intellectual Property Management Co., Ltd. Image display device
EP2541203B8 (en) * 2011-06-30 2015-10-21 Furuno Electric Company Limited Road map feedback server for tightly coupled gps and dead reckoning vehicle navigation
CN102895092A (zh) * 2011-12-13 2013-01-30 冷春涛 一种基于多传感器融合的助行机器人三维环境识别系统
JP5762320B2 (ja) * 2012-01-24 2015-08-12 三菱重工業株式会社 走行制御システム及び走行制御方法
WO2013129360A1 (ja) * 2012-03-02 2013-09-06 日産自動車株式会社 立体物検出装置
KR101920303B1 (ko) * 2012-03-19 2018-11-20 현대모비스 주식회사 3차원 위치 판정 장치 및 방법
US8996273B2 (en) * 2012-08-31 2015-03-31 GM Global Technology Operations LLC Anticipatory cruise control
JP2014106854A (ja) * 2012-11-29 2014-06-09 Toyota Infotechnology Center Co Ltd 自動運転車両制御装置および方法
US9066207B2 (en) * 2012-12-14 2015-06-23 Apple Inc. Managing states of location determination
US9719801B1 (en) * 2013-07-23 2017-08-01 Waymo Llc Methods and systems for calibrating sensors using road map data
JP2016018295A (ja) * 2014-07-07 2016-02-01 日立オートモティブシステムズ株式会社 情報処理システム
US10044817B2 (en) * 2014-07-16 2018-08-07 Toyota Jidosha Kabushiki Kaisha Providing wireless services to a connected vehicle
JP6287728B2 (ja) 2014-09-25 2018-03-07 株式会社デンソー 車載システム、車両制御装置、および車両制御装置用のプログラム

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6240368B1 (en) * 1996-11-02 2001-05-29 Robert Bosch Gmbh Positioning system for a motor vehicle having a satellite receiver
CN101154110A (zh) * 2006-09-29 2008-04-02 三星电子株式会社 基于真实空间的图像来控制移动装置的方法、设备和介质
CN101669156A (zh) * 2007-04-06 2010-03-10 电子地图有限公司 用于确定数字地图数据库中的位置的方法、导航装置和服务器
CN101118695A (zh) * 2007-09-03 2008-02-06 深圳市赛格导航科技股份有限公司 一种车辆监控装置及其实现方法
US20100324752A1 (en) * 2008-03-27 2010-12-23 Toyota Jidosha Kabushiki Kaisha Gradient information calculating system, vehicle running control system, navigation system, and gradient information calculating method
CN101650891A (zh) * 2008-08-12 2010-02-17 三星电子株式会社 创建3维网络地图的方法和控制自动行进设备的方法
US20100040279A1 (en) * 2008-08-12 2010-02-18 Samsung Electronics Co., Ltd Method and apparatus to build 3-dimensional grid map and method and apparatus to control automatic traveling apparatus using the same
CN101344986A (zh) * 2008-09-01 2009-01-14 北京中兴恒和卫星应用科技股份有限公司 基于北斗卫星的运输监控系统
US20100094460A1 (en) * 2008-10-09 2010-04-15 Samsung Electronics Co., Ltd. Method and apparatus for simultaneous localization and mapping of robot
CN102254431A (zh) * 2011-06-14 2011-11-23 上海雷腾软件有限公司 一种车辆位置数据采集处理方法及其系统
CN103582803A (zh) * 2011-06-14 2014-02-12 克朗设备有限公司 共享与自动化工业车辆相关联的地图数据的方法和装置
CN103782247A (zh) * 2011-09-07 2014-05-07 克朗设备有限公司 用于使用预先安置的物体定位工业车辆的方法和装置
US20130088369A1 (en) * 2011-10-11 2013-04-11 Hyundai Motor Company Vehicle location information-based abnormal driving determination and warning system
CN103885443A (zh) * 2012-12-20 2014-06-25 联想(北京)有限公司 用于即时定位与地图构建单元的设备、系统和方法
CN104316050A (zh) * 2013-02-28 2015-01-28 三星电子株式会社 移动式机器人及其定位和地图构建的方法
CN103697882A (zh) * 2013-12-12 2014-04-02 深圳先进技术研究院 一种基于图像识别的地理三维空间定位方法和装置
CN103926927A (zh) * 2014-05-05 2014-07-16 重庆大学 一种室内移动机器人双目视觉定位与三维建图方法
WO2016113904A1 (ja) * 2015-01-16 2016-07-21 株式会社日立製作所 ３次元情報算出装置、３次元情報算出方法、および自律移動装置
CN105843223A (zh) * 2016-03-23 2016-08-10 东南大学 一种基于空间词袋模型的移动机器人三维建图与避障方法
CN105711591A (zh) * 2016-04-26 2016-06-29 百度在线网络技术（北京）有限公司 无人驾驶车辆、无人驾驶车辆的控制方法和装置
CN105869421A (zh) * 2016-06-13 2016-08-17 乐视控股（北京）有限公司 异常路况信息处理方法、装置及车辆

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAI-WEI CHIANG ET AL: "The Performance Analysis of a Real-Time Integrated INS/GPS Vehicle Navigation System with Abnormal GPS Measurement Elimination", 《THE PERFORMANCE ANALYSIS OF A REAL-TIME INTEGRATED INS/GPS VEHICLE NAVIGATION SYSTEM WITH ABNORMAL GPS MEASUREMENT ELIMINATION》 *
YESHODARA NAVEEN SHIVARAMU: "Cloud Based Self Driving Cars", 《2014 IEEE INTERNATIONAL CONFERENCE ON CLOUD COMPUTING IN EMERGING MARKETS (CCEM), IEEE》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021109890A1 (zh) * 2019-12-05 2021-06-10 灵动科技（北京）有限公司 具有追踪功能的自动驾驶系统
CN115176295A (zh) * 2020-02-21 2022-10-11 株式会社电装 管制装置、停车场系统以及位置精度计算方法
CN114450733A (zh) * 2020-04-01 2022-05-06 松下知识产权经营株式会社 信息处理装置以及信息处理方法
CN111674048A (zh) * 2020-05-13 2020-09-18 广东工业大学 一种基于机器视觉的3d打印机断丝报警装置及报警方法

Also Published As

Publication number Publication date
JP7050683B2 (ja) 2022-04-08
JPWO2018038131A1 (ja) 2019-06-24
JP7489529B2 (ja) 2024-05-23
US11410552B2 (en) 2022-08-09
CN114627664A (zh) 2022-06-14
EP3506238A1 (en) 2019-07-03
JP2022103160A (ja) 2022-07-07
US20190189006A1 (en) 2019-06-20
JP2023126862A (ja) 2023-09-12
US20230401957A1 (en) 2023-12-14
US20220238018A1 (en) 2022-07-28
EP4160150A1 (en) 2023-04-05
JP2023026501A (ja) 2023-02-24
WO2018038131A1 (ja) 2018-03-01
JP7307259B2 (ja) 2023-07-11
CN109643489B (zh) 2022-05-03
US11790779B2 (en) 2023-10-17
EP3506238A4 (en) 2019-11-27

Similar Documents

Publication Publication Date Title
CN109643489A (zh) 三维信息处理方法以及三维信息处理装置
CN109313820B (zh) 三维数据编码方法、解码方法、编码装置、解码装置
CN109906608A (zh) 显示方法以及显示装置
US11677981B2 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
CN111148967B (zh) 三维数据制作方法、客户端装置以及服务器
CN109690243A (zh) 三维数据制作方法以及三维数据制作装置
JP7402695B2 (ja) 情報送信方法及びクライアント装置
CN109478338B (zh) 三维数据制作方法、发送方法、制作装置、发送装置
CN109565605A (zh) 拍摄技术生成方法以及影像处理装置
CN109661812A (zh) 多视点摄像系统、三维空间重构系统及三维空间识别系统
CN110495163A (zh) 摄像系统以及校正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant