CN117157972A - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN117157972A
CN117157972A CN202280026589.5A CN202280026589A CN117157972A CN 117157972 A CN117157972 A CN 117157972A CN 202280026589 A CN202280026589 A CN 202280026589A CN 117157972 A CN117157972 A CN 117157972A
Authority
CN
China
Prior art keywords
cameras
information processing
feature points
unit
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280026589.5A
Other languages
English (en)
Inventor
山崎寿夫
周藤泰広
土场健太郎
梁承夏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN117157972A publication Critical patent/CN117157972A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

[目的]提出了一种新的和改进的信息处理方法、信息处理装置和程序，其能够以更高的精度执行校准处理。[解决手段]该信息处理装置，包括：检测单元，该检测单元从通过在定时使用多个相机对被摄体进行拍摄而获得的图像中检测特征点；以及处理单元，该处理单元通过使用由检测单元检测到的满足预定条件的特征点的图像来执行多个相机中的至少一个相机的校准。

Description

信息处理装置、信息处理方法和程序
技术领域
本公开涉及信息处理装置、信息处理方法和程序。
背景技术
近年来，已开发了出于诸如距离测量的分析的目的而使用通过由多个相机拍摄而获得的各个图像中的技术。如上所述，为了使用通过多个相机拍摄而获得的图像中的各个图像来进行诸如距离测量的分析，多个相机的内部参数和外部参数需要更精确，并且需要以更高的精度执行获得多个相机的内部参数和外部参数的校准处理。
例如，专利文献1公开了用于在移动体线性地移动之前和之后，基于通过由多个相机拍摄而获得的各个图像中包括的特征点以及移动体的线性移动距离来执行校准处理的技术。
引用列表
专利文献
专利文献1：日本专利申请公开号2014-101075
发明内容
本发明要解决的问题
然而，在专利文献1中描述的技术中，校准处理中使用的特征点取决于输入图像。因此，存在根据例如拍摄环境或要拍摄的被摄体降低通过校准处理所计算的相机参数的精度的可能性。
因此，本公开提出了能够以更高精度执行校准处理的新颖并改进的信息处理方法、信息处理装置和程序。
问题的解决方案
根据本公开，提供了一种信息处理装置，包括：检测单元，被配置为从通过在某个定时使用多个相机对被摄体进行拍摄而获得的各个图像中检测特征点；以及处理单元，被配置为通过使用具有由检测单元检测到的特征点满足预定条件的各个图像来执行校准多个相机中的至少一个相机的处理。
此外，根据本公开，提供了一种由计算机执行的信息处理方法，该方法包括：从通过在某个定时使用多个相机对被摄体进行拍摄而获得的各个图像中检测特征点；以及通过使用具有满足预定条件的检测到的特征点的各个图像来执行校准所述多个相机中的至少一个相机的处理。
此外，根据本公开，提供了一种使计算机实现以下功能的程序：检测功能，从通过在某个定时使用多个相机对被摄体进行拍摄而获得的各个图像中检测特征点；以及处理功能，通过使用具有由所述检测功能检测到的特征点满足预定条件的各个图像来执行校准所述多个相机中的至少一个相机的处。
附图说明
图1A是说明根据本公开的信息处理系统的实例的说明图。
图1B是说明根据本公开的信息处理系统的另一实例的说明图。
图2是说明根据本发明的信息处理装置10的功能配置实例的说明图。
图3是说明使用三角测量的原理的距离测量处理的实例的说明图。
图4为说明根据本公开的信息处理装置10的操作处理的实例的说明图。
图5是说明与图像处理相关的操作处理的实例的说明图。
图6是说明用于通过哈里斯(Harris)方法检测特征点的方法的实例的说明图。
图7是说明根据本公开的与区分特征点的组相关的操作处理的实例的说明图。
图8为说明根据本发明的相关操作的特定实例的说明图。
图9是说明确定图像是否适合于校准处理的操作处理的实例的说明图。
图10是说明根据第一变形例的操作处理的实例的说明图。
图11是说明用于基于校准处理确定相机中的误差的方法的说明图。
图12是说明根据第二变形例的操作处理的实例的说明图。
图13是说明根据第三变形例的操作处理的实例的说明图。
图14是说明与相机参数更新权限相关的显示屏幕的实例的说明图。
图15是说明根据第四变形例的操作处理的实例的说明图。
图16是说明根据第五变形例的操作处理的实例的说明图。
图17是示出信息处理装置10的硬件的配置的框图。
具体实施方式
下面结合附图对本发明的优选实施例进行详细说明。另外，在说明书和附图中，对具有大致相同的功能结构的组件标注相同的附图标记，省略重复的说明。
此外，根据以下列出的项的顺序描述“用于实施本发明的模式”：
1.信息处理系统的概要
2.信息处理装置10的功能配置实例
3.信息处理装置10的操作处理的实例
3.1.整体操作
3.2.图像处理
3.3.通过哈里斯方法检测特征点
3.4.特征点的组的区分
3.5.关于图像是否适合于校准处理的确定
4.变形例
4.1.第一变形例
4.2.第二变形例
4.3.第三变形例
4.4.第四变形例
4.5.第五变形例
5.操作和效果的实例
6.硬件配置实例
7.补充
<<1.信息处理系统的概要>>
在多个相机用于例如距离测量、物体检测或分析的情况下，需要更准确地设置多个相机中的每个相机的外部参数和内部参数。然而，存在针对每个相机设置的外部参数和内部参数由于例如干扰和老化劣化的影响而偏移的情况。
这样的移位的外部参数和内部参数需要通过获得外部参数和内部参数的校准处理被更新为更准确的参数。注意，外部参数包括相机的位置和取向。此外，固有参数包括焦距、光学中心和透镜的畸变形状。此外，在以下描述中，存在外部参数和内部参数被统一表示为相机参数的情况。
此外，在以下描述中，除非另有规定，否则存在获得相机参数的校准处理和将多个相机的相机参数更新为通过校准处理获得的相机参数的处理共同表示为校准处理的情况。
在下文中，作为本公开的实施方式，说明了信息处理系统的校准的实例，其从通过在某个定时使用多个相机对被摄体进行拍摄而获得的各个图像中检测特征点，并且通过使用具有满足预定条件的特征点的图像来执行校准多个相机中的至少一个相机的处理。
图1A是说明根据本公开的信息处理系统的实例的说明图。如图1A所示，根据本公开的信息处理系统包括网络1、头戴式显示器(HMD)5A和服务器10A。
(网络1)
网络1是用于从连接至网络1的装置传输的信息的有线或无线传输线路。例如，网络1可以包括诸如互联网、电话线网络和卫星通信网络的公共线路网络，以及包括以太网(注册商标)和广域网(WAN)的各种局域网(LAN)。此外，网络1可以包括诸如互联网协议虚拟专用网(IP-VPN)的专线网络。
此外，HMD 5A和服务器10A经由网络1连接。
(HMD5A)
HMD 5A是根据本公开的移动体的实例，并且包括左相机110A和右相机110B。例如，HMD 5A是应用了诸如虚拟现实(VR)或增强现实(AR)等应用的头戴式显示器。
(服务器10A)
服务器10A是根据本公开内容的信息处理装置的实施例，并且从由左相机110A和右相机110B从HMD 5A接收的图像检测特征点。此外，服务器10A通过使用具有满足预定条件的特征点的各个图像来执行校准左相机110A或右相机110B中的至少一个相机的处理。
(相机110)
左相机110A和右相机110B是根据本公开的多个相机的实例，并且通过对外部进行拍摄来获取图像。注意，存在由左相机110A和右相机110B获取的图像被表示为各个图像的情况。
此外，存在HMD 5A中包括的显示器显示叠加在真实物体上的虚拟物体的情况。对于这种虚拟被摄体的显示，使用使用左相机110A和右相机110B的距离测量技术。
需注意，在图1A中描述了以移动体5和信息处理装置10彼此分离的方式配置的信息处理系统。然而，在本公开的信息处理系统中，信息处理装置10可以安装在HMD 5A上。
图1B是说明根据本公开的信息处理系统的另一实例的说明图。如图1B所示，根据本公开的信息处理系统可以包括车辆5B和信息处理设备10B。
(车辆5B)
车辆5B是根据本公开的移动体的示例，并且是用户乘坐的一般车辆。如图1B所示，根据本公开，信息处理设备10B安装在车辆5B上。
(信息处理设备10B)
信息处理设备10B是根据本公开的信息处理装置的实例。根据本公开的信息处理设备10B可以包括左相机110A和右相机110B。信息处理设备10B的功能概要与上述服务器10A的功能概要相同，因此省略说明。应注意，在以下描述中，存在服务器10A和信息处理设备10B被统一表示为信息处理装置10的情况。
此外，根据本公开的信息处理设备10B可以将由左相机110A和右相机110B获取的图像存储为仪表板相机。
此外，例如，存在这样的情况，即，根据本公开的信息处理设备10B通过使用由左相机110A和右相机110B获取的图像来检测例如道路、人或物体，以使用自动驾驶。为了检测这种道路、人、物体等，使用左相机110A和右相机110B的距离测量技术。
如上所述，在根据本公开的信息处理装置10中，在各种场景中使用距离测量技术。然而，为了进一步提高多个相机110与被摄体之间的距离的估计精度，多个相机110的各自的相机参数需要更精确。
另一方面，在多个相机110中的每个相机的相机参数在某个定时被设定为准确值的情况下，存在由于诸如振动的干扰和老化劣化的影响而随时间损失精度的可能性。
因此，存在以下情况：在通过使用由多个相机110拍摄的图像而获得的图像来执行的校准处理的使用时需要适当地校准在多个相机110中设置的相机参数。
另一方面，输入通过多个相机110拍摄而获得的图像以执行获得相机参数的校准处理。因此，存在要输出的相机参数的精度根据输入图像而降低的可能性。
因此，根据本公开的信息处理装置10从通过在某个定时使用多个相机对被摄体进行拍摄而获得的各个图像中检测特征点，并且通过使用具有满足预定条件的特征点的各个图像来校准多个相机中的至少一个相机。下面参照图2描述根据本公开的信息处理装置10的功能配置实例。
<2.信息处理装置10的功能配置实例>
图2是说明根据本发明的信息处理装置10的功能配置实例的说明图。如图2所示，根据本公开的信息处理装置10包括相机110、存储单元120和控制单元130。此外，信息处理装置10安装在移动体5上。
根据本公开的移动体5包括信息处理装置10、显示器20和操作装置30。移动体5可以是上述HMD 5A或车辆5B。此外，移动体5可以是例如无人机、船舶或飞机。
(显示器20)
显示器20具有作为对移动体5被引导移动到的目标位置进行显示的显示单元的功能。
显示器20作为显示单元的功能通过例如阴极射线管(CRT)显示设备、液晶显示器(LCD)设备或有机发光二极管(OLED)设备来实现。
此外，显示器20可以具有作为选择更新相机参数的许可的操作单元的功能。
显示器20作为操作单元的功能由例如触摸面板实现。
(操作装置30)
操作装置30是在下述操作控制单元159的控制下操作的装置。下面描述操作装置30的具体实例。
{相机110}
相机110对被摄体进行拍摄并获取被摄体的图像。在本说明书中，主要描述在信息处理装置10中设置两个相机110的实例。然而，在信息处理装置10中可以设置三个或更多个相机。
{存储单元120}
存储单元120保持通过相机110拍摄而获得的图像。例如，存储单元120可以保持所计算的各个图像，并且导致多个相机110之间的偏移量为预定值或以上，该预定值基于以下描述的图像处理单元131执行的校准处理。
{控制单元130}
控制单元130控制根据本公开的信息处理装置10的整体操作。如图2所示，根据本公开的控制单元130包括图像处理单元131、特征点检测单元135、区分单元139、得分计算单元143、校准处理单元147、距离测量单元151、距离测量数据利用单元155和操作控制单元159。
图像处理单元131对由多个相机110获取的各个图像执行图像处理。例如，图像处理单元131对各个图像执行诸如阴影校对和降噪的各种类型的图像处理。
此外，图像处理单元131执行各种处理，诸如，透镜失真移除、校准处理以及剪切处理。
特征点检测单元135是根据本公开的检测单元的实例，并且从各个图像中检测特征点，该各个图像是通过在某个定时使用多个相机对被摄体进行拍摄而获得的。
例如，特征点检测单元135可以通过使用诸如哈里斯方法或尺度不变特征变换(SIFT)的已知技术从各个图像检测特征点。注意，作为用于特征点检测单元135从图像检测特征点的方法的实例，下面描述使用哈里斯方法的特征点检测方法。
区分单元139将包括在由特征点检测单元135检测的一个图像中的每个特征点和与另一图像中包括的特征点之中的每个特征点具有最高相关性的特征点区分为特征点的组。
例如，区分单元139将包括在通过由左相机110A拍摄而获得的图像中的每个特征点和与包括在通过由右相机110B拍摄而获得的图像中的特征点之中的每个特征点具有最高相关性的特征点区分为特征点的组。
得分计算单元143计算表示通过在某个时间使用多个相机110对被摄体进移动行拍摄而获得的各个图像适合于校准处理的程度的得分值。
例如，得分计算单元143可以计算每组由区分单元139区分为特征点获得的视差值的分布作为得分值。注意，在以下描述中，存在基于视差值的分布的得分值被表示为视差分布得分的情况。
此外，得分计算单元143可以计算由区分单元139区分处的特征点的组的特征点的分布作为得分值。注意，在以下描述中，存在基于被区分出的特征点的组的特征点的分布的得分值表示为特征点分布得分的情况。
校准处理单元147是根据本公开的处理单元的实例，并且通过使用在通过由多个相机110拍摄而获得的各个图像之中的适合于校准处理的图像来执行校准多个相机110中的至少一个相机的处理。
例如，校准处理单元147通过使用适合于校准处理的图像来执行计算多个相机110的相机参数的校准处理。此外，校准处理单元147可以执行更新多个相机110的相机参数的处理。下面描述关于适合于校准处理的图像的细节。
此外，校准处理单元147是根据本公开的计算单元的实例，并且可以基于特征点的组的图像位置之间的关系计算多个相机之间的偏移量。此外，校准处理单元147可以基于多个相机之间的偏移量确定多个相机中是否已经发生误差。
距离测量单元151基于由多个相机110拍摄的图像和相机参数执行计算从多个相机110到被摄体的距离的距离测量处理。根据本公开内容的距离测量处理可以使用诸如三角测量的原理的已知技术。以下参照图3描述用于通过使用三角测量的原理计算从多个相机110到作为拍摄目标的被摄体的距离的方法的实例。
图3是说明使用三角测量的原理的距离测量处理的实例的说明图。图3示出了在利用左相机110A和右相机110B对被摄体P进行拍摄的情况下在左相机110A的图像平面SL上和右相机110B的图像平面SR上的被摄体P的图像位置。
图像位置PL是在左相机110A对被摄体P进行拍摄的情况下，在左相机110A的图像平面SL上对被摄体P进行拍摄的位置。此外，图像位置PR是在右相机110B在与左相机110A相同的时间对主体P进行拍摄的情况下，在右相机110B的图像平面SR上对主体P进行拍摄的位置。
此外，左相机110A中的被摄体P的图像位置PL与右相机110B中的被摄体P的图像位置PR之间的差值被称为视差S。
这里，使用基本长度B、焦距F和视差S，距离D由以下数学公式(数学式1)表示。[数学式1]
如上所述，距离测量单元151可以通过使用(公式1)计算从多个相机110到被摄体P的距离。参考图2，该描述返回至根据本公开的信息处理装置10的功能配置实例。
距离测量数据利用单元155使用由距离测量单元151计算出的距离测量信息。例如，距离测量数据利用单元155可以基于计算出的距离测量信息确定安装多个相机110的移动体5与物体之间的碰撞可能性。
操作控制单元159控制操作装置30的操作。例如，在距离测量数据利用单元155确定移动体5与被摄体之间的碰撞可能性较高的情况下，操作控制单元159可以控制与碰撞避免相关的操作装置30(例如，引擎或制动机构)。
此外，操作控制单元159可以经由控制移动体5的整体操作的控制设备来控制操作装置30。
至此，已经描述了根据本公开的信息处理装置10的功能配置实例。接下来，参照图4至图9依次描述根据本公开的信息处理系统的操作处理的实例。
<3.信息处理装置10的操作处理的实例>
<<3.1.整体操作>>
图4为说明根据本公开的信息处理装置10的操作处理的实例的说明图。首先，多个相机110在某个定时对被摄体进行拍摄，并且每个相机获取其图像(S101)。
接下来，图像处理单元131对通过由多个相机110拍摄而获得的各个图像执行图像处理(S105)。
接下来，特征点检测单元135从各个图像中检测特征点(S109)。
然后，区分单元139区分从一个图像中检测的每个特征点与从另外的图像中检测的每个特征点之间具有高相关性的特征点的组(S113)。
然后，校准处理单元117确定通过多个相机110拍摄而获得的各个图像是否是适合于校准处理的图像(S117)。如果确定图像适合于校准处理，那么处理进行至S121(S117/是)，并且如果确定图像不适合于校准处理，那么处理进行至S101(S117/否)。
在确定图像适合于校准处理(S117/是)的情况下，校准处理单元117执行校准多个相机中的至少一个相机的处理(S121)，并且根据本公开的信息处理装置10结束该处理。
至此，已经描述了根据本公开的信息处理装置10的整个操作处理的实例。接下来，依次描述与S105至S117相关的操作处理的具体实例。首先，参考图5，描述根据本公开的与图像处理相关的操作处理的实例。
<<3.2.图像处理>>
图5是说明与图像处理相关的操作处理的实例的说明图。首先，图像处理单元131使用多个相机110中设置的相机参数来移除通过由多个相机110拍摄而获得的各个图像中的透镜失真(S201)。
接下来，图像处理单元131对通过由多个相机110拍摄而获得的各个图像执行校准处理(S205)。要注意的是，校准处理是在通过使用多个相机110对被摄体进行拍摄而获得的各个图像中在y方向上对准某个被摄体的图像位置的处理。应注意，使链接安装在信息处理装置10上的多个相机110的中心的直线方向为x方向，并且使与x方向垂直的方向为y方向。
图像处理单元131然后通过剪切处理将经历透镜失真移除和校准处理的图像切割成期望的图像尺寸(S209)，并且根据本公开的图像处理单元131结束与图像处理相关的处理。
至此，已经描述了与根据本公开的图像处理有关的操作处理实例。接下来，参考图6描述根据本公开的与特征点的检测相关的操作处理的实例。
<<3.3.通过哈里斯方法检测特征点>>
图6是说明用于通过哈里斯方法检测特征点的方法的实例的说明图。首先，特征点检测单元135从已经输入的各个图像生成x方向上的差分图像(S301)。
此外，特征点检测单元135从已经输入的各个图像生成y方向上的差分图像(S305)。注意，特征点检测单元135可以例如通过将针对x方向和y方向的Sobel滤波器应用于已经输入的各个图像来生成x方向的差分图像和y方向的差分图像。
特征点检测单元135然后通过在每个方向上的差分图像中的相同像素位置处的像素值和下面的数学公式(数学式2)来计算矩阵M(x，y)(S309)。
[数学式2]
注意，g(u，v)是加权因子，并且可以是例如以x、y为原点的高斯函数。另外，Ix是差分图像的x方向的像素值，Iy是差分图像的y方向的像素值。
接下来，特征点检测单元135通过矩阵M(x，y)和下面的数学公式(数学式3)来计算像素(x，y)的特征值R(x，y)(S313)。
[数学式3]
R(x,y)＝detM(x,y)-k(trM)2 (数学式3)
应注意，detM(x，y)是矩阵M(x，y)的行列式的值，并且trM是矩阵M(x，y)的轨迹。此外，k是由用户指定的参数，并且在例如0.04至0.06的范围内被指定。
特征点检测单元135然后对输入图像的所有像素执行S309至S313的处理(S317)。所以，在没有对输入图像的所有像素执行与S309至S313有关的处理的情况下(S317/否)，处理返回至S309，并且在对输入图像的所有像素执行与S309至S313有关的处理的情况下(S317/是)，处理移至S321。
特征点检测单元135然后基于所有像素的特征值R(x，y)中的每个特征值来检测特征点(S321)。
例如，特征点检测单元135检测具有最大特征值R(x，y)的像素的位置作为图像的特征点(例如，角点)，该像素为用户指定的阈值或以上。
到目前为止，已描述了用于通过哈里斯方法检测特征点的方法的实例。接下来，参考图7描述根据本公开的用于区分一组特征值的方法的实例。
<<3.4.特征点的组的区分>
图7是说明根据本公开的与区分特征点的组相关的操作处理的实例的说明图。在图7中，描述了用于区分单元139将特征点的组与包括在两个图像中的各个图像中的特征点区分开的方法的实例。在以下描述中，存在以下情况：在这两个图像中，通过由左相机110A拍摄而获得的图像被表示为左图像，并且通过由右相机110B拍摄而获得的图像被表示为右图像。
首先，区分单元139获取左图像的一个特征点(S401)。
接下来，区分单元139从左图像中获取设置为特征点的u×v的图像块(S405)。
然后，区分单元139获取右图像的一个特征点(S409)。
然后，区分单元139从右图像中获取以特征点为中心的u×v的图像块(S413)。
接下来，区分单元139在亮侧的图像块与右侧的图像块之间进行相关操作(S417)。
例如，在根据本公开的相关操作中，区分单元139可以使用已知的计算方法来计算每个特征点的相关度，但是可以使用例如下面的数学公式(数学式4)至(数学式7)中的任来计算每个特征点的相关度。
[数学式4]
[数学式5]
[数学式6]
[数学式7]
注意，(数学式7)中的AVE表示平均值。此处，参考图8描述根据本公开的相关操作的具体实例。
图8为说明根据本公开的相关性操作的具体实例的说明图。区分单元139获取具有左图像的某些特征点作为原点的u×v块的区域中的像素值。
然后，区分单元139类似地获取在右图像中具有特定特征点作为原点的u×v块的区域。
然后，区分单元139通过将上述公式4至7应用于左图像的u×v区域中的每个像素值I左和右图像的u×v区域中的每个像素值I右来计算特征点的相关度。
至此，已经描述了根据本公开的相关操作的具体实例。返回参照图7，继续描述与区分特征点的组相关的操作处理的实例。
在执行左图像中的特征点与右图像中的特征点之间的相关性操作(S417)之后，区分单元139将右图像中的特征点(该特征点与在S401中获取的左图像中的特征点具有最高相关性)留作特征点的组的候选者(S421)。
然后，区分单元139在S401中获取的左图像中的特征点与右图像中的所有特征点之间执行S409至S421的处理(S425)。所以，在对应于在S401中获取的左图像中的特征点未检查右图像中的所有特征点的情况下(S425/否)，处理返回至S409，并且在已检查右图像中的所有特征点的情况下(S425/是)，处理移至S429。
在检查了右图像中的所有特征点的情况下(S425/是)，区分单元139确定在S401中获取的左图像中的特征点与S421中的右图像中的最后剩余特征点之间的相关值是否为预定值或以上(S429)。在相关值小于预定值的情况下(S429/否)，处理移至S437，并且在相关值为预定值或以上的情况下(S429/是)，处理移至S433。
在相关值小于预定值的情况下(S429/否)，区分单元139确定在右图像中不存在与在S401中获取的左图像中的特征点(作为特征点的组)匹配的特征点(S437)。
在相关值为预定值或以上(S429/是)的情况下，区分单元139区分在S401中获取的左图像中的特征点(作为特征点的组)和在S421中的右图像中的最后剩余特征点(S433)。
然后，区分单元139对左图像中的所有特征点执行与在S401至S437中区分特征点的组相关的处理(S441)。所以，在没有对左图像中的所有特征点执行与特征点的组的区分有关的处理的情况下(S441/否)，处理返回至S401，并且在对左图像中的所有特征点执行与匹配有关的处理的情况下(S441/是)，根据本公开的区分单元139结束处理。
至此，已经描述了与根据本公开的特征点的组的区分有关的操作处理的实例。接下来，参考图9描述基于特征点和特征点的组确定各个图像是否是适合于校准处理的图像的操作处理的实例。
<<3.5.关于图像是否适合于校准处理的确定>>
为了提高通过校准处理的相机参数的计算的准确度，与各个图像区分出的特征点的组指示相同的目标位置是必要的。所以，随着特征点检测单元135检测到的特征点的数目和区分单元139所区分出的特征点的组的数目增加，可以减少特征点的组的区分中的误差的影响。
因此，校准处理单元147将其中检测到的特征点满足预定条件的各个图像区分出的适合于校准处理的图像。
图9是说明确定图像是否适合于校准处理的操作处理的实例的说明图。首先，特征点检测单元135从各个图像中检测特征点(S109)。
接下来，校准处理单元147确定检测到的特征点的数目是否为预定值或以上(S501)。在特征点的数目为预定值或以上的情况下(S501/是)，处理移至S113。在特征点的数目小于预定值的情况下(S501/否)，校准处理单元147确定已检测到特征点的各个图像是不适合于校准处理的图像，并且结束该处理。
在特征点的数目为预定值或以上的情况下(S501/是)，区分单元139从各个图像中区分特征点的组(S113)。
在特征点的组的数目为预定值或以上的情况下(S509/是)，校准处理单元147将处理移动至S513。在特征点的组的数目小于预定值的情况下(S509/否)，校准处理单元147确定已检测到特征点的各个图像是不适合于校准处理的图像，并且结束该处理。
在特征点的组的数目为预定值或以上的情况下(S509/是)，校准处理单元147计算视差分布得分(S513)。注意，视差分布得分指示由区分单元139区分出的每个特征点的组的视差值的分布。更具体地，随着所有特征点的组的每个特征点的视差值的标准偏差或方差增加，视差分布得分指示更高的值。
然后，校准处理单元147确定视差分布得分是否为预定值或以上(S517)。在视差分布得分为预定值或以上(S517/是)的情况下，该处理移到S521。在视差分布得分小于预定值的情况下(S517/否)，校准处理单元147确定其中检测到特征点的各个图像是不适合于校准处理的图像，并且结束该处理。
在视差分布得分为预定值或以上(S517/是)的情况下，校准处理单元147计算特征点分布得分(S521)。应注意，特征点分布得分表示被区分出的特征点的组的特征点的分布。更具体地，随着被区分出的特征点的组的特征点在图像平面上的x和y坐标值的标准偏差或方差增加，特征点分布得分指示更高的值。
然后，校准处理单元147确定特征点分布得分是否为预定值或以上(S525)。在特征点分布得分为预定值或以上(S525/是)的情况下，处理移至S529。在特征点分布得分小于预定值的情况下(S525/否)，校准处理单元147确定已检测到特征点的各个图像是不适合于校准处理的图像，并且结束该处理。
在特征点分布得分为预定值或以上(S525/是)的情况下，校准处理单元147确定已经检测到特征点的各个图像是适合于校准处理的图像，保存各个图像和被区分出的特征点的组的特征点(S529)，并且结束该处理。
至此，已经描述了根据本公开的确定图像是否适合于校准处理的操作处理的实例。然而，根据本公开的用于确定图像是否适合于校准处理的方法不限于这种实例。
例如，校准处理单元147可以确定各个图像是否是适合于校准处理的图像，不是执行S501、S509、S517和S525的所有步骤，而是执行至少一个或多个步骤。
至此，已经描述了根据本公开的信息处理装置10的操作处理的实例。然而，根据本公开的实施例不限于这种实例。以下参考图10至图16描述根据本公开的变形例。
<4.变形例>
<<4.1.第一变形例>>
在没有发生基于相机参数的相机误差的情况下，校准处理单元147不一定需要对多个相机110执行校准处理。因此，根据本公开的信息处理装置10可以在关于通过由多个相机110拍摄而获得的各个图像是否是适合于校准处理的图像的确定之后执行相机误差确定。
图10是说明根据第一变形例的操作处理的实例的说明图。首先，校准处理单元147确定各个图像是否是适合于校准处理的图像(S117)。在确定图像适合于校准处理的情况下(S117/是)，处理移动至S601，并且在确定图像不适合于校准处理的情况下(S117/否)，信息处理装置10结束处理。
在确定图像适合于校准处理的情况下(S117/是)，校准处理单元147对多个相机110进行误差确定(S601)。
然后，校准处理单元147确定多个相机110是否发生了误差(S605)。在确定在多个相机110中已经发生误差的情况下(S605/是)，处理移动至S609，并且在确定在多个相机110中没有发生误差的情况下(S605/否)，信息处理装置10结束处理。
在确定多个相机110中已经发生误差的情况下(S605/是)，校准处理单元147对多个相机110中的至少一个相机执行校准处理(S609)，并且信息处理装置10结束该处理。
应注意，例如，校准处理单元147可以基于由图像处理单元131执行的校准处理对多个相机110执行误差确定。以下参考图11描述基于校准处理的相机误差确定的实例。
图11是说明用于基于校准处理确定相机中的误差的方法的说明图。在左相机110A和右相机110B用于对被摄体P进行拍摄的情况下，是否存在相机误差可以影响校准处理之后的被摄体P的图像位置。
例如，在相机中没有发生误差的情况下，图像处理单元131对各个图像执行校准处理，然后左相机110A的图像平面SL上的图像位置PL和右相机110B的图像平面SR上的图像位置PR在相同的y坐标位置中。
另一方面，在相机中发生了误差的情况下，图像处理单元131对各个图像执行校准处理，然后左相机110A的图像平面SL上的图像位置PL和右相机110B的图像平面SR上的图像位置PR_ERR处于不同的y坐标位置。
因此，校准处理单元147可以基于校准处理之后图像平面SL上的图像位置PL和图像平面SR上的图像位置PR_ERR之间的差DERR的值来确定是否已经发生相机误差。
更具体地，在差DERR为预定值或以上的情况下，校准处理单元147可以确定在多个相机110中已经发生误差，并且在差DERR小于预定值的情况下，可以确定在多个相机110中没有发生误差。要注意的是，差值DERR是在相机之间的偏移量的一实例。
应注意，相机误差频繁发生的可能性较低，并且因此，校准处理单元147可以针对在特定时间段过去之后获得的各个图像确定多个相机110中是否已经发生误差。
此外，在确定在多个相机110中已经发生误差的情况下，存储单元120可以保存用于确定的各个图像。因此，校准处理单元147然后可以控制执行校准处理的定时，并且可以在移动体5静止时或触地之后以更安全的定时执行校准处理。
至此，已经描述了用于基于校准处理确定相机中的误差的方法的示例。接下来，参照图12描述根据本公开的第二变形例的操作处理的实例。
<<4.2.第二变形例>>
在到目前为止的描述中，已经描述了校准处理单元147将通过由多个相机在某个定时拍摄而获得的各个图像设置为一组，并且通过使用一组各个图像来执行校准处理的实例。然而，根据本公开的信息处理装置10可以通过使用多个各个图像来执行校准处理。
图12是说明根据第二变形例的操作处理的实例的说明图。参考图10描述S117、S601和S605的处理。因此，在图12中省略其描述。
在确定在多个相机110中已经发生误差的情况下(S605/是)，存储单元120保存被确定为适合于S117中的校准处理的各个图像(S701)。
然后，校准处理单元147确定保存在存储单元120中的各个图像的数目、或各个图像的组的数目是否为预定数目或以上(S705)。在确定所述数目为预定数目或以上(S705/是)的情况下，所述处理移动到S709，并且在确定所述数目小于预定数目(S705/否)的情况下，校准处理单元147结束所述处理。
在确定数目为预定数目或以上(S705/是)的情况下，校准处理单元147通过使用存储单元120中保存的多个各个图像来执行校准多个相机110中的至少一个相机的处理，并且结束该处理。
应注意，校准处理单元147可以通过使用保存在存储单元120中的各个图像中的具有新拍摄时刻的预定数目的各个图像来执行校准处理。
此外，存储单元120可以定期删除具有旧拍摄时刻的各个图像。例如，存储单元120可以在自其拍摄时刻过去特定时间段之后删除各个图像，或者可以将上限设置为保持各个图像的量，并且在超过上限的情况下以拍摄时刻的升序删除各个图像。
至此，已经描述了根据本公开的第二变形例的操作处理的实例。接下来，参照图13描述根据本公开的第三变形例的操作处理的实例。
<<4.3.第三变形例>>
在到目前为止的描述中，校准处理已经被描述为包括获得相机参数的校准处理和将通过校准处理获得的相机参数应用于多个相机中的至少一个相机的处理的处理。
根据本公开内容的校准处理单元147可以使用适合于校准处理的图像来执行校准处理，并且在获得用户许可的情况下，将通过校准获得的相机参数应用于多个相机110。
图13是用于说明根据第三变形例的操作处理的实例的说明图。参考图10描述S117、S601和S605的处理。因此，在图13中省略其描述。
在确定在多个相机110中已经发生误差的情况下(S605/是)，校准处理单元147使用在S117中确定为适合于校准处理的各个图像来执行校准，并且计算相机参数。(S801).
然后，信息处理装置10与用户检查是否许可更新相机参数(S805)。
然后，校准处理单元147确定用户是否许可更新相机参数(S809)。在已经许可相机参数的更新的情况下(S809/是)，处理移至S813，并且在尚未许可相机参数的更新的情况下(S809/否)，校准处理单元147结束处理。
在许可相机参数的更新的情况下(S809/是)，校准处理单元147使用通过校准处理获得的相机参数更新多个相机110中的至少一个相机。校准处理单元147结束该处理。
注意，可以在任何方法中许可相机参数更新，但是，例如，操作控制单元159可以使包括在移动体5中的显示器20显示与相机参数更新许可相关的通知画面。
图14是说明与相机参数更新权限相关的显示屏幕的实例的说明图。例如，如图14所示，操作控制单元159可以使显示器20显示与相机参数的更新相关的这种通知屏幕。在用户在显示器20上选择“OK”或“NG”的情况下，则校准处理单元147可以确定是否已经许可相机参数的更新。
需注意，图14是用于获取更新相机参数的权限的方法的实例，并且根据本公开的用于获取更新权限的方法不限于该实例。例如，操作控制单元159可以使包括在移动体5中的扬声器输出与许可更新相机参数相关的声音。
此外，校准处理单元147可以基于用户发出的词(例如，“是”或“否”)确定是否已经许可相机参数的更新。
此外，在用户不许可更新的情况下，操作控制单元159可以使与操作装置30的预定操作相关的控制无效。例如，操作控制单元159可以禁用将由距离测量数据利用单元155执行的各种功能。更具体地，例如，操作控制单元159可以禁用与移动体5的自动驱动相关的功能以及与障碍物躲避相关的功能。
至此，已经描述了根据本公开的第三变形例的操作处理的实例。接下来，参照图14描述根据本公开的第四变形例的操作处理的实例。
<<4.4.第四变形例>>
在校准处理单元147确定各个图像不是适合于校准处理的图像的情况下，根据本公开的操作控制单元159可以输出与移动体5的移动相关的控制信息。
图15是说明根据第四变形例的操作处理的实例的说明图。参照图4，描述S101至S121的程序。因此，在图15中省略其描述。
在确定各个图像不是适合于校准处理的图像的情况下(S117/否)，操作控制单元159将移动体5移动到可以获取适合于校准处理的图像的拍摄位置(S901)。
然后，重复执行S101至S117和S901的程序，直到校准处理单元147在S117中确定图像适合于校准处理。
例如，操作控制单元159可以控制移动体5朝着适合于校准处理的位置的移动。更具体地，在移动体5是无人机的情况下，操作控制单元159可以执行与无人机的上升或下降相关的控制。
此外，操作控制单元159可以获取能够获得适合于校准处理的图像的位置信息，并且在确定移动体5可以移动到由位置信息指示的位置的情况下，操作控制单元169可以将移动体5移动到由位置信息指示的点。
此外，操作控制单元159可以保持移动移动体5，直到通过多个相机110拍摄而获得的各个图像的每个像素的亮度值满足预定标准。例如，满足预定标准的每个像素的亮度值可以表示，例如，平均亮度值可以为预定值或以上，平均亮度值可以在预定范围内，或者所有像素的亮度值的标准偏差或方差可以为预定值或以上。
此外，操作控制单元159可以使显示器20显示适合于校准处理的位置信息。因此，用户可以根据显示器20上显示的位置信息来移动移动体5。
至此，已经描述了根据本公开的第四变形例的操作处理的实例。接下来，参照图15描述根据本公开的第五变形例的操作处理的实例。
<<4.5.第五变形例>>
根据本公开的信息处理装置10可以根据相机参数的变化确定在相机中是否已经发生通过更新相机参数难以改善的故障。
例如，存储单元120存储通过校准获得的相机参数。在通过校准计算的相机参数与存储在存储单元120中的过去相机参数之间的差为预定值或以上的情况下，则校准处理单元147可以确定在多个相机119中已经发生了难以通过更新相机参数来改善的故障。
图16是说明根据第五变形例的操作处理的实例的说明图。除了S1001至S1009之外的处理与图13的描述重叠，因此省略其描述。
在校准处理单元147执行校准处理(S801)之后，存储单元120保存通过校准处理获得的相机参数。
然后，校准处理单元147基于过去的相机参数和在S801中获得的相机参数来确定多个相机中是否发生了严重故障(S1005)。在确定已经发生严重故障的情况下(S1005/是)，处理移至S1009，并且在确定没有发生严重故障的情况下(S1005/否)，处理移至S805。
在确定已经发生严重故障的情况下(S1005/是)，操作控制单元159根据故障执行控制(S1009)，并且处理移至S805。
应注意，例如，操作控制单元159可以使显示器20显示提示多个相机的修复的显示器，或者可以打开警告灯。
此外，操作控制单元159可以将与距离测量单元151和距离测量数据利用单元155相关的控制切换为无效。例如，在移动体5是汽车的情况下，操作控制单元159可以切换自动驾驶功能以禁用。此外，在移动体5是无人机的情况下，操作控制单元159可以基于距离测量将障碍物躲避功能切换为无效。
此外，校准处理单元147可以获取存储单元120中保存的过去的相机参数的每个元素的变化、焦距、光学中心、旋转分量(俯仰、偏航、横滚)或平移分量(x，y，z)的差异，并且例如在平均值、偏差或标准偏差超过预定值的情况下，确定在多个相机110中已经发生故障。
此外，在旋转分量和平移分量的每者的变化的差值在相同方向上偏移的次数超过预定次数的情况下，校准处理单元147可以确定在多个相机110中已经发生了故障。
此外，在最近的相机参数与上一次的相机参数之间的差的次数为预定值或以上的次数超过预定次数的情况下，校准处理单元147可以确定在多个相机110中已经发生了故障。
至此，已经描述了根据本公开的操作处理的变形。接下来，描述根据本公开的操作和效果的实例。
<5.操作和效果的实例>
根据上述本公开，可以获得各种操作和效果。例如，校准处理单元147可以通过使用具有满足预定条件的特征点的各个图像来执行校准相机的处理来设置相机中以更高精度计算的相机参数。
此外，校准处理单元147通过使用各个图像来执行校准相机的处理，其中，相机之间的偏移量被计算并且导致为预定值或以上。校准处理单元147可以通过不执行不必要地校准处理来减少信息处理装置10上的负荷。
此外，校准处理单元147通过使用存储在存储单元120中的多个各个图像来执行校准相机的处理。因此，校准处理单元147可以降低由于例如噪声而发生校准计算误差的可能性，并且以更高的精度计算相机参数。
此外，在用户许可相机参数的更新的情况下，校准处理单元147对多个相机执行校准处理。因此，信息处理装置10可以控制定时以根据移动体5的情形更新相机参数，并且可以进一步增加用户的便利性。
此外，操作控制单元159执行与安装多个相机110的移动体5的移动有关的控制。因此，多个相机110可以更高精度获取适合于校准处理的图像。
此外，存储单元120保持确定在多个相机110中已经发生误差的各个图像。因此，因为存储单元120仅保持必要的图像，所以可以抑制图像占用这么多的存储空间。
此外，在校准处理之前和之后的相机参数满足预定标准的情况下，操作控制单元159禁用与移动体5的预定操作相关的控制。因此，能够降低移动体5与障碍物的碰撞等风险。
至此，已经描述了根据本公开的操作和效果的实例。接下来，参照图17描述根据本公开的硬件的配置的实例。
<6.硬件配置实例>
至此，已经描述了本公开的实施例。通过信息处理装置10的软件和硬件之间的协作实现诸如上述特征点检测或者校准处理的各种信息处理，以下描述硬件。
图17是示出信息处理装置10的硬件的配置的框图。信息处理装置10包括中央处理单元(CPU)1001、只读存储器(ROM)1002、随机存取存储器(RAM)1003和主机总线1004。此外，信息处理装置10包括网桥1005、外部总线1006、接口1007、输入设备1008、输出设备1010、存储设备(HDD)1011、驱动器1012和通信设备1015。
CPU 1001用作运算处理设备和控制设备，并且根据各种程序控制信息处理装置10中的整体操作。此外，CPU 1001可以是微处理器。ROM 1002存储例如由CPU 1001使用的程序和操作参数。RAM 1003临时存储例如在CPU 1001的执行期间使用的程序和在执行期间适当改变的参数。它们通过包括CPU总线的主机总线1004彼此连接。例如，参考图2描述的特征点检测单元135、区分单元139和校准处理单元147的功能可以通过CPU 1001、ROM 1002和RAM1003与软件之间的协作来实现。
主机总线1004经由网桥1005连接到外部总线1006，诸如外围组件互连/接口(PCI)总线。注意，主机总线1004、网桥1005和外部总线1006不必单独配置，并且其功能可以安装在一个总线上。
输入设备1008包括：输入单元，用于许可用户输入信息，诸如鼠标、键盘、触摸面板、按钮、麦克风、开关和控制杆；以及输入控制电路，基于用户的输入产生输入信号，并将输入信号输出到CPU 1001。通过操作输入设备1008，信息处理装置10的用户可以将各种数据输入到信息处理装置10中，或指示信息处理装置10执行处理操作。
例如，输出设备1010包括诸如液晶显示设备、OLED设备和灯的显示设备。此外，输出设备1010包括诸如扬声器和耳机的音频输出设备。例如，输出设备1010输出再现的内容。具体地，显示设备显示诸如文本或图像的再现视频数据的各种信息。另一方面，音频输出设备将例如再现的音频数据转换为音频并输出该音频。
存储设备1011是用于存储数据的设备。存储设备1011可以包括存储介质、将数据记录在存储介质中的记录设备、从存储介质读取数据的读取设备和删除记录在存储介质上的数据的删除设备。例如，存储设备1011包括硬盘驱动器(HDD)。存储设备1011驱动硬盘并存储要由CPU 1001执行的程序和各种数据。
驱动器1012是用于存储介质的读写器，并且内置或外接到信息处理装置10。驱动器1012读出在安装在其上的可移除存储介质1018(诸如磁盘、光盘、磁光盘或半导体存储器)中记录的信息，并将该信息输出到RAM 1003。此外，驱动器1012还可以在可移除存储介质1018上写入信息。
通信设备1015例如是包括用于连接至网络12的通信设备的通信接口。此外，通信设备1015可以是具有无线LAN能力的通信设备、具有长期演进(LTE)能力的通信设备或执行有线通信的有线通信设备。
至此，已经描述了根据本公开的硬件配置实例。接下来，描述根据本公开的补充。
<7.补充>
至此，已经参考附图详细描述了本公开的优选实施例。然而，本公开不限于这种实例。显而易见的是，本公开所属技术领域的普通技术人员可以在权利要求中描述的技术构思的范围内设计出各种变形例或修改例，并且将自然地理解它们也属于本公开的技术范围。
例如，本说明书的信息处理装置10的处理中的每个步骤不一定按照流程图中描述的顺序按时间序列执行。例如，信息处理装置10的处理中的每个步骤可以以与流程图中描述的顺序不同的顺序执行，或者可以并行执行。
此外，还可以创建计算机程序，该计算机程序用于使内置在信息处理装置10中的硬件(诸如CPU、ROM和RAM)表现出与上述信息处理装置10的每个配置相当的功能。此外，还提供了一种存储计算机程序的存储介质。
此外，在本说明书中描述的效果仅仅是示例性的或说明性的，而不是限制性的。换言之，除上述效果之外或代替上述效果，根据本公开的技术可以表现出从本说明书的描述中对于本领域技术人员显而易见的其他效果。
应注意，以下配置也属于本公开的技术范围。
(1)
一种信息处理装置，包括：
检测单元，被配置为从通过在某个定时使用多个相机对被摄体进行拍摄而获得的各个图像中检测特征点；以及
处理单元，被配置为通过使用具有由所述检测单元检测到的特征点满足预定条件的各个图像来执行校准所述多个相机中的至少一个相机的处理。
(2)
根据(1)所述的信息处理装置，其中
所述处理单元
通过使用具有由所述检测单元检测到的所述特征点的数目为预定值或以上的各个图像，来执行校准所述多个相机中的至少一个相机的处理。
(3)
根据(1)或(2)所述的信息处理装置，进一步包括：
区分单元，被配置为对于由所述检测单元检测到的一个图像中包括的每个特征点，将在另外的图像中包括的特征点中具有最高相关性的特征点区分为特征点的组，其中
所述处理单元
通过使用具有满足预定条件的所述特征点的组的各个图像来执行校准所述多个相机中的至少一个相机的处理。
(4)
根据(3)所述的信息处理装置，其中
所述处理单元
通过使用具有所述特征点的组的数目为预定值或以上的各个图像，来执行校准所述多个相机中的至少一个相机的处理。
(5)
根据(3)或(4)所述的信息处理装置，其中
所述处理单元
通过使用对应于由所述区分单元区分出的每个特征点的组获得的视差值的分布满足预定标准的各个图像，来执行校准所述多个相机中的至少一个相机的处理。
(6)
根据(3)至(5)中任一项所述的信息处理装置，其中
所述处理单元
通过使用由所述区分单元区分为所述特征点的组的特征点的分布满足预定标准的各个图像，来执行校准所述多个相机中的至少一个相机的处理。
(7)
根据(1)至(6)中任一项所述的信息处理装置，进一步包括：
计算单元，被配置为基于针对所述各个图像执行的校准处理计算所述多个相机之间的偏移量，其中
所述处理单元
通过使用由所述计算单元计算出的所述多个相机之间所述偏移量为预定值或以上的各个图像，来执行校准所述多个相机中的至少一个相机的处理。
(8)
根据(7)所述的信息处理装置，进一步包括：
存储单元，被配置为存储由所述计算单元计算出的所述多个相机之间所述偏移量为预定值或以上的各个图像，其中
所述处理单元
通过使用存储在所述存储单元中的所述各个图像中的具有新拍摄时刻的预定数目的各个图像来执行校准所述多个相机中的至少一个相机的处理。
(9)
根据(8)所述的信息处理装置，其中
所述处理单元
当在上一次校准的时间点之后预定数目以上的各个图像被存储在所述存储单元中时，通过使用存储在存储单元中的预定数目的各个图像来执行校准所述多个相机中的至少一个相机的处理。
(10)
根据(1)至(9)中任一项所述的信息处理装置，其中
所述处理单元
在响应于用户的操作而获得校准执行许可时，执行校准所述多个相机中的至少一个相机的处理。
(11)
根据(1)至(10)中任一项所述的信息处理装置，进一步包括：
操作控制单元，被配置为输出与安装所述多个相机的移动体的移动有关的控制信息，其中，
所述处理单元
通过使用在所述移动体根据所述控制信息移动之后，通过由所述多个相机拍摄而获得的各个图像来执行校准所述多个相机中的至少一个相机的处理。
(12)
根据(11)所述的信息处理装置，其中
所述操作控制单元
将安装所述多个相机的所述移动体移动到某个目标位置。
(13)
根据(11)所述的信息处理装置，其中
所述操作控制单元
使安装在所述移动体上的显示器显示关于所述移动体从当前位置到目标位置的移动的指导信息。
(14)
根据(11)至(13)中任一项所述的信息处理装置，其中
所述操作控制单元
当通过所述处理单元校准的所述多个相机中的至少一个相机的校准后参数与校准前参数之间的差异满足预定标准时，禁用与所述移动体的预定操作相关的控制。
(15)
根据(1)至(14)中任一项所述的信息处理装置，其中
所述处理单元
通过使用由所述检测单元检测到的所述特征点满足预定条件的各个图像来校准所述多个相机。
(16)
一种由计算机执行的信息处理方法，所述方法包括：
从通过在某个定时使用多个相机对被摄体进行拍摄而获得的各个图像中检测特征点；以及
通过使用检测到的特征点满足预定条件的各个图像，来执行校准所述多个相机中的至少一个相机的处理。
(17)
一种使用计算机实现以下功能的程序：
检测功能，从通过在某个定时使用多个相机对被摄体进行拍摄而获得的各个图像中检测特征点；以及
处理功能，通过使用由所述检测功能检测到的特征点满足预定条件的所述各个图像，来执行校准所述多个相机中的至少一个相机的处理。
参考符号列表
5 移动体
10 信息处理装置
110 相机
120 存储单元
130 控制单元
131 图像处理单元
135 特征点检测单元
139 区分单元
143 得分计算单元
147 校准处理单元
151 距离测量单元
155 距离测量数据利用单元
159 操作控制单元
20 显示器
30 操作装置。

Claims (17)

1.一种信息处理装置，包括：
检测单元，被配置为从通过在某个定时使用多个相机对被摄体进行拍摄而获得的各个图像中检测特征点；以及
处理单元，被配置为通过使用具有由所述检测单元检测到的特征点满足预定条件的各个图像来执行校准所述多个相机中的至少一个相机的处理。
2.根据权利要求1所述的信息处理装置，其中
所述处理单元
通过使用具有由所述检测单元检测到的所述特征点的数目为预定值或以上的各个图像，来执行校准所述多个相机中的至少一个相机的处理。
3.根据权利要求2所述的信息处理装置，进一步包括：
区分单元，被配置为对于由所述检测单元检测到的一个图像中包括的每个特征点，将在另外的图像中包括的特征点中具有最高相关性的特征点区分为特征点的组，其中，
所述处理单元
通过使用具有满足预定条件的所述特征点的组的各个图像，来执行校准所述多个相机中的至少一个相机的处理。
4.根据权利要求3所述的信息处理装置，其中
所述处理单元
通过使用具有所述特征点的组的数目为预定值或以上的各个图像，来执行校准所述多个相机中的至少一个相机的处理。
5.根据权利要求4所述的信息处理装置，其中
所述处理单元
通过使用对应于由所述区分单元区分出的每个特征点的组获得的视差值的分布满足预定标准的各个图像，来执行校准所述多个相机中的至少一个相机的处理。
6.根据权利要求5所述的信息处理装置，其中
所述处理单元
通过使用由所述区分单元区分为所述特征点的组的特征点的分布满足预定标准的各个图像，来执行校准所述多个相机中的至少一个相机的处理。
7.根据权利要求6所述的信息处理装置，进一步包括：
计算单元，被配置为基于针对所述各个图像执行的校准处理，计算所述多个相机之间的偏移量，其中
所述处理单元
通过使用由所述计算单元计算出的所述多个相机之间所述偏移量为预定值或以上的各个图像，来执行校准所述多个相机中的至少一个相机的处理。
8.根据权利要求7所述的信息处理装置，进一步包括：
存储单元，被配置为存储由所述计算单元计算出的所述多个相机之间所述偏移量为预定值或以上的各个图像，其中
所述处理单元
通过使用存储在所述存储单元中的所述各个图像中的具有新拍摄时刻的预定数目的各个图像，来执行校准所述多个相机中的至少一个相机的处理。
9.根据权利要求8所述的信息处理装置，其中
所述处理单元
当在上一次校准的时间点之后预定数目以上的各个图像被存储在所述存储单元中时，通过使用存储在所述存储单元中的预定数目的各个图像，来执行校准所述多个相机中的至少一个相机的处理。
10.根据权利要求9所述的信息处理装置，其中
所述处理单元
在响应于用户的操作而获得校准执行许可时，执行校准所述多个相机中的至少一个相机的处理。
11.根据权利要求10所述的信息处理装置，进一步包括：
操作控制单元，被配置为输出与安装所述多个相机的移动体的移动有关的控制信息，其中，
所述处理单元
通过使用在所述移动体根据所述控制信息移动之后，通过由所述多个相机拍摄而获得的各个图像，来执行校准所述多个相机中的至少一个相机的处理。
12.根据权利要求11所述的信息处理装置，其中
所述操作控制单元
将安装所述多个相机的所述移动体移动到某个目标位置。
13.根据权利要求11所述的信息处理装置，其中
所述操作控制单元
使安装在所述移动体上的显示器显示关于所述移动体从当前位置到目标位置的移动的指导信息。
14.根据权利要求13所述的信息处理装置，其中
所述操作控制单元
当通过所述处理单元校准的所述多个相机中的至少一个相机的校准后参数与校准前参数之间的差异满足预定标准时，禁用与所述移动体的预定操作相关的控制。
15.根据权利要求14所述的信息处理装置，其中
所述处理单元
通过使用由所述检测单元检测到的所述特征点满足预定条件的各个图像，来校准所述多个相机。
16.一种由计算机执行的信息处理方法，所述方法包括：
从通过在某个定时使用多个相机对被摄体进行拍摄而获得的各个图像中检测特征点；以及
通过使用检测到的特征点满足预定条件的各个图像，来执行校准所述多个相机中的至少一个相机的处理。
17.一种使计算机实现以下功能的程序：
检测功能，从通过在某个定时使用多个相机对被摄体进行拍摄而获得的各个图像中检测特征点；以及
处理功能，通过使用由所述检测功能检测到的特征点满足预定条件的所述各个图像，来执行校准所述多个相机中的至少一个相机的处理。
CN202280026589.5A 2021-04-15 2022-01-13 信息处理装置、信息处理方法和程序 Pending CN117157972A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021069074 2021-04-15
JP2021-069074 2021-04-15
PCT/JP2022/000895 WO2022219862A1 (ja) 2021-04-15 2022-01-13 情報処理装置、情報処理方法およびプログラム

Publications (1)

Publication Number Publication Date
CN117157972A true CN117157972A (zh) 2023-12-01

Family

ID=83639506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280026589.5A Pending CN117157972A (zh) 2021-04-15 2022-01-13 信息处理装置、信息处理方法和程序

Country Status (4)

Country Link
EP (1) EP4325836A4 (zh)
JP (1) JPWO2022219862A1 (zh)
CN (1) CN117157972A (zh)
WO (1) WO2022219862A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6107081B2 (ja) 2012-11-21 2017-04-05 富士通株式会社 画像処理装置、画像処理方法及びプログラム
JP6040782B2 (ja) * 2013-01-17 2016-12-07 株式会社リコー 画像処理装置及びプログラム
DE112016000356T5 (de) * 2015-01-16 2018-01-11 Imra Europe S.A.S. Selbstrektifizierung von Stereokameras
JP2017116321A (ja) * 2015-12-22 2017-06-29 トヨタ自動車株式会社 車載ステレオカメラ用のキャリブレーション装置
JP6636963B2 (ja) * 2017-01-13 2020-01-29 株式会社東芝 画像処理装置及び画像処理方法
US20190347822A1 (en) * 2018-05-11 2019-11-14 Qualcomm Incorporated Automatic determination and calibration for spatial relationship between multiple cameras
CN110838148B (zh) * 2019-11-11 2023-05-05 杭州凌像科技有限公司 一种双目相机自标定方法

Also Published As

Publication number Publication date
EP4325836A1 (en) 2024-02-21
EP4325836A4 (en) 2024-09-25
WO2022219862A1 (ja) 2022-10-20
JPWO2022219862A1 (zh) 2022-10-20

Similar Documents

Publication Publication Date Title
EP3287985B1 (en) Image processing device
JP6019646B2 (ja) 位置ずれ検出装置、車両及び位置ずれ検出方法
US20220270294A1 (en) Calibration methods, apparatuses, systems and devices for image acquisition device, and storage media
CN111027381A (zh) 利用单目相机识别障碍物的方法、装置、设备及存储介质
CN111598065B (zh) 深度图像获取方法及活体识别方法、设备、电路和介质
JP2012185540A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US20200250806A1 (en) Information processing apparatus, information processing method, and storage medium
CN112560769B (zh) 用于检测障碍物的方法、电子设备、路侧设备和云控平台
KR20210003325A (ko) 복수의 카메라들을 캘리브레이션하는 방법 및 장치
JP2021033510A (ja) 運転支援装置
CN113112525A (zh) 目标跟踪方法、网络模型及其训练方法、设备和介质
CN112529968A (zh) 摄像设备标定方法、装置、电子设备及存储介质
JP5857712B2 (ja) ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
CN114777768A (zh) 一种卫星拒止环境高精度定位方法、系统及电子设备
CN112528793B (zh) 一种车辆的障碍物检测框抖动消除方法及装置
CN117157972A (zh) 信息处理装置、信息处理方法和程序
US20230260159A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
CN112292847B (zh) 图像处理设备、移动设备、方法和存储介质
CN110188665B (zh) 图像处理方法、装置以及计算机设备
US20130142388A1 (en) Arrival time estimation device, arrival time estimation method, arrival time estimation program, and information providing apparatus
CN112883944B (zh) 活体检测方法、模型训练方法、装置、存储介质及设备
CN112818845B (zh) 测试方法、目标对象检测方法、行驶控制方法及装置
JP5176523B2 (ja) 移動体検出装置、移動体検出方法および移動体検出プログラム
CN108038888B (zh) 混合相机系统的空间标定方法及装置
CN112613370A (zh) 目标缺损的检测方法、设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination