CN112529932A - 推定装置、推定方法以及存储介质 - Google Patents

推定装置、推定方法以及存储介质 Download PDF

Info

Publication number
CN112529932A
CN112529932A CN202010118380.4A CN202010118380A CN112529932A CN 112529932 A CN112529932 A CN 112529932A CN 202010118380 A CN202010118380 A CN 202010118380A CN 112529932 A CN112529932 A CN 112529932A
Authority
CN
China
Prior art keywords
reliability
estimation
unit
camera
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010118380.4A
Other languages
English (en)
Inventor
田副佑典
佐野雄磨
关晃仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Electronic Devices and Storage Corp
Original Assignee
Toshiba Corp
Toshiba Electronic Devices and Storage Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Electronic Devices and Storage Corp filed Critical Toshiba Corp
Publication of CN112529932A publication Critical patent/CN112529932A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明的实施方式涉及推定装置、推定方法及存储介质，能够不使用摄像头以外的传感器、且不会使移动轨迹间断地推定自身位置。实施方式的推定装置具备取得部、第1推定部、第1算出部、第2推定部、第2算出部以及判定部。取得部取得通过摄像头拍摄到的图像。第1推定部根据图像推定第1推定信息。第1算出部算出表示第1推定信息的可靠度的第1可靠度。第2推定部推定第2推定信息。第2算出部算出表示第2推定信息的可靠度的第2可靠度。判定部基于第1可靠度及第2可靠度，根据第1推定信息以及第2推定信息决定摄像头的位置和姿势中的至少一方，输出所决定的位置和姿势中的至少一方来作为判定处理结果。第2推定部基于判定部的过去的判定处理结果，推定第2推定信息。

Description

推定装置、推定方法以及存储介质
技术领域
本发明的实施方式涉及推定装置、推定方法以及存储介质。
背景技术
已知如下推定装置，该推定装置根据由设置于移动体的摄像头等拍摄 到的图像来推定拍摄时的摄像头、也即是移动体的位置。移动体的自身位 置推定有时会因各种原因而失败。此时，即使自身位置推定失败，移动体 也会不识别其事实而保持状态不变地继续移动。因此，移动体例如有可能 侵入到原本不能移动的区域。另外，在自身位置推定失败的情况下，到推 定再次成功为止的期间的区间成为“什么都没有推定”的区间，由此，有时 移动体的移动轨迹会间断。
发明内容
然而，在以往的技术中，难以不使用摄像头以外的传感器、且不使移 动轨迹间断地推定自身位置。
实施方式的推定装置具备取得部、第1推定部、第1算出部、第2推 定部、第2算出部以及判定部。取得部取得通过摄像头拍摄到的图像。第 1推定部根据所述图像推定表示所述摄像头的位置和姿势中的至少一方的 第1推定信息。第1算出部算出表示所述第1推定信息的可靠度的第1可 靠度。第2推定部推定表示所述摄像头的位置和姿势中的至少一方的第2 推定信息。第2算出部算出表示所述第2推定信息的可靠度的第2可靠度。 判定部基于所述第1可靠度以及所述第2可靠度，根据所述第1推定信息 以及所述第2推定信息决定所述摄像头的位置和姿势中的至少一方，输出 所决定的位置和姿势中的至少一方来作为判定处理结果。所述第2推定部 基于所述判定部的过去的判定处理结果，推定所述第2推定信息。
根据上述推定装置，能够不使用摄像头以外的传感器、且不使移动轨 迹间断地推定自身位置。
附图说明
图1是表示第1实施方式的移动体的例子的图。
图2是表示第1实施方式的移动体的功能构成的例子的图。
图3是表示第1实施方式的推定方法的例子的流程图。
图4是表示第2实施方式的推定装置的处理部的功能构成的例子的图。
图5是表示第2实施方式的推定方法的例子的流程图。
图6是表示第3实施方式的推定装置的处理部的功能构成的例子的图。
图7是表示第3实施方式的推定方法的例子的流程图。
图8是表示第1实施方式～第3实施方式的推定装置的硬件构成的例 子的图。
标号说明
10移动体；10A输出部；10B摄像头；10C传感器；10D通 信部；10E显示器；10F扬声器；10G动力控制部；10H动力部； 10I总线；20推定装置；21取得部；22第1推定部；23第1算出部；24第2推定部；25第2算出部；26判定部；27第3推定部； 28第3算出部；29存储控制部；301控制装置；302主存储装置； 303辅助存储装置；304显示装置；305输入装置；306通信装置；310总线。
具体实施方式
以下，参照附图对实施方式的推定装置、推定方法以及存储介质进行 说明。
(第1实施方式)
第1实施方式的推定装置例如搭载于移动体。
[移动体的例子]
图1是表示第1实施方式的移动体10的例子的图。
移动体10具备推定装置20、输出部10A、摄像头10B、传感器10C、 动力控制部10G以及动力部10H。
移动体10可以是任意的。移动体10例如是车辆、平板车以及移动机 器人等。车辆例如是自动两轮车、自动四轮车以及自行车等。另外，移动 体10例如既可以是经由人的驾驶操作来行驶的移动体，也可以是不经由人 的驾驶操作而能够自动地行驶(自主行驶)的移动体。
推定装置20例如由专用或者通用的计算机硬件来实现。推定装置20 对表示移动体10的位置和姿势中的至少一方的自身位置进行推定。具体而 言，推定装置20针对通过多个不同的方法得到的自身位置推定结果来分别 算出可靠度，通过与预先设定的阈值进行比较，选择或者综合自身位置推 定结果。由此，能够消除移动体10的追踪的间断。
此外，推定装置20不限定于搭载在移动体10的形态。推定装置20 也可以搭载于静止物。静止物例如是固定于地面的物等不能移动的物。固 定于地面的静止物例如是护轨、支杆(pole)、停车车辆以及道路标识等。 另外，例如静止物是相对于地面静止的状态的物。另外，推定装置20也可 以搭载于在云系统上执行处理的云服务器。
动力部10H是搭载于移动体10的驱动设备。动力部10H例如是发动 机、马达以及车轮等。
动力控制部10G对动力部10H进行控制。通过动力控制部10G的控 制，动力部10H进行驱动。
输出部10A输出信息。在第1实施方式中，输出部10A输出推定结果 信息，该推定结果信息表示由推定装置20推定的摄像头10B的运动的推 定结果。
输出部10A例如具备发送推定结果信息的通信功能、显示推定结果信 息的显示功能以及输出表示推定结果信息的声音的声音输出功能等。输出 部10A例如具备通信部10D、显示器10E以及扬声器10F中的至少一个。 此外，在第1实施方式中，输出部10A以具备通信部10D、显示器10E以 及扬声器10F的构成为例来进行说明。
通信部10D向其他装置发送推定结果信息。例如，通信部10D经由通 信线路向其他装置发送推定结果信息。显示器10E显示与推定结果有关的 信息。显示器10E例如是LCD(Liquid Crystal Display，液晶显示器)、 投影装置以及发光装置等。扬声器10F输出表示与推定结果有关的信息的 声音。
摄像头10B例如是单眼摄像头、立体摄像头、鱼眼摄像头以及红外线 摄像头等。摄像头10B的数量可以是任意的。另外，所拍摄的图像既可以 是由RGB这三个通道构成的彩色图像，也可以由灰阶表现的单通道的单 色图像。摄像头10B拍摄移动体10周边的时间序列的图像。摄像头10B 例如通过以时间序列的方式拍摄移动体10的周边，从而拍摄时间序列的图 像。移动体10的周边例如是从该移动体10起的预先确定的范围内的区域。 该范围例如是摄像头10B能够拍摄的范围。
在第1实施方式中，以摄像头10B配置为包含移动体10的前方来作 为拍摄方向的情况为例来进行说明。即，在第1实施方式中，摄像头10B 以时间序列的方式对移动体10的前方进行拍摄。
传感器10C是对测定信息进行测定的传感器。测定信息例如包括移动 体10的速度和移动体10的方向盘的舵角。传感器10C例如是惯性计测装 置(IMU：InertialMeasurement Unit)、速度传感器以及舵角传感器等。 IMU对包括移动体10的三轴加速度和三轴角速度的测定信息进行测定。 速度传感器根据轮胎的旋转量来测定速度。舵角传感器测定移动体10的方 向盘的舵角。
接着，对第1实施方式的移动体10的功能构成的例子进行详细的说明。
[功能构成的例子]
图2是表示第1实施方式的移动体10的功能构成的例子的图。
移动体10具备推定装置20、输出部10A、摄像头10B、传感器10C、 动力控制部10G以及动力部10H。推定装置20具备处理部20A以及存储 部20B。输出部10A具备通信部10D、显示器10E以及扬声器10F。
处理部20A、存储部20B、输出部10A、摄像头10B、传感器10C以 及动力控制部10G经由总线10I相连接。动力部10H连接于动力控制部 10G。
此外，输出部10A(通信部10D、显示器10E以及扬声器10F)、摄像 头10B、传感器10C、动力控制部10G以及存储部20B也可以经由网络相 连接。在连接中所使用的网络的通信方式既可以是有线方式，也可以是无 线方式。另外，在连接中所使用的网络也可以通过组合有线方式和无线方 式来实现。
存储部20B存储信息。存储部20B例如是半导体存储元件、硬盘以及 光盘等。半导体存储元件例如是RAM(Random Access Memory，随机访 问存储器)以及闪速存储器等。此外，存储部20B也可以是设置在推定装 置20的外部的存储装置。另外，存储部20B也可以是存储介质。具体而 言，存储介质也可以是经由LAN(Local Area Network，局域网络)、互联网等下载程序、各种信息来进行了存储或者暂时进行了存储的介质。另外， 也可以由多个存储介质构成存储部20B。
处理部20A具备取得部21、第1推定部22、第1算出部23、第2推 定部24、第2算出部25以及判定部26。取得部21、第1推定部22、第1 算出部23、第2推定部24、第2算出部25以及判定部26例如可通过一个 或者多个处理器来实现。
处理部20A例如也可以通过使CPU(Central Processing Unit，中央 处理单元)等处理器执行程序、即通过软件来实现。另外，例如处理部20A 也可以通过专用的IC(Integrated Circuit，集成电路)等处理器、即通过 硬件来实现。另外，例如处理部20A也可以通过并用软件和硬件来实现。
此外，在实施方式中所使用的术语“处理器”例如包括CPU、GPU (GraphicalProcessing Unit，图形处理单元)、面向特定用途的集成电路 (Application SpecificIntegrated Circuit：ASIC)以及可编程逻辑器件。 可编程逻辑器件例如包括简单可编程逻辑器件(Simple Programmable Logic Device：SPLD)、复杂可编程逻辑器件(ComplexProgrammable Logic Device：CPLD)以及现场可编程门阵列(Field Programmable GateArray：FPGA)等。
处理器通过读出并执行保存于存储部20B的程序来实现处理部20A。 此外，也可以代替在存储部20B保存程序，而是构成为在处理器的电路内 直接嵌入程序。在该情况下，处理器通过读出并执行嵌入在电路内的程序 来实现处理部20A。
对处理部20A的各功能进行说明。取得部21取得通过摄像头10B拍 摄到的图像。
当从取得部21受理到图像时，第1推定部22根据该图像推定摄像头 10B的位置和姿势中的至少一方，输出所推定的位置和姿势中的至少一方 来作为第1推定信息。
第1算出部23算出表示第1推定信息的可靠度的第1可靠度。
第2推定部24基于判定部26的过去的判定处理结果，推定摄像头10B 的位置和姿势中的至少一方，输出所推定的位置和姿势中的至少一方来作 为第2推定信息。例如，第2推定部24通过对由判定部26输出的过去的 判定处理结果应用卡尔曼滤波(Kalmanfiltering)，对当前的摄像头10B 的位置和姿势进行线性插值来进行推定。
第2算出部25算出表示第2推定信息的可靠度的第2可靠度。
判定部26基于第1可靠度和第2可靠度，根据第1推定信息和第2 推定信息决定摄像头10B的位置和姿势中的至少一方，输出所决定的位置 和姿势中的至少一方来作为判定处理结果。
[推定方法的例子]
图3是表示第1实施方式的推定方法的例子的流程图。此外，在图3 的说明中，对推定装置20推定摄像头10B的位置和姿势这两方的情况进 行说明，但推定装置20也可以推定摄像头10B的位置和姿势中的一方。 即，推定装置20也可以推定摄像头10B的位置和姿势中的至少一方。关 于后述的第2实施方式以及第3实施方式也是同样的。
首先，取得部21取得通过至少一个以上的摄像头10B拍摄到的图像 (步骤S101)。
接着，第1推定部22使用通过步骤S101的处理拍摄到的图像，推定 上述的第1推定信息(步骤S102)。
具体而言，第1推定部22例如通过从图像中提取多个特征点并在图像 间进行关联，推定拍摄到各个图像时的摄像头10B的位置和姿势。具体而 言，能够通过应用SfM(Structure from Motion，运动恢复结构)，从由设 置于移动体10的摄像头10B得到的多个图像，推定拍摄了各个图像时的 摄像头10B的位置和姿势。
另外，例如第1推定部22也可以通过对由摄像头10B取得的图像应 用SLAM(Simultaneous Localization and Mapping，即时定位与地图构 建)，推定拍摄到图像时的摄像头10B的位置和姿势。具体而言，能够使 用多个特征点的摄像头坐标的组，基于初等矩阵(elementary matrices) 和/或基础矩阵(fundamental matrices)、投影变换矩阵，算出位置和姿势。 对于多个特征点组，能够通过在图像间进行特征点的关联来求出。关联例如能够通过使用模板匹配、Lucas－Kanade法、SIFT等来实现。此外， 在该情况下，为了求出绝对的尺度，既可以实施将平移矢量的范数标准化 为1等的处理，也可以通过加速度传感器和/或陀螺仪传感器来决定尺度。
另外，摄像头10B的位置和姿势的表现方法可以是任意的。摄像头10B 的位置和姿势例如可以用表示三维空间中的坐标和旋转的四元数的组合来 表现。另外，例如在能够假定为地面上的移动等、在平面上进行移动的情 况下，可以用将与平移有关的2自由度和与旋转有关的1自由度合在一起 的3自由度来表现。另外，例如为了表现三维空间中的姿势，也可以使用 旋转矩阵、表示旋转轴和旋转方向的矢量、欧拉角等来代替四元数。
另外，作为摄像头姿势的其他推定方法，也可以使用不经由特征点来 进行推定的方法。作为具体的方法，例如可以通过使用基于深层学习模型 的摄像头姿势推定来实现，该深层学习模型具有根据输入图像推定深度的 网络和推定摄像头姿势的网络。
接着，第1算出部23算出上述的第1可靠度(步骤S103)。
第1可靠度的算出方法例如可以通过使用以4个分量表现了所推定的 摄像头10B的姿势的旋转分量的四元数来实现。此时，也可以定义为旋转 分量中的qw(＝cos＾2(θ/2)或者1－qw的值越高、则可靠度越高。
另外，也可以使用以3个变量对所推定的摄像头10B的姿势的平移分 量进行了表现的转换(translation)，在该情况下，可以着眼于对于世界坐 标系中的x方向和z方向的二维上的移动，基于移动量定义为若进行了拟 合(fitting)的n次式的第1项的系数大，则第1可靠度高。
接着，判定部26判定是否存在判定部26的过去的判定处理结果(步 骤S104)。
在不存在过去的判定处理结果的情况下(步骤S104：否)，判定部26 根据通过步骤S101的处理取得的图像直接决定摄像头10B的位置和姿势 (步骤S105)。决定摄像头10B的位置和姿势的方法例如既可以与第1推 定部22的处理(步骤S102的处理)是同等的，也可以使用与第1推定部 22的处理不同的方法。例如，判定部26在使用与第1推定部22的处理(步骤S102的处理)相同的方法的情况下，通过第1推定信息决定最终的摄 像头10B的位置和姿势。
在存在过去的判定处理结果的情况下(步骤S104：是)，第2推定部 24使用判定部26的过去的判定处理结果，推定上述的第2推定信息(步 骤S106)。具体而言，第2推定部24将过去的判定处理结果所包含的位置 和姿势作为输入，通过滤波来推定当前的位置和姿势。对于滤波，例如也 可以使用卡尔曼滤波。第2推定部24也可以对过去的判定处理结果(例如 在通过判定部26选择了到由第1推定部22进行了推定的前帧为止的摄像 头10B的位置和姿势的情况下，为该位置和姿势)应用卡尔曼滤波，通过 线性插值算出对于当前帧的摄像头的位置和姿势。
接着，第2算出部25算出上述的第2可靠度(步骤S107)。
第2可靠度的算出方法例如可以通过使用以4个分量表现了所推定的 摄像头姿势的旋转分量的四元数来实现。此时，可以定义为旋转分量中的 qw(＝cos＾2(θ/2)或者1－qw的值越高，则可靠度越高。另外，也可 以使用以3变量对所推定的摄像头姿势的平移分量进行了表现的转换，在 该情况下，可以定义为若从Tx和Tz的移动量得到的2次的近似式的第1项大，则可靠度高。
接着，判定部26基于第1可靠度和第2可靠度，根据第1推定信息和 第2推定信息决定摄像头10B的位置和姿势(步骤S108)。具体而言，判 定部26也可以基于第1可靠度以及第2可靠度，将某个推定信息作为判定 处理结果(最终的输出结果)。判定部26例如也可以若通过第1推定部102 进行推定、且第1可靠度大于阈值(第1阈值)，则将第1推定信息作为最终的输出结果。另外，例如，判定部26也可以在第1可靠度为阈值以下的 情况下参照第2可靠度，若第2可靠度大于阈值(第2阈值)，则将第2 推定信息作为最终的输出结果。另外，例如，判定部26在第1可靠度为阈 值以下、且第2可靠度为阈值以下的情况下，不输出判定处理结果。
另外，例如，判定部26在第1可靠度大于阈值、且第2可靠度大于阈 值的情况下，根据通过对第1推定信息和第2推定信息进行综合而得到的 新的位置和姿势，决定摄像头10B的位置和姿势，输出所决定的位置和姿 势来作为判定处理结果。
对将第1推定信息和第2推定信息进行综合的具体方法进行说明。例 如，判定部26通过基于第1可靠度和第2可靠度的加权平均，对第1推定 信息所包含的摄像头10B的平移分量和第2推定信息所包含的摄像头10B 的平移分量进行综合。另外，例如，判定部26通过基于第1可靠度和第2 可靠度的球面线性插值，对第1推定信息所包含的摄像头10B的旋转分量 和第2推定信息所包含的摄像头10B的旋转分量进行综合。
此外，对于可靠度的阈值(判定阈值)可以由用户任意地确定，可以 设为由浮点表现的常数，例如0.9997等。另外，既可以在第1可靠度和第 2可靠度确定相同的阈值，也可以确定分别不同的阈值。例如在将第1可 靠度作为主要的推定方法的情况下，可以将对于第1可靠度的阈值设定得 较低。另外，也可以使第2可靠度的阈值为0，以使得在第1可靠度不超过阈值的情况下，必然采用第2推定部的推定信息来作为输出结果。
以上，如说明的那样，在第1实施方式的推定装置20中，取得部21 取得由摄像头10B拍摄到的图像。第1推定部22根据图像对表示摄像头 10B的位置和姿势中的至少一方的第1推定信息进行推定。第1算出部23 算出表示第1推定信息的可靠度的第1可靠度。第2推定部24对表示摄像 头10B的位置和姿势中的至少一方的第2推定信息进行推定。第2算出部算出表示第2推定信息的可靠度的第2可靠度。判定部26基于第1可靠度 以及第2可靠度，从第1推定信息以及第2推定信息决定摄像头10B的位 置和姿势中的至少一方，输出所决定的位置和姿势中的至少一方来作为判 定处理结果。第2推定部24基于判定部26的过去的判定处理结果，推定 第2推定信息。
由此，根据第1实施方式的推定装置20，能够不使用摄像头10B以外 的传感器、且不会使移动轨迹间断地推定自身位置。例如，能够不会使移 动轨迹间断地推定搭载了摄像头10B的移动体10的自身位置。
(第2实施方式)
接着，对第2实施方式进行说明。在第2实施方式的说明中，省略与 第1实施方式同样的说明，对与第1实施方式不同的地方进行说明。在第 2实施方式中，用两个不同的方法根据图像推定拍摄到该图像的摄像头10B 的位置和姿势。
[功能构成的例子]
图4是表示第2实施方式的推定装置20的处理部20A－2的功能构成 的例子的图。处理部20A－2具备取得部21、第1推定部22、第1算出部 23、第2推定部24、第2算出部25、判定部26、第3推定部27以及第3 算出部28。即，在第2实施方式中，对第1实施方式的构成还追加有第3 推定部27以及第3算出部28。
当从取得部21受理到图像时，第3推定部27通过与第1推定部22 不同的方法，根据该图像推定摄像头10B的位置和姿势，输出所推定的位 置和姿势来作为第3推定信息。例如，在第1推定部22通过对多个图像应 用SfM来推定拍摄到各个图像时的摄像头10B的位置和姿势的情况下，第 3推定部27通过对图像应用SLAM来推定拍摄到图像时的摄像头10B的位置和姿势。
第3算出部28算出表示第3推定信息的可靠度的第3可靠度。
判定部26基于第1可靠度、第2可靠度以及第3可靠度，从第1推定 信息、第2推定信息以及第3推定信息决定摄像头10B的位置和姿势。对 于第1可靠度～第3可靠度，基于摄像头10B的姿势的旋转分量的值以及 摄像头10B的平移分量的移动量中的至少一方来算出。
[推定方法的例子]
图5是表示第2实施方式的推定方法的例子的流程图。
步骤S201～步骤S203的处理与第1实施方式的步骤S101～步骤S103 的处理相同，因此，省略说明。
第3推定部27使用通过步骤S201的处理拍摄到的图像，通过与第1 推定部22不同的方法，根据该图像推定摄像头10B的位置和姿势，推定 上述的第3推定信息(步骤S204)。
接着，第3算出部28算出上述的第3可靠度(步骤S205)。第3可靠 度的算出方法与第1可靠度的算出方法是同样的，因此，省略说明。
接着，判定部26判定是否存在判定部26的过去的判定处理结果(步 骤S206)。
在不存在过去的判定处理结果的情况下(步骤S206：否)，判定部26 根据通过步骤S201的处理取得的图像直接决定摄像头10B的位置和姿势 (步骤S207)。决定摄像头10B的位置和姿势的方法例如既可以与第1推 定部22的处理(步骤S202的处理)或者第3推定部27的处理(步骤S204 的处理)是同等的，也可以使用与第1推定部22或者第3推定部27的处 理不同的方法。例如，判定部26也可以对第1可靠度和第3可靠度进行比 较，根据可靠度更高的一方的处理结果，决定最终的摄像头10B的位置和 姿势。例如，判定部26在使用与第1推定部22的处理(步骤S202的处 理)相同的方法的情况下，根据第1推定信息决定最终的摄像头10B的位 置和姿势。
在存在过去的判定处理结果的情况下(步骤S206：是)，第2推定部 24使用判定部26的过去的判定处理结果，推定上述的第2推定信息(步 骤S208)。
接着，第2算出部25算出上述的第2可靠度(步骤S209)。
接着，判定部26基于第1可靠度、第2可靠度以及第3可靠度，从第 1推定信息、第2推定信息以及第3推定信息决定摄像头10B的位置和姿 势(步骤S210)。具体而言，判定部26可以基于第1可靠度、第2可靠度 以及第3可靠度，将某一推定信息作为最终的输出结果。判定部26例如也 可以若通过第1推定部202进行推定、且第1可靠度为阈值以上，则将第 1推定信息作为最终的输出结果。另外，例如，判定部26也可以在第1可 靠度为阈值以下的情况下参照第3可靠度，若第3可靠度为阈值以上，则 将第3推定信息作为最终的输出结果。另外，例如，判定部26也可以在第 3可靠度也为阈值以下的情况下将第2推定信息作为最终的输出结果。
另外，例如，作为其他的综合方法，判定部26也可以基于第1可靠度 以及第3可靠度来对各个推定信息进行综合，将新的摄像头10B的位置和 姿势作为最终的输出结果。具体而言，判定部26可以对于以3个变量表现 的平移分量，使用第1推定信息和第3推定信息，通过线性加权平均来算 出新的平移分量。另外，判定部26可以针对以四元数的4个分量表现的旋 转分量，着眼于各个旋转分量的4个变量中的共同项即θ，通过球面线性 插值(SLERP：Spherical Linear Interpolation)来算出新的旋转分量。
此外，对于可靠度的阈值可以由用户任意确定，可以设为由浮点表现 的常数，例如0.9997等。另外，既可以在第1可靠度、第2可靠度以及第 3可靠度确定相同的阈值，也可以分别确定不同的阈值。例如，在将第1 可靠度和第3可靠度作为主要的推定方法的情况下，可以将对于第1可靠 度和第3可靠度的阈值设定得较低。另外，也可以使第2可靠度的阈值为 0，以使得在第1可靠度和第3可靠度不超过阈值的情况下，必然采用第2 推定部的推定信息来作为输出结果。
以上，如说明的那样，根据第2实施方式的推定装置20，能够进一步 基于具有第3可靠度的第3推定信息，推定移动体10的位置和姿势。
(第3实施方式)
接着，对第3实施方式进行说明。在第3实施方式的说明中，省略与 第2实施方式同样的说明，对与第2实施方式不同的地方进行说明。在第 3实施方式中，对保存或者废弃由判定部26判定出的摄像头10B的位置和 姿势的控制进行说明。
[功能构成的例子]
图6是表示第3实施方式的推定装置20的处理部20A－3的功能构 成的例子的图。处理部20A－3具备取得部21、第1推定部22、第1算出 部23、第2推定部24、第2算出部25、判定部26、第3推定部27、第3 算出部28以及存储控制部29。即，在第3实施方式中，对第2实施方式 的构成还追加有存储控制部29。
存储控制部29将包含图像取得时的时间序列信息和判定处理结果的 推定结果存储于存储部20B。图像取得时的时间序列信息例如是确定图像 的编号(帧编号等)。判定处理结果包括由判定部26决定的最近的摄像头 10B的位置和姿势。
另外，存储控制部29在上述的第1可靠度～第3可靠度都为阈值以下、 且没有输出摄像头10B的位置和姿势的区间不超出能够推定区间的情况下 废弃上述的推定结果。关于存储控制部29的存储控制的详细以及能够推定 区间的说明，将参照图7的流程图，在后面进行描述。
[推定方法的例子]
图7是表示第3实施方式的推定方法的例子的流程图。
步骤S301～步骤S310的处理与第1实施方式的步骤S201～步骤S210 的处理相同，因此，省略说明。
存储控制部29判定第1可靠度～第3可靠度是否都为阈值以下(步骤 S311)。
在第1可靠度～第3可靠度不都为阈值以下的情况下(步骤S311：否)， 存储控制部29将包含通过步骤S310的处理决定的位置和姿势、图像取得 时的时间序列信息和综合处理判定处理结果的推定结果存储于存储部20B (步骤S312)。
在第1可靠度～第3可靠度全部为阈值以下的情况下(步骤S311：是)， 存储控制部29判定是否为摄像头10B的位置和姿势的能够推定区间(前 次存储的判定处理结果有效的有效区间)(步骤S313)。
能够推定区间是指推定装置20能够推定摄像头20B的位置和姿势的 时间序列的长度。时间序列的长度例如既可以由图像的帧数表现，另外也 可以是与帧编号对应的时刻(时间戳)。也即是，存储控制部29在从最后 保存推定信息起的区间不超出该能够推定区间的情况下(步骤S313：是)， 废弃推定结果(步骤S314)。在超出了能够推定区间的情况下(步骤S313： 否)，将推定结果存储于存储部20B(步骤S312)。
具体而言，例如存储控制部29在开始推定起的第n帧将推定结果存 储于存储部20B，在推定装置20的能够推定区间为5帧的情况下，也可以 在第n+1～n+4帧废弃推定结果。
另一方面，存储控制部29在所保存的摄像头10B的位置和姿势直到n +5帧都没有被更新的情况下，与可靠度无关地将推定结果(摄像头10B 的位置和姿势)存储于存储部20B。该情况下的摄像头10B的位置和姿势 既可以是由第1推定部22、第2推定部24以及第3推定部27推定的摄像 头10B的位置和姿势中的任一个，也可以是综合各个位置和姿势的结果而 得到的新的位置和姿势。
以上，如说明的那样，在第3实施方式的推定装置20中，存储控制部 29在第1可靠度～第3可靠度中的任一方比判定阈值大的情况下存储判定 处理结果，在第1可靠度～第3可靠度全部为判定阈值以下、且摄像头10B 的位置和姿势没有被更新的区间为前次所存储的判定处理结果有效的有效 区间内的情况下，废弃本次所判定的判定处理结果，在第1可靠度～第3 可靠度全部为判定阈值以下、且摄像头10B的位置和姿势没有被更新的区 间超出了有效区间的情况下，存储本次所判定的判定处理结果。
由此，根据第3实施方式的推定装置20，能够不使用摄像头10B以外 的传感器、且不会使移动轨迹间断地推定移动体10的自身位置(位置和姿 势中的至少一方)。
最后，对第1实施方式～第3实施方式的推定装置20的硬件构成的例 子进行说明。
[硬件构成的例子]
图8是表示第1实施方式～第3实施方式的推定装置20的硬件构成的 例子的图。推定装置20具备控制装置301、主存储装置302、辅助存储装 置303、显示装置304、输入装置305以及通信装置306。控制装置301、 主存储装置302、辅助存储装置303、显示装置304、输入装置305以及通 信装置306经由总线310相连接。
此外，也可以不具备显示装置304、输入装置305以及通信装置306。 例如，也可以在推定装置20与其他装置连接的情况下，利用该其他装置的 显示功能、输入功能以及通信功能。
控制装置301执行从辅助存储装置303读出到主存储装置302的程序。 控制装置301例如是CPU等的一个以上的处理器。主存储装置302是ROM (Read Only Memory，只读存储器)以及RAM等的存储器。辅助存储装 置303是存储卡以及HDD(Hard Disk Drive，硬盘驱动器)等。
显示装置304显示信息。显示装置304例如是液晶显示器。输入装置 305受理信息的输入。输入装置305例如是硬件键等。此外，显示装置304 以及输入装置305可以是兼具显示功能和输入功能的液晶触摸面板等。通 信装置306与其他装置进行通信。
由推定装置20执行的程序以能够安装的形式或者能够执行形式的文 件存储于CD－ROM、存储卡、CD－R以及DVD(Digital Versatile Disc) 等计算机能够读取的存储介质，可作为计算机程序产品来提供。
另外，也可以构成为将由推定装置20执行的程序保存在与互联网等网 络连接的计算机上，通过经由网络进行下载来提供。另外，也可以构成为 不下载，而是经由互联网等的网络来提供推定装置20执行的程序。
另外，也可以构成为将由推定装置20执行的程序预先装入ROM等来 提供。
由推定装置20执行的程序成为包含推定装置20的功能中的能够通过 程序实现的功能的模块构成。
对于由程序实现的功能，通过控制装置301从辅助存储装置303等存 储介质读出并执行程序，从而被加载到主存储装置302。即由程序实现的 功能生成在主存储装置302上。
此外，也可以通过IC等的硬件实现推定装置20的功能的一部分。IC 例如是执行专用的处理的处理器。
另外，在使用多个处理器来实现各功能的情况下，各处理器既可以实 现各功能中的一个，也可以实现各功能中的两个以上。
以上对本发明的几个实施方式进行了说明，但这些实施方式是作为例 子提示的，并不是意在限定发明的范围。这些新的实施方式能够以其他各 种各样的方式来实施，能够在不脱离发明的宗旨的范围内进行各种省略、 置换、变更。这些实施方式及其变形包含在发明的范围、宗旨内，并且包 含在权利要求书所记载的发明及其等同的范围内。
此外，可以将上述的实施方式总结为以下的技术方案。
技术方案1
一种推定装置，具备：
取得部，其取得通过摄像头拍摄到的图像；
第1推定部，其根据所述图像推定表示所述摄像头的位置和姿势中的 至少一方的第1推定信息；
第1算出部，其算出表示所述第1推定信息的可靠度的第1可靠度；
第2推定部，其推定表示所述摄像头的位置和姿势中的至少一方的第 2推定信息；
第2算出部，其算出表示所述第2推定信息的可靠度的第2可靠度； 以及
判定部，其基于所述第1可靠度以及所述第2可靠度，根据所述第1 推定信息以及所述第2推定信息决定所述摄像头的位置和姿势中的至少一 方，输出所决定的位置和姿势中的至少一方来作为判定处理结果，
所述第2推定部基于所述判定部的过去的判定处理结果，推定所述第 2推定信息。
技术方案2
根据技术方案1所述的推定装置，
所述第2推定部通过对所述过去的判定处理结果应用卡尔曼滤波，对 当前的所述摄像头的位置和姿势中的至少一方进行线性插值，从而进行推 定。
技术方案3
根据技术方案1所述的推定装置，
所述判定部，
在所述第1可靠度大于第1阈值的情况下，根据所述第1推定信息判 定所述摄像头的位置和姿势中的至少一方，
在所述第1可靠度为所述第1阈值以下、且所述第2可靠度大于第2 阈值的情况下，根据所述第2推定信息判定所述摄像头的位置和姿势中的 至少一方，
在所述第1可靠度为所述第1阈值以下、且所述第2可靠度为第2阈 值以下的情况下，不输出所述判定处理结果。
技术方案4
根据技术方案1所述的推定装置，
所述判定部在所述第1可靠度大于第1阈值、且所述第2可靠度大于 第2阈值的情况下，根据通过对所述第1推定信息和所述第2推定信息进 行综合而得到的新的位置和姿势中的至少一方，决定所述摄像头的位置和 姿势中的至少一方。
技术方案5
根据技术方案4所述的推定装置，
所述判定部通过基于所述第1可靠度和所述第2可靠度的加权平均， 对所述第1推定信息所包含的所述摄像头的平移分量和所述第2推定信息 所包含的所述摄像头的平移分量进行综合。
技术方案6
根据技术方案4所述的推定装置，
所述判定部通过基于所述第1可靠度和所述第2可靠度的球面线性插 值，对所述第1推定信息所包含的所述摄像头的旋转分量和所述第2推定 信息所包含的所述摄像头的旋转分量进行综合。
技术方案7
根据技术方案1所述的推定装置，还具备：
第3推定部，其使用与所述第2推定部不同的推定方法，根据所述图 像推定表示所述摄像头的位置和姿势中的至少一方的第3推定信息；和
第3算出部，其算出表示所述第3推定信息的可靠度的第3可靠度，
所述判定部进一步基于所述第3可靠度，根据所述第1推定信息～所 述第3推定信息决定所述摄像头的位置和姿势中的至少一方。
技术方案8
根据技术方案7所述的推定装置，
所述第1可靠度～所述第3可靠度基于所述摄像头的姿势的旋转分量 的值和所述摄像头的平移分量的移动量中的至少一方来算出。
技术方案9
根据技术方案7所述的推定装置，
还具备存储控制部，所述存储控制部在所述第1可靠度～所述第3可 靠度中的任一个大于判定阈值的情况下，存储所述判定处理结果，在所述 第1可靠度～所述第3可靠度全部为判定阈值以下、且所述摄像头的位置 和姿势中的至少一方没有被更新的区间为前次所存储的所述判定处理结果 有效的有效区间内的情况下，废弃本次所判定的所述判定处理结果，在所 述第1可靠度～所述第3可靠度全部为判定阈值以下、且所述摄像头的位置和姿势中的至少一方没有被更新的区间超出了所述有效区间的情况下， 存储本次所判定的所述判定处理结果。
技术方案10
一种推定方法，包括：
取得通过摄像头拍摄到的图像的步骤；
根据所述图像推定表示所述摄像头的位置和姿势中的至少一方的第1 推定信息的步骤；
算出表示所述第1推定信息的可靠度的第1可靠度的步骤；
推定表示所述摄像头的位置和姿势中的至少一方的第2推定信息的步 骤；
算出表示所述第2推定信息的可靠度的第2可靠度的步骤；以及
基于所述第1可靠度以及所述第2可靠度，根据所述第1推定信息以 及所述第2推定信息，决定所述摄像头的位置和姿势中的至少一方，输出 所决定的位置和姿势中的至少一方来作为判定处理结果的步骤，
推定所述第2推定信息的步骤中，基于所述输出的步骤的过去的判定 处理结果，推定所述第2推定信息。
技术方案11
一种存储介质，存储有程序，所述程序使计算机作为取得部、第1推 定部、第1算出部、第2推定部、第2算出部以及判定部发挥功能，
所述取得部取得通过摄像头拍摄到的图像，
所述第1推定部根据所述图像推定表示所述摄像头的位置和姿势中的 至少一方的第1推定信息，
所述第1算出部算出表示所述第1推定信息的可靠度的第1可靠度，
所述第2推定部推定表示所述摄像头的位置和姿势中的至少一方的第 2推定信息，
所述第2算出部算出表示所述第2推定信息的可靠度的第2可靠度，
所述判定部基于所述第1可靠度以及所述第2可靠度，根据所述第1 推定信息以及所述第2推定信息决定所述摄像头的位置和姿势中的至少一 方，输出所决定的位置和姿势中的至少一方来作为判定处理结果，
所述第2推定部基于所述判定部的过去的判定处理结果，推定所述第 2推定信息。

Claims (11)

1.一种推定装置，具备：
取得部，其取得通过摄像头拍摄到的图像；
第1推定部，其根据所述图像推定表示所述摄像头的位置和姿势中的至少一方的第1推定信息；
第1算出部，其算出表示所述第1推定信息的可靠度的第1可靠度；
第2推定部，其推定表示所述摄像头的位置和姿势中的至少一方的第2推定信息；
第2算出部，其算出表示所述第2推定信息的可靠度的第2可靠度；以及
判定部，其基于所述第1可靠度以及所述第2可靠度，根据所述第1推定信息以及所述第2推定信息决定所述摄像头的位置和姿势中的至少一方，输出所决定的位置和姿势中的至少一方来作为判定处理结果，
所述第2推定部基于所述判定部的过去的判定处理结果，推定所述第2推定信息。
2.根据权利要求1所述的推定装置，
所述第2推定部通过对所述过去的判定处理结果应用卡尔曼滤波，对当前的所述摄像头的位置和姿势中的至少一方进行线性插值，从而进行推定。
3.根据权利要求1所述的推定装置，
所述判定部，
在所述第1可靠度大于第1阈值的情况下，根据所述第1推定信息判定所述摄像头的位置和姿势中的至少一方，
在所述第1可靠度为所述第1阈值以下、且所述第2可靠度大于第2阈值的情况下，根据所述第2推定信息判定所述摄像头的位置和姿势中的至少一方，
在所述第1可靠度为所述第1阈值以下、且所述第2可靠度为第2阈值以下的情况下，不输出所述判定处理结果。
4.根据权利要求1所述的推定装置，
所述判定部在所述第1可靠度大于第1阈值、且所述第2可靠度大于第2阈值的情况下，根据通过对所述第1推定信息和所述第2推定信息进行综合而得到的新的位置和姿势中的至少一方，决定所述摄像头的位置和姿势中的至少一方。
5.根据权利要求4所述的推定装置，
所述判定部通过基于所述第1可靠度和所述第2可靠度的加权平均，对所述第1推定信息所包含的所述摄像头的平移分量和所述第2推定信息所包含的所述摄像头的平移分量进行综合。
6.根据权利要求4所述的推定装置，
所述判定部通过基于所述第1可靠度和所述第2可靠度的球面线性插值，对所述第1推定信息所包含的所述摄像头的旋转分量和所述第2推定信息所包含的所述摄像头的旋转分量进行综合。
7.根据权利要求1所述的推定装置，还具备：
第3推定部，其使用与所述第2推定部不同的推定方法，根据所述图像推定表示所述摄像头的位置和姿势中的至少一方的第3推定信息；和
第3算出部，其算出表示所述第3推定信息的可靠度的第3可靠度，
所述判定部进一步基于所述第3可靠度，根据所述第1推定信息～所述第3推定信息决定所述摄像头的位置和姿势中的至少一方。
8.根据权利要求7所述的推定装置，
所述第1可靠度～所述第3可靠度基于所述摄像头的姿势的旋转分量的值和所述摄像头的平移分量的移动量中的至少一方来算出。
9.根据权利要求7所述的推定装置，
还具备存储控制部，所述存储控制部在所述第1可靠度～所述第3可靠度中的任一个大于判定阈值的情况下，存储所述判定处理结果，在所述第1可靠度～所述第3可靠度全部为判定阈值以下、且所述摄像头的位置和姿势中的至少一方没有被更新的区间为前次所存储的所述判定处理结果有效的有效区间内的情况下，废弃本次所判定的所述判定处理结果，在所述第1可靠度～所述第3可靠度全部为判定阈值以下、且所述摄像头的位置和姿势中的至少一方没有被更新的区间超出了所述有效区间的情况下，存储本次所判定的所述判定处理结果。
10.一种推定方法，包括：
取得通过摄像头拍摄到的图像的步骤；
根据所述图像推定表示所述摄像头的位置和姿势中的至少一方的第1推定信息的步骤；
算出表示所述第1推定信息的可靠度的第1可靠度的步骤；
推定表示所述摄像头的位置和姿势中的至少一方的第2推定信息的步骤；
算出表示所述第2推定信息的可靠度的第2可靠度的步骤；以及
基于所述第1可靠度以及所述第2可靠度，根据所述第1推定信息以及所述第2推定信息，决定所述摄像头的位置和姿势中的至少一方，输出所决定的位置和姿势中的至少一方来作为判定处理结果的步骤，
推定所述第2推定信息的步骤中，基于所述输出的步骤的过去的判定处理结果，推定所述第2推定信息。
11.一种存储介质，存储有程序，所述程序使计算机作为取得部、第1推定部、第1算出部、第2推定部、第2算出部以及判定部发挥功能，
所述取得部取得通过摄像头拍摄到的图像，
所述第1推定部根据所述图像推定表示所述摄像头的位置和姿势中的至少一方的第1推定信息，
所述第1算出部算出表示所述第1推定信息的可靠度的第1可靠度，
所述第2推定部推定表示所述摄像头的位置和姿势中的至少一方的第2推定信息，
所述第2算出部算出表示所述第2推定信息的可靠度的第2可靠度，
所述判定部基于所述第1可靠度以及所述第2可靠度，根据所述第1推定信息以及所述第2推定信息决定所述摄像头的位置和姿势中的至少一方，输出所决定的位置和姿势中的至少一方来作为判定处理结果，
所述第2推定部基于所述判定部的过去的判定处理结果，推定所述第2推定信息。
CN202010118380.4A 2019-09-17 2020-02-26 推定装置、推定方法以及存储介质 Pending CN112529932A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019168062A JP7249919B2 (ja) 2019-09-17 2019-09-17 推定装置、推定方法及びプログラム
JP2019-168062 2019-09-17

Publications (1)

Publication Number Publication Date
CN112529932A true CN112529932A (zh) 2021-03-19

Family

ID=69571951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010118380.4A Pending CN112529932A (zh) 2019-09-17 2020-02-26 推定装置、推定方法以及存储介质

Country Status (4)

Country Link
US (1) US20210082140A1 (zh)
EP (1) EP3796257A1 (zh)
JP (1) JP7249919B2 (zh)
CN (1) CN112529932A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013222447A (ja) * 2012-04-19 2013-10-28 Kddi Corp 情報提示システム
US9031782B1 (en) * 2012-01-23 2015-05-12 The United States Of America As Represented By The Secretary Of The Navy System to use digital cameras and other sensors in navigation
US20160171717A1 (en) * 2014-12-11 2016-06-16 Megachips Corporation State estimation apparatus, state estimation method, integrated circuit, and non-transitory computer-readable storage medium
US20170132794A1 (en) * 2015-11-05 2017-05-11 Samsung Electronics Co., Ltd. Pose estimation method and apparatus
US20180286056A1 (en) * 2015-09-30 2018-10-04 Sony Corporation Information processing device, information processing method, and program
US20190080462A1 (en) * 2017-09-14 2019-03-14 Samsung Electronics Co., Ltd. Method and apparatus for calculating depth map based on reliability

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7149707B2 (ja) 2018-01-15 2022-10-07 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム、並びに、運転制御システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9031782B1 (en) * 2012-01-23 2015-05-12 The United States Of America As Represented By The Secretary Of The Navy System to use digital cameras and other sensors in navigation
JP2013222447A (ja) * 2012-04-19 2013-10-28 Kddi Corp 情報提示システム
US20160171717A1 (en) * 2014-12-11 2016-06-16 Megachips Corporation State estimation apparatus, state estimation method, integrated circuit, and non-transitory computer-readable storage medium
US20180286056A1 (en) * 2015-09-30 2018-10-04 Sony Corporation Information processing device, information processing method, and program
US20170132794A1 (en) * 2015-11-05 2017-05-11 Samsung Electronics Co., Ltd. Pose estimation method and apparatus
US20190080462A1 (en) * 2017-09-14 2019-03-14 Samsung Electronics Co., Ltd. Method and apparatus for calculating depth map based on reliability

Also Published As

Publication number Publication date
EP3796257A1 (en) 2021-03-24
JP7249919B2 (ja) 2023-03-31
JP2021047479A (ja) 2021-03-25
US20210082140A1 (en) 2021-03-18

Similar Documents

Publication Publication Date Title
US20210365750A1 (en) Systems and methods for estimating future paths
US11288860B2 (en) Information processing apparatus, information processing method, program, and movable object
KR102508843B1 (ko) 서라운드 뷰 영상에서 차량의 자차 동작을 산정하는 방법 및 장치
US9308917B2 (en) Driver assistance apparatus capable of performing distance detection and vehicle including the same
JP4899424B2 (ja) 物体検出装置
JP5023186B2 (ja) ３ｄワーピング手法と固有対象物運動（ｐｏｍ）の検出の組み合わせに基づく対象物の動き検出システム
US20160210735A1 (en) System for obstacle avoidance around a moving object
EP3627446A1 (en) System, method and medium for generating a geometric model
WO2018169977A1 (en) Integrated vision-based and inertial sensor systems for use in vehicle navigation
JP7365148B2 (ja) ポーズ情報を取得する方法及び装置
CN105654031B (zh) 用于物体检测的系统和方法
CN114041175A (zh) 一种用于使用真实感合成数据估计头部姿势和视线的神经网络
CN111886854A (zh) 曝光控制装置、曝光控制方法、程序、成像装置和移动体
US10916018B2 (en) Camera motion estimation device, camera motion estimation method, and computer program product
CN107430821B (zh) 图像处理装置
JP7278740B2 (ja) 移動体制御装置
CN112528719A (zh) 推定装置、推定方法以及存储介质
CN112529932A (zh) 推定装置、推定方法以及存储介质
TWI791261B (zh) 在移動中提供虛擬環境的方法與系統以及非暫態電腦可讀取儲存媒體
Schamm et al. Vision and ToF-based driving assistance for a personal transporter
JP4742695B2 (ja) 視線認識装置、及び視線認識方法
JP2004294421A (ja) 自己位置計測方法及び装置
CN113167579A (zh) 测量系统、测量方法、以及测量程序
JP6488697B2 (ja) オプティカルフロー算出装置、オプティカルフロー算出方法、及びプログラム
US20220343536A1 (en) Three-dimensional map estimation apparatus and obstacle detection apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination