CN110795984A - 信息处理方法、信息处理装置及程序记录介质 - Google Patents

信息处理方法、信息处理装置及程序记录介质 Download PDF

Info

Publication number
CN110795984A
CN110795984A CN201910670379.XA CN201910670379A CN110795984A CN 110795984 A CN110795984 A CN 110795984A CN 201910670379 A CN201910670379 A CN 201910670379A CN 110795984 A CN110795984 A CN 110795984A
Authority
CN
China
Prior art keywords
object detection
detection result
sensor
information processing
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910670379.XA
Other languages
English (en)
Inventor
山口拓也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN110795984A publication Critical patent/CN110795984A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

提供即使使用精度低的传感器的检测结果也能够得到用于检测期望的物体的学习用数据的信息处理方法、信息处理装置及程序记录介质。信息处理方法取得使用了将第一传感器的传感数据设为输入的物体检测模型的第一物体检测结果及使用了第二传感器的第二物体检测结果，关于第一传感器及第二传感器的传感空间中的区域，判定第一物体检测结果和第二物体检测结果的一致度，根据判定而得的一致度，将传感数据选择为物体检测模型的学习用数据。

Description

信息处理方法、信息处理装置及程序记录介质
技术领域
本公开涉及选择设为学习用数据的传感数据的信息处理方法、信息处理装置及程序记录介质。
背景技术
在专利文献1中，公开了以下数据库构筑系统：自动地收集用于将多个种类的传感器之中某传感器的探测结果作为教师数据并根据别的传感器的输出而执行物体的识别的机器学习的有教师学习数据。
现有技术文献
专利文献
专利文献1：(日本)特开2017-102838号公报
发明内容
但是，在专利文献1的技术中，在成为教师数据的传感器的检测结果的精度或准确性(以下也简称为精度)差的情况下该传感器的检测结果不被采用作为学习数据，所以难以使用精度低的传感器得到学习数据。
因此在本公开中，目的在于，提供即使使用精度低的传感器的检测结果也能够得到用于检测期望的物体的学习用数据的信息处理方法、信息处理装置及程序记录介质。
本公开所涉及的信息处理方法取得使用了将第一传感器的传感数据设为输入的物体检测模型的第一物体检测结果及使用了第二传感器的第二物体检测结果，关于所述第一传感器及所述第二传感器的传感空间中的特定的区域，判定所述第一物体检测结果和所述第二物体检测结果的一致度，根据判定而得的所述一致度，将所述传感数据选择为所述物体检测模型的学习用数据。
另外，这些整体或具体的方式也可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现，也可以通过系统、方法、集成电路、计算机程序及记录介质的任意的组合来实现。
本公开所涉及的信息处理方法、信息处理装置及程序记录介质即使使用精度低的传感器的检测结果也能够得到用于检测期望的物体的学习用数据。
附图说明
图1是表示实施方式一所涉及的信息处理系统的外观图的图。
图2是表示实施方式所涉及的信息处理装置的硬件结构的一例的框图。
图3是表示实施方式一所涉及的车辆的硬件结构的一例的框图。
图4是表示实施方式一所涉及的信息处理系统的功能结构的一例的框图。
图5A是表示第一物体检测结果的一例的图。
图5B是表示第二物体检测结果的一例的图。
图5C是表示第二物体检测结果的其他一例的图。
图6是表示相机的摄像范围和LIDAR的探测范围重复的区域的图。
图7是用于说明由判定部判定道路存在的区域的处理的具体例的概略图。
图8是将道路存在的区域投影到图像数据所示的图像上的概略图。
图9是用于说明由判定部判定人行道存在的区域的处理的具体例的概略图。
图10是将人行道存在的区域投影到图像数据所示的图像上的概略图。
图11A是用于说明对第一物体检测结果和第二物体检测结果的一致度进行判定的处理的图。
图11B是用于说明对第一物体检测结果和第二物体检测结果的一致度进行判定的处理的图。
图12是表示信息处理系统中的动作的一例的时序图。
图13是表示实施方式二所涉及的车辆的功能结构的一例的图。
图14是表示实施方式二所涉及的车辆的动作的一例的流程图。
标号说明：
1 信息处理系统
100、100A 信息处理装置
101、201 处理器
102、202 主存储器(main memory)
103、203 储存器(storage)
104、204 通信接口
110 取得部
120 存储部
130 判定部
140 选择部
200、200A 车辆
205 相机
206 LIDAR
207 IMU
208 GNSS
210 检测部
220 存储部
230 发送部
300 通信网络
310 基站
400 图像
401 图像的区域
411～414 第一物体检测结果
421～426、431～439 第二物体检测结果
440、502 道路存在的区域
501、511 一定的区域
512、601 人行道存在的区域
R1 摄像范围
R2 探测范围
R3 重复的区域。
具体实施方式
(成为本发明的基础的知识和见识)
本发明人关于在“背景技术”部分中记载的数据库构筑系统，发现了产生以下的问题。
近年，在自动驾驶、监视相机、机器人等领域中，对于由相机摄像的图像使用深度学习等机器学习的物体检测被利用。在这样的物体检测中，需要大量用于机器学习的教师数据。因此，由各种各样的相机摄像的大量的图像被收集，人对所收集的图像赋予正解从而生成教师数据。
但是，人对图像赋予正解花费成本，所以不优选单纯地根据所得到的全部大量的图像而生成教师数据。此外，即使不考虑成本而得到了对大量的图像的全部赋予了正解的教师数据，由于需要关于所得到的大量的教师数据执行机器学习，机器学习所花费的处理负荷变大，此外，处理时间也变长。因此，为了高效地进行机器学习，需要从大量的图像之中选择对机器学习有效的图像。
在此，在机器学习中利用的大量的图像需要由在相互不同的各种各样的状况下摄像的多个图像构成，也就是说，由有多样性的多个图像构成。换言之，与使用在相互近似的状况下摄像的多个图像相比，使用在相互不同的状况下摄像的多个图像对实现高效的机器学习是有效的。
如上述那样，在专利文献1的数据库构筑系统中，将基于第一传感器的输出数据的可靠度高的物体的识别数据与教师数据以及由第二传感器得到的输出数据即输入数据建立对应，从而收集有教师学习数据。
但是，在基于第一传感器的输出数据的物体的识别数据的可靠度不高的情况下，有生成错误的教师数据的顾虑。例如，物体的识别数据的可靠度依赖于第一传感器的质量，所以对第一传感器要求一定以上的质量。也就是说，在现有技术中，若使用精度低的传感器的检测结果，则难以得到用于实现高效的机器学习的学习用数据。在现有技术中，还公开了在识别数据的可靠度不高的情况下，不将该识别数据采用作为教师数据。但是，在其中，有在使用了精度低的传感器时不能得到学习用数据的顾虑。
为了解决这样的问题，本公开的一方式所涉及的信息处理方法取得使用了将第一传感器的传感数据设为输入的物体检测模型的第一物体检测结果及使用了第二传感器的第二物体检测结果，关于所述第一传感器及所述第二传感器的传感空间中的特定的区域，判定所述第一物体检测结果和所述第二物体检测结果的一致度，根据判定而得的所述一致度，将所述传感数据选择为所述物体检测模型的学习用数据。
这样，通过根据第一物体检测结果和第二物体检测结果的一致度而选择学习用数据，学习用数据的有效性难以受到第一传感器及第二传感器各自的精度、特别是第二传感器的精度的影响。另一方面，在仅使用该一致度的判定中，有根据传感器的特性的差异等，主要因为检测对象(换言之学习对象)外的物体而选择了学习用数据的顾虑。相对于此，根据本方式，关于第一传感器及第二传感器的传感空间中的特定的区域，判定第一物体检测结果和第二物体检测结果的一致度，所以能够判定例如物体检测的检测对象存在的概率高的区域中的第一物体检测结果和第二物体检测结果的一致度。由此，能够抑制主要因为检测对象外的物体而选择了学习用数据。从而，即使使用精度低的传感器的检测结果，也能够得到用于检测期望的物体的学习用数据。
此外，进而，也可以根据所述一致度，将所述第二物体检测结果选择为用于所述物体检测模型的学习的正解数据。
因此，在信息处理方法中，在第一物体检测结果及第二物体检测结果的一致度为规定值以上的情况下，能够将第二物体检测结果作为正解数据而自动地赋予给图像数据。
此外，所述特定的区域进而也可以是与所述物体检测模型中的作为检测对象的物体相应的区域。
因此，能够通过与物体检测模型中的作为检测对象的物体相应的区域中包含的第一物体检测结果及第二物体检测结果，可靠地限缩设为一致度的判定的对象的第一物体检测结果和第二物体检测结果。由此，能够更可靠地抑制主要因为检测对象外的物体而选择了学习用数据的情况。
此外，也可以是所述作为检测对象的物体是车辆，与所述作为检测对象的物体相应的区域是在所述传感空间中与道路对应的区域。
因此，能够将设为一致度的判定的对象的第一物体检测结果和第二物体检测结果，限缩为与作为检测对象的车辆相应的区域，即道路存在的区域中包含的第一物体检测结果及第二物体检测结果。由此，能够更可靠地抑制因车辆以外的物体而学习用数据被选择。
此外，也可以是所述作为检测对象的物体是人，与所述作为检测对象的物体相应的区域是在所述传感空间中与人行道对应的区域。
因此，能够将设为一致度的判定的对象的第一物体检测结果和第二物体检测结果，限缩为与作为检测对象的人相应的区域，即人行道存在的区域中包含的第一物体检测结果及第二物体检测结果。由此，能够更可靠地抑制因人以外的物体而学习用数据被选择。
此外，也可以是所述第一传感器及所述第二传感器被保持于移动体，所述信息处理方法进而取得地图信息和表示所述移动体的位置的位置信息，将根据所述地图信息和所述位置信息而判定为道路或人行道的区域决定为所述特定的区域。
据此，根据地图信息和表示移动体的位置的位置信息而确定被判定为道路或人行道的区域，所以能够更可靠地决定包含作为检测对象的车辆或人的可能性高的区域。
此外，也可以是所述第一传感器及所述第二传感器被保持于移动体，所述信息处理方法进而取得图像，将使用针对所取得的所述图像的图像识别而判定为道路或人行道的区域决定为所述特定的区域。
据此，通过执行对于图像的图像识别，从而确定被判定为道路或人行道的区域，所以能够符合于实际的状况而确定包含作为检测对象的车辆或人的可能性高的区域。
此外，在作为所述学习用数据的选择中，也可以在所述第一物体检测结果和所述第二物体检测结果不一致或所述一致度低的情况下，将所述传感数据选择为所述物体检测模型的学习用数据。
据此，能够将物体检测模型尚未学习的可能性高的传感数据选择为学习用数据。
另外，这些整体或具体的方式也可以通过系统、装置、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现，也可以通过系统、装置、集成电路、计算机程序或记录介质的任意的组合来实现。
以下，关于本发明的一方式所涉及的信息处理方法、信息处理装置及记录介质，参照附图具体地进行说明。
另外，在以下说明的实施方式都表示本发明的一具体例。以下的实施方式所示的数值、形状、材料、结构要素、结构要素的配置位置及连接方式、步骤、步骤的顺序等是一例，并非意在限定本发明。此外，关于以下的实施方式中的结构要素之中表示最上位概念的独立权利要求中没有记载的结构要素，作为任意的结构要素而被说明。
(实施方式一)
以下，使用图1～图9，说明实施方式一。
[1-1.结构]
图1是表示实施方式一所涉及的信息处理系统的外观图的图。
具体而言，在图1中，示出了信息处理装置100、车辆200、通信网络300及移动通信系统的基站310。例如，信息处理系统1在这些结构要素之中，具备信息处理装置100及车辆200。另外，在图1中，车辆200被示出了1台，但也可以是2台以上，只要是1台以上则也可以是任意台。
信息处理装置100是取得由车辆200所具备的相机205摄像的多个图像，从所取得的多个图像之中选择用于机器学习的学习用数据的装置。信息处理装置100例如是服务器。
车辆200具备相机205及LIDAR(光探测和测距器、激光雷达：LightDetection andRanging)206，利用使用由相机205及LIDAR 206得到的图像数据而得到的物体检测或物体识别的结果，进行自动驾驶或驾驶辅助。另外，车辆200具备相机205及LIDAR 206即可，也可以不必须具有进行自动驾驶或驾驶辅助的功能。此外，车辆200是移动体的一例，也可以是车辆200以外的移动体。
通信网络300既可以是互联网等通用的网络，也可以是专用的网络。基站310例如是在第三代移动通信系统(3G)、第四代移动通信系统(4G)、或LTE(注册商标)等那样的移动通信系统中利用的基站。
接着，关于信息处理装置100的硬件结构的具体例，使用图2进行说明。
图2是表示实施方式所涉及的信息处理装置的硬件结构的一例的框图。
如图2所示，信息处理装置100作为硬件结构而具备处理器101、主存储器102、储存器103、通信接口(IF、Interface)104。
处理器101是执行在储存器103等中存储的控制程序的处理器。
主存储器102是被用作在处理器101执行控制程序时使用的工作区域的易失性的存储区域。
储存器103是保持控制程序、或图像数据、点群数据等各种数据的非易失性的存储区域。
通信接口104是经由通信网络与车辆200进行通信的通信接口。通信接口104例如是有线LAN接口。另外，通信接口104也可以是无线LAN接口。此外，通信接口104不限于LAN接口，只要是能够建立与通信网络的通信连接的通信接口，也可以是任意的通信接口。
接着，关于车辆200的硬件结构的具体例，使用图3进行说明。
图3是表示实施方式一所涉及的车辆的硬件结构的一例的框图。
如图3所示，车辆200作为硬件结构而具备处理器201、主存储器202、储存器203、通信接口(Interface)204、相机205、LIDAR 206、IMU(惯性测量单元：Inertial MeasurementUnit)207、和GNSS(全球导航卫星系统：Global Navigation Satellite System)208。
处理器201是执行在储存器203等中存储的控制程序的处理器。处理器201也可以包含用于进行车辆200的自动驾驶或驾驶辅助的ECU中使用的处理器。
主存储器202是被用作在处理器201执行控制程序时使用的工作区域的易失性的存储区域。
储存器203是保持控制程序、或图像数据、点群数据等各种数据的非易失性的存储区域。
通信接口204是经由通信网络300与信息处理装置100进行通信的通信接口。也就是说，通信接口204是能够与通信网络300进行通信连接的通信接口即可。具体而言，通信接口204是通过与移动通信系统的基站310的通信连接，与通信网络300进行通信连接的通信接口。通信接口204例如也可以是适合于在第三代移动通信系统(3G)、第四代移动通信系统(4G)、或LTE(注册商标)等那样的移动通信系统中利用的通信标准的无线通信接口。此外，通信接口204例如也可以是适合于IEEE802.11a、b、g、n、ac标准的无线LAN(局域网：LocalArea Network)接口，也可以是通过与未图示的路由器(例如，移动无线LAN路由器)的通信连接，与通信网络300进行通信连接的通信接口。
相机205被保持于车辆200，是具有透镜等光学系统及图像传感器的光学传感器，是第一传感器的一例。
LIDAR 206被保持于车辆200，是检测与处于车辆200的水平方向上360度全方位及垂直方向上规定的角度(例如30度)的角度范围的检测范围的物体之间的距离的激光传感器。LIDAR 206是距离传感器，是第二传感器的一例。LIDAR 206向周围发出激光，探测被周围的物体反射的激光，从而测量LIDAR 206至物体的距离。LIDAR 206例如以厘米量级测量该距离。这样，LIDAR 206检测车辆200的周围的地形表面的多个点各自的三维坐标。也就是说，LIDAR 206通过检测周围的地形表面的多个三维坐标，从而检测包含车辆200的周围的物体的地形的三维形状。这样，在LIDAR206中，得到由多个点的三维坐标构成且表示包含车辆200的周围的物体的地形的三维形状的点群数据。另外，第二传感器不限于LIDAR，也可以是毫米波雷达、超声波传感器，ToF(飞行时间：Time of Flight)相机、立体相机等那样的距离传感器。
IMU 207是包含加速度传感器及陀螺传感器的传感器机器。加速度传感器是检测车辆200的不同的3方向的各个方向所涉及的加速度的传感器。陀螺传感器是检测绕以车辆200的不同的3方向为轴的3轴各自的旋转中的角速度的传感器。
GNSS 208从包含GPS(全球定位系统：Global Positioning System)卫星的人造卫星接收表示该GNSS 208的位置的信息。也就是说，GNSS 208检测车辆200的当前位置。
接着，关于信息处理系统1的功能结构，使用图4进行说明。
图4是表示实施方式一所涉及的信息处理系统的功能结构的一例的框图。另外，在图4中，省略了图1中的通信网络300及基站310。
首先，关于车辆200的功能结构进行说明。
车辆200作为功能结构而具备检测部210、存储部220和发送部230。
检测部210检测由车辆200的作为第一传感器的相机205传感的传感数据即图像数据、和由车辆200的作为第二传感器的LIDAR 206传感的传感数据即点群数据。
检测部210检测在多个不同的定时由相机205摄像的多个图像数据。例如，多个图像数据是表示通过相机205进行摄像而得到的运动图像或多个静止图像的数据。检测部210检测在多个不同的定时由LIDAR 206检测到的多个点群数据。由LIDAR 206得到的点群数据，既可以是时刻与表示多个点的各个点的三维坐标建立对应，也可以是时刻与LIDAR 206的激光旋转1周或多周等以规定的单位得到的每个点群建立对应，也可以是时刻与以被多个划分的时间单位取得的每个点群建立对应。
检测部210以将构成多个图像数据的多个帧或多个静止图像的各个静止图像，与摄像到该帧或该静止图像的时刻即摄像定时建立对应的方式，将多个图像数据存储至存储部220。此外，检测部210将多个点群数据的各个点群数据与检测到该点群数据的时刻即检测定时建立对应地存储至存储部220。在与检测定时相应地将多个图像数据与多个点群数据建立对应时，既可以将在与得到一方的数据的定时最接近的定时得到的另一方的数据建立对应，也可以将在规定的时间间隔中检测到的多个图像数据与多个点群数据建立对应。
检测部210例如由相机205及LIDAR 206等实现。
存储部220将由检测部210检测到的多个图像数据与多个图像数据的各自的摄像定时一起存储。此外，存储部220将由检测部210检测到的多个点群数据与多个点群数据的各自的检测定时一起存储。存储部220例如由储存器203实现。
发送部230将在存储部220中存储的多个图像数据及多个点群数据发送至信息处理装置100。发送部230例如也可以如每1天、每1周等那样，定期地将由检测部210检测到的多个图像数据及多个点群数据发送至信息处理装置100。此外，发送部230例如也可以在车辆200在司机自家等该车辆200的保管地点中停车时，将通过在停车之前的期间的行驶而得到的多个图像数据及多个点群数据发送至信息处理装置。此外，发送部230也可以是，若此时有尚未发送至信息处理装置100的多个图像数据及多个点群数据，则将该多个图像数据及该多个点群数据发送至信息处理装置100。
发送部230例如由处理器201、主存储器202、储存器203、通信接口204等实现。
接着，关于信息处理装置100的功能结构进行说明。
信息处理装置100作为功能结构而具备取得部110、存储部120、判定部130和选择部150。
取得部110从车辆200取得多个图像数据及多个点群数据。取得部110对多个图像数据，进行使用了在存储部120中存储的物体检测模型的检测处理从而取得第一物体检测结果。此外，取得部110取得通过对多个点群数据的各个点群数据执行规定的处理而得到的结果，作为使用了第二传感器的第二物体检测结果。取得部110例如通过执行规定的处理，从而从多个点群数据取得按1个以上物体中的每个物体对去除了检测到地面的点群之后的点群进行分离后的点群数据，作为第二物体检测结果。另外，第二物体检测结果也可以由按1个以上物体中的每个物体进行分离后的点群数据所占的三维上的区域、或将按1个以上物体中的每个物体进行分离后的点群数据投影到图像数据所示的图像时的二维上的区域构成。此外，第二物体检测结果不限于通过对点群数据执行规定的处理而得到的结果，也可以是点群数据本身。
在此，关于由取得部110取得第一物体检测结果及第二物体检测结果的处理的具体例，使用图5A～图5C进行说明。
图5A～图5C是表示第一物体检测结果及第二物体检测结果的一例的图。图5A是表示图像数据所示的图像400中的第一物体检测结果的一例的图。图5B是表示图像数据所示的图像400中的第二物体检测结果的一例的图。图5C是表示图像数据所示的图像400中的第二物体检测结果的其他一例的图。在图5B及图5C中，第二物体检测结果为了便于说明，以将作为第二物体检测结果的点群数据投影到图像400上的图来示出，但实际上，是没有被投影到图像400上的点群数据。此外，图5B示出使用精度高的传感器检测到的结果的一例，图5C表示使用与得到图5B所示的第二物体检测结果的传感器相比精度低的传感器检测到的结果的一例。另外，就得到图5B的第二物体检测结果的传感器和得到图5C的第二物体检测结果的传感器而言，任一个作为第二传感器而被配置于车辆200即可。示出图5B及图5C，是为了将使用了精度高的传感器的第二物体检测结果的情况、和使用了精度低的传感器的第二物体检测结果的情况进行比较。
如图5A所示，取得部110对图像400进行使用了物体检测模型的检测处理从而对图像400上的物体进行检测，取得表示图像400上的物体所位于的区域的框等信息作为多个第一物体检测结果411～414。此外，如图5B所示，取得部110对由精度高的传感器取得的点群数据执行规定的处理，从而取得多个第二物体检测结果421～426。此外，如图5C所示，取得部110对由精度低的传感器取得的点群数据执行规定的处理，从而取得多个第二物体检测结果431～439。
另外，取得部110例如由处理器101、主存储器102、储存器103、通信接口104等实现。
存储部120存储用于检测物体的检测处理的物体检测模型。物体检测模型也可以是不仅用于检测处理而且还用于对物体是怎样的物体进行识别的识别处理的物体识别模型。存储部120例如由储存器103等实现。
判定部130进行关于相机205及LIDAR 206的传感空间中的区域对第一物体检测结果和第二物体检测结果的一致度进行判定的判定处理。首先，判定部130例如图6所示，在上述传感空间中，将相机205能够摄像的摄像范围R1、和LIDAR 206能够探测的探测范围R2重复的区域R3确定为用于判定处理的特定的区域。
另外，图6是表示相机的摄像范围和LIDAR的探测范围重复的区域的图。
此外，判定部130也可以将重复的区域之中与在存储部120中存储的物体检测模型中的作为检测对象的物体相应的区域确定为用于判定处理的特定的区域。用于判定处理的特定的区域例如是从车辆200取得的图像数据所示的图像中的二维状的区域。
作为检测对象的物体例如是车辆。也就是说，作为检测对象的物体是车辆200的周围的车辆。在该情况下，与作为检测对象的物体相应的区域是在传感空间中道路存在的区域。
图7是用于说明由判定部判定道路存在的区域的处理的具体例的概略图。图7是道路为交叉路口的情况的一例，是从上方观看车辆及道路的情况的图。
如图7所示，在将与作为检测对象的物体相应的区域设为道路存在的区域的情况下，判定部130也可以将从车辆200存在的位置起在车辆200的前方一定的区域501判定为道路存在的区域。另外，在此，车辆200的前方例如是车辆200的行驶方向上的前方。
此外，在该情况下，判定部130也可以取得地图信息和表示车辆200的位置的位置信息，根据所取得的地图信息所示的道路的位置和位置信息所示的车辆200的位置而判定道路存在的区域502。另外，信息处理装置100的存储部120存储有地图信息，取得部110从存储部120取得地图信息，从车辆200取得表示由车辆200的GNSS 208检测到的车辆200的位置的位置信息。此外，取得部110也可以从外部的信息处理装置取得地图信息。
另外，在图7中，示出了道路为交叉路口的情况的例，所以由地图信息和位置信息确定的、道路存在的区域502的形状为十字状的形状，但在道路不是交叉路口的情况下为向前后方向延伸的直线状的形状。
图8是将道路存在的区域投影到图像数据所示的图像上的概略图。
判定部130也可以如图8所示，将作为道路存在的区域而确定的、在前方一定的区域501投影到图像数据所示的图像400上，从而在图像400上确定道路存在的区域440。
此外，判定部130也可以使用针对由取得部110取得的图像数据的图像识别来判定道路存在的区域。由此，判定部130也可以确定图8所示的图像400上的道路存在的区域440。
判定部130也可以通过将上述的三个方法之中的2个以上组合，判定道路存在的区域。
作为检测对象的物体例如是人。在该情况下，与作为检测对象的物体相应的区域是在传感空间中人行道存在的区域。
图9是用于说明由判定部判定人行道存在的区域的处理的具体例的概略图。图9是道路为交叉路口的情况的一例，是从上方观看车辆及人行道的情况的图。
如图9所示，在将与作为检测对象的物体相应的区域设为人行道存在的区域的情况下，判定部130也可以将从车辆200存在的位置起从车辆200的两侧方向前方延伸的2条一定的区域511判定为人行道存在的区域。另外，在此，车辆200的侧方例如是车辆200的行驶方向上的左右的两侧方。此外，在该情况下，判定部130也可以取得地图信息和表示车辆200的位置的位置信息，根据所取得的地图信息所示的人行道的位置和位置信息所示的车辆200的位置而判定人行道存在的区域512。另外，信息处理装置100的存储部120存储有地图信息，取得部110从存储部120取得地图信息，从车辆200取得表示由车辆200的GNSS 208检测到的车辆200的位置的位置信息。此外，取得部110也可以从外部的信息处理装置取得地图信息。
另外，在图9中，示出了道路为交叉路口的情况的例，所以由地图信息和位置信息确定的、人行道存在的区域512的形状为四个L字状的形状，但在道路不是交叉路口的情况下与2条一定的区域511同样地为向前后方向延伸的直线状的形状。
图10是将人行道存在的区域投影到图像数据所示的图像上的概略图。另外，图10中的图像数据所示的图像600是与图5A～图5C中的图像数据所示的图像400不同的图像。
判定部130也可以如图10所示，将所确定的人行道存在的2条一定的区域511投影到图像数据所示的图像600上，从而在图像600上确定人行道存在的区域601。
此外，判定部130也可以使用针对由取得部110取得的图像数据的图像识别来判定人行道存在的区域。由此，判定部130也可以确定图10所示的图像600上的人行道存在的区域601。
判定部130也可以通过将上述的三个方法之中2个以上组合，判定人行道存在的区域。
另外，与作为检测对象的物体相应的区域设为在传感空间中道路存在的区域、或人行道存在的区域，但也可以是在传感空间中道路或人行道存在的区域。
判定部130在确定了用于判定处理的特定的区域之后，对所确定的区域中的第一物体检测结果和第二物体检测结果的一致度进行判定。具体而言，判定部130关于所取得的多个图像数据的各个，在该图像数据所示的图像之中的所确定的区域中将在该图像数据被摄像的定时中检测到的点群数据投影到该图像上的对应的二维坐标。并且，判定部130对将点群数据投影到图像上的多个二维坐标即第二物体检测结果、和对图像进行检测处理从而得到的图像上的物体被检测到的区域即第一物体检测结果进行比较，将第二物体检测结果与第一物体检测结果重叠的重叠程度(也就是说，重叠率)判定为一致度。
图11A及图11B是用于说明对第一物体检测结果和第二物体检测结果的一致度进行判定的处理的图。图11A是使以图5A表示的第一物体检测结果、和以图5B表示的第二物体检测结果在图像400的区域401中重叠的图。图11B是使以图5A表示的第一物体检测结果、和以图5C表示的第二物体检测结果在图像400的区域401中重叠的图。另外，图像400的区域401是图像400整体所占的区域。
如图11A所示，可知在图像400上的区域440中，多个第一物体检测结果411～414、和多个第二物体检测结果421～424相互重叠。判定部130例如在第二物体检测结果相对于第一物体检测结果以规定的比例(例如5成等)更大地重叠的情况下，判定为两者重叠。另一方面，在图像400上的区域440中，也可知有与多个第一物体检测结果不重叠的多个第二物体检测结果425、426。因此，在图11A的情况下，可知在第一物体检测结果中没有被检测的物体有两个被包含在第二物体检测结果中。
此外，如图11B所示，可知在图像400上的区域440中，多个第一物体检测结果411～414、和多个第二物体检测结果431～433相互重叠。另一方面，还可知在图像400上的区域440中，有与多个第一物体检测结果不重叠的多个第二物体检测结果434～436。另外，就第二物体检测结果434而言，与区域440重叠的区域在该第二物体检测结果434中所占的比例比规定的比例少，所以也可以和与区域440不重叠的其他第二物体检测结果437～439同样地被除外。由此，在图11B的情况下，也可知在第一物体检测结果中没有检测的物体有两个被包含在第二物体检测结果中。
判定部130例如也可以将与第二物体检测结果重叠的第一物体检测结果的数目相对于全部第一物体检测结果的数目的比例判定为一致度，也可以将构成与第一物体检测结果重叠的第二物体检测结果的点群的数目判定为一致度，也可以将构成与第一物体检测结果重叠的第二物体检测结果的点群的数目除以构成该第一物体检测结果的像素的数目而得到的值判定为一致度。在将与第二物体检测结果重叠的第一物体检测结果的数目相对于全部第一物体检测结果的数目的比例设为一致度的情况下，在图11A的例、和图11B的例中，一致度成为相互相同。
这样，由于限缩为作为检测对象的物体存在的概率高的区域440，对第一物体检测结果及第二物体检测结果的一致度进行判定，所以能够将与物体检测无关的第二物体检测结果434、437～439从一致度的判定对象除外。因此，无论传感器的精度高低，都能够得到大致同样的一致度。
判定部130例如由处理器101、主存储器102、储存器103等实现。
选择部140根据通过判定部130的判定而得到的一致度，将图像数据选择为物体检测模型的学习用数据。选择部140具体而言，在第一物体检测结果和第二物体检测结果不一致的情况、或由判定部130判定的一致度低的情况下，将作为传感数据的图像数据选择为物体检测模型的学习用数据。选择部140例如也可以将判定而得的一致度小于规定值的图像数据选择为物体检测模型的学习用数据，将该一致度为规定值以上的图像数据不选择为学习用数据。由此，选择部140将第一物体检测结果和第二物体检测结果不一致的程度大的图像数据选择为学习用数据，所以能够将在第一物体检测结果及第二物体检测结果的至少任一个检测结果中有错误的情况下的图像数据选择为学习用数据。因此，能够选择用于执行效率高的机器学习的图像数据。
此外，选择部140也可以根据一致度，将第二物体检测结果选择为用于物体检测模型的学习的正解数据。也就是说，选择部140也可以将基于判定得到的一致度为规定值以上的点群数据的第二物体检测结果选择为正解数据，将所选择的第二物体检测结果赋予给图像数据。由此，信息处理装置100在第一物体检测结果及第二物体检测结果的一致度为规定值以上的情况下，能够对图像数据自动地赋予第二物体检测结果作为正解数据。
选择部140例如由处理器101、主存储器102、储存器103等实现。
[1-2.动作]
接着，关于实施方式一所涉及的信息处理系统1的动作进行说明。
图12是表示信息处理系统中的动作的一例的时序图。
首先，在车辆200中，检测部210检测由车辆200的相机205传感的传感数据即图像数据、和由车辆200的LIDAR 206传感的传感数据即点群数据(S11)。由检测部210检测到的图像数据及点群数据被存储至存储部220。
接着，车辆200的发送部230将在存储部220中存储的图像数据及点群数据经由通信网络300发送至信息处理装置100(S12)。
在信息处理装置100中，取得部110取得由车辆200发送的图像数据及点群数据(S21)。
接着，信息处理装置100的取得部110对图像数据执行使用了在存储部120中存储的物体检测模型的检测处理从而取得第一物体检测结果，对点群数据执行规定的处理从而取得第二物体检测结果(S22)。
并且，信息处理装置100的判定部130关于相机205及LIDAR 206的传感空间中的区域，对第一物体检测结果和第二物体检测结果的一致度进行判定(S23)。
其后，信息处理装置100的选择部140根据由判定部130判定的一致度，将图像数据选择为物体检测模型的学习用数据(S24)。
另外，步骤S11、S12、S21～S24的各处理部的处理的细节在使用了图4～图11B的车辆200的功能结构、及信息处理装置100的功能结构的说明中进行了说明，所以省略。
[1-3.效果等]
本实施方式所涉及的信息处理方法取得使用了将相机205的图像数据设为输入的物体检测模型的第一物体检测结果、及使用了LIDAR 206的第二物体检测结果，关于相机205及LIDAR 206的传感空间中的特定的区域，判定第一物体检测结果和第二物体检测结果的一致度，根据判定而得的一致度，将图像数据选择为物体检测模型的学习用数据。
据此，关于相机205及LIDAR 206的传感空间中的区域R3，判定第一物体检测结果和第二物体检测结果的一致度，所以能够判定物体检测的检测对象存在的概率高的区域中的、第一物体检测结果和第二物体检测结果的一致度。由此，能够抑制主要因为检测对象外的物体而选择了学习用数据的情况。从而，即使使用精度低的第二传感器的检测结果，也能够容易地得到用于检测期望的物体的学习用数据。
此外，在本实施方式所涉及的信息处理方法中，特定的区域进而也可以是与物体检测模型中的作为检测对象的物体相应的区域。因此，能够通过与物体检测模型中的作为检测对象的物体相应的区域中包含的第一物体检测结果及第二物体检测结果，可靠地限缩设为一致度的判定的对象的第一物体检测结果和第二物体检测结果。由此，能够更可靠地抑制主要因为检测对象外的物体而选择了学习用数据的情况。
此外，在本实施方式所涉及的信息处理方法中，也可以是作为检测对象的物体是车辆，与作为检测对象的物体相应的区域是在传感空间中与道路对应的区域。因此，能够将设为一致度的判定的对象的第一物体检测结果和第二物体检测结果，限缩为与作为检测对象的车辆相应的区域，即道路存在的区域中包含的第一物体检测结果及第二物体检测结果。由此，能够更可靠地抑制因车辆以外的物体而学习用数据被选择。
此外，在本实施方式所涉及的信息处理方法中，也可以是作为检测对象的物体是人，与作为检测对象的物体相应的区域是在传感空间中与人行道对应的区域。因此，能够将设为一致度的判定的对象的第一物体检测结果和第二物体检测结果限缩为与作为检测对象的人相应的区域，即人行道存在的区域中包含的第一物体检测结果及第二物体检测结果。由此，能够更可靠地抑制因人以外的物体而学习用数据被选择。
此外，在本实施方式所涉及的信息处理方法中也可以是，相机205及LIDAR 206被保持于车辆200，该信息处理方法进而取得地图信息和表示车辆200的位置的位置信息，根据地图信息和位置信息而将被判定为道路或人行道的区域决定为用于判定处理的特定的区域。据此，由于根据地图信息和表示车辆200的位置的位置信息而确定被判定为道路或人行道的区域，所以能够更可靠地决定包含作为检测对象的车辆或人的可能性高的区域。
此外，在本实施方式所涉及的信息处理方法中也可以是，相机205及LIDAR 206被保持于车辆200，该信息处理方法进而取得图像数据，使用针对所取得的图像数据所示的图像的图像识别而将判定为道路或人行道的区域决定为用于判定处理的特定的区域。据此，由于执行对于图像的图像识别，从而确定被判定为道路或人行道的区域，所以能够符合于实际的状况而确定包含作为检测对象的车辆或人的可能性高的区域。
此外，在本实施方式所涉及的信息处理方法中，在学习用数据的选择中，在第一物体检测结果和第二物体检测结果不一致或一致度低的情况下，将作为传感数据的图像数据选择为物体检测模型的学习用数据。据此，能够将物体检测模型尚未学习的可能性高的传感数据选择为学习用数据。
(实施方式二)
接着，使用图13及图14说明实施方式二。
设为实施方式一所涉及的信息处理装置100是车辆200的外部的服务器，但不限于此，也可以被搭载于车辆200A。
图13是表示实施方式二所涉及的车辆的功能结构的一例的图。
如图13所示，车辆200A具备检测部210、和信息处理装置100。检测部210与实施方式一同样所以省略说明。信息处理装置100A从检测部210直接取得图像数据及点群数据，这方面与实施方式一所涉及的信息处理装置100不同，信息处理装置100A的其他结构与信息处理装置100同样，所以省略说明。
图14是表示实施方式二所涉及的车辆的动作的一例的流程图。
实施方式二所涉及的车辆200A的动作与省略了实施方式一所涉及的信息处理系统1的动作中的步骤S12后的动作同样，因此省略详细的说明。
本实施方式所涉及的信息处理装置100A在车辆200A中从摄像的多个图像数据选择设为学习用数据的图像数据，所以例如能够仅将所选择的图像数据发送至外部的服务器等信息处理装置。因此，能够削减从车辆200A向外部的服务器的通信量，能够减少通信负荷。
[3.变形例]
在上述实施方式一或二所涉及的信息处理装置100、100A中，作为第一传感器而使用了相机205，但不限于此，也可以使用与作为第二传感器而采用的距离传感器不同的距离传感器的检测数据。此外，信息处理装置100、100A也可以作为传感数据而采用图像数据及LIDAR的检测数据这双方。此外，也可以作为传感数据而采用其他光学传感器的检测数据。另外，在对第一传感器使用了距离传感器的检测数据的情况下，也可以是取得部110取得由车辆200所具备的并且不是第一传感器的相机而摄像的图像数据，判定部130对图像数据所示的图像执行用于确定用于判定处理的特定的区域的图像识别。
此外，第二物体检测结果设为通过对点群数据执行规定的处理从而得到的结果，但不限于此，也可以是使用用于根据点群数据检测物体的物体检测模型，对点群数据执行检测处理从而得到的结果。此外，在第二传感器不是LIDAR，而是其他距离传感器的情况下，也可以使用用于根据由其他距离传感器得到的数据检测物体的物体检测模型，对由其他距离传感器得到的数据执行检测处理从而得到的结果。
另外，在上述各实施方式中，各结构要素也可以由专用的硬件构成，或通过执行适于各结构要素的软件程序来实现。各结构要素也可以通过CPU或处理器等程序执行部读出并执行在硬盘或半导体存储器等记录介质中记录的软件程序来实现。在此，实现上述各实施方式的信息处理方法及信息处理装置等的软件为如下的程序。
即，该程序使计算机执行以下信息处理方法：取得使用了将第一传感器的传感数据设为输入的物体检测模型的第一物体检测结果及使用了第二传感器的第二物体检测结果，关于所述第一传感器及所述第二传感器的传感空间中的特定的区域，判定所述第一物体检测结果和所述第二物体检测结果的一致度，根据判定而得的所述一致度，将所述传感数据选择为所述物体检测模型的学习用数据。
以上，关于本发明的一个或多个方式所涉及的信息处理方法、信息处理装置及程序记录介质，基于实施方式进行了说明，但本发明并非限定于本实施方式。只要不脱离本发明的宗旨，将本领域技术人员想到的各种变形施加于本实施方式而得到的实施方式、将不同的实施方式中的结构要素组合而构筑的方式也可以被包含于本发明的一个或多个方式的范围内。
工业实用性
本公开作为即使使用精度低的传感器的检测结果也能够得到用于检测期望的物体的学习用数据的信息处理方法、信息处理装置及程序记录介质等是有用的。

Claims (10)

1.一种信息处理方法，
取得使用了将第一传感器的传感数据设为输入的物体检测模型的第一物体检测结果及使用了第二传感器的第二物体检测结果，
关于所述第一传感器及所述第二传感器的传感空间中的特定的区域，判定所述第一物体检测结果和所述第二物体检测结果的一致度，
根据判定而得的所述一致度，将所述传感数据选择为所述物体检测模型的学习用数据。
2.如权利要求1所述的信息处理方法，
进而，根据所述一致度，将所述第二物体检测结果选择为用于所述物体检测模型的学习的正解数据。
3.如权利要求1或2所述的信息处理方法，
所述特定的区域进而是与所述物体检测模型中的作为检测对象的物体相应的区域。
4.如权利要求3所述的信息处理方法，
所述作为检测对象的物体是车辆，
与所述作为检测对象的物体相应的区域是在所述传感空间中与道路对应的区域。
5.如权利要求3所述的信息处理方法，
所述作为检测对象的物体是人，
与所述作为检测对象的物体相应的区域是在所述传感空间中与人行道对应的区域。
6.如权利要求1或2所述的信息处理方法，
所述第一传感器及所述第二传感器被保持于移动体，
所述信息处理方法进而：
取得地图信息和表示所述移动体的位置的位置信息，
根据所述地图信息和所述位置信息，将判定为道路或人行道的区域决定为所述特定的区域。
7.如权利要求1或2所述的信息处理方法，
所述第一传感器及所述第二传感器被保持于移动体，
所述信息处理方法进而：
取得图像，
使用针对所取得的所述图像的图像识别，将判定为道路或人行道的区域决定为所述特定的区域。
8.如权利要求1或2所述的信息处理方法，
在作为所述学习用数据的选择中，在所述第一物体检测结果和所述第二物体检测结果不一致或所述一致度低的情况下，将所述传感数据选择为所述物体检测模型的学习用数据。
9.一种信息处理装置，具备：
取得部，取得使用了将第一传感器的传感数据设为输入的物体检测模型的第一物体检测结果及使用了第二传感器的第二物体检测结果；
判定部，关于所述第一传感器及所述第二传感器的传感空间中的特定的区域，判定所述第一物体检测结果和所述第二物体检测结果的一致度；以及
选择部，根据判定而得的所述一致度，将所述传感数据选择为所述物体检测模型的学习用数据。
10.一种程序记录介质，储存用于使计算机执行以下信息处理方法的程序：
取得使用了将第一传感器的传感数据设为输入的物体检测模型的第一物体检测结果及使用了第二传感器的第二物体检测结果，
关于所述第一传感器及所述第二传感器的传感空间中的特定的区域，判定所述第一物体检测结果和所述第二物体检测结果的一致度，
根据判定而得的所述一致度，将所述传感数据选择为所述物体检测模型的学习用数据。
CN201910670379.XA 2018-08-01 2019-07-24 信息处理方法、信息处理装置及程序记录介质 Pending CN110795984A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-145357 2018-08-01
JP2018145357A JP7082545B2 (ja) 2018-08-01 2018-08-01 情報処理方法、情報処理装置およびプログラム

Publications (1)

Publication Number Publication Date
CN110795984A true CN110795984A (zh) 2020-02-14

Family

ID=67439020

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910670379.XA Pending CN110795984A (zh) 2018-08-01 2019-07-24 信息处理方法、信息处理装置及程序记录介质

Country Status (4)

Country Link
US (1) US11915099B2 (zh)
EP (1) EP3605390A1 (zh)
JP (1) JP7082545B2 (zh)
CN (1) CN110795984A (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10846561B1 (en) 2020-04-01 2020-11-24 Scandit Ag Recognition and selection of discrete patterns within a scene or image
US11295163B1 (en) 2020-04-01 2022-04-05 Scandit Ag Recognition of optical patterns in images acquired by a robotic device
US11514665B2 (en) 2020-04-01 2022-11-29 Scandit Ag Mapping optical-code images to an overview image
US11216628B2 (en) 2020-04-01 2022-01-04 Scandit Ag High-speed scanning of optical patterns using a digital camera
JP2021165910A (ja) * 2020-04-06 2021-10-14 トヨタ自動車株式会社 データ送信装置およびデータ送信方法
US11290643B1 (en) * 2020-06-26 2022-03-29 Scandit Ag Efficient digital camera image acquisition and analysis
US11244147B2 (en) 2020-05-15 2022-02-08 Scandit Ag Optical data exchange while preserving social distancing
US11922271B1 (en) 2020-05-15 2024-03-05 Scandit Ag Virtual screen standby mode for mobile device camera
US11403477B1 (en) 2020-05-15 2022-08-02 Scandit Ag Image exposure performance improvements for recognition of optical patterns
US11417001B1 (en) 2020-07-27 2022-08-16 Scandit Ag Detecting discrete optical patterns using depth estimation
JP6960643B1 (ja) * 2020-09-24 2021-11-05 株式会社センシンロボティクス 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法
JP7427569B2 (ja) * 2020-11-04 2024-02-05 株式会社日立製作所 状態判定装置、状態判定システム及び状態判定方法
JP7515379B2 (ja) * 2020-11-24 2024-07-12 三菱電機株式会社 物体検出装置
US11495036B1 (en) 2021-01-29 2022-11-08 Scandit Ag Segmenting images for optical character recognition
US11880738B1 (en) 2021-08-17 2024-01-23 Scandit Ag Visual odometry for optical pattern scanning in a real scene
JP7403108B2 (ja) * 2021-10-28 2023-12-22 株式会社 Sai 建屋内構造物認識システム及び建屋内構造物認識方法
US11557136B1 (en) 2022-02-23 2023-01-17 Scandit Ag Identity document verification based on barcode structure
US20230386335A1 (en) * 2022-05-24 2023-11-30 Here Global B.V. Method and apparatus for placing a shared micro-mobility vechile in public spaces

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006182086A (ja) * 2004-12-27 2006-07-13 Hitachi Ltd 車両検知装置
JP2007255978A (ja) * 2006-03-22 2007-10-04 Nissan Motor Co Ltd 物体検出方法および物体検出装置
JP2007329762A (ja) * 2006-06-08 2007-12-20 Fujitsu Ten Ltd 物体候補領域検出装置、物体候補領域検出方法、歩行者認識装置、および車両制御装置
JP2010176669A (ja) * 2010-01-25 2010-08-12 Fujitsu Ten Ltd 情報処理装置、情報入手装置、情報統合装置、制御装置および物体検出装置
JP2011028659A (ja) * 2009-07-29 2011-02-10 Hitachi Automotive Systems Ltd 道路形状認識装置
JP2012123642A (ja) * 2010-12-08 2012-06-28 Toyota Central R&D Labs Inc 画像識別装置及びプログラム
JP2015143979A (ja) * 2013-12-27 2015-08-06 株式会社リコー 画像処理装置、画像処理方法、プログラム、画像処理システム
JP2016051236A (ja) * 2014-08-29 2016-04-11 株式会社日立製作所 画像処理装置、画像処理方法およびそれを用いた検査方法。
US20180106885A1 (en) * 2016-10-19 2018-04-19 Ants Technology (Hk) Limited Sensory systems for autonomous devices
US20180136332A1 (en) * 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system to annotate objects and determine distances to objects in an image

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6682833B2 (ja) 2015-12-04 2020-04-15 トヨタ自動車株式会社 物体認識アルゴリズムの機械学習のためのデータベース構築システム
JP2018045482A (ja) * 2016-09-15 2018-03-22 ソニー株式会社 撮像装置、信号処理装置、及び、車両制御システム
DE102017215552A1 (de) 2017-09-05 2019-03-07 Robert Bosch Gmbh Plausibilisierung der Objekterkennung für Fahrassistenzsysteme
JP6664371B2 (ja) * 2017-12-13 2020-03-13 本田技研工業株式会社 物体認識装置、物体認識方法及び車両
US11630998B2 (en) * 2018-03-26 2023-04-18 Cohda Wireless Pty Ltd. Systems and methods for automatically training neural networks
JP7231996B2 (ja) * 2018-08-02 2023-03-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法および情報処理システム
US20210150278A1 (en) * 2019-11-14 2021-05-20 Zoox, Inc. Depth data model training
US11592570B2 (en) * 2020-02-25 2023-02-28 Baidu Usa Llc Automated labeling system for autonomous driving vehicle lidar data

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006182086A (ja) * 2004-12-27 2006-07-13 Hitachi Ltd 車両検知装置
JP2007255978A (ja) * 2006-03-22 2007-10-04 Nissan Motor Co Ltd 物体検出方法および物体検出装置
JP2007329762A (ja) * 2006-06-08 2007-12-20 Fujitsu Ten Ltd 物体候補領域検出装置、物体候補領域検出方法、歩行者認識装置、および車両制御装置
JP2011028659A (ja) * 2009-07-29 2011-02-10 Hitachi Automotive Systems Ltd 道路形状認識装置
JP2010176669A (ja) * 2010-01-25 2010-08-12 Fujitsu Ten Ltd 情報処理装置、情報入手装置、情報統合装置、制御装置および物体検出装置
JP2012123642A (ja) * 2010-12-08 2012-06-28 Toyota Central R&D Labs Inc 画像識別装置及びプログラム
JP2015143979A (ja) * 2013-12-27 2015-08-06 株式会社リコー 画像処理装置、画像処理方法、プログラム、画像処理システム
JP2016051236A (ja) * 2014-08-29 2016-04-11 株式会社日立製作所 画像処理装置、画像処理方法およびそれを用いた検査方法。
US20180106885A1 (en) * 2016-10-19 2018-04-19 Ants Technology (Hk) Limited Sensory systems for autonomous devices
US20180136332A1 (en) * 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system to annotate objects and determine distances to objects in an image

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
PAN WEI等: "lidar and camera detection fusion in a real time industrial multi-sensor collsion avoidance system", 《ELECTRONICS》, vol. 7, no. 6, 30 May 2018 (2018-05-30), pages 1 - 34 *
SANG-LLOH等: "object detection and classification by decision-level fusion for intelligent vehicle systems", 《SENSORS》, vol. 17, no. 1, 22 January 2017 (2017-01-22), pages 1 - 21, XP055407201, DOI: 10.3390/s17010207 *
VAUNKONEN，J等: "comparative testing of single-tree detection algorithm under different types of forest", 《FORESTRY》, vol. 85, no. 1, 31 December 2012 (2012-12-31), pages 27 - 40 *
翟光耀: "基于毫米波雷达和机器视觉信息融合的障碍物检测", 《物联网学报》, vol. 1, no. 2, 30 September 2017 (2017-09-30), pages 76 - 83 *

Also Published As

Publication number Publication date
EP3605390A1 (en) 2020-02-05
JP2020021326A (ja) 2020-02-06
US20200042803A1 (en) 2020-02-06
US11915099B2 (en) 2024-02-27
JP7082545B2 (ja) 2022-06-08

Similar Documents

Publication Publication Date Title
JP7082545B2 (ja) 情報処理方法、情報処理装置およびプログラム
JP6931096B2 (ja) オンボードセンサの外部パラメータを較正する方法及び装置、並びに関連する車両
WO2021227645A1 (zh) 目标检测方法和装置
US12103517B2 (en) In-vehicle processing device and movement support system
RU2720140C1 (ru) Способ оценки собственной позиции и устройство оценки собственной позиции
JP5404861B2 (ja) 静止物地図生成装置
JP2002511614A (ja) 物体位置の追跡・検知方法
JP2018180772A (ja) 物体検出装置
US12061252B2 (en) Environment model using cross-sensor feature point referencing
JP2008065087A (ja) 静止物地図生成装置
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
WO2020039937A1 (ja) 位置座標推定装置、位置座標推定方法およびプログラム
CN111353453B (zh) 用于车辆的障碍物检测方法和装置
JP6989284B2 (ja) 車両位置推定装置及びプログラム
EP3688413A1 (en) Method for localizing and enhancing a digital map by a motor vehicle; localization device
JP4475015B2 (ja) 車両周辺監視装置及び車両周辺監視方法
EP3795952A1 (en) Estimation device, estimation method, and computer program product
KR102091648B1 (ko) 화상 처리 장치, 화상 처리 방법 및 운전 지원 시스템
JP2023068009A (ja) 地図情報作成方法
CN115718304A (zh) 目标对象检测方法、装置、车辆及存储介质
WO2023017624A1 (en) Drive device, vehicle, and method for automated driving and/or assisted driving
Zuev et al. Mobile system for road inspection and 3D modelling
KR20230075898A (ko) 다중플랫폼 및 다중센서 융합에 의한 데이터 수집 방법
JP2021119433A (ja) 学習用データ生成装置、学習用データ生成方法、学習用データ生成プログラム、及び学習済みの学習モデル生成方法
CN117387644A (zh) 定位方法、装置、电子设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination