CN117529693A - 信息生成方法、信息生成装置以及程序 - Google Patents

信息生成方法、信息生成装置以及程序 Download PDF

Info

Publication number
CN117529693A
CN117529693A CN202280040217.8A CN202280040217A CN117529693A CN 117529693 A CN117529693 A CN 117529693A CN 202280040217 A CN202280040217 A CN 202280040217A CN 117529693 A CN117529693 A CN 117529693A
Authority
CN
China
Prior art keywords
information
moving body
movable
area
mobile body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280040217.8A
Other languages
English (en)
Inventor
小山达也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN117529693A publication Critical patent/CN117529693A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/22Command input arrangements
    • G05D1/229Command input data, e.g. waypoints
    • G05D1/2297Command input data, e.g. waypoints positional data taught by the user, e.g. paths
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/22Command input arrangements
    • G05D1/221Remote-control arrangements
    • G05D1/222Remote-control arrangements operated by humans
    • G05D1/224Output arrangements on the remote controller, e.g. displays, haptics or speakers
    • G05D1/2244Optic
    • G05D1/2247Optic providing the operator with simple or augmented images from one or more cameras
    • G05D1/2249Optic providing the operator with simple or augmented images from one or more cameras using augmented reality
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/22Command input arrangements
    • G05D1/221Remote-control arrangements
    • G05D1/222Remote-control arrangements operated by humans
    • G05D1/224Output arrangements on the remote controller, e.g. displays, haptics or speakers
    • G05D1/2244Optic
    • G05D1/2247Optic providing the operator with simple or augmented images from one or more cameras
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60Intended control result
    • G05D1/617Safety or protection, e.g. defining protection zones around obstacles or avoiding hazards
    • G05D1/622Obstacle avoidance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • G08G1/0133Traffic data processing for classifying traffic situation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2101/00Details of software or hardware architectures used for the control of position
    • G05D2101/10Details of software or hardware architectures used for the control of position using artificial intelligence [AI] techniques
    • G05D2101/15Details of software or hardware architectures used for the control of position using artificial intelligence [AI] techniques using machine learning, e.g. neural networks
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2107/00Specific environments of the controlled vehicles
    • G05D2107/10Outdoor regulated spaces
    • G05D2107/13Spaces reserved for vehicle traffic, e.g. roads, regulated airspace or regulated waters
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00Types of controlled vehicles
    • G05D2109/10Land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

信息生成方法是用于生成推定移动体(100)在预定的区域中是否能够移动的机器学习用的信息的信息生成装置的信息生成方法,在移动体(100)在第一区域中移动时,取得(1)至少从设置于移动体(100)的传感器取得的第一信息、以及(2)与移动体(100)的移动相关的第二信息,推定按照第二信息而移动体(100)在第一区域中是否能够移动,生成将第一信息及第二信息与表示是否能够移动的推定的结果的第三信息建立对应的学习模型用的第四信息。

Description

信息生成方法、信息生成装置以及程序
技术领域
本发明涉及信息生成方法、信息生成装置以及程序。
背景技术
近年来,机器学习被用于机器人的控制的机会增加。例如,以往公开了利用机器学习使机器人自动地进行与人进行操作时相同的控制的技术(参照专利文献1)。
现有技术文献
专利文献
专利文献1:日本特开2018-149669号公报
发明内容
发明所要解决的课题
另外,作为机器学习的课题,已知难以适当地生成学习用数据。
本公开提供能够适当地生成学习用数据的信息生成方法等。
用于解决课题的手段
本发明的一个方式所涉及的信息生成方法是用于生成用于推定移动体在预定的区域中是否能够移动的机器学习用的信息的信息生成装置的信息生成方法,在移动体在第一区域中移动时,取得(1)至少从设置于所述移动体的传感器取得的第一信息、以及(2)与所述移动体的移动相关的第二信息,推定按照所述第二信息而所述移动体在所述第一区域中是否能够移动,生成将所述第一信息以及所述第二信息与表示是否能够移动的推定的结果的第三信息建立对应的所述学习模型用的第四信息。
另外,这些总括性或具体的方式可以通过系统、装置、集成电路、计算机程序或计算机可读取的CD-ROM等存储介质来实现,也可以通过系统、装置、集成电路、计算机程序及存储介质的任意组合来实现。
发明效果
本公开的信息生成方法能够适当地生成学习用数据。
附图说明
图1是示意性地表示实施方式的学习系统的构成的图。
图2是示意性地表示实施方式的车辆的功能构成的图。
图3是示意性地表示实施方式的远程操作装置的构成的图。
图4是表示实施方式的半自动的远程操作的例子的图。
图5是表示实施方式的训练数据的一例的第一图。
图6是表示实施方式的训练数据的一例的第二图。
图7是表示实施方式中的学习系统的处理的流程图。
具体实施方式
(成为公开的基础的见解)
本公开的发明人关于在“背景技术”一栏中记载的、使用机器学习自动地控制(自主动作)机器人等的技术,发现产生以下的问题。
为了自动进行这样的模仿人的操作的控制,需要使用庞大的量的训练数据来学习控制的模式。为了区别作为控制的模式而正确的控制和作为控制的模式而不正确的控制,在该庞大的量的训练数据的各自中,对训练数据分别赋予正确/不正确这样的标注信息。在机器人等的控制中,只要赋予运动或者不运动这样的单纯的标注信息即可,因此能够比较容易地进行这样的标注信息的赋予。
然而,为了自动决定用于使移动体自动地移动的移动区域(或者也称为行驶区域),例如,在拍摄到规定的区域的图像中,需要作为标注信息分别赋予能够移动的区域和不能移动的区域。这样的标注信息的赋予需要在人用眼睛观察图像的同时以像素单位指定能够移动的区域和不能移动的区域,人力成本大。由于该人力成本,难以生成用于学习的庞大的数据。因此,在本公开中,提供对于自走式的(能够自主移动的)移动体能够自动地赋予标注信息的、能够生成机器学习用的信息的信息生成装置以及该信息生成装置的信息生成方法等。
通过该信息生成方法等,能够在将人力成本抑制得低的同时生成在用于决定自走式的移动体的移动区域的学习模型进行学习时能够利用的训练数据。因此,能够加速以往成为用于决定移动区域的学习模型的更新的障碍的训练数据的准备,能够进行学习模型的频繁的更新。
为了解决上述的课题,本公开的一个方式所涉及的信息生成方法是用于生成推定移动体在预定的区域中是否能够移动的机器学习用的信息的信息生成装置的信息生成方法,在移动体在第一区域中移动时,取得(1)至少从设置于移动体的传感器取得的第一信息、以及(2)与移动体的移动相关的第二信息,推定按照第二信息而移动体在第一区域中是否能够移动,生成将第一信息及第二信息与表示是否能够移动的推定的结果的第三信息建立对应的学习模型用的第四信息。
在这样的信息生成方法中,在第一区域中,生成将与移动体移动时的该移动相关的第一信息、以及在移动体在区域内移动时从传感器取得的第二信息,与该移动体在第一区域中是否能够移动的推定结果的第三信息建立了对应的第四信息。在第四信息中,即,作为标注信息赋予推定移动体在第一区域中是否能够移动的结果。由此,通过使用第四信息进行机器学习,能够构建学习模型,该学习模型能够根据预定的区域中的第一信息及第二信息来输出相当于第三信息的在该预定的区域中移动体是否能够移动的信息。这样,生成自动地被赋予标注信息的第四信息,因此无需进行以往那样的人力成本大的标注赋予的操作。因此,能够适当地生成学习用数据。
另外,例如,也可以是,移动体在第一区域中是否能够移动的推定基于在移动体按照第二信息移动的情况下得到的第一信息所含的在第一区域移动中的移动数据与阈值之差是否在规定的范围内。
由此,能够基于在移动体按照第二信息移动的情况下得到的第一信息来生成第三信息。其结果,能够生成将第一信息及第二信息与第三信息建立了对应的第四信息,因此无需进行以往那样的人力成本大的标注赋予的操作。因此,能够适当地生成学习用数据。
另外,例如,也可以是,第二信息由对移动体进行远程操作的操作员输入。
由此,能够根据移动体按照由对移动体进行远程操作的操作员输入的第二信息而移动时的第一信息及第二信息,适当地生成第四信息、即学习用数据。
另外,例如,也可以是,进而,推定移动体的移动的难易度,在第四信息的生成中,生成将第一信息及第二信息、表示难易度的推定的结果的第五信息、以及第三信息建立了对应的第四信息。
由此,能够生成包含与第一信息及第二信息、以及第三信息建立了对应的第五信息的第四信息。在所生成的第四信息中,能够基于建立了对应的第五信息,根据移动体的移动的难易度的推定结果来变更机器学习的方式等。
另外,例如,也可以是,第四信息的生成仅在第三信息以及第五信息满足预定的条件的情况下执行。
由此,能够根据第三信息以及第五信息,仅在生成的第四信息满足表示是适当的学习用数据那样的预定的条件的情况下生成第四信息,并且不进行在生成的第四信息表示不是适当的学习用数据那样的不满足预定的条件的情况下的第四信息的生成。其结果,能够不进行作为学习用数据而利用并不适当并且生成没有意义的第四信息的生成。
另外,例如,也可以是,第四信息包含基于第一信息推定出的可靠度。
由此,生成包含基于第一信息推定出的可靠度的第四信息。通过将该第四信息用作学习用数据,能够在机器学习时利用可靠度的信息。
另外,例如,也可以是,进而,取得将第一区域按每个类别划分为多个分区的第六信息,第四信息包含合成图像,所述合成图像为对于通过第六信息对第一信息所含的第一区域的图像进行划分时的多个分区中的各个分区,将基于第三信息的表示移动体是否能够移动的信息重叠于第一区域的图像而得到的合成图像。
由此,能够输出在基于第六信息划分一个图像而得到的多个分区中的各个分区中,重叠有移动体是否能够移动的信息的合成图像。
另外,例如,也可以是,基于第一信息,辨别存在于第一区域的其他移动体,在第一区域中是否能够移动的推定中,进行以下推定中的至少一方:(a)在其他移动体满足第一条件的情况下,推定为在其他移动体存在的第一区域中能够移动;以及(b)在其他移动体满足第二条件的情况下,推定为在其他移动体存在的第一区域中不能移动。
由此,能够生成推定为在存在于第一区域的其他移动体满足第一条件的情况下,在其他移动体存在的第一区域中能够移动,在存在于第一区域的其他移动体满足第二条件的情况下,在其他移动体存在的第一区域中不能移动的第三信息。能够生成这样的第三信息与第一信息及第二信息建立了对应的第四信息,因此无需进行以往那样的人力成本大的标注赋予的操作。因此,能够适当地生成学习用数据。
另外,本公开的一个方式的程序是用于使计算机执行上述记载的信息生成方法的程序。
由此,能够使用计算机起到与上述记载的信息生成方法同样的效果。
此外,本公开的一个方式所涉及的信息生成装置用于生成推定移动体在预定的区域中是否能够移动的学习模型用的信息,所述信息生成装置具备:取得部,在移动体在第一区域中移动时,取得(1)至少从设置于移动体的传感器取得的第一信息、以及(2)与第一区域相关的第二信息;推定部,基于第一信息,推定移动体在第一区域中是否能够移动;以及生成部,生成将第一信息及第二信息与表示是否能够移动的推定的结果的第三信息建立了对应的学习模型用的第四信息。
由此,能够起到与上述记载的信息生成方法同样的效果。
此外,这些总括性或具体的方式可以通过系统、装置、集成电路、计算机程序或计算机可读取的CD-ROM等存储介质来实现,也可以通过系统、装置、集成电路、计算机程序或存储介质的任意组合来实现。
以下,参照附图对实施方式进行具体说明。
另外,以下说明的实施方式均表示总括性或具体的例子。以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接方式、步骤、步骤的顺序等是一例,并不意图限定本发明。另外,以下的实施方式中的构成要素中,对于表示最上位概念的独立权利要求中未记载的构成要素,作为任意的构成要素进行说明。
(实施方式)
首先,对本实施方式中的学习系统的构成进行说明。
图1是示意性地表示实施方式的学习系统的构成的图。另外,图2是示意性地表示实施方式的车辆的功能构成的图。
如图1所示,本实施方式的学习系统500通过移动体100、经由网络150连接的服务器装置200以及远程操作装置300来实现。
移动体100是汽车、机器人、无人机、自行车、轮椅等能够自主移动的装置,例如基于在载置有货物等的状态下配送该货物等目的而被使用。移动体100具备作为动力的马达等、由马达驱动的车轮等驱动部、以及预先蓄积用于使动力动作的动力源(例如电力)的功能部。此外,在学习系统500中,只要能够生成被赋予了标注的训练数据即可,也可以使用用于该学习的专用的移动体。该学习专用的移动体中可以不包含货物的载置等功能,也可以不包含用于自主移动的功能。
网络150是用于将移动体100、服务器装置200、远程操作装置300之间以能够通信的方式连接的通信网。这里,作为网络150,使用因特网等通信网,但不限于此。另外,移动体100与网络150之间的连接、服务器装置200与网络150之间的连接、以及远程操作装置300与网络150之间的连接可以通过无线通信进行,也可以通过有线通信进行。但是,移动体100在其性质上优选通过无线通信与网络150连接。
为了通过有线通信进行移动体100与网络150之间的连接,只要在移动体100搭载有用于蓄积各种数据的存储设备即可。然后,在补充移动体100的动力源等的定时,形成与网络150之间的有线连接,将蓄积于存储设备的各种数据发送到网络150即可。
如图2所示,移动体100具备控制部101、控制信息接收部102、传感器信息发送部103、感测部104以及识别部105。构成这些移动体100的各功能块例如使用处理器和存储器来实现。各功能块的详细情况后述。
服务器装置200是用于进行信息处理等的装置,例如使用处理器和存储器来实现。服务器装置200可以由边缘计算机实现,也可以由云计算机实现。另外,服务器装置200可以对于一个移动体100设置一个,也可以对于多个移动体100设置一个。
如图2所示,服务器装置200具备远程操作部201、控制信息发送部202、传感器信息接收部203、学习数据生成部204、学习部205以及存储设备206。构成这些服务器装置200的各功能块的详细情况后述。
图3是示意性地表示实施方式的远程操作装置的构成的图。远程操作装置300例如由计算机等实现。如图3所示,远程操作装置300例如具备显示器装置301和作为输入用的用户接口的操舵部302。作为用户接口,除了操舵部302以外,可以使用键盘、触摸面板、鼠标、专用的控制器、脚踏板、VR眼镜与控制器的组合、声音输入用的声音采集器等,也可以是使用它们中的多个的组合。远程操作装置300用于对移动体100进行远程操作。
以下,继续参照图1~图3说明各构成间的数据的收发,并对各个构成的功能进行说明。
感测部104与传感器(未图示)连接,从这些传感器取得感测到移动体100的环境的结果(传感器信息:第一信息)。作为该传感器,例如包含照相机、LiDAR、雷达、声纳、麦克风、GPS、振动传感器、加速度传感器、陀螺仪传感器、温度传感器等。感测部104将取得的传感器信息发送到传感器信息发送部103、识别部105和控制部101。
识别部105取得从感测部104发送的传感器信息,进行移动体100的环境的识别,将该识别结果向传感器信息发送部103以及控制部101发送。由识别部105进行的环境的识别包含生成将移动体100的环境划分为每个类别的多个分区的信息(第六信息)。除此之外,识别部105进行移动体100的移动所需的环境的识别。例如,识别部105进行移动体100的障碍物、其他移动体以及能够移动的区域的识别等。
另外,识别部105还进行通过推定移动体100的移动的难易度来识别该难易度的处理。这里的移动体100的移动的难易度例如基于移动体100在区域内移动所需的制动的次数以及方向转换的次数、对移动体的移动造成不良影响的振动等的大小以及检测次数、以及其他移动体的个数等来推定,该次数(或者大小)越大,表示移动体100的移动的难易度越高。另外,作为移动体100的移动的难易度高的例子,还可以举出移动体100与其他移动体难以交错等道路宽度窄的道路、汽车的路上停车频繁发生的道路、可能成为移动的障碍的大小的物体散乱的道路、以及具有与网络150之间的通信品质低(频繁中断)等电波环境的道路等。
环境的识别的处理的至少一部分可以随着传感器信息从感测部104输入而依次执行,也可以在将传感器信息缓存(蓄积)于数据保存区域(未图示)之后(例如,使用移动体100的配送服务的结束后等)执行。这里,为了识别环境,可以使用通过机器学习事先学习的学习模型,也可以基于预先确定的规则来实施。此外,该学习模型也可以通过在本实施方式中被赋予了生成的标注信息的训练数据来进行学习。
传感器信息发送部103将从感测部104发送的传感器信息、以及从识别部105发送的识别结果向服务器装置200的传感器信息接收部203发送。此外,这里的包含通信的移动体100与服务器装置200之间的信息的收发也可以进行以数据缩小为目的的压缩、以及以机密性的保持为目的的加密等信息的变质。在该情况下,压缩后的信息的解压以及加密后的信息的解密等变质的信息的复原在接收到该变质的信息的功能块中进行即可。另外,也可以仅在移动体100与服务器装置200之间的网络带宽(通信容量)为规定以上时进行各种信息的收发。另外,为了对收发的信息进行整合,也可以附加ID以及时间戳等附加的信息。这样,移动体100与服务器装置200之间的信息的收发的方式可以是任意的方式。
传感器信息接收部203将从传感器信息发送部103发送的传感器信息以及识别结果向远程操作部201以及学习数据生成部204发送。
远程操作部201基于从传感器信息接收部203发送的传感器信息以及识别结果,根据需要决定移动体100的移动方向,进行远程操作以使移动体100向决定的移动方向移动。具体而言,生成用于进行远程操作的与移动体100的移动相关的控制信息(第二信息),并发送至控制信息发送部202。另外,控制信息被发送到学习数据生成部204。
本实施方式中的移动体100的移动方向的决定、即移动体100的远程操作由操作员进行。因此,图3所示的远程操作装置300由操作员使用。
例如,传感器信息所含的移动体的环境的图像等从远程操作部201向远程操作装置300发送并显示于显示器装置301。代替显示器装置301,也可以使用智能手机或VR/AR眼镜等显示装置。
操作员确认显示于显示器装置301的传感器信息(这里为环境的图像),在判断为需要进行远程操作的情况下,能够操作移动体100的移动方向。移动方向的决定是操作员判断并决定移动体100能够移动的区域。之后,操作员经由操舵部302等用户界面进行输入,使得移动体100向所决定的移动方向移动,基于输入从远程操作装置300向远程操作部201发送输入信号。在远程操作部201中,按照输入信号生成控制信息。在远程操作部201中生成的控制信息所含与作为移动体100的驱动部的轮胎的角度等信息、与油门开度及开闭定时相关的信息、以及与制动强度及制动定时相关的信息。
另外,代替操舵部302,也可以使用专用的控制器、智能手机、键盘、鼠标等。
另外,也可以自动或者半自动地进行移动体100的移动方向的决定以及移动体100的远程操作。例如,也可以基于识别结果从移动体100的能够移动的区域中自动地决定移动方向,以使移动体100向所决定的移动方向移动的方式生成控制信息。在该情况下,操作员的介入不是必须的,也可以不具备远程操作装置300。另外,通过将该自动的远程操作的构成内置于移动体100,也能够不在服务器装置200配备远程操作部201而构成学习系统500。
另一方面,也能够手动进行移动体100的移动方向的决定。例如,移动体100的管理者或维护人员等也可以通过用手按压等而直接对移动体100施力,从而使移动体100移动。另外,移动体100的管理者或维护人员等也可以利用无线控制器或红外线控制器等从移动体100的附近进行远程操作而使移动体100移动。进而,移动体100的管理者或者维护人员等也可以一边搭乘移动体100一边操作设置于移动体100的操舵部等装置来使移动体100移动。
另外,图4是表示实施方式的半自动的远程操作的例子的图。如图4所示,也可以根据传感器信息以及识别结果自动地生成并显示移动方向的候选(图中的粗线箭头以及粗线虚线),通过使操作者从这些候选中选择适当的候选来决定移动方向。在该情况下,具有容易简化用户界面的构成的优点。
控制信息发送部202将从远程操作部201发送的控制信息向移动体100内的控制信息接收部102发送。控制信息接收部102将从控制信息发送部202发送的控制信息向控制部101发送。然后,控制部101按照从控制信息接收部102发送的控制信息,使驱动部等驱动而使移动体100移动。
这里,如上所述,通过人或比较高性能的服务器装置200的功能介入而生成的控制信息是能够使移动体100适当地移动的信息。另外,在生成控制信息时,向远程操作部201发送的传感器信息包含为了决定移动体100的移动方向而移动体直接从周边环境得到的信息。即,通过将传感器信息用作训练数据用的输入数据,将控制信息作为标注信息并赋予给该输入数据,能够自动地进行生成被赋予了标注信息的训练数据。即,以下说明的机器学习用的信息的生成至少使用传感器信息以及控制信息来进行。
学习数据生成部204取得从传感器信息接收部203发送的传感器信息以及从远程操作部201输入的控制信息。与该学习数据生成部204的信息的取得相关的功能即是实现取得部的功能的一例。
另外,学习数据生成部204还取得从传感器信息接收部203发送的识别结果。作为标注信息对传感器信息赋予表示与移动体100实际移动的区域对应的传感器信息上的区域信息(移动体100能够移动的区域)以及周边环境的移动的难易度等的信息,由此生成机器学习用的训练数据(第四信息)。该学习数据生成部204的与训练数据的生成相关的功能即是实现生成部的功能的一个例子。
学习数据生成部204还根据在移动体100基于控制信息进行了移动时在感测部104中取得的传感器信息,推定基于该控制信息的移动是否适当,即,推定实际上是否能够在该区域中移动,生成推定结果(第三信息)。与该学习数据生成部204的推定结果的生成相关的功能即是实现推定部的功能的一例。学习数据生成部204是具有取得部、生成部以及推定部的功能的信息生成装置的一例。
例如,基于移动体100在按照控制信息移动中所需的制动的次数以及方向转换的次数、对移动体的移动造成不良影响的振动等的大小以及检测次数、以及其他移动体的个数等推定出的移动体100的移动的难易度被推定。例如,在相对于制动器的次数为1次、2次、3次、5次或10次等根据移动体100的移动距离等设定的阈值,实际使用的制动器的次数更大的情况下,生成表示不能进行该区域的移动的推定结果,在更小的情况下,生成表示能够进行该区域的移动的推定结果。
同样地,例如,在方向转换的次数、对移动体的移动造成不良影响的振动等的大小以及检测次数、以及其他移动体的个数等相对于它们各自的基于移动体的移动距离而设定的阈值,其差在规定的范围内的情况下,生成表示能够进行该区域的移动的推定结果,在差超过规定的范围的情况下,生成表示不能进行该区域的移动的推定结果。
这样,生成的推定结果用于验证移动体100实际是否能够在该区域移动。例如,在根据控制信息不能移动移动体100的情况下,该控制信息被赋予表示无法移动的信息作为标注信息。在想要仅将能够移动的标注信息用于机器学习的情况下,应该排除赋予了与上述控制信息相关的标注信息的训练数据。另外,在学习模型是用于区别(聚类)属于能够移动的区域和不能移动的区域中的哪一个的模型的情况下,使用表示能够移动的标注信息以及表示无法移动的标注信息双方即可。这样,为了决定注解信息的种类,利用上述生成的推定结果。
另外,也可以利用与之前说明的移动的难易度有关的信息(第五信息)。具体而言,即使是满足阈值的基准而能够移动的传感器信息、控制信息以及推定结果的组合,若移动体100的移动比较困难,则有可能是因其他因素而转变为不能移动。即,移动的难易度高的传感器信息、控制信息以及推定结果的组合缺乏可靠性。因此,对于这样的组合的传感器信息、控制信息以及推定结果,也可以不用作机器学习用。或者,对于这样的组合的传感器信息、控制信息以及推定结果,作为低可靠性,也可以与对于其他组合的传感器信息、控制信息以及推定结果的可靠性建立差异而用于机器学习。进而,也可以将移动的难易度用于能够移动的区域的聚类。例如,也可以将能够移动的区域且移动的难易度高的区域分类为“需要注意移动的区域”,将能够移动的区域且移动的难易度低的区域分类为“能够容易地移动的区域”而分别用于机器学习。
另一方面,对于成为这样的移动的难易度高的传感器信息、控制信息以及推定结果的组合的区域,如果能够进行准确的可否移动的判断,则能够扩大移动体100的能够移动的区域。即,在能够移动的区域少、或者能够代替的移动区域少等扩大能够移动的区域的优点被重视的状况下,也可以将移动的难易度高的传感器信息、控制信息以及推定结果的组合优先用于机器学习。对于这样的移动的难易度高的传感器信息、控制信息以及推定结果的组合的区域,为了进行准确的可否移动的判断,需要生成学习所需的足够量的训练数据,本实施方式的信息生成方法的效果会变得显著。
此外,优先用于机器学习是指,在使用了难易度高的传感器信息、控制信息以及推定结果的组合的训练数据的机器学习全部完成之后,进行对于其他组合的训练数据的机器学习。此时,也可以省略对于其他组合的训练数据的机器学习。其他组合的训练数据是移动的难易度比较低的区域的训练数据。即,在这样的区域中,存在即使不依赖于机器学习通过基于传感器信息的规则库的自主移动也能够充分地移动的情况,因此根据条件,可以允许对于其他组合的训练数据的机器学习的省略。
作为优先用于机器学习的方法,除此之外,也可以在使用难易度低的组合的训练数据进行了学习之后,使用难易度高的组合的训练数据进行学习。根据机器学习的条件,存在与在上述的时间序列中优先用于机器学习的情况相比,之后学习的数据的影响较大的情况,在这样的情况下是有效的。
另外,也可以在使用全部的训练数据进行了学习之后,利用难易度高的训练数据进一步进行学习。另外,也可以以难易度高的训练数据更影响学习结果的方式施加偏置。例如,也可以以难易度高的训练数据的数量与难易度低的训练数据的数量的比例中难易度高的训练数据更多的方式,对难易度低的训练数据进行间隔剔除等。
综上所述,在本实施方式中,在移动体100的可否移动的推定结果和移动体100的移动的难易度均满足规定的条件的情况下,进行传感器信息和控制信息的组合被赋予了机器学习用的标注信息的训练数据的生成。学习数据生成部204将这样生成的训练数据发送到存储设备206并保存。
图5是表示实施方式的训练数据的一例的第一图。另外,图6是表示实施方式的训练数据的一例的第二图。如图5所示,如上述那样生成的训练数据对于移动体100能够移动的区域赋予标注信息作为能够移动的区域(图中的粗点填充)。这样,也可以是,在本实施方式中输出的训练数据包含合成图像,该合成图像为将传感器信息所含的移动体100移动的区域的图像划分为多个分区,并对于多个分区中的各个分区,将基于推定结果的表示移动体100是否能够移动的信息重叠于上述的图像而得到的合成图像。因此,例如,也可以取得将移动体100移动的区域按每个类别划分为多个分区的信息(第六信息)。作为该信息,例如通过利用识别结果等而另外生成即可。
在决定移动体100能够移动的区域时,可以利用将多次经过相同区域时的历史记录重合而沿着移动方向具有规定的宽度的区域,也可以利用如图6所示那样将移动体100的本车宽度与一次经过的移动区域组合而得到的区域。移动体100移动的区域与图像上的像素的对应建立也可以根据控制信息以及传感器信息与用于整合信息的ID以及时间戳等附加的信息的组合来决定。
另外,也可以将在周边环境内移动的移动体100以外的移动体(其他移动体)移动的区域用于标注信息赋予。具体而言,也可以将与移动体100相比足够大且足够高速的移动体辨别为危险的移动体,将这样的危险的移动体移动的区域设为不能移动的区域。作为这样的危险的移动体,对于货物搬运用的移动体100,可列举出汽车等。另外,也可以通过模式匹配等技术直接辨别汽车等。
另外,也可以将与移动体100同等的大小且移动速度没有那么快的移动体辨别为能够追踪的移动体,将这样的能够追踪的移动体移动的区域设为能够移动的区域。作为这样的能够追踪的移动体,对于货物搬运用的移动体100,可列举自行车以及轮椅等。另外,也可以通过模式匹配等技术直接辨别自行车和轮椅等。
另外,也可以不仅对传感器信息的某一部分(1帧的图像内的某个区域、即一部分像素等),而对传感器信息的整体(1帧的图像整体等)赋予标注信息。由此,例如,如果输入作为传感器信息的1张图像,则能够构建得到能够或不能移动、或者移动容易或困难这样的判定结果作为输出的学习模型。
学习部205利用保存于存储设备206的赋予了标注信息的训练数据,通过机器学习使学习模型进行学习。在该学习完成之后,学习部205将学习完毕的学习模型输出到识别部。
接着,参照图7对以上说明的学习系统500进行说明。图7是表示实施方式的学习系统的处理的流程图。
如图7所示,首先,学习数据生成部204取得传感器信息以及控制信息(取得步骤S101)。传感器信息以及控制信息经由传感器信息取得部203从移动体取得。
接着,学习数据生成部204取得按照控制信息移动时的移动体100的传感器信息以及识别结果,基于该传感器信息以及识别结果,推定移动体100按照控制信息移动时的区域是否为能够移动(推定步骤S102)。
接着,学习数据生成部204基于传感器信息以及控制信息和推定步骤S102中的推定结果,生成被赋予了标注信息的训练数据(生成步骤S103)。
这样生成的训练数据被赋予了适当的标注信息,因此能够直接作为机器学习用的训练数据来利用。另外,该训练数据的生成自动地进行,因此能够抑制人力成本,使用多个移动体100等,能够一举大量地生成。
以上,基于实施方式对一个或多个方式的信息生成方法等进行了说明,但本公开并不限定于该实施方式。只要不脱离本公开的主旨,将本领域技术人员想到的各种变形实施于本实施方式的方式、将不同的实施方式的构成要素组合而构建的方式也可以包含于一个或多个方式的范围内。
例如,通过在移动体中具备上述实施方式中的服务器装置的全部功能,独立并高效地生成用于推定移动体在规定的区域中是否能够移动的学习模型用的信息。
另外,在上述实施方式中,各构成要素也可以由专用的硬件构成,或者通过执行适于各构成要素的软件程序来实现。各构成要素也可以通过CPU或处理器等程序执行部读出并执行存储于硬盘或半导体存储器等存储介质的软件程序来实现。这里,实现上述实施方式的信息生成装置等的软件是如下的程序。
即,该程序是使计算机执行信息生成方法的程序。
工业上的可用性
本公开能够用于使自走式的移动体的移动区域的决定等所利用的学习模型进行学习等。
附图标记说明
100移动体
101控制部
102控制信息接收部
103传感器信息发送部
104感测部
105识别部
150网络
200服务器装置
201远程操作部
202控制信息发送部
203传感器信息接收部
204学习数据生成部
205学习部
206存储设备
300远程操作装置
301显示器装置
302操舵部
500学习系统

Claims (10)

1.一种信息生成方法,是用于生成推定移动体在规定的区域中是否能够移动的机器学习用的信息的信息生成装置的信息生成方法,
在移动体在第一区域中移动时,取得(1)至少从设置于所述移动体的传感器取得的第一信息、以及(2)与所述移动体的移动相关的第二信息,
推定按照所述第二信息而所述移动体在所述第一区域中是否能够移动,
生成将所述第一信息及所述第二信息与表示是否能够移动的推定的结果的第三信息建立对应的所述学习模型用的第四信息。
2.根据权利要求1所述的信息生成方法,
所述移动体在所述第一区域中是否能够移动的推定基于在所述移动体按照所述第二信息移动的情况下得到的所述第一信息所含的在所述第一区域中移动中的移动数据与阈值之差是否在规定的范围内。
3.根据权利要求2所述的信息生成方法,
所述第二信息由对所述移动体进行远程操作的操作员输入。
4.根据权利要求1至3中任一项所述的信息生成方法,进而,
推定所述移动体的移动的难易度,
在所述第四信息的生成中,生成将所述第一信息以及所述第二信息、表示难易度的推定的结果的第五信息、以及所述第三信息建立了对应的所述第四信息。
5.根据权利要求4所述的信息生成方法,
所述第四信息的生成仅在所述第三信息以及所述第五信息满足规定的条件的情况下执行。
6.根据权利要求1至5中任一项所述的信息生成方法,
所述第四信息包含基于所述第一信息推定出的可靠度。
7.根据权利要求1至6中任一项所述的信息生成方法,进而,
取得将所述第一区域按每个类别划分为多个分区的第六信息,
所述第四信息包含合成图像,所述合成图像为对于通过所述第六信息对所述第一信息所含的所述第一区域的图像进行划分时的多个分区中的各个分区,将基于所述第三信息的表示所述移动体是否能够移动的信息重叠于所述第一区域的图像而得到的合成图像。
8.根据权利要求1至7中任一项所述的信息生成方法,
基于所述第一信息,辨别所述第一区域中存在的其他移动体,
在所述第一区域中是否能够移动的推定中,进行以下推定中的至少一方:
(a)在所述其他移动体满足第一条件的情况下,推定为在所述其他移动体存在的所述第一区域中能够移动;以及
(b)在所述其他移动体满足第二条件的情况下,推定为在所述其他移动体存在的所述第一区域中不能移动。
9.一种程序,用于使计算机执行权利要求1至8中任一项所述的信息生成方法。
10.一种信息生成装置,用于生成推定移动体在规定的区域中是否能够移动的学习模型用的信息,具备:
取得部,在移动体在第一区域中移动时,取得(1)至少从设置于所述移动体的传感器取得的第一信息、以及(2)与所述第一区域相关的第二信息;
推定部,基于所述第一信息,推定所述移动体在所述第一区域中是否能够移动;以及
生成部,生成将所述第一信息及所述第二信息与表示是否能够移动的推定的结果的第三信息建立对应的所述学习模型用的第四信息。
CN202280040217.8A 2021-06-15 2022-02-09 信息生成方法、信息生成装置以及程序 Pending CN117529693A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021-099525 2021-06-15
JP2021099525 2021-06-15
PCT/JP2022/005115 WO2022264493A1 (ja) 2021-06-15 2022-02-09 情報生成方法、情報生成装置及びプログラム

Publications (1)

Publication Number Publication Date
CN117529693A true CN117529693A (zh) 2024-02-06

Family

ID=84526979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280040217.8A Pending CN117529693A (zh) 2021-06-15 2022-02-09 信息生成方法、信息生成装置以及程序

Country Status (5)

Country Link
US (1) US20240103541A1 (zh)
EP (1) EP4357872A4 (zh)
JP (1) JPWO2022264493A1 (zh)
CN (1) CN117529693A (zh)
WO (1) WO2022264493A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3363846B2 (ja) * 1999-08-27 2003-01-08 富士通株式会社 実世界情報データベース構築方法及び装置と自律移動走行体学習方法
JP4464912B2 (ja) * 2004-12-03 2010-05-19 パナソニック株式会社 ロボット制御装置及び自律移動ロボット
JP6900918B2 (ja) 2017-03-14 2021-07-07 オムロン株式会社 学習装置及び学習方法
US10997461B2 (en) * 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
WO2021171500A1 (ja) * 2020-02-27 2021-09-02 三菱電機株式会社 ロボット制御装置、ロボット制御方法及び学習モデル生成装置

Also Published As

Publication number Publication date
US20240103541A1 (en) 2024-03-28
EP4357872A4 (en) 2024-08-14
JPWO2022264493A1 (zh) 2022-12-22
EP4357872A1 (en) 2024-04-24
WO2022264493A1 (ja) 2022-12-22

Similar Documents

Publication Publication Date Title
US20200209874A1 (en) Combined virtual and real environment for autonomous vehicle planning and control testing
KR102106875B1 (ko) 차량학습에 기반한 자율주행 중 사고 회피 시스템 및 방법
US9304515B2 (en) Regional operation modes for autonomous vehicles
CN110796692A (zh) 用于同时定位与建图的端到端深度生成模型
US11904853B2 (en) Apparatus for preventing vehicle collision and method thereof
CN111613091A (zh) 利用外部驾驶员数据增强移动设备操作
US10951830B2 (en) In-vehicle device and vehicle search system
US20230343108A1 (en) Systems and methods for detecting projection attacks on object identification systems
KR20170053903A (ko) 차량 간 메시지 전송 장치 및 방법
WO2021261058A1 (ja) 情報処理方法、情報処理端末、及び、情報処理システム
US20190272164A1 (en) Software management system and software management method
CN113734203A (zh) 一种智能驾驶的控制方法、装置、系统及存储介质
US20220383736A1 (en) Method for estimating coverage of the area of traffic scenarios
US20200363214A1 (en) Method for using a feature-based localization map for a vehicle
JP2019174992A (ja) 情報処理装置及びプログラム
US11919544B2 (en) Method and device for operating an automated vehicle
CN112712608B (zh) 用于通过车辆收集性能数据的系统和方法
CN117529693A (zh) 信息生成方法、信息生成装置以及程序
US11851074B2 (en) System and method of large-scale autonomous driving validation
US12071164B2 (en) Control apparatus, system, vehicle, and control method
EP4177732A1 (en) Information processing device, information processing method, information processing system, and program
EP4281946A1 (en) Electronic device, method and computer program
CN109144070A (zh) 移动设备辅助自动驾驶方法、汽车和存储介质
CN117500059A (zh) 通信控制方法以及通信系统
CN117315811A (zh) 驾驶诊断装置、驾驶诊断系统、驾驶诊断方法和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination