CN113829349B - 机器人派送方法、装置、电子设备及存储介质 - Google Patents
机器人派送方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113829349B CN113829349B CN202111176784.XA CN202111176784A CN113829349B CN 113829349 B CN113829349 B CN 113829349B CN 202111176784 A CN202111176784 A CN 202111176784A CN 113829349 B CN113829349 B CN 113829349B
- Authority
- CN
- China
- Prior art keywords
- target
- sound information
- robot
- cabin
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000008569 process Effects 0.000 abstract description 16
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000036760 body temperature Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000009529 body temperature measurement Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Manipulator (AREA)
Abstract
本申请实施例公开了一种机器人派送方法及相关设备，涉及机器人技术领域。该方法包括：声音采集装置采集目标声音信息；根据目标声音信息判断机器人的舱内物品是否被取出；若判断舱内物品被取出，则关闭舱门并执行后续任务。上述方案通过根据目标声音信息判断机器人的舱内物品是否被取出的步骤，及时得到用户完成取物的信息；通过若判断舱内物品被取出，则关闭舱门并执行后续任务的步骤，节省派送时间，提高派送效率。本发明用于机器人派送，主要为解决机器人派送过程中，派送时间被浪费的问题。
Description
技术领域
本发明涉及机器人技术领域，尤其涉及一种机器人派送方法、装置、电子设备及存储介质。
背景技术
随着计算机与自动化技术的不断发展，机器人的应用已经进入了人们的日常生活。例如，在酒店或办公楼等场景下，机器人已经可以实现商品或餐品等物品的全自动化派送，极大地节省了人力成本并提升用户的取物体验。
目前，机器人在将物品派送到用户收取地址后，用户可以在机器人打开舱门后取出舱柜中的物品，机器人在用户点击机器人上的确认取物按钮后，才会关闭舱门执行后续任务，然而，经常会出现用户没有点击确认取物按钮就离开的情况，这样会导致机器人的舱门在用户取物后一直处于开启状态，机器人通常会在很长一段时间之后再关闭舱门执行后续任务，存在机器人派送过程中，派送时间被浪费的问题。
发明内容
鉴于上述问题，本发明提供了一种机器人派送方法及相关设备，主要目的在于解决机器人派送过程中，派送时间被浪费的问题。
为解决上述技术问题，第一方面，本发明提供了一种机器人派送方法，该方法包括：
通过声音采集装置采集目标声音信息；
根据上述目标声音信息判断机器人的舱内物品是否被取出；
若判断上述舱内物品被取出，则关闭舱门并执行后续任务。
上述声音采集装置为定向收音装置。
在一种可能的实施方式中，该方法还包括：
通过红外采集装置采集目标红外信息；
上述根据上述目标声音信息判断机器人的舱内物品是否被取出的步骤，包括：
根据上述目标声音信息和上述目标红外信息，判断上述舱内物品是否被取出。
在一种可能的实施方式中，上述目标红外信息包括目标红外图像和/或目标红外温度。
在一种可能的实施方式中，上述根据上述目标声音信息和上述目标红外信息，判断上述舱内物品是否被取出的步骤，包括：
通过第一预设模型确定上述目标声音信息是否为房门关闭声音信息或用户离开声音信息；
若确定上述目标声音信息为房门关闭声音信息或用户离开声音信息，则通过第二预设模型确定上述目标红外图像是否为用户远离图像；
若确定上述目标红外图像为用户远离图像，则判断上述舱内物品被取出。
在一种可能的实施方式中，上述根据上述目标声音信息和上述目标红外信息，判断上述舱内物品是否被取出的步骤，包括：
通过第一预设模型确定上述目标声音信息是否为房门关闭声音信息或用户离开声音信息；
若确定上述目标声音信息为房门关闭声音信息或用户离开声音信息，则确定上述目标红外温度是否超出预设温度范围；
若确定上述目标红外温度超出预设温度范围，则判断上述舱内物品被取出。
在一种可能的实施方式中，该方法还包括：
查询用户是否授权上述机器人进行图像采集；
若上述用户授权上述机器人进行图像采集，则通过图像采集装置采集目标图像信息；
上述根据上述目标声音信息判断机器人的舱内物品是否被取出的步骤，包括：
根据上述目标声音信息和上述目标图像信息，判断上述舱内物品是否被取出。
为解决上述技术问题，根据本发明的第二方面，提供了一种机器人派送装置，该装置包括：
采集单元，用于通过声音采集装置采集目标声音信息；
判断单元，用于根据目标声音信息判断机器人的舱内物品是否被取出；
执行单元，用于若判断舱内物品被取出，则关闭舱门并执行后续任务。
为解决上述技术问题，根据本发明的第三方面，提供了一种电子设备，该电子设备包括至少一个处理器、以及与处理器连接的至少一个存储器，其中，处理器用于调用存储器中的程序指令，执行上述第一方面中任一项的机器人派送方法。
为解决上述技术问题，根据本发明的第四方面，提供了一种存储介质，该存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述第一方面中任一项的机器人派送方法。
借由上述技术方案，本申请提供了一种机器人派送方法、装置、电子设备及存储介质，主要目的在于解决机器人派送过程中，派送时间被浪费的问题。本申请通过声音采集装置采集目标声音信息；根据目标声音信息判断机器人的舱内物品是否被取出；若判断舱内物品被取出，则关闭舱门并执行后续任务，实现机器人派送。上述方案通过根据目标声音信息判断机器人的舱内物品是否被取出的步骤，及时得到用户完成取物的信息；通过若判断舱内物品被取出，则关闭舱门并执行后续任务的步骤，节省派送时间，提高派送效率。上述方案能够实现节省派送时间，提高派送效率的技术效果，进而解决了机器人派送过程中，派送时间被浪费的问题。
附图说明
通过阅读下文示例性实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了；附图仅用于示出示例性实施方式的目的，而并不认为是对本申请的限制；而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本申请实施例提供的一种机器人派送方法的示意性流程图；
图2为本申请实施例提供的一种机器人派送装置的示意性结构框图；
图3为本申请实施例提供的一种电子设备的示意性结构框图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
为了解决机器人派送过程中，派送时间被浪费的问题，本申请实施例提供了一种机器人派送方法，如图1所示，该方法可以包括：
步骤101、通过声音采集装置采集目标声音信息。
具体的，机器人上设置的声音采集装置会采集机器人周围的声音信息，目标声音信息为机器人在舱门打开时采集的声音信息。
步骤102、根据目标声音信息判断机器人的舱内物品是否被取出。
具体的，机器人会提取采集到的目标声音信息中的声音特征，声音特征可以为MFCC(Mel-Frequency Cepstral Coefficients，梅尔频率倒谱系数)、LPC(LinearPredictive Coefficient，线性预测系数)或倒谱系数等，本申请对此不做限制；而本实施例以MFCC作为声音特征为例做以说明：将获取的声音信号分解为多个讯框(分帧、加窗)，并通过一个高通滤波器将其预强化/预加重，进行傅立叶变换，将信号变换至频域，将每个讯框获得的频谱通过梅尔滤波器(三角重叠窗口)，得到梅尔刻度，在每个梅尔刻度上提取对数能量，对获得的结果进行离散余弦变换，变换到倒频谱域，最终得到的MFCC，就是这个倒频谱图的幅度(amplitudes)，一般使用12个系数，与讯框能量叠加得13维的系数；也即，将声音信号转换为多维向量；将声音特征输入第一预设模型进行判断，判断该声音信息对应的声音是否为特定声音，特定声音为房门关闭声音或用户离开声音，若是，则判断用户已完成取物，舱内物品被取出；第一预设模型为用于进行识别特定声音而训练得到或通过理论建立的深度学习或机器学习模型。
需要说明的是，通过步骤102一方面可以在用户没有及时确认完成取物时，通过声音进行判断，及时得到用户完成取物的信息；另一方面，可以避免用户隐私信息的泄露，例如，在酒店场景下，用户可能认为机器人送物无须注意隐私保护，而穿着暴露地进行取物操作，机器人则不会获得这类隐私信息。
步骤103、若判断舱内物品被取出，则关闭舱门并执行后续任务。
具体的，在步骤102判断舱内物品被取出的情况，会立即关闭舱门并执行后续任务；后续任务可以是派送任务、返回取物点任务或返回充电点任务等。
需要说明的是，通过步骤103可以在用户没有及时确认完成取物时，及时判断用户是否已经完成取物并执行后续任务，节省派送时间，提高派送效率。
借由上述技术方案，本申请实施例提供了一种机器人派送方法，主要目的在于解决机器人派送过程中，派送时间被浪费的问题。本申请实施例通过声音采集装置采集目标声音信息；根据目标声音信息判断机器人的舱内物品是否被取出；若判断舱内物品被取出，则关闭舱门并执行后续任务，实现机器人派送。上述方案通过根据目标声音信息判断机器人的舱内物品是否被取出的步骤，及时得到用户完成取物的信息；通过若判断舱内物品被取出，则关闭舱门并执行后续任务的步骤，节省派送时间，提高派送效率。上述方案能够实现节省派送时间，提高派送效率的技术效果，进而解决了机器人派送过程中，派送时间被浪费的问题。
在一种可能的实施方式中，声音采集装置为定向收音装置。
具体的，定向收音装置可以是单一指向性的麦克风，指向性用于描述麦克风对于来自不同角度声音的灵敏度，单一指向性具体可以为心型指向(Cardioid)或超心型指向(Hypercardioid)，单一指向性的麦克风对于来自麦克风前方的声音有最佳的收音效果；定向收音装置在机器人上的设置方向与舱柜开启的方向相同。
需要说明的是，通过上述可能的实施方式可以更准确地获取用户发出的声音(脚步声或关门声等)，降低了第一预设模型的训练或建立的难度，使舱内物品是否被取出的判断更加准确。
在一种可能的实施方式中，该方法还可以包括：通过红外采集装置采集目标红外信息；步骤102可以包括：根据目标声音信息和目标红外信息，判断舱内物品是否被取出。
具体的，目标红外信息为机器人在舱门打开时采集的红外信息；红外信息也即红外线信息，红外线(Infrared，IR)是波长介乎微波与可见光之间的电磁波；可以通过目标声音信息和目标红外信息，综合判断用户是否已经离开，舱内物品是否被取出。
需要说明的是，通过上述可能的实施方式可以更准确地判断舱内物品是否被取出，避免误判情况发生影响用户体验。
在一种可能的实施方式中，目标红外信息包括目标红外图像和/或目标红外温度。
具体的，目标红外图像可以通过设置在机器人上的红外测温仪等设备得到，红外测温仪的测温原理是将物体发射的红外线具有的辐射能转变成电信号，红外线辐射能的大小与物体本身的温度相对应，根据转变成电信号大小，可以确定物体的温度；目标红外温度可以通过设置在机器人上的热成像仪等设备得到，热成像仪是一种对物体散发出的红外线进行感光成像的设备。
在一种可能的实施方式中，前述根据目标声音信息和目标红外信息，判断舱内物品是否被取出的步骤，可以包括：通过第一预设模型确定目标声音信息是否为房门关闭声音信息或用户离开声音信息；若确定目标声音信息为房门关闭声音信息或用户离开声音信息，则通过第二预设模型确定目标红外图像是否为用户远离图像；若确定目标红外图像为用户远离图像，则判断舱内物品被取出。
具体的，将目标声音中提取得到的声音特征输入第一预设模型进行判断，判断该声音信息对应的声音是否为特定声音，特定声音为房门关闭声音或用户离开声音，若是，则将目标红外图像输入第二预设模型进行判断，判断该目标红外图像是否为用户远离图像，若是，则判断用户已完成取物，舱内物品被取出；第二预设模型为用于进行识别用户远离图像而训练得到或通过理论建立的深度学习或机器学习模型。
需要说明的是，通过上述可能的实施方式可以更准确地判断舱内物品是否被取出，避免误判情况发生影响用户体验。
在一种可能的实施方式中，前述根据目标声音信息和目标红外信息，判断舱内物品是否被取出的步骤，可以包括：通过第一预设模型确定目标声音信息是否为房门关闭声音信息或用户离开声音信息；若确定目标声音信息为房门关闭声音信息或用户离开声音信息，则确定目标红外温度是否超出预设温度范围；若确定目标红外温度超出预设温度范围，则判断舱内物品被取出。
具体的，通过红外测温仪得到的目标红外温度为机器人前方一定范围内的温度，当用户在机器人前方进行取物操作时，红外测温仪会测得用户的体温值，该体温值会在预设温度范围内，预设温度范围可以是35摄氏度～40摄氏度；将目标声音中提取得到的声音特征输入第一预设模型进行判断，判断该声音信息对应的声音是否为特定声音，特定声音为房门关闭声音或用户离开声音，若是，则判断目标红外温度是否超出预设温度范围，若未超出预设温度范围，则判断舱内物品被取出。
需要说明的是，通过上述可能的实施方式可以更准确地判断舱内物品是否被取出，避免误判情况发生影响用户体验。
在一种可能的实施方式中，该方法还包括：查询用户是否授权机器人进行图像采集；若用户授权机器人进行图像采集，则通过图像采集装置采集目标图像信息；步骤102可以包括：根据目标声音信息和目标图像信息，判断舱内物品是否被取出。
具体的，用户会在物品下单的过程中会尝试获取用户允许机器人进行图像采集的权限，若用户允许机器人进行图像采集，则通过机器人上设置的图像采集装置采集目标图像信息；目标图像信息为机器人在舱门打开时采集的图像信息；将目标声音中提取得到的声音特征输入第一预设模型进行判断，判断该声音信息对应的声音是否为特定声音，特定声音为房门关闭声音或用户离开声音，若是，则将目标图像信息输入第三预设模型进行判断，判断该目标图像信息是否为用户背对机器人图像，若是，则判断用户已完成取物，舱内物品被取出；第三预设模型为用于进行识别用户背对机器人图像而训练得到或通过理论建立的深度学习或机器学习模型。
需要说明的是，通过上述可能的实施方式可以更准确地判断舱内物品是否被取出，避免误判情况发生影响用户体验。
进一步的，作为对前述方法实施例的实现，本申请实施例提供了一种机器人派送装置，用于对前述方法实施例进行实现。该装置实施例与前述方法实施例对应，为便于阅读，本机器人派送装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本申请实施例中的装置能够对应实现前述方法实施例中的全部内容。如图2所示，该机器人派送装置20包括：采集单元201、判断单元202和执行单元203，其中，
采集单元201，用于通过声音采集装置采集目标声音信息；
判断单元202，用于根据上述目标声音信息判断机器人的舱内物品是否被取出；
执行单元203，用于若判断上述舱内物品被取出，则关闭舱门并执行后续任务。
借由上述技术方案，本申请实施例还提供了一种机器人派送装置，主要目的在于解决机器人派送过程中，派送时间被浪费的问题。本申请实施例通过声音采集装置采集目标声音信息；根据目标声音信息判断机器人的舱内物品是否被取出；若判断舱内物品被取出，则关闭舱门并执行后续任务，实现机器人派送。上述方案通过根据目标声音信息判断机器人的舱内物品是否被取出的步骤，及时得到用户完成取物的信息；通过若判断舱内物品被取出，则关闭舱门并执行后续任务的步骤，节省派送时间，提高派送效率。上述方案能够实现节省派送时间，提高派送效率的技术效果，进而解决了机器人派送过程中，派送时间被浪费的问题。
在一种可能的实施方式中，上述声音采集装置为定向收音装置。
在一种可能的实施方式中，采集单元201，还用于：
通过红外采集装置采集目标红外信息；
判断单元202，还用于根据上述目标声音信息和上述目标红外信息，判断上述舱内物品是否被取出。
在一种可能的实施方式中，上述目标红外信息包括目标红外图像和/或目标红外温度。
在一种可能的实施方式中，判断单元202，还用于：
通过第一预设模型确定上述目标声音信息是否为房门关闭声音信息或用户离开声音信息；
若确定上述目标声音信息为房门关闭声音信息或用户离开声音信息，则通过第二预设模型确定上述目标红外图像是否为用户远离图像；
若确定上述目标红外图像为用户远离图像，则判断上述舱内物品被取出。
在一种可能的实施方式中，判断单元202，还用于：
通过第一预设模型确定上述目标声音信息是否为房门关闭声音信息或用户离开声音信息；
若确定上述目标声音信息为房门关闭声音信息或用户离开声音信息，则确定上述目标红外温度是否超出预设温度范围；
若确定上述目标红外温度超出预设温度范围，则判断上述舱内物品被取出。
在一种可能的实施方式中，该装置还包括：
查询单元，用于查询用户是否授权上述机器人进行图像采集；
采集单元201，还用于若上述用户授权上述机器人进行图像采集，则通过图像采集装置采集目标图像信息；
判断单元202，还用于：
根据上述目标声音信息和上述目标图像信息，判断上述舱内物品是否被取出。
本申请实施例提供了一种电子设备30，如图3所示，该电子设备包括至少一个处理器301、以及与处理器连接的至少一个存储器302，其中，处理器301用于调用存储器302中的程序指令，以执行实现上述机器人派送方法。
本申请实施例还提供了一种存储介质，其上存储有程序，该程序运行时控制该存储介质所在设备执行时实现以下机器人派送方法：
通过声音采集装置采集目标声音信息；
根据上述目标声音信息判断机器人的舱内物品是否被取出；
若判断上述舱内物品被取出，则关闭舱门并执行后续任务。
上述声音采集装置为定向收音装置。
在一种可能的实施方式中，该方法还包括：
通过红外采集装置采集目标红外信息；
上述根据上述目标声音信息判断机器人的舱内物品是否被取出的步骤，包括：
根据上述目标声音信息和上述目标红外信息，判断上述舱内物品是否被取出。
在一种可能的实施方式中，上述目标红外信息包括目标红外图像和/或目标红外温度。
在一种可能的实施方式中，上述根据上述目标声音信息和上述目标红外信息，判断上述舱内物品是否被取出的步骤，包括：
通过第一预设模型确定上述目标声音信息是否为房门关闭声音信息或用户离开声音信息；
若确定上述目标声音信息为房门关闭声音信息或用户离开声音信息，则通过第二预设模型确定上述目标红外图像是否为用户远离图像；
若确定上述目标红外图像为用户远离图像，则判断上述舱内物品被取出。
在一种可能的实施方式中，上述根据上述目标声音信息和上述目标红外信息，判断上述舱内物品是否被取出的步骤，包括：
通过第一预设模型确定上述目标声音信息是否为房门关闭声音信息或用户离开声音信息；
若确定上述目标声音信息为房门关闭声音信息或用户离开声音信息，则确定上述目标红外温度是否超出预设温度范围；
若确定上述目标红外温度超出预设温度范围，则判断上述舱内物品被取出。
在一种可能的实施方式中，该方法还包括：
查询用户是否授权上述机器人进行图像采集；
若上述用户授权上述机器人进行图像采集，则通过图像采集装置采集目标图像信息；
上述根据上述目标声音信息判断机器人的舱内物品是否被取出的步骤，包括：
根据上述目标声音信息和上述目标图像信息，判断上述舱内物品是否被取出。
借由上述技术方案，本申请实施例提供了一种机器人派送方法及相关装置，主要目的在于解决机器人派送过程中，派送时间被浪费的问题。本申请实施例通过声音采集装置采集目标声音信息；根据目标声音信息判断机器人的舱内物品是否被取出；若判断舱内物品被取出，则关闭舱门并执行后续任务，实现机器人派送。上述方案通过根据目标声音信息判断机器人的舱内物品是否被取出的步骤，及时得到用户完成取物的信息；通过若判断舱内物品被取出，则关闭舱门并执行后续任务的步骤，节省派送时间，提高派送效率。上述方案能够实现节省派送时间，提高派送效率的技术效果，进而解决了机器人派送过程中，派送时间被浪费的问题。
本申请是参照根据本申请实施例的方法、装置和电子设备的流程图和/或方框图来描述的；应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合；可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程流程管理设备的处理器以产生一个机器，使得通过计算机或其他可编程流程管理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
在一个典型的配置中，电子设备可以包括一个或多个处理器(CPU)、存储器和总线；电子设备还可以包括输入/输出接口、网络接口等。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片；存储器是存储介质的示例。
存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储；信息可以是计算机可读指令、数据结构、程序的模块或其他数据；计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息；按照本文中的界定，存储介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
本申请的说明书和权利要求书及附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序；应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可能可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素；在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、装置或电子装置；因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式；而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
可以由一种或多种程序设计语言或其组合来编写用于执行本申请实施例操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言——诸如Common Lisp、Python、C++、Objective-C、Smalltalk、Delphi、Java、Swift、C#、Perl、Ruby、JavaScript和PHP等，还包括常规的过程式程序设计语言——诸如Fortran、ALGOL、COBOL、PL/I、BASIC、Pascal和C等，还包括其他任意一种编程语言——诸如Lisp、Tcl、Prolog、VisualBasic.NET、SQL和R等；程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行；在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的权利要求范围之内。
Claims (8)
1.一种机器人派送方法，其特征在于，包括：
通过声音采集装置采集目标声音信息，所述目标声音信息是所述机器人在舱门打开时采集的、所述机器人周围的声音信息；
通过红外采集装置采集目标红外信息，其中，所述目标红外信息包括目标红外图像；
根据所述目标声音信息和所述目标红外信息，判断机器人的舱内物品是否被取出，包括：通过第一预设模型确定所述目标声音信息是否为房门关闭声音信息或用户离开声音信息；
若确定所述目标声音信息为房门关闭声音信息或用户离开声音信息，则通过第二预设模型确定所述目标红外图像是否为用户远离图像；
若确定所述目标红外图像为用户远离图像，则判断所述舱内物品被取出；
若判断所述舱内物品被取出，则关闭舱门并执行后续任务。
2.根据权利要求1所述的机器人派送方法，其特征在于，
所述声音采集装置为定向收音装置。
3.根据权利要求1所述的机器人派送方法，其特征在于，
所述目标红外信息还包括目标红外温度。
4.根据权利要求3所述的机器人派送方法，其特征在于，所述根据所述目标声音信息和所述目标红外信息，判断所述舱内物品是否被取出的步骤，包括：
若确定所述目标声音信息为房门关闭声音信息或用户离开声音信息，则确定所述目标红外温度是否超出预设温度范围；
若确定所述目标红外温度超出预设温度范围，则判断所述舱内物品被取出。
5.根据权利要求1所述的机器人派送方法，其特征在于，还包括：
查询用户是否授权所述机器人进行图像采集；
若所述用户授权所述机器人进行图像采集，则通过图像采集装置采集目标图像信息；
所述根据所述目标声音信息判断机器人的舱内物品是否被取出的步骤，包括：
根据所述目标声音信息和所述目标图像信息，判断所述舱内物品是否被取出。
6.一种机器人派送装置，其特征在于，包括：
采集单元，用于通过声音采集装置采集目标声音信息，所述目标声音信息是所述机器人在舱门打开时采集的、所述机器人周围的声音信息，还用于通过红外采集装置采集目标红外信息，其中，所述目标红外信息包括目标红外图像；
判断单元，用于根据所述目标声音信息和所述目标红外信息，判断机器人的舱内物品是否被取出，包括：通过第一预设模型确定所述目标声音信息是否为房门关闭声音信息或用户离开声音信息；
若确定所述目标声音信息为房门关闭声音信息或用户离开声音信息，则通过第二预设模型确定所述目标红外图像是否为用户远离图像；
若确定所述目标红外图像为用户远离图像，则判断所述舱内物品被取出；
执行单元，用于若判断所述舱内物品被取出，则关闭舱门并执行后续任务。
7.一种电子设备，其特征在于，所述电子设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器，其中，所述处理器用于调用所述存储器中的程序指令，执行如权利要求1至权利要求5中任一项所述的机器人派送方法。
8.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行如权利要求1至权利要求5中任一项所述的机器人派送方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111176784.XA CN113829349B (zh) | 2021-10-09 | 2021-10-09 | 机器人派送方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111176784.XA CN113829349B (zh) | 2021-10-09 | 2021-10-09 | 机器人派送方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113829349A CN113829349A (zh) | 2021-12-24 |
| CN113829349B true CN113829349B (zh) | 2023-11-28 |
Family
ID=78968235
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111176784.XA Active CN113829349B (zh) | 2021-10-09 | 2021-10-09 | 机器人派送方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113829349B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115042210A (zh) * | 2022-07-25 | 2022-09-13 | 河南云迹智能技术有限公司 | 机器人物品派送方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109571502A (zh) * | 2018-12-30 | 2019-04-05 | 深圳市普渡科技有限公司 | 机器人配送方法 |
| CN109654802A (zh) * | 2019-01-16 | 2019-04-19 | 四川长虹电器股份有限公司 | 一种冰箱的自动开关门系统及方法 |
| CN113259938A (zh) * | 2021-04-23 | 2021-08-13 | 上海擎朗智能科技有限公司 | 一种控制机器人开启储物舱的方法、系统及机器人 |
| CN113256222A (zh) * | 2021-06-17 | 2021-08-13 | 北京之前科技有限公司 | 机器人外卖柜取物配送方法、系统和机器人 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11200532B2 (en) * | 2017-04-12 | 2021-12-14 | Caterpillar Inc. | Delivery robot and method of operation |
-
2021
- 2021-10-09 CN CN202111176784.XA patent/CN113829349B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109571502A (zh) * | 2018-12-30 | 2019-04-05 | 深圳市普渡科技有限公司 | 机器人配送方法 |
| CN109654802A (zh) * | 2019-01-16 | 2019-04-19 | 四川长虹电器股份有限公司 | 一种冰箱的自动开关门系统及方法 |
| CN113259938A (zh) * | 2021-04-23 | 2021-08-13 | 上海擎朗智能科技有限公司 | 一种控制机器人开启储物舱的方法、系统及机器人 |
| CN113256222A (zh) * | 2021-06-17 | 2021-08-13 | 北京之前科技有限公司 | 机器人外卖柜取物配送方法、系统和机器人 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113829349A (zh) | 2021-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Stowell et al. | Bird detection in audio: a survey and a challenge | |
| EP3839942A1 (en) | Quality inspection method, apparatus, device and computer storage medium for insurance recording | |
| US9813810B1 (en) | Multi-microphone neural network for sound recognition | |
| CN110491403A (zh) | 音频信号的处理方法、装置、介质和音频交互设备 | |
| CN110875060A (zh) | 语音信号处理方法、装置、系统、设备和存储介质 | |
| US20190103005A1 (en) | Multi-resolution audio activity tracker based on acoustic scene recognition | |
| EP3444809A1 (en) | Personalized speech recognition method, and user terminal performing the method | |
| al Zamil et al. | Multimedia-oriented action recognition in Smart City-based IoT using multilayer perceptron | |
| CN109473119B (zh) | 一种声学目标事件监控方法 | |
| CN113829349B (zh) | 机器人派送方法、装置、电子设备及存储介质 | |
| Grama et al. | Adding audio capabilities to TIAGo service robot | |
| Pan et al. | Cognitive acoustic analytics service for Internet of Things | |
| Chandrakala et al. | Multi-view representation for sound event recognition | |
| Do et al. | Human-assisted sound event recognition for home service robots | |
| CN117034019B (zh) | 一种业务处理方法、装置、电子设备和存储介质 | |
| Siantikos et al. | A low-cost approach for detecting activities of daily living using audio information: A use case on bathroom activity monitoring | |
| Prashanth et al. | A review of deep learning techniques in audio event recognition (AER) applications | |
| Bashit | A comprehensive solar powered remote monitoring and identification of Houston Toad call automatic recognizing device system design | |
| CN113160823B (zh) | 基于脉冲神经网络的语音唤醒方法、装置及电子设备 | |
| Rama Rao et al. | Investigation of unsupervised models for biodiversity assessment | |
| Giannakopoulos et al. | A ROS framework for audio-based activity recognition | |
| JP2023535202A (ja) | コンテキスト・アウェア・アノマリ検出 | |
| Poore et al. | Single-and multi-channel whistle recognition with nao robots | |
| Kang et al. | Complex activity recognition using polyphonic sound event detection | |
| Musa | 2D convolutional neural network for the detection of Asian Koel (Eudynamys Scolopaceus) vocalizations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Room 702, 7th floor, NO.67, Beisihuan West Road, Haidian District, Beijing 100089 Applicant after: Beijing Yunji Technology Co.,Ltd. Address before: Room 702, 7 / F, 67 North Fourth Ring Road West, Haidian District, Beijing Applicant before: BEIJING YUNJI TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |