CN114500900A - 丢失对象的寻找方法及装置 - Google Patents
丢失对象的寻找方法及装置 Download PDFInfo
- Publication number
- CN114500900A CN114500900A CN202210171948.8A CN202210171948A CN114500900A CN 114500900 A CN114500900 A CN 114500900A CN 202210171948 A CN202210171948 A CN 202210171948A CN 114500900 A CN114500900 A CN 114500900A
- Authority
- CN
- China
- Prior art keywords
- target
- target object
- identification number
- video
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000006870 function Effects 0.000 claims description 60
- 238000004590 computer program Methods 0.000 claims description 20
- 238000012790 confirmation Methods 0.000 claims description 16
- 238000013178 mathematical model Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 8
- 230000004888 barrier function Effects 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 5
- 238000012544 monitoring process Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000003062 neural network model Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000012806 monitoring device Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/24—Speech recognition using non-acoustical features
- G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Computer Networks & Wireless Communication (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开涉及人工智能技术领域，提供了丢失对象的寻找方法及装置。该方法包括：接收第一目标对象的请求指令，并获取第一目标对象的第一目标图像；根据第一目标图像确定第一目标对象的第一标识号；根据请求指令和第一标识号，确定第一目标对象丢失的第二目标对象的第二标识号；基于第一标识号和第二标识号，确定第二目标对象的目标位置。采用上述技术手段，可以解决现有技术中，寻找丢失的对象，只能人工解决的问题。
Description
技术领域
本公开涉及人工智能技术领域，尤其涉及一种丢失对象的寻找方法及装置。
背景技术
在商场等场景下，经常有人丢失物品，甚至有人在逛商场时，还会和小孩走失。目前关于丢失物品和小孩走失等问题，只能通过人工为顾客提供帮助。
在实现本公开构思的过程中，发明人发现相关技术中至少存在如下技术问题：寻找丢失的对象，只能人工解决的问题。
发明内容
有鉴于此，本公开实施例提供了一种丢失对象的寻找方法、装置、电子设备和计算机可读的存储介质，以解决现有技术中，寻找丢失的对象，只能人工解决的问题。
本公开实施例的第一方面，提供了一种丢失对象的寻找方法，应用于服务机器人上，包括：接收第一目标对象的请求指令，并获取第一目标对象的第一目标图像；根据第一目标图像确定第一目标对象的第一标识号；根据请求指令和第一标识号，确定第一目标对象丢失的第二目标对象的第二标识号；基于第一标识号和第二标识号，确定第二目标对象的目标位置。
本公开实施例的第二方面，提供了一种丢失对象的寻找装置，应用于服务机器人上，包括：接收模块，被配置为接收第一目标对象的请求指令，并获取第一目标对象的第一目标图像；第一确定模块，被配置为根据第一目标图像确定第一目标对象的第一标识号；第二确定模块，被配置为根据请求指令和第一标识号，确定第一目标对象丢失的第二目标对象的第二标识号；第三确定模块，被配置为基于第一标识号和第二标识号，确定第二目标对象的目标位置。
本公开实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
本公开实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本公开实施例与现有技术相比存在的有益效果是：接收第一目标对象的请求指令，并获取第一目标对象的第一目标图像；根据第一目标图像确定第一目标对象的第一标识号；根据请求指令和第一标识号，确定第一目标对象丢失的第二目标对象的第二标识号；基于第一标识号和第二标识号，确定第二目标对象的目标位置。采用上述技术手段，可以解决现有技术中，寻找丢失的对象，只能人工解决的问题，进而提供一种基于服务机器人的，通过人工智能的方法寻找丢失的对象的解决方案。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本公开实施例的应用场景的场景示意图；
图2是本公开实施例提供的一种丢失对象的寻找方法的流程示意图；
图3是本公开实施例提供的一种丢失对象的寻找装置的结构示意图；
图4是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本公开实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本公开的描述。
下面将结合附图详细说明根据本公开实施例的一种丢失对象的寻找方法和装置。
图1是本公开实施例的应用场景的场景示意图。该应用场景可以包括终端设备1、2和3、服务器4以及网络5。
终端设备1、2和3可以是硬件，也可以是软件。当终端设备1、2和3为硬件时，其可以是具有显示屏且支持与服务器4通信的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等；当终端设备1、2和3为软件时，其可以安装在如上的电子设备中。终端设备1、2和3可以实现为多个软件或软件模块，也可以实现为单个软件或软件模块，本公开实施例对此不作限制。进一步地，终端设备1、2和3上可以安装有各种应用，例如数据处理应用、即时通信工具、社交平台软件、搜索类应用、购物类应用等。
服务器4可以是提供各种服务的服务器，例如，对与其建立通信连接的终端设备发送的请求进行接收的后台服务器，该后台服务器可以对终端设备发送的请求进行接收和分析等处理，并生成处理结果。服务器4可以是一台服务器，也可以是由若干台服务器组成的服务器集群，或者还可以是一个云计算服务中心，本公开实施例对此不作限制。
需要说明的是，服务器4可以是硬件，也可以是软件。当服务器4为硬件时，其可以是为终端设备1、2和3提供各种服务的各种电子设备。当服务器4为软件时，其可以是为终端设备1、2和3提供各种服务的多个软件或软件模块，也可以是为终端设备1、2和3提供各种服务的单个软件或软件模块，本公开实施例对此不作限制。
网络5可以是采用同轴电缆、双绞线和光纤连接的有线网络，也可以是无需布线就能实现各种通信设备互联的无线网络，例如，蓝牙(Bluetooth)、近场通信(Near FieldCommunication，NFC)、红外(Infrared)等，本公开实施例对此不作限制。
目标用户可以通过终端设备1、2和3经由网络5与服务器4建立通信连接，以接收或发送信息等。需要说明的是，终端设备1、2和3、服务器4以及网络5的具体类型、数量和组合可以根据应用场景的实际需求进行调整，本公开实施例对此不作限制。
图2是本公开实施例提供的一种丢失对象的寻找方法的流程示意图。图2的丢失对象的寻找方法可以由图1的终端设备或服务器执行。如图2所示，该丢失对象的寻找方法包括：
S201，接收第一目标对象的请求指令，并获取第一目标对象的第一目标图像；
S202，根据第一目标图像确定第一目标对象的第一标识号；
S203，根据请求指令和第一标识号，确定第一目标对象丢失的第二目标对象的第二标识号；
S204，基于第一标识号和第二标识号，确定第二目标对象的目标位置。
请求指令可以是语音的，也可以是文字形式的。举例说明：一家三口逛商场，有爸爸、妈妈和四岁的小女儿，爸爸和妈妈携带各自携带一个外观不一样的背包。在检测到一家三口进入该商场时，获取三个人和两件背包的图像，并给每个图像一个对应的标识码，并将上述五个标识码关联，关联的意思是可以通过三个人和两件背包中任意一个人或物对应的标识码找到任意一个人或物对应的标识码。在妈妈丢失妈妈的背包后，接收到妈妈发出寻物的请求指令，根据妈妈的图像确定出妈妈的标识码，请求指令显示是丢失了妈妈的背包，所以根据请求指令和妈妈的标识码，就可以确定妈妈的背包对应的标识号。进而根据妈妈的标识码和妈妈的背包对应的标识号，确定妈妈的背包的目标位置。
因为服务机器人在商场等场景的使用很常见，所以可以借助服务机器人寻找丢失物品和走失的小孩。上述方案可以由服务机器人执行。服务机器人上的麦克风接收请求指令(请求指令为语音指令)，服务机器人上的触屏显示器或者键盘接收请求指令(请求指令为文字指令)，服务机器人上的图像获取设备获取第一目标对象的第一目标图像，服务机器人联网获取第一目标图像的相关信息，进而确定第一目标对象的第一标识号，确定第一目标对象丢失的第二目标对象的第二标识号，服务机器人基于第一标识号和第二标识号，确定第二目标对象的目标位置。
根据本公开实施例提供的技术方案，接收第一目标对象的请求指令，并获取第一目标对象的第一目标图像；根据第一目标图像确定第一目标对象的第一标识号；根据请求指令和第一标识号，确定第一目标对象丢失的第二目标对象的第二标识号；基于第一标识号和第二标识号，确定第二目标对象的目标位置。采用上述技术手段，可以解决现有技术中，寻找丢失的对象，只能人工解决的问题，进而提供一种基于服务机器人的，通过人工智能的方法寻找丢失的对象的解决方案。
在步骤S204中，基于第一标识号和第二标识号，确定第二目标对象的目标位置，包括：获取第一标标识号对应的多条第一视频片段；按照每条第一视频片段的视频录制时间，对多条第一视频片段进行排序，得到视频队列；确定出视频队列中第二标识号只与一条第一视频片段的部分视频存在对应关系的目标第一视频片段；根据目标第一视频片段，确定第二目标对象的目标位置。
比如在商场中，从第一目标对象进入商场后，将获取到的第一目标对象的监控视频片段用第一标标识号标记，在需要使用到第一目标对象的监控视频时，可以通过第一标标识号获取第一目标对象的多条第一视频片段。之所以是视频片段，是因为商场中的每个监控设备都有各自对应监控的范围，一个监控设备获取到的第一目标对象的监控视频为一条第一视频片段。在监控设备生成第一视频片段时，会标记第一视频片段的视频录制时间，可以根据每个第一视频片段视频录制时间，将多条第一视频片段从前至后联系起来。第一目标对象丢失的第二目标对象的时刻对应的第一视频片段记作目标第一视频片段。第一目标对象还没有丢失的第二目标对象的部分目标第一视频片段，第二标识号与该部分目标第一视频片段是存在对应关系的，第一目标对象丢失的第二目标对象后的部分目标第一视频片段，第二标识号与该部分目标第一视频片段是不存在对应关系的，可以根据该原理确定出目标第一视频片段。
在步骤S204中，基于第一标识号和第二标识号，确定第二目标对象的目标位置，包括：获取第一标标识号对应的多条第一视频片段，获取第二标标识号对应的多条第二视频片段；根据多条第一视频片段和多条第二视频片段，确定目标第一视频片段；根据目标第一视频片段，确定第二目标对象的目标位置。
第一目标对象还没有丢失第二目标对象时，第一目标对象对应的第一视频片段和第二目标对象对应的第二视频片段是重合的，第一目标对象丢失第二目标对象后，第一目标对象对应的第一视频片段和第二目标对象对应的第二视频片段是不重合的，第一目标对象丢失第二目标对象的第一视频片段记作目标第一视频片段，目标第一视频片段中部分视频是和第二目标对象对应的某个第二视频片段的部分重合的(该部分视频是第一目标对象还没有丢失第二目标对象时)，目标第一视频片段中部分视频是和第二目标对象对应的第二视频片段没有重合的，(该部分视频是第一目标对象丢失第二目标对象后)。可以根据该原理确定出目标第一视频片段。
在步骤S204中，基于第一标识号和第二标识号，确定第二目标对象的目标位置，包括：获取第一标标识号对应的多条第一视频片段，获取第二标标识号对应的多条第二视频片段；将多条第一视频片段和多条第二视频片段输入目标视频确认模型，输出目标第一视频片段，其中，目标视频确认模型已通过训练，学习并保存有多条第一视频片段和多条第二视频片段，与目标第一视频片段之间的对应关系；将目标第一视频片段输入位置确认模型，输出第二目标对象的目标位置，其中，位置确认模型已通过训练，学习并保存有目标第一视频片段和目标位置之间的对应关系。
目标视频确认模型和位置确认模型可以是常见的任何一种神经网络模型，训练方法可以是深度学习训练。对于模型的训练是现有方法，本公开实施例是将神经网络模型首次应用到了商场等场景下丢失物品或者走失人物的寻找中。
在步骤S201中，接收第一目标对象的请求指令，包括：当请求指令为语音指令时，获取第一目标对象发送请求指令时，第一目标对象嘴唇变化的多帧连续的第二目标图像；从多帧连续的第二目标图像中提取第一目标对象对应的唇语特征；将唇语特征输入唇语识别模型，输出目标对象对应的唇语指令，其中，唇语识别模型已通过训练，学习并保存有唇语特征和唇语指令之间的对应关系；基于唇语指令修正请求指令。
从多帧连续的第二目标图像中提取目标对象对应的唇语特征，可以是常见的图像处理技术，比如先通过高斯模糊核在尺度空间中对监控图片进行平滑处理，此后通过局部导数运算来计算经过平滑处理的监控图片的唇语特征。还可以通过机器视觉方面的技术提取唇语特征。因为有的环境中声音嘈杂，如果接收目标对象的语音指令，可能接收到的目标对象的语音指令不清楚，所以本公开实施例利用神经网络模型(唇语识别模型)识别唇语。
在执行步骤S204之后，基于第一标识号和第二标识号，确定第二目标对象的目标位置之后，方法还包括：为第一目标对象提供路径导航服务：获取第一目标对象和第二目标对象所属区域的路径信息；根据目标位置和路径信息，通过数学模型为第一目标对象规划路径。
路径信息可以是联网实时获取到的第一目标对象和第二目标对象所属区域的路径的信息，也可以是第一目标对象和第二目标对象所属区域的历史路径的信息。路径信息包括在不同时间段内行人的数量，以及路径上的障碍物的信息，电梯的信息等。
根据目标位置和路径信息，通过数学模型为第一目标对象规划路径之前，方法还包括：分别根据路径最短规则、障碍物最少规则、耗时最短规则和行人最少规则，建立路径最短函数、障碍物最少函数、耗时最短函数和行人最少函数；基于路径最短函数、障碍物最少函数、耗时最短函数和行人最少函数，构建数学模型。
每个函数可以理解为一个约束条件。路径最短函数、障碍物最少函数、耗时最短函数和行人最少函数虽然分别是根据路径最短规则、障碍物最少规则、耗时最短规则和行人最少规则建立的，但是路径最短函数、障碍物最少函数、耗时最短函数和行人最少函数可以用于计算路径的长度、障碍物的数量、耗时时间和行人的数量。通过路径最短函数、障碍物最少函数、耗时最短函数和行人最少函数对每条路径进行计算，将得到的四个计算结果加权求和，得到每条路径对应的数学模型的输出。对四个计算结果加权求和的权值根据具体的用户确定。
根据真实指令、人物属性信息、人物动作信息和路径信息，通过服务机器人上的数学模型为第一目标对象规划路径。如果第一目标对象是老人或者有较大的行李物件，那么为目标对象规划路径，需要优先考虑障碍物和行人，也就是障碍物最少函数和行人最少函数计算的结果对应的权值较大。如果第一目标对象是年轻人或者目标对象的行李物件较小，那么为第一目标对象规划路径，需要优先考虑耗时和路径的长短，也就是路径最短函数和耗时最短函数计算的结果对应的权值较大。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。
图3是本公开实施例提供的一种丢失对象的寻找装置的示意图。如图3所示，该丢失对象的寻找装置包括：
接收模块301，被配置为接收第一目标对象的请求指令，并获取第一目标对象的第一目标图像；
第一确定模块302，被配置为根据第一目标图像确定第一目标对象的第一标识号；
第二确定模块303，被配置为根据请求指令和第一标识号，确定第一目标对象丢失的第二目标对象的第二标识号；
第三确定模块304，被配置为基于第一标识号和第二标识号，确定第二目标对象的目标位置。
请求指令可以是语音的，也可以是文字形式的。举例说明：一家三口逛商场，有爸爸、妈妈和四岁的小女儿，爸爸和妈妈携带各自携带一个外观不一样的背包。在检测到一家三口进入该商场时，获取三个人和两件背包的图像，并给每个图像一个对应的标识码，并将上述五个标识码关联，关联的意思是可以通过三个人和两件背包中任意一个人或物对应的标识码找到任意一个人或物对应的标识码。在妈妈丢失妈妈的背包后，接收到妈妈发出寻物的请求指令，根据妈妈的图像确定出妈妈的标识码，请求指令显示是丢失了妈妈的背包，所以根据请求指令和妈妈的标识码，就可以确定妈妈的背包对应的标识号。进而根据妈妈的标识码和妈妈的背包对应的标识号，确定妈妈的背包的目标位置。
因为服务机器人在商场等场景的使用很常见，所以可以借助服务机器人寻找丢失物品和走失的小孩。上述方案可以由服务机器人执行。服务机器人上的麦克风接收请求指令(请求指令为语音指令)，服务机器人上的触屏显示器或者键盘接收请求指令(请求指令为文字指令)，服务机器人上的图像获取设备获取第一目标对象的第一目标图像，服务机器人联网获取第一目标图像的相关信息，进而确定第一目标对象的第一标识号，确定第一目标对象丢失的第二目标对象的第二标识号，服务机器人基于第一标识号和第二标识号，确定第二目标对象的目标位置。
根据本公开实施例提供的技术方案，接收第一目标对象的请求指令，并获取第一目标对象的第一目标图像；根据第一目标图像确定第一目标对象的第一标识号；根据请求指令和第一标识号，确定第一目标对象丢失的第二目标对象的第二标识号；基于第一标识号和第二标识号，确定第二目标对象的目标位置。采用上述技术手段，可以解决现有技术中，寻找丢失的对象，只能人工解决的问题，进而提供一种基于服务机器人的，通过人工智能的方法寻找丢失的对象的解决方案。
可选地，第三确定模块304还被配置为获取第一标标识号对应的多条第一视频片段；按照每条第一视频片段的视频录制时间，对多条第一视频片段进行排序，得到视频队列；确定出视频队列中第二标识号只与一条第一视频片段的部分视频存在对应关系的目标第一视频片段；根据目标第一视频片段，确定第二目标对象的目标位置。
比如在商场中，从第一目标对象进入商场后，将获取到的第一目标对象的监控视频片段用第一标标识号标记，在需要使用到第一目标对象的监控视频时，可以通过第一标标识号获取第一目标对象的多条第一视频片段。之所以是视频片段，是因为商场中的每个监控设备都有各自对应监控的范围，一个监控设备获取到的第一目标对象的监控视频为一条第一视频片段。在监控设备生成第一视频片段时，会标记第一视频片段的视频录制时间，可以根据每个第一视频片段视频录制时间，将多条第一视频片段从前至后联系起来。第一目标对象丢失的第二目标对象的时刻对应的第一视频片段记作目标第一视频片段。第一目标对象还没有丢失的第二目标对象的部分目标第一视频片段，第二标识号与该部分目标第一视频片段是存在对应关系的，第一目标对象丢失的第二目标对象后的部分目标第一视频片段，第二标识号与该部分目标第一视频片段是不存在对应关系的，可以根据该原理确定出目标第一视频片段。
可选地，第三确定模块304还被配置为获取第一标标识号对应的多条第一视频片段，获取第二标标识号对应的多条第二视频片段；根据多条第一视频片段和多条第二视频片段，确定目标第一视频片段；根据目标第一视频片段，确定第二目标对象的目标位置。
第一目标对象还没有丢失第二目标对象时，第一目标对象对应的第一视频片段和第二目标对象对应的第二视频片段是重合的，第一目标对象丢失第二目标对象后，第一目标对象对应的第一视频片段和第二目标对象对应的第二视频片段是不重合的，第一目标对象丢失第二目标对象的第一视频片段记作目标第一视频片段，目标第一视频片段中部分视频是和第二目标对象对应的某个第二视频片段的部分重合的(该部分视频是第一目标对象还没有丢失第二目标对象时)，目标第一视频片段中部分视频是和第二目标对象对应的第二视频片段没有重合的，(该部分视频是第一目标对象丢失第二目标对象后)。可以根据该原理确定出目标第一视频片段。
可选地，第三确定模块304还被配置为获取第一标标识号对应的多条第一视频片段，获取第二标标识号对应的多条第二视频片段；将多条第一视频片段和多条第二视频片段输入目标视频确认模型，输出目标第一视频片段，其中，目标视频确认模型已通过训练，学习并保存有多条第一视频片段和多条第二视频片段，与目标第一视频片段之间的对应关系；将目标第一视频片段输入位置确认模型，输出第二目标对象的目标位置，其中，位置确认模型已通过训练，学习并保存有目标第一视频片段和目标位置之间的对应关系。
目标视频确认模型和位置确认模型可以是常见的任何一种神经网络模型，训练方法可以是深度学习训练。对于模型的训练是现有方法，本公开实施例是将神经网络模型首次应用到了商场等场景下丢失物品或者走失人物的寻找中。
可选地，接收模块301还被配置为当请求指令为语音指令时，获取第一目标对象发送请求指令时，第一目标对象嘴唇变化的多帧连续的第二目标图像；从多帧连续的第二目标图像中提取第一目标对象对应的唇语特征；将唇语特征输入唇语识别模型，输出目标对象对应的唇语指令，其中，唇语识别模型已通过训练，学习并保存有唇语特征和唇语指令之间的对应关系；基于唇语指令修正请求指令。
从多帧连续的第二目标图像中提取目标对象对应的唇语特征，可以是常见的图像处理技术，比如先通过高斯模糊核在尺度空间中对监控图片进行平滑处理，此后通过局部导数运算来计算经过平滑处理的监控图片的唇语特征。还可以通过机器视觉方面的技术提取唇语特征。因为有的环境中声音嘈杂，如果接收目标对象的语音指令，可能接收到的目标对象的语音指令不清楚，所以本公开实施例利用神经网络模型(唇语识别模型)识别唇语。
可选地，第三确定模块304还被配置为，为第一目标对象提供路径导航服务：获取第一目标对象和第二目标对象所属区域的路径信息；根据目标位置和路径信息，通过数学模型为第一目标对象规划路径。
路径信息可以是联网实时获取到的第一目标对象和第二目标对象所属区域的路径的信息，也可以是第一目标对象和第二目标对象所属区域的历史路径的信息。路径信息包括在不同时间段内行人的数量，以及路径上的障碍物的信息，电梯的信息等。
可选地，第三确定模块304还被配置为分别根据路径最短规则、障碍物最少规则、耗时最短规则和行人最少规则，建立路径最短函数、障碍物最少函数、耗时最短函数和行人最少函数；基于路径最短函数、障碍物最少函数、耗时最短函数和行人最少函数，构建数学模型。
每个函数可以理解为一个约束条件。路径最短函数、障碍物最少函数、耗时最短函数和行人最少函数虽然分别是根据路径最短规则、障碍物最少规则、耗时最短规则和行人最少规则建立的，但是路径最短函数、障碍物最少函数、耗时最短函数和行人最少函数可以用于计算路径的长度、障碍物的数量、耗时时间和行人的数量。通过路径最短函数、障碍物最少函数、耗时最短函数和行人最少函数对每条路径进行计算，将得到的四个计算结果加权求和，得到每条路径对应的数学模型的输出。对四个计算结果加权求和的权值根据具体的用户确定。
根据真实指令、人物属性信息、人物动作信息和路径信息，通过服务机器人上的数学模型为第一目标对象规划路径。如果第一目标对象是老人或者有较大的行李物件，那么为目标对象规划路径，需要优先考虑障碍物和行人，也就是障碍物最少函数和行人最少函数计算的结果对应的权值较大。如果第一目标对象是年轻人或者目标对象的行李物件较小，那么为第一目标对象规划路径，需要优先考虑耗时和路径的长短，也就是路径最短函数和耗时最短函数计算的结果对应的权值较大。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。
图4是本公开实施例提供的电子设备4的示意图。如图4所示，该实施例的电子设备4包括：处理器401、存储器402以及存储在该存储器402中并且可在处理器401上运行的计算机程序403。处理器401执行计算机程序403时实现上述各个方法实施例中的步骤。或者，处理器401执行计算机程序403时实现上述各装置实施例中各模块/单元的功能。
示例性地，计算机程序403可以被分割成一个或多个模块/单元，一个或多个模块/单元被存储在存储器402中，并由处理器401执行，以完成本公开。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序403在电子设备4中的执行过程。
电子设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备4可以包括但不仅限于处理器401和存储器402。本领域技术人员可以理解，图4仅仅是电子设备4的示例，并不构成对电子设备4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如，电子设备还可以包括输入输出设备、网络接入设备、总线等。
处理器401可以是中央处理单元(Central Processing Unit，CPU)，也可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器402可以是电子设备4的内部存储单元，例如，电子设备4的硬盘或内存。存储器402也可以是电子设备4的外部存储设备，例如，电子设备4上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器402还可以既包括电子设备4的内部存储单元也包括外部存储设备。存储器402用于存储计算机程序以及电子设备所需的其它程序和数据。存储器402还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。
在本公开所提供的实施例中，应该理解到，所揭露的装置/电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本公开实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围，均应包含在本公开的保护范围之内。
Claims (10)
1.一种丢失对象的寻找方法，其特征在于，应用于服务机器人上，包括：
接收第一目标对象的请求指令，并获取所述第一目标对象的第一目标图像；
根据所述第一目标图像确定所述第一目标对象的第一标识号；
根据所述请求指令和所述第一标识号，确定所述第一目标对象丢失的第二目标对象的第二标识号；
基于所述第一标识号和所述第二标识号，确定所述第二目标对象的目标位置。
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一标识号和所述第二标识号，确定所述第二目标对象的目标位置，包括：
获取所述第一标标识号对应的多条第一视频片段；
按照每条第一视频片段的视频录制时间，对所述多条第一视频片段进行排序，得到视频队列；
确定出所述视频队列中所述第二标识号只与一条第一视频片段的部分视频存在对应关系的目标第一视频片段；
根据所述目标第一视频片段，确定所述第二目标对象的目标位置。
3.根据权利要求1所述的方法，其特征在于，所述基于所述第一标识号和所述第二标识号，确定所述第二目标对象的目标位置，包括：
获取所述第一标标识号对应的多条第一视频片段，获取所述第二标标识号对应的多条第二视频片段；
根据所述多条第一视频片段和所述多条第二视频片段，确定目标第一视频片段；
根据所述目标第一视频片段，确定所述第二目标对象的目标位置。
4.根据权利要求1所述的方法，其特征在于，所述基于所述第一标识号和所述第二标识号，确定所述第二目标对象的目标位置，包括：
获取所述第一标标识号对应的多条第一视频片段，获取所述第二标标识号对应的多条第二视频片段；
将所述多条第一视频片段和所述多条第二视频片段输入目标视频确认模型，输出目标第一视频片段，其中，目标视频确认模型已通过训练，学习并保存有所述多条第一视频片段和所述多条第二视频片段，与所述目标第一视频片段之间的对应关系；
将所述目标第一视频片段输入位置确认模型，输出所述第二目标对象的目标位置，其中，位置确认模型已通过训练，学习并保存有所述目标第一视频片段和所述目标位置之间的对应关系。
5.根据权利要求1所述的方法，其特征在于，所述接收第一目标对象的请求指令，包括：
当所述请求指令为语音指令时，获取所述第一目标对象发送所述请求指令时，所述第一目标对象嘴唇变化的多帧连续的第二目标图像；
从多帧连续的所述第二目标图像中提取所述第一目标对象对应的唇语特征；
将所述唇语特征输入唇语识别模型，输出所述目标对象对应的唇语指令，其中，所述唇语识别模型已通过训练，学习并保存有所述唇语特征和所述唇语指令之间的对应关系；
基于所述唇语指令修正所述请求指令。
6.根据权利要求1所述的方法，其特征在于，所述基于所述第一标识号和所述第二标识号，确定所述第二目标对象的目标位置之后，所述方法还包括：
为所述第一目标对象提供路径导航服务：
获取所述第一目标对象和所述第二目标对象所属区域的路径信息；
根据所述目标位置和所述路径信息，通过数学模型为所述第一目标对象规划路径。
7.根据权利要求6所述的方法，其特征在于，所述根据所述目标位置和所述路径信息，通过数学模型为所述第一目标对象规划路径之前，所述方法还包括：
分别根据路径最短规则、障碍物最少规则、耗时最短规则和行人最少规则，建立路径最短函数、障碍物最少函数、耗时最短函数和行人最少函数；
基于所述路径最短函数、所述障碍物最少函数、所述耗时最短函数和所述行人最少函数，构建所述数学模型。
8.一种丢失对象的寻找装置，其特征在于，应用于服务机器人上，包括：
接收模块，被配置为接收第一目标对象的请求指令，并获取所述第一目标对象的第一目标图像；
第一确定模块，被配置为根据所述第一目标图像确定所述第一目标对象的第一标识号；
第二确定模块，被配置为根据所述请求指令和所述第一标识号，确定所述第一目标对象丢失的第二目标对象的第二标识号；
第三确定模块，被配置为基于所述第一标识号和所述第二标识号，确定所述第二目标对象的目标位置。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210171948.8A CN114500900A (zh) | 2022-02-24 | 2022-02-24 | 丢失对象的寻找方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210171948.8A CN114500900A (zh) | 2022-02-24 | 2022-02-24 | 丢失对象的寻找方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114500900A true CN114500900A (zh) | 2022-05-13 |
Family
ID=81485288
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210171948.8A Pending CN114500900A (zh) | 2022-02-24 | 2022-02-24 | 丢失对象的寻找方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114500900A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115017365A (zh) * | 2022-05-23 | 2022-09-06 | 北京声智科技有限公司 | 物品查找方法、装置、服务器、终端及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110095531A (ko) * | 2010-02-19 | 2011-08-25 | 모빌토크(주) | 이동로봇의 인물탐색 방법 |
| US20120032798A1 (en) * | 2005-11-21 | 2012-02-09 | Four Gauchos LLC | Lost and Found Tagging and Communication System and Method |
| CN110415701A (zh) * | 2019-06-18 | 2019-11-05 | 平安科技（深圳）有限公司 | 唇语的识别方法及其装置 |
| CN111428919A (zh) * | 2020-03-17 | 2020-07-17 | 深圳先进技术研究院 | 路径规划方法、装置、电子设备及存储介质 |
| CN112008735A (zh) * | 2020-08-24 | 2020-12-01 | 北京云迹科技有限公司 | 基于巡游机器人的救助方法、装置及系统 |
| CN113494909A (zh) * | 2020-03-19 | 2021-10-12 | 阿里巴巴集团控股有限公司 | 寻找目标对象的方法、装置、系统 |
-
2022
- 2022-02-24 CN CN202210171948.8A patent/CN114500900A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120032798A1 (en) * | 2005-11-21 | 2012-02-09 | Four Gauchos LLC | Lost and Found Tagging and Communication System and Method |
| KR20110095531A (ko) * | 2010-02-19 | 2011-08-25 | 모빌토크(주) | 이동로봇의 인물탐색 방법 |
| CN110415701A (zh) * | 2019-06-18 | 2019-11-05 | 平安科技（深圳）有限公司 | 唇语的识别方法及其装置 |
| CN111428919A (zh) * | 2020-03-17 | 2020-07-17 | 深圳先进技术研究院 | 路径规划方法、装置、电子设备及存储介质 |
| WO2021184793A1 (zh) * | 2020-03-17 | 2021-09-23 | 深圳先进技术研究院 | 路径规划方法、装置、电子设备及存储介质 |
| CN113494909A (zh) * | 2020-03-19 | 2021-10-12 | 阿里巴巴集团控股有限公司 | 寻找目标对象的方法、装置、系统 |
| CN112008735A (zh) * | 2020-08-24 | 2020-12-01 | 北京云迹科技有限公司 | 基于巡游机器人的救助方法、装置及系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115017365A (zh) * | 2022-05-23 | 2022-09-06 | 北京声智科技有限公司 | 物品查找方法、装置、服务器、终端及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109816589B (zh) | 用于生成漫画风格转换模型的方法和装置 | |
| CN108734162B (zh) | 商品图像中目标识别方法、系统、设备及存储介质 | |
| CN109740018B (zh) | 用于生成视频标签模型的方法和装置 | |
| CN111476871B (zh) | 用于生成视频的方法和装置 | |
| CN108960090A (zh) | 视频图像处理方法及装置、计算机可读介质和电子设备 | |
| CN111832447B (zh) | 建筑图纸构件识别方法、电子设备及相关产品 | |
| CN112966742A (zh) | 模型训练方法、目标检测方法、装置和电子设备 | |
| CN108345387A (zh) | 用于输出信息的方法和装置 | |
| CN110555428B (zh) | 行人重识别方法、装置、服务器以及存储介质 | |
| CN110059623B (zh) | 用于生成信息的方法和装置 | |
| CN113420719A (zh) | 生成动作捕捉数据的方法、装置、电子设备以及存储介质 | |
| CN114550053A (zh) | 一种交通事故定责方法、装置、计算机设备及存储介质 | |
| CN109902681B (zh) | 用户群体关系确定方法、装置、设备及存储介质 | |
| CN108960110A (zh) | 用于生成信息的方法和装置 | |
| CN109871791A (zh) | 图像处理方法和装置 | |
| CN110427915A (zh) | 用于输出信息的方法和装置 | |
| CN109697393A (zh) | 人物跟踪方法、装置、电子装置及计算机可读介质 | |
| CN110097004B (zh) | 面部表情识别方法和装置 | |
| CN115861400A (zh) | 目标对象检测方法、训练方法、装置以及电子设备 | |
| CN111652181A (zh) | 目标跟踪方法、装置及电子设备 | |
| CN114500900A (zh) | 丢失对象的寻找方法及装置 | |
| CN111310595B (zh) | 用于生成信息的方法和装置 | |
| CN109829520A (zh) | 图像处理方法和装置 | |
| WO2024060708A1 (zh) | 目标检测方法和装置 | |
| CN115690845A (zh) | 一种运动轨迹预测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |