CN113923607B - 车外语音交互方法、装置及系统 - Google Patents
车外语音交互方法、装置及系统 Download PDFInfo
- Publication number
- CN113923607B CN113923607B CN202111185854.8A CN202111185854A CN113923607B CN 113923607 B CN113923607 B CN 113923607B CN 202111185854 A CN202111185854 A CN 202111185854A CN 113923607 B CN113923607 B CN 113923607B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- user terminal
- voice
- information
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 139
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 11
- 238000005406 washing Methods 0.000 description 7
- 230000002085 persistent effect Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000002355 dual-layer Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/06—Selective distribution of broadcast services, e.g. multimedia broadcast multicast service [MBMS]; Services to user groups; One-way selective calling services
- H04W4/10—Push-to-Talk [PTT] or Push-On-Call services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
- H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
- H04M1/72433—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for voice messaging, e.g. dictaphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
Abstract
本申请涉及一种车外语音交互方法、装置及系统。该方法包括：在识别出泊车场景后，向用户终端发送场景提示信息；接收来自用户终端参考所述场景提示信息所选择的预设交互模式对应的语音信息，与车外对象进行语音交互。本申请提供的方案，能够在无人驾驶的车辆实现远程车主与车外人员的交流，提高无人驾驶的便捷性。
Description
技术领域
本申请涉及自动驾驶技术领域，尤其涉及一种车外语音交互方法、装置及系统。
背景技术
目前，随着汽车智能化的不断发展，自动驾驶技术也逐渐被广泛应用，并且出现了自动泊车技术，例如AVP(Automated Valet Parking，自动代客泊车)技术，车辆可以在无人驾驶的情景下，实现自动泊车。
当完成自动泊车后，远程车主可能存在需要与车外人员进行语音交流的需求，但是由于车主不在车内，无法与车外人员实现语音交流。因此，需要一种方案解决在车内无人时如何与车外人员进行语音交流的问题。
发明内容
为解决或部分解决相关技术中存在的问题，本申请提供一种车外语音交互方法、装置及系统，能够在无人驾驶的车辆实现远程车主与车外人员的交流。
本申请第一方面提供一种车外语音交互方法，其包括：
在识别出泊车场景后，向用户终端发送场景提示信息；
接收来自所述用户终端参考所述场景提示信息所选择的预设交互模式对应的语音信息，与车外对象进行语音交互。
在一实施方式中，所述根据用户终端参考所述场景提示信息所选择的预设交互模式对应的语音信息，与车外对象进行语音交互，包括：
根据用户终端参考所述场景提示信息所选择的第一预设交互模式，接收来自所述用户终端发送的语音信息，向车外对象播放所述语音信息；和/或，
接收来自所述车外对象发送的语音信息并发送给所述用户终端。
在一实施方式中，所述接收来自所述用户终端发送的语音信息，向车外对象播放所述语音信息包括：通过车身扬声器向车外对象播放所述语音信息；
所述接收来自所述车外对象发送的语音信息并发送给所述用户终端，包括：通过车身麦克风接收来自所述车外对象发送的语音信息。
在一实施方式中，所述接收来自用户终端参考所述场景提示信息所选择的预设交互模式对应的语音信息，与车外对象进行语音交互，包括：
接收来自所述用户终端参考所述场景提示信息所选择的第二预设交互模式对应的预设语音信息，向车外对象播放所述预设语音信息。
在一实施方式中，所述接收来自所述用户终端参考所述场景提示信息所选择的预设交互模式对应的语音信息，与车外对象进行语音交互，包括：
接收来自所述用户终端参考所述场景提示信息所选择的第二预设交互模式对应的选择指示，根据所述选择指示从预存储的预设语音信息中选择一预设语音信息后向车外对象播放。
在一实施方式中，所述在识别出泊车场景后，向用户终端发送场景提示信息之后，还包括：
发送环境视频信息至所述用户终端，以使所述用户终端根据所述场景提示信息和所述环境视频信息选择预设交互模式。
在一实施方式中，所述向用户终端发送环境视频信息，包括：
将不同视角拍摄的环境视频信息进行拼接，形成环视信息并发送至所述用户终端；或
将所述用户终端选择的视角对应的环境视频信息发送至所述用户终端。
在一实施方式中，接收并响应来自所述用户终端的远程控制指令，对车辆进行控制，其中所述远程控制指令包括行车指令和/或车身控制指令。
本申请第二方面提供一种车外语音交互装置，其包括：
信息发送模块，用于在识别出泊车场景后，向用户终端发送场景提示信息；
语音交互模块，用于接收来自所述用户终端参考所述场景提示信息所选择的预设交互模式对应的语音信息，与车外对象进行语音交互。
本申请第三方面提供一种车外语音交互系统，其包括车辆和用户终端，其中：
所述车辆用于在识别出泊车场景后，向用户终端发送场景提示信息；并接收来自用户终端参考所述场景提示信息所选择的预设交互模式对应的语音信息，与车外对象进行语音交互；
所述用户终端用于接收所述车辆发送的所述场景提示信息，并根据所述场景提示信息选择所述预设交互模式，发送对应的语音信息至所述车辆，以与所述车外对象进行语音交互。
本申请第四方面提供一种车辆设备，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。
本申请第五方面提供一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被车辆设备的处理器执行时，使所述处理器执行如上所述的方法。
本申请提供的技术方案可以包括以下有益效果：
本申请提供的方案，通过车辆主动发送场景提示信息至用户终端后，车辆可以响应远程车主在用户终端所选择的预设交互模式，以便于远程车主根据对应的预设交互模式与车外对象进行的语音交互，实现车主与车外人员的语音交流。这样的设计，能够在无人驾驶的车辆实现远程车主与车外人员的交流，提高无人驾驶的便捷性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
通过结合附图对本申请示例性实施方式进行更详细地描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。
图1是本申请示出的车外语音交互方法的流程示意图；
图2是本申请示出的车外语音交互方法的另一流程示意图；
图3是本申请示出的车外语音交互方法的另一流程示意图；
图4是本申请示出的车外语音交互装置的一结构示意图
图5是本申请示出的车外语音交互装置的另一结构示意图；
图6是本申请示出的车外语音交互系统的结构示意图；
图7是本申请示出的车辆设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的实施方式。虽然附图中显示了本申请的实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。
在本申请使用的术语是仅仅出于描述特定示例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
相关技术中，在车辆无人驾驶时，远程的车主可能存在需要与车外人员进行语音交流的需求，但是由于车主不在车内，无法与车外人员实现语音交流。针对上述问题，本申请提供一种车外语音交互方法，能够在无人驾驶的车辆实现车主与车外人员的交流。
以下结合附图详细描述本申请的技术方案。
图1是本申请示出的车外语音交互方法的流程示意图。
参见图1，本申请的车外语音交互方法，包括：
步骤S110，在识别出泊车场景后，向用户终端发送场景提示信息。
其中，泊车场景可以是用于充电的充电车位、或者用于洗车的洗车车位等具有对应功能的车位。针对不同的泊车场景，例如洗车车位、充电车位等分别具有对应的场景设施。当车辆根据AVP技术自动泊车于洗车车位或充电车位后，可以自动通过车身传感器如图像采集器识别当前泊车场景的相关场景设施，从而识别确定当前泊车场景，以向用户终端发送对应的场景提示信息。此时的场景提示信息例如可以是“已泊入充电车位”。
可以理解，车辆可以通过4G、5G等蜂窝移动网络与用户终端进行远程通信传输。其中，用户终端可以是手机、平板电脑、智能手环、笔记本电脑等智能设备，通过根据相关技术在用户终端安装与车辆关联的应用软件，从而可以通过该应用软件实现用户终端与车辆的远程交互，例如可以根据相关技术的车载T-BOX(Telematics BOX，远程通信箱)技术实现用户终端与车辆的远程交互。
步骤S120，接收来自用户终端参考场景提示信息所选择的预设交互模式对应的语音信息，与车外对象进行语音交互。
可以理解，根据车辆所处的泊车场景，远程车主与车外对象所需进行的语音交互内容可能不同，远程车主可以根据需求在用户终端选择对应的预设交互模式并发送对应的语音信息，车辆接收对应的语音信息，以便于远程车主与车外对象进行便捷地语音交互。例如，预设交互模式可以包括第一预设交互模式和第二预设交互模式，第一预设交互模式可以是与车外对象进行实时语音通话，第二预设交互模式可以是向车外对象播放预设语音信息。远程车主可以在用户终端选择和切换不同的预设交互模式，即可与车外对象，例如车外的洗车工作人员、充电工作人员进行语音交互。
从该示例可以看出，本申请提供的方案，通过车辆主动向用户终端发送场景提示信息后，车辆可以接收远程车主在用户终端所选择的预设交互模式对应的语音信息，以便于远程车主根据对应的预设交互模式与车外对象进行的语音交互，实现车主与车外人员的语音交流。这样的设计，能够在无人驾驶的车辆实现远程车主与车外人员的交流，提高无人驾驶的便捷性。
图2是本申请示出的车外语音交互方法的另一流程示意图。
参见图2，本申请车外语音交互方法，包括：
步骤S210，根据车身传感器识别当前泊车场景，向用户终端发送对应的场景提示信息。
当车辆处于不同的场景下，根据车身传感器识别当前泊车场景，向用户终端发送对应的场景提示信息。例如，车辆停泊于可以进行洗车的洗车车位、或者停泊于可以充电的充电车位时，车辆的传感器可以识别当前泊车场景是洗车场景或充电场景，从而发送对应的场景提示信息至用户终端，以便用户终端接收并显示该场景提示信息，以使远程车主知晓车辆当前所处场景，并确定是否需要与当前的车外对象交流。
步骤S220，响应于用户终端的视频查看请求，向用户终端发送采集的环境视频信息。
在一实施方式中，车辆可以向用户终端发送环境视频信息，以使用户终端参考场景提示信息和环境视频信息选择预设交互模式。可以理解，远程车主在与车外对象进行语音沟通前，可以查看当前泊车场景周围的实际环境，以便远程车主可以根据实际情况选择预设交互模式，提高远程交互的便利性。车辆可以通过预装于车身的摄像头拍摄周围的环境，生成环境视频信息并发送至用户终端。其中，车辆可以将不同视角拍摄的环境视频信息进行拼接，形成环视信息并发送至用户终端；或将用户终端选择的视角对应的环境视频信息发送至用户终端。也就是说，当车身安装的摄像头的数量不止一个时，各摄像头分布于车身的不同位置，例如车头和车尾等。车辆的中央控制单元将各摄像头实时拍摄的环境视频信息进行时间同步和拍摄角度对接，从而形成环视信息，即环绕车身周围的视频信息，从而便于用户可以无死角地查看车身外部环境。或者，远程车主可以在用户终端选择其中一个视角对应的环境视频信息进行接收和显示，从而针对性地进行查看该视角对应的外部环境。
进一步地，远程车主在查看环境视频信息后，根据实际需求可以在用户终端选择对应的预设交互模式。当选择第一预设交互模式时，执行下述步骤S230；当选择第二预设交互模式时，执行下述步骤S240。可以理解，第一预设交互模式和第二预设交互模式可以根据远程车主在用户终端的选择进行切换。
步骤S230，根据用户终端参考场景提示信息所选择的第一预设交互模式，接收来自用户终端发送的语音信息，向车外对象播放语音信息；和/或，接收来自车外对象发送的语音信息并发送给用户终端。
第一预设交互模式用于远程车主与车外对象进行实时语音交互。其中，车辆预先安装有车身扬声器，车身扬声器为车内扬声器和/或车外扬声器。当车辆接收了来自用户终端发送的语音信息后，可以通过车身扬声器向车外对象播放所语音信息。例如，可以选择车外扬声器或车内扬声器进行播放。
进一步地，为了实现车外对象与远程的车主的顺畅沟通，通过车身麦克风可以采集车外环境中的声音，即环境语音信息，环境语音信息包括车外对象发出的实时语音信息。车辆将环境语音信息发送至用户终端进行播放，远程车主则可以实现与车外对象的语音交流。可以理解，当远程车主通过用户终端听到来自车辆发送的车外对象的实时语音信息后，远程车主可以继续与车外对象进行通话，从而实现远程车主与车外对象的实时语音交流。其中，车身麦克风包括车外麦克风和/或车内麦克风。通过在车身外侧安装车外麦克风，从而可以直接采集接收车外对象发出的语音信息，或者通过远程控制指令控制车辆打开车窗，从而通过车内麦克风采集车外对象发出的语音信息。可以理解，通过同时在车辆的内外分别设置麦克风，以作备用。
进一步地，在远程车主通过用户终端及车辆与车外对象进行语音交互的过程中，车辆可以接收并响应来自用户终端的远程控制指令。远程控制指令包括行车指令和/或车身控制指令。可以理解，由于车身的隔音效果，当采用车内扬声器进行语音播放时，可能导致车外对象不易听清语音信息。此时，用户终端可以发送远程控制指令至车辆以控制车辆打开车窗，从而便于车内的语音信息传播至车外，以便车外对象可以听清语音信息。
其中，车身控制指令还包括打开充电口盖、关闭充电口盖、关闭车窗、折叠后视镜等指令，车辆可以接收并相应执行对应的车速控制指令。进一步地，行车指令可以包括车辆前进、车辆倒退等指令，以控制车辆进行位置的调整。可以理解，用户终端可以预先设置相关远程控制指令，从而可以在远程实现对车辆的控制。
步骤S240，根据用户终端参考场景提示信息所选择的第二预设交互模式，向车外对象播放预设语音信息。
其中，第二预设交互模式用于从用户终端向车辆发送预设语音信息或选择指示。在一实施方式中，车辆接收来自用户终端参考场景提示信息所选择的第二预设交互模式对应的预设语音信息并向车外对象播放预设语音信息；或，车辆接收来自用户终端参考场景提示信息所选择的第二预设交互模式对应的选择指示，根据选择指示从预存储的预设语音信息中选择一预设语音信息后向车外对象播放。
为了提高远程车主与车外对象的语音交互效率，针对不同的泊车场景，可以预先设置对应的预设语音信息，车主在用户终端选择对应的预设语音信息即可，用户终端将选择指示的预设语音信息直接发送至车辆，从而无需车主本人开口说话，且可以应对用户终端的麦克风出现故障而无法进行实时通话的问题。针对不同的泊车场景，例如当车辆停泊在充电车位时，预设语音信息可以是“请插入充电枪”、“请拔掉充电枪”等预设语音信息，在此仅举例说明，不作限制。这样的设计，通过清晰明了的预设语音信息，使得车外对象可以直接根据预设语音信息进行对应操作。可以理解，远程车主在用户终端选择第二预设交互模式时，车身麦克风也可以采集来自车外对象发出的实时语音信息并发送至用户终端进行播放。而当远程车主有需求与车外对象进行实际语音对话时，则可以切换至步骤S230选择第一预设交互模式，远程车主通过用户终端的麦克风进行口述，用户终端则将采集的实时语音信息发送至车辆。在一实施方式中，可以预先在车辆存储多个不同的预设语音信息，且车辆存储的预设语音信息分别与用户终端预先设置的多个选择指示映射，当用户终端发送选择指示至车辆时，车辆播放对应的预设语音信息。
进一步地，当车外对象进行相关操作，例如插上充电枪或者拔掉充电枪后，车辆检测到对应的操作后，可以再次发送场景提示信息至用户终端，场景提示信息例如是“已拔出充电枪”。远程车主可以根据需求重复执行上述步骤S210至步骤S240。在结束上述流程后，远程车主可以通过远程控制指令控制车辆采用AVP技术规划新的行驶路线以驶离当前泊车场景。
从该示例可以看出，本申请的技术方案，通过车辆识别当前泊车场景，并将车辆周围的环境视频信息发送至用户终端供远程车主查看后，车主可以根据需求选择第一预设交互模式或第二预设交互模式与车外对象进行语音交互；根据选择的第一预设交互模式，通过用户终端发送远程车主的实时语音信息至车辆并通过车身扬声器播放给车外对象，车身麦克风则将车外对象的实时语音信息发送至用户终端进行播放，从而实现了远程车主和车外对象的无障碍实时语音交流，提高了无人驾驶时的便利性，操作方便且易实现；根据选择的第二预设交互模式，通过用户终端发送预设语音信息至车辆进行播放，明确指示车外对象进行相应操作，可以提高远程交互效率；另外，车主还可以通过远程控制指令控制车辆执行相应指令，进一步提高远程无人驾驶的便利性和可操作性。
图3是本申请示出的车外语音交互方法的另一流程示意图。本实施例以车辆的充电场景进一步说明用户通过用户终端与车辆外的车外人员进行语音交互的过程。
参见图3，本申请车外语音交互方法，包括：
步骤S310，车辆通过AVP技术进行自动驾驶并泊入充电车位。
步骤S320，车辆识别当前泊车场景为充电车位，发送对应的场景提示信息至车主的手机应用软件进行提醒。
此时的场景提示信息例如可以是“已泊入充电车位”。
步骤S330，车辆拍摄环境视频信息并发送至手机应用软件以供远程车主查看。
步骤S340，响应车主在手机应用软件根据需求选择的预设交互式模式，与车外人员进行语音交互。
如果选择第一预设交互模式，则执行步骤S350和/或步骤S360。如果选择第二预设交互模式，则执行步骤S370。
步骤S350，当车主选择第一预设交互模式后，根据车身麦克风采集车外人员发出的实时语音信息和通过车身扬声器播放远程车主发出的实时语音信息，实现远程车主与车外人员的远程语音交流，直至结束通话。
例如，车主可以请求车外人员插上充电枪或拔掉充电枪，当车外人员执行操作后，车主可以在手机应用软件关闭语音通话。
步骤S360，根据远程车主在手机应用软件选择的第二预设交互模式，车辆接收车主在手机应用软件中选择指示的预设语音信息并进行播放。
步骤S370，当远程车主选择预设交互模式后，车辆还可以同时接收通过手机应用软件发送的远程控制指令，以控制车辆打开充电口盖或关闭充电口盖，直至结束通话。
可以理解，当需要进行车辆充电时，车主通过手机应用软件发送“打开充电口盖”的远程控制指令，以使车辆打开充电口盖。当车外人员将充电枪插入车辆的充电口后，车辆开始充电。
当车辆充电完毕后，车外人员拔掉充电枪。根据拔掉充电枪的操作，车辆感应该操作并发送对应的场景提示信息如“已完成充电”至手机应用软件以提醒远程车主，此时可以重新开始执行步骤S320。车主通过步骤S330再次查看车辆周围的环境视频，以及可以根据步骤S40至S360再次选择预设交互式模式，通过与车外人员沟通确认后，车主可以根据步骤S70发送“关闭充电口盖”的远程控制指令关闭充电口盖。
步骤S380，当通话结束后，接收远程车主通过手机应用软件发送的远程遥控指令，以控制车辆通过AVP技术规划新的行驶路线，从而驶离当前充电车位。
与前述应用功能实现方法示例相对应，本申请还提供了一种车外语音交互装置、系统及相应的示例。
图4是本申请示出的车外语音交互装置的结构示意图。
参见图4，本申请的车外语音交互装置40，其包括信息发送模块410及语音交互模块420。其中：
信息发送模块用于在识别出泊车场景后，向用户终端发送场景提示信息。
语音交互模块用于接收来自用户终端参考场景提示信息所选择的预设交互模式对应的语音信息，与车外对象进行语音交互。
进一步地，信息发送模块用于在根据车身传感器识别当前泊车场景后，向用户终端发送对应的场景提示信息。信息发送模块还用于将不同视角拍摄的环境视频信息进行拼接，形成环视信息并发送至用户终端；或将用户终端选择的视角对应的环境视频信息发送至用户终端。通过发送环境视频信息至用户终端，以便远程车主可以实时查看车辆周围的实际情况。
图5是本申请示出的车外语音交互装置40的结构示意图。
进一步地，一并参见图4和图5，本申请的车外语音交互装置40包括信息发送模块410、语音交互模块420、信息接收模块430、识别采集模块440、及自动驾驶模块450。其中，语音交互模块420包括语音播放模块421和语音采集模块422。
其中，识别采集模块440用于根据车身传感器识别当前泊车场景，信息发送模块410用于向用户终端发送对应的场景提示信息；及识别采集模块440用于根据车身的摄像头拍摄车身外部的环境视频信息，信息发送模块410用于发送对应的环境视频信息至用户终端。
信息接收模块420用于根据用户终端参考场景提示信息所选择的第一预设交互模式，接收来自用户终端发送的语音信息，和/或接收来自车外对象发送的语音信息。语音播放模块421用于根据车身扬声器向车外对象播放信息接收模块420接收的语音信息。信息接收模块420还用于接收来自用户终端参考场景提示信息所选择的第二预设交互模式对应的预设语音信息，或接收来自用户终端参考场景提示信息所选择的第二预设交互模式对应的选择指示。语音播放模块421还用于向车外对象播放信息接收模块420接收的预设语音信息或播放根据信息接收模块420接收的选择指示从预存储的预设语音信息中选择的预设语音信息。
进一步地，语音采集模块422用于通过车身麦克风采集车外的环境语音信息，具体地，用于通过车身麦克风接收来自车外对象发送的语音信息。信息发送模块410用于将环境语音信息发送至用户终端。例如语音采集模块422采集车外人员的实时语音信息并由信息发送模块410发送至用户终端。
信息接收模块420还用于接收来自用户终端的远程控制指令，远程控制指令包括行车指令和/或车身控制指令。其中，自动驾驶模块450根据行车指令进行自动驾驶。
从上述示例可以看出，本申请的车外语音交互装置，通过识别采集模块识别当前泊车场景，并将车辆周围的环境视频信息通过信息发送模块发送至用户终端供车主查看后，车主可以根据需要通过用户终端发送语音信息至车辆并通过语音播放模块的车身扬声器播放给车外人员，语音采集模块用于根据车身麦克风则将车外人员的通话声发送至用户终端进行播放，从而实现了远程车主和车外人员的无障碍实时语音交流，提高了无人驾驶时的便利性，操作方便易实现；另外，车主还可以通过远程控制指令控制车辆的自动驾驶模块进行自动驾驶，进一步提高远程无人驾驶的便利性和可操作性。
图6是本申请示出的车外语音交互系统的结构示意图。
参见图6，本申请的车外语音交互系统60包括车辆610和用户终端620，其中：
车辆610用于在识别出泊车场景后，向用户终端620发送场景提示信息；并接收来自用户终端620参考场景提示信息所选择的预设交互模式对应的语音信息，与车外对象进行语音交互；
用户终端620用于接收车辆610发送的场景提示信息，并根据场景提示信息选择预设交互模式，发送对应的语音信息至所述车辆，以与车外对象进行语音交互。
本申请的车外语音交互系统可以实现在无人驾驶的场景下，远程车主通过用户终端与车外人员进行语音交互，操作简单易实现，提高了无人驾驶的便利性。
关于上述示例中的系统，其中各个模块执行操作的具体方式已经在有关该方法的示例中进行了详细描述，此处将不再做详细阐述说明。
图7是本申请示出的车辆设备的结构示意图。
参见图7，车辆设备1000包括存储器1010和处理器1020。
处理器1020可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器1010可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)和永久存储装置。其中，ROM可以存储处理器1020或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器1010可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(例如DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器1010可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等)、磁性软盘等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储器1010上存储有可执行代码，当可执行代码被处理器1020处理时，可以使处理器1020执行上文述及的方法中的部分或全部。
此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。
或者，本申请还可以实施为一种计算机可读存储介质(或非暂时性机器可读存储介质或机器可读存储介质)，其上存储有可执行代码(或计算机程序或计算机指令代码)，当可执行代码(或计算机程序或计算机指令代码)被车辆设备(或服务器等)的处理器执行时，使处理器执行根据本申请的上述方法的各个步骤的部分或全部。
以上已经描述了本申请的各示例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各示例。在不偏离所说明的各示例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各示例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各示例。
Claims (10)
1.一种车外语音交互方法，其特征在于，包括：
在识别出泊车场景后，向用户终端发送场景提示信息；
接收来自所述用户终端参考所述场景提示信息所选择的预设交互模式对应的语音信息，与车外对象进行语音交互；其中，根据用户终端参考所述场景提示信息所选择的第一预设交互模式，接收来自所述用户终端发送的语音信息，向车外对象播放所述语音信息，和/或接收来自所述车外对象发送的语音信息并发送给所述用户终端；或，接收来自所述用户终端参考所述场景提示信息所选择的第二预设交互模式对应的预设语音信息，向车外对象播放所述预设语音信息。
2.根据权利要求1所述的方法，其特征在于，所述第一预设交互模式和第二预设交互模式根据远程车主在所述用户终端的选择进行切换。
3.根据权利要求2所述的方法，其特征在于：
所述接收来自所述用户终端发送的语音信息，向车外对象播放所述语音信息，包括：通过车身扬声器向车外对象播放所述语音信息；
所述接收来自所述车外对象发送的语音信息并发送给所述用户终端，包括：通过车身麦克风接收来自所述车外对象发送的语音信息。
4.根据权利要求3所述的方法，其特征在于，当采用车内麦克风采集接收车外对象发出的语音信息时，接收来自用户终端发送的远程控制指令控制车辆打开车窗；和/或
当采用车内扬声器进行语音播放时，接收来自所述用户终端发送的远程控制指令以控制车辆打开车窗。
5.根据权利要求1所述的方法，其特征在于，所述接收来自所述用户终端参考所述场景提示信息所选择的预设交互模式对应的语音信息，与车外对象进行语音交互，包括：
接收来自所述用户终端参考所述场景提示信息所选择的第二预设交互模式对应的选择指示，根据所述选择指示从预存储的预设语音信息中选择一预设语音信息后向车外对象播放。
6.根据权利要求1所述的方法，其特征在于，所述在识别出泊车场景后，向用户终端发送场景提示信息之后，还包括：
向所述用户终端发送环境视频信息，以使所述用户终端参考所述场景提示信息和所述环境视频信息选择预设交互模式。
7.根据权利要求6所述的方法，其特征在于，所述向所述用户终端发送环境视频信息，包括：
将不同视角拍摄的环境视频信息进行拼接，形成环视信息并发送至所述用户终端；或
将所述用户终端选择的视角对应的环境视频信息发送至所述用户终端。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括；
接收并响应来自所述用户终端的远程控制指令，对车辆进行控制，其中所述远程控制指令包括行车指令和/或车身控制指令。
9.一种车外语音交互装置，其特征在于，包括：
信息发送模块，用于在识别出泊车场景后，向用户终端发送场景提示信息；
语音交互模块，用于接收来自所述用户终端参考所述场景提示信息所选择的预设交互模式对应的语音信息，与车外对象进行语音交互；其中，根据用户终端参考所述场景提示信息所选择的第一预设交互模式，接收来自所述用户终端发送的语音信息，向车外对象播放所述语音信息，和/或接收来自所述车外对象发送的语音信息并发送给所述用户终端；或，接收来自所述用户终端参考所述场景提示信息所选择的第二预设交互模式对应的预设语音信息，向车外对象播放所述预设语音信息。
10.一种车外语音交互系统，其特征在于，包括车辆和用户终端，其中：
所述车辆用于在识别出泊车场景后，向用户终端发送场景提示信息；并接收来自用户终端参考所述场景提示信息所选择的预设交互模式对应的语音信息，与车外对象进行语音交互；其中，根据用户终端参考所述场景提示信息所选择的第一预设交互模式，接收来自所述用户终端发送的语音信息，向车外对象播放所述语音信息，和/或接收来自所述车外对象发送的语音信息并发送给所述用户终端；或，接收来自所述用户终端参考所述场景提示信息所选择的第二预设交互模式对应的预设语音信息，向车外对象播放所述预设语音信息；
所述用户终端用于接收所述车辆发送的所述场景提示信息，并根据所述场景提示信息选择所述预设交互模式，发送对应的所述语音信息至所述车辆，以与所述车外对象进行语音交互。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111185854.8A CN113923607B (zh) | 2021-10-12 | 2021-10-12 | 车外语音交互方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111185854.8A CN113923607B (zh) | 2021-10-12 | 2021-10-12 | 车外语音交互方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113923607A CN113923607A (zh) | 2022-01-11 |
| CN113923607B true CN113923607B (zh) | 2023-04-07 |
Family
ID=79239516
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111185854.8A Active CN113923607B (zh) | 2021-10-12 | 2021-10-12 | 车外语音交互方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113923607B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115158153A (zh) * | 2022-07-21 | 2022-10-11 | 重庆长安汽车股份有限公司 | 车辆的自主泊车车外交互方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110641476A (zh) * | 2019-08-16 | 2020-01-03 | 广汽蔚来新能源汽车科技有限公司 | 基于车载机器人的交互方法、装置、控制器和存储介质 |
| CN111483470A (zh) * | 2019-01-25 | 2020-08-04 | 阿里巴巴集团控股有限公司 | 车辆交互系统、车辆交互方法、计算设备以及存储介质 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8811638B2 (en) * | 2011-12-01 | 2014-08-19 | Elwha Llc | Audible assistance |
| CN106559767A (zh) * | 2015-09-30 | 2017-04-05 | 北京奇虎科技有限公司 | 基于呼叫转移实现的双卡双待手机终端通话方法及装置 |
| CN107424613A (zh) * | 2017-05-16 | 2017-12-01 | 鄂尔多斯市普渡科技有限公司 | 一种无人驾驶出租车的语音开门认证系统及其方法 |
| CN107415866A (zh) * | 2017-06-13 | 2017-12-01 | 北京纵目安驰智能科技有限公司 | 基于无人驾驶车辆的紧急联络方法及系统、介质及设备 |
| CN108923808A (zh) * | 2018-06-05 | 2018-11-30 | 上海博泰悦臻网络技术服务有限公司 | 车辆及其车载终端和语音交互模式主动触发方法 |
| CN110708677A (zh) * | 2018-07-09 | 2020-01-17 | 上海擎感智能科技有限公司 | 车辆前舱智能服务交互方法、车载设备及存储介质 |
| KR20210113224A (ko) * | 2019-01-04 | 2021-09-15 | 세렌스 오퍼레이팅 컴퍼니 | 음성 상호작용을 사용하여 자율 주행 차량의 안전성과 유연성을 향상시키기 위한 방법 및 시스템 |
| CN112009395A (zh) * | 2019-05-28 | 2020-12-01 | 北京车和家信息技术有限公司 | 一种交互控制方法、车载终端及车辆 |
-
2021
- 2021-10-12 CN CN202111185854.8A patent/CN113923607B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111483470A (zh) * | 2019-01-25 | 2020-08-04 | 阿里巴巴集团控股有限公司 | 车辆交互系统、车辆交互方法、计算设备以及存储介质 |
| CN110641476A (zh) * | 2019-08-16 | 2020-01-03 | 广汽蔚来新能源汽车科技有限公司 | 基于车载机器人的交互方法、装置、控制器和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113923607A (zh) | 2022-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11282520B2 (en) | Method, apparatus and device for interaction of intelligent voice devices, and storage medium | |
| CN111326156A (zh) | 一种智能头盔控制方法、装置 | |
| CN108280524A (zh) | 识别车辆和生成预约信息的系统和方法 | |
| CN113923607B (zh) | 车外语音交互方法、装置及系统 | |
| CN111971647A (zh) | 语音识别设备、语音识别设备的协作系统和语音识别设备的协作方法 | |
| CN109101205A (zh) | 信息输出系统、信息输出方法以及存储介质 | |
| JP2023519291A (ja) | 装置間でマルチメディアコンテンツの再生を再開するための方法 | |
| CN113539260A (zh) | 一种基于车辆的语音交流方法和装置 | |
| CN114245267B (zh) | 多设备协同工作的方法、系统及电子设备 | |
| CN110620895A (zh) | 数据处理装置、数据处理方法以及记录介质 | |
| CN202753909U (zh) | 一种车载后视镜监控系统 | |
| CN106228836A (zh) | 室内停车引导方法及装置 | |
| JP2015230519A (ja) | 車両用思い出共有システム、車載機及び思い出共有プログラム | |
| CN110871791A (zh) | 汽车的泊车控制方法、装置及存储介质 | |
| CN113691760A (zh) | 车辆、记录介质、车辆的视频电话服务提供设备和方法 | |
| CN112489661B (zh) | 一种车载多屏幕的通话方法及装置 | |
| CN111009239A (zh) | 回声消除方法、回声消除装置及电子设备 | |
| CN112511812B (zh) | 一种车载影音控制系统及方法 | |
| CN106856540A (zh) | 一种移动终端通信的方法和装置 | |
| CN210733977U (zh) | 一种智能后视镜 | |
| CN116612458A (zh) | 基于深度学习的泊车路径确定方法与系统 | |
| CN115312068A (zh) | 语音控制方法、设备及存储介质 | |
| CN114007199A (zh) | 车辆通信方法、系统及通信终端 | |
| CN204340877U (zh) | 一种带显示屏的车载后视镜盒子 | |
| CN115050375A (zh) | 一种设备的语音操作方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240228 Address after: 510000 No.8 Songgang street, Cencun, Tianhe District, Guangzhou City, Guangdong Province Patentee after: GUANGZHOU XIAOPENG MOTORS TECHNOLOGY Co.,Ltd. Country or region after: China Address before: Room 46, room 406, No.1, Yichuang street, Zhongxin knowledge city, Huangpu District, Guangzhou City, Guangdong Province Patentee before: Guangzhou Xiaopeng Automatic Driving Technology Co.,Ltd. Country or region before: China |