CN111625094B - 智能后视镜的交互方法、装置、电子设备和存储介质 - Google Patents

智能后视镜的交互方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN111625094B
CN111625094B CN202010450564.0A CN202010450564A CN111625094B CN 111625094 B CN111625094 B CN 111625094B CN 202010450564 A CN202010450564 A CN 202010450564A CN 111625094 B CN111625094 B CN 111625094B
Authority
CN
China
Prior art keywords
user
rearview mirror
interaction
intelligent rearview
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010450564.0A
Other languages
English (en)
Other versions
CN111625094A (zh
Inventor
刘嵘
欧阳能钧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Original Assignee
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apollo Intelligent Connectivity Beijing Technology Co Ltd filed Critical Apollo Intelligent Connectivity Beijing Technology Co Ltd
Priority to CN202010450564.0A priority Critical patent/CN111625094B/zh
Publication of CN111625094A publication Critical patent/CN111625094A/zh
Priority to KR1020210038153A priority patent/KR20210040856A/ko
Priority to JP2021053876A priority patent/JP7204804B2/ja
Application granted granted Critical
Publication of CN111625094B publication Critical patent/CN111625094B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本申请公开了一种智能后视镜的交互方法、装置、电子设备和存储介质，涉及人工智能领域。本申请中可以依据智能后视镜上的前置摄像头实现与用户的动作交互，在增加了与用户的交互方式的前提下，还能够解决现有的语音交互在特定场景下无法识别用户的语音的问题。本申请中还能够根据智能后视镜的当前使用状态，控制所述智能后视镜与用户进行交互，使得智能后视镜可以根据智能后视镜的当前使用状态，采用便捷的交互方式与用户交互，提高了交互成功率，进而提高了用户体验。

Description

智能后视镜的交互方法、装置、电子设备和存储介质
技术领域
本申请涉及人工智能领域，尤其涉及智能后视镜的交互方法、装置、电子设备和存储介质。
背景技术
随着车辆的智能化的发展，车载电子设备也越来越多。后视镜也从最开始的后视功能发展成为具有辅助倒车功能的智能后视镜，且现有的智能后视镜可以与用户进行语音交互，以在智能后视镜上实现音乐播放、地图导航等众多功能。
现有技术中，用户可以说出唤醒词以唤醒智能后视镜，智能后视镜在识别用户说出唤醒词后会通过显示语音助手界面或播放语音的方式，提醒用户进行下一步语音交互。在用户与智能后视镜的语音交互过程中，智能后视镜可以识别用户语音的语义，执行播放音乐或地图导航等动作。
但是，在某些应用场景之下，例如当车辆处于嘈杂的环境中时，用户的语音可能被环境中的声音所掩盖，导致智能后视镜无法识别用户的语音，进而不能做出正确的响应操作。
发明内容
本申请提供一种智能后视镜的交互方法、装置、电子设备和存储介质，可以采用便捷的交互方式与用户交互，提高了交互成功率，进而提高了用户体验。
本申请第一方面提供一种智能后视镜的交互方法，包括：在智能后视镜唤醒之后，确定所述智能后视镜的当前使用状态；根据所述智能后视镜的当前使用状态，控制所述智能后视镜与用户进行交互。
本实施例中，在增加了与用户的交互方式的前提下，还能够解决现有的语音交互在特定场景下无法识别用户的语音的问题，且根据智能后视镜的当前使用状态，采用便捷的交互方式与用户交互，提高了交互成功率，进而提高了用户体验。
本申请的第二方面提供一种智能后视镜的交互装置，包括：第一处理模块，用于在智能后视镜唤醒之后，确定所述智能后视镜的当前使用状态。第二处理模块，用于根据所述智能后视镜的当前使用状态，控制所述智能后视镜与用户进行交互。
上述第二方面提供的智能后视镜的交互装置，其有益效果可以参见上述第一方面所带来的有益效果，在此不加赘述。
本申请的第三方面提供一种电子设备，包括：至少一个处理器、存储器、摄像头和、音频输出装置；所述存储器存储计算机执行指令；所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述电子设备执行上述第一方面的智能后视镜的交互方法，所述摄像头用于在所述处理器的控制下采集用户的动作，以实现电子设备与用户的动作交互，所述音频输出装置用于在所述处理器的控制下输出音频，以实现所述电子设备与用户的语音交互。
本申请的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机执行指令，当所述计算机执行指令被处理器执行时，实现上述第一方面的智能后视镜的交互方法。
本申请提供的智能后视镜的交互方法、装置、电子设备和存储介质，涉及大数据领域。本申请中可以依据智能后视镜上的前置摄像头实现与用户的动作交互，在增加了与用户的交互方式的前提下，还能够解决现有的语音交互在特定场景下无法识别用户的语音的问题。且本申请中还能够根据智能后视镜的当前使用状态，控制所述智能后视镜与用户进行交互，使得智能后视镜可以根据智能后视镜的当前使用状态，采用更为便捷的交互方式与用户交互，提高了交互成功率，进而提高了用户体验。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1为本申请提供的智能后视镜的交互方法适用的场景示意图；
图2为本申请提供的智能后视镜的交互方法的实施例的流程示意图一；
图3为本申请提供的智能后视镜的交互方法的实施例的流程示意图二；
图4为本申请提供的智能后视镜与用户的交互示意图一；
图5为本申请提供的智能后视镜与用户的交互示意图二；
图6为本申请提供的智能后视镜与用户的交互示意图三；
图7为本申请提供的智能后视镜与用户的交互示意图四；
图8为本申请提供的智能后视镜的交互装置的结构示意图；
图9为本申请提供的电子设备的结构示意图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
随着车辆的智能化的发展，车载电子设备也越来越多。如车辆上设置的车载音箱、智能后视镜等，用户可以通过与这些车载电子设备的交互实现娱乐、导航等功能。现有技术中用户与车载电子设备的交互方式为语音交互，如用户可以说出唤醒词以唤醒车载电子设备，进而车载电子设备识别用户的语音，解析用户的语义，以执行对应的反馈动作。示例性的，用户说出“播放歌曲A”，则车载电子设备可以识别用户的语音的语义，进而播放歌曲A。
现有技术中车载领域与用户的交互方式单一，仅有语音交互的方式。若车辆处于嘈杂的环境中，则采用语音交互的方式，则可能导致无法正确识别用户的语音，进而无法做出正确的响应动作，导致用户需要重复说明，用户体验低。若在现有的车辆的基础上，增加与用户交互的方式，如增加动作交互，则需要在车辆上加装摄像头，使得进而摄像头可以采集用户的动作，进而可以根据用户的动作执行对应的响应动作。而对车辆加装摄像头需要根据车辆的车型、车辆的中控车机的型号、操作系统等安装特定型号的摄像头，限制了动作交互的应用。另，有些车辆可能不支持加装摄像头，导致无法实现与用户的动作交互。
目前，智能后视镜的发展如火如荼，其功能也从原先的后视功能发展为辅助倒车功能、行车记录功能等。应注意，本申请中的智能后视镜为车辆内设置的智能后视镜，智能后视镜上设置有后置摄像头，以便于记录车辆的行车数据。为了解决上述问题，可以在智能后视镜上设置前置摄像头，且该前置摄像头不用考虑车辆的车型、车辆的中控车机的型号、操作系统等，普适性高。应理解，智能后视镜的前置摄像头为拍摄车辆内部的摄像头，智能后视镜的后置摄像头为拍摄车辆外部、车辆行驶画面的摄像头。
因此，为了解决上述技术问题，本申请提供了一种智能后视镜的交互方法，通过控制智能后视镜上设置的前置摄像头对采集用户的动作的采集，以在现有的智能后视镜与用户进行语音交互的基础上，增加智能后视镜与用户之间的动作交互，本申请的技术方案在增加了车载电子设备与用户的交互方式的前提下，还能够解决现有的语音交互在嘈杂环境中无法识别用户的语音的问题，提高了用户体验。
图1为本申请提供的智能后视镜的交互方法适用的场景示意图，如图1所示，该场景中包括处于车辆10内的用户，以及智能后视镜11。其中，该智能后视镜上集成有前置摄像头，用于采集车内用户的动作，以实现用户与智能后视镜的动作交互。应理解，图1中以智能后视镜上的圆形表示前置摄像头。
应理解，本申请中提供的智能后视镜的交互方法的执行主体可以为智能后视镜的交互装置，该智能后视镜的交互装置可以为智能后视镜，或者智能后视镜中的处理器、芯片等。其中，智能后视镜上集成有前置摄像头。
下述结合具体的实施例对本申请提供的智能后视镜的交互方法进行说明。应注意，下述几个实施例之间可以相互结合。图2为本申请提供的智能后视镜的交互方法的实施例的流程示意图一。如图2所示，本实施例提供的智能后视镜的交互方法可以包括：
S201，在智能后视镜唤醒之后，确定智能后视镜的当前使用状态。
S202，根据智能后视镜的当前使用状态，控制智能后视镜与用户进行交互。
上述S201中，在智能后视镜唤醒之后，可以确定智能后视镜的当前使用状态。其中，智能后视镜唤醒之后也可以表述为智能后视镜处于唤醒状态。
应注意，本实施例中对用户唤醒智能后视镜的方式不做限制。可选的，用户可以通过语音交互的方式唤醒智能后视镜，如用户可以通过唤醒词唤醒智能后视镜。示例性的，如智能后视镜开机后进入待机状态时，若检测到用户的语音中包含有唤醒词，则进入唤醒状态。可选的，用户也可以通过动作交互的方式唤醒智能后视镜。示例性的，智能后视镜在开机时，可以启动前置摄像头，并控制前置摄像头采集用户的动作，若确定摄像头采集的动作为唤醒动作时，则进入唤醒状态。其中，唤醒动作可以为比爱心、连续眨眼预设次数等。应理解，唤醒智能后视镜的唤醒词或唤醒动作用户可以自定义设置。
其中，本实施例中可以检测智能后视镜的当前运行情况，以获取智能后视镜的当前使用状态。或者，可以与车辆上设置的传感器进行交互以获取智能后视镜的当前使用状态，其中，传感器可以检测智能后视镜的当前使用状态。
本实施例中的智能后视镜的当前使用状态可以为智能后视镜的当前运行状态，如智能后视镜的运行时间、运行的应用程序等。或者智能后视镜的当前使用状态可以为智能后视镜所处的车辆的状态，如车辆正处于驾驶状态或静止状态，驾驶状态又可以分为高速驾驶状态或低速驾驶状态。应理解，智能后视镜的当前使用状态的不同，其对应的适合智能后视镜与用户的交互方式也不同。
上述S202中，在确定智能后视镜的当前使用状态，可以根据智能后视镜的当前使用状态，控制智能后视镜与用户进行交互。应理解，本实施例中智能后视镜与用户的交互方式包括但不限于为语音交互和动作交互。相对应的，控制智能后视镜与用户进行语音交互即为采集用户的语音，根据用户的语音做出相应的操作。控制智能后视镜与用户进行动作交互即为控制智能后视镜的摄像头采集用户的动作，根据用户的语音做出相应的操作。
其中，对于智能后视镜的不同的使用状态，可以预先设置对应的智能后视镜与用户的交互方式，可以为语音交互或动作交互。进而本实施例中在确定智能后视镜的当前使用状态后，可以根据预先设置的对应关系，确定智能后视镜与用户进行语音交互或者动作交互。
示例性的，如智能后视镜的当前使用状态为智能后视镜所处的环境的状态，则可以预先设置智能后视镜所处的环境的不同的状态与交互方式的对应关系，如为了保证用户的驾驶安全，可以设置智能后视镜所处的车辆处于高速行驶状态时，智能后视镜与用户的交互方式为动作交互，车辆处于低速行驶状态时，智能后视镜与用户的交互方式为语音交互。
本实施例中提供的智能后视镜的交互方式中，可以依据智能后视镜上设置的前置摄像头实现与用户的动作交互，在增加了与用户的交互方式的前提下，还能够解决现有的语音交互在特定场景下无法识别用户的语音的问题，提高了用户体验。且本实施例中还能够根据智能后视镜的当前使用状态，控制智能后视镜与用户进行交互，且根据智能后视镜的当前使用状态，采用更为便捷的交互方式与用户交互，提高了交互成功率，进而提高了用户体验。
在上述实施例的基础上，本实施例中智能后视镜的当前使用状态可以为智能后视镜所处的环境的状态、智能后视镜当前为用户提供的交互应用的类型或智能后视镜当前与用户进行语音交互的交互内容。下面分别从智能后视镜的当前使用状态可以为智能后视镜所处的环境的状态、智能后视镜当前为用户提供的交互应用的类型或智能后视镜当前与用户进行语音交互的交互内容这三种场景的角度，对本实施例提供的智能后视镜的交互方法进行说明。
其中，智能后视镜所处的环境的状态可以为嘈杂状态或非嘈杂状态；智能后视镜当前为用户提供的交互应用的类型可以为显示服务类型、音视频服务类型或存储服务类型等；智能后视镜当前与用户进行语音交互的交互内容可以为语音交互内容、显示交互内容等。本实施例中获取智能后视镜所处的环境的状态可以通过与车辆中的传感器交互的方式获取。智能后视镜所处的环境的状态时可以与车辆中的分贝仪或其他检测环境噪声的传感器进行交互得到。本实施例中获取智能后视镜当前为用户提供的交互应用的类型和智能后视镜当前与用户进行语音交互的交互内容，可以通过检测智能后视镜当前运行的内容得到。如可以检测智能后视镜当前显示的应用，将该应用的类型作为智能后视镜当前为用户提供的交互应用的类型；或者可以检测智能后视镜上当前显示的内容或智能后视镜播放的内容，并将其作为智能后视镜当前与用户进行语音交互的交互内容。
第一种场景：智能后视镜的当前使用状态为智能后视镜所处的环境的状态。
其中，可以获取智能后视镜当前所处环境的噪音分贝值，根据该噪音分贝值确定智能后视镜是否处于环境嘈杂状态。若智能后视镜当前处于环境嘈杂状态，则确定无法识别用户的语音，则确定采用动作交互可以更为有效，则控制智能后视镜与用户进行动作交互。若智能后视镜当前处于非环境嘈杂状态，则确定可以准确识别用户的语音，为了保证用户的驾驶安全，可以控制智能后视镜与用户进行动作交互。
可选的，本实施例中的车辆中设置有分贝仪或者其他检测分贝的设备，可以与该车辆中的分贝仪或者其他检测分贝的设备进行交互，以获取智能后视镜当前所处环境的噪音分贝值。可选的，智能后视镜上也可以集成有分贝仪或者其他检测分贝的设备的功能，用于获取智能后视镜当前所处环境的噪音分贝值。
本实施例中可以预先设置预设分贝阈值，该预设分贝阈值可以为无法识别用户的语音的分贝值，该预设分贝阈值可以通过仿真实验得到，或者该预设分贝阈值也可以由用户自定义设置。其中，当智能后视镜当前所处环境的噪音分贝值大于等于预设分贝阈值时，可以确定智能后视镜处于环境嘈杂状态，当智能后视镜当前所处环境的噪音分贝值小于预设分贝阈值时，可以确定智能后视镜处于非环境嘈杂状态。进而本实施例中可以根据智能后视镜当前所处环境的噪音分贝值，以确定智能后视镜当前处于环境嘈杂状态，进而为确定智能后视镜与用户准确的交互方式奠定了基础。
在该种场景下，为了保证能够采用准确的交互方式与用户进行交互，以避免嘈杂环境下不能准确识别用户的语音，进而造成无法正确做出相应操作的问题，能够提高交互的成功率，提高用户体验。
第二种场景：智能后视镜的当前使用状态为智能后视镜当前为用户提供的交互应用的类型。
其中，智能后视镜当前为用户提供的交互应用的类型可以包括显示服务类型、音视频服务类型或存储服务类型等。显示服务类型的交互应用可以包括：天气查询应用、购物应用、社交应用、导航应用、车辆参数控制应用等，音视频服务类型的交互应用可以包括：音乐应用、视频应用、广播应用等，存储服务类型的交互应用包括：行车记录应用，图像记录应用等。应理解，车辆参数控制应用可以用于调节车辆温度、净化车内空气等。
本实施例中，可以根据智能后视镜当前为用户提供的交互应用的类型，控制智能后视镜与用户进行语音交互或者动作交互。因为不同类型的交互应用具有其自身的属性，本实施例中可以依据交互应用的类型，确定更为适合当前交互应用的交互方式，可以提高交互成功率。
应理解，音视频服务器类型的交互应用在运行过程中，会不停地播放音频，播放的音频可能会导致无法准确识别用户的语音。
在一种可能的实现方式中，本实施例可以将音视频服务器类型设置为第一类型，也就是说，第一类型的交互应用是为用户提供音频服务的交互应用。
本实施例中，若检测到智能后视镜当前为用户提供的交互应用的类型为第一类型，则控制智能后视镜与用户进行动作交互。若定智能后视镜当前为用户提供的交互应用的类型为非第一类型，则控制智能后视镜与用户进行语音交互。因为音频服务器类型的交互应用在运行过程中，会不停地播放音频，播放的音频可能会导致无法准确识别用户的语音，对于音频服务类型的交互应用可以采用动作识别，对于非音频服务类型的交互应用可以采用语音识别，可以提高交互成功率。
为了保证每个用户对交互方式的多元化选择，本实施例中可以针对用户的交互习惯，确定控制智能后视镜与用户进行动作交互或者语音交互，以使得采用更为适合用户习惯的交互方式与用户进行交互，能够提高用户体验。
在一种可能的实现方式中，本实施例中可以获取用户对智能后视镜上每种类型的交互应用的偏好交互，进而在智能后视镜当前为用户提供的交互应用的类型，控制智能后视镜与用户进行该类型交互应用的偏好交互。应理解，偏好交互指的是用户习惯或偏好采用的交互方式，偏好交互为语音交互或者动作交互。
其中，本实施例可以根据用户与智能后视镜上每种类型的交互应用的历史交互数据，确定用户对每种类型的交互应用的偏好交互。可选的，该历史交互数据可以为此次智能后视镜唤醒之前预设时间段内的交互数据。应理解，使用此次智能后视镜唤醒之前预设时间段内的交互数据作为历史交互数据，而非采用很久之前的历史交互数据，是为了更加准确的确定用户近段时间的偏好交互，以提高确定的用户偏好交互的准确性，进而提高控制智能后视镜与用户的交互方式的准确性。
本实施例中根据历史交互数据，确定用户对每种类型的交互应用的偏好交互的方式可以为：根据历史交互数据，确定用户与每种类型的交互应用的动作交互占比和语音交互占比。应理解，本实施例中可以统计用户与交互应用的偏好交互的动作交互次数和语音交互次数，将动作交互次数占交互总次数的比例作为动作交互占比，将语音交互次数占交互总次数的比例作为语音交互占比。其中，可以将用户与交互应用交互的过程中的每一个动作作为一次动作交互，将用户与交互应用交互的过程中的说的每一次说话作为一次语音交互。
若确定第二类型的交互应用的动作交互占比大于等于语音交互占比，则确定用户对第二类型的交互应用的偏好交互为动作交互。若确定第二类型的交互应用的动作交互占比小于语音交互占比，则确定用户对第二类型的交互应用的偏好交互为语音交互。其中，第二类型为智能后视镜上的交互应用类型中任一类型，如第二类型可以为音视频服务类型、显示服务类型或存储服务类型等。
示例性的，如根据音视频服务类型的交互应用的历史交互数据，确定用户与该类型的交互应用的动作交互占比为80％，而用户与该类型的交互应用的语音交互占比为20％，则确定用户对音视频服务类型的交互应用的偏好交互为动作交互。如根据显示服务类型的交互应用的历史交互数据，确定用户与该类型的交互应用的动作交互占比为30％，而用户与该类型的交互应用的语音交互占比为70％，则确定用户对显示服务类型的交互应用的偏好交互为语音交互。
进一步的，在确定用户对智能后视镜上每种类型的交互应用的偏好交互后，可以根据智能后视镜当前为用户提供的交互应用的类型，确定用户对智能后视镜当前为用户提供的交互应用的偏好交互，进而控制智能后视镜与用户进行偏好交互。本实施例中根据智能后视镜上每种类型的交互应用的历史交互数据，确定所述用户对每种类型的交互应用的偏好交互，以确定用户的偏好交互，进而为确定准确的交互方式奠定了基础。
在该种场景下，可以根据智能后视镜当前为用户提供的交互应用的类型，或者用户对每种类型的交互应用的偏好交互，确定智能后视镜采用更为准确、更为适合用户习惯的交互方式与用户进行交互，能够提高用户体验。
第三种场景：智能后视镜的当前使用状态为智能后视镜当前与用户进行语音交互的交互内容。
本实施例中可以根据智能后视镜当前与用户进行语音交互的交互内容，控制智能后视镜与用户进行语音交互或者动作交互。其中，智能后视镜当前与用户进行语音交互的交互内容可以为智能后视镜当前播放的音频的内容。应理解，该智能后视镜当前播放的音频可以为响应于用户的语音或动作播放的音频，如“您确定播放这首歌曲吗”。或者该智能后视镜当前播放的音频还可以为智能后视镜开机后主动播放的音频，如“现在为您规划到家的路线，好吗”。应理解，该主动播放的音频可以为预定义的或用户设置的。在该设计中，不同交互内容，用户响应的方式可能不同，本实施例中可以根据交互内容采用更为适合用户的交互方式，可以提高用户体验。
在一种可能的实现方式中，本实施例中可以根据智能后视镜当前与用户进行语音交互的交互内容的语义，确定控制智能后视镜与用户进行语音交互或者动作交互。具体的，可以通过判断交互内容是否指示用户进行确认、选择或翻页的操作，确定控制智能后视镜与用户进行语音交互或者动作交互。其中，若交互内容是否指示用户进行确认、选择或翻页的操作，则控制智能后视镜与用户进行动作交互，反之，则控制智能后视镜与用户进行语音交互。
示例性的，如智能后视镜当前与用户进行语音交互的交互内容为“现在为您规划到家的路线，好吗”，该交互内容指示用户进行确认的操作，则可以控制智能后视镜与用户进行动作交互。其中，用户进行确认的操作可以为头部动作，具体可以为点头或摇头。
示例性的，如智能后视镜当前与用户进行语音交互的交互内容为“现在为您找到两首歌曲，第一首为歌曲A，第二首为歌曲B”，该交互内容指示用户进行选择的操作，则可以控制智能后视镜与用户进行动作交互。其中，用户进行选择的操作可以为手部动作，具体可以将伸出的手指头的数目表示选择的歌曲，如伸出一根手指头标识选择歌曲A，伸出两根手指头标识选择歌曲B。
示例性的，如智能后视镜当前与用户进行语音交互的交互内容为“请在下一页输入您的手机号码”，该交互内容指示用户进行翻页的操作，则可以控制智能后视镜与用户进行动作交互。其中，用户进行翻页的操作可以为手部动作，具体可以手掌从右往左滑动表示翻页。
在一种可能的实现方式中，本实施例中智能后视镜当前与用户进行语音交互的交互内容均标注有标签，该标签指示用户基于交互内容的交互方式。示例性的，智能后视镜当前与用户进行语音交互的交互内容为“请在下一页输入您的手机号码”，该交互内容的标签为“语音交互、动作交互”，则该标签指示用户基于交互内容的交互方式包括语音交互和动作交互，也就是说，该标签指示用户响应于该交互内容的交互方式包括语音交互和动作交互。
本实施例中可以根据交互内容，以及交互内容的标签，控制智能后视镜与用户进行语音交互或者动作交互。其中，交互内容的标签中只要有动作交互，则可以控制智能后视镜与用户进行动作交互。也就是说，若交互内容的标签中包括动作交互，则控制智能后视镜与用户进行动作交互，若交互内容的标签中不包括动作交互，则控制智能后视镜与用户进行语音交互。
在该种场景下，可以智能后视镜当前与用户进行语音交互的交互内容的语义或标签，确定智能后视镜采用更为准确、更为适合用户习惯的交互方式与用户进行交互，能够提高用户体验。
在上述实施例的基础上，下面结合图3对本申请提供的智能后视镜的交互方法进行进一步详细说明。图3为本申请提供的智能后视镜的交互方法的实施例的流程示意图二。如图3所示，本实施例提供的智能后视镜的交互方法可以包括：
S301，在智能后视镜唤醒之后，确定智能后视镜的当前使用状态。
S302，根据智能后视镜的当前使用状态，若确定控制智能后视镜与用户进行动作交互，则控制智能后视镜的摄像头打开，且控制摄像头采集用户的动作。
S303，根据用户的动作，执行相应的操作。
S304，根据智能后视镜的当前使用状态，若确定控制智能后视镜与用户进行语音交互，则采集用户的语音，且获取语音的语义。
S305，根据语音的语义，执行相应的操作。
上述S301中的实施方式可以参照上述实施例S201的相关描述，在此不做赘述，且S302中确定控制智能后视镜与用户进行动作交互的方式，以及S304中确定控制智能后视镜与用户进行语音交互的方式可以参照上述实施例S202的相关描述，在此不做赘述。应理解，上述S302-S303和S304-S305是择一执行的步骤。
上述S302中，根据智能后视镜的当前使用状态，若确定控制智能后视镜与用户进行动作交互，则控制智能后视镜与用户进行动作交互，具体的是，可以控制智能后视镜的摄像头打开，且可以控制摄像头采集用户的动作。应理解，本实施例中在智能后视镜启动时，可以控制智能后视镜的摄像头打开。其中，在摄像头打开后，若智能后视镜与用户在预设时间段内进行语音交互，则可以控制摄像头进入休眠状态。本实施例中在确定智能后视镜与用户进行动作交互时，可以控制摄像头打开，以控制摄像头采集用户的动作，以减少摄像头的耗电量。应理解，在控制摄像头采集用户的动作时，可以向摄像头发送需要采集的用户的动作。其中，用户的动作可以包括：头部动作、手势动作或肢体动作等。头部动作可以包括点头、摇头、眨眼睛、做鬼脸等。手势动作可以包括伸出几根手指头、手掌滑动，比OK、比爱心等。肢体动作可以为双手交叉、加油的姿势等。
其中，为了保证用户的驾驶安全，可以根据车辆的行驶状态确定设置用户的动作。可选的，若车辆处于行驶状态，为了保证用户的双手不脱离方向盘，则用户的动作为头部动作。若车辆处于非行驶状态，则用户的动作包括：头部动作和/或手部动作。
上述S303中，可以控制摄像头采集用户的动作，且可以向摄像头发送需要采集的用户的动作的标识，即预设动作的标识。其中，预设动作的标识用于表征该预设动作。摄像头中均可以存储预设动作的标识和预设动作的标识的对应关系。其中，摄像头可以根据预设动作的标识，确定需要采集的用户的动作，在采集到用户的动作后，可以将采集到的动作与需要采集到的动作(即预设动作)进行比较，确定是否为该预设动作，
当确定采集到预设动作，则可以向智能后视镜的交互装置发送成功采集信息以及用户的动作的标识(即预设动作的标识)，以使得该智能后视镜的交互装置确定用户的动作为预设动作，以根据用户的动作的标识执行相应的操作。应理解，智能后视镜的交互装置中可以存储有预设动作的标识和指令的对应关系，可以在接收到摄像头发送的成功采集响应时，根据预设动作的标识和指令的对应关系，获取该动作对应的指令，进而根据指令，执行相应的操作。
示例性的，表一中为智能后视镜的交互装置中存储的预设动作的标识和指令的对应关系：
表一
Figure GDA0002849584450000131
Figure GDA0002849584450000141
如智能后视镜播放音频“现在为您规划到家的路线，好吗”，该音频指示用户进行确认的操作，则可以控制智能后视镜的摄像头采集用户的动作。其中，用户进行确认的预设动作可以为头部动作，具体可以为点头或摇头。则可以向摄像头发送需要采集的用户的动作的标识为1或2。其中，若摄像头采集到用户点头的动作，则可以跟预设动作1或2进行比较，在确定用户的动作为预设动作1时，可以将该预设动作的标识1以及成功采集信息发送给智能后视镜的交互装置，以使智能后视镜的交互装置确定用户的动作为预设动作1，则可以根据该预设动作1对应的指令，执行相应的操作。
图4为本申请提供的智能后视镜与用户的交互示意图一。如图4中的a所示，示例性的，如智能后视镜播放音频“现在为您规划到家的路线，好吗”，该音频指示用户进行确认的操作，则可以控制智能后视镜的摄像头采集用户点头或摇头的动作。如图4中的a所示，当摄像头采集到用户点头的动作，则可以向智能后视镜的交互装置发送用户点头的动作的标识，以使得智能后视镜的交互装置确定该用户点头的动作是预设动作，且可以根据预设动作的标识和指令的对应关系，获取该用户点头的动作对应的指令为同意该建议，因此可以在智能后视镜的界面上显示规划路线，如图4中的b所示。
可选的，在执行与预设动作对应的相应的操作时，可以播放音频，音频指示正在执行相应的操作。在该种情况下，在执行相应的操作可以播放提醒用户正在执行的动作，用户不用抬头看智能后视镜，能够保证用户的驾驶安全。示例性的，如图4中的b所示，可以播放如“已为您规划到家的路线，准备出发，请行驶到XX路”。
图5为本申请提供的智能后视镜与用户的交互示意图二。如图5中的a所示，示例性的，如智能后视镜播放音频“现在为您找到两首歌曲，第一首为歌曲A，第二首为歌曲B，要听哪一首”，该音频指示用户进行选择的操作，则可以控制智能后视镜的摄像头采集用户的动作。其中，用户进行选择的预设动作可以为手部动作，具体可以为伸出手指头，且手指头的个数代表用户的选择。如图5中的a所示，当摄像头采集到用户伸出一根手指头的动作，则可以向智能后视镜的交互装置发送用户伸出一根手指头的动作的标识，以使得智能后视镜的交互装置确定该用户伸出一根手指头的动作是预设动作，且可以根据预设动作的标识和指令的对应关系，获取该用户点头的动作对应的指令为用户的选择是1，则结合智能后视镜播放的音频可以确定该指令指示播放歌曲A，因此可以播放歌曲A，如图5中的b所示。可选的，本实施例中，如图5中的b所示，还可以播放如“为您播放歌曲A”，以指示正在执行相应的操作。
图6为本申请提供的智能后视镜与用户的交互示意图三。如图6中的a所示，示例性的，如智能后视镜播放音频“请在下一页输入您的手机号码”，该音频指示用户进行翻页的操作，则可以控制智能后视镜的摄像头采集用户的动作。其中，用户进行翻页的预设动作可以为手部动作，具体可以为手掌左右滑动，其中手掌从右往左滑动代表向右翻页，手掌从左往右滑动代表向左翻页。如图6中的a所示，当摄像头采集到用户手掌从右往左滑动的动作，则可以向智能后视镜的交互装置发送手掌从右往左滑动的动作的标识，以使得智能后视镜的交互装置确定该手掌从右往左滑动的动作是预设动作，且可以根据预设动作的标识和指令的对应关系，获取该用户手掌从右往左滑动的动作对应的指令为向右翻页，因此可以在智能后视镜可以执行向右翻页的操作，如图6中的b所示，智能后视镜的界面变化为用户输入手机号码的界面。可选的，本实施例中，如图6中的b所示，还可以播放如“正在翻页”或者“已翻页”，以指示正在执行相应的操作。
应注意，若智能摄像头采集用户的动作，且与预设动作进行比较时，确定用户的动作为非预设动作，则可以向智能摄像头的交互装置发送采集失败信息，在接收到该采集失败信息后，可以确定用户的动作为非预设动作，则控制智能后视镜与用户进行语音交互。
图7为本申请提供的智能后视镜与用户的交互示意图四。如图7中的a所示，示例性的，如智能后视镜播放音频“请在下一页输入您的手机号码”，该音频指示用户进行翻页的操作，则可以控制智能后视镜的摄像头采集用户的动作。若用户未做出预设动作或做出的动作不是手掌滑动翻页的操作，则摄像头可以向智能摄像头的交互装置发送采集失败信息，此时，可以控制智能后视镜与用户进行语音交互。如图7中的b所示，用户可以说出“翻到下一页”，进而可以根据用户的语音执行翻页操作，如图7中的b中智能后视镜的界面为用户输入手机号码的界面。
上述S304中，本实施例中，根据智能后视镜的当前使用状态，若确定控制智能后视镜与用户进行语音交互，则控制智能后视镜与用户进语音交互，具体的是，可以采集用户的语音，且获取语音的语义。
上述S305中，根据语音的语义，执行相应的操作。
其中，本实施例中根据获取用户的语音的语义，以及执行相应的操作的方式具体可以参照现有技术中的语音交互方式。示例性的，如图7所示，在控制智能后视镜与用户进行语音交互时，可以采集用户的语音，如“翻到下一页”，该语音的语义为指示翻页，则执行相应的翻页操作，如图7中的b所示。
应理解，图4-图7中的图示，其中智能后视镜与用户进行动作交互时，以智能后视镜为白色圆圈表示智能后视镜处于打开状态，智能后视镜与用户进行语音交互时，以智能后视镜为黑色圆圈表示智能后视镜处于关闭状态。
本实施例中，在控制智能后视镜与用户进行动作交互时，若采集的用户的动作为预设动作，则可以执行相应的操作，若采集的用户的动作为预设动作，则可以控制智能后视镜与用户进行语音交互，本实施例中可以根据智能后视镜的当前使用状态，以及用户的动作确定智能后视镜执行相应的操作或与用户进行语音交互，进而可以采用更为便捷以及更贴合用户行为的交互方式与用户交互，在增加了与用户的交互方式的前提下，还能够提高交互成功率。
图8为本申请提供的智能后视镜的交互装置的结构示意图。如图8所示，该智能后视镜的交互装置800包括：第一处理模块801和第二处理模块802。
第一处理模块801，用于在智能后视镜唤醒之后，确定智能后视镜的当前使用状态。
第二处理模块802，用于根据智能后视镜的当前使用状态，控制智能后视镜与用户进行交互。
在一种可能的设计中，第一处理模块801，具体用于确定智能后视镜当前是否处于环境嘈杂状态。
相应的，第二处理模块802，具体用于若智能后视镜当前处于环境嘈杂状态，则控制智能后视镜与用户进行动作交互；若智能后视镜当前未处于环境嘈杂状态，则控制智能后视镜与用户进行语音交互。
在一种可能的设计中，第一处理模块801，还用于获取智能后视镜当前所处环境的噪音分贝值，若噪音分贝值大于预设分贝阈值，则确定智能后视镜当前处于环境嘈杂状态。
在一种可能的设计中，第一处理模块801，具体用于确定智能后视镜当前为用户提供的交互应用的类型。
相应的，第二处理模块802，具体用于根据智能后视镜当前为用户提供的交互应用的类型，控制智能后视镜与用户进行语音交互或者动作交互。
在一种可能的设计中，交互应用，包括：音乐应用、导航应用或车辆参数控制应用。
在一种可能的设计中，第二处理模块802，具体用于若确定智能后视镜当前为用户提供的交互应用的类型为第一类型，则控制智能后视镜与用户进行动作交互，第一类型的交互应用是为用户提供音频服务的交互应用；若确定智能后视镜当前为用户提供的交互应用的类型为非第一类型，则控制智能后视镜与用户进行语音交互。
在一种可能的设计中，第二处理模块802，具体用于根据用户与智能后视镜上每种类型的交互应用的历史交互数据，确定用户对每种类型的交互应用的偏好交互，偏好交互为语音交互或者动作交互；根据用户对每种类型的交互应用的偏好交互，以及智能后视镜当前为用户提供的交互应用的类型，确定用户对智能后视镜当前为用户提供的交互应用的偏好交互；控制智能后视镜与用户进行偏好交互。
在一种可能的设计中，第二处理模块802，具体用于根据历史交互数据，确定用户与每种类型的交互应用的动作交互占比和语音交互占比；若确定第二类型的交互应用的动作交互占比大于等于语音交互占比，则确定用户对第二类型的交互应用的偏好交互为动作交互，第二类型为智能后视镜上的交互应用类型中任一类型；若确定第二类型的交互应用的动作交互占比小于语音交互占比，则确定用户对第二类型的交互应用的偏好交互为语音交互。
在一种可能的设计中，第一处理模块801，具体用于确定智能后视镜当前与用户进行语音交互的交互内容。
相应的，第二处理模块802，具体用于根据智能后视镜当前与用户进行语音交互的交互内容，控制智能后视镜与用户进行语音交互或者动作交互。
在一种可能的设计中，第二处理模块802，具体用于判断交互内容是否指示用户进行确认、选择或翻页的操作；若是，则控制智能后视镜与用户进行动作交互；若否，则控制智能后视镜与用户进行语音交互。
在一种可能的设计中，第二处理模块802，具体用于根据交互内容，以及交互内容的标签，控制智能后视镜与用户进行语音交互或者动作交互，标签指示用户基于交互内容的交互方式。
在一种可能的设计中，第二处理模块802，具体用于若交互内容的标签中包括动作交互，则控制智能后视镜与用户进行动作交互；若交互内容的标签中不包括动作交互，则控制智能后视镜与用户进行语音交互。
在一种可能的设计中，第二处理模块802，具体用于控制智能后视镜的摄像头打开，且控制摄像头采集用户的动作；根据用户的动作，执行相应的操作。
在一种可能的设计中，第二处理模块802，具体用于若确定动作为预设动作，则获取动作对应的指令；根据指令，执行相应的操作。
在一种可能的设计中，第二处理模块802，还用于若确定动作为非预设动作，则控制智能后视镜与用户进行语音交互。
在一种可能的设计中，第二处理模块802，具体用于采集用户的语音，且获取语音的语义；根据语音的语义，执行相应的操作。
在一种可能的设计中，第二处理模块802，还用于在执行相应的操作时，播放音频，音频指示正在执行相应的操作。
在一种可能的设计中，若车辆处于行驶状态，则用户的动作为头部动作；若车辆处于非行驶状态，则用户的动作包括：头部动作和/或手部动作。
本实施例提供的智能后视镜的交互装置与上述智能后视镜的交互方法实现的原理和技术效果类似，在此不作赘述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。根据本申请的实施例，本申请还提供了一种计算机程序产品，程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。图9为本申请提供的电子设备的结构示意图。该电子设备可以为智能后视镜。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图9所示，该电子设备包括：一个或多个处理器901、存储器902，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/显示装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作。图9中以一个处理器901为例。
存储器902即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的智能后视镜的交互方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的智能后视镜的交互方法。
存储器902作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的智能后视镜的交互方法对应的程序指令/模块。处理器901通过运行存储在存储器902中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的智能后视镜的交互方法。
存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据用于执行智能后视镜的交互方法的电子设备的使用所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至用于执行智能后视镜的交互方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
智能后视镜的交互方法的电子设备还可以包括：输入装置903、音频输出装置904、摄像头905和显示装置906。其中，该摄像头905可以为智能后视镜的前置摄像头，摄像头905用于在处理器901的控制下采集用户的动作，执行上述实施例中摄像头的动作，音频输出装置904用于在处理器901的控制下输出音频，以实现与用户的交互，显示装置906用于显示电子设备的界面，如显示上述图4-图7中所示的智能后视镜的界面。
处理器901、存储器902、输入装置903、音频输出装置904、摄像头905和显示装置906可以通过总线或者其他方式连接，图9中以通过总线连接为例。
其中，输入装置903可接收输入的数字或字符信息，以及产生与用于执行智能后视镜的交互方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。显示装置906可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个音频输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个音频输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (18)

1.一种智能后视镜的交互方法，其特征在于，包括：
在智能后视镜唤醒之后，确定所述智能后视镜的当前使用状态；
根据所述智能后视镜的当前使用状态，控制所述智能后视镜与用户进行交互；
所述确定所述智能后视镜的当前使用状态，包括：
确定所述智能后视镜当前与用户进行语音交互的交互内容；
所述根据所述智能后视镜的当前使用状态，控制所述智能后视镜与用户进行交互，包括：
判断所述交互内容是否指示用户进行确认、选择或翻页的操作；
若是，则控制所述智能后视镜与用户进行动作交互；
若否，则控制所述智能后视镜与用户进行语音交互；
或者，
所述根据所述智能后视镜的当前使用状态，控制所述智能后视镜与用户进行交互，包括：
根据所述交互内容，以及所述交互内容的标签，控制所述智能后视镜与用户进行语音交互或者动作交互，所述标签指示所述用户基于所述交互内容的交互方式。
2.根据权利要求1所述的方法，其特征在于，所述确定所述智能后视镜的当前使用状态，包括：
确定所述智能后视镜当前是否处于环境嘈杂状态；
相应的，所述根据所述智能后视镜的当前使用状态，控制所述智能后视镜与用户进行交互，包括：
若所述智能后视镜当前处于环境嘈杂状态，则控制所述智能后视镜与用户进行动作交互；
若所述智能后视镜当前未处于环境嘈杂状态，则控制所述智能后视镜与用户进行语音交互。
3.根据权利要求2所述的方法，其特征在于，所述确定所述智能后视镜当前是否处于环境嘈杂状态，包括：
获取所述智能后视镜当前所处环境的噪音分贝值；
若所述噪音分贝值大于预设分贝阈值，则确定所述智能后视镜当前处于环境嘈杂状态。
4.根据权利要求1所述的方法，其特征在于，所述确定所述智能后视镜的当前使用状态，包括：
确定所述智能后视镜当前为用户提供的交互应用的类型；
相应的，所述根据所述智能后视镜的当前使用状态，控制所述智能后视镜与用户进行交互，包括：
根据所述智能后视镜当前为用户提供的交互应用的类型，控制所述智能后视镜与用户进行语音交互或者动作交互。
5.根据权利要求4所述的方法，其特征在于，所述交互应用，包括：
音乐应用、导航应用或车辆参数控制应用。
6.根据权利要求4所述的方法，其特征在于，所述根据所述智能后视镜当前为用户提供的交互应用的类型，控制所述智能后视镜与用户进行语音交互或者动作交互，包括：
若确定所述智能后视镜当前为用户提供的交互应用的类型为第一类型，则控制所述智能后视镜与用户进行动作交互，所述第一类型的交互应用是为所述用户提供音频服务的交互应用；
若确定所述智能后视镜当前为用户提供的交互应用的类型为非所述第一类型，则控制所述智能后视镜与用户进行语音交互。
7.根据权利要求4所述的方法，其特征在于，所述根据所述智能后视镜当前为用户提供的交互应用的类型，控制所述智能后视镜与用户进行语音交互或者动作交互，包括：
根据所述用户与所述智能后视镜上每种类型的交互应用的历史交互数据，确定所述用户对每种类型的交互应用的偏好交互，所述偏好交互为语音交互或者动作交互；
根据所述用户对每种类型的交互应用的偏好交互，以及所述智能后视镜当前为用户提供的交互应用的类型，确定所述用户对所述智能后视镜当前为用户提供的交互应用的偏好交互；
控制所述智能后视镜与用户进行所述智能后视镜当前为用户提供的交互应用的偏好交互。
8.根据权利要求7所述的方法，其特征在于，所述根据所述用户与所述智能后视镜上每种类型的交互应用的历史交互数据，确定所述用户对每种类型的交互应用的偏好交互，包括：
根据所述历史交互数据，确定所述用户与每种类型的交互应用的动作交互占比和语音交互占比；
若确定第二类型的交互应用的动作交互占比大于等于语音交互占比，则确定所述用户对第二类型的交互应用的偏好交互为动作交互，所述第二类型为所述智能后视镜上的交互应用类型中任一类型；
若确定第二类型的交互应用的动作交互占比小于语音交互占比，则确定所述用户对第二类型的交互应用的偏好交互为语音交互。
9.根据权利要求1所述的方法，其特征在于，所述根据所述交互内容，以及所述交互内容的标签，控制所述智能后视镜与用户进行语音交互或者动作交互，包括：
若所述交互内容的标签中包括动作交互，则控制所述智能后视镜与用户进行动作交互；
若所述交互内容的标签中不包括动作交互，则控制所述智能后视镜与用户进行语音交互。
10.根据权利要求2-9中任一项所述的方法，其特征在于，控制所述智能后视镜与用户进行动作交互，包括：
控制所述智能后视镜的摄像头打开，且控制所述摄像头采集所述用户的动作；
根据所述用户的动作，执行相应的操作。
11.根据权利要求10所述的方法，其特征在于，所述根据所述用户的动作，执行相应的操作，包括：
若确定所述动作为预设动作，则获取所述动作对应的指令；
根据所述指令，执行所述相应的操作。
12.根据权利要求10所述的方法，其特征在于，所述方法还包括：
若确定所述动作为非预设动作，则控制所述智能后视镜与用户进行语音交互。
13.根据权利要求2-9中任一项所述的方法，其特征在于，控制所述智能后视镜与用户进行语音交互，包括：
采集所述用户的语音，且获取所述语音的语义；
根据所述语音的语义，执行相应的操作。
14.根据权利要求10所述的方法，其特征在于，所述方法还包括：
在执行所述相应的操作时，播放音频，所述音频指示正在执行所述相应的操作。
15.根据权利要求10所述的方法，其特征在于，若安装有智能后视镜的车辆处于行驶状态，则所述用户的动作为头部动作；
若所述车辆处于非行驶状态，则所述用户的动作包括：头部动作和/或手部动作。
16.一种智能后视镜的交互装置，其特征在于，包括：
第一处理模块，用于在智能后视镜唤醒之后，确定所述智能后视镜的当前使用状态；
第二处理模块，用于根据所述智能后视镜的当前使用状态，控制所述智能后视镜与用户进行交互；
所述第一处理模块，具体用于确定智能后视镜当前与用户进行语音交互的交互内容；
所述第二处理模块，具体用于判断交互内容是否指示用户进行确认、选择或翻页的操作；若是，则控制智能后视镜与用户进行动作交互；若否，则控制智能后视镜与用户进行语音交互；
或者，
第二处理模块具体用于根据交互内容，以及交互内容的标签，控制智能后视镜与用户进行语音交互或者动作交互，标签指示用户基于交互内容的交互方式。
17.一种电子设备，其特征在于，包括：
至少一个处理器；
与所述至少一个处理器通信连接的存储器；以及，
摄像头、音频输出装置；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-15中任一项所述的方法，所述摄像头用于在所述处理器的控制下采集用户的动作，以实现电子设备与用户的动作交互，所述音频输出装置用于在所述处理器的控制下输出音频，以实现所述电子设备与用户的语音交互。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-15中任一项所述的方法。
CN202010450564.0A 2020-05-25 2020-05-25 智能后视镜的交互方法、装置、电子设备和存储介质 Active CN111625094B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010450564.0A CN111625094B (zh) 2020-05-25 2020-05-25 智能后视镜的交互方法、装置、电子设备和存储介质
KR1020210038153A KR20210040856A (ko) 2020-05-25 2021-03-24 스마트 백미러의 인터랙션 방법, 장치, 전자기기와 저장매체
JP2021053876A JP7204804B2 (ja) 2020-05-25 2021-03-26 スマートバックミラーのインタラクション方法、装置、電子機器及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010450564.0A CN111625094B (zh) 2020-05-25 2020-05-25 智能后视镜的交互方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN111625094A CN111625094A (zh) 2020-09-04
CN111625094B true CN111625094B (zh) 2023-07-14

Family

ID=72258024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010450564.0A Active CN111625094B (zh) 2020-05-25 2020-05-25 智能后视镜的交互方法、装置、电子设备和存储介质

Country Status (3)

Country Link
JP (1) JP7204804B2 (zh)
KR (1) KR20210040856A (zh)
CN (1) CN111625094B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113138737B (zh) * 2021-04-16 2023-11-03 阿波罗智联(北京)科技有限公司 投屏场景的显示控制方法、装置、设备、介质及程序产品
KR102551294B1 (ko) * 2021-12-23 2023-07-05 유니텔전자 (주) 인공 지능 기반의 스마트 백미러 제어 방법 및 그를 위한 장치 및 시스템
CN117931357B (zh) * 2024-03-22 2024-06-18 东莞莱姆森科技建材有限公司 基于交互数据处理的智能镜子、镜柜及其控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004151562A (ja) * 2002-10-31 2004-05-27 Seiko Epson Corp 音声対話制御方法および音声対話制御装置
US9721570B1 (en) * 2013-12-17 2017-08-01 Amazon Technologies, Inc. Outcome-oriented dialogs on a speech recognition platform
CN108510986A (zh) * 2018-03-07 2018-09-07 北京墨丘科技有限公司 语音交互方法、装置、电子设备及计算机可读存储介质
CN110910872A (zh) * 2019-09-30 2020-03-24 华为终端有限公司 语音交互方法及装置
CN111103982A (zh) * 2019-12-26 2020-05-05 上海纸上绝知智能科技有限公司 基于体感交互的数据处理方法以及装置、系统

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060287821A1 (en) * 2005-06-15 2006-12-21 William Lin Computer rearview mirror
US20130159939A1 (en) * 2011-10-12 2013-06-20 Qualcomm Incorporated Authenticated gesture recognition
TWI459333B (zh) * 2012-02-17 2014-11-01 Utechzone Co Ltd An Attractive Force Detection Device and Its Method for Interactive Voice
JP2013186646A (ja) * 2012-03-07 2013-09-19 Toshiba Corp 情報処理装置および情報処理装置の制御方法
US20130257620A1 (en) * 2012-03-30 2013-10-03 Utechzone Co., Ltd. Device and method for detecting driver's attention through interactive voice questioning
KR101999182B1 (ko) * 2012-04-08 2019-07-11 삼성전자주식회사 사용자 단말 장치 및 그의 제어 방법
JP2014085954A (ja) * 2012-10-25 2014-05-12 Kyocera Corp 携帯端末装置、プログラムおよび入力操作受け付け方法
TWI535585B (zh) * 2013-06-03 2016-06-01 鴻海精密工業股份有限公司 汽車、應用於汽車上之車載輔助系統及車載輔助裝置
JP6553052B2 (ja) * 2014-01-03 2019-07-31 ハーマン インターナショナル インダストリーズ インコーポレイテッド ジェスチャ相互作用式の装着可能な空間オーディオシステム
US9524142B2 (en) * 2014-03-25 2016-12-20 Honeywell International Inc. System and method for providing, gesture control of audio information
JP2015219228A (ja) * 2014-05-21 2015-12-07 株式会社ナビタイムジャパン 情報処理システム、情報処理装置、情報処理方法、情報処理プログラム、および、端末装置
US10282052B2 (en) * 2015-10-15 2019-05-07 At&T Intellectual Property I, L.P. Apparatus and method for presenting information associated with icons on a display screen
US20180222391A1 (en) * 2017-02-03 2018-08-09 Da Xiang CHEN Multi-function, Network Linked Smart Rearview Mirror
CN108447472B (zh) * 2017-02-16 2022-04-05 腾讯科技（深圳）有限公司 语音唤醒方法及装置
US20180276908A1 (en) * 2017-03-22 2018-09-27 Solera Holdings, Inc. Power Management for a Vehicle Smart Mirror System
CN107239139B (zh) * 2017-05-18 2018-03-16 刘国华 基于正视的人机交互方法与系统
CN107452378A (zh) * 2017-08-15 2017-12-08 北京百度网讯科技有限公司 基于人工智能的语音交互方法和装置
US10596970B2 (en) * 2017-08-25 2020-03-24 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Auto-switch display intelligent rearview mirror system
CN107799125A (zh) * 2017-11-09 2018-03-13 维沃移动通信有限公司 一种语音识别方法、移动终端及计算机可读存储介质
CN108052079B (zh) * 2017-12-12 2021-01-15 北京小米移动软件有限公司 设备控制方法、装置、设备控制装置及存储介质
CN108337362A (zh) * 2017-12-26 2018-07-27 百度在线网络技术（北京）有限公司 语音交互方法、装置、设备和存储介质
CN108181992A (zh) * 2018-01-22 2018-06-19 北京百度网讯科技有限公司 基于手势的语音唤醒方法、装置、设备及计算机可读介质
EP3721428A4 (en) * 2018-03-08 2021-01-27 Samsung Electronics Co., Ltd. INTERACTIVE RESPONSE PROCESS BASED ON INTENTIONS, AND ASSOCIATED ELECTRONIC DEVICE
JP6966979B2 (ja) * 2018-06-26 2021-11-17 株式会社日立製作所 対話システムの制御方法、対話システム及びプログラム
WO2020025769A1 (en) * 2018-08-03 2020-02-06 Re Mago Holding Ltd Method, apparatus, and computer-readable medium for propagating enriched note data objects over a web socket connection in a networked collaboration workspace
US10984229B2 (en) * 2018-10-11 2021-04-20 Chris Talbot Interactive sign language response system and method
CN110109596B (zh) * 2019-05-08 2021-11-16 芋头科技（杭州）有限公司 交互方式的推荐方法、装置以及控制器和介质
CN110164440B (zh) * 2019-06-03 2022-08-09 交互未来(北京)科技有限公司 基于捂嘴动作识别的语音交互唤醒电子设备、方法和介质
CN110335600A (zh) * 2019-07-09 2019-10-15 四川长虹电器股份有限公司 家电设备的多模态交互方法及系统
CN110515449B (zh) * 2019-08-30 2021-06-04 北京安云世纪科技有限公司 唤醒智能设备的方法及装置
CN111045639B (zh) * 2019-12-11 2021-06-22 深圳追一科技有限公司 语音输入方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004151562A (ja) * 2002-10-31 2004-05-27 Seiko Epson Corp 音声対話制御方法および音声対話制御装置
US9721570B1 (en) * 2013-12-17 2017-08-01 Amazon Technologies, Inc. Outcome-oriented dialogs on a speech recognition platform
CN108510986A (zh) * 2018-03-07 2018-09-07 北京墨丘科技有限公司 语音交互方法、装置、电子设备及计算机可读存储介质
CN110910872A (zh) * 2019-09-30 2020-03-24 华为终端有限公司 语音交互方法及装置
CN111103982A (zh) * 2019-12-26 2020-05-05 上海纸上绝知智能科技有限公司 基于体感交互的数据处理方法以及装置、系统

Also Published As

Publication number Publication date
CN111625094A (zh) 2020-09-04
KR20210040856A (ko) 2021-04-14
JP2021103580A (ja) 2021-07-15
JP7204804B2 (ja) 2023-01-16

Similar Documents

Publication Publication Date Title
CN111625094B (zh) 智能后视镜的交互方法、装置、电子设备和存储介质
CN108874967B (zh) 对话状态确定方法及装置、对话系统、终端、存储介质
JP5601045B2 (ja) ジェスチャ認識装置、ジェスチャ認識方法およびプログラム
CN104838335B (zh) 使用凝视检测的设备的交互和管理
Lian et al. Automatic user state recognition for hand gesture based low-cost television control system
EP3611055A1 (en) Multimedia information push method and apparatus, storage medium, and electronic device
US20200286484A1 (en) Methods and systems for speech detection
US11126140B2 (en) Electronic device, external device capable of being combined with the electronic device, and a display method thereof
CN105122353A (zh) 用于虚拟个人助理系统的自然人-计算机交互
CN112863508A (zh) 免唤醒交互方法和装置
CN111913585A (zh) 一种手势识别方法、装置、设备及存储介质
CN108650401A (zh) 一种应用程序控制方法及移动终端
CN112133307A (zh) 人机交互方法、装置、电子设备及存储介质
CN110544287A (zh) 一种配图处理方法及电子设备
KR20200099380A (ko) 음성 인식 서비스를 제공하는 방법 및 그 전자 장치
CN114333774B (zh) 语音识别方法、装置、计算机设备及存储介质
CN109976515B (zh) 一种信息处理方法、装置、车辆及计算机可读存储介质
CN111050105A (zh) 视频播放方法、装置、玩具机器人及可读存储介质
CN114489331A (zh) 区别于按钮点击的隔空手势交互方法、装置、设备和介质
CN112825256B (zh) 录制语音包功能的引导方法、装置、设备和计算机存储介质
CN109725722B (zh) 有屏设备的手势控制方法和装置
CN113948076A (zh) 语音交互方法、设备和系统
CN111539202A (zh) 一种用于自然语言内容标题消歧的方法、设备和系统
EP4350484A1 (en) Interface control method, device, and system
CN116409333A (zh) 交互方法、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211019

Address after: 100176 101, floor 1, building 1, yard 7, Ruihe West 2nd Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Applicant after: Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd.

Address before: 2 / F, baidu building, 10 Shangdi 10th Street, Haidian District, Beijing 100085

Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant