CN110856107B - 智能导游方法、系统、服务器及车辆 - Google Patents

智能导游方法、系统、服务器及车辆 Download PDF

Info

Publication number
CN110856107B
CN110856107B CN201810956107.1A CN201810956107A CN110856107B CN 110856107 B CN110856107 B CN 110856107B CN 201810956107 A CN201810956107 A CN 201810956107A CN 110856107 B CN110856107 B CN 110856107B
Authority
CN
China
Prior art keywords
scenic spot
vehicle
information
target
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810956107.1A
Other languages
English (en)
Other versions
CN110856107A (zh
Inventor
时红仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Qwik Smart Technology Co Ltd
Original Assignee
Shanghai Qwik Smart Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Qwik Smart Technology Co Ltd filed Critical Shanghai Qwik Smart Technology Co Ltd
Priority to CN201810956107.1A priority Critical patent/CN110856107B/zh
Publication of CN110856107A publication Critical patent/CN110856107A/zh
Application granted granted Critical
Publication of CN110856107B publication Critical patent/CN110856107B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

本申请涉及一种智能导游方法、系统、服务器及车辆，车辆在收到介绍景点的语音指令时，根据语音指令包含的景点类型生成景点信息获取请求，并将景点信息获取请求及实时采集的车外视频、眼球跟踪信息通过5G车联网网络发送给服务器，服务器在收到景点信息获取请求时，获取车辆的实时位置，根据实时位置、眼球跟踪信息、车外视频及景点类型确定道路侧的目标景点并获取目标景点的景点信息，以及，通过5G车联网网络将获取的景点信息发送给车辆以展示给用户。本申请能够在收到指令时根据眼球跟踪信息及时获取用户意图，同时5G车联网网络使服务器能够同时处理车外视频及车辆位置，从而便捷、及时地提供导游服务，实现所见即所得的出行体验。

Description

智能导游方法、系统、服务器及车辆
技术领域
本申请涉及车辆技术领域，具体涉及一种智能导游方法、系统、服务器及车辆。
背景技术
随着我国汽车工业的快速发展和人们生活水平的提高，居民家庭的汽车拥有量快速增加，汽车逐步成为了人们生活中不可或缺的交通工具之一。
同时，人们不再将汽车定位为简单的交通运输工具与代步工具，通过汽车实现智能出行等方面的需求越来越大，想要实现智能出行，需要将每个独立的车通过车联网技术进行连接以进行大数据分析，这导致了车载通信的频谱资源短缺、频段拥挤、安全等问题日益突出。而随着第五代移动通信(5G)的快速发展，其低时延、高可靠、频谱高效利用等方面的性能可以有效解决当前车联网的问题，因此5G车联网的实现与部署将势在必行。
另一方面，眼球追踪技术可根据眼球和眼球周边的特征变化进行跟踪，或根据虹膜角度变化进行跟踪，或是主动投射红外线等光束到虹膜来提取特征，当人的眼睛看向不同方向时，眼部会有细微的变化，这些变化会产生可以提取的特征，计算机可以通过图像捕捉或扫描提取这些特征，从而实时追踪眼睛的变化，预测用户的状态和需求，并进行响应，达到用眼睛控制设备的目的。对于汽车厂商来说，眼球追踪技术的应用还是一个全新的课题，目前主要使用摄像头来监控司机的眼球运动，如果司机的眼睛闭合时间稍长，系统就会启动声音警报器唤醒司机以防止事故发生。由于眼球追踪技术在汽车领域的应用目前仍局限于对眼球状态的分析，而未真正应用于对用户的意图识别上，如此，在一种场景下，当用户开车经过一段道路并观看周围感兴趣的景点时，由于没有导游陪同且车辆无法及时获取用户的意图，使得用户无法及时获取所需的信息，影响用户的出行体验。
针对上述问题，本领域技术人员一直在寻求解决办法。
发明内容
本申请的目的在于，提供一种智能导游方法、系统、服务器及车辆，其可以解决上述技术问题，能够在收到指令时根据眼球跟踪信息及时获取用户意图，同时5G车联网网络使服务器能够同时处理车外视频及车辆位置，从而便捷、及时地提供导游服务，实现所见即所得的出行体验。
为解决上述技术问题，本申请提供一种智能导游方法，包括：
车辆在收到介绍景点的语音指令时，根据所述语音指令包含的景点类型生成景点信息获取请求，并将所述景点信息获取请求及实时采集的车外视频、眼球跟踪信息通过5G车联网网络发送给服务器；
所述服务器在收到所述景点信息获取请求时，获取所述车辆的实时位置，根据所述实时位置、眼球跟踪信息、车外视频及景点类型确定道路侧的目标景点并获取所述目标景点的景点信息，以及，通过5G车联网网络将获取的景点信息发送给所述车辆，以使得所述车辆将所述景点信息展示给用户。
其中，所述根据所述实时位置、眼球跟踪信息、车外视频及景点类型确定道路侧的目标景点并获取所述目标景点的景点信息，包括：
所述服务器根据所述眼球跟踪信息获取用户的眼球运动角度；
根据所述眼球运动角度及所述实时位置确定道路侧的坐标范围；
若所述坐标范围持续设定时长保持一致，则将处于所述坐标范围内的符合所述景点类型的景点确认为道路侧的目标景点；
获取所述目标景点的景点信息，所述景点信息包括详情数据及从所述车外视频中提取的所述目标景点的图像。
其中，所述根据所述实时位置、眼球跟踪信息、车外视频及景点类型确定道路侧的目标景点并获取所述目标景点的景点信息，包括：
所述服务器根据所述跟踪信息获取用户的眼球运动角度；
根据所述眼球运动角度及所述实时位置确定道路侧的坐标范围；
提取所述车外视频的与所述实时位置对应的至少一帧图像并判断所述至少一帧图像中是否包含与所述景点类型对应的特征；
若所述至少一帧图像中包含与所述景点类型对应的特征且所述坐标范围持续设定时长保持一致，则将处于所述坐标范围内的符合所述景点类型的景点确认为道路侧的目标景点；
获取所述目标景点的景点信息，所述景点信息包括详情数据及从所述车外视频中提取的所述目标景点的图像。
其中，所述详情数据包括目标景点的名称与景点讲解内容。
其中，所述车辆将所述景点信息展示给用户，包括：
所述车辆通过平视显示器显示接收的景点信息，和/或，通过语音装置播放接收到的景点信息；
当所述景点信息包含目标景点的位置时，在电子地图上的相应位置对所述目标景点进行标注。
其中，所述方法还包括：
所述车辆在接收到景点信息时，将所述景点信息与对应的车外视频进行存储，并在接收到查看景点信息的指令时展示所述景点信息及对应的车外视频。
其中，所述方法还包括：
所述车辆在接收到移动终端查看指令时，向所述服务器发送信息获取请求，以使得所述服务器将所述景点信息发送到对应的移动终端进行显示。
本申请还提供一种车辆，所述车辆包括视频采集装置、眼球跟踪装置、语音接收装置及处理模块；
所述视频采集装置，用于采集车外视频；
所述眼球跟踪装置，用于采集眼球跟踪信息；
所述语音接收装置，用于接收语音指令；
所述处理模块，分别与所述视频采集装置、所述眼球跟踪装置、所述语音接收装置连接，用于加载并执行至少一条程序指令以实现如下方法：
车辆在收到介绍景点的语音指令时，根据所述语音指令包含的景点类型生成景点信息获取请求，并将所述景点信息获取请求及实时采集的车外视频、眼球跟踪信息通过5G车联网网络发送给服务器，以使得所述服务器在收到所述景点信息获取请求时，获取所述车辆的实时位置，根据所述实时位置、眼球跟踪信息、车外视频及景点类型确定道路侧的目标景点并获取所述目标景点的景点信息，以及，通过5G车联网网络将获取的景点信息发送给所述车辆；
将所述景点信息展示给用户。
本申请还提供一种服务器，所述服务器用于加载并执行至少一条程序指令以实现如下方法：
服务器在通过5G车联网网络接收到车辆根据介绍景点的语音指令发送的景点信息获取请求及实时采集的车外视频、眼球跟踪信息时，获取所述车辆的实时位置，所述景点信息获取请求由所述车辆根据所述语音指令包含的景点类型生成；
根据所述实时位置、眼球跟踪信息、车外视频及景点类型确定道路侧的目标景点并获取所述目标景点的景点信息；
通过5G车联网网络将获取的景点信息发送给所述车辆，以使得所述车辆将所述景点信息展示给用户。
本申请还提供一种智能导游系统，包括如上所述的车辆及如上所述的服务器。
本申请的智能导游方法、系统、服务器及车辆，车辆在收到介绍景点的语音指令时，根据语音指令包含的景点类型生成景点信息获取请求，并将景点信息获取请求及实时采集的车外视频、眼球跟踪信息通过5G车联网网络发送给服务器，服务器在收到景点信息获取请求时，获取车辆的实时位置，根据实时位置、眼球跟踪信息、车外视频及景点类型确定道路侧的目标景点并获取目标景点的景点信息，以及，通过5G车联网网络将获取的景点信息发送给车辆以展示给用户。本申请能够在收到指令时根据眼球跟踪信息及时获取用户意图，同时5G车联网网络使服务器能够同时处理车外视频及车辆位置，从而便捷、及时地提供导游服务，实现所见即所得的出行体验。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图,详细说明如下。
附图说明
图1是根据一示例性实施例示出的一种智能导游方法的流程示意图。
图2是根据一示例性实施例示出的一种车辆的模块示意图。
具体实施方式
为更进一步阐述本申请为达成预定申请目的所采取的技术手段及功效,以下结合附图及较佳实施例，对依据本申请智能导游方法、系统、服务器及车辆提出的具体实施方式、方法、步骤、结构、特征及其效果，详细说明如下。
有关本申请的前述及其他技术内容、特点及功效,在以下配合参考图式的较佳实施例的详细说明中将可清楚呈现。通过具体实施方式的说明,当可对本申请为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解，然而所附图式仅是提供参考与说明之用,并非用来对本申请加以限制。
图1是根据一示例性实施例示出的一种智能导游方法的流程示意图。请参考图1，本实施例的智能导游方法，包括但不限于以下步骤：
步骤110，车辆在收到介绍景点的语音指令时，根据语音指令包含的景点类型生成景点信息获取请求，并将景点信息获取请求及实时采集的车外视频、眼球跟踪信息通过5G车联网网络发送给服务器。
其中，当用户长途驾驶经过一个风景、环境等都极其喜欢的景点时，希望能通过对该景点的历史文化及风土人情的介绍来了解该景点更多的信息，例如景点名称及景点的详细信息等，此时，用户可以在观察景点的同时对语音接收装置说“这是哪里？这么漂亮，介绍一下山上这个塔”，或者在对语音接收装置说“这是哪里？这么漂亮，介绍一下山上这个塔”之后观察景点，由车辆的处理模块对接收的语音信息进行识别，从而触发介绍景点的语音指令，同时从语音信息中识别出所包含的景点类型，例如为“山”、“塔”，从而在触发介绍景点的语音指令时生成包含景点类型的景点信息获取请求。
在用户触发介绍景点的语音指令后，车辆通过视频采集装置，例如车载摄像头实时采集道路侧的景观视频作为车外视频，该车外视频将包含用户感兴趣的景点的图像，车辆还通过眼球跟踪装置对用户的眼球运动进行跟踪以获取用户的眼球跟踪信息，通过对眼球跟踪信息进行分析可获知用户的观看方向，眼球跟踪装置例如为摄像头等图像采集设备，通过采集眼球和眼球周边的特征变化或根据虹膜角度变化进行跟踪，眼球跟踪装置又例如为红外设备，通过主动投射红外线等光束到虹膜来提取特征。当然，对车外视频及眼球跟踪信息的采集工作也可以一直进行而不一定要在收到介绍景点的语音指令才进行。接着，车辆通过5G车联网网络将景点信息获取请求及实时采集的车外视频、眼球跟踪信息发送给服务器，由于5G网络具有低时延、高可靠、频谱高效利用等方面的特性，服务器所接收到的车外视频及眼球跟踪信息可以与车辆的实时位置实现准确对应，分析结果更加精准。
步骤120，服务器在收到景点信息获取请求时，获取车辆的实时位置，根据实时位置、眼球跟踪信息、车外视频及景点类型确定道路侧的目标景点并获取目标景点的景点信息，以及，通过5G车联网网络将获取的景点信息发送给车辆，以使得车辆将景点信息展示给用户。
其中，服务器在收到景点信息获取请求时，获取车辆的实时位置，由于5G网络具有低时延、高可靠、频谱高效利用等方面的特性，服务器所接收到的车外视频及眼球跟踪信息可以与车辆的实时位置实现准确对应，也就是说，服务器所获取的车外视频及眼球跟踪信息也即车辆每个实时位置所对应的车外视频及眼球跟踪信息，数据误差小。
在一实施方式中，根据实时位置、眼球跟踪信息、车外视频及景点类型确定道路侧的目标景点并获取目标景点的景点信息，包括：
服务器根据眼球跟踪信息获取用户的眼球运动角度；
根据眼球运动角度及实时位置确定道路侧的坐标范围；
若坐标范围持续设定时长保持一致，则将处于坐标范围内的符合景点类型的景点确认为道路侧的目标景点；
获取目标景点的景点信息，景点信息包括详情数据及从车外视频中提取的目标景点的图像。
其中，服务器在收到眼球跟踪信息时，对眼球跟踪信息进行分析以获取用户的眼球运动角度，在本实施例中，眼球运动角度指用户视线与车辆中轴线的夹角，从而可以根据眼球运动角度确定用户的观看方向，例如用户的观看方向为车辆左侧10°、20°、30°等。在确定眼球运动角度后，根据眼球运动角度及车辆的实时位置使用户的视线与道路侧相交，确定待换算的地图坐标并对地图坐标进行换算，进而根据预设的范围确定规则确定道路侧的坐标范围，道路侧的坐标范围可根据眼球运动角度的大小进行调整，其中，当眼球运动角度较大时，用户观看的景点距离车辆距离较近，可以获取较小的坐标范围，当眼球运动角度较小时，用户观看的景点距离车辆距离较远，可以获取较大的坐标范围以提高分析的准确性。
当用户观看感兴趣的景点时，其视线停留的时间将相对较长，此时对应确定的坐标范围变化相对较小，因此，若计算出的坐标范围持续设定时长保持一致，例如持续2S保持基本不变，则获取处于坐标范围内的景点并将其中符合景点类型的景点确认为道路侧的目标景点，例如获取景点类型为“山”、“塔”的景点作为目标景点，目标景点的数量可以为一个、两个或多个。接着，服务器获取目标景点的景点信息，景点信息包括详情数据及从车外视频中提取的目标景点的图像，景点的详情数据通过向SaaS(Software-as-a-Service)服务器获取地理信息系统的方式获取，在一实施方式中，详情数据包括目标景点的名称与景点讲解内容，景点讲解内容例如为预设的景点讲解词，景点的详情数据还可包括目标景点的位置，从车外视频中提取的目标景点的图像可以供用户判断获取到的详情数据是否为感兴趣的景点的详情数据。服务器在获取到景点信息后，通过5G车联网网络将获取的景点信息发送给车辆，从而降低信息延时。
在一实施方式中，根据实时位置、眼球跟踪信息、车外视频及景点类型确定道路侧的目标景点并获取目标景点的景点信息，包括：
服务器根据跟踪信息获取用户的眼球运动角度；
根据眼球运动角度及实时位置确定道路侧的坐标范围；
提取车外视频的与实时位置对应的至少一帧图像并判断至少一帧图像中是否包含与景点类型对应的特征；
若至少一帧图像中包含与景点类型对应的特征且坐标范围持续设定时长保持一致，则将处于坐标范围内的符合景点类型的景点确认为道路侧的目标景点；
获取目标景点的景点信息，景点信息包括详情数据及从车外视频中提取的目标景点的图像。
其中，服务器在收到眼球跟踪信息时，对眼球跟踪信息进行分析以获取用户的眼球运动角度，在本实施例中，眼球运动角度指用户视线与车辆中轴线的夹角，从而可以根据眼球运动角度确定用户的观看方向，例如用户的观看方向为车辆左侧10°、20°、30°等。在确定眼球运动角度后，根据眼球运动角度及车辆的实时位置使用户的视线与道路侧相交，确定待换算的地图坐标并对地图坐标进行换算，进而根据预设的范围确定规则确定道路侧的坐标范围，道路侧的坐标范围可根据眼球运动角度的大小进行调整，其中，当眼球运动角度较大时，用户观看的景点距离车辆距离较近，可以获取较小的坐标范围，当眼球运动角度较小时，用户观看的景点距离车辆距离较远，可以获取较大的坐标范围以提高分析的准确性。
当用户观看感兴趣的景点时，其视线停留的时间将相对较长，此时对应确定的坐标范围变化相对较小，此外，当用户观看的方向存在符合景点类型的景点时，从车外视频提取的与实时位置对应的至少一帧图像中将包含与景点类型对应的特征，例如“山”、“塔”的外貌特征。因此，若至少一帧图像中包含与景点类型对应的特征且计算出的坐标范围持续设定时长保持一致，例如持续2S保持基本不变，则获取处于坐标范围内的景点并将其中符合景点类型的景点确认为道路侧的目标景点，例如获取景点类型为“山”、“塔”的景点作为目标景点，目标景点的数量可以为一个、两个或多个。接着，服务器获取目标景点的景点信息，景点信息包括详情数据及从车外视频中提取的目标景点的图像，景点的详情数据通过向SaaS(Software-as-a-Service)服务器获取地理信息系统的方式获取，在一实施方式中，详情数据包括目标景点的名称与景点讲解内容，景点讲解内容例如为预设的景点讲解词，景点的详情数据还可包括目标景点的位置，从车外视频中提取的目标景点的图像可以供用户判断获取到的详情数据是否为感兴趣的景点的详情数据。服务器在获取到景点信息后，通过5G车联网网络将获取的景点信息发送给车辆，从而降低信息延时。
在一实施方式中，车辆将景点信息展示给用户的过程可具体包括以下步骤：
车辆通过平视显示器显示接收的景点信息，和/或，通过语音装置播放接收到的景点信息；
当景点信息包含目标景点的位置时，在电子地图上的相应位置对目标景点进行标注。
其中，车辆在通过5G车联网网络收到景点信息时，可以通过平视显示器(Head UpDisplay，HUD)显示接收的景点信息，例如景点的名称、景点讲解内容及图像，车辆还可以通过语音装置播放接收到的景点信息，例如景点的名称与景点讲解内容，此外，车辆也可以同时通过平视显示器及语音装置输出景点信息，使得用户在驾驶过程中方便、安全地获知感兴趣的目标景点的景点信息。进一步地，当景点信息包含目标景点的位置时，车辆还可以在电子地图上的相应位置对目标景点进行标注，使用户可以了解景点所在位置的周围环境。由于应用了5G技术及眼球跟踪技术，景点信息的获取更加及时、安全、便捷，用户出行体验佳。
在一实施方式中，本申请的智能导游方法还包括：
车辆在接收到景点信息时，将景点信息与对应的车外视频进行存储，并在接收到查看景点信息的指令时展示景点信息及对应的车外视频。
其中，车辆在收到介绍景点的语音指令时，实时采集车外视频并进行存储，在收到景点信息时，将景点信息与对应的车外视频进行存储以进行收藏，如此，当接收到查看景点信息的指令时，可以根据指令展示景点信息及对应的车外视频，使得用户可以在空闲时候查看景点信息，避免驾驶过程中信息了解不全面的问题。
在一实施方式中，本申请的智能导游方法还包括：
车辆在接收到移动终端查看指令时，向服务器发送信息获取请求，以使得服务器将景点信息发送到对应的移动终端进行显示。
其中，在车辆收到景点信息后，如用户想要通过手机等移动终端查看景点信息，可以在车载终端上进行相关的操作，触发移动终端查看指令以向服务器发送信息获取请求，使得服务器在收到信息获取请求后，将景点信息发送到对应的移动终端进行显示，如此，用户在离开车辆后仍可查看到感兴趣的目标景点的景点信息，增加信息查看途径以提高用户体验。
本申请的智能导游方法，车辆在收到介绍景点的语音指令时，根据语音指令包含的景点类型生成景点信息获取请求，并将景点信息获取请求及实时采集的车外视频、眼球跟踪信息通过5G车联网网络发送给服务器，服务器在收到景点信息获取请求时，获取车辆的实时位置，根据实时位置、眼球跟踪信息、车外视频及景点类型确定道路侧的目标景点并获取目标景点的景点信息，以及，通过5G车联网网络将获取的景点信息发送给车辆以展示给用户。本申请能够在收到指令时根据眼球跟踪信息及时获取用户意图，同时5G车联网网络使服务器能够同时处理车外视频及车辆位置，从而便捷、及时地提供导游服务，实现所见即所得的出行体验。
图2是根据一示例性实施例示出的一种车辆的模块示意图。如图2所示，本实施例的车辆包括视频采集装置210、眼球跟踪装置220、语音接收装置230及处理模块240。
视频采集装置210，用于采集车外视频。
眼球跟踪装置220，用于采集眼球跟踪信息。
语音接收装置230，用于接收语音指令。
处理模块240，分别与视频采集装置210、眼球跟踪装置220、语音接收装置230连接，用于加载并执行至少一条程序指令以实现如下方法：
车辆在收到介绍景点的语音指令时，根据语音指令包含的景点类型生成景点信息获取请求，并将景点信息获取请求及实时采集的车外视频、眼球跟踪信息通过5G车联网网络发送给服务器，以使得服务器在收到景点信息获取请求时，获取车辆的实时位置，根据实时位置、眼球跟踪信息、车外视频及景点类型确定道路侧的目标景点并获取目标景点的景点信息，以及，通过5G车联网网络将获取的景点信息发送给车辆；
在收到景点信息时，将景点信息展示给用户。
本实施例的车辆的具体工作过程及步骤请参考图1所示实施例的描述，在此不再赘述。
本申请还提供一种服务器，服务器用于加载并执行至少一条程序指令以实现如下方法：
服务器在通过5G车联网网络接收到车辆根据介绍景点的语音指令发送的景点信息获取请求及实时采集的车外视频、眼球跟踪信息时，获取车辆的实时位置，景点信息获取请求由车辆根据语音指令包含的景点类型生成；
根据实时位置、眼球跟踪信息、车外视频及景点类型确定道路侧的目标景点并获取目标景点的景点信息；
通过5G车联网网络将获取的景点信息发送给车辆，以使得车辆将景点信息展示给用户。
本实施例的服务器的具体工作过程及步骤请参考图1与图2所示实施例的描述，在此不再赘述。
本申请还提供一种智能导游系统，包括如上所述的车辆及如上所述的服务器。
本实施例的智能导游系统中车辆及服务器的具体工作过程及步骤请参考图1与图2所示实施例的描述，在此不再赘述。
本申请的智能导游系统、车辆及服务器，车辆在收到介绍景点的语音指令时，根据语音指令包含的景点类型生成景点信息获取请求，并将景点信息获取请求及实时采集的车外视频、眼球跟踪信息通过5G车联网网络发送给服务器，服务器在收到景点信息获取请求时，获取车辆的实时位置，根据实时位置、眼球跟踪信息、车外视频及景点类型确定道路侧的目标景点并获取目标景点的景点信息，以及，通过5G车联网网络将获取的景点信息发送给车辆以展示给用户。本申请能够在收到指令时根据眼球跟踪信息及时获取用户意图，同时5G车联网网络使服务器能够同时处理车外视频及车辆位置，从而便捷、及时地提供导游服务，实现所见即所得的出行体验。
以上所述，仅是本申请的较佳实施例而已，并非对本申请作任何形式上的限制，虽然本申请已以较佳实施例揭露如上，然而并非用以限定本申请,任何熟悉本专业的技术人员，在不脱离本申请技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本申请技术方案内容，依据本申请的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本申请技术方案的范围内。

Claims (10)

1.一种智能导游方法，其特征在于，包括：
车辆在收到介绍景点的语音指令时，根据所述语音指令包含的景点类型生成景点信息获取请求，并将所述景点信息获取请求及实时采集的车外视频、眼球跟踪信息通过5G车联网网络发送给服务器；
所述服务器在收到所述景点信息获取请求时，获取所述车辆的实时位置，根据所述实时位置、眼球跟踪信息、车外视频及景点类型确定道路侧的目标景点并获取所述目标景点的景点信息，以及，通过5G车联网网络将获取的景点信息发送给所述车辆，以使得所述车辆将所述景点信息展示给用户；
其中，所述根据所述实时位置、眼球跟踪信息、车外视频及景点类型确定道路侧的目标景点并获取所述目标景点的景点信息，包括：
所述服务器根据所述眼球跟踪信息获取用户的眼球运动角度；所述眼球运动角度指用户视线与车辆中轴线的夹角；
根据所述眼球运动角度及所述实时位置确定道路侧的坐标范围；
若所述坐标范围持续设定时长保持一致，则将处于所述坐标范围内的符合所述景点类型的景点确认为道路侧的目标景点；
获取所述目标景点的景点信息。
2.根据权利要求1所述的智能导游方法，其特征在于，所述景点信息包括详情数据及从所述车外视频中提取的所述目标景点的图像。
3.根据权利要求1所述的智能导游方法，其特征在于，所述根据所述实时位置、眼球跟踪信息、车外视频及景点类型确定道路侧的目标景点并获取所述目标景点的景点信息，包括：
所述服务器根据所述跟踪信息获取用户的眼球运动角度；
根据所述眼球运动角度及所述实时位置确定道路侧的坐标范围；
提取所述车外视频的与所述实时位置对应的至少一帧图像并判断所述至少一帧图像中是否包含与所述景点类型对应的特征；
若所述至少一帧图像中包含与所述景点类型对应的特征且所述坐标范围持续设定时长保持一致，则将处于所述坐标范围内的符合所述景点类型的景点确认为道路侧的目标景点；
获取所述目标景点的景点信息，所述景点信息包括详情数据及从所述车外视频中提取的所述目标景点的图像。
4.根据权利要求2或3所述的智能导游方法，其特征在于，所述详情数据包括目标景点的名称与景点讲解内容。
5.根据权利要求1或2所述的智能导游方法，其特征在于，所述车辆将所述景点信息展示给用户，包括：
所述车辆通过平视显示器显示接收的景点信息，和/或，通过语音装置播放接收到的景点信息；
当所述景点信息包含目标景点的位置时，在电子地图上的相应位置对所述目标景点进行标注。
6.根据权利要求1或2所述的智能导游方法，其特征在于，所述方法还包括：
所述车辆在接收到景点信息时，将所述景点信息与对应的车外视频进行存储，并在接收到查看景点信息的指令时展示所述景点信息及对应的车外视频。
7.根据权利要求1或2所述的智能导游方法，其特征在于，所述方法还包括：
所述车辆在接收到移动终端查看指令时，向所述服务器发送信息获取请求，以使得所述服务器将所述景点信息发送到对应的移动终端进行显示。
8.一种车辆，其特征在于，所述车辆包括视频采集装置、眼球跟踪装置、语音接收装置及处理模块；
所述视频采集装置，用于采集车外视频；
所述眼球跟踪装置，用于采集眼球跟踪信息；
所述语音接收装置，用于接收语音指令；
所述处理模块，分别与所述视频采集装置、所述眼球跟踪装置、所述语音接收装置连接，用于加载并执行至少一条程序指令以实现如下方法：
车辆在收到介绍景点的语音指令时，根据所述语音指令包含的景点类型生成景点信息获取请求，并将所述景点信息获取请求及实时采集的车外视频、眼球跟踪信息通过5G车联网网络发送给服务器，以使得所述服务器在收到所述景点信息获取请求时，获取所述车辆的实时位置，根据所述实时位置、眼球跟踪信息、车外视频及景点类型确定道路侧的目标景点并获取所述目标景点的景点信息，以及，通过5G车联网网络将获取的景点信息发送给所述车辆；
在收到所述景点信息时，将所述景点信息展示给用户；
其中，所述根据所述实时位置、眼球跟踪信息、车外视频及景点类型确定道路侧的目标景点并获取所述目标景点的景点信息，包括：
所述服务器根据所述眼球跟踪信息获取用户的眼球运动角度；所述眼球运动角度指用户视线与车辆中轴线的夹角；
根据所述眼球运动角度及所述实时位置确定道路侧的坐标范围；
若所述坐标范围持续设定时长保持一致，则将处于所述坐标范围内的符合所述景点类型的景点确认为道路侧的目标景点；
获取所述目标景点的景点信息。
9.一种服务器，其特征在于，所述服务器用于加载并执行至少一条程序指令以实现如下方法：
服务器在通过5G车联网网络接收到车辆根据介绍景点的语音指令发送的景点信息获取请求及实时采集的车外视频、眼球跟踪信息时，获取所述车辆的实时位置，所述景点信息获取请求由所述车辆根据所述语音指令包含的景点类型生成；
根据所述实时位置、眼球跟踪信息、车外视频及景点类型确定道路侧的目标景点并获取所述目标景点的景点信息；
通过5G车联网网络将获取的景点信息发送给所述车辆，以使得所述车辆将所述景点信息展示给用户；
其中，所述根据所述实时位置、眼球跟踪信息、车外视频及景点类型确定道路侧的目标景点并获取所述目标景点的景点信息，包括：
所述服务器根据所述眼球跟踪信息获取用户的眼球运动角度；所述眼球运动角度指用户视线与车辆中轴线的夹角；
根据所述眼球运动角度及所述实时位置确定道路侧的坐标范围；
若所述坐标范围持续设定时长保持一致，则将处于所述坐标范围内的符合所述景点类型的景点确认为道路侧的目标景点；
获取所述目标景点的景点信息。
10.一种智能导游系统，其特征在于，包括如权利要求8所述的车辆及如权利要求9所述的服务器。
CN201810956107.1A 2018-08-21 2018-08-21 智能导游方法、系统、服务器及车辆 Active CN110856107B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810956107.1A CN110856107B (zh) 2018-08-21 2018-08-21 智能导游方法、系统、服务器及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810956107.1A CN110856107B (zh) 2018-08-21 2018-08-21 智能导游方法、系统、服务器及车辆

Publications (2)

Publication Number Publication Date
CN110856107A CN110856107A (zh) 2020-02-28
CN110856107B true CN110856107B (zh) 2023-08-22

Family

ID=69595286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810956107.1A Active CN110856107B (zh) 2018-08-21 2018-08-21 智能导游方法、系统、服务器及车辆

Country Status (1)

Country Link
CN (1) CN110856107B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111460287B (zh) * 2020-03-27 2024-02-02 数网金融有限公司 一种旅游信息处理方法、装置及可读存储介质
CN113686350B (zh) * 2020-05-18 2024-06-25 华为技术有限公司 道路信息的显示方法、装置和智能可穿戴设备
CN112182256A (zh) * 2020-09-28 2021-01-05 长城汽车股份有限公司 一种物体识别方法、装置及车辆
CN114724274A (zh) * 2020-12-18 2022-07-08 博泰车联网科技(上海)股份有限公司 处理实时影像的方法及计算机存储介质
CN113492756A (zh) * 2021-07-01 2021-10-12 中汽创智科技有限公司 一种车外信息展示方法、装置、设备及存储介质
CN114296548B (zh) * 2021-12-14 2023-03-24 杭州朱道实业有限公司 一种展览用智能移动识别信息系统
CN116386626A (zh) * 2023-03-20 2023-07-04 合众新能源汽车股份有限公司 基于智能座舱的感知交互方法及感知交互装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101769747A (zh) * 2009-12-21 2010-07-07 戴文娟 景点智能导游系统及方法
CN102072702A (zh) * 2010-12-31 2011-05-25 天津市亚安科技电子有限公司 一种双摄像机图像对应位置的计算方法
CN103064980A (zh) * 2013-01-15 2013-04-24 广东欧珀移动通信有限公司 基于移动终端及gps查询景点信息的方法和系统
TW201348677A (zh) * 2012-05-31 2013-12-01 Pegatron Corp 地區資訊提供系統及方法
CN103645806A (zh) * 2013-12-24 2014-03-19 惠州Tcl移动通信有限公司 一种基于眼球追踪的商品浏览方法及系统
CN104298965A (zh) * 2014-09-12 2015-01-21 东北大学 一种面向移动终端的旅游景点及景物智能识别系统及方法
CN104596523A (zh) * 2014-06-05 2015-05-06 腾讯科技（深圳）有限公司 一种街景目的地引导方法和设备
CN106445444A (zh) * 2016-10-12 2017-02-22 大连文森特软件科技有限公司 一种基于虚拟现实技术的旅游景观实现系统
KR101705988B1 (ko) * 2015-08-31 2017-02-23 윤승훈 가상 현실 장치
CN106791385A (zh) * 2016-12-09 2017-05-31 深圳创维－Rgb电子有限公司 一种基于虚拟现实技术的观景方法、装置及系统
CN108259577A (zh) * 2017-12-28 2018-07-06 浙江中新长清信息科技有限公司 车辆监测方法、车载终端、平台及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10635167B2 (en) * 2013-05-30 2020-04-28 Umoove Services Ltd. Smooth pursuit gaze tracking

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101769747A (zh) * 2009-12-21 2010-07-07 戴文娟 景点智能导游系统及方法
CN102072702A (zh) * 2010-12-31 2011-05-25 天津市亚安科技电子有限公司 一种双摄像机图像对应位置的计算方法
TW201348677A (zh) * 2012-05-31 2013-12-01 Pegatron Corp 地區資訊提供系統及方法
CN103064980A (zh) * 2013-01-15 2013-04-24 广东欧珀移动通信有限公司 基于移动终端及gps查询景点信息的方法和系统
CN103645806A (zh) * 2013-12-24 2014-03-19 惠州Tcl移动通信有限公司 一种基于眼球追踪的商品浏览方法及系统
CN104596523A (zh) * 2014-06-05 2015-05-06 腾讯科技（深圳）有限公司 一种街景目的地引导方法和设备
CN104298965A (zh) * 2014-09-12 2015-01-21 东北大学 一种面向移动终端的旅游景点及景物智能识别系统及方法
KR101705988B1 (ko) * 2015-08-31 2017-02-23 윤승훈 가상 현실 장치
CN106445444A (zh) * 2016-10-12 2017-02-22 大连文森特软件科技有限公司 一种基于虚拟现实技术的旅游景观实现系统
CN106791385A (zh) * 2016-12-09 2017-05-31 深圳创维－Rgb电子有限公司 一种基于虚拟现实技术的观景方法、装置及系统
CN108259577A (zh) * 2017-12-28 2018-07-06 浙江中新长清信息科技有限公司 车辆监测方法、车载终端、平台及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Shan Li ; Xueli Duan ; Yanxia Bai ; .Development and Application of Intelligent Tour Guide System in Mobile Terminal.《2015 Seventh International Conference on Measuring Technology and Mechatronics Automation》.2015,全文. *

Also Published As

Publication number Publication date
CN110856107A (zh) 2020-02-28

Similar Documents

Publication Publication Date Title
CN110856107B (zh) 智能导游方法、系统、服务器及车辆
CN106530890B (zh) 一种基于车辆位姿与轨迹感知的智能驾驶训练系统及方法
CN103632413B (zh) 运行车辆的方法和系统
JP5443134B2 (ja) シースルー・ディスプレイに現実世界の対象物の位置をマークする方法及び装置
DE112018004847T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, programm und mobiles objekt
CN111016905A (zh) 自动驾驶车辆与驾驶遥控端交互方法及系统
CN109151204B (zh) 一种基于移动终端的导航方法、装置及移动终端
CN113085900A (zh) 一种实现对车辆进行召唤行驶到用户位置的方法
US10996469B2 (en) Method and apparatus for providing driving information of vehicle, and recording medium
CN110956483A (zh) 广告信息推送方法、系统、服务器及车辆
CN113483774B (zh) 导航方法、装置、电子设备及可读存储介质
CN113237490A (zh) Ar导航方法、系统、电子设备和存储介质
CN109963144A (zh) 一种基于ar-hud的车载识别系统
CN110263615A (zh) 车辆拍摄中的交互处理方法、装置、设备及客户端
CN111985373A (zh) 基于交通路口识别的安全预警方法、装置及电子设备
CN113221756A (zh) 交通标志检测方法及相关设备
CN114935334B (zh) 车道拓扑关系的构建方法、装置、车辆、介质及芯片
CN108881846B (zh) 信息融合方法、装置及计算机可读存储介质
CN106595695A (zh) 一种车载系统及汽车
CN110855733B (zh) 车辆介绍方法、系统、服务器及车辆
CN110868687B (zh) 房产介绍方法、系统、服务器及车辆
CN116071949A (zh) 一种用于辅助驾驶的增强现实的方法及装置
CN103065489B (zh) 一种即时导航路况系统及导航方法
CN115134533A (zh) 自动调用车载图像采集装置的拍摄方法及设备
CN112698372A (zh) 时空数据处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant