CN113686350A - 道路信息的显示方法、装置和智能可穿戴设备 - Google Patents

道路信息的显示方法、装置和智能可穿戴设备 Download PDF

Info

Publication number
CN113686350A
CN113686350A CN202010682484.8A CN202010682484A CN113686350A CN 113686350 A CN113686350 A CN 113686350A CN 202010682484 A CN202010682484 A CN 202010682484A CN 113686350 A CN113686350 A CN 113686350A
Authority
CN
China
Prior art keywords
user
road information
display area
wearable device
virtual display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010682484.8A
Other languages
English (en)
Inventor
贾梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN113686350A publication Critical patent/CN113686350A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3635Guidance using 3D or perspective road maps
    • G01C21/3638Guidance using 3D or perspective road maps including 3D objects and buildings

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例提供一种道路信息的显示方法、装置和智能可穿戴设备,上述道路信息的显示方法中,智能可穿戴设备接收摄像头发送的道路信息,然后,对佩戴智能可穿戴设备的用户进行眼球追踪检测,确定上述用户的眼睛注视点在智能可穿戴设备的虚拟显示区域中所处的位置,最后,根据上述用户的眼睛注视点所处的位置,在虚拟显示区域中显示上述道路信息,从而可以实现智能可穿戴设备根据用户的眼睛注视点所处的位置,显示用户两侧道路的道路信息,这样用户不需要转头就可以查看两侧道路上的情况,提高了用户出行的安全性。

Description

道路信息的显示方法、装置和智能可穿戴设备
技术领域
本申请实施例涉及智能终端技术领域,特别涉及一种道路信息的显示方法、装置和智能可穿戴设备。
背景技术
随着增强现实(augmented reality,AR)眼镜技术的发展,用户在出行的时候,会选择佩戴AR眼镜,例如:在用户驾驶车辆的过程中,可以佩戴AR眼镜,AR眼镜上显示的信息可以包括时间、车速、公里数、油耗和/或导航等信息,这样,用户在开车的过程中,就不用低头看仪表盘或是去看车内的显示屏上的内容,从而可以使用户的视线直视前方,确保行车安全。
同样,在用户骑行(例如:骑自行车或摩托车)的过程中,也可以佩戴AR眼镜,AR眼镜上显示的信息可以包括时间、车速、公里数和/或导航等信息。
但是,现有相关技术中,无论在用户驾驶车辆,还是骑行的过程中,用户总会需要左右转头查看两侧道路上的情况,这时用户的视线就无法直视前方,存在安全隐患。
发明内容
本申请实施例提供了一种道路信息的显示方法、装置和智能可穿戴设备,本申请实施例还提供一种计算机可读存储介质,以实现智能可穿戴设备根据用户的眼睛注视点所处的位置,显示用户两侧道路的道路信息,这样用户不需要转头就可以查看两侧道路上的情况,提高了用户出行的安全性。
第一方面,本申请提供了一种道路信息的显示方法,包括:智能可穿戴设备接收摄像头发送的道路信息,上述道路信息是上述摄像头拍摄的,上述道路信息包括用户左侧和右侧道路的道路信息,上述用户包括佩戴上述智能可穿戴设备的用户。然后,智能可穿戴设备对上述用户进行眼球追踪检测,确定上述用户的眼睛注视点在上述智能可穿戴设备的虚拟显示区域中所处的位置,最后根据上述用户的眼睛注视点所处的位置,在上述虚拟显示区域中显示上述道路信息。
上述道路信息的显示方法中,智能可穿戴设备接收摄像头发送的道路信息,然后,对佩戴智能可穿戴设备的用户进行眼球追踪检测,确定上述用户的眼睛注视点在智能可穿戴设备的虚拟显示区域中所处的位置,最后,根据上述用户的眼睛注视点所处的位置,在虚拟显示区域中显示上述道路信息,从而可以实现智能可穿戴设备根据用户的眼睛注视点所处的位置,显示用户两侧道路的道路信息,这样用户不需要转头就可以查看两侧道路上的情况,提高了用户出行的安全性。
其中一种可能的实现方式中,智能可穿戴设备对上述用户进行眼球追踪检测,确定上述用户的眼睛注视点在上述智能可穿戴设备的虚拟显示区域中所处的位置可以为:智能可穿戴设备对上述用户进行眼球追踪检测,获取上述用户的眼睛注视点在上述智能可穿戴设备的虚拟显示区域上的坐标。然后,智能可穿戴设备根据上述用户的眼睛注视点的坐标,确定上述用户的眼睛注视点在上述虚拟显示区域中所处的位置。
其中一种可能的实现方式中,智能可穿戴设备根据上述用户的眼睛注视点所处的位置,在上述虚拟显示区域中显示上述道路信息可以为:当上述用户的眼睛注视点位于上述虚拟显示区域中的左侧注视点区域时,智能可穿戴设备在上述虚拟显示区域中显示左视窗,上述左视窗中显示上述用户左侧道路的道路信息;当上述用户的眼睛注视点位于上述虚拟显示区域中的右侧注视点区域时,智能可穿戴设备在上述虚拟显示区域中显示右视窗,上述右视窗中显示上述用户右侧道路的道路信息;其中,上述左侧注视点区域和上述右侧注视点区域是预先设定的。
其中一种可能的实现方式中,在上述虚拟显示区域中显示左视窗或右视窗可以为:在上述虚拟显示区域的主界面中显示时间、车速、公里数和/或导航信息,并以画中画的形式显示左视窗或右视窗。
其中一种可能的实现方式中,上述摄像头包括至少两个摄像头,分别设置在上述用户驾驶车辆的左右后视镜上;上述用户左侧和右侧道路的道路信息可以包括:上述车辆左侧和右侧道路的道路信息;智能可穿戴设备接收摄像头发送的道路信息可以为:智能可穿戴设备接收上述摄像头通过无线通信方式发送的道路信息。
其中一种可能的实现方式中,上述摄像头还包括设置在上述用户驾驶车辆的车尾部的摄像头;上述道路信息还可以包括:上述车辆后方道路的道路信息;
所述根据所述用户的眼睛注视点所处的位置,在所述虚拟显示区域中显示所述道路信息包括:
当所述用户的眼睛注视点位于所述虚拟显示区域中的后侧注视点区域时,在所述虚拟显示区域中显示后视窗,所述后视窗中显示所述车辆后方道路的道路信息。
其中一种可能的实现方式中,上述摄像头包括至少两个摄像头,分别设置在上述智能可穿戴设备的两侧;上述道路信息还包括上述用户后方的道路信息;智能可穿戴设备接收摄像头发送的道路信息可以为:智能可穿戴设备接收上述摄像头通过上述智能可穿戴设备的内部连接发送的道路信息。
第二方面,本申请实施例提供一种道路信息的显示装置,该装置包含在智能可穿戴设备中,该装置具有实现第一方面及第一方面的可能实现方式中智能可穿戴设备行为的功能。功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。例如,接收模块或单元、处理模块或单元、发送模块或单元等。
第三方面,本申请实施例提供一种智能可穿戴设备,包括:一个或多个处理器;存储器;多个应用程序;以及一个或多个计算机程序,其中上述一个或多个计算机程序被存储在上述存储器中,上述一个或多个计算机程序包括指令,当上述指令被智能可穿戴设备执行时,使得智能可穿戴设备执行以下步骤:接收摄像头发送的道路信息,上述道路信息是上述摄像头拍摄的,上述道路信息包括用户左侧和右侧道路的道路信息,上述用户包括佩戴上述智能可穿戴设备的用户;对上述用户进行眼球追踪检测,确定上述用户的眼睛注视点在上述智能可穿戴设备的虚拟显示区域中所处的位置;根据上述用户的眼睛注视点所处的位置,在上述虚拟显示区域中显示上述道路信息。
其中一种可能的实现方式中,当上述指令被智能可穿戴设备执行时,使得智能可穿戴设备执行对上述用户进行眼球追踪检测,确定上述用户的眼睛注视点在上述智能可穿戴设备的虚拟显示区域中所处的位置的步骤可以为:对上述用户进行眼球追踪检测,获取上述用户的眼睛注视点在上述智能可穿戴设备的虚拟显示区域上的坐标;根据上述用户的眼睛注视点的坐标,确定上述用户的眼睛注视点在上述虚拟显示区域中所处的位置。
其中一种可能的实现方式中,当上述指令被智能可穿戴设备执行时,使得智能可穿戴设备执行根据上述用户的眼睛注视点所处的位置,在上述虚拟显示区域中显示上述道路信息的步骤可以为:当上述用户的眼睛注视点位于上述虚拟显示区域中的左侧注视点区域时,在上述虚拟显示区域中显示左视窗,上述左视窗中显示上述用户左侧道路的道路信息;当上述用户的眼睛注视点位于上述虚拟显示区域中的右侧注视点区域时,在上述虚拟显示区域中显示右视窗,上述右视窗中显示上述用户右侧道路的道路信息;其中,上述左侧注视点区域和上述右侧注视点区域是预先设定的。
其中一种可能的实现方式中,当上述指令被智能可穿戴设备执行时,使得智能可穿戴设备执行在上述虚拟显示区域中显示左视窗或右视窗的步骤可以为:在上述虚拟显示区域的主界面中显示时间、车速、公里数和/或导航信息,并以画中画的形式显示左视窗或右视窗。
其中一种可能的实现方式中,上述摄像头包括至少两个摄像头,分别设置在上述用户驾驶车辆的左右后视镜上;上述用户左侧和右侧道路的道路信息可以包括:上述车辆左侧和右侧道路的道路信息;当上述指令被智能可穿戴设备执行时,使得智能可穿戴设备执行接收摄像头发送的道路信息的步骤可以为:接收上述摄像头通过无线通信方式发送的道路信息。
其中一种可能的实现方式中,上述摄像头还包括设置在上述用户驾驶车辆的车尾部的摄像头;上述道路信息还可以包括:上述车辆后方道路的道路信息;当上述指令被智能可穿戴设备执行时,使得智能可穿戴设备执行根据上述用户的眼睛注视点所处的位置,在上述虚拟显示区域中显示上述道路信息的步骤可以为:当上述用户的眼睛注视点位于上述虚拟显示区域中的后侧注视点区域时,在上述虚拟显示区域中显示后视窗,上述后视窗中显示上述车辆后方道路的道路信息。
其中一种可能的实现方式中,上述摄像头包括至少两个摄像头,分别设置在上述智能可穿戴设备的两侧;上述道路信息还包括上述用户后方的道路信息;当上述指令被智能可穿戴设备执行时,使得智能可穿戴设备执行接收摄像头发送的道路信息的步骤可以为:接收上述摄像头通过上述智能可穿戴设备的内部连接发送的道路信息。
第四方面,本申请实施例提供一种计算机可读存储介质,上述计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行第一方面提供的方法。
应当理解的是,本申请的第二~四方面与本申请的第一方面的技术方案一致,各方面及对应的可行实施方式所取得的有益效果相似,不再赘述。
第五方面,本申请实施例提供一种计算机程序,当上述计算机程序被计算机执行时,用于执行第一方面提供的方法。
在一种可能的设计中,第五方面中的程序可以全部或者部分存储在与处理器封装在一起的存储介质上,也可以部分或者全部存储在不与处理器封装在一起的存储器上。
附图说明
图1为现有相关技术中AR眼镜所显示内容的一个示意图;
图2(a)~图2(b)为现有相关技术中AR眼镜所显示内容的另一个示意图;
图3为本申请一个实施例提供的智能可穿戴设备的结构示意图;
图4为本申请一个实施例提供的道路信息的显示方法的流程图;
图5为本申请另一个实施例提供的道路信息的显示方法的流程图;
图6为本申请一个实施例提供的AR眼镜的系统架构图;
图7为本申请再一个实施例提供的道路信息的显示方法的流程图;
图8为本申请一个实施例提供的眼球追踪检测的原理示意图;
图9为本申请一个实施例提供的图像传输示意图;
图10为本申请一个实施例提供的AR眼镜的虚拟显示区域的示意图;
图11为本申请另一个实施例提供的AR眼镜的系统架构图;
图12为本申请再一个实施例提供的道路信息的显示方法的流程图;
图13为本申请另一个实施例提供的智能可穿戴设备的结构示意图。
具体实施方式
本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释,而非旨在限定本申请。
随着AR眼镜技术的发展,用户在出行的时候,会佩戴AR眼镜。举例来说,用户在驾驶车辆的时候,可以佩戴车辆厂商提供的AR眼镜,目前车辆厂商将仪表盘和显示屏上的内容移植到AR眼镜上显示,AR眼镜上显示的内容可以包括时间、车速、公里数、油耗和/或导航等信息,如图1所示,图1为现有相关技术中AR眼镜所显示内容的一个示意图。
从图1可以看出,目前车辆行业配备的AR眼镜只能提供图1中的信息,但由于在驾驶车辆的过程,用户会左右转头去看车辆的外后视镜,以观察两侧道路的情况,包括:路面情况和/或车辆情况等,此时用户也无法正视正前方,同样存在安全隐患。
现有相关技术中,有车辆厂商推出一款AR眼镜,该AR眼镜的显示信息包括导航数据、行驶速度、限速提示和/或岔道口信息等,如图2(a)~图2(b)所示。图2(a)~图2(b)为现有相关技术中AR眼镜所显示内容的另一个示意图。
从图2(a)~图2(b)可以看出,驾驶车辆的用户带着AR眼镜,在AR眼镜中显示的内容均为仪表盘上的内容,以及车辆的高级驾驶辅助系统(advanced driving assistancesystem,ADAS)的控制显示、导航内容。但是,图2(a)~图2(b)所示技术方案的缺点在于,当行驶过程中,用户带着AR眼镜透过玻璃窗看外后视镜,查看左右两侧道路的道路状况,然后进行变道时,由于AR眼镜显示的内容均为车辆行驶前方的信息,因此在用户转头看车辆两侧的外后视镜时存在安全隐患,并且用户带着AR眼镜时视线的穿透率(see through)会降低,不便于用户透过外后视镜的反射查看左右两侧道路的道路情况,这样就存在很大的安全隐患。
同样,用户在骑行(例如:骑自行车或摩托车)的时候,也会佩戴AR眼镜,用户在骑行的过程中,AR眼镜上显示的内容可以包括时间、车速、公里数和/或导航等信息,如图1所示。但是,用户在骑行过程中,也会左右转头去看左右两侧以及后方的道路情况,包括:路面情况和/或车辆情况等,此时用户无法正视正前方,存在安全隐患。
现有相关技术中提供了一种AR眼镜,可以在用户骑车的时候,通过透明的高清屏显示相关行驶信息,包括转向提示、时间、速度、心率、路程和/或动力等参数。但是该技术方案没解决用户骑行过程中的安全隐患,例如:当用户在骑行过程中,需要并线时,用户需要左右转头,查看左右两侧道路上的道路状况,此时用户无法直视前方,因此存在骑行的安全问题。
基于以上问题,本申请实施例提供一种道路信息的显示方法,可以实现智能可穿戴设备根据用户的眼睛注视点所处的位置,显示用户两侧道路的道路信息,这样用户不需要转头就可以查看两侧道路上的情况,提高了用户出行的安全性。
本申请实施例提供的道路信息的显示方法可以应用于智能可穿戴设备,其中,上述智能可穿戴设备可以为AR眼镜或智能头盔等设备;本申请实施例对智能可穿戴设备的具体类型不作任何限制。
示例性的,图3为本申请一个实施例提供的智能可穿戴设备的结构示意图,如图3所示,智能可穿戴设备100可以包括处理器110,内部存储器121,通用串行总线(universalserial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,无线通信模块160,传感器模块180、按键190、发光二极管(light emitting diode,LED)灯191、摄像头193、显示部件194和光机195等;其中,传感器模块180包括触摸传感器180K;光机195包括镜头和显示屏。
可以理解的是,本申请实施例示意的结构并不构成对智能可穿戴设备100的具体限定。在本申请另一些实施例中,智能可穿戴设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,通用异步收发传输器(universal asynchronousreceiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processorinterface,MIPI),通用输入输出(general-purpose input/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serialbus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,DCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现智能可穿戴设备100的触摸功能。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。
MIPI接口可以被用于连接处理器110与显示部件194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现智能可穿戴设备100的拍摄功能。处理器110和显示部件194通过DSI接口通信,实现智能可穿戴设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示部件194,无线通信模块160,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为智能可穿戴设备100充电,也可以用于智能可穿戴设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他智能可穿戴设备,例如AR设备等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对智能可穿戴设备100的结构限定。在本申请另一些实施例中,智能可穿戴设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过智能可穿戴设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为智能可穿戴设备100供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示部件194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
智能可穿戴设备100的无线通信功能可以通过天线1,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1用于发射和接收电磁波信号。智能可穿戴设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
无线通信模块160可以提供应用在智能可穿戴设备100上的包括无线局域网(wireless local area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线1转为电磁波辐射出去。
在一些实施例中,智能可穿戴设备100的天线1和无线通信模块160耦合,使得智能可穿戴设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(code division multipleaccess,CDMA),宽带码分多址(wideband code division multiple access,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(longterm evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigationsatellite system,GLONASS),北斗卫星导航系统(beidou navigation satellitesystem,BDS),准天顶卫星系统(quasi-zenith satellite system,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
智能可穿戴设备100通过GPU,显示部件194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示部件194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示部件194用于显示图像,视频等。显示部件194可以包括显示镜片或显示面罩,显示部件194还可以包括显示屏。显示镜片或显示面罩可以为光波导、自由曲面棱镜或自由空间等;显示镜片或显示面罩为成像光路的传播途径,可以将虚像传输到人眼。为了使AR眼镜能同时看清现实与虚拟画面,可以使用波导传递虚拟画面光线进入人眼。
上述显示屏可以为显示面板,显示面板可以采用液晶显示屏(liquid crystaldisplay,LCD),有机发光二极管(organic light-emitting diode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的,AMOLED),柔性发光二极管(flex light-emitting diode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot light emitting diodes,QLED)等。
在一些实施例中,智能可穿戴设备100可以包括1个或N个显示部件194,N为大于1的正整数。
智能可穿戴设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示部件194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,智能可穿戴设备100可以包括1个或N个摄像头193,N为大于1的正整数。本申请实施例中,摄像头193可以包括至少一个红外摄像头。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当智能可穿戴设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。智能可穿戴设备100可以支持一种或多种视频编解码器。这样,智能可穿戴设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现智能可穿戴设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储智能可穿戴设备100使用过程中所创建的数据(比如音频数据,电话本等)。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行智能可穿戴设备100的各种功能应用以及数据处理。
触摸传感器180K,也称“触控器件”。触摸传感器180K可以设置于显示部件194,由触摸传感器180K与显示部件194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示部件194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于智能可穿戴设备100的表面,与显示部件194所处的位置不同。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。智能可穿戴设备100可以接收按键输入,产生与智能可穿戴设备100的用户设置以及功能控制有关的键信号输入。
光机195主要用来成像,其中包括镜头和显示屏,这里的镜头可以为光学元器件。
为了便于理解,本申请以下实施例将以具有图3所示结构的智能可穿戴设备为例,结合附图和应用场景,对本申请实施例提供的道路信息的显示方法进行具体阐述。
图4为本申请一个实施例提供的道路信息的显示方法的流程图,如图4所示,上述道路信息的显示方法可以包括:
步骤401,智能可穿戴设备100接收摄像头发送的道路信息。
其中,上述道路信息是上述摄像头拍摄的,上述道路信息包括用户左侧和右侧道路的道路信息,上述用户可以为佩戴上述智能可穿戴设备100的用户。
本实施例中,用户左侧和右侧道路的道路信息可以包括用户左侧和右侧道路的路面信息和车辆情况,例如:路面有无凹陷,有无车辆等。
一种实现方式中,上述摄像头可以包括至少两个摄像头,分别设置在上述用户驾驶车辆的左右后视镜上;上述用户左侧和右侧道路的道路信息可以包括:上述车辆左侧和右侧道路的道路信息;这样,智能可穿戴设备100接收摄像头发送的道路信息可以为:智能可穿戴设备100接收上述摄像头通过无线通信方式发送的道路信息。
进一步地,上述摄像头还可以包括设置在上述用户驾驶车辆的车尾部的摄像头,例如:倒车影像摄像头,那么上述道路信息还可以包括:上述车辆后方道路的道路信息。
本实现方式中,智能可穿戴设备100可以通过处理器110、天线1和无线通信模块160接收上述道路信息。
另一种实现方式中,上述摄像头可以包括至少两个摄像头,分别设置在智能可穿戴设备100的两侧;本实现方式中,上述道路信息还可以包括用户后方的道路信息;这样,智能可穿戴设备100接收摄像头发送的道路信息可以为:智能可穿戴设备100接收上述摄像头通过智能可穿戴设备100的内部连接发送的道路信息。本实现方式中,智能可穿戴设备100可以通过处理器110接收上述道路信息。
步骤402,对上述用户进行眼球追踪检测,确定上述用户的眼睛注视点在智能可穿戴设备100的虚拟显示区域中所处的位置。
具体地,眼球追踪检测(eye tracking)即为眼动跟踪,一种实现方式的工作原理是通过近红外光被导向眼睛的中心(瞳孔),在瞳孔和角膜(眼睛的最外面的光学元件)中引起可检测的反射,这些反射计算为角膜和瞳孔之间的矢量,再由红外摄像头(camera)进行跟踪。以上仅是眼球追踪检测(eye tracking)的一种示例,本申请实施例并不仅限于此,眼球追踪检测(eye tracking)还可以采用其他实现方式实现,本申请实施例对眼球追踪检测(eye tracking)的具体实现方式不作限定。
具体地,智能可穿戴设备100可以通过处理器110实现步骤402的操作。
步骤403,根据上述用户的眼睛注视点所处的位置,在虚拟显示区域中显示上述道路信息。
具体地,智能可穿戴设备100可以通过处理器110和显示部件194实现步骤403的操作。
上述道路信息的显示方法中,智能可穿戴设备100接收摄像头发送的道路信息,然后,对佩戴智能可穿戴设备100的用户进行眼球追踪检测,确定上述用户的眼睛注视点在智能可穿戴设备100的虚拟显示区域中所处的位置,最后,根据上述用户的眼睛注视点所处的位置,在虚拟显示区域中显示上述道路信息,从而可以实现智能可穿戴设备100根据用户的眼睛注视点所处的位置,显示用户两侧道路的道路信息,这样用户不需要转头就可以查看两侧道路上的情况,提高了用户出行的安全性。
图5为本申请另一个实施例提供的道路信息的显示方法的流程图,如图5所示,本申请图4所示实施例中,步骤402可以包括:
步骤501,对上述用户进行眼球追踪检测,获取上述用户的眼睛注视点在智能可穿戴设备100的虚拟显示区域上的坐标。
步骤502,根据上述用户的眼睛注视点的坐标,确定上述用户的眼睛注视点在上述虚拟显示区域中所处的位置。
具体地,智能可穿戴设备100可以通过处理器110实现步骤501和步骤502的操作。
这样,步骤403可以为:
步骤503,当上述用户的眼睛注视点位于上述虚拟显示区域中的左侧注视点区域时,在上述虚拟显示区域中显示左视窗,上述左视窗中显示用户左侧道路的道路信息;当上述用户的眼睛注视点位于虚拟显示区域中的右侧注视点区域时,在上述虚拟显示区域中显示右视窗,上述右视窗中显示用户右侧道路的道路信息。
其中,左侧注视点区域和右侧注视点区域是预先设定的;在具体实现时,左侧注视点区域和右侧注视点区域的大小可以根据实现需求和/或系统性能自行设定,本实施例对左侧注视点区域和右侧注视点区域的大小不作限定;另外,左侧注视点区域和右侧注视点区域的形状可以为矩形,也可以为圆形,或者其他形状,本实施例对左侧注视点区域和右侧注视点区域的形状不作限定。
具体地,步骤503中,在虚拟显示区域中显示左视窗或右视窗可以为:在上述虚拟显示区域的主界面中显示时间、车速、公里数和/或导航信息,并以画中画的形式显示左视窗或右视窗。
具体地,智能可穿戴设备100可以通过处理器110和显示部件194实现步骤503的操作。
本实施例中,只有当上述用户的眼睛注视点位于上述虚拟显示区域中的注视点区域时,才会在上述虚拟显示区域中显示左视窗或右视窗,不会出现用户无意地左看或右看导致视窗显示的情形,提高了用户的使用体验。
进一步地,步骤403还可以包括:当上述用户的眼睛注视点位于上述虚拟显示区域中的后侧注视点区域时,在上述虚拟显示区域中显示后视窗,上述后视窗中显示上述车辆后方道路的道路信息。
其中,后侧注视点区域也是预先设定的,本实施例对后侧注视点区域的大小和形状不作限定。
也就是说,智能可穿戴设备100的虚拟显示区域可以显示左侧注视点区域、右侧注视点区域和后侧注视点区域这三个注视点区域,如果通过眼球追踪检测,确定上述用户的眼睛注视点位于上述虚拟显示区域中的后侧注视点区域,那么智能可穿戴设备100可以在虚拟显示区域中显示后视窗,在上述后视窗中显示车辆后方道路的道路信息,从而用户在倒车的时候,就不需要左右转头去看车辆外部的左右后视镜,也不需要抬头看车辆内部的中央后视镜,直接从智能可穿戴设备100的虚拟显示区域中就可以看到车辆后方的道路信息,提高了用户的驾驶体验和安全性。
下面以智能可穿戴设备100为AR眼镜为例,结合具体的应用场景对本申请实施例提供的道路信息的显示方法进行介绍。
如上所述,现有相关技术提供的方案存在安全隐患,本申请一个实施例提供的道路信息的显示方法可以解决用户驾驶车辆过程中的安全隐患。
本申请一个实施例中,可以在车辆左右后视镜安装摄像头和蓝牙模块,将左右车道的道路信息传输到AR眼镜上显示,这样,用户不需要左右转头去看车辆的外后视镜,就可以看到左右两边车道的道路信息,可以使用户的眼睛一直注视前方,这样解决了佩戴AR眼镜的用户的安全隐患。另外,还可以在车辆的车尾部安装摄像头,将车辆后方车道的道路信息传输到AR眼镜上显示,这样,用户从AR眼镜的虚拟显示区域就可以看到后方车道的道路信息。
现有相关技术中,用户需要透过AR眼镜,透过玻璃窗,然后从外后视镜中查看左右两边车道的道路信息,还需要通过车辆左右两侧的外后视镜和车辆内部的中央后视镜查看车辆后方道路的道路信息,本申请实施例在AR眼镜上增加眼球追踪检测(eye tracking)的功能,从而可以使用户方便快捷的查看到左右两侧和后方的道路信息,用户不需要转动头,只需要根据用户的眼睛注视点所处的位置,如果在左侧注视点区域,即可直接在AR眼镜中显示左边道路的道路信息;如果在右侧注视点区域,即可直接在AR眼镜中显示右边道路的道路信息;如果在后侧注视点区域,即可直接在AR眼镜中显示后方道路的道路信息。
本申请一个实施例中,AR眼镜主要为驾驶车辆的用户提供更加安全,以及舒适自然便捷的行车体验。本申请实施例提供的AR眼镜适用于各种车型,无任何车型以及品牌限制。该实施例采用的系统架构图可以如图6所示,图6为本申请一个实施例提供的AR眼镜的系统架构图。
参见图6,本申请实施例涉及的物理元器件可以包括:摄像头(camera)、蓝牙、ISP、光机、显示镜片(光波导、自由曲面棱镜或自由空间)、LED灯、SDK。其中,SDK为软件开发工具包(software development kit)的缩写,是被软件工程师用于为特定的软件包、软件框架、硬件平台和/或操作系统等建立应用软件的开发工具的集合,图6中,SDK存储在系统级芯片(system on chip,SOC)中,SOC可以实现处理器110的功能。
本申请实施例中,在汽车左右外后视镜上和车尾部安装摄像头模组以及蓝牙模块,同时在AR眼镜上安装蓝牙模块,以及两个摄像头和LED灯,这两个摄像头和LED灯组成eye tracking模块。具体实现时,如果汽车上预先装有倒车影像摄像头,则车尾部就不需要再安装摄像头,可以直接使用倒车影像摄像头拍摄后方道路的道路信息,只在车尾部安装蓝牙模块即可。
本申请实施例通过汽车左右后视镜上的摄像头和车尾部的摄像头实时对左右两侧车道和后方道路的道路信息进行拍摄,然后通过蓝牙模块将拍摄的图像数据传输到AR眼镜上显示。
AR眼镜可以通过eye tracking确定用户的眼睛注视点所处的位置,如果在左侧注视点区域,即可直接在AR眼镜中显示左边道路的道路信息;如果在右侧注视点区域,即可直接在AR眼镜中显示右边道路的道路信息;如果在后侧注视点区域,即可直接在AR眼镜中显示后方道路的道路信息。具体可以参见图7所示的流程。
图7为本申请再一个实施例提供的道路信息的显示方法的流程图,如图7所示,可以包括:
步骤701,汽车的左右后视镜上安装摄像头和蓝牙模块,由汽车电池进行供电,AR眼镜由AR眼镜中配备的电池供电。
具体实现时,可以将汽车上用来自动转动后视镜的电源线桥接到摄像头和蓝牙模块上,以对摄像头和蓝牙模块进行供电。
步骤702,汽车后视镜上安装的摄像头实时拍摄左右车道的道路信息,通过蓝牙将拍摄的视频传输给AR眼镜侧的蓝牙模块。
具体地,汽车后视镜上的蓝牙模块为发射端,AR眼镜侧的蓝牙模块为接收端,摄像头将拍摄的图像通过汽车后视镜上的蓝牙发射端传输给AR眼镜侧的蓝牙接收端。
步骤703,AR眼镜侧接收到的视频通过ISP进行图像处理,并且通过摄像头和LED灯进行眼球追踪检测,利用SOC中的SDK进行计算,确定用户的眼睛注视点在虚拟显示区域中所处的位置。当上述用户的眼睛注视点位于上述虚拟显示区域中的左侧注视点区域时,在上述虚拟显示区域中显示左视窗,上述左视窗中显示车辆左侧道路的道路信息;当上述用户的眼睛注视点位于虚拟显示区域中的右侧注视点区域时,在上述虚拟显示区域中显示右视窗,上述右视窗中显示车辆右侧道路的道路信息;当上述用户的眼睛注视点位于虚拟显示区域中的后侧注视点区域时,在上述虚拟显示区域中显示后视窗,上述后视窗中显示车辆后方道路的道路信息。其中,左视窗、右视窗或后视窗的显示方式为画中画的显示,左右视窗显示内容为汽车后视镜上的摄像头实时拍摄的左右两侧车道的道路信息。
另外,在显示道路信息之前,还需要在SOC中对汽车后视镜上的摄像头拍摄的视频进行图像渲染处理,然后在虚拟显示区域上呈现画中画的显示,即虚拟显示区域的主界面中显示时间、车速、公里数和/或导航信息等信息,左右视窗中显示汽车后视镜上的摄像头拍摄的左右车道的道路信息的视频。
下面对通过ISP进行图像处理、眼球追踪检测和图像渲染处理的过程分别进行说明。
(1)通过ISP进行图像处理
ISP的主要处理内容是将汽车后视镜拍摄的图像的像素调整到与AR眼镜的显示像素等同,也就是,匹配AR眼镜的显示像素的大小,实现高清画面性能的图像处理,以及防抖功能。
(2)眼球追踪检测(eye tracking),如图8所示,图8为本申请一个实施例提供的眼球追踪检测的原理示意图,一种实现方式的原理说明如下:
通过近红外光LED灯照射用户眼睛的瞳孔部分,在瞳孔和角膜中引起可检测的反射,利用这些反射计算角膜和瞳孔之间的矢量,再由红外摄像头进行追踪。
参见图8,首先,检测获得瞳距和虚像距,图8中,b为瞳距,f为虚像距;然后根据b和f计算出左眼的坐标(Xl,Yl)和右眼的坐标(Xr,Yr),进而可以根据左眼的坐标(Xl,Yl)和右眼的坐标(Xr,Yr)计算出在虚拟显示区域中A点的坐标(Xg,Yg,Zg),A点的坐标即为用户的眼睛注视点在虚拟显示区域中所处的位置,以上计算均在SDK中完成。举例来说,如果SDK确定用户的眼睛注视点A在B区域内,则确定显示左视窗,如果SDK确定用户的眼睛注视点A在C区域内,则确定显示右视窗。图8中,B区域为左侧注视点区域,C区域为右侧注视点区域,图8中未示出后侧注视点区域。
(3)视频在ISP处理完成,并且SDK确定显示左视窗或右视窗之后,需要进行图像渲染,图像渲染过程是将三维的光能传递转换为一个二维图像的过程。
步骤704~步骤705,SOC将渲染后的视频输出到光机,光机包括显示屏和成像镜头,光机将汇聚后的成像输出到显示镜片,从而显示镜片改变光线传播方向将图像视频传输进入人眼。
图9为本申请一个实施例提供的图像传输示意图,参见图9,首先,SOC将渲染后的图像视频传输到光机里面的显示屏上,然后通过镜头将图像进行汇聚成像,将汇聚的成像传输到显示镜片上,显示镜片可以为光波导、自由曲面棱镜或自由空间的形式,显示镜片通过改变图像的传输途径,将图像视频输出到用户的眼睛,显示的效果为人眼正前方2~3米虚拟显示区域,如图10所示。显示镜片为90%以上的透过,所以可以清楚看到现实景物。图10为本申请一个实施例提供的AR眼镜的虚拟显示区域的示意图。
步骤706,AR眼镜在虚拟显示区域上呈现左视窗、右视窗或后视窗,本实施例中,左视窗、右视窗和后视窗不同时出现在虚拟显示区域上,如果显示左视窗,则不显示右视窗和后视窗;如果显示右视窗,则不显示左视窗和后视窗;如果显示后视窗,则不显示左视窗和右视窗,左视窗、右视窗或后视窗的显示模式为画中画的形式,作为举例说明,图10中仅显示左视窗。
本申请实施例提供的道路信息的显示方法中,AR眼镜侧追加eye tracking模块(摄像头+LED灯),利用LED灯照射眼睛,通过摄像头捕捉和跟踪瞳孔和角膜反射信息,通过反射信息计算角膜和瞳孔的矢量,从而实现眼球跟踪。在SDK中进行眼球追踪检测,主要为计算左右眼的位置,进而确定用户的眼睛注视点在虚拟显示区域中所处的位置,从而根据该位置,显示左侧车道、右侧车道或后方道路的道路信息。
本申请实施例通过在汽车后视镜上和车尾部安装的摄像头实时拍摄左右车道和后方道路的道路信息,将拍摄的道路信息通过蓝牙传输给AR眼镜侧,这样,驾驶者不需要左右转头去看外后视镜即可获知左右车道的道路信息,也不需要抬头看车内的中央后视镜,即可获知后方道路的道路信息,从而驾驶者的眼睛可以一直注视前方,这样解决了佩戴AR眼镜的驾驶者的安全隐患。
并且,本申请实施例在AR眼镜上增加眼球追踪功能,根据用户的眼睛注视点在虚拟显示区域中所处的位置,在AR眼镜中显示出左车道、右车道或后方道路的道路信息。
通过SDK计算眼睛注视点的位置坐标,是否在注视点区域内,如果眼睛注视点的位置坐标在左侧注视点区域内,则显示左视窗;如果眼睛注视点的位置坐标在右侧注视点区域内,则显示右视窗;如果眼睛注视点的位置坐标在后侧注视点区域内,则显示后视窗。
现有相关技术中,用户需要透过AR眼镜,透过汽车的玻璃窗,然后通过汽车的左右外后视镜查看左右两侧道路的道路信息,需要通过汽车的左右外后视镜和车内的中央后视镜,查看汽车后方道路的道路信息,本申请实施例在AR眼镜上追加eye tracking的功能,从而可以使驾驶车辆的用户轻松快捷地查看到左右两侧和后方道路的道路信息。
本申请实施例可以实现安全驾驶,可以实时在左视窗、右视窗或后视窗中显示左车道、右车道或后方道路的道路信息,无延时。
对于骑行场景来说,本申请实施例提供的道路信息的显示方法可以解决用户在骑行过程中左右转头查看左右车道的道路信息而存在安全隐患的问题,上述方法可以避免用户转头去看左右两边车道的道路信息,可以使用户的眼睛一直注视前方骑行,这样提高了用户的出行安全。
另外,本申请实施例提供的道路信息的显示方法并不局限于骑行,还可以用于其他需要解放双手进行拍照和/或录像的场景,例如:攀岩或跑步。
本申请另一个实施例中,可以在AR眼镜的左右两个镜腿上安装摄像头,并在AR眼镜内安装eye tracking模块(摄像头+LED灯),通过左右眼镜腿上两个摄像头实时拍摄左右两侧车道的道路信息,然后根据用户的眼睛注视点所处的位置,确定显示左视窗或右视窗,左视窗或右视窗的显示方式为画中画,AR虚拟显示区域内显示的内容包括时间、车速、公里数和/或导航信息等,左右两个视窗不同时出现在AR眼镜的虚拟显示区域内。
图11为本申请另一个实施例提供的AR眼镜的系统架构图。参见图11,本申请实施例涉及的物理元器件可以包括:摄像头(camera)、蓝牙、ISP、光机、显示镜片(光波导、自由曲面棱镜或自由空间)、LED灯、SDK和电池。
AR眼镜腿上的camera1和camera2进行实时视频拍摄,拍摄左右两边车道以及后方道路的道路信息,AR眼镜所有器件通过AR眼镜中的电池进行供电,camera1和camera2拍摄的视频内容输出到SOC中进行处理,通过SOC中的ISP进行图像处理,ISP主要处理内容是将图像的像素大小调整为与AR眼镜的显示像素相同,也就是匹配AR眼镜的显示像素的大小,实现高清画面的图像处理,以及防抖功能。
显示镜片的框架上安装摄像头和LED灯,是eye tracking的硬件构成,LED灯是用来发射红外光照射眼睛的瞳孔部分,在瞳孔和角膜中引起可检测的反射,通过这些反射计算获得角膜和瞳孔之间的矢量,再由红外摄像头进行跟踪。然后通过SOC进行识别,确定用户的眼睛注视点是否在注视点区域内,以此确定在AR虚拟显示区域内显示左视窗或右视窗。
确定需要显示在左视窗或右视窗的图像在SOC中进行图像渲染,然后SOC将视频图像传输到光机,通过光机成像,将成像传输到显示镜片上,显示镜片通过改变光线的传播途径,将视频传输到人眼。具体可以参见图12所示的流程。
图12为本申请再一个实施例提供的道路信息的显示方法的流程图,如图12所示,可以包括:
步骤1201,AR眼镜的左右镜腿上各安装1个摄像头,分别为camera1和camera2,AR眼镜由AR眼镜电池供电。
步骤1202,camera1和camera2拍摄用户左右两侧车道以及后方道路的道路信息,将拍摄的视频传输给AR眼镜中的SOC,由SOC中的ISP进行图像处理。
步骤1203~步骤1206,同步骤703~步骤706,在此不再赘述。
本申请实施例在AR眼镜的左右眼镜腿上设置camera1和camera2,camera1和camera2拍摄用户左右车道以及后方道路的道路信息,将其显示在AR眼镜的虚拟显示区域,骑行中的用户不需要左右转头去看左右两侧车道的道路信息,可以使用户的眼睛一直注视前方骑行,这样解决了佩戴AR眼镜的用户在骑行时的安全隐患。
在AR眼镜上追加眼球追踪检测的功能,通过SOC确定用户的眼睛注视点在虚拟显示区域中所处的位置,当上述用户的眼睛注视点位于上述虚拟显示区域中的左侧注视点区域时,在上述虚拟显示区域中显示左视窗,上述左视窗中显示用户左侧道路的道路信息;当上述用户的眼睛注视点位于虚拟显示区域中的右侧注视点区域时,在上述虚拟显示区域中显示右视窗,上述右视窗中显示用户右侧道路的道路信息。这样,用户不需要转动头,即可通过AR眼镜观察到左右两侧道路,以及后方道路的道路信息。
本申请实施例可以实现安全骑行,可以实时在左视窗或右视窗中显示左右两侧车道的道路信息,无延时。
可以理解的是,上述实施例中的部分或全部步骤骤或操作仅是示例,本申请实施例还可以执行其它操作或者各种操作的变形。此外,各个步骤可以按照上述实施例呈现的不同的顺序来执行,并且有可能并非要执行上述实施例中的全部操作。
可以理解的是,智能可穿戴设备为了实现上述功能,其包含了执行各个功能相应的硬件和/或软件模块。结合本申请所公开的实施例描述的各示例的算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本实施例可以根据上述方法实施例对智能可穿戴设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是,本实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
图13为本申请另一个实施例提供的智能可穿戴设备的结构示意图,在采用对应各个功能划分各个功能模块的情况下,图13示出了上述实施例中涉及的智能可穿戴设备1300的一种可能的组成示意图,如图13所示,该智能可穿戴设备1300可以包括:接收单元1301、处理单元1302和发送单元1303;
其中,接收单元1301可以用于支持智能可穿戴设备1300执行步骤401、步骤702等,和/或用于本申请实施例所描述的技术方案的其他过程;
处理单元1302可以用于支持智能可穿戴设备1300执行步骤402、步骤403、步骤501、步骤502、步骤503、步骤703~步骤706、步骤1201~步骤1206等,和/或用于本申请实施例所描述的技术方案的其他过程;
发送单元1303可以用于支持智能可穿戴设备1300执行用于本申请实施例所描述的技术方案的其他过程。
需要说明的是,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
本实施例提供的智能可穿戴设备1300,用于执行上述道路信息的显示方法,因此可以达到与上述方法相同的效果。
应当理解的是,智能可穿戴设备1300可以对应于图3所示的智能可穿戴设备100。其中,接收单元1301和发送单元1303的功能可以由图3所示的智能可穿戴设备100中处理器110、天线1和无线通信模块160实现;处理单元1302的功能可以由图3所示的智能可穿戴设备100中的处理器110、摄像头193、显示部件194、光机195和LED灯191实现。
在采用集成的单元的情况下,智能可穿戴设备1300可以包括处理模块、存储模块和通信模块。
其中,处理模块可以用于对智能可穿戴设备1300的动作进行控制管理,例如,可以用于支持智能可穿戴设备1300执行上述接收单元1301、处理单元1302和发送单元1303执行的步骤。存储模块可以用于支持智能可穿戴设备1300存储程序代码和数据等。通信模块,可以用于支持智能可穿戴设备1300与其他设备的通信。
其中,处理模块可以是处理器或控制器,其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框、模块和电路。处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,数字信号处理(digital signal processing,DSP)和微处理器的组合等等。存储模块可以是存储器。通信模块具体可以为射频电路、蓝牙芯片和/或Wi-Fi芯片等与其他智能可穿戴设备交互的设备。
在一个实施例中,当处理模块为处理器,存储模块为存储器时,本实施例所涉及的智能可穿戴设备1300可以为具有图3所示结构的设备。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行本申请图4~图12所示实施例提供的方法。
本申请实施例还提供一种计算机程序产品,该计算机程序产品包括计算机程序,当其在计算机上运行时,使得计算机执行本申请图4~图12所示实施例提供的方法。
本申请实施例中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达,是指的这些项中的任意组合,包括单项或复数项的任意组合。例如,a,b和c中的至少一项可以表示:a,b,c,a和b,a和c,b和c或a和b和c,其中a,b,c可以是单个,也可以是多个。
本领域普通技术人员可以意识到,本文中公开的实施例中描述的各单元及算法步骤,能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。本申请的保护范围应以所述权利要求的保护范围为准。

Claims (16)

1.一种道路信息的显示方法,其特征在于,包括:
智能可穿戴设备接收摄像头发送的道路信息,所述道路信息是所述摄像头拍摄的,所述道路信息包括用户左侧和右侧道路的道路信息,所述用户包括佩戴所述智能可穿戴设备的用户;
对所述用户进行眼球追踪检测,确定所述用户的眼睛注视点在所述智能可穿戴设备的虚拟显示区域中所处的位置;
根据所述用户的眼睛注视点所处的位置,在所述虚拟显示区域中显示所述道路信息。
2.根据权利要求1所述的方法,其特征在于,所述对所述用户进行眼球追踪检测,确定所述用户的眼睛注视点在所述智能可穿戴设备的虚拟显示区域中所处的位置包括:
对所述用户进行眼球追踪检测,获取所述用户的眼睛注视点在所述智能可穿戴设备的虚拟显示区域上的坐标;
根据所述用户的眼睛注视点的坐标,确定所述用户的眼睛注视点在所述虚拟显示区域中所处的位置。
3.根据权利要求2所述的方法,其特征在于,所述根据所述用户的眼睛注视点所处的位置,在所述虚拟显示区域中显示所述道路信息包括:
当所述用户的眼睛注视点位于所述虚拟显示区域中的左侧注视点区域时,在所述虚拟显示区域中显示左视窗,所述左视窗中显示所述用户左侧道路的道路信息;
当所述用户的眼睛注视点位于所述虚拟显示区域中的右侧注视点区域时,在所述虚拟显示区域中显示右视窗,所述右视窗中显示所述用户右侧道路的道路信息;
其中,所述左侧注视点区域和所述右侧注视点区域是预先设定的。
4.根据权利要求3所述的方法,其特征在于,在所述虚拟显示区域中显示左视窗或右视窗包括:
在所述虚拟显示区域的主界面中显示时间、车速、公里数和/或导航信息,并以画中画的形式显示左视窗或右视窗。
5.根据权利要求1-4任意一项所述的方法,其特征在于,所述摄像头包括至少两个摄像头,分别设置在所述用户驾驶车辆的左右后视镜上;所述用户左侧和右侧道路的道路信息包括:所述车辆左侧和右侧道路的道路信息;
所述智能可穿戴设备接收摄像头发送的道路信息包括:
所述智能可穿戴设备接收所述摄像头通过无线通信方式发送的道路信息。
6.根据权利要求5所述的方法,其特征在于,所述摄像头还包括设置在所述用户驾驶车辆的车尾部的摄像头;所述道路信息还包括:所述车辆后方道路的道路信息;
所述根据所述用户的眼睛注视点所处的位置,在所述虚拟显示区域中显示所述道路信息包括:
当所述用户的眼睛注视点位于所述虚拟显示区域中的后侧注视点区域时,在所述虚拟显示区域中显示后视窗,所述后视窗中显示所述车辆后方道路的道路信息。
7.根据权利要求1-4任意一项所述的方法,其特征在于,所述摄像头包括至少两个摄像头,分别设置在所述智能可穿戴设备的两侧;所述道路信息还包括所述用户后方的道路信息;
所述智能可穿戴设备接收摄像头发送的道路信息包括:
所述智能可穿戴设备接收所述摄像头通过所述智能可穿戴设备的内部连接发送的道路信息。
8.一种道路信息的显示装置,其特征在于,用于执行如权利要求1至7任一所述的方法。
9.一种智能可穿戴设备,其特征在于,包括:
一个或多个处理器;存储器;多个应用程序;以及一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中,所述一个或多个计算机程序包括指令,当所述指令被所述智能可穿戴设备执行时,使得所述智能可穿戴设备执行以下步骤:
接收摄像头发送的道路信息,所述道路信息是所述摄像头拍摄的,所述道路信息包括用户左侧和右侧道路的道路信息,所述用户包括佩戴所述智能可穿戴设备的用户;
对所述用户进行眼球追踪检测,确定所述用户的眼睛注视点在所述智能可穿戴设备的虚拟显示区域中所处的位置;
根据所述用户的眼睛注视点所处的位置,在所述虚拟显示区域中显示所述道路信息。
10.根据权利要求9所述的设备,其特征在于,当所述指令被所述智能可穿戴设备执行时,使得所述智能可穿戴设备执行所述对所述用户进行眼球追踪检测,确定所述用户的眼睛注视点在所述智能可穿戴设备的虚拟显示区域中所处的位置的步骤包括:
对所述用户进行眼球追踪检测,获取所述用户的眼睛注视点在所述智能可穿戴设备的虚拟显示区域上的坐标;
根据所述用户的眼睛注视点的坐标,确定所述用户的眼睛注视点在所述虚拟显示区域中所处的位置。
11.根据权利要求10所述的设备,其特征在于,当所述指令被所述智能可穿戴设备执行时,使得所述智能可穿戴设备执行所述根据所述用户的眼睛注视点所处的位置,在所述虚拟显示区域中显示所述道路信息的步骤包括:
当所述用户的眼睛注视点位于所述虚拟显示区域中的左侧注视点区域时,在所述虚拟显示区域中显示左视窗,所述左视窗中显示所述用户左侧道路的道路信息;
当所述用户的眼睛注视点位于所述虚拟显示区域中的右侧注视点区域时,在所述虚拟显示区域中显示右视窗,所述右视窗中显示所述用户右侧道路的道路信息;
其中,所述左侧注视点区域和所述右侧注视点区域是预先设定的。
12.根据权利要求11所述的设备,其特征在于,当所述指令被所述智能可穿戴设备执行时,使得所述智能可穿戴设备执行所述在所述虚拟显示区域中显示左视窗或右视窗的步骤包括:
在所述虚拟显示区域的主界面中显示时间、车速、公里数和/或导航信息,并以画中画的形式显示左视窗或右视窗。
13.根据权利要求9-12任意一项所述的设备,其特征在于,所述摄像头包括至少两个摄像头,分别设置在所述用户驾驶车辆的左右后视镜上;所述用户左侧和右侧道路的道路信息包括:所述车辆左侧和右侧道路的道路信息;当所述指令被所述智能可穿戴设备执行时,使得所述智能可穿戴设备执行所述接收摄像头发送的道路信息的步骤包括:
接收所述摄像头通过无线通信方式发送的道路信息。
14.根据权利要求13所述的设备,其特征在于,所述摄像头还包括设置在所述用户驾驶车辆的车尾部的摄像头;所述道路信息还包括:所述车辆后方道路的道路信息;
当所述指令被所述智能可穿戴设备执行时,使得所述智能可穿戴设备执行所述根据所述用户的眼睛注视点所处的位置,在所述虚拟显示区域中显示所述道路信息的步骤包括:
当所述用户的眼睛注视点位于所述虚拟显示区域中的后侧注视点区域时,在所述虚拟显示区域中显示后视窗,所述后视窗中显示所述车辆后方道路的道路信息。
15.根据权利要求9-12任意一项所述的设备,其特征在于,所述摄像头包括至少两个摄像头,分别设置在所述智能可穿戴设备的两侧;所述道路信息还包括所述用户后方的道路信息;当所述指令被所述智能可穿戴设备执行时,使得所述智能可穿戴设备执行所述接收摄像头发送的道路信息的步骤包括:
接收所述摄像头通过所述智能可穿戴设备的内部连接发送的道路信息。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行如权利要求1-7任一项所述的方法。
CN202010682484.8A 2020-05-18 2020-07-15 道路信息的显示方法、装置和智能可穿戴设备 Pending CN113686350A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010420637 2020-05-18
CN2020104206371 2020-05-18

Publications (1)

Publication Number Publication Date
CN113686350A true CN113686350A (zh) 2021-11-23

Family

ID=78576043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010682484.8A Pending CN113686350A (zh) 2020-05-18 2020-07-15 道路信息的显示方法、装置和智能可穿戴设备

Country Status (1)

Country Link
CN (1) CN113686350A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115551156A (zh) * 2022-03-01 2022-12-30 荣耀终端有限公司 一种发光闪烁的方法及可穿戴设备
WO2024104045A1 (zh) * 2022-11-15 2024-05-23 长城汽车股份有限公司 基于座舱区域获取操作指示的方法、显示方法及相关设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120212484A1 (en) * 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content placement using distance and location information
WO2014199155A1 (en) * 2013-06-11 2014-12-18 Sony Computer Entertainment Europe Limited Head-mountable apparatus and systems
CN106740581A (zh) * 2017-01-03 2017-05-31 青岛海信移动通信技术股份有限公司 一种车载设备的控制方法、ar装置及ar系统
CN109781136A (zh) * 2019-02-01 2019-05-21 谷东科技有限公司 一种基于ar眼镜的智能导航方法及系统
US20190250705A1 (en) * 2018-02-12 2019-08-15 Hong Kong Applied Science and Technology Research Institute Company Limited 3D Gazing Point Detection by Binocular Homography Mapping
US20190317328A1 (en) * 2018-04-17 2019-10-17 Faraday&Future Inc. System and method for providing augmented-reality assistance for vehicular navigation
CN110419063A (zh) * 2017-03-17 2019-11-05 麦克赛尔株式会社 Ar显示装置和ar显示方法
CN110856107A (zh) * 2018-08-21 2020-02-28 上海擎感智能科技有限公司 智能导游方法、系统、服务器及车辆
CN110956483A (zh) * 2018-09-26 2020-04-03 上海博泰悦臻网络技术服务有限公司 广告信息推送方法、系统、服务器及车辆

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120212484A1 (en) * 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content placement using distance and location information
WO2014199155A1 (en) * 2013-06-11 2014-12-18 Sony Computer Entertainment Europe Limited Head-mountable apparatus and systems
CN106740581A (zh) * 2017-01-03 2017-05-31 青岛海信移动通信技术股份有限公司 一种车载设备的控制方法、ar装置及ar系统
CN110419063A (zh) * 2017-03-17 2019-11-05 麦克赛尔株式会社 Ar显示装置和ar显示方法
US20190250705A1 (en) * 2018-02-12 2019-08-15 Hong Kong Applied Science and Technology Research Institute Company Limited 3D Gazing Point Detection by Binocular Homography Mapping
US20190317328A1 (en) * 2018-04-17 2019-10-17 Faraday&Future Inc. System and method for providing augmented-reality assistance for vehicular navigation
CN110856107A (zh) * 2018-08-21 2020-02-28 上海擎感智能科技有限公司 智能导游方法、系统、服务器及车辆
CN110956483A (zh) * 2018-09-26 2020-04-03 上海博泰悦臻网络技术服务有限公司 广告信息推送方法、系统、服务器及车辆
CN109781136A (zh) * 2019-02-01 2019-05-21 谷东科技有限公司 一种基于ar眼镜的智能导航方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115551156A (zh) * 2022-03-01 2022-12-30 荣耀终端有限公司 一种发光闪烁的方法及可穿戴设备
CN115551156B (zh) * 2022-03-01 2023-10-31 荣耀终端有限公司 一种发光闪烁的方法及可穿戴设备
WO2024104045A1 (zh) * 2022-11-15 2024-05-23 长城汽车股份有限公司 基于座舱区域获取操作指示的方法、显示方法及相关设备

Similar Documents

Publication Publication Date Title
CN109582141B (zh) 根据眼球焦点控制显示屏的方法和头戴电子设备
CN110139028B (zh) 一种图像处理的方法及头戴式显示设备
CN109814719B (zh) 一种基于穿戴眼镜的显示信息的方法与设备
CN110244840A (zh) 图像处理方法、相关设备及计算机存储介质
US20210143672A1 (en) Nfc communication and qi wireless charging of eyewear
KR20210130206A (ko) 헤드 마운트 디스플레이를 위한 이미지 디스플레이 방법 및 장치
US9971155B2 (en) Head mounted display device and control method for head mounted display device
CN110708533B (zh) 基于增强现实的视觉辅助方法及智能穿戴设备
US11178344B2 (en) Head-mounted display apparatus, display system, and method of controlling head-mounted display apparatus
CN109960039B (zh) 显示系统、电子设备以及显示方法
EP4068769A1 (en) Eye positioning device and method, and 3d display device and method
US20220174260A1 (en) Utilizing dual cameras for continuous camera capture
CN113686350A (zh) 道路信息的显示方法、装置和智能可穿戴设备
CN113542529A (zh) 用于dms和oms的940nm led闪光同步
CN113223129B (zh) 一种图像渲染方法、电子设备及系统
CN211791829U (zh) 3d显示设备
CN204258990U (zh) 智能头戴显示装置
CN111464781A (zh) 图像显示方法、图像显示装置、存储介质与电子设备
CN111930236B (zh) 设备控制方法、装置、存储介质及电子设备
CN115686181A (zh) 一种显示方法与电子设备
CN112581920A (zh) 显示系统、显示控制方法以及记录介质
CN111323042A (zh) 目标物体的预警方法、装置和电子设备
EP4198873A1 (en) Sparse rgb filter hardware accelerator
US11527895B1 (en) Eyewear bidirectional communication using time gating power transfer
CN116704572B (zh) 一种基于深度摄像头的眼动追踪方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination