CN112654959B - 一种画面显示方法、智能车、存储介质以及装置 - Google Patents

一种画面显示方法、智能车、存储介质以及装置 Download PDF

Info

Publication number
CN112654959B
CN112654959B CN202080004908.3A CN202080004908A CN112654959B CN 112654959 B CN112654959 B CN 112654959B CN 202080004908 A CN202080004908 A CN 202080004908A CN 112654959 B CN112654959 B CN 112654959B
Authority
CN
China
Prior art keywords
vehicle
picture
acceleration
duration
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080004908.3A
Other languages
English (en)
Other versions
CN112654959A (zh
Inventor
国林川
金鑫垚
张桂成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN112654959A publication Critical patent/CN112654959A/zh
Application granted granted Critical
Publication of CN112654959B publication Critical patent/CN112654959B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1407General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22Display screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/20Linear translation of whole images or parts thereof, e.g. panning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149Instrument input by detecting viewing direction not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/1523Matrix displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/21Optical features of instruments using cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00Special features of vehicle units
    • B60Y2400/92Driver displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/045Zooming at least part of an image, i.e. enlarging it or shrinking it
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0492Change of orientation of the displayed image, e.g. upside-down, mirrored
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本申请实施例公开了一种画面显示方法,可以应用于智能汽车、智能网联汽车上,包括:获取车辆的运动信息,所述运动信息包括第一信息或上层高级驾驶辅助系统ADAS指令,所述第一信息包括制动踏板的位移信息和加速踏板的位移信息中的一种或者两种,所述ADAS指令用于指示所述车辆加速行驶或者减速行驶。根据所述车辆的运动信息放大第一画面或者缩小所述第一画面,所述第一画面是所述车辆的车载显示器上显示的画面。本申请实施例还提供一种画面限制装置以及车辆。通过本申请提供的方案可以缓解乘客在车辆上观看视频会晕车或者疲劳的状况。

Description

一种画面显示方法、智能车、存储介质以及装置
技术领域
本申请涉及图像数据处理领域,尤其涉及一种画面显示方法、车辆以及存储介质。
背景技术
随着社会的发展,汽车已成为人们工作和生活中的一种常用的重要交通工具。为了增加乘客旅途的趣味性,汽车上通常会安装有车载显示器播放视频。但是,部分人员乘坐汽车观看视频会出现晕车的情况。
为了减轻乘客的晕车症状,目前可以通过给乘客提供一定的视野,让乘客可以对外部运动信息有一定的预判,比如通过摄像头拍摄驾驶员视野画面,并将获取到的驾驶员的视野画面投放到车载显示器上,增加乘客对于路况的预判能力。但是这种方式,乘客可视面积有限,导致最终的效果不佳。因此,如何缓解乘客在车辆上观看视频会晕车或者疲劳的状况亟待解决。
发明内容
本申请实施例提供一种画面显示方法,可以缓解乘客在车辆上观看视频会晕车或者疲劳的状况。
为达到上述目的,本申请实施例提供如下技术方案:
其中,应理解,本申请所提供的画面显示方法可以由电子装置执行,该电子装置可以是画面显示装置,比如可以是计算设备的整机,也可以是该计算设备中的部分器件,例如,与画面显示相关的芯片。具体地,电子装置可以是诸如汽车、汽车中的车载显示器等终端,也可以是能够被设置在终端中的系统芯片。其中,系统芯片也称为片上系统,或称为片上系统(system on a chip,SoC)芯片。在物理实现中,导航芯片可以集成在系统芯片内部,也可以不与系统芯片集成。
本申请第一方面提供一种画面显示方法,包括:获取车辆的运动信息,运动信息包括第一信息,上层高级驾驶辅助系统ADAS指令以及预测的车辆的运动轨迹中至少一种,第一信息包括制动踏板的位移信息和加速踏板的位移信息以及方向盘转角信息中的至少一种,ADAS指令用于指示车辆加速行驶或者减速行驶或者拐弯行驶。比如,运动信息可以包括制动踏板的位移信息,或者运动信息可以包括加速踏板的位移信息,或者运动信息可以包括制动踏板的位移信息和加速踏板的位移信息,或者运动信息可以包括ADAS指令,或者运动信息可以包括制动踏板的位移信息和ADAS指令,或者运动信息可以包括加速踏板的位移信息和ADAS指令,或者运动信息可以包括制动踏板的位移信息和加速踏板的位移信息和ADAS指令。举例说明,对于非自动驾驶车辆,运动信息可以包括第一信息。对于自动驾驶车辆,运动信息可以包括第一信息或上层高级驾驶辅助系统ADAS指令,比如当车辆处于人工驾驶模式时,运动信息可以包括第一信息,当车辆处于自动驾驶模式时,运动信息可以包括ADAS指令。以下本申请提到的人工驾驶模式用于表示驾驶员操控车辆,包括非自动驾驶车辆的场景,以下对此不再重复赘述。根据车辆的运动信息对第一画面进行调整。比如,车辆加速行驶时,放大第一画面,车辆减速行驶时,缩小第一画面,或者还可以根据车辆的运动信息对第一画面进行其他调整,比如根据运动信息对第一画面进行曲率的调整,分辨率的调整,亮度的调整等等。由第一方面可知,本申请提供的方案可以根据车辆的运动信息调整第一画面的尺寸,使画面相对于眼睛而言,是动态运动的。因此,前庭系统传递给大脑中枢神经的信号是运动信号,乘客看到的车载显示器的画面也是运动的,因此乘客的眼睛传递到给大脑中枢神经的信号也是运动的。因此前庭系统和眼睛传递给大脑中枢神经信号的信号没有很大的差异,不会影响大脑感知认知平衡,减缓乘客在车辆上观看视频会晕车的问题。此外,通过陀螺仪或者其他创按期接收到的信号是已经发生的,人也已经同步感应到运动信息,再回馈到显示器上延迟非常大,从而导致效果会非常不好,而本申请根据据制动踏板的位移信息和加速踏板的位移信息以及ADAS指令对第一画面进行调整,减小了延迟,可以更好的缓解乘客晕车的状况。
可选地,结合上述第一方面,在第一种可能的实现方式中,根据车辆的运动信息对第一画面进行调整,包括:根据车辆的运动信息对第一画面进行缩放调整。需要说明的是,可以根据车辆的运动信息对第一画面的整个画面进行缩放调整,也可以只针对第一画面的部分区域进行缩放调整。比如因为目标对象或者乘客关注的画面的对象通常会位于第一画面的中心,所以可以只针对第一画面的中心区域进行缩放调整。
可选地,结合上述第一方面或第一方面第一种可能的实现方式,在第二种可能的实现方式中,根据车辆的运动信息对第一画面进行调整,还包括:根据车辆的运动信息移动第一画面的边界。需要说明的是,根据车辆的运动信息可以移动第一画面的一个边界或者多个边界,也可以移动第一画面的部分边界。
可选地,结合上述第一方面或第一方面第一种或第一方面第二种可能的实现方式,在第三种可能的实现方式中,根据车辆的运动信息对第一画面进行缩放调整,包括:根据第一加速度放大第一画面,第一画面的放大比例是根据第一加速度和第一时长确定的,第一加速度是根据加速踏板的位移信息确定的,第一时长为从获取到加速踏板的位移信息时到车辆匀速行驶时的时长。由第一方面第一种可能的方式可知,提供了一种加速场景下对第一画面进行调整的具体方式,增加了方案的多样性。
可选地,结合上述第一方面第三种可能的实现方式,在第四种可能的实现方式中,第一画面的放大比例是根据第一加速度、第一时长以及预设的第一压缩函数确定的,第一压缩函数用于模拟车辆在预设距离范围内的第一加速度随时间变化的曲线。由第一方面第二种可能的实施方式可知,在确定第一画面的放大比例利用了第一压缩函数,第一压缩函数可以模拟车辆在预设距离范围内的第一加速度随时间变化的曲线,可以获得更好的放大比例。
可选地,结合上述第一方面或第一方面第一种或第一方面第二种可能的实现方式,在第五种可能的实现方式中,根据车辆的运动信息对第一画面进行缩放调整,包括:根据第二加速度缩小第一画面,第一画面的缩小比例是根据第二加速度和第二时长确定的,第二加速度是根据制动踏板的位移信息确定的,第二时长为从获取到制动踏板的位移信息时到车辆匀速行驶时的时长。由第一方面第三种可能的实现方式可知,提供了一种减速场景下对第一画面进行调整的具体方式,增加了方案的多样性。
可选地,结合上述第一方面第五种可能的实现方式,在第六种可能的实现方式,第一画面的缩小比例是根据第二加速度、第二时长以及预设的第二压缩函数确定的,第二压缩函数用于模拟车辆在预设距离范围内的第二加速度随时间变化的曲线。
可选地,结合上述第一方面或第一方面第一种至第一方面第六种可能的实现方式,在第七种可能的实现方式中,根据车辆的运动信息对第一画面进行缩放调整,还包括检测到车辆行驶至第一路段时,下移第一画面的上边界,第一路段是根据车辆的导航信息以及高精地图预测的车辆前方行驶的上坡路段,第一画面的上边界下移的比例是根据第一坡度、第一速率以及第三时长确定的,第一坡度是根据高精地图确定的第一路段的坡度,第一速率是车辆行驶至第一路段时的速率,第三时长是车辆行驶完第一路段所需时长。由第一方面第五种可能的实现方式可知,提供了一种上坡场景下对第一画面进行调整的具体方式,增加了方案的多样性。
可选地,结合上述第一方面或第一方面第一种至第一方面第六种可能的实现方式,在第八种可能的实现方式中,根据车辆的运动信息对第一画面进行缩放调整,包括:检测到车辆行驶至第一路段时,下移第一画面的上边界,第一路段是根据车辆的图像传感器获取的数据预测的车辆前方行驶的上坡路段,第一画面的上边界下移的比例是根据第一坡度、第一速率以及第三时长确定的,第一坡度是根据高精地图确定的第一路段的坡度,第一速率是车辆行驶至第一路段时的速率,第三时长是车辆行驶完第一路段所需时长。
可选地,结合上述第一方面或第一方面第一种至第一方面第六种可能的实现方式,在第九种可能的实现方式中,根据车辆的运动信息对第一画面进行缩放调整,还包括:检测到车辆行驶至第二路段时,上移第一画面的下边界,第二路段是根据车辆的导航信息以及高精地图预测的车辆前方行驶的下坡路段,第一画面的下边界上移的比例是根据重力加速度以及第四时长确定的,第四时长是车辆行驶完第二路段所需时长。由第一方面第六种可能的实现方式可知,提供了一种下坡场景下对第一画面进行调整的具体方式,增加了方案的多样性。
可选地,结合上述第一方面或第一方面第一种至第一方面第六种可能的实现方式,在第十种可能的实现方式中,根据车辆的运动信息对第一画面进行缩放调整,包括:检测到车辆行驶至第二路段时,上移第一画面的下边界,第二路段是根据车辆的图像传感器获取的数据预测的车辆前方行驶的下坡路段,第一画面的下边界上移的比例是根据重力加速度以及第四时长确定的,第四时长是车辆行驶完第二路段所需时长。
可选地,结合上述第一方面或第一方面第一种至第一方面第十种可能的实现方式,在第十一种可能的实现方式中,根据车辆的运动信息对第一画面进行缩放调整,包括:根据方向盘转角信息确定车辆左拐时,右移第一画面的左边界,左边界右移的比例是根据第二速率和第五时长确定的,第二速率是根据方向盘转角信息确定车辆左拐时车辆的速率,第五时长是根据方向盘转角信息确定的车辆从左拐到停止左拐的时长。根据方向盘转角信息确定车辆右拐时,左移第一画面的右边界,右边界左移的比例是根据第三速率和第六时长确定的,第三速率是根据方向盘转角信息确定车辆右拐时车辆的速率,第六时长是根据方向盘转角信息确定的车辆从右拐到停止左拐的时长。由第一方面第七种可能的实现方式可知,提供了一种拐弯场景下对第一画面进行调整的具体方式,增加了方案的多样性。
可选地,结合上述第一方面或第一方面第一种至第一方面第十种可能的实现方式,在第十二种可能的实现方式中,根据车辆的运动信息对第一画面进行缩放调整,包括:检测到车辆行驶至第三路段时,右移第一画面的左边界,第三路段是根据车辆的图像传感器获取的数据预测的车辆前方行驶的左拐路段,左边界右移的比例是根据第二速率和第五时长确定的,第二速率是车辆行驶至第三路段时车辆的速率,第五时长是车辆行驶过第三路段所需的时长。检测到车辆行驶至第四路段时,左移第一画面的右边界,第四路段是根据车辆的图像传感器获取的数据预测的车辆前方行驶的右拐路段,右边界左移的比例是根据第三速率和第六时长确定的,第三速率是车辆行驶至第四路段时车辆的速率,第六时长是车辆行驶过第四路段所需的时长。
可选地,结合上述第一方面,在第十三种可能的实施方式中,根据车辆的运动信息对第一画面进行调整,包括:根据第一ADAS指令确定车辆加速行驶时,根据第三加速度放大第一画面,第一画面的放大比例是根据第三加速度和第七时长确定的,第三加速度是根据第一ADAS指令确定的,第七时长为根据第一ADAS指令确定的车辆加速时到车辆匀速行驶时的时长,第一ADAS指令用于指示车辆加速。根据第二ADAS指令确定车辆减速行驶时,根据第四加速度缩小第一画面,第一画面的缩小比例是根据第四加速度和第八时长确定的,第四加速度是根据第二ADAS指令确定的,第八时长为根据第二ADAS指令确定的车辆减速时到车辆匀速行驶时的时长,第二ADAS指令用于指示车辆减速。根据第三ADAS指令确定车辆左拐时,右移第一画面的左边界,左边界右移的比例是根据第二速率和第五时长确定的,第二速率是车辆左拐时车辆的速率,第五时长是车辆左拐持续的时长。
根据第四ADAS指令确定车辆右拐时,左移第一画面的右边界,右边界左移的比例是根据第三速率和第六时长确定的,第三速率是车辆右拐时车辆的速率,第六时长是车辆右拐持续的时长。
本申请第二方面提供一种画面显示装置,包括:获取模块,用于获取车辆的运动信息,运动信息包括第一信息,上层高级驾驶辅助系统ADAS指令以及预测的车辆的运动轨迹中至少一种,第一信息包括制动踏板的位移信息和加速踏板的位移信息中的至少一种,ADAS指令用于指示车辆加速行驶或者减速行驶或者拐弯行驶。调整模块,用于根据获取模块获取的车辆的运动信息调整第一画面,第一画面是车辆的车载显示器上显示的画面。
可选地,结合上述第二方面,在第一种可能的实现方式中,调整模块,具体用于根据车辆的运动信息对第一画面进行缩放调整。
可选地,结合上述第二方面或第二方面第一种可能的实现方式,在第二种可能的实现方式中,调整模块,具体用于根据车辆的运动信息对第一画面进行调整,还包括:根据车辆的运动信息移动第一画面的边界。
可选地,结合上述第二方面或第二方面第一种或第二方面第二种可能的实现方式,在第三种可能的实现方式中,调整模块,具体用于:根据第一加速度放大第一画面,第一画面的放大比例是根据第一加速度和第一时长确定的,第一加速度是根据获取模块获取的加速踏板的位移信息确定的,第一时长为从获取到加速踏板的位移信息时到车辆匀速行驶时的时长。
可选地,结合上述第二方面第三种可能的实现方式,在第四种可能的实现方式中,第一画面的放大比例是根据第一加速度、第一时长以及预设的第一压缩函数确定的,第一压缩函数用于模拟车辆在预设距离范围内的第一加速度随时间变化的曲线。
可选地,结合上述第二方面或第二方面第一种或第二方面第二种可能的实现方式,在第五种可能的实现方式中,调整模块,具体用于:根据第二加速度缩小第一画面,第一画面的缩小比例是根据第二加速度和第二时长确定的,第二加速度是根据获取模块获取的制动踏板的位移信息确定的,第二时长为从获取到制动踏板的位移信息时到车辆匀速行驶时的时长。
可选地,结合上述第二方面第五种可能的实现方式,在第六种可能的实现方式,第一画面的缩小比例是根据第二加速度、第二时长以及预设的第二压缩函数确定的,第二压缩函数用于模拟车辆在预设距离范围内的第二加速度随时间变化的曲线。
可选地,结合上述第二方面或第二方面第一种至第二方面第六种可能的实现方式,在第七种可能的实现方式中,还包括检测模块。检测模块,用于检测车辆的位置信息。调整模块,还用于检测模块检测到车辆行驶至第一路段时,下移第一画面的上边界,第一路段是根据车辆的导航信息以及高精地图预测的车辆前方行驶的上坡路段,第一画面的上边界下移的比例是根据第一坡度、第一速率以及第三时长确定的,第一坡度是根据高精地图确定的第一路段的坡度,第一速率是车辆行驶至第一路段时的速率,第三时长是车辆行驶完第一路段所需时长。
可选地,结合上述第二方面或第二方面第一种至第二方面第六种可能的实现方式,在第八种可能的实现方式中,调整模块还用于检测到车辆行驶至第一路段时,下移第一画面的上边界,第一路段是根据车辆的图像传感器获取的数据预测的车辆前方行驶的上坡路段,第一画面的上边界下移的比例是根据第一坡度、第一速率以及第三时长确定的,第一坡度是根据高精地图确定的第一路段的坡度,第一速率是车辆行驶至第一路段时的速率,第三时长是车辆行驶完第一路段所需时长。
可选地,结合上述第二方面或第二方面第一种至第二方面第六种可能的实现方式,在第九种可能的实现方式中,还包括检测模块。检测模块,用于检测车辆的位置信息。调整模块,还用于检测模块检测到车辆行驶至第二路段时,上移第一画面的下边界,第二路段是根据车辆的导航信息以及高精地图预测的车辆前方行驶的下坡路段,第一画面的下边界上移的比例是根据重力加速度以及第四时长确定的,第四时长是车辆行驶完第二路段所需时长。
可选地,结合上述第二方面或第二方面第一种至第二方面第六种可能的实现方式,在第十种可能的实现方式中,调整模块,还用于检测到车辆行驶至第二路段时,上移第一画面的下边界,第二路段是根据车辆的图像传感器获取的数据预测的车辆前方行驶的下坡路段,第一画面的下边界上移的比例是根据重力加速度以及第四时长确定的,第四时长是车辆行驶完第二路段所需时长。
可选地,结合上述第二方面或第二方面第一种至第二方面第十种可能的实现方式,在第十一种可能的实现方式中,获取模块,还用于获取车辆的方向盘转角信息。调整模块,还用于根据方向盘转角信息确定车辆左拐时,右移第一画面的左边界,左边界右移的比例是根据第二速率和第五时长确定的,第二速率是根据方向盘转角信息确定车辆左拐时车辆的速率,第五时长是根据方向盘转角信息确定的车辆从左拐到停止左拐的时长。调整模块,还用于根据方向盘转角信息确定车辆右拐时,左移第一画面的右边界,右边界左移的比例是根据第三速率和第六时长确定的,第三速率是根据方向盘转角信息确定车辆右拐时车辆的速率,第六时长是根据方向盘转角信息确定的车辆从右拐到停止左拐的时长。
可选地,结合上述第二方面或第二方面第一种至第二方面第十种可能的实现方式,在第十二种可能的实现方式中,调整模块,还用于检测到车辆行驶至第三路段时,右移第一画面的左边界,第三路段是根据车辆的图像传感器获取的数据预测的车辆前方行驶的左拐路段,左边界右移的比例是根据第二速率和第五时长确定的,第二速率是车辆行驶至第三路段时车辆的速率,第五时长是车辆行驶过第三路段所需的时长。检测到车辆行驶至第四路段时,左移第一画面的右边界,第四路段是根据车辆的图像传感器获取的数据预测的车辆前方行驶的右拐路段,右边界左移的比例是根据第三速率和第六时长确定的,第三速率是车辆行驶至第四路段时车辆的速率,第六时长是车辆行驶过第四路段所需的时长。
可选地,结合上述第二方面,在第十三种可能的实施方式中,调整模块,还用于根据第一ADAS指令确定车辆加速行驶时,根据第三加速度放大第一画面,第一画面的放大比例是根据第三加速度和第七时长确定的,第三加速度是根据第一ADAS指令确定的,第七时长为根据第一ADAS指令确定的车辆加速时到车辆匀速行驶时的时长,第一ADAS指令用于指示车辆加速。根据第二ADAS指令确定车辆减速行驶时,根据第四加速度缩小第一画面,第一画面的缩小比例是根据第四加速度和第八时长确定的,第四加速度是根据第二ADAS指令确定的,第八时长为根据第二ADAS指令确定的车辆减速时到车辆匀速行驶时的时长,第二ADAS指令用于指示车辆减速。根据第三ADAS指令确定车辆左拐时,右移第一画面的左边界,左边界右移的比例是根据第二速率和第五时长确定的,第二速率是车辆左拐时车辆的速率,第五时长是车辆左拐持续的时长。根据第四ADAS指令确定车辆右拐时,左移第一画面的右边界,右边界左移的比例是根据第三速率和第六时长确定的,第三速率是车辆右拐时车辆的速率,第六时长是车辆右拐持续的时长。
本申请第三方面提供一种画面显示系统,该画面显示系统包括移动终端和车辆,移动终端,用于向车辆发送第一指令,第一指令用于指示所车辆发送车辆的运动信息,响应于第一指令,车辆获取车辆的运动信息,运动信息包括第一信息,上层高级驾驶辅助系统ADAS指令以及预测的车辆的运动轨迹中至少一种,第一信息包括制动踏板的位移信息和加速踏板的位移信息以及方向盘转角信息中的至少一种,ADAS第一指令用于指示车辆加速行驶或者减速行驶或者拐弯行驶。车辆还用于向移动终端发送车辆的运动信息。移动终端用于根据车辆的运动信息调整第一画面,第一画面是移动终端的显示屏显示的画面。
可选地,结合上述第三方面,在第一种可能的实现方式中,移动终端,具体用于根据车辆的运动信息对第一画面进行缩放调整。
可选地,结合上述第三方面或第三方面第一种可能的实现方式,在第二种可能的实现方式中,移动终端,还用于根据车辆的运动信息移动第一画面的边界。
可选地,结合上述第三方面或第三方面第一种或第三方面第二种可能的实现方式,在第三种可能的实现方式中,移动终端具体用于根据第一加速度放大第一画面,第一画面的放大比例是根据第一加速度和第一时长确定的,第一加速度是根据加速踏板的位移信息确定的,第一时长为车辆从获取到加速踏板的位移信息时到车辆匀速行驶时的时长。
可选地,结合上述第三方面第三种可能的实现方式,在第四种可能的实现方式中,第一画面的放大比例是根据第一加速度、第一时长以及预设的第一压缩函数确定的,第一压缩函数用于模拟车辆在预设距离范围内的第一加速度随时间变化的曲线。
可选地,结合上述第三方面或第三方面第一种或第三方面第二种可能的实现方式,在第五种可能的实现方式中,移动终端,具体用于根据第二加速度缩小第一画面,第一画面的缩小比例是根据第二加速度和第二时长确定的,第二加速度是根据制动踏板的位移信息确定的,第二时长为从车辆获取到制动踏板的位移信息时到车辆匀速行驶时的时长。
可选地,结合上述第三方面第五种可能的实现方式,在第六种可能的实现方式,第一画面的缩小比例是根据第二加速度、第二时长以及预设的第二压缩函数确定的,第二压缩函数用于模拟车辆在预设距离范围内的第二加速度随时间变化的曲线。
可选地,结合上述第三方面或第三方面第一种至第三方面第六种可能的实现方式,在第七种可能的实现方式中,移动终端,还用于检测到车辆行驶至第一路段时,下移第一画面的上边界,第一路段是根据移动终端确定的车辆的导航信息以及高精地图预测的车辆前方行驶的上坡路段,第一画面的上边界下移的比例是根据第一坡度、第一速率以及第三时长确定的,第一坡度是根据高精地图确定的第一路段的坡度,第一速率是车辆行驶至第一路段时的速率,第三时长是车辆行驶完第一路段所需时长。
可选地,结合上述第三方面或第三方面第一种至第三方面第六种可能的实现方式,在第八种可能的实现方式中,移动终端,还用于检测到车辆行驶至第一路段时,下移第一画面的上边界,第一路段是根据车辆的图像传感器获取的数据预测的车辆前方行驶的上坡路段,第一画面的上边界下移的比例是根据第一坡度、第一速率以及第三时长确定的,第一坡度是根据高精地图确定的第一路段的坡度,第一速率是车辆行驶至第一路段时的速率,第三时长是车辆行驶完第一路段所需时长。
可选地,结合上述第三方面或第三方面第一种至第三方面第六种可能的实现方式,在第九种可能的实现方式中,移动终端,还用于检测到车辆行驶至第二路段时,上移第一画面的下边界,第二路段是根据移动终端确定的车辆的导航信息以及高精地图预测的车辆前方行驶的下坡路段,第一画面的下边界上移的比例是根据重力加速度以及第四时长确定的,第四时长是车辆行驶完第二路段所需时长。
可选地,结合上述第二方面或第二方面第一种至第二方面第六种可能的实现方式,在第十种可能的实现方式中,移动终端,还用于检测到车辆行驶至第二路段时,上移第一画面的下边界,第二路段是根据车辆的图像传感器获取的数据预测的车辆前方行驶的下坡路段,第一画面的下边界上移的比例是根据重力加速度以及第四时长确定的,第四时长是车辆行驶完第二路段所需时长。
可选地,结合上述第三方面或第三方面第一种至第三方面第十种可能的实现方式,在第十一种可能的实现方式中,移动终端,还用于向车辆发送第二指令,第二指令用于指示车辆发送车辆的方向盘转角信息。移动终端还用于根据方向盘转角信息确定车辆左拐时,右移第一画面的左边界,左边界右移的比例是根据第二速率和第五时长确定的,第二速率是根据方向盘转角信息确定车辆左拐时车辆的速率,第五时长是根据方向盘转角信息确定的车辆从左拐到停止左拐的时长。根据方向盘转角信息确定车辆右拐时,左移第一画面的右边界,右边界左移的比例是根据第三速率和第六时长确定的,第三速率是根据方向盘转角信息确定车辆右拐时车辆的速率,第六时长是根据方向盘转角信息确定的车辆从右拐到停止左拐的时长。
可选地,结合上述第三方面或第三方面第一种至第三方面第十种可能的实现方式,在第十二种可能的实现方式中,移动终端,还用于检测到车辆行驶至第三路段时,右移第一画面的左边界,第三路段是根据车辆的图像传感器获取的数据预测的车辆前方行驶的左拐路段,左边界右移的比例是根据第二速率和第五时长确定的,第二速率是车辆行驶至第三路段时车辆的速率,第五时长是车辆行驶过第三路段所需的时长。检测到车辆行驶至第四路段时,左移第一画面的右边界,第四路段是根据车辆的图像传感器获取的数据预测的车辆前方行驶的右拐路段,右边界左移的比例是根据第三速率和第六时长确定的,第三速率是车辆行驶至第四路段时车辆的速率,第六时长是车辆行驶过第四路段所需的时长。
可选地,结合上述第三方面,在第十三种可能的实施方式中,根移动终端,还用于根据第一ADAS指令确定车辆加速行驶时,根据第三加速度放大第一画面,第一画面的放大比例是根据第三加速度和第七时长确定的,第三加速度是根据第一ADAS指令确定的,第七时长为根据第一ADAS指令确定的车辆加速时到车辆匀速行驶时的时长,第一ADAS指令用于指示车辆加速。根据第二ADAS指令确定车辆减速行驶时,根据第四加速度缩小第一画面,第一画面的缩小比例是根据第四加速度和第八时长确定的,第四加速度是根据第二ADAS指令确定的,第八时长为根据第二ADAS指令确定的车辆减速时到车辆匀速行驶时的时长,第二ADAS指令用于指示车辆减速。根据第三ADAS指令确定车辆左拐时,右移第一画面的左边界,左边界右移的比例是根据第二速率和第五时长确定的,第二速率是车辆左拐时车辆的速率,第五时长是车辆左拐持续的时长。根据第四ADAS指令确定车辆右拐时,左移第一画面的右边界,右边界左移的比例是根据第三速率和第六时长确定的,第三速率是车辆右拐时车辆的速率,第六时长是车辆右拐持续的时长。
本申请第四方面提供一种车辆,可以包括处理器,处理器和存储器耦合,存储器存储有程序指令,当存储器存储的程序指令被处理器执行时实现第一方面或第一方面任意一种可能的实现方式所描述的方法。
本申请第五方面提供一种车辆,可以包括处理器和通信接口,处理器通过通信接口获取程序指令,当程序指令被处理器执行时实现第一方面或第一方面任意一种可能的实现方式所描述的方法。
本申请第六方面提供一种计算机可读存储介质,可以包括程序,当其在计算机上运行时,使得计算机执行如第一方面或第一方面任意一种可能的实现方式所描述的方法。
本申请第七方面提供一种智能汽车,智能汽车包括处理电路和存储电路,处理电路和存储电路被配置为执行如第一方面或第一方面任意一种可能的实现方式所描述的方法。
本申请第八方面提供一种芯片系统,该芯片系统可以包括处理器,用于支持车辆实现上述第一方面或第一方面任意一种可能的实施方式中所描述的方法中所涉及的功能。
本申请第九方面提供一种画面显示装置,包括处理器,处理器和存储器耦合,存储器存储有程序指令,当存储器存储的程序指令被处理器执行时如第一方面或第一方面任意一种可能的实现方式所描述的方法。
本申请第十方面提供一种计算机程序产品,当该计算机程序产品在设备上运行时,使得设备执行如第一方面或第一方面任意一种可能的实现方式所描述的方法。所述设备包括但不限于画面显示装置,计算设备的整机,汽车、汽车中的车载显示器,或者移动设备。
附图说明
图1a为本申请实施例提供的车辆的一种结构示意图;
图1b为乘客在车辆内观看视频会导致晕车的原理示意图;
图2为本申请实施例提供的一种画面显示方法的一个流程示意图;
图3为本申请实施例提供的一种画面显示方法的另一个流程示意图;
图4为一种压缩函数的示意曲线;
图5为本申请实施例提供的一种画面显示方法的一种应用场景示意图;
图6为本申请实施例提供的一种画面显示方法的另一个流程示意图;
图7为另一种压缩函数的示意曲线;
图8为本申请实施例提供的一种画面显示方法的另一种应用场景示意图;
图9为本申请实施例提供的一种画面显示方法的另一个流程示意图;
图10为本申请实施例提供的一种画面显示方法的另一种应用场景示意图;
图11为本申请实施例提供的一种画面显示方法的另一个流程示意图;
图12为本申请实施例提供的一种画面显示方法的另一种应用场景示意图;
图13为本申请实施例提供的一种画面显示方法的另一个流程示意图;
图14a为本申请实施例提供的一种画面显示方法的另一种应用场景示意图;
图14b为本申请实施例提供的一种画面显示方法的另一种应用场景示意图;
图15a为本申请实施例提供的一种画面显示方法的另一种应用场景示意图;
图15b为本申请实施例提供的一种画面显示方法的另一种应用场景示意图;
图16为本申请提供的一种画面显示方法可以缓解视觉疲劳的原理的示意图;
图17为本申请实施例提供的一种画面显示装置的结构示意图;
图18为本申请实施例提供的另一种画面显示装置的结构示意图;
图19为本申请实施例提供的一种汽车的结构示意图。
具体实施方式
下面结合附图,对本申请的实施例进行描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。本领域普通技术人员可知,随着技术的发展和新场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
本申请的说明书和权利要求书及上述附图中的术语“第一”,“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或模块的过程,方法,系统,产品或设备不必限于清楚地列出的那些步骤或模块,而是可包括没有清楚地列出的或对于这些过程,方法,产品或设备固有的其它步骤或模块。在本申请中出现的对步骤进行的命名或者编号,并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤,已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序,只要能达到相同或者相类似的技术效果即可。本申请中所出现的模块的划分,是一种逻辑上的划分,实际应用中实现时可以有另外的划分方式,例如多个模块可以结合成或集成在另一个系统中,或一些特征可以忽略,或不执行,另外,所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些端口,模块之间的间接耦合或通信连接可以是电性或其他类似的形式,本申请中均不作限定。并且,作为分离部件说明的模块或子模块可以是也可以不是物理上的分离,可以是也可以不是物理模块,或者可以分布到多个电路模块中,可以根据实际的需要选择其中的部分或全部模块来实现本申请方案的目的。
本申请中所述的车辆可以是将引擎作为动力源的内燃机车辆、将引擎和电动马达作为动力源的混合动力车辆、将电动马达作为动力源的电动汽车等等。
为了便于理解本方案,本申请实施例中首先结合图1a对车辆的结构进行介绍,请先参阅图1a,图1a为本申请实施例提供的车辆的一种结构示意图。
车辆可包括各种子系统,例如行进系统102、传感器系统104、控制系统106、一个或多个外围设备108以及电源110和用户接口116。可选地,车辆可包括更多或更少的子系统,并且每个子系统可包括多个部件。另外,车辆的每个子系统和部件可以通过有线或者无线(例如,蓝牙)互连。
行进系统102可包括为车辆提供动力运动的组件。在一个实施例中,行进系统102可包括引擎118、能量源119、传动装置120和车轮121。
其中,引擎118可以是内燃引擎、电动机、空气压缩引擎或其他类型的引擎组合,例如,汽油发动机和电动机组成的混动引擎,内燃引擎和空气压缩引擎组成的混动引擎。引擎118将能量源119转换成机械能量。能量源119的示例包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和其他电力来源。能量源119也可以为车辆的其他系统提供能量。传动装置120可以将来自引擎118的机械动力传送到车轮121。传动装置120可包括变速箱、差速器和驱动轴。在一个实施例中,传动装置120还可以包括其他器件,比如离合器。其中,驱动轴可包括一个或多个可耦合到车轮121的轴。
传感器系统104可包括感测关于车辆位置信息的若干个传感器。例如,传感器系统104可包括定位系统122(定位系统可以是全球定位GPS系统,也可以是北斗系统或者其他定位系统)、惯性测量单元(inertial measurement unit,IMU)124、雷达126、激光测距仪128以及相机130。传感器系统104还可包括被监视车辆的内部系统的传感器(例如,车内空气质量监测器、燃油量表、机油温度表等)。来自这些传感器中的一个或多个的传感数据可用于检测对象及其相应特性(例如,位置、形状、方向、速率等)。这种检测和识别是自主车辆的安全操作的关键功能。
其中,定位系统122可用于估计车辆的地理位置,比如车辆所处位置的经纬度信息。IMU 124用于基于惯性加速率来感知车辆的位置和朝向变化。在一个实施例中,IMU 124可以是加速率计和陀螺仪的组合。雷达126可利用无线电信号来感知车辆的周边环境内的物体,具体可以表现为毫米波雷达或激光雷达。在一些实施例中,除了感知物体以外,雷达126还可用于感知物体的速率和/或前进方向。激光测距仪128可利用激光来感知车辆所位于的环境中的物体。在一些实施例中,激光测距仪128可包括一个或多个激光源、激光扫描器以及一个或多个检测器,以及其他系统组件。相机130可用于捕捉车辆的周边环境的多个图像。相机130可以是静态相机或视频相机。
控制系统106为控制车辆及其组件的操作。控制系统106可包括各种部件,其中包括转向系统132、油门134、制动单元136、电子控制单元138(electronic control unit,ECU)以及整车控制器140(vehicle control unit,VCU)。
其中,转向系统132可操作来调整车辆的前进方向。例如在一个实施例中可以为方向盘系统。油门134用于控制引擎118的操作速率并进而控制车辆的速率。制动单元136用于控制车辆减速。制动单元136可使用摩擦力来减慢车轮121。在其他实施例中,制动单元136可将车轮121的动能转换为电流。制动单元136也可采取其他形式来减慢车轮121转速从而控制车辆的速率。车辆电子控制单元138可以被实现为车辆上的单个ECU或多个ECU,所述单个ECU或多个ECU被配置为与外围设备108、传感器系统104进行通信。车辆ECU138可包括至少一个处理器1381,存储器1382(read-only memory,ROM)。可以利用一个或多个通用处理器、内容可寻址存储器、数字信号处理器、专用集成电路、现场可编程门阵列、任何适当的可编程逻辑器件、离散门或晶体管逻辑、离散硬件部件或者被设计用于执行这里描述的功能的任何组合实现或执行至少一个处理器。特别地,至少一个处理器可以被实现为一个或多个微处理器、控制器、微控制器(microcontroller unit,MCU)或状态机。此外,至少一个处理器可以被实现为计算设备的组合,例如数字信号处理器或微处理器、多个微处理器、与数字信号处理器核心结合的一个或多个微处理器,或者任何其他这种配置的组合。ROM可以提供数据的存储,包含本申请中地址、路线、行驶方向的存储。
VCU140可以给ECU138提供车辆发动机状态,速率,档位,方向盘角度等信息。
车辆通过外围设备108与外部传感器、其他车辆、其他计算机系统或用户之间进行交互。外围设备108可包括无线通信系统146、导航系统148、麦克风150和/或扬声器152。在一些实施例中,外围设备108为车辆的用户提供与用户接口116交互的手段。例如,导航系统148可以被实现为车载娱乐系统的一部分、车载显示系统、车载仪器集群等。在一个实际实施例中,导航系统148被实现为包括或与传感器系统104协作,该传感器系统104实时或基本上实时推导出车辆的当前地理位置。导航系统148被配置为向车辆的驾驶员提供导航数据。导航数据可包括车辆的位置数据、建议路线规划行驶指示,以及给车辆操作者的可见地图信息。导航系统148可通过显示元件或其他呈现设备将该位置数据呈现给车辆的驾驶员。车辆的当前位置可以通过以下信息中的一种或者几种来描述:三角测量的位置、纬度/经度位置、x和y坐标,或者指示车辆的地理位置的任何其他符号或任何测量方式。
用户接口116还可操作导航系统148来接收用户的输入。导航系统148可以通过触摸屏进行操作。导航系统148在用户输入起点和终点的地理位置值时,提供路线规划的能力和导航的能力。在其他情况中,外围设备108可提供用于车辆与位于车内的其它设备通信的手段。例如,麦克风150可从车辆的用户接收音频(例如,语音命令或其他音频输入)。类似地,扬声器152可向车辆的用户输出音频。无线通信系统146可以直接地或者经由通信网络来与一个或多个设备无线通信。例如,无线通信系统146可使用3G蜂窝通信,例如如码分多址(code division multiple access,CDMA)、EVD0、全球移动通信系统(global systemfor mobile communications,GSM)/是通用分组无线服务技术(general packet radioservice,GPRS),或者4G蜂窝通信,例如长期演进(long term evolution,LTE),或者5G蜂窝通信。无线通信系统146可利用WiFi与无线局域网(wireless local area network,WLAN)通信。在一些实施例中,无线通信系统146可利用红外链路、蓝牙或ZigBee与设备直接通信。其他无线协议,例如各种车辆通信系统,例如,无线通信系统146可包括一个或多个专用短程通信(dedicated short range communications,DSRC)设备,这些设备可包括车辆和/或路边台站之间的公共和/或私有数据通信。
电源110可向车辆的各种组件提供电力。在一个实施例中,电源110可以为可再充电锂离子或铅酸电池。这种电池的一个或多个电池组可被配置为电源为车辆的各种组件提供电力。在一些实施例中,电源110和能量源119可一起实现,例如一些全电动车中那样。
可选地,上述这些组件中的一个或多个可与车辆分开安装或关联。例如,存储器1382可以部分或完全地与车辆分开存在。上述组件可以按有线和/或无线方式来通信地耦合在一起。
可选地,上述组件只是一个示例,实际应用中,上述各个模块中的组件有可能根据实际需要增添或者删除,图1a不应理解为对本申请实施例的限制。
上述车辆可以为轿车、卡车、摩托车、公共汽车、船、割草机、娱乐车、游乐场车辆、施工设备、电车、高尔夫球车、和手推车等,本申请实施例不做特别的限定。
以上结合图1a对本申请实施例适用的系统的架构图进行了说明,为了更好的理解本申请实施例提供的技术方案,下面具体阐述本申请所描述的技术方案的研究思路。
首先结合图1b对乘客在车辆内观看视频会导致晕车的原理进行说明。如图1b所示,为乘客乘坐汽车观看视频会出现晕车的原理示意图。由于,车辆在实际行驶的过程中,会有加速,减速或者拐弯等运动,因此前庭系统传递给大脑中枢神经的信号是运动信号。而对于车辆的状态,乘客没有驾驶员有预判性,乘客看到的车载显示器的屏幕是静止的,因此眼睛传递给大脑中枢神经的信号是静止的。因为前庭系统和眼睛传递给大脑中枢神经的信号出现差异,这会影响大脑感知认知平衡。所以,乘客在车辆上观看视频,会出现晕车的问题。
为了解决乘客在车辆上观看视频会出现晕车的问题,其中一种解决方式为使用车载陀螺仪,将车载陀螺仪获取的相关运动信息反馈到乘客屏幕上,让乘客对于运动信息有一定的感受。但是申请人发现在上述过程中,从车载陀螺仪获取的相关运动信息到将画面呈现给乘客,中间涉及多个设备的传输处理,将画面展现给乘客时存在延时,不利于乘客缓解晕车症状。因此,为了解决延迟的问题,本申请提供的方案通过采集驾驶员的操作信息,外加高精地图,准确的提前预测车辆即将发生的加减速等信息,提前回馈到显示屏幕,缓解用户疲劳,防止晕车发生。或者本申请提供的方案可以通过上层高级驾驶辅助系统(advanced driverassistant system,ADAS)指令预测车辆即将发生的加减速等信息,提前回馈到显示屏幕,缓解用户疲劳,防止晕车发生。基于上面的研究思路,下面对本申请提供的技术方案进行具体的介绍。
参阅图2,为本申请实施例提供的一种画面显示方法的流程示意图。
本申请实施例提供的一种画面显示方法,可以包括以下步骤:
201、获取车辆的运动信息。
其中,运动信息包括第一信息或上层高级驾驶辅助系统ADAS指令或预测的车辆的运动轨迹,第一信息包括制动踏板的位移信息,加速踏板的位移信息中的一种或者两种。比如,运动信息可以包括制动踏板的位移信息,或者运动信息可以包括加速踏板的位移信息,或者运动信息可以包括制动踏板的位移信息和加速踏板的位移信息,或者运动信息可以包括ADAS指令,或者运动信息可以包括制动踏板的位移信息和ADAS指令,或者运动信息可以包括加速踏板的位移信息和ADAS指令,或者运动信息可以包括制动踏板的位移信息和加速踏板的位移信息和ADAS指令。其中,ADAS指令可以用于指示车辆加速行驶,或者ADAS指令可以用于指示车辆减速行驶,或者ADAS指令可以用于指示车辆拐弯行驶。需要说明的是,ADAS指令可以同时指示所述车辆加速行驶和拐弯行驶,或者同时指示所述车辆减速行驶和拐弯行驶。在一个可能的实施方式中,可以通过图像传感器获取的数据预测车辆的运动轨迹。在一个可能的实施方式中,可以通过导航信息和高精地图预测车辆的运动轨迹。其中,预测的车辆的运动轨迹可能是车辆即将上坡行驶,或者是车辆即将下坡行驶,或者是车辆即将拐弯行驶。下文将会具体介绍如何根据图像传感器获取的数据预测车辆的运动轨迹,以及如何根据导航信息和高精地图预测车辆的运动轨迹。
举例说明,对于非自动驾驶车辆,运动信息可以包括第一信息。对于自动驾驶车辆,运动信息可以包括第一信息或上层高级驾驶辅助系统ADAS指令,比如当车辆处于人工驾驶模式时,运动信息可以包括第一信息,当车辆处于自动驾驶模式时,运动信息可以包括ADAS指令。以下本申请提到的人工驾驶模式用于表示驾驶员操控车辆,包括非自动驾驶车辆的场景,以下对此不再重复赘述。
在一个可能的实施方式中,可以通过制动踏板上安装的位移传感器获取制动踏板的位移信息。在一个可能的实施方式中,可以通过加速踏板上安装的位移传感器获取加速踏板的位移信息。其中,加速踏板有时也被称为油门,本申请实施例并不对器件的名称进行限定。
202、根据车辆的运动信息对第一画面进行处理。
其中,对第一画面进行处理包括但不限于对第一画面进行放大处理,对第一画面进行缩小处理,以及移动第一画面的边界。需要说明的是,除了本申请中提到的对第一画面进行放大处理,对第一画面进行缩小处理以及移动第一画面的边界之外,还可以对第一画面进行其他处理,本申请实施例对此并不进行限定。比如还可以根据车辆的运动信息对第一画面进行亮度的调整以及分辨率的调整等等。为了更好的理解本申请提供的方案,下面对还可以根据车辆的运动信息对第一画面进行亮度的调整以及分辨率的调整进行举例说明。
在一个可能的应用场景中,当根据车辆的运动信息预测车辆即将行驶至隧道时,在车辆行驶至隧道时或者车辆即将行驶至隧道时调亮第一画面。可以根据车辆的图像传感器获取的数据确定车辆即将行驶至隧道,或者可以根据车辆的导航信息和高精地图确定车辆即将行驶至隧道。可以以包括隧道的图片作为训练数据,对模型进行训练,以使训练好的模型可以识别隧道。当车辆行驶时,可以将通过图像传感器获取的数据作为模型的输入数据,可以根据模型的输出数据确定车辆前方行驶的路段是否为隧道。需要说明的是,本申请实施例对模型的种类并不限定,比如该模型可以是任何一种用于图像识别或者图像检测的模型。需要说明的是,在一个可能的实施方式中,可以仅提升第一画面中间区域的亮度。这是因为目标对象或者乘客关注的画面的对象通常会位于第一画面的中心。在实际的应用场景中,也可以根据需求设定根据运动信息调整第一画面中任意区域的亮度。此外需要说明的是,上述提到的在隧道场景调亮第一画面仅为本申请可能涵盖的一种场景,在其他场景中,可以根据需求设定调暗第一画面的亮度,或者调暗第一画面的部分区域的亮度。
在一个可能的应用场景中,当车辆行驶至隧道时,还可以提升第一画面的分辨率。因为目标对象或者乘客关注的画面的对象通常会位于第一画面的中心,所以在一个可能的实施方式中,可以只提升第一画面的中心区域的分辨率。需要说明的是,在实际的应用场景中,也可以根据需求设定根据运动信息调整第一画面中任意区域的分辨率。
在一个可能的应用场景中,当根据车辆的运动信息预测前面是颠簸路段时,比如可以根据车辆的图像传感器获取的数据确定车辆前面是颠簸路段,或者根据车辆的导航信息和高精地图确定车辆前方即将行驶至颠簸路段,则当车辆行驶至颠簸路段时或者即将行驶至颠簸路段时,提升第一画面的分辨率。通过在不同的场景中,根据车辆的运动信息调整第一画面的亮度和分辨率也可以达到缓解乘客视觉疲劳的效果。比如,在隧道场景中,调亮第一画面的分辨率以及调亮第一画面的亮度,可以使乘客更容易看清第一画面,提升乘客的观看体验,且有利于缓解视觉疲劳。
第一画面是车辆的车载显示器上显示的画面。
本申请提供的方案可以根据车辆的运动信息调整第一画面的尺寸,使画面相对于眼睛而言,是动态运动的。因此,前庭系统传递给大脑中枢神经的信号是运动信号,乘客看到的车载显示器的画面也是运动的,因此乘客的眼睛传递到给大脑中枢神经的信号也是运动的。因此前庭系统和眼睛传递给大脑中枢神经信号的信号没有很大的差异,不会影响大脑感知认知平衡,减缓乘客在车辆上观看视频会晕车的问题。
本申请提供的方案可以针对车辆处于多种运动场景下,对第一画面进行调整,以达到更好的缓解晕车的效果。其中,多种运动场景可以包括车辆处于加速运动场景,车辆处于减速运动场景,车辆处于上坡场景,车辆处于下坡场景,以及车辆处于拐弯场景。下面针对这几种运动场景,对如何根据车辆的运动信息放大第一画面或者缩小所述第一画面进行介绍。
一、加速场景
参阅图3,为本申请实施例提供的一种画面显示方法的流程示意图。
如图3,本申请实施例提供的一种画面显示方法,可以包括以下步骤:
301、获取车辆的运动信息。
步骤301可以参照图2对应的实施例中的步骤201进行理解,这里不再重复赘述。
302、根据第一加速度放大第一画面,第一画面的放大比例是根据第一加速度和第一时长确定的。
在一个可能的实施方式中,针对人工驾驶模式,第一加速度是根据加速踏板的位移信息确定的,第一时长为从获取到加速踏板的位移信息时到车辆匀速行驶时所需时长。
在一个可能的实施方式中,针对自动驾驶模式,第一加速度是根据ADAS指令信息确定的,该ADAS指令指示车辆加速行驶,第一时长为根据ADAS指令车辆加速时到车辆匀速行驶时的时长。
本申请通过加速踏板的位移信息获取车辆的加速度,不同于直接采集车辆的加速度存在滞后性,通过加速踏板的位移信息获取车辆的加速度可以很好的解决时延的问题。在一个可能的实施方式中,根据加速踏板的位移与第一预设距离的差值确定第一加速度。其中第一预设距离的设定是为了更准确的确定第一加速度。比如,驾驶员的脚放在加速踏板上,但是并没有踩,即驾驶员并没有踩加速踏板的意愿,可能只是因为脚的抖动或其他原因使加速踏板产生了短距离的位移,在根据加速踏板的位移信息获取车里的加速度时,可以用加速踏板的总位移减去这部分短距离的位移,根据移除第一预设距离后的踏板位移的信息确定第一加速度。
在一个可能的实施方式中,当采用电子油门,电子油门可以将驾驶员踩下加速踏板的位移转换为与加速踏板的位移成正比的电压信号。可以通过驾驶员踩下加速踏板前后的电压信号的变化量确定第一加速度。
由于加速踏板的位移直接控制了油门的大小,也就是车辆的牵引力的大小,所说车辆的牵引力和加速踏板的位移关系可以通过下面的公式1-1表示:
F1=k1*d1 (1-1)
其中,F1代表车辆的牵引力,d1代表加速踏板的位移,k1代表系数,k1的取值与车辆出厂的配置相关,不同类型不同品牌的车辆,对应的k1的取值可能不相同。在一个可能的实施方式中,也可以统计不同的加速踏板的位移对应的牵引力的大小,确定k1的取值。
则第一加速度可以通过下面的公式1-2表示:
a1=k1*d/m (1-2)
其中,m代表车辆的质量。
可以通过第一加速度a1放大第一画面,或者说以第一画面以第一加速度a1向靠近乘客的方向运动。放大第一画面持续的时长为车辆加速时到车辆匀速行驶时的时长。在一个可能的实施方式中,第一时长可以从整车控制器(vehicle control unit,VCU)中获取。第一画面的放大比例是根据第一加速度和第一时长确定的。
在一个可能的实施方式中,考虑到画面的实际放大比例应当是在一个很小的范围内,所以确定第一画面的放大比例可以根据第一加速度,第一时长以及第一压缩函数确定。第一压缩函数用于模拟车辆在第一预设距离范围内的第一加速度随时间变化的曲线。下面通过tanh()表示压缩函数,需要说明的是,本申请实施例并不对压缩函数的种类进行限定。比如如图4所示,为一种压缩函数的示意曲线,第一画面的放大比例可以通过下面的公式1-3表示:
B1=k1’*tanh(a1*t1 2) (1-3)
其中B1代表第一画面的放大比例。k1’代表调节系数,可以通过调试k1’更好的模拟模拟车辆在第一预设距离范围内的第一加速度随时间变化的曲线。t1代表第二时长。
为了更好的理解本申请提供的方案中加速场景如何显示画面,下面结合一个具体的应用场景对其进行说明。参阅图5,为本申请实施例提供的一种画面显示方法的应用场景示意图。如图5所示,车辆在道路上行驶时,如果根据车辆的运动信息确定车辆正在加速行驶,则放大车辆上的车载显示器显示的第一画面,放大的比例,放大的速度以及放大的时间参照步骤302,这里不再重复赘述。需要说明的是,图5中为了更好的体现本方案中对画面放大的过程,选用了相同的画面进行放大展示,在实际场景中,车载显示器播放的可能是视频,即连续的画面,在加速过程中,是对车载显示器正在播放的画面进行放大处理。以下涉及对画面的处理,比如对画面的缩小,或者对画面的上边界下移,左边界右移,右边界左移等等中的画面均按照这种理解,即对车载显示器正在播放的画面进行处理,以下对此不再重复赘述。
二、减速场景
参阅图6,为本申请实施例提供的一种画面显示方法的流程示意图。
如图6,本申请实施例提供的一种画面显示方法,可以包括以下步骤:
601、获取车辆的运动信息。
步骤601可以参照图2对应的实施例中的步骤201进行理解,这里不再重复赘述。
602、根据第二加速度缩小第一画面,第一画面的缩小比例是根据第二加速度和第二时长确定的。
在一个可能的实施方式中,针对人工驾驶模式,第二加速度是根据制动踏板的位移信息确定的,第二时长为从获取到制动踏板的位移信息时到车辆匀速行驶时所需时长。
在一个可能的实施方式中,针对自动驾驶模式,第二加速度是根据ADAS指令信息确定的,该ADAS指令指示车辆减速行驶,第二时长为根据ADAS指令车辆减速时到车辆匀速行驶时的时长。
本申请通过制动踏板的位移信息获取车辆的加速度,不同于直接采集车辆的加速度存在滞后性,通过制动踏板的位移信息获取车辆的加速度可以很好的解决时延的问题。在一个可能的实施方式中,根据制动踏板的位移与第二预设距离的差值确定第二加速度。其中第二预设距离的设定是为了更准确的确定第二加速度。比如,驾驶员的脚放在制动踏板上,但是并没有踩,即驾驶员并没有踩制动踏板的意愿,可能只是因为脚的抖动或其他原因使制动踏板产生了短距离的位移,在根据制动踏板的位移信息获取车里的加速度时,可以用制动踏板的总位移减去这部分短距离的位移,根据移除第二预设距离后的踏板位移的信息确定第二加速度。
由于制动踏板的位移直接控制了制动力的大小,所说车辆的制动力和制动踏板的位移关系可以通过下面的公式2-1表示:
F2=k2*d2 (2-1)
其中,F2代表车辆的制动力,d2代表制动踏板的位移,k2代表系数,k2的取值与车辆出厂的配置相关,不同类型不同品牌的车辆,对应的k2的取值可能不相同。在一个可能的实施方式中,也可以统计不同的制动踏板的位移对应的制动力的大小,确定k2的取值。
则第二加速度可以通过下面的公式2-2表示:
a2=k2*d2/m (2-2)
其中,m代表车辆的质量。
可以通过第二加速度a2缩小第一画面,或者说以第一画面以第二加速度a2向远离乘客的方向运动。缩小持续的第二时长为车辆减速时到车辆匀速行驶时的时长。在一个可能的实施方式中,第二时长可以从整车控制器(vehicle control unit,VCU)中获取。第一画面的缩小比例是根据第二加速度和第二时长确定的。
在一个可能的实施方式中,考虑到画面的实际缩小比例应当是在一个很小的范围内,所以确定第一画面的缩小比例可以根据第二加速度,第二时长以及第二压缩函数确定。第二压缩函数用于模拟车辆在第二预设距离范围内的第二加速度随时间变化的曲线。比如如图7所示,为一种第二压缩函数的示意曲线。第一画面的缩小比例可以通过下面的公式2-3表示:
S1=(k2’*tanh(a*t2 2)) (2-3)
其中S1代表第一画面的缩小比例。k2’代表调节系数,可以通过调试k2’更好的模拟模拟车辆在第二预设距离范围内的第二加速度随时间变化的曲线。t2代表第二时长。
为了更好的理解本申请提供的方案中减速场景如何显示画面,下面结合一个具体的应用场景对其进行说明。参阅图8,为本申请实施例提供的一种画面显示方法的应用场景示意图。如图8所示,车辆在道路上行驶时,如果根据车辆的运动信息确定车辆正在减速行驶,则缩小车辆上的车载显示器显示的第一画面,缩小的比例,缩小的速度以及缩小的时间参照步骤602,这里不再重复赘述。需要说明的是,图8中为了更好的体现本方案中对画面缩小的过程,选用了相同的画面进行缩小展示,在实际场景中,车载显示器播放的可能是视频,即连续的画面,在减速过程中,是对车载显示器正在播放的画面进行缩小处理。需要说明的是,图8所示的场景中以车辆为巴士为例对本申请提供的画面显示方法进行了说明,图6所示的场景中以车辆为轿车对本申请提供的画面显示方法进行了说明,并不代表本申请提供的方案只能用于这两种类型的车辆。实际上,本申请提供的方案不对车辆的种类进行限定,比如可以为轿车、卡车、摩托车、公共汽车、船、割草机、娱乐车、游乐场车辆、施工设备、电车、高尔夫球车、和手推车等,只要安装有车载显示器的车辆都可以。
三、上坡场景
参阅图9,为本申请实施例提供的一种画面显示方法的流程示意图。
如图9,本申请实施例提供的一种画面显示方法,可以包括以下步骤:
901、检测到车辆行驶至第一路段时,下移第一画面的上边界。
在一个可能的实施方式中,第一路段是根据车辆的导航信息以及高精地图预测的车辆前方行驶的上坡路段,第一画面的上边界下移的比例是根据第一坡度、第一速率以及第三时长确定的,第一坡度是根据高精地图确定的第一路段的坡度,第一速率是车辆行驶至第一路段时的速率,第三时长是车辆行驶完第一路段所需时长。
需要说明的是,还可以通过其他方式预测车辆前方行驶的路段是上坡路段,比如,在一个可能的实施方式中,第一路段是根据车辆的导航信息以及传感器预测的车辆前方行驶的上坡路段,其中传感器可以包括图像传感器。可以以包括上坡路段的图片作为训练数据,对模型进行训练,以使训练好的模型可以识别上坡路段。当车辆行驶时,可以将通过图像传感器获取的数据作为模型的输入数据,可以根据模型的输出数据确定车辆前方行驶的路段是否为上坡路段。需要说明的是,本申请实施例对模型的种类并不限定,比如该模型可以是任何一种用于图像识别或者图像检测的模型。
第一速率是车辆上坡的初始速率,即车辆以第一速率上坡,由于重力的作用,会产生一个减速,上坡后的速度通过公式3-1表示:
v’=v*cot(α) (3-1)
其中v’表示车辆上坡后的速度,v代表第一速率,α代表v的方向和坡度之间的夹角。其中,可以通过高精地图获取α。
上坡时的加速度可以通过公式3-2表示:
a3=(v’-v)/t3=(v*cot(α)-v)/t3=v*(cot(α)-1)/t3 (3-2)
第一画面的上边界下移的比例可以通过下面的公式3-3表示:
X1=k3’tanh(v*|(cot(α)-1)|*t3) (3-3)
其中X1代表第一画面的上边界下移的比例。k3’代表调节系数,可以通过调节k3’的取值,使第一画面的上边界下移的比例更符合乘客的感受。tanh()代表压缩函数,用于模拟模拟汽车在小范围内的加速度变化的曲线,需要说明的,本申请对压缩函数的种类并不限定。t3代表第三时长。
此外,为了保证第一画面的完整性,在一个可能的实施方式中,可以保持第一画面的下边界不动。
902、获取车辆的运动信息。
步骤902可以参照图2对应的实施例中的步骤201进行理解,这里不再重复赘述。
903、根据车辆的运动信息放大第一画面或者缩小第一画面。
步骤903可以参照图2对应的实施例中的步骤202,图3对应的实施例中的步骤302,以及图6对应的实施例中的步骤602进行理解,这里不再重复赘述。
由于车辆在上坡的时候通常会减速,所以通常会缩小第一画面,同时下移第一画面的上边界,下面结合这一场景对上坡场景如何显示画面进行说明。参阅图10,为本申请实施例提供的一种画面显示方法的应用场景示意图。车辆在道路上行驶时,如果根据导航信息以及高精地图预测车辆前方行驶的路段是上坡路段,则车辆在经过该上坡路段时,下移第一画面的上边界,同时为了保持画面的完整性,保持第一画面的下边界不动。如果车辆在上坡路段是减速行驶,同时还需要缩小第一画面,需要说明的是,在这种场景中,保持第一画面的下边界不动,缩小第一画面。需要说明的是,如果车辆在上坡的时候加速,则放大第一画面,痛死下移第一画面的上边界。
四、下坡场景
参阅图11,为本申请实施例提供的一种画面显示方法的流程示意图。
如图11,本申请实施例提供的一种画面显示方法,可以包括以下步骤:
1101、检测到车辆行驶至第二路段时,上移第一画面的下边界。
第二路段是根据车辆的导航信息以及高精地图预测的车辆前方行驶的下坡路段,第一画面的下边界上移的比例是根据重力加速度以及第四时长确定的,第四时长是车辆行驶完第二路段所需时长。
需要说明的是,还可以通过其他方式预测车辆前方行驶的路段是下坡路段,比如,在一个可能的实施方式中,第二路段是根据车辆的导航信息以及传感器预测的车辆前方行驶的下坡路段,其中传感器可以包括图像传感器。可以以包括下坡路段的图片作为训练数据,对模型进行训练,以使训练好的模型可以识别下坡路段。当车辆行驶时,可以将通过图像传感器获取的数据作为模型的输入数据,可以根据模型的输出数据确定车辆前方行驶的路段是否为下坡路段。需要说明的是,本申请实施例对模型的种类并不限定,比如该模型可以是任何一种用于图像识别或者图像检测的模型。
由于车辆的前轮悬空,从而产生一个向下的重力加速度g,第一画面的上边界下移的比例可以通过如下公式4-1表示:
X2=k4’tanh(gt4 2) (4-1)
K4’代表调节系数,可以通过调节k4’的取值,使第一画面的下边界上移的比例更符合乘客的感受。tanh()代表压缩函数,用于模拟汽车在小范围内的加速度变化的曲线,需要说明的,本申请对压缩函数的种类并不限定。t4代表第四时长。
此外,为了保证第一画面的完整性,在一个可能的实施方式中,可以保持第一画面的上边界不动。
1102、获取车辆的运动信息。
步骤1102可以参照图2对应的实施例中的步骤201进行理解,这里不再重复赘述。
1103、根据车辆的运动信息放大第一画面或者缩小第一画面。
步骤1103可以参照图2对应的实施例中的步骤202,图3对应的实施例中的步骤302,以及图6对应的实施例中的步骤602进行理解,这里不再重复赘述。
由于车辆在下坡的时候,驾驶员通常会踩制动踏板,对车辆进行减速,所以通常会缩小第一画面,同时上移第一画面的下边界,下面结合这一场景对下坡场景如何显示画面进行说明。参阅图12,为本申请实施例提供的一种画面显示方法的应用场景示意图。车辆在道路上行驶时,如果根据导航信息以及高精地图预测车辆前方行驶的路段是下坡路段,则车辆在经过该下坡路段时,上移第一画面的下边界,同时为了保持画面的完整性,保持第一画面的上边界不动。如果车辆在下坡路段是减速行驶,同时还需要缩小第一画面,需要说明的是,在这种场景中,保持第一画面的上边界不动,缩小第一画面。需要说明的是,如果车辆在下坡的时候,没有踩制动踏板,则上移第一画面的下边界,同时放大第一画面。
四、拐弯场景
参阅图13,为本申请实施例提供的一种画面显示方法的流程示意图。
如图13,本申请实施例提供的一种画面显示方法,可以包括以下步骤:
1301、获取车辆的方向盘转角信息。
在一个可能的实施方式中,可以根据设置在方向盘上的传感器获取车辆的方向盘转角信息。
在一个可能的实施方式中,可以根据高精地图以及导航信息预测车辆即将拐弯,并根据高精地图预测方向盘转角,根据预测的方向盘转角确定车辆的方向盘转角信息。
1302、根据方向盘转角信息确定车辆左拐时,右移第一画面的左边界。
左边界右移的比例是根据第二速率和第五时长确定的,第二速率是根据方向盘转角信息确定车辆左拐时车辆的速率,第五时长是根据方向盘转角信息确定的车辆从左拐到停止左拐的时长。
拐弯场景,车辆拐弯由于惯性产生离心力。离心的速度即为切线速度,即车速v0
左边界右移的比例可以通过如下公式5-1表示:
X3=k5’tanh(v0t5) (5-1)
其中,k5’代表调节系数,可以通过调节k5’的取值,使第一画面的左边界右移的比例更符合乘客的感受。tanh()代表压缩函数,用于模拟汽车在小范围内的加速度变化的曲线,需要说明的,本申请对压缩函数的种类并不限定。t5代表第五时长。
1303、根据方向盘转角信息确定车辆右拐时,左移第一画面的右边界。
右边界左移的比例是根据第三速率和第六时长确定的,第三速率是根据方向盘转角信息确定车辆右拐时车辆的速率,第六时长是根据方向盘转角信息确定的车辆从右拐到停止左拐的时长。
右边界左移的比例可以通过如下公式5-2表示:
X6=k6’tanh(v0t6) (5-2)
其中,k6’代表调节系数,可以通过调节k6’的取值,使第一画面的右边界左移的比例更符合乘客的感受。tanh()代表压缩函数,用于模拟汽车在小范围内的加速度变化的曲线,需要说明的,本申请对压缩函数的种类并不限定。t6代表第五时长。
需要说明的是,还可以通过其他方式预测车辆即将拐弯。比如,在一个可能的实施方式中,检测到车辆行驶至第三路段时,右移第一画面的左边界,第三路段是根据车辆的导航信息以及传感器预测的车辆前方行驶的左拐路段,左边界右移的比例是根据第二速率和第五时长确定的,第二速率是车辆行驶至第三路段时车辆的速率,第五时长是车辆行驶过第三路段所需的时长。
检测到车辆行驶至第四路段时,左移第一画面的右边界,第四路段是根据车辆的导航信息以及传感器预测的车辆前方行驶的右拐路段,右边界左移的比例是根据第三速率和第六时长确定的,第三速率是车辆行驶至第四路段时车辆的速率,第六时长是车辆行驶过第四路段所需的时长。
比如,可以以包括拐弯路段的图片作为训练数据,对模型进行训练,以使训练好的模型可以识别拐弯路段。当车辆行驶时,可以将通过图像传感器获取的数据所谓模型的输入数据,可以根据模型的输出数据确定车辆前方行驶的路段是否为拐弯路段,具体的可以确定是左拐路段还是右拐路段。需要说明的是,本申请实施例对模型的种类并不限定,比如该模型可以是任何一种用于图像识别或者图像检测的模型。
1304、获取车辆的运动信息。
步骤1304可以参照图2对应的实施例中的步骤201进行理解,这里不再重复赘述。
1305、根据车辆的运动信息放大第一画面或者缩小第一画面。
步骤1305可以参照图2对应的实施例中的步骤202,图3对应的实施例中的步骤302,以及图6对应的实施例中的步骤602进行理解,这里不再重复赘述。
由于车辆在拐弯的时候,车辆通常进行减速,所以通常会缩小第一画面,同时左边界右移,或者右边界左移。下面结合这一场景对拐弯场景如何显示画面进行说明。参阅图14a,为本申请实施例提供的一种画面显示方法的应用场景示意图。车辆在道路上行驶时,如果根据方向盘转角信息预测车辆左拐时,则右移第一画面的左边界,同时为了保持画面的完整性,保持第一画面的右边界不动。如果车辆在左拐时是减速行驶,同时还需要缩小第一画面。需要说明的是,在这种场景中,保持第一画面的右边界不动,缩小第一画面。参阅图14b,为本申请实施例提供的一种画面显示方法的应用场景示意图。车辆在道路上行驶时,如果根据方向盘转角信息预测车辆右拐时,则左移第一画面的右边界,同时为了保持画面的完整性,保持第一画面的左边界不动。如果车辆在右拐时是减速行驶,同时还需要缩小第一画面,需要说明的是,在这种场景中,保持第一画面的左边界不动,缩小第一画面。需要说明的是,如果车辆在拐弯的时候,车辆没有减速,则放大第一画面,同时左边界右移,或者右边界左移。
在车辆实际运行的过程中,除了上述提到的加速场景,加速场景,上坡场景,下坡场景以及拐弯场景,还可能有其他更为复杂的场景。在更为复杂的场景中可能无法如上面介绍的几种场景,精确的根据车辆的运动信息对画面进行放大或者缩小,在这样复杂的场景中,可以发出提示消息提示乘客,或者暂时关闭车载显示器的屏幕。下面结合两个例子进行说明。如图15a至图15b所示,为本申请实施例提供的另一种画面显示方法的应用场景示意图。如图15a所示,车辆行驶在道路上,假设车辆预测到前方道路为颠簸路段,则车辆可以通过车载显示器的屏幕发出文字提示,或者车辆可以发出语音提示,用于提示乘客前方道路为颠簸路段。其中,车辆预测前方道路为颠簸路段的方式可以有多种,比如车辆可以通过视觉传感器识别前方道路为颠簸路段。再比如,如图15b所示,如果车辆预测到前方道路为颠簸路段,可以暂时关闭车载显示器的屏幕,待驶过颠簸路段后再重新开启车载显示器的屏幕。
此外,本申请提供的方案还可以缓解乘客因观看视频产生的视觉疲劳。下面结合图16进行说明。人眼本身会因为车辆的加速、减速、拐弯等场景相对于车身发生惯性位移,使人眼到物理屏幕发生明显变化,其中物理屏幕是指车载显示器的屏幕。而车载显示器的屏幕由于固定在车辆上,不会与车辆发生惯性位移。图像基于人眼与屏幕的距离变化,可以基于视距不变原则,基于车辆的运动信号做虚拟图像变化,从而减少或减轻人眼视距的变化。换句话说,通过本申请提供的方案可以控制人眼与图像(非物理屏幕)的相对位置保持在一个稳定值,减少眼球频繁改变视距,从而可以缓解视觉疲劳。
应理解,本申请所提供的画面显示方法可以由电子装置执行,该电子装置可以是计算设备的整机,也可以是该计算设备中的部分器件。具体地,电子装置可以是诸如汽车、汽车中的画面显示装置等终端。其中,系统芯片也称为片上系统,或称为SoC芯片。在图2至图16所对应的实施例的基础上,为了更好的实施本申请实施例的上述方案,下面还提供用于实施上述方案的相关设备。
参阅图17,图17为本申请实施例提供的画面显示装置的一种结构示意图。本申请提供的画面显示装置可以包括获取模块1701,调整模块1702和检测模块1703。
在一个可能的实施方式中,一种画面显示装置,包括:获取模块1701,用于获取车辆的运动信息,运动信息包括第一信息,上层高级驾驶辅助系统ADAS指令以及与车的车辆的运动轨迹中的至少一种,第一信息包括制动踏板的位移信息和加速踏板的位移信息以及方向盘转角信息中的至少一种,ADAS指令用于指示车辆加速行驶或者减速行驶或者拐弯行驶。调整模块1702,用于根据获取模块1701获取的车辆的运动信息放大第一画面或者缩小第一画面,第一画面是车辆的车载显示器上显示的画面。
在一个可能的实施方式中,调整模块1702,具体用于:根据第一加速度放大第一画面,第一画面的放大比例是根据第一加速度和第一时长确定的,第一加速度是根据获取模块1701获取的加速踏板的位移信息确定的,第一时长为从获取到加速踏板的位移信息时到车辆匀速行驶时的时长。
在一个可能的实施方式中,第一画面的放大比例是根据第一加速度、第一时长以及预设的第一压缩函数确定的,第一压缩函数用于模拟车辆在预设距离范围内的第一加速度随时间变化的曲线。
在一个可能的实施方式中,调整模块1702,具体用于:根据第二加速度缩小第一画面,第一画面的缩小比例是根据第二加速度和第二时长确定的,第二加速度是根据获取模块1701获取的制动踏板的位移信息确定的,第二时长为从获取到制动踏板的位移信息时到车辆匀速行驶时的时长。
在一个可能的实施方式中,第一画面的缩小比例是根据第二加速度、第二时长以及预设的第二压缩函数确定的,第二压缩函数用于模拟车辆在预设距离范围内的第二加速度随时间变化的曲线。
在一个可能的实施方式中,还包括检测模块1703。检测模块1703,用于检测车辆的位置信息。调整模块1702,还用于检测模块1703检测到车辆行驶至第一路段时,下移第一画面的上边界,第一路段是根据车辆的导航信息以及高精地图预测的车辆前方行驶的上坡路段,第一画面的上边界下移的比例是根据第一坡度、第一速率以及第三时长确定的,第一坡度是根据高精地图确定的第一路段的坡度,第一速率是车辆行驶至第一路段时的速率,第三时长是车辆行驶完第一路段所需时长。
在一个可能的实施方式中,还包括检测模块1703。检测模块1703,用于检测车辆的位置信息。调整模块1702,还用于检测模块1703检测到车辆行驶至第二路段时,上移第一画面的下边界,第二路段是根据车辆的导航信息以及高精地图预测的车辆前方行驶的下坡路段,第一画面的下边界上移的比例是根据重力加速度以及第四时长确定的,第四时长是车辆行驶完第二路段所需时长。
在一个可能的实施方式中,获取模块1701,还用于获取车辆的方向盘转角信息。调整模块1702,还用于根据方向盘转角信息确定车辆左拐时,右移第一画面的左边界,左边界右移的比例是根据第二速率和第五时长确定的,第二速率是根据方向盘转角信息确定车辆左拐时车辆的速率,第五时长是根据方向盘转角信息确定的车辆从左拐到停止左拐的时长。调整模块1702,还用于根据方向盘转角信息确定车辆右拐时,左移第一画面的右边界,右边界左移的比例是根据第三速率和第六时长确定的,第三速率是根据方向盘转角信息确定车辆右拐时车辆的速率,第六时长是根据方向盘转角信息确定的车辆从右拐到停止左拐的时长。
在一个可能的实施方式中,调整模块1702,具体用于:根据第三加速度放大第一画面,第一画面的放大比例是根据第三加速度和第七时长确定的,第三加速度是根据获取模块1701获取的ADAS指令确定的,第七时长为根据ADAS指令确定的车辆加速时到车辆匀速行驶时的时长,ADAS指令用于指示车辆加速。根据第四加速度缩小第一画面,第一画面的缩小比例是根据第四加速度和第八时长确定的,第四加速度是根据获取模块1701获取的ADAS指令确定的,第八时长为根据ADAS指令确定的车辆减速时到车辆匀速行驶时的时长,ADAS指令用于指示车辆减速。
需要说明的是,画面显示装置各模块/单元之间的信息交互、执行过程等内容,与本申请中图2至图16对应的各个方法实施例基于同一构思,具体内容可参见本申请前述所示的方法实施例中的叙述,此处不再赘述。
此外,需要说明的是,本申请实施例对模块的名称并不进行限定。比如,如图18所示,为本申请提供的另一种画面显示装置的结构示意图,其中获取模块可以分为驾驶员操作信息采集模块和高精地图信息采集模块。调整模块和检测模块的功能可以综合起来,重新划分为车辆状态综合预测模块以及车辆状态用户回馈模块。
在一个可能的实施方式中,一种画面显示装置,包括:驾驶员操作信息采集模块1801,用于获取车辆的运动信息,运动信息包括第一信息,第一信息包括制动踏板的位移信息和加速踏板的位移信息中的一种或者两种。车辆状态用户回馈模块1804,用于根据驾驶员操作信息采集模块1801获取的车辆的运动信息放大第一画面或者缩小第一画面,第一画面是车辆的车载显示器上显示的画面。
在一个可能的实施方式中,车辆状态综合预测模块1803预测车辆即将加速行驶时,车辆状态用户回馈模块1804,具体用于:根据第一加速度放大第一画面,第一画面的放大比例是车辆状态综合预测模块1803根据第一加速度和第一时长确定的,第一加速度是根据驾驶员操作信息采集模块1801获取的加速踏板的位移信息确定的,第一时长为从获取到加速踏板的位移信息时到车辆匀速行驶时的时长。
在一个可能的实施方式中,第一画面的放大比例是根据第一加速度、第一时长以及预设的第一压缩函数确定的,第一压缩函数用于模拟车辆在预设距离范围内的第一加速度随时间变化的曲线。
在一个可能的实施方式中,车辆状态综合预测模块1803预测车辆即将减速行驶时,车辆状态用户回馈模块1804,具体用于:根据第二加速度缩小第一画面,第一画面的缩小比例是车辆状态综合预测模块1803根据第二加速度和第二时长确定的,第二加速度是根据获取模块1701获取的制动踏板的位移信息确定的,第二时长为从获取到制动踏板的位移信息时到车辆匀速行驶时的时长。
在一个可能的实施方式中,第一画面的缩小比例是根据第二加速度、第二时长以及预设的第二压缩函数确定的,第二压缩函数用于模拟车辆在预设距离范围内的第二加速度随时间变化的曲线。
在一个可能的实施方式中,车辆状态用户回馈模块1804,具体用于车辆行驶至第一路段时,下移第一画面的上边界,第一路段是车辆状态综合预测模块1803根据高精地图信息采集模块1802采集的车辆的导航信息以及高精地图预测的车辆前方行驶的上坡路段,第一画面的上边界下移的比例是根据第一坡度、第一速率以及第三时长确定的,第一坡度是根据高精地图确定的第一路段的坡度,第一速率是车辆行驶至第一路段时的速率,第三时长是车辆行驶完第一路段所需时长。
在一个可能的实施方式中,车辆状态用户回馈模块1804,具体用于车辆行驶至第二路段时,上移第一画面的下边界,第二路段是车辆状态综合预测模块1803根据高精地图信息采集模块1802采集的车辆的导航信息以及高精地图预测的车辆前方行驶的下坡路段,第一画面的下边界上移的比例是根据重力加速度以及第四时长确定的,第四时长是车辆行驶完第二路段所需时长。
在一个可能的实施方式中,驾驶员操作信息采集模块1801,还用于获取车辆的方向盘转角信息。车辆状态用户回馈模块1804,还用于根据方向盘转角信息确定车辆左拐时,右移第一画面的左边界,左边界右移的比例是根据第二速率和第五时长确定的,第二速率是根据方向盘转角信息确定车辆左拐时车辆的速率,第五时长是根据方向盘转角信息确定的车辆从左拐到停止左拐的时长。车辆状态用户回馈模块1804,还用于根据方向盘转角信息确定车辆右拐时,左移第一画面的右边界,右边界左移的比例是根据第三速率和第六时长确定的,第三速率是根据方向盘转角信息确定车辆右拐时车辆的速率,第六时长是根据方向盘转角信息确定的车辆从右拐到停止左拐的时长。
本申请实施例还提供了一种车辆,结合上述对图1a的描述,请参阅图19,图19为本申请实施例提供的车辆的一种结构示意图。其中,车辆上可以部署有图17或18对应实施例中所描述的画面显示装置,用于实现图2至图16对应实施例中车辆的功能。
在一个可能的实施方式中,该车辆包括处理器,处理器和存储器耦合,存储器存储有程序指令,当存储器存储的程序指令被处理器执行时,执行如图2至图16所描述的方法。
在一个可能的实施方式中,如图19,该车辆包括中央信息显示屏(centralinformation display,CID)1901,处理器1902,导航系统1905,中央网关(gateway1903)以及踏板位移传感器1904。在一个可能的实施方式中,踏板位移传感器用于获取车辆的运动信息。处理器用于根据车辆的运动信息放大第一画面或者缩小第一画面。导航系统用于提供高精地图信息。中央网关用于转发信息。中央信息显示屏用于呈现第一画面以及呈现第一画面放大或者缩小的过程。
需要说明的是,对于画面显示装置、车辆执行画面显示方法的具体实现方式以及带来的有益效果,均可以参考图2至图16对应的各个方法实施例中的叙述,此处不再一一赘述。
本申请实施例中还提供一种计算机可读存储介质,该计算机可读存储介质中存储有用于画面显示的程序,当其在计算机上行驶时,使得计算机执行如前述图2至图16所示实施例描述的方法中车辆、画面显示装置所执行的步骤。
本申请实施例中还提供一种包括计算机程序产品,当其在计算机上行驶时,使得计算机执行如前述图2至图16所示实施例描述的方法中车辆、画面显示装置所执行的步骤。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
本申请实施例中还提供一种电路系统,所述电路系统包括处理电路和存储电路,所述处理电路和存储电路配置为执行如前述图2至图16所示实施例描述的方法中车辆、画面显示装置所执行的步骤。其中,处理电路可以是任意合适类型的计算单元,例如微处理器、数字信号处理器(digital signal processor DSP)、现场可编程门阵列(fieldprogrammable gate array,FPGA)或专用集成电路(application specific integratedcircuit fpga,ASIC)或任意其他形式的电路。存储电路可以是易失型(volatile)和/或非易失型(non-volatile)。比如该存储电路可以是寄存器或者缓存等。具体的,易失型存储电路可以包括cache存储器,非易失型存储电路可以包括flash存储器。
本申请实施例提供的画面显示装置或车辆具体可以为芯片,芯片包括:处理单元和通信单元,所述处理单元例如可以是处理器,所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令,以使服务器内的芯片执行上述图2至图16所示实施例描述的画面显示方法。可选地,所述存储单元为所述芯片内的存储单元,如寄存器、缓存等,所述存储单元还可以是所述无线接入设备端内的位于所述芯片外部的存储单元,如只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)等。
另外需说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本申请提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现,当然也可以通过专用硬件包括专用集成电路、专用CLU、专用存储器、专用元器件等来实现。一般情况下,凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现,而且,用来实现同一功能的具体硬件结构也可以是多种多样的,例如模拟电路、数字电路或专用电路等。但是,对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在可读取的存储介质中,如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。

Claims (20)

1.一种画面显示方法,其特征在于,包括:
获取车辆的运动信息,所述运动信息包括第一信息,上层高级驾驶辅助系统ADAS指令以及预测的所述车辆的运动轨迹中的至少一种,所述第一信息包括制动踏板的位移信息,加速踏板的位移信息以及方向盘转角信息中的至少一种,所述ADAS指令用于指示所述车辆加速行驶或减速行驶或拐弯行驶;
根据所述车辆的运动信息对第一画面进行调整,所述第一画面是所述车辆的车载显示器上显示的画面;
所述根据所述车辆的运动信息对所述第一画面进行调整,包括:
根据第一加速度放大所述第一画面,所述第一画面的放大比例是根据所述第一加速度以及预设的第一压缩函数确定的,所述第一加速度是根据所述加速踏板的位移信息确定的,所述第一压缩函数用于模拟所述车辆在预设距离范围内的所述第一加速度随时间变化的曲线,所述第一画面的放大持续时长是根据第一时长确定的,所述第一时长为从获取到所述加速踏板的位移信息时到所述车辆匀速行驶时的时长。
2.根据权利要求1所述的画面显示方法,其特征在于,所述根据所述车辆的运动信息对所述第一画面进行调整,还包括:
根据第二加速度缩小所述第一画面,所述第一画面的缩小比例是根据所述第二加速度以及预设的第二压缩函数确定的,所述第二压缩函数用于模拟所述车辆在预设距离范围内的所述第二加速度随时间变化的曲线,所述第二加速度是根据所述制动踏板的位移信息确定的,所述第一画面的缩小持续时长是根据第二时长确定的,所述第二时长为从获取到所述制动踏板的位移信息时到所述车辆匀速行驶时的时长。
3.根据权利要求1或2所述的画面显示方法,其特征在于,所述根据所述车辆的运动信息对所述第一画面进行调整,还包括:
检测到所述车辆行驶至第一路段时,下移所述第一画面的上边界,所述第一路段是根据所述车辆的导航信息以及高精地图预测的所述车辆前方行驶的上坡路段,所述第一画面的上边界下移的比例是根据第一坡度、第一速率以及第三压缩函数确定的,所述第一坡度是根据所述高精地图确定的所述第一路段的坡度,所述第一速率是所述车辆行驶至所述第一路段时的速率,下移所述第一画面的上边界的时长是基于第三时长确定的,所述第三时长是所述车辆行驶完所述第一路段所需时长,所述第三压缩函数用于模拟所述车辆上坡时的加速度随时间变化的曲线。
4.根据权利要求1或2所述的画面显示方法,其特征在于,所述根据所述车辆的运动信息对所述第一画面进行调整,还包括:
检测到所述车辆行驶至第一路段时,下移所述第一画面的上边界,所述第一路段是根据所述车辆的图像传感器获取的数据预测的所述车辆前方行驶的上坡路段,所述第一画面的上边界下移的比例是根据第一坡度、第一速率以及第三压缩函数确定的,所述第一坡度是根据高精地图确定的所述第一路段的坡度,所述第一速率是所述车辆行驶至所述第一路段时的速率,下移所述第一画面的上边界的时长是基于第三时长确定的,所述第三时长是所述车辆行驶完所述第一路段所需时长,所述第三压缩函数用于模拟所述车辆上坡时的加速度随时间变化的曲线。
5.根据权利要求1或2所述的画面显示方法,其特征在于,所述根据所述车辆的运动信息对所述第一画面进行调整,还包括:
检测到所述车辆行驶至第二路段时,上移所述第一画面的下边界,所述第二路段是根据所述车辆的导航信息以及高精地图预测的所述车辆前方行驶的下坡路段,所述第一画面的下边界上移的比例是根据重力加速度以及第四压缩函数确定的,上移所述第一画面的下边界的时长是基于第四时长确定的,所述第四时长是所述车辆行驶完所述第二路段所需时长,所述第四压缩函数用于模拟所述车辆下坡时的加速度随时间变化的曲线。
6.根据权利要求1或2所述的画面显示方法,其特征在于,所述根据所述车辆的运动信息对所述第一画面进行调整,还包括:
检测到所述车辆行驶至第二路段时,上移所述第一画面的下边界,所述第二路段是根据所述车辆的图像传感器获取的数据预测的所述车辆前方行驶的下坡路段,所述第一画面的下边界上移的比例是根据重力加速度以及第四压缩函数确定的,上移所述第一画面的下边界的时长是基于第四时长确定的,所述第四时长是所述车辆行驶完所述第二路段所需时长,所述第四压缩函数用于模拟所述车辆下坡时的加速度随时间变化的曲线。
7.根据权利要求1或2任一项所述的画面显示方法,其特征在于,所述根据所述车辆的运动信息对所述第一画面进行调整,还包括:
根据所述方向盘转角信息确定所述车辆左拐时,右移所述第一画面的左边界,所述左边界右移的比例是根据第二速率和第五压缩函数确定的,所述第二速率是根据所述方向盘转角信息确定所述车辆左拐时所述车辆的速率,右移所述第一画面的左边界的时长是基于第五时长确定的,所述第五时长是根据所述方向盘转角信息确定的所述车辆从左拐到停止左拐的时长,所述第五压缩函数用于模拟所述车辆左拐时的加速度随时间变化的曲线;
根据所述方向盘转角信息确定所述车辆右拐时,左移所述第一画面的右边界,所述右边界左移的比例是根据第三速率和第六压缩函数确定的,所述第三速率是根据所述方向盘转角信息确定所述车辆右拐时所述车辆的速率,左移所述第一画面的右边界的时长是基于第六时长确定的,所述第六时长是根据所述方向盘转角信息确定的所述车辆从右拐到停止左拐的时长,所述第六压缩函数用于模拟所述车辆右拐时的加速度随时间变化的曲线。
8.根据权利要求1或2所述的画面显示方法,其特征在于,所述根据所述车辆的运动信息对所述第一画面进行调整,包括:
检测到所述车辆行驶至第三路段时,右移所述第一画面的左边界,所述第三路段是根据所述车辆的图像传感器获取的数据预测的所述车辆前方行驶的左拐路段,所述左边界右移的比例是根据第二速率和第五压缩函数确定的,所述第二速率是所述车辆行驶至所述第三路段时所述车辆的速率,右移所述第一画面的左边界的时长是基于第五时长确定的,所述第五时长是所述车辆行驶过所述第三路段所需的时长,所述第五压缩函数用于模拟所述车辆左拐时的加速度随时间变化的曲线;
检测到所述车辆行驶至第四路段时,左移所述第一画面的右边界,所述第四路段是根据所述车辆的图像传感器获取的数据预测的所述车辆前方行驶的右拐路段,所述右边界左移的比例是根据第三速率和第六压缩函数确定的,所述第三速率是所述车辆行驶至所述第四路段时所述车辆的速率,左移所述第一画面的右边界的时长是基于第六时长确定的,所述第六时长是所述车辆行驶过所述第四路段所需的时长,所述第六压缩函数用于模拟所述车辆右拐时的加速度随时间变化的曲线。
9.根据权利要求1所述的画面显示方法,其特征在于,所述根据所述车辆的运动信息对所述第一画面进行调整,包括:
根据第一所述ADAS指令确定所述车辆加速行驶时,根据第三加速度放大所述第一画面,所述第一画面的放大比例是根据所述第三加速度和第七压缩函数确定的,所述第三加速度是根据第一所述ADAS指令确定的,放大所述第一画面的持续时长是基于第七时长确定的,所述第七时长为根据所述第一ADAS指令确定的所述车辆加速时到所述车辆匀速行驶时的时长,所述第一ADAS指令用于指示所述车辆加速,所述第七压缩函数用于模拟所述车辆在预设距离范围内的所述第三加速度随时间变化的曲线;
根据第二所述ADAS指令确定所述车辆减速行驶时,根据第四加速度缩小所述第一画面,所述第一画面的缩小比例是根据所述第四加速度和第八压缩函数确定的,所述第四加速度是根据第二所述ADAS指令确定的,缩小所述第一画面的持续时长是基于第八时长确定的,所述第八时长为根据所述第二ADAS指令确定的所述车辆减速时到所述车辆匀速行驶时的时长,所述第二ADAS指令用于指示所述车辆减速,所述第八压缩函数用于模拟所述车辆在预设距离范围内的所述第四加速度随时间变化的曲线;
根据第三所述ADAS指令确定所述车辆左拐时,右移所述第一画面的左边界,所述左边界右移的比例是根据第二速率和第九压缩函数确定的,所述第二速率是所述车辆左拐时所述车辆的速率,右移所述第一画面的左边界的时长是基于第九时长确定的,所述第九时长是所述车辆左拐持续的时长,所述第九压缩函数用于模拟所述车辆左拐时的加速度随时间变化的曲线;
根据第四所述ADAS指令确定所述车辆右拐时,左移所述第一画面的右边界,所述右边界左移的比例是根据第三速率和第十压缩函数确定的,所述第三速率是所述车辆右拐时所述车辆的速率,左移所述第一画面的右边界的时长是基于第十时长确定的,所述第十时长是所述车辆右拐持续的时长,所述第十压缩函数用于模拟所述车辆右拐时的加速度随时间变化的曲线。
10.一种画面显示装置,其特征在于,包括:
获取模块,用于获取车辆的运动信息,所述运动信息包括第一信息,上层高级驾驶辅助系统ADAS指令以及预测的所述车辆的运动轨迹中的至少一种,所述第一信息包括制动踏板的位移信息和加速踏板的位移信息以及方向盘转角信息中的至少一种,所述ADAS指令用于指示所述车辆加速行驶或者减速行驶或拐弯行驶;
调整模块,用于根据所述获取模块获取的所述车辆的运动信息对第一画面进行调整,所述第一画面是所述车辆的车载显示器上显示的画面;
所述调整模块,具体用于:
根据第一加速度放大所述第一画面,所述第一画面的放大比例是根据所述第一加速度以及预设的第一压缩函数确定的,所述第一加速度是根据所述获取模块获取的所述加速踏板的位移信息确定的,所述第一压缩函数用于模拟所述车辆在预设距离范围内的所述第一加速度随时间变化的曲线,所述第一画面的放大持续时长是根据第一时长确定的,所述第一时长为从获取到所述加速踏板的位移信息时到所述车辆匀速行驶时的时长。
11.根据权利要求10所述的画面显示装置,其特征在于,所述调整模块,具体用于:
根据第二加速度缩小所述第一画面,所述第一画面的缩小比例是根据所述第二加速度以及预设的第二压缩函数确定的,所述第二压缩函数用于模拟所述车辆在预设距离范围内的所述第二加速度随时间变化的曲线,所述第二加速度是根据所述获取模块获取的所述制动踏板的位移信息确定的,所述第一画面的缩小持续时长是根据第二时长确定的,所述第二时长为从获取到所述制动踏板的位移信息时到所述车辆匀速行驶时的时长。
12.根据权利要求10或11所述的画面显示装置,其特征在于,还包括检测模块;
所述检测模块,用于检测所述车辆的位置信息;
所述调整模块,还用于所述检测模块检测到所述车辆行驶至第一路段时,下移所述第一画面的上边界,所述第一路段是根据所述车辆的导航信息以及高精地图预测的所述车辆前方行驶的上坡路段,所述第一画面的上边界下移的比例是根据第一坡度、第一速率以及第三压缩函数确定的,所述第一坡度是根据所述高精地图确定的所述第一路段的坡度,所述第一速率是所述车辆行驶至所述第一路段时的速率,下移所述第一画面的上边界的时长是基于第三时长确定的,所述第三时长是所述车辆行驶完所述第一路段所需时长,所述第三压缩函数用于模拟所述车辆上坡时的加速度随时间变化的曲线。
13.根据权利要求10或11所述的画面显示装置,其特征在于,还包括检测模块;
所述检测模块,用于检测所述车辆的位置信息;
所述调整模块,还用于所述检测模块检测到所述车辆行驶至第一路段时,下移所述第一画面的上边界,所述第一路段是根据所述车辆的图像传感器预测的所述车辆前方行驶的上坡路段,所述第一画面的上边界下移的比例是根据第一坡度、第一速率以及第三压缩函数确定的,所述第一坡度是根据高精地图确定的所述第一路段的坡度,所述第一速率是所述车辆行驶至所述第一路段时的速率,下移所述第一画面的上边界的时长是基于第三时长确定的,所述第三时长是所述车辆行驶完所述第一路段所需时长,所述第三压缩函数用于模拟所述车辆上坡时的加速度随时间变化的曲线。
14.根据权利要求10或11所述的画面显示装置,其特征在于,还包括检测模块;
所述检测模块,用于检测所述车辆的位置信息;
所述调整模块,还用于所述检测模块检测到所述车辆行驶至第二路段时,上移所述第一画面的下边界,所述第二路段是根据所述车辆的导航信息以及高精地图预测的所述车辆前方行驶的下坡路段,所述第一画面的下边界上移的比例是根据重力加速度以及第四压缩函数确定的,上移所述第一画面的下边界的时长是基于第四时长确定的,所述第四时长是所述车辆行驶完所述第二路段所需时长,所述第四压缩函数用于模拟所述车辆下坡时的加速度随时间变化的曲线。
15.根据权利要求10或11所述的画面显示装置,其特征在于,还包括检测模块;
所述检测模块,用于检测所述车辆的位置信息;
所述调整模块,具体用于所述检测模块检测到所述车辆行驶至第二路段时,上移所述第一画面的下边界,所述第二路段是根据所述车辆的图像传感器预测的所述车辆前方行驶的下坡路段,所述第一画面的下边界上移的比例是根据重力加速度以及第四压缩函数确定的,上移所述第一画面的下边界的时长是基于第四时长确定的,所述第四时长是所述车辆行驶完所述第二路段所需时长,所述第四压缩函数用于模拟所述车辆下坡时的加速度随时间变化的曲线。
16.根据权利要求10或11所述的画面显示装置,其特征在于,
所述调整模块,还用于根据所述方向盘转角信息确定所述车辆左拐时,右移所述第一画面的左边界,所述左边界右移的比例是根据第二速率和第五压缩函数确定的,所述第二速率是根据所述方向盘转角信息确定所述车辆左拐时所述车辆的速率,右移所述第一画面的左边界的时长是基于第五时长确定的,所述第五时长是根据所述方向盘转角信息确定的所述车辆从左拐到停止左拐的时长,所述第五压缩函数用于模拟所述车辆左拐时的加速度随时间变化的曲线;
所述调整模块,还用于根据所述方向盘转角信息确定所述车辆右拐时,左移所述第一画面的右边界,所述右边界左移的比例是根据第三速率和第六压缩函数确定的,所述第三速率是根据所述方向盘转角信息确定所述车辆右拐时所述车辆的速率,左移所述第一画面的右边界的时长是基于第六时长确定的,所述第六时长是根据所述方向盘转角信息确定的所述车辆从右拐到停止左拐的时长,所述第六压缩函数用于模拟所述车辆右拐时的加速度随时间变化的曲线。
17.根据权利要求10或11所述的画面显示装置,其特征在于,
还包括检测模块;
所述检测模块,用于检测所述车辆的位置信息;
所述调整模块,还用于所述检测模块检测到所述车辆行驶至第三路段时,右移所述第一画面的左边界,所述第三路段是根据所述车辆的图像传感器预测的所述车辆前方行驶的左拐路段,所述左边界右移的比例是根据第二速率和第五压缩函数确定的,所述第二速率是所述车辆行驶至所述第三路段时所述车辆的速率,右移所述第一画面的左边界的时长是基于第五时长确定的,所述第五时长是所述车辆行驶过所述第三路段所需的时长,所述第五压缩函数用于模拟所述车辆左拐时的加速度随时间变化的曲线;
所述调整模块,具体用于所述检测模块检测到所述车辆行驶至第四路段时,左移所述第一画面的右边界,所述第四路段是根据所述车辆的图像传感器预测的所述车辆前方行驶的右拐路段,所述右边界左移的比例是根据第三速率和第六压缩函数确定的,所述第三速率是所述车辆行驶至所述第四路段时所述车辆的速率,左移所述第一画面的右边界的时长是基于第六时长确定的,所述第六时长是所述车辆行驶过所述第四路段所需的时长,所述第六压缩函数用于模拟所述车辆右拐时的加速度随时间变化的曲线。
18.一种画面显示装置,其特征在于,包括处理器,所述处理器和存储器耦合,所述存储器存储有程序指令,当所述存储器存储的程序指令被所述处理器执行时实现权利要求1至9中任一项所述的方法。
19.一种计算机可读存储介质,包括程序,当其在计算机上运行时,使得计算机执行如权利要求1至9中任一项所述的方法。
20.一种智能汽车,其特征在于,所述智能汽车包括处理电路和存储电路,所述处理电路和所述存储电路被配置为执行如权利要求1至9中任一项所述的方法。
CN202080004908.3A 2020-07-23 2020-07-23 一种画面显示方法、智能车、存储介质以及装置 Active CN112654959B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/103750 WO2022016444A1 (zh) 2020-07-23 2020-07-23 一种画面显示方法、智能车、存储介质以及装置

Publications (2)

Publication Number Publication Date
CN112654959A CN112654959A (zh) 2021-04-13
CN112654959B true CN112654959B (zh) 2022-05-17

Family

ID=75368415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080004908.3A Active CN112654959B (zh) 2020-07-23 2020-07-23 一种画面显示方法、智能车、存储介质以及装置

Country Status (5)

Country Link
US (1) US20230153942A1 (zh)
EP (1) EP4180272A4 (zh)
KR (1) KR20230041751A (zh)
CN (1) CN112654959B (zh)
WO (1) WO2022016444A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113382294B (zh) * 2021-06-04 2023-05-12 广州小鹏汽车科技有限公司 远程驾驶舱的画面显示处理方法、装置、驾驶舱及系统
CN113276774B (zh) * 2021-07-21 2021-10-26 新石器慧通(北京)科技有限公司 无人车远程驾驶过程中视频画面的处理方法、装置及设备
CN113537133B (zh) * 2021-07-30 2022-11-08 阿波罗智联(北京)科技有限公司 信息处理方法及装置、电子设备、存储介质及产品
CN113778601B (zh) * 2021-09-10 2024-08-06 京东方科技集团股份有限公司 自适应显示方法、系统、存储介质、控制设备及显示装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1972821A (zh) * 2004-06-23 2007-05-30 松下电器产业株式会社 车载图像显示装置
CN100443334C (zh) * 2004-07-26 2008-12-17 松下电器产业株式会社 报告装置
TW200940116A (en) * 2008-03-28 2009-10-01 Ind Tech Res Inst A motion sickness prevention device
CN101996021A (zh) * 2009-08-12 2011-03-30 幻音科技(深圳)有限公司 手持式电子设备及其控制显示内容的方法
CN108509030A (zh) * 2018-03-09 2018-09-07 京东方科技集团股份有限公司 显示装置及其工作方法、计算机可读存储介质
CN109823173A (zh) * 2019-03-08 2019-05-31 浙江吉利汽车研究院有限公司 一种防晕车的动态显示方法及系统
CN110139141A (zh) * 2019-04-28 2019-08-16 腾讯科技(深圳)有限公司 视频画面渲染方法、装置、存储介质及电子设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1538366A (zh) * 2003-05-23 2004-10-20 晓 朱 隧道列车随动画面系统的设计方法
US20070236363A1 (en) * 2004-07-15 2007-10-11 Matsushita Electric Industrial Co., Ltd. Notification Apparatus and Vehicle Having Notification Apparatus
US7722526B2 (en) * 2004-07-16 2010-05-25 Samuel Kim System, method and apparatus for preventing motion sickness
WO2007086431A1 (ja) * 2006-01-25 2007-08-02 Matsushita Electric Industrial Co., Ltd. 映像表示装置
CN105835776A (zh) * 2016-03-28 2016-08-10 乐视控股(北京)有限公司 一种车辆屏幕防抖方法及装置
CN107992200B (zh) * 2017-12-21 2021-03-26 爱驰汽车有限公司 车载显示屏的画面补偿方法、装置及电子设备
US20190047498A1 (en) * 2018-01-12 2019-02-14 Intel Corporation Adaptive display for preventing motion sickness
US11694408B2 (en) * 2018-08-01 2023-07-04 Sony Corporation Information processing device, information processing method, program, and movable object
CN110015235A (zh) * 2019-03-12 2019-07-16 浙江吉利汽车研究院有限公司 一种车载显示方法、装置及设备
CN110007760B (zh) * 2019-03-28 2022-06-07 京东方科技集团股份有限公司 显示控制方法、显示控制装置和显示装置
CN111103688A (zh) * 2019-12-11 2020-05-05 塔普翊海(上海)智能科技有限公司 一种防晕眩设备、系统和方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1972821A (zh) * 2004-06-23 2007-05-30 松下电器产业株式会社 车载图像显示装置
CN100443334C (zh) * 2004-07-26 2008-12-17 松下电器产业株式会社 报告装置
TW200940116A (en) * 2008-03-28 2009-10-01 Ind Tech Res Inst A motion sickness prevention device
CN101996021A (zh) * 2009-08-12 2011-03-30 幻音科技(深圳)有限公司 手持式电子设备及其控制显示内容的方法
CN108509030A (zh) * 2018-03-09 2018-09-07 京东方科技集团股份有限公司 显示装置及其工作方法、计算机可读存储介质
CN109823173A (zh) * 2019-03-08 2019-05-31 浙江吉利汽车研究院有限公司 一种防晕车的动态显示方法及系统
CN110139141A (zh) * 2019-04-28 2019-08-16 腾讯科技(深圳)有限公司 视频画面渲染方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
KR20230041751A (ko) 2023-03-24
WO2022016444A1 (zh) 2022-01-27
EP4180272A4 (en) 2023-08-09
EP4180272A1 (en) 2023-05-17
US20230153942A1 (en) 2023-05-18
CN112654959A (zh) 2021-04-13

Similar Documents

Publication Publication Date Title
CN112654959B (zh) 一种画面显示方法、智能车、存储介质以及装置
CN112519575B (zh) 调整油门踏板特性的方法和装置
US20170308090A1 (en) Vehicle control system, vehicle control method and vehicle control program
EP3783314A1 (en) System and method for vehicle route selection
CN113492860B (zh) 一种驾驶性能调节方法和装置
CN115042821B (zh) 车辆控制方法、装置、车辆及存储介质
CN115123257A (zh) 路面减速带位置识别方法、装置、车辆、存储介质及芯片
CN115330923A (zh) 点云数据渲染方法、装置、车辆、可读存储介质及芯片
CN115100377A (zh) 地图构建方法、装置、车辆、可读存储介质及芯片
CN114537450A (zh) 车辆控制方法、装置、介质、芯片、电子设备及车辆
CN115202234B (zh) 仿真测试方法、装置、存储介质和车辆
CN114842440B (zh) 自动驾驶环境感知方法、装置、车辆及可读存储介质
CN114782638B (zh) 生成车道线的方法、装置、车辆、存储介质及芯片
CN115042814A (zh) 交通灯状态识别方法、装置、车辆及存储介质
CN114987549A (zh) 车辆控制方法、装置、存储介质及车辆
CN115203457A (zh) 图像检索方法、装置、车辆、存储介质及芯片
CN115205848A (zh) 目标检测方法、装置、车辆、存储介质及芯片
CN115116161A (zh) 车辆数据采集方法、装置、存储介质以及车辆
CN115056784A (zh) 车辆控制方法、装置、车辆、存储介质及芯片
CN115649190A (zh) 车辆辅助制动的控制方法、装置、介质、车辆及芯片
CN114852092B (zh) 方向盘脱手检测方法、装置、可读存储介质及车辆
CN114802217B (zh) 确定泊车模式的方法、装置、存储介质及车辆
CN114877911B (zh) 路径规划方法、装置、车辆及存储介质
CN115649165B (zh) 车辆起步控制方法、装置、车辆及存储介质
CN114771514B (zh) 车辆行驶控制方法、装置、设备、介质、芯片及车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant