CN116931866B - 车载多屏显示控制方法及车载装置 - Google Patents

车载多屏显示控制方法及车载装置 Download PDF

Info

Publication number
CN116931866B
CN116931866B CN202311175673.6A CN202311175673A CN116931866B CN 116931866 B CN116931866 B CN 116931866B CN 202311175673 A CN202311175673 A CN 202311175673A CN 116931866 B CN116931866 B CN 116931866B
Authority
CN
China
Prior art keywords
screen
picture
display control
screens
control module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311175673.6A
Other languages
English (en)
Other versions
CN116931866A (zh
Inventor
吴天海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Joynext Technology Corp
Original Assignee
Ningbo Joynext Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Joynext Technology Corp filed Critical Ningbo Joynext Technology Corp
Priority to CN202311175673.6A priority Critical patent/CN116931866B/zh
Publication of CN116931866A publication Critical patent/CN116931866A/zh
Application granted granted Critical
Publication of CN116931866B publication Critical patent/CN116931866B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • G09G5/393Arrangements for updating the contents of the bit-mapped memory
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Mechanical Engineering (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请提供一种车载多屏显示控制方法及车载装置,包括:显示控制模块接收客户端生成的画面投放消息,画面投放消息包括至少一个待投放画面的画面ID、一个或多个待投放屏幕的屏幕ID以及与至少一个待投放画面对应的第一帧率;显示控制模块对画面投放消息对应的投放事件的类型进行判断得到判断结果,以及将判断结果发送至显示管理器;显示管理器根据判断结果,调用第一规则或者第二规则确定至少一个待投放画面的刷新周期;显示管理器在刷新周期内基于第一帧率将至少一个待投放画面发送至一个或多个待投放屏幕以显示至少一个待投放画面。本申请能够实现多屏流畅显示动画的效果。

Description

车载多屏显示控制方法及车载装置
技术领域
本申请涉及投屏控制技术领域,特别涉及车载多屏显示控制方法及车载装置。
背景技术
随着车辆内车机系统的不断发展,车辆内部配置有多个显示屏以满足用户的需求,为用户提供更佳的用户体验感受。
然而,目前针对车辆多屏幕的投屏显示方法中部分是通过在不同显示屏上运行不同操作系统,将一个操作系统的显示屏上显示的程序界面投屏到其他操作系统中,以实现多系统之间的投屏。但这种投屏方法通常是针对网络界面等静态资源的显示;针对动画等动态资源,大部分车辆仅通过仪表盘显示屏或者抬头显示屏进行单一的动画投屏显示,无法达到多个屏幕同时播放动画的效果;另外存在少量的可在仪表盘显示屏和抬头显示屏中同时显示的动画,但多为仅展示简单箭头图标的导航应用,并不能应对复杂的动画多屏显示的需求。
因此亟需一种能够实现在多个屏幕上显示复杂动画的车载多屏显示控制方法以解决上述技术问题。
发明内容
基于此,有必要针对上述技术问题,提供一种车载多屏显示控制方法,以实现在多个屏幕上同时播放动画。
第一方面,本申请提供一种车载多屏显示控制方法,所述方法包括:
显示控制模块接收客户端生成的画面投放消息,所述画面投放消息包括至少一个待投放画面的画面ID、一个或多个待投放屏幕的屏幕ID以及与所述至少一个待投放画面对应的第一帧率;
所述显示控制模块对所述画面投放消息对应的投放事件的类型进行判断得到判断结果,以及将所述判断结果发送至显示管理器;
所述显示管理器根据所述判断结果,调用第一规则或者第二规则确定所述至少一个待投放画面的刷新周期;
所述显示管理器在所述刷新周期内基于所述第一帧率将所述至少一个待投放画面发送至所述一个或多个待投放屏幕以显示所述至少一个待投放画面。
在一些实施例中,所述显示管理器根据所述判断结果,调用第一规则或者第二规则确定所述待投放画面的刷新周期,包括:
所述显示管理器响应于所述判断结果为新投放事件或切换画面投放事件,判断除所述一个或多个待投放屏幕之外的一个或多个关联屏幕内是否存在投放画面,若是,则调用第一规则基于所述第一帧率及所述一个或多个关联屏幕内投放画面对应的一个或多个第二帧率确定所述刷新周期,若否,则调用第二规则基于所述第一帧率确定所述刷新周期;
所述显示管理器响应于所述判断结果为重复画面投屏事件,调用第二规则,基于所述第一帧率确定所述刷新周期。
在一些实施例中,所述显示控制模块对所述画面投放消息对应的投放事件的类型进行判断得到判断结果,以及将所述判断结果发送至显示管理器之前,所述方法包括:
所述显示控制模块接收所述客户端反馈的优先模式的工作状态;
所述显示控制模块对所述画面投放消息对应的投放事件的类型进行判断得到判断结果,以及将所述判断结果发送至显示管理器,包括:若所述优先模式的工作状态为休眠状态,则所述显示控制模块对所述画面投放消息对应的投放事件的类型进行判断得到所述判断结果,以及将所述判断结果发送至所述显示管理器;
所述方法还包括:
若所述优先模式的工作状态为激活状态,则所述显示控制模块生成实时描画消息并发送至所述显示管理器。
在一些实施例中,所述方法还包括:
所述显示管理器响应于所述实时描画消息,监听所述至少一个待投放画面以获取待投放画面缓冲;
所述显示管理器将所述待投放画面缓冲发送至所述一个或多个待投放屏幕以显示所述至少一个待投放画面。
在一些实施例中,所述方法还包括:
所述显示控制模块根据检测到的车辆内一个或多个人员的视线指向确定所述视线指向的一个或多个屏幕为观测屏幕;
所述显示控制模块根据预设最低帧率调整车辆内的多个屏幕中除观测屏幕外的其他屏幕的帧率。
在一些实施例中,所述显示控制模块对所述画面投放消息对应的投放事件的类型进行判断得到判断结果,包括:
所述显示控制模块获取当前的投屏信息列表,所述投屏信息列表包括当前正在投屏的画面ID和屏幕ID;
所述显示控制模块比对所述画面投放消息中的画面ID和屏幕ID与所述投屏信息列表中的画面ID和屏幕ID,确定所述判断结果。
在一些实施例中,所述显示控制模块比对所述画面投放消息中的画面ID和屏幕ID与所述投屏信息列表中的画面ID和屏幕ID,确定判断结果,包括:
若所述画面投放消息中的画面ID和屏幕ID均不包含在所述投屏信息列表中的画面ID和屏幕ID内,则所述显示控制模块确定所述判断结果为新投放事件;
若所述画面投放消息中的画面ID包含在所述投屏信息列表中的画面ID内且所述画面投放消息中的屏幕ID不包含在所述投屏信息列表中的屏幕ID内,则所述显示控制模块确定所述判断结果为重复画面投放事件;
若所述画面投放消息中的屏幕ID包含在所述投屏信息列表中的屏幕ID内且所述画面投放消息中的画面ID不包含在所述投屏信息列表中的画面ID内,则所述显示控制模块确定所述判断结果为切换画面投放事件。
在一些实施例中,所述方法还包括:
所述显示控制模块根据检测到的车辆内一个或多个人员的视线指向确定所述视线指向的一个或多个屏幕为观测屏幕;
所述显示控制模块根据预设帧率调整车辆内的多个屏幕中除所述观测屏幕外的其他屏幕的帧率。
在一些实施例中,所述调用第一规则基于所述第一帧率及一个或多个关联屏幕内实际投放画面对应的一个或多个第二帧率确定所述刷新周期,包括:
所述显示管理器计算所述第二帧率与所述第一帧率的最大公因数;
所述显示管理器基于所述最大公因数确定所述刷新周期。
在一些实施例中,所述显示管理器在所述刷新周期内基于所述第一帧率将所述至少一个待投放画面发送至所述一个或多个待投放屏幕以显示所述至少一个待投放画面,包括:
调用所述第一规则确定刷新周期时,所述显示管理器根据所述最大公因数及所述刷新周期,确定所述至少一个待投放画面对应的第一数据量以及所述实际投放画面对应的第二数据量;
所述显示管理器统计所述刷新周期内发送至所述一个或多个待投放屏幕的待投放画面对应的第三数据量和所述实际投放画面对应的第四数据量;
若所述第三数据量等于所述第一数据量,则发停止送所述至少一个待投放画面至所述一个或多个待投放屏幕;
若所述第四数据量等于所述第二数据量,则停止发送所述实际投放画面至所述一个或多个待投放屏幕。
第二方面,本申请提供了一种车载装置,所述车载装置包括:
一个或多个处理器;
以及与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
显示控制模块接收客户端生成的画面投放消息,所述画面投放消息包括至少一个待投放画面的画面ID、一个或多个待投放屏幕的屏幕ID以及与所述至少一个待投放画面对应的第一帧率;
所述显示控制模块对所述画面投放消息对应的投放事件的类型进行判断得到判断结果,以及将所述判断结果发送至显示管理器;
所述显示管理器根据所述判断结果,调用第一规则或者第二规则确定所述至少一个待投放画面的刷新周期;
所述显示管理器在所述刷新周期内基于所述第一帧率将所述至少一个待投放画面发送至所述一个或多个待投放屏幕以显示所述至少一个待投放画面。
本申请实现的有益效果为:
本申请提供了一种车载多屏显示控制方法,包括:显示控制模块接收客户端生成的画面投放消息,所述画面投放消息包括至少一个待投放画面的画面ID、一个或多个待投放屏幕的屏幕ID以及与所述至少一个待投放画面对应的第一帧率;所述显示控制模块对所述画面投放消息对应的投放事件的类型进行判断得到判断结果,以及将所述判断结果发送至显示管理器;所述显示管理器根据所述判断结果,调用第一规则或者第二规则确定所述至少一个待投放画面的刷新周期;所述显示管理器在所述刷新周期内基于所述第一帧率将所述至少一个待投放画面发送至所述一个或多个待投放屏幕以显示所述至少一个待投放画面。通过显示控制模块控制显示管理器截取虚拟待投放画面,输出到对应的待投放屏幕上,以达到多屏流畅显示动画的效果。此外采用显示控制模块隔离了显示管理器与客户端直接交互,降低了耦合性;将显示控制工作从显示管理器中剥离出来,以对待投放画面进行预处理,保证显示管理器仅仅是单一输出数据流,防止重复截屏增大CPU的消耗,进一步保证在多个屏幕上流程播放动画。此外,采用截屏的方式,能够对视频源画面进行二次处理,改变其播放帧率、像素等参数,可以实现无需依赖视频源参数直接适配各类物理屏的显示需求。
进一步的,本申请还提出当存在屏幕上已经存在投放内容时,通过计算最大公因数得到刷新周期,利用在刷新周期内限制一方画面的投屏数据流发送,防止不同画面发送屏幕导致CPU抢占出现某一方画面卡帧,进一步确保屏幕帧数稳定。
进一步的,本申请还提出在特定场景下利用车内所安装摄像头识别驾驶员与乘客视线指向,当视线不在屏幕上时降低该屏幕上播放内容的帧率,从而降低CPU资源消耗。
进一步的,本申请还提出了在面对有实时显示需求的应用时,由截屏方式转变为通过监听方式得到画面缓冲,将原始画面直接传输给待投放屏幕进行显示,满足导航、游戏等对延时具备的高要求需求。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,其中:
图1是本申请实施例提供的车机系统架构图;
图2是本申请实施例提供的一种事件类型判断时序图;
图3是本申请实施例提供的一种线程检查时序图;
图4是本申请实施例提供的一种画面投放时序图;
图5是本申请实施例提供的一种帧率调整时序图;
图6是本申请实施例提供的一种多屏显示控制方法示意图;
图7是本申请实施例提供的车载装置结构图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应当理解,在本申请的描述中,除非上下文明确要求,否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义;也就是说,是“包括但不限于”的含义。
还应当理解,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本申请的描述中,除非另有说明,“多个”的含义是两个或两个以上。
需要注意的是,术语“S1”、“S2”等仅用于步骤的描述目的,并非特别指称次序或顺位的意思,亦非用以限定本申请,其仅仅是为了方便描述本申请的方法,而不能理解为指示步骤的先后顺序。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本申请要求的保护范围之内。
如背景技术所述,为了提高车辆竞争力,车机系统越来越注重对人机交互的发展,而目前针对动画的投放通常仅在单一的屏幕上,无法实现在多个屏幕上播放相同的复杂动画的功能;而面对单一的动画投屏时,由于多个用户都需要观看同一屏幕,极有可能因视线原因导致无法观看完整屏幕,因此单一动画投屏无法给予用户更好的体验感。
因此本申请提供一种车载多屏显示控制方法,通过显示控制模块控制显示管理器截取虚拟待投放画面,输出到对应的待投放屏幕上,以达到多屏流畅显示动画的效果。
可以理解的是,本申请提供的车载多屏显示控制方法,除了可应用于车辆内的车机系统内,在针对不同投放场景进行适应性修改后,还可应用于其他任何需要在多屏幕上显示相同动画的场景。
实施例一
本申请实施例提供了一种车机系统,如图1所示的架构图,通过显示控制模块(displaymanager controller)隔离了显示管理器(displaymanager)与客户端的直接交互,客户端生成画面投放消息后,传递至显示控制模块,由显示控制模块判断投放的方式以及投放事件的类型,在判断完成后通知显示管理器在屏幕上进行相应的动画投放,具体包括以下内容:
S1、显示控制模块响应于接收到的客户端生成的画面投放消息,对画面投放消息对应的投放事件的类型进行判断以得到判断结果。
具体的,如图2所示的时序图,客户端接收用户在不同应用上发起的画面投屏命令并在接收画面投屏命令后检查需要投屏的屏幕是否已经打开,若没有打开则通知对应的屏幕打开。客户端响应于画面投屏命令生成画面投放消息并将该画面投放消息发送给显示控制模块,其中,上述画面投放消息包括一个或多个待投放画面的画面ID,一个或多个待投放屏幕的屏幕ID以及与至少一个待投放画面对应的第一帧率,其中,第一帧率为客户端给出的满足待投放画面流程播放的特定帧率,可由用户自行定义。
显示控制模块接收到画面投放消息后,获取当前的投屏信息列表,其中,投屏信息列表为保存有当前正在投屏的画面ID和屏幕ID,存放在显示控制模块内的信息列表,可直接获取。然后显示控制模块通过比对投屏信息列表中的正在投屏的画面ID和屏幕ID和接收到的画面投放消息中的画面ID和屏幕ID,判断投放事件的类型。具体的,如果画面投放消息中的画面ID和屏幕ID均不包含在投屏信息列表中的画面ID和屏幕ID内,即表明画面投放消息中的屏幕ID对应的待投放屏幕上没有显示内容,且画面投放消息中的画面ID对应的待投放画面未在任何屏幕上显示,此时显示控制模块确定判断结果为新投放事件。如果画面投放消息中的画面ID包含在投屏信息列表中的画面ID内且画面投放消息中的屏幕ID不包含在投屏信息列表中的屏幕ID内,即表明待投放画面以及投放在待投放屏幕外的其他屏幕上,需要将相同的待投放换面投放至待投放屏幕上,此时显示控制模块确定判断为重复画面投放事件。如果画面投放消息中的屏幕ID包含在投屏信息列表中的屏幕ID内且画面投放消息中的画面ID不包含在投屏信息列表中的画面ID内,即表明待投放屏幕上已经存在投放内容,但并不是待投放画面,因此需要切换待投放屏幕上的投放内容,此时显示控制模块确定判断结果为切换画面投放事件。如果画面投放消息中的画面ID和屏幕ID均包含在投屏信息列表中的画面ID和屏幕ID内,则表明此时已经将待投放画面投放至待投放屏幕上,即已经完成投屏,此时显示控制模块生成已投屏信息并反馈至所述客户端。
如图3所示的时序图,为了避免因显示管理器故障而导致画面投放失败的问题,在一些实施场景中,显示控制模块在接收到客户端生成的画面投放消息后,先检查显示管理器线程的工作状态,如果显示控制模块确认显示管理器线程为激活状态(即正常启动),则继续下一步对投放事件类型的判断步骤;如果显示控制模块确认显示管理器线程为休眠状态(即未启动),此时显示控制模块生成线程开启消息并发送至显示管理器以通知显示管理器启动线程,并进行初始化,具体包括抓屏、画面监听、视频编码、驱动模块,网络模块等初始化,并在成功完成后反馈给显示控制模块以通知显示控制模块可进行下一步对投放事件类型的判断步骤。
S2、显示管理器根据显示控制模块生成的判断结果,调用第一规则或第二规则确定刷新周期,并在刷新周期内基于第一帧率将至少一个待投放画面发送至一个或多个待投放屏幕以在显示至少一个待投放画面。
如图4所示的时序图,显示管理器响应于判断结果为新投放事件或切换画面投放事件,判断系统内多个屏幕中除一个或多个待投放屏幕之外的其他的一个或多个关联屏幕是否存在投放画面,若上述关联屏幕内存在投放画面,则调用第一规则,基于第一帧率及一个或多个关联屏幕内投放画面对应的第二帧率确定刷新周期,若上述关联屏幕内不存在投放画面,则调用第二规则基于第一帧率确定刷新周期。可以理解的是,第二帧率的数量与存在投放画面的关联屏幕的数量对应,若存在一个关联屏幕上存在投放画面,则第二帧率唯一;若存在多个关联屏幕上存在投放画面,则第二帧率数量不唯一;其中第二帧率可通过客户端获取并存放在显示控制模块中,具体可以存放在显示控制模块内的投屏信息列表中,也可以存放在显示控制模块内的其他任意用于存储信息的存储单元中。具体的第一规则为:显示管理器计算第一帧率与多个第二帧率的最大公因数n,基于最大公因数n确定刷新周期t;以双屏显示为例,如果第一帧率和第二帧率分别是30和20,则最大公因数n为10,刷新周期t即为最大公因数n的倒数:0.1S;以三屏显示为例,待投放屏幕为一个且第一帧率为30,其余两个屏幕为关联屏幕,两个关联屏幕上的投放画面的帧率分别为20和10,此时第二帧率包含两个20和10帧率,此时最大公因数为30、20、10的最大公因数为10。进一步,在这种情况下显示管理器还根据最大公因数n及确定的刷新周期t,确定待投放画面对应的第一数据量a以及投放画面对应的第二数据量b;显示管理器统计刷新周期内按照第一帧率不断向待投放屏幕发送待投放画面并按照第二帧率向待投放屏幕发送投放画面,并统计在该刷新周期内发送至待投放屏幕的待投放画面对应的第三数据量a1和投放画面对应的第四数据量b1;如果统计到的第三数据量a1等于第一数据量a,则停止发送待投放画面至待投放屏幕,只发送投放画面直至刷新周期内的时间耗尽;如果统计到的第四数据量b1等于第二数据量b,则停止发送投放画面至待投放屏幕,只发送待投放画面至待投放屏幕直至刷新周期t内的时间耗尽;刷新周期t时间耗尽后,刷新发送开关,进入下一个刷新周期t,进行发送待投放画面和投放画面。若待投放屏幕内不存在投放画面,则调用第二规则,基于第一帧率确定刷新周期t,刷新周期t即为第一帧率的倒数;例如第一帧率为30,则刷新周期t为1/30S。在这种情况下,显示管理器按照第一帧率在刷新周期t内不断向待投放屏幕发送待投放画面以将待投放画面显示在待投放屏幕上,直至刷新周期t内的时间耗尽。在一个刷新周期t结束后,刷新发送开关,继续在下一个刷新周期t内发送待投放画面。其中,待投放屏幕内是否存在投放画面的判断通过判断投屏信息列表中待投放屏幕对应的屏幕ID是否存在有对应的画面ID实现;如果存在则判定待投放屏幕内存在投放画面,如果不存在则判定待投放屏幕内不存在投放画面。其中,第二规则具体包括:基于第一帧率确定刷新周期t,刷新周期t即为第一帧率的倒数。显示管理器按照第一帧率在刷新周期t内不断向待投放屏幕发送待投放画面以将待投放画面显示在待投放屏幕上,直至刷新周期t内的时间耗尽。在一个刷新周期t结束后,刷新发送开关继续在下一个刷新周期t内发送待投放画面。
显示管理器响应于判断结果为重复画面投放事件,直接调用第二规则,基于第一帧率确定刷新周期t,刷新周期t即为第一帧率的倒数。显示管理器按照第一帧率在刷新周期t内不断向待投放屏幕发送待投放画面以将待投放画面显示在待投放屏幕上,直至刷新周期t内的时间耗尽。在一个刷新周期t结束后,刷新发送开关继续在下一个刷新周期t内发送待投放画面。
本申请实施例采用截屏的方式,实现了在多屏显示时通过计算最大公因数得到刷新周期,利用在刷新周期内限制一方的投屏数据流发送的方法,防止不同画面发送不同屏幕导致CPU抢占导致某一方画面卡帧,确保每一块屏幕帧数稳定。
进一步,在一些实施场景中,针对特定的有实时显示需求的应用,本申请实施例还提出了显示控制模块在判断投放事件的类型以确定判断结果并将所述判断结果发送至显示管理器之前根据客户端反馈的优先模式的工作状态判断是否进行实时投放,其中优先模式的工作状态由客户端发送至显示控制模块进行存储,可以存储在投屏信息列表中以进行查看,还可以存储在其他显示控制模块内的存储单元中。如果优先模式的工作状态为激活状态,则显示控制模块生成实时描画消息并发送至显示管理器;显示管理器响应于实时描画消息,监听至少一个待投放画面以获取待投放画面缓冲;所示管理器将至少一个待投放画面缓冲发送至一个或多个待投放屏幕以显示至少一个待投放画面。通过监听得到画面缓冲,实现了直接将原始画面直接传递给屏幕进行显示,满足对导航以及游戏等对延时有高要求的场景的需求。如果优先模式的工作状态为休眠状态,则按照上述步骤S1和S2采用截屏的方式将至少一个待投放画面投放至一个或多个待投放屏幕上,以实现在多个屏幕上投放相同动画的效果。本申请利用对待投放画面进行截屏的方式进行投屏,可以对待投放画面进行二次处理,改变其帧率;并且可以重新定义缓存下的待投放画面的像素以及色彩模式,以适配各种规格的物理显示屏(待投放屏幕),降低解码带来的性能要求。
进一步,如图5所示的时序图,在一些实施场景中,为了降低不必要的CPU资源损耗,当用户目光变换时,通过摄像头捕捉车辆内一个或多个用户的视线指向,利用现有的目光识别应用将检测到的视线指向通知给显示控制模块;显示控制模块根据检测到的车辆内一个或多个人员的视线指向确定视线指向的一个或多个屏幕为观测屏幕;在车辆内的多个屏幕中除观测屏幕外的其他屏幕上显示的画面允许降低帧率的情况下,显示控制模块通知显示管理器根据预设帧率调整其他屏幕的帧率,并按照调整后的最新帧率输出待投放画面至待投放屏幕上。其中,预设的预设帧率可以是为客户端给出的满足动画正常播放的最低帧率,也可以是其他根据不同应用的需求进行人为设定的默认帧率;并由客户端发送并存储至显示控制模块中,可以是存放显示控制模块内的投屏信息列表中,也可以是显示控制模块内的其他任意用于存储信息的存储单元中。
实施例二
对应上述实施例一,本申请还实施例提供了一种车载多屏显示控制方法,如图6所示的流程图,具体包括:
6100、显示控制模块接收客户端生成的画面投放消息,所述画面投放消息包括至少一个待投放画面的画面ID、一个或多个待投放屏幕的屏幕ID以及与所述至少一个待投放画面对应的第一帧率;
优选的,所述显示控制模块对所述画面投放消息对应的投放事件的类型进行判断得到判断结果,以及将所述判断结果发送至显示管理器之前,所述方法包括:
6110、所述显示控制模块接收所述客户端反馈的优先模式的工作状态;
所述显示控制模块对所述画面投放消息对应的投放事件的类型进行判断得到判断结果,以及将所述判断结果发送至显示管理器,包括:
6120若所述优先模式的工作状态为休眠状态,则所述显示控制模块对所述画面投放消息对应的投放事件的类型进行判断得到所述判断结果,以及将所述判断结果发送至所述显示管理器;
所述方法还包括:
6130、若所述优先模式的工作状态为激活状态,则所述显示控制模块生成实时描画消息并发送至所述显示管理器。
优选的,所述方法还包括:
6140、所述显示管理器响应于所述实时描画消息,监听所述至少一个待投放画面以获取待投放画面缓冲;
6150、所述显示管理器将所述待投放画面缓冲发送至所述一个或多个待投放屏幕以显示所述至少一个待投放画面。
6200、所述显示控制模块对所述画面投放消息对应的投放事件的类型进行判断得到判断结果,以及将所述判断结果发送至显示管理器;
优选的,所述显示控制模块对所述画面投放消息对应的投放事件的类型进行判断得到判断结果,包括:
6210、所述显示控制模块获取当前的投屏信息列表,所述投屏信息列表包括当前正在投屏的画面ID和屏幕ID;
6220、所述显示控制模块比对所述画面投放消息中的画面ID和屏幕ID与所述投屏信息列表中的画面ID和屏幕ID,确定所述判断结果。
优选的,所述显示控制模块比对所述画面投放消息中的画面ID和屏幕ID与所述投屏信息列表中的画面ID和屏幕ID,确定判断结果,包括:
6221、若所述画面投放消息中的画面ID和屏幕ID均不包含在所述投屏信息列表中的画面ID和屏幕ID内,则所述显示控制模块确定所述判断结果为新投放事件;
6222、若所述画面投放消息中的画面ID包含在所述投屏信息列表中的画面ID内且所述画面投放消息中的屏幕ID不包含在所述投屏信息列表中的屏幕ID内,则所述显示控制模块确定所述判断结果为重复画面投放事件;
6223、若所述画面投放消息中的屏幕ID包含在所述投屏信息列表中的屏幕ID内且所述画面投放消息中的画面ID不包含在所述投屏信息列表中的画面ID内,则所述显示控制模块确定所述判断结果为切换画面投放事件。
6300、所述显示管理器根据所述判断结果,调用第一规则或者第二规则确定所述至少一个待投放画面的刷新周期;
优选的,所述显示管理器根据所述判断结果,调用第一规则或者第二规则确定所述待投放画面的刷新周期,包括:
6310、所述显示管理器响应于所述判断结果为新投放事件或切换画面投放事件,判断除所述一个或多个待投放屏幕之外的一个或多个关联屏幕内是否存在投放画面,若是,则调用第一规则基于所述第一帧率及所述一个或多个关联屏幕内投放画面对应的一个或多个第二帧率确定所述刷新周期,若否,则调用第二规则基于所述第一帧率确定所述刷新周期;
优选的,所述调用第一规则基于所述第一帧率及一个或多个关联屏幕内实际投放画面对应的一个或多个第二帧率确定所述刷新周期,包括:
6311、所述显示管理器计算所述第二帧率与所述第一帧率的最大公因数;
6312、所述显示管理器基于所述最大公因数确定所述刷新周期。
6320、所述显示管理器响应于所述判断结果为重复画面投屏事件,调用第二规则,基于所述第一帧率确定所述刷新周期。
6400、所述显示管理器在所述刷新周期内基于所述第一帧率将所述至少一个待投放画面发送至所述一个或多个待投放屏幕以显示所述至少一个待投放画面。
优选的,所述显示管理器在所述刷新周期内基于所述第一帧率将所述至少一个待投放画面发送至所述一个或多个待投放屏幕以显示所述至少一个待投放画面,包括:
6410、调用所述第一规则确定刷新周期时,所述显示管理器根据所述最大公因数及所述刷新周期,确定所述至少一个待投放画面对应的第一数据量以及所述实际投放画面对应的第二数据量;
6420、所述显示管理器统计所述刷新周期内发送至所述一个或多个待投放屏幕的待投放画面对应的第三数据量和所述实际投放画面对应的第四数据量;
6430、若所述第三数据量等于所述第一数据量,则发停止送所述至少一个待投放画面至所述一个或多个待投放屏幕;
6440、若所述第四数据量等于所述第二数据量,则停止发送所述实际投放画面至所述一个或多个待投放屏幕。
优选的,所述方法还包括:
6500、所述显示控制模块根据检测到的车辆内一个或多个人员的视线指向确定所述视线指向的一个或多个屏幕为观测屏幕;
6600、所述显示控制模块根据预设帧率调整车辆内的多个屏幕中除所述观测屏幕外的其他屏幕的帧率。
实施例三
对应上述所有实施例,本申请实施例提供一种车载装置,包括:一个或多个处理器;以及与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
利用显示控制模块接收客户端生成的画面投放消息,所述画面投放消息包括至少一个待投放画面的画面ID、一个或多个待投放屏幕的屏幕ID以及与所述至少一个待投放画面对应的第一帧率;
利用所述显示控制模块对所述画面投放消息对应的投放事件的类型进行判断得到判断结果,以及将所述判断结果发送至显示管理器;
利用所述显示管理器根据所述判断结果,调用第一规则或者第二规则确定所述至少一个待投放画面的刷新周期;
利用所述显示管理器在所述刷新周期内基于所述第一帧率将所述至少一个待投放画面发送至所述一个或多个待投放屏幕以显示所述至少一个待投放画面。
其中,图7示例性的展示出了车载装置的架构,具体可以包括处理器710,视频显示适配器711,磁盘驱动器712,输入/输出接口713,网络接口714,以及存储器720。上述处理器710、视频显示适配器711、磁盘驱动器712、输入/输出接口713、网络接口714,与存储器720之间可以通过总线730进行通信连接。
其中,处理器710可以采用通用的CPU(Central Processing Unit,中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本申请所提供的技术方案。
存储器720可以采用ROM(Read Only Memory,可编写存储器)、RAM(RandomAccess Memory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器720可以存储用于控制车载装置700执行的操作系统721,用于控制车载装置700的低级别操作的基本输入输出系统(BIOS)722。另外,还可以存储网页浏览器723,数据存储管理系统724,以及图标字体处理系统725等等。上述图标字体处理系统725就可以是本申请实施例中具体实现前述各步骤操作的应用程序。总之,在通过软件或者固件来实现本申请所提供的技术方案时,相关的程序代码保存在存储器720中,并由处理器710来调用执行。
输入/输出接口713用于连接输入/输出模块,以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
网络接口714用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线730包括一通路,在设备的各个组件(例如处理器710、视频显示适配器711、磁盘驱动器712、输入/输出接口713、网络接口714,与存储器720)之间传输信息。
另外,该车载装置700还可以从虚拟资源对象领取条件信息数据库中获得具体领取条件的信息,以用于进行条件判断,等等。
需要说明的是,尽管上述设备仅示出了处理器710、视频显示适配器711、磁盘驱动器712、输入/输出接口713、网络接口714,存储器720,总线730等,但是在具体实施过程中,该设备还可以包括实现正常执行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本申请方案所必需的组件,而不必包含图中所示的全部组件。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,云服务端,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (8)

1.一种车载多屏显示控制方法,其特征在于,所述方法包括:
显示控制模块接收客户端生成的画面投放消息,所述画面投放消息包括至少一个待投放画面的画面ID、一个或多个待投放屏幕的屏幕ID以及与所述至少一个待投放画面对应的第一帧率;
所述显示控制模块对所述画面投放消息对应的投放事件的类型进行判断得到判断结果,以及将所述判断结果发送至显示管理器,所述投放事件的类型包括新投放事件、切换画面投放事件以及重复画面投放事件;
所述显示管理器根据所述判断结果,调用第一规则或者第二规则确定所述至少一个待投放画面的刷新周期;
所述显示管理器在所述刷新周期内基于所述第一帧率将所述至少一个待投放画面发送至所述一个或多个待投放屏幕以显示所述至少一个待投放画面;
其中,所述显示管理器根据所述判断结果,调用第一规则或者第二规则确定所述待投放画面的刷新周期,包括:
所述显示管理器响应于所述判断结果为新投放事件或切换画面投放事件,判断除所述一个或多个待投放屏幕之外的一个或多个关联屏幕内是否存在投放画面,若是,则调用第一规则基于所述第一帧率及所述一个或多个关联屏幕内实际投放画面对应的一个或多个第二帧率确定所述刷新周期,若否,则调用第二规则基于所述第一帧率确定所述刷新周期;
所述显示管理器响应于所述判断结果为重复画面投放事件,调用第二规则,基于所述第一帧率确定所述刷新周期;
所述调用第一规则基于所述第一帧率及一个或多个关联屏幕内实际投放画面对应的一个或多个第二帧率确定所述刷新周期,包括:
所述显示管理器计算所述第二帧率与所述第一帧率的最大公因数;
所述显示管理器基于所述最大公因数确定所述刷新周期,包括基于所述最大公因数的倒数确定所述刷新周期;
所述调用第二规则基于所述第一帧率确定所述刷新周期,包括基于所述第一帧率的倒数确定所述刷新周期;
所述关联屏幕为多个屏幕内除所述一个或多个待投放屏幕之外的一个或多个屏幕。
2.根据权利要求1所述的方法,其特征在于,所述显示控制模块对所述画面投放消息对应的投放事件的类型进行判断得到判断结果,以及将所述判断结果发送至显示管理器之前,所述方法包括:
所述显示控制模块接收所述客户端反馈的优先模式的工作状态;
所述显示控制模块对所述画面投放消息对应的投放事件的类型进行判断得到判断结果,以及将所述判断结果发送至显示管理器,包括:
若所述优先模式的工作状态为休眠状态,则所述显示控制模块对所述画面投放消息对应的投放事件的类型进行判断得到所述判断结果,以及将所述判断结果发送至所述显示管理器;
所述方法还包括:
若所述优先模式的工作状态为激活状态,则所述显示控制模块生成实时描画消息并发送至所述显示管理器。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
所述显示管理器响应于所述实时描画消息,监听所述至少一个待投放画面以获取待投放画面缓冲;
所述显示管理器将所述待投放画面缓冲发送至所述一个或多个待投放屏幕以显示所述至少一个待投放画面。
4.根据权利要求1所述的方法,其特征在于,所述显示控制模块对所述画面投放消息对应的投放事件的类型进行判断得到判断结果,包括:
所述显示控制模块获取当前的投屏信息列表,所述投屏信息列表包括当前正在投屏的画面ID和屏幕ID;
所述显示控制模块比对所述画面投放消息中的画面ID和屏幕ID与所述投屏信息列表中的画面ID和屏幕ID,确定所述判断结果。
5.根据权利要求4所述的方法,其特征在于,所述显示控制模块比对所述画面投放消息中的画面ID和屏幕ID与所述投屏信息列表中的画面ID和屏幕ID,确定判断结果,包括:
若所述画面投放消息中的画面ID和屏幕ID均不包含在所述投屏信息列表中的画面ID和屏幕ID内,则所述显示控制模块确定所述判断结果为新投放事件;
若所述画面投放消息中的画面ID包含在所述投屏信息列表中的画面ID内且所述画面投放消息中的屏幕ID不包含在所述投屏信息列表中的屏幕ID内,则所述显示控制模块确定所述判断结果为重复画面投放事件;
若所述画面投放消息中的屏幕ID包含在所述投屏信息列表中的屏幕ID内且所述画面投放消息中的画面ID不包含在所述投屏信息列表中的画面ID内,则所述显示控制模块确定所述判断结果为切换画面投放事件。
6.根据权利要求1-5任一所述的方法,其特征在于,所述方法还包括:
所述显示控制模块根据检测到的车辆内一个或多个人员的视线指向确定所述视线指向的一个或多个屏幕为观测屏幕;
所述显示控制模块根据预设帧率调整车辆内的多个屏幕中除所述观测屏幕外的其他屏幕的帧率。
7.根据权利要求1所述的方法,其特征在于,所述显示管理器在所述刷新周期内基于所述第一帧率将所述至少一个待投放画面发送至所述一个或多个待投放屏幕以显示所述至少一个待投放画面,包括:
调用所述第一规则确定刷新周期时,所述显示管理器根据所述最大公因数及所述刷新周期,确定所述至少一个待投放画面对应的第一数据量以及所述实际投放画面对应的第二数据量;
所述显示管理器统计所述刷新周期内发送至所述一个或多个待投放屏幕的待投放画面对应的第三数据量和所述实际投放画面对应的第四数据量;
若所述第三数据量等于所述第一数据量,则停止发送所述至少一个待投放画面至所述一个或多个待投放屏幕;
若所述第四数据量等于所述第二数据量,则停止发送所述实际投放画面至所述一个或多个待投放屏幕。
8.一种车载装置,其特征在于,所述车载装置包括:
一个或多个处理器;
以及与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行权利要求1-7任一所述方法。
CN202311175673.6A 2023-09-13 2023-09-13 车载多屏显示控制方法及车载装置 Active CN116931866B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311175673.6A CN116931866B (zh) 2023-09-13 2023-09-13 车载多屏显示控制方法及车载装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311175673.6A CN116931866B (zh) 2023-09-13 2023-09-13 车载多屏显示控制方法及车载装置

Publications (2)

Publication Number Publication Date
CN116931866A CN116931866A (zh) 2023-10-24
CN116931866B true CN116931866B (zh) 2024-03-01

Family

ID=88382823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311175673.6A Active CN116931866B (zh) 2023-09-13 2023-09-13 车载多屏显示控制方法及车载装置

Country Status (1)

Country Link
CN (1) CN116931866B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116895A (zh) * 2019-06-19 2020-12-22 三星电子株式会社 用于驱动显示器的设备和方法
CN114281288A (zh) * 2021-12-10 2022-04-05 海宁奕斯伟集成电路设计有限公司 投屏处理方法、装置及电子设备
WO2022083296A1 (zh) * 2020-10-22 2022-04-28 华为技术有限公司 一种显示方法及电子设备
CN114579076A (zh) * 2022-01-30 2022-06-03 荣耀终端有限公司 数据处理方法和相关装置
JP2022156438A (ja) * 2021-03-31 2022-10-14 パナソニックIpマネジメント株式会社 車両表示システム、表示方法及びプログラム
CN115237359A (zh) * 2021-04-22 2022-10-25 华为技术有限公司 一种投屏显示参数调节方法
CN115712372A (zh) * 2021-08-18 2023-02-24 宝马股份公司 内容显示方法、装置、设备、介质和车辆
CN116185322A (zh) * 2023-02-03 2023-05-30 奇瑞汽车股份有限公司 车辆的交互控制方法、装置、车辆及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9589540B2 (en) * 2011-12-05 2017-03-07 Microsoft Technology Licensing, Llc Adaptive control of display refresh rate based on video frame rate and power efficiency

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116895A (zh) * 2019-06-19 2020-12-22 三星电子株式会社 用于驱动显示器的设备和方法
WO2022083296A1 (zh) * 2020-10-22 2022-04-28 华为技术有限公司 一种显示方法及电子设备
JP2022156438A (ja) * 2021-03-31 2022-10-14 パナソニックIpマネジメント株式会社 車両表示システム、表示方法及びプログラム
CN115237359A (zh) * 2021-04-22 2022-10-25 华为技术有限公司 一种投屏显示参数调节方法
CN115712372A (zh) * 2021-08-18 2023-02-24 宝马股份公司 内容显示方法、装置、设备、介质和车辆
CN114281288A (zh) * 2021-12-10 2022-04-05 海宁奕斯伟集成电路设计有限公司 投屏处理方法、装置及电子设备
CN114579076A (zh) * 2022-01-30 2022-06-03 荣耀终端有限公司 数据处理方法和相关装置
CN116185322A (zh) * 2023-02-03 2023-05-30 奇瑞汽车股份有限公司 车辆的交互控制方法、装置、车辆及存储介质

Also Published As

Publication number Publication date
CN116931866A (zh) 2023-10-24

Similar Documents

Publication Publication Date Title
US7880602B2 (en) Image display control apparatus
CN100538693C (zh) 支持多个显示机构的手持式电子装置
CN111541919B (zh) 视频帧传输方法、装置、电子设备及可读存储介质
US9609270B2 (en) Method for performing a video talk enhancement function and an electric device having the same
CN113760080B (zh) 显示方法、装置及存储介质
CN112235519B (zh) 一种视频显示方法、装置、电子设备及存储介质
CN112698938B (zh) 在计算云服务的资源分配队列期间增加用户参与度
US9319468B2 (en) Information processing apparatus and information processing method
CN111951206A (zh) 图像合成方法、图像合成装置及终端设备
CN109218817B (zh) 一种显示虚拟礼物提示消息的方法和装置
CN116225362A (zh) 多系统播放音频的方法、装置、存储介质及电子设备
CN115719586A (zh) 屏幕刷新率调整方法、装置、电子设备和存储介质
CN116931866B (zh) 车载多屏显示控制方法及车载装置
WO2021043021A1 (zh) 内存的回写方法、装置、终端及存储介质
CN113986064A (zh) 一种云桌面光标处理方法、装置及存储介质
CN113071511A (zh) 倒车影像显示方法、装置、电子设备及存储介质
CN116527978A (zh) 一种多屏互动的控制方法及装置
CN114579222A (zh) 屏幕控制方法、行车记录仪及存储介质
CN112839194A (zh) 双系统下共享摄像头的方法、装置、一体机及储存介质
JP3684009B2 (ja) 映像通信システム及び情報処理装置及びその制御方法
US11455704B2 (en) Apparatus and method
CN116896684B (zh) 一种稳定器的虚拟控制系统及方法
CN115242970B (zh) 车机摄像头数据共享系统、方法、电子设备及存储介质
WO2023005703A9 (zh) 振动控制方法、装置、设备及存储介质
CN108153506B (zh) 图像处理方法、装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant