CN111918021B - 显示系统以及相关的车辆和方法 - Google Patents

显示系统以及相关的车辆和方法 Download PDF

Info

Publication number
CN111918021B
CN111918021B CN202010387206.XA CN202010387206A CN111918021B CN 111918021 B CN111918021 B CN 111918021B CN 202010387206 A CN202010387206 A CN 202010387206A CN 111918021 B CN111918021 B CN 111918021B
Authority
CN
China
Prior art keywords
data
pixel data
location
integrity
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010387206.XA
Other languages
English (en)
Other versions
CN111918021A (zh
Inventor
A·V·加鲁兹
M·甘米
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
STMicroelectronics Grand Ouest SAS
STMicroelectronics SRL
Original Assignee
STMicroelectronics Grand Ouest SAS
STMicroelectronics SRL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by STMicroelectronics Grand Ouest SAS, STMicroelectronics SRL filed Critical STMicroelectronics Grand Ouest SAS
Publication of CN111918021A publication Critical patent/CN111918021A/zh
Application granted granted Critical
Publication of CN111918021B publication Critical patent/CN111918021B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/393—Arrangements for updating the contents of the bit-mapped memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/001—Arbitration of resources in a display system, e.g. control of access to frame buffer by video controller and/or main processor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/12—Test circuits or failure detection circuits included in a display system, as permanent part thereof
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/16—Determination of a pixel data signal depending on the signal applied in the previous frame
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/10—Display system comprising arrangements, such as a coprocessor, specific for motion video images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/18—Use of a frame buffer in a display terminal, inclusive of the display panel
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Navigation (AREA)

Abstract

本公开的实施例涉及显示系统以及相关的车辆和方法。显示系统包括处理电路，处理电路被配置为从视频源接收图像数据，并且通过根据该图像数据生成像素数据并将该像素数据存储到帧缓冲器，来生成当前图像帧。图形视频驱动器被配置为通过从帧缓冲器读取像素数据，并根据读取的像素数据生成用于图形显示器的驱动信号，来显示图像帧。处理电路还被配置为将完整性数据插入到当前图像帧的像素数据中，其中，完整性数据在像素数据内的位置改变。显示系统包括进一步的处理电路，该进一步的处理电路被配置为从帧缓冲器读取像素数据并验证完整性数据在像素数据内的位置是否改变。

Description

显示系统以及相关的车辆和方法
相关申请的交叉引用
本申请要求于2019年5月10日提交的意大利专利申请No.102019000006730的优先权，该申请通过引用由此并入本文。
技术领域
本公开的实施例涉及显示系统。
背景技术
图1示出了典型的显示系统1。一般地，显示系统包括视频源100和图形显示器108，视频源100提供包括图像序列的(模拟或数字)图像/视频数据IMG。一般地，可以使用任何适当的图像/视频源100，诸如：
-摄像机，诸如CMOS摄像机；
-非易失性存储器(诸如硬盘或闪存)，具有存储的图像数据IMG；或者
-通信接口，被配置为从另一设备(诸如远程服务器)接收图像数据IMG。
一般地，图像/视频源100可以被配置为提供任何适当格式的图像数据IMG。例如，图像数据IMG可以由灰度图像构成，但是也可以使用彩色图像。例如，在彩色图像的情况下，图像数据IMG可以由RGB像素数据构成。然而，这种彩色图像也可以以其他格式来提供。例如，相机100可以根据拜耳(Bayer)、CYGM(青色、黄色、绿色、洋红色)、RGBE(红色、绿色、蓝色、翠绿色)或CMYW(青色、洋红色、黄色和白色)的模式，来提供图像数据IMG。此外，图像数据IMG也可以以压缩的格式来提供，包括有损和无损格式两种。例如，有损格式可以包括JPEG或MPEG(例如MPEG-4第14部分或MP4)压缩的数据，而无损格式可以包括GIF图像序列。
类似地，可以使用任何适当的图形/视频显示器108。例如，在各种实施例中，图形显示器是具有给定分辨率的固定像素的显示器，诸如发光二极管(LED)显示器、阴极射线管(CRT)或液晶显示器(LCD)。
显示系统1通常包括帧缓冲器104，以便将图像数据IMG提供给图形显示器108。例如，这种帧缓冲器通常利用RAM(随机存取存储器)来实现。
具体地，这种帧缓冲器104通常布置为存储待被图形显示器108显示的当前帧的像素数据。在这方面，如前文所述的，图形显示器108通常具有给定的显示分辨率(诸如640x480像素、1920x1080像素等)和相应的颜色深度(诸如8、16或24比特)。相应地，帧缓冲器104包括具有给定数目的存储器位置的存储器，其中每个存储器位置与图形显示器108的给定像素相关联。此外，每个存储器位置包括数个比特，以便存储像素的相应颜色。例如，可以经由具有24比特(分别为8比特红色、8比特绿色和8比特蓝色)的存储器位置来指定彩色图像的像素。
相应地，在所考虑的示例中，处理电路102可以从图像/视频源100接收图像数据IMG，细化图像数据IMG以便确定待被显示在图形显示器108上的当前帧的相应像素数据PD，并且将像素数据PD存储到帧缓冲器104。例如，这种细化可以包括根据拜耳模式重建像素数据PD、解码压缩的图像/视频等。一般地，处理电路102(诸如经由软件指令编程的微处理器和/或硬件数字电路，例如数字信号处理器(DSP))，也可以执行更复杂的图像处理操作(例如，以便检测在图像数据IMG/像素数据PD中的对象)。
因此，图形驱动器电路106可以从帧缓冲器104读取相应的像素数据PD’，并生成用于图形显示器108的相应的驱动信号DRV。例如，图形驱动器电路106通常包括一个或多个数模转换器，用于将数字像素数据PD’转换为用于图形显示器108的模拟驱动信号DRV。
相应地，通常用RAM来实现帧缓冲器104，该RAM包括用于与处理电路102交换数据的第一DMA(直接存储器访问)信道和用于与图形驱动器电路106交换数据的第二DMA信道。备选地或附加地，显示系统1还可以包括两个或多个帧缓冲器104，其中处理电路102更新第一帧缓冲器或第二帧缓冲器104的像素数据PD，并且图形驱动器电路106从帧缓冲器104读取当前未被处理电路102更新的像素数据PD’，从而允许处理电路102和图形驱动器电路106相当独立地操作。
这种显示系统在本领域中是众所周知的。例如，可以参考文献US 5,471,225A、US5,307,056A或US 7,460,101B2。
发明人已经注意到，在图1中示出的显示系统1也可以被用于安全性严格的应用。例如，显示系统1可以被用于汽车应用(诸如后方摄像机系统)。在这种情况下，视频源100可以是安装在车辆(诸如汽车)后方的摄像机。相反地，显示器108可以安装在车辆的驾驶舱中，从而可以向车辆的驾驶员显示车辆的后方视图。例如，在这种情况下，处理电路102还可以细化图像数据IMG(例如，以便在泊车活动期间辅助驾驶员、检测障碍物等)。
然而，由于处理系统102的故障，帧/图像数据IMG可能未被正确细化，例如，因为可能未正确地操作软件应用或硬件电路，该软件应用或硬件电路被配置为细化帧/图像数据IMG，和/或将细化的像素数据PD存储到帧缓冲器104，这可能导致被存储到帧缓冲器104的像素数据PD不变，由此，图形驱动器电路106将始终在图形显示器108上显示相同的屏幕/图像(即，帧显示瘫痪/冻结)。
在许多应用中，例如对于车辆的驾驶员或对于经过车辆后方的人员来说，这种冻结的图像(其未正确地反映原始图像数据IMG)可能是危险的。
发明内容
鉴于上文，本公开的各种实施例的目的是提供能够检测显示系统(特别是相应的处理系统)的故障并能够警告显示系统用户的解决方案。
根据一个或多个实施例，借助于具有在以下权利要求中陈述的具体特征的显示系统，来实现以上的一个或多个目标。实施例此外还考虑了相关的车辆和方法。
权利要求是本文所提供的本公开的技术教导的组成部分。
如前文所述的，本公开的各种实施例涉及显示系统。如在前文中所述的，这种显示系统包括：视频源，该视频源被配置为生成包括图像序列的图像数据；具有给定像素分辨率的图形显示器；以及帧缓冲器，该帧缓冲器被配置为存储待被显示在图形显示器上的图像帧，该图像帧包括用于图形显示器的像素数据。
在各种实施例中，处理电路被配置为从视频源接收图像数据，并且通过根据图像数据生成像素数据，并将像素数据存储到帧缓冲器，来生成当前图像帧。在各种实施例中，图形视频驱动器被配置为通过从帧缓冲器读取像素数据，并根据读取的像素数据生成用于图形显示器的驱动信号，来显示图像帧。
在各种实施例中，处理电路被配置为将完整性数据插入到当前图像帧的像素数据中，其中完整性数据在像素数据内的位置改变。例如，处理电路可以细化从视频源接收到的图像数据，以便生成当前图像帧的像素数据、将当前图像帧的像素数据存储到存储器、以及将被存储到存储器的当前图像帧的像素数据复制到帧缓冲器。相应地，处理电路可以确定完整性数据在当前图像帧的像素数据内的当前位置，并且在当前图像帧的像素数据被复制到帧缓冲器之前，将完整性数据存储到在存储器中的与当前位置相关联的存储器位置，或者在当前图像帧的像素数据被复制到帧缓冲器之后，将完整性数据存储到在帧缓冲器中的与当前位置相关联的存储器位置。
相应地，显示系统可以包括进一步的处理电路，该进一步的处理电路被配置为从帧缓冲器读取像素数据，并且验证完整性数据在该像素数据内的位置是否改变。
例如，在各种实施例中，处理电路被配置为针对每个帧或每个给定数目的帧，改变完整性数据在像素数据内的位置。相应地，进一步的处理电路可以针对每个帧或每个给定数目的帧，分别验证完整性数据在像素数据中的位置是否改变。
例如，在各种实施例中，处理电路可以被配置为：在当前图像帧是第一图像帧时，根据固定的初始值确定完整性数据在当前图像帧的像素数据内的位置。相反地，在当前图像帧不是第一图像帧时，处理电路可以根据完整性数据在先前图像帧的像素数据内的位置，来确定完整性数据在当前图像帧的像素数据内的位置。附加地或备选地，完整性数据可以包括位置数据字段。在这种情况下，处理电路可以确定完整性数据在下一图像帧的像素数据内的位置，并将标识完整性数据在下一图像帧的像素数据内的位置的数据，存储到位置数据字段。
在各种实施例中，完整性数据可以包括完整性数据字段。在这种情况下，处理电路可以将，例如固定的比特序列存储到完整性数据字段，这允许验证完整性数据。
附图说明
现在将参考附图描述仅通过非限制性示例来提供的本公开的实施例，并且其中：
图1示出了典型的显示系统；
图2示出了根据本公开的显示系统的实施例；
图3示出了在图2的显示系统中使用的像素数据的两个示例；以及
图4和图5示出了图2的显示系统的操作的实施例。
具体实施方式
在以下描述中，给定许多具体细节，以提供对实施例的深入理解。可以在不具有一个或数个具体细节的情况下，或利用其他方法、部件、材料等，来实践实施例。在其他实例中，众所周知的结构、材料或操作未被详细示出或描述，以免使实施例的方面模糊。
贯穿本说明书，对“一个实施例”或“实施例”的引用意味着所描述的与该实施例有关的特定特征、结构或特性，被包括在至少一个实施例中。因此，贯穿本说明书，在各个地方出现的短语“在一个实施例中”或“在实施例中”，不一定指代相同的实施例。此外，可在在一个或多个实施例中以任何适当的方式组合特定特征、结构或特性。
本文提供的标题仅出于方便，并且不解释实施例的范围或含义。
在以下的图2至图5中，参考图1已经描述的部件、元件或组件由先前在这些附图中使用的相同附图标记来表示；为了不使本详细描述过于冗长，以下将不对这些先前描述过的元件进行重复描述。
如前文所提到的，本公开的各种实施例提供了能够检测显示系统故障的解决方案，特别是检测被配置为将数据存储到显示系统的帧缓冲器的相应的处理系统。
图2示出了根据本公开的显示系统1a的实施例。
具体地，同样这种情况下，显示系统1a包括：
-视频源100，被配置为生成包括图像序列的图像数据IMG；
-帧缓冲器104；以及
-图形显示器108。
在所考虑的实施例中，处理电路102被配置为根据图像数据IMG生成像素数据PD，并将所述像素数据PD存储到帧缓冲器104，并且图形视频驱动器106被配置为从帧缓冲器104读取像素数据PD’，并且根据读取的像素数据PD’为图形显示器108生成驱动信号DRV。
因此，针对这种显示系统以及电路100、102、104、106和108的相应结构和操作的一般描述可以参考图1的描述，该描述整体上也适用于图2。
在所考虑的实施例中，显示系统1a此外还包括进一步的处理电路110，该处理电路110被配置为从帧缓冲器104读取像素数据PDa并且验证读取的像素数据PDa。
具体地，在各种实施例中，除了处理电路102，还有数字处理电路110，诸如经由软件指令编程的微处理器和/或硬件数字电路，例如数字信号处理器(DSP)。一般地，处理单元102和110可以使用相同的时钟信号，或者优选地使用不同的时钟信号(例如经由两个振荡器获得的时钟信号)。
在各种实施例中，处理单元102和110具有不同的硬件结构体系。例如在各种实施例中，处理电路102可以是Cortex M3处理器，而处理电路110可以是Cortex A7处理器。例如，这种(具有两个不同的处理单元的)非对称体系结构，允许处理电路110还可以包括被用于与源110接口的硬件组件，但处理电路110并不要求这种电路。此外，虽然处理电路102可以专用于像素数据PD的生成，但处理电路110也可以执行不同的任务。例如，这种非对称体系结构可以用嵌入式系统或SoC(片上系统)来实现。例如，由本申请人提供的名称为“Accordo 5”的可能的SoC解决方案。
备选地，处理电路110和处理电路102可以用在相同微处理器上运行的两个不同的线程或任务来实现，可能还包括多个处理核。
相应地，在各种实施例中，处理电路102被配置为：
-例如，经由与处理电路102相关联的视频输入端口(VIP)，从源110接收模拟或数字图像/视频数据IMG，
-细化图像/视频数据IMG以便生成像素数据PD，以及
-将像素数据存储到帧缓冲器104。
具体地，在各种实施例中，处理电路102被配置为在将完整性数据存储到帧缓冲器104之前，将完整性数据添加到像素数据PD。例如，如在图2中示意性示出的，出于该目的，处理电路102可以将细化的图像/视频数据IMG存储到RAM 112(RAM 112相对于处理电路102可以在内部或外部)、将完整性数据添加到被存储到RAM 112的经细化的图像/视频数据IMG、并且将存储在RAM 112中的图像/视频数据IMG复制到帧缓冲器104。
相应地，在各种实施例中，处理电路110被配置为从帧缓冲器读取像素数据PDa、从像素数据PDa提取完整性数据、并且确定完整性数据是否指示处理电路102的故障。例如，在完整性数据指示处理电路102故障的情况下，处理系统110可以生成警告/错误信号ERR。
例如，在各种实施例中，处理电路102被配置为(例如，针对每个帧或每个给定数目的帧)改变完整性数据在像素数据PD内的位置。因此，在这种情况下，处理电路110例如可以针对每个帧或每个给定数目的帧，验证完整性数据在像素数据内的位置是否改变。
例如，在各种实施例中，在已经检测到故障时，处理系统110可以将不同的像素数据存储到帧缓冲器104，其中这些像素数据可以对应于显示警告消息的图像。因此，当图形驱动器106从帧缓冲器104读取像素数据PD’时，图形显示器108将示出警告消息。
如在前文中描述的，在各种实施例中，处理电路102将完整性数据添加到像素数据PD。具体地，在各种实施例中，这些完整性数据被用于确定，被存储到帧缓冲器104的像素数据PD/从帧缓冲器104读取的像素数据PD’/PDa是否保持不变。
具体地，在各种实施例中，不是将完整性数据作为附加数据(例如以附加签名的形式，诸如散列键值)附加到像素数据PD，而是直接将完整性数据插入像素数据PD中，即，处理电路102被配置为用完整性数据替换(例如，那些存储到存储器112的)原始像素数据PD的一部分。相应地，在各种实施例中，存储器112的一个或多个存储槽以及相应的帧缓冲器104，将不包含由处理电路102根据图像数据IMG确定的原始像素数据，但包含完整性数据。具体地，在各种实施例中，针对每个帧或每个给定数目的帧，这些一个或多个存储器槽的位置不是固定的，而会改变(例如，在每次像素数据PD被更新时改变)。
例如，图4示出了处理电路102的操作的实施例。
在开始步骤1000之后，处理电路102在步骤1002处从源100获取用于新帧的图像数据IMG，并确定用于读取的图像数据IMG的像素数据PD(表示当前帧)。在各种实施例中，处理电路102可以将这些像素数据PD存储到存储器112。
然后在步骤1004处，处理电路102验证在步骤1002处读取的帧是否是第一帧。
在该帧是第一帧(步骤1004输出“是”)的情况下，处理电路102前进至步骤1006处，其中处理电路102确定针对当前/第一帧的完整性数据。
例如，在各种实施例中，完整性数据ID由给定数目的比特序列构成，包括：
-完整性数据字段，具有第一数目的比特(诸如16比特)；
-可选的位置数据字段，具有第二数目的比特(诸如8比特)；以及
-可选的计数器字段，具有第三数目的比特(诸如8比特)。
一般地，处理电路102可以将固定的(例如0xABCD)或可变的比特序列存储到完整性数据字段。例如，固定的比特序列允许简化完整性数据字段的验证。相反地，可变的数据字段可以根据其他完整性数据ID和/或像素数据PD的数据来计算。例如，完整性数据ID可以对应于校验和。
如前文提出的，完整性数据被直接存储在像素数据PD中，其中完整性数据ID在像素数据PD内的位置是可变的。
例如，这在图3A和图3B中被示意性地示出，其中图3A示出帧/图像的像素数据PD1，并且图3B示出紧随其后的帧/图像的像素数据PD2。具体地，完整性数据ID被存储在像素数据PD1中的第一位置POS1处和像素数据PD2中的第二位置POS2处(POS2不同于POS1)。
相应地，在知道位置POS1的情况下，处理电路102应当计算针对下一帧的位置POS2。一般地，出于此目的可以使用任何适当的数学函数。例如，在各种实施例中，下一个位置POS2通过将给定移位SH与先前的位置求和来计算，即POS2＝POS1+SH。一般地，移位SH可以是固定的或可变的(例如移位可以是随机数)。
相应地，可选的位置数据字段可以被用于存储完整性数据在下一帧中的位置(例如，对于像素数据PD1，完整性数据ID的位置POS2)。一般地，位置数据字段是可选的，这是因为当给定的固定数学函数被用于计算下一个位置时(例如，当移位SH是常数或根据已知的数学函数变化时)，完整性数据在下一帧中的位置也可以根据先前位置数据来计算。
例如，在各种实施例中，对于下一帧，计算完整性数据的位置，如下：
POS2＝OFFSET+MULT*PDF
其中OFFSET对应于常数偏移(诸如1600)，MULT对应于常数系数(诸如479)，并且PDF对应于也被存储到完整性数据ID的位置数据字段的随机数(例如，在0至255之间的范围中)。例如，在这种情况下，对于第一帧，完整性数据ID的位置POS1可以对应于值OFFSET。
相应地，在各种实施例中，处理电路102被配置为在步骤100处执行以下操作：
-获取针对第一帧的初始位置POS1，
-计算针对下一帧的位置POS2，以及
-将位置POS2(或对该位置具有指示性的数据，诸如值PDF)插入到位置数据字段中。
最后，可选的计数器字段可以被用于存储针对每个帧/图像增加的计数值。例如，8比特计数器基本上可以实现帧数的模256运算。
相应地，一旦处理电路102已经确定了针对第一帧的完整性数据ID，处理电路102可以将完整性数据ID存储在位置POS1处的像素数据PD。例如，出于该目的，处理电路102可以将完整性数据ID存储到在存储器112中的与POS1位置相关联的一个或多个存储器位置。
在接下来的步骤1010处，处理电路102因此可以将(如在步骤1006处修改的)像素数据PD存储到帧缓冲器104。例如，处理电路102可以将存储器112的内容复制到帧缓冲器104。
然后，在步骤1010的结束处，处理电路102可以返回到步骤1002以便处理下一图像。
相应地，当再次到达步骤1004处，并且在帧不是第一帧(步骤1004的输出为“否”)的情况下，处理电路102可以前进到步骤1008，其中处理电路102确定针对当前帧的完整性数据。
具体地，在步骤1008处的操作对应于在步骤1006处执行的操作，不同之处在于该事实：位置POS1并非对应于固定的初始值，而是对应于先前帧/迭代的位置POS2(即，在t时刻处的位置POS1(t)，对应于在先前(t-1)时刻处的位置POS2(t-1))。相应地，根据步骤1006的描述，处理电路102可以计算针对t时刻的位置POS2(t)(例如根据位置POS1(t))。
相应地，一旦处理电路102已经确定了用于当前帧的完整性数据ID，处理电路102就可以将完整性数据ID存储到在位置POS1(t)处的像素数据PD。例如，出于此目的，处理电路102可以将完整性数据ID存储到在存储器112中的与位置POS1相关联的一个或多个存储器位置。
然后，处理电路102可以前进至步骤1010，其中，处理电路102将(如在步骤1008处修改的)像素数据PD存储到帧缓冲器104。例如，处理电路102可以再次将存储器112的内容复制到帧缓冲器104。
图5示出了处理电路110的操作的实施例。
在所考虑的实施例中，在开始步骤1200之后，处理电路110前进至步骤1202，其中处理电路110等待新像素数据PD已被存储到帧缓冲器104。例如，出于该目的，处理电路102或帧缓冲器104可以在以下情况下，生成针对处理电路110的中断，例如：
-当处理电路102已经将所有像素数据PD写入到帧缓冲器104时，或者
-当帧缓冲器104的给定(最后一个)存储器位置被写入时。
一旦新像素数据(指示新图像/帧)已经被写入到帧缓冲器104，处理电路110就前进至步骤1204。在步骤1204处，处理电路110验证新像素数据PD是否对应于第一帧。
在帧是第一帧(步骤1204的输出为“是”)的情况下，处理电路110前进至步骤1206，其中处理电路102确定针对当前/第一帧的完整性数据的位置。如前文所提出的，针对第一帧的位置数据可以是固定的(并且对应于由处理电路102使用的第一帧的位置数据)。
接着，处理电路110前进至步骤1210，其中，处理电路110从帧缓冲器104读取在(在步骤1204处确定的)位置处的数据，该数据应当包括完整性数据ID。
一旦已经读取了与完整性数据相关联的比特序列，处理电路110就前进至验证步骤1214，其中，该处理验证与完整性数据字段相关联的比特集合的内容。例如，当使用固定的比特序列时，处理电路110可以将从帧缓冲器104读取的比特序列的内容与该固定比特序列进行比较。
在完整性数据字段包含无效数据(验证步骤1214的输出为“否”)的情况下，处理电路前进至错误步骤1216，其中处理电路110显示先前描述的错误/警告消息，并且该过程在步骤1220结束。
在完整性数据字段包含有效数据(验证步骤1214的输出为“是”)的情况下，处理电路前进至可选的验证步骤1218，其中处理电路110还验证计数器字段的内容。例如，处理电路110可以验证计数器字段相对于先前迭代(即相对于从帧缓冲器104读取的完整性数据的先前计数器字段)是否增加了一。
在计数器字段包含无效数据(验证步骤1218的输出为“否”)的情况下，处理电路可以再次前进至错误步骤1212。
相反地，在计数器字段包含有效数据(验证步骤1218的输出为“是”)的情况下，处理电路前进至步骤1220，其中处理电路110确定下一帧的完整性数据ID的位置。具体地，下一帧的完整性数据ID的位置可以根据当前帧的完整性数据ID的位置来确定，并且/或者也可以被存储到可选的位置数据字段。因此，在各种实施例中，处理电路可以通过读取位置数据字段的内容来确定下一帧的完整性数据ID的位置。
然后在步骤1212的结束处，处理电路110可以返回至步骤1202以便处理下一帧。
相应地，当再次到达步骤1204处并且在帧不是第一帧(步骤1204的输出为“否”)的情况下，处理电路110可以前进到步骤1208，其中处理电路110确定针对当前帧的完整性数据。如前文所提出的，在步骤1212处已经确定了针对后续帧的位置数据。相应地，处理电路110可以确定步骤1212的位置数据，并且前进至步骤1210，其中处理电路110从帧缓冲器104读取在(在步骤1208处确定的)位置处的数据，该数据应当包括完整性数据ID。
相应地，无论实际图像数据IMG是否改变，通过验证完整性数据ID，处理电路110可以验证像素数据PD是否改变。事实上，所提出的解决方案本质上是验证：在将帧序列存储到帧缓冲器104期间，完整性数据ID(和完整性数据ID的内容)在像素数据PD内的位置是否正确地改变。
具体地，在各种实施例中，显示系统1a包括基本上并行操作的三个电路：
-第一电路102，被配置为从摄像机100获得图像/视频数据IMG，并将经处理的像素数据PD(包括完整性数据ID)存储到帧缓冲器104；
-第二电路106，被配置为从帧缓冲器106读取像素数据PD’，并生成用于图形显示器108的驱动信号DRV；以及
-第三电路110，被配置为从帧缓冲器106读取像素数据PDa并验证完整性数据ID。
例如，如在前文中描述的，处理电路102可以使用视频输入端口(VIP)硬件从源100获取图像数据。例如，在各种实施例中，可以使用8比特并行的VIP。例如，这种VIP通常已经将图像数据IMG存储到在处理单元102内部的存储器(由此表示图2的存储器112)。接着，处理电路102的智能图形加速器(SGA)可以被配置为将来自VIP的存储器112的每行复制到RAM(由此表示图2的帧缓冲器104)，该RAM可以在处理电路102的外部(诸如双数据速率同步动态随机存取存储器(DDR SDRAM))。相应地，在这种情况下，处理电路102可以通过在SGA将数据复制到存储器104之前，修改在内部RAM112中的像素数据PD，或者通过在SGA将数据复制到存储器104之后，修改在存储器104中的像素数据PD，而将完整性数据ID存储到在存储器104中的像素数据PD。因此，存储器104还可以与处理电路110和驱动器106接口。一般地，处理电路102、处理电路110和驱动器106可以经由单个DMA信道(例如通过使用共享总线系统，或通过使用多个DMA信道)与存储器104接口。
如在前文中描述的，特别地，本显示系统1a可以适用于车辆的后方摄像机系统。例如，在这种情况下，当车辆的后方齿轮(rear gear)被插入时，显示系统1a可以被启动(例如，可以启动步骤1000和1200)。例如，出于此目的，显示系统1a可以接收启动信号(例如指示后方齿轮的插入)，并且显示系统1a可以被配置为响应于该启动信号，启动对图像/视频数据IMG的获取(步骤1002)以及对帧缓冲器104中的像素数据的并行处理。
一般地，显示系统1a也可以因此形成更复杂系统的一部分，诸如车辆的信息娱乐系统，其例如也管理其他功能(诸如无线电、导航器等)。
当然，如随后由权利要求所定义的，在不影响本发明的原理的情况下，构造和实施例的细节可以相对于本文所描述和说明的内容有很大的变化，而不脱离本发明的范围。

Claims (19)

1.一种显示系统，包括：
视频源，被配置为生成包括图像的序列的图像数据；
图形显示器，具有给定的像素分辨率；
帧缓冲器，被配置为存储待被显示在所述图形显示器上的图像帧，所述图像帧包括用于所述图形显示器的像素数据；
第一处理电路，被配置为从所述视频源接收所述图像数据，并且通过根据所述图像数据生成所述像素数据，并将所述像素数据存储到所述帧缓冲器，来生成当前图像帧；
图形视频驱动器，被配置为通过从所述帧缓冲器读取所述像素数据，并根据读取的所述像素数据生成用于所述图形显示器的驱动信号，来显示所述图像帧；
所述第一处理电路被配置为将完整性数据插入到所述当前图像帧的所述像素数据中，并且相对于固定初始值或相对于先前图像帧，改变所述完整性数据在所述帧缓冲器中的所述像素数据内的位置；以及
第二处理电路，被配置为从所述帧缓冲器读取所述像素数据，并且验证所述完整性数据在所述像素数据内的所述位置是否在所述帧缓冲器中从一个位置实际改变为另一位置。
2.根据权利要求1所述的显示系统，其中所述第一处理电路被配置为针对每个帧或每个给定数目的帧，改变所述完整性数据在所述像素数据内的所述位置，并且其中所述第二处理电路被配置为针对每个帧或每个给定数目的帧，分别验证所述完整性数据在所述像素数据内的所述位置是否改变。
3.根据权利要求1所述的显示系统，其中所述第二处理电路被配置为当所述完整性数据在所述像素数据内的所述位置未改变时，生成错误信号。
4.根据权利要求3所述的显示系统，其中所述第二处理电路被配置为：当所述完整性数据在所述像素数据内的所述位置未改变时，通过将进一步的像素数据存储到所述帧缓冲器来生成警告图像帧，所述进一步的像素数据对应于显示警告消息的图像。
5.根据权利要求1所述的显示系统，其中所述第一处理电路被配置为：
当所述当前图像帧是第一图像帧时，根据所述固定初始值确定所述完整性数据在所述当前图像帧的所述像素数据内的所述位置；以及
当所述当前图像帧不是第一图像帧时，根据所述完整性数据在所述先前图像帧的所述像素数据内的所述位置，来确定所述完整性数据在所述当前图像帧的所述像素数据内的所述位置。
6.根据权利要求1所述的显示系统，其中所述完整性数据包括位置数据字段，其中所述第一处理电路被配置为确定所述完整性数据在下一图像帧的所述像素数据内的所述位置，并且将标识所述完整性数据在所述下一图像帧的所述像素数据内的所述位置的数据存储到所述位置数据字段，并且其中所述第二处理电路被配置为验证所述位置数据字段的内容。
7.根据权利要求1所述的显示系统，其中所述完整性数据包括完整性数据字段，其中所述第一处理电路被配置为将固定的比特序列存储到所述完整性数据字段，并且其中所述第二处理电路被配置为验证所述完整性数据字段的内容。
8.根据权利要求1所述的显示系统，其中所述完整性数据包括计数器字段，其中所述第一处理电路被配置为针对每个帧或每个给定数目的帧增加计数值，并且将所述计数值存储到所述计数器字段，并且其中所述第二处理电路被配置为验证所述计数器字段的内容。
9.根据权利要求1所述的显示系统，其中所述第一处理电路被配置为：
细化从所述视频源接收的所述图像数据，以便生成所述当前图像帧的所述像素数据；
将所述当前图像帧的所述像素数据存储到存储器；
将被存储到所述存储器的所述当前图像帧的所述像素数据复制到所述帧缓冲器；
确定所述完整性数据在所述当前图像帧的所述像素数据内的当前位置；以及：
在所述当前图像帧的所述像素数据被复制到所述帧缓冲器之前，将所述完整性数据存储到在所述存储器中的与所述当前位置相关联的存储器位置，或者
在所述当前图像帧的所述像素数据被复制到所述帧缓冲器之后，将所述完整性数据存储到在所述帧缓冲器中的与所述当前位置相关联的所述存储器位置。
10.一种车辆，包括：
驾驶舱；
视频源，被配置为生成包括图像的序列的图像数据，其中所述视频源是安装在所述车辆后方的摄像机；
图形显示器，具有给定的像素分辨率，其中所述图形显示器安装在所述驾驶舱中；
帧缓冲器，被配置为存储待被显示在所述图形显示器上的图像帧，所述图像帧包括用于所述图形显示器的像素数据；
第一处理电路，被配置为从所述视频源接收所述图像数据，并且通过根据所述图像数据生成所述像素数据，并将所述像素数据存储到所述帧缓冲器来生成当前图像帧；
图形视频驱动器，被配置为通过从所述帧缓冲器读取所述像素数据，并根据读取的所述像素数据生成用于所述图形显示器的驱动信号，来显示所述图像帧；
其中所述第一处理电路被配置为将完整性数据插入到所述当前图像帧的所述像素数据中，并且相对于固定初始值或相对于先前图像帧改变所述完整性数据在所述帧缓冲器中的所述像素数据内的位置；以及
第二处理电路，被配置为从所述帧缓冲器读取所述像素数据，并且验证所述完整性数据在所述像素数据内的所述位置是否在所述帧缓冲器中从一个位置实际改变为另一位置。
11.一种操作显示系统的方法，包括：
提供包括图像的序列的图像数据；
根据所述图像数据生成当前图像帧，所述当前图像帧包括像素数据；
将完整性数据插入到所述像素数据；
由第一处理电路尝试相对于固定初始值或相对于先前图像帧来改变所述完整性数据在所述像素数据内的位置；
由所述第一处理电路将所述像素数据和所述完整性数据存储到帧缓冲器；
通过从所述帧缓冲器读取所述像素数据，在图形显示器上显示所述当前图像帧；以及
由第二处理电路验证所述完整性数据在所述像素数据内的所述位置是否在所述帧缓冲器中从一个位置实际改变为另一位置。
12.根据权利要求11所述的方法，进一步包括：
针对每个帧或每个给定数目的帧，改变所述完整性数据在所述像素数据内的所述位置；以及
针对每个帧或每个给定数目的帧，分别验证所述完整性数据在所述像素数据内的所述位置是否改变。
13.根据权利要求11所述的方法，进一步包括：响应于所述完整性数据在所述像素数据内的所述位置未改变，而生成错误信号。
14.根据权利要求13所述的方法，进一步包括：响应于所述完整性数据在所述像素数据内的所述位置未改变，通过将进一步的像素数据存储到所述帧缓冲器来生成警告图像帧，所述进一步的像素数据对应于显示警告消息的图像。
15.根据权利要求11所述的方法，进一步包括：
响应于所述当前图像帧是第一图像帧，根据所述固定初始值确定所述完整性数据在所述当前图像帧的所述像素数据内的所述位置；或者
响应于所述当前图像帧不是第一图像帧，根据所述完整性数据在所述先前图像帧的所述像素数据内的所述位置，来确定所述完整性数据在所述当前图像帧的所述像素数据内的所述位置。
16.根据权利要求11所述的方法，其中所述完整性数据包括位置数据字段，所述方法进一步包括：
确定所述完整性数据在下一图像帧的所述像素数据内的所述位置；
将标识所述完整性数据在所述下一图像帧的所述像素数据内的所述位置的数据存储到所述位置数据字段；以及
验证所述位置数据字段的内容。
17.根据权利要求11所述的方法，其中所述完整性数据包括完整性数据字段，所述方法进一步包括：
将固定的比特序列存储到所述完整性数据字段；以及
验证所述完整性数据字段的内容。
18.根据权利要求11所述的方法，其中所述完整性数据包括计数器字段，所述方法进一步包括：
针对每个帧或每个给定数目的帧，增加计数值；
将所述计数值存储到所述计数器字段；以及
验证所述计数器字段的内容。
19.根据权利要求11所述的方法，进一步包括：
细化所述图像数据，以便生成所述当前图像帧的所述像素数据；
将所述当前图像帧的所述像素数据存储到存储器；
将被存储到所述存储器的所述当前图像帧的所述像素数据复制到所述帧缓冲器；
确定所述完整性数据在所述当前图像帧的所述像素数据内的当前位置；以及：
在所述当前图像帧的所述像素数据被复制到所述帧缓冲器之前，将所述完整性数据存储到在所述存储器中的与所述当前位置相关联的存储器位置，或者
在所述当前图像帧的所述像素数据被复制到所述帧缓冲器之后，将所述完整性数据存储到在所述帧缓冲器中的与所述当前位置相关联的所述存储器位置。
CN202010387206.XA 2019-05-10 2020-05-09 显示系统以及相关的车辆和方法 Active CN111918021B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IT102019000006730 2019-05-10
IT102019000006730A IT201900006730A1 (it) 2019-05-10 2019-05-10 Sistema di visualizzazione e relativo veicolo e procedimento

Publications (2)

Publication Number Publication Date
CN111918021A CN111918021A (zh) 2020-11-10
CN111918021B true CN111918021B (zh) 2022-09-02

Family

ID=67513676

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010387206.XA Active CN111918021B (zh) 2019-05-10 2020-05-09 显示系统以及相关的车辆和方法

Country Status (3)

Country Link
US (1) US11250808B2 (zh)
CN (1) CN111918021B (zh)
IT (1) IT201900006730A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11741219B2 (en) * 2020-09-08 2023-08-29 Truepic Inc. Protocol and system for tee-based authenticating and editing of mobile-device captured visual and audio media

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101729840A (zh) * 2009-12-17 2010-06-09 于培宁 一种利用视频图像特征序列的存储处理方法
CN102946531A (zh) * 2012-08-24 2013-02-27 南京大学 一种结合gop帧结构的视频水印方法与系统
CN103003863A (zh) * 2010-07-20 2013-03-27 飞思卡尔半导体公司 显示控制单元、图像显示系统和用于输出图像数据的方法
CN109379642A (zh) * 2018-12-14 2019-02-22 连尚（新昌）网络科技有限公司 一种用于添加和检测视频水印的方法与设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5307056A (en) 1991-09-06 1994-04-26 Texas Instruments Incorporated Dynamic memory allocation for frame buffer for spatial light modulator
US5471225A (en) 1993-04-28 1995-11-28 Dell Usa, L.P. Liquid crystal display with integrated frame buffer
US6911964B2 (en) 2002-11-07 2005-06-28 Duke University Frame buffer pixel circuit for liquid crystal display
EP1908021B1 (en) * 2005-07-18 2018-07-11 Innovative Solutions and Support, Inc. Aircraft flat panel display system
US7589735B2 (en) 2005-08-24 2009-09-15 Innovative Solutions & Support (Iss) Aircraft flat panel display system with graphical image integrity
US9189195B2 (en) * 2006-10-16 2015-11-17 Sandel Avionics, Inc. Integrity monitoring
US9836808B2 (en) 2015-06-23 2017-12-05 Nxp Usa, Inc. Apparatus and method for verifying image data comprising mapped texture image data
US9955150B2 (en) * 2015-09-24 2018-04-24 Qualcomm Incorporated Testing of display subsystems
CA2951819A1 (en) * 2015-12-18 2017-06-18 Stephen Viggers Methods and systems for monitoring the integrity of a gpu
US10134139B2 (en) * 2016-12-13 2018-11-20 Qualcomm Incorporated Data content integrity in display subsystem for safety critical use cases
US10516812B2 (en) 2018-04-02 2019-12-24 Intel Corporation Devices and methods for selective display frame fetch

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101729840A (zh) * 2009-12-17 2010-06-09 于培宁 一种利用视频图像特征序列的存储处理方法
CN103003863A (zh) * 2010-07-20 2013-03-27 飞思卡尔半导体公司 显示控制单元、图像显示系统和用于输出图像数据的方法
CN102946531A (zh) * 2012-08-24 2013-02-27 南京大学 一种结合gop帧结构的视频水印方法与系统
CN109379642A (zh) * 2018-12-14 2019-02-22 连尚（新昌）网络科技有限公司 一种用于添加和检测视频水印的方法与设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于视频感知哈希的视频篡改检测与多粒度定位;朱映映等;《中国图象图形学报》;20130816(第08期);全文 *

Also Published As

Publication number Publication date
CN111918021A (zh) 2020-11-10
IT201900006730A1 (it) 2020-11-10
US11250808B2 (en) 2022-02-15
US20200357356A1 (en) 2020-11-12

Similar Documents

Publication Publication Date Title
TWI356393B (en) Display systems having pre-subpixel rendered image
CN110827738B (zh) 电路装置、显示控制系统、电子设备和移动体
US10778247B2 (en) Circuit device, electro-optical device, electronic apparatus, mobile body, and error detection method
US8363164B2 (en) Apparatus and method for outputting image using a plurality of chroma-key colors
KR102532971B1 (ko) 표시장치 및 이의 구동방법
US20150277838A1 (en) Colour-discriminating checksum computation in a human-machine interface
US9826252B2 (en) Method and video system for freeze-frame detection
CN111918021B (zh) 显示系统以及相关的车辆和方法
US11961434B2 (en) Device and method for detecting screen freeze error of display of vehicle
CN113010020A (zh) 一种时序控制器和显示设备
US20050286789A1 (en) Image compression and expansion technique
KR100633161B1 (ko) 디스플레이 장치 및 데이터 라이팅 디바이스
CN107404630A (zh) 用于车辆后视摄像机系统的冗余视频路径
US11854513B2 (en) Semiconductor device having an interface for digital video signals
US20080030520A1 (en) Deep Pixel Pipeline
US9609267B2 (en) Methods and devices for generating and using video images comprising control messages
JP2024513771A (ja) 自動車の表示装置上にａｓｉｌ関連データを安全に表示するための方法及び装置
CN114593394B (zh) 在高清前照灯中推断降低的图像刷新频率的方法和系统
CN113330508B (zh) 半导体装置、使用了它的车载用显示系统、电子设备
JP2010128292A (ja) 画像表示システム
CN103634534A (zh) 图像处理装置、图像处理方法和程序
US12039956B2 (en) Semiconductor device for detecting visibility of displayed OSD characters
KR20220077829A (ko) 영상 표출 장치로 영상 신호를 전송하는 영상 출력 시스템 및 이를 이용한 표출 영상 변경 방법
CN105100670B (zh) 实施移动高清传输技术的方法及其电子装置
CN109686288A (zh) 一种图像显示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant