CN114385851A - 基于位置信息的情绪反馈方法以及车载电子设备 - Google Patents

基于位置信息的情绪反馈方法以及车载电子设备 Download PDF

Info

Publication number
CN114385851A
CN114385851A CN202111662065.9A CN202111662065A CN114385851A CN 114385851 A CN114385851 A CN 114385851A CN 202111662065 A CN202111662065 A CN 202111662065A CN 114385851 A CN114385851 A CN 114385851A
Authority
CN
China
Prior art keywords
vehicle
emotion
feedback
passenger
occupant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111662065.9A
Other languages
English (en)
Inventor
李庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Investment China Co ltd
Original Assignee
Continental Investment China Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Investment China Co ltd filed Critical Continental Investment China Co ltd
Priority to CN202111662065.9A priority Critical patent/CN114385851A/zh
Publication of CN114385851A publication Critical patent/CN114385851A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G06F16/635—Filtering based on additional data, e.g. user or group profiles
    • G06F16/636—Filtering based on additional data, e.g. user or group profiles by using biological or physiological data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/735—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Game Theory and Decision Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Molecular Biology (AREA)
  • Physiology (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Tourism & Hospitality (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种基于位置信息的情绪反馈方法以及车载电子设备。车载电子设备，其包括：通信单元，适于与云端服务器进行通信以获取情绪模型，其中情绪模型与位置相关；定位单元，适于确定车辆的当前位置；控制单元，适于基于当前位置和情绪模型预测车辆的乘客情绪，并基于预测的乘客情绪确定反馈策略；以及反馈执行单元，适于基于反馈策略输出反馈给车辆中的乘客。本发明的基于位置信息的情绪反馈方法以及车载电子设备能够低成本地实现对乘客情绪进行反馈，提升了用户体验。

Description

基于位置信息的情绪反馈方法以及车载电子设备
技术领域
本发明涉及汽车电子，特别涉及一种基于位置信息的情绪反馈方法以及车载电子设备。
背景技术
在城市生活中，越来越多的乘客选择乘坐出租车或网约车出行。乘客在乘坐出租车或者网约车时，拥有正向的积极的用户体验很重要。好的用户体验往往可以吸引更多的用户，增强产品或服务竞争力。识别乘客的情绪并进行对应的管理、反馈是一种比较好的增强用户体验的方法。但这往往需要在每辆车上安装摄像头，增加了成本，最终的成本又会叠加在用户身上。并且，摄像头的引入还会带来侵犯乘客隐私的风险。
发明内容
本发明解决的问题是提供一种基于位置信息的情绪反馈方法以及车载电子设备，其能够低成本地实现对乘客情绪进行反馈，提升了用户体验。
为了解决上述问题，本发明一方面提供了一种车载电子设备，其包括：通信单元，适于与云端服务器进行通信以获取情绪模型，其中所述情绪模型与位置相关；定位单元，适于确定车辆的当前位置；控制单元，适于基于所述当前位置和所述情绪模型预测所述车辆的乘客情绪，并基于预测的所述乘客情绪确定反馈策略；以及反馈执行单元，适于基于所述反馈策略输出反馈给所述车辆中的乘客。
本发明的另一方面提供了一种基于位置信息的情绪反馈方法，其包括：获取与车辆位置相关的情绪模型；获取车辆的当前位置；基于所述当前位置和所述情绪模型预测所述车辆的乘客情绪，并基于预测的所述乘客情绪确定反馈策略；以及基于所述反馈策略输出反馈给所述车辆中的乘客。
本发明的又一方面提供了一种车载电子设备，其包括：计算机可读存储介质，其上存储有多个指令；一个或多个处理器，适于执行所述多个指令以实现如上所述的情绪反馈方法。
本发明的又一方面提供了一种计算机程序产品，包括计算机程序，其中该计算机程序被处理器执行时实现如上所述的情绪反馈方法的步骤。
本发明的再一方面提供了一种云端服务器，其包括：计算机可读存储介质，其上存储有多个指令；一个或多个处理器，适于执行所述多个指令以实现如下步骤：接收多个车辆位置以及每一个车辆位置对应的车辆上的乘客的情绪数据；基于所述多个车辆位置和多个所述情绪数据进行大数据训练以得到与位置相关的情绪模型。
与现有技术相比，上述方案具有以下优点：
本发明的基于位置信息的情绪反馈方法以及车载电子设备，其能够基于与位置相关的情绪模型来推测乘客情绪，并基于推测得到的乘客情绪来确定反馈策略，进而根据确定的反馈策略来对乘客情绪做出反馈。其能够使没有装配乘客情绪识别的摄像头的车辆仍能够对乘客的情绪做出反馈，低成本地实现了对乘客情绪进行反馈，提升了用户体验。
附图说明
图1例示了根据本发明一个或多个实施例的基于位置信息的情绪反馈的系统的示意图；
图2例示了根据本发明一个或多个实施例的车载电子设备的示意图；
图3例示了根据本发明一个或多个实施例的基于位置信息的情绪反馈方法；
图4例示了根据本发明一个或多个实施例的云端服务器的示意图；
图5例示了根据本发明一个或多个实施例的与位置相关的情绪模型的构造方法。
具体实施方式
在下面的描述中，阐述了许多具体细节以便使所属技术领域的技术人员更全面地了解本发明。但是，对于所属技术领域内的技术人员明显的是，本发明的实现可不具有这些具体细节中的一些。此外，应当理解的是，本发明并不限于所介绍的特定实施例。相反，可以考虑用下面的特征和要素的任意组合来实施本发明，而无论它们是否涉及不同的实施例。因此，下面的方面、特征、实施例和优点仅作说明之用而不应被看作是权利要求的要素或限定，除非在权利要求中明确提出。
本申请的发明人发现，很大一部分乘客在乘坐出租车或网约车时，其路线或运动轨迹与情绪的关系是有一定规律的，尤其是数据样本增大到一定程度的时候。因此，本申请的发明人提出，可以将出租车和/或网约车的位置与乘客在该位置的情绪关联起来，形成情绪模型。在其他乘客乘坐出租车或网约车时，可以利用形成的情绪模型来推测该其他乘客的情绪，并进行情绪反馈和/或反馈，以提升用户体验，甚至可以发掘出新的商业模式(比如导入相应的广告信息)。另外，前述的情绪模型可以提前通过数据采集和模型训练获得，并可后期应用于未配备情绪监控摄像头的出租车和/网约车。
图1例示了根据本发明一个或多个实施例的基于位置信息的情绪反馈的系统的示意图。参考图1所示，基于位置信息的情绪反馈的系统包括车载电子设备100和云端服务器200。车载电子设备100可以从云端服务器200获取情绪模型，而后基于车辆的位置预测车辆中的乘客情绪，并基于预测的乘客情绪进行反馈。云端服务器200可以接收配备有情绪监控摄像头的出租车和/网约车上传的车辆位置以及乘客情绪，以及基于车辆位置和乘客情绪进行大数据分析、AI模型训练以得到情绪模型，并将训练到的情绪模型发送给车载电子设备100。
车载电子设备100包括通信单元110、定位单元120、控制单元130和反馈执行单元140。
通信单元110可以与云端服务器200进行通信以获取情绪模型。其中，情绪模型与位置相关。在一个或多个实施例中，通信单元110可以为车载T-Box。
定位单元120可以确定车辆的当前位置。在一个或多个实施例中，定位单元120可以是卫星导航系统(Global Navigation Satellite System,GNSS)，例如GPS、北斗、格洛纳斯、伽利略，的定位终端。在一个或多个实施例中，定位单元120还可以是基于蜂窝通信网络、WiFi等信号的定位终端。在一个或多个实施例中，定位单元10可以被集成在车载T-Box中。
控制单元130可以基于当前位置和情绪模型预测车辆内的乘客的乘客情绪，并基于预测的乘客情绪确定反馈策略。在一个或多个实施例中，控制单元130可以为车载的信息娱乐系统、高性能计算单元等中的一种或多种。在一个或多个实施例中，反馈策略包括播放音乐、播放视频、播放广告和保持安静中的一种或多种。在一个或多个实施例中，乘客情绪包括情绪等级，控制单元130可以基于所述情绪等级确定反馈策略。举例而言，当预测的乘客情绪信息为：正向程度最大值时，反馈策略可以为播放欢快的音乐或短视频，甚至是购物广告；当预测的乘客情绪信息为：正向程度最小值时，反馈策略为播放舒缓的音乐。
反馈执行单元140可以基于反馈策略输出反馈给所述车辆中的乘客。在一个或多个实施例中，反馈执行单元140可以通过视觉、听觉等提供反馈。在一个或多个实施例中，反馈执行单元140可以为车载的信息娱乐系统、高性能计算单元等中的一种或多种。在一个或多个实施例中，反馈执行单元140可以基于反馈策略执行播放音乐、播放视频、播放广告和保持安静中的一种或多种。
在一个或多个实施例中，车载电子设备100还包括乘客监测单元150。乘客监测单元150用于监测确定车辆内是否存在乘客。在一个或多个实施例中，乘客监测单元150可以为座位占用传感器、用于监测车内乘员的毫米波雷达等。在一个或多个实施例中，可以在乘客监测单元150检测到乘客进入车辆时，才触发定位单元120确定车辆的当前位置。
在一个或多个实施例中，通信单元110、定位单元120、控制单元130、反馈执行单元140和乘客监测单元150之间可以通过车上总线连接，例如CAN总线、LIN总线、以太网总线等中的一种或多种。
图2例示了根据本发明一个或多个实施例的车载电子设备的示意图。在图2所示的实施例中，车载电子设备300为计算机架构的设备，例如为车载的信息娱乐系统、高性能计算单元等中的一种或多种。车载电子设备300包括处理器310和计算机可读存储介质320。处理器310可以执行计算机可读介质320上存储有的多个指令以执行一个或多个动作，从而实现如下将要说明的基于位置信息的情绪反馈方法。在一个或多个实施例中，处理器310还可以从计算机可读介质320读取数据，和/或将数据存储至计算机可读介质320中。处理器310可以包括中央处理器(Central Processing Unit,CPU)、图形处理器(GraphicsProcessing Unit,GPU)、数字信号处理器(Digital Signal Processor,DSP)专用集成电路(Application-specific integrated circuit,ASIC)等中的一种或多种。中央处理器可以是X86处理器、ARM处理器、MIPS处理器等等中的一种或多种。计算机可读介质320可以包括内存(Memory)320a和/或存储器(Storage)320b。内存320a的示例包括易失性存储介质，例如随机存取存储器(Random Access Memory，RAM)等。存储器320b的示例包括非易失性存储介质，例如只读存储器(Read Only Memory，ROM)、闪存、光盘、磁盘等。
图3例示了根据本发明一个或多个实施例的基于位置信息的情绪反馈方法。在一个或多个实施例中，基于位置信息的情绪反馈方法400例如以计算机指令的形式被如图1所示的车载电子设备100和/或图2所示的车载电子设备300执行。在一个或多个实施例中，基于位置信息的情绪反馈方法400可以被实现为计算机程序，而形成一种计算机程序产品。参考图3所示，基于位置信息的情绪反馈方法400包括：
步骤410：获取与车辆位置相关的情绪模型；
步骤420：获取车辆的当前位置；
步骤430：基于当前位置和情绪模型预测车辆的乘客情绪，并基于预测的乘客情绪确定反馈策略；以及
步骤440：基于反馈策略输出反馈给车辆中的乘客。
在步骤410中获取的情绪模型与与位置相关。
在步骤420中获取的车辆的当前位置可以通过卫星导航系统、蜂窝通信网络、WiFi网络等中的一种或多种信号来确定。
在步骤430中的反馈策略包括播放音乐、播放视频、播放广告和保持安静中的一种或多种。在一个或多个实施例中，在步骤430中预测的乘客情绪包括情绪等级，相应地可以基于所述情绪等级确定反馈策略。举例而言，当预测的乘客情绪信息为：正向程度最大值时，反馈策略可以为播放欢快的音乐或短视频，甚至是购物广告；当预测的乘客情绪信息为：正向程度最小值时，反馈策略为播放舒缓的音乐。
在步骤440可以通过视觉、听觉等提供反馈，例如基于反馈策略执行播放音乐、播放视频、播放广告和保持安静中的一种或多种。
在一个或多个实施例中，基于位置信息的情绪反馈方法400还可以包括确定是否有乘客进入车辆的步骤。在检测到乘客进入车辆时，才触发步骤420获取车辆的当前位置。在一个或多个实施例中，可以通过座位占用传感器、用于监测车内乘员的毫米波雷达等来确定乘客是否进入车辆。
需要说明的是，图3所示的基于位置信息的情绪反馈方法400中的各步骤的顺序仅是一种示例。可以理解，基于位置信息的情绪反馈方法400中的各步骤可以根据不同的实施而具有不同的顺序，例如步骤410和步骤420可以同时被执行，又例如步骤420可以先于步骤410被执行。
图4例示了根据本发明一个或多个实施例的云端服务器的示意图。参考图4所示，云端服务器200为计算机架构的设备，其包括处理器210和计算机可读存储介质220。处理器210可以执行计算机可读介质220上存储有的多个指令以执行一个或多个动作，从而实现如下将要说明的与位置相关的情绪模型的构造方法。在一个或多个实施例中，处理器210还可以从计算机可读介质220读取数据，和/或将数据存储至计算机可读介质220中。处理器210可以包括中央处理器(Central Processing Unit,CPU)、图形处理器(GraphicsProcessing Unit,GPU)、数字信号处理器(Digital Signal Processor,DSP)专用集成电路(Application-specific integrated circuit,ASIC)等中的一种或多种。中央处理器可以是X86处理器、ARM处理器、MIPS处理器等等中的一种或多种。计算机可读介质220可以包括内存(Memory)220a和/或存储器(Storage)220b。内存220a的示例包括易失性存储介质，例如随机存取存储器(Random Access Memory，RAM)等。存储器220b的示例包括非易失性存储介质，例如只读存储器(Read Only Memory，ROM)、闪存、光盘、磁盘等。
图5例示了根据本发明一个或多个实施例的与位置相关的情绪模型的构造方法。与位置相关的情绪模型的构造方法500包括：
步骤510：接收多个车辆位置以及每一个车辆位置对应的车辆上的乘客的情绪数据；
步骤520：基于多个车辆位置和多个情绪数据进行大数据训练以得到与位置相关的情绪模型。
具体地，可以在选定运营车队中的一部分车辆安装上乘客情绪识别的摄像头。在车队运营过程中搜集乘客的情绪数据以及对应的车辆位置，亦即对每一次出行，都会产生一系列数据对：车辆位置-情绪数据。其中，情绪数据例如可以为情绪级别(步骤510)。当搜集到足够多的数据时，进行大数据训练以得到与位置相关的情绪模型(步骤520)。对于该情绪模型，输入车辆位置，可以预测对应于该车辆位置的乘客情绪，例如情绪级别。
虽然本发明已以较佳实施例披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内所作的各种更动与修改，均应纳入本发明的保护范围内，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (12)

1.一种车载电子设备，其特征在于，包括：
通信单元，适于与云端服务器进行通信以获取情绪模型，其中所述情绪模型与位置相关；
定位单元，适于确定车辆的当前位置；
控制单元，适于基于所述当前位置和所述情绪模型预测所述车辆的乘客情绪，并基于预测的所述乘客情绪确定反馈策略；以及
反馈执行单元，适于基于所述反馈策略输出反馈给所述车辆中的乘客。
2.如权利要求1所述的车载电子设备，其特征在于，所述车载电子设备还包括乘客监测单元，适于确定所述车辆内是否存在乘客。
3.如权利要求2所述的车载电子设备，其特征在于，在所述乘客监测单元检测到乘客进入所述车辆时，适于触发所述定位单元确定所述车辆的当前位置。
4.如权利要求1所述的车载电子设备，其特征在于，所述乘客情绪包括情绪等级，所述控制单元适于基于所述情绪等级确定反馈策略。
5.如权利要求1或4所述的车载电子设备，其特征在于，所述反馈策略包括播放音乐、播放视频、播放广告和保持安静中的一种或多种。
6.一种基于位置信息的情绪反馈方法，其特征在于，包括：
获取与车辆位置相关的情绪模型；
获取车辆的当前位置；
基于所述当前位置和所述情绪模型预测所述车辆的乘客情绪，并基于预测的所述乘客情绪确定反馈策略；以及
基于所述反馈策略输出反馈给所述车辆中的乘客。
7.如权利要求6所述的情绪反馈方法，其特征在于，还包括确定是否有乘客进入所述车辆，若有，则触发获取所述车辆的当前位置。
8.如权利要求6所述的情绪反馈方法，其特征在于，所述乘客情绪包括情绪等级，所述控制单元适于基于所述情绪等级确定反馈策略。
9.如权利要求6或8所述的情绪反馈方法，其特征在于，所述反馈策略包括播放音乐、播放视频、播放广告和保持安静中的一种或多种。
10.一种车载电子设备，其特征在于，包括：
计算机可读存储介质，其上存储有多个指令；
一个或多个处理器，适于执行所述多个指令以实现如权利要求6至9中任一项所述的情绪反馈方法。
11.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求6至9中任一项所述的情绪反馈方法的步骤。
12.一种云端服务器，其特征在于，包括：
计算机可读存储介质，其上存储有多个指令；
一个或多个处理器，适于执行所述多个指令以实现如下步骤：
接收多个车辆位置以及每一个车辆位置对应的车辆上的乘客的情绪数据；
基于所述多个车辆位置和多个所述情绪数据进行大数据训练以得到与位置相关的情绪模型。
CN202111662065.9A 2021-12-30 2021-12-30 基于位置信息的情绪反馈方法以及车载电子设备 Pending CN114385851A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111662065.9A CN114385851A (zh) 2021-12-30 2021-12-30 基于位置信息的情绪反馈方法以及车载电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111662065.9A CN114385851A (zh) 2021-12-30 2021-12-30 基于位置信息的情绪反馈方法以及车载电子设备

Publications (1)

Publication Number Publication Date
CN114385851A true CN114385851A (zh) 2022-04-22

Family

ID=81199360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111662065.9A Pending CN114385851A (zh) 2021-12-30 2021-12-30 基于位置信息的情绪反馈方法以及车载电子设备

Country Status (1)

Country Link
CN (1) CN114385851A (zh)

Similar Documents

Publication Publication Date Title
US10726433B2 (en) Methods and apparatus for connected vehicles application effectiveness estimation
US11685386B2 (en) System and method for determining a change of a customary vehicle driver
US10825103B1 (en) Detecting transportation company trips in a vehicle based upon on-board audio signals
US10460394B2 (en) Autonomous or partially autonomous motor vehicles with automated risk-controlled systems and corresponding method thereof
EP3239686B1 (en) Method for determining driving characteristics of a vehicle
JP2021168193A (ja) テレマティックス接続サーチエンジンを使用する動的なスコアベースの危険性測定及び集約のためのインテリジェントな自己適応型車両用装置及びその対応する方法
CN108944939B (zh) 用于提供驾驶指导的方法和系统
CN112749740B (zh) 确定车辆目的地的方法、装置、电子设备及介质
KR20010105182A (ko) 보험금을 산정하고 통신하기 위한 조사 시스템 및 그 방법
US10580306B1 (en) Accident response technology
US20220326031A1 (en) Information processing device and information processing method
US10640037B1 (en) Empathy-based speed alert
US12111865B2 (en) Video analysis for efficient sorting of event data
US20230134342A1 (en) System and/or method for vehicle trip classification
CN114662730A (zh) 用于增强的用户体验和操作效率的运输运营商协作
CN112070377B (zh) 出行服务处理方法、装置、电子设备及存储介质
CN114385851A (zh) 基于位置信息的情绪反馈方法以及车载电子设备
US20190289474A1 (en) Communication device and schedule creation method
CN113508606A (zh) 根据噪声多模态数据自动确定针对兴趣点的最优运输服务位置
US11499830B2 (en) System and method for providing point of interest related notifications
CN115465285A (zh) 基于行驶过程的车辆语音控制方法及相关装置
CN112700648B (zh) 确定交通违章位置的方法和装置
CN114841514A (zh) 模型训练和车辆舒适性评价方法、装置、设备及存储介质
US11562762B2 (en) Systems and methods of assessing driver safety based on vehicle noise levels
US20200394668A1 (en) System and method for determining vehicle fueling behavior

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination