CN110741379A - 用于确定车辆行驶所在的道路的类型的方法 - Google Patents

用于确定车辆行驶所在的道路的类型的方法 Download PDF

Info

Publication number
CN110741379A
CN110741379A CN201880037992.1A CN201880037992A CN110741379A CN 110741379 A CN110741379 A CN 110741379A CN 201880037992 A CN201880037992 A CN 201880037992A CN 110741379 A CN110741379 A CN 110741379A
Authority
CN
China
Prior art keywords
road
vehicle
type
image
lanes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880037992.1A
Other languages
English (en)
Inventor
戴维德·伯特兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Psa Automobiles Co Ltd
PSA Automobiles SA
Original Assignee
Psa Automobiles Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Psa Automobiles Co Ltd filed Critical Psa Automobiles Co Ltd
Publication of CN110741379A publication Critical patent/CN110741379A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于车辆行驶所在的道路的多个采集图像而确定该道路的类型的方法，该方法包括预先的第一阶段(10)，该第一阶段包括图像的预处理步骤(200、300)、以及基于(捕获图像、道路类型)对的神经元网络(RN)的学习步骤(400)；该方法包括用于执行(500)的第二阶段(20)，在第二阶段中，学习步骤(400)中优化的系数输入到车辆(V)的计算机(ECU)，该计算机安装有该神经元网络(RN)并基于车辆(V)的至少一个图像捕获装置(CAM)所采集的图像以及优化系数而输出对车辆(V)行驶所在的道路类型的估计。

Description

用于确定车辆行驶所在的道路的类型的方法
技术领域
本发明涉及以下车辆：对于这些车辆而言，重要的是识别车辆、尤其是自动驾驶车辆或半自动驾驶车辆行驶所在的道路的类型。
本发明更具体地涉及一种确定车辆行驶所在的道路的类型的方法，该确定方法基于该道路的采集图像。
背景技术
自动驾驶车辆或半自动驾驶车辆是指以下车辆：对于该车辆而言，驾驶员已经将驾驶并因此将相关职责完全或部分授予该车辆。
因此，需要在自动驾驶阶段期间确保车辆良好地行驶在适于启动该阶段的路段上，该路段通常是快速车道或高速公路类型的分离式道路。
当前方案利用一种在行驶车道上通常通过与地图相关联的GPS(全球定位系统)来对车辆进行侧位和定位的方法，以确保车辆在适合自动驾驶的车道上良好地行驶。
然而，GPS的精度有时不足，仅靠该方法无法确保足够的可靠性。实际上，有时出现沿着高速公路伸展的双向小路。因此，在车辆行驶在小路上而自以为行驶在高速公路上时，细微的定位误差可能导致允许激活自动驾驶功能。
因此，通常将另一种道路类型确定系统添加到定位中。该确定系统通常利用车辆的不同传感器系统感知到的元素，该传感器系统例如是摄像机。因此，可以检测道路信号标志、或者构成道路特征的其他元素(例如，地面标记)是否对应于高速公路或分离式道路，以允许激活自动驾驶阶段。
另外，这种利用具体环境元素的方案通常会在以下情况下出错：
-在某些气象条件下(雾……)；
-当例如由于存在其他车辆(货车、旅行车……)而导致信号装置被遮挡时。
发明内容
本发明旨在提供一种可靠的解决方案，其允许通过车辆的摄像机所感知到的图像来确定车辆良好地行驶在分离式道路上。不同于利用对预确定特征元素进行的检测，本发明提出利用一种(机器学习类型的)学习方法，其具有整体分析行驶场景的特点。
为此目的，根据第一方面，本发明涉及一种基于车辆行驶所在的道路的多个采集图像而确定该道路的类型的方法，该方法包括第一预先阶段，其包括：
-第一步骤，用于捕获代表车辆应当行驶所在的道路的类型的多个图像；
-用于预处理第一步骤中的采集图像的第二步骤，根据确定的格式和编码对图像进行格式化和编码；
-第三步骤，基于在第一步骤中采集并在第二步骤中预处理的图像，第三步骤将根据确定道路类型列表限定的道路类型与每个捕获图像相关联，以构成学习库；
-用于学习的第四步骤，实现深度卷积神经元网络，该深度卷积神经元网络迭代接收作为输入的学习库的(捕获图像、道路类型)数据对并优化神经元网络的系数；
该方法包括用于执行的第二阶段，在该第二阶段中，在学习步骤中优化的系数作为参数输入到车辆计算机，该计算机安装有该神经元网络并基于至少一个车辆图像捕获装置所采集的图像以及优化的系数而输出对车辆行驶所在的道路类型的估计。
根据特征，预处理步骤用于排除与道路类型错误相关的图像区域，从而仅保留代表道路类型的元素。
根据另一特征，神经元网络包括：
-多个卷积层，用于过滤和确定图像的特征元素并用于减小图像的空间范围；
-一个或多个全连接层，其在有限数量的道路类型中对道路进行分类；通过“归一化指数函数(SoftMax)”类型的函数来处理最后一层，该函数允许估计属于每种类型的概率：每一种类型关联到介于0至1之间的概率，这些概率的总和为1。
根据另一特征，对图像的空间范围进行的减小应用卷积核，然后应用“RELU”类型的激活函数。
根据另一特征，对图像的空间范围进行的减小实施“池化”操作。
根据另一特征，神经元网络所考虑的道路类型是：
-在车辆的行驶方向上具有一条车道的非分离式道路；
-在车辆的行驶方向上具有两条车道的非分离式道路；
-在车辆的行驶方向上具有一条车道的分离式道路；
-在车辆的行驶方向上具有一条车道以及加速车道的分离式道路；
-在车辆的行驶方向上具有两条车道的分离式道路；
-在车辆的行驶方向上具有两条车道以及加速车道的分离式道路；
-在车辆的行驶方向上具有三条车道的分离式道路；
-在车辆的行驶方向上具有三条车道以及加速车道的分离式道路。
根据另一方面，本发明涉及一种自动驾驶或半自动驾驶的机动车辆，其包括至少一个图像捕获装置以及安装有神经元网络的计算机，该神经元网络实施如上所述的方法。
相对于现有的其他方法，该方法具有以下优点：
无需限定一组先验的特征元素(标志、线……)。基于神经元网络的学习模块仅学习呈现给它的示例中的特征元素。
不必根据用于限定道路类型的这些特征元素或其检测顺序来限定规则。学习模块考虑了不同特征元素组合的组合形式和管理。
根据本发明的方法在处理的输入处不需要非常明确的图像。分辨率减小，因此数据量和所需的带宽也减少了。因此，这也允许与标准微处理器可兼容的执行过程。
根据本发明的方法比上述方法更可靠，并且使得即使在没有任意标志的情况下也可以确定道路类型，如常规驾驶员在驾驶时可做到的一样。
附图说明
通过审阅以下的详细说明和附图，本发明的其他特征和优点将更清楚地显现，在附图中：
-图1示出了根据本发明的方法的主要步骤；并且
-图2示意性示出了根据本发明的方法的步骤中的一个步骤。
具体实施方式
根据本发明的方法利用对车辆V的前摄像机CAM(该摄像机通常设置在挡风玻璃的顶部)所捕获的图像进行的整体处理，以确定该车辆行驶所在的道路的类型。可以使用其他摄像机(后视摄像机等)。
该方法基于一种机器学习方法，其允许训练神经元网络RN来区分道路类型。在机器学习步骤期间，该网络发展成学习识别允许确定道路类型的一组特征元素。
获取学习信息的方式可区别于(同时可兼容于)在车辆上使用该网络的方式(例如，可以通过来自“实验室”型摄像机的数据来训练网络，并且使用针对车辆优化的摄像头以利用神经网络)”。
以下参照图1的框图描述该方法。
在第一阶段10中，在车辆的实际情况下实时执行神经网络RN之前，该方法包括以下步骤。
在第一步骤100中，该方法存储代表车辆通常选取道路类型的大量图像。
在称为预处理步骤的第二步骤200中，根据确定的格式和编码对在第一步骤100中采集的图像进行格式化和编码。
在第三步骤300中，基于在第一步骤100中采集并在第二步骤200中预处理的图像，该方法将基于确定道路类型列表的限定道路类型关联到(例如通过人为作用)所捕获的每个图像。
对应于这些(图像、道路类型)对的数据集构成了学习库BA。理想情况下，学习库BA由成千上万的(图像、道路类型)对构成。
在称为学习步骤的第四步骤400中，该方法实现了神经元网络RN，该神经元网络RN是深度卷积神经元网络，并且迭代地接收作为输入的学习库BA的(捕获图像、道路类型)数据对并优化神经元网络RN的系数。
为此，该方法通过所谓“梯度下降”和“反向传播”的方案来例如实施“梯度算法”类型的迭代算法，以寻求允许获得最佳分类性能的神经元网络RN的系数。优化算法在每次迭代时处理(图像，道路类型)对，以允许更新神经网络RN的系数。
重复该系数的迭代优化过程，直到实现算法的收敛。因此，称为“收敛”系数。
学习库BA也可以从已经预先构建的专用程序库中获取。
在预先的该第一阶段10结束时，在第二也是最后阶段20中，该方法在车辆V的实际情况下实时执行神经元网络RN。
在所谓执行步骤的最后步骤500中，来自学习步骤400的“收敛”系数保持不变并用作装载在车辆V的计算机ECU的输入参数。计算机ECU安装有神经元网络RN，基于车辆V的图像捕获装置CAM所采集的图像和“收敛”系数，该神经元网络RN实时提供车辆V行驶所在的道路类型的可靠估计。
图2更详细地示出了在第一步骤100中执行的处理。首先，重新调整图像1的尺寸，以通过对“红、绿、蓝”的英文缩写“RGB”或法语中的RVB(红绿蓝)的颜色分量进行编码来优先但非强制性地获得图像，颜色分量的编码表示最接近实际的计算机颜色编码系统。图像的大小用像素数量表示，更准确地说，用其高度h和其宽度I的乘积表示，例如64×320像素(h＝64和I＝320)。
该方法仅保留图像6的区域，该区域至少包括先验地似乎对确定道路类型很重要的所有元素。该区域还排除了可能得出与道路类型错误相关的元素的区域。实际上，以非限制性方式的，该方法仅保留了示出道路的图像的部分，其中将道路限制在地平线下方以排除天空。
然后将图像的每个分量或通道(R、G、B)的值归一化，以获得介于0和1之间的值。该预处理的图像构成了神经元网络RN的输入数据。
所使用的神经元网络RN是卷积神经元网络，其优选但不是必须地具有以下结构。
神经元网络RN包括：
-多个卷积层，用于过滤和确定图像的特征元素并用于减小图像的空间范围。为此，实施了卷积核的应用(通常但非唯一地为5×5)，然后应用RELU(修正线性单元)类型的激活函数：负值强制为0，而正值不变)。还可以执行“池化”操作(通过例如在区域2×2上求平均值或计算局部最大值来减小尺寸)；
-一个或多个全连接层，其在有限数量的道路类型中对场景进行分类。通过“归一化指数函数(SoftMax)”类型的函数来处理最后一层，该函数允许估计属于每种道路类型的概率。每种道路类型关联到介于0至1之间的概率。这些概率的总和等于1。
例如，道路类型作为示例而非限制地以以下方式限定：
-非分离式道路，在行驶方向上有一条车道；
-非分离式道路，在行驶方向上有两条车道；
-分离式道路，在行驶方向上有一条车道；
-分离式道路，在行驶方向上有一条车道+加速车道；
-分离式道路，在行驶方向上有两条车道；
-分离式道路，在行驶方向上有两条车道+加速车道；
-分离式道路，在行驶方向上有三条车道；
-分离式道路，在行驶方向上有三条车道+加速车道。
当然，可以扩大和修改道路的数量和类型。
除了描述的优选变型之外，通过以推荐而非详尽的方式进行更改，还可以使用不同的网络架构变型：
-输入图像的通道数(黑白：1个通道，RGB颜色：3个通道，其他颜色空间中的颜色……)；
-卷积型层的数量及其特征；
-实际使用的卷积核的大小，通常为3×3、5×5或7×7；
-通过“池化”或可选地通过改变卷积核的位置跳变(“步长”)来减小空间大小；
-全连接层数量；
-每个全连接层上的神经元数量；
-离开网络的类别数量；
-……
这些不同的变型使得可以在性能和必要的计算时间之间进行折衷，以便使该方法适应车载计算机ECU的计算能力方面的特性。
实际实施还可以使用不同的执行类型，这些执行类型使用各种数字表示形式。通过32位浮点实数进行表示允许更高的精度，但具有产生大量计算的缺点。因此，该执行将优先倾向于16位浮点实数、或者16或8位整数类型的更紧凑的表示形式。

Claims (7)

1.一种基于车辆行驶所在的道路的多个采集图像而确定所述道路的类型的方法，所述方法包括预先的第一阶段(10)，所述第一阶段包括：
-第一步骤(100)，用于捕获代表所述车辆应当行驶所在的道路类型的多个图像；
-用于预处理所述第一步骤(100)中的采集图像的第二预处理步骤(200)，根据确定的格式和编码对所述图像进行格式化和编码；
-第三步骤(300)，基于在所述第一步骤(100)中采集并在所述第二步骤(200)中预处理的图像，所述第三步骤用于将根据确定道路类型列表限定的道路类型与每个捕获图像相关联，以构成学习库(BA)；
-第四学习步骤(400)，实现深度卷积神经元网络(RN)，所述深度卷积神经元网络迭代接收作为输入的所述学习库(BA)的(捕获图像、道路类型)数据对并优化所述神经元网络(RN)的系数；
所述方法包括用于执行(500)的第二阶段(20)，在所述第二阶段中，在所述学习步骤(400)优化的所述系数作为参数输入到所述车辆(V)的计算机(ECU)，所述计算机安装有所述神经元网络(RN)，并且基于所述车辆(V)的至少一个图像捕获装置(CAM)所采集的图像以及所述优化的系数而输出对所述车辆(V)行驶所在的道路类型的估计。
2.根据前项权利要求所述的方法，其特征在于，所述预处理步骤(200)用于排除与所述道路类型错误相关的图像区域，从而仅保留代表所述道路类型的元素。
3.根据前述权利要求中任一项所述的方法，其特征在于，所述神经元网络(RN)包括：
多个卷积层，用于过滤和确定所述图像的特征元素并用于减小所述图像的空间范围；
一个或多个全连接层，其在有限数量的道路类型中对所述道路进行分类；通过“归一化指数函数”类型的函数来处理最后一层，所述函数允许估计属于每种类型的概率：每一种类型关联到介于0至1之间的概率，所述概率的总和为1。
4.根据前项权利要求所述的方法，其特征在于，所述对图像的空间范围进行的减小应用卷积核，然后应用“修正线性单元”类型的激活函数。
5.根据权利要求3所述的方法，其特征在于，所述对图像的空间范围进行的减小实施“池化”操作。
6.根据前述权利要求中任一项所述的方法，其特征在于，所述神经元网络(RN)所考虑的所述道路类型是：
在所述车辆的行驶方向上具有一条车道的非分离式道路；
在所述车辆的行驶方向上具有两条车道的非分离式道路；
在所述车辆的行驶方向上具有一条车道的分离式道路；
在所述车辆的行驶方向上具有一条车道以及加速车道的分离式道路；
在所述车辆的行驶方向上具有两条车道的分离式道路；
在所述车辆的行驶方向上具有两条车道以及加速车道的分离式道路；
在所述车辆的行驶方向上具有三条车道的分离式道路；
在所述车辆的行驶方向上具有三条车道以及加速车道的分离式道路。
7.一种自动驾驶或半自动驾驶的机动车辆(V)，其包括至少一个图像捕获装置(CAM)以及安装有神经元网络(RN)的计算机(ECU)，所述神经元网络实施根据上述权利要求中任一项所述的方法。
CN201880037992.1A 2017-06-06 2018-05-18 用于确定车辆行驶所在的道路的类型的方法 Pending CN110741379A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1754975A FR3067144B1 (fr) 2017-06-06 2017-06-06 Procede de determination du type de route sur laquelle evolue un vehicule
FR1754975 2017-06-06
PCT/FR2018/051208 WO2018224750A1 (fr) 2017-06-06 2018-05-18 Procede de determination du type de route sur laquelle evolue un vehicule

Publications (1)

Publication Number Publication Date
CN110741379A true CN110741379A (zh) 2020-01-31

Family

ID=59381531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880037992.1A Pending CN110741379A (zh) 2017-06-06 2018-05-18 用于确定车辆行驶所在的道路的类型的方法

Country Status (4)

Country Link
EP (1) EP3635615B1 (zh)
CN (1) CN110741379A (zh)
FR (1) FR3067144B1 (zh)
WO (1) WO2018224750A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113239966A (zh) * 2021-04-14 2021-08-10 联合汽车电子有限公司 混合气偏差自学习方法、系统、可读存储介质及电子设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG10202007346XA (en) 2020-08-01 2020-10-29 Grabtaxi Holdings Pte Ltd Processing apparatus and method for generating route navigation data

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101275852A (zh) * 2007-03-30 2008-10-01 爱信艾达株式会社 图像识别装置与图像识别方法
CN102183257A (zh) * 2009-12-10 2011-09-14 爱信艾达株式会社 车辆行驶引导装置、车辆行驶引导方法及计算机可读存储介质
CN103942959A (zh) * 2014-04-22 2014-07-23 深圳市宏电技术股份有限公司 一种车道检测方法及装置
CN104376297A (zh) * 2013-08-12 2015-02-25 株式会社理光 道路上的线型指示标志的检测方法和装置
CN106203346A (zh) * 2016-07-13 2016-12-07 吉林大学 一种面向智能车辆驾驶模式切换的道路环境图像分类方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6879969B2 (en) * 2001-01-21 2005-04-12 Volvo Technological Development Corporation System and method for real-time recognition of driving patterns
US9286524B1 (en) * 2015-04-15 2016-03-15 Toyota Motor Engineering & Manufacturing North America, Inc. Multi-task deep convolutional neural networks for efficient and robust traffic lane detection
KR101797818B1 (ko) * 2015-10-26 2017-11-15 현대오토에버 주식회사 딥 러닝 기반 도로 정보 제공 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101275852A (zh) * 2007-03-30 2008-10-01 爱信艾达株式会社 图像识别装置与图像识别方法
CN102183257A (zh) * 2009-12-10 2011-09-14 爱信艾达株式会社 车辆行驶引导装置、车辆行驶引导方法及计算机可读存储介质
CN104376297A (zh) * 2013-08-12 2015-02-25 株式会社理光 道路上的线型指示标志的检测方法和装置
CN103942959A (zh) * 2014-04-22 2014-07-23 深圳市宏电技术股份有限公司 一种车道检测方法及装置
CN106203346A (zh) * 2016-07-13 2016-12-07 吉林大学 一种面向智能车辆驾驶模式切换的道路环境图像分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨景超: "辅助驾驶中基于单幅图像的复杂道路场景分类方法研究" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113239966A (zh) * 2021-04-14 2021-08-10 联合汽车电子有限公司 混合气偏差自学习方法、系统、可读存储介质及电子设备
CN113239966B (zh) * 2021-04-14 2024-03-01 联合汽车电子有限公司 混合气偏差自学习方法、系统、可读存储介质及电子设备

Also Published As

Publication number Publication date
EP3635615B1 (fr) 2023-08-09
EP3635615A1 (fr) 2020-04-15
WO2018224750A1 (fr) 2018-12-13
FR3067144A1 (fr) 2018-12-07
FR3067144B1 (fr) 2021-07-30

Similar Documents

Publication Publication Date Title
CN111507460B (zh) 为了提供自动停车系统检测停车空间的方法和装置
US9286524B1 (en) Multi-task deep convolutional neural networks for efficient and robust traffic lane detection
US11734918B2 (en) Object identification apparatus, moving body system, object identification method, object identification model learning method, and object identification model learning apparatus
CN112528878A (zh) 检测车道线的方法、装置、终端设备及可读存储介质
CN110009648B (zh) 基于深浅特征融合卷积神经网络的路侧图像车辆分割方法
CN110163176B (zh) 车道线变化位置识别方法、装置、设备和介质
CN111256693B (zh) 一种计算位姿变化方法及车载终端
EP3974869A1 (en) Perception system error detection and re-verification
US10796434B1 (en) Method and device for detecting parking area using semantic segmentation in automatic parking system
US10635917B1 (en) Method and device for detecting vehicle occupancy using passenger's keypoint detected through image analysis for humans' status recognition
CN111507152B (zh) 基于内置独立型预测来转换自动驾驶模式的方法及装置
CN111931683B (zh) 图像识别方法、装置及计算机可读存储介质
WO2020007589A1 (en) Training a deep convolutional neural network for individual routes
CN112654998B (zh) 一种车道线检测方法和装置
CN115675520A (zh) 无人驾驶实现方法、装置、计算机设备和存储介质
DE102020102823A1 (de) Fahrzeugkapselnetzwerke
CN110741379A (zh) 用于确定车辆行驶所在的道路的类型的方法
CN114543819B (zh) 车辆定位方法、装置、电子设备及存储介质
US10417518B2 (en) Vehicle camera system
CN111079634B (zh) 车辆行驶中检测障碍物的方法、装置、系统及车辆
CN112912892A (zh) 自动驾驶方法和装置、距离确定方法和装置
CN116721396A (zh) 车道线检测方法、设备及存储介质
CN112440970A (zh) 车辆神经网络
CN115082894A (zh) 距离检测方法、车辆远光灯控制方法、设备、介质及车辆
CN114821517A (zh) 用于学习神经网络以确定环境中车辆姿态的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200131

RJ01 Rejection of invention patent application after publication