CN112182256A - 一种物体识别方法、装置及车辆 - Google Patents

一种物体识别方法、装置及车辆 Download PDF

Info

Publication number
CN112182256A
CN112182256A CN202011044051.6A CN202011044051A CN112182256A CN 112182256 A CN112182256 A CN 112182256A CN 202011044051 A CN202011044051 A CN 202011044051A CN 112182256 A CN112182256 A CN 112182256A
Authority
CN
China
Prior art keywords
driver
instruction
identification
vehicle
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011044051.6A
Other languages
English (en)
Inventor
陈涛
董嵩松
王崇佑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Great Wall Motor Co Ltd
Original Assignee
Great Wall Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Great Wall Motor Co Ltd filed Critical Great Wall Motor Co Ltd
Priority to CN202011044051.6A priority Critical patent/CN112182256A/zh
Publication of CN112182256A publication Critical patent/CN112182256A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/438—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/483—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Abstract

本发明提供了一种物体识别方法、车辆及装置。其中，所述方法应用于车载终端，车载终端存储有行车记录仪所录制的视频，所述方法包括：监测并记录驾驶员的眼部信息，眼部信息包括眼部位置及视线方向；在接收到用于识别物体的识别指令时，确定识别指令的生成时刻；在行车记录仪所录制的视频中，查找录制时刻与所述生成时刻相同的目标视频帧；根据对眼部位置及视线方向的监测记录，查找记录时刻与所述生成时刻相同的目标眼部信息；在目标视频帧中，查找目标眼部信息对应的焦点区域，并进行图像识别及展示识别结果。本发明实施例所提供的物体识别方法，仅需驾驶员在行车过程中查看到感兴趣的物体时，下达识别物体的识别指令即可，无需进行其他操作。

Description

一种物体识别方法、装置及车辆
技术领域
本发明涉及汽车技术领域，特别涉及一种驾驶车辆时的物体识别方法、装置及车辆。
背景技术
当前，随着私家车的普及，越来越多的人会在节假日选择开车自驾旅游。
当前，在驾驶员驾车途中，当看到一个不认识的动物或者建筑时，若希望了解其详细信息的话，需要利用手机等终端设备拍照检索，或者停车查看相关介绍。但是，因驾驶员当前正在驾驶车辆，不便于利用手机进行拍照搜索，而停车查看相关介绍也有诸多不便，因而导致驾驶员无法及时获取感兴趣的目标物体的详细信息，影响其驾驶体验。
发明内容
有鉴于此，本发明旨在提出一种物体识别方法、装置及车辆，以解决现有技术不便于驾驶员在驾驶车辆时获取目标物体的详细信息的问题。
为达到上述目的，本发明的技术方案是这样实现的：
一种物体识别方法，其中，应用于车辆的车载终端，所述车载终端存储有行车记录仪所录制的视频，所述方法包括：
监测并记录驾驶员的眼部信息，所述眼部信息包括眼部位置及视线方向；
在接收到用于识别物体的识别指令时，确定所述识别指令的生成时刻；
在所述行车记录仪所录制的视频中，查找目标视频帧；其中，所述目标视频帧的录制时刻和所述生成时刻相同；
根据对所述眼部位置及视线方向的监测记录，查找目标眼部信息；其中，所述目标眼部信息的记录时刻和所述生成时刻相同；
在所述目标视频帧中，查找所述目标眼部信息对应的焦点区域；
对所述焦点区域进行图像识别，并展示识别结果。
可选地，所述的物体识别方法中，展示识别结果的步骤，包括：
在识别结果包括目标对象时，对所述目标对象的文本信息进行语音解说。
可选地，所述的物体识别方法中，所述车辆还包括设置于车内的监控摄像头，所述监测并记录驾驶员的眼部信息，包括：
通过所述监控摄像头监测所述驾驶员的眼部与预设参考点之间的第一位置关系，以及监测所述驾驶员的眼球运动信息；其中，所述预设参考点为所述车辆上的固定点；
获取所述预设参考点与所述行车记录仪之间的第二位置关系；
根据所述第一位置关系及所述第二位置关系，确定所述驾驶员的眼部位置；
根据所述眼球运动信息，计算所述驾驶员的视线方向；
记录眼部信息，所述眼部信息包括所述眼部位置及所述视线方向。
可选地，所述的物体识别方法中，在所述识别指令为语音指令时，所述在接收到识别物体的识别指令时，确定所述识别指令的生成时刻的步骤，包括：
在接收到识别物体的识别指令时，获取当前时间及所述识别指令的形成时长；
将所述当前时间减去所述形成时长，计算得到所述识别指令的生成时刻。
可选地，所述的物体识别方法中，在所述识别指令为触控指令时，所述在接收到识别物体的识别指令时，确定所述识别指令的生成时刻的步骤，包括：
在接收到用于识别物体的识别指令时，将所述识别指令的接收时刻，确定为所述生成时刻。
可选地，所述的物体识别方法中，在所述监测并记录驾驶员的眼部信息的步骤之前，所述方法还包括：
在接收到物体识别功能的开启指令时，进入所述监测并记录驾驶员的眼部信息的步骤。
本发明的另一目的在于提出一种物体识别装置，其中，应用于车辆的车载终端，所述车载终端存储有行车记录仪所录制的视频，所述装置包括：
监测模块，用于监测并记录驾驶员的眼部信息所述眼部信息，所述眼部信息包括眼部位置及视线方向；
获取模块，用于在接收到用于识别物体的识别指令时，获取所述识别指令的生成时刻；
第一查找模块，用于在所述行车记录仪所录制的视频中，查找目标视频帧；其中，所述目标视频帧的录制时刻和所述生成时刻相同；
第二查找模块，用于根据对所述眼部位置及视线方向的监测记录，查找目标眼部信息；其中，所述目标眼部信息的记录时刻和所述生成时刻相同；
第三查找模块，用于在所述目标视频帧中，查找所述目标眼部信息对应的焦点区域；
识别模块，用于对所述焦点区域进行图像识别，并展示识别结果。
可选地，所述的物体识别装置中，所述识别模块，具体用于在识别结果包括目标对象时，对所述目标对象的文本信息进行语音解说。
可选地，所述的物体识别装置中，所述车辆还包括设置于车内的监控摄像头，所述监测模块包括：
监测单元，用于通过所述监控摄像头监测所述驾驶员的眼部与预设参考点之间的第一位置关系，以及监测所述驾驶员的眼球运动信息；其中，所述预设参考点为所述车辆上的固定点；
第一获取单元，用于获取所述预设参考点与所述行车记录仪之间的第二位置关系；
第一确定单元，用于根据所述第一位置关系及所述第二位置关系，确定所述驾驶员的眼部位置；
第一计算单元，用于根据所述眼球运动信息，计算所述驾驶员的视线方向；
记录单元，用于记录眼部信息，所述眼部信息包括所述眼部位置及所述视线方向。
可选地，所述的物体识别装置中，所述获取模块包括：
第二获取单元，用于在所述识别指令为语音指令时，在接收到识别物体的识别指令时，获取当前时刻及所述识别指令的形成时长；
第二计算单元，用于将所述当前时刻减去所述形成时长，计算得到所述识别指令的生成时刻。
可选地，所述装置还包括：
开启模块，用于在所述监测并记录驾驶员的眼部信息的步骤之前，在接收到物体识别功能的开启指令时，进入所述监测并记录驾驶员的眼部信息的步骤。
本发明的再一目的在于提出一种车辆，其中，所述车辆包括行车记录仪，所述车辆包括所述的物体识别装置。
相对于在先技术，本发明所述的物体识别方法、装置及车辆具有以下优势：
先监测并记录驾驶员的眼部位置及视线方向；在接收到用于识别物体的识别指令时，获取所述识别指令的生成时刻；在所述车辆的行车记录仪所录制的视频中，查找录制时刻与所述生成时刻相同的目标视频帧；根据对驾驶员的眼部位置及视线方向的监测记录，查找记录时刻与所述生成时刻相同的目标视线方向及目标眼部位置；在所述目标视频帧中，查找所述目标视线方向及所述目标眼部位置对应的焦点区域；对所述焦点区域进行图像识别，并展示识别结果。因为在查看到车外感兴趣的物体时，驾驶员仅需要下达识别物体的识别指令，系统即会查找驾驶员下达该识别指令时行车记录仪所录制的视频帧，同时获取对应的驾驶员眼部位置及视线方向，进而计算出下达识别指令时，驾驶员眼球焦点在上述视频帧上的对应位置，再对该对应位置进行图像识别，即可以即时获取驾驶员所感兴趣的目标物体的详细信息，从而解决了现有技术不便于驾驶员在驾驶车辆时获取目标物体的详细信息的问题。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例所提供的物体识别方法的流程示意图；
图2为本发明实施例所提供的行车记录仪录制行车视频与识别物体的时间关系示意图；
图3为本发明一优选实施例所提供的物体识别方法的流程示意图；
图4为本发明实施例所提供的物体识别方法的执行原理图；
图5为本发明实施例所提供的物体识别方法的执行流程图；
图6为本发明实施例所提供的物体识别装置的结构示意图。
具体实施方式
下面将参考附图更详细地描述本申请的实施例。虽然附图中显示了本申请的实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更彻底地理解本申请，并且能够将本申请的范围完整地传达给本领域的技术人员。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面将参考附图并结合实施例来详细说明本发明。
请参阅图1，示出了本发明实施例所提供的一种物体识别方法的流程示意图，本发明实施例所提供的一种物体识别方法，应用于车辆的车载终端，所述车载终端存储有行车记录仪所录制的视频，其中，如图1所示，所述方法包括步骤S100～S600。
S100、监测并记录驾驶员的眼部信息，所述眼部信息包括眼部位置及视线方向。
上述步骤S100中，眼部位置为驾驶员的眼部相对于车辆的位置，因为车辆结构固定，因而在以车辆为参考系建立坐标系后，即可以计算处驾驶员眼部的坐标。具体地，眼部位置可以为驾驶员的眼部相对车辆的行车记录仪的位置，具体可以包括眼部离行车记录仪的距离及方位；而因为上述行车记录仪的坐标已知，通过上述眼部位置及行车记录仪的坐标，即可以计算出驾驶员眼部的坐标。在实际应用中，上述眼部位置包括左眼眼部位置及右眼眼部位置。
具体地，上述视线方向指的是驾驶员眼睛所看的方向，其中，因为驾驶员眼部处于不同位置时，同样的视线方向所聚焦的对象也不同，因而需要同时监测驾驶员的眼部位置及视线方向，并按监测时间将驾驶员的眼部位置及视线方向对应记录、保存。
步骤S200、在接收到用于识别物体的识别指令时，获取所述识别指令的生成时刻。
上述步骤S200中，上述识别指令为表示驾驶员需要识别目标对象的指令，该目标对象即驾驶员感兴趣的物体。在实际应用中，该识别指令可以时语音识别指令或触控识别指令。因为识别指令由驾驶员发出至车辆接收之间有一定的时间间隔，即车辆接收到识别物体的识别指令的时间滞后于驾驶员发出识别指令的时间，而上述生成时刻指的是驾驶员开始发出该识别指令的时刻。
其中，对于语音识别指令，上述生成时刻为驾驶员发出语音指令的第一个语音字段的时刻。在实际应用中，在确定驾驶员发出的语音指令为上述识别指令后，对应语音指令的第一个语音字段的接收时刻也即可以确定，也即能够得到上述生成时刻。另外，为了实现通过语音操作发出上述识别指令，上述车辆还包括用于接收用户语音信号的麦克风。
其中，对于触控识别指令，上述生成时刻为驾驶员触碰物理按键或虚拟按键的时间。在实际应用中，因为车辆从接收驾驶员的触控操作到确定该触控操作为上述识别指令之间的时间间隔是固定，也即是系统反应时间，因而在确定接收到的触发操作为上述识别物体的识别指令时，将确定接收到上述触控操作的时刻减去上述时间间隔，即得到驾驶员触碰物理按键或虚拟按键的时刻，也即上述识别指令的生成时刻。
步骤S300、在所述行车记录仪所录制的视频中，查找目标视频帧；其中，所述目标视频帧的录制时刻和所述生成时刻相同。
上述步骤S300中，车辆的行车记录仪按时间持续录制车辆前方区域的场景画面，因为是按时间持续录制的，因而所录制的视频中的每一个视频帧均对应有一个录制时刻，按步骤S200所确定的生成时刻，从行车记录仪所录制的视频中找寻对应时刻的视频帧，即可以获取驾驶员发出识别指令时所看到的场景画面。
由于车辆处于运行状态，容易出现驾驶员发出识别物体的识别指令后，至车辆接收到该识别指令时，驾驶员想要识别的物体已经不在行车记录仪拍摄视角之内的情况，因而需要计算驾驶员开始触发识别指令至车辆接收到识别指令之间的时间间隔t。例如，在上述识别指令为语音指令时，上述t即为车辆检测到语音指令的唤醒词到语音指令结束之间的时长，假设检测到唤醒词的时间为t1，语音指令结束时间为t2，则上述t＝t2-t1，因此，在语音命令结束时间t2，将已保存的行车记录仪录制视频倒回时长t，由此可以在连续的录像画面中调取出驾驶员开始下达命令时刻眼睛所看的画面。具体地，请参阅图2，示出了行车记录仪录制行车视频与识别物体的时间关系示意图，其中a表示行车记录仪按时间录制行车视频的过程，b表示根据时间识别物体的过程。
步骤S400、根据所述眼部位置及视线方向的监测记录，查找眼部信息；其中，所述目标眼部信息的记录时刻和所述生成时刻相同。
上述步骤S400中，因为是按时间对驾驶员的眼部位置及视线方向持续进行监测记录为驾驶员的眼部信息，因而在确定了识别指令的生成时刻后，可以根据该生成时刻，找寻到监测记录中该生成时刻处驾驶员的眼部信息，也即上述目标眼部信息，进而可以执行驾驶员的目标视线方向及目标眼部位置。
步骤S500、在所述目标视频帧中，查找所述目标眼部信息对应的焦点区域。
上述步骤S500中，因为目标视频帧由行车记录仪录制，且行车记录仪相对车辆的位置固定，而上述目标眼部位置为录制目标视频帧时驾驶员的眼部相对车辆的位置，且目标视线方向为录制目标视频帧时驾驶员的视线方向，因而通过目标眼部位置及目标视线方向，可以确定录制目标视频帧时，驾驶员的视线在行车记录仪的录制场景范围内的对应位置，而行车记录仪录制的场景范围大小不变，因而通过上述对应区域与行车记录仪录制的场景范围的位置关系，可以确定该对应区域在目标视频帧的位置，以该位置为基准点，外扩预设距离，即为上述焦点区域。
可选地，预先通过试验建立驾驶员的眼部位置、视线方向与焦点区域之间的对应关系。即预先确定了在不同的眼部位置、不同的视线方向下，驾驶员的视线在行车记录仪所录制的视频画面中对应的聚焦区域，这样在实际应用中，在已知眼部位置及视线方向时，通过上述对应关系，即可以确定驾驶员所聚焦的实际场景区域对应在行车记录仪所录制的视频画面中的区域位置，即上述焦点区域。在实际应用中，上述焦点区域可以是在行车记录仪所录制的视频画面中的坐标范围。
步骤S600、对所述焦点区域进行图像识别，并展示识别结果。
上述步骤S600中，利用图像识别技术，并结合数据库，对目标视频帧中焦点区域处的视频画面进行识别，并将识别出的物体信息展示出来，从而达到自动检索并告知驾驶员其所感兴趣的目标物体的详细信息的效果。
相对于现有技术，本发明所述的物体识别方法具有以下优势：
在查看到车外感兴趣的物体时，驾驶员仅需要下达识别物体的识别指令，系统即会查找驾驶员下达该识别指令时行车记录仪所录制的视频帧，同时获取对应的驾驶员眼部位置及视线方向，进而计算出下达识别指令时，驾驶员眼球焦点在上述视频帧上的对应区域，再对该对应区域进行图像识别，即可以即时获取驾驶员所感兴趣的目标物体的详细信息，从而解决了现有技术不便于驾驶员在驾驶车辆时获取目标物体的详细信息的问题。
可选地，在一种实施方式中，本发明实施例所提供的物体识别方法，在步骤S100之前，还包括步骤S101。
步骤S101、在接收到物体识别功能的开启指令时，进入所述监测并记录驾驶员的眼部信息的步骤。
上述步骤S101中，上述开启指令可以为唤醒词、物理按键开关或触控按键开关，在系统检测到唤醒词或开关闭合信号时，确认驾驶员将要使用物体识别功能，因而开始监测并记录包括眼部位置及视线方向的驾驶员眼部信息，避免了系统误触发进行物体识别。
可选地，在一种实施方式中，所述车辆还包括设置于车内的监控摄像头，上述步骤S100包括步骤S102～S106。
步骤S102、通过所述监控摄像头监测所述驾驶员的眼部与预设参考点之间的第一位置关系，以及监测所述驾驶员的眼球运动信息。
上述步骤S102中，上述预设参考点为车内一固定点，该预设参考点与行车记录仪之间的相对位置固定，且在监控摄像头对驾驶员的眼部进行监控时，预设参考点处于监控摄像头的监控范围内。具体地，该预设参考点可以设置于A柱上或驾驶员座椅头部位置。
上述步骤S102中，因为在监控摄像头对驾驶员的眼部进行监控时，预设参考点处于监控摄像头的监控范围内，因而通过监控画面即可以实时确定驾驶员的眼部相对预设参考点的位置，也即可以确定驾驶员的眼部与预设参考点之间的位置关系。而在获取包含驾驶员眼部的监控画面后，通过该监控画面即可以实时确定驾驶员的眼球运动信息。
具体地，可以通过监控摄像头拍摄包括预设参考点的驾驶员人脸图像；然后根据该人脸图像，确定驾驶员的眼部与预设参考点之间的位置关系，即上述第一位置关系，同时，根据该人脸图像，确定驾驶员的眼球位于驾驶员眼部的具体位置，即获取眼球运动信息。
在实际应用中，上述监控摄像头可以为眼部追踪摄像头或疲劳检测摄像头。
步骤S103、获取所述预设参考点与所述行车记录仪之间的第二位置关系。
上述步骤S103中，因为预设参考点在车上的位置固定，而行车记录仪在车上的位置固定，因而可以确定二者之间的位置关系，即上述第二位置关系。
步骤S104、根据所述第一位置关系及所述第二位置关系，确定所述驾驶员的眼部位置。
上述步骤S104中，因为第一位置关系确定了驾驶员的眼部离预设参考点的距离及方位，而第二位置关系确定了预设参考点离行车记录仪的距离及方位，因而通过第一位置关系及第二位置关系，可以确定驾驶员的眼部离行车记录仪的距离及方位，也即可以确定上述眼部位置。
步骤S105、根据所述眼球运动信息，计算所述驾驶员的视线方向。
上述步骤S105中，因为眼球运动信息确定了眼球与眼部的位置关系，因而根据眼球运动信息，可以计算出驾驶员的视线方向。具体地，该视线方向可以是相对监控摄像头的方向。
步骤S106、记录所述眼部位置及所述视线方向。
上述步骤S106中，即按时间记录对应的驾驶员眼部位置及视线方向，从而记录不同时刻驾驶员的眼部信息。
在本实施方式中，通过监控摄像头监测驾驶员的眼部与预设参考点之间的第一位置关系以及驾驶员的眼球运动信息，进而可以根据该第一位置关系及预设参考点与行车记录仪之间的位置关系，确定得到驾驶员眼部相对行车记录仪的位置，以及根据该眼球运行信息计算得到驾驶员的视线方向。
可选地，在一种实施方式中，本发明实施例所提供的物体识别方法，在所述识别指令为语音指令时，上述步骤S200包括步骤S201～S202。
步骤S201、在接收到识别物体的识别指令时，获取当前时刻及所述识别指令的形成时长。
上述步骤S201中，在上述识别指令为语音指令时，在车辆确定接收到驾驶员发出的需要对物体进行识别的识别指令时，获取该识别指令的接收时刻，以及从驾驶员开始触发开始生成该识别指令至车辆确认接收该识别指令之间的时长，也即上述识别指令的形成时长。在时间应用中，对于语音识别指令，上述形成时长为车辆检测到语音指令的第一个语音字段到语音指令结束字段之间的时长。
步骤S202、将所述当前时间减去所述形成时长，计算得到所述识别指令的生成时刻。
上述步骤S202中，通过将当前时间减去识别指令的形成时长，即可以计算得到驾驶员开始下达该识别指令时的时间，即上述生成时刻。
在实际应用中，在上述识别指令为语音识别指令时，上述生成时刻也可以根据确定为识别物体的语音识别指令的第一个语音字段的接收时刻确定。
例如，若驾驶员在驾驶过程中对车外某一事物感兴趣，并且下达语音命令如“那是什么动物？”时，则上述语音命令中“那”的接收时间即上述语音识别指令的生成时刻。
在本实施方式中，在识别指令为语音类指令时，通过将当前时间减去识别指令的形成时长，计算得到识别指令的生成时刻，便于准确在行车记录仪所录制的视频中找寻该生成时刻对应的视频帧，可以再现包括驾驶员感兴趣的待识别物体的视频画面。
可选地，在一种实施方式中，本发明实施例所提供的物体识别方法，在所述识别指令为触控指令时，上述步骤S200包括步骤S203。
步骤S203、在接收到用于识别物体的识别指令时，将所述识别指令的接收时刻，确定为所述生成时刻。
在该实施方式中，对于通过触控物理按键或虚拟按键触发的识别指令，直接将接收到上述识别指令的时刻，确定为驾驶员开始触发生成该指令的时刻，即上述生成时刻。
可选地，在一种实施方式中，上述步骤S600中，展示识别结果的步骤，具体包括步骤S601。
步骤S601、在识别结果包括目标对象时，对所述目标对象的文本信息进行语音解说。
上述步骤S601中，在通过图像识别技术识别出目标视频帧内焦点区域处的目标对象时，通过车载扬声器将该目标对象对应的物体的详细信息进行播报解说，以在不影响驾驶员驾驶车辆的前提下告知其感兴趣的目标物体的详细信息。
可选地，在一种具体地实施方式中，上述展示识别结果的步骤，还包括步骤S602、在无法识别所述焦点区域处的目标对象时，展示无法识别目标对象的信息。
上述步骤S602中，在确定了焦点区域处于目标视频帧内，且无法对该焦点区域处的目标对象进行识别的情况下，说明知识库里面找不到与要识别的物体匹配的内容，因而识别任务失败，并展示无法识别目标对象的信息。
可选地，在一种实施方式中，本发明实施例所提供的物体识别方法，还步骤S500之后，还包括步骤S700。
步骤S700、在所述目标眼部位置及所述目标视线方向对应的焦点区域超出所述目标视频帧的画面区域时，展示识别任务失败的信息。
上述步骤S700中，在目标眼部位置及目标视线方向所对应的焦点区域超出目标视频帧的画面区域时，说明在驾驶员触发识别指令时，驾驶员的视线焦点超出了行车记录仪的拍摄范围，也即用户在下达命令时所看的车外物体并没有被行车记录仪录入，因而展示并告知驾驶员识别任务失败的信息。
请参阅图3，示出了本发明一优选实施例所提供的物体识别方法的流程示意图。本发明实施例所提供的物体识别方法，应用于车辆，所述车辆包括设置于车内的监控摄像头，如图3所示，所述方法包括步骤S211～S220。
步骤S211、在接收到物体识别功能的开启指令时，进入所述监测并记录驾驶员的眼部信息的步骤。
上述步骤S211可以参照步骤S101的说明，在此不再赘述。
步骤S212、通过所述监控摄像头监测所述驾驶员的眼部与预设参考点之间的第一位置关系，以及监测所述驾驶员的眼球运动信息。
上述步骤S212可以参照步骤S102的说明，在此不再赘述。
步骤S213、获取所述预设参考点与所述行车记录仪之间的第二位置关系。
上述步骤S213可以参照步骤S103的说明，在此不再赘述。
步骤S214、根据所述第一位置关系及所述第二位置关系，确定所述驾驶员的眼部位置。
上述步骤S214可以参照步骤S104的说明，在此不再赘述。
步骤S215、根据所述眼球运动信息，计算所述驾驶员的视线方向。
上述步骤S215可以参照步骤S105的说明，在此不再赘述。
步骤S216、记录眼部信息，所述眼部信息包括所述眼部位置及所述视线方向。
上述步骤S216可以参照步骤S106的说明，在此不再赘述。
步骤S217、在接收到用于识别物体的识别指令时，若所述识别指令为语音指令，获取当前时间及所述识别指令的形成时长。
上述步骤S217可以参照步骤S201的说明，在此不再赘述。
步骤S218、将所述当前时刻减去所述形成时长，计算得到所述识别指令的生成时刻。
上述步骤S218可以参照步骤S202的说明，在此不再赘述。
步骤S219、在接收到用于识别物体的识别指令时，若所述识别指令为触控指令，将所述识别指令的接收时刻，确定为所述生成时刻。
上述步骤S219可以参照步骤S203的说明，在此不再赘述。
步骤S220、在所述行车记录仪所录制的视频中，查找目标视频帧；其中，所述目标视频帧的录制时刻和所述生成时刻相同。
上述步骤S220可以参照步骤S300的说明，在此不再赘述。
步骤S221、根据对所述眼部位置及视线方向的监测记录，查找目标眼部信息；其中，所述目标眼部信息的记录时刻和所述生成时刻相同。
上述步骤S221可以参照步骤S400的说明，在此不再赘述。
步骤S222、在所述目标视频帧中，查找所述目标眼部信息对应的焦点区域。
上述步骤S222可以参照步骤S500的说明，在此不再赘述。
步骤S223、对所述焦点区域进行图像识别，并展示识别结果。
上述步骤S223可以参照步骤S600的说明，在此不再赘述。
相对于现有技术，本发明所述的物体识别方法具有以下优势：
在接收到物体识别功能的开启指令后，通过监控摄像头及预设参考点监测驾驶员的眼部位置及视线方向；在接收到驾驶员下达识别物体的识别指令时，系统即会查找驾驶员下达该识别指令时行车记录仪所录制的视频帧，同时获取对应的驾驶员眼部位置及视线方向，进而计算出下达识别指令时，驾驶员眼球焦点在上述视频帧上的对应区域，再对该对应区域置进行图像识别，即可以即时获取驾驶员所感兴趣的目标物体的详细信息。因为上述识别过程中仅需驾驶员在看到感兴趣的物体时下达识别物体的识别指令即可，无需进行其他操作，从而解决了现有技术不便于驾驶员在驾驶车辆时获取目标物体的详细信息的问题。
请参阅图4，图4示出了本发明实施例所提供的物体识别方法的执行原理图。如图4所示，上述物体识别方法由开关模块41、采集模块42、处理模块43及执行模块44共同完成。
其中，开关模块41用于开启物体识别功能，具体包括按键开关及唤醒词单元；
采集模块42用于采集物体识别相关信息，具体包括命令接收装置、眼球追踪装置及录像装置；其中，命令接收装置用于识别指令，眼球追踪装置用于监控驾驶员的眼球运动信息及眼部位置，录像装置用于录制行车视频，也即行车记录仪；
处理模块43用于根据采集模块42所采集的物体识别相关信息确定目标对象，并利用图像识别技术分析识别目标对象；
执行模块44用于将处理模块43对目标对象的分析识别结果进行展示。
请参阅图5，图5示出了本发明实施例所提供的物体识别方法的执行流程图。
如图5所示，在步骤S501中，车辆行驶过程中，检测物体识别功能的唤醒词，或闭合开关的操作，在检测到驾驶员按下开关或者检测到唤醒词时，进入步骤S502；
在步骤S502中，麦克风开始接收语音命令并计时；
在步骤S503中，眼部追踪设备通过摄像头获取驾驶员的眼球运动信息，并以此为依据计算视线焦点在3D空间的坐标，即推断驾驶员在看什么地方；
在步骤S504中，判断驾驶员发出的语音命令是否结束，在语音命令结束时进入步骤S505；
在步骤S505中，当语音命令结束后，系统将行车记录仪已录制保存的视频图像向后倒回下达语音命令所用的时间t，以调取命令下达时刻对应的视频帧，并在该视频帧中确定驾驶员视线对应的焦点位置；
在步骤S506中，若在命令下达时刻对应的视频帧内未找到驾驶员视线对应的焦点位置，则说明行车记录仪未拍摄到驾驶员所看的目标物体，因而反馈识别任务失败；而在命令下达时刻对应的视频帧内找到驾驶员视线对应的焦点位置时，则进入步骤S507；
在步骤S507中，利用图像识别技术对焦点未处图像画面进行识别，然后进入步骤S508；
在步骤S508中，若未能利用图像识别技术识别出焦点位置处图像画面的物体，说明知识库里面找不到与要识别的物体匹配的内容，因而识别任务失败；若是利用图像识别技术识别出焦点位置处图像画面的物体，则将结果利用扬声器将识别结果内容进行播放解说。
本发明的另一目的在于提出一种物体识别装置，应用于车辆，其中，请参阅图6，图6示出了本发明实施例所提出的物体识别装置的结构示意图，所述装置包括：
监测模块61，用于监测并记录驾驶员的眼部信息所述眼部信息，所述眼部信息包括眼部位置及视线方向；
获取模块62，用于在接收到用于识别物体的识别指令时，获取所述识别指令的生成时刻；
第一查找模块63，用于在所述行车记录仪所录制的视频中，查找目标视频帧；其中，所述目标视频帧的录制时刻和所述生成时刻相同；
第二查找模块64，用于根据对所述眼部位置及视线方向的监测记录，查找目标眼部信息；其中，所述目标眼部信息的记录时刻和所述生成时刻相同；
第三查找模块65，用于在所述目标视频帧中，查找所述目标眼部信息对应的焦点区域；
识别模块66，用于对所述焦点区域进行图像识别，并展示识别结果。
本发明实施例所述的装置中，因为在查看到车外感兴趣的物体时，驾驶员仅需要下达识别物体的识别指令，系统即会查找驾驶员下达该识别指令时行车记录仪所录制的视频帧，同时获取对应的驾驶员眼部位置及视线方向，进而计算出下达识别指令时，驾驶员眼球焦点在上述视频帧上的对应位置，再对该对应位置进行图像识别，即可以即时获取驾驶员所感兴趣的目标物体的详细信息，从而解决了现有技术不便于驾驶员在驾驶车辆时获取目标物体的详细信息的问题。
可选地，所述的物体识别装置中，所述识别模块66，具体用于在识别结果包括目标对象时，对所述目标对象的文本信息进行语音解说
可选地，所述的物体识别装置中，所述车辆还包括设置于车内的监控摄像头，所述监测模块61包括：
监测单元，用于通过所述监控摄像头监测所述驾驶员的眼部与预设参考点之间的第一位置关系，以及监测所述驾驶员的眼球运动信息；其中，所述预设参考点为所述
第一获取单元，用于获取所述预设参考点与所述行车记录仪之间的第二位置关系；
第一确定单元，用于根据所述第一位置关系及所述第二位置关系，确定所述驾驶员的眼部位置；
第一计算单元，用于根据所述眼球运动信息，计算所述驾驶员的视线方向；
记录单元，用于记录所述眼部位置及所述视线方向。
可选地，所述的物体识别装置中，所述获取模块62包括：
第二获取单元，用于在所述识别指令为语音指令时，在接收到识别物体的识别指令时，获取当前时间及所述识别指令的形成时长；
第二计算单元，用于将所述当前时间减去所述形成时长，计算得到所述识别指令的生成时刻。
可选地，所述的物体识别装置中，所述获取模块62包括：
第二确定单元，用于在所述识别指令为触控指令时，在接收到用于识别物体的识别指令时，将所述识别指令的接收时刻，确定为所述生成时刻。
可选地，所述装置还包括：
开启模块，用于在所述监测并记录驾驶员的眼部信息的步骤之前，在接收到物体识别功能的开启指令时，进入所述监测并记录驾驶员的眼部信息的步骤。
本发明的再一目的在于提出一种车辆，其中，所述车辆包括行车记录仪，所述车辆包括所述的物体识别装置。
关于上述装置和车辆的技术细节和好处已在上述方法中进行了详细阐述，此处不再赘述。
综上所述，本申请提供的物体识别方法、装置及车辆，在接收到物体识别功能的开启指令后，通过监控摄像头及预设参考点监测驾驶员的眼部位置及视线方向；在接收到驾驶员下达识别物体的识别指令时，系统即会查找驾驶员下达该识别指令时行车记录仪所录制的视频帧，同时获取对应的驾驶员眼部位置及视线方向，进而计算出下达识别指令时，驾驶员眼球焦点在上述视频帧上对应的焦点区域，再对该对应的焦点区域进行图像识别，即可以即时获取驾驶员所感兴趣的目标物体的详细信息。因为上述识别过程中仅需驾驶员在查看到感兴趣的物体时下达识别物体的识别指令即可，无需进行其他操作，从而解决了现有技术不便于驾驶员在驾驶车辆时获取目标物体的详细信息的问题。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (11)

1.一种物体识别方法，其特征在于，应用于车辆的车载终端，所述车载终端存储有行车记录仪所录制的视频，所述方法包括：
监测并记录驾驶员的眼部信息，所述眼部信息包括眼部位置及视线方向；
在接收到用于识别物体的识别指令时，确定所述识别指令的生成时刻；
在所述行车记录仪所录制的视频中，查找目标视频帧；其中，所述目标视频帧的录制时刻和所述生成时刻相同；
根据对所述眼部位置及视线方向的监测记录，查找目标眼部信息；其中，所述目标眼部信息的记录时刻和所述生成时刻相同；
在所述目标视频帧中，查找所述目标眼部信息对应的焦点区域；
对所述焦点区域进行图像识别，并展示识别结果。
2.根据权利要求1所述的物体识别方法，其特征在于，展示识别结果的步骤，包括：
在识别结果包括目标对象时，对所述目标对象的文本信息进行语音解说。
3.根据权利要求1所述的物体识别方法，其特征在于，所述车辆还包括设置于车内的监控摄像头，所述监测并记录驾驶员的眼部信息，包括：
通过所述监控摄像头监测所述驾驶员的眼部与预设参考点之间的第一位置关系，以及监测所述驾驶员的眼球运动信息；
获取所述预设参考点与所述行车记录仪之间的第二位置关系；
根据所述第一位置关系及所述第二位置关系，确定所述驾驶员的眼部位置；
根据所述眼球运动信息，计算所述驾驶员的视线方向；
记录眼部信息，所述眼部信息包括所述眼部位置及所述视线方向。
4.根据权利要求1所述的物体识别方法，其特征在于，在所述识别指令为语音指令时，所述在接收到识别物体的识别指令时，确定所述识别指令的生成时刻的步骤，包括：
在接收到识别物体的识别指令时，获取当前时间及所述识别指令的形成时长；
将所述当前时间减去所述形成时长，计算得到所述识别指令的生成时刻。
5.根据权利要求1所述的物体识别方法，其特征在于，在所述识别指令为触控指令时，所述在接收到识别物体的识别指令时，确定所述识别指令的生成时刻的步骤，包括：
在接收到用于识别物体的识别指令时，将所述识别指令的接收时刻，确定为所述生成时刻。
6.一种物体识别装置，其特征在于，应用于车辆的车载终端，所述车载终端存储有行车记录仪所录制的视频，所述装置包括：
监测模块，用于监测并记录驾驶员的眼部信息所述眼部信息，所述眼部信息包括眼部位置及视线方向；
获取模块，用于在接收到用于识别物体的识别指令时，获取所述识别指令的生成时刻；
第一查找模块，用于在所述行车记录仪所录制的视频中，查找目标视频帧；其中，所述目标视频帧的录制时刻和所述生成时刻相同；
第二查找模块，用于根据对所述眼部位置及视线方向的监测记录，查找目标眼部信息；其中，所述目标眼部信息的记录时刻和所述生成时刻相同；
第三查找模块，用于在所述目标视频帧中，查找所述目标眼部信息对应的焦点区域；
识别模块，用于对所述焦点区域进行图像识别，并展示识别结果。
7.根据权利要求6所述的物体识别装置，其特征在于，所述识别模块，具体用于在识别结果包括目标对象时，对所述目标对象的文本信息进行语音解说。
8.根据权利要求6所述的物体识别装置，其特征在于，所述车辆还包括设置于车内的监控摄像头，所述监测模块包括：
监测单元，用于通过所述监控摄像头监测所述驾驶员的眼部与预设参考点之间的第一位置关系，以及监测所述驾驶员的眼球运动信息；
第一获取单元，用于获取所述预设参考点与所述行车记录仪之间的第二位置关系；
第一确定单元，用于根据所述第一位置关系及所述第二位置关系，确定所述驾驶员的眼部位置；
第一计算单元，用于根据所述眼球运动信息，计算所述驾驶员的视线方向；
记录单元，用于记录眼部信息，所述眼部信息包括所述眼部位置及所述视线方向。
9.根据权利要求6所述的物体识别装置，其特征在于，所述获取模块包括：
第二获取单元，用于在所述识别指令为语音指令时，在接收到识别物体的识别指令时，获取当前时刻及所述识别指令的形成时长；
第二计算单元，用于将所述当前时刻减去所述形成时长，计算得到所述识别指令的生成时刻。
10.根据权利要求6所述的物体识别装置，其特征在于，所述获取模块包括：
第二确定单元，用于在所述识别指令为触控指令时，在接收到用于识别物体的识别指令时，将所述识别指令的接收时刻，确定为所述生成时刻。
11.一种车辆，其特征在于，所述车辆包括行车记录仪，所述车辆还包括如权利要求6～10任一所述的物体识别装置。
CN202011044051.6A 2020-09-28 2020-09-28 一种物体识别方法、装置及车辆 Pending CN112182256A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011044051.6A CN112182256A (zh) 2020-09-28 2020-09-28 一种物体识别方法、装置及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011044051.6A CN112182256A (zh) 2020-09-28 2020-09-28 一种物体识别方法、装置及车辆

Publications (1)

Publication Number Publication Date
CN112182256A true CN112182256A (zh) 2021-01-05

Family

ID=73946855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011044051.6A Pending CN112182256A (zh) 2020-09-28 2020-09-28 一种物体识别方法、装置及车辆

Country Status (1)

Country Link
CN (1) CN112182256A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113228620A (zh) * 2021-03-30 2021-08-06 华为技术有限公司 一种图像的获取方法以及相关设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105100911A (zh) * 2014-05-06 2015-11-25 夏普株式会社 智能多媒体系统和方法
CN106155291A (zh) * 2015-04-14 2016-11-23 鸿富锦精密工业（深圳）有限公司 车辆控制系统及其操作方法
US20180356237A1 (en) * 2015-12-10 2018-12-13 Cellepathy Inc. Enhanced navigation instruction and user determination
CN109697416A (zh) * 2018-12-14 2019-04-30 腾讯科技（深圳）有限公司 一种视频数据处理方法和相关装置
CN110856107A (zh) * 2018-08-21 2020-02-28 上海擎感智能科技有限公司 智能导游方法、系统、服务器及车辆
CN110855733A (zh) * 2018-08-21 2020-02-28 上海擎感智能科技有限公司 车辆介绍方法、系统、服务器及车辆

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105100911A (zh) * 2014-05-06 2015-11-25 夏普株式会社 智能多媒体系统和方法
CN106155291A (zh) * 2015-04-14 2016-11-23 鸿富锦精密工业（深圳）有限公司 车辆控制系统及其操作方法
US20180356237A1 (en) * 2015-12-10 2018-12-13 Cellepathy Inc. Enhanced navigation instruction and user determination
CN110856107A (zh) * 2018-08-21 2020-02-28 上海擎感智能科技有限公司 智能导游方法、系统、服务器及车辆
CN110855733A (zh) * 2018-08-21 2020-02-28 上海擎感智能科技有限公司 车辆介绍方法、系统、服务器及车辆
CN109697416A (zh) * 2018-12-14 2019-04-30 腾讯科技（深圳）有限公司 一种视频数据处理方法和相关装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113228620A (zh) * 2021-03-30 2021-08-06 华为技术有限公司 一种图像的获取方法以及相关设备
CN113228620B (zh) * 2021-03-30 2022-07-22 华为技术有限公司 一种图像的获取方法以及相关设备

Similar Documents

Publication Publication Date Title
US11847857B2 (en) Vehicle device setting method
EP3232343A1 (en) Method and apparatus for managing video data, terminal, and server
CN105488957A (zh) 疲劳驾驶检测方法及装置
CN105701458B (zh) 基于车载设备获取图像识别车辆外部信息的方法及系统
CN104092936A (zh) 自动对焦方法及装置
WO2007074842A1 (ja) 画像処理装置
KR101575159B1 (ko) 주차 정보 제공을 위한 모바일 단말기용 어플리케이션의 동작방법
KR101563542B1 (ko) 모바일 단말기를 이용한 주차 정보 제공 시스템
CN104503888A (zh) 告警提示的方法及装置
CN106482740A (zh) 生成导航线路的方法及装置
CN110784523B (zh) 一种目标物信息的推送方法及装置
CN105447476A (zh) 行车预警方法和装置
CN105301585A (zh) 信息展示方法及装置
CN112182256A (zh) 一种物体识别方法、装置及车辆
CN106202193A (zh) 道路图像信息获取的方法、装置及系统
CN107323347A (zh) 后视镜调整方法、装置及终端
CN107832726B (zh) 使用者识别和确认装置及车用中央控制系统
KR101919354B1 (ko) 기계학습과 음성인식 기반의 스마트폰 착탈식 지능형 이동로봇 시스템
US11536970B1 (en) Tracking of item of interest using wearable heads up display
CN110556015A (zh) 车辆定位方法、车辆定位系统以及车辆
CN114760417A (zh) 一种图像拍摄方法和装置、电子设备和存储介质
CN110459217B (zh) 一种车载问答方法、系统、车辆及存储介质
CN106476700A (zh) 驾车安全提醒的方法、装置、后视镜及交通工具
JP2011205321A (ja) 撮像装置及び被写体検出方法
CN112115887B (zh) 监控方法、车载终端及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210105

RJ01 Rejection of invention patent application after publication