CN111199734B - 移动终端的控制方法及装置、计算机设备和可读存储介质 - Google Patents

移动终端的控制方法及装置、计算机设备和可读存储介质 Download PDF

Info

Publication number
CN111199734B
CN111199734B CN201811383611.3A CN201811383611A CN111199734B CN 111199734 B CN111199734 B CN 111199734B CN 201811383611 A CN201811383611 A CN 201811383611A CN 111199734 B CN111199734 B CN 111199734B
Authority
CN
China
Prior art keywords
reference object
vehicle
mobile terminal
control instruction
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811383611.3A
Other languages
English (en)
Other versions
CN111199734A (zh
Inventor
唐帅
张海强
陈美阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Priority to CN201811383611.3A priority Critical patent/CN111199734B/zh
Publication of CN111199734A publication Critical patent/CN111199734A/zh
Application granted granted Critical
Publication of CN111199734B publication Critical patent/CN111199734B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/40—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/02—Details of telephonic subscriber devices including a Bluetooth interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/06—Details of telephonic subscriber devices including a wireless LAN interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种移动终端的控制方法，所述控制方法包括：获取用于移动终端的控制指令；根据所述控制指令对车载屏幕内的图像进行识别，得到与所述控制指令对应的参考对象及所述参考对象在所述车载屏幕中的坐标；输出所述控制指令和所述参考对象的坐标至所述移动终端，所述参考对象的坐标用于使所述移动终端确定与所述参考对象对应的目标对象，并根据所述控制指令对所述目标对象进行控制。其不需要用户手动操作，仅仅通过用户的语音信号或虹膜动作等方式便能够实现对移动终端的控制，从而保证用户的人身安全，并且操作简便，操作效率高。本发明还涉及一种移动终端的控制装置、计算机设备和计算机可读存储介质。

Description

移动终端的控制方法及装置、计算机设备和可读存储介质
技术领域
本发明涉及车辆领域，特别是涉及一种移动终端的控制方法及装置、计算机设备和计算机可读存储介质。
背景技术
车载屏幕又称为车机屏幕，是设置在车内部的显示器。随着科技的发展，在车载屏幕上同步显示移动终端(如手机)的屏幕的画面，方便驾驶员查看移动终端画面信息已经被广泛应用在人们的生活之中。
众所周知，驾驶员在驾驶过程中有拨打、接听手机等妨碍安全驾驶行为的，违者将处罚款并扣两分。为了避免驾驶员在驾驶过程中使用手机，传统技术将手机屏幕投射到车载屏幕上，通过对车载屏幕进行点击来完成对手机的操作。
然而，采用上述方法仍然需要驾驶员手动点击，从而给驾驶员的人身安全造成潜在危险，并且手动操作比较繁琐，操作时间较长，导致操作效率较低。
发明内容
基于此，有必要针对上述操作效率较低的问题，提供一种操作效率高的移动终端的控制方法及装置、计算机设备和计算机可读存储介质。
一种移动终端的控制方法，所述控制方法包括：
获取用于移动终端的控制指令；
根据所述控制指令对车载屏幕内的图像进行识别，得到与所述控制指令对应的参考对象及所述参考对象在所述车载屏幕中的坐标；
输出所述控制指令和所述参考对象的坐标至所述移动终端，所述参考对象的坐标用于使所述移动终端确定与所述参考对象对应的目标对象，并根据所述控制指令对所述目标对象进行控制。
在其中一个实施例中，所述控制指令包括操作指令；
所述获取用于移动终端的控制指令的步骤包括：
获取语音信息；
将所述语音信息转化为文本信息；
提取所述文本信息中的关键词，得到所述操作指令。
在其中一个实施例中，所述控制指令还包括操作对象；
所述根据所述控制指令对车载屏幕内的图像进行识别，得到与所述控制指令对应的参考对象及所述参考对象在所述车载屏幕中的坐标的步骤包括：
将所述操作对象在所述车载屏幕内的图像中进行匹配，判断所述车载屏幕内的图像中是否存在与所述操作对象匹配的参考对象；
若所述车载屏幕内的图像中存在与所述操作对象匹配的参考对象，则获取所述参考对象在所述车载屏幕中的坐标。
在其中一个实施例中，所述输出所述控制指令和所述参考对象的坐标至所述移动终端，所述参考对象的坐标用于使所述移动终端确定与所述参考对象对应的目标对象，并根据所述控制指令对所述目标对象进行控制的步骤包括：
获取所述操作指令对应的动作标识；
将所述动作标识和所述参考对象的坐标输出至所述移动终端，所述动作标识用于指示对所述目标对象执行的控制动作。
在其中一个实施例中，所述根据所述控制指令对车载屏幕内的图像进行识别，得到与所述控制指令对应的参考对象及所述参考对象在所述车载屏幕中的坐标的步骤还包括：
在所述车载屏幕内的图像中运行图像识别选择框，以对所述车载屏幕内的图像进行扫描，得到与所述控制指令对应的参考对象及所述参考对象在所述车载屏幕中的坐标。
在其中一个实施例中，所述根据所述控制指令对车载屏幕内的图像进行识别，得到与所述控制指令对应的参考对象及所述参考对象在所述车载屏幕中的坐标的步骤还包括：
根据所述控制指令对所述车载屏幕内的图像进行识别，得到与所述控制指令对应的参考对象及围绕所述参考对象的边界框；
根据所述围绕参考对象的边界框得到所述参考对象在所述车载屏幕中的坐标。
在其中一个实施例中，所述根据所述控制指令对车载屏幕内的图像进行识别，得到与所述控制指令对应的参考对象及所述参考对象在所述车载屏幕中的坐标的步骤之前包括：
获取移动终端的屏幕图像；
将所述移动终端的屏幕图像投射到所述车载屏幕内，得到所述车载屏幕内的图像。
一种移动终端的控制方法，所述控制方法包括：
接收车载控制系统发送的控制指令和参考对象的坐标；
根据所述参考对象的坐标识别在所述移动终端的屏幕中，与所述参考对象对应的目标对象；
根据所述控制指令，对所述目标对象进行控制。
一种移动终端的控制装置，所述控制装置包括：
获取模块，用于获取用于移动终端的控制指令；
第一识别模块，用于根据所述控制指令对车载屏幕内的图像进行识别，得到与所述控制指令对应的参考对象及所述参考对象在所述车载屏幕中的坐标；
输出模块，用于输出所述控制指令和所述参考对象的坐标至所述移动终端，所述参考对象的坐标用于使所述移动终端确定与所述参考对象对应的目标对象，并根据所述控制指令对所述目标对象进行控制。
一种移动终端的控制装置，所述控制装置包括：
接收模块，用于接收车载控制系统发送的控制指令和参考对象的坐标；
第二识别模块，用于根据所述参考对象的坐标识别在所述移动终端的屏幕中，与所述参考对象对应的目标对象；
控制模块，用于根据所述控制指令，对所述目标对象进行控制。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
上述移动终端的控制方法及装置、计算机设备和计算机可读存储介质，首先获取用于移动终端的控制指令，该控制指令可根据用户的语音信号或者虹膜动作生成。然后根据移动终端的控制指令对车载屏幕内的图像进行识别，获取该图像中的参考对象及其坐标。进而将控制指令和参考对象的坐标输出至移动终端，以使移动终端确定与所述参考对象对应的目标对象，并根据控制指令对目标对象进行控制。该移动终端的控制方法及装置、计算机设备和计算机可读存储介质，不需要用户手动操作，仅仅通过用户的语音信号或虹膜动作等方式便能够实现对移动终端的控制，从而保证用户的人身安全，并且操作简便，操作效率高。
附图说明
图1为一实施例中移动终端的控制方法的应用场景架构示意图；
图2为一实施例中移动终端的控制方法的流程示意图；
图3为一实施例中根据语音信息获取操作指令的流程示意图；
图4为一实施例中输出动作标识的流程示意图；
图5为一实施例中获取参考对象及其坐标的流程示意图；
图6为一实施例中将移动终端的屏幕图像投射到车载屏幕内的流程示意图；
图7为另一实施例中移动终端的控制方法的流程示意图；
图8为一实施例中移动终端的控制装置的结构框图；
图9为另一实施例中移动终端的控制装置的结构框图；
图10为一实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的移动终端的控制方法，其执行主体可以是下述实施例中涉及到的移动终端的控制装置。可选地，该控制装置可以通过软件、硬件或者软硬件结合的方式实现。可选地，该控制装置可以是集成在电子设备中的部分装置，还可以是独立的电子设备。下述方法实施例中均以执行主体是电子设备为例来进行说明。
本申请实施例提供的移动终端的控制方法，可以适用于图1所示的应用场景。该应用场景架构可以包括车载控制系统110以及与车载控制系统110连接的移动终端120。车载控制系统110可以获取移动终端120的屏幕图像作为车载屏幕内的图像，并获取用于移动终端的控制指令，根据该控制指令对车载屏幕内的图像进行识别，得到与该控制指令对应的参考对象及参考对象的坐标，最后，输出该控制指令和参考对象的坐标至移动终端120。进一步地，移动终端120根据接收到的控制指令对参考对象对应的目标对象进行控制。
请参阅图2，本申请一实施例提供了一种移动终端的控制方法，本实施例以所述方法应用于图1中的车载控制系统110来举例说明。其中，该控制方法具体包括如下步骤：
S202，获取用于移动终端的控制指令；
具体地，控制指令的获取方式，可以通过虹膜动作、语音控制或者其它可传递操作信息的方式来获取控制指令，包括：响应检测到的虹膜动作，获取与虹膜动作对应的控制指令；响应检测到的语音信号，获取与语音信号对应的控制指令等等。比如，检测到用户发出的语音信号为“单击购物车”，则车载控制系统根据“单击购物车”这一语音信号生成对应的控制指令。
S204，根据所述控制指令对车载屏幕内的图像进行识别，得到与所述控制指令对应的参考对象及所述参考对象在所述车载屏幕中的坐标。
具体地，车载屏幕的坐标需要预先设置好，进而车载屏幕内显示的图像也具有相应的坐标表示。控制指令包括操作对象，以上述根据语音信号为“单击购物车”生成的控制指令为例，它对应的操作对象是“购物车”。更具体地，可利用图像识别技术对车载屏幕内的图像进行图像识别，获取车载屏幕内的图像中的识别文本。若判断出识别文本中存在与操作对象一致的参考对象，则获取该参考对象在车载屏幕中的坐标。
S206，输出所述控制指令和所述参考对象的坐标至所述移动终端，所述参考对象的坐标用于使所述移动终端确定与所述参考对象对应的目标对象，并根据所述控制指令对所述目标对象进行控制。
具体地，车载控制系统将操作指令和参考对象的坐标发送至移动终端。可选地，车载控制系统与移动终端可以通过蓝牙或WiFi连接，进而车载控制系统将该操作指令和参考对象的坐标发送至移动终端。在移动终端中，根据参考对象的坐标寻找到目标对象的位置，并根据控制指令和目标对象的位置来对目标对象进行控制。另外，目标对象的位置可以用目标对象在移动终端屏幕中的坐标表示，也可以用目标对象在移动终端屏幕中的比例来表示，本实施例对此并不限定。
上述移动终端的控制方法，首先获取用于移动终端的控制指令，该控制指令可根据用户的语音信号或者虹膜动作生成。然后根据移动终端的控制指令对车载屏幕内的图像进行识别，获取该图像中的参考对象及其坐标。进而将控制指令和参考对象的坐标输出至移动终端，以使移动终端确定与所述参考对象对应的目标对象，并根据控制指令对目标对象进行控制。该移动终端的控制方法及装置、计算机设备和计算机可读存储介质，不需要用户手动操作，仅仅通过用户的语音信号或虹膜动作等方式便能够实现对移动终端的控制，从而保证用户的人身安全，并且操作简便，操作效率高。
进一步地，车载屏幕内的图像的获取方式可以是：移动终端将其屏幕图像通过有线(USB线)或无线(蓝牙或WiFi)的方式投射到车载屏幕上。请参阅图3，在一个实施例中，涉及将移动终端的屏幕图像投射到车载屏幕上的具体过程。其中，S204之前包括如下步骤：
S200，获取移动终端的屏幕图像；
S201，将所述移动终端的屏幕图像投射到所述车载屏幕内，得到所述车载屏幕内的图像。
具体地，在移动终端与车载控制系统互联之后，移动终端可以将移动终端屏幕上的图像实时地投射到车载屏幕上。其中，车载屏幕可以是具有触屏功能的显示屏。车载控制系统接收到移动终端的屏幕图像后，将移动终端的屏幕图像投射到车载屏幕上，进而显示出车载屏幕内的图像。可以理解，车载屏幕内的图像与移动终端的屏幕图像是相同的。
作为一种可选的实施方式，移动终端可以是手机，则S204之前包括如下步骤：
S2002，获取手机的屏幕图像；
S2012，将所述手机的屏幕图像投射到所述车载屏幕内，得到所述车载屏幕内的图像。
具体地，移动终端可以是安卓手机，车载控制系统可以打开adb(Android DebugBridge)连接安卓手机，并与安卓手机建立远端socket连接。车载控制系统与安卓手机建立连接之后，车载控制系统可将其屏幕尺寸信息发送给安卓手机。另外，车载控制系统还可以向安卓手机发送视窗尺寸信息。进一步地，安卓手机接收该屏幕尺寸信息，并获取自己的屏幕尺寸信息，根据从车载控制系统接收的屏幕尺寸信息和自己的屏幕尺寸信息来确定车载屏幕与手机屏幕之间的坐标转换关系。具体来说，坐标转换可以包括坐标旋转和/或坐标缩放。
在本实施例中，坐标旋转可以包括：根据可用屏幕尺寸信息确定可用车载屏幕的方向，该方向可以包括竖屏或横屏；确定可用车载屏幕的方向与手机屏幕的方向是否一致；如果可用车载屏幕的方向与手机屏幕的方向不一致，则计算车载屏幕与手机屏幕之间的坐标旋转值。
举例来说，假如车载屏幕的方向是横屏，手机屏幕的方向是竖屏，则需要根据相应算法计算坐标旋转值。计算坐标旋转值所使用的算法是本领域技术人员所知的，在此不再赘述。
更进一步地，控制指令可包括操作指令和操作对象，以上述控制指令为“单击购物车”为例，操作指令指“单击”，操作对象指“购物车”。另外，操作指令还可包括双击、选择，操作对象还可包括火车票、联系人。
请参阅图4，在其中一个实施例中，涉及根据语音信息获取操作指令的具体过程。其中，S202具体包括如下步骤：
S2022，获取语音信息；
S2024，将所述语音信息转化为文本信息；
S2026，提取所述文本信息中的关键词，得到所述操作指令。
具体地，用户可通过语音方式发送语音命令，车载控制系统获取该语音命令并得到对应的语音信息。车载控制系统可以对语音信息进行语音识别或语义识别，即可以将接收到的语音信息识别为文本信息，或识别接收到的语音信息中所要表达的语言含义。进一步地，再根据预先设置的关键词对该文本信息进行匹配，若该文本信息中包括对应的关键词，则提取该文本信息中的关键词，作为所述操作指令。通过运用关键词获取操作指令，使得对移动终端的控制更为准确。
可选地，车载控制系统在将所述语音信息转换成文本信息后，可以将所述文本信息进行显示，以便用户能够实时获取所述语音信息的内容。
进一步地，请参阅图5，在其中一个实施例中，涉及输出动作标识的具体过程。其中，S206具体包括如下步骤：
S2062，获取所述操作指令对应的动作标识；
S2064，将所述动作标识和所述参考对象的坐标输出至所述移动终端，所述动作标识用于指示对所述目标对象执行的控制动作。
具体地，在车载控制系统中，预先设置好操作指令对应的动作标识，比如，设置“003”代表操作指令“双击”，“003”便是双击的动作标识。当然，也可以选择其它标识方式作为动作标识，在此不做限定。在数据传输过程中，采用动作标识能够节省传输时间，加快传输效率。
请参阅图6，在其中一个实施例中，涉及在车载屏幕内的图像中获取操作对象对应的参考对象的具体过程。在本实施例中，S204具体包括如下步骤：
S2042，将所述操作对象在所述车载屏幕内的图像中进行匹配，判断所述车载屏幕内的图像中是否存在与所述操作对象匹配的参考对象；
S2044，若所述车载屏幕内的图像中存在与所述操作对象匹配的参考对象，则获取所述参考对象在所述车载屏幕中的坐标。
具体地，对车载屏幕内的图像进行图像识别是指：对车载屏幕内的图像中的文本进行识别，因此，图像识别结果为车载屏幕内的图像中所包含的文本。将文本内容与操作对象进行匹配，判断该文本中是否存在与操作对象匹配的参考对象，若是，则获取参考对象在车载屏幕中的坐标；若否，则输出提醒指示。
进一步地，在其中一个实施例中，涉及通过图像识别选择框获取参考对象及参考对象的坐标的具体过程。其中，S204还包括如下步骤：
S2041，在所述车载屏幕内的图像中运行图像识别选择框，以对所述车载屏幕内的图像进行扫描，得到与所述控制指令对应的参考对象及所述参考对象在所述车载屏幕中的坐标。
具体地，在车载控制系统中可设置一个图像识别选择框，并在车载屏幕内的图像中运行该图像识别选择框，来完成对车载屏幕内的图像进行的扫描识别过程。图像识别选择框运行的起始位置可以是是车载屏幕内的图像的左上角，并进行横向扫描，其中，可采用逐行扫描或隔行扫描的方式进行图像的扫描。
逐行扫描是指每一帧图像由电子束顺序地一行接着一行连续扫描而成。逐行扫描的画面平滑自然无闪烁。隔行扫描是指把每一帧图像通过两场扫描完成，两场扫描中，第一场(奇数场)只扫描奇数行，依次扫描1、3、5…行，而第二场(偶数场)只扫描偶数行，依次扫描2、4、6…行。隔行扫描技术在传送信号带宽不够的情况下起了很大作用。
进一步地，由于车载屏幕内的图像中的文字大小不一，因此可以先用一个大的选择框进行扫描，再用一个小的选择框进行扫描。另外，除了选择框的大小变动，还可以先在图像上做边缘检测，然后只在有边缘的区域用图像识别选择框进行扫描。图像识别选择框可以在扫描到参考对象后停止扫描，或者扫描到图像的右下角后结束扫描。在每次图像识别选择框扫描的过程中，都需要识别里面的文本。
在其中一个实施例中，涉及获取围绕参考对象的边界框的具体过程。在本实施例中，S204具体包括如下步骤：
S204a，根据所述控制指令对所述车载屏幕内的图像进行识别，得到与所述控制指令对应的参考对象及围绕所述参考对象的边界框；
S204b，根据所述围绕参考对象的边界框得到所述参考对象在所述车载屏幕中的坐标。
具体地，若车载屏幕内的图像中存在参考对象，则获取围绕该参考对象的边界框的坐标，并将其作为所述参考对象的坐标。进一步地，根据围绕该参考对象的边界框的坐标，计算该参考对象的边界框的中心坐标。围绕参考对象的边界框就是一个或多个文字的边缘边界所构成的框架，用于定义参考对象相对于车载屏幕内的图像的位置和大小。可选地，边界框可以是多边形、圆形。比如“火车票”这三个字，那么其边界框的坐标就是：火的最左面、票的最右面以及字的上下边缘所构成的边界的坐标。
在一个可选的实施例中，可将围绕参考对象的边界框的坐标、参考对象的边界框的中心坐标和操作指令发送给移动终端(如手机)。
请参阅图7，本申请另一实施例还提供了一种移动终端的控制方法，本实施例以所述方法应用于图1中的移动终端120来举例说明。具体地，该控制方法包括如下步骤：
S302，接收车载控制系统发送的控制指令和参考对象的坐标；
S304，根据所述参考对象的坐标识别在所述移动终端的屏幕中，与所述参考对象对应的目标对象；
S306，根据所述控制指令，对所述目标对象进行控制。
具体地，移动终端获取车载控制系统发送的操作指令和参考对象的坐标，可根据预设的基于车载屏幕的坐标与手机屏幕的坐标的映射方程式，得到在移动终端中与参考对象匹配的目标对象的坐标，进而在目标对象的坐标内根据所述操作指令对移动终端进行控制。
可选地，在移动终端内进行的操作可以是通过手机里的软件执行，例如一个在后台运行的App进行操作，其操作精度可以精确到像素级。
上述移动终端的控制方法，首先获取用于移动终端的控制指令，该控制指令可根据用户的语音信号或者虹膜动作生成。然后根据移动终端的控制指令对车载屏幕内的图像进行识别，获取该图像中的参考对象及其坐标。进而将控制指令和参考对象的坐标输出至移动终端，以使移动终端确定与所述参考对象对应的目标对象，并根据控制指令对目标对象进行控制。该移动终端的控制方法及装置、计算机设备和计算机可读存储介质，不需要用户手动操作，仅仅通过用户的语音信号或虹膜动作等方式便能够实现对移动终端的控制，从而保证用户的人身安全，并且操作简便，操作效率高。
应该理解的是，虽然图2-7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
请参阅图8，在一个实施例中，提供了一种移动终端的控制装置400，该控制装置400包括：
获取模块410，用于获取用于移动终端的控制指令；
第一识别模块420，用于根据所述控制指令对车载屏幕内的图像进行识别，得到与所述控制指令对应的参考对象及所述参考对象在所述车载屏幕中的坐标；
输出模块430，用于输出所述控制指令和所述参考对象的坐标至所述移动终端，所述参考对象的坐标用于使所述移动终端确定与所述参考对象对应的目标对象，并根据所述控制指令对所述目标对象进行控制。
上述移动终端的控制装置，首先获取用于移动终端的控制指令，该控制指令可根据用户的语音信号或者虹膜动作生成。然后根据移动终端的控制指令对车载屏幕内的图像进行识别，获取该图像中的参考对象及其坐标。进而将控制指令和参考对象的坐标输出至移动终端，以使移动终端确定与所述参考对象对应的目标对象，并根据控制指令对目标对象进行控制。该移动终端的控制方法及装置、计算机设备和计算机可读存储介质，不需要用户手动操作，仅仅通过用户的语音信号或虹膜动作等方式便能够实现对移动终端的控制，从而保证用户的人身安全，并且操作简便，操作效率高。
在一个实施例中，获取模块410还用于获取语音信息；将所述语音信息转化为文本信息；提取所述文本信息中的关键词，得到所述操作指令。
在一个实施例中，识别模块420还用于将所述操作对象在所述车载屏幕内的图像中进行匹配，判断所述车载屏幕内的图像中是否存在与所述操作对象匹配的参考对象；若所述车载屏幕内的图像中存在与所述操作对象匹配的参考对象，则获取所述参考对象在所述车载屏幕中的坐标。
在一个实施例中，输出模块430还用于获取所述操作指令对应的动作标识；将所述动作标识和所述参考对象的坐标输出至所述移动终端，所述动作标识用于指示对所述目标对象执行的控制动作。
在一个实施例中，识别模块420还用于在所述车载屏幕内的图像中运行图像识别选择框，以对所述车载屏幕内的图像进行扫描，得到与所述控制指令对应的参考对象及所述参考对象在所述车载屏幕中的坐标。
在一个实施例中，识别模块420还用于根据所述控制指令对所述车载屏幕内的图像进行识别，得到与所述控制指令对应的参考对象及围绕所述参考对象的边界框；根据所述围绕参考对象的边界框得到所述参考对象在所述车载屏幕中的坐标。
在一个实施例中，该控制装置400还包括：
图像获取模块(图未示)，用于获取移动终端的屏幕图像；
投射模块(图未示)，将所述移动终端的屏幕图像投射到所述车载屏幕内，得到所述车载屏幕内的图像。
请参阅图9，在一个实施例中，还提供了一种移动终端的控制装置500，所述控制装置500包括：
接收模块510，用于接收车载控制系统发送的控制指令和参考对象的坐标；
第二识别模块520，用于根据所述参考对象的坐标识别在所述移动终端的屏幕中，与所述参考对象对应的目标对象；
控制模块530，用于根据所述控制指令，对所述目标对象进行控制。
关于移动终端的控制装置的具体限定可以参见上文中对于移动终端的控制方法的限定，在此不再赘述。上述移动终端的控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种移动终端的控制方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
获取用于移动终端的控制指令；
根据所述控制指令对车载屏幕内的图像进行识别，得到与所述控制指令对应的参考对象及所述参考对象在所述车载屏幕中的坐标；
输出所述控制指令和所述参考对象的坐标至所述移动终端，所述参考对象的坐标用于使所述移动终端确定与所述参考对象对应的目标对象，并根据所述控制指令对所述目标对象进行控制。
上述计算机设备，首先获取用于移动终端的控制指令，该控制指令可根据用户的语音信号或者虹膜动作生成。然后根据移动终端的控制指令对车载屏幕内的图像进行识别，获取该图像中的参考对象及其坐标。进而将控制指令和参考对象的坐标输出至移动终端，以使移动终端确定与所述参考对象对应的目标对象，并根据控制指令对目标对象进行控制。该移动终端的控制方法及装置、计算机设备和计算机可读存储介质，不需要用户手动操作，仅仅通过用户的语音信号或虹膜动作等方式便能够实现对移动终端的控制，从而保证用户的人身安全，并且操作简便，操作效率高。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取用于移动终端的控制指令；
根据所述控制指令对车载屏幕内的图像进行识别，得到与所述控制指令对应的参考对象及所述参考对象在所述车载屏幕中的坐标；
输出所述控制指令和所述参考对象的坐标至所述移动终端，所述参考对象的坐标用于使所述移动终端确定与所述参考对象对应的目标对象，并根据所述控制指令对所述目标对象进行控制。
上述计算机可读存储介质，首先获取用于移动终端的控制指令，该控制指令可根据用户的语音信号或者虹膜动作生成。然后根据移动终端的控制指令对车载屏幕内的图像进行识别，获取该图像中的参考对象及其坐标。进而将控制指令和参考对象的坐标输出至移动终端，以使移动终端确定与所述参考对象对应的目标对象，并根据控制指令对目标对象进行控制。该移动终端的控制方法及装置、计算机设备和计算机可读存储介质，不需要用户手动操作，仅仅通过用户的语音信号或虹膜动作等方式便能够实现对移动终端的控制，从而保证用户的人身安全，并且操作简便，操作效率高。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种移动终端的控制方法，其特征在于，所述控制方法包括：
获取用于移动终端的控制指令；
根据所述控制指令对车载屏幕内的图像进行识别，得到与所述控制指令对应的参考对象及所述参考对象在所述车载屏幕中的坐标；
输出所述控制指令和所述参考对象的坐标至所述移动终端，所述参考对象的坐标用于使所述移动终端确定与所述参考对象对应的目标对象，并根据所述控制指令对所述目标对象进行控制，
其中，所述控制指令包括操作指令；
所述获取用于移动终端的控制指令的步骤包括：
获取语音信息；
将所述语音信息转化为文本信息；
提取所述文本信息中的关键词，得到所述操作指令。
2.根据权利要求1所述的控制方法，其特征在于，所述控制指令还包括操作对象；
所述根据所述控制指令对车载屏幕内的图像进行识别，得到与所述控制指令对应的参考对象及所述参考对象在所述车载屏幕中的坐标的步骤包括：
将所述操作对象在所述车载屏幕内的图像中进行匹配，判断所述车载屏幕内的图像中是否存在与所述操作对象匹配的参考对象；
若所述车载屏幕内的图像中存在与所述操作对象匹配的参考对象，则获取所述参考对象在所述车载屏幕中的坐标。
3.根据权利要求1所述的控制方法，其特征在于，所述输出所述控制指令和所述参考对象的坐标至所述移动终端，所述参考对象的坐标用于使所述移动终端确定与所述参考对象对应的目标对象，并根据所述控制指令对所述目标对象进行控制的步骤包括：
获取所述操作指令对应的动作标识；
将所述动作标识和所述参考对象的坐标输出至所述移动终端，所述动作标识用于指示对所述目标对象执行的控制动作。
4.根据权利要求1所述的控制方法，其特征在于，所述根据所述控制指令对车载屏幕内的图像进行识别，得到与所述控制指令对应的参考对象及所述参考对象在所述车载屏幕中的坐标的步骤还包括：
在所述车载屏幕内的图像中运行图像识别选择框，以对所述车载屏幕内的图像进行扫描，得到与所述控制指令对应的参考对象及所述参考对象在所述车载屏幕中的坐标。
5.根据权利要求1所述的控制方法，其特征在于，所述根据所述控制指令对车载屏幕内的图像进行识别，得到与所述控制指令对应的参考对象及所述参考对象在所述车载屏幕中的坐标的步骤还包括：
根据所述控制指令对所述车载屏幕内的图像进行识别，得到与所述控制指令对应的参考对象及围绕所述参考对象的边界框；
根据所述围绕参考对象的边界框得到所述参考对象在所述车载屏幕中的坐标。
6.根据权利要求1所述的控制方法，其特征在于，所述根据所述控制指令对车载屏幕内的图像进行识别，得到与所述控制指令对应的参考对象及所述参考对象在所述车载屏幕中的坐标的步骤之前包括：
获取所述移动终端的屏幕图像；
将所述移动终端的屏幕图像投射到所述车载屏幕内，得到所述车载屏幕内的图像。
7.一种移动终端的控制方法，其特征在于，所述控制方法包括：
接收车载控制系统发送的控制指令和参考对象的坐标；
根据所述参考对象的坐标识别在所述移动终端的屏幕中，与所述参考对象对应的目标对象；
根据所述控制指令，对所述目标对象进行控制，
其中，所述控制指令包括操作指令；并且
其中，所述车载控制系统通过如下步骤获取用于移动终端的控制指令：
获取语音信息；
将所述语音信息转化为文本信息；
提取所述文本信息中的关键词，得到所述操作指令。
8.一种移动终端的控制装置，其特征在于，所述控制装置包括：
获取模块，用于获取用于移动终端的控制指令；
第一识别模块，用于根据所述控制指令对车载屏幕内的图像进行识别，得到与所述控制指令对应的参考对象及所述参考对象在所述车载屏幕中的坐标；
输出模块，用于输出所述控制指令和所述参考对象的坐标至所述移动终端，所述参考对象的坐标用于使所述移动终端确定与所述参考对象对应的目标对象，并根据所述控制指令对所述目标对象进行控制，
其中，所述控制指令包括操作指令；
所述获取用于移动终端的控制指令包括：
获取语音信息；
将所述语音信息转化为文本信息；
提取所述文本信息中的关键词，得到所述操作指令。
9.一种移动终端的控制装置，其特征在于，所述控制装置包括：
接收模块，用于接收车载控制系统发送的控制指令和参考对象的坐标；
第二识别模块，用于根据所述参考对象的坐标识别在所述移动终端的屏幕中，与所述参考对象对应的目标对象；
控制模块，用于根据所述控制指令，对所述目标对象进行控制，
其中，所述控制指令包括操作指令；并且
其中，所述车载控制系统通过如下步骤获取用于移动终端的控制指令：
获取语音信息；
将所述语音信息转化为文本信息；
提取所述文本信息中的关键词，得到所述操作指令。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201811383611.3A 2018-11-20 2018-11-20 移动终端的控制方法及装置、计算机设备和可读存储介质 Active CN111199734B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811383611.3A CN111199734B (zh) 2018-11-20 2018-11-20 移动终端的控制方法及装置、计算机设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811383611.3A CN111199734B (zh) 2018-11-20 2018-11-20 移动终端的控制方法及装置、计算机设备和可读存储介质

Publications (2)

Publication Number Publication Date
CN111199734A CN111199734A (zh) 2020-05-26
CN111199734B true CN111199734B (zh) 2024-03-12

Family

ID=70746330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811383611.3A Active CN111199734B (zh) 2018-11-20 2018-11-20 移动终端的控制方法及装置、计算机设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN111199734B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111681658A (zh) * 2020-06-05 2020-09-18 苏州思必驰信息科技有限公司 车载app的语音控制方法和装置
CN113507500A (zh) * 2021-06-04 2021-10-15 上海闻泰信息技术有限公司 终端控制方法、装置、计算机设备和计算机可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105528100A (zh) * 2014-10-21 2016-04-27 惠州市德赛西威汽车电子股份有限公司 车机与移动终端互联的反向控制方法
CN105711523A (zh) * 2016-03-30 2016-06-29 奇瑞汽车股份有限公司 车载智能终端、系统及信息共享方法
CN105739857A (zh) * 2016-01-25 2016-07-06 北京小米移动软件有限公司 控制移动终端的方法及装置
CN106030697A (zh) * 2014-02-26 2016-10-12 三菱电机株式会社 车载控制装置及车载控制方法
CN106527693A (zh) * 2016-10-31 2017-03-22 维沃移动通信有限公司 一种应用程序控制方法及移动终端
CN108255398A (zh) * 2016-12-29 2018-07-06 乐视汽车（北京）有限公司 用于控制移动设备的方法、移动设备和通信系统
CN108268197A (zh) * 2016-12-30 2018-07-10 乐视汽车（北京）有限公司 反向控制方法、移动设备、车载显示设备及系统
CN108536491A (zh) * 2018-02-07 2018-09-14 武汉光庭信息技术股份有限公司 一种车载设备反向控制安卓移动终端的处理方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106030697A (zh) * 2014-02-26 2016-10-12 三菱电机株式会社 车载控制装置及车载控制方法
CN105528100A (zh) * 2014-10-21 2016-04-27 惠州市德赛西威汽车电子股份有限公司 车机与移动终端互联的反向控制方法
CN105739857A (zh) * 2016-01-25 2016-07-06 北京小米移动软件有限公司 控制移动终端的方法及装置
CN105711523A (zh) * 2016-03-30 2016-06-29 奇瑞汽车股份有限公司 车载智能终端、系统及信息共享方法
CN106527693A (zh) * 2016-10-31 2017-03-22 维沃移动通信有限公司 一种应用程序控制方法及移动终端
CN108255398A (zh) * 2016-12-29 2018-07-06 乐视汽车（北京）有限公司 用于控制移动设备的方法、移动设备和通信系统
CN108268197A (zh) * 2016-12-30 2018-07-10 乐视汽车（北京）有限公司 反向控制方法、移动设备、车载显示设备及系统
CN108536491A (zh) * 2018-02-07 2018-09-14 武汉光庭信息技术股份有限公司 一种车载设备反向控制安卓移动终端的处理方法及系统

Also Published As

Publication number Publication date
CN111199734A (zh) 2020-05-26

Similar Documents

Publication Publication Date Title
KR102255432B1 (ko) 전자 장치 및 그의 제어 방법
CN106817409B (zh) 通信连接的控制方法、系统、服务器及车载终端
CN111199734B (zh) 移动终端的控制方法及装置、计算机设备和可读存储介质
US9976866B2 (en) Electronic apparatus, control method thereof, computer program, and computer-readable recording medium
CN111753649A (zh) 车位检测方法、装置、计算机设备和存储介质
CN113165651B (zh) 电子装置及其控制方法
EP3651061A1 (en) Method and device for evaluating the result of an automatic parking operation, corresponding device and storage medium
CN111833627A (zh) 车辆视觉范围扩展方法、装置、系统和计算机设备
JP6613999B2 (ja) 運転支援システム
CN114385662A (zh) 路网更新方法、装置、存储介质及电子设备
CN112765302B (zh) 位置信息的处理方法、装置及计算机可读介质
CN113942502A (zh) 一种车辆辅助驾驶方法、装置、设备及存储介质
US10878257B2 (en) Electronic apparatus and control method thereof
CN113409393B (zh) 用于识别交通标志牌的方法及装置
CN112363947A (zh) 车辆场景模型构建方法、设备、存储介质及装置
CN111949145A (zh) 智能笔图像处理方法、装置及电子设备
US20220295017A1 (en) Rendezvous assistance apparatus, rendezvous assistance system, and rendezvous assistance method
US20230029628A1 (en) Data processing method for vehicle, electronic device, and medium
KR102545199B1 (ko) 전자 장치 및 그 제어 방법
CN112146666A (zh) 车辆行驶路线标记方法、装置、计算机设备和存储介质
CN110659626A (zh) 图像检测方法、装置和设备
CN113591744B (zh) 针对危险驾驶行为的标注数据的生成方法及数据采集系统
US20220281485A1 (en) Control apparatus, system, vehicle, and control method
KR20160065721A (ko) 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
WO2021226852A1 (zh) 车位检测方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant