CN112488096A - 行车过程中文本信息的获取方法及装置、计算机设备 - Google Patents
行车过程中文本信息的获取方法及装置、计算机设备 Download PDFInfo
- Publication number
- CN112488096A CN112488096A CN201910856374.6A CN201910856374A CN112488096A CN 112488096 A CN112488096 A CN 112488096A CN 201910856374 A CN201910856374 A CN 201910856374A CN 112488096 A CN112488096 A CN 112488096A
- Authority
- CN
- China
- Prior art keywords
- image
- gazing
- information
- gaze
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000008569 process Effects 0.000 title claims abstract description 23
- 238000001514 detection method Methods 0.000 claims description 35
- 238000004590 computer program Methods 0.000 claims description 13
- 230000010365 information processing Effects 0.000 claims description 2
- 230000009471 action Effects 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 210000003128 head Anatomy 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请涉及一种行车过程中文本信息的获取方法及装置、计算机设备和计算机可读存储介质。所述方法包括：获取车辆中用户的注视信息；根据所述用户的注视信息，获取用户所注视的车辆内部或车辆外部与所述用户的注视信息相匹配的初始图像；确定在所述初始图像中，与所述注视信息对应的注视点的位置；根据所述注视点的位置，获取围绕所述注视点的注视区域；对所述注视区域处的图像进行图像处理，得到所述注视区域处的图像中的文本信息。本申请无需用户做出影响安全驾驶的行为，因此，提高了用户获知信息的安全性。
Description
技术领域
本申请涉及车辆技术领域，特别是涉及一种行车过程中文本信息的获取方法及装置、计算机设备和计算机可读存储介质。
背景技术
在行车过程中，驾驶员常常需要获知各种各样的信息，包括车内信息和车外信息，以此根据获知的信息完成对车辆的操作。
但驾驶员获取信息的行为，通常会影响驾驶员的安全驾驶，从而给驾驶员的人身安全带来潜在危险。例如，驾驶员为了更清楚地获知车外的信息，有时会边驾驶边长时间阅读信息牌，甚至将头部伸出车窗外，这是非常危险的动作。
因此，驾驶员采用传统方法获知信息的过程中，存在安全性低的问题。
发明内容
基于此，有必要针对上述安全性低的技术问题，提供一种能够提高安全性的行车过程中文本信息的获取方法及装置、计算机设备和计算机可读存储介质。
一种行车过程中文本信息的获取方法，所述方法包括：
获取车辆中用户的注视信息；
根据所述用户的注视信息，获取用户所注视的车辆内部或车辆外部与所述用户的注视信息相匹配的初始图像；
确定在所述初始图像中，与所述注视信息对应的注视点的位置；
根据所述注视点的位置，获取围绕所述注视点的注视区域；
对所述注视区域处的图像进行图像处理，得到所述注视区域处的图像中的文本信息。
在其中一个实施例中，所述注视信息包括注视角度；
所述确定在所述初始图像中，与所述注视信息对应的注视点的位置，包括：
在所述初始图像中，获取所述注视角度对应的图像与所述初始图像的重叠区域，并将所述重叠区域确定为所述注视点。
在其中一个实施例中，根据所述注视点的位置，获取围绕所述注视点的注视区域，包括：
获取所述注视点的坐标；
获取围绕所述注视点的坐标的注视区域。
在其中一个实施例中，对所述注视区域处的图像进行图像处理，得到所述注视区域处的图像中的文本信息，包括：
利用图像识别检测窗口对所述注视区域处的图像进行扫描，得到所述文本信息。
在其中一个实施例中，所述利用图像识别检测窗口对所述注视区域处的图像进行扫描，得到所述文本信息，包括：
根据所述图像识别检测窗口的大小，采用从小到大的方式选择所述图像识别检测窗口对所述注视区域处的图像进行扫描，得到所述文本信息。
在其中一个实施例中，根据所述用户的注视信息，获取用户所注视的车辆内部或车辆外部与所述用户的注视信息相匹配的初始图像，包括：
若所述注视角度对应的是车载显示器，获取所述车载显示器内所显示的图像，得到所述初始图像。
在其中一个实施例中，根据所述用户的注视信息，获取用户所注视的车辆内部或车辆外部与所述用户的注视信息相匹配的初始图像，还包括：
若所述注视角度对应的是车外，获取与所述注视角度相匹配的车外图像，确定为所述初始图像。
在其中一个实施例中，对所述注视区域处的图像进行图像处理，得到所述注视区域处的图像中的文本信息，还包括：
对所述注视区域处的图像进行图像处理，得到所述注视区域处的初始文本信息；
判断所述初始文本信息中的文字的顺序是否正确；
若所述初始文本信息中的文字的顺序不正确，则调整所述初始文本信息中的文字的顺序，得到所述注视区域处的图像中的文本信息。
一种行车过程中文本信息的获取装置，所述装置包括：
注视信息获取模块，用于获取车辆中用户的注视信息；
初始图像匹配模块，用于根据所述用户的注视信息，获取用户所注视的车辆内部或车辆外部与所述用户的注视信息相匹配的初始图像；
位置确定模块，用于确定在所述初始图像中，与所述注视信息对应的注视点的位置；
注视区域确定模块，用于根据所述注视点的位置，获取围绕所述注视点的注视区域；
文本信息获取模块，用于对所述注视区域处的图像进行图像处理，得到所述注视区域处的图像中的文本信息。
在其中一个实施例中，所述注视信息包括注视角度；
所述位置确定模块，还用于在所述初始图像中，获取所述注视角度对应的图像与所述初始图像的重叠区域，并将所述重叠区域确定为所述注视点。
在其中一个实施例中，所述注视区域确定模块，还用于获取所述注视点的坐标，以及获取围绕所述注视点的坐标的注视区域。
在其中一个实施例中，所述文本信息获取模块，还用于利用图像识别检测窗口对所述注视区域处的图像进行扫描，得到所述文本信息。
在其中一个实施例中，所述文本信息获取模块，还用于根据所述图像识别检测窗口的大小，采用从小到大的方式选择所述图像识别检测窗口对所述注视区域处的图像进行扫描，得到所述文本信息。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
上述行车过程中文本信息的获取方法及装置、计算机设备和计算机可读存储介质，通过获取车辆中用户的注视信息，并获取用户所注视的车辆内部或车辆外部与用户的注视信息相匹配的初始图像，之后在该初始图像中，确定与该注视信息对应的注视点的位置，并获取围绕该注视点的注视区域，进而对该注视区域处的图像进行图像处理，得到该注视区域处的图像中的文本信息。本申请通过自动获取用户的注视信息，并通过对用户的注视信息进行处理，可准确获得用户注视区域处的文本信息，之后便可将获得的文本信息告知给用户。可见，本申请不需要用户人工获取车内或车外的信息，更不需要用户做出将头探出车外这样危险的动作，也就是说，本申请无需用户做出影响安全驾驶的行为，因此，提高了用户获知信息的安全性。
附图说明
图1为一个实施例中行车过程中文本信息的获取方法的应用环境图；
图2为一个实施例中行车过程中文本信息的获取方法的流程示意图；
图3为一个实施例中确定注视区域的步骤的流程示意图；
图4为一个实施例中调整文本信息中文字顺序的步骤的流程示意图；
图5为一个实施例中若驾驶员的注视角度对应的是车辆内，行车过程中文本信息的获取方法的流程示意图；
图6为一个实施例中若驾驶员的注视角度对应的是车辆外，行车过程中文本信息的获取方法的流程示意图；
图7为一个实施例中行车过程中文本信息的获取装置的结构框图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的行车过程中文本信息的获取方法，可以应用于如图1所示的应用环境中。该应用环境包括文本信息获取设备100、影像设备200和语音播报设备300。可选地，文本信息获取设备100、影像设备200和语音播报设备300安装在车辆中。上述装置之间可通过有线方式或者无线方式进行通信。
可选地，文本信息获取设备100包括处理器，并设置于车辆之中。另外，文本信息获取设备100还可以设置在云端服务器(Online server)中。文本信息获取设备100可以为各种个人计算机、笔记本电脑、智能手机、平板电脑以及便携式可穿戴设备，也可以是交通工具中的某个设备，例如车机。
其中，影像设备200包括车内摄像头、车外摄像头以及车载显示器的一种或多种。具体地，当用户触发该行车过程中文本信息的获取方法时，影像设备200通过车内摄像头采集车辆中用户的注视信息，并将该注视信息发送至文本信息获取设备100。文本信息获取设备100在接收到该注视信息后，根据该注视信息控制影像设备200采集用户所注视的车辆内部或车辆外部与用户的注视信息相匹配的初始图像，并接收影像设备200发来的该初始图像。之后，文本信息获取设备100在该初始图像中确定与注视信息对应的注视点的位置，并根据该注视点的位置，在该初始图像中获取围绕该注视点的注视区域。进而，文本信息获取设备100通过图像识别技术识别出该注视区域处的图像中的文本信息。可选地，在得到文本信息之后，文本信息获取设备100控制语音播报设备300向用户播报该文本信息。
在一个实施例中，如图2所示，提供了一种行车过程中文本信息的获取方法，以该方法应用于图1中的文本信息获取设备100为例进行说明，该方法具体包括以下步骤：
S202，获取车辆中用户的注视信息。
其中，车辆中的用户可以是驾驶员，也可以是其他乘坐人员。注视信息包括注视角度、注视方向以及用户眼部特征参数。
具体地，首先，文本信息获取设备100控制车内摄像头采集车辆中用户的注视信息。之后，文本信息获取设备100接收车内摄像头发来的该注视信息。在其他实施方式中，文本信息获取设备100控制眼球追踪器采集车辆中用户的注视信息。
S204，根据所述用户的注视信息，获取用户所注视的车辆内部或车辆外部与所述用户的注视信息相匹配的初始图像。
可选地，影像设备200包括安装在挡风玻璃上或车顶部的前置摄像头。该前置摄像头用来采集车外的图像。
具体地，在文本信息获取设备100获得用户的注视信息之后，文本信息获取设备100根据用户的注视信息确定用户的注视位置。影像设备200根据该注视位置采集用户所注视的车辆内部或车辆外部与用户的注视信息相匹配的初始图像，并将该初始图像发送至文本信息获取设备100。可选地，用户的注视位置可位于车内，例如注视位置在车载显示器上。另外，用户的注视位置也可位于车外，例如注视位置在车辆周围的高楼上。
进一步地，在S204被执行之前，用户的注视信息或注视位置与影像设备200的采集位置预先建立了对应关系。基于此，影像设备200可根据注视位置采集与用户的注视信息相匹配的初始图像。例如，若用户的注视位置在车辆的挡风玻璃上，则通过前置摄像头采集车辆前方的图像。
S206，确定在所述初始图像中，与所述注视信息对应的注视点的位置。
需要清楚，用户注视时的视线可认为是一条射线。其中，该射线的起点是用户的眼睛位置，射线的角度可确定注视方向，射线的终点是用户的注视位置。具体地，在文本信息获取设备100获得初始图像之后，文本信息获取设备100根据上述射线信息确定与用户的注视信息对应的注视点的位置。该注视点的位置指在初始图像中用户的注视位置。
S208，根据所述注视点的位置，获取围绕所述注视点的注视区域。
其中，围绕注视点的注视区域指在该注视点的周围所设定的一个目标区域。该目标区域的大小可预先设定。
具体地，在文本信息获取设备100获得注视点的位置之后，文本信息获取设备100根据该注视点的位置，获取围绕该注视点的注视区域。在一种实施方式中，文本信息获取设备100以该注视点为中心，并根据预设方式构建围绕该注视点的注视区域。可选地，该注视区域是以注视点为中心的几何图形所围成的区域。该几何图形可以是多边形或圆形。预设方式包括以预设半径构建一个圆形区域。
S210，对所述注视区域处的图像进行图像处理，得到所述注视区域处的图像中的文本信息。
其中，文本信息包括至少一条文本。
具体地，在文本信息获取设备100确定注视区域后，文本信息获取设备100对该注视区域处的图像进行图像处理，例如采用图像识别技术与图像分割技术，得到该注视区域内的文本信息。在一种实施方式中，文本信息获取设备100采用光学字符识别(OCR)技术识别出注视区域处的图像中的文本信息。
可选地，在一个实施例中，在文本信息获取设备100获得用户注视的文本信息之后，文本信息获取设备100控制语音播报设备300向车内的用户播报该文本信息。在本实施例中，文本信息获取设备100根据用户的注视信息来获得用户所注视的文本信息，并通过语音播报设备300将该文本信息播报给用户。由此，用户无需自己去做出影响安全驾驶的动作来获知车内信息或车外信息，提高了用户在行车过程中的安全性。
上述行车过程中文本信息的获取方法，通过获取车辆中用户的注视信息，并获取用户所注视的车辆内部或车辆外部与用户的注视信息相匹配的初始图像，之后在该初始图像中，确定与该注视信息对应的注视点的位置，并获取围绕该注视点的注视区域，进而对该注视区域处的图像进行图像处理，得到该注视区域处的图像中的文本信息。本申请通过自动获取用户的注视信息，并通过对用户的注视信息进行处理，可准确获得用户注视区域处的文本信息，之后便可将获得的文本信息告知给用户。可见，本申请不需要用户人工获取车内或车外的信息，更不需要用户做出将头探出车外这样危险的动作，也就是说，本申请无需用户做出影响安全驾驶的行为，因此，提高了用户获知信息的安全性。
在一个实施例中，涉及如何获得注视点的具体过程。在上述实施例的基础上，S206包括以下步骤：
S2062，在所述初始图像中，获取所述注视角度对应的图像与所述初始图像的重叠区域，并将所述重叠区域确定为所述注视点。
其中，用户的注视信息包括用户的注视角度。具体地，在执行S2062之前，用户的注视角度的测量方式已预先建立，由此，根据该测量方式能够获得用户的注视角度。在文本信息获取设备100获得初始图像之后，文本信息获取设备100根据用户的注视角度确定用户的实际注视位置，并将该实际注视位置映射到初始图像中，由此便能够确定该实际注视位置与初始图像的重叠区域。需要清楚，在上述实施例中已涉及用户的注视位置为射线的终点，因此，在确定了重叠区域时，便能够确定用户的注视点。
在一个实施例中，请参阅图3，涉及根据注视点的位置，获取围绕注视点的注视区域的一种可能的实现过程。在上述实施例的基础上，S208包括以下步骤：
S2082，获取所述注视点的坐标；
S2084，获取围绕所述注视点的坐标的注视区域。
其中，注视点的位置可通过注视点的坐标表示。具体地，文本信息获取设备100通过注视点的坐标来定位注视点的位置。之后，文本信息获取设备100通过上述实施例涉及的预设方式，获得围绕该注视点的坐标的注视区域。
可选地，在一种实施方式中，注视点的坐标的获取方式可以是：首先，预先建立好一套坐标系，并存储在相应装置中。该装置可以是文本信息获取设备100或影像设备200。如果该坐标系存储在文本信息获取设备100中，并以该坐标系为二维坐标系为例，在文本信息获取设备100获得初始图像后，文本信息获取设备100将该初始图像放置在该二维坐标系中，并将用户的注视位置映射在该初始图像中，便能够在该初始图像中得到与注视位置对应的注视点的坐标。
在其他实施方式中，坐标系还可以是三维坐标系。通过计算用户视线的检测结果，即射线与平面的重叠位置，确定注视点的坐标。具体地，影像设备200采集与用户的注视角度匹配的初始图像，并发送至文本信息获取设备100。在文本信息获取设备100获得该初始图像后，文本信息获取设备100计算注视位置与该初始图像的重叠坐标，并将该重叠坐标确定为用户的注视点的坐标。进一步地，车内空间位置与车外空间位置可分别对应三维坐标系中的坐标，从而建立一套车辆坐标系统，这样无论用户的注视位置在何处，都能够获得与用户的注视位置相对应的坐标。可选地，车辆坐标系统可以是笛卡尔坐标系统，其轴线相应于车辆纵轴线、车辆横轴线以及车辆垂直轴线。车辆纵轴线为平行于车身长度方向的轴线，车辆横轴线为平行于车身宽度方向的轴线，车辆垂直轴线为平行于车身高度方向的轴线。
在一个实施例中，涉及识别注视区域处的图像中的文本信息的具体过程。在上述实施例的基础上，S210包括以下步骤：
S210a，利用图像识别检测窗口对所述注视区域处的图像进行扫描，得到所述文本信息。
其中，图像识别检测窗口包括在图像识别技术中常用的滑窗。
具体地，文本信息获取设备100通过图像识别检测窗口来对注视区域处的图像进行扫描识别。可选地，图像识别检测窗口运行的起始位置可以是注视区域处的图像的左上角，并进行横向扫描。图像识别检测窗口可以在扫描到图像的右下角后结束扫描。在每次图像识别检测窗口扫描的过程中，都需要识别里面的文本。其中，可采用逐行扫描或隔行扫描的方式进行图像的扫描，也可采用垂直方向的扫描方式进行扫描。
在一个实施例中，涉及对注视区域处的图像中的文本信息进一步识别的具体过程。在上述实施例的基础上，S210a包括以下步骤：
根据所述图像识别检测窗口的大小，采用从小到大的方式选择所述图像识别检测窗口对所述注视区域处的图像进行扫描，得到所述文本信息。
需要说明，由于注视区域处的图像中的文字大小不一，为了准确识别注视区域处的文字，可以通过大小不一的多个图像识别检测窗口进行多次扫描。可选地，文本信息获取设备100先采用一个小的检测窗口进行扫描，然后采用一个中等的检测窗口进行扫描，最后采用一个大的检测窗口进行扫描。其中，扫描框的大小可按面积比例或边长比例进行减小。另外，除了检测窗口的大小变动，还可以先在图像上做边缘检测，然后只在有边缘的区域用图像识别检测窗口进行扫描。
在行车过程中，用户通常会通过车载显示器获取所需的信息，例如查看导航地图。在一个实施例中，以用户注视在车载显示器为例进一步说明本申请的技术方案。在上述实施例的基础上，S204包括以下步骤：
S204a，若所述注视角度对应的是车载显示器，获取所述车载显示器内所显示的图像，得到所述初始图像。
其中，影像设备200还包括车载系统中的车载显示器。具体地，若用户的注视角度对应的是车载显示器，则文本信息获取设备100读取车载显示器中正在显示的图像，并将该图像作为初始图像。
在一个实施例中，以用户注视在车外为例进一步说明本申请的技术方案。在上述实施例的基础上，S204还包括以下步骤：
S204b，若所述注视角度对应是车外，通过影像设备200获取与所述注视角度匹配的车外图像，确定为所述初始图像。
具体地，若用户的注视角度对应的是车外，文本信息获取设备100控制车上安装的摄像头采集车外图像。在文本信息获取设备100获得该车外图像后，文本信息获取设备100将该车外图像确定为初始图像。进一步地，当用户的注视角度对应的是挡风玻璃、左车窗或右车窗，文本信息获取设备100判定用户的注视角度对应的是车外。
在一个实施例中，请参阅图4，提供了针对识别出的文字顺序不正确的解决方案。在上述实施例的基础上，S210还包括以下步骤：
S2102，对所述注视区域处的图像进行图像处理，得到所述注视区域处的初始文本信息；
S2104，判断所述初始文本信息中的文字的顺序是否正确；
S2106，若所述初始文本信息中的文字的顺序不正确，则调整所述初始文本信息中的文字的顺序，得到所述注视区域处的图像中的文本信息。
具体地，在文本信息获取设备100通过图像处理技术得到注视区域处的初始文本信息后，文本信息获取设备100判断该初始文本信息中文字的顺序是否正确。可选地，文本信息获取设备100可以使用语义识别或短语识别的方式来检测字母或字符的顺序是否正确。若文本信息获取设备100判定该初始文本信息中文字的顺序不正确，则文本信息获取设备100根据正确的文字顺序，调整该初始文本信息中文字的顺序，从而得到注视区域处的文本信息。需要说明，在执行S2104之前，正确的文字顺序已预先存储在相应的存储器中，以便于文本信息获取设备100随时读取。
可选地，在一个实施例中，该方法还包括以下步骤：
获取激活信号；
根据所述激活信号，执行所述行车过程中文本信息的获取方法。
具体地，用户可通过一个“读”按钮，或者一种特定语句，例如“念文字”，来生成激活信号。文本信息获取设备100在接收到该激活信号后被激活，并执行行车过程中文本信息的获取方法。
应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
下面以两个特定场景来详细说明本申请的行车过程中文本信息的获取方法的流程。需要清楚，下述的两个特定场景并非是对本申请构成限定，仅仅是为了更好地理解本申请的发明意图。
请参阅图5，场景1：若驾驶员的注视角度对应的是车辆内：
步骤a1：驾驶员通过一个“读”按钮，或一种特定语言(例如，念文字)触发文本信息获取设备100；
步骤b1：文本信息获取设备100通过车内摄像头采集的用户的注视信息，确定驾驶员的注视角度对应的是车载显示器；
步骤c1：文本信息获取设备100计算驾驶员的注视位置与车载显示器的重叠坐标；
步骤d1：文本信息获取设备100获取围绕该重叠坐标的文本信息，所述文本信息由信息娱乐系统提供；
步骤e1：文本信息获取设备100控制语音播报装置300播报上述文本信息中的文字。
请参阅图6，场景2：若驾驶员的注视角度对应的是挡风玻璃区域/左窗口区域/右窗口区域：
步骤a2：驾驶员通过一个“读”按钮，或一种特定语言(例如，念文字)触发文本信息获取设备100；
步骤b2：文本信息获取设备100通过车内摄像头采集的用户的注视信息，确定驾驶员的注视角度对应的是挡风玻璃区域/左窗口区域/右窗口区域；
步骤c2：文本信息获取设备100控制安装在挡风玻璃上或车顶部的前置摄像头采集车外图像；
步骤d2：文本信息获取设备100计算驾驶员的注视位置的图像与车外图像的重叠坐标；
步骤e2：在围绕该重叠坐标的车外图像内，文本信息获取设备100利用图像识别检测窗口，从小到大来识别每个检测窗口中的文本信息。其中，识别方向可以是水平方向和/或垂直方向。可选地，文本信息获取设备100使用语义识别或短语识别的方式来检测字母或字符的正确顺序；
步骤f2：文本信息获取设备100控制语音播报装置300播报上述文本信息中的文字。
在一个实施例中，如图7所示，提供了一种行车过程中文本信息的获取装置10，包括：注视信息获取模块1002、初始图像匹配模块1004、位置确定模块1006、注视区域确定模块1008以及文本信息获取模块1010，其中：
注视信息获取模块1002，用于获取车辆中用户的注视信息。
初始图像匹配模块1004，用于根据所述用户的注视信息，获取用户所注视的车辆内部或车辆外部与所述用户的注视信息相匹配的初始图像。
位置确定模块1006，用于确定在所述初始图像中，与所述注视信息对应的注视点的位置。
注视区域确定模块1008，用于根据所述注视点的位置，获取围绕所述注视点的注视区域。
文本信息获取模块1010，用于对所述注视区域处的图像进行图像处理，得到所述注视区域处的图像中的文本信息。
上述行车过程中文本信息的获取装置，通过获取车辆中用户的注视信息，并获取用户所注视的车辆内部或车辆外部与用户的注视信息相匹配的初始图像，之后在该初始图像中，确定与该注视信息对应的注视点的位置，并获取围绕该注视点的注视区域，进而对该注视区域处的图像进行图像处理，得到该注视区域处的图像中的文本信息。本申请通过自动获取用户的注视信息，并通过对用户的注视信息进行处理，可准确获得用户注视区域处的文本信息，之后便可将获得的文本信息告知给用户。可见，本申请不需要用户人工获取车内或车外的信息，更不需要用户做出将头探出车外这样危险的动作，也就是说，本申请无需用户做出影响安全驾驶的行为，因此，提高了用户获知信息的安全性。
在其中一个实施例中，所述位置确定模块1006，还用于在所述初始图像中，获取所述注视角度对应的图像与所述初始图像的重叠区域，并将所述重叠区域确定为所述注视点。
在其中一个实施例中，所述注视区域确定模块1008，还用于获取所述注视点的坐标，以及获取围绕所述注视点的坐标的注视区域。
在其中一个实施例中，所述文本信息获取模块1010，还用于利用图像识别检测窗口对所述注视区域处的图像进行扫描，得到所述文本信息。
在其中一个实施例中，所述文本信息获取模块1010，还用于根据所述图像识别检测窗口的大小，采用从小到大的方式选择所述图像识别检测窗口对所述注视区域处的图像进行扫描，得到所述文本信息。
关于行车过程中文本信息的获取装置的具体限定可以参见上文中对于行车过程中文本信息的获取方法的限定，在此不再赘述。上述行车过程中文本信息的获取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种行车过程中文本信息的获取方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
获取车辆中用户的注视信息；
根据所述用户的注视信息，获取用户所注视的车辆内部或车辆外部与所述用户的注视信息相匹配的初始图像；
确定在所述初始图像中，与所述注视信息对应的注视点的位置；
根据所述注视点的位置，获取围绕所述注视点的注视区域；
对所述注视区域处的图像进行图像处理，得到所述注视区域处的图像中的文本信息。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取车辆中用户的注视信息；
根据所述用户的注视信息，获取用户所注视的车辆内部或车辆外部与所述用户的注视信息相匹配的初始图像；
确定在所述初始图像中，与所述注视信息对应的注视点的位置；
根据所述注视点的位置，获取围绕所述注视点的注视区域；
对所述注视区域处的图像进行图像处理，得到所述注视区域处的图像中的文本信息。
上述计算机设备和计算机可读存储介质，通过获取车辆中用户的注视信息，并获取用户所注视的车辆内部或车辆外部与用户的注视信息相匹配的初始图像，之后在该初始图像中，确定与该注视信息对应的注视点的位置，并获取围绕该注视点的注视区域，进而对该注视区域处的图像进行图像处理，得到该注视区域处的图像中的文本信息。本申请通过自动获取用户的注视信息，并通过对用户的注视信息进行处理，可准确获得用户注视区域处的文本信息，之后便可将获得的文本信息告知给用户。可见，本申请不需要用户人工获取车内或车外的信息，更不需要用户做出将头探出车外这样危险的动作，也就是说，本申请无需用户做出影响安全驾驶的行为，因此，提高了用户获知信息的安全性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (15)
1.一种行车过程中文本信息的获取方法，其特征在于，所述方法包括：
获取车辆中用户的注视信息；
根据所述用户的注视信息，获取用户所注视的车辆内部或车辆外部与所述用户的注视信息相匹配的初始图像；
确定在所述初始图像中，与所述注视信息对应的注视点的位置；
根据所述注视点的位置，获取围绕所述注视点的注视区域；
对所述注视区域处的图像进行图像处理，得到所述注视区域处的图像中的文本信息。
2.根据权利要求1所述的方法，其特征在于，所述注视信息包括注视角度；
所述确定在所述初始图像中，与所述注视信息对应的注视点的位置，包括：
在所述初始图像中，获取所述注视角度对应的图像与所述初始图像的重叠区域，并将所述重叠区域确定为所述注视点。
3.根据权利要求1所述的方法，其特征在于，根据所述注视点的位置，获取围绕所述注视点的注视区域，包括：
获取所述注视点的坐标；
获取围绕所述注视点的坐标的注视区域。
4.根据权利要求1所述的方法，其特征在于，对所述注视区域处的图像进行图像处理，得到所述注视区域处的图像中的文本信息，包括：
利用图像识别检测窗口对所述注视区域处的图像进行扫描，得到所述文本信息。
5.根据权利要求4所述的方法，其特征在于，所述利用图像识别检测窗口对所述注视区域处的图像进行扫描，得到所述文本信息，包括：
根据所述图像识别检测窗口的大小，采用从小到大的方式选择所述图像识别检测窗口对所述注视区域处的图像进行扫描，得到所述文本信息。
6.根据权利要求1所述的方法，其特征在于，所述注视信息包括注视角度；
根据所述用户的注视信息，获取用户所注视的车辆内部或车辆外部与所述用户的注视信息相匹配的初始图像，包括：
若所述注视角度对应的是车载显示器，获取所述车载显示器内所显示的图像，得到所述初始图像。
7.根据权利要求1所述的方法，其特征在于，所述注视信息包括注视角度；
根据所述用户的注视信息，获取用户所注视的车辆内部或车辆外部与所述用户的注视信息相匹配的初始图像，还包括：
若所述注视角度对应的是车外，获取与所述注视角度相匹配的车外图像，确定为所述初始图像。
8.根据权利要求1所述的方法，其特征在于，对所述注视区域处的图像进行图像处理，得到所述注视区域处的图像中的文本信息，还包括：
对所述注视区域处的图像进行图像处理，得到所述注视区域处的初始文本信息；
判断所述初始文本信息中的文字的顺序是否正确；
若所述初始文本信息中的文字的顺序不正确，则调整所述初始文本信息中的文字的顺序，得到所述注视区域处的图像中的文本信息。
9.一种行车过程中文本信息的获取装置，其特征在于，所述装置包括：
注视信息获取模块，用于获取车辆中用户的注视信息；
初始图像匹配模块，用于根据所述用户的注视信息，获取用户所注视的车辆内部或车辆外部与所述用户的注视信息相匹配的初始图像；
位置确定模块，用于确定在所述初始图像中，与所述注视信息对应的注视点的位置；
注视区域确定模块，用于根据所述注视点的位置，获取围绕所述注视点的注视区域；
文本信息获取模块，用于对所述注视区域处的图像进行图像处理，得到所述注视区域处的图像中的文本信息。
10.根据权利要求9所述的装置，其特征在于，所述注视信息包括注视角度；
所述位置确定模块，还用于在所述初始图像中，获取所述注视角度对应的图像与所述初始图像的重叠区域，并将所述重叠区域确定为所述注视点。
11.根据权利要求9所述的装置，其特征在于，所述注视区域确定模块，还用于获取所述注视点的坐标，以及获取围绕所述注视点的坐标的注视区域。
12.根据权利要求9所述的装置，其特征在于，所述文本信息获取模块，还用于利用图像识别检测窗口对所述注视区域处的图像进行扫描，得到所述文本信息。
13.根据权利要求12所述的装置，其特征在于，所述文本信息获取模块，还用于根据所述图像识别检测窗口的大小，采用从小到大的方式选择所述图像识别检测窗口对所述注视区域处的图像进行扫描，得到所述文本信息。
14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910856374.6A CN112488096A (zh) | 2019-09-11 | 2019-09-11 | 行车过程中文本信息的获取方法及装置、计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910856374.6A CN112488096A (zh) | 2019-09-11 | 2019-09-11 | 行车过程中文本信息的获取方法及装置、计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112488096A true CN112488096A (zh) | 2021-03-12 |
Family
ID=74920183
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910856374.6A Pending CN112488096A (zh) | 2019-09-11 | 2019-09-11 | 行车过程中文本信息的获取方法及装置、计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112488096A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113129112A (zh) * | 2021-05-11 | 2021-07-16 | 杭州海康威视数字技术股份有限公司 | 物品推荐方法、装置及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106557166A (zh) * | 2016-11-23 | 2017-04-05 | 上海擎感智能科技有限公司 | 智能眼镜及其控制方法、控制装置 |
| CN107506751A (zh) * | 2017-09-13 | 2017-12-22 | 重庆爱威视科技有限公司 | 基于眼动控制的广告投放方法 |
| JP2018004325A (ja) * | 2016-06-28 | 2018-01-11 | 京セラ株式会社 | 注視点検出装置、注視点検出方法、注視点検出システム、及び車両 |
| CN109086726A (zh) * | 2018-08-10 | 2018-12-25 | 陈涛 | 一种基于ar智能眼镜的局部图像识别方法及系统 |
| CN109849788A (zh) * | 2018-12-29 | 2019-06-07 | 北京七鑫易维信息技术有限公司 | 信息提供方法、装置及系统 |
-
2019
- 2019-09-11 CN CN201910856374.6A patent/CN112488096A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018004325A (ja) * | 2016-06-28 | 2018-01-11 | 京セラ株式会社 | 注視点検出装置、注視点検出方法、注視点検出システム、及び車両 |
| CN106557166A (zh) * | 2016-11-23 | 2017-04-05 | 上海擎感智能科技有限公司 | 智能眼镜及其控制方法、控制装置 |
| CN107506751A (zh) * | 2017-09-13 | 2017-12-22 | 重庆爱威视科技有限公司 | 基于眼动控制的广告投放方法 |
| CN109086726A (zh) * | 2018-08-10 | 2018-12-25 | 陈涛 | 一种基于ar智能眼镜的局部图像识别方法及系统 |
| CN109849788A (zh) * | 2018-12-29 | 2019-06-07 | 北京七鑫易维信息技术有限公司 | 信息提供方法、装置及系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113129112A (zh) * | 2021-05-11 | 2021-07-16 | 杭州海康威视数字技术股份有限公司 | 物品推荐方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9113049B2 (en) | Apparatus and method of setting parking position based on AV image | |
| US20210133468A1 (en) | Action Recognition Method, Electronic Device, and Storage Medium | |
| CN111723659B (zh) | 泊车位确定方法、装置、计算机设备和存储介质 | |
| EP3007048A1 (en) | Information display device | |
| WO2021226912A1 (zh) | 泊车位确定方法、装置、计算机设备和存储介质 | |
| CN110826370B (zh) | 车内人员的身份识别方法、装置、车辆及存储介质 | |
| EP2990997A2 (en) | Method and apparatus for controlling vehicle using motion recognition with face recognition | |
| EP2908220A1 (en) | Gesture recognition device and method of controlling gesture recognition device | |
| JP5454737B2 (ja) | 瞼検出装置、瞼検出方法及びプログラム | |
| US10477155B2 (en) | Driving assistance method, driving assistance device, and recording medium recording program using same | |
| CN108897589B (zh) | 显示设备中人机交互方法、装置、计算机设备和存储介质 | |
| WO2021254310A1 (zh) | 一种目标对象图像采集的引导方法及系统 | |
| US20200034982A1 (en) | Information processing system, storing medium storing program, and information processing device controlling method | |
| CN111994081A (zh) | 车位检测方法、设备、存储介质及装置 | |
| CN114627683B (zh) | 船舶驾驶异常行为的预警方法、装置、设备、介质及系统 | |
| CN112488096A (zh) | 行车过程中文本信息的获取方法及装置、计算机设备 | |
| US20190122058A1 (en) | Vehicle display controller, vehicle display system, vehicle display control method, and non-transitory storage medium | |
| CN111242118A (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
| CN114125415A (zh) | 通过增强现实呈现车辆异常部件的系统、方法和存储介质 | |
| CN110188645B (zh) | 用于车载场景的人脸检测方法、装置、车辆及存储介质 | |
| CN111199734B (zh) | 移动终端的控制方法及装置、计算机设备和可读存储介质 | |
| US10963678B2 (en) | Face recognition apparatus and face recognition method | |
| CN112172670A (zh) | 基于图像识别的后视图像显示方法及装置 | |
| CN116895058A (zh) | 物体信息取得方法以及用于实现该方法的系统 | |
| KR102403278B1 (ko) | 차량 번호판 영상을 구성하는 복수의 프레임들에 대한 분석 및 보정을 통해 차량번호의 인식을 수행하는 차량번호 인식 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |