CN109543661A - 基于语音辅助的关注点信息自动获取系统及关注点信息自动获取方法 - Google Patents

Abstract

本发明涉及一种基于语音辅助的关注点信息自动获取系统及方法，该系统包括：语音收录装置，用于采集语音数据；语音数据解析器，用于将语音数据解析为图像采集控制命令和关注点图像类型信息；图像采集控制器，用于根据图像采集控制命令编辑图像采集指令；图像采集装置，用于根据图像采集指令进行采集关注点图像或停止采集关注点图像；定位器，用于采集关注点当前位置信息和当前时间；关注点信息存储器，用于将关注点图像类型信息、当前位置信息和当前时间标注在关注点图像上。本发明仅在发现关注点信息时，通过语音开启关注点信息自动获取系统，以获取关注点信息，从而大大减少了数据存储量。

Description

基于语音辅助的关注点信息自动获取系统及关注点信息自动 获取方法

技术领域

本发明涉及关注点病害检测技术领域，尤其涉及一种基于语音辅助的关注点信息自动获取系统及关注点信息自动获取方法。

背景技术

在交通领域中，需要对道路进行日常养护巡查，收集关注点数据。同时，在市政管理中公共设施的监控和管理也需要收集基础设施的信息，以实现对城市公共资产的监管。目前，上述数据的采集方式主要依赖人工，需要停车测量获取数据，该方式效率低，人工成本高。

目前，关注点信息自动采集装置主要包括三种：

第一种，利用车载数据收集装置，在车辆行驶中对环境录像，巡查之后对获取到的录像进行人工识别，提取相关关注点信息。该方法缺点是由于在巡查过程中一直录制视频信息，数据量大。同时在人工识别过程中，需要对所有的视频从头到尾观看一遍，效率低，作业人员劳动强度高。

第二种，基于机器视觉的车载数据收集装置，利用自动图像识别算法对关注点信息进行提取，自动提取关注点信息。相关专利如：CN107403197A。该类方法目前的缺点是机器视觉识别算法尚不成熟，环境适应性较差，自动识别准确率不高。同时，仅仅能够对少数类别或单一类别的关注点信息进行识别提取。

第三种，在巡查车上基于操作盘启动的图像采集装置，然而，一方面，巡查车驾驶员需要寻找按键，容易在驾驶过程中分心，危害驾驶安全，另一方面，操作盘按键较多，不容易记清楚，容易误操作。

因此，急需一种基于语音辅助的关注点信息自动获取系统及关注点信息自动获取方法。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于语音辅助的关注点信息自动获取系统及关注点信息自动获取方法，能够自动采集关注点图像数据，提高数据收集的效率，降低人工成本，并快速标注关注点病害种类及其地理位置，效率高，速度快。

根据本发明的一个方面，提供一种基于语音辅助的关注点信息自动获取系统，包括：

语音收录装置，用于采集语音数据，并发送至语音数据解析器；

语音数据解析器，用于接收并将语音数据解析为图像采集控制命令和关注点图像类型信息，将图像采集控制命令发送至图像采集控制器，并将关注点图像类型信息发送至关注点信息存储器；

图像采集控制器，用于根据图像采集控制命令编辑图像采集指令发送至图像采集装置；

图像采集装置，用于接收并根据图像采集指令进行采集关注点图像或停止采集关注点图像，并将采集的关注点图像发送至关注点信息存储器；

定位器，用于采集关注点当前位置信息和当前时间，发送至关注点信息存储器；

关注点信息存储器，用于接收并存储关注点图像、关注点图像类型信息、当前位置信息和当前时间。

进一步地，语音收录装置电连接至语音数据解析器，语音数据解析器电连接图像采集控制器，图像采集控制器电连接至图像采集装置，语音数据解析器、图像采集装置和定位器均电连接至关注点信息存储器。

进一步地，语音收录装置通过有线或无线连接至语音数据解析器。

进一步地，上述基于语音辅助的关注点信息自动获取系统，还包括：

数据通信模块，用于将关注点图像、关注点图像类型信息、当前位置信息和当前时间发送至后台。

进一步地，上述基于语音辅助的关注点信息自动获取系统，还包括：数据通信控制模块，用于判断关注点是否需要紧急处理，若是，则控制数据通信模块将需要紧急处理的关注点图像、关注点图像类型信息、当前位置信息和当前时间发送至后台。

进一步地，上述基于语音辅助的关注点信息自动获取系统，还包括：关注点图像类型信息筛查模块，用于在将关注点图像、关注点图像类型信息、当前位置信息和当前时间发送至后台之前，根据关注点图像对关注点图像类型信息进行筛查，获取最终关注点病害类别数据。

进一步地，上述基于语音辅助的关注点信息自动获取系统，还包括：有效关注点图像提取装置，用于在采集关注点图像之后，对关注点图像进行小窗提取，以将关注点图像裁剪成有效关注点图像。

根据本发明的另一方面，提供一种基于上述系统实现的基于语音辅助的关注点信息自动获取方法，包括以下步骤：

采集语音数据；

将语音数据解析为图像采集控制命令和关注点图像类型信息；

根据图像采集控制命令编辑图像采集指令；

根据图像采集指令进行采集关注点图像或停止采集关注点图像；

采集关注点当前位置信息和当前时间；

将关注点图像类型信息、当前位置信息和当前时间标注在关注点图像上。

进一步地，上述基于语音辅助的关注点信息自动获取方法，还包括：

将关注点图像、关注点图像类型信息、当前位置信息和当前时间发送至后台。

进一步地，上述基于语音辅助的关注点信息自动获取方法，还包括：判断关注点是否需要紧急处理，若是，则控制数据通信模块将需要紧急处理的关注点图像、关注点图像类型信息、当前位置信息和当前时间发送至后台。

本发明与现有技术相比具有以下的优点：

1.本发明的基于语音辅助的关注点信息自动获取系统及关注点信息自动获取方法在巡查关注点时无需一直录制并保存视频，仅在发现或者需要收集关注点信息时，通过语音控制关注点信息自动获取系统对环境拍照或者截取视频短片，以获取关注点信息，从而大大减少了数据存储量；

2.本发明的基于语音辅助的关注点信息自动获取系统及关注点信息自动获取方法在后续筛查确认时，仅仅对采集到的关注点图像或者视频短片进行确认即可，无需对巡查过程中的全部视频从头至尾再观看一遍，提高了人工筛查的效率，降低了作业人员劳动强度。

附图说明

以下结合附图和实施例对本发明作进一步说明。

图1是本发明的基于语音辅助的关注点信息自动获取系统框图；

图2是本发明的基于语音辅助的关注点信息自动获取方法流程图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非被特定定义，否则不会用理想化或过于正式的含义来解释。

图1是本发明的基于语音辅助的关注点信息自动获取系统框图，参见图1，本发明提供的基于语音辅助的关注点信息自动获取系统，包括：

语音收录装置，用于采集语音数据，并发送至语音数据解析器；

语音数据解析器，用于接收并将语音数据解析为图像采集控制命令和关注点图像类型信息，将图像采集控制命令发送至图像采集控制器，并将关注点图像类型信息发送至关注点信息存储器；

图像采集控制器，用于根据图像采集控制命令编辑图像采集指令发送至图像采集装置；

图像采集装置，用于接收并根据图像采集指令进行采集关注点图像或停止采集关注点图像，并将采集的关注点图像发送至关注点信息存储器；

定位器，用于采集关注点当前位置信息和当前时间，发送至关注点信息存储器；

关注点信息存储器，用于接收并存储关注点图像、关注点图像类型信息、当前位置信息和当前时间。

本发明的基于语音辅助的关注点信息自动获取系统的具体实施方式可以是一个设备，还可以利用移动端例如手机、平板等作为语音收录装置，其余部分为一个设备，只要语音收录装置与其余部分连接即可，还可以利用移动端例如手机、平板等作为语音收录装置和语音数据解析器，其余部分为一个设备，只要语音收录装置、语音数据解析器与其余部分连接即可，等等，具体实施方式不限。

语音收录装置电连接至语音数据解析器，语音数据解析器电连接图像采集控制器，图像采集控制器电连接至图像采集装置，语音数据解析器、图像采集装置和定位器均电连接至关注点信息存储器。

语音收录装置包括但不限于麦克风和拾音器。图像采集装置可以为摄像机，但不限于此。语音数据解析器可以为AS1100语音识别芯片，但不限于此。定位器为可实时获取当前地理位置和当前时间的装置。关注点信息存储器包括但不限于FIFO存储器。具体如下：

图像采集装置为可获取数字图像的任意设备，包括但不仅限于下述任意一种或多种设备及装置：1)高清工业摄像头、2)网络摄像头、3)数码相机、4)手机端摄像头、5)红外成像设备等。

语音数据解析器包括但不仅限于下述任意一种设备或装置：1)工控机、2)电脑、3)嵌入式计算设备等。该设备同时具有数据通信装置或接口，语音输入接口，数据存储模块等。

定位器包括但不仅限于下述任意一种设备或装置：1)单点GPS，2)差分GPS，3)GPS与惯导定位装置等。

语音数据解析器包括但不仅限于下述任意一种设备或装置：1)工控机、2)电脑、3)嵌入式计算设备等。

其中，关注点指代任意需要对其进行数据采集的环境对象。在道路巡查领域中，包括但不仅限于关注点路面病害、积水、遗洒物、路障、交通标识标志、路产等对象。在市政管理领域中，包括但不仅限于市政资产、井盖、电线杆、违章违建物、路旁垃圾、路障等对象。

关注点信息包括关注点图像、关注点图像类型信息、当前位置信息和当前时间，具体包括被采集对象的图片、视频、地理坐标、语音/文字注释、采集时间等数据。

其中，语音数据包括单种指令和多种指令。单种指令为采集关注点图像的开启指令或关闭指令，可以为任意简短的固定词汇、语句、数字、字母、英语单词等，包括但不仅限于拍摄、记录、病害、关注点、record、A、B、1，200等中的任一种。例如，当作业人员发出“记录”这一语音指令时，识别该语音指令，并控制拍摄或录像，并记录其拍摄的地理位置及时间。多种指令，包括采集关注点图像的开启指令或关闭指令以及与关注点的类型标注指令。例如，在关注点巡查中，可采用“裂缝”、“坑槽”、“龟裂”等多种指令。多种指令有两种作用，一个是控制前述图像获取装置进行拍摄或录像，二个是指令内容作为所获取该关注点的文字/语言标注，起到对关注点的分类识别的作用。

本发明的基于语音辅助的关注点信息自动获取系统在巡查关注点时无需一直录制并保存视频，仅在发现或需要收集关注点信息时，通过语音控制关注点信息自动获取系统对环境拍照或者截取视频短片，以获取关注点信息，从而大大减少了数据存储量。

语音收录装置可以通过有线或无线连接至语音数据解析器。无线连接方式包括蓝牙连接、3G连接、4G连接、红外连接、NFC连接等等。

进一步地，上述基于语音辅助的关注点信息自动获取系统，还包括：数据通信控制模块，用于判断关注点是否需要紧急处理，若是，则控制数据通信模块将需要紧急处理的关注点图像、关注点图像类型信息、当前位置信息和当前时间发送至后台。例如，关注点为水坑时，需要紧急处理。

进一步地，上述基于语音辅助的关注点信息自动获取系统，还包括：

数据通信模块，电连接至关注点信息存储器，用于将关注点图像、关注点图像类型信息、当前位置信息和当前时间发送至后台。数据通信模块包括有线数据通信模块和无线数据通信模块。无线数据通信模块包括蓝牙、3G、4G、红外、NFC等等。

在实际应用中，语音数据获取及识别可以在移动端完成。移动端语音获取指采用智能手机、平板电脑等装置获取语音数据。智能手机、平板电脑等移动装置通过其自带的麦克风等设备获取语音数据，并在该移动装置中对语音数据进行识别处理，根据语音识别处理后的语音数据编辑图像采集指令，并通过其自带的通信模块将图像采集指令发送到语音数据解析器，语音数据解析器在通过数据通信模块接收到上述指令时，控制图像采集装置获取关注点图像及视频数据并存储，同时，通过网络通信模块将关注点图像及视频数据实时发送到远程端，例如关注点数据管理服务器。在这里，数据通信模块指代无线网络、蓝牙、手机通信网络等。网络通信模块指代手机移动通信网络、长距离无线电台通信网络等远距离通信装置。其中，语音收录装置通过无线方式与数据通信模块连接，因此，在产品部署时不需要布线等车身改装作业，具有使用方便的优点。

具体地，语音数据解析器直接接收来自语音收录装置的语音数据，并在语音数据解析器中对语音数据进行语音识别处理，根据语音识别处理后的语音数据编辑图像采集指令，然后依据图像采集指令控制图像采集装置获取关注点图像及视频数据并存储，同时，通过通信模块将关注点图像及视频数据实时发送到远程端，例如关注点数据管理服务器。其中，语音收录装置为可获取语音的设备，包括但不仅限于麦克风等设备。语音收录装置的安装位置位于巡查车内，并通过线缆与语音数据解析器连接。

进一步地，上述基于语音辅助的关注点信息自动获取系统，还包括：关注点图像类型信息筛查模块，电连接至数据通信模块与关注点信息存储器之间，用于在将关注点图像、关注点图像类型信息、当前位置信息和当前时间发送至后台之前，根据关注点图像对关注点图像类型信息进行筛查，获取最终关注点病害类别数据。

本发明的基于语音辅助的关注点信息自动获取系统在后续筛查确认时，仅仅对采集到的关注点图像或者视频短片进行确认即可，无需对巡查过程中的全部视频从头至尾再观看一遍，提高了人工筛查的效率，降低了作业人员劳动强度。

进一步地，上述基于语音辅助的关注点信息自动获取系统，还包括：有效关注点图像提取装置，电连接至图像采集装置与关注点信息存储器之间，用于在采集关注点图像之后，对关注点图像进行小窗提取，以将关注点图像裁剪成有效关注点图像，减少数据包的传输数据量，提高传输效率。

上述关注点信息自动获取系统，还包括：身份验证装置，用于对语音数据进行身份验证，使得语音数据解析器仅采用通过身份验证的语音数据。例如，在数据采集作业开始阶段，需要作业人员语音复述指定文字，例如“开始采集”，采集装置将根据该语音数据提取声纹特征，与事先录制相关作业人员的声纹数据对比，以核对作业人员身份。更详细地，语音数据的识别和声纹识别均可采用开源语音识别框架实现。

图2是本发明的基于语音辅助的关注点信息自动获取方法流程图，参见图2，根据本发明提供的基于上述系统实现的基于语音辅助的关注点信息自动获取方法，包括以下步骤：

采集语音数据；

将语音数据解析为图像采集控制命令和关注点图像类型信息；

根据图像采集控制命令编辑图像采集指令；

根据图像采集指令进行采集关注点图像或停止采集关注点图像；

采集关注点当前位置信息和当前时间；

将关注点图像类型信息、当前位置信息和当前时间标注在关注点图像上。

本发明的基于语音辅助的关注点信息自动获取方法在巡查关注点时无需一直录制并保存视频，仅在发现或需要采集关注点信息时，通过语音控制关注点信息自动获取系统对环境拍照或者截取视频短片，以获取关注点信息，从而大大减少了数据存储量。

进一步地，上述基于语音辅助的关注点信息自动获取方法，还包括：

将关注点图像、关注点图像类型信息、当前位置信息和当前时间发送至后台。

进一步地，上述基于语音辅助的关注点信息自动获取方法，还包括：在将关注点图像、关注点图像类型信息、当前位置信息和当前时间发送至后台之前，根据关注点图像对关注点图像类型信息进行筛查，获取最终关注点病害类别数据。

本发明的基于语音辅助的关注点信息自动获取方法在后续筛查确认时，仅仅对采集到的关注点图像或者视频短片进行确认即可，无需对巡查过程中的全部视频从头至尾再观看一遍，提高了人工筛查的效率，降低了作业人员劳动强度。

进一步地，上述基于语音辅助的关注点信息自动获取方法，还包括：在采集关注点图像之后，对关注点图像进行小窗提取，以将关注点图像裁剪成有效关注点图像。

对于方法实施例而言，由于其与系统实施例基本相似，所以描述的比较简单，相关之处参见系统实施例的部分说明即可。

对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于语音辅助的关注点信息自动获取系统，其特征在于，包括：

语音收录装置，用于采集语音数据，并发送至语音数据解析器；

语音数据解析器，用于接收并将语音数据解析为图像采集控制命令和关注点图像类型信息，将图像采集控制命令发送至图像采集控制器，并将关注点图像类型信息发送至关注点信息存储器；

图像采集控制器，用于根据图像采集控制命令编辑图像采集指令发送至图像采集装置；

图像采集装置，用于接收并根据图像采集指令进行采集关注点图像或停止采集关注点图像，并将采集的关注点图像发送至关注点信息存储器；

定位器，用于采集关注点当前位置信息和当前时间，发送至关注点信息存储器；

关注点信息存储器，用于接收并存储关注点图像、关注点图像类型信息、当前位置信息和当前时间。

2.根据权利要求1所述的基于语音辅助的关注点信息自动获取系统，其特征在于，语音收录装置电连接至语音数据解析器，语音数据解析器电连接图像采集控制器，图像采集控制器电连接至图像采集装置，语音数据解析器、图像采集装置和定位器均电连接至关注点信息存储器。

3.根据权利要求2所述的基于语音辅助的关注点信息自动获取系统，其特征在于，语音收录装置通过有线或无线连接至语音数据解析器。

4.根据权利要求1或2所述的基于语音辅助的关注点信息自动获取系统，其特征在于，还包括：

数据通信模块，用于将关注点图像、关注点图像类型信息、当前位置信息和当前时间发送至后台。

5.根据权利要求4所述的基于语音辅助的关注点信息自动获取系统，其特征在于，还包括：

数据通信控制模块，用于判断关注点是否需要紧急处理，若是，则控制数据通信模块将需要紧急处理的关注点图像、关注点图像类型信息、当前位置信息和当前时间发送至后台。

6.根据权利要求5所述的基于语音辅助的关注点信息自动获取系统，其特征在于，还包括：关注点图像类型信息筛查模块，用于在将关注点图像、关注点图像类型信息、当前位置信息和当前时间发送至后台之前，根据关注点图像对关注点图像类型信息进行筛查，获取最终关注点病害类别数据。

7.根据权利要求5所述的基于语音辅助的关注点信息自动获取系统，其特征在于，还包括：有效关注点图像提取装置，用于在采集关注点图像之后，对关注点图像进行小窗提取，以将关注点图像裁剪成有效关注点图像。

8.一种基于权利要求1所述系统实现的基于语音辅助的关注点信息自动获取方法，其特征在于，包括以下步骤：

采集语音数据；

将语音数据解析为图像采集控制命令和关注点图像类型信息；

根据图像采集控制命令编辑图像采集指令；

根据图像采集指令进行采集关注点图像或停止采集关注点图像；

采集关注点当前位置信息和当前时间；

将关注点图像类型信息、当前位置信息和当前时间标注在关注点图像上。

9.根据权利要求8所述的基于语音辅助的关注点信息自动获取方法，其特征在于，还包括：

将关注点图像、关注点图像类型信息、当前位置信息和当前时间发送至后台。

10.根据权利要求9所述的基于语音辅助的关注点信息自动获取方法，其特征在于，还包括：判断关注点是否需要紧急处理，若是，则控制数据通信模块将需要紧急处理的关注点图像、关注点图像类型信息、当前位置信息和当前时间发送至后台。