CN108848396B - 一种基于移动平台的计算机辅助记忆方法 - Google Patents

Abstract

本发明提供了一种基于移动平台的计算机辅助记忆方法，涉及计算机辅助记忆领域，使用可穿戴设备记录影像，并将影像传输和存储在服务器中，对影像进行结构化处理后，可在电脑端和移动端按时间查询影像记录。本发明将重要会议等影像录制并存储在服务器中，对视频进行结构化处理，并进行时间、地点和事件信息的文本标注。当用户需要检索某些信息时，向系统输入影像的大概时间，返回相应的图像、视频和文本信息；用户查看相关信息后，若认为此段影像不需要保存，可以选择删除相关信息；若认为需要修改相关的标注信息，则可以进行修改操作，系统会将对应的操作传回服务器中，用户通过对录制影像信息的查询、修改和删除，达到辅助记忆的目的。

Description

一种基于移动平台的计算机辅助记忆方法

技术领域

本发明涉及计算机辅助记忆领域，尤其是一种对于影响数据的辅助记忆方法。

背景技术

视频检索是智能视频处理的重要组成部分，在信息查找、视频监控和人们日常生活中发挥着重要的作用。随着科学技术的迅速发展，人们的工作压力逐渐增大，在参加重要会议、小组讨论等场合时，很难记录全部的重要信息。若使用可穿戴设备记录重要事件的影像，并传输和存储在服务器中，当用户需要提取某段信息时，可在电脑端和移动端按时间查询影像记录，这将大大提高工作效率，节约用户时间。基于内容的视频检索系统已获得广泛的研究，涌现了许多相关的解决方案。例如，由IBM研究中心开发的QBIC(Query By ImageContent)系统是较早开发成功的基于内容的图像和视频检索系统，系统提取视频的颜色、纹理和运动物体等特征保存至数据库中，当用户输入对视频的描述等相关信息时，系统对输入信息进行分析并与数据库比较，找出最相似的视频提供给用户。该系统虽然实现了强大的检索功能，但是无法进行日常工作或生活中的影像记录，并且系统庞大，对于个人的影像记录与查询极不方便。

可穿戴设备(如录像眼镜)的出现使得记录日常个人的影像十分方便，我们可以定时将记录的影像导入服务器(一般为电脑端)，供用户查询使用。人们通常会在电脑端和移动端查询影像记录，若在电脑端查询，只需将影像按时间显示给用户即可。然而随着移动设备的发展，人们更偏向在移动端处理信息，此时则需要考虑服务器(电脑端)与移动端的交互，实现移动平台上的实时信息查询。

发明内容

为了克服现有技术的不足，本发明提供一种基于Android平台的计算机辅助记忆方法，使用可穿戴设备记录影像，并将影像传输和存储在服务器中，对影像进行结构化处理后，可在电脑端和移动端按时间查询影像记录。

本发明解决其技术问题所采用的技术方案包括下述步骤：

步骤一、将树莓派与便携式录像设备相连接，打开摄像头录取影像，将所录取影像存储在树莓派的内存硬盘中；

步骤二、影像录取完成后，将存储在树莓派的录取影像使用数据线导入服务器中，在服务器上把整段影像分割为播放长度10分钟为一段的影像片段，同时保留影像片段的实际录制时间，然后对每个影像片段标注出所对应的地点和事件信息，并存储在文本文件中，作为标注文本数据，该数据库中的每个影像片段均含四个字段：影像片段的开始时间点，影像片段的结束时间点，影像片段所在目录索引和影像片段的描述信息，所述的影像片段所在目录索引为影像的一个唯一对应的编码，影像片段的描述信息为所标注的地点和事件信息，由此建立一个关系型数据库，数据库建立之后，使用数据库中的sql语句将影像片段和标注文本数据按影像片段的实际录制时间顺序插入数据库中；

步骤三、使用Android开发平台开发用于和用户交互的客户端App程序，客户端App程序包括用户检索信息的输入，文本信息的展示、修改与删除，关键帧的展示和短视频的播放与删除；

用户输入需检索视频片段的时间信息，时间信息包含为所需查询的日期、小时和分钟，客户端获取用户的时间信息后，通过Socket通信技术将请求服务器检索图片的操作信息和用户输入的时间信息传给服务器端，服务器端解析接收到的信息得到需要执行的操作类型和时间信息，查询用户时间信息所对应的影像片段以及该影像片段前后的各两个影像片段，然后分别提取符合所检索时间信息的五个影像片段中，每个影像片段的中间时刻的一帧图片，将五帧图片使用Socket通信技术传回客户端，客户端使用Socket通信技术接收并将图片展示给用户查看，此时用户可查看其输入的检索时间对应的影像片段和及该影像片段前后各两个片段中的一帧图片，同时客户端监听用户是否点击图片，如果用户点击图片，客户端通过Intent方法进入展示界面，并通过与服务器的交互在展示界面上展示用户所点击图片所对应的时间、地点和事件信息，同时用户在展示界面可修改图片的地点和事件信息，以及删除或播放图片在数据库中所属的影像片段：

若监听到用户产生修改事件，客户端通过Intent方法进行修改，用户输入地点和事件相关的修改内容，当用户修改完成后，客户端将修改操作的请求和修改内容传递给服务器端，由服务器端执行修改；若监听到客户产生删除事件，Socket通信技术将该删除信息传回服务器端，由服务器端删除要求所对应的影像片段；若监听到用户产生影像播放事件，客户端进入播放影像界面，通过Intent方法，并通过Socket通信向服务器端请求该图片所对应的整段影像，并在展示影像的界面播放影像；

步骤四、在服务器上使用Java开发平台开发基于Windows平台的用于执行用户指令的服务器端程序；

服务器端与客户端使用基于局域网的Socket程序进行通信，服务器端接收客户端发送的包括请求执行的操作类型和用于识别视频片段的时间信息的字符串，并解析该字符串确定需要执行的操作和时间信息，之后通过sql语句访问步骤2建立的数据库，

如果解析到检索请求，服务器端通过sql判断语句在数据库中进行输入时间信息与影像片段的比对，查询该时间信息所对应的影像片段以及该影像片段前后的各两个影像片段，然后分别提取以上五个影像片段中间时刻的一帧图片，通过socket通信技术将提取的五帧图片传回客户端；

如果解析到发送图片所对应标注文本的请求，服务器端通过sql语句从数据库中提取解析到的时间信息所属影像片段的标注文本，并通过socket通信传回客户端；

如果解析到修改标记文本请求，服务器端通过sql语句从数据库中提取对应标注文本进行修改；

如果解析到删除视频请求，服务器端通过sql语句从数据库中查找相应影像片段并删除；

如果解析到发送视频请求，服务器端通过sql语句从数据库中提取对应影像片段，并通过socket通信传回客户端；

步骤五、辅助记忆系统的安装和使用；

在Android平台上安装客户端程序，在Windows平台上运行服务器端程序，当用户输入所需检索的时间信息时，服务器端返回时间信息所对应的影像片段和标注文本信息，用户可对返回的影像片段和标注文本信息进行查看、修改或删除操作，即可达到辅助记忆的目的。

本发明的有益效果在于用户将重要会议等影像录制并存储在服务器中，对视频进行结构化处理，并进行时间、地点和事件信息的文本标注。当用户需要检索某些信息时，向系统输入影像的大概时间，返回相应的图像、视频和文本信息；用户查看相关信息后，若认为此段影像不需要保存，可以选择删除相关信息；若认为需要修改相关的标注信息，则可以进行修改操作，系统会将对应的操作传回服务器中。用户通过上述对录制影像信息的查询、修改和删除，达到辅助记忆的目的。

附图说明

图1为本发明的计算机辅助记忆系统工作流程图，其中实线箭头表示工作流，虚线箭头表示数据流。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

针对用于人们日常工作和生活场景中的辅助记忆，使用便于携带的可穿戴设备记录影像，本发明公开了一种基于移动平台的计算机辅助记忆技术。如今人们的工作日益繁忙，难以在有限的时间内记录全部的重要信息(如某公司新职员参加了一个重要会议，他需要尽可能地记录会议信息，并在会议结束后对会议信息进行学习；或是某职员在一天内会见了多个客户，且之后需要对会见客户的情况进行分析)，我们的计算机辅助记忆技术就可以帮助用户记录并处理信息，达到辅助记忆的目的。该技术包括影像获取及处理、客户端开发、服务器端开发和系统安装四部分内容。其中客户端包括一个基于Android平台的用于和用户交互的客户端程序，客户端需要解决的主要技术问题包括接收用户输入的检索信息(即时间信息)，展示、修改和删除与输入时间对应的文本描述信息，展示关键画面，播放与删除影像片段。服务器端是一个基于Windows平台的用于执行用户指令的服务器程序，它需要的解决的技术问题主要是根据客户端的不同请求实现对应的操作，包括返回、修改或删除用户需要的信息。客户端和服务器端需通过局域网连接，使得用户可以随时查询并修改需要的信息。

步骤一、将树莓派与便携式录像设备相连接，打开摄像头录取影像，所录取影像存储在树莓派的内存硬盘中；

步骤二、由于树莓派的存储空间一般较小，定时将树莓派中录取的影像使用数据线导入服务器中，在服务器上按时间把影像分割为10分钟一段的视频片段，同时保留视频片段的实际录制时间，然后人工标注视频片段对应的地点和事件信息并存储在文本文件中，然后建立一个关系型数据库，数据库包含四个字段：视频开始时间点，视频结束时间点，视频所在目录索引，视频对应描述信息；数据库建立好之后，使用数据库中的sql语句将数据按时间顺序插入数据库中；

步骤三、使用Android开发平台开发基于Android平台的用于和用户交互的客户端App程序，客户端App程序包括用户检索信息的输入，文本信息的展示、修改与删除，关键帧的展示和短视频的播放与删除；

客户端通过Activity类创建四个交互界面，客户端通过Android开发语言在该界面插入一个输入框和多个图片展示框，分别实现用户输入和展示结果的功能，当用户需要检索视频中的画面信息，在输入框中输入需检索视频片段的大致时间(日期、小时和分钟等，不需要准确，因为用户是记不清信息才来检索，所以不可能记得准确时间)，客户端通过监听输入事件获取用户的输入内容，并通过Socket通信技术将操作识别码和该时间信息传给服务器端，客户端发送一段字节给服务器端，字节的前几位分别对应执行何种操作，如“1”表示检索，“2”表示删除，后面表示用户输入的时间信息，服务器端将对应时间和相关时间(输入时间的前后五分钟和十分钟)的图片从数据库中提取出来，并使用Socket通信技术传回客户端，客户端使用Socket技术接收并将图片展示在图片展示框中，供用户查看信息，此时用户可以查看其输入时间和前后一段时间录制的一些画面，辅助用户回忆相关的重要信息，同时在图片展示框中插入监听button点击事件，用于监听用户是否点击图片，如果用户根据展示的图片未找到所需画面信息，用户可以在第一个界面上点击最相关的一张图片，第二个是展示和删除单张图片和对应文本的界面，若在第一个界面监听到图片点击事件，客户端通过Intent方法进入第二个界面，并通过与服务器的交互(同上述技术)在该界面上展示点击的图片对应的时间、地点和事件等描述信息，供用户参考；同时在该界面插入修改、删除和播放视频按钮，分别监听修改、删除和播放视频三种button点击事件，若监听到修改事件，客户端通过Intent方法进入修改界面，若监听到删除事件，Socket通信技术将该信息传回服务器端，由服务器端删除相关信息，若监听到视频播放事件，客户端进入播放视频界面。第三个是修改文本的界面，客户端在第二个界面监听到修改事件后通过Intent方法进入此界面，界面插入对应的地点和事件输入框，接收用户输入的修改内容，并监听确认的button点击事件(界面需插入一个确认按钮)，监听到确认事件后，同样客户端把修改操作识别码和修改内容传递给服务器端，由服务器端执行修改。第四个是展示视频的界面，若客户端在第二个界面监听到播放视频事件，通过Intent方法进入这个界面，并通过Socket通信向服务器端请求该图片对应的整段视频(以图片对应时间作为索引)，并在该界面播放视频。四个交互界面对应四个Activity类，分别实现四个界面的功能。

步骤四、在服务器上使用Java开发平台开发基于Windows平台的用于执行用户指令的服务器端程序；客户端主要有五种请求，服务器端程序根据客户端的不同请求，实现不同的操作，服务器端与客户端使用基于局域网的Socket程序进行通信，服务器端接收客户端发送的一段字符文本(包括操作识别符和用于识别视频片段的时间)，然后解析这段字符，之后通过sql语句访问本地数据库，执行如下相关操作(如第一个字符是“1”表示检索，“2”表示删除)。如果解析到检索请求，服务器端通过sql判断语句在数据库中进行输入时间与视频片段的比对，查询到输入时间及前后五分钟和十分钟的图片，并通过socket通信传回客户端；如果解析到发送图片对应文本的请求，服务器端通过sql语句从数据库中提取时间对应的视频的描述文本，并通过socket通信传回客户端；如果解析到修改文本请求，服务器端通过sql语句从数据库中提取对应文本进行修改；如果解析到删除视频请求，服务器端通过sql语句从数据库中查找相应视频并删除；如果解析到发送视频请求，服务器端通过sql语句从数据库中提取对应视频，并通过socket通信传回客户端。

步骤五、辅助记忆系统的安装和使用。在Android平台上安装客户端程序，在Windows平台上运行服务器端程序，就可以使用该辅助记忆系统了。当用户需要检索某些信息时，打开客户端App程序，输入想要检索事件的时间，系统返回相应的图像、视频和文本信息，用户可对返回的信息进行查看、修改或删除操作，达到辅助记忆的目的。

本发明是基于Android平台和Windows平台的系统开发。客户端在android平台上运行，负责与用户交互，接收用户消息并返回结果；服务器端在Windows平台上运行，负责实现用户的指令，并将执行结果传递给客户端。

本发明主要分为四个部分，分别为影像的录取和存储、在Android平台上的客户端程序的实现、在Windows平台上的服务器端程序的实现和该计算机辅助记忆系统的安装及使用。

1.影像的录取和存储

将一种便携式微型计算机树莓派与便携式录像设备相连接并随身携带，当需要录取重要会议记录等影像时，打开摄像头开关，录取影像并自动存储在树莓派的内存硬盘中。定时将树莓派中录取的影像使用数据线导入服务器(电脑)中，在服务器上编写代码按时间把影像分割为10分钟左右一段的视频片段，同时保留视频片段的实际录制时间，然后标注视频片段对应的地点和事件信息并存储在文本文件中(该信息为人工标注)。然后下载MySQL数据库软件，建立一个关系型数据库，数据库包含四个字段(视频开始时间点，视频结束时间点，视频所在目录索引，视频对应描述信息)。数据库建立好之后，使用数据库中的sql语句将准备好的数据插入数据库中。

2.在Android平台上的客户端技术的实现

客户端技术包含创建四个交互界面并实现相关功能，分别为

a)Video Retrieval界面，即主界面，在该界面插入输入框、确认按钮和图片视图。输入框用于接收用户输入的时间信息，然后在确认按钮下实现一个onClick方法使其监听输入事件，若用户点击此按钮，客户端通过Socket通信技术信息发送给服务器端，服务器端对信息进行处理后，返回相关图片给客户端，客户端通过图片视图将这些图片展示在界面上。

b)Detail界面，在主界面的每一个图片视图下插入一个监听点击事件，使得用户点击主界面中的任意一张图片就可以进入Detail界面，在该界面插入一个图片视图、三个文本框和四个按钮。图片视图展示点击的图片，三个文本框分别展示当前图片对应的时间、地点、事件等详细标注信息(此信息通过客户端与服务器的交互获得)，四个按钮分别是视频、修改、删除和返回按钮，分别插入监听播放视频事件、监听修改事件、监听删除事件和监听返回事件。点击视频按钮时，客户端通过Socket通信技术向服务器端发送视频请求，并通过Intent方法跳转到播放视频的界面；点击修改按钮时，客户端跳转到修改标注信息的界面；点击删除按钮时，客户端将当前图片信息和删除指令发送给服务器端，并接收服务器的执行结果，若成功删除相应信息，客户端返回到系统初始界面；点击返回按钮时，客户端返回到上一界面。

c)Modify界面，当用户点击Detail界面的修改按钮时，客户端通过Intent方法跳转到Modify界面。在Modify界面插入一个图片视图、一个文本框、两个编辑框和两个按钮。图片视图显示前一界面对应的图片，文本框显示图片对应的时间，两个编辑框可以分别对图片对应的地点和事件信息进行修改，两个按钮分别插入监听确定修改事件和取消修改事件。用户进入Modify界面后，可以在编辑框中修改图片对应的地点和事件信息，确定修改按钮监听修改完成的信息，通过Socket通信技术将修改后的信息发送给服务器端。接收到修改完成的信息后，客户端返回到Detail界面，这时通过修改显示内容显示修改后的信息。若用户想在修改完成之前取消修改，即可点击取消修改按钮，触发监听的取消修改事件，客户端直接返回到Detail界面。

d)Video界面，当用户点击Detail界面的视频按钮时，触发监听播放视频事件，客户端根据当前图片向服务器端发送对应的视频请求，并跳转到Video界面。Video界面插入一个图片视图、三个文本框和一个按钮。图片视图用于展示对应视频的图片，三个文本框分别展示视频对应的时间、地点和事件信息，按钮为监听播放视频事件的按钮。客户端将服务器端返回的视频存放在手机的SD卡中，当用户点击按钮时，客户端调用本地视频播放器播放视频。

标签为Video Retrieval、Detail、Video和Modify的四个交互界面分别对应四个Activity类：MainActivity、DetailActivity、VideoActivity和ModifyActivity。Activity类之间的跳转通过Intent对象实现，Activity类之间的数据传递通过Bundle对象实现。

3.在Windows平台上的服务器端程序的实现。

用户录制完成视频之后，首先要对视频进行预处理，即将视频分割成不同的片段，并对视频的时间、地点和事件信息进行标注。预处理之后的视频信息放入数据库中等待服务器端的使用。

服务器端的功能主要是接收客户端的指令，执行相应的操作，并返回相应的内容。服务器端会接收到一个包含指令和时间信息的文本，接收并解析文本后，执行相应的操作。服务器端需要处理的指令有五种：

a)查询图片指令。服务器端解析到查询图片的指令后，通过sql语句在数据库中进行输入时间与视频片段对应始终时间的比对，查询到该时间及前后五分钟和十分钟对应的图片(用户输入的一般是事件发生的大致时间)，并通过Socket通信技术将结果返回给客户端。

b)查询图片对应文本指令。服务器端解析到查询文本的指令后，通过sql语句在数据库中进行输入时间与视频片段对应始终时间的比对，找到输入时间对应的视频片段，提取文本描述信息，并通过Socket通信技术将结果返回给客户端。

c)修改标注指令。服务器端解析到修改标注的指令后，通过sql语句在数据库中服务器端从数据中找到相应时间的地点和事件文本，修改为接收到的文本并放回数据中，修改完成之后向客户端返回修改完成的信号(即发送一个特定字符表示修改识别符)。

d)删除视频指令。服务器端解析到删除视频的指令后，通过sql语句在数据库中查询该时间对应的视频信息，删除该视频片段及其对应的关键帧及标注信息，并向客户端返回删除成功的结果。

e)查询视频指令。服务器端解析到查询视频的指令后，通过sql语句在数据库中查询该时间对应的视频信息，并通过Socket通信技术将结果返回给客户端。

客户端和服务器端通过Socket通信程序连接。客户端需要建立一个Socket对象，用于向服务器端发送连接请求；服务器端需要建立一个ServerSocket对象，用于监听并接收客户端的连接请求。Socket通信建立之后，服务器端一直监听客户端的通信请求，当接收到客户端的连接请求后，立即与客户端建立联系，并执行后续的操作。当客户端与服务器端之间需要传输图片、视频和文本信息时，需开启新线程专门用于这些字节流的传输。

4.系统的安装和使用。

该计算机辅助记忆系统代码部分实现完成后，下一步就是安装系统。Android开发平台提供Android应用的导出功能，可将客户端程序导出为一个后缀为.apk的安装包。安装包导出之后，就可以像普通Android应用一样在Android平台上进行安装了。安装成功之后，运行服务器程序，再打开客户端App，就可以使用该计算机辅助记忆系统了。

Claims (1)

1.一种基于移动平台的计算机辅助记忆方法，其特征在于包括下述步骤：

步骤一、将树莓派与便携式录像设备相连接，打开摄像头录取影像，将所录取影像存储在树莓派的内存硬盘中；

步骤二、影像录取完成后，将存储在树莓派的录取影像使用数据线导入服务器中，在服务器上把整段影像分割为播放长度10分钟为一段的影像片段，同时保留影像片段的实际录制时间，然后对每个影像片段标注出所对应的地点和事件信息，并存储在文本文件中，作为标注文本数据，该数据库中的每个影像片段均含四个字段：影像片段的开始时间点，影像片段的结束时间点，影像片段所在目录索引和影像片段的描述信息，所述的影像片段所在目录索引为影像的一个唯一对应的编码，影像片段的描述信息为所标注的地点和事件信息，由此建立一个关系型数据库，数据库建立之后，使用数据库中的sql语句将影像片段和标注文本数据按影像片段的实际录制时间顺序插入数据库中；

步骤三、使用Android开发平台开发用于和用户交互的客户端App程序，客户端App程序包括用户检索信息的输入，文本信息的展示、修改与删除，关键帧的展示和短视频的播放与删除；

用户输入需检索视频片段的时间信息，时间信息包含为所需查询的日期、小时和分钟，客户端获取用户的时间信息后，通过Socket通信技术将请求服务器检索图片的操作信息和用户输入的时间信息传给服务器端，服务器端解析接收到的信息得到需要执行的操作类型和时间信息，查询用户时间信息所对应的影像片段以及该影像片段前后的各两个影像片段，然后分别提取符合所检索时间信息的五个影像片段中，每个影像片段的中间时刻的一帧图片，将五帧图片使用Socket通信技术传回客户端，客户端使用Socket通信技术接收并将图片展示给用户查看，此时用户可查看其输入的检索时间对应的影像片段及该影像片段前后各两个片段中的一帧图片，同时客户端监听用户是否点击图片，如果用户点击图片，客户端通过Intent方法进入展示界面，并通过与服务器的交互在展示界面上展示用户所点击图片所对应的时间、地点和事件信息，同时用户在展示界面可修改图片的地点和事件信息，以及删除或播放图片在数据库中所属的影像片段：

若监听到用户产生修改事件，客户端通过Intent方法进行修改，用户输入地点和事件相关的修改内容，当用户修改完成后，客户端将修改操作的请求和修改内容传递给服务器端，由服务器端执行修改；若监听到客户产生删除事件，Socket通信技术将该删除信息传回服务器端，由服务器端删除要求所对应的影像片段；若监听到用户产生影像播放事件，客户端进入播放影像界面，通过Intent方法，并通过Socket通信向服务器端请求该图片所对应的整段影像，并在展示影像的界面播放影像；

步骤四、在服务器上使用Java开发平台开发基于Windows平台的用于执行用户指令的服务器端程序；

服务器端与客户端使用基于局域网的Socket程序进行通信，服务器端接收客户端发送的包括请求执行的操作类型和用于识别视频片段的时间信息的字符串，并解析该字符串确定需要执行的操作和时间信息，之后通过sql语句访问步骤2建立的数据库，

如果解析到检索请求，服务器端通过sql判断语句在数据库中进行输入时间信息与影像片段的比对，查询该时间信息所对应的影像片段以及该影像片段前后的各两个影像片段，然后分别提取以上五个影像片段中间时刻的一帧图片，通过socket通信技术将提取的五帧图片传回客户端；

如果解析到发送图片所对应标注文本的请求，服务器端通过sql语句从数据库中提取解析到的时间信息所属影像片段的标注文本，并通过socket通信传回客户端；

如果解析到修改标注文本请求，服务器端通过sql语句从数据库中提取对应标注文本进行修改；

如果解析到删除视频请求，服务器端通过sql语句从数据库中查找相应影像片段并删除；

如果解析到发送视频请求，服务器端通过sql语句从数据库中提取对应影像片段，并通过socket通信传回客户端；

步骤五、辅助记忆系统的安装和使用；

在Android平台上安装客户端程序，在Windows平台上运行服务器端程序，当用户输入所需检索的时间信息时，服务器端返回时间信息所对应的影像片段和标注文本信息，用户可对返回的影像片段和标注文本信息进行查看、修改或删除操作，即可达到辅助记忆的目的。

Images