CN106407483A

CN106407483A - 一种具有文字搜索功能的电子相册

Info

Publication number: CN106407483A
Application number: CN201611117097.XA
Authority: CN
Inventors: 不公告发明人
Original assignee: Individual
Current assignee: Individual
Priority date: 2016-12-07
Filing date: 2016-12-07
Publication date: 2017-02-15

Abstract

本公开涉及一种具有文字搜索功能的电子相册的系统，主要包括：自动图像文字识别模块、自动人脸识别模块、自动图像物体识别模块、文字数据库保存和搜索模块等；当用户使用智能设备的摄像头拍照后，系统对该照片的图像进行自动图像文字识别、自动人脸识别、自动图像物体识别，并将文字信息和对应的图片信息保存到文字数据库中；当用户要通过文字搜索图片的时候，系统通过文字搜索，返回给用户上述文字数据库中包含输入文字所对应的电子照片。

Description

一种具有文字搜索功能的电子相册

技术领域

本发明涉及智能移动设备中具有文字搜索的电子相册技术领域，具体是一种具有文字搜索功能的电子相册的系统。

背景技术

随着智能移动设备（特别是智能手机）的发展，越来越多的人采用该类设备进行拍照、电子照片存储。当智能移动设备中的电子照片的数量越来越多的时候，快速准确地查找感兴趣的照片成为一种困难的事情。具体表现举例如下：

1）想找到有某些文字的照片，比如：护照、身份证等文字，目前智能移动设备的电子相册并不具备这种功能；

2）想找到有某个人的照片，比如：有张三在照片内的照片，目前智能移动设备的电子相册并不具备这种功能。

3）想找到有某些事物的照片，比如：有汽车的照片，目前智能移动设备的电子相册并不具备这种功能。

随着人工智能技术的发展，自动地进行图像文字识别、人脸识别和图像物体识别，已经是十分成熟的技术。如何将这些技术应用到智能移动设备的电子相册中的文字搜索中，是本发明所提出来的解决方案。

上述的自动图像文字识别（OCR）、自动人脸识别、自动图像物体识别的方法可采用公开的深度学习方法进行识别。例如：2015年Y. Sun, X. Wang, and X. Tang等人公开发表的文章《深度学习的人脸描述是稀疏的、可选择的和鲁棒的一种方法》（Deeply learnedface representations are sparse, selective, and robust），描述了一种详细的人脸识别方法，可以进行精准的人脸识别，其识别精度可以达到99.15%；2015年Y. Zhang, W.Wang, L. Wang等人公开发表的文章《用更深的卷积网络进行场景的文字识别》（Scenetext recognition with deeper convolutional neural networks），描述了一种详细的用深度卷积网络进行自然场景的文字识别，可以进行精准的文字识别，达到96%以上的识别精度；2015年K. M. He, X. Y. Zhang, S. Q. Ren, J. Sun等人公开发表的文章《图像识别的深度残差学习》（Deep Residual Learning for Image Recognition），描述了一种深度学习的残差网络进行1000种物体以上的图像物体识别，可以进行精准的物体识别，其识别精度可以达到96%以上。

发明内容

为了解决智能移动设备不能快速准确地查找感兴趣照片的困难，本发明设计一种可以进行文字搜索的电子相册的系统和方法，实现对智能移动设备中的照片进行快速、智能化地搜索，从而让用户能够快速准确地找到和某些文字信息相关的电子照片。

具有文字搜索功能的电子相册，主要包括：自动图像文字识别模块、自动人脸识别模块、自动图像物体识别模块、文字数据库保存和搜索模块等。

一种具有文字搜索功能的电子相册的系统流程包含如下：

（1）自动图像文字识别：用户使用智能设备的摄像头拍照后，系统对该照片的图像进行自动图像文字识别，提取图像中的文字，并将这些文字信息和对应的图片的信息保存到文字数据库中；

（2）自动人脸识别：用户使用智能设备的摄像头拍照后，系统对该照片的图像进行人脸识别，当自动识别得到新的人脸后，将新的人脸与系统保存的人脸数据库进行比对，若人脸数据库已经包含该人脸，则将已有的人名信息和对应的图片的信息保存到文字数据库中，其中的图片信息主要包括图片保存地址信息；若人脸数据库未包含该人脸，则由用户输入新的人脸的人名，并将该人脸和人名信息相对应，且一同添加到人脸数据库中。

（3）自动图像物体识别：用户使用智能设备的摄像头拍照后，系统对该照片的图像进行物体识别，当自动识别到图像中的物体后，则将这些物体的文字信息和对应的图片的信息保存到文字数据库中，其中的图片信息主要包括图片保存地址信息；

（4）系统将（1）（2）（3）所述步骤中得到的文字信息和对应的图片信息保存到文字数据库中，其中的图片信息主要包括图片保存地址信息。当用户要通过文字搜索图片的时候，用户输入要搜索的文字，例如：人名、身份证、汽车等等之类的文字；系统通过文字搜索，返回给用户上述文字数据库中包含输入文字所对应的电子照片。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施

例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种具有文字搜索功能的电子相册的系统结构图。

图2是根据一示例性实施例示出的一种具有文字搜索功能的电子相册的系统流程图。

图3是根据一示例性实施例示出的一种具有文字搜索功能的电子相册的流程结构图。

图4是根据一示例性实施例示出的一种具有文字搜索功能的电子相册的流程结构图。

图5是根据一示例性实施例示出的一种具有文字搜索功能的电子相册的流程结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的系统和方法的例子。

图1是根据一示例性实施例示出的一种具有文字搜索功能的电子相册的系统结构图，该系统包括：自动图像文字识别102、自动人脸识别104、自动图像物体识别103、文字数据库保存和搜索模块四个模块105。

图2是根据一示例性实施例示出的一种具有文字搜索功能的电子相册的系统流程图，该系统应用于智能移动设备（特别是智能手机）的电子照片中，如图2所示，该系统包括以下步骤：

在202模块中，用户进行拍照后保存为图片，系统的203，204，205等模块分别启动，对该照片的进行自动识别。

当203模块自动识别到图像中的文字后，则将这些文字信息和对应的图片的信息保存到文字数据库206中，其中的图片信息主要包括图片保存地址信息。203模块采用技术背景中提到的《用更深的卷积网络进行场景的文字识别》所公开的方法进行识别，该方法仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的方法的例子。203模块的细节如图3所述。

当204模块自动识别到图像中的新的人脸后，将新的人脸与系统保存的人脸数据库进行比对识别，若人脸数据库已经包含该人脸，则将这些人名信息和对应的图片的信息保存到文字数据库206中，其中的图片信息主要包括图片保存地址信息；若人脸数据库未包含该人脸，则由用户输入新的人脸的人名，并将人脸和人名信息相对应，且一同添加到人脸数据库中。204模块采用技术背景中提到的《深度学习的人脸描述是稀疏的、可选择的和鲁棒的一种方法》所公开的方法进行识别，该方法仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的方法的例子。203模块的细节如图4所述。

当205模块自动识别到图像中的物体后，则将这些物体文字信息和对应的图片信息保存到文字数据库206中，其中的图片信息主要包括图片保存地址信息。205模块采用技术背景中提到的《图像识别的深度残差学习》所公开的方法进行识别，该方法仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的方法的例子。205模块的细节如图5所述。

当用户要通过文字搜索图片的时候，在207模块中输入要搜索的文字，例如：人名、身份证、汽车等等之类的文字，模块207和模块208通过文字搜索，返回给用户上述文字数据库中包含输入文字所对应的的电子照片。

图3是根据一示例性实施例示出的一种具有文字搜索功能的电子相册的流程结构图，当301模块得到拍照保存后的照片后，302模块对图像进行扫描，自动识别到图像中的文字后，303模块则将这些文字信息和对应的图片的信息保存到文字数据库中，其中的图片信息主要包括图片保存地址信息。302模块采用技术背景中提到的《用更深的卷积网络进行场景的文字识别》所公开的方法进行识别，该方法仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的方法的例子。

图4是根据一示例性实施例示出的一种具有文字搜索功能的电子相册的流程结构图，当401模块得到拍照保存后的照片后，402模块对图像进行扫描，自动识别到图像中的新的人脸后，403模块将新的人脸与系统保存的人脸数据库407进行比对识别，若人脸数据库407已经包含该人脸，则将这些人名信息和对应的图片的信息保存到文字数据库406中，其中的图片信息主要包括图片保存地址信息；若人脸数据库未包含该人脸，则由用户输入新的人脸的人名，并人脸和人名信息添加到人脸数据库407中。402模块采用技术背景中提到的《深度学习的人脸描述是稀疏的、可选择的和鲁棒的一种方法》所公开的方法进行识别，该方法仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的方法的例子。

图5是根据一示例性实施例示出的一种具有文字搜索功能的电子相册的流程结构图，当501模块得到拍照保存后的照片后，502模块对图像进行扫描，自动识别到图像中的物体后，503模块则将这些物体文字信息和对应的图片的信息保存到文字数据库中，其中的图片信息主要包括图片保存地址信息。502模块采用技术背景中提到的《图像识别的深度残差学习》所公开的方法进行识别，该方法仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的方法的例子。

Claims

1.一种具有文字搜索功能的电子相册的系统，其特征在于包含以下4个模块：自动图像文字识别模块、自动人脸识别模块、自动图像物体识别模块、文字数据库保存和搜索模块等模块。

2.根据权利要求1所述的系统，其特征在于自动图像文字识别模块具备以下流程：用户使用智能设备的摄像头拍照后，系统对该照片的图像进行自动图像文字识别，提取图像中的文字，并将这些文字信息和对应的图片的信息保存到文字数据库中，其中的图片信息主要包括图片保存地址信息。

3.根据权利要求1所述的系统，其特征在于自动人脸识别模块具备以下流程：用户使用智能设备的摄像头拍照后，系统对该照片的图像进行人脸识别，当自动识别得到新的人脸后，将新的人脸与系统保存的人脸数据库进行比对，若人脸数据库已经包含该人脸，则将已有的人名信息和对应的图片的信息保存到文字数据库中，其中的图片信息主要包括图片保存地址信息；若人脸数据库未包含该人脸，则由用户输入新的人脸的人名，并将该人脸和人名信息相对应，且一同添加到人脸数据库中。

4.根据权利要求1所述的系统，其特征在于自动图像物体识别模块具备以下流程：用户使用智能设备的摄像头拍照后，系统对该照片的图像进行物体识别，当自动识别到图像中的物体后，则将这些物体的文字信息和对应的图片的信息保存到文字数据库中，其中的图片信息主要包括图片保存地址信息。

5.根据权利要求1所述的系统，其特征在于系统具备以下流程：系统将（2）（3）（4）所述步骤中得到的文字信息和对应的图片信息保存到文字数据库中，其中的图片信息主要包括图片保存地址信息；当用户要通过文字搜索图片的时候，用户输入要搜索的文字，例如：人名、身份证、汽车等等之类的文字；系统通过文字搜索，返回给用户上述文字数据库中包含输入文字所对应的电子照片。