CN112074827A - 图像归档的系统和方法 - Google Patents

图像归档的系统和方法 Download PDF

Info

Publication number
CN112074827A
CN112074827A CN201980024299.5A CN201980024299A CN112074827A CN 112074827 A CN112074827 A CN 112074827A CN 201980024299 A CN201980024299 A CN 201980024299A CN 112074827 A CN112074827 A CN 112074827A
Authority
CN
China
Prior art keywords
image
images
information
archives
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980024299.5A
Other languages
English (en)
Inventor
张忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Truthvision Inc
Shanghai Truthvision Information Technology Co Ltd
Original Assignee
Truthvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Truthvision Inc filed Critical Truthvision Inc
Publication of CN112074827A publication Critical patent/CN112074827A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G06F16/90348—Query processing by searching ordered data, e.g. alpha-numerically ordered data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及检索图像数据的系统和方法。所述系统可以从用户设备获取搜索请求，所述搜索请求包括至少一个关键词。所述系统可以在图像数据库中识别分别与一个或以上目标标签相关联的一个或以上目标图像存档。所述系统可以从图像数据库中检索所述一个或以上目标图像存档，一个或以上目标图像存档中的每一个包括至少两个目标图像。所述系统可以将一个或以上目标图像存档传输到用户设备并经由用户设备的用户界面进行显示。

Description

图像归档的系统和方法
交叉引用
本申请要求于2018年4月27日提交的美国临时专利申请No.62/664,068的优先权，其内容通过引用并入本申请。
技术领域
本申请总体上涉及图像归档的系统和方法，更具体地涉及基于图像的特征信息进行图像归档的系统和方法。
背景技术
图像归档是各个领域的重要热点。对于家庭场景中的图像归档(例如，日常生活记录)，图像归档系统每天可以采集并存储大量图像。图像的采集可以由各种因素触发，例如，检测到某一物体或事件。然而，用户很难从大量图像中识别目标图像，或将图像灵活地分组到不同类别下或文件夹中。因此，期望提供用于基于图像的不同特征自动归档图像，以及基于来自用户的搜索请求中包括的关键词来检索目标图像的系统和方法。
发明内容
本申请的一方面涉及一种检索图像数据的系统。该系统可以包括至少一个包括指令集的存储介质以及与至少一个存储介质通信的至少一个处理器。当至少一个处理器执行指令集时，至少一个处理器可以被配置为使系统执行以下操作中的一个或以上操作。至少一个处理器可以从用户设备获取搜索请求，该搜索请求包括至少一个关键词。至少一个处理器可以在图像数据库中识别分别与一个或以上目标标签相关联的一个或以上目标图像存档。至少一个处理器可以从图像数据库中检索一个或以上目标图像存档，一个或以上目标图像存档中的每一个包括至少两个目标图像。至少一个处理器可以将一个或以上目标图像存档传输到用户设备并经由用户设备的用户界面进行显示。
本申请的另一方面涉及一种在具有至少一个处理器、至少一个存储介质以及连接到网络的通信平台的计算设备上实现的方法。该方法可以包括以下操作中的一个或以上操作。至少一个处理器可以从用户设备获取搜索请求，该搜索请求包括至少一个关键词。至少一个处理器可以在图像数据库中识别分别与一个或以上目标标签相关联的目标图像存档。至少一个处理器可以从图像数据库中检索一个或以上目标图像存档，一个或以上目标图像存档中的每一个包括至少两个目标图像。至少一个处理器可以将一个或以上目标图像存档传输到用户设备并经由用户设备的用户界面进行显示。
本申请的另一方面涉及一种包括可执行指令的非暂时性计算机可读介质。当可执行指令由至少一个处理器执行时，可执行指令可以指导至少一个处理器执行一种方法。该方法可以包括以下操作中的一个或以上操作。至少一个处理器可以从用户设备获取搜索请求，该搜索请求包括至少一个关键词。至少一个处理器可以在图像数据库中识别分别与一个或以上目标标签相关联的一个或以上目标图像存档。至少一个处理器可以从图像数据库中检索一个或以上目标图像存档，一个或以上目标图像存档中的每一个包括至少两个目标图像。至少一个处理器可以将一个或以上目标图像存档发送到用户设备并经由用户设备的用户界面进行显示。
在一些实施例中，至少一个处理器可以从相机设备获取至少两个图像。对于至少两个图像中的每个图像，至少一个处理器可以确定图像的特征信息，并基于特征信息确定与图像相关联的一个或以上标签。所述至少一个处理器可以基于所述至少两个图像和与所述至少两个图像相关联的至少两个标签来生成一个或以上图像存档。
在一些实施例中，特征信息可以包括对象信息、表达信息、事件信息、时间信息和/或位置信息中的至少一项。
在一些实施例中，对于至少两个图像中的至少两个图像，至少一个处理器可以确定至少两个图像指向相同的标签，并且基于相同的标签关联至少两个图像。
在一些实施例中，至少一个处理器可以获取由相机设备采集的图像。至少一个处理器可以确定图像的特征信息。至少一个处理器可以基于特征信息来确定与图像相关联的一个或以上标签。至少一个处理器可以识别分别与一个或以上标签相关联的一个或以上图像存档。至少一个处理器可以将中将图像分别归档到图像数据库中的一个或以上图像存档中。
在一些实施例中，搜索请求可以与文本输入、音频输入、图像输入和/或视频输入中的至少一个相关联。
本申请的一部分附加特性可以在以下描述中进行说明。通过对以下描述和相应附图的研究或者对实施例的生产或操作的了解，本申请的一部分附加特性对于本领域技术人员是明显的本申请的特征可以通过对以下描述的具体实施例的各种方面的方法、手段和组合的实践或使用得以实现和达到。
附图说明
本申请将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
图1是根据本申请的一些实施例所示的示例性图像自动归档系统的示意图；
图2是根据本申请的一些实施例所示的示例性计算设备的示例性硬件和/或软件组件的示意图；
图3是根据本申请的一些实施例所示的示例性移动设备的示例性硬件和/或软件组件的示意图；
图4是根据本申请的一些实施例所示的示例性处理引擎的框图；
图5是根据本申请的一些实施例所示的示例性特征确定模块和示例性标签确定模块的框图；
图6是根据本申请的一些实施例所示的确定一个或以上图像存档的示例性流程的流程图；
图7是根据本申请的一些实施例所示的基于搜索请求确定一个或以上目标图像存档的示例性流程的流程图；
图8是根据本申请的一些实施例所示的用于图像自动归档系统的示例性用户界面的示意图；以及
图9是根据本申请的一些实施例所示的用于响应于搜索请求而显示目标图像存档的示例性用户界面的示意图。
具体实施方式
以下描述是为了使本领域的普通技术人员能够实施和利用本申请，并且该描述是在特定的应用场景及其要求的环境下提供的。对于本领域的普通技术人员来讲，显然可以对所披露的实施例作出各种改变，并且在不偏离本申请的原则和范围的情况下，本申请中所定义的普遍原则可以适用于其它实施例和应用场景。因此，本申请并不限于所描述的实施例，而应该被给予与权利要求一致的最广泛的范围。
本申请中所使用的术语仅出于描述特定示例实施例的目的，而非限制性的。如本申请使用的单数形式“一”、“一个”及“该”同样可以包括复数形式，除非上下文明确提示例外情形。还应当理解，如在本申请说明书中使用的术语“包括”、“包含”仅提示存在所述特征、整体、步骤、操作、组件和/或部件，但并不排除存在或添加一个或以上其它特征、整体、步骤、操作、组件、部件和/或其组合的情况。
根据以下对附图的描述，本申请的这些和其它的特征、特点以及相关结构元件的功能和操作方法，以及部件组合和制造经济性，可以变得更加显而易见，这些附图都构成本申请说明书的一部分。然而，应当理解的是，附图仅仅是为了说明和描述的目的，并不旨在限制本申请的范围。应当理解的是，附图并不是按比例绘制的。
本申请使用的流程图示出了根据本申请的一些实施例所示的系统所执行的操作。应当理解的是，流程图中的操作可以不按顺序执行。相反，可以以相反的顺序或同时执行这些操作。同时，也可以将一个或以上其它操作添加到这些流程图中。也可以从流程图中删除一个或以上操作。
本申请的一方面涉及建立图像数据库的系统和方法。该系统和方法可以从相机设备获取至少两个图像(例如，静止图像、视频)。对于至少两个图像中的每个图像，所述系统和方法可以确定图像的特征信息(例如，对象信息、表达信息、事件信息)，并基于特征信息确定与图像相关联的一个或以上标签(例如，与特征信息相关联的描述)。该系统和方法可以进一步基于至少两个图像和与至少两个图像相关联的至少两个标签确定一个或以上图像存档。因此，该系统和方法可以基于一个或以上图像存档建立图像数据库。
本申请的另一方面涉及基于来自用户的搜索请求从图像数据库检索目标图像存档的系统和方法。该系统和方法可以从用户设备(例如，智能电话)获取包括一个或以上关键词的搜索请求。该系统和方法可以基于一个或以上关键词确定一个或以上目标标签，并且在图像数据库中识别与一个或以上目标标签相关联的一个或以上目标图像存档。此外，该系统和方法可以从图像数据库中检索一个或以上目标图像存档，并将一个或以上目标图像存档传输到用户设备并经由用户设备的用户界面进行显示。
该系统和方法可以自动地和有效地确定采集的图像的标签，并响应于搜索请求基于标签来识别目标图像存档。因此，该系统和方法为用户提供了一种基于包括一个或以上关键词的搜索请求来搜索任何目标图像的解决方案。
图1是根据本申请的一些实施例所示的示例性图像自动归档系统的示意图。图像自动归档系统100可以包括服务器110、网络120、相机设备130、用户设备140和存储设备150。
在一些实施例中，服务器110可以是单个服务器或服务器组。所述服务器组可以是集中式的，也可以是分布式的(例如，服务器110可以是分布式的系统)。在一些实施例中，服务器110可以是本地的，也可以是远程的。例如，服务器110可以经由网络120访问存储在相机设备130、用户设备140和/或存储设备150中的信息和/或数据。又例如，服务器110可以直接与相机设备130、用户设备140和/或存储设备150连接以访问所存储的信息和/或数据。在一些实施例中，服务器110可以在云平台上实施。仅作为示例，云平台可以包括私有云、公共云、混合云、社区云、分布云、云间、多云等或其任意组合。在一些实施例中，服务器110可以在具有本申请中图2所示的组件的计算设备200上实现。
在一些实施例中，服务器110可以包括处理引擎112。处理引擎112可以处理信息和/或数据以执行本申请中描述的一个或以上功能。例如，处理引擎112可以从相机设备130获取一个或以上图像，并基于一个或以上图像的特征信息确定与一个或以上图像中的每一个相关联的一个或以上标签。在一些实施例中，处理引擎112可以包括一个或以上处理引擎(例如，信号核处理引擎或多核处理器)。仅作为示例，处理引擎112可以包括中央处理单元(CPU)、专用集成电路(ASIC)、专用指令集处理器(ASIP)、图形处理单元(GPU)、物理处理单元(PPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、控制器、微控制器单元、精简指令集计算机(RISC)、微处理器等或其任何组合。
网络120可以促进信息和/或数据的交换。在一些实施例中，图像自动归档系统100的一个或以上组件(例如，服务器110、相机设备130、用户设备140或存储设备150)可以将图像自动归档系统100的信息和/数据经由网络120传输到其它的组件。例如，服务器110可以经由网络120从相机设备130接收至少两个图像。在一些实施例中，网络120可以是任何类型的有线或无线网络，或其任何组合。仅作为示例，网络120可以包括电缆网络、有线网络、光纤网络、电信网络、内联网、互联网、局域网(LAN)、广域网(WAN)、无线局域网(WLAN)、城域网(MAN)、公共电话交换网(PTSN)、蓝牙网络、ZigBee网络、近场通信(NFC)网络等，或其任何组合。在一些实施例中，网络120可以包括网络接入点。例如，网络120可以包括有线或无线网络接入点，例如基站和/或互联网交换点120-1、120-2等，图像自动归档系统100的一个或以上组件可以通过该接入点连接到网络120以交换数据和/或信息。
相机设备130可以被配置为采集与一个或以上对象相关联的图像。如本申请所使用的，“图像”可以指静态图像、一系列图像帧、视频等。该对象可以包括人、动物、设施、家具、装饰品等。在一些实施例中，相机设备130可以包括球形相机、半球形相机、步枪式相机等。在一些实施例中，相机设备130可以包括黑白相机、彩色相机、红外相机、X射线相机等。在一些实施例中，相机设备130可以包括数字相机、模拟相机等。在一些实施例中，相机设备130可以包括单目相机、双目相机、多相机等。在一些实施例中，相机设备130可以是IP相机，其可以经由网络120将采集的图像传输到图像自动归档系统100的任何组件(例如，服务器110、用户设备140、存储设备150)。
在一些实施例中，相机设备130可以响应于第一触发事件(例如，特定对象的检测)而自动开始采集过程，并且响应于第二触发事件(例如，对象的消失)而停止采集过程。在一些实施例中，相机设备130可以基于场景或目标对象的特征自动确定采集参数(例如，亮度、焦距、采集时间间隔、曝光时间、对比度、饱和度)。例如，相机设备130可以基于场景的光(例如，日光、灯光、弱光)自动调节亮度。又例如，相机设备130可以基于目标对象的类型自动调整采集时间间隔。对于移动的目标对象，对于本领域普通技术人员来说，采集时间间隔可能相对较短。而对于静止的目标对象，对于本领域普通技术人员来说，采集时间间隔可能相对较长。又例如，相机设备130可以基于场景的类型自动调整曝光时间。对于风景拍摄，对于本领域普通技术人员来说，曝光时间可能相对较长；而对于人像拍摄，对于本领域普通技术人员来说，曝光时间可能相对较短。
在一些实施例中，相机设备130可以包括内置时钟或与外部时钟通信，该外部时钟可以记录与相机设备130采集的图像相关联的时间信息。在一些实施例中，相机设备130可以包括定位模块，其具有用于相机设备130定位的定位技术。定位技术可以基于全球定位系统(GPS)、全球导航卫星系统(GLONASS)、指南针导航系统(COMPASS)、伽利略定位系统、准天顶卫星系统(QZSS)、无线高保真(WiFi)定位技术等，或其任意组合。
在一些实施例中，由相机设备130采集的图像可以存储在相机设备130中的本地存储设备(未示出)或者与图像自动归档系统100相关联的远程存储设备(例如，存储设备150、云存储设备)中。在一些实施例中，可以基于加密算法(例如，高级加密标准算法、数字签名算法)对本地存储设备和远程存储设备进行加密。图像自动归档系统100的一个或以上组件可以经由密匙访问存储设备。在一些实施例中，图像自动归档系统100的一个或以上组件可以具有访问存储设备的权限。例如，注册的用户设备可以通过注册信息(例如，用户名、密码、面部识别、语音识别、指纹)访问存储设备。
用户设备140可以与相机设备130、处理引擎112和/或存储设备150连接和/或通信。用户设备140包括移动设备、平板计算机、膝上型计算机等或其任何组合。在一些实施例中，移动设备可以包括智能家居设备、可穿戴设备、智能移动设备、虚拟现实设备、增强现实设备等或其任意组合。在一些实施例中，智能家居设备可以包括智能照明设备、智能电器的控制设备、智能监控设备、智能电视、智能摄像机、对讲机等，或其组合。在一些实施例中，可穿戴设备可以包括智能手环、智能鞋袜、智能眼镜、智能头盔、智能手表、智能服装、智能背包、智能配件等，或其任意组合。在一些实施例中，智能移动设备可以包括智能电话、个人数字助理(PDA)、游戏设备、导航设备、销售点(POS)设备等，或任何组合。在一些实施例中，虚拟现实设备和/或增强现实设备可以包括虚拟现实头盔、虚拟现实眼镜、虚拟现实眼罩、增强现实头盔、增强现实眼镜、增强现实眼罩等，或其任意组合。例如，虚拟现实设备和/或增强现实设备可以包括Google GlassTM、Oculus RiftTM、HololensTM、Gear VRTM等。在一些实施例中，服务器110的一些功能可以由用户设备140实现。
存储设备150可以存储数据和/或指令。在一些实施例中，存储设备150可以存储从相机设备130、用户设备140和/或处理引擎112获得的数据。例如，存储设备150可以存储从相机设备130获取的至少两个图像。又例如，存储设备150可以存储处理引擎112确定的与图像相关联的一个或以上标签。在一些实施例中，存储设备150可以存储服务器110可以执行或用于执行本申请中描述的示例性方法的数据和/或指令。例如，存储设备150可以存储处理引擎112可以执行或用于确定图像的特征信息以及与该图像相关联的一个或以上标签的指令。在一些实施例中，存储设备150可以包括大容量存储器、可移动存储器器、易失性读写内存、只读内存(ROM)等或其任意组合。示例性大容量存储器可以包括磁盘、光盘、固态驱动器等。示例性可移动存储器可以包括闪存驱动器、软盘、光盘、内存卡、压缩盘、磁带等。示例性易失性读写内存可以包括随机存取内存(RAM)。示例性RAM可包括动态随机存取内存(DRAM)、双倍数据速率同步动态随机存取内存(DDR SDRAM)、静态随机存取内存(SRAM)、晶闸管随机存取内存(T-RAM)和零电容随机存取内存(Z-RAM)等。示例性ROM可包括掩模ROM(MROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、光盘ROM(CD-ROM)和数字多功能磁盘ROM等。在一些实施例中，存储设备150可以在云平台上实现。仅作为示例，该云平台可以包括私有云、公共云、混合云、社区云、分布云、云间、多云等或其任意组合。
在一些实施例中，存储设备150可以连接到网络120，以与图像自动归档系统100的一个或以上组件(例如，服务器110、相机设备130或用户设备140)通信。图像自动归档系统100的一个或以上组件可以通过网络120访问存储在存储设备150中的数据和/或指令。在一些实施例中，存储设备150可以直接连接到图像自动归档系统100的一个或以上组件(例如，服务器110、相机设备130、用户设备140)或与之通信。在一些实施例中，存储设备150可以是服务器110的一部分。
该描述旨在是说明性的，而不是限制本申请的范围。对于本领域技术人员而言，许多替代、修改和变化将是显而易见的。本申请描述的示例性实施例的特征、结构、方法和其它特征可以以各种方式组合以获得另外的和/或替代的示例性实施例。然而，这些变化和修改不脱离本申请的范围。
图2是根据本申请的一些实施例所示的可在其上实现服务器110和用户设备140的计算设备200的示例性硬件和软件组件的示意图。例如，处理引擎112可以在计算设备200上实现并且被配置为执行本申请中公开的处理引擎112的功能。
计算设备200可用于实现如本申请所述的图像自动归档系统100的任何组件。例如，处理引擎112可以经由其硬件、软件程序、固件或其组合在计算设备200上实现。为了方便尽管仅示出了一台这样的计算机，与本申请所述的自动存档服务有关的计算机功能可以以分布式方式在多个类似平台上实现，以分配处理负载。
例如，计算设备200可以包括与网络相连接的通信端口250，以实现数据通信。计算设备200还可包括处理器220，其以一个或以上处理器(例如，逻辑电路)的形式，用于执行程序指令。例如，处理器220可以包括其中的接口电路和处理电路。接口电路可以被配置为从总线210接收电信号，其中，电信号编码由处理电路处理的结构化数据和/或指令。处理电路可以进行逻辑计算，然后将结论、结果和/或指令编码成电信号。然后，接口电路可以经由总线210从处理电路发出电信号。
计算设备200可以进一步包括不同形式的程序存储和数据存储，其包括例如磁盘270和只读内存(ROM)230或随机存取内存(RAM)240，以用于由计算设备处理和/或传输的各种数据文件。示例性计算机平台还可以包括存储在ROM 230、RAM 240和/或其它类型的非暂时性存储介质的程序指令以被处理器200执行。本申请的方法和/或流程可以以程序指令的方式实现。计算设备200还包括支持计算机和其它组件之间的输入/输出的I/O组件260。计算设备200还可以通过网络通信来接收程序和数据。
仅出于说明目的，图2中仅描述了一个处理器。还可以考虑使用多个处理器，因此，如本申请中所描述的由一个处理器执行的操作和/或方法步骤也可以由多个处理器共同或分开地执行。例如，如果在本申请中，计算设备200的处理器同时执行步骤A和步骤B，则应当理解，步骤A和步骤B也可以在计算设备200中由两个不同的CPU和/或处理器共同或分开执行(例如，第一处理器执行步骤A，第二处理器执行步骤B，或者第一处理器和第二处理器共同执行步骤A和B)。
图3是根据本申请的一些实施例所示的可以在其上实现用户设备140的移动设备300的示例性硬件和/或软件组件的示意图。如图3所示，移动设备300可以包括通信单元310、显示器320、图形处理单元(GPU)330、中央处理单元(CPU)340、I/O设备350、内存360、移动操作系统(OS)370和存储器390。CPU 340可以包括类似于处理器220的接口电路和处理电路。在一些实施例中，任何其它合适的组件，包括但不限于系统总线或控制器(未示出)，也可包括在移动设备300内。
在一些实施例中，移动操作系统(OS)370(例如，iOSTM、AndroidTM、Windows PhoneTM等)和一个或以上应用程序380可以从存储器390加载到内存360中以被CPU 340执行。应用程序380可以包括浏览器或任何其它合适的移动应用程序，用于接收和呈现与服务请求有关的信息和来自在移动设备300上的基于位置的服务提供系统的其它信息。用户与信息流的交互可以经由I/O设备350来实现，并经由网络120将其提供给处理引擎112和/或图像自动归档系统100的其它组件。
图4是根据本申请的一些实施例所示的示例性处理引擎的框图。处理引擎112可以包括数据获取模块402、特征确定模块404、标签确定模块406、归档模块408、存储模块410和识别模块412。
数据获取模块402可以被配置为获取至少两个图像(例如，图4所示的420)。如本申请所使用的，“图像”可以指静态图像、一系列图像帧、视频等。该图像可以是二维图像、三维图像、四维图像等。该图像可以进一步包括与该图像相关联的语音信息。数据获取模块402可以周期性地(例如，每1秒、每2秒、每5秒、每10秒)从相机设备(例如，相机设备130)获取至少两个图像。在一些实施例中，在图像的采集期间，相机设备130可以周期性地(例如，每1秒、每2秒、每5秒、每10秒)或实时地经由网络120将图像发送到存储设备(例如，存储设备150)。进一步地，数据获取模块402可以访问存储设备并检索图像。
特征确定模块404可以被配置为确定至少两个图像中的每个图像的特征信息。特征确定模块404可以经由至少两个线程或至少两个计算节点确定至少两个图像的特征信息。特征信息可以包括对象信息、表达信息、事件信息、时间信息、位置信息等或其任意组合。在一些实施例中，在确定图像的特征信息之前，特征确定模块404可以预处理图像。例如，特征确定模块404可以放大图像中的特定区域以识别感兴趣区域(ROI)。又例如，特征确定模块404可以基于降噪技术(例如，小波降噪技术)降低图像中的噪声。又例如，特征确定模块404可以压缩图像以增加处理速度。
标签确定模块406可以被配置为基于特征信息确定与至少两个图像中的每一个图像相关联的一个或以上标签。如本申请所使用的，“标签”可以指与图像的特征信息相关联的描述(例如，关键词、词语、句子)。以家庭场景为例，假设图像的特征信息包括家庭成员A和家庭成员B的对象信息、表达信息(例如，“快乐”)、事件信息(例如，结婚纪念日)，标签确定模块406可以确定与图像相关联的标签“A”、“B”、“快乐”和“结婚纪念日”。又例如，假设图像的特征信息包括家庭成员C的对象信息(例如，衣服)，则标签确定模块406可以确定与图像相关联的标签“C”和“白色长裙”。
归档模块408可以被配置为基于至少两个图像和与至少两个图像中的每个图像相关联的一个或以上标签，确定一个或以上图像存档。如本申请所使用的，“图像存档”可以指对应于相同标签的图像的集合。
在一些实施例中，在确定图像存档之后，归档模块408可以进一步基于一个或以上图像存档在如本申请的其它地方所公开的存储设备(例如，存储设备150)中建立图像数据库。在一些实施例中，归档模块408可以基于与每个图像相关联的一个或以上标签，从如本申请的其它地方所公开的存储设备(例如，存储设备150)中的现有图像数据库中识别一个或以上图像存档，并且将至少两个图像归档到一个或以上图像存档中。
存储模块410可以被配置为存储与处理引擎112中的模块相关联的任何信息和/或数据。例如，存储模块410可以存储至少两个图像的特征信息、图像的标签和/或图像存档。如本申请的其它地方所述，存储模块410可以包括可以执行存储功能的任何合适的存储设备。
识别模块412可以被配置为从用户设备140获取搜索请求，基于搜索请求在图像数据库中识别与一个或以上目标标签相关联的一个或以上目标图像存档，从图像数据库中检索一个或以上目标图像存档，并将一个或以上目标图像存档通过网络120发送到用户设备140。更多描述可以在本申请的其它地方(例如，图7及其描述)找到。
处理引擎112中的模块可以经由有线连接或无线连接彼此连接或通信。有线连接可以包括金属电缆、光缆、混合电缆等或其任何组合。无线连接可以包括局域网络(LAN)、广域网络(WAN)、蓝牙、紫蜂网络、近场通信(NFC)等或其任意组合。两个或以上模块可以被组合为单个模块。所述模块中的任一个模块可以被分成两个或以上单元。例如，存储模块410可以是不必要的，并且处理引擎112可以将信息和/或数据存储在本申请的其它地方公开的存储设备(例如，存储设备150)中。
图5是根据本申请的一些实施例所示的示例性特征确定模块和示例性标签确定模块的框图。特征确定模块404可以包括对象检测单元502、表达确定单元504和事件确定单元506。标签确定模块406可以包括关联单元508。
对象检测单元502可以被配置为检测至少两个图像的对象信息。对象信息可以指示与图像中的对象相关联的一般信息。如本申请的其它地方所述，图像中的对象可以包括人、动物、设施、家具、装饰品等。以“人”为例，对象信息可以包括身份信息(例如，姓名、ID号)、身高、体重、年龄、性别、衣服(例如，颜色、风格)等。以“家具(例如餐桌)”为例，对象信息可以包括购买信息(例如，价格、购买时间)、长度、宽度、高度、重量、颜色等。在一些实施例中，对象检测单元502可以首先检测图像中的对象，并进一步提取对象信息。对象检测单元502可以基于对象检测算法(例如，帧间差分算法、背景差分算法、光流算法)检测图像中的对象。在检测到图像中的对象之后，对象检测单元502可以提取与对象相对应的对象信息。
表达确定单元504可以被配置为检测至少两个图像的表达信息。表达信息可以指示图像中的对象的情绪表达和/或动作表达。情绪表达可以包括快乐、愤怒、厌恶、恐惧、悲伤等。动作表达可以包括睡觉、看电视、工作、阅读、做饭、清洁等。以“情绪表达”为例，表达确定单元504可以识别对象(例如，人)的面部特征(例如，皱纹、肌肉变化、器官(例如，眼睛)的形状)，并基于面部特征确定情绪表达。在一些实施例中，表达确定单元504可以基于特征提取算法识别对象的面部特征。示例性特征提取算法可以包括主成分分析(PCA)、线性判别分析(LDA)、独立成分分析(ICA)、多维缩放(MDS)算法、离散余弦变换(DCT)算法等。如本申请的其它地方所述，表达确定单元504还可以根据机器学习模型(例如，神经网络模型、回归模型、分类树模型)基于面部特征确定情绪表达。
事件确定单元506可以被配置为检测至少两个图像的事件信息。事件信息可以指示与图像相关联的日期部分(例如，生日)和/或活动(例如，生日聚会)。例如，事件信息可以包括元旦、春节、圣诞节、万圣节、结婚纪念日、圣诞节晚餐、家庭聚会等。在一些实施例中，事件确定单元506可以从图像自动归档系统100中的内置日历系统获取事件信息。例如，用户可以在日历系统中手动设置特殊日期(例如，生日、周年纪念日)，并且事件确定单元506可以访问日历系统以检索事件信息。在一些实施例中，事件确定单元506可以经由网络120从外部资源(例如，新闻平台、在线日历)获取事件信息。在一些实施例中，事件确定单元506可以通过识别和/或分析图像中的典型特征(例如，蛋糕、蜡烛、香槟)确定事件信息(例如，生日聚会)。
关联单元508可以被配置为基于与图像相关联的标签关联至少两个图像中的两个或以上图像。例如，假设第一图像和第二图像都对应于相同的标签“结婚纪念日”，则关联单元508可以通过关联词“结婚纪念日”关联两个图像。
特征确定模块404和标签确定模块406中的单元可以经由有线连接或无线连接彼此连接或彼此通信。有线连接可以包括金属电缆、光缆、混合电缆等或其任何组合。无线连接可以包括局域网络(LAN)、广域网络(WAN)、蓝牙、紫蜂网络、近场通信(NFC)等或其任意组合。可以将两个或以上单元组合成单个单元，并且可以将任何一个单元划分成两个或以上子单元。例如，特征确定模块404可以进一步包括被配置为确定至少两个图像的其它特征信息的其它单元(例如，时间确定单元)。
图6是根据本申请的一些实施例所示的确定一个或以上图像存档的示例性流程的流程图。流程600可以由图像自动归档系统100执行。例如，流程600可以被实现为存储在存储器ROM 230或RAM 240中的一组指令。处理器220和/或图4中的模块可以执行所述一组指令，并且当执行指令时，处理器220和/或模块可以被配置以执行流程600。以下所示流程的操作仅出于说明的目的。在一些实施例中，流程600可以利用一个或以上未描述的附加操作和/或不用所讨论的一个或以上操作来完成。另外，图6中所示和以下描述的流程600的操作的顺序并非旨在限制。
在602中，处理引擎112(例如，数据获取模块402)(例如，处理器220的接口电路)可以获取至少两个图像。如本申请所使用的，“图像”可以指静态图像、一系列图像帧、视频等。该图像可以是二维图像、三维图像、四维图像等。该图像可以进一步包括与该图像相关联的语音信息。
在一些实施例中，处理引擎112可以周期性地(例如每1秒、每2秒、每5秒、每10秒)从相机设备(例如，相机设备130)获取至少两个图像。在一些实施例中，在图像的采集期间，相机设备130可以通过网络120周期性地(例如，每1秒、每2秒、每5秒、每10秒)或实时地将图像发送到存储设备(例如，存储设备150)。进一步地，处理引擎112可以访问存储设备并检索图像。
在604中，处理引擎112(例如，特征确定模块404)(例如，处理器220的处理电路)可以确定至少两个图像中的每个图像的特征信息。处理引擎112可以通过至少两个线程或至少两个计算节点确定至少两个图像的特征信息。特征信息可以包括对象信息、表达信息、事件信息、时间信息、位置信息等或其任意组合。
对象信息可以指示与图像中的对象相关联的一般信息。如本申请的其它地方所述，图像中的对象可以包括人、动物、设施、家具、装饰品等。以“人”为例，对象信息可以包括身份信息(例如，姓名、ID号)、身高、体重、年龄、性别、衣服(例如，颜色、风格)等。以“家具(例如餐桌)”为例，对象信息可以包括购买信息(例如，价格、购买时间)、长度、宽度、高度、重量、颜色等。
处理引擎112可以首先检测图像中的对象，然后进一步提取对象信息。处理引擎112可以基于对象检测算法(例如，帧间差分算法、背景差分算法、光流算法)检测图像中的对象。在检测到图像中的对象之后，处理引擎112可以提取与对象相对应的对象信息。以特定对象为例，可以直接从特定对象的注册信息中获取一些对象信息(例如，身份信息、性别)。在这种情况下，处理引擎112可以访问与图像自动归档系统100相关联的存储设备(例如，存储设备150)以获取注册信息。除此之外，可以通过分析检测到的对象间接获取一些对象信息。例如，处理引擎112可以基于机器学习模型(例如，神经网络模型、回归模型、分类树模型)确定例如体重、身高、衣服的颜色之类的对象信息。
表达信息可以指示图像中的对象的情绪表达和/或动作表达。情绪表达可以包括快乐、愤怒、厌恶、恐惧、悲伤等。动作表达可以包括睡觉、看电视、工作、阅读、做饭、清洁等。以“情绪表达”为例，处理引擎112可以识别对象(例如，人)的面部特征(例如，皱纹、肌肉变化、器官(例如，眼睛)的形状)，并且基于面部特征确定情绪表达。在一些实施例中，处理引擎112可以基于特征提取算法识别对象的面部特征。示例性特征提取算法可以包括主成分分析(PCA)、线性判别分析(LDA)、独立成分分析(ICA)、多维缩放(MDS)算法、离散余弦变换(DCT)算法等。如本申请的其它地方所述，处理引擎112可以根据机器学习模型(例如，神经网络模型、回归模型、分类树模型)基于面部特征进一步确定情绪表达。
事件信息可以指示与图像相关联的日期部分(例如，生日)和/或活动(例如，生日聚会)。例如，事件信息可以包括元旦、春节、圣诞节、万圣节、结婚纪念日、圣诞节晚餐、家庭聚会等。在一些实施例中，处理引擎112可以从图像自动归档系统100中的内置日历系统获取事件信息。例如，用户可以在日历系统中手动设置特殊的日期(例如，生日、周年纪念日)，并且处理引擎112可以访问日历系统以检索事件信息。在一些实施例中，处理引擎112可以经由网络120从外部资源(例如，新闻平台、在线日历)获取事件信息。在一些实施例中，处理引擎112可以通过识别和/或分析图像中的典型特征(例如，蛋糕、蜡烛、香槟)确定事件信息(例如生日聚会)。
时间信息可以指示图像被采集时的时间(例如，数据、时间段、时间点)。位置信息可以指示采集图像的位置。以家庭场景为例，位置信息可以包括客厅、卧室、厨房、餐厅、书房等。如本申请的其它地方所述，相机设备130可以包括定位模块，其可以确定相机设备130的位置。
在一些实施例中，在确定图像的特征信息之前，处理引擎112可以预处理图像。例如，处理引擎112可以放大图像中的特定区域以识别感兴趣区域(ROI)。又例如，处理引擎112可以基于降噪技术(例如，小波降噪技术)降低图像中的噪声。又例如，处理引擎112可以压缩图像以增加处理速度。
在606中，处理引擎112(例如，标签确定模块406)(例如，处理器220的处理电路)可以基于特征信息确定与至少两个图像中的每个图像相关联的一个或以上标签。如本申请所使用的，“标签”可以指与图像的特征信息相关联的描述(例如，关键词、词语、句子)。以家庭场景为例，假设图像的特征信息包括家庭成员A和家庭成员B的对象信息、表达信息(例如，“快乐”)、事件信息(例如，“结婚纪念日”)，处理引擎112可以确定与图像相关联的标签“A”、“B”、“快乐”和“结婚纪念日”。又例如，假设图像的特征信息包括家庭成员C的对象信息(例如，衣服)，则处理引擎112可以确定与图像相关联的标签“C”和“白色长裙”。
在一些实施例中，处理引擎112可以基于与图像相关联的标签，关联至少两个图像中的两个或以上图像。例如，假设第一图像和第二图像都对应于相同的标签“结婚纪念日”，则处理引擎112可以通过关联词“结婚纪念日”关联这两个图像。
在608中，处理引擎112(例如，归档模块408)(例如，处理器220的处理电路)可以基于至少两个图像和与至少两个图像相关联的一个或以上标签，确定一个或以上图像存档。如本申请所使用的，“图像存档”可以指对应于相同的标签的图像的集合。
在一些实施例中，在确定一个或以上图像存档之后，处理引擎112可以进一步基于一个或以上图像存档在如本申请的其它地方公开的存储设备(例如，存储设备150)中建立图像数据库。在一些实施例中，处理引擎112可以基于与每个图像相关联的一个或以上标签，从如本申请的其它地方公开的存储设备(例如，存储设备150)中的现有图像数据库中识别一个或以上图像存档，并且将至少两个图像归档到一个或以上图像存档中。
为了说明的目的，本申请以“至少两个图像”为例，应当注意，处理引擎112可以从相机设备130一张一张地实时地获取图像。处理引擎112可以通过至少两个线程或至少两个计算节点实时处理图像。例如，假设处理引擎112在时间点T1从相机设备130获取图像A1，则处理引擎112可以通过线程X1处理图像A1；处理引擎112进一步在时间点T2从相机设备130获取图像A2(图像A1此时仍在处理中)，该处理可以通过线程X2处理图像A2；依此类推。当图像的处理完成时，相应的线程处于空闲状态，并且可以为该线程分配下一个任务。通过这种方式，处理引擎112可以同时获取和处理图像。
应当注意，以上描述仅是出于说明的目的而提供的，并且不旨在限制本申请的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的变化和修改。然而，这些变化和修改不脱离本申请的范围。例如，可以在流程600中的其它地方添加一个或以上步骤(例如，存储步骤)。在存储步骤中，处理引擎112可以将与图像相关联的信息和/或数据(例如，图像的特征信息、与图像相关联的一个或以上标签)存储在本申请的其它地方公开的存储设备(例如，存储设备150)中。又例如，步骤604和步骤606可以合并为单个步骤，处理引擎112可以确定至少两个图像中的每个图像的特征信息，并基于特征信息确定与至少两个图像中的每个图像相关联的一个或以上标签。
图7是根据本申请的一些实施例所示的基于搜索请求确定一个或以上目标图像存档的示例性流程的流程图。流程700可以由图像自动归档系统100执行。例如，流程700可以被实现为存储在存储器ROM 230或RAM 240中的一组指令。处理器220和/或图4中的模块可以执行所述一组指令，并且当执行指令时，处理器220和/或模块可以被配置以执行流程700。以下所示流程的操作仅出于说明的目的。在一些实施例中，流程700可以利用一个或以上未描述的附加操作和/或不用所讨论的一个或以上操作来完成。另外，图7中所示和以下描述的流程700的操作的顺序并非旨在限制。
在702中，处理引擎112(例如，识别模块412)(例如，处理器220的接口电路)可以从用户设备140获取搜索请求。处理引擎112可以经由网络120从用户设备140获取搜索请求。搜索请求可以与文本输入、图像输入、视频输入、语音输入等相关联。搜索请求可以包括一个或以上关键词。例如，处理引擎112可以从用户获取语音输入，并基于语音识别技术(例如，语音模型、语言模型)从语音输入中识别一个或以上关键词。
在一些实施例中，用户设备140可以通过安装在用户设备140中的与图像自动归档系统100相关联的应用程序(例如，应用程序380)与处理引擎112建立通信(例如，无线通信)。此外，用户可以通过应用程序的用户界面(例如，图8所示的用户界面800)发起搜索请求。例如，用户可以通过图8所示的搜索框820输入包括一个或以上关键词的搜索查询。又例如，用户可以经由一个或以上选项部分(例如，图8所示的830和840)通过选择一个或以上选项发起搜索请求。关于用户界面的更多描述可以在本申请的其它地方(例如，图8及其描述)找到。
在704中，处理引擎112(例如，识别模块412)(例如，处理器220的处理电路)可以基于搜索请求在图像数据库中(例如，图6中描述的图像数据库)识别与一个或以上目标标签相关联的一个或以上目标图像存档。
在一些实施例中，处理引擎112可以基于搜索请求中包括的一个或以上关键词来识别一个或以上目标标签，并且基于一个或以上目标标签来识别一个或以上目标图像存档。例如，假设搜索请求包括用户输入的一个关键词，则处理引擎112可以识别与该关键词相同或基本上相似的目标标签。如本申请所使用的，“基本上相似”是指关键词与目标标签之间的相似度大于阈值(例如，98％、95％、90％、85％)，或者关键词是目标标签的同义词。进一步地，处理引擎112可以识别在图像数据库中与目标标签相对应的目标图像存档。又例如，用户可以通过用户界面(例如，图8所示的830和840)的一个或以上选项部分选择一个或以上目标标签。进一步地，处理引擎112可以识别与图像数据库中的目标标签相对应的目标图像存档。
在706中，处理引擎112(例如，识别模块412)(例如，处理器220的处理电路)可以从图像数据库中检索一个或以上目标图像存档。
在708中，处理引擎112(例如，识别模块412)(例如，处理器220的接口电路)可以将一个或以上目标图像存档经由网络120传输到用户设备140。处理引擎112可以经由任何合适的通信协议(例如，地址解析协议(ARP)、动态主机配置协议(DHCP)、文件传输协议(FTP)、超文本传输协议(HTTP))来发送一个或以上目标图像存档。在接收到一个或以上目标图像存档之后，用户设备140可以通过应用程序的用户界面(例如，图9所示的用户界面900)显示目标图像存档。用户设备140可以以图片、音频、视频等或其组合的形式显示目标图像存档。
应该注意的是，以上描述仅是出于说明的目的而提供的，而无意于限制本申请的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的变化和修改。然而，这些变化和修改不脱离本申请的范围。例如，可以在流程700中的其它地方添加一个或以上其它可选步骤(例如，存储步骤)。在存储步骤中，处理引擎112可以将与目标图像存档相关联的信息和/或数据存储在本申请中其它地方公开的存储设备(例如，存储设备150)中。
图8是根据本申请的一些实施例所示的用于图像自动归档系统的示例性用户界面的示意图。用户界面800可以包括一个或以上用户界面元素(也被称为“UI元素”)，用于呈现与图像自动归档系统相关联的信息。UI元素可以包括一个或以上按钮、图标、复选框、消息框、文本字段、数据字段、搜索字段等。
如图所示，用户界面800可以包括菜单栏810，用于呈现与系统相关联的操作(例如，“编辑”、“查看”、“搜索”、“打印”、“帮助”、“反馈”)。用户界面800还可以包括搜索框820，用于呈现用户输入的搜索查询。用户可以在搜索框820中输入一个或以上关键词以发起搜索请求。用户界面800可以进一步包括类型选项部分830，用于呈现要搜索的目标图像存档的各种类型(例如，“图片”、“视频”、“音频”)。用户界面800可以进一步包括标签选项部分840，用于呈现可由用户选择以发起搜索请求的各种类型的标签(例如，“时间”、“对象”、“位置”、“事件”、“表达”)。对于每种类型(例如，“表达”)，标签选项部分840可以包括下拉列表(“快乐”、“生气”、“惊讶”、“悲伤”)、文本框等。用户可以经由标签选项部分840通过选择至少两个标签和定义至少两个所选择的标签之间的关系(例如，“和”、“或”)来发起搜索请求。用户界面800可以进一步包括按钮850，用于呈现用户的确认。
图9是根据本申请的一些实施例所示的用于响应于搜索请求显示目标图像存档的示例性用户界面的示意图。用户界面900可以包括一个或以上UI元素，用于向用户呈现选择选项以查看和编辑目标图像存档。
如图所示，用户界面900可以包括用于显示目标图像存档的显示屏910。用户界面900还可以包括标签部分920，用于呈现与目标图像存档相关联的各种标签。用户界面900可以进一步包括功能按钮部分930，用于呈现与目标图像存档相关联的操作(例如，“快进”、“播放”、“快退”、“暂停”、“分享”、“返回”)。
上文已对基本概念做了描述，显然，对于阅读此申请后的本领域的普通技术人员来说，上述发明披露仅作为示例，并不构成对本申请的限制。虽然此处并未明确说明，但本领域的普通技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时，本申请使用了特定词语来描述本申请的实施例。例如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特性。因此，应当强调并注意的是，本说明书中在不同位置两次或以上提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域的普通技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的过程、机器、产品或物质的组合，或对其任何新的和有用的改进。因此，本申请的各个方面可以完全由硬件实施、可以完全由软件(包括固件、常驻软件、微代码等)实施、也可以由硬件和软件组合实施。以上硬件或软件均可被称为“单元”、“模块”或“系统”。此外，本申请的各方面可以采取体现在一个或以上计算机可读介质中的计算机程序产品的形式，其中计算机可读程序代码包含在其中。
计算机可读信号介质可以包含一个内含有计算机程序代码的传播数据信号，例如，在基带上或作为载波的一部分。此类传播信号可以有多种形式，包括电磁形式、光形式等或任何合适的组合。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通信、传播或传输供使用的程序。位于计算机可读信号介质上的程序代码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF等，或任何上述介质的组合。
本申请各部分操作所需的计算机程序代码可以用任意一种或以上程序设计语言编写，包括如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等的面向对象程序设计语言、如C程序设计语言、Visual Basic、Fortran2103、Perl、COBOL2102、PHP、ABAP的常规程序化程序设计语言、如Python、Ruby和Groovy的动态程序设计语言或其它程序设计语言等。该程序代码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后一种情况下，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户计算机，或者可以与外部计算机建立连接(例如，通过使用网络服务提供商的网络)或在云计算环境中或作为服务提供，例如，软件服务(SaaS)。
此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其它名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，尽管上述各种组件的实现可以体现在硬件设备中，但也可以实现为纯软件解决方案，例如，在现有服务器或移动设备上的安装。
同理，应当注意的是，为了简化本申请披露的表述，从而帮助对发明实施例的理解，前文对本申请的实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。然而，本申请的该方法不应被解释为反映所声称的待扫描对象物质需要比每个权利要求中明确记载的更多特征的意图。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

Claims (18)

1.一种检索图像数据的系统，包括：
至少一个包括指令集的存储介质；
与所述至少一个存储介质通信的至少一个处理器，其中，当所述至少一个处理器执行所述指令集时，所述至少一个处理器被配置为使所述系统：
从用户设备获取搜索请求，所述搜索请求包括至少一个关键词；
在图像数据库中识别分别与一个或以上目标标签相关联的一个或以上目标图像存档；
从所述图像数据库中检索所述一个或以上目标图像存档，所述一个或以上目标图像存档中的每一个包括至少两个目标图像；以及
将所述一个或以上目标图像存档传输到所述用户设备并经由所述用户设备的用户界面进行显示。
2.根据权利要求1所述的系统，其特征在于，所述至少一个处理器被配置为使所述系统进一步建立所述图像数据库，以及
为了建立所述图像数据库，所述至少一个处理器进一步被配置为使所述系统：
从相机设备获取至少两个图像；
对于所述至少两个图像中的每个图像，
确定所述图像的特征信息；以及
基于所述特征信息，确定与所述图像相关联的一个或以上标签；以及
基于所述至少两个图像和与所述至少两个图像相关联的至少两个标签，生成一个或以上图像存档。
3.根据权利要求2所述的系统，其特征在于，所述特征信息包括对象信息、表达信息、事件信息、时间信息或位置信息中的至少一个。
4.根据权利要求2所述的系统，其特征在于，为了建立所述图像数据库，所述至少一个处理器被配置为使所述系统进一步：
对于所述至少两个图像中的至少两个图像，
确定所述至少两个图像指向相同的标签；以及
基于所述相同的标签，关联所述至少两个图像。
5.根据权利要求1所述的系统，其特征在于，所述至少一个处理器被配置为使所述系统进一步建立所述图像数据库，以及
为了建立所述图像数据库，所述至少一个处理器被配置为使所述系统进一步：
获取相机设备采集的图像；
确定所述图像的特征信息；
基于所述特征信息，确定与所述图像相关联的一个或以上标签；
识别分别与所述一个或以上标签相关联的一个或以上图像存档；以及
将所述图像分别归档到所述图像数据库中的所述一个或以上图像存档中。
6.根据权利要求1所述的系统，其特征在于，所述搜索请求与文本输入、音频输入、图像输入或视频输入中的至少一个相关联。
7.一种在具有至少一个处理器、至少一个存储介质和连接到网络的通信平台的计算设备上实现的方法，所述方法包括：
从用户设备获取搜索请求，所述搜索请求包括至少一个关键词；
在图像数据库中识别分别与一个或以上目标标签相关联的一个或以上目标图像存档；
从所述图像数据库中检索所述一个或以上目标图像存档，所述一个或以上目标图像存档中的每一个包括至少两个目标图像；以及
将所述一个或以上目标图像存档传输到所述用户设备并经由所述用户设备的用户界面进行显示。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括建立所述图像数据库，所述建立所述图像数据库包括：
从相机设备获取至少两个图像；
对于所述至少两个图像中的每个图像，
确定所述图像的特征信息；以及
基于所述特征信息，确定与所述图像相关联的一个或以上标签；以及
基于所述至少两个图像和与所述至少两个图像相关联的至少两个标签，生成一个或以上图像存档。
9.根据权利要求8所述的方法，其特征在于，所述特征信息包括对象信息、表达信息、事件信息、时间信息或位置信息中的至少一个。
10.根据权利要求8所述的方法，其特征在于，所述建立所述图像数据库包括：
对于所述至少两个图像中的至少两个图像，
确定所述至少两个图像指向相同的标签；以及
基于所述相同的标签，关联所述至少两个图像。
11.根据权利要求7所述的方法，其特征在于，所述方法还包括建立所述图像数据库，所述建立所述图像数据库包括：
获取相机设备采集的图像；
确定所述图像的特征信息；
基于所述特征信息确定与所述图像相关联的一个或以上标签；
识别分别与所述一个或以上标签相关联的一个或以上图像存档；以及
将所述图像分别归档到所述图像数据库中的所述一个或以上图像存档中。
12.根据权利要求7所述的方法，其特征在于，所述搜索请求与文本输入、音频输入、图像输入或视频输入中的至少一个相关联。
13.一种非暂时性计算机可读介质，其包括可执行指令，当所述可执行指令被至少一个处理器执行时，所述可执行指令使所述至少一个处理器执行一种方法，所述方法包括：
从用户设备获取搜索请求，所述搜索请求包括至少一个关键词；
在图像数据库中识别分别与一个或以上目标标签相关联的一个或以上目标图像存档；
从所述图像数据库中检索所述一个或以上目标图像存档，所述一个或以上目标图像存档中的每一个包括至少两个目标图像；以及
将所述一个或以上目标图像存档传输到所述用户设备并经由所述用户设备的用户界面进行显示。
14.根据权利要求13所述的非暂时性计算机可读介质，其特征在于，所述方法还包括：建立所述图像数据库，所述建立所述图像数据库包括：
从相机设备获取至少两个图像；
对于所述至少两个图像中的每个图像，
确定所述图像的特征信息；以及
基于所述特征信息，确定与所述图像相关联的一个或以上标签；以及
基于所述至少两个图像和与所述至少两个图像相关联的至少两个标签，生成一个或以上图像存档。
15.根据权利要求14所述的非暂时性计算机可读介质，其特征在于，所述特征信息包括对象信息、表达信息、事件信息、时间信息或位置信息中的至少一个。
16.根据权利要求14所述的非暂时性计算机可读介质，其特征在于，所述建立所述图像数据库包括：
对于所述至少两个图像中的至少两个图像，
确定所述至少两个图像指向相同的标签；以及
基于所述相同的标签，关联所述至少两个图像。
17.根据权利要求13所述的非暂时性计算机可读介质，其特征在于，所述方法还包括：建立所述图像数据库，所述建立所述图像数据库包括：
获取相机设备采集的图像；
确定所述图像的特征信息；
基于所述特征信息，确定与所述图像相关联的一个或以上标签；
识别分别与所述一个或以上标签相关联的一个或以上图像存档；以及
将所述图像分别归档到所述图像数据库中的所述一个或以上图像存档中。
18.根据权利要求13所述的非暂时性计算机可读介质，其特征在于，所述搜索请求与文本输入、音频输入、图像输入或视频输入中的至少一个相关联。
CN201980024299.5A 2018-04-27 2019-04-26 图像归档的系统和方法 Pending CN112074827A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862664068P 2018-04-27 2018-04-27
US62/664,068 2018-04-27
PCT/CN2019/084430 WO2019206251A1 (en) 2018-04-27 2019-04-26 Systems and methods for image archiving

Publications (1)

Publication Number Publication Date
CN112074827A true CN112074827A (zh) 2020-12-11

Family

ID=68293774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980024299.5A Pending CN112074827A (zh) 2018-04-27 2019-04-26 图像归档的系统和方法

Country Status (3)

Country Link
US (1) US20210042350A1 (zh)
CN (1) CN112074827A (zh)
WO (1) WO2019206251A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113434710A (zh) * 2021-06-29 2021-09-24 平安普惠企业管理有限公司 文档检索方法、装置、服务器以及存储介质
CN114067961A (zh) * 2021-10-27 2022-02-18 武汉联影医疗科技有限公司 一种医学图像归档系统、方法及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11388332B2 (en) * 2019-01-11 2022-07-12 Ricoh Company, Ltd. Image capturing apparatus, image capturing method, and recording medium
CN113032610B (zh) * 2019-12-25 2024-05-07 深圳云天励飞技术有限公司 档案管理方法、装置、设备及计算机可读存储介质
CN114972781A (zh) * 2022-04-19 2022-08-30 浙江大华技术股份有限公司 聚档优化方法、电子设备及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101990667A (zh) * 2008-04-02 2011-03-23 谷歌公司 将自动人脸识别合并入数字图像集中的方法和装置
CN102542014A (zh) * 2011-12-16 2012-07-04 华中科技大学 基于内容的图像检索反馈方法
CN102932523A (zh) * 2011-08-12 2013-02-13 宏达国际电子股份有限公司 实施于通讯装置的媒体内容管理系统与方法
CN104820675A (zh) * 2015-04-08 2015-08-05 小米科技有限责任公司 相册显示方法及装置
CN105488111A (zh) * 2015-11-20 2016-04-13 小米科技有限责任公司 图像搜索方法及装置
CN107193983A (zh) * 2017-05-27 2017-09-22 北京小米移动软件有限公司 图像搜索方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10872322B2 (en) * 2008-03-21 2020-12-22 Dressbot, Inc. System and method for collaborative shopping, business and entertainment
US20170330029A1 (en) * 2010-06-07 2017-11-16 Affectiva, Inc. Computer based convolutional processing for image analysis
US9916538B2 (en) * 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
CN103093298B (zh) * 2012-06-18 2015-12-02 北京航星永志科技有限公司 一种图像或影像文件的多版本数字档案管理与应用方法
US20140161356A1 (en) * 2012-12-10 2014-06-12 Rawllin International Inc. Multimedia message from text based images including emoticons and acronyms
WO2015127383A1 (en) * 2014-02-23 2015-08-27 Catch Motion Inc. Person wearable photo experience aggregator apparatuses, methods and systems
US10299017B2 (en) * 2015-09-14 2019-05-21 Logitech Europe S.A. Video searching for filtered and tagged motion
US10664719B2 (en) * 2016-02-12 2020-05-26 Adobe Inc. Accurate tag relevance prediction for image search
JP6393360B2 (ja) * 2016-05-11 2018-09-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 撮影制御方法、撮影制御システム及び撮影制御サーバ
CN107562742B (zh) * 2016-06-30 2021-02-05 江苏苏宁云计算有限公司 一种图像数据处理方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101990667A (zh) * 2008-04-02 2011-03-23 谷歌公司 将自动人脸识别合并入数字图像集中的方法和装置
CN102932523A (zh) * 2011-08-12 2013-02-13 宏达国际电子股份有限公司 实施于通讯装置的媒体内容管理系统与方法
CN102542014A (zh) * 2011-12-16 2012-07-04 华中科技大学 基于内容的图像检索反馈方法
CN104820675A (zh) * 2015-04-08 2015-08-05 小米科技有限责任公司 相册显示方法及装置
CN105488111A (zh) * 2015-11-20 2016-04-13 小米科技有限责任公司 图像搜索方法及装置
CN107193983A (zh) * 2017-05-27 2017-09-22 北京小米移动软件有限公司 图像搜索方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113434710A (zh) * 2021-06-29 2021-09-24 平安普惠企业管理有限公司 文档检索方法、装置、服务器以及存储介质
CN114067961A (zh) * 2021-10-27 2022-02-18 武汉联影医疗科技有限公司 一种医学图像归档系统、方法及存储介质

Also Published As

Publication number Publication date
US20210042350A1 (en) 2021-02-11
WO2019206251A1 (en) 2019-10-31

Similar Documents

Publication Publication Date Title
JP7091504B2 (ja) 顔認識アプリケーションにおけるフォールスポジティブの最小化のための方法および装置
US20210042350A1 (en) Systems and methods for image archiving
JP6896779B2 (ja) イベント・アーカイビング、システム、及び方法
CA3029973C (en) Apparatus and methods for facial recognition and video analytics to identify individuals in contextual video streams
CN108475326B (zh) 用于提供与图像关联的服务的方法、存储介质和电子设备
CN108664829B (zh) 用于提供与图像中对象有关的信息的设备
US10157324B2 (en) Systems and methods of updating user identifiers in an image-sharing environment
KR102467236B1 (ko) 실시간 추적 보상 이미지 효과
US10216996B2 (en) Schemes for retrieving and associating content items with real-world objects using augmented reality and object recognition
KR102545768B1 (ko) 메타 데이터를 처리하기 위한 장치 및 방법
US10318574B1 (en) Generating moments
WO2016173443A1 (zh) 账户信息获取的方法、终端、服务器和系统
CN108241737A (zh) 用于提供地点信息的系统和支持该系统的电子装置和方法
US20160179846A1 (en) Method, system, and computer readable medium for grouping and providing collected image content
US11423057B2 (en) Impression tagging system for locations
KR101782590B1 (ko) 이미지 분석기반의 관계형 태그생성 및 추천 방법
JP2021535508A (ja) 顔認識において偽陽性を低減するための方法および装置
JP2019159537A (ja) 画像検索装置、画像検索方法、電子機器及びその制御方法
KR20240131412A (ko) 증강 현실 콘텐츠 생성기들에 의한 제품 카드들
KR20240128967A (ko) 제품 카드들을 제공하는 api
KR101715708B1 (ko) 이미지 분석기반의 자동화된 관계형 태그 생성 시스템과 이를 이용한 서비스 제공방법
US9621505B1 (en) Providing images with notifications
US10572722B2 (en) Display apparatus and display method
KR102589154B1 (ko) 인물 그룹 및 이미지 기반 창작물의 자동 생성
KR20170098113A (ko) 전자 장치의 이미지 그룹 생성 방법 및 그 전자 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201211