CN101772782A - 类似图像检索的结果显示装置及类似图像检索的结果显示方法 - Google Patents

类似图像检索的结果显示装置及类似图像检索的结果显示方法 Download PDF

Info

Publication number
CN101772782A
CN101772782A CN200980100091A CN200980100091A CN101772782A CN 101772782 A CN101772782 A CN 101772782A CN 200980100091 A CN200980100091 A CN 200980100091A CN 200980100091 A CN200980100091 A CN 200980100091A CN 101772782 A CN101772782 A CN 101772782A
Authority
CN
China
Prior art keywords
retrieval
result
personage
grouping
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200980100091A
Other languages
English (en)
Other versions
CN101772782B (zh
Inventor
由雄宏明
青木胜司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101772782A publication Critical patent/CN101772782A/zh
Application granted granted Critical
Publication of CN101772782B publication Critical patent/CN101772782B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种类似图像检索结果显示装置以及一种用于显示类似图像的检索结果的方法，其使得能够在各种相机环境中简单地、准确地确定要检索的人物的行为历史。从多个相机(11)提取的人物特征数据(面部、颜色、轮廓等)被存储在人物特征数据库(14)中。检索请求接收部(101)接收用于识别要检索的人物的识别符作为至少检索键，并且特征检索部(102)以类似度的降序顺序从人物特征数据库(14)来执行与检索键匹配的人物的检索。检索结果分组部(103)将由特征检索部(102)执行的检索的结果(检索排名/类似度/日期和时间/场所等的列表)再分类为被认为属于相同环境的单元。检索结果显示部(104)显示分组的结果。如上所述，由于在被认为属于相同的环境的每个单元上以列表的形式显示检索结果，所以尽管提供了有限数目的显示，也可以在各种相机环境中简单地确定要检索的人物。

Description

类似图像检索的结果显示装置及类似图像检索的结果显示方法
技术领域
本发明涉及用于显示类似图像检索的结果的装置以及用于显示类似图像检索的结果的方法，以便于从提取自多个相机图像的人物特征数据(面部、颜色、轮廓等)中有效地检索类似于特定人的图像(行为历史的检索)。
背景技术
近年来，在以开锁犯罪、暴力行窃、纵火等为代表的犯罪的数目的增加的同时，对其安装相机、传感器、存储设备等以防止犯罪的发生的视频监视系统的普及正在大力进行中。随着基于IP的监视相机的普及以及存储设备的容量的飞跃，进行数百区域范围以及长时间记录的大区域监视的系统的数目也在逐渐增加。在这样的情况下，为了减轻监视者的工作负荷，已经寻找到一种用于有效地搜寻诸如商店扒手、迷路的儿童、丢失物品的人等这样的特定人的技术。
一种用于高速搜寻特定的人(要检索的人)的现有技术是要将关于从各个相机图像中提取的无数的人的特征数据(面部、颜色、轮廓等)存储在数据库中，并且从数据库中提取与关于要检索的人的特征数据匹配的人并且显示该提取的人。专利文献1公开了一种方法，该方法用于在当无法获取期望的人时，通过对检索屏幕上的“表情、年龄、性别等”进行改变来再次执行检索操作。
现有技术文献
专利文献
专利文献1：JP-A-2002-183205
发明内容
本发明要解决的问题
然而，在现有技术下，在取决于成像条件(照明、视角、人的位置/大小)的人物特征数据的特性中存在波动。由于这些原因，必须在考虑到各个相机的成像条件的情况下，在检索操作时控制用于匹配的阈值(目标/非目标之间的分界值)，这会引起在获取期望结果之前消耗很多时间的问题。例如，如图10中所示，三个人A到C出现在相机1到3的成像环境中，并且关于各个人的特征数据被映射在人物特征空间中。即使当结合与相机3的人物A接近的图像而进行检索时，相机3的人物B在相机1的人物A之前产生命中的现象也会发生，并且用户必须执行涉及认可错误检索的发生的检索操作，这引起了极为低效的问题。
鉴于该情况已经构想了本发明，并且本发明旨在提供一种类似图像检索结果显示装置以及用于显示类似图像检索的结果的方法，使得能够简单地、准确地确定在各个相机环境中要检索的人的行为历史。
解决问题的手段
一种用于显示类似图像检索的结果的装置，包括：人物特征数据库，该人物特征数据库存储从多个相机提取的人物特征数据；检索请求接收部，该检索请求接收部接收用于识别要检索的人物的识别符作为检索键；特征检索部，该特征检索部以类似度的降序顺序从人物特征数据库来检索与由检索请求接收部接收到的检索键匹配的人物；检索结果分组部，该检索结果分组部将包括特征检索部执行的检索的结果的列表再分类成单元，该单元的每一个都被估计成属于相同的环境；以及检索结果显示部，该检索结果显示部显示由检索结果分组部执行的分组的结果。
通过该构造，如上所述，由于在被认为属于相同环境的每个单元上以列表的形式显示检索结果，所以尽管提供了有限数目的显示，也可以在各个相机环境中确定要检索的人物。特定地，可以减少无法显示呈现低类似度水平的相机的结果的可能性。因此，能够简单地、准确地切换检索条件，包括：将与要检索的人物相关的低类似度水平的结果指定为下一个检索的图像，以及主要集中于与第一检索图像不同的成像环境来执行详细检索(提取所有要检索的人物)。
在以上的构造中，特征检索部在每个相机的基础上以降序的顺序来从人物特征数据库中检索人物，并且组合各个相机的检索结果，以生成检索结果。
通过该构造，属于呈现低类似度的相机的结果不可避免地属于任何组，并且因此可以消除没有在特定相机中没有找到结果的命中的现象。
在以上的构造中，检索结果分组部基于每场所来划分检索结果，并且根据基于每场所获得的检索排名/分值的平均离差值来估计属于相同环境的场所。另外，通过使用包括在检索结果中的“关于人物的取向的信息”、“关于人物的大小的信息”、“关于人物的对比度模式的信息”、“关于在检测到人物时所达到的灵敏度的信息”或“日期和时间信息”来估计相同的环境。
通过该构造，可以估计包括用于安装相机的条件(视角/高度)以及照明条件(光源的取向/亮度)的相同环境，使得可以提高在对检索结果进行分组中的准确度。
在该构造中，检索结果显示部基于每组来选择典型结果，并且显示选择的典型结果的列表。
通过该构造，能够同时提供列出在各种相机环境中要检索的人物的功能以及确定要检索的人物的所有行为的历史的功能。特定地，由于采用用于提供呈现高类似度水平的结果的详细显示以及与呈现低类似度水平的结果一起显示典型结果的显示模式，所以检索者可以通过简单的切换操作来履行各个相机环境中的所有行为的历史的检索，包括从高类似度水平的结果中确定所有行为的历史，以及在当类似度水平降低时的时间点(当非目标被混合地捕捉到的时间点)将低类似度水平的结果，包括要检索的人物，指定并且重新检索为用于下一个检索的条件；即，执行详细检索主要集中于其类似度水平降低的成像环境。
一种用于显示类似图像检索的结果的方法，包括：人物特征数据存储步骤，该步骤将从多个相机提取的人物特征数据存储在人物特征数据库中；检索请求接收步骤，该检索请求接收步骤将用于识别要检索的人物的识别符接收为检索键；特征检索步骤，该步骤以类似度的降序顺序从人物特征数据库来检索与检索请求接收步骤中接收到的检索键匹配的人物；检索结果分组步骤，该步骤将包括特征检索步骤中执行的检索的结果的分组再分类成单元，该单元的每一个都被估计成属于相同的环境；以及检索结果显示步骤，该步骤显示在检索结果分组步骤中执行的分组的结果。
通过该方法，如上所述，由于在被认为属于相同结果的每个单元上以列表的形式显示检索结果，所以尽管提供了有限数目的显示，也可以在各个相机环境中确定要检索的人物。特定地，可以减少无法显示呈现低类似度水平的相机的结果的可能性。因此，能够简单地、准确地切换检索条件，包括：将与要检索的人物相关的低类似度水平的结果指定为下一个检索的图像，以及主要集中于与第一检索图像不同的成像环境来执行详细检索(提取所有要检索的人物)。
本发明的优点
本发明使得能够提供一种类似图像检索结果显示装置以及一种用于显示类似图像的检索的结果的方法，其产生能够简单地、准确地确定各种相机环境中要检索的人物的行为历史的优点。
附图说明
图1是示出本发明的第一实施例的类似图像检索结果显示装置的总体构造的框图。
图2是示出本发明的第一实施例的类似图像检索结果显示装置中的相机的布局和使用图像的视图。
图3是本发明的第一实施例的类似图像检索结果显示装置中的特征检索部的处理的描述性视图。
图4是示出本发明的第一实施例的类似图像检索结果显示装置的处理的流程图。
图5是示出本发明的第一实施例的类似图像检索结果显示装置的检索结果分组部的处理图像的视图。
图6是示出本发明的第二实施例的类似图像检索结果显示装置中的检索结果分组部的考虑到成像条件以及照明条件的分组操作的描述性视图。
图7是与本发明的第二实施例的类似图像检索结果显示装置中的使用分组历史信息的检索结果的分组有关的描述性视图。
图8是与本发明的第三实施例的类似图像检索结果显示装置的检索显示画面有关的描述性视图。
图9是示出本发明的第三实施例的类似图像检索结果显示装置的检索操作的流程图。
图10是用于描述现有技术的缺点的人物特征空间的描述性视图。
具体实施方式
下文中通过参考附图详细描述了实现本发明的优选实施例。
(第一实施例)
图1是示出本发明的第一实施例的类似图像检索结果显示装置的总体构造的框图。在图1中，本实施例的类似图像检索结果显示装置具有用于检测人物的多个相机11；用于检索与指定的检索条件匹配的人物的人物检索服务器12；以及检索终端13，该检索终端13通过指定用于人物检索服务器12的检索条件来执行检索操作。
人物检索服务器12具有：人物特征数据库14，该人物特征数据库14用于存储与由多个相机11检测的人物有关的特征数据(面部、颜色、轮廓等)；检索请求接收部101，该检索请求接收部101至少接收用于识别要检索的人物的识别符作为检索键；特征检索部102，该特征检索部102以类似度的降序顺序来从人物特征数据库14中检索与由检索请求接收部101接收到的检索键相对应的人物；检索结果分组部103，该检索结果分组部103将由特征检索部102执行的检索的结果再分组成被估计为属于相同环境的单元；以及检索结果显示部104，该检索结果显示部104显示由检索结果分组部103执行的分组的结果。
由各个相机11提取的人物特征数据对应于与从图像剪切的可移动主体有关的图像数据；用于通过轮廓、颜色、大小和运动来确认可移动主体的信息；或者确认面部的眼睛、鼻子和嘴巴的形状和位置的信息。用于提取和分类这些特征信息的方法是公知的，并且在例如“Processing and Recognition of an Image(图像的处理和辨认)”(由SHOKODO有限公司的Takeshi AGUI和Tomoharu NAGAO联合编写)中进行了确切地描述。现有技术的使用使得能够从相机图像中确认人物并且从图像中提取面部、衣服、颜色等的特征。虽然提供了与用于通过相机11提取人物特征数据的构造有关的描述，但是还可以采用用于通过存储和重新分配多个相机图像等的记录器来提取人物特征数据的构造。
图2图示了在诸如工厂、购物中心等的所在地中所安装的多个相机11的示例性布局。当人物通过相机11的任何一个的前面时，检测关于该人物的特征数据(面部、颜色、轮廓等)，并且总是将由此检测的数据存储在人物特征服务器12的人物特征数据库14中。当保安人员已经注意到如人物A的逃跑者时，保安人员进行从人物检索服务器12中的数据检索，由此确定与该人物A相关的过去的行为的历史。关于图2中所示的示例，由于检索的结果示出了该人物在建筑物A附近进行了异常行为，所以保安人员详细检查在建筑物A周围是否存在非正常事件。通过使用如上所示的本系统能够早些发现异常。虽然通过参考用于从“逃跑者”来确认原因的示例来提供解释，但是本发明可以适用于确定迷路的儿童(或过去与儿童接触过的人物)的场所，在所在地中是否存在另外的可疑人物等。
图3是特征检索部102中的检索操作的图像。在一般的特征检索中，由检索终端13来指定诸如“日期和时间/场所”和“要检索的面部”以及检索结果的数目(K：整数)这样的检索条件，由此从存储在人物特征数据库14中的所有人物特性数据集合中“以人物类似度的顺序”来获取匹配检索条件的K个人物。因此，如图3<a>中所示，即使当在人物A被认为是检索条件(查询)的同时检索了前10个人物，也存在获取除了人物A之外的结果的可能性。无法立即获取示出排在20或50位的人物A的结果。同时，如图3<b>中所示，本发明是如下的一种方法，该方法用于将指定的检索结果的数目(K)改变成较大的结果的数目(L)；进行从人物特征数据库14检索特征；以使如此获得的L个结果在检索结果分组部103中进行分组，由此确定前10个结果。因此，能够防止无法找到来自特定相机的结果的命中的现象的发生。稍后描述用于将检索结果的数目改变成数目L的方法以及用于对检索结果进行分组的方法。
图4示出了特征检索部102、检索结果分组部103和检索结果显示部104的处理过程，现在将描述这些部分的操作。在关于操作的下面的描述中，通过相机编号来表示各个相机11。例如，第一相机11被称为相机1；第二相机11被称为相机2；第三相机11被称为相机3；...。
<步骤S401>特征检索部102将通过检索请求指定的检索结果的数目(K)改变为数目L。通过用于简单地使用K的整数倍的方法，或者用于从示出要检索的场所请求的相机编号的数目(合计相机数)确定“L＝(K×整数1)+(合计相机数×整数2)”的方法，来确定L的值。前一个技术在于，从通过检索请求指定的所有相机中以类似度次序获取前L个结果，并且对如此获取的L个结果进行分组，由此确定最后的前K个结果。该技术产生了消耗短的检索执行时间的优点。同时，后一个技术涉及执行“用于从通过检索请求指定的所有相机以类似度的次序来检索数据的处理”以及“用于基于每个相机以类似度的降序顺序来检索数据的处理”，并且对所获取的检索结果进行分组，以由此最后确定前K个结果。该技术产生了能够必然获取属于呈现低类似度的相机的结果(能够防止在特定相机的结果中没有找到结果的命中的现象)的优点。
<步骤S402>特征检索部102改变检索条件。具体地，通过关于步骤S401描述的前一个方法来将检索条件(即要获取的检索结果的数目)改变为L。通过后一个方法来将检索条件改变成新的条件(“场所＝所有指定的相机，检索结果的数目＝(K×整数1)”或者“场所＝指定的相机1，检索结果的数目＝(整数2)”或者“场所＝指定的相机2，检索结果的数目＝(整数2)”...)。
<步骤S403>在步骤S402中设置的检索条件下，特征检索部102执行从人物特征数据库14中的类似度的检索，以由此获取L个检索结果。当通过关于步骤S401描述的后一个方法来进行检索时，关于所有相机获取的结果可能与关于各个相机获取的结果重叠。因此，检索结果的数目不总是等于L。
<步骤S404>检索结果分组部103将在步骤S403中获取的检索结果L再次分组成被估计成属于相同环境的单元，由此创建多个组。由于检索结果的每一个都包括关于“检索排名/类似度/日期和时间/场所等”的信息，所以以下提供的过程1到3被用作用于将检索结果分组成单元的方法，该单元的每一个都被估计成属于相同的环境。
(过程1)基于每相机来划分检索结果，由此基于每相机计算“检索结果计数”、“检索排名的平均/离差”以及“类似度的平均/离差”。
(过程2)使用等式1来计算每个相机的分类评估值(Ev)。虽然等式1使用检索排名，但是还可以使用类似度。
[等式1]Ev＝w1×检索结果计数+w2×平均排名+w3×排名的离差[w：加权系数]。
(过程3)将各个相机的Ev值彼此进行比较，并且将呈现类似Ev值的相机归类为相同组。例如，如图5中所示，当通过“水平轴：通过检索请求指定的所有相机中的检索排名”以及“垂直轴：在给定的排名范围中找到的命中的数目”来将各个相机的检索结果绘制为曲线图时，相机1和相机2的Ev值变得彼此相似，并且被归类为组1，并且相机6和相机9被归类为组2。关于步骤S401描述的后一个方法需要基于每个相机以类似度的降序顺序的检索的性能。在该情况下，由于无法获取所有相机中的检索排名，通过使用类似度而不是检索排名来计算分类评估值Ev。
<步骤S405>检索结果显示部104从呈现较高类似度水平的组中顺序地获取检索结果。
<步骤S406>检索结果显示部104检查所有的组是否都经历与步骤S407到S410相关的处理。当所有的组都已经经历过处理时，处理结束。
<步骤S407>检索结果显示部104检查是否输出在步骤S405中从组中获取的所有检索结果。根据从组获取的所有检索结果的类似度是否大于或等于阈值，或者最后输出的检索结果是否满足(K-α)[α＝典型结果的数目(整数)]，来进行检查。
<步骤S408>当在步骤S407中检索结果被确定为大于或等于阈值或者小于(K-α)时，检索结果显示部104将当前组的所有结果登记到最终结果列表中，并且处理返回到步骤S405。
<步骤S409>当在步骤S407中并不是所有的检索结果都被确定为被输出时，检索结果显示部104检查是否输出该组的典型结果。根据要最后输出的典型结果的数目是否小于α来进行检查。当该数目是α或者更大时，处理返回到步骤S406。
<步骤S410>当在步骤S409中典型结果被确定为被输出时，检索结果显示部104将组的典型结果登记到最终结果列表中，并且处理返回到步骤S405。存在一种方法，该方法将组的典型结果用作组中呈现高类似度水平的结果，或者作为没有登记在最终结果列表中的相机的检索结果。
如上所述，在将检索结果分组成认为属于相同环境的单元的同时显示该检索结果，由此尽管显示有限数目的结果，也可以容易地确定各种相机环境中的要检索的人物。具体地，呈现低类似度水平的相机的结果必然属于任何组，并且因此可以消除没有找到特定相机的结果的命中的现象的发生。关于呈现高类似度水平的组，显示了所有检索结果。相反地，关于呈现低类似度水平的组，显示了典型结果。搜索者可以容易地、准确地执行检索条件的切换；即，将呈现低类似度水平的组的结果指定为接下来检索的图像，并且首先关于与第一检索图像不同的成像环境来执行详细检索(提取要检索的所有的人物)。
(第二实施例)
本发明的第二实施例涉及类似图像检索结果显示装置，该装置使得能够提高将检索结果分组成认为属于相同环境的单元的准确度。关于第二实施例所涉及的构造基本上与关于第一实施例所描述的相同。因此，仅对于检索结果分组部103的处理给出描述，并且为了简洁这里省略其它部分的重复解释。
图6示出了用于估计包括用于安装相机的条件(视角/高度)以及照明条件(光源的取向/强度)的相同环境的方法。尽管由特征检索部102获取的检索结果在人物的取向和大小以及照明条件方面类似，但是该检索结果有时却彼此不同。在该现象中，即使当被安装在不同的条件并且给定不同照明条件的两个相机被准备来捕捉多个人物时，该两个相机不呈现关于所有人物的相同类似度。相同的类似度在特定的时隙并且关于特定的人物而实现。该现象成为在本发明中降低在相同环境中的估计的准确度的因素。
图6<a>示出了其中给予相机不同的成像条件的示例。涉及不同成像条件的模式包括(1)安装相机的位置[人物被成像的角度(前向、斜向、横向等)]，(2)光源之间的不同(均匀光源、位于人物侧面的光源等)，(3)相机视角之间的不同(变焦率的不同)，以及(4)成像质量的不同(可归因于透镜和信号处理等的不同)。
如图6<b>中所示，可以在检测到人物的同时输出信息(1)到(4)，如[1]与人物的取向相关的信息(可以通过使用面部取向和行走方向的估计来生成)，[2]与人物画像的对比度模式相关的信息(可以通过使用亮度的改变来生成)，[3]检测大小，以及[4]关于人物可能性的信息(可以从通过其检索对象已经被确定是人物的评估值中生成)与人物的缩略图以及人物特征数据。因此，除了“检索排名/类似度/日期和时间/场所”之外，可以将信息[1]到[4]赋给由特征检索部102获取的各个检索结果。因此，可以结合指标[1]到[4]来计算通过检索结果分组部103的检索结果分组处理(步骤S404)来获取的分类评估值(Ev值)。通过用于执行将加权添加到[1]到[4]的各个值的附加计算的方法，以及用于根据[1]到[4]的值来粗略地分类各个相机(设置基本值Ev)并且将通过(等式1)确定的值加到如此粗略地分类的相机的每一个的基本Ev值的方法，来执行Ev值的计算。如上所述，估计包括用于安装相机的条件(视角/高度)和照明条件(光源的取向/强度)的相同环境，由此可以提高在对检索结果进行分组中的准确度。
现在描述用于提高估计相同环境中的准确度的另一个方法。图1中所示的检索结果分组部103具有以分组历史信息15的形式来存储过去分组的结果的功能。在用于估计相同环境的处理期间，也使用分组历史信息15。图7图解地示出了分组历史信息15的实例使用。当在过去分组的相机5和相机7的频率很高时，即使在分类评估值(Ev)方面在相机5和相机7之间存在差异时，在当前的分组操作期间，相机5和相机7也被分类成同一组。由此可以实现如下的分组，即，在该分组中，消除了相同环境的估计的准确度的降低的因素(对于每个相机的检索结果的数目的变化等)。用于提高估计相同环境中的准确度的另一个方法在于基于每个场所(基于每个相机)来计算分类评估值(Ev)。然而，相机的每一个被划分成多个时隙，并且计算如此分离的每一时隙的Ev。通过该方法，及时当其阳光条件根据例如早上、白天、晚间变换的相机被认为是对象时，也可以维持估计相同环境的准确度。
如上所述，检索结果分组部103通过使用“关于人物的取向的信息”、“关于人物画像的对比度模式的信息”、“关于人物的大小的信息(检测大小)”、“关于人物的可能性的信息”、“过去的分组信息”或“日期和时间信息”来估计相同的结果，由此可以估计包括用于安装相机的条件(视角/高度)以及照明条件(光源的方向/强度)的相同环境，使得可以提高在对检索结果进行分组中的准确度。
(第三实施例)
本发明的第三实施例涉及检索画面，该检索画面具有用于列出在各种相机环境中的要检索的人物的功能以及用于了解要检索的人物的所有行为的历史的功能。由于关于第三实施例所描述的构造基本上与关于第一实施例所描述的相同，所以仅提供对检索结果显示部104以及用户的检索操作的描述，并且为了简洁这里省略其它部分的重复描述。
图8<a>和图8<b>示出了用户的实例检索画面。附图标记81a和81b指示用于设置检索条件的日期和时间以及场所的画面；82a和82b指示用于设置检索条件的面部图像(可以还被指示为彩色图像)的画面；83a指示用于以类似度的次序显示类似于通过画面82a来指定的面部图像的人物的检索结果显示画面；84a指示用于将呈现低类似度水平的组的典型图像显示为用于下一个检索的候选的画面；以及83b指示用于对检索结果进行分组并且基于每组来列出典型图像的画面。关于面部图像设置画面82a和82b，提供了一种用于指定由数字相机或便携式电话捕捉到的面部照片的方法，以及一种用于再次从检索结果指定面部图像的方法。当没有通过使用面部照片的第一检索找到命中时，通过使用用于下一个检索的候选84a的检索结果等来再次执行检索。在第一实施例中，通过检索结果显示部104来在步骤S402中设置用于下一个检索的候选84a的数目。然而，还可以通过图8中示出的检索画面来设置候选的数目。
图9示出了用户通过使用图8中示出的检索画面来确定要检索的人物的所有行为的历史的过程。现在描述该过程。
<步骤S901>指定检索条件的“日期和时间/场所以及面部图像”。
<步骤S902>两个方法可用作使用户了解所有行为的历史的过程；即，(1)用于基于每组来显示所有检索结果(简单地确定要检索的人物的列表)并且顺序地再次设置用于每个组的检索条件，由此执行行为历史的详细检索的方法，以及(2)用于通过在执行行为历史的详细检索的同时使用用于下一个检索的候选来执行没有找到命中的组的详细检索的方法。当在前一个方法下进行检索时，处理前进到步骤S903。相反地，当通过后一个方法进行检索时，处理前进到步骤S904。
<步骤S903>为了基于每组执行检索，选择图8<b>中示出的画面，并且进行检索。
<步骤S904>为了执行行为历史的详细检索(综合检索)，选择图8<a>中示出的画面，并且进行检索。
<步骤S905>浏览检索结果，并且做出关于是否再次执行检索的确定。当再次执行检索时，处理前进到步骤S906。当不再次执行检索时，处理结束。
<步骤S906>在关于步骤S902描述的检索方法(1)的情况下，基于每组来进行行为历史的详细检索。因此，引起关注的组的典型结果被指定为用于下一个检索的面部图像。在关于步骤S902描述的检索方法(2)的情况下，期望执行主要集中于不同于第一检索图像的成像环境的详细检索，用于下一个检索的候选的面部图像被指定为检索条件，并且再次进行检索。
如上所述，能够通过使用列出在各种相机环境中的要检索的人物的功能以及确定要检索的人物的所有行为的历史的功能来简单地、准确地确定要检索的人物的行为的历史。具体地，由于采用如下的显示模式，即，该显示模式用于提供呈现高类似度水平的结果的详细显示以及与呈现低类似度水平的结果一起显示典型结果，所以检索者可以通过简单的切换操作来履行各个相机环境中的所有行为的历史的检索，包括从高类似度水平的结果中确定所有行为的历史，以及在当类似度水平降低时的时间点将低类似度水平的结果，包括要检索的人物，指定并且重新检索为用于下一个检索的条件，即，执行主要集中于其类似度水平降低的成像环境的详细检索。
虽然已经通过参考特定实施例来详细描述了本发明，但是本领域的技术人员应当认识到，在不背离本发明的精神和范围的情况下，本发明可以进行各种替换和修改。
本专利申请基于2008年4月30日在日本提交的日本专利申请(JP-A-2008-118690)，其全部主题通过引入并且这里。
工业实用性
本发明获得了即使在各种相机环境中也能够简单地、准确地确定要检索的人物的所有行为的历史(消除了在特定相机中没有找到检索结果的命中的现象)的优点。除了适用于对由多个相机捕捉的商店窃贼、迷路的儿童、丢失的行李等的所有行为进行确定的监视之外，本发明还可以适用于浏览、检索和编辑在旅行或户外集会期间个人地捕捉的内容(静止图像或运动图像)。
附图标记和符号的描述
11  相机
12  人物检索服务器
13  检索终端
14  人物特征数据库
15  分组历史信息
101 检索请求接收部
102 特征检索部
103 检索结果分组部
104 检索结果显示部

Claims (12)

1.一种用于显示类似图像检索的结果的装置，包括：
人物特征数据库，所述人物特征数据库存储从多个相机提取的人物特征数据；
检索请求接收部，所述检索请求接收部接收用于识别要检索的人物的识别符作为检索键；
特征检索部，所述特征检索部以类似度的降序顺序来从所述人物特征数据库中检索与由所述检索请求接收部接收到的所述检索键匹配的人物；
检索结果分组部，所述检索结果分组部将包括由所述特征检索部执行的检索的结果的列表再分类成单元，所述单元的每一个都被估计成属于相同的环境；以及
检索结果显示部，所述检索结果显示部显示由所述检索结果分组部执行的分组结果。
2.根据权利要求1所述的装置，其中，所述特征检索部基于每个相机以类似度的降序顺序来从所述人物特征数据库中检索所述人物，并且组合各个相机的检索结果，以生成检索结果。
3.根据权利要求1或2所述的装置，其中，所述检索结果分组部基于每个场所来划分所述检索结果，并且根据基于每个场所获得的检索排名/分值的平均离差值来估计属于相同环境的场所。
4.根据权利要求3所述的装置，其中，所述检索结果分组部通过使用包括在所述检索结果中的与人物的方向相关的信息来估计属于相同环境的场所。
5.根据权利要求3所述的装置，其中，所述检索结果分组部通过使用包括在所述检索结果中的与人物的大小相关的信息来估计属于相同环境的场所。
6.根据权利要求3所述的装置，其中，所述检索结果分组部通过使用包括在所述检索结果中的与人物的对比度模式相关的信息来估计属于相同环境的场所。
7.根据权利要求3所述的装置，其中，所述检索结果分组部通过使用包括在所述检索结果中的人物检测灵敏度信息来估计属于相同环境的场所。
8.根据权利要求3所述的装置，其中，所述检索结果分组部通过使用包括在所述检索结果中的日期和时间信息来估计属于相同环境的场所。
9.根据权利要求3所述的装置，其中，所述检索结果分组部通过使用是过去执行的分组操作的结果的分组历史信息来估计属于相同环境的场所。
10.根据权利要求1到9的任何一项所述的装置，其中，所述检索结果显示部基于每组来选择典型结果，并且显示所选择的典型结果的列表。
11.根据权利要求10所述的装置，其中，所述检索结果显示部选择具有高类似度的组的多个典型结果，并且显示所选择的典型结果的列表。
12.一种用于显示类似图像检索的结果的方法，包括：
人物特征数据存储步骤，将从多个相机提取的人物特征数据存储在人物特征数据库中；
检索请求接收步骤，将用于识别要检索的人物的识别符接收为检索键；
特征检索步骤，以类似度的降序顺序来从所述人物特征数据库检索与在所述检索请求接收步骤中接收到的所述检索键匹配的人物；
检索结果分组步骤，将包括所述特征检索步骤中执行的检索的结果的列表再分类成单元，所述单元的每一个都被估计成属于相同的环境；以及
检索结果显示步骤，显示在所述检索结果分组步骤中执行的分组的结果。
CN2009801000913A 2008-04-30 2009-04-21 类似图像检索的结果显示装置及类似图像检索的结果显示方法 Expired - Fee Related CN101772782B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008-118690 2008-04-30
JP2008118690A JP2009271577A (ja) 2008-04-30 2008-04-30 類似画像検索の結果表示装置及び類似画像検索の結果表示方法
PCT/JP2009/001824 WO2009133667A1 (ja) 2008-04-30 2009-04-21 類似画像検索の結果表示装置及び類似画像検索の結果表示方法

Publications (2)

Publication Number Publication Date
CN101772782A true CN101772782A (zh) 2010-07-07
CN101772782B CN101772782B (zh) 2013-08-07

Family

ID=41254892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801000913A Expired - Fee Related CN101772782B (zh) 2008-04-30 2009-04-21 类似图像检索的结果显示装置及类似图像检索的结果显示方法

Country Status (4)

Country Link
US (1) US8886634B2 (zh)
JP (1) JP2009271577A (zh)
CN (1) CN101772782B (zh)
WO (1) WO2009133667A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102411582A (zh) * 2010-09-21 2012-04-11 腾讯科技（深圳）有限公司 图片搜索方法、装置及客户端
CN102805600A (zh) * 2011-05-31 2012-12-05 鸿富锦精密工业（深圳）有限公司 物品搜寻系统、方法及具有该系统之智能扫地机
CN103052987A (zh) * 2010-07-28 2013-04-17 国际商业机器公司 促进视频监控中的人物搜索
CN104424262A (zh) * 2013-08-29 2015-03-18 宏达国际电子股份有限公司 相关影像搜寻方法以及使用者界面控制方法
CN105593850A (zh) * 2013-12-09 2016-05-18 株式会社日立制作所 影像检索装置、影像检索方法以及存储介质
CN115063840A (zh) * 2022-08-17 2022-09-16 天津光电集团有限公司 一种基于牲畜的面部识别管理系统

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4888587B2 (ja) * 2010-07-07 2012-02-29 日本電気株式会社 色情報生成システム、色情報生成装置、色情報生成方法および色情報生成プログラム
TW201206192A (en) * 2010-07-23 2012-02-01 Hon Hai Prec Ind Co Ltd Detection device and method
US9134399B2 (en) 2010-07-28 2015-09-15 International Business Machines Corporation Attribute-based person tracking across multiple cameras
US8515127B2 (en) 2010-07-28 2013-08-20 International Business Machines Corporation Multispectral detection of personal attributes for video surveillance
US8532390B2 (en) 2010-07-28 2013-09-10 International Business Machines Corporation Semantic parsing of objects in video
CN101968807A (zh) * 2010-10-15 2011-02-09 北京思在信息技术有限责任公司 一种内容检索的方法及装置
JP5400020B2 (ja) * 2010-12-20 2014-01-29 株式会社日立ビルシステム エレベーターの監視画像記録装置
EP2683152A4 (en) * 2011-03-03 2015-04-08 Nikon Corp ELECTRONIC DEVICE AND METHOD OF REGROUPING
US8903198B2 (en) 2011-06-03 2014-12-02 International Business Machines Corporation Image ranking based on attribute correlation
JP2013140574A (ja) * 2011-12-07 2013-07-18 Nikon Corp 電子機器、情報処理方法およびプログラム
JP6575845B2 (ja) * 2012-07-31 2019-09-18 日本電気株式会社 画像処理システム、画像処理方法及びプログラム
JP2014059729A (ja) * 2012-09-18 2014-04-03 Toshiba Corp 物体検出・識別装置及びその方法とその物体検出・識別に用いられる辞書データ生成方法
KR101385599B1 (ko) * 2012-09-26 2014-04-16 한국과학기술연구원 몽타주 추론 방법 및 장치
US9633263B2 (en) * 2012-10-09 2017-04-25 International Business Machines Corporation Appearance modeling for object re-identification using weighted brightness transfer functions
JP6098318B2 (ja) * 2013-04-15 2017-03-22 オムロン株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体
KR102097781B1 (ko) * 2013-09-06 2020-05-29 에스케이 텔레콤주식회사 객체 정보 제공 장치 및 방법
JP6362674B2 (ja) * 2014-03-14 2018-07-25 株式会社日立国際電気 映像監視支援装置、映像監視支援方法、およびプログラム
CN103886293B (zh) * 2014-03-21 2017-04-26 浙江大学 一种基于运动历史图与r变换的人体行为识别方法
US10558846B2 (en) * 2015-07-27 2020-02-11 Panasonic Intellectual Property Management Co., Ltd. Face collation device, face collation system comprising same, and face collation method
JP6525921B2 (ja) * 2016-05-13 2019-06-05 キヤノン株式会社 画像処理装置、画像処理方法、検索装置
JP6172551B1 (ja) * 2016-06-09 2017-08-02 パナソニックＩｐマネジメント株式会社 画像検索装置、画像検索システム及び画像検索方法
US9934624B2 (en) 2016-08-12 2018-04-03 Snap-On Incorporated Method and system for providing diagnostic filter lists
US10269191B2 (en) 2016-08-12 2019-04-23 Snap-On Incorporated Method and system for displaying PIDs based on a PID filter list
US10061984B2 (en) 2016-10-24 2018-08-28 Accenture Global Solutions Limited Processing an image to identify a metric associated with the image and/or to determine a value for the metric
JP7121470B2 (ja) * 2017-05-12 2022-08-18 キヤノン株式会社 画像処理システム、制御方法、及び、プログラム
JP6833617B2 (ja) * 2017-05-29 2021-02-24 株式会社東芝 移動体追跡装置、移動体追跡方法およびプログラム
JP6626056B2 (ja) * 2017-09-15 2019-12-25 株式会社東芝 特徴行動検知装置
SG10201807508YA (en) * 2018-08-31 2020-03-30 Nec Asia Pacific Pte Ltd Methods and systems for grouping same persons
CN111221997A (zh) * 2020-01-06 2020-06-02 四川智胜慧旅科技有限公司 一种基于人像识别定位的景区寻人方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002183205A (ja) 2000-12-11 2002-06-28 Minolta Co Ltd データベース構築プログラムを記録したコンピュータ読み取り可能な記録媒体、データベース構築方法およびデータベース構築装置、ならびに、データベース検索プログラムを記録したコンピュータ読み取り可能な記録媒体、データベース検索方法およびデータベース検索装置
JP3984175B2 (ja) * 2003-01-31 2007-10-03 富士フイルム株式会社 写真画像選別装置およびプログラム
JP2004361987A (ja) * 2003-05-30 2004-12-24 Seiko Epson Corp 画像検索システム、画像分類システム、画像検索プログラム及び画像分類プログラム、並びに画像検索方法及び画像分類方法
JP4305079B2 (ja) * 2003-07-30 2009-07-29 セイコーエプソン株式会社 画像管理装置
JP4547214B2 (ja) * 2004-09-10 2010-09-22 富士フイルム株式会社 電子アルバム表示システム、電子アルバム表示方法、及びプログラム
JP2006293985A (ja) * 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
JP5009577B2 (ja) * 2005-09-30 2012-08-22 富士フイルム株式会社 画像検索装置および方法並びにプログラム
JP4841926B2 (ja) * 2005-10-18 2011-12-21 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、およびアルバム作成プログラム
JP2007158421A (ja) * 2005-11-30 2007-06-21 Matsushita Electric Ind Co Ltd 監視カメラシステム及び顔画像追跡記録方法
JP4859025B2 (ja) * 2005-12-16 2012-01-18 株式会社リコー 類似画像検索装置、類似画像検索処理方法、プログラム及び情報記録媒体
JP4777059B2 (ja) 2005-12-22 2011-09-21 パナソニック株式会社 画像検索装置および画像検索方法
EP1821237B1 (en) * 2006-02-15 2010-11-17 Kabushiki Kaisha Toshiba Person identification device and person identification method
JP2008040851A (ja) 2006-08-08 2008-02-21 Fuji Xerox Co Ltd 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103052987A (zh) * 2010-07-28 2013-04-17 国际商业机器公司 促进视频监控中的人物搜索
CN102411582A (zh) * 2010-09-21 2012-04-11 腾讯科技（深圳）有限公司 图片搜索方法、装置及客户端
CN102411582B (zh) * 2010-09-21 2016-04-27 腾讯科技（深圳）有限公司 图片搜索方法、装置及客户端
CN102805600A (zh) * 2011-05-31 2012-12-05 鸿富锦精密工业（深圳）有限公司 物品搜寻系统、方法及具有该系统之智能扫地机
CN104424262A (zh) * 2013-08-29 2015-03-18 宏达国际电子股份有限公司 相关影像搜寻方法以及使用者界面控制方法
CN104424262B (zh) * 2013-08-29 2018-04-06 宏达国际电子股份有限公司 相关影像搜寻方法以及使用者界面控制方法
CN105593850A (zh) * 2013-12-09 2016-05-18 株式会社日立制作所 影像检索装置、影像检索方法以及存储介质
CN105593850B (zh) * 2013-12-09 2019-04-19 株式会社日立制作所 影像检索装置、影像检索方法以及存储介质
CN115063840A (zh) * 2022-08-17 2022-09-16 天津光电集团有限公司 一种基于牲畜的面部识别管理系统

Also Published As

Publication number Publication date
CN101772782B (zh) 2013-08-07
WO2009133667A1 (ja) 2009-11-05
US20110087677A1 (en) 2011-04-14
JP2009271577A (ja) 2009-11-19
US8886634B2 (en) 2014-11-11

Similar Documents

Publication Publication Date Title
CN101772782B (zh) 类似图像检索的结果显示装置及类似图像检索的结果显示方法
US10248726B2 (en) Object search by description
US10282616B2 (en) Visual data mining
CN104881637B (zh) 基于传感信息及目标追踪的多模信息系统及其融合方法
US8116534B2 (en) Face recognition apparatus and face recognition method
US8855361B2 (en) Scene activity analysis using statistical and semantic features learnt from object trajectory data
WO2014050518A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
US20140365506A1 (en) Video searching
US8266174B2 (en) Behavior history retrieval apparatus and behavior history retrieval method
CN106030610B (zh) 移动设备的实时3d姿势识别和跟踪系统
CN106255968A (zh) 自然语言图像搜索
CN111581423B (zh) 一种目标检索方法及装置
KR20080075091A (ko) 실시간 경보 및 포렌식 분석을 위한 비디오 분석 데이터의저장
US20220391796A1 (en) System and Method for Mapping Risks in a Warehouse Environment
CN109213882A (zh) 图片排序方法及终端
CN107808126A (zh) 车辆检索方法及装置
WO2015045233A1 (ja) 情報処理システム
JP5180922B2 (ja) 画像検索システム及び画像検索方法
CN106559634A (zh) 用于交通卡口视频监控的数据存储方法及装置
US20190171899A1 (en) Automatic extraction of attributes of an object within a set of digital images
CN110399525A (zh) 一种基于图像识别技术的人、物运动轨迹快速检索方法
CN115115825A (zh) 图像中的对象检测方法、装置、计算机设备和存储介质
Liu et al. AntiLoiter: A loitering discovery system for longtime videos across multiple surveillance cameras
JP5586736B2 (ja) 類似画像検索の結果表示装置及び類似画像検索の結果表示方法
WO2023039331A1 (en) Object detection systems and methods including an object detection model using a tailored training dataset

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130807

Termination date: 20180421