CN105659279B - 信息处理设备和信息处理方法 - Google Patents

信息处理设备和信息处理方法 Download PDF

Info

Publication number
CN105659279B
CN105659279B CN201480056914.8A CN201480056914A CN105659279B CN 105659279 B CN105659279 B CN 105659279B CN 201480056914 A CN201480056914 A CN 201480056914A CN 105659279 B CN105659279 B CN 105659279B
Authority
CN
China
Prior art keywords
identification information
time
date
pieces
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480056914.8A
Other languages
English (en)
Other versions
CN105659279A (zh
Inventor
外池昌嗣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Publication of CN105659279A publication Critical patent/CN105659279A/zh
Application granted granted Critical
Publication of CN105659279B publication Critical patent/CN105659279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083Shipping
    • G06Q10/0833Tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/30Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information
    • H04L63/302Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information gathering intelligence information for situation awareness or reconnaissance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Technology Law (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Collating Specific Patterns (AREA)
  • Alarm Systems (AREA)
  • Telephonic Communication Services (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

信息处理设备和信息处理方法。提供了一种将存储在由人携带的物体上的第一标识信息与标识人的第二标识信息关联的信息处理设备。该信息处理设备包括第一获取装置、第二获取装置和关联装置。第一获取装置获取存储在由人携带的物体上的第一标识信息。第二获取装置获取标识人的第二标识信息。如果在不同于第一日期和时间的第三日期和时间获取与在第一日期和时间获取的第一标识信息和在与第一日期和时间对应的第二日期和时间获取的第二标识信息的组合相同的组合,则关联装置将组合中的第一标识信息与第二标识信息关联。

Description

信息处理设备和信息处理方法
技术领域
本发明涉及一种信息处理设备、信息处理程序、记录介质和信息处理方法。
背景技术
专利文献1公开了提供一种能够充分地维持安全措施以覆盖其内具有大设施的更大的区域的设施监测系统的课题。该设施监测系统包括:相机设备,其监测设施;中央监测和控制设备,其执行控制操作以从相机设备接收视频信号,响应于该视频信号来显示图像,摇摄相机设备,并且缩放图像;侵入监测设备,如果人通过设施的正常入口以外的某处进入,则检测该人,并且连同该人的位置信息一起报告该人的侵入;图像处理设备,其将来自相机设备的视频信号所指定的一块像素设定为监测目标,并且跟踪该监测目标的移动;相机选择设备,如果监测目标移出一个相机设备的视野,则从这一个相机设备切换为另一相机设备;以及轨迹显示设备,其向人呈现监测目标在设施中的位置信息以及在跟踪目标的当前位置之前的轨迹。
专利文献2公开了与特定图像的片断时段(例如,来自拍摄对象(例如,类似马拉松选手的对象)的图像的精彩场景)的选择和编辑有关的工作量和人力问题。记录有移动物体的信息的RF标签被穿戴在移动物体上,从接收自RF标签的RF标签数据生成移动物体的属性信息,跟踪拍摄图像中移动物体所在的区域,通过单独地识别各个移动物体来确定移动物体,并且所确定的移动物体的属性信息被自动地附到拍摄图像。
专利文献3公开了一种基于众多点处的大量生物信息来有效地检索和跟踪人的人检索系统、人跟踪系统、人检索方法和人跟踪方法。图像输入单元输入人的脸部信息。脸部特征提取单元从输入的脸部信息提取特征量以识别人。待检索的人的脸部图像在附有指示检索重要性的信息的情况下被预存储在字典数据存储器上。所存储的脸部图像当中,具有高检索重要性的脸部图像被存储在字典数据存储器上。脸部识别单元依据存储在字典数据存储器上的脸部图像来检查由脸部特征提取单元提取的特征量并且计算特征量与脸部图中之间的相似度,并且将计算结果输出至数据显示器。
专利文献4公开了一种通过分析通过成像设备拍摄的图像来确定光学通信设备的持有者的图像处理设备。图像处理设备旨在基于光学通信设备、预定的通信目的地设备和各个人的位置(如果多个人在光学通信设备的周围的话)的位置关系来选择光学通信设备的持有者候选。图像处理设备包括:检测器,其分析由拍摄光学通信设备的持有者所在的预定空间的成像设备提供的图像,并且检测由光学通信设备发送的光学信号以及可作为光学通信设备的持有者的候选的多个人区域;以及人区域确定单元,其基于图像中的光学信号的光发射位置、预定参考位置和人区域的位置关系,从检测器在图像中检测到的多个人区域中确定光学通信设备的持有者的人区域。
引用列表
专利文献
专利文献1:JP-A-2006-202062
专利文献2:JP-A-2007-228195
专利文献3:JP-A-2003-281157
专利文献4:JP-A-2010-238196
发明内容
技术问题
本发明的目的在于提供一种将存储在人所携带的物体上的第一标识信息与标识人的第二标识信息关联的信息处理设备、信息处理程序、记录介质和信息处理方法。
问题的解决方案
为了实现上述目的,本发明的主旨在于下列项的发明。
权利要求1的发明提供一种信息处理设备。该信息处理设备的特征在于包括:第一获取装置,其获取存储在由人携带的物体上的第一标识信息;第二获取装置,其获取标识所述人的第二标识信息;以及关联装置,当在不同于第一日期和时间的第三日期和时间获取与在第一日期和时间获取的第一标识信息和在与第一日期和时间对应的第二日期和时间获取的第二标识信息的组合相同的组合时,该关联装置将所述组合中的第一标识信息与第二标识信息关联。
权利要求2的发明的特征在于,在权利要求1中所描述的信息处理设备中,当在不同于第一日期、时间和位置的第三日期、时间和位置获取与在第一日期、时间和位置获取的第一标识信息和在与第一日期、时间和位置对应的第二日期、时间和位置获取的第二标识信息的组合相同的组合时,所述关联装置将组合中的第一标识信息与第二标识信息关联。
权利要求3的发明的特征在于,权利要求2中所描述的信息处理设备还包括提取装置,该提取装置基于由关联装置提供的关联结果来提取所述人已经出现的日期和时间以及所述人已经出现的位置。
权利要求4的发明的特征在于,在权利要求1至3中的任一项所述的信息处理设备中,基于确定在第二日期和时间获取的多条第二标识信息有关系,所述关联装置将第一标识信息与第二标识信息关联。
本发明的有益效果
第一发明的信息处理设备可将存储在人所携带的物体上的第一标识信息与标识人的第二标识信息关联。
第二发明的信息处理设备可根据日期和时间以及位置将第一标识信息与第二标识信息关联。
第三发明的信息处理设备可跟踪人已经出现的日期和时间以及人已经出现的位置。
第四发明的信息处理设备可基于确定多条第二标识信息有关系来将第一标识信息与第二标识信息关联。
附图说明
图1是示出实施方式的配置示例的概念性模块配置图。
图2是示出实施方式的处理示例的流程图。
图3示出无线终端标识符-时间-位置数据的数据结构的示例。
图4示出标识符-时间-位置数据的数据结构的示例。
图5示出无线终端标识符-时间-位置提取数据的数据结构的示例。
图6示出标识符-时间-位置提取数据的数据结构的示例。
图7示出无线终端-时间-位置提取数据的数据结构的示例。
图8示出标识符-时间-位置提取数据的数据结构的示例。
图9是示出实施方式的处理的示例的流程图。
图10是示出实施方式的处理的示例的流程图。
图11是示出实施方式的处理的示例的流程图。
图12是示出实施方式的处理的示例的流程图。
图13是示出实现实施方式的计算机的硬件配置的框图。
具体实施方式
下面基于附图描述本发明的理想实施方式。
图1是示出实施方式的配置示例的概念性模块配置图。
术语模块表示逻辑上可分离的软件组件(计算机程序、)硬件组件等。实施方式的模块不仅表示计算机程序中的模块,而且表示硬件配置中的模块。实施方式的讨论还用作使得模块起作用的计算机程序(包括使得计算机执行各个步骤的程序、使得计算机用作元件的程序以及使得计算机实现各个功能的程序)、系统和方法的讨论。在以下讨论中,使用短语“存储信息”、“使得信息被存储”以及与其等同的其它短语。如果实施方式是计算机程序,则这些短语旨在表达“使得存储器装置存储信息”或者“控制存储器装置以使得存储器装置存储信息”。模块可按照一对一对应来与功能对应。在软件实现方式中,一个模块可由一个程序组成,或者多个模块可由一个程序组成。一个模块可由多个程序组成。多个模块可由单个计算机执行。单个模块可在分布式环境或者并行环境中由多个计算机执行。一个模块可包括另一模块。在以下讨论中,术语“连接”不仅表示物理连接,而且表示逻辑连接(例如,数据、指令和数据参考关系的交换)。术语“预定”表示在所关注的处理之前确定某物。因此,术语“预定”旨在表示在实施方式中所关注的处理之前确定的某物。即使在实施方式中的处理开始之后,术语“预定”也表示在所关注的处理之前根据在预设时间点的实施方式的条件或状态或者根据在此之前直至预设时间点的实施方式的条件或状态确定的某物。如果“预定值”为多个,则所述预定值可彼此不同,或者所述预定值中的两个或更多个(包括所有值)可彼此相等。“如果A,则执行B”的表述旨在表示确定某物是不是A,如果某物被确定为A,则采取动作B。如果没有执行某物是不是A的确定,则该表述变得没有意义。
术语“系统”和术语“设备”表示多个计算机、硬件配置和设备经由通信网络(包括一对一通信连接)互连的结构。术语“系统”和术语“设备”还表示包括单个计算机、硬件配置和设备的结构。术语“系统”和术语“设备”具有相同的定义并且可彼此互换。实施方式的上下文中的系统不包括作为由人构想出的社会结构的社会系统。
在由模块执行的各个处理或者在由模块执行的处理之一处,从存储器装置读取作为处理目标的信息,然后处理该信息,处理结果被写到存储器装置上。与在处理之前从存储器装置读取信息以及在处理之后将所处理的信息写到存储器装置上有关的描述可被适当地省略。存储器装置可包括硬盘、RAM(随机存取存储器)、外部存储介质、经由通信网络连接的存储器装置以及CPU(中央处理单元)内的寄存器。
实施方式的信息处理设备100将存储在用户所携带的物体上的第一标识信息与标识用户的第二标识信息关联。如图1所示,信息处理设备100包括存储装置102、无线终端标识符收集模块104、标识符收集模块107、匹配模块109和人跟踪模块111。在本文的示例中,第一标识信息是诸如蜂窝电话(包括智能电话)的无线终端101 的MAC(介质访问控制地址)地址,第二标识信息是用户的脸部图像。在这种情况下,第一标识信息与第二标识信息的关联被解释为将无线终端101与携带无线终端 101的用户的脸部图像关联。例如,如果检测到无线终端101的MAC地址,则显示无线终端101的持有者的脸部图像。
无线终端101是用户所携带的物体的示例,并且存储MAC地址作为第一标识信息的示例。无线终端101不限于蜂窝电话,可以是手持游戏机或者笔记本PC。这些设备可具有无线通信功能。无线通信可包括无线LAN、Bluetooth(注册商标)。
无线帧捕获设备103连接到信息处理设备100中的无线终端标识符收集模块 104。无线帧捕获设备103捕获通过无线终端101进行的无线通信的帧。可在同一店铺中安装一个或更多个无线帧捕获设备103。
无线终端标识符收集模块104连接到无线帧捕获设备103和存储装置102。无线终端标识符收集模块104收集从无线终端101发送来的第一标识信息。无线终端标识符收集模块104在存储装置102上存储所观测到的日期和时间(年、月、日、小时、分钟、秒和几分之一秒或其组合,并且被简称为时间)和位置(无线终端101或无线帧捕获设备103所在的位置)作为无线终端标识符-时间-位置数据105。位置可能未必是收集和存储的目标。
存储装置102存储无线终端标识符-时间-位置数据105、标识符-时间-位置数据108和无线终端标识符-标识符对应数据110。无线终端标识符收集模块104、标识符收集模块107、匹配模块109和人跟踪模块111访问存储装置102。存储装置102可能未必被包括在信息处理设备100中,可被布置在能够经由通信线路(无线通信线路、有线通信线路或其组合)访问的位置处。存储在存储装置102上的三条数据中的一条或更多条可被存储在另一存储装置上。
无线终端标识符-时间-位置数据105被无线终端标识符收集模块104、匹配模块109或人跟踪模块111访问,是具有无线终端101的标识符、时间和日期、以及位置这三列的数据。
标识符收集设备106连接到信息处理设备100中的标识符收集模块107。标识符收集设备106可以是相机(捕获静止图像或运动图像)或者点卡读取器。无线帧捕获设备103和标识符收集设备106被安装在同一位置。所述同一位置旨在表示无线帧捕获设备103和标识符收集设备106被安装在预定区域内。例如,所述同一位置可以是同一店铺。一个或更多个标识符收集设备106可被安装在同一店铺中。
标识符收集模块107连接到标识符收集设备106和存储装置102。标识符收集模块107收集除了无线终端101的标识符以外的标识个人的第二标识信息。第二标识信息可以是脸部图像、点卡号或者那天所穿 的衣服。第二标识信息与所观测到的时间和日期以及位置(标识符收集设备106或者用户的位置)的名称一起被存储在存储装置 102上作为标识符-时间-位置数据108。位置可能未必是收集和存储的目标。
标识符-时间-位置数据108被标识符收集模块107或匹配模块109访问,是第二标识信息、时间和日期、以及位置的三列数据。
匹配模块109连接到存储装置102,并且访问无线终端标识符-时间-位置数据105、标识符-时间-位置数据108和无线终端标识符-标识符对应数据110。匹配模块 109获取存储在用户所携带的物体上的第一标识信息。例如,匹配模块109获取无线终端101的MAC地址(无线终端标识符-时间-位置数据105中的无线终端101的标识符)。然后,匹配模块109获取标识用户的第二标识信息。例如,匹配模块109获取脸部图像(标识符-时间-位置数据108中的标识符)。
匹配模块109基于第一标识信息、获取第一标识信息的日期和时间、第二标识信息以及获取第二标识信息的日期和时间来将第一标识信息与第二标识信息关联以生成标识同一用户的信息。如果在不同于第一日期和时间的第三日期和时间获取了与在第一日期和时间获取的第一标识信息和在第二日期和时间获取的第二标识信息的组合相同的组合,则匹配模块109将该组合中的第一标识信息与第二标识信息关联。可使用关于位置的信息。在这种情况下,如果在不同于第一日期、时间和位置的第三日期、时间和位置获取了与在第一日期、时间和位置获取的第一标识信息和在第二日期、时间和位置获取的第二标识信息的组合相同的组合,则匹配模块109将该组合中的第一标识信息与第二标识信息关联。
更具体地讲,匹配模块109将无线终端101的第一标识信息与存储在存储装置 102上的第二标识信息关联,并且将第一标识信息和第二标识信息彼此关联地作为无线终端标识符-标识符对应数据110存储在存储装置102上。
无线终端标识符-标识符对应数据110被匹配模块109或人跟踪模块111访问,是通过匹配模块109彼此关联的第一标识信息和第二标识信息。在本文的示例中,无线终端标识符-标识符对应数据110是无线终端101的标识符和标识符的两列数据。
人跟踪模块111连接到存储装置102,并且访问无线终端标识符-标识符对应数据110或无线终端标识符-时间-位置数据105。人跟踪模块111基于通过匹配模块109 的关联结果(无线终端标识符-标识符对应数据110)从无线终端标识符-时间-位置数据105提取用户所在的位置以及用户在的日期和时间。更具体地讲,人跟踪模块111 跟踪具有给定标识信息的人的移动(用户何时在以及在何处)。
图2是示出实施方式的处理示例的流程图。例如,本文描述拥有多个店铺的零售商。另外,第一标识信息可以是无线终端101的标识符,第二标识信息可以是通过安装在店铺中的监测相机提取的脸部图像的图像特征。
在步骤S202中,无线终端标识符收集模块104收集无线终端101的标识符。无线终端标识符收集模块104收集进入安装在各个店铺中的无线帧捕获设备103的特定区域的所有无线终端101的标识符。
更具体地讲,如果无线终端101是无线LAN终端,则无线终端标识符收集模块 104检查当无线LAN终端搜索具有特定ESSID的接入点时发送的所有“探测请求帧”,收集包括在探测请求帧中的无线终端101的MAC地址,并且将MAC地址与时间和日期以及店铺名称的信息一起作为无线终端标识符-时间-位置数据105存储在存储装置102上。
例如,图3示出在早上7:00:00在店铺A累积的无线终端标识符-时间-位置数据105的示例。图3示出无线终端标识符-时间-位置数据300的数据结构。无线终端标识符-时间-位置数据300包括时间列310、位置列320和无线终端标识符列330。时间列310存储进行数据收集的日期和时间。位置列320存储进行数据收集的位置。无线终端标识符列330存储无线终端101的标识符(第一标识信息)。
在步骤S204中,标识符收集模块107收集脸部图像的图像特征作为第二标识信息。安装在各个店铺中的标识符收集设备106收集所有第二标识信息。在本文的示例中,标识符收集设备106对通过安装在店铺中的监测相机获得的图像执行可用的脸部检测处理,从而检测并收集人的脸部区域。图像特征是利用脸部检测技术提取的脸部图像本身或者在脸部图像识别中利用特征提取技术提取的特征。
所检测的脸部图像与时间和店铺名称的信息一起存储在存储装置102上作为标识符-时间-位置数据108。图4示出在早上大约7:00在店铺A累积的脸部图像的示例 (标识符-时间-位置数据108的示例)。为了说明方便,脸部图像由笑脸符表示。图4 示出标识符-时间-位置数据400的数据结构的示例。标识符-时间-位置数据400包括时间列410、位置列420和脸部图像列430。时间列410存储拍摄图像的日期和时间。位置列420存储拍摄图像的位置。脸部图像列430存储从所拍摄的图像提取的脸部图像。如果所拍摄的图像中存在多个人,则多个脸部图像作为结果。
在步骤S206中,匹配模块109将无线终端101的标识符与标识符匹配。
在步骤S206中,匹配模块109将在预定时间段期间(例如,一天)所累积的无线终端标识符-时间-位置数据105与标识符-时间-位置数据108匹配,并且确定无线终端标识符(第一标识信息)与第二标识信息之间的匹配关系。
总结该处理,匹配模块109将在获取给定无线终端101的标识符的日期、时间和位置出现的第二标识信息进行比较,并且将共同出现的第二标识信息与无线终端101 的标识符关联。在这种情况下,日期、时间和位置未必完全匹配。这是因为获取第一标识信息的日期、时间和位置未必与获取第二标识信息的日期、时间和位置完全匹配。在与获取第一标识信息的日期、时间和位置对应的日期、时间和位置获取第二标识信息就足够了。如上所述,可在一定范围内比较获取第二标识信息的日期和时间。第一标识信息的日期和时间是否对应于第二标识信息的日期和时间可根据该日期和时间与另一日期和时间之间的差异是否小于或等于阈值或在阈值以下来确定。位置可以是位置名称(例如,店铺A),并且是完全匹配的示例。如果位置由纬度和经度来表示,则位置对应性可根据范围或者根据两点之间的差异是否小于或等于预定阈值或在预定阈值以下来确定。不用说,在此上下文中“匹配”包括完全匹配的情况。
具体地讨论该处理。
在本文所描述的示例中,搜索与无线终端101的标识符AA对应的脸部图像。
在7月10号,从无线终端标识符-时间-位置数据105(无线终端标识符-时间-位置数据300)提取获取无线终端101的无线终端标识符AA的日期、时间和位置。图 5示出提取结果。图5示出无线终端标识符-时间-位置提取数据500的数据结构。无线终端标识符-时间-位置提取数据500包括时间列510、位置列520和无线终端标识符列530。时间列510存储执行数据收集时的日期和时间。位置520存储执行数据收集的位置。无线终端标识符列530存储无线终端101的标识符。无线终端标识符-时间-位置提取数据500具有与无线终端标识符-时间-位置数据300的数据结构相同的数据结构,但是从提取标无线终端101的识符AA的数据得到的。无线终端101的标识符AA是每预定时间周期(例如,每小时)在该位置提取的数据。如果无线终端101 在无线帧捕获设备103附近,则连续地获得无线终端101的标识符。因此,仅提取在步骤S206中的操作中使用的数据。
然后,从标识符-时间-位置数据108提取在接近获取无线终端101的标识符“AA”时的日期和时间的日期和时间(例如,在从获取无线终端101的标识符“AA”之前一分钟至之后一分钟的范围内,或者就在获取无线终端101的标识符“AA”时)以及获取无线终端101的标识符“AA”的位置获取的脸部图像。图6示出提取结果。图6示出标识符-时间-位置提取数据600的数据结构。标识符-时间-位置提取数据600 包括时间列610、位置列620和脸部图像列630。时间列610存储拍摄图像的日期和时间。位置列620存储拍摄图像的位置。脸部图像列630存储从所拍摄的图像提取的脸部图像。标识符-时间-位置提取数据600在结构上与标识符-时间-位置数据400相同,但是时间列610指示如上所述的时间段。因此,脸部图像列630可能存储多个脸部图像。时间列610中的日期和时间对应于无线终端标识符-时间-位置提取数据500 的时间列510中的日期和时间(在此示例中,在时间列510中的包括日期和时间的范围内的日期和时间)。位置列620中的位置对应于无线终端标识符-时间-位置提取数据500中的位置列520(在这种情况下匹配)。
从结果(标识符-时间-位置提取数据600)选择共同的脸部图像。可使用可用的脸部识别技术来确定脸部图像是否彼此相同。
在此示例中,提取“(*^_^*)”作为共同的脸部图像。
脸部图像“(*^_^*)”被与无线终端标识符“AA”关联,然后被存储在存储装置 102上作为无线终端标识符-标识符对应数据110。
在这种情况下,搜索范围被缩小到特定无线终端的标识符,并且从接近无线终端的标识符出现的时间和位置出现的脸部图像中搜索脸部图像。此处理可被颠倒。搜索范围被缩小到特定脸部图像,并且搜索与接近脸部图像出现的时间和位置出现的无线终端的标识符共同的无线终端的标识符。更具体地讲,任何处理均可为可接受的,只要在该处理中从不同的日期和时间搜索到与无线终端101和脸部图像的组合相同的组合即可。
如果仅考虑单个店铺,则不考虑位置信息。如果在实施方式中考虑多个店铺,则位置信息可能仍不是非常必要的。然而,由于增加位置信息在选择在同一日期和时间获取的脸部图像时排除了在不同位置的脸部,因此脸部信息的识别误差减小。
如果在所有日期和时间(标识符-时间-位置提取数据600的每一行)不存在共同的脸部图像,则可选择最频繁地出现了n次的脸部图像。这里,n是等于或高于1的整数变量。
在步骤S208中,人跟踪模块111跟踪人的移动。此处理是可选的(不是必须执行)。在步骤S208中,指示具有特定标识符的人移动到何处以及何时移动的信息。
在此示例中,可提供具有脸部图像“(*^_^*)”的人的移动。首先从无线终端标识符-标识符对应数据110获取与该脸部图像对应的无线终端标识符“AA”。
如果仅从无线终端标识符-时间-位置数据105提取包括无线终端标识符“AA”的数据,则确定脸部图像“(*^_^*)”的移动。
更具体地讲,脸部图像“(*^_^*)”如下移动:“07:00:00在店铺A→19:00:00在店铺B→23:00:00在店铺A”。
在步骤S206中的操作之后,通过简单地获取无线终端101的标识符来跟踪脸部图像“(*^_^*)”的移动。
接下来,下面描述匹配模块109的另一处理。
无线终端101可由多个人(例如,父亲和女儿等)共享和使用。在这种情况下,匹配模块109确定他们之间存在某种关系,并且执行关联处理。
为了简化说明,省略位置信息。即使包括位置信息,匹配模块109的讨论仍相同。
无线终端标识符-时间-位置提取数据700指示关于获取无线终端101的标识符 AA的日期和时间(即,7月15日)的信息,无线终端标识符-时间-位置提取数据700 提取自无线终端标识符-时间-位置数据105。图7示出无线终端标识符-时间-位置提取数据700的数据结构。无线终端标识符-时间-位置提取数据700包括时间列710和无线终端标识符列720。时间列710存储获取无线终端101的标识符的日期和时间。无线终端标识符列720存储在该日期和时间获取的无线终端101的标识符。
从标识符-时间-位置数据108提取在接近该日期和时间的日期和时间获取的脸部图像。提取结果的示例被示出为标识符-时间-位置提取数据800。结果的示例被称作表A。图8示出标识符-时间-位置提取数据800的数据结构。标识符-时间-位置提取数据800包括时间列810和脸部图像列820。时间列810存储拍摄图像的日期和时间。时间列810对应于时间列710中的数据和时间。脸部图像列820存储在该日期和时间拍摄的脸部图像。在这种情况下,不存在对所有日期和时间共同的脸部图像(标识符 -时间-位置提取数据800的行)。
根据图10的算法执行该处理,如果有多个脸部图像要输出,则那些脸部图像被输出为有关系。
图9是示出实施方式的处理的示例的流程图。除了步骤S206不同以外,此流程图与图2的流程图相同。
在步骤S902中,无线终端标识符收集模块104收集无线终端101的标识符。
在步骤S904中,标识符收集模块107收集图像特征。
在步骤S906中,匹配模块109提取有关系的图像特征。步骤S906中的操作参照图10来描述。
在步骤S908中,人跟踪模块111跟踪人的移动。移动跟踪目标是被确定为有关系的一群人。
图10是示出实施方式的处理(步骤S906)的示例的流程图。从在标识符-时间- 位置提取数据800的时间列810中的日期和时间获取的脸部图像当中,确定多个脸部图像有关系,并且将那些脸部图像与无线终端101关联。
图10是提取可能有关系的给定脸部图像的示例的流程图。
在步骤S1002中,确定是否满足表A(标识符-时间-位置提取数据800)的条目数量>min的条件。如果满足表A的条目数量>min的条件,则处理前进至步骤S1004。否则,处理前进至步骤S1010。这里,min是等于或大于1的整数。
在步骤S1006中,输出最频繁地出现的脸部图像。
在步骤S1008中,删除包括最频繁地出现的脸部图像的条目。这导致表A中的行数减少。
在步骤S1010中,确定在步骤S1006中输出的脸部图像的数量是否为多个。如果脸部图像的示例为多个,则处理前进至步骤S1012。否则,处理前进至步骤S1014。
在步骤S1012中,输出可能有关系的脸部图像。在图8的示例中,出现三次的脸部图像“(*^_^*)”和出现两次的脸部图像“(!_!)”是可能有关系的脸部图像。
在步骤S1014中,确定“不存在可能有关系的脸部图像”。
在上述实施方式中,无线终端标识符收集模块104收集无线LAN终端的MAC 地址。第一标识信息可以是无线LAN以外的无线终端的ID,例如Bluetooth(注册商标)ID或者RFID标签ID。并非必须使用无线终端。例如,任何物体是可接受的,只要该物体被用户携带并且能够收集标识该物体或者作为该物体的持有者的用户的标识信息即可。例如,该物体可以是点卡(例如,无接触或者接触型IC卡)。该物体可以是条形码(包括二维条形码)或者写有字母数字的卡。在这种情况下,图1的无线帧捕获设备103是读卡器。更具体地讲,无线帧捕获设备103具有条形码读取功能、字符识别功能等。
第二标识信息可以是所拍摄的用户的图像的一部分(脸部图像、衣服的图像等)、上述各个卡的ID、或者生物信息(例如,指纹)。第二标识信息不同于第一标识信息。可在可安装在房间或建筑物的入口处的进/出检测设备(也称作舌门(flapper gate)) 处获取指纹。
第一标识信息和第二标识信息的特定组合包括移动信息终端的MAC地址与脸部图像、RFID标签的ID与脸部图像、点卡的ID与脸部图像、移动信息终端的MAC 地址与点卡的ID、RFID标签的ID与点卡的ID、点卡的ID与另一点卡的ID、移动信息终端的MAC地址与指纹信息、以及其它组合。因此,在检测到一方的标识信息的情况下,可获取另一方的标识信息。
图11是示出实施方式的处理的示例的流程图。在第一标识信息(标识信息A) 和第二标识信息(标识信息B)方面图11的流程图对应于图2的流程图。
在步骤S1102中,标识信息A收集模块收集标识信息A。例如,标识信息A收集模块从读卡器接收标识信息A。
在步骤S1104中,标识信息B收集模块收集标识信息B。例如,标识信息B收集模块从相机接收图像。
在步骤S1106中,匹配模块109将标识信息A与标识信息B匹配。
在步骤S1108中,人跟踪模块111跟踪人的移动。
图12是示出实施方式的处理的示例的流程图。在第一标识信息(标识信息A) 和第二标识信息(标识信息B)方面图12的流程图对应于图9的流程图。
在步骤S1202中,标识信息A收集模块收集标识信息A。
在步骤S1204中,标识信息B收集模块收集标识信息B。
在步骤S1206中,匹配模块109提取有关系的标识信息B。
在步骤S1208中,人跟踪模块111跟踪人的移动。
在以上讨论中,第一标识信息与第二标识信息之间的关联是一对一对应或者一对n对应(例如父亲和女儿)。第一标识信息与第二标识信息之间的关联可为n对m对应。这里,n和m是等于或大于1的整数,并且n和m可彼此相等。
例如,第二标识信息可以是雇员或学生的制服。在这种情况下,无线帧捕获设备103捕获各个雇员的无线终端的第一标识信息。标识符收集设备106从雇员的制服收集多条第二标识信息。如果在不同的日期和时间(或者在不同日期和时间并且在不同的位置)获取与第一标识信息和第二标识信息的组合相同的组合,则该组合的第一标识信息和第二标识信息被彼此关联。
如图13所示,运行作为实施方式的程序的计算机的计算机硬件配置是标准计算机。具体地讲,计算机硬件配置是可用作个人计算机或服务器的计算机。更具体地讲,中央处理单元(CPU)1301用作处理器(算术处理器),RAM 1302、ROM 1303和 HD 1304用作存储装置。硬盘可用于HD 1304。计算机包括执行诸如无线终端标识符收集模块104、标识符收集模块107、匹配模块109和人跟踪模块111的程序的CPU 1301。计算机还包括存储程序和数据的RAM 1302、存储启动计算机的程序和其它程序的ROM 1303、作为辅助存储装置(例如,闪存)的HD 1304、响应于用户在键盘、鼠标、触摸面板等上执行的操作接收数据的接收装置1306、诸如CRT或液晶显示器的输出装置1305、诸如网络接口卡的用于与通信网络连接的通信线路接口1307以及将这些元件互连以在它们之间交换数据的总线1308。这种类型的多个计算机可经由网络彼此互连。
实施方式的计算机程序可作为软件被读取到硬件配置的系统上,并且因此利用协作地操作的软件和硬件资源来实现实施方式。
图13的硬件配置仅指示配置示例。实施方式不限于图13的该硬件配置,任何形式均可为可接受的,只要实现实施方式的模块即可。例如,一些模块可通过专用硬件 (例如,ASIC等)来实现。在另一示例中,一些模块可在外部系统中并且经由通信网络连接到图13的系统。在另一示例中,图13的多个系统可经由通信线路彼此互连,使得系统彼此合作地操作。模块之一不仅可被并入个人计算机中,而且可被并入网络家用电器、复印机、传真装置、扫描仪、打印机、多功能设备(具有扫描仪、打印机、复印机和传真装置的至少两个功能的图像处理设备)中。
上述程序可按照存储在记录介质上的状态来供应。所述程序还可经由通信来提供。在这种情况下,上述程序可被理解为“存储有程序的非暂时性计算机可读记录介质”的发明。
“存储有程序的非暂时性计算机可读记录介质”表示存储有所述程序的计算机可读记录介质并且用于安装所述程序、执行所述程序或者分发所述程序。
记录介质包括数字多功能盘(DVD)、紧凑盘(CD)、Blu-ray disk(注册商标)、磁光盘(MO)、柔性盘(FD)、磁带、硬盘、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM(注册商标))、闪存、随机存取存储器(RAM)和安全数字 (SD)存储卡。DVD包括符合DVD论坛所制订的标准的“DVD-R、DVD-RW和 DVD-RAM”以及符合DVD+RW标准的“DVD+R和DVD+RW”。CD包括只读CD (CD-ROM)、可记录CD(CD-R)和可重写CD(CD-RW)。
程序可整体地或部分地存储在记录介质上以便于存储和分发。程序可整体地或部分地经由传输介质来发送。传输介质包括有线网络、无线网络或者其组合。有线和无线网络可包括局域网(LAN)、城域网(MAN)、广域网(WAN)、互联网、内联网和外联网。程序可整体地或部分地经由载波来发送。
程序可以是另一程序的部分,或者可与另一程序一起被存储在记录介质上。程序可被分割,然后所分割的程序可被分别存储在记录介质上。程序可在存储之前以任何方式来处理,只要程序保持可恢复即可。例如,程序可在存储之前被压缩或者加密。
标号列表
100 信息处理设备
101 无线终端
102 存储装置
103 无线帧捕获设备
104 无线终端标识符收集模块
105 无线终端标识符-时间-位置数据
106 标识符收集设备
107 标识符收集模块
108 标识符-时间-位置数据
109 匹配模块
110 无线终端标识符-标识符对应数据
111 人跟踪模块

Claims (5)

1.一种信息处理设备,该信息处理设备包括:
第一获取装置,该第一获取装置获取多条第一标识信息,所述多条第一标识信息中的每一条被存储在由人携带的物体上;
第二获取装置,该第二获取装置获取多条第二标识信息,所述多条第二标识信息中的每一条标识所述人;
存储装置,该存储装置存储:(i)所述第一标识信息,(ii)与获取所述多条第一标识信息中的每一条的每一个日期和时间对应的第一日期和时间信息,(iii)所获取的第二标识信息,以及(iv)与获取所述多条第二标识信息中的每一条的每一个日期和时间对应的第二日期和时间信息;以及
关联装置,该关联装置通过以下步骤将所述多条第一标识信息中的一条第一标识信息与所述多条第二标识信息中的一条第二标识信息关联:
从所述存储装置提取多条第一日期和时间信息,所述多条第一日期和时间信息中的每一条与所述一条第一标识信息相对应;
确定并提取与多条第二标识信息相对应的多个集,所述多个集中的每一个集包括:(i)所述多条第二标识信息中的一条第二标识信息,(ii)对应的一条第二日期和时间信息,以及(iii)所提取的多条第一日期和时间信息中的对应一条第一日期和时间信息;以及
通过选择在所述多个集中的共同的一条第二标识信息来确定匹配,所选择的共同的一条第二标识信息是与所述多条第一标识信息中的所述一条第一标识信息关联的所述多条第二标识信息中的所述一条第二标识信息。
2.根据权利要求1所述的信息处理设备,其中:
所述存储装置进一步存储:(i)多条第一位置信息,所述多条第一位置信息中的每一条与获取所述多条第一标识信息中的一条的位置相对应,以及(ii)多条第二位置信息,所述多条第二位置信息中的每一条与获取所述多条第二标识信息中的一条的位置相对应,并且
所述关联装置通过以下步骤将所述一条第一标识信息与所述一条第二标识信息关联:
提取一条所述第一日期和时间信息和一条所述第一位置信息的多个第一组合,所述多个第一组合中的每一个组合与所述一条第一标识信息相对应;
确定并提取与多条第二标识信息相对应的多个集,所述多个集中的每一个集包括一条所述第二日期和时间信息和一条所述第二位置信息的第二组合,每一个第二组合与所提取的多个第一组合中的一个组合相对应;以及
通过选择在所述多个集中的共同的一条第二标识信息来确定匹配,所选择的共同的一条第二标识信息是与所述一条第一标识信息关联的所述一条第二标识信息。
3.根据权利要求2所述的信息处理设备,该信息处理设备还包括提取装置,该提取装置基于由所述关联装置执行的关联来提取所述人已经出现的日期和时间以及所述人已经出现的位置。
4.根据权利要求1至3中的一项所述的信息处理设备,其中,基于确定在所述第二日期和时间获取的多条所述第二标识信息有关系,所述关联装置将一条所述第一标识信息与一条所述第二标识信息关联。
5.一种信息处理方法,该信息处理方法包括以下步骤:
第一获取步骤,由第一获取装置获取多条第一标识信息,所述多条第一标识信息中的每一条被存储在由人携带的物体上;
第二获取步骤,由第二获取装置获取多条第二标识信息,所述多条第二标识信息中的每一条标识所述人;
存储步骤,由存储装置存储:(i)所述第一标识信息,(ii)与获取所述多条第一标识信息中的每一条的每一个日期和时间对应的第一日期和时间信息,(iii)所获取的第二标识信息,以及(iv)与获取所述多条第二标识信息中的每一条的每一个日期和时间对应的第二日期和时间信息;以及
关联步骤,由关联装置通过以下步骤将所述多条第一标识信息中的一条第一标识信息与所述多条第二标识信息中的一条第二标识信息关联:
从所述存储装置提取多条第一日期和时间信息,所述多条第一日期和时间信息中的每一条与所述一条第一标识信息相对应;
确定并提取与多条第二标识信息相对应的多个集,所述多个集中的每一个集包括:(i)所述多条第二标识信息中的一条第二标识信息,(ii)对应的一条第二日期和时间信息,以及(iii)所提取的多条第一日期和时间信息中的对应一条第一日期和时间信息;以及
通过选择在所述多个集中的共同的一条第二标识信息来确定匹配,所选择的共同的一条第二标识信息是与所述多条第一标识信息中的所述一条第一标识信息关联的所述多条第二标识信息中的所述一条第二标识信息。
CN201480056914.8A 2013-12-26 2014-05-19 信息处理设备和信息处理方法 Active CN105659279B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-269104 2013-12-26
JP2013269104A JP5751321B2 (ja) 2013-12-26 2013-12-26 情報処理装置及び情報処理プログラム
PCT/JP2014/063175 WO2015098144A1 (ja) 2013-12-26 2014-05-19 情報処理装置、情報処理プログラム、記録媒体及び情報処理方法

Publications (2)

Publication Number Publication Date
CN105659279A CN105659279A (zh) 2016-06-08
CN105659279B true CN105659279B (zh) 2020-03-31

Family

ID=53478036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480056914.8A Active CN105659279B (zh) 2013-12-26 2014-05-19 信息处理设备和信息处理方法

Country Status (5)

Country Link
US (1) US9947105B2 (zh)
JP (1) JP5751321B2 (zh)
CN (1) CN105659279B (zh)
SG (1) SG11201602842YA (zh)
WO (1) WO2015098144A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104992075B (zh) * 2015-07-30 2018-07-13 浙江宇视科技有限公司 一种基于大数据的多源信息关联方法和装置
CN106878666B (zh) * 2015-12-10 2020-04-28 杭州海康威视数字技术股份有限公司 基于监控摄像机来查找目标对象的方法、装置和系统
CN108694216B (zh) * 2017-04-12 2020-11-27 杭州海康威视数字技术股份有限公司 一种多源对象关联方法及装置
CN109120272B (zh) * 2018-07-16 2021-09-28 南京航空航天大学 一种面向离散制造车间的rfid标签数据压缩方法
CN109002552A (zh) * 2018-08-07 2018-12-14 深圳市携网科技有限公司 逃逸跟踪方法、装置、计算机设备及存储介质
CN109376597A (zh) * 2018-09-17 2019-02-22 深圳达闼科技控股有限公司 一种检测信息获取方法及相关装置
CN109714710A (zh) * 2019-03-06 2019-05-03 中国人民解放军陆军工程大学 一种非主动配合人员大范围轨迹采集方法
US20240276178A1 (en) * 2021-05-25 2024-08-15 Nec Corporation Data processing device, data processing method, and non-transitory computer readable medium

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011039959A (ja) * 2009-08-18 2011-02-24 Hitachi Kokusai Electric Inc 監視システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6806978B1 (en) * 1999-05-14 2004-10-19 Konica Corporation Image pick-up printing apparatus
JP2003281157A (ja) 2002-03-19 2003-10-03 Toshiba Corp 人物検索システム、人物追跡システム、人物検索方法および人物追跡方法
DE60330898D1 (de) * 2002-11-12 2010-02-25 Intellivid Corp Verfahren und system zur verfolgung und verhaltensüberwachung von mehreren objekten, die sich durch mehrere sichtfelder bewegen
US7215359B2 (en) * 2004-09-03 2007-05-08 International Business Machines Corporation Techniques for view control of imaging units
JP2006202062A (ja) 2005-01-20 2006-08-03 Toshiba Corp 施設監視システム
US7738008B1 (en) * 2005-11-07 2010-06-15 Infrared Systems International, Inc. Infrared security system and method
JP4622883B2 (ja) 2006-02-22 2011-02-02 富士通株式会社 映像属性自動付与装置、映像属性自動付与プログラム及び映像属性自動付与方法
JP5262929B2 (ja) 2009-03-31 2013-08-14 富士通株式会社 画像処理プログラムおよび画像処理装置
WO2011080707A2 (en) * 2009-12-30 2011-07-07 Meterlive Ltd. Analyzing audiences at public venues
JP5906379B2 (ja) * 2011-09-29 2016-04-20 パナソニックIpマネジメント株式会社 移動体位置推定装置、移動体位置推定方法、及び、移動体位置推定プログラム
PL2836971T3 (pl) * 2012-04-13 2018-05-30 Mastercard International Inc Systemy, sposoby i nośniki odczytywalne komputerowo do przeprowadzania transakcji z użyciem danych uwierzytelniających opartych na chmurze
US9426358B2 (en) * 2014-03-11 2016-08-23 Nokia Technologies Oy Display of video information

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011039959A (ja) * 2009-08-18 2011-02-24 Hitachi Kokusai Electric Inc 監視システム

Also Published As

Publication number Publication date
US20160189395A1 (en) 2016-06-30
SG11201602842YA (en) 2016-05-30
WO2015098144A1 (ja) 2015-07-02
JP2015125575A (ja) 2015-07-06
JP5751321B2 (ja) 2015-07-22
CN105659279A (zh) 2016-06-08
US9947105B2 (en) 2018-04-17

Similar Documents

Publication Publication Date Title
CN105659279B (zh) 信息处理设备和信息处理方法
EP3716141B1 (en) Identity authentication method, system, device and apparatus
JP6139364B2 (ja) 人物特定装置、人物特定方法及びプログラム
CN107408119B (zh) 图像检索装置、系统以及方法
US20210357678A1 (en) Information processing method and apparatus, and storage medium
CN105279496B (zh) 一种人脸识别的方法和装置
US10037467B2 (en) Information processing system
CN101300588A (zh) 确定收集中的特定人的方法
CN109145127B (zh) 图像处理方法及装置、电子设备和存储介质
CN108563651B (zh) 一种多视频的目标搜索方法、装置及设备
US20150055822A1 (en) Method and apparatus for user recognition
CN112650882A (zh) 一种视频采集方法、装置及系统
TWI602434B (zh) 路跑活動的拍照系統及其操作方法
CN110543584A (zh) 一种建立人脸索引的方法、装置、处理服务器及存储介质
CN108345847B (zh) 一种人脸图像标签数据生成系统及其方法
CN109448193A (zh) 身份信息识别方法及装置
CN110866418A (zh) 图像底库生成方法、装置、设备、系统及存储介质
KR20090035798A (ko) 차량 번호판의 영상 저장 시스템 및 그 방법
US12046075B2 (en) Information processing apparatus, information processing method, and program
JP2011150425A (ja) リサーチ装置およびリサーチ方法
JP7525118B2 (ja) 画像内の参加者識別
KR100434907B1 (ko) 얼굴 인식 기능을 포함한 영상 감시 시스템 및 이를이용하는 방법
JP6773144B2 (ja) コンテンツ選択装置、コンテンツ選択方法、コンテンツ選択システム及びプログラム
JP2018137639A (ja) 動画像処理システム、並びに、符号化装置及びプログラム、並びに、復号装置及びプログラム
KR20220079433A (ko) 태그 정보에 기초하여 스크린샷 이미지를 검색하는 방법 및 이를 수행하는 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Tokyo, Japan

Patentee after: Fuji film business innovation Co.,Ltd.

Address before: Tokyo, Japan

Patentee before: Fuji Xerox Co.,Ltd.