CN104572806B - 用于搜索的系统和操作所述系统的方法 - Google Patents

用于搜索的系统和操作所述系统的方法 Download PDF

Info

Publication number
CN104572806B
CN104572806B CN201410583993.XA CN201410583993A CN104572806B CN 104572806 B CN104572806 B CN 104572806B CN 201410583993 A CN201410583993 A CN 201410583993A CN 104572806 B CN104572806 B CN 104572806B
Authority
CN
China
Prior art keywords
information
classification
trend
portable cord
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410583993.XA
Other languages
English (en)
Other versions
CN104572806A (zh
Inventor
朴东俊
柳然杰
申皬喆
郑东焕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanhua Vision Co ltd
Original Assignee
Hanwha Techwin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hanwha Techwin Co Ltd filed Critical Hanwha Techwin Co Ltd
Publication of CN104572806A publication Critical patent/CN104572806A/zh
Application granted granted Critical
Publication of CN104572806B publication Critical patent/CN104572806B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

公开了一种用于搜索的系统和操作所述系统的方法。所述系统包括：初步数据分析部，通过对输入的图像的分析来提取各种属性，使用图像分析结果分析关于作为客户所请求的信息的类别的趋势，并将趋势分析结果存储为元数据；索引部，存储元数据，对存储的元数据进行结构化、组织化和存储，以便容易地搜索元数据；搜索部，从索引部提取与客户输入的类别相匹配的趋势信息，并以预定格式提供趋势信息。

Description

用于搜索的系统和操作所述系统的方法
本申请要求于2013年10月25日提交到韩国知识产权局的第10-2013-0128036号韩国专利申请的优先权，其中，所述专利申请的公开通过引用全部合并于此。
技术领域
本公开的一个或更多个示例性实施例涉及一种用于搜索的系统和操作所述系统的方法，更具体地，涉及一种识别在数据中形成的内容、分析趋势并将该趋势提供给客户的用于搜索的系统和操作所述系统的方法。
背景技术
一般的搜索系统提供用于将搜索结果返回到客户的专门搜索。例如，当客户搜索与图像数据中的用户和/或车辆有关的分类信息时，一般的搜索系统通过使用能够产生分类信息的图像分析算法来形成类别信息，客户从指定的类别检索信息。也就是说，现有技术的搜索系统使用分析用户的要求并查找项目的处理。这种搜索系统的信息被公开在第2007-0007031号韩国专利公开出版物和第1995-325832号日本专利公开出版物中。
发明内容
本公开的一个或更多个示例性实施例包括一种搜索系统和操作所述系统的方法，其中，所述系统和方法使用语义技术和语义本体来识别在数据中形成的内容，识别趋势，并将所述趋势提供给客户。相反地，现有技术使用分析客户的要求并找到项目的处理。
另外的方面将在下面的描述中被部分地阐述，并将部分地从描述中变得清楚，或者可通过呈现的实施例的实践而被获知。
根据本公开的一个或更多个示例性实施例，一种用于搜索的系统包括：初步数据分析部，被配置为分析输入的图像以提取各种属性，通过使用提取的所述各种属性来分析关于客户所请求的信息的类别的趋势，并将趋势分析存储为元数据；索引部，被配置为通过将元数据结构化并存储元数据来使得元数据可被搜索；搜索部：被配置为从可被搜索的元数据提取与客户所请求的信息的类别相匹配的趋势信息，并以预定格式提供所述趋势信息。
初步数据分析部可包括：图像分析引擎，被配置为分析输入的图像并提取各种属性；趋势分析引擎，被配置为响应于提取了属性信息，分析关于客户所请求的信息的类别的趋势，并提供趋势分析；第一存储单元，被配置为将趋势分析存储为元数据。
趋势分析引擎可包括：出现频率分析单元，被配置为分析在任意时间段内类别的出现频率作为第一趋势信息；改变分析单元，被配置为通过分析第一趋势信息的改变来提供第二趋势信息；移动线分析单元，被配置为通过检测并跟踪类别的运动来将类别的移动线分析的结果提供为第三趋势信息。
搜索部可被配置为以输出屏幕格式来提供第一趋势信息的元数据，其中，输出屏幕格式包括在一个轴上指示的上级类别和在另一轴上的视觉图形，其中，视觉图形表示包括在每个上级类别中的下级类别的出现频率。
响应于在下级类别之中选择了任意下级类别，可显示选择的下级类别的详细信息。
搜索部可被配置为以热图格式提供第二趋势信息的元数据，其中，在热地图格式中，以热分布形式的视觉图形表示出现频率关于设置时间的改变。
搜索部可被配置为以图形格式提供从第一趋势信息改变到第二趋势信息的元数据，其中，在图形格式中，以视觉图形表示出现频率关于设置时间的改变。
移动线分析单元可包括：移动线信息产生单元，被配置为通过进行与来自输入的图像的类别有关的运动检测和运动跟踪，产生移动线信息；噪声去除单元，被配置为去除移动线信息的噪声；聚类单元，被配置为生成聚类，其中，每一个聚类由去除了噪声的相似移动线信息项形成；分组单元，被配置为将对相似移动线信息项进行分组后的结果提供为第三趋势信息，其中，通过使用聚类后的移动线信息项执行人工智能神经网络学习来对相似移动线信息项进行分组。
搜索部可被配置为以由第一区域和第二区域形成的输出屏幕格式来提供从索引部得到的第三趋势信息的元数据，其中，图像中的移动线被显示在第一区域中，对相似移动线信息项进行分组后的结果被显示在第二区域中，其中，通过执行作为自组织映射图的人工智能神经网络学习来对相似移动线信息项进行分组。
响应于在第二区域中选择了任意一组，在第一区域中显示与选择的组相应的移动线。
移动线分析单元可包括：移动线信息产生单元，被配置为通过进行与来自输入的图像的类别有关的运动检测和运动跟踪，产生移动线信息；噪声去除单元，被配置为去除移动线信息的噪声；点选择单元，被配置为选择包括在去除了噪声的移动线信息中的任意点；聚类单元，被配置为生成聚类，其中，每一个聚类由包括所述任意点的相似移动线信息项形成；移动概率计算单元，被配置为计算从任意一个聚类点移动到另一聚类点的概率，并将所述概率提供为第三趋势信息。
可以以输出屏幕格式提供从索引部得到的第三趋势信息的元数据，其中，在输出屏幕格式中，图像中的聚类点被显示，并且从任意一个聚类点移动到另一聚类点的概率被表示为箭头。
移动的概率的大小可与箭头的大小成比例。
索引部可包括：第二存储单元，被配置为存储图像分析引擎的输出；索引引擎，被配置为对存储在第一存储单元中的元数据进行结构化和组织化，以使得元数据可被搜索；第三存储单元，被配置为存储来自索引引擎的可被搜索的元数据。
索引部可包括：查询引擎，被配置为将从客户输入的搜索词分类为类别；搜索引擎，被配置为在第二存储单元和第三存储单元中搜索与分类后的类别相应的趋势信息；浏览引擎，被配置为以预定格式提供搜索引擎对趋势信息的搜索结果。
根据本公开的一个或更多个示例性实施例，一种操作用于搜索的系统的方法可包括：通过对输入的图像的分析来提取各种属性以进行初步数据分析，通过使用提取的所述各种属性来分析关于客户所请求的信息的类别的趋势，并将趋势分析存储为元数据；通过对存储的元数据进行结构化和存储来对存储的元数据编索引以使得元数据可被搜索；从可被搜索的元数据提取与客户所请求的信息的类别相匹配的趋势信息，并以预定格式提供提取的趋势信息。
提取各种属性并分析关于类别的趋势的步骤包括：通过对输入的图像的分析来提取各种属性；响应于提取了各种属性，分析关于类别的趋势，并将趋势分析提供为趋势信息。
分析关于类别的趋势并提供趋势分析的步骤包括：分析在任意时间段内类别的出现频率作为第一趋势信息；分析第一趋势信息的改变作为第二趋势信息；通过检测并跟踪类别的运动，将类别的移动线分析的结果提供为第三趋势信息。
提供移动线分析的结果的步骤可包括：通过对输入的图像进行与类别有关的运动检测和运动跟踪，产生移动线信息；去除移动线信息中的噪声；生成聚类，其中，每一个聚类由去除了噪声的相似移动线信息项形成；将通过使用聚类后的移动线信息项执行人工智能神经网络学习来对相似移动线信息项进行分组的结果提供为第三趋势信息。
提供移动线分析的结果的步骤可包括：通过进行与来自输入的图像的类别有关的运动检测和运动跟踪，产生移动线信息；去除移动线信息的噪声；选择包括在去除了噪声的移动线信息中的任意点；生成聚类，其中，每一个聚类由包括所述任意点的相似移动线信息项形成；计算从任意一个聚类点移动到另一聚类点的概率，并将所述概率提供为第三趋势信息。
如根据本公开的以上描述，搜索系统识别在数据中形成的内容，分析趋势，并将该趋势提供给客户。由此，客户可更直观地识别搜索结果。
附图说明
通过以下结合附图的示例性实施例的描述，这些和/或其它方面将变得清楚并更容易理解，其中：
图1是示出根据本公开的示例性实施例的搜索系统的结构的框图；
图2是在图1中示出的趋势分析引擎的详细框图；
图3A至图3C示出在搜索部中将类别分布分析结果提供给客户的示例性实施例；
图4A至图4C示出在搜索部中将类别分布分析结果提供给客户的示例性实施例；
图5是根据本公开的示例性实施例的图2中示出的类别移动线分析单元的详细框图；
图6A和图6B示出将图5中示出的类别移动线分析单元得到的类别移动线分析结果提供给客户的示例性实施例；
图7是根据本公开的另一示例性实施例的图2中示出的类别移动线分析单元的详细框图；
图8示出将图7中示出的类别移动线分析单元得到的类别移动线分析结果提供给客户的示例性实施例；
图9是根据本公开的示例性实施例的操作搜索系统的方法的流程图。
具体实施方式
由于本公开允许各种改变和多种实施例，因此具体的实施例将在附图中被示出并在书面描述中被详细地描述。然而，这并非意图将本公开限于特定的实践模式，将理解：没有脱离本公开的精神和技术范围的所有改变、等同物和替换均被包含在本公开中。在本公开的描述中，当认为现有技术的特定详细解释会不必要地模糊本公开的实质时，省略所述详细解释。
虽然诸如“第一”和“第二”等术语可用于描述各种组件，但所述元件应当不受以上术语限制。以上术语仅用于将一个组件与另一组件区分。
在本说明书中使用的术语仅用于描述具体的示例性实施例，并不意图限制本公开。除非上下文中具有明显不同的含义，否则以单数形式使用的表达包括复数形式的表达。在本说明书中，将理解：诸如“包括”或“具有”等的术语意图指示在说明书中公开的特征、数量、步骤、动作、组件、部件或上述项的组合的存在，并非意图排除可能存在或可添加一个或更多个其它特征、数量、步骤、动作、组件、部件或上述项的可能性。
本公开可按照功能块组件和各种处理步骤被描述。这样的功能块可通过许多被配置为执行指定功能的硬件和/或软件组件来实现。例如，本公开可采用各种集成电路组件(例如，存储器元件、处理元件、逻辑元件、查询表等)，其中，所述集成电路组件可在一个或更多个微处理器或其它控制装置的控制下实现多种功能。类似地，在本公开的元件使用软件编程或软件元素实现时，本公开可利用任意编程或脚本语言(诸如C、C++、JAVA、汇编程序等)使用各种算法来实现，其中，所述算法利用数据结构、对象、处理、例行程序或其它编程元素的任意组合来实现。功能方面可按照在一个或更多个处理器上执行的算法来实现。此外，本公开可采用许多用于电子配置、信号处理和/或控制、数据处理等的常规技术。词语“机制”和“元件”被宽泛地使用，并不限于机械的实施例或实体的实施例，但是可包括与处理器等结合的软件例行程序。
将在以下参照附图更详细地描述本公开的示例性实施例。不管附图号如何，那些相同或与之相应的组件被显现为相同的附图标号，并且多余的解释被省略。
图1是示出根据本公开的示例性实施例的搜索系统的结构的框图。参照图1，搜索系统包括初步数据分析部(P1)、索引部(P2)和搜索部(P3)。
初步数据分析部(P1)通过分析正被输入的图像来提取各种属性，使用图像分析结果来分析关于作为客户请求的信息的类别的趋势，并将趋势分析结果存储为元数据。初步数据分析部(P1)包括图像分析引擎100、趋势分析引擎200和第一存储单元300。
索引部(P2)存储图像分析结果，对存储的元数据进行结构化、组织化和存储，以便容易地搜索元数据。索引部(P2)包括第二存储单元400、索引引擎500和第三存储单元600。
搜索部(P3)从索引部(P2)提取与由客户输入的类别相匹配的趋势信息，并以预定格式提供趋势信息。搜索部(P3)包括：查询引擎700、搜索引擎800和浏览引擎900。
图像分析引擎100通过分析正被输入的图像数据来提取各种属性。正被输入的图像数据可以是从连接到搜索系统的相机(未示出)发送的图像数据、存储在连接到搜索系统的数字视频记录器(DVR)或网络视频记录器(NVR)中的图像数据、通过经由网络的各种路径(未示出)输入的图像数据等。
此外，图像分析引擎100可执行包括以下操作的图像分析：添加并移除图像中的对象、跟踪与由客户输入的预定图像相似的对象的图像、检测对象的运动和关闭图像。此外，图像分析引擎100可执行以下操作：检测背景区域、检测前景和对象、对对象计数、检测相机干扰以及检测人脸。此外，图像分析引擎可计算图像的亮度信息、颜色信息、纹理信息和形状信息。
此外，响应于执行图像分析的结果满足产生事件的条件，图像分析引擎100产生事件。所述事件可包括在系统中设置的事件，诸如，网络错误的发生、新相机的设置(未示出)等。此外，所述事件可包括由客户设置的事件，例如，在输入图像的情况下的对象的出现、由客户指定的对象的出现(例如，无法识别的人脸的出现)、屏幕颜色的改变、在设置的区域中运动的出现等，以及在声源的情况下的异常声源的出现(汽车轮胎的刹车声、玻璃破碎声、警报声、碰撞声等)、由客户指定的声源的出现(例如，男性尖叫、女性尖叫、孩童的哭声等)、等于阈值或比阈值大的语音的出现。图像分析引擎100的图像分析的结果被存储在索引部(P2)的第二存储单元400中。
趋势分析引擎200分析关于类别的趋势，其中，针对该趋势，图像分析引擎100将通过图像分析来提取关于各种属性的信息，并将分析的结果提供为趋势信息。类别可以是客户为了接收搜索结果而输入的搜索词的类型。图2是趋势分析引擎200的详细框图，并可包括类别分布分析单元210、类别改变分析单元220和类别移动线分析单元230。
参照图2，类别分布分析单元210分析在任意时间段内类别的出现频率作为第一趋势信息。为了快速地查找在任意时间段内类别的出现频率(也就是说，为了快速地计算出第一趋势信息元数据)，类别分布分析单元210执行累积散列。这指示在每个时间单位内输入的类别的出现频率包括直到上一个时间段之前的类别的出现频率之和。当Mn表示在时间n内类别的出现频率，Hn是实际输入的类别的出现频率时，得到以下等式1：
根据等式1，在任意时间间隔之间类别的出现频率之和是在两个时间点之间类别的出现频率之差。例如，响应于客户请求在时间间隔t2与时间间隔t1(t2>t1)之间类别的出现频率，通过以下等式2来获得在两个时间间隔之间的类别的出现频率(例如，Md表示在两个时间间隔之间类别的出现频率，Mt2表示在时间t2类别的出现频率，Mt1表示在时间t1类别的出现频率)：
Md＝Mt2-Mt1 (2)
通过对类别的出现频率的分布的分析，能够在不用直接访问第一存储单元300和不用进行线性计算的情况下对类别的出现频率的分布进行快速识别。
图3A和图3B示出经由浏览引擎900将第一趋势信息元数据提供给客户的示例性实施例，其中，在类别分布分析单元210中分析在任意的时间段内第一趋势信息元数据。
参照图3A，以输出屏幕格式提供第一趋势信息元数据，其中，在输出屏幕格式中在水平轴上指示上级类别，并且在垂直轴上通过视觉图形来表示包括在每个上级类别中的下级类别的出现频率。上级类别可包括作为图像分析的结果的对象、行为(例如，运动)、颜色、系统事件和用户事件(例如，客户事件)。针对上级类别“对象”,下级类别可包括车辆和人，针对上级类别“颜色”，下级类别可包括红色和蓝色。
图3B示出了在下级类别中选择任意一个类别并且提供该类别的详细信息的示例性实施例。在此示例性实施例中，当在下级类别中选择了车辆时，提供关于车辆的详细信息(诸如，出现的日期、车辆的类型、车辆的颜色、车辆的大小)。
图3C示出根据对滑动条340的操纵来显示各种上级类别和下级类别。
类别改变分析单元220分析在任意时间段内类别的出现频率作为第一趋势信息，并分析第一趋势信息的改变作为第二趋势信息。此外，类别改变分析单元220执行累积散列，以便快速地识别在任意时间间隔内(例如，按时间、按周、按月等)第二趋势信息元数据的改变。
图4A至图4C示出通过浏览引擎900的处理将第一趋势信息元数据的改变提供给客户的示例性实施例，其中，在类别改变分析单元220中分析第一趋势信息元数据在任意时间段内的改变。图4A示出按月为单位以热图(heat-map)格式显示第二趋势信息元数据的示例。热图是通过将表示热度的“热”与表示特定区域的示图的“图”组合而创造的词，可将由颜色表示的各种信息项以热分布的格式在视觉图形中输出。根据示例性实施例，可由红色表示类别出现频率高的区域，可由蓝色表示类别出现频率低的区域。
在图4B中，热图并非由一个屏幕形成而是由多个屏幕形成，并且向客户提供滑动条250以供客户任意地观看热图。通过以热图格式提供类别的出现频率的改变，客户可直观地识别类别的出现频率的改变。
图4C示出以图形格式显示关于时间单位的第二趋势元数据信息的示例。例如，在示例性实施例中，时间单位被设置为6AM、12PM、6PM和12AM。然而，示例性实施例不限于此，可使用各种时间单位设置。参照图4C，以视觉图形表示的图形格式来提供类别的出现频率关于设置时间的改变。由此，客户可直观地识别类别的出现频率的改变。
类别移动线分析单元230通过检测并跟踪类别的运动，提供类别的移动线分析作为第三趋势信息。图5是根据本公开的示例性实施例的类别移动线分析单元230的详细框图。参照图5，类别移动线分析单元230包括移动线信息产生单元231、噪声去除单元232、聚类单元233和分组单元234。
移动线信息产生单元231从正被输入的图像帧检测关于类别的运动，通过帧间的相似度来跟踪运动的轨迹，因此产生移动线信息。
噪声去除单元232去除噪声以对产生的移动线信息进行模式分析。
聚类单元233生成聚类，每一个聚类由去除了噪声的相似移动线信息项形成。为了生成相似移动线信息的聚类，聚类单元233应用主题建模算法，并通过主题建模算法产生移动线的空间概率模型。主题建模是一种自动生成建模的算法，该算法要求可通过词袋(bag-of-words)方法中的主题的概率分布来解释内容。通过此算法，获得文档主题概率分布。为了使用此算法，必须确定词汇的主题。可将词汇设为每个位置(x，y)或每个位置和方向。通过如此，虽然两个不同的移动线在屏幕上可具有相似的位置(x，y)，但是将突出显示两个不同的移动线在概率分布中具有不同内容的方面。
在预定主题建模算法中，没有提前确定主题的数量，通过测量数据的分布，可自动地确定数量。然而，该算法具有速度慢的缺点。在必须提前确定主题的数量的算法的情况下，比通过学习获得的多个适当主题更多的多个主题被使用。
分组单元234将相似移动线信息项分组后的结果提供为第三趋势信息，其中，通过使用聚类后的移动线信息项执行人工智能网络学习来对相似移动线信息项进行分组。主题建模将移动线表示为多个主题的分布。由此，彼此不同的移动线可通过概率分布的相似度被比较。然而，存在主题的数量没有最优化的可能性，并且由于主题建模的特性，相似移动线可能按照彼此不同的类别进行分布。也就是说，难以将直观的信息提供给客户。因此，在本示例性实施例中，通过将自组织映射图(SOM)应用到聚类结果来对通过主题建模的聚类的结果进行最优化。例如，SOM可以是由Kohonen开发的并且没有给出对象模式的无监督学习人工网络模型的类型。SOM是通过自动调整连接强度以使相似的输入模式进行聚类的特征映射的自组织方法。为什么通过将SOM应用到聚类结果来执行最优化的原因是SOM输出了保持拓扑特征不变的主题图。因此，客户可容易地识别在屏幕上存在多少种类型的代表性的移动线。
图6A和图6B示出通过浏览引擎900的处理将在类别移动线分析单元230中分析的第三趋势信息元数据提供给客户的示例性实施例。参照图6A，以输出屏幕格式提供第三趋势信息元数据。由第一区域260和第二区域270形成了输出屏幕。第一区域260显示图像中的移动线。第二区域270显示将相似移动线信息项分组后的主题图。响应于客户选择第二区域270中的任何一组(主题)，将与选择的组相应的移动线显示在第一区域260中。图6B示出客户选择了在第二区域270中的另一组(主题)并且将与选择的组相应的移动线显示在第一区域260中的示例。
图7是根据本公开的另一示例性实施例的图2中示出的类别移动线分析单元的详细框图。参照图7，类别移动线分析单元230包括移动线信息产生单元235、噪声去除单元236、点选择单元237、聚类单元238和移动概率计算单元239。
移动线信息产生单元235通过检测关于正被输入的图像帧的类别的运动并通过帧间的相似度跟踪轨迹，产生移动线信息。噪声去除单元236去除噪声以对产生的移动线信息进行模式分析。点选择单元237选择包括在去除了噪声的移动线信息中的任意点。例如，可选择这样的条件，该条件用于选择具有较大的方向改变的点。如另一示例，可选择开始点和结束点作为包括在移动线信息中的点，并且可选择具有较多方向改变的任意点。聚类单元238生成由包括以上点的相似移动线信息项形成的聚类。如以上示出的聚类单元238的详细解释，这里将省略如上的解释。移动概率计算单元239计算从任意一个聚类点移动到另一聚类点的概率，并将所述概率提供为第三趋势信息。
图8示出通过浏览引擎900的处理将在类别移动点分析单元230中分析的第三趋势信息元数据提供给客户的示例性实施例。参照图8，以输出屏幕格式提供第三趋势信息元数据，并且输出屏幕显示图像中的聚类点，并将从任意一点移动到另一点的概率显示为箭头。这里，移动概率的大小与箭头的大小成比例。
返回参照图1，第一存储单元300将从趋势分析引擎200提供的第一趋势信息到第三趋势信息存储为元数据。
响应于初步数据分析部(P1)的操作如此被完成，索引引擎500将存储在第一存储单元300中的元数据结构化并组织化，以便能够容易地搜索元数据，随后，将处理后的元数据存储在第三存储单元600中。第二存储单元400存储图像分析引擎100的图像分析结果。
响应于初步数据分析部(P1)和索引部(P2)的操作被完成，查询引擎700将通过客户输入的搜索词分类为类别。例如，查询引擎700可接收与来自客户的用于搜索趋势信息的搜索词，并将搜索词进行分类。搜索引擎800在第二存储单元400和第三存储单元600中搜索与分类后的类别相应的内容。浏览引擎900以预定格式向客户提供搜索引擎800的趋势信息的搜索结果。
如根据本公开的示例性实施例的以上描述，搜索系统识别在数据中形成的内容，分析趋势，并将该趋势提供给客户，从而取代了分析客户的要求并查找项目的现有技术处理。由此，客户可更直观地识别搜索结果。
图9是根据本公开的示例性实施例的操作搜索系统的方法的流程图。
初步数据分析部(P1)执行如下的操作S100：通过对正被输入的图像的分析来提取各种属性，使用图像分析结果来分析关于类别的趋势作为由客户请求的信息，并将趋势分析结果存储为元数据。
初步数据分析部(P1)通过对正被输入的图像的分析来提取各种属性值；分析类别的趋势，其中，针对该类别，通过图像分析提取各种属性信息；将分析结果提供为趋势信息。这里，类别可以是客户为了接收搜索结果而输入的搜索词的类型。此外，初步数据分析单元(P1)分析在任意时间段内类别的出现频率作为第一趋势信息，并以输出屏幕格式提供结果。在输出屏幕中，在水平轴上指示上级类别，并且在垂直轴上通过视觉图形来表示包括在每个上级类别中的下级类别的出现频率。初步数据分析部(P1)分析在任意时间段内类别的出现频率作为第一趋势信息，分析第一趋势信息的改变作为第二趋势分析信息，并按照预定时间单位以热图格式或以图形格式显示分析结果。此外，初步数据分析部(P1)通过对关于类别的移动的检测和跟踪提供类别的移动线分析结果作为第三趋势信息。
初步数据分析部(P1)的移动线分析结果包括两个示例性实施例。在第一示例性实施例中，从正被输入的图像帧中检测出与类别有关的运动，并通过帧间的相似度来跟踪轨迹，因此产生移动线信息。去除了产生的移动线信息中的噪声，并产生由去除了噪声的相似移动线信息项形成的聚类。随后，通过使用聚类后的移动线信息项执行人工智能神经网络学习来对相似移动线信息项进行分组，并提供分组后的结果作为第三趋势信息。这里，以由第一区域和第二区域形成的输出屏幕格式将第三趋势信息提供给客户，其中，第一区域显示图像中的移动线，第二区域显示将相似移动线信息项分组后的主题图。响应于客户选择第二区域中的任意一组(主题)，将与选择的组相应的移动线显示在第一区域中。
在另一示例性实施例中，通过从输入的图像帧检测与类别有关的运动来产生移动线信息，并通过图像帧之间的相似度来跟踪轨迹。去除了产生的移动线信息中的噪声。随后，选择包括在去除了噪声的移动线信息中的任意点。随后，将彼此相似的包括选择的点的移动线信息项进行聚类。计算从任意一个聚类点移动到另一聚类点的概率，并将所述概率提供为第三趋势信息。以输出屏幕格式将第三趋势信息提供给客户，并且输出屏幕显示图像中的聚类点，并将从任意一点移动到另一点的概率显示为箭头。移动概率的大小与箭头的大小成比例。
响应于初步数据分析部(P1)的操作被完成，在操作S200中索引部(P2)通过将元数据结构化(例如，增加结构和组织)并存储元数据，使得存储在初步数据分析部中的元数据能够被容易地搜索(P1)。
响应于初步数据分析部(P1)和索引部(P2)的操作被完成，在操作S300中搜索部(P3)将客户输入的搜索词分类为类别，在索引部(P2)搜索与分类后的类别相应的内容，并以预定格式向客户提供趋势信息的搜索结果。
本公开的其它示例性实施例也可通过介质(例如，计算机可读介质)中的计算机可读代码/指令被实现以控制至少一个处理元件实现任何上述的示例性实施例。所述介质可与允许计算机可读代码的存储和/或发送的任何介质相应。
计算机可读代码可以以各种方式被记录/发送到介质上，介质的示例包括记录介质(诸如磁存储介质(例如，ROM、软盘、硬盘等))、光学记录介质(例如，CD-ROM或DVD)和传输介质(诸如互联网传输介质)。因此，根据本公开的一个或更多个示例性实施例，介质可以是包括或携带信号或信息的这种被限定并可测量的结构，诸如携带比特流的装置。介质还可以是分布式网络，使得计算机可读代码以分布方式被存储或传输和执行。此外，用于实现本公开的功能程序、代码和代码段可容易地被本公开所属领域的程序员理解。
应理解，在此描述的示例性实施例应被认为仅是描述意义，而不是为了限制的目的。每个示例性实施例内的特征或方面的描述通常应被认为可用于其它实施例中的其它相似特征或方面。
虽然已经参照附图描述了本公开的一个或更多个实施例，但是本领域的普通技术人员将理解，在不脱离由权利要求书限定的本公开的精神和范围的情况下，可对其进行形式和细节上的各种改变。

Claims (19)

1.一种用于搜索的系统，包括：
初步数据分析部，被配置为分析输入的图像以提取各种属性，通过使用提取的所述各种属性来分析关于客户所请求的信息的类别的趋势，并将分析的趋势存储为元数据；
索引部，被配置为通过将元数据结构化并存储结构化后的元数据来使得元数据是可搜索的；
搜索部，被配置为从可搜索的元数据提取与客户所请求的信息的类别相匹配的趋势信息，并以预定格式提供所述趋势信息，
其中，初步数据分析部进一步被配置为：
分析在任意时间段内类别的出现频率作为第一趋势信息；
通过分析第一趋势信息的改变来提供第二趋势信息；
通过检测并跟踪类别的运动来将类别的移动线分析的结果提供为第三趋势信息。
2.如权利要求1所述的系统，其中，初步数据分析部包括：
图像分析引擎，被配置为分析输入的图像并提取所述各种属性；
趋势分析引擎，被配置为响应于属性信息被提取，分析关于客户所请求的信息的类别的趋势，并提供分析的趋势；
第一存储单元，被配置为将分析的趋势存储为元数据。
3.如权利要求2所述的系统，其中，趋势分析引擎包括：
出现频率分析单元，被配置为分析在所述任意时间段内类别的出现频率作为所述第一趋势信息；
改变分析单元，被配置为通过分析所述第一趋势信息的改变来提供所述第二趋势信息；
移动线分析单元，被配置为通过检测并跟踪所述类别的运动来将类别的移动线分析的结果提供为所述第三趋势信息。
4.如权利要求1所述的系统，其中，搜索部被配置为以输出屏幕格式来提供第一趋势信息的元数据，其中，所述输出屏幕格式包括一个轴上指示的上级类别和另一轴上的视觉图形，其中，所述视觉图形表示包括在每个上级类别中的下级类别的出现频率。
5.如权利要求4所述的系统，其中，响应于在下级类别之中选择了任意下级类别，选择的下级类别的详细信息被显示。
6.如权利要求1所述的系统，其中，搜索部被配置为以热图格式提供第二趋势信息的元数据，其中，在热图格式中，以热分布形式的视觉图形表示出现频率关于设置时间的改变。
7.如权利要求1所述的系统，其中，搜索部被配置为以图形格式提供从第一趋势信息改变到第二趋势信息的元数据，其中，在图形格式中，以视觉图形表示出现频率关于设置时间的改变。
8.如权利要求3所述的系统，其中，移动线分析单元包括：
移动线信息产生单元，被配置为通过进行与来自输入的图像的类别有关的运动检测和运动跟踪，产生移动线信息；
噪声去除单元，被配置为去除移动线信息的噪声；
聚类单元，被配置为生成聚类，其中，每一个聚类由去除了噪声的相似移动线信息项形成；
分组单元，被配置为将对相似移动线信息项进行分组的结果提供为第三趋势信息，其中，通过使用聚类后的移动线信息项执行人工智能神经网络学习来对相似移动线信息项进行分组。
9.如权利要求8所述的系统，其中，搜索部被配置为以由第一区域和第二区域形成的输出屏幕格式来提供从索引部得到的第三趋势信息的元数据，其中，图像中的移动线被显示在第一区域中，通过执行人工智能神经网络学习对相似移动线信息项进行分组的结果作为自组织映射图被显示在第二区域中。
10.如权利要求9所述的系统，其中，响应于在第二区域中选择了任意一组，与选择的组相应的移动线被显示在第一区域中。
11.如权利要求3所述的系统，其中，移动线分析单元包括：
移动线信息产生单元，被配置为通过进行与来自输入的图像的类别有关的运动检测和运动跟踪，产生移动线信息；
噪声去除单元，被配置为去除移动线信息的噪声；
点选择单元，被配置为选择包括在去除了噪声的移动线信息中的任意点；
聚类单元，被配置为生成聚类，其中，每一个聚类由包括所述任意点的相似移动线信息项形成；
移动概率计算单元，被配置为计算从任意一个聚类点移动到另一聚类点的概率，并将所述概率提供为第三趋势信息。
12.如权利要求11所述的系统，其中，从索引部得到的第三趋势信息的元数据以输出屏幕格式被提供，其中，在所述输出屏幕格式中，图像中的聚类点被显示，并且从任意一个聚类点移动到另一聚类点的所述概率被表示为箭头。
13.如权利要求12所述的系统，移动的所述概率的大小与箭头的大小成比例。
14.如权利要求2所述的系统，其中，索引部包括：
第二存储单元，被配置为存储图像分析引擎的输出；
索引引擎，被配置为对存储在第一存储单元中的元数据进行结构化和组织化，以使得元数据是可搜索的；
第三存储单元，被配置为存储来自索引引擎的可搜索的元数据。
15.如权利要求14所述的系统，其中，索引部包括：
查询引擎，被配置为将从客户输入的搜索词分类为类别；
搜索引擎，被配置为在第二存储单元和第三存储单元中搜索与分类后的类别相应的趋势信息；
浏览引擎，被配置为以预定格式提供搜索引擎对趋势信息的搜索结果。
16.一种操作用于搜索的系统的方法，所述方法包括如下步骤：
通过分析输入的图像来提取各种属性以进行初步数据分析；
通过使用提取的所述各种属性来分析关于客户所请求的信息的类别的趋势；
将分析的趋势存储为元数据；
通过对存储的元数据进行结构化和存储来对存储的元数据编索引以使得元数据是可搜索的；
从可搜索的元数据提取与客户所请求的信息的类别相匹配的趋势信息，并以预定格式提供提取的趋势信息，
其中，通过使用提取的所述各种属性来分析关于客户所请求的信息的类别的趋势的步骤包括如下步骤：
分析在任意时间段内类别的出现频率作为第一趋势信息；
分析第一趋势信息的改变作为第二趋势信息；
通过检测并跟踪类别的运动，将类别的移动线分析的结果提供为第三趋势信息。
17.如权利要求16所述的方法，其中，通过使用提取的所述各种属性来分析关于客户所请求的信息的类别的趋势的步骤还包括如下步骤：
响应于提取出所述各种属性，分析关于类别的趋势并将分析的趋势提供为趋势信息。
18.如权利要求16所述的方法，其中，提供移动线分析的结果的步骤包括：
通过进行与来自输入的图像的类别有关的运动检测和运动跟踪，产生移动线信息；
去除移动线信息的噪声；
生成聚类，其中，每一个聚类由去除了噪声的相似移动线信息项形成；
将对相似移动线信息项进行分组的结果提供为第三趋势信息，其中，通过使用聚类后的移动线信息项执行人工智能神经网络学习来对相似移动线信息项进行分组。
19.如权利要求16所述的方法，其中，提供移动线分析的结果的步骤包括：
通过进行与来自输入的图像的类别有关的运动检测和运动跟踪，产生移动线信息；
去除移动线信息的噪声；
选择包括在去除了噪声的移动线信息中的任意点；
生成聚类，其中，每一个聚类由包括所述任意点的相似移动线信息项形成；
计算从任意一个聚类点移动到另一聚类点的概率，并将所述概率提供为第三趋势信息。
CN201410583993.XA 2013-10-25 2014-10-27 用于搜索的系统和操作所述系统的方法 Active CN104572806B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130128036A KR102016545B1 (ko) 2013-10-25 2013-10-25 검색 시스템 및 그의 동작 방법
KR10-2013-0128036 2013-10-25

Publications (2)

Publication Number Publication Date
CN104572806A CN104572806A (zh) 2015-04-29
CN104572806B true CN104572806B (zh) 2019-09-13

Family

ID=52995542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410583993.XA Active CN104572806B (zh) 2013-10-25 2014-10-27 用于搜索的系统和操作所述系统的方法

Country Status (3)

Country Link
US (1) US9858297B2 (zh)
KR (1) KR102016545B1 (zh)
CN (1) CN104572806B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11004139B2 (en) 2014-03-31 2021-05-11 Monticello Enterprises LLC System and method for providing simplified in store purchases and in-app purchases using a use-interface-based payment API
US10511580B2 (en) 2014-03-31 2019-12-17 Monticello Enterprises LLC System and method for providing a social media shopping experience
US11080777B2 (en) 2014-03-31 2021-08-03 Monticello Enterprises LLC System and method for providing a social media shopping experience
CN105335472B (zh) * 2015-09-30 2019-03-26 北京京东尚科信息技术有限公司 一种更新数据查询引擎配置列表的方法及装置
JP6558579B2 (ja) * 2015-12-24 2019-08-14 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
CN106909642B (zh) * 2017-02-20 2020-06-12 中国银行股份有限公司 数据库索引方法及系统
US10740620B2 (en) 2017-10-12 2020-08-11 Google Llc Generating a video segment of an action from a video

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101901246A (zh) * 2009-05-28 2010-12-01 株式会社东芝 邻元素搜索设备

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5903454A (en) * 1991-12-23 1999-05-11 Hoffberg; Linda Irene Human-factored interface corporating adaptive pattern recognition based controller apparatus
JP3525948B2 (ja) 1994-05-31 2004-05-10 富士通株式会社 情報検索装置
US5969755A (en) * 1996-02-05 1999-10-19 Texas Instruments Incorporated Motion based event detection system and method
US6731788B1 (en) * 1999-01-28 2004-05-04 Koninklijke Philips Electronics N.V. Symbol Classification with shape features applied to neural network
US6625311B1 (en) * 1999-04-09 2003-09-23 The Board Of Regents Of The University Of Nebraska Methodology for data structure characterization, indexing, storage and retrieval
US6611609B1 (en) * 1999-04-09 2003-08-26 The Board Of Regents Of The University Of Nebraska Method of tracking changes in a multi-dimensional data structure
US6785410B2 (en) * 1999-08-09 2004-08-31 Wake Forest University Health Sciences Image reporting method and system
JP3895892B2 (ja) * 1999-09-22 2007-03-22 株式会社東芝 マルチメディア情報収集管理装置およびプログラムを格納した記憶媒体
KR100547317B1 (ko) * 2000-07-14 2006-01-26 엘지전자 주식회사 인덱스 정보의 추출과 검색이 동시에 가능한 녹화/재생장치
US20120150888A1 (en) * 2003-09-10 2012-06-14 Geoffrey Hyatt Method and system for relationship management and intelligent agent
US7240049B2 (en) 2003-11-12 2007-07-03 Yahoo! Inc. Systems and methods for search query processing using trend analysis
WO2006088914A1 (en) * 2005-02-14 2006-08-24 Inboxer, Inc. Statistical categorization of electronic messages based on an analysis of accompanying images
TW200734931A (en) * 2006-03-08 2007-09-16 Sunplus Technology Co Ltd System and method for applying universal information code to handheld wireless communication device to read data
JP4541316B2 (ja) 2006-04-06 2010-09-08 三菱電機株式会社 映像監視検索システム
US8589973B2 (en) * 2006-09-14 2013-11-19 At&T Intellectual Property I, L.P. Peer to peer media distribution system and method
US20080133697A1 (en) * 2006-12-05 2008-06-05 Palm, Inc. Auto-blog from a mobile device
US8583637B2 (en) * 2007-03-21 2013-11-12 Ricoh Co., Ltd. Coarse-to-fine navigation through paginated documents retrieved by a text search engine
US20090217315A1 (en) * 2008-02-26 2009-08-27 Cognovision Solutions Inc. Method and system for audience measurement and targeting media
US8189905B2 (en) * 2007-07-11 2012-05-29 Behavioral Recognition Systems, Inc. Cognitive model for a machine-learning engine in a video analysis system
JP4960796B2 (ja) * 2007-08-03 2012-06-27 キヤノン株式会社 画像処理装置、画像処理方法ならびにそのプログラム及び記憶媒体
US8126197B2 (en) * 2007-11-29 2012-02-28 Certifi-Media Inc. Method for image quality assessment using quality vectors
US8862582B2 (en) * 2007-11-15 2014-10-14 At&T Intellectual Property I, L.P. System and method of organizing images
US8310542B2 (en) * 2007-11-28 2012-11-13 Fuji Xerox Co., Ltd. Segmenting time based on the geographic distribution of activity in sensor data
US8599203B2 (en) * 2007-12-20 2013-12-03 Yahoo! Inc. Systems and methods for presenting visualizations of media access patterns
KR101249737B1 (ko) * 2008-12-03 2013-04-03 한국전자통신연구원 움직이는 카메라 환경에서의 물체 추적 장치 및 그 방법
US9075897B2 (en) * 2009-05-08 2015-07-07 Dolby Laboratories Licensing Corporation Storing and searching fingerprints derived from media content based on a classification of the media content
US9443245B2 (en) * 2009-09-29 2016-09-13 Microsoft Technology Licensing, Llc Opinion search engine
JP5511450B2 (ja) * 2010-03-16 2014-06-04 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US8532981B2 (en) * 2011-03-21 2013-09-10 Xerox Corporation Corpus-based system and method for acquiring polar adjectives
KR101214858B1 (ko) * 2011-04-13 2012-12-24 서강대학교산학협력단 클러스터링 기법을 이용한 이동물체 검출장치 및 방법
JP5547139B2 (ja) * 2011-07-29 2014-07-09 株式会社東芝 認識装置、方法及びプログラム
JP2013097700A (ja) * 2011-11-04 2013-05-20 Sony Corp 情報処理装置、情報処理方法及びプログラム
KR101363374B1 (ko) 2011-11-30 2014-02-14 이병선 개체별다중구성요소분석을 이용한 내용기반 다차원이미지검색시스템
US8600796B1 (en) * 2012-01-30 2013-12-03 Bazaarvoice, Inc. System, method and computer program product for identifying products associated with polarized sentiments
US8818788B1 (en) * 2012-02-01 2014-08-26 Bazaarvoice, Inc. System, method and computer program product for identifying words within collection of text applicable to specific sentiment
CN106859578B (zh) * 2012-03-08 2018-11-20 奥林巴斯株式会社 图像处理装置和图像处理方法
US9373033B2 (en) * 2012-03-13 2016-06-21 Massachusetts Institute Of Technology Assisted surveillance of vehicles-of-interest
US20130300750A1 (en) * 2012-05-10 2013-11-14 Nokia Corporation Method, apparatus and computer program product for generating animated images
US9177554B2 (en) * 2013-02-04 2015-11-03 International Business Machines Corporation Time-based sentiment analysis for product and service features
US9411831B2 (en) * 2013-03-01 2016-08-09 Facebook, Inc. Photo clustering into moments
US9152870B2 (en) * 2013-03-15 2015-10-06 Sri International Computer vision as a service
CN105393281B (zh) * 2013-08-02 2018-02-13 三菱电机株式会社 手势判定装置和方法、手势操作装置
US9430990B2 (en) * 2013-08-30 2016-08-30 International Business Machines Corporation Presenting a data in a graphical overlay
KR102015954B1 (ko) * 2014-03-21 2019-08-29 한화테크윈 주식회사 영상 처리 시스템 및 영상 처리 방법
US9779331B2 (en) * 2014-04-24 2017-10-03 Conduent Business Services, Llc Method and system for partial occlusion handling in vehicle tracking using deformable parts model
US9934453B2 (en) * 2014-06-19 2018-04-03 Bae Systems Information And Electronic Systems Integration Inc. Multi-source multi-modal activity recognition in aerial video surveillance
EP3164987B1 (en) * 2014-07-01 2024-01-03 Apple Inc. Mobile camera system
US10338191B2 (en) * 2014-10-30 2019-07-02 Bastille Networks, Inc. Sensor mesh and signal transmission architectures for electromagnetic signature analysis
US9591349B2 (en) * 2014-12-23 2017-03-07 Intel Corporation Interactive binocular video display
WO2017106846A2 (en) * 2015-12-18 2017-06-22 Iris Automation, Inc. Real-time visual situational awareness system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101901246A (zh) * 2009-05-28 2010-12-01 株式会社东芝 邻元素搜索设备

Also Published As

Publication number Publication date
CN104572806A (zh) 2015-04-29
KR20150047941A (ko) 2015-05-06
US9858297B2 (en) 2018-01-02
KR102016545B1 (ko) 2019-10-21
US20150117759A1 (en) 2015-04-30

Similar Documents

Publication Publication Date Title
CN104572806B (zh) 用于搜索的系统和操作所述系统的方法
CN104636413B (zh) 视频搜索系统和方法
Min et al. Adversarial background-aware loss for weakly-supervised temporal activity localization
JP6607271B2 (ja) 顕著フラグメントへのビデオストリームの分解
Ballan et al. Event detection and recognition for semantic annotation of video
KR102015954B1 (ko) 영상 처리 시스템 및 영상 처리 방법
CN105229573B (zh) 在增强现实系统中动态保留情景要素
CN101772782B (zh) 类似图像检索的结果显示装置及类似图像检索的结果显示方法
Höferlin et al. Uncertainty-aware video visual analytics of tracked moving objects
Soran et al. Action recognition in the presence of one egocentric and multiple static cameras
US20210081676A1 (en) Method for generating video synopsis through scene understanding and system therefor
KR102028930B1 (ko) 움직임 정보를 이용한 인공지능 학습기반의 이동객체 영상 분류처리 방법
Şaykol et al. Scenario-based query processing for video-surveillance archives
Shin et al. CCTV image sequence generation and modeling method for video anomaly detection using generative adversarial network
Patel et al. Video representation and suspicious event detection using semantic technologies
Hou et al. End-to-end bloody video recognition by audio-visual feature fusion
Saravanan et al. A review on content based video retrieval, classification and summarization
Ly et al. Specific behavior recognition based on behavior ontology
Velipasalar et al. Detection of user-defined, semantically high-level, composite events, and retrieval of event queries
Wang et al. Spatio-Temporal United Memory for Video Anomaly Detection
Monteiro et al. Modelling a Framework to Obtain Violence Detection with Spatial-Temporal Action Localization
Kardaş et al. Learning complex event models using markov logic networks
Shapovalova et al. Semantics of human behavior in image sequences
Prichko et al. The Application of Artificial Intelligence for the Identification of Relevant Forensic Information Among Video Surveillance System Data
Pusiol Discovery of human activities in video

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Gyeongnam Changwon City, South Korea

Applicant after: HANWHA TECHWIN Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Applicant before: Samsung Techwin Co.,Ltd.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: SAMSUNG TAI KEWEI CO., LTD. TO: HANWHA TECHWIN CO., LTD.

Free format text: CORRECT: ADDRESS; FROM:

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Gyeongnam Changwon City, South Korea

Applicant after: HANWHA AEROSPACE Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Applicant before: HANWHA TECHWIN Co.,Ltd.

TA01 Transfer of patent application right

Effective date of registration: 20190306

Address after: Gyeonggi Do city of South Korea

Applicant after: HANWHA TECHWIN Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Applicant before: HANWHA AEROSPACE Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Gyeonggi Do city of South Korea

Patentee after: Hanhua Vision Co.,Ltd.

Address before: Gyeonggi Do city of South Korea

Patentee before: HANWHA TECHWIN Co.,Ltd.

CP01 Change in the name or title of a patent holder