CN105677694B - 支持智能搜索的视频记录设备及智能搜索方法 - Google Patents

支持智能搜索的视频记录设备及智能搜索方法 Download PDF

Info

Publication number
CN105677694B
CN105677694B CN201510623168.2A CN201510623168A CN105677694B CN 105677694 B CN105677694 B CN 105677694B CN 201510623168 A CN201510623168 A CN 201510623168A CN 105677694 B CN105677694 B CN 105677694B
Authority
CN
China
Prior art keywords
color
search
video recording
event
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510623168.2A
Other languages
English (en)
Other versions
CN105677694A (zh
Inventor
赵成峯
崔汉基
任镇秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanhua Vision Co ltd
Original Assignee
Hanwha Techwin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hanwha Techwin Co Ltd filed Critical Hanwha Techwin Co Ltd
Publication of CN105677694A publication Critical patent/CN105677694A/zh
Application granted granted Critical
Publication of CN105677694B publication Critical patent/CN105677694B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/785—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/22—Means responsive to presence or absence of recorded information signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4435—Memory management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

一种支持智能搜索的视频记录设备及智能搜索方法，所述视频记录设备包括：对象分类器，被配置为根据对象的类型将包括在输入视频中的并与检测到的事件相关的对象进行分类；对象颜色提取器，被配置为提取所述对象的代表颜色；搜索颜色存储器，被配置为将代表颜色转换为搜索颜色并将搜索颜色存储为将被用于从输入视频搜索对象或检测到的事件的颜色信息。

Description

支持智能搜索的视频记录设备及智能搜索方法
本申请要求于2014年12月5日提交到韩国知识产权局的第10-2014-0174254号韩国专利申请的优先权，所述韩国专利申请的公开通过引用完整地包含于此。
技术领域
与示例性实施例相一致的设备和方法涉及一种能够支持基于对象的元数据信息(诸如颜色、信息等)的搜索的视频记录设备。
背景技术
虽然通过闭路电视(CCTV)捕捉的视频非常有助于防止犯罪、侦察嫌疑人、识别事故肇事者等，但是从记录的视频中查找关于特定的事故的视频并不容易。此外，对于仅一人而言彻底地实时监视从多个CCTV发送的所有视频是困难的。
此外，当通过根据现有技术的视频记录设备执行运动检测时，即使重复性的无意义的运动(诸如树上树叶的摇摆)也作为事件被记录。即，因为关于不期望事件的信息被错误地检测，所以要搜索的信息量很大并且检测期望的事件很困难。
发明内容
本发明构思的示例性实施例意在提取关于接收到的输入视频的发生事件的区域的颜色信息并使用颜色信息来搜索该事件或与该事件相关的对象的功能。
示例性实施例意在分析对象的模式并提取代表颜色作为关于对象的附加信息，针对所述对象检测事件以确定该对象是人、车辆还是动物。因为所述对象实际上包括各种颜色，所以运动中的该对象的代表颜色被提取。随后，提取的代表颜色被转换为用于搜索的颜色以用于搜索，并在视频记录设备上记录关于用于搜索的颜色的信息。
本发明构思的各种方面将会部分地在以下描述中阐明，并将会部分地从描述中是清楚的，或者可以通过呈现的实施例的实践而领会。
根据一个或更多个示例性实施例，提供了一种视频记录设备，所述视频记录设备可包括：对象分类器，被配置为根据对象类型将包括在输入视频中的并且与检测到的事件相关的对象进行分类；对象颜色提取器，被配置为提取对象的代表颜色；搜索颜色存储器，被配置为将代表颜色转换为搜索颜色并且将搜索颜色存储为将被用于从输入视频搜索对象或检测到的事件的颜色信息。
视频记录设备还可包括：事件信息存储器，被配置为存储关于以下各项中的至少一项的信息：发生事件的输入视频的区域、发生事件的时间点、事件的敏感度、以及在发生事件的区域中检测到的对象的属性，其中，关于所述属性的信息包括对象的标识、尺寸和位置。
视频记录设备可支持或提供被配置为接收基于搜索颜色搜索对象或事件的输入的搜索界面。
视频记录设备还可包括：元数据存储器，被配置为存储预定数量的块中的每块的关于以下各项中的至少一项的信息：对象的属性、代表颜色和搜索颜色。
搜索颜色存储器可被配置为在多个预定的颜色中选择红、绿和蓝(RGB)值与代表颜色的RGB值之间的差最小的颜色作为搜索颜色。
搜索颜色存储器还可被配置为基于组成输入视频的每个图像帧的块的数量、与检测到的事件相关的对象的类型、以及从中选择搜索颜色的预定的颜色的数量从输入视频产生数据结构。
根据一个或更多个示例性实施例，提供了一种由视频记录设备执行的智能搜索方法。所述方法可包括：由对象分类器根据对象的类型对包括在输入视频中的并且与检测到的事件相关的对象进行分类；由对象颜色提取器提取对象的代表颜色；由搜索颜色存储器将代表颜色转换为搜索颜色并将搜索颜色存储为将被用于从输入视频搜索对象或检测到的事件的颜色信息。
附图说明
这些和/或其它方面将通过以下结合附图对实施例的描述变得清楚和更容易理解，在附图中：
图1是根据示例性实施例的视频记录设备的框图；
图2示出根据示例性实施例的由视频记录设备接收的输入视频；
图3示出根据示例性实施例的从由视频记录设备接收的输入视频检测到的事件；
图4A至图4E示出根据示例性实施例的由视频记录设备执行的显示发生对象的事件的区域和关于对象的颜色信息的方法；
图5和图6示出根据示例性实施例的由视频记录设备执行的提取代表颜色的方法；
图7是示出根据示例性实施例的由搜索颜色存储器使用的包含10个搜索颜色的搜索颜色表的示图；
图8是示出根据示例性实施例的存储与在时间段T0至TN中检测到的事件相关的对象的元数据的方法的示图；
图9是示出根据示例性实施例的在与在时间段T0至TN中检测到的事件相关的对象的元数据中所包括的搜索颜色数据的示图；
图10是根据示例性实施例的由视频记录设备执行的智能搜索方法的流程图。
具体实施方式
现在将对实施例作详细描述，这些实施例的示例在附图中被示出，其中，相同的标号始终表示相同的元件。在这点上，本实施例可具有不同的形式并且不应解释为限于这里阐明的描述。因此，以下仅通过参照附图描述示例性实施例，以解释本发明的多个方面。如在这里使用的，当诸如“中的至少一个”的表达在一列元素之后时，修饰整列元素，而不是修饰列的单个元件。
图1是根据示例性实施例的视频记录设备100的框图。
视频记录设备100包括对象分类器110、对象颜色提取器120以及搜索颜色存储器130。视频记录设备100还可包括元数据存储器140。
根据示例性实施例，视频记录设备100接收并解码从网络相机发送的视频，并且从解码的视频中提取检测到事件的区域。在提取的区域中检测到的对象根据对象是车辆、人还是动物被分类。此外，检测到的对象的代表颜色被提取，并且提取的代表颜色被转换为搜索颜色并被储存。
视频记录设备100提供、支持或包括用于基于搜索颜色和各种对象信息中的至少一个搜索对象的搜索界面。搜索界面可被配置为通过另外设置事件的敏感度、关于发生事件的时间点的时间信息和关于发生事件的区域的区域信息中的至少一个来执行搜索。
视频记录设备100的示例包括数字视频录像机(DVR)、网络视频录像机(NVR)、视频录像机、手持装置、移动电话、智能电话、智能手表、平板个人电脑(PC)等。
根据示例性实施例，视频记录设备100可以以有线和/或无线方式建立与网络相机、视频处理装置、视频录像机等中的至少一个的通信，并提供在处理接收到的输入视频的期间产生的运动事件信息。
视频记录设备100可接收将被用于视频分析的视频流，执行诸如对视频流解码的视频处理，并存储输入视频。随后，例如，约为每秒10帧(FPS)的视频流从存储的输入视频中被提取，并被缩小到适合于视频分析的尺寸。适合于视频分析的尺寸可以是4:3比率的640×480像素、16:9比率的640×350像素等。
视频记录设备100从缩小的视频中检测诸如运动的事件，其中，对所述缩小的视频执行如上所述的视频处理。在缩小的视频中，关于与检测的事件相关的对象的对象信息包括关于对象的属性信息(诸如类型、尺寸、表示对象是在视频中新出现的还是在先前视频中已经出现的对象标识(ID)等)。根据示例性实施例，新的对象ID被分配给新检测到的对象。
对象分类器110分析在由视频记录设备100接收的输入视频中与检测的事件相关的对象的模式。基于对象的模式，对象被分类为人、车辆、动物、树木、物品等。
对象颜色提取器120从由对象分类器110分类的对象提取代表颜色。对象颜色提取器120可以以各种方式提取代表颜色。
根据示例性实施例，对象颜色提取器120可使用图5的直方图来提取代表颜色。直方图基于检测到的对象的每个像素的颜色产生，最大数量的像素的颜色(参见图5的标号510)被选择为代表颜色。
根据另一示例性实施例，对象颜色提取器120基于检测到的对象的代表像素的颜色提取代表颜色。在这种情况下，检测到的对象的代表像素可通过选择检测到的对象的角落像素、检测到的对象的中心像素、与检测到的对象的中心隔开预定距离的像素中的至少一个来确定。
此外，特定像素可根据用户的选择被选择为代表像素。例如，对象的角落像素和中心像素可被选择为代表像素，并且代表颜色可从代表像素中被提取。根据另一示例性实施例，出现在对象的中心区域的像素和在距对象的中心区域预定距离内的像素可被选择为代表像素，并且代表颜色可从这些像素中被提取。
根据另一示例性实施例，对象颜色提取器120可以根据对象的尺寸选择性地使用提取代表颜色的方法。
根据示例性实施例，当对象的尺寸小于或等于预定尺寸时，对象颜色提取器120可产生对象的所有像素的直方图，并且将最大数量的像素的颜色选择为代表颜色。
根据另一示例性实施例，当在输入视频中检测到的对象的尺寸等于或大于预定尺寸时，对象颜色提取器120可基于对象的代表像素的颜色选择代表颜色，或者通过使用直方图和线性采样方法提取代表颜色。
参照图6，对象颜色提取器120通过仅对输入视频600的线条S610、S620、S630……、S680、……中的线条S610、S630和S670进行采样来产生直方图并从直方图提取代表颜色。
根据另一示例性实施例，对象颜色提取器120可根据对象的类型选择性地使用提取代表颜色的方法。
当对象是车辆时，对象颜色提取器120可根据线采样方法提取代表颜色，当对象是人时，对象颜色提取器120可基于在对象的面部、头部、眼睛、鼻子、嘴或者可识别的特征点的预定距离内的代表像素的颜色通过提取对象的皮肤的颜色或对象穿戴的上装或下装的颜色来提取代表颜色。
根据示例性实施例，对象颜色提取器120以24比特RGB值显示提取的代表颜色。24比特RGB值可包括用于红色的8比特、用于绿色的8比特和用于蓝色的8比特，并且可被用来表示16581375(＝255×255×255)种颜色。
然而，视频记录设备100能够检测的颜色是有限的。因此，根据示例性实施例，对象颜色提取器120可将以RGB值显示的代表颜色转换为与从视频记录设备100提供的用于搜索的颜色最接近的颜色。
参照图7，视频记录设备100在搜索颜色存储器130中预先设置将被用于搜索的颜色表，并使用颜色表进行搜索。
由对象颜色提取器120提取的代表颜色被转换为包括在颜色表中的用于搜索的预置颜色中的一个颜色。在这种情况下，搜索颜色存储器130在视频记录设备100中预先设置的颜色表(参见图7的颜色表)所包括的颜色中选择RGB值与代表颜色的RGB值之间的差最小的颜色作为用于搜索的颜色。
根据示例性实施例，视频记录设备100还可包括元数据存储器140或者事件信息存储器(未示出)。例如，元数据存储器140被配置为存储与组成输入视频的图像帧的多个块中的每个块彼此关联的关于与检测到的事件相关的对象的用于搜索的颜色信息和对象信息。
事件信息存储器被配置为存储以下信息中的至少一项：关于发生事件的输入视频的区域的区域信息；关于发生事件的时间点的时间信息；关于事件的敏感度的信息；以及关于在发生事件的区域中检测到的对象的对象信息。在这种情况下，对象信息包括关于检测到的对象的ID信息、尺寸信息和位置信息。
图2示出根据示例性实施例的由视频记录设备接收的输入视频。图3示出根据示例性实施例的从由视频记录设备接收的输入视频检测到的事件。
参照图2和图3，视频记录设备提取对象310、320、330、340、350和360，从接收的输入视频检测所述对象的运动。随后，提取的对象310、320、330、340、350和360可根据它们的类型被分类。在图3的示例性实施例中，在输入视频中检测到运动的对象310、320、330、340、350和360中，对象340和350被分类为人，对象310、320、330和360被分类为车辆。
此外，图1的元数据存储器140或者事件存储器被配置为存储检测到运动的对象的ID信息、尺寸信息、颜色信息等。
参照图3，当6个运动中的对象被检测到时，图1的元数据存储器140或者事件存储器将ID信息分配给各个检测到的对象。
例如，ID信息ID#1可被分配给作为汽车的对象310，并被存储为与以下项相关联：作为关于ID信息“ID#1”的对象位置信息的左-上：3×10和右-下：5×14；作为对象尺寸的宽：2和高：4；作为对象颜色信息的黄：RGB 153、24、81，黑：RGB 35、36、33和灰：RGB 64、67、66。
被分配ID信息“ID#1”的车辆可具有多条颜色信息。根据示例性实施例，通过在多条颜色信息中提取代表颜色信息来提取代表颜色，并且基于提取的代表颜色来提取用于搜索的颜色信息。例如，被分配ID信息“ID#1”的车辆的代表颜色可以是黄色，可通过将代表颜色转换为用于搜索的颜色来提取与图7的参考标号“705”相应的颜色。
当被分配ID信息“ID#1”的车辆和运动事件被检测到时，元数据存储器140存储以下信息中的至少一项以使它们彼此相关联：对象位置信息、对象尺寸信息、对象颜色信息、代表颜色信息、用于搜索的颜色信息。此外，元数据存储器140可被配置为存储以下信息中的至少一项以使它们彼此相关联：与检测到的事件相关的对象的ID数、位置信息、尺寸信息、颜色信息、代表颜色信息、用于搜索的颜色信息。
图4A至图4E示出根据示例性实施例的由视频记录设备执行的显示对象的事件发生的区域和关于对象的颜色信息的方法。
参照图3和图7，在由视频记录设备接收的输入视频中在时间点T1检测到的对象310、320、330、340、350和360被分类为人(对象340和350)和车辆(对象310、320、330和360)。
如图7中所示，假设在视频记录设备中预先设置的搜索颜色表中提供的颜色包括黑色701、灰色702、红色703、鲜红色704、黄色705、绿色706、蓝色707、深蓝色708、紫色709和白色710。根据示例性实施例，当视频记录设备产生由16×16的块形成的输入视频时，在输入视频的块中可以显示对象是否存在。此外，在输入视频的块中可以显示用于搜索的颜色。
根据示例性实施例，视频记录设备可具有以下数据结构：组成输入视频的图像帧的块的数量×包括在从视频记录设备提供的用于搜索的颜色表中的颜色的数量×对象类型的数量。根据示例性实施例，该数据结构可通过搜索颜色存储器130被产生。
例如，组成输入视频的图像帧的块的数量可以是16×16，从视频记录设备提供的搜索颜色表的颜色的数量可以是10个(如在图7的示例性实施例中所示)，对象的类型可以是两种，即人和车辆(如上参照图3所述)。
在这种情况下，视频记录设备可具有(([16]×[16])×10×2)的数据结构。视频记录设备针对作为人的对象340和350(见图3)产生显示包括黑色701、灰色702、红色703、鲜红色704、黄色705、绿色706、蓝色707、深蓝色708、紫色709和白色710的十种颜色的块，并针对作为车辆的对象310、320、330和360(见图3)产生显示包括白色710、黑色701、红色703、黄色705和蓝色707的五种颜色的块。
根据示例性实施例，如图4A、4B和4C中所示，当黄色、绿色和白色车辆的事件在时间点T0被检测到时，视频记录设备在与对象(即车辆)被检测到的区域相应的块上显示检测用于搜索的颜色的频率，并将关于未被检测到的用于搜索的其它颜色的信息显示为“0”。
参照图3和图4A，如图4A中所示，当用于搜索作为在时间点T0检测到的第一车辆的对象310的颜色是黄色时，检测用于搜索的颜色的频率可被显示在与检测到对象310的区域相应的块上。之后，当在时间点T1在相同区域再次检测到黄色时，显示在块上的检测用于搜索的颜色的频率改变为“2”。这里，“2”表示两个黄色车辆被检测到。
根据示例性实施例，发生在预定的时间段T0至TN中的事件的数量可如上所述被检测。此外，可基于事件的数量形成命中地图。此外，检测特定颜色的频率可被搜索。
图4B示出当用于搜索作为在时间点T0检测到的第二车辆的对象320和第三车辆的对象330的颜色是绿色时，存储在视频记录设备的元数据存储器中的与输入视频的输入帧的16×16的块相应的数据结构的示例。
图4C示出当用于搜索作为在时间点T0检测到的第四车辆的对象360的颜色是白色时，存储在视频记录设备的元数据存储器中的与输入视频的输入帧的16×16的块相应的数据结构的示例。
图4D示出当用于搜索作为在时间点T0检测到的第一人的对象340的颜色是红色时，存储在视频记录设备的元数据存储器中的与输入视频的输入帧的16×16的块相应的数据结构的示例。图4E是当用于搜索作为在时间点T0检测到的第二人的对象350的颜色是蓝色时，存储在视频记录设备的元数据存储器中的与输入视频的输入帧的16×16的块相应的数据结构的示例。
图8是示出根据示例性实施例的存储与在时间段T0至TN中检测到的事件相关的对象的元数据的方法的示图。图9是示出根据示例性实施例的在时间段T0至TN中检测到事件的对象的元数据中所包括的用于搜索的颜色数据的示图。
在时间点T0检测到的人被显示在显示用于搜索的红色703和用于搜索的蓝色707的数据结构中。在这种情况下，在数据结构中，关于在输入视频中检测到的人的位置信息也可被显示。例如，人的检测位置在数据结构中被分别指示为右上方和左下方的位置。
在时间点T0检测到的车辆被显示在显示用于搜索的黄色705、用于搜索的绿色706和用于搜索颜色的白色710的数据结构中。两个车辆在显示用于搜索的绿色706的数据结构上的不同位置被分别检测到。即，匹配用于搜索的绿色706的两个车辆被检测到。否则，可确定匹配用于搜索的绿色706的一个车辆在两个位置被检测到。
以上处理针对在时间点T1、T2、T3、……、TN检测到的对象被重复地执行。在时间点TN，“132”在显示用于搜索颜色的黄色705的数据结构上作为检测车辆的频率被显示。在这种情况下，在时间段T0至TN中132个黄色车辆在显示用于搜索颜色的黄色705的数据结构上的左中部位置被检测到。在时间段T3至TN中，129(＝132-3)个车辆在左中部位置被检测到。
图10是根据示例性实施例的由视频记录设备执行的智能搜索方法的流程图。
在智能搜索方法中，对象分类器根据对象的类型将包括在输入视频中的并且与检测到的事件相关的对象进行分类(操作S1010)。在这种情况下，所述事件包括检测到运动的情况、发生火灾的情况、检测到危险事物的情况等。
在对象分类器将与检测到的事件相关的对象进行分类之后，对象颜色提取器与检测到的事件相关的每个对象的代表颜色(操作S1020)。代表颜色用RGB值来显示。由对象颜色提取器提取的代表颜色被转换为从视频记录设备提供的用于搜索的颜色(操作S1030)。在该处理中，元数据存储器将关于与检测到的事件相关的对象的对象信息、代表颜色信息和用于搜索的颜色信息中的至少一项与组成输入图像的图像帧的多个块相关联，并存储关联信息(操作S1040)。
如上所述，根据以上示例性实施例，视频记录设备支持或提供使用关于与检测到的事件相关的对象的元数据信息执行的搜索功能。例如，视频记录设备支持或提供通过提取关于与检测到的事件相关的对象的颜色信息执行的额外的搜索。
示例性实施例(例如图10)能够被实施为包括在移动终端中的处理器可读介质中的处理器可读代码。处理器可读介质可以是能够存储由处理器读取的数据的任何记录设备，例如，只读存储器(ROM)、随机存取存储器(RAM)、致密盘(CD)-ROM、磁带、软盘、光学数据存储装置等。处理器可读介质能够分布在通过网络互联的计算机系统中，并且示例性实施例可在分布式系统中作为处理器可读代码被存储和实施。
根据示例性实施例，由如图1所示的块所表示的组件中的至少一个可被实施为执行上述各个功能的各种数量的硬件、软件和/或固件结构。例如，这些组件中的至少一个组件可使用可通过一个或更多个微处理器或其它控制设备的控制来执行各自的功能的直接电路结构，诸如，存储器、处理设备、逻辑单元、查找表等。此外，这些组件中的至少一个可通过包含用于执行特定逻辑功能的一个或更多个可执行指令的模块、程序、或者部分代码被具体实施，并通过一个或更多个微处理器或其它控制设备被执行。此外，这些组件中的至少一个组件还可包括执行各自功能的诸如中央处理单元(CPU)的处理器、微处理器等。这些组件中的两个或更多个组件可被合并成一个单独的组件、元件或单元，所述一个单独的组件、元件或单元执行所合并的两个或更多个组件、元件或单元的所有操作或功能。此外，至少一个组件的至少部分功能可以由这些组件中的另一个执行。此外，尽管在以上框图中未示出总线，但是组件、元件或单元之间的通信可通过总线来执行。以上示例性实施例的功能的方面可在一个或更多个处理器上执行的算法中被实施。此外，由块或处理步骤表示的组件可采用任何数量的相关领域技术进行电子学配置、信号处理和/或控制、数据处理等。
应该理解，在此描述的示例性实施例应被理解为仅是描述性的而不为了限制目的。每个实施例中的特征或方面的描述通常应被理解为可用于在其它实施例中的其它相似特征或方面。
虽然一个或更多个示例性实施例已经参照附图被描述，但是本领域普通技术人员应该理解，在不脱离由权利要求限定的本发明构思的精神和范围的情况下，可在形式和细节上进行各种改变。

Claims (21)

1.一种视频记录设备，包括：
对象分类器，被配置为按对象的类型将包括在输入视频中的并与检测到的事件相关的对象进行分类；
对象颜色提取器，被配置为提取检测到事件的对象的代表颜色；
搜索颜色存储器，被配置为将代表颜色转换为搜索颜色并将搜索颜色存储为将被用于从输入视频搜索对象或检测到的事件的颜色信息，
其中，检测到事件的对象是检测到运动的对象，
其中，所述输入视频的图像帧按预定尺寸划分为多个块，
其中，针对所述多个块中的每一个块，在预定时间期间累积在该块中搜索到搜索颜色的次数并且所累积的次数按时间顺序被显示。
2.如权利要求1所述的视频记录设备，还包括：
事件信息存储器，被配置为存储关于以下信息中的至少一项的信息：发生事件的输入视频的区域、发生事件的时间点、事件的敏感度、以及在发生事件的区域中检测到的对象的属性，
其中，关于所述属性的信息包括对象的标识、尺寸和位置。
3.如权利要求1所述的视频记录设备，其中，搜索颜色存储器被配置为在多个预定的颜色中将红、绿和蓝RGB值与代表颜色的RGB值之间的差最小的颜色选择为搜索颜色。
4.如权利要求1所述的视频记录设备，还包括：搜索界面，被配置为接收基于搜索颜色搜索对象或事件的输入。
5.如权利要求4所述的视频记录设备，其中，搜索界面通过另外设置事件的敏感度、关于发生事件的时间点的时间信息和关于发生事件的区域的区域信息中的至少一个来支持或提供将被执行的搜索。
6.如权利要求1所述的视频记录设备，其中，通过以块为单位确定对象来检测事件。
7.如权利要求6所述的视频记录设备，还包括：元数据存储器，被配置为存储每一个块的关于对象的属性、代表颜色和搜索颜色中的至少一个的信息。
8.如权利要求7所述的视频记录设备，其中，对象的属性包括指示对象是否是人和车辆中的至少一个的对象的类型。
9.如权利要求8所述的视频记录设备，其中，搜索颜色存储器被配置为在多个预定的颜色中将红、绿和蓝RGB值与代表颜色的RGB值之间的差最小的颜色选择为搜索颜色。
10.如权利要求1所述的视频记录设备，其中，代表颜色基于直方图被提取，所述直方图基于对象的一些或全部像素的颜色或者基于从对象采样的线条来产生。
11.如权利要求1所述的视频记录设备，其中，代表颜色基于对象的代表像素的颜色被提取；
其中，对象的代表像素包括对象的角落像素、对象的中心像素、以及与对象的中心隔开预定距离的像素中的至少一个。
12.如权利要求1所述的视频记录设备，其中，代表颜色基于针对从对象采样的线条产生的直方图被提取。
13.如权利要求1所述的视频记录设备，其中，搜索颜色存储器被配置为在多个预定的颜色中将红、绿和蓝RGB值与代表颜色的RGB值之间的差最小的颜色选择为搜索颜色。
14.如权利要求13所述的视频记录设备，其中，搜索颜色存储器还被配置为基于组成输入视频的每个图像帧的块的数量、与检测到的事件相关的对象的类型、以及从中选择搜索颜色的预定的颜色的数量从输入视频产生数据结构。
15.如权利要求14所述的视频记录设备，其中，搜索颜色存储器还被配置为产生具备如下结构的数据结构：
组成输入视频的每个图像帧的块的数量×包括在从视频记录设备提供的用于搜索的颜色表中的颜色的数量×与检测到的事件相关的对象的类型的数量。
16.一种由视频记录设备执行的智能搜索方法，所述智能搜索方法包括：
由对象分类器根据对象的类型将包括在输入视频中的并且与检测到的事件相关的对象进行分类；
由对象颜色提取器提取对象的代表颜色；
由搜索颜色存储器将代表颜色转换为搜索颜色并且将搜索颜色存储为将被用于从输入视频搜索对象或检测的事件的颜色信息，
其中，检测到事件的对象是检测到运动的对象，
其中，所述输入视频的图像帧按预定尺寸划分为多个块，
其中，针对所述多个块中的每一个块，在预定时间期间累积在该块中搜索到搜索颜色的次数并且所累积的次数按时间顺序被显示。
17.如权利要求16所述的智能搜索方法，还包括：在多个预定的颜色中将红、绿和蓝RGB值与代表颜色的RGB值之间的差最小的颜色选择为搜索颜色。
18.如权利要求17所述的智能搜索方法，还包括：存储每一个块的关于对象的属性、代表颜色和搜索颜色中的至少一个的信息。
19.如权利要求16所述的智能搜索方法，还包括：存储预定数量的块中的每块的关于对象的属性、代表颜色和搜索颜色中的至少一个的信息。
20.如权利要求16所述的智能搜索方法，还包括：基于组成输入视频的每个图像帧的块的数量、与检测到的事件相关的对象的类型、以及从中选择搜索颜色的预定的颜色的数量从输入视频产生数据结构。
21.如权利要求20所述的智能搜索方法，其中，产生数据结构的步骤包括：
产生具备如下结构的数据结构：
组成输入视频的每个图像帧的块的数量×包括在从视频记录设备提供的用于搜索的颜色表中的颜色的数量×与检测到的事件相关的对象的类型的数量。
CN201510623168.2A 2014-12-05 2015-09-25 支持智能搜索的视频记录设备及智能搜索方法 Active CN105677694B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0174254 2014-12-05
KR1020140174254A KR101858651B1 (ko) 2014-12-05 2014-12-05 스마트검색을 지원하는 영상저장장치 및 영상저장장치에서 스마트 검색 방법

Publications (2)

Publication Number Publication Date
CN105677694A CN105677694A (zh) 2016-06-15
CN105677694B true CN105677694B (zh) 2021-10-26

Family

ID=56094499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510623168.2A Active CN105677694B (zh) 2014-12-05 2015-09-25 支持智能搜索的视频记录设备及智能搜索方法

Country Status (3)

Country Link
US (1) US9514225B2 (zh)
KR (1) KR101858651B1 (zh)
CN (1) CN105677694B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8937619B2 (en) 2013-03-15 2015-01-20 Palantir Technologies Inc. Generating an object time series from data objects
US8917274B2 (en) 2013-03-15 2014-12-23 Palantir Technologies Inc. Event matrix based on integrated data
US9483162B2 (en) * 2014-02-20 2016-11-01 Palantir Technologies Inc. Relationship visualizations
US9857958B2 (en) 2014-04-28 2018-01-02 Palantir Technologies Inc. Systems and user interfaces for dynamic and interactive access of, investigation of, and analysis of data objects stored in one or more databases
US9823818B1 (en) 2015-12-29 2017-11-21 Palantir Technologies Inc. Systems and interactive user interfaces for automatic generation of temporal representation of data objects
US10339410B1 (en) * 2016-01-13 2019-07-02 Snap Inc. Color extraction of a video stream
US10217001B2 (en) * 2016-04-14 2019-02-26 KickView Corporation Video object data storage and processing system
US10289926B2 (en) 2017-05-03 2019-05-14 Accenture Global Solutions Limited Target object color analysis and tagging
US11074359B2 (en) * 2017-06-05 2021-07-27 International Business Machines Corporation Privacy focused network sensor device object recognition
KR102027297B1 (ko) * 2018-02-23 2019-10-02 (주)온넷시스템즈코리아 장면 기반 동영상 네비게이션 장치
KR20220011472A (ko) * 2020-07-21 2022-01-28 (주)텔레컨스 이벤트 영상 녹화 장치, 영상 제공 장치 및 영상 제공 방법
WO2022019601A1 (ko) * 2020-07-24 2022-01-27 김승모 영상의 객체 특징점 추출과 이를 이용한 영상검색 시스템 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003034278A1 (fr) * 2001-10-11 2003-04-24 Fujitsu Limited Systeme et procede de reconnaissance d'informations concernant un objet mobile
CN101663676A (zh) * 2007-02-28 2010-03-03 霍尼韦尔国际公司 用于在多个视频流中索引和查找感兴趣对象的方法和系统
CN102592109A (zh) * 2010-10-29 2012-07-18 佳能株式会社 用于视频对象检测的方法和系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100574556B1 (ko) 1998-12-30 2006-04-27 주식회사 팬택앤큐리텔 칼라 영상 기술자 추출 장치 및 방법과 그를 이용한 멀티미디어 데이터 검색 장치 및 방법
JP2001273493A (ja) * 2000-03-24 2001-10-05 Toshiba Corp オブジェクト検索装置および方法
US6904159B2 (en) * 2001-12-20 2005-06-07 Mitsubishi Electric Research Laboratories, Inc. Identifying moving objects in a video using volume growing and change detection masks
KR20050024134A (ko) 2003-09-05 2005-03-10 주식회사 블루하모니 영상물에서 자동으로 색상 배치 정보를 추출하는 시스템
US20060159370A1 (en) 2004-12-10 2006-07-20 Matsushita Electric Industrial Co., Ltd. Video retrieval system and video retrieval method
CN102164238B (zh) 2006-01-10 2013-09-18 松下电器产业株式会社 颜色校正处理装置、动态摄像机颜色校正装置以及使用其的影像检索装置
JP2007206920A (ja) * 2006-02-01 2007-08-16 Sony Corp 画像処理装置および方法、検索装置および方法、プログラム、並びに記録媒体
JP2007300456A (ja) 2006-05-01 2007-11-15 Nippon Telegr & Teleph Corp <Ntt> 映像モニタリングシステム及びそのインデクス生成方法
CN101840422A (zh) * 2010-04-09 2010-09-22 江苏东大金智建筑智能化系统工程有限公司 基于目标特征和报警行为的智能视频检索系统和方法
KR101235280B1 (ko) 2010-08-09 2013-02-21 이정무 동영상 모니터링 시스템
KR101394242B1 (ko) 2011-09-23 2014-05-27 광주과학기술원 영상 감시 장치 및 영상 감시 방법
CN103020995B (zh) * 2012-11-30 2016-12-21 台州市合正信息科技有限公司 一种适用于在视频中搜索目标的物件特征对比方法
CN103679756A (zh) * 2013-12-26 2014-03-26 北京工商大学 基于颜色和形状特征的自动目标跟踪方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003034278A1 (fr) * 2001-10-11 2003-04-24 Fujitsu Limited Systeme et procede de reconnaissance d'informations concernant un objet mobile
CN101663676A (zh) * 2007-02-28 2010-03-03 霍尼韦尔国际公司 用于在多个视频流中索引和查找感兴趣对象的方法和系统
CN102592109A (zh) * 2010-10-29 2012-07-18 佳能株式会社 用于视频对象检测的方法和系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Learning object motion patterns for anomaly detection and improved object detection;Arslan Basharat et al;《2008 IEEE Conference on Computer Vision and Pattern Recognition》;20080805;第1-8页 *
Real-time object tracking using color-based probability matching;Deval Jansari et al;《2013 IEEE International Conference on Signal Processing, Computing and Control (ISPCC)》;20131114;第1-6页 *
基于HSV颜色空间的运动目标检测方法;赵红雨 等;《现代电子技术》;20130615;第36卷(第12期);第45-48页 *
基于不同颜色空间的运动目标检测算法分析;丁莹 等;《长春理工大学学报（自然科学版）》;20121231;第35卷(第4期);第1-4页 *

Also Published As

Publication number Publication date
CN105677694A (zh) 2016-06-15
US9514225B2 (en) 2016-12-06
KR20160068459A (ko) 2016-06-15
KR101858651B1 (ko) 2018-05-16
US20160162497A1 (en) 2016-06-09

Similar Documents

Publication Publication Date Title
CN105677694B (zh) 支持智能搜索的视频记录设备及智能搜索方法
AU2022252799B2 (en) System and method for appearance search
KR101942808B1 (ko) 객체 이미지 인식 dcnn 기반 cctv 영상분석장치
CN109766779B (zh) 徘徊人员识别方法及相关产品
AU2017206244A1 (en) System and method for generating an activity summary of a person
CN108702485A (zh) 在视频监视系统中保护隐私
KR20070112130A (ko) 그래픽 객체를 검출하기 위한 방법 및 전자 디바이스
CN109740444B (zh) 人流量信息展示方法及相关产品
US20190272289A1 (en) Video search device, data storage method and data storage device
JP2011029737A (ja) 監視映像検索装置及び監視システム
US11308158B2 (en) Information processing system, method for controlling information processing system, and storage medium
KR20180038241A (ko) 영상 제공 장치 및 방법
US20170300751A1 (en) Smart history for computer-vision based security system
KR101030257B1 (ko) 카메라의 영상을 이용한 보행자 계수 방법 및 장치
US9436996B2 (en) Recording medium storing image processing program and image processing apparatus
EP3454254A1 (en) Image processing apparatus, image providing apparatus, control methods thereof, and program
US10719543B2 (en) Information processing apparatus, information processing method, and program
CN110830788A (zh) 一种检测黑屏图像的方法及装置
CN107316011B (zh) 数据处理方法、装置及存储介质
US20100150447A1 (en) Description based video searching system and method
CN106056042A (zh) 产生视频数据变换表示以及分析视频数据的方法和系统
JP2000182028A (ja) 字幕領域検出方法及びその装置、並びに動画像検索方法及びその装置
US11501534B2 (en) Information processing apparatus, information processing system, information processing method, and storage medium
Alano et al. LabVIEW-based motion activated security camera
Fauzi et al. The importance of bounding box in motion detection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Gyeongnam Changwon City, South Korea

Applicant after: HANWHA AEROSPACE Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Applicant before: HANWHA TECHWIN Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190225

Address after: Gyeonggi Do city of South Korea

Applicant after: HANWHA TECHWIN Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Applicant before: HANWHA AEROSPACE Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Gyeonggi Do city of South Korea

Patentee after: Hanhua Vision Co.,Ltd.

Address before: Gyeonggi Do city of South Korea

Patentee before: HANWHA TECHWIN Co.,Ltd.