CN110199316A - 相机和相机的图像处理方法 - Google Patents
相机和相机的图像处理方法 Download PDFInfo
- Publication number
- CN110199316A CN110199316A CN201880007841.1A CN201880007841A CN110199316A CN 110199316 A CN110199316 A CN 110199316A CN 201880007841 A CN201880007841 A CN 201880007841A CN 110199316 A CN110199316 A CN 110199316A
- Authority
- CN
- China
- Prior art keywords
- region
- image
- camera
- size
- processing method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 238000001514 detection method Methods 0.000 claims abstract description 32
- 230000008859 change Effects 0.000 claims description 18
- 241000406668 Loxodonta cyclotis Species 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims 1
- 238000004458 analytical method Methods 0.000 abstract description 7
- 238000012545 processing Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 15
- 238000012360 testing method Methods 0.000 description 14
- 238000000034 method Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 4
- 238000003780 insertion Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Abstract
提供一种相机和相机的图像处理方法。根据本公开的一个方面,一种相机的图像处理方法包括:接收区域信息;接收从与根据关于输入图像的区域信息设置的区域对应的原始分辨率图像的对应区域提取的图像数据;以及分析原始分辨率图像的图像数据并检测与设置条件对应的对象。
Description
技术领域
本公开涉及一种相机及其图像处理方法。
背景技术
由于传统的对象检测系统基于整个捕获的图像来检测对象,所以能够检测到的对象的尺寸受到限制,并且难以在短时间内检测出包括识别所需的特征的远程对象。
实施例的描述
技术问题
提供一种能够使用少量资源快速且准确地检测对象的相机和包括所述相机的安全系统。
问题的解决方案
根据本公开的一个方面,一种相机的图像处理方法包括:接收区域信息;接收从与输入图像的根据区域信息设置的区域对应的原始分辨率图像的对应区域提取的图像数据;以及分析原始分辨率图像的图像数据并检测与设置条件对应的对象。
所述方法还可包括:显示能够在所述区域中检测到的对象的最小尺寸,所述尺寸根据所述区域的尺寸而变化。
能够在所述区域中检测到的对象的最小尺寸可与所述区域的尺寸成比例地变化。
所述方法还可包括:显示能够在所述区域中检测到的对象的最小尺寸,所述尺寸根据将被检测的对象的类型而变化。
所述方法还可包括:调度两个或更多个区域的对象检测。
接收区域信息的步骤可包括:接收由用户指定的位置作为区域信息。
接收区域信息的步骤可包括:接收在输入图像中检测到的事件作为区域信息。
所述区域的位置和尺寸可根据事件发生位置和事件发生区域的尺寸而变化。
所述事件可以是对象的移动。
根据本公开的一个方面,一种相机包括:区域设置器,被配置为接收区域信息并对区域进行设置;以及检测器,被配置为:接收从与输入图像的设置区域对应的原始分辨率图像的对应区域提取的图像数据,并分析原始分辨率图像的图像数据,以检测与设置条件对应的对象。
区域设置器可显示能够在所述区域中检测到的对象的最小尺寸,所述尺寸根据所述区域的尺寸而变化。
在区域设置器中,能够在所述区域中检测到的对象的最小尺寸可与所述区域的尺寸成比例地变化。
区域设置器可显示能够在所述区域中检测到的对象的最小尺寸,所述尺寸根据将被检测的对象的类型而变化。
区域设置器可调度两个或更多个区域的对象检测。
区域设置器可接收由用户指定的位置作为区域信息。
区域设置器可接收在输入图像中检测到的事件作为区域信息。
所述区域的位置和尺寸可根据事件发生位置和事件发生区域的尺寸而变化。
所述事件可以是对象的移动。
根据本公开的一个方面,一种服务器的图像处理方法包括:从相机接收通过改变具有原始分辨率的第一分辨率图像而获得的第二分辨率图像;将用于对区域进行设置的设置信息发送到相机;接收从与基于设置信息的第二分辨率图像的设置区域对应的第一分辨率图像的对应区域提取的图像数据;分析提取的图像数据并检测与设置条件对应的对象;以及在显示器上的第二分辨率图像中显示基于第一分辨率图像检测到的对象。
服务器可在所述区域中显示根据所述区域的尺寸和将被检测的对象的类型中的至少一个而变化的能够在所述区域中检测到的对象的最小尺寸。
公开的有益效果
根据本公开的实施例的相机可通过经由指定需要对象检测的位置来排除不必要位置处的处理来降低处理成本,并且可分析屏幕图像中的较小对象。
附图的简要描述
图1是示出根据本公开的一个实施例的安全系统的配置的示图;
图2是示意性地示出根据本公开的一个实施例的相机的配置的框图;
图3和图4是用于描述根据本公开的一个实施例的设置图像中的感兴趣区域的示图;
图5和图6是举例示出通过图2中所示的相机在图像中设置的感兴趣区域中检测对象的结果的示图;
图7是根据本公开的一个实施例的相机的图像处理方法的示意流程图;
图8是示出根据本公开的另一实施例的相机的配置的示意框图;
图9是举例示出通过图8中所示的相机在图像中设置的感兴趣区域中检测对象的结果的示图;
图10是根据本公开的一个实施例的相机的图像处理方法的示意流程图;以及
图11是示出根据本公开的一个实施例的管理装置的配置的示意框图。
最佳方式
根据本公开的一个方面,一种相机的图像处理方法包括:接收区域信息;接收从与根据关于输入图像的区域信息设置的区域对应的原始分辨率图像的对应区域提取的图像数据;以及分析原始分辨率图像的图像数据并检测与设置条件对应的对象。
公开的方式
本公开可包括各种实施例和修改,其实施例将在附图中示出并且将在此详细描述。然而,这不意图将本公开限制于特定的实践方式,并且将理解,不脱离本发明构思的精神和技术范围的所有改变、等同物和替代物包含在本公开中。在本公开的描述中,当认为相关技术的特定详细解释可能不必要地模糊本公开的本质时,省略相关技术的特定详细解释。
虽然诸如“第一”、“第二”等的术语可用于描述各种元件,但是这样的元件不必受到以上术语的限制。以上术语可仅用于将一个元件与另一个元件区分开。
在本说明书中使用的术语仅用于描述特定实施例,并且不意图限制本发明构思。除非在上下文中具有明显不同的含义,否则以单数形式使用的表述包括复数的表述。在本说明书中,将理解,诸如“包括”或“具有”等的术语意图指示存在说明书中公开的特征、数量、步骤、动作、组件、部件或它们的组合,并且不意图排除可存在或可添加一个或多个其他特征、数量、步骤、动作、组件、部件或它们的组合的可能性。
可根据功能块组件和各种处理步骤来描述一些实施例。这样的功能块可由被配置为执行指定功能的任何数量的硬件和/或软件组件来实现。例如,本公开可采用可在一个或多个微处理器或其他控制装置的控制下执行各种功能的各种集成电路(IC)组件(例如,存储器元件、处理元件、逻辑元件、查找表等)。类似地,在使用软件编程或软件元素实现本公开的元件时,本发明可使用任何编程或脚本语言(诸如,C、C++、Java、汇编程序等)来实现,各种算法使用数据结构、对象、进程、例程或其他编程元件的任意组合来实现。功能块可在一个或多个处理器上执行的算法中实现。此外,本公开可采用用于电子配置、信号处理和/或数据处理的任何数量的传统技术。词语“机制”、“元件”、“装置”和“配置”被广泛使用,并且不限于机械或物理实施例,而是可包括与处理器等结合的软件例程。
在下文中,将参照附图详细描述本公开。
图1是示出根据本公开的一个实施例的安全系统的配置的示图。
参照图1,本实施例的安全系统100可包括相机200和管理装置700。相机200可经由有线和/或无线网络连接到管理装置700。
相机200整体地安装在需要用于访问控制和犯罪预防的安全性的办公室、房屋、医院、银行和公共建筑物的内部和外部,并且根据安装位置和目的可具有各种形式(如直型和圆顶型)。相机100安装在特定地点的固定位置,并且可以是具有固定拍摄范围的单个静止相机或者具有摇摄/俯仰/变焦功能的PTZ相机。相机100可以是包括视觉相机、热相机、专用相机、便携式相机、摄像机等的监视相机。相机200可包括用于存储捕获的图像的数字视频记录器(DVR)或网络视频记录器(NVR)。
相机200可获得图像并检测获得的图像中的对象。相机200可通过将对象检测算法应用于整个图像或图像的一部分(感兴趣区域)来检测对象。相机200可执行对检测到的对象的跟踪和/或识别。感兴趣区域可以是固定的,并且可根据用户的设置或发生的事件而变化。相机200可根据用户的设置,在感兴趣区域固定模式和/或感兴趣区域可变模式下操作。
在感兴趣区域固定模式下,相机200可根据用户的指定来设置图像中的感兴趣区域。可在当前图像和后续图像中固定感兴趣区域的位置和尺寸,直到感兴趣区域被重新设置为止。
在感兴趣区域可变模式下,相机200可基于发生的事件自动地设置图像中的感兴趣区域。相机200可针对发生指定事件的每个图像自动地设置感兴趣区域。感兴趣区域的位置和尺寸可根据发生事件的发生位置和事件发生的区域的尺寸而变化。
当事件发生时,相机200可将实时报警发送到管理装置700,并且可存储事件图像。相机200可将图像、元数据和/或事件数据发送到管理装置700。
管理装置700可连接到相机200并且向相机200请求图像。管理装置700可从相机200接收图像,将图像提供给显示器,并且监视显示的图像。管理装置700可以是终端(如,个人计算机、智能电话、平板和手持装置),或者是服务器(如,云服务器、记录服务器、升级服务器和报警服务器)。
管理装置700可基于来自相机200的图像、元数据和/或事件数据,执行对象识别、对象搜索等。
管理装置700可包括输入装置和显示器。输入装置可包括小键盘、圆顶开关(domeswitch)、触摸垫(接触电容型、压力电阻膜型(pressure resistive film type)、红外线检测型、表面超声波传播型(surface ultrasonic wave propagation type)、积分张力测量型、压电效应型等)、鼠标、遥控器、旋钮(jog wheel)、拨动开关(jog switch)等。显示器可包括液晶显示器(LCD)面板、有机发光显示器(OLED)面板、电泳显示器(EPD)面板等。显示器可被设置为触摸屏,以通过用户的触摸接收输入,并且可作为用户输入接口进行操作。
管理装置700可在显示器上提供图形用户界面。用户可通过使用输入装置,通过经由图形用户界面输入时间间隔、对象的类别(人、车辆等)、图像中的感兴趣区域(ROI)、特定线、特定方向等作为事件条件和/或对象检测条件,来设置连接到管理装置700的相机200的功能。例如,用户可通过使用输入装置来指定在显示器上显示的图像中的特定点,并且关于由用户指定的点的数据可被发送到相机200以设置感兴趣区域。用户可将设置的感兴趣区域的位置和尺寸指定为固定的或可变的。
图2是示出根据本公开的一个实施例的相机的配置的示意框图;图3和图4是用于描述根据本公开的一个实施例的设置图像中的感兴趣区域的示图。相机200A是图1中所示的安全系统的相机200的一个示例。
参照图2,相机200A可包括光学单元201、图像传感器202和图像处理器210。
光学单元201可包括光学器件(如,变焦透镜、聚焦透镜)和用于调节光量的光圈。
图像传感器202可将透过光学单元201的光转换成电图像信号。图像传感器202可包括图像拾取器件(如,电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS))。
图像处理器210可通过被配置为执行指定功能的任意数量的硬件和/或软件组件来实现。例如,图像处理器210可以指具有被物理构造为执行由程序中的代码或指令表示的功能的电路的嵌入在硬件中的数据处理装置。嵌入在硬件中的数据处理装置的示例可包括微处理器、中央处理器(CPU)、处理器核、多处理器、专用集成电路(ASIC)和现场可编程门阵列(FPGA),但本公开不限于此。
图像处理器210可包括预处理器203、区域设置器204、检测器205和存储装置206。
预处理器203可对来自图像传感器202的数字图像信号或从来自图像传感器202的模拟图像信号转换的数字图像信号执行用于图像质量增强的信号处理(诸如,噪声去除、伽马校正、滤色器内插、色彩校正和色彩增强)。预处理器203可将经信号处理的图像I存储在存储装置206中。经信号处理的图像I的分辨率由水平方向和垂直方向上的像素的数量表示,并且经信号处理的图像I的原始分辨率可以是高分辨率。
区域设置器204可设置经信号处理的图像I中的感兴趣区域ROI。区域设置器204可通过用户的输入接收用于设置感兴趣区域ROI的区域信息。区域信息可以是关于图像中的多个点的点数据。区域设置器204可将连接图像中的多个点的区域设置为感兴趣区域ROI。点数据可以是指示图像中的点的位置的位置信息。点的位置可以是图像中特定像素的位置。区域设置器204可将多个连续点设置为一个感兴趣区域ROI。用于设置感兴趣区域ROI的点可由用户指定。感兴趣区域ROI的位置和尺寸可以是固定的。感兴趣区域ROI的尺寸(分辨率)可小于或等于经信号处理的图像I的尺寸(分辨率)。感兴趣区域ROI的分辨率可受到可由检测器205处理的图像的分辨率的限制。
区域设置器204可通过将以时间差输入的连续点的组中的每个设置到感兴趣区域来设置经信号处理的图像I中的一个或多个感兴趣区域ROI。多个感兴趣区域ROI可至少部分地彼此重叠。区域设置器204可通过向多个感兴趣区域ROI分配顺序来调度多个感兴趣区域ROI。
参照图3,当在图像中指定感兴趣区域时,区域设置器204可在感兴趣区域ROI1、ROI2和ROI3中显示窗口W1、W2和W3,窗口W1、W2和W3各自分别指示对象的最小可检测尺寸。窗口的尺寸可根据感兴趣区域的尺寸和将被检测的对象的类型中的至少一个而变化。窗口的尺寸可与感兴趣区域的尺寸成比例。
例如,基于2维图像的脸部检测和识别基于脸部的独特特征点。为了找到和使用独特特征点,至少需要包括脸部中的眼睛和嘴的最小水平和垂直像素分辨率。需要20×20或更多像素以用于检测,需要80×80或更多像素以用于识别。图像中可能存在非常大的数量的脸部尺寸。其范围可以是从20×20像素的最小尺寸到全屏尺寸的范围。在本公开的一个实施例中,用于检测和识别感兴趣区域的分辨率(尺寸)内的对象的尺寸可被限制为特定比率或更大的尺寸。
当感兴趣区域的尺寸太小而不能满足用于脸部检测的最小窗口尺寸时,区域设置器204可不在感兴趣区域中显示窗口或者可显示警告。用户可基于窗口的尺寸来确定感兴趣区域的尺寸。一旦用户对感兴趣区域做出最终决定,则区域设置器204可完成感兴趣区域的设置。
参照图4,预处理器203可从区域设置器204接收感兴趣区域设置信号,并将通过从经信号处理的图像I裁剪感兴趣区域ROI而生成的裁剪图像Ic输出到检测器205。当裁剪图像Ic的尺寸(分辨率)超过用于对象检测的参考尺寸(分辨率)时,预处理器203可将裁剪图像Ic减小到参考图像的尺寸。
检测器205可检测裁剪图像Ic中的对象。检测器205可扫描裁剪图像Ic并检测具有等于或大于可在裁剪图像Ic的尺寸中检测到的最小尺寸的至少一个对象。对象可以是人、动物、车辆或其一部分(例如,人的脸部),并且可包括静止对象或移动对象。检测器205可检测裁剪图像Ic中的一个或多个特征点,并且通过将关于特征点的信息与每个对象的参考特征信息进行比较来检测对象。由检测器205执行的检测对象的方法不限于上述方法。
检测器205可生成作为对象检测结果的集合的元数据MD。元数据MD可包括在图像中检测到的对象的位置信息。位置信息可包括对象的中心坐标和尺寸。检测器205可将元数据MD存储在存储装置206中。检测器205可将元数据MD与经信号处理的图像I进行匹配,并将与经信号处理的图像I匹配的元数据MD存储在存储装置206中。
存储装置206可存储图像和元数据MD。元数据MD可以是文本和/或基于图像的数据。
图5和图6是举例示出通过图2中所示的相机在图像中设置的感兴趣区域中检测对象的结果的示图。
图5中所示的实施例是在由用户在图像中指定的感兴趣区域中检测脸部的示例,其中,感兴趣区域的尺寸和位置不变。
相机200A可设置具有与图像I4的尺寸类似的尺寸的感兴趣区域ROI4,或者设置具有比图像I5的尺寸小的尺寸的感兴趣区域ROI5。相机200A可检测所设置的感兴趣区域ROI4和ROI5中的脸部,并且在图像I4和I5中用特定标记(例如,图5中所示的圆)显示检测到的脸部。
图6中所示的实施例是在由用户在图像中指定的多个感兴趣区域中检测脸部的示例,其中,多个感兴趣区域的尺寸和位置不变。
相机200A可在图像I6内设置第一感兴趣区域ROI61和第二感兴趣区域ROI62。第一感兴趣区域ROI61和第二感兴趣区域ROI62的尺寸和位置可不同。相机200A可将用于检测第一感兴趣区域ROI61中的脸部的顺序分配在用于检测第二感兴趣区域ROI62中的脸部的顺序之前。相机200A可在图像I6中首先显示检测第一感兴趣区域ROI61中的脸部的结果,然后显示检测第二感兴趣区域ROI62中的脸部的结果。在另一个实施例中,相机200A可通过在奇数图像中显示检测第一感兴趣区域ROI61中的脸部的结果并在偶数图像中显示检测第二感兴趣区域ROI62中的脸部的结果,来交替地显示检测感兴趣区域中的脸部的结果。
图7是根据本公开的一个实施例的相机的图像处理方法的流程图。在下文中,将省略与以上参照图2至图6给出的描述相同的描述。
参照图7,相机200A可在输入图像中设置至少一个感兴趣区域(操作S71)。相机200A可接收关于由用户指定的感兴趣区域的信息(例如,关于限定感兴趣区域的点的数据),并且可设置连接这些点的感兴趣区域。感兴趣区域的位置和尺寸可以是固定的。
相机200A可在感兴趣区域内的图像数据中检测与预设条件对应的至少一个特征点(操作S73)。相机200A可检测与将在感兴趣区域中被检测的对象的特征对应的至少一个特征点。
相机200A可基于关于检测到的特征点的信息来检测感兴趣区域内的至少一个对象(操作S75)。当关于特征点的信息与关于将被检测的对象的特征信息匹配时,相机200A可检测到对象。
图8是示出根据本公开的另一实施例的相机的配置的框图。图8中所示的相机200B是图1中所示的安全系统的相机200的一个示例。
参照图8,相机200B可包括光学单元211、图像传感器212和图像处理器220。在下文中,将省略与根据图2的实施例的相机200A的组件类似的组件的详细描述。
光学单元211可包括光学器件(如,变焦透镜、聚焦透镜)和用于调节光量的光圈。
图像传感器212可将透过光学单元211的光转换成电图像信号。图像传感器212可包括图像拾取器件(如,电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS))。
图像处理器220可通过被配置为执行指定功能的任意数量的硬件和/或软件组件来实现。图像处理器220可包括预处理器213、区域设置器214、第一检测器215、第二检测器216和存储装置217。
预处理器213可对来自图像传感器212的数字图像信号或从来自图像传感器212的模拟图像信号转换的数字图像信号执行用于图像质量增强的信号处理。预处理器213可将经信号处理的图像I存储在存储器217中。
当满足在经信号处理的图像I中设置的事件生成条件时,第一检测器215可生成事件。这里,事件可包括由用户设置的事件(诸如,任何对象的出现、由用户指定的图像的出现(例如,不可识别的脸部的出现)、移动的发生、虚拟线经过、虚拟区域入口等)。例如,第一检测器215可使用静止图像,并基于当前图像与参考图像之间的差异图像来检测局部运动。应当理解,由第一检测器215执行的检测局部运动的方法不限于使用图像差异的上述方法,并且各种已知方法可被应用。
第一检测器215可将关于发生的事件的事件数据ED存储在存储装置217中。第一检测器215可将事件数据ED与经信号处理的图像I进行匹配,并且将与经信号处理的图像I匹配的事件数据ED存储在存储装置217中。
区域设置器214可在经信号处理的图像I中设置感兴趣区域ROI。区域设置器214可基于由第一检测器215生成的事件数据ED,在经信号处理的图像I中设置感兴趣区域ROI。区域设置器214可设置连接围绕事件发生的位置的多个点的感兴趣区域ROI。由于区域设置器214基于事件数据(ED)设置图像的感兴趣区域ROI,所以感兴趣区域ROI的尺寸可对应于事件发生区域的尺寸而变化。当发生多个事件时,区域设置器214可为每个事件设置感兴趣区域ROI。
预处理器213可从区域设置器214接收感兴趣区域设置信号,并将通过从经信号处理的图像I裁剪感兴趣区域ROI而生成的裁剪图像Ic输出到第二检测器216。当裁剪图像Ic的尺寸(分辨率)超过用于对象检测的参考尺寸(分辨率)时,预处理器213可将裁剪图像Ic减小到参考图像的尺寸。
第二检测器216可检测裁剪图像Ic中的对象。第二检测器216可扫描裁剪图像Ic,并检测具有等于或大于可在裁剪图像Ic的尺寸中检测到的最小尺寸的尺寸的至少一个对象。对象可以是人、动物、车辆或其一部分(例如,人的脸部),并且可包括静止对象或移动对象。第二检测器216可检测裁剪图像Ic中的一个或多个特征点,并且通过将关于特征点的信息与每个对象的参考特征信息进行比较来检测对象。
第二检测器216可生成作为对象检测结果的集合的元数据MD。元数据MD可包括在图像中检测到的对象的位置信息。位置信息可包括对象的中心坐标和尺寸。第二检测器216可将元数据MD存储在存储装置217中。第二检测器216可将元数据MD与经信号处理的图像I进行匹配,并将与经信号处理的图像I匹配的元数据MD存储在存储装置217中。
存储器217可存储图像、事件数据ED和元数据MD。事件数据ED和元数据MD可以是文本和/或基于图像的数据。
图9是举例示出通过图8中所示的相机在图像中设置的感兴趣区域中检测对象的结果的示图。图9中所示的实施例示出感兴趣区域的尺寸根据基于移动的事件而改变的示例。
相机200B可根据第一图像I11中的移动检测结果IM1来设置第一图像I11中的第一感兴趣区域ROI1。相机200B可分别根据第一图像I11之后的第二图像I12至第四图像I14中的移动检测结果IM2至IM4来设置第二图像I12中的第二感兴趣区域ROI2至第四图像I14中的第四感兴趣区域ROI4。第一感兴趣区域ROI1至第四感兴趣区域ROI4的位置和尺寸可根据检测到的移动的位置和尺寸而变化。
相机200B可在第一图像I11至第四图像I14中的每个中将在第一感兴趣区域ROI1至第四感兴趣区域ROI4中检测到的对象显示为特定标记(例如,图9中所示的矩形)。
图10是根据本公开的一个实施例的相机的图像处理方法的流程图。在下文中,将省略与以上参照图8和图9给出的描述相同的描述。
参照图10,相机200B可检测图像中的事件(操作S91)。当满足指定事件条件时,相机200B可检测到图像中的事件。
相机200B可根据图像中发生的事件的位置和尺寸来设置至少一个感兴趣区域(操作S93)。相机200B可设置连接包括检测到的发生的事件的位置的区域和检测到的事件发生的区域的点的感兴趣区域。感兴趣区域的位置和尺寸可根据事件发生的位置和事件发生的区域的尺寸而变化。感兴趣区域的位置和尺寸可与事件发生的位置和事件发生的区域的尺寸成比例地变化。
相机200B可在感兴趣区域中检测与预设条件对应的至少一个特征点(操作S95)。相机200B可检测与将在感兴趣区域中被检测的对象的特征对应的至少一个特征点。
相机200B可基于关于检测到的特征点的信息在感兴趣区域内检测至少一个对象(操作S97)。当关于特征点的信息与关于将被检测的对象的特征信息匹配时,相机200B可检测到对象。
图11是示出根据本公开的一个实施例的管理装置的配置的框图。
参照图11,根据一个实施例的管理装置700可包括控制器710、输入单元730和显示器750。
控制器710可通过被配置为执行指定功能的任意数量的硬件和/或软件组件来实现。例如,控制器710可以指具有被物理构造为执行由程序中的代码或指令表示的功能的电路的嵌入在硬件中的数据处理装置。嵌入在硬件中的数据处理装置的示例可包括微处理器、中央处理器(CPU)、处理器核、多处理器、专用集成电路(ASIC)和现场可编程门阵列(FPGA),但本公开不限于此。
控制器710可包括收发器712、检测器716和存储装置718。
收发器712可从相机200接收图像I,并将用于设置感兴趣区域ROI的设置信息发送到相机200。
图像I可以是由相机200捕获的具有高分辨率的第一分辨率图像,或者是具有比第一分辨率低的低分辨率的第二分辨率图像。收发器172可接收第二分辨率图像的整个图像数据和通过裁剪第一分辨率图像的一部分而生成的裁剪图像Ic的图像数据。剪切图像Ic可以是与第一分辨率图像中的感兴趣区域ROI对应的部分区域的图像。
设置信息可包括指示感兴趣区域固定模式或感兴趣区域可变模式的模式信息。设置信息可包括用于在感兴趣区域固定模式或感兴趣区域可变模式下设置感兴趣区域ROI的区域信息。在感兴趣区域固定模式下,区域信息可以是指示多个像素位置的点数据。感兴趣区域可变模式下的区域信息可以是事件发生条件。
收发器712可从输入单元730接收用于设置模式信息和区域信息的用户输入,并将输入发送到相机200。
收发器712可根据设置信息,从相机200接收关于裁剪图像Ic的图像数据,其中,裁剪图像Ic与在感兴趣区域固定模式或感兴趣区域可变模式下设置的感兴趣区域ROI对应。
检测器716可通过分析关于从相机200接收并通过收发器172输入的裁剪图像Ic的图像数据,来检测与设置条件对应的对象。检测器716可生成作为对象检测结果的集合的元数据MD。在感兴趣区域固定模式下,裁剪图像Ic可以是由用户在第一分辨率图像中指定的感兴趣区域ROI的图像数据。在感兴趣区域可变模式下,裁剪图像Ic可以是包括事件在第一分辨率图像中发生的区域的感兴趣区域ROI的图像数据。
存储装置718可存储图像I和元数据MD。
显示器750可从存储装置718读取图像I和元数据MD,并在图像I中显示与元数据MD对应的关于感兴趣区域ROI的对象检测结果。图像I可以是第二分辨率图像。显示器750可在第二分辨率图像中显示感兴趣区域ROI和对从第一分辨率图像检测到的对象进行标记的标记。
在本公开的实施例中,当可由对象检测器处理的图像的分辨率被固定为低分辨率(例如,最大640×480像素)时,替代将整个高分辨率(例如,3840×2160像素)图像降低为低分辨率图像,从高分辨率图像裁剪具有与低分辨率图像的尺寸对应的尺寸的部分图像,并且由对象检测单元处理裁剪图像。换句话说,由对象检测器分析的图像数据是高分辨率图像的图像数据。因此,可从高分辨率图像的图像数据检测对象,而不是从通过图像降低生成的低分辨率图像的图像数据检测对象,因此,可容易地检测远程对象。
此外,在本公开的实施例中,当从高分辨率原始图像转换的低分辨率图像是输入图像时,通过分析高分辨率原始图像中的感兴趣区域的图像数据来检测对象,因此,即使当低分辨率图像显示在显示器上时,也可保持高的对象检测精度。
检测和识别整个图像中所有可能尺寸的脸部的处理需要扫描。因此,图像的分辨率越高,扫描处理可能花费的时间越长。根据本公开的实施例的相机可通过经由仅分析高分辨率图像中的感兴趣区域而不是整个高分辨率图像来检测对象,减少对象检测时间和计算量。此外,通过仅分析高分辨率图像的感兴趣区域而不将整个高分辨率图像降低到低分辨率图像,可检测和识别远处的小的对象。
根据本公开的一个实施例的图像处理方法可被实现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质包括存储可由计算机系统读取的数据的所有类型的记录设备。计算机可读记录介质的示例包括ROM、RAM、CD-ROM、磁带、软盘、光学数据存储器等。计算机可读记录介质还可分布在联网的计算机系统上,以便以分布式方式存储和执行计算机可读代码。此外,用于实现本公开的功能程序、代码和代码段可由本公开所属技术领域的程序员容易地推断。
尽管参照附图中所示的实施例描述了本发明的多个方面,但是它们仅仅是示例,并且本领域普通技术人员将理解,可从这些实施例导出各种修改和其它等效实施例。因此,本公开的真实范围应当仅由所附权利要求确定。
Claims (20)
1.一种相机的图像处理方法,所述图像处理方法包括:
接收区域信息;
接收从与输入图像的根据区域信息设置的区域对应的原始分辨率图像的对应区域提取的图像数据;以及
分析原始分辨率图像的图像数据并检测与设置条件对应的对象。
2.根据权利要求1所述的图像处理方法,还包括:显示能够在所述区域中检测到的对象的最小尺寸,所述尺寸根据所述区域的尺寸而变化。
3.根据权利要求2所述的图像处理方法,其中,能够在所述区域中检测到的对象的最小尺寸与所述区域的尺寸成比例地变化。
4.根据权利要求1所述的图像处理方法,还包括:显示能够在所述区域中检测到的对象的最小尺寸,所述尺寸根据将被检测的对象的类型而变化。
5.根据权利要求1所述的图像处理方法,还包括:调度两个或更多个区域的对象检测。
6.根据权利要求1所述的图像处理方法,其中,接收区域信息的步骤包括:
接收由用户指定的位置作为区域信息。
7.根据权利要求1所述的图像处理方法,其中,接收区域信息的步骤包括:
接收在输入图像中检测到的事件作为区域信息。
8.根据权利要求7所述的图像处理方法,其中,所述区域的位置和尺寸根据事件发生位置和事件发生区域的尺寸而变化。
9.根据权利要求6所述的图像处理方法,其中,所述事件是对象的移动。
10.一种相机,包括:
区域设置器,被配置为:接收区域信息并对区域进行设置;以及
检测器,被配置为:接收从与输入图像的设置区域对应的原始分辨率图像的对应区域提取的图像数据,并分析原始分辨率图像的图像数据,以检测与设置条件对应的对象。
11.根据权利要求10所述的相机,其中,区域设置器显示能够在所述区域中检测到的对象的最小尺寸,所述尺寸根据所述区域的尺寸而变化。
12.根据权利要求11所述的相机,其中,在区域设置器中,能够在所述区域中检测到的对象的最小尺寸与所述区域的尺寸成比例地变化。
13.根据权利要求10所述的相机,其中,区域设置器显示能够在所述区域中检测到的对象的最小尺寸,所述尺寸根据将被检测的对象的类型而变化。
14.根据权利要求10所述的相机,其中,区域设置器调度两个或更多个区域的对象检测。
15.根据权利要求10所述的相机,其中,区域设置器接收由用户指定的位置作为区域信息。
16.根据权利要求10所述的相机,其中,区域设置器接收在输入图像中检测到的事件作为区域信息。
17.根据权利要求16所述的相机,其中,所述区域的位置和尺寸根据事件发生位置和事件发生区域的尺寸而变化。
18.根据权利要求16所述的相机,其中,所述事件是对象的移动。
19.一种服务器的图像处理方法,所述图像处理方法包括:
从相机接收通过改变具有原始分辨率的第一分辨率图像而获得的第二分辨率图像;
将用于对区域进行设置的设置信息发送到相机;
接收从与基于设置信息的第二分辨率图像的设置区域对应的第一分辨率图像的对应区域提取的图像数据;
分析提取的图像数据并检测与设置条件对应的对象;以及
在显示器上的第二分辨率图像中显示基于第一分辨率图像检测到的对象。
20.根据权利要求19所述的图像处理方法,其中,在所述区域中显示根据所述区域的尺寸和将被检测的对象的类型中的至少一个而变化的能够在所述区域中检测到的对象的最小尺寸。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170009932A KR20180086048A (ko) | 2017-01-20 | 2017-01-20 | 카메라 및 카메라의 영상 처리 방법 |
KR10-2017-0009932 | 2017-01-20 | ||
PCT/KR2018/000909 WO2018135906A1 (ko) | 2017-01-20 | 2018-01-19 | 카메라 및 카메라의 영상 처리 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110199316A true CN110199316A (zh) | 2019-09-03 |
CN110199316B CN110199316B (zh) | 2023-05-09 |
Family
ID=62908471
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880007841.1A Active CN110199316B (zh) | 2017-01-20 | 2018-01-19 | 相机和相机的图像处理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11037013B2 (zh) |
KR (1) | KR20180086048A (zh) |
CN (1) | CN110199316B (zh) |
WO (1) | WO2018135906A1 (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210350570A1 (en) * | 2018-11-13 | 2021-11-11 | Sony Corporation | Image processing device, image processing method, and program |
CN109948494B (zh) * | 2019-03-11 | 2020-12-29 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
US11263467B2 (en) * | 2019-05-15 | 2022-03-01 | Apical Limited | Image processing |
KR102238322B1 (ko) * | 2019-11-22 | 2021-04-08 | 주식회사 엘지유플러스 | 반려 동물 모니터링을 위한 장치 및 방법 |
KR102315386B1 (ko) * | 2019-12-24 | 2021-10-20 | 아주대학교 산학협력단 | 오브젝트 검출 시스템 및 그 동작 방법 |
CN113989124B (zh) * | 2021-12-27 | 2022-04-19 | 浙大城市学院 | 一种提升云台摄像机定位精度的系统及其控制方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6333792B1 (en) * | 1997-02-28 | 2001-12-25 | Canon Kabushiki Kaisha | Resolution conversion module, printer driver with resolution conversion module, and image resolution conversion method |
US20090279738A1 (en) * | 2008-05-08 | 2009-11-12 | Denso Corporation | Apparatus for image recognition |
US20120027304A1 (en) * | 2010-07-28 | 2012-02-02 | International Business Machines Corporation | Semantic parsing of objects in video |
JP2012142809A (ja) * | 2010-12-28 | 2012-07-26 | Techno Scope:Kk | 画像処理装置、および画像処理方法 |
EP3028247A1 (en) * | 2013-07-31 | 2016-06-08 | MBDA UK Limited | Image processing |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20040065753A (ko) | 2003-01-16 | 2004-07-23 | 엘지전자 주식회사 | Roi 추출 장치 및 그 방법 |
KR101225062B1 (ko) | 2006-03-10 | 2013-01-23 | 삼성전자주식회사 | 이미지 프레임의 선택적 출력 장치 및 방법 |
JP5016541B2 (ja) | 2008-04-01 | 2012-09-05 | 富士フイルム株式会社 | 画像処理装置および方法並びにプログラム |
KR101081973B1 (ko) | 2008-12-08 | 2011-11-09 | 한국전자통신연구원 | 음원 추정을 이용한 관심영상영역 검출 장치, 그를 이용한 얼굴 검출 시스템 및 그 방법 |
KR20140112774A (ko) | 2013-03-14 | 2014-09-24 | 삼성전자주식회사 | 이미지 편집 방법, 저장 매체 및 단말 |
KR20160053155A (ko) | 2014-10-31 | 2016-05-13 | 주식회사 가온 | 사진얼굴 판별을 포함하는 얼굴인식 기술을 이용한 이러닝에서의 부정행위 방지 방법 |
EP3035238A1 (en) | 2014-12-19 | 2016-06-22 | Tata Consultancy Services Limited | Video surveillance system and method for fraud detection |
-
2017
- 2017-01-20 KR KR1020170009932A patent/KR20180086048A/ko active Search and Examination
-
2018
- 2018-01-19 CN CN201880007841.1A patent/CN110199316B/zh active Active
- 2018-01-19 WO PCT/KR2018/000909 patent/WO2018135906A1/ko active Application Filing
- 2018-01-19 US US16/478,392 patent/US11037013B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6333792B1 (en) * | 1997-02-28 | 2001-12-25 | Canon Kabushiki Kaisha | Resolution conversion module, printer driver with resolution conversion module, and image resolution conversion method |
US20090279738A1 (en) * | 2008-05-08 | 2009-11-12 | Denso Corporation | Apparatus for image recognition |
US20120027304A1 (en) * | 2010-07-28 | 2012-02-02 | International Business Machines Corporation | Semantic parsing of objects in video |
JP2012142809A (ja) * | 2010-12-28 | 2012-07-26 | Techno Scope:Kk | 画像処理装置、および画像処理方法 |
EP3028247A1 (en) * | 2013-07-31 | 2016-06-08 | MBDA UK Limited | Image processing |
Also Published As
Publication number | Publication date |
---|---|
US20190370591A1 (en) | 2019-12-05 |
WO2018135906A1 (ko) | 2018-07-26 |
CN110199316B (zh) | 2023-05-09 |
US11037013B2 (en) | 2021-06-15 |
KR20180086048A (ko) | 2018-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110199316A (zh) | 相机和相机的图像处理方法 | |
US10810438B2 (en) | Setting apparatus, output method, and non-transitory computer-readable storage medium | |
US10445887B2 (en) | Tracking processing device and tracking processing system provided with same, and tracking processing method | |
IL256885A (en) | Device and methods for facial recognition and video analysis for identifying individuals in the context of video streaming | |
US10360572B2 (en) | Image processing system, method and computer program product for evaluating level of interest based on direction of human action | |
US10909388B2 (en) | Population density determination from multi-camera sourced imagery | |
KR102144394B1 (ko) | 영상 정합 장치 및 이를 이용한 영상 정합 방법 | |
CN109816745A (zh) | 人体热力图展示方法及相关产品 | |
CN110765828A (zh) | 视觉识别方法及其系统 | |
RU2713876C1 (ru) | Способ и система выявления тревожных событий при взаимодействии с устройством самообслуживания | |
CN115273208A (zh) | 轨迹生成方法、系统、装置及电子设备 | |
JP2007172378A (ja) | 注視対象物体特定装置 | |
CN109858319A (zh) | 图像处理设备及控制方法和非暂时性计算机可读存储介质 | |
JP5152281B2 (ja) | 画像処理装置、方法及びプログラム | |
KR101926510B1 (ko) | 광각카메라를 이용한 안면인식 기반의 광역 감시 시스템 | |
JP6939065B2 (ja) | 画像認識用コンピュータプログラム、画像認識装置及び画像認識方法 | |
RU2679200C1 (ru) | Способ и система отображения данных с видеокамеры | |
US11481996B2 (en) | Calculation device, information processing method, and storage medium | |
US20220092511A1 (en) | Computer-Implemented Method, System and Computer Program for Providing Audit Records That Relate to Technical Equipment | |
JP2022062412A (ja) | 情報処理装置 | |
CN107526479B (zh) | 一种传感器采集的环境量的显示方法、装置及系统 | |
JP2020191590A (ja) | 画像処理装置、システム、画像処理装置の制御方法、及び、プログラム | |
JPWO2021131050A5 (zh) | ||
CN113379838B (zh) | 虚拟现实场景的漫游路径的生成方法和存储介质 | |
KR101926435B1 (ko) | 시간압축방식을 이용한 객체 추적 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder | ||
CP01 | Change in the name or title of a patent holder |
Address after: Gyeonggi Do city of South Korea Patentee after: Hanhua Vision Co.,Ltd. Address before: Gyeonggi Do city of South Korea Patentee before: HANWHA TECHWIN Co.,Ltd. |