CN117546461A - 图像处理系统和摄像装置 - Google Patents
图像处理系统和摄像装置 Download PDFInfo
- Publication number
- CN117546461A CN117546461A CN202180099794.XA CN202180099794A CN117546461A CN 117546461 A CN117546461 A CN 117546461A CN 202180099794 A CN202180099794 A CN 202180099794A CN 117546461 A CN117546461 A CN 117546461A
- Authority
- CN
- China
- Prior art keywords
- image
- processing
- image processing
- unit
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 338
- 238000003384 imaging method Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims description 35
- 238000012544 monitoring process Methods 0.000 abstract description 78
- 238000004891 communication Methods 0.000 abstract description 29
- 238000000034 method Methods 0.000 description 28
- 238000001514 detection method Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 13
- 230000026676 system process Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
Abstract
监视摄像头(110)具备：摄像部(111)，其生成图像数据；分割处理部(112)，其在对该图像执行的图像处理的处理负荷大于预定的负荷的情况下，将该图像分割为处理图像和对象图像；图像处理部(113)，其对处理图像执行图像处理；以及通信部(115)，其将对处理图像执行的图像处理的结果即第1图像处理结果和表示对象图像的对象图像数据发送到终端装置(140)。终端装置(140)具备：通信部(141)，其接收第1图像处理结果和对象图像数据；图像处理部(142)，其对对象图像数据所示的对象图像执行图像处理；以及管理部(144)，其通过综合第1图像处理结果和对对象图像执行的图像处理的结果即第2图像处理结果而取得单一的结果。
Description
技术领域
本公开涉及图像处理系统和摄像装置。
背景技术
存在如下技术：针对由监视摄像头拍摄到的图像，进行通过内置于监视摄像头中的处理器等实时地识别被摄体等的处理。在这样的技术中，在监视摄像头中，进行高度的图像处理，因此，根据时刻变化的图像的内容，监视摄像头的处理能力可能不足。
在专利文献1中公开如下方法：使处理负荷分散到与监视摄像头连接的其他装置，以弥补监视摄像头的处理能力的不足。
现有技术文献
专利文献
专利文献1：日本特开2014-102691号公报
发明内容
发明要解决的问题
但是，在以往的方法中，将一部分处理转移到其他装置且由其他装置执行该一部分处理，因此存在如下问题：在所转移的一部分处理的处理负荷较高的情况下，执行该一部分处理的装置的处理负荷变高，原本执行该一部分处理的装置的处理负荷产生余裕，产生无用转移。
于是，本公开的一个或多个方式的目的在于，在充分利用摄像装置的处理能力的同时，适当地与其他装置进行负荷分散。
用于解决问题的手段
本公开的一个方式的图像处理系统具备摄像装置和终端装置，其特征在于，所述摄像装置具备：摄像部，其拍摄图像，生成表示所述图像的图像数据；分割处理部，其在对所述图像执行的图像处理的处理负荷大于预定的负荷的情况下，将所述图像分割为处理图像和对象图像；第1图像处理部，其对所述处理图像执行所述图像处理；以及发送部，其将对所述处理图像执行的所述图像处理的结果即第1图像处理结果和表示所述对象图像的对象图像数据发送到所述终端装置，所述终端装置具备：接收部，其接收所述第1图像处理结果和所述对象图像数据；第2图像处理部，其对所述对象图像数据所示的所述对象图像执行所述图像处理；以及取得部，其通过综合所述第1图像处理结果和第2图像处理结果而取得一个结果，该第2图像处理结果是对所述对象图像执行的所述图像处理的结果。
本公开的一个方式的摄像装置的特征在于，所述摄像装置具备：摄像部，其拍摄图像，生成表示所述图像的图像数据；分割处理部，其在对所述图像执行的图像处理的处理负荷大于预定的负荷的情况下，将所述图像分割为处理图像和对象图像；图像处理部，其对所述处理图像执行所述图像处理；以及发送部，其将对所述处理图像执行的所述图像处理的结果即图像处理结果和表示所述对象图像的对象图像数据发送到终端装置。
发明的效果
根据本公开的一个或多个方式，能够在充分利用摄像装置的处理能力的同时，适当地与其他装置进行负荷分散。
附图说明
图1是概要地示出作为实施方式1和2的图像处理系统的监视摄像头系统的结构的框图。
图2是概要地示出实施方式1中的分割处理部的结构的框图。
图3的(A)和(B)是示出硬件结构例的框图。
图4是用于说明特定人物识别处理的概要图。
图5是示出实施方式1中的监视摄像头的动作的流程图。
图6是示出图像的一例的概要图。
图7是用于说明对图像进行分割的第1例的概要图。
图8的(A)和(B)是示出在实施方式1中被分割的图像的概要图。
图9是示出实施方式1中的终端装置的动作的流程图。
图10是概要地示出实施方式2中的分割处理部的结构的框图。
图11是用于说明对图像进行分割的第2例的概要图。
图12是示出在实施方式2中被分割的图像的概要图。
具体实施方式
实施方式1.
接着，使用附图对实施方式进行说明。在附图中，针对相同的部分标注了相同的标号。
此外，附图是示意性的图，各尺寸的比率等与现实的情况不同。因此，具体的尺寸等应参照以下的说明来判断。此外，在附图相互之间当然包括彼此的尺寸关系或比率不同的部分。
图1是概要地示出作为实施方式1的图像处理系统的监视摄像头系统100的结构的框图。
监视摄像头系统100具备作为摄像装置的监视摄像头110、以及终端装置140。
监视摄像头110和终端装置140与网络101连接，由监视摄像头110拍摄到的图像的图像数据和由监视摄像头110执行的图像处理的结果被送至终端装置140。此外，也从终端装置140向监视摄像头110发送控制信息等。
监视摄像头110拍摄所设置的周围，执行预定的图像处理，或者根据拍摄到的图像或按照来自终端装置140的指示来执行图像处理，向终端装置140发送拍摄到的图像的图像数据和图像处理结果。
图像处理结果例如是表示包括图像内所包含的人物的矩形区域的坐标信息、或者在图像内拍摄到的物体的估计结果等。
另外，监视摄像头110也可以设置在与终端装置140分离的场所。
如图1所示，监视摄像头110具备摄像部111、分割处理部112、图像处理部113、存储部114以及通信部115。
摄像部111拍摄图像，生成表示该图像的图像数据。例如，摄像部111具备拍摄周围的状况的摄像元件、以及转换为图像数据的A/D转换部。图像数据被提供给分割处理部112。
分割处理部112对来自摄像部111的图像数据进行解析，由此，根据对该图像数据执行图像处理时的处理负荷来确定由监视摄像头110执行处理的图像。
例如，分割处理部112在对图像数据所示的图像执行的图像处理的处理负荷大于作为某一固定负荷的预定的负荷的情况下，将该图像分割为处理图像和对象图像。处理图像是由监视摄像头110处理的图像。此外，对象图像是由终端装置140处理的图像，是从图像数据所示的图像中分割出处理图像之后的剩余图像。
这里，某一固定负荷可以是由监视摄像头110进行的全部处理中的能够分配给图像处理的负荷，也可以是每次根据在执行图像处理时由监视摄像头110执行的处理的合计而计算出的负荷。
另外，分割处理部112在处理负荷是预定的负荷以下的情况下，不对来自摄像部111的图像数据进行分割，将该图像数据交接给图像处理部113。在该情况下，图像处理部113对该图像数据所示的图像执行图像处理，通信部115将对该图像数据所示的图像执行的图像处理的结果发送到终端装置140。
然后，分割处理部112在从图像处理部113收到图像处理结果时，生成表示该图像处理结果的图像处理结果数据并使通信部115向终端装置140发送。
此外，分割处理部112在处理负荷重且进行了图像的分割的情况下，生成包含对象图像数据和图像处理内容数据的处理指示数据，并使通信部115向终端装置140发送该处理指示数据，其中，该对象图像数据表示从图像数据所示的图像中分割出处理图像之后的剩余图像即对象图像，该图像处理内容数据表示图像处理的内容。
另外，在预先决定了要执行的图像处理的情况下，也可以不向终端装置140发送表示图像处理的内容的图像处理内容数据。
图2是概要地示出分割处理部112的结构的框图。
分割处理部112具备预处理部120、负荷判断部121、分割区域控制部122、以及图像分割部123。
预处理部120针对来自摄像部111的图像数据所示的图像，执行图像处理部113进行图像处理所需的预处理，将该预处理的结果即预处理结果交接给负荷判断部121。这里的预处理的结果用于判断该图像处理的处理负荷。
负荷判断部121基于来自预处理部120的预处理结果，判断执行了图像处理时的负荷即处理负荷是否比预定的负荷大。
例如，在摄像部111以包含一个或多个被摄体的方式拍摄图像的情况下，负荷判断部121在该一个或多个被摄体的数量比阈值多的情况下，判断为处理负荷比预定的负荷大。
在判断为处理负荷比预定的负荷大的情况下，分割区域控制部122决定如何对图像数据所示的图像进行分割。然后，分割区域控制部122按照该决定，对图像分割部123进行分割的指示。在分割的指示中，包含表示如何对图像进行分割的分割方法。
例如，分割区域控制部122在处理负荷比预定的负荷大的情况下，决定将图像数据所示的图像分割为处理图像和对象图像。
这里，分割区域控制部122决定从图像中分割的处理图像，使得对处理图像执行的图像处理在预定的时间内完成。
例如，分割区域控制部122决定从图像中分割的处理图像，使得包含在图像数据所示的图像中的一个或多个被摄体内的、包含在处理图像中的被摄体的数量成为预定数量。
图像分割部123按照来自分割区域控制部122的指示，对图像数据进行处理。
例如，在来自分割区域控制部122的指示是进行分割的指示的情况下，图像分割部123按照该指示，将图像数据所示的图像分割为处理图像和对象图像，生成表示处理图像的处理图像数据和表示对象图像的对象图像数据。所生成的对象图像数据被提供给图像处理部113。
另外，在来自分割区域控制部122的指示是不进行分割的指示的情况下，图像分割部123将来自摄像部111的图像数据提供给图像处理部113。
返回到图1，图像处理部113针对从分割处理部112提供的处理图像数据所示的处理图像或者来自摄像部111的图像数据所示的图像，执行图像处理。图像处理可以是通过一个步骤进行的处理，也可以是通过多个步骤进行的处理。然后，图像处理部113将图像处理的结果即图像处理结果提供给分割处理部112。另外，也将图像处理部113称为第1图像处理部，将图像处理部113对处理图像执行的图像处理的结果称为第1图像处理结果。
存储部114存储监视摄像头110中的处理所需的程序和数据。
通信部115经由网络101与终端装置140进行通信。例如，通信部115作为将第1图像处理结果和对象图像数据发送到终端装置140的发送部发挥功能，该第1图像处理结果是对处理图像执行的图像处理的结果。此外，通信部115也作为将对来自摄像部111的图像数据所示的图像执行的图像处理的结果发送到终端装置140的发送部发挥功能。
以上所记载的分割处理部112和图像处理部113中的一部分或全部例如能够如图3(A)所示那样，由存储器10和执行存储器10所存储的程序的CPU(Central ProcessingUnit：中央处理单元)等处理器11构成。这样的程序可以通过网络来提供，也可以记录在记录介质中来提供。即，这样的程序例如也可以作为程序产品来提供。
此外，分割处理部112和图像处理部113中的一部分或全部例如也能够如图3(B)所示那样由单一电路、复合电路、程序化的处理器、并行程序化的处理器、ASIC(ApplicationSpecific Integrated Circuit：专用集成电路)或FPGA(Field Programmable GateArray：现场可编程门阵列)等处理电路12构成。
如以上那样，分割处理部112和图像处理部113能够由处理电路网构成。
另外，存储部114能够由易失性或非易失性的存储器等存储装置实现。
通信部115能够由NIC(Network Interface Card：网络接口卡)等通信装置实现。
返回到图1，终端装置140是如下装置：将经由网络101从监视摄像头110发送的图像数据记录于在图1中未记载的存储介质，或者使用监视器向用户显示图像。此外，终端装置140接收从监视摄像头110发送的对象图像数据和图像处理内容数据，针对接收到的对象图像数据，执行图像处理内容数据所示的处理内容的处理。
如图1所示，终端装置140具备通信部141、图像处理部142、存储部143、以及管理部144。
通信部141经由网络101与监视摄像头110进行通信。例如，通信部141作为接收第1图像处理结果和对象图像数据的接收部发挥功能，该第1图像处理结果是在监视摄像头110中对处理图像执行的图像处理的结果。
图像处理部142对图像数据执行预定的处理。这里，预定的处理除了包含预定由终端装置140执行的处理之外，还包含从监视摄像头110发送的图像处理内容数据所示的处理内容的处理。
例如，图像处理部142对对象图像数据所示的对象图像执行图像处理。这里，也将图像处理部142称为第2图像处理部，也将对对象图像执行的图像处理的结果称为第2图像处理结果。
存储部143存储终端装置140中的处理所需的程序和数据。
管理部144进行终端装置140的整体的动作的管理。整体的动作除了包含将由通信部141接收到的图像数据记录于适当的存储介质(未图示)或者指示显示给用户之外，还包含在通信部141从监视摄像头110接收到包含对象图像数据和图像处理内容数据的处理指示数据时，指示图像处理部142对接收到的对象图像数据执行图像处理内容数据所示的图像处理。
此外，管理部144作为如下的取得部发挥功能，该取得部通过综合在监视摄像头110中对处理图像执行的图像处理的结果即第1图像处理结果和对对象图像执行的图像处理的结果即第2图像处理结果，取得一个结果。
综合为一个结果的图像处理结果可以当做与不分割由摄像部111拍摄到的图像数据而由图像处理部113执行了图像处理的情况等同的结果。
以上所记载的图像处理部142和管理部144中的一部分或全部例如也能够如图3(A)所示那样，由存储器10和执行存储器10所存储的程序的CPU等处理器11构成。这样的程序可以通过网络来提供，也可以记录在记录介质中来提供。即，这样的程序例如也可以作为程序产品来提供。换言之，终端装置140能够由所谓的计算机实现。
此外，图像处理部142和管理部144中的一部分或全部例如也能够如图3(B)所示那样由单一电路、复合电路、程序化的处理器、并行程序化的处理器、ASIC或FPGA等处理电路12构成。
如以上那样，图像处理部142和管理部144能够由处理电路网构成。
另外，存储部143能够由易失性或非易失性的存储器等存储装置实现。
通信部141能够由NIC等通信装置实现。
接着，来说明实施方式1的监视摄像头系统100所进行的作为系统处理的监视处理的概要。
这里，监视处理例如是图4所示的特定人物识别处理P1。特定人物识别处理P1包括检测人物的人物检测P1-1、对检测到的人物的面部的位置进行估计的面部位置估计P1-2、识别检测到的人物的面部的面部认证P1-3、将从检测到的人物中识别出的面部与存储于数据库的面部进行对照的数据库对照P1-4、以及根据对照的结果来判定检测到的人物是否为特定的人物的人物判定P1-5。
特定人物识别处理P1是从图像数据中提取人物的面部并判定预先保持的数据库中是否存在相应的人物的处理。以下，作为监视处理的一例，使用特定人物识别处理P1进行说明，但本实施方式不限定于这样的例子。
这里，将特定人物识别处理P1内的面部位置估计P1-2、面部认证P1-3、数据库对照P1-4及人物判定P1-5设为图像处理，将人物检测P1-1设为用于估计作为后处理的图像处理(P1-2～P1-5)的处理负荷的预处理。但是，本实施方式的预处理不限定于人物检测P1-1，只要是能够判断图像处理的处理负荷的处理即可，可以是任何的处理。
图5是示出实施方式1中的监视摄像头110的动作的流程图。
首先，摄像部111将由摄像元件得到的信号转换成图像数据从而生成图像数据(S10)。摄像部111将该图像数据交接给分割处理部112。
分割处理部112的预处理部120对来自摄像部111的图像数据执行作为预处理的人物检测P1-1(S11)。
例如，在图像数据表示图6所示的图像IM1的情况下，预处理部120检测人物的人数和位置作为执行了人物检测P1-1的结果。在图6的例子中，检测到四个人物和四个人物的位置。
另外，作为人物检测P1-1，使用利用了HOG(Histograms of Oriented Gradients：定向梯度直方图)特征量的人物检测或者利用了Haar-like特征量的人物检测等通常广泛知晓的公知技术即可。
这里，如图7所示，预处理部120将图像IM1分为预定的多个区域即4个区域R1～R4，按照每个区域R1～R4来检测人物及其位置。然后，预处理部120根据在每个区域R1～R4中检测到的人物来确定图像IM1内的人数。
接着，负荷判断部121根据预处理部120中的检测结果，判断针对图像数据的图像处理的处理负荷是否大于某个阈值(S12)。这里，将某个阈值设为针对图像数据的图像处理在预定的时间以内完成、或者估计在执行该图像处理时可从监视摄像头110执行的全部处理中分配为针对图像数据的图像处理的时间以内完成的处理负荷，由此，这里的判断成为判断针对图像数据的图像处理是否在预定的时间以内完成。具体而言，基于由预处理部120检测到的人物的数量是否比作为预定的人数的阈值多来进行判断。另外，例如，如图7所示，也可以基于在根据图像IM1划分的区域R1～R4的任意区域中人物的密度是否比预定的阈值高来进行判断。
然后，在处理负荷为阈值以下的情况下(步骤S12中的否)，处理进入步骤S13，在处理负荷比阈值大的情况下(步骤S12中的是)，处理进入步骤S14。
在步骤S13中，判断为图像处理在预定的时间以内完成，因此，分割区域控制部122通过对图像分割部123进行指示，将由摄像部111得到的图像数据直接提供给图像处理部113。然后，图像处理部113对该图像数据所示的图像执行图像处理。这里，图像处理部113对图像数据所示的图像执行特定人物识别处理P1中的预处理以外的面部位置估计P1-2、面部认证P1-3、数据库对照P1-4及人物判定P1-5。另外，在数据库对照P1-4中使用的数据库被存储于存储部114。然后，图像处理部113将作为图像处理的执行结果的图像处理结果提供给分割区域控制部122，分割区域控制部122生成表示图像处理结果的图像处理结果数据，使通信部115向终端装置140发送该图像处理结果数据。
另一方面，在步骤S14中，由于判断为图像处理不会在预定的时间以内完成，因此分割区域控制部122决定将图像数据所示的图像分割为能够处理的区域的图像即处理图像和除此以外的区域的图像即对象图像，决定处理图像和对象图像各自的区域。
例如，在预处理部120如图7所示那样分为预定的区域R1～R4并进行了人物检测P1-1的情况下，分割区域控制部122以处理图像所包含的人物的数量成为预定的阈值以下的方式决定处理图像即可。具体而言，在该阈值为“一人”的情况下，分割区域控制部122将区域R1和区域R2的图像设为处理图像，并使区域R3和区域R4成为对象图像即可。另外，也可以将区域R2和R3的图像设为处理图像，但这里，设水平方向的区域比垂直方向的区域优先。
详细而言，分割区域控制部122将人数最少的区域确定为判断区域，判断判断区域内的人物的数量是否为阈值以下。然后，分割区域控制部122在判断区域内的人物的数量为阈值以下的情况下，将与判断区域相邻的区域中的人数少的区域追加到判断区域，由此扩大判断区域，同样地判断判断区域内的人物的数量是否为阈值以下。分割区域控制部122通过重复进行以上的处理，将判断区域所包含的人数为阈值以下的最大的图像范围设为处理图像即可。
接着，图像分割部123按照分割区域控制部122中的决定，将来自摄像部111的图像数据所示的图像分割为处理图像和对象图像，生成表示处理图像的处理图像数据和表示对象图像的对象图像数据(S15)。例如，图像分割部123将图8(A)所示的图像设为处理图像，将图8(B)所示的图像设为对象图像。处理图像数据被提供给图像处理部113。
然后，分割区域控制部122使通信部115向终端装置140发送处理指示数据，该处理指示数据包含表示对象图像的对象图像数据和表示图像处理的内容的图像处理内容数据(S16)。例如，分割区域控制部122生成如下的图像处理内容数据即可，该图像处理内容数据示出作为由预处理部120执行人物检测P1-1的结果而得到的人物的人数和位置、以及特定人物识别处理P1中的预处理以外的面部位置估计P1-2、面部认证P1-3、数据库对照P1-4及人物判定P1-5的处理内容。另外，处理内容可以为记载了要执行的处理的程序，如果终端装置140保持有记载了要执行的处理的程序，则处理内容也可以为指定对应的程序的记号或字符串。
此外，图像处理部113在收到处理图像数据时，对该处理图像数据执行图像处理，将作为该处理结果的图像处理结果提供给分割区域控制部122。分割区域控制部122生成表示图像处理结果的图像处理结果数据，并使通信部115向终端装置140发送该图像处理结果数据(S17)。
图9是示出实施方式1中的终端装置140的动作的流程图。
这里，示出在由监视摄像头110进行图像的分割的情况下由终端装置140进行的动作。
首先，通信部141接收来自监视摄像头110的处理指示数据，向图像处理部142提供该处理指示数据(S20)。
图像处理部142针对包含在处理指示数据中的对象图像数据所示的对象图像，针对在处理指示数据中包含的图像处理内容数据所示的人物的人数和位置，执行特定人物识别处理P1中的预处理以外的面部位置估计P1-2、面部认证P1-3、数据库对照P1-4及人物判定P1-5，得到对象图像中的图像处理的结果即图像处理结果(S21)。对象图像中的图像处理结果被提供给管理部144。另外，用于进行数据库对照P1-4的数据库被存储在存储部143中。
此外，通信部141接收来自监视摄像头110的图像处理结果数据，将该图像处理结果数据提供给管理部144。然后，管理部144将来自通信部141的图像处理结果数据所示的图像处理结果和对象图像中的图像处理结果合并，综合为一个图像处理结果。
综合为一个结果的图像处理结果可当作与针对原始图像数据的特定人物识别处理P1的结果等同的结果(S22)。
根据以上内容，监视摄像头系统100能够在适当地进行了可由监视摄像头110执行的处理的基础上，与终端装置140之间进行负荷分散。
根据以上记载的实施方式1的监视摄像头系统100，通过根据监视摄像头110的处理能力来分割图像数据，从而无论要执行的处理所需的处理负荷如何，都能够适当地分配由监视摄像头110执行的处理。
根据实施方式1的监视摄像头系统100，能够将图像数据分割为与可由监视摄像头110执行的处理负荷相应的区域，因此能够有效地利用监视摄像头110的处理能力。
根据实施方式1的监视摄像头系统100，由监视摄像头110执行的图像数据的区域能够与不进行图像数据的分割的情况同样地实时执行处理，而不会产生网络传输的延迟。由此，即便在进行利用之前的图像的处理结果的图像处理的情况下，也能够无延迟地继续处理。
根据实施方式1的监视摄像头系统100，由于由监视摄像头110执行的图像数据的区域不通过网络101传输，因此，能够进行需要保持隐私的部分在监视摄像头110内执行处理这样的设定。
根据实施方式1的监视摄像头系统100，由于由监视摄像头110执行的图像数据的区域不通过网络101传输，因此，能够抑制网络的传输量，在网络的带宽不够的环境下也能够实现高度的图像处理。
根据实施方式1的监视摄像头系统100，由于由监视摄像头110执行的图像数据的区域不通过网络101传输，因此，相比于由终端装置执行全部图像处理的情况，即便终端装置的性能较低也能够实现高度的图像处理。
实施方式2.
如图1所示，作为实施方式2的图像处理系统的监视摄像头系统200具备监视摄像头210和终端装置140。
实施方式2的监视摄像头系统200的终端装置140与实施方式1的监视摄像头系统100的终端装置140相同。
如图1所示，监视摄像头210具备摄像部111、分割处理部212、图像处理部113、存储部114以及通信部115。
实施方式2中的监视摄像头210的摄像部111、图像处理部113、存储部114及通信部115与实施方式1中的监视摄像头110的摄像部111、图像处理部113、存储部114及通信部115相同。
分割处理部212通过对来自摄像部111的图像数据进行解析，从而根据执行针对该图像数据的图像处理时的处理负荷，来分割由监视摄像头210执行处理的图像。
另外，在实施方式2中也与实施方式1同样，作为系统处理，说明执行图4所示的特定人物识别处理P1的情况。
通常，对于特定人物识别处理P1中的面部认证P1-3和数据库对照P1-4，在执行处理的图像内占据的像素数越小则越难以识别。因此，例如，需要进行扩展处理而成为能够处理的大小或者执行多次处理从而提高处理的精度，处理负荷变大。
因此，在实施方式2中，分割处理部212将图像内的拍摄到监视摄像头110的附近的区域分割为处理图像，将与监视摄像头110之间存在距离的区域分割为对象图像，由此，来分散处理负荷。
例如，分割处理部212从图像中分割处理图像，使得在图像数据所示的图像中包含的一个或多个被摄体内的与摄像部111之间的距离从近到远的预定数量的被摄体包含在处理图像中。
图10是概要地示出实施方式2中的分割处理部212的结构的框图。
分割处理部212具备预处理部120、负荷判断部121、分割区域控制部222以及图像分割部123。
实施方式2中的分割处理部212的预处理部120、负荷判断部121及图像分割部123与实施方式1中的分割处理部112的预处理部120、负荷判断部121及图像分割部123相同。
分割区域控制部222在处理负荷比预定的负荷大的情况下，换言之，在由负荷判断部121判断为通过监视摄像头210不会在预定的时间以内完成图像处理的情况下，根据距由预处理部120检测到的人物的距离，来决定如何对图像数据进行分割。然后，分割区域控制部122按照该决定，对图像分割部123进行指示。
通常，监视摄像头210并不是可移动的，而是固定地设置于某个场所。因此，能够根据设置有监视摄像头210的场所来确定距由监视摄像头210拍摄到的图像中映出的人物的距离。
例如，如图6所示，在监视摄像头210从上方倾斜地拍摄地面的情况下，图像IM1的下方成为较近的距离，越靠图像的上方成为越远的距离。因此，分割区域控制部222能够根据在图像中拍摄到的人物的位置，粗略地确定距该人物的距离。
例如，在如上述那样图像的下方成为较近的距离的情况下，如图11所示，分割区域控制部222使用于分割图像IM1的边界L从图像IM1的下端向上方移动，能够将最大限度地包含可由监视摄像头210处理的人物的数量的区域设为处理图像，将剩余的部分设为对象图像。
在可由监视摄像头210处理的人物的数量例如是“3”的情况下，如图12所示，分割区域控制部222能够决定将包含三个人物的区域的图像IM2设为处理图像，将剩余区域的图像IM3设为对象图像来分割图像IM1。图像分割部123按照这样的决定对图像IM1进行分割，生成表示处理图像的处理图像数据和表示对象图像的对象图像数据即可。
如以上那样，根据实施方式2，即便在处理负荷取决于成为处理对象的被摄体在图像内占据的比例的情况下，也能够进行适当的负荷分散。
另外，在实施方式2中，在监视摄像头210具备用于测定距人物的距离的距离传感器(未图示)的情况下，分割区域控制部222也可以根据该距离传感器的检测结果来决定分割图像的方法。
在以上记载的实施方式1和2中，作为监视摄像头系统100、200进行的系统处理而进行了特定人物识别处理P1，但实施方式1和2不限定于这样的例子。
例如，作为系统处理，也可以进行眼捕获(eye-catch)的计数。在这样的情况下，作为预处理部120进行的预处理，进行与上述同样的人物检测，作为图像处理部113、142进行的图像处理，进行估计检测到的人物的面部的位置的面部位置估计、估计检测到的人物的面部的特征量的面部特征量估计、以及检测所检测到的人物的面部的朝向的面部朝向检测即可。
此外，作为系统处理，也可以进行可疑行动分析。在这样的情况下，作为预处理部120进行的预处理，进行与上述同样的人物检测，作为图像处理部113、142进行的图像处理，进行检测所检测到的人物的骨骼的骨骼检测、根据检测到的人物的骨骼来解析其行动的行动解析、以及根据检测到的人物的行动来检测可疑的行动的可疑行动检测即可。
此外，作为系统处理，也可以进行遗弃检测或遗忘物检测。在这样的情况下，作为预处理部120进行的预处理，进行对遗弃的物体进行检测的遗弃物检测，作为图像处理部113、142进行的图像处理，估计所检测到的物体是何物的物体估计、以及向中心等预定的目的地通知遗弃的物体的通知处理即可。另外，例如通过与先前图像的比较来进行遗弃物检测即可。
附图标记说明
100、200监视摄像头系统，110、210监视摄像头，111摄像部，112、212分割处理部，113图像处理部，114存储部，115通信部，120预处理部，121负荷判断部，122、222分割区域控制部，123图像分割部，140终端装置，141通信部，142图像处理部，143存储部，144管理部。
Claims (9)
1.一种图像处理系统，其具备摄像装置和终端装置，其特征在于，
所述摄像装置具备：
摄像部，其拍摄图像，生成表示所述图像的图像数据；
分割处理部，其在对所述图像执行的图像处理的处理负荷大于预定的负荷的情况下，将所述图像分割为处理图像和对象图像；
第1图像处理部，其对所述处理图像执行所述图像处理；以及
发送部，其将对所述处理图像执行的所述图像处理的结果即第1图像处理结果和表示所述对象图像的对象图像数据发送到所述终端装置，
所述终端装置具备：
接收部，其接收所述第1图像处理结果和所述对象图像数据；
第2图像处理部，其对所述对象图像数据所示的所述对象图像执行所述图像处理；以及
取得部，其通过综合所述第1图像处理结果和第2图像处理结果而取得一个结果，该第2图像处理结果是对所述对象图像执行的所述图像处理的结果。
2.根据权利要求1所述的图像处理系统，其特征在于，
在所述处理负荷为所述预定的负荷以下的情况下，所述第1图像处理部对所述图像执行所述图像处理，所述发送部将对所述图像执行的所述图像处理的结果发送到所述终端装置。
3.根据权利要求1或2所述的图像处理系统，其特征在于，
所述对象图像是从所述图像中分割出所述处理图像后的剩余图像。
4.根据权利要求1至3中的任意一项所述的图像处理系统，其特征在于，
所述分割处理部从所述图像中分割所述处理图像，使得对所述处理图像执行的所述图像处理在预定的时间内完成。
5.根据权利要求1至4中的任意一项所述的图像处理系统，其特征在于，
所述摄像部以所述图像中包含一个或多个被摄体的方式拍摄所述图像，
所述分割处理部在所述一个或多个被摄体的数量比阈值多的情况下，判断为所述处理负荷大于所述预定的负荷。
6.根据权利要求5所述的图像处理系统，其特征在于，
所述分割处理部从所述图像中分割所述处理图像，使得所述一个或多个被摄体内的包含在所述处理图像中的被摄体的数量成为预定数量。
7.根据权利要求6所述的图像处理系统，其特征在于，
所述分割处理部从所述图像中分割所述处理图像，使得所述一个或多个被摄体内的与所述摄像部之间的距离从近到远的所述预定数量的被摄体包含在所述处理图像中。
8.根据权利要求1至7中的任意一项所述的图像处理系统，其特征在于，
所述分割处理部根据对所述图像执行了预处理而得到的结果，来判断所述处理负荷是否大于所述预定的负荷，该预处理是进行所述图像处理所需要的处理。
9.一种摄像装置，其特征在于，具备：
摄像部，其拍摄图像，生成表示所述图像的图像数据；
分割处理部，其在对所述图像执行的图像处理的处理负荷大于预定的负荷的情况下，将所述图像分割为处理图像和对象图像；
图像处理部，其对所述处理图像执行所述图像处理；以及
发送部，其将对所述处理图像执行的所述图像处理的结果即图像处理结果和表示所述对象图像的对象图像数据发送到终端装置。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2021/024775 WO2023276050A1 (ja) | 2021-06-30 | 2021-06-30 | 画像処理システム及び撮像装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117546461A true CN117546461A (zh) | 2024-02-09 |
Family
ID=84691665
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180099794.XA Pending CN117546461A (zh) | 2021-06-30 | 2021-06-30 | 图像处理系统和摄像装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20240119598A1 (zh) |
| JP (1) | JP7483140B2 (zh) |
| CN (1) | CN117546461A (zh) |
| DE (1) | DE112021007910T5 (zh) |
| WO (1) | WO2023276050A1 (zh) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3612220B2 (ja) * | 1998-09-18 | 2005-01-19 | 株式会社東芝 | 人物監視方法 |
| JP2010136032A (ja) | 2008-12-04 | 2010-06-17 | Hitachi Ltd | 映像監視システム |
| JP2014102691A (ja) | 2012-11-20 | 2014-06-05 | Toshiba Corp | 情報処理装置、通信機能を持つカメラ、および情報処理方法 |
| JP2015073191A (ja) * | 2013-10-02 | 2015-04-16 | キヤノン株式会社 | 画像処理システムおよびその制御方法 |
| US9354794B2 (en) * | 2014-07-07 | 2016-05-31 | Google Inc. | Method and system for performing client-side zooming of a remote video feed |
-
2021
- 2021-06-30 JP JP2023531246A patent/JP7483140B2/ja active Active
- 2021-06-30 WO PCT/JP2021/024775 patent/WO2023276050A1/ja active Application Filing
- 2021-06-30 CN CN202180099794.XA patent/CN117546461A/zh active Pending
- 2021-06-30 US US18/571,737 patent/US20240119598A1/en active Pending
- 2021-06-30 DE DE112021007910.7T patent/DE112021007910T5/de active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20240119598A1 (en) | 2024-04-11 |
| JPWO2023276050A1 (zh) | 2023-01-05 |
| JP7483140B2 (ja) | 2024-05-14 |
| WO2023276050A1 (ja) | 2023-01-05 |
| DE112021007910T5 (de) | 2024-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10867166B2 (en) | Image processing apparatus, image processing system, and image processing method | |
| KR101687530B1 (ko) | 촬상 시스템에 있어서의 제어방법, 제어장치 및 컴퓨터 판독 가능한 기억매체 | |
| JP6921694B2 (ja) | 監視システム | |
| US8938092B2 (en) | Image processing system, image capture apparatus, image processing apparatus, control method therefor, and program | |
| CN112470033A (zh) | 雷达数据处理装置、物体判别装置、雷达数据处理方法以及物体判别方法 | |
| US11132538B2 (en) | Image processing apparatus, image processing system, and image processing method | |
| CN111382637B (zh) | 行人检测跟踪方法、装置、终端设备及介质 | |
| US12087040B2 (en) | Information processing device, information processing method, and program recording medium | |
| JP2012068961A (ja) | 走路推定装置及びプログラム | |
| CN110991231B (zh) | 活体检测方法、装置、服务器和人脸识别设备 | |
| KR102022971B1 (ko) | 영상의 객체 처리 방법 및 장치 | |
| CN110992426A (zh) | 姿势识别方法和装置、电子设备及存储介质 | |
| CN110688950B (zh) | 基于深度信息的人脸活体检测方法、装置 | |
| JP2008035301A (ja) | 移動体追跡装置 | |
| JP7165353B2 (ja) | 画像特徴量出力装置、画像認識装置、画像特徴量出力プログラム、及び画像認識プログラム | |
| CN107516074B (zh) | 一种认证识别方法及系统 | |
| CN115082326A (zh) | 视频去模糊的处理方法、边缘计算设备及中心处理器 | |
| JP7104523B2 (ja) | 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム | |
| CN117546461A (zh) | 图像处理系统和摄像装置 | |
| KR20230060439A (ko) | 실물 촬영 이미지 여부 식별 방법 및 시스템 | |
| CN112580462B (zh) | 一种特征点选择方法、终端和存储介质 | |
| CN112016514B (zh) | 一种交通标志识别方法、装置、设备及储存介质 | |
| JP5777389B2 (ja) | 画像処理装置、画像処理システム及び画像処理方法 | |
| CN113496162A (zh) | 停车规范识别方法、装置、计算机设备和存储介质 | |
| JP7218416B2 (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |