CN113412625A - 图像处理装置、图像处理方法和图像处理系统 - Google Patents

图像处理装置、图像处理方法和图像处理系统 Download PDF

Info

Publication number
CN113412625A
CN113412625A CN202080012689.3A CN202080012689A CN113412625A CN 113412625 A CN113412625 A CN 113412625A CN 202080012689 A CN202080012689 A CN 202080012689A CN 113412625 A CN113412625 A CN 113412625A
Authority
CN
China
Prior art keywords
image
pixels
averaging
sensing
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080012689.3A
Other languages
English (en)
Inventor
手塚忠则
中村刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN113412625A publication Critical patent/CN113412625A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/66—Transforming electric information into light information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Dentistry (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Image Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

该图像处理装置包括平均化处理单元和生成单元。平均化处理单元针对各网格，在空间方向上以N×M像素为单位对输入图像进行平均化，各个网格由一个或多个像素组成，其中N和M是等于或大于2的整数。输入图像由S×T像素组成，这些像素具有每像素a位的信息量，其中，S和T是正整数，a是2的幂。生成单元将平均化结果定义为具有每像素a+b位的信息量，并且生成由具有每像素a+b位的信息量的(S×T)/(N×M)像素组成的缩小图像，其中b是等于或大于2的整数。

Description

图像处理装置、图像处理方法和图像处理系统
技术领域
本发明涉及对输入图像进行处理的图像处理装置、图像处理方法和图像处理系统。
背景技术
专利文献1公开了一种运动图像编码装置，该运动图像编码装置基于参考图像和待编码图像的关注块来生成预测图像，从该预测图像和该关注块获得误差图像，基于该误差图像和该预测图像生成局部解码图像，获得该局部解码图像和该关注块之间的差分并对该差分进行压缩以生成压缩差分图像，并将该压缩差分图像写入存储器中。根据该运动图像编码装置，可以减少为了使用局部解码图像而写入存储器的数据量。
现有技术文献
专利文献
专利文献1：日本特开2011-259325
发明内容
发明要解决的问题
然而，在根据专利文献1的结构中，为了获得局部解码图像和关注块之间的差分所创建的差分图像的数据是通过尾数处理来四舍五入的(即，截断低位)。由于专利文献1的目的是减少传送至帧存储器单元的压缩差分图像的数据量，因此截断用于生成压缩差分图像的差分图像的数据的低位。因此，即使试图使用由运动图像编码装置压缩图像来感测图像中的物体的诸如运动信息或生物信息等的特征的有无，通过上述尾数处理(即，舍入处理)难以检测运动信息或生物信息这一可能性也高，并且存在适当的感测变得困难的问题。
本发明的目的是提供一种图像处理装置、图像处理方法和图像处理系统，该图像处理装置、图像处理方法和图像处理系统能够有效地压缩输入图像以减少数据大小，同时防止压缩图像中的物体的运动信息或生物信息的有无的检测精度劣化。
用于解决问题的方案
本发明提供一种图像处理装置，包括：平均化处理单元，用于针对由一个像素或多个像素组成的各网格，在空间方向上以N×M像素为单位对输入图像进行平均化，所述输入图像由具有每像素a位的信息量的(S×T)像素组成，其中，N和M是2或更大的整数，S和T是正整数，a是2的幂；以及生成单元，用于按每像素(a+b)位的信息量来定义针对各像素或网格的以N×M像素为单位的平均化结果，并且生成由具有每像素(a+b)位的信息量的(S×T)/(N×M)像素组成的缩小图像，其中，b是2或更大的整数。b的值是接近于(N×M)的2的幂值的指数c或者(c+1)，其中，c是正整数。
另外，本发明提供一种图像处理装置中的图像处理方法，所述图像处理方法包括以下步骤：针对由一个像素或多个像素组成的各网格，在空间方向上以N×M像素为单位对输入图像进行平均化，所述输入图像由具有每像素a位的信息量的(S×T)像素组成，其中，N和M是2或更大的整数，S和T是正整数，a是2的幂；以及按每像素(a+b)位的信息量来定义针对各像素或网格的以N×M像素为单位的平均化结果，并且生成由具有每像素(a+b)位的信息量的(S×T)/(N×M)像素组成的缩小图像，其中，b是2或更大的整数。b的值是接近于(N×M)的2的幂值的指数c或者(c+1)，其中，c是正整数。
此外，本发明提供一种图像处理系统，在所述图像处理系统中，图像处理装置和感测装置连接以彼此进行通信。所述图像处理装置：针对由一个像素或多个像素组成的各网格，在空间方向上以N×M像素为单位对输入图像进行平均化，所述输入图像由具有每像素a位的信息量的(S×T)像素组成，其中，N和M是2或更大的整数，S和T是正整数，a是2的幂；以及按每像素(a+b)位的信息量来定义针对各像素或网格的以N×M像素为单位的平均化结果，生成由具有每像素(a+b)位的信息量的(S×T)/(N×M)像素组成的缩小图像，并且将所述缩小图像发送至所述感测装置，其中，b是2或更大的整数。所述感测装置使用从所述图像处理装置发送来的所述缩小图像来感测物体的运动信息或生物信息。b的值是接近于(N×M)的2的幂值的指数c或者(c+1)，其中，c是正整数。
发明的效果
根据本发明，可以有效地压缩输入图像以减少数据大小，同时防止压缩图像中的物体的运动信息或生物信息的有无的检测精度劣化。
附图说明
图1是示出根据实施例的图像处理系统的结构示例的图。
图2是示出图像处理系统的操作的概要的图。
图3是示出输入图像和缩小图像各自的示例的图。
图4是说明通过像素相加和平均的图像压缩的图。
图5是说明对输入图像进行的8×8像素的像素相加和平均的图。
图6是示出相加和平均像素数表的登记内容的图。
图7是示出缩小图像的生成定时的图。
图8是示出输入图像的像素值数据的图。
图9是示出在像素相加和平均中未进行舍入处理的像素值数据和进行了舍入处理的像素值数据的图。
图10是说明在不进行舍入处理的情况下进行像素相加和平均的情况下的像素信号的有效分量的图。
图11是示出比较例1、比较例2和比较例3各自中的利用舍入处理的像素相加和平均之后的图像值数据、以及根据第一实施例的不利用舍入处理的像素相加和平均之后的图像值数据的图。
图12是示出根据第一实施例的图像处理系统的感测操作过程的流程图。
图13是示出步骤S2中的图像缩小处理过程的流程图。
图14是示出步骤S12中的网格单位缩小处理过程的流程图。
图15是示出指示与感测对象相对应的特定大小的特定大小选择表的登记内容的图。
图16是示出根据第一实施例的第一变形例的图像处理系统的感测操作过程的流程图。
图17是示出在步骤S2A中生成多个大小的缩小图像的过程的流程图。
图18是示出一体型感测装置的结构的图。
具体实施方式
以下将适当地参考附图来详细说明具体公开根据本发明的图像处理装置、图像处理方法和图像处理系统的结构和操作的实施例。然而，可以省略不必要详细的说明。例如，可以省略对众所周知的事项的详细说明或对基本上相同的结构的重复说明。这是为了避免以下说明中的不必要的冗余，并促进本领域技术人员的理解。附图和以下的说明是为了本领域技术人员充分理解本发明而提供的，并且不旨在限制权利要求书中所述的主题。
图1是示出根据本实施例的图像处理系统5的结构示例的图。图像处理系统5包括照相机10、个人计算机(PC)30、控制装置40和云服务器50。照相机10、PC 30、控制装置40和云服务器50连接到网络NW并且可以彼此进行通信。照相机10可以以有线或无线方式直接连接到PC 30，或者可以一体地设置在PC 30中。
在图像处理系统5中，PC 30或云服务器50对构成照相机10所拍摄到的运动图像的各帧图像进行压缩以供控制装置40所进行的感测(参考以下的说明)用，以减少运动图像的数据量。因此，可以减少网络NW的数据的通信量(业务量)。此时，PC 30或云服务器50在沿空间方向(即，在垂直大小和水平大小方面)缩小从照相机10输入的运动图像的数据、并且在不会沿时间方向减少运动图像中的被摄体的运动信息或生物信息的情况下维持该运动信息或生物信息的同时，对该数据进行压缩。PC 30或云服务器50例如进行构成所拍摄到的运动图像的帧图像的感测，并且基于与感测结果相对应的感测信息来控制控制装置40的操作(参考以下的说明)。
照相机10拍摄用作感测对象的被摄体的图像。感测对象是被摄体(例如，人类)的生物信息(以下可称为“生命信息”)、被摄体的微小运动、时间方向上的短期运动或时间方向上的长期运动。被摄体的生命信息的示例包括人类的有无、脉搏和心率波动。被摄体的微小运动的示例包括轻微身体运动和呼吸运动。被摄体的短期运动的示例包括人类或物体的运动和抖动。被摄体的长期运动的示例包括流线、诸如家具等的物体的布置、采光(太阳光、夕阳)、以及入口或窗户的位置。
照相机10包括诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)等的固态摄像元件(即，图像传感器)，使来自被摄体的光成像，将所形成的光学图像转换成电气信号，并输出视频信号。从照相机10输出的视频信号被作为运动图像数据输入到PC 30。照相机2的数量不限于一个，并且可以是多个。照相机10可以是能够发射近红外光并接收反射光的红外照相机。照相机10可以是固定照相机，或者可以是能够进行平移、倾斜和变焦的平移倾斜变焦(PTZ)照相机。照相机10是感测装置的示例。感测装置除了可以是照相机之外，还可以是能够获取被摄体的拍摄图像的热像仪或扫描仪等。
作为图像处理装置的示例的PC 30压缩从照相机10输入的拍摄图像(上述的帧图像)以生成缩小图像。在下文，从照相机10输入的拍摄图像可被称为“输入图像”。PC 30代替输入来自照相机10的拍摄图像，可以输入云服务器50中所累积的运动图像或拍摄图像。PC30包括处理器31、存储器32、显示单元33、操作单元34、图像输入接口36和通信单元37。在图1中，为方便起见，接口缩写为“I/F”。
处理器31控制PC 30的各单元的操作，并且是使用中央处理单元(CPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等构成的。处理器31控制PC 30的各单元的操作。处理器31用作PC 30的控制单元，并且进行用于整体控制PC 30的各单元的操作的控制处理、针对PC 30的各单元的数据输入/输出处理、数据计算处理和数据存储处理。处理器31根据存储器32内的ROM中所存储的程序的执行而进行操作。
处理器31包括：平均化处理单元31a，用于在空间方向上以N×M像素(N、M：2或更大的整数)为单位对来自照相机10的输入图像进行平均化；缩小图像生成单元31b，用于基于以N×M像素为单位的平均化结果来生成缩小图像；以及感测处理单元31c，用于使用缩小图像来感测物体的运动信息或生物信息。当处理器31执行存储器32中预先存储的程序时，平均化处理单元31a、缩小图像生成单元31b和感测处理单元31c被实现为功能结构。感测处理单元31c可以通过在云服务器50处执行程序来构成。
存储器32存储诸如输入图像等的运动图像数据、各种类型的计算数据和程序等。存储器32包括主存储装置(例如，随机存取存储器(RAM)或只读存储器(ROM))。存储器32可以包括辅助存储装置(例如，硬盘驱动器(HDD)或固态驱动器(SSD))或三级存储装置(例如，光盘或SD卡)。
显示单元33显示运动图像、缩小图像和感测结果等。显示单元33包括液晶显示装置、有机电致发光(EL)装置或另一显示装置。
操作单元34从用户接收各种类型的数据和信息的输入。操作单元34包括鼠标、键盘、触摸垫、触摸面板、麦克风或其它输入装置。
当照相机10直接连接到PC 30时，图像输入接口36输入照相机10所拍摄到的图像数据(包括运动图像或静止图像的数据)。图像输入接口36包括能够进行有线连接的接口，诸如能够高速传送图像数据的高清晰度多媒体接口(HDMI)(注册商标)或通用串行总线(USB)Type-C等。当照相机10无线连接时，图像输入接口36包括诸如短距离无线通信(例如，蓝牙(Bluetooth，注册商标)通信)等的接口。
通信单元37以无线或有线方式与连接到网络NW的其它装置进行通信，并且发送和接收诸如图像数据和各种计算结果等的数据。通信方法的示例可以包括诸如广域网(WAN)、局域网(LAN)、电力线通信、短距离无线通信(例如，蓝牙(Bluetooth，注册商标)通信)和移动电话用通信等的通信方法。
控制装置40是根据来自PC 30或云服务器50的指示所控制的装置。控制装置40的示例包括能够改变风向和风量等的空调、以及能够调整照明位置和光量等的灯。
作为感测装置的示例的云服务器50包括处理器、存储器、存储装置和通信单元(均未示出)，与PC 30类似，具有用于压缩输入图像以生成缩小图像的功能和用于使用缩小图像来感测物体的运动信息或生物信息的功能，并且可以从连接至网络NW的大量照相机10输入图像数据。
图2是示出图像处理系统5的操作的概要的图。以下所述的图像处理系统5的主要操作可以由作为图像处理装置的示例的PC 30或者云服务器50来进行。通常，当数据处理量小时，用作边缘终端的PC 30可以执行该处理，并且当数据处理量大时，云服务器50可以执行该处理。这里，为了使说明容易理解，示出PC 30主要执行该处理的情况。
照相机10拍摄诸如办公室(参见图3)等的被摄体的图像，并将所拍摄到的运动图像输出或发送至PC 30。PC 30获取来自照相机10的输入图像中所包括的各帧图像作为输入图像GZ。这种输入图像GZ的数据大小倾向于随着诸如4K或8K等的高清晰度(HD)类中的图像质量越高而增加。
PC 30压缩作为压缩之前的原始图像的输入图像GZ，并且生成并获得具有多个类型的数据大小(参见以下)的缩小图像SGZ。在该图像压缩期间，PC30对输入图像GZ进行例如8×8像素、16×16像素、32×32像素、64×64像素和128×128像素的不同类型的像素相加和平均处理(平均化处理的示例)，并获得缩小图像SGZ1～SGZ5(参见图2)。当进行所有这些类型的像素相加和平均时，信息量(数据大小)被压缩为作为原始图像的输入图像GZ的约8％的信息量(数据大小)。因此，同各个缩小图像SGZ1～SGZ5的12个帧相对应的数据量与同作为原始图像的输入图像GZ1的帧相对应的数据量相同。当进行除8×8像素的像素相加和平均以外的其它类型的像素相加和平均(即，16×16像素、32×32像素、64×64像素和128×128像素)时，信息量(数据大小)被压缩为作为原始图像的输入图像GZ的约2％的信息量(数据大小)。因此，同各个缩小图像SGZ2～SGZ5的50个帧相对应的数据量与同作为原始图像的输入图像GZ1的帧相对应的数据量相同。
PC 30基于在时间方向上累积的N(N是任意自然数)个帧的缩小图像SGZ来进行感测。在感测中，作为被摄体(例如，人类)的生命信息的示例，进行脉搏检测、人类位置检测处理和运动检测处理。在PC 30中，可以进行超低频时间滤波处理和机器学习等。PC 30基于感测结果来控制控制装置40的操作。例如，当控制装置40是空调时，PC 30指示空调改变从空调吹出的风的方向和风量等。
图3是示出输入图像GZ和缩小图像SGZ各自的示例的图。输入图像GZ是照相机10所拍摄到的原始图像，并且例如是在办公室中拍摄到的并且在压缩之前的图像。缩小图像SGZ例如是通过PC 30对输入图像GZ进行8×8像素的像素相加和平均所获得的缩小图像。在输入图像GZ中，办公室中的情形被清楚地显示。在办公室中，存在诸如人类运动等的运动。另一方面，在缩小图像SGZ中，指示办公室中的情形的图像质量是以劣化状态显示的，但由于保持了诸如人类的运动等的运动信息，因此适合于感测。
图4是说明通过像素相加和平均的图像压缩的图。在图像压缩期间，PC 30针对输入图像GZ，在不进行舍入处理(换句话说，将小数点之后的尾数四舍五入的整数转换处理)的情况下，进行例如8×8像素、16×16像素、32×32像素、64×64像素和128×128像素的像素相加和平均，并且分别获得缩小图像SGZ1、SGZ2、SGZ3、SGZ4、SGZ5。当进行像素相加和平均时，PC 30保持小数点之后的值作为像素值。当保持小数点之后的值时，图像值例如以单精度浮点格式表示。这里，输入图像中的微小变化有可能出现在像素值的小数点之后的值中。因此，PC 30保持小数点之后的值作为像素相加和平均之后的像素值，使得即使在压缩期间也可以捕捉到作为原始图像的输入图像中存在的被摄体的微小变化。
当进行8×8像素、16×16像素、32×32像素、64×64像素和128×128像素的像素相加和平均时，如上所述，这些缩小图像被压缩到原始图像的约8％的数据量。当使用这些缩小图像来进行感测处理时，PC 30可以减少感测处理所需的计算量。因此，PC 30可以实时地进行感测处理。
PC 30可以进行任一个或多个类型的像素相加和平均，而不进行所有这五个类型的像素相加和平均。当进行任一个或多个类型的像素相加和平均时，PC 30可以根据感测对象来选择像素相加和平均。例如，8×8像素的相加和平均可用于运动检测或人类检测。64×64像素和128×128像素的相加和平均可用于作为生命信息的脉搏检测。所有这五个类型的像素相加和平均可用于长时间运动检测，例如慢抖动检测。这样，在限制为一个或多个类型的像素相加和平均的情况下，数据量的压缩率高于在进行所有类型的像素相加和平均的情况下的数据量的压缩率。PC 30可以显著减少感测处理所需的计算量。
图5是说明对输入图像GZ进行的8×8像素的像素相加和平均的图。输入图像GZ的一个像素具有a(a：2的幂)位的信息量(例如，8位，换句话说灰度为0～255的信息量)。当在不进行舍入处理的情况下存储对输入图像GZ进行8×8像素(即，64像素)的像素相加和平均的结果时，能够存储255×作为经过像素相加和平均的像素数的“64”的数据量(＝16320)的位数可以是14位(＝0～16383)(16320<16383)。也就是说，在不进行舍入处理的情况下，可以用14位记录8×8像素的像素相加和平均之后的像素值。这里，在黑白图像的情况下，8×8像素的像素相加和平均之后的一个像素的信息量是(a+b)位(例如，14位(＝8+6))(b：2或更大的整数)，而在彩色图像的情况下，8×8像素的像素相加和平均之后的一个像素(RGB像素)的信息量是42位(＝(8+6)×3)。也就是说，不论图像是黑白图像还是彩色图像，b的值都是对应于与如下的乘积相同的2的幂的指数(c)、或者对应于大于该乘积的最接近的2的幂的指数(c+1)，该乘积为2^{输入图像GZ的每像素的信息量(a)}(＝2<a>)与用作进行像素相加和平均时的处理单位的像素数(在上述示例中为8×8＝64像素)的乘积。
当输入图像GZ由S×T(S、T：正整数，例如，S＝32，T＝24)像素组成时，8×8像素的像素相加和平均之后的缩小图像SGZ被缩小为作为原始图像的输入图像GZ的1/64，并且结果，在4×3像素(＝(S×T)/N×M)中，每像素的信息量被表示为14位。在这种情况下，在每像素的14位中，高8位是整数值，并且低6位是小数点之后的值(参见图10)。
图6是示出相加和平均像素数表Tb1的登记内容的图。在相加和平均像素数表Tb1中，登记在不进行舍入处理时在像素相加和平均之后的一个像素所需的位数(信息量)。
例如，当对具有每像素8位的数据量的输入图像进行8×8像素的像素相加和平均时，一个像素所需的位数(信息量)为14(＝8+6)，并且数据压缩率约为2.73％。当输入图像的分辨率是全高清大小的1920×1080像素时，缩小图像的分辨率是作为(1/8×8)倍的240×135像素。
类似地，当对具有每像素8位的数据量的输入图像进行16×16像素的像素相加和平均时，一个像素所需的位数(信息量)为16(＝8+8)，并且数据压缩率约为0.78％。当输入图像的分辨率为1920×1080像素时，缩小图像的分辨率为作为(1/16×16)倍的120×67像素。之后，类似地，当进行128×128像素的像素相加和平均时，一个像素所需的位数(信息量)为22(＝8+14)，并且数据压缩率约为0.017％。当输入图像的分辨率为1920×1080像素时，缩小图像的分辨率为作为(1/128×128)倍的15×8像素。
当通用处理器以单精度浮点格式存储数据时，由于尾数部分是23位，因此可以在不进行舍入处理的情况下存储直到128×128像素的像素相加和平均之后的像素值(其中，一个像素所需的位数(信息量)是22位)。
图7是示出缩小图像SGZ的生成定时的图。PC 30对于构成所输入的运动图像的各帧图像，沿着时间t方向按预定定时t1、t2、t3等对输入图像GZ进行像素相加和平均，并且生成缩小图像SGZ。各缩小图像SGZ的数据大小在空间方向上缩小(被压缩)，但在时间方向上未缩小(换句话说，缩小图像SGZ不是通过在时间方面间隔剔除数据来生成的)，并且缩小图像SGZ保持指示微小变化的信息。
这里，将详细说明在不进行舍入处理的情况下的效果。图8是示出输入图像GZ的像素值数据的图。图9是示出在像素相加和平均中未进行舍入处理的像素值数据和进行舍入处理的像素值数据的图。在各图中，纵轴表示像素值，并且横轴表示输入图像的预定线中的像素位置。
图8的图中的各点p表示输入图像GZ的各像素值(换句话说，原始数据)。曲线图gh1是在进行四个像素的像素相加和平均之前的拟合曲线(原始数据的曲线)，其通过例如最小二乘法被拟合到作为实际测量值的各点p的像素值。曲线图gh2表示在对各点p的像素值进行不利用舍入处理的四个像素的像素相加和平均的情况下的像素值的曲线。曲线图gh3表示在进行利用舍入处理的像素相加和平均的情况下的像素值的曲线。
曲线图gh2绘制了与曲线图gh1近似的曲线。特别地，曲线图gh2和曲线图gh1的峰值位置彼此一致。另一方面，曲线图gh3绘制了与曲线图gh1略微偏离的曲线。特别地，曲线图gh3和曲线图gh1的峰值位置彼此不一致而是彼此偏离。
因此，当使用曲线图gh3进行感测处理(例如，运动检测)时，由于在通过进行利用舍入处理的像素相加和平均所获得的数据中、峰值位置相对于输入图像GZ的各像素值(换句话说，原始数据)偏移，因此可能发生误差并且可能无法检测到准确的运动位置。相反，在通过进行不利用舍入处理的四个像素的像素相加和平均所获得的数据中，由于峰值位置与输入图像GZ的各像素值(换句话说，原始数据)一致，因此可以在感测处理中准确地检测到运动位置。
图10是说明在不进行舍入处理的情况下进行像素相加和平均的情况下的像素信号的有效分量的图。这里，照相机10所拍摄到的图像包括由诸如CCD或CMOS等的固态摄像元件(图像传感器)引起的光散粒噪声(换句话说，光子噪声)。光子噪声是在图像传感器检测到从外太空中的天体飞入的光子时产生的。在对像素值进行平均化并且平均化所使用的像素数为N的情况下，光散粒噪声具有噪声量为1/N<(1/2)>倍的特性。
例如，当进行8×8像素的像素相加和平均时，噪声量是1/8倍。因此，8位数据的最低有效位的噪声分量(例如，±1的噪声)(在图中由×表示)向低侧偏移了三位。当噪声分量向低侧偏移了三位时，像素信号的有效分量(在图中由○表示)增加了低二位。也就是说，通过在不进行舍入处理的情况下进行像素相加和平均，可以以高精度恢复像素信号。
类似地，当进行16×16像素的像素相加和平均时，噪声量是1/16倍。因此，最低有效位的噪声向低侧偏移了四位。当噪声分量向低水平偏移了四位时，像素信号的有效分量增加了低三位。因此，可以以更高的精度恢复像素信号。
图11是示出比较例1、比较例2和比较例3各自中的利用舍入处理的像素相加和平均之后的图像值数据、以及根据本实施例的不利用舍入处理的像素相加和平均之后的图像值数据的图。根据比较例1的曲线图gh21表示在进行利用舍入处理(整数舍入)的128×128像素的像素相加和平均之后的图。根据比较例1的曲线图gh21几乎不表示像素值数据的微小变化。
根据比较例2的曲线图gh22表示通过在进行利用舍入处理的64×64像素的像素相加和平均之后进行不利用舍入处理的四个像素的像素相加和平均所获得的图。根据比较例2的曲线图gh22表示像素值数据的趋势，但未准确地反映像素值数据的值。
根据比较例3的曲线图gh23表示在进行利用舍入处理的32×32像素的像素相加和平均之后进行不利用舍入处理的16像素的相加和平均所获得的图。根据比较例3的曲线图gh23与比较例1和比较例2相比类似于根据本实施例的曲线图gh11，并且在一定程度上准确地反映像素值数据。然而，在由符号a1指示的区域中，峰值位置偏离。
这样，比较例1、比较例2和比较例3的曲线图gh21、gh22、gh23不像根据本实施例的不利用舍入处理的像素相加和平均之后的像素值数据的曲线图gh11那样准确地反映像素值数据。
接着，将说明根据第一实施例的图像处理系统5的操作。
图12是示出根据第一实施例的图像处理系统5的感测操作过程的流程图。图12所示的处理例如由PC 30执行。
在图12中，PC 30的处理器31经由图像输入接口36输入照相机10所拍摄到的运动图像数据(即，构成运动图像数据的各帧图像的数据)(S1)。照相机10所拍摄到的运动图像例如是帧速率为60fps的图像。各帧单位的图像被作为输入图像(原始图像)GZ输入到PC30。
处理器31的平均化处理单元31a对输入图像GZ进行像素相加和平均。处理器31的缩小图像生成单元31b生成特定大小的缩小图像SGZ(S2)。这里，特定大小由N×M像素表示，并且例如是8×8像素(N＝M＝8)。
处理器31的感测处理单元31c基于缩小图像SGZ来进行用于判断输入图像GZ中的变化的有无的感测处理(S3)。处理器31输出感测处理的结果(S4)。作为感测处理的结果，例如，处理器31可以在照相机10所拍摄到的拍摄图像上叠加显示标记，使得容易从视觉上识别出在拍摄图像中出现的微小变化。当作为感测处理的结果、在拍摄图像中出现的运动信息移动时，处理器31可以控制控制装置40以匹配移动目的地。
图13是示出步骤S2中的图像缩小处理过程的流程图。这里，示出通过进行N×M像素的像素相加和平均来生成缩小图像的情况。处理器31的平均化处理单元31a按网格单位对输入图像GZ进行分割。网格gd是通过以k×l(k、l：2或更大的整数)像素为单位对输入图像GZ进行分割所获得的区域。分割后的各网格gd由网格编号(G1、G2、…、Gn)表示。这里，示出将输入图像GZ分割成以k(例如，5)×l(例如，7)像素为单位的网格gd并且网格编号的最大值GN是35的情况。
处理器31将表示网格编号的变量i设置为初始值1(S11)。处理器31对第i个网格gd进行缩小处理(S12)。后面将说明缩小处理的详情。处理器31将第i个网格gd的缩小处理的结果写入存储器32中(S13)。
处理器31使变量i增加值1(S14)。处理器31判断变量i是否超过网格编号的最大值GN(S15)。当变量i不超过网格编号的最大值GN时(S15中为“否”)，处理器31的处理返回到步骤S12，并且处理器31针对下一网格gd重复相同的处理。另一方面，当在步骤S15中变量i超过网格编号的最大值GN时(S15中为“是”)，即当对所有网格gd进行了缩小处理时，处理器31结束图13所示的处理。
图14示出步骤S12中的网格单位缩小处理过程的流程图。网格gd包括N×M像素。N、M可以是2的幂，或者可以不是2的幂。例如，N×M可以是10×10或50×50等。网格中的各像素由用作地址的像素位置的变量idx指定。处理器31将网格值U设置为初始值0(S21)。处理器31将表示网格中的像素位置的变量idx设置为值1(S22)。处理器31读取变量idx的像素位置处的像素值val(S23)。处理器31将像素值val与网格值U相加(S24)。
处理器31使变量idx增加值1(S25)。处理器31判断变量idx是否超过值N×M(S26)。当变量idx不超过值N×M时(S26中为“否”)，处理器31的处理返回到步骤S23，并且处理器31对下一网格重复相同的处理。
另一方面，当在步骤S26中变量idx超过值N×M时(S26中为“是”)，处理器31根据数学式(1)将N×M像素的像素相加和平均之后的网格值U除以N×M，并计算该网格的像素值vg(S27)。
[数学式1]
vg＝U÷(N×M)...(1)
处理器31将N×M像素的像素相加和平均之后的网格的像素值vg(即，数学式(1)的计算结果)作为网格gd的缩小处理的结果返回到原始处理(S28)。之后，处理器31结束网格单位缩小处理并返回到原始处理。
这里，当生成作为特定大小的N×M像素的相加和平均之后的缩小图像时，N×M像素是固定的或任意设置的(例如，被设置为8×8像素)。特定大小可以由处理器31设置为适合于感测对象的大小。
图15是示出指示与感测对象相对应的特定大小的特定大小选择表Tb2的登记内容的图。特定大小选择表Tb2预先登记在存储器32中，并且登记内容可以由处理器31参考。
在特定大小选择表Tb2中，当感测对象是短期运动时，将8×8像素登记为表示特定大小的N×M像素。当感测对象是长期运动(慢运动)时，例如，登记16×16像素。当感测对象是作为生命信息的脉搏波时，登记64×64像素。当感测对象是其它生命信息时，登记128×128像素。
例如，当经由操作单元34从用户输入感测对象时，在步骤S2的处理中，处理器31可以参考特定大小选择表Tb2，并选择与感测对象相对应的特定大小。因此，可以准确地捕捉由于感测对象的图像而引起的变化。
这样，在根据第一实施例的图像处理系统5中，PC 30以N×M像素为单位对来自照相机10的输入图像进行像素相加和平均，并且当不对通过平均化处理所获得的像素值数据进行舍入处理(即，整数转换处理)时(即，当降低空间方向上的分辨率并且压缩图像信息量时)，保持小数点水平的值。通过不对小数点水平的值进行舍入处理，可以在保持在时间方向上具有微小变化的信息(图像感测所需的数据)的同时压缩图像信息量。因此，PC 30可以减少感测处理的处理量和数据存储所需的存储器量。
如上所述，在根据本实施例的图像处理系统5中，PC 30包括平均化处理单元31a和缩小图像生成单元31b。平均化处理单元31a例如对于由64个像素(一个像素或多个像素)组成的各网格，在空间方向上以8×8像素(N×M像素(N、M：2或更大的整数))为单位，对由具有每像素8位的信息量的32×24像素组成的输入图像GZ进行平均化。缩小图像生成单元31b按每像素(8+6)位的信息量定义针对各像素或网格的以8×8像素(N×M像素)为单位的平均化结果，并且生成由具有每像素(8+6)位的信息量的32×24/8×8像素组成的缩小图像SGZ。这里，b是6(接近于(N×M)的2的幂值的指数c(c：正整数)、或者(c+1))。感测处理单元31c使用缩小图像SGZ来感测物体的运动信息或生物信息。
因此，图像处理系统5可以有效地压缩构成从照相机10输入的运动图像的各图像(帧图像)并减少数据大小。图像处理系统5可以在有效地压缩输入图像的同时，防止压缩图像中的物体的运动信息或生物信息的有无的检测精度(换句话说，在压缩处理之后进行的感测处理的精度)的劣化。
PC 30还包括感测处理单元31c，该感测处理单元31c使用缩小图像SGZ来感测物体的运动信息或生物信息。每当将输入图像GZ输入时，缩小图像生成单元31b将与输入图像GZ相对应地生成的缩小图像SGZ输出到感测处理单元31c。因此，PC 30可以基于照相机10所拍摄到的运动图像来实时地检测被摄体的运动信息和生物信息的变化。
平均化处理单元31a在不进行舍入处理的情况下，将平均化结果发送到缩小图像生成单元31b。因此，当PC 30减小空间方向上的大小以生成缩小图像并减少数据量时，PC30不对小数点之后的数据进行舍入处理，由此防止时间方向上的信息丢失。因此，PC 30可以准确地捕捉输入图像中的微小变化。
平均化处理单元31a使用缩小图像SGZ来获取物体的运动信息或生物信息的感测的类型信息，根据该类型信息来选择N×M的值，并且以N×M像素为单位进行平均化。因此，平均化处理单元31a可以使用适合于感测对象(类型信息)的缩小图像来进行感测，并且可以准确地捕捉感测对象的微小变化。
PC 30还包括感测处理单元31c，该感测处理单元31c使用缩小图像SGZ来感测物体的运动信息和生物信息。平均化处理单元31a选择与运动信息的感测相对应的8×8(第一N×M)的值和与生物信息的感测相对应的64×64(至少一个第二N×M)的值，并且使用N×M的各个值来以N×M像素为单位进行平均化。因此，PC 30可以使用适合于物体的运动信息的缩小图像来进行感测。另外，PC 30可以使用适合于生物信息的缩小图像来进行感测。
平均化处理单元31a以具有M、N的不同值的多个N×M像素为单位对输入图像进行平均化。缩小图像生成单元31b通过对多个N×M像素单位进行平均化来生成多个缩小图像SGZ1、SGZ2等。作为使用多个缩小图像SGZ1、SGZ2等进行感测的结果，感测处理单元31c选择适合于感测物体的运动信息或生物信息的缩小图像。因此，即使感测对象是未知的并且适合于感测对象的缩小图像不是预先已知的，也可以通过使用所生成的缩小图像实际测试感测来利用最佳的缩小图像进行感测。
(第一实施例的第一变形例)
接着，将说明第一实施例的第一变形例。根据第一实施例的第一变形例的图像处理系统的结构与根据第一实施例的图像处理系统5的结构相同。
图16是示出根据第一实施例的第一变形例的图像处理系统5的感测操作过程的流程图。与图12所示的步骤处理相同的步骤处理由相同的步骤编号表示，将简化或省略对该步骤处理的说明，并且将说明不同的内容。
在图16中，处理器31经由图像输入接口36输入照相机10所拍摄到的运动图像数据(S1)。
处理器31的平均化处理单元31a将输入图像作为原始图像以多个大小进行压缩，并且缩小图像生成单元31b生成各大小的多个缩小图像(S2A)。当生成多个大小的缩小图像时，期望这多个大小至少包括8×8像素、64×64像素和128×128像素。
处理器31的感测处理单元31c例如使用以8×8像素为单位的缩小图像来进行作为输入图像中的变化的运动的感测(运动检测处理的示例)(S3A)。此外，处理器31使用以64×64像素为单位和以128×128像素为单位的缩小图像来进行作为输入图像中的变化的脉搏波的感测(脉搏波检测处理的示例)(S3B)。处理器31输出检测处理的结果(S4)。
图17是示出步骤S2A中的用于生成多个大小的缩小图像的过程的流程图。
在图17中，平均化处理单元31a将输入图像作为原始图像进行压缩，并且缩小图像生成单元31b生成以8×8像素为单位的缩小图像(S51)。平均化处理单元31a将输入图像作为原始图像进行压缩，并且缩小图像生成单元31b生成以16×16像素为单位的缩小图像(S52)。平均化处理单元31a将输入图像作为原始图像进行压缩，并且缩小图像生成单元31b生成以32×32像素为单位的缩小图像(S53)。平均化处理单元31a将输入图像作为原始图像进行压缩，并且缩小图像生成单元31b生成以64×64像素为单位的缩小图像(S54)。平均化处理单元31a将输入图像作为原始图像进行压缩，并且缩小图像生成单元31b生成以128×128像素为单位的缩小图像(S55)。之后，处理器31返回到原始处理。
这样，平均化处理单元31a以具有M、N的不同值的多个N×M像素为单位对输入图像进行平均化。缩小图像生成单元31b通过对多个N×M像素单位进行平均化来生成多个缩小图像SGZ1、SGZ2等。作为使用这多个缩小图像SGZ1、SGZ2等进行感测的结果，感测处理单元31c选择适合于感测物体的运动信息或生物信息的缩小图像，之后使用所选择的缩小图像来进行感测处理。因此，即使感测对象是未知的并且适合于感测对象的缩小图像不是预先已知的，也可以通过使用所有的缩小图像实际测试感测来利用最佳的缩小图像进行感测处理。
当以预定数量的像素进行相加和平均时，处理器可以以逐步方式进行像素数量的相加和平均。例如，当处理器31以16×16像素为单位对输入图像进行相加和平均时，处理器31可以首先以8×8像素为单位对输入图像进行像素相加和平均，并且以2×2像素为单位对作为平均化结果的缩小图像进行像素相加和平均。类似地，当处理器以32×32像素为单位对输入图像进行像素相加和平均时，处理器可以首先以16×16像素为单位对输入图像进行像素相加和平均，并且以2×2像素为单位对作为平均化结果的缩小图像进行像素相加和平均。
也就是说，当对于各网格以N×M像素为单位对输入图像进行平均化时，处理器可以顺次地重复以下处理：通过使用通过将M分解成乘积形式所获得的预定数量的第一因子和通过将N分解成乘积形式所获得的预定数量的第二因子来以一组第一因子×第二因子的像素为单位对输入图像进行平均化，并且以剩余的一组第一因子×其它的第二因子的像素为单位对该平均化结果进行平均化，直到使用了所有的预定数量的第一因子和预定数量的第二因子为止。
这样，可以获得与以少量像素为单位重复进行相加和平均并且一次以大量像素为单位进行相加和平均的情况相同的平均化结果，并且可以减少数据处理量。
(第一实施例的第二变形例)
在第一实施例中，照相机10、PC 30和控制装置40被配置为单独的装置。在第一实施例的第二变形例中，照相机10、PC 30和控制装置40可以容纳在同一壳体中并且被配置为一体型感测装置。图18是示出一体型感测装置100的结构的图。一体型感测装置100包括容纳在壳体100z中的照相机110、PC 130和控制装置140。照相机110、PC 130和控制装置140分别具有与根据上述实施例的照相机10、PC 30和控制装置40相同的功能结构。作为示例，当将一体型感测装置100应用于空调时，照相机110布置在空调的壳体的前表面上。PC 130内置于壳体中，使用照相机110所拍摄到的运动图像的各帧图像作为输入图像来生成缩小图像，使用缩小图像来进行感测处理，并将感测处理结果输出到控制装置140。在一体型感测装置100的情况下，可以省略PC的显示单元和操作单元。控制装置140基于感测处理结果根据来自计算机130的指示来控制操作。当控制装置140是空调主体时，控制装置140调整风向和风量。
在一体型感测装置100的情况下，可以以紧凑的方式设计图像处理系统。当感测装置100是便携型时，可以将感测装置100移动到任何场所并进行安装调整。即使在不存在网络环境的场所也可以使用感测装置100。
尽管以上已经参考附图说明了各种实施例，但不用说，本发明不限于这些示例。本领域技术人员将显而易见，可以在权利要求书的范围内构思各种改变、修改、替换、添加、删除和等同物，并且应当理解，这些改变也属于本发明的技术范围。可以在不背离本发明精神的范围内任选地组合上述实施例中的组件。
例如，在上述实施例中，例如将60fps的视频例示为运动图像，但可以使用时间连续的帧图像、例如每秒约五个连续的静止图像。
除上述实施例之外，图像处理系统可用于体育运动、动物、看护、行车记录仪、交叉口监控、运动图像、康复和显微镜等。在体育运动中，例如，图像处理系统可用于运动检查或形式检查等。在动物中，图像处理系统可用于活动区域或动线等。在看护中，图像处理系统可用于婴儿或老年院中的生命体征、活动量或睡眠期间的翻滚等。在行车记录仪中，图像处理系统可用于检测在所拍摄到的视频中示出的车辆周围的运动。在交叉口监控中，图像处理系统可用于交通量、动线和信号无视量。在运动图像中，图像处理系统可用于提取帧量中所包括的特征。在康复中，图像处理系统可用于从生命体征或运动等确认效果。在显微镜中，图像处理系统可用于自动检测慢运动等。
本申请基于2019年2月6日提交的日本专利申请(日本专利申请2019-019740)，其内容通过引用而被并入本文。
产业上的可利用性
本发明可用作图像处理装置、图像处理方法和图像处理系统，该图像处理装置、图像处理方法和图像处理系统能够在图像处理中，有效地压缩输入图像以减少数据大小，并防止压缩图像中的物体的运动信息或生物信息的有无的检测精度劣化。
附图标记说明
5 图像处理系统
10,110 照相机
30,130 PC
31 处理器
31a 平均化处理单元
31b 缩小图像生成单元
31c 感测处理单元
32 存储器
33 显示单元
34 操作单元
36 图像输入接口
37 通信单元
40,140 控制装置
50 云服务器
100 感测装置

Claims (8)

1.一种图像处理装置，包括：
平均化处理单元，用于针对由一个像素或多个像素组成的各网格，在空间方向上以N×M像素为单位对输入图像进行平均化，所述输入图像由具有每像素a位的信息量的(S×T)像素组成，其中，N和M是2或更大的整数，S和T是正整数，a是2的幂；以及
生成单元，用于按每像素(a+b)位的信息量来定义针对各像素或网格的以N×M像素为单位的平均化结果，并且生成由具有每像素(a+b)位的信息量的(S×T)/(N×M)像素组成的缩小图像，其中，b是2或更大的整数，
其中，b的值是接近于(N×M)的2的幂值的指数c或者(c+1)，其中，c是正整数。
2.根据权利要求1所述的图像处理装置，还包括：
感测处理单元，用于使用所述缩小图像来感测物体的运动信息或生物信息，
其中，每当输入所述输入图像时，所述生成单元将与所述输入图像相对应地生成的所述缩小图像输出到所述感测处理单元。
3.根据权利要求1所述的图像处理装置，
其中，所述生成单元在不对所述平均化结果进行舍入处理的情况下，按每像素(a+b)位的信息量来定义所述平均化结果。
4.根据权利要求1所述的图像处理装置，
其中，所述平均化处理单元使用所述缩小图像来获取物体的运动信息或生物信息的感测的类型信息，根据所述类型信息来选择(N×M)的值，并且以(N×M)像素为单位进行平均化。
5.根据权利要求1所述的图像处理装置，还包括：
感测处理单元，用于使用所述缩小图像来感测物体的运动信息和生物信息，
其中，所述平均化处理单元选择与所述运动信息的感测相对应的第一(N×M)的值和与所述生物信息的感测相对应的至少一个第二(N×M)的值，并且使用(N×M)的各个值来以(N×M)像素为单位进行平均化。
6.根据权利要求2所述的图像处理装置，
其中，所述平均化处理单元使用具有M和N的不同值的多个对，来以所述多个对中的N×M像素为单位对所述输入图像进行平均化，
其中，所述生成单元生成数量与通过以N×M像素为单位对所述多个对进行平均化所获得的对数相同的缩小图像，以及
其中，所述感测处理单元基于使用数量与所述对数相同的缩小图像进行感测的结果，来选择适合于感测物体的运动信息或生物信息的缩小图像。
7.一种图像处理装置中的图像处理方法，所述图像处理方法包括以下步骤：
针对由一个像素或多个像素组成的各网格，在空间方向上以N×M像素为单位对输入图像进行平均化，所述输入图像由具有每像素a位的信息量的(S×T)像素组成，其中，N和M是2或更大的整数，S和T是正整数，a是2的幂；以及
按每像素(a+b)位的信息量来定义针对各像素或网格的以N×M像素为单位的平均化结果，并且生成由具有每像素(a+b)位的信息量的(S×T)/(N×M)像素组成的缩小图像，其中，b是2或更大的整数，
其中，b的值是接近于(N×M)的2的幂值的指数c或者(c+1)，其中，c是正整数。
8.一种图像处理系统，在所述图像处理系统中，图像处理装置和感测装置连接以彼此进行通信，
其中，所述图像处理装置被配置为：
针对由一个像素或多个像素组成的各网格，在空间方向上以N×M像素为单位对输入图像进行平均化，所述输入图像由具有每像素a位的信息量的(S×T)像素组成，其中，N和M是2或更大的整数，S和T是正整数，a是2的幂；以及
按每像素(a+b)位的信息量来定义针对各像素或网格的以N×M像素为单位的平均化结果，生成由具有每像素(a+b)位的信息量的(S×T)/(N×M)像素组成的缩小图像，并且将所述缩小图像发送至所述感测装置，其中，b是2或更大的整数，
其中，所述感测装置被配置为使用从所述图像处理装置发送来的所述缩小图像来感测物体的运动信息或生物信息，以及
其中，b的值是接近于(N×M)的2的幂值的指数c或者(c+1)，其中，c是正整数。
CN202080012689.3A 2019-02-06 2020-01-29 图像处理装置、图像处理方法和图像处理系统 Pending CN113412625A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019019740A JP7190661B2 (ja) 2019-02-06 2019-02-06 画像処理装置、画像処理方法および画像処理システム
JP2019-019740 2019-02-06
PCT/JP2020/003236 WO2020162293A1 (ja) 2019-02-06 2020-01-29 画像処理装置、画像処理方法および画像処理システム

Publications (1)

Publication Number Publication Date
CN113412625A true CN113412625A (zh) 2021-09-17

Family

ID=71947997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080012689.3A Pending CN113412625A (zh) 2019-02-06 2020-01-29 图像处理装置、图像处理方法和图像处理系统

Country Status (4)

Country Link
US (1) US20210366078A1 (zh)
JP (1) JP7190661B2 (zh)
CN (1) CN113412625A (zh)
WO (1) WO2020162293A1 (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5987175A (en) * 1995-05-18 1999-11-16 Minolta Co., Ltd. Image forming apparatus and method based on reduction images and encoding
JP2002232701A (ja) * 2001-02-06 2002-08-16 Ricoh Co Ltd 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録した記録媒体
CN1477852A (zh) * 2002-08-23 2004-02-25 富士施乐株式会社 图像处理设备、图像处理方法以及图像处理程序的存储介质
JP2008059307A (ja) * 2006-08-31 2008-03-13 Brother Ind Ltd 画像処理装置および画像処理プログラム
US20090087111A1 (en) * 2006-03-30 2009-04-02 Reiko Noda Image encoding apparatus and method for the same and image decoding apparatus and method for the same
CN101729740A (zh) * 2008-10-24 2010-06-09 佳能株式会社 图像处理装置及图像处理方法
US20110249738A1 (en) * 2008-10-01 2011-10-13 Yoshinori Suzuki Moving image encoding apparatus, moving image decoding apparatus, moving image encoding method, moving image decoding method, moving image encoding program, moving image decoding program, and moving image encoding/ decoding system
JP2011259333A (ja) * 2010-06-11 2011-12-22 Sony Corp 画像処理装置および方法
CN102385746A (zh) * 2010-09-06 2012-03-21 索尼公司 图像处理装置及其方法,以及程序
CN102547054A (zh) * 2010-12-13 2012-07-04 富士施乐株式会社 图像处理装置和图像处理方法
US20120281133A1 (en) * 2011-05-02 2012-11-08 Sony Corporation Image capture device, image capture device control method, and program
CN104871542A (zh) * 2012-09-20 2015-08-26 索尼电脑娱乐公司 运动画面压缩装置、图像处理装置、运动画面压缩方法、图像处理方法、以及运动画面压缩文件的数据结构
CN105335945A (zh) * 2011-03-09 2016-02-17 佳能株式会社 图像处理装置及图像处理方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4236713B2 (ja) * 1997-07-30 2009-03-11 ソニー株式会社 記憶装置およびアクセス方法
TW515192B (en) * 2000-06-06 2002-12-21 Noa Kk Off Compression method of motion picture image data and system there for
US7085424B2 (en) * 2000-06-06 2006-08-01 Kobushiki Kaisha Office Noa Method and system for compressing motion image information
US6950469B2 (en) * 2001-09-17 2005-09-27 Nokia Corporation Method for sub-pixel value interpolation
US7274825B1 (en) 2003-03-31 2007-09-25 Hewlett-Packard Development Company, L.P. Image matching using pixel-depth reduction before image comparison
US7366356B2 (en) * 2005-08-05 2008-04-29 Seiko Epson Corporation Graphics controller providing a motion monitoring mode and a capture mode
US8213727B2 (en) * 2007-06-20 2012-07-03 Canon Kabushiki Kaisha Image encoding apparatus and image decoding apparatus, and control method thereof
JP4507265B2 (ja) * 2008-06-30 2010-07-21 ルネサスエレクトロニクス株式会社 画像処理回路、及びそれを搭載する表示パネルドライバ並びに表示装置
JP5398612B2 (ja) * 2010-03-23 2014-01-29 富士フイルム株式会社 動体検出装置および方法
US20130121422A1 (en) * 2011-11-15 2013-05-16 Alcatel-Lucent Usa Inc. Method And Apparatus For Encoding/Decoding Data For Motion Detection In A Communication System
GB201308073D0 (en) * 2013-05-03 2013-06-12 Imagination Tech Ltd Encoding an image
US9639935B1 (en) * 2016-05-25 2017-05-02 Gopro, Inc. Apparatus and methods for camera alignment model calibration

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5987175A (en) * 1995-05-18 1999-11-16 Minolta Co., Ltd. Image forming apparatus and method based on reduction images and encoding
JP2002232701A (ja) * 2001-02-06 2002-08-16 Ricoh Co Ltd 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録した記録媒体
CN1477852A (zh) * 2002-08-23 2004-02-25 富士施乐株式会社 图像处理设备、图像处理方法以及图像处理程序的存储介质
US20090087111A1 (en) * 2006-03-30 2009-04-02 Reiko Noda Image encoding apparatus and method for the same and image decoding apparatus and method for the same
JP2008059307A (ja) * 2006-08-31 2008-03-13 Brother Ind Ltd 画像処理装置および画像処理プログラム
US20110249738A1 (en) * 2008-10-01 2011-10-13 Yoshinori Suzuki Moving image encoding apparatus, moving image decoding apparatus, moving image encoding method, moving image decoding method, moving image encoding program, moving image decoding program, and moving image encoding/ decoding system
CN101729740A (zh) * 2008-10-24 2010-06-09 佳能株式会社 图像处理装置及图像处理方法
JP2011259333A (ja) * 2010-06-11 2011-12-22 Sony Corp 画像処理装置および方法
CN102385746A (zh) * 2010-09-06 2012-03-21 索尼公司 图像处理装置及其方法,以及程序
CN102547054A (zh) * 2010-12-13 2012-07-04 富士施乐株式会社 图像处理装置和图像处理方法
CN105335945A (zh) * 2011-03-09 2016-02-17 佳能株式会社 图像处理装置及图像处理方法
US20120281133A1 (en) * 2011-05-02 2012-11-08 Sony Corporation Image capture device, image capture device control method, and program
CN104871542A (zh) * 2012-09-20 2015-08-26 索尼电脑娱乐公司 运动画面压缩装置、图像处理装置、运动画面压缩方法、图像处理方法、以及运动画面压缩文件的数据结构

Also Published As

Publication number Publication date
JP2020127169A (ja) 2020-08-20
JP7190661B2 (ja) 2022-12-16
WO2020162293A1 (ja) 2020-08-13
US20210366078A1 (en) 2021-11-25

Similar Documents

Publication Publication Date Title
JP5374220B2 (ja) 動きベクトル検出装置およびその制御方法、ならびに撮像装置
US8947519B2 (en) Image processing apparatus, image processing system, image processing method, and image processing program
US10057501B2 (en) Imaging apparatus, flicker detection method, and flicker detection program
KR102385365B1 (ko) 전자 장치 및 전자 장치에서 이미지 데이터를 압축하는 방법
EP2590400A2 (en) Apparatus comprising image sensor array having global shutter shared by plurality of pixels
EP2538661B1 (en) Image processing apparatus and image processing method
KR102386385B1 (ko) 전자 장치 및 전자 장치의 이미지 압축 방법
US9344736B2 (en) Systems and methods for compressive sense imaging
KR20090052526A (ko) 휴대 단말기 및 그의 촬영 모드 수행 방법
CN107950017B (zh) 图像处理设备、图像处理方法以及摄像设备
US10051276B2 (en) Image encoding apparatus, method and imaging apparatus
EP3534325B1 (en) Image processing device and method for compressing dynamic range of wide-range image
KR20200016559A (ko) 복수의 구간 영상들을 포함하는 동영상 데이터를 생성하는 전자 장치 및 방법
JP4561649B2 (ja) 画像圧縮装置、画像圧縮プログラム及び画像圧縮方法、ｈｄｒ画像生成装置、ｈｄｒ画像生成プログラム及びｈｄｒ画像生成方法、並びに画像処理システム、画像処理プログラム及び画像処理方法
US20230156323A1 (en) Imaging apparatus, imaging control method, and program
KR20100007628A (ko) 이미지 센서 인터페이스 장치 및 이를 구비하는 디지털촬영 장치
CN113412625A (zh) 图像处理装置、图像处理方法和图像处理系统
JPH10304232A (ja) カメラ装置及び画像処理システム
US9134812B2 (en) Image positioning method and interactive imaging system using the same
US20220277462A1 (en) Correcting device and correcting method of real-time image
JP6543214B2 (ja) 動き監視装置
CN114298889A (zh) 图像处理电路和图像处理方法
US7746390B2 (en) Method and device for processing pixel array data of mobile terminal equipped with digital camera function
US10334155B2 (en) Imaging device and capsule endoscope
CN117044221A (zh) 基于事件的视觉传感器和事件过滤的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination