CN101107625B - 图像处理方法、图像处理系统、摄像装置及图像处理装置 - Google Patents

图像处理方法、图像处理系统、摄像装置及图像处理装置 Download PDF

Info

Publication number
CN101107625B
CN101107625B CN2005800471831A CN200580047183A CN101107625B CN 101107625 B CN101107625 B CN 101107625B CN 2005800471831 A CN2005800471831 A CN 2005800471831A CN 200580047183 A CN200580047183 A CN 200580047183A CN 101107625 B CN101107625 B CN 101107625B
Authority
CN
China
Prior art keywords
image
reference object
image processing
scope
magnification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2005800471831A
Other languages
English (en)
Other versions
CN101107625A (zh
Inventor
马场幸三
伊藤寿雄
田福明义
高岛知信
东野全寿
片桐卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN101107625A publication Critical patent/CN101107625A/zh
Application granted granted Critical
Publication of CN101107625B publication Critical patent/CN101107625B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供图像处理方法、图像处理系统、摄像装置、图像处理装置及计算机程序,从而在使用例如搭载于车辆上的以驾驶者脸部为拍摄对象的车载摄像机的系统中,对拍摄对象进行连续拍摄,基于根据从第一图像检测出的拍摄对象的范围、例如驾驶者的脸部轮廓的宽度、以及驾驶者的眼睛和鼻子的位置来确定的脸部中心等基准点,对基于第一图像之后的拍摄的第二图像,进行包含以基准点为中心的拍摄对象的区域的放大等加工,对加工后的第二图像,进行拍摄对象的范围检测、基准点的确定等图像处理。

Description

图像处理方法、图像处理系统、摄像装置及图像处理装置
技术领域
本发明涉及对拍摄对象进行连续拍摄,对基于拍摄的图像内的拍摄对象的范围进行检测的图像处理方法、应用该图像处理方法的图像处理系统、在该图像处理系统中使用的摄像装置和图像处理装置、及用于实现该图像处理装置的计算机程序,特别涉及易于进行范围的检测等处理的图像处理方法、图像处理系统、摄像装置、图像处理装置及计算机程序。
背景技术
作为汽车等车辆的驾驶辅助装置,提出了如下的图像处理装置,其使用配置在可拍摄到驾驶者脸部的位置上的车载摄像机来拍摄驾驶者脸部,进行根据所得到的图像来检测驾驶者的脸部轮廓、眼睛和鼻子的位置、以及基于这些的脸部状况的图像处理(例如,参照专利文献1)。并且,使用这样的装置构成检测驾驶者状况来进行驾驶者注意力分散时的警告等驾驶辅助的系统。
专利文献1:日本特开2004-234367号公报
但是,例如当驾驶者脸部远离了车载摄像机时,拍摄的图像中的脸部变小而导致无法充分进行轮廓、眼睛和鼻子的位置的检测等图像处理。
发明内容
本发明是鉴于上述问题而产生的,其目的在于提供图像处理方法、应用该图像处理方法的图像处理系统、在该图像处理系统中使用的摄像装置和图像处理装置、及用于实现该图像处理装置的计算机程序,从而在对驾驶者脸部等拍摄对象进行连续拍摄时,基于对第一图像检测出的脸部轮廓等的范围,对在第一图像之后拍摄的第二图像进行放大等加工,对加工后的第二图像内的拍摄对象的范围进行检测,从而易于进行图像对象的范围的检测等图像处理。
在第一发明的图像处理方法中,对拍摄对象进行连续拍摄,对基于拍摄的图像内的拍摄对象的范围进行检测,其特征在于,基于从第一图像检测出的拍摄对象的范围来加工第一图像之后的第二图像,对加工后的第二图像内的拍摄对象的范围进行检测。
第二发明的图像处理系统具有:摄像单元,其对拍摄对象进行连续拍摄;以及图像处理单元,其对基于该摄像单元的拍摄的图像内的拍摄对象的范围进行检测,该图像处理系统的特征在于,该图像处理系统具有:加工单元,其基于从第一图像检测出的拍摄对象的范围来加工第一图像之后的第二图像;以及对加工后的第二图像内的拍摄对象的范围进行检测的单元。
第三发明的图像处理系统,根据第二发明,其特征在于,所述加工单元构成为对第二图像进行放大。
第四发明的图像处理系统,根据第三发明,其特征在于,所述加工单元构成为基于范围的大小来确定放大率。
第五发明的图像处理系统,根据第三发明或第四发明,其特征在于,该图像处理系统还具有确定拍摄对象内的加工的基准点的单元,所述加工单元构成为以基准点为中心进行放大。
第六发明的图像处理系统,根据第五发明,其特征在于,所述拍摄对象是脸部,所述拍摄对象的范围是脸部的规定方向的范围,所述拍摄对象内的基准点是基于眼睛和/或鼻子的位置而求出的点。
第七发明的摄像装置具有对拍摄对象进行连续拍摄的单元,且该摄像装置与对基于拍摄的图像内的拍摄对象的范围进行检测的图像处理装置连接,其特征在于,该摄像装置具有:从所述图像处理装置接收表示从第一图像检测出的拍摄对象的范围的范围数据的输入的单元;基于所接收的范围数据所示的范围来加工第一图像之后的第二图像的单元;以及将表示加工后的第二图像的图像数据输出到所述图像处理装置的单元。
第八发明的图像处理装置连续接收表示图像的图像数据的输入,对基于所接收的图像数据的图像内的拍摄对象的范围进行检测,其特征在于,该图像处理装置具有:根据从基于第一图像数据的图像检测出的拍摄对象的范围来加工第一图像数据之后的第二图像数据的单元;以及对基于加工后的第二图像数据的图像内的拍摄对象的范围进行检测的单元。
第九发明的计算机程序使具有连续接收表示图像的图像数据的输入的单元的计算机,对基于所接收的图像数据的图像内的拍摄对象的范围进行检测,其特征在于,该计算机程序使计算机执行以下步骤:根据从基于第一图像数据的图像检测出的拍摄对象的范围来加工第一图像数据之后的第二图像数据的步骤;以及对基于加工后的第二图像数据的图像内的拍摄对象的范围进行检测的步骤。
第一发明、第二发明、第七发明、第八发明和第九发明应用于使用例如搭载于车辆上且以驾驶者脸部作为拍摄对象的车载摄像机的系统中,基于对第一图像进行处理的结果来适当加工第二图像,从而可易于对第二图像进行图像对象的范围检测等图像处理。特别,当在第七发明所示的摄像装置中应用时,作为预处理预先进行加工以使拍摄对象以标准状态示于图像内,然后输出到图像处理装置,从而可减轻图像处理装置的处理负荷,而且可通用于多种图像处理软件,所以可削减记录图像数据的存储器。并且在第八发明和第九发明中,可使用现有的摄像装置来实现本发明的图像处理。
在第三发明中,例如在拍摄对象即驾驶者的脸部较小时,也可通过进行放大,从而易于进行图像对象的范围检测等图像处理。
在第四发明中,通过适当确定放大率而可将拍摄对象的大小调节为适于图像处理的大小。
在第五发明中,即使在所拍摄的图像中拍摄对象移动的情况下,也可调节到易于进行图像处理的位置。
在第六发明中,可适用于驾驶车辆的驾驶者的脸部轮廓、眼睛和鼻子的位置、以及基于这些的脸部状况的检测。
本发明的图像处理方法、图像处理系统、摄像装置、图像处理装置及计算机程序,应用于使用例如搭载于车辆上且以驾驶者脸部为拍摄对象的车载摄像机的系统中,对拍摄对象进行连续拍摄,根据从第一图像检测出的拍摄对象的范围、例如基于驾驶者的脸部轮廓的幅度、以及驾驶者的眼睛和鼻子的位置而确定的脸部中心等的基准点,来对基于第一图像之后的拍摄的第二图像,进行包含以基准点为中心的拍摄对象的区域的放大等加工,对加工后的第二图像进行拍摄对象的范围检测、基准点确定等图像处理.
根据该结构,得到如下的良好效果:即使在图像中的拍摄对象较小的情况下,也能够将拍摄对象放大以及位置调节,所以易于进行拍摄对象的范围检测、基准点的确定等图像处理。
特别,在应用于车载摄像机等摄像装置时,作为预处理预先进行加工以使拍摄对象以标准状态示于图像内,然后输出到图像处理装置,从而可减轻与摄像装置连接的图像处理装置的处理负荷,而且可通用于多种图像处理软件,因此得到可削减记录图像数据的存储器的优良效果。
附图说明
图1是表示本发明第一实施方式的图像处理系统的结构的框图。
图2是表示在本发明第一实施方式的图像处理系统中使用的图像处理装置的图像识别处理的流程图。
图3是概念地表示在本发明第一实施方式的图像处理系统中使用的图像处理装置的处理的说明图。
图4是概念地表示在本发明第一实施方式的图像处理系统中使用的图像处理装置的处理的说明图。
图5是表示在本发明第一实施方式的图像处理系统中使用的摄像装置的图像加工用数据记录处理的流程图。
图6是表示在本发明第一实施方式的图像处理系统中使用的摄像装置的图像数据加工处理的流程图。
图7是概念地表示在本发明第一实施方式的图像处理系统中使用的摄像装置的处理的说明图。
图8是表示本发明第二实施方式的图像处理系统的结构的框图。
图9是表示在本发明第二实施方式的图像处理系统中使用的摄像装置和图像处理装置的图像数据取得处理的流程图。
图10是表示在本发明第二实施方式的图像处理系统中使用的图像处理装置的图像处理的流程图。
标号说明
1:摄像装置;2:图像处理装置;3:计算机程序;4:记录介质。
具体实施方式
以下基于表示该实施方式的附图对本发明进行详细说明。
第一实施方式
图1是表示本发明第一实施方式的图像处理系统的结构的框图。在图1中,1表示搭载于车辆上的车载摄像机等摄像装置,摄像装置1经由专用电缆等通信线、或者以有线或无线方式构成的车内LAN(Local AreaNetwork,局域网)等通信网与进行图像处理的图像处理装置2连接.摄像装置1配置于车辆内部驾驶者前方的方向盘、仪表板等上,调节为能够将驾驶者脸部作为拍摄对象进行拍摄的状态.
摄像装置1具有:对装置整体进行控制的MPU(Micro Processor Unit,微处理器单元)11;存储基于MPU 11的控制来执行的各种计算机程序和数据的ROM(Read Only Memory,只读存储器)12;对在执行记录于ROM 12中的计算机程序时临时产生的各种数据进行存储的RAM(Random Access Memory,随机访问存储器)13;使用CCD(ChargeCoupled Device,电荷耦合器件)等摄像元件构成的摄像部14;将由摄像部14拍摄所得的模拟图像数据转换为数字数据的A/D转换器15;对由A/D转换器15转换为数字数据的图像数据进行后述的图像处理的处理电路16;对由处理电路16处理过的图像数据进行临时存储的帧存储器17;以及在与图像处理装置2之间的通信中使用的通信接口18。
在摄像装置1中,使用摄像部14进行连续或者间歇的摄像处理,基于摄像处理例如以每秒30幅生成图像数据(图像帧)后输出到A/D转换器15,在A/D转换器15中,将构成图像数据的各像素转换为以256灰度(1位)等灰度表示的数字图像数据。然后,将由处理电路16处理过的图像数据存储于帧存储器17中,以规定的定时将所存储的图像数据输出到图像处理装置2。另外,在摄像装置1中,以规定的定时从图像处理装置2接收在处理电路16的处理中所需的各种数据,将所接收的数据存储于处理电路16具有的闪存等存储器中。另外,在存储器中预先存储有在由处理电路16进行的图像处理中所需的基准值等各种数据。
图像处理装置2具有:对装置整体进行控制的CPU(CentralProcessing Unit,中央处理单元)21;存储基于CPU 21的控制而执行的各种计算机程序和数据的硬盘(以下称为HD)22;对在执行记录于HD22中的计算机程序时临时产生的各种数据进行存储的RAM 23;例如由非易失性存储器构成的帧存储器24;在与摄像装置1之间的通信中使用的通信接口25;以及对CD-ROM、存储卡等记录介质进行访问的辅助存储部26。
在图像处理装置2中,由通信接口25接收从摄像装置1输出的图像数据,执行记录于HD 22中的计算机程序,从而对所接收的图像数据进行各种图像处理,并且将基于图像处理结果的各种数据从通信接口25输出到摄像装置1。所谓基于记录于HD 22中的计算机程序的执行的图像处理是指,根据图像数据来检测拍摄对象即驾驶者的脸部轮廓、确定眼睛和鼻子的位置、以及基于这些结果来检测脸部方向等各种处理。作为具体的处理例子,可以举出通过模式匹配(pattern match)来检测眼睛位置的处理。作为其它处理的例子,可以举出以下处理,即通过对在图像的垂直方向上排列的亮度进行累积后将所累积的值与规定的阈值进行比较,从而检测出由比背景亮度高的像素构成的脸部轮廓的水平方向的范围。并且,进一步可举出以下处理,即在该处理中对累积值的水平方向的变化进行微分来确定变化大的位置,检测出亮度显著变化的背景与脸部轮廓之间的边界。例如在由本申请的申请人提出的日本特开2000-163564号公报、日本特开2004-234494号公报、日本特开2004-234367号公报等文献中,记载有详细的处理内容。另外,这些图像处理也不一定限于在日本特开2000-163564号公报、日本特开2004-234494号公报以及日本特开2004-234367号公报中记载的处理,而可以根据其用途、硬件结构以及与其它应用程序之间的配合等条件来适当选取。
下面,对在本发明第一实施方式的图像处理系统中执行的各种处理进行说明.图2是表示在本发明第一实施方式的图像处理系统中使用的图像处理装置2的图像识别处理的流程图.图像处理装置2根据CPU 21的控制来进行包含从图像数据检测出作为拍摄对象的驾驶者的脸部轮廓、以及确定眼睛和鼻子位置的图像处理即拍摄对象的识别处理(S101),基于拍摄对象识别处理的结果来辅助驾驶。另外,图像处理装置2根据CPU 21的控制,基于识别处理的结果来检测拍摄对象的范围(S102),并且确定拍摄对象内的基准点(S103),将表示所检测的范围的范围数据和表示所确定的基准点的基准点数据从通信接口25输出到摄像装置1(S104)。例如使用在上述日本特开2000-163564号公报、日本特开2004-234494号公报、日本特开2004-234367号公报等文献中记载的各种处理,进行步骤S101中的拍摄对象的识别处理。另外,在步骤S101中进行的拍摄对象的识别处理中使用的图像数据是指,通过后述的摄像装置1的处理对拍摄到的并进行A/D转换的图像数据实施了伴随坐标系变换的加工处理后的图像数据,因此在基于识别处理的结果来进行驾驶辅助处理时,可进行恢复到原有坐标系的变换处理。其中,在步骤S104中输出的范围数据和基准点数据是否需要进行恢复到原有坐标系的变换是可以任意设定的。在图像处理装置2中不进行范围数据和基准点数据的变换时,在摄像装置1中进行坐标系的变换。
图3是概念地表示在本发明第一实施方式的图像处理系统中使用的图像处理装置2的处理的说明图。图3概念地表示了使用图2说明的图像处理装置2的图像识别处理中的步骤S102的拍摄对象范围检测。在图3中由实线所示的长方形的框是基于图像数据的整个图像,其表示在图像内作为拍摄对象的驾驶者脸部,两箭头所示范围是拍摄对象的范围。所谓步骤S102中的检测拍摄对象范围的处理是指,基于在步骤S101中检测出的拍摄对象即驾驶者的脸部轮廓来检测驾驶者脸部的左右方向(水平方向)的宽度的处理。
图4是概念地表示在本发明第一实施方式的图像处理系统中使用的图像处理装置2的处理的说明图。图4概念地表示了使用图2说明的图像处理装置2的图像识别处理中的步骤S103的拍摄对象的基准点确定。如图4所示,所谓步骤S103中的拍摄对象内的基准点确定是指,基于在步骤S101中检测出的拍摄对象即驾驶者脸部内确定的眼睛和鼻子的位置,来将脸部中心确定为成为加工基准的基准点的处理,具体而言是以下处理,即根据图4中虚线×标记所示的双眼和鼻子的两孔这四点坐标,来计算实线×标记所示的重心的坐标,之后将计算出的重心确定为脸部中心即基准点的处理。
图5是表示在本发明第一实施方式的图像处理系统中使用的摄像装置1的图像加工用数据记录处理的流程图。在摄像装置1中,根据MPU11的控制,由通信接口18接收从图像处理装置2输出的范围数据和基准点数据的输入(S201),将接收的范围数据与在处理电路16的存储器中预先作为基准值记录的范围数据的最大值进行比较(S202)。
在步骤S202中,当判定为所接收的范围数据比范围数据的最大值大时(S202:是),在摄像装置1中,根据MPU 11的控制,进行使在处理电路16的存储器中记录的表示放大率的数值降低的放大率变更处理(S203)。所谓表示放大率的数值是指,表示作为图像数据的加工而放大图像数据时的倍率的数值,在处理电路16的存储器中记录的数值是在前次对图像数据进行放大时使用的数值。即,通过步骤S203中的放大率变更处理,判定是否以前次的放大率进行放大。另外,在变更放大率时,计算所接收的范围数据和预先记录的基准值之比,基于计算出的比来计算变更后的放大率。另外,也可以预先记录分级为几个等级的多个放大率,在变更放大率时,通过使放大率的级改变规定等级来变更放大率。
在步骤S202中,当判定为所接收的范围数据为范围数据的最大值以下时(S202:否),在摄像装置1中,根据MPU 11的控制,对所接收的范围数据和在处理电路16的存储器中预先作为基准值记录的范围数据的最小值进行比较(S204)。
在步骤S204中,当判定为所接收的范围数据比范围数据的最小值小时(S204:是),在摄像装置1中,根据MPU 11的控制,进行使在处理电路16的存储器中记录的表示放大率的数值提高的放大率变更处理(S205)。即,在步骤S202~S205的处理中,基于范围数据所表示的范围大小来确定放大率。另外,也可以不将范围数据与最大值和最小值进行比较,而在每次接收范围数据时,基于所接收的范围数据来变更放大率。另外,在所接收的范围数据没有通过图像处理装置2进行坐标系变换的情况下,在步骤S202的比较前进行变换处理。
在步骤S203或者步骤S205中实施放大率变更处理后,或者在步骤S204中,当判定为所接收的范围数据为范围数据的最小值以上时(S204:否),在摄像装置1中,根据MPU 11的控制,基于在步骤S201中接收的基准点数据来确定成为放大中心的坐标(S206),将所确定的成为放大中心的坐标记录到处理电路16的存储器中(S207)。在步骤S206中,将基准点数据确定为成为放大中心的坐标。但是,在所接收的基准点数据没有通过图像处理装置2进行坐标系变换的情况下,将基准点数据的坐标系变换后的坐标确定为成为放大中心的坐标。并且,在确定成为放大中心的坐标时,基于在存储器中记录的放大率,来判定该坐标是否处于放大后的图像的有效范围内。
图6是表示在本发明第一实施方式的图像处理系统中使用的摄像装置1的图像数据加工处理的流程图。在摄像装置1中,基于MPU 11的控制,由处理电路16接收摄像部14拍摄后通过A/D转换器15转换为数字数据的图像数据,在处理电路16中,读取在存储器中记录的表示放大率的数值以及成为放大中心的坐标(S301),按照所读取的数值表示的放大率,以读取的坐标为中心,进行放大所接收的图像数据的加工处理(S302)。放大的图像数据的范围根据放大率和放大中心来确定。另外,在放大图像数据时,进行构成图像数据的像素的插值处理。并且,伴随图像数据的放大来进行坐标系的变换。然后,在摄像装置1中,根据MPU11的控制,将放大的图像数据存储于帧存储器17,以规定的定时将在帧存储器17中存储的放大的图像数据从通信接口18输出到图像处理装置2(S303)。另外,在图像处理装置2中,在进行与图像数据的坐标系变换相关的处理时,坐标系变换所需的数据也从摄像装置1输出到图像处理装置2。
图7是概念地表示在本发明第一实施方式的图像处理系统中使用的摄像装置1的处理的说明图。图7概念地表示了使用图6说明的摄像装置1的图像数据加工处理中的步骤S302的加工处理。图7(a)的由实线所示的框表示基于通过拍摄得到的加工处理前的图像数据的图像,对图7(a)内的由单点划线所示框内的图像进行加工处理。另外,图7(b)的由实线所示的框表示基于加工处理后的图像数据的图像。图7所示的加工处理为图像的放大处理,以在图7(a)所示的图像中示出的成为放大中心的坐标(x,y)为中心,基于从存储器读取的放大率,来放大图7(a)的图像的局部。另外,所谓放大的局部图像是指,根据放大率和放大中心来确定的范围内的图像。
另外,在图像处理装置2中,通过通信接口25接收放大后的加工处理后的图像数据的输入,对所接收的图像数据进行拍摄对象的识别、拍摄对象的范围检测、基准点的确定等使用图2表示的图像识别处理.这样在本发明的图像处理系统中,基于从第一图像检测出的拍摄对象范围以及确定的基准点,来对基于第一图像之后的拍摄的第二图像,进行包含以基准点为中心的拍摄对象的区域的放大等加工,对加工后的第二图像进行拍摄对象的范围检测、基准点确定等图像处理.
第二实施方式
第二实施方式是在第一实施方式中,由图像处理装置2来进行图像数据的加工处理的方式。图8是表示本发明第二实施方式的图像处理系统的结构的框图。另外,对于和第一实施方式相同的结构要素附加与第一实施方式相同的标号而省略说明。在第二实施方式中,由于由图像处理装置2进行图像数据的加工处理,因此摄像装置1不具有处理电路16。图像处理装置2通过辅助存储部26从记录有本发明的计算机程序3和数据等各种信息的记录介质4中读取各种信息,将所读取的各种信息记录于HD 22,将记录于HD 22中的各种信息存储于RAM 23后根据CPU 21的控制来执行。另外,在执行本发明的计算机程序3时,在HD 22中记录图像处理所需的基准值等数据。
图9是表示在本发明第二实施方式的图像处理系统中使用的摄像装置1和图像处理装置2的图像数据取得处理的流程图。摄像装置1根据MPU 11的控制,将摄像部14拍摄后通过A/D转换器15转换为数字数据的图像数据存储于帧存储器17,以规定的定时将存储于帧存储器17中的图像数据从通信接口18输出到图像处理装置2(S401)。
图像处理装置2根据CPU 21的控制,通过通信接口25接收从摄像装置1输出的图像数据(S402),将所接收的图像数据存储于帧存储器24(S403)。
图10是表示在本发明第二实施方式的图像处理系统中使用的图像处理装置2的图像处理的流程图。图像处理装置2根据CPU 21的控制,来读取在HD 22或者RAM 23中记录的表示放大率的数值和成为放大中心的坐标(S501),按照所读取的数值表示的放大率,以读取的坐标为中心,进行放大存储于帧存储器24中的图像数据的加工处理(S502)。
然后,图像处理装置2根据CPU 21的控制,根据放大后的图像数据来进行包括检测拍摄对象即驾驶者的脸部轮廓、以及确定眼睛和鼻子的位置的图像处理即拍摄对象的识别处理(S503),基于拍摄对象识别处理的结果来辅助驾驶。另外,图像处理装置2根据CPU 21的控制,基于识别处理的结果,来检测拍摄对象的范围(S504),并且确定拍摄对象内的基准点(S505)。
然后,图像处理装置2根据CPU 21的控制,将在步骤S504中检测出的拍摄对象的范围和预先在HD 22中作为基准值记录的拍摄对象范围的最大值进行比较(S506)。
在步骤S506中,当判定为所检测出的拍摄对象范围比所记录的范围的最大值大时(S506:是),在图像处理装置2中根据CPU 21的控制,进行使在HD 22或RAM 23中记录的表示放大率的数值降低的放大率变更处理(S507)。
在步骤S506中,当判定为所检测出的拍摄对象范围在所记录的范围的最大值以下时(S506:否),在图像处理装置2中根据CPU 21的控制,将在步骤S504中检测出的拍摄对象范围和预先在HD 22中作为基准值记录的拍摄对象范围的最小值进行比较(S508)。
在步骤S508中,当判定为所检测出的拍摄对象范围比所记录的范围的最小值小时(S508:是),在图像处理装置2中根据CPU 21的控制,进行使在HD 22或RAM 23中记录的表示放大率的数值提高的放大率变更处理(S509)。
在步骤S507或步骤S509中实施放大率变更处理后,或者在步骤S508中,当判定为所检测出的拍摄对象范围是所记录的范围的最小值以上时(S508:否),在图像处理装置2中根据CPU 21的控制,基于在步骤S505中确定的基准点来确定成为放大中心的坐标(S510),将所确定的成为放大中心的坐标记录于HD 22或RAM 23(S511)。在执行了到步骤S511为止的处理的时间点存储于HD 22或RAM 23中的放大率和成为放大中心的坐标,在对下一图像数据进行放大的加工处理中使用。
如在第一和第二实施方式中具体说明的那样,在本发明中,连续对拍摄对象进行拍摄,根据基于第一图像确定的放大率和成为放大中心的坐标,对通过第一图像之后的拍摄得到的第二图像进行加工,进行基于加工后的第二图像的各种图像处理,并进一步重复对下一图像的放大率和成为放大中心的坐标进行确定的处理。
在前述第一和第二实施方式中,作为加工图像的处理示出了进行放大的处理,但本发明不限于此,也可以使用缩小、灰度变换、微分处理等各种处理。并且,作为放大处理,虽然示出了放大图像数据的方式,但是也可以是对拍摄的范围进行光学放大的方式。
在前述第一和第二实施方式中,虽然示出了以车辆驾驶者为拍摄对象的方式,但本发明不限于此,也可以是以各种人物以及人物以外的生物或非生物为拍摄对象的方式。

Claims (4)

1.一种图像处理方法,该图像处理方法对拍摄对象进行连续拍摄,对基于拍摄的图像内的拍摄对象的范围进行检测,该图像处理方法具有如下步骤:
对基于图像拍摄的图像内的拍摄对象进行检测,检测所述拍摄对象的范围;
确定所检测的拍摄对象的中心为所述拍摄对象内的放大或缩小的基准点,基于所检测出的拍摄对象的范围的大小来确定放大或缩小的放大率;
基于从第一图像检测出的基准点及所述放大率来放大或缩小第一图像之后的第二图像;以及
对放大或缩小后的所述第二图像内的拍摄对象的范围进行检测,其中,
所述拍摄对象是脸部,所述拍摄对象的范围是脸部的规定方向的范围,所述拍摄对象内的基准点是基于眼睛和/或鼻子的位置而求出的点。
2.一种图像处理系统,其具有:
摄像部,其对拍摄对象进行连续拍摄;
图像处理部,其对基于该摄像部的拍摄的图像内的拍摄对象进行检测,检测所述拍摄对象的范围;
确定部,其确定所检测的拍摄对象的中心为所述拍摄对象内的放大或缩小的基准点,基于所检测出的拍摄对象的范围的大小来确定放大或缩小的放大率;
放大或缩小部,其以从第一图像检测出的基准点为中心,基于所述放大率来放大或缩小第一图像之后的第二图像;以及
检测部,其对放大或缩小后的所述第二图像内的拍摄对象的范围进行检测,其中,
所述拍摄对象是脸部,所述拍摄对象的范围是脸部的规定方向的范围,所述拍摄对象内的基准点是基于眼睛和/或鼻子的位置而求出的点。
3.一种摄像装置,该摄像装置与用于存储图像的图像处理装置连接,该摄像装置具有:
摄像部,其对拍摄对象进行连续拍摄;
图像处理部,其对基于该摄像部的拍摄的图像内的拍摄对象进行检测,检测所述拍摄对象的范围;
确定部,其确定所检测的拍摄对象的中心为所述拍摄对象内的放大或缩小的基准点,基于所检测出的拍摄对象的范围的大小来确定放大或缩小的放大率;
放大或缩小部,其基于从第一图像所检测出的基准点及所述放大率,来放大或缩小第一图像之后的第二图像;以及
输出部,其将表示放大或缩小后的所述第二图像输出到所述图像处理装置,其中,
所述拍摄对象是脸部,所述拍摄对象的范围是脸部的规定方向的范围,所述拍摄对象内的基准点是基于眼睛和/或鼻子的位置而求出的点。
4.一种图像处理装置,该图像处理装置具有:
摄像部,其连续接收表示图像的图像数据的输入;
图像处理部,其对基于该摄像部的拍摄的图像内的拍摄对象进行检测,检测所述拍摄对象的范围;
确定部,其确定所检测的拍摄对象的中心为所述拍摄对象内的放大或缩小的基准点,基于所检测出的拍摄对象的范围的大小来确定放大或缩小的放大率;
放大或缩小部,其根据从基于第一图像数据的图像所检测出的基准点及所述放大率,来放大或缩小第一图像数据之后的第二图像数据;以及
检测部,其对基于放大或缩小后的所述第二图像数据的图像内的拍摄对象的范围进行检测,其中,
所述拍摄对象是脸部,所述拍摄对象的范围是脸部的规定方向的范围,所述拍摄对象内的基准点是基于眼睛和/或鼻子的位置而求出的点。
CN2005800471831A 2005-02-17 2005-02-17 图像处理方法、图像处理系统、摄像装置及图像处理装置 Active CN101107625B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2005/002467 WO2006087790A1 (ja) 2005-02-17 2005-02-17 画像処理方法、画像処理システム、撮像装置、画像処理装置及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
CN101107625A CN101107625A (zh) 2008-01-16
CN101107625B true CN101107625B (zh) 2010-05-12

Family

ID=36916206

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800471831A Active CN101107625B (zh) 2005-02-17 2005-02-17 图像处理方法、图像处理系统、摄像装置及图像处理装置

Country Status (4)

Country Link
US (1) US8300101B2 (zh)
JP (1) JP4540705B2 (zh)
CN (1) CN101107625B (zh)
WO (1) WO2006087790A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4540705B2 (ja) * 2005-02-17 2010-09-08 富士通株式会社 画像処理方法、画像処理システム、撮像装置、画像処理装置及びコンピュータプログラム
JP4849297B2 (ja) * 2005-04-26 2012-01-11 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
US8391554B2 (en) * 2008-10-01 2013-03-05 GM Global Technology Operations LLC Eye detection system using a single camera
CN102036003B (zh) * 2009-09-30 2012-07-18 佛山普立华科技有限公司 数码摄影系统及其证件相拍摄方法
US10196088B2 (en) * 2011-04-19 2019-02-05 Ford Global Technologies, Llc Target monitoring system and method
US9569078B2 (en) 2012-03-06 2017-02-14 Apple Inc. User interface tools for cropping and straightening image
US9202433B2 (en) 2012-03-06 2015-12-01 Apple Inc. Multi operation slider
US10282055B2 (en) 2012-03-06 2019-05-07 Apple Inc. Ordered processing of edits for a media editing application
US9131192B2 (en) 2012-03-06 2015-09-08 Apple Inc. Unified slider control for modifying multiple image properties
KR20130122411A (ko) * 2012-04-30 2013-11-07 삼성전자주식회사 이미지 획득 장치 및 이미지 획득 장치의 동작 방법
CN104331860A (zh) * 2014-11-24 2015-02-04 小米科技有限责任公司 图片查看方法和装置
JP2020131239A (ja) * 2019-02-20 2020-08-31 富士ゼロックス株式会社 加工装置、加工システム及びプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3395344B2 (ja) 1994-04-20 2003-04-14 日産自動車株式会社 画像処理装置およびそれを用いた居眠り警報装置
JPH1051755A (ja) * 1996-05-30 1998-02-20 Fujitsu Ltd テレビ会議端末の画面表示制御装置
JP3549013B2 (ja) * 1998-03-05 2004-08-04 日本電信電話株式会社 目の位置検出方法、目の位置検出装置および目の位置検出プログラムを記録した記録媒体
US6593956B1 (en) * 1998-05-15 2003-07-15 Polycom, Inc. Locating an audio source
JP2000163564A (ja) 1998-12-01 2000-06-16 Fujitsu Ltd 目の追跡装置および瞬き検出装置
EP1158786A3 (en) * 2000-05-24 2005-03-09 Sony Corporation Transmission of the region of interest of an image
KR100792283B1 (ko) * 2001-08-07 2008-01-07 삼성전자주식회사 이동물체 자동 추적장치 및 방법
US20030169339A1 (en) * 2001-10-01 2003-09-11 Digeo. Inc. System and method for tracking an object during video communication
JP2003219396A (ja) * 2002-01-17 2003-07-31 Matsushita Electric Ind Co Ltd 画像処理方法、画像処理装置、画像処理プログラム及び監視システム
JP2003248815A (ja) * 2002-02-26 2003-09-05 Casio Comput Co Ltd 顔画像の正規化方法及び装置、顔画像における目の位置の検出方法及び装置、並びにプログラム
JP2004104530A (ja) * 2002-09-10 2004-04-02 Toshiba Corp 券類発行装置、券類発行方法および利用者確認装置、利用者確認方法
JP4204336B2 (ja) * 2003-01-30 2009-01-07 富士通株式会社 顔の向き検出装置、顔の向き検出方法及びコンピュータプログラム
JP4162503B2 (ja) 2003-01-31 2008-10-08 富士通株式会社 眼の状態判定装置、眼の状態判定方法及びコンピュータプログラム
JP4146751B2 (ja) * 2003-04-01 2008-09-10 本田技研工業株式会社 顔識別装置、顔識別方法及び顔識別プログラム
US20040228505A1 (en) 2003-04-14 2004-11-18 Fuji Photo Film Co., Ltd. Image characteristic portion extraction method, computer readable medium, and data collection and processing device
JP4149301B2 (ja) * 2003-04-14 2008-09-10 富士フイルム株式会社 連続画像の被写体特徴部分抽出方法及びそのプログラム並びにデジタルカメラ
US8004565B2 (en) * 2003-06-19 2011-08-23 Nvidia Corporation System and method for using motion vectors for object tracking
JP4274316B2 (ja) 2003-08-28 2009-06-03 富士通株式会社 撮像システム
JP4507679B2 (ja) * 2004-04-21 2010-07-21 富士ゼロックス株式会社 画像認識装置、画像抽出装置、画像抽出方法及びプログラム
JP4540705B2 (ja) * 2005-02-17 2010-09-08 富士通株式会社 画像処理方法、画像処理システム、撮像装置、画像処理装置及びコンピュータプログラム
US7636454B2 (en) * 2005-12-05 2009-12-22 Samsung Electronics Co., Ltd. Method and apparatus for object detection in sequences

Also Published As

Publication number Publication date
US20070291140A1 (en) 2007-12-20
CN101107625A (zh) 2008-01-16
WO2006087790A1 (ja) 2006-08-24
JPWO2006087790A1 (ja) 2008-07-03
US8300101B2 (en) 2012-10-30
JP4540705B2 (ja) 2010-09-08

Similar Documents

Publication Publication Date Title
CN101107625B (zh) 图像处理方法、图像处理系统、摄像装置及图像处理装置
CN101120379B (zh) 图像处理方法和图像处理系统
JP3864945B2 (ja) 路面走行レーン検出装置
CN101116106B (zh) 图像处理方法、图像处理装置以及图像处理系统
JP5012718B2 (ja) 画像処理装置
EP3016025B1 (en) Image processing device, image processing method, poi information creation system, warning system, and guidance system
JP5274216B2 (ja) 監視システム及び監視方法
CN102783142B (zh) 图像显示装置和图像显示方法
JP4584120B2 (ja) 道路区画線検出装置、道路区画線の検出方法、道路区画線の検出プログラム
SG115540A1 (en) An edge enhancement process and system
EP2290949A3 (en) Method and apparatus for optimizing capture device settings through depth information
JP2008186342A (ja) 車外監視装置
EP2075712A3 (en) Persistent selection marks
EP1578119A3 (en) Pixel interpolating apparatus, pixel interpolating method, and program and recording medium
EP3096512A1 (en) Method and camera for producing an image stabilized video
CN103098111A (zh) 行驶道路推定装置及程序
CN102243567A (zh) 图像处理设备和方法、图像处理程序及其记录介质
CN105190687A (zh) 图像处理装置以及图像处理方法
JP2007088601A (ja) 物体検出装置
CN101124610A (zh) 图像处理方法、图像处理系统、图像处理装置及计算机程序
CN101124612A (zh) 图像处理方法、图像处理系统、图像处理装置以及计算机程序
JPWO2020003764A1 (ja) 画像処理装置、移動装置、および方法、並びにプログラム
JP4613139B2 (ja) エッジ検出システム
CN101714210B (zh) 图像处理方法、图像处理装置以及图像处理系统
JP7056778B2 (ja) ドライブレコーダ

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant